CN117692610B - 一种ar车间巡检系统 - Google Patents
一种ar车间巡检系统 Download PDFInfo
- Publication number
- CN117692610B CN117692610B CN202410146776.8A CN202410146776A CN117692610B CN 117692610 B CN117692610 B CN 117692610B CN 202410146776 A CN202410146776 A CN 202410146776A CN 117692610 B CN117692610 B CN 117692610B
- Authority
- CN
- China
- Prior art keywords
- data
- module
- virtual model
- expert
- workshop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 35
- 238000005516 engineering process Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000007405 data analysis Methods 0.000 claims abstract description 13
- 238000013523 data management Methods 0.000 claims abstract description 13
- 239000013598 vector Substances 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 9
- 238000007726 management method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 8
- 238000004458 analytical method Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及巡检系统技术领域，具体涉及一种AR车间巡检系统，包括AR端、云端和专家端；AR端包括数据采集模块、构建孪生场景模块、第一人机交互模块和第一数据传输模块；云端包括数据管理模块、应用服务模块、知识库模块和数据分析模块；专家端包括专家模块、第二人机交互模块和第二数据传输模块；本发明通过设置AR端、云端和专家端；AR技术提供了一种直观的方式来展示操作步骤和指南，从而提高了操作的准确性和效率，可以允许专家端“看到”巡检人员所看到的，并提供实时指导。能即时查看分析数据，帮助巡检人员做出更快和更准确的决策，巡检人员能够双手自由操作，减少了操作过程中的复杂性，降低的巡检的专业门槛，获得专家亲临现场的效果。
Description
技术领域
本发明涉及巡检系统技术领域，具体涉及一种AR车间巡检系统。
背景技术
车间巡检系统是一种用于监控和管理车间生产过程的数字化工具。它可以通过移动设备或电脑端进行访问，并提供一系列功能来支持车间巡检工作的自动化和智能化。通过使用车间巡检系统，企业可以提高生产效率、减少浪费、降低运营成本，并加强对生产过程的监控和管理。
现有的车间巡检系统，传统的设备检修方法依赖于手动检查和记录，这可能导致信息访问不便利和时间延迟。在复杂的工业环境中，操作指导可能难以理解和执行。当现场操作人员需要远程专家的协助时，传统通信工具可能不足以提供有效的支持。设备运行的数据分析和可视化在传统方法中往往是脱节的。使用传统的设备检修通常提供的是一种单向的数据输入，用户扫描后查看信息，扫码查看信息需要用户分散注意力在手机屏幕和设备本身之间切换，可能会错过某些即时的警示或信息，传统的设备检修系统可能只是作为数据收集工具，需要与其他系统集成后才能实现进一步的数据分析。
发明内容
（一）发明目的
本发明的目的是提供一种通过叠加实时数据到用户视野，解决了快速信息接入的问题，能提供实时指导的AR车间巡检系统。
（二）技术方案
为解决上述问题，本发明提供了一种AR车间巡检系统，包括：AR端、云端和专家端；
所述AR端包括数据采集模块、构建孪生场景模块、第一人机交互模块和第一数据传输模块；
所述云端包括数据管理模块、应用服务模块、知识库模块和数据分析模块；
所述专家端包括专家模块、第二人机交互模块和第二数据传输模块；
所述数据采集模块能够实时采集车间数据；
所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型；
所述第一人机交互模块能够接收虚拟模型，将所述虚拟模型通过第一数据传输模块给所述数据管理模块；
所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理；
所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略；
所述应用服务模块接收标准化处理后的虚拟模型和所述第一指导策略，通过第二数据传输模块传输给专家模块；
所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行。
本发明的另一方面，优选地，所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型包括：
通过点云扫描设备扫描车间，获取车间点云数据；
对所述点云数据进行预处理；
对预处理后的点云数据进行点云配准；
从点云数据中提取关键特征，使用特征进行点云的分割，将点云划分为不同的区域或对象；
利用分割后的点云数据，进行三维建模，获取三维模型；
将构建的三维模型集成到构建孪生场景模块中。
本发明的另一方面，优选地，所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型还包括：
利用所述采集的车间数据，匹配到所述三维模型，构建车间的虚拟模型。
本发明的另一方面，优选地，所述采集的车间数据，匹配到所述三维模型包括：
；
其中，Q表示匹配到三维模型的点，p表示采集的车间数据的点，R是旋转矩阵，t是平移向量。
本发明的另一方面，优选地，所述采集的车间数据，匹配到所述三维模型还包括通过以下公式计算旋转矩阵和平移向量：
；
其中，pi为三维模型的点，qi为采集的车间数据的点，||x||表示x的欧几里得范数，∑表示对所有点对(pi, qi)求和，E(R, t)为误差函数；
计算所有点对之间的平均平方距离，获取旋转矩阵R和平移向量t，使误差函数E(R, t)最小。
本发明的另一方面，优选地，所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理包括：对虚拟模型的几何形状进行规范化处理，统一坐标系和对单位进行转换；对虚拟模型的属性信息进行统一管理和标准化；对纹理进行标准化处理。
本发明的另一方面，优选地，所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略包括：
提取虚拟模型中的关键数据；
从知识库中调取与所述虚拟模型相对应的标准数据；
将虚拟模型中的数据与知识库中的数据进行比对，获取比对结果；
根据比对结果，输出第一指导策略。
本发明的另一方面，优选地，所述第二人机交互模块包括：状态模块、文字交互模块和视频显示模块；
所述状态模块包括显示空闲状态或进行状态；
所述文字交互模块传输显示AR端与专家端的文字信息；
所述视频显示模块显示AR端的虚拟模型。
本发明的另一方面，优选地，所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行包括：
所述AR端和专家端共享虚拟模型，通过所述第一人机交互模块和第二人机交互模块进行实时音视频通信；
专家模块在共享的虚拟模型上进行实时标注和注释，输出第二指导策略；
AR端接收并执行第二指导策略。
本发明的另一方面，优选地，进行实时标注和注释通过WebRTC技术实现，所述WebRTC技术表示网页实时通信技术。
（三）有益效果
本发明的上述技术方案具有如下有益的技术效果：
本发明通过设置AR端、云端和专家端；通过叠加实时数据到用户视野，叠加数据根据用户视野变化而实时变化；叠加数据是以 HUD透明数据方式叠加，不会对用户视野进行遮挡，解决了快速信息接入的问题，AR技术提供了一种直观的方式来展示操作步骤和指南，从而提高了操作的准确性和效率，可以允许专家端“看到”操作员所看到的，并提供实时指导。能即时查看分析数据，帮助他们做出更快和更准确的决策，能够双手自由操作，减少了操作过程中的复杂性。
附图说明
图1是本发明一个实施例的整体结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例一
一种AR车间巡检系统，图1示出了本发明一个实施例的整体结构图，如图1所示，包括：AR端、云端和专家端；
此处不限制AR端的具体内容，可选的，本实施例中，AR端包括AR眼镜；此处也不限制云端和专家端的具体内容，
可选的，本实施例中，所述AR端包括数据采集模块、构建孪生场景模块、第一人机交互模块和第一数据传输模块；
AR端的数据采集模块能够实时捕捉车间环境中的各种数据，包括设备状态、环境参数等；利用AR技术，数据采集模块可以将虚拟信息叠加在真实车间环境上，为巡检人员提供更直观、更丰富的数据展示；AR设备集成了多种传感器，如摄像头、深度传感器、陀螺仪等，用于捕捉车间环境的详细信息；通过AR眼镜或手持设备，巡检人员可以直接查看设备的运行状态、故障信息等；AR端可以实时显示车间内的温度、湿度、噪音等环境参数，帮助巡检人员判断环境是否适宜生产；当遇到复杂问题时，巡检人员可以通过AR端与远程专家进行实时视频通话，共享第一视角的画面和数据，以便获得专业指导和建议；
所述云端包括数据管理模块、应用服务模块、知识库模块和数据分析模块；
所述专家端包括专家模块、第二人机交互模块和第二数据传输模块；
所述数据采集模块能够实时采集车间数据；
所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型；
所述第一人机交互模块能够接收虚拟模型，将所述虚拟模型通过第一数据传输模块给所述数据管理模块；
所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理；进一步，还能负责存储和管理车间的环境数据和维修案例、人体健康数据，为系统提供历史数据和参考信息；
所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略；利用云计算的能力执行数据处理，利用深度神经网络诊断出装备早期故障,并融合主成分分析和非线性拟合等方法构建了预测模型，
所述应用服务模块接收标准化处理后的虚拟模型和所述第一指导策略，通过第二数据传输模块传输给专家模块；进一步，使用GPU加速的Web服务处理数据的读取、保存和调用，并提供远程专家系统的接口；
所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行。
进一步，本实施例中，所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型包括：
通过点云扫描设备扫描车间，获取车间点云数据；为了获取车间的三维信息，使用点云扫描设备，如激光扫描仪或深度相机，对车间进行全方位的扫描；这些设备能够在短时间内捕捉大量的三维坐标点，即点云数据，每个点都包含了其在空间中的X、Y、Z坐标信息，进一步还包含颜色或反射强度信息；
对所述点云数据进行预处理；原始的点云数据往往包含噪声、冗余点或因为扫描角度、光线等问题造成的数据缺失；预处理的目的是为了提高数据质量，包括去噪、下采样、数据平滑等操作，使点云数据更加真实反映车间的实际情况；
对预处理后的点云数据进行点云配准；由于扫描设备的限制，单次扫描往往不能覆盖整个车间，因此需要从多个角度或多个位置进行扫描；点云配准技术，如ICP（Iterative Closest Point）算法，能够将不同视角或不同时间获取的点云数据对齐，形成一个完整、一致的车间点云模型；
从点云数据中提取关键特征，使用特征进行点云的分割，将点云划分为不同的区域或对象；从预处理和配准后的点云中提取关键特征，如边缘、平面、角点等。使用这些特征对点云进行分割，目的是将车间的不同部分或对象，如设备、墙壁、门窗等区分开来，利于后续的三维建模和场景理解；
利用分割后的点云数据，进行三维建模，获取三维模型；利用分割后的点云数据，可以开始构建车间的三维模型。根据点云的密度和特征，选择合适的建模方法，如基于点的建模、基于表面的建模或混合建模；对于某些细节丰富或重要的部分，还可以使用更高精度的扫描数据进行精细化建模；
将构建的三维模型集成到构建孪生场景模块中；构建完成的三维模型不仅是一个孤立的存在，还需要与其他系统或模块进行集成，形成数字孪生车间。
进一步，本实施例中，所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型还包括：
利用所述采集的车间数据，匹配到所述三维模型，构建车间的虚拟模型。
本发明的另一方面，优选地，所述采集的车间数据，匹配到所述三维模型包括：
；
其中，Q表示匹配到三维模型的点，p表示采集的车间数据的点，R是旋转矩阵，t是平移向量。
进一步，本实施例中，所述采集的车间数据，匹配到所述三维模型还包括通过以下公式计算旋转矩阵和平移向量：
；
其中，pi为三维模型的点，qi为采集的车间数据的点，||x||表示x的欧几里得范数，∑表示对所有点对(pi, qi)求和，E(R, t)为误差函数；
计算所有点对之间的平均平方距离，获取旋转矩阵R和平移向量t，使误差函数E(R, t)最小。
进一步，本实施例中，所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理包括：对虚拟模型的几何形状进行规范化处理，统一坐标系和对单位进行转换；对虚拟模型的属性信息进行统一管理和标准化；对纹理进行标准化处理。
进一步，本实施例中，所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略包括：
提取虚拟模型中的关键数据；关键数据可以是设置的，也可以是挖掘的，虚拟模型中包含了大量的数据，但并非所有数据都是关键的；关键数据通常指的是那些对于车间运行、设备状态、生产质量等有直接影响的数据。利用数据挖掘和分析技术，可以从虚拟模型中提取出这些关键数据。例如，设备的运行参数、故障历史、维修记录等；
从知识库中调取与所述虚拟模型相对应的标准数据；知识库是一个存储了大量与车间运营、设备维护等相关的标准、规范及工艺合规性的数据库；当从虚拟模型中提取出关键数据后，系统会从知识库中调取与这些数据相对应的标准数据进行比对。例如，对于某一设备的运行参数，知识库中会有其正常运行的标准参数范围；
将虚拟模型中的数据与知识库中的数据进行比对，获取比对结果；将从虚拟模型中提取的关键数据与知识库中的标准数据进行比对，目的是找出两者之间的差异或不符合标准的地方；比对的结果可以分为几类：完全匹配、部分匹配和不匹配；完全匹配意味着虚拟模型中的数据与知识库中的标准数据完全一致；部分匹配表示存在一些小差异；不匹配则表示存在明显的问题或异常；比对完成后，系统会生成一个详细的比对报告，列出所有的比对结果。这个报告可以帮助车间管理人员快速了解当前车间或设备的状态，以及是否存在需要关注的问题；
根据比对结果，输出第一指导策略。根据比对结果，系统会选择相应的预测模型进行进一步的分析。例如，如果比对结果显示某设备的运行参数与标准存在较大的差异，系统可能会选择一个故障预测模型来评估该设备未来发生故障的概率。
此处根据比对结果，输出第一指导策略可以是包括步骤：
计算虚拟模型中的数据与知识库中的数据相似度；可选的，这个分数是一个介于0和1之间的数值，其中0表示完全不相似，1表示完全相同；
相似度计算可以利用余弦相似度、欧几里得距离等，可选的，本实施例中，相似度计算包括利用以下公式进行计算：
；
其中，P（A，B）表示虚拟模型中的数据与知识库中的数据相似度，A表示虚拟模型中的数据的向量，集合为{Ak},B表示知识库中的数据的向量，集合为{Bk}, 和 />分别是向量A和B的均值，n为正整数参数，k为向量A和B的编号，其范围为（1，n）；
根据所述相似度，确定虚拟模型中的数据是否与知识库中的数据匹配；若相似度分数超过某个预设的阈值，则可以认为虚拟模型中的数据与知识库中的数据是匹配的；
匹配结果可以是二进制的（匹配/不匹配），也可以是多个级别的（高匹配、中等匹配、低匹配等）；
确定匹配后，识别虚拟模型中的数据是否与知识库中的数据中的差异；
所述差异输出第一指导策略。
进一步，本实施例中，所述第二人机交互模块包括：状态模块、文字交互模块和视频显示模块；
所述状态模块包括显示空闲状态或进行状态；当显示空闲状态表示可以进行呼叫连接，当显示进行状态则表示不可以进行呼叫连接；
所述文字交互模块传输显示AR端与专家端的文字信息；可以通过该模块让AR端与专家端进行实时的文字交流；专家端利用第二人机交互模块在电脑上输入文字或利用语言转文字功能传递给AR端，AR端利用第一人机交互模块的语言转文字功能将文字传递给专家端；在呼叫等待时无法使用；
所述视频显示模块显示AR端的虚拟模型；使专家端能实时共享到AR端的的内容，如视频等，进一步，AR端记录检查过程中的视频，自动捕捉关键点和重要步骤，为质量和可靠性部门提供详细的检查记录；视频记录可用于培训、审计和持续改进过程；
进一步，本实施例中，所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行包括：
所述AR端和专家端共享虚拟模型，通过所述第一人机交互模块和第二人机交互模块进行实时音视频通信；通过WebRTC（WebRTC技术表示网页实时通信技术）或类似技术支持远程专家实时参与检查过程，提供专业建议和指导；专家可以通过AR视图看到现场操作员所看到的，并提供实时反馈；
专家模块在共享的虚拟模型上进行实时标注和注释，输出第二指导策略；
AR端接收并执行第二指导策略。
进一步，本实施例中，系统根据检查内容和环境自动提供安全提示；在检测到安全风险或不符合标准操作程序时发出警报；完成检查后，系统自动生成详细的检查报告，包括完成的任务、发现的问题、采取的措施和建议；提供一个反馈机制，允许检查人员记录额外的观察和建议。
进一步，本实施例中，进行实时标注和注释通过WebRTC技术实现，所述WebRTC技术表示网页实时通信技术。
本发明通过设置AR端、云端和专家端；通过叠加实时数据到用户视野，解决了快速信息接入的问题，AR技术提供了一种直观的方式来展示操作步骤和指南，从而提高了操作的准确性和效率，可以允许专家端“看到”操作员所看到的，并提供实时指导。能即时查看分析数据，帮助他们做出更快和更准确的决策，能够双手自由操作，减少了操作过程中的复杂性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
以上参照本发明的实施例对本发明予以了说明。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等价物限定。不脱离本发明的范围，本领域技术人员可以做出多种替换和修改，这些替换和修改都应落在本发明的范围之内。
尽管已经详细描述了本发明的实施方式，但是应该理解的是，在不偏离本发明的精神和范围的情况下，可以对本发明的实施方式做出各种改变、替换和变更。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (5)
1.一种AR车间巡检系统，其特征在于，包括：AR端、云端和专家端；
所述AR端包括数据采集模块、构建孪生场景模块、第一人机交互模块和第一数据传输模块；
所述云端包括数据管理模块、应用服务模块、知识库模块和数据分析模块；
所述专家端包括专家模块、第二人机交互模块和第二数据传输模块；
所述数据采集模块能够实时采集车间数据；
所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型；
所述第一人机交互模块能够接收虚拟模型，将所述虚拟模型通过第一数据传输模块给所述数据管理模块；
所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理；
所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略；
所述应用服务模块接收标准化处理后的虚拟模型和所述第一指导策略，通过第二数据传输模块传输给专家模块；
所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行；
其中，所述数据分析模块能够对所述标准化处理后的虚拟模型和所述知识库中数据进行比对、分析以及输出第一指导策略包括：
提取虚拟模型中的关键数据；
从知识库中调取与所述虚拟模型相对应的标准数据；
将虚拟模型中的数据与知识库中的数据进行比对，获取比对结果；
根据比对结果，输出第一指导策略，包括，计算虚拟模型中的数据与知识库中的数据相似度，相似度计算包括利用以下公式进行计算：
其中，P（A，B）表示虚拟模型中的数据与知识库中的数据相似度，A表示虚拟模型中的数据的向量，集合为{Ak},B表示知识库中的数据的向量，集合为{Bk},和/>分别是向量A和B的均值，n为正整数参数，k为向量A和B的编号，其范围为（1，n）；
其中，所述构建孪生场景模块能够接收采集的车间数据，根据所述采集的车间数据构建车间的虚拟模型包括：
通过点云扫描设备扫描车间，获取车间点云数据；
对所述点云数据进行预处理；
对预处理后的点云数据进行点云配准；
从点云数据中提取关键特征，使用特征进行点云的分割，将点云划分为不同的区域或对象；
利用分割后的点云数据，进行三维建模，获取三维模型；
将构建的三维模型集成到构建孪生场景模块中；
利用所述采集的车间数据，匹配到所述三维模型，构建车间的虚拟模型；
所述采集的车间数据，匹配到所述三维模型包括：
其中，Q表示匹配到三维模型的点，p表示采集的车间数据的点，R是旋转矩阵，t是平移向量；
所述采集的车间数据，匹配到所述三维模型还包括通过以下公式计算旋转矩阵和平移向量：
其中，pi为三维模型的点，qi为采集的车间数据的点，x表示x的欧几里得范数，∑表示对所有点对(pi, qi)求和，E(R, t)为误差函数；
计算所有点对之间的平均平方距离，获取旋转矩阵R和平移向量t，使误差函数E(R, t)最小。
2.根据权利要求1所述的AR车间巡检系统，其特征在于，所述数据管理模块能够接收所述虚拟模型并对所述虚拟模型进行标准化处理包括：对虚拟模型的几何形状进行规范化处理，统一坐标系和对单位进行转换；对虚拟模型的属性信息进行统一管理和标准化；对纹理进行标准化处理。
3.根据权利要求1所述的AR车间巡检系统，其特征在于，所述第二人机交互模块包括：状态模块、文字交互模块和视频显示模块；
所述状态模块包括显示空闲状态或进行状态；
所述文字交互模块传输显示AR端与专家端的文字信息；
所述视频显示模块显示AR端的虚拟模型。
4.根据权利要求1所述的AR车间巡检系统，其特征在于，所述专家模块根据所述标准化处理后的虚拟模型和所述第一指导策略，通过第二人机交互模块输出第二指导策略给AR端执行包括：
所述AR端和专家端共享虚拟模型，通过所述第一人机交互模块和第二人机交互模块进行实时音视频通信；
专家模块在共享的虚拟模型上进行实时标注和注释，输出第二指导策略；
AR端接收并执行第二指导策略。
5.根据权利要求4所述的AR车间巡检系统，其特征在于，进行实时标注和注释通过WebRTC技术实现，所述WebRTC技术表示网页实时通信技术。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410146776.8A CN117692610B (zh) | 2024-02-02 | 2024-02-02 | 一种ar车间巡检系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410146776.8A CN117692610B (zh) | 2024-02-02 | 2024-02-02 | 一种ar车间巡检系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117692610A CN117692610A (zh) | 2024-03-12 |
| CN117692610B true CN117692610B (zh) | 2024-04-26 |
Family
ID=90133781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410146776.8A Active CN117692610B (zh) | 2024-02-02 | 2024-02-02 | 一种ar车间巡检系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117692610B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
| CN111208759A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 矿井无人化综采工作面数字孪生智能监控系统 |
| CN113408761A (zh) * | 2021-07-14 | 2021-09-17 | 喻海帅 | 基于vr虚拟现实技术的通信基础设施检修技能实训系统 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| CN114357694A (zh) * | 2021-11-17 | 2022-04-15 | 国电南瑞科技股份有限公司 | 一种基于大规模点云的变电站数字孪生方法及装置 |
| CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
| CN115469745A (zh) * | 2022-09-09 | 2022-12-13 | 南方电网调峰调频发电有限公司信息通信分公司 | 一种基于ar技术的机房设备故障处理方法和系统 |
| CN115484436A (zh) * | 2022-08-04 | 2022-12-16 | 淮北矿业股份有限公司 | 一种矿业ar智能设备巡检系统 |
| CN116911823A (zh) * | 2023-07-05 | 2023-10-20 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种基于ar眼镜的变电站的巡检交互方法、系统 |
| CN117135146A (zh) * | 2023-08-16 | 2023-11-28 | 国网上海市电力公司 | 一种基于ar技术的远程指导系统 |
| CN117221633A (zh) * | 2023-11-09 | 2023-12-12 | 北京申信达成科技有限公司 | 一种基于元宇宙和数字孪生技术的虚拟现实直播系统 |
| CN117391451A (zh) * | 2023-11-07 | 2024-01-12 | 建龙西林钢铁有限公司 | 一种钢铁数字化安全管控系统 |
| CN117424924A (zh) * | 2023-09-22 | 2024-01-19 | 国网浙江省电力有限公司金华供电公司 | 一种基于元宇宙互动的巡视增强方法 |
| CN117473770A (zh) * | 2023-11-13 | 2024-01-30 | 建龙西林钢铁有限公司 | 一种基于数字孪生信息的钢铁设备智能管理系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230196231A1 (en) * | 2016-05-09 | 2023-06-22 | Strong Force Iot Portfolio 2016, Llc | Industrial digital twin systems using state value to adjust industrial production processes and determine relevance with role taxonomy |
| US11681970B2 (en) * | 2018-04-30 | 2023-06-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Automated augmented reality rendering platform for providing remote expert assistance |
-
2024
- 2024-02-02 CN CN202410146776.8A patent/CN117692610B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108879440A (zh) * | 2018-06-20 | 2018-11-23 | 国网山东省电力公司济宁供电公司 | 基于可穿戴增强现实显示终端和云平台的智能检修系统及方法 |
| CN111208759A (zh) * | 2019-12-30 | 2020-05-29 | 中国矿业大学(北京) | 矿井无人化综采工作面数字孪生智能监控系统 |
| WO2022040920A1 (zh) * | 2020-08-25 | 2022-03-03 | 南京翱翔智能制造科技有限公司 | 一种基于数字孪生 ar 交互系统和方法 |
| CN113408761A (zh) * | 2021-07-14 | 2021-09-17 | 喻海帅 | 基于vr虚拟现实技术的通信基础设施检修技能实训系统 |
| CN114357694A (zh) * | 2021-11-17 | 2022-04-15 | 国电南瑞科技股份有限公司 | 一种基于大规模点云的变电站数字孪生方法及装置 |
| CN114662714A (zh) * | 2022-02-25 | 2022-06-24 | 南京邮电大学 | 基于ar设备的机房运维管理系统及方法 |
| CN115484436A (zh) * | 2022-08-04 | 2022-12-16 | 淮北矿业股份有限公司 | 一种矿业ar智能设备巡检系统 |
| CN115469745A (zh) * | 2022-09-09 | 2022-12-13 | 南方电网调峰调频发电有限公司信息通信分公司 | 一种基于ar技术的机房设备故障处理方法和系统 |
| CN116911823A (zh) * | 2023-07-05 | 2023-10-20 | 中国南方电网有限责任公司超高压输电公司贵阳局 | 一种基于ar眼镜的变电站的巡检交互方法、系统 |
| CN117135146A (zh) * | 2023-08-16 | 2023-11-28 | 国网上海市电力公司 | 一种基于ar技术的远程指导系统 |
| CN117424924A (zh) * | 2023-09-22 | 2024-01-19 | 国网浙江省电力有限公司金华供电公司 | 一种基于元宇宙互动的巡视增强方法 |
| CN117391451A (zh) * | 2023-11-07 | 2024-01-12 | 建龙西林钢铁有限公司 | 一种钢铁数字化安全管控系统 |
| CN117221633A (zh) * | 2023-11-09 | 2023-12-12 | 北京申信达成科技有限公司 | 一种基于元宇宙和数字孪生技术的虚拟现实直播系统 |
| CN117473770A (zh) * | 2023-11-13 | 2024-01-30 | 建龙西林钢铁有限公司 | 一种基于数字孪生信息的钢铁设备智能管理系统 |
Non-Patent Citations (4)
| Title |
|---|
| Frandsen James.An augmented reality maintenance assistant with real-time quality inspection on handheld mobile devices.The International Journal of Advanced Manufacturing Technology.2023,全文. * |
| 李大勇 ; 杨畅 ; 张永伍 ; 陆小荣 ; .基于AR技术的变电站智能巡检系统设计与实现.微型电脑应用.2020,(08),全文. * |
| 王永明 ; 黄春红 ; 李鹏 ; 李宽宏 ; 林力辉 ; .智能眼镜在变电站电力设备智能巡检中的应用分析.科技视界.2018,(18),全文. * |
| 索寒生. 数字孪生技术助力石化智能工厂.化工进展.2023,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117692610A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7181227B2 (ja) | 産業資産完全性データのインテリジェントな自動化されたレビュー | |
| CN107168294B (zh) | 一种火电水系统设备无人巡检监控方法 | |
| CN108764668A (zh) | 一种基于bim技术的设施管理系统及方法 | |
| CN112769908A (zh) | 协同控制方法、装置及电子设备 | |
| CN112115927A (zh) | 一种基于深度学习的机房设备智能识别方法及系统 | |
| CN110796754A (zh) | 一种基于图像处理技术的机房巡检方法 | |
| CN115019008A (zh) | 一种智能3d模型设计分析服务管理平台 | |
| CN114491181A (zh) | 一种反窃电诊断检测方法及系统 | |
| CN117692610B (zh) | 一种ar车间巡检系统 | |
| CN109902209B (zh) | 一种基于空间智能的特种承压设备用户三维可视化方法 | |
| KR20230056006A (ko) | 3차원 모델을 통한 인공지능 기반 안전진단 장치 및 그 방법 | |
| KR101717597B1 (ko) | 모바일 기반 정도 관리 시스템 | |
| CN109764769B (zh) | 一种基于可视化装配系统的实时弹药装配指导方法 | |
| CN114301005A (zh) | 基于5g和ar的特高压gis设备智能辅助检修系统 | |
| CN113779125A (zh) | 一种施工安全信息管理方法及系统 | |
| Liu et al. | AR-Driven Industrial Metaverse for the Auxiliary Maintenance of Machine Tools in IoT-Enabled Manufacturing Workshop | |
| CN117077040B (zh) | 基于机器学习的大型复杂装备故障诊断与预测系统 | |
| CN109584235A (zh) | 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质 | |
| CN115186842B (zh) | 一种管理云平台 | |
| CN116405638A (zh) | 基于多元传感器的智能巡检装置、巡检系统及巡检方法 | |
| CN117273695A (zh) | 一种船舱管路系统ar巡检系统和方法 | |
| CN117876722A (zh) | 基于云边协同和模版匹配的工业园区设备巡检方法及系统 | |
| Tang et al. | Defect detection system based on deep learning optimization | |
| Jian-Hui et al. | Identification of engine order telegraph operational error based on image and speech recognition technologies | |
| Sakurai et al. | Human Work Support Technology Utilizing Sensor Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |