CN113570732A - 一种基于ar技术的盾构维修辅助方法和系统 - Google Patents
一种基于ar技术的盾构维修辅助方法和系统 Download PDFInfo
- Publication number
- CN113570732A CN113570732A CN202110915124.2A CN202110915124A CN113570732A CN 113570732 A CN113570732 A CN 113570732A CN 202110915124 A CN202110915124 A CN 202110915124A CN 113570732 A CN113570732 A CN 113570732A
- Authority
- CN
- China
- Prior art keywords
- maintenance
- information
- scene
- shield
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000005516 engineering process Methods 0.000 title claims abstract description 43
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 18
- 230000004927 fusion Effects 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 21
- 230000002452 interceptive effect Effects 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013461 design Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 210000000697 sensory organ Anatomy 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000008439 repair process Effects 0.000 claims 4
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Entrepreneurship & Innovation (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及盾构机维修设备技术领域，具体涉及一种基于AR技术的盾构维修辅助方法和系统，其中该系统包括三维跟踪注册单元、虚实融合显示单元、人机交互单元、维修辅助管理单元，将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
Description
技术领域
本发明涉及盾构机维修设备技术领域，具体涉及一种基于AR技术的盾构维修辅助方法和系统。
背景技术
盾构机是一种隧道掘进的专用工程机械，广泛应用于地铁、铁路、公路、市政、水电等隧道工程。作为盾构施工法中最重要的施工设备，盾构机集机械、电气、液压、传感器、信息于一体，涉及地质、土木、机械、力学、液压、电气、控制、测量等多门学科技术，具有开挖切削土体、输送土碴、拼装隧道衬砌、测量导向纠偏等功能，使用时往往要根据不同的地质进行“量体裁衣”式的设计制造，可靠性要求极高，其工作性能和运行状态关系到整个隧道施工工作的顺利与否。而盾构机本身结构组成复杂、技术密集度高、施工环境恶劣，这些都决定了盾构机维修作业技术难度大、劳动强度高、操作步骤复杂的特点。
与其他众多的大型复杂机电一体化设备一样，技术人员在承担盾构维修任务过程中，需要及时获取维修作业相关支持信息，以辅助其进行复杂的维修操作，目前采用的传统方式，通常是由技术人员根据维修对象故障状态和作业进展情况，通过查阅说明书、操作规程、技术指南等资料获取相关信息，某些复杂情况下还需结合自身工作经验才能得出合适的应对方案，使得维修工作能否顺利进行并解决很大程度上依赖技术人员的个人工作经验。
例如授权公告号为CN211761385U的中国实用新型专利文件公开的一种便携式盾构机检修用维修装置，再例如授权公告号为CN212054700U的中国实用新型专利文件公开的一种用于盾构机滚刀的移动维修间。这些专利均是通过提供一种新型的辅助维修工具来辅助盾构机的现场维修工作，但无一例外，二者现场使用时，同样需要技术人员根据实际情况作出研判，不清楚的地方仍然需要根据维修对象故障状态和作业进展情况，通过查阅说明书、操作规程、技术指南等资料获取相关信息，而后通过这些工具进行维修，同样存在依赖技术人员个人素质的问题，同时，会因这种查阅说明书、操作规程、技术指南等工作，极大地降低维修工作的效率，延长维修时间，造成维修人员难以集中精力，加大了作业事故发生的频率。
发明内容
有鉴于此，本发明的目的是提供一种基于AR技术的盾构维修辅助系统，通过借助增强现实技术（简称AR技术）来构建能够反映盾构机维修现场的三维场景，利用提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
为实现上述目的，本发明所提供的基于AR技术的盾构维修辅助系统采用如下技术方案：
一种基于AR技术的盾构维修辅助系统，包括：
场景信息采集单元，包括用于对维修场景进行信息采集的拍摄装置；
三维跟踪注册单元，包括基于ORB方法对所述拍摄装置所获取的维修场景中的自然特征点进行提取的特征提取模块、利用PROSAC算法对特征提取部分进行优化筛选的优化匹配模块、利用优化筛选结果对拍摄装置的位置姿态进行求解以完成维修场景的三维重建的三维重建模块、利用KLT算法实现对自然特征位置的预测与跟踪的预测跟踪模块；
虚实融合显示单元，包括供维修人员佩戴的显示设备、与显示设备信号连接的虚拟场景生成器以及与显示设备和虚拟场景生成器信号连接的视频合成器，所述显示设备上具有摄像装置，用于拍摄真实环境场景画面，而后由虚拟场景生成器产生虚拟信息，再由视频合成器将真实环境场景画面和虚拟信息叠加合成并传输至所述显示设备；
人机交互单元，包括用于获取、识别、分析用户的交互输入信息的信息收集模块和及时产生应用反馈响应，以持续向维修人员的感官输出数据信息以提供辅助支援任务的处理反馈模块；
维修辅助管理单元，用于为系统的维修辅助服务提供数据支撑，收录有包括盾构系统设备部组件设计信息、维修操作规范、故障机理、操作说明、安全注意事项等在内的收录信息。
本发明所提供的基于AR技术的盾构维修辅助系统的有益效果是：将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
进一步地，所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
进一步地，所述信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响。
进一步地，所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。在盾构维修工作过程中，维修人员必须能够看到现实世界，实时地观察维修对象，采用光学透视式头盔平台能够满足上述使用需求，且画面延迟性低，使用体验更好。
进一步地，所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
为实现上述目的，本发明所提供的基于AR技术的盾构维修辅助方法采用如下技术方案：
一种基于AR技术的盾构维修辅助方法，包括如下步骤：
步骤S1：维修人员携带整个系统到达盾构设备所处的维修场景；
步骤S2：由场景信息采集单元利用拍摄装置对维修场景进行拍摄，由三维注册单元以ORB算法为基础实现对维修场景中自然特征点的提取和匹配，而后，使用PROSAC算法对特征匹配进行优化筛选；随后，利用匹配结果对拍摄装置位置姿态进行求解，完成场景的三维重建，最后，针对AR技术的实时性要求，引入KLT算法实现对自然特征位置的预测与跟踪；
步骤S3：虚实融合单元将真实环境场景画面和虚拟信息叠加合成并传输至显示设备，以供维修人员从真实和虚拟两个方面了解实时的维修场景状况；
步骤S4：维修人员通过交互输入信息来向人机交互单元中的信息收集模块发出指令，在维修辅助管理单元中收录信息的支撑下，人机交互单元中的处理反馈模块及时且持续地向维修人员的感官输出数据信息以提供辅助支援。
本发明所提供的基于AR技术的盾构维修辅助方法的有益效果是：将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
进一步地，所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
进一步地，步骤S4中，信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响，拍摄时，使用固定焦距位置拍摄维修人员手部画面，且采用不同角度采集指令手势画面，以提高后续手势识别的准确性。
进一步地，所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。在盾构维修工作过程中，维修人员必须能够看到现实世界，实时地观察维修对象，采用光学透视式头盔平台能够满足上述使用需求，且画面延迟性低，使用体验更好。
进一步地，所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
附图说明
图1是本发明所提供的基于AR技术的盾构维修辅助方法的流程框图；
图2是本发明中项目实施方案图；
图3是本发明中基于ORB自然特征的跟踪注册流程图；
图4是本发明中优化匹配模块对特征点匹配的一般流程图；
图5是本发明中PROSAC算法的流程图；
图6是本发明中基于ORB和KLT的三维注册算法流程图；
图7是本发明中人机交互时的手势识别流程图；
图8是本发明所采用的光学透视头盔的原理图；
图9是本发明所采用的五种标准手势的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
下面结合附图及具体实施方式对本发明作进一步详细描述：
本发明所提供的基于AR技术的盾构维修辅助系统的具体实施例：
需要说明的是，在本发明中，以盾构维修场景为依据，通过对多项技术的整合集成，初步实现一套增强现实维修辅助原型系统，用以验证盾构维修辅助系统方案设计和相关技术的可行性，实现系统对盾构维修的辅助支持基本功能。其中，系统开发软件环境包括Unity3D、SQLite数据库、MATLAB、Visual Studio、Pro/E等。
AR技术通过三维跟踪注册技术，实现虚拟对象与真实场景之间的“配准”。为了尽可能地实现真实场景同虚拟信息的“无缝”融合，目前在增强现实设备中通用的跟踪注册方式主要有基于硬件跟踪设备的跟踪注册、基于计算机视觉的跟踪注册以及混合跟踪注册，这三类主流跟踪注册技术各有其优缺点。结合盾构维修场景应用实际需求，增强现实维修辅助系统需依托于便携式的移动计算设备平台，这就对系统的跟踪注册模块硬件选择提出了轻量化的要求；盾构维修场景对跟踪注册算法的适应性有很高要求，若使用基于人工标识的跟踪注册将存在较大局限性；此外，系统的开发还需考虑应以较低的经济成本和技术代价投入，获得满足需求的系统功能效果。据此，本发明将开展基于自然特征的维修场景对象识别技术研究，设计适合盾构维修应用场景的跟踪注册解决方案。
跟踪注册技术是研究增强现实系统所面临的首要技术问题。考虑盾构维修辅助系统的应用需求，本发明采用基于视觉自然特征的跟踪注册技术方案，以使使系统能够适应复杂的盾构维修环境。为满足移动计算平台对跟踪注册算法的鲁棒性和实时性要求，拟使用一种ORB和KLT混合的跟踪注册算法流程方案，将复杂的跟踪注册流程分解为特征提取、优化匹配和三维重建等具体步骤予以实现。
如图1至图8所示，种基于AR技术的盾构维修辅助系统，包括：
场景信息采集单元，包括用于对维修场景进行信息采集的拍摄装置；
三维跟踪注册单元，包括基于ORB方法对所述拍摄装置所获取的维修场景中的自然特征点进行提取的特征提取模块、利用PROSAC算法对特征提取部分进行优化筛选的优化匹配模块、利用优化筛选结果对拍摄装置的位置姿态进行求解以完成维修场景的三维重建的三维重建模块、利用KLT算法实现对自然特征位置的预测与跟踪的预测跟踪模块；
在特征点匹配与筛选中，本发明使用的基于自然特征跟踪注册流程，区分离线和在线两个阶段。在离线阶段，需要使用摄像机对盾构机设备典型维修场景进行视频流采集，选定不同视角的场景图像以提取关键帧数据，由场景图像序列进行稀疏场景三维结构重建，建立由维修场景信息构成的关键特征规则库。在增强系统工作阶段——即在线阶段，由移动平台的跟踪摄像机获取维修现场的视频信息，将此时场景的前后帧相关信息与离线阶段的稀疏点模型的关键特征进行匹配，完成三维跟踪注册。
不论是离线阶段的场景三维重建过程，还是获取在线阶段的前后帧相关信息，都是以图像序列中的特征信息匹配结果为基础。特征点匹配的一般流程如图4所示。在建立了待匹配的参考帧与当前帧图像间的匹配算法后，为了避免误匹配情况的发生，同时为了尽量降低系统在运算时的资源消耗，需要使用必要的优化方法。
关于改进的RANSAC算法，随机抽样一致（Random Sample Consensus，简称RANSAC）是一种鲁棒性很强的迭代预测算法。该算法针对某一数学模型的一组包含异常值得观测数据集，基于随机投票原理给出排除异常值的模型参数预测结果，但存在以下不足：一方面，传统RANSAC 算法每一次随机选择样本集，都要搜索与之对应的类内点集，对于观测数据集中存在大量误差数据的情况，能够搜索到的类内点集数量很少，根据算法实现要求最后被舍弃，这就造成寻找类内点的过程需要耗费很多时间；另一方面，传统 RANSAC 算法选取随机样本集时是从效率角度考虑，若开始时选取一些非最佳参数作为样本，就会造成得出的模型不够稳定，从而影响预测精度。
为进一步优化特征匹配过程和降低系统计算负担，本发明使用针对传统 RANSAC算法改进的PROSAC（Progressive Sample Consensus）算法，以提高对特征点筛选的计算效率和鲁棒性。相较于RANSAC完全随机的抽样方式，PROSAC算法综合考虑了样本间的差异性。针对样本间存在的好坏差距，以样本中内点存在的概率高低作为评价该样本质量的标准，预先将样本按质量由高到低进行排序，优先从高质量的数据集中抽取样本，提高了筛选匹配的准确性。
PROSAC算法流程如图5所示。由于PROSAC算法本身不具备对样本质量进行降序排列的功能，因此，本发明使用欧氏距离作为评价标准，以位置因素衡量匹配点对的质量优势，并使用快速排序法实现样本降序排列以作为算法的输入序列。开始时，PROSAC算法将选取输入序列中前n个样本，再从中随机抽取m个以进行后续建模；在经历若干次“选择样本-建立模型”的假设过程之后，当满足结束条件时验证并获得最优解。这种将匹配质量差的点对进行预先剔除的方式，减少了算法的输入量，在保证不降低算法准确度的同时，有效地减少了算法的时间开销。
关于KLT算法，利用 ORB 特征检测和匹配的方法进行三维跟踪注册，需要频繁地对基准帧和前后帧图像信息进行提取、分析，以获得图像间的单应性关系，保持系统注册的实时更新。这种方式可以为系统提供稳定的跟踪注册，但也造成了ORB 算法流程中的计算瓶颈。ORB特征描述符的检测对象是视频画面的全局像素，随着视频流的持续输入，这个持续过程会加重系统的计算负担。本发明为系统跟踪注册过程引入KLT算法，利用其在图像局部区域内对特征的预测跟踪能力，改善系统的实时性能。以下为KLT算法原理：
KLT 跟踪算法最初来源于对Lucas-Kanade光流算法的改进，该跟踪算法基于最优估计，在实时计算速度上较原先算法有大幅提升。对一个待跟踪的、包含有特征的局部窗口区域W，KLT提出了以下三条假设作为算法前提：①亮度恒定；②时间连续或者位移较小；③同一邻域空间保持一致。设以 I(x, y) 表示图像灰度值，对于t 时刻的图像帧I(x, y,t)，在t+dt 时刻可表示为I(x, y, t+dt)，考虑假设前提①，应满足如下公式：
其中（x+dx, y+dy）表示特征窗口的新位置，窗口区域W所有的（x, y）都移动了（dx, dy），将这个位移记为d。KLT算法寻求匹配的问题可转化为对下式求最小值。
其中，ε(d) 为窗口区域 W 的灰度差平方和函数；I、J 为前后两帧图像，ω(X)为加权函数，通常取值为1。
对ε(d)函数求导，同时考虑到前提②，d的值远远小于X，可将上式中I、J表达式进行泰勒展开，并截取线性项后，得
其中，
令式（3）等于0，即可求得式（2）的最小值，表达式为：
Zd=e （5）
其中，
g是泰勒级数展开后的一阶系数，对于两帧图像I、J，通过求解式（5）即可得出被跟踪的窗口W的位移d。
系统跟踪注册算法在加入KLT后，需要设定KLT算法的判断阈值。若KLT跟踪的特征点大于阈值，则继续使用KLT跟踪下一帧；反之，弱特征点数减少至阈值以下，说明由位置变动造成的误差累计过大，此时应放弃使用KLT，返回使用ORB进行场景识别。这样的做法尽可能利用KLT提高系统实时性，同时不降低跟踪注册的准确性。
本发明利用 KLT 对图像特征的预测能力，实现对匹配特征局部区域的跟踪和注册，以降低移动平台计算消耗，进一步改善系统实时性能，算法实现流程如图6所示。
虚实融合显示单元，包括供维修人员佩戴的显示设备、与显示设备信号连接的虚拟场景生成器以及与显示设备和虚拟场景生成器信号连接的视频合成器，所述显示设备上具有摄像装置，用于拍摄真实环境场景画面，而后由虚拟场景生成器产生虚拟信息，再由视频合成器将真实环境场景画面和虚拟信息叠加合成并传输至所述显示设备；
人机交互单元，包括用于获取、识别、分析用户的交互输入信息的信息收集模块和及时产生应用反馈响应，以持续向维修人员的感官输出数据信息以提供辅助支援任务的处理反馈模块；
维修辅助管理单元，用于为系统的维修辅助服务提供数据支撑，收录有包括盾构系统设备部组件设计信息、维修操作规范、故障机理、操作说明、安全注意事项等在内的收录信息。
所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
所述信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响。
面对盾构机这类复杂机电设备的维修过程，考虑到增强现实维修辅助系统的介入，在维修实践中频繁存在着的虚拟支持信息同人员的实时交互，在一定程度上可能会分散维修人员的注意力，加重人员的操作负担。因此，在维修辅助场景下，系统的人机交互方式因考虑便捷、自然、无障碍的交互通道。手势指令具有自然、准确的优点，引入手势作为交互操作的通道，符合盾构维修辅助系统对人机交互的要求。
本发明从分析增强现实条件下的维修辅助过程与系统人机交互间的关系入手，提出基于自然手势输入的人机交互方案。基于深度图像数据实现对手势的分割提取；自定义建立指令手势模板库，完成对输入手势的状态划分；利用图像属性对手势信息进行特征描述，并使用支持向量机（Support Vector Machine, SVM）训练指令手势分类器，实现系统对手势指令的识别交互。
佩戴特殊标记或数据手套的技术方案，虽然识别精度较高，但额外的附加物会对维修人员的的实际操作带来妨碍，并不适合在本系统场景下的应用。因此，本发明将采用基于计算机视觉的技术方案，实现对人员手势输入的识别。
与系统跟踪注册功能的实现过程类似，系统的手势识别也区分离线和在线阶段。在离线阶段，首先需要为系统定义并采集标准指令手势信息，以建立交互手势模板库，通过对指令手势的特征提取获得特征向量集，以实现对分类器的训练。在线阶段，系统在提供维修辅助信息的同时，通过摄像头采集手势画面，对获得的输入手势图像信息进行与离线阶段类似的预处理过程，在获得输入手势的特征向量集后，利用离线阶段构建的分类器进行指令手势识别，从而实现系统交互控制。
增强现实维修辅助系统的手势交互的方式种类多种多样——在系统提供维修辅助的过程中，需要手势对虚拟支持信息实现诸如选取、确认、取消、关闭、前进、后退等交互操作。为此，本发明采取自定义设计标准指令手势、建立交互手势模板库的方式，将特定手势语义化映射至交互指令，当输入手势被识别为特定指令手势后，即执行与之对应的交互操作，从而实现系统的人机交互功能。
为便于在实验室条件下开展增强现实场景下人机交互研究，同时对系统手势识别技术可行性进行实验验证，本发明在离线阶段为系统建立一个由静态手势构成的标准模板库。其中，自定义手势以固定的手形为基本设计，要求在一定程度上符合日常手势的使用习惯，以利于维修辅助系统使用者的训练记忆及使用。本发明拟设计并建立含有5 种标准手势的模板库，以满足使用手势对维修辅助系统中虚拟支持信息进行确认、取消、浏览、前进和后退等操作交互，如图9所示。
考虑到盾构维修现场光照条件不均匀、背景环境复杂等特点，系统采用深度摄像头采集手势画面视频信息，借助其获取到的含有现场及手势对象距离深度的数据，在手势数据提取过程中，可有效排除光照及背景环境的影响。在离线阶段，需要尽可能完整地获取手部特征信息，因此可人为设置理想化的手势采集条件：使用固定焦距位置拍摄手部画面，以提高训练集数据的有效性，简化训练集数据的处理过程；采用不同角度采集指令手势画面，以提高后续手势识别分类器的泛化能力。
本发明所采用的指令手势识别流程如图7所示。首先，将由摄像机采集的画面自视频流中分离，形成图像帧序列；然后，以深度信息阈值分割和获取手部图像，并利用轮廓提取算法实现对手形轮廓的提取；接着，引入图像帧阈值，用于剔除存在无效手势状态的画面帧，以提高后续手势识别效率；继而，结合自定义指令手势的静态手形特点，利用图像属性特征向量描述指令手势的特征；最后，将前述特征向量作为支持向量，利用支持向量机分类器实现对指令手势的识别，并通过预先设定的语义状态将指令手势映射至对应输入操作，实现系统的人机交互。
所述显示设备为光学透视式头盔平台，如图8所示，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。在盾构维修工作过程中，维修人员必须能够看到现实世界，实时地观察维修对象，采用光学透视式头盔平台能够满足上述使用需求，且画面延迟性低，使用体验更好。
所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
本发明所提供的基于AR技术的盾构维修辅助系统的有益效果是：将AR技术与盾构维修设备相结合，在维修人员进入维修场景后，不需要盲目地观察故障信息并查阅各类维修手册和维修信息，便能够通过本系统提前收录的与盾构机维修相关的说明书、操作规程、技术指南等资料，通过光学透视设备将盾构机的维修方法和维修技巧进行三维立体显示，使得维修人员能够快速准确地对盾构机进行维修，极大地提高了维修工作的效率，缩短了维修时间，降低了作业事故发生的频率。
本发明所提供的基于AR技术的盾构维修辅助方法具体实施例：
一种基于AR技术的盾构维修辅助方法，包括如下步骤：
步骤S1：维修人员携带整个系统到达盾构设备所处的维修场景；
步骤S2：由场景信息采集单元利用拍摄装置对维修场景进行拍摄，由三维注册单元以ORB算法为基础实现对维修场景中自然特征点的提取和匹配，而后，使用PROSAC算法对特征匹配进行优化筛选；随后，利用匹配结果对拍摄装置位置姿态进行求解，完成场景的三维重建，最后，针对AR技术的实时性要求，引入KLT算法实现对自然特征位置的预测与跟踪；
步骤S3：虚实融合单元将真实环境场景画面和虚拟信息叠加合成并传输至显示设备，以供维修人员从真实和虚拟两个方面了解实时的维修场景状况；
步骤S4：维修人员通过交互输入信息来向人机交互单元中的信息收集模块发出指令，在维修辅助管理单元中收录信息的支撑下，人机交互单元中的处理反馈模块及时且持续地向维修人员的感官输出数据信息以提供辅助支援。
上述步骤的具体实施可参考关于基于AR技术的盾构维修辅助系统的实施例中的相关描述，此处不再赘述。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。
Claims (10)
1.一种基于AR技术的盾构维修辅助系统，其特征在于，包括：
场景信息采集单元，包括用于对维修场景进行信息采集的拍摄装置；
三维跟踪注册单元，包括基于ORB方法对所述拍摄装置所获取的维修场景中的自然特征点进行提取的特征提取模块、利用PROSAC算法对特征提取部分进行优化筛选的优化匹配模块、利用优化筛选结果对拍摄装置的位置姿态进行求解以完成维修场景的三维重建的三维重建模块、利用KLT算法实现对自然特征位置的预测与跟踪的预测跟踪模块；
虚实融合显示单元，包括供维修人员佩戴的显示设备、与显示设备信号连接的虚拟场景生成器以及与显示设备和虚拟场景生成器信号连接的视频合成器，所述显示设备上具有摄像装置，用于拍摄真实环境场景画面，而后由虚拟场景生成器产生虚拟信息，再由视频合成器将真实环境场景画面和虚拟信息叠加合成并传输至所述显示设备；
人机交互单元，包括用于获取、识别、分析用户的交互输入信息的信息收集模块和及时产生应用反馈响应，以持续向维修人员的感官输出数据信息以提供辅助支援任务的处理反馈模块；
维修辅助管理单元，用于为系统的维修辅助服务提供数据支撑，收录有包括盾构系统设备部组件设计信息、维修操作规范、故障机理、操作说明、安全注意事项等在内的收录信息。
2.根据权利要求1所述的基于AR技术的盾构维修辅助系统，其特征在于：所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
3.根据权利要求2所述的基于AR技术的盾构维修辅助系统，其特征在于：所述信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响。
4.根据权利要求1至3任一项所述的基于AR技术的盾构维修辅助系统，其特征在于：所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。
5.根据权利要求1至3任一项所述的基于AR技术的盾构维修辅助系统，其特征在于：所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
6.一种基于AR技术的盾构维修辅助方法，其特征在于，包括如下步骤：
步骤S1：维修人员携带整个系统到达盾构设备所处的维修场景；
步骤S2：由场景信息采集单元利用拍摄装置对维修场景进行拍摄，由三维注册单元以ORB算法为基础实现对维修场景中自然特征点的提取和匹配，而后，使用PROSAC算法对特征匹配进行优化筛选；随后，利用匹配结果对拍摄装置位置姿态进行求解，完成场景的三维重建，最后，针对AR技术的实时性要求，引入KLT算法实现对自然特征位置的预测与跟踪；
步骤S3：虚实融合单元将真实环境场景画面和虚拟信息叠加合成并传输至显示设备，以供维修人员从真实和虚拟两个方面了解实时的维修场景状况；
步骤S4：维修人员通过交互输入信息来向人机交互单元中的信息收集模块发出指令，在维修辅助管理单元中收录信息的支撑下，人机交互单元中的处理反馈模块及时且持续地向维修人员的感官输出数据信息以提供辅助支援。
7.根据权利要求6所述的基于AR技术的盾构维修辅助方法，其特征在于：所述交互输入信息为自定义化标准指令手势，包括确认、取消、浏览、前进、后退，所述人机交互单元还包括与自定义化标准指令手势所匹配的交互指令手势模板库。
8.根据权利要求7所述的基于AR技术的盾构维修辅助方法，其特征在于：步骤S4中，信息收集模块包括用于采集手势画面视频信息的摄像头，所述摄像头为深度摄像头以有效排除光照及背景环境的影响，拍摄时，使用固定焦距位置拍摄维修人员手部画面，且采用不同角度采集指令手势画面，以提高后续手势识别的准确性。
9.根据权利要求6至8任一项所述的基于AR技术的盾构维修辅助方法，其特征在于：所述显示设备为光学透视式头盔平台，所述光学透视式头盔平台包括半透半反的镜片，所述镜片用于投射由所述视频合成器处理后的叠加的真实环境场景信息和虚拟信息，以使维修人员在看到虚拟信息的同时也能透过镜片直接观察到真实环境。
10.根据权利要求6至8任一项所述的基于AR技术的盾构维修辅助方法，其特征在于：所述收录信息的呈现形式包括图形、文字、符号、标记、动画以及3D模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915124.2A CN113570732A (zh) | 2021-08-10 | 2021-08-10 | 一种基于ar技术的盾构维修辅助方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110915124.2A CN113570732A (zh) | 2021-08-10 | 2021-08-10 | 一种基于ar技术的盾构维修辅助方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570732A true CN113570732A (zh) | 2021-10-29 |
Family
ID=78171106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110915124.2A Pending CN113570732A (zh) | 2021-08-10 | 2021-08-10 | 一种基于ar技术的盾构维修辅助方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570732A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114371804A (zh) * | 2021-12-03 | 2022-04-19 | 国家能源集团新能源技术研究院有限公司 | 电子图档浏览方法及系统 |
| CN115268722A (zh) * | 2022-07-07 | 2022-11-01 | 国网上海市电力公司 | 一种绝缘件局放试验智能交互方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102795349A (zh) * | 2012-06-29 | 2012-11-28 | 电子科技大学 | 一种穿戴式飞机维修用辅助装置 |
| CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
| CN109878760A (zh) * | 2019-04-15 | 2019-06-14 | 中国民航大学 | 一种通用航空飞机故障远程协助平台及修复方法 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
| CN112198961A (zh) * | 2020-09-28 | 2021-01-08 | 中国人民解放军空军工程大学航空机务士官学校 | 一种设备维修作业辅助引导系统 |
-
2021
- 2021-08-10 CN CN202110915124.2A patent/CN113570732A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102795349A (zh) * | 2012-06-29 | 2012-11-28 | 电子科技大学 | 一种穿戴式飞机维修用辅助装置 |
| CN106096857A (zh) * | 2016-06-23 | 2016-11-09 | 中国人民解放军63908部队 | 增强现实版交互式电子技术手册、内容构建及辅助维修/辅助操作流程的构建 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
| CN109878760A (zh) * | 2019-04-15 | 2019-06-14 | 中国民航大学 | 一种通用航空飞机故障远程协助平台及修复方法 |
| CN112198961A (zh) * | 2020-09-28 | 2021-01-08 | 中国人民解放军空军工程大学航空机务士官学校 | 一种设备维修作业辅助引导系统 |
Non-Patent Citations (2)
| Title |
|---|
| 杨文芳;何宁;: "基于增强现实技术的武器装备维修辅助系统设计与实现", 信息系统工程 * |
| 王连山;赵海雷;沈捷;: "用于泥水盾构施工培训的模拟操作平台", 建筑机械化 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114371804A (zh) * | 2021-12-03 | 2022-04-19 | 国家能源集团新能源技术研究院有限公司 | 电子图档浏览方法及系统 |
| CN115268722A (zh) * | 2022-07-07 | 2022-11-01 | 国网上海市电力公司 | 一种绝缘件局放试验智能交互方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112184705B (zh) | 一种基于计算机视觉技术的人体穴位识别、定位及应用系统 | |
| CN103677274B (zh) | 一种基于主动视觉的互动投影方法及系统 | |
| CN113570732A (zh) | 一种基于ar技术的盾构维修辅助方法和系统 | |
| Yang et al. | Effective whole-body pose estimation with two-stages distillation | |
| CN110516636A (zh) | 一种工序的监测方法、装置、计算机设备和存储介质 | |
| CN109800770A (zh) | 一种实时目标检测的方法、系统及装置 | |
| CN116630394B (zh) | 一种三维建模约束的多模态目标物体姿态估计方法及系统 | |
| CN105929962A (zh) | 一种360°全息实时交互方法 | |
| CN104821010A (zh) | 基于双目视觉的人手三维信息实时提取方法及系统 | |
| Qian et al. | Visual SLAM with BoPLW pairs using egocentric stereo camera for wearable-assisted substation inspection | |
| CN114758362A (zh) | 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法 | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| CN111626135A (zh) | 基于深度图的三维手势识别系统 | |
| CN111539262A (zh) | 一种基于单张图片的运动转移方法及系统 | |
| CN113255429A (zh) | 一种视频中人体姿态估计与跟踪方法及系统 | |
| CN111145082A (zh) | 人脸图像处理方法、装置、电子设备及存储介质 | |
| CN116092189A (zh) | 一种基于rgb数据和骨骼数据的双模态人体行为识别方法 | |
| Aitpayev et al. | Semi-automatic annotation tool for sign languages | |
| Abate et al. | Mixed reality environment for mission critical systems servicing and repair | |
| CN113792629A (zh) | 一种基于深度神经网络的安全帽佩戴检测方法及系统 | |
| Nitta et al. | Finger Character Recognition in Sign Language Using Finger Feature Knowledge Base for Similarity Measure | |
| Kendrick et al. | An online tool for the annotation of 3d models | |
| Cordea et al. | 3-D head pose recovery for interactive virtual reality avatars | |
| Zhao et al. | Research and implementation on key technologies of assembly assistance system based on augmented reality | |
| Zeng et al. | Highly fluent sign language synthesis based on variable motion frame interpolation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211029 |