CN112017303B - 一种基于增强现实技术的设备维修辅助方法 - Google Patents
一种基于增强现实技术的设备维修辅助方法 Download PDFInfo
- Publication number
- CN112017303B CN112017303B CN202010920479.6A CN202010920479A CN112017303B CN 112017303 B CN112017303 B CN 112017303B CN 202010920479 A CN202010920479 A CN 202010920479A CN 112017303 B CN112017303 B CN 112017303B
- Authority
- CN
- China
- Prior art keywords
- image
- marker
- template
- augmented reality
- reality technology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012423 maintenance Methods 0.000 title claims abstract description 39
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000001133 acceleration Effects 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 4
- 239000003550 marker Substances 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000004064 recycling Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 4
- 238000005314 correlation function Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000889 atomisation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明属于智能技术领域，具体涉及一种基于增强现实技术的设备维修辅助方法，包括：预存储设备信息，采集所有设备环境信息,根据预维修对象本身特点选定设备的图样完成图像匹配；利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态结算；根据图像数据采集模块的内外参数确定坐标系之间的转换关系，使用惯性数据补偿视觉数据之后，完成配准工作以及图像的追踪处理；完成虚拟物体与真实场景的叠加；将增强过的图像信息调入显示缓存区中并输出，实现对显示场景图像的实时增强显示。该方法稳定性强、精准度高、响应速度快，可以适用于各类设备的辅助维修。
Description
技术领域
本发明属于智能技术领域，具体涉及一种基于增强现实技术的设备维修辅助方法。
背景技术
增强现实AR(Augmented Reality,)，又名混合现实MR(Mixed Reality)(也有部分学者认为，增强现实只是混合现实的一部分，由它和虚拟现实、现实世界、数字化信息等共同组成混合现实)，是以计算机数字图像处理原理为基础，应用虚实配准技术和计算机视觉技术，把虚拟世界与客观世界合并为一体并在输出端体现出来，为用户展现出身临其境的直观感受。它不仅在尖端武器的研制、远程机器人视觉控制、精密仪器的制造等高科技领域拥有十分明显的技术优势，更是在虚拟学习与训练、智能手机游戏、文艺演出效果甚至电视节目等民生领域中展现出惊人的市场价值。
随着工业化复杂度、集成度的不断提高，设备维修维护工程的复杂程度、困难程度也与日俱增，如何使得现场作业人员工作效率得以显著提高并使得工程实施的困难程度有效降低，同时在增强现实维修系统的指导下进行拆卸、组装、检查、养护等各类维修工作的主导是负责现场维修的工程技术人员，而各种工具、零部件、原材料等都是维修工作的对象，因此解决好维修工作现场中的虚实配准、跟踪注册、相机姿态估计及识别与定位等关键技术问题，才可能将增强现实的辅助维修系统用在实际维修工作中。
发明内容
针对现有技术中的问题，本发明的目的是设计一个新的技术方案，提供一种基于增强现实技术的设备维修辅助方法，用以解决上述问题。
为了达到上述目的，本发明是通过以下技术方案来实现的：
一种基于增强现实技术的设备维修辅助方法，包括：
预存储设备信息，包括设备名称、生产厂家、设备参数和使用状况；
采集所有设备环境信息,包括图像信息，送入存储器存储；
根据预维修对象本身特点选定设备的图样完成图像匹配；
利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态结算；
根据图像数据采集模块的内外参数确定坐标系之间的转换关系，使用惯性数据补偿视觉数据之后，完成配准工作以及图像的追踪处理；
根据配准结果完成3D模型的绘制并将模型导入视频流中，完成虚拟物体与真实场景的叠加；
将增强过的图像信息调入显示缓存区中并输出，实现对显示场景图像的实时增强显示。
优选地，所述根据预维修对象本身特点选定设备的图样完成图像匹配具体包括：
通过在图像中采集出的目标的各种特点，对所有目标体进行分类识别；
若捕捉到预维修对象真实环境的图像，即在图像中寻找到Marker，并得出Marker的屏幕坐标与世界坐标之间的计算关系；
对采集到的视频图像做二值化处理，接着对二值图像予以图像分割，得到Marker的轮廓，下来拟合出Marker的边缘线，做规范化处理后，再将Marker模板列表中的模板与经过规范化处理的图像进行匹配。
优选地，所述将Marker模板列表中的模板与经过规范化处理的图像进行匹配，具体包括：判定采集到的图像里检索有没有Marker，若有则通过计算图像和Marker之间的相关系数，得出在二者相应点的最大值，完成匹配模板的过程。
优选地，所述完成匹配模板的过程具体包括：
从已经检索出的Marker的图像里取出Marker的轮廓部分的图像，再用旋转或缩放的方式进行规范化处理，获得和模板T(x,y)一样大小的图像S(x,y)；
把图像S(x,y)与模板T(x,y)执行相关系数计算，如果模板与图像S的大小为
M*M，也就是他们的行像素数为M，列像素数为M，其相关系数的计算如下:
经过计算，得到相关系数值；
把图像S进行90度旋转，再循环执行4次上述步骤；
相关系数的最大值可以通过对比这四个相关系数的大小找出，当相关系数接近1时，可判定出识别到的Marker的图像就是此时的图像，即模板与Marker完成了匹配。
优选地，所述配准工作采用视觉导航方法与惯性导航方法相结合的位置跟踪方法。
优选地，所述位置跟踪方法具体包括读取加速度值以及角速度值，再经过卡尔曼滤波后，获得采样的周期很短的四元数，再采用基于四元数的滑动滤波算法进一步解算出欧拉角，经坐标变换后与视觉导航数据经一致性估计后做进一步融合，实现配准。
优选地，所述图像数据采集模块为摄像机。
优选地，所述内外参数具体为摄像机的几何结构和位姿特征参数。
优选地，所述内参数具体包括自焦距f光心到图像平面之间的距离、主点(u0，v0)光轴与图像平面的交点、比例因子与像素x和y的尺寸有关、摄像机畸变因子k和摄像机径向畸变相关的比例因子。
优选地，所述外参数具体包括以表述摄像机的姿态的旋转参数和以表述在世界坐标系里摄像机所在的位置的平移参数。
本发明具有如下的有益效果：
本发明基于增强现实技术，采用数字图像处理的相关算法，使用辅助函数的标定、匹配以及配准，图像采集模块内外参数矩阵的求解与标定，有效解决了维修工作现场中的虚实配准、跟踪注册、相机姿态估计及识别与定位等关键技术问题，对于工业领域而言无论是从设备维修的现实意义还是教学方面都有极强的潜力空间，可以大面积推广，尤其适用于航空维修等高难度、高强度维修作业领域。并且，系统的拓展性很强，可作为医疗、教育、社交、旅游、甚至军事等多方面领域的辅助应用系统，具有良好的经济效益和社会效益。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本实施例中基于增强现实技术的设备维修辅助方法的流程示意图；
图2是本实施例中图像匹配步骤的具体流程示意图。
具体实施方式 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在说明书及权利要求书当中使用了某些名称来指称特定组件。应当理解，本领域普通技术人员可能会用不同名称来指称同一个组件。本申请说明书及权利要求书并不以名称的差异作为区分组件的方式，而是以组件在功能上的实质性差异作为区分组件的准则。如在本申请说明书和权利要求书中所使用的“包含”或“包括”为一开放式用语，其应解释为“包含但不限定于”或“包括但不限定于”。具体实施方式部分所描述的实施例为本发明的较佳实施例，并非用以限定本发明的范围。
此外，所属技术领域的技术人员知道，本发明的各个方面可以实现为系统、方法或计算机程序产品。因此，本发明的各个方面可以具体实现为软硬件结合的形式，这里可以统称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明的各个方面还可以实现为在一个或多个微控制器可读介质中的计算机程序产品的形式，该微控制器可读介质中包含微控制器可读的程序代码。
实施例
请参考图1-2，一种基于增强现实技术的设备维修辅助方法，包括：
预存储设备信息，包括设备名称、生产厂家、设备参数和使用状况；
采集所有设备环境信息,包括图像信息，送入存储器存储；
根据预维修对象本身特点选定设备的图样完成图像匹配；
利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态结算；
根据图像数据采集模块的内外参数确定坐标系之间的转换关系，使用惯性数据补偿视觉数据之后，完成配准工作以及图像的追踪处理；
根据配准结果完成3D模型的绘制并将模型导入视频流中，完成虚拟物体与真实场景的叠加；
将增强过的图像信息调入显示缓存区中并输出，实现对显示场景图像的实时增强显示。
本实施例中根据预维修对象本身特点选定设备的图样完成图像匹配具体包括：
通过在图像中采集出的目标的各种特点，对所有目标体进行分类识别；
若捕捉到预维修对象真实环境的图像，即在图像中寻找到Marker，并得出Marker的屏幕坐标与世界坐标之间的计算关系；
对采集到的视频图像做二值化处理，接着对二值图像予以图像分割，得到Marker的轮廓，下来拟合出Marker的边缘线，做规范化处理后，再将Marker模板列表中的模板与经过规范化处理的图像进行匹配。
本实施例中将Marker模板列表中的模板与经过规范化处理的图像进行匹配，具体包括：判定采集到的图像里检索有没有Marker，若有则通过计算图像和Marker之间的相关系数，得出在二者相应点的最大值，完成匹配模板的过程。
模板的匹配可以在完成了Marker的轮廓中的边界线与矩形角等准备工作之后进行。
图像匹配是：在计算机识别物体的过程中，经常需要将非同一个传感器和同一个传感器的不同的摄像环境下、不同的时间点对同一个物体拍摄的二幅或多幅图在同一空间上进行对准；或是依据已经知道的对象，从另外一幅图像中找寻到相应的目标。应用图像匹配的办法能够找到运动的对象的位置或用来找到需要追踪的对象。依据对比两幅图像之间的相关度函数来计算对象位置的变化的方法就是常说的相关追踪，其追踪点就是两幅图像中的函数的峰值处，也即最佳匹配结果部分。关于相关追踪的信号的误差处理中，相关度是有严格要求的取值，相关追踪系统只能对那些限定追踪的对象相似景物所敏感，对其他的目标均反映不敏感。因此，它具备了较好的抗干扰的能力与选通跟踪的能力。相关追踪即将那些储存好的样板作为对象的图像鉴别或对象的位置选定依据。将样板对象和实时对象图像的那些子部分进行对比(通过计算得出其相关函数值)，寻觅到与对象样板最相符的子图像的位置(相关函数的峰值)，也就可以把它确定为对象的位置。这一方法被称为“模板匹配”，也就是相关追踪的实现方法。
本实施例中完成匹配模板的过程具体包括：
从已经检索出的Marker的图像里取出Marker的轮廓部分的图像，再用旋转或缩放的方式进行规范化处理，获得和模板T(x,y)一样大小的图像S(x,y)；
把图像S(x,y)与模板T(x,y)执行相关系数计算，如果模板与图像S的大小为
M*M，也就是他们的行像素数为M，列像素数为M，其相关系数的计算如下:
经过计算，得到相关系数值；
把图像S进行90度旋转，再循环执行4次上述步骤；
相关系数的最大值可以通过对比这四个相关系数的大小找出，当相关系数接近1时，可判定出识别到的Marker的图像就是此时的图像，即模板与Marker完成了匹配。
本实施例中配准工作采用视觉导航方法与惯性导航方法相结合的位置跟踪方法。
AR系统最重要的技术指标之一就是配准，可以用来判断系统性能的优劣。AR只能应用于即时的系统中，它之所以能对客观世界的场景动态地进行增强，就是通过在真实环境的图像中叠加虚拟的模型或文本信息等方式，使用配准算法能够实现虚拟图像与现实场景精准的匹配关系，这是实现虚拟模型与客观环境的融合的前提和基础。虚实配准的问题存在于所有的增强现实系统中，无论是静态的或者是动态的AR系统，都需要面对并加以解决。站在户的视角，除非用户与存放在现实环境中的虚拟物品发生交互，否则用何种视角观察其都应与真实的物体保持一致性。
因此在本实施例中位置跟踪方法具体包括读取加速度值以及角速度值，再经过卡尔曼滤波后，获得采样的周期很短的四元数，再采用基于四元数的滑动滤波算法进一步解算出欧拉角，经坐标变换后与视觉导航数据经一致性估计后做进一步融合，实现配准。
本实施例中图像数据采集模块为摄像机。
本实施例中内外参数具体为摄像机的几何结构和位姿特征参数。
本实施例中内参数具体包括自焦距f光心到图像平面之间的距离、主点(u0，v0)光轴与图像平面的交点、比例因子与像素x和y的尺寸有关、摄像机畸变因子k和摄像机径向畸变相关的比例因子。
本实施例中外参数具体包括以表述摄像机的姿态的旋转参数和以表述在世界坐标系里摄像机所在的位置的平移参数。
本实施例中首先进行初始化对摄像机进行标定，以取得其内、外部参数。在系统日常应用的过程之中，摄像机本身的位置及方向就代表了使用者所处的位置及视线。摄像机所采集到的图像信息直接为虚实配准算法提供相应的数据，摄像机投影原理则是整个配置算法的基础，假定选用的摄像机没有高精度的内部参数，配准的过程会发生巨大的错误，可能不能完成配准过程。因此，若要完成配准过程，首先就要标定摄像机的内部参数，其中只需涉及到世界坐标系及摄像机坐标系这两个坐标系之间的变换，而计算推导出基准点的世界坐标系和图像平面坐标之间的变换矩阵Tms就是定标的主要任务。
在本实施例中虚拟物体与真实场景的叠加也即将虚拟景物和真实环境进行融合的过程之中，最主要的一个效果标准就是相像性。其叠加过程使用以下两个方法来完成，一是虚拟物体制作；二是部分相关特效的结合，例如雨、光、烟等等。可以综合使用绘制图像以及绘制基本图形两种方式来满足系统实时绘制的要求。若要使用特殊效果，则可依据用户需求的不同采用不同的方式来体现，例如：Alpha混合处理、环境映射、雾化处理等。并利用ARToolKit构造虚拟信息。ARTool Kit是一套以C语言及OpenGL为基础的可用于增强现实的系统二次开发包，使用ARTool Kit可以更加简便、高效的绘制出具有真实质感的3D图形。它由几个函数库组成，分别是：AR32.1ib函数库：该函数库包括跟踪与定位、矩形标识物的识别、摄像机参数的收集、摄像机的校正等模块，用以实现三维注册、矩形标识物识别、定标摄像机等具体功能。ARvideoWin32.1ib函数库：该函数库以MS Vison SDK开发包为基础用以处理视频图像，可实现图像的实时采集等具体功能。ARgsub32.1ib函数库：该函数库以OpenGL为基础用以进行图形处理，可实现实时显示图像、实时渲染三维虚拟场景等具体功能。除ARvideoWin32.1ib之外以上几个库函数的源代码都是对外开放的，可以依据自身实际需求对它修改或补充。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于增强现实技术的设备维修辅助方法，其特征在于：包括：
预存储设备信息，包括设备名称、生产厂家、设备参数和使用状况；
采集所有设备环境信息,包括图像信息，送入存储器存储；
根据预维修对象本身特点选定设备的图样完成图像匹配；
利用惯性器件采集加速度、角速度数据，经过卡尔曼滤波与DMP处理后完成姿态结算；
根据图像数据采集模块的内外参数确定坐标系之间的转换关系，使用惯性数据补偿视觉数据之后，完成配准工作以及图像的追踪处理；
根据配准结果完成3D模型的绘制并将模型导入视频流中，完成虚拟物体与真实场景的叠加；
将增强过的图像信息调入显示缓存区中并输出，实现对显示场景图像的实时增强显示；
所述根据预维修对象本身特点选定设备的图样完成图像匹配具体包括：
通过在图像中采集出的目标的各种特点，对所有目标体进行分类识别；
若捕捉到预维修对象真实环境的图像，即在图像中寻找到Marker，并得出Marker的屏幕坐标与世界坐标之间的计算关系；
对采集到的视频图像做二值化处理，接着对二值图像予以图像分割，得到Marker的轮廓，下来拟合出Marker的边缘线，做规范化处理后，再将Marker模板列表中的模板与经过规范化处理的图像进行匹配；
所述将Marker模板列表中的模板与经过规范化处理的图像进行匹配，具体包括：判定采集到的图像里检索有没有Marker，若有则通过计算图像和Marker之间的相关系数，得出在二者相应点的最大值，完成匹配模板的过程；
所述完成匹配模板的过程具体包括：从已经检索出的Marker的图像里取出Marker的轮廓部分的图像，再用旋转或缩放的方式进行规范化处理，获得和模板T(x,y)一样大小的图像S(x,y)；把图像S(x,y)与模板T(x,y)执行相关系数计算，如果模板与图像S的大小为M*M，也就是他们的行像素数为M，列像素数为M，其相关系数的计算如下：
经过计算，得到相关系数值；把图像S进行90度旋转，再循环执行4次上述步骤；相关系数的最大值通过对比这四个相关系数的大小找出，当相关系数接近1时，可判定出识别到的Marker的图像就是此时的图像，即模板与Marker完成了匹配。
2.根据权利要求1所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述配准工作采用视觉导航方法与惯性导航方法相结合的位置跟踪方法。
3.根据权利要求2所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述位置跟踪方法具体包括读取加速度值以及角速度值，再经过卡尔曼滤波后，获得采样的周期很短的四元数，再采用基于四元数的滑动滤波算法进一步解算出欧拉角，经坐标变换后与视觉导航数据经一致性估计后做进一步融合，实现配准。
4.根据权利要求1所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述图像数据采集模块为摄像机。
5.根据权利要求4所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述内外参数具体为摄像机的几何结构和位姿特征参数。
6.根据权利要求5所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述内参数具体包括自焦距f光心到图像平面之间的距离、主点(u0，v0)光轴与图像平面的交点、比例因子与像素x和y的尺寸有关、摄像机畸变因子k和摄像机径向畸变相关的比例因子。
7.根据权利要求5所述的一种基于增强现实技术的设备维修辅助方法，其特征在于：所述外参数具体包括以表述摄像机的姿态的旋转参数和以表述在世界坐标系里摄像机所在的位置的平移参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010920479.6A CN112017303B (zh) | 2020-09-04 | 2020-09-04 | 一种基于增强现实技术的设备维修辅助方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010920479.6A CN112017303B (zh) | 2020-09-04 | 2020-09-04 | 一种基于增强现实技术的设备维修辅助方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017303A CN112017303A (zh) | 2020-12-01 |
| CN112017303B true CN112017303B (zh) | 2024-01-19 |
Family
ID=73515327
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010920479.6A Active CN112017303B (zh) | 2020-09-04 | 2020-09-04 | 一种基于增强现实技术的设备维修辅助方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017303B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230031480A1 (en) * | 2021-07-28 | 2023-02-02 | Htc Corporation | System for tracking camera and control method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150072954A (ko) * | 2013-12-20 | 2015-06-30 | 배재대학교 산학협력단 | 증강현실 서비스를 제공하는 방법 및 장치 |
| CN107798391A (zh) * | 2016-08-31 | 2018-03-13 | 王振福 | 一种采用增强现实技术的设备故障的分析与维修系统 |
| CN109544696A (zh) * | 2018-12-04 | 2019-03-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130063560A1 (en) * | 2011-09-12 | 2013-03-14 | Palo Alto Research Center Incorporated | Combined stereo camera and stereo display interaction |
| US9740935B2 (en) * | 2013-11-26 | 2017-08-22 | Honeywell International Inc. | Maintenance assistant system |
| US10687901B2 (en) * | 2016-08-17 | 2020-06-23 | Synaptive Medical (Barbados) Inc. | Methods and systems for registration of virtual space with real space in an augmented reality system |
-
2020
- 2020-09-04 CN CN202010920479.6A patent/CN112017303B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150072954A (ko) * | 2013-12-20 | 2015-06-30 | 배재대학교 산학협력단 | 증강현실 서비스를 제공하는 방법 및 장치 |
| CN107798391A (zh) * | 2016-08-31 | 2018-03-13 | 王振福 | 一种采用增强现实技术的设备故障的分析与维修系统 |
| CN109544696A (zh) * | 2018-12-04 | 2019-03-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种基于视觉惯性组合的机载增强合成视景虚实图像精确配准方法 |
| CN109919331A (zh) * | 2019-02-15 | 2019-06-21 | 华南理工大学 | 一种机载设备智能维修辅助系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于增强现实的武器装备维修系统关键技术研究;刘帆 等;《飞航导弹》(第9期);74-80 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017303A (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110070615B (zh) | 一种基于多相机协同的全景视觉slam方法 | |
| Zou et al. | StructVIO: Visual-inertial odometry with structural regularity of man-made environments | |
| CN108898676B (zh) | 一种虚实物体之间碰撞及遮挡检测方法及系统 | |
| CN109993793B (zh) | 视觉定位方法及装置 | |
| Song et al. | Survey on camera calibration technique | |
| CN112053447B (zh) | 一种增强现实三维注册方法及装置 | |
| CN108492017B (zh) | 一种基于增强现实的产品质量信息传递方法 | |
| Fang et al. | Multi-sensor based real-time 6-DoF pose tracking for wearable augmented reality | |
| CN114022560A (zh) | 标定方法及相关装置、设备 | |
| Zhu et al. | Robust plane-based calibration of multiple non-overlapping cameras | |
| Wu et al. | Vison-based auxiliary navigation method using augmented reality for unmanned aerial vehicles | |
| CN112017303B (zh) | 一种基于增强现实技术的设备维修辅助方法 | |
| Alam et al. | Pose estimation algorithm for mobile augmented reality based on inertial sensor fusion. | |
| CN113256724B (zh) | 一种手柄inside-out视觉6自由度定位方法及系统 | |
| McIlroy et al. | Kinectrack: 3d pose estimation using a projected dense dot pattern | |
| Fan et al. | High-precision external parameter calibration method for camera and LiDAR based on a calibration device | |
| Ruchay et al. | Accurate reconstruction of the 3D indoor environment map with a RGB-D camera based on multiple ICP | |
| Crombez et al. | Using dense point clouds as environment model for visual localization of mobile robot | |
| CN111667413A (zh) | 一种基于多源传感数据融合处理的图像消旋方法和系统 | |
| Uma et al. | Marker based augmented reality food menu | |
| Suganya et al. | Augmented reality-landmark estimation | |
| CN116266402A (zh) | 对象自动标注方法、装置、电子设备及存储介质 | |
| CN113538510A (zh) | 一种生产线上工件实时追踪与定位装置 | |
| CN108168555B (zh) | 基于坐标定位的操作指引方法和系统 | |
| CA3142001A1 (en) | Spherical image based registration and self-localization for onsite and offsite viewing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |