CN116883630A - 一种复杂光照环境的增强现实三维注册方法 - Google Patents
一种复杂光照环境的增强现实三维注册方法 Download PDFInfo
- Publication number
- CN116883630A CN116883630A CN202310846895.XA CN202310846895A CN116883630A CN 116883630 A CN116883630 A CN 116883630A CN 202310846895 A CN202310846895 A CN 202310846895A CN 116883630 A CN116883630 A CN 116883630A
- Authority
- CN
- China
- Prior art keywords
- points
- image
- point
- feature point
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 33
- 238000005286 illumination Methods 0.000 title claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 36
- 230000005764 inhibitory process Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000005316 response function Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及增强现实三维注册与追踪技术领域，公开了一种复杂光照环境的增强现实三维注册方法，在基于自然特征的三维注册方法基础上，在特征点提取过程中建立自适应阈值与非极大值抑制，提高了图像特征点的提取对光照条件的适应性。通过对极几何原理建立特征点匹配的错误滤除条件，提高了特征点的匹配效率，最终在Hololens2平台上实现了基于线性三角形法的三角定位，完成三维注册。
Description
技术领域
本发明涉及三维注册与追踪技术领域，特别涉及一种复杂光照环境的增强现实三维注册方法。
背景技术
随着全球制造业的全面升级，新的技术和制造模式不断推动制造业从传统的人工制造向数字化、智能化和柔性化方向发展。自20世纪80年代以来，飞速发展的增强现实技术正不断被应用于制造业各个场景，如对人工操作的标准化培训，生产数据的实时监测等。
增强现实技术主要包括信息识别、三维注册与追踪、实时渲染、人机交互以及人工智能等核心模块，其中识别和注册是其核心研究内容。三维注册模块则负责将虚拟信息与现实世界进行位置匹配，实现精准的虚实融合。
将增强现实技术与制造业相结合，应用于实际生产环境中，目前仍存在对于复杂工业生产环境的三维注册抗光照变化能力较弱，复杂背景条件下运算量较大，特征匹配算法效率较低的问题，导致显示效果不佳、使用体验较差，制约着其在工业生产各个领域的应用。
发明内容
本发明提供了一种复杂光照环境的增强现实三维注册方法，基于自适应阈值的图像特征点提取方法、基于对极几何原理的特征点约束匹配方法以及适用于Hololen2的三角定位方法，能够实现光照变化条件下的特征点稳定提取与高效匹配，并通过三角定位实现较为精确的位置匹配，达到较好的增强现实体验。
本发明提供了一种复杂光照环境的增强现实三维注册方法，基于图像特征点提取模块、特征点约束匹配模块、物体空间定位模块和Hololens2增强现实眼镜和三维模型管理模块，图像特征点提取模块内嵌基于自适应阈值与非极大值抑制的图像特征点提取，用于实现亮度变化条件下的特征点稳定提取；特征点约束匹配模块内嵌基于对极几何的特征点约束匹配算法，用于实现特征点之间的高效匹配；物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位；Hololens2增强现实眼镜用于为提供软硬件支持；三维模型管理模块用于将虚拟物体模型加载到匹配完成后的真实场景中，实现虚实融合的增强现实效果；
所述方法具体包括：
S1、获取视频流数据，并存入ObjFrame中；
S2、图像特征点提取模块定义目标图像，对目标区域进行特征提取与描述，并记录成像位姿；
S3、特征点约束匹配模块将帧图像进行特征采集，并与目标图像进行匹配，并判断是否匹配成功；
S4、若未匹配成功，则返回步骤S1；
S5、若匹配成功，则物体空间定位模块对特征点使用线性三角形法求解定位坐标，显示虚拟信息。
进一步地，所述图像特征点提取模块进行图像特征点提取具体步骤包括：
S21、基于自适应阈值对图像进行特征点提取；
S22、对于步骤S21得到的特征点提取结果，对每个候选特征点进行Harris角点评分；
S23、对于解算步骤S22得到的评分结果，对所有特征点进行非极大值抑制，得到最终提取结果。
进一步地，步骤S21具体包括：
S211、将目标图像转换为灰度图，图像可看作由像素点的灰度值组成的二维矩阵；
S212、对于图像中的每一像素点，逐个计算其半径为3个像素单位的圆形邻域边上的像素点灰度值Ip1、Ip5、Ip9与Ip13；
S213、判断步骤S212中得到的4个点是否满足同时有3个及以上大于或者小于中心点灰度值，若满足则该点为候选特征点，由自适应阈值计算公式计算其自适应阈值，否则将该点排除；其中，自适应阈值具体计算方式为：
其中Iimax和Iimin(i＝1,2,···,n)分别为待测像素点圆周邻域上灰度最大和最小的n个值，经实验，n取5时可以在提取效果与计算时间上取得一个较好的平衡，σ为自适应参数，取0.3作为阈值筛选标准；
S214、对满足步骤S213条件的特征点，计算其圆周剩余6个像素点的灰度值；
S215、由自适应阈值判断步骤S214中得到6个点是否与步骤S213中3个点属于相同类点，若满足该条件，该点为特征点，反之排除；其中，特征点的类别判断具体方式为：
其中Ip为待测像素点灰度值，Ipn为圆形邻域内第n个像素的灰度值，t为固定阈值，即当Ipn≤Ip-t时，认为n点是比p暗的点；当Ipn≥Ip+t时，认为n点是比p亮的点；当Ip-t＜Ipn＜Ip+t时，认为n点是p的相似点。
进一步地，步骤S22具体包括：
S221、对于每一个候选特征点，在图像上设置一个矩形滑动窗口，并在x与y方向上进行移动，计算窗口内像素的变化量；
S222、对图像区域进行分割，将其分为平滑区域、角点区域与边缘区域；
S223、定义角点响应函数，使窗口内的像素变化量在步骤S222划分的三个区域中有明显区分；其中，角点响应函数具体为：
RH＝detM-TH(tr M)2
其中TH为经验常数，取(0.04,0.06)，detM为矩阵M的行列式，tr M为矩阵M的迹，具体计算方式为：
其中λ1和λ2为梯度协方差矩阵M的特征值，梯度协方差矩阵M具体计算方式为：
其中w(x,y)为所述步骤S221中滑动窗口的窗口函数，Ix和Iy分别为点(x,y)在横纵两个方向上的偏导；
S224、计算角点响应函数值，用于后续非极大值抑制。
进一步地，步骤S23具体包括：
S231、根据特征点响应值大小对全局特征点进行排序，得到特征点集P；
S232、将P1最小抑制半径设为∞，加入结果集O；
S233、对于P中的每个特征点Pi，由计算其最小抑制半径ri；其中，特征点Pi的最小抑制半径ri的具体计算方式为：
ri＝minj|xi-xj|where RH(xi)＜cRH(xj),xi∈I
其中I为原始图像，RH为阶段S2中得到的响应函数值，c为一个小于1的常数值，用以保证RH(xi)始终小于RH(xj)；
S234、将Pi与其最小抑制半径ri加入结果集O，并对结果集O进行排序，舍弃其保留范围外的点，向后继续循环；
S235、返回结果集O中最小抑制半径由大到小的n个特征点作为非极大值抑制结果。
进一步地，所述特征点约束匹配模块具体步骤如下：
S31、在每个特征点周围亮度不均匀邻域中求解光强权重质心坐标，将t而整点到该灰度质心的方向向量作为其主方向；
S32、对原始图像进行缩放，以构建图像金字塔的形式保证其尺度不变性；
S33、对于图像中的每个特征点，计算其BRIEF二进制描述子字符串；其中，特征点BRIEF二进制描述子字符串具体计算公式为：
其中x，y为特征点邻域内的点对，Ix，Iy为两个点各自的灰度值；
S34、对原始图像与目标图像中的特征点进行BF匹配；
S35、通过对极几何约束条件滤除错误匹配点；其中，对极几何约束条件的具体计算过程为：
其中两图像上对应特征点的坐标分别为(x1,y1)和(x2,y2)。
进一步地，所述步骤S34中BF匹配具体过程为：遍历目标图像的n个特征点，每一个都需与原始图像中的所有m个特征点进行匹配计算，得到两者之间的汉明距离；其中，汉明距离表示两个描述子二进制字符串中对应比特位上字符不同的位数，其值越小，则认为两特征点相似度越高。
进一步地，所述步骤S31中，光强权重质心坐标计算公式为：
方向矢量角度计算公式为：
其中，N为特征点周围圆形邻域，m0为圆形邻域零阶矩，mx和my为圆形邻域一阶矩，x和y为邻域内像素点横纵坐标，xc和yc为特征点横纵坐标，Ix,y为坐标(x,y)点的灰度值。
进一步地，所述物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位，具体步骤包括：
S51、对成像模型误差进行标定，得到Hololens2相机径向畸变参数；
S52、基于线性三角形法，通过匹配点对与成像位置空间坐标求解物体空间位置；其中，物体空间位置求解具体方式如下：
S53、基于拉普拉斯算子计算图像模糊度，并对模糊样本进行剔除处理；其中，图像模糊度计算具体方式为：
其中，与/>分别为像素点在当前坐标的二阶偏导；
S54、将定位结果由世界坐标系转化弄到Hololens2坐标系，按得到的转换结果将虚拟物体渲染到正确位置。
进一步地，所述步骤S54中坐标系转换矩阵为：
其中，(X,Y,Z)为相机坐标,(s,x,y,z)为旋转四元数。
本发明的有益效果为：
1、本发明针对传统特征检测方法提取效果随环境光照变化，对同一场景不同光照强度变化下的特征提取结果差异较大、稳定性较低的问题，提出基于FAST算法的自适应阈值与非极大值抑制的特征提取方法，实现特征点提取数量与重复率随光照亮度波动较小且分布均匀的稳定提取，并验证了改进方法的有效性。
2、本发明结合Hololens2设备成像可获取位姿数据特点，针对三维注册过程特征匹配环节中RANSAC算法对特征点错误匹配滤除效率较低，性能消耗较大等缺点，提出基于对极几何的约束条件，替代RANSAC方法进行错误匹配点的过滤，实现了特征点高效约束匹配。
3、本发明实现了利用线性三角形法在Hololens2下的物体空间定位方法，并将其开发部署到Hololens2上进行了物体定位，证实了定位方法的有效性，完成三维注册。
附图说明
图1为本发明算法总体流程图。
图2为本发明特征提取模块流程图。
图3为本发明特征匹配模块所用对极几何原理图。
图4为本发明三角定位原理示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明针对传统特征检测方法提取效果随环境光照变化提取结果稳定性较低、特征匹配定位效率较低的问题提出改进，通过在特征点提取过程中建立自适应阈值与非极大值抑制，提高了图像特征点的提取对光照条件的适应性。通过对极几何原理建立特征点匹配的错误滤除条件，提高了特征点的匹配效率，最终在Hololens2平台上实现了基于线性三角形法的三角定位，结合以下实施例对本发明作进一步说明。
本发明提供了一种复杂光照环境的增强现实三维注册方法，基于图像特征点提取模块、特征点约束匹配模块、物体空间定位模块和Hololens2增强现实眼镜和三维模型管理模块。
图像特征点提取模块内嵌基于自适应阈值与非极大值抑制的图像特征点提取，用于实现亮度变化条件下的特征点稳定提取；特征点约束匹配模块内嵌基于对极几何的特征点约束匹配算法，用于实现特征点之间的高效匹配；物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位；Hololens2增强现实眼镜用于为提供软硬件支持；三维模型管理模块用于将虚拟物体模型加载到匹配完成后的真实场景中，实现虚实融合的增强现实效果；
如图1所示，所述方法具体包括：
S1、获取视频流数据，并存入ObjFrame中；
S2、图像特征点提取模块定义目标图像，对目标区域进行特征提取与描述，并记录成像位姿；
S3、特征点约束匹配模块将帧图像进行特征采集，并与目标图像进行匹配，并判断是否匹配成功；
S4、若未匹配成功，则返回步骤S1；
S5、若匹配成功，则物体空间定位模块对特征点使用线性三角形法求解定位坐标，显示虚拟信息。
图像特征点提取模块：
在图像特征点提取模块中，通过基于自适应阈值图像特征点提取，其中由待测像素点周围圆形邻域上灰度最大和最小的n个值Iimax和Iimin(i＝1,2,···,n)、自适应参数σ计算得到自适应阈值实现亮度变化条件下的特征点稳定提取。
同时，图像特征点提取模块适用自适应非极大值抑制对提取结果进行筛选，针对图像中的每个特征点xi，单独计算其最小抑制半径ri，由原始图像I、角点评分响应函数RH和小于1的常数c计算得到其最小抑制半径ri＝minj|xi-xj|where RH(xi)＜cRH(xj),xi∈I，由此进行非极大值抑制，实现特征点提取结果的均匀分布。
如图2所示，所述图像特征点提取模块进行图像特征点提取具体步骤包括：
S21、基于自适应阈值对图像进行特征点提取；步骤S21具体包括：
S211、采集模板图像，将模板图像(目标图像)转换为灰度图，图像可看作由像素点的灰度值组成的二维矩阵；
S212、对于图像中的每一像素点，逐个计算其半径为3个像素单位的圆形邻域边上的像素点灰度值Ip1、Ip5、Ip9与Ip13；
S213、判断步骤S212中得到的4个点是否满足同时有3个及以上大于或者小于中心点灰度值，若满足则该点为候选特征点，由自适应阈值计算公式计算其自适应阈值，否则将该点排除；其中，自适应阈值具体计算方式为：
其中和/>(i＝1,2,···,n)分别为待测像素点圆周邻域上灰度最大和最小的n个值，经实验，n取5时可以在提取效果与计算时间上取得一个较好的平衡，σ为自适应参数，取0.3作为阈值筛选标准；
S214、对满足步骤S213条件的特征点，计算其圆周剩余6个像素点的灰度值；
S215、由自适应阈值判断步骤S214中得到6个点是否与步骤S213中3个点属于相同类点，若满足该条件，该点为特征点，反之排除；其中，特征点的类别判断具体方式为：
其中Ip为待测像素点灰度值，Ipn为圆形邻域内第n个像素的灰度值，t为固定阈值，即当Ipn≤Ip-t时，认为n点是比p暗的点；当Ipn≥Ip+t时，认为n点是比p亮的点；当Ip-t＜Ipn＜Ip+t时，认为n点是p的相似点。
S22、对于步骤S21得到的特征点提取结果，对每个候选特征点进行Harris角点评分；步骤S22具体包括：
S221、对于每一个候选特征点，在图像上设置一个矩形滑动窗口，并在x与y方向上进行移动，计算窗口内像素的变化量；
S222、对图像区域进行分割，将其分为平滑区域、角点区域与边缘区域；对图像区域进行分割的具体方式为：对于平滑区域，步骤S224得到的||RH||的值较小；对于边缘区域，RH为绝对值较大的负数；对于角点区域，RH为较大值的正数，λ1和λ2的值均较大。
S223、定义角点响应函数，使窗口内的像素变化量在步骤S222划分的三个区域中有明显区分；其中，角点响应函数具体为：
RH＝detM-TH(tr M)2
其中TH为经验常数，取(0.04,0.06)，detM为矩阵M的行列式，tr M为矩阵M的迹，具体计算方式为：
其中λ1和λ2为梯度协方差矩阵M的特征值，梯度协方差矩阵M具体计算方式为：
其中w(x,y)为所述步骤S221中滑动窗口的窗口函数，Ix和Iy分别为点(x,y)在横纵两个方向上的偏导；
S224、计算角点响应函数值，用于后续非极大值抑制。
S23、对于解算步骤S22得到的评分结果，对所有特征点进行非极大值抑制，得到最终提取结果。步骤S23具体包括：
S231、根据特征点响应值大小对全局特征点进行排序，得到特征点集P；
S232、将P1最小抑制半径设为∞，加入结果集O；
S233、对于P中的每个特征点Pi，由计算其最小抑制半径ri；其中，特征点Pi的最小抑制半径ri的具体计算方式为：
ri＝minj|xi-xj|where RH(xi)＜cRH(xj),xi∈I
其中I为原始图像，RH为阶段S2中得到的响应函数值，c为一个小于1的常数值，用以保证RH(xi)始终小于RH(xj)；
S234、将Pi与其最小抑制半径ri加入结果集O，并对结果集O进行排序，舍弃其保留范围外的点，向后继续循环；
S235、返回结果集O中最小抑制半径由大到小的n个特征点作为非极大值抑制结果。
特征点约束匹配模块：
如图3所示，特征点匹配过程中采用两图像之间的成像位置关系建立对极几何约束匹配条件，具体操作步骤为：步骤1、在Hololen2设备端启动应用，通过截取相机视频流帧图像的方式逐帧采取上述步骤进行特征点提取与描述；步骤2、基于拉普拉斯算子计算图像模糊度，并对模糊样本进行剔除处理；步骤3、对原始图像与目标图像中的特征点进行BF匹配；步骤4、通过对极几何约束条件滤除错误匹配点。
所述特征点约束匹配模块具体步骤如下：
S31、在每个特征点周围亮度不均匀邻域中求解光强权重质心坐标，将t而整点到该灰度质心的方向向量作为其主方向；所述步骤S31中，光强权重质心坐标计算公式为：
方向矢量角度计算公式为：
其中，N为特征点周围圆形邻域，m0为圆形邻域零阶矩，mx和my为圆形邻域一阶矩，x和y为邻域内像素点横纵坐标，xc和yc为特征点横纵坐标，Ix,y为坐标(x,y)点的灰度值。
S32、对原始图像进行缩放，以构建图像金字塔的形式保证其尺度不变性；
S33、对于图像中的每个特征点，计算其BRIEF二进制描述子字符串；其中，特征点BRIEF二进制描述子字符串具体计算公式为：
其中x，y为特征点邻域内的点对，Ix，Iy为两个点各自的灰度值；
S34、对原始图像与目标图像中的特征点进行BF匹配；所述步骤S34中BF匹配具体过程为：遍历目标图像的n个特征点，每一个都需与原始图像中的所有m个特征点进行匹配计算，得到两者之间的汉明距离；其中，汉明距离表示两个描述子二进制字符串中对应比特位上字符不同的位数，其值越小，则认为两特征点相似度越高。
S35、通过对极几何约束条件滤除错误匹配点；其中，对极几何约束条件的具体计算过程为：
其中两图像上对应特征点的坐标分别为(x1,y1)和(x2,y2)。由于成像以及定位因素往往存在误差，约束条件得到的计算结果不为0，且其计算结果误差往往具有一致性，在计算完成后通过聚类分析方法得到最终匹配点集。
物体空间定位模块：
如图4所示，物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位。具体操作步骤为：步骤1、若特征点约束匹配模块特征匹配成功，则由图像特征匹配关系与相机坐标进行三角定位；步骤2、基于线性三角形法，通过匹配点对与成像位置空间坐标求解物体空间位置；步骤3、将定位结果由世界坐标系转化弄到Hololens2坐标系，按得到的转换结果将虚拟物体渲染到正确位置。
所述物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位，具体步骤包括：
S51、对成像模型误差进行标定，得到Hololens2相机径向畸变参数；
S52、基于线性三角形法，通过匹配点对与成像位置空间坐标求解物体空间位置；其中，物体空间位置求解具体方式如下：
S53、基于拉普拉斯算子计算图像模糊度，并对模糊样本进行剔除处理；其中，图像模糊度计算具体方式为：
其中，与/>分别为像素点在当前坐标的二阶偏导；
S54、将定位结果由世界坐标系转化弄到Hololens2坐标系，按得到的转换结果将虚拟物体渲染到正确位置。所述步骤S54中坐标系转换矩阵为：
其中，(X,Y,Z)为相机坐标,(s,x,y,z)为旋转四元数。
通过本发明实现对一种复杂光照环境的增强现实三维注册方法，能够实现光照变化条件下的特征点稳定提取与高效匹配，并通过三角定位实现较为精确的位置匹配，达到较好的增强现实体验。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种复杂光照环境的增强现实三维注册方法，其特征在于，基于图像特征点提取模块、特征点约束匹配模块、物体空间定位模块和Hololens2增强现实眼镜和三维模型管理模块，图像特征点提取模块内嵌基于自适应阈值与非极大值抑制的图像特征点提取，用于实现亮度变化条件下的特征点稳定提取；特征点约束匹配模块内嵌基于对极几何的特征点约束匹配算法，用于实现特征点之间的高效匹配；物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位；Hololens2增强现实眼镜用于为提供软硬件支持；三维模型管理模块用于将虚拟物体模型加载到匹配完成后的真实场景中，实现虚实融合的增强现实效果；
所述方法具体包括：
S1、获取视频流数据，并存入ObjFrame中；
S2、图像特征点提取模块定义目标图像，对目标区域进行特征提取与描述，并记录成像位姿；
S3、特征点约束匹配模块将帧图像进行特征采集，并与目标图像进行匹配，并判断是否匹配成功；
S4、若未匹配成功，则返回步骤S1；
S5、若匹配成功，则物体空间定位模块对特征点使用线性三角形法求解定位坐标，显示虚拟信息。
2.根据权利要求1所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述图像特征点提取模块进行图像特征点提取具体步骤包括：
S21、基于自适应阈值对图像进行特征点提取；
S22、对于步骤S21得到的特征点提取结果，对每个候选特征点进行Harris角点评分；
S23、对于解算步骤S22得到的评分结果，对所有特征点进行非极大值抑制，得到最终提取结果。
3.根据权利要求2所述的复杂光照环境的增强现实三维注册方法，其特征在于，步骤S21具体包括：
S211、将目标图像转换为灰度图，图像可看作由像素点的灰度值组成的二维矩阵；
S212、对于图像中的每一像素点，逐个计算其半径为3个像素单位的圆形邻域边上的像素点灰度值Ip1、Ip5、Ip9与Ip13；
S213、判断步骤S212中得到的4个点是否满足同时有3个及以上大于或者小于中心点灰度值，若满足则该点为候选特征点，由自适应阈值计算公式计算其自适应阈值，否则将该点排除；其中，自适应阈值具体计算方式为：
其中Iimax和Iimin(i＝1,2,···,n)分别为待测像素点圆周邻域上灰度最大和最小的n个值，经实验，n取5时可以在提取效果与计算时间上取得一个较好的平衡，σ为自适应参数，取0.3作为阈值筛选标准；
S214、对满足步骤S213条件的特征点，计算其圆周剩余6个像素点的灰度值；
S215、由自适应阈值判断步骤S214中得到6个点是否与步骤S213中3个点属于相同类点，若满足该条件，该点为特征点，反之排除；其中，特征点的类别判断具体方式为：
其中Ip为待测像素点灰度值，Ipn为圆形邻域内第n个像素的灰度值，t为固定阈值，即当Ipn≤Ip-t时，认为n点是比p暗的点；当Ipn≥Ip+t时，认为n点是比p亮的点；当Ip-t＜Ipn＜Ip+t时，认为n点是p的相似点。
4.根据权利要求3所述的复杂光照环境的增强现实三维注册方法，其特征在于，步骤S22具体包括：
S221、对于每一个候选特征点，在图像上设置一个矩形滑动窗口，并在x与y方向上进行移动，计算窗口内像素的变化量；
S222、对图像区域进行分割，将其分为平滑区域、角点区域与边缘区域；
S223、定义角点响应函数，使窗口内的像素变化量在步骤S222划分的三个区域中有明显区分；其中，角点响应函数具体为：
RH＝detM-TH(tr M)2
其中TH为经验常数，取(0.04,0.06)，detM为矩阵M的行列式，tr M为矩阵M的迹，具体计算方式为：
其中λ1和λ2为梯度协方差矩阵M的特征值，梯度协方差矩阵M具体计算方式为：
其中w(x,y)为所述步骤S221中滑动窗口的窗口函数，Ix和Iy分别为点(x,y)在横纵两个方向上的偏导；
S224、计算角点响应函数值，用于后续非极大值抑制。
5.根据权利要求4所述的复杂光照环境的增强现实三维注册方法，其特征在于，步骤S23具体包括：
S231、根据特征点响应值大小对全局特征点进行排序，得到特征点集P；
S232、将P1最小抑制半径设为∞，加入结果集O；
S233、对于P中的每个特征点Pi，由计算其最小抑制半径ri；其中，特征点Pi的最小抑制半径ri的具体计算方式为：
ri＝minj|xi-xj|where RH(xi)＜cRH(xj),xi∈I
其中I为原始图像，RH为阶段S2中得到的响应函数值，c为一个小于1的常数值，用以保证RH(xi)始终小于RH(xj)；
S234、将Pi与其最小抑制半径ri加入结果集O，并对结果集O进行排序，舍弃其保留范围外的点，向后继续循环；
S235、返回结果集O中最小抑制半径由大到小的n个特征点作为非极大值抑制结果。
6.根据权利要求1所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述特征点约束匹配模块具体步骤如下：
S31、在每个特征点周围亮度不均匀邻域中求解光强权重质心坐标，将t而整点到该灰度质心的方向向量作为其主方向；
S32、对原始图像进行缩放，以构建图像金字塔的形式保证其尺度不变性；
S33、对于图像中的每个特征点，计算其BRIEF二进制描述子字符串；其中，特征点BRIEF二进制描述子字符串具体计算公式为：
其中x，y为特征点邻域内的点对，Ix，Iy为两个点各自的灰度值；
S34、对原始图像与目标图像中的特征点进行BF匹配；
S35、通过对极几何约束条件滤除错误匹配点；其中，对极几何约束条件的具体计算过程为：
其中两图像上对应特征点的坐标分别为(x1,y1)和(x2,y2)。
7.根据权利要求6所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述步骤S34中BF匹配具体过程为：遍历目标图像的n个特征点，每一个都需与原始图像中的所有m个特征点进行匹配计算，得到两者之间的汉明距离；其中，汉明距离表示两个描述子二进制字符串中对应比特位上字符不同的位数，其值越小，则认为两特征点相似度越高。
8.根据权利要求6所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述步骤S31中，光强权重质心坐标计算公式为：
方向矢量角度计算公式为：
其中，N为特征点周围圆形邻域，m0为圆形邻域零阶矩，mx和my为圆形邻域一阶矩，x和y为邻域内像素点横纵坐标，xc和yc为特征点横纵坐标，Ix,y为坐标(x,y)点的灰度值。
9.根据权利要求1所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述物体空间定位模块内嵌适用于Hololen2的基于线性三角形法的三角定位算法，用于实现物体在真实场景的空间定位，具体步骤包括：
S51、对成像模型误差进行标定，得到Hololens2相机径向畸变参数；
S52、基于线性三角形法，通过匹配点对与成像位置空间坐标求解物体空间位置；其中，物体空间位置求解具体方式如下：
S53、基于拉普拉斯算子计算图像模糊度，并对模糊样本进行剔除处理；其中，图像模糊度计算具体方式为：
其中，与/>分别为像素点在当前坐标的二阶偏导；
S54、将定位结果由世界坐标系转化弄到Hololens2坐标系，按得到的转换结果将虚拟物体渲染到正确位置。
10.根据权利要求9所述的复杂光照环境的增强现实三维注册方法，其特征在于，所述步骤S54中坐标系转换矩阵为：
其中，(X,Y,Z)为相机坐标,(s,x,y,z)为旋转四元数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846895.XA CN116883630A (zh) | 2023-07-11 | 2023-07-11 | 一种复杂光照环境的增强现实三维注册方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310846895.XA CN116883630A (zh) | 2023-07-11 | 2023-07-11 | 一种复杂光照环境的增强现实三维注册方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116883630A true CN116883630A (zh) | 2023-10-13 |
Family
ID=88258106
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310846895.XA Pending CN116883630A (zh) | 2023-07-11 | 2023-07-11 | 一种复杂光照环境的增强现实三维注册方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883630A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636241A (zh) * | 2023-11-17 | 2024-03-01 | 北京科技大学 | 基于决策级融合的低光照场景多模态行人检测跟踪方法 |
-
2023
- 2023-07-11 CN CN202310846895.XA patent/CN116883630A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117636241A (zh) * | 2023-11-17 | 2024-03-01 | 北京科技大学 | 基于决策级融合的低光照场景多模态行人检测跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111899334B (zh) | 一种基于点线特征的视觉同步定位与地图构建方法及装置 | |
| CN104376548B (zh) | 一种基于改进型surf算法的图像快速拼接方法 | |
| CN110111248B (zh) | 一种基于特征点的图像拼接方法、虚拟现实系统、照相机 | |
| CN109961506A (zh) | 一种融合改进Census图的局部场景三维重建方法 | |
| CN111046856B (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
| CN112686812A (zh) | 银行卡倾斜矫正检测方法、装置、可读存储介质和终端 | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| CN112163588A (zh) | 基于智能进化的异源图像目标检测方法、存储介质及设备 | |
| CN112270688A (zh) | 一种前景提取方法、装置、设备及存储介质 | |
| CN111027538A (zh) | 一种基于实例分割模型的集装箱检测方法 | |
| CN116883630A (zh) | 一种复杂光照环境的增强现实三维注册方法 | |
| CN114596500A (zh) | 一种基于通道-空间注意力和DeeplabV3plus的遥感影像语义分割方法 | |
| CN115937626B (zh) | 基于实例分割的半虚拟数据集自动生成方法 | |
| CN108022245B (zh) | 基于面线基元关联模型的光伏面板模板自动生成方法 | |
| CN110910349B (zh) | 一种基于航拍视觉的风电机组状态获取方法 | |
| CN109919215B (zh) | 基于聚类算法改进特征金字塔网络的目标检测方法 | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| CN112884135A (zh) | 一种基于边框回归的数据标注校正方法 | |
| CN110717910B (zh) | 基于卷积神经网络的ct图像目标检测方法及ct扫描仪 | |
| JP2004188201A (ja) | 肺領域のための２次元の統計的形状モデルを自動構成するための方法 | |
| CN113591548B (zh) | 靶环识别方法及系统 | |
| CN111161227A (zh) | 一种基于深度神经网络的靶心定位方法及系统 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
| CN113688819B (zh) | 一种基于标记点的目标物期望点跟踪匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |