CN111161408B - 一种实现增强现实的方法及其应用、计算设备 - Google Patents

一种实现增强现实的方法及其应用、计算设备 Download PDF

Info

Publication number
CN111161408B
CN111161408B CN201911377582.4A CN201911377582A CN111161408B CN 111161408 B CN111161408 B CN 111161408B CN 201911377582 A CN201911377582 A CN 201911377582A CN 111161408 B CN111161408 B CN 111161408B
Authority
CN
China
Prior art keywords
video image
points
feature
frame
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911377582.4A
Other languages
English (en)
Other versions
CN111161408A (zh
Inventor
李彬
张志敏
田联房
丁焕文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201911377582.4A priority Critical patent/CN111161408B/zh
Publication of CN111161408A publication Critical patent/CN111161408A/zh
Application granted granted Critical
Publication of CN111161408B publication Critical patent/CN111161408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实现增强现实的方法及其应用、计算设备，方法包括先获取被测目标的多帧视频图像和数字三维模型；选取模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出四个对应的像素点，并提取出视频图像的特征点，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；再对剩余的多帧视频图像依次提取特征点，对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的位姿状态，最终得到实现增强现实的多帧视频图像。本发明可以实现高精确度、高稳定度和高效率的图像匹配，得到实现增强现实的图像。

Description

一种实现增强现实的方法及其应用、计算设备
技术领域
本发明涉及计算机图形图像学技术领域，特别涉及一种实现增强现实的方法及其应用、计算设备。
背景技术
在计算机辅助骨科手术中应用增强现实技术(Augmented Reality，AR)具有非常高的临床应用价值。在计算机辅助骨科手术系统中结合AR技术，可以提高医生对患者病灶区域定位的准确性，而且具有实时性。实现AR需要对视频图像的目标进行匹配跟踪，然而，由于视频图像中光线变化和视角变化产生的噪点对特征点的干扰，视频图像中场景复杂和变化太大，以及视频帧图像的丢失而对目标跟踪造成重大的影响，视频图像的目标匹配问题一直是个具有挑战性的问题。
现有的针对视频图像目标匹配问题的解决方法主要是改进特征点提取步骤、改进特征点描述符算子以及改进特征点的匹配算法。目前在图像匹配中的特征点算子主要有Morave算法、SUSAN算子、Harris角点、SIFT算子以及SURF算子。前三种算子都只能检测出关键点而没有描述符算子，不能很好地描述出局部位置信息。SIFT算子和SURF算子都是高维特征，具有尺度不变的特点，匹配精确度较高，但SIFT在检测和构造描述符的运算量比较大，导致匹配速度慢。SURF速度比SIFT快3倍，但其描述符维度比SIFT小一半，描述的局部信息减少了，对于相对复杂的视频场景来说还是达不到准确性和快速性的要求。常用的匹配方法有暴力法(Brute Force，BF)、快速最近邻匹配算法(Fast Library for ApproximateNearest Neighbors，FLANN)以及随机抽样一致算法(Random Sample Consensus,RANSAC)。BF和RANSANC的配对具有准确性但是其匹配时间较长，达不到视频图像匹配的要求；而FLANN算法在一定程度上缩短了匹配时间，但也还不满足AR场景中的实时性。鉴于现有算法在实现AR上仍存在的不足之处，因此有必要研究出新的实现方法。
发明内容
本发明的第一目的在于克服现有技术的缺点与不足，提供一种实现增强现实的方法，该方法可以实现高精确度、高稳定度和高效率的图像匹配，得到实现增强现实的图像。
本发明的第二目的在于提供一种实现增强现实的方法的应用。
本发明的第三目的在于提供一种计算设备。
本发明的第一目的通过下述技术方案实现：一种实现增强现实的方法，步骤如下：
S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；
S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；
S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；
S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。
优选的，提取的特征点为SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点。
优选的，当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：
求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点；
生成改进特征点描述符向量的过程具体如下：
在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；
在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；
由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。
更进一步的，利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。
优选的，在步骤S3中，采用改进FLANN算法对当前视频图像和前一帧视频图像的特征点进行匹配跟踪，过程如下：
S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点；
S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点；
S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。
更进一步的，在步骤S31中，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点，过程如下：
判断第一帧和第二帧视频图像中特征点的迹的符号是否相同，若否，则判定两帧视频图像的特征点不匹配；
若是，则分别计算两帧视频图像的特征点之间的最小欧氏距离与次小欧氏距离，以此计算出最小欧氏距离与次小欧氏距离的比值；
判断比值是否小于或等于设定阈值T，以此确定两帧视频图像的特征点p和q是否为配对点，表达式如下：
Figure BDA0002341384510000041
其中，Dpq是特征点p的最小欧式距离，Dpk是特征点p的次小欧氏距离。
更进一步的，在步骤S32中，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点，过程如下：
S321、根据前两帧视频图像中存在的特征点映射关系表达式，利用前两帧视频图像的四组已配对好的坐标点和像素点计算出坐标变换矩阵H，特征点映射关系表达式具体如下：
Figure BDA0002341384510000042
其中，(x,y)和(x',y')分别是第fi-2帧视频图像与fi-1帧视频图像中相配对的坐标点和像素点的坐标；h11、h12、h13、h21、h22、h23、h31、h32和h33是坐标变换矩阵H的各个参数；
S322、根据上述求得的特征点映射关系，计算出前一帧视频图像fi-1的特征点在当前帧视频图像fi的特征点映射位置，然后根据特征点匹配原则，在该特征点映射位置的s领域内搜索当前帧视频图像fi与前一帧视频图像fi-1匹配的特征点，s为改进特征点描述符中的特征点主描述符f0所在的尺度；
特征点匹配原则是：当两个特征点之间的欧氏距离小于设定值，两个特征点为匹配点对。
优选的，在步骤S4中，数字三维模型的位姿状态求解过程如下：
根据数字三维模型在世界空间坐标系下的四个坐标点与对应的视频图像中的像素点组成的四组特征点，求解出旋转矩阵和平移矩阵；
利用opencv里的cv::solvePnP()函数求解旋转矩阵和平移矩阵，得到旋转向量和平移向量，也即是得到数字三维模型的位姿状态；
为了使数字三维模型更好地贴合被测目标，使用cv::Rodrigues()函数将求得的三维旋转向量转化为三维旋转空间矩阵，再对数字三维模型进行相应的变换。
本发明的第二目的通过下述技术方案实现：一种实现增强现实的方法的应用，将本发明第一目的所述的实现增强现实的方法应用在计算机辅助骨科手术中；
其中，步骤S1中的被测目标指的是正在进行骨科手术的患者或者需做骨科手术的患者的骨骼实物模型，数字三维模型指的是患者对应的骨骼数字三维模型；执行步骤S1至步骤S4后得到可辅助骨科手术的实现增强现实的视频图像。
本发明的第三目的通过下述技术方案实现：一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现本发明第一目的所述的实现增强现实的方法。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明实现增强现实的方法，包括先获取被测目标的多帧视频图像和数字三维模型；选取模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出四个对应的像素点，并提取出视频图像的特征点，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；再对剩余的多帧视频图像依次提取特征点，对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的位姿状态，最终得到实现增强现实的多帧视频图像。本发明方法能够将视频图像和数字三维模型进行高精确度、高稳定度和高效率匹配，从而得到实现增强现实的图像，能够满足AR场景中的实时性和准确性的要求。
(2)本发明方法对SURF特征点的描述符做了改进，在保留特征点的旋转、平移、尺度不变的特性的同时增大了特征点对局部信息的描述，使得特征点描述符在复杂的视频场景下依然可以提供准确的局部信息，得到的匹配结果更加准确。
(3)本发明方法采用改进FLANN算法进行特征点匹配，利用了连续图像的前一帧匹配先验信息，预测当前帧特征点匹配的坐标区域，在预测区域搜索配对点，极大地提高特征点的匹配效率。并且，在局部区域搜索不到配对点的情况下还有再进行全局特征点配对，可以保证配对的稳定性。
(4)本发明方法适用于多种特征点，包括SUSAN算子、FAST特征点、SIFT特征点、ORB特征点，因此本发明方法应用范围广。
(5)本发明方法适用于图像拼接处理、医学图像匹配、遥感图像处理和目标跟踪等领域，其中，当本发明方法应用在计算机辅助骨科手术时，计算机辅助骨科手术系统结合AR技术可以提高医生对患者病灶区域定位的准确性，辅助骨科手术，具有非常高的临床应用价值。
附图说明
图1是本发明实现增强现实的方法的流程图。
图2(a)是骨骼实物模型的视频图像。
图2(b)是图2(a)的实现增强现实的图像。
图2(c)是骨骼实物模型的另一帧视频图像。
图2(d)是图2(c)的实现增强现实的图像。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例1
本实施例公开了一种实现增强现实的方法，如图1所示，步骤如下：
S1、获取被测目标的多帧视频图像和被测目标的数字三维模型。本实施例的视频图像是通过对被测目标的视频做帧处理而得到的连续图像，数字三维模型是通过MarchingCubes面绘制算法构建而成。
S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型。
考虑到选取的便捷性，四个坐标点通常是在模型轮廓边缘进行选取。提取的特征点可以是SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点，提取方法也类似。
本实施例提取的是SURF特征点。当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：
求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点。
生成改进特征点描述符向量的过程具体如下：
在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；
在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；
由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。可见，改进特征点描述符在保留特征点的旋转、平移、尺度不变的特性的同时增大了特征点对局部信息的描述。
在本实施例中，可以利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出SURF特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。
S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪。
本实施例具体是采用改进FLANN算法进行匹配跟踪，过程如下：
S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点，过程如下：
判断第一帧和第二帧视频图像中特征点的迹的符号是否相同，若否，则判定两帧视频图像的特征点不匹配；
若是，则分别计算两帧视频图像的特征点之间的最小欧氏距离与次小欧氏距离，以此计算出最小欧氏距离与次小欧氏距离的比值；
判断比值是否小于或等于设定阈值T，以此确定两帧视频图像的特征点p和q是否为配对点，表达式如下：
Figure BDA0002341384510000081
其中，Dpq是特征点p的最小欧式距离，Dpk是特征点p的次小欧氏距离，设定阈值T根据实际情况而定，一般是0.6～0.8。
S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点，过程如下：
S321、根据前两帧视频图像中存在的特征点映射关系表达式，利用前两帧视频图像的四组已配对好的坐标点和像素点计算出坐标变换矩阵H，特征点映射关系表达式具体如下：
Figure BDA0002341384510000091
其中，(x,y)和(x',y')分别是第fi-2帧视频图像与fi-1帧视频图像中相配对的坐标点和像素点的坐标；h11、h12、h13、h21、h22、h23、h31、h32和h33是坐标变换矩阵H的各个参数；
S322、根据上述求得的特征点映射关系，计算出前一帧视频图像fi-1的特征点在当前帧视频图像fi的特征点映射位置，然后根据特征点匹配原则，在该特征点映射位置的s领域内搜索当前帧视频图像fi与前一帧视频图像fi-1匹配的特征点。
特征点匹配原则是：当两个特征点之间的欧氏距离小于设定值，两个特征点为匹配点对。本实施例的设定值为100。
S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。
由上述过程可知，改进FLANN算法需要用到前一帧图像的匹配先验信息来预测下一帧图像特征点匹配的位置，这种算法能有效提高特征点匹配的效率。
S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。
求解数字三维模型的位姿估计即是求解位姿变换矩阵的过程，位姿变换的结果即是位姿状态，求解过程具体如下：
根据数字三维模型在世界空间坐标系下的四个坐标点与对应的视频图像中的像素点组成的四组特征点，求解出旋转矩阵和平移矩阵，旋转矩阵和平移矩阵描述了数字三维模型的位姿变换；
利用opencv里的cv::solvePnP()函数求解旋转矩阵和平移矩阵，得到旋转向量和平移向量，也即是得到数字三维模型的位姿状态。
将opencv重新编译，开启支持OpenGL状态即可在二维的视频图像渲染数字三维模型的位姿状态，实现被测目标和数字三维模型的匹配；
使用cv::Rodrigues()函数将求得的三维旋转向量转化为三维旋转空间矩阵，再对数字三维模型进行相应的变换，使数字三维模型更好地贴合被测目标。
本实施例还公开了一种实现增强现实的方法的应用，如图2(a)至图2(d)所示，具体是将上述实现增强现实的方法应用在计算机辅助骨科手术中。
其中，步骤S1中的被测目标指的是正在进行骨科手术的患者或者需做骨科手术的患者的骨骼实物模型，骨骼实物模型可参见图2(a)和图2(c)，数字三维模型指的是患者对应的骨骼数字三维模型；执行步骤S1至步骤S4后即可得到可辅助骨科手术的实现增强现实的视频图像，可参见图2(b)和图2(d)。
实施例2
本实施例公开了一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例1中所述的实现增强现实的方法，具体如下：
S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；
S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；
S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；
S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像。
本实施例中所述的计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有处理器功能的终端设备。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种实现增强现实的方法，其特征在于，步骤如下：
S1、获取被测目标的多帧视频图像和被测目标的数字三维模型；
S2、选取数字三维模型在世界空间坐标系下的四个坐标点，在首帧视频图像或者首帧带有被测目标的视频图像中选取出与四个坐标点对应的像素点，并对该帧视频图像进行特征点提取，生成改进特征点描述符向量，然后在该帧视频图像中渲染数字三维模型；
S3、针对于剩余的多帧视频图像，依次进行特征点提取，并对当前视频图像和前一帧视频图像的特征点进行匹配跟踪；
S4、求解数字三维模型的位姿估计，并在剩余的多帧视频图像中依次渲染对应的数字三维模型位姿状态，最终得到实现增强现实的多帧视频图像；
在步骤S3中，采用改进FLANN算法对当前视频图像和前一帧视频图像的特征点进行匹配跟踪，过程如下：
S31、在对第二帧视频图像进行特征点配对时，此时没有匹配先验信息，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点；
S32、在前一帧视频图像fi-1的特征点已成功配对的情况下，对当前视频图像fi进行特征点配对时，此时含有前两帧视频图像fi-1和fi-2的匹配先验信息，根据匹配先验信息，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点；
S33、若步骤S32找不到配对的特征点，再参照步骤31采用原始的FLANN算法对当前帧视频图像fi进行全局特征点匹配。
2.根据权利要求1所述的实现增强现实的方法，其特征在于，提取的特征点为SURF特征点、SUSAN算子、FAST特征点、SIFT特征点或者ORB特征点。
3.根据权利要求1所述的实现增强现实的方法，其特征在于，当特征点为SURF特征点时，对视频图像进行特征点提取的过程具体为：
求解视频图像的Hessian行列式矩阵，根据Hessian行列式矩阵构建特征点的尺度空间，并基于该尺度空间，利用非极值抑制来提取出视频图像的特征点；
生成改进特征点描述符向量的过程具体如下：
在特征点6s领域内，统计所有点的水平haar小波特征和垂直haar小波特征总和，将小波特征总和最多的60度扇形方向作为主方向，并基于该主方向，利用haar小波响应生成特征点主描述符f0，s为特征点主描述符f0所在的尺度；
在视频图像中，对于分布在特征点主描述符f0的上、下、左和右四个方向上且距离10s的四个像素点，基于主方向和利用haar小波响应生成对应的特征点次描述符f1、f2、f3和f4；
由特征点主描述符和四个特征点次描述符构成改进特征点描述符，并将该特征点描述符作为特征点的特征向量v＝{f0,f1,f2,f3,f4}。
4.根据权利要求3所述的实现增强现实的方法，其特征在于，利用opencv库中的cv::SurfFeatureDetector类中的detect函数提取出特征点，利用opencv库中的cv::SurfDescriptorExtractor类构建改进特征点描述符。
5.根据权利要求1所述的实现增强现实的方法，其特征在于，在步骤S31中，用原始的FLANN算法匹配第一帧和第二帧视频图像的特征点，过程如下：
判断第一帧和第二帧视频图像中特征点的迹的符号是否相同，若否，则判定两帧视频图像的特征点不匹配；
若是，则分别计算两帧视频图像的特征点之间的最小欧氏距离与次小欧氏距离，以此计算出最小欧氏距离与次小欧氏距离的比值；
判断比值是否小于设定阈值T，以此确定两帧视频图像的特征点p和q是否为配对点，表达式如下：
Figure FDA0003266437130000021
其中，Dpq是特征点p的最小欧式距离，Dpk是特征点p的次小欧氏距离。
6.根据权利要求1所述的实现增强现实的方法，其特征在于，在步骤S32中，利用RANSAC算法求出先验的配对点之间的位置映射关系，然后从映射区域搜索当前帧视频图像fi与前一帧视频图像fi-1特征点的配对点，过程如下：
S321、根据前两帧视频图像中存在的特征点映射关系表达式，利用前两帧视频图像的四组已配对好的坐标点和像素点计算出坐标变换矩阵H，特征点映射关系表达式具体如下：
Figure FDA0003266437130000031
其中，(x,y)和(x',y')分别是第fi-2帧视频图像与fi-1帧视频图像中相配对的坐标点和像素点的坐标；h11、h12、h13、h21、h22、h23、h31、h32和h33是坐标变换矩阵H的各个参数；
S322、当前帧视频图像fi根据上述求得的特征点映射关系，计算出前一帧视频图像fi-1的特征点在当前帧视频图像fi的特征点映射位置，然后根据特征点匹配原则，在该特征点映射位置的s领域内搜索当前帧视频图像fi与前一帧视频图像fi-1匹配的特征点，s为改进特征点描述符中的特征点主描述符f0所在的尺度；
特征点匹配原则是：当两个特征点之间的欧氏距离小于设定值，两个特征点为匹配点对。
7.根据权利要求1所述的实现增强现实的方法，其特征在于，在步骤S4中，数字三维模型的位姿状态求解过程如下：
根据数字三维模型在世界空间坐标系下的四个坐标点与对应的视频图像中的像素点组成的四组特征点，求解出旋转矩阵和平移矩阵；
利用opencv里的cv::solvePnP()函数求解旋转矩阵和平移矩阵，得到旋转向量和平移向量，也即是得到数字三维模型的位姿状态；
为了使数字三维模型更好地贴合被测目标，使用cv::Rodrigues()函数将求得的三维旋转向量转化为三维旋转空间矩阵，再对数字三维模型进行相应的变换。
8.一种实现增强现实的方法的应用，其特征在于，将权利要求1至7中任一项所述的实现增强现实的方法应用在计算机辅助骨科手术中；
其中，步骤S1中的被测目标指的是正在进行骨科手术的患者或者需做骨科手术的患者的骨骼实物模型，数字三维模型指的是患者对应的骨骼数字三维模型；执行步骤S1至步骤S4后得到可辅助骨科手术的实现增强现实的视频图像。
9.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1至7中任一项所述的实现增强现实的方法。
CN201911377582.4A 2019-12-27 2019-12-27 一种实现增强现实的方法及其应用、计算设备 Active CN111161408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377582.4A CN111161408B (zh) 2019-12-27 2019-12-27 一种实现增强现实的方法及其应用、计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377582.4A CN111161408B (zh) 2019-12-27 2019-12-27 一种实现增强现实的方法及其应用、计算设备

Publications (2)

Publication Number Publication Date
CN111161408A CN111161408A (zh) 2020-05-15
CN111161408B true CN111161408B (zh) 2021-12-21

Family

ID=70558628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377582.4A Active CN111161408B (zh) 2019-12-27 2019-12-27 一种实现增强现实的方法及其应用、计算设备

Country Status (1)

Country Link
CN (1) CN111161408B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132895B (zh) * 2020-09-10 2021-07-20 湖北亿咖通科技有限公司 基于图像的位置确定方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
CN106302132A (zh) * 2016-09-14 2017-01-04 华南理工大学 一种基于增强现实的3d即时通讯系统与方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292965B (zh) * 2017-08-03 2020-10-13 北京航空航天大学青岛研究院 一种基于深度图像数据流的虚实遮挡处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797182A (zh) * 2010-05-20 2010-08-11 北京理工大学 一种基于增强现实技术的鼻内镜微创手术导航系统
CN104036541A (zh) * 2014-04-01 2014-09-10 西北工业大学 一种视觉测量中的快速三维重建方法
CN105405168A (zh) * 2015-11-19 2016-03-16 青岛黑晶信息技术有限公司 一种实现三维增强现实的方法及装置
CN106302132A (zh) * 2016-09-14 2017-01-04 华南理工大学 一种基于增强现实的3d即时通讯系统与方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
An Augmented Reality Approach to Surgical Telementoring;Timo Loescher等;《2014 IEEE International Conference on Systems,Man and Cybernetics》;20141008;第1-6页 *
基于 SURF特征提取和FLANN搜索的图像匹配算法;冯亦东等;《图学学报》;20150831;第36卷(第4期);第650-654页 *
增强现实技术在创伤骨科疾病的应用现状;张爱民等;《中华老年骨科与康复电子杂志》;20170430;第3卷(第2期);第120-123页 *
应用AR技术的道路场景视频内容增强方法;廖松等;《2017中国自动化大会（CAC2017）暨国际智能制造创新大会（CIMIC2017）论文集》;20171020;正文第3.1-3.4节，第4章，图6） *
视频运动跟踪及其在增强现实中的应用研究;缪丹权;《中国优秀硕士学位论文全文数据库（信息科技辑）》;20140315(第 03 期);正文第2.1-2.4节，第4.1-1.3节，第5.1-5.3节，图5.2 *

Also Published As

Publication number Publication date
CN111161408A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
JP6430064B2 (ja) データを位置合わせする方法及びシステム
WO2020259481A1 (zh) 定位方法及装置、电子设备、可读存储介质
JP5722502B2 (ja) モバイルデバイスのための平面マッピングおよびトラッキング
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
CN106875431B (zh) 具有移动预测的图像追踪方法及扩增实境实现方法
Capellen et al. ConvPoseCNN: Dense convolutional 6D object pose estimation
Gao et al. Object registration in semi-cluttered and partial-occluded scenes for augmented reality
JP2010113530A (ja) 画像認識装置及びプログラム
Kan et al. Self-constrained inference optimization on structural groups for human pose estimation
CN111161408B (zh) 一种实现增强现实的方法及其应用、计算设备
CN113886510A (zh) 一种终端交互方法、装置、设备及存储介质
Akman et al. Multi-cue hand detection and tracking for a head-mounted augmented reality system
Yii et al. Distributed visual processing for augmented reality
Hwang et al. Local descriptor by zernike moments for real-time keypoint matching
Cheng et al. An augmented reality image registration method based on improved ORB
Bostanci et al. Vision-based user tracking for outdoor augmented reality
Fan et al. Texture-less surface reconstruction using shape-based image augmentation
CN114004865A (zh) 结合dsst尺度估计的孪生网络增强现实目标跟踪注册方法
CN113570535A (zh) 视觉定位方法及相关装置、设备
He et al. Attention voting network with prior distance augmented loss for 6DoF pose estimation
Liu et al. Target identification and location algorithm based on SURF-BRISK operator
Jang et al. Two-Phase Approach for Monocular Object Detection and 6-DoF Pose Estimation
Peng et al. Deep-Learning-Based Precision Visual Tracking
Li et al. Adaptive contour feature and color feature fusion for monocular textureless 3D object tracking
Zhang Sparse Visual Localization in GPS-Denied Indoor Environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant