CN106651942B - 基于特征点的三维旋转运动检测与旋转轴定位方法 - Google Patents

基于特征点的三维旋转运动检测与旋转轴定位方法 Download PDF

Info

Publication number
CN106651942B
CN106651942B CN201610863740.7A CN201610863740A CN106651942B CN 106651942 B CN106651942 B CN 106651942B CN 201610863740 A CN201610863740 A CN 201610863740A CN 106651942 B CN106651942 B CN 106651942B
Authority
CN
China
Prior art keywords
point
dimensional
camera
image
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610863740.7A
Other languages
English (en)
Other versions
CN106651942A (zh
Inventor
王兆其
李兆歆
夏岩钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Zhongke Guangshi Cultural Technology Co Ltd
Original Assignee
Suzhou Zhongke Guangshi Cultural Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Zhongke Guangshi Cultural Technology Co Ltd filed Critical Suzhou Zhongke Guangshi Cultural Technology Co Ltd
Priority to CN201610863740.7A priority Critical patent/CN106651942B/zh
Publication of CN106651942A publication Critical patent/CN106651942A/zh
Application granted granted Critical
Publication of CN106651942B publication Critical patent/CN106651942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Abstract

本发明公开了一种基于特征点的三维旋转运动检测与旋转轴定位方法,用于对等角度间距拍摄的图像序列中的物体进行三维旋转运动追踪以及旋转轴的计算,该方法包括如下步骤:(1)利用SIFT算法对图像序列中的相邻图片进行特征点提取与匹配;(2)使用SFM方法还原出相机位姿信息和物体的三维特征点位置信息;(3)对三维特征点进行运动追踪以及对旋转轴进行拟合计算。本发明对各种型号的相机拍摄下的图片序列均能很好的进行支持,该发明能更有效的对图像序列进行分析,以便更好的用于图像序列的编辑处理。

Description

基于特征点的三维旋转运动检测与旋转轴定位方法
技术领域
本发明涉及本发明涉及数字图像处理与计算机视觉领域,具体是一种利用等角度间距拍摄的图像序列中的特征点进行运动追踪,以进行三维旋转运动的检测与旋转轴的定位。
背景技术
运动检测与追踪在计算机视觉领域是一个基本课题,对其相关的理论研究与应用已经持续了数十年,大部分应用都使用视频序列在二维下进行图像的识别以及运动物体的追踪,在需要详细运动路径参数时无法提供三维数据,并且难以摆脱相机畸变造成的影响。本发明提出的基于特征点的三维旋转运动检测与旋转轴定位对这一问题进行了初步解决,利用SIFT(scale invariant feature transformation,尺度不变特征变换)算法识别出不同图片中的相同点后,利用Structure From Motion方法将特征点还原至三维空间,使得运动检测与定位更好的在三维空间中进行应用。使用该技术对图像序列进行分析后,能更好的计算出图像序列中的三维信息,并可以对图像序列的编辑提供数据支持。
尺度不变特征变换算法,即SIFT算法可以从图像中提取出易于辨识的特征,例如角点、边缘点、暗区的亮点和亮区的暗点等,这些特征对于图像的尺度和旋转具有不变性,并且能够很好的容忍光照变化和三维相机的视点变化。使用SIFT算法提取出的特征数量多,同时十分鲜明,能在海量特征数据库中快速匹配。图像中的特征点的提取首先需要对整个尺度空间以及图像位置进行搜索,识别出对于尺度和方向具有不变性的潜在特征点,然后对于每一个潜在的特征点,通过一个精细拟合的模型来确定它的位置以及尺度信息,之后基于特征点周围的局部图像的梯度方向,给每个特征点指定一个或多个方向,并且要求所有后面的对特征点信息的操作都相对于特征点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性,最后在每个关键点周围的图像区域内,在相应的尺度上测量和统计领域内图像的梯度。这些统计后的梯度将变换成一种特征描述,并且允许比较大的局部形状变形和光照变化。
从运动信息中恢复三维场景结构,即Structure From Motion的研究目标是从二维的图像对或者视频序列中恢复出相应的三维信息,其中包括成像摄像机的位姿信息以及场景的结构信息。人眼通过移动观察物体来获取物体在环境中的三维结构信息。当观察者移动,或者物体相对于观察者移动时,物体的三维结构信息可以从获取到的图像序列中提取出来。
发明内容
发明目的:本发明的目的是为了解决现有技术的不足,提供一种基于特征点的三维旋转运动检测与旋转轴定位方法,通过对旋转物体所拍摄的二维图像序列中提取三维信息并计算出三维旋转轴的技术问题。
技术方案:为了实现以上目的,本发明所述的一种基于特征点的三维旋转运动检测与旋转轴定位方法,该方法的具体步骤如下:
(1):通过将相等间隔角度拍摄的旋转物体的图像序列使用Scale invariantFeature transformation算法进行二维图像特征点的提取与匹配,实现在图片序列上对特征点的追踪,二维特征点提取过程包括Difference of Gaussian尺度空间生成、特征点搜索、特征点精确定位、去除边缘响应、特征点方向分配、生成特征描述符六个部分,然后基于特征描述符的独特性对相邻图片中的Scale invariant Feature transformation特征点进行匹配,通过最近匹配距离与次近匹配距离的比率设置阈值以保证匹配的正确性;
(2):借助Structure From Motion方法,利用相邻图像间的匹配点对信息标定出相机的位置和姿态,并利用三角测量方法计算出图像匹配点所对应的三维点。相机的位置和姿态以及三维点将用于在三维空间中对三维特征点运动的追踪;
(3):使用物体的三维点云模型和标定出的相机位置进行物体上特征点的运动追踪,拟合出特征点的旋转运动的路径,对圆形路径的圆心进行拟合,从而并定位出旋转轴的位置。
作为本发明的进一步优选,步骤(1)中所述的特征点提取与匹配的具体操作步骤为:
(a)在多尺度空间中对图像的特征进行提取;首先建立图像的尺度空间模型,即对图像进行不同程度的高斯模糊生成高斯金字塔以对图像实现不同尺度下的观察,并由此利用高斯金字塔相邻层相减得到高斯差分金字塔,即离散采样下的DoG尺度空间;
(b)遍历DoG尺度空间以寻找空间中的所有极值点作为候选的特征点;
(c)为了实现候选点的子像素精度定位,对尺度空间函数D(x,y,σ)进行泰勒展开:
两边求导后,使用来表示相对原始位置的偏移量。如果在x,y,σ三个维度中任意一个维度偏移量大于0.5则将采样点位置向相应的方向移动一个单位。对当前位置进行多次插值直到函数收敛到一点。如果经过五次迭代还没有计算出结果或者结果超出了当前尺度的图像范围则删去此极值点。同时删去对比度太低的特征点以增强稳定性,即将像素值取值范围设为[0,1]时,舍弃掉值小于0.03的点;
(d)确定特征点处的曲率,删除主曲率在不同方向上产生程度差异过大的变化的候选特征点;
(e)统计特征点所处尺度的图像上的邻域内的所有像素点的梯度大小和方向,进行高斯加权后添加到一个柱状图中,并依据近似代表峰值的柱状图值进行拟合来精确定位特征点的方向,同时保留大小达到最大值80%以上的方向作为辅助方向;
(f)将特征点的邻域划分为4×4个子区域以统计其所有像素点的梯度大小和方向分布模式,生成一个128维向量来描述特征点的局部图像梯度信息,并对该向量进行归一化处理;
(g)利用相邻图片的特征点描述向量进行特征点匹配,认为特征向量的最近匹配距离与次近匹配距离的比值r低于阈值才是正确的匹配,并在匹配时对图像上特征点的欧式距离进行限定,并在匹配对数大于40时动态调节比值r的阈值。
作为本发明的进一步优选,步骤(2)所述的相机位置和姿态标定以及三维点云重建的具体操作步骤为:
(a)将相机的模型抽象为针孔成像的模型,从原始图像的文件Exif属性中读取相机的型号和焦距长度(单位:毫米),与主流相机的各个型号的参数信息进行检索比对,获得对应的传感器的物理尺寸,从而计算出相机的初始内参数矩阵K;
(b)利用相邻图像间的匹配点对的极线约束关系,对任一个匹配点对x和x′,都有x′TFx=0,从而使用RANSAC方法随机抽样8个特征点对进行基础矩阵F的计算,直到迭代次数超过默认值1000,并选出对应的内点数最多的基础矩阵F,并对其进行奇异值分解求出最接近的秩为2的矩阵作为最终基础矩阵F;
(c)将基础矩阵F转换至归一化图像坐标下的本征矩阵E=K′TFK。将本征矩阵E进行奇异值分解,得到第一个相机外参数矩阵记为
则邻相机的相对外参数矩阵Rt2的四个可能解,
(d)利用四个可能的相机外参数矩阵对三维点进行三角测量,两个相机视线交会处即为三维点的空间位置,在此通过多个相机投影方程xi=K·Rti·X计算得到,并利用三维点始终在相机前这一空间位置关系筛选出四个可能解中的唯一一个正确解,并在所有双视角模型的外参数矩阵计算完毕后,将其进行平均化处理,减小最大误差;
(e)对双视角模型进行捆绑调整,将相机内参数矩阵,标定出的相机位姿矩阵,三维点云以及点云中每个点对应的二维图像投影点坐标输入非线性拟合函数,使用Levenberg-Marquardt算法进行拟合,对三维点云的空间位置进行调整,从而降低三维点重投影到二维图像上与原始点之间的重投影误差;
(f)将所有双视角模型统一坐标系,转换至摄像机坐标系中,选择第一个双视角模型作为多视角模型的姿态的参考值,计算出后续双视角模型中相机的外参数矩阵Rt相对于多视角模型中对应相机矩阵的初始值的变换矩阵,利用此变换矩阵将双视角模型坐标系下的三维点信息转换至多视角模型中,然后对整个多视角模型进行捆绑调整,通过调整相机的位姿、三维点云的位置最小化重投影误差。将所有双视角模型都添加进多视角模型中就完成了多视角模型的创建。
作为本发明的进一步优选,步骤(3)中旋转轴定位过程的具体步骤为:
(a)将多视角模型中的三维特征点转换至摄像机坐标系中:Xcam=Rt·Xworld,得到物体上的三维特征点在不同的照片中对应的空间位置;
(b)根据图像间的对应关系,得到每个特征点在不同时间下的对应的三维空间位置,称之为track。track中包含的是物体上的同一三维点在不同图像视角下的三维位置,并且在构建track阶段中只加入在对应图像中被成功匹配的二维特征点对应的三维点,即考虑点在各个摄像机下的可见性。选取包含的点数大于或等于5的track进行拟合。三维点是绕旋转轴进行旋转的,因此路径应该为一段圆弧,首先需要拟合出路径上的离散点所处的空间平面,继而计算出平面上圆弧的方程;
(c)计算出所有圆弧运动路径的圆心后,这些圆心在空间上理论上是共线的。在实际测量中可能会有由于图像噪声导致的计算和测量误差,因此使用最小平方直线拟合的方法,最小化高斯噪声影响,拟合出所有圆心所处的直线,即为旋转轴。
有益效果:本发明所述的一种基于特征点的三维旋转运动检测与旋转轴定位方法,通过对旋转物体所拍摄的二维图像序列中提取三维信息并计算出三维旋转轴的技术问题。这种图像序列能很好的对物体进行全方位的展示,通过该发明,能更有效的对图像序列进行分析,以便更好的用于图像序列的编辑处理。
附图说明
图1本发明流程图;
图2为高斯金字塔模型;
图3为DoG空间极值点检测;
图4为对图像进行提取所得到的特征点;
图5为对特征点方向进行统计;
图6为特征点描述符的生成;
图7为对图像序列中相邻图像进行SIFT特征点匹配的匹配结果;
图8为相机外参数矩阵Rt矩阵的四种可能解;
图9为双视角模型通过三角测量生成三维点云;
图10为对双视角模型进行捆绑调整;
图11为可见性筛选前后的三维点运动路径;
图12为三维重建的特征点云以及旋转轴。
具体实施方式
下面结合附图和实施例,进一步阐明本发明。
实施例
如图1所示,本发明所述的一种基于特征点的三维旋转运动检测与旋转轴定位方法,该方法的具体步骤如下:
步骤一:利用SIFT算法对图像序列中的相邻图片进行特征点提取与匹配;
(1):利用尺度不变特征变换算法对所有图像逐个进行特征点提取,分为DoG尺度空间生成、特征点搜索、特征点精确定位、去除边缘响应、特征点方向分配、生成特征描述符六个部分,具体为:
(1.1):首先需要构建图像的高斯差分尺度空间
在此建立图像的尺度空间模型,即需要对图像进行不同程度的高斯模糊生成高斯金字塔以对图像实现不同尺度下的观察。高斯金字塔的建立过程主要分为两个部分:对图像进行隔点采样和对图像进行不同程度的高斯模糊,生成如图2所示的高斯金字塔模型。同时因子为σ2的尺度归一化的高斯拉普拉斯函数的极值相对于其他的特征提取函数能得到最稳定的图像特征,而高斯差分函数是归一化的高斯拉普拉斯函数的近似,利用D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)将DoG尺度空间描述转换为高斯金字塔中相邻两层图像之差;
(1.2):对特征点进行初始搜索
对生成的高斯差分尺度空间进行遍历,寻找其所有离散极值点。为了检测D(x,y,σ)的极值,需要将每一个点与其周围相邻的共计26个点进行比较,如图3所示,筛选出极值点作为候选点。由于大部分的采样点在前几次的比较中就会被淘汰掉,因此整个检测过程的计算量并不会太大;
(1.3):对特征点进行精确定位
将尺度空间函数D(x,y,σ)进行泰勒展开:两边求导后,使用来表示相对原始位置的偏移量。如果在x,y,σ三个维度中任意一个维度偏移量大于0.5则将采样点位置向相应的方向移动一个单位。对当前位置进行多次插值直到函数收敛到一点。如果经过五次迭代还没有计算出结果或者结果超出了当前尺度的图像范围则删去此极值点。同时删去对比度太低的特征点以增强稳定性,即将像素值取值范围设为[0,1]时,舍弃掉值小于0.03的点;
(1.4):去除边缘响应
利用高斯差分函数的极值点来提取图像的特征点会较强的边缘响应现象,即在边缘区域会检测出过量的极值点,造成较强的干扰,使得真实边缘的确定变得困难,也使得特征点的匹配更加不稳定。为了验证一个特征点是否符合要求,需要确定特征点处的曲率。主曲率可以通过特征点处的Hessian矩阵H得出:矩阵H的特征值与高斯差分函数D的主曲率是成比例的,由此可以通过比较矩阵H特征值的比例确定主曲率是否在不同方向上产生程度差异过大的变化。假设α为最大的特征值,而β为最小的特征值,且设α=rβ,则有Tr(H)=Dxy+Dyy=α+β,Det(H)=DxxDyy-(Dxy)2=αβ在此通过是否满足来确定r是否符合要求,并给r赋予阈值10,即消除主曲率的比值大于10的特征点;
(1.5):为特征点分配主方向
预先计算出所有像素点的梯度模值m(x,y)与方向θ(x,y):
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
特征点的方向是通过统计其周围一定区域内的所有点的梯度模值与方向得到的,并且不同距离的点对特征点方向的贡献不同,具体做法是将梯度的模值进行当前图像尺度大小的1.5倍的高斯分布加权。将360度的方向均匀分成36份,统计特征点邻域内的每个点高斯分布加权后的梯度模值大小,方向直方图中统计出的最大峰值对应的方向将作为特征点的主方向,并依据近似代表峰值的柱状图值进行拟合来精确定位特征点的方向,如图5所示,对于大小达到最大值80%以上的方向,作为特征点的辅助方向;
(1.6):为特征点添加特征点描述
如图6所示,将特征点的邻域划分为4×4个子区域进行统计,在此需要把采样区域的坐标轴旋转至特征点的主方向,并对采样区域中每个采样点的梯度模值高斯分布加权,为每一个区域创建一个方向直方图,将360°方向的范围分成8份,将每个点高斯分布加权后的梯度模值大小,使用双线性插值的方法进行统计,生成一个4×4×8的向量来描述特征点的局部图像梯度信息,最后将128维的特征描述向量进行归一化处理。在有些情况下不同的方向的梯度会产生不同程度的影响,为了减弱这种影响,在此设置一个阈值0.2,截断超过这个阈值的梯度值,之后再对向量进行归一化;
(2):通过对比相邻图像的特征点描述集合的描述符的相似程度来进行特征点的匹配,通过计算两个集合间特征点描述符的128维向量的欧式距离来确定两个特征点的相似程度,在此过程中,使用穷举法来更有效地在大尺寸的空间中精确探测到最接近特征点。特征点描述向量足够鲜明,因此可认为特征点只与相对应的唯一特征点有较强的响应,故在此对最近匹配距离与次近匹配距离的比率设定阈值来剔除可能的不正确匹配对,为了提高特征点的匹配正确率,在匹配点数目达到40以上的要求下尽量减小这个比值,即一开始使用较小的阈值,如果没有达到匹配点数目要求再一步步将阈值增大,一般来说控制在0.4左右。同时对相邻图片之间的特征点的距离加以限定,即相邻图片之间的特征点的距离不可能超过图片最大宽度的倍,匹配结果如图7所示。
步骤二:利用Structure From Motion方法还原出相机位姿信息和物体的三维结构信息;
(1)通过相邻图片的特征点匹配对信息建立双视角模型,具体步骤为:
(1.1):将相机的模型抽象成一个针孔成像的模型。从在相机拍下的原始图像文件Exif属性中读取相机的型号和焦距长度f(单位毫米),同时与主流相机的各个型号对应的信息进行检索比对,查找出相机的感光元件的物理尺寸D,并根据图像大小计算出单位像素对应的真实物理距离d,由此计算出相机的内参数矩阵
(1.2):当同一个相机在不同的空间位置拍摄同一个物体时,这两张照片间存在着极线约束的关系,即存在一个基础矩阵F,对两幅图像中的任一个匹配点对x和x′,都有x′TFx=0。F是一个3*3的矩阵,自由度为7,为了计算方便,使用8个对应点对,就能得到一系列线性方程,从而解出F矩阵。在此,对SIFT匹配的特征点对使用RANSAC方法进行随机抽样,在每次计算基础矩阵时,从数据集中随机选出8个匹配对,利用这8个匹配对的坐标信息计算出基础矩阵F,进行SVD分解后,求出满足秩为2的最接近的矩阵F,将求出的F矩阵代入特征点匹配对数据集,计算出在阈值内符合x′TFx=0的内点的数目,即内点数,直到迭代次数超过默认值1000,选出内点数目最多的F矩阵作为基础矩阵并剔除掉不符合要求的外点;
(1.3):将基础矩阵F转换至归一化图像坐标下的本征矩阵E=K′TFK。将本征矩阵E进行奇异值分解,得到将第一个相机外参数矩阵记为时,如图8所示,相邻相机的相对外参数矩阵Rt2有四个可能解:
Rt2=(UWVT︳+u3),
Rt2=(UWVT︳-u3),
Rt2=(UWTVT︳+u3),
Rt2=(UWTVT︳-u3);
(1.4):利用四个可能的相机外参数矩阵对三维点进行三角测量,对于一个三维点X,有多个相机投影方程xi=K·Rti·X,由此得到了一个对于X的线性方程组,通过求解这个方程组的最近似解来确定三维点的空间坐标,得到如图9所示的双视角模型点云,并利用三维点始终在相机前这一空间位置关系筛选出四个可能解中的唯一一个正确解之后,由于图像序列是等角度间距拍摄而成的,因此在所有双视角模型的外参数矩阵计算完毕后,将其进行平均化处理,减小最大误差;
(1.5):对双视角模型进行束调整,将相机内参数矩阵、标定出的相机位姿矩阵、三维点云以及点云中每个点对应的二维图像点坐标输入非线性函数,使用Levenberg-Marquardt算法进行求解,对模型的三维信息进行调整,从而降低三维点重投影到二维图像上与原始点之间的重投影误差,如图10所示;
(2):将所有双视角模型合并生成一个多视角模型
将双视角模型调整至同一个三维坐标系中,并将其陆续合并添加至多视角模型,同时在每次合并后都施加一个捆绑调整来优化多视角模型的三维结构,并删除掉重投影误差过大的点,使多个双视角模型中的三维点能较好的对齐,并且如果进行了删除点的操作,意味着此时的多视角模型结构可能会产生改变,因此,如果检测出任何外点并删除之后,有必要再进行一次捆绑调整。之后就可得到包含所有相机的位姿信息和标定好的三维点坐标数据的多视角点云模型。
步骤三:旋转轴的拟合计算;
(1)将多视角模型中的三维特征点转换至摄像机坐标系中::Xcam=Rt·Xworld,得到物体上的三维特征点在不同的照片中对应的空间位置;
(2)每一个特征点在不同时间下的空间位置是该特征点的运动轨迹,构成一个track。选择包含的点数大于或等于5的track进行拟合,三维点是绕旋转轴进行旋转的,因此轨迹应该为一段圆弧,并且在此阶段中只使用在对应图像中被成功匹配的二维特征点对应的三维点进行计算,即考虑点在各个摄像机下的可见性,如图11所示。首先需要拟合出路径上的离散点所处的空间平面,此时拟合平面应穿过散点的平均值,并且通过散点的协方差矩阵的SVD变换,得到的最小奇异值对应的奇异向量就是拟合平面的法线方向。在平面方程确立后,继而在平面上以轨迹点的重心X0为圆心,以到重心的平均距离为初始半径,拟合出最合适的圆心及半径参数使得所有点的(x-x0)2+(y-y0)2+(z-z0)2-r2误差之和最小,从而计算出平面上圆弧的方程;
(3)计算出所有圆弧运动路径的圆心后,以过所有圆心的重心,法向量为(-0.1,5,-0.1)的直线作为初始值,使用非线性拟合函数拟合出到所有点距离最小的直线,即为旋转轴,如图12所示。
上述实施方式只为说明本发明的技术构思及特点,其目的是让熟悉该技术领域的技术人员能够了解本发明的内容并据以实施,并不能以此来限制本发明的保护范围。凡根据本发明精神实质所做出的等同变换或修饰,都应涵装置在本发明的保护范围之内。

Claims (3)

1.一种基于特征点的三维旋转运动检测与旋转轴定位方法,其特征在于:该方法的具体步骤如下:
(1):通过将相等间隔角度拍摄的旋转物体的图像序列使用Scale invariant Featuretransformation算法进行二维图像特征点的提取与匹配,实现在图片序列上对特征点的追踪,二维特征点提取过程包括Difference of Gaussian尺度空间生成、特征点搜索、特征点精确定位、去除边缘响应、特征点方向分配、生成特征描述符六个部分,然后基于特征描述符的独特性对相邻图片中的Scaleinvariant Feature transformation特征点进行匹配,通过最近匹配距离与次近匹配距离的比率设置阈值以保证匹配的正确性,所述的特征点提取与匹配的具体操作步骤为:
(a)在多尺度空间中对图像的特征进行提取;首先建立图像的尺度空间模型,即对图像进行不同程度的高斯模糊生成高斯金字塔以对图像实现不同尺度下的观察,并由此利用高斯金字塔相邻层相减得到高斯差分金字塔,即离散采样下的DoG尺度空间;
(b)遍历DoG尺度空间以寻找空间中的所有极值点作为候选的特征点;
(c)为了实现候选点的子像素精度定位,对尺度空间函数D(x,y,σ)进行泰勒展开:
两边求导后,使用来表示相对原始位置的偏移量,如果在x,y,σ三个维度中任意一个维度偏移量大于0.5则将采样点位置向相应的方向移动一个单位,对当前位置进行多次插值直到函数收敛到一点,如果经过五次迭代还没有计算出结果或者结果超出了当前尺度的图像范围则删去此极值点,将像素值取值范围设为[0,1]时,舍弃掉值小于0.03的点;
(d)确定特征点处的曲率,删除主曲率在不同方向上产生程度差异过大的变化的候选特征点;
(e)统计特征点所处尺度的图像上的邻域内的所有像素点的梯度大小和方向,进行高斯加权后添加到一个柱状图中,并依据代表峰值的柱状图值进行拟合来精确定位特征点的方向,同时保留大小达到最大值80%以上的方向作为辅助方向;
(f)将特征点的邻域划分为4×4个子区域以统计其所有像素点的梯度大小和方向分布模式,生成一个128维向量来描述特征点的局部图像梯度信息,并对该向量进行归一化处理;
(g)利用相邻图片的特征点描述向量进行特征点匹配,认为特征向量的最近匹配距离与次近匹配距离的比值r低于阈值才是正确的匹配,并在匹配时对图像上特征点的欧式距离进行限定,并在匹配对数大于40时动态调节比值r的阈值;
(2):借助Structure From Motion方法,利用相邻图像间的匹配点对信息标定出相机的位置和姿态,并利用三角测量方法计算出图像匹配点所对应的三维点,相机的位置和姿态以及三维点将用于在三维空间中对三维特征点运动的追踪;
(3):使用物体的三维点云模型和标定出的相机位置进行物体上特征点的运动追踪,拟合出特征点的旋转运动的路径,对圆形路径的圆心进行拟合,从而定位出旋转轴的位置。
2.根据权利要求1所述的一种基于特征点的三维旋转运动检测与旋转轴定位方法,其特征在于:步骤(2)所述的相机位置和姿态标定以及三维点云重建的具体操作步骤为:
(a)将相机的模型抽象为针孔成像的模型,从原始图像的文件Exif属性中读取相机的型号和焦距长度,与主流相机的各个型号的参数信息进行检索比对,获得对应的传感器的物理尺寸,从而计算出相机的初始内参数矩阵K;
(b)利用相邻图像间的匹配点对的极线约束关系,对任一个匹配点对x和x′,都有x′TFx=0,从而使用RANSAC方法随机抽样8个特征点对进行基础矩阵F的计算,直到迭代次数超过默认值1000,并选出对应的内点数最多的基础矩阵F,并对其进行奇异值分解求出最接近的秩为2的矩阵作为最终基础矩阵F;
(c)将基础矩阵F转换至归一化图像坐标下的本征矩阵E=K′TFK,将本征矩阵E进行奇异值分解,得到第一个相机外参数矩阵记为
则邻相机的相对外参数矩阵Rt2的四个可能解,
(d)利用四个相机外参数矩阵对三维点进行三角测量,两个相机视线交会处即为三维点的空间位置,在此通过多个相机投影方程xi=K·Rti·X计算得到,并利用三维点始终在相机前这一空间位置关系筛选出四个可能解中的唯一一个正确解,并在所有双视角模型的外参数矩阵计算完毕后,将其进行平均化处理,减小最大误差;
(e)对双视角模型进行捆绑调整,将相机内参数矩阵,标定出的相机位姿矩阵,三维点云以及点云中每个点对应的二维图像投影点坐标输入非线性拟合函数,使用Levenberg-Marquardt算法进行拟合,对三维点云的空间位置进行调整,从而降低三维点重投影到二维图像上与原始点之间的重投影误差;
(f)将所有双视角模型统一坐标系,转换至摄像机坐标系中,选择第一个双视角模型作为多视角模型的姿态的参考值,计算出后续双视角模型中相机的外参数矩阵Rt相对于多视角模型中对应相机矩阵的初始值的变换矩阵,利用此变换矩阵将双视角模型坐标系下的三维点信息转换至多视角模型中,然后对整个多视角模型进行捆绑调整,通过调整相机的位姿、三维点云的位置最小化重投影误差,将所有双视角模型都添加进多视角模型中就完成了多视角模型的创建。
3.根据权利要求1所述的一种基于特征点的三维旋转运动检测与旋转轴定位方法,其特征在于:步骤(3)中旋转轴定位过程的具体步骤为:
(a)将多视角模型中的三维特征点转换至摄像机坐标系中:Xcam=Rt·Xworld,得到物体上的三维特征点在不同的照片中对应的空间位置;
(b)根据图像间的对应关系,得到每个特征点在不同时间下的对应的三维空间位置,称之为track,track中包含的是物体上的同一三维点在不同图像视角下的三维位置,并且在构建track阶段中只加入在对应图像中被成功匹配的二维特征点对应的三维点,选取包含的点数大于或等于5的track进行拟合,三维点是绕旋转轴进行旋转的,因此路径为一段圆弧,首先需要拟合出路径上的离散点所处的空间平面,继而计算出平面上圆弧的方程;
(c)计算出所有圆弧运动路径的圆心后,这些圆心在空间上是共线的,因此使用最小平方直线拟合的方法,最小化高斯噪声影响,拟合出所有圆心所处的直线,即为旋转轴。
CN201610863740.7A 2016-09-29 2016-09-29 基于特征点的三维旋转运动检测与旋转轴定位方法 Active CN106651942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610863740.7A CN106651942B (zh) 2016-09-29 2016-09-29 基于特征点的三维旋转运动检测与旋转轴定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610863740.7A CN106651942B (zh) 2016-09-29 2016-09-29 基于特征点的三维旋转运动检测与旋转轴定位方法

Publications (2)

Publication Number Publication Date
CN106651942A CN106651942A (zh) 2017-05-10
CN106651942B true CN106651942B (zh) 2019-09-17

Family

ID=58855017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610863740.7A Active CN106651942B (zh) 2016-09-29 2016-09-29 基于特征点的三维旋转运动检测与旋转轴定位方法

Country Status (1)

Country Link
CN (1) CN106651942B (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274480B (zh) * 2017-06-06 2021-07-20 山东大学深圳研究院 基于随机抽样一致性的对象运动特性重建方法
CN109099888A (zh) * 2017-06-21 2018-12-28 中兴通讯股份有限公司 一种位姿测量方法、设备及存储介质
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
CN107590832A (zh) * 2017-09-29 2018-01-16 西北工业大学 基于自然特征的物理对象追踪定位方法
CN108010084A (zh) * 2017-11-20 2018-05-08 深圳市云之梦科技有限公司 一种深度摄像机重建及自动标定的方法、系统、设备
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
CN108010123B (zh) * 2017-11-23 2021-02-09 东南大学 一种保留拓扑信息的三维点云获取方法
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
CN108717424B (zh) * 2018-04-25 2021-06-11 鹰霆(天津)科技有限公司 一种基于分解式图匹配的三维模型检索方法
CN109033989B (zh) * 2018-07-02 2020-11-24 深圳辰视智能科技有限公司 基于三维点云的目标识别方法、装置及存储介质
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
CN109741399A (zh) * 2018-12-07 2019-05-10 苏州中科广视文化科技有限公司 基于旋转拍摄的预计算相机标定方法
CN109872366B (zh) * 2019-02-25 2021-03-12 清华大学 一种物体的三维位置检测方法和装置
CN109945841B (zh) * 2019-03-11 2021-03-12 南京航空航天大学 一种无编码点的工业摄影测量方法
CN110070626B (zh) * 2019-03-15 2023-08-11 西安电子科技大学 一种基于多视角分类的三维物体检索方法
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
CN110222661B (zh) * 2019-06-12 2023-04-07 中国矿业大学 一种用于运动目标识别及跟踪的特征提取方法
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
CN110766761B (zh) * 2019-10-21 2023-09-26 北京百度网讯科技有限公司 用于相机标定的方法、装置、设备和存储介质
CN110728720B (zh) * 2019-10-21 2023-10-13 阿波罗智能技术(北京)有限公司 用于相机标定的方法、装置、设备和存储介质
CN110967014B (zh) * 2019-10-24 2023-10-31 国家电网有限公司 一种基于增强现实技术的机房室内导航和设备追踪的方法
CN112991441A (zh) * 2019-12-12 2021-06-18 北京达佳互联信息技术有限公司 相机定位方法、装置、电子设备及存储介质
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
CN113840159A (zh) * 2021-09-26 2021-12-24 北京沃东天骏信息技术有限公司 视频处理方法、装置、计算机系统及可读存储介质
CN115187664A (zh) * 2022-06-30 2022-10-14 先临三维科技股份有限公司 位置调整方法、装置、设备及存储介质
CN114943822B (zh) * 2022-07-26 2022-11-04 武汉中观自动化科技有限公司 旋转体对齐方法、装置、电子设备及存储介质
CN117428788B (zh) * 2023-12-13 2024-04-05 杭州海康机器人股份有限公司 一种设备控制方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069809A (zh) * 2015-08-31 2015-11-18 中国科学院自动化研究所 一种基于平面混合标识物的相机定位方法及系统
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348776B1 (en) * 2006-09-01 2008-03-25 The Board Of Trustees Of The Leland Stanford Junior University Motion corrected magnetic resonance imaging
US20120113229A1 (en) * 2010-06-24 2012-05-10 University Of Kentucky Research Foundation (Ukrf) Rotate and Hold and Scan (RAHAS) Structured Light Illumination Pattern Encoding and Decoding
CN102074015A (zh) * 2011-02-24 2011-05-25 哈尔滨工业大学 一种基于二维图像序列的目标对象的三维重建方法
CN104766309A (zh) * 2015-03-19 2015-07-08 江苏国典艺术品保真科技有限公司 一种平面特征点导航定位方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069809A (zh) * 2015-08-31 2015-11-18 中国科学院自动化研究所 一种基于平面混合标识物的相机定位方法及系统
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法

Also Published As

Publication number Publication date
CN106651942A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106651942B (zh) 基于特征点的三维旋转运动检测与旋转轴定位方法
CN104484648B (zh) 基于轮廓识别的机器人可变视角障碍物检测方法
CN102834845B (zh) 用于多摄像装置校准的方法与装置
CN110533722A (zh) 一种基于视觉词典的机器人快速重定位方法及系统
CN107833181B (zh) 一种基于变焦立体视觉的三维全景图像生成方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN106529538A (zh) 一种飞行器的定位方法和装置
CN110992263B (zh) 一种图像拼接方法及系统
CN109919975B (zh) 一种基于坐标标定的广域监控运动目标关联方法
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN108921864A (zh) 一种光条中心提取方法及装置
CN112233177A (zh) 一种无人机位姿估计方法及系统
CN107677274A (zh) 基于双目视觉的无人机自主着陆导航信息实时解算方法
CN106295512A (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN105574812A (zh) 多角度三维数据配准方法及装置
CN106971408A (zh) 一种基于时空转换思想的摄像机标定方法
CN113313659B (zh) 一种多机协同约束下高精度图像拼接方法
CN113393439A (zh) 一种基于深度学习的锻件缺陷检测方法
CN109493384A (zh) 相机位姿估计方法、系统、设备及存储介质
CN106056121A (zh) 基于sift图像特征匹配的卫星装配工件快速识别方法
CN104700355A (zh) 室内二维平面图的生成方法、装置和系统
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN104504691B (zh) 基于低秩纹理的摄像机位置和姿态测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant