CN109887002A - 图像特征点的匹配方法、装置、计算机设备和存储介质 - Google Patents
图像特征点的匹配方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN109887002A CN109887002A CN201910104166.0A CN201910104166A CN109887002A CN 109887002 A CN109887002 A CN 109887002A CN 201910104166 A CN201910104166 A CN 201910104166A CN 109887002 A CN109887002 A CN 109887002A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- target feature
- feature point
- gray value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明涉及一种图像特征点的匹配方法、装置、计算机设备和存储介质，该方法包括步骤：根据第一图像上的目标特征点的三维坐标确定该目标特征点在第二图像中投影的初始匹配点，根据初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，在第二图像中沿着目标特征点投影的极线的方向上对该目标进行匹配，该方案以位置准确度相对粗略的初始匹配点作为特征点匹配的起点，结合第一灰度值、第二灰度值和灰度梯度值，能够在第二图像中沿极线的方向准确搜索与目标特征点匹配的像素点，解决了传统技术无法对图像特征点进行准确匹配的问题，增强了特征点的匹配精度，将上述初始匹配点作为目标特征点的匹配搜索起点还有利于提高匹配效率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像特征点的匹配方法、图像特征点的匹配装置、计算机设备和计算机可读存储介质。
背景技术
在通过计算机视觉系统对物体进行拍摄成像的过程当中，通常会将拍摄该物体的多张图像进行特征点匹配，得到这些图像之间的特征点匹配关系后即可通过最小化重投影误差等方法获得摄像设备的运动信息，而对图像特征点进行准确匹配是获得精确的运动信息的关键。
然而，传统技术采用特征点匹配算法如光流法通常只能对梯度值大的且处于边角位置的特征点进行较好的匹配，但在实际情况中，图像中能够提取出来的稳定的角点是有限的，导致这种方法对图像特征点的匹配度低；又如直接法是通过图像像素的亮度信息估计摄像头的运动，不需要采用特征点的匹配关系，但直接法在求解时容易陷入局部最优，难以对图像特征点进行准确匹配。
发明内容
基于此，有必要针对传统技术对图像特征点进行匹配的准确度低的技术问题，提供一种图像特征点的匹配方法、图像特征点的匹配装置、计算机设备和计算机可读存储介质。
在一个实施例中，提供了一种图像特征点的匹配方法，包括步骤：
根据目标特征点在三维空间中的三维坐标确定所述目标特征点在第二图像中投影的初始匹配点；其中，所述目标特征点为第一图像上的特征点；
获取所述初始匹配点的第一灰度值；
获取所述目标特征点的第二灰度值和灰度梯度值；
根据所述目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对所述目标特征点进行匹配；其中，所述极线为所述目标特征点在所述第二图像中投影的极线。
在一个实施例中，还提供一种图像特征点的匹配方法，包括步骤：
对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；
a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；
b、根据所述目标特征点的位置利用如权利要求1至10任一项所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；
c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；
重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
在一个实施例中，提供了一种图像特征点的匹配装置，包括：
点投影模块，用于根据目标特征点在三维空间中的三维坐标确定所述目标特征点在第二图像中投影的初始匹配点；其中，所述目标特征点为第一图像上的特征点；
第一获取模块，用于获取所述初始匹配点的第一灰度值；
第二获取模块，用于获取所述目标特征点的第二灰度值和灰度梯度值；
点匹配模块，用于根据所述目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对所述目标特征点进行匹配；其中，所述极线为所述目标特征点在所述第二图像中投影的极线。
在一个实施例中，还提供了一种图像特征点的匹配装置，包括：
图像金字塔建立模块，用于对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；
位置确定模块，用于执行步骤a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；
匹配点获取模块，用于执行步骤b、根据所述目标特征点的位置利用如权利要求1至10任一项所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；
初始匹配点设置模块，用于执行步骤c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；
匹配点确定模块，用于重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上实施例所述的图像特征点的匹配方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上实施例所述的图像特征点的匹配方法的步骤。
上述图像特征点的匹配方法、装置、计算机设备和存储介质，根据第一图像上的目标特征点在三维空间中的三维坐标确定该目标特征点在第二图像中投影的初始匹配点，然后根据初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，在第二图像中沿着目标特征点投影的极线的方向上对该目标进行匹配。该方案以位置准确度相对粗略的初始匹配点作为特征点匹配的起点，结合初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，能够在第二图像中沿极线的方向准确搜索与目标特征点匹配的像素点，解决了传统技术由于容易陷入局部最优和图像能够提取出来的角点有限导致无法对图像特征点进行准确匹配的问题，增强了图像特征点的匹配精度；而且将通过三维坐标确定的初始匹配点作为目标特征点的匹配搜索起点还有利于提高匹配效率。
附图说明
图1为一个实施例中图像特征点的匹配方法的应用场景图；
图2为一个实施例中图像特征点的匹配方法的流程示意图；
图3为一个实施例中第一图像和第二图像的关系示意图；
图4为一个实施例中图像特征点的特征值示意图；
图5(a)为一个实施例中一种图像特征点的类型示意图；
图5(b)为一个实施例中另一种图像特征点的类型示意图；
图5(c)为一个实施例中又一种图像特征点的类型示意图；
图6为另一个实施例中图像特征点的匹配方法的流程示意图；
图7为一个实施例中图像金字塔的示意图；
图8(a)为一个实施例中图像特征点的点集合的示意图；
图8(b)为一个实施例中图像特征点的投影点的示意图；
图8(c)为一个实施例中图像特征点的匹配点的示意图；
图9为一个实施例中基于双目视觉系统的特征点匹配的原理示意图；
图10为一个实施例中图像特征点的匹配装置的结构示意图；
图11为另一个实施例中图像特征点的匹配装置的结构示意图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，本发明实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明提供的图像特征点的匹配方法，可以应用于如图1所示的应用场景当中，图1为一个实施例中图像特征点的匹配方法的应用场景图，其中，第一图像100a和第二图像100b可以是通过摄像设备在不同角度拍摄三维空间中的三角形10得到的图像，第一图像100a中可以包括多个图像特征点，例如与三角形10的角点A0对应的特征点A1以及与三角形10的边缘点B0对应特征点B1，而第二图像100b中也相应存在多个图像特征点，例如与三角形10的角点A0对应的特征点A1以及与三角形10的边缘点B0对应特征点B2，本发明实施例提供的图像特征点的匹配方法，可以基于第一图像100a的图像特征点在第二图像100b中准确且快速地搜索出与第一图像100a的各个图像特征点匹配的特征点。
在一个实施例中，提供了一种图像特征点的匹配方法，参考图2，图2为一个实施例中图像特征点的匹配方法的流程示意图，该方法可以通过个人计算机等具备数据处理能力的计算机设备实现，该图像特征点的匹配方法可以包括以下步骤：
步骤S101，根据目标特征点在三维空间中的三维坐标确定该目标特征点在第二图像中投影的初始匹配点。
其中，目标特征点是指第一图像上的特征点，该特征点一般是用于标识图像特征的关键像素点，可以是图像中的角点和边缘点等特征点；由于图像是通过摄像设备拍摄三维空间中的物体得到的，图像中的特征点会与该物体上的特征点相对应，所以第一图象上的目标特征点在三维空间中对应于被拍摄物体的特征点，该被拍摄物体的特征点在三维空间中的三维坐标即为目标特征点在三维空间中的三维坐标，该三维坐标可以通过多种方式获得，例如基于双目视觉原理计算目标特征点的三维坐标或直接通过Kinect等能直接获得像素所对应空三维坐标的摄像头来获取，然后可以通过直接法等方式根据该三维坐标确定被拍摄物体的特征点在第二图像上的投影点，该投影点即作为第一图像上的目标特征点在第二图像中投影的初始匹配点。
具体的，参考图3，图3为一个实施例中第一图像和第二图像的关系示意图，摄像设备可以在不同位置或角度拍摄三角形10得到的第一图像300a和第二图像300b，第一图像300a上的角特征点A1对应于三维空间中的被拍摄物体三角形10的角点A0，第一图像300a上的边缘特征点B1对应于三维空间中的被拍摄物体三角形10的边缘点B0，则三角形10的边缘点B0的三维坐标即为第一图像300a上的边缘特征点B1在三维空间的三维坐标，然后可以基于该三维坐标确定被拍摄物体三角形10的边缘点B0在第二图像300b上投影的投影点B3，该投影点B3即为第一图像上的边缘特征点B1在第二图像中投影的初始匹配点，由于第二图像300b上投影的投影点B3通常是基于摄像设备的内参矩阵、位姿变换矩阵等参数计算的，又由于存在图像噪声等因素的影响，投影点B3并不能直接作为第二图象中最终与第一图像上的边缘特征点B1相匹配的边缘匹配点B2，但由于投影点B3的位置非常接近边缘匹配点B2，因此本步骤以该投影点B3作为初始匹配点，能够提高匹配效率。
步骤S102，获取初始匹配点的第一灰度值。
本步骤主要是在第二图像中获取初始匹配点的灰度值作为该第一灰度值，该初始匹配点主要用于在第二图像中作为匹配搜索的起始点对第一图像的目标特征点进行匹配，而为了提高目标特征点的匹配效率，可以从预存的第二图像的各个像素点的像素特征信息中提取该初始匹配点的第一灰度值，无需从新在第二图像中重新测试获取。
步骤S103，获取目标特征点的第二灰度值和灰度梯度值。
本步骤可以从第一图像中获取该目标特征点的灰度值，并根据该灰度值计算该目标特征点在第一图像的图像平面上的各个方向上的灰度变化值，即灰度梯度值，例如可以根据目标特征点的灰度值计算该目标特征点在第一图像的横向和纵向方向上的灰度梯度值。
步骤S104，根据目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对目标特征点进行匹配。
其中，极线是指目标特征点在第二图像中投影的极线，极线的方向是指极线两端延伸的方向，特征点投影的极线反映了第一图像110和第二图像120的各个特征点之间的映射关系，也就是说，若已知第一图像110的目标特征点，那么在第二图像120中与该目标特征点匹配映射点一定落在相对于目标特征点在第二图像120中投影的极线上，所以该极线可以用于在第二图像中对该目标特征点进行匹配跟踪，由于极线是一维元素，所以在极线上对目标特征点进行匹配比传统的在二维的图像平面上搜索匹配点的效率会更高，而且初始匹配点是根据目标特征点在三维空间中对应的三维坐标投影的，因此初始匹配点通常会位于该极线上，并且初始匹配点比较接近与目标特征点相匹配的特征点的位置，基于该位于极线上的初始匹配点的第一灰度值以及目标特征点的第二灰度值、灰度梯度值在该极限的方向上对目标特征点进行准确且快速地匹配。
具体的，参考图3，可以根据第二图像300b上的初始匹配点B3的第一灰度值以及第一图像300a上的边缘特征点B1的第二灰度值和灰度梯度值，沿极线310的方向对边缘特征点B1进行匹配，最终获得第二图像上与边缘特征点B1相匹配的边缘匹配点B2。
上述图像特征点的匹配方法，根据第一图像上的目标特征点在三维空间中的三维坐标确定该目标特征点在第二图像中投影的初始匹配点，然后根据初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，在第二图像中沿着目标特征点投影的极线的方向上对该目标进行匹配。该方案以位置准确度相对粗略的初始匹配点作为特征点匹配的起点，结合初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，能够在第二图像中沿极线的方向准确搜索与目标特征点匹配的像素点，解决了传统技术由于容易陷入局部最优和图像能够提取出来的角点有限导致无法对图像特征点进行准确匹配的问题，增强了图像特征点的匹配精度；而且将通过三维坐标确定的初始匹配点作为目标特征点的匹配搜索起点还有利于提高匹配效率。
在一个实施例中，根据目标特征点在三维空间中的三维坐标确定目标特征点在第二图像中投影的初始匹配点的步骤可以包括：
步骤S201，获取摄像设备的内参矩阵。
其中，摄像设备是拍摄第一图像和第二图像的摄像设备，该摄像设备可以在不同位置拍摄三维空间中的物体得到第一图像和第二图像，可以通过摄像头标定获得该内参矩阵。
步骤S202，确定摄像设备在第一位置和第二位置的位姿变换矩阵。
其中，第一位置为摄像设备拍摄第一图像的位置，所述第二位置为摄像设备拍摄第二图像的位置。摄像设备可以在第一位置拍摄完第一图像后移动到第二位置拍摄第二图像，其位置变换矩阵T可以表示为T＝[R,t]，该位置变换矩阵T为欧式变换矩阵，携带了运动中的旋转R和平移t的信息。
步骤S203，根据内参矩阵、位姿变换矩阵和三维坐标计算目标特征点在第二图像中的投影点的二维坐标。
本步骤主要是根据摄像设备的内参矩阵、摄像设备的在第一位置和第二位置的位姿变换矩阵以及目标特征点在三维空间中对应的三维坐标计算该目标特征点在第二图像中的投影的像素点的二维坐标。假设摄像设备的内参矩阵表示为Kl、位姿变换矩阵表示为T，目标特征点在三维空间中对应的三维坐标表示为X，则可以得到目标特征点在第二图像中的投影点的二维坐标x′＝KlTX。
步骤S204，根据二维坐标获取初始匹配点。
本步骤可以将第二图像中与该二维坐标相对应的像素点设为该初始匹配点。
上述实施例能够根据摄像设备的内参矩阵、姿态变换矩阵以及目标特征点的三维坐标计算得到第二图像上的初始匹配点，这样即使在摄像设备不断变换位置拍摄三维空间中的物体时仍然能够快速确定各个拍摄图像上的初始匹配点的位置。
在一个实施例中，根据内参矩阵、位姿变换矩阵和三维坐标计算目标特征点在第二图像中的投影点的二维坐标的步骤可以包括：
获取投影点的第三灰度值；计算第三灰度值与第二灰度值的差值；基于差值对位姿变换矩阵进行优化；根据优化后的位姿变换矩阵、内参矩阵和三维坐标计算二维坐标。
本实施例主要是对位姿变换矩阵进行优化，并利用优化后的位姿变换矩阵重新计算目标特征点在第二图像中的投影点的二维坐标。具体的，可以从第二图像的各个像素点的像素信息中提取该投影点的灰度值作为该第三灰度值curIl(x′)，假设目标特征点的第二灰度值表示为refIl(x)，如果位姿变换矩阵T是精确的话，投影点的第三灰度值与目标特征点的第二灰度值应该是一样的，如果位姿变换矩阵T有误，则投影点的第三灰度值与目标特征点的第二灰度值就有差异，可以通过优化位姿变换矩阵T使得目标特征点和投影点对应的灰度值的差值最小，优化后的位姿变换矩阵T可以使用牛顿法，列文伯格-马夸尔特等优化方法通过求解下式得到：
其中，E表示第三灰度值与第二灰度值的差值，KP表示在第一图像中所有特征点的集合。通过求解上式可以得到优化后的位姿变换矩阵T，根据该优化后的位姿变换矩阵T结合摄像设备的内参矩阵以及目标特征点在三维空间中的三维坐标能够更加准确计算得到该目标特征点在第二图像中的投影点的二维坐标。
在一个实施例中，还可以包括步骤：
步骤S301，获取目标特征点在第一图像中的二维坐标，以及第一匹配点在第三图像中的二维坐标。
本步骤中，第一图像和第三图像为双目摄像头拍摄的图像，该双目摄像头可以在第一位置拍摄两张图像，分别对应于该第一图像和第二图像，其中，第一图像可以是左目摄像头拍摄的图像，第三图像则可以是右目摄像头拍摄的图像，左目摄像头拍摄的图像；第一匹配点是指第三图像中与第一图像中的目标特征点相匹配的特征点。
本步骤可以获取双目摄像头在第一位置拍摄的第一图像和第三图像，并确定与第一图像上的目标特征点相匹配的第一匹配点在第三图像上的位置，从而获取目标特征点在第一图像中的二维坐标以及第一匹配点在第三图像中的二维坐标。
步骤S302，获取第一图像的第一投影矩阵，获取第三图像的第二投影矩阵。
本步骤主要是分别获取第一图像和第三图像的投影矩阵。其中，在利用如双目摄像头等摄像设备对三维空间中的目标物进行拍摄时，该目标物会投影到拍摄的图像上，可以对拍摄的双目摄像头进行标定后，得到相应的投影矩阵，通过该投影矩阵可以确定三维物体与二维图像的位置投影关系。
步骤S303，根据目标特征点在第一图像中的二维坐标、第一匹配点在第三图像中的二维坐标、第一投影矩阵和第二投影矩阵计算目标特征点在三维空间中的三维坐标。
其中，根据第一投影矩阵和第二投影矩阵可以确定拍摄的三维空间中的目标物与第一图像和第三图像的位置关系，所以本步骤可以根据目标特征点在第一图像中的二维坐标、第一匹配点在第三图像中的二维坐标结合第一投影矩阵和第二投影矩阵，从而计算出目标特征点在空间中的三维坐标。
具体的，可以对矩阵D进行奇异值分解，得到奇异值分解结果；该矩阵D可以表示为：
其中，U和V分别表示目标特征点在第一图像中的横坐标和纵坐标，U′和V′分别表示匹配点在第三图像中的横坐标和纵坐标，(P1)T、(P2)T和(P3)T分别对应于第一投影矩阵中的第一行、第二行和第三行，(P1′)T、(P2′)T和(P3′)T分别对应于第二投影矩阵中的第一行、第二行和第三行；然后，根据奇异值分解结果可以获取目标特征点在三维空间中的三维坐标。
在双目摄像系统当中，对双目摄像头进行过校正以后，可以得到左目摄像头和右目摄像头拍摄图像的投影矩阵，设左目摄像头对应的投影矩阵为第一投影矩阵P，右目摄像头对应的投影矩阵为第二投影矩阵P′，利用第一投影矩阵和第二投影矩阵，有x＝PX，x″＝P′X，X表示目标特征点在三维空间中的三维坐标，x表示目标特征点在第一图像中的二维坐标，x″表示第一匹配点在第三图像中的二维坐标，通过投影矩阵，可以将三维空间中的三维点投影到左目摄像头和右目摄像头拍摄的图像当中，获得在图像上的二维坐标x和x″，而第一投影矩阵P和第二投影矩阵P′可以分别表示为：
其中，(Pi)T表示第一投影矩阵P中的第i行，同样地，(Pi′)T表示第一投影矩阵P′中的第i行，i可以取1、2或3。
在给定左目摄像头拍摄的第一图像上的其中一个特征点二维坐标x＝[U,V]T和右目摄像头拍摄的第三图像上的与该特征点相匹配的第一匹配点的二维坐标x″＝[U′,V′]T，联立公式x＝PX和x″＝P′X并写成DX＝0，其中，矩阵D即为：
对该矩阵D进行奇异值分解，有D＝U∑VT，则DX＝0的解X为右奇异矩阵VT的最后一列，X即为最终所求的目标特征点在三维空间中的三维坐标。
上述实施例获取目标特征点在第一图像中的二维坐标以及第一匹配点在第三图像中的二维坐标，基于第一图像和第三图像的投影矩阵，从而更精确地获取该目标特征点在三维空间中的三维坐标，而且还具有运算速度快、鲁棒性好等特点。
在一个实施例中，根据目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对目标特征点进行匹配的步骤可以包括：
步骤S501，根据第一灰度值、灰度梯度值和第二灰度值计算初始匹配点在极线的方向上的位置偏差。
本步骤主要是根据第一图像的目标特征点的第二灰度值和灰度梯度值，以及第二图像上的初始匹配点的第一灰度值确定该初始匹配点在极线的方向上的位置偏差量，该位置偏差量主要用于反映在第二图像上初始匹配点和与目标特征点相匹配的像素点之间的位置偏差情况，例如初始匹配点和与目标特征点相匹配的像素点之间偏移了多少距离。
步骤S502，确定初始匹配点在第二图像中的位置。
本步骤可以获取初始匹配点在第二图像中的二维坐标等位置信息，通过二维坐标确定该初始匹配点在第二图像的位置，由于该初始匹配点一般位于目标特征点投影的极线上，因此通过该初始匹配点的二维坐标等位置信息可以确定该初始匹配点在极线上的位置。
步骤S503，根据初始匹配点在第二图像中的位置以及在极线的方向上的位置偏差确定第二匹配点在第二图像中的位置。
本步骤根据初始匹配点在第二图像的位置以及该初始匹配点在极线的方向上的位置偏差量确定第二匹配点在第二图像中的位置，该第二匹配点是指在第二图像上与目标特征点相匹配的特征点。
上述实施例通过初始匹配点在极线的方向上的位置偏差和初始匹配点的位置信息确定与目标特征点相匹配的第二匹配点在第二图像中的位置，能够准确反映出在第二图像中对与目标特征点相匹配的第二匹配点的位置跟踪匹配过程，该方案对第二匹配点在第二图像中的位置的计算方式灵活多变，还可以通过多次迭代的方式多次计算位置偏差量以获取更高精度的位置偏差量，从而准确跟踪到第二匹配点在第二图像中的位置。
在一个实施例中，进一步的，根据第一灰度值、灰度梯度值和第二灰度值计算初始匹配点在极线的方向上的位置偏差的步骤可以包括：
步骤S601，将第一灰度值与第二灰度值进行作差，得到目标特征点与初始匹配点的灰度偏差值。
本步骤主要是将第一图像中的目标特征点的灰度值与第二图像中的初始匹配点的灰度值进行作差运算，获取目标特征点与初始匹配点的灰度偏差。
步骤S602，根据目标特征点的灰度梯度值计算目标特征点在极线的方向上的灰度梯度值。
可以先计算目标特征点分别在第一图像的横向和纵向上的灰度梯度值，再将该灰度梯度值在第二图像上的极线的单位方向向量进行投影得到该目标特征点在极线的方向上的灰度梯度值。
具体来说，假设目标特征点在第一图像的横向灰度梯度值为Ix，在第一图像的纵向灰度梯度值为Iy，则目标特征点在极线的方向上的灰度梯度值可以表示为[IxIy]n，其中，n表示极线的单位方向向量。
步骤S603，根据灰度偏差值和目标特征点在极线的方向上的灰度梯度值获取初始匹配点在极线的方向上的位置偏差。
本实施例，将第一图像的目标特征点的灰度值与初始匹配点的灰度值进行作差运算，得到目标特征点与初始匹配点之间的灰度偏差值，该灰度偏差值可以用于反映目标特征点与初始匹配点之间的灰度差异情况，利用该灰度偏差值以及该初始匹配点在极线的方向上的灰度梯度值计算第二图像中的初始匹配点在该极线的方向上的位置偏差，结合了目标特征点与初始匹配点的灰度差异情况以及目标特征点在极线的方向上的灰度梯度值两方面特征信息对第二图像中初始匹配点的位置偏差进行计算，使得该位置偏差通过目标特征点与初始匹配点的灰度差异情况进行体现，还结合目标特征点在极线的方向上的灰度梯度值，有利于从初始匹配点为匹配搜索的起点准确而且快速地在第二图像中跟踪到与目标特征点相匹配的像素点的位置。
在一个实施例中，根据灰度偏差值和目标特征点在极线的方向上的灰度梯度值获取初始匹配点在极线的方向上的位置偏差的步骤包括：
将目标特征点在极线的方向上的灰度梯度值进行平方运算，得到目标特征点在极线的方向上的空间梯度值；根据目标特征点在极线的方向上的灰度梯度值与灰度偏差值的乘积获取图像偏差值；计算图像偏差值与目标特征点在极线的方向上的空间梯度值的比值；根据比值与极线的单位方向向量确定初始匹配点在极线的方向上的位置偏差。
在本实施例中，可以在第一图像中以目标特征点为中心创建一矩形像素窗口W，进而计算目标特征点在极线的方向上的灰度梯度值，目标特征点在极线的方向上的灰度梯度值可以表示为：
S(u,v)＝[Ix(px+u,py+v)Iy(px+u,py+v)]n
其中，px表示目标特征点在第一图像上的横坐标，py表示目标特征点在第一图像上的纵坐标，u和v表示矩阵像素窗口中的各个像素点的相对于目标特征点的位置坐标，n表示极线的单位方向向量，可以用于指示极线的方向，如果矩阵像素窗口W长为w，高为h，则u的取值范围是从-w/2到w/2，v的取值范围是从-h/2到h/2，S(u,v)表示目标特征点在极线的方向上的灰度梯度值，将该灰度梯度值进行平方运算可以得到目标特征点在极线的方向上的空间梯度值，可以采用如下公式计算空间梯度值：其中，m表示目标特征点在极线的方向上的空间梯度值。
然后，可以通过如下公式计算第一图像和第二图像的图像偏差值：
其中，b表示图像偏差值，[I(px+u,py+v)-J(qx,qy)]为所述灰度偏差值，I(px+u,py+v)表示第一图像中像素点(px+u,py+v)的灰度值，J(qx,qy)表示第二图像中像素点(qx,qy)的灰度值，该图像偏差值主要用于表示第一图像的目标特征点与第二图像的初始匹配点的图像偏差信息，包括灰度偏差信息。
可以将上述图像偏差值和目标特征点在极线的方向上的空间梯度值的比值与该极线的单位方向向量n的乘积作为初始匹配点在该极线的方向上的位置偏差。
上述实施例通过计算目标特征点在极线的方向上的空间梯度值，以及目标特征点与初始匹配点的图像偏差值，根据图像偏差值与空间梯度值的比值确定初始匹配点在该极线的方向上的位置偏差，进一步细化了对位置偏差进行计算的方式，全面考虑了目标特征点与初始匹配点的图像偏差情况，在例如图像偏差值为零时得到的初始匹配点在该极线的方向上的位置偏差也为零，能够准确跟踪与目标特征点相匹配的像素点在第二图像中的位置。
在一个实施例中，根据目标特征点的灰度梯度值计算目标特征点在极线的方向上的灰度梯度值的步骤包括：
根据目标特征点在第一图像的横向和纵向方向上的灰度梯度值，构建目标特征点的灰度梯度矩阵；获取极线的单位方向向量；将灰度梯度矩阵与单位方向向量的乘积设为目标特征点在极线的方向上的灰度梯度值。
本实施例中，目标特征点在第一图像的横向方向上的灰度梯度值可以反映目标特征点在横向方向上的灰度变化趋势，纵向方向上的灰度梯度值可以反映目标特征点在纵向方向上的灰度变化趋势，目标特征点在第一图像的横向和纵向上的灰度梯度值可以基于目标特征点在第一图像中的灰度值进行计算，灰度梯度矩阵为同时携带了目标特征点在第一图像的横向方向上的灰度梯度值以及在纵向方向上的灰度梯度值的矩阵，极线的单位方向向量可以基于目标特征点在第一图像位置以及第一图像和第二图像的旋转平移关系进行计算，将灰度梯度矩阵与单位方向向量进行相乘可以得到目标特征点在第二图像上的极线的方向上的灰度梯度值，用于反映目标特征点在极线的方向上的灰度变化趋势。
具体来说，横向和纵向是指在第一图像中相互垂直的两坐标轴所在方向，可以在第一图像中建立X-Y直角坐标系，横向和纵向分别对应X轴和Y轴的方向。基于第一图像中的各像素点的灰度值I(x,y)，可以计算各像素点在X轴方向上的灰度梯度值Ix(x,y)，以及在Y轴的方向上的灰度梯度值Iy(x,y)，可以把第一图像中像素点的灰度值分布看作二维离散函数，第一图像的各个像素点的灰度梯度值可以对应于该二维离散函数的导数，计算导数的方式有很多种，为了计算简便，可以采取如下公式对目标特征点在X轴和Y轴方向上的灰度梯度值进行计算：
Ix(x,y)＝[I(x+1,y)-I(x-1,y)]/2
Iy(x,y)＝[I(x,y+1)-I(x,y-1)]/2
其中，I(x+1,y)表示目标特征点在X轴方向上后一个像素点的灰度值、I(x-1,y)表示目标特征点在X轴方向上前像素点的灰度值，I(x,y+1)表示目标特征点在Y轴方向上后一个像素点的灰度值，I(x,y-1)表示目标特征点在Y轴方向上前一个像素点的灰度值，Ix(x,y)表示目标特征点在X轴方向的灰度梯度值，Iy(x,y)表示目标特征点在Y轴方向的灰度梯度值。
可以采用如下矩阵作为目标特征点的灰度梯度矩阵：
t(x,y)＝[Ix(x,y)Iy(x,y)]
其中，t(x,y)表示目标特征点的灰度梯度矩阵，该矩阵包括目标特征点在X轴方向的灰度梯度值Ix(x,y)和Y轴方向上的灰度梯度值Iy(x,y)。
假设极线的单位方向向量为n，则目标特征点在极线的方向上的灰度梯度值可以采用如下公式进行表达：
s(x,y)＝[Ix(x,y)Iy(x,y)]n
其中，s(x,y)表示目标特征点在极线的方向上的灰度梯度值。
上述实施例根据第一图像的目标特征点分别在横纵方向上的灰度值变化值以及极线的单位方向向量获取目标特征点在该极线的方向上的灰度梯度值，简化了计算目标特征点在极线的方向上的灰度梯度值的步骤，准确反映目标特征点在极线的方向上的灰度变化值，有利于提高在第二图像中对目标特征点进行匹配的准确性和效率。
在一个实施例中，还可以包括步骤：
获取目标特征点在第一图像中的位置；确定第一图像与第二图像的旋转平移关系；根据位置和旋转平移关系计算目标特征点在第二图像上投影的极线。
其中，目标特征点在第一图像中的位置可以通过目标特征点在第一图像中的位置坐标表示，本实施例主要是结合目标特征点在第一图像中的位置以及第一图像与第二图像之间的旋转平移关系计算该目标特征点在第二图像上投影的极线，其中，第一图像与第二图像之间的旋转平移关系可以根据第一图像与第二图像的空间坐标系确定，作为其中一种计算方式，以摄像头在不同位置拍摄图像为例对该旋转平移关系以及极线的计算进行相关说明：
假设第一摄像头和第二摄像头分别从不同的位置拍摄同一物体得到第一图像和第二图像，其中，第一摄像头和第二摄像头可以为同一摄像头，设第一摄像头的空间坐标系为坐标系C，第一摄像头的空间坐标系为坐标系C'，则坐标系C与坐标系C'之间存在旋转关系R，以及平移关系T，在坐标系C的空间点X，在坐标系C'下的对应空间点X'为X'＝RX+T。
可以获取目标特征点x在第一图像中的二维坐标，并假设第一摄像头和第二摄像头的内参矩阵均为K，第一摄像头和第二摄像头的旋转关系为R，平移关系为T，采用以下公式计算极线l'＝[l1,l2,l3]T:
l'＝[KT]×KRK-1x
其中，l1,l2,l3为用于在第二图像中描述极线l'的三个参量，x为目标特征点x的二维坐标的其次形式，表现为在x的二维坐标的末尾添加1，使x成为一个三维向量，使得上述公式能够成立，[KT]×表示KT的反对称矩阵，以[a]×为例对该反对称矩阵进行说明：反对称矩阵[a]×中的a为三维向量a＝[a1,a2,a3]T,a1,a2,a3为向量a的三个参量，则反对称矩阵[a]×可以表示为：
进一步地，可以对上述用于计算极线l'＝[l1,l2,l3]T的公式进行求解得到，极线l'的单位方向向量n可以表示为：
上述实施例根据目标特征点在第一图像中的二维坐标以及第一图像和第二图像之间的旋转平移关系能够准确计算出该目标特征点在第二图像上投影的极线，还能够进一步准确计算出该极线的单位方向向量，有利于后续在极线上对目标特征点进行准确且快速地匹配。
在一个实施例中，还可以包括步骤：
步骤S701，在第一图像中创建以目标特征点为中心的矩形像素窗口。
本步骤可以在第一图像中以目标特征点为几何中心，生成一矩形像素窗口W，该矩形像素窗口W的长为w，高为h，该矩形像素窗口W中各个像素点的相对位置坐标取值范围为如横坐标u的取值范围可以从-w/2到w/2，纵坐标v的取值范围可以从-h/2到h/2。
步骤S702，获取矩形像素窗口内各个像素点的灰度值；根据各个像素点的灰度值计算目标特征点在矩形像素窗口的横向和纵向方向上的灰度梯度值。
此步骤中，目标特征点在该矩形像素窗口的横向方向的灰度梯度值可以表示为Ix(x,y)，在纵向方向上的灰度梯度值可以表示为Iy(x,y)，其中，对于该矩形像素窗口中的每一个像素点的灰度值I(x,y)，为了计算简便，可以采取如下公式对目标特征点在该矩形像素窗口的X轴和Y轴方向上的灰度梯度值进行计算：
Ix(x,y)＝[I(x+1,y)-I(x-1,y)]/2
Iy(x,y)＝[I(x,y+1)-I(x,y-1)]/2
其中，I(x+1,y)表示目标特征点在X轴方向后一个像素点的灰度值、I(x-1,y)表示目标特征点在X轴方向前像素点的灰度值，I(x,y+1)表示目标特征点在Y轴方向上的后一个像素点的灰度值，I(x,y-1)表示目标特征点在Y轴方向上的前一个像素点的灰度值。
步骤S703，根据灰度梯度值计算目标特征点在矩形像素窗口中的空间梯度矩阵，计算空间梯度矩阵的特征值。
本步骤可以采用如下矩阵作为目标特征点的空间梯度矩阵：
其中，M(x,y)表示目标特征点在矩阵像素窗口W内的空间梯度矩阵，中间变量Ix(x,y)2＝Ix·Ix，Iy(x,y)2＝Iy·Iy和Ixy(x,y)＝Ix·Iy，g(u,v)表示高斯加权函数，在空间梯度矩阵中采用高斯加权函数能够提高抵抗图像噪点的能力，高斯加权函数的表达式为：然后可以求解出上述空间梯度矩阵M(x,y)的特征值λ1和λ2。
步骤S704，根据特征值确定目标特征点的类型。
本步骤主要是根据求解得到的空间梯度矩阵M(x,y)的特征值λ1和λ2确定目标特征点的类型，可以包括角点和边缘点等。
参考图4，图4为一个实施例中图像特征点的特征值示意图，图4中330a所指示的箭头表示λ1增大的方向，330b所指示的箭头表示λ2增大的方向，而330c表示的是平面区域，λ1和λ2均很小，330d和330f表示的都是边缘点所在区域，在330d所指示区域中λ1远小于λ2，在330f所指示区域中λ2远小于λ1，而330e所指示的区域为角点区域，λ1和λ2均较大，并且λ1≈λ2。根据该特征值可以确定目标特征点的类型。如图5(a)至图5(c)所示，图5(a)至图5(c)的图像均具有阴影区域350，图5(a)有第一特征点351，图5(a)有第二特征点352，图5(c)有第三特征点353，其中，第一特征点351在图5(a)的各个箭头所示方向上灰度值变化均不明显，即与图4中330c的平面区域对应，第二特征点352在图5(b)的箭头352a所示方向上灰度值变化不明显而在箭头352b所示方向上灰度值变化较为明显，可以与图4中的330d和330f的角点区域对应，第三特征点353在图5(c)的各个箭头所示方向上灰度值变化均较为明显，可以与图4中的330e的角点区域对应。
在传统方式中，一般会选取图像的角点作为关键点，因为技术人员通常会认为角点具有很好的特性：它不随图像大的变形而改变，也对于图像小的变形不敏感。然而，实际上在实际使用中，图像中能够提取的稳定的角点是十分有限的，如果作为关键点的角点过少，那能成功匹配的角点就更少了，这样会极大地影响后续的工作。为了在图像中增加关键点的数目，可以将图像中的边缘点如直线边缘点也作为关键点，该方案具有在可提取的数目上的优势以增加第一图像关键点的数量，可以提高匹配的稳定性和鲁棒性。
基于此，为了方便描述可以假设第一图像的各个像素点的空间梯度矩阵M(x,y)的特征值λ1均小于λ2，对于满足λ2(x,y)大于α×Max(λ2)和λ1(x,y)小于β×Max(λ1)条件的点(x,y)，即可作为第一图像中的边缘点。其中，α和β为预先设定的阈值，一般的，0＜α,β＜1，Max(λ1)表示第一图像中最大的λ1值，Max(λ2)表示第一图像中最大的λ2值。可选的，可以设置一边缘点间最小距离d，对得到的多个所述边缘点进行筛选，获得第一图像的边缘点集。
在一个实施例中，提供一种图像特征点的匹配方法，参考图6，图6为另一个实施例中图像特征点的匹配方法的流程示意图，该图像特征点的匹配方法可以包括步骤：
步骤S401，对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，第一图像金字塔和第二图像金字塔均包括多层图像。
本步骤主要是分别对第一图像I和第二图像J建立第一图像金字塔{IL}L＝0...Lm和第二图像金字塔{JL}L＝0...Lm，第一图像金字塔和第二图像金字塔均可以包括多层图像，Lm表示给定的金字塔层数，一般为3，如图7所示，图7为一个实施例中图像金字塔的示意图，图像金字塔化一般包括两个步骤：首先对第一图像进行一次低通滤波进行平滑，然后对第一图像的像素点在横纵两个方向上进行1/2抽样处理，从而得到一系列尺度缩小的图像。当L＝0时，为第一图像的原图，又称底层图像，当向金字塔的上层移动时，尺寸和分辨率降低，伴随的细节就越少。可以从顶层开始对目标特征点进行跟踪匹配，先获得一个粗糙的结果，然后将结果作为下一层的初始点再进行跟踪，不断迭代直到到达第0层即底层图像，作为一种由粗到细分析策略。
步骤S402，即步骤a、在第一图像金字塔的本层图像中确定目标特征点的位置。
其中，第一图像金字塔的本层图像是指当前用于对目标特征点进行跟踪的图像层，假设当前在第3层对目标特征点进行跟踪则本层图像为第3层图像。
本步骤主要是确认第一图像金字塔的本层图像中目标特征点的位置，可以设目标特征点如边缘点u在第一图像I的第一图像金字塔第L层图IL上的位置为其中，px和py可以表示边缘点u的坐标。
步骤S403，即步骤b、根据目标特征点的位置利用如上任一项实施例所述的图像特征点的匹配方法获取目标特征点在第二图像金字塔的本层图像中与该目标特征点相匹配的匹配点。
在本步骤中，可以在矩阵像素窗口W中计算目标特征点在该极线的方向上的灰度梯度值：S(u,v)＝[Ix(px+u,py+v)Iy(px+u,py+v)]n；
其中，u和v表示矩阵像素窗口W中的各个像素点的相对于目标特征点的位置坐标，如果矩阵像素窗口W长为w，高为h，则u的取值范围是从-w/2到w/2，v的取值范围是从-h/2到h/2，Ix(x,y)表示第一图像IL在(x,y)位置的像素点在X轴方向的灰度梯度值，Iy(x,y)表示在Y轴方向上的灰度梯度值，n表示极线的单位方向向量，S(u,v)表示目标特征点在极线的方向上的灰度梯度值，并根据灰度梯度值计算目标特征点在第L层的空间梯度值
本步骤可以初始化位置迭代参数γ0＝[00]T，用于在图像JL中进行迭代处理。假设初始匹配点在图像JL的位置是其中，和为预设的搜索偏移位置中的参数，其中可以预设为[00]T，根据预设变量k从1到K，可以采用以下迭代方式计算图像偏差值：
更新位置迭代参数使k＝k+1继续在本层图像中对该迭代参数进行迭代操作，在L层金字塔得到最终跟踪偏移量为：dL＝γk。
步骤S404，即步骤c、将上述匹配点设置为第二图像金字塔的本层图像的下一层图像的初始匹配点。
本步骤初始化在第二图像中的本层图像的下一层金字塔图像的跟踪偏移位置gL-1＝2(gL+dL)。
步骤S404，重复上述步骤a至c，直到匹配点为第二图像金字塔的底层图像的匹配点。
本步骤可以使L＝L-1重复上述步骤a至c，直到得到的匹配点为第二图像的第二图像金字塔的底层图像的特征点，则目标特征点如边缘点u在第二图像中的匹配的像素点v的位置为v＝u+g0+d0。
通过本发明实施例提供的方案可以对图像特征点进行准确匹配，其跟踪匹配结果可以参考图8(a)至图8(c)，其中，在图8(a)中标识的圆圈表示第一图像中的图像特征点，包括角点和边缘点，在图8(b)中标识的圆圈表示图8(a)中的图像特征点在第二图像即图8(b)上投影的初始匹配点，注意到图8(b)中的黑色虚线框所标明的初始匹配点，与真实值有所偏移，并没有准确地落在边缘上，在基于该图8(b)上的初始匹配点的灰度值以及图8(a)中相应目标特征点的灰度值和灰度梯度值对目标特征点进行匹配后，得到图8(c)所示的与图8(a)的目标特征点相匹配的匹配点，此时可以注意到图8(c)中的黑色虚线框所标明的匹配点，已经准确地落在了边缘位置上。由此可以知道，本发明实施例提供的图像特征点的匹配方法能够正确地将特征点匹配到正确的位置，如将边缘特征点正确匹配位于直线边缘的点上，使得匹配点的数量大增，还解决了直接法中由于无法得到最优解而导致的重投影误差，极大地增强了匹配精度。
本发明实施例提供的图像特征点的匹配方法，还可以应用于双目摄像系统，对双目摄像系统拍摄图像中的图像特征点进行准确匹配。参考图9，图9为一个实施例中基于双目视觉系统的特征点匹配的原理示意图，双目摄像头可以在第一位置拍摄第一图像500a和第三图像500b，其中，第一图像500a为左目摄像头拍摄的图像，第三图像500b为右目摄像头拍摄的图像，假设第一图像500a中的特征点K1对应于被拍摄物三角形10的角点K0，则可以基于第一图像500a中的特征点K1的位置在第三图像500b中确定第一匹配点K2的位置。在双目摄像头已经经过标定的情况下,双目摄像头的左目和右目内参矩阵、畸变系数、外参矩阵等参数均可以确定，通过双目摄像头标定所获的参数对拍摄的第一图像和第二图像进行校正操作，消除图像的畸变，对双目摄像头拍摄第一图像和第二图像进行对齐操作，使得两幅图像在水平方向严格的对齐，这样一幅图像上任意一点与其在另一幅图像上的匹配点就必然在同一行上，这样就能够进一步根据特征点K1的位置在第三图像500b中确定第一匹配点K2的位置。
然后，根据三角测量原理可以获得特征点K1在三维空间中的对应角点K0的三维坐标。然后双目摄像头可以在第二位置拍摄第二图像500c和第四图像500d，其中，第二图像500c为左目摄像头拍摄的图像，第三图像500d为右目摄像头拍摄的图像，根据特征点K1在三维空间中对应的三维坐标以及双目摄像头的内参矩阵和位姿变换矩阵可以计算出特征点K1在第二图像500c中投影的初始匹配点的位置，然后基于该初始匹配点的灰度值以及特征点K1的灰度值和灰度梯度值可以在第二图像500c中确定与特征点K1相匹配的第二匹配点K3的位置，基于第二匹配点K3的位置可以进一步在第四图像500d中确定第三匹配点K4的位置。
在一个实施例中，提供了一种图像特征点的匹配装置，参考图10，图10为一个实施例中图像特征点的匹配装置的结构示意图，该图像特征点的匹配装置可以包括：
点投影模块101，用于根据目标特征点在三维空间中的三维坐标确定目标特征点在第二图像中投影的初始匹配点；其中，目标特征点为第一图像上的特征点；
第一获取模块102，用于获取初始匹配点的第一灰度值；
第二获取模块103，用于获取目标特征点的第二灰度值和灰度梯度值；
点匹配模块104，用于根据目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对目标特征点进行匹配；其中，极线为目标特征点在第二图像中投影的极线。
在一个实施例中，点投影模块101可以包括：
内参矩阵获取单元，用于获取摄像设备的内参矩阵；位姿变换矩阵确定单元，用于确定摄像设备在第一位置和第二位置的位姿变换矩阵；坐标计算单元，用于根据内参矩阵、位姿变换矩阵和三维坐标计算目标特征点在第二图像中的投影点的二维坐标；匹配点获取单元，用于根据二维坐标获取初始匹配点
在一个实施例中，坐标计算单元进一步用于：获取投影点的第三灰度值；计算第三灰度值与第二灰度值的差值；基于差值对位姿变换矩阵进行优化；根据优化后的位姿变换矩阵、内参矩阵和三维坐标计算二维坐标。
在一个实施例中，还可以包括：
坐标获取单元，用于获取目标特征点在第一图像中的二维坐标，以及第一匹配点在第三图像中的二维坐标；投影矩阵获取单元，用于获取第一图像的第一投影矩阵，获取第三图像的第二投影矩阵；三维坐标计算单元，用于根据目标特征点在第一图像中的二维坐标、第一匹配点在第三图像中的二维坐标、第一投影矩阵和第二投影矩阵计算目标特征点在三维空间中的三维坐标。
在一个实施例中，点匹配模块104可以包括：
位置偏差计算单元，用于根据第一灰度值、灰度梯度值和第二灰度值计算初始匹配点在极线的方向上的位置偏差；初始匹配点位置确定单元，用于确定初始匹配点在第二图像中的位置；第二匹配点位置确定单元，用于根据初始匹配点在第二图像中的位置以及在极线的方向上的位置偏差确定第二匹配点在第二图像中的位置。
在一个实施例中，位置偏差计算单元可以包括：
作差单元，用于将第一灰度值与第二灰度值进行作差，得到目标特征点与初始匹配点的灰度偏差值；灰度梯度值计算单元，用于根据目标特征点的灰度梯度值计算目标特征点在极线的方向上的灰度梯度值；偏差获取单元，用于根据灰度偏差值和目标特征点在极线的方向上的灰度梯度值获取初始匹配点在极线的方向上的位置偏差。
在一个实施例中，偏差获取单元进一步用于：将目标特征点在极线的方向上的灰度梯度值进行平方运算，得到目标特征点在极线的方向上的空间梯度值；根据目标特征点在极线的方向上的灰度梯度值与灰度偏差值的乘积获取图像偏差值；计算图像偏差值与目标特征点在极线的方向上的空间梯度值的比值；根据比值与极线的单位方向向量确定初始匹配点在极线的方向上的位置偏差。
在一个实施例中，灰度梯度值计算单元进一步用于：根据目标特征点在第一图像的横向和纵向方向上的灰度梯度值，构建目标特征点的灰度梯度矩阵；获取极线的单位方向向量；将灰度梯度矩阵与单位方向向量的乘积设为目标特征点在极线的方向上的灰度梯度值。
在一个实施例中，还可以包括：
第一位置获取单元，用于获取目标特征点在第一图像中的位置；旋转平移关系确定单元，用于确定第一图像与第二图像的旋转平移关系；极线计算单元，用于根据位置和旋转平移关系计算目标特征点在第二图像上投影的极线。
在一个实施例中，还可以包括：
窗口构建单元，用于在第一图像中创建以目标特征点为中心的矩形像素窗口；灰度值获取单元，用于获取矩形像素窗口内各个像素点的灰度值；根据各个像素点的灰度值计算目标特征点在矩形像素窗口的横向和纵向方向上的灰度梯度值；特征值计算单元，用于根据灰度梯度值计算目标特征点在矩形像素窗口中的空间梯度矩阵，计算空间梯度矩阵的特征值；特征点类型确定单元，用于根据特征值确定目标特征点的类型。
在一个实施例中，提供了一种图像特征点的匹配装置，参考图11，图11为另一个实施例中图像特征点的匹配装置的结构示意图，该图像特征点的匹配装置可以包括：
图像金字塔建立模块401，用于对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；
位置确定模块402，用于执行步骤a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；
匹配点获取模块403，用于执行步骤b、根据所述目标特征点的位置利用如上任一项实施例所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；
初始匹配点设置模块404，用于执行步骤c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；
匹配点确定模块405，用于重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
本发明的图像特征点的匹配装置与本发明的图像特征点的匹配方法一一对应，关于图像特征点的匹配装置的具体限定可以参见上文中对于图像特征点的匹配方法的限定，在上述图像特征点的匹配方法的实施例阐述的技术特征及其有益效果均适用于图像特征点的匹配装置的实施例中，在此不再赘述。上述图像特征点的匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是个人计算机等终端设备，其内部结构图可以如图12所示，图12为一个实施例中计算机设备的内部结构图。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像特征点的匹配方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：根据目标特征点在三维空间中的三维坐标确定该目标特征点在第二图像中投影的初始匹配点；获取初始匹配点的第一灰度值；获取目标特征点的第二灰度值和灰度梯度值；根据目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对目标特征点进行匹配。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取摄像设备的内参矩阵；确定摄像设备在第一位置和第二位置的位姿变换矩阵；根据内参矩阵、位姿变换矩阵和三维坐标计算目标特征点在第二图像中的投影点的二维坐标；根据二维坐标获取初始匹配点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取投影点的第三灰度值；计算第三灰度值与第二灰度值的差值；基于差值对位姿变换矩阵进行优化；根据优化后的位姿变换矩阵、内参矩阵和三维坐标计算二维坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标特征点在第一图像中的二维坐标，以及第一匹配点在第三图像中的二维坐标；获取第一图像的第一投影矩阵，获取第三图像的第二投影矩阵；根据目标特征点在第一图像中的二维坐标、第一匹配点在第三图像中的二维坐标、第一投影矩阵和第二投影矩阵计算目标特征点在三维空间中的三维坐标。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据第一灰度值、灰度梯度值和第二灰度值计算初始匹配点在极线的方向上的位置偏差；确定初始匹配点在第二图像中的位置；根据初始匹配点在第二图像中的位置以及在极线的方向上的位置偏差确定第二匹配点在第二图像中的位置。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将第一灰度值与第二灰度值进行作差，得到目标特征点与初始匹配点的灰度偏差值；根据目标特征点的灰度梯度值计算目标特征点在极线的方向上的灰度梯度值；根据灰度偏差值和目标特征点在极线的方向上的灰度梯度值获取初始匹配点在极线的方向上的位置偏差。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将目标特征点在极线的方向上的灰度梯度值进行平方运算，得到目标特征点在极线的方向上的空间梯度值；根据目标特征点在极线的方向上的灰度梯度值与灰度偏差值的乘积获取图像偏差值；计算图像偏差值与目标特征点在极线的方向上的空间梯度值的比值；根据比值与极线的单位方向向量确定初始匹配点在极线的方向上的位置偏差。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据目标特征点在第一图像的横向和纵向方向上的灰度梯度值，构建目标特征点的灰度梯度矩阵；获取极线的单位方向向量；将灰度梯度矩阵与单位方向向量的乘积设为目标特征点在极线的方向上的灰度梯度值。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标特征点在第一图像中的位置；确定第一图像与第二图像的旋转平移关系；根据位置和旋转平移关系计算目标特征点在第二图像上投影的极线。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：在第一图像中创建以目标特征点为中心的矩形像素窗口；获取矩形像素窗口内各个像素点的灰度值；根据各个像素点的灰度值计算目标特征点在矩形像素窗口的横向和纵向方向上的灰度梯度值；根据灰度梯度值计算目标特征点在矩形像素窗口中的空间梯度矩阵，计算空间梯度矩阵的特征值；根据特征值确定目标特征点的类型。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；b、根据所述目标特征点的位置利用如上任一项实施例所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
上述计算机设备，通过所述处理器上运行的计算机程序，以位置准确度相对粗略的初始匹配点作为特征点匹配的起点，结合初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，能够在第二图像中沿极线的方向准确搜索与目标特征点匹配的像素点，解决了传统技术由于容易陷入局部最优和图像能够提取出来的角点有限导致无法对图像特征点进行准确匹配的问题，增强了图像特征点的匹配精度；而且将通过三维坐标确定的初始匹配点作为目标特征点的匹配搜索起点还有利于提高匹配效率。
本领域普通技术人员可以理解实现如上任一项实施例所述的图像特征点的匹配方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
据此，在一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：根据目标特征点在三维空间中的三维坐标确定该目标特征点在第二图像中投影的初始匹配点；获取初始匹配点的第一灰度值；获取目标特征点的第二灰度值和灰度梯度值；根据目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对目标特征点进行匹配。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取摄像设备的内参矩阵；确定摄像设备在第一位置和第二位置的位姿变换矩阵；根据内参矩阵、位姿变换矩阵和三维坐标计算目标特征点在第二图像中的投影点的二维坐标；根据二维坐标获取初始匹配点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取投影点的第三灰度值；计算第三灰度值与第二灰度值的差值；基于差值对位姿变换矩阵进行优化；根据优化后的位姿变换矩阵、内参矩阵和三维坐标计算二维坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标特征点在第一图像中的二维坐标，以及第一匹配点在第三图像中的二维坐标；获取第一图像的第一投影矩阵，获取第三图像的第二投影矩阵；根据目标特征点在第一图像中的二维坐标、第一匹配点在第三图像中的二维坐标、第一投影矩阵和第二投影矩阵计算目标特征点在三维空间中的三维坐标。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据第一灰度值、灰度梯度值和第二灰度值计算初始匹配点在极线的方向上的位置偏差；确定初始匹配点在第二图像中的位置；根据初始匹配点在第二图像中的位置以及在极线的方向上的位置偏差确定第二匹配点在第二图像中的位置。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将第一灰度值与第二灰度值进行作差，得到目标特征点与初始匹配点的灰度偏差值；根据目标特征点的灰度梯度值计算目标特征点在极线的方向上的灰度梯度值；根据灰度偏差值和目标特征点在极线的方向上的灰度梯度值获取初始匹配点在极线的方向上的位置偏差。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将目标特征点在极线的方向上的灰度梯度值进行平方运算，得到目标特征点在极线的方向上的空间梯度值；根据目标特征点在极线的方向上的灰度梯度值与灰度偏差值的乘积获取图像偏差值；计算图像偏差值与目标特征点在极线的方向上的空间梯度值的比值；根据比值与极线的单位方向向量确定初始匹配点在极线的方向上的位置偏差。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据目标特征点在第一图像的横向和纵向方向上的灰度梯度值，构建目标特征点的灰度梯度矩阵；获取极线的单位方向向量；将灰度梯度矩阵与单位方向向量的乘积设为目标特征点在极线的方向上的灰度梯度值。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标特征点在第一图像中的位置；确定第一图像与第二图像的旋转平移关系；根据位置和旋转平移关系计算目标特征点在第二图像上投影的极线。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在第一图像中创建以目标特征点为中心的矩形像素窗口；获取矩形像素窗口内各个像素点的灰度值；根据各个像素点的灰度值计算目标特征点在矩形像素窗口的横向和纵向方向上的灰度梯度值；根据灰度梯度值计算目标特征点在矩形像素窗口中的空间梯度矩阵，计算空间梯度矩阵的特征值；根据特征值确定目标特征点的类型。
在一个实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；b、根据所述目标特征点的位置利用如上任一项实施例所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
上述计算机可读存储介质，通过其存储的计算机程序，以位置准确度相对粗略的初始匹配点作为特征点匹配的起点，结合初始匹配点的第一灰度值以及目标特征点的第二灰度值和灰度梯度值，能够在第二图像中沿极线的方向准确搜索与目标特征点匹配的像素点，解决了传统技术由于容易陷入局部最优和图像能够提取出来的角点有限导致无法对图像特征点进行准确匹配的问题，增强了图像特征点的匹配精度；而且将通过三维坐标确定的初始匹配点作为目标特征点的匹配搜索起点还有利于提高匹配效率。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种图像特征点的匹配方法，其特征在于，包括步骤：
根据目标特征点在三维空间中的三维坐标确定所述目标特征点在第二图像中投影的初始匹配点；其中，所述目标特征点为第一图像上的特征点；
获取所述初始匹配点的第一灰度值；
获取所述目标特征点的第二灰度值和灰度梯度值；
根据所述目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对所述目标特征点进行匹配；其中，所述极线为所述目标特征点在所述第二图像中投影的极线。
2.根据权利要求1所述的图像特征点的匹配方法，其特征在于，所述根据目标特征点在三维空间中的三维坐标确定所述目标特征点在第二图像中投影的初始匹配点的步骤包括：
获取摄像设备的内参矩阵；所述摄像设备为拍摄所述第一图像和第二图像的摄像设备；
确定所述摄像设备在第一位置和第二位置的位姿变换矩阵；所述第一位置为所述摄像设备拍摄所述第一图像的位置；所述第二位置为所述摄像设备拍摄所述第二图像的位置；
根据所述内参矩阵、位姿变换矩阵和三维坐标计算所述目标特征点在所述第二图像中的投影点的二维坐标；
根据所述二维坐标获取所述初始匹配点。
3.根据权利要求2所述的图像特征点的匹配方法，其特征在于，所述根据所述内参矩阵、位姿变换矩阵和三维坐标计算所述目标特征点在所述第二图像中的投影点的二维坐标的步骤包括：
获取所述投影点的第三灰度值；
计算所述第三灰度值与第二灰度值的差值；
基于所述差值对所述位姿变换矩阵进行优化；
根据优化后的所述位姿变换矩阵、内参矩阵和三维坐标计算所述二维坐标。
4.根据权利要求1所述的图像特征点的匹配方法，其特征在于，还包括步骤：
获取所述目标特征点在所述第一图像中的二维坐标，以及第一匹配点在第三图像中的二维坐标；其中，所述第一图像和第三图像为双目摄像头拍摄的图像；所述第一匹配点为所述第三图像中与所述目标特征点相匹配的特征点；
获取所述第一图像的第一投影矩阵，获取所述第三图像的第二投影矩阵；
根据所述目标特征点在所述第一图像中的二维坐标、第一匹配点在所述第三图像中的二维坐标、第一投影矩阵和第二投影矩阵计算所述目标特征点在三维空间中的三维坐标。
5.根据权利要求1所述的图像特征点的匹配方法，其特征在于，所述根据所述目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对所述目标特征点进行匹配的步骤包括：
根据所述第一灰度值、灰度梯度值和第二灰度值计算所述初始匹配点在所述极线的方向上的位置偏差；
确定所述初始匹配点在所述第二图像中的位置；
根据所述初始匹配点在第二图像中的位置以及在所述极线的方向上的位置偏差确定第二匹配点在所述第二图像中的位置；其中，所述第二匹配点为所述第二图像中与所述目标特征点相匹配的特征点。
6.根据权利要求5所述的图像特征点的匹配方法，其特征在于，所述根据所述第一灰度值、灰度梯度值和第二灰度值计算所述初始匹配点在所述极线的方向上的位置偏差的步骤包括：
将所述第一灰度值与第二灰度值进行作差，得到所述目标特征点与初始匹配点的灰度偏差值；
根据所述目标特征点的灰度梯度值计算所述目标特征点在所述极线的方向上的灰度梯度值；
根据所述灰度偏差值和所述目标特征点在极线的方向上的灰度梯度值获取所述初始匹配点在所述极线的方向上的位置偏差。
7.根据权利要求6所述的图像特征点的匹配方法，其特征在于，所述根据所述灰度偏差值和所述目标特征点在极线的方向上的灰度梯度值获取所述初始匹配点在所述极线的方向上的位置偏差的步骤包括：
将所述目标特征点在所述极线的方向上的灰度梯度值进行平方运算，得到所述目标特征点在所述极线的方向上的空间梯度值；
根据所述目标特征点在所述极线的方向上的灰度梯度值与所述灰度偏差值的乘积获取图像偏差值；
计算所述图像偏差值与所述目标特征点在所述极线的方向上的空间梯度值的比值；
根据所述比值与所述极线的单位方向向量确定所述初始匹配点在所述极线的方向上的位置偏差。
8.根据权利要求6所述的图像特征点的匹配方法，其特征在于，所述根据所述目标特征点的灰度梯度值计算所述目标特征点在所述极线的方向上的灰度梯度值的步骤包括：
根据所述目标特征点在所述第一图像的横向和纵向方向上的灰度梯度值，构建所述目标特征点的灰度梯度矩阵；
获取所述极线的单位方向向量；
将所述灰度梯度矩阵与所述单位方向向量的乘积设为所述目标特征点在极线的方向上的灰度梯度值。
9.根据权利要求1所述的图像特征点的匹配方法，其特征在于，还包括步骤：
获取所述目标特征点在所述第一图像中的位置；
确定所述第一图像与第二图像的旋转平移关系；
根据所述位置和旋转平移关系计算所述目标特征点在第二图像上投影的所述极线。
10.根据权利要求1至9任一项所述的图像特征点的匹配方法，其特征在于，还包括步骤：
在所述第一图像中创建以所述目标特征点为中心的矩形像素窗口；
获取所述矩形像素窗口内各个像素点的灰度值；根据所述各个像素点的灰度值计算所述目标特征点在所述矩形像素窗口的横向和纵向方向上的灰度梯度值；
根据所述灰度梯度值计算所述目标特征点在所述矩形像素窗口中的空间梯度矩阵，计算所述空间梯度矩阵的特征值；
根据所述特征值确定所述目标特征点的类型；所述目标特征点的类型包括角点和边缘点。
11.一种图像特征点的匹配方法，其特征在于，包括步骤：
对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；
a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；
b、根据所述目标特征点的位置利用如权利要求1至10任一项所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；
c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；
重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
12.一种图像特征点的匹配装置，其特征在于，包括：
点投影模块，用于根据目标特征点在三维空间中的三维坐标确定所述目标特征点在第二图像中投影的初始匹配点；其中，所述目标特征点为第一图像上的特征点；
第一获取模块，用于获取所述初始匹配点的第一灰度值；
第二获取模块，用于获取所述目标特征点的第二灰度值和灰度梯度值；
点匹配模块，用于根据所述目标特征点的第二灰度值、灰度梯度值和初始匹配点的第一灰度值，沿极线的方向对所述目标特征点进行匹配；其中，所述极线为所述目标特征点在所述第二图像中投影的极线。
13.一种图像特征点的匹配装置，其特征在于，包括：
图像金字塔建立模块，用于对第一图像和第二图像分别建立第一图像金字塔和第二图像金字塔；其中，所述第一图像金字塔和第二图像金字塔均包括多层图像；
位置确定模块，用于执行步骤a、在所述第一图像金字塔的本层图像中确定目标特征点的位置；
匹配点获取模块，用于执行步骤b、根据所述目标特征点的位置利用如权利要求1至10任一项所述的图像特征点的匹配方法获取所述目标特征点在所述第二图像金字塔的本层图像中与所述目标特征点相匹配的匹配点；
初始匹配点设置模块，用于执行步骤c、将所述匹配点设置为所述第二图像金字塔的本层图像的下一层图像的所述初始匹配点；
匹配点确定模块，用于重复步骤a至c，直到所述匹配点为所述第二图像金字塔的底层图像的匹配点。
14.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述的图像特征点的匹配方法的步骤。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述的图像特征点的匹配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910104166.0A CN109887002A (zh) | 2019-02-01 | 2019-02-01 | 图像特征点的匹配方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910104166.0A CN109887002A (zh) | 2019-02-01 | 2019-02-01 | 图像特征点的匹配方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109887002A true CN109887002A (zh) | 2019-06-14 |
Family
ID=66927753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910104166.0A Pending CN109887002A (zh) | 2019-02-01 | 2019-02-01 | 图像特征点的匹配方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109887002A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827334A (zh) * | 2019-11-01 | 2020-02-21 | Oppo广东移动通信有限公司 | 形变场确定方法、确定装置、终端设备及可读存储介质 |
| CN111862317A (zh) * | 2020-07-28 | 2020-10-30 | 杭州优链时代科技有限公司 | 一种衣物建模方法及系统 |
| CN112446924A (zh) * | 2019-09-02 | 2021-03-05 | 北京车和家信息技术有限公司 | 车辆的相机标定系统、车辆及相机标定方法 |
| CN113661497A (zh) * | 2020-04-09 | 2021-11-16 | 商汤国际私人有限公司 | 一种匹配方法、装置、电子设备及计算机可读存储介质 |
| WO2023155393A1 (zh) * | 2022-02-17 | 2023-08-24 | 上海商汤智能科技有限公司 | 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101245998A (zh) * | 2008-02-01 | 2008-08-20 | 黑龙江科技学院 | 一种三维测量系统的成像方法 |
| CN102074015A (zh) * | 2011-02-24 | 2011-05-25 | 哈尔滨工业大学 | 一种基于二维图像序列的目标对象的三维重建方法 |
| CN102939562B (zh) * | 2010-05-19 | 2015-02-18 | 深圳泰山在线科技有限公司 | 目标投影方法以及系统 |
| US20160379375A1 (en) * | 2014-03-14 | 2016-12-29 | Huawei Technologies Co., Ltd. | Camera Tracking Method and Apparatus |
| CN108961423A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
| CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
| CN109102524A (zh) * | 2018-07-17 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像特征点的跟踪方法和跟踪装置 |
-
2019
- 2019-02-01 CN CN201910104166.0A patent/CN109887002A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101245998A (zh) * | 2008-02-01 | 2008-08-20 | 黑龙江科技学院 | 一种三维测量系统的成像方法 |
| CN102939562B (zh) * | 2010-05-19 | 2015-02-18 | 深圳泰山在线科技有限公司 | 目标投影方法以及系统 |
| CN102074015A (zh) * | 2011-02-24 | 2011-05-25 | 哈尔滨工业大学 | 一种基于二维图像序列的目标对象的三维重建方法 |
| US20160379375A1 (en) * | 2014-03-14 | 2016-12-29 | Huawei Technologies Co., Ltd. | Camera Tracking Method and Apparatus |
| CN108961423A (zh) * | 2018-07-03 | 2018-12-07 | 百度在线网络技术（北京）有限公司 | 虚拟信息处理方法、装置、设备及存储介质 |
| CN109084724A (zh) * | 2018-07-06 | 2018-12-25 | 西安理工大学 | 一种基于双目视觉的深度学习障碍物测距方法 |
| CN109102524A (zh) * | 2018-07-17 | 2018-12-28 | 广州视源电子科技股份有限公司 | 图像特征点的跟踪方法和跟踪装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446924A (zh) * | 2019-09-02 | 2021-03-05 | 北京车和家信息技术有限公司 | 车辆的相机标定系统、车辆及相机标定方法 |
| CN110827334A (zh) * | 2019-11-01 | 2020-02-21 | Oppo广东移动通信有限公司 | 形变场确定方法、确定装置、终端设备及可读存储介质 |
| CN113661497A (zh) * | 2020-04-09 | 2021-11-16 | 商汤国际私人有限公司 | 一种匹配方法、装置、电子设备及计算机可读存储介质 |
| CN111862317A (zh) * | 2020-07-28 | 2020-10-30 | 杭州优链时代科技有限公司 | 一种衣物建模方法及系统 |
| WO2023155393A1 (zh) * | 2022-02-17 | 2023-08-24 | 上海商汤智能科技有限公司 | 特征点匹配方法、装置、电子设备、存储介质和计算机程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109887002A (zh) | 图像特征点的匹配方法、装置、计算机设备和存储介质 | |
| CN106403902B (zh) | 一种星地协同的光学卫星在轨实时几何定位方法及系统 | |
| Chang et al. | Clkn: Cascaded lucas-kanade networks for image alignment | |
| CN106097300B (zh) | 一种基于高精度运动平台的多相机标定方法 | |
| WO2022121640A1 (zh) | 机器人重定位方法、装置、机器人和可读存储介质 | |
| CN105556742B (zh) | 天线工程参数的获取方法和设备及系统 | |
| CN109102524A (zh) | 图像特征点的跟踪方法和跟踪装置 | |
| CN106651942A (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| WO2007133620A2 (en) | System and architecture for automatic image registration | |
| CN106570905B (zh) | 一种非合作目标点云初始姿态验证方法 | |
| CN105654547B (zh) | 三维重建方法 | |
| JPWO2004063991A1 (ja) | 画像のサブピクセルマッチングにおける多パラメータ高精度同時推定方法及び多パラメータ高精度同時推定プログラム | |
| CN107014399A (zh) | 一种星载光学相机‑激光测距仪组合系统联合检校方法 | |
| CN111833237A (zh) | 基于卷积神经网络和局部单应性变换的图像配准方法 | |
| CN109872344A (zh) | 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置 | |
| CN109118531A (zh) | 透明物体的三维重建方法、装置、计算机设备及存储介质 | |
| CN110223389A (zh) | 融合图像与激光数据的场景建模方法、系统、装置 | |
| CN102156986A (zh) | 近红外摄像机的标定方法 | |
| CN108876806A (zh) | 基于大数据分析的目标跟踪方法和系统、存储介质及设备 | |
| CN108961423A (zh) | 虚拟信息处理方法、装置、设备及存储介质 | |
| Ye et al. | Deep Reflectance Scanning: Recovering Spatially‐varying Material Appearance from a Flash‐lit Video Sequence | |
| CN108680177A (zh) | 基于啮齿类动物模型的同步定位与地图构建方法及装置 | |
| CN109740487A (zh) | 点云标注方法、装置、计算机设备和存储介质 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN113393577B (zh) | 一种倾斜摄影地形重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190614 |