CN110136048A - 一种图像配准方法及系统、存储介质及终端 - Google Patents
一种图像配准方法及系统、存储介质及终端 Download PDFInfo
- Publication number
- CN110136048A CN110136048A CN201810131870.0A CN201810131870A CN110136048A CN 110136048 A CN110136048 A CN 110136048A CN 201810131870 A CN201810131870 A CN 201810131870A CN 110136048 A CN110136048 A CN 110136048A
- Authority
- CN
- China
- Prior art keywords
- images
- characteristic point
- calibrating parameters
- left images
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 45
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 230000008901 benefit Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000005352 clarification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像配准方法及系统、存储介质及终端，包括以下步骤：获取左右图像传感器的标定参数和优化标定参数；根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准；检测校准后的所述左右图像的特征点；获取所述特征点的描述信息；根据所述描述信息对所述特征点进行匹配，从而实现图像配准。本发明的图像配准方法及系统、存储介质及终端能够利用左右图像传感器快速配准左右图像，满足需要快速获取图像三维信息的场景。
Description
技术领域
本发明涉及图像处理的技术领域，特别是涉及一种图像配准方法及系统、存储介质及终端。
背景技术
视觉在日常生活中起着至关重要的作用。据统计，人类获取外部世界信息的80％来自于视觉器官。随着科学技术的飞速发展，图像以其具体、直观的特点成为获取信息的主要手段，被广泛应用与数据表示、信息传递和交流通信。计算机视觉是研究如何使计算机“看”的科学，具体而言是指利用相机和计算机代替人眼对目标进行识别、跟踪和测量，并利用图像处理方法处理成为更适合检测或观察的图像。伴随着计算机科学、图像处理和人工智能等领域的迅猛发展，计算机视觉也在飞速进步，各种新技术、新方法层出不穷，应用领域不断发展。在计算机视觉应用系统中，经常需要在不同传感器、不同时间、不同条件下获取的两幅或多福图像间建立对应关系。
双目立体视觉依托图像配准算法是计算机视觉里面被广泛研究和应用的一个重要分支，该系统是对人类视觉系统原理的模拟，其主要采用双摄像机对同一场景从不同的角度获取两幅数字图像，然后利用匹配算法求出两幅图像对应像点间的视差，结合视差图像与摄像机标定所得参数求出场景内被测物体各点的三维坐标，从而重建出场景的三维结构信息并获得相应点的深度值。其中，深度值即为摄像机和被测物体之间的实际距离。
现有图像匹配方法大致可以分为以下三大类：
(1)基于灰度图像的匹配方法
(2)基于特征图像的匹配方法
(3)基于频域变换的图像匹配方法。
具体地，基于特征图像的匹配方法在两幅图像上寻找局部特征的对应关系，比如点、线和轮廓等；基于灰度图像的匹配方法通过相似性度量对两幅图像的灰度模式进行比较；而基于频域变换的图像匹配方法假设对应点领域的局部相位相等。
然而，现有的图像匹配方法均存在匹配算法复杂，匹配速度慢的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像配准方法及系统、存储介质及终端，在对两个图像传感器所获取的图像进行校准后，利用海森矩阵检测图像特征点，利用近邻极大值抑制算法筛选特征点，从而得到能够代表图像中目标的特征点，最后利用双目立体视觉所拍摄图像仅有平移上的差异，通过划分匹配块减少特征匹配运算量，实现快速配准。
为实现上述目的及其他相关目的，本发明提供一种图像配准方法，包括以下步骤：获取左右图像传感器的标定参数和优化标定参数；根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准；检测校准后的所述左右图像的特征点；获取所述特征点的描述信息；根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
于本发明一实施例中，获取左右图像传感器的标定参数和优化标定参数包括以下步骤；
采用张正友平面标定算法获取标定参数；所述标定参数包括左图像传感器的焦距、图像中心和畸变参数、右图像传感器的焦距、图像中心和畸变参数，以及左右图像传感器的旋转向量和位移向量；
对所述标定参数进行水平校准优化，使所述左右图像传感器的中心在同一行上，得到优化标定参数，所述优化标定参数包括左图像传感器的优化焦距和优化图像中心、右图像传感器的优化焦距和优化图像中心，以及左右图像传感器的优化位移向量。
于本发明一实施例中，根据所述标定参数对所述左右图像传感器所获取的左右图像进行校准包括以下步骤：
计算所述左右图像的旋转矩阵；
根据所述左右图像的旋转矩阵和所述标定参数和所述优化标定参数计算校准后图像坐标对应的源图像坐标；
根据所述源图像坐标处的像素值插值计算校准后图像的像素值。
于本发明一实施例中，检测校准后的所述左右图像的特征点包括以下步骤：
构建高斯模板；
利用高斯模板和海森矩阵对所述校准后的左右图像进行卷积运算；
筛选卷积运算值大于预设阈值的特征点；
在图像特征区域内选取卷积运算值最大的特征点作为所述图像特征区域的特征点。
于本发明一实施例中，获取所述特征点的描述信息包括以下步骤：
获取特征点的拉普拉斯符号；
设定特征点描述区域，并将所述特征点描述区域划分为若干等大的子区域；
对每个所述子区域进行哈尔小波卷积运算，计算4个维度的哈尔小波描述向量；
将所述拉普拉斯符号和各个子区域的4个维度的哈尔小波描述向量作为所述特征点的描述信息。
于本发明一实施例中，根据所述描述信息对所述特征点进行匹配包括以下步骤：
判断所述左右图像中的左右特征点的拉普拉斯符号是否相同；若不同，则判定所述左右特征点不匹配；
若相同，计算所述左右图像中的左右特征点之间的各个维度的哈尔小波描述向量的欧式距离，并计算所获取的最小欧式距离和次最小欧式距离的比值，当所述比值小于预设值时判定所述左右特征点匹配。
对应地，本发明提供一种图像配准系统，包括第一获取模块、校准模块、检测模块、第二获取模块和匹配模块；
所述第一获取模块用于获取左右图像传感器的标定参数和优化标定参数；
所述校准模块用于根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准；
所述检测模块用于检测校准后的所述左右图像的特征点；
所述第二获取模块用于获取所述特征点的描述信息；
所述匹配模块用于根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的图像配准方法。
本发明提供一种终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的图像配准方法。
最后，本发明提供一种图像配准系统，包括上述的终端和左右图像传感器；
所述左右图像传感器用于分别生成左右图像，并发送至所述终端。
如上所述，本发明的图像配准方法及系统、存储介质及终端，具有以下有益效果：
(1)在对两个图像传感器所获取的图像进行校准后，利用海森矩阵检测图像特征点，利用近邻极大值抑制算法筛选特征点，从而得到能够代表图像中目标的特征点，最后利用双目立体视觉所拍摄图像仅有平移上的差异，通过划分匹配块减少特征匹配运算量，实现快速配准；
(2)能够利用左右图像传感器快速配准左右图像，满足需要快速获取图像三维信息的场景。
附图说明
图1显示为本发明的图像配准方法于一实施例中的流程图；
图2显示为本发明的插值位移a和b的示意图；
图3显示为本发明的简化的哈尔小波模板示意图；
图4显示为本发明的特定行匹配示意图；
图5显示为本发明的图像配准系统于一实施例中的结构示意图；
图6显示为本发明的终端于一实施例中的结构示意图；
图7显示为本发明的图像匹配系统于另一实施例中的结构示意图。
元件标号说明
51 第一获取模块
52 校准模块
53 检测模块
54 第二获取模块
55 匹配模块
61 处理器
62 存储器
71 终端
72 左右图像传感器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，于一实施例中，本发明的图像配准方法包括以下步骤：
步骤S1、获取左右图像传感器的标定参数和优化标定参数。
具体地，由于实际中图像传感器的制造与装配等存在误差，使得两个图像传感器的成像平面很难在一个平面上，因此需要对图像传感器进行标定以获取图像传感器的内部参数以及两个图像传感器之间的相对参数。同时，为了减少视差计算的运算量，还需对左右图像传感器得到标定参数进行水平校准优化，使得数学上焦距统一，左右图像传感器的中心在相同行上，以便于后续水平校准。由于保持了行对准，使得相对位移只发生在一个方向上。
于本发明一实施例中，获取左右图像传感器的标定参数和优化标定参数包括以下步骤；
11)采用张正友平面标定算法获取标定参数；所述标定参数包括左图像传感器的焦距fcl(flx,fly)、图像中心ccl(clx,cly)和畸变参数kcl(k1,k2,p1,p2,k3)、右图像传感器的焦距fcr(frx,fry)、图像中心ccr(crx,cry)和畸变参数kcr(k1,k2,p1,p2,k3)，以及左右图像传感器的旋转向量om(rx,ry,rz)和位移向量T(tx,ty,tz)。其中，k1,k2,k3表示的是径向畸变程度，p1,p2表示的切向畸变程度。径向畸变发生在相机坐标系转图像物理坐标系的过程中；切向畸变是发生在相机制作过程，是由于感光元平面跟透镜不平行造成。
12)对所述标定参数进行水平校准优化，使所述左右图像传感器的中心在同一行上，得到优化标定参数，所述优化标定参数包括左图像传感器的优化焦距fclnew(fnew,fnew)和优化图像中心cclnew(clxnew,cynew)、右图像传感器的优化焦距fcrnew(fnew,fnew)和优化图像中心ccrnew(crxnew,crynew)，以及左右图像传感器的优化位移向量Tnew(tnew,0,0)。
步骤S2、根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准。
具体地，在标定结束后，利用标定的到的参数校准左右图像传感器获得的左右图像。校准思路与Bouguet算法类似，使校准后的左右图像重合面积最大。
于本发明一实施例中，根据所述标定参数对所述左右图像传感器所获取的左右图像进行校准包括以下步骤：
21)计算所述左右图像的旋转矩阵。
首先，计算合成旋转矩阵其中 e3＝e1×e2，|| ||表示求模运算。
然后，计算所述左图像的旋转矩阵和右图像的选择矩阵其中I为单位矩阵。
22)根据所述左右图像的旋转矩阵和所述标定参数和所述优化标定参数计算校准后图像坐标对应的源图像坐标。
对左右图像的校准是对图像传感器的图像像素进行重新映射。映射算法采用逆向映射，对校准后图像中的像素位置，先找到其对应于源图像上的位置，然后利用源像素周边位置像素值插值得到校准后的像素值。
对于左图像传感器所采集的左图像，校准后的像素值其中d＝x1 2+y1 2，
相应地，右图像传感器所采集的右图像校准后的像素值的算法相同，只需代入右图像传感器的标定参数和优化标定参数和右图像的旋转矩阵即可，故在此不再赘述。
23)根据所述源图像坐标处的像素值插值计算校准后图像的像素值。
具体地，I表示校准图像的像素值，Iold(x,y)表示源图像坐标(x,y)的像素值，Inew(x,y)表示校准后坐标(x,y)处新像素值，则
Inew(x,y)＝I1+I2+I3+I4
如图2所示，a和b表示畸变校准后的像素相对于坐标(x,y)的位移。a和b都是大于等于0且小于等于1的数。a表示x方向的位移，b表示y方向的位移。至此，完成了左右图像的校准。
步骤S3、检测校准后的所述左右图像的特征点。
为了减少后续匹配的运算量，本发明的图像配准方法以反应图像特征的特征点代替所有的像素点进行匹配运算。其中图像的特征本身具有尺度的不同。
于本发明一实施例中，检测校准后的所述左右图像的特征点包括以下步骤：
31)构建高斯模板。
具体地，所述高斯模板表示为Gxx、Gxy、Gyy。Gxx、Gxy、Gyy分别表示xx、xy、yy二阶微分模板。
32)利用高斯模板和海森矩阵对所述校准后的左右图像进行卷积运算。
具体地，设定f(x,y)表示一副图像，H表示海森矩阵，则卷积运算为其中 w是调节因子。对于9×9像素大小区域w值取0.9.
33)筛选卷积运算值大于预设阈值的特征点。
具体地，在卷积运算结束后，需要对特征点进行初步筛选，以便选出具有代表性的特征点进行后续的匹配。其中，筛选出卷积值det(H(x,y))大于某一阈值的特征点坐标。
34)在图像特征区域内选取卷积运算值最大的特征点作为所述图像特征区域的特征点。
具体地，在图像特征区域，如9x9领域内筛选保留卷积运算最大值的坐标，以作为所述图像特征区域的特征点。
步骤S4、获取所述特征点的描述信息。
具体地，为了进行特征点匹配，需要对特征点进行描述。描述的方式有许多种，本发明采用了两种描述方式相结合的办法对特征点进行描述。一是使用特征点的拉普拉斯值描述特征点周围灰度变化趋势情况，二是使用哈尔小波模板提取特征点周围区域的特征来描述特征点。
于本发明一实施例中，获取所述特征点的描述信息包括以下步骤：
41)获取特征点的拉普拉斯符号。
使用检测特征点时的卷积运算值来计算特征点的拉普拉斯符号。具体地，判断拉普拉斯值L(x,y)＝Dxx(x,y)+Dyy(x,y)是否大于0，若是，则拉普拉斯符号记为正，否则记为负。
42)设定特征点描述区域，并将所述特征点描述区域划分为若干等大的子区域。
首先设定特征点描述区域的大小，以20×20的像素区域为例，将此区域划分成一个个等大的子区域，每个子区域为5×5像素大小。
43)对每个所述子区域进行哈尔小波卷积运算，计算4个维度的哈尔小波描述向量。
针对每个子区域再使用哈尔小波进行卷积运算，为了简化运算使用如图3所示的哈尔模板，用Haarx和Haary表示。每个子区域卷积运算出4个维度的哈尔小波描述向量，分别是：
44)将所述拉普拉斯符号和各个子区域的4个维度的哈尔小波描述向量作为所述特征点的描述信息。
对于上述20×20的像素区域，总计能够以64个维度的哈尔小波描述向量和1个拉普拉斯符号，总计65个维度信息作为所述特征点的描述信息。
步骤S5、根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
在描述完特征点后，就可以对特征点进行匹配了，匹配采用计算左右特征点之间的欧式距离，以欧式距离的大小表示匹配的优劣，欧式距离值越小则越匹配。
于本发明一实施例中，根据所述描述信息对所述特征点进行匹配包括以下步骤：
51)判断所述左右图像中的左右特征点的拉普拉斯符号是否相同；若不同，则判定所述左右特征点不匹配。
首先比较左右特征点的拉普拉斯符号是否相同，若是不同，则直接判定两个特征点不同，欧式距离置于无穷大。
52)若相同，计算所述左右图像中的左右特征点之间的各个维度的哈尔小波描述向量的欧式距离，并计算所获取的最小欧式距离和次最小欧式距离的比值，当所述比值小于预设值时判定所述左右特征点匹配。
若是相同，则再计算哈尔小波的各个维度的哈尔小波描述向量的欧式距离。由于在校准阶段已经将图像校准为水平行对齐，所以在匹配特征点这一步可以直接匹配另一幅图像相近行内的特征点，如图4所示。同时为了提高匹配精确性，计算最小欧式距离与次最小欧式距离的比值，该阈值设置一般小于0.8，当比值小于一定阈值时则匹配成功。
如图5所示，于一实施例中，本发明的图像配准系统包括第一获取模块51、校准模块52、检测模块53、第二获取模块54和匹配模块55。
所述第一获取模块51用于获取左右图像传感器的标定参数和优化标定参数。
所述校准模块52与所述第一获取模块51相连，用于根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准。
所述检测模块53与所述校准模块52相连，用于检测校准后的所述左右图像的特征点。
所述第二获取模块54与所述检测模块53相连，用于获取所述特征点的描述信息。
所述匹配模块55与所述第二获取模块54相连，用于根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
需要说明的是，第一获取模块51、校准模块52、检测模块53、第二获取模块54和匹配模块25的具体结构和原理与上述图像配准方法的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的图像配准方法。所述存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图6所示，于一实施例中，本发明的终端包括处理器61及存储器62。
所述存储器62用于存储计算机程序。
所述存储器62包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器61与所述存储器62相连，用于执行所述存储器52存储的计算机程序，以使所述终端执行上述的图像配准方法。
优选地，所述处理器61可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图7所示，于一实施例中，本发明的图像配准系统包括上述的终端71和左右图像传感器72。
所述左右图像传感器72与所述终端71相连，用于分别生成左右图像，并发送至所述终端71。
综上所述，本发明的图像配准方法及系统、存储介质及终端在对两个图像传感器所获取的图像进行校准后，利用海森矩阵检测图像特征点，利用近邻极大值抑制算法筛选特征点，从而得到能够代表图像中目标的特征点，最后利用双目立体视觉所拍摄图像仅有平移上的差异，通过划分匹配块减少特征匹配运算量，实现快速配准；能够利用左右图像传感器快速配准左右图像，满足需要快速获取图像三维信息的场景。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (10)
1.一种图像配准方法，其特征在于，包括以下步骤：
获取左右图像传感器的标定参数和优化标定参数；
根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准；
检测校准后的所述左右图像的特征点；
获取所述特征点的描述信息；
根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
2.根据权利要求1所述的图像配准方法，其特征在于，获取左右图像传感器的标定参数和优化标定参数包括以下步骤；
采用张正友平面标定算法获取标定参数；所述标定参数包括左图像传感器的焦距、图像中心和畸变参数、右图像传感器的焦距、图像中心和畸变参数，以及左右图像传感器的旋转向量和位移向量；
对所述标定参数进行水平校准优化，使所述左右图像传感器的中心在同一行上，得到优化标定参数，所述优化标定参数包括左图像传感器的优化焦距和优化图像中心、右图像传感器的优化焦距和优化图像中心，以及左右图像传感器的优化位移向量。
3.根据权利要求1所述的图像配准方法，其特征在于，根据所述标定参数对所述左右图像传感器所获取的左右图像进行校准包括以下步骤：
计算所述左右图像的旋转矩阵；
根据所述左右图像的旋转矩阵和所述标定参数和所述优化标定参数计算校准后图像坐标对应的源图像坐标；
根据所述源图像坐标处的像素值插值计算校准后图像的像素值。
4.根据权利要求1所述的图像配准方法，其特征在于，检测校准后的所述左右图像的特征点包括以下步骤：
构建高斯模板；
利用高斯模板和海森矩阵对所述校准后的左右图像进行卷积运算；
筛选卷积运算值大于预设阈值的特征点；
在图像特征区域内选取卷积运算值最大的特征点作为所述图像特征区域的特征点。
5.根据权利要求1所述的图像配准方法，其特征在于，获取所述特征点的描述信息包括以下步骤：
获取特征点的拉普拉斯符号；
设定特征点描述区域，并将所述特征点描述区域划分为若干等大的子区域；
对每个所述子区域进行哈尔小波卷积运算，计算4个维度的哈尔小波描述向量；
将所述拉普拉斯符号和各个子区域的4个维度的哈尔小波描述向量作为所述特征点的描述信息。
6.根据权利要求5所述的图像配准方法，其特征在于，根据所述描述信息对所述特征点进行匹配包括以下步骤：
判断所述左右图像中的左右特征点的拉普拉斯符号是否相同；若不同，则判定所述左右特征点不匹配；
若相同，计算所述左右图像中的左右特征点之间的各个维度的哈尔小波描述向量的欧式距离，并计算所获取的最小欧式距离和次最小欧式距离的比值，当所述比值小于预设值时判定所述左右特征点匹配。
7.一种图像配准系统，其特征在于，包括第一获取模块、校准模块、检测模块、第二获取模块和匹配模块；
所述第一获取模块用于获取左右图像传感器的标定参数和优化标定参数；
所述校准模块用于根据所述标定参数和所述优化标定参数对所述左右图像传感器所获取的左右图像进行校准；
所述检测模块用于检测校准后的所述左右图像的特征点；
所述第二获取模块用于获取所述特征点的描述信息；
所述匹配模块用于根据所述描述信息对所述特征点进行匹配，从而实现图像配准。
8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述的图像配准方法。
9.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至6中任一项所述的图像配准方法。
10.一种图像配准系统，其特征在于，包括权利要求9所述的终端和左右图像传感器；
所述左右图像传感器用于分别生成左右图像，并发送至所述终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810131870.0A CN110136048B (zh) | 2018-02-09 | 2018-02-09 | 一种图像配准方法及系统、存储介质及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810131870.0A CN110136048B (zh) | 2018-02-09 | 2018-02-09 | 一种图像配准方法及系统、存储介质及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110136048A true CN110136048A (zh) | 2019-08-16 |
| CN110136048B CN110136048B (zh) | 2022-10-14 |
Family
ID=67567506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810131870.0A Active CN110136048B (zh) | 2018-02-09 | 2018-02-09 | 一种图像配准方法及系统、存储介质及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110136048B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111432117A (zh) * | 2020-03-23 | 2020-07-17 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
| CN112598751A (zh) * | 2020-12-23 | 2021-04-02 | Oppo（重庆）智能科技有限公司 | 标定方法及装置、终端和存储介质 |
| CN113252045A (zh) * | 2021-06-25 | 2021-08-13 | 成都睿沿科技有限公司 | 设备定位方法、装置、电子设备及可读存储介质 |
| CN113689397A (zh) * | 2021-08-23 | 2021-11-23 | 湖南视比特机器人有限公司 | 工件圆孔特征检测方法和工件圆孔特征检测装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011160491A1 (zh) * | 2010-06-23 | 2011-12-29 | 北京航空航天大学 | 一种基于摄像机坐标系位置自适应的显微视觉测量方法 |
| CN106934809A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 基于双目视觉的无人机空中自主加油快速对接导航方法 |
| CN107588721A (zh) * | 2017-08-28 | 2018-01-16 | 武汉科技大学 | 一种基于双目视觉的零件多尺寸的测量方法及系统 |
-
2018
- 2018-02-09 CN CN201810131870.0A patent/CN110136048B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011160491A1 (zh) * | 2010-06-23 | 2011-12-29 | 北京航空航天大学 | 一种基于摄像机坐标系位置自适应的显微视觉测量方法 |
| CN106934809A (zh) * | 2017-03-29 | 2017-07-07 | 厦门大学 | 基于双目视觉的无人机空中自主加油快速对接导航方法 |
| CN107588721A (zh) * | 2017-08-28 | 2018-01-16 | 武汉科技大学 | 一种基于双目视觉的零件多尺寸的测量方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙少杰等: "基于互信息的亚像素级立体视觉点匹配方法研究", 《电光与控制》 * |
| 马嘉琳等: "基于相机标定的全景图拼接方法研究", 《系统仿真学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111432117A (zh) * | 2020-03-23 | 2020-07-17 | 北京迈格威科技有限公司 | 图像矫正方法、装置和电子系统 |
| CN112598751A (zh) * | 2020-12-23 | 2021-04-02 | Oppo（重庆）智能科技有限公司 | 标定方法及装置、终端和存储介质 |
| CN113252045A (zh) * | 2021-06-25 | 2021-08-13 | 成都睿沿科技有限公司 | 设备定位方法、装置、电子设备及可读存储介质 |
| CN113689397A (zh) * | 2021-08-23 | 2021-11-23 | 湖南视比特机器人有限公司 | 工件圆孔特征检测方法和工件圆孔特征检测装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110136048B (zh) | 2022-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349251B (zh) | 一种基于双目相机的三维重建方法及装置 | |
| WO2021213508A1 (zh) | 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 | |
| CN110136048A (zh) | 一种图像配准方法及系统、存储介质及终端 | |
| Jeon et al. | Accurate depth map estimation from a lenslet light field camera | |
| US10755381B2 (en) | Method and device for image stitching | |
| CN108510530B (zh) | 一种三维点云匹配方法及其系统 | |
| CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US11615552B2 (en) | Crossing point detector, camera calibration system, crossing point detection method, camera calibration method, and recording medium | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| CN110348454B (zh) | 匹配局部图像特征描述符 | |
| US20170243069A1 (en) | Methods and apparatus for an imaging system | |
| US9183634B2 (en) | Image processing apparatus and image processing method | |
| CN116721203A (zh) | 一种用于测量三维模型的方法、装置和存储介质 | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN112348890B (zh) | 一种空间定位方法、装置及计算机可读存储介质 | |
| CN114926669A (zh) | 一种基于深度学习的高效散斑匹配方法 | |
| CN114332349B (zh) | 一种双目结构光边缘重建方法、系统及存储介质 | |
| CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
| CN110838147B (zh) | 摄像模组检测方法及装置 | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| CN112102415A (zh) | 基于标定球的深度相机外参数标定方法、装置及设备 | |
| CN116977671A (zh) | 基于图像空间定位的目标跟踪方法、装置、设备及存储介质 | |
| CN116016815A (zh) | 视频质控方法、视频质控装置以及计算机可读存储介质 | |
| CN116704111A (zh) | 图像处理方法和设备 | |
| CN115578296A (zh) | 一种立体视频处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |