CN114998445A - 一种图像稀疏点立体匹配方法 - Google Patents
一种图像稀疏点立体匹配方法 Download PDFInfo
- Publication number
- CN114998445A CN114998445A CN202210572515.3A CN202210572515A CN114998445A CN 114998445 A CN114998445 A CN 114998445A CN 202210572515 A CN202210572515 A CN 202210572515A CN 114998445 A CN114998445 A CN 114998445A
- Authority
- CN
- China
- Prior art keywords
- sparse
- points
- image
- group
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Abstract
本发明公开了一种图像稀疏点立体匹配方法，包括：对多目相机各相机采集的图像进行立体校正；获取各相机的共视区域；根据各相机采集的共视区域的图像提取得到的稀疏点集中各稀疏点在纵向或横向上的位置进行分组，并据此对各稀疏点集中的组进行对齐；将对齐后各组中的稀疏点一一对应。本发明方法可以对黑白双目相机采集的图像进行匹配，最终实现空间定位。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像稀疏点立体匹配方法。
背景技术
双目或者多目相机定位系统(以下统称多目系统)，如图1所示，是利用不同的相机以不同角度对空间中同一目标物体进行同时拍摄图像，在图像中提取目标物的像素位置，继而重建出目标物体的空间位置的过程。是否能够重建出目标物，立体匹配(双目或者多目都可以叫立体匹配)必不可少。传统的稀疏点立体匹配策略是在各个图像中提取目标物的特征点信息(如描述符等)，然后根据特征点描述符的相似性进行匹配，由于黑白图像提取到的稀疏点不具有描述符等特征，因此无法利用相似性进行匹配，从而需要一种新的稀疏点立体匹配方法。
发明内容
发明目的：本发明针对上述不足，提出一种图像稀疏点立体匹配方法，可以对黑白双目相机采集的图像进行匹配，最终实现空间定位。
技术方案：
一种图像稀疏点立体匹配方法，包括：
对多目相机各相机采集的图像进行立体校正；
获取各相机的共视区域；
根据各相机采集的共视区域的图像提取得到的稀疏点集中各稀疏点在纵向或横向上的位置进行分组，并据此对各稀疏点集中的组进行对齐；
将对齐后各组中的稀疏点一一对应。
在分组前对各稀疏点集进行去噪操作，具体为：
对每一图像的稀疏点集中的每个稀疏点分别计算其与其他图像稀疏点集中所有稀疏点在各自对应图像坐标系上的y坐标的差值，如果存在差值小于设定阈值的结果，则认为存在匹配点；反之，则认为是噪声点，并去除。
根据稀疏点集中各稀疏点在纵向或横向上的位置进行分组具体为：
对各稀疏点集中所有稀疏点选定其在对应图像坐标系的任一坐标进行从小到大或从大到小排列，分别计算相邻两个稀疏点在选定坐标下的差值，若差值小于设定阈值，则继续计算下一个相邻稀疏点的差值；若差值大于设定阈值，则以两个稀疏点在选定坐标下的平均值作为一个分割值放入对应图像的分割值集合，直到计算完所有差值；
各分割值集合中的分割值相互对应形成对应分割值组，取每个对应分割值组中最大的分割值作为该组的实际分割值，从而得到一个实际分割值集合，用实际分割值集合的分割值对各稀疏点集进行分组，得到各稀疏点集的分组集合。
所述组对齐具体如下：
分别计算各分组集合中每个组中所有稀疏点选定坐标的平均值作为组的描述，将每一分组集合中的每个组描述分别与其他分组集合中的每个组描述进行比较，如果二者差值小于设定阈值，则认为两个组是对应组，最终得到各图像下的分组集合的对应关系。
所述选定坐标根据各稀疏点在纵向或横向上的位置进行分组的方式确定，其中纵向分组为选定y坐标作为选定坐标，所述横向分组为选定x坐标为选定坐标。
针对横向分组，所述将对齐后各组中的稀疏点一一对应具体为：
分别对对应组内稀疏点的x坐标进行排序；如果两对应组内的稀疏点数量相同，则认为两组稀疏点是匹配的，排序后的稀疏点则是一一对应的匹配点；如果两对应组内的稀疏点数量相差n个点，则需要判断稀疏点数多的图像为左相机采集还是右相机采集，如果是左相机采集，则去除该相机采集图像上所对应组内从左向右的n个稀疏点，如果是右相机采集，则去除该相机采集图像上所对应组内从右向左的n个稀疏点；从而得到对应组内一一对应的匹配点。
针对纵向分组，所述将对齐后各组中的稀疏点一一对应具体为：
判断各图像的稀疏点集分组得到的组数是否相等，若相等则进行对应组稀疏匹配；若二者组数相差m组，则直接去除未对应的m组；将对应组内稀疏点的y坐标进行排序，排序后的稀疏点即是一一对应的匹配点。
获取各相机的共视区域具体为：
通过所述立体校正将各相机采集的图像的光心对齐，放置一目标物，在目标物出现在所有相机的视野中时获取共视区域边界，从而得到各相机的共视区域。
还包括验证步骤：
根据对应相机的内外参数和对应稀疏点坐标进行三角化分别得到匹配点的空间坐标，如果二者对应的空间坐标符合设定要求，则认为是对的匹配点，否则认为是错误的匹配点，将其剔除。
所述设定要求根据实际相机视野确定，具体设置为坐标偏移量阈值。
有益效果：传统的利用双目相机采集的图像中所有特征点的相似性进行匹配的方式无法满足黑白图像，黑白图像除了位置特征外不具有其他特征，采用本发明的稀疏点匹配方法可以对黑白双目相机采集的图像进行匹配，最终实现空间定位。
附图说明
图1为双目或者多目相机定位系统示意图；
图2为本发明的稀疏点立体匹配方法的流程图；
图3为立体校正示意图；
图4为获取的共视区域示意图；
图5为多目图像的像素点的分组示意图；
图6为本发明的立体匹配结果示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明。
图2为本发明的稀疏点立体匹配方法的流程图，本发明针对多目相机采集的若干图像进行立体匹配，尤其是黑白图像，在匹配过程中对若干图像进行两两匹配，立体匹配的目的是对于某一稀疏点集中的每一稀疏点在其他稀疏点集中分别找到对应的稀疏点，从而计算出其所对应的空间位置，最终实现空间定位。如图2所示，本发明的稀疏点立体匹配方法包括如下步骤：
(1)对多目系统各相机采集的图像进行立体校正；
由于多目系统各相机的安装存在误差，这就导致多目系统各相机拍摄出来的图像不存在共面行对准，本发明对多目系统各相机采集的图像进行立体校正，图像的立体校正具体为：获取空间中的物体在各相机采集的图像上的成像点，并将其在各自对应的图像坐标系上的y坐标或x坐标相同的点对齐，如图3所示，本发明以双目相机为例，通过立体校正后，各幅图像已经完成共面行对准；
(2)获取多目系统各相机的共视区域；
因为立体校正可以将多目系统各相机采集的图像的光心对齐，如图3所示；立体校正后不同相机拍摄的图像会出现上下移位的情况，光心对齐后需要计算出多个相机公共的视野区域，如图4所示。具体的计算如下：
放置一个目标物，对目标物的像素进行反畸变后，当目标物都出现在所有相机的视野中时分别找到上下左右边界，对于超过共视区域的像素予以剔除，可以预防干扰，从而得到多个相机公共的视野区域，即多目系统各相机的共视区域；
(3)对各相机采集的共视区域中的图像(即各相机采集图像的有效像素范围)提取稀疏点坐标得到稀疏点集；
提取各图像上的稀疏点，得到多个稀疏点集P0、P1、...、Pi；
考虑到各相机采集的图像中存在噪声点影响后续稀疏点匹配，因此需要在匹配前去除噪声点，具体方式为对任一图像的稀疏点集中的每个稀疏点分别计算其与其他图像稀疏点集中所有稀疏点在各自对应图像坐标系上的y坐标的差值，如果存在差值小于val的结果，则认为存在匹配点；反之，则认为是噪声点，需要去除；此处val为经验阈值，通常在1个像素以内；
经过上述操作即可得到去噪后的稀疏点集P0'、P1'、...、Pi'；
(4)对各图像经去噪后的稀疏点集分别进行分组；
本发明可以针对各稀疏点集进行横向分割：对各稀疏点集P0'、P1'、...、Pi'中所有的稀疏点按照其在对应图像坐标系下的y坐标从小到大或从大到小进行排列，根据排列顺序分别计算相邻两个稀疏点pk和pk+1的y坐标的差值d，若d≤val，则继续计算下一个相邻稀疏点的差值d；若d＞val，则以lk＝(yk+yk+1)/2作为一个分割值并记录，继续计算下一个相邻稀疏点的差值d，此处val为经验阈值，通常在1个像素以内，yk和yk+1分别表示稀疏点pk和pk+1的y坐标；直到计算完各稀疏点集内所有相邻稀疏点的差值d，以记录下的各稀疏点集的多个分割值作为各稀疏点集对应的分割值集合；
由于经过步骤(3)后，各图像中的稀疏点为相互对应的稀疏点，所以各稀疏点集的分割值集合中的分割值也存在对应关系，将各稀疏点集中相对应的分割值一一进行比较，选取最大的分割值作为实际分割值，从而得到一个实际分割值集合；用实际分割值集合内的分割值对各图像中的稀疏点集中的稀疏点进行分组，得到分组集合，如图5所示，此时的图像中稀疏点集以y坐标分成了若干组g1、g2、…、g6，本实施例中，两相机采集图像的分组集合分别为group0和group1；
在另一种具体实施方式中，本发明还可以对各稀疏点集进行纵向分割：将所有图像稀疏点集中所有的稀疏点按照其在对应图像坐标系下的x坐标从小到大或从大到小进行排列，根据排列顺序分别计算相邻两个稀疏点pk和pk+1的x坐标的差值d，若d≤val，则继续计算下一个相邻稀疏点差值d；若d＞val，则以lk＝(xk+xk+1)/2作为一个分割值并记录，继续计算下一个相邻稀疏点差值d，此处val为经验阈值，通常在1个像素以内，xk和xk+1分别表示稀疏点pk和pk+1的x坐标；直到计算完各稀疏点集内所有相邻稀疏点的差值d，以记录下的各稀疏点集的多个分割值作为各稀疏点集对应的分割值集合；
由于各图像中的稀疏点为相互对应的稀疏点，所以各稀疏点集的分割值集合中的分割值也存在对应关系，将各稀疏点集中相对应的分割值一一进行比较，选取最大的分割值作为实际分割值，从而得到一个实际分割值集合；用实际分割值集合内的分割值对各稀疏点集中的稀疏点进行分组，得到分组集合，即此时的稀疏点集以x坐标分成了若干组；
(5)对步骤(4)得到的分组集合进行组对齐并进行稀疏点匹配；
组对齐为两两对齐，即两图像的组之间进行对齐；
针对对各稀疏点集进行横向分割的情况，分别计算各分组集合中每个组中所有稀疏点的y坐标的平均值
作为组描述，将一分组集合中的每个组描述分别与其他分组集合中的每个组描述进行比较，如果差值＜val，则认为两个组是对应组，最终得到各图像下的分组集合的对应关系。
分别对对应组内稀疏点的x坐标从小到大或从大到小排序，如果空间中的点是左右拓扑结构，则在图像上也是左右的拓扑结构，不会改变其排布方式；且因为已经对图像进行共视区域裁剪，即图像为各相机共视区域内的图像，所以如果两对应组内的稀疏点数量相同，则认为两组稀疏点是匹配上的，排序后的稀疏点则是一一对应的匹配点；
由于两相机共视区域内横向上的视野范围可能不一致，从而会导致两相机采集的图像提取得到的稀疏点在横向上的数量可能不一致；如果两对应组内的稀疏点数量相差n个点，则需要判断稀疏点数多的图像为左相机采集还是右相机采集，如果是左相机采集，则去除该图像上所对应组内从左向右的n个稀疏点，如果是右相机采集，则去除该图像上所对应组内从右向左的n个稀疏点；
上述操作完成后即可得到相同组内一一对应的匹配点，即完成了对多目相机采集到的多个图像的立体匹配；针对对各稀疏点集进行纵向分割的情况，分别计算各分组集合中每个组中所有稀疏点的x坐标的平均值
作为组描述，将一分组集合中的每个组描述分别与其他分组集合中的每个组描述进行比较，如果差值＜val，则认为两个组是对应组，最终得到各图像下的分组集合的对应关系。
由于两相机共视区域内横向上的视野范围可能不一致，从而会导致两相机采集的图像提取得到的稀疏点在横向上的数量可能不一致，所以可能会存在经过纵向分割与分组后两图像组数不同的情况；
如果两图像的稀疏点集分组得到的组数相差m组，则将未对应的m组直接去除即可；在本发明中，一般多余组会在某个图像的单侧，即经过判断组数多的图像为左相机采集还是右相机采集，如果是左相机采集，则去除该图像上从左向右的m组，如果是右相机采集，则去除该图像上所对应组内从右向左的m组；
上述操作完成后即可得到两图像的对应分组；
由于两相机共纵向上的视野范围是一致的，那么两相机采集的图像提取得到的稀疏点在纵向上的数量肯定是一致的，那么两对应组内的稀疏点是匹配的，排序后的稀疏点则是一一对应的匹配点；
那么对对应组内稀疏点的y坐标进行从小到大或从大到小排序，排序后的稀疏点即是一一对应的匹配点；
(6)验证；
对得到的匹配点还可以做进一步验证，即通过对应相机的内外参数和对应图像中的稀疏点坐标进行三角化得到匹配点的空间坐标，如果二者对应的空间坐标符合设定要求，则认为是对的匹配点，否则认为是错误的匹配点，去掉即可，结果如图6所示；具体设定要求根据实际相机视野确定，一般设置为坐标偏移量，并设定对应阈值。
以上详细描述了本发明的优选实施方式，但是本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换(如数量、形状、位置等)，这些等同变换均属于本发明的保护范围。
Claims (10)
1.一种图像稀疏点立体匹配方法，其特征在于：包括：
对多目相机各相机采集的图像进行立体校正；
获取各相机的共视区域；
根据各相机采集的共视区域的图像提取得到的稀疏点集中各稀疏点在纵向或横向上的位置进行分组，并据此对各稀疏点集中的组进行对齐；
将对齐后各组中的稀疏点一一对应。
2.根据权利要求1所述的图像稀疏点立体匹配方法，其特征在于：在分组前对各稀疏点集进行去噪操作，具体为：
对每一图像的稀疏点集中的每个稀疏点分别计算其与其他图像稀疏点集中所有稀疏点在各自对应图像坐标系上的y坐标的差值，如果存在差值小于设定阈值的结果，则认为存在匹配点；反之，则认为是噪声点，并去除。
3.根据权利要求1或2所述的图像稀疏点立体匹配方法，其特征在于：根据稀疏点集中各稀疏点在纵向或横向上的位置进行分组具体为：
对各稀疏点集中所有稀疏点选定其在对应图像坐标系的任一坐标进行从小到大或从大到小排列，分别计算相邻两个稀疏点在选定坐标下的差值，若差值小于设定阈值，则继续计算下一个相邻稀疏点的差值；若差值大于设定阈值，则以两个稀疏点在选定坐标下的平均值作为一个分割值放入对应图像的分割值集合，直到计算完所有差值；
各分割值集合中的分割值相互对应形成对应分割值组，取每个对应分割值组中最大的分割值作为该组的实际分割值，从而得到一个实际分割值集合，用实际分割值集合的分割值对各稀疏点集进行分组，得到各稀疏点集的分组集合。
4.根据权利要求3所述的图像稀疏点立体匹配方法，其特征在于：所述组对齐具体如下：
分别计算各分组集合中每个组中所有稀疏点选定坐标的平均值作为组的描述，将每一分组集合中的每个组描述分别与其他分组集合中的每个组描述进行比较，如果二者差值小于设定阈值，则认为两个组是对应组，最终得到各图像下的分组集合的对应关系。
5.根据权利要求3所述的图像稀疏点立体匹配方法，其特征在于：所述选定坐标根据各稀疏点在纵向或横向上的位置进行分组的方式确定，其中纵向分组为选定y坐标作为选定坐标，所述横向分组为选定x坐标为选定坐标。
6.根据权利要求5所述的图像稀疏点立体匹配方法，其特征在于：针对横向分组，所述将对齐后各组中的稀疏点一一对应具体为：
分别对对应组内稀疏点的x坐标进行排序；如果两对应组内的稀疏点数量相同，则认为两组稀疏点是匹配的，排序后的稀疏点则是一一对应的匹配点；如果两对应组内的稀疏点数量相差n个点，则需要判断稀疏点数多的图像为左相机采集还是右相机采集，如果是左相机采集，则去除该相机采集图像上所对应组内从左向右的n个稀疏点，如果是右相机采集，则去除该相机采集图像上所对应组内从右向左的n个稀疏点；从而得到对应组内一一对应的匹配点。
7.根据权利要求5所述的图像稀疏点立体匹配方法，其特征在于：针对纵向分组，所述将对齐后各组中的稀疏点一一对应具体为：
判断各图像的稀疏点集分组得到的组数是否相等，若相等则进行对应组稀疏匹配；若二者组数相差m组，则直接去除未对应的m组；将对应组内稀疏点的y坐标进行排序，排序后的稀疏点即是一一对应的匹配点。
8.根据权利要求1所述的图像稀疏点立体匹配方法，其特征在于：获取各相机的共视区域具体为：
通过所述立体校正将各相机采集的图像的光心对齐，放置一目标物，在目标物出现在所有相机的视野中时获取共视区域边界，从而得到各相机的共视区域。
9.根据权利要求1所述的图像稀疏点立体匹配方法，其特征在于：还包括验证步骤：
根据对应相机的内外参数和对应稀疏点坐标进行三角化分别得到匹配点的空间坐标，如果二者对应的空间坐标符合设定要求，则认为是对的匹配点，否则认为是错误的匹配点，将其剔除。
10.根据权利要求9所述的图像稀疏点立体匹配方法，其特征在于：所述设定要求根据实际相机视野确定，具体设置为坐标偏移量阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210572515.3A CN114998445A (zh) | 2022-05-24 | 2022-05-24 | 一种图像稀疏点立体匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210572515.3A CN114998445A (zh) | 2022-05-24 | 2022-05-24 | 一种图像稀疏点立体匹配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114998445A true CN114998445A (zh) | 2022-09-02 |
Family
ID=83028342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210572515.3A Pending CN114998445A (zh) | 2022-05-24 | 2022-05-24 | 一种图像稀疏点立体匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114998445A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797463A (zh) * | 2023-08-22 | 2023-09-22 | 佗道医疗科技有限公司 | 特征点对提取方法及图像拼接方法 |
| CN117094879A (zh) * | 2023-10-18 | 2023-11-21 | 南京砺算科技有限公司 | 数据拷贝方法及装置、计算机可读存储介质、电子设备 |
-
2022
- 2022-05-24 CN CN202210572515.3A patent/CN114998445A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797463A (zh) * | 2023-08-22 | 2023-09-22 | 佗道医疗科技有限公司 | 特征点对提取方法及图像拼接方法 |
| CN116797463B (zh) * | 2023-08-22 | 2023-11-21 | 佗道医疗科技有限公司 | 特征点对提取方法及图像拼接方法 |
| CN117094879A (zh) * | 2023-10-18 | 2023-11-21 | 南京砺算科技有限公司 | 数据拷贝方法及装置、计算机可读存储介质、电子设备 |
| CN117094879B (zh) * | 2023-10-18 | 2024-03-26 | 南京砺算科技有限公司 | 数据拷贝方法及装置、计算机可读存储介质、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110310320B (zh) | 一种双目视觉匹配代价聚合优化方法 | |
| CN110097542B (zh) | 芯片气泡的检测方法、装置及存储介质 | |
| CN105894499B (zh) | 一种基于双目视觉的空间物体三维信息快速检测方法 | |
| CN109271937B (zh) | 基于图像处理的运动场地标志物识别方法及系统 | |
| CN114998445A (zh) | 一种图像稀疏点立体匹配方法 | |
| CN109859226B (zh) | 一种图形分割的棋盘格角点亚像素的检测方法 | |
| CN109211198B (zh) | 一种基于三目视觉的智能目标检测和测量系统和方法 | |
| CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
| CN110969667A (zh) | 基于边缘特征的多光谱相机外参自校正算法 | |
| CN109919832B (zh) | 一种用于无人驾驶的交通图像拼接方法 | |
| CN111192326A (zh) | 一种用于视觉识别电动汽车直流充电插口的方法及系统 | |
| CN111914913A (zh) | 一种新型立体匹配优化方法 | |
| CN110675442A (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| CN110800020B (zh) | 一种图像信息获取方法、图像处理设备及计算机存储介质 | |
| CN111145254B (zh) | 一种基于双目视觉的门阀毛坯定位方法 | |
| CN113096016A (zh) | 一种低空航拍图像拼接方法和系统 | |
| KR100792172B1 (ko) | 강건한 대응점을 이용한 기본행렬 추정 장치 및 그 방법 | |
| JPH05215547A (ja) | ステレオ画像間対応点決定方法 | |
| CN112233164B (zh) | 一种视差图错误点识别与校正方法 | |
| CN113409334B (zh) | 一种基于质心的结构光角点检测方法 | |
| CN111222514B (zh) | 一种基于视觉定位的局部地图优化方法 | |
| CN116721109B (zh) | 一种双目视觉图像半全局匹配方法 | |
| CN113837106A (zh) | 人脸识别方法、系统、电子设备及存储介质 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| CN110838148A (zh) | 一种双目相机自标定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 210000 building 3, No. 34, Dazhou Road, Yuhuatai District, Nanjing, Jiangsu Province Applicant after: Tuodao Medical Technology Co.,Ltd. Address before: 210000 building 3, No. 34, Dazhou Road, Yuhuatai District, Nanjing, Jiangsu Province Applicant before: Nanjing Tuodao Medical Technology Co.,Ltd. |
|
| CB02 | Change of applicant information |