CN112348871A - 一种局部立体匹配方法 - Google Patents

一种局部立体匹配方法 Download PDF

Info

Publication number
CN112348871A
CN112348871A CN202011279580.4A CN202011279580A CN112348871A CN 112348871 A CN112348871 A CN 112348871A CN 202011279580 A CN202011279580 A CN 202011279580A CN 112348871 A CN112348871 A CN 112348871A
Authority
CN
China
Prior art keywords
pixel point
image
ith
gray
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011279580.4A
Other languages
English (en)
Other versions
CN112348871B (zh
Inventor
荆树旭
翟晓惠
柳有权
卢鹏宇
刘佳玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202011279580.4A priority Critical patent/CN112348871B/zh
Publication of CN112348871A publication Critical patent/CN112348871A/zh
Application granted granted Critical
Publication of CN112348871B publication Critical patent/CN112348871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种局部立体匹配方法，该方法包括以下步骤：一、图像采集及极线校正；二、RGB三分量提取；三、颜色匹配代价的获取；四、梯度匹配代价的获取；五、匹配代价函数的获取；六、判断窗口区域的获取；七、匹配代价的聚合；八、视差优化。本发明方法步骤简单，基于彩色图像进行局部匹配，有效地利用彩色图像的颜色信息，不仅提高了立体匹配的准确度，而且对视差图进行优化，提高了视差图的准确度，便于视差图后续的深度信息分析。

Description

一种局部立体匹配方法
技术领域
本发明属于立体匹配技术领域，尤其是涉及一种局部立体匹配方法。
背景技术
立体匹配是双目立体视觉中一项关键技术，通过建立左右图像像素点间的一一对应关系获取视差图，再根据数学三角形相似原理，计算视差信息得到深度信息。近年来随着技术的发展，各种高精确度、高效率的立体匹配算法被提出，现有的立体匹配算法分为全局立体匹配和局部立体匹配，局部算法较全局算法计算量小且速度快，但是目前基于彩色图像进行局部匹配时，第一是将彩色图像转为灰度图，求灰度绝对值差。第二是将R,G,B三通道分量分开求灰度绝对值差，再求和并做R,G,B三通道的平均差。前者忽略了彩色图像中颜色信息的重要性，转化会丢失部分颜色信息；后者没有充分利用R,G,B三通道所携带的颜色信息区别，会造成有用信息的丢失，因此这些方法很难反映出图像的真实视差，对后期的代价聚合获得的初始视差图有一定的影响。
因此，需要现如今缺少一种设计合理的局部立体匹配方法，基于彩色图像进行局部匹配，有效地利用彩色图像的颜色信息，不仅提高了立体匹配的准确度，而且对视差图进行优化，提高了视差图的准确度，便于视差图后续的深度信息分析。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种局部立体匹配方法，其方法步骤简单，基于彩色图像进行局部匹配，有效地利用彩色图像的颜色信息，不仅提高了立体匹配的准确度，而且对视差图进行优化，提高了视差图的准确度，便于视差图后续的深度信息分析。
为解决上述技术问题，本发明采用的技术方案是：一种局部立体匹配方法，其特征在于：
步骤一、图像采集及极线校正：
步骤101、双目相机包括左相机和右相机，左相机获取左图像并发送至计算机，同时，右相机获取右图像并发送至计算机，计算机得到左图像和右图像；
步骤102、计算机采用极线校正算法分别对左图像和右图像进行极线校正，得到左校正图像和右校正图像；其中，左校正图像IL和右校正图像IR均为彩色图像，且左校正图像IL和右校正图像IR的行数均为n，左校正图像IL和右校正图像IR的列数均为m；
步骤103、计算机将左校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；且I＝n×m；其中，n、m和I均为正整数；
计算机将右校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；
步骤104、以图像左上角为原点o，过原点o且沿图像的行方向为图像的u轴，过原点o且沿图像的列方向为图像的v轴，得到像素坐标系ouv；
步骤二、RGB三分量提取：
采用计算机调取RGB分量提取模块，从左校正图像和右校正图像分别提取R分量、G分量和B分量，得到左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，以及右校正图像的R分量二维矩阵、右校正图像的G分量二维矩阵和右校正图像的B分量二维矩阵；
步骤三、颜色匹配代价的获取：
步骤301、以左校正图像为基准，从右校正图像中进行判断，设定左校正图像IL中拍摄区域对应点的左像素点记作第i个左像素点，且第i个左像素点在像素坐标系ouv中的坐标记作第i个左像素点的坐标
Figure BDA0002780314900000021
设定右校正图像IR中拍摄区域对应点的右像素点记作第j个右像素点，且第j个右像点在像素坐标系ouv中的坐标记作为第j个右像点的坐标
Figure BDA0002780314900000031
且
Figure BDA0002780314900000032
其中，1≤i≤I，1≤j≤I，i和j均为正整数；
步骤302、左校正图像和右校正图像中，设定
Figure BDA0002780314900000033
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤303、计算机根据左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，得到左校正图像中R分量的比例系数
Figure BDA0002780314900000034
左校正图像中G分量的比例系数
Figure BDA0002780314900000035
和左校正图像中B分量的比例系数
Figure BDA0002780314900000036
步骤304、计算机根据公式
Figure BDA0002780314900000037
得到第i个左像素点在视差为da时的R分量绝对值差；计算机根据公式
Figure BDA0002780314900000038
得到第i个左像素点在视差为da时的G分量绝对值差；计算机根据公式
Figure BDA0002780314900000039
得到第i个左像素点在视差为da时的B分量绝对值差；其中，
Figure BDA00027803149000000310
表示第i个左像素点的R分量，
Figure BDA00027803149000000311
表示第i个左像素点的G分量，
Figure BDA00027803149000000312
表示第i个左像素点的B分量；
Figure BDA00027803149000000313
表示第j个右像素点的R分量，
Figure BDA00027803149000000314
表示第j个右像素点的G分量，
Figure BDA00027803149000000315
表示第j个右像素点的B分量；
步骤305、计算机根据公式
Figure BDA00027803149000000316
得到第i个左像素点在视差为da时的颜色代价
Figure BDA00027803149000000317
其中，w1表示第一加权系数，w2表示第二加权系数，w3表示第三加权系数；
步骤四、梯度匹配代价的获取:
步骤401、计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像；
步骤402、设定左灰度图像中拍摄区域对应点的第i个像素点记作第i个左灰度像素点，且第i个左灰度像素点在像素坐标系ouv中的坐标记作第i个左灰度像素点的坐标
Figure BDA00027803149000000318
设定右灰度图像中拍摄区域对应点的第j个像素点记作第j个右灰度像素点，且第j个右灰度像素点在像素坐标系ouv中的坐标记作为第j个右灰度像素点的坐标
Figure BDA0002780314900000041
且
Figure BDA0002780314900000042
步骤403、左灰度图像和右灰度图像中，设定
Figure BDA0002780314900000043
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤404、当
Figure BDA0002780314900000044
时，计算机根据公式
Figure BDA0002780314900000045
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure BDA0002780314900000046
其中，
Figure BDA0002780314900000047
表示左灰度图像中
Figure BDA0002780314900000048
坐标处的像素点的灰度值，
Figure BDA0002780314900000049
表示第i个左灰度像素点的灰度值；
当
Figure BDA00027803149000000410
时，计算机根据公式
Figure BDA00027803149000000411
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000000412
其中，
Figure BDA00027803149000000413
表示左灰度图像中
Figure BDA00027803149000000414
坐标处的像素点的灰度值，
当
Figure BDA00027803149000000415
时，计算机根据公式
Figure BDA00027803149000000416
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000000417
其中，
Figure BDA00027803149000000418
表示右灰度图像中
Figure BDA00027803149000000419
坐标处的像素点的灰度值，
Figure BDA00027803149000000420
表示第i个右灰度像素点的灰度值；
当
Figure BDA00027803149000000421
时，计算机根据公式
Figure BDA00027803149000000422
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000000423
其中，
Figure BDA00027803149000000424
表示右灰度图像中
Figure BDA00027803149000000425
坐标处的像素点的灰度值；
步骤405、计算机根据公式
Figure BDA00027803149000000426
得到第i个左像素点在视差为da时u方向的灰度梯度差值
Figure BDA00027803149000000427
步骤五、匹配代价函数的获取：
计算机建立第i个左像素点在视差为da时的匹配代价函数，如下式：
Figure BDA00027803149000000428
其中，α表示平衡颜色和梯度的因子，τD表示颜色阈值，τG表示梯度阈值，min(·)表示取最小值；
步骤六、判断窗口区域的获取：
步骤601、左校正图像中，当对第i个左像素点
Figure BDA0002780314900000051
进行正上方遍历时，具体过程如下：
步骤6011、如果第i个左像素点
Figure BDA0002780314900000052
位于图像边界，则停止正上方遍历，得到第i个左像素点
Figure BDA0002780314900000053
正上遍历的最大像素个数Ls＝0；如果第i个左像素点
Figure BDA0002780314900000054
不位于图像边界，执行步骤6012；
步骤6012、对第i个左像素点
Figure BDA0002780314900000055
正上方的第fs个待遍历像素点
Figure BDA0002780314900000056
进行判断，判断
Figure BDA0002780314900000057
是否成立，如果
Figure BDA0002780314900000058
成立，执行步骤6013和步骤6014；否则，执行步骤6015；其中，
Figure BDA0002780314900000059
表示第i个左像素点(ui l,vi l)正上方的第fs个待遍历像素点的R分量，fs为正整数，τa表示判断阈值；
步骤6013、如果第i个左像素点
Figure BDA00027803149000000510
正上方的第fs个待遍历像素点位于图像边界，停止正上方遍，则第fs个待遍历像素点和第i个左像素点
Figure BDA00027803149000000511
之间的像素个数为第i个左像素点
Figure BDA00027803149000000512
正上遍历的最大像素个数Ls；
步骤6014、如果第i个左像素点
Figure BDA00027803149000000513
正上方的第fs个待遍历像素点不位于图像边界，按照步骤6012所述的方法对第i个左像素点
Figure BDA00027803149000000514
正上方的下一个待遍历像素点进行判断；
步骤6015、如果
Figure BDA00027803149000000515
不成立，停止正上方遍，则第fs-1个待遍历像素点和第i个左像素点
Figure BDA00027803149000000516
之间的像素个数为第i个左像素点
Figure BDA00027803149000000517
正上遍历的最大像素个数Ls；
步骤602、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000000518
进行正下方遍历，得到第i个左像素点
Figure BDA00027803149000000519
正下方遍历的最大像素个数Lx；
步骤603、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000000520
进行正左方遍历，得到第i个左像素点
Figure BDA00027803149000000521
正左方遍历的最大像素个数Lz；
步骤604、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000000522
进行正右方遍历，得到第i个左像素点
Figure BDA00027803149000000523
正右方遍历的最大像素个数Ly；
步骤605、左校正图像IL中第i个左像素点
Figure BDA00027803149000000524
正上方遍历的最大像素个数Ls、第i个左像素点
Figure BDA0002780314900000061
正下方遍历的最大像素个数Lx、第i个左像素点
Figure BDA0002780314900000062
正左方遍历的最大像素个数Lz和第i个左像素点
Figure BDA0002780314900000063
正右方遍历的最大像素个数Ly围设的区域为第i个左像素点
Figure BDA0002780314900000064
的判断窗口区域；
步骤七、匹配代价的聚合：
步骤701、采用计算机获取第i个左像素点
Figure BDA0002780314900000065
的判断窗口区域中的像素总数量并记作R，采用计算机获取第i个左像素点
Figure BDA0002780314900000066
的判断窗口区域中各个像素的灰度值；
步骤702、采用计算机调取均值处理模块，并输入第i个左像素点
Figure BDA0002780314900000067
的判断窗口区域中的像素总数量R和第i个左像素点
Figure BDA0002780314900000068
的判断窗口区域中各个像素的灰度值，得到第i个左像素点
Figure BDA0002780314900000069
的判断窗口区域的像素均值并记作μi；
采用计算机调取方差处理模块，并输入第i个左像素点
Figure BDA00027803149000000610
的判断窗口区域中的像素总数量R、第i个左像素点
Figure BDA00027803149000000611
的判断窗口区域中各个像素的灰度值和第i个左像素点
Figure BDA00027803149000000612
的判断窗口区域的像素均值μi，得到第i个左像素点
Figure BDA00027803149000000613
的判断窗口区域的方差并记作
Figure BDA00027803149000000614
步骤703、采用计算机将第i个左像素点
Figure BDA00027803149000000615
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000000616
后的各个像素点按照从上到下从左到右的顺序排序，则第i个左像素点
Figure BDA00027803149000000617
的判断窗口区域的权重为
Figure BDA00027803149000000618
且
Figure BDA00027803149000000619
其中，r为正整数，且1≤r≤R-1，
Figure BDA00027803149000000620
表示左灰度图像第i个左像素点
Figure BDA00027803149000000621
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000000622
后的第r个像素点的灰度值，
Figure BDA00027803149000000623
表示左灰度图像第i个左像素点
Figure BDA00027803149000000624
的灰度值，ε表示平滑常数；
步骤704、按照步骤三至步骤五所述的方法，得到第i个左像素点
Figure BDA00027803149000000625
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000000626
后的第r个像素点在视差da下的匹配代价函数
Figure BDA00027803149000000627
步骤705、采用计算机根据公式
Figure BDA00027803149000000628
得到第i个左像素点
Figure BDA0002780314900000071
在视差da下的匹配代价聚合值
Figure BDA0002780314900000072
步骤706、采用计算机将第i个左像素点
Figure BDA0002780314900000073
在视差d1下的匹配代价聚合值，第i个左像素点
Figure BDA0002780314900000074
在视差d2下的匹配代价聚合值，...，第i个左像素点
Figure BDA0002780314900000075
在视差da下的匹配代价聚合值从小到大进行排序，得到匹配代价聚合值最小值，则匹配代价聚合值最小值所对应的视差为第i个左像素点
Figure BDA0002780314900000076
的待判断视差并记作
Figure BDA0002780314900000077
步骤八、视差优化：
步骤801、采用计算机将右校正图像中与左校正图像中第i个左像素点
Figure BDA0002780314900000078
视差为
Figure BDA0002780314900000079
的右像素点记作第i个左像素点
Figure BDA00027803149000000710
的第一待匹配点
Figure BDA00027803149000000711
和第二待匹配点
Figure BDA00027803149000000712
步骤802、以右校正图像为基准，按照步骤三至步骤七所述的方法，从左校正图像中进行判断，获取第一待匹配点
Figure BDA00027803149000000713
的待判断视差
Figure BDA00027803149000000714
和第二待匹配点
Figure BDA00027803149000000715
的待判断视差
Figure BDA00027803149000000716
从第一待匹配点
Figure BDA00027803149000000717
的待判断视差
Figure BDA00027803149000000718
和第二待匹配点
Figure BDA00027803149000000719
的待判断视差
Figure BDA00027803149000000720
中获取待匹配点的待判断视差较小值
Figure BDA00027803149000000721
步骤803、采用计算机判断
Figure BDA00027803149000000722
是否成立，当
Figure BDA00027803149000000723
成立，则左校正图像中第i个左像素点
Figure BDA00027803149000000724
和右校正图像中
Figure BDA00027803149000000725
所对应的待匹配像素点为匹配像素点，则左校正图像中第i个左像素点
Figure BDA00027803149000000726
的视差值为
Figure BDA00027803149000000727
当
Figure BDA00027803149000000728
不成立，执行步骤804；
步骤804、以左校正图像为基准，按照步骤三至步骤八所述的方法，获取左校正图像中左像素点
Figure BDA00027803149000000729
视差
Figure BDA00027803149000000730
和左校正图像中左像素点
Figure BDA00027803149000000731
视差
Figure BDA00027803149000000732
则左校正图像中第i个左像素点
Figure BDA00027803149000000733
的视差值为
Figure BDA00027803149000000734
步骤805、采用计算机根据左校正图像中第i个左像素点
Figure BDA00027803149000000735
的视差值，获取视差图；
步骤806、采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图。
上述的一种局部立体匹配方法，其特征在于：步骤401中计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像，具体过程如下：
计算机根据公式
Figure BDA0002780314900000081
Figure BDA0002780314900000082
或者
Figure BDA0002780314900000083
对左校正图像进行灰度处理，得到左灰度图像；
Figure BDA0002780314900000084
表示左灰度图像中第i个左灰度像素点
Figure BDA0002780314900000085
的灰度值；
计算机根据公式
Figure BDA0002780314900000086
Figure BDA0002780314900000087
或者
Figure BDA0002780314900000088
对右校正图像进行灰度处理，得到右灰度图像；
Figure BDA0002780314900000089
表示右灰度图像中第j个右灰度像素点
Figure BDA00027803149000000810
的灰度值。
上述的一种局部立体匹配方法，其特征在于：步骤305中第一加权系数w1＝0.2990，第二加权系数w2＝0.5870，第三加权系数w3＝0.1140；
步骤五中颜色阈值τD的取值为6～8，梯度阈值τG的取值为1～3，平衡颜色和梯度的因子0＜α＜1；
步骤6012中判断阈值τa的取值范围为4.59～7.14；
步骤703中平滑常数ε的取值范围为0.00001～0.0001。
上述的一种局部立体匹配方法，其特征在于：步骤806中采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图，具体过程如下：
步骤8061、采用计算机将视差图中第e个局部窗口进行处理，具体过程如下：
步骤A、采用计算机获取第e个局部窗口的中心像素点的坐标
Figure BDA00027803149000000811
并获取左校正图像IL中
Figure BDA00027803149000000812
像素点的R分量
Figure BDA00027803149000000813
G分量
Figure BDA00027803149000000814
和B分量
Figure BDA00027803149000000815
步骤B、采用计算机获取第e个局部窗口中除去中心像素点
Figure BDA00027803149000000816
后的第p个像素点的坐标
Figure BDA00027803149000000817
并获取左校正图像IL中
Figure BDA00027803149000000818
像素点的R分量
Figure BDA00027803149000000819
G分量
Figure BDA00027803149000000820
和B分量
Figure BDA00027803149000000821
步骤C、采用计算机根据公式
Figure BDA0002780314900000091
得到第e个局部窗口中第p个像素点和中心像素点的色彩差值Δ2Cpc；
采用计算机根据公式
Figure BDA0002780314900000092
得到第e个局部窗口中第p个像素点和中心像素点的距离值Δ2Spc；
步骤D、采用计算机根据公式
Figure BDA0002780314900000093
得到第e个局部窗口中第p个像素点的权值w(p)；其中，
Figure BDA0002780314900000094
表示调节颜色的参数，且
Figure BDA0002780314900000095
的取值为0.1，
Figure BDA0002780314900000096
表示调节距离的参数，且
Figure BDA0002780314900000097
的取值为9；
步骤E、采用计算机根据公式f′(p)＝f(p)×w(p)，得到第e个局部窗口中第p个像素点的优化后视差值f′(p)；其中，f(p)表示视差图第e个局部窗口中第p个像素点的视差值；
步骤F、采用计算机将视差图第e个局部窗口中中心像素点
Figure BDA0002780314900000098
的视差值以及第e个局部窗口中各个像素点的优化后视差值从小到大进行排序，并获取优化后的视差中值；
步骤G、采用计算机将第e个局部窗口的中心像素点的视差值替换为优化后的视差中值；
步骤H、多次重复步骤步骤A至步骤G，得到优化后的视差图。
上述的一种局部立体匹配方法，其特征在于：步骤303中得到左校正图像中R分量的比例系数
Figure BDA0002780314900000099
左校正图像中G分量的比例系数
Figure BDA00027803149000000910
和左校正图像中B分量的比例系数
Figure BDA00027803149000000911
具体过程如下：
步骤3031、计算机从左校正图像的R分量二维矩阵中获取第i个左像素点的R分量并记作
Figure BDA00027803149000000912
计算机从左校正图像的G分量二维矩阵中获取第i个左像素点的G分量并记作
Figure BDA00027803149000000913
计算机从左校正图像的B分量二维矩阵中获取第i个左像素点的B分量并记作
Figure BDA00027803149000000914
步骤3032、计算机根据公式
Figure BDA00027803149000000915
得到左校正图像中R分量的比例系数
Figure BDA0002780314900000101
计算机根据公式
Figure BDA0002780314900000102
得到左校正图像中G分量的比例系数
Figure BDA0002780314900000103
计算机根据公式
Figure BDA0002780314900000104
得到左校正图像中B分量的比例系数
Figure BDA0002780314900000105
本发明与现有技术相比具有以下优点：
1、本发明的局部立体匹配方法步骤简单，设计合理且使用效果好，首先是图像采集及极线校正，得到左校正图像和右校正图像，并提取左校正图像和右校正图像中的RGB三分量，然后进行颜色匹配代价的获取和梯度匹配代价的获取，根据颜色匹配代价的获取和梯度匹配代价得到匹配代价函数；接着获取判断窗口区域，进行匹配代价的聚合，以得到左校正图像上各个像素点的待判断视差；其次对左校正图像上各个像素点的待判断视差进行判断优化得到视差图，最后对视差图进行加权中值滤波处理，得到优化后的视差图，提高了视差图获取的准确性，进而便于后续根据视差图得到深度信息。
2、本发明采用极线校正算法分别对左图像和右图像进行极线校正，得到左校正图像和右校正图像，是为了左校正图像和右校正图像消除畸变后严格地行对应，使得左校正图像和右校正图像的对极线恰好在同一水平线上，只需在同一行上搜索左校正图像和右校正图像的匹配点即可，能使匹配效率大大提高。
3、本发明颜色匹配代价的获取中，通过左校正图像中R分量的比例系数
Figure BDA0002780314900000106
左校正图像中G分量的比例系数
Figure BDA0002780314900000107
和左校正图像中B分量的比例系数
Figure BDA0002780314900000108
进而得到左像素点在视差为da时的R分量绝对值差、左像素点在视差为da时的G分量绝对值差和左像素点在视差为da时的B分量绝对值差，从而获取左像素点视差为da时的颜色代价，通过考虑R、G和B分量的比例系数，一方面充分考虑原图像的颜色信息，获取比例系数，实现不同的权重的赋予，以达到充分利用三个颜色通道所携带的信息的目的；另一方面，提高了颜色代价获取的准确性，反映出后续图像真实视差，降低了初始视差图的误匹配率。
4、本发明匹配代价函数的获取中，即考虑梯度匹配代价，又考虑颜色代价，且分别赋予颜色阈值和梯度阈值，这样通过颜色加权信息融合梯度信息，从而便于获取匹配代价聚合值最小值，则获取匹配代价聚合值最小值所对应的视差，提高了待判断视差获取的准确率。
5、本发明通过对左像素点进行正上、正下、正左和正右的遍历，根据颜色阈值来获取判断窗口区域的大小，避免了窗口过大或过小带来的弊端，便于后续判断窗口区域中的匹配代价的聚合。
6、本发明视差优化中先对左校正图像中左像素点的待判断视差进行判断，以获取左校正图像中各个左像素点的视差值，实现对视差值的优化；然后对得到的视差图进行加权中值滤波处理，实现对视差图的进一步优化。
综上所述，本发明方法步骤简单，基于色彩权值进行局部立体匹配，不仅提高了立体匹配的准确度，而且对视差图进行优化，提高了视差图的准确度，便于视差图后续的深度信息分析。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的流程框图。
图2a为本发明的左校正图像。
图2b为本发明的右校正图像。
图2c为本发明的视差图。
图2d为本发明的优化后的视差图。
具体实施方式
如图1所示的一种局部立体匹配方法，该方法包括以下步骤：
步骤一、图像采集及极线校正：
步骤101、双目相机包括左相机和右相机，左相机获取左图像并发送至计算机，同时，右相机获取右图像并发送至计算机，计算机得到左图像和右图像；
步骤102、计算机采用极线校正算法分别对左图像和右图像进行极线校正，得到左校正图像和右校正图像；其中，左校正图像IL和右校正图像IR均为彩色图像，且左校正图像IL和右校正图像IR的行数均为n，左校正图像IL和右校正图像IR的列数均为m；
步骤103、计算机将左校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；且I＝n×m；其中，n、m和I均为正整数；
计算机将右校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；
步骤104、以图像左上角为原点o，过原点o且沿图像的行方向为图像的u轴，过原点o且沿图像的列方向为图像的v轴，得到像素坐标系ouv；
步骤二、RGB三分量提取：
采用计算机调取RGB分量提取模块，从左校正图像和右校正图像分别提取R分量、G分量和B分量，得到左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，以及右校正图像的R分量二维矩阵、右校正图像的G分量二维矩阵和右校正图像的B分量二维矩阵；
步骤三、颜色匹配代价的获取：
步骤301、以左校正图像为基准，从右校正图像中进行判断，设定左校正图像IL中拍摄区域对应点的左像素点记作第i个左像素点，且第i个左像素点在像素坐标系ouv中的坐标记作第i个左像素点的坐标
Figure BDA0002780314900000121
设定右校正图像IR中拍摄区域对应点的右像素点记作第j个右像素点，且第j个右像点在像素坐标系ouv中的坐标记作为第j个右像点的坐标
Figure BDA0002780314900000131
且
Figure BDA0002780314900000132
其中，1≤i≤I，1≤j≤I，i和j均为正整数；
步骤302、左校正图像和右校正图像中，设定
Figure BDA0002780314900000133
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤303、计算机根据左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，得到左校正图像中R分量的比例系数
Figure BDA0002780314900000134
左校正图像中G分量的比例系数
Figure BDA0002780314900000135
和左校正图像中B分量的比例系数
Figure BDA0002780314900000136
步骤304、计算机根据公式
Figure BDA0002780314900000137
得到第i个左像素点在视差为da时的R分量绝对值差；计算机根据公式
Figure BDA0002780314900000138
得到第i个左像素点在视差为da时的G分量绝对值差；计算机根据公式
Figure BDA0002780314900000139
得到第i个左像素点在视差为da时的B分量绝对值差；其中，
Figure BDA00027803149000001310
表示第i个左像素点的R分量，
Figure BDA00027803149000001311
表示第i个左像素点的G分量，
Figure BDA00027803149000001312
表示第i个左像素点的B分量；
Figure BDA00027803149000001313
表示第j个右像素点的R分量，
Figure BDA00027803149000001314
表示第j个右像素点的G分量，
Figure BDA00027803149000001315
表示第j个右像素点的B分量；
步骤305、计算机根据公式
Figure BDA00027803149000001316
得到第i个左像素点在视差为da时的颜色代价
Figure BDA00027803149000001317
其中，w1表示第一加权系数，w2表示第二加权系数，w3表示第三加权系数；
步骤四、梯度匹配代价的获取:
步骤401、计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像；
步骤402、设定左灰度图像中拍摄区域对应点的第i个像素点记作第i个左灰度像素点，且第i个左灰度像素点在像素坐标系ouv中的坐标记作第i个左灰度像素点的坐标
Figure BDA00027803149000001318
设定右灰度图像中拍摄区域对应点的第j个像素点记作第j个右灰度像素点，且第j个右灰度像素点在像素坐标系ouv中的坐标记作为第j个右灰度像素点的坐标
Figure BDA00027803149000001319
且
Figure BDA00027803149000001320
步骤403、左灰度图像和右灰度图像中，设定
Figure BDA0002780314900000141
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤404、当
Figure BDA0002780314900000142
时，计算机根据公式
Figure BDA0002780314900000143
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure BDA0002780314900000144
其中，
Figure BDA0002780314900000145
表示左灰度图像中
Figure BDA0002780314900000146
坐标处的像素点的灰度值，
Figure BDA0002780314900000147
表示第i个左灰度像素点的灰度值；
当
Figure BDA0002780314900000148
时，计算机根据公式
Figure BDA0002780314900000149
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000001410
其中，
Figure BDA00027803149000001411
表示左灰度图像中
Figure BDA00027803149000001412
坐标处的像素点的灰度值，
当
Figure BDA00027803149000001413
时，计算机根据公式
Figure BDA00027803149000001414
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000001415
其中，
Figure BDA00027803149000001416
表示右灰度图像中
Figure BDA00027803149000001417
坐标处的像素点的灰度值，
Figure BDA00027803149000001418
表示第i个右灰度像素点的灰度值；
当
Figure BDA00027803149000001419
时，计算机根据公式
Figure BDA00027803149000001420
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure BDA00027803149000001421
其中，
Figure BDA00027803149000001422
表示右灰度图像中
Figure BDA00027803149000001423
坐标处的像素点的灰度值；
步骤405、计算机根据公式
Figure BDA00027803149000001424
得到第i个左像素点在视差为da时u方向的灰度梯度差值
Figure BDA00027803149000001425
步骤五、匹配代价函数的获取：
计算机建立第i个左像素点在视差为da时的匹配代价函数，如下式：
Figure BDA00027803149000001426
其中，α表示平衡颜色和梯度的因子，τD表示颜色阈值，τG表示梯度阈值，min(·)表示取最小值；
步骤六、判断窗口区域的获取：
步骤601、左校正图像中，当对第i个左像素点
Figure BDA00027803149000001427
进行正上方遍历时，具体过程如下：
步骤6011、如果第i个左像素点
Figure BDA0002780314900000151
位于图像边界，则停止正上方遍历，得到第i个左像素点
Figure BDA0002780314900000152
正上遍历的最大像素个数Ls＝0；如果第i个左像素点
Figure BDA0002780314900000153
不位于图像边界，执行步骤6012；
步骤6012、对第i个左像素点
Figure BDA0002780314900000154
正上方的第fs个待遍历像素点
Figure BDA0002780314900000155
进行判断，判断
Figure BDA0002780314900000156
是否成立，如果
Figure BDA0002780314900000157
成立，执行步骤6013和步骤6014；否则，执行步骤6015；其中，
Figure BDA0002780314900000158
表示第i个左像素点
Figure BDA0002780314900000159
正上方的第fs个待遍历像素点的R分量，fs为正整数，τa表示判断阈值；
步骤6013、如果第i个左像素点
Figure BDA00027803149000001510
正上方的第fs个待遍历像素点位于图像边界，停止正上方遍，则第fs个待遍历像素点和第i个左像素点
Figure BDA00027803149000001511
之间的像素个数为第i个左像素点
Figure BDA00027803149000001512
正上遍历的最大像素个数Ls；
步骤6014、如果第i个左像素点
Figure BDA00027803149000001513
正上方的第fs个待遍历像素点不位于图像边界，按照步骤6012所述的方法对第i个左像素点
Figure BDA00027803149000001514
正上方的下一个待遍历像素点进行判断；
步骤6015、如果
Figure BDA00027803149000001515
不成立，停止正上方遍，则第fs-1个待遍历像素点和第i个左像素点
Figure BDA00027803149000001516
之间的像素个数为第i个左像素点
Figure BDA00027803149000001517
正上遍历的最大像素个数Ls；
步骤602、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000001518
进行正下方遍历，得到第i个左像素点
Figure BDA00027803149000001519
正下方遍历的最大像素个数Lx；
步骤603、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000001520
进行正左方遍历，得到第i个左像素点
Figure BDA00027803149000001521
正左方遍历的最大像素个数Lz；
步骤604、按照步骤6011所述的方法，对第i个左像素点
Figure BDA00027803149000001522
进行正右方遍历，得到第i个左像素点
Figure BDA00027803149000001523
正右方遍历的最大像素个数Ly；
步骤605、左校正图像IL中第i个左像素点
Figure BDA00027803149000001524
正上方遍历的最大像素个数Ls、第i个左像素点
Figure BDA00027803149000001525
正下方遍历的最大像素个数Lx、第i个左像素点
Figure BDA00027803149000001526
正左方遍历的最大像素个数Lz和第i个左像素点
Figure BDA00027803149000001527
正右方遍历的最大像素个数Ly围设的区域为第i个左像素点
Figure BDA0002780314900000161
的判断窗口区域；
步骤七、匹配代价的聚合：
步骤701、采用计算机获取第i个左像素点
Figure BDA0002780314900000162
的判断窗口区域中的像素总数量并记作R，采用计算机获取第i个左像素点
Figure BDA0002780314900000163
的判断窗口区域中各个像素的灰度值；
步骤702、采用计算机调取均值处理模块，并输入第i个左像素点
Figure BDA0002780314900000164
的判断窗口区域中的像素总数量R和第i个左像素点
Figure BDA0002780314900000165
的判断窗口区域中各个像素的灰度值，得到第i个左像素点
Figure BDA0002780314900000166
的判断窗口区域的像素均值并记作μi；
采用计算机调取方差处理模块，并输入第i个左像素点
Figure BDA0002780314900000167
的判断窗口区域中的像素总数量R、第i个左像素点
Figure BDA0002780314900000168
的判断窗口区域中各个像素的灰度值和第i个左像素点
Figure BDA0002780314900000169
的判断窗口区域的像素均值μi，得到第i个左像素点
Figure BDA00027803149000001610
的判断窗口区域的方差并记作
Figure BDA00027803149000001611
步骤703、采用计算机将第i个左像素点
Figure BDA00027803149000001612
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000001613
后的各个像素点按照从上到下从左到右的顺序排序，则第i个左像素点
Figure BDA00027803149000001614
的判断窗口区域的权重为
Figure BDA00027803149000001615
且
Figure BDA00027803149000001616
其中，r为正整数，且1≤r≤R-1，
Figure BDA00027803149000001617
表示左灰度图像第i个左像素点
Figure BDA00027803149000001618
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000001619
后的第r个像素点的灰度值，
Figure BDA00027803149000001620
表示左灰度图像第i个左像素点
Figure BDA00027803149000001621
的灰度值，ε表示平滑常数；
步骤704、按照步骤三至步骤五所述的方法，得到第i个左像素点
Figure BDA00027803149000001622
的判断窗口区域中除去第i个左像素点
Figure BDA00027803149000001623
后的第r个像素点在视差da下的匹配代价函数
Figure BDA00027803149000001624
步骤705、采用计算机根据公式
Figure BDA00027803149000001625
得到第i个左像素点
Figure BDA00027803149000001626
在视差da下的匹配代价聚合值
Figure BDA00027803149000001627
步骤706、采用计算机将第i个左像素点
Figure BDA00027803149000001628
在视差d1下的匹配代价聚合值，第i个左像素点
Figure BDA0002780314900000171
在视差d2下的匹配代价聚合值，...，第i个左像素点
Figure BDA0002780314900000172
在视差da下的匹配代价聚合值从小到大进行排序，得到匹配代价聚合值最小值，则匹配代价聚合值最小值所对应的视差为第i个左像素点
Figure BDA0002780314900000173
的待判断视差并记作
Figure BDA0002780314900000174
步骤八、视差优化：
步骤801、采用计算机将右校正图像中与左校正图像中第i个左像素点
Figure BDA0002780314900000175
视差为
Figure BDA0002780314900000176
的右像素点记作第i个左像素点
Figure BDA0002780314900000177
的第一待匹配点
Figure BDA0002780314900000178
和第二待匹配点
Figure BDA0002780314900000179
步骤802、以右校正图像为基准，按照步骤三至步骤七所述的方法，从左校正图像中进行判断，获取第一待匹配点
Figure BDA00027803149000001710
的待判断视差
Figure BDA00027803149000001711
和第二待匹配点
Figure BDA00027803149000001712
的待判断视差
Figure BDA00027803149000001713
从第一待匹配点
Figure BDA00027803149000001714
的待判断视差
Figure BDA00027803149000001715
和第二待匹配点
Figure BDA00027803149000001716
的待判断视差
Figure BDA00027803149000001717
中获取待匹配点的待判断视差较小值
Figure BDA00027803149000001718
步骤803、采用计算机判断
Figure BDA00027803149000001719
是否成立，当
Figure BDA00027803149000001720
成立，则左校正图像中第i个左像素点
Figure BDA00027803149000001721
和右校正图像中
Figure BDA00027803149000001722
所对应的待匹配像素点为匹配像素点，则左校正图像中第i个左像素点
Figure BDA00027803149000001723
的视差值为
Figure BDA00027803149000001724
当
Figure BDA00027803149000001725
不成立，执行步骤804；
步骤804、以左校正图像为基准，按照步骤三至步骤八所述的方法，获取左校正图像中左像素点
Figure BDA00027803149000001726
视差
Figure BDA00027803149000001727
和左校正图像中左像素点
Figure BDA00027803149000001728
视差
Figure BDA00027803149000001729
则左校正图像中第i个左像素点
Figure BDA00027803149000001730
的视差值为
Figure BDA00027803149000001731
步骤805、采用计算机根据左校正图像中第i个左像素点
Figure BDA00027803149000001732
的视差值，获取视差图；
步骤806、采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图。
本实施例中，步骤401中计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像，具体过程如下：
计算机根据公式
Figure BDA0002780314900000181
Figure BDA0002780314900000182
或者
Figure BDA0002780314900000183
对左校正图像进行灰度处理，得到左灰度图像；
Figure BDA0002780314900000184
表示左灰度图像中第i个左灰度像素点
Figure BDA0002780314900000185
的灰度值；
计算机根据公式
Figure BDA0002780314900000186
Figure BDA0002780314900000187
或者
Figure BDA0002780314900000188
对右校正图像进行灰度处理，得到右灰度图像；
Figure BDA0002780314900000189
表示右灰度图像中第j个右灰度像素点
Figure BDA00027803149000001810
的灰度值。
本实施例中，步骤305中第一加权系数w1＝0.2990，第二加权系数w2＝0.5870，第三加权系数w3＝0.1140；
步骤五中颜色阈值τD的取值为6～8，梯度阈值τG的取值为1～3，平衡颜色和梯度的因子0＜α＜1；
步骤6012中判断阈值τa的取值范围为4.59～7.14；
步骤703中平滑常数ε的取值范围为0.00001～0.0001。
本实施例中，步骤806中采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图，具体过程如下：
步骤8061、采用计算机将视差图中第e个局部窗口进行处理，具体过程如下：
步骤A、采用计算机获取第e个局部窗口的中心像素点的坐标
Figure BDA00027803149000001811
并获取左校正图像IL中
Figure BDA00027803149000001812
像素点的R分量
Figure BDA00027803149000001813
G分量
Figure BDA00027803149000001814
和B分量
Figure BDA00027803149000001815
步骤B、采用计算机获取第e个局部窗口中除去中心像素点
Figure BDA00027803149000001816
后的第p个像素点的坐标
Figure BDA00027803149000001817
并获取左校正图像IL中
Figure BDA00027803149000001818
像素点的R分量
Figure BDA00027803149000001819
G分量
Figure BDA00027803149000001820
和B分量
Figure BDA00027803149000001821
步骤C、采用计算机根据公式
Figure BDA00027803149000001822
得到第e个局部窗口中第p个像素点和中心像素点的色彩差值Δ2Cpc；
采用计算机根据公式
Figure BDA00027803149000001823
得到第e个局部窗口中第p个像素点和中心像素点的距离值Δ2Spc；
步骤D、采用计算机根据公式
Figure BDA0002780314900000191
得到第e个局部窗口中第p个像素点的权值w(p)；其中，
Figure BDA0002780314900000192
表示调节颜色的参数，且
Figure BDA0002780314900000193
的取值为0.1，
Figure BDA0002780314900000194
表示调节距离的参数，且
Figure BDA0002780314900000195
的取值为9；
步骤E、采用计算机根据公式f′(p)＝f(p)×w(p)，得到第e个局部窗口中第p个像素点的优化后视差值f′(p)；其中，f(p)表示视差图第e个局部窗口中第p个像素点的视差值；
步骤F、采用计算机将视差图第e个局部窗口中中心像素点
Figure BDA0002780314900000196
的视差值以及第e个局部窗口中各个像素点的优化后视差值从小到大进行排序，并获取优化后的视差中值；
步骤G、采用计算机将第e个局部窗口的中心像素点的视差值替换为优化后的视差中值；
步骤H、多次重复步骤步骤A至步骤G，得到优化后的视差图。
本实施例中，步骤303中得到左校正图像中R分量的比例系数
Figure BDA0002780314900000197
左校正图像中G分量的比例系数
Figure BDA0002780314900000198
和左校正图像中B分量的比例系数
Figure BDA0002780314900000199
具体过程如下：
步骤3031、计算机从左校正图像的R分量二维矩阵中获取第i个左像素点的R分量并记作
Figure BDA00027803149000001910
计算机从左校正图像的G分量二维矩阵中获取第i个左像素点的G分量并记作
Figure BDA00027803149000001911
计算机从左校正图像的B分量二维矩阵中获取第i个左像素点的B分量并记作
Figure BDA00027803149000001912
步骤3032、计算机根据公式
Figure BDA00027803149000001913
得到左校正图像中R分量的比例系数
Figure BDA00027803149000001914
计算机根据公式
Figure BDA00027803149000001915
得到左校正图像中G分量的比例系数
Figure BDA0002780314900000201
计算机根据公式
Figure BDA0002780314900000202
得到左校正图像中B分量的比例系数
Figure BDA0002780314900000203
本实施例中，将视差图划分多个局部窗口，且局部窗口为3×3或者7×7的局部窗口。
本实施例中，需要说明的是，e和p均为正整数。
本实施例中，第j个右像素点的R分量
Figure BDA0002780314900000204
第j个右像素点的G分量，
Figure BDA0002780314900000205
和第j个右像素点的B分量
Figure BDA0002780314900000206
分别从右校正图像的R分量二维矩阵、右校正图像的G分量二维矩阵和右校正图像的B分量二维矩阵中获取。
本实施例中，需要说明的是，fs表示待遍历像素点的序号，且待遍历像素点的序号是按照距离第i个左像素点
Figure BDA0002780314900000207
由近至远排序的。
本实施例中，需要说明的是，第i个左像素点
Figure BDA0002780314900000208
正上方的各个待遍历像素点和正下方的各个待遍历像素点与第i个左像素点
Figure BDA0002780314900000209
位于同一列上。
第i个左像素点
Figure BDA00027803149000002010
正左方的各个待遍历像素点和正右方的各个待遍历像素点与第i个左像素点
Figure BDA00027803149000002011
位于同一行上。
本实施例中，需要说明的是，步骤6015中，当fs＝1时，则第fs-1个待遍历像素点和第i个左像素点
Figure BDA00027803149000002012
之间的像素个数为零，则第i个左像素点
Figure BDA00027803149000002013
正上遍历的最大像素个数Ls为零。
本实施例中，需要说明的是，视差设定值的最大值为m-1。
本实施例中，需要说明的是，当第一待匹配点
Figure BDA00027803149000002014
的待判断视差
Figure BDA00027803149000002015
和第二待匹配点
Figure BDA00027803149000002016
的待判断视差
Figure BDA00027803149000002017
相同时，待匹配点的待判断视差较小值
Figure BDA00027803149000002018
为
Figure BDA00027803149000002019
或者
Figure BDA00027803149000002020
本实施例中，实际使用时，本发明的方法还可用于以右校正图像为基准，按照步骤一致步骤八所述的方法，得到右校正图像对应的视差图。
本实施例中，需要说明的是，左图像和右图像还可以采用Middlebury平台提供的图像数据集，该图像数据集是一个开源的立体匹配数据集，并且图像已经过极线校正。
本实施例中，需要说明的是，计算机采用极线校正算法分别对左图像和右图像进行极线校正，是因为极线校正是要把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，只需在同一行上搜索左图像和右图像的匹配点即可，能使效率大大提高。
本实施例中，极线校正算法可采用Bouguet极线校正算法。
本实施例中，经过步骤102得到左校正图像和右校正图像，且得到左校正图像如图2a所示，右校正图像如图2b所示。
本实施例中，经过步骤805得到视差图，如图2c所示。
本实施例中，采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图，如图2d所示。从图2d可以看到，通过根据颜色相似性和距离相近性确定加权中值滤波的权重系数进行视差优化，获取了高精度的视差图，进一步降低了算法的误匹配率。
综上所述，本发明方法步骤简单，基于色彩权值进行局部立体匹配，不仅提高了立体匹配的准确度，而且对视差图进行优化，提高了视差图的准确度，便于视差图后续的深度信息分析。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (5)

1.一种局部立体匹配方法，其特征在于，该方法包括以下步骤：
步骤一、图像采集及极线校正：
步骤101、双目相机包括左相机和右相机，左相机获取左图像并发送至计算机，同时，右相机获取右图像并发送至计算机，计算机得到左图像和右图像；
步骤102、计算机采用极线校正算法分别对左图像和右图像进行极线校正，得到左校正图像和右校正图像；其中，左校正图像IL和右校正图像IR均为彩色图像，且左校正图像IL和右校正图像IR的行数均为n，左校正图像IL和右校正图像IR的列数均为m；
步骤103、计算机将左校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；且I＝n×m；其中，n、m和I均为正整数；
计算机将右校正图像中各个像素点按照从左到右从上到下的顺序排序，得到I个像素点；
步骤104、以图像左上角为原点o，过原点o且沿图像的行方向为图像的u轴，过原点o且沿图像的列方向为图像的v轴，得到像素坐标系ouv；
步骤二、RGB三分量提取：
采用计算机调取RGB分量提取模块，从左校正图像和右校正图像分别提取R分量、G分量和B分量，得到左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，以及右校正图像的R分量二维矩阵、右校正图像的G分量二维矩阵和右校正图像的B分量二维矩阵；
步骤三、颜色匹配代价的获取：
步骤301、以左校正图像为基准，从右校正图像中进行判断，设定左校正图像IL中拍摄区域对应点的左像素点记作第i个左像素点，且第i个左像素点在像素坐标系ouv中的坐标记作第i个左像素点的坐标
Figure FDA0002780314890000011
设定右校正图像IR中拍摄区域对应点的右像素点记作第j个右像素点，且第j个右像点在像素坐标系ouv中的坐标记作为第j个右像点的坐标
Figure FDA0002780314890000021
且
Figure FDA0002780314890000022
其中，1≤i≤I，1≤j≤I，i和j均为正整数；
步骤302、左校正图像和右校正图像中，设定
Figure FDA0002780314890000023
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤303、计算机根据左校正图像的R分量二维矩阵、左校正图像的G分量二维矩阵和左校正图像的B分量二维矩阵，得到左校正图像中R分量的比例系数
Figure FDA0002780314890000024
左校正图像中G分量的比例系数
Figure FDA0002780314890000025
和左校正图像中B分量的比例系数
Figure FDA0002780314890000026
步骤304、计算机根据公式
Figure FDA0002780314890000027
得到第i个左像素点在视差为da时的R分量绝对值差；计算机根据公式
Figure FDA0002780314890000028
得到第i个左像素点在视差为da时的G分量绝对值差；计算机根据公式
Figure FDA0002780314890000029
得到第i个左像素点在视差为da时的B分量绝对值差；其中，
Figure FDA00027803148900000210
表示第i个左像素点的R分量，
Figure FDA00027803148900000211
表示第i个左像素点的G分量，
Figure FDA00027803148900000212
表示第i个左像素点的B分量；
Figure FDA00027803148900000213
表示第j个右像素点的R分量，
Figure FDA00027803148900000214
表示第j个右像素点的G分量，
Figure FDA00027803148900000215
表示第j个右像素点的B分量；
步骤305、计算机根据公式
Figure FDA00027803148900000216
得到第i个左像素点在视差为da时的颜色代价
Figure FDA00027803148900000217
其中，w1表示第一加权系数，w2表示第二加权系数，w3表示第三加权系数；
步骤四、梯度匹配代价的获取:
步骤401、计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像；
步骤402、设定左灰度图像中拍摄区域对应点的第i个像素点记作第i个左灰度像素点，且第i个左灰度像素点在像素坐标系ouv中的坐标记作第i个左灰度像素点的坐标
Figure FDA00027803148900000218
设定右灰度图像中拍摄区域对应点的第j个像素点记作第j个右灰度像素点，且第j个右灰度像素点在像素坐标系ouv中的坐标记作为第j个右灰度像素点的坐标
Figure FDA0002780314890000031
且
Figure FDA0002780314890000032
步骤403、左灰度图像和右灰度图像中，设定
Figure FDA0002780314890000033
其中，a为自然数，当a＝0时，初始视差值设定值d0为零；当a≥1时，da＝da-1+1，da表示第a个视差设定值，da-1表示第a-1个视差设定值；
步骤404、当
Figure FDA0002780314890000034
时，计算机根据公式
Figure FDA0002780314890000035
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure FDA0002780314890000036
其中，
Figure FDA0002780314890000037
表示左灰度图像中
Figure FDA0002780314890000038
坐标处的像素点的灰度值，
Figure FDA0002780314890000039
表示第i个左灰度像素点的灰度值；
当
Figure FDA00027803148900000310
时，计算机根据公式
Figure FDA00027803148900000311
得到左灰度图像中第i个左灰度像素点沿u方向的灰度梯度
Figure FDA00027803148900000312
其中，
Figure FDA00027803148900000313
表示左灰度图像中
Figure FDA00027803148900000314
坐标处的像素点的灰度值，
当
Figure FDA00027803148900000315
时，计算机根据公式
Figure FDA00027803148900000316
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure FDA00027803148900000317
其中，
Figure FDA00027803148900000318
表示右灰度图像中
Figure FDA00027803148900000319
坐标处的像素点的灰度值，
Figure FDA00027803148900000320
表示第i个右灰度像素点的灰度值；
当
Figure FDA00027803148900000321
时，计算机根据公式
Figure FDA00027803148900000322
得到右灰度图像中第j个右灰度像素点沿u方向的灰度梯度
Figure FDA00027803148900000323
其中，
Figure FDA00027803148900000324
表示右灰度图像中
Figure FDA00027803148900000325
坐标处的像素点的灰度值；
步骤405、计算机根据公式
Figure FDA00027803148900000326
得到第i个左像素点在视差为da时u方向的灰度梯度差值
Figure FDA00027803148900000327
步骤五、匹配代价函数的获取：
计算机建立第i个左像素点在视差为da时的匹配代价函数，如下式：
Figure FDA00027803148900000328
其中，α表示平衡颜色和梯度的因子，τD表示颜色阈值，τG表示梯度阈值，min(·)表示取最小值；
步骤六、判断窗口区域的获取：
步骤601、左校正图像中，当对第i个左像素点
Figure FDA0002780314890000041
进行正上方遍历时，具体过程如下：
步骤6011、如果第i个左像素点
Figure FDA0002780314890000042
位于图像边界，则停止正上方遍历，得到第i个左像素点
Figure FDA0002780314890000043
正上遍历的最大像素个数Ls＝0；如果第i个左像素点
Figure FDA0002780314890000044
不位于图像边界，执行步骤6012；
步骤6012、对第i个左像素点
Figure FDA0002780314890000045
正上方的第fs个待遍历像素点
Figure FDA0002780314890000046
进行判断，判断
Figure FDA0002780314890000047
是否成立，如果
Figure FDA0002780314890000048
成立，执行步骤6013和步骤6014；否则，执行步骤6015；其中，
Figure FDA0002780314890000049
表示第i个左像素点
Figure FDA00027803148900000410
正上方的第fs个待遍历像素点的R分量，fs为正整数，τa表示判断阈值；
步骤6013、如果第i个左像素点
Figure FDA00027803148900000411
正上方的第fs个待遍历像素点位于图像边界，停止正上方遍，则第fs个待遍历像素点和第i个左像素点
Figure FDA00027803148900000412
之间的像素个数为第i个左像素点
Figure FDA00027803148900000413
正上遍历的最大像素个数Ls；
步骤6014、如果第i个左像素点
Figure FDA00027803148900000414
正上方的第f个待遍历像素点不位于图像边界，按照步骤6012所述的方法对第i个左像素点
Figure FDA00027803148900000415
正上方的下一个待遍历像素点进行判断；
步骤6015、如果
Figure FDA00027803148900000416
不成立，停止正上方遍，则第fs-1个待遍历像素点和第i个左像素点
Figure FDA00027803148900000417
之间的像素个数为第i个左像素点
Figure FDA00027803148900000418
正上遍历的最大像素个数Ls；
步骤602、按照步骤6011所述的方法，对第i个左像素点
Figure FDA00027803148900000419
进行正下方遍历，得到第i个左像素点
Figure FDA00027803148900000420
正下方遍历的最大像素个数Lx；
步骤603、按照步骤6011所述的方法，对第i个左像素点
Figure FDA00027803148900000421
进行正左方遍历，得到第i个左像素点
Figure FDA00027803148900000422
正左方遍历的最大像素个数Lz；
步骤604、按照步骤6011所述的方法，对第i个左像素点
Figure FDA00027803148900000423
进行正右方遍历，得到第i个左像素点
Figure FDA00027803148900000424
正右方遍历的最大像素个数Ly；
步骤605、左校正图像IL中第i个左像素点
Figure FDA00027803148900000425
正上方遍历的最大像素个数Ls、第i个左像素点
Figure FDA00027803148900000426
正下方遍历的最大像素个数Lx、第i个左像素点
Figure FDA0002780314890000051
正左方遍历的最大像素个数Lz和第i个左像素点
Figure FDA0002780314890000052
正右方遍历的最大像素个数Ly围设的区域为第i个左像素点
Figure FDA0002780314890000053
的判断窗口区域；
步骤七、匹配代价的聚合：
步骤701、采用计算机获取第i个左像素点
Figure FDA0002780314890000054
的判断窗口区域中的像素总数量并记作R，采用计算机获取第i个左像素点
Figure FDA0002780314890000055
的判断窗口区域中各个像素的灰度值；
步骤702、采用计算机调取均值处理模块，并输入第i个左像素点
Figure FDA0002780314890000056
的判断窗口区域中的像素总数量R和第i个左像素点
Figure FDA0002780314890000057
的判断窗口区域中各个像素的灰度值，得到第i个左像素点
Figure FDA0002780314890000058
的判断窗口区域的像素均值并记作μi；
采用计算机调取方差处理模块，并输入第i个左像素点
Figure FDA0002780314890000059
的判断窗口区域中的像素总数量R、第i个左像素点
Figure FDA00027803148900000510
的判断窗口区域中各个像素的灰度值和第i个左像素点
Figure FDA00027803148900000511
的判断窗口区域的像素均值μi，得到第i个左像素点
Figure FDA00027803148900000512
的判断窗口区域的方差并记作
Figure FDA00027803148900000513
步骤703、采用计算机将第i个左像素点
Figure FDA00027803148900000514
的判断窗口区域中除去第i个左像素点
Figure FDA00027803148900000515
后的各个像素点按照从上到下从左到右的顺序排序，则第i个左像素点
Figure FDA00027803148900000516
的判断窗口区域的权重为
Figure FDA00027803148900000517
且
Figure FDA00027803148900000518
其中，r为正整数，且1≤r≤R-1，
Figure FDA00027803148900000519
表示左灰度图像第i个左像素点
Figure FDA00027803148900000520
的判断窗口区域中除去第i个左像素点
Figure FDA00027803148900000521
后的第r个像素点的灰度值，
Figure FDA00027803148900000522
表示左灰度图像第i个左像素点
Figure FDA00027803148900000523
的灰度值，ε表示平滑常数；
步骤704、按照步骤三至步骤五所述的方法，得到第i个左像素点
Figure FDA00027803148900000524
的判断窗口区域中除去第i个左像素点
Figure FDA00027803148900000525
后的第r个像素点在视差da下的匹配代价函数
Figure FDA00027803148900000526
步骤705、采用计算机根据公式
Figure FDA00027803148900000527
得到第i个左像素点
Figure FDA00027803148900000528
在视差da下的匹配代价聚合值
Figure FDA00027803148900000529
步骤706、采用计算机将第i个左像素点
Figure FDA0002780314890000061
在视差d1下的匹配代价聚合值，第i个左像素点
Figure FDA0002780314890000062
在视差d2下的匹配代价聚合值，...，第i个左像素点
Figure FDA0002780314890000063
在视差da下的匹配代价聚合值从小到大进行排序，得到匹配代价聚合值最小值，则匹配代价聚合值最小值所对应的视差为第i个左像素点
Figure FDA0002780314890000064
的待判断视差并记作
Figure FDA0002780314890000065
步骤八、视差优化：
步骤801、采用计算机将右校正图像中与左校正图像中第i个左像素点
Figure FDA0002780314890000066
视差为
Figure FDA0002780314890000067
的右像素点记作第i个左像素点
Figure FDA0002780314890000068
的第一待匹配点
Figure FDA0002780314890000069
和第二待匹配点
Figure FDA00027803148900000610
步骤802、以右校正图像为基准，按照步骤三至步骤七所述的方法，从左校正图像中进行判断，获取第一待匹配点
Figure FDA00027803148900000611
的待判断视差
Figure FDA00027803148900000612
和第二待匹配点
Figure FDA00027803148900000613
的待判断视差
Figure FDA00027803148900000614
从第一待匹配点
Figure FDA00027803148900000615
的待判断视差
Figure FDA00027803148900000616
和第二待匹配点
Figure FDA00027803148900000617
的待判断视差
Figure FDA00027803148900000618
中获取待匹配点的待判断视差较小值
Figure FDA00027803148900000619
步骤803、采用计算机判断
Figure FDA00027803148900000620
是否成立，当
Figure FDA00027803148900000621
成立，则左校正图像中第i个左像素点
Figure FDA00027803148900000622
和右校正图像中
Figure FDA00027803148900000623
所对应的待匹配像素点为匹配像素点，则左校正图像中第i个左像素点
Figure FDA00027803148900000624
的视差值为
Figure FDA00027803148900000625
当
Figure FDA00027803148900000626
不成立，执行步骤804；
步骤804、以左校正图像为基准，按照步骤三至步骤八所述的方法，获取左校正图像中左像素点
Figure FDA00027803148900000627
视差
Figure FDA00027803148900000628
和左校正图像中左像素点
Figure FDA00027803148900000629
视差
Figure FDA00027803148900000630
则左校正图像中第i个左像素点
Figure FDA00027803148900000631
的视差值为
Figure FDA00027803148900000632
步骤805、采用计算机根据左校正图像中第i个左像素点
Figure FDA00027803148900000633
的视差值，获取视差图；
步骤806、采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图。
2.按照权利要求1所述的一种局部立体匹配方法，其特征在于：步骤401中计算机对左校正图像和右校正图像进行灰度化处理，得到左灰度图像和右灰度图像，具体过程如下：
计算机根据公式
Figure FDA0002780314890000071
Figure FDA0002780314890000072
或者
Figure FDA0002780314890000073
对左校正图像进行灰度处理，得到左灰度图像；
Figure FDA0002780314890000074
表示左灰度图像中第i个左灰度像素点
Figure FDA0002780314890000075
的灰度值；
计算机根据公式
Figure FDA0002780314890000076
Figure FDA0002780314890000077
或者
Figure FDA0002780314890000078
对右校正图像进行灰度处理，得到右灰度图像；
Figure FDA0002780314890000079
表示右灰度图像中第j个右灰度像素点
Figure FDA00027803148900000710
的灰度值。
3.按照权利要求1所述的一种局部立体匹配方法，其特征在于：步骤305中第一加权系数w1＝0.2990，第二加权系数w2＝0.5870，第三加权系数w3＝0.1140；
步骤五中颜色阈值τD的取值为6～8，梯度阈值τG的取值为1～3，平衡颜色和梯度的因子0＜α＜1；
步骤6012中判断阈值τa的取值范围为4.59～7.14；
步骤703中平滑常数ε的取值范围为0.00001～0.0001。
4.按照权利要求1所述的一种局部立体匹配方法，其特征在于：步骤806中采用计算机对视差图进行加权中值滤波处理，得到优化后的视差图，具体过程如下：
步骤8061、采用计算机将视差图中第e个局部窗口进行处理，具体过程如下：
步骤A、采用计算机获取第e个局部窗口的中心像素点的坐标
Figure FDA00027803148900000711
并获取左校正图像IL中
Figure FDA0002780314890000081
像素点的R分量
Figure FDA0002780314890000082
G分量
Figure FDA0002780314890000083
和B分量
Figure FDA0002780314890000084
步骤B、采用计算机获取第e个局部窗口中除去中心像素点
Figure FDA0002780314890000085
后的第p个像素点的坐标
Figure FDA0002780314890000086
并获取左校正图像IL中
Figure FDA0002780314890000087
像素点的R分量
Figure FDA0002780314890000088
G分量
Figure FDA0002780314890000089
和B分量
Figure FDA00027803148900000810
步骤C、采用计算机根据公式
Figure FDA00027803148900000811
得到第e个局部窗口中第p个像素点和中心像素点的色彩差值Δ2Cpc；
采用计算机根据公式
Figure FDA00027803148900000812
得到第e个局部窗口中第p个像素点和中心像素点的距离值Δ2Spc；
步骤D、采用计算机根据公式
Figure FDA00027803148900000813
得到第e个局部窗口中第p个像素点的权值w(p)；其中，
Figure FDA00027803148900000814
表示调节颜色的参数，且
Figure FDA00027803148900000815
的取值为0.1，
Figure FDA00027803148900000816
表示调节距离的参数，且
Figure FDA00027803148900000817
的取值为9；
步骤E、采用计算机根据公式f′(p)＝f(p)×w(p)，得到第e个局部窗口中第p个像素点的优化后视差值f′(p)；其中，f(p)表示视差图第e个局部窗口中第p个像素点的视差值；
步骤F、采用计算机将视差图第e个局部窗口中中心像素点
Figure FDA00027803148900000818
的视差值以及第e个局部窗口中各个像素点的优化后视差值从小到大进行排序，并获取优化后的视差中值；
步骤G、采用计算机将第e个局部窗口的中心像素点的视差值替换为优化后的视差中值；
步骤H、多次重复步骤步骤A至步骤G，得到优化后的视差图。
5.按照权利要求1所述的一种局部立体匹配方法，其特征在于：步骤303中得到左校正图像中R分量的比例系数
Figure FDA00027803148900000819
左校正图像中G分量的比例系数
Figure FDA00027803148900000820
和左校正图像中B分量的比例系数
Figure FDA00027803148900000821
具体过程如下：
步骤3031、计算机从左校正图像的R分量二维矩阵中获取第i个左像素点的R分量并记作
Figure FDA00027803148900000822
计算机从左校正图像的G分量二维矩阵中获取第i个左像素点的G分量并记作
Figure FDA0002780314890000091
计算机从左校正图像的B分量二维矩阵中获取第i个左像素点的B分量并记作
Figure FDA0002780314890000092
步骤3032、计算机根据公式
Figure FDA0002780314890000093
得到左校正图像中R分量的比例系数
Figure FDA0002780314890000094
计算机根据公式
Figure FDA0002780314890000095
得到左校正图像中G分量的比例系数
Figure FDA0002780314890000096
计算机根据公式
Figure FDA0002780314890000097
得到左校正图像中B分量的比例系数
Figure FDA0002780314890000098
CN202011279580.4A 2020-11-16 2020-11-16 一种局部立体匹配方法 Active CN112348871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011279580.4A CN112348871B (zh) 2020-11-16 2020-11-16 一种局部立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011279580.4A CN112348871B (zh) 2020-11-16 2020-11-16 一种局部立体匹配方法

Publications (2)

Publication Number Publication Date
CN112348871A true CN112348871A (zh) 2021-02-09
CN112348871B CN112348871B (zh) 2023-02-10

Family

ID=74362866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011279580.4A Active CN112348871B (zh) 2020-11-16 2020-11-16 一种局部立体匹配方法

Country Status (1)

Country Link
CN (1) CN112348871B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN103996201A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于改进梯度和自适应窗口的立体匹配方法
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
KR101714896B1 (ko) * 2015-09-09 2017-03-23 중앙대학교 산학협력단 지능형 운전자 보조 시스템을 위한 광량 변화에 강건한 스테레오 정합 장치 및 방법
US20170083787A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Fast Cost Aggregation for Dense Stereo Matching
CN107133924A (zh) * 2017-03-31 2017-09-05 长安大学 一种利用颜色二阶变化信息的保结构特征图像滤波方法
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN103996201A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于改进梯度和自适应窗口的立体匹配方法
KR101714896B1 (ko) * 2015-09-09 2017-03-23 중앙대학교 산학협력단 지능형 운전자 보조 시스템을 위한 광량 변화에 강건한 스테레오 정합 장치 및 방법
US20170083787A1 (en) * 2015-09-18 2017-03-23 Qualcomm Incorporated Fast Cost Aggregation for Dense Stereo Matching
CN105513064A (zh) * 2015-12-03 2016-04-20 浙江万里学院 一种基于图像分割和自适应权重的立体匹配方法
CN106228605A (zh) * 2016-07-29 2016-12-14 东南大学 一种基于动态规划的立体匹配三维重建方法
CN107133924A (zh) * 2017-03-31 2017-09-05 长安大学 一种利用颜色二阶变化信息的保结构特征图像滤波方法
CN108010075A (zh) * 2017-11-03 2018-05-08 华南理工大学 一种基于多特征联合的局部立体匹配方法
CN108682026A (zh) * 2018-03-22 2018-10-19 辽宁工业大学 一种基于多匹配基元融合的双目视觉立体匹配方法
CN110148181A (zh) * 2019-04-25 2019-08-20 青岛康特网络科技有限公司 一种通用双目立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PUXIA HAN等: "Fusion of texture, color and gradient information for stereo matching cost computation", 《2017 2ND INTERNATIONAL CONFERENCE ON IMAGE, VISION AND COMPUTING (ICIVC)》 *
欧永东等: "基于改进Census变换的多特性立体匹配算法", 《计算机工程与科学》 *

Also Published As

Publication number Publication date
CN112348871B (zh) 2023-02-10

Similar Documents

Publication Publication Date Title
CN109472776B (zh) 一种基于深度显著性的绝缘子检测及自爆识别方法
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN109211198B (zh) 一种基于三目视觉的智能目标检测和测量系统和方法
CN111189387A (zh) 一种基于机器视觉的工业零件尺寸检测方法
CN109711268B (zh) 一种人脸图像筛选方法及设备
CN113808180B (zh) 一种异源图像配准方法、系统及装置
CN108416801B (zh) 一种面向立体视觉三维重建的Har-SURF-RAN特征点匹配方法
CN114034288B (zh) 海底微地形激光线扫描三维探测方法及系统
CN107481271A (zh) 一种立体匹配方法、系统及移动终端
CN111178193A (zh) 一种车道线的检测方法、检测装置及计算机可读存储介质
CN114842308B (zh) 一种基于全特征融合建立目标预判优化模型的方法
CN113570658A (zh) 基于深度卷积网络的单目视频深度估计方法
CN114463425B (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN115222819A (zh) 一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法
CN113052110B (zh) 一种基于多视图投影和深度学习的三维兴趣点提取方法
CN112348871B (zh) 一种局部立体匹配方法
CN116958092A (zh) 一种基于改进立体匹配算法的输电线路弧垂快速测量方法
CN115830514B (zh) 一种适用于带弯曲河道的全河段表面流速计算方法及系统
CN112396016A (zh) 一种基于大数据技术的人脸识别系统
CN114882095B (zh) 一种基于轮廓匹配的物体高度在线测量方法
CN114862765B (zh) 一种细胞分层图像处理方法
CN116739986A (zh) Auv在输水隧洞内对典型缺陷检测的光学声学组合方法
CN110070604B (zh) 一种基于单幅回转体图像文化遗址的三维重建方法
CN110473258B (zh) 基于点线统一框架的单目slam系统初始化算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant