CN111951339A - 利用异构双目相机进行视差计算的图像处理方法 - Google Patents

利用异构双目相机进行视差计算的图像处理方法 Download PDF

Info

Publication number
CN111951339A
CN111951339A CN202010680676.5A CN202010680676A CN111951339A CN 111951339 A CN111951339 A CN 111951339A CN 202010680676 A CN202010680676 A CN 202010680676A CN 111951339 A CN111951339 A CN 111951339A
Authority
CN
China
Prior art keywords
image
heterogeneous
narrow
wide
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010680676.5A
Other languages
English (en)
Inventor
王森
陈禹行
范圣印
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Yihang Yuanzhi Intelligent Technology Co Ltd
Original Assignee
Suzhou Yihang Yuanzhi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Yihang Yuanzhi Intelligent Technology Co Ltd filed Critical Suzhou Yihang Yuanzhi Intelligent Technology Co Ltd
Priority to CN202010680676.5A priority Critical patent/CN111951339A/zh
Publication of CN111951339A publication Critical patent/CN111951339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T5/70—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

一种利用异构双目相机进行视差计算的图像处理方法和装置，分为异构相机离线处理和异构相机在线处理两部分。其中，异构相机离线处理通过对广视角与窄视角图像进行处理，获取图像之间的内外参，并将裁剪方案和标定结果输出给在线处理部分使用；异构相机在线处理包括分别对窄视角图像读取和对广视角图像采用深度学习超分辨率模型进行处理，然后经过后处理后对左右目图像进行立体校正和立体匹配，生成初始视差图。所述方法保证了异构相机视差计算的优异效果与实际测距的准确性。实现了实际无人驾驶车辆中，无需特别安装同构相机，仅利用已有的车载异构相机即可达到高精度视差计算的目的。

Description

利用异构双目相机进行视差计算的图像处理方法
技术领域
本公开涉及无人驾驶中的计算机视觉技术领域，具体涉及利用异构双目相机进行视差计算的图像处理方法和装置。
背景技术
近年来，无人驾驶技术发展迅猛，基于计算机图像处理的视觉感知系统在无人驾驶、移动机器人和/或图像监控领域中得到广泛应用。在现有的无人驾驶车辆研究中，一方面，无人驾驶车辆上会根据测量需要安装各种不同类型的相机，如根据视场、灵敏度、分辨率、尺寸等不同需要设置多个不同的前视相机，相机的特性差异也较大(广角、长焦等)，这是当前无人驾驶车辆中相机配置的通常实际情况；另一方面，这些单个的相机作为单目相机使用时虽然满足了各自的测量场合需要，但是在视差计算和深度测量方面由于单目相机所固有的限制不可避免地会出现测量稳定性和测距能力的不足；再一方面，虽然众所周知，双目相机在视差计算以及深度测量方面拥有比单目相机更好的稳定性与测距能力，但往往受实际无人驾驶车辆中相机的配置情况以及安装尺寸、设备成本、车载嵌入式处理器处理能力的限制，不可能在无人驾驶车辆中年处处设置传统意义上的参数相同的双目相机即同构相机；更进一步地，无人驾驶车辆中异构相机的广视角相机能够提供更好的感光性，窄视角相机则提供更高的分辨率，如果能够结合两种相机的优势，则能实现对无人驾驶车辆周围的复杂环境，诸如行人、车辆、路面等一系列感兴趣对象的距离测量；因此，将现有的无人驾驶车辆上安装的各个相机组成异构相机进行双目相机的视差计算具有非常实用的现实意义。
为了解现有技术的发展状况，本公开对已有的专利和论文进行了检索、比较和分析。然而，对于异构相机测距问题，现有研究方案非常少，相关技术方案如下：
1、论文Aditya K P,Reddy V K,Ramasangu H.Enhancement Technique forImproving the Reliability of Disparity Map under Low Light Condition[J].Procedia Technology,2014,14:236-243.，针对暗光情况下立体相机匹配提出了一种图像预处理方案。该方案通过直方图均衡化、高斯滤波、中值滤波预处理，降低了立体图像中亮度与噪声对与视差计算的影响。虽然该方法优化了在暗光应用场景中视差图效果，但其方案仅仅针对同构相机而言，在异构相机上该方法不能取得良好效果且对图像边缘细节保护较差。
2、论文Patrik KAMENCAY,Martin BREZNAN,Roman JARINA,Peter LUKAC,MartinaZACHARIASOVA.Improved Depth Map Estimation from Stereo Images Based on HybridMethod.10.1109/JSEE.2012.00039.，提出通过图像分割技术优化立体匹配的方法。具体而言，采用均值漂移算法(Mean Shift)进行图像分割，置信度传播算法(BeliefPropagation)进一步优化分割。然而，该方法也仅能够针对同构相机产生效果良好的视差图，针对异构图像对并不适用，因为异构图像对的差异过大。
3、中国专利文献CN105550665B(“一种基于双目视觉的无人驾驶汽车可通区域检测方法”)针对立体图像采用色彩恒常性方法对左右目图像进行色彩增强处理，其后转成灰度图加入立体匹配算法。该方法从图像色彩角度进行预处理，虽然一定程度上改善了视差，但其仅考虑单一因素，视差效果有待进一步加强。
4、美国专利文献US20200134848A1(“System and method for disparityestimation using cameras with different fields of view”)针对窄视角与广视角图像的视差计算提出了TW-SMNet模型，通过多模型融合方法优化。该方法在KITTI数据上具有良好的测距性能，但不可忽视的是，该方法针对的窄视角与广视角仅仅是一倍与两倍变焦，其通过在广角图像中中心裁剪一半图像的做法缺乏一般通用性，并不能适用于实际无人驾驶中的异构相机的视差计算。
可见，现有对同构相机视差计算进行处理的方式并不能直接应用于异构相机，异构相机中左右两相机存在的明显差异(分辨率、视场角等)是其图像处理过程中所必须克服的难点，因此，研究新的能够实现实际无人驾驶车辆行驶过程中利用异构双目相机进行视差计算的图像处理方法成为亟待解决的技术问题。
发明内容
本公开致力于研究利用异构的双目相机进行视察计算前图像预处理，包括超分辨率、图像融合、图像增强、去噪等技术，以便在后续立体匹配部分取得良好视差图效果，实现利用异构相机计算视差的目的。
为解决上述技术问题，根据本公开的一个方面，提供了一种利用异构双目相机进行视差计算的图像处理方法，分为异构相机离线处理和异构相机在线处理两部分，包括：
由异构相机采集异构图像；所述异构图像包括广视角图像和窄视角图像；
所述异构相机离线处理通过对所述广视角图像与窄视角图像进行处理，将裁剪方案和标定结果输出给所述异构相机在线处理部分使用；
所述异构相机在线处理包括：
分别获取所述广视角图像和窄视角图像的数据；
根据异构相机离线处理部分得到的裁剪方案处理所述广视角图像与窄视角图像，使得所述广视角图像与所述窄视角图像在感兴趣区域ROI各物体比例保持一致；
对所述广视角图像采用深度学习超分辨率模型进行处理，增加图像细节；
对所述广视角图像和窄视角图像进行立体校正和立体匹配，生成初始视差图。
优选地，对所述广视角图像与窄视角图像进行的处理包括如下步骤：
步骤1.1、异构相机的初始标定，获取所述异构相机的内外参数；
步骤1.2、广视角与窄视角图像处理，输出裁剪方案；
步骤1.3、异构相机图像处理，在广视角图像中裁剪出矩形区域作为新的图像并放缩至目标分辨率，生成新的标定图像；
步骤1.4、异构相机二次标定，利用上述生成的新标定图像重新立体标定，获取预处理之后图像之间的内外参；
步骤1.5、输出标定结果。
优选地，异构相机在线处理还包括如下步骤：
步骤2.1、异构图像的输入与预处理，输入由异构相机采集的异构图像的数据，在线对每一组输入图像对进行读取与预处理；
步骤2.2、异构图像处理，一方面读取窄视角图像；另一方面读取广视角图像后采用深度学习超分辨率模型进行处理，获取当前帧图像对应的前后帧图像，对相邻帧图像数据进行融合；
步骤2.3、多尺度细节增强技术，对处理后的左右目图像进行细节增强，得到增强细节的异构相机左右目图像；
步骤2.4、图像亮度、色彩增强技术，增强上述异构相机左右目图像的亮度和色彩信息；
步骤2.5、引导滤波，对所述左右目图像进行平滑滤波；
步骤2.6、立体校正，对所述左右目图像进行立体校正；
步骤2.7、立体匹配，生成初始视差图。
优选地，异构相机的初始标定环节首先获取异构相机采集到的原始图像对，针对窄视角图像执行放缩处理。
优选地，所述放缩处理为将所述窄视角图像降采样至分辨率为：
[scalewide·reswide_u,scalewide·reswide_v]
其中scalewide＝0.5，表示图像放缩系数，reswide_u与reswide_v分别表示原广视角图像；所述广视角图像保持其分辨率不变。
优选地，对所述异构相机分别执行离线的相机标定，获取所述异构相机各自的内外参数。
优选地，通过标定得到的相机内参将窄视角图像的四个顶点转化至相机坐标系坐标，相机坐标系中表示距离的坐标统一设置为Znarrow；根据内参矩阵，分别将窄视角相机图像四个顶点即(0,0)、(Wnarrow,0)、(0,Hnarrow)、(Wnarrow,Hnarrow)分别投影至相机坐标系，其中Wnarrow、Hnarrow分别代表图像长宽，具体转换如公式(1)所示：
Figure BDA0002585703950000041
式中Xc、Yc、Zc分别表示上述的窄视角图像顶点在相机坐标系中坐标，fnarrow_x、fnarrow_y、cnarrow_x、cnarrow_y分别表示窄视角图像标定出的内参系数，unarrow、vnarrow则表示窄视角图像的像素坐标系坐标。
优选地，所述Znarrow值的选择根据实际感兴趣距离设定。
优选地，所述Znarrow取值在2～20米范围内。
优选地，所述Znarrow设置为20米。
优选地，设定窄视角图像顶点通过公式(1)转化之后的点表示为Pointi，其中i＝1,2,3,4；为了进一步确定这四个顶点在广视角图像中对应的像素点，将其全部计算成广视角相机坐标系下的坐标点。
优选地，将窄视角相机坐标转换至广视角相机坐标，利用相机间外参Rc与Tc重新计算出广视角相机坐标系下的具体坐标如公式(2)所示：
Point′i＝RcPointi+Tc,i∈[1,2,3,4] (2)
其中Point′i表示Pointi在广角相机坐标系下的新坐标。
优选地，利用广视角相机标定内参将上述四个顶点反投影回图像坐标系，利用公式(3)进行反投影处理：
Figure BDA0002585703950000051
X′c、Y′c、Z′c指代Point′i的三维坐标，fwide_x、fwide_y、cwide_x、cwide_y分别表示广视角图像标定出的内参系数，uwide、vwide表示广视角图像中像素坐标系的点坐标。
优选地，将上述Pointi′转化为广视角图像中像素坐标系的点(uwide,vwide)，这样的点共有四个；这四个点确定了广视角图像的裁定方案。
优选地，异构相机图像处理环节使用上述计算出的四个广视角图像中像素坐标系的点(uwide,vwide)，设定裁定方案计算出来的左上角图像坐标为(uwide_1,vwide_1)，右下角图像坐标为(uwide_4,vwide_4)，在广视角图像中裁剪出一块区域作为新的图像并放缩至目标分辨率，即前述[scalewide·reswide_u,scalewide·reswide_v]。
优选地，针对窄视角图像，只需要对其执行放缩处理，广视角图像与窄视角图像的分辨率从[reswide_u,reswide_v]变成[scalewide·reswide_u,scalewide·reswide_v]，放缩系数saclewide可调整，生成一批新的标定图像。
优选地，所述saclewide＝0.5。
优选地，异构相机二次标定利用上述生成的新标定图像重新立体标定。
优选地，输入异构图像及对其进行预处理的结果。
优选地，针对当前帧广视角图像，根据所述预处理裁剪出新广角图像，采用深度学习超分辨率模型进行处理，为了降低耗时设置超分倍数为2，并降采样两倍回原先分辨率。
优选地，获取当前帧图像对应的前后帧图像，并按照公式(4)重新计算新的当前帧图像，通过前后帧修正超分辨率模型处理带来的部分像素点不可靠问题，
Figure BDA0002585703950000061
其中imgmerge代表处理后的图像，imgpre代表前一帧图像，imgcur代表当前右图，imgpost代表后一帧图像，αpre、βcur、γpost则分别代表了每一张图像帧所占权重；至此完成了广视角图像的处理环节，获得经过预先处理的左右目图像。
优选地，为了提高后续匹配准确率针对所述左右目图像细节部分采用多尺度的细节增强算法进行加强。
优选地，根据已有的左右目图像分别利用公式(5)计算得出对应的3张高斯滤波处理图像：
B1＝G1*I*,B2＝G2*I*,B3＝G3*I* (5)
其中G1、G2、G3分别代表三种类型不同的高斯核，各自标准差设置为σ1＝1.0、σ2＝2.0、σ3＝4.0；I*代表待滤波图像，B1、B2、B3则分别代表经过高斯滤波之后的图像。
优选地，按照图像细节的精细程度降序，分别提取上述高斯滤波后的图像细节D1、D2、D3，提取如公式(6)所示：
D1＝I*-B1,D2＝B1-B2,D3＝B2-B3 (6)。
优选地，在得到上述提取的三种图像细节之后，将三种图像细节进行进一步融合，并将融合后的图像细节添加到原图像中去，融合方式按照公式(7)所示：
Figure BDA0002585703950000062
其中w1、w2、w3分别表示图像细节D1、D2、D3的对应权重，D*则表示最终需要计算的图像细节，sgn(x)为权重分配函数函数，x代表一实数，其定义上式已给出，imgorigin表示输入的原图像，imgmulti_scale表示原图通过多尺度细节增强之后的结果图像。
优选地，使用基于迭代优化的Retinex算法，对图像进行亮度、色彩增强。
优选地，所述对图像进行亮度、色彩增强包括：
原始图像变换至对数域，针对图像像素值进行对数变换，即使用如下公式(8)重新计算像素值：
R(x,y)＝ln(imgmulti_scale(x,y)+1) (8)
其中(x,y)表示像素点具体坐标，R表示对数化图像，imgmulti_scale作为输入图像表示多尺度细节增强之后的图像。若输入图像为彩色图则按照各自通道分别进行对数处理。
优选地，所述对图像进行亮度、色彩增强包括：
常数图像矩阵初始化，建立最终结果图像矩阵OP并完成初始化；针对上一步骤中得到的图像R，遍历其像素得最大值maximum，OP像素值均初始化为maximum且分辨率与输入图像保持一致；针对彩色输入图像，maximum的取值仅限制在当前通道，即存在三个maximum值。
优选地，所述对图像进行亮度、色彩增强包括：
像素比较路径计算，根据预先规定的策略确定一条包含多个像素点的比较路径，比较路径计算的根据与待优化目标点距离有关，每经过两次比较更新一次距离，初始距离的计算以及更新规律依据公式(9)计算得到：
Figure BDA0002585703950000071
其中wimg，himg分别代表图像的长与宽，且考虑了垂直与水平方向，故而每比较两个路径点更新一次距离。
优选地，所述待优化目标点为中心点Pcenter。
优选地，所述对图像进行亮度、色彩增强包括：
迭代优化，针对找到的比较路径中所有像素点，通过与目标点之间进行比较计算，并以迭代的方式更新目标点像素值从而逐渐逼近真实值；中心点为Pcenter，超分辨率模型的路径点按照先后顺序依次与Pcenter进行比较计算，设定比较路径上面的点个数设为m，那么点Pcenter在与点P1～Pm之间的比较过程不断更新像素值，更新依据公式(10)所示：
ln(OP(Pcenter))＝1/2{ln(OP(Pcenter))+[ln(OP(Pi))+ln(R(Pcenter))-ln(R(Pi))]} (10)
其中，i∈{1,2,...,m}；OP()表示OP中每一个像素值指数化计算；每两个路径点比较之后更新一次距离S(即上述Si的更新过程)，显然S更新次数唯一确定，为了不断逼近真实值，引入迭代更新机制，即预先设置迭代次数K并重复K次垂直与水平路径点比较计算过程。
优选地，所述对图像进行亮度、色彩增强包括：
效果图输出，针对对数化的结果图进行后处理，即对OP中每一个像素值指数化计算，如公式(11)所示：
OP(x,y)＝eOP(x,y) (11)
其中，指数变换之后，将OP图像直接线性拉伸，使其转换为像素值范围在0～255的图像，若是彩色图像则将三通道合并，并输出最终最后效果图像。
优选地，对图像进行引导滤波。
优选地，所述对图像进行引导滤波包括：
采用BoxFilter滤波求解均值参数，根据待滤波图像Pguide与引导图像I计算所需的参数，包括引导图像均值meanI、原始待滤波图像均值meanP、图像自相关均值meanII、图像互相关均值meanIP；输入带滤波图像Pguide、引导图像I、半径radius、正则化系数ε，输出上述四种均值，计算过程如公式(12)所示：
Figure BDA0002585703950000081
其中fmean代表上述的BoxFilter滤波，式子中出现的.*以及后续出现的./分别代表了按位乘与按位除操作。
优选地，所述对图像进行引导滤波包括：
自相关方差varI与互相关协方差covIP计算，针对求解得到的四种均值进一步计算，其计算依据公式(13)进行：
Figure BDA0002585703950000091
优选地，所述对图像进行引导滤波包括：
根据最小二乘法计算出引导滤波所需的窗口线性变换参数αguide、βguide，计算依据公式(14)进行：
Figure BDA0002585703950000092
优选地，所述对图像进行引导滤波包括：
计算窗口线性变换系数αguide、βguide的均值meanα、meanβ，利用BoxFilter计算相应系数均值如公式(15)所示：
Figure BDA0002585703950000093
优选地，所述对图像进行引导滤波包括：
最后根据窗口线性变换系数的均值meanα与meanβ计算出引导滤波图像qguide，变换过程保持引导滤波中一点与其临近部分点成线性关系，即如公式(16)所示：
qguide＝meanα.*I+meanβ (16)。
优选地，使用Fusiello极线校正算法或者基于OpenCV的Bouguet校正算法，对左右目图像执行立体校正。
优选地，采用立体匹配算法生成初始视差图。
为解决上述技术问题，根据本公开的再一个方面，提供了一种利用异构双目相机进行视差计算的图像处理装置，包括异构相机离线处理装置和异构相机在线处理装置两部分，
还包括，异构图像采集装置，由异构相机采集异构图像；所述异构图像包括广视角图像和窄视角图像；
所述异构相机离线处理装置通过对所述广视角图像与窄视角图像进行处理，将裁剪方案和标定结果输出给所述异构相机在线处理部分使用；
所述异构相机在线处理装置，
分别获取所述广视角图像和窄视角图像的数据；
根据异构相机离线处理部分得到的裁剪方案处理所述广视角图像与窄视角图像，使得所述广视角图像与所述窄视角图像在感兴趣区域ROI各物体比例保持一致；
对所述广视角图像采用深度学习超分辨率模型进行处理，增加图像细节；
对所述广视角图像和窄视角图像进行立体校正和立体匹配，生成初始视差图。
本公开的有益效果：
1、本公开对于异构相机具有普遍适用性，本公开提到的图像处理方法能够保证异构相机视差计算的优异效果与实际测距的准确性要求。具体而言，针对异构相机存在的图像视角差异，本公开能够保证窄视角图像与广视角图像在ROI(感兴趣区域，region ofinterest)各物体比例的近似一致性，从而保障后续立体校正与立体匹配的可行性；
2、针对处理后的广视角相机图像使用现有的超分辨率技术，使得广角相机图像的质量得到提升，一定程度上弥补了与窄视角相机之间的分辨率差距；
3、考虑了相邻帧之间关系，通过多帧细节融合，进一步加强了超分辨率后图像细节的真实性，保障了后续视差计算的准确性；
4、考虑了异构相机图像细节信息的重要性，通过多尺度细节增强技术加强图像细节，从而提高了视差计算过程中边界处的匹配准确率；
5、考虑了图像处理过程中色彩与亮度的增强要求，采用基于色彩恒常性原理的迭代优化算法，进一步降低了由于异构相机本身相机特性而导致的亮度与色彩差异；
6、考虑了图像边缘对于视差计算的影响，采用具有良好效果的保边缘滤波算法对物体边缘进行保护，从而达到了在平滑去噪的同时兼顾图像边缘细节的要求；
7、对于不同的异构相机具有普遍适用性，此外，所提出的图像处理方法还能够保障异构相机视差计算的效果以及视差图测距的准确度；
8、本公开的技术方案针对噪声、亮度等影响因素具有良好的鲁棒性，克服了异构相机本身特性所导致的亮度与噪声问题；
9、针对感兴趣距离范围以内的物体，测试结果显示，能够保证使用异构相机进行距离测量时的精确性要求。除此之外，所述方法能够提高异构相机立体匹配的准确性，提高小目标物体匹配成功率，进而提升了视差图整体画面质量；
10、基于本方法得到的异构相机视差图能够清晰地显示物体的轮廓，针对多物体场景能够提供高质量视差计算。
附图说明
附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。通过结合附图对本公开的实施例进行详细描述，本公开的上述和其它目的、特征、优点将更加清楚。
图1是特斯拉车身前置相机构成图；
图2是异构相机图像对；
图3是整体图像处理方案流程图；
图4是广视角图像裁剪示意图；
图5是超分辨率模型；
图6是迭代Retinex算法流程图；
图7是像素比较路径计算；
图8是引导滤波流程图；
图9是15米距离处异构相机左右图；
图10是15米距离处异构相机视差图。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
本公开的目的是提供一种利用异构双目相机进行视差计算的图像处理方法和装置。
利用异构双目相机进行视差计算，分为异构相机离线处理和异构相机在线处理两部分。其中，异构相机离线处理通过对广视角与窄视角图像进行处理，获取图像之间的内外参，并将裁剪方案和标定结果输出给在线处理部分使用；异构相机在线处理包括分别对窄视角图像读取和对广视角图像采用深度学习超分辨率模型进行处理，然后经过后处理后对左右目图像进行立体校正和立体匹配，生成初始视差图。所述方法保证了异构相机视差计算的优异效果与实际测距的准确性。实现了实际无人驾驶车辆中，无需特别安装同构相机，仅利用已有的车载异构相机即可进行高精度视差计算的目的。
在无人自动驾驶或者驾驶辅助系统中，无人驾驶车辆的环境感知模块发挥着重要作用，因为无人驾驶车辆周围的环境十分复杂，行人、车辆、路面等一系列感兴趣对象都需要测量距离信息。异构相机的广视角相机能够提供更好的感光性，窄视角相机则提供更高的分辨率，结合两种相机的优势，利用异构相机进行视差计算，则能实现对无人驾驶车辆周围的复杂环境，诸如行人、车辆、路面等一系列感兴趣对象的距离测量。而为了使用异构相机进行视差计算，首先需要解决的问题就是测距性能，本公开针对异构相机提出的图像处理方案能够产生良好的视差计算，保证了无人驾驶车辆的测距准确性。
本公开的异构相机是指诸如分辨率、视场角等存在明显差异的两个或两个以上的相机；分为异构多目相机(两个以上异构相机)或异构双目相机；其中，异构双目相机即指代左右相机存在明显差异(分辨率、视场角等)的一种特殊双目相机。为了简化表达，本公开具体实施方式部分以异构双目相机为例进行示例性说明，本领域技术人员应该知晓本公开的异构相机并不局限于异构双目相机。在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
鉴于目前针对利用异构相机图像计算视差还有如下难点：图像对亮度差异大、图像对细节差异大、如何处理好视场角差异(如何确定合理的广角图像裁剪方案)、图像色彩差异大等；而目前相机测距中的图像处理方法主要有去除噪声、图像色彩增强、图像亮度增强、针对不同变焦倍数左右目图像训练深度学习模型等；但是，去除噪声、图像色彩与亮度增强更加适用于同构相机的视差优化，未能考虑异构左右目图像之间的差异性；基于深度学习的解决方案如今还很少，其往往针对单目、同构相机而言，针对异构图像方法未成熟且不具普适性，车载异构相机往往硬件差异大，针对不同异构相机采用基于深度学习的方法可能存在泛化性弱的问题；并且除此之外，同构的双目相机经济成本高，其出厂组装要求严格并且容易随使用时间发生变形，因此实际应用过程中往往配置多个单目相机(如图1所示)；因此，本公开致力于利用这些单目相机构成异构相机，经过特殊的预处理以执行测距任务，其中，如何对异构双目相机进行视差计算前的图像预处理是本公开进行创新性研究异构双目相机视差计算的核心问题，也是技术难点。基于前述现有技术存在的不足，本公开提出将深度学习与传统计算机视觉融合的异构相机图像处理方案来优化视差计算。
异构相机图像按照视场角(FOV)分为窄视角图像与广视角图像，如图2所示为异构相机采集得到的窄视角与广视角图像对。为了能够对双目图像进行标定、校正等处理，不可避免地对右图进行裁剪。如果仅针对广视角图像执行中心裁剪，则往往不能保证图像中各个物体之间的比例近似相等，这对后续的视差计算效果将产生巨大影响。针对上述技术问题，本公开提出新的裁剪区域选择方法，采用新的可行的裁剪方案，将窄视角与广视角的匹配问题转换为传统同构相机相机的匹配问题。
本公开的整体图像处理方案流程图如图3所示。所述利用异构双目相机进行视差计算的图像处理方法整体上分为异构相机离线处理和异构相机在线处理两部分。
其中，异构相机离线处理包括如下步骤：
步骤1.1、异构相机的初始标定，获取所述异构相机的内外参数；
步骤1.2、广视角与窄视角图像处理，输出裁剪方案；
步骤1.3、异构相机图像处理，在广视角图像中裁剪出矩形区域作为新的图像并放缩至目标分辨率，生成新的标定图像；
步骤1.4、异构相机二次标定，利用上述生成的新标定图像重新立体标定，获取预处理之后图像之间的内外参；
步骤1.5、输出前述步骤的标定结果。
异构相机在线处理包括如下步骤：
步骤2.1、异构图像的输入与预处理，输入由异构相机采集的异构图像，在线对每一组输入图像对进行读取与预处理；
步骤2.2、异构图像处理，一方面读取窄视角图像；另一方面读取广视角图像后采用深度学习超分辨率模型进行处理，获取当前帧图像对应的前后帧图像，对相邻帧图像数据进行融合；
步骤2.3、多尺度细节增强技术，对处理后的左右目图像进行细节增强，得到增强细节的异构相机左右目图像；
步骤2.4、图像亮度、色彩增强技术，增强上述异构相机左右目图像的亮度和色彩信息；
步骤2.5、引导滤波，对所述左右目图像进行平滑滤波；
步骤2.6、立体校正，对所述左右目图像进行立体校正；
步骤2.7、立体匹配，生成初始视差图。
异构相机离线处理：
1、异构相机的初始标定环节首先获取异构相机采集到的原始图像对，针对窄视角图像执行放缩处理，即将其降采样至分辨率为：
[scalewide·reswide_u,scalewide·reswide_v]
其中scalewide＝0.5，表示图像放缩系数，reswide_u与reswide_v分别表示原广视角图像。广视角图像并不做任何处理，即保持其分辨率不变。降采样目的在于降低图像处理时间、加速视差计算的同时减轻相机标定的工作量，因为后续仍将使用窄视角图像的标定结果。对窄视角与广视角图像执行上述的图像处理之后，分别对两相机执行离线的双目标定，从而获取两相机的内外参数。
2、广视角与窄视角图像处理，通过标定得到的相机内参将窄视角图像的四个顶点转化至相机坐标系坐标，相机坐标系中表示距离的坐标统一设置为Znarrow。具体而言，根据内参矩阵，分别将窄视角相机图像四个顶点即(0,0)、(Wnarrow,0)、(0,Hnarrow)、(Wnarrow,Hnarrow)分别投影至相机坐标系，此时Wnarrow、Hnarrow分别代表图像长宽，具体转换如公式(1)所示：
Figure BDA0002585703950000151
式中Xc、Yc、Zc分别表示上述的窄视角图像顶点在相机坐标系中坐标，fnarrow_x、fnarrow_y、cnarrow_x、cnarrow_y分别表示窄视角图像标定出的内参系数，unarrow、vnarrow则表示窄视角图像的像素坐标系坐标。Znarrow值的选择可以根据实际感兴趣距离设定，本公开中关心低速行驶的场景，即2～20米范围内的视差计算，因此将Znarrow设置为20。设定窄视角图像顶点通过上述公式转化之后的点表示为Pointi，其中i＝1,2,3,4。为了进一步确定这四个顶点在广视角图像中对应的像素点，需要将其全部计算成广视角相机坐标系下的坐标点。具体而言，将窄视角相机坐标转换至广视角相机坐标，利用相机间外参Rc与Tc重新计算出广视角相机坐标系下的具体坐标如公式(2)所示：
Point′i＝RcPointi+Tc,i∈[1,2,3,4] (2)
其中Pointi′表示Pointi在广角相机坐标系下的新坐标。至此仅需要通过广视角相机的内参反投影上述坐标，即利用广视角相机标定内参将上述四个点反投影回图像坐标系，利用公式(3)进行反投影处理：
Figure BDA0002585703950000152
X′c、Y′c、Z′c指代Point′i的三维坐标，fwide_x、fwide_y、cwide_x、cwide_y分别表示广视角图像标定出的内参系数，uwide、vwide表示广视角图像中像素坐标系的点坐标。
至此上述Point′i被转化为(uwide,vwide)，这样的点共有四个。保存这一步得到的(uwide,vwide)，这四个点确定了一种广视角图像的裁定方案。
3、异构相机图像处理环节使用上述计算出的四个(uwide,vwide)，设定裁定方案计算出来的左上角图像坐标为(uwide_1,vwide_1)，右下角图像坐标为(uwide_4,vwide_4)，仅使用左上角与右下角即可。在广视角图像中裁剪出这样一块区域作为新的图像并放缩至目标分辨率，即前述[scalewide·reswide_u,scalewide·reswide_v]，如图4所示。针对窄视角图像，只需要对其执行放缩处理即可，因为广视角原图与窄视角原图初始尺寸设置一样，因此广视角图像与窄视角图像的分辨率从[reswide_u,reswide_v]变成了[scalewide·reswide_u,scalewide·reswide_v]，放缩系数saclewide可调整，本公开中saclewide＝0.5。经过上述的图像处理，生成一批新的标定图像。
4、异构相机二次标定利用上述生成的新标定图像重新立体标定，这一步旨在获取预处理之后图像之间的内外参以备后续图像立体校正使用。
将降采样之后的窄视角相机图像的四个顶点投至其相机坐标系中，结合异构相机之间的外参，重新计算出四个顶点在广视角相机坐标系中所对应的坐标，通过广视角相机内参，将顶点坐标进一步反投影回像素平面坐标系，从而找到了左右图处理方案。上述处理方法推导出的左右图处理方案具有如下优点：
1)、传统技术裁剪出的广角图像不能保证窄视角图像与广视角图像中对应物体的尺寸与比例近似相等，这将直接导致后续视差计算效果，而本公开的左右图处理方案保证了窄视角图像与广视角图像中对应物体的尺寸与比例相等。
2)、所述处理方法具有一般性。相对于其他技术而言，在匹配或裁剪出相似区域之后需要进一步人为平移裁剪区域，从而人为制造出左右图像之间的差异，因为这样的差异是视差计算的关键。相对于手动的处理图像，本公开完全基于相机模型，是通过数学原理推导出的合理的方案，减少了手动调试工作量的同时保障了裁剪方案的鲁棒性。
异构相机在线处理：
1、异构图像的输入与预处理
根据前述说明，至此得到了一种广视角图像的裁定方案，利用该方案接下来在线对每一组输入图像对进行读取与预处理。具体而言，针对窄视角相机做放缩处理，放缩系数scalewide＝0.5。针对广视角图像先裁剪出感兴趣区域，之后进一步放缩，同样保持分辨率与窄视角图像放缩后的分辨率一致，这将有助于后续的立体校正与匹配。至此生成好了待处理的原始图像，并将其输出给下一环节处理。
2、广视角图像处理
2.1、针对当前帧广视角图像，根据上一步裁剪出新广角图像，采用深度学习超分辨率模型进行处理，为了降低耗时设置超分倍数为2，并降采样两倍回原先分辨率，图5展示了超分辨率模型SRFBN的框架。
2.2、获取当前帧对应的前后帧，并按照公式(4)重新计算新的当前帧图像，通过前后帧修正超分可能带来的部分像素点不可靠问题：
Figure BDA0002585703950000171
其中imgmerge代表处理后的图像，imgpre代表前一帧图像，imgcur代表当前右图，imgpost代表后一帧图像，αpre、βcur、γpost则分别代表了每一张图像帧所占权重。至此完成了广视角图像的处理环节，在接下来的步骤中将与窄视角图像共同执行相同的处理步骤。
3、多尺度细节增强技术
至此获得经过预先处理的左右目图像，其图像细节部分不够丰富，为了提高后续匹配准确率需要针对左右目图像细节部分进行加强，具体而言执行一种多尺度的细节增强算法。第一步，根据已有的左右目图像分别利用公式(5)计算得出对应的3张高斯滤波处理图像：
B1＝G1*I*,B2＝G2*I*,B3＝G3*I* (5)
其中G1、G2、G3分别代表三种类型不同的高斯核，各自标准差设置为σ1＝1.0、σ2＝2.0、σ3＝4.0。I*代表待滤波图像，B1、B2、B3则分别代表经过高斯滤波之后的图像。
按照图像细节的精细程度降序，分别提取上述高斯滤波后的图像细节D1、D2、D3，具体提取如公式(6)所示：
D1＝I*-B1,D2＝B1-B2,D3＝B2-B3 (6)
在得到上述提取的三种图像细节之后，将三种图像细节进行进一步融合，并将融合后的图像细节添加到原图像中去，具体融合方式按照公式(7)所示：
Figure BDA0002585703950000181
其中w1、w2、w3分别表示图像细节D1、D2、D3的对应权重，D*则表示最终需要计算的图像细节，sgn(x)为权重分配函数函数，x代表一实数，其定义上式已给出，imgorigin表示输入的原图像，imgmulti_scale表示原图通过多尺度细节增强之后的结果图像。
4、图像亮度、色彩增强技术
由于异构相机本身的特性，会导致左右目图像对之间的亮度存在较大的差异。同时，根据色彩恒常性原理，利用Retinex算法针对左右目图像色彩进行增强处理。针对上述两种需求使用基于迭代优化的Retinex算法，其整体流程如图6所示。
4.1、原始图像变换至对数域(图6中第1步)主要针对图像像素值进行对数变换，即使用如下公式(8)重新计算像素值：
R(x,y)＝ln(imgmulti_scale(x,y)+1) (8)
其中(x,y)表示像素点具体坐标，R表示对数化图像，imgmulti_scale作为输入图像表示多尺度细节增强之后的图像。若输入图像为彩色图则按照各自通道分别进行对数处理。
4.2、常数图像矩阵初始化(图6中第2步)将建立最终结果图像矩阵OP并完成初始化。针对上一步骤中得到的图像R，遍历其像素得最大值maximum，OP像素值均初始化为maximum且分辨率与输入图像保持一致。针对彩色输入图像，maximum的取值仅限制在当前通道，即存在三个maximum值。
4.3、像素比较路径计算(图6中第3步)根据预先规定的策略确定一条包含多个像素点的比较路径，该路径包含了整张图的明暗关系，图7显示的是图像中心点Pcenter的螺旋结构比较路径。比较路径计算的根据与待优化目标点(如中心点Pcenter)距离有关，每经过两次比较更新一次距离，初始距离的计算以及更新规律依据公式(9)计算得到：
Figure BDA0002585703950000191
其中wimg，himg分别代表图像的长与宽，且考虑了垂直与水平方向，故而每比较两个路径点更新一次距离。
4.4、迭代优化(图6中第4步)主要针对上述第3步找到的比较路径中所有像素点，通过与目标点之间进行比较计算，并以迭代的方式更新目标点像素值从而逐渐逼近真实值。以中心点Pcenter为例，图5中超分辨率模型的路径点按照箭头所示先后顺序(P1～Pm)依次与Pcenter进行比较计算，设定比较路径上面的点个数设为m，那么点Pcenter在与点P1～Pm之间的比较过程不断更新像素值，更新依据公式(10)所示：
ln(OP(Pcenter))＝1/2{ln(OP(Pcenter))+[ln(OP(Pi))+ln(R(Pcenter))-ln(R(Pi))]} (10)
其中，i∈{1,2,...,m}；OP()表示OP中每一个像素值指数化计算；每两个路径点比较之后更新一次距离S(即上述Si的更新过程)，显然S更新次数唯一确定，为了不断逼近真实值，引入迭代更新机制，即预先设置迭代次数K并重复K次垂直与水平路径点比较计算过程。
为了应对像素值越界问题，即超过ln255，迭代计算过程中的像素值一旦超过maximum，则执行复位操作，即针对超过maximum的像素值均会被设置为maximum。
4.5、效果图输出(图6中第5步)针对对数化的结果图进行后处理，即对OP中每一个像素值指数化计算，如公式(11)所示：
OP(x,y)＝eOP(x,y) (11)
其中，指数变换之后，将OP图像直接线性拉伸，使其转换为像素值范围在0～255的图像，若是彩色图像则将三通道合并，并输出最终最后效果图像。
5、引导滤波
5.1、引导滤波的求解流程图8如下所示。
BoxFilter滤波求解各种均值参数(图8中第1步)根据待滤波图像Pguide与引导图像I计算所需的参数，具体包括引导图像均值meanI、原始待滤波图像均值meanP、图像自相关均值meanII、图像互相关均值meanIP。具体而言，输入带滤波图像Pguide、引导图像I、半径radius、正则化系数ε，输出上述四种均值，计算过程如公式(12)所示：
Figure BDA0002585703950000201
其中fmean代表上述的BoxFilter滤波，式子中出现的.*以及后续出现的./分别代表了按位乘与按位除操作。
5.2、自相关方差varI与互相关协方差covIP计算(图8中第2步)主要针对上面第1步求解得到的四种均值进一步计算得到，其计算依据公式(13)进行：
Figure BDA0002585703950000202
5.3、根据最小二乘法计算出引导滤波所需的窗口线性变换参数αguide、βguide(图8中第3步)，其最终的计算依据公式(14)进行：
Figure BDA0002585703950000203
5.4、计算窗口线性变换系数αguide、βguide的均值meanα、meanβ(图8中第4步)，其计算过程与步骤1完全相同，同样利用BoxFilter计算相应系数均值如公式(15)所示：
Figure BDA0002585703950000204
5.5、最后根据上述计算得到的窗口线性变换均值系数meanα与meanβ计算出引导滤波图像qguide(图8中第5步)，具体的变换过程保持了引导滤波中一点与其临近部分点成线性关系，即如公式(16)所示：
qguide＝meanα.*I+meanβ (16)
由于使用了引导滤波进行图像的平滑滤波，能够在滤波的同时更大程度上保留物体边缘的细节，更能保证后续视差图的效果。
6、立体校正
针对上述步骤处理后的左右目图像执行立体校正，使用Fusiello极线校正算法或者基于OpenCV的Bouguet校正算法，立体校正的依据为图3中离线处理部分异构相机二次标定的标定结果，通过该步骤后的左右目图像能够达到行对准要求，即左右目图像中对应点之间的位置关系仅存在列数差异。
7、立体匹配
立体匹配部分，沿用现有的立体匹配算法，如SGM、SGBM等传统算法，生成初始视差图，上述算法结果表明本发明在异构相机的立体匹配环节能够取得良好的视差效果。
图9展示了本公开视差计算的原图。图10展示了本公开处理后得到的原始视差图，注意到该视差图为立体匹配产生的初始视差图，即图10并未做任何视差后处理。
相比于现有技术方法均是利用同构相机进行视差计算，本公开直接利用异构相机进行视差计算，本公开对于异构相机具有普遍适用性，所述图像处理方法能够保证异构相机视差计算的优异效果与实际测距的准确性要求，保证了窄视角图像与广视角图像在ROI(感兴趣区域，region of interest)各物体比例的近似一致性，从而保障后续立体校正与立体匹配的可行性。基于本方法得到的异构相机视差图能够清晰地显示物体的轮廓，针对多物体场景能够提供高质量视差计算。所述利用异构相机进行视差计算的方法不仅可以应用于无人驾驶领域，还可以广泛应用于机器人定位以及视频监控中。
本公开针对处理后的广视角相机图像使用现有的超分辨率技术，使得广角相机图像的质量得到提升，一定程度上弥补了与窄视角相机之间的分辨率差距；考虑了相邻帧之间关系，通过多帧细节融合，进一步加强了超分辨率后图像细节的真实性，保障了后续视差计算的准确性；考虑了异构相机图像细节信息的重要性，通过多尺度细节增强技术加强图像细节，从而提高了视差计算过程中边界处的匹配准确率；考虑了图像处理过程中色彩与亮度的增强要求，采用基于色彩恒常性原理的迭代优化算法，进一步降低了由于异构相机本身相机特性而导致的亮度与色彩差异；考虑了图像边缘对于视差计算的影响，采用具有良好效果的保边缘滤波算法对物体边缘进行保护，从而达到了在平滑去噪的同时兼顾图像边缘细节的要求；本公开的技术方案针对噪声、亮度等影响因素具有良好的鲁棒性，克服了异构相机本身特性所导致的亮度与噪声问题；针对感兴趣距离范围以内的物体，测试结果显示，能够保证使用异构相机进行距离测量时的精确性要求。除此之外，所述方法能够提高异构相机立体匹配的准确性，提高小目标物体匹配成功率，进而提升了视差图整体画面质量。所述方法简单可靠，适用于自动驾驶领域车载处理器，在不增加系统硬件配置的情况下能够实现优质的定位效果，具有广泛的应用前景。
综上所述，本公开提出的新的利用异构双目相机进行视差计算的图像处理方法简单可靠，适用于自动驾驶领域车载处理器，在不增加系统硬件配置的情况下能够以低成本的传感器系统、低功耗的车载处理器系统获得高效的辅助定位效果，具有广泛的应用前景。
至此，已经结合附图所示的优选实施方法描述了本公开的技术方案，但是，本领域技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定，本公开的保护范围显然不局限于这些具体实施方式。在不偏离本公开的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本公开的保护范围之内。

Claims (10)

1.一种利用异构双目相机进行视差计算的图像处理方法，其特征在于，分为异构相机离线处理和异构相机在线处理两部分，包括：
由异构相机采集异构图像；所述异构图像包括广视角图像和窄视角图像；
所述异构相机离线处理通过对所述广视角图像与窄视角图像进行处理，将裁剪方案和标定结果输出给所述异构相机在线处理部分使用；
所述异构相机在线处理包括：
分别获取所述广视角图像和窄视角图像的数据；
根据异构相机离线处理部分得到的裁剪方案处理所述广视角图像与窄视角图像，使得所述广视角图像与所述窄视角图像在感兴趣区域ROI各物体比例保持一致；
对所述广视角图像采用深度学习超分辨率模型进行处理，增加图像细节；
对所述广视角图像和窄视角图像进行立体校正和立体匹配，生成初始视差图。
2.根据权利要求1所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
对所述广视角图像与窄视角图像进行的处理包括如下步骤：
步骤1.1、异构相机的初始标定，获取所述异构相机的内外参数；
步骤1.2、广视角与窄视角图像处理，输出裁剪方案；
步骤1.3、异构相机图像处理，在广视角图像中裁剪出矩形区域作为新的图像并放缩至目标分辨率，生成新的标定图像；
步骤1.4、异构相机二次标定，利用上述生成的新标定图像重新立体标定，获取预处理之后图像之间的内外参；
步骤1.5、输出标定结果。
3.根据权利要求1所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
异构相机在线处理还包括如下步骤：
步骤2.1、异构图像的输入与预处理，输入由异构相机采集的异构图像的数据，在线对每一组输入图像对进行读取与预处理；
步骤2.2、异构图像处理，一方面读取窄视角图像；另一方面读取广视角图像后采用深度学习超分辨率模型进行处理，获取当前帧图像对应的前后帧图像，对相邻帧图像数据进行融合；
步骤2.3、多尺度细节增强技术，对处理后的左右目图像进行细节增强，得到增强细节的异构相机左右目图像；
步骤2.4、图像亮度、色彩增强技术，增强上述异构相机左右目图像的亮度和色彩信息；
步骤2.5、引导滤波，对所述左右目图像进行平滑滤波；
步骤2.6、立体校正，对所述左右目图像进行立体校正；
步骤2.7、立体匹配，生成初始视差图。
4.根据权利要求2所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
异构相机的初始标定环节首先获取异构相机采集到的原始图像对，针对窄视角图像执行放缩处理。
5.根据权利要求4所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
所述放缩处理为将所述窄视角图像降采样至分辨率为：
[scalewide·reswide_u,scalewide·reswide_v]
其中scalewide＝0.5，表示图像放缩系数，reswide_u与reswide_v分别表示原广视角图像；所述广视角图像保持其分辨率不变。
6.根据权利要求5所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
对所述异构相机分别执行离线的相机标定，获取所述异构相机各自的内外参数。
7.根据权利要求6所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
通过标定得到的相机内参将窄视角图像的四个顶点转化至相机坐标系坐标，相机坐标系中表示距离的坐标统一设置为Znarrow；根据内参矩阵，分别将窄视角相机图像四个顶点即(0,0)、(Wnarrow,0)、(0,Hnarrow)、(Wnarrow,Hnarrow)分别投影至相机坐标系，其中Wnarrow、Hnarrow分别代表图像长宽，具体转换如公式(1)所示：
Figure FDA0002585703940000031
式中Xc、Yc、Zc分别表示上述的窄视角图像顶点在相机坐标系中坐标，fnarrow_x、fnarrow_y、cnarrow_x、cnarrow_y分别表示窄视角图像标定出的内参系数，unarrow、vnarrow则表示窄视角图像的像素坐标系坐标。
8.根据权利要求7所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
所述Znarrow值的选择根据实际感兴趣距离设定。
9.根据权利要求7所述的利用异构双目相机进行视差计算的图像处理方法，其特征在于，
所述Znarrow取值在2～20米范围内。
10.一种利用异构双目相机进行视差计算的图像处理装置，其特征在于，包括异构相机离线处理装置和异构相机在线处理装置两部分，
还包括，异构图像采集装置，由异构相机采集异构图像；所述异构图像包括广视角图像和窄视角图像；
所述异构相机离线处理装置通过对所述广视角图像与窄视角图像进行处理，将裁剪方案和标定结果输出给所述异构相机在线处理部分使用；
所述异构相机在线处理装置，
分别获取所述广视角图像和窄视角图像的数据；
根据异构相机离线处理部分得到的裁剪方案处理所述广视角图像与窄视角图像，使得所述广视角图像与所述窄视角图像在感兴趣区域ROI各物体比例保持一致；对所述广视角图像采用深度学习超分辨率模型进行处理，增加图像细节；
对所述广视角图像和窄视角图像进行立体校正和立体匹配，生成初始视差图。
CN202010680676.5A 2020-07-15 2020-07-15 利用异构双目相机进行视差计算的图像处理方法 Pending CN111951339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010680676.5A CN111951339A (zh) 2020-07-15 2020-07-15 利用异构双目相机进行视差计算的图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010680676.5A CN111951339A (zh) 2020-07-15 2020-07-15 利用异构双目相机进行视差计算的图像处理方法

Publications (1)

Publication Number Publication Date
CN111951339A true CN111951339A (zh) 2020-11-17

Family

ID=73341739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010680676.5A Pending CN111951339A (zh) 2020-07-15 2020-07-15 利用异构双目相机进行视差计算的图像处理方法

Country Status (1)

Country Link
CN (1) CN111951339A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802184A (zh) * 2021-01-25 2021-05-14 三一重工股份有限公司 三维点云重构方法、系统、电子设备及存储介质
CN116033278A (zh) * 2022-12-18 2023-04-28 重庆邮电大学 一种面向单色-彩色双相机的低照度图像预处理方法
CN116403380A (zh) * 2023-06-08 2023-07-07 北京中科慧眼科技有限公司 基于路侧双目相机的超限监控方法和装置
CN112802184B (zh) * 2021-01-25 2024-04-30 盛景智能科技(嘉兴)有限公司 三维点云重构方法、系统、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112802184A (zh) * 2021-01-25 2021-05-14 三一重工股份有限公司 三维点云重构方法、系统、电子设备及存储介质
CN112802184B (zh) * 2021-01-25 2024-04-30 盛景智能科技(嘉兴)有限公司 三维点云重构方法、系统、电子设备及存储介质
CN116033278A (zh) * 2022-12-18 2023-04-28 重庆邮电大学 一种面向单色-彩色双相机的低照度图像预处理方法
CN116403380A (zh) * 2023-06-08 2023-07-07 北京中科慧眼科技有限公司 基于路侧双目相机的超限监控方法和装置

Similar Documents

Publication Publication Date Title
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN106780590B (zh) 一种深度图的获取方法及系统
CN101908230B (zh) 一种基于区域深度边缘检测和双目立体匹配的三维重建方法
US8593524B2 (en) Calibrating a camera system
US8120644B2 (en) Method and system for the dynamic calibration of stereovision cameras
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN112801074B (zh) 一种基于交通摄像头的深度图估计方法
CN101887589A (zh) 一种基于立体视觉的实拍低纹理图像重建方法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN104182968A (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
CN110458952B (zh) 一种基于三目视觉的三维重建方法和装置
CN110675436A (zh) 基于3d特征点的激光雷达与立体视觉配准方法
CN111046843A (zh) 一种智能驾驶环境下的单目测距方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN111768332A (zh) 一种车载环视实时3d全景图像的拼接方法及图形采集装置
CN110738731A (zh) 一种用于双目视觉的3d重建方法和系统
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
CN105739106A (zh) 一种体感多视点大尺寸光场真三维显示装置及方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN109443319A (zh) 基于单目视觉的障碍物测距系统及其测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination