CN111402309A - 一种多目立体相机的校准及深度图像处理方法 - Google Patents

一种多目立体相机的校准及深度图像处理方法 Download PDF

Info

Publication number
CN111402309A
CN111402309A CN202010149137.9A CN202010149137A CN111402309A CN 111402309 A CN111402309 A CN 111402309A CN 202010149137 A CN202010149137 A CN 202010149137A CN 111402309 A CN111402309 A CN 111402309A
Authority
CN
China
Prior art keywords
camera
corrected
binocular
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010149137.9A
Other languages
English (en)
Other versions
CN111402309B (zh
Inventor
王磊
李嘉茂
朱冬晨
张晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Institute of Microsystem and Information Technology of CAS
Original Assignee
Shanghai Institute of Microsystem and Information Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Institute of Microsystem and Information Technology of CAS filed Critical Shanghai Institute of Microsystem and Information Technology of CAS
Priority to CN202010149137.9A priority Critical patent/CN111402309B/zh
Priority to PCT/CN2020/080381 priority patent/WO2021174600A1/zh
Publication of CN111402309A publication Critical patent/CN111402309A/zh
Application granted granted Critical
Publication of CN111402309B publication Critical patent/CN111402309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种多目立体相机的校准及深度图像处理方法，包括：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像；根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化；得到最终的深度图像。本发明的方法利用匹配特征的深度计算结果实现对相机参量的优化，使多个深度图像的交界部分过渡平滑，可以根据优化的参量对未重合部分的深度图像进行进一步的精化调整，并且通过不同双目间的相互约束，保证最终深度结果一致性与稳定性。

Description

一种多目立体相机的校准及深度图像处理方法
技术领域
本发明涉及一种多目立体相机的数据处理技术，具体涉及一种多目立体相机的校准及深度图像处理方法。
背景技术
现有的多目设备的特点是，所有相机的成像元件处于同一个平面且朝向相同。构成一组双目相机的两个相机所采用的成像器件及镜头焦距相同，两相机呈水平或垂直排列。在这类多目相机中，基线长更长或者焦距更远的双目相机在远距离目标距离检测精度方面会体现更高的测量效果。具体的原理如图1 所示。图1给出了不同基线长的双目相机测量范围的示意图，其中图1示出了基线长较短的双目相机，且图1示出了基线长较长的双目相机。中间梯形区域为测量范围的示意效果(理论上可以测量无限远的范围，但由于远距离部分精度极度下降一般不采用该计算结果)，在该梯形中距离相机越近的部分精度也越高。长焦距的效果与长基线效果类似。由此，通过不同基线或者焦距的双目组合而成的多目立体相机可以测量前后更广的范围。
基于上述原理，现有技术中的多目立体相机的一种常见设计如图2所示，由四个相机构成的四目相机，图中相机110和相机120设备构成一组双目相机，相机130和相机140设备构成另一组双目相机，特点是构成双目相机的两个设备的成像元件及镜头需要一致，但不同双目相机的相机间隔(基线长)和视野范围(镜头焦距)可以不同，图中相机110和相机120构成的双目的基线长为 B1，镜头焦距为F1，而相机130和相机140构成的双目的基线长为B2，镜头焦距为F2。上述设计的目的在于能够覆盖更广范围内双目相机的三维测算精度，不同基线或者焦距的双目组合而成的多目立体相机可以测量前后更广的范围，即相机110与相机120构成的双目相机用于测量近距离物体深度，相机130 和相机140构成的双目相机测量中远距离的物体深度，最终两者结果合成输出覆盖近、中、远范围且测量精度较好的深度数据结果。
如图3所示，现有技术中的多目立体相机的另外一种常见设计为三目结构，例如Bumblebee三目视觉相机产品，左相机210和中间相机220构成一组双目，左相机210与右相机230构成另一组双目，由此构成两组双目相机。左相机为两组相机共用的设备，一般情况三个相机采用相同的成像器件以及焦距，两组双目相机的基线长B1、B2不同，焦距F相同。
如图4A-图4C所示，目前，在对多组双目相机的深度结果进行融合时，容易出现以下问题。图4A为采用不同基线长的多组双目相机对目标物体Obj 进行测量，其中中间两个相机构成短基线双目，外侧两个相机构成长基线双目，两者的测量结果示意图如图4B所示，图中虚线为实际物体的深度结果，由于标定误差等因素的存在，两组测量的结果均与真实结果有所差异，且通过对测量精度相关参数的限制，两者均未能检测出全部Obj范围内的深度结果，短基线双目缺失了远距离部分的测量结果(精度阈值限制)，长基线双目缺失了近距离部分测量结果(视差范围限制)，简单将两者叠加融合的结果如图4C所示，在范围重合的中距离区域，不同双目测量的结果不同将导致数据歧义。
近年来，研究出了不少对多组双目的深度结果进行融合的方法，以避免不同双目测量的结果不同将导致数据歧义的问题。例如专利文件 CN110068308A公开了一种基于多目相机的测距方法及测距系统，其中介绍了通过多组相机深度通过神经网络模型将最终测量深度结果进行融合的方法，然而该方法需要采用训练后的神经网络对数据进行融合，神经网络的训练需要事先采集大量数据，并且要多次实际测量目标的真实距离，因此准备流程复杂。专利文件CN110148168A公开了一种基于大小双基线的三目相机深度图像处理方法，其中提出了通过短基线的深度结果对长基线计算结果进行预测、计算和融合，并通过长基线双目提升短基线双目的视差图精度，但其仅仅考虑了基线长不同的情况，而没有考虑焦距不同的情况，在视差精化方法上没有给出具体方法阐述。
发明内容
本发明的目的在于提供一种多目立体相机的校准及深度图像处理方法，以使多个深度图像的交界部分过渡平滑，并实现相机的内参量和外参量的优化。
为了实现上述目的，本发明提供一种多目立体相机的校准及深度图像处理方法，包括：
S1：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像；
S2：根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化；
S3：得到最终的深度图像。
其中，内参量包括焦距，外参量包括双目相机的基线长和辐辏角。
所述步骤S2包括：
S21：对其中一个基准相机图像和其中一个待修正相机图像分别进行特征提取；
S22：对所述特征进行特征匹配查找，若成功匹配，则将该特征记为匹配特征，并获取该匹配特征的深度计算结果，所述匹配特征的深度计算结果包括该匹配特征的基准测量距离和该匹配特征的待修正双目视差值；
S23：采用所有匹配特征的深度计算结果，通过非线性优化方法对所述待修正相机的内参量和外参量进行优化。
在所述步骤S23中，所述所有匹配特征的深度计算结果被构建为两个深度数据集合，分别为所有匹配特征的基准测量距离的集合和所有匹配特征的待修正双目视差值的集合。
在所述步骤S23中，在对所述待修正相机的内参量和外参量进行优化时，内参量和外参量的修正量为：
Figure RE-GDA0002467834590000031
其中，ziA为匹配特征i的基准测量距离，fB为待修正相机的焦距，Δf为待修正相机的焦距的修正量，bB为待修正相机的基线长，Δb为待修正相机的基线长的修正量，diB为匹配特征i的待修正双目视差值，Δd为双目视差值的修正量；且所述辐辏角的修正量为arctan(Δd/f)，其中，Δd为双目视差值的修正量，f为待修正相机的焦距。
所述待修正相机的焦距的修正量Δf和待修正相机的基线长的修正量Δb 的其中一个设置为0。
所述步骤S22还包括：根据所述基准相机图像获取该匹配特征的基准双目视差值，根据所述待修正相机图像获取该匹配特征的待修正双目视差值，随后根据所述基准相机的内参量和外参量以及该匹配特征的基准双目视差值计算得到匹配特征的基准测量距离。
所述步骤S1还包括：根据所述基准相机图像获取基准视差图，根据所述待修正相机图像获取待修正视差图，所述基准视差图和待修正视差图分别包括图像中的各个目标点的基准双目视差值和待修正双目视差值，随后根据所述基准相机的内参量和外参量以及基准视差图计算得到一基准深度图像，作为当前深度图像；在所述步骤S22中，所述匹配特征的基准测量距离通过所述基准深度图像得到。
所述步骤S1还包括：设置所述基准相机与待修正相机的深度重合范围，并根据待修正相机的内参量和外参量及所述待修正视差图计算一待修正深度图像；且所述步骤S21还包括：分别从提取的特征中筛选出在对应的基准深度图像和对应的待修正深度图像中处于深度重合范围内的特征。
所述深度重合范围的最近及最远距离阈值根据基准相机与待修正相机的精度、视差范围的阈值，获得基准相机与待修正相机的各自的测量范围的最近及最远距离，从而计算并设置；或者根据经验设置。
所述步骤S1包括：步骤S11：提供一由至少两组双目相机构成的多目相机设备，采用所有的双目相机各自采集一对相机图像，对所有的双目相机进行排列，并按照排列顺序选取第一双目相机和第二双目相机分别作为基准相机和待修正相机；步骤S12：将所述基准相机和待修正相机各自采集的一对相机图像分别作为一对基准相机图像和一对待修正相机图像；且在所述步骤S3中，最终的深度图像根据所有的双目相机的内参量和外参量及其相机图像来计算得到。
在所述步骤S11中，对所有的双目相机进行排列包括：将所有双目相机按照其基线长与焦距的乘积、其基线长或者其焦距从大到小排列，或者将所有双目相机按照其基线长与焦距的乘积、其基线长或者其焦距从小到大排列。
所述多目相机设备由至少三组双目相机构成，且在执行所述步骤S2之后，还包括：将所述待修正相机作为更新的基准相机，且所述步骤S2中优化的内参量和外参量作为基准相机的内参量和外参量，按照排列顺序选取下一双目相机作为更新的待修正相机，重复所述步骤S12和步骤S2，直到排列顺序中的最后一个双目相机的内参量和外参量被优化完成。
本发明的多目立体相机的校准及深度图像处理方法利用匹配特征的深度计算结果，通过非线性优化方法对这部分数据进行拟合修正以实现对相机的内参量和外参量的优化，不需要事先准备训练数据，使多个深度图像的交界部分过渡平滑，并且可以根据优化的内参量和外参量对未重合部分的深度图像进行进一步的精化调整，并且通过不同双目间的相互约束，保证最终深度结果一致性与稳定性；此外，本发明通过内参量和外参量的优化兼顾了基线长和焦距不同对提升视差的精度的影响，因此适用范围广，可用于基线长不同且焦距不同的多组双目相机。
附图说明
图1是不同基线长的双目相机的测量深度范围的示意图。
图2是现有的由四目构成的两组双目相机的结构示意图。
图3是现有的由三目构成的两组双目相机的结构示意图。
图4A为采用不同基线长的多组双目相机对目标物体进行深度测量的示意图。
图4B为采用短基线双目相机和长基线双目相机对目标物体进行深度测量的测量结果的对比图，图中左半部分为短基线双目相机的测量结果，右半部分为长基线双目相机的测量结果。
图4C为短基线双目和长基线双目的测量结果的融合效果示意图，其中中间重合部分表示测量数据出现歧义。
图5是本发明的多目立体相机的校准及深度图像处理方法的流程图。
图6是基准相机和待修正相机的深度重合范围的示意图。
图7是匹配特征的深度计算结果的示意图，深度计算结果包括该匹配特征的各个目标点在基准深度图像中的位置和其在待修正深度图像中的位置。
图8A-图8B是本发明的多目立体相机的校准及深度图像处理方法的深度图像的调整效果的示意图。
具体实施方式
下面结合附图，给出本发明的较佳实施例，并予以详细描述。
本发明的多目立体相机的校准及深度图像处理方法，其用于将多组双目相机的深度结果进行融合。如图5所示，该方法包括以下步骤：
步骤S1：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像，步骤S1具体包括：
步骤S11：提供一由至少两组双目相机构成的多目相机设备，对所有的双目相机进行排列，并按照排列顺序选取第一双目相机和第二双目相机分别作为基准相机A和待修正相机B；所得到的基准相机A和待修正相机B各自由两个相机组成。所述双目相机具有内参量和外参量，内参量包括焦距，外参量包括双目相机的基线长和辐辏角。
在所述步骤S11中，对所有的双目相机进行排列可以包括：1)将所有双目相机按照其基线长与焦距的乘积从大到小排列，以使得选取的第一双目相机为乘积最大的相机，第二双目相机为乘积次大的相机；或者2)将所有双目相机按照其基线长与焦距的乘积从小到大排列，以使得选取的第一双目相机为乘积最小的相机，第二双目相机为乘积次小的相机。此外，在其他实施例中，对所有的双目相机进行排列也可以包括将所有双目相机按照其基线长或者其焦距从大到小排列，或者将所有双目相机按照其基线长或者其焦距从小到大排列。
步骤S12：将所述基准相机A和待修正相机B各自采集的一对相机图像分别作为一对基准相机图像和一对待修正相机图像；
在本实施例中，所述步骤S1还可以包括：根据所述基准相机图像获取基准视差图，根据所述待修正相机图像获取待修正视差图，基准视差图和待修正视差图均包括图像中各个目标点的双目视差值；随后根据所述基准相机的内参量和外参量以及所述基准视差图计算一基准深度图像，作为当前深度图像。
其中，双目视差值是深度图像的深度的前一步结果，两者可以认为是等价的，双目视差值d和在深度图像中的测量距离z的关系公式为z＝fb/d，其中，f为焦距，b为基线长。焦距f属于内参量，基线长b属于外参量。
在此基础上，所述步骤S1还可以包括：如图6所示，设置所述基准相机A与待修正相机B的深度重合范围，并根据待修正相机B的内参量和外参量及所述待修正相机图像计算一待修正深度图像。由此，同时得到了基准深度图像和待修正深度图像，所述基准深度图像和所述待修正深度图像均包括图像中各个目标点的测量距离。
其中，所述深度重合范围的最近及最远距离阈值可以通过以下方式设置： 1)根据基准相机A与待修正相机B的精度、视差范围等阈值，获得基准相机 A与待修正相机B的各自的测量范围的最近及最远距离，从而计算并设置；或者2)根据经验设置。
步骤S2：根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化。
所述步骤S2具体包括：
步骤S21：对其中一个基准相机图像和其中一个待修正相机图像分别进行特征提取。
在本实施例中，在同时得到了基准深度图像和待修正深度图像的情况下，所述步骤S21还包括：分别从提取的特征中筛选出在对应的基准深度图像中处于深度重合范围内的特征和在对应的待修正深度图像中处于深度重合范围内的特征。每个一个特征均对应于一个目标点。
由此，提取到的特征经过深度重合范围的筛选，可以去除肯定不能匹配的特征，从而减少匹配的工作量。
步骤S22：如图7所示，对所述特征进行特征匹配查找，若成功匹配，则将该特征记为匹配特征i，并记录该匹配特征i的深度计算结果；由此得到包括匹配特征O、B、J在内的所有匹配特征的深度计算结果。
其中，所述匹配特征i的深度计算结果包括该匹配特征i的基准测量距离ziA和该匹配特征i的待修正双目视差值diB。
在本实施例中，该匹配特征i的基准测量距离ziA通过所述步骤S1中的基准深度图像得到。
步骤S23：采用所有匹配特征的深度计算结果，通过非线性优化方法对待修正相机B的内参量和外参量进行优化，使得基准相机A和待修正相机B 对同一匹配特征的深度误差值最小。其中，外参量包括双目相机的基线长和辐辏角，内参量包括焦距。
其中，所有匹配特征的深度计算结果被构建为两个深度数据集合，两个深度数据集合分别为所有匹配特征的基准测量距离的集合和所有匹配特征的待修正双目视差值的集合。
所述内参量和外参量的优化基于以下原理：
双目相机在计算深度前需要进行标定及校准，经过校准后的各个目标点的测量距离z为：
Figure RE-GDA0002467834590000081
其中，f为校准后的焦距，b为校准后的基线长，z为目标点的测量距离， d为双目视差值，其可以由校准后的辐辏角得到。
即，修正后的目标距离z’为：
Figure RE-GDA0002467834590000082
其中，f为焦距，Δf为焦距的修正量，b为基线长，Δb为基线长的修正量，辐辏角的修正可以近似为对双目视差值造成线性影响，Δd为记为目标点的双目视差值的修正量。
处于深度重合区域的匹配特征i的各个目标点在基准相机A和待修正相机B的深度误差值可表示成如下公式：
Figure RE-GDA0002467834590000083
其中，Erri为匹配特征i的深度误差值，ziA为匹配特征i的基准测量距离，ziB为匹配特征的各个目标点在待修正深度图像中的测量距离，fB为待修正相机的焦距，Δf为待修正相机的焦距的修正量，bB为待修正相机的基线长，Δb 为待修正相机的基线长的修正量，diB为匹配特征i的待修正双目视差值，Δd为双目视差值的修正量(由辐辏角的修正量近似得到)。
基于上述原理，在对所述待修正相机B的内参量和外参量进行优化时，内参量和外参量的修正量为：
Figure RE-GDA0002467834590000091
其中，ziA为匹配特征i的基准测量距离，fB为待修正相机的焦距，Δf为待修正相机的焦距的修正量，bB为待修正相机的基线长，Δb为待修正相机的基线长的修正量，diB为匹配特征i的待修正双目视差值，Δd为双目视差值的修正量，其由辐辏角的修正量近似得到。
由于Δf和Δb的修正效果相同，可以将待修正相机的焦距的修正量Δf 和待修正相机的基线长的修正量Δb的其中一个设置为0，仅优化其余两个变量。由此，所优化的内参量和外参量为基线长和辐辏角，或者焦距和辐辏角。
由此，可以根据双目视差值的修正量Δd近似推出辐辏角的修正量，辐辏角的修正量为arctan(Δd/f)，其中，Δd为双目视差值的修正量，f为待修正相机的焦距。
在本实施例中，由于所述多目相机设备由至少三组双目相机构成，因此在执行所述步骤S2之后，还需要执行以下步骤S30：将所述待修正相机B作为更新的基准相机A，且所述步骤S2中优化的内参量和外参量作为基准相机 A的内参量和外参量，按照排列顺序选取下一双目相机作为更新的待修正相机 B，重复所述步骤S12-步骤S2，直到排列顺序中的最后一个双目相机的内参量和外参量被优化完成；由此，在不断重复步骤S12-步骤S2的过程中，通过优化后的内参量和外参量不断修正基准相机图像，并作为当前深度图像，修正的公式参见上文的公式(2)。
此外，在其他实施例中，如果所述多目相机设备由至少两组双目相机或者仅仅想要对多组双目相机的其中两组进行深度图像处理，则所述步骤S30可以省略。
步骤S3：得到最终的深度图像。
其中，最终的深度图像根据所有的双目相机的内参量和外参量和各自采集的相机图像来计算得到。
如图8A-图8B所示为本发明的多目立体相机的校准及深度图像处理方法的深度图像的调整效果的示意图，未对内参量和外参量进行优化的多个双目深度处理结果如图8A所示，其中，各个匹配特征O、B、J未重合。通过对测量范围较近的参数非线性优化的方式，修正其内参量和外参量后重新计算的深度图像的重合效果图如图8B所示，其中，各个匹配特征O、B、J重合，重合部分过渡平滑，深度数据连贯性较好。
在其他实施例中，在上述的步骤S1也可以仅仅包括：得到一对基准相机图像和一对待修正相机图像，而不包含获取基准视差图和获取待修正视差图的流程。相应地，步骤S22还包括：根据所述基准相机图像获取该匹配特征i 的基准双目视差值，根据所述待修正相机图像获取该匹配特征i的待修正双目视差值，随后根据所述基准相机的内参量和外参量以及该匹配特征i的基准双目视差值计算得到匹配特征i的基准测量距离ziA，结果也是一样的。
或者，在其他实施例中，所述步骤S1还可以不包括根据所述基准相机的内参量和外参量及所述基准相机图像计算一基准深度图像的流程，由此，在步骤S22中的匹配特征的基准测量距离可以通过根据所述基准相机的内参量和外参量及所述基准相机图像计算得到。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种多目立体相机的校准及深度图像处理方法，其特征在于，包括：
步骤S1：在多目相机设备中选取基准相机和待修正相机，并获取相应的基准相机图像和对待修正相机图像；
步骤S2：根据所述基准相机图像和对待修正相机图像对所述待修正相机的内参量和外参量进行优化；
步骤S3：得到最终的深度图像。
2.根据权利要求1所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述内参量包括焦距，所述外参量包括双目相机的基线长和辐辏角；
所述步骤S2包括：
步骤S21：对其中一个基准相机图像和其中一个待修正相机图像分别进行特征提取；
步骤S22：对所述特征进行特征匹配查找，若成功匹配，则将该特征记为匹配特征，并获取该匹配特征的深度计算结果，所述匹配特征的深度计算结果包括该匹配特征的基准测量距离和该匹配特征的待修正双目视差值；
步骤S23：采用所有匹配特征的深度计算结果，通过非线性优化方法对所述待修正相机的内参量和外参量进行优化。
3.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，在所述步骤S23中，所述所有匹配特征的深度计算结果被构建为两个深度数据集合，分别为所有匹配特征的基准测量距离的集合和所有匹配特征的待修正双目视差值的集合。
4.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，在所述步骤S23中，在对所述待修正相机的内参量和外参量进行优化时，内参量和外参量的修正量为：
Figure FDA0002401304290000011
其中，ziA为匹配特征i的基准测量距离，fB为待修正相机的焦距，Δf为待修正相机的焦距的修正量，vB为待修正相机的基线长，Δb为待修正相机的基线长的修正量，diB为匹配特征i的待修正双目视差值，Δd为双目视差值的修正量；
且所述辐辏角的修正量为arctan(Δd/f)，其中，Δd为双目视差值的修正量，f为待修正相机的焦距。
5.根据权利要求4所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述待修正相机的焦距的修正量Δf和待修正相机的基线长的修正量Δb的其中一个设置为0。
6.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S22还包括：根据所述基准相机图像获取该匹配特征的基准双目视差值，根据所述待修正相机图像获取该匹配特征的待修正双目视差值，随后根据所述基准相机的内参量和外参量以及该匹配特征的基准双目视差值计算得到匹配特征的基准测量距离。
7.根据权利要求2所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S1还包括：根据所述基准相机图像获取基准视差图，根据所述待修正相机图像获取待修正视差图，所述基准视差图和待修正视差图分别包括图像中的各个目标点的基准双目视差值和待修正双目视差值，随后根据所述基准相机的内参量和外参量以及基准视差图计算得到一基准深度图像，作为当前深度图像；
在所述步骤S22中，所述匹配特征的基准测量距离通过所述基准深度图像得到。
8.根据权利要求7所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S1还包括：设置所述基准相机与待修正相机的深度重合范围，并根据待修正相机的内参量和外参量及所述待修正视差图计算一待修正深度图像；
且所述步骤S21还包括：分别从提取的特征中筛选出在对应的基准深度图像和对应的待修正深度图像中处于深度重合范围内的特征。
9.根据权利要求8所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述深度重合范围的最近及最远距离阈值根据基准相机与待修正相机的精度、视差范围的阈值，获得基准相机与待修正相机的各自的测量范围的最近及最远距离，从而计算并设置；或者根据经验设置。
10.根据权利要求1所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述步骤S1包括：
步骤S11：提供一由至少两组双目相机构成的多目相机设备，采用所有的双目相机各自采集一对相机图像，对所有的双目相机进行排列，并按照排列顺序选取第一双目相机和第二双目相机分别作为基准相机和待修正相机；
步骤S12：将所述基准相机和待修正相机各自采集的一对相机图像分别作为一对基准相机图像和一对待修正相机图像；
且在所述步骤S3中，最终的深度图像根据所有的双目相机的内参量和外参量及其相机图像来计算得到。
11.根据权利要求10所述的多目立体相机的校准及深度图像处理方法，其特征在于，在所述步骤S11中，对所有的双目相机进行排列包括：将所有双目相机按照其基线长与焦距的乘积、其基线长或者其焦距从大到小排列，或者将所有双目相机按照其基线长与焦距的乘积、其基线长或者其焦距从小到大排列。
12.根据权利要求10所述的多目立体相机的校准及深度图像处理方法，其特征在于，所述多目相机设备由至少三组双目相机构成，且在执行所述步骤S2之后，还包括：将所述待修正相机作为更新的基准相机，且所述步骤S2中优化的内参量和外参量作为基准相机的内参量和外参量，按照排列顺序选取下一双目相机作为更新的待修正相机，重复所述步骤S12和步骤S2，直到排列顺序中的最后一个双目相机的内参量和外参量被优化完成。
CN202010149137.9A 2020-03-05 2020-03-05 一种多目立体相机的校准及深度图像处理方法 Active CN111402309B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010149137.9A CN111402309B (zh) 2020-03-05 2020-03-05 一种多目立体相机的校准及深度图像处理方法
PCT/CN2020/080381 WO2021174600A1 (zh) 2020-03-05 2020-03-20 一种多目立体相机的校准及深度图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010149137.9A CN111402309B (zh) 2020-03-05 2020-03-05 一种多目立体相机的校准及深度图像处理方法

Publications (2)

Publication Number Publication Date
CN111402309A true CN111402309A (zh) 2020-07-10
CN111402309B CN111402309B (zh) 2023-11-03

Family

ID=71434085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010149137.9A Active CN111402309B (zh) 2020-03-05 2020-03-05 一种多目立体相机的校准及深度图像处理方法

Country Status (2)

Country Link
CN (1) CN111402309B (zh)
WO (1) WO2021174600A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113040909A (zh) * 2021-02-26 2021-06-29 张志宏 一种基于近红外三目立体视觉的光学追踪系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463444A (zh) * 2022-02-15 2022-05-10 集美大学 非接触式相对位姿检测方法及系统

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
EP2962062A1 (en) * 2013-02-28 2016-01-06 Google Technology Holdings LLC Context-based depth sensor control
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
WO2018032457A1 (en) * 2016-08-18 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技（北京）有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109842791A (zh) * 2019-01-15 2019-06-04 浙江舜宇光学有限公司 一种图像处理方法及装置
US20190174149A1 (en) * 2016-07-22 2019-06-06 SZ DJI Technology Co., Ltd. Systems and methods for uav interactive video broadcasting
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
CN110288659A (zh) * 2019-05-27 2019-09-27 魏运 一种基于双目视觉的深度成像及信息获取方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018132946A (ja) * 2017-02-15 2018-08-23 トヨタ自動車株式会社 視差算出装置
CN108012143B (zh) * 2017-12-04 2021-02-09 深圳市无限动力发展有限公司 双目摄像头标定方法及装置
CN109345582A (zh) * 2018-08-14 2019-02-15 西安电子科技大学 基于优化的置信传播算法和稀疏表示的深度图像获取方法
CN109447908A (zh) * 2018-09-25 2019-03-08 上海大学 一种基于立体视觉的钢卷识别定位方法
CN109410207B (zh) * 2018-11-12 2023-05-02 贵州电网有限责任公司 一种基于ncc特征的无人机巡线图像输电线路检测方法
CN110148168B (zh) * 2019-05-23 2023-03-24 南京大学 一种基于大小双基线的三目相机深度图像处理方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
EP2962062A1 (en) * 2013-02-28 2016-01-06 Google Technology Holdings LLC Context-based depth sensor control
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105608667A (zh) * 2014-11-20 2016-05-25 深圳英飞拓科技股份有限公司 一种全景拼接的方法及装置
US20190174149A1 (en) * 2016-07-22 2019-06-06 SZ DJI Technology Co., Ltd. Systems and methods for uav interactive video broadcasting
WO2018032457A1 (en) * 2016-08-18 2018-02-22 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
US20190220002A1 (en) * 2016-08-18 2019-07-18 SZ DJI Technology Co., Ltd. Systems and methods for augmented stereoscopic display
US20190273909A1 (en) * 2016-11-14 2019-09-05 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN108335327A (zh) * 2017-01-19 2018-07-27 富士通株式会社 摄像机姿态估计方法和摄像机姿态估计装置
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技（北京）有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109842791A (zh) * 2019-01-15 2019-06-04 浙江舜宇光学有限公司 一种图像处理方法及装置
CN110288659A (zh) * 2019-05-27 2019-09-27 魏运 一种基于双目视觉的深度成像及信息获取方法
CN110264528A (zh) * 2019-06-25 2019-09-20 中国人民解放军国防科技大学 一种鱼眼镜头双目像机快速自标定方法
CN110389348A (zh) * 2019-07-30 2019-10-29 四川大学 基于激光雷达与双目相机的定位与导航方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QIN LI 等: "《Dense depth acquisition via one-shot stripe structured light》", 《IEEE》 *
孙潇: "《基于OpenCV的三维重建研究与实现》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113040909A (zh) * 2021-02-26 2021-06-29 张志宏 一种基于近红外三目立体视觉的光学追踪系统及方法

Also Published As

Publication number Publication date
WO2021174600A1 (zh) 2021-09-10
CN111402309B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
EP3232151B1 (en) Three-dimensional measurement system and measurement method for feature point based on plane of four-camera set array
CN102065313B (zh) 平行式相机阵列的未标定多视点图像校正方法
CN101887589B (zh) 一种基于立体视觉的实拍低纹理图像重建方法
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
CN108629812A (zh) 一种基于双目相机的测距方法
CN109741405A (zh) 一种基于对偶结构光rgb-d相机的深度信息采集系统
US20100020178A1 (en) Calibrating a camera system
CN103075960B (zh) 多视角大深度显微立体视觉特征融合测量方法
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
CN110602474B (zh) 一种图像视差的确定方法、装置及设备
CN106225676B (zh) 三维测量方法、装置及系统
WO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN111402309B (zh) 一种多目立体相机的校准及深度图像处理方法
CN104794717A (zh) 一种基于双目视觉系统的深度信息对比方法
CN110992463B (zh) 一种基于三目视觉的输电导线弧垂的三维重建方法及系统
Gao et al. Single camera stereo using planar parallel plate
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN111047636B (zh) 基于主动红外双目视觉的避障系统和避障方法
CN116804537A (zh) 一种双目测距系统及方法
WO2023185375A1 (zh) 一种深度图生成系统、方法及自主移动设备
CN106447709A (zh) 一种快速高精度双目视差匹配方法
Lipnickas et al. A stereovision system for 3-D perception
JP6734994B2 (ja) ステレオ計測装置及びシステム
CN116309861A (zh) 一种带视差图三层填充的双目测距方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant