CN112070845B - 双目相机的标定方法、装置及终端设备 - Google Patents

双目相机的标定方法、装置及终端设备 Download PDF

Info

Publication number
CN112070845B
CN112070845B CN202010900745.9A CN202010900745A CN112070845B CN 112070845 B CN112070845 B CN 112070845B CN 202010900745 A CN202010900745 A CN 202010900745A CN 112070845 B CN112070845 B CN 112070845B
Authority
CN
China
Prior art keywords
binocular camera
reference object
calibration
external parameter
object image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010900745.9A
Other languages
English (en)
Other versions
CN112070845A (zh
Inventor
王磊
于非
缪寅明
杨冬冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Aiguan Vision Technology Co ltd
Original Assignee
Anhui Aiguan Vision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Aiguan Vision Technology Co ltd filed Critical Anhui Aiguan Vision Technology Co ltd
Priority to CN202010900745.9A priority Critical patent/CN112070845B/zh
Publication of CN112070845A publication Critical patent/CN112070845A/zh
Application granted granted Critical
Publication of CN112070845B publication Critical patent/CN112070845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种双目相机的标定方法、装置及终端设备，其中所述方法包括：终端设备对双目相机采集的双目图像进行分析，得到双目相机的内参和镜头畸变参数；获取双目相机采集的参照物图像，根据双目相机的内参和镜头畸变参数，对参照物图像进行校正，得到所述双目相机的标定内外参及镜头畸变参数。通过实施本申请，能解决现有技术中操作不方便、标定精度不高等问题。

Description

双目相机的标定方法、装置及终端设备
技术领域
本申请涉及数据处理技术领域，尤其涉及一种双目相机的标定方法、装置及终端设备。
背景技术
目前，双目相机的标定通常采用棋盘格标定方法，对双目相机的内外参数及镜头畸变参数进行估计。但其标定过程需将棋盘摆放在左右相机的重合视野区域，对于长基线或长焦距的双目相机而言，重合视野区域距离双目相机的位置较远，不方便操作。且由于远距离拍摄，使得棋盘格在成像图像的面积较小，棋盘格难以覆盖到整个图像视野FOV，降低相机标定的精度。
发明内容
本申请实施例提供了一种相机标定方法、装置、终端设备及计算机可读存储介质，能够解决现有标定技术中存在的操作不方便、相机标定精度低等问题。
第一方面，提供了一种相机标定方法，所述相机标定方法包括终端设备对双目相机采集的双目图像进行分析，得到所述双目相机的标定内参和标定镜头畸变参数；获取所述双目相机采集的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离；根据所述双目相机的标定内参和标定镜头畸变参数，对所述参照物图像进行校正，得到校正后的参照物图像，根据所述校正后的参照物图像及第一距离对双目相机的外参进行标定，得到所述双目相机的标定外参。
在一些实施例中，所述根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像包括：
在对所述参照物图像进行校正时，将所述双目相机的左焦距和右焦距校正为第一相同值，将所述双目图像各自的主点坐标校正为第二相同值，且将所述畸变参数校正为0，以获得校正后的参照物图像。
在一些实施例中，所述双目相机的外参包括第一外参，所述根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参包括：终端设备可对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对；根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参；判断所述第一标定外参是否小于预设阈值，若否，则重复执行所述对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对的步骤，直至所述第一标定外参小于相应阈值；其中所述第一外参包括以下中的任一项或多项的组合：所述双目相机在x、y、z三维坐标系中的翻滚角偏差Δr、俯仰角偏差Δp、y向间隔高度差ΔH和z向间隔前后差ΔD。
在一些实施例中，所述根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参包括：根据所述多个第一特征点对位于所述参照物图像中的像素坐标，计算所述第一特征点对在所述参照物图像中的第一方向上的坐标偏差Verr；根据所述多个第一特征点对，推算所述双目相机的第一外参；利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参。
在一些实施例中，所述利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参包括：将所述坐标偏差与所述双目相机的第一外参进行直接求和，得到第一标定外参；或者，将所述坐标偏差与所述双目相机的第一外参进行加权求和，得到第一标定外参。
在一些实施例中，所述双目相机的外参包括第二外参，所述根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参包括：终端设备可从目标图像区域中提取多个第二特征点对，所述目标图像区域为所述校正后的参照物图像中参照物所在的区域；对所述多个第二特征点对进行水平视差计算，得到所述参照物的视差；对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量；根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参；其中所述第二外参包括基线长b和偏航角偏差Δy。
在一些实施例中，所述对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量包括：采用如下公式计算得到所述第二外参的偏差量；
其中，Δb为基线长的偏差量，Δd为所述参照物的视差的偏移量，Di为第i个参照物到双目相机之间的第一距离，Pi为第i个参照物的视差，f为所述双目相机的焦距，b为所述双目相机的基线长。Δb*和Δd*为通过非线性优化求得的基线长的偏差量和视差的偏移量。
在一些实施例中，所述根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参包括：采用如下公式计算得到所述第二标定参数；
b＝b+Δb；
其中b为基线长，Δy为偏航角偏差。
在一些实施例中，所述方法还包括：根据Δd修正所述双目相机的内参cx，得到所述双目相机的标定内参；其中，所述双目相机包括左目相机和右目相机，所述左目相机的标定内参为所述右目相机的标定内参为/>
此情况下可通过如下公式设置所述第二标定外参：
b＝b+Δb；
Δy＝0。
第二方面，提供一种相机标定装置，可执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的单元。该单元可以是软件和/或硬件。
第三方面，提供了一种终端设备，该终端设备包括：处理器以及和处理器相连的存储器；其中，该存储器包括计算机可读指令；该处理器用于执行该存储器中的计算机可读指令，从而使得该汽车执行上述第一方面或第一方面的任意一种可选的实施方式中的方案。
第四方面，提供了一种计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第五方面，提供了一种芯片产品，执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
第七方面，提了供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面的任意一种可选的实施方式中的方法。
附图说明
图1是本申请实施例提供的一种双目相机外参的关系示意图。
图2是本申请实施例提供的一种相机标定方法的流程示意图。
图3是本申请实施例提供的一种双目相机的视野重合区的示意图。
图4是本申请实施例提供的一种相机外参标定方法的流程示意图。
图5是本申请实施例提供的一种图像的平面示意图。
图6是本申请实施例提供的另一种相机外参标定方法的流程示意图。
图7是本申请实施例提供的一种相机标定装置的结构示意图。
图8是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图对本申请具体实施例作进一步的详细描述。
首先，介绍本申请涉及的几个技术术语或技术概念。
本申请双目相机的标定过程包括双目相机(也可称左右相机)各自的内参、畸变系数及相对位置关系(即外参)的标定。其中，相机的内参矩阵通常定义为：
其中，fx、fy为相机在水平方向和垂直方向上的焦距值。单位为像素。在理想情况下fx和fy相同。cx和cy为相机主点(原点)在拍摄图像上的坐标位置，理想情况下位于拍摄图像的中心位置。
相机的外参由旋转矩阵R和平移矩阵T组成，分别表示双目相机的光学坐标系在空间中的旋转偏移量和平移偏移量。旋转矩阵R通常为3*3的正交矩阵，表示空间中双目相机的翻滚角偏差(Δroll)，俯仰角偏差(Δpitch)以及偏航角偏差(Δyaw)的复合。平移矩阵T为3*1的矩阵，三个元素分别表示双目相机的x向间隔基线长(baseline)，y向间隔高度差(ΔH)以及z向间隔前后差(ΔD)。为了方便介绍，下面将俯仰角偏差、偏航角偏差、翻滚角偏差分别记为Δp、Δy、Δr。在理想情况下，Δp、Δy、Δr、ΔH、ΔD均为0，baseline为双目相机中摄像头设计的间隔距离。举例来说，请参见图1示出双目相机外参的关系示意图。如图1分别示出基线长baseline、H和D的关系示意。
双目相机的标定通常可分为两大步骤，第一步是对左右相机各自的内参和镜头畸变参数的标定，第二步是对双目相机外参参数的标定。本专利中，在外参参数标定之前，需要首先对左右相机的内参和镜头畸变进行标定，然后对图像进行内参和畸变校正，基于内参和畸变校正后的图像结果结合图像内的参照物对双目外参进行标定。请参见图2是本申请实施例提供的一种相机内参和畸变标定和校正过程的流程示意图,其目的是为后文中的外参标定做准备。如图2所示的方法包括：
S201、对双目相机采集的双目图像进行分析，得到所述双目相机的内参和镜头畸变参数；
本申请中终端设备通过双目相机采集标定图像(即双目图像)，并对该标定图像进行分析，得到双目相机的内参和畸变参数。具体的，终端设备可采用opencv算法库中的calibrateCamera方法来求解双目相机的内参和畸变参数。在计算时可设置calibrateCamera函数中的参数使得相机焦距fx和fy参数值一致，记为f。其中标定图像中的标定图案无需同时出现在双目相机的视野内(即标定图案无需部署在双目相机视野的重合区中)，可以适当靠近相机，使得标定图案尽可能充满这个相机视野，保证单目标定计算的精度。将本步骤标定得到的标定内参和标定镜头畸变参数保存，后续步骤将结合参照物对外参进行标定，由于内参和镜头畸变产生的偏差会对外参标定产生影响，需要首先对其进行校正以消除其产生的误差。
S202、获取所述双目相机采集的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离。
本申请已知距离(即第一距离)的参照物需部署在双目相机视野的重合区中，该参照物的数量不做限定，其可为一个或多个。请参见图3示出一种重合区的示意图。如图3阴影部分即为双目相机视野的重合区，B为两个摄像头之间的距离，F为双目相机的焦距。其中参照物可尽量位于图像的中间区域，除参照物外视野内还需有其他纹理的背景物体分布在重合区域中，背景物体距离双目相机的距离分布均匀。相应地终端设备通过双目相机可采集参照物图像。
S203、根据所述双目相机的标定内参和标定镜头畸变参数，对所述参照物图像进行校正，得到无内参和镜头畸变偏差的图像(即校正后的参照物图像)，为外参标定做准备。
本申请终端设备可利用双目相机的标定内参和标定镜头畸变参数对参照物图像进行校正，得到相应地校正后的参照物图像。具体地可采用类似opencv算法库中的undistort方法来实现相机内参的校正。在对参照物图像进行校正时，需将双目相机的焦距和原点的坐标(cx,cy)设置(校正)为相同值。具体的将双目相机的左焦距和右焦距设置为第一相同值，将双目相机采集的双目图像各自的原点坐标设置为第二相同值。该相同值具体可为相应参数(例如左右焦距或原点坐标)的中值，其作为统一值来设置。以焦距为例双目相机的统一焦距f值＝(左目相机的焦距f值+右目相机的焦距f值)/2。至此完成了相机的内参及镜头畸变的校正过程，校正过的左右图像尚存在外参偏差，后文将基于此图像对双目外参进行标定。同时也得到校正后的参照物图像。
步骤S204、根据校正后的参照物图像及第一距离，对双目相机的外参进行标定，得到相应地标定外参。关于标定外参的获得具体可参照如下图4或图6所示流程的相关介绍，这里不做赘述。
请参见图4是本申请实施例提供的一种相机外参标定方法的流程示意图。如图4所示的方法包括：
S401、对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对。
本申请中双目相机采集的参照物图像同样也为双目图像，包含左目图像和右目图像。终端设备可从校正后的参照物图像中提取出至少一个特征点对(第一特征点对)。其中特征点对的提取方法包括但不限于sift、fast、blockmatching等方法。以blockmatching方法为例，对左目图像和右目图像进行特征点匹配及误匹配剔除，得到至少一个特征点对。
进行外参标定之前，先用理想值对相机外参参数进行初始化，即Δp＝0，Δr＝0，Δy＝0，ΔH＝0，ΔD＝0，基线长b设置为结构设计时设计的相机间隔距离。
S402、根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参。
终端设备可通过匹配的特征点对的坐标完成双目相机的第一外参的推算。该第一外参包括Δp，Δr，ΔH以及ΔD中的至少一项。具体的，终端设备可根据多个第一特征点对位于参照物图像中的像素坐标，计算第一特征点对在第一方向上的坐标偏差Verr。然后根据多个第一特征点对推算双目相机的第一外参。最后利用坐标偏差对双目相机的第一外参进行修正，对应得到第一标定外参。
具体实现中假设终端设备将左目图像(或右目图像)的分辨率记为ResU×ResV。其中，ResU为每行的像素点，ResV为每列的像素点。特征点对在双目图像的左目图像中的像素坐标为(UL,VL)，在双目图像的右目图像中的像素坐标为(UR,VR)，L表示左，R表示右。请参见图5示出一种图像的平面示意图。如图5中，图像坐标系UOV，原点O为图像的主点位置，U轴向右，V轴向下。特征点对的数量为N，N为正整数。
特征点对在垂直V方向(第一方向)的坐标偏差Verr的计算如下公式(1)：
其中wk为第k个特征点对对应的权重，VLk、VRk为第k个特征点对中左目图像和右目图像在V方向上的坐标值。其中，wk通常默认为1。也可根据特征点对到对应图像主点中心的距离来设置。例如wk为：
终端设备还可根据多个第一特征点对的坐标来推算双目相机的第一外参。具体地，在修正外参参数之前，终端设备可设置如下中间变量：
相应地由几何关系可推算出第一外参。该第一外参中包括Δp，Δr，ΔH以及ΔD中的任一个或多个的组合。具体如下：
其中，f和b分别是双目相机的焦距和基线长。
由于多个外参偏差混合，一次求得的第一外参不可直接使用，将一次求得的外参记作Δp’,Δr’,ΔH’,ΔD’,终端设备可利用该结果来对第一外参进行修正，从而得到第一标定外参。在修正过程中，终端设备可将一次计算的第一外参累加到第一外参中，得到相应地第一标定外参。为了防止过修正，终端设备还可给计算结果乘以一个小于1的预设系数，然后再与当前的第一外参进行累加。也即是对坐标偏差和第一外参进行加权求和，得到相应第一标定参数。
在实际修正时，终端设备可根据实际情况仅对影响比较严重的Δp和Δr等参数进行修正。在获得第一标定参数后还可通过罗德里格斯方法得到旋转矩阵，并通过该外参旋转矩阵和由基线长b，ΔH和ΔD构成的外参平移矩阵，来对图像的第一外参进行校正。校正方法可采用类似opencv库中的stereorectify函数的方式对图像进行第一外参校正。
S403、判断所述第一标定外参是否小于预设阈值。
为保证校正的准确性，终端设备还需判断一次求得的第一标定外参是否小于预设阈值，若小于阈值则结束流程，输出第一标定参数。若不小于预设阈值，则重复执行步骤S401和S402，直至第一标定外参小于预设阈值为止。也可以通过判断Verr是否小于指定阈值来判断是否需要重复执行步骤S401和S402，若Verr大于指定阈值则重复执行，否则则停止重复。至此终端设备完成了除baseline和Δy外其他外参参数的校正/修正，特征点对的V方向的误差基本已被清除。相应地还需对U方向上的误差进行清除，即还需标定baseline和Δy。具体请参见图6是本申请实施例提供的另一种外参标定方法的流程示意图。如图6所示方法包括：
S601、从目标图像区域中提取多个第二特征点对，所述目标图像区域为所述校正后的参照物图像中参照物所在的区域；
S602、对所述多个第二特征点对进行水平视差计算，得到所述参照物的视差；
本申请终端设备可从参照物所在区域中选择多个特征点对进行水平视差(UL-UR)计算。最终以多个特征点对视差的平均值作为该参照物的视差。其中参照物的数量并不限定，当参照物数量为多个时，针对每个参照物均可依据S601-S602的原理计算每个参照物的视差。
S603、对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量；
本申请将每个参照物的视差记为P，将每个参照物到双目相机之间的距离记为D。由双目深度测算原理可知，依据公式可将参照物的视差d转换为参照物到双目相机的距离，通过比较计算的距离与第一距离(参照物到双目相机的已知距离)构建如下方程：
其中，Δb为基线长的偏差量，Δd为所述参照物的视差的偏移量，Di为第i个参照物到双目相机之间的第一距离(已知距离)，Pi为第i个参照物的视差，f为所述双目相机的焦距，b为所述双目相机的基线长。Δb*和Δd*为通过非线性优化求得的基线长的偏差量和视差的偏移量。
由上述公式(4)可计算出第二外参的偏移量，例如基线长的偏移量Δb和视差的偏移量Δd。
S604、根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参；其中所述第二外参包括基线长b和偏航角偏差Δy。
本申请终端设备可根据第二外参的偏移量对第二外参进行修正，得到第二标定外参。具体地，终端设备可采用如下公式(5)，计算获得第二标定外参。
其中，b为所述双目相机的基线长。f为所述双目相机的焦距。Δb为基线长的偏差量。Δd为所述参照物的视差的偏移量。Δy为偏航角偏差。
在可选实施例中，由于偏航角偏差Δy通常小于5，也可通过调整Δd来修正双目相机的内参cx。具体修正时，保持Δy为0，双目相机中左目相机的标定内参右目相机的标定内参/>
此情况下可通过如下公式设置所述第二标定外参：
b＝b+Δb；
Δy＝0。
在可选实施例中，终端设备可利用更新后的标定内外参、标定畸变参数及标定外参对双目相机进行校准。具体地终端设备可通过opencv的stereorectify函数对双目相机进行校准，以获得更为准确的图像。
通过实施本申请，终端设备对双目相机采集的双目图像进行分析，得到双目图像的内参和畸变参数，获取双目相机采集的参照物图像，其中参照物图像中的参照物与目标相机之间的距离为第一距离，根据双目相机的内参和畸变参数对参照物图像进行校正，对应得到双目相机的标定内参和标定畸变参数。能解决现有技术中操作不方便、标定精度低等问题。
请参见图7，是本申请实施例提供的一种相机标定装置的结构示意图。如图7所示的相机标定装置包括分析单元701、校正单元702及标定单元703。其中：
所述分析单元701，用于对双目相机采集的双目图像进行分析，得到所述双目相机的标定内参和标定镜头畸变参数；
所述校正单元702，用于根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离；
所述标定单元703，用于根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参。
在一些实施例中，所述校正单元702具体用于在对所述参照物图像进行校正时，将所述双目相机的左焦距和右焦距校正为第一相同值，将所述双目图像各自的原点坐标校正为第二相同值，且将所述畸变参数校正为0，以获得所述校正后的参照物图像。
在一些实施例中，所述标定单元703具体用于：
对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对；
根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参；
判断所述第一标定外参是否小于预设阈值，若否，则重复执行所述对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对的步骤，直至所述第一标定外参小于相应阈值；
其中所述第一外参包括所述双目相机的翻滚角偏差Δr、俯仰角偏差Δp、y向间隔高度差ΔH、z向间隔高度差ΔD。
在一些实施例中，所述标定单元703具体用于根据所述多个第一特征点对位于所述参照物图像中的像素坐标，计算所述第一特征点对在第一方向上的坐标偏差Verr；根据所述多个第一特征点对，推算所述双目相机的第一外参；利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参。
在一些实施例中，所述标定单元703具体用于将所述坐标偏差与所述双目相机的第一外参进行直接求和，得到第一标定外参；或者，将所述坐标偏差与所述双目相机的第一外参进行加权求和，得到第一标定外参。
在一些实施例中，所述标定单元703具体还用于从目标图像区域中提取多个第二特征点对，所述目标图像区域为所述校正后的参照物图像中参照物所在的区域；所述处理单元705还用于对所述多个第二特征点对进行水平视差计算，得到所述参照物的视差；对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量；根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参；其中所述第二外参包括基线长b和偏航角偏差Δy。
在一些实施例中，所述标定单元703具体用于采用如下公式计算得到所述第二外参的偏差量：
其中，Δb为基线长的偏差量，Δd为所述参照物的视差的偏移量，Di为第i个参照物到双目相机之间的第一距离，Pi为第i个参照物的视差，f为所述双目相机的焦距，b为所述双目相机的基线长。Δb*和Δd*为通过非线性优化求得的基线长的偏差量和视差的偏移量。
在一些实施例中，所述标定单元703具体用于采用如下公式计算得到所述第二标定参数：
b＝b+Δb；
在一些实施例中，所述标定单元703还用于根据Δd修正所述双目相机的内参cx，得到所述双目相机的标定内参；其中，所述双目相机包括左目相机和右目相机，所述左目相机的标定内参为所述右目相机的标定内参为/>
此情况下可通过如下公式设置所述第二标定外参：
b＝b+Δb；
Δy＝0。
通过实施本申请，能有效解决现有技术中标定操作不方便、标定精度不高等问题。
请参见图7，是本申请实施例提供的一种终端设备的结构示意图。如图7所示的终端设备700包括：至少一个输入设备701；至少一个输出设备702；至少一个处理器703，例如CPU；和存储器704，上述输入设备701、输出设备702、处理器703和存储器704通过总线705连接。
其中，上述输入设备701具体可为移动终端的触控面板，包括触摸屏和触控屏，用于检测终端触控面板上的操作指令。
上述输出设备702具体可为移动终端的显示屏，用于输出、显示信息。
上述存储器704可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。上述存储器704用于存储一组程序代码，上述输入设备701、输出设备702和处理器703用于调用存储器704中存储的程序代码，执行如下操作：
处理器703用于对双目相机采集的双目图像进行分析，得到所述双目相机的内参和畸变参数；
根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离；
根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参。
在一些实施例中，处理器703具体用于在对所述参照物图像进行校正时，将所述双目相机的左焦距和右焦距校正为第一相同值，将所述双目图像各自的原点坐标校正为第二相同值，且将所述畸变参数校正为0，以获得所述校正后的参照物图像。
在一些实施例中，处理器703还用于：
对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对；
根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参；
判断所述第一标定外参是否小于预设阈值，若否，则重复执行所述对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对的步骤，直至所述第一标定外参小于相应阈值；
其中所述第一外参包括所述双目相机的翻滚角偏差Δr、俯仰角偏差Δp、y向间隔高度差ΔH、z向间隔前后差ΔD。
在一些实施例中，所述处理器703具体用于：
根据所述多个第一特征点对位于所述参照物图像中的像素坐标，计算所述第一特征点对在第一方向上的坐标偏差Verr；
根据所述多个第一特征点对，推算所述双目相机的第一外参；
利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参。
在一些实施例中，所述处理器703具体用于：
将所述坐标偏差与所述双目相机的第一外参进行直接求和，得到第一标定外参；或者，
将所述坐标偏差与所述双目相机的第一外参进行加权求和，得到第一标定外参。
在一些实施例中，所述处理器703还用于：
从目标图像区域中提取多个第二特征点对，所述目标图像区域为所述校正后的参照物图像中参照物所在的区域；
对所述多个第二特征点对进行水平视差计算，得到所述参照物的视差；
对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量；
根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参；
其中所述第二外参包括基线长b和偏航角偏差Δy。
在一些实施例中，所述处理器703具体用于：采用如下公式计算得到所述第二外参的偏差量；
其中，Δb为基线长的偏差量，Δd为所述参照物的视差的偏移量，Di为第i个参照物到双目相机之间的第一距离，Pi为第i个参照物的视差，f为所述双目相机的焦距，b为所述双目相机的基线长，Δb*和Δd*为通过非线性优化求得的基线长的偏差量和视差的偏移量。
在一些实施例中，所述处理器703具体用于：采用如下公式计算得到所述第二标定参数；
b＝b+Δb；
基于同一发明构思，本申请实施例中提供的终端解决问题的原理与本申请方法实施例中终端解决问题的原理相似，因此各设备的实施可以参见方法的实施，为简洁描述，在这里不再赘述。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端设备中的模块可以根据实际需要进行合并、划分和删减。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种双目相机的标定方法，其特征在于，所述相机标定方法包括：
对双目相机采集的双目图像进行分析，得到所述双目相机的标定内参和标定镜头畸变参数；
根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离；
根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参；
其中，所述双目相机的外参包括第一外参，所述根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参包括：对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对；根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参；判断所述第一标定外参是否小于预设阈值，若否，则重复执行所述对所述校正后的参照物图像进行特征点对提取，得到所述参照物图像的多个第一特征点对的步骤，直至所述第一标定外参小于相应阈值；其中所述第一外参包括以下中的任一项或多项的组合：所述双目相机在x、y、z三维坐标系中的翻滚角偏差、俯仰角偏差/>、y向间隔高度差/>和z向间隔前后差/>；
所述根据所述多个第一特征点对，推算所述双目相机的第一外参，并对所述第一外参进行修正，得到第一标定外参包括：根据所述多个第一特征点对位于所述参照物图像中的像素坐标，计算所述第一特征点对在所述参照物图像的第一方向上的坐标偏差Verr；根据所述多个第一特征点对，推算所述双目相机的第一外参；利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参；
所述利用所述坐标偏差对所述双目相机的第一外参进行修正，得到所述第一标定外参包括：将所述坐标偏差与所述双目相机的第一外参进行直接求和，得到第一标定外参；或者，将所述坐标偏差与所述双目相机的第一外参进行加权求和，得到第一标定外参；
所述双目相机的外参包括第二外参，所述根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参包括： 从目标图像区域中提取多个第二特征点对，所述目标图像区域为所述校正后的参照物图像中参照物所在的区域；对所述多个第二特征点对进行水平视差计算，得到所述参照物的视差；对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量；根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参；其中所述第二外参包括基线长b和偏航角偏差。
2.根据权利要求1所述的双目相机的标定方法，其特征在于，所述根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像包括：
在对所述参照物图像进行校正时，将所述双目相机的左焦距和右焦距校正为第一相同值，将所述双目图像各自的主点坐标校正为第二相同值，且将所述畸变参数校正为0，以获得校正后的参照物图像。
3.根据权利要求1所述的双目相机的标定方法，其特征在于，所述对所述参照物的视差及所述第一距离进行非线性优化，得到第二外参的偏差量包括：
采用如下公式计算得到所述第二外参的偏差量：
其中，/>为基线长的偏差量，/>为所述参照物的视差的偏移量，/>为第i个参照物到双目相机之间的第一距离，/>为第i个参照物的视差，/>为所述双目相机的焦距，b为所述双目相机的基线长，/>和/>为通过非线性优化求得的基线长的偏差量和视差的偏移量。
4.根据权利要求3所述的双目相机的标定方法，其特征在于，所述根据所述第二外参的偏差量对所述第二外参进行修正，得到第二标定外参包括：
采用如下公式计算得到所述第二标定外参：
其中，b’是修正后的基线长，/>为偏航角偏差。
5.根据权利要求4所述的双目相机的标定方法，其特征在于，所述方法还包括：
根据修正所述双目相机的内参cx，得到所述双目相机的标定内参；
其中，所述双目相机包括左目相机和右目相机，
所述左目相机的标定内参为所述右目相机的标定内参为其中，/>为修正前左目相机水平方向主点位置坐标，为修正后左目相机水平方向主点位置坐标，/>为修正前右目相机水平方向主点位置坐标，/>为修正后右目相机水平方向主点位置坐标；
此情况下可通过如下公式设置所述第二标定外参：
。
6.一种双目相机的标定装置，用于实现如上权利要求1~5中任一项所述的双目相机的标定方法，其特征在于，所述相机标定装置包括：分析单元、校正单元及标定单元，其中：
所述分析单元，用于对双目相机采集的双目图像进行分析，得到所述双目相机的内参和畸变参数；
所述校正单元，用于根据所述双目相机的标定内参和标定镜头畸变参数，对所述双目相机采集的参照物图像进行校正，得到校正后的参照物图像，其中所述参照物图像中包括的参照物与所述双目相机之间的距离为第一距离；
所述标定单元，用于根据所述校正后的参照物图像及所述第一距离，对所述双目相机的外参进行标定处理，得到所述双目相机的标定外参。
7.一种终端设备，其特征在于，包括处理器与所述处理器连接的存储器，其中所述存储器包括计算机可读指令，所述处理器用于执行所述存储器中的计算机可读指令，实现如上权利要求1~5中任一项所述的双目相机的标定方法。
CN202010900745.9A 2020-08-31 2020-08-31 双目相机的标定方法、装置及终端设备 Active CN112070845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900745.9A CN112070845B (zh) 2020-08-31 2020-08-31 双目相机的标定方法、装置及终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900745.9A CN112070845B (zh) 2020-08-31 2020-08-31 双目相机的标定方法、装置及终端设备

Publications (2)

Publication Number Publication Date
CN112070845A CN112070845A (zh) 2020-12-11
CN112070845B true CN112070845B (zh) 2024-02-02

Family

ID=73666269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900745.9A Active CN112070845B (zh) 2020-08-31 2020-08-31 双目相机的标定方法、装置及终端设备

Country Status (1)

Country Link
CN (1) CN112070845B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581542A (zh) * 2020-12-24 2021-03-30 北京百度网讯科技有限公司 自动驾驶单目标定算法的评估方法、装置及设备
CN112562013B (zh) * 2020-12-25 2022-11-01 深圳看到科技有限公司 多镜头相机标定方法、装置及存储介质
CN112614194B (zh) * 2021-01-29 2021-09-03 北京经纬恒润科技股份有限公司 一种图像采集设备的数据处理方法、系统及装置
CN113115017B (zh) * 2021-03-05 2022-03-18 上海炬佑智能科技有限公司 3d成像模组参数检验方法以及3d成像装置
CN113012241A (zh) * 2021-04-28 2021-06-22 歌尔股份有限公司 双目摄像头的视差检测方法、装置、电子设备及存储介质
CN113610932B (zh) * 2021-08-20 2024-06-04 苏州智加科技有限公司 双目相机外参标定方法和装置
CN114205483B (zh) * 2022-02-17 2022-07-29 杭州思看科技有限公司 扫描仪精度校准方法、装置和计算机设备
CN117597705A (zh) * 2022-06-13 2024-02-23 北京小米移动软件有限公司 一种摄像头的标定方法、装置及可读存储介质
CN116701501B (zh) * 2022-11-21 2024-04-12 荣耀终端有限公司 相机标定数据的加载方法、装置及终端设备
CN116030145A (zh) * 2023-03-23 2023-04-28 北京中科慧眼科技有限公司 一种用于不同焦距双目镜头的立体匹配方法和系统
CN117911541A (zh) * 2024-03-19 2024-04-19 杭州灵西机器人智能科技有限公司 沙姆相机标定方法、装置和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967700A (zh) * 2017-12-01 2018-04-27 北京控制工程研究所 大视场宽工作距双目相机的在轨几何校正及精度验证方法
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN111145271A (zh) * 2019-12-30 2020-05-12 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967700A (zh) * 2017-12-01 2018-04-27 北京控制工程研究所 大视场宽工作距双目相机的在轨几何校正及精度验证方法
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
CN110197510A (zh) * 2019-06-05 2019-09-03 广州极飞科技有限公司 双目相机的标定方法、装置、无人机和存储介质
CN111145271A (zh) * 2019-12-30 2020-05-12 广东博智林机器人有限公司 相机参数的精确度的确定方法、装置、存储介质及终端
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法

Also Published As

Publication number Publication date
CN112070845A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112070845B (zh) 双目相机的标定方法、装置及终端设备
US11272161B2 (en) System and methods for calibration of an array camera
US10043290B2 (en) Image processing to enhance distance calculation accuracy
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
EP1343332B1 (en) Stereoscopic image characteristics examination system
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
US20110064298A1 (en) Apparatus for evaluating images from a multi camera system, multi camera system and process for evaluating
JP2009284188A (ja) カラー撮像装置
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
CN112489137A (zh) 一种rgbd相机标定方法及系统
Nozick Multiple view image rectification
CN111179184A (zh) 基于随机抽样一致性的鱼眼图像有效区域提取方法
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
CN113822949A (zh) 一种双目相机的标定方法、装置及可读存储介质
CN109829950B (zh) 双目相机标定参数的检测方法，装置与自动驾驶系统
CN110728714B (zh) 图像处理方法和装置、存储介质、电子设备
CN117911634A (zh) 一种基于数字图像重建的视觉呈像优化方法、系统及设备
CN118154698A (zh) 一种双目相机标定匹配方法、系统、设备及存储介质
CN117392217A (zh) 一种快速大幅面图像的标定方法
CN115100284A (zh) 一种双目特征匹配位移测量方法及装置
KR20120069546A (ko) 스테레오 화상 처리 방법, 스테레오 화상 처리 장치 및 표시 장치
Liu et al. Field calibration method of camera for measuring the dimensions of large forging
CN116188592A (zh) 相机标定方法和相机标定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 230088 a14-5, 13 / F, block a, building J1, phase II, innovation industrial park, No. 2800, innovation Avenue, high tech Zone, Hefei, Anhui Province

Applicant after: Anhui aiguan Vision Technology Co.,Ltd.

Address before: Room 305, Block E, 492 Anhua Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI EYEVOLUTION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant