CN113487686A - 一种多目相机的标定方法、装置、多目相机和存储介质 - Google Patents

一种多目相机的标定方法、装置、多目相机和存储介质 Download PDF

Info

Publication number
CN113487686A
CN113487686A CN202110883125.3A CN202110883125A CN113487686A CN 113487686 A CN113487686 A CN 113487686A CN 202110883125 A CN202110883125 A CN 202110883125A CN 113487686 A CN113487686 A CN 113487686A
Authority
CN
China
Prior art keywords
image
pixel
calibration plate
coordinates
view camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110883125.3A
Other languages
English (en)
Inventor
李一超
吴宏
方素平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Solid High Tech Co ltd
Original Assignee
Solid High Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Solid High Tech Co ltd filed Critical Solid High Tech Co ltd
Priority to CN202110883125.3A priority Critical patent/CN113487686A/zh
Publication of CN113487686A publication Critical patent/CN113487686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/12—Simultaneous equations, e.g. systems of linear equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种多目相机的标定方法、装置、多目相机和存储介质。所述方法包括：当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标，确定第一图像中各像素对应的三维坐标；在每次移动标定板的位置至不同的第二位置时采集第二图像，基于每次采集的第二图像中标定板特征点的像素坐标和标定板特征点的第二空间坐标，确定第二图像中各像素对应的三维坐标；基于各像素对应的三维坐标计算多目相机参数方程中的参数，从而完成多目相机的标定；其中，第一图像中的每个像素均对应一个多目相机参数方程，多目相机参数方程构成了多目相机的模型。采用本方法能够提高相机标定的精度。

Description

一种多目相机的标定方法、装置、多目相机和存储介质
技术领域
本申请涉及三维视觉测量技术领域，特别是涉及一种多目相机的标定方法、装置、多目相机和存储介质。
背景技术
近年来，各种技术应用于三维信息测量中，由此形成了各类三维测量系统。三维视觉测量技术即通过计算机分析处理，让计算机不仅具有和人眼一样的视觉感受，而且能够获得人眼所不能直接获得的经过量化的物体参数。有着广泛的实际应用价值。
在现有的双目相机标定方法中，主要方法为：采用针孔相机模型，分别标定两个相机的内参数、镜头畸变系数，以及标定两个相机之间的旋转平移参数。由于，相机参数、镜头畸变系数高度耦合，造成相机标定精度不高，进一步影响两个相机之间的旋转平移参数求解。从而造成测量精度不足。
发明内容
基于此，有必要针对上述技术问题，提供一种多目相机的标定方法、装置、多目相机和存储介质。
一种多目相机的标定方法，所述方法包括：
当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标；
在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标；
基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
在其中的一个实施例中，所述当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标包括：
当标定板在第一位置时，获取所述标定板特征点在世界坐标系下的第一空间坐标；
对所述标定板进行拍摄，得到第一图像；
获取所述第一图像中各像素在像素坐标系下的像素坐标；
基于所述第一空间坐标和所述像素坐标，采用双线性插值的方式确定所述第一图像中各像素对应的三维坐标。
在其中的一个实施例中，所述在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标包括：
在每次移动所述标定板至不同的第二位置时，获取所述标定板在世界坐标系下的第二空间坐标；
对所述标定板进行拍摄，得到第二图像；
获取所述第二图像中各像素在像素坐标系下的像素坐标；
基于所述第二空间坐标和所述像素坐标，用双线性插值的方式确定所述第二图像中各像素对应的三维坐标。
在其中的一个实施例中，所述双线性插值的表达式为：
Figure BDA0003192893650000021
其中，εi,m用于表示所述第一图像中各像素对应的三维坐标，或所述第二图像中各像素对应的三维坐标；εt和εb分别表示参数值，所述参数值是基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标确定的参数值，或是基于所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标确定的参数值；vi为所述第一图像或所述第二图像中各像素对应的像素坐标，vt和vb表示所述第一图像中所求像素点邻近标定板特征点的像素坐标，或表示所述第二图像中所求像素点邻近标定板特征点的像素坐标。
在其中的一个实施例中，所述基于各所述像素对应的三维坐标计算多目相机参数方程中的参数包括：
建立多目相机参数方程；
将所述第一图像中各像素对应的三维坐标，以及所述第二图像中各像素对应的三维坐标分别输入对应的多目相机参数方程；
基于输入的三维坐标计算所述多目相机参数方程中的参数。
在其中的一个实施例中，所述多目相机参数方程是第一相机参数直线方程或第二相机参数直线方程；所述第一相机参数直线方程的通用表达式为：
Figure BDA0003192893650000031
其中，(x,y,z)表示各所述像素对应的三维坐标，(nx,ny,nz)、(x0，y0，z0)和t为所述第一相机参数直线方程中的参数；
所述第二相机参数直线方程的通用表达式为：
Figure BDA0003192893650000032
其中，(x,y,z)表示各所述像素对应的三维坐标，A1、B1、C1、D1、A2、B2、C2、D2为所述第二相机参数直线方程中的参数；
所述基于各所述像素对应的三维坐标计算多目相机参数方程中的参数包括：
基于各所述像素对应的三维坐标计算所述第一相机参数直线方程中的参数或所述第二相机参数直线方程中的参数。
在其中的一个实施例中，所述确定所述第一图像中各像素对应的三维坐标之前，所述方法还包括：
向所述标定板发送移动请求；所述移动请求用于指示所述标定板根据携带的位置标识移动至所述第一位置。
一种多目相机的标定装置，所述装置包括：
第一确定模块，用于当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标；
第二确定模块，用于在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标；
计算模块，用于基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
在其中的一个实施例中，所述第一确定模块，还用于当标定板在第一位置时，获取所述标定板特征点在世界坐标系下的第一空间坐标；对所述标定板进行拍摄，得到第一图像；获取所述第一图像中各像素在像素坐标系下的像素坐标；基于所述第一空间坐标和所述像素坐标，采用双线性插值的方式确定所述第一图像中各像素对应的三维坐标。
在其中的一个实施例中，所述第二确定模块，还用于在每次移动所述标定板至不同的第二位置时，获取所述标定板在世界坐标系下的第二空间坐标；对所述标定板进行拍摄，得到第二图像；获取所述第二图像中各像素在像素坐标系下的像素坐标；基于所述第二空间坐标和所述像素坐标，用双线性插值的方式确定所述第二图像中各像素对应的三维坐标。
在其中的一个实施例中，所述双线性插值的表达式为：
Figure BDA0003192893650000041
其中，εi,m用于表示所述第一图像中各像素对应的三维坐标，或所述第二图像中各像素对应的三维坐标；εt和εb分别表示参数值，所述参数值是基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标确定的参数值，或是基于所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标确定的参数值；vi为所述第一图像或所述第二图像中各像素对应的像素坐标，vt和vb表示所述第一图像中所求像素点邻近标定板特征点的像素坐标，或表示所述第二图像中所求像素点邻近标定板特征点的像素坐标。
在其中的一个实施例中，所述计算模块，还用于建立多目相机参数方程；将所述第一图像中各像素对应的三维坐标，以及所述第二图像中各像素对应的三维坐标分别输入对应的多目相机参数方程；基于输入的三维坐标计算所述多目相机参数方程中的参数。
在其中的一个实施例中，所述多目相机参数方程是第一相机参数直线方程或第二相机参数直线方程；所述第一相机参数直线方程的通用表达式为：
Figure BDA0003192893650000051
其中，(x,y,z)表示各所述像素对应的三维坐标，(nx,ny,nz)、(x0，y0，z0)和t为所述第一相机参数直线方程中的参数；
所述第二相机参数直线方程的通用表达式为：
Figure BDA0003192893650000052
其中，(x,y,z)表示各所述像素对应的三维坐标，A1、B1、C1、D1、A2、B2、C2、D2为所述第二相机参数直线方程中的参数；
所述计算模块，还用于基于各所述像素对应的三维坐标计算所述第一相机参数直线方程中的参数或所述第二相机参数直线方程中的参数。
在其中的一个实施例，多目相机的标定装置还包括：
发送模块，用于向所述标定板发送移动请求；所述移动请求用于指示所述标定板根据携带的位置标识移动至所述第一位置。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述多目相机的标定方法的步骤。
一种多目相机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述多目相机的标定方法的步骤。
上述多目相机的标定方法、装置、多目相机和存储介质，当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标，确定第一图像中各像素对应的三维坐标；不断重复上述过程，得到各个位置对应的图像中各像素对应的三维坐标，然后根据这些三维坐标计算多目相机参数方程中的参数，从而完成多目相机的标定，从而无需单独计算相机内外参和畸变系数，不存在相机内参与畸变系数耦合的情况，因此可以有效地提高了相机的标定精度。此外，通过不断移动标定板的方式快速获得多组数据来计算参数，有利于提高多目相机标定的效率。在完成标定之后，利用多目相机参数方程来推导出被测物体的三维坐标，可以避免了因相机内参数和镜头畸变系数高度耦合而造成的误差。
附图说明
图1为一个实施例中多目相机的标定方法的应用场景图；
图2为一个实施例中多目相机的标定方法的流程示意图；
图3为一个实施例中双目相机对被测物体的三维坐标计算示意图；
图4为一个实施例中多目相机的标定装置的结构框图；
图5为一个实施例中多目相机的标定装置的结构框图；
图6为一个实施例中多目相机的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中多目相机的标定方法的应用场景图。参照图1，该运用场景包括多目相机的左目摄像头(110)和右目摄像头(120)、标定板(130)、直线导轨(140)。标定板(130)在直线导轨(140)上移动。在实际应用中，该多目相机具体可以是双目相机或双目以上的相机。
如图2所示，在一个实施例中，提供了一种多目相机的标定方法。本实施例主要以该方法应用于上述图1中的多目相机。参照图2，该多目相机的标定方法具体包括如下步骤：
S202，当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标，确定第一图像中各像素对应的三维坐标。
其中，第一位置指的是标定板第一次放置的指定位置，如图1中的Pos1。第一图像可以是在第一位置拍摄标定板所得的图像，具体可以是多目相机中的左目摄像头和右目摄像头分别拍摄标定板所得的两个图像，或者是对这两个图像进行融合得到的融合图像。
标定板可以是用来对相机进行标定的平板，标定板特征点可以指该平板上的带有固定间距的图案阵列。
第一空间坐标可以是标定板在第一位置时，该标定板中的标定板特征点在世界坐标系下的三维坐标。在世界坐标系下，分别可以以标定板的水平轴和垂直轴为x轴和y轴，以直线导轨为z轴建立的坐标系。
在一个实施例中，标定板放置在第一位置时，多目相机对标定板进行拍摄，得到第一图像，并在像素坐标系下，获取第一图像中标定板特征点的像素坐标，以及，获取标定板在世界坐标系下的第一空间坐标，然后可以采用双线性插值的方式确定第一图像中各像素对应的三维坐标。当第一位置为图1中的Pos1时，即可得到在Pos1下的三维坐标。
其中，双线性插值的表达式为：
Figure BDA0003192893650000071
其中，εi,m用于表示第一图像中各像素对应的三维坐标；εt和εb分别表示参数值，参数值是基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标确定的参数值；vi为图像中各像素对应的像素坐标，vt和vb表示第一图像中所求像素点邻近标定板特征点的像素坐标。
在一个实施例中，在S202之前，向标定板发送移动请求，移动请求用于指示标定板根据携带的位置标识移动至第一位置。
S204,在每次移动标定板的位置至不同的第二位置时采集第二图像，基于每次采集的第二图像中标定板特征点的像素坐标和标定板特征点的第二空间坐标，确定第二图像中各像素对应的三维坐标。
其中，第二位置为每次移动标定板进行图像采集时的位置。例如，在第一次将标定板沿目标方向移动至相邻的指定位置时，该相邻的指定位置即为第二位置，如图1中的pos2。此外，当标定板继续沿目标方向移动至下一个相邻的指定位置，该下一个相邻的指定位置也即第二次移动时所得的第二位置，如图1中的pos3，依此类推。
第二图像可以是在第二位置拍摄标定板所得的图像，具体可以是多目相机中的左目摄像头和右目摄像头分别拍摄标定板所得的两个图像，或者是对这两个图像进行融合得到的融合图像。
在一个实施例中，在每次移动标定板至不同的第二位置时，获取标定板特征点在世界坐标系下的第二空间坐标。对标定板进行拍摄，得到第二图像，获取第二图像中各像素在像素坐标系下的像素坐标，基于第二空间坐标和像素坐标，用双线性插值的方式确定第二图像中各像素对应的三维坐标。
其中，双线性插值的表达式为：
Figure BDA0003192893650000081
其中，θi,m用于表示第二图像中各像素对应的三维坐标；θt和θb分别表示参数值，参数值是基于第二图像中标定板特征点的像素坐标和标定板特征点的第二空间坐标确定的参数值；vi为图像中各像素对应的像素坐标，vt和vb表示第二图像中所求像素点邻近标定板特征点的像素坐标。
在一个实施例中，上述获取标定板特征点在世界坐标系下的第二空间坐标的步骤，具体可以包括：获取标定板在在世界坐标系下的三维坐标，然后根据该标定板的三维坐标计算标定板特征点在世界坐标系下的第一空间坐标。在世界坐标系下，分别可以以标定板的水平轴和垂直轴为x轴和y轴，以直线导轨为z轴建立的坐标系。
例如，如图1所示，在移动标定板至Pos2时，获取标定板在世界坐标系下的第二空间坐标；对标定板进行拍摄，得到第二图像；获取第二图像中各像素在像素坐标系下的像素坐标；基于第二空间坐标和像素坐标，用双线性插值的方式确定第二图像中各像素对应的三维坐标；因此，得到在Pos2下的三维坐标。
在移动标定板至Pos3时，获取标定板在世界坐标系下的第二空间坐标；对标定板进行拍摄，得到第二图像；获取第二图像中各像素在像素坐标系下的像素坐标；基于第二空间坐标和像素坐标，用双线性插值的方式确定第二图像中各像素对应的三维坐标；因此，得到在Pos3下的三维坐标。
依次类推，在移动标定板至Posn位置时，获取标定板在世界坐标系下的第二空间坐标；对标定板进行拍摄，得到第二图像；获取第二图像中各像素在像素坐标系下的像素坐标；基于第二空间坐标和像素坐标，用双线性插值的方式确定第二图像中各像素对应的三维坐标；因此，得到在Posn下的三维坐标，从而得到分别在Pos1、Pos2、…、Posn下的三维坐标。
S206，基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
在一个实施例中，在S206之前，将第一图像中各像素对应的三维坐标和第二图像中各像素对应的三维坐标依次进行保存。
在一个实施例中，S206具体可以包括：建立多目相机参数方程，然后将第一图像中各像素对应的三维坐标，以及第二图像中各像素对应的三维坐标分别输入对应的多目相机参数方程，基于输入的三维坐标计算多目相机参数方程中的参数。
在一个实施例中，当相机参数直线方程是第一相机参数直线方程时；第一相机参数直线方程为：
Figure BDA0003192893650000091
其中，(x,y,z)表示各像素对应的三维坐标，(nx,ny,nz)、(x0，y0，z0)和t为第一相机参数直线方程中的参数；
因此，S206具体可以包括：基于各像素对应的三维坐标计算第一相机参数直线方程中的参数。
另一个实施例中，若相机参数直线方程是第二相机参数直线方程，该第二相机参数直线方程为：
Figure BDA0003192893650000101
其中，(x,y,z)表示各像素对应的三维坐标，A1、B1、C1、D1、A2、B2、C2、D2为第二相机参数直线方程中的参数；
因此，S206具体可以包括：基于各像素对应的三维坐标计算第二相机参数直线方程中的参数。
在一个实施例中，S206之后，该方法还包括：在使用终端进行测量时，首先，对被测物体进行图像采集，获取被测物体的像素坐标；其次，根据该像素坐标搜索对应的相机参数直线方程，将该各相机参数直线方程联立，最后求解出被测物体的三维坐标。
如图3所示，展示了一个利用标定后的双目相机对被测物体的三维坐标进行计算的示意图。图3中的同一个点P在左右相机中成像像素分别为pL和pR，左右相机像素对应相机参数直线方程分别为LL和LR，LL和LR的交点即为P的三维坐标。
上述实施例中，当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标，确定第一图像中各像素对应的三维坐标；不断重复上述过程，得到各个位置对应的图像中各像素对应的三维坐标，然后根据这些三维坐标计算多目相机参数方程中的参数，从而完成多目相机的标定，从而无需单独计算相机内外参和畸变系数，不存在相机内参与畸变系数耦合的情况，因此可以有效地提高了相机的标定精度。此外，通过不断移动标定板的方式快速获得多组数据来计算参数，有利于提高多目相机标定的效率。在完成标定之后，利用多目相机参数方程来推导出被测物体的三维坐标，可以避免了因相机内参数和镜头畸变系数高度耦合而造成的误差。
如图4所示，在一个实施例中，提供了一种多目相机的标定装置，该多目相机的标定装置具体包括：第一确定模块402、第一确定模块404、计算模块406；其中：
第一确定模块402，用于当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点在第一位置的第一空间坐标，确定第一图像中各像素对应的三维坐标；
第二确定模块404，用于在每次移动标定板的位置至不同的第二位置时采集第二图像，基于每次采集的第二图像中标定板特征点的像素坐标和标定板特征点的第二空间坐标，确定第二图像中各像素对应的三维坐标；
计算模块406，用于基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
在一个实施例中，第一确定模块402，还用于当标定板在第一位置时，获取所述标定板特征点在世界坐标系下的第一空间坐标；对所述标定板进行拍摄，得到第一图像；获取所述第一图像中各像素在像素坐标系下的像素坐标；基于所述第一空间坐标和所述像素坐标，采用双线性插值的方式确定所述第一图像中各像素对应的三维坐标。
其中，双线性插值的表达式为：
Figure BDA0003192893650000111
其中，εi,m用于表示第一图像中各像素对应的三维坐标；εt和εb分别表示参数值，参数值是基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标确定的参数值；vi为图像中各像素对应的像素坐标，vt和vb表示第一图像中所求像素点邻近标定板特征点的像素坐标。
在一个实施例中，第二确定模块404，还用于在每次移动标定板至不同的第二位置时，获取标定板在世界坐标系下的第二空间坐标；对标定板进行拍摄，得到第二图像；获取第二图像中各像素在像素坐标系下的像素坐标；基于第二空间坐标和像素坐标，用双线性插值的方式确定第二图像中各像素对应的三维坐标。
其中，双线性插值的表达式为：
Figure BDA0003192893650000121
其中，θi,m用于表示第二图像中各像素对应的三维坐标；θt和θb分别表示参数值，参数值是基于第二图像中标定板特征点的像素坐标和标定板特征点的第二空间坐标确定的参数值；vi为图像中各像素对应的像素坐标，vt和vb表示第二图像中所求像素点邻近标定板特征点的像素坐标。
在一个实施例中，计算模块406，还用于建立多目相机参数方程；将第一图像中各像素对应的三维坐标，以及第二图像中各像素对应的三维坐标分别输入对应的多目相机参数方程；基于输入的三维坐标计算多目相机参数方程中的参数。
在一个实施例中，若多目相机参数方程是第一相机参数直线方程；第一相机参数直线方程的通用表达式为：
Figure BDA0003192893650000122
其中，(x,y,z)表示各像素对应的三维坐标，(nx,ny,nz)、(x0，y0，z0)和t为第一相机参数直线方程中的参数；
该计算模块406，还用于基于各像素对应的三维坐标计算第一相机参数直线方程中的参数。
在一个实施例中，若多目相机参数方程是第一相机参数直线方程；第二相机参数直线方程的通用表达式为：
Figure BDA0003192893650000123
其中，(x,y,z)表示各像素对应的三维坐标，A1、B1、C1、D1、A2、B2、C2、D2为第二相机参数直线方程中的参数；
该计算模块406，还用于基于各像素对应的三维坐标计算第二相机参数直线方程中的参数。
在一个实施例中，如图5所示，该装置包括：发送模块408；其中，
发送模块408用于向标定板发送移动请求；移动请求用于指示标定板根据携带的位置标识移动至第一位置。
上述实施例中，当在第一位置采集到关于标定板的第一图像时，基于第一图像中标定板特征点的像素坐标和标定板特征点的第一空间坐标，确定第一图像中各像素对应的三维坐标；不断重复上述过程，得到各个位置对应的图像中各像素对应的三维坐标，然后根据这些三维坐标计算多目相机参数方程中的参数，从而完成多目相机的标定，从而无需单独计算相机内外参和畸变系数，不存在相机内参与畸变系数耦合的情况，因此可以有效地提高了相机的标定精度。此外，通过不断移动标定板的方式快速获得多组数据来计算参数，有利于提高多目相机标定的效率。在完成标定之后，利用多目相机参数方程来推导出被测物体的三维坐标，可以避免了因相机内参数和镜头畸变系数高度耦合而造成的误差。
在一个实施例中，提供了一种多目相机，该多目相机可以是多目相机，其内部结构图可以如图6所示。该多目相机包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该多目相机的处理器用于提供计算和控制能力。该多目相机的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该多目相机的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种语音合成方法，也可以实现一种语音合成模型处理方法。该多目相机的显示屏可以是液晶显示屏或者电子墨水显示屏，该多目相机的输入装置可以是显示屏上覆盖的触摸层，也可以是多目相机外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的多目相机的限定，具体的多目相机可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种多目相机，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。多目相机的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该多目相机执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多目相机的标定方法，其特征在于，所述方法包括：
当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标；
在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标；
基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
2.根据权利要求1所述的方法，其特征在于，所述当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标包括：
当标定板在第一位置时，获取所述标定板特征点在世界坐标系下的第一空间坐标；
对所述标定板进行拍摄，得到第一图像；
获取所述第一图像中各像素在像素坐标系下的像素坐标；
基于所述第一空间坐标和所述像素坐标，采用双线性插值的方式确定所述第一图像中各像素对应的三维坐标。
3.根据权利要求1所述的方法，其特征在于，所述在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标包括：
在每次移动所述标定板至不同的第二位置时，获取所述标定板在世界坐标系下的第二空间坐标；
对所述标定板进行拍摄，得到第二图像；
获取所述第二图像中各像素在像素坐标系下的像素坐标；
基于所述第二空间坐标和所述像素坐标，用双线性插值的方式确定所述第二图像中各像素对应的三维坐标。
4.根据权利要求2或3所述的方法，其特征在于，所述双线性插值的表达式为：
Figure FDA0003192893640000021
其中，εi,m用于表示所述第一图像中各像素对应的三维坐标，或所述第二图像中各像素对应的三维坐标；εt和εb分别表示参数值，所述参数值是基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标确定的参数值，或是基于所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标确定的参数值；vi为所述第一图像或所述第二图像中各像素对应的像素坐标，vt和vb表示所述第一图像中所求像素点邻近标定板特征点的像素坐标，或表示所述第二图像中所求像素点邻近标定板特征点的像素坐标。
5.根据权利要求1所述的方法，其特征在于，所述基于各所述像素对应的三维坐标计算多目相机参数方程中的参数包括：
建立多目相机参数方程；
将所述第一图像中各像素对应的三维坐标，以及所述第二图像中各像素对应的三维坐标分别输入对应的多目相机参数方程；
基于输入的三维坐标计算所述多目相机参数方程中的参数。
6.根据权利要求1所述的方法，其特征在于，所述多目相机参数方程是第一相机参数直线方程或第二相机参数直线方程；所述第一相机参数直线方程的通用表达式为：
Figure FDA0003192893640000022
其中，(x,y,z)表示各所述像素对应的三维坐标，(nx,ny,nz)、(x0，y0，z0)和t为所述第一相机参数直线方程中的参数；
所述第二相机参数直线方程的通用表达式为：
Figure FDA0003192893640000031
其中，(x,y,z)表示各所述像素对应的三维坐标，A1、B1、C1、D1、A2、B2、C2、D2为所述第二相机参数直线方程中的参数；
所述基于各所述像素对应的三维坐标计算多目相机参数方程中的参数包括：
基于各所述像素对应的三维坐标计算所述第一相机参数直线方程中的参数或所述第二相机参数直线方程中的参数。
7.根据权利要求1至3、5至6中的任一项所述的方法，其特征在于，所述确定所述第一图像中各像素对应的三维坐标之前，所述方法还包括：
向所述标定板发送移动请求；所述移动请求用于指示所述标定板根据携带的位置标识移动至所述第一位置。
8.一种多目相机的标定装置，其特征在于，所述装置包括：
第一确定模块，用于当在第一位置采集到关于标定板的第一图像时，基于所述第一图像中标定板特征点的像素坐标和所述标定板特征点的第一空间坐标，确定所述第一图像中各像素对应的三维坐标；
第二确定模块，用于在每次移动所述标定板的位置至不同的第二位置时采集第二图像，基于每次采集的所述第二图像中标定板特征点的像素坐标和所述标定板特征点的第二空间坐标，确定所述第二图像中各像素对应的三维坐标；
计算模块，用于基于各所述像素对应的三维坐标计算多目相机参数方程中的参数，从而完成所述多目相机的标定；其中，所述第一图像中的每个像素均对应一个多目相机参数方程，所述多目相机参数方程构成了所述多目相机的模型。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种多目相机，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
CN202110883125.3A 2021-08-02 2021-08-02 一种多目相机的标定方法、装置、多目相机和存储介质 Pending CN113487686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110883125.3A CN113487686A (zh) 2021-08-02 2021-08-02 一种多目相机的标定方法、装置、多目相机和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110883125.3A CN113487686A (zh) 2021-08-02 2021-08-02 一种多目相机的标定方法、装置、多目相机和存储介质

Publications (1)

Publication Number Publication Date
CN113487686A true CN113487686A (zh) 2021-10-08

Family

ID=77945263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110883125.3A Pending CN113487686A (zh) 2021-08-02 2021-08-02 一种多目相机的标定方法、装置、多目相机和存储介质

Country Status (1)

Country Link
CN (1) CN113487686A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243374A1 (en) * 2014-11-13 2017-08-24 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN108629810A (zh) * 2017-03-23 2018-10-09 展讯通信（上海）有限公司 双目相机的标定方法、装置及终端
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111459176A (zh) * 2020-04-03 2020-07-28 重庆固高科技长江研究院有限公司 车自动充电定位控制方法、标定方法及车辆姿态计算方法
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112859022A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN112950727A (zh) * 2021-03-30 2021-06-11 中国科学院西安光学精密机械研究所 基于仿生曲面复眼的大视场多目标同时测距方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243374A1 (en) * 2014-11-13 2017-08-24 Olympus Corporation Calibration device, calibration method, optical device, image-capturing device, projection device, measuring system, and measuring method
JP2018044943A (ja) * 2016-09-08 2018-03-22 パナソニックＩｐマネジメント株式会社 カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム
CN108629810A (zh) * 2017-03-23 2018-10-09 展讯通信（上海）有限公司 双目相机的标定方法、装置及终端
WO2019100933A1 (zh) * 2017-11-21 2019-05-31 蒋晶 用于三维测量的方法、装置以及系统
CN111123912A (zh) * 2019-11-29 2020-05-08 苏州智加科技有限公司 行车定位坐标的标定方法和装置
CN111459176A (zh) * 2020-04-03 2020-07-28 重庆固高科技长江研究院有限公司 车自动充电定位控制方法、标定方法及车辆姿态计算方法
CN112465912A (zh) * 2020-11-18 2021-03-09 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112859022A (zh) * 2021-01-22 2021-05-28 上海西井信息科技有限公司 多种雷达和相机联合标定方法、系统、设备及存储介质
CN112950727A (zh) * 2021-03-30 2021-06-11 中国科学院西安光学精密机械研究所 基于仿生曲面复眼的大视场多目标同时测距方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, H.等: ""A technique for binocular stereo vision system calibration by the nonlinear optimization and calibration points with accurate coordinates"", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》, vol. 48, no. 1, 31 October 2006 (2006-10-31), pages 806 - 810, XP020110831, DOI: 10.1088/1742-6596/48/1/153 *
F. ZIQIU等: ""A High Resolution Image Mosaic Method Based on Camera Calibration for Tunnel Patrol Robot System"", 《2019 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO)》, 20 January 2020 (2020-01-20), pages 2607 - 2613 *
王宇桐: ""基于自然场景的多相机内外参自动标定方法的设计与实现"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 1, 15 January 2020 (2020-01-15), pages 138 - 2238 *

Similar Documents

Publication Publication Date Title
CN111968235B (zh) 一种物体姿态估计方法、装置、系统和计算机设备
CN107230225B (zh) 三维重建的方法和装置
CN110189400B (zh) 一种三维重建方法、三维重建系统、移动终端及存储装置
US9183634B2 (en) Image processing apparatus and image processing method
CN109615664B (zh) 一种用于光学透视增强现实显示器的标定方法与设备
CN104395692A (zh) 三维测定方法、装置、系统以及图像处理装置
WO2020237492A1 (zh) 三维重建方法、装置、设备及存储介质
CN112465877B (zh) 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法
CN116030202B (zh) 一种三维图像重建方法、装置、电子设备及存储介质
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN108648141B (zh) 一种图像拼接方法及装置
CN110691228A (zh) 基于三维变换的深度图像噪声标记方法、装置和存储介质
CN113793392A (zh) 一种相机参数标定方法及装置
CN108519215B (zh) 瞳距适应性测试系统及方法、测试主机
CN113487686A (zh) 一种多目相机的标定方法、装置、多目相机和存储介质
CN116843759A (zh) 双目摄像头的标定验证方法、系统、计算机设备及介质
CN112241984A (zh) 双目视觉传感器标定方法、装置、计算机设备和存储介质
CN110853087B (zh) 一种视差估计方法、装置、存储介质及终端
CN110068308B (zh) 一种基于多目相机的测距方法及测距系统
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN113487685A (zh) 线激光扫描相机的标定方法、装置、设备和存储介质
CN113790711A (zh) 一种无人机低空飞行位姿无控多视测量方法及存储介质
CN113405532A (zh) 基于视觉系统结构参数的前方交会测量方法及系统
CN113643377B (zh) 基于多次标定的单镜头一致性误差分析的方法和系统
CN115984389B (zh) 标定方法、系统标定方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination