CN109584312B - 摄像头标定方法、装置、电子设备和计算机可读存储介质 - Google Patents
摄像头标定方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN109584312B CN109584312B CN201811452671.6A CN201811452671A CN109584312B CN 109584312 B CN109584312 B CN 109584312B CN 201811452671 A CN201811452671 A CN 201811452671A CN 109584312 B CN109584312 B CN 109584312B
- Authority
- CN
- China
- Prior art keywords
- calibration
- image
- camera
- pixel point
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000012360 testing method Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 7
- 238000003705 background correction Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种摄像头标定方法、装置、电子设备和计算机可读存储介质。所述方法包括：在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息，根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息，可以提高摄像头标定的准确性。
Description
技术领域
本申请涉及影像技术领域，特别是涉及一种摄像头标定方法、装置、电子设备和计算机可读存储介质。
背景技术
摄像头在出厂之前，需要对摄像头进行标定得到摄像头的标定信息，从而摄像头可以根据标定信息对图像进行处理，使得处理后的图像可以还原三维空间中的物体。然而，在摄像头的使用过程中，不同的拍摄条件会对图像的成像效果造成影响，存在摄像头标定准确性低的问题。
发明内容
本申请实施例提供一种摄像头标定方法、装置、电子设备、计算机可读存储介质，可以提高摄像头标定的准确性。
一种摄像头标定方法，包括：
在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
一种摄像头标定装置，包括：
图像采集模块，用于在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
第一标定模块，用于根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
第二标定模块，用于根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：
在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
上述摄像头标定方法、装置、电子设备和计算机可读存储介质，在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息，根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。由于可以在同一场景下先采集图像再对摄像头进行标定处理，可以提高摄像头标定的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中摄像头标定方法的应用环境图；
图2为一个实施例中摄像头标定方法的流程图；
图3为一个实施例中测试第一标定处理结果的流程图；
图4为一个实施例中测试摄像头标定结果的流程图；
图5为一个实施例中摄像头标定方法的流程图；
图6为一个实施例中摄像头标定装置的流程图；
图7为一个实施例中电子设备的内部结构框图；
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一摄像头称为第二摄像头，且类似地，可将第二摄像头称为第一摄像头。第一摄像头和第二摄像头两者都是摄像头，但其不是同一摄像头。
图1为一个实施例中摄像头标定方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和标定板120。标定板(chart板)120上带有chart图案，标定板120可进行旋转，保持不同角度的位姿。电子设备110可以通过摄像头拍摄包含标定板120的chart图案的图像。电子设备110中包含以任意顺序排列的第一摄像头、第二摄像头和第三摄像头。电子设备110在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息，及根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。其中，第一摄像头可以是彩色(RGB)摄像,第二摄像头和第三摄像头可以但不限于是彩色摄像头、黑白摄像头、长焦摄像头、广角摄像头，深度摄像头中的一种或多种。标定板120可以是三维标定板，也可以是二维标定板。电子设备110可以是但不限于是各种手机、电脑、可携带式设备等。
图2为一个实施例中摄像头标定方法的流程图。本实施例中的摄像头标定方法，以运行于图1中的电子设备110上为例进行描述。如图2所示，该摄像头标定方法包括步骤202至步骤206。其中：
步骤202，在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像。
电子设备可以包含第一摄像头、第二摄像头和第三摄像头。各个摄像头可以是内置于电子设备的摄像头，也可以是外置于电子设备的摄像头。电子设备包含各个摄像头可以是前置摄像头、也可以是后置摄像头。其中，第一摄像头可以是彩色摄像头，第二摄像头和第三摄像头可以是彩色摄像头、黑白摄像头、长焦摄像头、广角摄像头中的至少一种，不限于此。
电子设备在同一场景下通过摄像头采集标定图像，具体地，电子设备可以通过第一摄像头、第二摄像头、第三摄像头对同一标定板进行拍摄，获得包含有标定图案的标定图像。电子设备可以同时控制第一摄像头、第二摄像头、第三摄像头采集标定图像，可以先通过第一摄像头和第二摄像头采集标定图像后，再通过第三摄像头采集标定图像等。通过在同一场景下采集得到的第一标定图像、第二标定图像和第三标定图像中包含的被拍摄物体均相同。其中，标定板可以是二维标定板也可以是三维标定板。三维标定板是指包含至少三个标定面的标定板。当标定板为三维标定板时，电子设备得到的每张标定图像中包含至少三个不同的标定图案，即第一标定图像、第二标定图像、第三标定图像中均包含有至少三个不同的标定图案。
步骤204，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息。
标定处理是指对摄像头成像的几何模型中的参数进行求解的操作，通过摄像头成像的几何模型可以使拍摄的图像还原空间中的物体。标定信息是指对摄像头进行标定处理后得到的摄像头参数等，标定信息可以用于对摄像头采集的图像进行校正，从而使校正后的图像可以还原三维空间中的物体。具体地，标定信息可以包括摄像头的内参、外参、畸变系数等。第一标定信息即为第一摄像头和第二摄像头对应的标定信息。第一标定信息中包括第一摄像头和第二摄像头分别对应的单目标定信息，以及第一摄像头和第二摄像头的双目标定信息，其中，单目标定信息可以包括内参、外参、畸变系数，双目标定信息可以包括第一摄像头和第二摄像头之间的外参。
电子设备可以采用传统摄像头标定法、摄像头自标定方法、介于传统标定方法和自标定方法之间的张正友标定方法等进行标定处理，得到第一摄像头和第二摄像头对应的第一标定信息。电子设备根据第一标定图像和第二标定图像进行第一标定处理，具体地，电子设备可以查找第一标定图像的特征点，根据特征点求取第一摄像头对应的内参、外参和畸变系数；类似地，电子设备也可以通过第二标定图像得到第二摄像头对应的内参、外参和畸变系数，进而根据第一摄像头和第二摄像头分别对应的外参计算第一摄像头和第二摄像头之间的外参。
步骤206，根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
第二标定信息包含了第一摄像头和第三摄像头分别对应的单目标定信息，以及第一摄像头和第三摄像头之间的双目标定信息。与电子设备根据第一标定图像和第三标定图像进行第一标定处理类似，电子设备可以根据第一标定图像和第三标定图像进行第二标定处理，得到包含了第一摄像头和第三摄像头分别对应的内参、外参、畸变系数，以及第一摄像头和第三摄像头之间的外参第二标定信息。在一个实施例中，因在进行第一标定处理时，电子设备已经得到第一摄像头对应的单目标定信息，在进行第二标定处理时，电子设备可以不对第一摄像头进行单目标定处理，根据第一标定信息中包含的第一摄像头的外参和第二标定处理过程中得到的第三摄像头的外参计算第一摄像头和第三摄像头之间外参。
在一个实施例中，电子设备并行进行第一标定处理和第二标定处理，即电子设备可以在根据第一标定图像和第二标定图像进行第一标定处理的同时，通过第一标定图像和第三标定图像进行第二标定处理，从而可以同时得到第一标定信息和第二标定信息，可以提高摄像头标定的效率。
本申请实施例提供的摄像头标定方法，通过在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第二摄像头采集第三标定图像，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息，根据第一标定图像和第二标定图像进行第二标定处理，得到第二标信息。由于可以在同一场景下，先通过各个摄像头来采集标定图像，再分别根据标定图像进行标定处理，可以确定标定图像中包含的被拍摄物体的一致性，从而提高摄像头标定的准确性。
在一个实施例中，提供的摄像头标定方法中通过第一摄像头采集第一标定图像，包括：通过第一摄像头对至少三个角度的标定板进行拍摄，得到至少三张第一标定图像。
当标定板为二维标定板，即只具有一个标定面的平板时，标定板可以通过旋转轴旋转多个角度。如图1所示，标定板的至少三个角度中，其中一个角度可以为0度，其他角度为±θ度。θ值可以在保证姿态间解耦的基础上根据实际需求来确定。标定板的角度可以通过电子设备进行控制，例如，在电子设备通过第一摄像头对第一角度的标定板拍摄完成后，电子设备可以控制标定板调整到第二角度，进而电子设备通过第一摄像头对第二角度的标定板进行拍摄。在一些实施例中，标定板的角度也可以通过人为或者其他电子设备进行控制等，不限于此。电子设备可以通过第一摄像头对至少三个角度的标定板进行拍摄得到至少三张第一标定图像，类似地，在电子设备对各个角度的标定板进行拍摄的同时，电子设备也可以通过第二摄像头和第三摄像头对标定板进行拍摄，进而得到至少三张第二标定图像和至少三张第三标定图像。例如，电子设备可以在标定板为-20度时，通过第一摄像头、第二摄像头和第三摄像头对标定板进行拍摄；在标定板为0度时，通过第一摄像头、第二摄像头和第三摄像头对标定板进行拍摄；在标定板为+20度时，通过第一摄像头、第二摄像头和第三摄像头对标定板进行拍摄，从而可以得第一摄像头、第二摄像头和第三摄像头对应的三张第一标定图像、三张第二标定图像和三张第三标定图像。
在一个实施例中，提供的摄像头标定方法中第三摄像头为深度摄像头，电子设备通过第三摄像头采集的第三标定图像为第三摄像头对标定板进行拍摄得到的灰度图像。
第三摄像头可以是深度摄像头。具体地，第三摄像头可以是结构光摄像头，也可以是TOF(Time of flight，飞行时间测距)摄像头等，还可以是其他可获取深度信息的摄像头。结构光摄像头通过向被测物体表面投射可控制的光点、光条或光面结构；并接收可控制的光点、光条或光面结构的反射光，且根据发射光的形变量获得深度图像。TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的深度信息；将场景的轮廓以不同颜色代表不同距离，以获取深度图像。灰度图像是指像素点只有一个采样颜色的图像。具体地，灰度图像在黑色与白色之间存在许多级的颜色深度。电子设备通过第三摄像头采集的图像可以是灰度图像。在本申请实施例中，电子设备通过第三摄像头对标定板进行拍摄，可以得到第三摄像头拍摄的第三标定图像，第三标定图像即为包含有标定板的标定图案的灰度图像。电子设备根据第三标定图像和第一标定图像对第一摄像头和第三摄像头进行第二标定处理，可以提高摄像头标定的准确性。进而在摄像头的使用过程中，可以根据使用的摄像头获得对应的标定信息对采集的图像进行校正处理，当需要用到图像中被拍摄物体的深度信息时，可以采用第三摄像头采集深度图像，并根据第二标定信息对第三摄像头采集的深度图像进行校正，避免采用两个非深度摄像头采集的图像计算图像的深度信息不准确的问题，可以提高图像处理的准确性。
图3为一个实施例中测试第一标定处理结果的流程图。如图3所示，提供的一种摄像头标定方法还包括：
步骤302，根据第一标定信息对第一标定图像和第二标定图像进行校正处理，得到第一目标图像和第二目标图像。
电子设备根据第一标定信息对第一标定图像和第二标定图像进行校正处理，具体地，电子设备可以根据第一标定信息包含的单目标定信息和双目标定信息对第一标定图像和第二标定图像进行校正处理，得到处理后的第一目标图像和第二目标图像。其中，第一目标图像和第二目标图像中的特征点水平对齐。
步骤304，根据第一目标图像和第二目标图像计算第一深度信息。
深度信息是指图像中被拍摄物体与摄像头之间的距离。电子设备根据第一目标图像和第二目标图像计算第一深度信息，具体地，电子设备可以查找第一目标图像和第二目标图像中对应的特征点，根据第一目标图像和第二目标图像中对应的特征点获得被拍摄物体在第一摄像头和第二摄像头之间的视差，从而将视差转化为被拍摄物体的深度信息。
步骤306，当第一深度信息与预设深度信息匹配时，则生成第一标定测试通过的提示信号。
预设深度信息可以是预先测量的摄像头与被拍摄物体的距离值。具体地，可以根据预设深度信息放置电子设备与标定板，从而电子设备通过第一摄像头和第二摄像头拍摄第一标定图像和第二标定图像，对第一标定图像和第二标定图像进行校正处理得到第一目标图像和第二目标图像，则第一目标图像和第二目标图像中的被拍摄物体与标定板之间的距离理论应与预设深度信息相同。电子设备可以通过第一目标图像和第二目标图像计算得到第一深度信息，再将第一深度信息与预设深度信息进行匹配，具体地，电子设备可以计算第一深度信息与预设深度信息的匹配度，将匹配度大于阈值时则确定第一深度信息和预设深度信息相匹配。电子设备可以根据各个像素点在第一深度信息和预设深度信息中的深度差值计算匹配度，例如，可以计算各个像素点的深度差值的平均值、方差、深度差值小于预设差值的像素点的个数等计算匹配度，不限于此。第一深度信息与预设深度信息匹配，则表示第一标定处理的实际误差在误差允许范围内，进而生成第一标定测试通过的提示信号，该提示信号用于提示电子设备的标定测试处理单元，第一标定处理通过标定测试，电子设备可以根据该提示信号将第一标定处理得到的第一标定信息进行保存。
在一个实施例中，提供的摄像头标定方法中第三摄像头为深度摄像头，该方法还可以包括：当第一摄像头采集第一标定图像时，通过第三摄像头进行拍摄，得到与第一标定图像对应的深度图像；将深度图像包含的深度信息作为预设深度信息。
第三摄像头为深度摄像头。第三摄像头可以采集的深度图像，其中，深度图像中包含了被摄像物体与摄像头之间的深度信息。电子设备可以在通过第一摄像头进行拍摄时，通过第三摄像头进行拍摄得到与第一标定图像对应的深度图像，将深度图像中包含的深度信息作为预设深度信息，可以避免人为测量电子设备和标定板的距离时产生的测量误差，提高预设深度信息的准确性。
图4为一个实施例中测试摄像头标定结果的流程图。如图4所示，在一个实施例中，该摄像头标定方法还可以包括：
步骤402，当第一深度信息与预设深度信息匹配时，根据第二标定信息对第三标定图像和第一标定图像进行校正处理，得到第三目标图像和第四目标图像。
当第一深度信息与预设深度信息匹配时，电子设备根据第二标定信息对第三标定图像和第一标定图像进行校正处理，具体地，电子设备可以根据第二标定信息包含的单目标定信息和双目标定信息对第三标定图像和第一标定图像进行校正处理，得到处理后的第三目标图像和第四目标图像。其中，第三目标图像和第四目标图像中的特征点水平对齐。在一个实施例中，电子设备也可以直接将第一目标图像作为第四目标图像。
步骤404，提取第一目标图像中的第一像素点，提取第一像素点在第二目标图像对应的第二像素点，根据第一像素点与第二像素点获取第一视差。
电子设备可以使用尺度不变特征转换(Scale-invariant feature transform，SIFT)方法或加速鲁棒特征(Speed Up Robust Features，SURF)方法提取第一目标图像和第二目标图像中的像素点。具体地，电子设备可以提取第一目标图像中的第一像素点，利用立体匹配算法提取第一像素点在第二目标图像中对应的第二像素点，进而根据第一像素点和第二像素点计算第一视差。
步骤406，提取第三目标图像中的第三像素点，提取第三像素点在第四目标图像对应的第四像素点，根据第三像素点与第四像素点获取第二视差。
电子设备可以使用尺度不变特征转换方法或加速鲁棒特征方法提取第三目标图像和第四目标图像中的像素点。具体地，电子设备可以提取第三目标图像中的第三像素点，利用立体匹配算法提取第三像素点在第四目标图像中对应的第四像素点，进而根据第三像素点和第四像素点计算第二视差。
步骤408，计算第一视差与第二视差的视差差值，当视差差值小于差值阈值时，则生成标定测试通过的提示信号。
具体地，电子设备可以获取第一视差和第二视差的差值绝对值作为视差差值，将差值绝对值和差值阈值进行比较，其中差值阈值为工程师在摄像模组标定过程中预先设置，此处不作限制，预设阈值的设置根据具体情况来确定。若视差差值小于差值阈值，则表示摄像头标定结果的实际误差在误差允许范围内，进而生成标定测试通过的提示信号，该提示信号用于提示电子设备的标定测试处理单元，摄像头标定结果通过标定测试，电子设备可以根据该提示信号将摄像头标定处理得到的第一标定信息和第二标定信息进行保存。
在一个实施例中，提供的摄像头标定方法还可以包括：当视差差值大于或等于差值阈值时，则生成标定测试失败的提示信号；并进行第二次标定处理。
当视差差值大于差值阈值时，则表示摄像头标定结果的实际误差超出误差允许范围，即电子设备对摄像头进行标定处理后得到的第一标定信息和第二标定信息不准确，进而生成标定测试失败的提示信号，该提示信号用于提示电子设备的标定测试处理单元，摄像头标定结果未通过标定测试，则需对摄像头进行第二次标定处理。
电子设备通过根据标定处理得到的标定信息对标定图像进行校正处理，获取校正后得到的目标图像之间的视差，将视差信息进行比对，以检验摄像头标定结果是否合格，可以提高摄像头标定的准确性。
图5为一个实施例中摄像头标定方法的流程图。如图5所示，在一个实施例中，提供的摄像头标定方法包括以下步骤：
步骤502，通过摄像头采集标定图像。具体地，电子设备通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像后，进入步骤504。
步骤504，查找标定图像的特征点。具体地，电子设备分别查找第一标定图像、第二标定图像、第三标定图像的特征点后，同时进入步骤506和步骤508。
步骤506，进行第一标定处理。具体地，电子设备根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息后，进入步骤510。
步骤508，进行第二标定处理。具体地，电子设备根据第一标定图像好第三标定图像进行第二标定处理，得到第一标定信息后，进入步骤510。
步骤510，保存标定处理后得到的标定信息。具体地，电子设备将得到的第一标定信息和第二标定信息进行保存。
本申请实施例的摄像头标定方法，可以在根据第一标定图像和第二标定图像进行第一标定处理的同时，通过第一标定图像和第三标定图像进行第二标定处理，从而可以同时得到第一标定信息和第二标定信息，可以提高摄像头标定的效率。
应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图6为一个实施例的摄像头标定装置的结构框图。如图6所示，该摄像头标定装置包括图像采集模块602、第一标定模块604、第二标定模块606。其中：
图像采集模块602，用于在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像。
第一标定模块604，用于根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息。
第二标定模块606，用于根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息。
本申请实施例提供的摄像头标定装置，可以用于在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像，根据第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息，根据第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息，可以提高摄像头标定的准确性。
在一个实施例中，提供的摄像头标定装置还可以包括标定测试模块608，其中，标定测试模块608可以用于根据第一标定信息对第一标定图像和第二标定图像进行校正处理，得到第一目标图像和第二目标图像；根据第一目标图像和第二目标图像计算第一深度信息；当第一深度信息与预设深度信息匹配时，则生成第一标定测试通过的提示信号。
在一个实施例中，图像采集模块602还可以用于当第一摄像头采集第一标定图像时，通过第三摄像头进行拍摄，得到与第一标定图像对应的深度图像；将深度图像包含的深度信息作为预设深度信息。
在一个实施例中，标定测试模块608还可以用于当第一深度信息与预设深度信息匹配时，根据第二标定信息对第三标定图像和第一标定图像进行校正处理，得到第三目标图像和第四目标图像；提取第一目标图像中的第一像素点，提取第一像素点在第二目标图像对应的第二像素点，根据第一像素点与第二像素点获取第一视差；提取第三目标图像中的第三像素点，提取第三像素点在第四目标图像对应的第四像素点，根据第三像素点与第四像素点获取第二视差；计算第一视差与第二视差的视差差值，当视差差值小于差值阈值时，则生成标定测试通过的提示信号。
在一个实施例中，标定测试模块608还可以用于当视差差值大于或等于差值阈值时，则生成标定测试失败的提示信号；并进行第二次标定处理。
在一个实施例中，图像采集模块602还可以用于通过第一摄像头对至少三个角度的标定板进行拍摄，得到至少三张第一标定图像。
在一个实施例中，第三摄像头为深度摄像头；图像采集模块602还可以用于通过第三摄像头对标定板进行拍摄，得到第三标定图像，其中，第三标定图像为灰度图像。
上述摄像头标定装置中各个模块的划分仅用于举例说明，在其他实施例中，可将摄像头标定装置按照需要划分为不同的模块，以完成上述摄像头标定装置的全部或部分功能。
图7为一个实施例中电子设备的内部结构示意图。如图7所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种摄像头标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
本申请实施例中提供的摄像头标定装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示，图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理，ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器814也可将原始图像数据发送给传感器820，传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840，或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如，传感器820接口将原始图像数据发送给图像存储器830，图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时，ISP处理器840可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器830，以便在被显示之前进行另外的处理。ISP处理器840从图像存储器830接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器840处理后的图像数据可输出给显示器870，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器840的输出还可发送给图像存储器830，且显示器870可从图像存储器830读取图像数据。在一个实施例中，图像存储器830可被配置为实现一个或多个帧缓冲器。此外，ISP处理器840的输出可发送给编码器/解码器860，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器870设备上之前解压缩。编码器/解码器860可由CPU或GPU或协处理器实现。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备810的控制参数及ISP处理器840的控制参数。例如，成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜812阴影校正参数。
在本申请实施例中，图像处理电路可以包括至少三个成像设备(照相机)810，运用图8中图像处理技术可实现上述摄像头标定方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行摄像头标定方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行摄像头标定方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种摄像头标定方法，其特征在于，包括：
在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息；
根据所述第一标定信息对所述第一标定图像和第二标定图像进行校正处理，得到第一目标图像和第二目标图像；
根据所述第一目标图像和第二目标图像计算第一深度信息；
当所述第一深度信息与预设深度信息匹配时，根据所述第二标定信息对所述第三标定图像和第一标定图像进行校正处理，得到第三目标图像和第四目标图像；
提取所述第一目标图像中的第一像素点，提取所述第一像素点在所述第二目标图像对应的第二像素点，根据所述第一像素点与第二像素点获取第一视差；
提取所述第三目标图像中的第三像素点，提取所述第三像素点在所述第四目标图像对应的第四像素点，根据所述第三像素点与第四像素点获取第二视差；
计算所述第一视差与第二视差的视差差值，当所述视差差值小于差值阈值时，则生成标定测试通过的提示信号。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述第一深度信息与预设深度信息匹配时，则生成第一标定测试通过的提示信号。
3.根据权利要求2所述的方法，其特征在于，所述第三摄像头为深度摄像头；所述方法还包括：
当第一摄像头采集第一标定图像时，通过所述第三摄像头进行拍摄，得到与所述第一标定图像对应的深度图像；
将所述深度图像包含的深度信息作为所述预设深度信息。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述视差差值大于或等于差值阈值时，则生成标定测试失败的提示信号；并进行第二次标定处理。
5.根据权利要求1所述的方法，其特征在于，所述通过第一摄像头采集第一标定图像，包括：
通过所述第一摄像头对至少三个角度的标定板进行拍摄，得到至少三张所述第一标定图像。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第三摄像头为深度摄像头；所述第三标定图像为所述第三摄像头对所述标定板进行拍摄得到的灰度图像。
7.一种摄像头标定装置，其特征在于，包括：
图像采集模块，用于在同一场景下，通过第一摄像头采集第一标定图像，通过第二摄像头采集第二标定图像，通过第三摄像头采集第三标定图像；
第一标定模块，用于根据所述第一标定图像和第二标定图像进行第一标定处理，得到第一标定信息；
第二标定模块，用于根据所述第一标定图像和第三标定图像进行第二标定处理，得到第二标定信息；
标定测试模块，用于根据所述第一标定信息对所述第一标定图像和第二标定图像进行校正处理，得到第一目标图像和第二目标图像；根据所述第一目标图像和第二目标图像计算第一深度信息；当所述第一深度信息与预设深度信息匹配时，根据所述第二标定信息对所述第三标定图像和第一标定图像进行校正处理，得到第三目标图像和第四目标图像；提取所述第一目标图像中的第一像素点，提取所述第一像素点在所述第二目标图像对应的第二像素点，根据所述第一像素点与第二像素点获取第一视差；提取所述第三目标图像中的第三像素点，提取所述第三像素点在所述第四目标图像对应的第四像素点，根据所述第三像素点与第四像素点获取第二视差；计算所述第一视差与第二视差的视差差值，当所述视差差值小于差值阈值时，则生成标定测试通过的提示信号。
8.根据权利要求7所述的装置，其特征在于，所述标定测试模块还用于当所述第一深度信息与预设深度信息匹配时，生成第一标定测试通过的提示信号。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述的摄像头标定方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811452671.6A CN109584312B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811452671.6A CN109584312B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584312A CN109584312A (zh) | 2019-04-05 |
| CN109584312B true CN109584312B (zh) | 2020-09-11 |
Family
ID=65923795
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811452671.6A Active CN109584312B (zh) | 2018-11-30 | 2018-11-30 | 摄像头标定方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109584312B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490938A (zh) * | 2019-08-05 | 2019-11-22 | Oppo广东移动通信有限公司 | 用于校验摄像头标定参数的方法、装置及电子设备 |
| CN110503694A (zh) * | 2019-08-08 | 2019-11-26 | Oppo广东移动通信有限公司 | 多摄像头标定方法、装置、存储介质及电子设备 |
| CN112598751A (zh) * | 2020-12-23 | 2021-04-02 | Oppo（重庆）智能科技有限公司 | 标定方法及装置、终端和存储介质 |
| CN112926580B (zh) * | 2021-03-29 | 2023-02-03 | 深圳市商汤科技有限公司 | 图像定位方法、装置、电子设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN105631853A (zh) * | 2015-11-06 | 2016-06-01 | 湖北工业大学 | 车载双目相机标定及参数验证方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107424196A (zh) * | 2017-08-03 | 2017-12-01 | 江苏钜芯集成电路技术股份有限公司 | 一种基于弱标定多目相机的立体匹配方法、装置及系统 |
| CN108182708A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
| CN108629810A (zh) * | 2017-03-23 | 2018-10-09 | 展讯通信（上海）有限公司 | 双目相机的标定方法、装置及终端 |
-
2018
- 2018-11-30 CN CN201811452671.6A patent/CN109584312B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102779347A (zh) * | 2012-06-14 | 2012-11-14 | 清华大学 | 一种用于飞行器的目标跟踪与定位方法和装置 |
| CN103868460A (zh) * | 2014-03-13 | 2014-06-18 | 桂林电子科技大学 | 基于视差优化算法的双目立体视觉自动测量方法 |
| CN105825494A (zh) * | 2015-08-31 | 2016-08-03 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN105631853A (zh) * | 2015-11-06 | 2016-06-01 | 湖北工业大学 | 车载双目相机标定及参数验证方法 |
| CN108629810A (zh) * | 2017-03-23 | 2018-10-09 | 展讯通信（上海）有限公司 | 双目相机的标定方法、装置及终端 |
| CN107424196A (zh) * | 2017-08-03 | 2017-12-01 | 江苏钜芯集成电路技术股份有限公司 | 一种基于弱标定多目相机的立体匹配方法、装置及系统 |
| CN108182708A (zh) * | 2017-12-27 | 2018-06-19 | 深圳进化动力数码科技有限公司 | 一种双目相机的标定方法、标定装置及终端设备 |
Non-Patent Citations (1)
| Title |
|---|
| "深度与彩色相机的联合标定及其在增强现实中的应用";琚旋;《中国优秀硕士学位论文全文数据库》;20140615;参见第3.1-4.2节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584312A (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109767467B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109584312B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
| CN107948519B (zh) | 图像处理方法、装置及设备 | |
| CN109712192B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN111246089B (zh) | 抖动补偿方法和装置、电子设备、计算机可读存储介质 | |
| CN110610465B (zh) | 图像校正方法和装置、电子设备、计算机可读存储介质 | |
| US10306165B2 (en) | Image generating method and dual-lens device | |
| CN109598763B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109685853B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN109600548B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109598764B (zh) | 摄像头标定方法和装置、电子设备、计算机可读存储介质 | |
| CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN109559352B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN108924426B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN112004029B (zh) | 曝光处理方法、装置、电子设备、计算机可读存储介质 | |
| CN109685748B (zh) | 图像处理方法、装置、电子设备、计算机可读存储介质 | |
| CN109040745B (zh) | 摄像头自校准方法和装置、电子设备、计算机存储介质 | |
| CN113875219B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN111246100B (zh) | 防抖参数的标定方法、装置和电子设备 | |
| CN109963080B (zh) | 图像采集方法、装置、电子设备和计算机存储介质 | |
| CN112470192A (zh) | 双摄像头标定方法、电子设备、计算机可读存储介质 | |
| CN109697737B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN109584311B (zh) | 摄像头标定方法、装置、电子设备和计算机可读存储介质 | |
| CN112257713A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210617 Address after: Room 01, 8th floor, No.1 Lane 61, shengxia Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 200120 Patentee after: Zheku Technology (Shanghai) Co., Ltd Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Patentee before: OPPO Guangdong Mobile Communications Co.,Ltd. |
|
| TR01 | Transfer of patent right |