CN112529967A - 一种散斑结构光系统的参考图获取方法及装置 - Google Patents

一种散斑结构光系统的参考图获取方法及装置 Download PDF

Info

Publication number
CN112529967A
CN112529967A CN202011521808.6A CN202011521808A CN112529967A CN 112529967 A CN112529967 A CN 112529967A CN 202011521808 A CN202011521808 A CN 202011521808A CN 112529967 A CN112529967 A CN 112529967A
Authority
CN
China
Prior art keywords
camera
relative
posture
camera calibration
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011521808.6A
Other languages
English (en)
Other versions
CN112529967B (zh
Inventor
尹首一
周凯
刘雷波
魏少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011521808.6A priority Critical patent/CN112529967B/zh
Publication of CN112529967A publication Critical patent/CN112529967A/zh
Application granted granted Critical
Publication of CN112529967B publication Critical patent/CN112529967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请提供一种散斑结构光系统的参考图获取方法及装置，所述方法包括：根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。本申请能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图。

Description

一种散斑结构光系统的参考图获取方法及装置
技术领域
本申请涉及图像处理及计算机视觉技术领域，具体是一种散斑结构光系统的参考图获取方法及装置。
背景技术
深度图估计技术是计算机视觉技术领域中的一个重要研究方向，广泛应用于移动机器人、安全支付、增强现实及自动驾驶等领域。近年来，基于单目相机及散斑投影的深度图估计方法因其较高的近距离估计精度及较好的稳定性获得了广泛关注。该方法能够利用散斑投射模块把精细散斑图案投影到场景物体表面，同时利用相机拍摄带有散斑图案的场景图像，并将场景图像与预先存储的深度已知的参考图进行匹配，获取两张图像之间的像素视差，最后根据视差恢复出场景深度图。现有技术中，利用参考图恢复场景深度的原理如图1所示。设场景物体表面的点P1成像在场景图像中的像素位置为xR1，通过图像匹配得到xR1在参考图中的匹配点xR0，两个点对应的视差为d＝xR0-xR1，由d可计算得到P1点的深度Z1：
Figure BDA0002849242710000011
其中，b为摄影基线长度，f为相机的焦距，Z0是参考图对应的深度。在该方法中，要求参考图对应的参考平面平行于相机的成像面，且深度固定。在参考图的获取过程中，参考平面的姿态偏差及位置偏差会反映到参考图中，从而影响深度图结果的精度。因此，如何获取深度准确且与相机平行度较好的参考图对于深度图的生成至关重要。目前，现有技术多采用机械对齐的方法保证参考平面与相机成像面的平行度，存在较大的姿态误差及位置误差。
发明内容
针对现有技术中的问题，本申请提供一种散斑结构光系统的参考图获取方法及装置，能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种散斑结构光系统的参考图获取方法，包括：
根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及畸变系数；所述参考坐标系的其中两个坐标轴位于所述相机标定板所在的平面；
根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
进一步地，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置，包括：
根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算预先建立的相机坐标系相对于所述参考坐标系的旋转矩阵；所述相机坐标系的其中一坐标轴与所述相机的主光轴重合；
根据所述旋转矩阵计算航向角偏差及俯仰角偏差；
根据所述航向角偏差及俯仰角偏差确定所述相机相对于所述相机标定板的相对姿态。
进一步地，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置，包括：
根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算所述相机坐标系相对于所述参考坐标系的平移向量；
根据所述平移向量确定所述相机相对于所述相机标定板的相对位置。
进一步地，所述根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件，包括：
根据所述相对姿态及所述相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
判断重新确定后的所述相对姿态及相对位置是否满足所述预设条件；
若是，则确定所述相机的当前姿态及当前位置；
若否，则根据所述相对姿态及所述相对位置继续调整所述相机的当前姿态及当前位置。
第二方面，本申请提供一种散斑结构光系统参考图的获取装置，包括：
姿态位置确定单元，用于根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及径向畸变系数；所述参考坐标系的其中一个坐标轴与相机的主光轴重合；
姿态位置调整单元，用于根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
散斑投射单元，用于在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
进一步地，所述姿态位置确定单元，包括：
旋转矩阵计算模块，用于根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算预先建立的相机坐标系相对于所述参考坐标系的旋转矩阵；所述相机坐标系的其中一个坐标轴与相机的主光轴重合；
偏差计算模块，用于根据所述旋转矩阵计算航向角偏差及俯仰角偏差；
相对姿态确定模块，用于根据所述航向角偏差及俯仰角偏差确定所述相机相对于所述相机标定板的相对姿态。
进一步地，所述姿态位置确定单元，还包括：
平移向量计算模块，用于根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算所述相机坐标系相对于所述参考坐标系的平移向量；
相对位置确定模块，用于根据所述平移向量确定所述相机相对于所述相机标定板的相对位置。
进一步地，所述姿态位置调整单元，包括：
姿态位置调整模块，用于根据所述相对姿态及所述相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
姿态位置判断模块，用于判断重新确定后的所述相对姿态及相对位置是否满足所述预设条件；若是，则确定所述相机的当前姿态及当前位置；若否，则根据所述相对姿态及所述相对位置继续调整所述相机的当前姿态及当前位置。
第三方面，本申请提供一种电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述散斑结构光系统的参考图获取方法的步骤。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述散斑结构光系统的参考图获取方法的步骤。
针对现有技术中的问题，本申请提供的散斑结构光系统的参考图获取方法及装置，利用散斑光系统，能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，具有较高的精度。
附图说明
图1为现有技术中利用参考图恢复场景深度图的原理示意图；
图2本申请实施例中散斑结构光系统的参考图获取方法的流程图；
图3本申请实施例中散斑结构光系统示意图；
图4本申请实施例中相机角度调整示意图；
图5本申请实施例中确定相机相对于相机标定板的相对姿态的流程图；
图6本申请实施例中确定相机相对于相机标定板的相对位置的流程图；
图7本申请实施例中调整相机的当前姿态及当前位置的流程图；
图8本申请实施例中散斑结构光系统参考图的获取装置的结构图；
图9本申请实施例中姿态位置确定单元的结构图之一；
图10本申请实施例中姿态位置确定单元的结构图之二；
图11本申请实施例中姿态位置调整单元的结构图；
图12为本申请实施例中的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参见图2，为了能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，本申请提供一种散斑结构光系统的参考图获取方法，包括：
S201：根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对姿态及相对位置；
可以理解的是，散斑结构光系统中的相机的参数可以包括：镜头焦距、主点坐标及畸变系数。参见图3，相机标定板可以为棋盘格标定板，棋盘格标定板上具有若干方格，每个方格具有四个角点，各方格的各角点在预先建立的参考坐标系中都对应有坐标。该参考坐标系可以建立在相机标定板上，使参考坐标系的两个坐标轴(通常为X坐标轴及Y坐标轴)位于相机标定板所在的平面上，另外一个坐标轴Z垂直于相机标定板平面。在该参考坐标系下，根据相机参数可以计算出相机相对于相机标定板的相对姿态及相对位置。相机标定板图像是指利用本申请实施例中的相机对相机标定板进行拍摄所形成的图像。
S202：根据相对姿态及相对位置调整相机的当前姿态及当前位置，使相对姿态及相对位置满足预设条件；
可以理解的是，用于判断相对姿态的预设条件可以为一阈值范围，当相对姿态超过该阈值范围时，可理解为相机的成像面(指相机标定板图像传感器所在的平面)与相机标定板所在的平面之间不平行；否则，理解为相机的成像面与相机标定板所在的平面之间是平行的，或即使不绝对平行，其误差也处于实际应用中可接受的范围。用于判断相对位置的预设条件可以为另一阈值范围，当相对位置超过该阈值范围时，可理解为相机的中心与相机标定板所在的平面之间的距离与指定的深度值不符，无法获取指定深度的参考图；否则，理解为相机的中心与相机标定板所在的平面之间的距离符合指定的深度值，或即使不绝对符合，其误差也处于实际应用中可接受的范围。
根据上述，如果满足预设条件，则可以确定相机的当前姿态及当前位置为适合获取参考图的姿态及位置；否则继续调整相机的当前姿态及当前位置，直至满足该预设条件。
S203：在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与相机标定板固定连接的参考平面上。
可以理解的是，当相机的当前姿态及当前位置确定后，可以利用散斑结构光系统中与相机一起固定放置的散斑投射器(以下可简称为投射器)将散斑图案投射到与相机标定板固定连接的参考平面上，形成散斑参考图(以下可简称为参考图)。该参考图可用于单目散斑结构光系统的立体场景识别及深度测量。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，利用散斑光系统，能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，具有较高的精度。
上述参考图获取方法可以基于图3所示的系统实现，该系统包括一个散斑结构光模组、一个6自由度旋转位移台、一张参考平面及一张厚度已知的相机标定板。其中，散斑结构光模组由固定在一起的一个相机及一个散斑投射器构成，相机与投射器朝向相同，光轴平行，且相对位置经过了较准，即相机中心与投射器中心的连线与图像传感器的X轴平行。
本申请一实施例中，在确定相机相对于相机标定板的相对姿态及相对位置之前，还需选取一块相机标定板，辅助实现相机标定过程。优选地，可以选取一张厚度为Δz＝5mm的棋盘格标定板。
为了确定相机相对于相机标定板的相对姿态，需将散斑结构光模组固定在6自由度旋转位移台上，正对参考平面，使散斑结构光模组与参考平面之间的距离处于预先设定的深度值d0附近。优选地，该深度值d0一般可为1米(m)。参考平面可选择一块平面度小于0.1毫米(mm)的哑光面白板，其大小能够覆盖相机的整个视场。其中，相机与散斑投射器的相对位置固定。另外，将相机标定板紧贴参考平面放置，并使得相机标定板与参考平面的对应边彼此平行。
参见图5，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标以及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对姿态，包括：
S501：根据相机参数及坐标计算预先建立的相机坐标系相对于参考坐标系的旋转矩阵；
可以理解的是，相机坐标系的其中一个坐标轴与相机的主光轴重合。优选地，在已知相机参数，相机标定板上各角点在参考坐标系中的坐标以及各角点在相机标定板图像上的坐标后，可以利用张正友标定法或PnP(Pespective-n-Point)方法来计算相机坐标系相对于参考坐标系的旋转矩阵R。其中，角点是指相机标定板上各棋盘格的四个角所对应的点。相机坐标系的建立参见图3，相机坐标系的X及Y两个坐标轴平行于图像传感器所在的平面，另外一个坐标轴Z与相机的主光轴重合。
R可以用行向量的形式表示为：
Figure BDA0002849242710000071
其中，行向量r1，r2，r3为相机坐标系的基向量在参考坐标系中的表示。
S502：根据旋转矩阵计算航向角偏差及俯仰角偏差；
可以理解的是，当相机相对于相机标定板存在航向角偏差及俯仰角偏差时，相机的成像面所在的平面与相机标定板所在的平面之间是不平行的。根据旋转矩阵可以计算航向角偏差及俯仰角偏差，进而可以确定相机的成像面所在的平面与相机标定板所在的平面之间是否平行。
具体地，在图3所示的坐标系定义方式下，当相机坐标系的Zc轴与相机标定板平面垂直时，r3＝(0,0,-1)T，当两者不垂直时，由图4所示的α及β定义相机的角度偏差。其中，α为向量r3与参考坐标系XrOrZr平面之间的夹角，代表了航向角的偏差，β为向量r3与参考坐标系YrOrZr平面之间的夹角，代表了俯仰角的偏差。α及β由下式计算：
Figure BDA0002849242710000081
其中，r31、r32及r33分别表示向量r3的3个分量。
S503：根据航向角偏差及俯仰角偏差确定相机相对于相机标定板的相对姿态。
可以理解的是，相对姿态是指相机相对于相机标定板的航向角偏差及俯仰角偏差。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，能够根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标以及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对姿态。
参见图6，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标以及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对位置，包括：
S601：根据相机参数及坐标计算相机坐标系相对于参考坐标系的平移向量；
可以理解的是，当相机到相机标定板之间的距离与指定的深度值偏差过大时，无法得到指定深度值的参考图，因此需要根据平移向量中的z坐标值确定相机的中心到相机标定板所在的平面之间的距离是否等于指定的深度值或是否在一可接受的阈值范围内。
具体地，本申请实施例中采用相机标定的方法可以计算相机中心在参考坐标系中的位置，从而获得相机与相机标定板平面之间的距离。具体地，在已知相机内部参数、相机标定板上各角点在参考坐标系中的坐标以及各角点在相机标定板图像上的坐标后，可以利用张正友标定法或PnP的方法来计算相机坐标系相对于参考坐标系的平移向量t。其中，相机中心在参考坐标系中的位置p可表示为：
p＝-RTt
S602：根据平移向量确定相机相对于相机标定板的相对位置。
可以理解的是，将p表示为p＝(x,y,z)T，在图3所示的坐标系定义方式下，z即为相机到标定板平面的距离，也就是相机相对于相机标定板的相对位置。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，能够根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标以及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对位置。
参见图7，根据相对姿态及相对位置调整相机的当前姿态及当前位置，使相对姿态及相对位置满足预设条件，包括：
S701：根据相对姿态及相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
可以理解的是，本申请一实施例中，可以根据相对姿态α及β可以调整6自由度旋转位移台的角度。具体地，本申请实施例中可以先调整航向角α：若α为正，则调整航向角使相机向左转动α；若α为负，则调整航向角使相机向右转动-α。然后再调整俯仰角β：若β为正，则调整俯仰角使相机向上转动β；若β为负，则调整俯仰角使相机向下转动-β。
调整完成之后，利用步骤S501～S503重新确定相机相对于相机标定板的相对姿态。然后根据相对姿态调整相机的当前姿态，直至相机的光轴(在图3中对应相机坐标系的Zc轴)与相机标定板所在的平面垂直或角度偏差小于某个给定的阈值。具体地，可以将该阈值设定为0.1°，当-0.1°<α<0.1°且-0.1°<β<0.1°时，可以认为相机的光轴与相机标定板所在的平面垂直，也可理解为，相机的成像面与相机标定板所在的平面平行，角度调整完成。调整过程可以手动进行，也可由机器自动完成。无论由手动完成还是由机器自动完成都不影响本申请的散斑结构光系统的参考图获取方法的实施。
本申请一实施例中，在计算相机与参考平面之间的距离时，需考虑标定板的厚度。具体的，相机与参考平面之间的距离为d＝z+Δz＝z+0.5mm。其中，Δz为标定板的厚度，优选地，Δz可以为0.5mm。将d与预先设定的深度值d0做比较，获得位置偏差Δd＝d-d0。根据位置偏差调整6自由度旋转位移台的位移。具体地，若Δd>0，则调整旋转位移台使相机向前移动Δd；若Δd<0，则调整6自由度旋转位移台使相机向后移动-Δd。
调整完成之后，利用步骤S601～S602重新确定相机相对于相机标定板的相对位置，直至相机与参考平面的距离d等于预先设定的深度值d0或与预先设定的深度值d0之差的绝对值小于某个给定的阈值。具体的，可以将阈值设定为0.1mm，当|d-d0|<0.1mm时，可以认为相机与参考平面的距离满足预先设定的要求，位移调整完成。调整过程可以手动进行，也可由机器自动完成。无论由手动完成还是由机器自动完成都不影响本申请的散斑结构光系统的参考图获取方法的实施。
S702：判断重新确定后的相对姿态及相对位置是否满足预设条件；
可以理解的是，本步骤中的预设条件与S202中所描述的一致。本申请实施例可以根据该预设条件重新对相对姿态及相对位置进行判断。
S703：若是，则确定相机的当前姿态及当前位置；
S704：若否，则根据相对姿态及相对位置继续调整相机的当前姿态及当前位置。
可以理解的是，在上述姿态及位置调整结束后，可以移除相机标定板，利用投射器将散斑投射到参考平面上，用相机采集并存储上述散斑图像，作为预设深度值的参考图。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，能够根据相对姿态及相对位置调整相机的当前姿态及当前位置，使相对姿态及相对位置满足预设条件。
基于同一发明构思，本申请实施例还提供了一种散斑结构光系统参考图的获取装置，可以用于实现上述实施例所描述的方法，如下面的实施例所述。由于散斑结构光系统参考图的获取装置解决问题的原理与散斑结构光系统的参考图获取方法相似，因此散斑结构光系统参考图的获取装置的实施可以参见基于软件性能基准确定方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
参见图8，为了能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，本申请提供一种散斑结构光系统参考图的获取装置，包括：姿态位置确定单元801、姿态位置调整单元802及散斑投射单元803。
姿态位置确定单元801，用于根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定相机相对于相机标定板的相对姿态及相对位置；相机参数包括：镜头焦距、主点坐标及畸变系数；参考坐标系的其中两个坐标轴位于相机标定板所在的平面；
姿态位置调整单元802，用于根据相对姿态及相对位置调整相机的当前姿态及当前位置，使相对姿态及相对位置满足预设条件；
散斑投射单元803，用于在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与相机标定板固定连接的参考平面上。
参见图9，姿态位置确定单元801，包括：旋转矩阵计算模块901、偏差计算模块902及相对姿态确定模块903。
旋转矩阵计算模块901，用于根据相机参数及坐标计算预先建立的相机坐标系相对于参考坐标系的旋转矩阵；相机坐标系的其中一个坐标轴与相机的主光轴重合；
偏差计算模块902，用于根据旋转矩阵计算航向角偏差及俯仰角偏差；
相对姿态确定模块903，用于根据航向角偏差及俯仰角偏差确定相机相对于相机标定板的相对姿态。
参见图10，姿态位置确定单元801，还包括：平移向量计算模块1001及相对位置确定模块1002。
平移向量计算模块1001，用于根据相机参数及坐标计算相机坐标系相对于参考坐标系的平移向量；
相对位置确定模块1002，用于根据平移向量确定相机相对于相机标定板的相对位置。
参见图11，姿态位置调整单元802，包括：姿态位置调整模块1101及姿态位置判断模块1102。
姿态位置调整模块1101，用于根据所述相对姿态及所述相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
姿态位置判断模块1102，用于判断重新确定后的相对姿态及相对位置是否满足预设条件；若是，则确定相机的当前姿态及当前位置；若否，则根据相对姿态及相对位置继续调整相机的当前姿态及当前位置。
从硬件层面来说，为了能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，本申请提供一种用于实现所述散斑结构光系统的参考图获取方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(Processor)、存储器(Memory)、通讯接口(Communications Interface)和总线；其中，所述处理器、存储器、通讯接口通过所述总线完成相互间的通讯；所述通讯接口用于实现所述散斑结构光系统参考图的获取装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的散斑结构光系统的参考图获取方法的实施例，以及散斑结构光系统参考图的获取装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在实际应用中，散斑结构光系统的参考图获取方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通讯模块(即通讯单元)，可以与远程的服务器进行通讯连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通讯链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
图12为本申请实施例的电子设备9600的系统构成的示意框图。如图12所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图12是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，散斑结构光系统的参考图获取方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
S201：根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及畸变系数；所述参考坐标系的其中两个坐标轴位于所述相机标定板所在的平面；
S202：根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
S203：在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，利用散斑光系统能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标，调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，具有较高的精度。
在另一个实施方式中，散斑结构光系统参考图的获取装置可以与中央处理器9100分开配置，例如可以将数据复合传输装置散斑结构光系统参考图的获取装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现散斑结构光系统的参考图获取方法的功能。
如图12所示，该电子设备9600还可以包括：通讯模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图12中所示的所有部件；此外，电子设备9600还可以包括图12中没有示出的部件，可以参考现有技术。
如图12所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通讯功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通讯模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通讯模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通讯终端的情况相同。
基于不同的通讯技术，在同一电子设备中，可以设置有多个通讯模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通讯模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的散斑结构光系统的参考图获取方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的散斑结构光系统的参考图获取方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
S201：根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标以及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及畸变系数；所述参考坐标系的其中两个坐标轴位于所述相机标定板所在的平面；
S202：根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
S203：在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
从上述描述可知，本申请提供的散斑结构光系统的参考图获取方法，利用散斑光系统能够根据相机参数、相机标定板上各角点的坐标及各角点在相机标定板图像上的坐标，调整相机的姿态及位置，并利用投射器将散斑图案投射到参考平面上得到指定深度的参考图，具有较高的精度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种散斑结构光系统的参考图获取方法，其特征在于，包括：
根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及畸变系数；所述参考坐标系的其中两个坐标轴位于所述相机标定板所在的平面；
根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
2.根据权利要求1所述的散斑结构光系统的参考图获取方法，其特征在于，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置，包括：
根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算预先建立的相机坐标系相对于所述参考坐标系的旋转矩阵；所述相机坐标系的其中一坐标轴与所述相机的主光轴重合；
根据所述旋转矩阵计算航向角偏差及俯仰角偏差；
根据所述航向角偏差及俯仰角偏差确定所述相机相对于所述相机标定板的相对姿态。
3.根据权利要求1所述的散斑结构光系统的参考图获取方法，其特征在于，根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置，包括：
根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算所述相机坐标系相对于所述参考坐标系的平移向量；
根据所述平移向量确定所述相机相对于所述相机标定板的相对位置。
4.根据权利要求1所述的散斑结构光系统的参考图获取方法，其特征在于，所述根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件，包括：
根据所述相对姿态及所述相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
判断重新确定后的所述相对姿态及相对位置是否满足所述预设条件；
若是，则确定所述相机的当前姿态及当前位置；
若否，则根据所述相对姿态及所述相对位置继续调整所述相机的当前姿态及当前位置。
5.一种散斑结构光系统参考图的获取装置，其特征在于，包括：
姿态位置确定单元，用于根据相机参数、相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，确定所述相机相对于所述相机标定板的相对姿态及相对位置；所述相机参数包括：镜头焦距、主点坐标及径向畸变系数；所述参考坐标系的其中一个坐标轴与相机的主光轴重合；
姿态位置调整单元，用于根据所述相对姿态及所述相对位置调整所述相机的当前姿态及当前位置，使所述相对姿态及所述相对位置满足预设条件；
散斑投射单元，用于在调整后的相机所处的当前姿态及当前位置，将散斑图案投射到与所述相机标定板固定连接的参考平面上。
6.根据权利要求5所述的散斑结构光系统参考图的获取装置，其特征在于，所述姿态位置确定单元，包括：
旋转矩阵计算模块，用于根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算预先建立的相机坐标系相对于所述参考坐标系的旋转矩阵；所述相机坐标系的其中一个坐标轴与相机的主光轴重合；
偏差计算模块，用于根据所述旋转矩阵计算航向角偏差及俯仰角偏差；
相对姿态确定模块，用于根据所述航向角偏差及俯仰角偏差确定所述相机相对于所述相机标定板的相对姿态。
7.根据权利要求6所述的散斑结构光系统参考图的获取装置，其特征在于，所述姿态位置确定单元，还包括：
平移向量计算模块，用于根据所述相机参数、所述相机标定板上各角点在预先建立的参考坐标系中的坐标及各角点在相机标定板图像上的坐标，计算所述相机坐标系相对于所述参考坐标系的平移向量；
相对位置确定模块，用于根据所述平移向量确定所述相机相对于所述相机标定板的相对位置。
8.根据权利要求5所述的散斑结构光系统参考图的获取装置，其特征在于，所述姿态位置调整单元，包括：
姿态位置调整模块，用于根据所述相对姿态及所述相对位置调整相机的当前姿态及当前位置，并重新确定相机相对于相机标定板的相对姿态及相对位置；
姿态位置判断模块，用于判断重新确定后的所述相对姿态及相对位置是否满足所述预设条件；若是，则确定所述相机的当前姿态及当前位置；若否，则根据所述相对姿态及所述相对位置继续调整所述相机的当前姿态及当前位置。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的散斑结构光系统的参考图获取方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述的散斑结构光系统的参考图获取方法的步骤。
CN202011521808.6A 2020-12-21 2020-12-21 一种散斑结构光系统的参考图获取方法及装置 Active CN112529967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011521808.6A CN112529967B (zh) 2020-12-21 2020-12-21 一种散斑结构光系统的参考图获取方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011521808.6A CN112529967B (zh) 2020-12-21 2020-12-21 一种散斑结构光系统的参考图获取方法及装置

Publications (2)

Publication Number Publication Date
CN112529967A true CN112529967A (zh) 2021-03-19
CN112529967B CN112529967B (zh) 2024-09-27

Family

ID=75002252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011521808.6A Active CN112529967B (zh) 2020-12-21 2020-12-21 一种散斑结构光系统的参考图获取方法及装置

Country Status (1)

Country Link
CN (1) CN112529967B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180372481A1 (en) * 2017-06-22 2018-12-27 Hexagon Technology Center Gmbh Calibration of a triangulation sensor
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180372481A1 (en) * 2017-06-22 2018-12-27 Hexagon Technology Center Gmbh Calibration of a triangulation sensor
CN110689581A (zh) * 2018-07-06 2020-01-14 Oppo广东移动通信有限公司 结构光模组标定方法、电子设备、计算机可读存储介质
CN109405765A (zh) * 2018-10-23 2019-03-01 北京的卢深视科技有限公司 一种基于散斑结构光的高精度深度计算方法及系统

Also Published As

Publication number Publication date
CN112529967B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN111105450A (zh) 用于视差估计的电子装置和方法
CN111540004A (zh) 单相机极线校正方法及装置
US10171791B2 (en) Methods and apparatus for conditional display of a stereoscopic image pair
US20190068886A1 (en) Method for reducing parallax of multiple cameras and electronic device supporting the same
KR101591209B1 (ko) 입체 이미지 쌍의 개선된 크로핑을 위한 방법들 및 장치
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN110300292A (zh) 投影畸变校正方法、装置、系统及存储介质
KR20140071330A (ko) 이미징 디바이스를 캘리브레이션하는 방법 및 장치
TW201918772A (zh) 將相機與陀螺儀融合在一起的五維視頻穩定化裝置及方法
CN109672871B (zh) 白平衡信息同步方法、装置及计算机可读介质
US20200169665A1 (en) Electronic device for controlling shaking of lens part contained in camera module and operation method for electronic device
CN112581369A (zh) 图像拼接方法以及装置
US20210125307A1 (en) System and method for providing dolly zoom view synthesis
US11729505B2 (en) Image signal processor, electronic device, and image stabilization method
CN112233189B (zh) 多深度相机外部参数标定方法、装置及存储介质
US20220360714A1 (en) Camera movement control method and device
KR100690172B1 (ko) 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN110766763A (zh) 一种基于消失点运算的相机标定法
CN103533326A (zh) 用于立体视图对齐的系统和方法
CN115834860A (zh) 背景虚化方法、装置、设备、存储介质和程序产品
CN109682312B (zh) 一种基于摄像头测量长度的方法及装置
CN112529967B (zh) 一种散斑结构光系统的参考图获取方法及装置
CN113038096A (zh) 投影设备与投影校正方法
CN117078762A (zh) 一种虚拟现实设备、相机标定装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant