CN113822920B - 结构光相机获取深度信息的方法、电子设备及存储介质 - Google Patents

结构光相机获取深度信息的方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113822920B
CN113822920B CN202111154337.4A CN202111154337A CN113822920B CN 113822920 B CN113822920 B CN 113822920B CN 202111154337 A CN202111154337 A CN 202111154337A CN 113822920 B CN113822920 B CN 113822920B
Authority
CN
China
Prior art keywords
projector
structured light
camera
focal length
light camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111154337.4A
Other languages
English (en)
Other versions
CN113822920A (zh
Inventor
刘祺昌
户磊
王海彬
化雪诚
李东洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dilusense Technology Co Ltd filed Critical Hefei Dilusense Technology Co Ltd
Priority to CN202111154337.4A priority Critical patent/CN113822920B/zh
Publication of CN113822920A publication Critical patent/CN113822920A/zh
Application granted granted Critical
Publication of CN113822920B publication Critical patent/CN113822920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例涉及图像处理领域，公开了一种结构光相机获取深度信息的方法、电子设备及存储介质，其中方法包括：采用张氏标定法对结构光相机进行双目标定，得到所述结构光相机的内外参数；基于所述内外参数得到计算深度值，并根据所述计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距；基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置；基于所述真实焦距和所述投射器标定位置计算深度值。本方案中通过校准得到结构光相机的真实焦距，同时考虑投射器的等效光心与镜头光心的偏差，得到基于光路直线传播的深度计算方法，提升深度计算的准确性。

Description

结构光相机获取深度信息的方法、电子设备及存储介质
技术领域
本发明涉及图像处理领域，特别涉及一种结构光相机获取深度信息的方法、电子设备及存储介质。
背景技术
随着3D视觉技术的发展，人们对于深度值的应用越发深入。结构光相机能够通过投射特定散斑以单个红外镜头接收散斑信息进行深度解算得到物体的第三维信息。目前的结构光相机的深度计算模型多是通过三角相似原理进行深度值解算，但该模型是建立在一种理想条件下才能成立，对于有一定绝对精度要求的应用，该计算方法不再准确有效，故需要一种能够在非理想条件下，能够容忍装配误差等原因带来影响的深度解算方法，用于高绝对精度的应用。
发明内容
本发明实施方式的目的在于提供一种结构光相机获取深度信息的方法、电子设备及存储介质，通过校准得到深度相机的真实焦距，同时考虑投射器的等效光心与镜头光心的偏差，得到基于光路直线传播的深度计算方法，提升深度计算的准确性。
为解决上述技术问题，本发明的实施方式提供了一种结构光相机获取深度信息的方法，包括：
采用张氏标定法对结构光相机进行双目标定，得到所述结构光相机的内外参数；
基于所述内外参数得到计算深度值，并根据所述计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距；
基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置；
基于所述真实焦距和所述投射器标定位置计算深度值。
本发明的实施方式还提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的结构光相机获取深度信息的方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的结构光相机获取深度信息的方法。
本发明实施方式相对于现有技术而言，通过采用张氏标定法对结构光相机进行双目标定，得到结构光相机的内外参数；基于内外参数得到计算深度值，并根据计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距；基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置；基于真实焦距和投射器标定位置计算深度值。本方案中通过校准得到深度相机的真实焦距，同时考虑投射器的等效光心与镜头光心的偏差，得到基于光路直线传播的深度计算方法，提升深度计算的准确性。
附图说明
图1是根据本发明实施方式的结构光相机获取深度信息的方法的具体流程图；
图2是根据本发明实施方式的焦距校准方法的具体流程图；
图3是根据本发明实施方式的投射器位置标定方法的具体流程图；
图4是根据本发明实施方式的结构光原理图；
图5是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。
本发明的一实施方式涉及一种结构光相机获取深度信息的方法，如图1所示，本实施例提供的结构光相机获取深度信息的方法，包括如下步骤。
步骤101：采用张氏标定法对结构光相机进行双目标定，得到结构光相机的内外参数。
具体地，通过结构光相机拍摄N张多姿态的棋盘格的彩色图和红外图，利用张氏标定法，得到相机的内参和外参数。例如，以棋盘格作为标定板，移动棋盘格标定板，拍摄N张多姿态的棋盘格彩色图和红外图，其中N大于或等于3；检测红外和彩色图中，棋盘格的角点；根据单应性变换矩阵以及彩图与红外图中同名点对位置，以闭合解的方式求取相机内参和外参；最后通过非线性优化计算精确的内外参数。
步骤102：基于内外参数得到计算深度值，并根据计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距。
在实际执行双目标定过程中，由于受棋盘格的角点检测算法以及棋盘格标定板的精度影响，通过上一步标定出来的红外镜头的焦距会存在较大的误差，而焦距是深度解算精度一项重要影响因素，故需对焦距进一步校准。
本步骤中，可利用红外相机平面与棋盘格平行时，计算深度值、标定焦距与实际深度值、真实焦距值之间的等比例关系，解算出真实焦距，即校准后的真实焦距。
具体地，可通过如图2所示的焦距校准方法得到真实焦距。如图2所示，该焦距校准方法包括如下步骤。
步骤1021：采用结构光相机获取棋盘格红外图。
具体的，在某一已知距离下拍摄一张棋盘格红外图，拍摄时要求棋盘格放在视野中心。
步骤1022：根据棋盘格红外图上连续角点距离、标定焦距、以及棋盘格中格子的高度，计算角点深度值。
具体地，已知角点在红外图中的位置坐标，f’(包括f x ’和f y ’)是双目标定出来的红外镜头焦距，即上述标定焦距；估算的角点的深度值D1=红外图中两个连续角点的距离* f’/棋盘格子的真实宽度。
步骤1023：当根据多个角点深度值判断棋盘格与相机平面平行时，测量镜头到棋盘格的真实距离，并通过如下公式（1）计算校准后的真实焦距。
Figure 826613DEST_PATH_IMAGE001
………………………（1）
其中，f为校准后的真实焦距，f’为标定焦距，D 1 、D 2 分别为棋盘格与相机平面平行时红外镜头到棋盘格的计算深度值和真实距离。
具体地，当棋盘格与相机平面平行时，红外镜头到棋盘格的距离，就是棋盘格上角点的真实深度值。利用计算深度值、真实深度值、标定焦距、真实焦距之间的等比例关系（公式（1）），可以得到红外摄像头的真实焦距。例如，通过公式（1）可以分别得到红外镜头焦距在x轴、Y轴上的真实焦距分量f x 和f y 。
在一个例子中，根据多个角点深度值判断棋盘格与相机平面平行，可通过比较计算得到的多个角点深度值之间的大小来确定。具体地，通过计算多个角点深度值中，每两个角点深度值的差值，并当差值全部小于预设差值阈值时，确定棋盘格与相机平面平行。
具体地，调整棋盘格位置，利用相机拍摄得到棋盘格红外图，并基于上述步骤标定的内外参数，估算红外图中多个角点的角点深度值；然后计算每两个角点深度值的差值，当差值全部小于预设差值阈值时，如每两个角点深度值的差值都小于1mm时，确定棋盘格与相机平面平行。如果差值中存在大于差值阈值的差值，则再次调整棋盘格位置从新拍摄红外图，计算红外图中的角点深度值，判断棋盘格与相机平面是否平行。当确定棋盘格与相机平面平行时，此时利用激光测距仪、卷尺等工具测量得到镜头到棋盘格的真实距离。该真实距离即为相应棋盘格上角点的真实深度值。
步骤103：基于投射器的等效光心与镜头光心的偏差，对结构光相机中的投射器进行位置标定，得到投射器标定位置。
由于结构光相机通常是在参考图与测试图同行的像素搜索得到视差，而由于装配误差问题，投射器的等效光心与红外镜头光心所在的三轴存在一定的偏差，导致散斑在x轴的实际位置具有一定的误差，从而影响最终的深度计算的z轴精度。
本步骤中基于之前步骤确定的相机内外参数，对投射器位置进行重新标定，得到投射器标定位置。
在一个例子中，本步骤可通过图3所示的投射器位置标定方法得到投射器标定位置。如图3所示，该投射器位置标定方法包括如下步骤。
步骤1031：对于同一目标物，采用结构光相机拍摄平行于像平面的两张散斑图分别作为参考图和测试图。
具体地，参考图4所示的结构光原理，本实施例中，拍摄两个距离的墙面散斑图，两张散斑图的平面与像面平行，这两张散斑图中一张为参考图、一张为测试图（参考图位于参考面、测试图位于测试面）。
步骤1032：确定测试图相对参考图的第一行偏移，并根据第一行偏移与参考图在相机坐标系上y轴坐标值的线性关系，拟合得到线性参数。
具体地，通过高精度的多行匹配算法，得到测试图相对参考图中，每一行像素的行偏移v i ’作为上述第一行偏移。根据第一行偏移v i ’与参考图在相机坐标系上y轴坐标值y i 的线性关系，建立线性模型（公式2）。并利用最小二乘拟合得到公式2中的线性参数a和b。
Figure 599397DEST_PATH_IMAGE002
………………………（2）
其中，a、b依次为线性参数中的斜率和截距。
在实际运算时，y i 为以（摄像头）光心在像平面上的坐标(c x ,c y )为原点的像平面坐标垂直方向上的坐标，垂直方向以从下指向上为正方向。v i ’即为图像坐标系下的行偏差。
步骤1033：基于结构光相机的内外参数，确定参考图上一参考点和测试图上一测试点在像平面坐标系上的坐标；其中，参考点与测试点位于穿过投射器的光心的同一条直线上，参考点和测试点在相机坐标系上的坐标为以投射器标定位置为未知量的函数值。
具体地，通过步骤101中双目标定得到的相机内参数。参考图4中，设一物体点P与投射器光心相连的直线在参考面的坐标即参考点为P1，在测试面的坐标即测试点为P2。由于P2与P1为一条直线，故P2的坐标可标识为P1坐标与投射器位置的函数值，其中投射器位置作为未知量。然后利用相机的针孔成像模型，可将P1、P2在相机坐标系下的坐标变换为像平面坐标系下的坐标。
在一个例子中，本步骤可通过如下步骤实现。
步骤1：确定参考点的坐标为P1（x,y,z），测试点的坐标为P2（k（x-T x ）+T x ,k（y-T y ）+T y ，k（z-T z ）+T z ）；其中，（T x ，T y ，T z ）为待标定的所述投射器标定位置。
具体地，参考图4，假设参考点在参考面上的坐标为P1（x,y,z），由于P2与P1为一条直线，故P2可以表示为（k（x-T x ）+T x ,k（y-T y ）+T y ，k（z-T z ）+T z ）。其中，（T x ，T y ，T z ）为待标定的投射器标定位置。
步骤2：根据相机的针孔成像模型，对参考点和测试点在相机坐标系上的坐标值进行变换，得到参考点和测试点在像平面坐标系上的坐标依次为(u 1 ,v 1 )、(u 2 ,v 2 )：
Figure DEST_PATH_IMAGE003
………………………（3）
Figure 953149DEST_PATH_IMAGE004
………………………（4）
其中， f x 、 f y 为真实焦距，（c x ,c y ）为镜头光心在像平面上的坐标、k为缩放系数。
其中，k近似等于测试面深度/参考面深度。
在公式（4）中，除T x ，T y ，T z 为未知量外，其余均为已知参数。
步骤1034：根据测试点和参考点在像平面上的坐标，计算测试点相对于参考点的第二行偏移。
具体地，可采用如下公式计算测试点相对于参考点的第二行偏移：v 2 -v 1 ，
Figure DEST_PATH_IMAGE005
………………………（5）
其中，z 2 为测试点的坐标P2的z轴分量k（z-T z ）+T z 。
具体地，对公式（3）、公式（4）中的纵坐标（v）相减，可以先得到公式（6）表达的第二行偏移：v 2 -v 1 。
Figure 862199DEST_PATH_IMAGE006
………………………（6）
然后，对公式（6）中的z（P1点z轴坐标值）替换为z2（P2点z轴坐标值）。替换关系参考P2的z轴分量为k（z-T z ）+T z 。替换后，公式（6）则被转换成公式（5）。
在公式（5）中，T y ，T z 为未知量外，其余均为已知参数。
步骤1035：根据第二行偏移，参考点的在相机坐标系上的y轴坐标值以及线性参数，得到投射器标定位置。
在一个例子中，可将v 2 -v 1 作为第二行偏移，将v 1 - c y 作为参考点的在相机坐标系上的y轴坐标值，以a、b依次作为性参数中的斜率和截距，得到投射器标定位置如下：
Figure DEST_PATH_IMAGE007
………………………（7）
T x 为投射器与所述相机镜头的装配距离。
具体地，在得到公式（5）后，由于y i = v 1 -c y ，v i ’=v 2 -v 1 ，故可对公式5进行解算得到公式（8）。之后，进一步对公式（8）解算即可得到公式（7）中的T y ，T z 。式中k近似等于测试面深度/参考面深度。由于T x 其误差相对较小，故取投射器与镜头的装配距离作为T x 。
Figure 275994DEST_PATH_IMAGE008
………………………（8）
步骤104：基于真实焦距和投射器标定位置计算深度值。
具体地，在得到校准后真实焦距和考虑了误差之后的投射器标定位置后，就可以基于这些参数通过结构光相机深度计算方法来计算（目标物）的深度值。
在一个例子中，可根据如下公式计算测试点的深度值z 2 ：
Figure 536074DEST_PATH_IMAGE009
………………………（9）
其中，u 1 、u 2 依次为参考点和测试点在像平面坐标系上的横向坐标值。
有关公式（8）的推演过程如下。
传统单目结构光的深度值计算方法未考虑投射器的装配误差问题，仅通过相似三角关系通过测试图与参考图的视差d以公式（10）式的方式得到。通过公式（3）、（4）能得到当且仅当T y 、T z 都为0时才能保证两个平面的像素处于同一行，故通过三角模型解算深度值将给z轴的精度带来误差。而本实施例从投射器光心出发，考虑投射器的偏移误差得到计算准确度更高的深度计算方法。
Figure 349309DEST_PATH_IMAGE010
………………………（10）
具体地，如图4所示，根据光的直线传播原理可以得到测试面的距离z 2 =k(z-T z )+ T z 。根据公式（11）可得测试像平面上的u2坐标如公式（12）。
Figure 644024DEST_PATH_IMAGE011
………………………（11）
Figure 946830DEST_PATH_IMAGE012
………………………（12）
对公式（12）进一步转换得到k值表达式（13）。
Figure 631889DEST_PATH_IMAGE013
………………………（13）
将公式（13）带入z 2 =k(z-T z )+T z 中，从而得到考虑了偏移误差的深度值计算公式（9）。
与相关技术相比，本实施例通过采用张氏标定法对结构光相机进行双目标定，得到结构光相机的内外参数；基于内外参数得到计算深度值，并根据计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距；基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置；基于真实焦距和投射器标定位置计算深度值。本方案中通过校准得到深度相机的真实焦距，同时考虑投射器的等效光心与镜头光心的偏差，得到基于光路直线传播的深度计算方法，提升深度计算的准确性。
此外，本方案通过真实焦距，同时考虑投射器光心偏差得到基于光路直线传播的深度计算方法，提升深度计算的准确性。
本发明的另一实施方式涉及一种电子设备，如图5所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (9)

1.一种结构光相机获取深度信息的方法，其特征在于，包括：
采用张氏标定法对结构光相机进行双目标定，得到所述结构光相机的内外参数；
基于所述内外参数得到计算深度值，并根据所述计算深度值、标定焦距以及测量的实际深度值，采用等比换算得到校准后的真实焦距；
基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置；
基于所述真实焦距和所述投射器标定位置计算深度值；
所述基于所述内外参数得到计算深度值，并根据所述计算深度值、标定焦距以及实际深度值，采用等比换算得到校准后的真实焦距，包括：
采用所述结构光相机获取棋盘格红外图；
根据所述棋盘格红外图上连续角点距离、所述标定焦距、以及棋盘格中格子的高度，计算角点深度值；
当根据多个所述角点深度值判断所述棋盘格与相机平面平行时，测量镜头到棋盘格的真实距离，并通过如下公式计算所述校准后的真实焦距：
Figure FDA0003603836770000011
其中，f为校准后的真实焦距，f’为标定焦距，D1、D2分别为所述棋盘格与相机平面平行时红外镜头到棋盘格的所述计算深度值和所述真实距离。
2.根据权利要求1所述的方法，其特征在于，所述根据多个所述角点深度值判断所述棋盘格与相机平面平行，包括：
计算所述多个所述角点深度值中，每两个所述角点深度值的差值，并当所述差值全部小于预设差值阈值时，确定所述棋盘格与相机平面平行。
3.根据权利要求1或2所述的方法，其特征在于，所述基于投射器的等效光心与镜头光心的偏差，对所述结构光相机中的投射器进行位置标定，得到投射器标定位置，包括：
对于同一目标物，采用所述结构光相机拍摄平行于像平面的两张散斑图分别作为参考图和测试图；
确定所述测试图相对所述参考图的第一行偏移，并根据所述第一行偏移与所述参考图在相机坐标系上y轴坐标值的线性关系，拟合得到线性参数；
基于所述结构光相机的内外参数，确定所述参考图上一参考点和所述测试图上一测试点在所述像平面坐标系上的坐标；其中，所述参考点与所述测试点位于穿过所述投射器的光心的同一条直线上，所述参考点和所述测试点在相机坐标系上的坐标为以所述投射器标定位置为未知量的函数值；
根据所述测试点和所述参考点在所述像平面上的坐标，计算所述测试点相对于所述参考点的第二行偏移；
根据所述第二行偏移，所述参考点的在相机坐标系上的y轴坐标值以及所述线性参数，得到投射器标定位置。
4.根据权利要求3所述的方法，其特征在于，所述基于所述结构光相机的内外参数，确定所述参考图上一参考点和所述测试图上一测试点在所述像平面坐标系上的坐标，包括：
确定所述参考点的坐标为P1(x,y,z)，所述测试点的坐标为P2(k(x-Tx)+Tx,k(y-Ty)+Ty，k(z-Tz)+Tz)；其中，(Tx，Ty，Tz)为待标定的所述投射器标定位置；
根据相机的针孔成像模型，对所述参考点和所述测试点在相机坐标系上的坐标值进行变换，得到所述参考点和所述测试点在所述像平面坐标系上的坐标依次为(u1,v1)、(u2,v2)：
Figure FDA0003603836770000021
Figure FDA0003603836770000022
其中，fx、fy为所述真实焦距，(cx,cy)为镜头光心在像平面上的坐标、k为缩放系数。
5.根据权利要求4所述的方法，其特征在于，所述根据所述测试点和所述参考点在所述像平面上的坐标，计算所述测试点相对于所述参考点的第二行偏移，包括：
采用如下公式计算所述测试点相对于所述参考点的第二行偏移：v2-v1，
Figure FDA0003603836770000023
其中，z2为所述测试点的坐标P2的z轴分量k(z-Tz)+Tz。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二行偏移，所述参考点的在相机坐标系上的y轴坐标值以及所述线性参数，得到投射器标定位置，包括：
将v2-v1作为所述第二行偏移，将v1-cy作为所述参考点的在相机坐标系上的y轴坐标值，以a、b依次作为所线性参数中的斜率和截距，得到所述投射器标定位置：
Figure FDA0003603836770000031
Tx为所述投射器与所述结构光相机镜头的装配距离。
7.根据权利要求6所述的方法，其特征在于，所述基于所述真实焦距和所述投射器标定位置计算深度值，包括：
根据如下公式计算所述测试点的深度值z2：
Figure FDA0003603836770000032
其中，u1、u2依次为所述参考点和所述测试点在所述像平面坐标系上的横向坐标值。
8.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的结构光相机获取深度信息的方法。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的结构光相机获取深度信息的方法。
CN202111154337.4A 2021-09-29 2021-09-29 结构光相机获取深度信息的方法、电子设备及存储介质 Active CN113822920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111154337.4A CN113822920B (zh) 2021-09-29 2021-09-29 结构光相机获取深度信息的方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111154337.4A CN113822920B (zh) 2021-09-29 2021-09-29 结构光相机获取深度信息的方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113822920A CN113822920A (zh) 2021-12-21
CN113822920B true CN113822920B (zh) 2022-05-31

Family

ID=78921760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111154337.4A Active CN113822920B (zh) 2021-09-29 2021-09-29 结构光相机获取深度信息的方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113822920B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845043B (zh) * 2022-03-18 2024-03-15 合肥的卢深视科技有限公司 自动对焦方法、系统、电子设备和计算机可读存储介质
CN116801100B (zh) * 2023-07-05 2023-11-10 上海鉴智其迹科技有限公司 自动驾驶系统中双目相机模组的标定焦距验证方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067820B2 (en) * 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN110542540B (zh) * 2019-07-18 2021-03-02 北京的卢深视科技有限公司 结构光模组的光轴对齐矫正方法
CN111487043B (zh) * 2020-05-07 2021-11-09 北京的卢深视科技有限公司 单目散斑结构光系统的散斑投射器标定参数确定方法
CN113099120B (zh) * 2021-04-13 2023-04-18 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113240746B (zh) * 2021-04-19 2023-07-04 福建新大陆自动识别技术有限公司 基于理想成像平面的散斑结构光标定方法和设备

Also Published As

Publication number Publication date
CN113822920A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN110021046B (zh) 相机与激光雷达组合传感器的外参数标定方法及系统
CN110057295B (zh) 一种免像控的单目视觉平面距离测量方法
Pandey et al. Extrinsic calibration of a 3d laser scanner and an omnidirectional camera
Zhang et al. A robust and rapid camera calibration method by one captured image
CN106959075B (zh) 利用深度相机进行精确测量的方法和系统
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
CN113822920B (zh) 结构光相机获取深度信息的方法、电子设备及存储介质
CN102376089A (zh) 一种标靶校正方法及系统
CN109272555B (zh) 一种rgb-d相机的外部参数获得及标定方法
CN111709985A (zh) 一种基于双目视觉的水下目标测距方法
CN115457147A (zh) 相机标定方法、电子设备及存储介质
CN112229323B (zh) 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用
WO2023201578A1 (zh) 单目激光散斑投影系统的外参数标定方法和装置
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
CN110044266B (zh) 基于散斑投影的摄影测量系统
Jin et al. Accurate intrinsic calibration of depth camera with cuboids
Chatterjee et al. A nonlinear Gauss–Seidel algorithm for noncoplanar and coplanar camera calibration with convergence analysis
Kumar et al. Generalized pupil-centric imaging and analytical calibration for a non-frontal camera
CN111220118B (zh) 基于视觉惯性导航系统的激光测距仪及测距方法
CN114078163A (zh) 激光雷达与可见光相机的精确标定方法
CN105809685A (zh) 一种基于单幅同心圆图像的摄像机定标方法
CN116188591A (zh) 多相机全局标定方法及装置、电子设备
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN114926538A (zh) 单目激光散斑投影系统的外参数标定方法和装置
Kumar et al. Generalized radial alignment constraint for camera calibration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220509

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Applicant after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Applicant before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Applicant before: Hefei lushenshi Technology Co., Ltd

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant