CN115205129A - 基于结构光的深度相机及使用方法 - Google Patents

基于结构光的深度相机及使用方法 Download PDF

Info

Publication number
CN115205129A
CN115205129A CN202110386320.5A CN202110386320A CN115205129A CN 115205129 A CN115205129 A CN 115205129A CN 202110386320 A CN202110386320 A CN 202110386320A CN 115205129 A CN115205129 A CN 115205129A
Authority
CN
China
Prior art keywords
image
structured light
temperature
depth camera
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110386320.5A
Other languages
English (en)
Inventor
侯俊峰
黄龙祥
汪博
朱力
吕方璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Guangjian Technology Co Ltd
Original Assignee
Shenzhen Guangjian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Guangjian Technology Co Ltd filed Critical Shenzhen Guangjian Technology Co Ltd
Priority to CN202110386320.5A priority Critical patent/CN115205129A/zh
Publication of CN115205129A publication Critical patent/CN115205129A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于结构光的深度相机及使用方法,包括:结构光投射模块,用于向目标人物投射激光散斑图案;图像成像模块,用于接收目标人物反射后的激光散斑图案生成目标散斑图;温度传感器模块,用于实时测试结构光投射模块和图像接收模块的温度;处理器模块,用于根据第一温漂补偿模型和图像接收模块的温度对目标散斑图进行校正,根据第二温漂补偿模型和结构光投射模块的温度对结构光参考图像进行校正,根据校正后的目标散斑图像和结构光参考图像进行深度重建,生成深度图像。本发明能够在不同温度下对深度相机的散斑图像、结构光参考图像进行校正,能够使深度相机在不同工作环境下保持较高测量精度。

Description

基于结构光的深度相机及使用方法
技术领域
本发明涉及3D成像技术,具体地,涉及一种基于结构光的深度相机及使用方法。
背景技术
近年来,随着消费电子产业的不断发展,具有深度传感功能的深度相机日渐受到消费电子界的重视。目前比较成熟的深度测量方法是结构光方案。
结构光方案是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面,在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测,从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上,沿光条显示出的位移(或偏移)与物体表面高度成比例,扭结表示了平面的变化,不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时,由畸变的二维光条图像坐标便可重现物体表面三维形廓。
深度相机是广泛应用在人脸识别、三维建模、手势识别等领域。近年来,随着深度相机在各个领域的应用,深度相机的测量精度也越来越受到人们关注。但是由于3D结构光相机的投射光源、光学器件、光学结构、图像传感器等容易受到温度的影响,从而导致散斑位置发生变化。由于参考图像是预先存储的,无法及时根据散斑位置变化进行调整,会造成深度测量精度下降,甚至匹配失败,无法完成深度重建。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于结构光的深度相机及使用方法。
根据本发明提供的基于结构光的深度相机,包括:结构光投射模块、图像成像模块、温度传感器模块以及处理器模块;
结构光投射模块,用于向目标人物投射激光散斑图案;
图像成像模块,用于接收目标人物反射后的激光散斑图案生成目标散斑图;
温度传感器模块,用于实时测试所述结构光投射模块和所述图像接收模块的温度;
处理器模块,用于根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述目标散斑图像和结构光参考图像进行深度重建,生成深度图像。
优选地,所述第一温漂补偿模型的通过如下步骤生成:
步骤M1:获取多个棋盘格图像,所述棋盘格图像通过深度相机在多个温度下采集;
步骤M2:获取参考棋盘格图像,提取所述棋盘格图像和所述参考棋盘格图像中的角点;
步骤M3:确定不同温度下的每一所述棋盘格图像与所述参考棋盘格图像的角点对应关系,进而确定所述棋盘格图像中每一角点与不同温度下的所述棋盘格图像中对应角点的第一位置差值,根据所述第一位置差值建立第一温漂补偿模型;
优选地,所述第二温漂补偿模型的通过如下步骤生成:
步骤N1:获取多个目标散斑图像,所述散斑图像通过深度相机在多个温度下采集;
步骤N2:提取所述散斑图像和所述结构光参考图像中的特征点,确定不同温度下的每一所述散斑图像与所述结构光参考图像的特征点对应关系;
步骤N3:确定所述结构光参考图像中每一特征点与不同温度下的所述散斑图像中对应特征点的第二位置差值,根据所述第二位置差值建立第二温漂补偿模型。
优选地,所述步骤M1包括如下步骤:
步骤M101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn
步骤M102:对所述深度相机的结构光投射模块进行遮挡后放入高低温箱,将棋盘格平面放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤M103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集棋盘格图像g1、g2、…、gn且同时分别记录温度传感器的温度值t′1、t′2、…、t′n
优选地,所述步骤M3包括如下步骤:
步骤M301:确定不同温度下的每一所述棋盘格图像与所述参考棋盘格图像的角点对应关系;
步骤M302:分别计算棋盘格图像g1、g2、…、gn与所述参考棋盘格图像中每个匹配角点(x,y)的位置差值dx1、dx2、…、dxn与dy1、dy2、…、dyn
步骤M303:对每一所述匹配角点(x,y)与所述位置差值进行拟合生成所述第一温漂补偿模型,所述第一温漂补偿模型表示为:dx=fx(x,y,t)、dy=fy(x,y,t),t为温度传感器的温度值。
优选地,所述步骤N1包括如下步骤:
步骤N101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn
步骤N102:对所述深度相机的结构光投射模块放入高低温箱,将白板放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤N103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集散斑图像s1、s2、…、sn且同时分别记录温度传感器的温度值t″1、t″2、…、y″n
优选地,所述步骤N3包括如下步骤:
步骤N301:根据所述第一温漂补偿模型对散斑图像s1、s2、…、sn分别进行校正生成散斑图像s′1、s′2、…、s′n
步骤N302:根据所述结构光参考图像分别计算散斑图像s′1、s′2、…、s′n与结构光参考图像中每个匹配特征点(u,v)的第二位置差值du1、du2、…、dun和dv1、dv2、…、dvn
步骤N303:对每一所述匹配特征点(u,v)与所述第二位置差值进行拟合生成所述第二温漂补偿模型,所述第二温漂补偿模型表示为:du=fu(u,v,t)、dv=fv(u,v,t),t为温度传感器的温度值。
优选地,所述结构光参考图像为所述图像成像模块在常温环境采集的平面图像,所述常温环境为20℃至30℃。
优选地,所述激光散斑图案呈准晶体形状;
所述准晶体形状包括多个晶格单元;
每一所述晶格单元包括呈周期性排列的光斑点阵;
多个所述晶格单元呈周期性排列且使得不同的所述晶格单元内的光斑点阵呈准晶体形状排布。
根据本发明提供的基于结构光的深度相机的使用方法,如下步骤:
步骤S1:向目标人物投射激光散斑图案;
步骤S2:接收目标人物反射后的激光散斑图案生成目标散斑图;
步骤S3:实时测试所述结构光投射模块和所述图像接收模块的温度;
步骤S4:根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述结构光参考图像和目标散斑图像进行深度重建,生成深度图像。
与现有技术相比,本发明具有如下的有益效果:
本发明预存储通过标定获得第一温漂补偿模型和第二温漂补偿模型,处理器模块分别通过第一温漂补偿模型和第二温漂补偿模型对目标散斑图像以及结构光参考图像进行校正,可使深度相机在不同工作环境下保持较高测量精度;
本发明中通过在多个温度下采集的棋盘格图像与预设置的参考棋盘格图像中的角点进行比较,确定棋盘格图像中每一角点与不同温度下的所述棋盘格图像中对应角点的第一位置差值,进而建立第一温漂补偿模型,从而能够在不同温度下对深度相机的目标散斑图像进行校正,能够使深度相机在不同工作环境下保持较高测量精度;
本发明中通过在多个温度下采集的散斑图像与预设置的结构光参考图像进行比较,确定结构光参考图像中每一特征点与不同温度下的所述散斑图像中对应特征点的第二位置差值,进而建立第二温漂补偿模型,从而能够在不同温度下对深度相机结构光参考图像进行校正,能够使深度相机在不同工作环境下保持较高测量精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明实施例中基于结构光的深度相机的模块示意图;
图2为本发明实施例中建立第一温漂补偿模型的步骤流程图;
图3为本发明实施例中建立第二温漂补偿模型的步骤流程图;
图4为本发明实施例中激光散斑图案的示意图;
图5为本发明实施例中基于结构光的深度相机使用方法的步骤流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例,例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
本发明提供的基于结构光的深度相机,旨在解决现有技术中存在的问题。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
图1为本发明实施例中基于结构光的深度相机的模块示意图,如图1所示,本发明提供的基于结构光的深度相机,包括:
结构光投射模块,用于向目标人物投射激光散斑图案;
图像成像模块,用于接收目标人物反射后的激光散斑图案生成目标散斑图;
温度传感器模块,用于实时测试所述结构光投射模块和所述图像接收模块的温度;
处理器模块,用于根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述目标散斑图像和结构光参考图像进行深度重建,生成深度图像。
本发明实施例中预存储通过标定获得第一温漂补偿模型和第二温漂补偿模型,处理器模块分别通过第一温漂补偿模型和第二温漂补偿模型对目标散斑图像以及结构光参考图像进行校正,可使深度相机在不同工作环境下保持较高测量精度。
图2为本发明实施例中建立第一温漂补偿模型的步骤流程图,如图2所示,所述第一温漂补偿模型的通过如下步骤生成:
步骤M1:获取多个棋盘格图像,所述棋盘格图像通过深度相机在等间隔的多个温度下采集;
在本发明实施例中,所述步骤M1包括如下步骤:
步骤M101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn,其中n为自然数;
步骤M102:对所述深度相机的结构光投射模块进行遮挡后放入高低温箱,将棋盘格平面放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤M103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集棋盘格图像g1、g2、…、gn且同时分别记录温度传感器的温度值t′1、t′2、…、t′n
步骤M2:获取参考棋盘格图像,提取所述棋盘格图像和所述参考棋盘格图像中的角点;
在本发明实施例中,所述参考棋盘格图像为所述图像成像模块在常温环境采集的棋盘格图像,所述常温环境为20℃至30℃,优选为25℃。
步骤M3:确定不同温度下的每一所述棋盘格图像与所述参考棋盘格图像的角点对应关系,进而确定所述棋盘格图像中每一角点与不同温度下的所述棋盘格图像中对应角点的第一位置差值,根据所述第一位置差值建立第一温漂补偿模型。
在本发明实施例中,所述步骤M3包括如下步骤:
步骤M301:提取所述棋盘格图像和所述参考棋盘格图像中的角点;
步骤M302:分别计算棋盘格图像g1、g2、…、gn与所述参考棋盘格图像中每个匹配角点(x,y)的位置差值dx1、dx2、…、dxn与dy1、dy2、…、dyn
步骤M303:对每一所述匹配角点(x,y)与所述位置差值进行拟合生成所述第一温漂补偿模型,所述第一温漂补偿模型表示为:dx=fx(x,y,t)、dy=fy(x,y,t),t为温度传感器的温度值。
在本发明实施例中,其中,(x,y)为可以采用像素坐标,利用不同温度下匹配的棋盘格角点位置差值数据,通过最小二乘法,可以得到fx(x,y,t)、fy(x,y,t)的函数关系,利用该第一温漂补偿模型,可对图像成像模块引入的温漂误差进行校正。
在本发明实施例中,所述结构光参考图像为所述图像成像模块在常温环境采集的平面图像,所述常温环境为20℃至30℃,优选为25℃。
图3为本发明实施例中建立第二温漂补偿模型的步骤流程图,如图3所示,所述第二温漂补偿模型的通过如下步骤生成:
步骤N1:获取多个目标散斑图像,所述散斑图像通过深度相机在等间隔的多个温度下采集;
在本发明实施例中,所述步骤N1包括如下步骤:
步骤N101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn
步骤N102:对所述深度相机的结构光投射模块放入高低温箱,将白板放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤N103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集散斑图像s1、s2、…、sn且同时分别记录温度传感器的温度值t″1、t″2、…、t″n
步骤N2:提取所述散斑图像和所述结构光参考图像中的特征点,确定不同温度下的每一所述散斑图像与所述结构光参考图像的特征点对应关系;
步骤N3:确定所述结构光参考图像中每一特征点与不同温度下的所述散斑图像中对应特征点的第二位置差值,根据所述第二位置差值建立第二温漂补偿模型。
在本发明实施例中,所述特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。
在本发明实施例中,所述步骤N3包括如下步骤:
步骤N301:根据所述第一温漂补偿模型对散斑图像s1、s2、…、sn分别进行校正生成散斑图像s′1、s′2、…、s′n
步骤N302:根据所述结构光参考图像分别计算散斑图像s′1、s′2、…、s′n与结构光参考图像中每个匹配特征点(u,v)的第二位置差值du1、du2、…、dun和dv1、dv2、…、dvn
步骤N303:对每一所述匹配特征点(u,v)与所述第二位置差值进行拟合生成所述第二温漂补偿模型,所述第二温漂补偿模型表示为:du=fu(u,v,t)、dv=fv(u,v,t),t为温度传感器的温度值。
在本发明实施例中,通过第二温漂补偿模型对结构光投射模块的温漂误差进行校正。
在本发明实施例中,根据校正后的所述结构光参考图像和目标散斑图像进行深度重建,生成深度图像。
在本发明实施例中,对所述深度相机进行温漂校正时,根据深度相机的实时温度t,通过第二温漂补偿模型对结构光参考图像中的像素位置(u,v)进行校正,校正后的像素位置坐标分别表示为:u′=u+fu(u,v,t)、v′=v+fv(u,v,t)。通过第一温漂补偿模型分别对目标散斑图像中像素位置(x,y)进行校正,校正后的坐标分别表示为:x′=x+fx(x,y,t)、y′=y+fy(x,y,t);
然后利用校正后的结构光参考图像中的像素坐标r(u′,v′)与校正后的目标散斑图像中的像素坐标o(x′,y′)进行深度计算。
图4为本发明实施例中激光散斑图案的示意图,如图4所示,所述激光散斑图案呈准晶体形状;
所述准晶体形状包括多个晶格单元;
每一所述晶格单元包括呈周期性排列的光斑点阵;
多个所述晶格单元呈周期性排列且使得不同的所述晶格单元内的光斑点阵呈准晶体形状排布。
在本发明实施例中,所述晶格单元中周期性排列的光斑点阵呈如下任一种或任多种形状:
直线形;三角形;四边形;矩形;圆形;六边形;五边形;七边形;八边形;星形;椎形;梯形;椭圆形;多焦点圆;月牙形;弓形;扇形;菱形。
图5为本发明实施例中基于结构光的深度相机使用方法的步骤流程图,如图5所示,本发明提供的基于结构光的深度相机的使用方法,包括如下模块:
步骤S1:向目标人物投射激光散斑图案;
步骤S2:接收目标人物反射后的激光散斑图案生成目标散斑图;
步骤S3:实时测试所述结构光投射模块和所述图像接收模块的温度;
步骤S4:根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述结构光参考图像和目标散斑图像进行深度重建,生成深度图像。
本发明实施例中预存储通过标定获得第一温漂补偿模型和第二温漂补偿模型,处理器模块分别通过第一温漂补偿模型和第二温漂补偿模型对目标散斑图像以及结构光参考图像进行校正,可使深度相机在不同工作环境下保持较高测量精度;本发明实施例中通过在多个温度下采集的棋盘格图像与预设置的参考棋盘格图像中的角点进行比较,确定棋盘格图像中每一角点与不同温度下的所述棋盘格图像中对应角点的第一位置差值,进而建立第一温漂补偿模型,从而能够在不同温度下对深度相机的目标散斑图像进行校正,能够使深度相机在不同工作环境下保持较高测量精度;本发明实施例中通过在多个温度下采集的散斑图像与预设置的结构光参考图像进行比较,确定结构光参考图像中每一特征点与不同温度下的所述散斑图像中对应特征点的第二位置差值,进而建立第二温漂补偿模型,从而能够在不同温度下对深度相机结构光参考图像进行校正,能够使深度相机在不同工作环境下保持较高测量精度。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。

Claims (10)

1.一种基于结构光的深度相机,其特征在于,包括:结构光投射模块、图像成像模块、温度传感器模块以及处理器模块;
结构光投射模块,用于向目标人物投射激光散斑图案;
图像成像模块,用于接收目标人物反射后的激光散斑图案生成目标散斑图;
温度传感器模块,用于实时测试所述结构光投射模块和所述图像接收模块的温度;
处理器模块,用于根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述目标散斑图像和结构光参考图像进行深度重建,生成深度图像。
2.根据权利要求1所述的基于结构光的深度相机,其特征在于,所述第一温漂补偿模型的通过如下步骤生成:
步骤M1:获取多个棋盘格图像,所述棋盘格图像通过深度相机在多个温度下采集;
步骤M2:获取参考棋盘格图像,提取所述棋盘格图像和所述参考棋盘格图像中的角点;
步骤M3:确定不同温度下的每一所述棋盘格图像与所述参考棋盘格图像的角点对应关系,进而确定所述参考棋盘格图像中每一角点与不同温度下的所述棋盘格图像中对应角点的第一位置差值,根据所述第一位置差值建立第一温漂补偿模型。
3.根据权利要求1所述的基于结构光的深度相机,其特征在于,所述第二温漂补偿模型的通过如下步骤生成:
步骤N1:获取多个目标散斑图像,所述散斑图像通过深度相机在多个温度下采集;
步骤N2:提取所述散斑图像和所述结构光参考图像中的特征点,确定不同温度下的每一所述散斑图像与所述结构光参考图像的特征点对应关系;
步骤N3:确定所述结构光参考图像中每一特征点与不同温度下的所述散斑图像中对应特征点的第二位置差值,根据所述第二位置差值建立第二温漂补偿模型。
4.根据权利要求2所述的基于结构光的深度相机,其特征在于,所述步骤M1包括如下步骤:
步骤M101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn
步骤M102:对所述深度相机的结构光投射模块进行遮挡后放入高低温箱,将棋盘格平面放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤M103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集棋盘格图像g1、g2、…、gn且同时分别记录温度传感器的温度值t′1、t′2、…、t′n
5.根据权利要求4所述的基于结构光的深度相机,其特征在于,所述步骤M3包括如下步骤:
步骤M301:确定不同温度下的每一所述棋盘格图像与所述参考棋盘格图像的角点对应关系;
步骤M302:分别计算棋盘格图像g1、g2、…、gn与所述参考棋盘格图像中每个匹配角点(x,y)的位置差值dx1、dx2、…、dxn与dy1、dy2、…、dyn
步骤M303:对每一所述匹配角点(x,y)与所述位置差值进行拟合生成所述第一温漂补偿模型,所述第一温漂补偿模型表示为:dx=fx(x,y,t)、dy=fy(x,y,t),t为温度传感器的温度值。
6.根据权利要求3所述的基于结构光的深度相机,其特征在于,所述步骤N1包括如下步骤:
步骤N101:在所述深度相机的工作温度范围t1~tn内,等间隔取n个温度,分别为t1、t2、…、tn
步骤N102:对所述深度相机的结构光投射模块放入高低温箱,将白板平面放置于深度相机前距离dr处并使其表面与结构光投射模块的轴向垂直;
步骤N103:通过高低温箱控制温度分别稳定在t1、t2、…、tn后,通过所述深度相机的图像成像模块分别采集散斑图像s1、s2、…、sn且同时分别记录温度传感器的温度值t″1、t″2、…、t″n
7.根据权利要求6所述的基于结构光的深度相机,其特征在于,所述步骤N3包括如下步骤:
步骤N301:根据所述第一温漂补偿模型对散斑图像s1、s2、…、sn分别进行校正生成散斑图像s′1、s′2、…、s′n
步骤N302:根据所述结构光参考图像分别计算散斑图像s′1、s′2、…、s′n与结构光参考图像中每个匹配特征点(u,v)的第二位置差值du1、du2、…、dun和dv1、dv2、…、dvn
步骤N303:对每一所述匹配特征点(u,v)与所述第二位置差值进行拟合生成所述第二温漂补偿模型,所述第二温漂补偿模型表示为:du=fu(u,v,t)、dv=fv(u,v,t),t为温度传感器的温度值。
8.根据权利要求6所述的基于结构光的深度相机,其特征在于,所述结构光参考图像为所述图像成像模块在常温环境采集的平面图像,所述常温环境为20℃至30℃。
9.根据权利要求6所述的基于结构光的深度相机,其特征在于,所述激光散斑图案呈准晶体形状;
所述准晶体形状包括多个晶格单元;
每一所述晶格单元包括呈周期性排列的光斑点阵;
多个所述晶格单元呈周期性排列且使得不同的所述晶格单元内的光斑点阵呈准晶体形状排布。
10.一种基于结构光的深度相机的使用方法,其特征在于,如下步骤:
步骤S1:向目标人物投射激光散斑图案;
步骤S2:接收目标人物反射后的激光散斑图案生成目标散斑图;
步骤S3:实时测试所述结构光投射模块和所述图像接收模块的温度;
步骤S4:根据预设置的第一温漂补偿模型和所述图像接收模块的温度对所述目标散斑图进行校正,根据预设置的第二温漂补偿模型和所述结构光投射模块的温度对预设置的结构光参考图像进行校正,根据校正后的所述结构光参考图像和目标散斑图像进行深度重建,生成深度图像。
CN202110386320.5A 2021-04-12 2021-04-12 基于结构光的深度相机及使用方法 Pending CN115205129A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110386320.5A CN115205129A (zh) 2021-04-12 2021-04-12 基于结构光的深度相机及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110386320.5A CN115205129A (zh) 2021-04-12 2021-04-12 基于结构光的深度相机及使用方法

Publications (1)

Publication Number Publication Date
CN115205129A true CN115205129A (zh) 2022-10-18

Family

ID=83571460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110386320.5A Pending CN115205129A (zh) 2021-04-12 2021-04-12 基于结构光的深度相机及使用方法

Country Status (1)

Country Link
CN (1) CN115205129A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818129A (zh) * 2023-05-08 2023-09-29 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN118224993A (zh) * 2024-05-24 2024-06-21 杭州鲁尔物联科技有限公司 一种建筑结构形变监测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116818129A (zh) * 2023-05-08 2023-09-29 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN116818129B (zh) * 2023-05-08 2024-01-12 广州图语信息科技有限公司 应用于结构光重建的温度估计与热畸变校正方法
CN118224993A (zh) * 2024-05-24 2024-06-21 杭州鲁尔物联科技有限公司 一种建筑结构形变监测方法、装置、电子设备及存储介质
CN118224993B (zh) * 2024-05-24 2024-07-30 杭州鲁尔物联科技有限公司 一种建筑结构形变监测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
CN107993263B (zh) 环视系统自动标定方法、汽车、标定装置及存储介质
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
US20150261899A1 (en) Robot simulation system which simulates takeout process of workpieces
US8654193B2 (en) Method for registering model data for optical recognition processing and optical sensor
US20150125035A1 (en) Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object
CN110926330B (zh) 图像处理装置和图像处理方法
CN110443879B (zh) 一种基于神经网络的透视误差补偿方法
CN106815823B (zh) 一种透镜畸变标定校正方法及其装置
US20130002861A1 (en) Camera distance measurement device
US20140009582A1 (en) Three-dimensional measurement apparatus and robot system
CN109827521B (zh) 一种快速多线结构光视觉测量系统标定方法
WO2015132981A1 (ja) 位置測定装置及び位置測定方法
CN112132907B (zh) 一种相机标定方法、装置、电子设备及存储介质
JP2000241120A (ja) 計測装置
CN108716890A (zh) 一种基于机器视觉的高精度尺寸检测方法
CN109360230A (zh) 一种基于2d相机与3d相机的图像配准方法及系统
CN104567727A (zh) 立体靶标及对线结构光轮廓传感器的全局统一校准方法
CN115205129A (zh) 基于结构光的深度相机及使用方法
CN115205128A (zh) 基于结构光的深度相机温漂校正方法、系统、设备及介质
CN110097516B (zh) 内孔壁面图像畸变纠正方法、系统及介质
CN104075659A (zh) 一种基于rgb结构光源的三维成像识别方法
CN111681186A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination