CN113034565B - 一种单目结构光的深度计算方法及系统 - Google Patents

一种单目结构光的深度计算方法及系统 Download PDF

Info

Publication number
CN113034565B
CN113034565B CN202110321751.3A CN202110321751A CN113034565B CN 113034565 B CN113034565 B CN 113034565B CN 202110321751 A CN202110321751 A CN 202110321751A CN 113034565 B CN113034565 B CN 113034565B
Authority
CN
China
Prior art keywords
structured light
light camera
image
reference image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110321751.3A
Other languages
English (en)
Other versions
CN113034565A (zh
Inventor
兰富洋
杨鹏
王兆民
黄源浩
肖振中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orbbec Inc
Original Assignee
Orbbec Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orbbec Inc filed Critical Orbbec Inc
Priority to CN202110321751.3A priority Critical patent/CN113034565B/zh
Publication of CN113034565A publication Critical patent/CN113034565A/zh
Application granted granted Critical
Publication of CN113034565B publication Critical patent/CN113034565B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请适用于图像处理领域,提供了一种单目结构光的深度计算方法,包括:对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机;利用第一结构光相机获取第一参考图像,并根据转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像;将第二参考图像变换为第二坐标系中的归一化投影图像;通过第二结构光相机获取归一化投影图像对应的第三参考图像;利用第二结构光相机获取目标区域的目标图像,并与第三参考图像进行视差计算以获取深度信息。上述方案,将原本系统外参为非理想状态的结构光系统变换成一个系统外参为理想状态的结构光系统,实现了高精度的深度测量。

Description

一种单目结构光的深度计算方法及系统
技术领域
本申请属于图像处理领域,尤其涉及一种单目结构光的深度计算方法及系统。
背景技术
单目结构光由一个投影模块和一个相机构成,为了实现准确的深度测量,通常需要严格约束投影模块和相机的相对姿态,使相机光轴与二者构成的基线相互垂直。但是,实际装配中不可避免地会存在误差,若直接按照理想姿态下的深度计算方法计算深度,无法得到高精度的深度信息,导致结构光系统测量精度的降低。
发明内容
本申请实施例提供了一种单目结构光的深度计算方法及系统,可以解决现有的深度计算方法无法得到高精度的深度信息,导致结构光系统测量精度的降低的问题。
第一方面,本申请实施例提供了一种单目结构光的深度计算方法,包括:
对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机;
利用第一结构光相机获取第一参考图像,并根据转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像;
将第二参考图像变换为第二坐标系中的归一化投影图像;其中,第二坐标系为投影模块对应的坐标系;
通过第二结构光相机获取归一化投影图像对应的第三参考图像;
利用第二结构光相机获取目标区域的目标图像,并与第三参考图像进行视差计算以获取深度信息。
进一步地,对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机,包括:
根据第一结构光相机的相机参数对第一结构光相机进行极线校正,得到第二结构光相机,并获取第一结构光相机和所述第二结构光相机之间的转换矩阵。
进一步地,根据所述转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像,包括:
获取第一参考图像在第一参考平面上的目标投影图像;
获取目标投影图像在所述第一结构光相机对应的第三坐标系中的坐标信息;
根据坐标信息和转换矩阵,将目标投影图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像。
进一步地,将第二参考图像变换为第二坐标系中的归一化投影图像,包括:
利用第二结构光相机的基线向量,将第二参考图像变换至第一投影模块的坐标系下,并获取第二参考图像在第一投影模块对应的第二坐标系下的坐标;
将第二参考图像在第一投影模块的坐标系下的坐标沿坐标轴进行归一化,获取归一化后的投影图像。
进一步地,通过第二结构光相机获取归一化投影图像对应的第三参考图像,包括:
通过坐标缩放将归一化投影图像投影至第二参考平面,得到缩放投影图像;
获取第二结构光相机的内参,并且根据内参将所述缩放投影图像映射至第二结构光相机的成像平面上,得到第三参考图像。
进一步地,利用第二结构光相机获取目标区域的目标图像,并与第三参考图像进行视差计算以获取深度信息,包括:
利用第二结构光相机获取目标区域的目标图像;
根据第二结构光相机对应的第一坐标系下的目标图像的像素坐标与第三参考图像的像素坐标进行视差计算,获取视差值;
根据视差值和第二结构光相机的相机参数,计算深度信息。
第二方面,本申请实施例提供了一种单目结构光的深度计算系统,包括:
投影模块,用于向目标区域投影结构光图案;
采集模块,用于采集经所述目标区域反射回的结构光图案并利用预设转换矩阵生成目标图像;
处理模块,用于利用预设的第三参考图像和所述目标图像进行深度计算;
存储模块,用于存储预设所述转换矩阵及基于上述计算方法获取的所述第三参考图像。
进一步地,所述预设转换矩阵获取包括:
根据采集模块的相机参数对所述采集模块机进行极线校正,并获取所述转换矩阵。
进一步地,所述处理模块进行深度计算包括:
利用所述目标图像的像素坐标与所述第三参考图像的像素坐标进行视差计算,获取视差值;
根据所述视差值和所述采集模块的相机参数,计算深度信息。
第三方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现如上述第一方面的单目结构光的深度信息的计算方法。
本申请实施例中,对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机;利用第一结构光相机获取第一参考图像,并根据转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像;将第二参考图像变换为第二坐标系中的归一化投影图像;通过第二结构光相机获取归一化投影图像对应的第三参考图像;利用第二结构光相机获取目标区域的目标图像,并与第三参考图像进行视差计算以获取深度信息。上述方案,对结构光系统进行标定,以获取相机内参,及准确的投影模块和相机间外参,利用标定所得内外参对拍摄的散斑图像和参考图像进行校正,将原本系统外参为非理想状态的结构光系统变换成一个系统外参为理想状态的结构光系统,实现了高精度的深度测量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请第一实施例提供的一种单目结构光的深度计算方法的流程示意图;
图2是本申请第一实施例提供的一种单目结构光的深度计算方法中结构光系统构建示意图;
图3是本申请第一实施例提供的一种单目结构光的深度计算方法中S102的流程示意图;
图4是本申请第一实施例提供的一种单目结构光的深度计算方法中S103的流程示意图;
图5是本申请第一实施例提供的一种单目结构光的深度计算方法中S105的流程示意图;
图6是本申请第二实施例提供的单目结构光的深度计算系统的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
图1是本申请第一实施例提供的一种单目结构光的深度计算方法的示意流程图。本实施例中一种单目结构光的深度计算方法的执行主体为具有单目结构光的深度信息的计算功能的系统。如图1所示的单目结构光的深度信息的计算方法可以包括:
S101:对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机。
在一个实施例中,步骤S1更具体地包括:
根据第一结构光相机的相机参数对第一结构光相机进行极线校正,得到第二结构光相机,并获取第一结构光相机和第二结构光相机之间的转换矩阵。
应当理解的是,第一结构光相机经极线校正后定义为第二结构光相机,第二结构光相机为虚拟相机,其成像平面平行于投影模块与第二结构光相机之间的基线。投影模块和第一结构光相机构建为第一结构光系统,投影模块与第二结构光相机构成第二结构光系统,如图2所示。
更具体地,以第一结构光相机的光心为原点,对第一结构光相机进行极线校正,使第一结构光相机的像面与第一结构光系统的基线平行,进而构建第二结构光相机,并获取第一结构光相机和第二结构光相机之间的转换矩阵。其中,第一结构光系统的基线表征的是投影模块光心与第一结构光相机光心之间的连线。
在一个实施例中,假设以第一结构光相机的光心为原点,平行于第一结构光相机的相机像面且指向第一结构光相机朝向右侧的方向为x′轴,第一结构光相机的光轴方向为z′轴,构建第一结构光相机的相机坐标系。从第一结构光相机的结构光标定参数中可得,第一投影模块与第一结构光相机之间基线方向向量为T=[Tx Ty Tz],则基线方向的单位向量
Figure BDA0002993117450000061
由第一结构光相机的光轴z′,可求出第二结构光相机的相机坐标系的y轴向量为:
E2=z′×e1
则y轴的单位向量为
Figure BDA0002993117450000062
以第一结构光相机的光心为原点,基线方向的单位向量e1为x轴,e2为y轴,构建第二结构光相机的相机坐标系,则第二结构光相机的相机坐标系的z轴的单位向量可表示为e3=e1×e2
假设使第一结构光相机成像平面与基线平行的转换矩阵为Rrect,则
Figure BDA0002993117450000071
S102:利用第一结构光相机获取第一参考图像,并根据转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像。
在一个实施例中,如图3所示,步骤S102更具体地包括:
S1020:获取第一参考图像在第一参考平面上的目标投影图像。
更具体地,可利用第一结构光相机的内参,将第一参考图像从第一结构光相机的像面反向投影至第一结构光相机的第一参考平面上。
S1021:获取目标投影图像在第一结构光相机对应的第三坐标系中的坐标信息,即获取第一结构光相机的第一参考平面上目标投影图像中的每一点在第一结构光相机的第三坐标系中的坐标信息。
S1022:根据坐标信息和转换矩阵,将目标投影图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像。
S103:将第二参考图像变换为第二坐标系中的归一化投影图像;其中,第二坐标系为投影模块对应的坐标系。
在一个实施例中,可以通过第二结构光相机的基线向量,将第二参考图像变换为以第二结构光系统中投影模块光心为原点的第二坐标系下的投影图像,并在z轴方向上对投影图像的坐标信息进行归一化处理,得到归一化投影图像。
更具体地,如图4所示,步骤S103包括:
S1030:利用第二结构光相机的基线向量,将第二参考图像变换至第一投影模块的坐标系下,并获取第二参考图像在第一投影模块对应的第二坐标系下的坐标。
基于步骤S1可知,第二结构光系统为经过极线校正的系统,第二结构光系统中投影模块的光轴与第二结构光相机的光轴互相平行,且第二结构光相机的成像平面与投影模块、第二结构光相机的基线互相平行。优选地,可利用投影模块与第二结构光相机之间的偏移矩阵,可使第二参考图像变换至以投影模块的光心为原点的第二坐标系下的投影图案。
假设第二参考图像在第二结构光相机的第二坐标系下的坐标为
Figure BDA0002993117450000081
投影模块与第二结构光相机之间的偏移矩阵为T,则第二参考图像变换至以第一投影模块的光心为原点的第二坐标系下的坐标为:
Figure BDA0002993117450000082
需要说明的是,由投影模块与第二结构光相机的光心不变可知,投影模块与第二结构光相机之间的偏移矩阵等同于投影模块与第一结构光相机之间的基线向量。
S1031:将第二参考图像在第一投影模块的坐标系下的坐标沿坐标轴进行归一化,获取归一化后的投影图像。
在一个实施例中,以投影模块的光心为原点的第二坐标系的z轴与第二结构光相机对应的第一坐标系的z轴相互平行,因此,将第二参考图像在投影模块的第二坐标系下的坐标沿投影模块的第二坐标系的z轴进行归一化,归一化后的坐标为
Figure BDA0002993117450000083
根据归一化后的坐标信息可知,其表征的是一个z轴坐标为1,与投影模块与第二结构光相机基线相互平行的归一化投影图像。
S104:通过第二结构光相机获取归一化投影图像对应的第三参考图像。
在一个实施例中,可通过坐标缩放将归一化投影图像投影至第二参考平面,得到缩放投影图像,根据内参将缩放投影图像映射至第二结构光相机的成像平面上,得到第三参考图像。
需要说明的是,第二结构光相机是极线校正后的第一结构光相机,其成像平面与第一投影模块与第二结构光相机之间的基线互相平行。第二结构光相机预设的第二参考平面平行于第二结构光相机的成像平面,归一化投影图像也平行于投影模块与第二结构光相机之间的基线。因此,可通过将归一化投影图像通过坐标缩放投影至预设的第二参考平面,投影至第二参考平面的坐标为
Figure BDA0002993117450000091
L为第二参考面相对第二结构光系统的距离。
S105:利用第二结构光相机获取目标区域的目标图像,并与第三参考图像进行视差计算以获取深度信息。
在一个实施例中,如图5所示,步骤S5更具体地包括:
S1050:利用第二结构光相机获取目标区域的目标图像。
获取目标区域的目标图像,其中,目标区域为预先设置好的区域。目标区域的目标图像为第一结构光相机对应的目标区域的图像。
在一种实施方式中,利用第二结构光相机获取目标区域的目标图像等效于将第一结构光相机获取的目标图像进行极线校正,使目标图像对应的成像平面与第二结构光相机与第一投影模块的基线平行。所以,可以获取由第一结构光相机采集的目标区域的初始图像;根据转换矩阵和初始图像,得到目标图像。
具体地说,根据转换矩阵Rrect可将第一结构光相机获取的初始图像变换为第二结构光相机的第一坐标系下的目标图像。
进一步地,第一结构光相机归一化像面上的点变换到第二结构光相机的归一化像面上,进而实现将第一结构光相机获取的初始图像变换为第二结构光相机坐标系下的目标图像,具体方法为:
Figure BDA0002993117450000092
其中,Norm_Z{}操作将坐标在z方向上进行归一化,
Figure BDA0002993117450000093
表示为在第一结构光相机像面上的点,/>
Figure BDA0002993117450000094
表示为第二结构光相机像面上的点。
需要说明的是,上述公式还可以为其他表达形式,此处不作限制。
S1051:根据第二结构光相机对应的第一坐标系下的目标图像的像素坐标与第三参考图像的像素坐标进行视差计算,获取视差值d。
在一种实施方式中,已知目标图像中的某一散斑点,又经过校正后的第三参考图像和目标图像中的同名散斑点处于相同的像素行上,即可在第三参考图像的相同行中直接搜索,找出与之相匹配的匹配点,并获取该散斑点分别在目标图像和第三参考图像中的像素坐标,以进行视差计算。
S1052:根据视差值和第二结构光相机的相机参数,计算深度信息。
在一个实施例中,假设某一散斑点的视差值为d,投影模块与第一结构光相机的基线长度为b,第一结构光相机的焦距为f,第二参考平面的距离为zref,根据三角法,得目标图像的深度信息为:
Figure BDA0002993117450000101
应当理解的是,遍历目标图像的所有像素点,即可获取目标图像的完整深度信息;计算深度的公式不限于上述公式,此处不作限制。
本申请实施例中,获取第一结构光相机和第二结构光相机之间的转换矩阵,以及,获取由第一结构光相机采集的第一参考图像;根据转换矩阵将第一参考图像映射至第二结构光相机对应的第一坐标系中,得到第二参考图像;将第二参考图像变换为第二坐标系中的归一化投影图像;通过第二结构光相机采集归一化投影图像对应的第三参考图像;获取目标区域的目标图像;对第三参考图像和目标图像进行视差计算,得到深度信息。上述方案,对结构光系统进行标定,以获取相机内参,及准确的投影模块和相机间外参,利用标定所得内外参对拍摄的散斑图像和参考图像进行校正,将原本系统外参为非理想状态的结构光系统变换成一个系统外参为理想状态的结构光系统,实现了高精度的深度测量。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
图6是本申请第二实施例提供的单目结构光的深度计算系统的示意图,计算系统300包括:
投影模块301,用于向目标区域305投影结构光图案;
采集模块302,用于采集经目标区域305反射回的结构光图案并利用预设的转换矩阵生成目标图像;
处理模块303,用于利用预设的第三参考图像及目标图像进行深度计算;
存储模块304,用于存储预设的转换矩阵及基于上述方法获取的第三参考图像。
在一个实施例中,可根据采集模块的相机参数对所述采集模块机进行极线校正,并获取经过极线校正后采集模块的转换矩阵。
在一个实施例中,处理模块计算深度进一步包括:
利用目标图像的像素坐标与第三参考图像的像素坐标进行视差计算,获取视差值;
根据视差值和采集模块的相机参数,计算深度信息。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种单目结构光的深度计算方法,其特征在于,包括:
对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机;
利用所述第一结构光相机获取第一参考图像,并根据所述转换矩阵将所述第一参考图像映射至所述第二结构光相机对应的第一坐标系中,得到第二参考图像;其中,所述第一结构光相机经极线校正后定义为所述第二结构光相机,所述第二结构光相机为虚拟相机,其成像平面平行于投影模块与所述第二结构光相机之间的基线;
将所述第二参考图像变换为第二坐标系中的归一化投影图像;其中,第二坐标系为投影模块对应的坐标系;
通过所述第二结构光相机获取所述归一化投影图像对应的第三参考图像;
利用所述第二结构光相机获取目标区域的目标图像,并与所述第三参考图像进行视差计算以获取深度信息。
2.如权利要求1所述的单目结构光的深度计算方法,其特征在于,所述对第一结构光相机进行极线校正,获取转换矩阵并构建第二结构光相机,包括:
根据第一结构光相机的相机参数对所述第一结构光相机进行极线校正,得到第二结构光相机,并获取所述第一结构光相机和所述第二结构光相机之间的转换矩阵。
3.如权利要求1所述的单目结构光的深度计算方法,其特征在于,所述根据所述转换矩阵将所述第一参考图像映射至所述第二结构光相机对应的第一坐标系中,得到第二参考图像,包括:
获取所述第一参考图像在第一参考平面上的目标投影图像;
获取所述目标投影图像在所述第一结构光相机对应的第三坐标系中的坐标信息;
根据所述坐标信息和所述转换矩阵,将所述目标投影图像映射至所述第二结构光相机对应的第一坐标系中,得到第二参考图像。
4.如权利要求1所述的单目结构光的深度计算方法,其特征在于,所述将所述第二参考图像变换为第二坐标系中的归一化投影图像,包括:
利用所述第二结构光相机的基线向量,将所述第二参考图像变换至第一投影模块的坐标系下,并获取所述第二参考图像在所述第一投影模块对应的第二坐标系下的坐标;
将所述第二参考图像在所述第一投影模块的坐标系下的坐标沿坐标轴进行归一化,获取归一化后的投影图像。
5.如权利要求1所述的单目结构光的深度计算方法,其特征在于,所述通过所述第二结构光相机获取所述归一化投影图像对应的第三参考图像,包括:
通过坐标缩放将所述归一化投影图像投影至第二参考平面,得到缩放投影图像;
获取所述第二结构光相机的内参,并且根据所述内参将所述缩放投影图像映射至所述第二结构光相机的成像平面上,得到第三参考图像。
6.如权利要求1所述的单目结构光的深度计算方法,其特征在于,所述利用所述第二结构光相机获取目标区域的目标图像,并与所述第三参考图像进行视差计算以获取深度信息,包括:
利用所述第二结构光相机获取目标区域的目标图像;
根据所述第二结构光相机对应的第一坐标系下的所述目标图像的像素坐标与所述第三参考图像的像素坐标进行视差计算,获取视差值;
根据所述视差值和所述第二结构光相机的相机参数,计算深度信息。
7.一种单目结构光的深度计算系统,其特征在于,包括:
投影模块,用于向目标区域投影结构光图案;
采集模块,用于采集经所述目标区域反射回的结构光图案并利用预设转换矩阵生成目标图像;
处理模块,用于利用预设的第三参考图像和所述目标图像进行深度计算;
存储模块,用于存储预设所述转换矩阵及基于权利要求1-5任一项所述的深度计算方法获取的所述第三参考图像。
8.如权利要求7所述的单目结构光的深度计算系统,其特征在于,所述转换矩阵的获取包括:
根据采集模块的相机参数对所述采集模块机进行极线校正,并获取所述转换矩阵。
9.如权利要求7所述的单目结构光的深度计算系统,其特征在于,所述处理模块进行深度计算包括:
利用所述目标图像的像素坐标与所述第三参考图像的像素坐标进行视差计算,获取视差值;
根据所述视差值和所述采集模块的相机参数,计算深度信息。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的深度计算方法。
CN202110321751.3A 2021-03-25 2021-03-25 一种单目结构光的深度计算方法及系统 Active CN113034565B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321751.3A CN113034565B (zh) 2021-03-25 2021-03-25 一种单目结构光的深度计算方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321751.3A CN113034565B (zh) 2021-03-25 2021-03-25 一种单目结构光的深度计算方法及系统

Publications (2)

Publication Number Publication Date
CN113034565A CN113034565A (zh) 2021-06-25
CN113034565B true CN113034565B (zh) 2023-07-04

Family

ID=76474032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321751.3A Active CN113034565B (zh) 2021-03-25 2021-03-25 一种单目结构光的深度计算方法及系统

Country Status (1)

Country Link
CN (1) CN113034565B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113763448B (zh) * 2021-08-24 2022-05-31 合肥的卢深视科技有限公司 深度成像方法、电子设备和计算机可读存储介质
CN113870430B (zh) * 2021-12-06 2022-02-22 杭州灵西机器人智能科技有限公司 一种工件数据处理方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917639A (zh) * 2018-05-15 2018-11-30 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6510213B2 (ja) * 2014-02-18 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 投影システム、半導体集積回路、および画像補正方法
CN109889799B (zh) * 2017-12-06 2020-08-25 西安交通大学 基于rgbir摄像头的单目结构光深度感知方法及装置
US11262192B2 (en) * 2017-12-12 2022-03-01 Samsung Electronics Co., Ltd. High contrast structured light patterns for QIS sensors
CN109146980B (zh) * 2018-08-12 2021-08-10 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法
CN111540004B (zh) * 2020-04-16 2023-07-14 北京清微智能科技有限公司 单相机极线校正方法及装置
CN112070844A (zh) * 2020-08-27 2020-12-11 合肥的卢深视科技有限公司 结构光系统的校准方法及装置、校准工具图、设备及介质
CN112184811B (zh) * 2020-09-22 2022-11-04 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108917639A (zh) * 2018-05-15 2018-11-30 深圳奥比中光科技有限公司 深度成像系统及其温度误差校正方法
CN111243002A (zh) * 2020-01-15 2020-06-05 中国人民解放军国防科技大学 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法

Also Published As

Publication number Publication date
CN113034565A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
WO2021115071A1 (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111354042B (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
CN109405765B (zh) 一种基于散斑结构光的高精度深度计算方法及系统
JP3347508B2 (ja) 撮像画像処理装置および撮像画像処理方法
JP2018179981A (ja) カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
US5757674A (en) Three-dimensional position detecting apparatus
CN113034565B (zh) 一种单目结构光的深度计算方法及系统
JP2002027507A (ja) カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
CN112927280A (zh) 深度图像的获取方法及装置、单目散斑结构光系统
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像系统的标定方法及装置
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
KR102289688B1 (ko) 광학식 위치 추적 시스템의 3차원 마커 좌표 추정 방법
CN112802124A (zh) 多台立体相机的标定方法及装置、电子设备及存储介质
CN112381887B (zh) 一种多深度相机标定方法、装置、设备和介质
JP5998532B2 (ja) 補正式算出方法、補正方法、補正装置及び撮像装置
CN111882655A (zh) 三维重建的方法、装置、系统、计算机设备和存储介质
CN111915681B (zh) 多组3d相机群的外参标定方法、装置、存储介质及设备
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN113362445B (zh) 基于点云数据重建对象的方法及装置
CN114764823A (zh) 自校正的深度计算方法、系统、介质及深度图像处理设备
CN110470216B (zh) 一种三镜头高精度视觉测量方法及装置
CN115965697A (zh) 基于沙姆定律的投影仪标定方法、标定系统及装置
CN115018922A (zh) 畸变参数标定方法、电子设备和计算机可读存储介质
CN112907462A (zh) 超广角摄像器件畸变校正方法、系统及包括其的拍摄装置
CN112200842A (zh) 一种图像配准方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant