CN110657785A - 一种高效的场景深度信息获取方法及系统 - Google Patents

一种高效的场景深度信息获取方法及系统 Download PDF

Info

Publication number
CN110657785A
CN110657785A CN201910825085.XA CN201910825085A CN110657785A CN 110657785 A CN110657785 A CN 110657785A CN 201910825085 A CN201910825085 A CN 201910825085A CN 110657785 A CN110657785 A CN 110657785A
Authority
CN
China
Prior art keywords
image
scene
depth
light spot
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910825085.XA
Other languages
English (en)
Other versions
CN110657785B (zh
Inventor
谭峭峰
赵彦博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910825085.XA priority Critical patent/CN110657785B/zh
Publication of CN110657785A publication Critical patent/CN110657785A/zh
Application granted granted Critical
Publication of CN110657785B publication Critical patent/CN110657785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/30Interpretation of pictures by triangulation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及光学测量及计算机视觉技术领域,提供了一种高效的场景深度信息获取方法及系统,可快速准确地获得大范围场景的深度信息。该方法包括:相机的标定及畸变校正;向目标场景投射分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵;获取规则点阵的参考图像并计算各光斑的坐标;获取场景图像并计算各光斑的坐标;建立场景图像与参考图像各光斑间的对应关系;根据各光斑偏移量结合相机内部参数利用三角测量法计算各采样点处的场景深度。由此,避免了基于散斑或不规则点阵测量深度时需要进行的匹配运算,提高了深度信息的获取速度与采样点处深度探测的准确性。

Description

一种高效的场景深度信息获取方法及系统
技术领域
本发明涉及光学测量及计算机视觉技术领域,提供了一种高效的场景深度信息获取方法及系统。
背景技术
获取场景深度信息,即为探测某一特定区域内各点到探测系统的距离,其探测结果可以由灰度图或三维重建图像表示。在计算机视觉领域,场景深度信息由于数据量少且描述对象特征直接,可广泛应用于定位、识别、人机交互等重要机器视觉研究项目中。其在军事、医疗、航空航天、虚拟现实、现实增强、教育教学、游戏娱乐、SLAM(SimultaneousLocalization And Mapping)等方面有着广阔的应用前景。
目前,现有技术中有使用单目相机配合投影装置的深度探测系统,如公布的US8050461B2中所述,投影位置不相关,形状具有共同的特征的光斑图案到场景中,通过检测经过深度调制后的光斑图像即可得到场景深度信息。
如公布的CN109461181A中所述,投影随机散斑到场景中,通过检测经过深度调制后的散斑图像即可得到场景深度信息。
如公布的US8150142B2中所述,利用光源照射含有不相关光斑图案的透射片,投影具有不相关性的光斑图案到场景中并检测经过深度调制后的光斑图像即可得到场景深度信息,微软的体感交互设备Kinect与苹果的Face ID技术均基于该原理。
在采集经过高度调制的图像后需要对图像中的每个基元与已设计好的投影图案进行逐点匹配,找到图像中每个像素的最佳匹配点,从而求出各点处图案的偏移量,利用三角测量法得到深度值。该方法属于主动式深度探测技术,具有暗光条件下探测效果好的优点,而且其与一般的结构光扫描法相比可以一次性恢复视场中一帧内的全部深度,在人机交互系统中得到了广泛应用。但是,由于该方法需要对图像中的每个基元都进行匹配,计算量较大,能耗较高,且若需要得到精确的探测结果就会增加每个基元匹配算法的复杂程度,极大地减慢其运算速度,所以应用仍受到限制。同时,由于需要去除投影图案中的中心零级衍射点,对投影装置中衍射光学元件的加工要求很高,成品率低,所以制造成本较高。
发明内容
本发明的目的是提出一种高效的场景深度信息获取方法及系统,该深度信息获取方法运算过程快速准确,探测系统结构简单、易于小型化、能耗低、对衍射光学元件加工精度要求低且成本较低,能够对场景实现高速、实时、精确的深度探测。
为实现上述目的,本发明一方面提供一种基于分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵的高效深度探测方法,包括:控制投影系统向参考平面与目标发射点阵图样的光束,其中投影图样为分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵图案,该种特征分布是为了便于快速建立参考图像与场景图像间的对应关系并快速计算各光斑坐标,进而快速准确地计算出各采样点对应的深度信息;获取规则点阵的参考图像与场景图像,参考图像为由投影单元向一系列已知深度的平板投射固定图案后被图像获取单元采集到的图像,每个图像的对应深度已知,分别向各个深度下的平板投射光束形成参考图像同时记录各平面已知的深度信息,其中设定的平板越密集深度信息计算结果越准确,场景图像为在该方案应用到具体场景时,由投影单元向该场景投射固定图案后被图像获取单元采集到的图像;对图片中组成各个光斑的所有像素的坐标进行提取,按照行列坐标大小进行排列,根据排列后相邻像素间的行列坐标变化,分割出组成每一个光斑的像素点,最后通过计算组成各光斑像素点坐标的平均值得到各光斑的坐标值;建立参考图像与场景图像中各个投影点之间的对应关系,计算偏移量;根据对应光斑间坐标的偏移量结合相机的内部参数利用三角测量法进行计算,获得场景中各采样点对应的深度信息。
本发明另一方面提供一种基于分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵的高效深度探测系统,包括:投影单元,用于投影固定的点阵图案到参考平面上与实际场景中;图像获取单元,用于获取点阵的参考图像与场景图像,其中,参考图像为投影单元向一系列已知深度的平板投射固定图案后被图像获取单元采集到的图像,每个图像的对应深度已知,场景图像为在该方法应用到具体场景时,由投影单元向该场景投射固定图案后被图像获取单元采集到的图像;参考图像存取单元,用于存储点阵的一系列参考图像与各自对应的深度值并根据实际场景提取所需的一幅参考图像与其对应深度参与场景深度运算;点坐标计算单元,用于对得到的参考图像与场景图像中投影点阵中各光斑的坐标进行快速运算;点阵排列单元,用于在得到点阵坐标后对场景图像中各点根据坐标进行排列,快速建立与参考图像中各点的一一对应关系;场景深度计算单元,用于根据参考图像与场景图像中各点的对应关系、光斑坐标、参考图像深度以及系统参数根据三角测量法计算各采样点深度。
本发明提出的深度探测方法属于主动式深度探测技术。与目前常见的深度探测方案不同,本发明无需对调制后的图像进行匹配即可快速建立经深度调制前后图案的对应关系,进而计算得到视场中各处的深度值,极大地降低了对视场进行深度探测所需的运算时间,且系统结构简单、易于小型化、能耗低、对衍射光学元件加工精度要求低且成本较低。本发明不仅可以应用于对实时性要求不高的一般深度探测系统如人脸识别系统或实时定位与建图系统,还可用于视场内物体的深度值发生高速变化需要进行实时探测的系统。
附图说明
附图用来配合具体实施方式对本发明实施例作进一步的理解,构成了说明书的一部分,但并不构成对本发明实施例的限制。
图1是本发明实施例提供的一种高效的深度信息获取方法流程图;
图2是本发明实施例提供的一种规则点阵图案;
图3是本发明实施例提供的一种优选规则点阵图案;
图4是本发明实施例提供的一种快速计算点阵坐标的方法流程图;
图5是本发明实施例提供的一种建立场景图像与参考图像各光斑间对应关系的方法流程图;
图6是本发明实施例提供的一种深度计算方法流程图;
图7是本发明实施例的三角测量原理示意图;
图8是本发明实施例提供的一种高效的深度信息获取系统结构示意图;
图9是本发明实施例提供的深度信息获取系统中数据处理单元的结构框图。
具体实施方式
以下将附图与具体实施例结合,对本发明进行进一步的理解和说明,此处的具体实施例仅用于解释说明本发明,不对本发明进行限制。
图1所示,为本发明实施例所提供的一种高效的深度信息获取方法流程图,包括:
S10、对光场相机进行标定及畸变校正,包括对相机的内参与外参进行标定进而对其获取的图片进行校正。
S11、向目标场景发射规则点阵,点阵为分布在垂轴平面上的一系列平行直线上的光斑所组成,如图2所示,直线方向为水平方向。其中,作为优选,图案中各光斑沿水平与竖直方向平行且均匀分布,如图3所示,可以使算法更加简洁。
如图3所示,10为本发明实施例所提供的一种投影图案,其特征为大范围、密集、明亮、各点沿水平与竖直方向平行且均匀分布、中心点含有自身特征,其中,沿水平方向平行且均匀分布是为了便于快速建立参考图像与场景图像间的对应关系,快速计算图像中各光斑坐标进而快速准确地计算出各采样点对应的深度信息,沿竖直方向平行且均匀分布是为了便于建立参考图像与场景图像间的对应关系,大范围是为了增大场景深度探测的范围,密集是为了增大采样点的数量进而增大深度探测的空间分辨率,明亮是为了能够采集到更全的投影信息进而使探测结果更加准确,中央零级光斑101含有的自身特征即为该点最大光强比其他投影点均大,且光斑大小大于其他投影点,可以被分辨出来。
S21、向参考平面发射规则点阵,具体实施方法与S11类似,其中参考平面为设置一系列已知深度的平板作为参考平面,设置的平板越密集深度信息获取越准确。
S12、获取规则点阵的场景图像,场景图像为在该方案应用到具体场景时向该场景投射固定图案后被图像获取装置采集到的图像,利用相机拍摄已投射点阵图像的场景光场信息,配合滤光片达到只接收投射光场信息,滤掉环境光信息的效果,最终得到经过场景深度调制的点阵图案。
S22、获取规则点阵的参考图像,与S12类似,获取规则点阵的参考图像即是向一系列已知深度下的平板进行投影,再由相机采集到的图像信息,同时提取每个参考平面图像的深度信息一一配对储存。
S13、计算各光斑坐标,要求快速计算得到场景图像中各光斑的坐标信息,由于点阵中各点沿水平方向平行分布的特征经过场景深度调制后不会发生改变,所以可根据该特征来设计方法对坐标进行快速计算。
图4所示,为本发明实施例提供的一种快速计算点阵坐标方法流程图,包括:
S131、去除噪声及环境光,要求去除图片中的噪声点并滤掉环境光信息,保留采集到的投影图案信息。
S132、提取图像中所有亮像素点坐标,即是对组成各个光斑的所有像素的行列坐标进行提取。
S133、根据行坐标对所有点进行排序,要求坐标值按照由小到大的顺序进行排序。
S134、计算行坐标变化并分割出属于每一行的点,要求计算排序后相邻两像素点行坐标的差值,根据彼此间差值的大小在差值突变处进行分割,得到组成每一行各光斑的所有像素点。
S135、根据列坐标对所有点进行排序,排序方法与S133相同。
S136、计算列坐标变化并分割出属于每一列的点,要求计算排序后属于每一行的相邻两像素点列坐标的差值,根据彼此间差值的大小在差值突变处进行分割,得到组成每一个光斑的所有像素点。
S137、分割区域内的全部像素行列坐标作平均,此时各分割区域内的点即为组成每一个光斑的像素点,要求分别对其中所有像素的行列坐标做平均,求出每个光斑的中心坐标。
S138、输出各光斑的中心坐标。
S23、计算参考图像中各光斑坐标的方法与S13相同。
S14、选择合适的参考图像并提取其深度,即为根据实施场景深度的不同选取临近深度下的参考平面图像作为参考图像,同时提取该图像对应的深度信息,其中场景深度可以由中心特征光斑所对应的深度确定,选择一系列参考图像中与场景图像中特征光斑坐标最相近的一幅作为参考图像参与下面的计算。
S15、建立场景图像与参考图像各光斑间的对应关系,要求快速建立场景图像与参考图像各光斑间的对应关系,由于投影点阵具有沿水平与竖直方向平行且均匀分布的特征,类似于棋盘状分布,所以可以根据这一特点设计方法快速建立光斑间的对应关系。
图5所示,为本发明实施例提供的一种建立场景图像与参考图像各光斑间对应关系的方法流程图,包括:
S151、排列光斑中心坐标,要求根据图像中已得到的各个光斑的坐标值对坐标进行排列,行坐标相近的排成一行,纵坐标相近的排成一列,坐标的排列结果如棋盘状分布;
S152、提取特征光斑坐标,要求识别图中光强最强,含有像素点数最多的特征光斑并提取其中心坐标;
S153、建立特征光斑间的对应关系,要求将参考图像与场景图像中有自身特征的光斑坐标进行对应,
S154、建立其余光斑的对应关系,与特征光斑坐标成棋盘状分布的其余光斑坐标根据各自的排列情况进行一一对应。
S16、计算各采样点对应的深度,要求在已知各光斑坐标与对应关系的基础上结合系统的硬件参数利用三角测量法求出场景深度对于参考平面的相对变化值进而获得场景的深度信息。
图6所示,为本发明实施例提供的一种深度计算方法流程图,包括:
S161、计算各光斑的坐标偏移量,即是根据光斑的对应关系与参考图像和场景图像的光斑坐标计算每个光斑在两幅图像中的坐标偏移量,当点阵图像投影单元与相机沿相机感光芯片像素横向排列方向设置时,偏移量计算公式为:
p=(x0-xp)×dcmosx
其中dcmosx表示相机感光芯片像素单元横向间距,x0表示该光斑在场景图像中的列坐标,xp表示该光斑在参考图像中的列坐标。
S162、计算深度相对变化值,即是根据三角测量法结合系统的硬件参数计算深度相对变化值。在本实施例中,相机使用Coherent 1098577型号变焦工业相机,锁定其焦距为6mm,快门时间为1/1000秒,感光芯片相邻两个像素间的横向距离为0.002mm,相机镜头中心与投影单元的光学组件中心距离设计为80mm,由三角测量法即可计算场景深度。
三角测量法原理如图7所示,其中,放入物体后原来投影在A点的光斑会被投影到物点C上,通过相机镜头在感光芯片上成像,G为A点的成像点,F为C点的成像点,由于相机感光芯片像素单元长度已知,可以得到FG的长度p。由于感光芯片与参考平面平行,所以有ΔABD与ΔGFD相似:
Figure BDA0002188121700000061
其中f为相机镜头焦距,H为相机镜头中心到参考平面的距离。由于相机镜头中心与投影单元的光学组件中心连线平行于参考平面,所以有ΔABC与ΔEDC相似:
Figure BDA0002188121700000071
DE长度记为L,将上述两公式合并可得:
Figure BDA0002188121700000072
其中Dis即为该光斑对应的深度相对变化值,当该光斑对应的深度值等于参考图像的深度值时,深度的相对变化值为零,当该光斑对应的深度值大于参考图像的深度值时,深度的相对变化值为正,当该光斑对应的深度值小于参考图像的深度值时,深度的相对变化值为负。
S163、计算获得每个光斑对应的深度信息,场景深度信息即为已知的参考平面深度与深度的相对变化值之和。
S17、输出场景的深度信息。
图8所示,为本发明实施例所提供的一种高效的深度信息获取系统1,包括点阵图像投影单元20、图像获取单元30以及数据处理单元40,深度信息获取系统1用于对物体50进行深度探测,所得到的结果用深度图60表示。
点阵图像投影单元20的主要组成部件包括光源201与光学组件202,光源用于发出光束,光学组件用于将光源发出的光束调制后发射出大范围、密集、明亮、各点沿水平与竖直方向平行且均匀分布、有一个或多个点含有自身特征的点阵图案。其中,光源可以使用气体激光器、固体激光器或半导体激光器,以及激光器阵列等,光源的波长可设定为红外或紫外波段,发射频谱宽度较窄,这样可以在避免对被测场景产生影响的同时,减少环境光对探测效果的影响。其中光学组件包括二元光学元件、衍射光栅、超构表面等衍射光学元件或折衍混合元件,如在一个发明实施例中,光学组件202是由透镜与衍射光学元件组合而成,在利用透镜对光束进行汇聚后通过衍射光学元件形成明亮规则的点阵图案。可以使用衍射光学元件或折衍混合元件实现光斑沿水平与竖直方向平行且均匀分布的特征,该种分布特征是为了便于快速计算图像中各投影光斑的坐标值并快速建立参考图像与场景图像间的对应关系,从而可以高效地对待测场景进行深度探测。
图像获取单元30主要由图像传感器301、透镜302和滤光片303组成。其中带通滤光片可以为红外波段或紫外波段,滤光片允许通过波长与光源发射波长相匹配。图像传感器301与透镜302两部分功能由相机实现。投影单元20向参考平面投射点阵图案后由图像获取单元30采集的图像为参考图像,投影单元20向待测场景投射点阵图案后由图像获取单元30采集的图像为场景图像。
点阵图像投影单元20与图像获取单元30严格按照基线方向排列,两者分别以光学组件202中心与透镜302中心为对齐参考点,两点间欧式距离已知。点阵图像投影单元20与图像获取单元30的光轴方向既可以平行也可以成一定角度。如图8,在本发明的一个实施例中点阵图像投影单元20与图像获取单元30沿x方向排列,两者光轴方向平行,这样的设计可以使投影的点阵在经过场景调制后不会改变光斑沿水平方向平行分布的特点,在计算深度时简化运算且能提高系统的深度分辨率。
数据处理单元40用于控制点阵图像投影单元20与图像采集单元30并计算场景深度。在控制点阵图像投影单元20向待测场景投影点阵图像后,控制图像采集单元30采集场景图案并进行数据处理,计算出场景各采样点的深度,结果用深度图进行表示。
如图9所示,数据处理单元40包括装置控制单元401、参考图像存取单元402、点坐标计算单元403、点阵对齐单元404与场景深度计算单元405。
装置控制单元401,用于在接到对场景深度信息进行获取的信号后控制点阵图像投影单元20向待测场景投影点阵图像,控制图像采集单元30采集场景图案。
参考图像存取单元402包括参考图像储存模块与参考图像提取模块,其中参考图像储存模块用于存储一系列深度下对平板进行投影的图像信息,同时将每个参考图像的深度信息一一配对储存,参考图像提取模块用于根据场景深度的不同选取临近深度下的参考平面图像作为参考图像,同时提取该参考图像对应的深度信息。
点坐标计算单元的作用为提取图像中投影点的横纵坐标,具体实施方式为首先去除图片中的噪声点并滤掉环境光信息,保留采集到的投影图案信息,然后对图片中组成各个光斑的所有像素的坐标进行计算。计算流程为首先按照行坐标大小进行排列,计算排列后相邻像素间的行坐标变化;根据各像素行坐标的变化分割出组成每一行光斑的像素点;根据属于每一行光斑像素点的列坐标大小进行排序,排序方式与行坐标排序方式相同,计算排列后相邻像素间的列坐标变化;根据属于每一行光斑像素的列坐标变化分割出组成每一个光斑的像素点;计算组成各光斑像素点坐标的平均值得到各光斑的坐标值。
点阵排列单元用于在得到点阵坐标后对场景图像中各点根据坐标进行排列,快速建立与参考图像中各点的对应关系。其具体实施方式为首先根据参考图像与场景图像中已得到的各个光斑的坐标值对坐标进行排列,行坐标相近的排成一行,纵坐标相近的排成一列;将参考图像与场景图像中的一个或多个有自身特征的光斑进行对应,附近的其余光斑根据各自的排列情况一一对应,其中,可以将衍射光学元件或折衍混合元件产生的中央零级光斑作为有自身特征的光斑,该光斑在投影图案中光强最强,光斑面积最大即为其特征。
场景深度计算单元用于根据参考图像与场景图像中各点的对应关系、光斑坐标、参考图像深度以及系统参数根据三角测量法计算各采样点深度。根据前几个单元的运行结果,在已知各光斑坐标以及对应关系后计算每个光斑的坐标偏移量,在已知图像传感器焦距与感光芯片像素间距的条件下利用三角测量法即可求出深度的相对变化值,相对变化值加上已知的参考图像深度信息即可得到各个光斑对应的深度信息。
本深度探测系统通过投影各点沿水平和竖直方向平行排列的点阵图像配合相机实现对目标场景的高效深度探测,避免了基于散斑或不规则点阵测量深度时需要进行的匹配运算,提高了深度信息的获取速度、深度探测范围与采样点处深度计算的准确性,系统体积小于目前绝大多数深度探测系统,且能耗低,运行速度快,帧数高,成本低,可以很好地作为嵌入式深度视觉系统应用于如移动终端、机器人、机器臂等其他智能系统中。
上述的方法实施例在上述特殊的实施系统中完成,不构成对本发明的限制作用,本领域的研究人员可以较容易地想到,将与本实施例相似的方法应用到与本图案近似图案投影或其他深度探测系统中,或利用相似的系统进行场景深度探测,在不脱离本申请的精神和原理范围内进行的任何修改、改进、等同替换等,均应包含在上述权利要求范围之内。

Claims (17)

1.一种场景深度信息获取方法,包括以下步骤:
1)控制投影系统向参考平面与目标场景投射分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵;
2)获取规则点阵的参考图像与场景图像,其中参考图像与系统结构参数和参考平面设定的位置相关,场景图像与被测场景形貌相关;
3)计算已获得的参考图像与场景图像中各个投影光斑的坐标;
4)根据场景选择合适的参考图像并提取其深度;
5)建立参考图像与场景图像中各个投影点之间的对应关系;
6)根据对应光斑间坐标的偏移量并结合相机的内部参数,利用三角测量法进行计算,获得场景中各采样点对应的深度信息。
2.根据权利要求1所述的场景深度信息获取方法,其中,所述规则点阵为分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵,所述直线的方向为垂轴平面上的任何方向。
3.根据权利要求1所述的场景深度信息获取方法,其中,向参考平面投射规则点阵的特征在于,要设定一系列已知深度的平板作为参考平面,设定的平板越密集深度信息获取越准确。
4.根据权利要求1所述的场景深度信息获取方法,其中,获取规则点阵参考图像与场景图像的特征在于:
参考图像为投影单元向一系列已知深度的平板投射固定图案后被图像获取单元采集到的图像,每个图像的对应深度已知;
场景图像为应用到具体场景时向该具体场景投射固定图案后被图像获取单元采集到的图像,通过旋转图像传感器、投影器件或利用旋转矩阵对采集的图像进行变换,使采集到的图像中光斑平行排列的方向为水平方向;
获取规则点阵的参考图像是获取一系列深度下的平板投影信息,同时提取每个参考平面图像的深度信息一一配对储存,然后根据场景深度的不同选取临近深度下的参考平面图像作为参考图像,同时提取该图像对应的深度信息。
5.根据权利要求1所述的场景深度信息获取方法,其中,所述计算已获得的参考图像与场景图像中各个投影光斑的坐标包括:
去除图像中的噪声点并滤掉环境光信息,保留采集到的投影图案信息;
对图像中组成各个光斑的所有像素的坐标进行提取,按照行坐标的大小进行排列,计算排列后相邻像素间的行坐标变化;
根据各像素行坐标的变化,在行坐标突变处分割出组成每一行光斑的像素点;
根据各行光斑像素点的列坐标的大小进行排序,计算排列后相邻像素间的列坐标变化;
根据属于每一行光斑像素的列坐标变化,在列坐标突变处分割出组成每一个光斑的像素点;
计算组成各光斑像素点坐标的平均值从而得到各光斑的坐标值。
6.根据权利要求1所述的场景深度信息获取方法,其中,步骤5)所述的建立参考图像与场景图像中各个投影点之间的对应关系包括:
根据参考图像与场景图像中已得到的各个光斑的坐标值对坐标进行排列,排列方式与点阵中各点的分布形式相同;
将参考图像与场景图像中的一个或多个有自身特征的光斑建立对应关系,其余光斑根据各自的排列情况即可一一对应。
7.根据权利要求6所述的场景深度信息获取方法,进一步包括:将衍射光学元件或折衍混合元件产生的中央零级光斑作为有自身特征的光斑,该光斑的特征在于在投影图案中光强最强或光斑面积最大。
8.根据权利要求1所述的场景深度信息获取方法,其中,步骤6)的特征在于:根据每个对应光斑间的坐标偏移量,在已知图像传感器焦距与感光芯片像素间距的条件下利用三角测量法求出深度的相对变化值,提取参考图像深度信息,相对变化值加上已知的参考图像深度信息即得到各个光斑对应的深度信息。
9.根据权利要求8所述的场景深度信息获取方法,其中,所述利用三角测量法求出深度的相对变化值是根据已知参数计算偏移量与深度相对变化值的对应关系,依据计算结果建立查找表,从而可以快速地根据光斑的坐标偏移量得到深度的相对变化值。
10.一种场景深度信息获取系统,包括:
点阵图案投影单元,用于投影分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵到参考平面上与实际场景中,平行直线的方向可以为垂轴平面上的任何方向;
图像获取单元,用于获取点阵的参考图像与点阵的场景图像,其中,参考图像为投影单元向一系列已知深度的平板上投射规则点阵后被图像获取单元采集到的图像,每个图像的对应深度已知,场景图像为所述场景深度获取系统应用到具体场景时向场景投射规则点阵后被图像获取单元采集到的图像;
装置控制单元,用于在接收到对场景深度信息进行获取的信号后,控制点阵投影单元向待测场景投影规则点阵,控制图像采集单元采集场景图像;
参考图像存取单元,用于存储规则点阵的一系列参考图像与各自对应的深度值,并根据实际场景提取所需的一幅参考图像与其对应深度参与场景深度的运算;
点坐标计算单元,用于对得到的参考图像与场景图像中各投影点的坐标进行快速运算;
点阵对齐单元,用于在得到点阵坐标后对场景图像中各点根据坐标进行排列,快速建立与参考图像中各点的一一对应关系;
场景深度计算单元,用于根据参考图像与场景图像中各点的对应关系、光斑坐标、参考图像深度以及系统参数根据三角测量法计算各采样点深度。
11.根据权利要求10所述的场景深度信息获取系统,其中,投影单元由光源、光学组件模块组成,目的是形成分布在垂轴平面上的一系列平行直线上的光斑组成的规则点阵投射在参考平面上与被测场景中;
其中,光源可以使用激光器或激光器阵列;激光器可以是气体激光器、固体激光器或半导体激光器;光源的波长为红外或紫外波段;
光学组件包括二元光学元件、衍射光栅、超构表面这些衍射光学元件或折衍混合元件,其中,通过设计衍射光学元件或折衍混合元件使光斑点阵具有分布在垂轴平面上的一系列平行直线上的特征,该分布特征是为了便于快速计算图像中各投影光斑的坐标值,并快速建立参考图像与场景图像间的对应关系。
12.根据权利要求10所述的场景深度信息获取系统,其中,图像获取单元包括:
相机;
与投影单元中光源发射波长相匹配的窄带滤光片,用于滤掉场景中的环境光,减少环境光对探测效果的影响。
13.根据权利要求12所述的场景深度信息获取系统,其中,所述相机为广角高分辨率高速相机。
14.根据权利要求10所述的场景深度信息获取系统,其中,参考图像存取单元包括:
参考图像储存模块,用于存储一系列深度下对平板进行投影的图像信息,同时将每个参考图像的深度信息与图像配对储存;
参考图像提取模块,用于根据场景深度的不同选取临近深度下的参考平面图像作为参考图像,同时提取该参考图像对应的深度信息。
15.根据权利要求10所述的场景深度信息获取系统,其中,点坐标计算单元的特征在于:
去除图片中的噪声点并滤掉环境光信息,保留采集到的投影图案信息;
对图片中组成各个光斑的所有像素的坐标进行提取,按照行坐标的大小进行排列,计算排列后相邻像素间的行坐标变化;根据各像素行坐标的变化分割出组成每一行光斑的像素点;
根据各行光斑像素点的列坐标大小进行排序,计算排列后相邻像素间的列坐标变化;根据属于每一行光斑像素的列坐标变化,分割出组成每一个光斑的像素点;
计算组成各光斑像素点坐标的平均值得到各光斑的坐标值。
16.根据权利要求10所述的场景深度信息获取系统,其中,点阵对齐单元的特征在于:
根据参考图像与场景图像中已得到的各个光斑的坐标值对坐标进行排列,排列方式与点阵中各点的分布形式相同;
将参考图像与场景图像中的一个或多个有自身特征的光斑进行对应,附近的其余光斑根据各自的排列情况一一对应,其中,可以将衍射光学元件或折衍混合元件产生的中央零级光斑作为有自身特征的光斑,该光斑的特征在于在投影图案中光强最强或光斑面积最大。
17.根据权利要求10所述的场景深度信息获取系统,其中,场景深度计算单元的特征在于:
已知各光斑坐标以及对应关系后计算每个光斑的坐标偏移量,在已知图像传感器焦距与感光芯片像素间距的条件下,利用三角测量法求出深度的相对变化值,相对变化值加上已知的参考图像深度信息得到各个光斑对应的深度信息。
CN201910825085.XA 2019-09-02 2019-09-02 一种高效的场景深度信息获取方法及系统 Active CN110657785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910825085.XA CN110657785B (zh) 2019-09-02 2019-09-02 一种高效的场景深度信息获取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910825085.XA CN110657785B (zh) 2019-09-02 2019-09-02 一种高效的场景深度信息获取方法及系统

Publications (2)

Publication Number Publication Date
CN110657785A true CN110657785A (zh) 2020-01-07
CN110657785B CN110657785B (zh) 2021-05-18

Family

ID=69036654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910825085.XA Active CN110657785B (zh) 2019-09-02 2019-09-02 一种高效的场景深度信息获取方法及系统

Country Status (1)

Country Link
CN (1) CN110657785B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112837292A (zh) * 2021-02-04 2021-05-25 Oppo广东移动通信有限公司 搜索散斑的方法、终端设备及存储介质
CN112991813A (zh) * 2021-03-03 2021-06-18 广州小鹏自动驾驶科技有限公司 一种停车位对齐方法、装置、设备和计算机可读存储介质
CN113052887A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN113052889A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN113099120A (zh) * 2021-04-13 2021-07-09 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113538592A (zh) * 2021-06-18 2021-10-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113932736A (zh) * 2021-09-23 2022-01-14 华中科技大学 一种基于结构光的3d量测方法与系统
WO2022016797A1 (zh) * 2020-07-20 2022-01-27 奥比中光科技集团股份有限公司 一种光学信息检测方法、装置及设备
CN116016952A (zh) * 2022-12-20 2023-04-25 维悟光子(北京)科技有限公司 用于光学成像系统的图像编解码模型的训练方法
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067039A1 (en) * 2000-03-07 2001-09-13 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN208110250U (zh) * 2018-04-16 2018-11-16 深圳奥比中光科技有限公司 图案投影仪及深度相机
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067039A1 (en) * 2000-03-07 2001-09-13 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
CN104899882A (zh) * 2015-05-28 2015-09-09 北京工业大学 一种复杂场景的深度获取方法
CN106406002A (zh) * 2016-10-28 2017-02-15 深圳奥比中光科技有限公司 面阵投影装置及深度相机
CN208110250U (zh) * 2018-04-16 2018-11-16 深圳奥比中光科技有限公司 图案投影仪及深度相机
CN108957911A (zh) * 2018-08-22 2018-12-07 北京华捷艾米科技有限公司 散斑结构光投影模组及3d深度相机

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022016797A1 (zh) * 2020-07-20 2022-01-27 奥比中光科技集团股份有限公司 一种光学信息检测方法、装置及设备
CN112184811A (zh) * 2020-09-22 2021-01-05 合肥的卢深视科技有限公司 单目空间结构光系统结构校准方法及装置
CN112837292A (zh) * 2021-02-04 2021-05-25 Oppo广东移动通信有限公司 搜索散斑的方法、终端设备及存储介质
CN112991813A (zh) * 2021-03-03 2021-06-18 广州小鹏自动驾驶科技有限公司 一种停车位对齐方法、装置、设备和计算机可读存储介质
CN113052887A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN113052889A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN113099120B (zh) * 2021-04-13 2023-04-18 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113099120A (zh) * 2021-04-13 2021-07-09 南昌虚拟现实研究院股份有限公司 深度信息获取方法、装置、可读存储介质及深度相机
CN113538592A (zh) * 2021-06-18 2021-10-22 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113538592B (zh) * 2021-06-18 2023-10-27 深圳奥锐达科技有限公司 一种距离测量装置与相机融合系统的标定方法及装置
CN113932736A (zh) * 2021-09-23 2022-01-14 华中科技大学 一种基于结构光的3d量测方法与系统
CN116016952A (zh) * 2022-12-20 2023-04-25 维悟光子(北京)科技有限公司 用于光学成像系统的图像编解码模型的训练方法
CN116067305A (zh) * 2023-02-09 2023-05-05 深圳市安思疆科技有限公司 一种结构光测量系统和测量方法

Also Published As

Publication number Publication date
CN110657785B (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110657785B (zh) 一种高效的场景深度信息获取方法及系统
EP3650807B1 (en) Handheld large-scale three-dimensional measurement scanner system simultaneously having photography measurement and three-dimensional scanning functions
CA3040002C (en) A device and method for obtaining distance information from views
CN110044300B (zh) 基于激光器的两栖三维视觉探测装置及探测方法
TWI555379B (zh) 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN111121722A (zh) 结合激光点阵和偏振视觉的双目三维成像方法
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US20110211044A1 (en) Non-Uniform Spatial Resource Allocation for Depth Mapping
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN1735217A (zh) 生成图像的方法和设备
CN109712232B (zh) 一种基于光场的物体表面轮廓三维成像方法
CN207766424U (zh) 一种拍摄装置及成像设备
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及系统
CN108154536A (zh) 二维平面迭代的相机标定法
EP3756161A1 (en) Method and system for calibrating a plenoptic camera system
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN114820817A (zh) 基于高精度线激光3d相机的标定方法和三维重建方法
CN112184793A (zh) 深度数据的处理方法、装置及可读存储介质
CN108961378B (zh) 一种多目点云三维重建方法、装置及其设备
CN114155349B (zh) 一种三维建图方法、三维建图装置及机器人
CN110874863A (zh) 三维重建方法和用于三维重建的系统
CN110310371B (zh) 一种基于车载单目聚焦序列图像构建对象三维轮廓的方法
CN112330747A (zh) 基于无人机平台的多传感器联合探测和显示方法
Ascensão et al. Distance measurement system for medical applications based on the NanEye stereo camera
CN107610170B (zh) 多目图像重聚焦的深度获取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant