CN105160680A - 一种基于结构光的无干扰深度相机的设计方法 - Google Patents

一种基于结构光的无干扰深度相机的设计方法 Download PDF

Info

Publication number
CN105160680A
CN105160680A CN201510569520.9A CN201510569520A CN105160680A CN 105160680 A CN105160680 A CN 105160680A CN 201510569520 A CN201510569520 A CN 201510569520A CN 105160680 A CN105160680 A CN 105160680A
Authority
CN
China
Prior art keywords
camera
group
depth
cameras
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510569520.9A
Other languages
English (en)
Other versions
CN105160680B (zh
Inventor
刘荣科
林曼青
潘宇
关博深
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201510569520.9A priority Critical patent/CN105160680B/zh
Publication of CN105160680A publication Critical patent/CN105160680A/zh
Application granted granted Critical
Publication of CN105160680B publication Critical patent/CN105160680B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于结构光的无干扰深度相机的设计方法,属于图像处理技术领域。所述的设计方法包括对系统内的多台相机进行分组、同步、标定;各组相机同步获取目标场景中的散斑图像;对各组相机获得的散斑图像进行校准、计算视差,得到视差图;将视差图转换为深度图。本发明可以正常提取目标场景的深度信息;不限制投影设备的数目和位置,不受深度相机数目的影响,可以适应多种应用场景;具有好的扩展性,增减系统内深度相机数量时不会对其他相机造成影响,适应性好;各深度相机间无需通信,降低了系统成本。

Description

一种基于结构光的无干扰深度相机的设计方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于结构光的无干扰深度相机的设计方法。
背景技术
随着Kinect的问世,Kinect给出了一种廉价的实时的场景深度图像提取方法,越来越多的人开始关注3D构建和深度生成领域。深度图不仅能用于重建三维场景,还能用于图像分割,模式识别等各个领域,具有很广泛的应用前景。
然而Kinect深度传感器的致命弱点是:多台Kinect之间存在相互干扰。这也是目前正在使用中的多数结构光相机面对的一个非常致命的问题。这导致无法在同一场景中使用多台类似于Kinect的深度相机进行深度获取,即使在一个场景中摆放了多台Kinect拍摄深度,其拍摄得到的深度图的质量较差,严重地影响了深度图的正常使用。
一些方法被应用在消除Kinect的干扰上:可以使用频分复用的方式来消除深度相机之间的干扰,对每台相机使用不同频率的光线作为其散斑模板的投射光线。并在每台相机前,使用对应于其投射光线频率的滤光片,该滤光片仅透过该深度相机投射的光线,而滤除其它相机投射的光线。这样一来,每台深度相机即可排除其它相机的影响独立工作。然而这样做有一个缺点,即每台深度相机需要特别定制,不利于大规模生产。此外,由于每台深度相机使用不同频率的光作为其散斑模板的投射光线,这也从一方面限制了每个场景中能够使用的深度相机的数量。
还有使用相对运动来解决多个Kinect相机之间干扰的方法。该方法使每台深度相机间产生相互的运动。由于每台Kinect的投影模块和相机之间具有刚性结构,而Kinect之间不存在这种刚性结构,这就导致了在Kinect相互运动时,每台Kinect都仅可以清楚接收自身所投射的散斑模板,而来自于其他Kinect的散斑模板则由于相对运动的缘故变得模糊,这相当于削弱了其余投影模板的亮度。使用这种方法虽然可以很好地解决Kinect之间的干扰问题,但是引入了相机之间的相互运动,每个深度图的拍摄位置均在不断的变化中,使用这种拍摄位置不断变化的深度图对三维重建来讲无疑是一种挑战。
发明内容
为了克服现有技术的不足,本发明提出了一种基于散斑结构光的无干扰深度相机的设计方法,目的在于消除多个深度相机系统内相机间干扰,可以在多相机同时工作的情况下,分别获得无干扰的各相机的散斑图案,进而获得准确的深度信息。本发明实现的深度相机(简称相机)具有无干扰、实现简单、适应性强等优点。
本发明提供的一种基于结构光的无干扰深度相机的设计方法,包括如下步骤:
1)对系统(是指多相机系统)内的多台相机进行分组,每个分组内默认相机数目为两台,每台相机选择距离最近的相机同为一组;
2)对系统内的各组相机分别进行同步;
3)对系统内的各组相机分别进行标定;
4)利用投影设备将结构光散斑图案投射到目标场景上。所述投影设备的数目为一台以上,旨在投射的结构光散斑图案能覆盖全部目标场景,且数目不多到目标场景中的散斑密不可分。所述投影设备的位置可任意分布,不受相机分组的影响。
5)利用标定好的各组相机同步获取目标场景中的散斑图像;
6)对各组相机获得的散斑图像进行校准;
7)计算各组相机获得的散斑图像之间的视差,得到视差图;
8)将视差图转换为深度图。
本发明的有益效果包括如下几个方面:
(1)本方法实现的基于结构光的无干扰深度相机,可以正常提取目标场景的深度信息;
(2)本方法采用的结构光方式可支持不同数量的深度相机同时工作,适应多种应用情况;
(3)本方法不限制投影设备的数目和位置,不受深度相机数目的影响,可以适应多种应用场景;
(4)本方法具有好的扩展性,增减系统内深度相机数量时不会对其他相机造成影响,适应性好;
(5)本系统各深度相机可由同步信号进行调配,相机间无需通信,降低了系统成本。
附图说明
图1是本发明一种实施例的一种基于结构光的无干扰深度相机的系统流程示意图;
图2是本发明一种实施例的一种基于结构光的无干扰深度相机的系统原理框图;
图3是本发明一种实施例的一种基于结构光的无干扰深度相机的深度计算原理图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
本发明提供一种基于结构光的无干扰深度相机的设计方法,适用于包含多组相机和多个散斑投射源的系统,并且当多个散斑图案同时投射到目标场景(简称场景)时,不会对任意一组相机拍摄的结果造成干扰。本包含多组相机和多个散斑投射源的系统的原理框图如图2所示,多个投影机向实际场景内投射散斑,多个相机接收到信号源的信号后同步拍摄实际场景的散斑图像,对散斑图像在计算处理单元进行处理,得到深度图。所述设计方法包括如下步骤:
步骤一,对系统内多台相机进行分组;具体为对系统内每台相机,寻找距离其最近的相机与其成为一组:
依据场景所需深度图视点的位置和角度,设置系统内相机的数目和位置。对系统内的每台相机,寻找距离其最近的相机与其成为一组。如果距离相机A最近的相机有两台及以上,可使相机A同时与多台相机成组,即相机A可以位于多个分组,每组固定为两台相机。分组的数目依据所需的深度图视点的位置和角度确定。
步骤二,对系统内的各组相机分别进行同步,使各组相机在同步信号的触发下实现同步拍摄:
首先,所述的任意一组相机需要处于待触发状态,且同组相机的各个影响成像时间的参数值应该相同。触发可以使用内部触发或外部触发实现,触发时应该使触发信号无时间差别地输入到组内的各台相机。
进一步地,也可对系统内多组相机统一进行同步触发,目的在于使各组相机采集获得的原始图像以及最后生成的深度图像均为同一时刻的图像,便于利用所述深度图像进行场景的三维重建等。
步骤三,对系统内的各组相机分别进行标定,以获取透镜畸变模型以及真实空间到相机空间的映射模型:
由于相机是使用透镜来接收光线,所以不可避免引入了来自透镜的畸变;此外,为了用相机测量真实世界的深度,需要将相机的单位尺度和物理世界的单位尺度联系起来。基于上述两点,需要对相机进行标定,标定可以给出透镜畸变模型以及真实空间到相机空间的映射模型。
对各组相机的标定应该分别进行,最终获得各组相机各自的模型参数,具体包括以下步骤:
(3.1)根据实际场景情况选择标定方法和标定物;
考虑到成本、难易度、实用性、以及本系统用于深度测量这一特点,在标定方法上选择了利用标定物进行标定的方法。
对作为标定物的物体,要求其尺寸大小是已知的,且尺寸精度影响标定结果的准确度。标定物可以选择三维立体的物体,也可以选择二维平面的物体。考虑到制作和存储高精度三维立体标定物的难度,本系统选取了二维平面物体作为标定物。考虑到算法的难易度以及标定的实际效果,本系统选取了黑白方块交替排列的平面棋盘图模式。其中,棋盘方块的边长和棋盘的角点个数要依据场景大小来制定。
(3.2)拍摄包含标定物的图像;
选取和制作好标定物之后,通过采集包含标定物的图像,进而建立起图像点与标定物上的已知点坐标之间的映射关系,就可以获得真实空间到相机空间的映射模型和透镜畸变模型的相关参数。优选的,可以采用张正友棋盘标定算法(见参考文献[1]:Z.Zhang,“Flexiblecameracalibrationbyviewingaplanefromunknownorientations,”Proceedingsofthe7thInternationalConferenceonComputerVision(pp.666–673),Corfu,September1999)获得。
对于上述二维平面标定物即棋盘,采集其图像时需要注意以下五个方面:
1)保证棋盘内部角点能全部被待标定相机组中的两台相机清晰地采集到;
2)拍摄到的棋盘大小要合适,过大则无法保证拍摄到全部的内部角点,过小了难以清晰拍摄到角点;
3)拍摄到的棋盘俯仰角不可过大,过大会使得角点之间的距离过小,难以清晰地分辨出不同的角点;
4)为了得到足够充分的信息,求解出透镜畸变模型和真实空间到相机空间的映射模型的各个模型参数,要求采集到的图像中棋盘应该以多种方向排布;
5)对于一组内的两台相机,在采集包含标定物的图像时要严格同步。
(3.3)提取各组内两台相机同一时刻拍摄的包含标定物的图像的特殊点;
由于标定物尺寸和表面特征已知,因此标定物表面两个特定点的相对位置是已知的,如果能从采集到的包含标定物的图像上找到这两个特定点之间的相对位置关系,就能建立起物理空间和相机空间之间的一个映射。如果找到许多这样的关系,就能够近似地构建出完整的空间模型。
对于上述标定物棋盘,由于其黑白方块交替排列的模式,使得角点的特征非常明显,方便寻找和跟踪;此外,由于方块的边长已知,因此可以确定相邻角点之间的物理距离。综合上述因素,棋盘的角点可以作为特殊点进行提取。
(3.4)根据所提取的特殊点计算透镜畸变模型和映射模型的模型参数并保存;
首先明确标定的目的,就是建立一个能够将存在于物理空间的一个二维棋盘平面上的点映射到相机成像平面上的映射关系。
假设物理空间上的某点A映射到成像平面上的点a,如果采用齐次坐标,则有:
A ~ = X Y Z 1 T
a ~ = x y 1 T
且有关系:
a ~ = H A ~
其中,(X,Y,Z)是物理空间上点A的坐标,(x,y)是该点A映射在成像平面上的对应点a的坐标。H表示从二维棋盘平面到成像平面的映射,其含义有三部分:这两个平面(二维棋盘平面和成像平面)的相对位置、缩放因子以及相机的投影模型。相对位置W可用旋转矩阵R和平移向量k表示,分别代表了相机坐标系中上述两个平面之间的相对旋转角度和相对偏移量;缩放因子可用s表示;投影模型可用相机矩阵M来表示。即
a ~ = s M W A ~
其中:
M = f x 0 c x 0 f y c y 0 0 1
W=[Rk]=[r1r2r3k]
其中,fx和fy是相机的焦距,之所以引入两个不同的焦距,是因为在实际的成像仪中单个像素点是长方形的而不是正方形的;而cx和cy代表了成像仪中心和相机透镜光轴之间的偏移量,之所以会有偏移量,是因为实际成像仪制造水平有限,不可能理想化地把成像芯片的位置正好安置在光轴上;r1,r2,r3分别代表旋转矩阵R的三个列向分量。
利用上述公式,可以由同一物体(如:标定物棋盘)在目标场景中不同位置拍摄得到的多个图像,来计算每个视图中标定物二维棋盘平面相对于成像平面的旋转矩阵R和平移向量k;利用相机内参数对所有视图不变的特点,可以计算出相机矩阵M。
此外,考虑到透镜畸变的影响,还应该根据每个视图中棋盘格边缘具有直线性的特点,计算畸变系数D,通过畸变系数消除透镜畸变的影响。
为了进一步利用两台相机的图像获得场景深度,需要知道两台相机的相对位置参数E,表示一台相机相对于另一台相机在物理空间上坐标上的相对位置,该相对位置由两部分组成:旋转矩阵R2和平移向量T。其中R2代表两台相机坐标系之间的相对旋转角度,T代表两台相机投影中心之间的相对距离。以水平分布的两台相机为例,其相对位置参数E可通过下述方法进行计算:
观测点Q,在两个相机坐标系中的像素坐标分别是Ql和Qr,则有Qr=R2(Ql-T),且有Qr TEQl=0。
为了将图像世界与真实世界连接,引入参数F,其算法如下:
已知对于观测点Q的像素坐标Ql和Qr,设对于真实点B在世界坐标系(具体的,以左相机的光心为原点,以左相机成像平面的水平向右方向为x轴正方向、竖直向下方向为y轴正方向,垂直于成像平面向里(向物体方向)为z轴正方向)内的真实坐标为Br和Bl,则有B=MQ,即Q=M-1B,则有Br T(Mr -1)EMl -1Bl=0。令F=(Mr -1)EMl -1,则有Br TFBl=0。其中Ml和Mr分别代表左右相机的相机矩阵M。
利用拍摄的棋盘图计算获得上述参数后,将其存储起来,以备后期使用上述参数对拍摄的散斑图像进行透镜畸变消除及相机深度计算。
进一步地,对系统内的各组相机都按照上述步骤完成标定。
步骤四,生成结构光散斑模板,利用投影设备将结构光散斑图案投射到场景中:
场景中特征较少、视差不明显的区域(例如一个纯色的区域),不利于通过立体匹配计算深度,因此可以人为添加特征点,即生成黑白随机分布的结构光散斑模板,利用投影设备投射到场景中。
进一步地,可以同时生成并投射多个结构光散斑模板到场景中,多个结构光散斑模板之间不会相互干扰。投影设备的数目和位置依据以下原则确定:投射的结构光散斑图案能覆盖全部目标场景,且数目不多到场景中的散斑密不可分。在此原则的基础上,投影设备的数目和位置可以任意设置,不受相机分组的影响。
步骤五,各组相机同步拍摄,分别获取目标场景中投射了散斑的图像:
使用步骤三标定过的各组相机对投射了一个或多个散斑的场景进行拍摄,一组内的两台相机采集时要求严格同步,即同时同步采集同一场景中的干扰散斑图像。
进一步地,系统内的各组相机可全部同步采集图像,便于使用各组获取的深度图进行场景重构。
步骤六,校准各组相机拍摄的散斑图像;
通过步骤三标定之后,各组相机的透镜畸变模型和真实空间到相机空间的映射模型得以确立。此时,场景空间上的任意一点均可以无歧义地投影到相机拍摄的散斑图像上,即对于物理空间上的任意一点,可以准确唯一的计算出图像坐标系下的坐标。
利用上述模型参数,可以对各组相机在步骤五获取到的散斑图像进行校准。步骤五获取的散斑图像通过校准后,输出的图像不仅消除了透镜引入的畸变,而且可以从数学上认为,图像是由两台光轴平行的相机拍摄出来的,且两个图像在同一平面上,图像的每一行(或每一列)是严格对齐的。校准的目的,在于方便查找相同特征,计算视差。
步骤七,在步骤六校准过的各组散斑图像之间,查找相同特征,计算视差图:
步骤五获取的散斑图像经过步骤六校准后已经严格对齐,此时,通过匹配一组散斑图像中的相同特征点,并且计算特征点在两台相机上的坐标差,即可得到图像内各个位置点的视差。以视差为对应位置点的像素值绘出新的图像,即可得到视差图。
由于校准后的图像已经严格对齐,因此在匹配一组散斑图像中的相同点时,只需要在对齐的线上查找即可。特别的,对于水平分布的相机,匹配时只需在两个图像中纵坐标相同的线上查找,其视差为特征点在左右视图图像上对应点的横坐标差xl-xr;对于垂直分布的相机,匹配时只需在两个图像中横坐标相同的线上查找,其视差为特征点在上下视图图像上对应点的纵坐标差yu-yd。其中,xl为特征点在左视图图像上对应点的横坐标,xr为特征点在右视图图像上对应点的横坐标,yu为特征点在上视图图像上对应点的纵坐标,yd为特征点在下视图图像上对应点的纵坐标。
由于两台相机同时采集了带有相同干扰散斑的图像,匹配时左右视图图像均含有相同的干扰信息,因此可以在不受干扰信息影响的情况下完成匹配,达到无干扰的目的。
步骤八,根据三角测量的原理,将视差转换为深度,即由视差图获得深度图:
以水平分布的两台相机为例,对于完成标定的两台相机,可以认为输出的散斑图像没有畸变,两台相机的光轴平行,两个图像在同一平面上,且两台相机投影中心之间的平移向量T已知,焦距相同且已知,即fl=fr=f。假设物理空间中的点A在左右视图图像上投影分别为al和ar,对应横坐标分别为xl和xr。如图3,点A的深度Z可以利用三角形的相似关系计算出来,方法如下:
实施例
以下将结合附图,对本发明的一个实施例进行进一步详细说明,该实施例中,系统内含有四台相机和两台投影机。
步骤一,对系统内每台相机,寻找距离其最近的相机与其成为一组:
依据场景所需深度图视点的位置和角度,系统设置了四台相机,分布于场景前方大约3米的位置。对系统内的每台相机,寻找距离其最近的相机与其成为一组,总共有三组相机。每一组两台相机之间的距离约为15cm,使得同组两台相机均能拍摄到大致在同一范围内的目标场景,并且拍摄到的图像包含一定的视差信息。
步骤二,对系统内的各组相机分别进行同步触发:
为了使各组相机采集获得的原始图像以及最后生成的深度图像均为同一时刻的图像,便于利用各组相机生成的深度图进行场景的三维重建,这里对系统内的四台相机统一进行同步触发,且采用了外部触发方式,触发信号由信号源给出。
为了使触发信号无差别地输入到各台相机,这里把四台相机的触发信号输入端引出并焊接在一起,再将触发信号输出端接到该共同输入端上。拍摄图像时,将相机设置在等待触发模式下,控制信号源输出触发信号,即可实现相机的同步触发。
步骤三,对系统内的各组相机分别进行标定:
对三组相机分别进行标定,获得三组标定参数。
(1)选择标定方法和标定物;
考虑到成本、难易度、实用性、以及本系统用于深度测量这一特点,在标定方法上选择了利用标定物进行标定的方法。
对作为标定物的物体,本系统选取了黑白方块交替排列的平面棋盘图作为标定物。考虑到场景大小和场景与相机的距离,棋盘方块的边长定为4cm,角点的个数为8×6。
(2)拍摄包含标定物的图像;
拍摄包含标定物的图像时要注意以下五个方面:
1)保证棋盘内部角点能全部被待标定相机组中的两台相机清晰地采集到;
2)拍摄到的棋盘大小要合适,过大则无法保证拍摄到全部的内部角点,过小了难以清晰拍摄到角点;
3)拍摄到的棋盘俯仰角不可过大,过大会使得角点之间的距离过小,难以清晰地分辨出不同的角点;
4)为了得到足够充分的信息,求解出真实空间到相机空间的映射模型和透镜畸变模型的各个参数,要求采集到的图像中棋盘应该以各种方向排布;
5)对于一组内的两台相机,在采集标定物的图像时要严格同步。
(3)提取特殊点;
对于上述标定物棋盘,由于其黑白方块交替排列的模式,使得角点的特征非常明显,方便寻找和跟踪;此外,由于方块的边长已知,因此可以确定相邻角点之间的物理距离。综合上述因素,棋盘的角点可以作为特殊点进行提取。
(4)计算模型参数并保存;
对于两组相机,分别利用拍摄的棋盘图计算获得组内两台相机的内参数M1和M2、畸变参数D1和D2、旋转参数R、平移参数T,以及包含了两台相机相对位置的本征参数E和基础参数F。计算后对应于三组相机会获得三组标定参数,将其对应存储起来。
步骤四,生成散斑模板,利用投影机将散斑投射到场景中:
利用Matlab生成黑白随机分布的散斑图像,导入到投影机中。这里使用了两台投影机,放置于场景前方的左右两侧,使得投影机投出的散斑均匀地覆盖到目标场景。这里生成了两个模板分别导入到两台投影机,这两台投影机投出的混叠散斑不会对三组相机成像结果造成干扰。
步骤五,用系统内的各组相机分别获取投射了散斑的图像:
使用步骤三标定过的三组相机对投射了两个散斑的场景进行拍摄,即三组相机同时采集目标场景中的干扰散斑图像。
步骤六,利用步骤三标定获取的参数对步骤五获取的图像进行校准:
利用步骤三标定获取的参数,对各组相机在步骤五获取到的散斑图像进行校准,消除透镜引入的畸变,并且对齐各组图像。
步骤七,在步骤四同组相机同一时刻采集的散斑图像之间,查找相同特征,计算视差图:
通过匹配两台相机拍摄的视图中的相同特征点,并且计算特征点在两台相机上的坐标差,即可得到视差。这里两组相机均为水平分布,匹配时只需在两个图像中纵坐标相同的线上查找,其视差为特征点在左右视图图像上对应点的横坐标差xl-xr
由于同组两台相机同时采集了带有相同干扰散斑的图像,匹配时左右视图图像均含有相同的干扰信息,因此可以在不受干扰信息影响的情况下完成匹配,达到无干扰的目的。
步骤八,根据三角测量的原理,将视差转换为深度,即由视差图获得深度图:
假设同组两台相机投影中心之间的距离为T,焦距为f,物理空间中的点A在左右视图图像上投影为al和ar,对应横坐标为xl和xr,则视差为xl-xr。则点A的深度Z可以利用三角形的相似关系计算出来,方法如下:

Claims (5)

1.一种基于结构光的无干扰深度相机的设计方法,其特征在于:
第一步,对系统内的多台相机进行分组,每个分组内默认相机数目为两台,每台相机选择距离最近的相机同为一组;所述的系统包含多台相机和一台以上投影设备;
第二步,对系统内的各组相机分别进行同步;
第三步,对系统内的各组相机分别进行标定;
第四步,利用投影设备将结构光散斑图案投射到目标场景上;所述投影设备的位置任意分布,不受相机分组的影响;
第五步,利用标定好的各组相机同步获取目标场景中的散斑图像;
第六步,对各组相机获得的散斑图像进行校准;
第七步,计算各组相机获得的散斑图像之间的视差,得到视差图;
第八步,将视差图转换为深度图。
2.根据权利要求1所述的一种基于结构光的无干扰深度相机的设计方法,其特征在于:所述的同步,对多个分组内的相机进行统一同步。
3.根据权利要求1所述的一种基于结构光的无干扰深度相机的设计方法,其特征在于:对各组相机的标定应该分别进行,最终获得各组相机各自的模型参数,具体包括以下步骤:
(3.1)根据实际场景情况选择标定方法和标定物;
对作为标定物的物体,选取黑白方块交替排列的平面棋盘图模式;
(3.2)拍摄包含标定物的图像;
选取和制作好标定物之后,通过采集包含标定物的图像,进而建立起图像点与标定物上的已知点坐标之间的映射关系,获得真实空间到相机空间的映射模型和透镜畸变模型的相关参数;
(3.3)提取各组内两台相机同一时刻拍摄的包含标定物的图像的特殊点;
所述的特殊点选取为棋盘的角点;
(3.4)根据所提取的特殊点计算透镜畸变模型和映射模型的模型参数并保存。
4.根据权利要求3所述的一种基于结构光的无干扰深度相机的设计方法,其特征在于:步骤(3.4)中的模型参数计算如下:
假设物理空间上的某点A映射到成像平面上的点a,如果采用齐次坐标,则有:
且有关系:
其中,(X,Y,Z)是物理空间上点A的坐标,(x,y)是该点A映射在成像平面上的对应点a的坐标;H表示从二维棋盘平面到成像平面的映射,其含义有三部分:两个平面的相对位置、缩放因子以及相机的投影模型,相对位置W用旋转矩阵R和平移向量k表示,分别代表了相机坐标系中上述两个平面之间的相对旋转角度和相对偏移量;缩放因子用s表示;投影模型用相机矩阵M来表示,即,
其中:
W=[Rk]=[r1r2r3k]
其中,fx和fy是相机的焦距,cx和cy代表了成像仪中心和相机透镜光轴之间的偏移量,r1,r2,r3分别代表旋转矩阵R的三个列向分量;
利用上述公式,由同一物体在目标场景中不同位置拍摄得到的多个图像,来计算每个视图中标定物二维棋盘平面相对于成像平面的旋转矩阵R和平移向量k;利用相机内参数对所有视图不变的特点,计算出相机矩阵M。
5.根据权利要求1所述的一种基于结构光的无干扰深度相机的设计方法,其特征在于:所述的第八步具体为,根据三角测量的原理,以水平分布的两台相机为例,对于完成标定的两台相机,两台相机的光轴平行,两个图像在同一平面上,且两台相机投影中心之间的平移向量T已知,焦距相同且已知,即fl=fr=f;假设物理空间中的点A在左右视图图像上投影分别为al和ar,对应横坐标分别为xl和xr,点A的深度Z利用三角形的相似关系计算出来,方法如下:
CN201510569520.9A 2015-09-08 2015-09-08 一种基于结构光的无干扰深度相机的设计方法 Active CN105160680B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510569520.9A CN105160680B (zh) 2015-09-08 2015-09-08 一种基于结构光的无干扰深度相机的设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510569520.9A CN105160680B (zh) 2015-09-08 2015-09-08 一种基于结构光的无干扰深度相机的设计方法

Publications (2)

Publication Number Publication Date
CN105160680A true CN105160680A (zh) 2015-12-16
CN105160680B CN105160680B (zh) 2017-11-21

Family

ID=54801522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510569520.9A Active CN105160680B (zh) 2015-09-08 2015-09-08 一种基于结构光的无干扰深度相机的设计方法

Country Status (1)

Country Link
CN (1) CN105160680B (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331631A (zh) * 2016-08-30 2017-01-11 山东惠工电气股份有限公司 一种两路视频重合方法
CN106954058A (zh) * 2017-03-09 2017-07-14 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN107274400A (zh) * 2017-06-21 2017-10-20 歌尔股份有限公司 空间定位装置、定位处理方法及装置、虚拟现实系统
CN107392874A (zh) * 2017-07-31 2017-11-24 广东欧珀移动通信有限公司 美颜处理方法、装置及移动设备
CN108200315A (zh) * 2017-12-29 2018-06-22 合肥泰禾光电科技股份有限公司 一种深度相机及深度相机系统
CN108279809A (zh) * 2018-01-15 2018-07-13 歌尔科技有限公司 一种校准方法和装置
CN108399596A (zh) * 2018-02-07 2018-08-14 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
CN108810245A (zh) * 2018-04-23 2018-11-13 维沃移动通信有限公司 一种深度摄像的抗干扰方法及移动终端
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN109116663A (zh) * 2018-07-26 2019-01-01 信利光电股份有限公司 一种结构光模组的平行aa方法、装置及可读存储介质
CN109272453A (zh) * 2018-08-31 2019-01-25 盎锐(上海)信息科技有限公司 基于3d摄像机的建模装置及定位方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110189380A (zh) * 2019-05-30 2019-08-30 Oppo广东移动通信有限公司 标定数据的优化方法、结构光模组及存储介质
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN110490939A (zh) * 2019-08-08 2019-11-22 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置
CN111028294A (zh) * 2019-10-20 2020-04-17 深圳奥比中光科技有限公司 一种基于深度相机的多距离标定方法及系统
CN111862229A (zh) * 2020-06-05 2020-10-30 北京中科慧眼科技有限公司 一种双目相机的调整方法和装置
CN112255787A (zh) * 2020-10-23 2021-01-22 中国人民解放军陆军装甲兵学院 一种集成成像显示系统的景深扩展方法及系统
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN113052889A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN114693683A (zh) * 2022-06-01 2022-07-01 合肥的卢深视科技有限公司 深度相机异常检测方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
WO2014020364A1 (en) * 2012-07-30 2014-02-06 Zinemath Zrt. System and method for generating a dynamic three-dimensional model
CN103903246A (zh) * 2012-12-26 2014-07-02 株式会社理光 物体检测方法和装置
CN104299261A (zh) * 2014-09-10 2015-01-21 深圳大学 人体三维成像方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020364A1 (en) * 2012-07-30 2014-02-06 Zinemath Zrt. System and method for generating a dynamic three-dimensional model
CN103903246A (zh) * 2012-12-26 2014-07-02 株式会社理光 物体检测方法和装置
CN103456038A (zh) * 2013-08-19 2013-12-18 华中科技大学 一种井下环境三维场景重建方法
CN104299261A (zh) * 2014-09-10 2015-01-21 深圳大学 人体三维成像方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐抗: "基于时空域约束的深度图像修复及提取算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106331631A (zh) * 2016-08-30 2017-01-11 山东惠工电气股份有限公司 一种两路视频重合方法
CN106331631B (zh) * 2016-08-30 2019-10-25 山东惠工电气股份有限公司 一种两路视频重合方法
CN106954058B (zh) * 2017-03-09 2019-05-10 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN106954058A (zh) * 2017-03-09 2017-07-14 深圳奥比中光科技有限公司 深度图像获取系统和方法
CN107274400A (zh) * 2017-06-21 2017-10-20 歌尔股份有限公司 空间定位装置、定位处理方法及装置、虚拟现实系统
CN107274400B (zh) * 2017-06-21 2021-02-12 歌尔光学科技有限公司 空间定位装置、定位处理方法及装置、虚拟现实系统
CN107392874A (zh) * 2017-07-31 2017-11-24 广东欧珀移动通信有限公司 美颜处理方法、装置及移动设备
CN108200315A (zh) * 2017-12-29 2018-06-22 合肥泰禾光电科技股份有限公司 一种深度相机及深度相机系统
CN108279809B (zh) * 2018-01-15 2021-11-19 歌尔科技有限公司 一种校准方法和装置
CN108279809A (zh) * 2018-01-15 2018-07-13 歌尔科技有限公司 一种校准方法和装置
CN108399596B (zh) * 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
CN108399596A (zh) * 2018-02-07 2018-08-14 深圳奥比中光科技有限公司 深度图像引擎及深度图像计算方法
US11769266B2 (en) 2018-02-07 2023-09-26 Orbbec Inc. Depth image engine and depth image calculation method
CN108955641A (zh) * 2018-04-23 2018-12-07 维沃移动通信有限公司 一种深度摄像方法、深度摄像设备及移动终端
CN108810245B (zh) * 2018-04-23 2020-09-01 维沃移动通信有限公司 一种深度摄像的抗干扰方法及移动终端
CN108810245A (zh) * 2018-04-23 2018-11-13 维沃移动通信有限公司 一种深度摄像的抗干扰方法及移动终端
CN109116663A (zh) * 2018-07-26 2019-01-01 信利光电股份有限公司 一种结构光模组的平行aa方法、装置及可读存储介质
CN109272453A (zh) * 2018-08-31 2019-01-25 盎锐(上海)信息科技有限公司 基于3d摄像机的建模装置及定位方法
CN109272453B (zh) * 2018-08-31 2023-02-10 上海盎维信息技术有限公司 基于3d摄像机的建模装置及定位方法
CN110009691A (zh) * 2019-03-28 2019-07-12 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN110009691B (zh) * 2019-03-28 2021-04-09 北京清微智能科技有限公司 基于双目立体视觉匹配的视差图像生成方法及系统
CN112771573B (zh) * 2019-04-12 2023-01-20 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN112771573A (zh) * 2019-04-12 2021-05-07 深圳市汇顶科技股份有限公司 基于散斑图像的深度估计方法及装置、人脸识别系统
CN110337674A (zh) * 2019-05-28 2019-10-15 深圳市汇顶科技股份有限公司 三维重建方法、装置、设备及存储介质
CN110189380B (zh) * 2019-05-30 2021-12-07 Oppo广东移动通信有限公司 标定数据的优化方法、结构光模组及存储介质
CN110189380A (zh) * 2019-05-30 2019-08-30 Oppo广东移动通信有限公司 标定数据的优化方法、结构光模组及存储介质
CN110490939B (zh) * 2019-08-08 2022-03-22 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN110490939A (zh) * 2019-08-08 2019-11-22 Oppo广东移动通信有限公司 多摄像头标定方法、装置、存储介质及电子设备
CN111028294B (zh) * 2019-10-20 2024-01-16 奥比中光科技集团股份有限公司 一种基于深度相机的多距离标定方法及系统
CN111028294A (zh) * 2019-10-20 2020-04-17 深圳奥比中光科技有限公司 一种基于深度相机的多距离标定方法及系统
CN111025137A (zh) * 2019-12-13 2020-04-17 苏州华电电气股份有限公司 敞开式隔离开关状态感知装置
CN111862229A (zh) * 2020-06-05 2020-10-30 北京中科慧眼科技有限公司 一种双目相机的调整方法和装置
CN111862229B (zh) * 2020-06-05 2024-06-18 北京中科慧眼科技有限公司 一种双目相机的调整方法和装置
CN112255787A (zh) * 2020-10-23 2021-01-22 中国人民解放军陆军装甲兵学院 一种集成成像显示系统的景深扩展方法及系统
CN112255787B (zh) * 2020-10-23 2022-06-07 中国人民解放军陆军装甲兵学院 一种集成成像显示系统的景深扩展方法及系统
CN112669362A (zh) * 2021-01-12 2021-04-16 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN112669362B (zh) * 2021-01-12 2024-03-29 四川深瑞视科技有限公司 基于散斑的深度信息获取方法、装置及系统
CN113052889A (zh) * 2021-03-24 2021-06-29 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN113052889B (zh) * 2021-03-24 2024-05-31 奥比中光科技集团股份有限公司 一种深度计算方法及系统
CN114693683A (zh) * 2022-06-01 2022-07-01 合肥的卢深视科技有限公司 深度相机异常检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN105160680B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN105160680A (zh) 一种基于结构光的无干扰深度相机的设计方法
CN103198524B (zh) 一种大规模室外场景三维重建方法
CN102164298B (zh) 全景成像系统中基于立体匹配的元素图像获取方法
US10574972B2 (en) Image processing device, image processing method, and imaging device
CN103115613B (zh) 一种空间三维定位方法
CN103090846B (zh) 一种测距装置、测距系统及其测距方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN106228605A (zh) 一种基于动态规划的立体匹配三维重建方法
CN102445165B (zh) 基于单幅彩色编码光栅的立体视觉测量方法
CN103679693B (zh) 一种多相机单视图标定装置及其标定方法
CN107077743A (zh) 用于阵列相机的动态校准的系统和方法
CN107545586B (zh) 基于光场极线平面图像局部的深度获取方法及系统
CN109840922B (zh) 基于双目光场相机的深度获取方法和系统
WO2011163454A1 (en) Method and apparatus for image-based positioning
CN103903263B (zh) 一种基于Ladybug全景相机图像的360度全方位测距方法
CN106033614B (zh) 一种强视差下的移动相机运动目标检测方法
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN106289071B (zh) 一种结构三维位移单目摄像测量方法
CN107560592A (zh) 一种用于光电跟踪仪联动目标的精确测距方法
CN112305576A (zh) 一种多传感器融合的slam算法及其系统
CN111854636B (zh) 一种多相机阵列三维检测系统和方法
CN103561257A (zh) 一种基于深度参考平面的无干扰的光编码深度提取方法
CN114359406A (zh) 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法
CN116205961A (zh) 多镜头组合影像和激光雷达点云的自动配准方法及其系统
US20150271472A1 (en) System and method for stereoscopic photography

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant