CN113189603B - 结构光深度相机参数设计方法及系统 - Google Patents

Abstract

本发明公开了一种结构光深度相机参数设计方法及系统，所述方法包括：根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系。本发明能够使得结构光深度相机的深度测量精度的非线性特征得到改善，改善了近距离的测量精度过剩、远距离的测量精度太低的问题。

Description

结构光深度相机参数设计方法及系统

技术领域

本发明涉及相机技术领域，特别是涉及一种结构光深度相机参数设计方法及系统。

背景技术

结构光深度相机通过向目标空间投影结构光图像，并采集由物体反射回的结构光图像进一步计算出深度图像，基于该深度图像可以实现3D建模、人脸识别、手势交互等功能，同时结构光深度相机由于具备分辨率高、精度高、功耗低等优点，因此被广泛应用在手机、电脑、机器人、AR/VR等智能设备上。

现有技术中，散斑结构光深度相机都是采用三角测距原理实现深度测量的，而三角测距原理决定了深度测量精度存在非线性的问题，即物体越近，精度越高；物体越远，精度越低，而通常情况下，拍摄近距离物体时，并不需要这么高的测量精度，而拍摄远距离物体时，由于非线性的问题，测量精度较低，影响拍摄效果。

散斑结构光深度相机的工作原理如图1，投射器投射出具有随机性的散斑图案，可以认为每一束光都携带可以被唯一识别的散斑。相机存储了已知距离上的标定平面的图像，即对于图1中的光束，其在标定图像中的像素位置为a，在工作时，该光束投射到物体上，并在像素位置b成像。三角测距原理描述了像素偏移距离ab和物体到标定平面距离L之间的关系：

其中，d为物体与镜头间的距离，L为标定平面与深度相机的距离，f为深度相机的焦距，r为投射器与图像传感器的距离，x为像素偏移距离，x是通过重建算法计算出来的，它的精度主要是由投射器、光学器件、图像传感器物理特性(比如像素大小,分辨率等等)和算法共同决定的。

将上式变形，可以看出，随着物体与镜头间的距离d的增大，x非线性减小：

请参阅图2，当像素偏移距离x精度为dx时，该精度造成的深度测量精度在距离较近时，深度测量精度d₁较小；在距离较远时，深度测量精度d₂较大，在近处的深度测量精度可以表示为d₁/dx，在远处的深度测量精度可以表示为d₂/dx，而d₁/dx＜d₂/dx，因此在近处可以分辨更小的深度值变化，造成了测量精度对测量距离的非线性问题。

发明内容

为此，本发明的一个目的在于提出一种结构光深度相机参数设计方法，以改善现有技术中深度测量精度存在的非线性的问题。

本发明提供一种结构光深度相机参数设计方法，所述方法包括：

根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；

确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；

根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系。

根据本发明提供的结构光深度相机参数设计方法，利用scheimflug(简称沙姆)原理，将图像传感器与镜头呈一定的倾角安装，且光学参数符合沙姆定律，可以降低近距离的测量精度，而提高远距离的测量精度，从而使得结构光深度相机的深度测量精度的非线性特征得到改善，改善了近距离的测量精度过剩、远距离的测量精度太低的问题。

另外，根据本发明上述的结构光深度相机参数设计方法，还可以具有如下附加的技术特征：

进一步地，根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角的步骤中，采用下式确定对焦平面与光轴的夹角：

其中，d₁和d₂分别表示所述结构光深度相机的工作范围的最小值和最大值，α表示对焦平面与光轴的夹角，β表示所述视场角。

进一步地，确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系的步骤中，所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系满足以下条件式：

其中，成像平面、光心平面、对焦平面相交于第一直线，过光心且平行于成像平面的平面P、焦平面、对焦平面相交于第二直线，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角。

进一步地，确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系的步骤中，在选取透镜焦距时，需满足以下条件式：

进一步地，根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系的步骤中，采用下式确定光圈大小与像素尺寸之间的关系：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα。

本发明的另一个目的在于提出一种结构光深度相机参数设计系统，以改善现有技术中深度测量精度存在的非线性的问题。

本发明提供一种结构光深度相机参数设计系统，所述系统包括：

第一确定模块，用于根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；

第二确定模块，用于确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；

第三确定模块，用于根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系。

根据本发明提供的结构光深度相机参数设计系统，利用scheimflug(简称沙姆)原理，将图像传感器与镜头呈一定的倾角安装，且光学参数符合沙姆定律，可以降低近距离的测量精度，而提高远距离的测量精度，从而使得结构光深度相机的深度测量精度的非线性特征得到改善，改善了近距离的测量精度过剩、远距离的测量精度太低的问题。

另外，根据本发明上述的结构光深度相机参数设计系统，还可以具有如下附加的技术特征：

进一步地，所述第一确定模块采用下式确定对焦平面与光轴的夹角：

其中，d₁和d₂分别表示所述结构光深度相机的工作范围的最小值和最大值，α表示对焦平面与光轴的夹角，β表示所述视场角。

进一步地，第二确定模块用于采用下式确定结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系：

其中，成像平面、光心平面、对焦平面相交于第一直线，过光心且平行于成像平面的平面P、焦平面、对焦平面相交于第二直线，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角。

进一步地，所述第二确定模块在选取透镜焦距时，需满足以下条件式：

进一步地，所述第三确定模块用于采用下式确定光圈大小与像素尺寸之间的关系：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。

附图说明

本发明实施例的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是现有技术中散斑结构光深度相机的工作原理示意图；

图2是现有技术中散斑结构光深度相机的测量精度示意图；

图3是本发明一实施例提供的结构光深度相机参数设计方法的流程示意图；

图4是本发明提供的结构光深度相机的工作原理示意图；

图5是本发明提供的结构光深度相机的光学参数示意图；

图6是本发明提供的结构光深度相机的成像原理示意图；

图7是本发明提供的结构光深度相机的测量精度示意图；

图8是本发明另一实施例提供的结构光深度相机参数设计系统的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图3，本发明一实施例提供的结构光深度相机参数设计方法，所述方法包括：

S101，根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角。

具体的，如图4所示，图4中d₁和d₂分别表示结构光深度相机的工作范围的最小值和最大值，L为光心平面，B为光轴，S为对焦平面(即成像最清晰的平面)，A为对焦平面S与光轴B的交点，C为视场范围最外侧、位于上方的直线与对焦平面S的交点，C与光心平面L之间的垂直距离等于d₂，E为视场范围最外侧、位于下方的直线与对焦平面S的交点，且E与光心平面L之间的垂直距离等于d₁，u表示交点A到光心的距离，D为交点E在光轴B上的垂足。

根据三角形ABC和三角形ADE相似关系，可以求出：

其中，α表示对焦平面S与光轴B的夹角，β表示视场角。

S102，确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律。

其中，根据沙姆定律，请参阅图5，成像平面F、光心平面L、对焦平面S相交于第一直线H，过光心且平行于成像平面的平面P、焦平面C、对焦平面S相交于第二直线G；

光心O到第一直线H的距离l满足：

图5中A点成像于A’点,由透镜成像关系

其中，v表示图像传感器到光心的安装距离，因此，

即

由几何关系

可以得到

其中，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角。

具体的，在选取透镜焦距时，需满足以下条件式：

S103，根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系。

其中，由于相机需要在工作范围和视场角范围内清晰成像，因此需要合理设计景深范围。如图6所示，前景深平面D1与对焦平面S的最小夹角为Ф1，后景深平面D2与对焦平面S的最小夹角为Ф2。Ф1和Ф2的选取需要覆盖图6所示的阴影部分(工作范围)。

由几何关系可以得到：

记容许的弥散圆半径为m，在cmos成像中，若弥散圆半径约为1个像素的大小p，则m≈p，镜头的光圈大小为F，则容许的焦深g为g＝Fm≈Fp；

根据沙姆相机的景深计算公式：

结合上述的几何关系，可以得到：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα，选取光圈F和像素尺寸p需要满足以上两式。

本发明将图像传感器与镜头成一定倾角θ安装，结合图7，存在以下条件式：

cosθ·dx′₂＝dx

dx′₁＝cosθ·dx

则，在近处1处的深度测量精度可以表示为：

在远处2处的深度测量精度可以表示为：

因此，在近处(1处)的对深度变化的分辨值增大到原来的1/cosθ倍，在远处(2处)的对深度变化的分辨值减小到原来的cosθ倍，降低了相机在近处的深度测量精度，提高了相机在原处的深度测量精度，从而使深度相机在整个测量范围内的精度更加线性。

综上，根据本实施例提供的结构光深度相机参数设计方法，利用scheimflug(简称沙姆)原理，将图像传感器与镜头呈一定的倾角安装，且光学参数符合沙姆定律，可以降低近距离的测量精度，而提高远距离的测量精度，从而使得结构光深度相机的深度测量精度的非线性特征得到改善，改善了近距离的测量精度过剩、远距离的测量精度太低的问题。

请参阅图8，本发明另一实施例提供的结构光深度相机参数设计系统，所述系统包括：

第一确定模块，用于根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；

第二确定模块，用于确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；

第三确定模块，用于根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系。

本实施例中，所述第一确定模块采用下式确定对焦平面与光轴的夹角：

其中，d₁和d₂分别表示所述结构光深度相机的工作范围的最小值和最大值，α表示对焦平面与光轴的夹角，β表示所述视场角。

本实施例中，第二确定模块用于采用下式确定结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系：

其中，成像平面、光心平面、对焦平面相交于第一直线，过光心且平行于成像平面的平面P、焦平面、对焦平面相交于第二直线，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角。

本实施例中，所述第二确定模块在选取透镜焦距时，需满足以下条件式：

本实施例中，所述第三确定模块用于采用下式确定光圈大小与像素尺寸之间的关系：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα。

根据本实施例提供的结构光深度相机参数设计系统，利用scheimflug(简称沙姆)原理，将图像传感器与镜头呈一定的倾角安装，且光学参数符合沙姆定律，可以降低近距离的测量精度，而提高远距离的测量精度，从而使得结构光深度相机的深度测量精度的非线性特征得到改善，改善了近距离的测量精度过剩、远距离的测量精度太低的问题。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种结构光深度相机参数设计方法，其特征在于，所述方法包括：

根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；

确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；

根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系；

确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系的步骤中，所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系满足以下条件式：

其中，成像平面、光心平面、对焦平面相交于第一直线，过光心且平行于成像平面的平面P、焦平面、对焦平面相交于第二直线，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角，d₁和d₂分别表示所述结构光深度相机的工作范围的最小值和最大值，α表示对焦平面与光轴的夹角，β表示所述视场角。

2.根据权利要求1所述的结构光深度相机参数设计方法，其特征在于，根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角的步骤中，采用下式确定对焦平面与光轴的夹角：

3.根据权利要求1所述的结构光深度相机参数设计方法，其特征在于，确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系的步骤中，在选取透镜焦距时，需满足以下条件式：

4.根据权利要求3所述的结构光深度相机参数设计方法，其特征在于，根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系的步骤中，采用下式确定光圈大小与像素尺寸之间的关系：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα。

5.一种结构光深度相机参数设计系统，其特征在于，所述系统包括：

第一确定模块，用于根据结构光深度相机的工作范围和视场角确定对焦平面与光轴的夹角；

第二确定模块，用于确定所述结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系，所述结构光深度相机中的图像传感器与镜头呈所述倾角进行安装，且安装后的光学参数符合沙姆定律；

第三确定模块，用于根据该工作范围确定所述结构光深度相机的景深，从而确定所述结构光深度相机的光圈大小与像素尺寸之间的关系；

第二确定模块用于采用下式确定结构光深度相机的安装位置，以及倾角和透镜焦距之间的关系：

其中，成像平面、光心平面、对焦平面相交于第一直线，过光心且平行于成像平面的平面P、焦平面、对焦平面相交于第二直线，l表示光心到第一直线的距离，v表示图像传感器到光心的安装距离，f表示透镜焦距，θ表示图像传感器与镜头之间的倾角，d₁和d₂分别表示所述结构光深度相机的工作范围的最小值和最大值，α表示对焦平面与光轴的夹角，β表示所述视场角。

6.根据权利要求5所述的结构光深度相机参数设计系统，其特征在于，所述第一确定模块采用下式确定对焦平面与光轴的夹角：

7.根据权利要求5所述的结构光深度相机参数设计系统，其特征在于，所述第二确定模块在选取透镜焦距时，需满足以下条件式：

8.根据权利要求7所述的结构光深度相机参数设计系统，其特征在于，所述第三确定模块用于采用下式确定光圈大小与像素尺寸之间的关系：

其中，F表示光圈大小，p表示像素尺寸，d_A表示光心到成像平面距离，d_D表示光心到对焦平面的距离，且d_A＝l*sinθ，d_D＝l*cosα。

Images