CN117608158A - 一种3d拍摄器及应用 - Google Patents

Abstract

本发明公开了一种3D拍摄器及应用，包括用于捕捉外界环境光线的拍摄镜组、成像单元以及用于对成像单元形成的实像画面进行分析处理的处理器，成像单元包括多个像素之间形成共轭像素组的感光芯片，且任意感光芯片的像素参与共轭成组的比例≥60％，外界环境不同距离上的像面光线经过拍摄镜组的光学转化后，在感光芯片上形成不同亮度的画面，处理器再对记录的画面进行分析处理，实现对外界环境的测距。

Description

一种3D拍摄器及应用

技术领域

本发明涉及光学测距技术领域，具体涉及一种3D拍摄器及应用。

背景技术

随着AI技术的飞速发展，很多应用场景下需要精准的3D感知能力，目前技术上有多种3D感知方案：

1)激光雷达是其中的一种，但是成本昂贵，分辨率低的问题；

2)基于图像的视觉识别方式也可以获得不错的3D环境信息，但是前期需要大量的学习，面对陌生场景识别精度无法保证，甚至有可能失效，造成重大事故；

3)双目测距方式通过几何光学原理也可以直接获取环境的3D信息，但是计算过程需要精准的像素匹配，如果图片纹理特征不明显就无法有效进行像素匹配，导致无法完成测距计算。

因此，上述的每一种方式均存在一些难以克服的不足，本发明针对这些问题，提出了一种全新的技术方案。

发明内容

为解决上述技术问题，本发明提出一种3D拍摄器，包括：

用于捕捉外界环境光线的拍摄镜组；

成像单元，所述成像单元包括多个像素之间形成共轭像素组的感光芯片，且任意感光芯片的像素参与共轭成组的比例≥60％；以及

用于对所述成像单元形成的实像画面进行分析处理的处理器；

外界环境不同距离上的像面光线经过拍摄镜组的光学转化后，在感光芯片上形成不同亮度的画面，处理器再对记录的画面进行分析处理，实现对外界环境的测距。

进一步地，所述成像单元还包括与多个感光芯片的位置关系满足光学成像原理、用于将不同景深的像面光学转化为实像画面的光路整合镜组，所述光路整合镜组为多个子棱镜拼接形成的立方体棱镜，单个所述感光芯片分别与立方体棱镜的一个侧面相对应，通过立方体棱镜将多个感光芯片集成融合在一起。

进一步地，单个所述感光芯片为彩色感光芯片、单色感光芯片、红外感光芯片和黑白感光芯片中的任意一种。

进一步地，所述3D拍摄器的工作模式为视觉测距模式、光学测距模式或前两者的混合模式。

进一步地，光学测距模式下，所述处理器对实像画面进行分析处理的方式为光学原理测距。

进一步地，视觉测距模式下，所述处理器对实像画面进行分析处理的方式为机器学习方法测距。

进一步地，光学测距和视觉测距的混合模式下，所述处理器对实像画面进行分析处理的方式为以机器学习方法进行测距，以光学测距进行辅助校验。

进一步地，所述3D拍摄器的像素可调，处理器在对成像单元形成的实像画面进行分析处理过程中，通过像素融合实现像素调节，1＜融合比例<100。

本发明还提供上述3D拍摄器的应用，将上述3D拍摄器应用于移动设备上，工作在混合模式下，光学测距模式的分辨率和扫面频率根据光学测距结果与视觉识别结果校验误差的大小进行调节。

进一步地，工作在混合模式下，处理器根据光学测距结果与视觉识别结果校验误差的大小向移动设备发送控制信号，控制移动设备进行速度调节。

与现有技术相比，本发明的优点在于：

1、激光雷达昂贵，还需要光源校准，会有温漂等问题，工作能耗较高，实际应用中还存在干扰问题，而本发明采用被动成像的工作模式，环境光不会造成干扰，本发明的元器件均可采用成熟得现有元器件，商业化成本也较低；

2、本发明具有像素融合模式，针对不同场景可以切换像素数量，更加灵活多变。

3、本发明以光学成像的方式实现高精度3D成像，可以同时在光学测距、视觉识别以及混合模式下工作，应用方式更加灵活，实用性强。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的结构示意图，

图2为立方体棱镜作为光路整合镜组22的本发明结构示意图，

图3为立方体棱镜作为光路整合镜组22与5个感光芯片21融合的成像单元2的结构示意图，

图4为三个感光芯片21的等效像面与入射光相交的示意图，

附图标记如下：

拍摄镜组1，成像单元2，感光芯片21，光路整合镜组22。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面结合附图对本发明进行详细描述，本部分的描述仅是示范性和解释性，不应对本发明的保护范围有任何的限制作用。

参照图1至图4，本发明提供一种3D拍摄器，用于对外界的3D环境进行测距，包括拍摄镜组1、成像单元2以及处理器，其中：

拍摄镜组1用于捕捉外界环境的光线，环境景物不同景深的像面光线经过拍摄镜组1的光学转换，传递给成像单元2，拍摄镜组1可以是单个光学镜片，也可以是多个光学镜片的组合；

成像单元2包括多个像素之间形成共轭像素组的感光芯片21，当一束光射入后，分别与多个感光芯片21的等效像面(参见公告号CN111190325A的发明专利)相交，入射光与多个等效像面交点的多个像素组成一个共轭像素组，如图4所示，以含有三个感光芯片21为例；

且任意感光芯片21的像素参与共轭成组的比例≥60％，具体的，多个感光芯片21分别设置在距离镜组后焦距不同的位置处，这样，外界的物光进入后，在三个感光芯片21上照亮的面积大小是不同的，此时，如果感光芯片21的面积一样，就会有一部分的像素无法成组，如果无法成组的像素占比太大，就会使得实际能进行3D成像的空间受限，造成硬件资源的浪费；

反之，通过预留一部分的非成组像素可以在3D成像之外利用这些像素扩大视野，获取更多的环境信息，这些像素可以利用计算精度不高的视觉识别方式提供额外的3D信息，从而实现精度和资源的综合效益最大化。

为了使多个感光芯片21相互之间没有遮挡，光线能够顺利传递，感光芯片21均具有一定的透光率，优选50％的透光率；

更为优选的是，为了避免遮挡，还可以引入一个光路整合镜组22来对光路进行光学转化，该光路整合镜组22与多个感光芯片21的位置关系需满足光学成像原理，能够将不同景深的像面光学转化为实像画面，具体的，如图3，光路整合镜组22为多个子棱镜拼接形成的立方体棱镜，单个感光芯片21分别与立方体棱镜的一个侧面相对应，通过立方体棱镜将多个感光芯片21集成融合在一起：

光路整合镜组22还可以采用其他的结构形式，比如可以采用一排半透半反射镜组，光路整合镜组22的技术方案在公告号CN111190325A的发明专利中有详细介绍，本发明不做赘述；

本发明的感光芯片21可采用彩色感光芯片、单色感光芯片、红外感光芯片和黑白感光芯片中的任意一种，上述各类感光芯片均属于成熟的现有技术，根据感光芯片21的不同，成像单元2在设置时，可以多个感光芯片可选用同一种类型的感光芯片，也可以采用上述类型中的任意组合；

处理器用于对成像单元2形成的实像画面进行记录并进行分析处理，外界环境不同距离上的像面光线经过拍摄镜组1的光学转化后，在感光芯片21上形成不同亮度的画面，处理器再对记录的画面进行分析处理，实现对外界环境的测距，参考图4。

本发明的3D拍摄器的工作模式为光学测距模式、视觉测距模式或前两者的混合模式，其中：

参考图4，以O点为原点，三个像面分别位于X1，X2，X3的位置，当某个物点的光被镜组接收后，会被汇聚成一个光锥与三个像面分别在X1，X2，X3位置下相交，且不同位置处照射形成的光斑面积不同，光在传播过程中衰减极小，可以忽略，则光斑的大小与光强之间成反比。因此，光锥中心线与像面的交点处像素采集到的光强值p1、p2、p3也与光斑大小成反比，根据几何关系可以得到如下关系式：

(X-X2)/p2＝(p2-p1)/(x2-x1)；

X＝p2*(p2-p1)/(x2-x1)/x2；

其中X为光锥顶点的x坐标值，有了X值之后，就可以利用镜组的参数反向求解物点的距离；

进一步，为了保证计算结果可靠，还可以利用如下校验式进行校验：

校验式：(X-X3)/p3＝(p2+p3)/(x3-x2)；

实际应用中能够保证以上两个式子同时成立(或者误差最小的)X就是准确的光锥顶点位置，就可以利用镜组的参数反向求解物点的距离；

视觉测距模式下，处理器对实像画面进行分析处理的方式为机器学习方法，属于成熟的现有技术，具体的，可以通过实际测量方式获取一个数据集，数据集中包含大量已知距离的物点和其对应的双目/多目图像，通过神经网络模型或者其他机器学习算法，进行训练得到一个机器学习算法，形成机器学习的数据模型，通过数据模型进行测距，来感知环境的3D信息，如特斯拉的摄像头自动驾驶技术就是利用了视觉识别的原理；

混合模式下，处理器对实像画面进行分析处理的方式为以机器学习方法进行测距，以光学测距进行辅助校验，具体的，通过数据模型进行测距，通过几何光学原理的方式进行距离计算，再相互校验，如果存在误差，可以把光学测距的数据作为学习数据，输入给视觉识别模型，帮助视觉识别模型学习优化，混合模式下，可以利用成熟的视觉识别算法，大大提供测量速度，同时由于可以灵活引入少量局部位置的光学测距点作为校验，可以在非常少的额外硬件负担下大大提高视觉识别的可靠性。

本发明的3D拍摄器像素可调，处理器在对记录的实像画面进行分析处理过程中，通过像素融合实现像素调节，1＜融合比例<100，具体的，处理器可以把临近的多个像素点作为一个像素点进行处理，具体的，实际应用场景下，有些场合3D成像的分辨率要求极高，有些场合下对分辨率要求不高，但是对计算速度要求极高，通过像素融合的模式可以实现在分辨率要求不高的场景下把多个像素整体作为一个像素处理(类似于手机摄像头的数字变焦操作)，从而大大节省硬件计算资源，在分辨率要求高的场景下(如高速驾驶)，采用非融合的方式或者较少数量的像素融合，从而保证分辨率要求，这样就可以实现分辨率的自适应调节，对应用工况的适应性更加强，当然融合比也不是越高越好，融合比太高，则分辨率降低太大，经过理论分析表明融合比介于1—100之间时，对于实际工况适应性较好。

本发明还提供上述3D拍摄器的应用，将上述3D拍摄器应用于移动设备上，工作在混合模式下，光学测距模式的分辨率和扫面频率根据光学测距结果与视觉识别结果校验误差的大小进行调节；

还可以对移动设备进行速度调节，处理器根据光学测距结果与视觉识别结果校验误差的大小向移动设备发送控制信号。

混合模式下，正常情况下以视觉识别模式为主，光学测距模式为辅，这样可以最大化节省计算硬件资源，当实际工作过程中发现两者误差较大时，说明视觉识别模式遇到了困难，无法精准进行距离识别，此时，为了保证高的可靠性，可以增加光学测距的校验点密度、测量频率来避免视觉识别带来的误差；

也可以向移动设备发送速度控制请求，降低行驶速度，行驶速度降低后同样可以提高测量的精度，也可以降低因为测量不准确造成的事故后果严重性；

极端情况下，视觉识别模式误差较大时可以转化为光学测距为主，视觉识别为辅，或者放弃视觉识别，而只用光学测距模式。

本发明涉及的软件控制部分均可自行研发，不做限定。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种3D拍摄器，其特征在于，包括：

用于捕捉外界环境光线的拍摄镜组(1)；

成像单元(2)，所述成像单元(2)包括多个像素之间形成共轭像素组的感光芯片(21)，且任意感光芯片(21)的像素参与共轭成组的比例≥60％；以及

用于对所述成像单元(2)形成的实像画面进行分析处理的处理器；

外界环境不同距离上的像面光线经过拍摄镜组(1)的光学转化后，在感光芯片(21)上形成不同亮度的画面，处理器再对记录的画面进行分析处理，实现对外界环境的测距。

2.根据权利要求1所述的一种3D拍摄器，其特征在于，所述成像单元(2)还包括与多个感光芯片(21)的位置关系满足光学成像原理、用于将不同景深的像面光学转化为实像画面的光路整合镜组(22)，所述光路整合镜组(22)为多个子棱镜拼接形成的立方体棱镜，单个所述感光芯片(21)分别与立方体棱镜的一个侧面相对应，通过立方体棱镜将多个感光芯片(21)集成融合在一起。

3.根据权利要求1所述的一种3D拍摄器，其特征在于，单个所述感光芯片(21)为彩色感光芯片、单色感光芯片、红外感光芯片和黑白感光芯片中的任意一种。

4.根据权利要求1所述的一种3D拍摄器，其特征在于，所述3D拍摄器的工作模式为视觉测距模式、光学测距模式或前两者的混合模式。

5.根据权利要求4所述的一种3D拍摄器，其特征在于，光学测距模式下，所述处理器对实像画面进行分析处理的方式为光学原理测距。

6.根据权利要求4所述的一种3D拍摄器，其特征在于，视觉测距模式下，所述处理器对实像画面进行分析处理的方式为机器学习方法测距。

7.根据权利要求4所述的一种3D拍摄器，其特征在于，光学测距和视觉测距的混合模式下，所述处理器对实像画面进行分析处理的方式为以机器学习方法进行测距，以光学测距进行辅助校验。

8.根据权利要求1所述的一种3D拍摄器，其特征在于，所述3D拍摄器的像素可调，处理器在对成像单元(2)形成的实像画面进行分析处理过程中，通过像素融合实现像素调节，1＜融合比例<100。

9.根据权利要求1至8任意一项所述的一种3D拍摄器应用于移动设备上，其特征在于：工作在混合模式下，光学测距模式的分辨率和扫面频率根据光学测距结果与视觉识别结果校验误差的大小进行调节。

10.根据权利要求1至8任意一项所述的一种3D拍摄器应用于移动设备上，其特征在于：工作在混合模式下，处理器根据光学测距结果与视觉识别结果校验误差的大小向移动设备发送控制信号，控制移动设备进行速度调节。