CN111866387A - 深度图像成像系统和方法 - Google Patents

Abstract

本说明书提供的深度图像成像系统和方法，利用薄膜变焦透镜成像，通过对薄膜变焦透镜的电介质弹性体施加电压，改变薄膜变焦透镜的焦距，使经过薄膜变焦透镜的出射光分别在图像传感器上聚焦和散焦，得到聚焦图像和散焦图像；对每一个被拍摄场景至少施加两种不同的电压，获取场景的聚焦图像和散焦图像，并根据聚焦图像和散焦图像中的聚焦度和散焦度，计算场景的深度，得到深度图像。所述深度图像成像系统和方法，使用薄膜变焦透镜的单摄像头实现深度测量，无需红外发射器或激光发射器测距，可以实现RGB图像和深度图像的同时输出。并且所述深度图像成像系统和方法中，深度测量精度高，硬件结构简单，工艺复杂度低，算力消耗小，适用于多场景使用。

Description

深度图像成像系统和方法

技术领域

本说明书涉及图像采集技术领域，尤其涉及一种深度图像成像系统和方法。

背景技术

近年来，随着科技的不断发展，计算机视觉的应用场景越来越广泛，同时，深度摄像头技术受到了业界越来越多的关注。深度摄像头可以对被拍摄场景中的物体与摄像头之间的距离进行测量。通过获取被拍摄场景中的物体与摄像头之间的距离给人机交互技术带来了很大的发展空间，配合上摄像头获取的被拍摄场景中的二维图像，人们可以轻易获得一个周围场景的三维信息。因而该类产品开始获得广泛应用到工业自动化、计算机图形学、虚拟现实、机器人同自然人交互、医疗外科及计算机视觉等多个领域。

当前具备的深度视觉成像方案，例如深度结构光方案，双目立体视觉方案，飞行时间TOF方案，均需要2颗及以上的摄像头，通过2颗摄像头的视差计算图像的深度。现有技术还有一种深度视觉成像方案采用主动发光式。即使用红外光发射器或激光发射器向场景中照射红外线或激光，并捕捉场景反射回来的红外线或激光，计算场景深度。然而现有技术中的深度摄像头不仅设备成本和耗电量高，而且电路结构变复杂，拍摄图像深度精度差，图像分辨率低，工艺复杂，因而进一步的应用受到限制。

因此需要提供一种结构简单、精度更高的深度图像成像系统和方法。

发明内容

本说明书提供一种结构简单、精度更高的深度图像成像系统和方法。

第一方面，本说明书提供一种深度图像成像系统，包括支撑部件、薄膜变焦透镜、图像传感器以及控制装置，所述薄膜变焦透镜连接在所述支撑部件上，包括入光侧和出光侧；所述图像传感器连接在所述支撑部件上，并与所述出光侧相对以接收所述出光侧射出的出射光，获取被拍摄场景的图像；所述控制装置与所述薄膜变焦透镜和所述图像传感器电连接，运行时控制所述薄膜变焦透镜的焦距，获取所述出射光在所述图像传感器上的聚焦图像和散焦图像，并根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。

在一些实施例中，所述薄膜变焦透镜将射入的光线进行分光，所述出射光包括至少一个波段的光。

在一些实施例中，所述薄膜变焦透镜包括透镜基底以及多个柱状微透镜，其中，所述透镜基底包括入射面和出射面，所述入射面面向所述入光侧，所述出射面面向所述出光侧；所述多个柱状微透镜形成在所述透镜基底的所述入射面，并以预定的方式和距离排列，以便所述出射光在所述薄膜变焦透镜的焦点汇聚，其中，不同波段的光的焦点不同，其中，当所述透镜基底发生形变时，所述多个柱状微透镜发生位移，通过控制所述透镜基底的形变，控制所述多个柱状微透镜的位移变化，使所述薄膜变焦透镜的所述焦点在预定范围内移动。

在一些实施例中，所述薄膜变焦透镜还包括电介质弹性体，位于所述透镜基底的所述出射面，当所述电介质弹性体受到电压驱动时，所述电介质弹性体变形带动所述透镜基底形变，通过控制所述电压的大小，控制所述透镜基底的形变，使所述薄膜变焦透镜的所述焦点在所述预定范围内移动。

在一些实施例中，所述控制装置包括驱动电路，同所述电介质弹性体电连接，提供所述电压。

在一些实施例中，所述图像传感器包括感光面，所述感光面距离所述出射面的距离在所述预定范围内。

在一些实施例中，当所述电介质弹性体受到第一电压的驱动时，所述薄膜变焦透镜使第一波段的光在所述感光面上聚焦，所述图像传感器获取第一图像，所述第一图像包括所述第一波段的光在所述感光面上的聚焦图像，其中，所述第一波段的光包括红光、绿光以及蓝光中的至少一种。

在一些实施例中，当所述电介质弹性体受到第二电压的驱动时，所述薄膜变焦透镜使所述第一波段的光在所述感光面上散焦，所述图像传感器获取第二图像，所述第二图像包括所述第一波段的光在所述感光面上的散焦图像。

在一些实施例中，所述确定所述场景的深度图像，包括：将所述第一图像和所述第二图像分别分解为R通道、G通道和B通道；获取所述R通道、所述G通道和所述B通道中的至少一个通道的聚焦图像和散焦图像；基于所述至少一个通道的聚焦图像和散焦图像，确定所述场景的深度信息；以及基于所述深度信息、所述第一图像和所述第二图像，生成所述深度图像。

在一些实施例中，所述图像传感器包括感光元件，包括感光单元阵列，每个感光单元对应一个像素。

在一些实施例中，所述图像传感器还包括彩色滤光片，位于所述感光元件上靠近所述薄膜变焦透镜的一侧，所述彩色滤光片包括多个滤光区，以预定方式排成阵列，每个滤光区对应一个像素，其中，所述多个滤光区包括多个红色滤光区、多个绿色滤光区和多个蓝色滤光区。

在一些实施例中，所述多个滤光区还包括多个IR滤光区。

第二方面，本说明书提供一种深度图像成像的方法，用于本说明第一方面所述的深度图像成像系统，所述方法包括通过所述控制装置：控制所述薄膜变焦透镜的焦距，获取所述出射光在所述图像传感器上的聚焦图像和散焦图像；以及根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。

在一些实施例中，所述获取所述出射光在所述图像传感器上的聚焦图像和散焦图像，包括：向所述电介质弹性体施加第一电压，获取所述图像传感器的第一图像，其中，所述第一图像中第一波段的光在所述图像传感器上聚焦，所述第一图像包括所述第一波段的光在所述图像传感器上的聚焦图像；以及向所述电介质弹性体施加第二电压，获取所述图像传感器的第二图像，其中，所述第二图像中的所述第一波段的光在所述图像传感器上散焦，所述第二图像包括所述第一波段的光在所述图像传感器上的散焦图像，其中，所述第一波段的光包括红光、绿光以及蓝光中的至少一种。

在一些实施例中，所述确定所述场景的深度图像，包括：将所述第一图像和所述第二图像分别分解为R通道、G通道和B通道；获取所述R通道、所述G通道和所述B通道中的至少一个通道的聚焦图像和散焦图像；基于所述至少一个通道的聚焦图像和散焦图像，确定所述场景的深度信息；以及基于所述深度信息、所述第一图像和所述第二图像，生成所述深度图像。

由以上技术方案可知，本说明书提供的深度图像成像系统和方法，利用薄膜变焦透镜进行成像，通过对薄膜变焦透镜的电介质弹性体施加电压，改变薄膜变焦透镜的焦距，使经过薄膜变焦透镜的出射光分别在图像传感器上聚焦和散焦，得到出射光的聚焦图像和散焦图像；对每一个被拍摄场景至少施加两种不同的电压，获取被拍摄场景的聚焦图像和散焦图像，并根据聚焦图像和散焦图像中的聚焦度和散焦度，计算被拍摄场景的图像深度，得到深度图像。所述深度图像成像系统和方法，使用薄膜变焦透镜的单摄像头实现深度测量，并且无需红外发射器或激光发射器进行测距，通过一颗摄像头，可以实现RGB图像和深度图像的同时输出。并且所述深度图像成像系统和方法中，深度测量精度高，硬件结构简单，工艺复杂度低，算力消耗小，适用于多场景使用。

本说明书提供的深度图像成像系统和方法的其他功能将在以下说明中部分列出。根据描述，以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的深度图像成像系统和方法的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。

附图说明

为了更清楚地说明本说明书实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A示出了根据本说明书的实施例提供的一种深度图像成像系统的结构示意图；

图1B示出了根据本说明书的实施例提供的一种深度图像成像系统的硬件结构示意图；

图2示出了根据本说明书的实施例提供的一种多个柱状微透镜的结构示意图；

图3示出了根据本说明书的实施例提供的一种彩色滤光片的示意图；

图4A示出了根据本说明书的实施例提供的一种第一波段的光在感光面聚焦的示意图；

图4B示出了根据本说明书的实施例提供的一种第二波段的光在感光面聚焦的示意图；

图4C示出了根据本说明书的实施例提供的一种第三波段的光在感光面聚焦的示意图；以及

图5示出了根据本说明书的实施例提供的一种深度图像成像的方法流程图。

具体实施方式

以下描述提供了本说明书的特定应用场景和要求，目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说，对所公开的实施例的各种局部修改是显而易见的，并且在不脱离本说明书的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用。因此，本说明书不限于所示的实施例，而是与权利要求一致的最宽范围。

这里使用的术语仅用于描述特定示例实施例的目的，而不是限制性的。比如，除非上下文另有明确说明，这里所使用的，单数形式“一”，“一个”和“该”也可以包括复数形式。当在本说明书中使用时，术语“包括”、“包含”和/或“含有”意思是指所关联的整数，步骤、操作、元素和/或组件存在，但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。

考虑到以下描述，本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图，所有这些形成本说明书的一部分。然而，应该清楚地理解，附图仅用于说明和描述的目的，并不旨在限制本说明书的范围。还应理解，附图未按比例绘制。

本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。

本说明书提供的深度图像成像系统和方法，可以用于测量被拍摄场景中的物体相对于视觉传感器的距离，从而得到被拍摄场景的三维图像。所述三维图像中可以包括被拍摄场景中的物体在场景中的位置，以及被拍摄场景中的相对于视觉传感器的距离。本说明书提供的深度图像成像系统和方法，可以通过薄膜变焦透镜改变焦距，使经过所述薄膜变焦透镜的出射光分别在图像传感器上聚焦和散焦，得到聚焦图像和散焦图像；根据聚焦度和散焦度计算图像深度。

图1A示出了根据本说明书的实施例提供的一种深度图像成像系统001的结构示意图。图1B示出了根据本说明书的实施例提供的一种深度图像成像系统001的硬件结构示意图。如图1A和图1B所示，深度图像成像系统001可以包括支撑部件100、薄膜变焦透镜200、图像传感器400以及控制装置600。

如图1A所示，支撑部件100可以用于支撑和固定薄膜变焦透镜200以及图像传感器400。在一些实施例中，支撑部件100也可以用于支撑和固定控制装置600。

如图1A所示，薄膜变焦透镜200可以连接在支撑部件100上。薄膜变焦透镜200可以是Metalens是自适应变焦镜头，也叫超透镜，通过掺杂不同的纳米材料，可实现无色差、低畸变、高精度的可控变焦。薄膜变焦透镜200可以包括入光侧210和出光侧220。光线从入光侧210射入，并从出光侧220射出。薄膜变焦透镜200用于对从薄膜变焦透镜200的入光侧210射入的所述光线进行折射，使得从出光侧220射出的光线射向图像传感器400，并在薄膜变焦透镜200的焦点230汇聚。可见光中包含多种不同波长的光，比如，可见光中可以包括红光(波长在770～622nm之间)、橙光(波长在622～597nm之间)、黄光(波长在597～577nm之间)、绿光(波长在577～492nm之间)、蓝光(波长在492～455nm之间)和紫光(波长在455～350nm之间)。薄膜变焦透镜200可以将所有波长的光汇聚在同一个焦点230。薄膜变焦透镜200也可以对射入薄膜变焦透镜200的光线进行分光，将从出光侧220射出的出射光分为多个不同波段的光。不同波段的光在经过薄膜变焦透镜200时的速度不同，因此，不同波段的光经薄膜变焦透镜200折射后汇聚在不同的焦点。比如，薄膜变焦透镜200可以将所述出射光分为2种不同波段的光，比如波长在770～622nm之间的光为第一波段的光，波长在622～350nm之间的光为第二波段的光。薄膜变焦透镜200也可以将所述出射光分为2种以上的不同波段的光。所述多个不同波段的光的划分可以在可见光的波长范围内任意划分。

如图1A所示，薄膜变焦透镜200可以包括透镜基底240和多个柱状微透镜250。在一些实施例中，薄膜变焦透镜200还可以包括电介质弹性体260。

透镜基底240可以由透明的薄膜状材料制成。透镜基底240可以是多个柱状微透镜250的载体。透镜基底240可以在外力刺激下发生形变，从而改变多个柱状微透镜250的排列规则。透镜基底240可以包括入射面241和出射面242，入射面241面向入光侧210，出射面242面向出光侧220。

多个柱状微透镜250，形成在透镜基底240的入射面241上，并以预定的方式和距离排列，以便所述光线从所述入光侧经过多个柱状微透镜250射入，所述出射光从出光侧射出，并在薄膜变焦透镜200的焦点230汇聚。如前所述，薄膜变焦透镜200可以对射入薄膜变焦透镜200的光线进行分光，将从出光侧220射出的出射光分为多个不同波段的光。不同波段的光经薄膜变焦透镜200折射后汇聚在不同的焦点。如图1A所示，薄膜变焦透镜200将所述光线分为三个不同波段的光，实现所示的出射光的焦点为231，虚线所示的出射光的焦点为232，双点划线所示的出射光的焦点为233。

图2示出了根据本说明书的实施例提供的一种多个柱状微透镜250的结构示意图。如图2所示，多个柱状微透镜250的形状可以是长方体、正方体、圆柱体、棱柱体，甚至其他不规则形状等，多个柱状微透镜250可以是多种不同形状的组合。多个柱状微透镜250可以是纳米级的二氧化钛制成，其尺寸可以是几纳米至几百纳米之间。多个柱状微透镜250彼此的尺寸可以相同，也可以不同。多个柱状微透镜250可以在入射面241上阵列布置。

如前所述，多个柱状微透镜250按照预定的方式和距离分布在透镜基底240上。透镜基底240为透明薄膜材质，在外力刺激下可产生形变。当透镜基底240发生形变时，多个柱状微透镜250会随着透镜基底240的形变发生位移，使得多个柱状微透镜250之间的相对距离发生变化，从而使得薄膜变焦透镜200的焦距发生变化，焦点230的位置也发生变化，实现变焦功能。通过控制透镜基底240的形变，可以控制多个柱状微透镜250的位移变化以及多个柱状微透镜250之间的相对距离，从而实现对薄膜变焦透镜200的焦距的控制，使所述薄膜变焦透镜200的焦点230在预定范围内移动。

如图1A和图1B所示，薄膜变焦透镜200还可以包括电介质弹性体260。电介质弹性体260可以位于透镜基底240的出射面242上。电介质弹性体260可以是透明的可导电的弹性体。当电介质弹性体260受到电压驱动时，电介质弹性体260会在所述电压的刺激下发生变形。所述电压的大小不同，电介质弹性体260的变形也不同。电介质弹性体260的变形可以带动透镜基底240形变，使得多个柱状微透镜250发生位移，多个柱状微透镜250之间的相对距离发生变化，从而使得薄膜变焦透镜200的焦距发生变化，焦点230的位置也发生变化，实现变焦功能。深度图像成像系统001可以通过控制所述电压的大小，来控制电介质弹性体260的变形，从而控制透镜基底240的形变和多个柱状微透镜250之间的相对距离，使薄膜变焦透镜200的焦点230在所述预定范围内移动。

如图1A和图1B所示，深度图像成像系统001还可以包括图像传感器400。图像传感器400可以用于将拍摄的光学图像转换为图像信号，利用光电器件的光电转换功能将图像传感器400上的光学图像转换为与光学图像成相应比例关系的电信号。图像传感器400可以接收从薄膜变焦透镜400中射出的光线，从而获取所述被拍摄场景的图像信号。图像传感器400可以连接在支撑部件100上，并与出光侧220相对以接收从出光侧220射出的光线，获取被拍摄场景的图像。如图1A和图1B所示，图像传感器400可以包括感光元件420。图像传感器400还可以包括彩色滤光片440。

感光元件420是一种将光学图像转换成电子信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。感光元件420可以是CCD传感器，也可以是CMOS传感器，还可以是CIS传感器。感光元件420可以包括感光面422。感光面422与出射面242的距离可以位于薄膜变焦透镜200的焦点230的所述预定范围内。感光面422可以是成像面。薄膜变焦透镜200可以使所述出射光在感光面422上聚焦，生成图像信号。感光面422可以包括多个子感光面。所述多个子感光面按照预定方式排列形成子感光面阵列。所述多个子感光面的尺寸相等。其中，所述多个子感光面中的每个子感光面对应一个像素。

如图1A所示，彩色滤光片440位于感光元件420上靠近薄膜变焦透镜200的一侧。即彩色滤光片440位于感光元件420与薄膜变焦透镜200之间。彩色滤光片440是一种表现颜色的光学滤光片，它可以精确选择欲通过的小范围波段光波，而反射掉其他不希望通过的波段。彩色滤光片440可以包括红外滤光片，绿色滤光片，蓝色滤光片，等等。

图3示出了根据本说明书的实施例提供的一种彩色滤光片440的示意图。如图3所示，彩色滤光片440可以包括多个滤光区442。多个滤光区442以预定方式排成阵列，每个滤光区442对应一个像素。其中，多个滤光区442可以包括多个红色滤光区R、多个绿色滤光区G和多个蓝色滤光区B。在一些实施例中，多个滤光区442还可以包括多个IR滤光区。多个滤光区442可以按照不同的方式排列形成不同的颜色滤波阵列(Color Filter Array，简称CFA)，比如拜尔阵列、RGB-IR阵列、RGB-W阵列、RGB-Y阵列，等等。所述CFA阵列是一种颜色滤波的综合体，它可以去除光谱中的一些成分，使每个像素只保留一个颜色成分。图3示出了一种拜尔阵列。

综上所述，光线经薄膜变焦透镜200的入光侧210射入薄膜变焦透镜200，经薄膜变焦透镜200折射后经出光侧220射出；出射光线经彩色滤光片440过滤后，在感光元件420的感光面422聚焦，生成图像信号。薄膜变焦透镜200可以通过控制所述电压的大小实现焦距的改变，其结构简单、响应快、精度高，可以有效降低深度图像成像系统001的制作成本，并提高精度。

如图1A和图1B所示，深度图像成像系统001还可以包括控制装置600。控制装置600可以与薄膜变焦透镜200和图像传感器400电连接。为了获取所述被拍摄场景下的物体的深度信息，深度图像成像系统001需要获取所述出射光在不同焦距下的图像。具体地，深度图像成像系统001需要获取所述出射光在图像传感器400的感光面422上的聚焦图像和散焦图像。根据聚焦图像中的聚焦度以及散焦图像中的散焦度计算物体的深度信息。控制装置600运行时可以控制薄膜变焦透镜200的焦距，获取所述出射光在图像传感器400上的聚焦图像和散焦图像，并根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。

控制装置600可以存储有执行本说明书描述的深度图像成像的方法的数据或指令，并可以执行或用于执行所述数据和/或指令。控制装置600可以执行本说明书描述的深度图像成像的方法。所述深度图像成像的方法在本说明书中的其他部分介绍。比如，在图5和图5描述中介绍了所述深度图像成像的方法P100。如图1B所示，控制装置600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中，控制装置600还可以包括通信端口650。在一些实施例中，控制装置600还可以包括驱动电路660。

存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质，也可以是暂时性存储介质。比如，所述数据存储装置可以包括磁盘、只读存储介质(ROM)或随机存取存储介质(RAM)中的一种或多种。存储介质630还包括存储在所述数据存储装置中的至少一个指令集。所述指令是计算机程序代码，所述计算机程序代码可以包括执行本说明书提供的深度图像成像的方法P100的程序、例程、对象、组件、数据结构、过程、模块等等。

通信端口650用于控制装置600同外界的数据通讯。比如，控制装置600可以通过通信端口650与外部存储设备或计算设备通过网络或蓝牙进行通讯，也可以通过通信端口650与外部存储设备或计算设备通过有线连接进行通讯。所述外部存储设备或计算设备可以是个人计算机、平板电脑、智能手机，也可以是移动存储设备，等等。

至少一个处理器620同至少一个存储介质630通过内部通信总线通讯连接。至少一个处理器620用以执行上述至少一个指令集。当系统001运行时，至少一个处理器620读取所述至少一个指令集，并且根据所述至少一个指令集的指示执行本说明书提供的深度图像成像的方法P100。处理器620可以执行深度图像成像的方法P100包含的所有步骤。处理器620可以是一个或多个处理器的形式，在一些实施例中，处理器620可以包括一个或多个硬件处理器，例如微控制器，微处理器，精简指令集计算机(RISC)，专用集成电路(ASIC)，特定于应用的指令集处理器(ASIP)，中央处理单元(CPU)，图形处理单元(GPU)，物理处理单元(PPU)，微控制器单元，数字信号处理器(DSP)，现场可编程门阵列(FPGA)，高级RISC机器(ARM)，可编程逻辑器件(PLD)，能够执行一个或多个功能的任何电路或处理器等，或其任何组合。仅仅为了说明问题，在本说明书中控制装置600中仅描述了一个处理器620。然而，应当注意，本说明书中控制装置600还可以包括多个处理器，因此，本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行，也可以由多个处理器联合执行。例如，如果在本说明书中控制装置600的处理器620执行步骤A和步骤B，则应该理解，步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如，第一处理器执行步骤A，第二处理器执行步骤B，或者第一和第二处理器共同执行步骤A和B)。

驱动电路660可以同电介质弹性体260电连接，为电介质弹性体260提供所述电压，驱动电介质弹性体260变形。控制装置600通过控制驱动电路660施加的电压，来控制薄膜变焦透镜200的焦距，使得所述出射光的焦点230的位置在所述预定范围内移动。如前所述，薄膜变焦透镜200可以不对所述出射光分光将所述出射光聚焦在同一个焦点，薄膜变焦透镜200也可以将所述出射光分为多个不同波段的光，每个波段的光的焦点的位置不同。控制装置600可以通过改变薄膜变焦透镜200的焦距，使得所述出射光分别在感光面422上聚焦和散焦，也可以使得分光后所述多个不同波段的光分别在感光面422上聚焦，得到所述多个焦距下的图像。为了计算所述被拍摄场景的深度，控制装置600需要获取所述出射光在图像传感器400上的聚焦图像和散焦图像。所述聚焦图像可以包括所述多个不同波段的光中的至少一个波段的光在图像传感器400上聚焦的图像，所述散焦图像可以包括所述至少一个波段的光在图像传感器400上散焦的图像。所述聚焦图像也可以包括未经分光的所述出射光在图像传感器400上聚焦的图像，所述散焦图像也可以包括未经分光的所述出射光在图像传感器400上散焦的图像，从中获取至少一个波段的光的聚焦图像和散焦图像。具体地，控制装置600可以根据所述至少一个波段的光的聚焦度和散焦度，确定所述场景的深度信息。

由于图像传感器400生成的彩色图像通常由R/G/B三通道组成。因此，为了获取所述场景的深度信息，可以基于R/G/B三通道中的任意一个或多个通道的聚焦图像和散焦图像，计算所述通道中每个像素的聚焦度和散焦度，根据所述聚焦度和散焦度计算每个像素的深度信息。因此，控制装置600可以控制驱动电路660对电介质弹性体260施加不同的电压，分别获取红光、绿光和蓝光中的至少一个波段的光在图像传感器400上的聚焦图像和散焦图像。因此，控制装置600至少要向驱动电路660施加两次不同的电压，以获取至少一幅聚焦图像和至少一幅散焦图像。控制装置600也可以向驱动电路660施加两次以上不同的电压，以获取至少三个不同波段的光在感光面422上的聚焦图像，或者未经分光的所述出射光在感光面422上的聚焦图像和至少两幅散焦图像。有时，图像传感器400生成的彩色图像还可以包括IR通道。本说明书中将以图像传感器400生成的彩色图像由R/G/B三通道组成为例进行描述。

薄膜变焦透镜200可以将所述出射光分光为2种波段的光，分别为第一波段的光和其他波段的光。所述第一波段的光可以包括红光、绿光以及蓝光中的至少一种。

当驱动电路660向电介质弹性体260施加第一电压时，电介质弹性体260产生第一形变。所述第一形变使得薄膜变焦透镜200可以将第一波段的光聚焦在感光面422上，其他波段的光在感光面422上散焦。图像传感器400在所述第一电压下获取的图像为第一图像。所述第一图像包括所述第一波段的光在感光面422上的聚焦图像以及所述其他波段的光在感光面422上的散焦图像。

当驱动电路660向电介质弹性体260施加第二电压时，电介质弹性体260产生第二形变。所述第二形变使得薄膜变焦透镜20可使所述第一波段的光在感光面422上散焦。其他波段的光在所述感光面422上聚焦或散焦。图像传感器400在所述第二电压下获取的图像为第二图像。所述第二图像可以包括所述第一波段的光在所述感光面上的散焦图像。控制装置600可以根据所述第一波段的光的聚焦图像和所述第一波段的光的散焦图像，获取R通道、G通道和B通道中至少一个通道的聚焦图像和散焦图像。控制装置600可以根据所述至少一个通道的深度信息，得到所述深度图像。当所述第一波段的光只包括红光时，控制装置600根据R通道的聚焦图像和散焦图像计算深度信息；当所述第一波段的光包括红光、绿光和蓝光种的至少两个时，控制装置600可以获取R通道、G通道和B通道中至少两个通道的聚焦图像和散焦图像，计算每个通道的深度信息，并对所述至少两个通道的深度信息进行特征融合计算，得到所述深度图像。

为了提高图像的清晰度，当驱动电路660向电介质弹性体260施加第二电压时，薄膜变焦透镜20可使所述其他波段的光在感光面422上聚焦。所述第二图像还可以包括所述其他波段的光在感光面422上的聚焦图像。此时，所述第一图像和所述第二图像得到了所有波段的光在感光面422上聚焦的图像，因此，由所述第一图像和所述第二图像合成的图像清晰度更高。

比如，所述第一波段的光可以是红光，所述第一图像可以包括所述红光在图像传感器400上的聚焦图像，以及除所述红光以外的其他波段的光(包括绿光和蓝光)在图像传感器400上的散焦图像；所述第二图像可以包括所述红光在图像传感器400上的散焦图像，以及除所述红光以外的其他波段的光(包括所述绿光和所述蓝光)在图像传感器400上的聚焦图像。控制装置600可以从所述第一图像和所述第二图像中获取R通道的聚焦图像和散焦图像，以及，G通道和B通道的聚焦图像和散焦图像。控制装置600可以分别计算每个通道的深度信息，并对三个通道的深度信息进行特征融合，得到所述深度图像。

再比如，所述第一波段的光可以是红光和绿光，所述第一图像可以包括所述红光和所述绿光在图像传感器400上的聚焦图像，以及除所述红光和所述绿光以外的其他波段的光(包括所述蓝光)在图像传感器400上的散焦图像；所述第二图像可以包括所述红光和所述绿光在图像传感器400上的散焦图像，以及除所述红光和所述绿光以外的其他波段的光(包括所述蓝光)在图像传感器400上的聚焦图像。控制装置600可以从所述第一图像和所述第二图像中获取R通道、G通道和B通道的聚焦图像和散焦图像。控制装置600可以分别计算每个通道的深度信息，并对三个通道的深度信息进行特征融合，得到所述深度图像。其中，所述第一电压和所述第二电压不相同。

需要说明的是，薄膜变焦透镜200可以将所述出射光分为2种以上波段的光，比如，3种(第一波段为红光、第二波段为绿光和第三波段为蓝光)、4种(第一波段为红光、第二波段为绿光、第三波段为蓝光和其他波段)，等等。驱动电路660也可以向电介质弹性体260施加第三电压、第四电压，等等，获取更多波段的光在感光面422上聚焦的图像。比如，施加第二电压获取绿光在感光面422上聚焦的图像，施加第三电压获取蓝光在感光面422上聚焦的图像，施加第四电压获取其他波段的光在感光面422上聚焦的图像。控制装置600可以获取多个不同波段的光的聚焦图像和每个波段的光的多个散焦图像，可以提高深度计算的精度。图4A示出了根据本说明书的实施例提供的一种红光在感光面422聚焦的示意图001A。图4B示出了根据本说明书的实施例提供的一种绿光的光在感光面422聚焦的示意图001B。其中，实现代表红光，虚线代表绿光，双点划线代表蓝光001C。图4C示出了根据本说明书的实施例提供的一种蓝光在感光面422聚焦的示意图。如图4A所示，红光在感光面422聚焦，绿光和蓝光在感光面422散焦。如图4B所示，绿光在感光面422聚焦，红光和蓝光在感光面422散焦。如图4C所示，蓝光在感光面422聚焦，绿光和红光在感光面422散焦。

薄膜变焦透镜200也可以不对所述出射光进行分光。当驱动电路660向电介质弹性体260施加所述第一电压时，电介质弹性体260产生第一形变。所述第一形变使得薄膜变焦透镜200可以将所有波段的光聚焦在感光面422上。所述第一图像中包括所有波段的光(包括所述红光、所述绿光以及所述蓝光)在感光面422上的聚焦图像。当驱动电路660向电介质弹性体260施加所述第二电压时，电介质弹性体260产生第二形变。所述第二形变使得薄膜变焦透镜200可以将所有波段的光在感光面422上散光。所述第一图像中包括所有波段的光(包括所述红光、所述绿光以及所述蓝光)在感光面422上的聚焦图像。所述第二图像中包括所有波段的光(包括所述红光、所述绿光以及所述蓝光)在感光面422上的散焦图像。控制装置600可以从所述第一图像和所述第二图像中分解出R通道的聚焦图像和散焦图像，G通道的聚焦图像和散焦图像以及B通道的聚焦图像和散焦图像。控制装置600可以分别计算每个通道的深度信息，并对三个通道的深度信息进行特征融合，得到所述深度图像。

薄膜变焦透镜200也可以不对所述出射光进行分光，驱动电路660可以向电介质弹性体260施加2种以上不同的电压，控制装置600可以获取多幅所述出射光在图像传感器400上的散焦图像，其深度计算结果精度更高。

综上所述，本说明书提供的深度图像成像系统001可以通过一颗摄像头实现被拍摄场景中的物体的深度计算，降低设备成本及安装复杂程度，简化制作工艺。并且通过薄膜变焦透镜400实现可控自动变焦，其精度高，清晰度高，有效提高深度图像成像系统001的深度计算精度。

图5示出了一种深度图像成像的方法P100的流程图。如前所述，控制装置600可以执行本说明书提供的深度图像成像的方法P100。具体地，控制装置600中的处理器620可以读取存储在其本地存储介质中的指令集，然后根据所述指令集的规定，执行本说明书提供的深度图像成像的方法P100。所述方法P100可以包括通过至少一个处理器620执行下述步骤：

S120：控制薄膜变焦透镜200的焦距，获取所述出射光在所述图像传感器400上的聚焦图像和散焦图像。

如前所述，控制装置600需要获取同一场景下的至少两个焦距下的图像。所述出射光在所述图像传感器400上的聚焦图像和散焦图像可以包括至少一个波段的光在所述图像传感器400上的聚焦图像和至少一幅散焦图像，也可以包括所有波段的光在所述图像传感器400上的聚焦图像和至少一幅散焦图像。具体地，步骤S120可以包括：

S122：向电介质弹性体260施加第一电压，获取图像传感器400的第一图像。

其中，所述第一图像中所述第一波段的光在图像传感器400上聚焦，其他波段的光可以在图像传感器400上散焦，也可以聚焦。所述第一图像包括：

所述第一波段的光在所述图像传感器上的聚焦图像；以及

所述其他波段的光在所述图像传感器上的散焦图像或聚焦图像。

所述第一波段的光可以包括所述红光、所述绿光和所述蓝光种的至少一种。

S124：向电介质弹性体260施加第二电压，获取图像传感器400的第二图像。

所述第二图像中的所述第一波段的光在图像传感器400上散焦，所述其他波段的光可以在图像传感器400上聚焦，也可以在图像传感器400上散焦。所述第二图像可以包括：

所述第一波段的光在图像传感器400上的散焦图像；以及

所述其他波段的光在所述图像传感器上的散焦图像或聚焦图像。

为了方便描述，我们将所述第一电压下，薄膜变焦透镜200对所述第一波段的光的焦距定义为f₁，所述第二电压下，薄膜变焦透镜200对所述第一波段的光的焦距定义为f₂。

S140：根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。步骤S140可以包括：

S142：将所述第一图像和所述第二图像分别分解为R通道、G通道和B通道。

所述第一图像和所述第二图像可以分别分解为R通道、G通道和B通道。为了方便描述我们将所述第一图像的R通道、G通道和B通道分别标记为R1通道、G1通道和B1通道，将所述第二图像的R通道、G通道和B通道分别标记为R2通道、G2通道和B2通道。

S144：获取所述R通道、所述G通道和所述B通道中的至少一个通道的聚焦图像和散焦图像。

当所述第一波段的光为红光时，获取R通道的聚焦图像R1和散焦图像R2。当所述第一波段的光为红光和绿光时，获取R通道的聚焦图像R1和散焦图像R2，以及G通道的聚焦图像G1和散焦图像G2。当所述第一波段的光为红光、绿光和蓝光时，获取R通道的聚焦图像R1和散焦图像R2，G通道的聚焦图像G1和散焦图像G2，以及B通道的聚焦图像B1和散焦图像B2。

S146：基于所述至少一个通道的聚焦图像和散焦图像，确定所述场景的深度信息。

对于每个通道，通过DFD算法获取当前通道中所述场景的深度信息。这里的DFD算法是指离焦深度法(Depth from Defocus，简称DFD)，是图像处理中一种常见的测量场景深度的算法。具体地，DFD算法中可以将散焦图像看作是聚焦图像通过模糊核进行卷积得到的图像。所述模糊核是指卷积核。所述模糊核可以是高斯点扩散函数PSF(point spreadfunction，简称PSF)。DFD算法中，使用不同的模糊核对所述聚焦图像进行卷积，得到不同的模糊核对应的不同的模糊图像。其中，不同的模糊核对应不同的深度值。将所述模糊图像的像素与所述散焦图像中对应位置的像素进行对比，当所述模糊图像的像素与所述散焦图像中对应位置的像素匹配时，所述像素对应的模糊核对应的深度值即为当前像素的深度值。将所述模糊图像的像素与所述散焦图像的对应的像素进行对比时，可以逐个像素进行对比，得到所有像素对应的深度值，也可以从中挑选出部分像素进行对比，得到所述部分像素对应的深度值，其余像素的深度值由所述部分像素的深度值经过插值算法得到。

确定所述每个通道对应的深度信息后，控制装置600可以对多个通道对应的深度信息进行特征融合，得到所述场景的深度信息。所述特征融合可以是加权求和，也可以是求平均，等等。其中，所述加权系数可以通过机器学习得到。

S148：基于所述深度信息、所述第一图像和所述第二图像，生成所述深度图像。

基于所述第一图像和所述第二图像生成所述场景的二维图像。具体地，控制装置600可以将所述第一图像中的第一波段的聚焦图像和所述第二图像中所述其他波段的聚焦图像进行合成，生成所述二维图像。将所述二维图像和所述深度信息进行结合，将所述深度信息中的每个像素对应的深度值与所述二维图像中的像素一一对应，得到所述深度图像。

综上所述，本说明书提供的深度图像成像的方法P100和系统001，可以通过控制装置600控制电压，对薄膜变焦透镜200施加不同的电压，使薄膜变焦透镜200在不同的电压的驱动产生变形，从而改变薄膜变焦透镜200的焦距。薄膜变焦透镜200在不同的焦距下对所述出射光进行聚焦，得到所述出射光在图像传感器400上的聚焦图像和至少一幅散焦图像；控制装置600可以根据所述聚焦图像和所述散焦图像通过DFD算法得到所述被拍摄场景的深度信息，从而得到所述场景的深度图像。所述深度图像成像系统001和方法P100，使用薄膜变焦透镜200的单摄像头即可实现深度测量，无需红外发射器或激光发射器测距，便可以实现RGB图像和深度图像的同时输出。并且所述深度图像成像系统001和方法P100的深度测量精度高，硬件结构简单，工艺复杂度低，算力消耗小，适用于多场景使用。

上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者是可能有利的。

综上所述，在阅读本详细公开内容之后，本领域技术人员可以明白，前述详细公开内容可以仅以示例的方式呈现，并且可以不是限制性的。尽管这里没有明确说明，本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变，改进和修改。这些改变，改进和修改旨在由本说明书提出，并且在本说明书的示例性实施例的精神和范围内。

此外，本说明书中的某些术语已被用于描述本说明书的实施例。例如，“一个实施例”，“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征，结构或特性可以包括在本说明书的至少一个实施例中。因此，可以强调并且应当理解，在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外，特定特征，结构或特性可以在本说明书的一个或多个实施例中适当地组合。

应当理解，在本说明书的实施例的前述描述中，为了帮助理解一个特征，出于简化本说明书的目的，本说明书将各种特征组合在单个实施例、附图或其描述中。然而，这并不是说这些特征的组合是必须的，本领域技术人员在阅读本说明书的时候完全有可能将其中一部分特征提取出来作为单独的实施例来理解。也就是说，本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。

本文引用的每个专利，专利申请，专利申请的出版物和其他材料，例如文章，书籍，说明书，出版物，文件，物品等，可以通过引用结合于此。用于所有目的的全部内容，除了与其相关的任何起诉文件历史，可能与本文件不一致或相冲突的任何相同的，或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的起诉文件历史。现在或以后与本文件相关联。举例来说，如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时，使用本文件中的术语为准。

最后，应理解，本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此，本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此，本说明书的实施例不限于申请中被精确地描述过的实施例。

Claims (16)

1.一种深度图像成像系统，包括：

支撑部件；

薄膜变焦透镜，连接在所述支撑部件上，包括入光侧和出光侧；

图像传感器，连接在所述支撑部件上，并与所述出光侧相对以接收所述出光侧射出的出射光，获取被拍摄场景的图像；以及

控制装置，与所述薄膜变焦透镜和所述图像传感器电连接，运行时控制所述薄膜变焦透镜的焦距，获取所述出射光在所述图像传感器上的聚焦图像和散焦图像，并根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。

2.如权利要求1所述的深度图像成像系统，其中，所述薄膜变焦透镜将射入的光线进行分光，所述出射光包括至少一个波段的光。

3.如权利要求2所述的深度图像成像系统，其中，所述薄膜变焦透镜包括：

透镜基底，包括入射面和出射面，所述入射面面向所述入光侧，所述出射面面向所述出光侧；以及

多个柱状微透镜，形成在所述透镜基底的所述入射面，并以预定的方式和距离排列，以便所述出射光在所述薄膜变焦透镜的焦点汇聚，其中，不同波段的光的焦点不同，

其中，当所述透镜基底发生形变时，所述多个柱状微透镜发生位移，通过控制所述透镜基底的形变，控制所述多个柱状微透镜的位移变化，使所述薄膜变焦透镜的所述焦点在预定范围内移动。

4.如权利要求3所述的深度图像成像系统，其中，所述薄膜变焦透镜还包括：

电介质弹性体，位于所述透镜基底的所述出射面，当所述电介质弹性体受到电压驱动时，所述电介质弹性体变形带动所述透镜基底形变，通过控制所述电压的大小，控制所述透镜基底的形变，使所述薄膜变焦透镜的所述焦点在所述预定范围内移动。

5.如权利要求4所述的深度图像成像系统，其中，所述控制装置包括：

驱动电路，同所述电介质弹性体电连接，提供所述电压。

6.如权利要求4所述的深度图像成像系统，其中，所述图像传感器包括感光面，所述感光面距离所述出射面的距离在所述预定范围内。

7.如权利要求6所述的深度图像成像系统，其中，当所述电介质弹性体受到第一电压的驱动时，所述薄膜变焦透镜使第一波段的光在所述感光面上聚焦，所述图像传感器获取第一图像，所述第一图像包括所述第一波段的光在所述感光面上的聚焦图像，

其中，所述第一波段的光包括红光、绿光以及蓝光中的至少一种。

8.如权利要求7所述的深度图像成像系统，其中，当所述电介质弹性体受到第二电压的驱动时，所述薄膜变焦透镜使所述第一波段的光在所述感光面上散焦，所述图像传感器获取第二图像，所述第二图像包括所述第一波段的光在所述感光面上的散焦图像。

9.如权利要求8所述的深度图像成像系统，其中，所述确定所述场景的深度图像，包括：

将所述第一图像和所述第二图像分别分解为R通道、G通道和B通道；

获取所述R通道、所述G通道和所述B通道中的至少一个通道的聚焦图像和散焦图像；

基于所述至少一个通道的聚焦图像和散焦图像，确定所述场景的深度信息；以及

基于所述深度信息、所述第一图像和所述第二图像，生成所述深度图像。

10.如权利要求1所述的深度图像成像系统，其中，所述图像传感器包括：

感光元件，包括感光单元阵列，每个感光单元对应一个像素。

11.如权利要求10所述的深度图像成像系统，其中，所述图像传感器还包括：

彩色滤光片，位于所述感光元件上靠近所述薄膜变焦透镜的一侧，所述彩色滤光片包括多个滤光区，以预定方式排成阵列，每个滤光区对应一个像素，其中，所述多个滤光区包括多个红色滤光区、多个绿色滤光区和多个蓝色滤光区。

12.如权利要求11所述的深度图像成像系统，其中，所述多个滤光区还包括多个IR滤光区。

13.一种深度图像成像的方法，用于深度图像成像系统，所述深度图像成像系统包括：

支撑部件；

薄膜变焦透镜，连接在所述支撑部件上，包括入光侧和出光侧；

图像传感器，连接在所述支撑部件上，并与所述出光侧相对以接收所述出光侧射出的出射光，获取被拍摄场景的图像；以及

控制装置，与所述薄膜变焦透镜和所述图像传感器电连接；

所述方法包括通过所述控制装置：

控制所述薄膜变焦透镜的焦距，获取所述出射光在所述图像传感器上的聚焦图像和散焦图像；以及

根据所述聚焦图像和所述散焦图像确定所述场景的深度图像。

14.如权利要求13所述的方法，其中，所述薄膜变焦透镜将射入的光线进行分光，所述出射光包括至少一个不同波段的光。

15.如权利要求14所述的方法，其中，所述薄膜变焦透镜包括：

透镜基底，包括入射面和出射面，所述入射面面向所述入光侧，所述出射面面向所述出光侧；

多个柱状微透镜，形成在所述透镜基底的所述入射面，并以预定的方式和距离排列，以便所述出射光在所述薄膜变焦透镜的焦点汇聚，其中，所述不同波段的光的焦点不同；以及

电介质弹性体，位于所述透镜基底的所述出射面，

其中，当所述电介质弹性体受到电压驱动时，所述电介质弹性体变形带动所述透镜基底形变，所述多个柱状微透镜发生位移，通过控制所述电压的大小，控制所述多个柱状微透镜的位移变化，使所述薄膜变焦透镜的所述焦点在预定范围内移动；

所述获取所述出射光在所述图像传感器上的聚焦图像和散焦图像，包括：

向所述电介质弹性体施加第一电压，获取所述图像传感器的第一图像，其中，所述第一图像中第一波段的光在所述图像传感器上聚焦，所述第一图像包括所述第一波段的光在所述图像传感器上的聚焦图像；以及

向所述电介质弹性体施加第二电压，获取所述图像传感器的第二图像，其中，所述第二图像中的所述第一波段的光在所述图像传感器上散焦，所述第二图像包括所述第一波段的光在所述图像传感器上的散焦图像，

其中，所述第一波段的光包括红光、绿光以及蓝光中的至少一种。

16.如权利要求15所述的方法，其中，所述确定所述场景的深度图像，包括：

将所述第一图像和所述第二图像分别分解为R通道、G通道和B通道；

获取所述R通道、所述G通道和所述B通道中的至少一个通道的聚焦图像和散焦图像；

基于所述至少一个通道的聚焦图像和散焦图像，确定所述场景的深度信息；以及

基于所述深度信息、所述第一图像和所述第二图像，生成所述深度图像。

Images