CN112383715B - 图像获取装置、终端和图像获取方法 - Google Patents

Abstract

本申请公开了一种图像获取装置，包括运动像素和深度像素。所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活；至少一个所述深度像素与所述运动像素对应，在所述运动像素被激活后，与被激活的所述运动像素对应的深度像素进行曝光以输出深度图像。本申请的图像获取装置、终端和图像获取方法通过检测目标对象的移动，从而曝光与目标对象对应的深度像素以获取目标对象的深度图像，无需将所有深度像素均进行曝光，从而节省了功耗。

Description

图像获取装置、终端和图像获取方法

技术领域

本申请涉及成像技术领域，更具体而言，涉及一种图像获取装置、终端和图像获取方法。

背景技术

飞行时间(time-of-flight，TOF)模组是深度摄像头的一种，原理是通过向目标场景打光，测量光在镜头和物体之间传输时间来测距。然而，目前的TOF摄像头在测距时，功耗较大。

发明内容

本申请实施方式提供一种图像获取装置、终端和图像获取方法。

本申请实施方式的图像获取装置包括运动像素和深度像素。所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活。至少一个所述深度像素与所述运动像素对应，在所述运动像素被激活后，与被激活的所述运动像素对应的所述深度像素进行曝光以输出深度图像。

本申请实施方式的终端包括壳体和上述实施方式的图像获取装置。所述图像获取装置包括运动像素和深度像素。所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活。至少一个所述深度像素与所述运动像素对应，在所述运动像素被激活后，与被激活的所述运动像素对应的所述深度像素进行曝光以输出深度图像。

本申请实施方式的图像获取方法包括获取被激活的运动像素的第一位置坐标，所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活；基于预设的标定关系，确定与所述第一位置坐标对应的深度像素的第二位置坐标；及控制所述第二位置坐标的所述深度像素进行曝光，以获取深度图像。

本申请的图像获取装置、终端和图像获取方法通过检测目标对象的移动，从而曝光与目标对象对应的深度像素以获取目标对象的深度图像，无需将所有深度像素均进行曝光，从而节省了功耗。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1为本申请一个实施方式的终端的平面示意图；

图2为图1中的终端的运动图像传感器的部分结构示意图；

图3为图1中的终端的深度图像传感器的部分结构示意图；

图4a和图4b分别为图1中的终端的第一滤光片和第二滤光片的波长和透过率关系图；

图5为本申请另一实施方式的终端的平面示意图；

图6为图5中的终端的一个实施方式的图像传感器的结构示意图；

图7为图6中运动像素和深度像素的连接示意图；

图8为图5中的终端的另一实施方式的图像传感器的结构示意图；

图9和图10为图8中运动像素和深度像素的连接示意图；和

图11为本申请实施方式的图像获取方法的流程示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。

另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

请参阅图1至图3，本申请实施方式的图像获取装置10包括运动像素11和深度像素12。运动像素11用于检测目标对象的移动，在目标对象的移动时，运动像素11被激活；至少一个深度像素12与运动像素11对应，在运动像素11被激活后，与被激活的运动像素11对应的深度像素12进行曝光以输出深度图像。

本申请实施方式的图像获取装置10通过检测目标对象的移动，从而曝光与目标对象对应的深度像素12以获取目标对象的深度图像，无需将所有深度像素12均进行曝光，从而节省了功耗。

请结合图5、图6和图8，本申请实施方式的终端100包括壳体20、显示屏30、图像获取装置10和处理器40，图像获取装置10和处理器40设置在壳体20内，图像获取装置10还可部分设置在壳体20内，部分设置在壳体20外，壳体20可开设发射窗口和接收窗口，图像获取装置10与发射窗口和接收窗口对应设置。显示屏30设置在壳体20上，图像获取装置10还可设置在显示屏30下方并位于壳体20内，图像获取装置10可接收穿过显示屏30的光线以进行成像。本申请以图像获取装置10设置在显示屏30下方并位于壳体20内为例进行说明。

终端100可以是手机、平板电脑、笔记本电脑、可穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)等，在此不作限制。本申请以终端100为手机为例进行说明，终端100为其他装置时的原理类似，在此不再赘述。

图像获取装置10包括光发射器13和光接收器14，光发射器13发出的光线经穿过显示屏30后射向目标场景，然后由目标场景反射后，再次从穿过显示屏30进入光接收器14以进行成像。处理器40和光发射器13、及处理器40和光接收器14均连接(图未示)。

光发射器13用于向目标场景发射第一预定波段的光线，然后光接收器14接收目标场景反射的光线后，光接收器14可根据发射和接收的时间差以及光速，来计算图像获取装置10和目标场景的不同位置的距离，从而得到目标场景的深度。光接收器14还可根据发射信号和接收信号之间的相位差来计算目标场景的不同位置的距离，从而得到目标场景的深度。光发射器13还可发出结构光图案，光接收器14根据目标场景反射的光线得到结构光图像，然后与参考结构光图像进行对比以得到目标场景的不同位置的深度。

在很多应用场景中，目标场景可能仅部分移动而其他部分并不会进行移动，且我们只关注移动的部分(下称目标对象)，如手势识别场景，我们只关注用户手部的深度即可实现手势识别。由于未移动的部分的深度是不变的，因此，我们只需要检测目标对象的深度，即可获取到准确的目标场景的深度图像。为了仅获取目标对象的深度，只需要曝光与目标对象对应的深度像素12即可。

光接收器14包括运动像素11和深度像素12。运动像素11和深度像素12对应。

运动像素11能够实时检测自身的亮度变化，当目标对象移动时，由于其自身颜色或者表面凹凸程度的不同，目标对应的运动像素11的入光量随之发生变化，从而使得运动像素11的亮度发生变化，在亮度发生变化时，即可确定该运动像素11检测目标对象发生了移动，此时运动像素11被激活，运动像素11被激活表示运动像素11在亮度发生变化时，会输出检测信息，如亮度增大、亮度减小、位置坐标、激活时间等信息。其中，亮度发生变化指的是运动像素11的亮度增大后或亮度减小后的亮度差值达到预设亮度阈值，位置坐标指的是被激活的运动像素11在运动图像传感器中的位置，激活时间指的是运动像素11被激活的时间。

运动像素11和至少一个深度像素12对应。例如，运动像素11和深度像素12一一对应、或者一个运动像素11对应多个深度像素12(如2个、4个、9个等)。在其他实施方式中，多个运动像素11与多个深度像素12对应。

请参阅图1至图3，在一个实施方式中，光接收器14包括运动图像传感器141和深度图像传感器142，运动图像传感器141包括多个运动像素11，深度图像传感器142包括多个深度像素12。也即是说，运动像素11和深度像素12分别设置在不同的图像传感器上。

为了实现运动像素11和深度像素12的对应，需要对运动图像传感器141和深度图像传感器142进行标定，具体地，通过将运动图像传感器141和深度图像传感器142的内参和外参进行标定，以使得运动像素11和深度像素12对应。运动像素11和深度像素12对应指的是：运动像素11和深度像素12接收的光线均为同一目标对象反射的光线。在标定后，运动像素11在运动图像传感器141的第一位置坐标与对应的深度像素12在深度图像传感器142的第二位置坐标对应，以形成预设的标定关系。如此，可将运动像素11和深度像素12准确地标定，在运动像素11被激活后，根据运动像素11输出的第一位置坐标和预设的标定关系即可快速确定与该运动像素11对应的深度像素12的第二位置坐标。

运动图像传感器141可以是事件相机，如动态视觉相机(Dynamic Vision Sensor，DVS)，或者具有动态和主动像素的视觉相机(Dynamic and Active Pixel Vision Sensor，DAVIS)，DAVIS相较于DVS而言，除了具有运动检测的功能的同时，还能够输出灰度图像。运动图像传感器141包括第一滤光片1411和运动像素层1412，目标对象反射的光线经过第一滤光片1411过滤后进入到运动像素层1412，被运动像素11接收；深度图像传感器142包括第二滤光片1421和深度像素层1422，目标对象反射的光线经过第二滤光片1421过滤后进入到深度像素层1422，被深度像素12接收。可以理解，目标对象反射的光线除了光发射器13发射的光线外，还包括环境光，由于为了实现深度检测，光发射器13一般发射的是脉冲激光，为了防止深度图像传感器142工作时，光发射器13发出的脉冲激光一直激活运动图像传感器141，第一滤光片1411和第二滤光片1421滤除的光线的波段应设置的不同。如图4a所示，例如，第一滤光片1411对应的波段为可见光波段(如[350纳米，750纳米])，即，第一滤光片1411对于可见光波段之外的其他波段的光线的透过率极低；如图4b所示，第二滤光片1421对应的波段为[930纳米，950纳米]，即，第二滤光片1421对[930纳米，950纳米]之外的其他波段的光线的透过率极低，且由于环境光中处于[930纳米，950纳米]内的光线较少，可减少环境光对深度检测的影响；再例如，第一滤光片1411则仅滤除第二滤光片1421对应的波段的光线，如第二滤光片1421对应的波段为[930纳米，950纳米]，第一滤光片1411对应的波段则为(0，930)和(950，+∞)，从而使得运动图像传感器141能够接收更广的波段的光线，以适应不同场景下的运动检测，如在可见光较少的夜间场景通过红外光实现运动检测。如此，光发射器13发出的光线仅被深度像素12接收，而不会被运动像素11接收，防止运动像素11接收光发射器13发出的光线后被激活，导致与运动像素11对应的深度像素12误曝光，从而加大终端100的功耗的问题。

请再次参阅图1，在其他实施方式中，图像获取装置10还包括补光灯15，补光灯15发出的光线能够被运动图像传感器141接收，也即是说，第一滤光片1411能够通过补光灯15发出的光线。为了使得补光灯15发出的光线不影响深度检测精度，但能够使得运动像素11获取足够的光线被激活，补光灯15发出的光线的波段应该位于第一滤光片1411对应的波段内，而位于第二滤光片1421对应的波段外。例如，补光灯15发出可见光，或者补光灯15发出红外光。

在环境亮度较低时，由于环境光线不足以使得运动像素11的亮度差值达到预定亮度阈值从而激活运动像素11，导致运动像素11无法实现运动检测，此时需要使用补光灯15发出光线对目标对象进行补光，从而使得目标对象反射的光线能够使得运动像素11的亮度差值达到预定亮度阈值，以实现运动检测。

在运动像素11被激活后，处理器40能够获取到被激活的运动像素11的第一位置坐标和激活时间，然后基于预设的标定关系即可得到该第一位置坐标对应的第二位置坐标，从而按照激活时间顺序，依次控制每个被激活的运动像素11对应的第二位置坐标的深度像素12进行曝光，以获取目标对象的深度。当然，为了方便曝光控制，在曝光时也可以不仅曝光第二位置坐标的深度像素12，而是进行逐行曝光，将第二位置坐标对应的行的深度像素12均进行曝光。

由于仅曝光了目标对象对应的深度像素12(即，第二位置坐标的深度像素12)，获取的深度信息仅为深度图像传感器142的全部深度像素12开启时获取的深度信息的一部分，因此，图像获取装置10在初始时需要将全部深度像素12开启以获取完整的目标场景的深度信息来形成初始深度图像，由于目标场景内的物体不发生移动时，深度基本是不变的，第二帧深度图像和初始深度图像的深度信息差异仅在于目标场景内的目标对象对应的深度像素12的深度信息。因此，只需获取目标对象的对应的深度像素12的目标深度信息，然后将初始深度图像中与该深度像素12对应的深度信息替换为目标深度信息即可得到第二帧深度图像，第三帧深度图像则可根据目标深度信息和第二帧深度图像得到，依此类推，处理器40在获取当前帧的深度图像时，只需先获取上一帧的深度图像，然后将上一帧的深度图像的第二位置坐标对应的像素的像素值替换为当前帧曝光的深度像素12的像素值(即，目标深度信息)，即可得到当前帧的深度图像。

如此，除了初始深度图像需要开启全部的深度像素12之外，后续所有帧的深度图像基本均只需要曝光部分深度像素12即可得到，大大降低了深度图像传感器142获取深度图像的功耗，且仅需计算曝光的部分深度像素12的深度信息，每帧深度图像所需的深度信息的计算量较小，从而能够提高深度图像的获取帧率，提高深度检测效率。

请参阅图5至图10，在另一个实施方式中，图像获取装置10包括图像传感器16，图像传感器16包括像素层161和第三滤光片162，像素层161包括运动像素11和深度像素12，也即是说，运动像素11和深度像素12位于同一图像传感器16内。目标物体反射的光线经过第三滤光片162过滤后进入像素层161。

请参阅图6，在一个例子中，图像传感器16中运动像素11和深度像素12一一对应设置，如奇数行为运动像素11，偶数行为深度像素12，运动像素11和深度像素12隔行设置，第一行的运动像素11和第二行的深度像素12一一对应，第三行的运动像素11和第四行的深度像素12一一对应；或者运动像素11与邻接的深度像素12对应，如第一行的运动像素11和第二行的深度像素12一一对应，第三行的运动像素11与第二行中邻接的深度像素12、及第三行的运动像素11与第四行中邻接的深度像素12均对应。在其他例子中，奇数行为深度像素12，偶数行为运动像素11。请结合图6和图7，在运动像素11被激活后，运动像素11能够发出使能信号到对应的一个深度像素12，以使得对应的深度像素12进行曝光以获取深度图像。

请参阅图8，在另一个例子中，深度像素12和运动像素11交错分布，任意两个深度像素12或任意两个运动像素11均不相互邻接，其中，两个像素相互邻接指的是两个像素相邻且位于同一行或同一列。请结合8至图10，每个运动像素11与邻接的4个深度像素12对应，在运动像素11被激活后，运动像素11能够发出使能信号到4个邻接的深度像素12，以使得对应的深度像素12进行曝光以获取深度图像，也即是说，每个运动像素11能够对邻接的4个深度像素12进行曝光控制。而每个深度像素12则能够被邻接的4个运动像素11发出的使能信号控制。

在其他实施方式中，在运动像素11被激活后，处理器40可获取运动像素11的第一位置坐标(即，被激活的运动像素11在图像传感器16的位置)和激活时间，然后基于预设的标定关系和第一位置坐标即可快速确定一个或多个邻接的深度像素12的第二位置坐标(即，神队像素在图像传感器16的位置)，从而控制第二位置坐标的深度像素12(如第二位置坐标的深度像素12或第二位置坐标对应的行的深度像素12)曝光以获取深度图像。本实施方式中的标定关系可根据运动像素11和深度像素12的排布来确定。

图像传感器16还包括第三滤光片162，第三滤光片162包括第一子滤光片1621和第二子滤光片1622，第一子滤光片1621与运动像素11对应设置，以对进入运动像素11的光线进行过滤，第二子滤光片1622与深度像素12对应设置，以对进入深度像素12的光线进行过滤，第一子滤光片1621和第二子滤光片1622滤除的光线的波段不同。

可以理解，目标对象反射的光线除了光发射器13发射的光线外，还包括环境光，由于为了实现深度检测，光发射器13一般发射的是脉冲激光，为了防止深度像素12工作时，光发射器13发出的脉冲激光一直激活运动像素11，第一子滤光片1621和第二子滤光片1622滤除的光线的波段应设置的不同，例如，第一子滤光片1621对应的波段为可见光波段，第二子滤光片1622对应的波段为[930纳米，950纳米]，由于环境光中处于[930纳米，950纳米]内的光线较少，可减少环境光对深度检测的影响；再例如，第一子滤光片1621则仅滤除第二子滤光片1622对应的波段的光线，如第二滤光片1421对应的波段为[930纳米，950纳米]，第一子滤光片1621对应的波段则为(0，930)和(950，+∞)，从而使得运动像素11能够接收更广的波段的光线，以适应不同场景下的运动检测，如在可见光较少的夜间通过红外光实现运动检测。如此，光发射器13发出的光线仅被深度像素12接收，而不会被运动像素11接收，防止运动像素11接收光发射器13发出的光线后被激活，导致与运动像素11对应的深度像素12误曝光从而加大终端100的功耗的问题。且由于运动像素11和深度像素12在一个图像传感器16，可减小图像获取装置10的体积。

图像传感器16还包括微透镜层163，沿图像获取装置10的入光方向，微透镜层163、第三滤光片162和像素层161依次排布。目标对象反射的光线依次经过微透镜层163和第三滤光片162后进入像素层161，以使得运动像素11和深度像素12曝光。

微透镜层163包括多个微透镜1631，多个微透镜1631包括多个第一微透镜1632和多个第二微透镜1633，每个微透镜1631与一个运动像素11或一个深度像素12对应设置，即，第一微透镜1632、第一子滤光片1621、运动像素11一一对应，第二微透镜1633、第二子滤光片1622和深度像素12一一对应。

微透镜1631用于对光线进行会聚，会聚后的光线在经过对应的子滤光片(如第一子滤光片1621、第二子滤光片1622)过滤后，过滤后的光线也会会聚地射向对应的像素，如第一微透镜1632会聚后的光线在经过对应的第一子滤光片1621后，会会聚地射向对应的运动像素11，而不会进入到邻接的深度像素12内。同样的，第二微透镜1633会聚后的光线在经过对应第二子滤光片1622后，会会聚地射向对应的深度像素12，而不会射向运动像素11，从而防止运动像素11被本该进入深度像素12的光线误激活。

请结合图11，本神器实施方式的图像获取方法包括：

01：获取被激活的运动像素11的第一位置坐标，运动像素11用于检测目标对象的移动，在目标对象的移动时，运动像素11被激活；

02：基于预设的标定关系，确定与第一位置坐标对应的深度像素12的第二位置坐标；及

03：控制第二位置坐标的深度像素12进行曝光，以获取深度图像。

具体地，在运动像素11被激活后，运动像素11能够输出亮度变化信息(如亮度增大、亮度减小)和第一位置坐标，处理器40根据第一位置坐标和预设的标定关系，即可确定与运动像素11对应的深度像素12的第二位置坐标，然后处理器40控制第二位置坐标的深度像素12进行曝光(如控制第二位置坐标的深度像素12进行曝光或控制第二位置坐标对应的行的深度像素12进行曝光)，即可获取到第二位置坐标的深度像素12的深度信息，由于仅目标对象发生了移动，当前帧的深度图像和上一帧深度图像的差异仅在于目标对象对应的深度信息(即，第二位置坐标对应的深度像素12的深度信息)，因此，使用当前帧获取的第二位置坐标对应的深度像素12的深度信息替换掉上一帧深度图像中第二位置坐标对应的像素的深度信息，即可得到当前帧的深度图像。

本申请实施方式的图像获取方法通过检测目标对象的移动，从而曝光与目标对象对应的深度像素12以获取目标对象的深度图像，无需将所有深度像素12均进行曝光，从而节省了功耗。

在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的程序的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (11)

1.一种图像获取装置，其特征在于，包括：

运动像素，所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活；和

深度像素，至少一个所述深度像素与所述运动像素对应，在所述运动像素被激活后，与被激活的所述运动像素对应的所述深度像素进行曝光以输出深度图像，与所述运动像素对应的滤光片和与所述深度像素对应的滤光片的波段不同。

2.根据权利要求1所述的图像获取装置，其特征在于，所述图像获取装置包括运动图像传感器和深度图像传感器，所述运动图像传感器包括多个所述运动像素，所述深度图像传感器包括多个所述深度像素。

3.根据权利要求2所述的图像获取装置，其特征在于，所述运动图像传感器包括第一滤光片，所述深度图像传感器包括第二滤光片，所述第一滤光片和所述第二滤光片滤除的光线的波段不同。

4.根据权利要求1所述的图像获取装置，其特征在于，所述图像获取装置包括图像传感器，所述图像传感器包括所述运动像素和所述深度像素。

5.根据权利要求4所述的图像获取装置，其特征在于，所述图像传感器包括第三滤光片，所述第三滤光片包括第一子滤光片和第二子滤光片，所述第一子滤光片与所述运动像素对应设置，以对进入所述运动像素的光线进行过滤，所述第二子滤光片与所述深度像素对应设置，以对进入所述深度像素的光线进行过滤，所述第一子滤光片和所述第二子滤光片滤除的光线的波段不同。

6.根据权利要求4所述的图像获取装置，其特征在于，所述运动像素被激活后，所述运动像素发出使能信号到对应的所述深度像素，以使得所述运动像素对应的所述深度像素曝光。

7.根据权利要求1所述的图像获取装置，其特征在于，在所述运动像素的亮度差值大于预定亮度阈值时，确定所述目标对象移动。

8.一种终端，其特征在于，所述终端包括：

壳体；和

权利要求1-7任意一项所述的图像获取装置，所述图像获取装置设置在所述壳体上。

9.根据权利要求8所述的终端，其特征在于，所述终端还包括处理器，所述处理器用于：

获取被激活的所述运动像素的第一位置坐标；

基于预设的标定关系，确定与所述第一位置坐标对应的所述深度像素的第二位置坐标；及

控制所述第二位置坐标的所述深度像素进行曝光，以获取所述深度图像。

10.根据权利要求9所述的终端，其特征在于，所述处理器还用于：

获取上一帧的所述深度图像，将上一帧的所述深度图像的所述第二位置坐标对应的像素的像素值替换为当前帧曝光的所述深度像素的像素值，以作为当前帧的所述深度图像。

11.一种图像获取方法，其特征在于，包括：

获取被激活的运动像素的第一位置坐标，所述运动像素用于检测目标对象的移动，在所述目标对象的移动时，所述运动像素被激活；

基于预设的标定关系，确定与所述第一位置坐标对应的深度像素的第二位置坐标；及

控制所述第二位置坐标的所述深度像素进行曝光，以获取深度图像；与所述运动像素对应的滤光片和与所述深度像素对应的滤光片的波段不同。

Images