CN110072044A - 深度相机的控制方法及控制装置、终端及可读存储介质 - Google Patents

Abstract

本申请公开了一种深度相机的控制方法。深度相机包括光发射器，控制方法包括：在光发射器发射光线前，获取第一时刻的场景的测试红外图像；依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；若否，获取第二时刻的场景的红外图像作为测试红外图像，第二时刻迟于第一时刻；及若是，控制深度相机采集深度图像。本申请还公开了一种深度相机的控制装置、终端及非易失性计算机可读存储介质。在光发射器发射光线前获取场景的测试红外图像，依据测试红外图像判断场景中的红外干扰能量小于预设的能量阈值时，控制深度相机采集深度图像，避免在环境中红外干扰较大时采集深度图像而导致受到较大的干扰，深度信息获取的准确性较高。

Description

深度相机的控制方法及控制装置、终端及可读存储介质

技术领域

本申请涉及三维成像技术领域，更具体而言，涉及一种深度相机的控制方法、深度相机的控制装置、终端及计算机可读存储介质。

背景技术

利用结构光成像作为一种主动式3D成像技术，已经被手机等终端设备广泛采用，结构光成像技术具体为通过发射特定编码的图案光线，并对物体反射回的图案进行特定解析以获取物体的深度信息。然而，多台终端在同一个场景中同时使用时，不同终端发射的光线容易互相干扰，导致获取的深度信息不准确。

发明内容

本申请实施方式提供一种深度相机的控制方法、深度相机的控制装置、终端及计算机可读存储介质。

本申请实施方式提供一种深度相机的控制方法，所述深度相机包括光发射器，所述控制方法包括：在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；若否，获取第二时刻的场景的红外图像作为所述测试红外图像，所述第二时刻迟于所述第一时刻；及若是，控制所述深度相机采集深度图像。

本申请实施方式提供一种深度相机的控制装置，所述深度相机包括光发射器，所述控制装置包括第一获取模块、判断模块、第二获取模块及控制模块；所述第一获取模块用于在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；所述判断模块用于依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；所述第二获取模块用于若场景中的红外干扰能量不小于所述能量阈值，获取第二时刻的场景的红外图像以作为所述测试红外图像，所述第二时刻迟于所述第一时刻；所述控制模块用于若场景中的红外干扰能量小于所述能量阈值，控制所述深度相机采集深度图像。

本申请实施方式提供一种终端，所述终端包括深度相机及处理器，所述深度相机包括光发射器，所述处理器用于：在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；若否，获取第二时刻的场景的红外图像作为所述测试红外图像，所述第二时刻迟于所述第一时刻；及若是，控制所述深度相机采集深度图像。

本申请实施方式提供一种包含计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行本申请实施方式的控制方法。

本申请实施方式的深度相机的控制方法、深度相机的控制装置、终端及计算机可读存储介质中，在光发射器发射光线前获取场景的测试红外图像，依据测试红外图像判断场景中的红外干扰能量小于预设的能量阈值时，控制深度相机采集深度图像，避免在环境中红外干扰较大时采集深度图像而导致受到较大的干扰，深度信息获取的准确性较高。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的终端的结构示意图；

图2是本申请实施方式的终端的系统架构示意图；

图3是本申请实施方式的光接收器接收到物体反射的激光图案得到散斑图像；

图4是本申请实施方式的深度相机的控制方法的流程示意图；

图5是本申请实施方式的深度相机的控制装置的模块示意图；

图6是本申请实施方式的多个终端用于同一个场景的场景示意图；

图7及图8是本申请实施方式的深度相机的控制方法的原理示意图；

图9至图11是本申请实施方式的深度相机的控制方法的流程示意图；

图12是本申请实施方式的深度相机的控制装置的模块示意图；

图13是本申请实施方式的深度相机的控制方法的原理示意图；

图14是本申请实施方式的深度相机的控制方法的流程示意图；

图15是本申请实施方式的深度相机的控制装置的模块示意图；

图16是本申请实施方式的深度相机采集深度图像的原理示意图；

图17是本申请实施方式的非易失性计算机可读存储介质与处理器的交互示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。

另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

请参阅图1，本申请实施方式的终端10包括壳体15、深度相机11及处理器12。终端10可以是手机、平板电脑、笔记本电脑、智能手表等终端，本申请说明书以终端10是手机为例进行说明，可以理解的是，终端10的具体形式并不限于手机。

深度相机11及处理器12均可以安装在壳体15上。壳体15包括正面151及背面152，正面151与背面152相背。正面151还可用于安装显示屏14，显示屏14可用于显示图像、文字等信息。深度相机11可以安装在正面151，以便于进行自拍或进行视频通话等；深度相机11也可以安装在背面152，以便于拍摄景物及他人；另外，也可以在正面151及背面152均安装有可以独立工作的深度相机11。在本申请实施例中，深度相机11安装在壳体15的背面152，即，深度相机11可以为后置深度相机11。

深度相机11包括光发射器111及光接收器112。深度相机11可以用于以预定的采集周期采集深度图像，其中，深度相机11的光发射器111可以向外发射激光，例如红外激光，激光到达场景中的物体上后被反射，被反射的激光可由光接收器112接收，处理器12可以依据光发射器111发射的激光及光接收器112接收的激光计算物体的深度信息。在一个例子中，深度相机11可通过飞行时间(Time of flight,TOF)测距法获取深度信息，在另一个例子中，深度相机11可通过结构光测距原理获取深度信息。本申请说明书以深度相机11通过结构光测距原理获取深度信息为例进行说明。

终端10还可以包括可见光相机13，具体地，可见光相机13可以包括长焦相机及广角相机，或者可见光相机13包括长焦相机、广角相机及潜望式相机。可见光相机13可以与深度相机11靠近设置，例如可见光相机13可以设置在光发射器111与光接收器112之间，以使光发射器111与光接收器112之间具有较远的距离，提高深度相机11的基线(base line)长度，提高获取得深度信息的准确性。

请结合图2，光发射器111和光接收器112均与处理器12连接。处理器12可以为光发射器111提供使能信号，具体地，处理器12可以为驱动器16提供使能信号，其中，驱动器16用于驱动光发射器111发射激光。光接收器112通过I2C总线与处理器12连接。光接收器112与光发射器111配合使用时，在一个例子中，光接收器112可以通过选通信号(strobe信号)控制光发射器111的投射时序，其中，strobe信号是根据光接收器112获取采集图像的时序来生成的，strobe信号可视为高低电平交替的电信号，光发射器111根据strobe信号指示的激光投射时序来投射激光。具体地，处理器12可以通过I2C总线发送图像采集指令以启用深度相机11并使其工作，光接收器112接收到图像采集指令后，通过strobe信号控制开关器件17，若strobe信号为高电平，则开关器件17向驱动器16发送脉冲信号(pwn)，驱动器16根据脉冲信号驱动光发射器111向场景中投射激光，若strobe信号为低电平，则开关器件17停止发送脉冲信号至驱动器16，光发射器111不投射激光；或者，也可以是在strobe信号为低电平时，开关器件17向驱动器16发送脉冲信号，驱动器16根据脉冲信号驱动光发射器111向场景中投射激光，在strobe信号为高电平时，开关器件17停止发送脉冲信号至驱动器16，光发射器111不投射激光。

在另一个例子中，光接收器112与光发射器111配合时可以无需用到strobe信号，此时，处理器12发送图像采集指令至光接收器112并同时发送激光投射指令至驱动器16，光接收器112接收到图像采集指令后开始获取采集图像，驱动器16接收到激光投射指令时驱动光发射器111投射激光。光发射器111投射激光时，激光形成带有斑点的激光图案投射在场景中的物体上。光接收器112采集被物体反射的激光图案得到散斑图像(如图3所示的散斑图像M)，并通过移动产业处理器接口(Mobile Industry Processor Interface，MIPI)将散斑图像发送给处理器12。光接收器112每发送一帧散斑图像给处理器12，处理器12就接收到一个数据流。处理器12可以根据散斑图像和预存在处理器12中的参考图像进行深度图像的计算。

请参阅图1及图4，本申请实施方式的控制方法可用于控制深度相机11，控制方法包括步骤：

041：在光发射器111发射光线前，获取第一时刻的场景的测试红外图像；

042：依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；

043：若否，获取第二时刻的场景的红外图像作为测试红外图像，第二时刻迟于第一时刻；及

044：若是，控制深度相机11采集深度图像。

请参阅图4及图5，本申请实施方式的控制装置20包括第一获取模块21、判断模块22、第二获取模块23及控制模块24，第一获取模块21可用于实施步骤041，判断模块22可用于实施步骤042，第二获取模块23可用于实施步骤043，控制模块24可用于实施步骤044。也即是说，第一获取模块21可用于在光发射器111发射光线前，获取第一时刻的场景的测试红外图像；判断模块22可用于依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；第二获取模块23可用于若场景中的红外干扰能量不小于能量阈值，获取第二时刻的场景的红外图像以作为测试红外图像，第二时刻迟于第一时刻；控制模块24可用于若场景中的红外干扰能量小于能量阈值，控制深度相机11采集深度图像。

请参阅图1、图2及图4，本申请实施方式的处理器12可用于实施步骤041、042、043及044，也即是说，处理器12可用于在光发射器111发射光线前，获取第一时刻的场景的测试红外图像；依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；若否，获取第二时刻的场景的红外图像作为测试红外图像，第二时刻迟于第一时刻；及若是，控制深度相机11采集深度图像。

本申请实施方式的终端10、深度相机11的控制方法及深度相机11的控制装置20中，在光发射器111发射光线前获取场景的测试红外图像，依据测试红外图像判断场景中的红外干扰能量小于预设的能量阈值时，控制深度相机11采集深度图像，避免在环境中红外干扰较大时采集深度图像而导致受到较大的干扰，深度信息获取的准确性较高。

可以理解，在实际使用中，在某些场景中，例如多个用户正在对同一个物体进行拍摄、多个用户正在进行桌面AR游戏、多个用户正在进行同时定位与建图(SimultaneousLocalization and Mapping,SLAM)、多个用户正在进行多人地图构建等的场景，可能有多个正在使用的终端10，多个终端10可能均正在使用深度相机11且多个深度相机11发射的光线可能均为相同的波段(例如均为940nm)，故多个深度相机11之间可能会互相干扰，具体为某一个深度相机11会受到其余的深度相机11发射的光线的干扰。因此，需要避免多个深度相机11同时使用时的互相干扰问题。

处理器12在光发射器111发射光线前，获取第一时刻的场景的测试红外图像。如上所述，在某些多个深度相机11正在同时使用的场景下，当一个新的深度相机11需要加入到该场景中使用时，可以先不立即控制该新的深度相机11获取深度图像，以免与其余深度相机11相互影响。基于此，可以先获取第一时刻的场景的测试红外图像，以用于判断在第一时刻场景中是否有较多的红外干扰，而为了避免在后续判断中将该新的深度相机11发射的光线当作红外干扰，在获取测试红外图像时，可以先保持光发射器111关闭，即光发射器111先不发射光线。在本申请实施例中，光发射器111未发射红外光线时，处理器12获取由光接收器112采集场景的测试红外图像，测试红外图像可以反映第一时刻的场景中红外光线的强弱及分布情况等信息。

处理器12依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值。具体地，能量阈值可以依据终端10自身的抗干扰能力及当前功能要求的深度信息的精确度等进行设定，例如当前功能仅用于拍摄三维图像，能量阈值可以设置得较大，当前功能为多人地图构建时，能量阈值可以设置得较小等，以满足不同场景的使用需求。

处理器12在场景中的红外干扰能量不小于能量阈值时，获取第二时刻的场景的红外图像以作为测试红外图像，第二时刻迟于第一时刻。当判断场景中的红外干扰能量不小于能量阈值时，说明第一时刻场景中具有较强的红外干扰，如果控制光发射器111在第一时刻发射光线且控制光接收器112在第一时刻采集红外图像，则采集的红外图像将会受到较大的红外干扰，最终获取的深度信息准确性不高，其中，该红外干扰可能来自其余深度相机11发射的光线和自然光中的红外光。因此，需要重新确定红外干扰较小的时刻以用于采集深度图像。具体地，可以获取第二时刻的场景的红外图像以作为测试红外图像，第二时刻获取的测试红外图像同样可以用到步骤042的判断中去。同理，当判断第二时刻获取的测试红外图像中的红外干扰能量依然不小于能量阈值时，可以再获取第三时刻(第三时刻迟于第二时刻)的场景的测试红外图像，并判断第三时刻的测试红外图像中的红外干扰能量是否小于能量阈值，并以此类推，直至确认到第N时刻的测试红外图像中的红外干扰能量小于能量阈值时，实施步骤044。

处理器12在场景中的红外干扰能量小于能量阈值量时，控制深度相机11采集深度图像。当判断场景中的红外干扰能量小于能量阈值时，说明获取测试红外图像的时刻的红外干扰能量是较小的，是满足当前的使用需求的。因此，可以控制深度相机11采集深度图像，具体为控制光发射器111发射光线并同时控制光接收器112开始采集红外图像。

请结合图6至图8，在本申请实施例中，当前场景中，两个终端10a及10b均对场景中的物体D进行拍摄，终端10a在拍摄时发出的光线为La，终端10b在拍摄时发出的光线为Lb。其中，终端10a为场景中已经处于正常采集状态的终端10，终端10a以采集周期T采集场景的深度信息，具体地，终端10a的深度相机11将在ta1、ta2、ta3、ta4……taN等时刻发射光线并采集场景的红外图像，其中，ta2与ta1间隔一个采集周期T，ta3与ta2间隔一个采集周期T，ta4与ta3间隔一个采集周期T……taN与taN-1间隔一个采集周期T。

在如图7所示的例子中，当终端10b需要在同一个场景中采集深度信息时，处理器12先控制终端10b的深度相机11采集第一时刻tb1的场景的红外图像，由图7所示，在第一时刻tb1，终端10a的深度相机11并未处在发射光线的状态，场景中的红外干扰能量较小，可以判断第一时刻tb1终端10b的深度相机11可以采集到较准确的深度图像。而由于第一时刻tb1已经过去了，故可以控制终端10b的深度相机11在与第一时刻tb1相差整数个采集周期T的时刻(即在tb2、tb3、tb4……tbN)采集深度图像，具体为控制终端10b的深度相机11在tb2、tb3、tb4……tbN时刻发射光线并开始采集场景的红外图像，在tb2、tb3、tb4……tbN时刻均不会受到终端10a的影响，其中，tb2与tb1间隔一个采集周期T，tb3与tb2间隔一个采集周期T，tb4与tb3间隔一个采集周期T……tbN与tbN-1间隔一个采集周期T。

在如图8所示的例子中，当终端10b需要在同一个场景中采集深度信息时，处理器12先控制终端10b的深度相机11采集第一时刻tb1的场景的红外图像，由图8所示，在第一时刻tb1，终端10a的深度相机11正好处在发射光线的状态，场景中的红外干扰能量较大，可以判断在第一时刻tb1终端10b的深度相机11无法采集到较准确的深度图像，此时需要重新找到场景中的红外干扰能量较小的时刻。故在迟于第一时刻tb1的第二时刻tb2采集场景的测试红外图像。当第二时刻tb2与终端10a的深度相机11的采集时刻(ta1、ta2、ta3、ta4……taN)均不重合(不在同一时刻或者不在很接近的时刻)时，依据第二时刻tb2采集的测试红外图像的红外干扰能量较小，可以判断第二时刻tb2终端10b的深度相机11可以采集到较准确的深度图像。而由于第二时刻tb2已经过去了，故可以控制终端10b的深度相机11在与第二时刻tb2相差整数个采集周期T的时刻(即在tb3、tb4……tbN)采集深度图像，具体为控制终端10b的深度相机11在tb3、tb4……tbN时刻发射光线并开始采集场景的红外图像，在tb3、tb4……tbN时刻均不会受到终端10a的影响，其中，tb3与tb2间隔一个采集周期T，tb4与tb3间隔一个采集周期T……tbN与tbN-1间隔一个采集周期T。

当然，图6至图8中的例子仅用于举例说明，并不能理解为对本申请的限定，例如，终端10的数量不限定为两个，还可以是三个、四个、五个、六个等；多个终端10的采集周期可以不是完全相等。

在某些实施方式中，第二时刻与第一时刻的时间差不等于采集周期的整数倍。后进入场景的终端10的采集周期与场景已有的终端10的采集周期可能相同，通过后进入场景的终端10判断第一时刻场景中具有较多的红外干扰，如果第二时刻与第一时刻之间相差整数倍个采集周期，则第二时刻的场景中很可能也具有较多的红外干扰，因此，使得第二时刻与第一时刻的时间差不等于采集周期的整数倍，可以较快速地找到场景中红外干扰较小的时刻。

具体地，如图8所示的例子，第一时刻tb1与第二时刻tb2之间的时间差为T+Δt，其中，T为采集周期，且T+Δt不为采集周期T的整数倍。在一个例子中，Δt可以为T/3、2T/3、T/2、4T/3、5T/3等任意不为0及不为T的整数倍的值，在此不作限制。

请参阅图9，在某些实施方式中，测试红外图像包括多个像素，控制方法还包括步骤092：判断多个像素的灰度值之和是否小于预设的第一阈值。

请参阅图5及图9，在某些实施方式中，测试红外图像包括多个像素，判断模块22可用于实施步骤092，即，判断模块22可用于判断多个像素的灰度值之和是否小于预设的第一阈值。

请参阅图1及图9，在某些实施方式中，测试红外图像包括多个像素，处理器12可用于实施步骤092，即，处理器12可用于判断多个像素的灰度值之和是否小于预设的第一阈值。

其中，图9中的步骤091、093及094的内容及具体实施细节，可以参照本申请说明书中对步骤041、043及044的描述，在此不再赘述，步骤092可以是步骤042的子步骤。

具体地，请结合图7及图8，测试红外图像包括多个像素，多个像素与场景中的多个位置一一对应，每个像素均具有灰度值，该灰度值可以反映该像素对应的场景中的位置反射回的红外光的能量，灰度值越大，表示该位置反射回的红外光的能量越大，灰度值越小，表示该位置反射回的红外光的能量越小。因此，可以通过计算所有像素的灰度值的和，以反映场景中总体的红外干扰能量的大小。

第一阈值可以是终端10内预先设定好的固定的值。第一阈值也可以依据场景的自然光的强度进行设定，例如终端10的光感器检测到当前自然光的强度值较大时，说明自然光中已经具有相对较多的红外干扰，此时可以将第一阈值设置得较大。

当处理器12判断多个像素的灰度值之和小于第一阈值时，则确定场景中的红外干扰能量小于能量阈值。处理判断多个像素的灰度值之和不小于(大于或等于)第一阈值时，则确定场景中的红外干扰能量大于能量阈值。以图7为例，测试红外图像M1的像素P的灰度值普遍较低，可能是来源于场景中自然光造成的红外干扰，测试红外图像M1的所有像素P的灰度值之和较小，则判断图7中的tb1时刻的红外干扰能量小于能量阈值。以图8为例，测试红外图像M2的像素P的灰度值较不均匀，呈现局部较大的分布情况，可能是来源于场景中自然光及其余终端10发射的光线共同造成的红外干扰，测试红外图像M2的所有像素P的灰度值之和较大，则判断图8中的tb1时刻的红外干扰能量大于能量阈值。测试红外图像M3的像素P的灰度值普遍较低，可能是来源于场景中自然光造成的红外干扰，测试红外图像M3的所有像素P的灰度值之和较小，则判断图8中的tb2时刻的红外干扰能量小于能量阈值。

在其他实施方式中，还可以通过判断测试红外图像中的多个像素中，灰度值超过预定灰度阈值的像素的数量与像素的总数量的比值是否大于比值阈值，当小于比值阈值时，判断红外干扰能量小于能量阈值。

请参阅图10，在某些实施方式中，控制方法还包括步骤0105：判断多个像素的灰度值的方差是否大于预设的方差阈值。在判断多个像素的灰度值的方差大于方差阈值时，实施步骤0102。

请参阅图5及图10，在某些实施方式中，判断模块22可用于实施步骤0105，即，判断模块22可用于判断多个像素的灰度值的方差是否大于预设的方差阈值。在判断多个像素的灰度值的方差大于方差阈值时，判断模块22实施步骤0102。

请参阅图1及图10，在某些实施方式中，处理器12还可用于实施步骤0105，即，处理器12可用于判断多个像素的灰度值的方差是否大于预设的方差阈值。在判断多个像素的灰度值的方差大于方差阈值时，处理器12实施步骤0102。

其中，图10中的步骤0101、0103及0104的内容及具体实施细节，可以参照本申请说明书中对步骤041、043及044的描述，图10中的步骤0102可以参照本申请说明书中对步骤092的描述，在此不再赘述。

具体地，多个像素的灰度值的方差可用于衡量多个像素的灰度值的离散程度，方差越大，说明多个像素的灰度值的离散程度越大，方差越小，说明多个像素的灰度值的离散程度较小。如上所述，红外干扰主要来源于自然光中的红外光及其余终端10发射的红外光，而自然光中的红外光较均匀，并不会造成多个像素的灰度值的方差的大幅增大，其余终端10发射的红外光不均匀，容易造成多个像素的灰度值的方差的大幅增大。

因此，当处理器12判断方差大于方差阈值时，则判断场景中存在其余终端10发射的红外干扰，处理器12可以直接执行步骤0103。当处理器12判断方差小于阈值时，则判断场景中不存在其余终端10发射的红外干扰，处理器12可以继续执行步骤0104，以判断自然光的红外干扰是不是过大。其中，方差阈值可以是终端10在出厂时自带的设置，用户也可以对方差阈值进行个性化的调整。

请参阅图11，在某些实施方式中，测试红外图像包括多个像素，控制方法还包括步骤：

01122：计算多个像素的初始灰度值分别减去校正值后得到的多个像素的最终灰度值，校正值为多个初始灰度值的众数；及

01123：判断多个最终灰度值之和是否小于预设的第二阈值。

请参阅图11及图12，在某些实施方式中，测试红外图像包括多个像素，判断模块22包括第一计算单元221及判断单元222。第一计算单元221可用于实施步骤01122，即，第一计算单元221可用于计算多个像素的初始灰度值分别减去校正值后得到的多个像素的最终灰度值，校正值为多个初始灰度值的众数。判断单元222可用于实施步骤01123，即，判断单元222可用于判断多个最终灰度值之和是否小于预设的第二阈值。

请参阅图1及图11，在某些实施方式中，测试红外图像包括多个像素，处理器12可用于实施步骤01122及01123，即，处理器12可用于计算多个像素的初始灰度值分别减去校正值后得到的多个像素的最终灰度值，校正值为多个初始灰度值的众数；及判断多个最终灰度值之和是否小于预设的第二阈值。

其中，图11中的步骤0111、0113及0114的内容及具体实施细节，可以参照本申请说明书中对步骤041、043及044的描述，在此不再赘述，步骤01122及01123可以是步骤042的子步骤。

具体地，如上所述，场景中的红外干扰主要来源于自然光中的红外光及其余终端10发射的红外光，且自然光中的红外光较均匀，对多个像素的灰度值的影响程度相同，其余终端10发射的红外光较离散，对不同像素的灰度值的影响程度相差较大。另外，大部分像素的灰度值是仅由自然光中的红外光影响得到的，小部分像素的灰度值是由自然光中的红外光及其余终端10发射的红外光的共同影响得到的，因此，多个初始灰度值的众数(即多个初始灰度值中出现频率最高的值)则可以表示场景中自然光中的红外光的强度带来的影响。

处理器12将多个像素的初始灰度值分别减去校正值后得到多个最终灰度值，最终灰度值可表示仅由其余终端10发射的红外光对灰度值的影响。处理器12再判断多个最终灰度值之和是否小于预设的第二阈值，多个最终灰度值之和除去了自然光的影响，更能体现场景中是否有其余终端10发射的红外光的干扰，判断的结果较准确。其中，第二阈值可以是终端10在出厂时自带的设置，用户也可以对方差阈值进行个性化的调整。

如图13所示的例子，测试红外图像M0的多个像素P0的初始灰度值中，校正值为10，则将多个初始灰度值分别减去校正值后，得到测试红外图像Mt的多个像素Pt的最终灰度值，可以看出，多个最终灰度值大部分为0，比较最终灰度值之和时，避免了自然光中的红外光的干扰。

在其他实施方式中，还可以对测试红外图像进行其他处理后再判断场景中的红外干扰能量是否大于能量阈值，例如将测试红外图像的多个像素的灰度值进行固定倍数的直方图拉伸处理后，再依据处理后的测试红外图像进行判断，具体的判断方式可以结合上述对步骤021和/或步骤022的描述，在此不再赘述。

请参阅图14，在某些实施方式中，步骤044包括步骤：

0141：控制光发射器111以第一工作频率向当前场景发射激光；

0142：控制光接收器112以第二工作频率获取场景的采集图像，第二工作频率大于第一工作频率；

0143：在采集图像中区分出在光发射器111未发射激光时采集的第一图像及在光发射器111发射激光时采集的第二图像；和

0144：根据第一图像、第二图像及参考图像计算深度图像。

请参阅图14及图15，在某些实施方式中，控制模块24包括第一控制单元241、第二控制单元242、区分单元243及第二计算单元244。第一控制单元241可用于实施步骤0141，第二控制单元242可用于实施步骤0142，区分单元243可用于实施步骤0143，第二计算单元244可用于实施步骤0144。也即是说，第一控制单元241可用于控制光发射器111以第一工作频率向当前场景发射激光；第二控制单元242可用于控制光接收器112以第二工作频率获取场景的采集图像；区分单元243可用于在采集图像中区分出在光发射器111未发射激光时采集的第一图像及在光发射器111发射激光时采集的第二图像；第二计算单元244可用于根据第一图像、第二图像及参考图像计算深度图像。

请参阅图1及图14，在某些实施方式中，处理器12还可用于实施步骤0141、0142、0143及0144。也即是说，处理器12可用于控制光发射器111以第一工作频率向当前场景发射激光；控制光接收器112以第二工作频率获取场景的采集图像，第二工作频率大于第一工作频率；在采集图像中区分出在光发射器111未发射激光时采集的第一图像及在光发射器111发射激光时采集的第二图像；和根据第一图像、第二图像及参考图像计算深度图像。

具体地，光接收器112与光发射器111工作频率不同(即第二工作频率大于第一工作频率)，例如图16所示，实线表示光发射器111发射激光的时序，虚线表示光接收器112获取采集图像的时序及采集图像的帧数，点划线表示根据第一图像和第二图像得到的仅由光发射器111发射的红外激光形成的散斑图像的帧数，图16中由上至下，依次为实线、虚线及点划线，其中，第二工作频率为第一工作频率的两倍。请参阅图16中实线与虚线部分，处理器12控制光接收器112在光发射器111未投射激光时先接收环境中的红外光(下称环境红外光)以获取第N帧采集图像(此时为第一图像，也可称作背景图像)；随后，处理器12控制光接收器112在光发射器111投射激光时接收环境红外光以及由光发射器111发射的红外激光以获取第N+1帧采集图像(此时为第二图像，也可称作干扰散斑图像)；随后，处理器12再控制光接收器112在光发射器111未投射激光时接收环境红外光以获取第N+2帧采集图像(此时为第一图像)，依此类推，光接收器112交替地获取第一图像和第二图像。

需要说明的是，处理器12可以控制光接收器112先获取第二图像，再获取第一图像，并根据这个顺序交替执行采集图像的获取。另外，上述的第二工作频率与第一工作频率之间的倍数关系仅为示例，在其他实施例中，第二工作频率与第一工作频率之间的倍数关系还可以是三倍、四倍、五倍、六倍等等。

处理器12对每个采集图像进行区分，判断采集图像是第一图像还是第二图像。处理器12获取到至少一帧第一图像和至少一帧第二图像后，即可根据第一图像、第二图像以及参考图像计算深度信息。具体地，由于第一图像是在光发射器111未投射激光时采集的，形成第一图像的光线仅包括环境红外光，而第二图像是在光发射器111投射激光时采集的，形成第二图像的光线同时包括环境红外光和光发射器111发射的红外激光，因此，处理器12可以根据第一图像来去除第二图像中的由环境红外光形成的采集图像的部分，从而得到仅由光发射器111发射的红外激光形成的采集图像(即由红外激光形成的散斑图像)。

可以理解，环境光中包括与光发射器111发射的激光波长相同的红外光(例如，包含940nm的环境红外光)，光接收器112获取采集图像时，这部分红外光也会被光接收器112接收。在场景的亮度较高时，光接收器112接收的光线中环境红外光的占比会增大，导致采集图像中的激光散斑点不明显，从而影响深度图像的计算。本实施方式中，光发射器111与光接收器112以不同的工作频率工作，光接收器112可以采集到仅由环境红外光形成的第一图像以及同时由环境红外光和光发射器111发射的红外激光形成的第二图像，并基于第一图像去除掉第二图像中由环境红外光形成的图像部分，由此能够区分出激光散斑点，并能采用仅由光发射器111发射的红外激光形成的采集图像来计算深度信息，激光散斑匹配不受影响，可以避免深度信息出现部分或全部缺失，从而提升深度信息的精确度。

在某些实施方式中，步骤0143包括：

01431：根据每一帧采集图像的采集时间确定在采集时间下光发射器111的工作状态；

01432：根据工作状态为每一帧采集图像添加图像类型；及

01433：根据图像类型区分第一图像与第二图像。

请再参阅图15，在某些实施方式中，步骤01431、步骤01432及步骤01433均可以由区分单元243实施。也即是说，区分单元243还可用于根据每一帧采集图像的采集时间确定在采集时间下光发射器111的工作状态；根据工作状态为每一帧采集图像添加图像类型及根据图像类型区分第一图像与第二图像。

请参阅图1及图2，在某些实施方式中，步骤01431、步骤01432及步骤01433均可以由处理器12实施。也即是说，处理器12还可用于根据每一帧采集图像的采集时间确定在采集时间下光发射器111的工作状态；根据工作状态为每一帧采集图像添加图像类型及根据图像类型区分第一图像与第二图像。

具体地，处理器12每从光接收器112接收到一帧采集图像，都会为采集图像添加图像类型(stream_type)，以便于后续处理中可以根据图像类型区分出第一图像和第二图像。具体地，在光接收器112获取采集图像的期间，处理器12会通过I2C总线实时监测光发射器111的工作状态。处理器12每从光接收器112接收到一帧采集图像，会先获取采集图像的采集时间，再根据采集图像的采集时间来判断在采集图像的采集时间下光发射器111的工作状态是投射激光还是未投射激光，并基于判断结果为采集图像添加图像类型。其中，采集图像的采集时间可以是光接收器112获取每一帧采集图像的开始时间、结束时间、介于开始时间至结束时间之间的任意一个时间等等。如此，可以实现每一帧采集图像与光发射器111在该帧采集图像获取期间的工作状态(投射激光或未投射激光)的对应，准确区分出采集图像的类型。在一个例子中，图像类型stream_type的结构如表1所示：

表1

表1中stream为0时，表示此时的数据流为由红外光和/或红外激光形成的图像。light为00时，表示此时的数据流是在没有任何设备投射红外光和/或红外激光(仅有环境红外光)的情形下获取的，那么处理器12可以对采集图像添加000的图像类型，以标识这一采集图像为第一图像。light为01时，表示此时的数据流是在光发射器111投射红外激光(既有环境红外光，又有红外激光)的情形下获取的。处理器12可以对采集图像添加001的图像类型，以标识这一采集图像为第二图像。处理器12后续即可根据stream_type来区分采集图像的图像类型。

在某些实施方式中，处理器12包括第一存储区、第二存储区以及逻辑减电路，逻辑减电路与第一存储区及第二存储区均连接。其中，第一存储区用于存储第一图像，第二存储区用于存储第二图像，逻辑减电路用于处理第一图像和第二图像得到由红外激光形成的散斑图像。具体地，逻辑减电路从第一存储区读取第一图像，从第二存储区读取第二图像，在获取到第一图像和第二图像后，对第一图像和第二图像执行减法处理得到由红外激光形成的散斑图像。逻辑减电路还与处理器12中的深度计算模块(例如，可以是专门用于计算深度的集成电路ASIC等)连接，逻辑减电路将由红外激光形成的散斑图像发送到深度计算模块中，由深度计算模块根据由红外激光形成的散斑图像和参考图像计算深度信息。

请参阅图17，本申请还提供一种包含计算机可读指令的非易失性计算机可读存储介质200。计算机可读指令被处理器300执行时，使得处理器300执行上述任意一项实施方式所述的控制方法。处理器300可以是图1及图2中的处理器12。

例如，请结合图4，计算机可读指令被处理器300执行时，使得处理器300执行以下步骤：

041：在光发射器发射光线前，获取第一时刻的场景的测试红外图像；

042：依据测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；

043：若否，获取第二时刻的场景的红外图像作为测试红外图像，第二时刻迟于第一时刻；及

044：若是，控制深度相机采集深度图像。

在本说明书的描述中，参考术语“某些实施方式”、“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

Claims (14)

1.一种深度相机的控制方法，其特征在于，所述深度相机包括光发射器，所述控制方法包括：

在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；

依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；

若否，获取第二时刻的场景的红外图像作为所述测试红外图像，所述第二时刻迟于所述第一时刻；及

若是，控制所述深度相机采集深度图像。

2.根据权利要求1所述的控制方法，其特征在于，所述深度相机能够以预设的采集周期采集深度图像，所述第二时刻与所述第一时刻的时间差不等于所述采集周期的整数倍。

3.根据权利要求1或2所述的控制方法，其特征在于，所述测试红外图像包括多个像素，所述依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值，包括：

判断多个所述像素的灰度值之和是否小于预设的第一阈值。

4.根据权利要求3所述的控制方法，其特征在于，所述控制方法还包括：

判断多个所述像素的灰度值的方差是否大于预设的方差阈值；及

若是，依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值。

5.根据权利要求1所述的控制方法，其特征在于，所述测试红外图像包括多个像素，所述依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值，包括：

计算多个所述像素的初始灰度值分别减去校正值后得到的多个所述像素的最终灰度值，所述校正值为多个所述初始灰度值的众数；及

判断多个所述最终灰度值之和是否小于预设的第二阈值。

6.根据权利要求1所述的控制方法，其特征在于，所述深度相机还包括光接收器，所述控制所述深度相机采集深度图像，包括：

控制所述光发射器以第一工作频率向场景发射激光；

控制所述光接收器以第二工作频率获取场景的采集图像，所述第二工作频率大于所述第一工作频率；

在所述采集图像中区分出在所述光发射器未发射激光时采集的第一图像及在所述光发射器发射激光时采集的第二图像；和

根据所述第一图像、所述第二图像及参考图像计算深度图像。

7.一种深度相机的控制装置，其特征在于，所述深度相机包括光发射器，所述控制装置包括：

第一获取模块，所述第一获取模块用于在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；

判断模块，所述判断模块用于依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；

第二获取模块，所述第二获取模块用于若场景中的红外干扰能量不小于所述能量阈值，获取第二时刻的场景的红外图像以作为所述测试红外图像，所述第二时刻迟于所述第一时刻；及

控制模块，所述控制模块用于若场景中的红外干扰能量小于所述能量阈值，控制所述深度相机采集深度图像。

8.一种终端，其特征在于，所述终端包括深度相机及处理器，所述深度相机包括光发射器，所述处理器用于：

在所述光发射器发射光线前，获取第一时刻的场景的测试红外图像；

依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值；

若否，获取第二时刻的场景的红外图像作为所述测试红外图像，所述第二时刻迟于所述第一时刻；及

若是，控制所述深度相机采集深度图像。

9.根据权利要求8所述的终端，其特征在于，所述深度相机能够以预设的采集周期采集深度图像，所述第二时刻与所述第一时刻的时间差不等于所述采集周期的整数倍。

10.根据权利要求8或9所述的终端，其特征在于，所述测试红外图像包括多个像素，所述处理器还用于：

判断多个所述像素的灰度值之和是否小于预设的第一阈值。

11.根据权利要求10所述的终端，其特征在于，所述处理器还用于：

判断多个所述像素的灰度值的方差是否大于预设的方差阈值；及

若是，依据所述测试红外图像判断场景中的红外干扰能量是否小于预设的能量阈值。

12.根据权利要求8所述的终端，其特征在于，所述测试红外图像包括多个像素，所述处理器还用于：

计算多个所述像素的初始灰度值分别减去校正值后得到的多个所述像素的最终灰度值，所述校正值为多个所述初始灰度值的众数；及

判断多个所述最终灰度值之和是否小于预设的第二阈值。

13.根据权利要求8所述的终端，其特征在于，所述深度相机还包括光接收器，所述处理器还用于：

控制所述光发射器以第一工作频率向场景发射激光；

控制所述光接收器以第二工作频率获取场景的采集图像，所述第二工作频率大于所述第一工作频率；

在所述采集图像中区分出在所述光发射器未发射激光时采集的第一图像及在所述光发射器发射激光时采集的第二图像；和

根据所述第一图像、所述第二图像及参考图像计算深度图像。

14.一种包含计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被处理器执行时，使得所述处理器执行权利要求1-6任意一项所述的控制方法。