CN104023177A - 摄像机控制方法、装置及摄像机 - Google Patents

Abstract

本申请公开一种摄像机控制方法、装置及摄像机，该控制方法中，首先确定每个检测周期中，目标物体在场景图像中的像素点坐标，以及目标物体在深度图像中的像素点坐标；然后基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。该摄像机控制方法应用于摄像机，且所述摄像机中设置有用于生成场景图像的图像传感器，以及用于生成对应场景的深度图像的深度传感器。通过该方法，能够获取各检测周期中，目标物体与摄像机之间的距离，通过该距离实现对摄像机的焦距的调节，算法简单，并提高了变焦的准确性。

Description

摄像机控制方法、装置及摄像机

技术领域

本发明涉及信息处理技术领域，特别涉及一种摄像机控制方法、装置及摄像机。

背景技术

用于视频会议的摄像机是视频会议系统的基本设备，视频会议系统通常应用于两个以上的地点，这些摄像机分别设置在系统的各个地点，通过通信网络相互连接起来，用于拍摄包含本地用户的视频，并将视频传输至其它摄像机，从而使位于不同地点的用户能够通过视频相互交流。

在进行视频会议时，经常需要调节所述摄像机的焦距，实现摄像机的变焦。例如，发言者距离摄像机较远，导致摄像机拍摄的视频中，发言者的画面较小，使得在其它地点的用户无法通过视频看清该发言者发言时的表情，沟通体验差，这种情况下，就需要调节摄像机的焦距，以使发言者在视频中的画面大小保持在一定范围内。现有技术中，提供一种手动变焦的方法，用户通过手动调节摄像机的遥控器、变焦调节界面或变焦环等，实现对摄像机焦距的调节。但是该种方法操作繁琐，并且手动调节需要较长时间，焦距调节实时性差。为了解决这个问题，现有技术中还提供一种自动变焦的方法，该方法中，摄像机会实时检测需拍摄目标在视频中呈现的画面面积，然后根据所述面积调节摄像机的焦距，使需拍摄目标在视频中的画面始终保持合适的大小。

但是，发明人在研究过程中发现，现有技术提供的自动变焦的方法，在获取需拍摄目标在摄像头中呈现的面积时，采用的算法较为复杂，准确性不高。

发明内容

本发明实施例提供了一种摄像机控制方法、装置及摄像机，以一定程度上解决现有技术提供的自动变焦方法中，所具有的算法复杂，准确性不高的问题。

为了解决上述技术问题，本发明实施例公开了如下技术方案：

根据本公开实施例的第一方面，提供一种摄像机控制方法，所述方法包括：

在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

结合第一方面，在第一方面第一种可能的实现方式中，所述利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距的步骤包括：

根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)；

当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系；

通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

结合第一方面，在第一方面第二种可能的实现方式中，所述利用第一检测周期获取到的第一距离，和第二检测周期获取到的第二距离，调节所述摄像机的焦距的步骤包括：

在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例；

设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例；

获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

结合第一方面，在第一方面第三种可能的实现方式中，所述方法还包括：

在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值，并在所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距。

结合第一方面，在第一方面第四种可能的实现方式中，所述基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离，包括：

获取所述目标物体在深度图像中的像素点坐标对应的像素点的灰度级；

通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

结合第一方面，或者结合第一方面第一种可能的实现方式，或者结合第一方面第二种可能的实现方式，或者结合第一方面第三种可能的实现方式，或者结合第一方面第四种可能的实现方式，在第一方面第五种可能的实现方式中，所述方法还包括：

根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；

在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦。

结合第一方面，在第一方面第六种可能的实现方式中，所述确定所述目标物体在深度图像中的像素点坐标，包括：

基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

结合第一方面第六种可能的实现方式，在第一方面第七种可能的实现方式中，所述方法还包括：预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系；

所述预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系的步骤包括：

获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵；

获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

根据本公开实施例的第二方面，提供一种摄像机控制装置，所述装置包括：

确定模块，用于在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

获取模块，用于基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

调节模块，用于利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

结合第二方面，在第二方面第一种可能的实现方式中，所述调节模块包括：

第一获取单元，用于根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)；

第二获取单元，用于当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系；

第一调节单元，用于通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

结合第二方面，在第二方面第二种可能的实现方式中，所述调节模块包括：

第三获取单元，用于在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例；

第四获取单元，用于设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例；

第二调节单元，用于获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

结合第二方面，在第二方面第三种可能的实现方式中，所述摄像机控制装置还包括：

判断模块，用于在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值，并在所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距。

结合第二方面，在第二方面第四种可能的实现方式中，所述获取模块包括：

灰度级获取单元，用于获取所述目标物体在深度图像中的像素点坐标对应的像素点的灰度级；

距离获取单元，用于通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

结合第二方面，或者结合第二方面第一种可能的实现方式，或者结合第二方面第二种可能的实现方式，或者结合第二方面第三种可能的实现方式，或者结合第二方面第四种可能的实现方式，在第二方面第五种可能的实现方式中，所述摄像机控制装置还包括：

设置模块，用于根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；

聚焦模块，用于在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦。

结合第二方面，在第二方面第六种可能的实现方式中，所述确定模块包括：

确定单元，用于基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

结合第二方面第六种可能的实现方式，在第二方面第七种可能的实现方式中，所述摄像机控制装置还包括：对应关系确定模块，所述对应关系确定模块用于预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系；

所述对应关系确定模块包括：

成像关系表达式获取单元，用于获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵；

透视变换矩阵获取单元，用于获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

根据本公开实施例的第三方面，提供一种摄像机，所述摄像机包括：处理器、存储器、图像传感器和深度传感器，

其中，所述图像传感器用于产生包含目标物体的场景图像；

所述深度图像传感器用于产生包含目标物体的深度图像；

所述存储器用于存储对摄像机进行控制的程序；

所述处理器用于读取所述存储器中存储的程序，并根据所述程序执行摄像机控制的操作，所述摄像机控制的操作包括：

在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

结合第三方面，在第三方面第一种可能的实现方式中，所述图像传感器和深度传感器集成在同一传感器中；

或者，所述图像传感器和深度传感器均设置在摄像机镜头的后方，所述图像传感器和深度传感器设置在不同的水平高度上，在摄像机镜头和所述图像传感器、深度传感器之间设置有半反半透镜；

或者，所述图像传感器设置在摄像机镜头的后方，并且所述图像传感器与所述深度传感器并排地摆列。

本申请公开一种摄像机控制方法、装置及相应的摄像机，在所述摄像机控制方法中，首先在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；然后，基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；再利用在第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

该摄像机控制方法，通过不同检测周期中获取到的目标物体与摄像机之间的距离，即可实现对摄像机的焦距的调节。目标物体与摄像机的距离的变化，能够体现目标物体在视频中呈现的面积大小。和现有技术相比，本申请公开的方法根据目标物体与摄像机之间的距离，实现对焦距的调节时，所采用的算法简单，较易实现，并具有更高的准确性和鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明公开的一种摄像机控制方法的实施例流程图；

图2为本发明公开的又一种摄像机控制方法的实施例流程图；

图3为本发明公开的摄像机成像模型示例图；

图4为本发明公开的摄像机成像的几何关系示意图；

图5为本发明公开的又一种摄像机控制方法的实施例流程图；

图6为本发明公开的又一种摄像机控制方法的实施例流程图；

图7为现有技术公开的深度传感器的工作原理示意图；

图8为本申请公开的一种摄像机的结构示意图；

图9为本申请公开的又一种摄像机的结构示意图；

图10为本发明公开的一种摄像机控制装置的结构示意图；

图11为本发明公开的又一种摄像机控制装置的结构示意图；

图12为本发明公开的又一种摄像机控制装置的结构示意图；

图13为本发明公开的又一种摄像机控制装置的结构示意图。

具体实施方式

本申请实施例提供一种摄像机控制方法、装置及摄像机，以解决摄像机利用现有技术进行自动变焦时，目标检测算法复杂，准确性低的问题。

为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。

图1为本申请实施例提供的一种摄像机控制方法的流程示意图。参见图1，所述摄像机控制方法包括：

步骤101、在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标。

本申请公开的摄像机控制方法，应用于摄像机，并且所述摄像机中设置有图像传感器和深度传感器。所述图像传感器通常采用CCD(Charge-coupled Device，电荷耦合元件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)的彩色图像传感器，并由所述彩色图像传感器产生RGB(Red/Green/Blue，红/绿/蓝)格式的彩色图像，将所述RGB图像作为场景图像。另外，还可以采用黑白图像传感器，将生成的黑白图像作为场景图像。所述深度传感器用于产生深度图像，深度图像中像素点的灰度级能够表征该像素点所对应的被拍摄对象距离所述摄像机的距离。

所述目标物体为拍摄场景的整体或部分，为拍摄场景中用户感兴趣的部分。在确定目标物体在场景图像中的像素点坐标时，可以利用目标物体的属性特征。所述属性特性包括线条、形状和面积等。通过目标检测算法和属性特征，即可获取目标物体在场景图像中的像素点。进一步的，根据场景图像中的像素点和深度图像中的像素点的对应关系，即可确定所述目标物体在深度图像中的像素点坐标。

步骤102、基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离。

步骤103、利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

设定两个检测周期分别为第一检测周期和第二检测周期，两个检测周期中获取到的距离分别为第一距离d₁和第二距离d₂。通过所述第一距离d₁和第二距离d₂能够反映两个检测周期中，目标物体与摄像机的距离的变化，从而体现目标物体在视频中呈现的面积大小。例如，当第二距离d₂大于第一距离d₁时，目标物体在视频中呈现的面积减小，需要将摄像机的焦距调大；当第二距离d₂小于第一距离d₁时，目标物体在视频中呈现的面积增大，需要将摄像机的焦距调小。

由上述实施例可见，该实施例公开的摄像机控制方法中，首先确定每个检测周期中，目标物体在场景图像中的像素点坐标，以及目标物体在深度图像中的像素点坐标；然后基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；再利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

该摄像机控制方法应用于摄像机，且所述摄像机中设置有用于生成场景图像的图像传感器，以及用于生成深度图像的深度传感器。通过该方法，能够获取各检测周期中，目标物体与摄像机之间的距离，而目标物体与摄像机的距离的变化，能够体现目标物体在视频中呈现的面积大小。和现有技术相比，本申请公开的方法根据目标物体与摄像机之间的距离，实现对焦距的调节时，所采用的算法简单，较易实现，并具有更高的准确性和鲁棒性。

在步骤103中，公开了利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距的方案，参见图2，该方案可采用多种方式实现，其实现方式参见以下实施例。

步骤1011、在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标。

步骤1012、基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离。

步骤1011至步骤1012的实施过程与步骤101至步骤102的实施过程相同，可相互参照，此处不再赘述。

步骤1013、设定两个检测周期分别为第一检测周期和第二检测周期。根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)。

由于摄像机可被安放在环境中的任意位置，在环境中任意选择一个基准坐标系来描述摄像机的位置，并用它描述环境中其他物体的位置，该坐标系称为世界坐标系。

世界坐标系的坐标较难测量，而像素点坐标通过图像即可获取，因此，本实施例中，在获取像素点坐标后，通过所述像素点坐标确定目标物体的世界坐标。

步骤1014、当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系。

步骤1015、通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

通过步骤1013至步骤1015的操作，实现了对摄像机的焦距的调节。

当世界坐标系以摄像机的光心为世界坐标系的原点时，摄像机成像模型如图3所示，其中，x_c,y_c,z_c为世界坐标系，x,y为场景图像或深度图像的成像平面坐标系，m,n为场景图像或深度图像的像素坐标系，O_c为摄像机的光心，O_cz_c为摄像机的光轴，O_cp为焦距f。

其中，世界坐标系的x_c,y_c,z_c坐标轴，分别代表物体所处的三维空间的坐标，单位为米或毫米；场景图像上建立的成像平面坐标系，代表物体在图像传感器上的成像平面所在的坐标系，深度图像上建立的成像平面坐标系，代表物体在深度传感器上的成像平面所在的坐标系，成像坐标系的x,y坐标轴，分别代表水平和垂直坐标轴，单位为米或毫米；场景图像上建立的像素坐标系，为物体通过图像传感器成像后，在像素位置上的坐标系，深度图像上建立的像素坐标系，为物体通过深度传感器成像后，在像素位置上的坐标系，像素坐标系的m,n坐标轴，分别代表水平和垂直坐标轴，单位为像素。

另外，同一场景图像的成像平面坐标系和像素坐标系之间，或者同一深度图像的成像平面坐标系和像素坐标系之间，可通过一定比例进行转换。

参考图4所示的摄像机成像的几何关系示意图，可知世界坐标系和成像平面坐标系的对应关系为：

$x=f_x\frac{x_c}{z_c}---\left(1\right),y=f_y\frac{y_c}{z_c}---\left(2\right).$

其中，f_x和f_y分别为摄像机的焦距f在x和y上的等效焦距；x_c,y_c,z_c为世界坐标系的坐标轴；x,y为成像坐标系的坐标轴。

根据公式(1)和公式(2)，可得到某一对象点在三维空间的世界坐标系和成像平面坐标系的变换关系为：

$\stackrel{\‾}{m}=K\left[R\right|t]{\stackrel{\‾}{X}}_c---\left(3\right),K=\left[\begin{array}{ccc}{f}_x& s& u_0\\ 0& f_y& v_0\\ 0& 0& 1\end{array}\right]---\left(4\right).$

其中，为平面坐标的齐次表示；为世界坐标系的齐次表示。f_x和f_y分别为x和y上的等效焦距；s为图像的畸变系数；u₀,v₀为图像主点坐标。R为摄像机的旋转矩阵，t为摄像机平移向量。其中K称为摄像机的内参，R和t称为摄像机的外参。

根据公式(3)和公式(4)，可知在某一时刻，场景图像中某一对象点的像素点坐标和世界坐标的关系为：

$\mathrm{\β}(u-u_0)=f\frac{x_c}{f+d}---\left(5\right),\mathrm{\β}\left({v-v}_0\right)=f\frac{y_c}{f+d}---\left(6\right).$

其中，(u，v)为所述对象点在场景图像中的像素点坐标，(u₀,v₀)为图像主点坐标，图像主点为摄像机光轴和场景图像的成像平面的交点，f为焦距，β为场景图像中图像坐标系和像素坐标系之间进行转换的比例因子，d为所述对象点到图像传感器的距离，由于所述图像传感器设置在摄像机中，因此可认为d为所述对象点到摄像机的距离，该距离可通过深度图像获取。通常深度图像中每个像素点的灰度级，代表了该像素点对应的拍摄对象与所述深度传感器的距离的量化，不同灰度级分别代表了拍摄对象与深度传感器之间不同的距离。通过深度传感器生成的深度图像、灰度级的量化级数和量化算法，就可以获取每个灰度级代表的实际深度值，计算得出各个像素点对应的拍摄对象与摄像机的距离。

通过上述可知，当世界坐标系以摄像机的光心为世界坐标系的原点时，根据第一检测周期获取到的第一距离d₁，以及所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)，获取目标物体在第一检测周期中的世界坐标(x_c1,y_c1)的算法为：

$\mathrm{\β}(u_1-u_0)=f_1\frac{x_{c1}}{f_1+d_1}---\left(7\right),\mathrm{\β}(v_1-v_0)=f_1\frac{y_{c1}}{f_1+d_1}---\left(8\right);$

其中，(u₁,v₁)为目标物体在第一检测周期的场景图像中的像素点坐标；(u₀,v₀)为图像主点在场景图像中的像素点坐标；β为所述场景图像对应的图像坐标系和像素坐标系之间进行转换时的比例因子；f₁为所述摄像机当前的焦距；d₁为所述目标物体与所述摄像机之间的第一距离；(x_c1,y_c1)为目标物体在第一检测周期中的世界坐标。其中，d₁可通过第一检测周期中的深度图像获取。

目标物体在第一检测周期的场景图像中的像素点坐标(u₁,v₁)，可基于所述目标物体的特征，对场景图像进行查询获取。其中，所述目标物体的特征可包括所述目标物体的线条、形状等。

其中，由于f₁焦距要远小于d₁，因此可忽略不计，并设定b＝βu₀，则公式(7)和公式(8)可简化为：

$u_1\≈\mathrm{af}\frac{x_{c1}}{d_1}+b---\left(9\right),v_1\≈\mathrm{af}\frac{y_{c1}}{d_1}+b---\left(10\right).$

相应的，根据上述陈述可知，在步骤1013中，根据在第二检测周期中所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)时，公式为：

$\mathrm{\β}(u_2-u_0)=f_1\frac{x_{c2}}{f_1+d_2}---\left(11\right),\mathrm{\β}(v_2-v_0)=f_1\frac{y_{c2}}{f_1+d_2}---\left(12\right).$

其中，(u₂,v₂)为目标物体在第二检测周期的场景图像中的像素点坐标；(u₀,v₀)为图像主点在场景图像中的像素点坐标；β为所述场景图像对应的图像坐标系和像素坐标系之间进行转换时的比例因子；f₁为所述摄像机当前的焦距；d₂为所述目标物体与所述摄像机之间的第二距离；(x_c2,y_c2)为所述目标物体在第二检测周期中的世界坐标。其中，d₂可通过第二检测周期的深度图像获取。

由于第二检测周期中，还未调节焦距，摄像机当前的焦距仍为f₁，则可获取第二检测周期中，目标物体的世界坐标。并且，当b＝βu₀时，公式(11)和公式(12)可简化为：

$u_2\≈{\mathrm{af}}_1\frac{x_{c2}}{d_2}+b---\left(13\right),v_2\≈a{f}_1\frac{y_{c2}}{d_2}+b---\left(14\right).$

在步骤1014中，设定所述摄像机调节后的焦距为f₂，并获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系。另外，根据在第一检测周期获得的所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，可获取公式(9)和(10)。另外，根据公式(13)和公式(14)，可知焦距f₂与所述像素点坐标(u₂,v₂)的对应关系为：

$u_2\≈{\mathrm{af}}_2\frac{x_{c2}}{d_2}+b---\left(15\right),v_2\≈{\mathrm{af}}_2\frac{y_{c2}}{d_2}+b---\left(16\right).$

其中，b＝βu₀。

当目标物体和摄像机之间的距离发生变化时，目标物体在视频中的成像画面的大小会发生变化，为了对其进行补偿，需要调节摄像机的焦距，以使目标物体在视频中的成像画面的大小保持在一定范围中。步骤1015中，公开了获取像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值，并获取所述差值在预设范围内时焦距f₂的值的方案。该方案中，为了使目标物体在视频中的成像画面的大小保持在预设范围中，则应使且其中为所述的预设范围，即满足如下公式：

$\left|a\right[f_2\frac{x_{c2}}{d_2}-f_1\frac{x_{c1}}{d_1}\left]\right|=\∂---\left(17\right),\left|a\right[f_2\frac{y_{c2}}{d_2}-f_1\frac{y_{c1}}{d_1}\left]\right|=\∂---\left(18\right).$

求解公式(17)和公式(18)，由于x_c1,y_c1,x_c2,d₁,d₂,f₁的值都是已知的，即可获取焦距f₂的值，并将所述摄像机的焦距调节至f₂即可。

其中所述预设范围的值可根据应用需求进行设定。若需要使目标物体在视频中的成像画面的大小基本保持不变，则可设定所述预设范围的值为0。

另外，参见图5，还可以采用其他方式，实现对摄像机的焦距的调节。

步骤1021、在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标。

步骤1022、基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离。

步骤1021至步骤1022的实施过程与步骤101至步骤102的实施过程相同，可相互参照，此处不再赘述。

步骤1023、在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例。

步骤1024、设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例。

步骤1025、获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

步骤1021至步骤2025公开的方案，利用了两个检测周期中获取到的距离，实现对摄像机的焦距的调节。该实施例中，通常认为摄像机的焦距，与摄像机和目标物体的距离之间的比例在一定范围内时，目标物体在视频中呈现的画面大小基本维持在一定范围内。因此，在该实施例中，获取f₁与d₁的第一比例，以及f₂与d₂的第二比例后，计算所述第一比例和第二比例的差值在预设比例范围内时f₂的值，并将所述摄像机的焦距调节至f₂，实现自动变焦。

本申请公开一种摄像机控制方法，根据目标物体与摄像机之间的距离，实现摄像机的自动变焦。参见图6，为了避免变焦过于频繁，导致图像抖动，本申请公开了如下的实施例。

步骤111、在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标。

步骤112、基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离。其中，所述距离包括：第一检测周期获得的第一距离d₁和第二检测周期获得的第二距离d₂。

步骤113、在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值。

步骤114、判断所述差值是否在预设的阈值范围内，若否，则执行步骤115的操作，若是，则执行步骤116的操作。

步骤115、当判断得知，所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距，并利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

步骤116、当判断得知，所述差值在预设的阈值范围内时，确定当前不需要调节所述摄像机的焦距。

步骤111至步骤112的实施过程与步骤101至步骤102的实施过程相同，步骤115中利用两个检测周期中获取到的第一距离和第二距离，调节所述摄像机的焦距的实施过程，与步骤103的实施过程相同，可相互参照，此处不再赘述。

上述实施例中，预先设定了一个阈值范围。两个检测周期中获取到的距离的差值，能够反映目标物体的位置变化，若目标物体的位置变化小于所述阈值范围时，则暂时不对摄像机的焦距进行调节，当大于所述阈值范围时，才调节所述摄像机的焦距。所述阈值范围可根据主观图像效果和经验值进行设置。该方法能够避免由于变焦过于频繁，导致图像抖动，使图像保持一定的稳定性。

本申请公开了根据目标物体在深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离的步骤，该步骤包括：

首先，获取所述目标物体在所述深度图像中的像素点坐标对应的像素点的灰度级；然后，通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

其中，所述深度图像由设置在摄像机中的深度传感器产生。深度传感器是一种能够生成关于场景的深度图像的装置，其基本原理是向目标物体发射红外光线，并检测目标物体反射红外光线的时间差，通过所述时间差判定目标物体的距离。深度传感器能够实时获取深度图像，并且具有较强的准确性和可靠性。

参见图7所示的深度传感器的工作原理示意图。该图中，每一视频帧(Video Frame)的实线部分为红外光源发射的三角波亮度调制光(triangularly intensity-modulated)的红外光线，其虚线部分为物体反射回来的红外光线，两者之间的延迟为Δt＝2d/v，其中d为目标物体和红外光源之间的距离，v为光速。并且，图中虚线的竖线对部分为摄像机的快门打开时，深度传感器所接收到的光线。如果在红外光源亮度递增调制时，打开快门进行曝光，深度传感器接收到的红外光线的强度会随着物体的距离增大而变小，这种情况下，虚线部分向右移动，当深度传感器更少地接收到目标物体的反射光，表明目标物体与深度传感器之间的距离变远。相反的，如果在红外光源亮度递减调制时，打开快门进行曝光，接收到的红外光线的强度会随着目标物体的距离增大而增大，这种情况下，虚线部分向右移动，因此当深度传感器更多地接收到目标物体的反射光时，表明目标物体与深度传感器之间的距离变远。通过对亮度递增周期得到的光强和亮度递减周期时得到光强进行综合分析，即可消除物理反射特性的影响，获取目标物体与深度传感器之间的距离。

对亮度递增周期得到的光强和亮度递减周期时得到光强进行综合分析时，设定s(t)为红外光源产生的三角波的亮度调制光功率，I₊(t_s,d)和I_-(t_s,d)分别为亮度递增周期和亮度递减周期中，深度传感器接收到的光强，据此可产生如下表达式：

$I_{+}(t_s,d)=\frac{\mathrm{\σ}}{{\left({4\mathrm{\πd}}^2\right)}^2}(t_s-\frac{2d}{v})---\left(19\right);$

$I_{-}(t_s,d)=\frac{\mathrm{\σ}}{{\left({4\mathrm{\πd}}^2\right)}^2}s(\frac{T}{2}-(t_s-\frac{2d}{v}))---\left(20\right).$

其中，σ为目标物体的反向散射截面的面积，T为一个亮度调制周期的时长，t_s为快门打开的时刻。根据上述两个公式，可求出目标物体对红外光源的距离d为：

$d=\frac{1}{2}v[t_s-\frac{T}{2}\left(\frac{R}{1+R}\right)]---\left(21\right);R=\frac{I_{+}}{I_{-}}---\left(22\right).$

其中t_s的值可通过对摄像机的操作，预先设置。当t_s设定为时，则其中λ为三角波的波长。

根据上述计算方法可知，深度传感器能够根据在不同时刻(如亮度递增周期和亮度递减周期)中，接收到的同一目标物体反射的光强，确定该目标物体与自身的距离。并且，深度传感器会将计算得到的距离信息最终转换为灰度或彩色的深度图像，并输出所述深度图像。通常深度图像中每个像素点的灰度级，代表了该像素点对应的拍摄对象与所述深度传感器的距离的量化，不同灰度级分别代表了拍摄对象与深度传感器之间不同的距离。所述深度图像的帧率可以达到30fps或60fps，通常具有256个灰度级。通过深度传感器生成的深度图像、灰度级的量化级数和量化算法，就可以获取每个灰度级代表的实际深度值，计算得出各个像素点对应的拍摄对象与摄像机的距离。对于灰度形式的深度图像，亮度越高的像素区域表示该像素区域对应的被拍摄物体距离深度传感器越近，亮度越暗的像素区域表示该像素区域对应的被拍摄物体距离深度传感器越远，其中，灰度级为0的像素区域代表的是距离深度传感器最远的被拍摄物体，灰度级为255的像素区域代表的是距离深度传感器最近的被拍摄物体。

通过上述对深度传感器的工作原理的介绍，可知通过目标物体在深度图像中对应的像素点的灰度级，就能够获取目标物体与深度传感器之间的距离，并且，在本申请中，所述深度传感器设置在所述摄像机中，通过所述目标物体与深度传感器之间的距离，即可获取所述目标物体与摄像机之间的距离。

本申请公开的摄像机控制方法中，通过目标物体与摄像机在不同检测周期中的距离，对所述摄像机的焦距进行调节。另外，为了实现对目标物体的聚焦，本申请公开的摄像机控制方法还包括：

根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；

在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦，以使所述摄像机聚焦在所述目标物体上。

在完成摄像机焦距的调节后，还可以对聚焦位置进行调节，使聚焦位置调节到所述目标物体上，以得到成像质量更高的视频。在对摄像机的聚焦位置进行调节时，需要预先设置目标物体的聚焦优先级为最高优先级。当需要进行聚焦位置的调节时，通常会对场景图像进行分区，然后统计每个分区的聚焦值(Focus Value，FV)，通过对各个分区的聚焦值进行加权计算，获取各个分区的聚焦优先级，并将摄像机聚焦在聚焦优先级最高的位置，从而使所述摄像机优先聚焦在所述目标物体上。

另外，在本申请的实施例中，公开了在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标的步骤。其中，所述确定所述目标物体在深度图像中的像素点坐标的步骤包括：基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

本申请公开的摄像机控制方法，应用于摄像机，且所述摄像机中设置有图像传感器和深度传感器，所述图像传感器用于生成场景图像，所述深度传感器用于生成深度图像。对所述场景图像进行目标检测，即可获取目标物体在所述场景图像上生成的像素点，然后根据所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，即可确定所述目标物体在深度图像中的像素点坐标，以便在后续步骤中，根据所述目标物体在深度图像中的像素点坐标，确定所述目标物体在深度图像中的像素点，并获取所述像素点的灰度级，通过所述灰度级，获取所述目标物体与所述摄像机之间的距离。

所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，由图像传感器和深度传感器的放置位置决定，包括以下几种情况：

若深度传感器和图像传感器集成在一个传感器上时，例如在普通图像传感器的基础上增加能够感知深度信息的像素单元，则所述传感器能够同时输出场景图像和深度图像，并且输出的场景图像和深度图像是完全一致的场景，这种情况下，同一物体在场景图像上形成的像素点坐标，和在深度图像上形成的像素点坐标相同。并且，由于和场景图像相比，深度图像往往不需要场景图像那样的高分辨率和帧率，因此，可采用高分辨率和帧率的图像传感器，以及较低分辨率和帧率的深度传感器相结合的方案，从而节省成本。

另外，还可以采用独立的图像传感器和深度传感器。参见图8，其中图像传感器和深度传感器均设置在摄像机镜头后，并在所述图像传感器和摄像机镜头之间，以及深度传感器和摄像机镜头之间设置有一个半反半透镜，在所述半反半透镜的作用下，穿过摄像机镜头的入射光一部分反射给深度传感器成像，另一部透射至图像传感器成像。其中，所述半反半透镜通常与水平方向成45°角，另外，还可以成其他角度，本申请对此不作限定。该方案中利用半反半透镜实现分光，可以保证图像传感器和深度传感器拍摄的场景保持一致，这种情况下，同一物体在场景图像上形成的像素点坐标，和在深度图像上形成的像素点坐标相同。为了保证图像传感器的进光量，以获得较好的图像效果，可以控制半反半透镜的透射和反射光量的比例，例如透射光占总通光量的70％，反射光占总通光量的30％。

另一种情况中，采用的是独立的图像传感器和深度传感器，并且所述图像传感器和深度传感器用于成像的光线为不同的光线，例如，参见图9，其中，所述图像传感器设置在所述摄像机镜头的后方，并且所述图像传感器与所述深度传感器并排地摆列。其中，所述图像传感器通常与所述摄像机镜头在同一水平高度上。这种情况下，由于图像传感器和深度传感器用于成像的光路不同，因此二者拍摄的内容略有差异，造成场景图像和深度图像存在视差，从而需要对场景图像进行标定，获取目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。因此，所述摄像机控制方法还包括：预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

所述预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系的步骤包括：

首先，获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;---\left(23\right)$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵。

然后，获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

所述成像关系表达式中的H通常为一个3×3的矩阵，自由度为8，代表了场景图像和深度图像之间的变换关系，称之为透视变换矩阵。假设已知某一物体在场景图像中的像素点坐标为(x,y)，该物体在深度图像中的像素点坐标为(x',y')，据此可得到如下两个方程：

$x^{\′}=\frac{h_{11}x+h_{12}y+h_{13}}{h_{31}x+h_{32}y+h_{33}}---\left(24\right);y^{\′}=\frac{h_{21}x+h_{22}y+h_{23}}{h_{31}x+h_{32}y+h_{33}}---\left(25\right).$

由上述两个方程可知，最少需要通过四个已知坐标的对象点，建立8个方程，才可以求出H的值。所述四个对象点可由用户预先选取，并分别获取各对象点分别在场景图像和深度图像上的像素点坐标，将其代入上述两个方程中，即可求取H的值，从而获取目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

相应的，本申请实施例还公开了一种摄像机控制装置。参见图10，所述摄像机控制装置包括：确定模块100、获取模块200和调节模块300。

其中，所述确定模块100，用于在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

所述获取模块200，用于基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

所述调节模块300，用于利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

进一步的，参见图11，所述调节模块300包括：第一获取单元301、第二获取单元302和第一调节单元303。

其中，所述第一获取单元301，用于根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)；

所述第二获取单元302，用于当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系；

所述第一调节单元303，用于通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

另外，参见图12，所述调节模块300还可以为其他形式，包括：第三获取单元304、第四获取单元305和第二调节单元306。

其中，所述第三获取单元304，用于在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例；

第四获取单元305，用于设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例；

第二调节单元306，用于获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

进一步的，所述摄像机控制装置还包括：判断模块，所述判断模块用于在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值，并在所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距。

进一步的，参见图13，所述获取模块200包括：灰度级获取单元201和距离获取单元202。

其中，所述灰度级获取单元201，用于获取所述目标物体在深度图像中的像素点坐标对应的像素点的灰度级；

所述距离获取单元202，用于通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

进一步的，所述摄像机控制装置还包括：设置模块和聚焦模块。其中，所述设置模块用于根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；所述聚焦模块用于在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦。

进一步的，所述确定模块100包括：确定单元，所述确定单元用于基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

进一步的，所述摄像机控制装置还包括：对应关系确定模块，所述对应关系确定模块用于预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

所述对应关系确定模块包括：成像关系表达式获取单元和透视变换矩阵获取单元。其中，所述成像关系表达式获取单元，用于获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵；

所述透视变换矩阵获取单元，用于获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

本申请公开一种摄像机控制装置，所述摄像机控制装置在执行摄像机控制的操作时，首先由确定模块在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标，然后获取模块基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离，再由调节模块利用利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距，调节所述摄像机的焦距。

通过该装置，能够获取各检测周期中，目标物体与摄像机之间的距离，利用该距离实现对摄像机的焦距的调节，算法简单，并提高了变焦的准确性。

相应的，本申请还公开了一种摄像机。所述摄像机包括：处理器、存储器、图像传感器和深度传感器。

其中，所述图像传感器用于产生包含目标物体的场景图像；

所述深度图像传感器用于产生包含目标物体的深度图像；

所述存储器用于存储对摄像机进行控制的程序；

所述处理器用于读取所述存储器中存储的程序，并根据所述程序执行摄像机控制的操作，所述摄像机控制的操作包括：

在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

另外，在本申请实施例公开的摄像机中，所述图像传感器和深度传感器可以不同的形式放置。其中一种形式中，所述图像传感器和深度传感器集成在同一传感器中。另外，所述图像传感器和深度传感器还可以为两个独立的传感器。

当所述图像传感器和深度传感器为两个独立的传感器时，如图8所示，其中所述图像传感器和深度传感器均设置在摄像机镜头的后方，所述图像传感器和深度传感器设置在不同的水平高度上，在摄像机镜头和所述图像传感器、深度传感器之间设置有半反半透镜。其中，所述图像传感器通常与所述摄像机镜头在同一水平高度上，并和所述摄像机镜头在垂直方向排列，所述深度传感器设置在所述摄像机镜头和图像传感器之间，并通常设置在水平方向，所述半反半透镜设置在所述深度传感器上方，与水平方向成一定的倾斜角。所述倾斜角可为45°或其他角度，本申请对此不作限定。该方案中利用半反半透镜实现分光，可以保证图像传感器和深度传感器拍摄的场景保持一致，同一物体在场景图像上形成的像素点坐标，和在深度图像上形成的像素点坐标相同。并且，为了保证图像传感器的进光量，以获得较好的图像效果，可以控制半反半透镜的透射和反射光量的比例，例如透射光占总通光量的70％，反射光占总通光量的30％。

或者，当所述图像传感器和深度传感器为两个独立的传感器时，如图9所示，所述图像传感器和深度传感器用于成像的光线为不同的光线，其中，所述图像传感器设置在摄像机镜头的后方，并且所述图像传感器与所述深度传感器并排地摆列。另外，所述图像传感器通常与所述摄像机镜头在同一水平高度上。这种情况下，由于图像传感器和深度传感器用于成像的光路不同，因此二者拍摄的内容略有差异，造成场景图像和深度图像存在视差，从而需要对场景图像进行标定，获取目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

本申请公开的摄像机，能够根据场景图像和深度图像，获取不同检测周期中目标物体与摄像机之间的距离，并通过所述距离，实现对所述摄像机的焦距的调节。该方法所采用的算法简单，易于实现，且提高了焦距调节的准确性和鲁棒性。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备；)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (18)

1.一种摄像机控制方法，其特征在于，所述方法包括：

在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

2.根据权利要求1所述的方法，其特征在于，所述利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距的步骤包括：

根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,_yc2)；

当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系；

通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

3.根据权利要求1所述的方法，其特征在于，所述利用第一检测周期获取到的第一距离，和第二检测周期获取到的第二距离，调节所述摄像机的焦距的步骤包括：

在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例；

设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例；

获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值，并在所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距。

5.根据权利要求1所述的方法，其特征在于，所述基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离，包括：

获取所述目标物体在深度图像中的像素点坐标对应的像素点的灰度级；

通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

6.根据权利要求1至5所述的方法，其特征在于，所述方法还包括：

根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；

在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦。

7.根据权利要求1所述的方法，其特征在于，所述确定所述目标物体在深度图像中的像素点坐标，包括：

基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系；

所述预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系的步骤包括：

获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵；

获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

9.一种摄像机控制装置，其特征在于，所述装置包括：

确定模块，用于在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

获取模块，用于基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

调节模块，用于利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

10.根据权利要求9所述的装置，其特征在于，所述调节模块包括：

第一获取单元，用于根据在第二检测周期获得的所述目标物体与摄像机之间的第二距离d₂，以及所述目标物体在所述场景图像中的像素点坐标(u₂,v₂)，获取所述目标物体在第二检测周期中的世界坐标(x_c2,y_c2)；

第二获取单元，用于当设定所述摄像机调节后的焦距为f₂时，根据第二检测周期中所述目标物体的世界坐标(x_c2,y_c2)、所述第二距离d₂和所述目标物体在场景图像中的像素点坐标(u₂,v₂)，获取所述焦距f₂与所述像素点坐标(u₂,v₂)的对应关系；

第一调节单元，用于通过焦距f₂与所述像素点坐标(u₂,v₂)的对应关系、在第一检测周期中所述目标物体在所述场景图像中的像素点坐标(u₁,v₁)、第一检测周期中所述目标物体与摄像机之间的第一距离d₁和第一检测周期中摄像机的焦距f₁，获取所述像素点坐标(u₁,v₁)和像素点坐标(u₂,v₂)的差值在预设范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

11.根据权利要求9所述的装置，其特征在于，所述调节模块包括：

第三获取单元，用于在获取目标物体与摄像机在所述第一检测周期中的第一距离d₁后，获取所述第一检测周期中摄像机的焦距f₁与所述第一距离d₁的第一比例；

第四获取单元，用于设定所述摄像机调节后的焦距为f₂，在所述第二检测周期获取目标物体与摄像机的第二距离d₂后，获取焦距f₂与所述第二距离d₂的第二比例；

第二调节单元，用于获取当所述第一比例与第二比例间的差值在预设比例范围内时焦距f₂的值，并将所述摄像机的焦距调节至焦距f₂。

12.根据权利要求9所述的装置，其特征在于，所述摄像机控制装置还包括：

判断模块，用于在获取第一距离d₁和第二距离d₂后，计算第一距离d₁和第二距离d₂的差值，并在所述差值不在预设的阈值范围内时，确定需要调节所述摄像机的焦距。

13.根据权利要求9所述的装置，其特征在于，所述获取模块包括：

灰度级获取单元，用于获取所述目标物体在深度图像中的像素点坐标对应的像素点的灰度级；

距离获取单元，用于通过所述灰度级与距离的对应关系，获取所述目标物体与摄像机之间的距离。

14.根据权利要求9至13所述的装置，其特征在于，所述摄像机控制装置还包括：

设置模块，用于根据接收到的设置信息，设置所述目标物体的聚焦优先级为最高优先级；

聚焦模块，用于在调节所述摄像机的焦距后，调节所述摄像机的聚焦位置，使所述摄像机在聚焦优先级最高的位置聚焦。

15.根据权利要求9所述的装置，其特征在于，所述确定模块包括：

确定单元，用于基于所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系，以及所述目标物体在场景图像中的像素点坐标，确定所述目标物体在所述深度图像中的像素点坐标。

16.根据权利要求15所述的装置，其特征在于，所述摄像机控制装置还包括：对应关系确定模块，所述对应关系确定模块用于预先确定所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系；

所述对应关系确定模块包括：

成像关系表达式获取单元，用于获取所述场景图像和深度图像的成像关系表达式，所述成像关系表达式为：

$x^{\′}=\mathrm{Hx}=\left[\begin{array}{ccc}{h}_{11}& h_{12}& h_{13}\\ h_{21}& h_{22}& h_{23}\\ h_{31}& h_{32}& h_{33}\end{array}\right]x;$

其中，x为该物体在所述场景图像中的像素点坐标的齐次表示；x′为该物体在所述深度图像中像素点坐标的齐次表示；H为所述场景图像和深度图像的透视变换矩阵；

透视变换矩阵获取单元，用于获取四个对象点分别在所述场景图像和深度图像上的像素点坐标，据此获取所述成像关系表达式中H的值，从而获取同一物体在所述场景图像和深度图像的透视变换矩阵，通过所述透视变换矩阵表征所述目标物体在场景图像和深度图像中形成的像素点坐标的对应关系。

17.一种摄像机，其特征在于，所述摄像机包括：处理器、存储器、图像传感器和深度传感器，

其中，所述图像传感器用于产生包含目标物体的场景图像；

所述深度图像传感器用于产生包含目标物体的深度图像；

所述存储器用于存储对摄像机进行控制的程序；

所述处理器用于读取所述存储器中存储的程序，并根据所述程序执行摄像机控制的操作，所述摄像机控制的操作包括：

在每个检测周期，确定目标物体在场景图像中的像素点坐标，并确定所述目标物体在深度图像中的像素点坐标；

基于所述目标物体在所述深度图像中的像素点坐标，获取所述目标物体与摄像机之间的距离；

利用第一检测周期获得的第一距离，和第二检测周期获得的第二距离，调节所述摄像机的焦距。

18.根据权利要求17所述的摄像机，其特征在于，

所述图像传感器和深度传感器集成在同一传感器中；

或者，

所述图像传感器和深度传感器均设置在摄像机镜头的后方，所述图像传感器和深度传感器设置在不同的水平高度上，在摄像机镜头和所述图像传感器、深度传感器之间设置有半反半透镜；

或者，

所述图像传感器设置在摄像机镜头的后方，并且所述图像传感器与所述深度传感器并排地摆列。