CN105744163A - 一种基于深度信息跟踪对焦的摄像机及摄像方法 - Google Patents

Abstract

本发明提供一种基于深度信息跟踪对焦的摄像机及摄像方法。摄像机包括：跟踪摄像装置、摄像处理器、变焦镜头组和伺服电机；跟踪摄像装置获取被摄对象的深度信息，将深度信息传输给摄像处理器；摄像处理器根据深度信息确定跟踪摄像装置对应的方向调整值及变焦镜头组对应的距离调整值，将方向调整值及距离调整值传输给伺服电机；伺服电机根据方向调整值调节跟踪摄像装置的空间指向，根据距离调整值驱动变焦镜头组对焦；跟踪摄像装置在伺服电机完成方向及距离调整时拍摄被摄对象的图像。由于摄像机设置了跟踪摄像装置，能获取被摄对象的深度信息，根据深度信息对被摄对象实时跟踪，提高跟踪被摄对象的准确性及实时性，跟踪拍摄的图像的清晰度很高。

Description

一种基于深度信息跟踪对焦的摄像机及摄像方法

技术领域

本发明涉及摄像技术领域，具体而言，涉及一种基于深度信息跟踪对焦的摄像机及摄像方法。

背景技术

目前，用户经常通过摄像机来拍摄被摄对象的图像。有时在拍摄过程中被摄对象会发生位置移动，此时摄像机需要改变拍摄的焦距，才能拍摄到被摄对象的清晰图像。

当前相关技术中，当被摄对象发生位置移动时，摄像机对被摄对象进行连续拍摄得到多幅被摄对象的图像，通过二维图像分析算法分析得到的多幅图像中被摄对象的像素的位置变化，根据像素的位置变化确定被摄对象的移动方向及移动距离，根据确定的移动方向及移动距离对被摄对象进行对焦拍摄。

但当被摄对象在复杂环境中快速移动时，通过已拍摄的图像中像素的位置变化，来确定被摄对象当前的移动方向及移动距离，存在很大的时间延迟，确定的移动方向及移动距离很难与实际相符，误差太大，导致根据该移动方向和移动距离对焦拍摄的图像的清晰度很低。

发明内容

有鉴于此，本发明实施例的目的在于提供一种基于深度信息跟踪对焦的摄像机及摄像方法，能获取被摄对象的深度信息，根据深度信息对被摄对象实时跟踪，提高跟踪被摄对象的准确性及实时性，跟踪拍摄的图像的清晰度很高。

第一方面，本发明实施例提供了一种基于深度信息跟踪对焦的摄像机，所述摄像机包括：跟踪摄像装置、摄像处理器、变焦镜头组和伺服电机；

所述跟踪摄像装置，用于获取被摄对象的深度信息，将所述深度信息传输给所述摄像处理器；

所述摄像处理器，用于根据所述深度信息确定所述跟踪摄像装置对应的方向调整值及所述变焦镜头组对应的距离调整值，将所述方向调整值及所述距离调整值传输给所述伺服电机；

所述伺服电机，用于根据所述方向调整值调节所述跟踪摄像装置的空间指向，及根据所述距离调整值驱动所述变焦镜头组进行对焦；

所述跟踪摄像装置，还用于在所述伺服电机完成方向调整及距离调整时拍摄所述被摄对象的图像。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述跟踪摄像装置包括深度相机和色彩RGB相机；

所述深度相机，用于获取被摄对象的深度信息，将所述深度信息传输给所述摄像处理器；

所述RGB相机，用于在所述伺服电机完成方向调整及距离调整时拍摄所述被摄对象的图像。

结合第一方面的第一种可能的实现方式，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述伺服电机包括方向调节电机和距离调节电机；

所述方向调节电机，用于接收所述摄像处理器传输的方向调整值，根据所述方向调整值调整所述跟踪摄像装置的空间指向；

所述距离调节电机，用于接收所述摄像处理器传输的距离调整值，根据所述距离调整值驱动所述变焦镜头组进行对焦。

结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述摄像机还包括云台；

所述跟踪摄像装置安装在所述云台上；

所述云台具备活动轴承，且所述云台与所述伺服电机连接，在所述伺服电机的驱动下调节所述跟踪摄像装置的空间指向。

第二方面，本发明实施例提供了一种基于深度信息跟踪对焦的摄像方法，所述方法包括：

当被摄对象移动时，通过深度相机对所述被摄对象进行连续拍摄，得到所述被摄对象的多幅深度图像；

根据所述多幅深度图像，获取所述被摄对象的深度信息；

根据所述深度信息，对所述被摄对象进行位置跟踪；

对所述被摄对象进行拍摄，得到所述被摄对象的二维彩色图像。

结合第二方面，本发明实施例提供了上述第二方面的第一种可能的实现方式，其中，所述根据所述多幅深度图像，获取所述被摄对象的深度信息，包括：

分别对所述多幅深度图像进行图像分析，提取每幅深度图像中各像素点的深度值；

根据所述每幅深度图像中各像素点的深度值，通过自动识别算法计算所述被摄对象的移动方向和移动距离；

将所述移动方向和所述移动距离确定为所述被摄对象的深度信息。

结合第二方面，本发明实施例提供了上述第二方面的第二种可能的实现方式，其中，所述根据所述深度信息，对所述被摄对象进行位置跟踪，包括：

根据所述深度信息包括的所述被摄对象的移动方向，调节RGB相机及所述深度相机的空间指向；

根据所述深度信息包括的所述被摄对象的移动距离，调节变焦镜头组的焦距。

结合第二方面的第二种可能的实现方式，本发明实施例提供了上述第二方面的第三种可能的实现方式，其中，所述根据所述深度信息包括的所述被摄对象的移动方向，调节RGB相机及所述深度相机的空间指向，包括：

根据所述深度信息包括的所述被摄对象的移动方向，确定RGB相机及所述深度相机对应的方向调整值；

根据所述方向调整值，通过伺服电机调节所述RGB相机及所述深度相机的空间指向。

结合第二方面的第三种可能的实现方式，本发明实施例提供了上述第二方面的第四种可能的实现方式，其中，所述根据所述方向调整值，通过伺服电机调节所述RGB相机及所述深度相机的空间指向，包括：

根据所述方向调整值，通过伺服电机驱动云台上的轴承转动，调节所述云台上安装的所述RGB相机及所述深度相机的空间指向。

结合第二方面的第二种可能的实现方式，本发明实施例提供了上述第二方面的第五种可能的实现方式，其中，所述根据所述深度信息包括的所述被摄对象的移动距离，调节所述变焦镜头组的焦距，包括：

根据所述深度信息包括的所述被摄对象的移动距离，确定变焦镜头组对应的距离调整值；

根据所述距离调整值，通过伺服电机调节所述变焦镜头组的焦距。

在本发明实施例提供的摄像机及摄像装置中，摄像机包括：跟踪摄像装置、摄像处理器、变焦镜头组和伺服电机；跟踪摄像装置获取被摄对象的深度信息，将深度信息传输给摄像处理器；摄像处理器根据深度信息确定跟踪摄像装置对应的方向调整值及变焦镜头组对应的距离调整值，将方向调整值及距离调整值传输给伺服电机；伺服电机根据方向调整值调节跟踪摄像装置的空间指向，根据距离调整值驱动变焦镜头组对焦；跟踪摄像装置在伺服电机完成方向及距离调整时拍摄被摄对象的图像。由于摄像机设置了跟踪摄像装置，能获取被摄对象的深度信息，根据深度信息对被摄对象实时跟踪，提高跟踪被摄对象的准确性及实时性，跟踪拍摄的图像的清晰度很高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1A示出了本发明实施例1所提供的一种基于深度信息跟踪对焦的摄像机的结构示意图；

图1B示出了本发明实施例1所提供的另一种基于深度信息跟踪对焦的摄像机的结构示意图；

图1C示出了本发明实施例1所提供的基于深度信息跟踪对焦的摄像机对被摄对象自动跟踪对焦的原理示意图；

图2示出了本发明实施例2所提供的一种基于深度信息跟踪对焦的摄像方法的流程图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中当被摄对象在复杂环境中快速移动时，通过已拍摄的图像中像素的位置变化，来确定被摄对象当前的移动方向及移动距离，存在很大的时间延迟，确定的移动方向及移动距离很难与实际相符，误差太大，导致根据该移动方向和移动距离对焦拍摄的图像的清晰度很低。基于此，本发明实施例提供了一种基于深度信息跟踪对焦的摄像机及摄像方法。下面通过实施例进行描述。

实施例1

参见图1A，本发明实施例提供了一种基于深度信息跟踪对焦的摄像机。该摄像机包括：跟踪摄像装置1、摄像处理器2、变焦镜头组3和伺服电机4；

跟踪摄像装置1，用于获取被摄对象的深度信息，将深度信息传输给摄像处理器2；

摄像处理器2，用于根据深度信息确定跟踪摄像装置1对应的方向调整值及变焦镜头组3对应的距离调整值，将方向调整值及距离调整值传输给伺服电机4；

伺服电机4，用于根据方向调整值调节跟踪摄像装置1的空间指向，及根据距离调整值驱动变焦镜头组3进行对焦；

跟踪摄像装置1，还用于在伺服电机4完成方向调整及距离调整时拍摄被摄对象的图像。

上述跟踪摄像装置1分别与摄像处理器2和伺服电机4连接，且跟踪摄像装置1中用于拍摄二维彩色图像的相机镜头与变焦镜头组3位于同一直线上，伺服电机4还与摄像处理器2及变焦镜头组3连接。

在本发明实施例中，跟踪摄像装置1能够获取被摄对象的深度信息，该深度信息包含被摄对象发生位置变化时的移动方向和移动距离，摄像处理器2根据深度信息包含的移动方向和移动距离，通过伺服电机4对跟踪摄像装置1进行方向调整及对变焦镜头组3进行距离调整，实现对被摄对象的实时位置跟踪，跟踪摄像装置1在完成方向调整和距离调整时对被摄对象进行拍摄，得到被摄对象的二维彩色图像。

由于跟踪摄像装置1获取了被摄对象的深度信息，通过深度信息来实现对被摄对象的实时位置跟踪，提高了跟踪被摄对象的准确性及实时性，且如此跟踪拍摄的图像的清晰度很高。

如图1B所示，上述跟踪摄像装置1包括深度相机11和RGB(RedGreenBlue，色彩模式)相机12；

深度相机11，用于获取被摄对象的深度信息，将深度信息传输给摄像处理器2；

RGB相机12，用于在伺服电机4完成方向调整及距离调整时拍摄被摄对象的图像。

上述深度相机11和RGB相机12均与摄像处理器2及伺服电机4连接，深度相机11将获取的深度信息传输给摄像处理器2，伺服电机4根据摄像处理器2传输的方向调整值调整深度相机11和RGB相机12的空间指向。

由于在摄像机中添加了深度相机11，通过深度相机11来拍摄被射对象的深度图像，根据被摄的深度图像获取被摄对象的深度信息，并通过深度信息来实现对被摄对象的实时位置跟踪，提高了跟踪被摄对象的准确性及实时性，且如此跟踪拍摄的图像的清晰度很高。

如图1B所示，伺服电机4包括方向调节电机41和距离调节电机42；

方向调节电机41，用于接收摄像处理器2传输的方向调整值，根据方向调整值调整跟踪摄像装置1的空间指向；

距离调节电机42，用于接收摄像处理器2传输的距离调整值，根据距离调整值驱动变焦镜头组3进行对焦。

上述方向调节电机41分别与摄像处理器2和跟踪摄像装置1包括的深度相机11及RGB相机12连接，根据摄像处理器2传输的方向调整值，同时调节深度相机11和RGB相机12的空间指向，使得深度相机11和RGB相机12始终指向被摄对象所在的方向。

上述距离调节电机42分别与摄像处理器2和变焦镜头组3连接，根据摄像处理器2传输的距离调整值，调节变焦镜头组3的焦距，实现对摄像机的摄像视场及光学放大倍数的调节，如此调节后通过RGB相机及变焦镜头组对被摄对象进行拍摄得到的二维彩色图像的清晰度很高。

如图1B所示，该摄像机还包括云台5；

跟踪摄像装置1安装在云台5上；

云台5具备活动轴承，且云台5与伺服电机4连接，在伺服电机4的驱动下调节跟踪摄像装置1的空间指向。

在本发明实施例中，跟踪摄像装置1包括的深度相机11和RGB相机12均固定安装在云台5上，云台5中的活动轴承分别与深度相机11和RGB相机12连接，在进行方向调整时，伺服电机4包括的方向调整电机41接收摄像处理器传输的方向调整值，根据该方向调整值确定深度相机11和RGB相机12所需指向的方向，该方向即为被摄对象所在的方向。方向调整电机41驱动云台5的活动轴承移动，带动深度相机11和RGB相机12移动，使得深度相机11和RGB相机12始终指向被摄对象所在的方向。

在本发明实施例中，摄像机对被摄对象自动跟踪对焦的原理示意图，如图1C所示，摄像处理器2作为整个系统的信号处理核心和控制核心，负责深度相机11的深度信息和RGB相机12的二维图像数据的处理、伺服电机4的控制及跟踪算法的计算处理等。深度相机11通过双目视觉、结构光及TOF(TimeofFlying，飞行时间)等原理获取被摄对象的深度信息。RGB相机12可以为传统的二维摄像机，用于获取被摄对象的二维色彩图像。变焦镜头组3用于调节摄像机的拍摄视场和光学放大倍数。云台5用于安装固定深度相机11和RGB相机12，具备可活动的轴承，可在方向调整电机41的控制下调节深度相机11和RGB相机12的空间指向。方向调整电机41用于调节云台5的姿态。距离调整电机42用于调节变焦镜头组3。

在本发明实施例中，摄像机包括：跟踪摄像装置、摄像处理器、变焦镜头组和伺服电机；跟踪摄像装置获取被摄对象的深度信息，将深度信息传输给摄像处理器；摄像处理器根据深度信息确定跟踪摄像装置对应的方向调整值及变焦镜头组对应的距离调整值，将方向调整值及距离调整值传输给伺服电机；伺服电机根据方向调整值调节跟踪摄像装置的空间指向，根据距离调整值驱动变焦镜头组对焦；跟踪摄像装置在伺服电机完成方向及距离调整时拍摄被摄对象的图像。由于摄像机设置了跟踪摄像装置，能获取被摄对象的深度信息，根据深度信息对被摄对象实时跟踪，提高跟踪被摄对象的准确性及实时性，跟踪拍摄的图像的清晰度很高。

实施例2

参见图2，本发明实施例提供了一种基于深度信息跟踪对焦的摄像方法，该方法的执行主体可以为上述实施例1提供的基于深度信息跟踪对焦的摄像机。该方法具体包括以下步骤：

步骤201：当被摄对象移动时，通过深度相机对被摄对象进行连续拍摄，得到被摄对象的多幅深度图像。

在通过摄像机对被摄对象移动时，被摄对象很可能发生位置移动，此时需要对被摄对象进行实时跟踪，才能拍摄到被摄对象的清晰图像。例如，在对正在行走的人或正在行驶的汽车等进行拍摄时，摄像机的镜头方向及焦距必须随着人或汽车等被摄对象的移动进行实时调整，否则将无法拍摄到被摄对象的清晰图像。

在本发明实施例中，在摄像机中设置了深度相机，当被摄对象进行移动时，通过深度相机对被摄对象进行连续拍摄，得到被摄对象的多幅深度图像。

步骤202：根据多幅深度图像，获取被摄对象的深度信息。

分别对多幅深度图像进行图像分析，提取每幅深度图像中各像素点的深度值；根据每幅深度图像中各像素点的深度值，通过自动识别算法计算被摄对象的移动方向和移动距离；将移动方向和移动距离确定为被摄对象的深度信息。

在本发明实施例中，可以通过双目视觉、结构光、或TOF等原理获取被摄对象的深度信息。

步骤203：根据获取的深度信息，对被摄对象进行位置跟踪。

在本发明实施例中，对被摄对象的位置跟踪包括方向跟踪和距离跟踪。上述对被摄对象进行位置跟踪的操作具体包括：

根据深度信息包括的被摄对象的移动方向，调节RGB相机及深度相机的空间指向；根据深度信息包括的被摄对象的移动距离，调节变焦镜头组的焦距。

在调节RGB相机及深度相机的空间指向时，根据深度信息包括的被摄对象的移动方向，确定RGB相机及深度相机对应的方向调整值；根据该方向调整值，通过伺服电机调节RGB相机及深度相机的空间指向。

在本发明实施例中，RGB相机及深度相机固定安装在摄像机的云台上，该云台具备活动轴承，通过伺服电机根据该方向调整值，通过伺服电机驱动云台上的轴承转动，调节云台上安装的RGB相机及深度相机的空间指向，以使RGB相机及深度相机始终指向被摄对象所在的方向。

在调节变焦镜头组的焦距时，根据深度信息包括的被摄对象的移动距离，确定变焦镜头组对应的距离调整值；根据该距离调整值，通过伺服电机调节变焦镜头组的焦距。

根据被摄对象的深度信息，对RGB相机及深度相机进行方向调整，及对变焦镜头组进行距离调整，实现对被摄对象的实时位置跟踪。

步骤204：对被摄对象进行拍摄，得到被摄对象的二维彩色图像。

在完成对被摄对象的位置跟踪后，通过RGB相机透过变焦镜头组对被摄对象进行拍摄，即可得到被摄对象的二维彩色图像。且因为根据深度信息对RGB相机及深度相机进行了方向调整，及对变焦镜头组进行对焦，如此拍摄得到的二维彩色图像的清晰度很高。

在本发明实施例中，当被摄对象在摄像机的拍摄视场的中轴线方向产生位移时，在对被摄对象进行位置跟踪时需调节变焦镜头组的交局；当被摄对象在摄像机的拍摄视场的中轴线垂直平面上产生位移时，在对被摄对象进行位置跟踪时需调节深度相机及RGB相机的空间指向。

在本发明实施例中，当被摄对象移动时，通过深度相机对被摄对象进行连续拍摄，得到被摄对象的多幅深度图像；根据多幅深度图像，获取被摄对象的深度信息；根据深度信息，对被摄对象进行位置跟踪；对被摄对象进行拍摄，得到被摄对象的二维彩色图像。由于摄像机设置了深度相机，能获取被摄对象的深度信息，根据深度信息对被摄对象实时跟踪，提高了跟踪被摄对象的准确性及实时性，且跟踪拍摄的图像的清晰度很高。

对于本发明实施例所提供的基于深度信息跟踪对焦的摄像机，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述摄像机的具体工作过程，均可以参考上述方法实施例中的对应过程。在本申请所提供的几个实施例中，应该理解到，所揭露设备和方法，可以通过其它的方式实现。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于深度信息跟踪对焦的摄像机，其特征在于，所述摄像机包括：跟踪摄像装置、摄像处理器、变焦镜头组和伺服电机；

所述跟踪摄像装置，用于获取被摄对象的深度信息，将所述深度信息传输给所述摄像处理器；

所述摄像处理器，用于根据所述深度信息确定所述跟踪摄像装置对应的方向调整值及所述变焦镜头组对应的距离调整值，将所述方向调整值及所述距离调整值传输给所述伺服电机；

所述伺服电机，用于根据所述方向调整值调节所述跟踪摄像装置的空间指向，及根据所述距离调整值驱动所述变焦镜头组进行对焦；

所述跟踪摄像装置，还用于在所述伺服电机完成方向调整及距离调整时拍摄所述被摄对象的图像。

2.根据权利要求1所述的摄像机，其特征在于，所述跟踪摄像装置包括深度相机和色彩RGB相机；

所述深度相机，用于获取被摄对象的深度信息，将所述深度信息传输给所述摄像处理器；

所述RGB相机，用于在所述伺服电机完成方向调整及距离调整时拍摄所述被摄对象的图像。

3.根据权利要求2所述的装置，其特征在于，所述伺服电机包括方向调节电机和距离调节电机；

所述方向调节电机，用于接收所述摄像处理器传输的方向调整值，根据所述方向调整值调整所述跟踪摄像装置的空间指向；

所述距离调节电机，用于接收所述摄像处理器传输的距离调整值，根据所述距离调整值驱动所述变焦镜头组进行对焦。

4.根据权利要求1所述的方法，其特征在于，所述摄像机还包括云台；

所述跟踪摄像装置安装在所述云台上；

所述云台具备活动轴承，且所述云台与所述伺服电机连接，在所述伺服电机的驱动下调节所述跟踪摄像装置的空间指向。

5.一种基于深度信息跟踪对焦的摄像方法，其特征在于，所述方法包括：

当被摄对象移动时，通过深度相机对所述被摄对象进行连续拍摄，得到所述被摄对象的多幅深度图像；

根据所述多幅深度图像，获取所述被摄对象的深度信息；

根据所述深度信息，对所述被摄对象进行位置跟踪；

对所述被摄对象进行拍摄，得到所述被摄对象的二维彩色图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述多幅深度图像，获取所述被摄对象的深度信息，包括：

分别对所述多幅深度图像进行图像分析，提取每幅深度图像中各像素点的深度值；

根据所述每幅深度图像中各像素点的深度值，通过自动识别算法计算所述被摄对象的移动方向和移动距离；

将所述移动方向和所述移动距离确定为所述被摄对象的深度信息。

7.根据权利要求5所述的方法，其特征在于，所述根据所述深度信息，对所述被摄对象进行位置跟踪，包括：

根据所述深度信息包括的所述被摄对象的移动方向，调节RGB相机及所述深度相机的空间指向；

根据所述深度信息包括的所述被摄对象的移动距离，调节变焦镜头组的焦距。

8.根据权利要求7所述的方法，其特征在于，所述根据所述深度信息包括的所述被摄对象的移动方向，调节RGB相机及所述深度相机的空间指向，包括：

根据所述深度信息包括的所述被摄对象的移动方向，确定RGB相机及所述深度相机对应的方向调整值；

根据所述方向调整值，通过伺服电机调节所述RGB相机及所述深度相机的空间指向。

9.根据权利要求8所述的方法，其特征在于，所述根据所述方向调整值，通过伺服电机调节所述RGB相机及所述深度相机的空间指向，包括：

根据所述方向调整值，通过伺服电机驱动云台上的轴承转动，调节所述云台上安装的所述RGB相机及所述深度相机的空间指向。

10.根据权利要求7所述的方法，其特征在于，所述根据所述深度信息包括的所述被摄对象的移动距离，调节所述变焦镜头组的焦距，包括：

根据所述深度信息包括的所述被摄对象的移动距离，确定变焦镜头组对应的距离调整值；

根据所述距离调整值，通过伺服电机调节所述变焦镜头组的焦距。