CN116962874B - 主从遥视控制方法和系统 - Google Patents

Abstract

本发明实施例涉及远程控制技术领域，具体公开了主从遥视控制方法和系统，包括：在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时显示三维视频，基于第一视频和第二视频生成深度图，控制内置摄像头采集眼球的运动轨迹，将运动轨迹叠加到深度图上并根据运动轨迹生成轨迹跟踪指令发送到视频采集终端，根据深度图和运动轨迹生成预调焦指令和间距调整指令发送到视频采集终端，视频采集终端根据轨迹跟踪指令、预调焦指令和间距调整指令控制第一摄像头和第二摄像头调整拍摄方向、调焦和调整间距，无需用户手动调整摄像头，能够根据眼球的运动轨迹、深度图调整摄像头的拍摄方向、焦距和间距，提高了三维视频的质量和立体感。

Description

主从遥视控制方法和系统

技术领域

本发明属于远程控制技术领域，尤其涉及主从遥视控制方法和系统。

背景技术

随着增强现实技术的发展，出现了将现实场景融入虚拟场景的技术，即通过摄像头对真实场景采集视频后，将所采集的视频融合虚拟场景，得到增强显示场景。

目前，主要是通过作为主设备的虚拟现实眼镜或头盔与采集现实场景的作为从设备的摄像头相连，一方面可以接收摄像头所采集的视频，另一面可以通过虚拟现实眼镜或头盔控制摄像头调焦，为了提高虚拟现实的真实性，通常采用双摄像头采集视频，然而，在虚拟现实眼镜或头盔中主要是通过用户手动调焦以获得高质量的视频，并且在需要生成纵深度良好的虚拟场景时，需要用户手动调整双摄像头之间的间距，以获得更有立体感的虚拟场景，然而大部分用户缺乏拍摄经验和专业的拍摄技术，导致所显示的虚拟现实画面清晰度低、无立体感的问题。

发明内容

本发明实施例的目的在于提供主从遥视控制方法和系统，旨在解决需要人工调焦和调整摄像头间距导致画面清晰度低、无立体感的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种主从遥视控制方法，应用于设置有内置摄像头的虚拟现实设备，具体包括以下步骤：

在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在所述虚拟现实设备的显示屏显示所述三维视频；

基于所述第一视频和所述第二视频生成深度图；

控制内置摄像头采集用户的眼球的运动轨迹；

将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令发送到所述视频采集终端，所述视频采集终端用于根据所述轨迹跟踪指令控制所述第一摄像头和所述第二摄像头调整拍摄方向；

根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，所述视频采集终端用于根据所述预调焦指令和所述间距调整指令控制所述第一摄像头和所述第二摄像头调焦以及调整间距。

作为本发明实施例技术方案进一步的限定，在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频之前，具体还包括以下步骤：

在用户佩戴虚拟现实设备并且开机后显示标定画面；

播放第一提示音以提示所述用户调整显示屏；

在所述用户调整显示屏结束后，播放第二提示音并控制所述内置摄像头采集标定图像，所述第二提示音用于提示所述用户双眼注视所述标定画面中的标定物；

基于所述标定图像对所述内置摄像头和所述显示屏进行标定，得到所述内置摄像头与所述显示屏之间的标定参数。

作为本发明实施例技术方案进一步的限定，所述基于所述第一视频和所述第二视频生成深度图，具体包括以下步骤：

按照预设帧率从所述第一视频中确定出第一视频图像，以及从所述第二视频中确定出第二视频图像，所述第一视频图像和所述第二视频图像为具有相同时间戳的图像；

根据所述第一摄像头与所述第二摄像头之间的间距、所述第一视频图像、所述第二视频图像以及三角成像原理生成深度图。

作为本发明实施例技术方案进一步的限定，所述控制内置摄像头采集用户的眼球的运动轨迹，具体包括以下步骤：

控制所述内置摄像头以高于所述第一摄像头和所述第二摄像头的帧率采集用户的眼球图像；

从每帧眼球图像中识别出左眼球和右眼球，并将左眼球和右眼球的连接线的中点确定为眼球轨迹点；

连接多帧眼球图像中的眼球轨迹点得到所述用户的眼球的运动轨迹。

作为本发明实施例技术方案进一步的限定，所述深度图的尺寸与所述三维视频的画面尺寸相同并且画面中心重合，所述将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令发送到所述视频采集终端，具体包括以下步骤：

根据预先标定的所述内置摄像头与显示屏之间的标定参数将所述运动轨迹转换为所述显示屏的坐标下的运动轨迹；

将所述转换后的运动轨迹叠加到所述深度图上；

将所述深度图上的运动轨迹转换为视频采集终端的坐标系下的运动轨迹；

根据所述视频采集终端的坐标系下的运动轨迹生成所述第一摄像头和所述第二摄像头的轨迹跟踪指令发送到所述视频采集终端。

作为本发明实施例技术方案进一步的限定，所述根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，具体包括以下步骤：

在所述运动轨迹上进行轨迹点采样得到多个调焦点；

从所述深度图中所述调焦点对应的像素读取深度值，所述深度值为所述像素在现实场景中对应的物体到所述视频采集终端的距离；

基于所述距离生成所述调焦点的预调焦指令和间距调整指令；

按照所述运动轨迹上多个所述调焦点的先后顺序生成包含预调焦参数和间距调整参数的指令序列，其中，所述指令序列中每条指令的执行时间戳为所述第一摄像头和所述第二摄像头跟踪到所述调焦点时的时间戳；

将所述指令序列发送到所述视频采集终端。

作为本发明实施例技术方案进一步的限定，所述基于所述距离生成所述调焦点的预调焦指令和间距调整指令，具体包括以下步骤：

判断所述距离是否小于预设的距离阈值，所述距离阈值为所述第一摄像头和所述第二摄像头通过调焦达到的最大成像距离；

若是，根据所述距离、所述第一摄像头和所述第二摄像头的镜头参数计算预调焦参数，生成包括所述预调焦参数的预调焦指令以及生成无需调整间距的间距调整指令；

若否，从预设的距离-间距对照表中查找出所述距离对应的目标间距；

基于所述距离、所述目标间距以及第一摄像头和所述第二摄像头的镜头参数计算预调焦参数，生成包括所述预调焦参数的预调焦指令以及生成包括所述目标间距的间距调整指令。

一种主从遥视控制系统，应用于设置有内置摄像头的虚拟现实设备，具体包括以下单元：

三维视频显示单元，用于在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在所述虚拟现实设备的显示屏显示所述三维视频；

深度图生成单元，用于基于所述第一视频和所述第二视频生成深度图；

眼球轨迹捕捉单元，用于控制内置摄像头采集用户的眼球的运动轨迹；

轨迹跟踪指令生成发送单元，用于将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令并发送到所述视频采集终端，所述视频采集终端用于根据所述轨迹跟踪指令控制所述第一摄像头和所述第二摄像头调整拍摄方向；

调焦和间距调整指令生成发送单元，用于根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，所述视频采集终端用于根据所述预调焦指令和所述间距调整指令控制所述第一摄像头和所述第二摄像头调焦以及调整间距。

作为本发明实施例技术方案进一步的限定，具体还包括以下单元：

标定画面显示单元，用于在用户佩戴虚拟现实设备并且开机后显示标定画面；

显示屏调整单元，用于播放第一提示音以提示所述用户调整显示屏；

标定图像采集单元，用于在所述用户调整显示屏结束后，播放第二提示音并控制所述内置摄像头采集标定图像，所述播放提示音用于提示所述用户双眼注视所述标定画面中的标定物；

标定参数确定单元，用于基于所述标定图像确定所述内置摄像头与所述显示屏之间的标定参数。

作为本发明实施例技术方案进一步的限定，所述深度图像生成单元，具体包括以下模块：

视频图像采样模块，用于按照预设帧率从所述第一视频中确定出第一视频图像，以及从所述第二视频中确定出第二视频图像，所述第一视频图像和所述第二视频图像为具有相同时间戳的图像；

深度图生成模块，用于根据所述第一摄像头与所述第二摄像头之间的间距、所述第一视频图像、所述第二视频图像以及三角成像原理生成深度图。

与现有技术相比，本发明的有益效果是：

本发明实施例的虚拟现实设备可通过内置摄像头采集用户的眼球的运动轨迹，在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成并显示三维视频时，基于第一视频和第二视频生成深度图，将眼球的运动轨迹叠加到深度图上，并根据运动轨迹生成轨迹跟踪指令发送到视频采集终端，以及根据运动轨迹和深度图生成调焦指令和间距调整指令发送到视频采集终端，使得视频采集终端根据轨迹跟踪指令控制第一摄像头和所述第二摄像头调整拍摄方向，以及在拍摄过程中根据预调焦指令和间距调整指令控制第一摄像头和第二摄像头调焦以及调整间距，实现了自动采集眼球的运动轨迹并根据生成的深度图生成轨迹跟踪指令、调焦指令以及间距调整指令对视频采集终端的摄像头进行控制，无需用户手动调整，解决了用户手动调整时由于缺乏拍摄经验和专业的拍摄技术，导致所显示的虚拟现实场景画面清晰度低、无立体感的问题，能够根据眼球的运动轨迹、深度图进行摄像头拍摄方向控制、调焦和间距调整，提高了虚拟现实设备中三维视频的质量和立体感。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

图1示出了本发明一个实施例提供的主从遥视控制方法的流程图。

图2示出了本实施例中眼球的运动轨迹的示意图；

图3示出了本实施例中根据深度图和运动轨迹生成预调焦指令和间距调整指令发送到视频采集终端的流程图；

图4示出了本实施例中调焦点的示意图；

图5示出了本发明一个实施例提供的主从遥视控制系统的应用架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明实施例提供的主从遥视控制的方法的流程图。具体的，本发明实施例的主从遥视控制方法应用于设置有内置摄像头的虚拟现实设备，具体包括以下步骤：

步骤S101，在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在虚拟现实设备的显示屏显示三维视频。

本实施例中的虚拟现实设备与视频采集终端通信连接，在一个示例中，虚拟现实设备与视频采集终端可以通过无线或有线网络连接，其中，虚拟现实设备可以是虚拟现实眼镜、虚拟现实头盔等穿戴设备，虚拟现实设备中至少设置有显示屏和内置摄像头，其中显示屏用于显示视频画面，显示屏的数量可以是一块，也可以是两块以分别对应左眼和右眼，内置摄像头可以设置在虚拟现实设备内可以对用户眼球采集图像的位置，其中，内置摄像头可以是普通摄像头、红外摄像头，还可以是普通摄像头与红外摄像头的组合，以在光线较暗的情况下采集用户的眼球图像。视频采集终端设置有双摄像头，并且双摄像头的间距可调整，在一个示例中，视频采集终端可以是搭载了双摄像头的无人机、无人车等，当然，视频采集终端还可以是固定不动的终端。

在本发明的一个实施例中，在用户佩戴虚拟现实设备并且开机后，可以在虚拟现实设备的显示屏显示标定画面，并播放第一提示音以提示用户调整显示屏，在用户调整显示屏结束后，播放第二提示音并控制内置摄像头采集标定图像，第二提示音用于提示用户双眼注视标定画面中的标定物，基于标定图像对内置摄像头和显示屏进行标定，得到内置摄像头与显示屏之间的标定参数。

在一个示例中，虚拟现实眼镜中的显示屏位置可以调整，以适应不同用户的脸型和瞳间距，用户可以调整显示屏以能够清晰地观看到显示屏显示的标定画面，标定画面的中心位置设置有标定物，当用户注视该标定物时视为用户正视正前方，位于用户双眼前方的内置摄像头可以采集图像作为标定图像，从而可以通过标定图像、内置摄像头的内参、显示屏的位置确定内置摄像头与显示屏之间的标定参数，该标定参数可以是内置摄像头的坐标系到显示屏的坐标系的转换数据，比如可以是坐标旋转偏移矩阵等，本实施例对内置摄像头和显示屏标定方式不做限制，具体可以参考不同坐标系的两个物体之间的标定方式，本实施例在用户配对虚拟现实设备开机后进行标定，使得虚拟现实眼镜的显示屏可调整，并适用于不同脸型和瞳间距的用户，从而预先获得内置摄像头与显示屏之间的标定参数，方便后续采集用户的眼球的运动轨迹并转换为显示屏坐标系下的轨迹。

本实施例的虚拟现实设备可以通过网络通信从视频采集终端接收第一摄像头采集的第一视频、第二摄像头采集的第二视频，在显示屏包括左显示屏和右显示屏时，在左显示屏显示第一视频，在右显示屏显示第二视频，通过用户的左右眼分别观看第一视频和第二视频时的视差产生三维视频效果。当然，显示屏也可以是一块三维显示屏，第一视频和第二视频经过三维视频处理后得到三维视频，以在三维显示屏显示三维视频，其中，通过第一视频和第二视频生成三维视频可参考现有三维视频处理技术，本实施例对此不作限制。

步骤S102，基于第一视频和第二视频生成深度图。

在一个可选实施例中，可以按照预设帧率从第一视频中确定出第一视频图像，以及从第二视频中确定出第二视频图像，第一视频图像和第二视频图像为具有相同时间戳的图像，根据第一摄像头与第二摄像头之间的间距、第一视频图像、第二视频图像以及三角成像原理生成深度图。具体的，为了减少深度图的数量，降低数据处理量，可以从第一视频和第二视频中按照预设帧率确定出有相同时间戳的图像作为第一视频图像和第二视频图像，比如，第一视频和第二视频的帧率为30帧/秒，则可以没间隔1秒从第一视频截取一帧图像作为第一视频图像，从第二视频截取一帧图像作为第二视频图像，并且第一视频图像和第二视频图像为视频采集终端上的第一摄像头和第二摄像头同步采集的图像，从而降低深度图像生成的频率，当然，确定第一视频图像和第二视频图像的帧率可以根据实际情况设置，比如在视频采集终端移动速度较快时可以设置较高的帧率。

在确定出第一视频图像和第二视频图像后，可以参考双摄像头采集图像生成深度图的技术生成深度图，该深度图中每个像素点关联有像素点在现实场景中对应的物体到视频采集终端的距离。

步骤S103，控制内置摄像头采集用户的眼球的运动轨迹。

在本发明的可选实施例中，眼球的运动轨迹可以是指眼球注视方向的变动轨迹，则可以先控制内置摄像头以高于第一摄像头和第二摄像头的帧率采集用户的眼球图像，从每帧眼球图像中识别出左眼球和右眼球，并将左眼球和右眼球的连接线的中点确定为眼球轨迹点，连接多帧眼球图像中的眼球轨迹点得到用户的眼球的运动轨迹。

如图2所示，当用户观看虚拟现实设备内的三维视频时，用户双眼可能会关注三维视频的画面中的不同区域，或者是用户需要控制摄像头的拍摄方向转向不同方向时，用户可以通过眼球注视画面中的不同区域，在内置摄像头采集到眼球图像后，从图像中识别出眼球，按照所采集到的眼球图像的先后顺序，将眼球轨迹点连接即可以得到用户的眼球的运动轨迹，如图2所示，眼球的运动轨迹为P1-P2-P3-P4。

步骤S104，将运动轨迹叠加到深度图上，并根据运动轨迹生成轨迹跟踪指令发送到视频采集终端，视频采集终端用于根据轨迹跟踪指令控制第一摄像头和第二摄像头调整拍摄方向。

本实施例中，深度图的尺寸与三维视频的画面尺寸相同并且画面中心重合，如图2所示，三维画面的中心为长度方向和高度方向的中心线的交点，内置摄像头采集的眼球的运动轨迹为从内置摄像头的角度观察得到的内置摄像头坐标系下的眼球的运动轨迹，则可以根据预先标定的内置摄像头与显示屏之间的标定参数，将运动轨迹转换为显示屏的坐标下的运动轨迹，然后将转换后的运动轨迹叠加到深度图上，再将深度图上的运动轨迹转换为视频采集终端的坐标系下的运动轨迹，根据视频采集终端的坐标系下的运动轨迹生成第一摄像头和第二摄像头的轨迹跟踪指令发送到视频采集终端，从而实现眼球的运动轨迹即为视频采集终端的第一摄像头和第二摄像头的拍摄轨迹，亦即第一摄像头和第二摄像头的拍摄方向待追随的轨迹。

如图2所示，在实际应用中，为了使得摄像头拍摄方向调整更为平滑，可以在运动轨迹上增加轨迹点而不限于P1-P4四个轨迹点，从而生成包含多个轨迹点的坐标的轨迹跟踪指令，其中，轨迹点的坐标为视频终端的坐标系下的坐标，将该轨迹跟踪指令发送到视频终端后，视频终端可以根据轨迹跟踪指令控制第一摄像头和第二摄像头的拍摄方向，使得第一摄像头和第二摄像头的拍摄方向随着运动轨迹变化，在一个示例中，可以是第一摄像头和第二摄像头不动，控制视频采集终端转动以实现第一摄像头和第二摄像头的拍摄方向追随运动轨迹，在另一个示例中，第一摄像头和第二摄像头可通过云台连接于视频采集终端上，可以控制云台转动以实现第一摄像头和第二摄像头的拍摄方向追随运动轨迹，又或者是视频采集终端和云台同时转动，本实施例对调整第一摄像头和第二摄像头的拍摄方向的方式不做限制。

本实施例通过眼球的运动轨迹生成轨迹跟踪指令发送到视频采集终端，视频采集终端用于根据轨迹跟踪指令控制第一摄像头和第二摄像头调整拍摄方向，相对于现有技术中在虚拟现实设备上设置陀螺仪、加速度等传感器后，通过人体头部的转动来调整第一摄像头和第二摄像头的拍摄方向，无需用户做出各种头部动作，实现了眼球注视方向即为摄像头的拍摄方向，控制摄像头拍摄方向的更为简单，并且相对于陀螺仪、加速度等传感器，内置摄像头成本更低。

步骤S105，根据深度图和运动轨迹生成预调焦指令和间距调整指令发送到视频采集终端，视频采集终端用于根据预调焦指令和间距调整指令控制第一摄像头和第二摄像头调焦以及调整间距。

本实施例中，预调焦指令中可以包括第一摄像头和第二摄像头的预调焦参数，以控制第一摄像头和第二摄像头调整各自的预调焦距，间距调整指令可以包括第一摄像头和第二摄像头之间的目标间距，如图3所示，在一个可选实施例，根据深度图和运动轨迹生成预调焦指令和间距调整指令发送到视频采集终端具体可以包括以下步骤：

S1051，在运动轨迹上进行轨迹点采样得到多个调焦点；

S1052，从深度图中调焦点对应的像素读取深度值，深度值为像素在现实场景中对应的物体到视频采集终端的距离；

S1053，基于距离生成调焦点的预调焦指令和间距调整指令；

S1054，按照运动轨迹上多个调焦点的先后顺序生成包含预调焦参数和间距调整参数的指令序列，其中，指令序列中每条指令的执行时间戳为第一摄像头和第二摄像头跟踪到调焦点时的时间戳；

S1055，将指令序列发送到视频采集终端。

具体的，如图4所示为叠加到深度图之后的眼球的运动轨迹的示意图，可以在该运动轨迹上确定出若干个调焦点P1-P9，并从深度图中确定每个调焦点对应像素点，该像素点关联的深度值，该深度值即为像素点在现实场景中对应的物体到视频采集终端的距离，从而可以通过该距离生成摄像头的拍摄方向对准该调焦点时的预调焦指令和间距调整指令。

示例性的，针对每个调焦点，可以判断距离是否小于预设的距离阈值，其中，距离阈值为第一摄像头和第二摄像头通过调焦达到的最大成像距离，若是，根据距离、第一摄像头和第二摄像头的镜头参数计算预调焦参数，生成包括预调焦参数的预调焦指令以及生成无需调整间距的间距调整指令，若否，从预设的距离-间距对照表中查找出距离对应的目标间距，基于距离、目标间距以及第一摄像头和第二摄像头的镜头参数计算预调焦参数，生成包括预调焦参数的预调焦指令以及生成包括目标间距的间距调整指令。

具体的，如果距离小于预设的距离阈值，则可以确定通过第一摄像头和第二摄像头的通过调焦可以实现清晰成像采集到清晰的视频数据，如果距离大于或等于预设的距离阈值，则可以确定第一摄像头和第二摄像头通过调焦无法清晰成像并在纵深程度低，则需要增加第一摄像头和第二摄像头的间距，以通过增加第一摄像头和第二摄像头的视差实现清晰成像和提高纵深程度，比如可以预先设置拍摄距离与摄像头间距的对照表，以通过不同的拍摄距离确定摄像头间距，并基于摄像头间距、第一摄像头、第二摄像头的镜头参数计算预调焦参数，其中，预调焦参数的计算方式可以参考现有摄像头调焦技术，本实施例对此不作限制。

在得到每个调焦点的包括预调焦参数的预调焦指令和和包括间距调整参数的间距调整指令后，可以按照调焦点在运动轨迹中的先后顺序生成指令序列，该指令序列中每条指令用于控制摄像头的拍摄方向对准该调焦点时进行预调焦和间距调整，即指令序列中每条指令的执行时间戳为第一摄像头和第二摄像头跟踪到调焦点时的时间戳，亦即轨迹跟踪指令中包括摄像头跟踪到每个调焦点的第一时间戳，指令序列中的每条指令的执行时间戳与第一时间戳相同，从而实现摄像头转动到指定方向时执行指令序列中相应的指令。

将指令序列发送到视频采集终端后，视频采集终端根据轨迹跟踪指令控制摄像头的拍摄方向时，根据指令序列中的指令控制摄像头预调焦和调整间距，其中，预调焦可以是指控制摄像头按照指令中的预调焦参数先驱动摄像头进行粗调焦，再控制摄像头进行精调焦，比如，预调焦参数可以是调焦镜片的移动距离，则可以直接驱动调焦镜片快速移动到预调焦参数指定的距离后，再进行精调焦，可以避免到达调焦点时按照正常速度驱动调焦镜片调焦导致调焦耗时长的问题，可以加快摄像头调焦采集到清晰图像的速度。

本实施例通过在运动轨迹上进行轨迹点采样得到多个调焦点，从深度图中调焦点对应的像素读取深度值，深度值为像素在现实场景中对应的物体到视频采集终端的距离，基于距离生成调焦点的预调焦指令和间距调整指令，按照运动轨迹上多个调焦点的先后顺序生成包含调焦参数和间距调整参数的指令序列，其中，指令序列中每条指令的执行时间戳为第一摄像头和第二摄像头跟踪到调焦点时的时间戳，将指令序列发送到视频采集终端，实现了自动获取摄像头拍摄方向上的多个调焦点对应的物体到摄像头的距离，从而计算预调焦参数和间距调整参数以生成指令序列，无需用户手动调焦和调整间距，并且能够快速采集到清晰度高和纵深程度高的的视频。

图5示出了本发明实施例提供的主从遥视控制的系统的应用架构图，本实施例的主从遥视控制的系统应用于设置有内置摄像头的虚拟现实设备，具体包括：

三维视频显示单元501，用于在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在所述虚拟现实设备的显示屏显示所述三维视频；

深度图生成单元502，用于基于所述第一视频和所述第二视频生成深度图；

眼球轨迹捕捉单元503，用于控制内置摄像头采集用户的眼球的运动轨迹；

轨迹跟踪指令生成发送单元504，用于将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令并发送到所述视频采集终端，所述视频采集终端用于根据所述轨迹跟踪指令控制所述第一摄像头和所述第二摄像头调整拍摄方向；

调焦和间距调整指令生成发送单元505，用于根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，所述视频采集终端用于根据所述预调焦指令和所述间距调整指令控制所述第一摄像头和所述第二摄像头调焦以及调整间距。

作为本发明实施例技术方案进一步的限定，具体还包括以下单元：

标定画面显示单元，用于在用户佩戴虚拟现实设备并且开机后显示标定画面；

显示屏调整单元，用于播放第一提示音以提示所述用户调整显示屏；

标定图像采集单元，用于在所述用户调整显示屏结束后，播放第二提示音并控制所述内置摄像头采集标定图像，所述播放提示音用于提示所述用户双眼注视所述标定画面中的标定物；

标定参数确定单元，用于基于所述标定图像确定所述内置摄像头与所述显示屏之间的标定参数。

作为本发明实施例技术方案进一步的限定，所述深度图像生成单元502具体包括以下模块：

视频图像采样模块，用于按照预设帧率从所述第一视频中确定出第一视频图像，以及从所述第二视频中确定出第二视频图像，所述第一视频图像和所述第二视频图像为具有相同时间戳的图像；

深度图生成模块，用于根据所述第一摄像头与所述第二摄像头之间的间距、所述第一视频图像、所述第二视频图像以及三角成像原理生成深度图。

作为本发明实施例技术方案进一步的限定，所述眼球轨迹捕捉单元503具体包括以下模块：

眼球图像采集模块，用于控制所述内置摄像头以高于所述第一摄像头和所述第二摄像头的帧率采集用户的眼球图像；

眼球轨迹点确定模块，用于从每帧眼球图像中识别出左眼球和右眼球，并将左眼球和右眼球的连接线的中点确定为眼球轨迹点；

眼球运动轨迹生成模块，用于连接多帧眼球图像中的眼球轨迹点得到所述用户的眼球的运动轨迹。

作为本发明实施例技术方案进一步的限定，所述深度图的尺寸与所述三维视频的画面尺寸相同并且画面中心重合，所述轨迹跟踪指令生成发送单元504具体包括以下模块：

第一运动轨迹转换模块，用于根据预先标定的所述内置摄像头与显示屏之间的标定参数将所述运动轨迹转换为所述显示屏的坐标下的运动轨迹；

运动轨迹叠加模块，用于将所述转换后的运动轨迹叠加到所述深度图上；

第二运动轨迹转换模块，用于将所述深度图上的运动轨迹转换为视频采集终端的坐标系下的运动轨迹；

轨迹跟踪指令生成发送模块，用于根据所述视频采集终端的坐标系下的运动轨迹生成所述第一摄像头和所述第二摄像头的轨迹跟踪指令发送到所述视频采集终端。

作为本发明实施例技术方案进一步的限定，所述调焦和间距调整指令生成发送单元505具体包括以下模块：

调焦点采样模块，用于在所述运动轨迹上进行轨迹点采样得到多个调焦点；

深度值读取模块，用于从所述深度图中所述调焦点对应的像素读取深度值，所述深度值为所述像素在现实场景中对应的物体到所述视频采集终端的距离；

指令生成模块，用于基于所述距离生成所述调焦点的预调焦指令和间距调整指令；

指令序列生成模块，用于按照所述运动轨迹上多个所述调焦点的先后顺序生成包含调焦参数和间距调整参数的指令序列，其中，所述指令序列中每条指令的执行时间戳为所述第一摄像头和所述第二摄像头跟踪到所述调焦点时的时间戳；

指令序列发送模块，用于将所述指令序列发送到所述视频采集终端。

作为本发明实施例技术方案进一步的限定，所述指令生成模块具体包括以下子模块：

距离判断子模块，用于判断所述距离是否小于预设的距离阈值，所述距离阈值为所述第一摄像头和所述第二摄像头通过调焦达到的最大成像距离；

第一指令生成子模块，用于根据所述距离、所述第一摄像头和所述第二摄像头的镜头参数计算调焦参数，生成包括所述调焦参数的调焦指令以及生成无需调整间距的间距调整指令；

目标间距确定子模块，用于从预设的距离-间距对照表中查找出所述距离对应的目标间距；

第二指令生成子模块，用于基于所述距离、所述目标间距以及第一摄像头和所述第二摄像头的镜头参数计算调焦参数，生成包括所述调焦参数的调焦指令以及生成包括所述目标间距的间距调整指令。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种主从遥视控制方法，其特征在于，应用于设置有内置摄像头的虚拟现实设备，具体包括以下步骤：

在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在所述虚拟现实设备的显示屏显示所述三维视频；

基于所述第一视频和所述第二视频生成深度图；

控制内置摄像头采集用户的眼球的运动轨迹；

将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令发送到所述视频采集终端，所述视频采集终端用于根据所述轨迹跟踪指令控制所述第一摄像头和所述第二摄像头调整拍摄方向；

根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，所述视频采集终端用于根据所述预调焦指令和所述间距调整指令控制所述第一摄像头和所述第二摄像头调焦以及调整间距；

所述根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，具体包括以下步骤：

在所述运动轨迹上进行轨迹点采样得到多个调焦点；

从所述深度图中所述调焦点对应的像素读取深度值，所述深度值为所述像素在现实场景中对应的物体到所述视频采集终端的距离；

基于所述距离生成所述调焦点的预调焦指令和间距调整指令；

按照所述运动轨迹上多个所述调焦点的先后顺序生成包含预调焦参数和间距调整参数的指令序列，其中，所述指令序列中每条指令的执行时间戳为所述第一摄像头和所述第二摄像头跟踪到所述调焦点时的时间戳；

将所述指令序列发送到所述视频采集终端。

2.根据权利要求1所述的主从遥视控制方法，其特征在于，在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频之前，具体还包括以下步骤：

在用户佩戴虚拟现实设备并且开机后显示标定画面；

播放第一提示音以提示所述用户调整显示屏；

在所述用户调整显示屏结束后，播放第二提示音并控制所述内置摄像头采集标定图像，所述第二提示音用于提示所述用户双眼注视所述标定画面中的标定物；

基于所述标定图像对所述内置摄像头和所述显示屏进行标定，得到所述内置摄像头与所述显示屏之间的标定参数。

3.根据权利要求1所述的主从遥视控制方法，其特征在于，所述基于所述第一视频和所述第二视频生成深度图，具体包括以下步骤：

按照预设帧率从所述第一视频中确定出第一视频图像，以及从所述第二视频中确定出第二视频图像，所述第一视频图像和所述第二视频图像为具有相同时间戳的图像；

根据所述第一摄像头与所述第二摄像头之间的间距、所述第一视频图像、所述第二视频图像以及三角成像原理生成深度图。

4.根据权利要求1所述的主从遥视控制方法，其特征在于，所述控制内置摄像头采集用户的眼球的运动轨迹，具体包括以下步骤：

控制所述内置摄像头以高于所述第一摄像头和所述第二摄像头的帧率采集用户的眼球图像；

从每帧眼球图像中识别出左眼球和右眼球，并将左眼球和右眼球的连接线的中点确定为眼球轨迹点；

连接多帧眼球图像中的眼球轨迹点得到所述用户的眼球的运动轨迹。

5.根据权利要求1所述的主从遥视控制方法，其特征在于，所述深度图的尺寸与所述三维视频的画面尺寸相同并且画面中心重合，所述将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令发送到所述视频采集终端，具体包括以下步骤：

根据预先标定的所述内置摄像头与显示屏之间的标定参数将所述运动轨迹转换为所述显示屏的坐标下的运动轨迹；

将所述转换后的运动轨迹叠加到所述深度图上；

将所述深度图上的运动轨迹转换为视频采集终端的坐标系下的运动轨迹；

根据所述视频采集终端的坐标系下的运动轨迹生成所述第一摄像头和所述第二摄像头的轨迹跟踪指令发送到所述视频采集终端。

6.根据权利要求1所述的主从遥视控制方法，其特征在于，所述基于所述距离生成所述调焦点的预调焦指令和间距调整指令，具体包括以下步骤：

判断所述距离是否小于预设的距离阈值，所述距离阈值为所述第一摄像头和所述第二摄像头通过调焦达到的最大成像距离；

若是，根据所述距离、所述第一摄像头和所述第二摄像头的镜头参数计算预调焦参数，生成包括所述预调焦参数的预调焦指令以及生成无需调整间距的间距调整指令；

若否，从预设的距离-间距对照表中查找出所述距离对应的目标间距；

基于所述距离、所述目标间距以及第一摄像头和所述第二摄像头的镜头参数计算预调焦参数，生成包括所述预调焦参数的预调焦指令以及生成包括所述目标间距的间距调整指令。

7.一种主从遥视控制系统，其特征在于，应用于设置有内置摄像头的虚拟现实设备，具体包括以下单元：

三维视频显示单元，用于在接收到视频采集终端的第一摄像头采集的第一视频和第二摄像头采集的第二视频时生成三维视频，并在所述虚拟现实设备的显示屏显示所述三维视频；

深度图生成单元，用于基于所述第一视频和所述第二视频生成深度图；

眼球轨迹捕捉单元，用于控制内置摄像头采集用户的眼球的运动轨迹；

轨迹跟踪指令生成发送单元，用于将所述运动轨迹叠加到所述深度图上，并根据所述运动轨迹生成轨迹跟踪指令并发送到所述视频采集终端，所述视频采集终端用于根据所述轨迹跟踪指令控制所述第一摄像头和所述第二摄像头调整拍摄方向；

调焦和间距调整指令生成发送单元，用于根据所述深度图和所述运动轨迹生成预调焦指令和间距调整指令发送到所述视频采集终端，所述视频采集终端用于根据所述预调焦指令和所述间距调整指令控制所述第一摄像头和所述第二摄像头调焦以及调整间距；

调焦和间距调整指令生成发送单元具体包括以下模块：

调焦点采样模块，用于在所述运动轨迹上进行轨迹点采样得到多个调焦点；

深度值读取模块，用于从所述深度图中所述调焦点对应的像素读取深度值，所述深度值为所述像素在现实场景中对应的物体到所述视频采集终端的距离；

指令生成模块，用于基于所述距离生成所述调焦点的预调焦指令和间距调整指令；

指令序列生成模块，用于按照所述运动轨迹上多个所述调焦点的先后顺序生成包含调焦参数和间距调整参数的指令序列，其中，所述指令序列中每条指令的执行时间戳为所述第一摄像头和所述第二摄像头跟踪到所述调焦点时的时间戳；

指令序列发送模块，用于将所述指令序列发送到所述视频采集终端。

8.根据权利要求7所述的主从遥视控制系统，其特征在于，具体还包括以下单元：

标定画面显示单元，用于在用户佩戴虚拟现实设备并且开机后显示标定画面；

显示屏调整单元，用于播放第一提示音以提示所述用户调整显示屏；

标定图像采集单元，用于在所述用户调整显示屏结束后，播放第二提示音并控制所述内置摄像头采集标定图像，所述第二提示音用于提示所述用户双眼注视所述标定画面中的标定物；

标定参数确定单元，用于基于所述标定图像确定所述内置摄像头与所述显示屏之间的标定参数。

9.根据权利要求7所述的主从遥视控制系统，其特征在于，所述深度图像生成单元，具体包括以下模块：

视频图像采样模块，用于按照预设帧率从所述第一视频中确定出第一视频图像，以及从所述第二视频中确定出第二视频图像，所述第一视频图像和所述第二视频图像为具有相同时间戳的图像；

深度图生成模块，用于根据所述第一摄像头与所述第二摄像头之间的间距、所述第一视频图像、所述第二视频图像以及三角成像原理生成深度图。