CN112399124A - 视频通讯方法及装置 - Google Patents

Abstract

本申请公开了视频通讯方法及装置，用以实现根据本端摄像头采集的用户眼球图像，控制对端摄像头移动。本申请实施例提供的一种视频通讯方法，包括：根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；向对端发送所述摄像头控制命令。

Description

视频通讯方法及装置

技术领域

本申请涉及通信技术领域，尤其涉及视频通讯方法及装置。

背景技术

在视频通话应用中，视频通话中双方的视频图像的摄取点是固定不变的，如果视频通话的一端需要观看远端的视频画面上下左右未显示区域的图像，只能通过语音或消息通知远端通话者上下左右移动远端摄像头，变化呈现的视频画面区域，达到近端人员需要观看远端的视频画面上下左右未显示区域图像的需求。

发明内容

本申请实施例提供了视频通讯方法及装置，用以实现根据本端摄像头采集的用户眼球图像，控制对端摄像头移动。

本申请实施例提供的一种视频通讯方法，包括：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

通过该方法，使得视频通讯的终端等设备可以根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，向对端发送所述摄像头控制命令，从而控制对端摄像头移动。

可选地，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

可选地，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

相应地，本申请实施例提供的另一种视频通讯方法，包括：

接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

根据所述摄像头控制命令，控制本端摄像头移动。

可选地，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

可选地，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

本申请实施例提供的一种视频通讯装置，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

可选地，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

本申请实施例提供的另一种视频通讯装置，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

根据所述摄像头控制命令，控制本端摄像头移动。

可选地，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

可选地，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

可选地，所述处理器还用于：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

本申请实施例提供的另一种视频通讯装置，包括：

确定单元，用于根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

发送单元，用于向对端发送所述摄像头控制命令。

可选地，还包括：

接收单元，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元，根据所述摄像头控制命令，控制本端摄像头移动。

本申请实施例提供的另一种视频通讯装置，包括：

接收单元，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元，根据所述摄像头控制命令，控制本端摄像头移动。

本申请另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。

本申请另一实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的眼球向右移动控制视频画面示意图；

图2为本申请实施例提供的眼球向左移动控制视频画面示意图；

图3为本申请实施例提供的眼球向上移动控制视频画面示意图；

图4为本申请实施例提供的眼球向下移动控制视频画面示意图；

图5为本申请实施例提供的眼球移动距离示意图；

图6为本申请实施例提供的一种视频通讯方法的流程示意图；

图7为本申请实施例提供的另一种视频通讯方法的流程示意图；

图8为本申请实施例提供的一种视频通讯装置的结构示意图；

图9为本申请实施例提供的另一种视频通讯装置的结构示意图

图10为本申请实施例提供的另一种视频通讯装置的结构示意图；

图11为本申请实施例提供的另一种视频通讯装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例将成熟的眼球跟踪技术引入现有的视频通话应用，可以实现所想即所见的需求，优化了视频通话的人机界面，增加视频通话的新功能。

当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提前的特征。手机配置的摄像头可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测视频通话者的“所想”需求，将这个“所想”需求传输给远端的视频通话应用，远程控制远端摄像头相应运动获取对应的视频画面，达到用眼睛控制远端视频通话摄像头的目的，从而获取视频通话者需要的看见的视频图像。

而目前在视频通话中，视频通话中双方的视频图像的摄取点是固定不变的，对视频图像的摄取功能单一，视频通话的双方不能直接对远端的视频图像提取进行操控，严重影响了用户的感知，降低了视频通话质量。

本申请实施例提供了视频通讯方法及装置，用以实现根据本端摄像头采集的用户眼球图像，控制对端摄像头移动。

其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。

本申请实施例提供的技术方案可以适用于多种系统，尤其是5G系统。例如适用的系统可以是全球移动通讯(global system of mobile communication，GSM)系统、码分多址(code division multiple access，CDMA)系统、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)通用分组无线业务(general packet radio service，GPRS)系统、长期演进(long term evolution，LTE)系统、LTE频分双工(frequencydivision duplex，FDD)系统、LTE时分双工(time division duplex，TDD)、通用移动系统(universal mobiletelecommunication system，UMTS)、全球互联微波接入(worldwideinteroperability for microwave access，WiMAX)系统、5G系统以及5G NR系统等。这多种系统中均包括终端设备和网络设备。

本申请实施例涉及的终端设备，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。在不同的系统中，终端设备的名称可能也不相同，例如在5G系统中，终端设备可以称为用户设备(user equipment，UE)。无线终端设备可以经RAN与一个或多个核心网进行通信，无线终端设备可以是移动终端设备，如移动电话(或称为“蜂窝”电话)和具有移动终端设备的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。例如，个人通信业务(personal communication service，PCS)电话、无绳电话、会话发起协议(session initiated protocol，SIP)话机、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)等设备。无线终端设备也可以称为系统、订户单元(subscriber unit)、订户站(subscriberstation)，移动站(mobile station)、移动台(mobile)、远程站(remote station)、接入点(access point)、远程终端设备(remote terminal)、接入终端设备(access terminal)、用户终端设备(user terminal)、用户代理(useragent)、用户装置(user device)，本申请实施例中并不限定。

下面结合说明书附图对本申请各个实施例进行详细描述。需要说明的是，本申请实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。

随着通信技术的飞速发展，人们进入了视频通话的新时代，在视频通话中看见通话双方的画面，听见远端的声音，视觉和听觉的双重感官相对单纯的语音通话是一种质的飞越。

视频通话的广泛应用为视频通话的人机界面友好性提出了更高的要求，需求推动着新的应用功能的产生。随着科技的高速发展使得新的应用功能成为了可能，高处理能力的手机出现，高分辨率摄像头的配备，视频通话应用已经不再仅仅是一种看的见和听着的应用了，而是一种能够“懂得你”的应用，是具有一定智能化的“所想即所见”的视频通话。

本申请实施例是通过在视频通话应用中，所想即所见，实时追踪眼睛的上下左右运动，远程控制视频通话中的远端摄像头对应运动，自动摄取视频通话者需要看到的视频信息，智能化的根据通话者的需求呈现视频画面，增加视频通话新功能。

随着通信技术的飞速发展，特别是5G时代的到来，人们将对视频通话提出越来越多的需求，新的功能应运而生。

本申请实施例提供的技术方案是在视频通话中引入眼球跟踪技术，所想即所见，用眼睛控制远端视频通话摄像头，远端摄像头相应运动获取对应的视频画面，提高视频通话的人机界面友好性，到达完善视频通话的新功能，使得眼睛上下左右运动改变视频画面的显示图像区域。

如图1、图2、图3和图4所示，视频通话的使用者，在使用视频通话的过程中，通过眼球的上下左右的移动，远程控制远端的摄像头对应的上下左右移动，按需改变视频通话中画面显示的图像区域，达到“所想即所见”的目的。

如图1所示，视频通话的使用者一方的眼球向右转动，手机配置的摄像头实时捕捉或扫描提取到这个眼球转动的特征，视频通话应用立刻自动获取使用者需要看到远端视频使用者的右边画面的需求命令；本端视频通话应用程序在收到将远端图像画面向右移动的命令后，通过实时传输控制协议(Real-TimeTransport Control Protocol，RTCP)协议的APP控制信息将命令传输到远端视频通话应用程序，远端的视频通话应用程序调用远端本地系统中的底层设备驱动摄像头应用程序接口(Application Programming Interface，API)，驱动摄像头镜片如同A到B向右运动，达到获取原先摄像头右边区域图像信息的目的。

如图2所示，视频通话的使用者一方的眼球向左转动，手机配置的摄像头实时捕捉或扫描提取到这个眼球转动的特征，视频通话应用立刻自动获取使用者需要看到远端视频使用者的左边画面的需求命令；本端视频通话应用程序在收到将远端图像画面向左移动的命令后，通过RTCP协议的APP控制信息将命令传输到远端视频通话应用程序，远端的视频通话应用程序调用远端本地系统中的底层设备驱动摄像头API接口，驱动摄像头镜片如同A到B向左运动，达到获取原先摄像头左边区域图像信息的目的。

如图3所示，视频通话的使用者一方的眼球向上转动，手机配置的摄像头实时捕捉或扫描提取到这个眼球转动的特征，视频通话应用立刻自动获取使用者需要看到远端视频使用者的上边画面的需求命令；本端视频通话应用程序在收到将远端图像画面向上移动的命令后，通过RTCP协议的APP控制信息将命令传输到远端视频通话应用程序，远端的视频通话应用程序调用远端本地系统中的底层设备驱动摄像头API接口，驱动摄像头镜片如同A到B向上运动，达到获取原先摄像头上边区域图像信息的目的。

如图4所示，视频通话的使用者一方的眼球向下转动，手机配置的摄像头实时捕捉或扫描提取到这个眼球转动的特征，视频通话应用立刻自动获取使用者需要看到远端视频使用者的下边画面的需求命令；本端视频通话应用程序在收到将远端图像画面向下移动的命令后，通过RTCP协议的APP控制信息将命令传输到远端视频通话应用程序，远端的视频通话应用程序调用远端本地系统中的底层设备驱动摄像头API接口，驱动摄像头镜片如同A到B向下运动，达到获取原先摄像头下边区域图像信息的目的。

本申请实施例中，眼球运动与摄像头转动基本处理方法例如：

将人体生理上平视远方时眼睛瞳孔中心位于眼眶的位置，定义为眼球运动的基准点，对应于二维坐标的(0,0)原点；将瞳孔中心横向左右运动定义为坐标的X轴，瞳孔中心横向上下运动定义为坐标的Y轴。如图5所示，瞳孔中心向左移动对应于X轴正向，将平视远方时的瞳孔中心距离眼眶边缘的最远距离例如可以定义为10个距离单位；瞳孔中心向上移动对应于Y轴正向，将平视远方时的瞳孔中心距离眼眶上下边缘的最远距离也定义为10个距离单位(X轴与Y轴的绝对长度不同)。同样，也定义摄像头从中心位置到上下左右边缘的距离各定义为10个距离单位。

本申请实施例中，基于视频通话者瞳孔运动控制远端摄像头摄取视频的算法如下：

在视频通话应用中，本端摄像头以△t时间间隔的频率扫描视频通话者的眼睛，如图5所示，本端摄像头扫描获取到视频通话者瞳孔中心处于点P1(X1，Y1)位置。

如果X1与Y1都不为0，本端视频通话应用程序通过RTCP向远端摄像头传送移动控制数据(X1，Y1)；否则，本端视频通话应用程序在此次△t时间间隔不发送控制数据。

远端视频通话应用接收到RTCP传送来的控制数据(X1，Y1)，以现有摄像头位置为移动起点，控制摄像头根据X1和Y1的大小作对应的移动。

若X1为0，摄像头左右不移动；若X1为正数，摄像头向右移动X1个单位的距离；若X1为负数，摄像头向左动X1的绝对值个单位的距离；若X1的绝对值大于摄像头能够移动的最大距离，摄像头移动最多到位置10。

若Y1为0，摄像头上下不移动；若Y1为正数，摄像头向上移动Y1个单位的距离；若Y1为负数，摄像头向下移动Y1的绝对值个单位的距离；若Y1的绝对值大于摄像头能够移动的最大距离，摄像头移动最多到位置10。

本申请实施例中运用RTCP协议的APP控制信息，传递对远端设备的控制命令。

实时传输协议(Real-time Transport Protocol，RTP)是用于Internet上针对多媒体数据流的一种传输协议，视频通话一般采用RTP协议传输视频数据，由RTCP(Real-timeTransport Control Protocol)来负责完成。

RTCP是一种控制协议，RTCP协议的功能是通过不同的RTCP数据报来实现的，主要有如下五种不同控制信息类型：

200SR(Sender Report)发送端报告；

201RR(Receiver Report)接收端报告；

202SDES(Source Description Items)源点描述；

203BYE结束传输；

204APP特定应用。

其中APP由应用程序自己定义，是为了解决RTCP的扩展性问题设计的，为协议的实现者提供灵活性扩展服务。仅使用RTCP中APP的控制信息来传输对摄像头进行操作的命令。

综上所述，参见图6，在任一终端侧(当然也可以是网络侧)，例如手机终端，本申请实施例提供的一种视频通讯方法，包括：

S101、根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

所述对端，可以是终端，也可以是网络设备

S102、向对端发送所述摄像头控制命令。

通过该方法，使得视频通讯的终端等设备可以根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，向对端发送所述摄像头控制命令，从而控制对端摄像头移动。

可选地，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

可选地，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

需要说明的是，本申请实施例提供的技术方案，不仅适用于点对点的双方视频通讯，还可以适用于点对多点的多方视频通讯情况。

相应地，在视频通讯的另一端，可以是终端也可以是网络侧，参见图7，本申请实施例提供的另一种视频通讯方法，包括：

S201、接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

S202、根据所述摄像头控制命令，控制本端摄像头移动。

可选地，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

可选地，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

参见图8，本申请实施例提供的一种视频通讯装置，包括：

存储器620，用于存储程序指令；

处理器600，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

可选地，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

可选地，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

收发机610，用于在处理器600的控制下接收和发送数据。

其中，在图8中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口630还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆、摄像头等。

处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。

可选的，处理器600可以是CPU(中央处埋器)、ASIC(ApplicationSpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)。

参见图9，本申请实施例提供的另一种视频通讯装置，包括：

存储器520，用于存储程序指令；

处理器500，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

根据所述摄像头控制命令，控制本端摄像头移动。

可选地，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

可选地，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

可选地，所述处理器500还用于：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

收发机510，用于在处理器500的控制下接收和发送数据。

其中，在图9中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器500代表的一个或多个处理器和存储器520代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机510可以是多个元件，即包括发送机和收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器500负责管理总线架构和通常的处理，存储器520可以存储处理器500在执行操作时所使用的数据。

处理器500可以是中央处埋器(CPU)、专用集成电路(ApplicationSpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable GateArray，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)。

参见图10，本申请实施例提供的另一种视频通讯装置，包括：

确定单元11，用于根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

发送单元12，用于向对端发送所述摄像头控制命令。

可选地，参见图11，还包括：

接收单元21，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元22，根据所述摄像头控制命令，控制本端摄像头移动。

参见图11，本申请实施例提供的另一种视频通讯装置，包括：

接收单元21，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元22，根据所述摄像头控制命令，控制本端摄像头移动。

需要说明的是，本申请实施例中，同一视频通讯设备，即可以作为发送控制对端摄像头命令的一端，也可以作为接收对端发送的用于控制本端摄像头命令的一端。

需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。该计算设备可以包括中央处理器(Center Processing Unit，CPU)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储本申请实施例提供的任一所述方法的程序。

处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本申请实施例提供的任一所述方法。

本申请实施例提供了一种计算机存储介质，用于储存为上述本申请实施例提供的装置所用的计算机程序指令，其包含用于执行上述本申请实施例提供的任一方法的程序。

所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。

本申请实施例提供的方法可以应用于终端设备，也可以应用于网络设备。

其中，终端设备也可称之为用户设备(User Equipment，简称为“UE”)、移动台(Mobile Station，简称为“MS”)、移动终端(Mobile Terminal)等，可选的，该终端可以具备经无线接入网(Radio Access Network，RAN)与一个或多个核心网进行通信的能力，例如，终端可以是移动电话(或称为“蜂窝”电话)、或具有移动性质的计算机等，例如，终端还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置。

网络设备可以为基站(例如，接入点)，指接入网中在空中接口上通过一个或多个扇区与无线终端通信的设备。基站可用于将收到的空中帧与IP分组进行相互转换，作为无线终端与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)网络。基站还可协调对空中接口的属性管理。例如，基站可以是GSM或CDMA中的基站(BTS，BaseTransceiver Station)，也可以是WCDMA中的基站(NodeB)，还可以是LTE中的演进型基站(NodeB或eNB或e-NodeB，evolutional Node B)，或者也可以是5G系统中的gNB等。本申请实施例中不做限定。

上述方法处理流程可以用软件程序实现，该软件程序可以存储在存储介质中，当存储的软件程序被调用时，执行上述方法步骤。

综上所述，在视频通话中使用了眼球跟踪技术，所想即所见，实时自动智能化，人机界面友好。眼球运动远程控制远端设备，按需提供视频通话的视频信息。直接使用成熟的RTCP协议的传递控制命令，可扩展性好。本申请实施例提供的技术方案，不仅仅应用于双方视频通话中，在点对多点的多方视频通话中也可以应用。增加了视频通话的眼球跟踪新功能，提高了视频通话的应用友好程度。实现简单，提出了完整的解决方案。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (19)

1.一种视频通讯方法，其特征在于，该方法包括：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

2.根据权利要求1所述的方法，其特征在于，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

3.根据权利要求2所述的方法，其特征在于，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

4.根据权利要求2或3所述的方法，其特征在于，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

5.一种视频通讯方法，其特征在于，该方法包括：

接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

根据所述摄像头控制命令，控制本端摄像头移动。

6.根据权利要求5所述的方法，其特征在于，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

7.根据权利要求6所述的方法，其特征在于，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

8.一种视频通讯装置，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

9.根据权利要求8所述的装置，其特征在于，根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，具体包括：

根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，根据用户眼球位置确定需要向对端发送的摄像头控制命令。

10.根据权利要求9所述的装置，其特征在于，根据本端摄像头采集的用户眼球图像对用户眼球位置进行跟踪，具体包括：

基于本端摄像头采集的用户视频图像，将用户眼球位于眼眶中心位置时的眼球中心位置作为中心点，建立二维坐标系；

跟踪用户眼球在所述二维坐标系中的位置。

11.根据权利要求9或10所述的装置，其特征在于，根据用户眼球位置确定需要向对端发送的摄像头控制命令，具体包括：

当本端摄像头以预设时间间隔的频率采集用户图像时，若当前获取到的用户图像上用户瞳孔中心处于所述二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则向对端摄像头传送移动控制数据(X1，Y1)。

12.一种视频通讯装置，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行：

接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

根据所述摄像头控制命令，控制本端摄像头移动。

13.根据权利要求12所述的装置，其特征在于，所述摄像头控制命令，具体包括移动控制数据(X1，Y1)，所述移动控制数据(X1，Y1)是对端采用如下方式发送的：

当所述对端摄像头以预设时间间隔的频率采集用户图像时，若当前所述对端获取到的用户图像上用户瞳孔中心处于二维坐标系的(X1，Y1)位置，并且如果X1与Y1都不为0，则发送所述移动控制数据(X1，Y1)。

14.根据权利要求13所述的装置，其特征在于，根据所述摄像头控制命令，控制本端摄像头移动，具体包括：

以本端摄像头当前位置为移动起点，根据移动控制数据(X1，Y1)采用如下方式控制本端摄像头移动：

若X1为0，保持摄像头在左右方向不移动；若X1为正数，控制摄像头向右移动X1个单位的距离；若X1为负数，控制摄像头向左动X1的绝对值个单位的距离；其中，若X1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置；

若Y1为0，控制摄像头在上下方向不移动；若Y1为正数，控制摄像头向上移动Y1个单位的距离；若Y1为负数，控制摄像头向下移动Y1的绝对值个单位的距离；其中，若Y1的绝对值大于摄像头能够移动的最大距离，控制摄像头移动到预设位置。

15.根据权利要求12所述的装置，其特征在于，所述处理器还用于：

根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

向对端发送所述摄像头控制命令。

16.一种视频通讯装置，其特征在于，包括：

确定单元，用于根据本端摄像头采集的用户眼球图像，确定需要向对端发送的摄像头控制命令，用于控制对端摄像头移动；

发送单元，用于向对端发送所述摄像头控制命令。

17.根据权利要求16所述的装置，其特征在于，还包括：

接收单元，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元，根据所述摄像头控制命令，控制本端摄像头移动。

18.一种视频通讯装置，其特征在于，包括：

接收单元，用于接收对端发送的根据对端摄像头采集的用户眼球图像确定的摄像头控制命令；

控制单元，根据所述摄像头控制命令，控制本端摄像头移动。

19.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至7任一项所述的方法。

Images