CN113489938B - 虚拟会议控制方法、智能设备及终端设备 - Google Patents

Abstract

本申请实施例提供一种虚拟会议控制方法、智能设备及终端设备，用于解决相关技术中虚拟会议相较于真人会议，真实感不足，严重影响会议质量的问题。本申请实施例提供的方法中，终端设备可以作为电子白板供用户对会议文档进行编辑操作。终端设备可与智能设备连接，并实时同步用户的编辑结果给智能设备，以便于智能设备将用户对会议文档的编辑结果同步到虚拟会议场景中，也即同步给参会的其他工作人员，此外，本申请中还能够对用户进行视线追踪，能够根据追踪结果随用户视线切换虚拟场景视角，从而提高会议交流的沉浸感和便利性。

Description

虚拟会议控制方法、智能设备及终端设备

技术领域

本申请涉及图像识别、多屏互动技术领域，特别涉及一种虚拟会议控制方法、智能设备及终端设备。

背景技术

随着技术的发展，社会的进步，远程会议作为一种不受距离、场地等限制的新型会议形式变得越来越流行。远程的虚拟会议能够对会议场景进行建模，并将各个参会人员的影像投射到虚拟会议场景中，虚拟会议不但可以为个人用户带来便利，更加有利于减少企业之间的交流成本。但是，目前相关技术中的虚拟会议相较于真人会议，真实感不足，并且操作复杂，用户只能在单一视角下进行交流，不够灵活，严重影响会议质量。

发明内容

本申请的目的是提供一种虚拟会议控制方法智能设备及终端设备，用以解决以下问题：虚拟会议场景的控制灵活性差，严重影响会议质量的问题。

第一方面，本申请实施例提供一种虚拟会议控制方法，所述方法包括：

在搭建好虚拟会议场景之后，获取与会对象对会议文档的编辑结果；所述与会对象为所述虚拟会议场景中的多个参会对象中的任一个；

将所述编辑结果同步到各个所述参会对象的所述虚拟会议场景中的虚拟电子白板上。

在一个实施例中，所述方法还包括：

对所述与会对象的视频实时进行视线追踪，得到所述与会对象的视线角度；

若所述视线角度为指定角度时，根据所述视线角度控制所述与会对象的虚拟会议场景进行视角切换。

在一个实施例中，所述指定角度包括：向左看、向右看；

所述根据所述视线角度控制所述虚拟会议场景进行视角切换，包括：

当所述视线角度为向左看时，控制所述虚拟会议场景从当前视角向左切换预设视角；当所述视线角度为向右看时，控制所述虚拟会议场景从当前视角向右切换预设视角。

对所述视频实时进行人脸检测，获得所述目标对象与会对象的眼部区域；

从所述眼部区域中检测右眼球距眉心的第一距离以及右眼球距眉心的第二距离；

若所述第一距离与所述第二距离的差值的绝对值小于预设距离，则判定所述目标对象与会对象为正视前方；

若所述第一距离与所述第二距离的差值大于所述预设距离，则判定所述目标对象与会对象为所述向左看；

若所述第一距离与所述第二距离的差值小于所述预设距离，则判定所述目标对象与会对象为所述向右看。

在一个实施例中，所述方法还包括：

当接收到所述编辑结果时，停止对所述视频实时进行视线追踪；

当指定时长内未接收到所述编辑结果时，则重新启动对所述视频实时进行视线追踪的操作。

在一个实施例中，所述获取与会对象对会议文档的编辑结果，包括：

获取所述与会对象对应的智能终端上报的对所述会议文档的投屏信息；

所述将所述编辑结果同步到各个所述参会对象的所述虚拟会议场景中的虚拟电子白板上，包括：

将所述虚拟电子白板的显示内容更新为所述投屏信息中的所述会议文档的界面图像；

并将对所述虚拟电子白板的更新结果同步给各个所述参会对象。

第二方面，本申请实施例提供一种虚拟会议控制方法，所述方法包括：

在搭建好虚拟会议场景之后，对与会对象的视频实时进行视线追踪，得到所述与会对象的视线角度；所述与会对象为所述虚拟会议场景中的多个参会对象中的任一个；

若所述视线角度为指定角度时，根据所述视线角度控制所述与会对象的虚拟会议场景进行视角切换。

在一个实施例中，所述方法还包括：

接收所述与会对象对会议文档的编辑结果；

将所述编辑结果同步到各个所述参会对象的所述虚拟会议场景中的虚拟电子白板上。

在一个实施例中，所述对所述与会对象的视频实时进行视线追踪，得到所述与会对象的视线角度，包括：

在一个实施例中，所述指定角度包括：向左看、向右看；

所述根据所述视线角度控制所述与会对象的虚拟会议场景进行视角切换，包括：

当所述视线角度为向左看时，控制所述与会对象的所述虚拟会议场景从当前视角向左切换预设视角；

当所述视线角度为向右看时，控制所述与会对象的所述虚拟会议场景从当前视角向右切换预设视角。

在一个实施例中，所述对所述与会对象的视频实时进行视线追踪，得到所述与会对象的视线角度，包括：

对所述视频实时进行人脸检测，获得所述与会对象的眼部区域；

从所述眼部区域中检测右眼球距眉心的第一距离以及右眼球距眉心的第二距离；

若所述第一距离与所述第二距离的差值的绝对值小于预设距离，则判定所述与会对象为正视前方；

若所述第一距离与所述第二距离的差值大于所述预设距离，则判定所述与会对象为所述向左看；

若所述第一距离与所述第二距离的差值小于所述预设距离，则判定所述与会对象为所述向右看。

在一个实施例中，所述方法还包括：

当接收到所述编辑结果时，停止对所述视频实时进行视线追踪；

当指定时长内未接收到所述编辑结果时，则重新启动所述对所述与会对象的视频实时进行视线追踪的操作。

第三方面，本申请实施例还提供一种智能设备，包括处理器和存储器：

所述存储器，用于存储可被所述处理器执行的计算机程序；

所述处理器与所述存储器和所述显示装置连接，被配置为执行本申请实施例第一方面或第二方面任一所述的方法。

第四方面，本申请实施例提供一种终端设备，所述终端设备包括处理器、存储器和显示器：

所述显示器，用于展示虚拟会议中采用的会议文档；

所述存储器，用于存储可被所述处理器执行的计算机程序；

所述处理器与所述存储器和所述显示装置连接，被配置为：

响应于对展示的所述会议文档的标记操作，获得编辑结果；

将所述编辑结果同步给智能设备，以使所述智能设备将所述编辑结果同步到各个参会对象的虚拟会议场景中的虚拟电子白板上。

在一个实施例中，所述将所述编辑结果同步给所述智能设备之前，所述处理器还被配置为：

从所述智能设备发送的广播消息中获取所述智能设备的访问地址；

根据所述访问地址与所述智能设备建立连接；

成功建立连接之后，与所述智能设备协商进行屏幕录制操作；

所述处理器执行所述将所述编辑结果同步给智能设备时，被配置为：

将录制的屏幕操作结果作为所述编辑结果同步给所述智能设备。

第五方面，本申请实施例还提供一种虚拟会议控制方法，所述方法包括：

响应于对展示的所述会议文档的标记操作，获得编辑结果；

将所述编辑结果同步给智能设备，以使所述智能设备将所述编辑结果同步到各个参会对象的虚拟会议场景中的虚拟电子白板上。

本申请实施例与相关技术相比，终端设备可以作为电子白板供用户对会议文档进行编辑操作。终端设备可与智能设备连接，并实时同步用户的编辑结果给智能设备，以便于智能设备将用户对会议文档的编辑结果同步到虚拟会议场景中的所有参会用户。

此外，本申请中还能够对用户进行视线追踪，能够根据追踪结果随用户视线切换虚拟场景视角提高会议交流的沉浸感和便利性，增加了用户体验感。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的虚拟会议控制方法的虚拟会议场景示意图；

图2示例性示出了本申请实施例提供的一种虚拟会议控制方法的终端的软件架构示意图；

图3A为本申请一些实施例提供的虚拟会议控制方法的显示设备的应用场景图；

图3B为本申请一些实施例提供的虚拟会议控制方法的显示设备300C的结构图；

图3C为本申请一些实施例提供的虚拟会议控制方法的控制装置300的结构图；

图4为本申请一些实施例提供的虚拟会议控制方法的显示设备300C的硬件配置框图；

图5为本申请一些实施例提供的虚拟会议控制方法的显示设备300C存储器中操作系统的架构配置框图；

图6为本申请实施例提供的虚拟会议控制方法的具体实施中的流程图；

图7为本申请实施例提供的虚拟会议控制方法中获取与会对象对会议文档的编辑结果的示意图；

图8为本申请实施例提供的虚拟会议控制方法中将智能终端上对会议文档的编辑结果实时同步到虚拟电子白板上的示意图；

图9为本申请实施例提供的虚拟会议控制方法中根据用户视线切换虚拟会议场景的示意图；

图10为本申请实施例提供的虚拟会议控制方法中得到与会对象的视线角度的具体步骤示意图；

图11为本申请实施例提供的虚拟会议控制方法中根据眼距选择预设距离的示意图；

图12为本申请实施例提供的虚拟会议控制方法应用于智能设备的流程图；

图13为本申请实施例提供的虚拟会议控制方法应用于终端设备的流程图；

图14为本申请实施例提供的虚拟会议控制方法中将编辑结果同步给智能设备的前期准备步骤示意图；

图15为本申请实施例提供的虚拟会议控制方法的整体流程图。

具体实施方式

本申请实施例中术语″和/或″，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符″/″一般表示前后关联对象是一种″或″的关系。

本申请实施例中术语″多个″是指两个或两个以上，其它量词与之类似。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

发明人研究发现，虚拟会议作为一种不受距离、场地等限制的新型会议形式变得越来越流行，不但可以为个人用户带来便利，更加有利于减少企业之间的交流成本。但是，目前相关技术中的视频会议乃至虚拟会议相较于真人会议，真实感不足，用户只能在单一视角下进行交流，大大降低了用户的体验感，严重影响会议质量。

此外，发明人还发现，由于电子白板的价格比较昂贵，一般家庭用户无法单独配置，所以用户在家中办公时，往往只能通过视频做到信息的被动接收，只能用语言去描述个人观点，限制了用户行为；此外，虚拟会议中一旦确定会议场景，就会将线上用户的人像放置在特定的位置上，若线上人数比较多，用户视角就会有局限，降低了用户的使用感受。

有鉴于此，本申请以提高灵活度，提高用户在虚拟会议中的沉浸感为目的，提供了一种虚拟会议控制方法。本申请的发明构思为：终端设备可以作为电子白板供用户对会议文档进行编辑操作。终端设备可与智能设备连接，并实时同步用户的编辑结果给智能设备，以便于智能设备将用户对会议文档的编辑结果同步到虚拟会议场景中，也即同步给参会的其他工作人员。这样，用户可复用终端设备的功能，实现对虚拟会议场景中会议文档的灵活操作，并便于其他与会人员能够实时观看编辑结果，方便了解讲解人员的会议内容。

此外，本申请中为了提高虚拟会议的沉浸感，还可以根据对用户进行实现追踪，根据追踪结果切换用户在虚拟会议场景的视角，得到虚拟会议场景跟随用户视觉的目的。

下面结合附图对本申请实施例中的虚拟会议控制方法进行详细说明。

如图1所示，为本申请实施例提供的一种虚拟会议控制方法的虚拟会议场景，图中包括：手持终端设备101，用户102对应的智能设备103以及用户104对应的智能设备105，服务器106。

其中，智能设备可以为智能终端，例如智能电视等，也可以为但不限于计算机、笔记本电脑、智能电话、平板电脑、智能手表、智能手环、车载终端等智能设备，或是其它类型的电子设备。此外，智能设备也可以为服务器。服务器可实施为边缘服务器。智能设备还可以为智能终端+服务器。也即，本申请提供的虚拟会议控制方法，可以部分由智能终端完成，部分由服务器完成。

在图1所示的场景中，用户102作为会议发起者，通过其智能设备103向智能设备105发起参会请求以请求智能设备105的用户104参加虚拟会议。

在本申请实施例中，接收会议邀请的用户侧除了未实施发起会议和选择场景的操作外，其他方面的实施和会议发起方相同。本申请实施例中，在会议过程中会议发起方和参与方可以实施相同的操作。以智能设备103为例，本申请实施例中，为了增加虚拟会议的便利性，用户102可以采用手持终端设备101作为电子白板展示会议文档。对会议文档的任何操作，都可以在手持终端设备101上完成，并同步给所有参会人员的虚拟会议场景中。例如手持终端设备和智能设备103建立连接后，智能设备103可通过对手持终端设备101录屏，根据录屏结果获知用户102对会议文档的编辑操作，并将操作结果同步给服务器106。例如服务器106根据录屏结果中包括的对会议文本的编辑结果，该编辑结果表现为会议文档的界面图，则服务器106将该界面图作为虚拟电子白板的输出，合成到虚拟电子白板中。并同步给智能设备105以便于所有参会人员都能够了解会议文档的当前结果。

在另一个实施例中，录屏结果中还可以包括用户的操作指令，和会议文档编辑前的状态，然后由服务器106根据该操作指令在虚拟会议场景中展示出用户102对虚拟会议文档的编辑过程和编辑结果，以达到更好的沉浸感。

此外，本申请实施例中，还可以对所有用户进行视线追踪，以便于根据用户视线切换其虚拟会议场景视角，达到显示的虚拟会议场景跟随用户视角的效果，以便于进一步增加虚拟会议场景的沉浸感。

图2中示例性示出了根据示例性实施例中作为虚拟电子白板的终端设备100的硬件配置框图。如图2所示，终端设备100包括：射频(radio frequency，RF)电路110、存储器120、显示单元130、摄像头140、传感器150、音频电路160、无线保真(Wireless Fidelity，Wi-Fi)模块170、处理器180、蓝牙模块181、以及电源190等部件。

RF电路110可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器180处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

存储器120可用于存储软件程序及数据。处理器180通过运行存储在存储器120的软件程序或数据，从而执行终端设备100的各种功能以及数据处理。存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器120存储有使得终端设备100能运行的操作系统。本申请中存储器120可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述方法的程序代码。

显示单元130可用于接收输入的数字或字符信息，产生与终端设备100的用户设置以及功能控制有关的信号输入，具体地，显示单元130可以包括设置在终端设备100正面的触摸屏131，可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。

显示单元130还可用于显示由用户输入的信息或提供给用户的信息以及终端设备100的各种菜单的图形用户界面(graphical user interface，GUI)。具体地，显示单元130可以包括设置在终端设备100正面的显示屏132。其中，显示屏132可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中会议文档供用户进行编辑。

其中，触摸屏131可以覆盖在显示屏132之上，也可以将触摸屏131与显示屏132集成而实现终端设备100的输入和输出功能，集成后可以简称触摸显示屏。本申请中显示单元130可以显示应用程序以及对应的操作步骤。

摄像头140可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器180转换成数字图像信号。

终端设备100还可以包括至少一种传感器150，比如加速度传感器151、距离传感器152、指纹传感器153、温度传感器154。终端设备100还可配置有陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器等其他传感器。

音频电路160、扬声器161、麦克风162可提供用户与终端设备100之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。终端设备100还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路110以发送给比如另一终端，或者将音频数据输出至存储器120以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，终端设备100可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

处理器180是终端设备100的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行终端设备100的各种功能和处理数据。在一些实施例中，处理器180可包括一个或多个处理单元；处理器180还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器180中。本申请中处理器180可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例的会议文档编辑的处理方法。另外，处理器180与显示单元130耦接。

蓝牙模块181，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，终端设备100可以通过蓝牙模块181与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

终端设备100还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。终端设备100还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

参见图3A，为本申请一些实施例提供的一种显示设备的应用场景图。如图3A所示，智能设备可以为智能显示设备，该显示设备300C与控制装置300之间可以有线或无线方式进行通信。

其中，控制装置300被配置为控制显示设备300C，其可接收用户输入的操作指令，且将操作指令转换为显示设备300C可识别和响应的指令，起着用户与显示设备300C之间交互的中介作用。如：用户通过操作控制装置300上频道加减键，显示设备300C响应频道加减的操作。

控制装置300可以是遥控器300A，包括红外协议通信或蓝牙协议通信，及其他短距离通信方式等，通过无线或其他有线方式来控制显示设备300C。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令，来控制显示设备300C。如：用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令，来实现控制显示设备300C的功能。

控制装置300也可以是智能设备，如移动终端300B、平板电脑、计算机、笔记本电脑等。例如，使用在智能设备上运行的应用程序控制显示设备300C。该应用程序通过配置可以在与智能设备关联的屏幕上，通过直观的用户界面(UI)为用户提供各种控制。

示例性的，移动终端300B可与显示设备300C安装软件应用，通过网络通信协议实现连接通信，实现一对一控制操作的和数据通信的目的。如：可以使移动终端300B与显示设备300C建立控制指令协议，通过操作移动终端300B上提供的用户界面的各种功能键或虚拟控件，来实现如遥控器300A布置的实体按键的功能。也可以将移动终端300B上显示的音视频内容传输到显示设备300C上，实现同步显示功能。

显示设备300C可提供广播接收功能和计算机支持功能的网络电视功能。显示设备可以实施为，数字电视、网络电视、互联网协议电视(IPTV)等。

显示设备300C，可以是液晶显示器、有机发光显示器、投影设备。具体显示设备类型、尺寸大小和分辨率等不作限定。

显示设备300C还与服务器300通过多种通信方式进行数据通信。这里可允许显示设备300C通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器300可以向显示设备300C提供各种内容和互动。示例的，显示设备300C可以发送和接收信息，例如：接收电子节目指南(EPG)数据、接收软件程序更新、或访问远程储存的数字媒体库。服务器300可以一组，也可以多组，可以一类或多类服务器。通过服务器300提供视频点播和广告服务等其他网络服务内容。

在一些实施例中，如图3B所示，显示设备300C包括旋转组件376，控制器377，显示器375，从背板上空隙处伸出的端子接口378以及和背板连接的旋转组件376，旋转组件376可以使显示器375进行旋转。从显示设备正面观看的角度，旋转组件376可以将显示器旋转到竖屏状态，即屏幕竖向的边长大于横向的边长的状态，也可以将屏幕旋转至横屏状态，即屏幕横向的边长大于竖向的边长的状态。图3C中示例性示出了控制装置300的配置框图。如图3C所示，控制装置300包括控制器310、存储器320、通信器330、用户输入接口340、用户输出接口350、供电电源360。

控制器310包括随机存取存储器(RAM)311、只读存储器(ROM)312、处理器313、通信接口以及通信总线。控制器310用于控制控制装置300的运行和操作，以及内部各部件之间的通信协作、外部和内部的数据处理功能。

示例性的，当检测到用户按压在遥控器300A上布置的按键的交互或触摸在遥控器300A上布置的触摸面板的交互时，控制器310可控制产生与检测到的交互相应的信号，并将该信号发送到显示设备300C。

存储器320，用于在控制器310的控制下存储驱动和控制控制装置300的各种运行程序、数据和应用。存储器320，可以存储用户输入的各类控制信号指令。

通信器330在控制器310的控制下，实现与显示设备300C之间控制信号和数据信号的通信。如：控制装置300经由通信器330将控制信号(例如触摸信号或控件信号)发送至显示设备300C上，控制装置300可经由通信器330接收由显示设备300C发送的信号。通信器330可以包括红外信号接口331和射频信号接口332。例如：红外信号接口时，需要将用户输入指令按照红外控制协议转化为红外控制信号，经红外发送模块进行发送至显示设备300C。再如：射频信号接口时，需将用户输入指令转化为数字信号，然后按照射频控制信号调制协议进行调制后，由射频发送端子发送至显示设备300C。

用户输入接口340，可包括麦克风341、触摸板342、传感器343、按键344等中至少一者，从而用户可以通过语音、触摸、手势、按压等将关于控制显示设备300C的用户指令输入到控制装置300。

用户输出接口350，通过将用户输入接口340接收的用户指令输出至显示设备300C，或者，输出由显示设备300C接收的图像或语音信号。这里，用户输出接口350可以包括LED接口351、产生振动的振动接口352、输出声音的声音输出接口353和输出图像的显示器354等。例如，遥控器300A可从用户输出接口350接收音频、视频或数据等输出信号，并且将输出信号在显示器354上显示为图像形式、在声音输出接口353输出为音频形式或在振动接口352输出为振动形式。

供电电源360，用于在控制器310的控制下为控制装置300各元件提供运行电力支持。形式可以为电池及相关控制电路。

如前文所述，智能设备是可以是具有显示功能的智能电视等显示设备，图4中示例性示出了显示设备300C的硬件配置框图。如图4所示，显示设备300C中可以包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、存储器260、用户接口265、视频处理器270、显示器275、旋转组件276、音频处理器280、音频输出接口285、供电电源290。

其中，旋转组件276可以包括驱动电机、旋转轴等部件。其中，驱动电机可以连接控制器250，受控制器250的控制输出旋转角度；旋转轴的一端连接驱动电机的动力输出轴，另一端连接显示器275，以使显示器275可以通过旋转组件276固定安装在墙壁或支架上。

旋转组件276还可以包括其他部件，如传动部件、检测部件等。其中，传动部件可以通过特定传动比，调整旋转组件276输出的转速和力矩，可以为齿轮传动方式；检测部件可以由设置在旋转轴上的传感器组成，例如角度传感器、姿态传感器等。这些传感器可以对旋转组件276旋转的角度等参数进行检测，并将检测的参数发送给控制器250，以使控制器250能够根据检测的参数判断或调整显示设备300C的状态。实际应用中，旋转组件276可以包括但不限于上述部件中的一种或多种。

调谐解调器210，通过有线或无线方式接收广播电视信号，可以进行放大、混频和谐振等调制解调处理，用于从多个无线或有线广播电视信号中解调出用户所选择的电视频道的频率中所携带的音视频信号，以及附加信息(例如EPG数据)。

调谐解调器210，可根据用户选择，以及由控制器250控制，响应用户选择的电视频道的频率以及该频率所携带的电视信号。

调谐解调器210，根据电视信号的广播制式不同，可以接收信号的途径有很多种，诸如：地面广播、有线广播、卫星广播或互联网广播等；以及根据调制类型不同，可以数字调制方式或模拟调制方式；以及根据接收电视信号的种类不同，可以解调模拟信号和数字信号。

在其他一些示例性实施例中，调谐解调器210也可在外部设备中，如外部机顶盒等。这样，机顶盒通过调制解调后输出电视信号，经过外部装置接口240输入至显示设备300C中。

通信器220，是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如显示设备300C可将内容数据发送至经由通信器220连接的外部设备，或者，从经由通信器220连接的外部设备浏览和下载内容数据，例如从服务获取虚拟会议场景的实施画面。通信器220可以包括WIFI模块221、蓝牙通信协议模块222、有线以太网通信协议模块223等网络通信协议模块或近场通信协议模块，从而通信器220可根据控制器250的控制接收控制装置300的控制信号，并将控制信号实现为WIFI信号、蓝牙信号、射频信号等。

检测器230，是显示设备300C用于采集外部环境或与外部交互的信号的组件。检测器230可以包括声音采集器231，如麦克风，可以用于接收用户的声音，如用户控制显示设备300C的控制指令的语音信号；或者，可以采集用于识别环境场景类型的环境声音，实现显示设备300C可以自适应环境噪声。

在其他一些示例性实施例中，检测器230，还可以包括图像采集器232，如相机、摄像头等，可以用于采集外部环境场景，以自适应变化显示设备300C的显示参数；以及用于采集用户的属性或与用户交互手势，以实现显示设备与用户之间互动的功能。

在其他一些示例性实施例中，检测器230，还可以包括光接收器，用于采集环境光线强度，以自适应显示设备300C的显示参数变化等。

在其他一些示例性实施例中，检测器230，还可以包括温度传感器，如通过感测环境温度，显示设备300C可自适应调整图像的显示色温。示例性的，当温度偏高的环境时，可调整显示设备300C显示图像色温偏冷色调；当温度偏低的环境时，可以调整显示设备300C显示图像色温偏暖色调。

外部装置接口240，是提供控制器250控制显示设备300C与外部设备间数据传输的组件。外部装置接口240可按照有线/无线方式与诸如机顶盒、游戏装置、笔记本电脑等外部设备连接，可接收外部设备的诸如视频信号(例如运动图像)、音频信号(例如音乐)、附加信息(例如EPG)等数据。

其中，外部装置接口240可以包括：高清多媒体接口(HDMI)端子241、复合视频消隐同步(CVBS)端子242、模拟或数字分量端子243、通用串行总线(USB)端子244、组件(Component)端子(图中未示出)、红绿蓝(RGB)端子(图中未示出)等任一个或多个。

控制器250，通过运行存储在存储器260上的各种软件控制程序(如操作系统和各种应用程序)，来控制显示设备300C的工作和响应用户的操作。

如图4所示，控制器250包括随机存取存储器(RAM)251、只读存储器(ROM)252、图形处理器253、CPU处理器254、通信接口255、以及通信总线256。其中，RAM251、ROM252以及图形处理器253、CPU处理器254通信接口255通过通信总线256相连接。

ROM252，用于存储各种系统启动指令。如在接收到开机信号时，显示设备300C电源开始启动，CPU处理器254运行ROM252中的系统启动指令，将存储在存储器260的操作系统拷贝至RAM251中，以开始运行启动操作系统。当操作系统启动完成后，CPU处理器254再将存储器260中各种应用程序拷贝至RAM251中，然后，开始运行启动各种应用程序。例如，进行虚拟会议的程序。

图形处理器253，用于产生各种图形对象，如图标、操作菜单、以及用户输入指令显示图形等。图形处理器253可以包括运算器，用于通过接收用户输入各种交互指令进行运算，进而根据显示属性显示各种对象；以及包括渲染器，用于产生基于运算器得到的各种对象，将进行渲染的结果显示在显示器275上。

CPU处理器254，用于执行存储在存储器260中的操作系统和应用程序指令。以及根据接收的用户输入指令，来执行各种应用程序、数据和内容的处理，以便最终显示和播放各种音视频内容。例如，响应于用户指令，创建虚拟会议场景，并响应于虚拟电子白板对会议文档的编辑操作，将会议文档的编辑结果同步到虚拟会议场景中。

在一些示例性实施例中，CPU处理器254，可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器，用于在显示设备预加载模式中执行显示设备300C的一些初始化操作，和/或，在正常模式下显示画面的操作。多个或一个子处理器，用于执行在显示设备待机模式等状态下的一种操作。

通信接口255，可包括第一接口到第n接口。这些接口可以是经由网络被连接到外部设备的网络接口。

控制器250可以控制显示设备300C的整体操作。例如：响应于接收到用于选择在显示器275上显示的GUI对象的用户输入命令，控制器250便可以执行与由用户输入命令选择的对象有关的操作。

其中，该对象可以是可选对象中的任何一个，例如超链接或图标。该与所选择的对象有关的操作，例如显示连接到超链接页面、文档、图像等操作，或者执行与对象相对应的程序的操作。该用于选择GUI对象的用户输入命令，可以是通过连接到显示设备300C的各种输入装置(例如，鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。

存储器260，用于存储驱动和控制显示设备300C运行的各种类型的数据、软件程序或应用程序。存储器260可以包括易失性和/或非易失性存储器。而术语″存储器″包括存储器260、控制器250的RAM251和ROM252、或显示设备300C中的存储卡。

在一些实施例中，存储器260具体用于存储驱动显示设备300C中控制器250的运行程序；存储显示设备300C内置的和用户从外部设备下载的各种应用程序；存储用于配置由显示器275提供的各种GUI、与GUI相关的各种对象及用于选择GUI对象的选择器的视觉效果图像等数据。

在一些实施例中，存储器260具体用于存储调谐解调器210、通信器220、检测器230、外部装置接口240、视频处理器270、显示器275、音频处理器280等的驱动程序和相关数据，例如从外部装置接口接收的外部数据(例如音视频数据)或用户接口接收的用户数据(例如按键信息、语音信息、触摸信息等)。

在一些实施例中，存储器260具体存储用于表示操作系统(OS)的软件和/或程序，这些软件和/或程序可包括，例如：内核、中间件、应用编程接口(API)和/或应用程序。示例性的，内核可控制或管理系统资源，以及其它程序所实施的功能(如所述中间件、API或应用程序)；同时，内核可以提供接口，以允许中间件、API或应用程序访问控制器，以实现控制或管理系统资源。

图5中示例性示出了显示设备300C存储器中操作系统的架构配置框图。该操作系统架构从上到下依次是应用层、中间件层和内核层。

应用层，系统内置的应用程序以及非系统级的应用程序都是属于应用层。负责与用户进行直接交互。应用层可包括多个应用程序，如设置应用程序、电子帖应用程序、媒体中心应用程序等。这些应用程序可被实现为Web应用，其基于WebKit引擎来执行，具体可基于HTML5、层叠样式表(CSS)和JavaScript来开发并执行。

这里，HTML，全称为超文本标记语言(HyperText Markup Language)，是一种用于创建网页的标准标记语言，通过标记标签来描述网页，HTML标签用以说明文字、图形、动画、声音、表格、链接等，浏览器会读取HTML文档，解释文档内标签的内容，并以网页的形式显示出来。

CSS，全称为层叠样式表(Cascading Style Sheets)，是一种用来表现HTML文件样式的计算机语言，可以用来定义样式结构，如字体、颜色、位置等的语言。CSS样式可以直接存储与HTML网页或者单独的样式文件中，实现对网页中样式的控制。

JavaScript，是一种应用于Web网页编程的语言，可以插入HTML页面并由浏览器解释执行。其中Web应用的交互逻辑都是通过JavaScript实现。JavaScript可以通过浏览器，封装JavaScript扩展接口，实现与内核层的通信。

中间件层，可以提供一些标准化的接口，以支持各种环境和系统的操作。例如，中间件层可以实现为与数据广播相关的中间件的多媒体和超媒体信息编码专家组(MHEG)，还可以实现为与外部设备通信相关的中间件的DLNA中间件，还可以实现为提供显示设备内各应用程序所运行的浏览器环境的中间件等。

内核层，提供核心系统服务，例如：文件管理、内存管理、进程管理、网络管理、系统安全权限管理等服务。内核层可以被实现为基于各种操作系统的内核，例如，基于Linux操作系统的内核。

内核层也同时提供系统软件和硬件之间的通信，为各种硬件提供设备驱动服务，例如：为显示器提供显示驱动程序、为摄像头提供摄像头驱动程序、为遥控器提供按键驱动程序、为WIFI模块提供WiFi驱动程序、为音频输出接口提供音频驱动程序、为电源管理(PM)模块提供电源管理驱动等。

图4中，用户接口265，接收各种用户交互。具体的，用于将用户的输入信号发送给控制器250，或者，将从控制器250的输出信号传送给用户。示例性的，遥控器100A可将用户输入的诸如电源开关信号、频道选择信号、音量调节信号等输入信号发送至用户接口265，再由用户接口265转送至控制器250；或者，遥控器300A可接收经控制器250处理从用户接口265输出的音频、视频或数据等输出信号，并且显示接收的输出信号或将接收的输出信号输出为音频或振动形式。

在一些实施例中，用户可在显示器275上显示的图形用户界面(GUI)输入用户命令，则用户接口265通过GUI接收用户输入命令。确切的说，用户接口265可接收用于控制选择器在GUI中的位置以选择不同的对象或项目的用户输入命令。其中，″用户界面″，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic userinterface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示器中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、频道栏、Widget等可视的界面元素。

或者，用户可通过输入特定的声音或手势进行输入用户命令，则用户接口265通过传感器识别出声音或手势，来接收用户输入命令。

视频处理器270，用于接收外部的视频信号，根据输入信号的标准编解码协议，进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频数据处理，可得到直接在显示器275上显示或播放的视频信号。

示例的，视频处理器270，包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。

其中，解复用模块，用于对输入音视频数据流进行解复用处理，如输入MPEG-2流(基于数字存储媒体运动图像和语音的压缩标准)，则解复用模块将其进行解复用成视频信号和音频信号等。

视频解码模块，用于对解复用后的视频信号进行处理，包括解码和缩放处理等。

图像合成模块，如图像合成器，其用于将图形生成器根据用户输入或自身生成的GUI信号，与缩放处理后视频图像进行叠加混合处理，以生成可供显示的图像信号。

帧率转换模块，用于对输入视频的帧率进行转换，如将输入的60Hz视频的帧率转换为120Hz或240Hz的帧率，通常的格式采用如插帧方式实现。

显示格式化模块，用于将帧率转换模块输出的信号，改变为符合诸如显示器显示格式的信号，如将帧率转换模块输出的信号进行格式转换以输出RGB数据信号。

显示器275，用于接收源自视频处理器270输入的图像信号，进行显示视频内容、图像以及菜单操控界面。显示视频内容，可以来自调谐解调器210接收的广播信号中的视频内容，也可以来自通信器220或外部装置接口240输入的视频内容。显示器275，同时显示显示设备300C中产生且用于控制显示设备300C的用户操控界面UI。

以及，显示器275可以包括用于呈现画面的显示器组件以及驱动图像显示的驱动组件。或者，倘若显示器275为一种投影显示器，还可以包括一种投影装置和投影屏幕。

旋转组件276，控制器可以发出控制信号使旋转组件276旋转显示器255。

音频处理器280，用于接收外部的音频信号，根据输入信号的标准编解码协议，进行解压缩和解码，以及降噪、数模转换、和放大处理等音频数据处理，得到可以在扬声器286中播放的音频信号。

示例性的，音频处理器280可以支持各种音频格式。例如MPEG-2、MPEG-4、高级音频编码(AAC)、高效AAC(HE-AAC)等格式。

音频输出接口285，用于在控制器250的控制下接收音频处理器280输出的音频信号，音频输出接口285可包括扬声器286，或输出至外接设备的发生装置的外接音响输出端子287，如耳机输出端子。

在其他一些示例性实施例中，视频处理器270可以包括一个或多个芯片组成。音频处理器280，也可以包括一个或多个芯片组成。

以及，在其他一些示例性实施例中，视频处理器270和音频处理器280，可以为单独的芯片，也可以与控制器250一起集成在一个或多个芯片中。

供电电源290，用于在控制器250的控制下，将外部电源输入的电力为显示设备300C提供电源供电支持。供电电源290可以是安装在显示设备300C内部的内置电源电路，也可以是安装在显示设备300C外部的电源。

在介绍了本申请实施例中的智能设备以及作为虚拟电子白板的终端设备的结构之后，下面结合具体实施例对本申请提供的虚拟会议控制方法进行说明。

为了便于理解，如图6所示，下面对本申请实施例提供的一种虚拟会议的控制方法的执行该方法的设备可以为智能终端(如智能电视)，也可以为服务器。如图6所示，该方法包括以下步骤；

用户可以通过智能终端发起虚拟会议创建请求，服务器在接收到该创建请求后，指示智能终端选择虚拟会议场景和与会人员，智能终端将用户选择的虚拟会议场景和与会人员通知给服务器之后，服务器可以搭建虚拟会议场景，例如，采用所有参会用户的影响投射到虚拟会议场景的相应位置，并将虚拟会议场景的影像下发给参会的所有用户，各个用户在各自的智能终端显示各自视角下的虚拟会议场景。在步骤601中：在搭建好虚拟会议场景之后，智能设备获取与会对象对会议文档的编辑结果；与会对象为虚拟会议场景中的多个参会对象中的任一个；

在会议过程中所有的参会对象均可对会议文档进行标记，便于参会对象之间实时交流。也即，会议文档支持多人线上并发编辑。实施时，不同用户可用自己的手持终端显示同一会议文档，然后在各自的手持终端上完成对会议文档的编辑，服务器可以采集各个用户的编辑操作结果，梳理出最终的会议文档内容。针对多用户对同一处内容的编辑，可按照时间先后顺序展示不同用户的对该内容的编辑结果，例如用户A将内容M编辑成内容N，然后，用户B将内容N编辑成内容P，则服务器感知内容M-N-P的时序变化，在展示时同步控制内容M的变化为先变化到N然后变化到P。在另一个实施例中，当不同用户同时对内容M进行编辑时，可以告知编辑冲突。当不同用户对不同内容进行编辑时，每个内容独立处理，互不干扰。

当然，在一个实施例中，会议文档可同一时间仅支持当前会议演讲者进行编辑，以便于其他用户能够基于会议文档的编辑结果跟随演讲者的思路，达到真实会议场景理解演讲内容的目的。

在采用了虚拟电子白板的基础上，为了参会对象能够及时了解对会议文档的编辑结果，本申请实施例中，可在步骤602中：将编辑结果同步到各个参会对象的虚拟会议场景中的虚拟电子白板上。

例如，用户A作为演讲者，其将内容M编辑为N，本申请中可以将虚拟会议场景的虚拟电子白板上的内容跟随用户A的操作将M更新为N，并同步给其他的用户B和用户C，这样用户B和用户C能够根据虚拟电子白板的内容变化辅助了解用户A的演讲内容。

在一个实施例中，为了使虚拟电子白板中显示的内容与手持终端中的会议文档同步，本申请中，用户下发的对会议文档的编辑指令，可以由作为虚拟电子白板的手持终端完成，手持终端将界面图像投屏给智能设备完成会议文档的同步。在另一个实施例中，用户对会议文档的编辑指令也可以由智能设备完成，然后由智能设备将结果同步给手持终端显示。下面对这两种方式的实施方法做进一步说明。

方式1：投屏给智能设备完成会议文档的同步

实施时，可以由手持终端对智能设备进行投屏操作，智能设备通过投屏能够实时捕获手持终端的界面，然后将捕获的界面作为虚拟电子白板的皮肤融合到虚拟电子白板上进行展示。在该实施方式中，用户对会议文档的编辑指令由手持终端完成，手持终端实时将自己的界面投屏给智能设备。如图7所示，获取与会对象对会议文档的编辑结果具体实施为以下步骤：

在步骤701中：获取与会对象对应的智能终端上报的对会议文档的投屏信息；

在步骤702中：将虚拟电子白板的显示内容更新为投屏信息中的会议文档的界面图像；

例如，智能设备从投屏信息中解析出会议文档的界面信息，将其作为图像融合到虚拟电子白板上，完成对虚拟电子白板的实时更新。

在步骤703中：将对虚拟电子白板的更新结果同步给各个参会对象。

如图8所示，与会对象在智能终端801上对会议文档进行编辑，例如，与会对象选中了″一览众山小″这一行文字，手持终端响应用户对文字的选中操作，将相应文字加粗显示，同时虚拟会议场景802中的虚拟电子白板803″一览众山小″的文字也同时加粗展示。

方式2：智能设备根据用户编辑指令完成对会议文档的编辑操作：

在该实施方式中，手持终端作为会议文档的显示设备，可以捕获用户对虚拟文档的编辑指令，并将编辑指令同步给智能设备。然后由智能设备根据用户的编辑指令完成对会议文档的编辑操作并同步给用户的终端设备和虚拟会议场景的所有用户。例如，该编辑指令中可以包括用户的触控位置，根据触控位置可以控制该位置的按钮，或者对该位置的文本显示为被选中的状态。编辑指令中还可以包括用户的触控文字以及操作方式。例如操作方式为输入文字则智能设备对会议文档的该触控位置开始显示输入的文字。在例如触控方式为打上红色标记线，则智能设备在虚拟会议场景的虚拟电子白板中将该触控位置显示红色标记线。

在本申请提供的实施例中，实时采集与会对象对会议文档的编辑结果并在虚拟电子白板中进行同步更新，使得所有的与会对象可以实时的看到其他与会对象对会议文档的标记，便于与会对象在会议中互相共同，提升了参会人员的体验感。

在另一个实施例中，为了便于进一步灵活的控制虚拟会议场景的画面，让用户具有更好的沉浸感，本申请实施例中还可以基于用户的视线实施调整虚拟会议场景的画面，如图9所示，可包括以下步骤：

在步骤901中：对采集的与会对象的视频实时进行视线追踪，得到与会对象的视线角度；

在步骤902中：若视线角度为指定角度时，根据视线角度控制虚拟会议场景进行视角切换。

在一个实施例中，该指定角度包括：向左看、向右看；根据视线角度控制虚拟会议场景进行视角切换，具体实施为以下两种情况：

当视线角度为向左看时，控制虚拟会议场景从当前视角向左切换预设视角；

当视线角度为向右看时，控制虚拟会议场景从当前视角向右切换预设视角。

例如：当用户实现角度向左转动30度，则虚拟会议场景从当前视角向左转动30度，以实现虚拟会议场景与用户的视角相同步。

在一些实施例中，用户对于预设角度的要求不同，用户可以在用户界面中对于向左看或向右看的调整步长(即预设视角)进行调整。例如，用户可调整步长，然后展示调整后的步长在虚拟场景中切换的预设角度的视频效果供用户感知调整的步长的效果。

在一个实施例中，为简化操作采用简便的方式实现对虚拟会议场景的控制，本申请实施例中可对实现角度进行宽松的量化处理，可实施为如图10所示的步骤得到视线角度，包括以下步骤：

在步骤1001中：对视频实时进行人脸检测，获得与会对象的眼部区域；

实施时，可以先进行人脸检测定位出人脸区域，然后从人脸区域分析出眼部区域。可采用基于人工智能的神经网络来检测和定位眼部区域。

在步骤1002中：从眼部区域中检测右眼球距眉心的第一距离以及右眼球距眉心的第二距离；

在步骤1003中：若第一距离与第二距离的差值的绝对值小于预设距离，则判定与会对象为正视前方；

当与会对象正视前方时，可认为虚拟对象不需要切换视角，故此不切换虚拟会议场景中的视角。

在步骤1004中：若第一距离与第二距离的差值大于预设距离，则判定与会对象为向左看；

在步骤1005中：若第一距离与第二距离的差值小于预设距离，则判定与会对象为向右看。

综上所述，基于眼球和眉心的距离，即可简便的追踪用户的视线角度，操作简便且易于实施。

在一个实施例中，预设距离直接关系到视角切换的精度，因此，在实际使用时，可以通过大量的实验数据进行调整。在另一个实施例中，用户还可以根据自己的需求，通过使用前的调试来确定预设距离。例如：如图11所示，用户可根据测试效果来调整适合自己的眼距的预设距离，在用户设置预设距离后，用户即可体验设置后的视线切换效果，若用户感觉视线切换效果良好，可点击确认也可通过用户语音确认，此时预设距离为用户调整后的距离。

在一个实施例中，虚拟会议场景中还可以向用户推荐最佳预设距离，该最佳预设距离可以是根据数据统计结果得到的。例如可以根据不同用户的年龄、眼距、眼睛度数、职业类型等进行统计分析得到适合不同用户的预设距离来控制虚拟会议场景进行视角切换。

在另一个实施例中，为了便于精确的控制虚拟场景，当接收到编辑结果时，可停止对视频实时进行视线追踪；即检测到用户对会议文档进行操作时，此时用户面向手持终端，则可以停止对视频实时进行视线追踪；并在指定时长内未接收到编辑结果时，说明用户视线暂时不需要关注会议文档，则需要重新启动对视频实时进行视线追踪的操作。

下面以智能电视为例，对本申请提供的一种虚拟会议的控制方法进行说明，如图12所示，可包括以下步骤：

在步骤1201中：在搭建好虚拟会议场景之后，获取与会对象的参会身份信息；

在一个实施例中，该参会身份信息包括与会对象的身份信息和在会议中所处角色的信息，根据目标用户在会议中所处角色的信息，判断目标用户为演讲者还是参会者。

在步骤1202中：对实时采集的与会对象的视频进行人体检测，得到与会对象的影像信息；

例如可采用智能电视的图像采集装置实时采集用户视频数据进行分析得到用户的影像信息。用户的影像信息可包括：用户的人像和动作。实施时，当检测到与会对象中的人体后，实时对人像进行抠图，并识别用户的动作，若识别成功，则在虚拟会议场景中实时更新与会对象的姿态。

在步骤1203中：将与会对象的影像信息实时投影到虚拟会议场景中与参会身份信息对应的位置上；

在一个实施例中，用户可以仅在第一次时输入参会的身份信息，并根据身份信息分配座位，在后续的虚拟会议中，可根据用户第一次输入的参会的身份信息直接分配座位，不需要重复输入身份信息。

在步骤1204中：在会议过程中，若接收到终端设备反馈的对会议文档的编辑结果，则将编辑结果同步到虚拟会议场景中的虚拟电子白板上。

在一个实施例中，终端设备可以为手机等手持设备，也包括但不限于计算机、笔记本电脑、智能电话、平板电脑、智能手表、智能手环、车载终端等具有标记会议文档应用的设备，或是其它类型的电子设备。由此，本申请中可复用随处可见的终端设备作为电子白板对会议文档进行编辑操作。

基于相同的发明构思，本申请实施例中还提供一种虚拟会议控制方法，如图13所示，该方法还可应用于终端设备(即作为虚拟电子白板的设备)，可包括以下步骤：

在步骤1301中：响应于对展示的会议文档的标记操作，获得编辑结果；

在步骤1302中：将编辑结果同步给智能设备，以使智能设备将编辑结果同步到虚拟会议场景中的虚拟电子白板上。

如前文所述，终端设备可以通过投屏的方式会议文档的编辑结果同步给智能设备，本申请在此不再赘述。

本申请实施例在此需要说明的是，智能设备和终端设备之间可执行如图14所示的操作来完成屏幕录制，以便于完成投屏，包括以下步骤：

在步骤1401中：从智能设备发送的广播消息中获取智能设备的访问地址；

在一个实施例中，在从智能设备发送的广播消息中获取智能设备的访问地址之前，终端设备通过即插即用协议(UPNP，Universal Plug and Play)向智能设备发起连接请求；然后，终端设备通过传输控制协议(TCP，Transmission Control Protocol)从智能设备发送的广播消息中获取智能设备的访问地址。

在步骤1402中：根据访问地址与智能设备建立连接；

在一个实施例中，终端设备与智能设备建立连接后通过网络协议进行通讯。

在步骤1403中：成功建立连接之后，与智能设备协商进行屏幕录制操作。

在一个实施例中，终端设备通过实时流传输协议(RTSP，Real Time StreamingProtocol)将编辑结果同步给智能设备，包括：将录制的屏幕操作结果作为编辑结果同步给智能设备。

为了便于理解，下面结合智能设备与终端设备对本申请实施例提供的虚拟会议控制方法进行详细说明。

如图15所示，本申请实施例提供的虚拟会议控制方法主要分为三个任务，智能设备可将每个任务作为单独的任务单独执行，三各任务可同步执行，下面对每部分分别进行介绍：

任务一：主要任务，虚拟会议场景的构建和显示

在步骤1501中：用户对虚拟会议的场景进行选择；

在步骤1502中：获取与会对象的影像信息中的人像和动作，并获取智能终端上传的会议文档信息；

在步骤1503中：根据与会对象的影像信息进行建模；

在步骤1504中：将终端设备反馈的对会议文档的编辑结果同步到虚拟会议场景中的虚拟电子白板上；

在步骤1505中：根据用户的视线角度对虚拟会议场景进行视角切换，并显示出来。

任务二：跟踪用户视角

在步骤1506中：实时采集与会对象的视频；

在步骤1507中：对视频中的人像和动作进行识别；

在步骤1508中：判断是否识别成功，若识别成功，则进入步骤1503中；若识别失败，则进入步骤1506中；

在步骤1509中：对视频进行视线追踪得到与会对象的视线角度；

在步骤1510中：对视线角度进行分析；

在步骤1511中：判断是否分析成功，若分析成功，则进入步骤1505，若分析失败，则进入步骤1508中；

任务三：跟踪手持终端对会议文档的编辑

在步骤1512中：终端设备检测到对会议文档的标记操作；

在步骤1513中：对标记操作进行提取；

在步骤1514中：判断是否提取成功，若提取成功则将编辑结果同步到所述虚拟会议场景中的虚拟电子白板上；若提取失败，则进入步骤1513中。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (2)

1.一种虚拟会议的控制方法，其特征在于，所述方法包括：

通过即插即用协议UPNP接收智能终端发送的连接请求，向所述智能终端发送携带自身访问地址的广播消息以与所述智能终端建立连接；

在搭建好虚拟会议场景之后，对与会对象的视频实时进行人脸检测，获得所述与会对象的眼部区域；所述与会对象为所述虚拟会议场景中的多个参会对象中的任一个；所述虚拟会议场景是通过对实时采集的与会对象的视频进行人体检测，当检测到与会对象中的人体后实时对人像进行抠图，以及识别用户的动作，若识别成功则在虚拟会议场景中实时更新与会对象的姿态，得到与会对象的包括人像和动作的影像信息，将与会对象的影像信息实时投影到虚拟会议场景中与参会身份信息对应的位置上得到的；其中，若所述与会对象首次加入虚拟会议场景，则在搭建好虚拟会议场景之后，在接收所述与会对象输入的参会身份信息后根据所述身份信息分配在所述虚拟会议场景中的位置；若所述与会对象不是首次加入虚拟会议场景，则根据所述与会对象首次加入虚拟会议场景时输入的参会的身份信息直接分配在所述虚拟会议场景中的位置；

从所述眼部区域中检测左眼球距眉心的第一距离以及右眼球距眉心的第二距离；

若所述第一距离与所述第二距离的差值的绝对值小于预设距离，则判定所述与会对象为正视前方；若所述第一距离与所述第二距离的差值大于所述预设距离，则判定所述与会对象为向左看；若所述第一距离与所述第二距离的差值小于所述预设距离，则判定所述与会对象为向右看；其中所述预设距离根据不同用户的年龄、眼距、眼睛度数、职业类型进行统计分析，并经过所述与会对象对所述预设距离对应的视线切换效果体验后通过点击确认或语音确认后得到；

当视线角度为向左看时，控制所述与会对象的所述虚拟会议场景从当前视角向左切换预设视角；当所述视线角度为向右看时，控制所述与会对象的所述虚拟会议场景从当前视角向右切换预设视角；

通过实时流传输协议RTSP获取所述与会对象对应的智能终端上报的对会议文档的投屏信息、操作指令、会议文档编辑前的状态，停止对所述视频实时进行视线追踪；

将虚拟电子白板的显示内容更新为所述投屏信息中的所述会议文档的界面图像；并将对所述虚拟电子白板的更新结果同步给各个所述参会对象；以及将所述操作指令上传给服务器，令所述服务器根据所述操作指令在虚拟会议场景中展示出所述与会对象对所述会议文档的编辑过程和编辑结果，并同步给各个所述参会对象；

当指定时长内未接收到所述更新结果时，则重新启动所述对所述与会对象的视频实时进行人脸检测的操作。

2.一种智能设备，其特征在于，其特征在于，包括处理器和存储器：

所述存储器，用于存储可被所述处理器执行的计算机程序；

所述处理器与所述存储器和显示装置连接，被配置为执行如权利要求1所述的方法。