CN113542849B - 视频数据处理方法及装置、电子设备、存储介质 - Google Patents

Abstract

本申请的实施例揭示了一种视频数据处理方法及装置、电子设备、存储介质。该方法包括：控制设备和增强现实显示设备之间通过智能家居设备所在无线网络建立有至少两条无线网传输链路，后续增强现实显示设备通过该至少两条无线网传输链路将采集到的场景视频发送至控制设备，进而控制设备对接收到的场景视频进行环境建模和渲染，获得渲染后的环境建模数据，并通过该至少两条无线网传输链路将渲染后的环境建模数据发送至增强现实显示设备，进而增强现实显示设备显示渲染后的环境建模数据。本申请实施例的技术方案极大地优化了视频数据处理方案。

Description

视频数据处理方法及装置、电子设备、存储介质

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种视频数据处理方法及装置、电子设备、计算机可读存储介质。

背景技术

相关技术中控制设备例如视频数据处理中心，控制受控设备例如增强现实显示设备，两者之间经常涉及到相关数据例如视频流的交互，其中，相关视频数据的交互主要是通过基于蜂窝网络建立得到的传输链路进行传输，由此，视频数据传输的成本较高，从而使得视频数据处理成本也较高。

发明内容

为解决上述技术问题，本申请的实施例提供了一种视频数据处理方法及装置、电子设备、计算机可读存储介质。

根据本申请实施例的一个方面，提供了一种视频数据处理方法，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述方法由所述控制设备执行，所述方法包括：接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频；对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；通过所述至少两条无线网传输链路发送所述渲染后的环境建模数据至所述增强现实显示设备，以使所述增强现实显示设备显示所述渲染后的环境建模数据。

根据本申请实施例的一个方面，提供了一种视频数据处理方法，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述方法应用于增强现实显示设备，所述方法包括：通过所述至少两条无线网传输链路发送采集到的场景视频至控制设备，以使得所述控制设备对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；接收所述控制设备通过所述至少两条无线网传输链路发送的所述渲染后的环境建模数据；显示所述渲染后的环境建模数据。

根据本申请实施例的一个方面，提供了一种视频数据处理装置，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述装置配置于控制设备中，所述装置包括：第一接收模块，配置为接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频；建模和渲染模块，配置为对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；第一发送模块，配置为通过所述至少两条无线网传输链路发送所述渲染后的环境建模数据至所述增强现实显示设备，以使所述增强现实显示设备显示所述渲染后的环境建模数据。

根据本申请实施例的一个方面，提供了一种视频数据处理装置，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述装置配置于增强现实显示设备中，所述装置包括：第二发送模块，配置为通过所述至少两条无线网传输链路发送采集到的场景视频至控制设备，以使得所述控制设备对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；第二接收模块，配置为接收所述控制设备通过所述至少两条无线网传输链路发送的所述渲染后的环境建模数据；显示模块，配置为显示所述渲染后的环境建模数据。

根据本申请实施例的一个方面，提供了一种电子设备，包括处理器及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上所述的视频数据处理方法。

根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的视频数据处理方法。

根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的视频数据处理方法。

在本申请的实施例提供的技术方案中，控制设备和增强现实显示设备之间通过智能家居设备所在无线网络建立有至少两条无线网传输链路，后续增强现实显示设备通过该至少两条无线网传输链路将采集到的场景视频发送至控制设备，进而控制设备对接收到的场景视频进行环境建模和渲染，获得渲染后的环境建模数据，并通过该至少两条无线网传输链路将渲染后的环境建模数据发送至增强现实显示设备，进而增强现实显示设备显示渲染后的环境建模数据。由于无需花费费用即可形成无线网传输链路，因此通过无线网传输链路来传输控制设备与增强现实显示设备之间的视频数据也无需花费费用，从而降低了视频数据的传输成本；并且智能家居设备是生活中常见的设备，通过其能够简单便捷地部署无线网传输链路；同时无线传输链路至少有两条，通过至少两条无线传输链路来传输控制设备与增强现实显示设备之间的视频数据，能够提升视频数据的传输效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本申请的一示例性实施例示出的视频数据处理云架构示意图；

图2是本申请的一示例性实施例示出的视频数据处理方法的流程图；

图3是本申请的一示例性实施例示出的视频数据处理云架构多无线网传输链路的示意图；

图4是图2所示实施例中的步骤S130在一示例性实施例中的流程图；

图5是本申请的一示例性实施例示出的若控制设备接收完增强现实显示设备通过至少两条无线网传输链路发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则降低预设清晰度等级的流程图；

图6是图2所示实施例中的步骤S190在一示例性实施例中的流程图；

图7是本申请的一示例性实施例示出的区域划分的示意图；

图8是本申请的一示例性实施例示出的若增强现实显示设备接收完控制设备通过至少两条无线网传输链路发送的对应区域的数据包，且接收到的数据包的第二累计总量未达到对应区域的第三最少数据包数量，则降低对应区域的清晰度等级的流程图；

图9是本申请的一示例性实施例示出的视频数据处理装置的框图；

图10是本申请的一示例性实施例示出的视频数据处理装置的框图；

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相相同的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相相同的装置和方法的例子。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。

随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。

云服务器就是一种以云计算技术为基础的服务器。在本申请的一个视频数据处理场景中，云服务器作为控制设备，与增强现实显示设备进行交互；具体地，由增强现实显示设备将采集到的场景视频数据通过网络传输给云服务器，进而云服务器接收到场景视频数据后进行环境建模和渲染，得到渲染后的环境建模数据，并将该渲染后的环境建模数据通过网络传输给增强现实显示设备，进而增强现实显示设备接收到渲染后的环境建模数据进行对应显示。

请参阅图1，图1是本申请的一示例性实施例示出的视频数据处理云架构示意图。从图1所示的视频数据处理云架构中可以看出，云服务器20具有逻辑计算、建模逻辑和渲染逻辑等，云服务器20接收增强现实显示设备10通过智能家居设备所在的无线网络建立的至少两条无线网传输链路发送过来的场景视频数据，对其进行环境建模和渲染，得到渲染后的环境建模数据，云服务器20将渲染后的环境建模数据又通过智能家居设备所在的无线网络建立的至少两条无线网传输链路反馈给增强现实显示设备10，进而增强现实显示设备10将接收到渲染后的环境建模数据进行对应显示。增强现实显示设备10可支持接入输入设备30来生成控制指令。

需要说明的是，增强现实显示设备10可以是近眼式显示设备、手持式显示设备、固定显示设备、投影式显示设备等设备，但并不局限于此。其中近眼式显示设备可以是光学透射式头盔显示设备和视频透射式头盔显示设备等；光学透射式头盔显示设备是直接透射外界的光线，并且反射微投影器件产生的虚拟图像到人眼中，达到虚实融合的效果；视频透射式头盔显示设备，是将固定在头盔上的摄像头所捕获的图像，通过视点偏移来显示到眼前的显示设备上。其中手持式显示设备指的是拿在手上的显示设备，例如智能手机、平板电脑等，这类设备具有很好的便捷性，并且有摄像头作为图像输入设备，有自带的处理器，有显示单元等。其中固定显示设备指的是桌面级显示设备，其通过摄像头采集空间中的图像，然后估计摄像头的位置和姿态计算生成虚拟信息，并进行虚实融合，达到虚实融合的效果。

需要说明的是，云服务器20可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。输入设备30可以是键盘、鼠标、游戏手柄等设备，本处也不对此进行限制。

在一些示例中，图1中所示的云服务器20也可以是独立的物理服务器，还可以是多个物理服务器构成的服务器集群或者分布式系统等，本处也不对此进行限制。

请参阅图2，图2是本申请的一示例性实施例示出的视频数据处理方法的流程图，该视频数据处理方法中所涉及的控制设备可以为图1所示视频数据处理云架构中的云服务器20，所涉及的增强现实显示设备可以为图1所示视频数据处理云架构中的增强现实显示设备10。如图2所示，视频数据处理方法至少包括步骤S110至步骤S210，详细介绍如下：

步骤S110，增强现实显示设备通过至少两条无线网传输链路发送采集到的场景视频至控制设备。

本实施例中无线网传输链路指的是无线网络建立的通信链路，其连接于增强现实显示设备和控制设备，能够实现将增强现实显示设备采集到的场景视频传输至控制设备，以及实现将控制设备对场景视频进行建模和渲染后得到的环境建模数据传输至增强现实显示设备。

需要说明的是，本实施例中无线网传输链路是由智能家居设备所在的无线网络建立得到，由于无需花费费用即可形成无线网传输链路，因此通过无线网传输链路来传输控制设备与增强现实显示设备之间的视频数据也无需花费费用，相对于相关技术中通过基于蜂窝网络建立得到的传输链路进行传输而言，降低了视频数据的传输成本，从而降低了视频数据的处理成本；并且智能家居设备是生活中常见的设备，通过其能够简单便捷地部署无线网传输链路。

本实施例中无线网传输链路至少有两条；在一些示例中，可以是通过至少两个智能家居设备所在的无线网络建立得到至少两条无线网传输链路，即一个智能家居设备所在的无线网络建立得到一条无线网传输链路。在一些示例中，也可以是通过一个智能家居设备所在的无线网建立得到至少两条无线网传输链路，即一个智能家居设备所在的无线网络建立得到至少两条无线网传输链路。这样通过至少两条无线网传输链路来传输视频数据，相对于相关技术中通过一条蜂窝网传输链路传输而言，能够在极大程度上提升视频数据的传输效率，从而提升视频数据的处理效率。

请参阅图3，图3是本申请的另一示例性实施例示出的视频数据处理云架构示意图。从图3所示的视频数据处理云架构中可以看出，增强现实显示设备10和云服务器20之间是通过至少两条无线网传输链路传输视频数据。其中至少两条无线网传输链路是由智能家居设备所在的无线网络建立得到的，例如WiFi AP、ZigBee灯泡、智能平板、智能电视、智能冰箱等。

在一些示例中，通过至少两条无线网传输链路传输场景视频，具体可以是分别获取通过各条无线网传输链路接收到的场景视频的数据包的数量，并对至少两条无线网传输链路接收到的数量进行求和运算，获得第一累计总量。其中分别获取通过各条无线网传输链路接收到的场景视频的数据包的数量，具体可以是通过先初始化各条无线网传输链路接收到的场景视频的数据包的数量，若监测到无线网传输链路每接收到一个数据包，则控制相应无线网传输链路接收到的数据包的数量累加1。

举例说明，设增强现实显示设备10和云服务器20之间通过3条无线网传输链路传输视频数据包，其中无线网传输链路分别为L1、L2、L3，先对每条无线网传输链路接收到的场景视频的数据包的数量S2进行初始化，即S2(L1)＝0，S2(L2)＝0，S2(L3)＝0，如果监测到无线网传输链路每接收到一个数据包，则控制相应无线网传输链路接收到的数据包的数量累加1，设在时间段t1内，S2(L1)＝50，S2(L2)＝25，S2(L3)＝25，因此在时间段t1内，第一累计总量S1＝S2(L1)+S2(L2)+S2(L3)＝100。

在一些示例中，智能家居设备和控制设备可以部署于同一无线局域网中，通常智能家居设备都是部署于用户自家的无线局域网中，因此将控制设备部署于和智能家居设备相同的无线局域网中，则是将控制设备也部署于用户自家的无线局域网中。这样通过将控制设备部署于用户自家的无线局域网中，增强了视频数据的隐私性，从而提升了视频数据处理的安全性。

本实施例中增强现实显示设备采集到的场景视频可以是通过设置的摄像头等摄像采集装置实时采集到的周围场景的视频，或者可以是接收到的用户上传至增强现实显示设备的周围场景的视频。

可以理解的是，场景视频在传输过程中是以视频流的形式进行传输，并且，视频流是划分为一个一个的数据包分别进行传输；例如整个视频流对应的数据大小为K，其分配为n个数据包进行传输，同时n个数据包分别对应的大小为[k1 k2 k3……kn]，则理论上K＝k1*1+k2*2+k3*3+……+kn*n，实际上K＜k1*1+k2*2+k3*3+……+kn*n，这是因为每个数据包中会包含一些其他数据，例如视频流的总大小K、分为数据包的数据包总量n以及每个数据包的序号、大小等。

步骤S130，控制设备接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频。

本实施例中增强现实显示设备通过至少两条无线网传输链路发送采集到的场景视频至控制设备，相应地，控制设备接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频。

步骤S150，控制设备对场景视频进行环境建模和渲染，获得渲染后的环境建模数据。

本实施例中控制设备接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频后，会对场景视频进行解码，然后进行环境建模和渲染，从而获得渲染后的环境建模数据。

在一些示例中，对场景视频进行环境建模和渲染，得到渲染后的环境建模数据，具体可以是根据三维重建算法对场景视频进行环境建模，获得三维环境模型，然后在三维环境模型中渲染预设元素对应的展示模型，获得渲染后的三维环境模型。

其中，根据三维重建算法对场景视频进行环境建模，获得三维环境模型，具体可以是分别获取场景视频中多个元素的位置信息，然后根据三维重建算法和多个元素的位置信息进行环境建模，获得三维环境模型。

可以理解的是，场景视频中的多个元素指的是场景视频所对应画面中真实存在的多个物体。举例说明，例如设当前采集到的场景视频画面中存在一张桌子，桌子上摆放着一台电脑，则桌子和电脑则作为元素，此时需要获取桌子和电脑对应的位置信息，并根据三维重建算法和桌子和电脑对应的位置信息进行环境建模，以获得三维环境模型。

可以理解的是，三维重建算法可以是BundleFusion算法，具体地，通过景深分析、物体纹理分析、光线强弱分析等实现环境建模，以获得三维环境模型。其中景深指的是当镜头对着处于焦面物体拍摄时，被摄物体与其前后的景物有一段清晰的范围，这个范围即称为景深，即对场景视频所对应画面中多个物体进行景深分析，从而可以得到多个物体之间的相对关系。其中物体纹理分析指的是通过一定的图像处理技术提取出纹理特征参数，从而获得纹理的定量或定性描述的处理过程，从而可以得到为何种物体。其中光线强弱分析指的是对场景视频所对应画面中的光线进行分析，根据光线强弱的不同，可以得到多个物体之间的相对关系等。

其中，在三维环境模型中渲染预设元素对应的展示模型，获得渲染后的三维环境模型，具体可以是接收增强现实设备通过至少两条无线网传输链路发送的预设元素的三维位置信息，然后根据预设元素，从预设展示模型库中确定与预设元素匹配的展示模型，其中预设展示模型库中预置有多个预设元素分别对应的展示模型，进一步地将展示模型渲染至三维环境模型中与预设元素的三维位置信息对应的位置处，以获得渲染后的三维环境模型。

可以理解的是，预设元素指的是虚拟的物体，其预设在预设展示模型库中，每个预设元素都对应有展示模型。举例说明，例如参阅下表1，为一种示例的预设展示模型库。

预设元素	展示模型
		水杯	a
音响	b
		电灯	c
……	……

表1

由表1可知，预设展示模型库中预设元素有水杯、音响、电灯等，其中水杯对应有展示模型a，音箱对应有展示模型b，电灯对应有展示模型c，此时在三维环境模型中进行用户所指定的预设元素的展示模型的渲染；例如增强现实显示设备显示三维环境模型，此时用户所指定的是桌子右上角上的水杯(这里可以是同时显示出水杯、桌子左侧音响以及在桌子上方的电灯)，则根据水杯的三维位置信息(即桌子右上角这一三维位置信息)将水杯对应的展示模型a渲染至三维环境模型中桌子的右上角上，从而获得渲染了水杯对应的展示模型a的三维环境模型，至此完成了三维环境模型的渲染，获得渲染后的三维环境模型。

值得注意的是，在实际应用中，可以根据具体应用场景实现对场景视频的环境建模和渲染，以获得渲染后的环境建模数据，本处不对此进行限制。

步骤S170，控制设备通过至少两条无线网传输链路发送渲染后的环境建模数据至增强现实显示设备。

本实施例中对场景视频进行环境建模和渲染，获得渲染后的环境建模数据后，会通过至少两条无线网传输链路发送渲染后的环境建模数据至增强现实显示设备。

步骤S190，增强现实显示设备接收控制设备通过至少两条无线网传输链路发送的渲染后的环境建模数据。

本实施例中控制设备通过至少两条无线网传输链路发送渲染后的环境建模数据至增强现实显示设备，相应地，增强现实显示设备接收控制设备通过至少两条无线网传输链路发送的渲染后的环境建模数据。

步骤S210，增强现实显示设备显示渲染后的环境建模数据。

本实施例中增强现实显示设备接收控制设备通过至少两条无线网传输链路发送的渲染后的环境建模数据后，显示渲染后的环境建模数据，以便于用户观看。

需要说明的是，本实施例中控制设备和增强现实显示设备之间通过智能家居设备所在无线网络建立有至少两条无线网传输链路，后续增强现实显示设备通过该至少两条无线网传输链路将采集到的场景视频发送至控制设备，进而控制设备对接收到的场景视频进行环境建模和渲染，获得渲染后的环境建模数据，并通过该至少两条无线网传输链路将渲染后的环境建模数据发送至增强现实显示设备，进而增强现实显示设备显示渲染后的环境建模数据。由于无需花费费用即可形成无线网传输链路，因此通过至少两条无线网传输链路来传输控制设备与增强现实显示设备之间的视频数据也无需花费费用，从而降低了视频数据的传输成本；并且智能家居设备是生活中常见的设备，通过其能够简单便捷地部署无线网络的传输链路；同时无线传输链路至少有两条，通过至少两条无线传输链路来传输控制设备与增强现实显示设备之间的视频数据，能够提升视频数据的传输效率。

图4是图2所示实施例中的步骤S130在一示例性实施例中的流程图。如图4所示，控制设备接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频的过程，可以包括步骤S131至步骤S135，详细介绍如下：

步骤S131，控制设备接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频的数据包；其中，场景视频的数据包中携带有场景视频的数据包总量。

可以理解的是，视频流是划分为一个一个的数据包分别进行传输，这里控制设备接收到的是增强现实显示设备通过至少两条无线网传输链路发送的场景视频的数据包，并且每个数据包中包含了场景视频的数据包总量这一数据。

本实施例中场景视频的数据包总量指的是场景视频本身所对应的所有数据包的数量；例如场景视频的数据包总量为n，并且n个数据包累加的大小(k1*1+k2*2+k3*3+……+kn*n)理论上要等于场景视频本身的大小K。

步骤S133，控制设备根据场景视频的预设清晰度等级和数据包总量，确定场景视频进行解码所需的第一最少数据包数量；其中，第一最少数据包数量对应的数据包在解码后得到与预设清晰度等级相适应的场景视频画面。

本实施例中预设清晰度等级指的是场景视频进行解码后的视频画面的清晰度；具体地，清晰度可以分为标清、高清、超清或者蓝光等。通常而言，预设清晰度等级取值是越清晰越好。

本实施例中第一最少数据包数量指的是对场景视频进行解码所需要的最少数量的数据包，针对同一场景视频而言，其对应的第一最少数据包数量要小于其对应的数据包总量；例如设预设清晰度等级为高清，以及设接收到的数据包中携带的场景视频的数据包总量为n，而根据高清以及数据包总量n，确定出场景视频进行解码所需的第一最少数据包数量为q，其中q<n。可以理解的是，对最少数量的数据包进行解码是可以得到解码后的场景视频的，并且解码后的场景视频所对应的视频画面与预设清晰度等级相适应；例如设根据高清这一预设清晰度等级，以及场景视频的数据包总量n，确定出场景视频的第一最少数据包数量为q，那么对q个数据包进行解码，即可得到解码后的场景视频，其中解码后的场景视频所对应的视频画面也是高清的。

在一些示例中，控制设备根据场景视频的预设清晰度等级和数据包总量，确定场景视频进行解码所需的第一最少数据包数量，具体可以是获取与预设清晰度等级对应的误码字节总量，然后根据误码字节总量和预设数据包字节长度，确定可以丢弃的数据包数量，并对场景视频的数据包总量和可以丢弃的数据包数量进行求差运算，获得对场景视频进行解码所需的第一最少数据包数量。

其中，误码字节总量指的是场景视频在传输过程中可以丢弃的误码字节的最大数量。可以理解的是，字节是计算机信息技术用于计量存储容量的一种计量单位，一个字节存储8位无符号数，存储的数值范围为0-255，因此，本实施例中可以以字节为计量单位计算可以丢弃的最大数量的误码字节。其中不同预设清晰度等级对应的可以丢弃的误码字节总量不同，通常而言，预设清晰度等级越高，则可以丢弃的误码字节总量越少；例如请参阅下表2所示，为一种示例的预设清晰度等级与误码字节总量的关系表。

预设清晰度等级	误码字节总量
		蓝光	B1
超清	B2
		高清	B3
标清	B4

表2

由表2可知，不同预设清晰度等级对应的误码字节总量不同，其中B1＜B2＜B3＜B4。

其中，预设数据包字节长度指的是数据包对应的字节长度。可以理解的是，不同协议或不同应用场景下数据包的字节长度通常不同，其中可以从数据包的预设字段中获取到数据包对应的字节长度。在一些示例中，可以从接收到的场景视频的多个数据包中，分别获取多个数据包对应的字节长度，如果多个数据包分别对应的字节长度不相同，则根据用户的输入操作生成对应的预设数据包长度。在一些示例中，可以从接收到的场景视频的多个数据包中，分别获取多个数据包分别对应的字节长度，如果多个数据包分别对应的字节长度相同，则将字节长度作为预设数据包长度。

可以理解的是，在获取与预设清晰度等级对应的误码字节总量后，需要根据误码字节总量和预设数据包字节长度，确定可以丢弃的数据包数量。

可以理解的是，在获取到场景视频的数据包总量和可以丢弃的数据包数量后，需要对两者进行求差运算，从而获得场景视频进行解码所需的第一最少数据包数量；例如设获取到场景视频的数据包总量为n，可以丢弃的数据包数量为b，则第一最少数据包数量q＝n-b。

需要说明的是，本实施例中通过与预设清晰度等级对应的误码字节总量和预设数据包字节长度，确定出可以丢弃的数据包数量，并根据场景视频的数据包总量和可以丢弃的数据包数量，即可获得场景视频进行解码所需的第一最少数据包数量，计算数据量少，计算过程简单。

步骤S135，控制设备在接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频的数据包的过程中，若接收到的数据包的第一累计总量达到第一最少数据包数量，则终止接收场景视频的数据包。

本实施例中接收到的场景视频的数据包的第一累计总量指的是在场景视频的数据包的接收过程中，会对接收到的数据包的数量进行累加，从而得到当前接收到的场景视频的数据包的累计总量。

本实施例中是在接收场景视频的数据包的过程中，对接收到的数据包的第一累计总量进行监测，如果在监测接收到的数据包的第一累计总量达到了第一最少数据包数量，则表征此时接收到的数据包已经能够实现对场景视频的解码，因此需要终止接收场景视频的数据包，从而以节省场景视频其他数据包的接收时间，实现场景视频的快速解码。

需要说明的是，本实施例中通过根据场景视频的预设清晰度等级和数据包总量，确定出场景视频进行解码所需的第一最少数据包数量；这样在接收场景视频的数据包的过程中，只需接收与该第一最少数据包数量匹配的数据包，然后根据接收到的与该第一最少数据包数量匹配的数据包进行解码即可，而无需等待接收该场景视频的所有数据包，并无需在所有数据包接收完毕之后才进行解码，由此在极大程度上提升了场景视频的解码效率。

请参阅图5，图5是本申请的另一示例性实施例示出的视频数据处理方法的流程图。如图5所示，方法还可以包括步骤S137，详细介绍如下：

步骤S137，若控制设备接收完增强现实显示设备通过至少两条无线网传输链路发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则降低预设清晰度等级，以使得在接收增强现实显示设备通过至少两条无线网传输链路发送的下一场景视频的数据包的过程中，根据降低后的预设清晰度等级和接收到的数据包中携带的数据包总量，确定下一场景视频进行解码所需的第二最少数据包数量。

本实施例中如果控制设备接收完增强现实显示设备发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则表征此时网络不是很好，存在网络堵塞等情况，因此可以降低预设清晰度等级，以便于下一场景视频的传输和解码。

在一些示例中，还可以根据预设数据包接收时长来确定是否降低场景视频的预设清晰度等级，具体可以是如果在预设数据包接收时长内控制设备接收完增强现实显示设备发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则降低预设清晰度等级。其中可以是设置定时器，为定时器设定一个预设数据包接收时长，定时器从开始接收场景视频的数据包便进行计时，如果在定时器设定的预设数据包接收时长到达时，接收完增强现实显示设备发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则此时可以降低预设清晰度等级，以便于下一场景视频的传输和解码。

可以理解的是，在接收下一场景视频的数据包的过程中，可以根据降低后的预设清晰度等级和接收到的数据包中携带的数据包总量，确定下一场景视频进行解码所需的第二最少数据包数量，如果接收到的数据包的第二累计总量达到第二最少数据包数量，则此时终止接收下一场景视频的数据包，并对接收到的第二最少数据包数量的数据包进行解码，以获得解码后的下一场景视频，其中解码后的下一场景视频的清晰度等级低于预设清晰度等级。

举例说明，设当前增强现实显示设备需要将采集到场景视频1和场景视频2发送至控制设备，其中发送顺序是场景视频1，然后是场景视频2，且场景视频1和场景视频2的预设清晰度等级都是“超清”。其中在接收场景视频1的数据包的过程中，如果控制设备接收完增强现实显示设备发送的场景视频1的所有数据包，且接收到的数据包的第一累计总量85未达到第一最少数据包数量90，则根据接收到的85个数据包进行解码，得到解码后的场景视频1，并同时将预设清晰度等级“超清”降低为“高清”。其中在接收场景视频2的数据包的过程中，根据预设清晰度等级“高清”和场景视频2的数据包总量，确定场景视频2进行解码所需的第二最少数据包数量，设场景视频1的数据包总量和场景视频2的数据包总量相同(在实际应用中也可以不相同)，此时确定出第二最少数据包数量为80个，则在接收场景视频2的数据包的过程中，若接收到的数据包的第二累计总量达到第二最少数据包数量80，则终止接收场景视频2的数据包，并根据接收到的第二最少数据包数量所匹配的80个数据包进行解码，得到解码后的场景视频2，至此完成两个场景视频的解码。

可以理解的是，增强现实显示设备采集到并且需要发送至控制设备的可能是一个场景视频，例如场景视频1，也可能是多个连续的场景视频，例如分别为场景视频1、场景视频2、第三视频片段3和第四视频片段4等，如上述示例进行类推即可。

需要说明的是，本实施例中通过控制设备接收完增强现实显示设备发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量时，则降低预设清晰度等级，以匹配当前的网络情况，保证了增强现实显示设备所发送的后续场景视频能够快速地解码。

图6是图2所示实施例中的步骤S190在一示例性实施例中的流程图。如图6所示，增强现实显示设备接收控制设备通过至少两条无线网传输链路发送的渲染后的环境建模数据的过程，可以包括步骤S191至步骤S197，详细介绍如下：

步骤S191，增强现实显示设备根据用户的输入操作生成关键位置信息。

本实施例中增强现实显示设备可以根据用户的输入操作生成关键位置信息，其中关键位置信息指的是用户所下发输入操作对应的位置信息；例如增强现实显示设备当前显示三维环境模型，此时用户在三维环境模型中的某个位置指定了预设元素，该位置对应的信息即为关键位置信息，如上述示例中所提及的桌子的右上角这一三维位置信息，只是三维位置信息只用于表征预设元素的待渲染位置，而关键位置信息是用于表征用户当前的关注点有哪些，即关键位置信息是多个三维位置信息的集合。

步骤S193，增强现实显示设备根据关键位置信息，确定渲染后的环境建模数据对应的视频画面中各个区域的清晰度等级。

本实施例中增强现实显示设备根据用户的输入操作生成关键位置信息后，需要根据关键位置信息，确定渲染后的环境建模数据对应的视频画面中各个区域的清晰度等级。

可以理解的是，渲染后的环境建模数据对应的视频画面中是存在多个区域的，对于不同区域的清晰度可以是不同的。因此，本实施例中可以根据关键位置信息确定各个区域的清晰度等级；例如请参阅图7，整个视频画面分为区域A1’和区域A2’，其中对于区域A1’是关键位置信息所对应区域，即用户所关注的区域，一般情况下其对应的清晰度等级是清晰度较高的，而对于区域A2’是除关键位置信息之外的所对应区域，即用户不怎么关注或关注度低的区域，一般情况下其对应的清晰度等级是清晰度较低的。

步骤S195，增强现实显示设备根据各个区域的清晰度等级和接收到的渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定各个区域进行解码所需的第三最少数据包数量；其中，第三最少数据包数量对应的数据包在解码后，得到与对应区域的清晰度等级相适应的视频画面。

本实施例中渲染后的环境建模数据的数据包中携带有渲染后的环境建模数据本身所对应的所有数据包的数量；例如渲染后的环境建模数据的数据包总量为n，并且n个数据包累加的大小(k1*1+k2*2+k3*3+……+kn*n)理论上要等于渲染后的环境建模数据本身的大小K。可以理解的是，渲染后的环境建模数据的数据包中也同时携带了各个区域对应的所有数据包的数量；例如视频画面划分为了区域A1’和区域A2’，其中对于属于区域A1’的数据包而言，每个数据包均携带了区域A1’的数据包总量，对于属于区域A2’的数据包而言，每个数据包均携带了区域A2’的数据包总量。

本实施例中第三最少数据包数量指的是区域进行解码所需要的最少数量的数据包，针对同一区域而言，其对应的第三最少数据包数量要小于其对应的数据包总量；例如设区域A1’的清晰度等级为高清，以及设接收到的数据包中携带的区域A1’的数据包总量为n1，而根据高清以及数据包总量n1，确定出区域A1’进行解码所需的第三最少数据包数量为q1，其中q1<n1。可以理解的是，对最少数量的数据包进行解码是可以得到解码后的区域的，并且解码后的区域所对应的视频画面与清晰度等级相适应；例如设根据高清这一清晰度等级，以及区域A1’的数据包总量n1，确定出区域A1’的第三最少数据包数量为q1，那么对q1个数据包进行解码，即可得到解码后的区域A1’，其中解码后的区域A1’所对应的视频画面是高清的。

在一些示例中，根据各个区域的清晰度等级和接收到的渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定各个区域进行解码所需的第三最少数据包数量，具体可以是获取各个区域的误码字节总量，其中区域的误码字节总量和对应区域的清晰度等级相匹配，然后根据各个区域的误码字节总量和预设数据包字节长度，确定各个区域可以丢弃的数据包数量，并对各个区域的数据包总量和对应区域可以丢弃的数据包数量进行求差运算，获得各个区域进行解码所需的第三最少数据包数量。

其中，误码字节总量指的是渲染后的环境建模数据在传输过程中可以丢弃的误码字节的最大数量。可以理解的是，字节是计算机信息技术用于计量存储容量的一种计量单位，一个字节存储8位无符号数，存储的数值范围为0-255；因此，本实施例中可以以字节为计量单位计算可以丢弃的最大数量的误码字节。其中不同清晰度等级对应的可以丢弃的误码字节总量不同，通常而言，区域的清晰度等级越高，则可以丢弃的误码字节总量越少。

其中，预设数据包字节长度指的是数据包对应的字节长度。可以理解的是，不同协议或不同应用场景下数据包的字节长度通常不同，其中可以从数据包的预设字段中获取到数据包对应的字节长度。在一些示例中，可以从接收到的多个数据包中，分别获取多个数据包对应的字节长度，如果多个数据包分别对应的字节长度不相同，则根据视频用户的输入操作生成对应的预设数据包长度。在一些示例中，可以从接收到的多个数据包中，分别获取多个数据包分别对应的字节长度，如果多个数据包分别对应的字节长度相同，则将字节长度作为预设数据包长度。

可以理解的是，在获取到区域的误码字节总量和预设数据包字节长度后，需要根据该区域的误码字节总量和预设数据包字节长度，确定该区域可以丢弃的数据包数量。

可以理解的是，在获取到区域的数据包总量和区域可以丢弃的数据包数量后，需要对两者进行求差运算，从而获得该区域进行解码所需的第三最少数据包数量；例如请参阅下表3，为一种示例的确定各个区域进行解码所需的第三最少数据包数量的关系表。

区域	数据包总量	可以丢弃的数据包数量	第三最少数据包数量
				A1’	n1	b1	q1＝n1-b1
A2’	n2	b2	q2＝n2-b2

表3

由表3可知，根据不同区域的数据包总量和可以丢弃的数据包数量，可以确定出对应区域的第三最少数据包数量。

步骤S197，增强现实显示设备在接收控制设备通过至少两条无线网传输链路发送的对应区域的数据包的过程中，若接收到的数据包的第二累计总量达到对应区域的第三最少数据包数量，则终止接收对应区域的数据包。

本实施例中接收到的数据包的第二累计总量指的是在数据包的接收过程中，会对接收到的对应区域的数据包的数量进行累加，从而得到对应区域当前接收到的数据包的累计总量。

本实施例中是在接收区域的数据包的过程中，对接收到的数据包的第二累计总量进行监测，如果在监测接收到的数据包的第二累计总量达到了对应区域的第三最少数据包数量，则表征此时接收到的数据包已经能够实现该区域的解码，因此需要终止接收该区域的数据包，从而以节省该区域其他数据包的接收时间，实现该区域的快速解码。例如在监测到接收到的数据包的第二累计总量达到区域A1’对应的第三最少数据包数量q1，则此时终止接收区域A1’的数据包，同样地，在监测到接收到的数据包的第二累计总量达到区域A2’对应的第三最少数据包数量q2，则此时终止接收区域A2’的数据包。

需要说明的是，本实施例中通过根据关键位置信息，实现了不同区域进行不同清晰度等级画面的解码显示，避免了始终将渲染后的环境建模数据的数据包对应的视频画面中的各个区域进行相同清晰度等级画面的解码显示，灵活性差的现象；例如实现了将用户并不关心的区域和用户所关心的区域进行不同清晰度等级画面的解码显示，其中用户并不关心的区域可以进行较低清晰度等级画面的解码显示，而用户所关心的区域则可以进行较高清晰度等级画面的解码显示，由此在极大程度上提升了同一渲染后的环境建模数据的数据包解码显示的灵活性，兼容了在提升渲染后的环境建模数据数据包的传输效率的同时，提升用户体验感。

需要说明的是，本实施例中通过根据各个区域的清晰度等级和接收到的渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定出各个区域进行解码所需的第三最少数据包数量；这样在接收对应区域的数据包的过程中，只需接收与该对应区域的第三最少数据包数量匹配的数据包，然后根据接收到的与该对应区域的第三最少数据包数量匹配的数据包进行解码即可，而无需等待接收该对应区域的所有数据包，并无需在所有数据包接收完毕之后才进行解码，由此在极大程度上提升了渲染后的环境建模数据的解码效率。

请参阅图8，图8是本申请的另一示例性实施例示出的远程控制方法的流程图。如图8所示，方法还可以包括步骤S199，详细介绍如下：

步骤S199，若增强现实显示设备接收完控制设备通过至少两条无线网传输链路发送的对应区域的数据包，且接收到的数据包的第二累计总量未达到对应区域的第三最少数据包数量，则降低对应区域的清晰度等级，以使得在接收控制设备通过至少两条无线网传输链路发送的下一渲染后的环境建模数据的过程中，根据对应区域降低后的清晰度等级和数据包总量，确定和对应区域像素位置相同的区域进行解码所需的第四最少数据包数量。

本实施例中如果增强现实显示设备接收完控制设备通过至少两条无线网传输链路发送的对应区域的数据包，且接收到的数据包的第二累计总量未达到对应区域的第三最少数据包数量，则表征此时网络不是很好，存在网络堵塞等情况，因此可以降低对应区域的清晰度等级，以便于下一渲染后的环境建模数据对应的视频画面中和该对应区域像素点位置相同的区域的快速传输和解码。

在一些示例中，还可以根据预设数据包接收时长来确定是否降低对应区域的清晰度等级，具体可以是如果在预设数据包接收时长内增强现实显示设备接收完控制设备发送的对应区域的所有数据包，且接收到的数据包的第二累计总量未达到第三最少数据包数量，则降低对应区域的清晰度等级。其中可以是设置定时器，为定时器设定一个预设数据包接收时长，定时器从开始接收对应区域的数据包便进行计时，如果在定时器设定的预设数据包接收时长到达时，增强现实显示设备接收完控制设备发送的对应区域的所有数据包，且接收到的数据包的第二累计总量未达到第三最少数据包数量，则此时可以降低对应区域的清晰度等级，以便于下一渲染后的环境建模数据对应的视频画面中和该对应区域像素点位置相同的区域的快速传输和解码。

可以理解的是，在增强现实显示设备在接收控制设备通过至少两条无线网传输链路发送的下一渲染后的环境建模数据的过程中，可以根据对应区域降低后的清晰度等级和数据包总量，确定和对应区域像素点位置相同的区域进行解码所需的第四最少数据包数量，如果接收到的数据包的第二累计总量达到第四最少数据包数量，则此时终止接收下一渲染后的环境建模数据对应区域的数据包，并对接收到的第四最少数据包数量的数据包进行解码，以获得解码后的下一渲染后的环境建模数据对应区域，其中解码后的下一渲染后的环境建模数据对应区域的清晰度等级低于当前视频对应区域的清晰度等级。

举例说明，设当前控制设备需要将渲染后的环境建模数据1和渲染后的环境建模数据2发送至增强现实显示设备，其中发送顺序是渲染后的环境建模数据1，然后是渲染后的环境建模数据2，以及渲染后的环境建模数据1对应的视频画面分为区域A1’和区域A2’，渲染后的环境建模数据2对应的视频画面分为区域B1’和区域B2’，区域A1’和区域B1’的像素点位置相同，且确定出的清晰度等级都是“超清”，区域A2’和区域B2’的像素点位置相同，且确定出的清晰度等级都是“标清”。其中在接收渲染后的环境建模数据1的区域A1’的数据包的过程中，如果增强现实显示设备接收完控制设备发送的区域A1’的所有数据包，且接收到的数据包的第二累计总量85未达到第三最少数据包数量90，则根据接收到的85个数据包进行解码，得到解码后的区域A1’，并同时将清晰度等级“超清”降低为“高清”。其中在接收渲染后的环境建模数据2的区域B1’的数据包的过程中，根据清晰度等级“高清”和区域B1’的数据包总量，确定区域B1’进行解码所需的第四最少数据包数量，设区域A1’的数据包总量和区域B1’的数据包总量相同(在实际应用中也可以不相同)，此时确定出第四最少数据包数量为80个，则在接收区域B1’的数据包的过程中，若接收到的数据包的第二累计总量达到第四最少数据包数量80，则终止接收区域B1’的数据包，并根据接收到的第四最少数据包数量所匹配的80个数据包进行解码，得到解码后的区域B1’。同理，对区域A2’和区域B2’进行类似的解码，这里不再重复赘述，至此完成两个渲染后的环境建模数据的解码；并且，通常而言，控制设备是一个渲染后的环境建模数据的数据包发送完，再发送下一渲染后的环境建模数据的数据包，此处示例是为了体现前一渲染后的环境建模数据对应区域降低后的清晰度等级，对下一渲染后的环境建模数据中与之像素点位置相同区域的最少数据包数量的影响。

需要说明的是，本实施例中通过增强现实显示设备接收完控制设备通过至少两条无线网传输链路发送的对应区域的数据包，且接收到的数据包的第二累计总量未达到对应区域的第三最少数据包数量时，则降低对应区域的清晰度等级，以匹配当前的网络情况，保证了控制设备所发送的后续渲染后的环境建模数据的视频画面中与之像素点位置相同的区域能够快速地传输和解码。

图9是本申请的一示例性实施例示出的视频数据处理装置的框图，其中该视频数据处理装置应用于视频处理系统，视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，控制设备和增强现实显示设备之间通过智能家居设备所在无线网络建立有至少两条无线网传输链路，且该视频数据处理装置配置于控制设备中。如图9所示，该装置包括：

第一接收模块410，配置为接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频；

建模和渲染模块430，配置为对场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

第一发送模块450，配置为通过至少两条无线网传输链路发送渲染后的环境建模数据至增强现实显示设备，以使增强现实显示设备显示渲染后的环境建模数据。

本实施例中通过智能家居设备所在的无线网络建立得到的至少两条无线网传输链路实现了控制设备与增强现实显示设备之间的视频数据的传输，具体地，实现了将增强现实显示设备采集到的场景视频传输至控制设备侧，以及将控制设备对该场景视频进行环境建模和渲染，获得的渲染后的环境建模数据传输至增强现实显示设备侧；由于无需花费费用即可形成的无线网络的传输链路，因此通过无线网络建立的无线网传输链路来传输控制设备与增强现实显示设备之间的视频数据也无需花费费用，从而降低了视频数据的传输成本；并且智能家居设备是生活中常见的设备，通过其能够简单便捷地部署无线网传输链路；同时无线传输链路至少有两条，通过至少两条无线传输链路来传输控制设备与增强现实显示设备之间的视频数据，能够极大提升视频数据的传输效率。

在另一示例性的实施例中，第一接收模块410包括：

第一接收单元，配置为接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频的数据包；其中，场景视频的数据包中携带有场景视频的数据包总量；第一确定单元，配置为根据场景视频的预设清晰度等级和数据包总量，确定场景视频进行解码所需的第一最少数据包数量；其中，第一最少数据包数量对应的数据包在解码后得到与预设清晰度等级相适应的场景视频画面；第一接收单元，还配置为在接收增强现实显示设备通过至少两条无线网传输链路发送的场景视频的数据包的过程中，若接收到的数据包的第一累计总量达到第一最少数据包数量，则终止接收场景视频的数据包。

在另一示例性的实施例中，第一接收模块410还包括：

第一降低单元，配置为若接收完增强现实显示设备通过至少两条无线网传输链路发送的场景视频的所有数据包，且接收到的数据包的第一累计总量未达到第一最少数据包数量，则降低预设清晰度等级，以使得在接收增强现实显示设备通过至少两条无线网传输链路发送的下一场景视频的数据包的过程中，根据降低后的预设清晰度等级和接收到的数据包中携带的数据包总量，确定下一场景视频进行解码所需的第二最少数据包数量。

在另一示例性的实施例中，第一接收模块410还包括：

第一获取单元，配置为分别获取通过各条无线网传输链路接收到的数据包的数量；求和单元，配置为对至少两条无线网传输链路接收到的数量进行求和运算，获得第一累计总量。

在另一示例性的实施例中，建模和渲染模块430包括：

建模单元，配置为根据三维重建算法对场景视频进行环境建模，获得三维环境模型；渲染单元，配置为在三维环境模型中渲染预设元素对应的展示模型，获得渲染后的三维环境模型。

在另一示例性的实施例中，建模单元包括：

第二获取单元，配置为分别获取场景视频中多个元素的位置信息；

建模子单元，配置为根据三维重建算法和多个元素的位置信息进行环境建模，获得三维环境模型。

在另一示例性的实施例中，渲染单元包括：

第二接收单元，配置为接收增强现实设备通过至少两条无线网传输链路发送的预设元素的三维位置信息；第二确定单元，配置为根据预设元素，从预设展示模型库中确定与预设元素匹配的展示模型；其中，预设展示模型库中预置有多个预设元素分别对应的展示模型；渲染子单元，配置为将展示模型渲染至三维环境模型中与预设元素的三维位置信息对应的位置处。

图10是本申请的一示例性实施例示出的视频数据处理装置的框图，其中该视频数据处理装置应用于视频处理系统，视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，控制设备和增强现实显示设备之间通过智能家居设备所在无线网络建立有至少两条无线网传输链路，且该视频数据处理装置配置于增强现实显示设备中。如图10所示，该装置包括：

第二发送模块510，配置为通过至少两条无线网传输链路发送采集到的场景视频至控制设备，以使得控制设备对场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

第二接收模块530，配置为接收控制设备通过至少两条无线网传输链路发送的渲染后的环境建模数据；

显示模块550，配置为显示渲染后的环境建模数据。

本实施例中通过智能家居设备所在的无线网络建立得到的至少两条无线网传输链路实现了控制设备与增强现实显示设备之间的视频数据的传输，具体地，实现了将增强现实显示设备采集到的场景视频传输至控制设备侧，以及将控制设备对该场景视频进行环境建模和渲染，获得的渲染后的环境建模数据传输至增强现实显示设备侧；由于无需花费费用即可形成的无线网络的传输链路，因此通过无线网络建立的无线网传输链路来传输控制设备与增强现实显示设备之间的视频数据也无需花费费用，从而降低了视频数据的传输成本；并且智能家居设备是生活中常见的设备，通过其能够简单便捷地部署无线网传输链路；同时无线传输链路至少有两条，通过至少两条无线传输链路来传输控制设备与增强现实显示设备之间的视频数据，能够极大提升视频数据的传输效率。

在另一示例性的实施例中，第二接收模块530包括：

生成单元，配置为根据用户的输入操作生成关键位置信息；第三确定单元，配置为根据关键位置信息，确定渲染后的环境建模数据对应的视频画面中各个区域的清晰度等级；第三确定单元，还配置为根据各个区域的清晰度等级和接收到的渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定各个区域进行解码所需的第三最少数据包数量；其中，第三最少数据包数量对应的数据包在解码后，得到与对应区域的清晰度等级相适应的视频画面；第三接收单元，配置为在接收控制设备通过至少两条无线网传输链路发送的对应区域的数据包的过程中，若接收到的数据包的第二累计总量达到对应区域的第三最少数据包数量，则终止接收对应区域的数据包。

在另一示例性的实施例中，第三确定单元包括：

第三获取单元，配置为获取各个区域的误码字节总量；其中，区域的误码字节总量和对应区域的清晰度等级相匹配；

第四确定单元，配置为根据各个区域的误码字节总量和预设数据包字节长度，确定各个区域可以丢弃的数据包数量；

求差单元，配置为对各个区域的数据包总量和对应区域可以丢弃的数据包数量进行求差运算，获得各个区域进行解码所需的第三最少数据包数量。

需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。

本申请的实施例还提供了一种电子设备，包括处理器和存储器，其中，存储器上存储有计算机可读指令，该计算机可读指令被处理器执行时实现如前的视频数据处理方法。

图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图11示出的电子设备的计算机系统1600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图11所示，计算机系统1600包括中央处理单元(Central Processing Unit，CPU)1601，其可以根据存储在只读存储器(Read-Only Memory，ROM)1602中的程序或者从储存部分1608加载到随机访问存储器(Random Access Memory，RAM)1603中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 1603中，还存储有系统操作所需的各种程序和数据。CPU 1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(Input/Output，I/O)接口1605也连接至总线1604。

以下部件连接至I/O接口1605：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1607；包括硬盘等的储存部分1608；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入储存部分1608。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被中央处理单元(CPU)1601执行时，执行本申请的系统中限定的各种功能。

需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前的视频数据处理方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的视频数据处理方法。

上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (18)

1.一种视频数据处理方法，其特征在于，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述方法由所述控制设备执行，所述方法包括：

接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频的数据包；其中，所述场景视频的数据包中携带有所述场景视频的数据包总量；

根据所述场景视频的预设清晰度等级和所述数据包总量，确定所述场景视频进行解码所需的第一最少数据包数量；其中，所述第一最少数据包数量对应的数据包在解码后得到与所述预设清晰度等级相适应的场景视频画面；

在接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频的数据包的过程中，若接收到的数据包的第一累计总量达到所述第一最少数据包数量，则终止接收所述场景视频的数据包；

对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

通过所述至少两条无线网传输链路发送所述渲染后的环境建模数据至所述增强现实显示设备，以使所述增强现实显示设备显示所述渲染后的环境建模数据。

2.如权利要求1所述的方法，其特征在于，所述控制设备和所述智能家居设备部署于同一无线局域网中。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

若接收完所述增强现实显示设备通过所述至少两条无线网传输链路发送的所述场景视频的所有数据包，且接收到的数据包的第一累计总量未达到所述第一最少数据包数量，则降低所述预设清晰度等级，以使得在接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的下一场景视频的数据包的过程中，根据降低后的预设清晰度等级和接收到的数据包中携带的数据包总量，确定所述下一场景视频进行解码所需的第二最少数据包数量。

4.如权利要求1所述的方法，其特征在于，在所述接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频的数据包之后，所述方法还包括：

分别获取通过各条无线网传输链路接收到的数据包的数量；

对所述至少两条无线网传输链路接收到的数量进行求和运算，获得所述第一累计总量。

5.如权利要求1所述的方法，其特征在于，所述对所述场景视频进行环境建模和渲染，得到渲染后的环境建模数据，包括：

根据三维重建算法对所述场景视频进行环境建模，获得三维环境模型；

在所述三维环境模型中渲染预设元素对应的展示模型，获得所述渲染后的三维环境模型。

6.如权利要求5所述的方法，其特征在于，所述根据三维重建算法对所述场景视频进行环境建模，获得三维环境模型，包括：

分别获取所述场景视频中多个元素的位置信息；

根据三维重建算法和所述多个元素的位置信息进行环境建模，获得所述三维环境模型。

7.如权利要求5所述的方法，其特征在于，所述在所述三维环境模型中渲染预设元素对应的展示模型，获得渲染后的三维环境模型，包括：

接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的所述预设元素的三维位置信息；

根据所述预设元素，从预设展示模型库中确定与所述预设元素匹配的展示模型；其中，所述预设展示模型库中预置有多个预设元素分别对应的展示模型；

将所述展示模型渲染至所述三维环境模型中与所述预设元素的三维位置信息对应的位置处，以获得所述渲染后的三维环境模型。

8.一种视频数据处理方法，其特征在于，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述方法由所述增强现实显示设备执行，所述方法包括：

通过所述至少两条无线网传输链路发送采集到的场景视频至控制设备，以使得所述控制设备对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

根据用户的输入操作生成关键位置信息；

根据所述关键位置信息确定所述渲染后的环境建模数据对应的视频画面中各个区域的清晰度等级；

根据所述各个区域的清晰度等级和接收到的所述渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定所述各个区域进行解码所需的第三最少数据包数量；其中，所述第三最少数据包数量对应的数据包在解码后，得到与对应区域的清晰度等级相适应的视频画面；

在接收所述控制设备通过所述至少两条无线网传输链路发送的对应区域的数据包的过程中，若接收到的数据包的第二累计总量达到对应区域的第三最少数据包数量，则终止接收对应区域的数据包；

显示所述渲染后的环境建模数据。

9.如权利要求8所述的方法，其特征在于，所述根据所述各个区域的清晰度等级和接收到的所述渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定所述各个区域进行解码所需的第三最少数据包数量，包括：

获取所述各个区域的误码字节总量；其中，区域的误码字节总量和对应区域的清晰度等级相匹配；

根据所述各个区域的误码字节总量和预设数据包字节长度，确定所述各个区域可以丢弃的数据包数量；

对所述各个区域的数据包总量和对应区域可以丢弃的数据包数量进行求差运算，获得所述各个区域进行解码所需的第三最少数据包数量。

10.一种视频数据处理装置，其特征在于，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述装置配置于控制设备中，所述装置包括：

第一接收模块，配置为接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频的数据包；其中，所述场景视频的数据包中携带有所述场景视频的数据包总量；根据所述场景视频的预设清晰度等级和所述数据包总量，确定所述场景视频进行解码所需的第一最少数据包数量；其中，所述第一最少数据包数量对应的数据包在解码后得到与所述预设清晰度等级相适应的场景视频画面；在接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的场景视频的数据包的过程中，若接收到的数据包的第一累计总量达到所述第一最少数据包数量，则终止接收所述场景视频的数据包；

建模和渲染模块，配置为对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

第一发送模块，配置为通过所述至少两条无线网传输链路发送所述渲染后的环境建模数据至所述增强现实显示设备，以使所述增强现实显示设备显示所述渲染后的环境建模数据。

11.如权利要求10所述的装置，其特征在于，所述第一接收模块，包括：

第一降低单元，配置为若接收完所述增强现实显示设备通过所述至少两条无线网传输链路发送的所述场景视频的所有数据包，且接收到的数据包的第一累计总量未达到所述第一最少数据包数量，则降低所述预设清晰度等级，以使得在接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的下一场景视频的数据包的过程中，根据降低后的预设清晰度等级和接收到的数据包中携带的数据包总量，确定所述下一场景视频进行解码所需的第二最少数据包数量。

12.如权利要求10所述的装置，其特征在于，所述第一接收模块，包括：

第一获取单元，配置为分别获取通过各条无线网传输链路接收到的数据包的数量；

求和单元，配置为对所述至少两条无线网传输链路接收到的数量进行求和运算，获得所述第一累计总量。

13.如权利要求10所述的装置，其特征在于，所述建模和渲染模块，包括：

建模单元，配置为根据三维重建算法对所述场景视频进行环境建模，获得三维环境模型；

渲染单元，配置为在所述三维环境模型中渲染预设元素对应的展示模型，获得所述渲染后的三维环境模型。

14.如权利要求13所述的装置，其特征在于，所述建模单元，包括：

第二获取单元，配置为分别获取所述场景视频中多个元素的位置信息；

建模子单元，配置为根据三维重建算法和所述多个元素的位置信息进行环境建模，获得所述三维环境模型。

15.如权利要求13所述的装置，其特征在于，所述渲染单元，包括：

第二接收单元，配置为接收所述增强现实显示设备通过所述至少两条无线网传输链路发送的所述预设元素的三维位置信息；

第二确定单元，配置为根据所述预设元素，从预设展示模型库中确定与所述预设元素匹配的展示模型；其中，所述预设展示模型库中预置有多个预设元素分别对应的展示模型；

渲染子单元，配置为将所述展示模型渲染至所述三维环境模型中与所述预设元素的三维位置信息对应的位置处，以获得所述渲染后的三维环境模型。

16.一种视频数据处理装置，其特征在于，应用于视频处理系统，所述视频处理系统包括控制设备、增强现实显示设备以及智能家居设备，所述控制设备和所述增强现实显示设备之间通过所述智能家居设备所在无线网络建立有至少两条无线网传输链路，所述装置配置于增强现实显示设备中，所述装置包括：

第二发送模块，配置为通过所述至少两条无线网传输链路发送采集到的场景视频至控制设备，以使得所述控制设备对所述场景视频进行环境建模和渲染，获得渲染后的环境建模数据；

第二接收模块，配置为根据用户的输入操作生成关键位置信息；根据所述关键位置信息确定所述渲染后的环境建模数据对应的视频画面中各个区域的清晰度等级；根据所述各个区域的清晰度等级和接收到的所述渲染后的环境建模数据的数据包中携带的各个区域的数据包总量，确定所述各个区域进行解码所需的第三最少数据包数量；其中，所述第三最少数据包数量对应的数据包在解码后，得到与对应区域的清晰度等级相适应的视频画面；在接收所述控制设备通过所述至少两条无线网传输链路发送的对应区域的数据包的过程中，若接收到的数据包的第二累计总量达到对应区域的第三最少数据包数量，则终止接收对应区域的数据包；

显示模块，配置为显示所述渲染后的环境建模数据。

17.一种电子设备，其特征在于，包括：

存储器，存储有计算机可读指令；

处理器，读取存储器存储的计算机可读指令，以执行权利要求1-7或权利要求8-9中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1-7或权利要求8-9中任一项所述的方法。

Images