CN108737807B - 一种数据处理方法、终端、服务器和计算机存储介质 - Google Patents

Abstract

本发明实施例公开了一种数据处理方法、终端、服务器和计算机存储介质。所述方法包括：获得三维图像数据，所述三维图像数据包括二维图像数据和深度数据；在第一发送间隔内发送第一数量的深度数据；判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

Description

一种数据处理方法、终端、服务器和计算机存储介质

技术领域

本发明涉及数据处理技术，具体涉及一种数据处理方法、终端、服务器和计算机存储介质。

背景技术

随着移动通信网络的不断发展，移动通信网络的传输速率飞速提高，从而给三维视频业务的产生和发展提供了有力的技术支持。三维视频数据包括二维图像数据(例如RGB数据)和深度数据(Depth数据)，而三维视频数据的传输是分别传输二维视频数据和深度数据。在三维视频数据的传输过程中出于各种原因(例如丢包)使得分别传输的二维视频数据和深度数据并非能一直保持对齐，从而使得接收端接收到的二维视频数据和深度数据在合成后会出现与原始数据不一致、图像重构错误、图像内容无法识别出等问题。

发明内容

为解决现有存在的技术问题，本发明实施例提供了一种数据处理方法、终端、服务器和计算机存储介质。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种数据处理方法，应用于终端，所述方法包括：

获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；

在第一发送间隔内发送第一数量的深度数据；

判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；

在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

上述方案中，所述基于所述判断结果丢弃待发送的二维视频数据中的部分二维视频数据，包括：

确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；

丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

上述方案中，所述发送第一数量的深度数据，包括：基于第一配置信息发送第一数量的深度数据；

所述丢弃处理后的、第二数量的二维视频数据，包括：基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

上述方案中，所述方法还包括：检测传输信道的第一参数；

基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

上述方案中，所述方法还包括：接收对应于所述二维视频数据的第二确认响应信息。

上述方案中，所述获得三维视频数据，包括：

所述终端从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例还提供了一种数据处理方法，应用于移动边缘计算(MEC，MobileEdge Computing)服务器，所述方法包括：

在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息；

在第二接收间隔内接收到二维视频数据；

合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

上述方案中，所述合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据，包括：

采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

本发明实施例还提供了一种终端，所述终端包括：获取单元、第一通信单元和第一数据处理单元；其中，

所述获取单元，用于获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；

所述第一通信单元，用于在第一发送间隔内发送第一数量的深度数据；还用于接收对应于发送的深度数据的第一确认响应信息；

所述第一数据处理单元，用于判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据；

所述第一通信单元，还用于在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

上述方案中，所述第一数据处理单元，用于确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

上述方案中，所述第一通信单元，用于基于第一配置信息发送第一数量的深度数据；还用于基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

上述方案中，所述终端还包括：检测单元，用于检测传输信道的第一参数；

所述第一数据处理单元，还用于基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

上述方案中，所述第一通信单元，还用于接收对应于所述二维视频数据的第二确认响应信息。

上述方案中，所述获取单元，用于从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例还提供了一种MEC服务器，所述服务器包括第二通信单元和第二数据处理单元；其中，

所述第二通信单元，用于在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息；还用于在第二接收间隔内接收到二维视频数据；

所述第二数据处理单元，用于合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

上述方案中，所述第二数据处理单元，用于采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明实施例所述的应用于终端的数据处理方法的步骤；或者，该指令被处理器执行时实现本发明实施例所述的应用于MEC服务器的数据处理方法的步骤。

本发明实施例还提供了一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述的应用于终端的数据处理方法的步骤。

本发明实施例还提供了一种MEC服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例所述的应用于MEC服务器的数据处理方法的步骤。

本发明实施例提供的数据处理方法、终端、服务器和计算机存储介质，应用于终端的方法包括：获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；在第一发送间隔内发送第一数量的深度数据；判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。采用本发明实施例的技术方案，通过在终端本地进行待传输的部分数据的丢弃处理，避免三维视频数据在发送过程中由于深度数据的部分丢失导致图像重构错误、图像内容无法识别等问题，在一定程度上也通过避免数据重传提高了数据传输效率，提升了服务质量，也大大提升了用户体验。

附图说明

图1为本发明实施例的数据处理方法应用的系统架构示意图；

图2为本发明实施例的数据处理方法的一种流程示意图；

图3为本发明实施例的数据处理方法的另一种流程示意图；

图4为本发明实施例的终端的一种组成结构示意图；

图5为本发明实施例的终端的另一种组成结构示意图；

图6为本发明实施例的服务器的组成结构示意图；

图7为本发明实施例的数据处理设备的硬件组成结构示意图。

具体实施方式

在对本发明实施例的技术方案进行详细说明之前，首先对本发明实施例的数据处理方法应用的系统架构进行简单说明。本发明实施例的数据处理方法应用于三维视频数据的相关业务，该业务例如是三维视频数据分享的业务，或者基于三维视频数据的直播业务等等。在这种情况下，由于三维视频数据的数据量较大，分别传输的深度数据和二维视频数据在数据传输过程中需要较高的技术支持，因此需要移动通信网络具有较快的数据传输速率，以及较稳定的数据传输环境。

图1为本发明实施例的数据处理方法应用的系统架构示意图；如图1所示，系统可包括终端、基站、MEC服务器、业务处理服务器、核心网和互联网(Internet)等；MEC服务器与业务处理服务器之间通过核心网建立高速通道以实现数据同步。

以图1所示的两个终端交互的应用场景为例，MEC服务器A为部署于靠近终端A(发送端)的MEC服务器，核心网A为终端A所在区域的核心网；相应的，MEC服务器B为部署于靠近终端B(接收端)的MEC服务器，核心网B为终端B所在区域的核心网；MEC服务器A和MEC服务器B可与业务处理服务器之间分别通过核心网A和核心网B建立高速通道以实现数据同步。

其中，终端A发送的三维视频数据传输到MEC服务器A后，由MEC服务器A通过核心网A将数据同步至业务处理服务器；再由MEC服务器B从业务处理服务器获取终端A发送的三维视频数据，并发送至终端B进行呈现。

这里，如果终端B与终端A通过同一个MEC服务器来实现传输，此时终端B和终端A直接通过一个MEC服务器实现三维视频数据的传输，不需要业务处理服务器的参与，这种方式称为本地回传方式。具体地，假设终端B与终端A通过MEC服务器A实现三维视频数据的传输，终端A发送的三维视频数据传输到MEC服务器A后，由MEC服务器A发送三维视频数据至终端B进行呈现。

这里，终端可基于网络情况、或者终端自身的配置情况、或者自身配置的算法选择接入4G网络的演进型基站(eNB)，或者接入5G网络的下一代演进型基站(gNB)，从而使得eNB通过长期演进(LTE，Long Term Evolution)接入网与MEC服务器连接，使得gNB通过下一代接入网(NG-RAN)与MEC服务器连接。

这里，MEC服务器部署于靠近终端或数据源头的网络边缘侧，所谓靠近终端或者靠近数据源头，不仅是逻辑位置上，还在地理位置上靠近终端或者靠近数据源头。区别于现有的移动通信网络中主要的业务处理服务器部署于几个大城市中，MEC服务器可在一个城市中部署多个。例如在某写字楼中，用户较多，则可在该写字楼附近部署一个MEC服务器。

其中，MEC服务器作为具有融合网络、计算、存储、应用核心能力的边缘计算网关，为边缘计算提供包括设备域、网络域、数据域和应用域的平台支撑。其联接各类智能设备和传感器，就近提供智能联接和数据处理业务，让不同类型的应用和数据在MEC服务器中进行处理，实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务，有效提升业务的智能决策效率。

下面结合附图及具体实施例对本发明作进一步详细的说明。

本发明实施例提供了一种数据处理方法，应用于终端中，终端可以是例如手机、平板电脑等移动终端，也可以是电脑等类型的终端。图2为本发明实施例的数据处理方法的一种流程示意图；如图2所示，所述方法包括：

步骤101：获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据。

步骤102：在第一发送间隔内发送第一数量的深度数据。

步骤103：判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息。

步骤104：在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

本实施例中，作为一种实施方式，所述获得三维视频数据，包括：所述终端从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

具体的，本实施方式中，由于能够采集深度数据的采集组件相对比较昂贵，终端并不具备三维视频数据的采集功能，而是通过独立于终端的采集组件采集三维视频数据，再通过采集组件和终端中的通信组件建立通信链路，使得终端获得采集组件采集的三维视频数据。其中，所述采集组件具体可通过以下至少之一实现：深度摄像头、双目摄像头、3D结构光摄像模组、飞行时间(TOF，Time Of Flight)摄像模组。

这里，采集组件能够与至少一个终端建立通信链路以将采集得到的三维视频数据传输至所述至少一个终端，以使对应终端获得三维视频数据，这样能够实现一个采集组件采集的三维视频数据共享给至少一个终端，从而实现采集组件的共享。

作为另一种实施方式，终端自身具备三维视频数据的采集功能，可以理解，终端设置有至少能够采集深度数据的采集组件，例如设置有以下组件至少之一：深度摄像头、双目摄像头、3D结构光摄像模组、TOF摄像模组，以采集三维视频数据。

其中，获得的三维视频数据包括二维视频数据和深度数据；所述二维视频数据用于表征平面图像，例如可以是RGB数据；深度数据表征采集组件所针对的采集对象的表面与采集组件之间的距离。

本实施例中，预先划分多个发送间隔，例如第一发送间隔、第二发送间隔等等，各发送间隔的时长相同。实际应用中，可通过定时器实现，例如从启动定时器开始到定时器的定时时间到，可作为一个发送间隔。其中，每个发送间隔可以是1毫秒等。

本实施例中，在获得包括二维视频数据和深度数据后，在第一发送间隔内向服务器发送第一数量的深度数据；并等待是否接收到对应于发送的深度数据的第一确认响应信息。其中，若服务器接收到一个深度数据，则相应的会向终端发送一个第一确认响应信息。则终端判断是否接收到对应于发送的深度数据的、且满足第一数量的第一确认响应信息，也即终端判断服务器是否接收到第一数量的深度数据；若判断结果为终端未接收到对应于发送的深度数据的、且满足第一数量的第一确认响应信息，即终端接收的第一确认响应信息的数量小于所述第一数量，也即终端可判定第一数量的深度数据在传输过程中发生了数据丢失的情况。

基于此，终端根据数据传输过程中的数据丢失的情况对待发送的二维视频数据进行丢帧处理。

作为一种实施方式，所述基于所述判断结果丢弃待发送的二维视频数据中的部分二维视频数据，包括：确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

具体的，假设终端在第一发送间隔内(例如T1内)发送N个深度数据，若终端接收到N个确认(ACK)响应，则表明传输过程中并未发生数据丢失；则在下一个发送间隔(例如T1-T2内)发送N个二维视频数据，等待服务器回复。若终端只收到M个确认(ACK)响应，M小于N，则说明数据传输过程中发生了数据丢失，则终端需要按照时间戳丢弃N-M个二维视频数据，只发送M个二维视频数据给服务器，等待服务器回复。

其中，对于丢弃的二维视频数据的数量为至少两个的情况，可采用等间隔丢弃的方式，避免连续丢弃该至少两个二维视频数据，从而减轻接收侧对于三维视频数据的平滑处理的复杂度，保证三维视频数据的图像质量不受到数据丢弃的影响。对于丢弃的二维视频数据的数量为一个的情况，可丢弃第一数量的二维视频数据中的任一二维视频数据，不限于首个、尾个，或者中间的任一个。

则在一实施例中，所述方法还包括：接收对应于所述二维视频数据的第二确认响应信息。这里，如果接收到对应于发送的二维视频数据的第二数量的二维视频数据，依旧采用上述示例发送M个二维视频数据给服务器，接收到对应的M个第二确认响应信息，则表明作为接收端的服务器侧接收到M个深度数据和M个二维视频数据，可以合成M个三维视频数据。

上述实施例均是在已知当前的传输通道的情况下执行的数据处理方案。则在不知道当前的传输通道的情况下，所述发送第一数量的深度数据，包括：基于第一配置信息发送第一数量的深度数据；所述丢弃处理后的、第二数量的二维视频数据，包括：基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

在一实施例中，所述方法还包括：检测传输信道的第一参数；基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

具体的，终端中预先配置多组参数和配置信息的映射关系；其中，参数可表示传输信道的参数，例如可包括带宽大小；配置信息可包括以下信息的至少之一：传输方式、传输算法等等；所述传输方式可包括待传输的数据的参数(例如分辨率、数据包的信息量等)。则终端可检测当前传输信道的第一参数，通过查询预置的多组参数和配置信息的映射关系查询与所述第一参数匹配的第一配置信息，按照第一配置信息的配置参数(包括传输算法、数据包的信息量等配置参数)进行深度数据以及二维视频数据的发送。

采用本发明实施例的技术方案，通过在终端本地进行待传输的部分数据的丢弃处理，避免三维视频数据在发送过程中由于深度数据的部分丢失导致图像重构错误、图像内容无法识别等问题，在一定程度上也通过避免数据重传提高了数据传输效率，提升了服务质量，也大大提升了用户体验。

对应地，本发明实施例还提供了一种数据处理方法，应用于服务器，该服务器具体为图1中所示的MEC服务器。图3为本发明实施例二的数据处理方法的流程示意图；如图3所示，所述方法包括：

步骤201：在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息。

步骤202：在第二接收间隔内接收到二维视频数据。

步骤203：合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

基于前述实施例记载的技术方案，终端在第一发送间隔内发送第一数量的深度数据，则服务器在第一接收间隔内接收深度数据。其中，所述第一接收间隔和第一发送间隔可通过预先约定或者信令指示的方式预先配置。所述第一发送间隔和第一接收间隔表示的时长相等。

这里，所述在第一接收间隔内接收深度数据，包括：在第一接收间隔内接收小于等于第一数量的深度数据；相应的，所述发送对应于所述深度数据的第一确认响应信息，包括：发送对应于所述深度数据的小于等于第一数量的第一确认响应信息。

具体的，由于数据传输过程中数据丢失等各种原因的影响，服务器可能接收到第一数量的深度数据，也可能接收到小于第一数量的深度数据；若接收到小于第一数量的深度数据，则表明第一数量的深度数据在数据传输过程中有部分深度数据丢失。

本实施例中，作为一种实施方式，服务器判断第一接收间隔内接收的深度数据的数量与所述第二接收间隔内接收的二维视频数据的数量是否一致；由于在三维视频数据的采集过程中，深度数据和二维图像数据是一一对应的；也即在服务器对接收到的深度数据和二维图像数据进行重建合成时，至少需要深度数据的数量和二维视频数据的数量是一致的，即保证深度数据和二维视频数据的一一对应。基于此，在第一接收间隔内接收的深度数据的数量与所述第二接收间隔内接收的二维视频数据的数量一致时，参照前述实施例中的具体示例，即服务器接收到M个深度数据，又接收到M个二维视频数据后，对M个深度数据和M个二维视频数据进行重构合并，生成三维视频数据。

作为另一种实施方式，若服务器在第一接收间隔内接收的深度数据的数量与所述第二接收间隔内接收的二维视频数据的数量不一致，即出现深度数据的数量大于二维视频数据的数量的情况，在这种情况下，服务器可采用预设的平滑算法补充二维视频数据的数量与所述深度数据的数量相同；所述平滑算法包括卷积算法(包括向前卷积和/或向后卷积)等。

这里，所述合成所述深度数据和所述二维视频数据为三维视频数据，包括：采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

具体的，本实施方式中采用预设卷积算法对深度数据和二维图像数据进行处理，从而实现图像质量的优化。尤其在深度数据在传输过程中部分丢失、终端丢弃部分二维视频数据的情况下，采用预设卷积算法能够起到平滑数据的作用。当然，在其他实施方式中，还可采用插值拟合等方式对缺失帧数据的三维图像数据进行平滑处理。

采用本发明实施例的技术方案，通过在终端本地进行待传输的部分数据的丢弃处理，实现了三维视频数据在终端本地的纠错，避免三维视频数据在发送过程中由于深度数据的部分丢失导致图像重构错误、图像内容无法识别等问题，在一定程度上也通过避免数据重传提高了数据传输效率，提升了服务质量，也大大提升了用户体验。

为实现本发明实施例终端侧的方法，本发明实施例还提供了一种终端。图4为本发明实施例的终端的一种组成结构示意图；如图4所示，所述终端包括：获取单元31、第一通信单元32和第一数据处理单元33；其中，

所述获取单元31，用于获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；

所述第一通信单元32，用于在第一发送间隔内发送第一数量的深度数据；还用于接收对应于发送的深度数据的第一确认响应信息；

所述第一数据处理单元33，用于判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据；

所述第一通信单元32，还用于在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

在一实施例中，所述第一数据处理单元33，用于确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

在一实施例中，所述第一通信单元32，用于基于第一配置信息发送第一数量的深度数据；还用于基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

在一实施例中，如图5所示，所述终端还包括：检测单元34，用于检测传输信道的第一参数；

所述第一数据处理单元33，还用于基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

在一实施例中，所述第一通信单元32，还用于接收对应于所述二维视频数据的第二确认响应信息。

在一实施例中，所述获取单元31，用于从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

本发明实施例中，所述终端中的第一数据处理单元33，在实际应用中可由所述终端中的处理器，比如中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)、微控制单元(MCU，Microcontroller Unit)或可编程门阵列(FPGA，Field－Programmable Gate Array)等实现；所述终端中的第一通信单元32，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现；所述终端中的获取单元31，在实际应用中可通过立体摄像头、双目摄像头或结构光摄像头实现，或者可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现；所述终端中的检测单元34，在实际应用中可由处理器比如CPU、DSP、MCU或FPGA等结合通信模组实现。

需要说明的是：上述实施例提供的终端在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将终端的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的终端与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

相应地，为实现本发明实施例服务器侧的方法，本发明实施例还提供了一种服务器，具体为MEC服务器。图6为本发明实施例的服务器的组成结构示意图；如图6所示，所述服务器包括第二通信单元41和第二数据处理单元42；其中，

所述第二通信单元41，用于在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息；还用于在第二接收间隔内接收到二维视频数据；

所述第二数据处理单元42，用于合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

所述第二数据处理单元42，用于采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

本发明实施例中，所述服务器中的第二数据处理单元42，在实际应用中可由所述服务器中的处理器，比如CPU、DSP、MCU或FPGA等实现；所述服务器中的第二通信单元41，在实际应用中可通过通信模组(包含：基础通信套件、操作系统、通信模块、标准化接口和协议等)及收发天线实现。

需要说明的是：上述实施例提供的服务器在进行数据处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将服务器的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的服务器与数据处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

基于上述设备的硬件实现，本发明实施例还提供了一种数据处理设备，图7为本发明实施例的数据处理设备的硬件组成结构示意图，如图7所示，数据处理设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；作为第一种实施方式，数据处理设备为终端时，位于终端的处理器执行所述程序时实现：获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；在第一发送间隔内发送第一数量的深度数据；判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

在一实施例中，位于终端的处理器执行所述程序时实现：确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

在一实施例中，位于终端的处理器执行所述程序时实现：基于第一配置信息发送第一数量的深度数据；基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

在一实施例中，位于终端的处理器执行所述程序时实现：检测传输信道的第一参数；基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

在一实施例中，位于终端的处理器执行所述程序时实现：接收对应于所述二维视频数据的第二确认响应信息。

在一实施例中，位于终端的处理器执行所述程序时实现：从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

作为第二种实施方式，数据处理设备为服务器时，位于服务器的处理器执行所述程序时实现：在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息；在第二接收间隔内接收到二维视频数据；当所述第一接收间隔内接收的深度数据的数量与所述第二接收间隔内接收的二维视频数据的数量一致时，合成所述深度数据和所述二维视频数据为三维视频数据。

在一实施例中，位于服务器的处理器执行所述程序时实现：采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

可以理解，数据处理设备(终端或服务器)还包括通信接口；数据处理设备(终端或服务器)中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

可以理解，本实施例中的存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，ReadOnly Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，RandomAccess Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

上述本发明实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。

本发明实施例还提供了一种计算机存储介质，具体为计算机可读存储介质。其上存储有计算机指令，作为第一种实施方式，在计算机存储介质位于终端时，该计算机指令被处理器执行时实现：获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；在第一发送间隔内发送第一数量的深度数据；判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

在一实施例中，该计算机指令被处理器执行时实现：确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

在一实施例中，该计算机指令被处理器执行时实现：基于第一配置信息发送第一数量的深度数据；基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

在一实施例中，该计算机指令被处理器执行时实现：检测传输信道的第一参数；基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

在一实施例中，该计算机指令被处理器执行时实现：接收对应于所述二维视频数据的第二确认响应信息。

在一实施例中，该计算机指令被处理器执行时实现：从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

作为第二种实施方式，在计算机存储介质位于服务器时，该计算机指令被处理器执行时实现：在第一接收间隔内接收深度数据，发送对应于所述深度数据的第一确认响应信息；在第二接收间隔内接收到二维视频数据；当所述第一接收间隔内接收的深度数据的数量与所述第二接收间隔内接收的二维视频数据的数量一致时，合成所述深度数据和所述二维视频数据为三维视频数据。

在一实施例中，该计算机指令被处理器执行时实现：采用预设卷积算法对所述深度数据和所述二维图像数据进行处理，将处理后的所述深度数据和所述二维图像数据合并为三维视频数据。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以至少两个单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是：本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种数据处理方法，其特征在于，应用于终端，所述方法包括：

获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；

在第一发送间隔内发送第一数量的深度数据；

判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；

在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据，在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

2.根据权利要求1所述的方法，其特征在于，所述基于所述判断结果丢弃待发送的二维视频数据中的部分二维视频数据，包括：

确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；

丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

3.根据权利要求1所述的方法，其特征在于，所述发送第一数量的深度数据，包括：基于第一配置信息发送第一数量的深度数据；

所述丢弃处理后的、第二数量的二维视频数据，包括：基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：检测传输信道的第一参数；

基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收对应于所述二维视频数据的第二确认响应信息。

6.根据权利要求1所述的方法，其特征在于，所述获得三维视频数据，包括：

所述终端从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

7.一种数据处理方法，其特征在于，应用于移动边缘计算MEC服务器，所述方法包括：

在第一接收间隔内接收小于等于第一数量的深度数据，发送对应于所述深度数据的小于等于第一数量的第一确认响应信息；其中，第一数量的深度数据为终端在第一接收间隔对应的第一发送间隔发送的深度数据；

在第二接收间隔内接收到小于等于第一数量的二维视频数据；其中，小于第一数量的二维视频数据为所述终端在接收到小于第一数量的第一确认响应信息后丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据后发送的；

合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

8.根据权利要求7所述的方法，其特征在于，所述合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据，包括：

采用预设卷积算法对所述深度数据和所述二维视频数据进行处理，将处理后的所述深度数据和所述二维视频数据合并为三维视频数据。

9.一种终端，其特征在于，所述终端包括：获取单元、第一通信单元和第一数据处理单元；其中，

所述获取单元，用于获得三维视频数据，所述三维视频数据包括二维视频数据和深度数据；

所述第一通信单元，用于在第一发送间隔内发送第一数量的深度数据；还用于接收对应于发送的深度数据的第一确认响应信息；

所述第一数据处理单元，用于判断是否接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息；在判断结果为未接收到对应于发送的深度数据、满足所述第一数量的第一确认响应信息时，基于所述判断结果丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据；

所述第一通信单元，还用于在第二发送间隔内发送丢弃处理后的、第二数量的二维视频数据；所述第二数量小于所述第一数量。

10.根据权利要求9所述的终端，其特征在于，所述第一数据处理单元，用于确定接收到对应于发送的深度数据的确认响应信息的第二数量，获得所述第一数量和所述第二数量的差值；丢弃待发送的第一数量的二维视频数据中满足所述差值数量的二维视频数据。

11.根据权利要求9所述的终端，其特征在于，所述第一通信单元，用于基于第一配置信息发送第一数量的深度数据；还用于基于所述第一配置信息发送丢弃处理后的、第二数量的二维视频数据。

12.根据权利要求11所述的终端，其特征在于，所述终端还包括：检测单元，用于检测传输信道的第一参数；

所述第一数据处理单元，还用于基于所述第一参数查询预先配置的多组参数和配置信息的映射关系，获得与所述第一参数匹配的第一配置信息。

13.根据权利要求9所述的终端，其特征在于，所述第一通信单元，还用于接收对应于所述二维视频数据的第二确认响应信息。

14.根据权利要求9所述的终端，其特征在于，所述获取单元，用于从至少能够采集深度数据的采集组件获得三维视频数据；所述采集组件能够与至少一个终端建立通信链路以使对应终端获得所述三维视频数据。

15.一种MEC服务器，其特征在于，所述服务器包括第二通信单元和第二数据处理单元；其中，

所述第二通信单元，用于在第一接收间隔内接收小于等于第一数量的深度数据，发送对应于所述深度数据的小于等于第一数量的第一确认响应信息；其中，第一数量的深度数据为终端在第一接收间隔对应的第一发送间隔发送的深度数据；还用于在第二接收间隔内接收到小于等于第一数量的二维视频数据；其中，小于第一数量的二维视频数据为所述终端在接收到小于第一数量的第一确认响应信息后丢弃待发送的所述第一数量的二维视频数据中的部分二维视频数据后发送的；

所述第二数据处理单元，用于合成所述第一接收间隔内接收的所述深度数据和所述第二接收间隔内接收的所述二维视频数据为三维视频数据。

16.根据权利要求15所述的服务器，其特征在于，所述第二数据处理单元，用于采用预设卷积算法对所述深度数据和所述二维视频数据进行处理，将处理后的所述深度数据和所述二维视频数据合并为三维视频数据。

17.一种计算机存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1至6任一项所述数据处理方法的步骤；或者，该指令被处理器执行时实现权利要求7或8所述数据处理方法的步骤。

18.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至6任一项所述数据处理方法的步骤。

19.一种MEC服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求7或8所述数据处理方法的步骤。

Images