CN106406508A - 一种信息处理方法及中继设备 - Google Patents

Abstract

本发明公开了一种信息处理方法，所述方法包括：接收服务器发送的第一三维3D影像信息；获取用户的交互信息；获取终端的显示特征信息；根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。本发明同时还公开了一种中继设备。

Description

一种信息处理方法及中继设备

技术领域

本发明涉及电子技术，尤其涉及一种信息处理方法及中继设备。

背景技术

高清晰度、高沉浸感的三维影像越来越丰富，高速地传输并高保真地显示这些三维影像可以极大的增强用户在电子设备上的体验，进入到一个丰富多彩的三维虚拟世界，其中，三维影像包括三维图像和三维视频，电子设备包括移动设备、可穿戴式设备、智能电视、智能手机、平板电脑、个人电脑、笔记本电脑等。

三维影像一般包括裸眼立体视觉影像、光场重建影像、数字化三维全息影像等几种常见内容，三维影像是对三维世界的真实重现，并可以用于各种虚拟现实、增强现实。三维影像的图像分辨率高例如要求4K以上，对压缩后的图像质量要求高，因为人眼对三维影像中的编码工件(coding artifacts)非常敏感，帧率高例如要求高于如60FPS(帧/秒)等，这些都对数据的实时传输和存储要求高。以多视角的裸眼立体影像为例来说明，多视角的裸眼立体影像通常需要16个视角保证良好的视觉效果，每个视角是全高清分辨率(Full-HD resolution，Full-High Definition resolution)，假设每张图片是1920×1080像素，帧率是30FPS的话，每秒就有16×1920×1080×30＝949MB(MByte，兆字节)的原始数据量；再比如Stanford光场重建图像库，假设采用17x17个摄像头拍摄，每张图片是1400×800像素，每帧的原始数据量是17×17×1400×800＝308MB。

现有的三维视频传输和显示技术无法提供这样高质量的三维影像的实时播放和显示。例如常规二维视频传输方案，一般是客户端服务器(Server-Client)的视频流(video streaming)方式或者点对点(Peer-Peer)的视频流方式，它们都无法提供高质量的三维影像的实时播放和显示。上述二维视频传输方案的缺点在于，二维视频传输方案没有对三维影像进行优化，也无法针对当前用户的交互和电子设备情况进行重新绘制。再如常规三维影视显示方案，利用预先离线存好的三维影视内容进行显示；三维影视显示方案的缺点在于，无法显示实时内容，也无法对用户的交互做出反应，图像分辨率或者质量大幅的被降低。

发明内容

有鉴于此，本发明实施例为解决现有技术中存在的至少一个问题而提供一种信息处理方法及中继设备，能够提供高质量的三维影像的实时播放和显示，从而提高用户体验。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种信息处理方法，所述方法包括：

接收服务器发送的第一三维3D影像信息；

获取用户的交互信息；

获取终端的显示特征信息；

根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

在本发明的一种实施例中，获取用户的交互信息，包括：

获取用户的姿态信息；

获取当前播放信息；

根据所述姿态信息和所述当前播放信息生成所述交互信息。

在本发明的一种实施例中，所述根据用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息，包括：

根据所述交互信息生成多个任务信息；

将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

从所述计算节点接收第二子3D影像信息；

根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

在本发明的一种实施例中，所述显示特征信息包括屏幕分辨率；则所述根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息，包括：

将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

在本发明的一种实施例中，所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息，所述方法还包括：

所述计算节点对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

所述计算节点根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

所述计算节点根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

所述计算节点根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。

第二方面，本发明实施例提供一种中继设备，所述中继设备包括第一接收单元、第一获取单元、第二获取单元、第一处理单元和第一发送单元，其中：

所述第一接收单元，用于接收服务器发送的第一三维3D影像信息；

所述第一获取单元，用于获取用户的交互信息；

所述第二获取单元，用于获取终端的显示特征信息；

所述第一处理单元，用于根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

所述第一发送单元，用于将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

在本发明的一种实施例中，所述第一获取单元，包括第一获取模块、第二获取模块和生成模块，其中

所述第一获取模块，用于获取用户的姿态信息；

所述第二获取模块，用于获取当前播放信息；

所述第一生成模块，用于根据所述姿态信息和所述当前播放信息生成所述交互信息。

在本发明的一种实施例中，所述第一处理单元包括第二生成模块、分发模块、第一接收模块和融合模块，其中：

所述第二生成模块，用于根据所述交互信息生成多个任务信息；

所述分发模块，用于将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

所述第一接收模块，用于从所述计算节点接收第二子3D影像信息；

所述融合模块，用于根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

在本发明的一种实施例中，所述融合模块包括融合子模块和匹配子模块，其中：

所述融合子模块，用于将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

所述匹配子模块，用于根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

在本发明的一种实施例中，所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息，所述中继设备还包括计算节点，所述计算节点进一步包括解码单元、第三获取单元、第四获取单元和第二处理单元，其中：

所述解码单元，用于对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

所述第三获取单元，用于根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

所述第四获取单元，用于根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

所述第二处理单元，用于根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。

本发明实施例提供的信息处理方法及中继设备，其中接收服务器发送的第一三维3D影像信息；获取用户的交互信息；获取终端的显示特征信息；根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息；如此，能够提供高质量的三维影像的实时播放和显示，从而提高用户体验。

附图说明

图1-1为本发明实施例一信息处理方法的实现流程示意图；

图1-2为本发明实施例一的场景示意图；

图2为本发明实施例二信息处理方法的实现流程示意图

图3-1为本发明实施例三信息处理方法的实现流程示意图；

图3-2为本发明实施例三的场景示意图一；

图3-3为本发明实施例三的场景示意图二；

图4-1为本发明实施例四信息处理方法的实现流程示意图；

图4-2为本发明实施例中第二3D影像信息的形成流程示意图；

图5为本发明实施例五中继设备的组成结构示意图；

图6为本发明实施例六中继设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

实施例一

本发明实施例提供一种信息处理方法，应用于中继设备，该信息处理方法所实现的功能可以通过中继设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该中继设备至少包括处理器和存储介质。

图1-1为本发明实施例一信息处理方法的实现流程示意图，如图1-1所示，该信息处理方法包括：

步骤101，接收服务器发送的第一三维3D影像信息；

这里，中继设备可以为个人计算机(PC，Personal Computer)这种固定的电子设备，还可以为如手提电脑这种便携式的电子设备，当然还可以为通过集群系统构成的服务器。

步骤102，获取用户的交互信息；

这里，用户的交互信息可以是预先存储在存储介质上的，也可以是实时计算得到的。其中用户的交互信息可以通过三维摄像头或者红外跟踪摄像头等装置来跟踪人的体态、手势、眼部运动等信息，推测出用户与终端上正在显示的3D影像信息之间的交互的内容。

步骤103，获取终端的显示特征信息；

这里，所述终端可以为个人计算机、电视机这种固定的电子设备，还可以为如个人数字助理、平板电脑、手提电脑这种便携式的电子设备，当然还可以为如智能手机这种智能移动终端，只要能够播放3D影像即可成为本发明实施例中终端。

所述显示特征信息包括屏幕分辨率，终端的显示特征信息可以预先存储在存储介质上的，也可以是实时向终端请求得到的。

步骤104，根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

步骤105，将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

这里，第二3D影像信息可以是发往一个终端或一个以上的终端。

在具体实现的过程中，如图1-2所示，在远端的服务器10上的第一3D影像信息通过高速的移动互联网络或者是光纤传输到本地的中继设备20(DisplayHub)(步骤101)。中继设备直接跟服务器用高速光缆或者高速无线网络通讯，得到解压缩的视频，这样总体的带宽可以满足三维影像的需求。然后中继设备根据获取到的用户的交互信息和显示特性信息对解压后的第一3D影像信息进行重新绘制，得到第二3D影像信息(步骤102至步骤104)；其中绘制的过程是对第一3D影像信息进行的图像/视频处理，例如图像插值等处理。然后中继设备将第二3D影像，通过高速的本地无线网络传输到终端30和/或40上(步骤105)。

本发明实施例中，接收服务器发送的第一三维3D影像信息；获取用户的交互信息；获取终端的显示特征信息；根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息；如此，能够提供高质量的三维影像的实时播放和显示，从而提高用户体验。

实施例二

本发明实施例提供一种信息处理方法，应用于中继设备，该信息处理方法所实现的功能可以通过中继设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该中继设备至少包括处理器和存储介质。

图2为本发明实施例二信息处理方法的实现流程示意图，如图2所示，该信息处理方法包括：

步骤101，接收服务器发送的第一三维3D影像信息；

这里，中继设备可以为个人计算机这种固定的电子设备，还可以为如手提电脑这种便携式的电子设备，当然还可以为通过集群系统构成的服务器。

步骤1021，获取用户的姿态信息以及获取当前播放信息；

这里，在具体实现的过程中，所述当前播放信息是当前播放的3D影像信息中的帧信息，例如当前播放的是哪一帧，用户在播放3D影像的过程中可能会暂停画面，那么每一个终端所显示的3D影像信息可能不太一致，在这种情况下，当前播放信息很可能是从终端处请求过来的。而第二3D影像信息可以是能够持续一段时间例如60s的影像内容，中继设备通过持续不断地向终端发送第二3D影像信息，然后终端将第二3D影像信息显示出来。

步骤1022，根据所述姿态信息和所述当前播放信息生成所述交互信息。

这里，所述姿态信息可以通过三维摄像头或者红外跟踪摄像头等装置来跟踪人的体态、手势、眼部运动等信息，从姿态信息提取出方向信息或位置信息，然后根据方向信息或位置信息与当前播放信息确定用户的目的(即交互信息)，如2-2所示，当前播放信息中所显示的画面内容是两个人打拳击，在图3-2中，用户18通过电视机(终端)播放3D游戏，然后通过摄像头20来采集用户的姿态信息，例如用户向左挥右拳，那么摄像头即采集到该画面，然后当前电视机显示的画面是两个人打拳击(帧信息)，那么电视机将帧信息和向右挥拳的信息发送给中继设备，由中继设备对从服务器接收到第一3D影像信息进行重新绘制，得到第二3D影像信息，然后电视机接收到第二3D影像信息，最终将第二3D影像显示出来，即电视机中的人向右挥拳。

这里，本发明实施例二中步骤1021和步骤1022提供了一种实现上述实施例一中步骤102“获取用户的交互信息”的方法。

步骤103，获取终端的显示特征信息；

这里，所述显示特征信息包括屏幕分辨率，终端的显示特征信息可以预先存储在存储介质上的，也可以是实时向终端请求得到的。

步骤104，根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

步骤105，将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

这里，第二3D影像信息可以是发往一个终端或一个以上的终端。

本发明实施例中，在具体实现的过程中，所述中继设备至少包括用户交互感知器；所述获取用户的交互信息，包括：所述用户交互感知器跟踪用户的姿态信息；所述用户交互感知器获取当前播放信息；所述用户交互感知器根据所述姿态信息和所述当前播放信息生成所述交互信息。

实施例三

本发明实施例提供一种信息处理方法，应用于中继设备，该信息处理方法所实现的功能可以通过中继设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该中继设备至少包括处理器和存储介质。

本发明实施例中所述中继设备还包括用户交互感知器、两个及两个以上的计算节点。

图3-1为本发明实施例三信息处理方法的实现流程示意图，如图3-1所示，该信息处理方法包括：

步骤301，计算节点接收服务器发送的第一三维3D影像信息；

这里，中继设备可以为个人计算机这种固定的电子设备，还可以为如手提电脑这种便携式的电子设备，当然还可以为通过集群系统构成的服务器。

步骤302，用户交互感知器获取用户的姿态信息以及获取当前播放信息；

步骤303，用户交互感知器根据所述姿态信息和所述当前播放信息生成所述交互信息。

这里，所述姿态信息可以通过三维摄像头或者红外跟踪摄像头等装置来跟踪人的体态、手势、眼部运动等信息，从姿态信息提取出方向信息或位置信息，然后根据方向信息或位置信息与当前播放信息确定用户的目的(即交互信息)，如3-2所示，当前播放信息中所显示的画面内容是两个人打拳击，在图3-2中，用户18通过电视机(终端)播放3D游戏，然后通过摄像头20来采集用户的姿态信息，例如用户向左挥右拳，那么摄像头即采集到该画面，然后当前电视机显示的画面是两个人打拳击(帧信息)，那么电视机将帧信息和向右挥拳的信息发送给中继设备，由中继设备对从服务器接收到第一3D影像信息进行重新绘制，得到第二3D影像信息，然后电视机接收到第二3D影像信息，最终将第二3D影像显示出来，即电视机中的人向右挥拳。

步骤304，用户交互感知器根据所述交互信息生成多个任务信息；

这里，所述任务信息用于控制计算节点对第一3D影像信息进行处理，得到第二子3D影像信息。

步骤305，用户交互感知器将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

这里，在具体实施的过程中，可以对计算节点按3D影像的层次进行分类，例如第一个计算节点是计算最底层的，第二个计算节点是计算中间层的，第三计算节点是计算最高层的，那么即将任务信息按照计算节点的层次进行划分，并分发给对应的计算节点。

步骤306，用户交互感知器从所述计算节点接收第二子3D影像信息；

步骤307，用户交互感知器获取终端的显示特征信息；

这里，所述显示特征信息包括屏幕分辨率，终端的显示特征信息可以预先存储在存储介质上的，也可以是实时向终端请求得到的。

步骤308，用户交互感知器根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

步骤309，用户交互感知器将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

这里，第二3D影像信息可以是发往一个终端或一个以上的终端。在本发明的另一实施例中，第二3D影像信息还可以由计算节点发送给终端。

本发明实施例中，所述显示特征信息包括屏幕分辨率；则步骤308，所述根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息，包括：

步骤3081，将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

步骤3082，根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

本发明实施例中，如图3-3所示，在远端的服务器上的第一3D影像信息通过高速的移动互联网络或者是光纤传输到本地的中继设备。中继设备里面包括多个计算节点和用户交互感知器。计算节点直接跟服务器用高速光缆或者高速无线网络通讯，得到解压缩的视频，这样总体的带宽可以满足三维影像的需求。计算节点也有图像/视频处理(比如图像插值等)的功能来对视觉内容进行重新绘制。用户交互感知器可以用三维摄像头或者红外跟踪摄像头等装置来跟踪人的体态、手势、眼部运动等姿态信息，然后用户交互感知器利用姿态信息和获取到当前播放信息计算得到交互信息。计算节点利用交互信息和显示特征信息产生第二3D影像信息，通过高速的本地无线网络传输到多个终端上。

需要说明的是，图3-3中的用户交互感知器和计算节点只是逻辑上的概念，在具体实现的过程中，用户交互感知器或计算节点可以是独立的计算设备，也可以是某计算设备上的一个执行上述相关部分的区域。本领域的技术人员可以根据各种现有技术来实现上述相关步骤中的用户交互感知器和计算节点的功能，这里不再赘述。

实施例四

本发明实施例提供一种信息处理方法，应用于中继设备，该信息处理方法所实现的功能可以通过中继设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该中继设备至少包括处理器和存储介质。

本发明实施例中所述中继设备还包括用户交互感知器、两个及两个以上的计算节点。所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息。

图4-1为本发明实施例四信息处理方法的实现流程示意图，如图4-1所示，该信息处理方法包括：

步骤301，计算节点接收服务器发送的第一三维3D影像信息；

这里，中继设备可以为个人计算机这种固定的电子设备，还可以为如手提电脑这种便携式的电子设备，当然还可以为通过集群系统构成的服务器。

步骤302，用户交互感知器获取用户的姿态信息以及获取当前播放信息；

步骤303，用户交互感知器根据所述姿态信息和所述当前播放信息生成所述交互信息。

这里，所述姿态信息可以通过三维摄像头或者红外跟踪摄像头等装置来跟踪人的体态、手势、眼部运动等信息，从姿态信息提取出方向信息或位置信息，然后根据方向信息或位置信息与当前播放信息确定用户的目的(即交互信息)，如3-2所示，当前播放信息中所显示的画面内容是两个人打拳击，在图3-2中，用户18通过电视机(终端)播放3D游戏，然后通过摄像头20来采集用户的姿态信息，例如用户向左挥右拳，那么摄像头即采集到该画面，然后当前电视机显示的画面是两个人打拳击(帧信息)，那么电视机将帧信息和向右挥拳的信息发送给中继设备，由中继设备对从服务器接收到第一3D影像信息进行重新绘制，得到第二3D影像信息，然后电视机接收到第二3D影像信息，最终将第二3D影像显示出来，即电视机中的人向右挥拳。

步骤304，用户交互感知器根据所述交互信息生成多个任务信息；

这里，所述任务信息用于控制计算节点对第一3D影像信息进行处理，得到第二子3D影像信息。

步骤305，用户交互感知器将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

这里，在具体实施的过程中，可以对计算节点按3D影像的层次进行分类，例如第一个计算节点是计算最底层的，第二个计算节点是计算中间层的，第三计算节点是计算最高层的，那么即将任务信息按照计算节点的层次进行划分，并分发给对应的计算节点。

步骤401，所述计算节点对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

步骤402，所述计算节点根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

步骤403，所述计算节点根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

步骤404，所述计算节点根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。

步骤306，用户交互感知器从所述计算节点接收第二子3D影像信息；

步骤307，用户交互感知器获取终端的显示特征信息；

这里，所述显示特征信息包括屏幕分辨率，终端的显示特征信息可以预先存储在存储介质上的，也可以是实时向终端请求得到的。

步骤308，用户交互感知器根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

步骤309，用户交互感知器将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

这里，第二3D影像信息可以是发往一个终端或一个以上的终端。

图4-2为本发明实施例中第二3D影像信息的形成流程示意图，如图4-2所示。首先对原始的第一3D影像信息进行动态的分割和解码，计算节点得到分割解码后的第一3D影像信息，计算节点根据目前的用户交互信息例如用户的位置、头部转动、手势、眼部活动等和终端的显示特征信息(终端的屏幕分辨率、网络速率等)，对分割解码后的第一3D影像信息进行重新的绘制操作(比如图像放大、缩小、重新插值、多视点的图像生成等)。多个计算节点之间根据帧的时间戳信息进行帧融合，之后产生最终的第二三维影像信息。这个第二三维影像用高速的本地无线网络传输到用户的终端上，保证实时、高质量的影像传输体验。

下面以对交互信息以及设备状态对三维影像信息的渲染进行说明：用户位置：通过用户位置及视场角可以判断出用户目前正在看的感兴趣的区域(ROI，Region of Interest)，从而重点渲染该ROI，其他区域可简单渲染；头部转动、交互手势、眼部活动以及目光朝向同样会影响视场ROI；设备屏幕分辨率：可根据当前用户显示设备的分辨率，自动的选择渲染精度，显示内容与用户设备相匹配；网络速率：使用类似2D视频传输中的码率控制(rate control)的方法，根据当时网络状态动态调整3D影像的码流，保证流畅的体验。本发明实施例提供的方案，可以实现三维影像的实时传输和显示，并与用户的行为动态实时的交互，保证完美的三维影像显示效果。

实施例五

基于前述的方法实施例，本发明实施例提供一种中继设备，该中继设备中的第一接收单元、第一获取单元、第二获取单元、第一处理单元和第一发送单元，都可以通过中继设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在具体实施例的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图5为本发明实施例五中继设备的组成结构示意图，如图5所示，所述中继设备500包括第一接收单元501、第一获取单元502、第二获取单元503、第一处理单元504和第一发送单元505，其中：

所述第一接收单元501，用于接收服务器发送的第一三维3D影像信息；

所述第一获取单元502，用于获取用户的交互信息；

所述第二获取单元503，用于获取终端的显示特征信息；

所述第一处理单元504，用于根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

所述第一发送单元505，用于将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。

实施例六

基于前述的方法实施例，本发明实施例提供一种中继设备，该中继设备中的第一接收单元、第一获取单元、第二获取单元、第一处理单元和第一发送单元，以及第一获取单元所包括的各模块，都可以通过中继设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在具体实施例的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。

图6为本发明实施例六中继设备的组成结构示意图，如图6所示，所述中继设备500包括第一接收单元501、第一获取单元502、第二获取单元503、第一处理单元504和第一发送单元505，其中所述第一获取单元502进一步包括第一获取模块5021、第二获取模块5022和生成模块5023，其中：

所述第一接收单元501，用于接收服务器发送的第一三维3D影像信息；

所述第一获取模块5021，用于获取用户的姿态信息；

所述第二获取模块5022，用于获取当前播放信息；

所述第一生成模块5023，用于根据所述姿态信息和所述当前播放信息生成所述交互信息。

所述第二获取单元503，用于获取终端的显示特征信息；

所述第一处理单元504，用于根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

所述第一发送单元505，用于将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

本发明实施例中，所述第一处理单元包括第二生成模块、分发模块、第一接收模块和融合模块，其中：

所述第二生成模块，用于根据所述交互信息生成多个任务信息；

所述分发模块，用于将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

所述第一接收模块，用于从所述计算节点接收第二子3D影像信息；

所述融合模块，用于根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

在具体实现的过程中，第一处理单元中的各模块可以通过图3-3中的用户交互感知器来实现。

本发明实施例中，所述融合模块包括融合子模块和匹配子模块，其中：

所述融合子模块，用于将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

所述匹配子模块，用于根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

在具体实现的过程中，融合模块中的融合子模块和匹配子模块可以通过图3-3中用户交互感知器中的处理器来实现。

本发明实施例中，所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息，所述中继设备还包括解码单元、第三获取单元、第四获取单元和第二处理单元，其中：

所述解码单元，用于对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

所述第三获取单元，用于根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

所述第四获取单元，用于根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

所述第二处理单元，用于根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。

在具体实施的过程中，解码单元、第三获取单元、第四获取单元和第二处理单元可以通过图3-3中的计算节点中处理器来实现。

这里需要指出的是：以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明装置实施例中未披露的技术细节，请参照本发明方法实施例的描述而理解，为节约篇幅，因此不再赘述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法，其特征在于，所述方法包括：

接收服务器发送的第一三维3D影像信息；

获取用户的交互信息；

获取终端的显示特征信息；

根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

2.根据权利要求1所述的方法，其特征在于，获取用户的交互信息，包括：

获取用户的姿态信息；

获取当前播放信息；

根据所述姿态信息和所述当前播放信息生成所述交互信息。

3.根据权利要求2所述的方法，其特征在于，所述根据用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息，包括：

根据所述交互信息生成多个任务信息；

将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

从所述计算节点接收第二子3D影像信息；

根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

4.根据权利要求3所述的方法，其特征在于，所述显示特征信息包括屏幕分辨率；则所述根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息，包括：

将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

5.根据权利要求3所述的方法，其特征在于，所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息，所述方法还包括：

所述计算节点对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

所述计算节点根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

所述计算节点根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

所述计算节点根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。

6.一种中继设备，其特征在于，所述中继设备包括第一接收单元、第一获取单元、第二获取单元、第一处理单元和第一发送单元，其中：

所述第一接收单元，用于接收服务器发送的第一三维3D影像信息；

所述第一获取单元，用于获取用户的交互信息；

所述第二获取单元，用于获取终端的显示特征信息；

所述第一处理单元，用于根据所述用户的交互信息和所述显示特性信息对所述第一3D影像信息进行处理，得到第二3D影像信息；

所述第一发送单元，用于将所述第二3D影像信息发送给所述终端，以使所述终端显示所述第二3D影像信息。

7.根据权利要求6所述的中继设备，其特征在于，所述第一获取单元，包括第一获取模块、第二获取模块和生成模块，其中：

所述第一获取模块，用于获取用户的姿态信息；

所述第二获取模块，用于获取当前播放信息；

所述第一生成模块，用于根据所述姿态信息和所述当前播放信息生成所述交互信息。

8.根据权利要求7所述的中继设备，其特征在于，所述第一处理单元包括第二生成模块、分发模块、第一接收模块和融合模块，其中：

所述第二生成模块，用于根据所述交互信息生成多个任务信息；

所述分发模块，用于将所述多个任务信息按照每一计算节点的属性信息对应地分发给计算节点，以使所述计算节点根据自身接收到的任务信息对所述第一3D影像信息进行处理，得到第二子3D影像信息；

所述第一接收模块，用于从所述计算节点接收第二子3D影像信息；

所述融合模块，用于根据所述显示特性信息对所述第二子3D影像信息在同一时间节点上进行融合，得到所述第二3D影像信息。

9.根据权利要求8所述的中继设备，其特征在于，所述融合模块包括融合子模块和匹配子模块，其中：

所述融合子模块，用于将所述第二子3D影像信息在同一时间节点上进行融合，得到所述第三3D影像信息；

所述匹配子模块，用于根据所述屏幕分辨率对所述第三3D影像信息进行速率匹配，得到第二3D影像信息。

10.根据权利要求8所述的中继设备，其特征在于，所述任务信息包括目标影像的标识信息和目标效果信息，其中，所述目标影像的标识信息包括目标深度信息和目标颜色信息，所述中继设备还包括计算节点，所述计算节点进一步包括解码单元、第三获取单元、第四获取单元和第二处理单元，其中：

所述解码单元，用于对所述第一3D影像信息进行解码，得到深度序列信息和颜色图像序列信息；

所述第三获取单元，用于根据所述目标深度信息从所述深度序列信息中获取第一深度信息；

所述第四获取单元，用于根据目标颜色信息从所述颜色图像序列信息中获取第一颜色信息；

所述第二处理单元，用于根据所述目标效果信息对所述第一深度信息和第一颜色信息进行处理，得到第二子3D影像信息。