CN105894571B - 一种处理多媒体信息的方法及装置 - Google Patents

Abstract

本发明公开了一种处理多媒体信息的方法和装置：获取表象信息，表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征表象信息的四维时空模型，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送，在该方案中，建立的四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性，在一定程度上解决了时延问题，因此，本方案在一定程度上解决了现有技术中存在的具有时延的缺陷。

Description

一种处理多媒体信息的方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种处理多媒体信息的方法及装置。

背景技术

随着通信技术的发展，人们对通信已经由最初的单一语音需求转变为对视频和音频的通信需求，因此，以传送语音、数据、视频为一体的视频通信业务在通信领域中越来越重要，并在会议电视、远程视频医疗、远程视频教育等方面应用的也越来越广泛。

VR(Virtual Reality，虚拟现实)技术是一种能够模拟人类视觉、听觉、触觉等感知行为的高度逼真的人机交互技术，利用该技术可以使人处于用计算机生成的环境中，通过感官语言、手势可以在其中用自然的方式进行“交互、对话”，并自由的运动，随意观察周围的事物，观到物、听到声、感到力，使人具有完全身临其境之感。

但是目前将采集的多媒体信息采用VR技术处理的方法，由于不能处理实时采集的多媒体信息，因此，呈现多媒体信息的时间与多媒体信息所表示的真实场景时间存在时延。

综上所述，目前处理多媒体信息的方法具有存在时延的缺陷。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的一种处理多媒体信息的方法和装置。

依据本发明的第一方面，提供了一种处理多媒体信息的方法，获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；

将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送。

可选地，在根据本发明的上述实施例的处理多媒体信息的方法中，根据获取到的表象信息建立所述四维时空模型之前，所述方法还包括：

根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

根据所述表象信息建立用于表征所述表象信息的四维时空模型，具体包括：

根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，具体包括：

对所述表象信息进行处理，得到第一标注信息；

根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；

根据所述目标点云信息得到视觉信息；

根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合；

根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据所述视觉信息获得空间模型之前，所述方法还包括：

根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

根据所述视觉信息获得空间模型，具体包括：

将所述视觉信息和所述声场信息融合，得到所述空间模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息之后，得到所述视觉信息之前，所述方法还包括：

对所述目标点云信息进行处理，得到第二标注信息；

根据所述目标点云信息，得到视觉信息，具体包括：

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据所述第二标注信息和所述目标点云信息，得到所述视觉信息，具体包括：

对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；

将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据所述第二结果和所述第二标注信息，得到所述视觉信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，对所述表象信息进行处理，得到第一标注信息，具体包括：

对所述表象信息进行数字图像处理分析，得到所述第一标注信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息，具体包括：

根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息；

根据所述坐标信息，生成包括所述几何信息的第一点云信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息，具体包括：

采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的方法中，根据所述第二标注信息和所述目标点云信息，得到视觉信息，包括：

根据所述第二标注信息和所述目标点云信息，计算物体的表面法向信息；

根据所述表面法向信息得到视觉信息。

依据本发明的第二方面，提供了一种处理多媒体信息的装置获取单元，用于获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

模型建立单元，用于根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；

处理单元，用于将建立的四维时空模型进行编码处理；

发送单元，用于将经过编码处理后的四维时空模型进行发送。

可选地，在根据本发明的上述实施例的处理多媒体信息的装置中，所述装置还包括声场信息计算单元，用于根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述模型建立单元根据所述表象信息建立用于表征所述表象信息的四维时空模型时，具体为：

根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述模型建立单元包括第一标注信息生成单元、点云信息生成单元、点云信息融合单元、视觉信息生成单元、四维时空模型生成单元，其中：

所述第一标注信息生成单元，用于对所述表象信息进行处理，得到第一标注信息；

所述点云信息生成单元，用于根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

所述点云信息融合单元，用于将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；

所述视觉信息生成单元，用于根据所述目标点云信息得到视觉信息；

所述四维时空模型生成单元，用于根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合，根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述装置还包括声场信息计算单元，用于根据所述表象信息计算所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述四维时空模型生成单元根据所述视觉信息获得空间模型时，具体为：

将所述视觉信息和所述声场信息融合，得到所述空间模型。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述点云信息生成单元还用于，对所述目标点云信息进行处理，得到第二标注信息；

所述视觉信息生成单元根据所述目标点云信息，得到视觉信息时，具体为：

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述视觉信息生成单元还用于：

对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；

将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据所述第二结果和所述第二标注信息，得到所述视觉信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述第一标注信息生成单元对所述表象信息进行处理，得到第一标注信息时，具体为：

对所述表象信息进行数字图像处理分析，得到所述第一标注信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述点云信息生成单元根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息时，具体为：

根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息；

根据所述坐标信息，生成包括所述几何信息的第一点云信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述点云信息生成单元根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息时，具体为：

采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

可选地，在根据本发明的上述任一实施例的处理多媒体信息的装置中，所述视觉信息生成单元根据所述第二标注信息和所述目标点云信息，得到视觉信息时，具体为：

根据所述第二标注信息和所述目标点云信息，计算物体表面法向信息；

根据所述表面法向信息得到视觉信息。

本发明实施例，公开了一种处理多媒体信息的方法和装置：获取表象信息，表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征表象信息的四维时空模型，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送，在该方案中，建立的四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性，在一定程度上解决了时延问题，因此，本方案在一定程度上解决了现有技术中存在的具有时延的缺陷。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1A是根据本发明的实施例的处理多媒体信息的方法的一种流程示意图；

图1B是根据本发明的实施例的处理多媒体信息的方法的另一种流程示意图；

图2A是根据本发明的实施例的处理多媒体信息的装置的示意图；

图2B是根据本发明的实施例的获取单元的一种示意图；

图2C是根据本发明的实施例的获取单元的另一种示意图；

图2D是根据本发明的实施例的获取单元的俯视图；

图2E是根据本发明的实施例的获取单元的侧视图；

图2F是根据本发明的实施例的呈现多媒体信息的方法的一种流程示意图；

图2G是根据本发明的实施例的呈现多媒体信息的方法的另一种流程示意图；

图2H是根据本发明的实施例的呈现多媒体信息的装置的一种示意图；

图3A是根据本发明的实施例所提供的一种场景示意图；

图3B是根据本发明的实施例所提供的另一种场景示意图；

图3C是根据本发明的实施例所提供的另一种场景示意图；

图3D是根据本发明的实施例所提供的另一种场景示意图；

图3E是根据本发明的实施例所提供的另一种场景示意图；

图3F是根据本发明的实施例所提供的另一种场景示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明所提出的处理多媒体信息的方法和装置可以应用在如下场景中，但是不限于以下场景：

实时通讯场景：例如，甲把自身以及周围环境采集下来实时传输给乙，乙在其中漫游以及和甲互动；又例如，甲和乙均把自身以及周围环境采集下来实时传输给对方，在可选地包括两人物理上所处的环境或者任意第三方环境中漫游以及互动；

远程观测和监控场景；

工作场景：例如，个人或者多人远程办公、远程身临其境地开会、远程身临其境地合作或者帮助客户解决问题，或者，身临其境地培训；

教育场景：例如，可以身临其境地在虚拟课堂以及和老师在虚拟环境中互动；

医疗场景：例如，远程医疗以及和医生在虚拟环境中互动；

商业场景：例如，远程购物以及和商家在虚拟环境中互动，全方位试衣镜；

体育场景：例如，个人或者多人和短跑冠军在虚拟环境中比赛短跑；

娱乐场景：例如，个人或者多人在虚拟空间中的游戏，可身临其境地参加电视直播或者和电影角色互动；

个人生活场景：例如，四维日记的记录和放映，远程参观博物馆，远程陪伴家人或宠物，远程成人应用；

也可用于应用于如下场景：

虚拟现实或者增强现实内容生成的场景：包括电影、电视、游戏、视频内容制作；

对特定时间空间地点做四维历史记录的场景。

图1A示出了根据本发明的一种处理多媒体信息的方法的流程示意图，具体过程如下：

步骤100：获取表象信息，表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息。

本发明实施例中，步骤100中所描述的电磁场光谱信息可以是物体发射的，也可以是物体反射的，或者也可以是物体折射的，在此不做具体限定。

本发明实施例中，步骤100中所描述的电磁场光谱信息可以包括无线电波信息、红外线信息、可见光信息、紫外线信息、X射线信息，及伽马射线信息中的至少一种，其中，可见光信息可以包括激光。

本发明实施例中，表象信息对应的物体可以是室内和/或室外的任一视野大小和角度的物体。

本发明实施例中，获取表象信息时，每秒可获取24帧至120帧。

步骤110：根据获取到的表象信息建立用于表征表象信息的四维时空模型，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性。

本发明实施例中，获取到的表象信息可以是不同空间点和/或不同时间点获取到的表象信息。

本发明实施例中，四维时空模型在内容上至少包括如下属性：

空间位置属性：可以指任意时刻物体上的每一点在一个不随时间变化的坐标系下的坐标；

外观属性：可以指任意时刻物体表面的纹理以及光谱特征(例如，颜色)、物体表面的几何特性(例如，法向、曲率、光滑度等)；

声音属性；

运动属性：可以指任意时刻物体上的每一点的运动速度矢量、加速度矢量；或者，也可以指物体上可看作刚体的每一部分的角速度矢量、角加速度矢量；

其它属性：可以指物体的类别、身份、材质、相互关系等所有能由表象信息和表象信息随时间的变化推断出来的信息中的至少一种。

形式上，四维时空模型是以数字化的数据形式存在于存储介质中，这种形式能够被存储，呈现，检索，编辑，传输，加密，以及被用于更高级的智能应用。

本发明实施例中，建立四维时空模型之后，进一步的，还可以修改、增强、优化四维时空模型。

本发明实施例中，根据获取到的表象信息建立用于表征表象信息的四维时空模型时，可选地，可以采用如下方式：

对表象信息进行处理，得到第一标注信息；

根据第一标注信息和表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

将第一点云信息和第二点云信息进行融合，得到目标点云信息；

根据目标点云信息得到视觉信息；

根据视觉信息获得空间模型，将针对不同时刻的空间模型进行融合；

根据融合得到的空间模块、第一标注信息和第二标注信息，得到四维时空模型。

在实际应用中，表象信息除了能够包括用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息之外，还可能包括声场信息，此时，根据视觉信息获得空间模型之前，方法还包括如下操作：

根据表象信息计算与表象信息对应的物体的声场信息，表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

此时，根据视觉信息获得空间模型时，可选地，可以采用如下方式：

将视觉信息和声场信息融合，得到空间模型。

本发明实施例中所描述的声场信息不仅指音频信息本身，还有隐含的声源空间位置信息在里面，可以包括可采集的声波信息和/或超声波信息。

本发明实施例中，将第一点云信息和第二点云信息进行融合，得到目标点云信息之后，得到视觉信息之前，上述方法还包括如下操作：

对目标点云信息进行处理，得到第二标注信息；

此时，根据目标点云信息，得到视觉信息时，可选地，可以采用如下方式：

根据第二标注信息和目标点云信息，得到视觉信息。

本发明实施例中，根据第二标注信息和目标点云信息，得到视觉信息时，可选地，可以采用如下方式：

对目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；

将第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据第二结果，得到视觉信息。

本发明实施例中，对表象信息进行处理，得到第一标注信息时，可选地，可以采用如下方式：

对表象信息进行数字图像处理分析，得到第一标注信息。

本发明实施例中，对表象信息进行数字图像处理分析时，可选地，可以采用如下方式：

对表象信息进行分割、检测、跟踪、识别等处理。

本发明实施例中，分割、检测、跟踪、识别这几个步骤之间并无明确的顺序关系，例如，可以对表象信息先分割，再检测；也可以先检测，再分割。为了提高得到的第一标注信息的准确度，可以循环执行几次分割、检测、跟踪和识别。例如，执行完一次分割、检测、跟踪和识别之后，根据当前结果，再执行至少一轮分割、检测、跟踪和识别，这样可以提高精度。

本发明实施例中，分割可以指将图像分割为前景和后景，例如，分割成天空、地面或者其他，检测可以指检测行人、检测车牌，跟踪可以指跟踪人的手臂运动，识别可以指识别车辆。

本发明实施例中，根据第一标注信息和表象信息，得到包括几何信息的第一点云信息时，可选地，可以采用如下方式：

根据第一标注信息对表象信息进行处理，得到与表象信息所对应的物体的坐标信息；

根据坐标信息，生成包括几何信息的第一点云信息。

本发明实施例中，与表象信息所对应的物体的坐标信息在不同时刻可能对应于不同的坐标系，此时，为了提高得到的第一点云信息的准确度，得到与表象信息所对应的物体的坐标信息之后，还可以将不同时刻的不同局部坐标系下的物体的坐标信息融合到同一个坐标系下，然后根据融合到同一个坐标系下的坐标信息，生成包括几何信息的第一点云信息。

本发明实施例中，根据第一标注信息和表象信息，得到包括纹理信息的第二点云信息时，可选地，可以采用如下方式：

采用逐点和/或图像合成的方式，根据第一标注信息，对表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

本发明实施例中，根据第二标注信息和目标点云信息，得到视觉信息时，可选地，可以采用如下方式：

根据第二标注信息和目标点云信息，计算物体的表面法向信息；

根据表面法向信息得到视觉信息。

本发明给出了建立四维时空模型的详细流程，参阅图1B所示，根据表象信息得到第一标注信息和声场信息，并根据表象信息和第一标注信息得第一点云信息和第二点云信息，将第一点云信息和第二点云信息融合得到目标点云信息，根据目标点云信息得到第二标注信息，并对目标点云信息进行几何顶点位置优化和法向计算得到第一结果，对第一结果进行表面拟合和三角网格化处理，得到第二结果，根据第二结果和第二标注信息得到视觉信息，将视觉信息和声场信息融合，得到空间模型，将空间模型融合得到融合后的空间模型，将融合后的空间模型、第一标注信息和第二标注信息处理得到四维时空模型。

步骤120：将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送。

本发明实施例中，进一步的，步骤120中将建立的四维时空模型进行编码处理之后，还要将进行编码处理后的四维时空模型进行压缩处理，并将压缩处理后的四维时空模型进行发送。

进一步的，为了提高传输的安全性，在发送编码处理后的四维时空模型之前，可以将编码处理后的四维时空模型进行加密处理，或者，在发送压缩处理后的四维时空模型之前，可以将压缩处理后的四维时空模型进行加密处理。

参阅图2A所示，本发明实施例还提出一种处理多媒体信息装置，包括：

获取单元21，用于获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

模型建立单元22，用于根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；

处理单元23，用于将建立的四维时空模型进行编码处理；

发送单元24，用于将经过编码处理后的四维时空模型进行发送。

本发明实施例中，获取单元21所获取的电磁场光谱信息可以是物体发射的，也可以是物体反射的，或者也可以是物体折射的，在此不做具体限定。

本发明实施例中，获取单元21所描述的电磁场光谱信息可以包括无线电波信息、红外线信息、可见光信息、紫外线信息、X射线信息，和伽马射线信息中的至少一种，其中，可见光信息可以包括激光。

本发明实施例中，表象信息对应的物体可以是室内和/或室外的任一视野大小和角度的物体。

本发明实施例中，获取单元21获取表象信息时，每秒可获取24帧至120帧。

本发明实施例中，获取单元21所获取到的表象信息可以是不同空间点和不同时间点获取到的表象信息。

本发明实施例中，四维时空模型在内容上至少包括如下属性：

空间位置属性：可以指任意时刻物体上的每一点在一个不随时间变化的坐标系下的坐标；

外观属性：可以指任意时刻物体表面的纹理以及光谱特征(例如，颜色)、物体表面的几何特性(例如，法向、曲率、光滑度等)；

声音属性；

运动属性：可以指任意时刻物体上每一点的运动速度矢量、加速度矢量；或者，也可以指物体上可看作刚体的每一部分的角速度矢量、角加速度矢量；

其它属性：可以指物体的类别、身份、材质、相互关系等所有能由表象信息和表象随时间的变化推断出来的信息中的至少一种。

形式上，四维时空模型是以数字化的数据形式存在于存储介质中，这种形式能够被存储，呈现，检索，编辑，传输，加密，以及被用于更高级的智能应用。

本发明实施例中，模型建立单元22建立四维时空模型之后，进一步的，还可以修改、增强、优化四维时空模型。

在实际应用中，表象信息除了能够包括用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息之外，还可能包括声场信息，此时，本发明实施例中，进一步的，所述装置还可以包括声场信息计算单元25，用于根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述模型建立单元22根据所述表象信息建立用于表征所述表象信息的四维时空模型时，具体为：

根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。

本发明实施例中所描述的声场信息不仅指音频信息本身，还有隐含的声源空间位置信息在里面，可以包括可采集的声波信息和/或超声波信息。

本发明实施例中，可选地，所述模型建立单元22包括第一标注信息生成单元22A、点云信息生成单元22B、点云信息融合单元22C、视觉信息生成单元22D、四维时空模型生成单元22E，其中：

所述第一标注信息生成单元22A，用于对所述表象信息进行处理，得到第一标注信息；

所述点云信息生成单元22B，用于根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

所述点云信息融合单元22C，用于将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；

所述视觉信息生成单元22D，用于根据所述目标点云信息得到视觉信息；

所述四维时空模型生成单元22E，用于根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合，根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。

本发明实施例中，进一步的，所述装置还包括声场信息计算单元25，用于根据所述表象信息计算所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述四维时空模型生成单元22E根据所述视觉信息获得空间模型时，可选地，可以采用如下方式：

将所述视觉信息和所述声场信息融合，得到所述空间模型。

本发明实施例中，可选地，所述点云信息生成单元22B还用于，对所述目标点云信息进行处理，得到第二标注信息；

所述视觉信息生成单元22D根据所述目标点云信息，得到视觉信息时，可选地，可以采用如下方式：

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息。

本发明实施例中，进一步的，所述视觉信息生成单元22D还用于：

对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；

将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据所述第二结果，得到所述视觉信息。

本发明实施例中，可选地，所述第一标注信息生成单元22A对所述表象信息进行处理，得到第一标注信息时，可选地，可以采用如下方式：

对所述表象信息进行数字图像处理分析，得到所述第一标注信息。

本发明实施例中，所述第一标注信息生成单元22A对所述表象信息进行数字图像处理分析时，对表象信息进行分割、检测、跟踪、识别等处理。

本发明实施例中，分割、检测、跟踪、识别这几个步骤之间并无明确的顺序关系，例如，可以对表象信息先分割，再检测；也可以先检测，再分割。为了提高得到的第一标注信息的准确度，可以循环执行几次分割、检测、跟踪和识别。例如，执行完一次分割、检测、跟踪和识别之后，根据当前结果，再执行至少一轮分割、检测、跟踪和识别，这样可以提高精度。

本发明实施例中，分割可以指将图像分割为前景和后景，例如，分割成天空、地面或者其他，检测可以指检测行人、检测车牌，跟踪可以指跟踪人的手臂运动，识别可以指识别车辆。

本发明实施例中，所述点云信息生成单元22B根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息时，可选地，可以采用如下方式：

根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息；

根据所述坐标信息，生成包括所述几何信息的第一点云信息。

本发明实施例中，与表象信息所对应的物体的坐标信息在不同时刻可能对应于不同的坐标系，此时，为了提高得到的第一点云信息的准确度，得到与表象信息所对应的物体的坐标信息之后，点云信息生成单元22B还可以将不同时刻的不同局部坐标系下的物体的坐标信息融合到同一个坐标系下，然后根据融合到同一个坐标系下的坐标信息，生成包括几何信息的第一点云信息。

本发明实施例中，可选地，所述点云信息生成单元22B根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息时，可以采用如下方式：

采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

本发明实施例中，所述视觉信息生成单元22D根据所述第二标注信息和所述目标点云信息，得到视觉信息时，可以采用如下方式：

根据所述第二标注信息和所述目标点云信息，计算物体表面法向信息；

根据所述表面法向信息得到视觉信息。

本发明实施例中，进一步的，处理单元23将建立的四维时空模型进行编码处理之后，还要将进行编码处理后的四维时空模型进行压缩处理，发送单元24将压缩处理后的四维时空模型进行发送。

进一步的，为了提高传输的安全性，在发送单元24发送编码处理后的四维时空模型之前，处理单元23可以将编码处理后的四维时空模型进行加密处理，或者，在发送压缩处理后的四维时空模型之前，可以将压缩处理后的四维时空模型进行加密处理。

本发明实施例中，获取单元21可以为包括圆柱型、长方体、棱柱形、环型、球形，及半球形中的任意一种形状，包括至少一个摄像头，摄像头可以为颜色摄像头，深度摄像头或红外摄像头。

进一步的，获取单元21还可以包括至少一个麦克风，如图2B、2C所示，其中，图2D是图2B或者图2C的俯视图，图2E是图2B或者图2C的侧视图。

可选地，获取单元21包括8对颜色摄像头和8个麦克风，其中：顶部有1对颜色摄像头、视角各为180度；侧面有6对颜色摄像头、视角各为70度；底部有1对颜色摄像头、视角各为180度；每1对摄像头中间都有1个麦克风。

可选地，获取单元21还可以为如下形式：

顶部有1个或者1对颜色摄像头，视角为45～180度；侧面有2个或者8对颜色摄像头，视角各为45～180度；底部有1个或者1对颜色摄像头，视角为45～180度；有1个麦克风，或者，每1对摄像头中间都有1个麦克风，可选地，麦克风的数量介于1～8之间。

本发明实施例中，可选地，顶部的摄像头也可以为立体摄像头、多焦距摄像头，结构光摄像头、飞行时间(ToF)摄像头、光场摄像头组中的一种或者任意组合。

本发明实施例中，可选地，侧面的摄像头可以是立体摄像头、多焦距摄像头、结构光摄像头、飞行时间(ToF)摄像头、光场摄像头组中的一种或者任意组合。

例如，获取单元21为圆柱型，在圆柱侧表面有六对双目摄像头，每一摄像头视野为70度；在圆柱顶面和底面各有一对双目摄像头，每一摄像头视野为180度，可以实现立体全景的视野覆盖，且所有摄像头都经过事先校准并已获得参数矩阵。获取单元21还可以内置八个麦克风。

本发明实施例中，颜色摄像头可以由光学镜头、感光器件(Image Sensor)、ISP(Image Signal Processing Unit，图像信号处理芯片)组成。

VPU(Vision Processing Unit，视觉处理器)可以包括模型建立单元22和处理单元23，其中，摄像头可以由MIPI(Mobile Industry Processor Interface，移动产业处理器接口)连至VPU芯片，一个VPU芯片处理两对摄像头传过来的数据，这样一个圆柱里面是四个VPU芯片。

本发明实施例中，模型建立单元22可以包括处理器、显卡、内存、显存、闪存、硬盘、无线传输、有线传输和多个总线接口芯片。

本发明实施例中，将四维时空模型发送之后，接收到四维时空模型的装置还可以呈现多媒体信息，图2F示出了根据本发明的一种呈现多媒体信息的方法的流程示意图，具体过程如下：

步骤200：接收用于表征表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息。

本发明实施例中，步骤200中所描述的电磁场光谱信息可以是物体发射的，也可以是物体反射的，或者也可以是物体折射的，在此不做具体限定。

本发明实施例中，步骤200中所描述的电磁场光谱信息可以包括无线电波信息、红外线信息、可见光信息、紫外线信息、X射线信息，及伽马射线信息中的至少一种，其中，可见光信息可以包括激光。

本发明实施例中，表象信息对应的物体可以是室内和/或室外的任一视野大小和角度的物体。

本发明实施例中，四维时空模型在内容上至少包括如下属性：

空间位置属性：可以指任意时刻物体上的每一点在一个不随时间变化的坐标系下的坐标；

外观属性：可以指任意时刻物体表面的纹理以及光谱特征(例如，颜色)、物体表面的几何特性(例如，法向、曲率、光滑度等)；

声音属性；

运动属性：可以指任意时刻物体上的每一点的运动速度矢量、加速度矢量；或者，也可以指物体上可看作刚体的每一部分的角速度矢量、角加速度矢量；

其它属性：可以指物体的类别、身份、材质、相互关系等所有能由表象信息和表象信息随时间的变化推断出来的信息中的至少一种。

形式上，四维时空模型是以数字化的数据形式存在于存储介质中，这种形式能够被存储，呈现，检索，编辑，传输，加密，以及被用于更高级的智能应用。

步骤210：对所述四维时空模型进行解码处理，得到解码的四维时空模型。

本发明实施例中，进一步的，步骤200中接收到的四维时空模型可能经过压缩处理，此时，还可以将四维时空模型进行解压缩处理。

进一步的，为了提高传输的安全性，接收到的四维时空模型可能经过加密处理，此时，还要将接收到的四维时空模型进行解密处理。

步骤220：根据所述解码的四维时空模型，将所述四维时空模型所表征的表象信息进行呈现。

本发明实施例中，进一步的，还可以将呈现多媒体信息的装置这一端的场景进行呈现，因此，将所述四维时空模型所表征的表象信息进行呈现之前，还包括如下操作：

将所述四维时空模型与所述第一时空模型进行融合，得到目标四维时空模型，所述第一时空模型用于表征呈现多媒体信息所处场所的物体的表象信息；

此时，将所述四维时空模型所表征的表象信息进行呈现时，可选的，可以采用如下方式：

根据所述目标四维时空模型，将所述四维时空模型所表征的表象信息和所述第一时空模型所表征的表象信息进行呈现。

例如，四维时空模型表征的表象信息对应的场景为在海边的场景，第一时空模型所表征的表象信息所对应的场景为在办公桌办公的场景，在这种情况下，呈现的场景可以为办公桌前面是海边的这种融合的场景。

更进一步的，还可以对人体及物体检测、跟踪和识别：可将真实物理区域叠加至虚拟区域，例如，观察者戴VR头盔面对一个草原，现实中他所在房间是有墙壁的，这个时候“基于物体检测”就可以把真实物理的墙的信息叠加至VR头盔的草原，呈现出一个草原中的半透明墙；又例如，人手检测，可将真实的手的手势检测出来然后将虚拟的手叠加进四维模型中，也就是说，还可以融合一些虚拟的场景，因此，将所述四维时空模型所表征的表象信息进行呈现之前，所述方法还包括如下操作：

将所述四维时空模型与本端的第一时空模型、第二时空模型进行融合，得到目标四维时空模型，所述第一时空模型用于表征呈现多媒体信息的装置所处场所的表象信息，所述第二时空模型用于表征虚拟物体的表象信息；

此时，将所述四维时空模型所表征的表象信息进行呈现时，可选地，可以采用如下方式：

根据所述目标四维时空模型，将所述四维时空模型所表征的表象信息、所述第一时空模型所表征的表象信息和所述第二时空模型所表征的表象信息进行呈现。

例如，四维时空模型表征的表象信息对应的场景为在海边的场景，第一时空模型所表征的表象信息所对应的场景为在办公桌办公的场景，在这种情况下，呈现的场景可以为办公桌前面是海边的这种融合的场景，进一步的，想在呈现的办公桌上摆放一盆鲜花，但是实际中办公桌上是没有鲜花的，此时，可以用第二时空模型表征鲜花，并将所述四维时空模型与本端的第一时空模型、第二时空模型进行融合，得到目标四维时空模型，这种情况下呈现的场景可以为办公桌前面是海边，且办公桌上摆放鲜花的这种融合的场景。

本发明实施例中，呈现的场景中不仅可以有画面，还可以有声音，因此，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息，所述四维时空模型还用于表征与所述表象信息对应的物体的声场信息；此时，所述方法还包括如下操作：

将所述四维时空模型所表征的声场信息进行播放。

本发明实施例中，为了提高呈现的表象信息所对应的场景与真实场景的相似度，在呈现四维时空模型所表征的表象信息时，要参考呈现多媒体信息的装置的正面朝向信息，因此，将所述四维时空模型所表征的表象信息进行呈现之前，还包括如下操作：

确定呈现多媒体信息的装置的正面朝向信息；

此时，将所述四维时空模型所表征的表象信息进行呈现时，可选的，可以采用如下方式：

根据所述正面朝向信息，将所述四维时空模型所表征的表象信息进行呈现。

本发明实施例中，确定呈现多媒体信息的装置的正面朝向信息时，可选的，可以采用如下方式：

对与呈现多媒体信息的装置相关联的惯性导航进行姿态解算，得到呈现多媒体信息的装置的正面朝向信息。

其中，惯性导航可以为陀螺仪、磁力计、加速度计中的任意一种或者任意组合。

本发明实施例总，可以有选择性地提高观察者感兴趣的部分的精度，进一步的，还包括如下操作：

确定呈现多媒体信息的装置的正面朝向信息和目标多媒体信息；

将所述正面朝向信息和所述目标多媒体信息反馈至发送四维时空模型的装置。

例如，表象信息所对应的场景中有海滩，人物，及帆船，如果持有呈现多媒体信息的装置的用户的眼球注视着人物，则将人物作为目标多媒体信息。这样，发送四维时空模型的装置在获取表象信息时，就可以仅仅人物的表象信息，可以不包括帆船的表象信息。

本发明实施例中，确定目标多媒体信息时，可以基于呈现多媒体信息的装置的摄像头的“眼球”来确定。

需要说明的是，本发明实施例中所描述的第一时空模型和第二时空模型可以是呈现多媒体信息的装置预先建立好的，也可以是实时建立的，或者，也可以是其他装置预先建立好的，或者实时建立并发送给呈现多媒体信息的装置的，在此不做具体限定。

本发明实施例中，在有些场景中，可以仅仅呈现四维时空模型所表征的表象信息，例如，远程办公或远程通信场景中，呈现多媒体信息的装置只是想体验发送四维时空模型的装置所发过来的“真实的远程”场景，此时，仅呈现四维时空模型所表征的表象信息即可。在有些场景中，在呈现四维时空模型所表征的表象信息的基础上，还可以进一步呈现第一时空模型或者第二时空模型所表征的表象信息，呈现表象信息这一端还要添加一些虚拟道具，例如，呈现多媒体信息的装置不光要体验发送四维时空模型的装置所发过来的场景，还要在该场景中添加虚拟道具，比如，随手一挥在空中画个白板，或者为了游戏，添加一些虚拟道具(如，手上发一道“闪电”去击中场景中的石头)。

本发明实施例中，也可以接收到多个装置分别发送的四维时空模型，例如，接收到第一发送端发送的第一四维时空模型所表征的表象信息对应的场景为天坛，接收到第二发送端发送的第二四维时空模型所表征的表象信息对应的场景为埃菲尔铁塔，呈现时可以将天坛和埃菲尔铁塔并排呈现。

本发明给出了呈现四维时空模型的详细流程，参阅图2G所示，将四维时空模型、第一时空模型和第二时空模型融合，得到目标四维时空模型，确定呈现多媒体信息的装置的正面朝向信息和目标多媒体信息，并根据正面朝向信息和目标四维时空模型呈现四维时空模型所表征的表象信息，及将正面朝向信息和目标多媒体信息反馈至发送四维时空模型的装置。

本发明实施例中，公开了一种呈现多媒体信息的方法：接收用于表征表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；对所述四维时空模型进行解码处理，得到解码的四维时空模型；根据所述解码的四维时空模型，将所述四维时空模型所表征的表象信息进行呈现，在该方案中，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性，这样，呈现的表象信息不存在时延问题，因此，解决了现有技术中存在的具有时延的缺陷。

参阅图2H所示，本发明实施例还提出一种呈现多媒体信息装置，包括：

接收单元2000，用于接收用于表征表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

四维时空模型处理单元2100，用于对所述四维时空模型进行解码处理，得到解码的四维时空模型；

呈现单元2200，用于根据所述解码的四维时空模型，将所述四维时空模型所表征的表象信息进行播放。

本发明实施例中，进一步的，接收单元2000接收到的四维时空模型可能经过压缩处理，此时，还可以将四维时空模型进行解压缩处理。

进一步的，为了提高传输的安全性，接收单元2000接收到的四维时空模型可能经过加密处理，此时，还要将接收到的四维时空模型进行解密处理。

本发明实施例中，进一步的，还可以将呈现多媒体信息的装置这一端的场景进行呈现，因此，所述装置还包括模型融合单元2300，用于将所述四维时空模型与所述第一时空模型进行融合，得到目标四维时空模型，所述第一时空模型用于表征呈现多媒体信息的装置所处场所的表象信息；

此时，所述呈现单元2200在将所述四维时空模型所表征的表象信息进行呈现时，可选的，还可以采用如下方式：

根据所述目标四维时空模型，将所述四维时空模型所表征的表象信息和所述第一时空模型所表征的表象信息进行呈现。

例如，四维时空模型表征的表象信息对应的场景为在海边的场景，第一时空模型所表征的表象信息所对应的场景为在办公桌办公的场景，在这种情况下，呈现单元2200呈现的场景可以为办公桌前面是海边的这种融合的场景。

更进一步的，还可以对人体及物体检测、跟踪和识别：可将真实物理区域叠加至虚拟区域，例如，观察者戴VR头盔面对一个草原，现实中他所在房间是有墙壁的，这个时候“基于物体检测”就可以把真实物理的墙的信息叠加至VR头盔的草原，呈现出一个草原中的半透明墙；又例如，人手检测，可将真实的手的手势检测出来然后将虚拟的手叠加进四维模型中，也就是说，还可以融合一些虚拟的场景，所述装置还包括模型融合单元2300，用于将所述四维时空模型与所述呈现多媒体信息的装置的第一时空模型、第二时空模型进行融合，得到目标四维时空模型，所述第一时空模型用于表征呈现多媒体信息的装置所处场所的表象信息，所述第二时空模型用于表征虚拟物体的表象信息；

此时，所述呈现单元2200将所述四维时空模型所表征的表象信息进行呈现时，可选的，可以采用如下方式：

根据所述目标四维时空模型，将所述四维时空模型所表征的表象信息、所述第一时空模型所表征的表象信息和所述第二时空模型所表征的表象信息进行呈现。

例如，四维时空模型表征的表象信息对应的场景为在海边的场景，第一时空模型所表征的表象信息所对应的场景为在办公桌办公的场景，在这种情况下，呈现单元2200呈现的场景可以为办公桌前面是海边的这种融合的场景，进一步的，想在呈现的办公桌上摆放一盆鲜花，但是实际中办公桌上是没有鲜花的，此时，可以用第二时空模型表征鲜花，并将所述四维时空模型与本端的第一时空模型、第二时空模型进行融合，得到目标四维时空模型，这种情况下呈现单元2200呈现的场景可以为办公桌前面是海边，且办公桌上摆放鲜花的这种融合的场景。

本发明实施例中，呈现的场景中不仅可以有画面，还可以有声音，因此，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息，所述四维时空模型还用于表征与所述表象信息对应的物体的声场信息；

此时，所述装置还包括播放单元2400，用于将所述四维时空模型所表征的声场信息进行播放。

本发明实施例中，为了提高呈现的表象信息所对应的场景与真实场景的相似度，呈现单元2200在呈现四维时空模型所表征的表象信息时，要参考呈现多媒体信息的装置的正面朝向信息，因此，进一步的，所述装置还包括处理单元2500，用于确定呈现多媒体信息的装置的正面朝向信息；

所述呈现单元2200在将所述四维时空模型所表征的表象信息进行呈现时，可选的，可以采用如下方式：

根据所述正向朝向，将所述四维时空模型所表征的表象信息进行呈现。

本发明实施例中，处理单元2500确定呈现多媒体信息的装置的正面朝向信息时，可选的，可以采用如下方式：

对与呈现多媒体信息的装置相关联的惯性导航进行姿态解算，得到呈现多媒体信息的装置的正面朝向信息。

其中，惯性导航可以为陀螺仪、磁力计、加速度计中的任意一种或者任意组合。

本发明实施例中，可以有选择性地提高观察者感兴趣的部分的精度，进一步的，所述装置还包括处理单元2500，确定持有呈现多媒体信息的装置的正面朝向信息和目标多媒体信息；

所述装置还包括反馈单元26，用于将所述正面朝向信息和所述目标多媒体信息反馈至发送四维时空模型的装置。

例如，表象信息所对应的场景中有海滩，人物，及帆船，如果持有呈现多媒体信息的装置的用户的眼球注视着人物，则将人物作为目标多媒体信息。这样，发送四维时空模型的装置在获取表象信息时，就可以仅仅人物的表象信息，可以不包括帆船的表象信息。

本发明实施例中，处理单元2500确定目标多媒体信息时，可以基于呈现多媒体信息的装置的摄像头的“眼球”来确定。

需要说明的是，本发明实施例中所描述的第一时空模型和第二时空模型可以是呈现多媒体信息的装置预先建立好的，也可以是实时建立的，或者，也可以是其他装置预先建立好的，或者实时建立并发送给呈现多媒体信息的装置的，在此不做具体限定。

本发明实施例中，在有些场景中，呈现单元2200可以仅仅呈现四维时空模型所表征的表象信息，例如，远程办公或远程通信场景中，呈现多媒体信息的装置只是想体验发送四维时空模型的装置所发过来的“真实的远程”场景，此时，仅呈现四维时空模型所表征的表象信息即可。在有些场景中，呈现单元2200在呈现四维时空模型所表征的表象信息的基础上，还可以进一步呈现第一时空模型或者第二时空模型所表征的表象信息，呈现表象信息这一端还要添加一些虚拟道具，例如，呈现多媒体信息的装置不光要体验发送四维时空模型的装置所发过来的场景，还要在该场景中添加虚拟道具，比如，随手一挥在空中画个白板，或者为了游戏，添加一些虚拟道具(如，手上发一道“闪电”去击中场景中的石头)。

本发明实施例中，接收单元2000也可以接收到多个装置分别发送的四维时空模型，例如，接收到第一发送端发送的第一四维时空模型所表征的表象信息对应的场景为天坛，接收到第二发送端发送的第二四维时空模型所表征的表象信息对应的场景为埃菲尔铁塔，呈现时可以将天坛和埃菲尔铁塔并排呈现。

本发明实施例中，公开了一种呈现多媒体信息的装置：接收单元2000，用于接收用于表征表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；四维时空模型处理单元2100，用于对所述四维时空模型进行解码处理，得到解码的四维时空模型；呈现单元2200，用于根据所述解码的四维时空模型，将所述四维时空模型所表征的表象信息进行播放，在该方案中，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性，这样，呈现的表象信息不存在时延问题，因此，解决了现有技术中存在的具有时延的缺陷。

下面给出了本发明实施例所适用的场景。

图3A所示的场景为：甲在第一场景中，乙在第二场景中，甲和乙通过本发明实例提供的方法使得甲及甲的周围环境实时地“远程呈现”在乙的面前，乙可以与甲进行互动。

进一步的，多媒体信息处理装置还可以将四维时空模型先存储在存储设备中，乙所持有的可以接收并处理四维时空模型的装置可以从存储设备中获取四维时空模型，如图3B所示，在这种情况下，乙所“看见”的场景与图3A所示的情况下看到的场景可以是一样的。

当多媒体信息处理装置将四维时空模型存储在存储设备中时，甲也可以持有可以接收并处理四维时空模型的装置，从存储设备中获取四维时空模型，感知到自己在过去一个时间点所处的第一场景，如图3C所示。

图3D所示的场景为：甲在第一场景中，乙在第二场景中，甲和乙通过本发明实例一使得甲及甲的周围环境实时地“远程呈现”在乙的面前，乙可以与甲进行互动；甲和乙通过本发明实例一实现双向实时“远程现实”和“混合现实”，甲所感知到的是甲所在的第一场景和乙的叠加，乙所感知到的是甲及甲所在的第一场景；需要说明的是，甲和乙对于所要感知的场景还可以有多种选择，双方可以选择看到甲所在的第一场景也可以选择看到乙所在的第二场景，或者看到其它方所在的第三场景；甲和乙可以看到同一个真实或者虚拟场景也可以看到不同的真实或者虚拟场景。

图3E所示的场景为：甲通过本发明所提供的实施例实现远程办公。

图3F所示的场景为：甲和乙通过本发明所提供的实施例都可以实现感到虚拟环境，进一步的，还可以实现互动，如同“身临其境”一般。

在此提供的方法和装置不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示例一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的若干模块组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者模块中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个装置实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的装置中的一些或者全部模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。

本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种处理多媒体信息的方法，包括：

获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；

将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送；

根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，具体包括：

对所述表象信息进行处理，得到第一标注信息；

根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；

根据所述目标点云信息得到视觉信息；

根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合；

根据融合得到的空间模型、所述第一标注信息和第二标注信息，得到所述四维时空模型；

其中，根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息，包括：

根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息，并将不同时刻的不同局部坐标系下的所述物体对应于所述表象信息的坐标信息融合到同一个坐标系下；以及

根据融合到同一个坐标系下的坐标信息生成包括所述几何信息的第一点云信息；

将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息之后，得到所述视觉信息之前，所述方法还包括：

对所述目标点云信息进行处理，得到第二标注信息；

根据所述目标点云信息，得到视觉信息，具体包括：

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息；

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息，具体包括：

对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；以及

将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据所述第二结果和所述第二标注信息，得到所述视觉信息；或者

根据所述第二标注信息和所述目标点云信息，计算物体的表面法向信息；以及

根据所述表面法向信息得到视觉信息。

2.如权利要求1所述的方法，根据获取到的表象信息建立所述四维时空模型之前，所述方法还包括：

根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

根据所述表象信息建立用于表征所述表象信息的四维时空模型，具体包括：

根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。

3.如权利要求1所述的方法，根据所述视觉信息获得空间模型之前，所述方法还包括：

根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

根据所述视觉信息获得空间模型，具体包括：

将所述视觉信息和所述声场信息融合，得到所述空间模型。

4.如权利要求1所述的方法，对所述表象信息进行处理，得到第一标注信息，具体包括：

对所述表象信息进行数字图像处理分析，得到所述第一标注信息。

5.如权利要求1或4所述的方法，根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息，具体包括：

采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

6.一种处理多媒体信息装置，包括：

获取单元，用于获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；

模型建立单元，用于根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；

处理单元，用于将建立的四维时空模型进行编码处理；

发送单元，用于将经过编码处理后的四维时空模型进行发送；

所述模型建立单元包括第一标注信息生成单元、点云信息生成单元、点云信息融合单元、视觉信息生成单元、四维时空模型生成单元，其中：

所述第一标注信息生成单元，用于对所述表象信息进行处理，得到第一标注信息；

所述点云信息生成单元，用于根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；

所述点云信息融合单元，用于将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；

所述视觉信息生成单元，用于根据所述目标点云信息得到视觉信息；

所述四维时空模型生成单元，用于根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合，根据融合得到的空间模型、所述第一标注信息和第二标注信息，得到所述四维时空模型；

所述点云信息生成单元根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息时，具体为：

根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息，并将不同时刻的不同局部坐标系下的所述物体对应于所述表象信息的坐标信息融合到同一个坐标系下；以及

根据融合到同一个坐标系下的坐标信息生成包括所述几何信息的第一点云信息；

所述点云信息生成单元还用于，对所述目标点云信息进行处理，得到第二标注信息；

所述视觉信息生成单元根据所述目标点云信息，得到视觉信息时，具体为：

根据所述第二标注信息和所述目标点云信息，得到所述视觉信息；

所述视觉信息生成单元还用于：

对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；

将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；

根据所述第二结果和所述第二标注信息，得到所述视觉信息；或者

根据所述第二标注信息和所述目标点云信息，计算物体表面法向信息；

根据所述表面法向信息得到视觉信息。

7.如权利要求6所述的装置，所述装置还包括声场信息计算单元，用于根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述模型建立单元根据所述表象信息建立用于表征所述表象信息的四维时空模型时，具体为：

根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。

8.如权利要求6所述的装置，所述装置还包括声场信息计算单元，用于根据所述表象信息计算所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；

所述四维时空模型生成单元根据所述视觉信息获得空间模型时，具体为：

将所述视觉信息和所述声场信息融合，得到所述空间模型。

9.如权利要求6所述的装置，所述第一标注信息生成单元对所述表象信息进行处理，得到第一标注信息时，具体为：

对所述表象信息进行数字图像处理分析，得到所述第一标注信息。

10.如权利要求6或9所述的装置，所述点云信息生成单元根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息时，具体为：

采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。

Images