CN108460824B - 立体多媒体信息的确定方法、装置及系统 - Google Patents

Abstract

本发明提供了立体多媒体信息的确定方法、装置及系统，所述方法包括：获取至少两个多媒体信息采集设备分别采集的多媒体信息；根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，确定出相应的立体多媒体信息。本发明中，至少两个多媒体信息采集设备采集的多媒体信息中包含主动光源标记，可以根据相同标记在不同多媒体信息中的位置差异，对各多媒体信息进行匹配，生成立体多媒体信息；从而对多媒体信息采集设备之间的采集角度的重合度要求大幅降低，因此可以大幅度削减多媒体信息采集设备的数量，减小立体多媒体信息的确定系统的重量、体积和成本，大大增强便携性。

Description

立体多媒体信息的确定方法、装置及系统

技术领域

本发明涉及视觉处理技术领域，具体而言，本发明涉及一种立体多媒体信息的确定方法、装置及系统。

背景技术

VR(Virtual Reality，虚拟现实)技术是综合利用计算机图形系统和各种显示及控制等接口设备，在通过计算生成的、可交互的立体(三维)环境中提供沉浸感觉的技术。随着计算机软硬件的发展，VR近年来得到了长足的发展，大量的消费级产品涌现。

然而，现有VR产品大多属于显示技术领域的产品，即对立体视频等立体内容进行播放，供消费者观看欣赏。立体内容的生产设备的发展相对局限。立体内容的产生，目前，主要通过计算机图形学，如计算机游戏，仿真等手段，来产生立体内容。也就是说，目前的立体内容主要包括虚拟场景，来自现实场景的内容仍较少。本发明的发明人发现，立体内容中的现实场景较少的原因，主要是对现实场景进行立体视频采集较为复杂，技术难度较大，需要大量的人工干预来生成最终的全景产品。

包含现实场景的立体视频的生成或确定是立体产业的源头之一，与其他内容生成方法相比，其拍摄的内容以实景为主，能够给用户带来极具现实感的立体体验。现有的实景立体内容的确定过程涉及相关的硬件和软件。硬件目前以多组双目摄像设备为主，软件则主要包含图像处理技术，如亮度，颜色，图像质量的调整；图像拼接技术，如二维全景图的拼接；深度恢复技术，如双目视觉，多目视觉等。

然而，本发明的发明人注意到，为了实现虚拟现实的显示效果，现有的立体视频的确定方法需要用到多个摄像设备(例如，10多个或20个摄像头)，摄像设备的数量较多，导致现有的立体视频的确定设备的体积大、重量大(例如2公斤左右的重量，至少20厘米左右的半径的体积)、不便于携带和成本较高。而且，摄像设备的数量较多，需要处理的视频数据也较多，都需要消耗大量的计算资源，很可能需要基于服务器进行处理，进一步限制了便携性并增加了成本。

发明内容

本发明针对现有方式的缺点，提出一种立体多媒体信息的确定方法、装置及系统，用以解决现有技术存在的(属于多媒体信息采集设备的)摄像设备数量较多、体积较大、重量较大和/或成本较高的问题，以减少多媒体信息采集设备的数量、减小包含多媒体信息采集设备的系统的体积或重量、或降低成本。

本发明的实施例根据第一个方面，提供了一种立体多媒体信息的确定方法，包括：

获取至少两个多媒体信息采集设备分别采集的多媒体信息；

根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，确定出相应的立体多媒体信息。

本发明的实施例根据第二个方面，还提供了一种立体多媒体信息的确定装置，包括：

多媒体信息获取模块，用于获取至少两个多媒体信息采集设备分别采集的多媒体信息；

立体多媒体信息确定模块，用于根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，确定出相应的立体多媒体信息。

本发明的实施例根据第三个方面，还提供了一种立体多媒体信息的确定系统，包括：至少两个多媒体信息采集设备、主动光源、以及本发明实施例提供的立体多媒体信息的确定装置。

本发明的实施例中，至少两个多媒体信息采集设备分别采集多媒体信息；在立体多媒体信息的确定系统中设置主动光源，由主动光源对被摄对象进行照射，在被摄对象上照射出标记；当采集的多媒体信息中包含标记时，该标记相当于主动创造出的匹配点；即使原各多媒体信息之间可以互相匹配的重复区域、特征点或图像内容都较少，也可以根据相同标记在不同多媒体信息中的位置差异，对各多媒体信息进行匹配，可生成立体多媒体信息；从而对多媒体信息采集设备之间的采集角度的重合度要求大幅降低，因此可以大幅度削减多媒体信息采集设备的数量，减小立体多媒体信息的确定系统的重量、体积和成本，大大增强便携性。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为现有技术的两个被摄对象在两个图像中的位置关系不同的一个实例的示意图；

图2为本发明的立体多媒体信息的确定方法的流程示意图；

图3为本发明实施例一的立体多媒体信息的确定方法的一个实例的流程示意图；

图4为本发明实施例二的根据被摄对象对应的物距调整主动光源的扫描密度的一个实例的示意图；

图5为本发明实施例二的根据被摄对象的表面曲率、表面硬度、表面反射性，调整主动光源的扫描密度和/或扫描强度的一个实例的示意图；

图6为本发明实施例二的根据被摄对象的移动参数调整主动光源的扫描密度的一个实例的示意图；

图7为本发明实施例二的根据被摄对象对应的物距或采集环境调整主动光源的扫描强度的一个实例的示意图；

图8为本发明实施例二的根据采集环境调整主动光源的光频率的一个实例的示意图；

图9为本发明实施例二的综合根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度和/或光频率的原理框架示意图；

图10为本发明实施例二的调整主动光源的扫描密度后的一个密度分布实例的示意图；

图11为本发明实施例二的根据被摄对象的移动参数调整主动光源的扫描密度后的一个密度分布实例的示意图；

图12为本发明实施例二的根据被摄对象的尺寸/表面曲率调整主动光源的扫描密度/强度的一个实例的示意图；

图13a为本发明实施例二的有/无环境光干扰的采集环境的实例的示意图；

图13b为本发明实施例二的根据被摄对象的物距调整主动光源的扫描强度的一个实例的示意图；

图14为本发明实施例二的根据采集环境调整主动光源的光频率的一个实例的示意图；

图15为本发明实施例三中介绍的现有的立体视频的采集和观看原理的一个特例的示意图；

图16为本发明实施例三的对多媒体信息的视差进行规则化的第一种方法的一个实例的示意图；

图17为本发明实施例三的对多媒体信息的视差进行规则化的第二种方法的一个实例的示意图；

图18为本发明实施例四的立体多媒体信息的确定装置的内部结构的框架示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本发明的发明人经过研究发现，直接减少摄像设备的数量，利用现有方法确定立体视频的过程中很可能产生问题，很容易导致无法得到立体视频。

具体地，直接减少摄像设备的数量后，仍旧是由每组两个摄像设备负责采集一个角度的立体视频。第一种情况是减少数量后，组内的两个摄像设备之间的采集角度差异过大，很容易导致两者采集的视频帧图像之间不存在相重复的区域、重复的区域非常小、或者重复的区域形变较大等问题，造成两者采集的视频帧图像无法相匹配，无法生成立体视频。例如，虽然双目视频帧图像之间存在重复区域，但是由于视差较大，采集的视频帧图像经过3D到2D的投影(例如，球面投影、圆柱投影、墨卡托投影、或高斯-克吕格投影等)变换后，重复区域在左目、和右目帧图像中都存在较大的形变，导致难以匹配左目、和右目帧图像。

第二种情况是减少数量后，组与组之间的采集角度差异过大，很容易导致不同组的同一目摄像设备采集的视频帧图像之间重复的区域非常小、或者重复的区域形变较大等问题，造成两者采集的视频帧图像无法相匹配，无法进行拼接，无法生成立体视频。

更严重的，直接减少摄像设备的数量后，上述几种情况造成的后果可能都存在。因此，现有方法需要采用大量的摄像设备，以保证不同摄像设备的拍摄角度之间存在较大的重合度，从而保证不同摄像设备拍摄的视频帧图像之间存在足够的重合区域、特征点或图像内容可以供匹配，以保证生成立体视频的成功率。

本发明的发明人进一步研究发现，即使不减少摄像设备的数量，利用现有方法仍然容易出现图像不匹配的问题。

第三种情况是，待拼接的图像来源于不同的摄像设备，而各摄像设备的位置固定且位置不同，导致不同摄像设备观察到同一被摄对象的角度不同。因此，同一被摄对象在不同拍摄设备视野中存在的位置差异；且被摄对象与拍摄设备之间的物距相对采集设备间的距离越近，这种位置差异越大。这种位置差异的存在，很可能导致两个被摄对象在待拼接的每个图像中的位置关系不同，容易导致图像拼接失败。

图1是两个被摄对象在两个图像中的位置关系不同的一个实例的示意图。图1中现实场景中的两个被摄象是椭圆形和三角形，摄像头A/B分别表示摄像设备A/B，摄像头A/B照片分别表示摄像设备A/B拍摄得到的图像。图1中，现实场景中的椭圆形和三角形是在一条直线上的，且椭圆形在前三角形在后，正面观察情况下，椭圆形会三角形造成遮挡。然而，由于摄像设备A与B的观察(拍摄)角度不同，导致摄像设备A拍摄出的图像中椭圆形位于三角形的右侧，而摄像设备B拍摄出的图像中椭圆形位于三角形的左侧。由于椭圆形和三角形在两个图像中的左右位置关系不同，导致该两个图像无法相匹配。

第四种情况是，左、右目图像中都不存在纹理(例如都是白墙)导致双目图像无法相匹配。或者，左、右目图像中包含大面积的重复纹理或相似纹理(例如地砖、瓷砖、草地、或建筑外表的幕墙等)，很容易出现误匹配或匹配失败。

基于上述研究发现，本发明提供了一种立体多媒体信息的确定系统，包括：至少两个多媒体信息采集设备和主动光源。

本发明中的多媒体信息采集设备具体可以是摄像设备、和/或拍照设备等。

本发明的立体多媒体信息的确定系统还包括：立体多媒体信息的确定装置。

本发明提供了一种立体多媒体信息的确定方法，该方法的流程示意图如图2所示，包括：S201获取至少两个多媒体信息采集设备分别采集的多媒体信息；S202根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，确定出相应的立体多媒体信息。

本发明中，多媒体信息包括：图片、和/或视频。图片可以是单独的图片，也可以是连续图片。视频包括帧图像。

其中，主动光源指能够发出光线属性的辐射，包括但不限于可见光波段、和非可见光波段的电磁波，并可以对光线辐射进行编码，使其具有空间分布上的全局唯一性或局部唯一性。

可以理解，本发明中，至少两个多媒体信息采集设备分别采集多媒体信息；在立体多媒体信息的确定系统中设置主动光源，由主动光源对被摄对象进行照射，在被摄对象上照射出标记；当采集的多媒体信息中包含标记时，该标记相当于主动创造出的匹配点；即使原各多媒体信息之间可以互相匹配的重复区域、特征点或图像内容都较少，也可以根据相同标记在不同多媒体信息中的位置差异，对各多媒体信息进行匹配，可生成立体多媒体信息；从而对多媒体信息采集设备之间的采集角度的重合度要求大幅降低，因此可以大幅度削减多媒体信息采集设备的数量，减小立体多媒体信息的确定系统的重量、体积和成本，大大增强便携性。

下面具体介绍本发明的技术方案的多个实施例。

实施例一

本发明的发明人进过研究发现，现有的一种立体视频的确定方法，包括：通过多组摄像设备分别拍摄获取多个角度的视频帧图像；其中，每组摄像设备包括左目、和右目摄像设备；每个角度的视频帧图像包括左目、和右目帧图像。将不同角度的各组摄像设备中同一目摄像设备拍摄获取的帧图像，都转换成2D图像后，拼接成该目的2D广角或全景图像，从而得到左目、和右目的2D广角或全景图像。当在立体播放设备中同时播放左目、和右目的2D广角或全景图像时，使得用户可以感觉到2D广角或全景图像中的现实场景仿佛就在身边周围，使得用户产生一种身临其境的沉浸感，具有一定虚拟现实的显示效果。

现有的另一种立体视频的确定方法，与上述立体视频的确定方法的主要区别在于拼接图像的步骤不同。具体地，该拼接图像的步骤主要包括：寻找不同图像中的稀疏匹配点，并配合后处理技术，从而得到稠密的匹配，最后根据稠密匹配来实现图像拼接。此类方法计算时间较长，需要强大的服务器，或服务器机群支持。

本发明实施例一中展开介绍立体多媒体信息的确定系统和方法。

本发明中的多媒体信息采集设备为至少两个。本领域技术人员，可以根据立体多媒体信息所要求的视野角度范围、以及所采用的多媒体信息采集设备的视野角度范围，来确定本发明的多媒体信息采集设备的数量和排布方式。

较佳地，立体多媒体信息所要求的视野角度范围可以达到360度。多媒体信息采集设备中分别设置鱼眼镜头、超广角镜头、或普通变焦镜头时，其视野角度范围为上述镜头的最大视野角度范围。鱼眼镜头的最大视野角度范围可以达到180度，甚至可以达到220度左右；超广角镜头的广角端视野角度范围可以达到108-110度左右；普通变焦镜头的广角端视野角度范围可以到达到70-80度。

多媒体信息采集设备的数量可以是2-10个，并且可以是奇数；当采用奇数个多媒体信息采集设备时，可以复用其中至少一个多媒体信息采集设备，作为不同组多媒体信息采集设备的组成部分。例如，采用7个多媒体信息采集设备时，可以复用第6个多媒体信息采集设备，由第5和6个多媒体信息采集设备组成第3组多媒体信息采集设备，由第6和7个多媒体信息采集设备组成第4组多媒体信息采集设备。

例如，当立体多媒体信息所要求的视野角度范围为180度、且多媒体信息采集设备中使用180度视野的鱼眼镜头时，可以采用2个多媒体信息采集设备，光轴平行设置，且光轴都正对所要求的视野角度范围中的第90度方向。

例如，当立体多媒体信息所要求的视野角度范围为360度、且多媒体信息采集设备中设置超广角镜头,如大于180度视野时，可以采用4个多媒体信息采集设备,4个多媒体信息采集设备的光轴分别正对所要求的视野角度范围中的第0、90、180和270度方向,这样,每个角度都有两个多媒体信息采集设备覆盖。

立体多媒体信息所要求的视野角度范围通常为水平视野角度范围。进一步，当立体多媒体信息所要求的视野角度范围通常为立体的球面范围时，可以将多媒体信息采集设备中镜头都设置为鱼眼镜头；或者，在保持超广角镜头或普通变焦镜头的情况下，在垂直于各多媒体信息采集设备所在平面向上和向下的方向(当所在平面平行于水平面时，即为朝向天顶和地心的方向)上，增设多媒体信息采集设备。

本发明中的主动光源可以包括至少一个主动发光单元阵列。

当包含的主动发光单元阵列的数量较多时，相邻主动发光单元阵列相连接，相当于各主动发光单元阵列连接成一个整体，整体的照射角度可以覆盖360度。

当包含的主动发光单元阵列的数量较少时，各主动发光单元阵列在共面的360度范围内离散分布，每个主动发光单元阵列负责照射一个视野角度范围。合理的配置主动发光单元阵列与多媒体信息采集装置的位置，可以使得每个主动发光单元阵列发射出的光点，都可以落于至少两个多媒体信息采集装置的视野范围内。

当仅包含一个主动发光单元阵列时，可以整体旋转主动光源，且旋转面与多个多媒体信息采集设备所在平面相平行；使得主动光源中的主动发光单元阵列发射的光可以覆盖360度。

主动发光单元阵列中包括多个主动发光单元。可以单独控制每一个主动发光单元的光频率、开关(与主动发光单元阵列、或主动光源的扫描密度和/或扫描间隔时间相匹配)、光强度。

较佳地，每个主动发光单元阵列中的多个主动发光单元，可以划分为多组主动发光单元。统一控制同组主动发光单元的光频率、开关、光强度。

例如，一个主动发光单元阵列包括六组主动发光单元，根据要求的扫描密度的档位开启对应组的主动发光单元。具体地，当要求主动光源中该主动发光单元阵列的扫描密度为零密度时，关闭该主动发光单元阵列中所有的主动发光单元；当所要求的扫描密度为最低档扫描密度时，开启一组主动发光单元用以发光；当所要求的扫描密度为最高档扫描密度时，开启六组主动发光单元用以发光。

进一步，为了使得阵列发光更加均匀，可以从六组主动发光单元中分别选取一个主动发光单元互相邻接，拼接成一个主动发光单元组合。当每个主动发光单元为六边形时，拼接成蜂窝状的形状结构，此处整个阵列也是蜂窝状的形状结构。

主动光源的光频率与多媒体信息采集设备可探测频率相匹配，即主动光源的光频率为多媒体信息采集设备可以探测到的频率。例如，主动光源的光频率可以是红外波段、可见光波段、或紫外波段的电磁波等等。

进一步，主动光源中的主动发光单元可以是点光源,线光源或经过编码的光斑等分布形式。

主动光源的发射光的凝聚程度需要达到设定要求。例如，可以是激光。主动光源中的主动发光单元，可以是激光器。进一步，主动发光单元可以是光频率可调的激光器，例如DBR(Distributed Bragg Reflector，分布式布拉格反射)激光器。进一步，可以为每个主动发光单元配置多个不同光频率的激光器。

下面具体介绍立体多媒体信息的确定方法。

获取至少两个多媒体信息采集设备分别采集的多媒体信息；根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配；根据相匹配的至少两个多媒体信息，确定出相应的立体多媒体信息。

具体地，至少两个多媒体信息采集设备分别独立采集的多媒体信息；至少一个主动光源独立地边旋转边进行照射；至少两个多媒体信息采集设备分别采集的多媒体信息中，可能包含主动光源照射在被摄对象上的标记。

被摄对象可以包括下述至少一项：被摄物体、被摄环境。

主动光源照射在被摄对象上的标记包括下述至少一项：光点、网格光线、经编码的光斑；光点包括下述至少一项：单个光点、光点集合、光点簇

较佳地，当主动光源包括单个主动发光单元阵列时，至少两个多媒体信息采集设备分别独立采集的多媒体信息。至少一个主动光源独立地边旋转边进行照射。

较佳地，当至少两个多媒体信息采集设备的位置都固定时，其位置都是已知的。按照主动光照射辅助多媒体信息采集设备进行采集的原理，至少两个多媒体信息采集设备分别采集多媒体信息时，调用主动光源中的照射角度与多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射；根据照射在被摄对象上的标记，对采集的多媒体信息进行匹配。

较佳地，当主动光源包括多个主动发光单元阵列时，对于每一对多媒体信息采集设备，调用照射角度与该对多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射。采集方向可以是多媒体信息采集设备的采集视野角度中的任意方向，例如光轴所在方向。

具体地，对于主动光源中多个主动发光单元阵列相互连接形成覆盖360度的整体阵列的情况，针对每一对多媒体信息采集设备，可以通过开关多个主动发光单元阵列中的主动发光单元，选择照射角度与该对多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射，实现多媒体信息采集设备的采集视野角度(包含采集方向)与主动光源的照射角度基本一致。角度基本相一致的多媒体信息采集设备，所采集的多媒体信息中包含了绝大部分主动光源照射在被摄对象上的标记。

对于主动光源中多个主动发光单元阵列未相互连接，而是离散的覆盖各自视野角度的情况，针对每一对多媒体信息采集设备，选择照射角度与该对多媒体信息采集设备的采集视野角度的重叠区域最大的主动发光单元阵列进行照射。使得该对多媒体信息采集设备，所采集的多媒体信息中尽可能多的包含了主动光源照射在被摄对象上的标记。

根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，包括：根据主动光源照射在被摄对象上的标记，在不同多媒体信息中的位置差异，对不同多媒体信息进行匹配。其中，标记包括下述至少一项：光点、网格光线、经编码的光斑。

较佳地，根据主动光源照射在被摄对象上的标记，在不同多媒体信息中的位置差异，确定出相应的立体多媒体信息。

具体地，对于每组两个多媒体信息采集设备而言，其分别采集的多媒体信息中都包含主动光源照射在被摄对象上的标记。既可以是单个光点，也可以是多个光点，例如光点阵列,或其它经编码的光斑分布。

以光点阵列为例,当主动光源中被指定的多个主动发光单元照射出指定的光点阵列时，所采集的多媒体信息中包含该光点阵列的全部或一部分。通过设计光点阵列中各光点的分布形式，可以使得每个光点的相对位置都是唯一的；也就是说，光点阵列中每个光点都是唯一的。

对于每组两个多媒体信息采集设备而言，确定出其中一个多媒体信息采集设备所采集的多媒体信息中的每个标记，从另一个多媒体信息采集设备所采集的多媒体信息中确定出该标记；确定出该标记在两个多媒体信息中的位置差异；根据各标记各自的位置差异对两个多媒体信息进行匹配，确定出两个多媒体信息之间的视差，进而确定出相应的立体多媒体信息，作为相应的立体多媒体信息或其一部分。

较佳地，根据主动光源照射在被摄对象上的标记，在不同采集方向的多媒体信息采集设备所采集的多媒体信息中的位置差异，对不同采集方向的多媒体信息采集设备所采集的多媒体信息进行处理，例如拼接。

具体地，对于相邻两组的具有不同采集视野角度(包含采集方向)的多媒体信息采集设备，主动光源照射在被摄对象上的相同标记，既落于其中一组的一目(例如左目)多媒体信息采集设备的采集视野角度范围内，又落于另一组的对应目(例如左目)多媒体信息采集设备的采集视野角度范围内。因此，相邻两组的同一目多媒体信息采集设备所采集的多媒体信息中都包含相同的标记。例如，标记可以是单个光点或光点阵列。

对于相邻两组同一目多媒体信息采集设备而言，确定出其中一个多媒体信息采集设备所采集的多媒体信息中的每个标记，从另一个多媒体信息采集设备所采集的多媒体信息中确定出该标记；确定出该标记在两个多媒体信息中的位置差异；根据各标记各自的位置差异对两个多媒体信息进行匹配，确定出该两个多媒体信息之间的视差，进而根据该视差对两个多媒体信息进行拼接等处理，进而确定出相应的立体多媒体信息或其一部分。

更优的，本发明实施例一的立体多媒体信息的确定方法，还包括：根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度、光频率、扫描间隔时间中的至少一项；具体内容将在后续实施例二中详细介绍，此处不赘述。

更优的，本发明实施例一的立体多媒体信息的确定方法，还包括：

对采集的多媒体信息的视差进行规则化，具体内容将在后续的实施例三中详细介绍，此处不赘述。

下面介绍本发明实施例一的立体多媒体信息的确定方法的一个实例的流程示意图，如图3所示。

图3中依次介绍流程中的下述步骤：载入摄像头参数表示载入多媒体信息采集设备的参数，摄像头代表多媒体信息采集设备；开启主动光源。获取图像表示多媒体信息采集设备采集多媒体信息，图像代表多媒体信息；非畸变和翘面表示对采集的多媒体信息进行畸变和翘面修正；登记主动光源的信息；视差规则化；可视顺序检测，例如通过视差探测，确定出不同采集视野角度的多媒体信息采集设备所采集的多媒体信息之间的匹配关系和拼接顺序；缝查找，例如待拼接的两个多媒体信息中同一被摄对象的轮廓处的标记比较密集，根据这些标记勾勒出待拼接的曲线(例如以多标记为节点的折线)，然而根据该待拼接的曲线对两个多媒体信息进行拼接；色彩混合；立体视觉检查；全景图立体视觉渲染；输出立体多媒体信息。

本发明实施例一中，即使不同多媒体信息采集设备所述采集的多媒体信息之间重复区域较小、重复区域形变较大、位置关系不同、或者存在大量重复纹理，可以确定出主动光源照射在被摄对象上的标记在不同多媒体信息中的位置差异，根据位置差异对不同多媒体信息进行匹配，确定出不同多媒体信息之间的视差；进而根据同组多媒体信息采集设备所采集的多媒体信息之间的视差，确定出该组视野角度对应的立体多媒体信息；根据不同组对应目的多媒体信息之间的视差，对这些多媒体信息进行拼接，确定出多组视野角度对应的虚拟现实(环绕立体)多媒体信息。大大提升了多媒体信息匹配成功率，可以提升确定立体多媒体信息的效率。

实施例二

本发明实施例二中具体介绍根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度、光频率、扫描间隔时间中的至少一项的方法。

具体地，根据被摄对象的空间属性和/或被摄对象的内容属性，调整主动光源的扫描密度和/或扫描强度。被摄对象的空间属性包括下述至少一项：被摄对象对应的物距、移动参数。被摄对象的内容属性包括下述至少一项：被摄对象的尺寸、表面特征属性；表面特征属性包括下述至少一项：表面曲率、表面硬度、表面反射性。

较佳地，根据被摄对象对应的物距，自适应调整主动光源的扫描密度。

被摄对象对应的物距可以有两种方法来判定:

第一种方法，主动光源自身周期性的对周围的现实场景进行全方位(360度)扫描照射，多媒体采集设备对周围的现实场景进行全方位的采集；根据采集得到的多媒体信息来确定周围各被摄对象的物距。

第二种方法，保持主动光源关闭状态，直接由多媒体信息采集设备对周围的现实场景中的各被摄对象进行全方位的采集；根据采集得到的多媒体信息确定出周围各被摄对象的粗略的物距。

根据第一、二种方法分别确定出的物距和粗略的物距，自适应调整主动光源针对不同物距的被摄对象的扫描密度。

较佳地，物距越大对应的扫描密度越大。具体地，调大主动光源的扫描密度以照射物距较大的被摄对象，调小扫描密度以照射物距较小的被摄对象。

图4为根据被摄对象对应的物距调整主动光源的扫描密度的一个实例的示意图。图4中的流程中步骤依次包括：全扫描表示对周围现实场景进行全方位的多媒体信息采集、或在主动光源全方位的扫描照射配合下对周围现实场景进行全方位的多媒体信息采集；深度图表示获取基于全面采集得到的包含深度信息的图；主动光源密度调整表示对主动光源的扫描密度进行调整；空间分布表示在主动光源的扫描密度调整后，主动光源发射的光在空间的分布。

可见，根据同一现实场景中的不同被摄对象(例如物体)的物距来对主动光源的扫描密度做调整，避免了主动光源始终工作在最大扫描密度的状态，从而节约了主动光源的能量消耗，既可以延长多媒体信息采集设备的工作时间，又可以缩减功能设备(例如电池)的容量、体积和重量，进一步增强立体多媒体信息的确定系统的便携性和可移动性。

较佳地，根据被摄对象的内容属性，调整所述主动光源的扫描密度和/或扫描强度。被摄对象的内容属性包括下述至少一项：被摄对象的尺寸、表面特征属性；表面特征属性包括下述至少一项：表面曲率、表面硬度、表面反射性。

具体地，现实世界的被摄对象(例如物体)一般具有尺寸大小，表面弯曲程度，柔性表面和反射性表面的特性，根据这些特性，本方案对主动光源进行了自适应的调整，在保持同样的效果同时，来节省能量的消耗。

尺寸：通过多媒体信息采集设备采集被摄对象的多媒体信息，对包含被摄对象的多媒体信息进行检测，识别与分割，并判断被摄对象在多媒体信息采集设备的视角内的尺寸，以这个尺寸为依据，对主动光源在空间上的扫描密度进行调整。

尺寸较大的被摄对象通常距离多媒体信息采集设备较近(即物距较小)，或者比同等物距的尺寸较小的被摄对象拥有更大的投影面积；即使调小主动光源针对尺寸较大的被摄对象的扫描密度，也可以使得多媒体信息采集设备采集的多媒体信息中的被摄对象所在区域包含较多的标记。反之，需要调大主动光源针对尺寸较小的被摄对象的扫描密度，才可能使得多媒体信息采集设备采集的多媒体信息中的被摄对象在所区域包含足够的标记。

表面曲率:通过多媒体信息采集设备采集被摄对象的多媒体信息，对包含被摄对象的多媒体信息进行检测，识别，并根据识别的结果来判断被摄对象的表面曲率，以此为依据，对主动光源的空间扫描密度做调整。另外，也可以调用主动光源对周围现实场景进行全角度的全密度扫描时，同步调用多媒体信息采集设备对周围现实场景进行全角度的采集获取多媒体信息，根据在主动光源配合照射下采集的多媒体信息，确定出多媒体信息中的被摄对象的表面曲率；根据确定出的被摄对象的表面曲率，调整主动光源针对该被摄对象所在空间区域的扫描密度；使得后续主动光源根据调整后的扫描密度对该被摄对象所在空间区域进行扫描照射，同时多媒体信息同步地对该被摄对象进行多媒体信息的采集。

主动光源的发射光照射在表面曲率不同的物体上时，对曲率小的表面，如平面，可以有三个点确定平面的数学描述关系，此时主动光源的空间扫描密度可以最小化；对曲率大的表面，则需要更多的点来建立表面的数学模型，因此，需要主动光源的空间扫描密度较大，并随着曲率的增大而增加，这样可以提供足够多的标记信息从而有效地实现匹配和后处理。

更优的，当被摄对象的表面曲率为预设的曲率档位时，将主动光源针对该被摄对象的扫描密度调整为对应预设的扫描密度档位。

例如，当被摄对象的表面曲率分别为预设的大曲率档位、小曲率档位时，将主动光源针对该被摄对象的扫描密度分别调整为对应的稠密扫描密度档位、稀疏扫描密度档位。

柔性表面：通过多媒体信息采集设备采集被摄对象的多媒体信息，对包含被摄对象的多媒体信息进行检测，识别，根据识别的结果和预先储备的知识，来判断被摄对象表面是否是柔性并容易产生形变，以此为依据来对主动光源的空间扫描密度做调整。

柔性表面形变速率较大时，需要调整主动光源扫描的时间间隔以反映现实物体的形状变化。因此，根据被摄对象的形变速率，调整主动光源的扫描间隔时间。例如,一个气球从没有气到充满气，可以有不同的形变速率,当充气速率慢时,在多媒体信息采集视角下，其形变较慢，因此对气球扫描的扫描时间间隔可以比较长；相对应的,当充气速率快时,其形变较快，因此要正确反映气球的形态，扫描时间间隔要比较短。

柔性的表面容易产生形变，形变的表面与曲率较大的表面类似。因此需要主动光源以较大的扫描密度来照射表面曲率较大的被摄对象，以使得多媒体信息采集设备同步采集足够多的被摄对象上基本不变形的标记，以便于后续基于标记进行多媒体信息的匹配。

更优的，当被摄对象的表面硬度分别为柔性、刚性时，将主动光源针对该被摄对象的扫描密度分别调整为稠密扫描密度档位、稀疏扫描密度档位。

反射性表面：被摄对象的镜面外表会把主动光源所发出的光线反射到其他地方，该被摄对象表面难以留存标记，容易导致多媒体信息采集设备难以采集到该被摄对象表面的标记，容易给后续基于标记的多媒体信息之间的匹配造成困难。因此，从多媒体信息采集设备采集的多媒体信息中，检测和识别出被摄对象的具有反射性的镜面表面。调整主动光源避免对被摄对象的镜面部分的表面发射光。或者，基于预先获取的反射模型，对镜面内的被摄对象做视差调整，尽量真实地反映通过镜面所见被摄对象的视差。

更优的，当被摄对象的表面反射性为镜面反射时，将主动光源针对该被摄对象边缘以内区域的扫描强度调整为低扫描强度档位、和/或将针对该被摄对象边缘以内区域的扫描强度调整为高扫描强度档位。较佳地，低扫描强度档位具体可以包括零扫描强度，即不扫描。

其中，将针对被摄对象边缘以内区域的扫描强度调整为高扫描强度档位的原理如下：当被摄对象的表面反射性为漫反射时，对于多媒体信息采集设备而言，其在采集被摄对象的多媒体信息时，物距为被摄对象至多媒体信息采集设备的距离。

而当被摄对象的表面反射性为镜面反射时，对于多媒体信息采集设备而言，其在采集被摄对象的多媒体信息时，根据镜面反射的原理，等效的物距包括镜面至多媒体信息采集设备的距离、以及镜面至被摄对象(成像面)的距离。也就是说，此时多媒体信息采集设备采集包含标记的被摄对象的多媒体信息的等效物距增大了；因此，与漫反射相比，需要主动光源(以扫描的形式)发射更高强度的光，以保持多媒体信息采集设备可以采集到数量足够多且质量足够好的标记，以保持后续基于标记的多媒体信息的匹配的顺利进行。

图5为根据被摄对象的表面曲率、表面硬度、表面反射性，调整主动光源的扫描密度和/或扫描强度的一个实例的示意图。图5中的流程中的步骤依次包括：全扫描，表示对周围现实场景进行全方位的多媒体信息采集、或在主动光源全方位的扫描照射配合下对周围现实场景进行全方位的多媒体信息采集；彩色摄像头对物体检测/识别表示从作为多媒体信息采集设备的彩色摄像头采集的多媒体信息中，对作为被摄对象的物体进行检测/识别；物体表面特征表示确定出被摄对象的表面特征属性；主动光源密度调整表示对主动光源的扫描密度进行调整；空间分布表示在主动光源的扫描密度调整后，主动光源发射的光在空间的分布。

较佳地，根据被摄对象的移动参数，调整主动光源的扫描密度。

具体地，现实世界的被摄对象，包含相对静止和相对移动两种移动属性。对于移动被摄对象，本发明采取检测，预测模式来对主动光源的开关进行控制。对于多媒体信息采集设备而言，被摄对象的移动还可以划分为相对于多媒体信息采集设备的切向移动和/或径向移动。

第一，多媒体信息采集设备采集被摄对象的多媒体信息，对多媒体信息中的移动的被摄对象进行检测，跟踪，预测出被摄对象的移动参数(例如，移动轨迹、移动速度、和/或移动方向)，并以此为依据对主动光源的不同主动发光单元进行开启和关闭、和/或对主动光源的扫描密度进行自适应预调整；使得在被摄对象移动到下一个位置时，主动光源可以根据预测出的移动参数、同步地跟踪照射到下一个位置或加大对下一个位置的扫描(照射)密度，而停止对其它位置的照射或减小对其它位置的扫描(照射)密度。

第二，多媒体信息采集设备在主动光源的配合照射下采集移动被摄对象的多媒体信息。其它步骤与第一中的方法相同，不赘述。

图6为根据被摄对象的移动参数调整主动光源的扫描密度的一个实例的示意图。图6中的流程中的步骤依次包括：彩色摄像头运动矢量估计，表示对作为多媒体采集设备的彩色摄像设备采集的多媒体信息中的被摄物体的运动矢量(移动参数)进行估计；物体位置预测，表示对作为被摄对象的物体的移动位置进行预测；主动光源调整，表示对作为主动光源的主动检知器的扫描密度和/或扫描强度进行调整；主动光源对准新位置，表示在新的移动位置上进行下一个周期的移动参数的检测及主动光源的调整。

较佳地，根据被摄对象对应的物距或采集环境，调整主动光源的扫描强度。

具体地，除了对主动光源的扫描密度进行自适应调节，也可以对主动光源以扫描方式发射的光的强度进行自适应调节。

第一，多媒体信息采集设备采集在主动光源配合照射下的多媒体信息，从中识别出照射在被摄物体上的标记的视差，进而确定出该标记的深度信息，作为该标记所在被摄物体的物距；根据该物距，调整主动光源的发射光的能量强度。物距越大，则主动光源发射光的强度调整的越大。

第二，关闭主动光源，由多媒体信息采集设备独立采集多媒体信息，从中识别出被摄物体上的视差，进而确定出该被摄物体的深度信息，根据作为周围景物的被摄物体的深度信息，来调整主动光源所发出的能量强度。

而且，这种对以扫描形式发射的光强度的调节方式，与现场的环境相关，如室内和室外，白天还是晚上，现场是否有干扰性的光源等。当周围环境的背景光强度较弱时，例如在室内和/或晚上，调小主动光源发射光的强度。当周围环境的背景光强度较强时，例如存在干扰性的光源时，调大主动光源发射光的强度。

更优的，考虑到人眼的安全性，主动光源的扫描强度被限制在预设的安全扫描强度阈值之下。主动光源的作用距离也被适当限定，例如被限定在5-10米。

图7为根据被摄对象对应的物距或采集环境调整主动光源的扫描强度的一个实例的示意图。图7中的流程的步骤依次包括：主动光源，表示调用主动光源进行照射；深度图，表示周围的被摄对象的深度图；彩色摄像头，表示调用属于多媒体信息采集设备的彩色摄像头采集多媒体信息；环境分析，表示对现场的采集环境进行分析，识别出现场环境的光照条件；基于距离调整发射强度，表示基于物距和/或采集环境，对主动光源发射光的能量强度进行调整。

较佳地，根据采集环境，调整主动光源的光频率。

本发明的发明人注意到，环境光源会对主动光源会产生干扰，造成主动光源在某种条件下无法工作，因此，对环境光源的适应成为必要。在本发明中，采用如下机制，通过改变主动光源发射光的频率来避开环境光源的主要频率，从而达到自适应。

具体地，根据采集环境中干扰光源的光频率，调整主动光源的光频率。

较佳地，将主动光源的光频率，调整到采集环境中干扰光源的光频率范围之外。或者，调用主动光源尝试性发射出多种频率的光；根据在每种频率的光照射下采集的多媒体信息的检验结果，确定出所选择的频率，进而将主动光源的光频率调整至所选择的频率。

图8为根据采集环境调整主动光源的光频率的一个实例的示意图。图8中频率A/B脉冲，表示发射出频率A/B的光脉冲；通过图像检查验证，表示通过图像(属于多媒体信息)检查进行验证，确定出在频率A和B光的照射下的图像质量；彩色摄像头场景分析，表示对多媒体信息采集设备采集的多媒体信息中包含的现实场景进行分析；环境识别，表示识别出现场环境的光照条件；频率选择，表示选取最佳图像质量对应的光频率作为主动光源发射光的频率，相当于对主动光源的光频率进行了调整；最右侧的球面图表示调整光频率的主动光源的照射下采集获取多媒体信息，并确定出立体多媒体信息。

事实上，可以综合根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度和/或光频率。

图9为综合根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度和/或光频率的原理框架示意图。图9中从左至右，全扫描，表示对周围现实场景进行全方位的多媒体信息采集、或在主动光源全方位的扫描照射配合下对周围现实场景进行全方位的多媒体信息采集；深度索引，表示从全方位采集得到的多媒体信息中确定出深度信息；彩色摄像头场景分析，表示对多媒体信息采集设备采集到的多媒体信息进行场景分析；距离适应、强度适应、频率适应、移动适应、结构和比例适应分别表示距离(物距)适应、光能量(强度)适应、频率适应、对被摄物体的移动进行适应、结构和比例适应；光线密度调整、光线强度调整、频率选择、主动光源矫正、主动光源矫正分别表示对主动光源以扫描形式发射的光的密度进行调整、对主动光源的光的强度进行调整、对主动光源的光频率进行选择(调整)、基于被摄物体的移动对主动光源的发射光进行校正(调整)、基于结构和比例对对主动光源的发射光进行校正；这些构成主动光源的操作。

图10为调整主动光源的扫描密度后的一个密度分布实例的示意图。图10中，圆面表示VR采集系统，即本发明中的立体多媒体信息的确定系统，各多媒体信息采集设备和主动光源都设置于该系统中。由于物体与该系统的距离，大远于该系统中多媒体信息采集设备与主动光源之间的距离，因此可以忽略多媒体信息采集设备与主动光源之间的距离；可以认为物体与该系统的距离等于物体与主动光源之间的距离，即可以认为图中图面表示主动光源。同理，后续图例中物体与VR采集系统的距离等于物体与主动光源之间的距离，不再赘述。

图10中，物体与主动光源的距离与空间扫描密度成反比,与扫描强度成正比；线粗细代表扫描强度，线多少代表扫描密度。主动光源向近距离的物体A所在角度发射密度较大的光，向中距离的物体B所在角度发射密度中等的光，向远距离的物体C所在角度发射密度较小的光；向其它角度发射密度较小的光或不发射光。

图11为根据被摄对象的移动参数调整主动光源的扫描密度后的一个密度分布实例的示意图。图11中，实线为对应物体原位置，虚线对应物体下一时刻位置，且扫描密度随距离改变。主动光源到切向/径向运动物体之间的实线，表示主动光源在当前时刻针对运动物体发射的光线，虚线表示主动光源针对运动物体下一时刻位置发射的光线，从实线到虚线的变化表示主动光源跟随被摄对象的移动轨迹调整空间扫描密度。

下面具体介绍本发明实施例二中对主动光源的扫描密度、扫描强度和/或光频率进行调整的应用场景。

应用场景一：多媒体信息采集设备静止，周围被摄对象静止。先调用主动光源以最大扫描密度对周围进行扫描，同时调用多媒体信息采集设备全方位采集周围的多媒体信息，根据多媒体信息确定出周围被摄对象的距离信息，然后再根据各个被摄对象距离的远近，分配不同的扫描密度。该操作可以以一定周期进行。

应用场景二：多媒体信息采集设备静止，周围被摄对象静止。调用多媒体信息采集设备全方位采集周围的多媒体信息，通过双目/多目视觉的方法，根据多媒体信息粗略确定周围被摄对象的距离信息，然后按照各个被摄对象距离的远近，指导主动光源分配不同的扫描密度，该操作可以以一定周期进行。

应用场景三：多媒体信息采集设备静止，周围被摄对象静止。调用多媒体信息采集设备全方位采集周围的多媒体信息，通过双目/多目视觉的方法，根据多媒体信息粗略确定在周围被摄对象的距离信息，然后按照各个被摄对象距离的远近，指导主动光源分配不同的扫描密度；在此基础上,进一步调用多媒体信息采集设备在主动光源的配合照射下采集周围被摄对象的多媒体信息，根据进一步采集的多媒体信息对粗略确定的被摄对象的距离信息进行准确测量，并进一步调整主动光源的扫描密度,该操作可以一一定周期进行。

应用场景四：多媒体信息采集设备与部分周围部分被摄对象之间存在相对运动。调用主动光源以最大扫描密度全方位对周围进行扫描，同时调用多媒体信息采集设备全方位采集周围的多媒体信息，根据多媒体信息确定出周围被摄对象的距离信息，并根据得到的距离信息对不同被摄对象分配扫描密度。同时，根据时间序列信息，对被摄对象的运动方向等移动参数做预测，从而实现对同一个相对移动被摄对象的跟踪扫描。

应用场景五：多媒体信息采集设备与部分周围部分被摄对象之间存在相对运动。通过调用多媒体信息采集设备跟踪采集移动被摄对象的多媒体信息，对移动被摄对象的粗略距离和运动方向进行预测，并指导主动光源对该被摄对象分配特定的扫描密度，并根据时间序列信息对被摄对象进行运动方向做预测，从而实现对同一个相对移动被摄对象的跟踪扫描。

应用场景六：多媒体信息采集设备与部分周围部分被摄对象之间存在相对运动。多媒体信息采集设备对移动被摄对象的粗略距离和运动方向进行预测，并指导主动光源对该被摄对象分配特定的扫描密度，并根据时间序列信息对被摄对象进行运动方向做预测；在主动光源完成初次扫描后，调用多媒体信息采集设备在主动光源的配合照射下，跟踪采集移动的被摄对象的多媒体信息或再次全方位采集多媒体信息；根据跟踪采集的或再次全方位采集的多媒体信息，确定出被摄对象的移动参数的准确测量结果，对被摄对象的位置信息进行更新，从而实现对同一个相对移动被摄对象的跟踪扫描。

应用场景七：多媒体信息采集设备所属的立体多媒体信息的确定系统，相对周围被摄对象存在整体性相对运动，如立体多媒体信息的确定系统在移动中。此时，调用主动光源以最大扫描密度进行全方位扫描，同时调用多媒体信息采集设备在主动光源配合照射下采集全方位的多媒体信息；根据多媒体信息确定出周围各被摄对象的当前距离(物距)。根据当前距离为不同距离的被摄对象分配不同扫描密度后，调用主动光源以调整后的扫描密度进行光扫描，同时调用与光扫描角度相匹配的多媒体信息采集设备采集多媒体信息，根据该多媒体信息判断多媒体信息采集设备和被摄对象的相对运动轨迹，并预测多媒体信息采集设备的位置，来对所有被摄对象重新进行自适应的扫描密度分配。

应用场景八：多媒体信息采集设备所属的立体多媒体信息的确定系统，相对周围被摄对象存在整体性相对运动，如立体多媒体信息的确定系统在移动中。此时，由多媒体信息采集设备采集全方位的多媒体信息；根据多媒体信息确定出周围各被摄对象的当前距离(物距)，根据周围各被摄对象的当前距离，对多媒体信息采集设备的移动做出粗略判断，并根据当前距离对不同距离被摄对象分配不同扫描密度。之后，调用主动光源以调整后的扫描密度进行光扫描，同时调用与光扫描角度相匹配的多媒体信息采集设备采集多媒体信息，根据该多媒体信息(即主动光源自适应后的扫描结果)，判断多媒体信息采集设备和被摄对象的相对运动轨迹，并预测多媒体信息采集设备的位置，来对所有被摄对象重新进行自适应的扫描密度分配。图12示出了根据被摄对象的尺寸/表面曲率调整主动光源的扫描密度/强度的一个实例的示意图。图12中表示在调整主动光源的空间扫描密度、扫描强度的过程中，对于高表面曲率/小尺寸的物体(即被摄对象)所在的角度，分配稠密的扫描密度；对于平坦的/大尺寸的物体所在的角度，分配稀疏的扫描密度；对于不存在(显著性或目标)物体所占的角度，不分配扫描密度，即关闭主动光源中光轴方向位于不存在(显著性或目标)物体所占角度范围内的主动发光单元。

应用场景九：被摄对象的表面曲率较小，如平面的墙，桌子，主动光源以最大密度扫描后，根据被摄对象表面曲率，对涉及到该被摄对象的主动光源扫描密度进行调整，对曲率小的被摄对象表面，仅使用稀疏的密度进行扫描，从而节约能量消耗。

应用场景十：被摄对象表面曲率大的被摄对象，如杯子，棒球，或者一个被摄对象表面的一部分曲率较大，则在主动光源以最大密度扫描后，根据其曲率的复杂程度，使用较为稠密的扫描密度对其进行扫描，从而达到较好的效果。

应用场景十一，调用多媒体信息采集设备采集被摄对象的多媒体信息，对多媒体信息中被摄对象的纹理进行分析，根据纹理来预测表面曲率；如，桌子，其平面部分纹理较少，曲率平滑，而边缘部分有强边缘，曲率较大。基于这一信息来指导对该被摄对象，或该被摄对象不同部分，使用不同的扫描密度进行探测。

应用场景十二，调用多媒体信息采集设备采集被摄对象的多媒体信息，对多媒体信息中的被摄对象进行检测，识别，根据识别的结果和先验知识来确定被摄对象的表面曲率；如，识别为桌子，则其平面部分曲率小，边缘部分曲率大。基于这一信息来指导对该被摄对象，或该被摄对象不同部分，使用不同的扫描密度进行探测。

应用场景十三，调用多媒体信息采集设备采集被摄对象的多媒体信息，对多媒体信息中的被摄对象进行三维重建，根据重建结果来确定被摄对象的表面曲率，基于这一信息来指导对该被摄对象，或该被摄对象不同部分，使用不同的扫描密度进行探测。

应用场景十四：调用多媒体信息采集设备采集被摄对象的多媒体信息，对多媒体信息中的被摄对象进行检测，识别，并对其表面的反射模型进行分析，从而可以根据分析所得到的反射模型和识别结果所联系的被摄对象先验知识，根据被摄对象表面特性来分配主动光源扫描的密度和能量(即强度)。如对镜面反射，采取不投射主动光源能量，仅投射到其边缘的方式，或投射足够强度和根据镜中内容所决定的扫描密度的主动光源射线，来完成对此处的距离测量；对于混合镜面与漫反射的表面，透射足够强度和密度的主动射线，来确保能够在表面形成足够的有效反射，从而完成被摄物体或投射在其上的标记的距离测量。

应用场景十五：调用多媒体信息采集设备采集周期场景的多媒体信息，对多媒体信息中的场景进行解析，当解析出无其他光源干扰的场景时，如室内或室外夜晚，指导主动光源以较小的能量进行工作，降低功耗和安全风险。图13a示出了有/无环境光干扰的采集环境的实例。图13a中物体距离相同,但有无环境光干扰时，主动光源发射光强将作相应调整。具体地图13a的左边部分示出了有环境光干扰的场景下，主动光源发射较高强度的光线；右边部分示出了无环境光干扰的场景下，主动光源发射较低强度的光线。

应用场景十六：调用主动光源在当前场景下进行尝试性光照射，如采取不同的发射强度。当采用较低发射强度时，若仅根据多媒体信息采集设备独立采集的多媒体信息对被摄对象的距离估计有结果，但根据多媒体信息采集设备在主动光源配设照射下采集的多媒体信息反而无法估计饿到可信的距离结果，则需要提高发射强度。另一方面，在距离置信度较高的情况下，缩减主动光源的发射强度，指导距离置信度达到一个预设的门阀值。

应用场景十七：当多媒体信息采集设备根据双目/多目视觉判断被摄对象粗略距离后，对近处的被摄对象采用较小的主动光源发射强度，对远处的被摄对象采用较近的主动光源发射强度。图13b示出了根据被摄对象的物距调整主动光源的扫描强度的一个实例。图13b中物体距离远，则使用粗线表示光线的强度大，物体距离近则使用细线表示小的强度。图13b中主动光源对于近距离的物体采用较低的发射光强度发射光线，对于较远距离的物体采用较高的发生光强度发射光线。

应用场景十八：使用主动光源对周围的被摄对象进行扫描，并根据所得到的距离信息，对近处的被摄对象采用较小的主动光源发射强度，对远处的被摄对象采用较近的主动光源发射强度。

应用场景十九：根据多媒体信息采集设备针对周围场景采集的多媒体信息对场景进行解析，识别常见的干扰光源，如太阳；以及现场环境，如晴天，阴天；来指导主动光源对频率的选择，避开干扰光源的光谱范围。图14为根据采集环境调整主动光源的光频率的一个实例的示意图。图14中，实线和虚线表示不同的光线波长,当虚线波长与环境光相似是,系统仅使用与环境光波长相比不同的实线光进行照射。例如，实线表示频率为A的光线；虚线表示频率为B的光线，首先调用主动光源发射光频率包括A和B的光线，当确定出环境干扰光处于频率B的波段后，控制主动光源停止发射频率B的光线，选择发射频率为A的光线，以消除环境光干扰。

应用场景二十：调用主动光源使用不同的光频率进行尝试，最后选取在当前场景下效果最好的光频率进行扫描发射。

应用场景二十一：根据被摄对象的移动速度，调整主动光源的扫描间隔时间。具体地，对环境中的移动的被摄对象，根据多媒体信息采集设备采集的保护被摄对象的多媒体信息，确定被摄对象的移动速度，从而决定主动光源扫描的间隔时间。如对静止被摄对象，可以间隔时间较长，对快速移动被摄对象则使用最大扫描频率进行扫描。

应用场景二十二：在复杂环境中，以上在扫描密度，扫描频率，扫描强度和扫描光谱的自适应同时出现，互相交叠的综合自适应。

应用场景二十三：当柔性物体发生形变时，其形变速率决定了在多媒体采集设备视角下的形状变化速率，因此，当形变速率较大时，需要照射该柔性物体的主动光源扫描时间间隔较小，以便能正确地反映物体的实时形状；反之，当形变速率较小的时候，对该柔性物体的扫描时间间隔可以较长。进一步的，由于物体形变过程中，其表面曲率也会发生变化，因此主动光源的空间扫描密度也可以遵循上述相关场景进行改变。

本发明实施例二中，可以根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度、扫面间隔时间中的至少一项。在保证基于主动光源照射在被摄对象的标记进行多媒体信息的匹配的基础上，降低主动光源的功耗，可以延长主动光源所在的整个系统的续航时间、和/或有助于削减系统中配置电源的容量，进一步削减系统的体积和重量，提升便携性和移动性。而且根据采集环境调整主动光源的光频率，可以提升抗干扰性能，提升基于标记匹配出的多媒体信息的质量，整体上提升立体多媒体信息的质量。

实施例三

本发明实施例三中具体介绍对采集的多媒体信息的视差进行规则化的方法。对视差的规则化,是指根据已有的匹配关系,修改由于摄像头朝向差异大而引起的视差扭曲,将其整理成与人眼观测时相同的视差状态的过程。

本发明的发明人发现，理想情况下，用户观看哪个方位角度，就需要在哪个方向角度上设置一对双目摄像设备来模拟用户双眼的进行观看(获取图像)。因此现有产品一般都设置较多对摄像设备来简化这种仿生学模拟，但是用户的观看角度是无穷多个，而现有设备无法做到模拟全部的观看角度，导致现有的立体视频在大角度范围内的视差是不稳定的。

下面具体分析现有立体视频的视差不稳定的原因。

图15为现有的立体视频的采集和观看原理的一个特例的示意图。为便于理解，从现有的10-20个摄像设备中选择任意一组(包括左目、和右目)摄像设备来说明立体视频的采集和观看原理。一组双目摄像设备的光轴处于同一平面，为便于理解，假设为双目摄像设备的光轴处于同一水平面。此时，图15可以理解为双目摄像设备的立体视野的水平剖视图或俯视透视图。

左目和右目分别表示左目、和右目摄像设备；左目与右目之间的d表示两个摄像设备之间的基线长度；圆心为多个摄像设备的排布中点，当仅为双目摄像设备时，该排布中心退化为双目摄像设备的基线中点。图15中R表示被摄对象到圆心的距离。A和B分别为两个同物距但不同角度的被摄对象。

立体视频的采集过程中，左目和右目的光轴位置是固定的；例如图15中所示，假设将圆心记为O，则Cam_L左目和Cam_R右目的光轴与AO所在直线平行。当左目和右目采集位于A点的对象的双目帧图像时，A点对应的双目帧图像之间的视差是无损的。但是当左目和右目采集位于B点的对象的双目帧图像时，左目和右目之间的等效基线距离缩小了，导致A点对应的双目帧图像之间的视差发生了损失。

进一步分析，将以圆上的点和左目的光心O₁为两端点的线段、与横轴负方向(向左)之间的夹角记为α；将以圆上的点和右目的光心O₂为两端点的线段、与横轴负方向(向左)之间的夹角记为β；该两个线段之间的夹角记为θ。例如，A点对应α₁、β₁和O₁AO₂的夹角θ_A；B点对应α₂、β₂和O₁BO₂的夹角θ_B,如果保持在左图中，使B点与A点重合，则θ_B显示为O’₁BO’₂即虚线部分

根据三角形的知识可知，180-α+θ+β＝180，则θ＝α-β。θ的角度与视差相对应，θ角度的越大则视差越大，θ角度的越小则视差越小。

从图15中的左边部分的A点，偏移至右边部分的B点(代表圆上偏移A点的任意点)，O₁(圆上的点)O₂这三点的关系可以等效于左边部分图形中线段O₁O₂在过O₁和O₂的辅助圆上旋转至虚线位置。如图所示，对与A点不重合的B点(代表圆上偏移A点的任意点)，角θ_A>θ_B。

根据图形知识，只有在A点的θ具有最大值，α₁-β₁的值大于的α₂-β₂值。A点对应的视差是最大的，圆上的点越偏离A点，对应的视差越小。

从而造成用户观看时，从视觉上感觉A点处的被摄对象最近，偏离A点处的其它被摄对象较远，偏离A点的角度越大的被摄对象越远，导致用户观看时的视差不稳定，容易降低用户的体验。

即使现有技术采用的多组双目摄像设备，也解决不了视差不稳定的问题。具体地，只有每组双目摄像设备正对的(类似A点的位置)被摄对象的视差是无损的(最大的)，其它角度的被摄对象的视差都是有损的(较小的)，且偏离的角度越大对应的视差越小，在相邻两组摄像设备交界处的被摄对象的视差是最小的。

本发明实施例三中通过对至少两个多媒体信息采集设备所采集的多媒体信息的视差进行规则化，来消除不同角度采集的多媒体信息之间的视差不稳定的缺陷。

具体地，先介绍一下视差线和无损视差线。视差线包括垂直视差线和水平视差线。无损视差线包括无损垂直视差线和无损水平视差线。

垂直视差线为与垂直于至少两个多媒体信息采集设备的光轴且经过各多媒体信息采集设备的排布中点的平面、与至少两个多媒体信息采集设备的采集视野的外表面的相交线。当至少两个多媒体信息采集设备的光轴共面时，以各多媒体信息采集设备的光心为各顶点的多边形的中心、或者该多边形中距离各顶点的长度之和为最小值的点，为排布中心。

较佳地，当至少两个多媒体信息采集设备的整体采集视野为球形、球形的一部分或类球形时，各多媒体信息采集设备的排布中点与该球形、球形的一部分或类球形的球心重合。类球形可以包括椭球等。此时，视差线具体化为球形(或类球形)采集视野的经线。

无损垂直视差线为该视差线上的每一像素点到一对多媒体信息采集设备中每个多媒体信息采集设备的距离相等的视差线。较佳地，无损垂直视差线所在平面通常与一对多媒体信息采集设备的光轴，相平行。该对多媒体信息采集设备，观察该无损视差线上的任意点，都是不存在视差损失的(即视差最大)，可以认为该对多媒体信息采集设备正对于该无损视差线。

下面介绍对多媒体信息的视差进行规则化的第一种方法。

根据主动光源照射在被摄对象上的标记在任一对多媒体信息采集设备采集的多媒体信息中的深度信息，确定出多媒体信息中每个像素点的深度信息。

具体地，确定出主动光源照射在被摄对象上的标记在任一对多媒体信息采集设备采集的多媒体信息中的深度信息。

对于多媒体信息中落于标记区域范围内的、或标记邻域内的像素点，将该标记在该对多媒体信息采集设备采集的多媒体信息中的深度信息，作为该像素点在该对多媒体信息采集设备采集的多媒体信息中的深度信息。

对于标记区域范围外的、或标记邻域外的像素点，根据该像素点周围最接近的标记在该对多媒体信息采集设备采集的多媒体信息中的深度信息，作为该像素点在该对多媒体信息采集设备采集的多媒体信息中的深度信息。

较佳地，可以根据该像素点周围最接近的标记在该对多媒体信息采集设备采集的多媒体信息中的深度信息，通过插值确定出该像素点在该对多媒体信息采集设备采集的多媒体信息中的深度信息。

进一步，对于稀疏的标记方法，可以根据标记的深度信息，合并对无标记部分进行图像匹配从而得到的稠密的，像素或亚像素级的深度信息。

根据主动光源照射在被摄对象上的标记的偏航角，确定出与上述任一对多媒体信息采集设备的对应的虚拟双目多媒体信息采集设备的位置。

其中，该标记的偏航角为该标记所属的视差线所在平面与无损垂直视差线所在平面之间的夹角。较佳地，多对虚拟双目多媒体信息采集设备之间的基线距离相等，例如都等于标准基线距离。进一步，标准基线距离可以是与正对于无损垂直视差线的一对多媒体信息采集设备之间的基线距离相等。

较佳地，当至少两个多媒体信息采集设备的整体采集视野为球形(或类球形)视野时，主动光源照射在被摄对象上的标记的偏航角，为该标记所属经线所在平面与无损垂直视差线(此时为经线)所在平面之间的夹角。

根据任一对多媒体信息采集设备采集的多媒体信息中每个像素点的深度信息、和对应的虚拟双目多媒体信息采集设备的位置，将该像素点投影到虚拟双目多媒体信息采集设备的成像面，形成对应的虚拟双目多媒体信息。

图16为对多媒体信息的视差进行规则化的第一种方法的一个实例的示意图。图16中Cam_L、Cam_R分别表示任一对多媒体信息采集设备中的左目、右目多媒体信息采集设备；d、R、A、B、α₁、和β₁各自表示的意义与上述图15中的相同，不赘述。虚拟Cam_L、和虚拟Cam_R表示虚拟双目多媒体信息采集设备；将以圆上的点和虚拟Cam_L的光心为两端点的线段、与横轴负方向(向左)之间的夹角记为α₂；将以圆上的点和虚拟Cam_R的光心为两端点的线段、与横轴负方向(向左)之间的夹角记为β₂。Yaw_a表示A点的偏航角，由于A点所属视差线为无损视差线，该偏航角为0度。Yaw_b表示B点的偏航角，即B点所属视差线所在的平面与A点所属无损视差线所在的平面之间的夹角，等于图中角AOB的度数，O为圆点。

对任一对多媒体信息采集设备采集的多媒体信息中每个像素点进行投影，形成对应的虚拟双目多媒体信息；相当于将在两个原多媒体信息中的像素点，都投影到虚拟双目多媒体信息中。由于虚拟双目多媒体信息采集设备之间的基线距离是规则化的(都等于上述标准基线距离)，因此虚拟双目多媒体信息采集设备对应的虚拟双目多媒体信息之间的视差也是规则化的，是稳定的，可以保证用户在观看虚拟双目多媒体信息时，在视觉上感受到视差是稳定的，被摄物体的物距逼真，容易给用户带来身临其境的沉浸感，可以提升用户体验。

下面介绍对多媒体信息的视差进行规则化的第二种方法。

水平视差线为平行于至少两个多媒体信息采集设备的光轴的平面、与至少两个多媒体信息采集设备的采集视野的外表面的相交线。

水平无损视差线为与至少两个多媒体信息采集设备的光轴所在平面、至少两个多媒体信息采集设备的采集视野的外表面的相交线。

根据采集的多媒体信息中每个像素点的偏航角和/或俯仰角，以及预先建立的多个像素点的偏航角、俯仰角和视差差值之间的对应关系，确定出该像素点的视差差值。

较佳地，至少两个多媒体信息采集设备的整体采集视野为立体形状(例如球形)，其采集的全景多媒体信息是三维的，呈立体面(例如球面)。将该全景多媒体信息，进行三维到二维的转换，例如圆柱投影，得到的二维全景多媒体信息。进一步，当为圆柱投影时，三维的多媒体信息中的垂直视差线，投影在二维的多媒体信息中表现为竖直线段。三维的多媒体信息中的水平视差线，投影在二维的多媒体信息中表现为水平线段。

根据像素点的视差差值，对该像素点所属的垂直视差线和/或水平视差线在经投影的二维多媒体信息中对应的线进行位置调整；从而得到视差规则化后的经投影的二维多媒体信息。

较佳地，像素点的视差差值是通过下述方法确定的：将像素点涉及的虚拟双目多媒体信息之间的视差作为该像素点修正后的视差；进而确定出该像素点修正后的视差与原视差之间的视差差值。

更优的，对于至少两个多媒体采集设备的整体采集视野中每个立体位置的像素点，确定出对应的一对多媒体信息采集设备采集的多媒体信息中该像素点的深度信息，进而确定出每个像素点的实际视差值。

对于多媒体信息中的每个像素点，利用该像素点在(上述第一种方法确定出的)一对多媒体信息采集设备所对应的虚拟双目多媒体信息采集设备的虚拟双目多媒体信息中的投影，确定出该像素点的修正后的(即理想)视差值。

在将多媒体信息进行三维到二维的转换过程中，确定出多媒体信息中每个像素点的偏航角和/或俯仰角。

对于至少两个多媒体信息采集设备的整体采集视野中每个立体位置的像素点，建立该像素点的实际视差值、修正后的视差值、偏航角和俯仰角之间的对应关系。建立该对应关系的步骤的计算量较大，可以离线时完成该步骤。

之后，对于多媒体信息采集设备采集的多媒体信息中的任一个像素点，确定出该像素点的实际视差值、偏航角和俯仰角后，直接根据上述对应关系，查找出对应的修正后的视差值。利用类似于查表的步骤，代替确定出修正后的视差值的复杂步骤，大大节省了确定出修正后的视差值的工作量。因此，根据像素点的实际视差值、修正后的视差值、偏航角和俯仰角之间的对应关系，确定出后续像素点的修正后的视差值的步骤可以在线完成。

进而确定出该像素点修正后的视差与实际视差(即原视差)之间的视差差值。

根据像素点的视差差值，对该像素点所属的垂直视差线和/或水平视差线在经投影的二维多媒体信息中对应的线进行位置调整；从而得到视差规则化后的经投影的二维多媒体信息。

进一步，先建立稠密匹配，技术同第一种方法，也是以稀疏标记点为基础，配合图像匹配技术得到稠密匹配的结果。然后根据球面上任意一点的偏航角，俯仰角，离线对不同距离物体在不同角度进行标定，从而得到任意角度上，任意深度的物体的视差值以及与视差无损线点地同距离物体的视差偏差。当系统工作时，根据俯仰角和偏航角以及当前视差，逆推当前点要转化为正确视差值所需的delta并依据该delta作视差调整。

图17为对多媒体信息的视差进行规则化的第二种方法的一个实例的示意图。图17中按照箭头顺序分为四个子图。

第一个子图的球形表示至少两个多媒体信息采集设备的采集视野为球形视野，经线表示视差线，球面表示至少两个多媒体信息采集设备所采集的全景多媒体信息。

第一个子图与第二个子图之间的箭头表示对球面的全景多媒体信息，进行三维到二维的转换，例如圆柱投影。

第二个子图表示投影得到的二维全景多媒体信息。在第一个子图作为经线的视差线，在第二个子图中表现为竖直线段。在第一个子图的纬线，在第二个子图表现为对应的水平线段。实际上，经过圆柱投影，纬度为0度的纬线(类似于赤道)上的像素点在理论上是没有失真的，而其他纬线附件的像素点都存在一定的失真。因此，第二种方法中水平视差线具体化为纬度视差线；无损水平视差线具体化为无损纬度视差线，即纬度为0的纬度视差线。

在圆柱投影的过程中，可以得到每条视差线的偏航角、和俯仰角(pitch)θ。在第二个子图中，/>分别表示A、B点所属视差线的偏航角；θ_A、θ_B分别表示A、B点所属视差线的俯仰角。/>之间的差值表现为A点、B点所属竖直线段之间的距离；θ_A、θ_B之间的差值表现为A点、B点所属水平线段之间的距离。

第三个子图中的d’表示像素点修正后的视差，即像素点涉及的虚拟双目多媒体信息之间的视差。根据前面的分析，像素点修正后的视差是通过像素点的投影(即像素点的位置偏移)得到的。根据像素点修正后的视差、像素点的偏航角和俯仰角，确定出该像素点修正后的视差与原视差之间的视差差值。例如，A点、B点的视差差值分别为Δd_A、Δd_B。

第四个子图中A点、B点所属竖直线段分别根据Δd_A、Δd_B进行移动，从而得到视差规则化后的(经投影的)二维多媒体信息。

本发明实施例三中，通过对多媒体信息的视差进行规则化，大大提升了多媒体信息的视差的稳定性，可以保证用户在观看虚拟双目多媒体信息时，在视觉上感受到稳定的视差、以及被摄物体的逼真的物距，容易给用户带来身临其境的沉浸感，可以提升用户体验。

实施例四

本发明实施例四中介绍立体多媒体信息的确定装置，该确定装置的内部结构的框架示意图如图18所示，包括：多媒体信息获取模块1801和立体多媒体信息确定模块1802。

其中，多媒体信息获取模块1801用于获取至少两个多媒体信息采集设备分别采集的多媒体信息。

立体多媒体信息确定模块1802用于根据至少一个主动光源，对获取的至少两个多媒体信息进行匹配，确定出相应的立体多媒体信息。

较佳地，立体多媒体信息确定模块1802具体用于至少两个多媒体信息采集设备分别采集多媒体信息时，调用主动光源中的照射角度与多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射；根据照射在被摄对象上的标记，对采集的多媒体信息进行匹配。

较佳地，立体多媒体信息确定模块1802具体用于当主动光源包括多个主动发光单元阵列时，对于每一对多媒体信息采集设备，调用照射角度与该对多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射。

较佳地，立体多媒体信息确定模块1802具体用于根据主动光源照射在被摄对象上的标记，在不同多媒体信息中的位置差异，对不同多媒体信息进行匹配；其中，标记包括下述至少一项：光点、网格光线、经编码的光斑。

较佳地，立体多媒体信息确定模块1802还用于根据主动光源照射在被摄对象上的标记，在不同采集方向的多媒体信息采集设备所采集的多媒体信息中的位置差异，对不同采集方向的多媒体信息采集设备所采集的多媒体信息进行处理。

更优的，如图18所示，本发明实施例四的立体多媒体信息的确定装置，还包括：主动光源调整模块1803。

主动光源调整模块1803用于根据被摄对象和/或采集环境，调整主动光源的扫描密度、扫描强度、光频率、扫描间隔时间中的至少一项。

较佳地，主动光源调整模块1803具体用于根据被摄对象的空间属性和/或被摄对象的内容属性，调整主动光源的扫描密度和/或扫描强度；被摄对象的空间属性包括下述至少一项：被摄对象对应的物距、移动参数；被摄对象的内容属性包括下述至少一项：被摄对象的尺寸、表面特征属性；表面特征属性包括下述至少一项：表面曲率、表面硬度、表面反射性。

较佳地，主动光源调整模块1803具体用于当被摄对象的表面曲率为预设的曲率档位时，将主动光源针对该被摄对象的扫描密度调整为对应预设的扫描密度档位；当被摄对象的表面硬度分别为柔性、刚性时，将主动光源针对该被摄对象的扫描密度分别调整为稠密、稀疏扫描密度档位；当被摄对象的表面反射性为镜面反射时，将主动光源针对该被摄对象边缘以内区域的扫描强度调整为低扫描强度档位、和/或将针对该被摄对象边缘以内区域的扫描强度调整为高扫描强度档位。

较佳地，主动光源调整模块1803具体用于根据采集环境中干扰光源的光频率，调整主动光源的光频率。

较佳地，主动光源调整模块1803具体用于根据被摄对象的移动速度，调整主动光源的扫描间隔时间；根据被摄对象的形变速率，调整主动光源的扫描间隔时间。

更优的，如图18所示，本发明实施例四的立体多媒体信息的确定装置，还包括：视差规则化模块1804。

视差规则化模块1804用于对采集的多媒体信息的视差进行规则化。

较佳地，视差规则化模块1804具体用于根据标记在任一对多媒体信息采集设备采集的多媒体信息中的深度信息，确定出多媒体信息中每个像素点的深度信息；根据多媒体信息中每个像素点的偏航角，确定出与任一对多媒体信息采集设备的对应的虚拟双目多媒体信息采集设备的位置；每个像素点的偏航角为该像素点所属的垂直视差线所在平面与无损垂直视差线所在平面之间的夹角；根据每个像素点的深度信息和虚拟双目多媒体信息采集设备的位置，将该像素点投影到虚拟双目多媒体信息采集设备的成像面，形成对应的虚拟双目多媒体信息；其中，垂直视差线为垂直于至少两个多媒体信息采集设备的光轴且经过各多媒体信息采集设备的排布中心的平面、与至少两个多媒体信息采集设备的采集视野的外表面的相交线；无损垂直视差线为其上的每一像素点到一对多媒体信息采集设备中每个多媒体信息采集设备的距离相等的视差线。

较佳地，视差规则化模块1804还用于根据采集的多媒体信息中每个像素点的偏航角和/或俯仰角，以及预先建立的多个像素点的偏航角、俯仰角和视差差值之间的对应关系，确定出该像素点的视差差值；根据该像素点的视差差值，对该像素点所属的垂直视差线和/或水平视差线在经投影的二维多媒体信息中对应的线进行位置调整；水平视差线为平行于至少两个多媒体信息采集设备的光轴的平面、与至少两个多媒体信息采集设备的采集视野的外表面的相交线。

较佳地，视差规则化模块1804具体用于通过下述方法确定像素点的视差差值：将像素点涉及的虚拟双目多媒体信息之间的视差作为该像素点修正后的视差；进而确定出该像素点修正后的视差与原视差之间的视差差值。

上述多媒体信息获取模块1801、立体多媒体信息确定模块1802、主动光源调整模块1803和视差规则化模块1804功能的实现方法，可以参考上述实施例一之前的概述、以及实施例一至三中的具体内容，此处不再赘述。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种立体多媒体信息的确定方法，其特征在于，包括：

获取至少两个多媒体信息采集设备分别采集的多媒体信息；

根据获取的至少两个多媒体信息中包括的至少一个主动光源在被摄对象上的标记，对获取的至少两个多媒体信息进行匹配，根据相匹配的至少两个多媒体信息，确定出相应的立体多媒体信息。

2.根据权利要求1所述的方法，其特征在于，

所述至少两个多媒体信息采集设备分别采集多媒体信息时，调用主动光源中的照射角度与所述多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射。

3.根据权利要求2所述的方法，其特征在于，所述调用主动光源中的照射角度与所述多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射，包括：

当所述主动光源包括多个主动发光单元阵列时，对于每一对多媒体信息采集设备，调用照射角度与该对多媒体信息采集设备的采集方向相匹配的主动发光单元阵列进行照射。

4.根据权利要求1所述的方法，其特征在于，所述对获取的至少两个多媒体信息进行匹配，包括：

根据所述主动光源照射在被摄对象上的标记，在不同多媒体信息中的位置差异，对所述不同多媒体信息进行匹配；其中，所述标记包括下述至少一项：光点、网格光线、经编码的光斑；所述光点包括下述至少一项：单个光点、光点集合、光点簇。

5.根据权利要求4所述的方法，其特征在于，所述根据所述主动光源照射在被摄对象上的标记，在不同多媒体信息中的位置差异，对所述不同多媒体信息进行匹配，还包括：

根据所述主动光源照射在被摄对象上的标记，在不同采集方向的多媒体信息采集设备所采集的多媒体信息中的位置差异，对所述不同采集方向的多媒体信息采集设备所采集的多媒体信息进行处理。

6.根据权利要求1-5任一项所述的方法，其特征在于，还包括：

根据被摄对象和/或采集环境，调整所述主动光源的扫描密度、扫描强度、光频率、扫描间隔时间中的至少一项。

7.根据权利要求6所述的方法，其特征在于，根据被摄对象，调整所述主动光源的扫描密度和/或扫描强度，包括：

根据被摄对象的空间属性和/或被摄对象的内容属性，调整所述主动光源的扫描密度和/或扫描强度；

所述被摄对象的空间属性包括下述至少一项：被摄对象对应的物距、移动参数；

所述被摄对象的内容属性包括下述至少一项：被摄对象的尺寸、表面特征属性；所述表面特征属性包括下述至少一项：表面曲率、表面硬度、表面反射性。

8.根据权利要求7所述的方法，其特征在于，根据所述被摄对象的表面特征属性，调整所述主动光源的扫描密度和/或扫描强度，包括：

当所述被摄对象的表面曲率为预设的曲率档位时，将所述主动光源针对该被摄对象的扫描密度调整为对应预设的扫描密度档位；

当所述被摄对象的表面硬度分别为柔性、刚性时，将所述主动光源针对该被摄对象的扫描密度分别调整为稠密、稀疏扫描密度档位；

当所述被摄对象的表面反射性为镜面反射时，将所述主动光源针对该被摄对象边缘以内区域的扫描强度调整为低扫描强度档位、和/或将针对该被摄对象边缘以内区域的扫描强度调整为高扫描强度档位。

9.根据权利要求6所述的方法，其特征在于，根据采集环境，调整所述主动光源的光频率，包括：

根据所述采集环境中干扰光源的光频率，调整所述主动光源的光频率。

10.根据权利要求6所述的方法，其特征在于，根据被摄对象，调整所述主动光源的扫描间隔时间，包括：

根据被摄对象的移动速度，调整所述主动光源的扫描间隔时间；

根据被摄对象的形变速率，调整所述主动光源的扫描间隔时间。

11.根据权利要求4-5任一项所述的方法，其特征在于，还包括：

对采集的多媒体信息的视差进行规则化。

12.根据权利要求11所述的方法，其特征在于，所述对采集的多媒体信息的视差进行规则化，包括：

根据所述标记在任一对多媒体信息采集设备采集的多媒体信息中的深度信息，确定出多媒体信息中每个像素点的深度信息；

根据多媒体信息中每个像素点的偏航角，确定出与所述任一对多媒体信息采集设备的对应的虚拟双目多媒体信息采集设备的位置；每个像素点的偏航角为该像素点所属的垂直视差线所在平面与无损垂直视差线所在平面之间的夹角；

根据每个像素点的深度信息和所述虚拟双目多媒体信息采集设备的位置，将该像素点投影到所述虚拟双目多媒体信息采集设备的成像面，形成对应的虚拟双目多媒体信息；

其中，所述垂直视差线为垂直于所述至少两个多媒体信息采集设备的光轴且经过各多媒体信息采集设备的排布中心的平面、与所述至少两个多媒体信息采集设备的采集视野的外表面的相交线；所述无损垂直视差线为其上的每一像素点到一对多媒体信息采集设备中每个多媒体信息采集设备的距离相等的视差线。

13.根据权利要求12所述的方法，其特征在于，所述对采集的多媒体信息的视差进行规则化，还包括：

根据采集的多媒体信息中每个像素点的偏航角和/或俯仰角，以及预先建立的多个像素点的偏航角、俯仰角和视差差值之间的对应关系，确定出该像素点的视差差值；

根据该像素点的视差差值，对该像素点所属的垂直视差线和/或水平视差线在经投影的二维多媒体信息中对应的线进行位置调整；

所述水平视差线为平行于所述至少两个多媒体信息采集设备的光轴的平面、与所述至少两个多媒体信息采集设备的采集视野的外表面的相交线。

14.根据权利要求13所述的方法，其特征在于，所述像素点的视差差值是通过下述方法确定的：

将所述像素点涉及的虚拟双目多媒体信息之间的视差作为该像素点修正后的视差；进而确定出该像素点修正后的视差与原视差之间的视差差值。

15.一种立体多媒体信息的确定系统，其特征在于，包括：至少两个多媒体信息采集设备、主动光源、以及电子设备，所述电子设备被配置为执行权利要求1-14任一项所述的方法。

16.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器；

其中，一个或多个应用程序被存储在所述存储器中，所述应用程序在由所述一个或多个处理器执行时，所述一个或多个处理器执行根据权利要求1～14任一项所述的方法。

17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，当所述计算机程序在处理器上运行时，使得所述处理器执行权利要求1～14任一项所述的方法。