CN105191298A - 使用2d-3d多维内容文件的多维内容服务提供系统、该服务提供方法以及该多维内容文件 - Google Patents

Abstract

本发明涉及使用2D-3D多维内容文件的多维内容服务提供系统以及该服务提供方法。本发明的多维内容提供系统向用户提供至少一个2D图像部分和至少一个3D图像部分相结合的多维内容，其信息处理方法包括以下步骤：A步骤，通过2D播放单元播放2D图像部分；B步骤，通过2D播放单元播放3D图像部分；C步骤，获取在所述B步骤中所播放的失真播放图像；D步骤，通过3D渲染(rendering)引擎对在所述C步骤中所获取的所述失真播放图像进行渲染处理；以及E步骤，将所述渲染处理后的图像提供给用户。

Description

使用2D-3D多维内容文件的多维内容服务提供系统、该服务提供方法以及该多维内容文件

技术领域

本发明涉及使用2D-3D多维内容文件的多维内容服务提供系统以及该服务提供方法，具体涉及能够通过单个播放单元来提供一个文件里同时包含2D图像部分和3D图像部分的多维内容的、使用2D-3D多维内容文件的多维内容服务提供系统以及该服务提供方法。

背景技术

以往，使用普通相机来拍摄不同角度的多个照片，制作成全景照片或者图像的服务而言，即使具备能够进行拍摄的设备和能够观看它的特殊的看片器，如果用户的电脑配置不高的话，视频本身就无法流畅地播放。然而，随着能够更为方便地拍摄3D图像设备的出现，以及用户电脑配置的逐渐升级，现如今的问题是到底能为用户提供多好的内容。

3D图像和2D图像分别带给用户的感染力是不同的。因此，若出现将2D图像和3D图像复合在一个内容里的多维内容，则会受到大量用户的青睐。

另一方面，分别拍摄2D图像和3D图像，并通过能够分别观看的2D或3D播放器以在一个结束的时间点上用另一播放器接着播放的方式进行播放时，在连接的时间点上，即在不同类型的图像相互交替的时间点上所出现的播放器的刷新现象所耗时间较长，因此会让用户误以为图像播放结束。

因此，有必要提供通过2D和3D图像的整合编辑而构成的多维内容。然而，整合编辑方式有各种问题，例如，在进行整合编辑时，由于2D和3D图像的大小不同而引起的在2D上下部分出现的黑色空白部分的控制问题、以及判断播出2D和3D图像的时间点以控制3D渲染的问题等。

因此，迫切需要能够解决导入多维内容、构成多维内容、提供多维内容服务的技术问题的方法。

一般来说，向用户提供图像(视频等)时，2D内容通过2D播放器来播放给用户。而且，全景图像只能通过专门播放3D内容的3D播放器来提供。

此时，2D和3D内容并没有通过相同的播放单元来提供给用户，特别是至少一个部分的2D图像部分与至少一个部分的3D图像部分整合于一个单一文件的情况，未曾提供通过单个播放单元播放这种单一文件的服务。

特别是，如果在体育、音乐、电影、纪录片、教育、广告等各种内容中提供将2D图像部和3D图像部结合在一起的内容的话，能给用户提供独特的体验。因此，迫切需要开发出将2D图像部和3D图像部结合在一起的多维内容的提供系统及其提供方法。

发明内容

所要解决的技术问题

本发明所要解决的第一个问题是提供多维内容提供系统。

本发明所要解决的第二个问题是提供多维内容提供系统的信息处理方法。

本发明所要解决的第三个问题是提供多维内容文件。

解决问题的方法

为了实现本发明的目的，提供一种多维内容提供系统的信息处理方法，向用户提供至少一个2D图像部分与至少一个3D图像部分相结合的多维内容，其特征在于，包括以下步骤：A步骤，通过2D播放单元来播放2D图像部分；B步骤，通过2D播放单元来播放3D图像部分；C步骤，获取在所述B步骤中所播放的失真播放图像；D步骤，通过3D渲染(rendering)引擎对在所述C步骤中所获取的所述失真播放图像进行渲染处理；以及E步骤，将所述渲染处理后的图像提供给用户。

优选为，所述多维内容提供系统获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或者区间位置信息，在所述2D图像部分的起始位置执行所述A步骤，在所述3D图像部分的起始位置执行所述B步骤。

优选为，所述起始位置信息或所述区间位置信息存储在所述多维内容的外部，或者包含在所述多维内容文件的标头中。

优选为，所述起始位置信息或者所述区间位置信息作为所述多维内容的管理信息，存储在与存储有所述多维内容的存储装置相同的存储装置或存储系统上，或者在播放所述多维内容之前通过有线或无线网络从提供所述起始位置信息的第三系统接收。

优选为，所述起始位置信息或所述区间位置信息包括时间区间单位或起始时刻，或者包括帧号区间单位或起始帧号。

优选为，进一步包括以下步骤：F步骤，获取所述2D图像部分和所述3D图像部分的边界信息；G步骤，基于所获取的边界信息，从所述2D图像部分和所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理。

优选为，在所述C步骤中以帧单位获取位图图像，在所述D步骤中以帧单位进行渲染处理。

优选为，在所述D步骤中以球体(sphere)型来进行渲染处理，或者以立方体(cube)型来进行渲染处理。

优选为，所述多维内容提供系统在用户终端上驱动，所述E步骤中，提供给包括在所述用户终端上或者通过有线或无线网络连接于所述用户终端的至少一个显示装置，所述多维内容存储在所述用户终端上，或者从通过有线或无线网络连接于所述用户终端的至少一个服务器实时提供。

优选为，将所述多维内容提供给所述用户终端的方法为，使用HTTP或者RTMP中的任一协议，将多维内容图像信息从所述服务器传输至所述用户终端。

优选为，将所述多维内容提供给所述用户终端的方法为，通过渐进式下载方式或者实时流方式，将多维内容图像信息从所述服务器传输至所述用户终端。

优选为，在所述E步骤中，将所述2D播放单元播放的声音信息与在所述D步骤中经渲染处理的图像进行同步(sync)，以同时提供声音信息和图像信息。

优选为，在所述E步骤中，将所述经过渲染处理的图像中的至少一个预设区域作为显示给用户的观看画面区域而提供。

优选为，有关设定所述观看画面区域的信息存储在所述多维内容的标头信息中，或者从提供所述多维内容的服务器接收，或是在所述多维内容提供系统中进行设定或根据预设的观看画面区域设定规则来进行变更。

优选为，所述观看画面区域的设定，由所述用户进行设定，并且所述用户能够在所述多维内容播放过程中对所述观看画面区域的设定进行变更。

优选为，所述观看画面区域的设定是所述用户指定或者变更用于设定观看画面区域的观看区域方向，指定或者变更所述观看区域方向通过键盘输入、小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

优选为，当所述观看画面区域的设定有变更时，所述多维内容提供系统使用所变更的观看画面区域设定信息来变更在所述渲染处理后的图像中显示给用户的观看画面区域。

优选为，当所述观看区域方向变更时，所述多维内容提供系统在所述渲染处理后的图像上反映所变更的观看区域方向，从而连续地变更显示给用户的观看画面区域。

优选为，当向用户提供所述2D图像部分的播放结果时，所述多维内容提供系统进行控制以去除所述2D图像部分的预设空白区域后提供给用户。

优选为，所述边界信息使用构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或者区间位置信息，进行所述维度转换处理是，以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现淡入(fadein)或淡出(fadeout)效果。

为了实现本发明的目的，提供一种多维内容提供系统，向用户提供至少一个2D图像部分与至少一个3D图像部分相结合的多维内容，其特征在于，所述多维内容提供系统包括：2D播放部，播放2D图像部分和3D图像部分；播放区间属性信息获取部，获取有关作为播放对象的图像部分是2D图像部分还是3D图像部分的播放区间属性信息；失真图像获取部，获取由所述2D播放部播放3D图像部分的结果；渲染部，使用3D渲染引擎来对所述失真图像获取部所获取的失真图像进行渲染处理。

优选为，所述播放区间属性信息获取部获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，或者获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的时间区间对应信息或帧区间对应信息。

优选为，所述播放区间属性信息获取部从所述多维内容文件的标头部、或者独立于所述多维内容文件而存在于外部的播放区间属性信息文件、或者从提供所述多维内容图像信息的多维内容提供服务器，获取所述起始位置信息或所述区间位置信息或者所述时间区间对应信息或所述帧区间对应信息。

优选为，所述起始位置信息或所述区间位置信息或者所述时间区间对应信息或所述帧区间对应信息包括时间区间单位或起始时刻，或者包括帧号区间单位或起始帧号。

优选为，进一步包括维度转换处理部，该维度转换处理部获取所述2D图像部分和所述3D图像部分的边界信息，并基于所获取的边界信息，从所述2D图像部分与所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理。

优选为，所述失真图像为帧单位的位图图像，所述渲染部以帧单位进行渲染处理。

优选为，所述渲染处理部以球体(sphere)型进行渲染处理，或者以立方体(cube)型进行渲染处理。

优选为，所述多维内容提供系统在用户终端上驱动，所述用户终端为个人电脑、智能手机、平板电脑、便携式电脑、游戏机、智能电视、信息亭终端、能够进行通信并包括显示装置的终端、能够从外部获取多维内容文件且内置显示装置或者能够通过有线或无线网络与显示装置进行通信的终端中的至少一个。

优选为，用来驱动所述多维内容提供系统的用户终端使用HTTP或者RTMP中的任一协议从至少一个多维内容提供服务器接收多维内容图像信息，或者通过渐进式下载方式或者实时流方式从所述多维内容提供服务器接收所述多维内容图像信息。

优选为，进一步包括同步处理部，使所述2D播放单元播放的声音信息与经渲染处理的图像同步。

优选为，包括观看画面区域选择支持部，其支持所述用户进行调节以将所述经过渲染处理的图像中的至少一个预设区域作为显示给用户的观看画面区域而提供。

优选为，所述观看画面区域选择支持部用来支持所述用户对观看画面区域进行设定，所述观看画面区域的设定是指定或者变更所述用户用于设定观看画面区域的观看区域方向，指定或者变更所述观看区域方向通过键盘输入、小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

优选为，当所述观看画面区域的设定有变更时，所述多维内容提供系统使用所变更的观看画面区域设定信息来变更在所述渲染处理后的图像中显示给用户的观看画面区域。

优选为，当所述观看区域方向变更时，所述多维内容提供系统在所述经过渲染处理的图像上反映所变更的观看区域方向，从而连续地变更显示给用户的观看画面区域。

优选为，所述边界信息使用构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，进行所述维度转换处理是，以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现淡入或淡出效果。

为了实现本发明的目的，提供一种多维内容文件，其特征在于，包括：文件标头部以及图像数据部；其中，所述图像数据部包括至少一个2D图像部分以及至少一个3D图像部分，所述2D图像部分和所述3D图像部分至少交替出现一次。

优选为，所述文件标头部中还包含播放区间属性信息。

优选为，所述播放区间属性信息还包括在所述图像数据部中对应于所述2D图像部分和所述3D图像部分的图像数据的相关信息。

优选为，播放区间属性信息是所获取的有关所述2D图像部分和所述3D图像部分各自的起始位置信息或者区间位置信息，或是有关所述2D图像部分和所述3D图像部分各自的时间区间对应信息或者帧区间对应信息。

优选为，所述2D图像部分与所述3D图像部分无物理边界划分地相连接。发明效果

利用本发明，可得到如下效果。

第一，能够将多维内容通过单个播放单元无失真地提供给用户。

第二，在3D图像中，能够使用户选择所需的3D图像部分的特定部分，并将所选择的3D图像部分提供给用户。

第三，如果在体育、音乐、电影、纪录片、教育、广告等各种内容中提供将2D图像部分和3D图像部分结合在一起的内容的话，能给用户提供独特的体验。

附图说明

图1是用于提供本发明的多维内容的系统的结构的一实施例的示意图。

图2是用于提供本发明的多维内容的另一系统的结构的一实施例的示意图。

图3是本发明的多维内容提供系统的一实施例的信息处理方法的一实施例的示意图。

图4是本发明的多维内容提供系统的另一实施例的信息处理方法的一实施例的示意图。

图5是本发明的多维内容提供系统的另一实施例的信息处理方法的一实施例的示意图。

图6是用于提供本发明的多维内容的另一系统的结构的一实施例的示意图。

图7是本发明的多维内容的一实施例的结构的一实施例的示意图。

图8是本发明的多维内容的另一实施例的结构的一实施例的示意图。

图9是示出对3D图像和2D图像进行概括比较的示意图。

图10是关于3D图像选择的示意图。

图11是在提供2D图像时提供除去黑色边框的图像的示意图。

具体实施方式

下面，参照附图更为详细地进行说明。

图1至图2是关于用于提供本发明的多维内容的结构的实施例的示意图。包括本发明的多维内容提供系统1000的至少一个用户终端100通过有线或无线网络500连接于至少一个多维内容提供服务器200。所述多维内容提供系统1000包括多维内容提供引擎1100，该多维内容提供引擎1100从所述多维内容提供服务器200下载多维内容文件，或者对存储在所述用户终端100上的多维内容文件执行本发明的思想，或者对从所述多维内容提供服务器200所获取的多维内容图像信息执行本发明的思想。

所述多维内容提供引擎1100包括：2D播放部1110，播放本发明的多维内容；播放区间属性信息获取部1120，对于所述多维内容获取关于2D图像部分和3D图像部分的信息；失真图像获取部1130，获取在所述2D播放部1110播放所述多维内容中所包含的3D部分图像时所生成的失真图像；渲染部1140，对所述失真图像进行渲染处理。另一方面，所述多维内容提供引擎1100还可以包括同步处理部1150，该同步处理部1150使所述2D播放部播放的图像与包含在所述多维内容中的声音信息同步后通过用户终端输出装置2000输出地进行控制。而且，所述多维内容提供引擎1100还可以包括维度转换处理部1160，该维度转换处理部1160能够使所述多维内容中的2D图像部分与3D图像部分在相互转换成彼此时提供到用户显示装置2100上的图像质量得以提高。进而，所述多维内容提供引擎1100还可以包括观看画面区域选择支持部1170，该观看画面区域选择支持部1170支持用户在3D图像部分中设定和变更想要观看的观看画面区域620。

所述多维内容提供系统1000所处理的图像信息可以大致有两种形式。第一种形式可以是所述多维内容提供服务器200通过实时流方式或者渐进式下载方式等传输到所述用户终端100上的多维内容图像信息；第二种形式可以是存储有多维内容的多维内容文件形式。图1是所述多维内容提供引擎1100对所述用户终端100的多维内容图像信息获取部1200通过从所述多维内容提供服务器200的多维内容图像信息传输部220接收多维内容图像信息的方式所获取的多维内容图像信息进行处理的方式的一实施例的示意图。图2是所述用户终端100的多维内容文件获取部从所述多维内容提供服务器200的多维内容文件传输部接收多维内容文件，并由所述多维内容提供引擎1100处理所述多维内容文件的方式的一实施例的示意图。当然，所述用户终端100可以包括图1及图2的全部功能，并且所述多维内容提供服务器200也可以包括图1及图2的全部功能。所述用户终端100可以从任意多维内容提供服务器200获取多维内容图像信息，而从其它多维内容提供服务器200获取多维内容文件，且使至少一个多维内容文件通过USB或者附件等任何方式存储在所述用户终端100上。另一方面，同一台多维内容提供服务器200也可以将多维内容图像信息传输到用户终端100上，也可以同时将多维内容文件传输到用户终端100上。因此，虽然未图示，本领域的技术人员能够明白，可以构成图1及图2的发明思想相结合的混合形式。

本发明的多维内容文件以特殊方式构成。图7至图8示出了本发明的多维内容文件构成形式的一实施例的结构。

多维内容文件包括多维内容标头部以及多维内容数据部。图7示出了常规文件标头部，图8示出了本发明特有的多维内容标头部。图8的多维内容标头部还可以包括常规文件标头部和多维内容播放区间信息标头部，该多维内容播放区间信息标头部包含本发明的多维内容播放区间信息。由图7及图8可知，本发明的多维内容数据部，特征在于，分别包括一个2D数据部和3D数据部。在所述图7及图8中例示出多维内容包括3个2D数据部和2个3D数据部。从播放对象的观点来看，所述2D数据部的图像信息对应于2D图像部分，所述3D数据部的图像信息对应于3D图像部分。在图7及图8中，多维内容数据部从2D图像部分开始，并以2D图像部分结束，然而本领域的技术人员能够明白，也可以从3D图像部分开始，也可以以3D图像部分结束。另一方面，2D图像部分与3D图像部分之间包括边界部，该边界部作为所述2D图像部分与所述3D图像部分的边界。所述边界部与其认为是物理实体，优选认为是概念性的，即、从2D图像部分进入到3D图像部分或者从3D图像部分进入到2D图像部分的边界。

本发明的多维内容数据部，特征在于，2D图像部分与3D图像部分相互交替，从图像部的播放观点来看，所述2D图像部分和所述3D图像部分与时间区间或者帧区间相对应。

下面的表1说明了这些图像部分与时间区间或者帧区间之间的对应信息。

【表1】

附图标记	对应时间区间	对应帧号区间
			410a	T1～T2	Frame Number_a～Frame Number_b
420a	T2～T3	Frame Number_b+1～Frame Number_c
			410b	T3～T4	Frame Number_c+1～Frame Number_d
420b	T4～T5	Frame Number_d+1～Frame Number_e
			410c	T5～T6	Frame Number_e+1～Frame Number_f

在所述表1的对应帧号区间中，_a、_b、_c、_d、_e等表示帧号。

与附图标记410a相对应的2D图像部分，以播放时间为基准时，对应于T1～T2之间，以图像的帧号区间为基准时，对应于FrameNumber_a～FrameNumber_b。一般来说，T1、T2等时间按照秒单位或者比秒单位更小的时间单位来计。在图像播放时，一般来说在正常的图像播放速度下播放时间1秒对应于28帧或32帧的画面，然而也可以根据情况，对应于比这更多帧或者更少帧的画面。将对应于最初3D图像部分的附图标记420a的帧号(FrameNumber)的起始表示为FrameNumber_b+1。FrameNumber_b+1比其之前的2D图像部分的最后帧号FrameNumber_b大1帧。当然，将对应于最初的3D图像部分的附图标记420a的T2表示为比其之前的2D图像部分的最后时间T2大1个最小时间表示单位也合理，然而即使将对应于最初3D图像部分的时间区间用T2～T3表示，在表示时间区间变动方面，也足够能使本领域的技术人员理解本发明的思想目的。所述T1等或FrameNumber_a等可以成为2D图像部分的起始位置信息，而T2或FrameNumber_b+1等可以成为3D图像部分的起始位置信息。

如表1的多维内容播放区间信息(在任意时间区间或者任意帧号区间对应于2D图像部分或者3D图像部分的信息)，如图8所示，可以包含在本发明的多维内容播放区间信息标头部中。在这种情况下，所述播放单元能够利用这种多维内容播放区间信息来区分当前所播放的图像是2D图像还是3D图像。

与所述多维内容播放区间信息存在于所述多维内容播放区间信息标头部的情况不同，所述多维内容播放区间信息可以独立地存在于所述多维内容播放区间信息标头部的外部。如图1所示，当所述播放区间属性信息获取部1120通过所述多维内容提供服务器200的多维内容图像信息传输部220接收多维内容图像信息时，可以从所述多维内容提供服务器200独立地接收有关所述多维内容的多维内容播放区间信息，或者在传输所述多维内容图像信息时接收有关所述多维内容的多维内容播放区间信息。通过拍摄所接收的多维内容播放区间信息，所述多维内容提供引擎1100的失真图像获取部1130获取在通过2D播放单元播放3D图像部分时所生成的失真图像，以支持所述渲染部1140进行渲染处理。另一方面，如图2所例示，在获取所述多维内容文件时，也可以与所述多维内容文件相独立地获取所述多维内容播放区间信息。通常存在图像文件时，图像文件的字幕信息以smi文件的形式提供，同样，所述多维内容播放区间信息也可以以这种独立的文件形式提供，而所述播放区间属性信息获取部1120获取包含这些多维内容播放区间信息的播放区间属性信息文件，用以执行本发明的思想。如图2所示，多维内容播放区间信息可以存储在存储有单独的多维内容的多维内容文件部1300中。

包含有所述多维内容播放区间信息的文件中将包含有如表1的信息(包含对应帧号区间信息更为合理)。这些文件的内容信息可以为如下。

<StartFrameNumber_a>

2D

<EndFrameNumber_b>

<StartFrameNumber_b+1>

3D

<EndFrameNumber_c>

<StartFrameNumber_c+1>

2D

<EndFrameNumber_d>

<StartFrameNumber_d+1>

3D

<EndFrameNumber_e>

<StartFrameNumber_d+1>

2D

<EndFrameNumber_f>

StartFrameNumber是起始帧号，而EndFrameNumber是结束帧号。

为了检测区间，需要对图像设定2D图像部分和3D图像部分分别以时间(秒或者小于秒)单位或者帧单位从哪儿到哪儿播放多少。这些信息可以存储在与多维内容相关的多维内容播放区间信息中，并且所存储的形式也可以是xml文件形式。另一方面，在播放单元内例如所谓GTweenTimeline的对象在图像播放到结束之间设定时间线以使实际图像流式传输播放时，可以从多维内容提供服务器200以预设的秒单位或者小于秒的单位来实时获取图像的元(meta)信息以判断当前进行的时间，也可以判断是否为与包含有多维内容播放区间信息的xml中所设定的2D图像部分和3D图像部分的播放区间/播放时间区间相一致的时间/帧号。

接着，参照附图对本发明的思想进行更为详细的说明。图3是示出了本发明的多维内容提供系统1000的一实施例的信息处理方法。所述多维内容提供系统1000通过2D播放单元播放2D图像部分(S11)，认知开始播放3D图像部分(S12)，并通过2D播放单元播放3D图像部分(S13)，以帧单位获取所播放的位图图像(S14)，通过3D引擎来对所获取的位图图像进行渲染(S15)，并逐帧输出所渲染的图像(S16)，以使所输出的渲染图像与声音同步而提供(S17)。

本发明的多维内容提供系统1000，特征在于，无论是2D图像部分还是3D图像部分均通过一个2D播放单元播放。若通过同一个2D播放单元播放3D图像部分，则会生成失真图像。

当所述播放区间属性信息获取部1120获取到在特定时间点上所播放的图像部分为3D图像部分时，所述多维内容提供引擎1100并不立即将所播放的3D图像部分输出到用户终端输出装置2000。所述失真图像获取部1130获取失真位图图像，该失真位图图像为通过2D播放部1110播放的3D图像部分的播放结果的图像。

所述渲染部1140的所述渲染处理部1142对渲染对象图像获取部1141所获取的渲染对象图像、即所获取的失真位图图像进行渲染处理。所获取的失真位图图像以帧单位进行，渲染也是以帧单位的位图图像作为对象进行。

渲染处理方法可以有球体型(spheretype)和立方体型(cubetype)两种类型。首先说明以spheretype(圆/球体型)来渲染画面的方法。该方法对球体进行渲染，因此能够看到更为细致的画面。然而由于是球体型，因此在表现直线较多的内容时会出现线部分变得不够光滑的情况。然后说明cubetype，是使用立方体在其六个面上渲染纹理(texture)位图(bitmap)数据的方法。如果是水平线和垂直线较多的视频的情况，该方法比spheretype能够将直线表现为一直线。然而，只拍摄一次就能得到结果的方法是不可能的，需要分别拍摄各个面以进行渲染。

例如，若使用papervision3D程序，则可以将以位图数据捕获的帧单位的位图数据转换为使得Sphere(球体)对象以球体型进行渲染。此时，如果所转换的数据小于30帧，则实际在papervision3D上通过渲染引擎的QuadrantRenderEngine对象以球体型逐帧地对画面进行3D渲染。渲染后的图像通过渲染图像提供部1143提供到渲染部1140的外部。

本发明的同步处理部1150使所述2D播放单元所播放的声音信息与渲染处理后的图像同步，以便能够一同提供声音信息和图像信息的进行控制。与失真图像的生成或者渲染处理相独立的，在后台通过所述2D播放单元连续地播放2D图像部分或者3D图像部分。此时，由于通过2D播放单元播放的失真图像会伴随渲染处理，因此所需的时间长于通过通常的2D播放单元提供2D图像部分的播放图像的时间。因此，通过2D播放单元播放3D图像部分时的语音或者声音等和提供所述渲染处理后的图像时需要进行同步处理。对渲染处理后的图像和通过2D播放单元播放3D图像部分的同时所生成的声音(语音等)信息的具体同步方法，对于本领域人员来说是显而易见的，因此省略详细说明。

接着，参照图4对本发明的维度转换处理部1160进行说明。

在显示2D图像部分和3D图像部分的过程中，由于该2D图像部分与3D图像部分的转换过程中的各种原因(尤其是进行播放的电脑的配置)等，在播放过程中用户的显示屏上出现如画面不连续的现象等，给用户带来麻烦。因此，需要一种画面从2D图像转换到3D图像时等不给用户带来麻烦的转换或切换方式。

所述维度转换处理部1160获取所述2D图像部分和所述3D图像部分的边界信息(S21)，并基于所获取的边界信息，从所述2D图像部分和所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理(S22)。所述维度转换处理部1160的边界信息获取部1161获取边界部的相关信息，并在边界部的附近进行维度转换处理。

在播放2D图像部分和3D图像部分的过程中，在边界部分实际发生的事项为球体(sphere)对象和平面(plane)对象之间的转换。此时，如果在转换过程中加入淡入或淡出(fadein/out)处理的逻辑，就能实现自然的画面转换。如此，维度转换处理部将体现淡入淡出效果的对象，在从2D图像部分变更为3D图像部分的瞬间/边界部或者从3D图像部分变更为2D图像部分的瞬间/边界部，增加相当于在该边界部附近或边界部前后预设的时间/帧的量，或者进行替换，从而在变更时看不到画面不连续部分。

接着，参照图5至图6，对本发明的观看画面区域选择支持部1170进行说明。

所述多维内容提供引擎1100可以将所述渲染处理后的图像的至少一个预设区域作为显示给用户的观看画面区域620而提供。设定这些观看画面区域620，由所述用户来进行设定，优选为，所述用户能够在所述多维内容播放过程中对所述观看画面区域620的设定进行变更。当然，有关设定这些观看画面区域620的信息可以存储在所述多维内容的标头信息中，或者从提供所述多维内容的多维内容提供服务器200接收，或者是在所述多维内容提供系统1000中进行设定，或者也可以根据预设的观看画面区域设定规则进行变更。

图5示出并非由用户而是从外部设定观看画面区域620的方式的示意图。所述观看画面区域选择支持部1170获取用于设定显示给用户的观看画面区域620的信息(S31)，再使用所获取的观看画面区域620设定信息来获取对应于观看画面区域620的3D部分图像信息(S32)。

图6示出了所述观看画面区域选择支持部1170的信息处理方法的一实施例的示意图。所述观看画面区域选择支持部1170从用户获取有关用户想要观看的3D图像部分的选择信息(S41)，并获取所获取到的选择信息的3D图像部分(S42)。

在播放3D图像部分的过程中，用户可以通过设定观看画面区域620来观看自己想要方向的3D图像。所述观看画面区域620的设定是所述用户指定或者变更用于设定观看画面区域620的观看区域方向，而指定或变更所述观看区域方向，优选通过键盘输入、小键盘输入、触摸输入、语音输入、动作输入中的至少一种输入来实现。优选为，当通过这种输入变更所述观看画面区域620的设定时，所述多维内容提供系统1000使用所变更的观看画面区域设定信息来变更在所述渲染处理后的图像中显示给用户的观看画面区域620。例如，在所述图10中将观看画面区域620指定为左侧方向时(在显示在用户终端100上的选择3D图像630画面上用手指等进行将画面从右侧推向左侧等的动作)，可以从显示抱着小狗的成年人和小孩子的当前画面(显示在630的图像)控制成在所述3D图像610中显示位于当前观看画面区域620左侧的图像(例如，位于大人推着婴儿车的那一侧的图像)。

如果利用本发明的思想，尤其是3D图像部分以将从多个摄像机镜头获取的图像合并显示在一个画面上的方式构成的情况，当用户为了变更观看画面区域620而移动方向时，能够提供对应于所移动方向的图像。即，可以在一个摄像机上具备用于获取对应于上下左右前后方向中的两个以上方向的图像的多个镜头，且从这些镜头所获取的每个图像被合并形成一个3D图像。并且，图像被合并时，可以对通过特定镜头获取的图像进行控制或者编辑，使其配置在3D图像的特定的位置或者区域。在这种情况下，在用户当前所观看的画面下按下左侧按键或者向左侧方向触摸时，可以将位于当前所观看的图像左侧的图像作为新的观看画面区域而提供给用户。这类似于直视的人向左转头看向左侧时位于左侧方向的光景映入眼帘的情况。此时，优选为，当所述观看区域方向变更时，所述多维内容提供系统1000在所述渲染处理后的图像上反映所变更的观看区域方向而连续地变更显示给用户的观看画面区域。

本发明的3D图像的一例可以是全景图像。可以在一个摄像机上具备用于获取对应于上下左右前后方向中的两个以上方向的图像的多个镜头，并将从这些镜头所获取的每个图像进行合并而形成所述全景图像，或者可以使用多个摄像机，并将从各摄像机所获取的图像进行合并而形成一个全景图像。在这种情况下，所述3D图像部分可以是全景图像部分。

图10示出了关于如上所述的选择观看画面区域620的本发明思想的概念图。由图10可知，用户观看的3D图像部分为实际正在播放的3D图像部分中的一部分。在图10中示出了如下的本发明的思想概念，在实际正在播放的3D图像部分、即3D图像610中，将框型的观看画面区域620内的被选择图像作为提供给用户的选择的3D图像630。此时，如果用户想从自己正在观看的画面变更观看方向，则设定变更方向，则向用户提供位于所变更的方向侧的、对应于预设尺寸(例如，横向n*竖向m的尺寸)的另一图像。

此时，成为所述渲染部140的渲染对象的可以是对所述3D图像部分整个的播放结果，然而也可以只对提供给所述用户的观看画面区域620进行渲染。在前一种情况下，所述观看画面区域选择支持部1170选择观看画面区域620的结果，在所渲染的图像中发挥作用(带来所选择的观看画面区域)，而在后一种情况下，则可以在被渲染目标图像、即失真图像中发挥作用。

接着，参照图9及图11对本发明的空白处理部1180进行说明。图9示出了本发明的3D图像和2D图像的一实施例的比较例。由图9及图11可知，在2D中2D图像660的外周存在黑色的边框部650。所述多维内容提供系统1000的空白处理部1180可以在播放2D图像时除去所述2D图像部分的空白，而只将实际图像提供给用户。虽然2D图像和3D图像其制作方法有可能不同，但有时两种图像均以2400×1200像素(pixel)的一般2D图像的形式构成一个单一文件(如图9所例示，可以看出，将包括3D图像610和2D图像660的边框部650的外缘作为基准时，具有相同的像素数)。此时，由于单个文件以相同的分辨率制作而成，因此会发生2D图像在全高清(FullHD)分辨率下以上下各留60像素、左右各留240像素余量的方式制作的情况。因为2D部分图像的图像中在2400×1200的尺寸下除了被播放的1920×1080的中心部之外，存在框架型的黑色边框部650。在多维内容图像中，由于在2D图像部分始终存在该黑色边框，因此所述多维内容提供系统1000可以检测该部分的黑色并将其作为元数据自动记录在视频标头中，或者进行信息处理，以记录如表1的时间表值。其结果，在播放所述多维内容时，也可以读取该时间表值并以其作为基准，从而容易地实现图像转换。

可举例说明本发明的空白处理部1180的信息处理如下。在播放2D图像部分时，可以通过papervision3D库(library)中的称为CameraObject3D类(class)(该类是播放3D对象时用于指定缩放(zoom)、焦距(focus)等部分)来调节图像的实际大小。此时，在2D图像部分的播放区间内，当开始播放2D图像部分时，若将camera.z(设定缩放的函数)设定为-200等，则图像被放大(zoomin)，控制为向用户不显示所述空白(黑色边框)。图11示出了本发明的空白处理部1180的信息处理对象(660以及650)与进行空白处理后的结果图像670之间的对比。

从所述多维内容提供服务器200向包含有所述多维内容提供系统1000的用户终端100传输图像信息的方法可以利用各种方法。传输时的通信协议优选使用HTTP或者RTMP中的任一个。并且，将所述多维内容提供给用户终端100的方法，优选为从所述多维内容提供服务器200通过渐进式下载(progressivedownload)方式或者实时流(livestreaming)方式向所述用户终端100传输所述图像信息。

使用HTTP协议的渐进式下载方式使用在网页浏览器中使用的基本协议，使用80端口，是下载服务图像时进行一定程度的缓冲而播放图像的方法。

RTMP协议为进行实时流图像传输时所使用的协议，使用1935端口，是通过实时传送的标头元数据值在用户指定的时间点上进行设定的post缓冲而播放的方法。优选基本上能够实时接收图像标头值的RTMP(实时流)方式。

在表2中对渐进式下载方式和实时流方式的特性进行了比较。

【表2】

【产业上的利用可能性】

本发明能够广泛利用于体育、音乐、电影、纪录片、教育、广告等各种内容相关业务以及图像相关产业。

附图标记

100：用户终端

200：多维内容提供服务器

210：多维内容文件管理部

220：多维内容图像信息传输部

221：多维内容串流提供部

222：多维内容渐进式下载提供部

310：多维内容标题部

310a：常规文件标题部

310b：多维内容播放区间信息标题部

320：多维内容数据部

410：2D图像部分

410a、410b、410c：个别的2D图像部分

420：3D图像部分

420a、420b、420c：个别的3D图像部分

430：边界部

430a、430b、430c：个别的边界部

610：3D图像

620：观看画面区域

630：选择3D图像

650：边框部

660：2D图像

670：进行空白处理后的图像

1000：多维内容提供系统

1100：多维内容提供引擎

1110：2D播放部

1120：播放区间属性信息获取部

1130：失真图像获取部

1140：渲染部

1142：渲染图像获取部

1141：渲染处理部

1143：渲染图像提供部

1150：同步处理部

1160：维度转换处理部

1161：边界信息获取部

1170：观看画面区域选择支持部

1171：观看画面区域选择获取部

1180：空白处理部

1200：多维内容图像信息获取部

1300：多维内容文件部

1310：多维内容文件

1320：多维内容播放区间信息

2000：用户终端输出装置

2100：显示装置

2200：声音输出装置

Claims (18)

1.一种多维内容提供系统的信息处理方法，向用户提供至少一个2D图像部分与至少一个3D图像部分相结合的多维内容，其特征在于，包括以下步骤：

A步骤，通过2D播放单元播放2D图像部分；

B步骤，通过2D播放单元播放3D图像部分；

C步骤，获取在所述B步骤中所播放的失真播放图像；

D步骤，通过3D渲染引擎对在所述C步骤中所获取的所述失真播放图像进行渲染处理；以及

E步骤，将经过渲染处理后的所述图像提供给用户；

所述多维内容提供系统获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或者区间位置信息，

在所述2D图像部分的起始位置执行所述A步骤，

在所述3D图像部分的起始位置执行所述B步骤。

2.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，

所述起始位置信息或所述区间位置信息存储在所述多维内容的外部，或者包含在所述多维内容文件的标头中，

所述起始位置信息或所述区间位置信息包括时间区间单位或起始时刻，或者包括帧号区间单位或起始帧号。

3.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，进一步包括以下步骤：

F步骤，获取所述2D图像部分和所述3D图像部分的边界信息；以及

G步骤，基于所获取的边界信息，从所述2D图像部分与所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理；

所述边界信息使用构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或者区间位置信息，或者

在进行所述维度转换处理中，以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现淡入或淡出效果。

4.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，

在所述C步骤中，以帧单位获取位图图像，

在所述D步骤中，以帧单位进行渲染处理，

在所述D步骤中，

以球体(sphere)型进行渲染处理，或者以立方体(cube)型进行渲染处理。

5.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，

所述多维内容提供系统在用户终端上驱动；

在所述E步骤中，提供给包含在所述用户终端内或者通过有线或无线网络连接于所述用户终端的至少一个显示装置；

所述多维内容存储在所述用户终端上，或者从通过有线或无线网络连接于所述用户终端的至少一个服务器实时提供；

当从通过有线或无线网络连接于所述用户终端的至少一个服务器实时提供时，向所述用户终端提供所述多维内容的方法为，

使用HTTP或者RTMP中的任一协议，将多维内容图像信息从所述服务器传输至所述用户终端，或者

通过渐进式下载方式或实时流方式，将所述多维内容图像信息从所述服务器传输至所述用户终端。

6.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，

在所述E步骤中，提供所述渲染处理后的图像中的至少一个预设区域作为显示给用户的观看画面区域；

所述观看画面区域的设定，能够由所述用户进行设定，

所述用户能够在所述多维内容播放过程中对所述观看画面区域的设定进行变更。

7.根据权利要求6所述的多维内容提供系统的信息处理方法，其特征在于，

所述观看画面区域的设定是所述用户指定或者变更用于设定观看画面区域的观看区域方向；

所述观看区域方向的指定或者变更通过键盘输入、小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

8.根据权利要求7所述的多维内容提供系统的信息处理方法，其特征在于，

当所述观看画面区域的设定有变更时，

所述多维内容提供系统使用所变更的观看画面区域设定信息来变更在经过所述渲染处理的图像中显示给用户的观看画面区域；或者

当所述观看区域方向变更时，所述多维内容提供系统在经过所述渲染处理的图像上反映所变更的观看区域方向，从而连续地变更显示给用户的观看画面区域。

9.根据权利要求1所述的多维内容提供系统的信息处理方法，其特征在于，

在将所述2D图像的播放结果提供给用户时，所述多维内容提供系统进行控制以去除所述2D图像部分的预设空白区域后提供给用户。

10.一种多维内容提供系统，向用户提供至少一个2D图像部分与至少一个3D图像部分相结合的多维内容，其特征在于，包括：

2D播放部，播放2D图像部分和3D图像部分；

播放区间属性信息获取部，获取有关作为播放对象的图像部分是属于2D图像部分还是3D图像部分的播放区间属性信息；

失真图像获取部，获取由所述2D播放部播放3D图像部分的结果；以及

渲染部，使用3D渲染引擎来对所述失真图像获取部所获取的失真图像进行渲染处理；

其中，所述播放区间属性信息获取部获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，或者获取构成所述多维内容的所述2D图像部分和所述3D图像部分各自的时间区间对应信息或帧区间对应信息。

11.根据权利要求10所述的多维内容提供系统，其特征在于，

所述播放区间属性信息获取部从所述多维内容文件的标头部、或者从独立于所述多维内容文件而存在于外部的播放区间属性信息文件、或者从提供所述多维内容图像信息的多维内容提供服务器获取所述起始位置信息或所述区间位置信息或者所述时间区间对应信息或所述帧区间对应信息；

所述起始位置信息或所述区间位置信息或者所述时间区间对应信息或所述帧区间对应信息包括时间区间单位或起始时刻，或者包括帧号区间单位或起始帧号。

12.根据权利要求10所述的多维内容提供系统，其特征在于，进一步包括：

维度转换处理部，用于获取所述2D图像部分和所述3D图像部分的边界信息，并基于所获取的边界信息，从所述2D图像部分与所述3D图像部分的边界部起在预设的边界范围内进行维度转换处理；

所述边界信息使用构成所述多维内容的所述2D图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，或者

所述维度转换处理中，以所述边界部为基准对预设的时间区间或预设的帧区间进行处理以呈现淡入或淡出效果。

13.根据权利要求10所述的多维内容提供系统，其特征在于，

所述失真图像为帧单位的位图图像，

所述渲染部以帧单位进行渲染处理；

所述渲染处理部以球体(sphere)型进行渲染处理，或者以立方体(cube)型进行渲染处理。

14.根据权利要求10所述的多维内容提供系统，其特征在于，

所述多维内容提供系统在用户终端上驱动，

所述用户终端为个人电脑、智能手机、平板电脑、便携式电脑、游戏机、智能电视、信息亭终端、能够进行通信并包括显示装置的终端、能够从外部获取多维内容文件并内置显示装置或者能够通过有线或无线网络与显示装置进行通信的终端中的至少一个，

用来驱动所述多维内容提供系统的用户终端使用HTTP或者RTMP中的任一协议，从至少一个多维内容提供服务器接收多维内容图像信息，或者

通过渐进式下载方式或者实时流方式，从所述多维内容提供服务器接收所述多维内容图像信息。

15.根据权利要求10所述的多维内容提供系统，其特征在于，包括：

观看画面区域选择支持部，支持用户进行调节将所述经过渲染处理的图像中的至少一个预设区域作为显示给用户的观看画面区域而提供；

所述观看画面区域选择支持部用来支持所述用户对观看画面区域进行设定；

所述观看画面区域的设定是所述用户指定或者变更用于设定观看画面区域的观看区域方向；

所述观看区域方向的指定或者变更通过键盘输入、小键盘输入、触摸输入、语音输入、动作输入中的任一种或多种输入来实现。

16.根据权利要求15所述的多维内容提供系统，其特征在于，

当所述观看画面区域的设定有变更时，

所述多维内容提供系统使用所变更的观看画面区域设定信息来变更在所述经过渲染处理的图像中显示给用户的观看画面区域；或者

当所述观看区域方向变更时，所述多维内容提供系统在所述经过渲染处理的图像上反映所变更的观看区域方向，从而连续地变更显示给用户的观看画面区域。

17.一种多维内容文件，其特征在于，

包括文件标头部以及图像数据部；

所述图像数据部包括至少一个2D图像部分以及至少一个3D图像部分；

所述2D图像部分和所述3D图像部分至少交替出现一次；

所述文件标头部中还包含播放区间属性信息；

所述播放区间属性信息还包括在所述图像数据部中对应于所述2D图像部分和所述3D图像部分的图像数据的相关信息。

18.根据权利要求17所述的多维内容文件，其特征在于，

播放区间属性信息是所获取的所述2D图像部分和所述3D图像部分各自的起始位置信息或区间位置信息，或者是所述2D图像部分和所述3D图像部分各自的时间区间对应信息或帧区间对应信息。