CN102177718B - 一种用于产生多视图媒体数据的方法及设备 - Google Patents

一种用于产生多视图媒体数据的方法及设备 Download PDF

Info

Publication number
CN102177718B
CN102177718B CN200880131456.4A CN200880131456A CN102177718B CN 102177718 B CN102177718 B CN 102177718B CN 200880131456 A CN200880131456 A CN 200880131456A CN 102177718 B CN102177718 B CN 102177718B
Authority
CN
China
Prior art keywords
media
view
priority identifier
media data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200880131456.4A
Other languages
English (en)
Other versions
CN102177718A (zh
Inventor
珀·福罗德亨
巫壮飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN102177718A publication Critical patent/CN102177718A/zh
Application granted granted Critical
Publication of CN102177718B publication Critical patent/CN102177718B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

通过提供媒体内容的多个媒体视图的编码后的媒体数据来产生多视图媒体数据。每个媒体视图(22-28)与结构优先级标识符(36)相关联，结构优先级标识符(36)指示媒体数据相对于至少另一媒体视图(22-28)的媒体数据的编码相互关系。优选地，针对每个媒体视图(22-28)，确定内容优先级标识符(38)。与结构优先级标识符(36)不同，内容优先级标识符(38)指示媒体视图(22-28)的媒体数据的呈现重要性等级。确定和包括内容优先级标识符(38)提供了与例如多视图媒体数据的选择性剪裁、呈现和/或保护应用相结合的、改进的媒体数据处理。

Description

一种用于产生多视图媒体数据的方法及设备
技术领域
本发明总体涉及多视图媒体数据，具体地，涉及这种多视图媒体数据的产生和处理。 
背景技术
运动画面专家组(MPEG)[1]和电信标准化分部(ITU-T)研究组16(SG16)正在进行的对多视图视频编码(MVC)的标准化是一种对通过多个摄像机或摄像机阵列产生的视频序列进行编码的视频编码技术。MVC以高效的方式利用多个视频视图之间的冗余，以提供紧凑的编码视频流。MVC基于高级视频编码(AVC)标准(也称为ITU-T H.264)，因此MVC比特流语法和语义保持与AVC比特流语法和语义相似。 
ISO/IEC 14496-15[2]是国际标准，被设计为采用便于管理AVC比特流的灵活和可扩展的格式来包含AVC比特流信息。该标准与MP4文件格式[3]和3GPP文件格式[4]兼容。所有这些标准均是从由MPEG定义的ISO基本媒体文件格式[5]中导出的。MVC视频流的存储被称为MVC文件格式。 
在MVC文件格式中，文件中的一个或多个视频轨道表示多视图视频流。每个轨道表示流的一个或多个视图。除了编码后的多视图视频数据本身，MVC文件格式还包括要在处理视频数据时使用的元数据。例如，每个视图具有相关联的视图标识符，这意味着一个视图内的MVC网络抽象层(NAL)单元具有完全相同的视图标识符，即，具有MVC NAL单元首部扩展中的view_id字段的相同值。 
MVC NAL单元首部扩展还包括指定NAL单元的优先级标识符的priority_id字段。在所建议的标准[6]中，较低的priority_id值指定了较高的优先级。priority_id用于定义NAL单元优先级，并依赖于比特 流，因为priority_id反映了来自不同视图的视频数据的互编码关系。 
发明内容
现今使用的优先级标识符仅仅指定了来自MVC文件中提供的摄像机视图的视频数据的互编码关系。这种与编码相关的优先级尽管可以用于实现对来自不同摄像机视图的视频数据进行基于内容的处理，但是只能有限地实现。 
本发明实施例克服了现有技术配置的这些和其他缺点。 
本发明的总体目的是提供可更加高效地处理的多视图媒体数据。 
该目的和其他目的是通过所附专利权利要求限定的实施例来实现的。 
简而言之，本发明实施例涉及通过提供表示场景的多个媒体视图的编码后的媒体数据来产生多视图媒体数据。每个媒体视图与相应的结构优先级标识符相关联。结构优先级标识符表示相关联媒体视图的媒体数据相对于至少另一媒体视图的媒体数据的编码相互关系。因此，结构优先级标识符以如下方式依赖于比特流：它们与媒体数据的编码相关，并提供在媒体数据编码中使用的视图间预测的层次等级的指令。 
针对多个媒体视图的至少一部分中的每个媒体视图，确定内容优先级标识符。与结构优先级标识符明显不同，内容优先级标识符表示相关联媒体视图的媒体数据的呈现重要性等级。例如通过将所确定的内容优先级标识符包括在承载媒体视图的媒体数据的一个或多个数据分组中，或者通过使所确定的内容优先级标识符与指示媒体视图的视图标识符相关，将所确定的内容优先级标识符与相关媒体视图相关联。 
可选地，可以包括编码后的媒体数据，作为媒体容器文件的一个或多个媒体轨道。然后，包括结构优先级标识符和内容优先级标识符，作为在处理媒体数据期间适用于媒体轨道的元数据。 
内容优先级标识符允许在数据处理设备处对多视图媒体数据进行选择性和差异化的基于内容的处理。在这种情况下，基于内容优先级标识符，优选地还基于结构优先级标识符，选择编码后的媒体数据的媒体数据子集。然后，将媒体数据的处理仅仅应用于所选媒体数据子 集，或者与其余媒体数据相比，针对所选媒体数据子集使用另一类型的媒体数据处理。 
附图说明
参照结合附图而进行的以下描述，可以最佳地理解实施例以及实施例的其他目的和优点，附图中： 
图1是示意了根据实施例产生多视图媒体数据的方法的流程图； 
图2是可用于记录多视图视频数据的摄像机阵列的示意图； 
图3是示意了图1中的媒体数据产生方法的附加步骤的流程图； 
图4是根据实施例的媒体容器文件的示意图； 
图5是根据实施例的媒体产生设备的示意框图； 
图6是根据实施例的处理多视图媒体数据的方法的流程图； 
图7至11是示意了图6中的媒体数据处理方法的处理步骤的不同实施例的流程图； 
图12是根据实施例的数据处理设备的示意框图； 
图13是根据另一实施例的数据处理设备的示意框图；以及 
图14是其中可以实现实施例的通信系统的示例的概述。 
具体实施方式
在整个附图中，相同的参考标记用于相应或相似的元素。 
本发明实施例总体涉及所谓多视图媒体数据的产生和处理，具体地，涉及提供优先级信息和与媒体数据处理相关地使用这种优先级信息。 
多视图媒体数据意味着媒体内容的多个媒体视图可用，其中，每个这种媒体视图产生表示媒体内容但来自多个可用媒体视图之一的媒体数据。这种多视图媒体的典型示例是多视图视频。在这种情况下，相对于要记录的场景，提供了多个摄像机或其他媒体记录/创建设备或多个这种摄像机的阵列。由于摄像机具有相对于内容的不同位置和/或不同指向和/或焦距，因此它们提供了内容的备选视图。图2示意性地示出了这种概念，其中，多个摄像机12-18的阵列10位于场景30附近， 例如，场景30是要由不同摄像机12-18来记录足球比赛的足球场。该图还指示了摄像机12-18的相应摄像机视图22-28。在该示意性示例中，摄像机12-18位于沿足球场长度的不同位置，从而记录场地的不同位置。这意味着摄像机12-18捕捉从其相应摄像机视图22-28看到的媒体内容的不同版本。 
如本领域公知的，视频数据编码典型地基于相对像素预测，如在H.261、H.263、MPEG-4和H.264中。在H.264中，利用了3种像素预测方法，即帧内、帧间和双向预测。帧内预测提供根据当前帧的先前解码像素对当前像素块的空间预测。帧间预测使用先前解码帧中对应的但是移位的像素块来给出当前像素块的时间预测。双向预测给出两个帧间预测的加权平均。因此，帧内编码帧不依赖于视频流中的任何先前帧，而帧间编码帧(包括具有双向预测的帧间编码帧)使用来自视频流中的一个或多个其他参考帧的运动补偿。 
多视图视频编码通过不仅允许来自单一摄像机视图的帧之间的预测，还允许视图间预测，来使这种基于预测的编码更进一步。因此，与要编码的当前帧相比，参考帧可以是处于相同相对时刻但属于另一摄像机视图的帧。视图间和视图内预测的组合也是可能的，从而具有来自不同摄像机视图的多个参考帧。 
具有多个媒体视图以及对来自媒体视图的媒体数据进行互编码的概念不必限于视频数据。完全相反，多视图媒体的概念也可以应用于其他类型的媒体，包括例如图形(例如可缩放向量图形(SVG))。实际上，本发明的实施例可以应用于可表示为多个媒体视图的形式且其中可至少部分地在媒体视图之间执行媒体编码的任何媒体类型。 
在本领域中，如MVC标准草案[6]中公开的，在NAL单元首部中包括所谓priority_id形式的优先级。在具体情况下，属于特定视图的所有NAL单元可以具有相同的priority_id，从而给出了每视图唯一的现有技术优先级标识符。这些现有技术优先级标识符可以被认为是所谓的结构优先级标识符，因为这些优先级标识符指示了来自不同媒体视图的媒体数据的编码相互关系。例如参照图2，假定摄像机视图26被认为是基本视图。这意味着，摄像机视图26是独立视图，其是根据其自身 的视频数据而编码和解码的，而无需来自其他摄像机视图22、24、28的任何预测。然后，两个相邻摄像机视图24、28可以依赖于基本视图26，这意味着可以根据来自基本视图26的视频数据来预测来自摄像机视图24、28的视频数据。最后，最后一个摄像机视图22可以依赖于相邻摄像机视图24。这些依赖性方面给出了如下的结构优先级： 
表I-结构优先级标识符 
Figure BPA00001347008200051
*根据图2的摄像机视图参考标号 
在表I中，如所建议的标准[6]中那样，较低的结构优先级标识符值指定了较高优先级。因此，向基本视图26给出最低结构优先级标识符，并且，依赖于基本视图26编码的两个摄像机视图22、28具有次最低的结构优先级标识符。因此，依赖于具有次最低结构优先级标识符的摄像机视图24、28之一编码的摄像机视图22具有本示例中4个摄像机视图中最高的结构优先级标识符。 
因此，结构优先级标识符依赖于比特流，因为它们反映了来自不同摄像机视图的视频数据的互编码关系。实施例提供和使用了适用于多视图媒体但依赖于内容的备选形式的优先级标识符。 
图1是示意了根据实施例的产生多视图媒体数据的方法的流程图。该方法从步骤S1开始，在步骤S1，提供表示媒体内容的多个媒体视图的编码后的数据。该多个媒体视图中的每一个与如上所述相应的结构优先级标识符相关联。因此，结构优先级标识符指示了媒体视图的媒体数据相对于多个媒体视图中至少一个其他媒体视图的媒体数据的编码相互关系。 
步骤S1的这种多视图媒体数据提供是可以通过从可访问的媒体存储器中取得媒体数据来实现的，其中，先前已经将媒体数据输入该媒体存储器。备选地，媒体数据是从某个其他外部单元接收的，在该外部单元中存储、记录或产生了媒体数据。另一种可能性是实际创建和编码媒体数据，例如记录视频序列或合成地产生媒体数据。 
下一步骤S2针对多个可用媒体视图中的媒体视图确定所谓的内容优先级标识符。与依赖于媒体视图之间的编码相互关系的结构优先级标识符明显不同，步骤S2中确定的内容优先级标识符指示媒体视图的媒体数据的呈现重要性等级。因此，内容优先级标识符与实际媒体内容更加相关，并向媒体视图提供了与源自媒体视图之一的媒体数据相对于来自其他媒体视图的媒体数据的重要程度有关的优先级。 
再次参照图2，一般认为，看到与足球场中的球门之一周围的区域相关的视频数据对观看者来说更有价值。因此，典型地，摄像机视图22被认为从内容和呈现的观点来看具有最高优先级。因此，根据组织结构优先级标识符的方式，摄像机视图22的内容优先级标识符具有与最高优先级相对应的最低优先级值，见表II。 
表II-内容优先级标识符 
*根据图2的摄像机视图参考标号 
因此，从呈现的观点来看，摄像机视图越接近于足球场的最令人感兴趣的部分(即球门)，该摄像机视图的内容优先级就越高，内容优先级标识符就越低。 
在备选方式中，媒体视图的结构/内容优先级越高，结构/内容优先级标识符值就越高。 
然后，在步骤S3，将步骤S2所确定的内容优先级标识符关联至并分配至多个媒体视图中的相关媒体视图。这种关联是可以通过将内容优先级标识符与媒体视图的视图标识符一起存储来实现的。备选地，将内容优先级标识符与来自相关媒体视图的媒体数据一起存储。 
针对多个媒体视图的至少一个部分来确定内容优先级标识符，这由线L1示意性地示出。这意味着步骤S2和S3形成的循环可以执行一次，使得媒体视图中只有一个具有内容优先级标识符。优选地，多次 确定步骤S2和S3，更优选地，针对多个媒体视图中的每个媒体视图确定一次。因此，如果从M个媒体视图记录了多视图媒体数据，则步骤S2和S3可以执行N次，其中1≤N≤M且M≥2。 
然后，该方法结束。 
内容优先级标识符指示来自与内容优先级标识符相关联的媒体视图的媒体数据的呈现或播出重要性等级。因此，如以上结合图2所讨论的，可以基于多个媒体视图相对于所记录场景的记录位置来确定内容优先级标识符的值。因此，摄像机视图22-28的摄像机12-18的位置、对焦方向和/或焦距可以用于确定摄像机视图22-28的相应内容优先级标识符。可用于确定内容优先级标识符的附加或备选参数是不同摄像机12-18记录场景30的分辨率。一般地，与视频数据的较低分辨率版本相比，具有场景30的高分辨率视频数据具有较高的呈现重要性。 
实施例中的内容优先级标识符可以由记录和/或处理(如编码)多视图媒体数据的内容提供器来确定。例如，手动操作员可以通过检查来自不同媒体视图的所记录的媒体数据，基于他/她关于哪个或哪些媒体视图被认为是在媒体呈现期间与其他媒体视图相比对观看用户而言更加重要的看法，来确定和关联内容优先级标识符。 
内容优先级标识符的确定也可以是自动确定的，即无需任何人为操作。在这种情况下，处理器或算法可以使用上述参数(如摄像机位置、对焦方向、焦距、摄像机分辨率)中的任一个，将摄像机视图分为不同的内容优先级等级。 
与结构优先级标识符一样，所确定的内容优先级标识符典型地是静态的，这意味着为了所记录的内容的目的，单一内容优先级标识符与摄像机视图相关联。然而，有时可能的情况是：来自不同媒体视图的媒体数据的呈现重要性等级实际上可以随时间而改变。在这种情况下，内容优先级标识符可以与所谓生存时间值相关联，或被设计为应用于有限时间段或应用于有限量的媒体帧。例如，媒体视图可以具有针对前f个媒体帧或媒体内容的前m分钟的第一内容优先级标识符，而针对后续媒体帧或来自该媒体视图的媒体数据的其余部分，使用不同的第二内容优先级标识符。当然，这可以扩展至针对媒体视图具有内 容优先级标识符之间的多于一次改变的情形。 
图3是示意了产生多视图媒体数据的方法的可选附加步骤的流程图。该方法从图1的步骤S3继续进行。下一步骤S10将多个媒体视图的编码后的媒体数据组织为媒体容器文件的至少一个媒体轨道。例如，媒体容器文件可以是所谓MVC文件或优选地基于ISO基本媒体文件格式的某种其他文件格式。 
媒体容器文件可以被认为是媒体服务器在媒体会话期间用于提供媒体内容和将媒体数据形成为可传输的数据分组的完整输入封装。因此，除了媒体内容本身之外，容器文件优选地包括媒体服务器执行处理和允许在媒体会话期间传输媒体内容所需的信息和指令。 
在实施例中，每个媒体视图具有容器文件中单独分配的媒体轨道，从而提供了多个媒体视图与多个媒体轨道之间的一对一关系。备选地，至少两个(可能全部)媒体视图的媒体数据可以装入媒体容器文件的单一媒体轨道中。图4示意性地示出了具有承载编码后的多视图媒体数据的一个或多个媒体轨道32的媒体容器文件30的示例。 
多个媒体视图的相应媒体数据(不论被组织为一个还是多个媒体轨道)优选地都被分配有与媒体视图相关联的相应视图标识符。 
图3的下一步骤S11相对于来自步骤S10的至少一个媒体轨道，将结构优先级标识符相关联地组织到媒体容器文件中。相关联地组织意味着将结构优先级标识符包括在媒体容器文件中，以提供结构优先级标识符与该结构优先级标识符所应用于的媒体视图之间的关联。对应地，这种关联可以取而代之地在结构优先级标识符与源自该结构优先级标识符所应用于的媒体视图的媒体数据之间。 
关联可以具有从媒体视图的媒体数据在媒体容器文件内的存储位置至结构优先级标识符的存储位置(或者反之)的指针的形式。因此，给定特定媒体数据或其在媒体容器文件内的位置，该指针或元数据实现了对相关联的结构优先级标识符或结构优先级标识符在文件内的存储位置的标识。取代采用指针，元数据可以包括媒体数据/媒体视图的视图标识符。然后，使用元数据来标识结构优先级标识符所应用于的媒体数据之一。 
图4示意性地示出了将结构优先级标识符36相关联地组织到媒体容器文件30中的实施例。在本实施例中，每个结构优先级标识符36与指示结构优先级标识符36所应用于的媒体数据和媒体视图的视图标识符34相关联。 
图3的下一步骤S12对应地相对于至少一个媒体轨道，将内容优先级标识符相关联地组织到媒体容器文件中。与结构优先级标识符类似，可以通过元数据(例如，提供媒体容器文件中媒体数据/媒体视图与内容优先级标识符之间的联系的视图标识符)来实现关联。图4中也示意了这一点，其中每个内容优先级标识符38与指示内容优先级标识符36所应用于的媒体数据和媒体视图的视图标识符34相关联。 
向媒体容器文件提供内容优先级标识符的非限制性示例是将“vipr”箱包括在媒体容器文件的样本组描述箱中[6]。 
箱类型：‘vipr’ 
容器：样本组描述箱(‘sgpd’) 
强制：否 
数量：0或更多 
Figure BPA00001347008200091
其中view_count是媒体视图的总数，view_id是文献[6]中的ViewIdentifierBox中指示的媒体视图的视图标识符，content_priority_id是内容优先级标识符。 
备选地，“vipr”箱可以是在媒体容器文件的样本条目中提供的。 
箱类型：‘vipr’ 
容器：样本条目(‘avc1’，‘avc2’，‘mvc1’) 
强制：否 
数量：精确为1个 
图3的附加步骤S10至S12可以按照图中公开的顺序执行。备选地，可以使用操作步骤S10-S12的任何其他序列顺序。还可以并行地或至少部分并行地执行步骤S10-S12。 
媒体容器文件中包括的除媒体轨道之外的结构和内容优先级标识符可以被认为是可在对媒体轨道中的多视图媒体数据的处理期间使用的元数据。因此，优先级标识符适用于且可用作便于对所形成的媒体容器文件进行处理的附加数据，如这里进一步描述的。 
图5是根据实施例的用于产生多视图媒体数据的媒体产生设备100。媒体产生设备100包括：媒体提供器120，被实现为提供表示媒体内容的多个媒体视图的编码后的媒体数据。每个媒体视图与结构优先级标识符相关联，结构优先级标识符指示媒体视图的媒体数据相对于至少另一媒体视图的媒体数据的编码相互关系。媒体提供器120可以连接至内部或外部媒体引擎，该媒体引擎包括用于记录或产生多个媒体视图的媒体数据的设备12-18以及用于对所记录或产生的媒体数据进行编码的编码器180。备选地，媒体提供器120从媒体产生设备100的所连接的接收机110接收媒体数据，该媒体数据典型地具有已编码的形式 或者作为未编码的媒体数据。然后，接收机110通过有线或无线通信，从通信系统中的外部终端接收媒体数据。作为另一备选项，媒体提供器120可以从媒体产生设备100的所连接的媒体存储器140取得多视图媒体数据。 
在媒体产生设备100中实现优先级分配器130，优先级分配器130用于将内容优先级标识符分配至多个媒体视图中的一个或多个。内容优先级标识符指示了多个媒体视图的媒体数据的呈现重要性等级。优先级分配器130可以(例如通过接收机110)从外部源接收内容优先级标识符。备选地，内容优先级标识符可以由内容创建者手动输入，在这种情况下，优先级分配器130包括或连接至用户输入，并从用户输入取得内容优先级标识符。 
在另一实施例中，媒体产生设备100包括：优先级确定器150，连接至优先级分配器130。优先级确定器150被配置为确定针对多个媒体视图中的至少一个媒体视图的内容优先级标识符。优先级确定器150优选地使用与摄像机12-18或者用于记录或产生多视图媒体数据的设备相关的输入参数，该输入参数例如来自媒体引擎、媒体提供器120、接收机110或用户输入。这些输入参数包括以下至少一项：相对于所记录场景的摄像机位置、对焦方向、焦距和摄像机分辨率。 
将所确定的内容优先级标识符从优先级确定器150转发至优先级分配器130，优先级分配器130将所确定的内容优先级标识符分配至相应的媒体视图。因此，每个媒体视图优选地接收优先级分配器130分配的内容优先级标识符，而其他实施例仅仅将内容优先级标识符分配至多个媒体视图中至少一个媒体视图的子集。 
在媒体产生设备100中提供了可选的轨道组织器160，如果要将来自媒体提供器120的多视图媒体数据组织到媒体容器文件中，则轨道组织器160变为被操作。在这种情况下，轨道组织器将来自媒体提供器120的编码后的媒体数据组织为媒体容器文件中的至少一个媒体轨道。 
优选地，在媒体产生设备100中实现优先级组织器170，优先级组织器170用于将优先级标识符组织到媒体容器文件中。因此，优先级组织器170相对于一个或多个媒体轨道，将结构优先级标识符和内容优先 级标识符相关联地组织到媒体容器文件中。在这种情况下，优先级组织器170优选地将结构和内容优先级标识符中的每一个与表示该结构或内容优先级标识符所应用于的媒体视图和媒体数据的相应视图标识符一起存储。 
可以将根据媒体产生设备100的实施例产生的媒体容器帧输入媒体存储器140中，以便随后发送至要对媒体容器文件进行转发或处理的外部单元。备选地，可以将媒体容器文件直接发送至该外部单元，如媒体服务器、代码转换器或具有媒体呈现或播出设施的用户终端。 
媒体产生设备100的单元110-130和150-170可以是以硬件、软件或硬件和软件的组合来提供的。有利地，媒体产生设备100可以被配置在有线的或优选地无线的基于无线电的通信系统的网络节点中。媒体产生设备100可以构成内容提供器或服务器的一部分，或者可以连接至内容提供器或服务器。 
与仅仅分配有结构优先级标识符的对应多视图媒体数据相比，如上所述确定并分配至多视图媒体数据的内容优先级标识符提供了对多视图媒体数据的改进的基于内容的处理。 
例如，假定如图2所示的视频记录装置具有4个视频记录摄像机。如上所述分配结构优先级标识符并在表I中示意，并且如表II中所示分配内容优先级标识符。表III基本上是表I和表II的合并，列出了图2中示意的示例的结构和内容优先级标识符。 
表III-优先级标识符 
Figure BPA00001347008200121
*根据图2的摄像机视图参考标号 
假定以下情形：在发送编码后的多视图媒体数据时，例如由于有限的存储能力和/或有限的带宽，必须剪裁或丢弃与媒体视图之一相对应的媒体数据。 
根据现有技术，仅仅基于结构优先级标识符，丢弃媒体数据。这意味着，来自媒体视图22和位于与足球场的球门之一最接近的位置的摄像机12的媒体数据将被丢弃，因为它具有最高的所分配的结构优先级标识符并因此具有最低的结构优先级。然而，实际上，典型地，该摄像机视图22被认为是最重要的视图，因为它与球门更接近，因而是4个所示摄像机视图22-28中唯一将在足球比赛期间捕捉任何进球的摄像机视图。 
然而，通过在媒体处理(即，本示例中的媒体剪裁)中还利用内容优先级标识符，实现了从媒体呈现的观点来看更加准确的媒体处理。因此，在媒体剪裁中仅使用内容优先级标识符或者确实使用内容优先级标识符和结构优先级标识符这两者，源自媒体视图28的媒体数据将被丢弃，因为它具有最高的内容优先级标识符，也具有最高的总优先级标识符(即，内容优先级标识符加结构优先级标识符)。从观看用户的观点来看，当进球得分被认为是观看足球比赛最令人感兴趣的部分时，去除来自媒体视图28的媒体数据而不是来自与球门最接近的媒体视图22的媒体数据就更加优选得多。 
图6是示意了根据实施例的处理多视图媒体数据的方法的流程图。该方法从步骤S20开始，在步骤S20，接收表示媒体内容的多个媒体视图的编码后的媒体数据。该数据接收可以具有以下形式：从媒体服务器或内容提供器接收编码后的媒体数据的数据分组。备选地，可以将媒体数据包括在以多个数据分组的形式接收的媒体容器文件中。与媒体数据相关的每个媒体视图具有相应的结构优先级标识符，媒体视图的至少一部分还具有如上所述的相应内容优先级标识符。 
下一步骤S21选择所接收的多视图媒体数据的媒体数据子集。因此，该步骤S21选择与多个媒体视图的子集相对应的媒体数据。因此，步骤S21从P个媒体视图中选择媒体数据，其中1≤P＜M，M表示当前多视图媒体数据的媒体视图总数。 
此外，至少部分基于与媒体视图相关联的至少一个内容优先级标识符来执行子集选择。步骤S21可以仅仅基于内容优先级标识符而执行，但是优选地，还基于结构优先级标识符而执行。这在剪裁或丢弃 媒体数据时是尤其有利的，因为否则在仅仅考虑内容优先级标识符时可能将来自基本视图的媒体数据丢弃，从而使其余媒体数据不能解码。 
在步骤S22，对从步骤S21选择的媒体数据子集进行进一步处理。因此，实施例中的内容优先级标识符用于对来自不同视图的媒体数据进行分类，从而通过仅处理媒体数据的子集或者可选地对多视图媒体数据的其余媒体数据应用至少一种其他形式的处理，来实现差异化媒体数据处理。 
然后，该方法结束。 
图7至11示意了可响应于基于优先级的媒体选择而进行的差异化处理的不同实施例。 
在图7中，必须剪裁或丢弃例如来自媒体容器文件的多视图媒体数据中的一些媒体数据。在存储受限的应用中，为了减小编码后的多视图媒体数据的总比特大小，这可能是必须的。一种备选但相关的情形是：当为了减小发送至接收机的数据量的目的而必须或至少期望去除一些媒体数据时。这种带宽受限的应用通常出现在无线的、基于无线电的通信系统中，在这种通信系统中，可用的通信资源(如时隙、频率、信道或扩频码等等)量是有限的。 
图7的步骤S30执行对在图6的步骤S21中选择的媒体数据子集的剪裁和丢弃。因此，至少部分地基于内容优先级标识符，优选地基于这些标识符和结构优先级标识符，来丢弃编码后的多视图数据中的媒体数据。在选择要剪裁的媒体数据时，不采用除了内容优先级标识符之外还使用结构优先级标识符的方式，可以将来自不同用途的、描述媒体数据的编码依赖性的其他信息与内容优先级标识符一起使用。 
图8是数据处理步骤的备选实施例。该实施例也适用于带宽受限的应用。然而，与图7相反，不必丢弃媒体数据。明显不同地，在步骤S40中，将图6中基于内容优先级标识符而选择的媒体数据的子集以有线或无线方式发送至具有接收能力的另一终端、网络节点或单元。然后，不将其余媒体数据发送至该单元，或者可能在稍后的时机发送其余媒体数据。 
如果终端具有呈现能力(如媒体播放器)但是不能或选择不对所 有多视图媒体数据进行解码和呈现，则可以使用内容优先级标识符来选择媒体数据子集以在图9的步骤S50中进行解码和呈现。例如，当媒体播放器只能呈现来自单一媒体视图或来自一组媒体视图的媒体数据时，可以使用步骤S50。然后，重要的是，对于观看的用户而言，解码和播放的媒体具有尽可能高的重要性等级。尽管注意到，即使在步骤S50中解码和呈现媒体视图的子集的媒体数据，但是，由于媒体编码和解码中的视图间预测，媒体数据可能需要对未包括在该子集中的另一媒体视图的媒体数据的解码，而不必需要其呈现。例如，可能需要未被选择为包括在媒体数据子集中的基本视图来对应当解码和呈现的媒体视图之一进行解码。 
通常对通过基于无线电的网络而传输的媒体数据和数据分组应用数据保护，以对抗衰落和干扰的有害效应。一般地，数据保护的等级越高，需要越多额外或过载数据。因此，在保护等级与额外开销之间存在平衡。内容优先级标识符可以有利地用作在多视图布置中标识应当具有最高数据保护等级的媒体数据的基础。因此，在图10的步骤S60中，具有较低内容优先级标识符从而被认为具有较高呈现重要性的媒体数据可以具有第一数据保护等级，而来自其他媒体视图的较不重要的媒体数据可以具有较低的第二数据保护等级。当然，这可以扩展至提供多于两个不同数据保护等级的情形。 
可与该实施例相结合使用的这种数据保护的示例是前向纠错(FEC)、校验和、汉明码、循环冗余校验(CRC)等等，这些示例适于实时传输，因为可以即时纠正任何差错。 
对于非实时传输，也可以使用例如TCP/IP(传输控制协议/因特网协议)中的自动重复请求(ARQ)(其中，在发生差错时需要重传)来提供数据保护。 
加密是这里可以考虑的另一种高等级数据保护。在这种情况下，可以使用内容优先级标识符来确定应当应用何种程度的加密保护强度。 
也可以使用内容优先级来提供对所提供的媒体内容的差异化收费。因此，与具有相对较高的内容优先级标识符的、较不重要的媒体 数据相比，可以以不同的方式(即，以更高费用)对来自被认为对于购买的观看者来说具有更高呈现相关性和重要性的媒体视图的媒体数据进行收费。在图11中示意了这一概念，其中，步骤S70至少部分基于内容优先级标识符来提供多视图媒体数据的收费信息。 
图12是用于处理多视图媒体数据的数据处理设备200的实施例的示意图。在该图中，以具有媒体播放功能的用户终端的形式，非限制性地示意了数据处理设备200。例如，这种用户终端200可以是无线通信系统的便携式用户终端，如移动电话、个人数字助理、具有通信设备的膝上型计算机等等。可从本发明中受益的用户终端的其他示例包括：计算机、游戏控制台、TV解码器和适于处理和呈现多视图媒体数据的其他设备。此外，数据处理设备200不必须是媒体呈现设备。明显不同地，数据处理设备200可以出于其他处理目的使用这里公开的内容优先级标识符。 
数据处理设备200包括：接收机210，用于接收表示媒体内容的多个媒体视图的编码后的媒体数据。在多个数据分组中承载的媒体数据可以具有媒体容器文件的形式，除了至少一个媒体轨道中的编码后的媒体数据之外，该媒体容器文件还包括处理媒体数据期间适用的元数据。该元数据包括这里描述的结构和内容优先级标识符等等。如果不以媒体容器文件的形式来提供多视图媒体数据，则来自每个媒体视图的媒体数据在其数据分组中的至少一个中(如在其首部中)包括适用于该媒体视图的结构和内容优先级标识符。 
数据处理设备200还包括：媒体选择器220，被配置为选择所接收的多视图媒体数据的媒体数据子集。媒体选择器220检索与媒体数据相关联的不同媒体视图的内容优先级标识符，优选地，还检索结构优先级标识符。媒体选择器220使用所检索到的内容优先级标识符以及优选地使用结构优先级标识符，来标识和选择特定媒体数据子集，以进行进一步处理。 
所选媒体数据子集中的媒体数据的进一步处理可以由用户处理设备200自身进行，或者由连接至用户处理设备200的另一设备进行。例如，数据处理设备200可以包括：媒体剪裁器250，用于剪裁和丢弃 与多视图媒体数据中的所有媒体视图之一或子集相对应的媒体数据。然后，媒体剪裁器250至少部分基于内容优先级标识符来剪裁由媒体选择器220选择的媒体数据子集。 
为了在将多视图媒体数据存储在媒体存储器230上时减小多视图媒体数据的总比特大小，或者减小在通过数据处理设备200的发射机210来发送该多视图媒体数据时的带宽，可能需要对媒体数据进行剪裁。 
数据处理设备200可以适于对所接收的媒体数据进行解码，然后将其呈现在所包括或所连接的显示屏280上。在这种情况下，解码器245可以操作为仅对由媒体选择器220选择的媒体数据子集进行解码。解码后的媒体数据由媒体播放器240呈现，并因此在显示屏280上显示。在备选方案中，解码器245可以解码比所选媒体数据子集更多的媒体数据。然而，媒体播放器240仅仅呈现与由媒体选择器220选择的媒体数据子集相对应的媒体数据。由于任何视图间预测编码/解码，可能需要任何未呈现但经过解码的媒体数据以对所选媒体数据子集中的至少一些媒体数据进行解码。 
数据处理设备200的单元210、220、240和250可以是以硬件、软件或硬件和软件的组合来提供的。 
图13是数据处理设备300的另一实施例的示意框图。该数据处理设备300是可以在无线通信系统或网络的网络节点(如基站)中实现的。与图12中示意的实施例类似，图13的数据处理设备300包括用于发送和接收数据的发射机/接收机(TX/RX)310。数据处理设备300还包括媒体选择器320、媒体存储器330和媒体剪裁器350。这些单元的操作与图12的数据处理设备200中的对应单元相似，因此这里不进一步讨论。 
可选地，在数据处理设备中提供了保护应用器360，保护应用器360用于对承载多视图媒体数据的数据分组应用差异化数据保护等级。差异化数据保护允许保护应用器对承载由媒体选择器320选择的媒体数据子集中的媒体数据的数据分组应用第一数据保护等级。然后，对应地，对承载媒体数据的其余部分的数据分组应用不同的或多个不同的第二数据保护等级。 
在数据处理设备300中可以配置可选的收费应用器370，收费应用器370用于提供适用于多视图媒体数据的收费信息。然后，优选地，使用内容优先级标识符的收费应用器370使用针对来自不同媒体视图的媒体数据的差异化费用。因此，收费应用器370针对由媒体选择器320选择的媒体数据子集中的媒体数据确定第一收费费用。对应地，针对媒体数据的其余部分至少确定不同的第二收费费用。 
数据处理设备300的单元310、320和350-370可以是以硬件、软件或硬件和软件的组合来提供的。 
在图12和13中，使用了包括接收和发送功能的组合单元(即，收发机)。备选地，在无线实现中，可以使用可选地连接至分离的接收天线和发射天线或者组合的接收和发射天线的专用接收机和专用发射机。 
图14是可实现实施例的无线通信系统600的一部分的示意概述。通信系统600包括向所连接的用户终端200提供通信服务的一个或多个网络节点或基站500、550。基站500中的至少一个包括或连接至包括以上所述和在图5中公开的媒体产生设备100在内的媒体服务器或提供器400。具有结构和内容优先级标识符的多视图媒体数据被分发至在通信系统600中提供的用户终端200和/或其他数据处理设备300。在这种情况下，如图中示意性地示出的，可以在单播传输中或者以多播或广播传输的形式，向用户终端200发送多视图数据。 
本领域技术人员将理解，在不脱离由所附权利要求限定的本发明范围的前提下，可以对本发明进行各种修改和改变。 
参考文献 
[1]ISO/IEC JTC1/SC29/WG11-Coding of Moving Pictures and Audio，MPEG-4 Overview，July 2000 
[2]ISO/IEC 14496-15：2004-Information Technology，Coding of Audio-Visual Objects，Part 15：Advanced Video Coding(AVC)File  Format 
[3]ISO/IEC 14496-14：2003-Information Technology，Coding of Audio-Visual Objects，Part 14：MP4 File Format 
[4]3GPP TS 26.244 V7.3.0-3rd Generation Partnership Project；Technical Specification Group Services and System Aspects；Transparent end-to-end packet switched streaming service(PSS)；3GPP file format，2007 
[5]ISO/IEC 14496-12：2005-Information Technology，Coding of Audio-Visual Objects，Part 12：ISO Base Media File Format 
[6]ISO/IEC 14496-15，Working Draft 2.0 MVC File Format，July 2008，Hannover，Germany，Document No.10062 

Claims (19)

1.一种用于产生多视图媒体数据的方法，包括：
-提供表示媒体内容的多个媒体视图的编码后的媒体数据，每个媒体视图与结构优先级标识符相关联，所述结构优先级标识符指示所述媒体视图的所述媒体数据相对于所述多个媒体视图中的至少另一媒体视图的媒体数据的编码相互关系；
-针对所述多个媒体视图的至少一部分中的每个媒体视图，确定内容优先级标识符，所述内容优先级标识符指示所述媒体视图的媒体数据的呈现重要性等级；以及
-将所述内容优先级标识符与所述媒体视图相关联。
2.根据权利要求1所述的方法，其中，所述确定步骤包括：针对所述多个媒体视图中的每个媒体视图，确定相应的内容优先级标识符。
3.根据权利要求1或2所述的方法，其中，所述确定步骤包括：基于所述多个媒体视图相对于所记录的场景的记录位置，针对所述多个媒体视图的所述至少一部分中的每个媒体视图，确定所述内容优先级标识符。
4.根据权利要求1或2所述的方法，还包括：
-将所述多个媒体视图的所述编码后的媒体数据绯织为媒体容器文件的至少一个媒体轨道；
-相对于所述至少一个媒体轨道，将所述结构优先级标识符相关联地组织到所述媒体容器文件中；以及
-相对于所述至少一个媒体轨道，将所述至少一个内容优先级标识符相关联地组织到所述媒体容器文件中。
5.根据权利要求4所述的方法，其中，所述将所述至少一个内容优先级标识符相关联地组织的步骤包括：针对所述至少一个内容优先级标识符中的每个内容优先级标识符，将所述内容优先级标识符与分配至相关联媒体视图的视图标识符一起组织到所述媒体容器文件中。
6.一种用于产生多视图媒体数据的媒体产生设备，包括：
-媒体提供器，用于提供表示媒体内容的多个媒体视图的编码后的媒体数据，每个媒体视图与结构优先级标识符相关联，所述结构优先级标识符指示所述媒体视图的所述媒体数据相对于所述多个媒体视图中的至少另一媒体视图的媒体数据的编码相互关系；
-优先级分配器，用于向所述多个媒体视图的至少一部分中的每个媒体视图分配内容优先级标识符，所述内容优先级标识符指示所述媒体视图的媒体数据的呈现重要性等级。
7.根据权利要求6所述的设备，还包括：优先级确定器，基于所述多个媒体视图相对于所记录的场景的记录位置，针对所述多个媒体视图的所述至少一部分中的每个媒体视图，确定所述内容优先级标识符。
8.根据权利要求6或7所述的设备，还包括：
-轨道组织器，将所述多个媒体视图的所述编码后的媒体数据组织为媒体容器文件的至少一个媒体轨道；以及
-优先级绯织器，相对于所述至少一个媒体轨道，将所述结构优先级标识符相关联地绯织到所述媒体容器文件中，并相对于所述至少一个媒体轨道，将所述至少一个内容优先级标识符相关联地绯织到所述媒体容器文件中。
9.根据权利要求8所述的设备，其中，所述优先级绯织器被配置为：针对所述至少一个内容优先级标识符中的每个内容优先级标识符，将所述内容优先级标识符与分配至相关联媒体视图的视图标识符一起组织到所述媒体容器文件中。
10.一种用于处理多视图媒体数据的方法，包括：
-接收表示媒体内容的多个媒体视图的编码后的媒体数据，每个媒体视图与结构优先级标识符相关联，所述结构优先级标识符指示所述媒体视图的所述媒体数据相对于所述多个媒体视图中的至少另一媒体视图的媒体数据的编码相互关系，所述多个媒体视图的至少一部分中的每个媒体视图与内容优先级标识符相关联，所述内容优先级标识符指示所述媒体视图的媒体数据的呈现重要性等级；以及
-基于所述至少一个内容优先级标识符来选择所述多个媒体视图的所述媒体数据的媒体数据子集，以进行处理。
11.根据权利要求10所述的方法，其中，所述选择步骤包括：基于所述结构优先级标识符和所述至少一个内容优先级标识符来选择所述媒体数据子集，以进行处理。
12.根据权利要求10或11所述的方法，还包括：从所述编码后的媒体数据中剪裁所选的媒体数据子集。
13.根据权利要求10或11所述的方法，还包括：对所选的媒体数据子集进行解码和呈现。
14.根据权利要求10或11所述的方法，还包括：
-对所选的媒体数据子集应用第一数据保护等级；以及
-对未包括在所选的媒体数据子集中的其余媒体数据应用不同的第二数据保护等级。
15.一种用于处理多视图媒体数据的数据处理设备，包括：
-接收机，用于接收表示媒体内容的多个媒体视图的编码后的媒体数据，每个媒体视图与结构优先级标识符相关联，所述结构优先级标识符指示所述媒体视图的媒体数据的呈现重要性等级，并指示所述媒体视图的所述媒体数据相对于所述多个媒体视图中的至少另一媒体视图的媒体数据的编码相互关系，所述多个媒体视图的至少一部分中的每个媒体视图与内容优先级标识符相关联，所述内容优先级标识符指示所述媒体视图的媒体数据的呈现重要性等级；以及
-媒体选择器，基于所述至少一个内容优先级标识符来选择所述多个媒体视图的所述媒体数据的媒体数据子集，以进行处理。
16.根据权利要求15所述的设备，其中，所述媒体选择器被配置为：基于所述结构优先级标识符和所述至少一个内容优先级标识符来选择所述媒体数据子集，以进行处理。
17.根据权利要求15或16所述的设备，还包括：媒体剪裁器，从所述编码后的媒体数据中剪裁所选的媒体数据子集。
18.根据权利要求15或16所述的设备，还包括：解码器，对所选的媒体数据子集进行解码；以及媒体播放器，呈现解码后的所选媒体数据子集。
19.根据权利要求15或16所述的设备，还包括：保护应用器，对所选的媒体数据子集应用第一数据保护等级，并对未包括在所选的媒体数据子集中的其余媒体数据应用不同的第二数据保护等级。
CN200880131456.4A 2008-10-07 2008-12-15 一种用于产生多视图媒体数据的方法及设备 Expired - Fee Related CN102177718B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10339908P 2008-10-07 2008-10-07
US61/103,399 2008-10-07
PCT/SE2008/051459 WO2010041998A1 (en) 2008-10-07 2008-12-15 Multi-view media data

Publications (2)

Publication Number Publication Date
CN102177718A CN102177718A (zh) 2011-09-07
CN102177718B true CN102177718B (zh) 2014-03-12

Family

ID=42100782

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200880131456.4A Expired - Fee Related CN102177718B (zh) 2008-10-07 2008-12-15 一种用于产生多视图媒体数据的方法及设备
CN200880131424.4A Expired - Fee Related CN102177717B (zh) 2008-10-07 2008-12-15 一种用于产生媒体容器文件的方法及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200880131424.4A Expired - Fee Related CN102177717B (zh) 2008-10-07 2008-12-15 一种用于产生媒体容器文件的方法及设备

Country Status (9)

Country Link
US (2) US20110202575A1 (zh)
EP (2) EP2332336B1 (zh)
JP (2) JP5298201B2 (zh)
CN (2) CN102177718B (zh)
AU (2) AU2008362801A1 (zh)
CA (2) CA2767794A1 (zh)
ES (1) ES2515967T3 (zh)
RU (2) RU2504917C2 (zh)
WO (2) WO2010041998A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689705A (en) * 1995-02-13 1997-11-18 Pulte Home Corporation System for facilitating home construction and sales
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
WO2011038195A1 (en) * 2009-09-25 2011-03-31 Phillip Anthony Storage A method and system for collection and management of remote observational data for businesses
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9716920B2 (en) * 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
KR102009049B1 (ko) * 2011-11-11 2019-08-08 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US20130188922A1 (en) * 2012-01-23 2013-07-25 Research In Motion Limited Multimedia File Support for Media Capture Device Position and Location Timed Metadata
US20140032820A1 (en) * 2012-07-25 2014-01-30 Akinori Harasawa Data storage apparatus, memory control method and electronic device with data storage apparatus
US9444862B2 (en) * 2012-09-29 2016-09-13 Intel Corporation Dynamic media content output for mobile devices
RU2018135725A (ru) * 2013-07-19 2018-11-21 Сони Корпорейшн Устройство и способ обработки информации
MY182651A (en) * 2013-07-22 2021-01-27 Sony Corp Information processing apparatus and method
EP3092796B1 (en) * 2014-01-07 2020-06-17 Canon Kabushiki Kaisha Method, device, and computer program for encoding inter-layer dependencies
KR20150083243A (ko) * 2014-01-09 2015-07-17 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
CN109155861B (zh) * 2016-05-24 2021-05-25 诺基亚技术有限公司 用于编码媒体内容的方法和装置以及计算机可读存储介质
GB2553315A (en) * 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
KR102243666B1 (ko) * 2017-06-15 2021-04-23 엘지전자 주식회사 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
TWI687087B (zh) * 2017-07-13 2020-03-01 新加坡商聯發科技（新加坡）私人有限公司 呈現超出全方位媒體的vr媒體的方法和裝置
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN108184136B (zh) * 2018-01-16 2020-06-02 北京三体云联科技有限公司 一种视频合流方法及装置
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
CN110324708A (zh) * 2019-07-16 2019-10-11 浙江大华技术股份有限公司 视频处理方法、终端设备及计算机存储介质
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
EP4297418A1 (en) * 2022-06-24 2023-12-27 Beijing Xiaomi Mobile Software Co., Ltd. Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1648894A (zh) * 2004-01-30 2005-08-03 佳能株式会社 文件处理装置和文件处理方法
CN1857003A (zh) * 2003-09-23 2006-11-01 皇家飞利浦电子股份有限公司 提供视频内容和隐蔽相关错误防护以及调度算法的方法和系统
WO2007114608A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
WO2008117963A1 (en) * 2007-03-23 2008-10-02 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
KR100814426B1 (ko) * 2001-07-14 2008-03-18 삼성전자주식회사 다 채널 영상 중계 처리기 및 이를 적용한 다 채널 영상보안 시스템
JPWO2003092304A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
KR100491724B1 (ko) * 2002-10-14 2005-05-27 한국전자통신연구원 공간영상의 효율적인 저장 및 검색을 지원하기 위한공간영상정보시스템 및 그 검색방법
MXPA05003898A (es) * 2002-10-15 2005-06-22 Samsung Electronics Co Ltd Medio de almacenamiento de informacion con estructura de datos para angulos multiples y aparato del mismo.
US20040076042A1 (en) * 2002-10-16 2004-04-22 Sifang Wu High performance memory column group repair scheme with small area penalty
KR100636129B1 (ko) * 2002-12-16 2006-10-19 삼성전자주식회사 멀티 앵글을 지원하는 데이터 구조로 기록된 정보저장매체및 그 장치
US8832732B2 (en) * 2003-04-16 2014-09-09 Accenture Global Services Limited Controlled multi-media program review
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
US20050193015A1 (en) * 2004-02-19 2005-09-01 Sandraic Logic, Llc A California Limited Liability Company Method and apparatus for organizing, sorting and navigating multimedia content
KR101571651B1 (ko) * 2004-04-22 2015-12-04 테크니컬러, 인크. 디지털 다기능 디스크를 위한 컨텍스트 의존형 멀티-앵글 내비게이션 기법
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
EP1982517A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc MULTIVATE VIDEO PROCESSING
MX339121B (es) * 2006-07-06 2016-05-12 Thomson Licensing Metodo y aparato para desacoplar el numero de cuadro y/o la cuenta del orden de imagen (poc) para la codificación y decodificación de video de múltiples vistas.
CA2661578C (en) * 2006-08-24 2014-06-17 Nokia Corporation System and method for indicating track relationships in media files
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
ES2492923T3 (es) * 2006-10-16 2014-09-10 Nokia Corporation Sistema y procedimiento para implementar una administración eficiente de memoria intermedia decodificada en codificación de video de vistas múltiples
KR20090085581A (ko) * 2006-10-24 2009-08-07 톰슨 라이센싱 다중-뷰 비디오 코딩을 위한 화상 관리
WO2008084443A1 (en) * 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding
CN100588250C (zh) * 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN101242530B (zh) * 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
JP2010520697A (ja) * 2007-03-02 2010-06-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8253797B1 (en) * 2007-03-05 2012-08-28 PureTech Systems Inc. Camera image georeferencing systems
US8488677B2 (en) * 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
WO2008133910A2 (en) * 2007-04-25 2008-11-06 Thomson Licensing Inter-view prediction with downsampled reference pictures
US8355019B2 (en) * 2007-11-02 2013-01-15 Dimension Technologies, Inc. 3D optical illusions from off-axis displays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1857003A (zh) * 2003-09-23 2006-11-01 皇家飞利浦电子股份有限公司 提供视频内容和隐蔽相关错误防护以及调度算法的方法和系统
CN1648894A (zh) * 2004-01-30 2005-08-03 佳能株式会社 文件处理装置和文件处理方法
WO2007114608A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
WO2008117963A1 (en) * 2007-03-23 2008-10-02 Lg Electronics Inc. A method and an apparatus for decoding/encoding a video signal

Also Published As

Publication number Publication date
AU2008362801A1 (en) 2010-04-15
CA2739716A1 (en) 2010-04-15
CN102177718A (zh) 2011-09-07
CA2767794A1 (en) 2010-04-15
EP2332336B1 (en) 2014-08-13
JP2012505569A (ja) 2012-03-01
EP2332337A4 (en) 2014-01-01
US20110202575A1 (en) 2011-08-18
WO2010041998A1 (en) 2010-04-15
RU2011118367A (ru) 2012-11-20
EP2332336A4 (en) 2014-01-01
US20110182366A1 (en) 2011-07-28
CN102177717A (zh) 2011-09-07
RU2504917C2 (ru) 2014-01-20
EP2332336A1 (en) 2011-06-15
AU2008362821A1 (en) 2010-04-15
EP2332337A1 (en) 2011-06-15
JP5298201B2 (ja) 2013-09-25
WO2010041999A1 (en) 2010-04-15
RU2508609C2 (ru) 2014-02-27
ES2515967T3 (es) 2014-10-30
JP2012505570A (ja) 2012-03-01
CN102177717B (zh) 2014-01-29
RU2011118384A (ru) 2012-12-10

Similar Documents

Publication Publication Date Title
CN102177718B (zh) 一种用于产生多视图媒体数据的方法及设备
JP5869613B2 (ja) メディア・コンテナ・ファイル管理
KR101594351B1 (ko) 다수의 소스들로부터의 멀티미디어 데이터의 스트리밍
CN101505316B (zh) 重排和复用属于互相关会话的多媒体流的包的方法和设备
EP2540034B1 (en) Method and apparatus for transmitting and receiving data
JP5829626B2 (ja) 再生装置、再生装置の制御方法、生成装置、生成装置の制御方法、制御プログラム、及び該プログラムを記録した記録媒体
CN104639943B (zh) 一种基于h.264编码标准的通用视频加密方法及系统
US20120324521A1 (en) Method and apparatus for creating content in a broadcasting system
US10757199B2 (en) Hybrid delivery mechanism in a multimedia transmission system
KR20110123658A (ko) 3차원 방송 서비스 송수신 방법 및 시스템
JPWO2019031469A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20140125765A1 (en) Transmission device, reception and playback device, transmission method, and reception and playback method
KR101656193B1 (ko) 이기종 망에서의 uhd 비디오 전송을 위한 mmt 기반 방송 시스템 및 방법
JP3723412B2 (ja) ストリーム送受信システム，意味情報サーバおよびストリーム送受信システムにおける課金方法
JP2008187368A (ja) コンテンツ送出装置
KR20170077907A (ko) 통신 시스템에서 데이터 송수신 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140312

Termination date: 20211215