CN103416002B - 视频位流中的渲染定向信息 - Google Patents

视频位流中的渲染定向信息 Download PDF

Info

Publication number
CN103416002B
CN103416002B CN201280012331.6A CN201280012331A CN103416002B CN 103416002 B CN103416002 B CN 103416002B CN 201280012331 A CN201280012331 A CN 201280012331A CN 103416002 B CN103416002 B CN 103416002B
Authority
CN
China
Prior art keywords
orientation
directed information
information
instruction
directed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280012331.6A
Other languages
English (en)
Other versions
CN103416002A (zh
Inventor
J·博伊斯
S·希伯利
J·伦诺克斯
S·温格
D·洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidyo Inc
Original Assignee
Vidyo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidyo Inc filed Critical Vidyo Inc
Publication of CN103416002A publication Critical patent/CN103416002A/zh
Application granted granted Critical
Publication of CN103416002B publication Critical patent/CN103416002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

披露了用于创建、编码、解码和使用与编码的视频位流的非标准部分中的一个或多个经编码图象关联的旋转信息的技术。

Description

视频位流中的渲染定向信息
说明
相关申请的交叉引用
本申请要求2011年3月10日提交的题为“Render OrientationInformation in Video Bitstream(视频位流中的渲染定向信息)”美国临时专利申请序列号为61/451,303的优先权，该申请的公开内容通过引用整体纳入于此。
技术领域
本申请涉及视频编码，更具体地涉及视频位流中与重构的视频位流的空间定向相关的信息的表示。
背景技术
在视频会议和数字TV环境中构思某些视频编码标准，其中所捕捉或重构的视频信号的空间分辨率和定向在捕捉/编码器和解码器/显示地点上是相同的。例如，TV信号可在4：3或16:9高宽比的横向格式下捕捉，并同样以横向格式渲染(尽管可基于用户偏好在接收的TV中调整高宽比)。巧合的是，某些视频压缩标准，包括ITU-T Rec.H.261、H.262、H.263、H.264(所有这些可从国际电信联盟(ITU)，Place de Nation，CH-1211Geneva20，瑞士或www.itu.int获得)，以及可从国际标准组织(ISO)1ch.de laVoie-Creuse,Case postale56,CH-1211Geneva20,瑞士或www.iso.org获得的MPEG-1图象(官方称其为ISO/IEC11172-2)和MPEG-4图象(官方称其为ISO/IEC14496-2)(所有这些通过引用整体纳入于此)不包括与所捕捉的视频信号的空间定向相关的信息。
使用连接至位于个人计算机(PC)、机顶盒、诸如蜂窝电话和平板计算机之类的移动设备或任何其它类似设备上的基于计算机的解码器/渲染装置的屏幕允许也以不是设备天生定向的定向来渲染视频图象，例如通过将它们置于屏幕上的“窗口”内。一些前述设备允许以不止一个定向被观看，这本质上是由于其被手持时的形状因素或由技术手段(回转监视器)确定。操作系统和GUI可能不关心重构的视频信号的“天生”定向。
前面提到的内容在理念上等同地适用于捕捉侧。尽管现在TV和视频会话视觉信号可(并大多数)以横向模式捕捉，然而没有技术理由不绕其捕捉轴旋转相机并由此在不同的定向进行捕捉。这样做需要渲染设备也使重构的图象旋转，由此实现自然的观看体验。
如果没有一种机构允许在视频位流中指示拟被渲染的视频位流(在重构后)的定向，则渲染设备无法对渲染定向作出消息灵通的判断，这可能导致不好的用户体验。
此外，电影制片人在制片过程中旋转相机是艺术表现的一种选择。为了忠实的观看体验，因为视频内容在一个序列中可能变化，因此旋转需要与视频内容同步。这使基于文件格式的定向信息，例如已知为JFIF标准的扩展的一种定向信息(草案ISO/IEC10918-5,其可从国际标准组织(ISO)1，ch.de la Voie-Creuse，Case postale56,CH-1211Geneva20，瑞士或www.iso.org获得并通过引用纳入于此)，无法提供要求的功能。为了相机定向与视频内容有意义的同步，定向信息需要供在视频位流中使用。
因此，在视频位流中可能希望具有一种允许信令拟被重构的位流的定向的机制。
发明内容
所披露的主题事项在视频位流中提供辅助信息以指示由重构后的位流导致的视频信号定向。
在一个实施例中，视频位流中的单个位指示“纵向”或“横向”模式。
在同一或另一实施例中，视频位流中的两个位指示与横向模式偏离0/90/180/270度。在同一或另一实施例中，视频位流中的两个位指示与纵向模式偏离0/90/180/270度。
在同一或另一实施例中，视频位流中的两个位指示与最后已知的相机位置偏离0/90/180/270度。
在同一或另一实施例中，视频位流中的两个位指示与重心轴偏离0/90/180/270度。图7a、7b、7c、7d示出相对于重心轴(701)位于0、90、180、270度的相机位置。在图7b中，重心轴(701)也是相机的自然定向。
在同一或另一实施例中，根据适当熵编码方案编码并位于位流中的整型数或浮点数指示离横向、纵向、最后已知的相机位置或重心轴的定向改变度数。
在同一或另一实施例中，视频位流中的两个位(或者根据适当熵编码方案编码并位于位流中的整型数或浮点数)指示与相机自然定向或非特定定向偏离0/90/180/270度(或由整型数或浮点数表示的不同度数)。
在同一或另一实施例中，一个位指示水平翻转。
在同一或另一实施例中，一个位指示垂直翻转。
在同一或另一实施例中，被编码为整型值或浮点值的持久性信息表示在帧间隔或图象顺序计数间隔中的任一个的时间内测得的旋转信息的持久性。
在同一或另一实施例中，前述位或熵编码数中的任何一个被编码在视频位流中的补充增强信息消息中。
在同一或另一实施例中，前述位或熵编码数中的任何一个在参数集的视觉可用性信息(VUI)部分中被编码，它可位于视频位流中或可在带外传输。
附图说明
通过下面的详细描述与相应的附图，所披露的主题事项的进一步的特征、本质、以及各种优点更加明显，在附图中：
图1是根据本发明一实施例的系统的示意图；
图2是所捕捉和渲染的场景的示意图；
图3是根据本发明一实施例的视频位流的示意图；
图4是根据本发明一实施例的定向信息的示例性表示的示意图；
图5是根据本发明一实施例以纵向和横向模式编码的捕捉场景的示意图；
图6是根据本发明实施例的计算机系统的示意图；以及
图7是照相机相对于重心轴定向的示意图。
这些附图被结合且组成本公开的一部分。除非另外指明，否则全部附图中的相同附图标记和字符用来表示所示实施例的相同特征、元素、组件、或部分。此外，当现在将参考附图详细地描述所公开的主题时，结合说明性实施例来完成该描述。
详细描述
图1示出视频会议系统的相关部分作为所披露的主题事项的应用的一个例子。相机(101)捕捉场景。可手动地或通过机动相机头(103)使相机绕其捕捉轴(102)旋转。(相机头以虚线表示，因为它是任选的。)位于相机(101)(如图所示)、相机头(103)内或另一适宜位置处的传感器(104)可被用来标识相机(101)的捕捉定向。替代地，当执行相机旋转的开环(无传感器)控制时，相机头也可直接地提供定向。例如，操作者可能手动地将相机设置在水平(横向)定向上，并且相机头通过步进电机使相机旋转，步进电机的每一步进遵循例如1度的旋转。通过对发送至电机的步进脉冲计数，相机头无需传感器也能“知道”相机的定向。同样可能的是相机处于固定位置，其中除横向位置(重心轴垂直于图象的水平扫描线)以外的任何位置利用所披露的技术。
视频编码器(105)耦合至相机(101)，该视频编码器(105)可包括定向确定模块(106)。定向确定模块(106)可从传感器(104)或相机头(103)或任何其它适宜设备接收其输入(107)，或者可从视频内容(例如通过观察场景的地平线、场景中人的定向、由下落物体所示的重心方向及类似物)中推导出。定向编码模块(108)可耦合至定向确定模块。定向编码模块(108)可将通过定向确定模块(106)确定的定向编码到视频位流中适当的位置。为了这样做，定向编码模块(108)可与编码器(104)中其余的位流发生(109)相互作用，例如用来确定位流中的定向指示位的正确位置。下面描述定向信息作为一个或多个位的可能表示的示例。本文描述的各模块可包括硬件和软件的任何适当组合。
编码器(105)的输出是经编码的视频位流(110)，该经编码的视频位流(110)在某些中间步骤(例如：嵌入到文件格式中、分包、例如在网络上分配、解包，诸如此类)之后可到达解码器(111)。
在解码器(111)中，定向解码模块(112)可从位流中提取表示定向信息的位。在定向解码模块之外的其余解码过程如常进行，并且其结果是具有所捕捉的分辨率的一系列图像，通常以横向模式出现。
定向解码模块(112)可例如通过遵循定向信息编码的逆过程对位流中的定向信息进行解码。例如，可使结果得到的信息供(可能是基于软件的)渲染器(113)使用，该渲染器(113)能准确地将经解码的像素矩阵置于不一定沿横向定向的窗口内。另一种使用形式是使定向转换由图形处理单元(GPU)(114)执行，在诸如运行在启用GPU的移动电话上的渲染器的某些场景下从主CPU处理预算或功率节省角度来说是有利的。使定向信息在GPU(114)可用的又一优势是GPU(114)无论如何必须运行在经编码的视频位流的重构图象的像素上，以例如执行诸如色彩空间转换或调整大小之类的任务。在这种情形下，GPU(114)在某些实现中可执行定向变化而不招致任何显著数量的循环或存储器存取，这也有助于节约电池寿命和CPU循环。又一种使用形式涉及在类似于相机头(102)的能够物理旋转的屏幕(被称为回转屏)上进行渲染。现在更详细地回顾又一种形式。渲染设备(116)可以是平板PC或移动电话，它可具有内部传感器(117)以确定屏幕(115)相对于重心轴(118)的位置。根据用户如何握持他/她的设备，设备(116)的屏幕(115)例如处于横向模式或纵向模式。图示设备(116)以纵向模式显示屏幕(115)，这是图示示例性设备的“自然”定向。如下面描述的，渲染设备内部传感器(117)与可在视频位流(110)中获得并由定向解码器(112)解码的定向信息的组合可确保用户一直接收到(从定向角度看)令人视觉愉悦的重构图象，不管相机(101)或渲染设备(116)的定向如何。
图2示出捕捉定向和渲染定向的四种不同配置，其仅侧重于纵向和横向模式。
在第一场景下，相机(201)以横向模式进行捕捉，并且显示器定向(202)也是横向模式。相机(201)和显示器(202)的定向是相同的，并且不管所披露技术使用与否都能正确地渲染图象。
在第二场景下，相机(203)顺时针旋转90度从而以纵向模式捕捉。不使用所给出的已披露主题事项的话，渲染(在缩放至最大可用屏幕资产之后)将看上去如显示器(204)上所示那样。具体地说，图象看上去被旋转了90度并对人类消费无益。
在场景三，相机(205)被再次旋转90度但根据所披露的主题事项的定向信息出现在位流中。位流解码器可能不知道捕捉定向被旋转。然而，定向解码器已从该位流确定拟渲染位流的定向，如已讨论过的那样。它可将渲染信息转发给渲染器。渲染器可使用该信息旋转(并适宜地缩放)重构的图像以在显示器(206)上将它们以令人愉悦的方式呈现给观看者。
在场景四，相机(207)和屏幕(208)两者被旋转过90度。在没有所披露的主题事项的情形下并当渲染设备不具有定向传感器时，重构的图象将被正确地渲染。然而，手持设备越来越多地包括定向传感器，并且用户界面旋转屏幕内容，该屏幕内容可包括重构的视频，它因而导致视觉上令人不愉悦的经旋转图象被渲染，这类似于前面在显示器(206)所示的情形。然而，当定向信息在位流中可用时，定向解码器可对该信息解码并将其送至渲染器，并且渲染器可起作用从而以视觉愉悦的定向显示(208)图象。
从观看者的角度直接通过重构图象“竖直”的渲染取得视觉愉悦的结果仅仅是所披露的主题事项的一种应用。现在将描述另一种示例性使用。对于某些视频内容，已发现沿与最初定向不同的定向(例如以纵向模式而不是横向模式)对图象编码对于编码效率是有利的。对于不是正方形的图象，该定向变化改变图象的尺寸，许多现代视频编码标准可支持这个。参见图5，其示出4：3横向格式下的场景(501)。编码器可使用针对宏块(502)的正常光栅扫描顺序处理所捕捉的场景(没有定向变化)。每个正方形指4×3的宏块尺寸图象的一个宏块，而所示的整数表示扫描顺序。然而，根据一个实施例，编码器也可在处理前旋转图像，在这里例如顺时针转过90°。在该例中，图像尺寸改变至3×4的宏块。可使用正常编码工具和所指出的宏块扫描顺序对该纵向和横向图像两者进行编码。由于当定向变化时交叉宏块预测属性可能改变，因此对结果旋转的图像编码所需的位数也可能改变。编码器可例如测试两次、三次或更多次不同的旋转(例如旋转过0、90、180和270度)，并使用最少位数选择经编码的图像。这些位加上旋转信息，使解码器能沿适当的定向重构图像，这不仅对视觉体验来说是重要的，对在使用图象间预测时使用重构的图象作为参考也是重要的。
参见图3，并使用通过引用纳入于此的ITU-T Rec.H.264作为示例，定向信息(301)可被置于位流的不同部分(在对标准语法和语义作适当修改后)。一个位置可以是视觉可用性信息(VUI)数据结构(302)，它是序列参数集(SPS)(303)的一个任选部分。当前标准化的视觉可用性信息包括诸如像素高宽比或色彩空间信息之类的字段，这些字段帮助渲染器正确地渲染经重构的图像。定向信息适应这种范畴。在参数集中包含定向信息具有信息不受损失的优点，而信息损失对于SEI消息而言很容易发生(见下文)。
H.264位流的另一适当部分在于标准化或专门针对售者的补充增强信息(SEI)消息(305)。SEI消息可被置于视频序列中，位于切片(304)或图象边界。SEI消息的使用具有能信令视频序列中的不同定向信息(如H.264中定义的那样)，或超出单个序列而不改变序列参数集的优势。当相机定向可在中间序列改变并且定向信息与视频位同步地发送时，这将是合乎需要的。然而，SEI消息不被假定为可靠地传送，结果，定向信息可能丢失，这导致之前已讨论过的视频内容在视觉上令人不愉悦的渲染。
前面的选择不是相互排斥的，并且在一些情形下，同时使用两者可以是明智的设计选择，其中SEI消息比参数集中存在的信息更占优势。
根据视频编码位流格式，位流中的其它位置可等同地适用，例如GOP或图象头部、切片头部、图象参数集等等。对基于H.264(和类似)标准的实现，定向信息支持编码效率的适当布置可以是解码处理所需的那些位流部分，例如图象参数集。SEI消息或VUI的使用在这种情形下是不可取的，因为为了在解码后产生参考图象，解码器肯定需要知道是否需要改变每个图象的定向。
参见图4，定向信息可在位流中以不同格式表示，下面给出其中的一些格式。这些格式的区别尤其在于它们指示定向的粒度以及作为结果将它们编码在位流中所需的位数。
一种格式可以被编码在单个位(401)中，该位指示“横向”或“纵向”模式(402)。假定横向具有TV信号的传统偏好，“纵向”可指相机顺时针90°的旋转。对结合前面图2描述的使用场景来说，该信息已足以提供所提到的功能。
另一格式包括两个位(403)，它们指示例如顺时针旋转过0、90、180、270度(404)。该信息可相对于重心轴、相对于前面接收的定向信息或在不同背景下被推断出。该信息或者可以是标准化的(并因此隐含地假设何时在位流中找到定向信息)或明确地发信令。例如，位(405)可指示“完全来自重心轴”(当被置为0时)或“相对于前一定向”(当被置为1时)(406)。当预期到定向的动态变化时递增信息编码最合适，并且该定向信息被编码在SEI消息中。
旋转角度的更细粒度也是可能的。例如，可使用9位整数(407)以1度的粒度来指示0度和359度之间的旋转(使用9位数提供的512个值空间的360个值)。
浮点的使用同样是可能的。
在一些应用中，信令图象水平或垂直地翻转以实现镜像图像的准确渲染是可取的。
所有前面提到的旋转表示在某些环境下可从指示旋转信息的持久性和/或解码器可望接收到旋转信息的刷新或更新的信息中获益。考虑到SEI消息很可能因为要求其传输优先级(如SEI消息的NAL单元头部中的nal_ref_idc字段指示)为零(这指示可任意使用的NAL单元)而遭受损失，这样做是尤为有益的。意识到含旋转信息的SEI消息的可能损失(例如通过由持久性信息指定的间隔超时)的解码器可基于之前旋转变化的频率的统计分析例如通过假设该旋转尚未改变而正确地作出反应。持久性信息可以任何适当的熵编码格式表达(即整数、浮点数、CABAC编码的整数)，并可例如以时间(毫秒)、帧间隔或图像顺序计数间隔来测得。
所有前面提到的信息可直接被置于位流中，或使用所采用的视频压缩技术的熵编码方案进行熵编码。例如，在H.264的背景下，这些值可被二进制编码或遵循CA-VLC或CABAC的熵编码机制编码。
应当理解的是，根据所公开的发明主题，本文中描述的旋转信息编码技术可利用硬件和软件的任意合适组合来实现。用于实现和操作上述码率估计和控制技术的软件（即指令）可在计算机可读介质上提供，这些计算机可读介质可包括但不限于，固件、存储器、存储设备、微控制器、微处理器、集成电路、ASIC、可在线下载的介质、以及其它可用介质。
计算机系统
上述用于视频编码的方法可被实现为使用计算机可读指令并且物理存储在计算机可读介质中的计算机软件。计算机软件可使用任何合适的计算机语言来编码。软件指令可在多种类型的计算机上执行。例如，图6示出了适合于实现本公开的实施例的计算机系统600。
图6中所示的计算机系统600的组件本质上是示例性的并且不旨在暗示关于实现本公开的实施例的计算机软件的使用范围或功能范围的任何限制。不应当将组件的配置解释为具有与在计算机系统的示例性实施例中示出的组件的任何一个或它们的组合有关的任何依赖或要求。计算机系统600可具有包括集成电路、印刷电路板、小手持设备（例如，移动电话或PDA）、个人计算机或超级计算机的多种物理形式。
计算机系统600包括显示器632、一个或多个输入设备633（例如，小键盘、键盘、鼠标、输入笔等等）、一个或多个输出设备634（例如，扬声器）、一个或多个存储设备635、多种类型的存储介质636。
系统总线640连接各种各样的子系统。如本领域技术人员所理解的，“总线”是指服务于共同功能的多个数字信号线。系统总线640可以是包括存储器总线、外围总线和利用任何多种总线架构的本地总线的若干类型中任何一种的总线结构。作为示例而非限制，这种架构包括工业标准架构（ISA）总线、增强的ISA（EISA）总线、微通道架构（MCA）总线、视频电子标准协会本地（VLB）总线、外设组件互连（PCI）总线、PCI-Express总线（PCI-X）和加速图形端口（AGP）总线。
处理器601（也称为中央处理单元或CPU）任选地包含用于临时本地存储指令、数据或计算机地址的高速缓存存储器单元602。处理器601耦合至包括存储器603的存储设备。存储器603包括随机存取存储器（RAM）604和只读存储器（ROM）605。如本领域已知，ROM605用于单向地向处理器601传输数据和指令，而RAM604通常用于以双向方式传递数据和指令。这些类型存储器都可包括以下所述的任何合适的计算机可读媒体。
固定存储608还任选地经由存储控制单元607双向耦合至处理器601。它提供附加的数据存储能力并且还可包括以下所述的任何计算机可读介质。存储608可被用于存储操作系统609、EXEC610、应用程序612、数据611等等，并且通常为比主存储更慢的辅助存储介质（例如，硬盘）。应当理解，在适当的情形下，保存在存储608中的信息可按照标准方式被纳入作为存储器603中的虚拟存储器。
处理器601还耦合到诸如诸如图形控制621、视频接口622、输入接口623、输出接口624、存储接口625之类的各种接口，并且这些接口进而耦合到适当的设备。一般而言，输入/输出设备可以是下面任何一种：视频显示器、跟踪球、鼠标、键盘、话筒、触敏显示器、换能器读卡器、磁或纸带读取器、便笺设备、输入笔、语音或手写识别器、生物识别读取器或其他计算机。处理器601可使用网络接口620耦合至另一计算机或电信网络630。采用这种网络接口620，预期CPU601可从网络630接收信息，或可在执行上述方法的过程中将信息输出至网络。此外，本公开的方法实施例可单独地在CPU601上执行或可在诸如互联网之类的网络630上协同远程CPU601执行，该远程CPU601共享处理的一部分。
根据各个实施例，当在网络环境中时，即当计算机系统600连接至网络630时，计算机系统600可与同样连接至网络630的其他设备通信。通信可经由网络接口620向和从计算机系统600发送。例如，传入的通信，例如，来自另一设备以一个或多个分组形式的请求或响应，可在网络接口620处从网络630接收并且存储在存储器603选定的部分中以供处理。传出的通信，例如，对另一设备仍然以一个或多个分组形式的请求或响应，也可存储在存储器603选定的部分中并在网络接口620处送往网络630。处理器601可访问存储在存储器603中的这些通信分组以供处理。
此外，本公开的实施例还涉及具有计算机可读介质的计算机存储产品，其上具有用于执行多种计算机实现的操作的计算机代码。介质和计算机代码可以是针对本发明的目的专门设计和构造的，或者它们可以是计算机软件领域的普通技术人员已知和可获得的类型。计算机可读介质的示例包括，但不限于：诸如硬盘、软盘和磁带之类的磁介质；诸如CD-ROM和全息设备之类的光学介质；诸如光盘之类的磁光介质；以及诸如专用集成电路（ASIC）、可编程逻辑器件（PLD）以及ROM和RAM设备之类专门配置成存储和执行程序代码的硬件设备。计算机代码的示例包括例如由编译器产生的机器代码，和包含由计算机利用解释器执行的更高级代码的文件。本领域普通技术人员也应当理解，与本公开的主题相关的术语“计算机可读介质”不涵盖传输介质、载波或其他瞬态信号。
作为示例而非限制，具有架构600的计算机系统可提供作为处理器601执行具体化为诸如存储器603之类的一个或多个有形的计算机可读介质的结果的功能。实现本公开的各个实施例的软件可存储在存储器603中并且可由处理器601执行。计算机可读介质可根据特定需要包括一个或多个存储器设备。存储器603可从诸如大容量存储器635之类的一个或多个其他计算机可读介质或经由通信接口从一个或多个其他源读取软件。软件可使处理器601执行本文所描述的特定进程或特定进程的特定部分，包括定义存储在存储器603中的数据结构和根据软件定义的进程修改这类数据结构。作为附加或替代，计算机系统可提供作为硬连接的或以其他方式体现在电路中的逻辑的结果的功能，该逻辑可取代软件或与软件一起工作以执行本文所述的特定进程或特定进程的特定部分。在适当的情况下，对软件的引用可涵盖逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可涵盖存储用于执行的软件的电路（例如，集成电路（IC））、体现用于执行的逻辑的电路，或以上两种电路。本公开涵盖硬件和软件的任何适当组合。
尽管本公开内容描述了若干示例性实施例，但是存在落在所公开主题的范围内的变化、置换、和各种等价替换。由此，应当理解，本领域技术人员将能够设计多种系统和方法，虽然这些系统和方法在本文中未明确地示出或描述，但是体现本公开的原理并且由此在其精神和范围内。

Claims (27)

1.一种视频编码的方法，包括：
在编码器处确定至少一个输入图象的定向；以及
在所述至少一个输入图象的位流中编码定向信息，
其中所述定向信息被编码在下面至少一个中：补充增强信息消息以及视觉可用性信息。
2.如权利要求1所述的方法，其特征在于，所述定向信息包括下面至少一个：
(a)指示纵向模式或横向模式的位；以及
(b)两个位，用于指示相对于下面至少一个转过的四个预定旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
3.如权利要求1所述的方法，其特征在于，所述定向信息包括整型数或浮点数中的至少一个，所述整型数或浮点数中的至少一个指示相对于下面至少一个的旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
4.如权利要求1所述的方法，其特征在于，所述定向信息包括指示水平翻转或垂直翻转中的一个的位。
5.如权利要求1所述的方法，其特征在于，所述定向信息包括指示以下面至少一个测得的持久性的数：时间间隔、帧数以及图象数间隔。
6.一种视频解码的方法，包括：
从至少一个输入图象的位流中捡取定向信息，
其中所述定向信息被编码在下面至少一个中：补充增强信息消息以及视觉可用性信息。
7.如权利要求6所述的方法，其特征在于，还包括：
使用所述定向信息以渲染至少一个重构的视频图象。
8.如权利要求6所述的方法，其特征在于，所述定向信息包括下面至少一个：
(a)指示纵向模式或横向模式的位；以及
(b)两个位，用于指示相对于下面至少一个转过的四个预定旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
9.如权利要求6所述的方法，其特征在于，所述定向信息包括整型数或浮点数中的至少一个，所述整型数或浮点数中的至少一个指示相对于下面至少一个的旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
10.如权利要求6所述的方法，其特征在于，所述定向信息包括指示水平翻转或垂直翻转中的一个的位。
11.如权利要求6所述的方法，其特征在于，所述定向信息包括指示以下面至少一个测得的持久性的数：时间间隔、帧数或图象数间隔。
12.一种用于视频编码的系统，包括：
被配置成确定至少一个输入图象的定向的定向确定模块；
耦合至所述定向确定模块的定向编码模块，用于在至少一个输入图象的位流中编码定向信息；以及
耦合至所述定向编码模块的位流发生模块，其中所述位流发生模块被配置成将包含定向信息的至少一个补充增强信息SEI消息或视觉可用性信息VUI包括到至少一个输入图象的位流中。
13.如权利要求12所述的系统，其特征在于，所述定向确定模块从下面至少一个接收表示至少一个输入图象的定向的输入：作为手持设备的一部分的传感器以及相机头。
14.一种用于视频解码的系统，包括：
配置成从至少一个输入图象的位流提取定向信息并解码定向信息的定向解码模块，
其中所述定向信息被编码在下面至少一个中：补充增强信息消息以及视觉可用性信息。
15.如权利要求14所述的系统，其特征在于，所述定向解码模块耦合至渲染器，所述渲染器被配置成根据从所述位流提取和解码的定向信息来渲染至少一个重构的图象。
16.如权利要求15所述的系统，其特征在于，所述渲染器包括图形处理单元。
17.一种视频编码的设备，包括：
用于在编码器处确定至少一个输入图象的定向的装置；以及
用于在所述至少一个输入图象的位流中编码定向信息的装置，
其中所述定向信息被编码在下面至少一个中：补充增强信息消息以及视觉可用性信息。
18.如权利要求17所述的设备，其特征在于，所述定向信息包括下面至少一个：
(a)指示纵向模式或横向模式的位；以及
(b)两个位，用于指示相对于下面至少一个转过的四个预定旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
19.如权利要求17所述的设备，其特征在于，所述定向信息包括整型数或浮点数中的至少一个，所述整型数或浮点数中的至少一个指示相对于下面至少一个的旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
20.如权利要求17所述的设备，其特征在于，所述定向信息包括指示水平翻转或垂直翻转中的一个的位。
21.如权利要求17所述的设备，其特征在于，所述定向信息包括指示以下面至少一个测得的持久性的数：时间间隔、帧数以及图象数间隔。
22.一种视频解码的设备，包括：
用于从至少一个输入图象的位流中捡取定向信息的装置，
其中所述定向信息被编码在下面至少一个中：补充增强信息消息以及视觉可用性信息。
23.如权利要求22所述的设备，其特征在于，还包括：
用于使用所述定向信息以渲染至少一个重构的视频图象的装置。
24.如权利要求22所述的设备，其特征在于，所述定向信息包括下面至少一个：
(a)指示纵向模式或横向模式的位；以及
(b)两个位，用于指示相对于下面至少一个转过的四个预定旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
25.如权利要求22所述的设备，其特征在于，所述定向信息包括整型数或浮点数中的至少一个，所述整型数或浮点数中的至少一个指示相对于下面至少一个的旋转角：相机的自然定向、横向模式、纵向模式、基于输入图象的最近已知定向的相对定向、以及重心轴。
26.如权利要求22所述的设备，其特征在于，所述定向信息包括指示水平翻转或垂直翻转中的一个的位。
27.如权利要求22所述的设备，其特征在于，所述定向信息包括指示以下面至少一个测得的持久性的数：时间间隔、帧数或图象数间隔。
CN201280012331.6A 2011-03-10 2012-01-11 视频位流中的渲染定向信息 Active CN103416002B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161451303P 2011-03-10 2011-03-10
US61/451,303 2011-03-10
PCT/US2012/020890 WO2012121802A1 (en) 2011-03-10 2012-01-11 Render-orientation information in video bitstream

Publications (2)

Publication Number Publication Date
CN103416002A CN103416002A (zh) 2013-11-27
CN103416002B true CN103416002B (zh) 2015-04-01

Family

ID=46795581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280012331.6A Active CN103416002B (zh) 2011-03-10 2012-01-11 视频位流中的渲染定向信息

Country Status (7)

Country Link
US (2) US9743099B2 (zh)
EP (1) EP2684294A4 (zh)
JP (1) JP6026443B2 (zh)
CN (1) CN103416002B (zh)
AU (1) AU2012226283B2 (zh)
CA (1) CA2829290C (zh)
WO (1) WO2012121802A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013128078A1 (en) * 2012-02-29 2013-09-06 Nokia Corporation Method and apparatus for rendering items in a user interface
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US20130188922A1 (en) * 2012-01-23 2013-07-25 Research In Motion Limited Multimedia File Support for Media Capture Device Position and Location Timed Metadata
KR101995258B1 (ko) * 2012-05-14 2019-07-02 삼성전자 주식회사 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
US9438818B2 (en) 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
US9479782B2 (en) 2012-09-28 2016-10-25 Qualcomm Incorporated Supplemental enhancement information message coding
US11716300B2 (en) * 2013-02-13 2023-08-01 Guy Ravine Techniques for optimizing the display of videos
US9565437B2 (en) 2013-04-08 2017-02-07 Qualcomm Incorporated Parameter set designs for video coding extensions
KR20160126985A (ko) 2014-02-27 2016-11-02 톰슨 라이센싱 비디오의 방향을 결정하기 위한 방법 및 장치
US10447747B2 (en) 2014-03-25 2019-10-15 Qualcomm Incorporated Video orientation negotiation
US20160330453A1 (en) * 2015-05-05 2016-11-10 Cisco Technology, Inc. Parameter Set Header
CN107395950B (zh) * 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
JP7146747B2 (ja) 2016-11-17 2022-10-04 インテル コーポレイション パノラマビデオのための提案されるビューポート指示
WO2018093840A1 (en) * 2016-11-17 2018-05-24 Intel Corporation Spherical rotation for encoding wide view video
FR3070087B1 (fr) * 2017-08-11 2019-08-09 Renault S.A.S. Procede d’affichage d’images sur un ecran de vehicule automobile
BR112023018967A2 (pt) * 2021-04-02 2023-10-17 Qualcomm Inc Orientação de imagem e métricas de qualidade mensagem de informações de aprimoramento suplementar para codificação de vídeo
US11895336B2 (en) 2021-04-02 2024-02-06 Qualcomm Incorporated Picture orientation and quality metrics supplemental enhancement information message for video coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499442A (zh) * 2002-10-31 2004-05-26 有效的嵌入式交互编码
CN101460977A (zh) * 2006-06-21 2009-06-17 索尼爱立信移动通讯股份有限公司 用于调节图像取向的设备和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4703515A (en) * 1985-08-26 1987-10-27 Xerox Corporation Image rotation
JPH06102855A (ja) * 1991-12-19 1994-04-15 Nintendo Co Ltd 動画表示装置およびそれに用いられる外部記憶装置
JPH08336069A (ja) 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP4186091B2 (ja) * 1999-07-30 2008-11-26 ソニー株式会社 電子スチルカメラ
JP3343104B2 (ja) 2000-07-06 2002-11-11 松下電送システム株式会社 画像処理装置及び画像処理方法
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
JP3821020B2 (ja) * 2002-03-08 2006-09-13 日本ビクター株式会社 記録方法、記録装置、記録媒体、再生装置及び伝送方法並びにコンピュータプログラム
TW564373B (en) 2002-09-19 2003-12-01 Via Tech Inc Partial image rotation device and method
JP2005328279A (ja) * 2004-05-13 2005-11-24 Canon Inc 記録装置
KR101170799B1 (ko) 2005-05-21 2012-08-02 삼성전자주식회사 영상 압축 방법 및 그 장치와 영상 복원 방법 및 그 장치
EP1964411B1 (en) 2005-12-22 2017-01-11 Thomson Licensing Method and apparatus for optimization of frame selection for flexible macroblock ordering (fmo) video encoding
CN101356800B (zh) * 2006-03-23 2011-07-27 松下电器产业株式会社 内容拍摄装置
JP2007267197A (ja) * 2006-03-29 2007-10-11 Fujitsu Ltd 画像処理方法、画像処理装置、および印刷物
JP2007328693A (ja) * 2006-06-09 2007-12-20 Canon Inc 画像回転装置
JP4871357B2 (ja) 2006-06-28 2012-02-08 富士通株式会社 携帯装置及び映像通信システム
US20080002963A1 (en) * 2006-06-28 2008-01-03 Media Tek Inc. Systems and methods for capturing images of objects
US7974307B2 (en) 2006-11-30 2011-07-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Methods and apparatus for data decoding/encoding and for searching for/inserting stuffing bytes
JP2009094741A (ja) * 2007-10-05 2009-04-30 Samsung Techwin Co Ltd 撮像装置、撮像方法及びプログラム
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US20100027663A1 (en) 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
BRPI1007163A2 (pt) * 2009-01-26 2018-09-25 Thomson Licensing compactação de quadro para codificação de vídeo
US8363721B2 (en) 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
US20100254617A1 (en) 2009-04-01 2010-10-07 Qualcomm Incorporated Apparatus and method to rotate an image
CN102422577A (zh) 2009-04-24 2012-04-18 德耳塔维德约股份有限公司 用于数字视频分配系统中的瞬时多频道视频内容浏览的系统、方法和计算机可读介质
US9124874B2 (en) 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
US20120106622A1 (en) 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1499442A (zh) * 2002-10-31 2004-05-26 有效的嵌入式交互编码
CN101460977A (zh) * 2006-06-21 2009-06-17 索尼爱立信移动通讯股份有限公司 用于调节图像取向的设备和方法

Also Published As

Publication number Publication date
US9743099B2 (en) 2017-08-22
EP2684294A1 (en) 2014-01-15
US10027970B2 (en) 2018-07-17
AU2012226283A1 (en) 2013-09-05
CA2829290C (en) 2017-10-17
CN103416002A (zh) 2013-11-27
EP2684294A4 (en) 2014-08-20
JP6026443B2 (ja) 2016-11-16
US20170324971A1 (en) 2017-11-09
JP2014511647A (ja) 2014-05-15
CA2829290A1 (en) 2012-09-13
AU2012226283B2 (en) 2016-09-15
US20120230429A1 (en) 2012-09-13
WO2012121802A1 (en) 2012-09-13

Similar Documents

Publication Publication Date Title
CN103416002B (zh) 视频位流中的渲染定向信息
CN105917649B (zh) 用于将兴趣区域指示包括在压缩视频数据中的设备及方法
CN103430458B (zh) 可伸缩视频编码的依存参数集
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
KR100990565B1 (ko) 하나의 비디오 파일에서 비디오 데이터의 다중 투사를처리하는 시스템 및 방법
US20140092439A1 (en) Encoding images using a 3d mesh of polygons and corresponding textures
CN107667534A (zh) 在有限的带宽连接中播放球形视频
CN103797805B (zh) 使用变更区域的媒体编码
KR101266667B1 (ko) 장치 내 제어기에서 프로그래밍되는 압축 방법 및 시스템
KR100513056B1 (ko) 영상 컨텐츠의 적응 변환 장치 및 그 방법
US10735826B2 (en) Free dimension format and codec
US20160088298A1 (en) Video coding rate control including target bitrate and quality control
US10958950B2 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN105359533A (zh) 用于低功率图像压缩和显示的技术
EP2795896A1 (en) Dram compression scheme to reduce power consumption in motion compensation and display refresh
US10997795B2 (en) Method and apparatus for processing three dimensional object image using point cloud data
CN111432213B (zh) 用于视频和图像压缩的贴片数据大小编码的方法和装置
CN116708793B (zh) 视频的传输方法、装置、设备及存储介质
US20240185469A1 (en) Coding of displacements using hierarchical coding at subdivision level for vertex mesh (v-mesh)
US10484714B2 (en) Codec for multi-camera compression
CN114697664A (zh) 视频编码器、视频解码器及相关方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant