CN102273211A - 图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统 - Google Patents

图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统 Download PDF

Info

Publication number
CN102273211A
CN102273211A CN2010800041302A CN201080004130A CN102273211A CN 102273211 A CN102273211 A CN 102273211A CN 2010800041302 A CN2010800041302 A CN 2010800041302A CN 201080004130 A CN201080004130 A CN 201080004130A CN 102273211 A CN102273211 A CN 102273211A
Authority
CN
China
Prior art keywords
moving image
image
additional information
information
watching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800041302A
Other languages
English (en)
Inventor
永野秀敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102273211A publication Critical patent/CN102273211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Abstract

公开了一种图像发送设备。该图像发送设备提供有：运动图像压缩单元(102)，用于编码在一帧中布置了常规运动图像和附加信息运动图像的合成图像；常规运动图像区域编码单元(104)，用于编码指示常规图像的区域的区域信息；附加信息运动图像存在信息编码单元(106)，用于编码指示附加信息运动图像存在的存在信息；以及发送单元，用于发送已编码的合成图像，区域信息和存在信息。

Description

图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统
技术领域
本发明涉及一种图像发送方法、图像接收方法、图像发送设备、图像接收设备和图像发送系统。
背景技术
过去，例如，正如下面的专利文献所述，众所周知，以预定周期向显示器交替提供其间具有视差的左眼图像和右眼图像，并且以具有以预定周期驱动的同步液晶快门的眼镜来观看该图像的技术。
在当前的数字广播中，诸如电子节目表或者数字广播的服务在运营，而且根据用户的要求，开始提供普通视频或者音频节目之外的服务。
引文列表
专利文献
专利文献1：JP 9-138384A
专利文献2：JP 2000-36969A
专利文献3：JP 2003-45343A
发明内容
技术问题
在这些情况下，已经通过附加新的值到视频或者音频，来请求普通节目进一步丰富服务。为了附加新的值到视频，可以设想独立于普通视频(下面称为“普通观看运动图像”)发送具有附加的值的视频(下面称为“附加信息运动图像”)，并且在接收侧利用普通观看运动图像和附加信息运动图像，显示具有高附加值的运动图像。
为了与对普通观看创建的普通观看运动图像一起发送附加信息运动图像以改善该内容的附加值，可以采用单独编码和发送普通观看运动图像和附加信息运动图像、单独解码所发送的运动图像、以及显示运动图像的技术。然而，在这种情况下，接收设备侧必须执行两次解码，并且如果安装了两个解码器，则接收设备的价格升高。
同时，如果普通观看运动图像和附加信息运动图像被布置在单一屏幕上，则由于该普通观看运动图像和附加信息运动图像一起编码，所以可以由单一编码器进行编码，并且由单一解码器解码该普通观看运动图像和附加信息运动图像。然而，恒定地显示该普通观看运动图像和附加信息运动图像作为接收设备的输出，导致与发送侧初始期望的普通观看运动图像不同的显示。
例如，双目立体运动图像可以被作为具有比普通视频高的附加值的视频发送。在这种情况下，可以考虑一个单目图像被看作普通观看运动图像，而另一单目图像被作为附加信息运动图像发送。
因此，在不能实现双目立体视觉的现有接收设备中，如图28和图29所示，普通观看运动图像和附加信息运动图像在同一个屏幕上在垂直方向或者水平方向上被缩小，然后，同时并行地显示它们。由于该双目立体视觉在左运动图像和右运动图像之间的内容差别小，所以在不能实现双目立体视觉的接收设备中，希望以正确的纵横比仅观看单目运动图像(普通观看运动图像)，如图30所示，而非图28和图29所示。
因此，鉴于上述问题设计了本发明，并且本发明的目的是提供新颖的和改进的图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统，其能够将现有发送/接收设备在运动图像发送上的改变最小化，并且与普通观看运动图像一起发送附加信息运动图像。
技术方案
根据本发明的方面，为了实现上述目的，提供了图像发送方法，包括步骤：压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；编码表示普通观看运动图像的区域的区域信息；编码表示存在附加信息运动图像的存在信息；以及发送集成图像，区域信息和存在信息。
存在信息可以包括指定附加信息运动图像的类型的信息。
可以包括将附加信息运动图像是否是用于多目立体视觉的运动图像指定为附加信息运动图像的类型的信息。
存在信息可以包括表示附加信息运动图像的区域的或者附加信息运动图像的纵横比的区域信息。
存在信息可以包括指定在使用附加信息运动图像时的普通观看运动图像的图像区域的信息。
根据本发明的另一方面，为了实现上述目的，提供了图像接收方法，包括步骤：解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；基于区域信息指定并显示普通观看运动图像的区域；以及基于存在信息识别附加信息运动图像的存在，并显示附加信息运动图像。
根据本发明的又一方面，为了实现上述目的，提供了图像发送设备，包括：压缩单元，被配置为压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息。
根据本发明的又一方面，为了实现上述目的，提供了图像接收设备，包括：解压缩单元，被配置为解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息解码单元，被配置为解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于区域信息指定并输出普通观看运动图像的区域，基于存在信息识别附加信息运动图像的存在，以及输出附加信息运动图像。
根据本发明的又一方面，为了实现上述目的，提供了包括图像发送设备和图像接收设备的图像发送系统，图像发送设备包括：压缩单元，被配置为压缩在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息；图像接收设备包括：解压缩单元，被配置为解压缩从发送侧发送的、在一帧中布置普通观看运动图像和附加信息运动图像的集成图像；区域信息解码单元，被配置为解码表示与集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于区域信息指定并输出普通观看运动图像的区域，基于存在信息识别附加信息运动图像的存在，以及输出附加信息运动图像。
技术效果
根据本发明，可以将现有发送/接收设备在运动图像发送时的改变最小化，并且与普通观看运动图像一起发送附加信息运动图像。
附图说明
图1是示出普通观看运动图像和附加信息运动图像显示在一个屏幕上的状态的示意图。
图2是示出图1的布置信息被表示为表的状态的示意图。
图3是示出裁剪参数和与要裁剪的区域的矩形区域相关的参数。
图4是示出杜比(Dolby)AC-3音频的流信息的示意图。
图5是示出对PMT的流信息添加附加信息运动图像描述符的情况的示意图。
图6是示出附加信息运动图像描述符的内容的示例的示意图。
图7是示出一层附加信息运动图像SEI的示意图。
图8是示出发送附加信息运动图像表示信息作为新专用部分的情况的示意图。
图9是示出在普通观看运动图像之后直接布置附加信息运动图像的裁剪位置的情况的示意图。
图10是示出在普通观看运动图像之后直接布置附加信息运动图像的裁剪位置时的协议内容的示意图。
图11是示出以距离左眼运动图像一定间隔的布置右眼运动图像的情况的示意图。
图12是示出图11的情况下的协议内容的示意图。
图13是示出当同意在横向上布置多目立体视觉的运动图像时，集成图像的布置状态的示意图。
图14是示出当通过在横向上充分布置之后在纵向上布置剩余运动图像的协议进行布置时集成图像的布置状态的示意图。
图15是示出主立体运动图像布置在上部而补充立体运动图像布置在下部的集成运动图像的示例的示意图。
图16是示出向H.264新添加附加信息运动图像SEI时的内容的示意图。
图17是示出当对于每种类型的附加信息运动图像新建立SEI时sei_message内的信息的主要项消失的状态的示意图。
图18是示出当向PMT新添加附加信息运动图像描述符时的内容的示意图。
图19是示出对于每种类型的附加信息运动图像准备描述符时的描述符内的信息的示意图。
图20是示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的private_data_byte的内容的示意图。
图21是示出当向H.264新添加附加信息运动图像SEI时的内容的示意图。
图22是示出根据本实施例的发送设备的框图。
图23是示出现有发送设备的示意图。
图24是示出根据本实施例的接收设备的示意图。
图25是示出现有接收设备的示意图。
图26是示出当向PMT的描述符新添加附加信息运动图像描述符时的内容的示意图。
图27是示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的private_data_byte的内容的图。
图28是示出在垂直方向或者水平方向上在同一个屏幕上普通观看运动图像和附加信息运动图像被缩小，然后被同时并行显示的状态的示意图。
图29是示出在垂直方向或者水平方向上在同一个屏幕上普通观看运动图像和附加信息运动图像被缩小，然后被同时并行显示的状态的示意图。
图30是示出以正确的纵横比仅显示一眼运动图像(普通观看运动图像)的状态的示意图。
图31是示出在集成图像中布置作为普通观看运动图像的1440×1080的左眼运动图像和作为附加信息运动图像的4800×1080的右眼运动图像的情况的示意图。
图32是示出在布置作为普通观看运动图像的1920×1080的中心运动图像和作为附加信息运动图像的1920×270的两个图像(左运动图像和右运动图像)的情况的示意图。
图33是示出当使用附加信息运动图像SEI时使用H.264作为编码器的发送设备的处理流程的示意图。
图34是示出当使用附加信息运动图像描述符时使用H.264作为编码器的发送设备的处理流程的示意图。
图35是示出当使用附加信息运动图像部分时使用H.264作为编码器的发送设备的处理流程的示意图。
图36是当使用添加到H.26的附加信息运动图像SEI时接收设备的流程。
图37是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。
图38是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。
图39是当使用添加到H.264的附加信息运动图像SEI时接收设备的流程。
图40是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。
图41是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。
图42是当使用添加到H.264的附加信息运动图像SEI时接收设备的流程。
图43是当使用添加到PMT的描述符的附加信息运动图像描述符时接收设备的流程。
图44是当使用添加到MPEG2-TS的附加信息运动图像部分时接收设备的流程。
具体实施方式
下面，将参考附图详细描述本发明的优选实施例。请注意，在该说明书和附图中，利用相同的附图标记表示其功能和结构基本相同的单元，并且省略重复解释。
此外，以如下顺序进行描述。
1.第一实施例(发送多个任意图像的示例)
2.第二实施例(应用于立体图像)
[1.第一实施例]
首先，将参考附图描述根据本实施例的系统的概念。在此，将结合发送不用于双目立体视觉的运动图像作为附加信息运动图像的情况，描述高尔夫球转播的内容的示例。然而，高尔夫球转播(golf relay)的内容仅是示例，并且本发明的应用范围并不局限于高尔夫球转播。
图1示出在普通观看运动图像和附加信息运动图像显示在一个屏幕上的状态，并且图1中的数字代表像素数。在此，作为示例，结合采用本实施例的技术的情况描述球穴区(green)周围的情况。普通观看运动图像是通过其执行普通高尔夫球转播的运动图像，并且也是与当前节目内容(主节目)对应的运动图像。同时，附加信息运动图像是与普通观看运动图像分离的运动图像，并且通过提供在与普通观看运动图像不同的视点处创建的运动图像来丰富节目内容。
例如，如图1所示，当通过普通观看运动图像示出球穴区上的视频时，利用使得球穴区倾斜或者实现公知的草纹路(grass grain)的运动图像、另一已经击球入洞、正盯着监视器的运动员的面部表情的运动图像等，附加信息运动图像允许用户能够从各角度捕捉视频的场景。此外，当普通观看运动图像是运动员在球道上行走的视频时，可以考虑紧接在先前球杆击球的再现图像或者示出高尔夫球赛的观众(gallery)的运动图像用作附加信息运动图像的配置。
[集成运动图像]
在本实施例中，为了减少当前运动图像压缩和解压缩设备的改变，普通观看运动图像和附加信息运动图像布置在一帧中(或者场)，并作为一个运动图像经历压缩和解压缩处理(下面称为“集成运动图像”)。
图1示出在一帧中布置显示球位于球穴区上的普通观看运动图像、从上方显示整个洞的运动图像、以及关于球穴区倾斜的评论的运动图像的一帧集成运动图像。即使利用场代替帧，本实施例的有效性也不发生变化。
图2示出图1的布置信息作为表。图2示出集成运动图像的尺寸是1920×1080而该集成图像的左上坐标为(0，0)时的运动图像的布置信息。由于普通观看运动图像从左上侧添加，所以左上端点是(0，0)。普通观看运动图像是在宽度方向(水平方向)缩小到一半的图像，并且宽度×高度是960×1080像素。由于被缩小，所以样本纵横比是2∶1。同时，附加信息运动图像具有720×480像素的图像尺寸，并且在假定16∶9屏幕的情况下创建的运动图像一起呈现，所以样本纵横比是40∶33。该区域和样本纵横比不需要特别在两个附加信息运动图像之间匹配，并且附加信息运动图像的数量并不限于2个。
<当前广播>
将结合通过当前数字广播系统广播集成运动图像的情况进行描述。在该当前数字广播系统中，通过被称为MPEG-2传送流(TS)的分组多路复用方案编码和发送运动图像和音频。MPEG-2视频和H.264(AVC)是主流运动图像编解码器，并且通过该编解码器压缩和发送运动图像。
<发送设备的配置>
图22是示出根据本实施例的发送设备的框图。如图22所示，发送设备100包括：运动图像压缩单元102、普通观看运动图像区域编码单元104以及附加信息运动图像存在信息编码单元106。到图22的发送设备100的输入包括：其中集成了普通观看运动图像和附加信息运动图像的集成运动图像、该集成运动图像内的普通观看运动图像的区域和纵横比、附加信息运动图像的类型和区域(当在发送与接收之间不存在优先协议时)以及在使用附加信息运动图像时(当发送与接收之间不存在优先协议时)集成运动图像内的普通观看运动图像的区域，并且其输出包括其中已编码输入的流。图23示出现有的发送设备。该现有发送设备与图22的发送设备的不同之处在于未安装编码信息运动图像存在信息编码单元106。图22和图23的配置可以由诸如电路系统或者中央处理单元(CPU)的硬件和运行该CPU的程序(软件)实现。将在下面描述的接收设备也类似。
<集成运动图像的压缩和普通观看运动图像的区域编码>
在本实施例中，通过现有编解码器，通过运动图像压缩单元102对图1所示布置的集成运动图像进行运动图像压缩。此外，在图2的布置信息中，表示样本纵横比和普通观看运动图像的区域的信息(左上端点、宽度和高度)由使用现有编解码器的编码方案的普通观看运动图像区域编码单元104编码。
首先，例如，当运动图像的编解码器是H.264时，使用序列参数集(SPS)内的视频可用性信息中呈现的“aspect_ratio_idc”、“sar_width”、“sar_height”指定普通观看运动图像的样本纵横比。
图2示出多种样本纵横比，但是使用普通观看运动图像的样本纵横比，以便可以以正确的纵横比显示普通观看运动图像。在图2的情况下，由于普通观看运动图像的样本纵横比是2∶1，所以不需要“Sar_width”和“sar_height”的设置，并且希望指定“aspect_ration_idc＝16”。
普通观看运动图像的区域的信息被编码为集成运动图像中的普通观看运动图像的裁剪区域(cropping area)。例如，当运动图像的编解码器是H.264时，使用SPS中呈现的“frame_crop_left_offset”、“frame_crop_right_offset”、“frame_crop_top_offset”以及“frame_crop_bottom_offset”，将其设置为从集成运动图像裁剪普通观看运动图像的裁剪参数。
裁剪参数和要裁剪的区域的矩形区域具有下面的关系。使用图3所示的SubWidthC和SubHeightC，左上端点的坐标(xs，ys)被表示为如下：
xs＝SubWidthC*frame_crop_left_offset
ys＝SubHeightC*(2-frame_mbs_only_flag)*frame_crop_top_offset
右下端点的坐标(xe，ye)被表示为如下：
xe＝PicWidthInSamles-(SubWidthC*frame_crop_left_offset+1)
ye＝16*FrameHeightInMbs-(SubHeightC*(2-frame_mbs_only_flag)*frame_crop_bottom_offset+1)
“chroma_forma_idc”和“frame_mbs_only_flag”是在H.264的SPS中一起呈现的参数。
在当前广播中，由于“chroma_format_idc”是1，所以SubWidthC是2，而SubHeightC是2。frame_mbs_only_flag是表示是以帧为单位还是以场为单位执行运动图像压缩的标志。
由于图1示出帧内的布置，所以在假定以帧为单位进行压缩并且“frame_mbs_only_flag”是1的情况下进行描述。当以场为单位进行压缩时，可以通过设置“frame_mbs_only_flag”＝0进行计算，并且即使当以场为单位进行压缩时，本实施例仍然有效。
因此，xs、xe、ys和ye为如下：
xs＝2*frame_crop_left_offset
ys＝2*frame_crop_top_offset
xe＝PicWidthInSamles-(2*frame_crop_right_offset+1)
ye＝16*FrameHeightInMbs-(2*frame_crop_bottom_offset+1)
因此，要裁剪的图像的宽度w和高度h如下：
w＝PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_offset
h＝16*FrameHeightInMb s-2*frame_crop_top_offset-2*frame_crop_bottom_offset
作为裁剪图1的普通观看运动图像的参数，鉴于集成运动图像的宽度PicWidthInSamles是1920，集成运动图像的高度是1080，其不是16的整数倍，因此，16*FrameHeightInMbs是1088。
此外，鉴于普通观看运动图像的xs＝0，ys＝0，w＝960和h＝1080，所以可以求得下面的设置：
frame_crop_left_offset＝0，
frame_crop_top_offset＝0，
frame_crop_right_offset＝480，以及
frame_crop_bottom_offset＝8
当如上所述指定普通观看运动图像的样本纵横比和布置信息，并且执行以H.164的编码处理时，当已编码流被解码时，从集成运动图像裁剪普通观看运动图像，并且以正确纵横比显示它。
已经根据H.264编码普通观看运动图像的样本纵横比和布置信息，但是也可以以同样的方式，根据MPEG-2对它们编码。对于样本纵横比，“aspect_ratio_information”呈现在序列报头内，并且可以利用样本纵横比或者显示纵横比进行参数设置。
样本纵横比表示直接解压缩之后的像素的纵横比，而显示纵横比表示显示时的纵横比。
图2的普通观看运动图像的样本纵横比是2∶1，并且像素宽度是高度的两倍。因此，为了正确显示，960×1080的图像在水平方向被扩大一倍，并且以1920×1080进行显示。由于显示纵横比是显示器的1920×1080的纵横比，所以1920∶1080是16∶9。16∶9可以通过将“aspect_ratio_information”设置为3来指定。
对于一个区域裁剪，可通过序列显示扩展报头中的“display_vertical_size”和“display_horizontal_size”指定要裁剪的宽度和高度。要输出的部分的中心与原始图像的中心之间的偏差可以由画面显示扩展报头内的“frame_centre_horizontal_offset”和“frame_centre_vertical_offset”指定。通过该参数，可以对普通观看运动图像的相同纵横比和布置信息进行编码。然而，在ITU-T.Rec.H.264的描述中，与全画面扫描(pan scan)一起描述参数，并且存在不能根据广播标准自由地进行参数设置的情况。在H.264中，可以独立于全画面扫描设置裁剪参数，并且不存在与全画面扫描相关的参数限制。
即使在其他编解码器中，如果存在用于运动图像的解压缩之后直接进行裁剪的参数，则它可以用作本发明的普通观看运动图像的样本纵横比和布置信息的指定。
接着，描述图22所示发送设备100的附加信息运动图像存在信息编码单元106编码的附加信息运动图像存在信息。
<附加信息运动图像存在信息>
在图1的示例中，发送两个附加信息运动图像，即，附加信息运动图像1和2，以及普通观看运动图像。附加信息运动图像是有效地作为关于节目的补充运动图像的运动图像，但是它们不恒定地显示，并且可被看作根据用户的口味显示的运动图像。
在图1的示例中，在集成运动图像上布置表示主屏幕的球穴区从同一视点消除的运动图像和从上面看整个洞的运动图像作为补充运动图像，并且发送所述图像。
附加信息运动图像存在信息指的是表示“是否存在补充运动图像”、“如果存在，宽度、高度、位置和样本纵横比是多少”以及“当使用补充运动图像时，如何处理该普通观看运动图像的裁剪区域”的信息。
在图1和图2的示例中，附加信息运动图像的宽度、高度和样本纵横比与普通观看运动图像的不同。
在此，假定在发射机与接收机之间，附加信息运动图像的宽度、高度和纵横比与在使用附加信息运动图像时的普通观看运动图像的裁剪区域还没有预先达成协议。
<作为H.264标准的SEI发送附加信息运动图像的情况>
在H.264标准中，存在被称为补充增强信息(SEI)的辅助信息的描述技术。在该SEI中，描述了诸如解码时数据在输入/输出缓冲器内的保留时间和随机存取时进行解码的建议点的信息。
在本实施例中，结合示例进行描述，在该示例中，新添加附加信息运动图像SEI使得能够发送本实施例的附加信息运动图像存在信息。
图7示出一层附加信息运动图像SEI。作为SEI的“sei_message”，指定使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度、附加信息运动图像的类型、附加信息运动图像的数量以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。
根据H.264的语法规则，按照语法创建本实施例新添加的SEI。因为该原因，现有接收设备不能进行解码，但是可以通过跳跃执行下一处理。图33示出在使用附加信息运动图像SEI的情况下利用H.264作为解码器的发送设备100的处理流程。首先，对解码器设置H.264的裁剪参数和aspect_ratio_idc(如果需要，还可以使用“sar_width”和“sar_height”)，其是根据集成运动图像的普通观看运动图像的位置、宽度和高度计算的(步骤S100)。
接着，对该解码器设置在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为附加信息运动图像SEI(步骤S102)。此外，对集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置，然后编码该集成运动图像(步骤S104)。当在数字广播系统中进行发送时，可以通过利用MPEG2-TS进行多路复用获得发送流(步骤S106)。
在图7的指定中，已经由裁剪开始位置、宽度和高度指定普通观看运动图像和附加信息运动图像的布置，但是该布置可以使用诸如H.264的裁剪区域的指定方法之类的任何其他方法指定。
SEI是H.264标准的发送描述。例如，对于MPEG2视频，可以使用USER_DATA，并且通过新添加发送补充信息的描述，可以处理具有发送用于运动图像压缩/解压缩处理的补充信息的设备的编解码器。
现有的接收设备(市场上正在销售或者已经销售的设备)不能解码新添加的附加信息运动图像SEI，但是可以通过跳跃继续执行处理。在此，假定现有接收设备通过跳过附加信息运动图像SEI执行接收处理。
图25是示出现有接收设备400的示意图。在本实施例中，利用与现有接收设备类似的处理，执行其中普通观看运动图像和附加信息运动图像组合的集成运动图像的编码和普通观看运动图像的区域的编码。因为该原因，如图25所示，甚至在现有接收设备400中解码集成运动图像，正如所希望和显示在运动图像输出单元206上那样，通过上面描述的裁剪信息来裁剪普通观看运动图像。
同时，图24是示出根据本实施例的接收设备200的示意图。根据本实施例的接收设备200包括：运动图像压缩单元202、普通观看运动图像区域编码单元204、附加信息运动图像存在信息编码单元208以及运动图像输出单元(显示面板)206。在根据本实施例的接收设备200中，附加信息运动图像SEI可以由附加信息运动图像存在信息编码单元206解码。因此，接收设备200识别附加信息运动图像的存在和普通观看运动图像的区域，并且可以获得在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度、高度、附加信息运动图像的数量、以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。
<作为PMT的描述符发送附加信息运动图像存在信息的情况>
在MPEG2-TS中，作为描述要发送的节目的流信息的节目系统信息，存在节目映射表(PMT).
PMT的流信息包括用于选择诸如音频或者视频之类的分组的分组ID(PID)、stream_type、描述符等，并且可以理解，视频编解码器或者音频编解码器利用哪个进行编码。
图4示出杜比AC-3音频的流信息。在ITU-T REC.H.264中，没有定义AC-3的stream_type，在欧洲使用PES专用数据的stream_type，而在美国使用用户专用的stream_type。
因此，仅通过图4所示的stream_type，难以说明elementary_PID指定的PID分组是否是音频流。因为该原因，在AC-3中，作为PMT的描述符，准备AC-3描述符，并且通过检测该描述符，可以判定AC-3流。如上所述，在PMT中，存在通过描述符设置与节目的编解码器相关的信息的使用方法。
基于该使用方法，甚至在本实施例中，描述了向PMT添加描述符和发送附加信息运动图像存在信息的示例。图5示出附加信息运动图像描述符被添加到PMT的流信息的情况。通过该附加信息运动图像描述符，通知具有由elementary_PID指定的PID的分组包括已经经历了运动图像压缩的集成运动图像以及附加信息运动图像的存在，并且通知用于使用该附加信息运动图像的参数。
如果通过H.264执行了集成运动图像压缩，则stream_type被设置为0x1B，而如果由MPEG2执行，则stream_type被设置为0x2。由于附加信息运动图像描述符不取决于编解码器，所以它同样可以应用于MPEG2和H.264两者。当然，现有接收设备不能翻译附加信息运动图像描述符，并且通常操作以忽略它。
然而，甚至在现有接收设备400中，如果根据本实施例，设置了集成运动图像和普通观看运动图像的区域设置或者样本纵横比，则可以解码集成运动图像，并且从其修建普通观看运动图像，因此，可以正确地显示普通观看运动图像。
同时，在根据本实施例的接收设备200中，附加信息运动图像描述符可以由附加信息运动图像存在信息解码单元208解码和翻译。因为该原因，可以识别在普通观看运动图像区域外存在附加信息运动图像。
在本实施例中，由于假定在发射机与接收机之间，在使用附加信息运动图像时普通观看运动图像的裁剪区域以及附加信息运动图像的宽度、高度和样本纵横比还没有预先达成协议，所以该参数被包括在该附加信息运动图像描述符中，然后发送。
图6示出附加信息运动图像描述符的内容的示例。图34示出当使用附加信息运动图像描述符时，使用H.264作为编码器的发送设备的处理流程。首先，对编码器设置根据集成运动图像的普通观看运动图像的位置、宽度和高度计算出的H.264的裁剪参数和aspect_ratio_idc(如果需要，还使用“sar_width”和“sar_height”)(步骤S200)。接着，准备在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为图6的附加信息运动图像描述符(步骤S202)。此外，关于集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置，然后编码集成运动图像(步骤S204)。在对于数字广播系统的发送需要MPEG2-TS多路复用的情况下，可以通过对PMT设置准备的附加信息运动图像描述符来获得发送流(步骤S206)。
在图2的示例中，由于除了普通观看运动图像还存在的两个附加信息运动图像都是非立体附加信息运动图像，所以将附加信息运动图像类型设置为非立体视觉，并且在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度之后，依次指定附加信息运动图像的类型、附加信息运动图像的数量以及每个附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比。
在此，该开始位置、宽度和高度已经用于普通观看运动图像和附加信息运动图像的区域指定。然而，由于目的是指定集成运动图像内的布置，所以该指定可以以与H.264的裁剪指定方法类似的方式进行，也可以由任何其他方法进行。
除了图6的附加信息运动图像描述符的格式，可以准备描述符，作为每种类型的附加信息运动图像的非立体附加信息运动图像描述符，因此，可以省略该描述符中的附加信息运动图像类型的字段。此外，通过对于附加信息运动图像1和附加信息运动图像2中的每个准备描述符，并且在PMT的流信息内描述多个附加信息运动图像描述符，可以省略附加信息运动图像的数量的字段。
本发明还对MPEG2-PS有效，并且通过新添加将附加信息运动图像存在信息存储到节目流映射(PSM)中的描述符，它与对MPEG2-TS的PMT新添加附加信息运动图像描述符的情况类似地有效地工作。
甚至在MPEG2之外的容器(container)的情况下，可以关于所有视频数据描述补充信息，并且可以以与上面描述的描述符添加的方式类似的方式应用能够添加补充信息的格式。
<发送附加信息运动图像存在信息作为专用选择的情况>
在MPEG2-TS中，部分数据可以发送到与PMT的层相同的层。在假定执行对该部分的新添加的情况下，可以考虑专用部分，并且还可以发送本实施例的附加信息运动图像存在信息作为新专用部分。图8示出发送附加信息运动图像存在信息作为新专用部分的情况。
由于在现有接收设备400中不能解码该新部分，所以与PMT的描述符类似，在现有接收设备400内跳跃。
图8示出在用于识别图2的集成运动图像的分组的PID以及在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度之后，依次指定附加信息运动图像的类型以及附加信息运动图像的裁剪开始位置、宽度、高度和样本纵横比的情况。
图35示出当使用附加信息运动图像部分时使用H.264作为编码器的发送设备的流程。首先，对编码器设置根据集成运动图像的普通观看运动图像的位置、宽度和高度计算的H.264的裁剪参数和aspect_ratio_idc(如果需要，也使用“sar_width”和“sar_height”)(步骤S300)。接着，准备用于识别的PID，在使用附加信息运动图像时普通观看运动图像的裁剪开始位置、宽度和高度以及根据附加信息运动图像的类型、样本纵横比、左上端点、宽度和高度获得的附加信息运动图像的裁剪开始位置、宽度和高度，作为图6的附加信息运动图像部分(步骤S302)。此外，关于集成运动图像执行诸如集成运动图像的图像尺寸之类的编码器设置，然后编码集成运动图像(步骤S304)。在数字广播系统内的发送所需的MPEG2-TS多路复用的情况下，通过一起多路复用准备的附加信息运动图像部分，可以获得发送流(步骤S306)。
此外，由于普通观看运动图像和附加信息运动图像的区域指定是规定集成运动图像内的布置，所以可以使用诸如H.264的裁剪区域的指定方法之类的任何其他方法来指定布置。
此外，如果对于每个类型的附加信息运动图像新添加专用部分，则可以省略附加信息运动图像的类型。
使用存储附加信息运动图像存在信息的三种方法中的任何一种方法，由本实施例的发送设备100的附加信息运动图像存在信息编码单元106编码该附加信息运动图像存在信息。
因此，可以获得其中编码集成运动图像、普通观看运动图像区域、在使用附加信息运动图像时普通观看运动图像的裁剪开始区域和样本纵横比以及附加信息运动图像存在信息的流。
当使用H.264的视频编解码器已经获得该流，并且由满足H.264(ITU-TRec.H.264)标准的现有接收设备400解码该流时，忽略该附加信息运动图像存在信息，并且显示该普通观看运动图像。即使当视频编解码器是MPEG2视频(ITU-T Rec.H.262)时，它同样如此。
另一方面，应用了本实施例的接收设备200甚至正确地解码附加信息运动图像存在信息，并且用户可以接收现有接收设备400的服务以外的服务。
如上所述，在本实施例中，可以在与现有电视机保持兼容的同时添加新功能，并且与除非重新购买就不能观看或者运动图像具有陌生感觉的情况相比，用户价值高。
<接收设备中用户的交互>
在本实施例的接收设备200中，当接收到具有附加信息运动图像的节目时，在接收设备200上可以由用户的设置或者指令选择如下所述的至少三种显示：
1)与平常相同显示普通观看运动图像，
2)屏幕同时显示普通观看运动图像和附加信息运动图像，以及
3)屏幕仅显示附加信息运动图像。
在屏幕同时显示普通观看运动图像和附加信息运动图像的情况下，可以允许根据用户的请求，改变要显示的附加信息运动图像的数量、其在屏幕上布置或者尺寸等。
接收设备200的设置是指通过遥控器等的操作预先设置如何显示具有附加信息运动图像的节目。显示设备200的指令是指通过用户指令立即改变显示具有附加信息运动图像的节目的方法。
图36、图37和图38是当分别使用向H.264添加的附加信息运动图像SEI，向PMT的描述符添加的附加信息运动图像描述符以及向MPEG2-TS添加的附加信息运动图像部分时，接收设备200的流程。在该流程中，解码SEI的信息、描述符和部分，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取使用附加信息运动图像时的普通观看运动图像和附加信息运动图像的参数。图36、图37和图38之间的差别是通过解码PSI/SI获得参数(图37和图38)，还是在MPEG2-TS的解多路复用时作为H.264的解码结果获得参数(图36)。获取了该参数后，读取接收设备的用户设置，且因此，根据执行普通显示还是执行使用附加信息运动图像的显示，还是根据两种显示，运动图像输出发生变化。在此，如果用户的设置代表普通显示，则输出普通观看运动图像(步骤S410、步骤S510和步骤S610)。此外，当用户的设置代表输出普通观看运动图像和附加信息运动图像，输出普通观看运动图像和附加信息运动图像(步骤S414、步骤S514和步骤S614)。此外，当用户的设置不代表输出普通观看运动图像和附加信息运动图像时，输出附加信息运动图像(步骤S416、步骤S516和步骤S616)。
在本实施例中，示出了附加信息运动图像与普通观看运动图像的内容相对有关的运动图像，但是即使不特别有关，本实施例也有效地工作。
[2.第二实施例]
在此，结合山地景观的多目立体内容用作示例、用于多目立体视觉的运动图像被作为附加信息运动图像发送，并且在发送与接收之间已经对下面的信息达成协议的情况进行描述。然而，在还未达成协议的情况下，与第一实施例类似，可以发送下面的信息：
●在使用附加信息运动图像时普通观看运动图像的裁剪区域，
●附加信息运动图像的位置，
●附加信息运动图像的宽度和高度，以及
●附加信息运动图像的样本纵横比。
1.双目立体运动图像
在此，考虑使用左眼运动图像作为普通观看运动图像和使用右眼运动图像作为附加信息运动图像来发送多目立体视觉的双目立体运动图像的情况。
首先，可以以与第一实施例中描述的方法完全相同的方法执行集成运动图像的运动图像压缩以及普通观看运动图像区域和样本纵横比的编码。
对于附加信息运动图像存在信息，首先，考虑要在发送端和接收端之间达成的协议。普通观看运动图像和附加信息运动图像是一对双目运动图像，且因此被认为具有相同的属性。因此，将普通观看运动图像的参数转向(divert)为附加信息运动图像的参数是自然的协议。
即，在此假定达成下面的协议：
(1)普通观看运动图像和附加信息运动图像的图像尺寸的宽度和高度相同，以及
(2)普通观看运动图像和附加信息运动图像的样本纵横比相同。
此外，在该实施例中，当不执行双目立体视觉时，显示左眼运动图像。假定，假定所显示的区域和要用作双目立体视觉的左眼运动图像的区域协议相同。即，达成下面的协议：
(3)在使用附加信息运动图像时普通观看运动图像的裁剪区域与不使用附加信息运动图像时普通观看运动图像的裁剪区域相同。
接着，普通观看运动图像和附加信息运动图像被布置在一帧中，但是可以考虑在发送与接收之间，附加信息运动图像布置在普通观看运动图像下面，并且基于双目立体运动图像的图像尺寸规定附加信息运动图像的裁剪开始位置。
当附加信息运动图像的裁剪位置被直接布置在普通观看运动图像之后时，执行图9所示的布置，并且获得图10所示的协议内容。
为了避免左眼运动图像的下部和右眼运动图像的上部在同一宏块中编码，右眼运动图像可以与左眼运动图像分开布置，如图11所示，并且获得图12所示的协议内容。
图10和图12仅示出一些图像尺寸。然而，关于具有要发送的可能性的所有图像尺寸达成协议，如图10和图12所示，或者根据普通观看运动图像的裁剪参数达成协议，如在下面的计算公式中。
图9的附加信息运动图像的裁剪开始位置(xa，ya)紧接在普通观看运动图像的最下端线以下开始，且因此如下：
xa＝frame_crop_left_offset
ya＝16*FrameHeightInMbs-2*frame_crop_bottom_offset
附加信息运动图像的图像尺寸(w，h)与普通观看运动图像相同，因此如下：
w＝PicWidthInSamles-2*frame_crop_left_offset-2*frame_crop_right_offset
h＝16*FrameHeightInMb s-2*frame_crop_top_offset-2*frame_crop_bottom_offset
同时，如果使用图9的裁剪开始位置(xa，ya)，则图10的附加信息运动图像的裁剪开始位置(xb，yb)如下：
xb＝xa
yb＝ya+(16-ya％16)
(ya％16表示ya被16除时的余数)
基于该条件，达成如下协议：
(4)规定集成运动图像中附加信息运动图像的裁剪开始位置的方法基于例如图12的表，并且在表中未呈现的图像尺寸的情况下，使用在等于或者大于其高度的图像尺寸中具有最接近的高度的图像尺寸。
在从(1)到(4)的协议中，在发送和接收之间对下面的信息达成协议：
●在使用附加信息运动图像时普通观看运动图像的裁剪区域，
●附加信息运动图像的位置
●附加信息运动图像的宽度和高度，以及
●附加信息运动图像的样本纵横比。
通过向接收设备200内的附加信息运动图像存在信息的解码单元208提供基于普通观看运动图像的裁剪参数规定附加信息运动图像的裁剪开始位置和图像尺寸的功能，以及输出普通观看运动图像的样本纵横比作为附加信息运动图像的样本纵横比的功能，可以处理该协议。
在该协议中，关于作为参数移交的所有事物都已达成协议。因此，必需将关于是否存在附加信息运动图像以及普通观看运动图像和附加信息运动图像是否是一对双目立体运动图像的内容从发送设备侧发送到接收设备侧，作为附加信息运动图像存在信息。
因为该原因，发送能够规定附加信息运动图像的类型的代码，并且当接收侧检测到该代码时，根据(1)至(4)，可以获得并使用附加信息运动图像。因此，即使现有的发送信息也可以用作附加信息运动图像存在信息。
下面将结合本实施例应用于诸如以下信息的情况进行描述。
●H.264的SEI(MPEG2视频情况下的USER_DATA)，
●MPEG2-TS的PMT的描述符(MPEG2-PS情况下的PSM的描述符)，或者
●MPEG2-TS的专用部分。
这些已经在第一实施例中描述了。
图16示出当向H.264新添加附加信息运动图像SEI时的内容。由于在使用附加信息运动图像时普通观看运动图像的裁剪区域以及在集成运动图像内附加信息运动图像的区域和样本纵横比在发送与接收之间已经达成协议，所以作为sei_message需要的最小信息仅是附加信息运动图像的类型是协议的垂直布置双目立体视觉。在图16被示为预定垂直布置双目立体视觉。此外，可以使用“预定双目立体视觉”，但是由于不仅存在上下布置，而且存在左右布置，所以“垂直布置”因为“上下布置”的含义而包括在该名称中。
当根据本实施例的SEI是在H.264中新建立的时，获得图16所示的内容。然而，例如，当每种类型的附加信息运动图像的SEI都是新建立的时，由于可以由预定垂直布置双目立体附加信息运动图像SEI的存在判定集成运动图像具有用于垂直布置双目立体视觉的附加信息运动图像，所以sei_message内的主要信息项目消失，如图17所示。(当然，可以包括其他信息。)
接着，图18示出当向PMT新添加附加信息运动图像描述符时的内容。
由于在使用附加信息运动图像时普通观看运动图像的裁剪区域和在集成运动图像内附加信息运动图像的区域和样本纵横比在发送与接收之间已经预先达成协议，所以作为描述符需要的最少信息仅是附加信息运动图像的类型是预定垂直布置双目立体视觉。
如果对于每种类型的附加信息运动图像准备描述符，则应用本实施例所需的描述符内的信息消失，如图19所示。
图20示出当向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时private_data_byte的内容。与PMT的描述符类似，需要指定附加信息运动图像的类型，并且与此同时，需要指定附加信息运动图像存在信息的流的PID。
甚至在专用部分上，如果使用对于每种类型的附加信息运动图像新添加专用部分的方法，则可以省略附加信息运动图像的类型。
因此，与第一实施例类似，可以获得其中编码集成运动图像、普通观看运动图像、在使用附加信息运动图像时普通观看运动图像的裁剪区域和样本纵横比以及附加信息运动图像存在信息的流。
当使用H.264的视频编解码器获得流时，当流由满足H.264(ITU-T Rec.H.264)标准的现有接收设备400解码时，忽略附加信息运动图像存在信息，并且显示普通观看运动图像。甚至当视频编解码器是MPEG2视频(ITU-T Rec.H.264)时，同样如此。
另一方面，应用了本实施例的接收设备200通过附加信息运动图像存在解码单元208甚至正确地解码附加信息运动图像存在信息，并且用户可以获得现有接收设备400的服务以外的服务，如下所述。
如上所述，在本实施例中，可以在保持与现有电视机兼容的同时，添加新的功能，并且与不新购买就不能观看或者运动图像具有陌生感觉的情况相比，用户价值高。
接着，结合通过根据本实施例的接收设备200显示图9和图11所示的图像的情况进行描述。当接收设备不能显示双目立体视觉时，从集成运动图像裁剪普通观看运动图像基于H.264标准中的裁剪参数，并且基本上对用户显示普通观看运动图像。
由于使用本实施例的接收设备200可以规定附加信息运动图像的存在、布置和样本纵横比，所以通过安装允许用户指令显示附加信息运动图像的右眼运动图像代替显示普通观看运动图像的左眼运动图像的功能，可以切换和显示右眼、左眼或者它们二者。
图42、图43和图44是当分别使用向H.264添加的附加信息运动图像SEI、向PMT的描述符添加的附加信息运动图像描述符、以及向MPEG2-TS添加的附加信息运动图像部分时接收设备200的流程图。在该流程图中，SEI、该描述符和部分的信息由附加信息运动图像存在信息编码单元208解码，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取当使用附加信息运动图像时普通观看运动图像和附加信息运动图像的参数。图42、图43和图44之间的差别在于是通过解码PSI/SI(图43和图44)获得参数，还是在MPEG2-TS解多路复用时作为H.264的解码结果获得参数。在参数获取之后，读取接收设备的用户设置，并且判定是执行普通显示还是使用附加信息运动图像的显示。
在本实施例中，由于附加信息运动图像的类型是立体视觉，所以不能实现立体视觉的接收设备就不能使用普通观看运动图像和附加信息运动图像实现立体视觉。然而，当用户不选择普通观看时，用户可以选择希望根据普通观看运动图像和附加信息运动图像显示的运动图像。根据选择情况，从已解码的集成运动图像裁剪普通观看运动图像或者附加信息运动图像，并且根据用户的指令或者设置输出运动图像。如上所述，可以切换并且显示左眼、右眼或者它们二者。
此外，当接收设备可以显示双目立体视觉时，可以显示使用普通观看运动图像和附加信息运动图像的双目立体视觉。由于用户不一定要求双目立体视觉，所以可以仅显示普通观看运动图像，也可以仅显示附加信息运动图像，而非双目立体视觉。
图39、图40和图41是当分别使用向H.264添加的附加信息运动图像SEI、向PMT的描述符添加的附加信息运动图像描述符、以及向MPEG2-TS添加的附加信息运动图像部分时接收设备200的流程图。在该流程图中，SEI、描述符和部分的信息被解码，并且判定是否存在附加信息运动图像。当存在附加信息运动图像时，获取当使用附加信息运动图像时的普通观看运动图像和附加信息运动图像的参数。图39、图40和图41之间的差别在于是通过解码PSI/SI(图40和图41)获得参数，还是在MPEG2-TS的解多路复用时作为H.264的解码结果获得参数。在参数获取之后，读取接收设备的用户设置，并且判定是执行普通显示还是使用附加信息运动图像的显示。
当使用附加信息运动图像，并且立体运动图像包括在附加信息中时，由用户指令或者设置判定是否执行立体视觉(步骤S920)。当不执行立体视觉时，输出从普通观看运动图像和附加信息运动图像选择的运动图像(步骤S722和步骤S724)。当执行该立体视觉时，执行与每个视点对应的运动图像输出，以显示立体视觉(步骤S730、步骤S830和步骤S930)。当附加信息运动图像的类型不是立体视觉时(步骤S712、步骤S812和步骤S912中的“否”)，与图36、图37和图38的流程图所示处理类似，输出从普通观看运动图像和附加信息运动图像中选择的运动图像(可以是一个运动图像，也可以是组合了多个运动图像的运动图像)。当然，由于接收设备可以支持立体视觉，所以如果通过从一侧向另一侧移位所选运动图像来创建右眼运动图像和左眼运动图像，则可以前后移动输出运动图像的显示屏幕。
在该示例中，该普通观看运动图像被描述为左眼运动图像，但是可以是右眼运动图像。此外，即使在普通观看运动图像与附加信息运动图像之间的垂直关系改变，也可以通过改变关于每个运动图像的参数来处理它。
与该示例类似，即使在普通观看运动图像旁边布置附加信息运动图像时，本发明也有效。
2.多目立体运动图像
柱镜技术(lenticular technique)或者视差栅障技术(parallax barriertechnique)可以处理多目立体视觉的运动图像。在这种情况下，例如，使用第一和第二图像作为左眼图像和右眼图像，可以在第一方向上实现立体视觉，而使用第三和第四图像作为左眼图像和右眼图像，可以在与第一方向不同的第二方向上实现立体视觉。即使当运动图像输出设备采用这种类型的图像显示技术时，本实施例仍有效，并且多目立体视觉的一个图像可以用作普通观看运动图像，而其它图像可以被处理为附加信息运动图像。
例如，作为在发送与接收之间用于附加信息运动图像的布置的执行协议的方法，约定在横向上布置多目立体视觉的运动图像，并且基于集成运动图像的宽度和普通观看运动图像的宽度来计算横向布置的运动图像的数量。
图13中示出由该协议布置的集成运动图像的布置状态。作为另一协议，决定多眼立体视觉的运动图像的数量和布置方向(例如，横向)，并且它们充分布置在横向上，且此后当运动图像有剩余时，将其布置在纵向。
在图14中，示出由该协议布置的集成运动图像的布置状态。甚至在图13和图14中，需要关于在图像之间是否留有空间达成协议。当然，如果两个类型的横向布置三目立体视觉在图像之间有空间，则准备在图像之间没有空间的横向三目立体视觉作为附加信息运动图像的类型，并且作为附加信息运动图像存在信息发送，对于全部内容可以选择该类型的集成运动图像。
3.多目立体视觉和其它视点立体运动图像
此外，正如第一实施例中所描述的那样，可以设想将来自另一视点的视频作为节目发送。由于主视频是立体运动图像，所以希望观看来自另一视点的图像也是立体视觉，且因此在假定来自另一视点的图像是立体运动图像的情况下进行描述。特别是，当另一视点视频不是立体运动图像时，本实施例也有效。
图15示出主立体运动图像布置在上部部分，而补充立体运动图像布置在下部部分的集成运动图像的示例。在该节目中，期望普通观看运动图像是主立体运动图像之一。除了普通观看运动图像，所有运动图像都是附加信息运动图像。特别是，普通观看运动图像并不限于左上布置。
与图13类似，认为已经关于发送与接收之间的主立体运动图像达成协议，但是没有关于补充立体运动图像达成协议。图21示出当向H.264新添加附加信息运动图像SEI时的内容。该SEI的内容包括：用于作为主立体运动图像的预定水平布置三目视觉的附加信息运动图像；以及用于作为补充立体运动图像的补充水平布置三目视觉的附加信息运动图像。假定补充水平布置三目视觉是水平布置三目视觉，这意味着不包括普通观看运动图像，并且仅与水平布置三目视觉不同。
从实现的观点，可以设想在位字段中，使用包括下列信息的ID来指定附加信息运动图像的类型：
●关于是否使用普通观看运动图像的位，
●关于在使用附加信息运动图像时普通观看运动图像的裁剪区域在发送侧与接收侧之间是否已经达成协议的位，
●关于附加信息运动图像的位置在发送侧与接收侧之间是否已经达成协议的位，
●关于附加信息运动图像的宽度和高度在发送侧与接收侧之间是否已经达成协议的位，
●关于附加信息运动图像的样本纵横比在发送侧与接收侧之间是否已经达成协议的位，
●关于其是否是立体视觉的位，
●表示当其是立体视觉时是否是水平布置的位，以及
●当其是立体视觉时视点的数量。
在图21的sei_message中，通过指定用于预定水平布置三目立体视觉的附加信息运动图像，可以规定下面的信息：
●在使用主附加信息运动图像时普通观看运动图像的裁剪区域，
●主附加信息运动图像的位置，
●主附加信息运动图像的宽度和高度，以及
●主附加信息运动图像的样本纵横比。
接着，指定补充水平布置三目视觉的附加信息运动图像，并且指定三目附加信息运动图像的位置、宽度、高度和样本纵横比。在三目视觉的情况下，可以认为各个视点的运动图像在宽度、高度和样本纵横比方面相同。因此，在图21中，一旦公共地设置了宽度、高度和样本纵横比，则仅在裁剪开始位置进行三眼的指定。
图26示出当向PMT的描述符新添加附加信息运动图像描述符时的内容。与图21的SEI类似，通过添加用于预定水平布置三目立体视觉的附加信息运动图像，可以规定下面的信息：
●在使用主附加信息运动图像时普通观看运动图像的裁剪区域，
●主附加信息运动图像的位置，
●主附加信息运动图像的宽度和高度，以及
●主附加信息运动图像的样本纵横比。
接着，通过指定用于补充水平布置三目视觉的附加信息运动图像，可以规定三眼的附加信息运动图像的位置、宽度、高度和样本纵横比。
图27示出向MPEG2-TS的专用部分添加附加信息运动图像存在信息的发送时的private_data_byte的内容。除了其中存在附加信息运动图像的流的PID的指定以外，与附加信息运动图像SEI的指定内容相同。
与图21的SEI类似，通过指定用于预定水平布置三目视觉的附加信息运动图像，规定下面的信息：
●在使用主附加信息运动图像时普通观看运动图像的裁剪区域，
●主附加信息运动图像的位置，
●主附加信息运动图像的宽度和高度，
●主附加信息运动图像的样本纵横比。
接着，通过指定用于补充水平布置三目视觉的附加信息运动图像，可以规定用于三眼的附加信息运动图像的位置、宽度、高度和样本纵横比。
上面已经描述了主视频是立体运动图像，并且根据本实施例，可以发送作为其补充添加的来自另一视点的立体运动图像。如果主/补充立体运动图像的流变成根据本实施例的流，则通过现有接收设备400，可以将一个主眼看作普通观看运动图像。此外，根据对其应用了本实施例的接收设备200，可以观看感兴趣的单目运动图像，也可以从主/补充立体运动图像观看主立体运动图像或者补充立体运动图像。
4.使用具有不同于普通观看运动图像的图像尺寸的附加信息运动图像的双目立体视觉
图31示出作为普通观看运动图像的1440×1080的左眼运动图像和作为附加信息运动图像的480×1080的右眼运动图像布置在集成图像中的情况。图32示出布置作为普通观看运动图像的1920×810的中心运动图像和作为附加信息运动图像的960×270的两个图像(左运动图像和右运动图像)的情况。
在本实施例中，当使用多目立体运动图像时，所有视点不需要处理相同的图像尺寸，并且如图31和图32所示，通过增加普通观看运动图像的信息量并减少附加信息运动图像的信息量，可以进行发送(累加)。因此，可以在防止普通观看运动图像恶化的同时发送多目立体运动图像。
例如，当在由图39的normal+additional(普通+附加)信息输出的立体视觉中实际实现多目视觉时，普通观看运动图像的放大倍数和附加信息运动图像的放大倍数不同，且因此调整它们，以使左眼和右眼的显示尺寸相同。当然，存在与附加信息运动图像的信息量的减少对应的再现图像发生恶化的风险。
然而，在人类的双目立体视觉中，校正功能良好，并且存在具有大信息量的一个图像信息补偿另一图像信息的现象。例如，即使左眼视力和右眼视力不同的人可以以立体视觉观看。实际上，已经确认甚至在单目图像稍许模糊的情况下也可以实现立体视觉，并且甚至以图39的左运动图像和右运动图像不平衡也可以实现立体视觉。
图32是三目立体视觉的运动图像，但是由于具有大信息量的普通观看运动图像用作集成运动图像中的中心运动图像，所以可以处理其而与具有大信息量的运动图像是用作右眼运动图像还是左眼运动图像无关。
当具有大信息量的运动图像用作右眼运动图像时，作为普通观看运动图像的中心运动图像用于右眼，而附加信息运动图像的左眼运动图像用于左眼。此外，当具有大信息量的运动图像用作左眼运动图像时，作为普通观看运动图像的中心运动图像用于左眼，而附加信息运动图像的右眼运动图像用于右眼。例如，这允许看到具有大信息量的普通观看运动图像的眼睛可以根据用户的口味是可选择的，这是因为左眼视力和右眼视力或者左眼疲劳和右眼疲劳取决于用户。
在图31和图32的集成运动图像中普通观看运动图像和附加信息运动图像的布置和图像尺寸是示例，并且本发明并不局限于此。
如上所述，根据上面描述的实施例，即使通过现有接收设备可以观看普通观看运动图像。在使用本实施例创建的流中，如果编解码器的裁剪参数被正确地处理，则甚至通过现有接收设备，可以从集成运动图像裁剪普通观看运动图像，并且显示普通观看运动图像。
此外，根据本实施例，由于在与现有接收设备保持兼容的同时添加新的功能，所以不会发生如果不新购买就不能观看，或者运动图像具有陌生的感觉的情况，并且在要求的切换时间，用户可以接收新服务。因此，在现有接收设备和可以接收附加信息运动图像的接收设备混合的环境下，可以对具有附加信息运动图像的运动图像的发送设备进行变更，而不在现有接收设备引起任何麻烦。此外，由于对现有接收设备和发送设备的改变小，所以可以降低开发成本，并且可以降低采用本实施例的发送设备和接收设备的价格。
上面已经参考附图描述了本发明的优选实施例，当然，本发明并不局限于上述示例。本领域技术人员可以发现各种变型和修改，而不脱离所附权利要求书的范围，并且应该明白，它们自然落入本发明的技术范围内。
附图标记列表
100：发送设备
102：运动图像压缩单元
104：普通观看运动图像区域编码单元
106：附加信息运动图像存在信息编码单元
200：接收设备
202：运动图像解压缩单元
204：普通观看运动图像解码单元
206：运动图像输出单元
208：附加信息运动图像存在信息解码单元

Claims (9)

1.一种图像发送方法，包括步骤：
压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像；
编码表示所述普通观看运动图像的区域的区域信息；
编码表示存在所述附加信息运动图像的存在信息；以及
发送所述集成图像，所述区域信息和所述存在信息。
2.根据权利要求1所述的图像发送方法，其中，所述存在信息包括指定所述附加信息运动图像的类型的信息。
3.根据权利要求2所述的图像发送方法，其中，包括将所述附加信息运动图像是否是用于多目立体视觉的运动图像指定为所述附加信息运动图像的类型的信息。
4.根据权利要求1所述的图像发送方法，其中，所述存在信息包括表示所述附加信息运动图像的区域的区域信息或者所述附加信息运动图像的纵横比。
5.根据权利要求1所述的图像发送方法，其中，所述存在信息包括指定在使用所述附加信息运动图像时所述普通观看运动图像的图像区域的信息。
6.一种图像接收方法，包括步骤：
解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送侧发送所述集成图像；
解码表示与所述集成图像一起从发送侧发送的所述普通观看运动图像的区域的区域信息；
解码表示存在与所述集成图像一起从发送侧发送的附加信息的存在信息；
基于所述区域信息指定并且显示所述普通观看运动图像的区域；以及
基于所述存在信息识别所述附加信息运动图像的存在，并且显示所述附加信息运动图像。
7.一种图像发送设备，包括：
压缩单元，被配置为压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像；
区域信息编码单元，被配置为编码表示所述普通观看运动图像的区域的区域信息；
存在信息编码单元，被配置为编码表示存在所述附加信息运动图像的存在信息；以及
发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息。
8.一种图像接收设备，包括：
解压缩单元，被配置为解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送侧发送所述集成图像；
区域信息解码单元，被配置为解码表示与所述集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；
存在信息解码单元，被配置为解码表示存在与所述集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及
图像输出单元，被配置为基于所述区域信息指定并且输出所述普通观看运动图像的区域，基于所述存在信息识别所述附加信息运动图像的存在，并输出所述附加信息运动图像。
9.一种图像发送系统，包括：
图像发送设备，包括：压缩单元，被配置为压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像；区域信息编码单元，被配置为编码表示所述普通观看运动图像的区域的区域信息；存在信息编码单元，被配置为编码表示存在所述附加信息运动图像的存在信息；以及发送单元，被配置为发送已编码的集成图像，已编码的区域信息和已编码的存在信息；以及
图像接收设备，包括：解压缩单元，被配置为解压缩在一帧中布置了普通观看运动图像和附加信息运动图像的集成图像，从发送端发送所述集成图像；区域信息解码单元，被配置为解码表示与所述集成图像一起从发送侧发送的普通观看运动图像的区域的区域信息；存在信息解码单元，被配置为解码表示存在与所述集成图像一起从发送侧发送的附加信息运动图像的存在信息；以及图像输出单元，被配置为基于所述区域信息指定并且输出所述普通观看运动图像的区域，基于所述存在信息识别所述附加信息运动图像的存在，并输出所述附加信息运动图像。
CN2010800041302A 2009-11-17 2010-10-18 图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统 Pending CN102273211A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009262185A JP2011109397A (ja) 2009-11-17 2009-11-17 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JP2009-262185 2009-11-17
PCT/JP2010/068243 WO2011062015A1 (ja) 2009-11-17 2010-10-18 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム

Publications (1)

Publication Number Publication Date
CN102273211A true CN102273211A (zh) 2011-12-07

Family

ID=44059499

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2010800041302A Pending CN102273211A (zh) 2009-11-17 2010-10-18 图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统
CN2010800041868A Pending CN102273212A (zh) 2009-11-17 2010-11-17 图像接收器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2010800041868A Pending CN102273212A (zh) 2009-11-17 2010-11-17 图像接收器

Country Status (13)

Country Link
US (2) US20110268194A1 (zh)
EP (2) EP2381690A1 (zh)
JP (1) JP2011109397A (zh)
KR (2) KR20120092495A (zh)
CN (2) CN102273211A (zh)
AU (1) AU2010320118A1 (zh)
BR (2) BRPI1006063A2 (zh)
NZ (1) NZ593699A (zh)
PE (1) PE20120606A1 (zh)
RU (1) RU2011128307A (zh)
TW (1) TW201143444A (zh)
WO (2) WO2011062015A1 (zh)
ZA (1) ZA201105049B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103391472A (zh) * 2012-05-09 2013-11-13 腾讯科技（深圳）有限公司 视频分辨率获取方法及系统
CN104247433A (zh) * 2012-04-06 2014-12-24 索尼公司 解码装置和解码方法以及编码装置和编码方法
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030907A (ja) 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2013136373A1 (ja) * 2012-03-16 2013-09-19 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
CN103379332A (zh) * 2012-04-25 2013-10-30 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
ITTO20120901A1 (it) 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
CN104219558A (zh) * 2013-06-03 2014-12-17 北京中传数广技术有限公司 一种3d电子节目指南的显示方法及装置
US9805546B2 (en) * 2013-06-19 2017-10-31 Glasson Investments Pty Ltd Methods and systems for monitoring golfers on a golf course
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6711711B2 (ja) * 2016-07-08 2020-06-17 Kddi株式会社 復号装置及びプログラム
EP3523958A4 (en) * 2016-10-04 2020-06-24 Livelike Inc. CONTINUOUS VIDEO BROADCASTING BASED ON IMAGE ENLARGEMENT FOR MOBILE DEVICES
CN106604108B (zh) * 2016-12-30 2020-10-02 深圳Tcl数字技术有限公司 数字电视灾难预警的方法及装置
US10516710B2 (en) 2017-02-12 2019-12-24 Mellanox Technologies, Ltd. Direct packet placement
US11979340B2 (en) 2017-02-12 2024-05-07 Mellanox Technologies, Ltd. Direct data placement
US10210125B2 (en) 2017-03-16 2019-02-19 Mellanox Technologies, Ltd. Receive queue with stride-based data scattering
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
US11252464B2 (en) * 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20180367589A1 (en) * 2017-06-14 2018-12-20 Mellanox Technologies, Ltd. Regrouping of video data by a network interface controller
US10367750B2 (en) 2017-06-15 2019-07-30 Mellanox Technologies, Ltd. Transmission and reception of raw video using scalable frame rate
WO2019004073A1 (ja) * 2017-06-28 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US10701421B1 (en) * 2017-07-19 2020-06-30 Vivint, Inc. Embedding multiple videos into a video stream
US11453513B2 (en) * 2018-04-26 2022-09-27 Skydio, Inc. Autonomous aerial vehicle hardware configuration
WO2020039992A1 (ja) * 2018-08-20 2020-02-27 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理システム
JP6997123B2 (ja) * 2019-02-28 2022-02-03 ファナック株式会社 情報処理装置および情報処理方法
BR112021017280A2 (pt) 2019-03-05 2021-11-09 Huawei Tech Co Ltd Método e aparelho para modo de codificação de intrasubpartições
CN111479162B (zh) * 2020-04-07 2022-05-13 成都酷狗创业孵化器管理有限公司 直播数据传输方法、装置以及计算机可读存储介质
US20230348099A1 (en) 2022-04-27 2023-11-02 Skydio, Inc. Base Stations For Unmanned Aerial Vehicles (UAVs)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498761A (ja) * 1990-08-13 1992-03-31 Fuji Elelctrochem Co Ltd 非水電解液二次電池
JPH09298761A (ja) * 1996-03-04 1997-11-18 Sanyo Electric Co Ltd 立体画像表示装置
JP2004356772A (ja) * 2003-05-27 2004-12-16 Sanyo Electric Co Ltd 三次元立体画像表示装置およびコンピュータに三次元立体画像表示機能を付与するプログラム
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
CN1758755A (zh) * 2004-02-03 2006-04-12 索尼株式会社 收发机系统、发送机和接收机以及信息处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3066298B2 (ja) 1995-11-15 2000-07-17 三洋電機株式会社 立体画像観察用眼鏡の制御方法
DE69717139T2 (de) * 1996-12-04 2003-10-02 Matsushita Electric Ind Co Ltd Vorrichtung zur aufnahme und wiedergabe von hochauflösenden und dreidimensionalen bildern mit optischer speicherplatte
JP3784967B2 (ja) 1998-07-21 2006-06-14 日本放送協会 立体画像表示方法および装置
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US20050041736A1 (en) * 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
JP2005159977A (ja) * 2003-11-28 2005-06-16 Sanyo Electric Co Ltd 立体映像表示通信装置
JP4665430B2 (ja) * 2004-04-26 2011-04-06 富士ゼロックス株式会社 画像出力制御装置、画像出力制御方法及び画像出力制御プログラム並びにプリンタ装置
US8587638B2 (en) * 2006-09-25 2013-11-19 Nokia Corporation Supporting a 3D presentation
BRPI0823512A2 (pt) * 2007-04-12 2013-11-26 Thomson Licensing Ladrilhamento em codificação e decodificação de vídeo
JP4426603B2 (ja) * 2007-05-22 2010-03-03 シャープ株式会社 画像出力システムおよび画像処理装置
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
EP2327227A1 (en) * 2008-09-19 2011-06-01 MBDA UK Limited Method and apparatus for displaying stereographic images of a region
BRPI0914459A2 (pt) * 2008-10-21 2015-10-27 Koninkl Philips Electronics Nv "método para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações, produto de programa de computador e sistema para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações"
US8502857B2 (en) * 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0498761A (ja) * 1990-08-13 1992-03-31 Fuji Elelctrochem Co Ltd 非水電解液二次電池
JPH09298761A (ja) * 1996-03-04 1997-11-18 Sanyo Electric Co Ltd 立体画像表示装置
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
JP2004356772A (ja) * 2003-05-27 2004-12-16 Sanyo Electric Co Ltd 三次元立体画像表示装置およびコンピュータに三次元立体画像表示機能を付与するプログラム
CN1795682A (zh) * 2003-05-27 2006-06-28 三洋电机株式会社 图像显示装置及程序
CN1758755A (zh) * 2004-02-03 2006-04-12 索尼株式会社 收发机系统、发送机和接收机以及信息处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104247433A (zh) * 2012-04-06 2014-12-24 索尼公司 解码装置和解码方法以及编码装置和编码方法
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
CN103391472A (zh) * 2012-05-09 2013-11-13 腾讯科技（深圳）有限公司 视频分辨率获取方法及系统
CN106483338A (zh) * 2015-08-28 2017-03-08 松下知识产权经营株式会社 图像输出装置、图像发送装置、图像接收装置、图像输出方法

Also Published As

Publication number Publication date
BRPI1006063A2 (pt) 2016-04-19
RU2011128307A (ru) 2013-01-20
EP2381690A1 (en) 2011-10-26
AU2010320118A1 (en) 2011-07-21
CN102273212A (zh) 2011-12-07
PE20120606A1 (es) 2012-05-25
NZ593699A (en) 2014-02-28
KR20120092497A (ko) 2012-08-21
US20110268194A1 (en) 2011-11-03
JP2011109397A (ja) 2011-06-02
KR20120092495A (ko) 2012-08-21
US20120019629A1 (en) 2012-01-26
TW201143444A (en) 2011-12-01
EP2362664A1 (en) 2011-08-31
WO2011062015A1 (ja) 2011-05-26
BRPI1006169A2 (pt) 2016-02-23
ZA201105049B (en) 2012-09-26
WO2011062195A1 (ja) 2011-05-26

Similar Documents

Publication Publication Date Title
CN102273211A (zh) 图像发送方法、图像接收方法、图像发送设备、图像接收设备以及图像发送系统
US10341636B2 (en) Broadcast receiver and video data processing method thereof
KR101342294B1 (ko) 3ｄ ｔｖ를 위한 스테레오뷰들의 사이멀캐스트
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
CA2760100C (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
KR101838071B1 (ko) 이미지 처리 방법 및 장치
KR101353115B1 (ko) 비디오 컨텐트를 인코딩하는 방법
KR20100040640A (ko) 수신 시스템 및 데이터 처리 방법
KR101797506B1 (ko) 방송 신호 송신 장치 및 방송 신호 수신 장치
KR20160123216A (ko) 3d 방송 신호를 처리하는 방법 및 장치
US20130250051A1 (en) Signaling method for a stereoscopic video service and apparatus using the method
JP2013526145A (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
CN102804791A (zh) 接收装置、发送装置、通信系统、接收装置控制方法和程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20111207