CN103281529A - 图像信息解码设备和方法、图像信号编码设备和方法及程序 - Google Patents

图像信息解码设备和方法、图像信号编码设备和方法及程序 Download PDF

Info

Publication number
CN103281529A
CN103281529A CN2013101443708A CN201310144370A CN103281529A CN 103281529 A CN103281529 A CN 103281529A CN 2013101443708 A CN2013101443708 A CN 2013101443708A CN 201310144370 A CN201310144370 A CN 201310144370A CN 103281529 A CN103281529 A CN 103281529A
Authority
CN
China
Prior art keywords
picture
stream
unit
interdependent
nal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013101443708A
Other languages
English (en)
Other versions
CN103281529B (zh
Inventor
铃木辉彦
服部忍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103281529A publication Critical patent/CN103281529A/zh
Application granted granted Critical
Publication of CN103281529B publication Critical patent/CN103281529B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/007—Transform coding, e.g. discrete cosine transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明涉及允许容易地在比特流上检测依存流的图片边界的图像信息解码设备和方法、图像信号编码设备和方法及程序。在比特流上，AD（AU定界符）被置于每个AU（访问单元）的起始位置，并且DD（依存定界符）被置于依存流的图片边界处。NAL单元的开头通过检测起始代码而被检测到，并且作为依存流的图片边界（开头）的DD通过检查已检测到其开头的nal_unit_type值是否为18而被检测到。本发明可被应用于处理立体感图像信号的设备。

Description

图像信息解码设备和方法、图像信号编码设备和方法及程序
本申请是2010年11月26日提交的发明名称为“图像信息解码设备和方法、图像信号编码设备和方法及程序”的中国专利申请201080001692.1的分案申请。
技术领域
本发明涉及图像信息解码设备和方法、图像信号编码设备和方法及程序，更具体地，涉及能够容易地检测比特流上的依存流（dependentstream）的图片边界的图像信息解码设备和方法、图像信号编码设备和方法及程序。
背景技术
近年来，为了实现信息的高效传送和积累，通过利用图像信息所特有的冗余性，遵守基于离散余弦变换等正交变换和运动补偿的压缩方案（如MPEG）的装置已越来越普遍地用于从广播站等分发信息以及在一般消费者家中接收信息两者。
特别地，MPEG2（ISO/IEC13818-2）被定义为通用图像编码方案，并且是涵盖了隔行扫描图像和逐行扫描图像二者以及标清图像和高清图像二者的标准，该标准目前被广泛用于包括专业应用和消费者应用在内的各种应用。
利用MPEG2，图像的高质量实现和高压缩比例如可以通过将4至8Mbps的码率（比特率）指派给具有720×480像素的标清隔行扫描图像而变得可能。另外，图像的高质量实现和高压缩比例如可以通过将18至22Mbps的码率指派给具有1920×1088像素的高清隔行扫描图像而变得可能。
MPEG2主要是针对适于广播的高质量编码而设计的，而不支持比MPEG1低的码率（即比MPEG1高的压缩比）的编码方案。
随着移动终端的普及，对这种编码方案的需要未来将增加。为了满足该需要，MPEG4编码方案被标准化。对于图像编码方案，ISO/IEC14496-2标准在1998年12月被批准为国际标准。
此外，被称为H.264/AVC（MPEG-4第10部分，ISO/IEC14496-10|ITU-T H.264）的标准也被标准化。该标准是由被称为JVT（联合视频小组）的、由ITU-T和ISO/IEC联合建立的组织开发的，以促进视频编码的标准化。
众所周知，尽管H.264/AVC由于其编码和解码比诸如MPEG2和MPEG4之类的传统编码方案要求更大量的计算，但使得更高的编码效率成为可能。
[H.264/AVC]
图1是例示了基于诸如离散余弦变换或Karhunen-Loèvo变换之类的正交变换和运动补偿来实现图像压缩的图像信息编码装置的示例配置的框图。
1指示A/D转换单元，2指示画面重排缓冲器，3指示加法器单元，4指示正交变换单元，5指示量化单元，6指示无损编码单元，7指示累积缓冲器，8指示解量化（dequantization）单元，9指示逆正交变换单元，10指示帧存储器，11指示运动预测/补偿单元，并且12指示速率控制单元。
输入的图像信号首先被A/D转换单元1转换成数字信号。
然后，根据输出的图像压缩信息的GOP（图片群）结构，帧被画面重排缓冲器2重排。
对于将被进行帧内编码的图像，关于全部帧的图像信息被输入到正交变换单元4，在那里，诸如离散余弦变换或Karhunen-Loèvo变换之类的正交变换被执行。
作为正交变换单元4的输出的变换系数被量化单元5进行量化处理。
作为量化单元5的输出的量化后的变换系数被输入到无损编码单元6，在那里，诸如变长编码或算数编码之类的无损编码被执行。之后，得出的变换系数在累积缓冲器7中被累积，并作为图像压缩信息被输出。量化单元5的操作行为受速率控制单元12的控制。
同时，作为量化单元5的输出的量化后的变换系数被输入到解量化单元8，并且另外地被逆正交变换单元9进行逆正交变换处理成为解码后的图像信息。该信息在帧存储器10中被累积。
将被进行帧间编码的图像首先从画面重排缓冲器2被输入到运动预测/补偿单元11。
同时，将被参考的图像信息被从帧存储器10取得，并被进行运动预测/补偿处理。参考图像信息被生成。
参考图像信息被发送到加法器单元3，并在这里被转换成参考图像信息和图像信息之间的差别信号。
运动补偿/预测单元11同时将运动向量信息输出到无损编码单元6。运动向量信息被进行诸如变长编码或算数编码之类的无损编码处理，并被插入到图像压缩信息的首部（header portion）中。其他处理与对被进行帧内编码的图像压缩信息的处理类似。
图2是例示了图像信息解码装置的示例配置的框图。
21指示累积缓冲器，22指示无损编码/解码单元，23指示解量化单元，24指示逆正交变换单元，25指示加法器单元，26指示画面重排缓冲器，27指示D/A转换单元，28指示帧存储器，并且29指示运动预测/补偿单元。
被输入的图像压缩信息（比特流）首先被存储在累积缓冲器21中，然后被转移到无损编码/解码单元22。
在无损编码/解码单元22中，诸如变长解码或算数解码之类的处理根据所确定的图像压缩信息格式被执行。
同时，如果帧是帧间编码帧，则无损编码/解码单元22还对图像压缩信息的首部中存储的运动向量信息进行解码，并将信息输出到运动预测/补偿单元29。
作为无损编码/解码单元22的输出的经量化的变换系数被输入到解量化单元23，并在这里作为变换系数被输出。
根据所确定的图像压缩信息格式，变换系数被逆正交变换单元24进行诸如离散余弦变换或Karhunen-Loèvo变换之类的逆正交变换。
在帧是帧内编码帧的情况下，被进行了逆正交变换处理的图像信息被存储在画面重排缓冲器26中，并在D/A处理之后被输出。
在帧是帧间编码帧的情况下，参考图像基于被进行了无损解码处理的运动向量信息和帧存储器28中存储的图像信息而被生成。参考图像和逆正交变换单元24的输出被加法器单元25合并。其他处理与用于帧内编码帧的处理相似。
由前述JVT开发的AVC标准是由运动补偿和离散余弦变换形成的混合编码方案，如MPEG2或MPEG4。
离散余弦变换可以是与实数离散余弦变换近似的整数变换。虽然详细方案不同（例如离散余弦变换的变换方法是使用块尺寸为4×4的整数系数或者运动补偿的块尺寸可变的方法），但是基本方案与利用图1的配置实现的编码方案的基本方案相似。
同时，近年来，随着立体感图像捕获和显示技术的发展，有关将H.264/AVC扩展到立体感图像信号的编码的研究已取得了进展。
实现对使用多个图像捕获装置所捕获的多视点图像进行编码的MVC（多视角视频编码）标准已被开发。
被认为是从两个视点捕获并显示的图像被称为立体图像。裸眼立体图像能够支持多视点显示。
虽然以下将通过示例方式主要对两视点立体图像进行描述，但是可以通过类似方式应用到从三个或更多个视点获得的多视点图像。
[MVC]
图3是例示了多视点编码设备的示图。
在多视点编码设备41中，从两个图像捕获设备即图像捕获设备31和32提供的视频信号被编码，并且通过编码生成的比特流被输出。由两视点图像的数据组成的比特流可被复用成被输出的单个流，或者可作为两个或更多个比特流来输出。
图4是例示了图3中的多视点编码设备41的示例配置的框图。
在多视点编码设备41中，多视点图像中的一个视点图像被编码为基本流，并且其他图像被编码为依存流。
在立体图像的情况下，L图像（左视点图像）和R图像（右视点图像）中的一个图像被编码为基本流，另一个图像被编码为依存流。
基本流是与利用H.264AVC/高级规范（high profile）等来编码的现有AVC比特流类似的比特流。因此，基本流变成可利用支持H.264AVC/高级规范的现有AVC解码器来解码的流。
将被编码为基本流的图像被输入到重排缓冲器51，并被按照适合于编码为I图片、P图片和B图片的次序重排。重排后的图像被输出到视频编码单元52。
视频编码单元52具有与图1中的图像信息编码设备类似的配置。在视频编码单元52中，例如，编码是按照H.264AVC/高级规范来执行的，并且产生的比特流被输出到复用单元57。另外，本地解码图像被保存在帧存储器53中，并被用作用于对下一图片或依存流中的图片进行编码的参考图像。
同时，将被编码为依存流的图像被输入到重排缓冲器54，并被按照适合于编码为I图片、P图片和B图片的次序重排。重排后的图像被输出到依存流编码单元55。
在依存流编码单元55中，除了通常的AVC编码，使用帧存储器53中存储的基本流中的本地解码图像作为参考图像的编码被执行，并且比特流被输出到复用单元57。另外，本地解码图像被保存在帧存储器56中，并被用作用于对下一图片进行编码的参考图像。
在复用单元57中，基本流和依存流被复用成被输出的单个比特流。基本流和依存流可作为分离的比特流被输出。
图5是例示了MVC参考图像的示例的示图。
以和通常的AVC中相似的方式，通过仅在时间方向上执行预测来对基本流进行编码。
通过除了执行在同一视点图像内在时间方向上的预测（与通常的AVC中的类似）之外、还使用在同一时刻作为参考图像而获得的基本流中的图像来执行预测，来对依存流进行编码。即使在时间方向上的预测不能被恰当执行的情况下，参考在同一时刻获得的其他视点图像的能力也可以提高编码效率。
图6是例示了生成基本流的图4中的视频编码单元52的配置和帧存储器53的框图。
除了帧存储器53中保存的图像被依存流编码单元55参考这一点之外，图6中例示的配置与图1中的图像信息编码设备的配置相似。
图7是例示了生成依存流的图4中的依存流编码单元55的配置和帧存储器56的框图。
除了帧存储器53中保存的图像可以被参考这一点之外，图7中例示的配置与图1中的图像信息编码设备的配置相似。从帧存储器53读取的参考图像被输入到运动预测/补偿单元90，并被用于运动预测和运动补偿。
图8是例示了多视点解码设备101的示例配置的框图。
经由记录介质或网络从多视点编码设备41提供的基本流被输入到缓冲器111，并且依存流被输入到缓冲器114。在单个复用流被提供的情况下，该流被分离成分别被输入到缓冲器111和缓冲器114的基本流和依存流。
在缓冲器111中被延迟预定时段的基本流被输出到视频解码单元112。
在视频解码单元112中，基本流被根据AVC来解码，并且产生的解码图像被保存在帧存储器113中。帧存储器113中保存的解码图像被用作用于对下一图片或依存流中的图片进行解码的参考图像。
通过视频解码单元112获得的解码图像作为视频信号在预定时刻被输出到3D显示器102。
同时，在缓冲器114中被延迟预定时段的依存流被输出到依存流解码单元115。
在依存流解码单元115中，依存流被解码，并且产生的解码图像被保存在帧存储器116中。帧存储器116中保存的解码图像被用作用于对下一图片进行解码的参考图像。
在依存流解码单元115中，适当时，帧存储器113中保存的图像根据比特流中的信息（如标记）被用作参考图像。
通过依存流解码单元115获得的解码图像作为视频信号在预定时刻被输出到3D显示器102。
在3D显示器102中，立体图像根据从视频解码单元112提供的视频信号和从依存流解码单元115提供的视频信号被显示。
图9是例示了对基本流进行解码的图8中的视频解码单元112的配置和帧存储器113的示图。
除了帧存储器113中保存的图像可以被依存流解码单元115参考这一点之外，图9中例示的配置与图2中的图像信息解码设备的配置相似。
图10是例示了对依存流进行解码的图8的依存流解码单元115的配置以及帧存储器116的框图。
除了帧存储器113中保存的图像可以被参考这一点之外，图10中例示的配置与图2中的图像信息解码设备的配置相似。从帧存储器113读取的参考图像被输入到运动预测/补偿单元148，并被用于运动预测和运动补偿。
引用列表
专利文献
专利文献1：日文未审专利申请公报No.2007-208917
发明内容
[技术问题]
在AVC和MVC中，模拟解码设备侧的缓冲器的操作的虚拟缓冲器模型被定义，以便防止缓冲器上溢或下溢。
在编码设备侧，编码被执行以防止虚拟缓冲器上溢或下溢。解码设备可以对以这种方式编码的比特流进行解码而不中断缓冲器。
虚拟缓冲器模型将被描述。
图11是例示了虚拟缓冲器模型的示例的示图。
输入比特流首先被提供到缓冲器151。该比特流立即以被称为AU（访问单位）的单位从缓冲器151被读取，并被提供到视频解码单元152。
在视频解码单元152中，从缓冲器151读取的数据立即被解码并且解码图像被生成。上述假设是在虚拟缓冲器模型中作出的。
注意，图11中的缓冲器151对应于图8中的多视点解码设备101中的缓冲器111和缓冲器114。另外，图11中的视频解码单元152对应于图8中的多视点解码设备101中视频解码单元112和依存流解码单元115。
在AVC的情况中，一个AU存储一个图片的数据。
在MVC的情况中，一个AU存储在同一时刻获得的所有视图（view）（基本流和依存流）的数据。这里，术语视图指代从每个视点获得的图像。
这种虚拟缓冲器模型中的缓冲器151的行为被例示于图12。在图12中，纵轴表示缓冲器占用量，横轴表示时间。
如图12所例示，比特流以预定的比特率被提供给缓冲器151。另外，在每个AU的读取时刻，相应AU中存储的比特流从缓冲器151被提取。时刻t1、t2、t3……是从缓冲器151读取的时刻。
图13是例示了使用MVC被编码的比特流的AU的配置的示图。
在图13的上部，AU#1，#2和#3被例示。AU#1由基本流中的图片P1和依存流中的图片P2组成，图片P1和图片P2是同一时刻的图片（这些图片的数据被存储）。
AU#2由基本流中的图片P3和依存流中的图片P4组成，图片P3和图片P4是同一时刻的图片。
AU#3由基本流中的图片P5和依存流中的图片P6组成，图片P5和图片P6是同一时刻的图片。
在图13下部，比特流的配置被例示。
图13中的比特流是通过复用基本流和依存流而构成的单个流。每个AU具有被插入在其开头处的被称为AD（AU定界符）的NAL单元。AD是某种唯一的数据串。
AD表示位于同一时刻的基本流中的图片和依存流中的图片的数据的起始位置。
如图13所例示的，在该比特流中，AU#1由AD#1、图片P1和图片P2组成。
AU#2由AD#2、图片P3和图片P4组成。
AU#3由AD#3、图片P5和图片P6组成。
对AD的搜索使得可以找到AU的起点并容易地访问预定的图片。
图14包括例示了比特流结构的示例的示图。
图14的部分A例示了基本流和依存流被复用成单个比特流的情况中的结构。图14的部分A中比特流的结构与图13中比特流的结构相同。
图14的部分B例示了基本流和依存流被分开地包含在总共两个比特流中的情况中的结构。与图14的部分A例示的部分相对应的部分被分配了相同的符号。
如图14的部分B所例示的，通过按照AD#1、图片P1、AD#2、图片P3、AD#3和图片P5的次序进行布置来构成基本流。
同时，通过按照图片P2、图片P4和图片P6的次序进行布置来构成依存流。
对图14中的比特流的解码处理将利用图11中的配置来描述。
例如，在图14的部分A中的比特流被提供的情况中，在检测AD#1之后，图11中的视频解码单元152依次读取基本流中的图片P1和依存流中的图片P2，并分别对图片进行解码。
此外，在图14的部分B中的比特流被提供的情况中，对于基本流中的第一AU，视频解码单元152检测AD#1，读取图片P1并对其进行解码。此外，对于第二AU，视频解码单元152检测AD#2，读取图片P3并对其进行解码。
由于依存流不包含AD，因此有必要分析比特流中的语法并确定图片P2、P4和P6的边界以便读取每个图片。因此，处理非常复杂。
这里，考虑通过与基本流中类似的方式简单地将AD添加到依存流中每个图片的开头以便图片的开头可以被容易地检测到的情况。
这种情况下，例如，如果基本流和依存流被复用成单个比特流，则视频解码单元152可将基本流的AU和依存流的AU识别为不同的AU。这使得无法正确地再现虚拟缓冲器模型的操作。
本发明是鉴于这种情况而做出的，并旨在使得可以容易地在比特流上检测到依存流中的图片边界。
[解决问题的方案]
根据本发明一个方面的图像信号解码设备是对如下比特流进行解码的图像信号解码设备，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述图像信号解码设备包括解码装置，所述解码装置用于对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中，该解码装置用于识别在所述预定时刻获得的编码数据的起点，该解码装置用于对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处，该解码装置用于识别从所述另一视点获得的图像信号的编码数据的起点，并且用于对所述比特流进行解码。
从多个视点获得的图像信号可以是从两个视点获得的图像信号，并且被配置为单个比特流。
从所述多个视点获得的图像信号是从两个视点获得的图像信号，并且被配置为两个比特流。
解码装置可以被配置成对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从多个视点之一获得的图像中，解码装置被配置成识别在所述预定时刻获得的编码数据的起点，解码装置被配置成对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被编码在从所述另一视点获得的图像的编码比特流的开头处，解码装置被配置成识别从所述另一视点获得的图像信号的编码数据的起点，并且被配置成对所述比特流进行解码。
在对解码可以被正确地开始的位置进行访问的情况下，解码装置可以被配置成对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中，解码装置被配置成识别在所述预定时刻从所述一个视点获得的编码数据的起点，解码装置被配置成对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处，解码装置被配置成识别从所述另一视点获得的图像信号的编码数据的起点，并且被配置成从所识别的起始位置对所述比特流进行解码。
根据本发明一个方面的图像信号解码方法是对如下比特流进行解码的图像信号解码方法，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述图像信号解码方法包括以下步骤：对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中；识别在所述预定时刻获得的编码数据的起点；对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处；识别从所述另一视点获得的图像信号的编码数据的起点；以及对所述比特流进行解码。
根据本发明一个方面的程序是使得计算机运行用于对如下比特流进行解码的处理的程序，所述比特流是通过对包含从多个视点获得的图像信号的立体感图像信号进行编码而产生的，所述程序使得所述计算机运行包含以下步骤的处理：对第一唯一数据串进行解码，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，所述第一唯一数据串被编码在从一个视点获得的图像中；识别在所述预定时刻获得的编码数据的起点；对第二唯一数据串进行解码，所述第二唯一数据串指示在所述预定时刻从另一视点获得的图像编码比特流的起点，所述第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处；识别从所述另一视点获得的图像信号的编码数据的起点；以及对所述比特流进行解码。
根据本发明另一方面的图像信号编码设备是对包含从多个视点获得的图像信号的立体感图像信号进行编码的图像信号编码设备，所述图像信号编码设备包括编码装置，所述编码装置用于将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点，并用于将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。
该编码装置可被配置成将从所有视点获得的编码数据复用成单个比特流。
该编码装置可被配置成使得从所有视点获得的编码数据被包含在两个比特流中。
从多个视点获得的图像信号可以是从两个视点获得的图像信号。
根据本发明另一方面的图像信号编码方法是对包含从多个视点获得的图像信号的立体感图像信号进行编码的图像信号编码方法，包括以下步骤：将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点；以及将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。
根据本发明另一方面的程序是使得计算机运行用于对包含从多个视点获得的图像信号的立体感图像信号进行编码的处理的程序，所述程序使得所述计算机运行包含以下步骤的处理：将第一唯一数据串编码在从一个视点获得的图像中，所述第一唯一数据串指示在预定时刻从所有视点获得的图像编码比特流的起点；以及将第二唯一数据串分别编码在从另一视点获得的图像的编码比特流的开头处，所述第二唯一数据串指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点。
根据本发明的一个方面，指示在预定时刻从所有视点获得的图像编码比特流的起点、并被编码在从一个视点获得的图像中的第一唯一数据串被解码，并且在预定时刻获得的编码数据的起点被识别。另外，指示在所述预定时刻从所述另一视点获得的图像编码比特流的起点、并被分别编码在从另一视点获得的图像的编码比特流的开头处的第二唯一数据串被解码，从所述另一视点获得的图像信号的编码数据的起点被识别，并且比特流被解码。
根据本发明的另一方面，指示在预定时刻从所有视点获得的图像编码比特流的起点的第一唯一数据串被编码在从一个视点获得的图像中，并且指示在所述预定时刻从另一视点获得的图像编码比特流的起点的第二唯一数据串被分别编码在从所述另一视点获得的图像的编码比特流的开头处。
[本发明的有利效果]
根据本发明的一个方面，可以容易地在比特流上检测依存流的图片边界。
附图说明
图1是例示了图像信息编码设备的示例配置的框图。
图2是例示了图像信息解码设备的示例配置的框图。
图3是例示了多视点编码设备的示图。
图4是例示了图3中的多视点编码设备的示例配置的框图。
图5是例示了MVC参考图像的示例的示图。
图6是例示了图4中的视频编码单元的配置和帧存储器的框图。
图7是例示了图4中的依存流编码单元的配置和帧存储器的框图。
图8是例示了多视点解码设备的示例配置的框图。
图9是例示了图8中的视频解码单元的配置和帧存储器的框图。
图10是例示了图8中的依存流解码单元的配置和帧存储器的框图。
图11是例示了虚拟缓冲器模型的示例的示图。
图12是例示了图11中的缓冲器的行为的示图。
图13是例示了使用MVC来编码的比特流的AU的配置的示图。
图14是例示了比特流的结构的示例的示图。
图15是例示了作为根据本发明实施例的多视点编码设备的一部分的依存流编码单元的示例配置的框图。
图16包括例示了比特流的结构的示例的示图。
图17是例示了NAL单元的示例配置的示图。
图18是例示了NAL单元的语法的示图。
图19是例示了nal_unit_type（NAL单元类型）的定义的示图。
图20是例示了nal_unit_type（NAL单元类型）的定义的示图。
图21是例示了NAL单元的简化语法的示图。
图22是例示了包含NAL单元的语法的示图。
图23是例示了图22中的语法的简化的示图。
图24是例示了作为根据本发明实施例的多视点解码设备的一部分的依存流解码单元的示例配置的框图。
图25是例示了虚拟缓冲器模型的示例的示图。
图26是例示了用于访问AU的开头的方法的示例的示图。
图27是描述语法分析单元的操作的流程图。
图28是描述传统分析处理的流程图。
图29是例示了通过使用MVC对三视点视频进行编码而获得的比特流的AU的配置的示图。
图30包括例示了比特流的结构的示例的示图。
图31包括例示了比特流的结构的示例的示图。
图32是例示了计算机的示例配置的框图。
具体实施方式
[多视点编码装置的配置]
图15是例示了作为根据本发明实施例的多视点编码设备的一部分的依存流编码单元的示例配置的框图。
在根据本发明实施例的多视点编码设备中，基本流中编码有指示AU边界的信息，并且依存流中编码有指示依存流中的图片之间的边界的信息。
这使得多视点解码设备在对立体感图像的比特流进行解码的场合能够利用简单的处理确定AU边界等，并基于虚拟缓冲器模型执行解码操作。
多视点编码设备具有与图4中的配置相同的配置。图15例示了图4中的依存流编码单元55的示例配置。根据本发明实施例的多视点编码设备41的视频编码单元52具有与图6的配置相同的配置。相同的配置元素被分配了相同的标号。
除了DD编码单元201被提供这一点以及DD编码单元201的输出被提供到无损编码单元86这一点之外，图15所例示的依存流编码单元55的配置是与图7中的配置相同的配置。
DD编码单元201在依存流中的每个图片的开头插入被称为DD（依存定界符）的NAL单元（视图和依存性表示定界符NAL单元，view anddependency representation delimiter NAL unit）。DD是类似于AD的唯一数据串，但具有与AD不同的值。
无损编码单元86将由DD编码单元201生成的DD的NAL单元插入到每个图片的开头，执行编码，并输出其中已插入DD的依存流。
图16包括例示了由包含图15中的依存流编码单元55的多视点编码设备41生成的比特流的结构示例的示图。
图16的部分A例示了基本流和依存流被复用成单个比特流的情况中的结构的示例。
图16的部分B例示了基本流和依存流被分开地包含在总共两个比特流中的情况中的结构的示例。与图16的部分A所例示的部分相对应的部分被分配了相同的符号。
在生成图16的部分A中的比特流的情况中，在对AD#1进行编码后，多视点编码设备41对基本流中的图片P1进行编码。接着，多视点编码设备41在对依存流中的图片进行编码之前对DD#1进行编码，之后对依存流中的图片P2进行编码。
当处理对象被切换到下一AU时，多视点编码设备41对AD#2进行编码并对基本流中的图片P3进行编码。接着，多视点编码设备41在对依存流中的图片进行编码之前对DD#2进行编码，之后对依存流中的图片P4进行编码。
通过类似的方式，多视点编码设备41在对依存流中的图片进行编码之前对DD进行编码，并在DD之后立刻布置依存流中的图片。
同样，在该示例中，AD被置于AU的开头。第一AU由AD#1、图片P1、DD#1和图片P2组成，并且第二AU由AD#2、图片P3、DD#2和图片P4组成。第三AU由AD#3、图片P5、DD#4和图片P6组成。
在生成图16的部分B中的比特流的情况中，对于基本流，在对AD#1进行编码后，多视点编码设备41对基本流中的图片P1进行编码。当处理对象被切换到下一AU时，多视点编码设备41对AD#2进行编码并对基本流中的图片P3进行编码。
另外，对于依存流，在对DD#1进行编码后，多视点编码设备41对依存流中的图片P2进行编码。当处理对象被切换到下一AU时，多视点编码设备41对DD#2进行编码并对依存流中的图片P4进行编码。
通过类似的方式，多视点编码设备41在对依存流中的图片进行编码之前对DD进行编码，并在DD之后立刻布置依存流中的图片。
如图16的部分B所例示的，基本流是通过按照AD#1、图片P1、AD#2、图片P3、AD#3和图片P5的次序进行布置而构成的。
同时，依存流是通过按照DD#1、图片P2、DD#2、图片P4、DD#3和图片P6的次序进行布置而构成的。
同样，在图16的部分B的示例中，第一AU由AD#1、图片P1、DD#1和图片P2组成，并且第二AU由AD#2、图片P3、DD#2和图片P4组成。第三AU由AD#3、图片P5、DD#4和图片P6组成。
AD表示在同一时刻获得的基本流中的图片和依存流中的图片的数据的起始位置，即，表示在预定时刻从所有视点获得的图像编码比特流的起始位置。另外，DD表示依存流中的图片的数据的边界位置，即，表示依存流中的图像编码比特流的起始位置。
[关于语法]
DD的语法将被描述。
包括AD和图片在内的所有经编码的数据项被存储在称为NAL单元的单元中，并且按照预定次序被重排以构成比特流。细节在ISO/IEC14496-10|ITU-T H.264中进行了描述。
DD也被存储在NAL单元中。
图17是例示了NAL单元的示例配置的示图。
经编码的数目项和首部被逐字节地处理。NAL_BytesInNALunit是指示以字节为单位的NAL单元的大小的参数，该参数对于识别NAL单元的边界是必要的。
一种用于识别NAL单元边界的方法是搜索起始代码。在其他情况下，有必要使用某种方法将NAL单元大小发送到解码器。rbsp_byte[]表示存储在NAL单元中的经编码数据项或首部。
图18是例示了NAL单元的语法的示图。
forbidden_zero_bit是总是为0的1比特数据。
nal_ref_idc是2比特数据，它指示了如果nal_ref_idc值是非零的值，则NAL单元中的数据项被其他NAL单元参考。如果nal_ref_idc值为零，则数据项不被其他NAL单元参考。
nal_unit_type是指示NAL单元的内容的5比特数据。
forbidden_zero_bit、nal_ref_idc和nal_unit_type构成图17中的首部。
图19和图20是例示了nal_unit_type的定义的示图。
如图19所例示的，nal_unit_type=9指示了NAL单元的内容为AD。
如图20所例示的，nal_unit_type=18指示了NAL单元的内容为DD。
图18中NAL单元的简化语法如图21所示。
根据图22所示的语法，NAL单元中添加有起始代码，并构成被称为字节流的流。字节流对应于上述比特流。
图22中3个字节的startcode_prefix（start_code_prefix_one_3bytes）（0x000001）是将要被添加到NAL单元开头的起始代码。startcode_prefix是不得在字节流中其他位置出现的唯一代码。
在字节流中搜索startcode_prefix产生了对NAL单元的开头的检测。另外，在已检测到其开头的NAL单元首部中检查nal_unit_type使得可以访问所希望的NAL单元。
图22中语法的简化如图23所示。
通过这种方式，DD被置于依存流中图片的边界处，无论依存流是与基本流一起被复用成单个比特流还是被包含在另一个比特流中都是如此。
起始代码被添加到存储DD的NAL单元的开头，并且NAL单元的nal_unit_type被设置为指示内容为DD的18。
多视点解码设备可以通过检测起始代码来检测NAL单元的开头。另外，检查到已检测到其开头的NAL单元的nal_unit_type值是18使得可以检测到DD，即依存流中的图片边界（开头）。
[多视点解码设备]
图24是例示了作为根据本发明实施例的多视点解码设备的一部分的依存流解码单元的示例配置的框图。
根据本发明实施例的多视点解码设备具有与图8的配置相同的配置。图24例示了图8中的依存流解码单元115的示例配置。根据本发明实施例的多视点解码设备101的视频解码单元112具有与图9中的配置相同的配置。
除了DD从无损编码/解码单元142被输出这一点之外，图24所例示的依存流解码单元115的配置是与图10中的配置相同的配置。
无损编码/解码单元142对依存流中包含的DD进行解码并输出DD。基于输出的DD，随机访问时解码的起始位置等被上层应用等指定。
MVC虚拟缓冲器模型将被描述。
图25是例示了在MVC比特流是由两个流即基本流和依存流组成的情况下的虚拟缓冲器模型的示例的示图。
输入的基本流被存储在缓冲器151A中，并且依存流被存储在缓冲器151B中。比特流被逐AU地从缓冲器151A和151B即时读取，并被视频解码设备152即时解码。
注意，图25中的缓冲器151A对应于图8中的多视点解码设备101中的缓冲器111，并且图25中的缓冲器151B对应于图8中的多视点解码设备101中的缓冲器114。另外，图25中的视频解码单元152对应于图8中的多视点解码设备101中的视频解码单元112和依存流解码单元115。
例如，在图16的部分B中的基本流被存储在缓冲器151A中并且依存流被存储在缓冲器151B中的情况下，在某一定时，图片P1根据AD#1被从缓冲器151A读取，并且图片P2根据DD#1被从缓冲器151B读取。读取的图片被视频解码单元152解码。
另外，在下一定时，图片P3根据AD#2被从缓冲器151A读取，并且图片P4根据DD#2被从缓冲器151B读取。
MVC比特流由具有基本流和依存流的单个流组成的情况中的虚拟缓冲器模型与图11所例示的相同。
例如，在图16的部分A中的比特流被存储在图11中的缓冲器151中的情况下，在某一定时，图片P1和P2根据AD#1被从缓冲器151读取。
另外，在下一定时，图片P3和P4根据AD#2被从缓冲器151读取。
接着，用于在随机访问时、发生差错时等等访问预定AU的开头的方法的示例将参考图26来描述。
输入的比特流首先被提供到缓冲器211并被暂时存储。之后，比特流被提供给起始代码检测单元212和解码器214。
起始代码检测单元212检测具有唯一数据串的起始代码。检测到起始代码后，起始代码检测单元212将后续数据输出到语法分析单元213。
语法分析单元213分析从起始代码检测单元212提供来的数据。由于数据在起始代码后面，因此从起始代码检测单元212提供来的数据是NAL单元的数据。
当通过分析NAL单元的首部等而识别了AU的起始位置后，语法分析单元213将指示AU起始位置的信号输出到解码器214和缓冲器211。
在AD存在的情况下（在NAL单元的数据被提供的情况下），语法分析单元213检查是否满足nal_unit_type=9。在满足nal_unit_type=9的情况下，如上所述，NAL单元的内容为AD。因此，AU的开头被检测到。
类似地，在AD存在的情况下，语法分析单元213检查是否满足nal_unit_type=18。在满足nal_unit_type=18的情况下，如上所述，NAL单元的内容为DD。因此，依存流中图片的开头被检测到。
解码器214和缓冲器211接下来根据来自语法分析单元213的信号以通常的方式逐AU地对图片执行解码。
检测依存流中图片的开头的操作将参考图27中的流程图来描述。
这里，如图16的部分B所例示的，假设基本流和依存流构成不同的比特流并且依存流具有经编码的DD。
在步骤S1，起始代码检测单元212搜索起始代码。
在起始代码被检测到之后，在步骤S2，语法分析单元213检查是否满足nal_unit_type=18。
在步骤S2中确定满足nal_unit_type=18的情况下，在步骤S3，语法分析单元213检测出具有检测到的起始代码的NAL单元是存储DD的单元并且位于依存流中图片的开头。
在如图14的部分B中所例示的那样，流由两个比特流组成并且如传统MVC中那样依存流不含有DD的情况下的操作被例示于图28中。
如图28所例示的，在依存流不含有DD的情况中，片段首部也被解码，并且多个条件判定被执行。最后，在步骤S23中，可以检测到AU的开头（图片的开头）。
在图28中，直到步骤S23的各个判定中使用的值是写在NAL单元的RBSP（图17）中存储的片段首部中的信息段。与上述nal_unit_type=18不同，上述信息段未被写在NAL单元的首部中，因此，复杂的分析处理被执行。
[三视点比特流]
三视点比特流将被描述。
图29是例示了通过使用MVC对三视点视频进行编码而获得的比特流的AU的配置的示图。
如上所述，在MVC的情况下，一个AU存储在同一时刻获得的所有视图的数据。这甚至在视点的个数为三的情况下也适用。
在图29中，AU#11由基本流中的图片P11、依存流1中的图片P12和依存流2中的图片P13组成。
AU#12由基本流中的图片P14、依存流1中的图片P15和依存流2中的图片P16组成。
AU#13由基本流中的图片P17、依存流1中的图片P18和依存流2中的图片P19组成。
图30包括例示了比特流的结构的示例的示图。
图30的部分A例示了在基本流、依存流1和依存流2被复用成单个比特流的情况下的结构的示例。
图30的部分B例示了在基本流、依存流1和依存流2被包含在总共三个不同的比特流中的情况下的结构的示例。与图30的部分A中例示的部分相对应的部分被分配了相同的符号。
例如，在图30的部分A中的比特流被提供的情况下，在检测到AD#11之后，视频解码单元152依次读取基本流中的图片P11、依存流1中的图片P12和依存流2中的图片P13，并分别对图片进行解码。
此外，在图30的部分B中的比特流被提供的情况下，对于基本流中的第一AU，视频解码单元152检测AD#11、读取图片P11并对其进行解码。另外，对于第二AU，视频解码单元152检测AD#12、读取图片P14并对其进行解码。
依存流1和2不含有DD。因此，为了读取各个图片P12、P13、P15、P16、P18和P19，需要根据图28中的处理来分析比特流中的语法并检测图片的边界。
图31包括例示了由多视点编码设备101根据本发明的实施例生成的比特流的结构的示例的示图。
图31的部分A例示了在基本流、依存流1和依存流2被复用成单个比特流的情况下的结构的示例。
图31的部分B例示了在基本流、依存流1和依存流2被包含在总共三个不同的比特流中的情况下的结构的示例。
在图31的部分A中的比特流被提供的情况下，在检测到AD#11后，视频解码单元152依次读取基本流中的图片P11、依存流1中的图片P12和依存流2中的图片P13，并分别对图片进行解码。
在图31的部分B中的比特流被提供的情况下，对于基本流中的第一AU，在检测到AD#11之后，视频解码单元152对图片P11进行解码。对于第二AU，在检测到AD#12之后，视频解码单元152对图片P14进行解码。
此外，对于依存流1，在检测到DD#11之后，视频解码单元152对图片P12进行解码。另外，在检测到DD#12之后，视频解码单元152对图片P15进行解码。
此外，对于依存流2，在检测到DD#21之后，视频解码单元152对图片P13进行解码。此外，在检测到DD#22之后，视频解码单元152对图片P16进行解码。
通过这种方式，在多视点解码设备101中，操作被执行以使得所希望的AU根据作为例示了AU边界的信息段的AD和作为例示了依存流中图片之间的边界的信息段的DD而被检测到并被解码并且使得立体感图像被显示。
由于在检测到依存流中某个图片的起始位置的情况下不需要分析片段首部，因此高速的随机访问变得可行。
上述处理系列可通过硬件或软件来执行。在该处理系列通过软件来执行的情况下，构成软件的程序被从程序记录介质安装到包括在专用硬件中的计算机、通用个人计算机等中。
图32是例示了根据程序运行上述处理系列的计算机的硬件配置的示例的框图。
CPU（中央处理单元）301、ROM（只读存储器）302和RAM（随机存取存储器）303经由总线304被彼此连接。
输入/输出接口305还连接到总线304。具有键盘、鼠标等的输入单元306和具有显示器、扬声器等的输出单元307被连接到输入/输出接口305。此外，具有硬盘、非易失性存储器等的存储单元308、具有网络接口等的通信单元309和驱动可移除介质311的驱动器310被连接到总线304。
在如上所述那样配置的计算机中，例如，CPU301经由输入/输出接口305和总线304将存储单元308中存储的程序加载到RAM303中，并运行该程序。因而，上述处理系列被执行。
由CPU301运行的程序例如被记录在可移除介质311上，或经由诸如局域网、因特网或数字广播之类的有线或无线传输介质被提供，并且被安装到存储单元308中。
注意，计算机运行的程序可以是这样的程序，根据该程序，处理以本文描述的次序按时间顺序被执行，或者可以是这样的程序，根据该程序，处理被并列执行或在例如被调用时的所需时刻被执行。
本发明的实施例不限于上述实施例，并且在不脱离本发明的范围的情况下可以进行各种改变。
参考符号列表
41多视点编码设备，51重排缓冲器，52视频编码单元，53帧存储器，54重排缓冲器，55依存流编码单元，56帧存储器，57复用单元，101多视点解码设备，1023D显示器，111缓冲器，112视频解码单元，113帧存储器，114缓冲器，115依存流解码单元，116帧存储器，201DD编码单元

Claims (6)

1.一种解码通过对第一视点的第一图像信号进行编码而生成的基本流和通过对第二视点的第二图像信号进行编码而生成的依存流的解码方法，所述方法包括以下步骤：
基于指示依存流中的图片之间的图片边界的依存定界符，检测通过在依存流中的图片的开头处插入所述依存定界符而构成的依存流中的图片边界；和
基于所检测到的依存流中的图片边界，解码基本流和依存流。
2.根据权利要求1所述的解码方法，包括：
基于指示基本流中的访问单元之间的边界的访问单元定界符，检测通过在基本流中的图片的开头处插入所述访问单元定界符而构成的基本流中的边界。
3.根据权利要求2所述的解码方法，
其中所述访问单元定界符对应于包括nal_unit_type的NAL单元；并且
所述依存定界符对应于包括具有与所述访问单元定界符的nal_unit_type不同的值的nal_unit_type的NAL单元。
4.一种用于解码通过对第一视点的第一图像信号进行编码而生成的基本流和通过对第二视点的第二图像信号进行编码而生成的依存流的解码设备，所述解码设备包括：
检测单元，用于基于指示依存流中的图片之间的图片边界的依存定界符，检测通过在依存流中的图片的开头处插入所述依存定界符而构成的依存流中的图片边界；和
解码单元，用于基于所检测到的依存流中的图片边界，解码基本流和依存流。
5.根据权利要求4所述的解码设备，其中
所述检测单元适于基于指示基本流中的访问单元之间的边界的访问单元定界符，检测通过在基本流中的图片的开头处插入所述访问单元定界符而构成的基本流中的边界。
6.根据权利要求5所述的解码设备，其中
其中所述访问单元定界符对应于包括nal_unit_type的NAL单元；并且
所述依存定界符对应于包括具有与所述访问单元定界符的nal_unit_type不同的值的nal_unit_type的NAL单元。
CN201310144370.8A 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法 Expired - Fee Related CN103281529B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-091245 2009-04-03
JP2009091245A JP4947389B2 (ja) 2009-04-03 2009-04-03 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
CN201080001692.1A CN102388616B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080001692.1A Division CN102388616B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法

Publications (2)

Publication Number Publication Date
CN103281529A true CN103281529A (zh) 2013-09-04
CN103281529B CN103281529B (zh) 2016-05-25

Family

ID=42828063

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201080001692.1A Expired - Fee Related CN102388616B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法
CN201310144370.8A Expired - Fee Related CN103281529B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法
CN201310144384.XA Expired - Fee Related CN103220531B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法
CN201310144382.0A Expired - Fee Related CN103237218B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法及程序

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080001692.1A Expired - Fee Related CN102388616B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201310144384.XA Expired - Fee Related CN103220531B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法
CN201310144382.0A Expired - Fee Related CN103237218B (zh) 2009-04-03 2010-03-25 图像信息解码设备和方法、图像信号编码设备和方法及程序

Country Status (15)

Country Link
US (5) US8472731B2 (zh)
EP (4) EP2624570B1 (zh)
JP (1) JP4947389B2 (zh)
KR (2) KR101610419B1 (zh)
CN (4) CN102388616B (zh)
AU (1) AU2010231805B2 (zh)
BR (1) BRPI1001267A2 (zh)
CA (3) CA2805813C (zh)
HK (1) HK1166906A1 (zh)
MX (1) MX2010012930A (zh)
MY (3) MY159386A (zh)
PL (1) PL2416577T3 (zh)
RU (3) RU2573778C2 (zh)
TW (3) TWI517720B (zh)
WO (1) WO2010113770A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
TWI403423B (zh) * 2010-12-02 2013-08-01 Cal Comp Electronics & Comm Co 功能選項設定方法與應用其之多功能事務機
JP5355606B2 (ja) * 2011-03-03 2013-11-27 日本電信電話株式会社 ステレオ動画像符号化方法、装置およびプログラム
KR20130018628A (ko) * 2011-08-09 2013-02-25 삼성전자주식회사 다시점 비디오 예측 부호화 방법 및 그 장치, 다시점 비디오 예측 복호화 방법 및 그 장치
US9693033B2 (en) 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
JP5928118B2 (ja) * 2012-04-16 2016-06-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9584820B2 (en) 2012-06-25 2017-02-28 Huawei Technologies Co., Ltd. Method for signaling a gradual temporal layer access picture
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
PT2923488T (pt) * 2012-11-21 2021-07-09 Dolby Int Ab Sinalização de informação de escalabilidade num conjunto de parâmetros
US10178400B2 (en) 2012-11-21 2019-01-08 Dolby International Ab Signaling scalability information in a parameter set
US9135723B1 (en) * 2012-12-19 2015-09-15 Marvell International Ltd. Efficient visually lossless compression
US9911460B2 (en) 2014-03-24 2018-03-06 Microsoft Technology Licensing, Llc Fast and smart video trimming at frame accuracy on generic platform
US9819945B2 (en) * 2014-06-25 2017-11-14 Qualcomm Incorporated Multi-layer video coding
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
US20160307603A1 (en) * 2015-04-15 2016-10-20 Sony Corporation Information processing device, information recording medium, information processing method, and program
JP2017060004A (ja) * 2015-09-16 2017-03-23 株式会社東芝 エンコード装置、デコード装置、エンコードプログラム、デコードプログラム及びストリーミングシステム
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
JP7119425B2 (ja) * 2018-03-01 2022-08-17 ソニーグループ株式会社 画像処理装置、符号化装置、復号化装置、画像処理方法、プログラム、符号化方法及び復号化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
CN1741619A (zh) * 2004-07-14 2006-03-01 株式会社Ntt都科摩 动画图像解码方法和装置、 动画图像编码方法和装置
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
CN101218831A (zh) * 2005-09-20 2008-07-09 三菱电机株式会社 图像编码方法和图像解码方法、图像编码装置以及图像解码装置、以及图像编码比特流及记录介质
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750855A (ja) * 1993-08-06 1995-02-21 Sharp Corp 画像伝送装置
JP3351645B2 (ja) * 1995-01-31 2002-12-03 松下電器産業株式会社 動画像信号の符号化方法
EP0888018B1 (en) * 1996-02-28 2006-06-07 Matsushita Electric Industrial Co., Ltd. Optical disk having plural streams of digital video data recorded thereon in interleaved manner, and apparatuses and methods for recording on, and reproducing from, the optical disk
JP3593227B2 (ja) * 1996-10-31 2004-11-24 株式会社リコー 立体カメラおよび立体写真撮影アタッチメント
GB2359185B (en) * 1998-10-27 2003-02-19 Hitachi Maxell Information recording method and system,image compression/decompression system,system control method,and monitoring system including part or all of them
US6873630B1 (en) * 1999-05-19 2005-03-29 Sun Microsystems, Inc. Method and apparatus for a multi-gigabit ethernet architecture
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
EP1319309B1 (en) * 2000-09-22 2006-11-22 Koninklijke Philips Electronics N.V. Hybrid temporal-snr fine granular scalability video coding
JP2002142192A (ja) * 2000-11-01 2002-05-17 Sony Corp 信号処理装置および方法、ならびに、記録装置および方法
KR100397511B1 (ko) * 2001-11-21 2003-09-13 한국전자통신연구원 양안식/다시점 3차원 동영상 처리 시스템 및 그 방법
JPWO2003092304A1 (ja) * 2002-04-25 2005-09-08 シャープ株式会社 画像データ生成装置、画像データ再生装置、および画像データ記録媒体
JP2004140575A (ja) * 2002-10-17 2004-05-13 Sony Corp データ処理装置、データ処理方法、および情報記憶媒体、並びにコンピュータ・プログラム
CN101668215A (zh) * 2003-02-18 2010-03-10 诺基亚有限公司 图像解码方法
JP4265527B2 (ja) * 2003-12-19 2009-05-20 ソニー株式会社 再生装置及び再生方法、並びにコンテンツ記録方法
JP4044069B2 (ja) * 2004-04-23 2008-02-06 株式会社ソニー・コンピュータエンタテインメント テクスチャ処理装置、テクスチャ処理方法および画像処理装置
KR100679022B1 (ko) * 2004-10-18 2007-02-05 삼성전자주식회사 계층간 필터링을 이용한 비디오 코딩 및 디코딩방법과,비디오 인코더 및 디코더
CN100579223C (zh) * 2004-12-02 2010-01-06 索尼株式会社 编码装置和方法
JP2006191357A (ja) * 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006211617A (ja) 2005-01-31 2006-08-10 Toshiba Corp 動画像符号化装置・復号化装置及び符号化ストリーム生成方法
JP2007010779A (ja) * 2005-06-28 2007-01-18 Kyocera Corp 光学モジュール及び携帯端末
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
JP4731343B2 (ja) 2006-02-06 2011-07-20 富士通東芝モバイルコミュニケーションズ株式会社 復号装置
ES2636917T3 (es) * 2006-03-30 2017-10-10 Lg Electronics, Inc. Un método y un aparato para descodificar/codificar una señal de video
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
JP4793366B2 (ja) * 2006-10-13 2011-10-12 日本ビクター株式会社 多視点画像符号化装置、多視点画像符号化方法、多視点画像符号化プログラム、多視点画像復号装置、多視点画像復号方法、及び多視点画像復号プログラム
EP2418851A3 (en) * 2006-12-21 2012-05-23 Thomson Licensing Methods and apparatus for improved signaling using high level syntax for multi-view video coding and decoding
KR101388265B1 (ko) * 2007-06-11 2014-04-22 삼성전자주식회사 2ｄ 영상 미디어 표준을 기반으로 3ｄ 입체영상 파일을생성 및 재생하기 위한 시스템 및 방법
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
CN102017640B (zh) * 2008-05-01 2012-11-28 松下电器产业株式会社 再现装置、集成电路与再现方法
JP4669032B2 (ja) * 2008-09-08 2011-04-13 富士フイルム株式会社 画像処理装置および方法並びにプログラム
KR20110097879A (ko) * 2008-11-24 2011-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. ３ｄ 비디오와 보조 데이터의 조합
PL2362672T3 (pl) 2008-12-01 2016-10-31 Urządzenie do odtwarzania treści, sposób odtwarzania, program i nośnik zapisu
WO2010095410A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 記録媒体、再生装置、集積回路
WO2010100875A1 (ja) * 2009-03-02 2010-09-10 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100246683A1 (en) * 2009-03-27 2010-09-30 Jennifer Lois Harmon Webb Error Resilience in Video Decoding
WO2010113454A1 (ja) * 2009-03-31 2010-10-07 パナソニック株式会社 記録媒体、再生装置、及び集積回路
JP4947389B2 (ja) * 2009-04-03 2012-06-06 ソニー株式会社 画像信号復号装置、画像信号復号方法、および画像信号符号化方法
JP4714307B2 (ja) * 2009-05-19 2011-06-29 パナソニック株式会社 記録媒体、再生装置、符号化装置、集積回路、及び再生出力装置
US8270807B2 (en) * 2009-07-13 2012-09-18 Panasonic Corporation Recording medium, playback device, and integrated circuit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003092303A1 (en) * 2002-04-25 2003-11-06 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
JP2004240469A (ja) * 2002-12-13 2004-08-26 Sharp Corp 画像データ作成装置およびそのデータを再生する画像データ再生装置
CN1741619A (zh) * 2004-07-14 2006-03-01 株式会社Ntt都科摩 动画图像解码方法和装置、 动画图像编码方法和装置
WO2007010779A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. パケット送信装置
CN101218831A (zh) * 2005-09-20 2008-07-09 三菱电机株式会社 图像编码方法和图像解码方法、图像编码装置以及图像解码装置、以及图像编码比特流及记录介质
JP2009004940A (ja) * 2007-06-20 2009-01-08 Victor Co Of Japan Ltd 多視点画像符号化方法、多視点画像符号化装置及び多視点画像符号化プログラム

Also Published As

Publication number Publication date
EP2416577A4 (en) 2013-02-27
EP2618583A1 (en) 2013-07-24
TW201347555A (zh) 2013-11-16
EP2624570A1 (en) 2013-08-07
RU2511595C2 (ru) 2014-04-10
RU2014101346A (ru) 2015-07-27
PL2416577T3 (pl) 2015-02-27
JP4947389B2 (ja) 2012-06-06
US8503804B2 (en) 2013-08-06
MX2010012930A (es) 2011-01-25
CN103220531A (zh) 2013-07-24
WO2010113770A1 (ja) 2010-10-07
TW201352006A (zh) 2013-12-16
CN102388616A (zh) 2012-03-21
TWI514893B (zh) 2015-12-21
CA2805813A1 (en) 2010-10-07
CA2805900A1 (en) 2010-10-07
KR20160013253A (ko) 2016-02-03
US20130089267A1 (en) 2013-04-11
CA2805900C (en) 2014-09-30
US9426480B2 (en) 2016-08-23
TWI407796B (zh) 2013-09-01
CA2805813C (en) 2013-09-24
CN102388616B (zh) 2014-04-09
AU2010231805A1 (en) 2010-10-07
RU2014101355A (ru) 2015-07-27
EP2416577A1 (en) 2012-02-08
US20130279601A1 (en) 2013-10-24
US8472731B2 (en) 2013-06-25
CA2724872C (en) 2013-09-24
TW201041402A (en) 2010-11-16
US20150195550A1 (en) 2015-07-09
KR101610419B1 (ko) 2016-04-07
MY184370A (en) 2021-04-01
JP2010245766A (ja) 2010-10-28
CA2724872A1 (en) 2010-10-07
AU2010231805B2 (en) 2015-05-21
CN103281529B (zh) 2016-05-25
US8538181B2 (en) 2013-09-17
CN103237218A (zh) 2013-08-07
TWI517720B (zh) 2016-01-11
EP2615836A1 (en) 2013-07-17
US9036930B2 (en) 2015-05-19
MY159386A (en) 2016-12-30
MY176875A (en) 2020-08-25
KR20120003796A (ko) 2012-01-11
EP2624570B1 (en) 2019-08-14
RU2573778C2 (ru) 2016-01-27
US20110064322A1 (en) 2011-03-17
RU2573257C2 (ru) 2016-01-20
CN103220531B (zh) 2016-03-23
EP2416577B1 (en) 2014-09-17
EP2615836B1 (en) 2018-07-04
BRPI1001267A2 (pt) 2016-02-16
US20130089155A1 (en) 2013-04-11
CN103237218B (zh) 2016-03-23
KR101610614B1 (ko) 2016-04-07
HK1166906A1 (zh) 2012-11-09
RU2010148466A (ru) 2012-06-10
EP2618583B1 (en) 2017-05-24

Similar Documents

Publication Publication Date Title
CN102388616B (zh) 图像信息解码设备和方法、图像信号编码设备和方法
AU2015202063B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160525

CF01 Termination of patent right due to non-payment of annual fee