JP2016213875A - Image processing device and method - Google Patents

Image processing device and method Download PDF

Info

Publication number
JP2016213875A
JP2016213875A JP2016146259A JP2016146259A JP2016213875A JP 2016213875 A JP2016213875 A JP 2016213875A JP 2016146259 A JP2016146259 A JP 2016146259A JP 2016146259 A JP2016146259 A JP 2016146259A JP 2016213875 A JP2016213875 A JP 2016213875A
Authority
JP
Japan
Prior art keywords
motion vector
unit
motion
prediction
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016146259A
Other languages
Japanese (ja)
Other versions
JP6260655B2 (en
Inventor
良知 高橋
Yoshitomo Takahashi
良知 高橋
佐藤 数史
Kazufumi Sato
数史 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2016213875A publication Critical patent/JP2016213875A/en
Application granted granted Critical
Publication of JP6260655B2 publication Critical patent/JP6260655B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

PROBLEM TO BE SOLVED: To provide an image processing device and method which are capable of suppressing increase in storage capacity necessary for encoding and decoding.SOLUTION: An image processing device includes a motion compensating unit that performs motion compensation in decoding of a current layer and a first compressing unit that compresses a motion vector of the current layer that is reconstructed by the motion compensating unit and used for the motion compensation in decoding of another layer. Alternatively, the image processing device includes a motion predicting/compensating unit that performs motion prediction and compensation in encoding of a current layer and a first compressing unit that compresses a motion vector of the current layer that is generated by the motion predicting/compensating unit and used in the motion prediction and compensation in encoding of another layer. For example, the present disclosure can be applied to an image processing device.SELECTED DRAWING: Figure 5

Description

本開示は画像処理装置および方法に関し、特に、符号化・復号に必要な記憶容量の増大を抑制することができるようにした画像処理装置および方法に関する。   The present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of suppressing an increase in storage capacity necessary for encoding / decoding.

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する符号化方式を採用して画像を圧縮符号する装置が普及しつつある。この符号化方式には、例えば、MPEG(Moving Picture Experts Group)などがある。   In recent years, image information has been handled as digital data, and at that time, for the purpose of efficient transmission and storage of information, encoding is performed by orthogonal transform such as discrete cosine transform and motion compensation using redundancy unique to image information. An apparatus that employs a method to compress and code an image is becoming widespread. This encoding method includes, for example, MPEG (Moving Picture Experts Group).

特に、MPEG2(ISO/IEC 13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準である。例えば、MPEG2は、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720x480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbpsの符号量(ビットレート)が割り当てられる。また、MPEG2圧縮方式を用いることにより、例えば1920x1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量(ビットレート)が割り当てられる。これにより、高い圧縮率と良好な画質の実現が可能である。   In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is a standard that covers both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images. For example, MPEG2 is currently widely used in a wide range of applications for professional and consumer applications. By using the MPEG2 compression method, for example, a code amount (bit rate) of 4 to 8 Mbps is assigned to an interlace scanning image having a standard resolution having 720 × 480 pixels. In addition, by using the MPEG2 compression method, a code amount (bit rate) of 18 to 22 Mbps is assigned to a high-resolution interlaced scanned image having 1920 × 1088 pixels, for example. As a result, a high compression rate and good image quality can be realized.

MPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量(ビットレート)、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。画像符号化方式に関しては、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。   MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, a higher compression rate. With the widespread use of mobile terminals, the need for such an encoding system is expected to increase in the future, and the MPEG4 encoding system has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.

更に、近年、当初テレビ会議用の画像符号化を目的として、H.26L (ITU-T(International Telecommunication Union Telecommunication Standardization Sector) Q6/16 VCEG(Video Coding Expert Group))という標準の規格化が進められた。H.26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH.26Lをベースに、H.26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われた。   Furthermore, in recent years, the standardization of the standard called H.26L (ITU-T (International Telecommunication Union Telecommunication Standardization Sector) Q6 / 16 Video Coding Expert Group (VCEG)) has been promoted for the purpose of initial video coding for video conferencing. It was. H.26L is known to achieve higher encoding efficiency than the conventional encoding schemes such as MPEG2 and MPEG4, although a large amount of calculation is required for encoding and decoding. Currently, as part of MPEG4 activities, standardization to achieve higher coding efficiency based on this H.26L and incorporating functions not supported by H.26L is performed as Joint Model of Enhanced-Compression Video Coding. It was broken.

標準化のスケジュールとしては、2003年3月にはH.264及びMPEG-4 Part10 (Advanced Video Coding、以下AVCと記す)という名の元に国際標準となった。   The standardization schedule became an international standard in March 2003 under the names of H.264 and MPEG-4 Part 10 (Advanced Video Coding, hereinafter referred to as AVC).

しかしながら、マクロブロックサイズを16x16画素とするのは、次世代符号化方式の対象となるような、UHD(Ultra High Definition;4000x2000画素)といった大きな画枠に対しては、最適ではない恐れがあった。   However, setting the macroblock size to 16x16 pixels may not be optimal for large image frames such as UHD (Ultra High Definition; 4000x2000 pixels), which are the targets of next-generation encoding methods. .

そこで、現在、H.264/AVCより更なる符号化効率の向上を目的として、ITU-TとISO/IECとの共同の標準化団体であるJCTVC(Joint Collaboration Team-Video Coding)により、HEVC(High Efficiency Video Coding)と呼ばれる符号化方式の標準化が進められている。HEVC規格については、2012年2月に最初のドラフト版仕様であるCommittee draftが発行されている(例えば、非特許文献1参照)。   Therefore, JCTVC (Joint Collaboration Team-Video Coding), a joint standardization organization of ITU-T and ISO / IEC, is currently aiming to further improve coding efficiency compared to H.264 / AVC. Standardization of an encoding method called “Efficiency Video Coding” is underway. Regarding the HEVC standard, a Committee draft, which is the first draft version specification, was issued in February 2012 (see, for example, Non-Patent Document 1).

ところで、従来、HEVCの3D拡張の1つとして、CUレベルを変更して、ノンベースビューの符号化性能を改善する方式が検討されている。本方式の1つのツールとして、異なるビューの符号化済みベクトルをノンベースビューの予測ベクトルの候補にするInter-view motion prediction(IVMP)がある(例えば、非特許文献2参照)。   By the way, conventionally, as one of 3D extensions of HEVC, a method of changing the CU level to improve the coding performance of the non-base view has been studied. One tool of this method is Inter-view motion prediction (IVMP) in which encoded vectors of different views are candidates for non-base view prediction vectors (see, for example, Non-Patent Document 2).

例えば、HEVC Ver.1の規格では、異なる時刻のピクチャの動きベクトルを予測ベクトルの候補にすることができるツールTemporal MVP(TMVP)がある。このツールを用いる場合、TMVPのために符号化済みピクチャの動きベクトル(MV)が保持される。この動きベクトル(MV)は、最小で4x4単位で符号化されるが、TMVPで参照されるまでの間に、16x16単位に情報圧縮される。この圧縮により、動きベクトル(MV)の予測精度が低下するが、動きベクトルを保持するメモリの容量を1/16に減らすことができる。   For example, in the HEVC Ver. 1 standard, there is a tool Temporal MVP (TMVP) that can make motion vectors of pictures at different times as candidates for prediction vectors. When using this tool, the motion vector (MV) of the encoded picture is retained for TMVP. This motion vector (MV) is encoded in 4x4 units at the minimum, but information is compressed in 16x16 units until it is referred to by TMVP. This compression decreases the prediction accuracy of the motion vector (MV), but the capacity of the memory that holds the motion vector can be reduced to 1/16.

Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC) text specification draft 6",JCTVC-H1003 ver20,2012.2.17Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6", JCTVC-H1003 ver20, 2012.2.17 Yoshiya Yamamoto, Tomohiro Ikai, Tadashi Uchiumi, "3D-CE5.h related: Simplification of AMVP", JCT2-A0014, Joint Collaborative Team on 3D Video Coding Extension Developmentof ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 111st Meeting: Stockholm, SE, 16-20 July 2012Yoshiya Yamamoto, Tomohiro Ikai, Tadashi Uchiumi, "3D-CE5.h related: Simplification of AMVP", JCT2-A0014, Joint Collaborative Team on 3D Video Coding Extension Developmentof ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 111st Meeting: Stockholm, SE, 16-20 July 2012

しかしながら、IVMPにおいては、このような動きベクトルの圧縮機能は用意されていなかった。つまり、IVMPの場合、動きベクトルは、他のレイヤにおいて、符号化される際の精度のままで参照されていた。例えば、動きベクトルが、最小4x4単位で符号化される場合、IVMP用に4x4精度の動きベクトルを保持するテンポラルバッファ(Temporal buffer)が必要であった。   However, in the IVMP, such a motion vector compression function has not been prepared. That is, in the case of IVMP, the motion vector is referred to with the accuracy at the time of encoding in another layer. For example, when a motion vector is encoded in a minimum of 4 × 4 units, a temporal buffer (Temporal buffer) that holds a 4 × 4 precision motion vector is required for IVMP.

つまり、このテンポラルバッファには、1ビュー(view)につき、少なくとも、「4x4精度の動きベクトルを1画面」分記憶することができる容量が必要である。したがって、このテンポラルバッファには、16x16精度まで圧縮されるTMVPのための動きベクトルを記憶する場合の16倍(16 picture分)の容量が必要であった。   In other words, this temporal buffer needs to have a capacity capable of storing at least “one 4 × 4 motion vector” for each view. Therefore, the temporal buffer has to have a capacity 16 times as large as that for storing a motion vector for TMVP compressed to 16 × 16 precision (for 16 pictures).

つまり、IVMPのために、符号化・復号に必要な記憶容量が増大する恐れがあった。   In other words, the storage capacity necessary for encoding / decoding may increase due to IVMP.

本開示は、このような状況に鑑みてなされたものであり、符号化・復号に必要な記憶容量の増大を抑制することができるようにするものである。   The present disclosure has been made in view of such circumstances, and is intended to suppress an increase in storage capacity necessary for encoding / decoding.

本技術の一側面は、カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第1の圧縮部とを備える画像処理装置である。   One aspect of the present technology is generated by the motion prediction / compensation unit that performs motion prediction / compensation in encoding of the current layer, and used for the motion prediction / compensation in encoding of other layers. And a first compression unit that compresses the motion vector of the current layer.

前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第1の圧縮部よりも高圧縮率に圧縮する第2の圧縮部をさらに備え、前記動き予測・補償部は、前記第2の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。   The motion prediction / compensation unit further includes a second compression unit that compresses the motion vector of the current layer generated by the motion prediction / compensation unit at a higher compression rate than the first compression unit, The motion prediction / compensation in the encoding of the current layer can be performed using the motion vector compressed by the second compression unit.

前記第2の圧縮部は、前記第1の圧縮部により圧縮された前記動きベクトルをさらに圧縮することができる。   The second compression unit may further compress the motion vector compressed by the first compression unit.

前記動き予測・補償部は、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。   The motion prediction / compensation unit may perform the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit.

他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、前記制御部の制御に従って、前記第1の圧縮部により圧縮される前の前記動きベクトルと、前記第1の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、前記生成部により生成された前記フラグを伝送する伝送部とをさらに備えることができる。   A controller for controlling whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer, and compression by the first compressor according to the control of the controller The motion of the current layer used for the motion prediction / compensation in the encoding of another layer, using either the motion vector before being performed or the motion vector compressed by the first compression unit A selection unit that selects as a vector, and a generation that generates a flag indicating whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer according to the control of the control unit And a transmission unit that transmits the flag generated by the generation unit.

前記動き予測・補償部は、前記制御部の制御に関わらず、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行うことができる。   The motion prediction / compensation unit may perform the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit regardless of the control of the control unit. it can.

前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮することができる。   The first compression unit can compress the motion vector of the current layer by selecting a motion vector as a representative value from a plurality of motion vectors generated by the motion prediction / compensation unit.

前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮することができる。   The first compression unit can compress the motion vector of the current layer by calculating a motion vector as a representative value using a plurality of motion vectors generated by the motion prediction / compensation unit.

前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行うことができる。   The motion prediction / compensation unit may perform the motion prediction / compensation using a motion vector generated in the motion prediction / compensation in encoding of another layer.

本技術の一側面は、また、画像処理装置の画像処理方法において、前記画像処理装置が、カレントレイヤの符号化において動き予測・補償を行い、前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する画像処理方法である。   According to another aspect of the present technology, in the image processing method of the image processing device, the image processing device performs motion prediction / compensation in encoding of a current layer, and is generated by the motion prediction / compensation. This is an image processing method for compressing the motion vector of the current layer, which is used for the motion prediction / compensation in encoding.

本技術の一側面においては、カレントレイヤの符号化において動き予測・補償が行われ、その動き予測・補償により生成され、他のレイヤの符号化における動き予測・補償に利用される、カレントレイヤの動きベクトルが圧縮される。   In one aspect of the present technology, motion prediction / compensation is performed in encoding of the current layer, and is generated by the motion prediction / compensation and used for motion prediction / compensation in encoding of other layers. The motion vector is compressed.

なお、上述の画像処理装置は、独立した装置であっても良いし、1つの画像符号化装置または画像復号装置を構成している内部ブロックであってもよい。   Note that the above-described image processing device may be an independent device, or may be an internal block constituting one image encoding device or image decoding device.

本開示によれば、画像を符号化・復号することができる。特に、符号化・復号に必要な記憶容量の増大を抑制することができる。   According to the present disclosure, an image can be encoded / decoded. In particular, an increase in storage capacity required for encoding / decoding can be suppressed.

コーディングユニットの構成例を説明する図である。It is a figure explaining the structural example of a coding unit. 多視点画像符号化方式の例を示す図である。It is a figure which shows the example of a multiview image encoding system. IVMPの様子の例を説明する図である。It is a figure explaining the example of the mode of IVMP. 従来の動きベクトル参照の様子の例を説明する図である。It is a figure explaining the example of the mode of the conventional motion vector reference. 本技術を適用した動きベクトル参照の様子の例を説明する図である。It is a figure explaining the example of the mode of a motion vector reference to which this technique is applied. V0画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image coding apparatus. V1画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image coding apparatus. V2画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image coding apparatus. 符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an encoding process. V0符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 encoding process. V0インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V0 inter motion prediction process. V1符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 encoding process. V1インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 inter motion prediction process. V2符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 encoding process. V2インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 inter motion prediction process. V0画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image decoding apparatus. V1画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image decoding apparatus. V2画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image decoding apparatus. 復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a decoding process. V0復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 decoding process. V0動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 motion compensation processing. V1復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 decoding process. V1動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 motion compensation process. V2復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 decoding process. V2動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 motion compensation process. 本技術を適用した動きベクトル参照の様子の例を説明する図である。It is a figure explaining the example of the mode of a motion vector reference to which this technique is applied. V0画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image coding apparatus. V1画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image coding apparatus. V2画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image coding apparatus. V0符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 encoding process. V1符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 encoding process. V1インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 inter motion prediction process. V2符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 encoding process. V2インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 inter motion prediction process. V0画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image decoding apparatus. V1画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image decoding apparatus. V2画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image decoding apparatus. V0復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 decoding process. V1復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 decoding process. V1動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 motion compensation process. V2復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 decoding process. V2動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 motion compensation process. 本技術を適用した動きベクトル参照の様子の例を説明する図である。It is a figure explaining the example of the mode of a motion vector reference to which this technique is applied. シンタクスの例を説明する図である。It is a figure explaining the example of a syntax. V0画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image coding apparatus. V1画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image coding apparatus. V2画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image coding apparatus. 符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an encoding process. V0符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 encoding process. V0符号化処理の流れの例を説明する、図49に続くフローチャートである。It is a flowchart following FIG. 49 explaining the example of the flow of V0 encoding processing. V1符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 encoding process. V1符号化処理の流れの例を説明する、図51に続くフローチャートである。FIG. 52 is a flowchart following FIG. 51, illustrating an example of the flow of V1 encoding processing. V1インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 inter motion prediction process. V2符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 encoding process. V2符号化処理の流れの例を説明する、図54に続くフローチャートである。FIG. 55 is a flowchart illustrating an example of the flow of V2 encoding processing, following FIG. 54. V2インター動き予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 inter motion prediction process. V0画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V0 image decoding apparatus. V1画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V1 image decoding apparatus. V2画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a V2 image decoding apparatus. 復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a decoding process. V0復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V0 decoding process. V0復号処理の流れの例を説明する、図61に続くフローチャートである。FIG. 62 is a flowchart following FIG. 61, illustrating an example of the flow of V0 decoding processing. V1復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of V1 decoding process. V1復号処理の流れの例を説明する、図64に続くフローチャートである。It is a flowchart following FIG. 64 for explaining an example of the flow of the V1 decoding process. V1動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V1 motion compensation process. V2復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 decoding process. V2復号処理の流れの例を説明する、図66に続くフローチャートである。66 is a flowchart following FIG. 66 for explaining an example of the flow of the V2 decoding process. V2動き補償処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a V2 motion compensation process. 階層画像符号化方式の例を示す図である。It is a figure which shows the example of a hierarchy image coding system. スペーシャルなスケーラブル符号化の例を説明する図である。It is a figure explaining the example of spatial scalable encoding. テンポラルなスケーラブル符号化の例を説明する図である。It is a figure explaining the example of temporal scalable encoding. 信号雑音比のスケーラブル符号化の例を説明する図である。It is a figure explaining the example of the scalable encoding of a signal noise ratio. 動きベクトルの間引きの様子の例を説明する図である。It is a figure explaining the example of the mode of a thinning out of a motion vector. 動きベクトルの間引きの様子の、他の例を説明する図である。It is a figure explaining the other example of the mode of the thinning out of a motion vector. アンギュラー(Angular)予測の例を説明する図である。It is a figure explaining the example of angular (Angular) prediction. プレイナー(Planar)予測の例を説明する図である。It is a figure explaining the example of a planar (Planar) prediction. モストプロバブルモード(MostProbableMode)の例を説明する図である。It is a figure explaining the example of Most probable mode (MostProbableMode). MDIS(Mode Dependent Intra Smoothing)の例を説明する図である。It is a figure explaining the example of MDIS (Mode Dependent Intra Smoothing). バウンダリバリュースムージング(Boundary Value Smoothing)処理の例を説明する図である。It is a figure explaining the example of a boundary value smoothing (Boundary Value Smoothing) process. イントラ予測モードの間引きの様子の例を示す図である。It is a figure which shows the example of the mode of the thinning-out in intra prediction mode. スケーラブル符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a scalable encoding apparatus. ベースレイヤ画像符号化部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a base layer image coding part. エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an enhancement layer image coding part. イントラ予測モード提供部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an intra prediction mode provision part. 共通情報生成処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a common information generation process. 符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an encoding process. ベースレイヤ符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a base layer encoding process. エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an enhancement layer encoding process. スケーラブル復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a scalable decoding apparatus. ベースレイヤ画像復号部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a base layer image decoding part. エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an enhancement layer image decoding part. イントラ予測モード提供部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an intra prediction mode provision part. 共通情報取得処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a common information acquisition process. 復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a decoding process. ベースレイヤ復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a base layer decoding process. エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an enhancement layer decoding process. 予測処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a prediction process. スライスヘッダのシンタクスの例を示す図である。It is a figure which shows the example of the syntax of a slice header. スライスヘッダのシンタクスの例を示す、図98に続く図である。FIG. 99 is a diagram illustrating an example of the syntax of a slice header, following FIG. 98. スライスヘッダのシンタクスの例を示す、図99に続く図である。FIG. 99 is a diagram illustrating an example of the syntax of a slice header, following FIG. 99. スライスヘッダのシンタクスの他の例を示す図である。It is a figure which shows the other example of the syntax of a slice header. スライスヘッダのシンタクスの他の例を示す、図101に続く図である。FIG. 102 is a diagram subsequent to FIG. 101, illustrating another example of syntax of a slice header. スライスヘッダのシンタクスの他の例を示す、図102に続く図である。FIG. 103 is a diagram subsequent to FIG. 102, illustrating another example of syntax of a slice header. 画像符号化装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an image coding apparatus. ベースレイヤ画像符号化部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a base layer image coding part. エンハンスメントレイヤ画像符号化部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an enhancement layer image coding part. インター予測部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of the inter estimation part. 画像符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an image encoding process. ベースレイヤ符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a base layer encoding process. エンハンスメントレイヤ符号化処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an enhancement layer encoding process. ベースレイヤ動き情報参照処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a base layer motion information reference process. 画像復号装置の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an image decoding apparatus. ベースレイヤ画像復号部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of a base layer image decoding part. エンハンスメントレイヤ画像復号部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of an enhancement layer image decoding part. インター予測部の主な構成例を示すブロック図である。It is a block diagram which shows the main structural examples of the inter estimation part. 画像復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an image decoding process. ベースレイヤ復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of a base layer decoding process. エンハンスメントレイヤ復号処理の流れの例を説明するフローチャートである。It is a flowchart explaining the example of the flow of an enhancement layer decoding process. コンピュータの主な構成例を示すブロック図である。And FIG. 20 is a block diagram illustrating a main configuration example of a computer. テレビジョン装置の概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a television apparatus. 携帯電話機の概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a mobile telephone. 記録再生装置の概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a recording / reproducing apparatus. 撮像装置の概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of an imaging device. スケーラブル符号化利用の一例を示すブロック図である。It is a block diagram which shows an example of scalable encoding utilization. スケーラブル符号化利用の他の例を示すブロック図である。It is a block diagram which shows the other example of scalable encoding utilization. スケーラブル符号化利用のさらに他の例を示すブロック図である。It is a block diagram which shows the further another example of scalable encoding utilization. ビデオセットの概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a video set. ビデオプロセッサの概略的な構成の一例を示すブロック図である。It is a block diagram which shows an example of a schematic structure of a video processor. ビデオプロセッサの概略的な構成の他の例を示すブロック図である。It is a block diagram which shows the other example of the schematic structure of a video processor. コンテンツ再生システムの構成を示した説明図である。It is explanatory drawing which showed the structure of the content reproduction system. コンテンツ再生システムにおけるデータの流れを示した説明図である。It is explanatory drawing which showed the flow of the data in a content reproduction system. MPDの具体例を示した説明図である。It is explanatory drawing which showed the specific example of MPD. コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。It is the functional block diagram which showed the structure of the content server of a content reproduction system. コンテンツ再生システムのコンテンツ再生装置の構成を示した機能ブロック図である。It is the functional block diagram which showed the structure of the content reproduction apparatus of a content reproduction system. コンテンツ再生システムのコンテンツサーバの構成を示した機能ブロック図である。It is the functional block diagram which showed the structure of the content server of a content reproduction system. 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。It is a sequence chart which shows the example of a communication process by each apparatus of a radio | wireless communications system. 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。It is a sequence chart which shows the example of a communication process by each apparatus of a radio | wireless communications system. 無線通信システムの各装置による通信処理において送受信されるフレームフォーマット(frame format)の構成例を模式的に示す図である。It is a figure which shows typically the structural example of the frame format (frame format) transmitted / received in the communication processing by each apparatus of a radio | wireless communications system. 無線通信システムの各装置による通信処理例を示すシーケンスチャートである。It is a sequence chart which shows the example of a communication process by each apparatus of a radio | wireless communications system.

以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
0.概要
1.第1の実施の形態(画像符号化装置、画像復号装置)
2.第2の実施の形態(画像符号化装置、画像復号装置)
3.第3の実施の形態(画像符号化装置、画像復号装置)
4.第4の実施の形態(階層画像符号化・復号)
5.概要2(イントラ予測)
6.第5の実施の形態(スケーラブル画像符号化装置)
7.第6の実施の形態(スケーラブル画像復号装置)
8.概要3(予測方向制御)
9.第7の実施の形態(画像符号化装置)
10.第8の実施の形態(画像復号装置)
11.第9の実施の形態(コンピュータ)
12.応用例
13.スケーラブル符号化の応用例
14.セット・ユニット・モジュール・プロセッサ
15. MPEG-DASHのコンテンツ再生システムの応用例
16. Wi-Fi規格の無線通信システムの応用例
Hereinafter, modes for carrying out the present disclosure (hereinafter referred to as embodiments) will be described. The description will be given in the following order.
0. Overview 1. First embodiment (image encoding device, image decoding device)
2. Second embodiment (image encoding device, image decoding device)
3. Third embodiment (image encoding device, image decoding device)
4). Fourth embodiment (hierarchical image encoding / decoding)
5. Outline 2 (Intra prediction)
6). Fifth Embodiment (Scalable Image Encoding Device)
7). Sixth Embodiment (Scalable Image Decoding Device)
8). Outline 3 (Predicted direction control)
9. Seventh embodiment (image coding apparatus)
10. Eighth embodiment (image decoding apparatus)
11. Ninth embodiment (computer)
12 Application examples 13. 14. Application example of scalable coding Set unit module processor 15. Application example of MPEG-DASH content playback system 16. Application example of Wi-Fi standard wireless communication system

<0.概要>
<符号化方式>
以下においては、HEVC(High Efficiency Video Coding)方式の画像符号化・復号に適用する場合を例に、本技術を説明する。AVC(Advanced Video Coding)やHEVC等の画像符号化においては、時間方向(フレーム間)の相関を利用した動き予測が行われる。
<0. Overview>
<Encoding method>
In the following, the present technology will be described by taking as an example the case of application to HEVC (High Efficiency Video Coding) image encoding / decoding. In image coding such as AVC (Advanced Video Coding) and HEVC, motion prediction using correlation in the time direction (between frames) is performed.

<コーディングユニット>
AVC方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、16x16画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD(Ultra High Definition;4000x2000画素)といった大きな画枠に対して最適ではない。
<Coding unit>
In the AVC system, a hierarchical structure is defined by macroblocks and sub-macroblocks. However, a macro block of 16 × 16 pixels is not optimal for a large image frame such as UHD (Ultra High Definition; 4000 × 2000 pixels), which is a target of the next generation encoding method.

これに対して、HEVC方式においては、図1に示されるように、コーディングユニット(CU(Coding Unit))が規定されている。   On the other hand, in the HEVC scheme, as shown in FIG. 1, a coding unit (CU (Coding Unit)) is defined.

CUは、Coding Tree Block(CTB)とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、16x16画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。   CU is also called a Coding Tree Block (CTB), and is a partial area of a picture unit image that plays the same role as a macroblock in the AVC method. The latter is fixed to a size of 16 × 16 pixels, whereas the size of the former is not fixed, and is specified in the image compression information in each sequence.

例えば、出力となる符号化データに含まれるシーケンスパラメータセット(SPS(Sequence Parameter Set))において、CUの最大サイズ(LCU(Largest Coding Unit))と最小サイズ((SCU(Smallest Coding Unit))が規定される。   For example, in the sequence parameter set (SPS (Sequence Parameter Set)) included in the output encoded data, the maximum size (LCU (Largest Coding Unit)) and minimum size ((SCU (Smallest Coding Unit)) of the CU are specified. Is done.

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図1の例では、LCUの大きさが128であり、最大階層深度が5となる。2Nx2Nの大きさのCUは、split_flagの値が「1」である時、1つ下の階層となる、NxNの大きさのCUに分割される。   Within each LCU, split-flag = 1 can be divided into smaller CUs within a range that does not fall below the SCU size. In the example of FIG. 1, the LCU size is 128 and the maximum hierarchical depth is 5. When the value of split_flag is “1”, the 2Nx2N CU is divided into NxN CUs that are one level below.

更に、CUは、イントラ若しくはインター予測の処理単位となる領域(ピクチャ単位の画像の部分領域)であるプレディクションユニット(Prediction Unit(PU))に分割され、また、直交変換の処理単位となる領域(ピクチャ単位の画像の部分領域)である、トランスフォームユニット(Transform Unit(TU))に分割される。現在、HEVC方式においては、4x4及び8x8に加え、16x16及び32x32直交変換を用いることが可能である。   Furthermore, CU is divided into prediction units (Prediction Units (PU)) that are regions (partial regions of images in units of pictures) that are processing units for intra or inter prediction, and are regions that are processing units for orthogonal transformation It is divided into transform units (Transform Units (TU)), which are (partial regions of images in picture units). Currently, in the HEVC system, it is possible to use 16x16 and 32x32 orthogonal transforms in addition to 4x4 and 8x8.

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック(サブブロック)はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128x128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。   In the case of an encoding method in which a CU is defined and various processes are performed in units of the CU as in the above HEVC method, a macro block in the AVC method corresponds to an LCU, and a block (sub block) corresponds to a CU. Then you can think. A motion compensation block in the AVC method can be considered to correspond to a PU. However, since the CU has a hierarchical structure, the size of the LCU of the highest hierarchy is generally set larger than the macro block of the AVC method, for example, 128 × 128 pixels.

よって、以下、LCUは、AVC方式におけるマクロブロックをも含むものとし、CUは、AVC方式におけるブロック(サブブロック)をも含むものとする。つまり、以下の説明に用いる「ブロック」は、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。つまり、「ブロック」には、例えば、TU、PU、SCU、CU、LCU、サブブロック、マクロブロック、またはスライス等任意の領域(処理単位)が含まれる。もちろん、これら以外の部分領域(処理単位)も含まれる。サイズや処理単位等を限定する必要がある場合は、適宜説明する。   Therefore, hereinafter, it is assumed that the LCU also includes a macroblock in the AVC scheme, and the CU also includes a block (sub-block) in the AVC scheme. That is, “block” used in the following description indicates an arbitrary partial area in the picture, and its size, shape, characteristics, and the like are not limited. That is, the “block” includes an arbitrary area (processing unit) such as a TU, PU, SCU, CU, LCU, sub-block, macroblock, or slice. Of course, other partial areas (processing units) are also included. When it is necessary to limit the size, processing unit, etc., it will be described as appropriate.

<モード選択>
ところで、AVCそしてHEVC符号化方式において、より高い符号化効率を達成するには、適切な予測モードの選択が重要である。
<Mode selection>
By the way, in the AVC and HEVC encoding schemes, selection of an appropriate prediction mode is important to achieve higher encoding efficiency.

かかる選択方式の例として、JM (Joint Model) と呼ばれるH.264/MPEG-4 AVCの参照ソフトウエア (http://iphome.hhi.de/suehring/tml/index.htm において公開されている) に実装されている方法を挙げることが出来る。   An example of such a selection method is H.264 / MPEG-4 AVC reference software called JM (Joint Model) (published at http://iphome.hhi.de/suehring/tml/index.htm) The method implemented in can be mentioned.

JMにおいては、以下に述べる、High Complexity Modeと、Low Complexity Modeの2通りのモード判定方法を選択することが可能である。どちらも、それぞれの予測モードModeに関するコスト関数値を算出し、これを最小にする予測モードを当該ブロック乃至マクロブロックに対する最適モードとして選択する。   In JM, it is possible to select the following two mode determination methods: High Complexity Mode and Low Complexity Mode. In both cases, a cost function value for each prediction mode Mode is calculated, and a prediction mode that minimizes the cost function value is selected as the optimum mode for the block or macroblock.

High Complexity Modeにおけるコスト関数は、以下の式(1)のように示される。   The cost function in High Complexity Mode is shown as the following formula (1).

Figure 2016213875
Figure 2016213875

ここで、Ωは、当該ブロック乃至マクロブロックを符号化するための候補モードの全体集合、Dは、当該予測モードで符号化した場合の、復号画像と入力画像の差分エネルギーである。λは、量子化パラメータの関数として与えられるLagrange未定乗数である。Rは、直交変換係数を含んだ、当該モードで符号化した場合の総符号量である。   Here, Ω is the entire set of candidate modes for encoding the block or macroblock, and D is the difference energy between the decoded image and the input image when encoded in the prediction mode. λ is a Lagrange undetermined multiplier given as a function of the quantization parameter. R is the total code amount when encoding is performed in this mode, including orthogonal transform coefficients.

つまり、High Complexity Modeでの符号化を行うには、上記パラメータD及びRを算出するため、全ての候補モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。   In other words, in order to perform encoding in the High Complexity Mode, the parameters D and R are calculated. Therefore, it is necessary to perform a temporary encoding process once in all candidate modes, which requires a higher calculation amount.

Low Complexity Modeにおけるコスト関数は、以下の式(2)のように示される。   The cost function in Low Complexity Mode is shown as the following formula (2).

Figure 2016213875
Figure 2016213875

ここで、Dは、High Complexity Modeの場合と異なり、予測画像と入力画像の差分エネルギーとなる。QP2Quant(QP)は、量子化パラメータQPの関数として与えられ、HeaderBitは、直交変換係数を含まない、動きベクトルや、モードといった、Headerに属する情報に関する符号量である。   Here, unlike the case of High Complexity Mode, D is the difference energy between the predicted image and the input image. QP2Quant (QP) is given as a function of the quantization parameter QP, and HeaderBit is a code amount related to information belonging to Header, such as a motion vector and mode, which does not include an orthogonal transform coefficient.

すなわち、Low Complexity Modeにおいては、それぞれの候補モードに関して、予測処理を行う必要があるが、復号画像までは必要ないため、符号化処理まで行う必要はない。このため、High Complexity Modeより低い演算量での実現が可能である。   That is, in Low Complexity Mode, it is necessary to perform prediction processing for each candidate mode, but it is not necessary to perform decoding processing because it is not necessary to perform decoding processing. For this reason, realization with a calculation amount lower than High Complexity Mode is possible.

<多視点画像>
ところで、HEVCでは、図2に示される多視点画像のような複数のレイヤからなる動画像を符号化・復号することができる。多視点動画像は、各ピクチャが、互いに視差を有する複数の画像よりなる。各視点の画像群(動画像)をビュー(レイヤ)と称する。図2の例の場合、動画像は、ビュー0乃至ビュー2の3つのビューよりなる。つまり、あるPOCのピクチャは、ビュー0の画像、ビュー1の画像、およびビュー2の画像よりなる。図2において、ビュー0(view_id=0)は、ベースビュー(Base view)とも称する。また、ビュー1(view_id=1)やビュー2(view_id=2)は、ノンベースビュー(non-base view)とも称する。
<Multi-viewpoint image>
By the way, HEVC can encode and decode a moving image composed of a plurality of layers such as the multi-viewpoint image shown in FIG. A multi-view video is composed of a plurality of images in which each picture has parallax. An image group (moving image) at each viewpoint is referred to as a view (layer). In the case of the example in FIG. 2, the moving image includes three views, view 0 to view 2. That is, a picture of a certain POC is composed of an image of view 0, an image of view 1, and an image of view 2. In FIG. 2, view 0 (view_id = 0) is also referred to as a base view. View 1 (view_id = 1) and view 2 (view_id = 2) are also referred to as non-base views.

<予測動きベクトル>
また、HEVCでは、画像を符号化・復号する際に、符号化効率の向上のために動き予測・補償処理が利用されるが、さらに、符号化効率を向上させるために、その動き予測・補償処理においては、処理対象であるカレントブロックの動きベクトルを周辺のブロックの動きベクトルを用いて予測し、カレントブロックの動きベクトルとその予測動きベクトルとの差分動きベクトルを求め、その差分動きベクトルを伝送する。
<Predicted motion vector>
Also, in HEVC, when encoding / decoding an image, motion prediction / compensation processing is used to improve encoding efficiency. In order to further improve encoding efficiency, motion prediction / compensation is used. In processing, the motion vector of the current block to be processed is predicted using the motion vectors of neighboring blocks, the motion vector of the current block and the predicted motion vector are obtained, and the differential motion vector is transmitted. To do.

動きベクトルの予測は、周辺のブロックの動きベクトルから複数の候補を生成し、その中から最適なものを選択することにより行われる。   The motion vector prediction is performed by generating a plurality of candidates from the motion vectors of neighboring blocks and selecting an optimum one from them.

HEVCでは、カレントブロックの、空間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することができる。空間的に周辺のブロックとは、カレントブロックと同一の画像(同一のPOCの同一ビューの画像)内の、カレントブロック近傍のブロックである。   In HEVC, motion vector candidates of spatially neighboring blocks of the current block can be used to generate predicted motion vector candidates. Spatally surrounding blocks are blocks in the vicinity of the current block in the same image as the current block (the same POC in the same view).

また、HEVCでは、カレントブロックの、時間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる(TMVP(Temporal Motion Vector Prediction))。時間的に周辺のブロックとは、カレントブロックと同一ビューの異なるPOCの画像の、カレントブロックに対応する(例えば同一の位置の)ブロック(コロケーテッドブロックとも称する)である。   Also, in HEVC, motion vector candidates of temporally neighboring blocks of the current block can be used to generate predicted motion vector candidates (TMVP (Temporal Motion Vector Prediction)). A temporally neighboring block is a block (also referred to as a collocated block) corresponding to the current block (for example, at the same position) in a POC image having the same view as that of the current block.

さらに、図2に示されるような多視点画像を符号化する場合、HEVCでは、カレントブロックの、ビュー(レイヤ)間的に周辺のブロックの動きベクトルを用いて、予測動きベクトルの候補を生成することもできる(IVMP(Inter-view motion prediction))。ビュー(レイヤ)間的に周辺のブロックとは、カレントブロックと同一POCの異なるビューの画像の、カレントブロックに対応する(例えば同一の位置の)ブロック(コロケーテッドブロックとも称する)である。例えば図3に示されるように、ビュー間の相関性を利用して、1つ前に処理されたビューの動きベクトルが参照される。   Further, when a multi-view image as shown in FIG. 2 is encoded, HEVC generates motion vector predictor candidates using motion vectors of neighboring blocks between views (layers) of the current block. (IVMP (Inter-view motion prediction)). Blocks that are neighboring between views (layers) are blocks (also referred to as collocated blocks) corresponding to the current block (for example, at the same position) in an image of a different view having the same POC as the current block. For example, as shown in FIG. 3, the motion vector of the previously processed view is referred to using the correlation between the views.

以上のようにして、より予測精度の高い、より多くの候補を得ることができるようにすることにより、より予測精度の高い予測ベクトルを得ることができ、より符号化効率を向上させることができる。   As described above, by making it possible to obtain more candidates with higher prediction accuracy, it is possible to obtain a prediction vector with higher prediction accuracy and further improve encoding efficiency. .

しかしながら、TMVPやIVMPでは、カレントピクチャのカレントビューの画像以外の動きベクトルが参照される。したがって、TMVPやIVMPでは、符号化や復号の際に得られる各ブロックの動きベクトルを、参照されなくなるまで(例えば、次のビューの画像の動き予測・補償処理や動き補償処理が終了するまで)、保持する必要がある。そして、そのためのメモリの容量は、想定される最大値以上を用意する必要がある。   However, in TMVP and IVMP, a motion vector other than the image of the current view of the current picture is referred to. Therefore, in TMVP or IVMP, the motion vector of each block obtained at the time of encoding or decoding is not referred to (for example, until the motion prediction / compensation processing or motion compensation processing of the next view image is completed). Need to hold. And it is necessary to prepare the capacity of the memory for that purpose more than the assumed maximum value.

HEVCの場合、TMVPのために保持する動きベクトルを圧縮し、動きベクトルの精度を低減させることができる。しかしながら、IVMPで参照される動きベクトルは、圧縮せずに利用されていた。したがって、IVMPのための動きベクトルは、圧縮せずに保持する必要があった。そのため、IVMPのための動きベクトルを保持するメモリは、TMVPのために動きベクトルを保持するメモリと比べて増大する恐れがあった。つまり、符号化・復号に必要な記憶容量の増大を抑制する恐れがあった。   In the case of HEVC, the motion vector held for TMVP can be compressed to reduce the accuracy of the motion vector. However, motion vectors referred to in IVMP have been used without being compressed. Therefore, the motion vector for IVMP had to be retained without being compressed. Therefore, the memory that holds the motion vector for IVMP may increase as compared with the memory that holds the motion vector for TMVP. That is, there is a risk of suppressing an increase in storage capacity necessary for encoding / decoding.

図4にその具体例を示す。図4に示されるように、TMVPにおいては、カレントレイヤ(ビュー)の動きベクトル(圧縮後MV)が利用され、IVMPにおいては、1つ前のレイヤ(他のレイヤ)の動きベクトル(圧縮前MV)が利用される。   A specific example is shown in FIG. As shown in FIG. 4, the motion vector (compressed MV) of the current layer (view) is used in TMVP, and the motion vector (MV before compression) of the previous layer (other layers) is used in IVMP. ) Is used.

したがって、この場合、TMVP用の、16x16精度の動きベクトルを記憶するメモリ(V0 MV Memory乃至V1 MV Memory)の他に、IVMP用の動きベクトルを記憶するメモリが必要になる。しかも、その動きベクトルは圧縮されていないため、TMVPで参照される動きベクトルを記憶するメモリよりも大きな容量が必要であった。   Therefore, in this case, a memory for storing a motion vector for IVMP is required in addition to a memory (V0 MV Memory to V1 MV Memory) for storing a motion vector of 16 × 16 accuracy for TMVP. In addition, since the motion vector is not compressed, a larger capacity than the memory storing the motion vector referred to by TMVP is required.

メモリに必要な容量が増大することにより、設計や製造のコストが増大する恐れがあった。また、消費電力の増大や、負荷の増大を招く恐れがあった。   The increase in the capacity required for the memory may increase the design and manufacturing costs. In addition, there is a risk of increasing power consumption and load.

<IVMP用の動きベクトルの圧縮>
そこで、IVMP用の動きベクトルも、圧縮する(例えば、所定の間引き率で間引く)ようにする。
<Motion vector compression for IVMP>
Therefore, the motion vector for IVMP is also compressed (eg, thinned out at a predetermined thinning rate).

例えば復号の場合、カレントレイヤの復号において動き補償を行い、その動き補償により再構築され、他のレイヤの復号における動き補償に利用されるカレントレイヤの動きベクトルを圧縮する(例えば、所定の間引き率で間引く)ようにする。換言するに、他のレイヤの復号における動き補償において再構築されて圧縮された(例えば、所定の間引き率で間引かれた)動きベクトルを用いて、カレントレイヤの復号における動き補償を行うようにする。   For example, in the case of decoding, motion compensation is performed in decoding of the current layer, reconstruction is performed by the motion compensation, and the motion vector of the current layer used for motion compensation in decoding of other layers is compressed (for example, a predetermined decimation rate) To be thinned out). In other words, motion compensation in decoding of the current layer is performed using motion vectors reconstructed and compressed in motion compensation in decoding of other layers (eg, decimation at a predetermined decimation rate). To do.

また、例えば符号化の場合、カレントレイヤの符号化において動き予測・補償を行い、その動き予測・補償により生成され、他のレイヤの符号化における動き予測・補償に利用されるカレントレイヤの動きベクトルを圧縮する(例えば、所定の間引き率で間引く)ようにする。換言するに、他のレイヤの符号化における動き予測・補償において生成されて圧縮された(例えば、所定の間引き率で間引かれた)動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償を行うようにする。   Also, for example, in the case of encoding, motion prediction / compensation is performed in encoding of the current layer, the motion vector of the current layer generated by the motion prediction / compensation and used for motion prediction / compensation in encoding of other layers Is compressed (for example, thinned out at a predetermined thinning rate). In other words, the motion vector generated in the motion prediction / compensation in the coding of another layer and compressed (for example, thinned out at a predetermined decimation rate) is used for the motion prediction / Make compensation.

このようにすることにより、IVMP用の動きベクトルを記憶するために必要なメモリの容量の増大を抑制することができる。つまり、符号化・復号に必要な記憶容量の増大を抑制することができる。   By doing so, it is possible to suppress an increase in the memory capacity necessary for storing the motion vector for IVMP. That is, an increase in storage capacity required for encoding / decoding can be suppressed.

<1.第1の実施の形態>
<IVMP用の動きベクトルの圧縮>
以上のような動きベクトルの圧縮において、図5に示されるように、IVMP用の動きベクトルもTMVP用の動きベクトルと同じ圧縮率で圧縮する(例えば、TMVP用の動きベクトルと同じ間引き率で間引く)ようにしてもよい。つまり、圧縮により、IVMP用の動きベクトルとTMVP用の動きベクトルとを同じ精度にするようにしてもよい。このようにすることにより、TMVP用の動きベクトルとIVMP用の動きベクトルを共通化することができ、必要なメモリの容量の増大を抑制することができる。
<1. First Embodiment>
<Motion vector compression for IVMP>
In the motion vector compression as described above, as shown in FIG. 5, the IVMP motion vector is also compressed at the same compression rate as the TMVP motion vector (for example, thinning out at the same thinning rate as the TMVP motion vector). You may do it. In other words, the motion vector for IVMP and the motion vector for TMVP may have the same accuracy by compression. In this way, the TMVP motion vector and the IVMP motion vector can be shared, and an increase in the required memory capacity can be suppressed.

例えば、図4の例の場合、デコーダ(V0 (Base) Decoder, V1 (Depend) Decorder, V2 (Depend) Decorder)は、復号により最高4x4精度の動きベクトルを再構築し、動きベクトル圧縮部((V0乃至V2) MV Compressor)は、それを16x16精度に圧縮する。したがって、IVMP用の動きベクトルを記憶するメモリ((V0乃至V2) Tempral MV Memory)は、4x4精度の動きベクトルを1画面分記憶することができる容量が必要である。   For example, in the example of FIG. 4, the decoder (V0 (Base) Decoder, V1 (Depend) Decorder, V2 (Depend) Decorder) reconstructs a motion vector with a maximum 4 × 4 accuracy by decoding, and a motion vector compression unit (( V0 to V2) MV Compressor) compresses it to 16x16 precision. Therefore, a memory for storing motion vectors for IVMP ((V0 to V2) Tempral MV Memory) needs to have a capacity capable of storing 4 × 4 motion vectors for one screen.

図5に示される例のように、IVMP用の動きベクトルも、動きベクトル圧縮部((V0乃至V2) MV Compressor)によって16x16精度に圧縮する(例えば間引く)ことにより、この、4x4精度の動きベクトルを1画面分記憶することができる容量のメモリ((V0乃至V2) Temporal MV Memory)を省略することができる。   As in the example shown in FIG. 5, the motion vector for IVMP is also compressed to 16x16 precision (for example, thinned out) by the motion vector compression unit ((V0 to V2) MV Compressor). Can be omitted. (Memory from (V0 to V2) Temporal MV Memory) can be omitted.

なお、このような動きベクトルの共通化により、圧縮処理(例えば間引き処理)も共通化することができるので、動きベクトルの圧縮処理による負荷の増大を抑制することができる。   In addition, since the compression processing (for example, thinning-out processing) can be made common by such common motion vectors, an increase in load due to the motion vector compression processing can be suppressed.

以下に、この圧縮方法について、より具体的に説明する。   Hereinafter, this compression method will be described more specifically.

なお、以下においては、符号化・復号対象の動画像は、図2に示されるように、ビュー0乃至ビュー2の3ビュー(レイヤ)の動画像であるものとする。また、この動画像の各ピクチャは所定の順に処理され、各ピクチャにおいて、ビュー0の画像、ビュー1の画像、およびビュー2の画像は、この順に処理されるものとする。   In the following, it is assumed that the moving image to be encoded / decoded is a moving image of three views (layers) of view 0 to view 2, as shown in FIG. In addition, each picture of the moving image is processed in a predetermined order, and in each picture, the view 0 image, the view 1 image, and the view 2 image are processed in this order.

<画像符号化装置>
図6は、V0画像符号化装置の主な構成例を示すブロック図である。図7は、V1画像符号化装置の主な構成例を示すブロック図である。図8は、V2画像符号化装置の主な構成例を示すブロック図である。
<Image encoding device>
FIG. 6 is a block diagram illustrating a main configuration example of the V0 image encoding device. FIG. 7 is a block diagram illustrating a main configuration example of the V1 image encoding device. FIG. 8 is a block diagram illustrating a main configuration example of the V2 image encoding device.

図示せぬ画像符号化装置100は、図2に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置100は、多視点画像の各ビューを符号化するために、図6のV0画像符号化装置100−0、図7のV1画像符号化装置100−1、および図8のV2画像符号化装置100−3を有する。V0画像符号化装置100−0は、ビュー0の画像を符号化する。V1画像符号化装置100−1は、ビュー1の画像を符号化する。V2画像符号化装置100−2は、ビュー2の画像を符号化する。   The image encoding device 100 (not shown) encodes a moving image composed of a plurality of layers such as the multi-viewpoint image shown in FIG. The image encoding apparatus 100 encodes each view of a multi-viewpoint image in order to encode the V0 image encoding apparatus 100-0 in FIG. 6, the V1 image encoding apparatus 100-1 in FIG. 7, and the V2 image in FIG. An image encoding device 100-3 is included. The V0 image encoding device 100-0 encodes the view 0 image. The V1 image encoding device 100-1 encodes the view 1 image. The V2 image encoding device 100-2 encodes the view 2 image.

図6に示されるように、V0画像符号化装置100−0は、A/D変換部101−0、画面並べ替えバッファ102−0、演算部103−0、直交変換部104−0、量子化部105−0、可逆符号化部106−0、蓄積バッファ107−0、逆量子化部108−0、および逆直交変換部109−0を有する。また、V0画像符号化装置100−0は、演算部110−0、ループフィルタ111−0、デコードピクチャバッファ112−0、画面内予測部113−0、動き予測・補償部114−0、予測画像選択部115−0、およびレート制御部116−0を有する。   As illustrated in FIG. 6, the V0 image encoding device 100-0 includes an A / D conversion unit 101-0, a screen rearrangement buffer 102-0, a calculation unit 103-0, an orthogonal transformation unit 104-0, and a quantization. Unit 105-0, lossless encoding unit 106-0, accumulation buffer 107-0, inverse quantization unit 108-0, and inverse orthogonal transform unit 109-0. In addition, the V0 image encoding device 100-0 includes a calculation unit 110-0, a loop filter 111-0, a decoded picture buffer 112-0, an in-screen prediction unit 113-0, a motion prediction / compensation unit 114-0, and a predicted image. A selection unit 115-0 and a rate control unit 116-0 are included.

また、図7に示されるように、V1画像符号化装置100−1は、A/D変換部101−1、画面並べ替えバッファ102−1、演算部103−1、直交変換部104−1、量子化部105−1、可逆符号化部106−1、蓄積バッファ107−1、逆量子化部108−1、および逆直交変換部109−1を有する。また、V1画像符号化装置100−1は、演算部110−1、ループフィルタ111−1、デコードピクチャバッファ112−1、画面内予測部113−1、動き予測・補償部114−1、予測画像選択部115−1、およびレート制御部116−1を有する。   As illustrated in FIG. 7, the V1 image encoding device 100-1 includes an A / D conversion unit 101-1, a screen rearrangement buffer 102-1, a calculation unit 103-1, an orthogonal transformation unit 104-1, It has a quantization unit 105-1, a lossless encoding unit 106-1, an accumulation buffer 107-1, an inverse quantization unit 108-1, and an inverse orthogonal transform unit 109-1. In addition, the V1 image encoding device 100-1 includes a calculation unit 110-1, a loop filter 111-1, a decoded picture buffer 112-1, an intra-screen prediction unit 113-1, a motion prediction / compensation unit 114-1, a predicted image. It has a selection unit 115-1 and a rate control unit 116-1.

さらに、図8に示されるように、V2画像符号化装置100−2は、A/D変換部101−2、画面並べ替えバッファ102−2、演算部103−2、直交変換部104−2、量子化部105−2、可逆符号化部106−2、蓄積バッファ107−2、逆量子化部108−2、および逆直交変換部109−2を有する。また、V2画像符号化装置100−2は、演算部110−2、ループフィルタ111−2、デコードピクチャバッファ112−2、画面内予測部113−2、動き予測・補償部114−2、予測画像選択部115−2、およびレート制御部116−2を有する。   Furthermore, as illustrated in FIG. 8, the V2 image encoding device 100-2 includes an A / D conversion unit 101-2, a screen rearrangement buffer 102-2, a calculation unit 103-2, an orthogonal transformation unit 104-2, It has a quantization unit 105-2, a lossless encoding unit 106-2, an accumulation buffer 107-2, an inverse quantization unit 108-2, and an inverse orthogonal transform unit 109-2. In addition, the V2 image encoding device 100-2 includes a calculation unit 110-2, a loop filter 111-2, a decoded picture buffer 112-2, an in-screen prediction unit 113-2, a motion prediction / compensation unit 114-2, and a predicted image. It has a selection unit 115-2 and a rate control unit 116-2.

以下において、A/D変換部101−0乃至A/D変換部101−2を互いに区別して説明する必要が無い場合、単に、A/D変換部101と称する。また、画面並べ替えバッファ102−0乃至画面並べ替えバッファ102−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ102と称する。さらに、演算部103−0乃至演算部103−2を互いに区別して説明する必要が無い場合、単に、演算部103と称する。また、直交変換部104−0乃至直交変換部104−2を互いに区別して説明する必要が無い場合、単に、直交変換部104と称する。さらに、量子化部105−0乃至量子化部105−2を互いに区別して説明する必要が無い場合、単に、量子化部105と称する。また、可逆符号化部106−0乃至可逆符号化部106−2を互いに区別して説明する必要が無い場合、単に、可逆符号化部106と称する。さらに、蓄積バッファ107−0乃至蓄積バッファ107−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ107と称する。また、逆量子化部108−0乃至逆量子化部108−2を互いに区別して説明する必要が無い場合、単に、逆量子化部108と称する。さらに、逆直交変換部109−0乃至逆直交変換部109−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部109と称する。   Hereinafter, the A / D converter 101-0 to the A / D converter 101-2 are simply referred to as the A / D converter 101 when it is not necessary to distinguish between them. Further, when it is not necessary to distinguish the screen rearrangement buffer 102-0 to the screen rearrangement buffer 102-2 from each other, they are simply referred to as the screen rearrangement buffer 102. Furthermore, when there is no need to distinguish between the calculation units 103-0 to 103-2, they are simply referred to as the calculation unit 103. Further, when it is not necessary to distinguish between the orthogonal transform unit 104-0 to the orthogonal transform unit 104-2, the orthogonal transform unit 104 is simply referred to as an orthogonal transform unit 104. Further, when it is not necessary to distinguish between the quantizing unit 105-0 to the quantizing unit 105-2, the quantizing unit 105-0 is simply referred to as the quantizing unit 105. In addition, the lossless encoding unit 106-0 to the lossless encoding unit 106-2 are simply referred to as the lossless encoding unit 106 when it is not necessary to distinguish between them. Furthermore, when there is no need to distinguish between the accumulation buffers 107-0 to 107-2, they are simply referred to as accumulation buffers 107. In addition, when there is no need to distinguish between the dequantization unit 108-0 to the dequantization unit 108-2, they are simply referred to as the dequantization unit 108. Further, when there is no need to distinguish between the inverse orthogonal transform unit 109-0 to the inverse orthogonal transform unit 109-2, the inverse orthogonal transform unit 109 is simply referred to as an inverse orthogonal transform unit 109.

また、演算部110−0乃至演算部110−2を互いに区別して説明する必要が無い場合、単に、演算部110と称する。さらに、ループフィルタ111−0乃至ループフィルタ111−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ111と称する。また、デコードピクチャバッファ112−0乃至デコードピクチャバッファ112−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ112と称する。さらに、画面内予測部113−0乃至画面内予測部113−2を互いに区別して説明する必要が無い場合、単に、画面内予測部113と称する。また、動き予測・補償部114−0乃至動き予測・補償部114−2を互いに区別して説明する必要が無い場合、単に、動き予測・補償部114と称する。さらに、予測画像選択部115−0乃至予測画像選択部115−2を互いに区別して説明する必要が無い場合、単に、予測画像選択部115と称する。また、レート制御部116−0乃至レート制御部116−2を互いに区別して説明する必要が無い場合、単に、レート制御部116と称する。   In addition, when it is not necessary to distinguish between the calculation units 110-0 to 110-2, the calculation units 110-0 to 110-2 are simply referred to as the calculation unit 110. Furthermore, when it is not necessary to distinguish the loop filters 111-0 to 111-2 from each other, they are simply referred to as the loop filter 111. When there is no need to distinguish between the decoded picture buffer 112-0 to the decoded picture buffer 112-2, the decoded picture buffer 112-0 is simply referred to as a decoded picture buffer 112. Further, when it is not necessary to distinguish between the intra-screen prediction unit 113-0 to the intra-screen prediction unit 113-2, the intra-screen prediction unit 113-2 is simply referred to as an intra-screen prediction unit 113. In addition, when there is no need to distinguish between the motion prediction / compensation unit 114-0 to the motion prediction / compensation unit 114-2, they are simply referred to as the motion prediction / compensation unit 114. Furthermore, when it is not necessary to distinguish and explain the predicted image selection unit 115-0 to the predicted image selection unit 115-2, they are simply referred to as the predicted image selection unit 115. Further, when it is not necessary to distinguish between the rate control unit 116-0 to the rate control unit 116-2, the rate control unit 116-0 is simply referred to as a rate control unit 116.

V0画像符号化装置100−0は、さらに、V0動きベクトル圧縮部121−0およびV0動きベクトルメモリ122−0を有する。V1画像符号化装置100−1は、さらに、V1動きベクトル圧縮部121−1およびV1動きベクトルメモリ122−1を有する。V2画像符号化装置100−2は、さらに、V2動きベクトル圧縮部121−2およびV2動きベクトルメモリ122−2を有する。   The V0 image encoding device 100-0 further includes a V0 motion vector compression unit 121-0 and a V0 motion vector memory 122-0. The V1 image encoding device 100-1 further includes a V1 motion vector compressing unit 121-1 and a V1 motion vector memory 122-1. The V2 image encoding device 100-2 further includes a V2 motion vector compressing unit 121-2 and a V2 motion vector memory 122-2.

A/D変換部101は、入力された画像データ(A/D変換部101−0の場合ビュー0の画像データ、A/D変換部101−1の場合ビュー1の画像データ、A/D変換部101−2の場合ビュー2の画像データ)をA/D変換し、変換後の画像データ(デジタルデータ)を、画面並べ替えバッファ102に供給し、記憶させる。   The A / D conversion unit 101 receives input image data (view 0 image data in the case of the A / D conversion unit 101-0, view 1 image data in the case of the A / D conversion unit 101-1, and A / D conversion. In the case of the section 101-2, the image data of view 2) is A / D converted, and the converted image data (digital data) is supplied to the screen rearrangement buffer 102 and stored therein.

画面並べ替えバッファ102は、記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替える。つまり、画面並べ替えバッファ102は、POC順に並ぶ各ピクチャを、処理順に並び替える。画面並べ替えバッファ102は、フレームの順番を並び替えた画像を、演算部103に供給する。また、画面並べ替えバッファ102は、フレームの順番を並び替えた画像を、画面内予測部113および動き予測・補償部114にも供給する。   The screen rearrangement buffer 102 rearranges the stored frame images in the display order in the order of frames for encoding in accordance with GOP (Group Of Picture). That is, the screen rearrangement buffer 102 rearranges the pictures arranged in the POC order in the processing order. The screen rearrangement buffer 102 supplies the image with the rearranged frame order to the arithmetic unit 103. The screen rearrangement buffer 102 also supplies the image in which the frame order is rearranged to the intra-screen prediction unit 113 and the motion prediction / compensation unit 114.

演算部103は、画面並べ替えバッファ102から読み出された画像から、予測画像選択部115を介して画面内予測部113若しくは動き予測・補償部114から供給される予測画像を減算し、その差分情報を直交変換部104に出力する。例えば、イントラ符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、画面内予測部113から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部103は、画面並べ替えバッファ102から読み出された画像から、動き予測・補償部114から供給される予測画像を減算する。   The calculation unit 103 subtracts the predicted image supplied from the intra-screen prediction unit 113 or the motion prediction / compensation unit 114 via the predicted image selection unit 115 from the image read from the screen rearrangement buffer 102, and the difference Information is output to the orthogonal transform unit 104. For example, in the case of an image on which intra coding is performed, the calculation unit 103 subtracts the predicted image supplied from the intra-screen prediction unit 113 from the image read from the screen rearrangement buffer 102. For example, in the case of an image on which inter coding is performed, the arithmetic unit 103 subtracts the predicted image supplied from the motion prediction / compensation unit 114 from the image read from the screen rearrangement buffer 102.

直交変換部104は、演算部103から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部104は、その変換係数を量子化部105に供給する。   The orthogonal transform unit 104 performs orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform on the difference information supplied from the computation unit 103. The orthogonal transform unit 104 supplies the transform coefficient to the quantization unit 105.

量子化部105は、直交変換部104から供給される変換係数を量子化する。量子化部105は、レート制御部116から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部105は、量子化された変換係数を可逆符号化部106に供給する。   The quantization unit 105 quantizes the transform coefficient supplied from the orthogonal transform unit 104. The quantization unit 105 sets a quantization parameter based on the information regarding the target value of the code amount supplied from the rate control unit 116, and performs the quantization. The quantization unit 105 supplies the quantized transform coefficient to the lossless encoding unit 106.

可逆符号化部106は、量子化部105において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部116の制御の下で量子化されているので、この符号量は、レート制御部116が設定した目標値となる(若しくは目標値に近似する)。   The lossless encoding unit 106 encodes the transform coefficient quantized by the quantization unit 105 using an arbitrary encoding method. Since the coefficient data is quantized under the control of the rate control unit 116, the code amount becomes a target value set by the rate control unit 116 (or approximates the target value).

また、可逆符号化部106は、イントラ(画面内)予測のモードを示す情報などを画面内予測部113から取得し、インター(画面間)予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部114から取得する。   Further, the lossless encoding unit 106 acquires information indicating an intra (intra-screen) prediction mode from the intra-screen prediction unit 113 and moves information indicating an inter (inter-screen) prediction mode, difference motion vector information, and the like. Obtained from the prediction / compensation unit 114.

可逆符号化部106は、これらの各種情報を任意の符号化方式で符号化し、符号化データ(符号化ストリームとも称する)のヘッダ情報の一部とする(多重化する)。可逆符号化部106は、符号化して得られた符号化データを蓄積バッファ107に供給して蓄積させる。   The lossless encoding unit 106 encodes these various types of information by an arbitrary encoding method, and uses (multiplexes) the information as a part of header information of encoded data (also referred to as an encoded stream). The lossless encoding unit 106 supplies the encoded data obtained by encoding to the accumulation buffer 107 for accumulation.

可逆符号化部106の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などが挙げられる。算術符号化としては、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)などが挙げられる。   Examples of the encoding scheme of the lossless encoding unit 106 include variable length encoding or arithmetic encoding. Examples of variable length coding include H.264. CAVLC (Context-Adaptive Variable Length Coding) defined in the H.264 / AVC format. Examples of arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).

蓄積バッファ107は、可逆符号化部106から供給された符号化データを、一時的に保持する。蓄積バッファ107は、所定のタイミングにおいて、保持している符号化データを、例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。すなわち、蓄積バッファ107は、符号化データを伝送する伝送部でもある。   The accumulation buffer 107 temporarily holds the encoded data supplied from the lossless encoding unit 106. The accumulation buffer 107 outputs the stored encoded data to, for example, a recording device (recording medium) (not shown) or a transmission path (not shown) at a predetermined timing at a predetermined timing. That is, the accumulation buffer 107 is also a transmission unit that transmits encoded data.

また、量子化部105において量子化された変換係数は、逆量子化部108にも供給される。逆量子化部108は、その量子化された変換係数を、量子化部105による量子化に対応する方法で逆量子化する。逆量子化部108は、得られた変換係数を、逆直交変換部109に供給する。   The transform coefficient quantized by the quantization unit 105 is also supplied to the inverse quantization unit 108. The inverse quantization unit 108 inversely quantizes the quantized transform coefficient by a method corresponding to the quantization by the quantization unit 105. The inverse quantization unit 108 supplies the obtained transform coefficient to the inverse orthogonal transform unit 109.

逆直交変換部109は、逆量子化部108から供給された変換係数を、直交変換部104による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力(復元された差分情報)は、演算部110に供給される。   The inverse orthogonal transform unit 109 performs inverse orthogonal transform on the transform coefficient supplied from the inverse quantization unit 108 by a method corresponding to the orthogonal transform process by the orthogonal transform unit 104. The inversely orthogonal transformed output (restored difference information) is supplied to the calculation unit 110.

演算部110は、逆直交変換部109から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部115を介して画面内予測部113若しくは動き予測・補償部114からの予測画像を加算し、局部的に復号された画像(復号画像)を得る。その復号画像は、ループフィルタ111に供給される。   The calculation unit 110 adds the restored difference information, which is the inverse orthogonal transformation result supplied from the inverse orthogonal transformation unit 109, to the intra-screen prediction unit 113 or the motion prediction / compensation unit 114 via the prediction image selection unit 115. The predicted images are added to obtain a locally decoded image (decoded image). The decoded image is supplied to the loop filter 111.

ループフィルタ111は、デブロックフィルタや適応ループフィルタ等を含み、演算部110から供給される復号画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ111は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ111は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた復号画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。   The loop filter 111 includes a deblock filter, an adaptive loop filter, and the like, and appropriately performs a filtering process on the decoded image supplied from the calculation unit 110. For example, the loop filter 111 removes block distortion of the decoded image by performing a deblocking filter process on the decoded image. In addition, for example, the loop filter 111 performs image quality improvement by performing loop filter processing using a Wiener filter on the deblock filter processing result (decoded image from which block distortion has been removed). Do.

なお、ループフィルタ111が、復号画像に対して任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ111は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部106に供給し、それを符号化させるようにすることもできる。   Note that the loop filter 111 may perform arbitrary filter processing on the decoded image. Further, the loop filter 111 can supply information such as filter coefficients used for the filter processing to the lossless encoding unit 106 and encode it as necessary.

ループフィルタ111は、フィルタ処理結果(以下、復号画像と称する)をデコードピクチャバッファ112に供給する。また、ループフィルタ111は、演算部110から供給される再構成画像を、画面内予測部113に供給する。   The loop filter 111 supplies a filter processing result (hereinafter referred to as a decoded image) to the decoded picture buffer 112. Further, the loop filter 111 supplies the reconstructed image supplied from the calculation unit 110 to the intra-screen prediction unit 113.

デコードピクチャバッファ112は、ループフィルタ111から供給される復号画像をそれぞれ記憶する。また、デコードピクチャバッファ112は、その画像のビューIDおよびPOCを記憶する。   The decoded picture buffer 112 stores the decoded images supplied from the loop filter 111, respectively. The decoded picture buffer 112 stores the view ID and POC of the image.

デコードピクチャバッファ112は、所定のタイミングにおいて、若しくは、動き予測・補償部114等の外部からの要求に基づいて、記憶している復号画像(並びに、その画像のビューIDおよびPOC)を、当該ビュー用の動き予測・補償部114に供給する。   The decoded picture buffer 112 displays the stored decoded image (and the view ID and POC of the image) at the predetermined timing or based on an external request from the motion prediction / compensation unit 114 or the like. To the motion prediction / compensation unit 114 for use.

また、デコードピクチャバッファ112は、所定のタイミングにおいて、若しくは、動き予測・補償部114等の外部からの要求に基づいて、記憶している復号画像(並びに、その画像のビューIDおよびPOC)を、次に処理されるビュー用の動き予測・補償部114にも供給する。例えば、デコードピクチャバッファ112−0は、復号画像を、動き予測・補償部114−0および動き予測・補償部114−1に供給する。また、例えば、デコードピクチャバッファ112−1は、復号画像を、動き予測・補償部114−1および動き予測・補償部114−2に供給する。ただし、ビュー2は、最後に処理されるビューであるので、デコードピクチャバッファ112−2は、復号画像を、動き予測・補償部114−2に供給する。   The decoded picture buffer 112 stores the decoded image (and the view ID and POC of the image) stored at a predetermined timing or based on a request from the outside such as the motion prediction / compensation unit 114. This is also supplied to the view motion prediction / compensation unit 114 to be processed next. For example, the decoded picture buffer 112-0 supplies the decoded image to the motion prediction / compensation unit 114-0 and the motion prediction / compensation unit 114-1. For example, the decoded picture buffer 112-1 supplies the decoded image to the motion prediction / compensation unit 114-1 and the motion prediction / compensation unit 114-2. However, since view 2 is the view processed last, the decoded picture buffer 112-2 supplies the decoded image to the motion prediction / compensation unit 114-2.

画面内予測部113は、ループフィルタ111から、処理対象領域(カレントブロック)の周辺に位置する周辺領域(周辺ブロック)の画像を取得すると、その周辺ブロックの画像の画素値を用いて、基本的にプレディクションユニット(PU)を処理単位として予測画像を生成するイントラ予測(画面内予測)を行う。画面内予測部113は、予め用意された複数のモード(イントラ予測モード)でこのイントラ予測を行う。   When the in-screen prediction unit 113 acquires an image of a peripheral region (peripheral block) located around the processing target region (current block) from the loop filter 111, the in-screen prediction unit 113 basically uses the pixel values of the image of the peripheral block. In addition, intra prediction (intra-screen prediction) for generating a prediction image using a prediction unit (PU) as a processing unit is performed. The intra-screen prediction unit 113 performs this intra prediction in a plurality of modes (intra prediction modes) prepared in advance.

画面内予測部113は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ102から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。画面内予測部113は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部115に供給する。   The in-screen prediction unit 113 generates a prediction image in all candidate intra prediction modes, evaluates the cost function value of each prediction image using the input image supplied from the screen rearrangement buffer 102, and selects the optimal mode. Select. When the optimal intra prediction mode is selected, the in-screen prediction unit 113 supplies the predicted image generated in the optimal mode to the predicted image selection unit 115.

また、画面内予測部113は、最適なイントラ予測モード等、イントラ予測に関する情報を含むイントラ予測情報を、適宜可逆符号化部106に供給し、符号化させる。   Moreover, the intra prediction unit 113 supplies intra prediction information including information related to intra prediction, such as an optimal intra prediction mode, to the lossless encoding unit 106 as appropriate, and encodes it.

動き予測・補償部114は、カレントブロックについて動き予測を行って動きベクトルを生成し、生成された動きベクトルに応じて補償処理を行ってカレントブロックの予測画像(インター予測画像情報)を生成する。この動き予測・補償処理において、動き予測・補償部114は、候補となる全てのインター予測モードで予測画像を生成し、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部114は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部115に供給する。   The motion prediction / compensation unit 114 performs motion prediction on the current block to generate a motion vector, performs a compensation process according to the generated motion vector, and generates a prediction image (inter prediction image information) of the current block. In this motion prediction / compensation process, the motion prediction / compensation unit 114 generates prediction images in all candidate inter prediction modes, evaluates the cost function value of each prediction image, and selects an optimal mode. When the optimal inter prediction mode is selected, the motion prediction / compensation unit 114 supplies the predicted image generated in the optimal mode to the predicted image selection unit 115.

動き予測・補償部114は、デコードピクチャバッファ112から取得したデコード画像を用いて、以上のような動き予測・補償処理を行う。   The motion prediction / compensation unit 114 uses the decoded image acquired from the decoded picture buffer 112 to perform the motion prediction / compensation process as described above.

最初に処理されるビューの場合、動き予測・補償部114は、当該ビューの画像を記憶するデコードピクチャバッファ112から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部114−0は、デコードピクチャバッファ112−0から取得したデコード画像を用いて、動き予測・補償処理を行う。   In the case of the view processed first, the motion prediction / compensation unit 114 performs motion prediction / compensation processing using the decoded image acquired from the decoded picture buffer 112 that stores the image of the view. For example, the motion prediction / compensation unit 114-0 performs motion prediction / compensation processing using the decoded image acquired from the decoded picture buffer 112-0.

2番目以降に処理されるビューの場合、動き予測・補償部114は、当該ビューの画像を記憶するデコードピクチャバッファ112、および、1つ前に処理されたビューの画像を記憶するデコードピクチャバッファ112から取得したデコード画像を用いて、動き予測・補償処理を行う。例えば、動き予測・補償部114−1は、デコードピクチャバッファ112−0およびデコードピクチャバッファ112−1から取得したデコード画像を用いて、動き予測・補償処理を行う。また、例えば、動き予測・補償部114−2は、デコードピクチャバッファ112−1およびデコードピクチャバッファ112−2から取得したデコード画像を用いて、動き予測・補償処理を行う。   In the case of a view processed second and later, the motion prediction / compensation unit 114 stores a decoded picture buffer 112 that stores an image of the view, and a decoded picture buffer 112 that stores an image of the previous processed view. Motion prediction / compensation processing is performed using the decoded image acquired from (1). For example, the motion prediction / compensation unit 114-1 performs motion prediction / compensation processing using the decoded pictures acquired from the decoded picture buffer 112-0 and the decoded picture buffer 112-1. For example, the motion prediction / compensation unit 114-2 performs motion prediction / compensation processing using the decoded picture acquired from the decoded picture buffer 112-1 and the decoded picture buffer 112-2.

また、動き予測・補償部114は、インター予測が採用された場合、最適なインター予測モード等、インター予測に関する情報を含むインター予測情報を可逆符号化部106に供給し、伝送させる。   Also, when inter prediction is employed, the motion prediction / compensation unit 114 supplies inter prediction information including information related to inter prediction, such as an optimal inter prediction mode, to the lossless encoding unit 106 for transmission.

動き予測・補償部114は、このインター予測情報として、復号側で動き補償を行うために、最適なモードの動きベクトルを伝送させる。実際には、動き予測・補償部114は、符号化効率をより向上させるために、動きベクトルの代わりに、動きベクトルと予測動きベクトルとの差分である差分動きベクトルを伝送させる。つまり、動き予測・補償部114は、カレントブロックの動きベクトルの予測を行って予測動きベクトルを生成し、カレントブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルを生成する。動き予測・補償部114は、この差分動きベクトルをインター予測情報の一部として復号側に伝送させる。   The motion prediction / compensation unit 114 transmits the motion vector of the optimum mode as the inter prediction information in order to perform motion compensation on the decoding side. Actually, the motion prediction / compensation unit 114 transmits a differential motion vector that is a difference between the motion vector and the predicted motion vector, instead of the motion vector, in order to further improve the encoding efficiency. That is, the motion prediction / compensation unit 114 performs prediction of the motion vector of the current block to generate a prediction motion vector, and generates a differential motion vector that is a difference between the motion vector of the current block and the prediction motion vector. The motion prediction / compensation unit 114 transmits this differential motion vector to the decoding side as part of the inter prediction information.

このような動きベクトルの予測において、動き予測・補償部114は、カレントブロックの周辺のブロックの動きベクトルを用いて、カレントブロックの予測動きベクトルを生成する。その際、動き予測・補償部114は、予測動きベクトルの予測精度をより向上させ、符号化効率をより向上させるために、予測動きベクトルの候補を複数生成し、各候補についてのコスト関数値を求め、それらのコスト関数値に基づいて、その候補の中から最適なものを選択することができる。つまり、動き予測・補償部114は、予測動きベクトルの候補を、複数の方法で生成することができる。   In such motion vector prediction, the motion prediction / compensation unit 114 generates a motion vector predictor for the current block using motion vectors of blocks around the current block. At this time, the motion prediction / compensation unit 114 generates a plurality of motion vector predictor candidates in order to further improve the prediction accuracy of the motion vector predictor and further improve the encoding efficiency, and calculates a cost function value for each candidate. The optimal one can be selected from the candidates based on the obtained cost function values. That is, the motion prediction / compensation unit 114 can generate prediction motion vector candidates by a plurality of methods.

例えば、動き予測・補償部114は、カレントブロックの、空間的、時間的、および、ビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成することができる。なお、動き予測・補償部114は、この予測動きベクトルとしてどの候補を選択したかを示す情報(つまり、予測動きベクトルのモード情報)をインター予測情報の一部として復号側に伝送させる。   For example, the motion prediction / compensation unit 114 can generate a prediction motion vector of the current block by referring to the motion vectors of neighboring blocks spatially, temporally, and between views of the current block. Note that the motion prediction / compensation unit 114 transmits information indicating which candidate is selected as the predicted motion vector (that is, mode information of the predicted motion vector) to the decoding side as part of the inter prediction information.

動き予測・補償部114は、当該ビューに対応する動きベクトルメモリから、空間的に周辺のブロックの動きベクトルを取得する。例えば、動き予測・補償部114−0は、V0動きベクトルメモリ122−0から動きベクトルを取得する。また、例えば、動き予測・補償部114−1は、V1動きベクトルメモリ122−1から動きベクトルを取得する。さらに、例えば、動き予測・補償部114−2は、V2動きベクトルメモリ122−2から動きベクトルを取得する。   The motion prediction / compensation unit 114 acquires motion vectors of spatially neighboring blocks from the motion vector memory corresponding to the view. For example, the motion prediction / compensation unit 114-0 acquires a motion vector from the V0 motion vector memory 122-0. For example, the motion prediction / compensation unit 114-1 acquires a motion vector from the V1 motion vector memory 122-1. Further, for example, the motion prediction / compensation unit 114-2 acquires a motion vector from the V2 motion vector memory 122-2.

2番目以降に処理されるビューにおいては、動き予測・補償部114は、さらに、過去の処理されたビューに対応する動きベクトルメモリから、ビュー間的に周辺のブロックの動きベクトルも取得する。例えば、動き予測・補償部114−1は、V0動きベクトルメモリ122−0から動きベクトルを取得する。さらに、例えば、動き予測・補償部114−2は、V1動きベクトルメモリ122−1から動きベクトルを取得する。   In the second and subsequent views processed, the motion prediction / compensation unit 114 further acquires motion vectors of neighboring blocks between views from the motion vector memory corresponding to the past processed view. For example, the motion prediction / compensation unit 114-1 acquires a motion vector from the V0 motion vector memory 122-0. Furthermore, for example, the motion prediction / compensation unit 114-2 acquires a motion vector from the V1 motion vector memory 122-1.

これらの動きベクトルは、圧縮されている。つまり、他のレイヤの符号化における動き予測・補償において生成されて圧縮された動きベクトルを用いて、カレントレイヤの符号化における動き予測・補償が行われる。つまり、符号化に必要な記憶容量の増大を抑制することができる。   These motion vectors are compressed. That is, motion prediction / compensation in current layer coding is performed using a motion vector generated and compressed in motion prediction / compensation in coding of another layer. That is, an increase in storage capacity necessary for encoding can be suppressed.

動き予測・補償部114−0は、動き予測・補償処理において生成したカレントブロックの動きベクトル(最適モードの動きベクトル)を、V0動きベクトル圧縮部121−0に供給する。また、動き予測・補償部114−1は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部121−1に供給する。さらに、動き予測・補償部114−2は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部121−2に供給する。   The motion prediction / compensation unit 114-0 supplies the V0 motion vector compression unit 121-0 with the motion vector (motion vector in the optimum mode) of the current block generated in the motion prediction / compensation process. In addition, the motion prediction / compensation unit 114-1 supplies the generated motion vector of the current block to the V1 motion vector compression unit 121-1. Further, the motion prediction / compensation unit 114-2 supplies the generated motion vector of the current block to the V2 motion vector compression unit 121-2.

予測画像選択部115は、演算部103や演算部110に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部115は、予測画像の供給元として画面内予測部113を選択し、その画面内予測部113から供給される予測画像を演算部103や演算部110に供給する。また、例えば、インター符号化の場合、予測画像選択部115は、予測画像の供給元として動き予測・補償部114を選択し、その動き予測・補償部114から供給される予測画像を演算部103や演算部110に供給する。   The predicted image selection unit 115 selects a supply source of the predicted image supplied to the calculation unit 103 or the calculation unit 110. For example, in the case of intra coding, the predicted image selection unit 115 selects the intra-screen prediction unit 113 as the supply source of the predicted image, and calculates the predicted image supplied from the intra-screen prediction unit 113 as the calculation unit 103 or the calculation unit 110. To supply. Further, for example, in the case of inter coding, the predicted image selection unit 115 selects the motion prediction / compensation unit 114 as a supply source of the predicted image, and calculates the predicted image supplied from the motion prediction / compensation unit 114 as the calculation unit 103. To the arithmetic unit 110.

レート制御部116は、蓄積バッファ107に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部105の量子化動作のレートを制御する。   The rate control unit 116 controls the quantization operation rate of the quantization unit 105 based on the code amount of the encoded data stored in the storage buffer 107 so that no overflow or underflow occurs.

V0動きベクトル圧縮部121−0は、動き予測・補償部114−0から取得した、最高4x4精度の動きベクトル(圧縮前V0動きベクトルとも称する)を、16x16精度に圧縮し(1/16圧縮とも称する)、その圧縮後の動きベクトル(1/16圧縮後V0動きベクトルとも称する)をV0動きベクトルメモリ122−0に供給する。   The V0 motion vector compressing unit 121-0 compresses a motion vector having the maximum 4x4 accuracy (also referred to as a pre-compression V0 motion vector) acquired from the motion prediction / compensation unit 114-0 to 16x16 accuracy (both 1/16 compression). The motion vector after compression (also referred to as 1 / 16-compressed V0 motion vector) is supplied to the V0 motion vector memory 122-0.

この動きベクトルの圧縮方法は任意である。例えば、V0動きベクトル圧縮部121−0が、動き予測・補償部114−0から取得した複数の動きベクトルの中から、その代表値とする動きベクトルを選択するようにしてもよい。例えば、4x4精度の16個の動きベクトル(4x4個の各ブロックの動きベクトル)から、代表値とする動きベクトルが1つ選択されるようにしてもよい。この圧縮により、動きベクトルの精度は、16x16精度となる。   The motion vector compression method is arbitrary. For example, the V0 motion vector compressing unit 121-0 may select a motion vector as a representative value from a plurality of motion vectors acquired from the motion prediction / compensation unit 114-0. For example, one motion vector as a representative value may be selected from 16 motion vectors of 4 × 4 accuracy (motion vectors of 4 × 4 blocks). By this compression, the accuracy of the motion vector becomes 16 × 16 accuracy.

なお、この動きベクトルの選択方法は任意である。例えば左上端のブロック等、所定の位置のブロックの動きベクトルを選択するようにしてもよいし、例えば画像内の位置に応じてブロックを選択する等、所定の方法で定められた位置のブロックの動きベクトルを選択するようにしてもよい。   Note that this motion vector selection method is arbitrary. For example, the motion vector of a block at a predetermined position, such as the block at the upper left corner, may be selected, or the block at a position determined by a predetermined method, for example, a block may be selected according to the position in the image. A motion vector may be selected.

また、選択する動きベクトルの数は、任意であり、2つ以上であってもよい。   The number of motion vectors to be selected is arbitrary, and may be two or more.

また、V0動きベクトル圧縮部121−0は、例えば、各動きベクトルを用いた所定の演算により代表値を算出するようにしてもよい。この代表値の算出方法は、任意である。例えば、各ブロックの動きベクトルの平均値や中央値を代表値としてもよい。なお、算出する代表値の数は、任意であり、2つ以上であってもよい。   Further, the V0 motion vector compression unit 121-0 may calculate the representative value by a predetermined calculation using each motion vector, for example. The method for calculating the representative value is arbitrary. For example, the average value or median value of the motion vectors of each block may be used as the representative value. The number of representative values to be calculated is arbitrary and may be two or more.

以上のように求められた1/16圧縮後V0動きベクトル(動きベクトルの代表値)は、V0動きベクトルメモリ122−0に供給され、記憶される。V0動きベクトルメモリ122−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部114−0に供給する。また、V0動きベクトルメモリ122−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部114−1に供給する。   The 1 / 16-compressed V0 motion vector (representative value of the motion vector) obtained as described above is supplied to and stored in the V0 motion vector memory 122-0. The V0 motion vector memory 122-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion prediction / compensation unit 114-0 as a motion vector of a temporally neighboring block. Also, the V0 motion vector memory 122-0 supplies the stored 1 / 16-compressed V0 motion vector as appropriate to the motion prediction / compensation unit 114-1 as a motion vector of a peripheral block between views. .

V1動きベクトル圧縮部121−1は、動き予測・補償部114−1から取得した、最高4x4精度の動きベクトル(圧縮前V1動きベクトルとも称する)を1/16圧縮し、その圧縮後の動きベクトル(1/16圧縮後V1動きベクトルとも称する)をV1動きベクトルメモリ122−1に供給し、記憶させる。V1動きベクトルメモリ122−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部114−1に供給する。また、V1動きベクトルメモリ122−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部114−2に供給する。   The V1 motion vector compressing unit 121-1 performs 1/16 compression on the motion vector with the maximum 4 × 4 accuracy (also referred to as a pre-compression V1 motion vector) acquired from the motion prediction / compensation unit 114-1, and the motion vector after the compression (Also referred to as 1 / 16-compressed V1 motion vector) is supplied to and stored in the V1 motion vector memory 122-1. The V1 motion vector memory 122-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion prediction / compensation unit 114-1 as a motion vector of a temporally neighboring block. Also, the V1 motion vector memory 122-1 supplies the stored 1 / 16-compressed V1 motion vector as appropriate to the motion prediction / compensation unit 114-2 as a motion vector of a peripheral block between views. .

V2動きベクトル圧縮部121−2は、動き予測・補償部114−2から取得した、最高4x4精度の動きベクトル(圧縮前V2動きベクトルとも称する)を1/16圧縮し、その圧縮後の動きベクトル(1/16圧縮後V2動きベクトルとも称する)をV2動きベクトルメモリ122−2に供給し、記憶させる。V2動きベクトルメモリ122−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部114−2に供給する。   The V2 motion vector compression unit 121-2 performs 1/16 compression on a motion vector (also referred to as a pre-compression V2 motion vector) with the maximum 4 × 4 accuracy acquired from the motion prediction / compensation unit 114-2, and the motion vector after the compression (Also referred to as 1 / 16-compressed V2 motion vector) is supplied to the V2 motion vector memory 122-2 and stored therein. The V2 motion vector memory 122-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion prediction / compensation unit 114-2 as a motion vector of a temporally neighboring block.

なお、V1動きベクトル圧縮部121−1およびV2動きベクトル圧縮部121−2による動きベクトルの圧縮方法は、V0動きベクトル圧縮部121−0の場合と同様であるので、その説明は省略する。   The motion vector compression method by the V1 motion vector compressing unit 121-1 and the V2 motion vector compressing unit 121-2 is the same as that in the case of the V0 motion vector compressing unit 121-0.

V0動きベクトル圧縮部121−0、V1動きベクトル圧縮部121−1、およびV2動きベクトル圧縮部121−2は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部121−0、V1動きベクトル圧縮部121−1、およびV2動きベクトル圧縮部121−2が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部121−0、V1動きベクトル圧縮部121−1、およびV2動きベクトル圧縮部121−2において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。   The V0 motion vector compressing unit 121-0, the V1 motion vector compressing unit 121-1, and the V2 motion vector compressing unit 121-2 perform the above motion vector compression for each predetermined unit. For example, the V0 motion vector compressing unit 121-0, the V1 motion vector compressing unit 121-1, and the V2 motion vector compressing unit 121-2 may perform the above motion vector compression for each LCU. . Note that this processing unit may or may not be unified in the V0 motion vector compression unit 121-0, the V1 motion vector compression unit 121-1, and the V2 motion vector compression unit 121-2. . Further, this processing unit may be variable in the sequence.

さらに、V0動きベクトル圧縮部121−0、V1動きベクトル圧縮部121−1、およびV2動きベクトル圧縮部121−2のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。   Further, the motion vector compression methods by the V0 motion vector compression unit 121-0, the V1 motion vector compression unit 121-1, and the V2 motion vector compression unit 121-2 may be the same or the same. Not necessarily.

以上のように、V0動きベクトル圧縮部121−0、V1動きベクトル圧縮部121−1、およびV2動きベクトル圧縮部121−2が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる(すなわち圧縮する)ことができる。これにより、V0動きベクトルメモリ122−0、V1動きベクトルメモリ122−1、およびV2動きベクトルメモリ122−2の容量を低減させることができる。   As described above, the V0 motion vector compressing unit 121-0, the V1 motion vector compressing unit 121-1, and the V2 motion vector compressing unit 121-2 reduce the number of motion vectors, thereby reducing the amount of motion vector information. (Ie, compress). Thereby, the capacity | capacitance of V0 motion vector memory 122-0, V1 motion vector memory 122-1, and V2 motion vector memory 122-2 can be reduced.

また、上述したように、動き予測・補償部114は、V0動きベクトルメモリ122−0、V1動きベクトルメモリ122−1、およびV2動きベクトルメモリ122−2に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像符号化装置100の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。   Further, as described above, the motion prediction / compensation unit 114 uses the motion vectors stored in the V0 motion vector memory 122-0, the V1 motion vector memory 122-1 and the V2 motion vector memory 122-2 for TMVP. Not only can it be referred to as a motion vector, it can also be referred to as a motion vector for IVMP. Thus, by sharing the TMVP motion vector and the IVMP motion vector, the storage capacity required for encoding can be reduced. In addition, an increase in load due to motion vector compression can be suppressed. Thereby, it is possible to realize a reduction in manufacturing and development costs, a reduction in size of the apparatus, a reduction in power consumption, and the like of the image encoding apparatus 100.

<符号化処理の流れ>
次に、以上のような画像符号化装置100により実行される処理の流れについて説明する。図9のフローチャートを参照して、画像符号化装置100による符号化処理の流れの例を説明する。
<Flow of encoding process>
Next, the flow of processing executed by the image encoding device 100 as described above will be described. An example of the flow of the encoding process performed by the image encoding device 100 will be described with reference to the flowchart of FIG.

符号化処理が開始されると、V0画像符号化装置100−0は、カレントピクチャについて、ステップS1001において、V0符号化処理を行う。ステップS1002において、V1画像符号化装置100−1は、カレントピクチャについて、V1符号化処理を行う。ステップS1003において、V2画像符号化装置100−2は、カレントピクチャについて、V2符号化処理を行う。   When the encoding process is started, the V0 image encoding device 100-0 performs the V0 encoding process on the current picture in step S1001. In step S1002, the V1 image encoding device 100-1 performs V1 encoding processing on the current picture. In step S1003, the V2 image encoding device 100-2 performs V2 encoding processing on the current picture.

ステップS1004において、画像符号化装置100は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップS1001に戻し、それ以降の処理を繰り返す。   In step S1004, the image coding apparatus 100 determines whether all the pictures have been processed. If it is determined that there is an unprocessed picture, the process returns to step S1001, and the subsequent processing is repeated.

各ピクチャについて、ステップS1001乃至ステップS1004の処理が繰り返され、ステップS1004において、全てのピクチャが処理されたと判定された場合、画像符号化装置100は、符号化処理を終了する。   For each picture, the processing from step S1001 to step S1004 is repeated, and if it is determined in step S1004 that all the pictures have been processed, the image coding apparatus 100 ends the coding processing.

<V0符号化処理の流れ>
次に、図10のフローチャートを参照して、図9のステップS1001において実行される、ビュー0の符号化を行うV0符号化処理の流れの例を説明する。
<V0 encoding process flow>
Next, an example of the flow of V0 encoding processing for encoding view 0, which is executed in step S1001 of FIG. 9, will be described with reference to the flowchart of FIG.

ステップS1101においてA/D変換部101−0は、入力された画像をA/D変換する。ステップS1102において、画面並べ替えバッファ102−0は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップS1103において、画面内予測部113−0は、イントラ予測モードのイントラ予測処理を行う。   In step S1101, the A / D conversion unit 101-0 performs A / D conversion on the input image. In step S1102, the screen rearrangement buffer 102-0 stores the A / D-converted image, and rearranges the picture from the display order to the encoding order. In step S1103, the intra prediction unit 113-0 performs intra prediction processing in the intra prediction mode.

ステップS1104において、動き予測・補償部114−0は、インター予測モードでの動き予測や動き補償を行うV0インター動き予測処理を行う。   In step S1104, the motion prediction / compensation unit 114-0 performs V0 inter motion prediction processing for performing motion prediction and motion compensation in the inter prediction mode.

ステップS1105において、予測画像選択部115−0は、画面内予測部113−0により生成された予測画像と、動き予測・補償部114−0により生成された予測画像のいずれか一方を選択する。   In step S1105, the predicted image selection unit 115-0 selects one of the predicted image generated by the in-screen prediction unit 113-0 and the predicted image generated by the motion prediction / compensation unit 114-0.

ステップS1106において、V0動きベクトル圧縮部121−0は、ステップS1104の処理により生成されたビュー0のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に圧縮する(1/16圧縮)。この1/16圧縮は、例えば、LCU(例えば16x16画素)毎に行われる。例えば、V0動きベクトル圧縮部121−0は、16x16画素の左上端のブロックのV0動きベクトルを、この16x16画素の代表値(すなわち16x16精度のV0動きベクトル)として選択する。   In step S1106, the V0 motion vector compressing unit 121-0 compresses the pre-compression V0 motion vector of the maximum 4x4 precision to 16x16 precision, which is the motion vector of the current picture of view 0 generated by the process of step S1104 ( 1/16 compression). This 1/16 compression is performed for each LCU (for example, 16 × 16 pixels), for example. For example, the V0 motion vector compression unit 121-0 selects the V0 motion vector of the upper left block of 16x16 pixels as a representative value of this 16x16 pixel (that is, a V0 motion vector with 16x16 accuracy).

ステップS1107において、V0動きベクトルメモリ122−0は、ステップS1106の処理により生成された1/16圧縮後V0動きベクトルを記憶する。   In step S1107, the V0 motion vector memory 122-0 stores the 1 / 16-compressed V0 motion vector generated by the process of step S1106.

ステップS1108において、演算部103−0は、ステップS1102の処理により並び替えられた画像から、ステップS1105の処理により選択された予測画像を減算する。この演算により得られる差分データ(ステップS1102の処理により並び替えられた画像と、ステップS1105の処理により選択された予測画像との差分画像のデータ)は、元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。   In step S1108, the arithmetic unit 103-0 subtracts the predicted image selected by the process of step S1105 from the image rearranged by the process of step S1102. Difference data obtained by this calculation (difference image data between the image rearranged by the process of step S1102 and the predicted image selected by the process of step S1105) has a reduced data amount compared to the original image data. Is done. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.

ステップS1109において、直交変換部104−0は、ステップS1108の処理により生成された差分データに対する直交変換処理を行う。   In step S1109, the orthogonal transform unit 104-0 performs orthogonal transform processing on the difference data generated by the processing in step S1108.

ステップS1110において、量子化部105−0は、レート制御部116−0により算出された量子化パラメータを用いて、ステップS1109の処理により得られた直交変換係数を量子化する。   In step S1110, the quantization unit 105-0 quantizes the orthogonal transform coefficient obtained by the process of step S1109 using the quantization parameter calculated by the rate control unit 116-0.

ステップS1111において、可逆符号化部106−0は、ステップS1110の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。   In step S1111, the lossless encoding unit 106-0 encodes the coefficient quantized by the process of step S1110. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the data corresponding to the difference image.

また、このとき、可逆符号化部106−0は、ステップS1105の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部106−0は、画面内予測部113−0から供給される最適イントラ予測モード情報、または、動き予測・補償部114−0から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。   At this time, the lossless encoding unit 106-0 encodes information on the prediction mode of the prediction image selected by the processing in step S1105, and adds the encoded information to the encoded data obtained by encoding the difference image. In other words, the lossless encoding unit 106-0 is the information corresponding to the optimal intra prediction mode information supplied from the intra prediction unit 113-0 or the optimal inter prediction mode supplied from the motion prediction / compensation unit 114-0. Are also encoded and added to the encoded data.

ステップS1112において蓄積バッファ107−0は、ステップS1111の処理により得られた符号化データを蓄積する。蓄積バッファ107−0に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。   In step S1112, the accumulation buffer 107-0 accumulates the encoded data obtained by the process in step S1111. The encoded data stored in the storage buffer 107-0 is appropriately read and transmitted to the decoding side via a transmission path or a recording medium.

ステップS1110の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップS1113において、逆量子化部108−0は、ステップS1110の処理により生成された量子化された直交変換係数(量子化係数とも称する)を量子化部105−0の特性に対応する特性で逆量子化する。ステップS1114において、逆直交変換部109−0は、ステップS1113の処理により得られた直交変換係数を、直交変換部104−0の特性に対応する特性で逆直交変換する。これにより差分画像が復元される。   The difference information quantized by the processing in step S1110 is locally decoded as follows. That is, in step S1113, the inverse quantization unit 108-0 sets the quantized orthogonal transform coefficient (also referred to as a quantization coefficient) generated by the process in step S1110 to a characteristic corresponding to the characteristic of the quantization unit 105-0. Inverse quantization with. In step S1114, the inverse orthogonal transform unit 109-0 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by the process of step S1113 with characteristics corresponding to the characteristics of the orthogonal transform unit 104-0. Thereby, the difference image is restored.

ステップS1115において、演算部110−0は、ステップS1105において選択された予測画像を、ステップS1114において復元された差分画像に加算し、局部的に復号された復号画像(再構成画像)を生成する。   In step S1115, the arithmetic unit 110-0 adds the predicted image selected in step S1105 to the difference image restored in step S1114, and generates a locally decoded decoded image (reconstructed image).

V0画像符号化装置100−0は、処理対象であるカレントLCU内の各ブロックについて、ステップS1103乃至ステップS1115の各処理を行う。ステップS1116において、V0画像符号化装置100−0は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップS1103に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー0の画像の各LCUについて、ステップS1103乃至ステップS1115の各処理が実行され、ステップS1116において、全てのLCUが処理されたと判定された場合、処理は、ステップS1117に進む。   The V0 image encoding device 100-0 performs the processes from step S1103 to step S1115 for each block in the current LCU to be processed. In step S1116, the V0 image encoding device 100-0 determines whether all LCUs have been processed. If it is determined that there is an unprocessed LCU, the process returns to step S1103 and the subsequent processes are repeated. For each LCU of the view 0 image of the current picture, the processes in steps S1103 to S1115 are executed. If it is determined in step S1116 that all the LCUs have been processed, the process proceeds to step S1117.

ステップS1117において、ループフィルタ111−0は、ステップS1115の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行い、復号画像を生成する。   In step S1117, the loop filter 111-0 appropriately performs loop filter processing including deblocking filter processing and adaptive loop filter processing on the reconstructed image obtained by the processing in step S1115, and generates a decoded image. .

ステップS1118において、デコードピクチャバッファ112−0は、ステップS1117の処理により生成された復号画像を記憶する。   In step S1118, the decoded picture buffer 112-0 stores the decoded image generated by the process of step S1117.

ステップS1119においてレート制御部116−0は、ステップS1118の処理により蓄積バッファ107−0に蓄積された符号化データの符号量(発生符号量)に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部105−0の量子化動作のレートを制御する。また、レート制御部116−0は、量子化パラメータに関する情報を、量子化部105−0に供給する。   In step S1119, the rate control unit 116-0 prevents the overflow or underflow from occurring based on the code amount (generated code amount) of the encoded data accumulated in the accumulation buffer 107-0 by the process in step S1118. Controls the rate of the quantization operation of the quantization unit 105-0. Further, the rate control unit 116-0 supplies information on the quantization parameter to the quantization unit 105-0.

ステップS1119の処理が終了すると、V0符号化処理が終了し、処理は図9に戻る。   When the process of step S1119 ends, the V0 encoding process ends, and the process returns to FIG.

<V0インター動き予測処理の流れ>
次に、図10のステップS1104において実行されるV0インター動き予測処理の流れの例を、図11のフローチャートを参照して説明する。
<V0 inter motion prediction process flow>
Next, an example of the flow of the V0 inter motion prediction process executed in step S1104 of FIG. 10 will be described with reference to the flowchart of FIG.

V0インター動き予測処理が開始されると、動き予測・補償部114−0は、ステップS1131において、動き探索処理を行い、カレントブロックの動きベクトルを生成する。   When the V0 inter motion prediction process is started, the motion prediction / compensation unit 114-0 performs a motion search process in step S1131 to generate a motion vector of the current block.

ステップS1132において、動き予測・補償部114−0は、ピクチャ内の圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。空間予測動きベクトル候補とは、カレントブロックの空間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部114−0は、カレントブロックの空間的に周辺のブロックのV0動きベクトルを用いて空間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャ内の動きベクトルであるので、動き予測・補償部114−0により非圧縮(最高4x4精度)の状態で保持されている。したがって、動き予測・補償部114−0は、その圧縮前V0動きベクトルを用いて、空間予測動きベクトル候補を決定する。   In step S1132, the motion prediction / compensation unit 114-0 determines a spatial prediction motion vector candidate using the pre-compression V0 motion vector in the picture. The spatial motion vector predictor candidate is a motion vector predictor candidate generated from the motion vectors of spatially neighboring blocks of the current block. That is, the motion prediction / compensation unit 114-0 determines a spatial prediction motion vector candidate using the V0 motion vectors of spatially neighboring blocks of the current block. Since the V0 motion vector is a motion vector in the current picture, the motion prediction / compensation unit 114-0 holds the V0 motion vector in an uncompressed state (maximum 4 × 4 accuracy). Therefore, the motion prediction / compensation unit 114-0 determines a spatial prediction motion vector candidate using the pre-compression V0 motion vector.

ステップS1133において、動き予測・補償部114−0は、他のピクチャの1/16圧縮後V0動きベクトルを用いて、時間予測動きベクトル候補を決定する。時間予測動きベクトル候補とは、カレントブロックの時間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部114−0は、カレントブロックの時間的に周辺のピクチャのコロケーテッドブロックのV0動きベクトルを用いて時間予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャとは同一ビューの異なるピクチャ内の動きベクトルであるので、圧縮された(16x16精度)の状態でV0動きベクトルメモリ122−0に保持されている。したがって、動き予測・補償部114−0は、V0動きベクトルメモリ122−0から、その1/16圧縮後V0動きベクトルを読み出し、それを用いて時間予測動きベクトル候補を決定する。   In step S1133, the motion prediction / compensation unit 114-0 determines a temporal prediction motion vector candidate using the 1 / 16-compressed V0 motion vector of another picture. A temporal motion vector predictor candidate is a motion vector predictor candidate generated from motion vectors of temporally neighboring blocks of the current block. That is, the motion prediction / compensation unit 114-0 determines a temporal prediction motion vector candidate using the V0 motion vector of the collocated block of the temporally neighboring picture of the current block. Since this V0 motion vector is a motion vector in a different picture of the same view as the current picture, it is held in the V0 motion vector memory 122-0 in a compressed (16 × 16 precision) state. Therefore, the motion prediction / compensation unit 114-0 reads the 1 / 16-compressed V0 motion vector from the V0 motion vector memory 122-0, and determines a temporal prediction motion vector candidate using it.

ビュー0は、最初に処理されるビューであるので、ビュー間の相関性を利用した予測動きベクトル候補の生成は行われない。   Since the view 0 is a view that is processed first, the prediction motion vector candidate is not generated using the correlation between the views.

ステップS1134において、動き予測・補償部114−0は、ステップS1132およびステップS1133において生成された各候補について、コスト関数値を算出する。   In step S1134, the motion prediction / compensation unit 114-0 calculates a cost function value for each candidate generated in step S1132 and step S1133.

ステップS1135において、動き予測・補償部114−0は、ステップS1134において算出された各コスト関数値に基づいて、最適な予測モードを判定する。このとき、動き予測・補償部114−0は、予測動きベクトル(のモード)も決定する。   In step S1135, the motion prediction / compensation unit 114-0 determines an optimal prediction mode based on each cost function value calculated in step S1134. At this time, the motion prediction / compensation unit 114-0 also determines a prediction motion vector (mode).

ステップS1136において、動き予測・補償部114−0は、ステップS1135において判定された最適なモードで動き補償を行い、予測画像を生成する。また、動き予測・補償部114−0は、最適なインター予測モード、差分動きベクトル、予測動きベクトルのモード等を含むインター予測情報を生成する。   In step S1136, the motion prediction / compensation unit 114-0 performs motion compensation in the optimal mode determined in step S1135, and generates a predicted image. In addition, the motion prediction / compensation unit 114-0 generates inter prediction information including an optimal inter prediction mode, a difference motion vector, a prediction motion vector mode, and the like.

ステップS1137において、動き予測・補償部114−0は、最適モードの動きベクトルを圧縮前V0動きベクトルとしてバッファに記憶する。ステップS1137の処理が終了すると、V0インター動き予測処理が終了し、処理は、図10に戻る。   In step S1137, the motion prediction / compensation unit 114-0 stores the motion vector in the optimum mode in the buffer as the pre-compression V0 motion vector. When the process of step S1137 ends, the V0 inter motion prediction process ends, and the process returns to FIG.

<V1符号化処理の流れ>
次に、図12のフローチャートを参照して、図9のステップS1002において実行される、ビュー1の符号化を行うV1符号化処理の流れの例を説明する。
<V1 encoding process flow>
Next, an example of the flow of V1 encoding processing for encoding view 1 executed in step S1002 of FIG. 9 will be described with reference to the flowchart of FIG.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、インター動き予測処理にある。したがって、図12に示されるように、V1符号化処理は、V1画像符号化装置100−1によって、ビュー0に対する符号化処理(図10のV0符号化処理)の場合と基本的に同様に実行される。つまり、図12のステップS1201乃至ステップS1219の各処理は、図10のステップS1101乃至ステップS1119の各処理と基本的に同様に実行される。したがって、図12の説明は、図10の説明におけるV0画像符号化装置100−0の各部をV1画像符号化装置100−1の各部に置き換え、図10においてビュー0に対する処理との説明を、ビュー1に対する処理に置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the inter motion prediction process. Therefore, as shown in FIG. 12, the V1 encoding process is basically executed by the V1 image encoding apparatus 100-1 in the same manner as the encoding process for the view 0 (V0 encoding process in FIG. 10). Is done. That is, the processes in steps S1201 to S1219 in FIG. 12 are executed basically in the same manner as the processes in steps S1101 to S1119 in FIG. Therefore, in the description of FIG. 12, each part of the V0 image encoding device 100-0 in the description of FIG. 10 is replaced with each part of the V1 image encoding device 100-1, and the description of the processing for the view 0 in FIG. Since it is only necessary to replace it with the process for 1, the description thereof is omitted.

<V1インター動き予測処理の流れ>
次に、図12のステップS1204において実行されるV1インター動き予測処理の流れの例を、図13のフローチャートを参照して説明する。
<V1 inter motion prediction process flow>
Next, an example of the flow of V1 inter motion prediction processing executed in step S1204 of FIG. 12 will be described with reference to the flowchart of FIG.

V1インター動き予測処理が開始されると、ステップS1231乃至ステップS1233の各処理は、図11のステップS1131乃至ステップS1133の各処理と基本的に同様に実行される。ただし、V1インター動き予測処理は、動き予測・補償部114−1が実行する。また、図13の各処理は、ビュー1に対して行われるので、ステップS1232においては、非圧縮のビュー1の動きベクトルである圧縮前V1動きベクトルが用いられる。また、ステップS1233においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。   When the V1 inter motion prediction process is started, the processes in steps S1231 to S1233 are executed basically in the same manner as the processes in steps S1131 to S1133 in FIG. However, the V1 inter motion prediction process is executed by the motion prediction / compensation unit 114-1. Further, since each process of FIG. 13 is performed on the view 1, a pre-compression V1 motion vector that is a motion vector of the uncompressed view 1 is used in step S1232. In step S1233, 1 / 16-compressed 1 / 16-compressed V1 motion vectors are used.

ビュー1に対するインター動き予測処理においては、空間予測による候補と時間予測による候補の生成に加えて、ビュー間の相関性を利用した予測動きベクトル候補(IVMPによる候補)の生成も行われる。   In the inter motion prediction process for the view 1, in addition to generating a candidate based on spatial prediction and a candidate based on temporal prediction, a predicted motion vector candidate (candidate based on IVMP) using correlation between views is also generated.

つまり、ステップS1234において、動き予測・補償部114−1は、1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。IVMP予測動きベクトル候補とは、カレントブロックのビュー間的に周辺のブロックの動きベクトルから生成される予測動きベクトルの候補である。つまり、動き予測・補償部114−1は、カレントブロックと同一ピクチャの異なるビューの画像のコロケーテッドブロックのV0動きベクトルを用いてIVMP予測動きベクトル候補を決定する。このV0動きベクトルは、カレントピクチャと同一のピクチャの異なるビューの動きベクトルであるので、圧縮された(16x16精度)の状態でV0動きベクトルメモリ122−0に保持されている。したがって、動き予測・補償部114−1は、V0動きベクトルメモリ122−0から、その1/16圧縮後V0動きベクトルを読み出し、それを用いてビュー間予測動きベクトル候補を決定する。   That is, in step S1234, the motion prediction / compensation unit 114-1 determines an IVMP prediction motion vector candidate using the 1 / 16-compressed V0 motion vector. An IVMP motion vector predictor candidate is a motion vector predictor candidate generated from motion vectors of neighboring blocks between views of the current block. That is, the motion prediction / compensation unit 114-1 determines an IVMP prediction motion vector candidate using the V0 motion vector of the collocated block of the image of a different view of the same picture as the current block. Since this V0 motion vector is a motion vector of a different view of the same picture as the current picture, it is held in the V0 motion vector memory 122-0 in a compressed state (16 × 16 precision). Therefore, the motion prediction / compensation unit 114-1 reads the 1 / 16-compressed V0 motion vector from the V0 motion vector memory 122-0, and determines an inter-view prediction motion vector candidate using the 1 / 16-compressed V0 motion vector.

ステップS1235乃至ステップS1238の各処理は、図11のステップS1134乃至ステップS1137の各処理と同様に実行される。ステップS1238の処理が終了すると、V1インター動き予測処理が終了し、処理は、図12に戻る。   Each process of step S1235 thru | or step S1238 is performed similarly to each process of step S1134 thru | or step S1137 of FIG. When the process of step S1238 ends, the V1 inter motion prediction process ends, and the process returns to FIG.

<V2符号化処理の流れ>
次に、図14のフローチャートを参照して、図9のステップS1003において実行される、ビュー2の符号化を行うV2符号化処理の流れの例を説明する。
<V2 encoding process flow>
Next, an example of the flow of V2 encoding processing for encoding view 2 executed in step S1003 of FIG. 9 will be described with reference to the flowchart of FIG.

ビュー2に対する処理は、ビュー1に対する処理と同様に実行される。したがって、図14に示されるように、V2符号化処理は、V2画像符号化装置100−2によって、ビュー1に対する符号化処理(図12のV1符号化処理)の場合と基本的に同様に実行される。つまり、図14のステップS1301乃至ステップS1319の各処理は、図12のステップS1201乃至ステップS1219の各処理と基本的に同様に実行される。したがって、図14の説明は、図12の説明におけるV1画像符号化装置100−1の各部をV2画像符号化装置100−2の各部に置き換え、図12においてビュー1に対する処理との説明を、ビュー2に対する処理に置き換えるだけでよいので、その説明は省略する。   The process for view 2 is executed in the same manner as the process for view 1. Therefore, as shown in FIG. 14, the V2 encoding process is basically executed by the V2 image encoding device 100-2 in the same manner as the encoding process for the view 1 (V1 encoding process in FIG. 12). Is done. That is, the processes in steps S1301 to S1319 in FIG. 14 are executed basically in the same manner as the processes in steps S1201 to S1219 in FIG. Therefore, in the description of FIG. 14, each part of the V1 image encoding device 100-1 in the description of FIG. 12 is replaced with each part of the V2 image encoding device 100-2. Since it is only necessary to replace the process with 2, description thereof is omitted.

<V2インター動き予測処理の流れ>
次に、図14のステップS1304において実行されるV2インター動き予測処理の流れの例を、図15のフローチャートを参照して説明する。
<V2 inter motion prediction process flow>
Next, an example of the flow of V2 inter motion prediction processing executed in step S1304 of FIG. 14 will be described with reference to the flowchart of FIG.

図15に示されるように、V2インター動き予測処理は、動き予測・補償部114−2によって、ビュー1に対するインター動き予測処理(図13のV1インター動き予測処理)の場合と基本的に同様に実行される。つまり、図15のステップS1331乃至ステップS1338の各処理は、図13のステップS1231乃至ステップS1238の各処理と基本的に同様に実行される。   As shown in FIG. 15, the V2 inter motion prediction process is basically the same as the case of the inter motion prediction process for the view 1 (V1 inter motion prediction process in FIG. 13) by the motion prediction / compensation unit 114-2. Executed. That is, the processes in steps S1331 to S1338 in FIG. 15 are executed basically in the same manner as the processes in steps S1231 to S1238 in FIG.

ただし、ステップS1332においては、非圧縮のビュー2の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップS1333においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップS1334においては、1/16圧縮された1/16圧縮後V1動きベクトルが用いられる。   However, in step S1332, an uncompressed V2 motion vector that is a motion vector of uncompressed view 2 is used. In step S1333, the 1 / 16-compressed 1 / 16-compressed V2 motion vector is used. Further, in step S1334, 1 / 16-compressed 1 / 16-compressed V1 motion vector is used.

ステップS1338の処理が終了すると、V2インター動き予測処理が終了し、処理は、図14に戻る。   When the process of step S1338 ends, the V2 inter motion prediction process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像符号化装置100は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the image encoding device 100 can reduce the memory capacity required for the motion vector for IVMP, and increase the storage capacity required for encoding / decoding. Can be suppressed.

<画像復号装置>
次に、以上のように符号化された符号化データ(符号化ストリーム)の復号について説明する。図16は、V0画像復号装置の主な構成例を示すブロック図である。図17は、V1画像復号装置の主な構成例を示すブロック図である。図18は、V2画像復号装置の主な構成例を示すブロック図である。
<Image decoding device>
Next, decoding of the encoded data (encoded stream) encoded as described above will be described. FIG. 16 is a block diagram illustrating a main configuration example of the V0 image decoding device. FIG. 17 is a block diagram illustrating a main configuration example of the V1 image decoding device. FIG. 18 is a block diagram illustrating a main configuration example of a V2 image decoding device.

図示せぬ画像復号装置200は、画像符号化装置100により符号化された、図2に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置200は、多視点画像の各ビューの符号化データを復号するために、図16のV0画像復号装置200−0、図17のV1画像復号装置200−1、および図18のV2画像復号装置200−2を有する。V0画像復号装置200−0は、V0画像符号化装置100−0により符号化されたビュー0の画像の符号化データを復号する。V1画像復号装置200−1は、V1画像符号化装置100−1により符号化されたビュー1の画像の符号化データを復号する。V2画像復号装置200−2は、V2画像符号化装置100−2により符号化されたビュー2の画像の符号化データを復号する。   The image decoding apparatus 200 (not shown) corresponds to the encoding method of encoded data of a moving image composed of a plurality of layers such as the multi-view image shown in FIG. 2 encoded by the image encoding apparatus 100. Decrypt with the decryption method. In order to decode the encoded data of each view of the multi-viewpoint image, the image decoding apparatus 200 decodes the V0 image decoding apparatus 200-0 in FIG. 16, the V1 image decoding apparatus 200-1 in FIG. 17, and the V2 in FIG. An image decoding apparatus 200-2 is included. The V0 image decoding device 200-0 decodes the encoded data of the view 0 image encoded by the V0 image encoding device 100-0. The V1 image decoding device 200-1 decodes the encoded data of the view 1 image encoded by the V1 image encoding device 100-1. The V2 image decoding device 200-2 decodes the encoded data of the view 2 image encoded by the V2 image encoding device 100-2.

図16に示されるように、V0画像復号装置200−0は、蓄積バッファ201−0、可逆復号部202−0、逆量子化部203−0、逆直交変換部204−0、演算部205−0、ループフィルタ206−0、画面並べ替えバッファ207−0、およびD/A変換部208−0を有する。また、V0画像復号装置200−0は、デコードピクチャバッファ209−0、画面内予測部210−0、動き補償部211−0、および選択部212−0を有する。   As illustrated in FIG. 16, the V0 image decoding device 200-0 includes a storage buffer 201-0, a lossless decoding unit 202-0, an inverse quantization unit 203-0, an inverse orthogonal transform unit 204-0, and an arithmetic unit 205-. 0, a loop filter 206-0, a screen rearrangement buffer 207-0, and a D / A conversion unit 208-0. Further, the V0 image decoding device 200-0 includes a decoded picture buffer 209-0, an in-screen prediction unit 210-0, a motion compensation unit 211-0, and a selection unit 212-0.

また、図17に示されるように、V1画像復号装置200−1は、蓄積バッファ201−1、可逆復号部202−1、逆量子化部203−1、逆直交変換部204−1、演算部205−1、ループフィルタ206−1、画面並べ替えバッファ207−1、およびD/A変換部208−1を有する。また、V1画像復号装置200−1は、デコードピクチャバッファ209−1、画面内予測部210−1、動き補償部211−1、および選択部212−1を有する。   As illustrated in FIG. 17, the V1 image decoding device 200-1 includes a storage buffer 201-1, a lossless decoding unit 202-1, an inverse quantization unit 203-1, an inverse orthogonal transform unit 204-1, and a calculation unit. 205-1, a loop filter 206-1, a screen rearrangement buffer 207-1, and a D / A conversion unit 208-1. In addition, the V1 image decoding device 200-1 includes a decoded picture buffer 209-1, an intra prediction unit 210-1, a motion compensation unit 211-1, and a selection unit 212-1.

さらに、図18に示されるように、V2画像復号装置200−2は、蓄積バッファ201−2、可逆復号部202−2、逆量子化部203−2、逆直交変換部204−2、演算部205−2、ループフィルタ206−2、画面並べ替えバッファ207−2、およびD/A変換部208−2を有する。また、V2画像復号装置200−2は、デコードピクチャバッファ209−2、画面内予測部210−2、動き補償部211−2、および選択部212−2を有する。   18, the V2 image decoding device 200-2 includes a storage buffer 201-2, a lossless decoding unit 202-2, an inverse quantization unit 203-2, an inverse orthogonal transform unit 204-2, and a calculation unit. 205-2, a loop filter 206-2, a screen rearrangement buffer 207-2, and a D / A conversion unit 208-2. Also, the V2 image decoding device 200-2 includes a decoded picture buffer 209-2, an intra-screen prediction unit 210-2, a motion compensation unit 211-2, and a selection unit 212-2.

以下において、蓄積バッファ201−0乃至蓄積バッファ201−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ201と称する。また、可逆復号部202−0乃至可逆復号部202−2を互いに区別して説明する必要が無い場合、単に、可逆復号部202と称する。さらに、逆量子化部203−0乃至逆量子化部203−2を互いに区別して説明する必要が無い場合、単に、逆量子化部203と称する。また、逆直交変換部204−0乃至逆直交変換部204−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部204と称する。さらに、演算部205−0乃至演算部205−2を互いに区別して説明する必要が無い場合、単に、演算部205と称する。   In the following, the storage buffers 201-0 to 201-2 are simply referred to as the storage buffer 201 when there is no need to distinguish them from each other. In addition, the lossless decoding unit 202-0 to the lossless decoding unit 202-2 are simply referred to as the lossless decoding unit 202 when there is no need to distinguish between them. Furthermore, when there is no need to distinguish between the dequantization unit 203-0 to the dequantization unit 203-2, they are simply referred to as the dequantization unit 203. In addition, the inverse orthogonal transform unit 204-0 to the inverse orthogonal transform unit 204-2 are simply referred to as the inverse orthogonal transform unit 204 when there is no need to distinguish between them. Furthermore, when it is not necessary to distinguish between the calculation units 205-0 to 205-2, the calculation units 205-0 to 205-2 are simply referred to as the calculation unit 205.

また、ループフィルタ206−0乃至ループフィルタ206−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ206と称する。さらに、画面並べ替えバッファ207−0乃至画面並べ替えバッファ207−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ207と称する。また、D/A変換部208−0乃至D/A変換部208−2を互いに区別して説明する必要が無い場合、単に、D/A変換部208と称する。さらに、デコードピクチャバッファ209−0乃至デコードピクチャバッファ209−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ209と称する。   When there is no need to distinguish between the loop filters 206-0 to 206-2, the loop filters 206-0 to 206-2 are simply referred to as the loop filter 206. Further, when it is not necessary to distinguish between the screen rearrangement buffer 207-0 to the screen rearrangement buffer 207-2, they are simply referred to as the screen rearrangement buffer 207. In addition, when there is no need to distinguish between the D / A conversion unit 208-0 to the D / A conversion unit 208-2, they are simply referred to as the D / A conversion unit 208. Further, when there is no need to distinguish between the decoded picture buffer 209-0 to the decoded picture buffer 209-2, the decoded picture buffer 209-0 is simply referred to as a decoded picture buffer 209.

また、画面内予測部210−0乃至画面内予測部210−2を互いに区別して説明する必要が無い場合、単に、画面内予測部210と称する。さらに、動き補償部211−0乃至動き補償部211−2を互いに区別して説明する必要が無い場合、単に、動き補償部211と称する。また、選択部212−0乃至選択部212−2を互いに区別して説明する必要が無い場合、単に、選択部212と称する。   In addition, when it is not necessary to distinguish between the in-screen prediction unit 210-0 to the in-screen prediction unit 210-2 and describe them, they are simply referred to as the in-screen prediction unit 210. Furthermore, when there is no need to describe the motion compensation units 211-0 to 211-2 separately from each other, they are simply referred to as the motion compensation unit 211. Further, when it is not necessary to distinguish between the selection units 212-0 to 212-2, they are simply referred to as the selection unit 212.

V0画像復号装置200−0は、さらに、V0動きベクトル圧縮部221−0およびV0動きベクトルメモリ222−0を有する。V1画像復号装置200−1は、さらに、V1動きベクトル圧縮部221−1およびV1動きベクトルメモリ222−1を有する。V2画像復号装置200−2は、さらに、V2動きベクトル圧縮部221−2およびV2動きベクトルメモリ222−2を有する。   The V0 image decoding device 200-0 further includes a V0 motion vector compression unit 221-0 and a V0 motion vector memory 222-0. The V1 image decoding device 200-1 further includes a V1 motion vector compressing unit 221-1 and a V1 motion vector memory 222-1. The V2 image decoding device 200-2 further includes a V2 motion vector compressing unit 221-2 and a V2 motion vector memory 222-2.

蓄積バッファ201は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ201は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部202に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部202は、蓄積バッファ201から供給された、可逆符号化部106(図6乃至図8)により符号化された情報を、可逆符号化部106の符号化方式に対応する方式で復号する。可逆復号部202は、復号して得られた差分画像の量子化された係数データを、逆量子化部203に供給する。   The accumulation buffer 201 is also a receiving unit that receives transmitted encoded data. The accumulation buffer 201 receives and accumulates the transmitted encoded data, and supplies the encoded data to the lossless decoding unit 202 at a predetermined timing. Information necessary for decoding such as prediction mode information is added to the encoded data. The lossless decoding unit 202 decodes the information supplied from the accumulation buffer 201 and encoded by the lossless encoding unit 106 (FIGS. 6 to 8) using a method corresponding to the encoding method of the lossless encoding unit 106. . The lossless decoding unit 202 supplies the quantized coefficient data of the difference image obtained by decoding to the inverse quantization unit 203.

また、可逆復号部202は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、画面内予測部210および動き補償部211の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報が画面内予測部210に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部211に供給される。   Further, the lossless decoding unit 202 determines whether the intra prediction mode or the inter prediction mode is selected as the optimal prediction mode, and uses information regarding the optimal prediction mode as the intra prediction unit 210 and the motion compensation unit 211. The mode is determined to be selected. That is, for example, when the intra prediction mode is selected as the optimal prediction mode on the encoding side, information regarding the optimal prediction mode is supplied to the intra prediction unit 210. For example, when the inter prediction mode is selected as the optimal prediction mode on the encoding side, information regarding the optimal prediction mode is supplied to the motion compensation unit 211.

さらに、可逆復号部202は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部203に供給する。   Furthermore, the lossless decoding unit 202 supplies information necessary for inverse quantization, such as a quantization matrix and a quantization parameter, to the inverse quantization unit 203, for example.

逆量子化部203は、可逆復号部202により復号されて得られた量子化された係数データを、量子化部105の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部203は、逆量子化部108と同様の処理部である。つまり、逆量子化部203の説明は、逆量子化部108にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。   The inverse quantization unit 203 inversely quantizes the quantized coefficient data obtained by decoding by the lossless decoding unit 202 using a method corresponding to the quantization method of the quantization unit 105. The inverse quantization unit 203 is a processing unit similar to the inverse quantization unit 108. That is, the description of the inverse quantization unit 203 can be applied to the inverse quantization unit 108 as well. However, the data input / output destinations and the like need to be changed appropriately according to the device.

逆量子化部203は、得られた係数データを逆直交変換部204に供給する。   The inverse quantization unit 203 supplies the obtained coefficient data to the inverse orthogonal transform unit 204.

逆直交変換部204は、逆量子化部203から供給される直交変換係数を、直交変換部104の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部204は、逆直交変換部109と同様の処理部である。つまり、逆直交変換部204の説明は、逆直交変換部109にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。   The inverse orthogonal transform unit 204 performs inverse orthogonal transform on the orthogonal transform coefficient supplied from the inverse quantization unit 203 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 104. The inverse orthogonal transform unit 204 is a processing unit similar to the inverse orthogonal transform unit 109. That is, the description of the inverse orthogonal transform unit 204 can be applied mutatis mutandis to the inverse orthogonal transform unit 109. However, the data input / output destinations and the like need to be changed appropriately according to the device.

逆直交変換部204は、この逆直交変換処理により、画像符号化装置100において直交変換される前の残差データ(差分画像)に対応する復号残差データ(差分画像)を得る。逆直交変換されて得られた差分画像は、演算部205に供給される。また、演算部205には、選択部212を介して、画面内予測部210若しくは動き補償部211から予測画像が供給される。   The inverse orthogonal transform unit 204 obtains decoded residual data (difference image) corresponding to the residual data (difference image) before being orthogonally transformed in the image coding apparatus 100 by the inverse orthogonal transform process. The difference image obtained by the inverse orthogonal transform is supplied to the calculation unit 205. In addition, a prediction image is supplied from the in-screen prediction unit 210 or the motion compensation unit 211 to the calculation unit 205 via the selection unit 212.

演算部205は、その差分画像と予測画像とを加算し、演算部103により予測画像が減算される前の画像データに対応する再構成画像を得る。演算部205は、その再構成画像をループフィルタ206に供給する。   The computing unit 205 adds the difference image and the predicted image, and obtains a reconstructed image corresponding to the image data before the predicted image is subtracted by the computing unit 103. The arithmetic unit 205 supplies the reconstructed image to the loop filter 206.

ループフィルタ206は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ206は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ206は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。   The loop filter 206 appropriately performs loop filter processing including deblock filter processing and adaptive loop filter processing on the supplied reconstructed image to generate a decoded image. For example, the loop filter 206 removes block distortion by performing a deblocking filter process on the reconstructed image. In addition, for example, the loop filter 206 improves the image quality by performing loop filter processing using a Wiener filter on the deblock filter processing result (reconstructed image from which block distortion has been removed). I do.

なお、ループフィルタ206が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ206が、画像符号化装置100から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。   Note that the type of filter processing performed by the loop filter 206 is arbitrary, and filter processing other than that described above may be performed. Further, the loop filter 206 may perform filter processing using the filter coefficient supplied from the image encoding device 100.

ループフィルタ206は、フィルタ処理結果である復号画像を画面並べ替えバッファ207およびデコードピクチャバッファ209に供給する。また、ループフィルタ206は、演算部205の出力(再構成画像)を、フィルタ処理せずに、画面内予測部210に供給する。例えば、画面内予測部210は、この画像に含まれる画素の画素値を周辺画素の画素値として利用する。   The loop filter 206 supplies the decoded image as the filter processing result to the screen rearrangement buffer 207 and the decoded picture buffer 209. Further, the loop filter 206 supplies the output (reconstructed image) of the calculation unit 205 to the intra-screen prediction unit 210 without performing filter processing. For example, the intra-screen prediction unit 210 uses the pixel values of the pixels included in this image as the pixel values of the peripheral pixels.

画面並べ替えバッファ207は、供給された復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ102により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部208は、画面並べ替えバッファ207から供給された復号画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。   The screen rearrangement buffer 207 rearranges the supplied decoded images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 102 is rearranged in the original display order. The D / A conversion unit 208 D / A converts the decoded image supplied from the screen rearrangement buffer 207, and outputs and displays the decoded image on a display (not shown).

デコードピクチャバッファ209は、供給される復号画像(並びに、その画像のビューIDおよびPOC)を記憶する。また、デコードピクチャバッファ209は、所定のタイミングにおいて、若しくは、動き補償部211等の外部の要求に基づいて、記憶している復号画像(並びに、その画像のビューIDおよびPOC)を動き補償部211に供給する。   The decoded picture buffer 209 stores the supplied decoded image (and the view ID and POC of the image). Also, the decoded picture buffer 209 receives the stored decoded image (and the view ID and POC of the image) at a predetermined timing or based on an external request from the motion compensation unit 211 or the like. To supply.

画面内予測部210は、画面内予測部113と基本的に同様の処理を行う。ただし、画面内予測部210は、符号化の際にイントラ予測により予測画像が生成された領域に対してのみ、イントラ予測を行う。画面内予測部210は、予測処理単位の領域毎に、生成した予測画像を、選択部212を介して演算部205に供給する。   The intra prediction unit 210 performs basically the same processing as the intra prediction unit 113. However, the intra prediction unit 210 performs intra prediction only for a region where a prediction image is generated by intra prediction at the time of encoding. The intra-screen prediction unit 210 supplies the generated prediction image to the calculation unit 205 via the selection unit 212 for each region of the prediction processing unit.

動き補償部211は、可逆復号部202から供給されるインター予測情報に基づいて、符号化の際にインター予測が行われた領域に対して、符号化の際に採用されたインター予測モードで動き補償を行い、予測画像を生成する。動き補償部211は、予測処理単位の領域毎に、生成した予測画像を、選択部212を介して演算部205に供給する。   Based on the inter prediction information supplied from the lossless decoding unit 202, the motion compensation unit 211 performs motion in the inter prediction mode employed at the time of encoding on the region where the inter prediction is performed at the time of encoding. Compensation is performed to generate a predicted image. The motion compensation unit 211 supplies the generated predicted image to the calculation unit 205 via the selection unit 212 for each region of the prediction processing unit.

動き補償部211は、デコードピクチャバッファ209から取得したデコード画像を用いて、以上のような動き補償処理を行う。   The motion compensation unit 211 performs the motion compensation process as described above using the decoded image acquired from the decoded picture buffer 209.

最初に処理されるビューの場合、動き補償部211は、当該ビューの画像を記憶するデコードピクチャバッファ209から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部211−0は、デコードピクチャバッファ209−0から取得したデコード画像を用いて、動き補償処理を行う。   In the case of the view processed first, the motion compensation unit 211 performs motion compensation processing using the decoded image acquired from the decoded picture buffer 209 that stores the image of the view. For example, the motion compensation unit 211-0 performs a motion compensation process using the decoded image acquired from the decoded picture buffer 209-0.

2番目以降に処理されるビューの場合、動き補償部211は、当該ビューの画像を記憶するデコードピクチャバッファ209、および、1つ前に処理されたビューの画像を記憶するデコードピクチャバッファ209から取得したデコード画像を用いて、動き補償処理を行う。例えば、動き補償部211−1は、デコードピクチャバッファ209−0およびデコードピクチャバッファ209−1から取得したデコード画像を用いて、動き補償処理を行う。また、例えば、動き補償部211−2は、デコードピクチャバッファ209−1およびデコードピクチャバッファ209−2から取得したデコード画像を用いて、動き補償処理を行う。   In the case of a view processed after the second, the motion compensation unit 211 obtains from the decoded picture buffer 209 that stores the image of the view and the decoded picture buffer 209 that stores the image of the previous processed view. A motion compensation process is performed using the decoded image. For example, the motion compensation unit 211-1 performs motion compensation processing using the decoded images acquired from the decoded picture buffer 209-0 and the decoded picture buffer 209-1. For example, the motion compensation unit 211-2 performs motion compensation processing using the decoded images acquired from the decoded picture buffer 209-1 and the decoded picture buffer 209-2.

動き補償部211は、インター予測情報として符号化側から伝送された差分動きベクトルから、カレントブロックの動きベクトルを再構築する。その際、動き補償部211は、可逆復号部202から供給されるインター予測情報に基づいて、動き予測・補償部114と同様の方法(モード)でカレントブロックの動きベクトルの予測を行い、予測動きベクトルを生成する。動き補償部211は、差分動きベクトルに予測動きベクトルを加算することにより、カレントブロックの動きベクトルを再構築する。   The motion compensation unit 211 reconstructs the motion vector of the current block from the difference motion vector transmitted from the encoding side as inter prediction information. At this time, the motion compensation unit 211 performs prediction of the motion vector of the current block based on the inter prediction information supplied from the lossless decoding unit 202 by the same method (mode) as the motion prediction / compensation unit 114, and performs prediction motion. Generate a vector. The motion compensation unit 211 reconstructs the motion vector of the current block by adding the predicted motion vector to the difference motion vector.

つまり、動き補償部211は、カレントブロックの、空間的、時間的、若しくはビュー間的に周辺のブロックの動きベクトルを参照して、カレントブロックの予測動きベクトルを生成する。   That is, the motion compensation unit 211 generates a motion vector predictor for the current block by referring to motion vectors of neighboring blocks spatially, temporally, or between views of the current block.

空間的に周辺のブロックの動きベクトルは、動き補償部211により保持されている。また、時間的に周辺のブロックの動きベクトルを参照する場合、動き補償部211は、当該ビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部211−0は、V0動きベクトルメモリ222−0から時間的に周辺のブロックの動きベクトルを取得する。また、例えば、動き補償部211−1は、V1動きベクトルメモリ222−1から時間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部211−2は、V2動きベクトルメモリ222−2から時間的に周辺のブロックの動きベクトルを取得する。   The motion vectors of spatially neighboring blocks are held by the motion compensation unit 211. Also, when referring to motion vectors of neighboring blocks temporally, the motion compensation unit 211 acquires a motion vector from the motion vector memory corresponding to the view. For example, the motion compensation unit 211-0 acquires temporally neighboring block motion vectors from the V0 motion vector memory 222-0. In addition, for example, the motion compensation unit 211-1 acquires the motion vectors of neighboring blocks in terms of time from the V1 motion vector memory 222-1. Further, for example, the motion compensation unit 211-2 obtains motion vectors of temporally neighboring blocks from the V2 motion vector memory 222-2.

また、ビュー的に周辺のブロックの動きベクトルを参照する場合、動き補償部211は、過去に処理されたビューに対応する動きベクトルメモリから動きベクトルを取得する。例えば、動き補償部211−1は、V0動きベクトルメモリ222−0からビュー間的に周辺のブロックの動きベクトルを取得する。さらに、例えば、動き補償部211−2は、V1動きベクトルメモリ222−1からビュー間的に周辺のブロックの動きベクトルを取得する。   Also, when referring to motion vectors of neighboring blocks in view, the motion compensation unit 211 acquires a motion vector from a motion vector memory corresponding to a view processed in the past. For example, the motion compensation unit 211-1 acquires the motion vectors of the neighboring blocks between the views from the V0 motion vector memory 222-0. Further, for example, the motion compensation unit 211-2 acquires the motion vectors of the neighboring blocks between the views from the V1 motion vector memory 222-1.

これらの動きベクトルメモリから取得する動きベクトルは、1/16圧縮されている。つまり、他のレイヤの復号における動き補償において再構築されて圧縮された動きベクトルを用いて、カレントレイヤの復号における動き補償が行われる。つまり、復号に必要な記憶容量の増大を抑制することができる。   The motion vectors acquired from these motion vector memories are compressed by 1/16. That is, motion compensation in decoding of the current layer is performed using a motion vector reconstructed and compressed in motion compensation in decoding of other layers. That is, an increase in storage capacity necessary for decoding can be suppressed.

動き補償部211は、動き予測・補償処理において生成したカレントブロックの動きベクトル(最適モードの動きベクトル)を、V0動きベクトル圧縮部221−0に供給する。また、動き補償部211−1は、生成したカレントブロックの動きベクトルを、V1動きベクトル圧縮部221−1に供給する。さらに、動き補償部211−2は、生成したカレントブロックの動きベクトルを、V2動きベクトル圧縮部221−2に供給する。   The motion compensation unit 211 supplies the motion vector (the motion vector in the optimum mode) of the current block generated in the motion prediction / compensation process to the V0 motion vector compression unit 221-0. In addition, the motion compensation unit 211-1 supplies the generated motion vector of the current block to the V1 motion vector compression unit 221-1. Furthermore, the motion compensation unit 211-2 supplies the generated motion vector of the current block to the V2 motion vector compression unit 221-2.

選択部212は、画面内予測部210から供給される予測画像、若しくは、動き補償部211から供給される予測画像を演算部205に供給する。   The selection unit 212 supplies the prediction image supplied from the intra-screen prediction unit 210 or the prediction image supplied from the motion compensation unit 211 to the calculation unit 205.

V0動きベクトル圧縮部221−0は、動き補償部211−0から取得した、最高4x4精度の圧縮前V0動きベクトルを、16x16精度に1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ222−0に供給する。   The V0 motion vector compressing unit 221-0 compresses the pre-compression V0 motion vector of the maximum 4x4 accuracy obtained from the motion compensation unit 211-0 to 16x16 accuracy by 1/16, and the obtained 1 / 16-compressed V0 motion The vector is supplied to the V0 motion vector memory 222-0.

この動きベクトルの圧縮方法は、V0動きベクトル圧縮部121−0と同一の方法である限り、任意である。例えば、複数のブロックの動きベクトルの中からそれらの代表値とする動きベクトルを選択することにより、動きベクトルを圧縮する場合、この動きベクトルの選択方法は、V0動きベクトル圧縮部121−0と同一の方法である限り、任意である。さらに、選択する動きベクトルの数も、V0動きベクトル圧縮部121−0と同一の方法である限り、任意であり、2つ以上であってもよい。   This motion vector compression method is arbitrary as long as it is the same method as the V0 motion vector compression unit 121-0. For example, when a motion vector is compressed by selecting a motion vector as a representative value from among motion vectors of a plurality of blocks, this motion vector selection method is the same as that of the V0 motion vector compression unit 121-0. As long as it is the method of, it is arbitrary. Further, the number of motion vectors to be selected is arbitrary as long as the method is the same as that of the V0 motion vector compression unit 121-0, and may be two or more.

また、例えば、複数のブロックの動きベクトルを用いて所定の演算を行い、それらの代表値を算出することにより、動きベクトルを圧縮する場合、この代表値の算出方法は、V0動きベクトル圧縮部121−0と同一の方法である限り、任意である。   In addition, for example, when a motion vector is compressed by performing a predetermined calculation using motion vectors of a plurality of blocks and calculating a representative value thereof, this representative value calculation method is the V0 motion vector compression unit 121. As long as it is the same method as −0, it is optional.

以上のように求められた1/16圧縮後V0動きベクトル(動きベクトルの代表値)は、V0動きベクトルメモリ222−0に供給され、記憶される。V0動きベクトルメモリ222−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部211−0に供給する。また、V0動きベクトルメモリ222−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部211−1に供給する。   The 1 / 16-compressed V0 motion vector (representative value of the motion vector) obtained as described above is supplied to and stored in the V0 motion vector memory 222-0. The V0 motion vector memory 222-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion compensation unit 211-0 as a motion vector of a temporally neighboring block. In addition, the V0 motion vector memory 222-0 supplies the stored 1 / 16-compressed V0 motion vector as appropriate to the motion compensation unit 211-1 as a motion vector of a peripheral block between views.

V1動きベクトル圧縮部221−1は、動き補償部211−1から取得した圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ222−1に供給し、記憶させる。V1動きベクトルメモリ222−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部211−1に供給する。また、V1動きベクトルメモリ222−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部211−2に供給する。   The V1 motion vector compression unit 221-1 compresses the pre-compression V1 motion vector acquired from the motion compensation unit 211-1 by 1/16, and converts the obtained 1 / 16-compressed V1 motion vector into the V1 motion vector memory 222-1. To supply and memorize. The V1 motion vector memory 222-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion compensation unit 211-1 as a motion vector of a temporally neighboring block. Also, the V1 motion vector memory 222-1 supplies the stored 1 / 16-compressed V1 motion vector as appropriate to the motion compensation unit 211-2 as a motion vector of a peripheral block between views.

V2動きベクトル圧縮部221−2は、動き補償部211−2から取得した圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ222−2に供給し、記憶させる。V2動きベクトルメモリ222−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部211−2に供給する。   The V2 motion vector compression unit 221-2 compresses the pre-compression V2 motion vector acquired from the motion compensation unit 211-2 by 1/16, and converts the obtained 1 / 16-compressed V2 motion vector to the V2 motion vector memory 222-2. To supply and memorize. The V2 motion vector memory 222-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion compensation unit 211-2 as a motion vector of a temporally neighboring block.

なお、V1動きベクトル圧縮部221−1およびV2動きベクトル圧縮部221−2による動きベクトルの圧縮方法は、V0動きベクトル圧縮部221−0の場合と同様であるので、その説明は省略する。   The motion vector compression method by the V1 motion vector compressing unit 221-1 and the V2 motion vector compressing unit 221-2 is the same as that in the case of the V0 motion vector compressing unit 221-0, and a description thereof will be omitted.

V0動きベクトル圧縮部221−0、V1動きベクトル圧縮部221−1、およびV2動きベクトル圧縮部221−2は、所定の単位毎に、以上のような動きベクトルの圧縮を行う。例えば、V0動きベクトル圧縮部221−0、V1動きベクトル圧縮部221−1、およびV2動きベクトル圧縮部221−2が、LCU毎に、以上のような動きベクトルの圧縮を行うようにしてもよい。なお、この処理単位は、V0動きベクトル圧縮部221−0、V1動きベクトル圧縮部221−1、およびV2動きベクトル圧縮部221−2において統一されていてもよいし、統一されていなくてもよい。また、この処理単位がシーケンス中において可変としても良い。   The V0 motion vector compressing unit 221-0, the V1 motion vector compressing unit 221-1, and the V2 motion vector compressing unit 221-2 perform the above motion vector compression for each predetermined unit. For example, the V0 motion vector compressing unit 221-0, the V1 motion vector compressing unit 221-1, and the V2 motion vector compressing unit 221-2 may perform the above motion vector compression for each LCU. . This processing unit may or may not be unified in the V0 motion vector compression unit 221-0, the V1 motion vector compression unit 221-1, and the V2 motion vector compression unit 221-2. . Further, this processing unit may be variable in the sequence.

さらに、V0動きベクトル圧縮部221−0、V1動きベクトル圧縮部221−1、およびV2動きベクトル圧縮部221−2のそれぞれによる、動きベクトルの圧縮方法は、互いに同一であっても良いし、同一でなくてもよい。   Furthermore, the motion vector compression methods by the V0 motion vector compression unit 221-0, the V1 motion vector compression unit 221-1, and the V2 motion vector compression unit 221-2 may be the same or the same. Not necessarily.

以上のように、V0動きベクトル圧縮部221−0、V1動きベクトル圧縮部221−1、およびV2動きベクトル圧縮部221−2が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる(すなわち圧縮する)ことができる。これにより、V0動きベクトルメモリ222−0、V1動きベクトルメモリ222−1、およびV2動きベクトルメモリ222−2の容量を低減させることができる。   As described above, the V0 motion vector compressing unit 221-0, the V1 motion vector compressing unit 221-1, and the V2 motion vector compressing unit 221-2 reduce the number of motion vectors, thereby reducing the amount of motion vector information. (Ie, compress). As a result, the capacity of the V0 motion vector memory 222-0, the V1 motion vector memory 222-1, and the V2 motion vector memory 222-2 can be reduced.

また、上述したように、動き補償部211は、V0動きベクトルメモリ222−0、V1動きベクトルメモリ222−1、およびV2動きベクトルメモリ222−2に格納された動きベクトルを、TMVP用の動きベクトルとして参照するだけでなく、IVMP用の動きベクトルとして参照することができる。このようにTMVP用の動きベクトルとIVMP用の動きベクトルとを共通化することにより、符号化に必要な記憶容量を低減させることができる。また、動きベクトルの圧縮による負荷の増大を抑制することができる。これにより、画像復号装置200の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。   Further, as described above, the motion compensation unit 211 converts the motion vectors stored in the V0 motion vector memory 222-0, the V1 motion vector memory 222-1, and the V2 motion vector memory 222-2 into motion vectors for TMVP. Can be referred to as a motion vector for IVMP. Thus, by sharing the TMVP motion vector and the IVMP motion vector, the storage capacity required for encoding can be reduced. In addition, an increase in load due to motion vector compression can be suppressed. Thereby, it is possible to realize a reduction in manufacturing and development costs, downsizing of the apparatus, reduction in power consumption, and the like of the image decoding apparatus 200.

<復号処理の流れ>
次に、以上のような画像復号装置200により実行される処理の流れについて説明する。図19のフローチャートを参照して、画像復号装置200による復号処理の流れの例を説明する。
<Decoding process flow>
Next, the flow of processing executed by the image decoding device 200 as described above will be described. An example of the flow of decoding processing by the image decoding device 200 will be described with reference to the flowchart of FIG.

復号処理が開始されると、カレントピクチャについて、V0画像復号装置200−0は、ステップS1401においてV0復号処理を行い、V1画像復号装置200−1は、ステップS1402においてV1復号処理を行い、V2画像復号装置200−2は、ステップS1403においてV2復号処理を行う。   When the decoding process is started, for the current picture, the V0 image decoding device 200-0 performs the V0 decoding process in step S1401, and the V1 image decoding device 200-1 performs the V1 decoding process in step S1402, and the V2 image The decoding device 200-2 performs the V2 decoding process in step S1403.

ステップS1404において、画像復号装置200は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップS1401に戻し、それ以降の処理を繰り返す。   In step S1404, the image decoding apparatus 200 determines whether all the pictures have been processed. If it is determined that there is an unprocessed picture, the process returns to step S1401, and the subsequent processing is repeated.

各ピクチャについて、ステップS1401乃至ステップS1404の処理が繰り返され、ステップS1404において、全てのピクチャが処理されたと判定された場合、画像復号装置200は、復号処理を終了する。   For each picture, the processing from step S1401 to step S1404 is repeated, and if it is determined in step S1404 that all the pictures have been processed, the image decoding apparatus 200 ends the decoding processing.

<V0復号処理の流れ>
次に、図20のフローチャートを参照して、図19のステップS1401において実行される、ビュー0の符号化データを復号するV0復号処理の流れの例を説明する。
<V0 decoding process flow>
Next, an example of the flow of the V0 decoding process for decoding the encoded data of view 0, which is executed in step S1401 of FIG. 19, will be described with reference to the flowchart of FIG.

V0復号処理が開始されると、ステップS1501において、蓄積バッファ201−0は、伝送されてきたビュー0のビットストリームを蓄積する。ステップS1502において、可逆復号部202−0は、蓄積バッファ201−0から供給されるビュー0のビットストリーム(符号化された差分画像情報)を復号する。すなわち、可逆符号化部106−0により符号化されたビュー0の各ピクチャ(Iピクチャ、Pピクチャ、並びにBピクチャ)が復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。   When the V0 decoding process is started, in step S1501, the accumulation buffer 201-0 accumulates the transmitted bit stream of the view 0. In step S1502, the lossless decoding unit 202-0 decodes the view 0 bit stream (encoded difference image information) supplied from the accumulation buffer 201-0. That is, each picture (I picture, P picture, and B picture) of view 0 encoded by the lossless encoding unit 106-0 is decoded. At this time, various information other than the difference image information included in the bit stream such as header information is also decoded.

ステップS1503において、逆量子化部203−0は、ステップS1503の処理により得られた、量子化された係数を逆量子化する。   In step S1503, the inverse quantization unit 203-0 performs inverse quantization on the quantized coefficient obtained by the process in step S1503.

ステップS1504において、逆直交変換部204−0は、ステップS1503の処理により逆量子化された係数を必要に応じて逆直交変換する。   In step S1504, the inverse orthogonal transform unit 204-0 performs inverse orthogonal transform on the coefficient inversely quantized by the processing in step S1503 as necessary.

ステップS1505において、可逆復号部202−0は、符号化の際に適用された予測モードがインター予測か否かを判定する。インター予測であると判定された場合、処理は、ステップS1506に進む。   In step S1505, the lossless decoding unit 202-0 determines whether or not the prediction mode applied at the time of encoding is inter prediction. When it determines with it being inter prediction, a process progresses to step S1506.

ステップS1506において、動き補償部211−0は、V0動き補償処理を行い、予測画像を生成する。ステップS1506の処理が終了すると、処理はステップS1508に進む。また、ステップS1505において、イントラ予測であると判定された場合、処理は、ステップS1507に進む。ステップS1507において、画面内予測部210−0は、イントラ予測処理を行い、予測画像を生成する。ステップS1507の処理が終了すると、処理はステップS1508に進む。   In step S1506, the motion compensation unit 211-0 performs V0 motion compensation processing to generate a predicted image. When the process of step S1506 ends, the process proceeds to step S1508. Also, in the event that determination is made in step S1505 that intra prediction is made, the processing proceeds to step S1507. In step S1507, the intra prediction unit 210-0 performs an intra prediction process to generate a predicted image. When the process of step S1507 ends, the process proceeds to step S1508.

ステップS1508において、演算部205−0は、ステップS1504の処理において逆直交変換されて得られた差分画像情報に、ステップS1506の処理若しくはステップS1507の処理により生成された予測画像を加算する。これにより再構成画像が生成される。   In step S1508, the arithmetic unit 205-0 adds the predicted image generated by the process of step S1506 or the process of step S1507 to the difference image information obtained by the inverse orthogonal transform in the process of step S1504. Thereby, a reconstructed image is generated.

ステップS1509において、V0動きベクトル圧縮部221−0は、V0動きベクトル圧縮部121−0の場合と同様に、ステップS1506の処理により生成された圧縮前V0動きベクトルを1/16圧縮する。ステップS1510において、V0動きベクトルメモリ222−0は、V0動きベクトルメモリ122−0の場合と同様に、ステップS1509の処理により生成された1/16圧縮後V0動きベクトルを記憶する。   In step S1509, the V0 motion vector compression unit 221-0 performs 1/16 compression on the pre-compression V0 motion vector generated by the process in step S1506, as in the case of the V0 motion vector compression unit 121-0. In step S1510, the V0 motion vector memory 222-0 stores the 1 / 16-compressed V0 motion vector generated by the process of step S1509, as in the case of the V0 motion vector memory 122-0.

V0画像復号装置200−0は、処理対象であるカレントLCU内の各ブロックについて、ステップS1501乃至ステップS1510の各処理を行う。ステップS1511において、V0画像復号装置200−0は、全てのLCUを処理したか否かを判定する。未処理のLCUが存在すると判定した場合、処理は、ステップS1501に戻り、それ以降の処理を繰り返す。カレントピクチャのビュー0の画像の各LCUについて、ステップS1501乃至ステップS1510の各処理が実行され、ステップS1511において、全てのLCUが処理されたと判定された場合、処理は、ステップS1512に進む。   The V0 image decoding device 200-0 performs the processes in steps S1501 to S1510 for each block in the current LCU that is the processing target. In step S1511, the V0 image decoding device 200-0 determines whether all LCUs have been processed. If it is determined that there is an unprocessed LCU, the process returns to step S1501 and the subsequent processes are repeated. For each LCU of the view 0 image of the current picture, the processes in steps S1501 to S1510 are executed. If it is determined in step S1511 that all LCUs have been processed, the process proceeds to step S1512.

ステップS1512において、ループフィルタ206−0は、ステップS1508において得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。   In step S1512, the loop filter 206-0 appropriately performs loop filter processing including deblock filter processing and adaptive loop filter processing on the reconstructed image obtained in step S1508.

ステップS1513において、画面並べ替えバッファ207−0は、ステップS1512においてフィルタ処理されて生成された復号画像の並べ替えを行う。すなわち画面並べ替えバッファ102−0により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。   In step S1513, the screen rearrangement buffer 207-0 performs rearrangement of the decoded image generated by the filtering process in step S1512. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 102-0 is rearranged to the original display order.

ステップS1514において、D/A変換部208−0は、フレームの順序が並べ替えられたビュー0の復号画像をD/A変換する。この復号画像が図示せぬディスプレイに出力され、表示される。   In step S1514, the D / A conversion unit 208-0 performs D / A conversion on the decoded image of the view 0 in which the frame order is rearranged. The decoded image is output and displayed on a display (not shown).

ステップS1515において、デコードピクチャバッファ209−0は、ステップS1512においてフィルタ処理されて得られた復号画像を記憶する。この復号画像は、インター予測処理において参照画像として利用される。   In step S1515, the decoded picture buffer 209-0 stores the decoded image obtained by the filtering process in step S1512. This decoded image is used as a reference image in the inter prediction process.

ステップS1515の処理が終了すると、復号処理が終了し、処理は、図19に戻る。   When the process of step S1515 ends, the decoding process ends, and the process returns to FIG.

<V0動き補償処理の流れ>
次に、図20のステップS1506において実行されるV0動き補償処理の流れの例を、図21のフローチャートを参照して説明する。
<V0 motion compensation process flow>
Next, an example of the flow of V0 motion compensation processing executed in step S1506 in FIG. 20 will be described with reference to the flowchart in FIG.

V0動き補償処理が開始されると、ステップS1531において、動き補償部211−0は、差分動き情報(差分動きベクトル)を取得する。ステップS1532において、動き補償部211−0は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップS1533に進む。   When the V0 motion compensation process is started, in step S1531, the motion compensation unit 211-0 acquires differential motion information (differential motion vector). In step S1532, the motion compensation unit 211-0 determines whether the prediction motion vector mode is spatial prediction based on the inter prediction information. If it is determined that the prediction is spatial prediction, the process proceeds to step S1533.

ステップS1533において、動き補償部211−0は、ピクチャ内の圧縮前V0動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS1535に進む。   In step S1533, the motion compensation unit 211-0 generates a prediction motion vector using the pre-compression V0 motion vector in the picture (the motion vector of a spatially neighboring block with respect to the current block). When the predicted motion vector is generated, the process proceeds to step S1535.

また、ステップS1532において、空間予測でないと判定された場合、処理は、ステップS1534に進む。   Also, in the event that determination is made in step S1532 that it is not spatial prediction, the processing proceeds to step S1534.

ステップS1534において、動き補償部211−0は、他のピクチャ内の1/16圧縮後V0動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS1535に進む。   In step S1534, the motion compensation unit 211-0 generates a predicted motion vector using the 1 / 16-compressed V0 motion vector (motion vector of a spatially neighboring block with respect to the current block) in another picture. . When the predicted motion vector is generated, the process proceeds to step S1535.

ステップS1535において、動き補償部211−0は、ステップS1533若しくはステップS1534の処理により生成された予測動きベクトルを用いて、動きベクトルを再構築する。   In step S1535, the motion compensation unit 211-0 reconstructs a motion vector using the predicted motion vector generated by the process of step S1533 or step S1534.

ステップS1536において、動き補償部211−0は、動き補償を行い、予測画像を生成する。なお、動き補償部211−0は、再構築された動きベクトルを記憶する。ステップS1536の処理が終了すると、V0動き補償処理が終了し、処理は、図20に戻る。   In step S1536, the motion compensation unit 211-0 performs motion compensation and generates a predicted image. The motion compensation unit 211-0 stores the reconstructed motion vector. When the process of step S1536 ends, the V0 motion compensation process ends, and the process returns to FIG.

<V1復号処理の流れ>
次に、図22のフローチャートを参照して、図19のステップS1402において実行される、ビュー1の符号化データを復号するV1復号処理の流れの例を説明する。
<V1 decoding process flow>
Next, an example of the flow of V1 decoding processing for decoding the encoded data of view 1 executed in step S1402 of FIG. 19 will be described with reference to the flowchart of FIG.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、動き補償処理にある。したがって、図22に示されるように、V1復号処理は、V1画像復号装置200−1によって、ビュー0に対する復号処理(図20のV0復号処理)の場合と基本的に同様に実行される。つまり、図22のステップS1601乃至ステップS1615の各処理は、図20のステップS1501乃至ステップS1515の各処理と基本的に同様に実行される。したがって、図22の説明は、図20の説明におけるV0画像復号装置200−0の各部をV1画像復号装置200−1の各部に置き換え、図20におけるビュー0に対する処理との説明を、ビュー1に対する処理に置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the motion compensation process. Accordingly, as shown in FIG. 22, the V1 decoding process is executed by the V1 image decoding apparatus 200-1 basically in the same manner as the decoding process for the view 0 (V0 decoding process in FIG. 20). That is, the processes in steps S1601 to S1615 in FIG. 22 are executed basically in the same manner as the processes in steps S1501 to S1515 in FIG. Therefore, the description of FIG. 22 replaces the respective units of the V0 image decoding device 200-0 in the description of FIG. 20 with the respective units of the V1 image decoding device 200-1, and the description of the processing for the view 0 in FIG. Since it is only necessary to replace the process, the description thereof is omitted.

<V1動き補償処理の流れ>
次に、図22のステップS1606において実行されるV1動き補償処理の流れの例を、図23のフローチャートを参照して説明する。
<V1 motion compensation process flow>
Next, an example of the flow of V1 motion compensation processing executed in step S1606 in FIG. 22 will be described with reference to the flowchart in FIG.

V1動き補償処理が開始されると、ステップS1631において、動き補償部211−1は、差分動き情報(差分動きベクトル)を取得する。ステップS1632において、動き補償部211−1は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップS1633に進む。   When the V1 motion compensation process is started, in step S1631, the motion compensation unit 211-1 acquires differential motion information (differential motion vector). In step S1632, the motion compensation unit 211-1 determines whether the prediction motion vector mode is spatial prediction based on the inter prediction information. If it is determined that the prediction is spatial prediction, the process proceeds to step S1633.

ステップS1633において、動き補償部211−1は、ピクチャ内の圧縮前V1動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS1635に進む。   In step S1633, the motion compensation unit 211-1 generates a predicted motion vector using the pre-compression V1 motion vector in the picture (the motion vector of the spatially neighboring block with respect to the current block). When the predicted motion vector is generated, the process proceeds to step S1635.

また、ステップS1632において、空間予測でないと判定された場合、処理は、ステップS1634に進む。   If it is determined in step S1632 that the prediction is not spatial prediction, the process proceeds to step S1634.

ビュー1の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測(IVMP)である可能性もある。   Since the view 1 is not the view processed first, the mode of the motion vector predictor may be inter-view prediction (IVMP).

ステップS1634において、動き補償部211−1は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップS1635に進む。   In step S1634, the motion compensation unit 211-1 determines whether the prediction motion vector mode is temporal prediction based on the inter prediction information. If it is determined to be time prediction, the process proceeds to step S1635.

ステップS1635において、動き補償部211−1は、他のピクチャ内の1/16圧縮後V1動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS1637に進む。   In step S1635, the motion compensation unit 211-1 generates a predicted motion vector using the 1 / 16-compressed V1 motion vector (motion vector of a spatially neighboring block with respect to the current block) in another picture. . When the predicted motion vector is generated, the process proceeds to step S1637.

また、ステップS1634において、時間予測でないと判定された場合、処理は、ステップS1636に進む。   If it is determined in step S1634 that it is not time prediction, the process proceeds to step S1636.

ステップS1636において、動き補償部211−1は、1/16圧縮後V0動きベクトル(ビュー0の画像のコロケーテッドブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS1637に進む。   In step S1636, the motion compensation unit 211-1 generates a predicted motion vector using the 1 / 16-compressed V0 motion vector (the motion vector of the collocated block of the view 0 image). When the predicted motion vector is generated, the process proceeds to step S1637.

ステップS1637において、動き補償部211−1は、ステップS1633、ステップS1635、若しくはステップS1636において生成された予測動きベクトルを用いて、動きベクトルを再構築する。   In step S1637, the motion compensation unit 211-1 reconstructs a motion vector using the predicted motion vector generated in step S1633, step S1635, or step S1636.

ステップS1638において、動き補償部211−1は、動き補償を行い、予測画像を生成する。なお、動き補償部211−1は、ステップS1637において再構築された動きベクトルを記憶する。ステップS1638の処理が終了すると、V1動き補償処理が終了し、処理は、図22に戻る。   In step S1638, the motion compensation unit 211-1 performs motion compensation and generates a predicted image. The motion compensation unit 211-1 stores the motion vector reconstructed in step S1637. When the process of step S1638 ends, the V1 motion compensation process ends, and the process returns to FIG.

<V2復号処理の流れ>
次に、図24のフローチャートを参照して、図19のステップS1403において実行される、ビュー2の符号化データを復号するV2復号処理の流れの例を説明する。
<V2 decoding process flow>
Next, an example of the flow of V2 decoding processing for decoding the encoded data of view 2 executed in step S1403 of FIG. 19 will be described with reference to the flowchart of FIG.

ビュー1に対する処理と、ビュー2に対する処理の違いは、主に、動き補償処理にある。したがって、図24に示されるように、V2復号処理は、V2画像復号装置200−2によって、ビュー1に対する復号処理(図22のV1復号処理)の場合と基本的に同様に実行される。つまり、図24のステップS1701乃至ステップS1715の各処理は、図22のステップS1601乃至ステップS1615の各処理と基本的に同様に実行される。したがって、図24の説明は、図22の説明におけるV1画像復号装置200−1の各部をV2画像復号装置200−2の各部に置き換え、図22におけるビュー1に対する処理との説明を、ビュー2に対する処理に置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 1 and the process for the view 2 is mainly in the motion compensation process. Therefore, as shown in FIG. 24, the V2 decoding process is executed by the V2 image decoding apparatus 200-2 basically in the same manner as the decoding process for the view 1 (V1 decoding process in FIG. 22). That is, the processes in steps S1701 to S1715 in FIG. 24 are executed basically in the same manner as the processes in steps S1601 to S1615 in FIG. Therefore, in the description of FIG. 24, each unit of the V1 image decoding device 200-1 in the description of FIG. 22 is replaced with each unit of the V2 image decoding device 200-2, and the description of the processing for the view 1 in FIG. Since it is only necessary to replace the process, the description thereof is omitted.

<V2動き補償処理の流れ>
次に、図24のステップS1706において実行されるV2動き補償処理の流れの例を、図25のフローチャートを参照して説明する。
<V2 motion compensation process flow>
Next, an example of the flow of V2 motion compensation processing executed in step S1706 in FIG. 24 will be described with reference to the flowchart in FIG.

図25に示されるように、V2動き補償処理は、V1動き補償処理(図23)と基本的に同様に行われる。つまり、図25のステップS1731乃至ステップS1738の各処理は、それぞれ、図23のステップS1631乃至ステップS1638の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部211−1が実行するのに対して、V2動き補償処理は、動き補償部211−2が実行する。   As shown in FIG. 25, the V2 motion compensation process is performed basically in the same manner as the V1 motion compensation process (FIG. 23). That is, the processes in steps S1731 to S1738 in FIG. 25 are executed basically in the same manner as the processes in steps S1631 to S1638 in FIG. However, the V1 motion compensation process is executed by the motion compensation unit 211-1, whereas the V2 motion compensation process is executed by the motion compensation unit 211-2.

また、V2動き補償処理の処理対象は、ビュー1の画像ではなくビュー2の画像である。したがって、ステップS1733において、動き補償部211−2は、ピクチャ内の圧縮前V2動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   Further, the processing target of the V2 motion compensation process is not the view 1 image but the view 2 image. Accordingly, in step S1733, the motion compensation unit 211-2 generates a predicted motion vector using the pre-compression V2 motion vector in the picture (the motion vector of the spatially neighboring block with respect to the current block).

また、ステップS1735において、動き補償部211−2は、他のピクチャの1/16圧縮後V2動きベクトル(カレントブロックに対して時間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   In step S1735, the motion compensation unit 211-2 generates a predicted motion vector using the 1 / 16-compressed V2 motion vector of other pictures (motion vectors of temporally neighboring blocks with respect to the current block). To do.

さらに、ステップS1736において、動き補償部211−2は、1/16圧縮後V1動きベクトル(カレントブロックに対してビュー間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   Further, in step S1736, the motion compensation unit 211-2 generates a predicted motion vector using the 1 / 16-compressed V1 motion vector (the motion vector of a block adjacent to the current block between views).

なお、ステップS1731、ステップS1732、ステップS1734,ステップS1737、およびステップS1738の各処理は、図23のステップS1631、ステップS1632、ステップS1634,ステップS1637、およびステップS1638の各処理と同様に実行される。   Each process of step S1731, step S1732, step S1734, step S1737, and step S1738 is executed in the same manner as each process of step S1631, step S1632, step S1634, step S1637, and step S1638 of FIG.

ステップS1738の処理が終了すると、V2動き補償処理が終了し、処理は、図24に戻る。   When the process of step S1738 ends, the V2 motion compensation process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像復号装置200は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the image decoding apparatus 200 can reduce the memory capacity required for the motion vector for IVMP and suppress the increase in the storage capacity required for encoding / decoding. can do.

なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、圧縮後、16x16精度となるように説明したが、これは一例であり、動きベクトルの精度は任意である。また、動きベクトルの圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。   In the above description, it has been described that the accuracy of the motion vector is the maximum 4x4 accuracy in the uncompressed state and is 16x16 accuracy after compression. However, this is an example, and the accuracy of the motion vector is arbitrary. . The compression rate of the motion vector is also arbitrary. That is, the accuracy of the spatial prediction motion vector candidate, temporal prediction motion vector candidate, IVMP prediction motion vector candidate, and prediction motion vector of each view is also arbitrary. The accuracy and compression rate may or may not be unified for all views.

<2.第2の実施の形態>
<IVMP用の動きベクトルの圧縮>
以上のような動きベクトルの圧縮において、図26に示されるように、IVMP用の動きベクトルとTMVP用の動きベクトルとをそれぞれ圧縮する(例えば間引く)ようにしてもよい。つまり、IVMP用の動きベクトルの精度とTMVP用の動きベクトルの精度とが互いに異なるようにしてもよい。
<2. Second Embodiment>
<Motion vector compression for IVMP>
In the motion vector compression described above, as shown in FIG. 26, the motion vector for IVMP and the motion vector for TMVP may be respectively compressed (for example, thinned out). That is, the accuracy of the motion vector for IVMP and the accuracy of the motion vector for TMVP may be different from each other.

より具体的には、例えば、4x4精度の動きベクトルを、次のビューの処理(符号化・復号)が開始されるまでにIVMP用に8x8精度に圧縮し(例えば間引き)、次のピクチャの処理(符号化・復号)が開始されるまでにTMVP用に16x16精度に圧縮する(例えば間引く)。つまり、IVMPは8x8精度の動きベクトルを参照し、TMVPは、16x16精度の動きベクトルを参照する。このようにすることにより、従来の方法と比較して、必要なメモリの容量の増大を抑制することができる。また、第1の実施の形態において説明した方法と比較して、IVMPの動きベクトルの精度を高くすることができる。   More specifically, for example, a 4x4 precision motion vector is compressed to 8x8 precision (for example, thinning) for IVMP before the next view process (encoding / decoding) is started, and the next picture is processed. Compress to 16x16 accuracy for TMVP (for example, thinning out) before starting (encoding / decoding). That is, IVMP refers to an 8x8 precision motion vector, and TMVP refers to a 16x16 precision motion vector. By doing so, an increase in the required memory capacity can be suppressed as compared with the conventional method. Also, the accuracy of the motion vector of the IVMP can be increased as compared with the method described in the first embodiment.

例えば、図26に示される例のように、IVMP用の動きベクトルは、動きベクトル圧縮部((V0乃至V2) MV Compressor A)によって8x8精度に圧縮し(例えば間引き)、テンポラル動きベクトルメモリ((V0乃至V2) Temporal MV Memory)に記憶する。IVMPは、このテンポラル動きベクトルメモリの動きベクトルを参照するようにする。この圧縮(例えば間引き)により、テンポラル動きベクトルメモリの容量の増大を抑制することができる。   For example, as in the example shown in FIG. 26, the motion vector for IVMP is compressed to 8 × 8 precision (for example, thinning out) by the motion vector compression unit ((V0 to V2) MV Compressor A), and the temporal motion vector memory (( V0 to V2) Store in Temporal MV Memory). The IVMP refers to the motion vector in the temporal motion vector memory. By this compression (for example, thinning), an increase in the capacity of the temporal motion vector memory can be suppressed.

そして、TMVP用の動きベクトルは、テンポラル動きベクトルメモリの動きベクトルを、さらに、動きベクトル圧縮部((V0乃至V2) MV Compressor B)によって16x16精度に圧縮し(例えば間引き)、動きベクトルメモリ((V0乃至V2) MV Memory)に記憶する。TMVPは、この動きベクトルメモリの動きベクトルを参照するようにする。このようにすることにより、圧縮処理の圧縮率(例えば間引き処理の間引き率)をどちらも1/4とすることができる。つまり、同じ圧縮処理(例えば間引き処理)を2度行うだけでよく、実現が容易である。   The motion vector for TMVP is further compressed to 16x16 precision (for example, thinning out) by the motion vector compression unit ((V0 to V2) MV Compressor B), and the motion vector memory (( V0 to V2) Store in MV Memory). TMVP refers to the motion vector in this motion vector memory. By doing in this way, the compression rate of the compression process (for example, the thinning rate of the thinning process) can be reduced to 1/4. That is, the same compression process (for example, a thinning process) need only be performed twice, which is easy to implement.

以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、IVMP用に、8x8精度に圧縮(1/4圧縮)されるものとする。さらに、その1/4圧縮後の動きベクトル(8x8精度の動きベクトル)が、TMVP用に、16x16精度に圧縮(1/4圧縮)されるものとする。   Hereinafter, this compression method will be described more specifically. In the following, it is assumed that the accuracy of the motion vector is a maximum of 4 × 4 accuracy in an uncompressed state. In addition, it is assumed that the motion vector before compression is compressed (1/4 compression) to 8 × 8 accuracy for IVMP. Further, the motion vector after the 1/4 compression (motion vector with 8 × 8 accuracy) is compressed to 16 × 16 accuracy (1/4 compression) for TMVP.

<画像符号化装置>
図27は、V0画像符号化装置の主な構成例を示すブロック図である。図28は、V1画像符号化装置の主な構成例を示すブロック図である。図29は、V2画像符号化装置の主な構成例を示すブロック図である。
<Image encoding device>
FIG. 27 is a block diagram illustrating a main configuration example of the V0 image encoding device. FIG. 28 is a block diagram illustrating a main configuration example of the V1 image encoding device. FIG. 29 is a block diagram illustrating an exemplary main configuration of a V2 image encoding device.

図示せぬ画像符号化装置300は、図2に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置300は、多視点画像の各ビューを符号化するために、図27のV0画像符号化装置300−0、図28のV1画像符号化装置300−1、および図29のV2画像符号化装置300−3を有する。V0画像符号化装置300−0は、ビュー0の画像を符号化する。V1画像符号化装置300−1は、ビュー1の画像を符号化する。V2画像符号化装置300−2は、ビュー2の画像を符号化する。   The image encoding device 300 (not shown) encodes a moving image composed of a plurality of layers such as the multi-viewpoint image shown in FIG. In order to encode each view of the multi-viewpoint image, the image encoding device 300 encodes the V0 image encoding device 300-0 in FIG. 27, the V1 image encoding device 300-1 in FIG. 28, and the V2 in FIG. An image encoding device 300-3 is included. The V0 image encoding device 300-0 encodes the view 0 image. The V1 image encoding device 300-1 encodes the image of view 1. The V2 image encoding device 300-2 encodes the view 2 image.

図27に示されるように、V0画像符号化装置300−0は、A/D変換部301−0、画面並べ替えバッファ302−0、演算部303−0、直交変換部304−0、量子化部305−0、可逆符号化部306−0、蓄積バッファ307−0、逆量子化部308−0、および逆直交変換部309−0を有する。また、V0画像符号化装置300−0は、演算部310−0、ループフィルタ311−0、デコードピクチャバッファ312−0、画面内予測部313−0、動き予測・補償部314−0、予測画像選択部315−0、およびレート制御部316−0を有する。   As illustrated in FIG. 27, the V0 image encoding device 300-0 includes an A / D conversion unit 301-0, a screen rearrangement buffer 302-0, a calculation unit 303-0, an orthogonal transformation unit 304-0, a quantization, and the like. Unit 305-0, lossless encoding unit 306-0, accumulation buffer 307-0, inverse quantization unit 308-0, and inverse orthogonal transform unit 309-0. In addition, the V0 image encoding device 300-0 includes an arithmetic unit 310-0, a loop filter 311-0, a decoded picture buffer 312-0, an in-screen prediction unit 313-0, a motion prediction / compensation unit 314-0, a predicted image A selection unit 315-0 and a rate control unit 316-0 are included.

また、図28に示されるように、V1画像符号化装置300−1は、A/D変換部301−1、画面並べ替えバッファ302−1、演算部303−1、直交変換部304−1、量子化部305−1、可逆符号化部306−1、蓄積バッファ307−1、逆量子化部308−1、および逆直交変換部309−1を有する。また、V1画像符号化装置300−1は、演算部310−1、ループフィルタ311−1、デコードピクチャバッファ312−1、画面内予測部313−1、動き予測・補償部314−1、予測画像選択部315−1、およびレート制御部316−1を有する。   As shown in FIG. 28, the V1 image encoding device 300-1 includes an A / D conversion unit 301-1, a screen rearrangement buffer 302-1, a calculation unit 303-1, an orthogonal transformation unit 304-1, It has a quantization unit 305-1, a lossless encoding unit 306-1, an accumulation buffer 307-1, an inverse quantization unit 308-1, and an inverse orthogonal transform unit 309-1. In addition, the V1 image encoding device 300-1 includes a calculation unit 310-1, a loop filter 311-1, a decoded picture buffer 312-1, an in-screen prediction unit 313-1, a motion prediction / compensation unit 314-1, and a predicted image. It has selection part 315-1 and rate control part 316-1.

さらに、図29に示されるように、V2画像符号化装置300−2は、A/D変換部301−2、画面並べ替えバッファ302−2、演算部303−2、直交変換部304−2、量子化部305−2、可逆符号化部306−2、蓄積バッファ307−2、逆量子化部308−2、および逆直交変換部309−2を有する。また、V2画像符号化装置300−2は、演算部310−2、ループフィルタ311−2、デコードピクチャバッファ312−2、画面内予測部313−2、動き予測・補償部314−2、予測画像選択部315−2、およびレート制御部316−2を有する。   Furthermore, as illustrated in FIG. 29, the V2 image encoding device 300-2 includes an A / D conversion unit 301-2, a screen rearrangement buffer 302-2, a calculation unit 303-2, an orthogonal transformation unit 304-2, A quantization unit 305-2, a lossless encoding unit 306-2, an accumulation buffer 307-2, an inverse quantization unit 308-2, and an inverse orthogonal transform unit 309-2 are included. In addition, the V2 image encoding device 300-2 includes a calculation unit 310-2, a loop filter 311-2, a decoded picture buffer 312-2, an in-screen prediction unit 313-2, a motion prediction / compensation unit 314-2, and a predicted image. It has selection part 315-2 and rate control part 316-2.

以下において、A/D変換部301−0乃至A/D変換部301−2を互いに区別して説明する必要が無い場合、単に、A/D変換部301と称する。また、画面並べ替えバッファ302−0乃至画面並べ替えバッファ302−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ302と称する。さらに、演算部303−0乃至演算部303−2を互いに区別して説明する必要が無い場合、単に、演算部303と称する。また、直交変換部304−0乃至直交変換部304−2を互いに区別して説明する必要が無い場合、単に、直交変換部304と称する。さらに、量子化部305−0乃至量子化部305−2を互いに区別して説明する必要が無い場合、単に、量子化部305と称する。また、可逆符号化部306−0乃至可逆符号化部306−2を互いに区別して説明する必要が無い場合、単に、可逆符号化部306と称する。さらに、蓄積バッファ307−0乃至蓄積バッファ307−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ307と称する。また、逆量子化部308−0乃至逆量子化部308−2を互いに区別して説明する必要が無い場合、単に、逆量子化部308と称する。さらに、逆直交変換部309−0乃至逆直交変換部309−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部309と称する。   Hereinafter, the A / D converter 301-0 to the A / D converter 301-2 are simply referred to as the A / D converter 301 when it is not necessary to distinguish between them. Further, when it is not necessary to distinguish the screen rearrangement buffer 302-0 to the screen rearrangement buffer 302-2 from each other, they are simply referred to as the screen rearrangement buffer 302. Furthermore, when there is no need to distinguish between the calculation units 303-0 to 303-2, they are simply referred to as the calculation unit 303. In addition, when it is not necessary to distinguish the orthogonal transform units 304-0 to 304-2 from each other, they are simply referred to as an orthogonal transform unit 304. Further, when it is not necessary to distinguish between the quantizing unit 305-0 to the quantizing unit 305-2, they are simply referred to as the quantizing unit 305. Also, the lossless encoding unit 306-0 to the lossless encoding unit 306-2 are simply referred to as the lossless encoding unit 306 when it is not necessary to distinguish them from each other. Furthermore, when there is no need to distinguish between the storage buffers 307-0 to 307-2, the storage buffers 307-0 to 307-2 are simply referred to as storage buffers 307. In addition, when there is no need to describe the inverse quantization unit 308-0 to the inverse quantization unit 308-2 separately from each other, they are simply referred to as an inverse quantization unit 308. Furthermore, when there is no need to distinguish between the inverse orthogonal transform unit 309-0 to the inverse orthogonal transform unit 309-2, the inverse orthogonal transform unit 309 is simply referred to as an inverse orthogonal transform unit 309.

また、演算部310−0乃至演算部310−2を互いに区別して説明する必要が無い場合、単に、演算部310と称する。さらに、ループフィルタ311−0乃至ループフィルタ311−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ311と称する。また、デコードピクチャバッファ312−0乃至デコードピクチャバッファ312−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ312と称する。さらに、画面内予測部313−0乃至画面内予測部313−2を互いに区別して説明する必要が無い場合、単に、画面内予測部313と称する。また、動き予測・補償部314−0乃至動き予測・補償部314−2を互いに区別して説明する必要が無い場合、単に、動き予測・補償部314と称する。さらに、予測画像選択部315−0乃至予測画像選択部315−2を互いに区別して説明する必要が無い場合、単に、予測画像選択部315と称する。また、レート制御部316−0乃至レート制御部316−2を互いに区別して説明する必要が無い場合、単に、レート制御部316と称する。   In addition, when it is not necessary to distinguish between the calculation units 310-0 to 310-2, the calculation units 310-0 to 310-2 are simply referred to as the calculation unit 310. Furthermore, when it is not necessary to distinguish between the loop filters 311-0 to 311-2, the loop filters 311-0 to 311-2 are simply referred to as a loop filter 311. In addition, when there is no need to distinguish between the decoded picture buffer 312-0 to the decoded picture buffer 312-2, they are simply referred to as a decoded picture buffer 312. Further, when it is not necessary to distinguish between the intra-screen prediction unit 313-0 to the intra-screen prediction unit 313-2 and describe them, they are simply referred to as an intra-screen prediction unit 313. When there is no need to distinguish between the motion prediction / compensation unit 314-0 through the motion prediction / compensation unit 314-2, they are simply referred to as the motion prediction / compensation unit 314. Furthermore, when it is not necessary to distinguish and explain the predicted image selection unit 315-0 to the predicted image selection unit 315-2, they are simply referred to as a predicted image selection unit 315. Further, when it is not necessary to distinguish between the rate control units 316-0 to 316-2, the rate control units 316-0 to 316-2 are simply referred to as rate control units 316.

A/D変換部301は、A/D変換部101に対応し、基本的にA/D変換部101と同様の処理を行う。画面並べ替えバッファ302は、画面並べ替えバッファ102に対応し、基本的に画面並べ替えバッファ102と同様の処理を行う。演算部303は、演算部103に対応し、基本的に演算部103と同様の処理を行う。直交変換部304は、直交変換部104に対応し、基本的に直交変換部104と同様の処理を行う。量子化部305は、量子化部105に対応し、基本的に量子化部105と同様の処理を行う。可逆符号化部306は、可逆符号化部106に対応し、基本的に可逆符号化部106と同様の処理を行う。蓄積バッファ307は、蓄積バッファ107に対応し、基本的に蓄積バッファ107と同様の処理を行う。   The A / D conversion unit 301 corresponds to the A / D conversion unit 101 and basically performs the same processing as the A / D conversion unit 101. The screen rearrangement buffer 302 corresponds to the screen rearrangement buffer 102 and basically performs the same processing as the screen rearrangement buffer 102. The calculation unit 303 corresponds to the calculation unit 103 and basically performs the same processing as the calculation unit 103. The orthogonal transform unit 304 corresponds to the orthogonal transform unit 104 and basically performs the same processing as the orthogonal transform unit 104. The quantization unit 305 corresponds to the quantization unit 105 and basically performs the same processing as the quantization unit 105. The lossless encoding unit 306 corresponds to the lossless encoding unit 106 and basically performs the same processing as the lossless encoding unit 106. The accumulation buffer 307 corresponds to the accumulation buffer 107 and basically performs the same processing as the accumulation buffer 107.

逆量子化部308は、逆量子化部108に対応し、基本的に逆量子化部108と同様の処理を行う。逆直交変換部309は、逆直交変換部109に対応し、基本的に逆直交変換部109と同様の処理を行う。演算部310は、演算部110に対応し、基本的に演算部110と同様の処理を行う。ループフィルタ311は、ループフィルタ111に対応し、基本的にループフィルタ111と同様の処理を行う。デコードピクチャバッファ312は、デコードピクチャバッファ112に対応し、基本的にデコードピクチャバッファ112と同様の処理を行う。   The inverse quantization unit 308 corresponds to the inverse quantization unit 108 and basically performs the same processing as the inverse quantization unit 108. The inverse orthogonal transform unit 309 corresponds to the inverse orthogonal transform unit 109 and basically performs the same processing as the inverse orthogonal transform unit 109. The calculation unit 310 corresponds to the calculation unit 110 and basically performs the same processing as the calculation unit 110. The loop filter 311 corresponds to the loop filter 111 and basically performs the same processing as the loop filter 111. The decoded picture buffer 312 corresponds to the decoded picture buffer 112 and basically performs the same processing as the decoded picture buffer 112.

画面内予測部313は、画面内予測部113に対応し、基本的に画面内予測部113と同様の処理を行う。動き予測・補償部314は、動き予測・補償部114に対応し、基本的に動き予測・補償部114と同様の処理を行う。予測画像選択部315は、予測画像選択部115に対応し、基本的に予測画像選択部115と同様の処理を行う。   The intra-screen prediction unit 313 corresponds to the intra-screen prediction unit 113 and basically performs the same processing as the intra-screen prediction unit 113. The motion prediction / compensation unit 314 corresponds to the motion prediction / compensation unit 114 and basically performs the same processing as the motion prediction / compensation unit 114. The predicted image selection unit 315 corresponds to the predicted image selection unit 115 and basically performs the same processing as the predicted image selection unit 115.

V0画像符号化装置300−0は、さらに、V0動きベクトル圧縮部321−0、V0テンポラルメモリ322−0、V0動きベクトル圧縮部323−0、およびV0動きベクトルメモリ324−0を有する。   The V0 image encoding device 300-0 further includes a V0 motion vector compression unit 321-0, a V0 temporal memory 322-0, a V0 motion vector compression unit 323-0, and a V0 motion vector memory 324-0.

V1画像符号化装置300−1は、さらに、V1動きベクトル圧縮部321−1、V1テンポラルメモリ322−1、V1動きベクトル圧縮部323−1、およびV1動きベクトルメモリ324−1を有する。   The V1 image encoding device 300-1 further includes a V1 motion vector compression unit 321-1, a V1 temporal memory 322-1, a V1 motion vector compression unit 323-1, and a V1 motion vector memory 324-1.

V2画像符号化装置300−2は、さらに、V2動きベクトル圧縮部321−2、V2テンポラルメモリ322−2、V2動きベクトル圧縮部323−2、およびV2動きベクトルメモリ324−2を有する。   The V2 image encoding device 300-2 further includes a V2 motion vector compression unit 321-2, a V2 temporal memory 322-2, a V2 motion vector compression unit 323-2, and a V2 motion vector memory 324-2.

なお、動き予測・補償部314−0は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0動きベクトル圧縮部321−0に供給する。また、動き予測・補償部314−0は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ324−0に記憶されている1/16圧縮後V0動きベクトルを取得する。   The motion prediction / compensation unit 314-0 supplies the pre-compression V0 motion vector (maximum 4 × 4 accuracy) of the current block generated by motion prediction to the V0 motion vector compression unit 321-0. In addition, the motion prediction / compensation unit 314-0 acquires the 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 324-0 as the motion vector of the temporally neighboring block of the current block.

また、動き予測・補償部314−1は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル(最高4x4精度)を、V1動きベクトル圧縮部321−1に供給する。また、動き予測・補償部314−1は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ324−1に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き予測・補償部314−1は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ324−0に記憶されている1/16圧縮後V0動きベクトルを取得する。   In addition, the motion prediction / compensation unit 314-1 supplies the V1 motion vector before compression (maximum 4 × 4 accuracy) of the current block generated by motion prediction to the V1 motion vector compression unit 321-1. In addition, the motion prediction / compensation unit 314-1 acquires a 1 / 16-compressed V1 motion vector stored in the V1 motion vector memory 324-1 as a motion vector of a temporally neighboring block of the current block. Further, the motion prediction / compensation unit 314-1 acquires the 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 324-0 as the motion vector of the neighboring blocks between the views of the current block. .

さらに、動き予測・補償部314−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(最高4x4精度)を、V2動きベクトル圧縮部321−2に供給する。また、動き予測・補償部314−2は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ324−2に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き予測・補償部314−2は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ324−1に記憶されている1/16圧縮後V1動きベクトルを取得する。   Further, the motion prediction / compensation unit 314-2 supplies the pre-compression V2 motion vector (maximum 4 × 4 accuracy) of the current block generated by the motion prediction to the V2 motion vector compression unit 321-2. In addition, the motion prediction / compensation unit 314-2 acquires the 1 / 16-compressed V2 motion vector stored in the V2 motion vector memory 324-2 as the motion vector of the temporally neighboring block of the current block. Further, the motion prediction / compensation unit 314-2 acquires the 1 / 16-compressed V1 motion vector stored in the V1 motion vector memory 324-1 as the motion vector of the neighboring blocks between the views of the current block. .

V0動きベクトル圧縮部321−0は、動き予測・補償部314−0から供給された圧縮前V0動きベクトルを8x8精度に圧縮し(1/4圧縮とも称する)、その圧縮後の動きベクトル(1/4圧縮後V0動きベクトルとも称する)をV0テンポラルメモリ322−0に供給する。つまり、V0動きベクトル圧縮部321−0は、圧縮率が異なるだけで、V0動きベクトル圧縮部121−0と同様の圧縮を行う。したがって、この動きベクトルの圧縮方法は、V0動きベクトル圧縮部121−0の場合と同様に任意である。   The V0 motion vector compression unit 321-0 compresses the pre-compression V0 motion vector supplied from the motion prediction / compensation unit 314-0 to 8x8 precision (also referred to as 1/4 compression), and the compressed motion vector (1 / 4 compressed V0 motion vector) is supplied to the V0 temporal memory 322-0. That is, the V0 motion vector compressing unit 321-0 performs the same compression as the V0 motion vector compressing unit 121-0 only with a different compression rate. Therefore, the compression method of the motion vector is arbitrary as in the case of the V0 motion vector compression unit 121-0.

V0テンポラルメモリ322−0は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ322−0は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部314−1に供給する。また、V0テンポラルメモリ322−0は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部323−0に供給する。   The V0 temporal memory 322-0 stores the supplied 1 / 4-compressed V0 motion vector. The V0 temporal memory 322-0 appropriately supplies the stored quarter-compressed V0 motion vector to the motion prediction / compensation unit 314-1 as a motion vector of a peripheral block between views. Further, the V0 temporal memory 322-0 appropriately supplies the stored quarter-compressed V0 motion vector to the V0 motion vector compression unit 323-0.

V0動きベクトル圧縮部323−0は、V0テンポラルメモリ322−0から1/4圧縮後V0動きベクトルを読み出し、16x16精度に圧縮し(1/4圧縮とも称する)、その圧縮後の動きベクトル(すなわち、1/16圧縮後V0動きベクトル)をV0動きベクトルメモリ324−0に供給する。このV0動きベクトル圧縮部323−0は、V0動きベクトル圧縮部321−0と同様の処理を行う。つまり、2回に分けて、同じ1/4圧縮が行われる。したがって、V0動きベクトル圧縮部121−0が生成するのと同様の1/16圧縮後V0動きベクトルが生成される。   The V0 motion vector compression unit 323-0 reads the 1 / 4-compressed V0 motion vector from the V0 temporal memory 322-0, compresses it to 16x16 precision (also referred to as 1/4 compression), and performs the compressed motion vector (ie, , 1 / 16-compressed V0 motion vector) is supplied to the V0 motion vector memory 324-0. The V0 motion vector compression unit 323-0 performs the same processing as the V0 motion vector compression unit 321-0. That is, the same 1/4 compression is performed in two steps. Accordingly, a 1 / 16-compressed V0 motion vector similar to that generated by the V0 motion vector compression unit 121-0 is generated.

なお、V0動きベクトル圧縮部321−0とV0動きベクトル圧縮部323−0とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部323−0は、V0動きベクトル圧縮部121−0のように、動き予測・補償部314−0により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。   Of course, the V0 motion vector compression unit 321-0 and the V0 motion vector compression unit 323-0 may have different compression methods. Further, the V0 motion vector compression unit 323-0 compresses the V0 motion vector before compression generated by the motion prediction / compensation unit 314-0 by 1/16 like the V0 motion vector compression unit 121-0. Also good.

V0動きベクトルメモリ324−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ324−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部314−0に供給する。   The V0 motion vector memory 324-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 324-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion prediction / compensation unit 314-0 as temporal motion vectors of neighboring blocks.

V1動きベクトル圧縮部321−1は、V0動きベクトル圧縮部321−0と同様の処理部である。V1動きベクトル圧縮部321−1は、動き予測・補償部314−1から供給された圧縮前V1動きベクトルを1/4圧縮し、その圧縮後の動きベクトル(1/4圧縮後V1動きベクトルとも称する)をV1テンポラルメモリ322−1に供給する。   The V1 motion vector compressing unit 321-1 is a processing unit similar to the V0 motion vector compressing unit 321-0. The V1 motion vector compressing unit 321-1 compresses the pre-compression V1 motion vector supplied from the motion prediction / compensation unit 314-1 by 1/4, and the compressed motion vector (also referred to as a 1/4 compressed V1 motion vector). Is supplied to the V1 temporal memory 322-1.

V1テンポラルメモリ322−1は、V0テンポラルメモリ322−0と同様の処理部である。V1テンポラルメモリ322−1は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ322−1は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き予測・補償部314−2に供給する。また、V1テンポラルメモリ322−1は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部323−1に供給する。   The V1 temporal memory 322-1 is a processing unit similar to the V0 temporal memory 322-0. The V1 temporal memory 322-1 stores the supplied 1 / 4-compressed V1 motion vector. The V1 temporal memory 322-1 suitably supplies the stored 1 / 4-compressed V1 motion vector to the motion prediction / compensation unit 314-2 as a motion vector of a peripheral block between views. Also, the V1 temporal memory 322-1 appropriately supplies the stored 1 / 4-compressed V1 motion vector to the V1 motion vector compression unit 323-1.

V1動きベクトル圧縮部323−1は、V0動きベクトル圧縮部323−0と同様の処理部である。V1動きベクトル圧縮部323−1は、V1テンポラルメモリ322−1から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル(すなわち、1/16圧縮後V1動きベクトル)をV1動きベクトルメモリ324−1に供給する。   The V1 motion vector compressing unit 323-1 is a processing unit similar to the V0 motion vector compressing unit 323-0. The V1 motion vector compressing unit 323-1 reads the 1/4 compressed V1 motion vector from the V1 temporal memory 322-1 and compresses the compressed V1 motion vector (ie, the 1/16 compressed V1 motion). Vector) is supplied to the V1 motion vector memory 324-1.

V1動きベクトルメモリ324−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ324−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部314−1に供給する。   The V1 motion vector memory 324-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 324-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion prediction / compensation unit 314-1 as a motion vector of a temporally neighboring block.

V2動きベクトル圧縮部321−2は、V0動きベクトル圧縮部321−0と同様の処理部である。V2動きベクトル圧縮部321−2は、動き予測・補償部314−2から供給された圧縮前V2動きベクトルを1/4圧縮し、その圧縮後の動きベクトル(1/4圧縮後V2動きベクトルとも称する)をV2テンポラルメモリ322−2に供給する。   The V2 motion vector compressing unit 321-2 is a processing unit similar to the V0 motion vector compressing unit 321-0. The V2 motion vector compressing unit 321-2 compresses the pre-compressed V2 motion vector supplied from the motion prediction / compensation unit 314-2 by 1/4, and the compressed motion vector (also referred to as 1/4 compressed V2 motion vector). Is supplied to the V2 temporal memory 322-2.

V2テンポラルメモリ322−2は、V0テンポラルメモリ322−0と同様の処理部である。V2テンポラルメモリ322−2は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ322−2は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部323−2に供給する。   The V2 temporal memory 322-2 is a processing unit similar to the V0 temporal memory 322-0. The V2 temporal memory 322-2 stores the supplied 1 / 4-compressed V2 motion vector. The V2 temporal memory 322-2 appropriately supplies the stored quarter-compressed V2 motion vector to the V2 motion vector compression unit 323-2.

V2動きベクトル圧縮部323−2は、V0動きベクトル圧縮部323−0と同様の処理部である。V2動きベクトル圧縮部323−2は、V2テンポラルメモリ322−2から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、その圧縮後の動きベクトル(すなわち、1/16圧縮後V2動きベクトル)をV2動きベクトルメモリ324−2に供給する。   The V2 motion vector compressing unit 323-2 is a processing unit similar to the V0 motion vector compressing unit 323-0. The V2 motion vector compressing unit 323-2 reads the 1/4 compressed V2 motion vector from the V2 temporal memory 322-2, compresses the compressed V2 motion vector, and performs the compressed motion vector (that is, 1/16 compressed V2 motion). Vector) to the V2 motion vector memory 324-2.

V2動きベクトルメモリ324−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ324−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部314−2に供給する。   The V2 motion vector memory 324-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 324-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion prediction / compensation unit 314-2 as a motion vector of a temporally neighboring block.

なお、V2画像符号化装置300−2は、最後に処理されるビュー2の画像を符号化するので、動き予測・補償部314−2において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部321−2乃至V2動きベクトルメモリ324−2の代わりに、V2画像符号化装置100−2のように、V2動きベクトル圧縮部121−2およびV2動きベクトルメモリ122−2を適用するようにしてもよい。   Note that since the V2 image encoding device 300-2 encodes the image of view 2 to be processed last, the motion vector obtained by the motion prediction / compensation unit 314-2 is not used in other views. Therefore, instead of the V2 motion vector compressing unit 321-2 to V2 motion vector memory 324-2, like the V2 image encoding device 100-2, the V2 motion vector compressing unit 121-2 and the V2 motion vector memory 122-2 are used. May be applied.

以上のように、V0動きベクトル圧縮部321−0、V1動きベクトル圧縮部321−1、およびV2動きベクトル圧縮部321−2が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる(すなわち圧縮する)ことができる。これにより、V0テンポラルメモリ322−0、V1テンポラルメモリ322−1、およびV2テンポラルメモリ322−2の容量を低減させることができる。   As described above, the V0 motion vector compressing unit 321-0, the V1 motion vector compressing unit 321-1, and the V2 motion vector compressing unit 321-2 reduce the amount of motion vectors by reducing the number of motion vectors. (Ie, compress). As a result, the capacities of the V0 temporal memory 322-0, the V1 temporal memory 322-1, and the V2 temporal memory 322-2 can be reduced.

また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。   At that time, by suppressing the compression ratio so that the accuracy of the motion vector for IVMP is higher than the accuracy of the motion vector for TMVP, the accuracy of the motion vector for IVMP is the same as the accuracy of the motion vector for TMVP. The prediction accuracy of IVMP can be improved as compared with the case where they are equivalent.

これにより、画像符号化装置300の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。   As a result, it is possible to realize a reduction in manufacturing and development costs, downsizing of the apparatus, reduction in power consumption, and the like of the image encoding apparatus 300.

<V0符号化処理の流れ>
次に、以上のような画像符号化装置100により実行される処理の流れについて説明する。なお、画像符号化装置300による符号化処理の流れは、第1の実施の形態の場合(図9)と同様であるのでその説明を省略する。
<V0 encoding process flow>
Next, the flow of processing executed by the image encoding device 100 as described above will be described. Note that the flow of the encoding process by the image encoding device 300 is the same as that in the case of the first embodiment (FIG. 9), and the description thereof is omitted.

次に、図30のフローチャートを参照して、図9のステップS1001において実行される、ビュー0の符号化を行うV0符号化処理の流れの例を説明する。   Next, an example of the flow of V0 encoding processing for encoding view 0, which is executed in step S1001 of FIG. 9, will be described with reference to the flowchart of FIG.

ステップS2101乃至ステップS2105の各処理は、V0画像符号化装置300−0の各処理部により、図10のステップS1101乃至ステップS1105の各処理と同様に行われる。   Each process of step S2101 to step S2105 is performed by each processing unit of the V0 image encoding device 300-0 in the same manner as each process of step S1101 to step S1105 in FIG.

ステップS2106において、V0動きベクトル圧縮部321−0は、ステップS2104の処理により生成されたビュー0のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する(1/4圧縮)。この1/4圧縮は、例えば、LCU(例えば16x16画素)毎に行われる。   In step S2106, the V0 motion vector compressing unit 321-0 is the motion vector of the current picture of view 0 generated by the processing in step S2104, and compresses the pre-compression V0 motion vector with the maximum 4x4 precision to 8x8 precision ( 1/4 compression). For example, this 1/4 compression is performed for each LCU (for example, 16 × 16 pixels).

ステップS2107において、V0テンポラルメモリ322−0は、ステップS2106の処理により生成された1/4圧縮後V0動きベクトルを記憶する。   In step S2107, the V0 temporal memory 322-0 stores the 1 / 4-compressed V0 motion vector generated by the process of step S2106.

ステップS2108乃至ステップS2119の各処理は、V0画像符号化装置300−0の各処理部により、図10のステップS1108乃至ステップS1119の各処理と同様に行われる。   Each process of step S2108 thru | or step S2119 is performed by each process part of V0 image coding apparatus 300-0 similarly to each process of step S1108 thru | or step S1119 of FIG.

ステップS2120において、V0動きベクトル圧縮部323−0は、ステップS2107の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ322−0から読み出し、さらに1/4圧縮する。   In step S2120, the V0 motion vector compressing unit 323-0 reads out the 1 / 4-compressed V0 motion vector stored in step S2107 from the V0 temporal memory 322-0, and further compresses it by 1/4.

ステップS2121において、V0動きベクトルメモリ324−0は、ステップS2106の処理により生成された1/16圧縮後V0動きベクトルを記憶する。   In step S2121, the V0 motion vector memory 324-0 stores the 1 / 16-compressed V0 motion vector generated by the process of step S2106.

ステップS2121の処理が終了すると、V0符号化処理が終了し、処理は図9に戻る。なお、図30のステップS2104において実行されるV0インター動き予測処理は、動き予測・補償部314−0により、第1の実施の形態の場合(図11)と同様に行われるのでその説明を省略する。   When the process of step S2121 ends, the V0 encoding process ends, and the process returns to FIG. Note that the V0 inter motion prediction process executed in step S2104 in FIG. 30 is performed by the motion prediction / compensation unit 314-0 in the same manner as in the first embodiment (FIG. 11), and thus the description thereof is omitted. To do.

<V1符号化処理の流れ>
次に、図31のフローチャートを参照して、図9のステップS1002において実行される、ビュー1の符号化を行うV1符号化処理の流れの例を説明する。
<V1 encoding process flow>
Next, an example of the flow of V1 encoding processing for encoding view 1 executed in step S1002 of FIG. 9 will be described with reference to the flowchart of FIG.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、インター動き予測処理にある。したがって、図31に示されるように、ビュー1に対するV1符号化処理は、V1画像符号化装置300−1によって、ビュー0に対するV0符号化処理(図30)の場合と基本的に同様に実行される。つまり、図31のステップS2201乃至ステップS2221の各処理は、図30のステップS2101乃至ステップS2121の各処理と基本的に同様に実行される。したがって、図31の説明は、図30の説明におけるV0画像符号化装置300−0の各部をV1画像符号化装置300−1の各部に置き換え、図30においてビュー0に対する処理としてした説明を、ビュー1に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the inter motion prediction process. Therefore, as shown in FIG. 31, the V1 encoding process for the view 1 is executed basically in the same manner as the V0 encoding process for the view 0 (FIG. 30) by the V1 image encoding device 300-1. The In other words, the processes in steps S2201 to S2221 in FIG. 31 are executed basically in the same manner as the processes in steps S2101 to S2121 in FIG. Therefore, the description of FIG. 31 is obtained by replacing each part of the V0 image encoding device 300-0 in the description of FIG. 30 with each part of the V1 image encoding device 300-1 and processing as a process for the view 0 in FIG. Since it is only necessary to replace it with the processing for 1, the description thereof is omitted.

<V1インター動き予測処理の流れ>
次に、図31のステップS2204において実行されるV1インター動き予測処理の流れの例を、図32のフローチャートを参照して説明する。
<V1 inter motion prediction process flow>
Next, an example of the flow of V1 inter motion prediction processing executed in step S2204 in FIG. 31 will be described with reference to the flowchart in FIG.

ステップS2241乃至ステップS2243の各処理は、動き予測・補償部314−1により、図13のステップS1231乃至ステップS1233の各処理と同様に行われる。   The processes in steps S2241 to S2243 are performed by the motion prediction / compensation unit 314-1 in the same manner as the processes in steps S1231 to S1233 in FIG.

ステップS2244において、動き予測・補償部114−1は、V0テンポラルメモリ322−0から1/4圧縮後V0動きベクトルを取得し、それを用いてIVMP予測動きベクトル候補を決定する。   In step S2244, the motion prediction / compensation unit 114-1 acquires a 1 / 4-compressed V0 motion vector from the V0 temporal memory 322-0, and determines an IVMP prediction motion vector candidate using the acquired V0 motion vector.

ステップS2245乃至ステップS2248の各処理は、動き予測・補償部314−1により、図13のステップS1235乃至ステップS1238の各処理と同様に行われる。ステップS2248の処理が終了すると、V1インター動き予測処理が終了し、処理は、図31に戻る。   The processes in steps S2245 to S2248 are performed by the motion prediction / compensation unit 314-1 in the same manner as the processes in steps S1235 to S1238 in FIG. When the process of step S2248 ends, the V1 inter motion prediction process ends, and the process returns to FIG.

<V2符号化処理の流れ>
次に、図33のフローチャートを参照して、図9のステップS1003において実行される、ビュー2の符号化を行うV2符号化処理の流れの例を説明する。
<V2 encoding process flow>
Next, an example of the flow of V2 encoding processing for encoding view 2 executed in step S1003 of FIG. 9 will be described with reference to the flowchart of FIG.

ビュー2に対する処理は、ビュー1に対する処理と同様に実行される。したがって、図33に示されるように、V2符号化処理は、V2画像符号化装置300−2によって、ビュー1に対するV1符号化処理(図31)の場合と基本的に同様に実行される。つまり、図33のステップS2301乃至ステップS2321の各処理は、図31のステップS2201乃至ステップS2221の各処理と基本的に同様に実行される。したがって、図33の説明は、図31の説明におけるV1画像符号化装置300−1の各部をV2画像符号化装置300−2の各部に置き換え、図31においてビュー1に対する処理としてした説明を、ビュー2に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The process for view 2 is executed in the same manner as the process for view 1. Therefore, as shown in FIG. 33, the V2 encoding process is executed by the V2 image encoding device 300-2 basically in the same manner as the V1 encoding process (FIG. 31) for the view 1. That is, the processes in steps S2301 to S2321 in FIG. 33 are executed basically in the same manner as the processes in steps S2201 to S2221 in FIG. Therefore, in the description of FIG. 33, the description will be made by replacing each part of the V1 image encoding device 300-1 in the description of FIG. 31 with each part of the V2 image encoding device 300-2 and processing as the view 1 in FIG. Since it is only necessary to replace it with the processing for 2, the description thereof is omitted.

なお、ステップS2306において、圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルを、ステップS2307において記憶するようにし、ステップS2320およびステップS2321の処理を省略するようにしてもよい。このようにすることにより、圧縮処理の回数が低減されるので、圧縮による負荷の増大を抑制することができる。ただし、図33に示されるように、1/4圧縮を2回行うことにより、他のビューと同様に圧縮を行うことができ、制御が容易になる。   In step S2306, the V2 motion vector before compression is 1/16 compressed, and the obtained 1 / 16-compressed V2 motion vector is stored in step S2307, so that the processing in steps S2320 and S2321 is omitted. It may be. By doing so, the number of compression processes is reduced, so that an increase in load due to compression can be suppressed. However, as shown in FIG. 33, by performing 1/4 compression twice, compression can be performed in the same manner as other views, and control becomes easy.

<V2インター動き予測処理の流れ>
次に、図33のステップS2304において実行されるV2インター動き予測処理の流れの例を、図34のフローチャートを参照して説明する。
<V2 inter motion prediction process flow>
Next, an example of the flow of V2 inter motion prediction processing executed in step S2304 of FIG. 33 will be described with reference to the flowchart of FIG.

図34に示されるように、V2インター動き予測処理は、動き予測・補償部314−2によって、ビュー1に対するV1インター動き予測処理(図32)の場合と基本的に同様に実行される。つまり、図34のステップS2341乃至ステップS2348の各処理は、図32のステップS2241乃至ステップS2248の各処理と基本的に同様に実行される。   As shown in FIG. 34, the V2 inter motion prediction process is executed by the motion prediction / compensation unit 314-2 basically in the same manner as the V1 inter motion prediction process (FIG. 32) for the view 1. That is, the processes in steps S2341 to S2348 in FIG. 34 are executed basically in the same manner as the processes in steps S2241 to S2248 in FIG.

ただし、ステップS2342においては、非圧縮のビュー2の動きベクトルである圧縮前V2動きベクトルが用いられる。また、ステップS2343においては、1/16圧縮された1/16圧縮後V2動きベクトルが用いられる。さらに、ステップS2344においては、1/4圧縮された1/4圧縮後V1動きベクトルが用いられる。   However, in step S2342, an uncompressed V2 motion vector that is an uncompressed view 2 motion vector is used. In step S2343, 1 / 16-compressed 1 / 16-compressed V2 motion vector is used. Further, in step S2344, the 1 / 4-compressed V1 motion vector subjected to 1/4 compression is used.

ステップS2348の処理が終了すると、V2インター動き予測処理が終了し、処理は、図33に戻る。   When the process of step S2348 ends, the V2 inter motion prediction process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像符号化装置300は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the image coding apparatus 300 can reduce the memory capacity necessary for the motion vector for IVMP and increase the storage capacity necessary for coding / decoding. Can be suppressed.

<画像復号装置>
次に、以上のように符号化された符号化データ(符号化ストリーム)の復号について説明する。図35は、V0画像復号装置の主な構成例を示すブロック図である。図36は、V1画像復号装置の主な構成例を示すブロック図である。図37は、V2画像復号装置の主な構成例を示すブロック図である。
<Image decoding device>
Next, decoding of the encoded data (encoded stream) encoded as described above will be described. FIG. 35 is a block diagram illustrating a main configuration example of the V0 image decoding device. FIG. 36 is a block diagram illustrating a main configuration example of the V1 image decoding device. FIG. 37 is a block diagram illustrating a main configuration example of a V2 image decoding device.

図示せぬ画像復号装置400は、画像符号化装置300により符号化された、図2に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置400は、多視点画像の各ビューの符号化データを復号するために、図35のV0画像復号装置400−0、図36のV1画像復号装置400−1、および図37のV2画像復号装置400−2を有する。V0画像復号装置400−0は、V0画像符号化装置300−0により符号化されたビュー0の画像の符号化データを復号する。V1画像復号装置400−1は、V1画像符号化装置300−1により符号化されたビュー1の画像の符号化データを復号する。V2画像復号装置400−2は、V2画像符号化装置300−2により符号化されたビュー2の画像の符号化データを復号する。   The image decoding apparatus 400 (not shown) corresponds to the encoding method of encoded data of a moving image composed of a plurality of layers such as the multi-view image shown in FIG. Decrypt with decryption method. This image decoding apparatus 400 decodes the encoded data of each view of the multi-view image, V0 image decoding apparatus 400-0 in FIG. 35, V1 image decoding apparatus 400-1 in FIG. 36, and V2 in FIG. An image decoding device 400-2 is included. The V0 image decoding device 400-0 decodes the encoded data of the view 0 image encoded by the V0 image encoding device 300-0. The V1 image decoding device 400-1 decodes the encoded data of the view 1 image encoded by the V1 image encoding device 300-1. The V2 image decoding device 400-2 decodes the encoded data of the view 2 image encoded by the V2 image encoding device 300-2.

図35に示されるように、V0画像復号装置400−0は、蓄積バッファ401−0、可逆復号部402−0、逆量子化部403−0、逆直交変換部404−0、演算部405−0、ループフィルタ406−0、画面並べ替えバッファ407−0、およびD/A変換部408−0を有する。また、V0画像復号装置400−0は、デコードピクチャバッファ409−0、画面内予測部410−0、動き補償部411−0、および選択部412−0を有する。   As illustrated in FIG. 35, the V0 image decoding device 400-0 includes a storage buffer 401-0, a lossless decoding unit 402-0, an inverse quantization unit 403-0, an inverse orthogonal transform unit 404-0, and an arithmetic unit 405. 0, a loop filter 406-0, a screen rearrangement buffer 407-0, and a D / A conversion unit 408-0. Further, the V0 image decoding device 400-0 includes a decoded picture buffer 409-0, an intra-screen prediction unit 410-0, a motion compensation unit 411-0, and a selection unit 412-0.

また、図36に示されるように、V1画像復号装置400−1は、蓄積バッファ401−1、可逆復号部402−1、逆量子化部403−1、逆直交変換部404−1、演算部405−1、ループフィルタ406−1、画面並べ替えバッファ407−1、およびD/A変換部408−1を有する。また、V1画像復号装置400−1は、デコードピクチャバッファ409−1、画面内予測部410−1、動き補償部411−1、および選択部412−1を有する。   36, the V1 image decoding device 400-1 includes a storage buffer 401-1, a lossless decoding unit 402-1, an inverse quantization unit 403-1, an inverse orthogonal transform unit 404-1, an operation unit. 405-1, a loop filter 406-1, a screen rearrangement buffer 407-1, and a D / A conversion unit 408-1. In addition, the V1 image decoding device 400-1 includes a decoded picture buffer 409-1, an intra-screen prediction unit 410-1, a motion compensation unit 411-1, and a selection unit 412-1.

さらに、図37に示されるように、V2画像復号装置400−2は、蓄積バッファ401−2、可逆復号部402−2、逆量子化部403−2、逆直交変換部404−2、演算部405−2、ループフィルタ406−2、画面並べ替えバッファ407−2、およびD/A変換部408−2を有する。また、V2画像復号装置400−2は、デコードピクチャバッファ409−2、画面内予測部410−2、動き補償部411−2、および選択部412−2を有する。   37, the V2 image decoding device 400-2 includes a storage buffer 401-2, a lossless decoding unit 402-2, an inverse quantization unit 403-2, an inverse orthogonal transform unit 404-2, and a calculation unit. 405-2, a loop filter 406-2, a screen rearrangement buffer 407-2, and a D / A conversion unit 408-2. In addition, the V2 image decoding device 400-2 includes a decoded picture buffer 409-2, an intra-screen prediction unit 410-2, a motion compensation unit 411-2, and a selection unit 412-2.

以下において、蓄積バッファ401−0乃至蓄積バッファ401−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ401と称する。また、可逆復号部402−0乃至可逆復号部402−2を互いに区別して説明する必要が無い場合、単に、可逆復号部402と称する。さらに、逆量子化部403−0乃至逆量子化部403−2を互いに区別して説明する必要が無い場合、単に、逆量子化部403と称する。また、逆直交変換部404−0乃至逆直交変換部404−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部404と称する。さらに、演算部405−0乃至演算部405−2を互いに区別して説明する必要が無い場合、単に、演算部405と称する。   In the following description, the storage buffers 401-0 to 401-2 are simply referred to as the storage buffer 401 when there is no need to distinguish between them. In addition, the lossless decoding unit 402-0 to the lossless decoding unit 402-2 are simply referred to as the lossless decoding unit 402 when there is no need to distinguish between them. Furthermore, when there is no need to distinguish between the dequantization unit 403-0 to the dequantization unit 403-2, they are simply referred to as the dequantization unit 403. In addition, when there is no need to distinguish between the inverse orthogonal transform unit 404-0 to the inverse orthogonal transform unit 404-2, the inverse orthogonal transform unit 404 is simply referred to as an inverse orthogonal transform unit 404. Furthermore, when it is not necessary to distinguish between the calculation units 405-0 to 405-2, the calculation units 405-0 to 405-2 are simply referred to as calculation units 405.

また、ループフィルタ406−0乃至ループフィルタ406−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ406と称する。さらに、画面並べ替えバッファ407−0乃至画面並べ替えバッファ407−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ407と称する。また、D/A変換部408−0乃至D/A変換部408−2を互いに区別して説明する必要が無い場合、単に、D/A変換部408と称する。さらに、デコードピクチャバッファ409−0乃至デコードピクチャバッファ409−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ409と称する。   Further, when it is not necessary to distinguish the loop filters 406-0 to 406-2 from each other, they are simply referred to as a loop filter 406. Furthermore, when it is not necessary to distinguish the screen rearrangement buffer 407-0 to the screen rearrangement buffer 407-2 from each other, they are simply referred to as a screen rearrangement buffer 407. In addition, when it is not necessary to distinguish between the D / A conversion unit 408-0 to the D / A conversion unit 408-2, they are simply referred to as a D / A conversion unit 408. Furthermore, the decoded picture buffer 409-0 to the decoded picture buffer 409-2 are simply referred to as a decoded picture buffer 409 when it is not necessary to distinguish between them.

また、画面内予測部410−0乃至画面内予測部410−2を互いに区別して説明する必要が無い場合、単に、画面内予測部410と称する。さらに、動き補償部411−0乃至動き補償部411−2を互いに区別して説明する必要が無い場合、単に、動き補償部411と称する。また、選択部412−0乃至選択部412−2を互いに区別して説明する必要が無い場合、単に、選択部412と称する。   In addition, when it is not necessary to distinguish between the intra-screen prediction unit 410-0 to the intra-screen prediction unit 410-2 and describe them, they are simply referred to as an intra-screen prediction unit 410. Further, when it is not necessary to distinguish the motion compensation units 411-0 to 411-2 from each other, they are simply referred to as the motion compensation unit 411. In addition, when there is no need to distinguish between the selection units 412-0 to 412-2, the selection units 412-0 to 412-2 are simply referred to as selection units 412.

蓄積バッファ401は、蓄積バッファ201に対応し、基本的に蓄積バッファ201と同様の処理を行う。可逆復号部402は、可逆復号部202に対応し、基本的に可逆復号部202と同様の処理を行う。逆量子化部403は、逆量子化部203に対応し、基本的に逆量子化部203と同様の処理を行う。逆直交変換部404は、逆直交変換部204に対応し、基本的に逆直交変換部204と同様の処理を行う。演算部405は、演算部205に対応し、基本的に演算部205と同様の処理を行う。   The accumulation buffer 401 corresponds to the accumulation buffer 201 and basically performs the same processing as the accumulation buffer 201. The lossless decoding unit 402 corresponds to the lossless decoding unit 202 and basically performs the same processing as the lossless decoding unit 202. The inverse quantization unit 403 corresponds to the inverse quantization unit 203 and basically performs the same processing as the inverse quantization unit 203. The inverse orthogonal transform unit 404 corresponds to the inverse orthogonal transform unit 204 and basically performs the same processing as the inverse orthogonal transform unit 204. The calculation unit 405 corresponds to the calculation unit 205 and basically performs the same processing as the calculation unit 205.

ループフィルタ406は、ループフィルタ206に対応し、基本的にループフィルタ206と同様の処理を行う。画面並べ替えバッファ407は、画面並べ替えバッファ207に対応し、基本的に画面並べ替えバッファ207と同様の処理を行う。D/A変換部408は、D/A変換部208に対応し、基本的にD/A変換部208と同様の処理を行う。デコードピクチャバッファ409は、デコードピクチャバッファ209に対応し、基本的にデコードピクチャバッファ209と同様の処理を行う。   The loop filter 406 corresponds to the loop filter 206 and basically performs the same processing as the loop filter 206. The screen rearrangement buffer 407 corresponds to the screen rearrangement buffer 207, and basically performs the same processing as the screen rearrangement buffer 207. The D / A conversion unit 408 corresponds to the D / A conversion unit 208 and basically performs the same processing as the D / A conversion unit 208. The decoded picture buffer 409 corresponds to the decoded picture buffer 209 and basically performs the same processing as the decoded picture buffer 209.

画面内予測部410は、画面内予測部210に対応し、基本的に画面内予測部210と同様の処理を行う。動き補償部411は、動き補償部211に対応し、基本的に動き補償部211と同様の処理を行う。選択部412は、選択部212に対応し、基本的に選択部212と同様の処理を行う。   The intra-screen prediction unit 410 corresponds to the intra-screen prediction unit 210 and basically performs the same processing as the intra-screen prediction unit 210. The motion compensation unit 411 corresponds to the motion compensation unit 211 and basically performs the same processing as the motion compensation unit 211. The selection unit 412 corresponds to the selection unit 212 and basically performs the same processing as the selection unit 212.

V0画像復号装置400−0は、さらに、V0動きベクトル圧縮部421−0、V0テンポラルメモリ422−0、V0動きベクトル圧縮部423−0、およびV0動きベクトルメモリ424−0を有する。   The V0 image decoding device 400-0 further includes a V0 motion vector compression unit 421-0, a V0 temporal memory 422-0, a V0 motion vector compression unit 423-0, and a V0 motion vector memory 424-0.

V1画像復号装置400−1は、さらに、V1動きベクトル圧縮部421−1、V1テンポラルメモリ422−1、V1動きベクトル圧縮部423−1、およびV1動きベクトルメモリ424−1を有する。   The V1 image decoding device 400-1 further includes a V1 motion vector compression unit 421-1, a V1 temporal memory 422-1, a V1 motion vector compression unit 423-1, and a V1 motion vector memory 424-1.

V2画像復号装置400−2は、さらに、V2動きベクトル圧縮部421−2、V2テンポラルメモリ422−2、V2動きベクトル圧縮部423−2、およびV2動きベクトルメモリ424−2を有する。   The V2 image decoding device 400-2 further includes a V2 motion vector compression unit 421-2, a V2 temporal memory 422-2, a V2 motion vector compression unit 423-2, and a V2 motion vector memory 424-2.

なお、動き補償部411−0は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0動きベクトル圧縮部421−0に供給する。また、動き補償部411−0は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V0動きベクトルメモリ424−0に記憶されている1/16圧縮後V0動きベクトルを取得する。   The motion compensation unit 411-0 supplies the pre-compression V0 motion vector (up to 4x4 accuracy) of the current block generated by motion prediction to the V0 motion vector compression unit 421-0. In addition, the motion compensation unit 411-0 acquires the 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 424-0 as the motion vector of the temporally neighboring block of the current block.

また、動き補償部411−1は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル(4x4精度)を、V1動きベクトル圧縮部421−1に供給する。また、動き補償部411−1は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V1動きベクトルメモリ424−1に記憶されている1/16圧縮後V1動きベクトルを取得する。さらに、動き補償部411−1は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V0テンポラルメモリ422−0に記憶されている1/4圧縮後V0動きベクトルを取得する。   In addition, the motion compensation unit 411-1 supplies the pre-compression V1 motion vector (4 × 4 accuracy) of the current block generated by motion prediction to the V1 motion vector compression unit 421-1. In addition, the motion compensation unit 411-1 acquires the 1 / 16-compressed V1 motion vector stored in the V1 motion vector memory 424-1 as the motion vector of the temporally neighboring block of the current block. Furthermore, the motion compensation unit 411-1 acquires a 1 / 4-compressed V0 motion vector stored in the V0 temporal memory 422-0 as a motion vector of a neighboring block between views of the current block.

さらに、動き補償部411−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(4x4精度)を、V2動きベクトル圧縮部421−2に供給する。また、動き補償部411−2は、カレントブロックの時間的に周辺のブロックの動きベクトルとして、V2動きベクトルメモリ424−2に記憶されている1/16圧縮後V2動きベクトルを取得する。さらに、動き補償部411−2は、カレントブロックのビュー間的に周辺のブロックの動きベクトルとして、V1テンポラルメモリ422−1に記憶されている1/4圧縮後V1動きベクトルを取得する。   Further, the motion compensation unit 411-2 supplies the pre-compression V2 motion vector (4 × 4 accuracy) of the current block generated by the motion prediction to the V2 motion vector compression unit 421-2. In addition, the motion compensation unit 411-2 acquires the 1 / 16-compressed V2 motion vector stored in the V2 motion vector memory 424-2 as the motion vector of the temporally neighboring block of the current block. Further, the motion compensation unit 411-2 acquires a 1 / 4-compressed V1 motion vector stored in the V1 temporal memory 422-1 as a motion vector of a block adjacent to the current block between views.

V0動きベクトル圧縮部421−0は、動き補償部411−0から供給された圧縮前V0動きベクトルを1/4圧縮し、得られた1/4圧縮後V0動きベクトルをV0テンポラルメモリ422−0に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部321−0と同一の方法である限り、任意である。   The V0 motion vector compression unit 421-0 performs 1/4 compression on the pre-compression V0 motion vector supplied from the motion compensation unit 411-0, and uses the obtained 1/4 post-compression V0 motion vector as the V0 temporal memory 422-0. To supply. The motion vector compression method is arbitrary as long as it is the same method as the V0 motion vector compression unit 321-0.

V0テンポラルメモリ422−0は、供給された1/4圧縮後V0動きベクトルを記憶する。V0テンポラルメモリ422−0は、適宜、記憶している1/4圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部411−1に供給する。また、V0テンポラルメモリ422−0は、適宜、記憶している1/4圧縮後V0動きベクトルを、V0動きベクトル圧縮部423−0に供給する。   The V0 temporal memory 422-0 stores the supplied 1 / 4-compressed V0 motion vector. The V0 temporal memory 422-0 appropriately supplies the stored 1 / 4-compressed V0 motion vector to the motion compensation unit 411-1 as a motion vector of a peripheral block between views. Further, the V0 temporal memory 422-0 appropriately supplies the stored quarter-compressed V0 motion vector to the V0 motion vector compression unit 423-0.

V0動きベクトル圧縮部423−0は、V0テンポラルメモリ422−0から1/4圧縮後V0動きベクトルを読み出して1/4圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ424−0に供給する。この動きベクトルの圧縮方法は、V0動きベクトル圧縮部323−0と同一の方法である限り、任意である。   The V0 motion vector compression unit 423-0 reads the 1/4 compressed V0 motion vector from the V0 temporal memory 422-0 and compresses it by 1/4, and the obtained 1/16 compressed V0 motion vector is converted into the V0 motion vector memory. 424-0. This motion vector compression method is arbitrary as long as it is the same method as the V0 motion vector compression unit 323-0.

例えば、V0動きベクトル圧縮部421−0とV0動きベクトル圧縮部423−0とで圧縮方法を互いに異なるようにしてももちろんよい。また、V0動きベクトル圧縮部423−0は、V0動きベクトル圧縮部221−0のように、動き補償部411−0により生成される圧縮前V0動きベクトルを1/16圧縮するようにしてもよい。   For example, the V0 motion vector compression unit 421-0 and the V0 motion vector compression unit 423-0 may of course have different compression methods. Further, the V0 motion vector compression unit 423-0 may perform 1/16 compression on the pre-compression V0 motion vector generated by the motion compensation unit 411-0, like the V0 motion vector compression unit 221-0. .

V0動きベクトルメモリ424−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ424−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部411−0に供給する。   The V0 motion vector memory 424-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 424-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion compensation unit 411-0 as a motion vector of a temporally neighboring block.

V1動きベクトル圧縮部421−1は、V0動きベクトル圧縮部421−0と同様の処理部である。V1動きベクトル圧縮部421−1は、動き補償部411−1から供給された圧縮前V1動きベクトルを1/4圧縮し、得られた1/4圧縮後V1動きベクトルをV1テンポラルメモリ422−1に供給する。   The V1 motion vector compression unit 421-1 is a processing unit similar to the V0 motion vector compression unit 421-0. The V1 motion vector compression unit 421-1 performs 1/4 compression on the pre-compression V1 motion vector supplied from the motion compensation unit 411-1 and converts the obtained 1/4 post-compression V1 motion vector to the V1 temporal memory 422-1. To supply.

V1テンポラルメモリ422−1は、V0テンポラルメモリ422−0と同様の処理部である。V1テンポラルメモリ422−1は、供給された1/4圧縮後V1動きベクトルを記憶する。V1テンポラルメモリ422−1は、適宜、記憶している1/4圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、動き補償部411−2に供給する。また、V1テンポラルメモリ422−1は、適宜、記憶している1/4圧縮後V1動きベクトルを、V1動きベクトル圧縮部423−1に供給する。   The V1 temporal memory 422-1 is a processing unit similar to the V0 temporal memory 422-0. The V1 temporal memory 422-1 stores the supplied 1 / 4-compressed V1 motion vector. The V1 temporal memory 422-1 appropriately supplies the stored 1 / 4-compressed V1 motion vector to the motion compensation unit 411-2 as a motion vector of a peripheral block between views. Further, the V1 temporal memory 422-1 appropriately supplies the stored quarter-compressed V1 motion vector to the V1 motion vector compression unit 423-1.

V1動きベクトル圧縮部423−1は、V0動きベクトル圧縮部423−0と同様の処理部である。V1動きベクトル圧縮部423−1は、V1テンポラルメモリ422−1から1/4圧縮後V1動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ424−1に供給する。   The V1 motion vector compression unit 423-1 is a processing unit similar to the V0 motion vector compression unit 423-0. The V1 motion vector compressing unit 423-1 reads out the 1/4 compressed V1 motion vector from the V1 temporal memory 422-1, compresses it by 1/4, and obtains the obtained 1 / 16-compressed V1 motion vector as the V1 motion vector memory. 424-1.

V1動きベクトルメモリ424−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ424−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部411−1に供給する。   The V1 motion vector memory 424-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 424-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion compensation unit 411-1 as a temporal motion vector of a neighboring block.

V2動きベクトル圧縮部421−2は、V0動きベクトル圧縮部421−0と同様の処理部である。V2動きベクトル圧縮部421−2は、動き補償部411−2から供給された圧縮前V2動きベクトルを1/4圧縮し、得られた1/4圧縮後V2動きベクトルをV2テンポラルメモリ422−2に供給する。   The V2 motion vector compressing unit 421-2 is a processing unit similar to the V0 motion vector compressing unit 421-0. The V2 motion vector compression unit 421-2 performs 1/4 compression on the pre-compression V2 motion vector supplied from the motion compensation unit 411-2, and the obtained 1/4 post-compression V2 motion vector is converted into the V2 temporal memory 422-2. To supply.

V2テンポラルメモリ422−2は、V0テンポラルメモリ422−0と同様の処理部である。V2テンポラルメモリ422−2は、供給された1/4圧縮後V2動きベクトルを記憶する。V2テンポラルメモリ422−2は、適宜、記憶している1/4圧縮後V2動きベクトルを、V2動きベクトル圧縮部423−2に供給する。   The V2 temporal memory 422-2 is a processing unit similar to the V0 temporal memory 422-0. The V2 temporal memory 422-2 stores the supplied 1 / 4-compressed V2 motion vector. The V2 temporal memory 422-2 appropriately supplies the stored quarter-compressed V2 motion vector to the V2 motion vector compression unit 423-2.

V2動きベクトル圧縮部423−2は、V0動きベクトル圧縮部423−0と同様の処理部である。V2動きベクトル圧縮部423−2は、V2テンポラルメモリ422−2から1/4圧縮後V2動きベクトルを読み出し、1/4圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ424−2に供給する。   The V2 motion vector compression unit 423-2 is a processing unit similar to the V0 motion vector compression unit 423-0. The V2 motion vector compressing unit 423-2 reads the 1/4 compressed V2 motion vector from the V2 temporal memory 422-2, performs 1/4 compression, and obtains the obtained 1/16 compressed V2 motion vector as the V2 motion vector memory. 424-2.

V2動きベクトルメモリ424−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ424−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部411−2に供給する。   The V2 motion vector memory 424-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 424-2 suitably supplies the stored 1 / 16-compressed V2 motion vector to the motion compensation unit 411-2 as a motion vector of a temporally neighboring block.

なお、V2画像復号装置400−2は、最後に処理されるビュー2の画像の符号化データを復号するので、動き補償部411−2において得られた動きベクトルは、他のビューで利用されない。したがって、V2動きベクトル圧縮部421−2乃至V2動きベクトルメモリ424−2の代わりに、V2画像復号装置200−2のように、V2動きベクトル圧縮部221−2およびV2動きベクトルメモリ222−2を適用するようにしてもよい。   Note that since the V2 image decoding device 400-2 decodes the encoded data of the image of the view 2 to be processed last, the motion vector obtained in the motion compensation unit 411-2 is not used in other views. Therefore, instead of the V2 motion vector compressing unit 421-2 to the V2 motion vector memory 424-2, the V2 motion vector compressing unit 221-2 and the V2 motion vector memory 222-2 are provided as in the V2 image decoding device 200-2. You may make it apply.

以上のように、V0動きベクトル圧縮部421−0、V1動きベクトル圧縮部421−1、およびV2動きベクトル圧縮部421−2が、動きベクトルの数を減らすことにより、動きベクトルの情報量を低減させる(すなわち圧縮する)ことができる。これにより、V0テンポラルメモリ422−0、V1テンポラルメモリ422−1、およびV2テンポラルメモリ422−2の容量を低減させることができる。   As described above, the V0 motion vector compression unit 421-0, the V1 motion vector compression unit 421-1, and the V2 motion vector compression unit 421-2 reduce the number of motion vectors, thereby reducing the amount of motion vector information. (Ie, compress). As a result, the capacities of the V0 temporal memory 422-0, the V1 temporal memory 422-1, and the V2 temporal memory 422-2 can be reduced.

また、その際、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度よりも高くするように圧縮率を抑制することにより、IVMP用の動きベクトルの精度をTMVP用の動きベクトルの精度と同等とする場合より、IVMPの予測精度を向上させることができる。   At that time, by suppressing the compression ratio so that the accuracy of the motion vector for IVMP is higher than the accuracy of the motion vector for TMVP, the accuracy of the motion vector for IVMP is the same as the accuracy of the motion vector for TMVP. The prediction accuracy of IVMP can be improved as compared with the case where they are equivalent.

これにより、画像復号装置400の、製造や開発のコストの低減、装置の小型化、並びに、消費電力の低減等を実現することができる。   Thereby, it is possible to realize a reduction in manufacturing and development costs, a reduction in size of the apparatus, a reduction in power consumption, and the like of the image decoding apparatus 400.

<V0復号処理の流れ>
次に、以上のような画像復号装置400により実行される処理の流れについて説明する。なお、画像復号装置400による復号処理の流れは、第1の実施の形態の場合(図19)と同様であるのでその説明を省略する。
<V0 decoding process flow>
Next, the flow of processing executed by the image decoding device 400 as described above will be described. Note that the flow of the decoding process performed by the image decoding apparatus 400 is the same as that in the first embodiment (FIG. 19), and a description thereof will be omitted.

次に、図38のフローチャートを参照して、図19のステップS1401において実行される、ビュー0の復号を行うV0復号処理の流れの例を説明する。   Next, an example of the flow of V0 decoding processing for decoding view 0, which is executed in step S1401 of FIG. 19, will be described with reference to the flowchart of FIG.

ステップS2501乃至ステップS2508の各処理は、V0画像復号装置400−0の各処理部により、図20のステップS1501乃至ステップS1508の各処理と同様に行われる。   Each processing of step S2501 to step S2508 is performed by each processing unit of the V0 image decoding device 400-0 in the same manner as each processing of step S1501 to step S1508 in FIG.

ステップS2509において、V0動きベクトル圧縮部421−0は、ステップS2506の処理により生成されたビュー0のカレントピクチャの動きベクトルであり、最高4x4精度の圧縮前V0動きベクトルを、8x8精度に圧縮する(1/4圧縮)。この1/4圧縮は、例えば、LCU(例えば16x16画素)毎に行われる。   In step S2509, the V0 motion vector compressing unit 421-0 compresses the pre-compression V0 motion vector of the maximum 4x4 precision to 8x8 precision, which is the motion vector of the current picture of the view 0 generated by the process of step S2506 ( 1/4 compression). For example, this 1/4 compression is performed for each LCU (for example, 16 × 16 pixels).

ステップS2510において、V0テンポラルメモリ422−0は、ステップS2509の処理により生成された1/4圧縮後V0動きベクトルを記憶する。   In step S2510, the V0 temporal memory 422-0 stores the 1 / 4-compressed V0 motion vector generated by the process in step S2509.

ステップS2511乃至ステップS2515の各処理は、V0画像復号装置400−0の各処理部により、図20のステップS1511乃至ステップS1515の各処理と同様に行われる。   Each process of step S2511 thru | or step S2515 is performed by each process part of V0 image decoding apparatus 400-0 similarly to each process of step S1511 thru | or step S1515 of FIG.

ステップS2516において、V0動きベクトル圧縮部423−0は、ステップS2510の処理により記憶された1/4圧縮後V0動きベクトルを、V0テンポラルメモリ422−0から読み出し、さらに1/4圧縮する。   In step S2516, the V0 motion vector compressing unit 423-0 reads out the 1 / 4-compressed V0 motion vector stored in step S2510 from the V0 temporal memory 422-0, and further compresses it by 1/4.

ステップS2517において、V0動きベクトルメモリ424−0は、ステップS2516の処理により生成された1/16圧縮後V0動きベクトルを記憶する。   In step S2517, the V0 motion vector memory 424-0 stores the 1 / 16-compressed V0 motion vector generated by the process of step S2516.

ステップS2517の処理が終了すると、V0符号化処理が終了し、処理は図19に戻る。なお、図38のステップS2506において実行されるV0動き補償処理は、動き補償部411−0により、第1の実施の形態の場合(図21)と同様に行われるのでその説明を省略する。   When the process of step S2517 ends, the V0 encoding process ends, and the process returns to FIG. Note that the V0 motion compensation processing executed in step S2506 of FIG. 38 is performed by the motion compensation unit 411-0 in the same manner as in the case of the first embodiment (FIG. 21), and thus the description thereof is omitted.

<V1復号処理の流れ>
次に、図39のフローチャートを参照して、図19のステップS1402において実行される、ビュー1の符号化データを復号するV1復号処理の流れの例を説明する。
<V1 decoding process flow>
Next, an example of the flow of V1 decoding processing for decoding the encoded data of view 1 executed in step S1402 of FIG. 19 will be described with reference to the flowchart of FIG.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、動き補償処理にある。したがって、図39に示されるように、ビュー1に対するV1復号処理は、V1画像復号装置400−1によって、ビュー0に対するV0復号処理(図38)の場合と基本的に同様に実行される。つまり、図39のステップS2601乃至ステップS2617の各処理は、図38のステップS2501乃至ステップS2517の各処理と基本的に同様に実行される。したがって、図39の説明は、図38の説明におけるV0画像復号装置400−0の各部をV1画像復号装置400−1の各部に置き換え、図38においてビュー0に対する処理としてした説明を、ビュー1に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the motion compensation process. Therefore, as shown in FIG. 39, the V1 decoding process for the view 1 is executed by the V1 image decoding apparatus 400-1 basically in the same manner as the V0 decoding process for the view 0 (FIG. 38). That is, the processes in steps S2601 to S2617 in FIG. 39 are executed basically in the same manner as the processes in steps S2501 to S2517 in FIG. Therefore, in the description of FIG. 39, the description of FIG. 38 in which the respective units of the V0 image decoding device 400-0 are replaced with the respective units of the V1 image decoding device 400-1 and the processing for the view 0 in FIG. Since it is only necessary to replace the process, the description thereof is omitted.

<V1動き補償処理の流れ>
次に、図39のステップS2606において実行されるV1動き補償処理の流れの例を、図40のフローチャートを参照して説明する。
<V1 motion compensation process flow>
Next, an example of the flow of V1 motion compensation processing executed in step S2606 in FIG. 39 will be described with reference to the flowchart in FIG.

ステップS2631乃至ステップS2635の各処理は、動き補償部411−1により、図23のステップS1631乃至ステップS1635の各処理と同様に行われる。   Each process of step S2631 to step S2635 is performed by the motion compensation unit 411-1 in the same manner as each process of step S1631 to step S1635 of FIG.

ステップS2636において、動き補償部411−1は、1/4圧縮後V0動きベクトル(ビュー0の画像のコロケーテッドブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS2637に進む。   In step S2636, the motion compensation unit 411-1 generates a predicted motion vector using the 1 / 4-compressed V0 motion vector (the motion vector of the collocated block of the view 0 image). When the predicted motion vector is generated, the process proceeds to step S2637.

ステップS2637およびステップS2638の各処理は、動き補償部411−1により、図23のステップS1637およびステップS1638の各処理と同様に行われる。ステップS2638の処理が終了すると、V1動き補償処理が終了し、処理は、図22に戻る。   Each process of step S2637 and step S2638 is performed by the motion compensation unit 411-1 in the same manner as each process of step S1637 and step S1638 of FIG. When the process of step S2638 ends, the V1 motion compensation process ends, and the process returns to FIG.

<V2復号処理の流れ>
次に、図41のフローチャートを参照して、図19のステップS1403において実行される、ビュー2の符号化データを復号するV2復号処理の流れの例を説明する。
<V2 decoding process flow>
Next, an example of the flow of the V2 decoding process for decoding the encoded data of view 2 executed in step S1403 of FIG. 19 will be described with reference to the flowchart of FIG.

ビュー1に対する処理と、ビュー2に対する処理の違いは、主に、動き補償処理にある。したがって、図41に示されるように、V2復号処理は、V2画像復号装置400−2によって、ビュー1に対するV1復号処理(図39)の場合と基本的に同様に実行される。つまり、図41のステップS2701乃至ステップS2717の各処理は、図39のステップS2601乃至ステップS2617の各処理と基本的に同様に実行される。したがって、図41の説明は、図39の説明におけるV1画像復号装置400−1の各部をV2画像復号装置400−2の各部に置き換え、図39におけるビュー1に対する処理との説明を、ビュー2に対する処理に置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 1 and the process for the view 2 is mainly in the motion compensation process. Therefore, as shown in FIG. 41, the V2 decoding process is executed by the V2 image decoding apparatus 400-2 basically in the same manner as the V1 decoding process for the view 1 (FIG. 39). That is, the processes in steps S2701 to S2717 in FIG. 41 are executed basically in the same manner as the processes in steps S2601 to S2617 in FIG. Therefore, in the description of FIG. 41, each part of the V1 image decoding device 400-1 in the description of FIG. 39 is replaced with each part of the V2 image decoding device 400-2, and the description of the processing for the view 1 in FIG. Since it is only necessary to replace the process, the description thereof is omitted.

<V2動き補償処理の流れ>
次に、図41のステップS2706において実行されるV2動き補償処理の流れの例を、図42のフローチャートを参照して説明する。
<V2 motion compensation process flow>
Next, an example of the flow of V2 motion compensation processing executed in step S2706 of FIG. 41 will be described with reference to the flowchart of FIG.

ステップS2731乃至ステップS2735の各処理は、動き補償部411−2により、図25のステップS1731乃至ステップS1735の各処理と同様に行われる。   The processes in steps S2731 to S2735 are performed by the motion compensation unit 411-2 in the same manner as the processes in steps S1731 to S1735 in FIG.

ステップS2736において、動き補償部411−2は、1/4圧縮後V1動きベクトル(ビュー1の画像のコロケーテッドブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS2737に進む。   In step S2736, the motion compensation unit 411-2 generates a predicted motion vector using the 1 / 4-compressed V1 motion vector (the motion vector of the collocated block of the image of view 1). When the predicted motion vector is generated, the process proceeds to step S2737.

ステップS2737およびステップS2738の各処理は、動き補償部411−2により、図25のステップS1737およびステップS1738の各処理と同様に行われる。ステップS2738の処理が終了すると、V1動き補償処理が終了し、処理は、図41に戻る。   Each process of step S2737 and step S2738 is performed by the motion compensation unit 411-2 in the same manner as each process of step S1737 and step S1738 of FIG. When the process of step S2738 ends, the V1 motion compensation process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像復号装置400は、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the image decoding apparatus 400 can reduce the memory capacity necessary for the motion vector for IVMP and suppress the increase in the storage capacity necessary for encoding / decoding. can do.

なお、以上においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であり、IVMP用に8x8精度に圧縮し、さらに、TMVP用に16x16精度に圧縮するように説明したが、これは一例であり、動きベクトルの精度は任意である。また、各圧縮の圧縮率も任意である。つまり、各ビューの、空間予測動きベクトル候補、時間予測動きベクトル候補、IVMP予測動きベクトル候補、および予測動きベクトルの精度も任意である。精度や圧縮率が全てのビューで統一されていてもよいし、されていなくてもよい。   In the above description, the motion vector has a maximum accuracy of 4x4 in the uncompressed state, compressed to 8x8 for IVMP, and further compressed to 16x16 for TMVP. This is an example, and the accuracy of the motion vector is arbitrary. Moreover, the compression rate of each compression is also arbitrary. That is, the accuracy of the spatial prediction motion vector candidate, temporal prediction motion vector candidate, IVMP prediction motion vector candidate, and prediction motion vector of each view is also arbitrary. The accuracy and compression rate may or may not be unified for all views.

<3.第3の実施の形態>
<IVMP用の動きベクトルの圧縮>
以上のような動きベクトルの圧縮(例えば間引き)において、図43に示されるように、IVMP用の動きベクトルを圧縮するか否か(例えば間引くか否か)を制御することができるようにしてもよい。つまり、図4を参照して説明した従来の方法と、図5を参照して説明した(第1の実施の形態において説明した)方法のいずれか一方を選択することができるようにしてもよい。
<3. Third Embodiment>
<Motion vector compression for IVMP>
In the above motion vector compression (for example, thinning), as shown in FIG. 43, it is possible to control whether or not to compress the motion vector for IVMP (for example, whether to thin out). Good. That is, either the conventional method described with reference to FIG. 4 or the method (described in the first embodiment) described with reference to FIG. 5 may be selected. .

より具体的には、例えば、デコーダ(V1 (Depend) Decorder, V2 (Depend) Decorder)は、テンポラル動きベクトルメモリ(V0 Temporal MV Memory, V1 Temporal MV Memory)から非圧縮の動きベクトル(圧縮前MV)を取得し、それを用いてIVMPを行うか、動きベクトルメモリ(V0 MV Memory, V1 MV Memory)から1/16圧縮された(例えば間引かれた)動きベクトル(圧縮後MV)を取得し、それを用いてIVMPを行うかを、スイッチ(V0SW, V1SW)により選択することができる。   More specifically, for example, the decoder (V1 (Depend) Decorder, V2 (Depend) Decorder) is an uncompressed motion vector (MV before compression) from a temporal motion vector memory (V0 Temporal MV Memory, V1 Temporal MV Memory). And then perform IVMP using it, or obtain a motion vector (compressed MV) that has been 1/16 compressed (eg, decimated) from the motion vector memory (V0 MV Memory, V1 MV Memory), It is possible to select whether to perform IVMP using the switch (V0SW, V1SW).

このようにすることにより、メモリの容量、CPUの処理能力、現在の負荷状況等、任意の条件に応じて、より適応的に処理量やメモリ使用量等を制御しながら符号化や復号を行うことができる。   By doing this, encoding and decoding are performed while controlling the processing amount and memory usage more adaptively according to arbitrary conditions such as memory capacity, CPU processing capacity, current load status, etc. be able to.

以下に、この圧縮方法について、より具体的に説明する。なお、以下においては、動きベクトルの精度が、非圧縮の状態で最高4x4精度であるとする。また、その圧縮前の動きベクトルが、TMVP用(若しくは、TMVPおよびIVMP用)に、16x16精度に圧縮(1/4圧縮)されるものとする。   Hereinafter, this compression method will be described more specifically. In the following, it is assumed that the accuracy of the motion vector is a maximum of 4 × 4 accuracy in an uncompressed state. In addition, it is assumed that the motion vector before compression is compressed (1/4 compression) to TMVP (or TMVP and IVMP) with 16 × 16 accuracy.

<シンタックス>
このように複数の方法からいずれかを選択する場合、符号化側と復号側で同じ方法を選択する必要がある。そこで、いずれの方法を選択するかを、符号化側と復号側とで共有するために、いずれの方法を選択するかを示す情報(例えばフラグ)を、符号化側から復号側に伝送するようにしてもよい。例えば、図4の方法を用いるか、図5の方法を用いるかを示す1ビットのフラグを符号化側において生成し、復号側に伝送するようにしてもよい。復号側では、そのフラグの値に基づいて復号を行うことにより、符号化側において採用された方法と同じ方法を選択し、適切に復号することができる。
<Syntax>
Thus, when selecting any one of a plurality of methods, it is necessary to select the same method on the encoding side and the decoding side. Therefore, in order to share which method is selected between the encoding side and the decoding side, information (for example, a flag) indicating which method is selected is transmitted from the encoding side to the decoding side. It may be. For example, a 1-bit flag indicating whether to use the method of FIG. 4 or the method of FIG. 5 may be generated on the encoding side and transmitted to the decoding side. On the decoding side, by performing decoding based on the value of the flag, the same method as the method adopted on the encoding side can be selected and decoded appropriately.

その場合、そのフラグは、任意の方法で伝送することができる。例えば、図44に示されるシンタックスのように、シーケンスパラメータセット(Sep_parameter_set)において伝送するようにしてもよい。   In that case, the flag can be transmitted in any manner. For example, it may be transmitted in a sequence parameter set (Sep_parameter_set) as in the syntax shown in FIG.

図44の例の場合、画像符号化装置において、このフラグが生成され、「sps_mv_compression_flag」として、シーケンスからメータセットに格納されて伝送される。画像復号装置においては、ビットストリームからこの「sps_mv_compression_flag」を抽出し、その値を参照して、画像符号化装置において採用されたのと同じ方法を選択する。   In the case of the example in FIG. 44, this flag is generated in the image encoding device, and is transmitted as “sps_mv_compression_flag” stored in the meter set from the sequence. In the image decoding apparatus, this “sps_mv_compression_flag” is extracted from the bit stream, and the same method as that adopted in the image encoding apparatus is selected with reference to the value.

<画像符号化装置>
図45は、V0画像符号化装置の主な構成例を示すブロック図である。図46は、V1画像符号化装置の主な構成例を示すブロック図である。図47は、V2画像符号化装置の主な構成例を示すブロック図である。
<Image encoding device>
FIG. 45 is a block diagram illustrating an exemplary main configuration of the V0 image encoding device. FIG. 46 is a block diagram illustrating an exemplary main configuration of the V1 image encoding device. FIG. 47 is a block diagram illustrating an exemplary main configuration of a V2 image encoding device.

図示せぬ画像符号化装置500は、図2に示される多視点画像のような複数レイヤよりなる動画像を符号化する。この画像符号化装置500は、多視点画像の各ビューを符号化するために、図45のV0画像符号化装置500−0、図46のV1画像符号化装置500−1、および図47のV2画像符号化装置500−3を有する。V0画像符号化装置500−0は、ビュー0の画像を符号化する。V1画像符号化装置500−1は、ビュー1の画像を符号化する。V2画像符号化装置500−2は、ビュー2の画像を符号化する。   An image encoding apparatus 500 (not shown) encodes a moving image composed of a plurality of layers such as the multi-viewpoint image shown in FIG. The image encoding device 500 encodes each view of a multi-viewpoint image in order to encode the V0 image encoding device 500-0 in FIG. 45, the V1 image encoding device 500-1 in FIG. 46, and the V2 in FIG. An image encoding device 500-3 is included. The V0 image encoding device 500-0 encodes the image of view 0. The V1 image encoding device 500-1 encodes the view 1 image. The V2 image encoding device 500-2 encodes the view 2 image.

図45に示されるように、V0画像符号化装置500−0は、A/D変換部501−0、画面並べ替えバッファ502−0、演算部503−0、直交変換部504−0、量子化部505−0、可逆符号化部506−0、蓄積バッファ507−0、逆量子化部508−0、および逆直交変換部509−0を有する。また、V0画像符号化装置500−0は、演算部510−0、ループフィルタ511−0、デコードピクチャバッファ512−0、画面内予測部513−0、動き予測・補償部514−0、予測画像選択部515−0、およびレート制御部516−0を有する。   As illustrated in FIG. 45, the V0 image encoding device 500-0 includes an A / D conversion unit 501-0, a screen rearrangement buffer 502-0, a calculation unit 503-0, an orthogonal transformation unit 504-0, and a quantization. Unit 505-0, lossless encoding unit 506-0, accumulation buffer 507-0, inverse quantization unit 508-0, and inverse orthogonal transform unit 509-0. Also, the V0 image encoding device 500-0 includes a calculation unit 510-0, a loop filter 511-0, a decoded picture buffer 512-0, an in-screen prediction unit 513-0, a motion prediction / compensation unit 514-0, and a predicted image. A selection unit 515-0 and a rate control unit 516-0 are included.

また、図46に示されるように、V1画像符号化装置500−1は、A/D変換部501−1、画面並べ替えバッファ502−1、演算部503−1、直交変換部504−1、量子化部505−1、可逆符号化部506−1、蓄積バッファ507−1、逆量子化部508−1、および逆直交変換部509−1を有する。また、V1画像符号化装置500−1は、演算部510−1、ループフィルタ511−1、デコードピクチャバッファ512−1、画面内予測部513−1、動き予測・補償部514−1、予測画像選択部515−1、およびレート制御部516−1を有する。   46, the V1 image encoding device 500-1 includes an A / D conversion unit 501-1, a screen rearrangement buffer 502-1, a calculation unit 503-1, an orthogonal transformation unit 504-1, It has a quantization unit 505-1, a lossless encoding unit 506-1, an accumulation buffer 507-1, an inverse quantization unit 508-1, and an inverse orthogonal transform unit 509-1. In addition, the V1 image encoding device 500-1 includes a calculation unit 510-1, a loop filter 511-1, a decoded picture buffer 512-1, an intra-screen prediction unit 513-1, a motion prediction / compensation unit 514-1, a predicted image. It has a selection unit 515-1 and a rate control unit 516-1.

さらに、図47に示されるように、V2画像符号化装置500−2は、A/D変換部501−2、画面並べ替えバッファ502−2、演算部503−2、直交変換部504−2、量子化部505−2、可逆符号化部506−2、蓄積バッファ507−2、逆量子化部508−2、および逆直交変換部509−2を有する。また、V2画像符号化装置500−2は、演算部510−2、ループフィルタ511−2、デコードピクチャバッファ512−2、画面内予測部513−2、動き予測・補償部514−2、予測画像選択部515−2、およびレート制御部516−2を有する。   Furthermore, as illustrated in FIG. 47, the V2 image encoding device 500-2 includes an A / D conversion unit 501-2, a screen rearrangement buffer 502-2, a calculation unit 503-2, an orthogonal transformation unit 504-2, It has a quantization unit 505-2, a lossless encoding unit 506-2, a storage buffer 507-2, an inverse quantization unit 508-2, and an inverse orthogonal transform unit 509-2. Also, the V2 image coding device 500-2 includes a calculation unit 510-2, a loop filter 511-2, a decoded picture buffer 512-2, an intra-screen prediction unit 513-2, a motion prediction / compensation unit 514-2, a predicted image. It has selection part 515-2 and rate control part 516-2.

以下において、A/D変換部501−0乃至A/D変換部501−2を互いに区別して説明する必要が無い場合、単に、A/D変換部501と称する。また、画面並べ替えバッファ502−0乃至画面並べ替えバッファ502−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ502と称する。さらに、演算部503−0乃至演算部503−2を互いに区別して説明する必要が無い場合、単に、演算部503と称する。また、直交変換部504−0乃至直交変換部504−2を互いに区別して説明する必要が無い場合、単に、直交変換部504と称する。さらに、量子化部505−0乃至量子化部505−2を互いに区別して説明する必要が無い場合、単に、量子化部505と称する。また、可逆符号化部506−0乃至可逆符号化部506−2を互いに区別して説明する必要が無い場合、単に、可逆符号化部506と称する。さらに、蓄積バッファ507−0乃至蓄積バッファ507−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ507と称する。また、逆量子化部508−0乃至逆量子化部508−2を互いに区別して説明する必要が無い場合、単に、逆量子化部508と称する。さらに、逆直交変換部509−0乃至逆直交変換部509−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部509と称する。   In the following description, the A / D converters 501-0 to 501-2 are simply referred to as A / D converters 501 when there is no need to distinguish them from each other. In addition, the screen rearrangement buffer 502-0 to the screen rearrangement buffer 502-2 are simply referred to as the screen rearrangement buffer 502 when it is not necessary to distinguish between them. Furthermore, when it is not necessary to distinguish between the calculation units 503-0 to 503-2 and describe them, they are simply referred to as a calculation unit 503. In addition, when there is no need to describe the orthogonal transform units 504-0 to 504-2 separately from each other, they are simply referred to as an orthogonal transform unit 504. Further, when it is not necessary to distinguish between the quantizing unit 505-0 to the quantizing unit 505-2, they are simply referred to as a quantizing unit 505. In addition, the lossless encoding unit 506-0 to the lossless encoding unit 506-2 are simply referred to as the lossless encoding unit 506 when it is not necessary to distinguish between them. Furthermore, when there is no need to distinguish between the accumulation buffers 507-0 to 507-2, they are simply referred to as accumulation buffers 507. In addition, when there is no need to describe the inverse quantization unit 508-0 to the inverse quantization unit 508-2 separately from each other, they are simply referred to as an inverse quantization unit 508. Further, when there is no need to distinguish between the inverse orthogonal transform unit 509-0 to the inverse orthogonal transform unit 509-2, the inverse orthogonal transform unit 509 is simply referred to as an inverse orthogonal transform unit 509.

また、演算部510−0乃至演算部510−2を互いに区別して説明する必要が無い場合、単に、演算部510と称する。さらに、ループフィルタ511−0乃至ループフィルタ511−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ511と称する。また、デコードピクチャバッファ512−0乃至デコードピクチャバッファ512−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ512と称する。さらに、画面内予測部513−0乃至画面内予測部513−2を互いに区別して説明する必要が無い場合、単に、画面内予測部513と称する。また、動き予測・補償部514−0乃至動き予測・補償部514−2を互いに区別して説明する必要が無い場合、単に、動き予測・補償部514と称する。さらに、予測画像選択部515−0乃至予測画像選択部515−2を互いに区別して説明する必要が無い場合、単に、予測画像選択部515と称する。また、レート制御部516−0乃至レート制御部516−2を互いに区別して説明する必要が無い場合、単に、レート制御部516と称する。   In addition, when it is not necessary to distinguish between the calculation units 510-0 to 510-2 and describe them, they are simply referred to as the calculation unit 510. Furthermore, when it is not necessary to distinguish between the loop filters 511-0 to 511-2, they are simply referred to as a loop filter 511. In addition, when there is no need to distinguish between the decoded picture buffer 512-0 to the decoded picture buffer 512-2, they are simply referred to as a decoded picture buffer 512. Furthermore, when it is not necessary to distinguish between the intra-screen prediction unit 513-0 to the intra-screen prediction unit 513-2, the intra-screen prediction unit 513-2 is simply referred to as an intra-screen prediction unit 513. When there is no need to distinguish between the motion prediction / compensation unit 514-0 to the motion prediction / compensation unit 514-2, they are simply referred to as a motion prediction / compensation unit 514. Furthermore, when it is not necessary to distinguish and explain the predicted image selection unit 515-0 through the predicted image selection unit 515-2, they are simply referred to as a predicted image selection unit 515. Further, when it is not necessary to distinguish between the rate control units 516-0 to 516-2, the rate control units 516-0 to 516-2 are simply referred to as rate control units 516.

A/D変換部501は、A/D変換部101に対応し、基本的にA/D変換部101と同様の処理を行う。画面並べ替えバッファ502は、画面並べ替えバッファ102に対応し、基本的に画面並べ替えバッファ102と同様の処理を行う。演算部503は、演算部103に対応し、基本的に演算部103と同様の処理を行う。直交変換部504は、直交変換部104に対応し、基本的に直交変換部104と同様の処理を行う。量子化部505は、量子化部105に対応し、基本的に量子化部105と同様の処理を行う。可逆符号化部506は、可逆符号化部106に対応し、基本的に可逆符号化部106と同様の処理を行う。蓄積バッファ507は、蓄積バッファ107に対応し、基本的に蓄積バッファ107と同様の処理を行う。   The A / D conversion unit 501 corresponds to the A / D conversion unit 101 and basically performs the same processing as the A / D conversion unit 101. The screen rearrangement buffer 502 corresponds to the screen rearrangement buffer 102 and basically performs the same processing as the screen rearrangement buffer 102. The calculation unit 503 corresponds to the calculation unit 103 and basically performs the same processing as the calculation unit 103. The orthogonal transform unit 504 corresponds to the orthogonal transform unit 104 and basically performs the same processing as the orthogonal transform unit 104. The quantization unit 505 corresponds to the quantization unit 105 and basically performs the same processing as the quantization unit 105. The lossless encoding unit 506 corresponds to the lossless encoding unit 106 and basically performs the same processing as the lossless encoding unit 106. The accumulation buffer 507 corresponds to the accumulation buffer 107 and basically performs the same processing as the accumulation buffer 107.

逆量子化部508は、逆量子化部108に対応し、基本的に逆量子化部108と同様の処理を行う。逆直交変換部509は、逆直交変換部109に対応し、基本的に逆直交変換部109と同様の処理を行う。演算部510は、演算部110に対応し、基本的に演算部110と同様の処理を行う。ループフィルタ511は、ループフィルタ111に対応し、基本的にループフィルタ111と同様の処理を行う。デコードピクチャバッファ512は、デコードピクチャバッファ112に対応し、基本的にデコードピクチャバッファ112と同様の処理を行う。   The inverse quantization unit 508 corresponds to the inverse quantization unit 108 and basically performs the same processing as the inverse quantization unit 108. The inverse orthogonal transform unit 509 corresponds to the inverse orthogonal transform unit 109 and basically performs the same processing as the inverse orthogonal transform unit 109. The calculation unit 510 corresponds to the calculation unit 110 and basically performs the same processing as the calculation unit 110. The loop filter 511 corresponds to the loop filter 111 and basically performs the same processing as the loop filter 111. The decoded picture buffer 512 corresponds to the decoded picture buffer 112 and basically performs the same processing as the decoded picture buffer 112.

画面内予測部513は、画面内予測部113に対応し、基本的に画面内予測部113と同様の処理を行う。動き予測・補償部514は、動き予測・補償部114に対応し、基本的に動き予測・補償部114と同様の処理を行う。予測画像選択部515は、予測画像選択部115に対応し、基本的に予測画像選択部115と同様の処理を行う。   The intra-screen prediction unit 513 corresponds to the intra-screen prediction unit 113 and basically performs the same processing as the intra-screen prediction unit 113. The motion prediction / compensation unit 514 corresponds to the motion prediction / compensation unit 114 and basically performs the same processing as the motion prediction / compensation unit 114. The predicted image selection unit 515 corresponds to the predicted image selection unit 115 and basically performs the same processing as the predicted image selection unit 115.

V0画像符号化装置500−0は、さらに、制御部521、フラグ生成部522、V0選択部531−0、V0テンポラルメモリ532−0、V0動きベクトル圧縮部533−0、V0動きベクトルメモリ534−0、およびV0選択部535−0を有する。   The V0 image encoding device 500-0 further includes a control unit 521, a flag generation unit 522, a V0 selection unit 531-0, a V0 temporal memory 532-0, a V0 motion vector compression unit 533-0, and a V0 motion vector memory 534. 0 and a V0 selector 535-0.

V1画像符号化装置500−1は、さらに、V1選択部531−1、V1テンポラルメモリ532−1、V1動きベクトル圧縮部533−1、V1動きベクトルメモリ534−1、およびV1選択部535−1を有する。   The V1 image encoding device 500-1 further includes a V1 selection unit 531-1, a V1 temporal memory 532-1, a V1 motion vector compression unit 533-1, a V1 motion vector memory 534-1, and a V1 selection unit 535-1. Have

V2画像符号化装置500−2は、さらに、V2選択部531−2、V2テンポラルメモリ532−2、V2動きベクトル圧縮部533−2、およびV2動きベクトルメモリ534−2を有する。   The V2 image encoding device 500-2 further includes a V2 selection unit 531-2, a V2 temporal memory 532-2, a V2 motion vector compression unit 533-2, and a V2 motion vector memory 534-2.

制御部521は、ユーザや他の装置等の外部からの指示や、所定の条件判定結果等に基づいて、IVMP用の動きベクトルを圧縮するか否かを決定する。つまり、制御部521は、図4に示される方法を選択するか、図5に示される方法を選択するかを決定する。圧縮するか否かを決定すると、制御部521は、その旨をフラグ生成部522に供給する。   The control unit 521 determines whether or not to compress the motion vector for IVMP based on an instruction from the outside such as a user or another device, a predetermined condition determination result, or the like. That is, the control unit 521 determines whether to select the method shown in FIG. 4 or the method shown in FIG. When determining whether or not to compress, the control unit 521 supplies the fact to the flag generation unit 522.

フラグ生成部522は、制御部521から通知された方法を示すフラグを生成する。フラグ生成部522は、生成したフラグを可逆符号化部506−0に供給する。可逆符号化部506−0は、供給されたフラグをシーケンスパラメータセットに含めて、復号側に伝送させる。   The flag generation unit 522 generates a flag indicating the method notified from the control unit 521. The flag generation unit 522 supplies the generated flag to the lossless encoding unit 506-0. The lossless encoding unit 506-0 includes the supplied flag in the sequence parameter set and transmits it to the decoding side.

また、制御部521は、決定した方法に従って、V0選択部531−0、V0選択部535−0、V1選択部531−1、V1選択部535−1、および、V2選択部531−2の選択(スイッチング)を制御する。   Further, the control unit 521 selects the V0 selection unit 531-0, the V0 selection unit 535-0, the V1 selection unit 531-1, the V1 selection unit 535-1, and the V2 selection unit 531-2 according to the determined method. (Switching) is controlled.

制御部521が、IVMP用の動きベクトルを圧縮する方法を選択した場合、V0選択部531−0は、制御部521の制御に従って、V0動きベクトル圧縮部533−0を選択し、V0選択部535−0は、制御部521の制御に従って、V0動きベクトルメモリ534−0を選択する。また、V1選択部531−1は、制御部521の制御に従って、V1動きベクトル圧縮部533−1を選択し、V1選択部535−1は、制御部521の制御に従って、V1動きベクトルメモリ534−1を選択する。さらに、V2選択部531−2は、制御部521の制御に従って、V2動きベクトル圧縮部533−2を選択する。   When the control unit 521 selects the method for compressing the motion vector for IVMP, the V0 selection unit 531-0 selects the V0 motion vector compression unit 533-0 according to the control of the control unit 521, and the V0 selection unit 535. −0 selects the V0 motion vector memory 534-0 according to the control of the control unit 521. The V1 selection unit 531-1 selects the V1 motion vector compression unit 533-1 according to the control of the control unit 521, and the V1 selection unit 535-1 controls the V1 motion vector memory 534 according to the control of the control unit 521. Select 1. Further, the V2 selection unit 531-2 selects the V2 motion vector compression unit 533-2 according to the control of the control unit 521.

この場合、動き予測・補償部514−0は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0選択部531−0を介して、V0動きベクトル圧縮部533−0に供給する。V0動きベクトル圧縮部533−0は、動き予測・補償部514−0から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ534−0に供給する。V0動きベクトルメモリ534−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ534−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−0に供給する。また、V0動きベクトルメモリ534−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部535−0を介して、動き予測・補償部514−1に供給する。   In this case, the motion prediction / compensation unit 514-0 uses the V0 motion vector (maximum 4x4 accuracy) of the current block generated by the motion prediction, via the V0 selection unit 531-0, the V0 motion vector compression unit 533- Supply to zero. The V0 motion vector compression unit 533-0 performs 1/16 compression on the pre-compression V0 motion vector supplied from the motion prediction / compensation unit 514-0, and the obtained 1 / 16-compressed V0 motion vector is stored in the V0 motion vector memory. 534-0. The V0 motion vector memory 534-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 534-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion prediction / compensation unit 514-0 as a motion vector of a temporally neighboring block. In addition, the V0 motion vector memory 534-0 appropriately moves the stored 1 / 16-compressed V0 motion vector as a motion vector of a peripheral block between views via the V0 selection unit 535-0. This is supplied to the prediction / compensation unit 514-1.

また、動き予測・補償部514−1は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル(最高4x4精度)を、V1選択部531−1を介して、V1動きベクトル圧縮部533−1に供給する。V1動きベクトル圧縮部533−1は、動き予測・補償部514−1から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ534−1に供給する。V1動きベクトルメモリ534−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ534−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−1に供給する。また、V1動きベクトルメモリ534−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部535−1を介して、動き予測・補償部514−2に供給する。   Also, the motion prediction / compensation unit 514-1 uses the V1 motion vector (maximum 4 × 4 accuracy) of the current block generated by the motion prediction, via the V1 selection unit 531-1, as the V1 motion vector compression unit 533-1. To supply. The V1 motion vector compression unit 533-1 compresses the pre-compression V1 motion vector supplied from the motion prediction / compensation unit 514-1 by 1/16, and the obtained 1 / 16-compressed V1 motion vector is stored in the V1 motion vector memory. 534-1. The V1 motion vector memory 534-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 534-1 suitably supplies the stored 1 / 16-compressed V1 motion vector to the motion prediction / compensation unit 514-1 as a motion vector of a temporally neighboring block. In addition, the V1 motion vector memory 534-1 appropriately moves the stored 1 / 16-compressed V1 motion vector as a motion vector of a peripheral block between views via the V1 selection unit 535-1. This is supplied to the prediction / compensation unit 514-2.

さらに、動き予測・補償部514−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(最高4x4精度)を、V2選択部531−2を介して、V2動きベクトル圧縮部533−2に供給する。V2動きベクトル圧縮部533−2は、動き予測・補償部514−2から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ534−2に供給する。V2動きベクトルメモリ534−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ534−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−2に供給する。   Further, the motion prediction / compensation unit 514-2 uses the V2 motion vector before compression (maximum 4 × 4 accuracy) of the current block generated by the motion prediction, via the V2 selection unit 531-2, the V2 motion vector compression unit 533-2. To supply. The V2 motion vector compressing unit 533-2 performs 1/16 compression on the uncompressed V2 motion vector supplied from the motion prediction / compensation unit 514-2, and the obtained 1 / 16-compressed V2 motion vector is stored in the V2 motion vector memory. 534-2. The V2 motion vector memory 534-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 534-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion prediction / compensation unit 514-2 as temporally neighboring block motion vectors.

つまり、この場合、画像符号化装置500は、第1の実施の形態において説明した方法の場合(例えば図5)と同様の構成となる。   That is, in this case, the image coding apparatus 500 has the same configuration as that of the method described in the first embodiment (for example, FIG. 5).

制御部521が、IVMP用の動きベクトルを圧縮しない方法を選択した場合、V0選択部531−0およびV0選択部535−0は、制御部521の制御に従って、V0テンポラルメモリ532−0を選択する。また、V1選択部531−1およびV1選択部535−1は、制御部521の制御に従って、V1テンポラルメモリ532−0を選択する。さらに、V2選択部531−2は、制御部521の制御に従って、V2テンポラルメモリ532−2を選択する。   When the control unit 521 selects a method that does not compress the motion vector for IVMP, the V0 selection unit 531-0 and the V0 selection unit 535-0 select the V0 temporal memory 532-0 according to the control of the control unit 521. . In addition, the V1 selection unit 531-1 and the V1 selection unit 535-1 select the V1 temporal memory 532-0 according to the control of the control unit 521. Further, the V2 selection unit 531-2 selects the V2 temporal memory 532-2 according to the control of the control unit 521.

この場合、動き予測・補償部514−0は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0選択部531−0を介して、V0テンポラルメモリ532−0に供給する。V0テンポラルメモリ532−0は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部535−0を介して、動き予測・補償部514−1に供給する。また、V0テンポラルメモリ532−0は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部533−0に供給する。V0動きベクトル圧縮部533−0は、V0テンポラルメモリ532−0から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ534−0に供給する。V0動きベクトルメモリ534−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ534−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−0に供給する。   In this case, the motion prediction / compensation unit 514-0 transfers the pre-compression V0 motion vector (maximum 4x4 accuracy) of the current block generated by motion prediction to the V0 temporal memory 532-0 via the V0 selection unit 531-0. Supply. The V0 temporal memory 532-0 appropriately stores the stored pre-compression V0 motion vector as a motion vector of a block neighboring between the views via the V0 selection unit 535-0, and a motion prediction / compensation unit 514- 1 is supplied. In addition, the V0 temporal memory 532-0 appropriately supplies the stored pre-compression V0 motion vector to the V0 motion vector compression unit 533-0. The V0 motion vector compression unit 533-0 reads the V0 motion vector before compression from the V0 temporal memory 532-0, performs 1/16 compression, and converts the obtained 1 / 16-compressed V0 motion vector into the V0 motion vector memory 534-0. To supply. The V0 motion vector memory 534-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 534-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion prediction / compensation unit 514-0 as a motion vector of a temporally neighboring block.

また、動き予測・補償部514−1は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル(最高4x4精度)を、V1選択部531−1を介して、V1テンポラルメモリ532−1に供給する。V1テンポラルメモリ532−1は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部535−1を介して、動き予測・補償部514−2に供給する。また、V1テンポラルメモリ532−1は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部533−1に供給する。V1動きベクトル圧縮部533−1は、V1テンポラルメモリ532−1から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ534−1に供給する。V1動きベクトルメモリ534−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ534−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−1に供給する。   In addition, the motion prediction / compensation unit 514-1 supplies the pre-compression V1 motion vector (maximum 4x4 accuracy) of the current block generated by motion prediction to the V1 temporal memory 532-1 via the V1 selection unit 531-1. To do. The V1 temporal memory 532-1 appropriately uses the stored pre-compression V1 motion vector as a motion vector of a neighboring block between views via the V1 selection unit 535-1 and the motion prediction / compensation unit 514-. 2 is supplied. Also, the V1 temporal memory 532-1 supplies the stored pre-compression V1 motion vector to the V1 motion vector compression unit 533-1 as appropriate. The V1 motion vector compression unit 533-1 compresses the pre-compression V1 motion vector supplied from the V1 temporal memory 532-1 by 1/16, and converts the obtained 1 / 16-compressed V1 motion vector into the V1 motion vector memory 534. 1 is supplied. The V1 motion vector memory 534-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 534-1 suitably supplies the stored 1 / 16-compressed V1 motion vector to the motion prediction / compensation unit 514-1 as a motion vector of a temporally neighboring block.

さらに、動き予測・補償部514−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(最高4x4精度)を、V2選択部531−2を介して、V2テンポラルメモリ532−2に供給する。V2テンポラルメモリ532−2は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部533−2に供給する。V2動きベクトル圧縮部533−2は、V2テンポラルメモリ532−2から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ534−2に供給する。V2動きベクトルメモリ534−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ534−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き予測・補償部514−2に供給する。   Furthermore, the motion prediction / compensation unit 514-2 supplies the pre-compression V2 motion vector (maximum 4x4 accuracy) of the current block generated by the motion prediction to the V2 temporal memory 532-2 via the V2 selection unit 531-2. To do. The V2 temporal memory 532-2 appropriately supplies the stored pre-compression V2 motion vector to the V2 motion vector compression unit 533-2. The V2 motion vector compression unit 533-2 performs 1/16 compression on the uncompressed V2 motion vector supplied from the V2 temporal memory 532-2, and converts the obtained 1 / 16-compressed V2 motion vector into the V2 motion vector memory 534. 2 is supplied. The V2 motion vector memory 534-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 534-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion prediction / compensation unit 514-2 as temporally neighboring block motion vectors.

つまり、この場合、画像符号化装置500は、従来の方法の場合(例えば図4)と同様の構成となる。   That is, in this case, the image coding apparatus 500 has the same configuration as that of the conventional method (for example, FIG. 4).

以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。   As described above, by making it possible to control the motion vector compression method, it is possible to adaptively suppress an increase in storage capacity necessary for encoding / decoding.

<符号化処理の流れ>
次に、以上のような画像符号化装置500により実行される処理の流れについて説明する。図48のフローチャートを参照して、画像符号化装置500による符号化処理の流れの例を説明する。
<Flow of encoding process>
Next, a flow of processing executed by the image encoding device 500 as described above will be described. An example of the flow of encoding processing by the image encoding device 500 will be described with reference to the flowchart of FIG.

符号化処理が開始されると、V0画像符号化装置500−0の制御部521は、ステップS3001において、IVMPの動きベクトルの圧縮の設定(IVMP用の動きベクトルを圧縮するか否かの設定)を行う。ステップS3002において、フラグ生成部522は、ステップS3001の設定に従って、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを生成する。この動きベクトル圧縮フラグは、可逆符号化部506−0において符号化される。ステップS3003において、動きベクトル圧縮フラグの符号化データは、蓄積バッファ507−0に供給されて保持され、所定のタイミングにおいて、復号側に伝送される。   When the encoding process is started, the control unit 521 of the V0 image encoding device 500-0 sets the compression of the IVMP motion vector (setting whether to compress the motion vector for IVMP) in step S3001. I do. In step S3002, the flag generation unit 522 generates a motion vector compression flag indicating whether or not to compress a motion vector for IVMP according to the setting in step S3001. This motion vector compression flag is encoded by the lossless encoding unit 506-0. In step S3003, the encoded data of the motion vector compression flag is supplied to and stored in the accumulation buffer 507-0 and transmitted to the decoding side at a predetermined timing.

カレントピクチャについて、V0画像符号化装置500−0は、ステップS3004においてV0符号化処理を行い、V1画像符号化装置500−1は、ステップS3005においてV1符号化処理を行い、V2画像符号化装置500−2は、ステップS3006においてV2符号化処理を行う。   For the current picture, the V0 image encoding device 500-0 performs a V0 encoding process in step S3004, and the V1 image encoding device 500-1 performs a V1 encoding process in step S3005, and the V2 image encoding device 500. -2 performs V2 encoding processing in step S3006.

ステップS3007において、画像符号化装置500は、全てのピクチャを処理したか否かを判定する。未処理のピクチャが存在すると判定した場合、処理は、ステップS3004に戻り、それ以降の処理を繰り返す。   In step S3007, the image coding apparatus 500 determines whether all the pictures have been processed. If it is determined that there is an unprocessed picture, the process returns to step S3004 and the subsequent processes are repeated.

各ピクチャについて、ステップS3004乃至ステップS3007の処理が繰り返され、ステップS3007において、全てのピクチャが処理されたと判定された場合、符号化処理が終了する。   For each picture, the processing from step S3004 to step S3007 is repeated, and if it is determined in step S3007 that all the pictures have been processed, the encoding processing ends.

<V0符号化処理の流れ>
次に、図49および図50のフローチャートを参照して、図48のステップS3004において実行される、ビュー0の符号化を行うV0符号化処理の流れの例を説明する。
<V0 encoding process flow>
Next, an example of the flow of V0 encoding processing for encoding view 0, which is executed in step S3004 of FIG. 48, will be described with reference to the flowcharts of FIGS. 49 and 50.

図49のステップS3101乃至ステップS3105の各処理は、V0画像符号化装置500−0の各処理部により、図10のステップS1101乃至ステップS1105の各処理と同様に実行される。   Each process of step S3101 to step S3105 in FIG. 49 is executed by each processing unit of the V0 image encoding device 500-0 in the same manner as each process of step S1101 to step S1105 in FIG.

ステップS3106において、V0選択部531−0は、制御部521の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップS3107に進む。   In step S3106, the V0 selection unit 531-0 determines whether to compress the pre-compression V0 motion vector according to the control of the control unit 521. If it is determined to be compressed, the process proceeds to step S3107.

ステップS3107において、V0動きベクトル圧縮部533−0は、圧縮前V0動きベクトルを1/16圧縮する。ステップS3108において、V0動きベクトルメモリ534−0は、ステップS3107の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップS3108の処理が終了すると、処理はステップS3110に進む。   In step S3107, the V0 motion vector compression unit 533-0 performs 1/16 compression on the pre-compression V0 motion vector. In step S3108, the V0 motion vector memory 534-0 stores the 1 / 16-compressed V0 motion vector generated by the process in step S3107. When the process of step S3108 ends, the process proceeds to step S3110.

また、ステップS3106において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップS3109に進む。ステップS3109において、V0テンポラルメモリ532−0は、圧縮前V0動きベクトルを記憶する。ステップS3109の処理が終了すると、処理は、ステップS3110に進む。   If it is determined in step S3106 that the pre-compression V0 motion vector is not compressed, the process proceeds to step S3109. In step S3109, the V0 temporal memory 532-0 stores the pre-compression V0 motion vector. When the process of step S3109 ends, the process proceeds to step S3110.

図49のステップS3110乃至ステップS3112、図50のステップS3121乃至ステップS3129の各処理は、画像符号化装置500−0の各処理部により、図10のステップS1108乃至ステップS1119の各処理と同様に行われる。   49, steps S3110 to S3112 in FIG. 49 and steps S3121 to S3129 in FIG. 50 are performed by the processing units of the image coding apparatus 500-0 in the same manner as the processes in steps S1108 to S1119 in FIG. Is called.

次に、図50のステップS3130において、V0選択部535−0は、制御部521の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図49のステップS3106と同様に行われる。圧縮しないと判定された場合、すなわち、図49のステップS3106においても、動きベクトルを圧縮すると判定されなかった場合、処理はステップS3131に進む。   Next, in step S3130 of FIG. 50, the V0 selection unit 535-0 determines whether or not to compress the IVMP motion vector according to the control of the control unit 521. This determination is performed in the same manner as step S3106 in FIG. If it is determined not to compress, that is, if it is not determined to compress the motion vector also in step S3106 of FIG. 49, the process proceeds to step S3131.

この場合、図49のステップS3109の処理により圧縮前V0動きベクトルがV0テンポラルメモリ532−0に記憶されている。そこで、ステップS3131において、V0動きベクトル圧縮部533−0は、V0テンポラルメモリ532−0からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップS3132において、V0動きベクトルメモリ534−0は、ステップS3131において算出された1/16圧縮後V0動きベクトルを記憶する。   In this case, the V0 motion vector before compression is stored in the V0 temporal memory 532-0 by the process of step S3109 in FIG. Therefore, in step S3131, the V0 motion vector compression unit 533-0 reads the pre-compression V0 motion vector from the V0 temporal memory 532-0 and performs 1/16 compression. In step S3132, the V0 motion vector memory 534-0 stores the 1 / 16-compressed V0 motion vector calculated in step S3131.

この場合、V0テンポラルメモリ532−0に記憶された圧縮前V0動きベクトルは、動き予測・補償部514−1において、IVMPに利用される。また、V0動きベクトルメモリ534−0に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部514−0において、TMVPに利用される。   In this case, the pre-compression V0 motion vector stored in the V0 temporal memory 532-0 is used for IVMP in the motion prediction / compensation unit 514-1. The 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 534-0 is used for TMVP in the motion prediction / compensation unit 514-0.

ステップS3132の処理が終了すると、V0符号化処理が終了し、処理は図48に戻る。   When the process of step S3132 ends, the V0 encoding process ends, and the process returns to FIG.

また、図50のステップS3130において、動きベクトルを圧縮すると判定された場合、すなわち、図49のステップS3106においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図48に戻る。   If it is determined in step S3130 in FIG. 50 that the motion vector is compressed, that is, if it is determined also in step S3106 in FIG. 49 that the motion vector is compressed, the V0 encoding process ends, and the process is as shown in FIG. Return to 48.

この場合、V0動きベクトルメモリ534−0に記憶された1/16圧縮後V0動きベクトルは、動き予測・補償部514−0において、TMVPに利用されるとともに、動き予測・補償部514−1において、IVMPに利用される。   In this case, the 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 534-0 is used for TMVP in the motion prediction / compensation unit 514-0 and also in the motion prediction / compensation unit 514-1. Used for IVMP.

なお、図49のステップS3104において実行されるV0インター動き予測処理は、動き予測・補償部514−0により、第1の実施の形態の場合(図11)と同様に行われるのでその説明を省略する。   Note that the V0 inter motion prediction process executed in step S3104 in FIG. 49 is performed by the motion prediction / compensation unit 514-0 in the same manner as in the first embodiment (FIG. 11), and thus the description thereof is omitted. To do.

<V1符号化処理の流れ>
次に、図51および図52のフローチャートを参照して、図48のステップS3005において実行される、ビュー1の符号化を行うV1符号化処理の流れの例を説明する。
<V1 encoding process flow>
Next, an example of the flow of V1 encoding processing for encoding view 1 executed in step S3005 of FIG. 48 will be described with reference to the flowcharts of FIGS.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、インター動き予測処理にある。したがって、図51に示されるように、ビュー1に対するV1符号化処理は、V1画像符号化装置500−1によって、ビュー0に対するV0符号化処理(図49および図50)の場合と基本的に同様に実行される。つまり、図51のステップS3201乃至ステップS3212、並びに、図52のステップS3221乃至ステップS3232の各処理は、図49のステップS3101乃至ステップS3112、並びに、図50のステップS3121乃至ステップS3132の各処理と基本的に同様に実行される。したがって、図51および図52の説明は、図49および図50の説明におけるV0画像符号化装置500−0の各部をV1画像符号化装置500−1の各部に置き換え、図49および図50においてビュー0に対する処理としてした説明を、ビュー1に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the inter motion prediction process. Therefore, as shown in FIG. 51, the V1 encoding process for view 1 is basically the same as the V0 encoding process for view 0 (FIGS. 49 and 50) by V1 image encoding device 500-1. To be executed. That is, steps S3201 to S3212 in FIG. 51 and steps S3221 to S3232 in FIG. 52 are basically the same as steps S3101 to S3112 in FIG. 49 and steps S3121 to S3132 in FIG. Are similarly performed. Therefore, in the description of FIGS. 51 and 52, each part of the V0 image encoding device 500-0 in the description of FIGS. 49 and 50 is replaced with each part of the V1 image encoding device 500-1. Since the description for the process for 0 only needs to be replaced with the process for the view 1, its description is omitted.

<V1インター動き予測処理の流れ>
次に、図51のステップS3204において実行されるV1インター動き予測処理の流れの例を、図53のフローチャートを参照して説明する。
<V1 inter motion prediction process flow>
Next, an example of the flow of V1 inter motion prediction processing executed in step S3204 in FIG. 51 will be described with reference to the flowchart in FIG.

V1インター動き予測処理が開始されると、ステップS3251乃至ステップS3253の各処理は、図13のステップS1231乃至ステップS1233の各処理と基本的に同様に実行される。ただし、この場合のV1インター動き予測処理は、動き予測・補償部514−1が実行する。   When the V1 inter motion prediction process is started, the processes in steps S3251 to S3253 are executed basically in the same manner as the processes in steps S1231 to S1233 in FIG. However, the V1 inter motion prediction process in this case is executed by the motion prediction / compensation unit 514-1.

また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図53のステップS3254において、動き予測・補償部514−1は、制御部521の制御(つまり、制御部521により制御されるV0選択部535−0の選択)に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップS3255に進む。   In this case, whether to compress the motion vector for IVMP is selected. That is, in step S3254 in FIG. 53, the motion prediction / compensation unit 514-1 compresses the motion vector according to the control of the control unit 521 (that is, the selection of the V0 selection unit 535-0 controlled by the control unit 521). It is determined whether or not. If it is determined that compression is to be performed, the process proceeds to step S3255.

ステップS3255において、動き予測・補償部514−1は、V0動きベクトルメモリ534−0から取得した1/16圧縮後V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップS3257に進む。   In step S3255, the motion prediction / compensation unit 514-1 determines an IVMP prediction motion vector candidate using the 1 / 16-compressed V0 motion vector acquired from the V0 motion vector memory 534-0. When a candidate is determined, the process proceeds to step S3257.

また、ステップS3254において、動きベクトルを圧縮しないと判定された場合、処理は、ステップS3256に進む。   If it is determined in step S3254 that the motion vector is not compressed, the process proceeds to step S3256.

ステップS3256において、動き予測・補償部514−1は、V0テンポラルメモリ532−0から取得した圧縮前V0動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップS3257に進む。   In step S3256, the motion prediction / compensation unit 514-1 determines an IVMP prediction motion vector candidate using the pre-compression V0 motion vector acquired from the V0 temporal memory 532-0. When a candidate is determined, the process proceeds to step S3257.

図53のステップS3257乃至ステップS3260の各処理は、図13のステップS1235乃至ステップS1238の各処理と同様に実行される。ステップS3260の処理が終了すると、V1インター動き予測処理が終了し、処理は、図51に戻る。   Each process of step S3257 to step S3260 in FIG. 53 is executed in the same manner as each process of step S1235 to step S1238 in FIG. When the process of step S3260 ends, the V1 inter motion prediction process ends, and the process returns to FIG.

<V2符号化処理の流れ>
次に、図54および図55のフローチャートを参照して、図48のステップS3006において実行される、ビュー2の符号化を行うV2符号化処理の流れの例を説明する。
<V2 encoding process flow>
Next, an example of the flow of V2 encoding processing for encoding view 2 executed in step S3006 of FIG. 48 will be described with reference to the flowcharts of FIGS. 54 and 55.

ビュー2に対する処理は、ビュー1に対する処理と同様に実行される。したがって、図54および図55に示されるように、V2符号化処理は、V2画像符号化装置500−2によって、ビュー1に対するV1符号化処理(図51および図52)の場合と基本的に同様に実行される。つまり、図54のステップS3301乃至ステップS3312、並びに、図55のステップS3321乃至ステップS3332の各処理は、図51のステップS3201乃至ステップS3212、並びに、図52のステップS3221乃至ステップS3232の各処理と基本的に同様に実行される。したがって、図54および図55の説明は、図51および図52の説明におけるV1画像符号化装置500−1の各処理部をV2画像符号化装置500−2の各処理部に置き換え、図51および図52においてビュー1に対する処理との説明を、ビュー2に対する処理に置き換えるだけでよいので、その説明は省略する。   The process for view 2 is executed in the same manner as the process for view 1. Therefore, as shown in FIGS. 54 and 55, the V2 encoding process is basically the same as the case of the V1 encoding process (FIGS. 51 and 52) for the view 1 by the V2 image encoding device 500-2. To be executed. That is, steps S3301 to S3312 in FIG. 54 and steps S3321 to S3332 in FIG. 55 are the same as steps S3201 to S3212 in FIG. 51 and steps S3221 to S3232 in FIG. Are similarly performed. 54 and 55, the processing units of the V1 image encoding device 500-1 in the description of FIGS. 51 and 52 are replaced with the processing units of the V2 image encoding device 500-2. In FIG. 52, the description of the process for the view 1 only needs to be replaced with the process for the view 2, and the description thereof will be omitted.

なお、ビュー2は、ビュー0乃至ビュー2の中で最後に処理されるビューであるので、生成されたV2動きベクトルは、IVMPに利用されない。したがって、図54のステップS3307およびステップS3308、または、図55のステップS3331およびステップS3338のいずれか一方を行えばよい。したがって、その他方と、図54のステップS3306およびステップS3330の判定処理は、省略することができる。   Note that the view 2 is the last processed view among the views 0 to 2, and thus the generated V2 motion vector is not used for IVMP. Therefore, step S3307 and step S3308 in FIG. 54, or step S3331 and step S3338 in FIG. 55 may be performed. Therefore, the other process and the determination process in steps S3306 and S3330 in FIG. 54 can be omitted.

<V2インター動き予測処理の流れ>
次に、図54のステップS3304において実行されるV2インター動き予測処理の流れの例を、図56のフローチャートを参照して説明する。
<V2 inter motion prediction process flow>
Next, an example of the flow of V2 inter motion prediction processing executed in step S3304 of FIG. 54 will be described with reference to the flowchart of FIG.

V2インター動き予測処理が開始されると、ステップS3351乃至ステップS3353の各処理は、図15のステップS1331乃至ステップS1333の各処理と基本的に同様に実行される。ただし、この場合のV2インター動き予測処理は、動き予測・補償部514−2が実行する。   When the V2 inter motion prediction process is started, the processes in steps S3351 to S3353 are executed basically in the same manner as the processes in steps S1331 to S1333 in FIG. However, the V2 inter motion prediction process in this case is executed by the motion prediction / compensation unit 514-2.

また、この場合、IVMP用の動きベクトルを圧縮するか否かが選択される。つまり、図56のステップS3354において、動き予測・補償部514−2は、制御部521の制御(つまり、制御部521により制御されるV1選択部535−1の選択)に従って、動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理は、ステップS3355に進む。   In this case, whether to compress the motion vector for IVMP is selected. That is, in step S3354 in FIG. 56, the motion prediction / compensation unit 514-2 compresses the motion vector according to the control of the control unit 521 (that is, the selection of the V1 selection unit 535-1 controlled by the control unit 521). It is determined whether or not. If it is determined to compress, the process proceeds to step S3355.

ステップS3355において、動き予測・補償部514−2は、V1動きベクトルメモリ534−1から取得した1/16圧縮後V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップS3357に進む。   In step S3355, the motion prediction / compensation unit 514-2 determines an IVMP prediction motion vector candidate using the 1 / 16-compressed V1 motion vector acquired from the V1 motion vector memory 534-1. When a candidate is determined, the process proceeds to step S3357.

また、ステップS3354において、動きベクトルを圧縮しないと判定された場合、処理は、ステップS3356に進む。   If it is determined in step S3354 that the motion vector is not compressed, the process proceeds to step S3356.

ステップS3356において、動き予測・補償部514−2は、V1テンポラルメモリ532−1から取得した圧縮前V1動きベクトルを用いて、IVMP予測動きベクトル候補を決定する。候補が決定されると、処理は、ステップS3357に進む。   In step S3356, the motion prediction / compensation unit 514-2 determines an IVMP prediction motion vector candidate using the pre-compression V1 motion vector acquired from the V1 temporal memory 532-1. When a candidate is determined, the process proceeds to step S3357.

図56のステップS3357乃至ステップS3360の各処理は、図15のステップS1335乃至ステップS1338の各処理と同様に実行される。ステップS3360の処理が終了すると、V2インター動き予測処理が終了し、処理は、図54に戻る。   Each process of step S3357 to step S3360 in FIG. 56 is executed in the same manner as each process of step S1335 to step S1338 in FIG. When the process of step S3360 ends, the V2 inter motion prediction process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像符号化装置500は、より適応的に、IVMP用の動きベクトルのために必要なメモリ容量を低減させることができ、符号化・復号に必要な記憶容量の増大を、より適応的に抑制することができる。   By executing each process as described above, the image coding apparatus 500 can adaptively reduce the memory capacity required for the motion vector for IVMP, and is necessary for coding / decoding. An increase in storage capacity can be more adaptively suppressed.

<画像復号装置>
次に、以上のように符号化された符号化データ(符号化ストリーム)の復号について説明する。図57は、V0画像復号装置の主な構成例を示すブロック図である。図58は、V1画像復号装置の主な構成例を示すブロック図である。図59は、V2画像復号装置の主な構成例を示すブロック図である。
<Image decoding device>
Next, decoding of the encoded data (encoded stream) encoded as described above will be described. FIG. 57 is a block diagram illustrating an exemplary main configuration of the V0 image decoding device. FIG. 58 is a block diagram illustrating an exemplary main configuration of the V1 image decoding device. FIG. 59 is a block diagram illustrating an exemplary main configuration of a V2 image decoding device.

図示せぬ画像復号装置600は、画像符号化装置500により符号化された、図2に示される多視点画像のような複数レイヤよりなる動画像の符号化データを、その符号化方法に対応する復号方法で復号する。この画像復号装置600は、多視点画像の各ビューの符号化データを復号するために、図57のV0画像復号装置600−0、図58のV1画像復号装置600−1、および図59のV2画像復号装置600−2を有する。V0画像復号装置600−0は、V0画像符号化装置500−0により符号化されたビュー0の画像の符号化データを復号する。V1画像復号装置600−1は、V1画像符号化装置500−1により符号化されたビュー1の画像の符号化データを復号する。V2画像復号装置600−2は、V2画像符号化装置500−2により符号化されたビュー2の画像の符号化データを復号する。   The image decoding device 600 (not shown) corresponds to the encoding method of the encoded data of the moving image composed of a plurality of layers such as the multi-view image shown in FIG. 2 encoded by the image encoding device 500. Decrypt with the decryption method. The image decoding apparatus 600 decodes the encoded data of each view of the multi-viewpoint image, the V0 image decoding apparatus 600-0 in FIG. 57, the V1 image decoding apparatus 600-1 in FIG. 58, and the V2 in FIG. An image decoding device 600-2 is included. The V0 image decoding device 600-0 decodes the encoded data of the view 0 image encoded by the V0 image encoding device 500-0. The V1 image decoding device 600-1 decodes the encoded data of the view 1 image encoded by the V1 image encoding device 500-1. The V2 image decoding device 600-2 decodes the encoded data of the view 2 image encoded by the V2 image encoding device 500-2.

図57に示されるように、V0画像復号装置600−0は、蓄積バッファ601−0、可逆復号部602−0、逆量子化部603−0、逆直交変換部604−0、演算部605−0、ループフィルタ606−0、画面並べ替えバッファ607−0、およびD/A変換部608−0を有する。また、V0画像復号装置600−0は、デコードピクチャバッファ609−0、画面内予測部610−0、動き補償部611−0、および選択部612−0を有する。   As illustrated in FIG. 57, the V0 image decoding device 600-0 includes an accumulation buffer 601-0, a lossless decoding unit 602-0, an inverse quantization unit 603-0, an inverse orthogonal transform unit 604-0, and an operation unit 605. 0, a loop filter 606-0, a screen rearrangement buffer 607-0, and a D / A conversion unit 608-0. Further, the V0 image decoding device 600-0 includes a decoded picture buffer 609-0, an intra-screen prediction unit 610-0, a motion compensation unit 611-0, and a selection unit 612-0.

また、図58に示されるように、V1画像復号装置600−1は、蓄積バッファ601−1、可逆復号部602−1、逆量子化部603−1、逆直交変換部604−1、演算部605−1、ループフィルタ606−1、画面並べ替えバッファ607−1、およびD/A変換部608−1を有する。また、V1画像復号装置600−1は、デコードピクチャバッファ609−1、画面内予測部610−1、動き補償部611−1、および選択部612−1を有する。   58, the V1 image decoding device 600-1 includes a storage buffer 601-1, a lossless decoding unit 602-1, an inverse quantization unit 603-1, an inverse orthogonal transform unit 604-1, and a calculation unit. 605-1, a loop filter 606-1, a screen rearrangement buffer 607-1, and a D / A conversion unit 608-1. In addition, the V1 image decoding device 600-1 includes a decoded picture buffer 609-1, an in-screen prediction unit 610-1, a motion compensation unit 611-1, and a selection unit 612-1.

さらに、図59に示されるように、V2画像復号装置600−2は、蓄積バッファ601−2、可逆復号部602−2、逆量子化部603−2、逆直交変換部604−2、演算部605−2、ループフィルタ606−2、画面並べ替えバッファ607−2、およびD/A変換部608−2を有する。また、V2画像復号装置600−2は、デコードピクチャバッファ609−2、画面内予測部610−2、動き補償部611−2、および選択部612−2を有する。   Further, as illustrated in FIG. 59, the V2 image decoding device 600-2 includes a storage buffer 601-2, a lossless decoding unit 602-2, an inverse quantization unit 603-2, an inverse orthogonal transform unit 604-2, and a calculation unit. 605-2, a loop filter 606-2, a screen rearrangement buffer 607-2, and a D / A conversion unit 608-2. Further, the V2 image decoding device 600-2 includes a decoded picture buffer 609-2, an intra-screen prediction unit 610-2, a motion compensation unit 611-2, and a selection unit 612-2.

以下において、蓄積バッファ601−0乃至蓄積バッファ601−2を互いに区別して説明する必要が無い場合、単に、蓄積バッファ601と称する。また、可逆復号部602−0乃至可逆復号部602−2を互いに区別して説明する必要が無い場合、単に、可逆復号部602と称する。さらに、逆量子化部603−0乃至逆量子化部603−2を互いに区別して説明する必要が無い場合、単に、逆量子化部603と称する。また、逆直交変換部604−0乃至逆直交変換部604−2を互いに区別して説明する必要が無い場合、単に、逆直交変換部604と称する。さらに、演算部605−0乃至演算部605−2を互いに区別して説明する必要が無い場合、単に、演算部605と称する。   In the following, the storage buffers 601-0 to 601-2 are simply referred to as storage buffers 601 when there is no need to distinguish them from each other. Also, the lossless decoding unit 602-0 to the lossless decoding unit 602-2 are simply referred to as the lossless decoding unit 602 when it is not necessary to distinguish between them. Further, when there is no need to distinguish between the inverse quantization unit 603-0 to the inverse quantization unit 603-2, they are simply referred to as an inverse quantization unit 603. In addition, when there is no need to distinguish between the inverse orthogonal transform unit 604-0 to the inverse orthogonal transform unit 604-2, the inverse orthogonal transform unit 604 is simply referred to as an inverse orthogonal transform unit 604. Furthermore, when it is not necessary to distinguish between the calculation units 605-0 to 605-2, they are simply referred to as a calculation unit 605.

また、ループフィルタ606−0乃至ループフィルタ606−2を互いに区別して説明する必要が無い場合、単に、ループフィルタ606と称する。さらに、画面並べ替えバッファ607−0乃至画面並べ替えバッファ607−2を互いに区別して説明する必要が無い場合、単に、画面並べ替えバッファ607と称する。また、D/A変換部608−0乃至D/A変換部608−2を互いに区別して説明する必要が無い場合、単に、D/A変換部608と称する。さらに、デコードピクチャバッファ609−0乃至デコードピクチャバッファ609−2を互いに区別して説明する必要が無い場合、単に、デコードピクチャバッファ609と称する。   Further, when it is not necessary to distinguish between the loop filters 606-0 to 606-2, the loop filters 606-0 to 606-2 are simply referred to as a loop filter 606. Furthermore, when it is not necessary to distinguish the screen rearrangement buffer 607-0 to the screen rearrangement buffer 607-2 from each other, they are simply referred to as a screen rearrangement buffer 607. In addition, when there is no need to distinguish between the D / A conversion unit 608-0 to the D / A conversion unit 608-2, the D / A conversion unit 608-2 is simply referred to as a D / A conversion unit 608. Furthermore, the decoded picture buffer 609-0 to the decoded picture buffer 609-2 are simply referred to as a decoded picture buffer 609 when it is not necessary to distinguish between them.

また、画面内予測部610−0乃至画面内予測部610−2を互いに区別して説明する必要が無い場合、単に、画面内予測部610と称する。さらに、動き補償部611−0乃至動き補償部611−2を互いに区別して説明する必要が無い場合、単に、動き補償部611と称する。また、選択部612−0乃至選択部612−2を互いに区別して説明する必要が無い場合、単に、選択部612と称する。   In addition, when it is not necessary to distinguish between the intra-screen prediction unit 610-0 to the intra-screen prediction unit 610-2, the intra-screen prediction unit 610-2 is simply referred to as an intra-screen prediction unit 610. Further, when it is not necessary to distinguish the motion compensation units 611-0 to 611-2 from each other, they are simply referred to as a motion compensation unit 611. In addition, when there is no need to distinguish between the selection units 612-0 to 612-2, the selection units 612-0 to 612-2 are simply referred to as selection units 612.

蓄積バッファ601は、蓄積バッファ201に対応し、基本的に蓄積バッファ201と同様の処理を行う。可逆復号部602は、可逆復号部202に対応し、基本的に可逆復号部202と同様の処理を行う。逆量子化部603は、逆量子化部203に対応し、基本的に逆量子化部203と同様の処理を行う。逆直交変換部604は、逆直交変換部204に対応し、基本的に逆直交変換部204と同様の処理を行う。演算部605は、演算部205に対応し、基本的に演算部205と同様の処理を行う。   The accumulation buffer 601 corresponds to the accumulation buffer 201 and basically performs the same processing as the accumulation buffer 201. The lossless decoding unit 602 corresponds to the lossless decoding unit 202 and basically performs the same processing as the lossless decoding unit 202. The inverse quantization unit 603 corresponds to the inverse quantization unit 203 and basically performs the same processing as the inverse quantization unit 203. The inverse orthogonal transform unit 604 corresponds to the inverse orthogonal transform unit 204 and basically performs the same processing as the inverse orthogonal transform unit 204. The calculation unit 605 corresponds to the calculation unit 205 and basically performs the same processing as the calculation unit 205.

ループフィルタ606は、ループフィルタ206に対応し、基本的にループフィルタ206と同様の処理を行う。画面並べ替えバッファ607は、画面並べ替えバッファ207に対応し、基本的に画面並べ替えバッファ207と同様の処理を行う。D/A変換部608は、D/A変換部208に対応し、基本的にD/A変換部208と同様の処理を行う。デコードピクチャバッファ609は、デコードピクチャバッファ209に対応し、基本的にデコードピクチャバッファ209と同様の処理を行う。   The loop filter 606 corresponds to the loop filter 206 and basically performs the same processing as the loop filter 206. The screen rearrangement buffer 607 corresponds to the screen rearrangement buffer 207, and basically performs the same processing as the screen rearrangement buffer 207. The D / A conversion unit 608 corresponds to the D / A conversion unit 208 and basically performs the same processing as the D / A conversion unit 208. The decoded picture buffer 609 corresponds to the decoded picture buffer 209 and basically performs the same processing as the decoded picture buffer 209.

画面内予測部610は、画面内予測部210に対応し、基本的に画面内予測部210と同様の処理を行う。動き補償部611は、動き補償部211に対応し、基本的に動き補償部211と同様の処理を行う。選択部612は、選択部212に対応し、基本的に選択部212と同様の処理を行う。   The intra-screen prediction unit 610 corresponds to the intra-screen prediction unit 210 and basically performs the same processing as the intra-screen prediction unit 210. The motion compensation unit 611 corresponds to the motion compensation unit 211 and basically performs the same processing as the motion compensation unit 211. The selection unit 612 corresponds to the selection unit 212 and basically performs the same processing as the selection unit 212.

V0画像復号装置600−0は、さらに、制御部621、V0選択部631−0、V0テンポラルメモリ632−0、V0動きベクトル圧縮部633−0、V0動きベクトルメモリ634−0、およびV0選択部635−0を有する。   The V0 image decoding device 600-0 further includes a control unit 621, a V0 selection unit 631-0, a V0 temporal memory 632-0, a V0 motion vector compression unit 633-0, a V0 motion vector memory 634-0, and a V0 selection unit. 635-0.

V1画像復号装置600−1は、さらに、V1選択部631−1、V1テンポラルメモリ632−1、V1動きベクトル圧縮部633−1、V1動きベクトルメモリ634−1、およびV1選択部635−1を有する。   The V1 image decoding apparatus 600-1 further includes a V1 selection unit 631-1, a V1 temporal memory 632-1, a V1 motion vector compression unit 633-1, a V1 motion vector memory 634-1, and a V1 selection unit 635-1. Have.

V2画像復号装置600−2は、さらに、V2選択部631−2、V2テンポラルメモリ632−2、V2動きベクトル圧縮部633−2、およびV2動きベクトルメモリ634−2を有する。   The V2 image decoding device 600-2 further includes a V2 selection unit 631-2, a V2 temporal memory 632-2, a V2 motion vector compression unit 633-2, and a V2 motion vector memory 634-2.

可逆復号部602−0は、符号化側から供給された、IVMP用の動きベクトルを圧縮するか否かを示すフラグを、例えばシーケンスパラメータセットから抽出し、制御部621に供給する。   The lossless decoding unit 602-0 extracts, for example, from the sequence parameter set, a flag indicating whether to compress the motion vector for IVMP supplied from the encoding side, and supplies the extracted flag to the control unit 621.

制御部621は、可逆復号部602から取得したフラグの値に基づいて、すなわち、符号化側において採用された方法(制御部521によって決定された方法)に従って、V0選択部631−0、V0選択部635−0、V1選択部631−1、V1選択部635−1、および、V2選択部631−2の選択(スイッチング)を制御する。   The control unit 621 selects the V0 selection unit 631-0 and V0 based on the flag value acquired from the lossless decoding unit 602, that is, according to the method employed on the encoding side (method determined by the control unit 521). The selection (switching) of the unit 635-0, the V1 selection unit 631-1, the V1 selection unit 635-1, and the V2 selection unit 631-2 is controlled.

IVMP用の動きベクトルを圧縮する場合、V0選択部631−0は、制御部621の制御に従って、V0動きベクトル圧縮部633−0を選択し、V0選択部635−0は、制御部621の制御に従って、V0動きベクトルメモリ634−0を選択する。また、V1選択部631−1は、制御部621の制御に従って、V1動きベクトル圧縮部633−1を選択し、V1選択部635−1は、制御部621の制御に従って、V1動きベクトルメモリ634−1を選択する。さらに、V2選択部631−2は、制御部621の制御に従って、V2動きベクトル圧縮部633−2を選択する。   When compressing a motion vector for IVMP, the V0 selection unit 631-0 selects the V0 motion vector compression unit 633-0 according to the control of the control unit 621, and the V0 selection unit 635-0 controls the control unit 621. Accordingly, the V0 motion vector memory 634-0 is selected. Further, the V1 selection unit 631-1 selects the V1 motion vector compression unit 633-1 according to the control of the control unit 621, and the V1 selection unit 635-1 selects the V1 motion vector memory 634- according to the control of the control unit 621. Select 1. Furthermore, the V2 selection unit 631-2 selects the V2 motion vector compression unit 633-2 according to the control of the control unit 621.

この場合、動き補償部611−0は、再構築したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0選択部631−0を介して、V0動きベクトル圧縮部633−0に供給する。V0動きベクトル圧縮部633−0は、動き補償部611−0から供給された圧縮前V0動きベクトルを1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ634−0に供給する。V0動きベクトルメモリ634−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ634−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−0に供給する。また、V0動きベクトルメモリ634−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部635−0を介して、動き補償部611−1に供給する。   In this case, the motion compensation unit 611-0 supplies the pre-compression V0 motion vector (maximum 4 × 4 accuracy) of the reconstructed current block to the V0 motion vector compression unit 633-0 via the V0 selection unit 631-0. . The V0 motion vector compression unit 633-0 performs 1/16 compression on the pre-compression V0 motion vector supplied from the motion compensation unit 611-0, and the obtained 1 / 16-compressed V0 motion vector is converted into a V0 motion vector memory 634-. Supply to zero. The V0 motion vector memory 634-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 634-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion compensation unit 611-0 as a motion vector of a temporally neighboring block. In addition, the V0 motion vector memory 634-0 appropriately stores the 1 / 16-compressed V0 motion vector stored therein as a motion vector of a peripheral block between views via the V0 selection unit 635-0. It supplies to the compensation part 611-1.

また、動き補償部611−1は、再構築したカレントブロックの圧縮前V1動きベクトル(最高4x4精度)を、V1選択部631−1を介して、V1動きベクトル圧縮部633−1に供給する。V1動きベクトル圧縮部633−1は、動き補償部611−1から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ634−1に供給する。V1動きベクトルメモリ634−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ634−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−1に供給する。また、V1動きベクトルメモリ634−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部635−1を介して、動き補償部611−2に供給する。   Also, the motion compensation unit 611-1 supplies the reconstructed V1 motion vector (maximum 4 × 4 accuracy) of the current block to the V1 motion vector compression unit 633-1 via the V1 selection unit 631-1. The V1 motion vector compression unit 633-1 compresses the pre-compression V1 motion vector supplied from the motion compensation unit 611-1 by 1/16, and the obtained 1 / 16-compressed V1 motion vector is converted into a V1 motion vector memory 634-. 1 is supplied. The V1 motion vector memory 634-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 634-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion compensation unit 611-1 as a motion vector of a temporally neighboring block. In addition, the V1 motion vector memory 634-1 appropriately uses the stored 1 / 16-compressed V1 motion vector as a motion vector of a peripheral block between views via the V1 selection unit 635-1. It supplies to the compensation part 611-2.

さらに、動き補償部611−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(最高4x4精度)を、V2選択部631−2を介して、V2動きベクトル圧縮部633−2に供給する。V2動きベクトル圧縮部633−2は、動き補償部611−2から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ634−2に供給する。V2動きベクトルメモリ634−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ634−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−2に供給する。   Furthermore, the motion compensation unit 611-2 supplies the pre-compression V2 motion vector (up to 4x4 accuracy) of the current block generated by motion prediction to the V2 motion vector compression unit 633-2 via the V2 selection unit 631-2. To do. The V2 motion vector compressing unit 633-2 performs 1/16 compression on the pre-compression V2 motion vector supplied from the motion compensation unit 611-2, and the obtained 1 / 16-compressed V2 motion vector is converted into a V2 motion vector memory 634-. 2 is supplied. The V2 motion vector memory 634-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 634-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion compensation unit 611-2 as temporally neighboring block motion vectors.

つまり、この場合、画像復号装置600は、第1の実施の形態において説明した方法の場合(例えば図5)と同様の構成となる。   That is, in this case, the image decoding apparatus 600 has the same configuration as that of the method described in the first embodiment (for example, FIG. 5).

IVMP用の動きベクトルが圧縮されない場合、V0選択部631−0およびV0選択部635−0は、制御部621の制御に従って、V0テンポラルメモリ632−0を選択する。また、V1選択部631−1およびV1選択部635−1は、制御部621の制御に従って、V1テンポラルメモリ632−0を選択する。さらに、V2選択部631−2は、制御部621の制御に従って、V2テンポラルメモリ632−2を選択する。   When the motion vector for IVMP is not compressed, the V0 selection unit 631-0 and the V0 selection unit 635-0 select the V0 temporal memory 632-0 according to the control of the control unit 621. Further, the V1 selection unit 631-1 and the V1 selection unit 635-1 select the V1 temporal memory 632-0 according to the control of the control unit 621. Further, the V2 selection unit 631-2 selects the V2 temporal memory 632-2 according to the control of the control unit 621.

この場合、動き補償部611−0は、動き予測により生成したカレントブロックの圧縮前V0動きベクトル(最高4x4精度)を、V0選択部631−0を介して、V0テンポラルメモリ632−0に供給する。V0テンポラルメモリ632−0は、適宜、記憶している圧縮前V0動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V0選択部635−0を介して、動き補償部611−1に供給する。また、V0テンポラルメモリ632−0は、適宜、記憶している圧縮前V0動きベクトルを、V0動きベクトル圧縮部633−0に供給する。V0動きベクトル圧縮部633−0は、V0テンポラルメモリ632−0から圧縮前V0動きベクトルを読み出し、1/16圧縮し、得られた1/16圧縮後V0動きベクトルをV0動きベクトルメモリ634−0に供給する。V0動きベクトルメモリ634−0は、供給された1/16圧縮後V0動きベクトルを記憶する。V0動きベクトルメモリ634−0は、適宜、記憶している1/16圧縮後V0動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−0に供給する。   In this case, the motion compensation unit 611-0 supplies the V0 motion vector (maximum 4 × 4 accuracy) of the current block generated by motion prediction to the V0 temporal memory 632-0 via the V0 selection unit 631-0. . The V0 temporal memory 632-0 appropriately stores the pre-compression V0 motion vector stored therein as a motion vector of a neighboring block between views, via the V0 selection unit 635-0, to the motion compensation unit 611-1. Supply. Also, the V0 temporal memory 632-0 supplies the stored pre-compression V0 motion vector to the V0 motion vector compression unit 633-0 as appropriate. The V0 motion vector compressing unit 633-0 reads the V0 motion vector before compression from the V0 temporal memory 632-0, performs 1/16 compression, and converts the obtained 1 / 16-compressed V0 motion vector into the V0 motion vector memory 634-0. To supply. The V0 motion vector memory 634-0 stores the supplied 1 / 16-compressed V0 motion vector. The V0 motion vector memory 634-0 appropriately supplies the stored 1 / 16-compressed V0 motion vector to the motion compensation unit 611-0 as a motion vector of a temporally neighboring block.

また、動き補償部611−1は、動き予測により生成したカレントブロックの圧縮前V1動きベクトル(最高4x4精度)を、V1選択部631−1を介して、V1テンポラルメモリ632−1に供給する。V1テンポラルメモリ632−1は、適宜、記憶している圧縮前V1動きベクトルを、ビュー間的に周辺のブロックの動きベクトルとして、V1選択部635−1を介して、動き補償部611−2に供給する。また、V1テンポラルメモリ632−1は、適宜、記憶している圧縮前V1動きベクトルを、V1動きベクトル圧縮部633−1に供給する。V1動きベクトル圧縮部633−1は、V1テンポラルメモリ632−1から供給された圧縮前V1動きベクトルを1/16圧縮し、得られた1/16圧縮後V1動きベクトルをV1動きベクトルメモリ634−1に供給する。V1動きベクトルメモリ634−1は、供給された1/16圧縮後V1動きベクトルを記憶する。V1動きベクトルメモリ634−1は、適宜、記憶している1/16圧縮後V1動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−1に供給する。   The motion compensation unit 611-1 supplies the pre-compression V1 motion vector (maximum 4 × 4 accuracy) of the current block generated by motion prediction to the V1 temporal memory 632-1 via the V1 selection unit 631-1. The V1 temporal memory 632-1 appropriately stores the pre-compression V1 motion vector stored therein as a motion vector of a neighboring block between views, via the V1 selection unit 635-1, to the motion compensation unit 611-2. Supply. Also, the V1 temporal memory 632-1 supplies the stored pre-compression V1 motion vector to the V1 motion vector compression unit 633-1 as appropriate. The V1 motion vector compressing unit 633-1 compresses the pre-compression V1 motion vector supplied from the V1 temporal memory 632-1 by 1/16, and the obtained 1 / 16-compressed V1 motion vector is converted into a V1 motion vector memory 634-. 1 is supplied. The V1 motion vector memory 634-1 stores the supplied 1 / 16-compressed V1 motion vector. The V1 motion vector memory 634-1 appropriately supplies the stored 1 / 16-compressed V1 motion vector to the motion compensation unit 611-1 as a motion vector of a temporally neighboring block.

さらに、動き補償部611−2は、動き予測により生成したカレントブロックの圧縮前V2動きベクトル(最高4x4精度)を、V2選択部631−2を介して、V2テンポラルメモリ632−2に供給する。V2テンポラルメモリ632−2は、適宜、記憶している圧縮前V2動きベクトルを、V2動きベクトル圧縮部633−2に供給する。V2動きベクトル圧縮部633−2は、V2テンポラルメモリ632−2から供給された圧縮前V2動きベクトルを1/16圧縮し、得られた1/16圧縮後V2動きベクトルをV2動きベクトルメモリ634−2に供給する。V2動きベクトルメモリ634−2は、供給された1/16圧縮後V2動きベクトルを記憶する。V2動きベクトルメモリ634−2は、適宜、記憶している1/16圧縮後V2動きベクトルを、時間的に周辺のブロックの動きベクトルとして、動き補償部611−2に供給する。   Further, the motion compensation unit 611-2 supplies the pre-compression V2 motion vector (maximum 4 × 4 accuracy) of the current block generated by the motion prediction to the V2 temporal memory 632-2 via the V2 selection unit 631-2. The V2 temporal memory 632-2 appropriately supplies the stored pre-compression V2 motion vector to the V2 motion vector compression unit 633-2. The V2 motion vector compression unit 633-2 performs 1/16 compression on the uncompressed V2 motion vector supplied from the V2 temporal memory 632-2, and the obtained 1 / 16-compressed V2 motion vector is converted into a V2 motion vector memory 634-. 2 is supplied. The V2 motion vector memory 634-2 stores the supplied 1 / 16-compressed V2 motion vector. The V2 motion vector memory 634-2 appropriately supplies the stored 1 / 16-compressed V2 motion vector to the motion compensation unit 611-2 as temporally neighboring block motion vectors.

つまり、この場合、画像復号装置600は、従来の方法の場合(例えば図4)と同様の構成となる。   That is, in this case, the image decoding apparatus 600 has the same configuration as that of the conventional method (for example, FIG. 4).

以上のように、動きベクトルの圧縮方法を制御することができるようにすることにより、符号化・復号に必要な記憶容量の増大を適応的に抑制することができる。   As described above, by making it possible to control the motion vector compression method, it is possible to adaptively suppress an increase in storage capacity necessary for encoding / decoding.

<復号処理の流れ>
次に、以上のような画像復号装置600により実行される処理の流れについて説明する。図60のフローチャートを参照して、画像復号装置600による復号処理の流れの例を説明する。
<Decoding process flow>
Next, the flow of processing executed by the image decoding device 600 as described above will be described. An example of the flow of decoding processing by the image decoding device 600 will be described with reference to the flowchart of FIG.

復号処理が開始されると、制御部621は、ステップS3401において、符号化側から伝送された、IVMP用の動きベクトルを圧縮するか否かを示す動きベクトル圧縮フラグを受け取る。   When the decoding process is started, in step S3401, the control unit 621 receives a motion vector compression flag transmitted from the encoding side and indicating whether or not to compress the motion vector for IVMP.

カレントピクチャについて、V0画像復号装置600−0は、ステップS3402においてV0復号処理を行い、V1画像復号装置600−1は、ステップS3403においてV1復号処理を行い、V2画像復号装置600−2は、ステップS3404においてV2復号処理を行う。   For the current picture, the V0 image decoding device 600-0 performs V0 decoding processing in step S3402, the V1 image decoding device 600-1 performs V1 decoding processing in step S3403, and the V2 image decoding device 600-2 performs step S3402. In step S3404, V2 decoding processing is performed.

ステップS3405において、画像復号装置600は、全てのピクチャを処理したか否かを判定し、未処理のピクチャが存在すると判定した場合、処理をステップS3402に戻し、それ以降の処理を繰り返す。   In step S3405, the image decoding apparatus 600 determines whether all the pictures have been processed. If it is determined that there is an unprocessed picture, the process returns to step S3402, and the subsequent processing is repeated.

各ピクチャについて、ステップS3402乃至ステップS3405の処理が繰り返され、ステップS3405において、全てのピクチャが処理されたと判定された場合、画像復号装置600は、復号処理を終了する。   For each picture, the processing from step S3402 to step S3405 is repeated, and when it is determined in step S3405 that all the pictures have been processed, the image decoding apparatus 600 ends the decoding processing.

<V0復号処理の流れ>
次に、図61および図62のフローチャートを参照して、図60のステップS3402において実行される、ビュー0の復号を行うV0復号処理の流れの例を説明する。
<V0 decoding process flow>
Next, an example of the flow of V0 decoding processing for decoding view 0, which is executed in step S3402 of FIG. 60, will be described with reference to the flowcharts of FIGS.

ステップS3501乃至ステップS3508の各処理は、V0画像復号装置600−0の各処理部により、図20のステップS1501乃至ステップS1508の各処理と同様に行われる。   Each processing of step S3501 to step S3508 is performed by each processing unit of the V0 image decoding device 600-0 in the same manner as each processing of step S1501 to step S1508 in FIG.

ステップS3509において、V0選択部631−0は、制御部621の制御に従って、圧縮前V0動きベクトルを圧縮するか否かを判定する。圧縮すると判定された場合、処理はステップS3510に進む。   In step S3509, the V0 selection unit 631-0 determines whether to compress the pre-compression V0 motion vector according to the control of the control unit 621. If it is determined to be compressed, the process proceeds to step S3510.

ステップS3510において、V0動きベクトル圧縮部633−0は、圧縮前V0動きベクトルを1/16圧縮する。ステップS3511において、V0動きベクトルメモリ634−0は、ステップS3510の処理により生成された1/16圧縮後V0動きベクトルを記憶する。ステップS3511の処理が終了すると、処理は図62のステップS3521に進む。   In step S3510, the V0 motion vector compressing unit 633-0 compresses the pre-compression V0 motion vector by 1/16. In step S3511, the V0 motion vector memory 634-0 stores the 1 / 16-compressed V0 motion vector generated by the process of step S3510. When the process of step S3511 ends, the process proceeds to step S3521 of FIG.

また、図61のステップS3509において、圧縮前V0動きベクトルを圧縮しないと判定された場合、処理はステップS3512に進む。ステップS3512において、V0テンポラルメモリ632−0は、圧縮前V0動きベクトルを記憶する。ステップS3512の処理が終了すると、処理は、図62のステップS3521に進む。   If it is determined in step S3509 in FIG. 61 that the pre-compression V0 motion vector is not compressed, the process proceeds to step S3512. In step S3512, the V0 temporal memory 632-0 stores the pre-compression V0 motion vector. When the process of step S3512 ends, the process proceeds to step S3521 of FIG.

図62のステップS3521乃至ステップS3525の各処理は、画像復号装置600−0の各処理部により、図20のステップS1511乃至ステップS1515の各処理と同様に行われる。   Each process of step S3521 to step S3525 of FIG. 62 is performed by each processing unit of the image decoding device 600-0 in the same manner as each process of step S1511 to step S1515 of FIG.

図62のステップS3509において、V0選択部635−0は、制御部621の制御に従って、IVMPの動きベクトルを圧縮するか否かを判定する。この判定は、図61のステップS3509と同様に行われる。圧縮しないと判定された場合、すなわち、図61のステップS3509においても、動きベクトルを圧縮すると判定されなかった場合、処理は図62のステップS3527に進む。   In step S3509 of FIG. 62, the V0 selection unit 635-0 determines whether or not to compress the IVMP motion vector according to the control of the control unit 621. This determination is performed in the same manner as step S3509 in FIG. If it is determined not to compress, that is, if it is not determined to compress the motion vector in step S3509 of FIG. 61, the process proceeds to step S3527 of FIG.

この場合、図61のステップS3512の処理により圧縮前V0動きベクトルがV0テンポラルメモリ632−0に記憶されている。そこで、ステップS3527において、V0動きベクトル圧縮部633−0は、V0テンポラルメモリ632−0からその圧縮前V0動きベクトルを読み出し、1/16圧縮を行う。ステップS3528において、V0動きベクトルメモリ634−0は、ステップS3527において算出された1/16圧縮後V0動きベクトルを記憶する。   In this case, the pre-compression V0 motion vector is stored in the V0 temporal memory 632-0 by the process of step S3512 of FIG. Therefore, in step S3527, the V0 motion vector compression unit 633-0 reads the pre-compression V0 motion vector from the V0 temporal memory 632-0 and performs 1/16 compression. In step S3528, the V0 motion vector memory 634-0 stores the 1 / 16-compressed V0 motion vector calculated in step S3527.

この場合、V0テンポラルメモリ632−0に記憶された圧縮前V0動きベクトルは、動き補償部611−1において、IVMPに利用される。また、V0動きベクトルメモリ634−0に記憶された1/16圧縮後V0動きベクトルは、動き補償部611−0において、TMVPに利用される。   In this case, the pre-compression V0 motion vector stored in the V0 temporal memory 632-0 is used for IVMP in the motion compensation unit 611-1. The 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 634-0 is used for TMVP in the motion compensation unit 611-0.

ステップS3528の処理が終了すると、V0復号処理が終了し、処理は図60に戻る。   When the process of step S3528 ends, the V0 decoding process ends, and the process returns to FIG.

また、図62のステップS3526において、動きベクトルを圧縮すると判定された場合、すなわち、図61のステップS3509においても、動きベクトルを圧縮すると判定された場合、V0符号化処理が終了し、処理は図60に戻る。   If it is determined in step S3526 in FIG. 62 that the motion vector is compressed, that is, if it is determined also in step S3509 in FIG. 61 that the motion vector is compressed, the V0 encoding process ends, and the process is Return to 60.

この場合、V0動きベクトルメモリ634−0に記憶された1/16圧縮後V0動きベクトルは、動き補償部611−0において、TMVPに利用されるとともに、動き補償部611−1において、IVMPに利用される。   In this case, the 1 / 16-compressed V0 motion vector stored in the V0 motion vector memory 634-0 is used for TMVP in the motion compensation unit 611-0 and used for IVMP in the motion compensation unit 611-1. Is done.

なお、図61のステップS3506において実行されるV0動き補償処理は、動き補償部611−0により、第1の実施の形態の場合(図21)と同様に行われるのでその説明を省略する。   Note that the V0 motion compensation processing executed in step S3506 in FIG. 61 is performed by the motion compensation unit 611-0 in the same manner as in the case of the first embodiment (FIG. 21), and thus description thereof is omitted.

<V1復号処理の流れ>
次に、図63および図64のフローチャートを参照して、図60のステップS3403において実行される、ビュー1の符号化データを復号するV1復号処理の流れの例を説明する。
<V1 decoding process flow>
Next, an example of the flow of the V1 decoding process for decoding the encoded data of view 1 executed in step S3403 of FIG. 60 will be described with reference to the flowcharts of FIGS.

ビュー0に対する処理と、ビュー1に対する処理の違いは、主に、動き補償処理にある。したがって、図63および図64に示されるように、ビュー1に対するV1復号処理は、V1画像復号装置600−1によって、ビュー0に対するV0復号処理(図61および図62)の場合と基本的に同様に実行される。つまり、図63のステップS3601乃至ステップS3612、並びに、図64のステップS3621乃至ステップS3628の各処理は、図61のステップS3501乃至ステップS3512、並びに、図62のステップS3521乃至ステップS3528の各処理と基本的に同様に実行される。したがって、図63および図64の説明は、図61および図62の説明におけるV0画像復号装置600−0の各部をV1画像復号装置600−1の各部に置き換え、図61および図62においてビュー0に対する処理としてした説明を、ビュー1に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 1 is mainly in the motion compensation process. Therefore, as shown in FIGS. 63 and 64, the V1 decoding process for view 1 is basically the same as the V0 decoding process for view 0 (FIGS. 61 and 62) by V1 image decoding apparatus 600-1. To be executed. That is, steps S3601 to S3612 in FIG. 63 and steps S3621 to S3628 in FIG. 64 are the same as the steps S3501 to S3512 in FIG. 61 and steps S3521 to S3528 in FIG. Are similarly performed. Therefore, in the description of FIGS. 63 and 64, each unit of the V0 image decoding device 600-0 in the description of FIGS. 61 and 62 is replaced with each unit of the V1 image decoding device 600-1, and the view 0 in FIG. 61 and FIG. Since the description as the process only needs to be replaced with the process for the view 1, the description thereof is omitted.

<V1動き補償処理の流れ>
次に、図63のステップS3606において実行されるV1動き補償処理の流れの例を、図65のフローチャートを参照して説明する。
<V1 motion compensation process flow>
Next, an example of the flow of V1 motion compensation processing executed in step S3606 in FIG. 63 will be described with reference to the flowchart in FIG.

V1動き補償処理が開始されると、ステップS3641において、動き補償部611−1は、差分動き情報(差分動きベクトル)を取得する。ステップS3642において、動き補償部611−1は、インター予測情報に基づいて、予測動きベクトルのモードが空間予測であるか否かを判定する。空間予測であると判定された場合、処理は、ステップS3643に進む。   When the V1 motion compensation process is started, in step S3641, the motion compensation unit 611-1 acquires differential motion information (differential motion vector). In step S3642, the motion compensation unit 611-1 determines whether the prediction motion vector mode is spatial prediction based on the inter prediction information. If it is determined that the prediction is spatial prediction, the process proceeds to step S3643.

ステップS3643において、動き補償部611−1は、ピクチャ内の圧縮前V1動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS3649に進む。   In step S3643, the motion compensation unit 611-1 generates a prediction motion vector using the pre-compression V1 motion vector in the picture (the motion vector of the spatially neighboring block with respect to the current block). When the predicted motion vector is generated, the process proceeds to step S3649.

また、ステップS3642において、空間予測でないと判定された場合、処理は、ステップS3644に進む。   Also, in the event that determination is made in step S3642 that it is not spatial prediction, the processing proceeds to step S3644.

ビュー1の場合、最初に処理されるビューではないので、予測動きベクトルのモードがビュー間予測(IVMP)である可能性もある。   Since the view 1 is not the view processed first, the mode of the motion vector predictor may be inter-view prediction (IVMP).

ステップS3644において、動き補償部611−1は、インター予測情報に基づいて、予測動きベクトルのモードが時間予測であるか否かを判定する。時間予測であると判定された場合、処理は、ステップS3645に進む。   In step S3644, the motion compensation unit 611-1 determines whether the prediction motion vector mode is temporal prediction based on the inter prediction information. If it is determined to be time prediction, the process proceeds to step S3645.

ステップS3645において、動き補償部611−1は、他のピクチャ内の1/16圧縮後V1動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS3649に進む。   In step S3645, the motion compensation unit 611-1 generates a predicted motion vector using the 1 / 16-compressed V1 motion vector (motion vector of a spatially neighboring block with respect to the current block) in another picture. . When the predicted motion vector is generated, the process proceeds to step S3649.

また、ステップS3644において、時間予測でないと判定された場合、処理は、ステップS3646に進む。   If it is determined in step S3644 that it is not time prediction, the process proceeds to step S3646.

本実施の形態の場合、符号化側においてIVMP用の動きベクトルが圧縮される場合とされていない場合がある。   In the case of this embodiment, there are cases where the motion vector for IVMP is compressed or not on the encoding side.

ステップS3646において、動き補償部611−1は、制御部621の制御に基づいて、動きベクトルを圧縮するか否かを判定する。圧縮しないと判定された場合、処理は、ステップS3647に進む。   In step S3646, the motion compensation unit 611-1 determines whether to compress the motion vector based on the control of the control unit 621. If it is determined not to be compressed, the process proceeds to step S3647.

ステップS3647において、動き補償部611−1は、圧縮前V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS3649に進む。   In step S3647, the motion compensation unit 611-1 generates a predicted motion vector using the pre-compression V0 motion vector. When the predicted motion vector is generated, the process proceeds to step S3649.

また、ステップS3646において、圧縮すると判定された場合、処理は、ステップS3648に進む。   If it is determined in step S3646 that compression is to be performed, the process proceeds to step S3648.

ステップS3648において、動き補償部611−1は、1/16圧縮後V0動きベクトルを用いて予測動きベクトルを生成する。予測動きベクトルが生成されると、処理は、ステップS3649に進む。   In step S3648, the motion compensation unit 611-1 generates a predicted motion vector using the 1 / 16-compressed V0 motion vector. When the predicted motion vector is generated, the process proceeds to step S3649.

ステップS3649において、動き補償部611−1は、ステップS3643、ステップS3645、ステップS3647、若しくは、ステップS3648において生成された予測動きベクトルを用いて、動きベクトルを再構築する。   In step S3649, the motion compensation unit 611-1 reconstructs a motion vector using the predicted motion vector generated in step S3643, step S3645, step S3647, or step S3648.

ステップS3650において、動き補償部611−1は、動き補償を行い、予測画像を生成する。なお、動き補償部611−1は、ステップS3649において再構築された動きベクトルを記憶する。ステップS3650の処理が終了すると、V1動き補償処理が終了し、処理は、図63に戻る。   In step S3650, the motion compensation unit 611-1 performs motion compensation and generates a predicted image. Note that the motion compensation unit 611-1 stores the motion vector reconstructed in step S3649. When the process of step S3650 ends, the V1 motion compensation process ends, and the process returns to FIG.

<V2復号処理の流れ>
次に、図66および図67のフローチャートを参照して、図60のステップS3404において実行される、ビュー2の符号化データを復号するV2復号処理の流れの例を説明する。
<V2 decoding process flow>
Next, an example of the flow of V2 decoding processing for decoding the encoded data of view 2 executed in step S3404 of FIG. 60 will be described with reference to the flowcharts of FIGS. 66 and 67.

ビュー0に対する処理と、ビュー2に対する処理の違いは、主に、動き補償処理にある。したがって、図66および図67に示されるように、ビュー2に対するV2復号処理は、V2画像復号装置600−2によって、ビュー0に対するV0復号処理(図61および図62)の場合と基本的に同様に実行される。つまり、図66のステップS3701乃至ステップS3712、並びに、図67のステップS3721乃至ステップS3728の各処理は、図61のステップS3501乃至ステップS3512、並びに、図62のステップS3521乃至ステップS3528の各処理と基本的に同様に実行される。したがって、図66および図67の説明は、図61および図62の説明におけるV0画像復号装置600−0の各部をV2画像復号装置600−2の各部に置き換え、図61および図62においてビュー0に対する処理としてした説明を、ビュー2に対する処理に対するものとして置き換えるだけでよいので、その説明は省略する。   The difference between the process for the view 0 and the process for the view 2 is mainly in the motion compensation process. Therefore, as shown in FIGS. 66 and 67, the V2 decoding process for the view 2 is basically the same as the V0 decoding process for the view 0 (FIGS. 61 and 62) by the V2 image decoding apparatus 600-2. To be executed. That is, steps S3701 to S3712 in FIG. 66 and steps S3721 to S3728 in FIG. 67 are basically the same as steps S3501 to S3512 in FIG. 61 and steps S3521 to S3528 in FIG. Are similarly performed. Therefore, in the description of FIGS. 66 and 67, each unit of the V0 image decoding device 600-0 in the description of FIGS. 61 and 62 is replaced with each unit of the V2 image decoding device 600-2. Since the description as the process only needs to be replaced with the process for the view 2, the description is omitted.

<V2動き補償処理の流れ>
次に、図66のステップS3706において実行されるV2動き補償処理の流れの例を、図68のフローチャートを参照して説明する。
<V2 motion compensation process flow>
Next, an example of the flow of V2 motion compensation processing executed in step S3706 of FIG. 66 will be described with reference to the flowchart of FIG.

図68に示されるように、V2動き補償処理は、V1動き補償処理(図65)と基本的に同様に行われる。つまり、図68のステップS3741乃至ステップS3750の各処理は、それぞれ、図65のステップS3631乃至ステップS3650の各処理と基本的に同様に実行される。ただし、V1動き補償処理は、動き補償部611−1が実行するのに対して、V2動き補償処理は、動き補償部611−2が実行する。   As shown in FIG. 68, the V2 motion compensation process is performed basically in the same manner as the V1 motion compensation process (FIG. 65). That is, the processes in steps S3741 to S3750 in FIG. 68 are executed basically in the same manner as the processes in steps S3631 to S3650 in FIG. However, the V1 motion compensation process is executed by the motion compensation unit 611-1, while the V2 motion compensation process is executed by the motion compensation unit 611-2.

また、V2動き補償処理の処理対象は、ビュー1の画像ではなくビュー2の画像である。したがって、ステップS3743において、動き補償部611−2は、ピクチャ内の圧縮前V2動きベクトル(カレントブロックに対して空間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   Further, the processing target of the V2 motion compensation process is not the view 1 image but the view 2 image. Accordingly, in step S3743, the motion compensation unit 611-2 generates a predicted motion vector using the pre-compression V2 motion vector in the picture (the motion vector of a spatially neighboring block with respect to the current block).

また、ステップS3745において、動き補償部611−2は、他のピクチャの1/16圧縮後V2動きベクトル(カレントブロックに対して時間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   In step S3745, the motion compensation unit 611-2 generates a prediction motion vector using the 1 / 16-compressed V2 motion vector of other pictures (motion vectors of temporally neighboring blocks with respect to the current block). To do.

さらに、ステップS3747において、動き補償部611−2は、圧縮前V1動きベクトル(カレントブロックに対してビュー間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   Further, in step S3747, the motion compensation unit 611-2 generates a predicted motion vector using the pre-compression V1 motion vector (the motion vector of a block adjacent to the current block between views).

また、ステップS3748において、動き補償部611−2は、1/16圧縮後V1動きベクトル(カレントブロックに対してビュー間的に周辺のブロックの動きベクトル)を用いて予測動きベクトルを生成する。   In step S3748, the motion compensation unit 611-2 generates a predicted motion vector using the 1 / 16-compressed V1 motion vector (the motion vector of a block adjacent to the current block between views).

ステップS3750の処理が終了すると、V2動き補償処理が終了し、処理は、図66に戻る。   When the process of step S3750 ends, the V2 motion compensation process ends, and the process returns to FIG.

以上のように各処理を実行することにより、画像復号装置600は、IVMP用の動きベクトルのために必要なメモリ容量を、適応的に低減させることができ、符号化・復号に必要な記憶容量の増大を、適応的に抑制することができる。   By executing each process as described above, the image decoding apparatus 600 can adaptively reduce the memory capacity necessary for the motion vector for IVMP, and the storage capacity necessary for encoding / decoding. Can be adaptively suppressed.

<4.第4の実施の形態>
<階層画像点符号化・階層画像復号への適用>
以上においては、多視点画像の符号化・復号について説明したが、レイヤは、視点(ビュー)に限らない。例えば、解像度、コンポーネント、ビット深度等のスケーラブルな符号化・復号における階層も、このレイヤに含まれる。本技術は、複数レイヤの符号化・復号であれば、どのような符号化・復号にも適用することができる。例えば、上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図69は、階層画像符号化方式の一例を示す。
<4. Fourth Embodiment>
<Application to hierarchical image point coding / hierarchical image decoding>
In the above, encoding / decoding of a multi-viewpoint image has been described, but the layer is not limited to the viewpoint (view). For example, layers in scalable encoding / decoding such as resolution, component, and bit depth are also included in this layer. The present technology can be applied to any encoding / decoding as long as it is encoding / decoding of a plurality of layers. For example, the series of processes described above can be applied to hierarchical image encoding / hierarchical image decoding. FIG. 69 shows an example of a hierarchical image encoding method.

階層画像符号化(スケーラブル符号化)は、画像データを、所定のパラメータについてスケーラビリティ(scalability)機能を有するように、画像を複数レイヤ化(階層化)し、レイヤ毎に符号化するものである。階層画像復号は、その階層画像符号化(スケーラブル復号)は、その階層画像符号化に対応する復号である。   Hierarchical image coding (scalable coding) is a method in which image data is divided into a plurality of layers (hierarchized) so as to have a scalability function with respect to a predetermined parameter, and is encoded for each layer. In the hierarchical image decoding, the hierarchical image encoding (scalable decoding) is decoding corresponding to the hierarchical image encoding.

図69に示されるように、画像の階層化においては、スケーラビリティ機能を有する所定のパラメータを基準として1の画像が複数の画像(レイヤ)に分割される。つまり、階層化された画像(階層画像)は、その所定のパラメータの値が互いに異なる複数の階層(レイヤ)の画像を含む。この階層画像の複数のレイヤは、他のレイヤの画像を利用せずに自身のレイヤの画像のみを用いて符号化・復号を行うベースレイヤと、他のレイヤの画像を利用して符号化・復号を行うノンベースレイヤ(エンハンスメントレイヤとも称する)とによりなる。ノンベースレイヤは、ベースレイヤの画像を利用するようにしても良いし、他のノンベースレイヤの画像を利用するようにしてもよい。   As shown in FIG. 69, in image hierarchization, one image is divided into a plurality of images (layers) based on a predetermined parameter having a scalability function. That is, the hierarchized image (hierarchical image) includes images of a plurality of hierarchies (layers) having different predetermined parameter values. A plurality of layers of this hierarchical image are encoded / decoded using only the image of the own layer without using the image of the other layer, and encoded / decoded using the image of the other layer. It consists of a non-base layer (also called enhancement layer) that performs decoding. As the non-base layer, an image of the base layer may be used, or an image of another non-base layer may be used.

一般的に、ノンベースレイヤは、冗長性が低減されるように、自身の画像と、他のレイヤの画像との差分画像のデータ(差分データ)により構成される。例えば、1の画像をベースレイヤとノンベースレイヤ(エンハンスメントレイヤとも称する)に2階層化した場合、ベースレイヤのデータのみで元の画像よりも低品質な画像が得られ、ベースレイヤのデータとノンベースレイヤのデータを合成することで、元の画像(すなわち高品質な画像)が得られる。   In general, the non-base layer is composed of difference image data (difference data) between its own image and an image of another layer so that redundancy is reduced. For example, when one image is divided into two layers of a base layer and a non-base layer (also referred to as an enhancement layer), an image with lower quality than the original image can be obtained using only the base layer data. By synthesizing the base layer data, an original image (that is, a high-quality image) can be obtained.

このように画像を階層化することにより、状況に応じて多様な品質の画像を容易に得ることができる。例えば携帯電話のような、処理能力の低い端末に対しては、ベースレイヤ(base layer)のみの画像圧縮情報を伝送し、空間時間解像度の低い、或いは、画質の良くない動画像を再生し、テレビやパーソナルコンピュータのような、処理能力の高い端末に対しては、ベースレイヤ(base layer)に加えて、エンハンスメントレイヤ(enhancement layer)の画像圧縮情報を伝送し、空間時間解像度の高い、或いは、画質の高い動画像を再生するといったように、トランスコード処理を行うことなく、端末やネットワークの能力に応じた画像圧縮情報を、サーバから送信することが可能となる。   By hierarchizing images in this way, it is possible to easily obtain images of various qualities depending on the situation. For example, to a terminal with low processing capability, such as a mobile phone, image compression information of only the base layer is transmitted, and a moving image with low spatiotemporal resolution or poor image quality is reproduced. For terminals with high processing capabilities, such as televisions and personal computers, in addition to the base layer, the image compression information of the enhancement layer is transmitted and the spatial time resolution is high, or Image compression information corresponding to the capabilities of the terminal and the network can be transmitted from the server without performing transcoding processing, such as playing a moving image with high image quality.

このようなスケーラビリティ性を持たせるパラメータとして、例えば、図70に示されるような、空間解像度がある(spatial scalability)。このスペーシャルスケーラビリティ(spatial scalability)の場合、レイヤ毎に解像度が異なる。つまり、図70に示されるように、各ピクチャが、元の画像より空間的に低解像度のベースレイヤと、ベースレイヤの画像と合成することにより元の画像(元の空間解像度)が得られるエンハンスメントレイヤの2階層に階層化される。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。   As a parameter for providing such scalability, for example, there is a spatial resolution as shown in FIG. 70 (spatial scalability). In the case of this spatial scalability, the resolution differs for each layer. That is, as shown in FIG. 70, each picture is synthesized with a base layer having a spatial resolution lower than that of the original image and the base layer image, thereby obtaining an original image (original spatial resolution). Layered into two layers. Of course, this number of hierarchies is an example, and the number of hierarchies can be hierarchized.

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、図71に示されるような、時間解像度がある(temporal scalability)。このテンポラルスケーラビリティ(temporal scalability)の場合、レイヤ毎にフレームレートが異なる。つまり、この場合、図3に示されるように、互いに異なるフレームレートのレイヤに階層化されており、低フレームレートのレイヤに、高フレームレートのレイヤを加えることで、より高フレームレートの動画像を得ることができ、全てのレイヤを加えることで、元の動画像(元のフレームレート)を得ることができる。この階層数は一例であり、任意の階層数に階層化することができる。   In addition, as a parameter for providing such scalability, for example, there is a temporal resolution as shown in FIG. 71 (temporal scalability). In the case of this temporal scalability, the frame rate is different for each layer. That is, in this case, as shown in FIG. 3, layers are layered at different frame rates, and by adding a high frame rate layer to a low frame rate layer, a higher frame rate moving image is obtained. By adding all the layers, the original moving image (original frame rate) can be obtained. This number of hierarchies is an example, and can be hierarchized to an arbitrary number of hierarchies.

また、このようなスケーラビリティ性を持たせるパラメータとして、他には、例えば、信号雑音比(SNR(Signal to Noise ratio))がある(SNR scalability)。このSNRスケーラビリティ(SNR scalability)の場合、レイヤ毎にSN比が異なる。つまり、図72に示されるように、各ピクチャが、元の画像よりSNRの低いベースレイヤと、ベースレイヤの画像と合成することにより元の画像(元のSNR)が得られるエンハンスメントレイヤの2階層に階層化される。すなわち、ベースレイヤ(base layer)画像圧縮情報においては、低PSNRの画像に関する情報が伝送されており、これに、エンハンスメントレイヤ(enhancement layer)画像圧縮情報を加えることで、高PSNR画像を再構築することが可能である。もちろん、この階層数は一例であり、任意の階層数に階層化することができる。   In addition, as another parameter for providing such scalability, for example, there is a signal-to-noise ratio (SNR) (SNR scalability). In the case of this SNR scalability (SNR scalability), the SN ratio is different for each layer. In other words, as shown in FIG. 72, each picture has a base layer having a lower SNR than the original image and two layers of enhancement layers from which the original image (original SNR) can be obtained by combining with the base layer image Is layered. That is, in the base layer image compression information, information related to a low PSNR image is transmitted, and an enhancement layer image compression information is added to the information to reconstruct a high PSNR image. It is possible. Of course, this number of hierarchies is an example, and the number of hierarchies can be hierarchized.

スケーラビリティ性を持たせるパラメータは、上述した例以外であっても、もちろんよい。例えば、ベースレイヤ(base layer)が8ビット(bit)画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、10ビット(bit)画像が得られるビット深度スケーラビリティ(bit-depth scalability)がある。   Of course, the parameters for providing scalability may be other than the example described above. For example, the base layer is composed of an 8-bit image, and by adding an enhancement layer to this, a bit-depth scalability that can obtain a 10-bit image can be obtained. is there.

また、ベースレイヤ(base layer)が4:2:0フォーマットのコンポーネント画像よりなり、これにエンハンスメントレイヤ(enhancement layer)を加えることにより、4:2:2フォーマットのコンポーネント画像が得られるクロマスケーラビリティ(chroma scalability)がある。   In addition, the base layer is composed of component images in 4: 2: 0 format, and the enhancement layer (enhancement layer) is added to this, resulting in chroma scalability (chroma) scalability).

このような階層画像符号化・復号において、各階層の画像を符号化・復号する際、上述した多視点符号化・復号の場合と同様に、動きベクトルの予測にレイヤ間の相関性の高さを利用することができる。つまり、他のレイヤの処理済み(符号化済み若しくは復号済み)の動きベクトルを用いて予測動きベクトルの生成若しくは再構築を行うことができる。   In such hierarchical image encoding / decoding, when encoding / decoding an image of each layer, as in the case of multi-viewpoint encoding / decoding described above, high correlation between layers is used for motion vector prediction. Can be used. That is, it is possible to generate or reconstruct a motion vector predictor using a motion vector that has been processed (encoded or decoded) in another layer.

その場合、あるレイヤの符号化・復号において得られた動きベクトルを、次以降に処理されるレイヤの符号化・復号において利用することができるように保持する必要がある。   In that case, it is necessary to hold a motion vector obtained in encoding / decoding of a certain layer so that it can be used in encoding / decoding of a layer to be processed subsequently.

そこで、そのためのメモリ容量の増大を抑制するために、他のレイヤの符号化・復号において利用されるカレントレイヤの動きベクトルを圧縮するようにしてもよい。この圧縮の具体的な方法は、多視点符号化・復号の説明において上述したのと同様である。   Therefore, in order to suppress an increase in the memory capacity for that purpose, the motion vector of the current layer used in encoding / decoding of another layer may be compressed. The specific method of this compression is the same as that described above in the explanation of multi-viewpoint encoding / decoding.

例えば、図5のように動きベクトルを圧縮して(間引いて)参照するようにするためには、画像符号化装置は、図6乃至図8のような構成を有し、図9乃至図15のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図16乃至図18のような構成を有し、図19乃至図25のフローチャートのような各処理を実行するようにすればよい。   For example, in order to compress (decimate) a motion vector as shown in FIG. 5, the image coding apparatus has the configuration shown in FIGS. 6 to 8, and FIGS. What is necessary is just to perform each process like the flowchart of these. Further, the image decoding apparatus has a configuration as shown in FIGS. 16 to 18 and performs each process as shown in the flowcharts of FIGS. 19 to 25.

また、例えば、図26のように動きベクトルを圧縮して(間引いて)参照するようにするためには、画像符号化装置は、図27乃至図29のような構成を有し、図30乃至図34のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図35乃至図37のような構成を有し、図38乃至図42のフローチャートのような各処理を実行するようにすればよい。   For example, in order to compress (thin) the motion vector as shown in FIG. 26, the image coding apparatus has a configuration as shown in FIGS. What is necessary is just to perform each process like the flowchart of FIG. Further, the image decoding apparatus has a configuration as shown in FIGS. 35 to 37, and may execute each process as shown in the flowcharts of FIGS. 38 to 42.

さらに、例えば、図43のように動きベクトルを圧縮して(間引いて)参照するようにするためには、画像符号化装置は、図45乃至図47のような構成を有し、図48乃至図56のフローチャートのような各処理を実行するようにすればよい。また、画像復号装置は、図57乃至図59のような構成を有し、図60乃至図68のフローチャートのような各処理を実行するようにすればよい。   Further, for example, in order to refer to the motion vector compressed (thinned out) as shown in FIG. 43, the image encoding apparatus has a configuration as shown in FIGS. What is necessary is just to perform each process like the flowchart of FIG. Further, the image decoding apparatus has a configuration as shown in FIGS. 57 to 59, and may execute each process as shown in the flowcharts of FIGS.

また、このような階層画像符号化・復号において、例えば、レイヤ1(layer_id=1)の符号化・復号において、レイヤ0(layer_id=0)の動きベクトルを利用する。このとき、レイヤ0の動きベクトルの精度は、圧縮しなくても、レイヤ1の動きベクトルの精度よりも低い。しかしながら、レイヤ0の動きベクトルをさらに圧縮することにより、その動きベクトルを保持するのに必要な記憶容量をより低減させることができる。   In such hierarchical image encoding / decoding, for example, a motion vector of layer 0 (layer_id = 0) is used in encoding / decoding of layer 1 (layer_id = 1). At this time, the accuracy of the motion vector of layer 0 is lower than the accuracy of the motion vector of layer 1 without compression. However, by further compressing the layer 0 motion vector, the storage capacity required to hold the motion vector can be further reduced.

なお、このようなレイヤ間の動きベクトルの精度の比を考慮して圧縮率を決定するようにしてもよい。例えば、所定の圧縮率を基準圧縮率として定め、レイヤ間の動きベクトルの精度の比(レイヤ間の解像度の比)に応じて実際の圧縮率を決めるようにしてもよい。例えば、レイヤ1のIVMPに用いるレイヤ0の動きベクトルの基準圧縮率が1/16であるとする。このとき、レイヤ0の解像度がレイヤ1の1/4であるならば、実際の圧縮率は1/4に設定され、レイヤ0の解像度がレイヤ1の1/8であるならば、実際の圧縮率は1/2に設定されるようにしてもよい。このようにすることにより、所望の圧縮率(基準圧縮率)を実現することができ、符号化・復号に必要な記憶容量の増大を十分に抑制することができる。   Note that the compression rate may be determined in consideration of the accuracy ratio of motion vectors between layers. For example, a predetermined compression rate may be defined as the reference compression rate, and the actual compression rate may be determined according to the accuracy ratio of motion vectors between layers (ratio of resolution between layers). For example, it is assumed that the reference compression rate of the motion vector of layer 0 used for the IVMP of layer 1 is 1/16. At this time, if the resolution of layer 0 is 1/4 of that of layer 1, the actual compression ratio is set to 1/4. If the resolution of layer 0 is 1/8 of that of layer 1, the actual compression rate is set. The rate may be set to 1/2. By doing so, a desired compression rate (reference compression rate) can be realized, and an increase in storage capacity necessary for encoding / decoding can be sufficiently suppressed.

また、例えば、図73のAに示されるように、ベースレイヤ(BL)の動きベクトルを1/4に間引くようにすると、その動きベクトルの予測精度の低減が大き過ぎて、エンハンスメントレイヤ(EL)において符号化効率が低減する恐れがある。しかしながら、逆に、図73のBに示されるように、ベースレイヤ(BL)の動きベクトルを間引かずにエンハンスメントレイヤに提供するようにすると、符号化・復号に必要な記憶容量が増大してしまう恐れがある。   Further, for example, as shown in FIG. 73A, if the motion vector of the base layer (BL) is thinned to 1/4, the reduction of the prediction accuracy of the motion vector is too large, and the enhancement layer (EL) The coding efficiency may be reduced. However, conversely, as shown in FIG. 73B, if the motion vector of the base layer (BL) is provided to the enhancement layer without being thinned, the storage capacity required for encoding / decoding increases. There is a risk.

そこで、例えば、図74に示されるように、動きベクトルを、ベースレイヤからエンハンスメントレイヤに提供する際に1/2に間引き(圧縮し)、エンハンスメントレイヤからベースレイヤに戻す際にさらに1/2に間引く(圧縮する)ようにしてもよい。つまり、階層画像符号化・復号の場合も、図26等を参照して説明した多視点画像符号化・復号の場合と同様の方法で動きベクトルを間引く(圧縮する)ことができる。   Therefore, for example, as shown in FIG. 74, when the motion vector is provided from the base layer to the enhancement layer, the motion vector is decimated (compressed) to 1/2, and when returned from the enhancement layer to the base layer, it is further reduced to 1/2. It may be thinned out (compressed). That is, in the case of hierarchical image encoding / decoding, motion vectors can be thinned out (compressed) in the same manner as in the case of multi-view image encoding / decoding described with reference to FIG.

以上のように、画像の複数レイヤ化は、任意のパラメータに基づいて行うことができ、本技術は、そのパラメータに依らず、複数レイヤの画像の符号化・復号に適用することができる。すなわち、階層画像符号化・階層画像復号に本技術を適用する場合も、必要な記憶容量の増大を抑制することができる。   As described above, image multi-layering can be performed based on arbitrary parameters, and the present technology can be applied to encoding / decoding of multi-layer images regardless of the parameters. That is, even when the present technology is applied to hierarchical image encoding / hierarchical image decoding, an increase in necessary storage capacity can be suppressed.

<その他>
以上においては、レイヤ数が3(0乃至2)の場合を例に説明したが、レイヤ数は任意であり、2レイヤであってもよいし、4レイヤ以上であってもよい。
<Others>
In the above description, the case where the number of layers is 3 (0 to 2) has been described as an example. However, the number of layers is arbitrary and may be two layers or may be four or more layers.

また、以上においては、符号化における動き予測・動き補償、若しくは、復号における動き補償において、1つ前に処理されるレイヤの動きベクトルを利用するように説明したが、これに限らず、任意の他のレイヤの動きベクトルを利用することができる。   In the above description, the motion vector of the layer processed immediately before is used in motion prediction / motion compensation in encoding or motion compensation in decoding. However, the present invention is not limited to this. Motion vectors of other layers can be used.

例えば、全てのノンベースレイヤの符号化・復号において、ベースレイヤの動きベクトルを利用するようにしてもよい。また、複数のノンベースレイヤが1のノンベースレイヤの動きベクトルを利用するようにしてもよい。   For example, a base layer motion vector may be used in encoding and decoding of all non-base layers. A plurality of non-base layers may use one non-base layer motion vector.

<5.概要2>
<イントラ予測>
ところで、HEVCにおいては、AVC等と同様に、カレントブロックの周辺画素を用いて予測画像を生成するイントラ予測が規定されている。
<5. Outline 2>
<Intra prediction>
By the way, in HEVC, the intra prediction which produces | generates an estimated image using the surrounding pixel of a current block is prescribed | regulated similarly to AVC etc.

AVCではイントラ4x4予測、イントラ8x8予測、並びに、イントラ16x16予測が存在するのに対し、HEVCでは、4x4乃至64x64画素ブロックについて、図75に示されるような、アンギュラー(Angular)予測が適用される。   In AVC, there are intra 4x4 prediction, intra 8x8 prediction, and intra 16x16 prediction, whereas in HEVC, angular prediction as shown in FIG. 75 is applied to 4x4 to 64x64 pixel blocks.

すなわち、AVCでは、図75のAに示されるように、8方向+直流予測によりイントラ予測処理が行われるのに対し、HEVCでは図75のBに示されるように、32方向+直流予測によりイントラ予測が行なわれる。これにより、予測精度が向上する。   That is, in AVC, as shown in FIG. 75A, intra prediction processing is performed by 8 directions + DC prediction, whereas in HEVC, as shown in FIG. 75B, 32 directions + DC prediction is used for intra prediction processing. A prediction is made. Thereby, prediction accuracy improves.

また、HEVCにおいては、図76に示されるような、プレイナー(Planar)予測が規定されている。   In HEVC, a planar (Planar) prediction as shown in FIG. 76 is defined.

プレイナー(Planar)予測処理においては、処理対象であるカレントブロックの周辺画素(既に符号化済みの画素)から、バイリニアインターポレーション(bi-linear interpolation)により、カレントブロックに含まれる予測画素が生成される。プレイナー(Planar)予測処理は、グラデーション(gradation)のあるような領域の符号化効率を向上させることができる。   In the planar prediction process, prediction pixels included in the current block are generated by bi-linear interpolation from neighboring pixels (already encoded pixels) of the current block to be processed. The The planar (Planar) prediction process can improve the coding efficiency of a region having a gradation.

HEVCにおいては、図77に示されるように、3つのモストプロバブルモード(MostProbableMode)を用いたイントラ予測モードの符号化処理が行われる。すなわち、カレントブロックの上に隣接する周辺ブロックのイントラ予測モード(Above)、カレントブロックの左に隣接する周辺ブロックのイントラ予測モード(Left)、および、それらの周辺ブロック(AboveおよびLeft)におけるイントラ予測モードの組み合わせにより決定されるモードを、イントラ予測モードの候補(候補モードとも称する)とし、この3つの候補モードの中から、最適なものをカレントブロックのイントラ予測モードとして採用する。   In HEVC, as shown in FIG. 77, an intra prediction mode encoding process using three most probable modes (MostProbableMode) is performed. That is, the intra prediction mode (Above) of neighboring blocks adjacent to the current block, the intra prediction mode (Left) of neighboring blocks adjacent to the left of the current block, and the intra prediction in those neighboring blocks (Above and Left) A mode determined by a combination of modes is set as a candidate for an intra prediction mode (also referred to as a candidate mode), and an optimum one of these three candidate modes is adopted as the intra prediction mode for the current block.

カレントブロックの予測モードと、モストプロバブルモード(MostProbableMode)のどれかが同一である場合には、そのインデックス(index)番号を伝送する。そうでない場合には、予測ブロックのモード情報を、5ビットの固定長により伝送する。   When the prediction mode of the current block and the most probable mode (MostProbableMode) are the same, the index number is transmitted. Otherwise, the prediction block mode information is transmitted with a fixed length of 5 bits.

<イントラ予測におけるフィルタ処理>
図78は、HEVCにおいて規定されているMDIS(Mode Dependent Intra Smoothing)を説明する図である。
<Filter processing in intra prediction>
FIG. 78 is a diagram for explaining MDIS (Mode Dependent Intra Smoothing) defined in HEVC.

AVCの場合、イントラ8x8予測モードにおいて、カレントブロックの周辺画素に対して、図78に示されるように、[1 2 1]/4フィルタ処理が行われる。これに対して、HEVCにおいては、ブロックサイズと予測モードに応じて、このフィルタ処理のオン・オフ(on/off)(すなわち、このフィルタ処理を適用するか否か)が決定される。   In the case of AVC, in the intra 8 × 8 prediction mode, [1 2 1] / 4 filter processing is performed on the peripheral pixels of the current block as shown in FIG. On the other hand, in HEVC, on / off of this filtering process (that is, whether to apply this filtering process) is determined according to the block size and the prediction mode.

より具体的には、カレントブロックのブロックサイズが4x4の場合、このフィルタ処理は適用されない。カレントブロックのブロックサイズが8x8の場合、45度方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが16x16の場合、水平(horizontal)に近い3方向、並びに、垂直(vertical)に近い3方向以外の方向の予測モードに対して、このフィルタ処理が適用される。カレントブロックのブロックサイズが32x32の場合、水平(horizontal)および垂直(vertical)以外の方向の予測モードに対して、このフィルタ処理が適用される。   More specifically, this filter process is not applied when the block size of the current block is 4x4. When the block size of the current block is 8x8, this filter process is applied to the prediction mode in the 45 degree direction. When the block size of the current block is 16 × 16, this filter processing is applied to prediction modes in directions other than three directions close to horizontal and three directions close to vertical. When the block size of the current block is 32x32, this filter processing is applied to prediction modes in directions other than horizontal and vertical.

更に、また、HEVCにおいては、予測モードが直流(DC)モード、水平(Horizontal)モード、垂直(Vertical)モードである場合のブロック歪の低減を目的として、図79に示されるようなバウンダリバリュースムージング(Boundary Value Smoothing)処理が規定されている。   Furthermore, in HEVC, boundary value smoothing as shown in FIG. 79 is performed for the purpose of reducing block distortion when the prediction mode is a direct current (DC) mode, a horizontal (Horizontal) mode, or a vertical (Vertical) mode. (Boundary Value Smoothing) processing is defined.

例えば、予測モードが直流(DC)モードである予測(DC予測)の場合、処理対象であるカレントブロックの上辺(Top)に隣接する周辺画素、および、カレントブロックの左辺(Left)に隣接する周辺画素の両方について、図79に示されるフィルタ処理(スムージング(Smoothing)処理)を行う。また、予測モードが水平(Horizontal)モードである予測(Horizontal予測)の場合、カレントブロックの上辺(Top)に隣接する周辺画素について、図79に示されるフィルタ処理(スムージング(Smoothing)処理)を行う。予測モードが垂直(Vertical)モードである予測(Vertical予測)の場合、カレントブロックの左辺(Left)に隣接する周辺画素について、図79に示されるフィルタ処理(スムージング(Smoothing)処理)を行う。   For example, when the prediction mode is a direct current (DC) mode prediction (DC prediction), the neighboring pixels adjacent to the top side (Top) of the current block to be processed and the surroundings adjacent to the left side (Left) of the current block Filter processing (smoothing processing) shown in FIG. 79 is performed for both pixels. In addition, when the prediction mode is prediction in the horizontal mode (Horizontal prediction), the filter processing (smoothing processing) shown in FIG. 79 is performed on the neighboring pixels adjacent to the top side (Top) of the current block. . When the prediction mode is prediction in the vertical mode (Vertical prediction), the filter processing (smoothing processing) shown in FIG. 79 is performed on the neighboring pixels adjacent to the left side (Left) of the current block.

ところで、Vadim Seregin, Patrice Onno, Shan Liu, Tammy Lee, Chulkeun Kim, Haitao Yang, Haricharan Laksman, "Description of Tool Experiment C5: Inter-layer syntax prediction using HEVC base layer", JCTVC-K1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤ(Baselayer)のイントラ予測モードに関する情報を用いて、エンハンスメントレイヤ(Enhancementlayer)におけるイントラ予測モード情報を符号化する方法が提案されている。しかしながら、HEVCにおいては、worst caseで4x4ブロックに対して1つのイントラ予測モード情報を保持しておかなければならないため、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。   By the way, Vadim Seregin, Patrice Onno, Shan Liu, Tammy Lee, Chulkeun Kim, Haitao Yang, Haricharan Laksman, "Description of Tool Experiment C5: Inter-layer syntax prediction using HEVC base layer", JCTVC-K1105, Joint Collaborative Team on Video In Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012, information on intra prediction mode of Baselayer A method for encoding intra prediction mode information in an enhancement layer using the enhancement layer has been proposed. However, in HEVC, since one intra prediction mode information must be held for a 4x4 block in the worst case, the storage capacity necessary for encoding / decoding may increase.

また、Jill Boyce, Kawamura Kei, Haricharan Lakshman, "TE6: Inter-layer syntax prediction from AVC base layer", JCTVC-K1106v2, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012 においては、ベースレイヤにおいてAVCの符号化(Baselayer AVC)を行い、エンハンスメントレイヤにおいてHEVCの符号化(Enhancementlayer HEVC)を行うスケーラブル(scalable)符号化を行う際、ベースレイヤ(Baselayer)の動き情報を用いたエンハンスメントレイヤ(Enhancementlayer)の動き情報の符号化が提案されている。この場合も、上述したのと同様に、ベースレイヤのイントラ予測モード情報を用いたエンハンスメントレイヤのイントラ予測モード情報の符号化を行うことが考えられる。その場合にも、上述した場合と同様に、符号化・復号に必要な記憶容量が増大してしまう恐れがあった。   Also, Jill Boyce, Kawamura Kei, Haricharan Lakshman, "TE6: Inter-layer syntax prediction from AVC base layer", JCTVC-K1106v2, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO In / IEC JTC 1 / SC 29 / WG 1111th Meeting: Shanghai, CN, 1019 Oct. 2012, AVC encoding (Baselayer AVC) is performed in the base layer, and HEVC encoding (Enhancementlayer HEVC) is performed in the enhancement layer. When performing scalable encoding, encoding of enhancement layer motion information using motion information of a base layer has been proposed. In this case as well, it is conceivable that the enhancement layer intra prediction mode information is encoded using the base layer intra prediction mode information as described above. Even in this case, the storage capacity necessary for encoding / decoding may increase as in the case described above.

そこで、本技術は、ベースレイヤにおけるイントラ予測モード(を示す情報)をメモリに格納する際、そのイントラ予測モード(を示す情報)の間引き処理を行うようにする。このようにすることにより、イントラ予測モード(を示す情報)を格納するのに必要な記憶容量の増大を抑制することができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。以下においては、説明の便宜上、イントラ予測モードを示す情報のこともイントラ予測モードと称する。   Therefore, in the present technology, when the intra prediction mode (information indicating) in the base layer is stored in the memory, the thinning process of the intra prediction mode (information indicating) is performed. By doing so, it is possible to suppress an increase in storage capacity necessary for storing the intra prediction mode (information indicating). That is, an increase in storage capacity required for encoding / decoding can be suppressed. In the following, for convenience of explanation, information indicating the intra prediction mode is also referred to as an intra prediction mode.

図80は、このような本技術について説明する図である。   FIG. 80 is a diagram illustrating such a technique.

このイントラ予測モードの間引き処理は、例えば、所定の領域(エリア)毎に行われるようにしてもよい。間引き処理は、複数イントラ予測モードの内、一部のイントラ予測モードを残し、その他のイントラ予測モードを破棄する処理である。すなわち、この場合、間引き処理の処理単位となるエリアは、イントラ予測の処理単位となるブロックの複数個分の範囲となる。例えば、図80の左側に示されるように、イントラ予測の処理単位であるブロック0乃至ブロック15の16個のブロックを、間引き処理の処理単位(エリア)とする。この場合、ブロック0乃至ブロック15のそれぞれにイントラ予測モードが設定される。すなわち、間引き処理の処理対象であるカレントエリアに、I0乃至I15の16個のイントラ予測モードが存在するとする。   The thinning process in the intra prediction mode may be performed for each predetermined area (area), for example. The thinning-out process is a process of leaving a part of the intra prediction modes among the plurality of intra prediction modes and discarding the other intra prediction modes. That is, in this case, the area that is the processing unit of the thinning process is a range corresponding to a plurality of blocks that are the processing unit of the intra prediction. For example, as shown on the left side of FIG. 80, 16 blocks of block 0 to block 15 which are processing units of intra prediction are set as processing units (areas) of thinning processing. In this case, the intra prediction mode is set for each of the blocks 0 to 15. That is, it is assumed that there are 16 intra prediction modes I0 to I15 in the current area that is the processing target of the thinning process.

間引き処理では、カレントエリア内の各ブロックのイントラ予測モードの内、一部のイントラ予測モードをそのエリアの代表として残して(選択して)バッファメモリに記憶し、その他のイントラ予測モードを破棄する。例えば、間引き率が4:1である場合、このような16個のイントラ予測モードの内、いずれか1つのイントラ予測モードのみが選択され、バッファに格納される(その他の15個のイントラ予測モードは破棄される)。   In the thinning-out process, some intra prediction modes of the intra prediction modes of each block in the current area are left (selected) as representatives of the area, stored in the buffer memory, and other intra prediction modes are discarded. . For example, when the decimation rate is 4: 1, only one of the 16 intra prediction modes is selected and stored in the buffer (the other 15 intra prediction modes). Is discarded).

どのイントラ予測モードをエリアの代表とするかは任意である。例えば、カレントエリア内のブロックの内、最初にイントラ予測が行われるブロック(例えばブロック0)のイントラ予測モード(例えばI0)を、カレントエリアの代表とするようにしてもよい。また、例えば、カレントエリアの中央付近に位置するブロック(例えば、ブロック5、6、9、10等のいずれか)のイントラ予測モード(例えば、I5,I6,I9.I10のいずれか)を、カレントエリアの代表とするようにしても良い。   Which intra prediction mode is used as a representative of the area is arbitrary. For example, the intra prediction mode (for example, I0) of the block (for example, block 0) in which intra prediction is first performed among the blocks in the current area may be set as a representative of the current area. Also, for example, the intra prediction mode (for example, any of I5, I6, I9.I10) of a block (for example, any of blocks 5, 6, 9, 10, etc.) located near the center of the current area is set to the current You may make it make it a representative of an area.

エンハンスメントレイヤにおいて、このブロック0乃至ブロック15をコロケーテッドブロック(Collocated Block)とするブロック(PU)の符号化処理には、このバッファに格納されたベースレイヤのイントラ予測モード(代表値)が用いられる。つまり、エンハンスメントレイヤのイントラ予測には、カレントブロックに対応するベースレイヤのエリアのイントラ予測モード(代表値)が用いられる。   In the enhancement layer, the base layer intra prediction mode (representative value) stored in this buffer is used for the encoding process of the block (PU) in which the blocks 0 to 15 are the collocated blocks (Collocated Block). It is done. That is, for the intra prediction of the enhancement layer, the intra prediction mode (representative value) of the area of the base layer corresponding to the current block is used.

このようにすることにより、イントラ予測モードを記憶するバッファの容量の増大を抑制することができる。   By doing in this way, the increase in the capacity | capacitance of the buffer which memorize | stores intra prediction mode can be suppressed.

なお、間引き率の値は任意であり、上述した例(4:1)に限らない。例えば2:1であってもよいし、8:1や16:1等であってもよいし、それ以外であってもよい。間引き処理の処理単位である上述したエリアの広さは、この間引き率によって決定されるものとしてもよい。また、1のエリアから間引き率に応じた数のイントラ予測モードがそのエリアの代表として選択されるようにしてもよい(つまり、1のエリアから複数のイントラ予測モードを代表として選択することができるようにしてもよい)。また、この間引き率の設定方法は、任意である。例えば、予め定められた所定の値としてもよいし、ユーザ等の外部からの指示に従って設定されるようにしても良いし、イントラ予測モードを格納するバッファメモリとして使用可能な記憶容量やバス帯域幅等の、ハードウエア等の条件に基づいて設定されるようにしても良いし、画像データのベースレイヤとエンハンスメントレイヤの解像度比等のソフトウエア等の条件に基づいて設定されるようにしても良い。さらに、複数種類の条件を総合的に考慮して設定されるようにしても良い。さらに、この間引き率は、出力となる画像圧縮情報(ビットストリーム)中の任意の位置において伝送されるようにしても良い。例えば、ビデオパラメータセット(VPS(Video Parameter Set))において伝送されるようにしても良い。また、例えば、エンハンスメントレイヤのシーケンスパラメータセット(SPS(Sequence Parameter Set))、ピクチャパラメータセット(PPS(Picture Parameter Set))、若しくはスライスヘッダ(SliceHeader)等において伝送されるようにしても良い。   Note that the value of the thinning rate is arbitrary and is not limited to the above-described example (4: 1). For example, it may be 2: 1, may be 8: 1, 16: 1, or the like. The area size described above, which is the processing unit of the thinning process, may be determined by this thinning rate. Further, the number of intra prediction modes corresponding to the thinning rate may be selected from one area as a representative of the area (that is, a plurality of intra prediction modes can be selected as a representative from one area). You may do it). Moreover, the setting method of this thinning-out rate is arbitrary. For example, it may be a predetermined value set in advance, or may be set in accordance with an external instruction from the user or the like, and a storage capacity or bus bandwidth that can be used as a buffer memory for storing an intra prediction mode May be set based on conditions such as hardware, etc., or may be set based on conditions such as software such as the resolution ratio of the base layer and the enhancement layer of the image data. . Furthermore, it may be set in consideration of a plurality of types of conditions. Further, this thinning rate may be transmitted at an arbitrary position in the compressed image information (bit stream) to be output. For example, it may be transmitted in a video parameter set (VPS). Further, for example, it may be transmitted in an enhancement layer sequence parameter set (SPS (Sequence Parameter Set)), a picture parameter set (PPS (Picture Parameter Set)), or a slice header (SliceHeader).

なお、スペーシャルスケーラビリティ(Spatial Scalability)の場合、レイヤ毎に解像度が異なるので、間引き率を指定するレイヤを予め決めておくのが望ましい。例えば、この間引き率が、ベースレイヤにおける比率で設定されるようにしてもよい。   Note that, in the case of spatial scalability, the resolution is different for each layer, so it is desirable to determine in advance the layer that specifies the thinning rate. For example, the thinning rate may be set as a ratio in the base layer.

例えば、スペーシャルスケーラビリティ(Spatial Scalability)比が、1:2である場合、ベースレイヤでの4x4ブロックは、エンハンスメントレイヤでは8x8ブロックに相当する。ここで、間引き率2:1とは、ベースレイヤ解像度では8x8ブロック単位で、エンハンスメントレイヤ解像度では16x16ブロック単位で、ベースレイヤのイントラ予測モードが格納されていることになる。   For example, when the spatial scalability ratio is 1: 2, a 4x4 block in the base layer corresponds to an 8x8 block in the enhancement layer. Here, the decimation ratio of 2: 1 means that the base layer intra prediction mode is stored in units of 8 × 8 blocks in the base layer resolution and in units of 16 × 16 blocks in the enhancement layer resolution.

以上のような処理を行うことにより、エンハンスメントレイヤにおいてイントラ予測モード符号化を行うための、ベースレイヤのイントラ予測モード情報を格納するために必要な記憶容量の増大を抑制することができる。   By performing the processing as described above, it is possible to suppress an increase in storage capacity necessary to store intra prediction mode information of the base layer for performing intra prediction mode coding in the enhancement layer.

なお、本技術においては、ベースレイヤの画像圧縮情報は、AVCに基づくものであっても良い。   In the present technology, the base layer image compression information may be based on AVC.

次に、以上のような本技術について、具体的な装置への適用例について説明する。   Next, an application example of the present technology as described above to a specific apparatus will be described.

<6.第5の実施の形態>
<スケーラブル符号化装置>
図81は、スケーラブル符号化装置の主な構成例を示すブロック図である。
<6. Fifth embodiment>
<Scalable coding device>
FIG. 81 is a block diagram illustrating an exemplary main configuration of a scalable encoding device.

図81に示されるスケーラブル符号化装置1100は、画像データをスケーラブル符号化する画像情報処理装置であり、ベースレイヤとエンハンスメントレイヤに階層化された画像データの各レイヤを符号化する。この階層化の基準として用いるパラメータ(スケーラビリティを持たせるパラメータ)は任意である。スケーラブル符号化装置1100は、共通情報生成部1101、符号化制御部1102、ベースレイヤ画像符号化部1103、イントラ予測モード提供部1104、およびエンハンスメントレイヤ画像符号化部1105を有する。   A scalable encoding device 1100 shown in FIG. 81 is an image information processing device that encodes image data in a scalable manner, and encodes each layer of image data hierarchized into a base layer and an enhancement layer. The parameters used as the criteria for this hierarchization (parameters that give scalability) are arbitrary. The scalable encoding device 1100 includes a common information generation unit 1101, an encoding control unit 1102, a base layer image encoding unit 1103, an intra prediction mode providing unit 1104, and an enhancement layer image encoding unit 1105.

共通情報生成部1101は、例えばNALユニットに格納するような画像データの符号化に関する情報を取得する。また、共通情報生成部1101は、必要に応じて、ベースレイヤ画像符号化部1103、イントラ予測モード提供部1104、およびエンハンスメントレイヤ画像符号化部1105などから必要な情報を取得する。共通情報生成部1101は、それらの情報を基に全レイヤに関する情報である共通情報を生成する。共通情報には、例えば、ビデオパラメータセット等が含まれる。共通情報生成部1101は、生成した共通情報を、例えばNALユニットとして、スケーラブル符号化装置1100の外部に出力する。なお、共通情報生成部1101は、生成した共通情報を、符号化制御部1102にも供給する。さらに、共通情報生成部1101は、必要に応じて、生成した共通情報の一部若しくは全部をベースレイヤ画像符号化部1103乃至エンハンスメントレイヤ画像符号化部1105にも供給する。   The common information generation unit 1101 acquires information related to encoding of image data that is stored in, for example, a NAL unit. Also, the common information generation unit 1101 acquires necessary information from the base layer image encoding unit 1103, the intra prediction mode providing unit 1104, the enhancement layer image encoding unit 1105, and the like as necessary. The common information generation unit 1101 generates common information that is information regarding all layers based on the information. The common information includes, for example, a video parameter set. The common information generation unit 1101 outputs the generated common information, for example, as a NAL unit to the outside of the scalable encoding device 1100. Note that the common information generation unit 1101 also supplies the generated common information to the encoding control unit 1102. Furthermore, the common information generation unit 1101 supplies part or all of the generated common information to the base layer image encoding unit 1103 to the enhancement layer image encoding unit 1105 as necessary.

符号化制御部1102は、共通情報生成部1101から供給される共通情報に基づいて、ベースレイヤ画像符号化部1103乃至エンハンスメントレイヤ画像符号化部1105を制御することにより、各レイヤの符号化を制御する。   The encoding control unit 1102 controls the encoding of each layer by controlling the base layer image encoding unit 1103 to the enhancement layer image encoding unit 1105 based on the common information supplied from the common information generation unit 1101. To do.

ベースレイヤ画像符号化部1103は、ベースレイヤの画像情報(ベースレイヤ画像情報)を取得する。ベースレイヤ画像符号化部1103は、他のレイヤの情報を利用せずに、そのベースレイヤ画像情報を符号化し、ベースレイヤの符号化データ(ベースレイヤ符号化データ)を生成し、出力する。また、ベースレイヤ画像符号化部1103は、符号化の際に行われたイントラ予測のイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部1104に供給する。   The base layer image encoding unit 1103 acquires base layer image information (base layer image information). The base layer image encoding unit 1103 encodes the base layer image information without using other layer information, generates base layer encoded data (base layer encoded data), and outputs the encoded data. Also, the base layer image encoding unit 1103 supplies the intra prediction mode of intra prediction performed at the time of encoding to the intra prediction mode providing unit 1104 as the intra prediction mode of the base layer.

イントラ予測モード提供部1104は、ベースレイヤ画像符号化部1103におけるイントラ予測において得られたイントラ予測モードを、エンハンスメントレイヤ画像符号化部1105におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部1104は、ベースレイヤ画像符号化部1103から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部1104は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像符号化部1105に供給する。また、イントラ予測モード提供部1104は、このイントラ予測モードの間引き率を設定することができるようにしてもよい。   The intra prediction mode providing unit 1104 performs processing for providing the intra prediction mode obtained in the intra prediction in the base layer image encoding unit 1103 to the intra prediction in the enhancement layer image encoding unit 1105. At this time, the intra prediction mode providing unit 1104 thins out the base layer intra prediction mode acquired from the base layer image encoding unit 1103 at a predetermined decimation rate and stores it. Then, when the enhancement layer is encoded, the intra prediction mode providing unit 1104 supplies the stored base layer intra prediction mode to the enhancement layer image encoding unit 1105. Further, the intra prediction mode providing unit 1104 may be configured to set a thinning rate for the intra prediction mode.

エンハンスメントレイヤ画像符号化部1105は、エンハンスメントレイヤの画像情報(エンハンスメントレイヤ画像情報)を取得する。エンハンスメントレイヤ画像符号化部1105は、そのエンハンスメントレイヤ画像情報を符号化する。なお、エンハンスメントレイヤ画像符号化部1105は、イントラ予測モード提供部1104から、ベースレイヤのイントラ予測モードを取得し、そのベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、エンハンスメントレイヤの画像を符号化する。そして、エンハンスメントレイヤ画像符号化部1105は、得られた符号化データ(エンハンスメントレイヤ符号化データ)を出力する。このようにベースレイヤのイントラ予測モードを用いてエンハンスメントレイヤのイントラ予測を行うようにすることにより、復号側においても、同様に、ベースレイヤのイントラ予測モードを用いてイントラ予測を行うことができる。つまり、イントラ予測モードに関する情報は、ベースレイヤの情報を伝送すれば良く、エンハンスメントレイヤの情報を伝送する必要が無くなる。したがって、その分、符号化効率の増大を抑制することができる。そして、ベースレイヤのイントラ予測モードを、エンハンスメントレイヤのイントラ予測に利用するために記憶する際に、上述したように、間引き処理を行うことにより、そのために必要な記憶容量を低減させることができ、符号化・復号の負荷を低減させることができる。   The enhancement layer image encoding unit 1105 obtains enhancement layer image information (enhancement layer image information). The enhancement layer image encoding unit 1105 encodes the enhancement layer image information. Note that the enhancement layer image encoding unit 1105 acquires the intra prediction mode of the base layer from the intra prediction mode providing unit 1104, performs intra prediction of the enhancement layer using the intra prediction mode of the base layer, and performs the enhancement layer. Is encoded. Then, the enhancement layer image encoding unit 1105 outputs the obtained encoded data (enhancement layer encoded data). In this way, by performing the enhancement layer intra prediction using the base layer intra prediction mode, the decoding side can similarly perform the intra prediction using the base layer intra prediction mode. That is, the information regarding the intra prediction mode may be transmitted as base layer information, and it is not necessary to transmit enhancement layer information. Therefore, an increase in encoding efficiency can be suppressed accordingly. And, when storing the intra prediction mode of the base layer for use in the intra prediction of the enhancement layer, as described above, by performing the thinning process, the storage capacity necessary for that can be reduced, The encoding / decoding load can be reduced.

<ベースレイヤ画像符号化部>
図82は、図81のベースレイヤ画像符号化部1103の主な構成例を示すブロック図である。図82に示されるように、ベースレイヤ画像符号化部1103は、A/D変換部1111、画面並べ替えバッファ1112、演算部1113、直交変換部1114、量子化部1115、可逆符号化部1116、蓄積バッファ1117、逆量子化部1118、および逆直交変換部1119を有する。また、ベースレイヤ画像符号化部1103は、演算部1120、ループフィルタ1121、フレームメモリ1122、選択部1123、イントラ予測部1124、動き予測・補償部1125、予測画像選択部1126、およびレート制御部1127を有する。
<Base layer image encoding unit>
FIG. 82 is a block diagram illustrating an exemplary main configuration of the base layer image encoding unit 1103 of FIG. As shown in FIG. 82, the base layer image encoding unit 1103 includes an A / D conversion unit 1111, a screen rearrangement buffer 1112, a calculation unit 1113, an orthogonal transformation unit 1114, a quantization unit 1115, a lossless encoding unit 1116, An accumulation buffer 1117, an inverse quantization unit 1118, and an inverse orthogonal transform unit 1119 are included. Also, the base layer image encoding unit 1103 includes a calculation unit 1120, a loop filter 1121, a frame memory 1122, a selection unit 1123, an intra prediction unit 1124, a motion prediction / compensation unit 1125, a predicted image selection unit 1126, and a rate control unit 1127. Have

A/D変換部1111は、入力された画像データ(ベースレイヤ画像情報)をA/D変換し、変換後の画像データ(デジタルデータ)を、画面並べ替えバッファ1112に供給し、記憶させる。画面並べ替えバッファ1112は、記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部1113に供給する。また、画面並べ替えバッファ1112は、フレームの順番を並び替えた画像を、イントラ予測部1124および動き予測・補償部1125にも供給する。   The A / D converter 1111 performs A / D conversion on the input image data (base layer image information), and supplies the converted image data (digital data) to the screen rearrangement buffer 1112 for storage. The screen rearrangement buffer 1112 rearranges the stored frame images in the display order according to the GOP (Group Of Picture) in the order of frames for encoding, and rearranges the frames in order. It supplies to the calculating part 1113. Further, the screen rearrangement buffer 1112 also supplies the image in which the frame order is rearranged to the intra prediction unit 1124 and the motion prediction / compensation unit 1125.

演算部1113は、画面並べ替えバッファ1112から読み出された画像から、予測画像選択部1126を介してイントラ予測部1124若しくは動き予測・補償部1125から供給される予測画像を減算し、その差分情報を直交変換部1114に出力する。例えば、イントラ符号化が行われる画像の場合、演算部1113は、画面並べ替えバッファ1112から読み出された画像から、イントラ予測部1124から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部1113は、画面並べ替えバッファ1112から読み出された画像から、動き予測・補償部1125から供給される予測画像を減算する。   The calculation unit 1113 subtracts the predicted image supplied from the intra prediction unit 1124 or the motion prediction / compensation unit 1125 via the predicted image selection unit 1126 from the image read from the screen rearrangement buffer 1112, and the difference information Is output to the orthogonal transform unit 1114. For example, in the case of an image on which intra coding is performed, the calculation unit 1113 subtracts the predicted image supplied from the intra prediction unit 1124 from the image read from the screen rearrangement buffer 1112. For example, in the case of an image on which inter coding is performed, the calculation unit 1113 subtracts the predicted image supplied from the motion prediction / compensation unit 1125 from the image read from the screen rearrangement buffer 1112.

直交変換部1114は、演算部1113から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部1114は、その変換係数を量子化部1115に供給する。   The orthogonal transform unit 1114 performs orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform on the difference information supplied from the computing unit 1113. The orthogonal transform unit 1114 supplies the transform coefficient to the quantization unit 1115.

量子化部1115は、直交変換部1114から供給される変換係数を量子化する。量子化部1115は、レート制御部1127から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部1115は、量子化された変換係数を可逆符号化部1116に供給する。   The quantization unit 1115 quantizes the transform coefficient supplied from the orthogonal transform unit 1114. The quantization unit 1115 sets a quantization parameter based on the information regarding the target value of the code amount supplied from the rate control unit 1127, and performs the quantization. The quantization unit 1115 supplies the quantized transform coefficient to the lossless encoding unit 1116.

可逆符号化部1116は、量子化部1115において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部1127の制御の下で量子化されているので、この符号量は、レート制御部1127が設定した目標値となる(若しくは目標値に近似する)。   The lossless encoding unit 1116 encodes the transform coefficient quantized by the quantization unit 1115 using an arbitrary encoding method. Since the coefficient data is quantized under the control of the rate control unit 1127, this code amount becomes the target value set by the rate control unit 1127 (or approximates the target value).

また、可逆符号化部1116は、イントラ予測のモードを示す情報などをイントラ予測部1124から取得し、インター予測のモードを示す情報や差分動きベクトル情報などを動き予測・補償部1125から取得する。さらに、可逆符号化部1116は、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)等を含むベースレイヤのNALユニットを適宜生成する。   Further, the lossless encoding unit 1116 acquires information indicating the mode of intra prediction from the intra prediction unit 1124 and acquires information indicating the mode of inter prediction, differential motion vector information, and the like from the motion prediction / compensation unit 1125. Further, the lossless encoding unit 1116 appropriately generates a base layer NAL unit including a sequence parameter set (SPS), a picture parameter set (PPS), and the like.

可逆符号化部1116は、これらの各種情報を任意の符号化方式で符号化し、符号化データ(符号化ストリームとも称する)の一部とする(多重化する)。可逆符号化部1116は、符号化して得られた符号化データを蓄積バッファ1117に供給して蓄積させる。   The lossless encoding unit 1116 encodes these various types of information using an arbitrary encoding method, and sets (multiplexes) the encoded information (also referred to as an encoded stream) as part of the encoded data. The lossless encoding unit 1116 supplies the encoded data obtained by encoding to the accumulation buffer 1117 for accumulation.

可逆符号化部1116の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などが挙げられる。算術符号化としては、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)などが挙げられる。   Examples of the encoding method of the lossless encoding unit 1116 include variable length encoding or arithmetic encoding. Examples of variable length coding include H.264. CAVLC (Context-Adaptive Variable Length Coding) defined in the H.264 / AVC format. Examples of arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).

蓄積バッファ1117は、可逆符号化部1116から供給された符号化データ(ベースレイヤ符号化データ)を、一時的に保持する。蓄積バッファ1117は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。すなわち、蓄積バッファ1117は、符号化データを伝送する伝送部でもある。   The accumulation buffer 1117 temporarily holds the encoded data (base layer encoded data) supplied from the lossless encoding unit 1116. The accumulation buffer 1117 outputs the stored base layer encoded data to, for example, a recording device (recording medium) (not shown) or a transmission path at a later stage at a predetermined timing. That is, the accumulation buffer 1117 is also a transmission unit that transmits encoded data.

また、量子化部1115において量子化された変換係数は、逆量子化部1118にも供給される。逆量子化部1118は、その量子化された変換係数を、量子化部1115による量子化に対応する方法で逆量子化する。逆量子化部1118は、得られた変換係数を、逆直交変換部1119に供給する。   Further, the transform coefficient quantized by the quantization unit 1115 is also supplied to the inverse quantization unit 1118. The inverse quantization unit 1118 performs inverse quantization on the quantized transform coefficient by a method corresponding to the quantization by the quantization unit 1115. The inverse quantization unit 1118 supplies the obtained transform coefficient to the inverse orthogonal transform unit 1119.

逆直交変換部1119は、逆量子化部1118から供給された変換係数を、直交変換部1114による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力(復元された差分情報)は、演算部1120に供給される。   The inverse orthogonal transform unit 1119 performs inverse orthogonal transform on the transform coefficient supplied from the inverse quantization unit 1118 by a method corresponding to the orthogonal transform processing by the orthogonal transform unit 1114. The inverse orthogonal transformed output (restored difference information) is supplied to the calculation unit 1120.

演算部1120は、逆直交変換部1119から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部1126を介してイントラ予測部1124若しくは動き予測・補償部1125からの予測画像を加算し、局部的に復号された画像(復号画像)を得る。その復号画像は、ループフィルタ1121またはフレームメモリ1122に供給される。   The calculation unit 1120 uses the prediction image selection unit 1126 to perform prediction from the intra prediction unit 1124 or the motion prediction / compensation unit 1125 on the restored difference information, which is the inverse orthogonal transform result supplied from the inverse orthogonal transform unit 1119. The images are added to obtain a locally decoded image (decoded image). The decoded image is supplied to the loop filter 1121 or the frame memory 1122.

ループフィルタ1121は、デブロックフィルタや適応ループフィルタ等を含み、演算部1120から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ1121は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ1121は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ1121は、フィルタ処理結果(以下、復号画像と称する)をフレームメモリ1122に供給する。   The loop filter 1121 includes a deblock filter, an adaptive loop filter, and the like, and appropriately performs filter processing on the reconstructed image supplied from the calculation unit 1120. For example, the loop filter 1121 removes block distortion of the reconstructed image by performing deblocking filter processing on the reconstructed image. Further, for example, the loop filter 1121 improves the image quality by performing loop filter processing using a Wiener filter on the deblock filter processing result (reconstructed image from which block distortion has been removed). I do. The loop filter 1121 supplies a filter processing result (hereinafter referred to as a decoded image) to the frame memory 1122.

なお、ループフィルタ1121が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ1121は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部1116に供給し、それを符号化させるようにすることもできる。   Note that the loop filter 1121 may further perform other arbitrary filter processing on the reconstructed image. Further, the loop filter 1121 can supply information such as filter coefficients used for the filter processing to the lossless encoding unit 1116 and encode it as necessary.

フレームメモリ1122は、演算部1120から供給される再構成画像と、ループフィルタ1121から供給される復号画像とをそれぞれ記憶する。フレームメモリ1122は、所定のタイミングにおいて、若しくは、イントラ予測部1124等の外部からの要求に基づいて、記憶している再構成画像を、選択部1123を介してイントラ予測部1124に供給する。また、フレームメモリ1122は、所定のタイミングにおいて、若しくは、動き予測・補償部1125等の外部からの要求に基づいて、記憶している復号画像を、選択部1123を介して、動き予測・補償部1125に供給する。   The frame memory 1122 stores the reconstructed image supplied from the calculation unit 1120 and the decoded image supplied from the loop filter 1121. The frame memory 1122 supplies the stored reconstructed image to the intra prediction unit 1124 via the selection unit 1123 at a predetermined timing or based on a request from the outside such as the intra prediction unit 1124. The frame memory 1122 also stores the decoded image stored at a predetermined timing or based on a request from the outside such as the motion prediction / compensation unit 1125 via the selection unit 1123. 1125.

フレームメモリ1122は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部1123に供給する。   The frame memory 1122 stores the supplied decoded image, and supplies the stored decoded image as a reference image to the selection unit 1123 at a predetermined timing.

選択部1123は、フレームメモリ1122から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部1123は、フレームメモリ1122から供給される参照画像(カレントピクチャ内の画素値)を動き予測・補償部1125に供給する。また、例えば、インター予測の場合、選択部1123は、フレームメモリ1122から供給される参照画像を動き予測・補償部1125に供給する。   The selection unit 1123 selects a supply destination of the reference image supplied from the frame memory 1122. For example, in the case of intra prediction, the selection unit 1123 supplies the reference image (pixel value in the current picture) supplied from the frame memory 1122 to the motion prediction / compensation unit 1125. For example, in the case of inter prediction, the selection unit 1123 supplies the reference image supplied from the frame memory 1122 to the motion prediction / compensation unit 1125.

イントラ予測部1124は、選択部1123を介してフレームメモリ1122から供給される参照画像であるカレントピクチャ内の画素値を用いて予測画像を生成するイントラ予測(画面内予測)を行う。イントラ予測部1124は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。   The intra prediction unit 1124 performs intra prediction (intra-screen prediction) that generates a prediction image using pixel values in a current picture that is a reference image supplied from the frame memory 1122 via the selection unit 1123. The intra prediction unit 1124 performs this intra prediction in a plurality of intra prediction modes prepared in advance.

イントラ予測部1124は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ1112から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部1124は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部1126に供給する。   The intra prediction unit 1124 generates prediction images in all candidate intra prediction modes, evaluates the cost function value of each prediction image using the input image supplied from the screen rearrangement buffer 1112, and selects the optimum mode. select. When the intra prediction unit 1124 selects the optimal intra prediction mode, the intra prediction unit 1124 supplies the prediction image generated in the optimal mode to the prediction image selection unit 1126.

また、上述したように、イントラ予測部1124は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部1116に供給し、符号化させる。   Further, as described above, the intra prediction unit 1124 appropriately supplies the intra prediction mode information indicating the adopted intra prediction mode to the lossless encoding unit 1116 for encoding.

動き予測・補償部1125は、画面並べ替えバッファ1112から供給される入力画像と、選択部1123を介してフレームメモリ1122から供給される参照画像とを用いて動き予測(インター予測)を行う。動き予測・補償部1125は、検出された動きベクトルに応じて動き補償処理を行い、予測画像(インター予測画像情報)を生成する。動き予測・補償部1125は、予め用意された複数のインター予測モードでこのようなインター予測を行う。   The motion prediction / compensation unit 1125 performs motion prediction (inter prediction) using the input image supplied from the screen rearrangement buffer 1112 and the reference image supplied from the frame memory 1122 via the selection unit 1123. The motion prediction / compensation unit 1125 performs a motion compensation process according to the detected motion vector, and generates a prediction image (inter prediction image information). The motion prediction / compensation unit 1125 performs such inter prediction in a plurality of inter prediction modes prepared in advance.

動き予測・補償部1125は、候補となる全てのインター予測モードで予測画像を生成する。動き予測・補償部1125は、画面並べ替えバッファ1112から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。動き予測・補償部1125は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部1126に供給する。   The motion prediction / compensation unit 1125 generates prediction images in all candidate inter prediction modes. The motion prediction / compensation unit 1125 evaluates the cost function value of each predicted image using the input image supplied from the screen rearrangement buffer 1112 and information on the generated differential motion vector, and selects an optimal mode. . When the optimal inter prediction mode is selected, the motion prediction / compensation unit 1125 supplies the predicted image generated in the optimal mode to the predicted image selection unit 1126.

動き予測・補償部1125は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部1116に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。   The motion prediction / compensation unit 1125 supplies information indicating the adopted inter prediction mode, information necessary for processing in the inter prediction mode when decoding the encoded data, and the like to the lossless encoding unit 1116. And encoding. The necessary information includes, for example, information on the generated differential motion vector and a flag indicating an index of the predicted motion vector as predicted motion vector information.

予測画像選択部1126は、演算部1113や演算部1120に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部1126は、予測画像の供給元としてイントラ予測部1124を選択し、そのイントラ予測部1124から供給される予測画像を演算部1113や演算部1120に供給する。また、例えば、インター符号化の場合、予測画像選択部1126は、予測画像の供給元として動き予測・補償部1125を選択し、その動き予測・補償部1125から供給される予測画像を演算部1113や演算部1120に供給する。   The predicted image selection unit 1126 selects a supply source of a predicted image to be supplied to the calculation unit 1113 and the calculation unit 1120. For example, in the case of intra coding, the predicted image selection unit 1126 selects the intra prediction unit 1124 as the supply source of the predicted image, and supplies the predicted image supplied from the intra prediction unit 1124 to the calculation unit 1113 and the calculation unit 1120. To do. Also, for example, in the case of inter coding, the predicted image selection unit 1126 selects the motion prediction / compensation unit 1125 as the supply source of the predicted image, and calculates the predicted image supplied from the motion prediction / compensation unit 1125 as the calculation unit 1113. To the arithmetic unit 1120.

レート制御部1127は、蓄積バッファ1117に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部1115の量子化動作のレートを制御する。   The rate control unit 1127 controls the quantization operation rate of the quantization unit 1115 based on the code amount of the encoded data accumulated in the accumulation buffer 1117 so that no overflow or underflow occurs.

なお、イントラ予測部1124は、採用されたイントラ予測モードを、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部1104に供給する。また、可逆符号化部1116は、ベースレイヤの解像度を示す情報を、イントラ予測モード提供部1104に供給する。   The intra prediction unit 1124 supplies the adopted intra prediction mode to the intra prediction mode providing unit 1104 as the intra prediction mode of the base layer. Further, the lossless encoding unit 1116 supplies information indicating the resolution of the base layer to the intra prediction mode providing unit 1104.

<エンハンスメントレイヤ画像符号化部>
図83は、図81のエンハンスメントレイヤ画像符号化部1105の主な構成例を示すブロック図である。図83に示されるように、エンハンスメントレイヤ画像符号化部1105は、図82のベースレイヤ画像符号化部1103と基本的に同様の構成を有する。
<Enhancement layer image encoding unit>
FIG. 83 is a block diagram illustrating an exemplary main configuration of the enhancement layer image encoding unit 1105 of FIG. As shown in FIG. 83, the enhancement layer image encoding unit 1105 has basically the same configuration as the base layer image encoding unit 1103 of FIG.

ただし、エンハンスメントレイヤ画像符号化部1105の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。つまり、エンハンスメントレイヤ画像符号化部1105のA/D変換部1111は、エンハンスメントレイヤ画像情報をA/D変換し、エンハンスメントレイヤ画像符号化部1105の蓄積バッファ1117は、エンハンスメントレイヤ符号化データを、例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。   However, each unit of the enhancement layer image encoding unit 1105 performs processing for encoding enhancement layer image information, not the base layer. That is, the A / D conversion unit 1111 of the enhancement layer image encoding unit 1105 performs A / D conversion on the enhancement layer image information, and the accumulation buffer 1117 of the enhancement layer image encoding unit 1105 converts the enhancement layer encoded data, for example, Then, the data is output to a recording device (recording medium) or a transmission path (not shown) in the subsequent stage.

また、エンハンスメントレイヤ画像符号化部1105は、イントラ予測部1124の代わりに、イントラ予測部1134を有する。   In addition, the enhancement layer image encoding unit 1105 includes an intra prediction unit 1134 instead of the intra prediction unit 1124.

イントラ予測部1134は、イントラ予測モード提供部1104に記憶されているベースレイヤのイントラ予測モード(の代表値)の内、カレントブロックに対応するイントラ予測モードを取得し(読み出し)、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部1124の場合と同様に行われる。   The intra prediction unit 1134 acquires (reads out) the intra prediction mode corresponding to the current block among the intra prediction modes (representative values) of the base layer stored in the intra prediction mode providing unit 1104, and the intra prediction mode. Is used to perform intra prediction of the enhancement layer and generate a predicted image. Intra prediction is performed in the same manner as in the case of the intra prediction unit 1124.

また、イントラ予測部1124の場合と同様に、イントラ予測部1134は、採用されたイントラ予測モードを示すエンハンスメントレイヤのイントラ予測モード情報等を、適宜可逆符号化部1116に供給し、符号化させる。   Similarly to the case of the intra prediction unit 1124, the intra prediction unit 1134 appropriately supplies the enhancement layer intra prediction mode information indicating the adopted intra prediction mode to the lossless encoding unit 1116 to be encoded.

なお、エンハンスメントレイヤ画像符号化部1105の可逆符号化部1116は、エンハンスメントレイヤの解像度を示す情報を、イントラ予測モード提供部1104に供給する。また、この可逆符号化部1116は、イントラ予測モード提供部1104から供給される、ベースレイヤのイントラ予測モードの間引き率を示す情報を取得し、それを符号化して、例えば、エンハンスメントレイヤのシーケンスパラメータセット(SPS(Sequence Parameter Set))、ピクチャパラメータセット(PPS(Picture Parameter Set))、若しくはスライスヘッダ(SliceHeader)等において復号側に伝送させる。   Note that the lossless encoding unit 1116 of the enhancement layer image encoding unit 1105 supplies information indicating the resolution of the enhancement layer to the intra prediction mode providing unit 1104. Also, the lossless encoding unit 1116 obtains information indicating the decimation rate of the base layer intra prediction mode supplied from the intra prediction mode providing unit 1104, encodes the information, and performs, for example, enhancement layer sequence parameters. In a set (SPS (Sequence Parameter Set)), a picture parameter set (PPS (Picture Parameter Set)), a slice header (SliceHeader) or the like, it is transmitted to the decoding side.

なお、この間引き率を示す情報は、例えばビデオパラメータセット(VPS(Video Parameter Set))において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報生成部1101に供給される。   The information indicating the thinning rate may be transmitted in, for example, a video parameter set (VPS (Video Parameter Set)). In this case, information indicating the thinning rate is supplied to the common information generation unit 1101.

<イントラ予測モード提供部>
図84は、図81のイントラ予測モード提供部1104の主な構成例を示すブロック図である。
<Intra prediction mode provider>
FIG. 84 is a block diagram illustrating an exemplary main configuration of the intra prediction mode providing unit 1104 of FIG.

図84に示されるように、イントラ予測モード提供部1104は、間引き率設定部1151、間引き処理部1152、およびイントラ予測モードバッファ1153を有する。   As illustrated in FIG. 84, the intra prediction mode providing unit 1104 includes a thinning rate setting unit 1151, a thinning processing unit 1152, and an intra prediction mode buffer 1153.

間引き率設定部1151は、ベースレイヤのイントラ予測モードの間引き率を設定する。この設定方法は任意である。例えば、間引き率設定部1151が、ユーザ等の外部の指示に基づいて間引き率を設定するようにしてもよい。その際、間引き率は、ベースレイヤにおける比率で設定されるようにしてもよい。   The thinning rate setting unit 1151 sets a thinning rate for the intra prediction mode of the base layer. This setting method is arbitrary. For example, the thinning rate setting unit 1151 may set the thinning rate based on an external instruction from the user or the like. At that time, the thinning rate may be set as a ratio in the base layer.

また、例えば、間引き率設定部1151は、ベースレイヤ画像符号化部1103の可逆符号化部1116からベースレイヤ解像度を取得し、エンハンスメントレイヤ画像符号化部1105の可逆符号化部1116からエンハンスメントレイヤ解像度を取得するようにしてもよい。例えば、間引き率設定部1151が、それらの解像度を示す情報を、モニタ等に表示したり、スピーカなどから音声出力したりすることにより、ユーザに提示するようにしてもよい。その場合、ユーザは、各レイヤの解像度を参考にしながら、間引き率を設定することができる。   Also, for example, the thinning rate setting unit 1151 acquires the base layer resolution from the lossless encoding unit 1116 of the base layer image encoding unit 1103, and obtains the enhancement layer resolution from the lossless encoding unit 1116 of the enhancement layer image encoding unit 1105. You may make it acquire. For example, the thinning rate setting unit 1151 may present the information indicating the resolution to the user by displaying the information on a monitor or outputting the sound from a speaker or the like. In that case, the user can set the thinning rate while referring to the resolution of each layer.

また、例えば、ユーザが、エンハンスメントレイヤにおけるイントラ予測モードのブロックサイズを指定し、間引き率設定部1151が、取得した各レイヤの解像度に基づいて、その指定された情報を、間引き率に換算するようにしてもよい。このようにすることにより、ユーザにとって分かり易い情報で間引き率の設定を行うようにすることができ、間引き率の設定をより容易にすることができる。   Further, for example, the user designates the block size of the intra prediction mode in the enhancement layer, and the thinning rate setting unit 1151 converts the designated information into the thinning rate based on the acquired resolution of each layer. It may be. In this way, the thinning rate can be set with information that is easy for the user to understand, and the thinning rate can be set more easily.

間引き率設定部1151は、このように設定した間引き率を示す情報を間引き処理部1152に供給する。また、間引き率設定部1151は、このように設定した間引き率を示す情報を、エンハンスメントレイヤ画像符号化部1105の可逆符号化部1116(若しくは共通情報生成部1101)にも供給し、復号側に伝送させる。   The thinning rate setting unit 1151 supplies information indicating the thinning rate set in this way to the thinning processing unit 1152. Further, the thinning rate setting unit 1151 also supplies information indicating the thinning rate set in this way to the lossless encoding unit 1116 (or the common information generation unit 1101) of the enhancement layer image encoding unit 1105, and sends it to the decoding side. Let it transmit.

間引き処理部1152は、ベースレイヤ画像符号化部1103のイントラ予測部1124から供給されるベースレイヤのイントラ予測モードを取得し、間引き率設定部1151により設定された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表(イントラ予測モード)を選択する。このように間引かれて残った(選択された)ベースレイヤのイントラ予測モードは、イントラ予測モードバッファ1153に供給される。   The thinning processing unit 1152 acquires the base layer intra prediction mode supplied from the intra prediction unit 1124 of the base layer image coding unit 1103, and sets the intra prediction mode at the thinning rate set by the thinning rate setting unit 1151. Thin out. For example, as described above, the intra prediction mode thinning process is performed for each predetermined area, and a representative (intra prediction mode) of each area is selected. The intra prediction mode of the base layer remaining (selected) after being thinned out in this manner is supplied to the intra prediction mode buffer 1153.

イントラ予測モードバッファ1153は、間引き処理部1152から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ1153は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像符号化部1105のイントラ予測部1134において行なわれるエンハンスメントレイヤのイントラ予測のカレントブロックに対応するエリアのイントラ予測モードを、イントラ予測部1134に供給する。   The intra prediction mode buffer 1153 stores the selected base layer intra prediction mode supplied from the thinning processing unit 1152. The intra prediction mode buffer 1153 corresponds to the current block of enhancement layer intra prediction performed in the intra prediction unit 1134 of the enhancement layer image encoding unit 1105 out of the selected base layer intra prediction modes stored. The intra prediction mode of the area is supplied to the intra prediction unit 1134.

上述したように、イントラ予測部1134は、イントラ予測モードバッファ1153から読み出したベースレイヤのイントラ予測モード(選択されたベースレイヤイントラ予測モード)を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。   As described above, the intra prediction unit 1134 performs intra prediction of the current block of the enhancement layer using the base layer intra prediction mode (selected base layer intra prediction mode) read from the intra prediction mode buffer 1153, and A prediction image is generated.

以上のように、スケーラブル符号化装置1100は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置1100は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置1100は、符号化・復号に必要な記憶容量の増大を抑制することができる。   As described above, scalable encoding apparatus 1100 can use the base layer intra prediction mode in intra prediction in enhancement layer encoding, and therefore can suppress a reduction in encoding efficiency. Thereby, the scalable encoding device 1100 can suppress a reduction in image quality due to encoding / decoding. In addition, when providing the intra layer prediction mode of the base layer to the enhancement layer, the intra prediction mode is thinned out at a predetermined decimation rate, so that the scalable encoding device 1100 increases the storage capacity necessary for encoding / decoding. Can be suppressed.

<共通情報生成処理の流れ>
次に、以上のようなスケーラブル符号化装置1100により実行される各処理の流れについて説明する。最初に、図85のフローチャートを参照して、共通情報生成処理の流れの例を説明する。
<Common information generation process flow>
Next, the flow of each process executed by the scalable encoding device 1100 as described above will be described. First, an example of the flow of common information generation processing will be described with reference to the flowchart in FIG.

共通情報生成処理が開始されると、イントラ予測モード提供部1104の間引き率設定部1151は、ステップS4101において、ベースレイヤイントラ予測モードの間引き率を設定する。   When the common information generation process is started, the decimation rate setting unit 1151 of the intra prediction mode providing unit 1104 sets the decimation rate of the base layer intra prediction mode in step S4101.

ステップS4102において、共通情報生成部1101は、ステップS4101において設定された間引き率を示す情報を含むビデオパラメータセットを生成する。   In step S4102, the common information generation unit 1101 generates a video parameter set including information indicating the thinning rate set in step S4101.

ステップS4103において、共通情報生成部1101は、ステップS4102において生成されたビデオパラメータセットを共通情報として、復号側に伝送(供給)する。ステップS4103の処理が終了すると、共通情報生成処理が終了する。   In step S4103, the common information generation unit 1101 transmits (supplies) the video parameter set generated in step S4102 to the decoding side as common information. When the process of step S4103 ends, the common information generation process ends.

<符号化処理の流れ>
次に、図86のフローチャートを参照して、符号化処理の流れの例を説明する。スケーラブル符号化装置1100は、ピクチャ毎にこの符号化処理を実行する。
<Flow of encoding process>
Next, an example of the flow of the encoding process will be described with reference to the flowchart in FIG. The scalable encoding device 1100 executes this encoding process for each picture.

符号化処理が開始されると、ステップS4121において、スケーラブル符号化装置1100の符号化制御部1102は、最初のレイヤを処理対象とする。   When the encoding process is started, the encoding control unit 1102 of the scalable encoding device 1100 sets the first layer as a processing target in step S4121.

ステップS4122において、符号化制御部1102は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップS4123に進む。   In step S412, the encoding control unit 1102 determines whether or not the current layer to be processed is a base layer. If it is determined that the current layer is the base layer, the process proceeds to step S4123.

ステップS4123において、ベースレイヤ画像符号化部1103およびイントラ予測モード提供部1104は、ベースレイヤ符号化処理を行う。ステップS4123の処理が終了すると、処理は、ステップS4126に進む。   In step S4123, the base layer image encoding unit 1103 and the intra prediction mode providing unit 1104 perform base layer encoding processing. When the process of step S4123 ends, the process proceeds to step S4126.

また、ステップS4122において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理は、ステップS4124に進む。ステップS4124において、符号化制御部1102は、カレントレイヤに対応する(すなわち、参照先とする)ベースレイヤを決定する。   If it is determined in step S4122 that the current layer is an enhancement layer, the process proceeds to step S4124. In step S4124, the encoding control unit 1102 determines a base layer corresponding to the current layer (that is, a reference destination).

ステップS4125において、エンハンスメントレイヤ画像符号化部1105は、エンハンスメントレイヤ符号化処理を行う。ステップS4125の処理が終了すると、処理は、ステップS4126に進む。   In step S4125, the enhancement layer image encoding unit 1105 performs an enhancement layer encoding process. When the process of step S4125 ends, the process proceeds to step S4126.

ステップS4126において、符号化制御部1102は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理は、ステップS4127に進む。   In step S4126, the encoding control unit 1102 determines whether all layers have been processed. If it is determined that there is an unprocessed layer, the process proceeds to step S4127.

ステップS4127において、符号化制御部1102は、次の未処理のレイヤを処理対象(カレントレイヤ)とする。ステップS4127の処理が終了すると、処理は、ステップS4122に戻る。ステップS4122乃至ステップS4127の処理が繰り返し実行され、各レイヤが符号化される。   In step S4127, the encoding control unit 1102 sets the next unprocessed layer as a processing target (current layer). When the process of step S4127 ends, the process returns to step S4122. The processes in steps S4122 to S4127 are repeatedly executed, and each layer is encoded.

そして、ステップS4126において、全てのレイヤが処理されたと判定された場合、符号化処理が終了する。   If it is determined in step S4126 that all layers have been processed, the encoding process ends.

<ベースレイヤ符号化処理の流れ>
次に、図87のフローチャートを参照して、図86のステップS4123において実行されるベースレイヤ符号化処理の流れの例を説明する。
<Flow of base layer encoding process>
Next, an example of the flow of the base layer encoding process executed in step S4123 of FIG. 86 will be described with reference to the flowchart of FIG.

ステップS4141において、ベースレイヤ画像符号化部1103のA/D変換部1111は入力されたベースレイヤの画像情報(画像データ)をA/D変換する。ステップS4142において、画面並べ替えバッファ1112は、A/D変換されたベースレイヤの画像情報(デジタルデータ)を記憶し、各ピクチャを、表示する順番から符号化する順番へ並べ替える。   In step S4141, the A / D conversion unit 1111 of the base layer image encoding unit 1103 A / D converts the input base layer image information (image data). In step S4142, the screen rearrangement buffer 1112 stores the A / D converted base layer image information (digital data), and rearranges each picture from the display order to the encoding order.

ステップS4143において、イントラ予測部1124は、イントラ予測モードのイントラ予測処理を行う。ステップS4144において、動き予測・補償部1125は、インター予測モードでの動き予測や動き補償を行う動き予測・補償処理を行う。ステップS4145において、予測画像選択部1126は、イントラ予測部1124および動き予測・補償部1125から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部1126は、イントラ予測部1124により生成された予測画像と、動き予測・補償部1125により生成された予測画像のいずれか一方を選択する。ステップS4146において、演算部1113は、ステップS4142の処理により並び替えられた画像と、ステップS4145の処理により選択された予測画像との差分を演算する。差分データは元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。   In step S4143, the intra prediction unit 1124 performs an intra prediction process in the intra prediction mode. In step S4144, the motion prediction / compensation unit 1125 performs motion prediction / compensation processing for performing motion prediction or motion compensation in the inter prediction mode. In step S4145, the predicted image selection unit 1126 determines an optimal mode based on the cost function values output from the intra prediction unit 1124 and the motion prediction / compensation unit 1125. That is, the predicted image selection unit 1126 selects either the predicted image generated by the intra prediction unit 1124 or the predicted image generated by the motion prediction / compensation unit 1125. In step S4146, the calculation unit 1113 calculates the difference between the image rearranged by the process of step S4142 and the predicted image selected by the process of step S4145. The difference data is reduced in data amount compared to the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.

ステップS4147において、直交変換部1114は、ステップS4146の処理により生成された差分情報に対する直交変換処理を行う。ステップS4148において、量子化部1115は、レート制御部1127により算出された量子化パラメータを用いて、ステップS4147の処理により得られた直交変換係数を量子化する。   In step S4147, the orthogonal transform unit 1114 performs an orthogonal transform process on the difference information generated by the process of step S4146. In step S4148, the quantization unit 1115 quantizes the orthogonal transform coefficient obtained by the process of step S4147 using the quantization parameter calculated by the rate control unit 1127.

ステップS4148の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップS4149において、逆量子化部1118は、ステップS4148の処理により生成された量子化された係数(量子化係数とも称する)を、量子化部1115の特性に対応する特性で逆量子化する。ステップS4150において、逆直交変換部1119は、ステップS4147の処理により得られた直交変換係数を逆直交変換する。ステップS4151において、演算部1120は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像(演算部1113への入力に対応する画像)を生成する。   The difference information quantized by the process of step S4148 is locally decoded as follows. That is, in step S4149, the inverse quantization unit 1118 inversely quantizes the quantized coefficient (also referred to as a quantization coefficient) generated by the process in step S4148 with characteristics corresponding to the characteristics of the quantization unit 1115. . In step S4150, the inverse orthogonal transform unit 1119 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by the process of step S4147. In step S4151, the calculation unit 1120 adds the predicted image to the locally decoded difference information, and generates a locally decoded image (an image corresponding to the input to the calculation unit 1113).

ステップS4152においてループフィルタ1121は、ステップS4151の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。ステップS4153において、フレームメモリ1122は、ステップS4152の処理によりブロック歪みの除去等が行われた画像を記憶する。なお、フレームメモリ1122にはループフィルタ1121によりフィルタ処理されていない画像も演算部1120から供給され、記憶される。このフレームメモリ1122に記憶された画像は、ステップS4143の処理やステップS4144の処理に利用される。   In step S4152, the loop filter 1121 filters the image generated by the process of step S4151. Thereby, block distortion and the like are removed. In step S4153, the frame memory 1122 stores the image from which block distortion has been removed by the process of step S4152. It should be noted that an image that has not been filtered by the loop filter 1121 is also supplied to the frame memory 1122 from the computing unit 1120 and stored. The image stored in the frame memory 1122 is used for the processing in step S4143 and the processing in step S4144.

ステップS4154において、イントラ予測モード提供部1104の間引き処理部1152は、ベースレイヤのイントラ予測モードを、図85のステップS4101において設定された間引き率で間引く。   In step S4154, the intra prediction mode providing unit 1104 decimation processing unit 1152 decimates the base layer intra prediction mode at the decimation rate set in step S4101 of FIG.

ステップS4155において、イントラ予測モード提供部1104のイントラ予測モードバッファ1153は、ステップS4154の処理により間引かれて選択されたベースレイヤのイントラ予測モードを記憶する。   In step S4155, the intra prediction mode buffer 1153 of the intra prediction mode providing unit 1104 stores the intra prediction mode of the base layer selected by being thinned out in the process of step S4154.

ステップS4156において、ベースレイヤ画像符号化部1103の可逆符号化部1116は、ステップS4148の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。   In step S4156, the lossless encoding unit 1116 of the base layer image encoding unit 1103 encodes the coefficient quantized by the process of step S4148. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the data corresponding to the difference image.

また、このとき、可逆符号化部1116は、ステップS4145の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部1116は、イントラ予測部1124から供給される最適イントラ予測モード情報、または、動き予測・補償部1125から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。   At this time, the lossless encoding unit 1116 encodes information on the prediction mode of the prediction image selected by the process of step S4145, and adds the encoded information to the encoded data obtained by encoding the difference image. That is, the lossless encoding unit 1116 encodes and encodes the optimal intra prediction mode information supplied from the intra prediction unit 1124 or the information corresponding to the optimal inter prediction mode supplied from the motion prediction / compensation unit 1125, and the like. Append to data.

ステップS4157において蓄積バッファ1117は、ステップS4156の処理により得られたベースレイヤ符号化データを蓄積する。蓄積バッファ1117に蓄積されたベースレイヤ符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。   In step S4157, the accumulation buffer 1117 accumulates the base layer encoded data obtained by the process of step S4156. The base layer encoded data stored in the storage buffer 1117 is appropriately read and transmitted to the decoding side via a transmission path or a recording medium.

ステップS4158においてレート制御部1127は、ステップS4157において蓄積バッファ1117に蓄積された符号化データの符号量(発生符号量)に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部1115の量子化動作のレートを制御する。   In step S4158, the rate control unit 1127 determines the quantum of the quantization unit 1115 so that no overflow or underflow occurs based on the code amount (generated code amount) of the encoded data accumulated in the accumulation buffer 1117 in step S4157. Control the rate of activation.

ステップS4158の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図86に戻る。ベースレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ符号化処理が実行される。ただし、ベースレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。   When the process of step S4158 ends, the base layer encoding process ends, and the process returns to FIG. The base layer encoding process is executed in units of pictures, for example. That is, the base layer encoding process is executed for each picture in the current layer. However, each process in the base layer encoding process is performed for each processing unit.

<エンハンスメントレイヤ符号化処理の流れ>
次に、図88のフローチャートを参照して、図86のステップS4125において実行されるエンハンスメントレイヤ符号化処理の流れの例を説明する。
<Enhancement layer coding process flow>
Next, an example of the flow of enhancement layer encoding processing executed in step S4125 of FIG. 86 will be described with reference to the flowchart of FIG.

エンハンスメントレイヤ符号化処理のステップS4171およびステップS4172、並びに、ステップS4175乃至ステップS4187の各処理は、図87のベースレイヤ符号化処理のステップS4141およびステップS4142、ステップS4144乃至ステップS4153、並びに、ステップS4156乃至ステップS4158の各処理と同様に実行される。ただし、エンハンスメントレイヤ符号化処理の各処理は、エンハンスメントレイヤ画像符号化部1105の各処理部により、エンハンスメントレイヤ画像情報に対して行われる。   Steps S4171 and S4172 of the enhancement layer encoding process, and steps S4175 to S4187 are the same as steps S4141 and S4142, and steps S4144 to S4153 and S4156 to S4156 of the base layer encoding process of FIG. It is executed in the same manner as each processing in step S4158. However, each process of the enhancement layer encoding process is performed on the enhancement layer image information by each processing unit of the enhancement layer image encoding unit 1105.

なお、ステップS4173において、エンハンスメントレイヤ画像符号化部1105のイントラ予測部1134は、イントラ予測モード提供部1104のイントラ予測モードバッファ1153から、カレントブロックに対応するベースレイヤのイントラ予測モード(選択されたベースレイヤのイントラ予測モード)を取得する。   In step S4173, the intra prediction unit 1134 of the enhancement layer image encoding unit 1105 receives the intra prediction mode (selected base of the base layer corresponding to the current block) from the intra prediction mode buffer 1153 of the intra prediction mode providing unit 1104. Layer intra prediction mode).

ステップS4174において、イントラ予測部1134は、ステップS4173において取得された、選択されたベースレイヤのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測処理を行う。   In step S4174, the intra prediction unit 1134 performs an enhancement layer intra prediction process using the selected base layer intra prediction mode acquired in step S4173.

ステップS4187の処理が終了すると、エンハンスメントレイヤ符号化処理が終了され、処理は図86に戻る。エンハンスメントレイヤ符号化処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ符号化処理が実行される。ただし、エンハンスメントレイヤ符号化処理内の各処理は、それぞれの処理単位毎に行われる。   When the process of step S4187 ends, the enhancement layer encoding process ends, and the process returns to FIG. The enhancement layer encoding process is executed in units of pictures, for example. That is, the enhancement layer encoding process is executed for each picture in the current layer. However, each process in the enhancement layer encoding process is performed for each processing unit.

以上のように各処理を実行することにより、スケーラブル符号化装置1100は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル符号化装置1100は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル符号化装置1100は、符号化・復号に必要な記憶容量の増大を抑制することができる。   By performing each process as described above, the scalable encoding device 1100 can use the base layer intra prediction mode in the intra prediction in the enhancement layer encoding, thereby suppressing reduction in encoding efficiency. be able to. Thereby, the scalable encoding device 1100 can suppress a reduction in image quality due to encoding / decoding. In addition, when providing the intra layer prediction mode of the base layer to the enhancement layer, the intra prediction mode is thinned out at a predetermined decimation rate, so that the scalable encoding device 1100 increases the storage capacity necessary for encoding / decoding. Can be suppressed.

<7.第6の実施の形態>
<スケーラブル復号装置>
次に、以上のようにスケーラブル符号化(階層符号化)された符号化データ(ビットストリーム)の復号について説明する。図89は、図81のスケーラブル符号化装置1100に対応するスケーラブル復号装置の主な構成例を示すブロック図である。図89に示されるスケーラブル復号装置1200は、例えばスケーラブル符号化装置1100により画像データがスケーラブル符号化されて得られた符号化データを、その符号化方法に対応する方法でスケーラブル復号する。
<7. Sixth Embodiment>
<Scalable decoding device>
Next, decoding of encoded data (bit stream) that has been scalable encoded (hierarchical encoded) as described above will be described. 89 is a block diagram illustrating an exemplary main configuration of a scalable decoding device corresponding to the scalable encoding device 1100 of FIG. The scalable decoding device 1200 shown in FIG. 89 performs scalable decoding on encoded data obtained by, for example, scalable encoding of image data by the scalable encoding device 1100 using a method corresponding to the encoding method.

図89に示されるように、スケーラブル復号装置1200は、共通情報取得部1201、復号制御部1202、ベースレイヤ画像復号部1203、イントラ予測モード提供部1204、およびエンハンスメントレイヤ画像復号部1205を有する。   As illustrated in FIG. 89, the scalable decoding device 1200 includes a common information acquisition unit 1201, a decoding control unit 1202, a base layer image decoding unit 1203, an intra prediction mode providing unit 1204, and an enhancement layer image decoding unit 1205.

共通情報取得部1201は、符号化側から伝送される共通情報(例えば、ビデオパラメータセット(VPS))を取得する。共通情報取得部1201は、取得した共通情報より復号に関する情報を抽出し、それを復号制御部1202に供給する。また、共通情報取得部1201は、共通情報の一部若しくは全部を、ベースレイヤ画像復号部1203乃至エンハンスメントレイヤ画像復号部1205に適宜供給する。   The common information acquisition unit 1201 acquires common information (for example, a video parameter set (VPS)) transmitted from the encoding side. The common information acquisition unit 1201 extracts information related to decoding from the acquired common information and supplies it to the decoding control unit 1202. Also, the common information acquisition unit 1201 supplies part or all of the common information to the base layer image decoding unit 1203 through the enhancement layer image decoding unit 1205 as appropriate.

例えば、間引き率を示す情報がビデオパラメータセット(VPS)において符号化側から伝送される場合、共通情報取得部1201は、符号化側から伝送されたビデオパラメータセットから間引き率を示す情報を取得し、イントラ予測モード提供部1204に供給する。   For example, when information indicating the decimation rate is transmitted from the encoding side in the video parameter set (VPS), the common information acquisition unit 1201 acquires information indicating the decimation rate from the video parameter set transmitted from the encoding side. And supplied to the intra prediction mode providing unit 1204.

復号制御部1202は、共通情報取得部1201から供給された復号に関する情報を取得し、その情報に基づいて、ベースレイヤ画像復号部1203乃至エンハンスメントレイヤ画像復号部1205を制御することにより、各レイヤの復号を制御する。   The decoding control unit 1202 acquires the information related to decoding supplied from the common information acquisition unit 1201, and controls the base layer image decoding unit 1203 to the enhancement layer image decoding unit 1205 based on the information, so that each layer Control decryption.

ベースレイヤ画像復号部1203は、ベースレイヤ画像符号化部1103に対応する画像復号部であり、例えばベースレイヤ画像符号化部1103によりベースレイヤ画像情報が符号化されて得られたベースレイヤ符号化データを取得する。ベースレイヤ画像復号部1203は、他のレイヤの情報を利用せずに、そのベースレイヤ符号化データを復号し、ベースレイヤ画像情報を再構築し、出力する。このようなベースレイヤの復号において、ベースレイヤ画像復号部1203は、符号化の際にイントラ予測が行われブロックについて、符号化側から伝送されるイントラ予測モード情報により指定されるイントラ予測モード(つまり、符号化の際と同じモード)でイントラ予測を行い、予測画像を生成し、その予測画像を用いて復号画像を生成する。また、ベースレイヤ画像復号部1203は、このようなベースレイヤのイントラ予測のイントラ予測モードを、イントラ予測モード提供部1204に供給する。例えば、ベースレイヤ画像復号部1203が、符号化側から伝送されたイントラ予測モード情報を、イントラ予測モード提供部1204に供給するようにしてもよい。   The base layer image decoding unit 1203 is an image decoding unit corresponding to the base layer image encoding unit 1103, and for example, base layer encoded data obtained by encoding base layer image information by the base layer image encoding unit 1103. To get. The base layer image decoding unit 1203 decodes the base layer encoded data without using the information of other layers, reconstructs the base layer image information, and outputs it. In decoding of such a base layer, the base layer image decoding unit 1203 performs intra prediction at the time of encoding, and an intra prediction mode (that is, specified by intra prediction mode information transmitted from the encoding side) about a block (that is, In the same mode as in encoding, intra prediction is performed to generate a predicted image, and a decoded image is generated using the predicted image. Also, the base layer image decoding unit 1203 supplies such an intra prediction mode for base layer intra prediction to the intra prediction mode providing unit 1204. For example, the base layer image decoding unit 1203 may supply the intra prediction mode information transmitted from the encoding side to the intra prediction mode providing unit 1204.

イントラ予測モード提供部1204は、ベースレイヤ画像復号部1203から供給されるイントラ予測モードを、エンハンスメントレイヤ画像復号部1205におけるイントラ予測に提供する処理を行う。その際、イントラ予測モード提供部1204は、ベースレイヤ画像復号部1203から取得したベースレイヤのイントラ予測モードを、所定の間引き率で間引いて記憶する。そして、エンハンスメントレイヤの符号化が行われる際に、イントラ予測モード提供部1204は、記憶しているベースレイヤのイントラ予測モードを、エンハンスメントレイヤ画像復号部1205に供給する。すなわち、エンハンスメントレイヤ画像復号部1205には、イントラ予測モード提供部1204により選択されたイントラ予測モードが提供される。   The intra prediction mode providing unit 1204 performs processing for providing the intra prediction mode supplied from the base layer image decoding unit 1203 to the intra prediction in the enhancement layer image decoding unit 1205. At that time, the intra prediction mode providing unit 1204 stores the base layer intra prediction mode acquired from the base layer image decoding unit 1203 by thinning out at a predetermined thinning rate. Then, when the enhancement layer is encoded, the intra prediction mode providing unit 1204 supplies the stored base layer intra prediction mode to the enhancement layer image decoding unit 1205. That is, the enhancement layer image decoding unit 1205 is provided with the intra prediction mode selected by the intra prediction mode providing unit 1204.

エンハンスメントレイヤ画像復号部1205は、エンハンスメントレイヤ画像符号化部1105に対応する画像復号部であり、例えばエンハンスメントレイヤ画像符号化部1105によりエンハンスメントレイヤ画像情報が符号化されて得られたエンハンスメントレイヤ符号化データを取得する。エンハンスメントレイヤ画像復号部1205は、イントラ予測モード提供部1204から取得したベースレイヤのイントラ予測モードを用いてイントラ予測を行い、予測画像を生成し、その予測画像を用いてエンハンスメントレイヤ画像情報を再構築し、出力する。   The enhancement layer image decoding unit 1205 is an image decoding unit corresponding to the enhancement layer image encoding unit 1105, for example, enhancement layer encoded data obtained by encoding enhancement layer image information by the enhancement layer image encoding unit 1105. To get. The enhancement layer image decoding unit 1205 performs intra prediction using the intra prediction mode of the base layer acquired from the intra prediction mode providing unit 1204, generates a predicted image, and reconstructs enhancement layer image information using the predicted image. And output.

<ベースレイヤ画像復号部>
図90は、図89のベースレイヤ画像復号部1203の主な構成例を示すブロック図である。図90に示されるようにベースレイヤ画像復号部1203は、蓄積バッファ1211、可逆復号部1212、逆量子化部1213、逆直交変換部1214、演算部1215、ループフィルタ1216、画面並べ替えバッファ1217、およびD/A変換部1218を有する。また、ベースレイヤ画像復号部1203は、フレームメモリ1219、選択部1220、イントラ予測部1221、動き補償部1222、および選択部1223を有する。
<Base layer image decoding unit>
FIG. 90 is a block diagram illustrating an exemplary main configuration of the base layer image decoding unit 1203 of FIG. As shown in FIG. 90, the base layer image decoding unit 1203 includes a storage buffer 1211, a lossless decoding unit 1212, an inverse quantization unit 1213, an inverse orthogonal transform unit 1214, a calculation unit 1215, a loop filter 1216, a screen rearrangement buffer 1217, And a D / A converter 1218. The base layer image decoding unit 1203 includes a frame memory 1219, a selection unit 1220, an intra prediction unit 1221, a motion compensation unit 1222, and a selection unit 1223.

蓄積バッファ1211は、伝送されてきたベースレイヤ符号化データを受け取る受け取り部でもある。蓄積バッファ1211は、伝送されてきたベースレイヤ符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部1212に供給する。このベースレイヤ符号化データには、予測モード情報などの復号に必要な情報が付加されている。   The accumulation buffer 1211 is also a receiving unit that receives transmitted base layer encoded data. The accumulation buffer 1211 receives and accumulates the transmitted base layer encoded data, and supplies the encoded data to the lossless decoding unit 1212 at a predetermined timing. Information necessary for decoding such as prediction mode information is added to the base layer encoded data.

可逆復号部1212は、蓄積バッファ1211より供給された、可逆符号化部1116により符号化された情報を、可逆符号化部1116の符号化方式に対応する方式で復号する。可逆復号部1212は、復号して得られた差分画像の量子化された係数データを、逆量子化部1213に供給する。   The lossless decoding unit 1212 decodes the information supplied from the accumulation buffer 1211 and encoded by the lossless encoding unit 1116 using a method corresponding to the encoding method of the lossless encoding unit 1116. The lossless decoding unit 1212 supplies the quantized coefficient data of the difference image obtained by decoding to the inverse quantization unit 1213.

また、可逆復号部1212は、ベースレイヤ符号化データに含まれるビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)等を含むNALユニットを適宜抽出し、取得する。可逆復号部1212は、それらの情報から、最適な予測モードに関する情報を抽出し、その情報に基づいて最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部1221および動き補償部1222の内、選択されたと判定したモードの方に供給する。つまり、例えば、ベースレイヤ画像符号化部1103において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部1221に供給される。また、例えば、ベースレイヤ画像符号化部1103において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報が動き補償部1222に供給される。   Further, the lossless decoding unit 1212 appropriately extracts and acquires NAL units including a video parameter set (VPS), a sequence parameter set (SPS), a picture parameter set (PPS), and the like included in the base layer encoded data. The lossless decoding unit 1212 extracts information on the optimal prediction mode from the information, determines whether the intra prediction mode or the inter prediction mode is selected as the optimal prediction mode based on the information, and Information regarding the optimal prediction mode is supplied to the mode determined to be selected from the intra prediction unit 1221 and the motion compensation unit 1222. That is, for example, when the intra prediction mode is selected as the optimal prediction mode in the base layer image encoding unit 1103, information regarding the optimal prediction mode is supplied to the intra prediction unit 1221. For example, when the inter prediction mode is selected as the optimal prediction mode in the base layer image encoding unit 1103, information regarding the optimal prediction mode is supplied to the motion compensation unit 1222.

さらに、可逆復号部1212は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報をNALユニット等から抽出し、それを逆量子化部1213に供給する。   Furthermore, the lossless decoding unit 1212 extracts information necessary for inverse quantization, such as a quantization matrix and a quantization parameter, from the NAL unit and the like, and supplies it to the inverse quantization unit 1213.

逆量子化部1213は、可逆復号部1212により復号されて得られた量子化された係数データを、量子化部1115の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部1213は、逆量子化部1118と同様の処理部である。つまり、逆量子化部1213の説明は、逆量子化部1118にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。逆量子化部1213は、得られた係数データを逆直交変換部1214に供給する。   The inverse quantization unit 1213 performs inverse quantization on the quantized coefficient data obtained by decoding by the lossless decoding unit 1212 using a method corresponding to the quantization method of the quantization unit 1115. The inverse quantization unit 1213 is a processing unit similar to the inverse quantization unit 1118. That is, the description of the inverse quantization unit 1213 can be applied to the inverse quantization unit 1118 as well. However, the data input / output destinations and the like need to be changed appropriately according to the device. The inverse quantization unit 1213 supplies the obtained coefficient data to the inverse orthogonal transform unit 1214.

逆直交変換部1214は、逆量子化部1213から供給される係数データを、直交変換部1114の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部1214は、逆直交変換部1119と同様の処理部である。つまり、逆直交変換部1214の説明は、逆直交変換部1119にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。   The inverse orthogonal transform unit 1214 performs inverse orthogonal transform on the coefficient data supplied from the inverse quantization unit 1213 using a method corresponding to the orthogonal transform method of the orthogonal transform unit 1114. The inverse orthogonal transform unit 1214 is a processing unit similar to the inverse orthogonal transform unit 1119. That is, the description of the inverse orthogonal transform unit 1214 can be applied to the inverse orthogonal transform unit 1119. However, the data input / output destinations and the like need to be changed appropriately according to the device.

逆直交変換部1214は、この逆直交変換処理により、直交変換部1114において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部1215に供給される。また、演算部1215には、選択部1223を介して、イントラ予測部1221若しくは動き補償部1222から予測画像が供給される。   The inverse orthogonal transform unit 1214 obtains decoded residual data corresponding to the residual data before being orthogonally transformed by the orthogonal transform unit 1114 by the inverse orthogonal transform process. The decoded residual data obtained by the inverse orthogonal transform is supplied to the calculation unit 1215. Also, a prediction image is supplied to the calculation unit 1215 from the intra prediction unit 1221 or the motion compensation unit 1222 via the selection unit 1223.

演算部1215は、その復号残差データと予測画像とを加算し、演算部1113により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部1215は、その復号画像データをループフィルタ1216に供給する。   The computing unit 1215 adds the decoded residual data and the predicted image, and obtains decoded image data corresponding to the image data before the predicted image is subtracted by the computing unit 1113. The arithmetic unit 1215 supplies the decoded image data to the loop filter 1216.

ループフィルタ1216は、供給された復号画像に対して、デブロックフィルタや適応ループフィルタ等を含むフィルタ処理を適宜施し、それを画面並べ替えバッファ1217およびフレームメモリ1219に供給する。例えば、ループフィルタ1216は、復号画像に対してデブロックフィルタ処理を行うことにより復号画像のブロック歪を除去する。また、例えば、ループフィルタ1216は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた復号画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。なお、このループフィルタ1216は、ループフィルタ1121と同様の処理部である。   The loop filter 1216 appropriately performs filtering processing including a deblocking filter and an adaptive loop filter on the supplied decoded image, and supplies it to the screen rearranging buffer 1217 and the frame memory 1219. For example, the loop filter 1216 removes block distortion of the decoded image by performing a deblocking filter process on the decoded image. Further, for example, the loop filter 1216 performs image quality improvement by performing loop filter processing using the Wiener Filter on the deblock filter processing result (the decoded image from which block distortion has been removed). Do. The loop filter 1216 is a processing unit similar to the loop filter 1121.

なお、演算部1215から出力される復号画像は、ループフィルタ1216を介さずに画面並べ替えバッファ1217やフレームメモリ1219に供給することができる。つまり、ループフィルタ1216によるフィルタ処理の一部若しくは全部は省略することができる。   Note that the decoded image output from the calculation unit 1215 can be supplied to the screen rearrangement buffer 1217 and the frame memory 1219 without passing through the loop filter 1216. That is, part or all of the filter processing by the loop filter 1216 can be omitted.

画面並べ替えバッファ1217は、復号画像の並べ替えを行う。すなわち、画面並べ替えバッファ1112により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部1218は、画面並べ替えバッファ1217から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。   The screen rearrangement buffer 1217 rearranges the decoded images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 1112 is rearranged in the original display order. The D / A conversion unit 1218 D / A converts the image supplied from the screen rearrangement buffer 1217, and outputs and displays the image on a display (not shown).

フレームメモリ1219は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部1221や動き補償部1222等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部1220に供給する。   The frame memory 1219 stores the supplied decoded image, and uses the stored decoded image as a reference image at a predetermined timing or based on an external request such as the intra prediction unit 1221 or the motion compensation unit 1222. It supplies to the selection part 1220.

選択部1220は、フレームメモリ1219から供給される参照画像の供給先を選択する。選択部1220は、イントラ符号化された画像を復号する場合、フレームメモリ1219から供給される参照画像をイントラ予測部1221に供給する。また、選択部1220は、インター符号化された画像を復号する場合、フレームメモリ1219から供給される参照画像を動き補償部1222に供給する。   The selection unit 1220 selects a reference image supply destination supplied from the frame memory 1219. The selection unit 1220 supplies the reference image supplied from the frame memory 1219 to the intra prediction unit 1221 when decoding an intra-coded image. The selection unit 1220 supplies the reference image supplied from the frame memory 1219 to the motion compensation unit 1222 when decoding an inter-coded image.

イントラ予測部1221には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部1212から適宜供給される。イントラ予測部1221は、イントラ予測部1124において用いられたイントラ予測モードで、フレームメモリ1219から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部1221は、生成した予測画像を選択部1223に供給する。   Information indicating an intra prediction mode obtained by decoding header information and the like are appropriately supplied from the lossless decoding unit 1212 to the intra prediction unit 1221. The intra prediction unit 1221 performs intra prediction using the reference image acquired from the frame memory 1219 in the intra prediction mode used in the intra prediction unit 1124, and generates a predicted image. The intra prediction unit 1221 supplies the generated predicted image to the selection unit 1223.

動き補償部1222は、ヘッダ情報を復号して得られた情報(最適予測モード情報、参照画像情報等)を可逆復号部1212から取得する。   The motion compensation unit 1222 acquires information (optimum prediction mode information, reference image information, etc.) obtained by decoding the header information from the lossless decoding unit 1212.

動き補償部1222は、可逆復号部1212から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ1219から取得した参照画像を用いて動き補償を行い、予測画像を生成する。動き補償部1222は、生成した予測画像を選択部1223に供給する。   The motion compensation unit 1222 performs motion compensation using the reference image acquired from the frame memory 1219 in the inter prediction mode indicated by the optimal prediction mode information acquired from the lossless decoding unit 1212, and generates a predicted image. The motion compensation unit 1222 supplies the generated predicted image to the selection unit 1223.

選択部1223は、イントラ予測部1221からの予測画像または動き補償部1222からの予測画像を、演算部1215に供給する。そして、演算部1215においては、動きベクトルが用いられて生成された予測画像と逆直交変換部1214からの復号残差データ(差分画像情報)とが加算されて元の画像が復号される。   The selection unit 1223 supplies the prediction image from the intra prediction unit 1221 or the prediction image from the motion compensation unit 1222 to the calculation unit 1215. The calculation unit 1215 adds the predicted image generated using the motion vector and the decoded residual data (difference image information) from the inverse orthogonal transform unit 1214 to decode the original image.

なお、イントラ予測部1221は、採用されたイントラ予測モード(すなわち、符号化側により指定されたイントラ予測モード)を、ベースレイヤのイントラ予測モードとして、イントラ予測モード提供部1204に供給する。   The intra prediction unit 1221 supplies the adopted intra prediction mode (that is, the intra prediction mode specified by the encoding side) to the intra prediction mode providing unit 1204 as the intra prediction mode of the base layer.

<エンハンスメントレイヤ画像復号部>
図91は、図89のエンハンスメントレイヤ画像復号部1205の主な構成例を示すブロック図である。図91に示されるように、エンハンスメントレイヤ画像復号部1205は、図90のベースレイヤ画像復号部1203と基本的に同様の構成を有する。
<Enhancement layer image decoding unit>
FIG. 91 is a block diagram illustrating an exemplary main configuration of the enhancement layer image decoding unit 1205 of FIG. As shown in FIG. 91, the enhancement layer image decoding unit 1205 has basically the same configuration as the base layer image decoding unit 1203 of FIG.

ただし、エンハンスメントレイヤ画像復号部1205の各部は、ベースレイヤではなく、エンハンスメントレイヤ符号化データの復号についての処理を行う。つまり、エンハンスメントレイヤ画像復号部1205の蓄積バッファ1211は、エンハンスメントレイヤ符号化データを記憶し、エンハンスメントレイヤ画像復号部1205のD/A変換部1218は、エンハンスメントレイヤ画像情報を、例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。   However, each unit of the enhancement layer image decoding unit 1205 performs processing for decoding enhancement layer encoded data, not the base layer. That is, the accumulation buffer 1211 of the enhancement layer image decoding unit 1205 stores the enhancement layer encoded data, and the D / A conversion unit 1218 of the enhancement layer image decoding unit 1205 stores the enhancement layer image information, for example, in the subsequent stage. Output to a recording device (recording medium) or transmission path.

また、エンハンスメントレイヤ画像復号部1205は、イントラ予測部1221の代わりに、イントラ予測部1231を有する。   Further, the enhancement layer image decoding unit 1205 includes an intra prediction unit 1231 instead of the intra prediction unit 1221.

イントラ予測部1231は、イントラ予測モード提供部1204が記憶するベースレイヤのイントラ予測モード(の代表値)の内、カレントブロックに対応するイントラ予測モードを取得し(読み出し)、そのイントラ予測モードを用いて、エンハンスメントレイヤのイントラ予測を行い、予測画像を生成する。イントラ予測は、イントラ予測部1221の場合と同様に行われる。   The intra prediction unit 1231 acquires (reads out) the intra prediction mode corresponding to the current block from the base layer intra prediction modes (representative values) stored in the intra prediction mode providing unit 1204, and uses the intra prediction mode. Then, intra prediction of the enhancement layer is performed to generate a predicted image. Intra prediction is performed in the same manner as in the case of the intra prediction unit 1221.

なお、エンハンスメントレイヤ画像復号部1205の可逆復号部1212は、例えば、エンハンスメントレイヤのシーケンスパラメータセット(SPS(Sequence Parameter Set))、ピクチャパラメータセット(PPS(Picture Parameter Set))、若しくはスライスヘッダ(SliceHeader)等において、間引き率を示す情報が符号化側から伝送される場合、その符号化側から伝送された間引き率を示す情報を、イントラ予測モード提供部1204に供給する。   Note that the lossless decoding unit 1212 of the enhancement layer image decoding unit 1205 is, for example, an enhancement layer sequence parameter set (SPS (Sequence Parameter Set)), a picture parameter set (PPS (Picture Parameter Set)), or a slice header (SliceHeader). In such a case, when information indicating the decimation rate is transmitted from the encoding side, the information indicating the decimation rate transmitted from the encoding side is supplied to the intra prediction mode providing unit 1204.

なお、この間引き率を示す情報は、例えばビデオパラメータセット(VPS(Video Parameter Set))において伝送させるようにしてもよい。その場合、この間引き率を示す情報は、共通情報取得部1201からイントラ予測モード提供部1204に供給される。   The information indicating the thinning rate may be transmitted in, for example, a video parameter set (VPS (Video Parameter Set)). In this case, information indicating the thinning rate is supplied from the common information acquisition unit 1201 to the intra prediction mode providing unit 1204.

<イントラ予測モード提供部>
図92は、図89のイントラ予測モード提供部1204の主な構成例を示すブロック図である。
<Intra prediction mode provider>
FIG. 92 is a block diagram illustrating an exemplary main configuration of the intra prediction mode providing unit 1204 of FIG.

図92に示されるように、イントラ予測モード提供部1204は、間引き率取得部1251、間引き処理部1252、およびイントラ予測モードバッファ1253を有する。   As illustrated in FIG. 92, the intra prediction mode providing unit 1204 includes a thinning rate acquisition unit 1251, a thinning processing unit 1252, and an intra prediction mode buffer 1253.

間引き率取得部1251は、エンハンスメントレイヤ画像復号部1205の可逆復号部1212(若しくは共通情報取得部1201)から、符号化側から伝送された、ベースレイヤのイントラ予測モードの間引き率を取得する。間引き率取得部1251は、取得した間引き率を示す情報を間引き処理部1252に供給する。   The thinning rate acquisition unit 1251 acquires the thinning rate of the base layer intra prediction mode transmitted from the encoding side from the lossless decoding unit 1212 (or the common information acquisition unit 1201) of the enhancement layer image decoding unit 1205. The thinning rate acquisition unit 1251 supplies information indicating the acquired thinning rate to the thinning processing unit 1252.

間引き処理部1252は、ベースレイヤ画像復号部1203のイントラ予測部1221から供給されるベースレイヤの各ブロックのイントラ予測モードを取得し、間引き率取得部1251から供給された間引き率で、そのイントラ予測モードを間引く。例えば、上述したように、所定のエリア毎にイントラ予測モードの間引き処理を行い、各エリアの代表(イントラ予測モード)を選択する。このように間引かれて選択されたベースレイヤのイントラ予測モードは、イントラ予測モードバッファ1253に供給される。   The thinning processing unit 1252 acquires the intra prediction mode of each block of the base layer supplied from the intra prediction unit 1221 of the base layer image decoding unit 1203, and performs the intra prediction with the thinning rate supplied from the thinning rate acquisition unit 1251. Decimate the mode. For example, as described above, the intra prediction mode thinning process is performed for each predetermined area, and a representative (intra prediction mode) of each area is selected. The intra prediction mode of the base layer selected by being thinned out in this way is supplied to the intra prediction mode buffer 1253.

イントラ予測モードバッファ1253は、間引き処理部1252から供給された、選択されたベースレイヤイントラ予測モードを記憶する。イントラ予測モードバッファ1253は、記憶している、選択されたベースレイヤイントラ予測モードの中から、エンハンスメントレイヤ画像復号部1205のイントラ予測部1231において行なわれるイントラ予測のカレントブロックに対応するブロックのイントラ予測モードを、イントラ予測部1231に供給する。   The intra prediction mode buffer 1253 stores the selected base layer intra prediction mode supplied from the thinning processing unit 1252. The intra prediction mode buffer 1253 stores the intra prediction of the block corresponding to the current block of the intra prediction performed in the intra prediction unit 1231 of the enhancement layer image decoding unit 1205 from among the selected base layer intra prediction modes stored. The mode is supplied to the intra prediction unit 1231.

上述したように、イントラ予測部1231は、イントラ予測モードバッファ1253から読み出したベースレイヤのイントラ予測モード(選択されたベースレイヤイントラ予測モード)を用いて、エンハンスメントレイヤのカレントブロックのイントラ予測を行い、予測画像を生成する。   As described above, the intra prediction unit 1231 performs intra prediction of the current block of the enhancement layer using the base layer intra prediction mode (selected base layer intra prediction mode) read from the intra prediction mode buffer 1253, and A prediction image is generated.

以上のように、スケーラブル復号装置1200は、エンハンスメントレイヤの符号化におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置1200は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを所定の間引き率で間引くので、スケーラブル復号装置1200は、符号化・復号に必要な記憶容量の増大を抑制することができる。   As described above, scalable decoding apparatus 1200 can use the base layer intra prediction mode in intra prediction in enhancement layer encoding, and therefore can suppress a reduction in encoding efficiency. Thereby, scalable decoding apparatus 1200 can suppress a reduction in image quality due to encoding / decoding. In addition, when providing the intra layer prediction mode of the base layer to the enhancement layer, the intra prediction mode is thinned out at a predetermined decimation rate, so that the scalable decoding device 1200 suppresses an increase in storage capacity necessary for encoding / decoding. can do.

<共通情報取得処理の流れ>
次に、以上のようなスケーラブル復号装置1200により実行される各処理の流れについて説明する。最初に、図93のフローチャートを参照して、共通情報取得処理の流れの例を説明する。
<Flow of common information acquisition processing>
Next, the flow of each process executed by the scalable decoding device 1200 will be described. First, an example of the flow of common information acquisition processing will be described with reference to the flowchart in FIG.

共通情報取得処理が開始されると、共通情報取得部1201は、ステップS4201において、符号化側から伝送されたビデオパラメータセットを取得する。   When the common information acquisition process is started, the common information acquisition unit 1201 acquires the video parameter set transmitted from the encoding side in step S4201.

ステップS4202において、イントラ予測モード提供部1204の間引き率取得部1251は、ステップS4201において取得されたビデオパラメータセットから、ベースレイヤイントラ予測モードの間引き率を取得する。   In step S4202, the decimation rate acquisition unit 1251 of the intra prediction mode providing unit 1204 acquires the decimation rate of the base layer intra prediction mode from the video parameter set acquired in step S4201.

ステップS4202の処理が終了すると、共通情報取得処理が終了する。   When the process of step S4202 ends, the common information acquisition process ends.

<復号処理の流れ>
次に、図94のフローチャートを参照して、復号処理の流れの例を説明する。スケーラブル復号装置1200は、ピクチャ毎にこの復号処理を実行する。
<Decoding process flow>
Next, an example of the flow of decoding processing will be described with reference to the flowchart of FIG. The scalable decoding device 1200 executes this decoding process for each picture.

復号処理が開始されると、ステップS4221において、スケーラブル復号装置1200の復号制御部1202は、最初のレイヤを処理対象とする。   When the decoding process is started, in step S4221, the decoding control unit 1202 of the scalable decoding device 1200 sets the first layer as a processing target.

ステップS4222において、復号制御部1202は、処理対象であるカレントレイヤがベースレイヤであるか否かを判定する。カレントレイヤがベースレイヤであると判定された場合、処理は、ステップS4223に進む。   In step S4222, the decoding control unit 1202 determines whether or not the current layer to be processed is a base layer. If it is determined that the current layer is the base layer, the process proceeds to step S4223.

ステップS4223において、ベースレイヤ画像復号部1203およびイントラ予測モード提供部1204は、ベースレイヤ復号処理を行う。ステップS4223の処理が終了すると、処理は、ステップS4226に進む。   In step S4223, the base layer image decoding unit 1203 and the intra prediction mode providing unit 1204 perform base layer decoding processing. When the process of step S4223 ends, the process proceeds to step S4226.

また、ステップS4222において、カレントレイヤがエンハンスメントレイヤであると判定された場合、処理はステップS4224に進む。ステップS4224において、復号制御部1202は、カレントレイヤに対応する(すなわち、参照先とする)ベースレイヤを決定する。   If it is determined in step S4222 that the current layer is an enhancement layer, the process proceeds to step S4224. In step S4224, the decoding control unit 1202 determines a base layer corresponding to the current layer (that is, a reference destination).

ステップS4225において、エンハンスメントレイヤ画像復号部1205は、エンハンスメントレイヤ復号処理を行う。ステップS4225の処理が終了すると、処理はステップS4226に進む。   In step S4225, the enhancement layer image decoding unit 1205 performs enhancement layer decoding processing. When the process of step S4225 ends, the process proceeds to step S4226.

ステップS4226において、復号制御部1202は、全てのレイヤを処理したか否かを判定する。未処理のレイヤが存在すると判定された場合、処理はステップS4227に進む。   In step S4226, the decoding control unit 1202 determines whether all layers have been processed. If it is determined that there is an unprocessed layer, the process proceeds to step S4227.

ステップS4227において、復号制御部1202は、次の未処理のレイヤを処理対象(カレントレイヤ)とする。ステップS4227の処理が終了すると、処理はステップS4222に戻る。ステップS4222乃至ステップS4227の処理が繰り返し実行され、各レイヤが復号される。   In step S4227, the decoding control unit 1202 sets the next unprocessed layer as a processing target (current layer). When the process of step S4227 ends, the process returns to step S4222. The processing from step S4222 to step S4227 is repeatedly executed, and each layer is decoded.

そして、ステップS4226において、全てのレイヤが処理されたと判定された場合、復号処理が終了する。   If it is determined in step S4226 that all layers have been processed, the decoding process ends.

<ベースレイヤ復号処理の流れ>
次に、図95のフローチャートを参照して、図94のステップS4223において実行されるベースレイヤ復号処理の流れの例を説明する。
<Flow of base layer decoding process>
Next, an example of the flow of the base layer decoding process executed in step S4223 of FIG. 94 will be described with reference to the flowchart of FIG.

ベースレイヤ復号処理が開始されると、ステップS4241において、ベースレイヤ画像復号部1203の蓄積バッファ1211は、符号化側から伝送されたベースレイヤのビットストリームを蓄積する。ステップS4242において、可逆復号部1212は、蓄積バッファ1211から供給されるベースレイヤのビットストリーム(符号化された差分画像情報)を復号する。すなわち、可逆符号化部1116により符号化されたIピクチャ、Pピクチャ、並びにBピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。   When the base layer decoding process is started, in step S4241, the accumulation buffer 1211 of the base layer image decoding unit 1203 accumulates the base layer bit stream transmitted from the encoding side. In step S4242, the lossless decoding unit 1212 decodes the base layer bitstream (encoded difference image information) supplied from the accumulation buffer 1211. That is, the I picture, P picture, and B picture encoded by the lossless encoding unit 1116 are decoded. At this time, various information other than the difference image information included in the bit stream such as header information is also decoded.

ステップS4243において、逆量子化部1213は、ステップS4242の処理により得られた、量子化された係数を逆量子化する。   In step S4243, the inverse quantization unit 1213 inversely quantizes the quantized coefficient obtained by the process of step S4242.

ステップS4244において、逆直交変換部1214は、カレントブロック(カレントTU)を逆直交変換する。   In step S4244, the inverse orthogonal transform unit 1214 performs inverse orthogonal transform on the current block (current TU).

ステップS4245において、イントラ予測部1221若しくは動き補償部1222は、予測処理を行い、予測画像を生成する。つまり、可逆復号部1212において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部1221が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、動き補償部1222が、符号化の際に最適とされたインター予測モードで予測画像を生成する。   In step S4245, the intra prediction unit 1221 or the motion compensation unit 1222 performs a prediction process to generate a predicted image. That is, the prediction process is performed in the prediction mode that is determined in the lossless decoding unit 1212 and applied at the time of encoding. More specifically, for example, when intra prediction is applied at the time of encoding, the intra prediction unit 1221 generates a prediction image in an intra prediction mode that is optimized at the time of encoding. Further, for example, when inter prediction is applied at the time of encoding, the motion compensation unit 1222 generates a prediction image in the inter prediction mode that is optimized at the time of encoding.

ステップS4246において、演算部1215は、ステップS4244の逆直交変換処理により生成された差分画像情報に、ステップS4245において生成された予測画像を加算する。これにより元の画像が復号される。   In step S4246, the computing unit 1215 adds the predicted image generated in step S4245 to the difference image information generated by the inverse orthogonal transform process in step S4244. As a result, the original image is decoded.

ステップS4247において、ループフィルタ1216は、ステップS4246において得られた復号画像に対して、ループフィルタ処理を適宜行う。   In step S4247, the loop filter 1216 appropriately performs loop filter processing on the decoded image obtained in step S4246.

ステップS4248において、画面並べ替えバッファ1217は、ステップS4247においてフィルタ処理された画像の並べ替えを行う。すなわち画面並べ替えバッファ1112により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。   In step S4248, the screen rearrangement buffer 1217 rearranges the images filtered in step S4247. That is, the order of frames rearranged for encoding by the screen rearrangement buffer 1112 is rearranged to the original display order.

ステップS4249において、D/A変換部1218は、ステップS4248においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。   In step S4249, the D / A conversion unit 1218 performs D / A conversion on the image in which the frame order is rearranged in step S4248. This image is output to a display (not shown), and the image is displayed.

ステップS4250において、フレームメモリ1219は、ステップS4247においてループフィルタ処理された復号画像を記憶する。   In step S4250, the frame memory 1219 stores the decoded image subjected to the loop filter process in step S4247.

ステップS4251において、イントラ予測モード提供部1204の間引き処理部1252は、ステップS4245において、イントラ予測部1221のイントラ予測処理により得られたベースレイヤのイントラ予測モードを、図93のステップS4202において取得された間引き率に従って間引く。   In step S4251, the thinning-out processing unit 1252 of the intra prediction mode providing unit 1204 acquires the base layer intra prediction mode obtained by the intra prediction processing of the intra prediction unit 1221 in step S4245 in step S4202 of FIG. Thin out according to the thinning rate.

ステップS4252において、イントラ予測モード提供部1204のイントラ予測モードバッファ1253は、ステップS4251において間引かれることにより選択されたベースレイヤのイントラ予測モードを記憶する。   In step S4252, the intra prediction mode buffer 1253 of the intra prediction mode providing unit 1204 stores the intra prediction mode of the base layer selected by being thinned out in step S4251.

ステップS4252の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図94に戻る。ベースレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してベースレイヤ復号処理が実行される。ただし、ベースレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。   When the process of step S4252 ends, the base layer decoding process ends, and the process returns to FIG. The base layer decoding process is executed in units of pictures, for example. That is, the base layer decoding process is executed for each picture in the current layer. However, each process in the base layer decoding process is performed for each processing unit.

<エンハンスメントレイヤ復号処理の流れ>
次に、図96のフローチャートを参照して、図94のステップS4225において実行されるエンハンスメントレイヤ復号処理の流れの例を説明する。
<Flow of enhancement layer decoding processing>
Next, an example of the flow of enhancement layer decoding processing executed in step S4225 of FIG. 94 will be described with reference to the flowchart of FIG.

エンハンスメントレイヤ復号処理のステップS4271乃至ステップS4274、並びに、ステップS4276乃至ステップS4280の各処理は、ベースレイヤ復号処理のステップS4241乃至ステップS4244、並びに、ステップS4246乃至ステップS4250の各処理と同様に実行される。ただし、エンハンスメントレイヤ復号処理の各処理は、エンハンスメントレイヤ画像復号部1205の各処理部により、エンハンスメントレイヤ符号化データに対して行われる。   Steps S4271 to S4274 of enhancement layer decoding processing and steps S4276 to S4280 are executed in the same manner as steps S4241 to S4244 and steps S4246 to S4250 of base layer decoding processing. . However, each process of the enhancement layer decoding process is performed on the enhancement layer encoded data by each processing unit of the enhancement layer image decoding unit 1205.

なお、ステップS4275において、エンハンスメントレイヤ画像復号部1205のイントラ予測部1231および動き補償部1222は、エンハンスメントレイヤ符号化データに対して、予測処理を行う。   In step S4275, the intra prediction unit 1231 and the motion compensation unit 1222 of the enhancement layer image decoding unit 1205 perform prediction processing on the enhancement layer encoded data.

ステップS4280の処理が終了すると、エンハンスメントレイヤ復号処理が終了され、処理は図94に戻る。エンハンスメントレイヤ復号処理は、例えば、ピクチャ単位で実行される。つまり、カレントレイヤの各ピクチャに対してエンハンスメントレイヤ復号処理が実行される。ただし、エンハンスメントレイヤ復号処理内の各処理は、それぞれの処理単位毎に行われる。   When the process of step S4280 ends, the enhancement layer decoding process ends, and the process returns to FIG. The enhancement layer decoding process is executed in units of pictures, for example. That is, the enhancement layer decoding process is executed for each picture in the current layer. However, each process in the enhancement layer decoding process is performed for each processing unit.

<予測処理の流れ>
次に、図97のフローチャートを参照して、図96のステップS4275において実行される予測処理の流れの例を説明する。
<Prediction process flow>
Next, an example of the flow of prediction processing executed in step S4275 in FIG. 96 will be described with reference to the flowchart in FIG.

予測処理が開始されると、エンハンスメントレイヤ画像復号部1205のイントラ予測部1231は、ステップS4301において、予測モードがイントラ予測であるか否かを判定する。イントラ予測であると判定した場合、処理はステップS4302に進む。   When the prediction process is started, the intra prediction unit 1231 of the enhancement layer image decoding unit 1205 determines whether or not the prediction mode is intra prediction in step S4301. When it determines with it being intra prediction, a process progresses to step S4302.

ステップS4302において、イントラ予測部1231は、イントラ予測モード提供部1204のイントラ予測モードバッファ1253に記憶されている、選択されたベースレイヤのイントラ予測モードの内、カレントブロックに対応するブロックのイントラ予測モードを取得する。   In step S4302, the intra prediction unit 1231 stores the intra prediction mode of the block corresponding to the current block among the intra prediction modes of the selected base layer stored in the intra prediction mode buffer 1253 of the intra prediction mode providing unit 1204. To get.

ステップS4303において、イントラ予測部1231は、ステップS4302において取得したイントラ予測モード(選択されたベースレイヤのイントラ予測モード)を用いて、イントラ予測処理を行い、予測画像を生成する。ステップS4303の処理が終了すると、予測処理が終了し、処理は図96に戻る。   In step S4303, the intra prediction unit 1231 performs an intra prediction process using the intra prediction mode acquired in step S4302 (the intra prediction mode of the selected base layer), and generates a predicted image. When the process of step S4303 ends, the prediction process ends, and the process returns to FIG.

また、ステップS4301において、インター予測であると判定された場合、処理はステップS4304に進む。ステップS4304において、動き補償部1222は、符号化の際に採用されたインター予測モードである最適インター予測モードで動き補償を行い、予測画像を生成する。ステップS4304の処理が終了すると、予測処理が終了し、処理は図96に戻る。   If it is determined in step S4301 that the prediction is inter prediction, the process proceeds to step S4304. In step S4304, the motion compensation unit 1222 performs motion compensation in the optimal inter prediction mode that is the inter prediction mode employed in encoding, and generates a predicted image. When the process of step S4304 ends, the prediction process ends, and the process returns to FIG.

以上のように各処理を実行することにより、スケーラブル復号装置1200は、エンハンスメントレイヤの復号におけるイントラ予測において、ベースレイヤのイントラ予測モードを用いることができるので、符号化効率の低減を抑制することができる。これにより、スケーラブル復号装置1200は、符号化・復号による画質の低減を抑制することができる。また、そのベースレイヤのイントラ予測モードをエンハンスメントレイヤに提供する際に、そのイントラ予測モードを、符号化側から供給された所定の間引き率で間引くので、スケーラブル復号装置1200は、スケーラブル符号化装置1100の場合と同様に、符号化・復号に必要な記憶容量の増大を抑制することができる。   By performing each processing as described above, scalable decoding apparatus 1200 can use the base layer intra prediction mode in intra prediction in enhancement layer decoding, and therefore suppresses reduction in coding efficiency. it can. Thereby, scalable decoding apparatus 1200 can suppress a reduction in image quality due to encoding / decoding. Further, when providing the intra layer prediction mode of the base layer to the enhancement layer, the intra prediction mode is thinned out at a predetermined decimation rate supplied from the encoding side, so that the scalable decoding device 1200 is a scalable coding device 1100. As in the above case, an increase in storage capacity necessary for encoding / decoding can be suppressed.

以上において、第5の実施の形態および第6の実施の形態等において説明したスケーラブル符号化・復号に関する本技術は、当然、第1の実施の形態乃至第3の実施の形態において説明したような多視点画像符号化・復号についても同様に適用することができる。   In the above description, the present technology related to scalable encoding / decoding described in the fifth embodiment, the sixth embodiment, and the like is naturally as described in the first to third embodiments. The same applies to multi-view image encoding / decoding.

つまり、多視点画像符号化に本技術を適用する場合も、画像符号化装置が図81乃至図84のような構成を有し、図85乃至図88のフローチャートを参照して説明したような各処理を実行するようにすればよい。   That is, even when the present technology is applied to multi-viewpoint image encoding, the image encoding apparatus has the configuration shown in FIGS. 81 to 84, and each of the configurations described with reference to the flowcharts of FIGS. What is necessary is just to perform a process.

また、多視点画像復号に本技術を適用する場合も、画像復号装置が図89乃至図92のような構成を有し、図93乃至図97のフローチャートを参照して説明したような各処理を実行するようにすればよい。   Also, when the present technology is applied to multi-viewpoint image decoding, the image decoding apparatus has a configuration as shown in FIGS. 89 to 92, and performs each process described with reference to the flowcharts of FIGS. 93 to 97. It should be executed.

<8.概要3>
<予測方向制御>
ところで、従来、HEVCにおいては、動きベクトルの符号化(mv_coding)のためにテンポラル動きベクトル(temporal_motion_vector)を利用することができ、さらに、L0方向とL1方向とのいずれか一方のみを利用することができる。つまり、テンポラル動きベクトル(temporal_motion_vector)は、L0方向とL1方向とのいずれか一方のみを保存すればよい。
<8. Outline 3>
<Predicted direction control>
By the way, conventionally, in HEVC, a temporal motion vector (temporal_motion_vector) can be used for coding a motion vector (mv_coding), and only one of the L0 direction and the L1 direction can be used. it can. That is, the temporal motion vector (temporal_motion_vector) needs to store only one of the L0 direction and the L1 direction.

図98乃至図100は、従来のスライスセグメントヘッダのシンタクスの様子を示す図である。図99に示されるフラグ情報(collocated_from_l0_flag)は、L0方向のテンポラル動きベクトル(temporal_motion_vector)を保存するか否かを示すフラグ情報である。このフラグ情報の値が「1(真)」の場合、L0方向のテンポラル動きベクトル(temporal_motion_vector)が保存され、このフラグ情報の値が「0(偽)」の場合、L1方向のテンポラル動きベクトル(temporal_motion_vector)が保存される。   FIGS. 98 to 100 are diagrams illustrating the syntax of the conventional slice segment header. The flag information (collocated_from_l0_flag) illustrated in FIG. 99 is flag information indicating whether or not to store a temporal motion vector (temporal_motion_vector) in the L0 direction. When the value of this flag information is “1 (true)”, the temporal motion vector (temporal_motion_vector) in the L0 direction is stored, and when the value of this flag information is “0 (false)”, the temporal motion vector in the L1 direction ( temporal_motion_vector) is saved.

ところで、Vadim Seregin, Patrice Onno, Shan Liu, Elena Alshina, Chulkeun Kim, Haitao Yang, "Description of Core Experiment SCE5: Inter-layer syntax prediction using HEVC base layer", JCTVC-L1105, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 1112th Meeting: Geneva, CH, 14-23 Jan. 2013では、スケーラブル(Scalable)符号化のための動きベクトル符号化方式として、ベースレイヤ(Baselayer)における動き情報を利用するレイヤ間シンタクス予測(Inter-layer syntax prediction)が提案されている。   By the way, Vadim Seregin, Patrice Onno, Shan Liu, Elena Alshina, Chulkeun Kim, Haitao Yang, "Description of Core Experiment SCE5: Inter-layer syntax prediction using HEVC base layer", JCTVC-L1105, Joint Collaborative Team on Video Coding (JCT -VC) of ITU-T SG 16 WP 3 and ISO / IEC JTC 1 / SC 29 / WG 1112th Meeting: Geneva, CH, 14-23 Jan. 2013, motion vector coding for scalable coding As a scheme, inter-layer syntax prediction using motion information in a base layer has been proposed.

このレイヤ間シンタクス予測においては、エンハンスメントレイヤ(Enhancementlayer)のL0動きベクトル符号化処理のためには、ベースレイヤのL0動き情報が用いられ、エンハンスメントレイヤのL1動きベクトル符号化のためには、ベースレイヤのL1動き情報が用いられる。したがって、L0方向およびL1方向の両方の動き情報をバッファに格納しなければならず、符号化・復号に必要な記憶容量が増大する恐れがあった。   In this inter-layer syntax prediction, the L0 motion information of the base layer is used for the enhancement layer L0 motion vector coding processing, and the base layer for the enhancement layer L1 motion vector coding. L1 motion information is used. Therefore, motion information in both the L0 direction and the L1 direction must be stored in the buffer, which may increase the storage capacity required for encoding / decoding.

そこで、複数レイヤよりなる画像データの、処理対象であるカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、他のレイヤから、設定された予測方向の動き情報のみを取得するようにする。例えば、画像データを階層符号化する場合、エンハンスメントレイヤの符号化の、ベースレイヤの動き情報を利用するレイヤ間シンタクス予測において、そのレイヤ間シンタクス予測に利用するベースレイヤの動き情報の予測方向を設定し、その予測方向の動き情報のみを取得し、バッファに格納するようにする。例えば、ベースレイヤのL0方向若しくはL1方向のいずれか一方の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの符号化におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。   Therefore, set the prediction direction of the motion information of the other layer used for encoding the current layer that is the processing target of the image data consisting of multiple layers, and obtain only the motion information of the set prediction direction from the other layer To do. For example, when image data is hierarchically encoded, in the inter-layer syntax prediction using the motion information of the base layer in the enhancement layer encoding, the prediction direction of the motion information of the base layer used for the inter-layer syntax prediction is set. Then, only the motion information in the prediction direction is acquired and stored in the buffer. For example, only the motion information of either the L0 direction or the L1 direction of the base layer is acquired and stored in the buffer. Then, in the inter-layer syntax prediction in the enhancement layer coding, the base layer motion information stored in the buffer is read out and used.

このようにすることにより、ベースレイヤの全ての予測方向(例えばL0方向およびL1方向)の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。   By doing so, the buffer capacity required to hold the base layer motion information is reduced as compared with the case of acquiring motion information in all prediction directions (for example, L0 direction and L1 direction) of the base layer. be able to. That is, an increase in storage capacity necessary for encoding can be suppressed.

また、ベースレイヤの動き情報の予測方向の設定を示す制御情報を、復号側に伝送するようにする。そして、復号側では、符号化側から伝送されてきた制御情報の設定に従って、ベースレイヤの、制御情報により指定された予測方向(例えばL0方向若しくはL1方向)の動き情報のみを取得し、バッファに格納するようにする。そして、エンハンスメントレイヤの復号におけるレイヤ間シンタクス予測において、そのバッファに格納したベースレイヤの動き情報を読み出して利用するようにする。   Also, control information indicating the setting of the prediction direction of the base layer motion information is transmitted to the decoding side. Then, on the decoding side, according to the setting of the control information transmitted from the encoding side, only the motion information in the prediction direction (for example, L0 direction or L1 direction) specified by the control information of the base layer is acquired and stored in the buffer. To store. Then, in the inter-layer syntax prediction in enhancement layer decoding, the base layer motion information stored in the buffer is read out and used.

このようにすることにより、ベースレイヤの全ての予測方向(例えばL0方向およびL1方向)の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。   By doing so, the buffer capacity required to hold the base layer motion information is reduced as compared with the case of acquiring motion information in all prediction directions (for example, L0 direction and L1 direction) of the base layer. be able to. That is, an increase in storage capacity necessary for decoding can be suppressed.

<シンタクス例>
図101乃至図103は、このようにする場合のスライスセグメントヘッダのシンタクスの様子を示す図である。図102に示されるように、上述した制御情報として、フラグ情報(colbasemv_from_l0_flag)が伝送される。このフラグ情報は、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報である。このフラグ情報の値が「1(真)」の場合、ベースレイヤからL0方向の動き情報が取得され、バッファに格納される。また、このフラグ情報の値が「0(偽)」の場合、ベースレイヤからL1方向の動き情報が取得され、バッファに格納される。このようにバッファに格納されたベースレイヤの動き情報が、エンハンスメントレイヤのレイヤ間予測において利用される。
<Syntax example>
101 to 103 are diagrams showing the syntax of the slice segment header in such a case. As shown in FIG. 102, flag information (colbasemv_from_l0_flag) is transmitted as the control information described above. This flag information is flag information indicating whether or not to save motion information in the L0 direction of the base layer. When the value of the flag information is “1 (true)”, the motion information in the L0 direction is acquired from the base layer and stored in the buffer. When the value of the flag information is “0 (false)”, the motion information in the L1 direction is acquired from the base layer and stored in the buffer. The motion information of the base layer stored in the buffer in this way is used in inter-layer prediction of the enhancement layer.

このような制御情報を伝送することにより、復号側において、符号化側と同様のレイヤ間シンタクス予測を行うことができる。したがって、復号に必要な記憶容量の増大を抑制することができる。   By transmitting such control information, it is possible to perform inter-layer syntax prediction similar to that on the encoding side on the decoding side. Therefore, an increase in storage capacity necessary for decoding can be suppressed.

このように、レイヤ間予測に利用するベースレイヤの動き情報の予測方向を示す制御情報は、その予測方向が所定の方向(例えばL0方向)であるかを示す情報としてもよい。制御情報をこのようなフラグ情報とすることにより、この制御情報の情報量を少なくすることができる(例えば1ビットにすることができる)。したがって、符号化効率の低減を抑制することができる。   As described above, the control information indicating the prediction direction of the motion information of the base layer used for inter-layer prediction may be information indicating whether the prediction direction is a predetermined direction (for example, the L0 direction). By using the control information as such flag information, the amount of control information can be reduced (for example, 1 bit can be used). Therefore, a reduction in encoding efficiency can be suppressed.

もちろん、この方向はL0方向に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL1方向であるかを示す情報であってもよい。また、この方向を選択することができるようにしてもよい。例えば、スライス、ピクチャ、シーケンス等、任意の単位毎にこの方向を選択することができるようにしてもよい。   Of course, this direction is not limited to the L0 direction. For example, the control information may be information indicating whether the prediction direction of the motion information of the base layer used for inter-layer prediction is the L1 direction. Moreover, you may enable it to select this direction. For example, this direction may be selected for each arbitrary unit such as a slice, a picture, or a sequence.

また、制御情報はフラグ情報に限らない。例えば、制御情報が、レイヤ間予測に利用するベースレイヤの動き情報の予測方向がL0方向であるか、L1方向であるかを示す情報であってもよい。   Control information is not limited to flag information. For example, the control information may be information indicating whether the prediction direction of the base layer motion information used for inter-layer prediction is the L0 direction or the L1 direction.

なお、図101乃至図103の例では、この制御情報をスライスヘッダにおいて伝送するように説明したが、これに限らない。すなわち、この制御情報は、例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で伝送するようにしてもよい。換言するに、この制御情報の制御単位も、スライスに限らない。例えば、シーケンス、ピクチャ、またはLCU等、任意の単位で制御するようにしてもよい。   In the example of FIGS. 101 to 103, the control information is described as being transmitted in the slice header, but the present invention is not limited to this. That is, this control information may be transmitted in an arbitrary unit such as a sequence, a picture, or an LCU. In other words, the control unit of this control information is not limited to a slice. For example, the control may be performed in an arbitrary unit such as a sequence, a picture, or an LCU.

なお、レイヤ間予測には、ベースレイヤの、エンハンスメントレイヤの処理対象のカレント領域(エリア)に対応する所定のエリアの動き情報が利用される。   For inter-layer prediction, motion information of a predetermined area corresponding to the current region (area) of the enhancement layer processing target of the base layer is used.

また、ベースレイヤから取得した動き情報の予測方向が、利用時の予測方向と異なる場合、変換することができる。例えば、バッファに格納したベースレイヤのL0方向の動き情報を、エンハンスメントレイヤのL1方向の予測に用いる場合、そのベースレイヤの動き情報がL1方向に変換される。このような変換は、符号化側においても復号側においても同様に行うことができる。   Moreover, when the prediction direction of the motion information acquired from the base layer is different from the prediction direction at the time of use, conversion can be performed. For example, when motion information in the L0 direction of the base layer stored in the buffer is used for prediction in the L1 direction of the enhancement layer, the motion information of the base layer is converted into the L1 direction. Such a conversion can be similarly performed on both the encoding side and the decoding side.

また、ベースレイヤから取得した動き情報は、必要に応じて、スケーラブルなパラメータをエンハンスメントレイヤ基準とするように変換することができる。例えば、解像度がスケーラブルな場合、ベースレイヤとエンハンスメントレイヤの解像度比に応じて、取得したベースレイヤの動き情報のスケールを変換(アップサンプル)してもよい。なお、このような変換は、バッファに格納する前に行っても良いし、バッファから読み出した後に行っても良い。このような変換は、符号化側においても復号側においても同様に行うことができる。   In addition, the motion information acquired from the base layer can be converted so that a scalable parameter is used as an enhancement layer reference, if necessary. For example, when the resolution is scalable, the scale of the motion information of the acquired base layer may be converted (upsampled) according to the resolution ratio of the base layer and the enhancement layer. Note that such conversion may be performed before storing in the buffer or after reading from the buffer. Such a conversion can be similarly performed on both the encoding side and the decoding side.

次に、以上のような本技術について、具体的な装置への適用例について説明する。   Next, an application example of the present technology as described above to a specific apparatus will be described.

<9.第7の実施の形態>
<画像符号化装置>
図104は、本技術を適用した画像処理装置の一態様である、画像符号化装置を示す図である。図104に示される画像符号化装置1300は、階層画像符号化を行う装置である。図104に示されるように、画像符号化装置1300は、ベースレイヤ画像符号化部1301、エンハンスメントレイヤ画像符号化部1302、および多重化部1303を有する。
<9. Seventh Embodiment>
<Image encoding device>
FIG. 104 is a diagram illustrating an image encoding device which is an aspect of an image processing device to which the present technology is applied. An image encoding device 1300 shown in FIG. 104 is a device that performs hierarchical image encoding. As illustrated in FIG. 104, the image encoding device 1300 includes a base layer image encoding unit 1301, an enhancement layer image encoding unit 1302, and a multiplexing unit 1303.

ベースレイヤ画像符号化部1301は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。エンハンスメントレイヤ画像符号化部1302は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤ画像符号化ストリームを生成する。多重化部1303は、ベースレイヤ画像符号化部1301において生成されたベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化部1302において生成されたエンハンスメントレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。多重化部1303は、生成した階層画像符号化ストリームを復号側に伝送する。   The base layer image encoding unit 1301 encodes the base layer image and generates a base layer image encoded stream. The enhancement layer image encoding unit 1302 encodes the enhancement layer image, and generates an enhancement layer image encoded stream. The multiplexing unit 1303 multiplexes the base layer image encoded stream generated by the base layer image encoding unit 1301 and the enhancement layer image encoded stream generated by the enhancement layer image encoding unit 1302, and generates a hierarchical image code Generate a stream. The multiplexing unit 1303 transmits the generated hierarchical image encoded stream to the decoding side.

ベースレイヤ画像符号化部1301は、他のレイヤを参照せずにベースレイヤ画像を符号化する。これに対してエンハンスメントレイヤ画像符号化部1302は、エンハンスメントレイヤ画像の符号化において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメントレイヤ画像符号化部1302は、ベースレイヤ画像符号化部1301がベースレイヤ画像を符号化する際に生成されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測(Inter-layer syntax prediction)を行う。   The base layer image encoding unit 1301 encodes the base layer image without referring to other layers. On the other hand, the enhancement layer image encoding unit 1302 refers to the base layer and performs inter-layer prediction in the encoding of the enhancement layer image. For example, the enhancement layer image encoding unit 1302 acquires the base layer motion information generated when the base layer image encoding unit 1301 encodes the base layer image, and uses the base layer motion information to generate a layer. Perform inter-layer syntax prediction.

その際、エンハンスメントレイヤ画像符号化部1302は、ベースレイヤ画像符号化部1301から取得する動き情報の予測方向を設定し、その設定した予測方向の動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像符号化部1302は、そのバッファに格納されているベースレイヤの動き情報(すなわち、設定された予測方向の動き情報)を用いてレイヤ間予測を行う。   At that time, the enhancement layer image encoding unit 1302 sets the prediction direction of the motion information acquired from the base layer image encoding unit 1301, acquires only the motion information of the set prediction direction, and stores it in the buffer. Then, the enhancement layer image encoding unit 1302 performs inter-layer prediction using base layer motion information (that is, motion information in the set prediction direction) stored in the buffer.

また、エンハンスメントレイヤ画像符号化部1302は、その予測方向の設定内容を示す制御情報を、多重化部1303を介して(階層画像符号化ストリームとして)、復号側に伝送する。   Also, the enhancement layer image encoding unit 1302 transmits control information indicating the setting contents of the prediction direction to the decoding side via the multiplexing unit 1303 (as a hierarchical image encoded stream).

<ベースレイヤ画像符号化部>
図105は、図104のベースレイヤ画像符号化部1301の主な構成例を示すブロック図である。図105に示されるように、ベースレイヤ画像符号化部1301は、A/D変換部1311、画面並べ替えバッファ1312、演算部1313、直交変換部1314、量子化部1315、可逆符号化部1316、蓄積バッファ1317、逆量子化部1318、および逆直交変換部1319を有する。また、ベースレイヤ画像符号化部1301は、演算部1320、ループフィルタ1321、フレームメモリ1322、選択部1323、イントラ予測部1324、インター予測部1325、予測画像選択部1326、およびレート制御部1327を有する。
<Base layer image encoding unit>
FIG. 105 is a block diagram illustrating an exemplary main configuration of the base layer image encoding unit 1301 of FIG. 105, the base layer image encoding unit 1301 includes an A / D conversion unit 1311, a screen rearrangement buffer 1312, a calculation unit 1313, an orthogonal transformation unit 1314, a quantization unit 1315, a lossless encoding unit 1316, An accumulation buffer 1317, an inverse quantization unit 1318, and an inverse orthogonal transform unit 1319 are included. The base layer image encoding unit 1301 includes a calculation unit 1320, a loop filter 1321, a frame memory 1322, a selection unit 1323, an intra prediction unit 1324, an inter prediction unit 1325, a predicted image selection unit 1326, and a rate control unit 1327. .

A/D変換部1311は、入力された画像データ(ベースレイヤ画像情報)をA/D変換し、変換後の画像データ(デジタルデータ)を、画面並べ替えバッファ1312に供給し、記憶させる。画面並べ替えバッファ1312は、記憶した表示の順番のフレームの画像を、GOP(Group Of Picture)に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部1313に供給する。また、画面並べ替えバッファ1312は、フレームの順番を並び替えた画像を、イントラ予測部1324およびインター予測部1325にも供給する。   The A / D conversion unit 1311 performs A / D conversion on the input image data (base layer image information), and supplies the converted image data (digital data) to the screen rearrangement buffer 1312 for storage. The screen rearrangement buffer 1312 rearranges the stored frames in the display order according to the GOP (Group Of Picture) in the order of frames for encoding, and rearranges the frames in order. It supplies to the calculating part 1313. Further, the screen rearrangement buffer 1312 also supplies the image in which the frame order is rearranged to the intra prediction unit 1324 and the inter prediction unit 1325.

演算部1313は、画面並べ替えバッファ1312から読み出された画像から、予測画像選択部1326を介してイントラ予測部1324若しくはインター予測部1325から供給される予測画像を減算し、その差分情報を直交変換部1314に出力する。例えば、イントラ符号化が行われる画像の場合、演算部1313は、画面並べ替えバッファ1312から読み出された画像から、イントラ予測部1324から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部1313は、画面並べ替えバッファ1312から読み出された画像から、インター予測部1325から供給される予測画像を減算する。   The calculation unit 1313 subtracts the prediction image supplied from the intra prediction unit 1324 or the inter prediction unit 1325 via the prediction image selection unit 1326 from the image read from the screen rearrangement buffer 1312, and orthogonalizes the difference information. The data is output to the conversion unit 1314. For example, in the case of an image on which intra coding is performed, the calculation unit 1313 subtracts the prediction image supplied from the intra prediction unit 1324 from the image read from the screen rearrangement buffer 1312. For example, in the case of an image on which inter coding is performed, the calculation unit 1313 subtracts the prediction image supplied from the inter prediction unit 1325 from the image read from the screen rearrangement buffer 1312.

直交変換部1314は、演算部1313から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部1314は、その変換係数を量子化部1315に供給する。   The orthogonal transform unit 1314 performs orthogonal transform such as discrete cosine transform and Karhunen-Labe transform on the difference information supplied from the computation unit 1313. The orthogonal transform unit 1314 supplies the transform coefficient to the quantization unit 1315.

量子化部1315は、直交変換部1314から供給される変換係数を量子化する。量子化部1315は、レート制御部1327から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部1315は、量子化された変換係数を可逆符号化部1316に供給する。   The quantization unit 1315 quantizes the transform coefficient supplied from the orthogonal transform unit 1314. The quantization unit 1315 sets a quantization parameter based on the information regarding the target value of the code amount supplied from the rate control unit 1327, and performs the quantization. The quantization unit 1315 supplies the quantized transform coefficient to the lossless encoding unit 1316.

可逆符号化部1316は、量子化部1315において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部1327の制御の下で量子化されているので、この符号量は、レート制御部1327が設定した目標値となる(若しくは目標値に近似する)。   The lossless encoding unit 1316 encodes the transform coefficient quantized by the quantization unit 1315 using an arbitrary encoding method. Since the coefficient data is quantized under the control of the rate control unit 1327, the code amount becomes the target value set by the rate control unit 1327 (or approximates the target value).

また、可逆符号化部1316は、イントラ予測のモードを示す情報などをイントラ予測部1324から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部1325から取得する。さらに、可逆符号化部1316は、シーケンスパラメータセット(SPS)、およびピクチャパラメータセット(PPS)等を含むベースレイヤのNALユニットを適宜生成する。   Further, the lossless encoding unit 1316 acquires information indicating the mode of intra prediction from the intra prediction unit 1324, and acquires information indicating the mode of inter prediction, difference motion vector information, and the like from the inter prediction unit 1325. Further, the lossless encoding unit 1316 appropriately generates a base layer NAL unit including a sequence parameter set (SPS), a picture parameter set (PPS), and the like.

また、可逆符号化部1316は、ベースレイヤ領域分割設定部により設定されたベースレイヤの領域(例えばタイルやスライス等)分割に関する情報(ベースレイヤ領域分割情報とも称する)を符号化する。   In addition, the lossless encoding unit 1316 encodes information (also referred to as base layer region division information) related to base layer region (eg, tile, slice, etc.) division set by the base layer region division setting unit.

可逆符号化部1316は、これらの各種情報を任意の符号化方式で符号化し、符号化データ(符号化ストリームとも称する)の一部とする(多重化する)。可逆符号化部1316は、符号化して得られた符号化データを蓄積バッファ1317に供給して蓄積させる。   The lossless encoding unit 1316 encodes these various types of information using an arbitrary encoding method, and sets (multiplexes) the encoded information (also referred to as an encoded stream) as a part. The lossless encoding unit 1316 supplies the encoded data obtained by encoding to the accumulation buffer 1317 for accumulation.

可逆符号化部1316の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H.264/AVC方式で定められているCAVLC(Context-Adaptive Variable Length Coding)などが挙げられる。算術符号化としては、例えば、CABAC(Context-Adaptive Binary Arithmetic Coding)などが挙げられる。   Examples of the encoding method of the lossless encoding unit 1316 include variable length encoding or arithmetic encoding. Examples of variable length coding include H.264. CAVLC (Context-Adaptive Variable Length Coding) defined in the H.264 / AVC format. Examples of arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).

蓄積バッファ1317は、可逆符号化部1316から供給された符号化データ(ベースレイヤ符号化データ)を、一時的に保持する。蓄積バッファ1317は、所定のタイミングにおいて、保持しているベースレイヤ符号化データを、例えば、後段の図示せぬ記録装置(記録媒体)や伝送路などに出力する。すなわち、蓄積バッファ1317は、符号化データを伝送する伝送部でもある。   The accumulation buffer 1317 temporarily holds the encoded data (base layer encoded data) supplied from the lossless encoding unit 1316. The accumulation buffer 1317 outputs the stored base layer encoded data to, for example, a recording device (recording medium) (not shown) or a transmission path at a later stage at a predetermined timing. That is, the accumulation buffer 1317 is also a transmission unit that transmits encoded data.

また、量子化部1315において量子化された変換係数は、逆量子化部1318にも供給される。逆量子化部1318は、その量子化された変換係数を、量子化部1315による量子化に対応する方法で逆量子化する。逆量子化部1318は、得られた変換係数を、逆直交変換部1319に供給する。   Further, the transform coefficient quantized by the quantization unit 1315 is also supplied to the inverse quantization unit 1318. The inverse quantization unit 1318 performs inverse quantization on the quantized transform coefficient by a method corresponding to the quantization by the quantization unit 1315. The inverse quantization unit 1318 supplies the obtained transform coefficient to the inverse orthogonal transform unit 1319.

逆直交変換部1319は、逆量子化部1318から供給された変換係数を、直交変換部1314による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力(復元された差分情報)は、演算部1320に供給される。   The inverse orthogonal transform unit 1319 performs inverse orthogonal transform on the transform coefficient supplied from the inverse quantization unit 1318 by a method corresponding to the orthogonal transform process by the orthogonal transform unit 1314. The inversely orthogonal transformed output (restored difference information) is supplied to the arithmetic unit 1320.

演算部1320は、逆直交変換部1319から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部1326を介してイントラ予測部1324若しくはインター予測部1325からの予測画像を加算し、局部的に復号された画像(復号画像)を得る。その復号画像は、ループフィルタ1321またはフレームメモリ1322に供給される。   The calculation unit 1320 adds the prediction image from the intra prediction unit 1324 or the inter prediction unit 1325 to the restored difference information, which is the inverse orthogonal transformation result supplied from the inverse orthogonal transformation unit 1319, via the prediction image selection unit 1326. Addition is performed to obtain a locally decoded image (decoded image). The decoded image is supplied to the loop filter 1321 or the frame memory 1322.

ループフィルタ1321は、デブロックフィルタや適応ループフィルタ等を含み、演算部1320から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ1321は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ1321は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。ループフィルタ1321は、フィルタ処理結果(以下、復号画像と称する)をフレームメモリ1322に供給する。   The loop filter 1321 includes a deblock filter, an adaptive loop filter, and the like, and appropriately performs filter processing on the reconstructed image supplied from the calculation unit 1320. For example, the loop filter 1321 removes block distortion of the reconstructed image by performing deblocking filter processing on the reconstructed image. Also, for example, the loop filter 1321 improves the image quality by performing loop filter processing using a Wiener filter on the deblock filter processing result (reconstructed image from which block distortion has been removed). I do. The loop filter 1321 supplies a filter processing result (hereinafter referred to as a decoded image) to the frame memory 1322.

なお、ループフィルタ1321が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ1321は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部1316に供給し、それを符号化させるようにすることもできる。   Note that the loop filter 1321 may further perform other arbitrary filter processing on the reconstructed image. Further, the loop filter 1321 can supply information such as filter coefficients used for the filter processing to the lossless encoding unit 1316 and encode it as necessary.

フレームメモリ1322は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像として、選択部1323に供給する。   The frame memory 1322 stores the supplied decoded image and supplies the stored decoded image as a reference image to the selection unit 1323 at a predetermined timing.

より具体的には、フレームメモリ1322は、演算部1320から供給される再構成画像と、ループフィルタ1321から供給される復号画像とをそれぞれ記憶する。フレームメモリ1322は、所定のタイミングにおいて、若しくは、イントラ予測部1324等の外部からの要求に基づいて、記憶している再構成画像を、選択部1323を介してイントラ予測部1324に供給する。また、フレームメモリ1322は、所定のタイミングにおいて、若しくは、インター予測部1325等の外部からの要求に基づいて、記憶している復号画像を、選択部1323を介して、インター予測部1325に供給する。   More specifically, the frame memory 1322 stores the reconstructed image supplied from the calculation unit 1320 and the decoded image supplied from the loop filter 1321. The frame memory 1322 supplies the stored reconstructed image to the intra prediction unit 1324 via the selection unit 1323 at a predetermined timing or based on a request from the outside such as the intra prediction unit 1324. The frame memory 1322 supplies the stored decoded image to the inter prediction unit 1325 via the selection unit 1323 at a predetermined timing or based on a request from the outside such as the inter prediction unit 1325. .

選択部1323は、フレームメモリ1322から供給される参照画像の供給先を選択する。例えば、イントラ予測の場合、選択部1323は、フレームメモリ1322から供給される参照画像(カレントピクチャ内の画素値)をイントラ予測部1324に供給する。また、例えば、インター予測の場合、選択部1323は、フレームメモリ1322から供給される参照画像をインター予測部1325に供給する。   The selection unit 1323 selects a reference image supply destination supplied from the frame memory 1322. For example, in the case of intra prediction, the selection unit 1323 supplies the reference image (pixel value in the current picture) supplied from the frame memory 1322 to the intra prediction unit 1324. For example, in the case of inter prediction, the selection unit 1323 supplies the reference image supplied from the frame memory 1322 to the inter prediction unit 1325.

イントラ予測部1324は、処理対象のフレームの画像であるカレントピクチャについて、予測処理を行い、予測画像を生成する。イントラ予測部1324は、この予測処理を、所定のブロック毎に(ブロックを処理単位として)行う。つまり、イントラ予測部1324は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、イントラ予測部1324は、選択部1323を介してフレームメモリ1322から参照画像として供給される再構成画像を用いて予測処理(画面内予測(イントラ予測とも称する))を行う。つまり、イントラ予測部1324は、再構成画像に含まれる、カレントブロックの周辺の画素値を用いて予測画像を生成する。このイントラ予測に利用される周辺画素値は、カレントピクチャの、過去に処理された画素の画素値である。このイントラ予測には(すなわち、予測画像の生成の仕方には)、複数の方法(イントラ予測モードとも称する)が、候補として予め用意されている。イントラ予測部1324は、この予め用意された複数のイントラ予測モードでこのイントラ予測を行う。   The intra prediction unit 1324 performs prediction processing on a current picture that is an image of a processing target frame, and generates a predicted image. The intra prediction unit 1324 performs this prediction processing for each predetermined block (with blocks as processing units). That is, the intra prediction unit 1324 generates a predicted image of the current block that is the processing target of the current picture. At that time, the intra prediction unit 1324 performs a prediction process (intra-screen prediction (also referred to as intra prediction)) using a reconstructed image supplied as a reference image from the frame memory 1322 via the selection unit 1323. That is, the intra prediction unit 1324 generates a predicted image using pixel values around the current block included in the reconstructed image. The peripheral pixel value used for this intra prediction is the pixel value of the pixel processed in the past of the current picture. For this intra prediction (that is, how to generate a predicted image), a plurality of methods (also referred to as intra prediction modes) are prepared in advance as candidates. The intra prediction unit 1324 performs this intra prediction in the plurality of intra prediction modes prepared in advance.

イントラ予測部1324は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ1312から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部1324は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部1326に供給する。   The intra prediction unit 1324 generates prediction images in all candidate intra prediction modes, evaluates the cost function value of each prediction image using the input image supplied from the screen rearrangement buffer 1312, and selects the optimum mode. select. When the intra prediction unit 1324 selects the optimal intra prediction mode, the intra prediction unit 1324 supplies the prediction image generated in the optimal mode to the prediction image selection unit 1326.

また、上述したように、イントラ予測部1324は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部1316に供給し、符号化させる。   Further, as described above, the intra prediction unit 1324 appropriately supplies the intra prediction mode information indicating the adopted intra prediction mode to the lossless encoding unit 1316 to be encoded.

インター予測部1325は、カレントピクチャについて、予測処理を行い、予測画像を生成する。インター予測部1325は、この予測処理を、所定のブロック毎に(ブロックを処理単位として)行う。つまり、インター予測部1325は、カレントピクチャの、処理対象であるカレントブロックの予測画像を生成する。その際、インター予測部1325は、画面並べ替えバッファ1312から供給される入力画像の画像データと、フレームメモリ1322から参照画像として供給される復号画像の画像データとを用いて、予測処理を行う。この復号画像は、カレントピクチャより前に処理されたフレームの画像(カレントピクチャでない他のピクチャ)である。つまり、インター予測部1325は、他のピクチャの画像を用いて予測画像を生成する予測処理(画面間予測(インター予測とも称する))を行う。   The inter prediction unit 1325 performs a prediction process on the current picture to generate a predicted image. The inter prediction unit 1325 performs this prediction processing for each predetermined block (with blocks as processing units). That is, the inter prediction unit 1325 generates a predicted image of the current block that is the processing target of the current picture. At this time, the inter prediction unit 1325 performs prediction processing using the image data of the input image supplied from the screen rearrangement buffer 1312 and the image data of the decoded image supplied as a reference image from the frame memory 1322. This decoded image is an image of a frame processed before the current picture (another picture that is not the current picture). That is, the inter prediction unit 1325 performs a prediction process (inter-screen prediction (also referred to as inter prediction)) that generates a predicted image using an image of another picture.

このインター予測は、動き予測と動き補償よりなる。より具体的には、インター予測部1325は、入力画像と参照画像を用いて、カレントブロックについて動き予測を行い、動きベクトルを検出する。そして、インター予測部1325は、参照画像を用いて、検出された動きベクトルに応じて動き補償処理を行い、カレントブロックの予測画像(インター予測画像情報)を生成する。このインター予測には(すなわち、予測画像の生成の仕方には)、複数の方法(インター予測モードとも称する)が、候補として予め用意されている。インター予測部1325は、この予め用意された複数のインター予測モードでこのようなインター予測を行う。   This inter prediction includes motion prediction and motion compensation. More specifically, the inter prediction unit 1325 performs motion prediction on the current block using the input image and the reference image, and detects a motion vector. Then, the inter prediction unit 1325 performs motion compensation processing according to the detected motion vector using the reference image, and generates a prediction image (inter prediction image information) of the current block. A plurality of methods (also referred to as inter prediction modes) are prepared in advance as candidates for the inter prediction (that is, how to generate a predicted image). The inter prediction unit 1325 performs such inter prediction in the plurality of inter prediction modes prepared in advance.

インター予測部1325は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部1325は、画面並べ替えバッファ1312から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部1325は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部1326に供給する。   The inter prediction unit 1325 generates a prediction image in all candidate inter prediction modes. The inter prediction unit 1325 evaluates the cost function value of each prediction image using the input image supplied from the screen rearrangement buffer 1312 and information on the generated differential motion vector, and selects an optimal mode. When the optimal inter prediction mode is selected, the inter prediction unit 1325 supplies the predicted image generated in the optimal mode to the predicted image selection unit 1326.

インター予測部1325は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部1316に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として予測動きベクトルのインデックスを示すフラグなどがある。   The inter prediction unit 1325 supplies information indicating the adopted inter prediction mode, information necessary for performing processing in the inter prediction mode when decoding the encoded data, and the like to the lossless encoding unit 1316. Encode. The necessary information includes, for example, information on the generated differential motion vector, a flag indicating an index of the motion vector predictor as motion vector predictor information, and the like.

予測画像選択部1326は、演算部1313や演算部1320に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部1326は、予測画像の供給元としてイントラ予測部1324を選択し、そのイントラ予測部1324から供給される予測画像を演算部1313や演算部1320に供給する。また、例えば、インター符号化の場合、予測画像選択部1326は、予測画像の供給元としてインター予測部1325を選択し、そのインター予測部1325から供給される予測画像を演算部1313や演算部1320に供給する。   The predicted image selection unit 1326 selects a supply source of the predicted image to be supplied to the calculation unit 1313 or the calculation unit 1320. For example, in the case of intra coding, the predicted image selection unit 1326 selects the intra prediction unit 1324 as the supply source of the predicted image, and supplies the predicted image supplied from the intra prediction unit 1324 to the calculation unit 1313 and the calculation unit 1320. To do. For example, in the case of inter coding, the predicted image selection unit 1326 selects the inter prediction unit 1325 as a supply source of the predicted image, and calculates the predicted image supplied from the inter prediction unit 1325 as the calculation unit 1313 or the calculation unit 1320. To supply.

レート制御部1327は、蓄積バッファ1317に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部1315の量子化動作のレートを制御する。   The rate control unit 1327 controls the quantization operation rate of the quantization unit 1315 based on the code amount of the encoded data stored in the storage buffer 1317 so that overflow or underflow does not occur.

なお、ベースレイヤ画像符号化部1301は、他のレイヤを参照せずに符号化を行う。つまり、イントラ予測部1324およびインター予測部1325は、他のレイヤの符号化に関する情報(例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等)を参照しない。   Note that the base layer image encoding unit 1301 performs encoding without referring to other layers. That is, the intra prediction unit 1324 and the inter prediction unit 1325 do not refer to information related to encoding of other layers (for example, a decoded image, intra prediction mode information, inter prediction mode information, and motion information).

また、インター予測部1325は、エンハンスメントレイヤ画像符号化部1302により要求された予測方向(例えばL0方向若しくはL1方向)の動き情報をエンハンスメントレイヤ画像符号化部1302に供給する。   Also, the inter prediction unit 1325 supplies the motion information in the prediction direction (for example, the L0 direction or the L1 direction) requested by the enhancement layer image encoding unit 1302 to the enhancement layer image encoding unit 1302.

<エンハンスメントレイヤ画像符号化部>
図106は、図104のエンハンスメントレイヤ画像符号化部1302の主な構成例を示すブロック図である。図106に示されるように、エンハンスメントレイヤ画像符号化部1302は、図105のベースレイヤ画像符号化部1301と基本的に同様の構成を有する。
<Enhancement layer image encoding unit>
FIG. 106 is a block diagram illustrating an exemplary main configuration of the enhancement layer image encoding unit 1302 of FIG. As shown in FIG. 106, the enhancement layer image encoding unit 1302 has basically the same configuration as the base layer image encoding unit 1301 of FIG.

つまり、エンハンスメントレイヤ画像符号化部1302は、図106に示されるように、A/D変換部1331、画面並べ替えバッファ1332、演算部1333、直交変換部1334、量子化部1335、可逆符号化部1336、蓄積バッファ1337、逆量子化部1338、および逆直交変換部1339を有する。また、エンハンスメントレイヤ画像符号化部1302は、演算部1340、ループフィルタ1341、フレームメモリ1342、選択部1343、イントラ予測部1344、インター予測部1345、予測画像選択部1346、およびレート制御部1347を有する。   That is, the enhancement layer image encoding unit 1302 includes an A / D conversion unit 1331, a screen rearrangement buffer 1332, a calculation unit 1333, an orthogonal transformation unit 1334, a quantization unit 1335, and a lossless encoding unit as illustrated in FIG. 1336, an accumulation buffer 1337, an inverse quantization unit 1338, and an inverse orthogonal transform unit 1339. Further, the enhancement layer image encoding unit 1302 includes a calculation unit 1340, a loop filter 1341, a frame memory 1342, a selection unit 1343, an intra prediction unit 1344, an inter prediction unit 1345, a predicted image selection unit 1346, and a rate control unit 1347. .

これらのA/D変換部1331乃至レート制御部1347は、図105のA/D変換部1311乃至レート制御部1327に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像符号化部1302の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、A/D変換部1331乃至レート制御部1347の処理の説明として、上述した図105のA/D変換部1311乃至レート制御部1327についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、A/D変換部1331乃至レート制御部1347の中の、対応する処理部に置き換えて読む必要がある。   These A / D conversion units 1331 to 1347 correspond to the A / D conversion units 1311 to 1327 in FIG. 105, and perform the same processing as the corresponding processing units, respectively. However, each part of the enhancement layer image encoding unit 1302 performs processing for encoding enhancement layer image information, not the base layer. Therefore, as the description of the processing of the A / D conversion unit 1331 to the rate control unit 1347, the above description of the A / D conversion unit 1311 to the rate control unit 1327 of FIG. 105 can be applied. The data to be processed is not the base layer data but the enhancement layer data. In addition, it is necessary to replace the data input source and output destination processing units with corresponding processing units in the A / D conversion unit 1331 to the rate control unit 1347 as appropriate.

ただし、インター予測部1345は、ベースレイヤ画像符号化部1301から取得する動き情報の予測方向(例えばL0方向若しくはL1方向)を設定し、その設定した予測方向のベースレイヤの動き情報を、ベースレイヤ画像符号化部1301から取得し、内蔵するバッファに格納する。インター予測部1345は、このバッファに格納したベースレイヤの動き情報を用いてレイヤ間シンタクス予測を行う。   However, the inter prediction unit 1345 sets the prediction direction (for example, L0 direction or L1 direction) of the motion information acquired from the base layer image encoding unit 1301, and the base layer motion information in the set prediction direction is set as the base layer. Obtained from the image encoding unit 1301 and stored in a built-in buffer. The inter prediction unit 1345 performs inter-layer syntax prediction using the base layer motion information stored in the buffer.

<インター予測部>
図107は、図106のインター予測部1345の主な構成例を示すブロック図である。図107に示されるように、インター予測部1345は、ベースレイヤ参照予測方向設定部1371、ベースレイヤ動き情報バッファ1372、動き情報変換部1373、動き予測部1374、および動き補償部1375を有する。
<Inter prediction section>
FIG. 107 is a block diagram illustrating an exemplary main configuration of the inter prediction unit 1345 of FIG. As illustrated in FIG. 107, the inter prediction unit 1345 includes a base layer reference prediction direction setting unit 1371, a base layer motion information buffer 1372, a motion information conversion unit 1373, a motion prediction unit 1374, and a motion compensation unit 1375.

ベースレイヤ参照予測方向設定部1371は、参照する(レイヤ間シンタクス予測で利用する)ベースレイヤの動き情報の予測方向を設定する。例えば、ベースレイヤ参照予測方向設定部1371は、ベースレイヤの、L0方向の動き情報、若しくは、L1方向の動き情報のいずれを参照するかを選択する。   The base layer reference prediction direction setting unit 1371 sets the prediction direction of the base layer motion information to be referred to (used in inter-layer syntax prediction). For example, the base layer reference prediction direction setting unit 1371 selects which of the base layer motion information in the L0 direction or the motion information in the L1 direction is referred to.

なお、ベースレイヤ参照予測方向設定部1371は、この予測方向の設定内容を示す制御情報を生成し、それをベースレイヤ動き情報バッファ1372および動き情報変換部1373に供給することにより、この設定を、ベースレイヤ動き情報バッファ1372および動き情報変換部1373に反映させる。   Note that the base layer reference prediction direction setting unit 1371 generates control information indicating the setting contents of the prediction direction, and supplies the control information to the base layer motion information buffer 1372 and the motion information conversion unit 1373, thereby This is reflected in the base layer motion information buffer 1372 and the motion information conversion unit 1373.

この制御情報は、例えば、<8.概要3>で上述したようにどのような情報であってもよい。図107の例においては、ベースレイヤ参照予測方向設定部1371は、ベースレイヤのL0方向の動き情報を参照するかを示すフラグ情報(colbasemv_from_l0_flag)を制御情報として生成し、ベースレイヤ動き情報バッファ1372および動き情報変換部1373に供給する。また、ベースレイヤ参照予測方向設定部1371は、このフラグ情報(colbasemv_from_l0_flag)を、可逆符号化部1336に供給し、符号化させ、復号側に伝送させる。   This control information is, for example, <8. Any information may be used as described above in Outline 3>. In the example of FIG. 107, the base layer reference prediction direction setting unit 1371 generates flag information (colbasemv_from_l0_flag) indicating whether to refer to motion information in the L0 direction of the base layer as control information, and includes a base layer motion information buffer 1372 and This is supplied to the motion information conversion unit 1373. Also, the base layer reference prediction direction setting unit 1371 supplies the flag information (colbasemv_from_l0_flag) to the lossless encoding unit 1336, encodes it, and transmits it to the decoding side.

ベースレイヤ動き情報バッファ1372は、ベースレイヤ画像符号化部1301からベースレイヤの動き情報(ベースレイヤ動き情報とも称する)を取得し、格納(保持)する。その際、ベースレイヤ動き情報バッファ1372は、ベースレイヤ参照予測方向設定部1371の設定に従って、すなわち、ベースレイヤ参照予測方向設定部1371から供給された制御情報(フラグ情報(colbasemv_from_l0_flag))により示される予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ1372の記憶容量を低減させることができる。   The base layer motion information buffer 1372 acquires base layer motion information (also referred to as base layer motion information) from the base layer image encoding unit 1301, and stores (holds) the base layer motion information buffer 1372. At that time, the base layer motion information buffer 1372 follows the setting of the base layer reference prediction direction setting unit 1371, that is, the prediction indicated by the control information (flag information (colbasemv_from_l0_flag)) supplied from the base layer reference prediction direction setting unit 1371. Get direction base layer motion information. By limiting the prediction direction of the base layer motion information acquired in this manner, the storage capacity of the base layer motion information buffer 1372 that stores the base layer motion information can be reduced.

動き情報変換部1373は、動き予測部1374がレイヤ間予測を行う場合、ベースレイヤ動き情報バッファ1372に格納されているベースレイヤ動き情報を読み出して動き予測部1374に供給する。その際、動き情報変換部1373は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き予測部1374に供給する。   When the motion prediction unit 1374 performs inter-layer prediction, the motion information conversion unit 1373 reads the base layer motion information stored in the base layer motion information buffer 1372 and supplies the base layer motion information to the motion prediction unit 1374. At this time, the motion information conversion unit 1373 appropriately performs conversion processing on the read base layer motion information, and supplies the converted base layer motion information to the motion prediction unit 1374.

例えば、動き情報変換部1373は、ベースレイヤ参照予測方向設定部1371の設定に従って、すなわち、ベースレイヤ参照予測方向設定部1371から供給された制御情報(フラグ情報(colbasemv_from_l0_flag))により示される予測方向が、動き予測部1374のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換(例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり)する。   For example, the motion information conversion unit 1373 has the prediction direction indicated by the control information (flag information (colbasemv_from_l0_flag)) supplied from the base layer reference prediction direction setting unit 1371 according to the setting of the base layer reference prediction direction setting unit 1371. When the prediction direction of the inter-layer prediction of the motion prediction unit 1374 does not match, the prediction direction of the base layer motion information is converted (for example, the motion information in the L0 direction is converted into the L1 direction, or the motion information in the L1 direction is converted into the L0 direction. Or convert to

また、例えば、動き情報変換部1373は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換(換算)することもできる。   Also, for example, the motion information conversion unit 1373 can convert (convert) the scalable parameter of the base layer motion information from the base layer standard to the enhancement layer standard.

動き予測部1374は、候補となる全てのインター予測モードで動き予測を行う。例えば、動き予測部1374は、画面並べ替えバッファ1332から供給される入力画像、および、フレームメモリ1342から供給される参照画像を用いて動き予測を行う。また、例えば、動き予測部1374は、動き情報変換部1373から供給されるベースレイヤ動き情報を用いてレイヤ間シンタクス予測を行う。   The motion prediction unit 1374 performs motion prediction in all candidate inter prediction modes. For example, the motion prediction unit 1374 performs motion prediction using the input image supplied from the screen rearrangement buffer 1332 and the reference image supplied from the frame memory 1342. For example, the motion prediction unit 1374 performs inter-layer syntax prediction using the base layer motion information supplied from the motion information conversion unit 1373.

このように全ての候補のモードで予測を行うと、動き予測部1374は、各予測結果についてコスト関数値を評価し、その評価結果に基づいて最適なモードを選択する。動き予測部1374は、最適なモードとして選択したモードの動き情報を最適動き情報として動き補償部1375に供給する。また、動き予測部1374は、最適なモードとして選択したモードの動き予測に関する情報である最適インター予測情報を可逆符号化部1336に供給し、符号化させ、復号側に伝送させる。この最適インター予測情報には、例えば、最適なモードを示す情報、並びに、最適動き情報若しくは最適動き情報を符号化した情報(例えば差分動き情報)等が含まれる。   When prediction is performed in all candidate modes as described above, the motion prediction unit 1374 evaluates the cost function value for each prediction result, and selects an optimal mode based on the evaluation result. The motion prediction unit 1374 supplies the motion information of the mode selected as the optimal mode to the motion compensation unit 1375 as the optimal motion information. Also, the motion prediction unit 1374 supplies optimal inter prediction information, which is information related to motion prediction of the mode selected as the optimal mode, to the lossless encoding unit 1336, encodes it, and transmits it to the decoding side. The optimal inter prediction information includes, for example, information indicating an optimal mode, optimal motion information or information obtained by encoding optimal motion information (for example, differential motion information), and the like.

動き補償部1375は、動き予測部1374から供給される最適動き情報と、フレームメモリ1342から供給される参照画像とを用いて、動き補償を行い、予測画像を生成する。動き補償部1375は、生成した予測画像を予測画像選択部1346に供給する。   The motion compensation unit 1375 performs motion compensation using the optimal motion information supplied from the motion prediction unit 1374 and the reference image supplied from the frame memory 1342 to generate a predicted image. The motion compensation unit 1375 supplies the generated predicted image to the predicted image selection unit 1346.

<画像符号化処理の流れ>
次に、以上のような画像符号化装置1300により実行される各処理の流れについて説明する。最初に、図108のフローチャートを参照して、画像符号化処理の流れの例を説明する。
<Flow of image encoding process>
Next, the flow of each process executed by the image encoding device 1300 as described above will be described. First, an example of the flow of image encoding processing will be described with reference to the flowchart of FIG.

画像符号化処理が開始されると、ステップS5101において、画像符号化装置1300のベースレイヤ画像符号化部1301は、ベースレイヤの画像データを符号化する。   When the image encoding process is started, in step S5101, the base layer image encoding unit 1301 of the image encoding device 1300 encodes base layer image data.

ステップS5102において、エンハンスメントレイヤ画像符号化部1302は、エンハンスメントレイヤの画像データを符号化する。   In step S5102, the enhancement layer image encoding unit 1302 encodes enhancement layer image data.

ステップS5103において、多重化部1303は、ステップS5101の処理により生成されたベースレイヤ画像符号化ストリームと、ステップS5102の処理により生成されたエンハンスメントレイヤ画像符号化ストリームとを(すなわち、各レイヤのビットストリームを)多重化し、1系統の階層画像符号化ストリームを生成する。   In step S5103, the multiplexing unit 1303 uses the base layer image encoded stream generated by the process of step S5101 and the enhancement layer image encoded stream generated by the process of step S5102 (that is, the bit stream of each layer). Are multiplexed to generate a single hierarchical image encoded stream.

ステップS5103の処理が終了すると、画像符号化装置1300は、画像符号化処理を終了する。このような画像符号化処理により1ピクチャ(若しくは1スライス)が処理される。したがって、画像符号化装置1300は、このような画像符号化処理を階層化された動画像データのピクチャ(若しくはスライス)毎に繰り返し実行する。   When the process of step S5103 ends, the image encoding device 1300 ends the image encoding process. One picture (or one slice) is processed by such an image encoding process. Therefore, the image encoding device 1300 repeatedly executes such image encoding processing for each picture (or slice) of hierarchized moving image data.

<ベースレイヤ符号化処理の流れ>
次に、図108のステップS5101において、ベースレイヤ画像符号化部1301により実行されるベースレイヤ符号化処理の流れの例を、図109のフローチャートを参照して説明する。
<Flow of base layer encoding process>
Next, an example of the flow of the base layer encoding process executed by the base layer image encoding unit 1301 in step S5101 of FIG. 108 will be described with reference to the flowchart of FIG.

ベースレイヤ符号化処理が開始されると、ベースレイヤ画像符号化部1301のA/D変換部1311は、ステップS5121において、入力された動画像の各フレーム(ピクチャ)の画像をA/D変換する。   When the base layer encoding process is started, the A / D conversion unit 1311 of the base layer image encoding unit 1301 A / D converts the image of each frame (picture) of the input moving image in step S5121. .

ステップS5122において、画面並べ替えバッファ1312は、ステップS5121においてA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。   In step S5122, the screen rearrangement buffer 1312 stores the image that has been A / D converted in step S5121, and performs rearrangement from the display order of each picture to the encoding order.

ステップS5123において、イントラ予測部1324は、イントラ予測モードのイントラ予測処理を行う。   In step S5123, the intra prediction unit 1324 performs an intra prediction process in the intra prediction mode.

ステップS5124において、インター予測部1325は、インター予測モードでの動き予測や動き補償等を行うインター予測処理を行う。つまり、インター予測部1325は、全ての候補となるモードについて動き予測を行い、その予測結果についてコスト関数値を算出して評価し、その評価結果に基づいて最適なインター予測モードを選択する。そして、インター予測部1325は、その最適なインター予測モードで動き補償を行い、予測画像を生成する。なお、ベースレイヤ画像符号化部1301は、他のレイヤの情報を参照しないので、インター予測部1325は、レイヤ間予測を行わない。   In step S5124, the inter prediction unit 1325 performs inter prediction processing for performing motion prediction, motion compensation, and the like in the inter prediction mode. That is, the inter prediction unit 1325 performs motion prediction for all candidate modes, calculates and evaluates cost function values for the prediction results, and selects an optimal inter prediction mode based on the evaluation results. Then, the inter prediction unit 1325 performs motion compensation in the optimal inter prediction mode, and generates a predicted image. Note that, since the base layer image encoding unit 1301 does not refer to information of other layers, the inter prediction unit 1325 does not perform inter-layer prediction.

ステップS5125において、予測画像選択部1326は、コスト関数値等に基づいて、予測画像を選択する。つまり、予測画像選択部1326は、ステップS5123のイントラ予測により生成された予測画像と、ステップS5124のインター予測により生成された予測画像のいずれか一方を選択する。   In step S5125, the predicted image selection unit 1326 selects a predicted image based on the cost function value or the like. That is, the predicted image selection unit 1326 selects either the predicted image generated by the intra prediction in step S5123 or the predicted image generated by the inter prediction in step S5124.

ステップS5126において、演算部1313は、ステップS5122の処理によりフレーム順を並び替えられた入力画像と、ステップS5125の処理により選択された予測画像との差分を演算する。つまり、演算部1313は、入力画像と予測画像との差分画像の画像データを生成する。このようにして求められた差分画像の画像データは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。   In step S5126, the calculation unit 1313 calculates a difference between the input image whose frame order is rearranged by the process of step S5122 and the predicted image selected by the process of step S5125. That is, the calculation unit 1313 generates image data of a difference image between the input image and the predicted image. The image data of the difference image obtained in this way is reduced in data amount compared to the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.

ステップS5127において、直交変換部1314は、ステップS5128の処理により生成された差分画像の画像データを直交変換する。   In step S5127, the orthogonal transformation unit 1314 orthogonally transforms the image data of the difference image generated by the process in step S5128.

ステップS5128において、量子化部1315は、レート制御部1327により算出された量子化パラメータを用いて、ステップS5127の処理により得られた直交変換係数を量子化する。   In step S5128, the quantization unit 1315 quantizes the orthogonal transform coefficient obtained by the process of step S5127, using the quantization parameter calculated by the rate control unit 1327.

ステップS5129において、逆量子化部1318は、ステップS5128の処理により生成された量子化された係数(量子化係数とも称する)を、量子化部1315の特性に対応する特性で逆量子化する。   In step S5129, the inverse quantization unit 1318 inversely quantizes the quantized coefficient (also referred to as a quantization coefficient) generated by the process in step S5128 with characteristics corresponding to the characteristics of the quantization unit 1315.

ステップS5130において、逆直交変換部1319は、ステップS5129の処理により得られた直交変換係数を逆直交変換する。   In step S5130, the inverse orthogonal transform unit 1319 performs inverse orthogonal transform on the orthogonal transform coefficient obtained by the process of step S5129.

ステップS5131において、演算部1320は、ステップS5130の処理により復元された差分画像に、ステップS5125の処理により選択された予測画像を加算することにより、再構成画像の画像データを生成する。   In step S5131, the calculation unit 1320 generates image data of a reconstructed image by adding the predicted image selected by the process of step S5125 to the difference image restored by the process of step S5130.

ステップS5132においてループフィルタ1321は、ステップS5131の処理により生成された再構成画像の画像データにループフィルタ処理を行う。これにより、再構成画像のブロック歪み等が除去される。   In step S5132, the loop filter 1321 performs loop filter processing on the image data of the reconstructed image generated by the processing in step S5131. Thereby, block distortion and the like of the reconstructed image are removed.

ステップS5133において、フレームメモリ1322は、ステップS5132の処理により得られた復号画像やステップS5131の処理により得られた再構成画像等のデータを記憶する。   In step S5133, the frame memory 1322 stores data such as a decoded image obtained by the process of step S5132 and a reconstructed image obtained by the process of step S5131.

ステップS5134において、可逆符号化部1316は、ステップS5128の処理により得られた、量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。   In step S5134, the lossless encoding unit 1316 encodes the quantized coefficient obtained by the process of step S5128. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the data corresponding to the difference image.

また、このとき、可逆符号化部1316は、ステップS5125の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部1316は、イントラ予測部1324から供給される最適イントラ予測モード情報、または、インター予測部1325から供給される最適インター予測情報なども符号化し、符号化データに付加する。   At this time, the lossless encoding unit 1316 encodes information related to the prediction mode of the prediction image selected by the process of step S5125, and adds the encoded information to the encoded data obtained by encoding the difference image. In other words, the lossless encoding unit 1316 encodes the optimal intra prediction mode information supplied from the intra prediction unit 1324 or the optimal inter prediction information supplied from the inter prediction unit 1325, and adds the encoded information to the encoded data.

さらに、可逆符号化部1316は、各種ナルユニット等のシンタクス要素も設定し、符号化し、符号化データに付加する。   Furthermore, the lossless encoding unit 1316 also sets syntax elements such as various null units, encodes them, and adds them to the encoded data.

ステップS5135において蓄積バッファ1317は、ステップS5134の処理により得られた符号化データを蓄積する。蓄積バッファ1317に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。   In step S5135, the accumulation buffer 1317 accumulates the encoded data obtained by the process in step S5134. The encoded data stored in the storage buffer 1317 is appropriately read and transmitted to the decoding side via a transmission path or a recording medium.

ステップS5136においてレート制御部1327は、ステップS5135の処理により蓄積バッファ1317に蓄積された符号化データの符号量(発生符号量)に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部1315の量子化動作のレートを制御する。また、レート制御部1327は、量子化パラメータに関する情報を、量子化部1315に供給する。   In step S5136, the rate control unit 1327 causes the quantization unit 1315 to prevent overflow or underflow based on the code amount (generated code amount) of the encoded data accumulated in the accumulation buffer 1317 by the process of step S5135. Controls the rate of quantization operation. Further, the rate control unit 1327 supplies information related to the quantization parameter to the quantization unit 1315.

ステップS5136の処理が終了すると、ベースレイヤ符号化処理が終了し、処理は図108に戻る。   When the process of step S5136 ends, the base layer encoding process ends, and the process returns to FIG.

<エンハンスメントレイヤ符号化処理の流れ>
次に、図108のステップS5102において、エンハンスメントレイヤ画像符号化部1302により実行されるエンハンスメントレイヤ符号化処理の流れの例を、図110のフローチャートを参照して説明する。
<Enhancement layer coding process flow>
Next, an example of the flow of enhancement layer encoding processing executed by the enhancement layer image encoding unit 1302 in step S5102 of FIG. 108 will be described with reference to the flowchart of FIG.

エンハンスメントレイヤ符号化処理が開始されると、エンハンスメントレイヤ画像符号化部1302のベースレイヤ参照予測方向設定部1371は、ステップS5151において、参照するベースレイヤ動き情報の予測方向を設定する。   When the enhancement layer encoding process is started, the base layer reference prediction direction setting unit 1371 of the enhancement layer image encoding unit 1302 sets the prediction direction of the referenced base layer motion information in step S5151.

ステップS5152において、ベースレイヤ参照予測方向設定部1371は、ステップS5151において行った設定の内容を示す制御情報を可逆符号化部1336に供給し、符号化させ、復号側に伝送させる。   In step S5152, the base layer reference prediction direction setting unit 1371 supplies control information indicating the content of the setting performed in step S5151 to the lossless encoding unit 1336, which is encoded and transmitted to the decoding side.

ステップS5153において、ベースレイヤ動き情報バッファ1372は、ステップS5151において設定された予測方向のベースレイヤ動き情報を、ベースレイヤ画像符号化部1301から取得し、保持する。   In step S5153, the base layer motion information buffer 1372 acquires the base layer motion information of the prediction direction set in step S5151 from the base layer image encoding unit 1301, and holds it.

ステップS5154乃至ステップS5169の各処理は、図109のステップS5121乃至ステップS5136の各処理に対応し、それらの処理と基本的に同様に実行される。   Each process of step S5154 to step S5169 corresponds to each process of step S5121 to step S5136 of FIG. 109, and is executed basically in the same manner as those processes.

ただし、ステップS5157のインター予測処理では、候補モードにレイヤ間予測も含まれる。つまり、ステップS5157において、動き予測部1374は、候補モードの1つとして、動き情報変換部1373を介してベースレイヤ動き情報バッファ1372から読み出したベースレイヤ動き情報を用いて、レイヤ間シンタクス予測を行う。動き予測部1374は、そのレイヤ間シンタクス予測も含めた全ての候補モードの中から最適なインター予測モードを選択し、その予測画像を生成する。   However, in the inter prediction process in step S5157, the candidate mode includes inter-layer prediction. That is, in step S5157, the motion prediction unit 1374 performs inter-layer syntax prediction using the base layer motion information read from the base layer motion information buffer 1372 via the motion information conversion unit 1373 as one of candidate modes. . The motion prediction unit 1374 selects an optimal inter prediction mode from all candidate modes including the inter-layer syntax prediction, and generates a predicted image thereof.

ステップS5169の処理が終了すると、エンハンスメントレイヤ符号化処理が終了し、処理は、図108に戻る。   When the process of step S5169 ends, the enhancement layer encoding process ends, and the process returns to FIG.

以上のように各処理を実行することにより、エンハンスメントレイヤ画像符号化部1302は、ベースレイヤの全ての予測方向(例えばL0方向およびL1方向)の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像符号化装置1300は、符号化に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the enhancement layer image encoding unit 1302 performs the motion of the base layer rather than acquiring motion information in all prediction directions (for example, the L0 direction and the L1 direction) of the base layer. It is possible to reduce the capacity of the buffer required to hold information. That is, the image encoding device 1300 can suppress an increase in storage capacity necessary for encoding.

また、画像符号化装置1300は、ベースレイヤ動き情報の予測方向の設定を示す制御情報を復号側に伝送するので、復号側においても、符号化側と同様に、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、復号に必要な記憶容量の増大を抑制することができる。   In addition, since the image coding apparatus 1300 transmits control information indicating the setting of the prediction direction of the base layer motion information to the decoding side, the decoding side holds the base layer motion information similarly to the coding side. It is possible to reduce the necessary buffer capacity. That is, an increase in storage capacity necessary for decoding can be suppressed.

<ベースレイヤ動き情報参照処理の流れ>
上述したように、図110のステップS5157のインター予測処理においては、レイヤ間予測のために、ベースレイヤ動き情報バッファ1372に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理の流れの例を、図111のフローチャートを参照して説明する。
<Flow of base layer motion information reference processing>
As described above, in the inter prediction process in step S5157 of FIG. 110, the base layer motion information held in the base layer motion information buffer 1372 is read for inter-layer prediction. An example of the flow of the base layer motion information reference process for reading this base layer motion information will be described with reference to the flowchart of FIG.

ベースレイヤ動き情報参照処理が開始されると、インター予測部1345の動き情報変換部1373は、ステップS5181において、参照するベースレイヤ動き情報を、ベースレイヤ動き情報バッファ1372から読み出す。   When the base layer motion information reference process is started, the motion information conversion unit 1373 of the inter prediction unit 1345 reads the reference base layer motion information from the base layer motion information buffer 1372 in step S5181.

ステップS5182において、動き情報変換部1373は、レイヤ間予測の予測方向と、ベースレイヤ参照予測方向設定部1371により設定された予測方向(すなわち、ステップS5181において読み出された動き情報の予測方向)とが一致するか否かを判定する。一致しないと判定された場合、処理はステップS5183に進む。   In step S5182, the motion information conversion unit 1373 predicts the inter-layer prediction and the prediction direction set by the base layer reference prediction direction setting unit 1371 (that is, the prediction direction of the motion information read in step S5181). It is determined whether or not. If it is determined that they do not match, the process proceeds to step S5183.

ステップS5183において、動き情報変換部1373は、ステップS5181において読み出されたベースレイヤ動き情報を反転する。例えば、レイヤ間予測の予測方向がL0方向であり、ステップS5181において読み出されたベースレイヤ動き情報の予測方向がL1方向である場合、動き情報変換部1373は、ベースレイヤ動き情報の予測方向をL0方向に変換する。また、例えば、レイヤ間予測の予測方向がL1方向であり、ステップS5181において読み出されたベースレイヤ動き情報の予測方向がL0方向である場合、動き情報変換部1373は、ベースレイヤ動き情報の予測方向をL1方向に変換する。   In step S5183, the motion information conversion unit 1373 inverts the base layer motion information read in step S5181. For example, when the prediction direction of inter-layer prediction is the L0 direction and the prediction direction of the base layer motion information read in step S5181 is the L1 direction, the motion information conversion unit 1373 determines the prediction direction of the base layer motion information. Convert to L0 direction. For example, when the prediction direction of inter-layer prediction is the L1 direction and the prediction direction of the base layer motion information read in step S5181 is the L0 direction, the motion information conversion unit 1373 predicts the base layer motion information. Change direction to L1 direction.

ステップS5183の処理が終了すると、処理はステップS5184に進む。   When the process of step S5183 ends, the process proceeds to step S5184.

また、ステップS5182において予測方向が一致すると判定された場合、処理はステップS5184に進む。つまり、予測方向の変換処理が省略される。   If it is determined in step S5182 that the prediction directions match, the process proceeds to step S5184. That is, the prediction direction conversion process is omitted.

ステップS5184において、動き予測部1374は、このように読み出され、適宜変換処理されたベースレイヤ動き情報を用いてエンハンスメントレイヤの動き予測を行う。   In step S5184, the motion prediction unit 1374 performs enhancement layer motion prediction using the base layer motion information read out in this manner and appropriately converted.

ステップS5184の処理が終了すると、ベースレイヤ動き情報参照処理が終了する。   When the process of step S5184 ends, the base layer motion information reference process ends.

以上のように、インター予測部1345は、ベースレイヤ動き情報バッファ1372から読み出したベースレイヤ動き情報の予測方向を、レイヤ間予測の予測方向に合わせることができる。したがって、ベースレイヤ動き情報バッファ1372には、一方の予測方向のベースレイヤ動き情報を格納すればよい。したがって、ベースレイヤ動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、符号化に必要な記憶容量の増大を抑制することができる。   As described above, the inter prediction unit 1345 can match the prediction direction of the base layer motion information read from the base layer motion information buffer 1372 with the prediction direction of inter-layer prediction. Therefore, the base layer motion information buffer 1372 may store base layer motion information in one prediction direction. Therefore, it is possible to reduce the capacity of the buffer necessary for holding the base layer motion information. That is, an increase in storage capacity necessary for encoding can be suppressed.

なお、以上のようなベースレイヤ動き情報参照処理において、動き情報変換部1373が、ベースレイヤ動き情報バッファ1372から読み出したベースレイヤ動き情報に対して、スケーラブルなパラメータをベースレイヤ基準からエンハンスメントレイヤ基準に変換する変換処理を行うようにしてもよい。この変換処理は、ステップS5182の前に行われるようにしてもよいし、ステップS5184の前に行われるようにしてもよい。   In the base layer motion information reference process as described above, the motion information conversion unit 1373 converts the scalable parameter from the base layer criterion to the enhancement layer criterion with respect to the base layer motion information read from the base layer motion information buffer 1372. A conversion process for conversion may be performed. This conversion process may be performed before step S5182, or may be performed before step S5184.

<10.第8の実施の形態>
<画像復号装置>
次に、以上のように符号化された符号化データの復号について説明する。図112は、本技術を適用した画像処理装置の一態様である、図104の画像符号化装置1300に対応する画像復号装置の主な構成例を示すブロック図である。
<10. Eighth Embodiment>
<Image decoding device>
Next, decoding of the encoded data encoded as described above will be described. FIG. 112 is a block diagram illustrating a main configuration example of an image decoding apparatus corresponding to the image encoding apparatus 1300 in FIG. 104, which is an aspect of an image processing apparatus to which the present technology is applied.

図112に示される画像復号装置1400は、画像符号化装置1300が生成した符号化データを、その符号化方法に対応する復号方法で復号する(すなわち、階層符号化された符号化データを階層復号する)。   112 decodes encoded data generated by the image encoding apparatus 1300 using a decoding method corresponding to the encoding method (that is, hierarchically encoded encoded data is decoded hierarchically). To do).

図112に示されるように、画像復号装置1400は、逆多重化部1401、ベースレイヤ画像復号部1402、およびエンハンスメントレイヤ画像復号部1403を有する。   As illustrated in FIG. 112, the image decoding device 1400 includes a demultiplexing unit 1401, a base layer image decoding unit 1402, and an enhancement layer image decoding unit 1403.

逆多重化部1401は、符号化側から伝送された、ベースレイヤ画像符号化ストリームとエンハンスメントレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを受け取り、それを逆多重化し、ベースレイヤ画像符号化ストリームと、エンハンスメントレイヤ画像符号化ストリームとを抽出する。ベースレイヤ画像復号部1402は、逆多重化部1401により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。エンハンスメントレイヤ画像復号部1403は、逆多重化部1401により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号し、エンハンスメントレイヤ画像を得る。   The demultiplexing unit 1401 receives the hierarchical image encoded stream that is transmitted from the encoding side and in which the base layer image encoded stream and the enhancement layer image encoded stream are multiplexed, demultiplexes them, and An image encoded stream and an enhancement layer image encoded stream are extracted. The base layer image decoding unit 1402 decodes the base layer image encoded stream extracted by the demultiplexing unit 1401 to obtain a base layer image. The enhancement layer image decoding unit 1403 decodes the enhancement layer image encoded stream extracted by the demultiplexing unit 1401 to obtain an enhancement layer image.

ベースレイヤ画像復号部1402は、他のレイヤを参照せずにベースレイヤ画像符号化ストリームを復号する。これに対してエンハンスメントレイヤ画像復号部1403は、エンハンスメントレイヤ画像符号化ストリームの復号において、ベースレイヤを参照し、レイヤ間予測を行う。例えば、エンハンスメントレイヤ画像復号部1403は、ベースレイヤ画像復号部1402がベースレイヤ画像符号化ストリームを復号する際に復元されたベースレイヤの動き情報を取得し、そのベースレイヤの動き情報を用いてレイヤ間シンタクス予測(Inter-layer syntax prediction)を行う。   The base layer image decoding unit 1402 decodes the base layer image encoded stream without referring to other layers. On the other hand, the enhancement layer image decoding unit 1403 refers to the base layer and performs inter-layer prediction in decoding of the enhancement layer image encoded stream. For example, the enhancement layer image decoding unit 1403 acquires the motion information of the base layer restored when the base layer image decoding unit 1402 decodes the base layer image encoded stream, and uses the base layer motion information to Perform inter-layer syntax prediction.

その際、エンハンスメントレイヤ画像復号部1403は、符号化側から伝送された制御情報(すなわち、符号化側において(符号化の際に)行われた設定)により指定される予測方向のベースレイヤ動き情報のみを取得し、バッファに格納する。そして、エンハンスメントレイヤ画像復号部1403は、そのバッファに格納されているベースレイヤ動き情報(すなわち、符号化の際に用いられたのと同じ予測方向の動き情報)を用いてレイヤ間予測を行う。   At this time, the enhancement layer image decoding unit 1403 performs base layer motion information in the prediction direction specified by the control information transmitted from the encoding side (that is, the setting performed on the encoding side (at the time of encoding)). Only get and store in buffer. Then, the enhancement layer image decoding unit 1403 performs inter-layer prediction using the base layer motion information stored in the buffer (that is, motion information in the same prediction direction as that used for encoding).

<ベースレイヤ画像復号部>
図113は、図112のベースレイヤ画像復号部1402の主な構成例を示すブロック図である。図113に示されるようにベースレイヤ画像復号部1402は、蓄積バッファ1411、可逆復号部1412、逆量子化部1413、逆直交変換部1414、演算部1415、ループフィルタ1416、画面並べ替えバッファ1417、およびD/A変換部1418を有する。また、ベースレイヤ画像復号部1402は、フレームメモリ1419、選択部1420、イントラ予測部1421、インター予測部1422、および予測画像選択部1423を有する。
<Base layer image decoding unit>
FIG. 113 is a block diagram illustrating an exemplary main configuration of the base layer image decoding unit 1402 of FIG. As shown in FIG. 113, the base layer image decoding unit 1402 includes a storage buffer 1411, a lossless decoding unit 1412, an inverse quantization unit 1413, an inverse orthogonal transform unit 1414, a calculation unit 1415, a loop filter 1416, a screen rearrangement buffer 1417, And a D / A converter 1418. The base layer image decoding unit 1402 includes a frame memory 1419, a selection unit 1420, an intra prediction unit 1421, an inter prediction unit 1422, and a predicted image selection unit 1423.

蓄積バッファ1411は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ1411は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部1412に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部1412は、蓄積バッファ1411より供給された、可逆符号化部1316により符号化された情報を、その符号化方式に対応する復号方式で復号する。可逆復号部1412は、復号して得られた差分画像の量子化された係数データを、逆量子化部1413に供給する。   The accumulation buffer 1411 is also a receiving unit that receives transmitted encoded data. The accumulation buffer 1411 receives and accumulates the transmitted encoded data, and supplies the encoded data to the lossless decoding unit 1412 at a predetermined timing. Information necessary for decoding such as prediction mode information is added to the encoded data. The lossless decoding unit 1412 decodes the information supplied from the accumulation buffer 1411 and encoded by the lossless encoding unit 1316 using a decoding method corresponding to the encoding method. The lossless decoding unit 1412 supplies the quantized coefficient data of the difference image obtained by decoding to the inverse quantization unit 1413.

また、可逆復号部1412は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部1421およびインター予測部1422の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化側において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部1421に供給される。また、例えば、符号化側において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部1422に供給される。   Further, the lossless decoding unit 1412 determines whether the intra prediction mode is selected as the optimal prediction mode or the inter prediction mode is selected, and information on the optimal prediction mode is stored in the intra prediction unit 1421 and the inter prediction unit 1422. It is supplied to the mode determined to be selected. That is, for example, when the intra prediction mode is selected as the optimal prediction mode on the encoding side, information regarding the optimal prediction mode is supplied to the intra prediction unit 1421. For example, when the inter prediction mode is selected as the optimal prediction mode on the encoding side, information regarding the optimal prediction mode is supplied to the inter prediction unit 1422.

さらに、可逆復号部1412は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部1413に供給する。   Furthermore, the lossless decoding unit 1412 supplies information necessary for inverse quantization, such as a quantization matrix and a quantization parameter, to the inverse quantization unit 1413, for example.

逆量子化部1413は、可逆復号部1412により復号されて得られた量子化された係数データを、量子化部1315の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部1413は、逆量子化部1318と同様の処理部である。逆量子化部1413は、得られた係数データを逆直交変換部1414に供給する。   The inverse quantization unit 1413 inversely quantizes the quantized coefficient data obtained by decoding by the lossless decoding unit 1412 using a method corresponding to the quantization method of the quantization unit 1315. The inverse quantization unit 1413 is a processing unit similar to the inverse quantization unit 1318. The inverse quantization unit 1413 supplies the obtained coefficient data to the inverse orthogonal transform unit 1414.

逆直交変換部1414は、逆量子化部1413から供給される直交変換係数を、必要に応じて、直交変換部1314の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部1414は、逆直交変換部1319と同様の処理部である。   The inverse orthogonal transform unit 1414 performs inverse orthogonal transform on the orthogonal transform coefficient supplied from the inverse quantization unit 1413 according to a method corresponding to the orthogonal transform method of the orthogonal transform unit 1314 as necessary. The inverse orthogonal transform unit 1414 is a processing unit similar to the inverse orthogonal transform unit 1319.

この逆直交変換処理により差分画像の画像データが復元される。この復元された差分画像の画像データは、画像符号化装置において直交変換される前の差分画像の画像データに対応する。以下においては、この、逆直交変換部1414の逆直交変換処理により得られた、復元された差分画像の画像データを、復号残差データとも称する。逆直交変換部1414は、この復号残差データを、演算部1415に供給する。また、演算部1415には、予測画像選択部1423を介して、イントラ予測部1421若しくはインター予測部1422から予測画像の画像データが供給される。   The image data of the difference image is restored by this inverse orthogonal transform process. The restored image data of the difference image corresponds to the image data of the difference image before being orthogonally transformed in the image encoding device. Hereinafter, the restored image data of the difference image obtained by the inverse orthogonal transform process of the inverse orthogonal transform unit 1414 is also referred to as decoded residual data. The inverse orthogonal transform unit 1414 supplies the decoded residual data to the calculation unit 1415. Further, the image data of the prediction image is supplied to the calculation unit 1415 from the intra prediction unit 1421 or the inter prediction unit 1422 via the prediction image selection unit 1423.

演算部1415は、この復号残差データと予測画像の画像データとを用いて、差分画像と予測画像とを加算した再構成画像の画像データを得る。この再構成画像は、演算部1313により予測画像が減算される前の入力画像に対応する。演算部1415は、その再構成画像をループフィルタ1416に供給する。   The computing unit 1415 uses the decoded residual data and the image data of the predicted image to obtain image data of a reconstructed image obtained by adding the difference image and the predicted image. This reconstructed image corresponds to the input image before the predicted image is subtracted by the calculation unit 1313. The computing unit 1415 supplies the reconstructed image to the loop filter 1416.

ループフィルタ1416は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ1416は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ1416は、そのデブロックフィルタ処理結果(ブロック歪みの除去が行われた再構成画像)に対して、ウィナーフィルタ(Wiener Filter)を用いてループフィルタ処理を行うことにより画質改善を行う。   The loop filter 1416 appropriately performs loop filter processing including deblock filter processing and adaptive loop filter processing on the supplied reconstructed image to generate a decoded image. For example, the loop filter 1416 removes block distortion by performing a deblocking filter process on the reconstructed image. Further, for example, the loop filter 1416 improves the image quality by performing loop filter processing using a Wiener filter on the deblock filter processing result (reconstructed image from which block distortion has been removed). I do.

なお、ループフィルタ1416が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ1416が、符号化側から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。さらに、ループフィルタ1416が、このようなフィルタ処理を省略し、入力されたデータをフィルタ処理せずに出力することもできる。   Note that the type of filter processing performed by the loop filter 1416 is arbitrary, and filter processing other than that described above may be performed. Further, the loop filter 1416 may perform filter processing using the filter coefficient supplied from the encoding side. Further, the loop filter 1416 can omit such filter processing and output the input data without performing the filter processing.

ループフィルタ1416は、フィルタ処理結果である復号画像(若しくは再構成画像)を画面並べ替えバッファ1417およびフレームメモリ1419に供給する。   The loop filter 1416 supplies the decoded image (or reconstructed image) as the filter processing result to the screen rearrangement buffer 1417 and the frame memory 1419.

画面並べ替えバッファ1417は、復号画像についてフレームの順番の並べ替えを行う。すなわち、画面並べ替えバッファ1417は、画面並べ替えバッファ1312により符号化順に並べ替えられた各フレームの画像を、元の表示順に並べ替える。つまり、画面並べ替えバッファ1417は、符号化順に供給される各フレームの復号画像の画像データを、その順に記憶し、符号化順に記憶した各フレームの復号画像の画像データを、表示順に読み出してD/A変換部1418に供給する。D/A変換部1418は、画面並べ替えバッファ1417から供給された各フレームの復号画像(デジタルデータ)をD/A変換し、アナログデータとして、図示せぬディスプレイに出力し、表示させる。   The screen rearrangement buffer 1417 rearranges the frame order of the decoded image. That is, the screen rearrangement buffer 1417 rearranges the images of the frames rearranged in the encoding order by the screen rearrangement buffer 1312 in the original display order. That is, the screen rearrangement buffer 1417 stores the image data of the decoded image of each frame supplied in the encoding order, and reads the image data of the decoded image of each frame stored in the encoding order in the display order. / A converter 1418. The D / A conversion unit 1418 D / A converts the decoded image (digital data) of each frame supplied from the screen rearrangement buffer 1417, and outputs the analog image data to a display (not shown) for display.

フレームメモリ1419は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、イントラ予測部1421やインター予測部1422等の外部の要求に基づいて、記憶している復号画像を参照画像として、選択部1420を介してイントラ予測部1421やインター予測部1422に供給する。   The frame memory 1419 stores the supplied decoded image, and uses the stored decoded image as a reference image at a predetermined timing or based on an external request such as the intra prediction unit 1421 or the inter prediction unit 1422. The data is supplied to the intra prediction unit 1421 and the inter prediction unit 1422 via the selection unit 1420.

イントラ予測部1421には、イントラ予測モード情報等が可逆復号部1412から適宜供給される。イントラ予測部1421は、イントラ予測部1324において用いられたイントラ予測モード(最適イントラ予測モード)でイントラ予測を行い、予測画像を生成する。その際、イントラ予測部1421は、選択部1420を介してフレームメモリ1419から供給される再構成画像の画像データを用いてイントラ予測を行う。すなわち、イントラ予測部1421は、この再構成画像を参照画像(周辺画素)として利用する。イントラ予測部1421は、生成した予測画像を予測画像選択部1423に供給する。   Intra prediction mode information and the like are appropriately supplied from the lossless decoding unit 1412 to the intra prediction unit 1421. The intra prediction unit 1421 performs intra prediction in the intra prediction mode (optimum intra prediction mode) used in the intra prediction unit 1324, and generates a predicted image. At this time, the intra prediction unit 1421 performs intra prediction using the image data of the reconstructed image supplied from the frame memory 1419 via the selection unit 1420. That is, the intra prediction unit 1421 uses this reconstructed image as a reference image (neighboring pixels). The intra prediction unit 1421 supplies the generated predicted image to the predicted image selection unit 1423.

インター予測部1422には、最適予測モード情報や動き情報等が可逆復号部1412から適宜供給される。インター予測部1422は、可逆復号部1412から取得された最適予測モード情報が示すインター予測モード(最適インター予測モード)で、フレームメモリ1419から取得した復号画像(参照画像)を用いてインター予測を行い、予測画像を生成する。   The inter prediction unit 1422 is appropriately supplied with optimal prediction mode information, motion information, and the like from the lossless decoding unit 1412. The inter prediction unit 1422 performs inter prediction using the decoded image (reference image) acquired from the frame memory 1419 in the inter prediction mode (optimum inter prediction mode) indicated by the optimal prediction mode information acquired from the lossless decoding unit 1412. Generate a predicted image.

予測画像選択部1423は、イントラ予測部1421から供給される予測画像またはインター予測部1422から供給される予測画像を、演算部1415に供給する。そして、演算部1415においては、その予測画像と逆直交変換部1414からの復号残差データ(差分画像情報)とが加算されて再構成画像が得られる。   The prediction image selection unit 1423 supplies the prediction image supplied from the intra prediction unit 1421 or the prediction image supplied from the inter prediction unit 1422 to the calculation unit 1415. In the calculation unit 1415, the predicted image and the decoded residual data (difference image information) from the inverse orthogonal transform unit 1414 are added to obtain a reconstructed image.

なお、ベースレイヤ画像復号部1402は、他のレイヤを参照せずに復号を行う。つまり、イントラ予測部1421およびインター予測部1422は、他のレイヤの符号化に関する情報(例えば、復号画像、イントラ予測モード情報、インター予測モード情報、および動き情報等)を参照しない。   Note that the base layer image decoding unit 1402 performs decoding without referring to other layers. That is, the intra prediction unit 1421 and the inter prediction unit 1422 do not refer to information related to encoding of other layers (for example, a decoded image, intra prediction mode information, inter prediction mode information, and motion information).

また、インター予測部1422は、エンハンスメントレイヤ画像復号部1403により要求された予測方向(例えばL0方向若しくはL1方向)の動き情報をエンハンスメントレイヤ画像復号部1403に供給する。   In addition, the inter prediction unit 1422 supplies motion information in the prediction direction (for example, the L0 direction or the L1 direction) requested by the enhancement layer image decoding unit 1403 to the enhancement layer image decoding unit 1403.

<エンハンスメントレイヤ画像復号部>
図114は、図112のエンハンスメントレイヤ画像復号部1403の主な構成例を示すブロック図である。図114に示されるように、エンハンスメントレイヤ画像復号部1403は、図113のベースレイヤ画像復号部1402と基本的に同様の構成を有する。
<Enhancement layer image decoding unit>
114 is a block diagram illustrating an exemplary main configuration of the enhancement layer image decoding unit 1403 of FIG. As shown in FIG. 114, enhancement layer image decoding section 1403 has basically the same configuration as base layer image decoding section 1402 in FIG.

つまり、エンハンスメントレイヤ画像復号部1403は、図114に示されるように、蓄積バッファ1431、可逆復号部1432、逆量子化部1433、逆直交変換部1434、演算部1435、ループフィルタ1436、画面並べ替えバッファ1437、およびD/A変換部1438を有する。また、エンハンスメントレイヤ画像復号部1403は、フレームメモリ1439、選択部1440、イントラ予測部1441、インター予測部1442、および予測画像選択部1443を有する。   That is, the enhancement layer image decoding unit 1403 includes a storage buffer 1431, a lossless decoding unit 1432, an inverse quantization unit 1433, an inverse orthogonal transform unit 1434, a calculation unit 1435, a loop filter 1436, and a screen rearrangement as illustrated in FIG. A buffer 1437 and a D / A converter 1438 are included. Also, the enhancement layer image decoding unit 1403 includes a frame memory 1439, a selection unit 1440, an intra prediction unit 1441, an inter prediction unit 1442, and a predicted image selection unit 1443.

これらの蓄積バッファ1431乃至予測画像選択部1443は、図113の蓄積バッファ1411乃至予測画像選択部1423に対応し、それぞれ、対応する処理部と同様の処理を行う。ただし、エンハンスメントレイヤ画像復号部1403の各部は、ベースレイヤではなく、エンハンスメントレイヤ画像情報の符号化についての処理を行う。したがって、蓄積バッファ1431乃至予測画像選択部1443の処理の説明として、上述した図113の蓄積バッファ1411乃至予測画像選択部1423についての説明を適用することができるが、その場合、処理するデータは、ベースレイヤのデータではなく、エンハンスメントレイヤのデータであるものとする必要がある。また、データの入力元や出力先の処理部は、適宜、エンハンスメントレイヤ画像復号部1403の、対応する処理部に置き換えて読む必要がある。   These accumulation buffers 1431 to predicted image selection unit 1443 correspond to the accumulation buffer 1411 to predicted image selection unit 1423 of FIG. 113 and perform the same processing as the corresponding processing units, respectively. However, each unit of the enhancement layer image decoding unit 1403 performs processing for encoding enhancement layer image information, not the base layer. Therefore, as the description of the processing of the storage buffer 1431 to the predicted image selection unit 1443, the above description of the storage buffer 1411 to the predicted image selection unit 1423 of FIG. 113 can be applied. In this case, the data to be processed is It should be enhancement layer data, not base layer data. Further, it is necessary to read the data input source and output destination processing units as appropriate by replacing the corresponding processing units of the enhancement layer image decoding unit 1403.

ただし、可逆復号部1432は、例えば、スライスヘッダに含まれる、符号化側から供給された、ベースレイヤ画像復号部1402から取得するベースレイヤ動き情報の予測方向の制御情報(例えば、ベースレイヤのL0方向の動き情報を保存するか否かを示すフラグ情報(colbasemv_from_l0_flag))等を、インター予測部1442に供給する。   However, the lossless decoding unit 1432 includes, for example, control information on the prediction direction of the base layer motion information acquired from the base layer image decoding unit 1402 supplied from the encoding side included in the slice header (for example, L0 of the base layer). Flag information (colbasemv_from_l0_flag) indicating whether or not to save direction motion information is supplied to the inter prediction unit 1442.

インター予測部1442は、その制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部1402から取得し、内蔵するバッファに格納する。インター予測部1442は、レイヤ間シンタクス予測を行う場合、このバッファに格納したベースレイヤの動き情報を用いる。   The inter prediction unit 1442 obtains base layer motion information in the prediction direction specified by the control information from the base layer image decoding unit 1402 and stores it in a built-in buffer. When performing inter-layer syntax prediction, the inter prediction unit 1442 uses base layer motion information stored in this buffer.

<インター予測部>
図115は、図114のインター予測部1442の主な構成例を示すブロック図である。図115に示されるように、インター予測部1442は、ベースレイヤ動き情報バッファ1471、動き情報変換部1472、および動き補償部1473を有する。
<Inter prediction section>
FIG. 115 is a block diagram illustrating an exemplary main configuration of the inter prediction unit 1442 of FIG. As illustrated in FIG. 115, the inter prediction unit 1442 includes a base layer motion information buffer 1471, a motion information conversion unit 1472, and a motion compensation unit 1473.

ベースレイヤ動き情報バッファ1471は、可逆復号部1432から供給される制御情報(フラグ情報(colbasemv_from_l0_flag))を取得する。ベースレイヤ動き情報バッファ1471は、その制御情報により示される予測方向のベースレイヤ動き情報を取得して格納する。つまり、ベースレイヤ動き情報バッファ1471は、符号化の際と同一の予測方向のベースレイヤ動き情報を取得する。このように取得するベースレイヤ動き情報の予測方向を制限することにより、そのベースレイヤ動き情報を格納するベースレイヤ動き情報バッファ1471の記憶容量を低減させることができる。   The base layer motion information buffer 1471 acquires control information (flag information (colbasemv_from_l0_flag)) supplied from the lossless decoding unit 1432. The base layer motion information buffer 1471 acquires and stores base layer motion information in the prediction direction indicated by the control information. That is, the base layer motion information buffer 1471 acquires base layer motion information in the same prediction direction as that used in encoding. By limiting the prediction direction of the base layer motion information acquired in this way, the storage capacity of the base layer motion information buffer 1471 for storing the base layer motion information can be reduced.

動き情報変換部1472は、可逆復号部1432から供給される制御情報(フラグ情報(colbasemv_from_l0_flag))を取得する。また、動き情報変換部1472は、動き補償部1473がレイヤ間予測により動き情報を再構築する場合、ベースレイヤ動き情報バッファ1471に格納されているベースレイヤ動き情報を読み出して動き補償部1473に供給する。その際、動き情報変換部1472は、読みだしたベースレイヤ動き情報に対して、適宜、変換処理を行い、変換後のベースレイヤ動き情報を動き補償部1473に供給する。   The motion information conversion unit 1472 acquires control information (flag information (colbasemv_from_l0_flag)) supplied from the lossless decoding unit 1432. In addition, when the motion compensation unit 1473 reconstructs motion information by inter-layer prediction, the motion information conversion unit 1472 reads the base layer motion information stored in the base layer motion information buffer 1471 and supplies the base layer motion information to the motion compensation unit 1473. To do. At this time, the motion information conversion unit 1472 appropriately performs conversion processing on the read base layer motion information, and supplies the converted base layer motion information to the motion compensation unit 1473.

例えば、動き情報変換部1472は、可逆復号部1432から供給される制御情報(フラグ情報(colbasemv_from_l0_flag))により示される予測方向が、動き補償部1473のレイヤ間予測の予測方向と一致しない場合、ベースレイヤ動き情報の予測方向を変換(例えば、L0方向の動き情報をL1方向に変換したり、L1方向の動き情報をL0方向に変換したり)する。   For example, when the prediction direction indicated by the control information (flag information (colbasemv_from_l0_flag)) supplied from the lossless decoding unit 1432 does not match the prediction direction of inter-layer prediction of the motion compensation unit 1473, the motion information conversion unit 1472 The prediction direction of the layer motion information is converted (for example, the motion information in the L0 direction is converted into the L1 direction, or the motion information in the L1 direction is converted into the L0 direction).

また、例えば、動き情報変換部1472は、ベースレイヤ動き情報の、階層間でスケーラブルなパラメータを、ベースレイヤ基準からエンハンスメントレイヤ基準に変換(換算)することもできる。   Further, for example, the motion information conversion unit 1472 can convert (convert) the scalable parameter of the base layer motion information from the base layer standard to the enhancement layer standard.

動き補償部1473は、可逆復号部1432から供給される最適インター予測情報により示される最適なインター予測モード(符号化の際に採用されたインター予測モード)で動き補償を行い、予測画像を生成する。例えば、動き補償部1473は、可逆復号部1432から供給される最適インター予測情報に含まれる符号化された動き情報(例えば差分動き情報等)を復号してカレントブロックの動き情報を再構築する。そして、動き補償部1473は、再構築した動き情報に対応するフレームメモリ1439から参照画像を取得し、予測画像を生成する。動き補償部1473は、生成した予測画像を、予測画像選択部1443に供給する。   The motion compensation unit 1473 performs motion compensation in an optimal inter prediction mode (inter prediction mode employed in encoding) indicated by the optimal inter prediction information supplied from the lossless decoding unit 1432, and generates a prediction image. . For example, the motion compensation unit 1473 reconstructs the motion information of the current block by decoding the encoded motion information (for example, difference motion information) included in the optimal inter prediction information supplied from the lossless decoding unit 1432. Then, the motion compensation unit 1473 acquires a reference image from the frame memory 1439 corresponding to the reconstructed motion information, and generates a predicted image. The motion compensation unit 1473 supplies the generated predicted image to the predicted image selection unit 1443.

なお、例えば、最適なインター予測モードがレイヤ間シンタクス予測である場合、動き補償部1473は、動き情報変換部1472から供給されるベースレイヤ動き情報を用いてカレントブロックの動き情報を再構築し、予測画像を生成する。   For example, when the optimal inter prediction mode is inter-layer syntax prediction, the motion compensation unit 1473 reconstructs the motion information of the current block using the base layer motion information supplied from the motion information conversion unit 1472, A prediction image is generated.

<画像復号処理の流れ>
次に、以上のような画像復号装置1400により実行される各処理の流れについて説明する。最初に、図116のフローチャートを参照して、画像復号処理の流れの例を説明する。
<Flow of image decoding process>
Next, the flow of each process executed by the image decoding device 1400 as described above will be described. First, an example of the flow of image decoding processing will be described with reference to the flowchart in FIG.

画像復号処理が開始されると、ステップS5201において、画像復号装置1400の逆多重化部1401は、符号化側から伝送される階層画像符号化ストリームをレイヤ毎に逆多重化する。   When the image decoding process is started, in step S5201, the demultiplexing unit 1401 of the image decoding device 1400 demultiplexes the layered image encoded stream transmitted from the encoding side for each layer.

ステップS5202において、ベースレイヤ画像復号部1402は、ステップS5201の処理により抽出されたベースレイヤ画像符号化ストリームを復号する。ベースレイヤ画像復号部1402は、この復号により生成されたベースレイヤ画像のデータを出力する。   In step S5202, the base layer image decoding unit 1402 decodes the base layer image encoded stream extracted by the process of step S5201. The base layer image decoding unit 1402 outputs base layer image data generated by this decoding.

ステップS5203において、エンハンスメントレイヤ画像復号部1403は、ステップS5201の処理により抽出されたエンハンスメントレイヤ画像符号化ストリームを復号する。エンハンスメントレイヤ画像復号部1403は、この復号により生成されたエンハンスメントレイヤ画像のデータを出力する。   In step S5203, the enhancement layer image decoding unit 1403 decodes the enhancement layer image encoded stream extracted by the process of step S5201. The enhancement layer image decoding unit 1403 outputs enhancement layer image data generated by this decoding.

ステップS5203の処理が終了すると、画像復号装置1400は、画像復号処理を終了する。このような画像復号処理により1ピクチャ(若しくは1スライス)が処理される。したがって、画像復号装置1400は、このような画像復号処理を階層化された動画像データのピクチャ(若しくはスライス)毎に繰り返し実行する。   When the process of step S5203 ends, the image decoding device 1400 ends the image decoding process. One picture (or one slice) is processed by such an image decoding process. Therefore, the image decoding apparatus 1400 repeatedly performs such image decoding processing for each picture (or slice) of hierarchized moving image data.

<ベースレイヤ復号処理の流れ>
次に、図116のステップS5202において、ベースレイヤ画像復号部1402により実行されるベースレイヤ復号処理の流れの例を、図117のフローチャートを参照して説明する。
<Flow of base layer decoding process>
Next, an example of the flow of the base layer decoding process executed by the base layer image decoding unit 1402 in step S5202 of FIG. 116 will be described with reference to the flowchart of FIG.

ベースレイヤ復号処理が開始されると、ベースレイヤ画像復号部1402の蓄積バッファ1411は、ステップS5221において、伝送されてきたビットストリーム(符号化データ)を蓄積する。ステップS5222において、可逆復号部1412は、蓄積バッファ1411から供給されるビットストリーム(符号化データ)を復号する。すなわち、可逆符号化部1316により符号化されたIピクチャ、Pピクチャ、並びにBピクチャ等の画像データが復号される。このとき、ヘッダ情報などのビットストリームに含められた画像データ以外の各種情報も復号される。   When the base layer decoding process is started, the accumulation buffer 1411 of the base layer image decoding unit 1402 accumulates the transmitted bit stream (encoded data) in step S5221. In step S5222, the lossless decoding unit 1412 decodes the bit stream (encoded data) supplied from the accumulation buffer 1411. That is, image data such as an I picture, a P picture, and a B picture encoded by the lossless encoding unit 1316 is decoded. At this time, various information other than the image data included in the bit stream such as header information is also decoded.

ステップS5223において、逆量子化部1413は、ステップS5222の処理により得られた、量子化された係数を逆量子化する。   In step S5223, the inverse quantization unit 1413 inversely quantizes the quantized coefficient obtained by the process in step S5222.

ステップS5224において、逆直交変換部1414は、ステップS5223において逆量子化された係数を逆直交変換する。   In step S5224, the inverse orthogonal transform unit 1414 performs inverse orthogonal transform on the coefficient inversely quantized in step S5223.

ステップS5225において、イントラ予測部1421若しくはインター予測部1422は、予測画像を生成する。つまり、可逆復号部1412において判定された、符号化の際に適用された予測モードで動き補償が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部1421が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部1422が、符号化の際に最適とされたインター予測モードで予測画像を生成する。   In step S5225, the intra prediction unit 1421 or the inter prediction unit 1422 generates a prediction image. That is, motion compensation is performed in the prediction mode determined at the time of encoding determined by the lossless decoding unit 1412. More specifically, for example, when intra prediction is applied at the time of encoding, the intra prediction unit 1421 generates a prediction image in the intra prediction mode optimized at the time of encoding. Further, for example, when inter prediction is applied at the time of encoding, the inter prediction unit 1422 generates a prediction image in the inter prediction mode that is optimized at the time of encoding.

ステップS5226において、演算部1415は、ステップS5224において逆直交変換されて得られた差分画像に、ステップS5225において生成された予測画像を加算する。これにより再構成画像の画像データが得られる。   In step S5226, the calculation unit 1415 adds the predicted image generated in step S5225 to the difference image obtained by the inverse orthogonal transform in step S5224. Thereby, image data of the reconstructed image is obtained.

ステップS5227において、ループフィルタ1416は、ステップS5226の処理により得られた再構成画像の画像データに対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。   In step S5227, the loop filter 1416 appropriately performs loop filter processing including deblock filter processing, adaptive loop filter processing, and the like on the image data of the reconstructed image obtained by the processing in step S5226.

ステップS5228において、画面並べ替えバッファ1417は、ステップS5227においてフィルタ処理された再構成画像の各フレームの並べ替えを行う。すなわち、符号化の際に並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。   In step S5228, the screen rearrangement buffer 1417 rearranges each frame of the reconstructed image filtered in step S5227. That is, the order of frames rearranged at the time of encoding is rearranged in the original display order.

ステップS5229において、D/A変換部1418は、ステップS5228においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。   In step S5229, the D / A conversion unit 1418 performs D / A conversion on the image in which the frame order is rearranged in step S5228. This image is output to a display (not shown), and the image is displayed.

ステップS5230において、フレームメモリ1419は、ステップS5227の処理により得られた復号画像やステップS5226の処理により得られた再構成画像等のデータを記憶する。   In step S5230, the frame memory 1419 stores data such as a decoded image obtained by the process of step S5227 and a reconstructed image obtained by the process of step S5226.

ステップS5230の処理が終了すると、ベースレイヤ復号処理が終了し、処理は図116に戻る。   When the process of step S5230 ends, the base layer decoding process ends, and the process returns to FIG.

<エンハンスメントレイヤ復号処理の流れ>
次に、図116のステップS5203において、エンハンスメントレイヤ画像復号部1403により実行されるエンハンスメントレイヤ復号処理の流れの例を、図118のフローチャートを参照して説明する。
<Flow of enhancement layer decoding processing>
Next, an example of the flow of the enhancement layer decoding process executed by the enhancement layer image decoding unit 1403 in step S5203 of FIG. 116 will be described with reference to the flowchart of FIG.

エンハンスメントレイヤ復号処理が開始されると、エンハンスメントレイヤ画像復号部1403のインター予測部1422は、ステップS5251において、可逆復号部1412を介して、符号化側から伝送された制御情報(フラグ情報(colbasemv_from_l0_flag))を取得する。   When the enhancement layer decoding process is started, the inter prediction unit 1422 of the enhancement layer image decoding unit 1403 transmits control information (flag information (colbasemv_from_l0_flag) transmitted from the encoding side via the lossless decoding unit 1412 in step S5251. ) To get.

ステップS5252において、インター予測部1422は、ステップS5251において取得された制御情報により指定される予測方向のベースレイヤ動き情報を、ベースレイヤ画像復号部1402から取得し、バッファに格納する。   In step S5252, the inter prediction unit 1422 acquires the base layer motion information in the prediction direction specified by the control information acquired in step S5251 from the base layer image decoding unit 1402, and stores it in the buffer.

ステップS5253乃至ステップS5262の各処理は、図117のステップS5221乃至ステップS5230の各処理に対応し、それらの処理と基本的に同様に実行される。   Each process of step S5253 thru | or step S5262 respond | corresponds to each process of step S5221 thru | or step S5230 of FIG. 117, and is performed similarly to those processes.

ただし、ステップS5257の予測画像の生成において、最適予測モードがインター予測のレイヤ間シンタクス予測の場合、インター予測部1442は、ベースレイヤ画像復号部1402から取得したベースレイヤ動き情報を用いて予測画像を生成する。   However, in the generation of the predicted image in step S5257, when the optimum prediction mode is inter prediction with inter prediction, the inter prediction unit 1442 uses the base layer motion information acquired from the base layer image decoding unit 1402 to generate a predicted image. Generate.

ステップS5262の処理が終了すると、エンハンスメントレイヤ復号処理が終了し、処理は、図116に戻る。   When the process of step S5262 ends, the enhancement layer decoding process ends, and the process returns to FIG.

以上のように各処理を実行することにより、エンハンスメントレイヤ画像復号部1403は、ベースレイヤの全ての予測方向(例えばL0方向およびL1方向)の動き情報を取得する場合よりも、ベースレイヤの動き情報を保持するのに必要なバッファの容量を低減することができる。つまり、画像復号装置1400は、復号に必要な記憶容量の増大を抑制することができる。   By executing each process as described above, the enhancement layer image decoding unit 1403 performs base layer motion information, rather than acquiring motion information in all prediction directions (for example, L0 direction and L1 direction) of the base layer. It is possible to reduce the capacity of the buffer required to hold That is, the image decoding apparatus 1400 can suppress an increase in storage capacity necessary for decoding.

<ベースレイヤ動き情報参照処理の流れ>
なお、上述したように、最適予測モードがインター予測のレイヤ間予測の場合、図118のステップS5257の予測画像の生成の際に、ベースレイヤ動き情報バッファ1471に保持されているベースレイヤ動き情報が読み出される。このベースレイヤ動き情報を読み出すベースレイヤ動き情報参照処理は、符号化の場合と同様に実行される。すなわち、図111のフローチャートの説明を、復号側の処理にも適用することができる。したがって、この処理の説明は省略する。
<Flow of base layer motion information reference processing>
As described above, when the optimal prediction mode is inter prediction of inter prediction, the base layer motion information held in the base layer motion information buffer 1471 is generated when the predicted image is generated in step S5257 of FIG. Read out. The base layer motion information reference process for reading out the base layer motion information is executed in the same manner as in the case of encoding. That is, the description of the flowchart in FIG. 111 can be applied to the processing on the decoding side. Therefore, the description of this process is omitted.

本技術の適用範囲は、スケーラブルな符号化・復号方式に基づくあらゆる画像符号化装置及び画像復号装置に適用することができる。   The application range of the present technology can be applied to all image encoding devices and image decoding devices based on a scalable encoding / decoding method.

また、本技術は、例えば、MPEG、H.26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報(ビットストリーム)を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる画像符号化装置および画像復号装置に適用することができる。また、本技術は、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。   In addition, the present technology includes, for example, MPEG, H.264, and the like. When receiving image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x, via network media such as satellite broadcasting, cable television, the Internet, or mobile phones. The present invention can be applied to an image encoding device and an image decoding device used in the above. In addition, the present technology can be applied to an image encoding device and an image decoding device that are used when processing is performed on a storage medium such as an optical disk, a magnetic disk, and a flash memory.

<11.第9の実施の形態>
<コンピュータ>
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
<11. Ninth Embodiment>
<Computer>
The series of processes described above can be executed by hardware or can be executed by software. When a series of processing is executed by software, a program constituting the software is installed in the computer. Here, the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.

図119は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。   FIG. 119 is a block diagram illustrating a configuration example of hardware of a computer that executes the above-described series of processing by a program.

図119に示されるコンピュータ1800において、CPU(Central Processing Unit)1801、ROM(Read Only Memory)1802、RAM(Random Access Memory)1803は、バス1804を介して相互に接続されている。   In a computer 1800 shown in FIG. 119, a CPU (Central Processing Unit) 1801, a ROM (Read Only Memory) 1802, and a RAM (Random Access Memory) 1803 are connected to each other via a bus 1804.

バス1804にはまた、入出力インタフェース1810も接続されている。入出力インタフェース1810には、入力部1811、出力部1812、記憶部1813、通信部1814、およびドライブ1815が接続されている。   An input / output interface 1810 is also connected to the bus 1804. An input unit 1811, an output unit 1812, a storage unit 1813, a communication unit 1814, and a drive 1815 are connected to the input / output interface 1810.

入力部1811は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部1812は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部1813は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部1814は、例えば、ネットワークインタフェースよりなる。ドライブ1815は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア1821を駆動する。   The input unit 1811 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like. The output unit 1812 includes, for example, a display, a speaker, an output terminal, and the like. The storage unit 1813 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like. The communication unit 1814 includes, for example, a network interface. The drive 1815 drives a removable medium 1821 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.

以上のように構成されるコンピュータでは、CPU1801が、例えば、記憶部1813に記憶されているプログラムを、入出力インタフェース1810およびバス1804を介して、RAM1803にロードして実行することにより、上述した一連の処理が行われる。RAM1803にはまた、CPU1801が各種の処理を実行する上において必要なデータなども適宜記憶される。   In the computer configured as described above, the CPU 1801 loads the program stored in the storage unit 1813 to the RAM 1803 via the input / output interface 1810 and the bus 1804 and executes the program, for example. Is performed. The RAM 1803 also appropriately stores data necessary for the CPU 1801 to execute various processes.

コンピュータ(CPU1801)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1821に記録して適用することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。   The program executed by the computer (CPU 1801) can be recorded and applied to, for example, a removable medium 1821 as a package medium or the like. The program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.

コンピュータでは、プログラムは、リムーバブルメディア1821をドライブ1815に装着することにより、入出力インタフェース1810を介して、記憶部1813にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1814で受信し、記憶部1813にインストールすることができる。その他、プログラムは、ROM1802や記憶部1813に、あらかじめインストールしておくことができる。   In the computer, the program can be installed in the storage unit 1813 via the input / output interface 1810 by attaching the removable medium 1821 to the drive 1815. Further, the program can be received by the communication unit 1814 via a wired or wireless transmission medium and installed in the storage unit 1813. In addition, the program can be installed in the ROM 1802 or the storage unit 1813 in advance.

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。   The program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。   Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.

また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。   In this specification, the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .

また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。   In addition, in the above description, the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units). Conversely, the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit). Of course, a configuration other than that described above may be added to the configuration of each device (or each processing unit). Furthermore, if the configuration and operation of the entire system are substantially the same, a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。   The preferred embodiments of the present disclosure have been described in detail above with reference to the accompanying drawings, but the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that it belongs to the technical scope of the present disclosure.

例えば、本技術は、1つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。   For example, the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.

また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。   In addition, each step described in the above flowchart can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。   Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.

上述した実施形態に係る画像符号化装置及び画像復号装置は、衛星放送、ケーブルTVなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、4つの応用例について説明する。   An image encoding device and an image decoding device according to the above-described embodiments include a transmitter or a receiver in optical broadcasting, satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication, etc. The present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as a magnetic disk and a flash memory, or a playback device that reproduces an image from these storage media. Hereinafter, four application examples will be described.

<12.応用例>
<第1の応用例:テレビジョン受像機>
図120は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置1900は、アンテナ1901、チューナ1902、デマルチプレクサ1903、デコーダ1904、映像信号処理部1905、表示部1906、音声信号処理部1907、スピーカ1908、外部インタフェース1909、制御部1910、ユーザインタフェース1911、及びバス1912を備える。
<12. Application example>
<First Application Example: Television Receiver>
FIG. 120 illustrates an example of a schematic configuration of a television device to which the above-described embodiment is applied. The television apparatus 1900 includes an antenna 1901, a tuner 1902, a demultiplexer 1903, a decoder 1904, a video signal processing unit 1905, a display unit 1906, an audio signal processing unit 1907, a speaker 1908, an external interface 1909, a control unit 1910, a user interface 1911, And a bus 1912.

チューナ1902は、アンテナ1901を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ1902は、復調により得られた符号化ビットストリームをデマルチプレクサ1903へ出力する。即ち、チューナ1902は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置1900における伝送部としての役割を有する。   Tuner 1902 extracts a signal of a desired channel from a broadcast signal received via antenna 1901, and demodulates the extracted signal. Then, tuner 1902 outputs the encoded bit stream obtained by demodulation to demultiplexer 1903. That is, the tuner 1902 serves as a transmission unit in the television device 1900 that receives an encoded stream in which an image is encoded.

デマルチプレクサ1903は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ1904へ出力する。また、デマルチプレクサ1903は、符号化ビットストリームからEPG(Electronic Program Guide)などの補助的なデータを抽出し、抽出したデータを制御部1910に供給する。なお、デマルチプレクサ1903は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。   The demultiplexer 1903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs the separated streams to the decoder 1904. Further, the demultiplexer 1903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 1910. Note that the demultiplexer 1903 may perform descrambling when the encoded bit stream is scrambled.

デコーダ1904は、デマルチプレクサ1903から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ1904は、復号処理により生成される映像データを映像信号処理部1905へ出力する。また、デコーダ1904は、復号処理により生成される音声データを音声信号処理部1907へ出力する。   The decoder 1904 decodes the video stream and audio stream input from the demultiplexer 1903. Then, the decoder 1904 outputs the video data generated by the decoding process to the video signal processing unit 1905. In addition, the decoder 1904 outputs audio data generated by the decoding process to the audio signal processing unit 1907.

映像信号処理部1905は、デコーダ1904から入力される映像データを再生し、表示部1906に映像を表示させる。また、映像信号処理部1905は、ネットワークを介して供給されるアプリケーション画面を表示部1906に表示させてもよい。また、映像信号処理部1905は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部1905は、例えばメニュー、ボタン又はカーソルなどのGUI(Graphical User Interface)の画像を生成し、生成した画像を出力画像に重畳してもよい。   The video signal processing unit 1905 reproduces the video data input from the decoder 1904 and causes the display unit 1906 to display the video. Further, the video signal processing unit 1905 may display an application screen supplied via the network on the display unit 1906. Further, the video signal processing unit 1905 may perform additional processing such as noise removal on the video data according to the setting. Further, the video signal processing unit 1905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.

表示部1906は、映像信号処理部1905から供給される駆動信号により駆動され、表示デバイス(例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD(Organic ElectroLuminescence Display)(有機ELディスプレイ)など)の映像面上に映像又は画像を表示する。   The display unit 1906 is driven by a drive signal supplied from the video signal processing unit 1905, and displays video on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OELD (Organic ElectroLuminescence Display) (organic EL display)). Or an image is displayed.

音声信号処理部1907は、デコーダ1904から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ1908から音声を出力させる。また、音声信号処理部1907は、音声データについてノイズ除去などの追加的な処理を行ってもよい。   The audio signal processing unit 1907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 1904, and outputs audio from the speaker 1908. The audio signal processing unit 1907 may perform additional processing such as noise removal on the audio data.

外部インタフェース1909は、テレビジョン装置1900と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース1909を介して受信される映像ストリーム又は音声ストリームが、デコーダ1904により復号されてもよい。即ち、外部インタフェース1909もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置1900における伝送部としての役割を有する。   The external interface 1909 is an interface for connecting the television apparatus 1900 to an external device or a network. For example, a video stream or an audio stream received via the external interface 1909 may be decoded by the decoder 1904. That is, the external interface 1909 also has a role as a transmission unit in the television device 1900 that receives an encoded stream in which an image is encoded.

制御部1910は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置1900の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース1911から入力される操作信号に応じて、テレビジョン装置1900の動作を制御する。   The control unit 1910 includes a processor such as a CPU and memories such as a RAM and a ROM. The memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like. The program stored in the memory is read and executed by the CPU when the television apparatus 1900 is activated, for example. The CPU controls the operation of the television device 1900 by executing a program, for example, according to an operation signal input from the user interface 1911.

ユーザインタフェース1911は、制御部1910と接続される。ユーザインタフェース1911は、例えば、ユーザがテレビジョン装置1900を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース1911は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1910へ出力する。   The user interface 1911 is connected to the control unit 1910. The user interface 1911 includes, for example, buttons and switches for the user to operate the television device 1900, a remote control signal receiving unit, and the like. The user interface 1911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 1910.

バス1912は、チューナ1902、デマルチプレクサ1903、デコーダ1904、映像信号処理部1905、音声信号処理部1907、外部インタフェース1909及び制御部1910を相互に接続する。   A bus 1912 connects a tuner 1902, a demultiplexer 1903, a decoder 1904, a video signal processing unit 1905, an audio signal processing unit 1907, an external interface 1909, and a control unit 1910.

このように構成されたテレビジョン装置1900において、デコーダ1904は、上述した実施形態に係る画像復号装置の機能を有する。それにより、テレビジョン装置1900での画像の復号に際して、復号に必要な記憶容量の増大の抑制を実現することができる。   In the television apparatus 1900 configured as described above, the decoder 1904 has the function of the image decoding apparatus according to the above-described embodiment. Thus, when an image is decoded by the television device 1900, an increase in storage capacity necessary for decoding can be suppressed.

<第2の応用例:携帯電話機>
図121は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機1920は、アンテナ1921、通信部1922、音声コーデック1923、スピーカ1924、マイクロホン1925、カメラ部1926、画像処理部1927、多重分離部1928、記録再生部1929、表示部1930、制御部1931、操作部1932、及びバス1933を備える。
<Second application example: mobile phone>
FIG. 121 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied. A cellular phone 1920 includes an antenna 1921, a communication unit 1922, an audio codec 1923, a speaker 1924, a microphone 1925, a camera unit 1926, an image processing unit 1927, a demultiplexing unit 1928, a recording / reproducing unit 1929, a display unit 1930, a control unit 1931, an operation A portion 1932 and a bus 1933.

アンテナ1921は、通信部1922に接続される。スピーカ1924及びマイクロホン1925は、音声コーデック1923に接続される。操作部1932は、制御部1931に接続される。バス1933は、通信部1922、音声コーデック1923、カメラ部1926、画像処理部1927、多重分離部1928、記録再生部1929、表示部1930、及び制御部1931を相互に接続する。   The antenna 1921 is connected to the communication unit 1922. The speaker 1924 and the microphone 1925 are connected to the audio codec 1923. The operation unit 1932 is connected to the control unit 1931. The bus 1933 connects the communication unit 1922, the audio codec 1923, the camera unit 1926, the image processing unit 1927, the demultiplexing unit 1928, the recording / reproducing unit 1929, the display unit 1930, and the control unit 1931 to each other.

携帯電話機1920は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。   The mobile phone 1920 is used in various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode, such as voice signal transmission / reception, e-mail or image data transmission / reception, image capturing, and data recording. Perform the action.

音声通話モードにおいて、マイクロホン1925により生成されるアナログ音声信号は、音声コーデック1923に供給される。音声コーデック1923は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック1923は、圧縮後の音声データを通信部1922へ出力する。通信部1922は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部1922は、生成した送信信号を、アンテナ1921を介して基地局(図示せず)へ送信する。また、通信部1922は、アンテナ1921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部1922は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック1923へ出力する。音声コーデック1923は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック1923は、生成した音声信号をスピーカ1924に供給して音声を出力させる。   In the voice call mode, an analog voice signal generated by the microphone 1925 is supplied to the voice codec 1923. The audio codec 1923 converts an analog audio signal into audio data, A / D converts the compressed audio data, and compresses it. Then, the audio codec 1923 outputs the compressed audio data to the communication unit 1922. The communication unit 1922 encodes and modulates the audio data, and generates a transmission signal. Then, the communication unit 1922 transmits the generated transmission signal to a base station (not shown) via the antenna 1921. In addition, the communication unit 1922 amplifies a radio signal received via the antenna 1921 and performs frequency conversion to obtain a received signal. Then, the communication unit 1922 generates audio data by demodulating and decoding the received signal, and outputs the generated audio data to the audio codec 1923. The audio codec 1923 decompresses the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 1923 supplies the generated audio signal to the speaker 1924 to output audio.

また、データ通信モードにおいて、例えば、制御部1931は、操作部1932を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部1931は、文字を表示部1930に表示させる。また、制御部1931は、操作部1932を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部1922へ出力する。通信部1922は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部1922は、生成した送信信号を、アンテナ1921を介して基地局(図示せず)へ送信する。また、通信部1922は、アンテナ1921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部1922は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部1931へ出力する。制御部1931は、表示部1930に電子メールの内容を表示させると共に、電子メールデータを記録再生部1929の記憶媒体に記憶させる。   Further, in the data communication mode, for example, the control unit 1931 generates character data constituting an email in response to an operation by the user via the operation unit 1932. In addition, the control unit 1931 displays characters on the display unit 1930. In addition, the control unit 1931 generates e-mail data in response to a transmission instruction from the user via the operation unit 1932, and outputs the generated e-mail data to the communication unit 1922. The communication unit 1922 encodes and modulates the e-mail data, and generates a transmission signal. Then, the communication unit 1922 transmits the generated transmission signal to a base station (not shown) via the antenna 1921. In addition, the communication unit 1922 amplifies a radio signal received via the antenna 1921 and performs frequency conversion to obtain a received signal. Then, the communication unit 1922 demodulates and decodes the received signal to restore the email data, and outputs the restored email data to the control unit 1931. The control unit 1931 displays the contents of the e-mail on the display unit 1930 and stores e-mail data in the storage medium of the recording / reproducing unit 1929.

記録再生部1929は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB(Unallocated Space Bitmap)メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。   The recording / reproducing unit 1929 has an arbitrary readable / writable storage medium. For example, the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted type such as a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB (Unallocated Space Bitmap) memory, or a memory card. It may be a storage medium.

また、撮影モードにおいて、例えば、カメラ部1926は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部1927へ出力する。画像処理部1927は、カメラ部1926から入力される画像データを符号化し、符号化ストリームを記憶再生部1929の記憶媒体に記憶させる。   In the shooting mode, for example, the camera unit 1926 captures an image of a subject to generate image data, and outputs the generated image data to the image processing unit 1927. The image processing unit 1927 encodes the image data input from the camera unit 1926 and stores the encoded stream in the storage medium of the storage / playback unit 1929.

また、テレビ電話モードにおいて、例えば、多重分離部1928は、画像処理部1927により符号化された映像ストリームと、音声コーデック1923から入力される音声ストリームとを多重化し、多重化したストリームを通信部1922へ出力する。通信部1922は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部1922は、生成した送信信号を、アンテナ1921を介して基地局(図示せず)へ送信する。また、通信部1922は、アンテナ1921を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部1922は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部1928へ出力する。多重分離部1928は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部1927、音声ストリームを音声コーデック1923へ出力する。画像処理部1927は、映像ストリームを復号し、映像データを生成する。映像データは、表示部1930に供給され、表示部1930により一連の画像が表示される。音声コーデック1923は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック1923は、生成した音声信号をスピーカ1924に供給して音声を出力させる。   In the videophone mode, for example, the demultiplexing unit 1928 multiplexes the video stream encoded by the image processing unit 1927 and the audio stream input from the audio codec 1923, and the multiplexed stream is used as the communication unit 1922. Output to. The communication unit 1922 encodes and modulates the stream, and generates a transmission signal. Then, the communication unit 1922 transmits the generated transmission signal to a base station (not shown) via the antenna 1921. In addition, the communication unit 1922 amplifies a radio signal received via the antenna 1921 and performs frequency conversion to obtain a received signal. These transmission signal and reception signal may include an encoded bit stream. Then, the communication unit 1922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 1928. The demultiplexing unit 1928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 1927 and the audio stream to the audio codec 1923. The image processing unit 1927 decodes the video stream and generates video data. The video data is supplied to the display unit 1930, and a series of images is displayed on the display unit 1930. The audio codec 1923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 1923 supplies the generated audio signal to the speaker 1924 to output audio.

このように構成された携帯電話機1920において、画像処理部1927は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、携帯電話機1920での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。   In the mobile phone 1920 configured as described above, the image processing unit 1927 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. Accordingly, an increase in storage capacity required for encoding / decoding can be suppressed when encoding and decoding images with the mobile phone 1920.

<第3の応用例:記録再生装置>
図122は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置1940は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置1940は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置1940は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置1940は、音声データ及び映像データを復号する。
<Third application example: recording / reproducing apparatus>
FIG. 122 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied. For example, the recording / reproducing apparatus 1940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium. Moreover, the recording / reproducing apparatus 1940 may encode audio data and video data acquired from another apparatus and record them on a recording medium, for example. The recording / reproducing apparatus 1940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 1940 decodes the audio data and the video data.

記録再生装置1940は、チューナ1941、外部インタフェース1942、エンコーダ1943、HDD(Hard Disk Drive)1944、ディスクドライブ1945、セレクタ1946、デコーダ1947、OSD(On-Screen Display)1948、制御部1949、及びユーザインタフェース1950を備える。   The recording / reproducing apparatus 1940 includes a tuner 1941, an external interface 1942, an encoder 1943, an HDD (Hard Disk Drive) 1944, a disk drive 1945, a selector 1946, a decoder 1947, an OSD (On-Screen Display) 1948, a control unit 1949, and a user interface. 1950.

チューナ1941は、アンテナ(図示せず)を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ1941は、復調により得られた符号化ビットストリームをセレクタ1946へ出力する。即ち、チューナ1941は、記録再生装置1940における伝送部としての役割を有する。   The tuner 1941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, tuner 1941 outputs the encoded bit stream obtained by demodulation to selector 1946. That is, the tuner 1941 has a role as a transmission unit in the recording / reproducing apparatus 1940.

外部インタフェース1942は、記録再生装置1940と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース1942は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース1942を介して受信される映像データ及び音声データは、エンコーダ1943へ入力される。即ち、外部インタフェース1942は、記録再生装置1940における伝送部としての役割を有する。   The external interface 1942 is an interface for connecting the recording / reproducing apparatus 1940 to an external device or a network. The external interface 1942 may be, for example, an IEEE1394 interface, a network interface, a USB interface, or a flash memory interface. For example, video data and audio data received via the external interface 1942 are input to the encoder 1943. That is, the external interface 1942 has a role as a transmission unit in the recording / reproducing apparatus 1940.

エンコーダ1943は、外部インタフェース1942から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ1943は、符号化ビットストリームをセレクタ1946へ出力する。   The encoder 1943 encodes video data and audio data when the video data and audio data input from the external interface 1942 are not encoded. Then, the encoder 1943 outputs the encoded bit stream to the selector 1946.

HDD1944は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD1944は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。   The HDD 1944 records an encoded bit stream in which content data such as video and audio are compressed, various programs, and other data on an internal hard disk. Also, the HDD 1944 reads out these data from the hard disk when playing back video and audio.

ディスクドライブ1945は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ1945に装着される記録媒体は、例えばDVDディスク(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)又はBlu-ray(登録商標)ディスクなどであってよい。   The disk drive 1945 performs recording and reading of data to and from the mounted recording medium. The recording medium mounted on the disk drive 1945 is, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk. It may be.

セレクタ1946は、映像及び音声の記録時には、チューナ1941又はエンコーダ1943から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD1944又はディスクドライブ1945へ出力する。また、セレクタ1946は、映像及び音声の再生時には、HDD1944又はディスクドライブ1945から入力される符号化ビットストリームをデコーダ1947へ出力する。   The selector 1946 selects an encoded bit stream input from the tuner 1941 or the encoder 1943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 1944 or the disk drive 1945. Further, the selector 1946 outputs an encoded bit stream input from the HDD 1944 or the disk drive 1945 to the decoder 1947 during video and audio reproduction.

デコーダ1947は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ1947は、生成した映像データをOSD1948へ出力する。また、デコーダ1904は、生成した音声データを外部のスピーカへ出力する。   The decoder 1947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 1947 outputs the generated video data to the OSD 1948. The decoder 1904 outputs the generated audio data to an external speaker.

OSD1948は、デコーダ1947から入力される映像データを再生し、映像を表示する。また、OSD1948は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。   The OSD 1948 reproduces the video data input from the decoder 1947 and displays the video. In addition, the OSD 1948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.

制御部1949は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置1940の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース1950から入力される操作信号に応じて、記録再生装置1940の動作を制御する。   The control unit 1949 includes a processor such as a CPU and memories such as a RAM and a ROM. The memory stores a program executed by the CPU, program data, and the like. The program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 1940 is activated, for example. The CPU controls the operation of the recording / reproducing apparatus 1940 according to an operation signal input from the user interface 1950, for example, by executing the program.

ユーザインタフェース1950は、制御部1949と接続される。ユーザインタフェース1950は、例えば、ユーザが記録再生装置1940を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース1950は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1949へ出力する。   The user interface 1950 is connected to the control unit 1949. The user interface 1950 includes, for example, buttons and switches for a user to operate the recording / reproducing apparatus 1940, a remote control signal receiving unit, and the like. The user interface 1950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 1949.

このように構成された記録再生装置1940において、エンコーダ1943は、上述した実施形態に係る画像符号化装置の機能を有する。また、デコーダ1947は、上述した実施形態に係る画像復号装置の機能を有する。それにより、記録再生装置1940での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。   In the recording / reproducing apparatus 1940 configured as described above, the encoder 1943 has the function of the image encoding apparatus according to the above-described embodiment. The decoder 1947 has the function of the image decoding device according to the above-described embodiment. Thereby, an increase in storage capacity necessary for encoding / decoding can be suppressed when encoding and decoding images in the recording / reproducing apparatus 1940.

<第4の応用例:撮像装置>
図123は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置1960は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
<Fourth Application Example: Imaging Device>
FIG. 123 illustrates an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied. The imaging device 1960 captures a subject to generate an image, encodes the image data, and records the image data on a recording medium.

撮像装置1960は、光学ブロック1961、撮像部1962、信号処理部1963、画像処理部1964、表示部1965、外部インタフェース1966、メモリ1967、メディアドライブ1968、OSD1969、制御部1970、ユーザインタフェース1971、及びバス1972を備える。   The imaging device 1960 includes an optical block 1961, an imaging unit 1962, a signal processing unit 1963, an image processing unit 1964, a display unit 1965, an external interface 1966, a memory 1967, a media drive 1968, an OSD 1969, a control unit 1970, a user interface 1971, and a bus. 1972.

光学ブロック1961は、撮像部1962に接続される。撮像部1962は、信号処理部1963に接続される。表示部1965は、画像処理部1964に接続される。ユーザインタフェース1971は、制御部1970に接続される。バス1972は、画像処理部1964、外部インタフェース1966、メモリ1967、メディアドライブ1968、OSD1969、及び制御部1970を相互に接続する。   The optical block 1961 is connected to the imaging unit 1962. The imaging unit 1962 is connected to the signal processing unit 1963. The display unit 1965 is connected to the image processing unit 1964. The user interface 1971 is connected to the control unit 1970. The bus 1972 connects the image processing unit 1964, the external interface 1966, the memory 1967, the media drive 1968, the OSD 1969, and the control unit 1970.

光学ブロック1961は、フォーカスレンズ及び絞り機構などを有する。光学ブロック1961は、被写体の光学像を撮像部1962の撮像面に結像させる。撮像部1962は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部1962は、画像信号を信号処理部1963へ出力する。   The optical block 1961 includes a focus lens and a diaphragm mechanism. The optical block 1961 forms an optical image of the subject on the imaging surface of the imaging unit 1962. The imaging unit 1962 includes an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 1962 outputs the image signal to the signal processing unit 1963.

信号処理部1963は、撮像部1962から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部1963は、カメラ信号処理後の画像データを画像処理部1964へ出力する。   The signal processing unit 1963 performs various camera signal processes such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 1962. The signal processing unit 1963 outputs the image data after the camera signal processing to the image processing unit 1964.

画像処理部1964は、信号処理部1963から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部1964は、生成した符号化データを外部インタフェース1966又はメディアドライブ1968へ出力する。また、画像処理部1964は、外部インタフェース1966又はメディアドライブ1968から入力される符号化データを復号し、画像データを生成する。そして、画像処理部1964は、生成した画像データを表示部1965へ出力する。また、画像処理部1964は、信号処理部1963から入力される画像データを表示部1965へ出力して画像を表示させてもよい。また、画像処理部1964は、OSD1969から取得される表示用データを、表示部1965へ出力する画像に重畳してもよい。   The image processing unit 1964 encodes the image data input from the signal processing unit 1963, and generates encoded data. Then, the image processing unit 1964 outputs the generated encoded data to the external interface 1966 or the media drive 1968. The image processing unit 1964 decodes encoded data input from the external interface 1966 or the media drive 1968, and generates image data. Then, the image processing unit 1964 outputs the generated image data to the display unit 1965. Further, the image processing unit 1964 may display the image by outputting the image data input from the signal processing unit 1963 to the display unit 1965. In addition, the image processing unit 1964 may superimpose display data acquired from the OSD 1969 on an image output to the display unit 1965.

OSD1969は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部1964へ出力する。   The OSD 1969 generates a GUI image such as a menu, a button, or a cursor, and outputs the generated image to the image processing unit 1964.

外部インタフェース1966は、例えばUSB入出力端子として構成される。外部インタフェース1966は、例えば、画像の印刷時に、撮像装置1960とプリンタとを接続する。また、外部インタフェース1966には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置1960にインストールされ得る。さらに、外部インタフェース1966は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース1966は、撮像装置1960における伝送部としての役割を有する。   The external interface 1966 is configured as a USB input / output terminal, for example. The external interface 1966 connects the imaging device 1960 and a printer, for example, when printing an image. A drive is connected to the external interface 1966 as necessary. For example, a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging apparatus 1960. Furthermore, the external interface 1966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 1966 has a role as a transmission unit in the imaging device 1960.

メディアドライブ1968に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ1968に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD(Solid State Drive)のような非可搬性の記憶部が構成されてもよい。   The recording medium attached to the media drive 1968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Further, a recording medium may be fixedly mounted on the media drive 1968, and a non-portable storage unit such as a built-in hard disk drive or an SSD (Solid State Drive) may be configured.

制御部1970は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置1960の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース1971から入力される操作信号に応じて、撮像装置1960の動作を制御する。   The control unit 1970 includes a processor such as a CPU and memories such as a RAM and a ROM. The memory stores a program executed by the CPU, program data, and the like. The program stored in the memory is read and executed by the CPU when the imaging device 1960 is activated, for example. The CPU controls the operation of the imaging apparatus 1960 by executing a program, for example, according to an operation signal input from the user interface 1971.

ユーザインタフェース1971は、制御部1970と接続される。ユーザインタフェース1971は、例えば、ユーザが撮像装置1960を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース1971は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部1970へ出力する。   The user interface 1971 is connected to the control unit 1970. The user interface 1971 includes, for example, buttons and switches for the user to operate the imaging device 1960. The user interface 1971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 1970.

このように構成された撮像装置1960において、画像処理部1964は、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有する。それにより、撮像装置1960での画像の符号化及び復号に際して、符号化・復号に必要な記憶容量の増大を抑制することができる。   In the imaging device 1960 configured as described above, the image processing unit 1964 has the functions of the image encoding device and the image decoding device according to the above-described embodiment. Accordingly, an increase in storage capacity necessary for encoding / decoding can be suppressed when encoding and decoding images with the imaging device 1960.

<13.スケーラブル符号化の応用例>
<第1のシステム>
次に、スケーラブル符号化(階層符号化)されたスケーラブル符号化データの具体的な利用例について説明する。スケーラブル符号化は、例えば、図124に示される例のように、伝送するデータの選択のために利用される。
<13. Application example of scalable coding>
<First system>
Next, a specific usage example of scalable encoded data that has been subjected to scalable encoding (hierarchical encoding) will be described. Scalable coding is used for selection of data to be transmitted, for example, as in the example shown in FIG.

図124に示されるデータ伝送システム2000において、配信サーバ2002は、スケーラブル符号化データ記憶部2001に記憶されているスケーラブル符号化データを読み出し、ネットワーク2003を介して、パーソナルコンピュータ2004、AV機器2005、タブレットデバイス2006、および携帯電話機2007等の端末装置に配信する。   In the data transmission system 2000 shown in FIG. 124, the distribution server 2002 reads the scalable encoded data stored in the scalable encoded data storage unit 2001, and via the network 2003, the personal computer 2004, the AV device 2005, and the tablet. Distribution to terminal devices such as the device 2006 and the mobile phone 2007.

その際、配信サーバ2002は、端末装置の能力や通信環境等に応じて、適切な品質の符号化データを選択して伝送する。配信サーバ2002が不要に高品質なデータを伝送しても、端末装置において高画質な画像を得られるとは限らず、遅延やオーバフローの発生要因となる恐れがある。また、不要に通信帯域を占有したり、端末装置の負荷を不要に増大させたりしてしまう恐れもある。逆に、配信サーバ2002が不要に低品質なデータを伝送しても、端末装置において十分な画質の画像を得ることができない恐れがある。そのため、配信サーバ2002は、スケーラブル符号化データ記憶部2001に記憶されているスケーラブル符号化データを、適宜、端末装置の能力や通信環境等に対して適切な品質の符号化データとして読み出し、伝送する。   At that time, the distribution server 2002 selects and transmits encoded data of appropriate quality according to the capability of the terminal device, the communication environment, and the like. Even if the distribution server 2002 transmits unnecessarily high-quality data, the terminal device does not always obtain a high-quality image, and may cause a delay or overflow. Moreover, there is a possibility that the communication band is unnecessarily occupied or the load on the terminal device is unnecessarily increased. On the other hand, even if the distribution server 2002 unnecessarily transmits low-quality data, there is a possibility that an image with sufficient image quality cannot be obtained in the terminal device. Therefore, the distribution server 2002 appropriately reads the scalable encoded data stored in the scalable encoded data storage unit 2001 as encoded data having a quality appropriate for the capability of the terminal device, the communication environment, and the like, and transmits the encoded data. .

例えば、スケーラブル符号化データ記憶部2001は、スケーラブルに符号化されたスケーラブル符号化データ(BL+EL)2011を記憶するとする。このスケーラブル符号化データ(BL+EL)2011は、ベースレイヤとエンハンスメントレイヤの両方を含む符号化データであり、復号することにより、ベースレイヤの画像およびエンハンスメントレイヤの画像の両方を得ることができるデータである。   For example, it is assumed that the scalable encoded data storage unit 2001 stores scalable encoded data (BL + EL) 2011 that is encoded in a scalable manner. The scalable encoded data (BL + EL) 2011 is encoded data including both a base layer and an enhancement layer, and is a data that can be decoded to obtain both a base layer image and an enhancement layer image. It is.

配信サーバ2002は、データを伝送する端末装置の能力や通信環境等に応じて、適切なレイヤを選択し、そのレイヤのデータを読み出す。例えば、配信サーバ2002は、処理能力の高いパーソナルコンピュータ2004やタブレットデバイス2006に対しては、高品質なスケーラブル符号化データ(BL+EL)2011をスケーラブル符号化データ記憶部2001から読み出し、そのまま伝送する。これに対して、例えば、配信サーバ2002は、処理能力の低いAV機器2005や携帯電話機2007に対しては、スケーラブル符号化データ(BL+EL)2011からベースレイヤのデータを抽出し、スケーラブル符号化データ(BL+EL)2011と同じコンテンツのデータであるが、スケーラブル符号化データ(BL+EL)2011よりも低品質なスケーラブル符号化データ(BL)2012として伝送する。   The distribution server 2002 selects an appropriate layer according to the capability of the terminal device that transmits data, the communication environment, and the like, and reads the data of that layer. For example, the distribution server 2002 reads high-quality scalable encoded data (BL + EL) 2011 from the scalable encoded data storage unit 2001 and transmits it to the personal computer 2004 or tablet device 2006 with high processing capability. . On the other hand, for example, the distribution server 2002 extracts base layer data from the scalable encoded data (BL + EL) 2011 for the AV device 2005 or the cellular phone 2007 having a low processing capability, and performs scalable encoding. Although it is data of the same content as the data (BL + EL) 2011, it is transmitted as scalable encoded data (BL) 2012 having lower quality than the scalable encoded data (BL + EL) 2011.

このようにスケーラブル符号化データを用いることにより、データ量を容易に調整することができるので、遅延やオーバフローの発生を抑制したり、端末装置や通信媒体の負荷の不要な増大を抑制したりすることができる。また、スケーラブル符号化データ(BL+EL)2011は、レイヤ間の冗長性が低減されているので、各レイヤの符号化データを個別のデータとする場合よりもそのデータ量を低減させることができる。したがって、スケーラブル符号化データ記憶部2001の記憶領域をより効率よく使用することができる。   By using scalable encoded data in this way, the amount of data can be easily adjusted, so that the occurrence of delays and overflows can be suppressed, and unnecessary increases in the load on terminal devices and communication media can be suppressed. be able to. Moreover, since the redundancy between layers of the scalable encoded data (BL + EL) 2011 is reduced, the data amount can be reduced as compared with the case where the encoded data of each layer is individual data. . Therefore, the storage area of the scalable encoded data storage unit 2001 can be used more efficiently.

なお、パーソナルコンピュータ2004乃至携帯電話機2007のように、端末装置には様々な装置を適用することができるので、端末装置のハードウエアの性能は、装置によって異なる。また、端末装置が実行するアプリケーションも様々であるので、そのソフトウエアの能力も様々である。さらに、通信媒体となるネットワーク2003も、例えばインターネットやLAN(Local Area Network)等、有線若しくは無線、またはその両方を含むあらゆる通信回線網を適用することができ、そのデータ伝送能力は様々である。さらに、他の通信等によっても変化する恐れがある。   Note that since various devices can be applied to the terminal device, such as the personal computer 2004 to the cellular phone 2007, the hardware performance of the terminal device varies depending on the device. Moreover, since the application which a terminal device performs is also various, the capability of the software is also various. Furthermore, the network 2003 serving as a communication medium can be applied to any communication network including wired or wireless, or both, such as the Internet and a LAN (Local Area Network), and has various data transmission capabilities. Furthermore, there is a risk of change due to other communications.

そこで、配信サーバ2002は、データ伝送を開始する前に、データの伝送先となる端末装置と通信を行い、端末装置のハードウエア性能や、端末装置が実行するアプリケーション(ソフトウエア)の性能等といった端末装置の能力に関する情報、並びに、ネットワーク2003の利用可能帯域幅等の通信環境に関する情報を得るようにしてもよい。そして、配信サーバ2002が、ここで得た情報を基に、適切なレイヤを選択するようにしてもよい。   Therefore, the distribution server 2002 communicates with the terminal device that is the data transmission destination before starting the data transmission, and the hardware performance of the terminal device, the performance of the application (software) executed by the terminal device, etc. You may make it obtain the information regarding communication environments, such as the information regarding the capability of a terminal device, and the network 2003 usable bandwidth. The distribution server 2002 may select an appropriate layer based on the information obtained here.

なお、レイヤの抽出は、端末装置において行うようにしてもよい。例えば、パーソナルコンピュータ2004が、伝送されたスケーラブル符号化データ(BL+EL)2011を復号し、ベースレイヤの画像を表示しても良いし、エンハンスメントレイヤの画像を表示しても良い。また、例えば、パーソナルコンピュータ2004が、伝送されたスケーラブル符号化データ(BL+EL)2011から、ベースレイヤのスケーラブル符号化データ(BL)2012を抽出し、記憶したり、他の装置に転送したり、復号してベースレイヤの画像を表示したりするようにしてもよい。   Note that the layer extraction may be performed by the terminal device. For example, the personal computer 2004 may decode the transmitted scalable encoded data (BL + EL) 2011 and display a base layer image or an enhancement layer image. Further, for example, the personal computer 2004 extracts the base layer scalable encoded data (BL) 2012 from the transmitted scalable encoded data (BL + EL) 2011, stores it, and transfers it to another device. The base layer image may be displayed after decoding.

もちろん、スケーラブル符号化データ記憶部2001、配信サーバ2002、ネットワーク2003、および端末装置の数はいずれも任意である。また、以上においては、配信サーバ2002がデータを端末装置に伝送する例について説明したが、利用例はこれに限定されない。データ伝送システム2000は、スケーラブル符号化された符号化データを端末装置に伝送する際、端末装置の能力や通信環境等に応じて、適切なレイヤを選択して伝送するシステムであれば、任意のシステムに適用することができる。   Of course, the numbers of the scalable encoded data storage unit 2001, the distribution server 2002, the network 2003, and the terminal devices are arbitrary. In the above, the example in which the distribution server 2002 transmits data to the terminal device has been described, but the usage example is not limited to this. The data transmission system 2000 may be any system as long as it transmits a scalable encoded data to a terminal device by selecting an appropriate layer according to the capability of the terminal device or a communication environment. Can be applied to the system.

そして、以上のようなデータ伝送システム2000においても、第4の実施の形態乃至第8の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第4の実施の形態乃至第8の実施の形態において上述した効果と同様の効果を得ることができる。   In the data transmission system 2000 as described above, the present technology is applied in the same manner as the application to the hierarchical encoding / decoding described above in the fourth to eighth embodiments. Effects similar to those described above in the fourth to eighth embodiments can be obtained.

<第2のシステム>
また、スケーラブル符号化は、例えば、図125に示される例のように、複数の通信媒体を介する伝送のために利用される。
<Second system>
In addition, scalable coding is used for transmission via a plurality of communication media, for example, as shown in FIG. 125.

図125に示されるデータ伝送システム2100において、放送局2101は、地上波放送2111により、ベースレイヤのスケーラブル符号化データ(BL)2121を伝送する。また、放送局2101は、有線若しくは無線またはその両方の通信網よりなる任意のネットワーク2112を介して、エンハンスメントレイヤのスケーラブル符号化データ(EL)2122を伝送する(例えばパケット化して伝送する)。   In the data transmission system 2100 shown in FIG. 125, a broadcast station 2101 transmits base layer scalable encoded data (BL) 2121 by terrestrial broadcasting 2111. Also, the broadcast station 2101 transmits (for example, packetizes and transmits) enhancement layer scalable encoded data (EL) 2122 via an arbitrary network 2112 composed of wired or wireless communication networks or both.

端末装置2102は、放送局2101が放送する地上波放送2111の受信機能を有し、この地上波放送2111を介して伝送されるベースレイヤのスケーラブル符号化データ(BL)2121を受け取る。また、端末装置2102は、ネットワーク2112を介した通信を行う通信機能をさらに有し、このネットワーク2112を介して伝送されるエンハンスメントレイヤのスケーラブル符号化データ(EL)2122を受け取る。   The terminal device 2102 has a reception function of the terrestrial broadcast 2111 broadcasted by the broadcast station 2101, and receives base layer scalable encoded data (BL) 2121 transmitted via the terrestrial broadcast 2111. In addition, the terminal apparatus 2102 further has a communication function for performing communication via the network 2112, and receives enhancement layer scalable encoded data (EL) 2122 transmitted via the network 2112.

端末装置2102は、例えばユーザ指示等に応じて、地上波放送2111を介して取得したベースレイヤのスケーラブル符号化データ(BL)2121を、復号してベースレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。   The terminal device 2102 decodes the base layer scalable encoded data (BL) 2121 acquired via the terrestrial broadcast 2111 according to, for example, a user instruction, and obtains or stores a base layer image. Or transmit to other devices.

また、端末装置2102は、例えばユーザ指示等に応じて、地上波放送2111を介して取得したベースレイヤのスケーラブル符号化データ(BL)2121と、ネットワーク2112を介して取得したエンハンスメントレイヤのスケーラブル符号化データ(EL)2122とを合成して、スケーラブル符号化データ(BL+EL)を得たり、それを復号してエンハンスメントレイヤの画像を得たり、記憶したり、他の装置に伝送したりする。   Also, the terminal device 2102, for example, in response to a user instruction, the base layer scalable encoded data (BL) 2121 acquired via the terrestrial broadcast 2111 and the enhancement layer scalable encoded acquired via the network 2112. The data (EL) 2122 is combined to obtain scalable encoded data (BL + EL), or decoded to obtain an enhancement layer image, stored, or transmitted to another device.

以上のように、スケーラブル符号化データは、例えばレイヤ毎に異なる通信媒体を介して伝送させることができる。したがって、負荷を分散させることができ、遅延やオーバフローの発生を抑制することができる。   As described above, scalable encoded data can be transmitted via a different communication medium for each layer, for example. Therefore, the load can be distributed, and the occurrence of delay and overflow can be suppressed.

また、状況に応じて、伝送に使用する通信媒体を、レイヤ毎に選択することができるようにしてもよい。例えば、データ量が比較的多いベースレイヤのスケーラブル符号化データ(BL)2121を帯域幅の広い通信媒体を介して伝送させ、データ量が比較的少ないエンハンスメントレイヤのスケーラブル符号化データ(EL)2122を帯域幅の狭い通信媒体を介して伝送させるようにしてもよい。また、例えば、エンハンスメントレイヤのスケーラブル符号化データ(EL)2122を伝送する通信媒体を、ネットワーク2112とするか、地上波放送2111とするかを、ネットワーク2112の利用可能帯域幅に応じて切り替えるようにしてもよい。もちろん、任意のレイヤのデータについて同様である。   Moreover, you may enable it to select the communication medium used for transmission for every layer according to a condition. For example, scalable encoded data (BL) 2121 of a base layer having a relatively large amount of data is transmitted via a communication medium having a wide bandwidth, and scalable encoded data (EL) 2122 having a relatively small amount of data is transmitted. You may make it transmit via a communication medium with a narrow bandwidth. Also, for example, the communication medium for transmitting the enhancement layer scalable encoded data (EL) 2122 is switched between the network 2112 and the terrestrial broadcast 2111 according to the available bandwidth of the network 2112. May be. Of course, the same applies to data of an arbitrary layer.

このように制御することにより、データ伝送における負荷の増大を、より抑制することができる。   By controlling in this way, an increase in load in data transmission can be further suppressed.

もちろん、レイヤ数は任意であり、伝送に利用する通信媒体の数も任意である。また、データ配信先となる端末装置2102の数も任意である。さらに、以上においては、放送局2101からの放送を例に説明したが、利用例はこれに限定されない。データ伝送システム2100は、スケーラブル符号化された符号化データを、レイヤを単位として複数に分割し、複数の回線を介して伝送するシステムであれば、任意のシステムに適用することができる。   Of course, the number of layers is arbitrary, and the number of communication media used for transmission is also arbitrary. In addition, the number of terminal devices 2102 serving as data distribution destinations is also arbitrary. Furthermore, in the above description, broadcasting from the broadcasting station 2101 has been described as an example, but the usage example is not limited to this. The data transmission system 2100 can be applied to any system as long as it is a system that divides scalable encoded data into a plurality of layers and transmits them through a plurality of lines.

そして、以上のようなデータ伝送システム2100においても、第4の実施の形態乃至第8の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第4の実施の形態乃至第8の実施の形態において上述した効果と同様の効果を得ることができる。   Also in the data transmission system 2100 as described above, by applying the present technology in the same manner as the application to the hierarchical encoding / decoding described above in the fourth to eighth embodiments, Effects similar to those described above in the fourth to eighth embodiments can be obtained.

<第3のシステム>
また、スケーラブル符号化は、例えば、図126に示される例のように、符号化データの記憶に利用される。
<Third system>
Further, scalable encoding is used for storing encoded data as in the example shown in FIG. 126, for example.

図126に示される撮像システム2200において、撮像装置2201は、被写体2211を撮像して得られた画像データをスケーラブル符号化し、スケーラブル符号化データ(BL+EL)2221として、スケーラブル符号化データ記憶装置2202に供給する。   In the imaging system 2200 illustrated in FIG. 126, the imaging device 2201 performs scalable coding on image data obtained by imaging the subject 2211, and as scalable coded data (BL + EL) 2221, a scalable coded data storage device 2202. To supply.

スケーラブル符号化データ記憶装置2202は、撮像装置2201から供給されるスケーラブル符号化データ(BL+EL)2221を、状況に応じた品質で記憶する。例えば、通常時の場合、スケーラブル符号化データ記憶装置2202は、スケーラブル符号化データ(BL+EL)2221からベースレイヤのデータを抽出し、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)2222として記憶する。これに対して、例えば、注目時の場合、スケーラブル符号化データ記憶装置2202は、高品質でデータ量の多いスケーラブル符号化データ(BL+EL)2221のまま記憶する。   The scalable encoded data storage device 2202 stores the scalable encoded data (BL + EL) 2221 supplied from the imaging device 2201 with a quality according to the situation. For example, in the normal case, the scalable encoded data storage device 2202 extracts base layer data from the scalable encoded data (BL + EL) 2221, and the base layer scalable encoded data (low quality and low data amount) ( BL) 2222. On the other hand, for example, in the case of attention, the scalable encoded data storage device 2202 stores the scalable encoded data (BL + EL) 2221 with high quality and a large amount of data.

このようにすることにより、スケーラブル符号化データ記憶装置2202は、必要な場合のみ、画像を高画質に保存することができるので、画質劣化による画像の価値の低減を抑制しながら、データ量の増大を抑制することができ、記憶領域の利用効率を向上させることができる。   By doing so, the scalable encoded data storage device 2202 can store an image with high image quality only when necessary, and thus an increase in the amount of data while suppressing a reduction in the value of the image due to image quality degradation. And the use efficiency of the storage area can be improved.

例えば、撮像装置2201が監視カメラであるとする。撮像画像に監視対象(例えば侵入者)が写っていない場合(通常時の場合)、撮像画像の内容は重要でない可能性が高いので、データ量の低減が優先され、その画像データ(スケーラブル符号化データ)は、低品質に記憶される。これに対して、撮像画像に監視対象が被写体2211として写っている場合(注目時の場合)、その撮像画像の内容は重要である可能性が高いので、画質が優先され、その画像データ(スケーラブル符号化データ)は、高品質に記憶される。   For example, it is assumed that the imaging device 2201 is a surveillance camera. When the monitoring target (for example, an intruder) is not shown in the captured image (in the normal case), the content of the captured image is likely to be unimportant, so reduction of the data amount is given priority, and the image data (scalable coding Data) is stored in low quality. On the other hand, when the monitoring target is shown as the subject 2211 in the captured image (when attention is paid), the content of the captured image is likely to be important, so the image quality is given priority and the image data (scalable) (Encoded data) is stored with high quality.

なお、通常時であるか注目時であるかは、例えば、スケーラブル符号化データ記憶装置2202が、画像を解析することにより判定しても良い。また、撮像装置2201が判定し、その判定結果をスケーラブル符号化データ記憶装置2202に伝送するようにしてもよい。   Whether it is normal time or attention time may be determined by the scalable encoded data storage device 2202 analyzing an image, for example. Alternatively, the imaging apparatus 2201 may make a determination, and the determination result may be transmitted to the scalable encoded data storage device 2202.

なお、通常時であるか注目時であるかの判定基準は任意であり、判定基準とする画像の内容は任意である。もちろん、画像の内容以外の条件を判定基準とすることもできる。例えば、収録した音声の大きさや波形等に応じて切り替えるようにしてもよいし、所定の時間毎に切り替えるようにしてもよいし、ユーザ指示等の外部からの指示によって切り替えるようにしてもよい。   Note that the criterion for determining whether the time is normal or the time of attention is arbitrary, and the content of the image as the criterion is arbitrary. Of course, conditions other than the contents of the image can also be used as the criterion. For example, it may be switched according to the volume or waveform of the recorded sound, may be switched at every predetermined time, or may be switched by an external instruction such as a user instruction.

また、以上においては、通常時と注目時の2つの状態を切り替える例を説明したが、状態の数は任意であり、例えば、通常時、やや注目時、注目時、非常に注目時等のように、3つ以上の状態を切り替えるようにしてもよい。ただし、この切り替える状態の上限数は、スケーラブル符号化データのレイヤ数に依存する。   In the above, an example of switching between the normal state and the attention state has been described. However, the number of states is arbitrary, for example, normal, slightly attention, attention, very attention, etc. Alternatively, three or more states may be switched. However, the upper limit number of states to be switched depends on the number of layers of scalable encoded data.

また、撮像装置2201が、スケーラブル符号化のレイヤ数を、状態に応じて決定するようにしてもよい。例えば、通常時の場合、撮像装置2201が、低品質でデータ量の少ないベースレイヤのスケーラブル符号化データ(BL)2222を生成し、スケーラブル符号化データ記憶装置2202に供給するようにしてもよい。また、例えば、注目時の場合、撮像装置2201が、高品質でデータ量の多いベースレイヤのスケーラブル符号化データ(BL+EL)2221を生成し、スケーラブル符号化データ記憶装置2202に供給するようにしてもよい。   Further, the imaging apparatus 2201 may determine the number of scalable coding layers according to the state. For example, in the normal case, the imaging device 2201 may generate base layer scalable encoded data (BL) 2222 with a low quality and a small amount of data, and supply the scalable encoded data storage device 2202 to the scalable encoded data storage device 2202. For example, when attention is paid, the imaging device 2201 generates base layer scalable encoded data (BL + EL) 2221 having a high quality and a large amount of data, and supplies the generated scalable encoded data to the scalable encoded data storage device 2202. May be.

以上においては、監視カメラを例に説明したが、この撮像システム2200の用途は任意であり、監視カメラに限定されない。   In the above, the monitoring camera has been described as an example, but the use of the imaging system 2200 is arbitrary and is not limited to the monitoring camera.

そして、以上のような撮像システム2200においても、第4の実施の形態乃至第8の実施の形態において上述した階層符号化・階層復号への適用と同様に本技術を適用することにより、第4の実施の形態乃至第8の実施の形態において上述した効果と同様の効果を得ることができる。   In the imaging system 2200 as described above, the present technology is applied in the same manner as the application to the hierarchical encoding / decoding described above in the fourth to eighth embodiments. Effects similar to those described above in the eighth to eighth embodiments can be obtained.

<14.セット・ユニット・モジュール・プロセッサ>
<実施のその他の例>
以上において本技術を適用する装置やシステム等の例を説明したが、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等(すなわち、装置の一部の構成)として実施することもできる。
<14. Set Unit Module Processor>
<Other examples of implementation>
In the above, examples of devices and systems to which the present technology is applied have been described. However, the present technology is not limited thereto, and any configuration mounted on such devices or devices constituting the system, for example, a system LSI (Large Scale) Integration) etc., a module using a plurality of processors, etc., a unit using a plurality of modules, etc., a set in which other functions are added to the unit, etc. (that is, a partial configuration of the apparatus) .

<ビデオセット>
本技術をセットとして実施する場合の例について、図127を参照して説明する。図127は、本技術を適用したビデオセットの概略的な構成の一例を示している。
<Video set>
An example in which the present technology is implemented as a set will be described with reference to FIG. FIG. 127 illustrates an example of a schematic configuration of a video set to which the present technology is applied.

近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、1機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する1セットとして実施を行う場合も多く見られるようになってきた。   In recent years, multi-functionalization of electronic devices has progressed, and in the development and manufacture, when implementing a part of the configuration as sales or provision, etc., not only when implementing as a configuration having one function, but also related In many cases, a plurality of configurations having functions are combined and implemented as a set having a plurality of functions.

図127に示されるビデオセット2300は、このような多機能化された構成であり、画像の符号化や復号(いずれか一方でもよいし、両方でも良い)に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。   The video set 2300 shown in FIG. 127 has such a multi-functional configuration, and a device having a function relating to image encoding and decoding (either or both of them) can be used for the function. It is a combination of devices having other related functions.

図127に示されるように、ビデオセット2300は、ビデオモジュール2311、外部メモリ2312、パワーマネージメントモジュール2313、およびフロントエンドモジュール2314等のモジュール群と、コネクティビティ2321、カメラ2322、およびセンサ2323等の関連する機能を有するデバイスとを有する。   As shown in FIG. 127, the video set 2300 includes a module group such as a video module 2311, an external memory 2312, a power management module 2313, and a front-end module 2314, a connectivity 2321, a camera 2322, a sensor 2323, and the like. And a device having a function.

モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。   A module is a component having a coherent function by combining several component functions related to each other. The specific physical configuration is arbitrary. For example, a plurality of processors each having a function, electronic circuit elements such as resistors and capacitors, and other devices arranged on a wiring board or the like can be considered. . It is also possible to combine the module with another module, a processor, or the like to form a new module.

図127の例の場合、ビデオモジュール2311は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム2333、およびRFモジュール2334を有する。   In the case of the example in FIG. 127, the video module 2311 is a combination of components having functions related to image processing, and includes an application processor, a video processor, a broadband modem 2333, and an RF module 2334.

プロセッサは、所定の機能を有する構成をSoC(System On a Chip)により半導体チップに集積したものであり、例えばシステムLSI(Large Scale Integration)等と称されるものもある。この所定の機能を有する構成は、論理回路(ハードウエア構成)であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム(ソフトウエア構成)であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路(ハードウエア構成)により実現し、その他の機能をCPUにおいて実行されるプログラム(ソフトウエア構成)により実現するようにしてもよい。   The processor is a configuration in which a configuration having a predetermined function is integrated on a semiconductor chip by an SoC (System On a Chip). For example, there is a processor called a system LSI (Large Scale Integration). The configuration having the predetermined function may be a logic circuit (hardware configuration), a CPU, a ROM, a RAM, and the like, and a program (software configuration) executed using them. , Or a combination of both. For example, a processor has a logic circuit and a CPU, ROM, RAM, etc., a part of the function is realized by a logic circuit (hardware configuration), and other functions are executed by the CPU (software configuration) It may be realized by.

図127のアプリケーションプロセッサ2331は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ2331において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ2332等、ビデオモジュール2311内外の構成を必要に応じて制御することもできる。   An application processor 2331 in FIG. 127 is a processor that executes an application related to image processing. The application executed in the application processor 2331 not only performs arithmetic processing to realize a predetermined function, but also can control the internal and external configurations of the video module 2311 such as the video processor 2332 as necessary. .

ビデオプロセッサ2332は、画像の符号化・復号(その一方若しくは両方)に関する機能を有するプロセッサである。   The video processor 2332 is a processor having a function related to image encoding / decoding (one or both of them).

ブロードバンドモデム2333は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線(またはその両方)の広帯域通信により送信するデータ(デジタル信号)をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ(デジタル信号)に変換したりする。ブロードバンドモデム2333は、例えば、ビデオプロセッサ2332が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。   The broadband modem 2333 converts the data (digital signal) transmitted by wired or wireless (or both) broadband communication via a broadband line such as the Internet or a public telephone line network into an analog signal by digitally modulating the data. The analog signal received by the broadband communication is demodulated and converted into data (digital signal). The broadband modem 2333 processes arbitrary information such as image data processed by the video processor 2332, a stream obtained by encoding the image data, an application program, setting data, and the like.

RFモジュール2334は、アンテナを介して送受信されるRF(Radio Frequency)信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール2334は、ブロードバンドモデム2333により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール2334は、フロントエンドモジュール2314を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。   The RF module 2334 is a module that performs frequency conversion, modulation / demodulation, amplification, filter processing, and the like on an RF (Radio Frequency) signal transmitted and received via an antenna. For example, the RF module 2334 performs frequency conversion or the like on the baseband signal generated by the broadband modem 2333 to generate an RF signal. For example, the RF module 2334 performs frequency conversion or the like on the RF signal received via the front end module 2314 to generate a baseband signal.

なお、図127において点線2341に示されるように、アプリケーションプロセッサ2331とビデオプロセッサ2332を、一体化し、1つのプロセッサとして構成されるようにしてもよい。   Note that, as indicated by a dotted line 2341 in FIG. 127, the application processor 2331 and the video processor 2332 may be integrated and configured as one processor.

外部メモリ2312は、ビデオモジュール2311の外部に設けられた、ビデオモジュール2311により利用される記憶デバイスを有するモジュールである。この外部メモリ2312の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM(Dynamic Random Access Memory)のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。   The external memory 2312 is a module having a storage device that is provided outside the video module 2311 and is used by the video module 2311. The storage device of the external memory 2312 may be realized by any physical configuration, but is generally used for storing a large amount of data such as image data in units of frames. For example, it is desirable to realize it by a relatively inexpensive and large-capacity semiconductor memory such as a DRAM (Dynamic Random Access Memory).

パワーマネージメントモジュール2313は、ビデオモジュール2311(ビデオモジュール2311内の各構成)への電力供給を管理し、制御する。   The power management module 2313 manages and controls power supply to the video module 2311 (each component in the video module 2311).

フロントエンドモジュール2314は、RFモジュール2334に対してフロントエンド機能(アンテナ側の送受信端の回路)を提供するモジュールである。図127に示されるように、フロントエンドモジュール2314は、例えば、アンテナ部2351、フィルタ2352、および増幅部2353を有する。   The front-end module 2314 is a module that provides the RF module 2334 with a front-end function (a circuit on the transmitting / receiving end on the antenna side). As illustrated in FIG. 127, the front end module 2314 includes, for example, an antenna unit 2351, a filter 2352, and an amplification unit 2353.

アンテナ部2351は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部2351は、増幅部2353から供給される信号を無線信号として送信し、受信した無線信号を電気信号(RF信号)としてフィルタ2352に供給する。フィルタ2352は、アンテナ部2351を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール2334に供給する。増幅部2353は、RFモジュール2334から供給されるRF信号を増幅し、アンテナ部2351に供給する。   The antenna portion 2351 has an antenna that transmits and receives radio signals and a peripheral configuration thereof. The antenna unit 2351 transmits the signal supplied from the amplification unit 2353 as a radio signal, and supplies the received radio signal to the filter 2352 as an electric signal (RF signal). The filter 2352 performs filter processing or the like on the RF signal received via the antenna unit 2351, and supplies the processed RF signal to the RF module 2334. The amplifying unit 2353 amplifies the RF signal supplied from the RF module 2334 and supplies the amplified RF signal to the antenna unit 2351.

コネクティビティ2321は、外部との接続に関する機能を有するモジュールである。コネクティビティ2321の物理構成は、任意である。例えば、コネクティビティ2321は、ブロードバンドモデム2333が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。   The connectivity 2321 is a module having a function related to connection with the outside. The physical configuration of the connectivity 2321 is arbitrary. For example, the connectivity 2321 includes a configuration having a communication function other than the communication standard supported by the broadband modem 2333, an external input / output terminal, and the like.

例えば、コネクティビティ2321が、Bluetooth(登録商標)、IEEE 802.11(例えばWi-Fi(Wireless Fidelity、登録商標))、NFC(Near Field Communication)、IrDA(InfraRed Data Association)等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ2321が、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ2321が、アナログ入出力端子等のその他のデータ(信号)伝送機能等を有するようにしてもよい。   For example, the connectivity 2321 is a communication conforming to a wireless communication standard such as Bluetooth (registered trademark), IEEE 802.11 (for example, Wi-Fi (Wireless Fidelity, registered trademark)), NFC (Near Field Communication), IrDA (InfraRed Data Association), etc. You may make it have a module which has a function, an antenna etc. which transmit / receive the signal based on the standard. Further, for example, the connectivity 2321 has a module having a communication function conforming to a wired communication standard such as USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or a terminal conforming to the standard. You may do it. Further, for example, the connectivity 2321 may have other data (signal) transmission functions such as analog input / output terminals.

なお、コネクティビティ2321が、データ(信号)の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ2321が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ(リムーバブルメディアのドライブだけでなく、ハードディスク、SSD(Solid State Drive)、NAS(Network Attached Storage)等も含む)を有するようにしてもよい。また、コネクティビティ2321が、画像や音声の出力デバイス(モニタやスピーカ等)を有するようにしてもよい。   Note that the connectivity 2321 may include a data (signal) transmission destination device. For example, a drive in which the connectivity 2321 reads and writes data to and from a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory (not only a removable media drive, but also a hard disk, SSD (Solid State Drive) And NAS (Network Attached Storage) etc.). Further, the connectivity 2321 may include an image or sound output device (a monitor, a speaker, or the like).

カメラ2322は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ2322の撮像により得られた画像データは、例えば、ビデオプロセッサ2332に供給されて符号化される。   The camera 2322 is a module having a function of imaging a subject and obtaining image data of the subject. Image data obtained by imaging by the camera 2322 is supplied to, for example, a video processor 2332 and encoded.

センサ2323は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ2323により検出されたデータは、例えば、アプリケーションプロセッサ2331に供給されてアプリケーション等により利用される。   The sensor 2323 includes, for example, a voice sensor, an ultrasonic sensor, an optical sensor, an illuminance sensor, an infrared sensor, an image sensor, a rotation sensor, an angle sensor, an angular velocity sensor, a velocity sensor, an acceleration sensor, an inclination sensor, a magnetic identification sensor, an impact sensor, It is a module having an arbitrary sensor function such as a temperature sensor. Data detected by the sensor 2323 is supplied to, for example, the application processor 2331 and used by an application or the like.

以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。   The configuration described as a module in the above may be realized as a processor, or conversely, the configuration described as a processor may be realized as a module.

以上のような構成のビデオセット2300において、後述するようにビデオプロセッサ2332に本技術を適用することができる。したがって、ビデオセット2300は、本技術を適用したセットとして実施することができる。   In the video set 2300 having the above configuration, the present technology can be applied to the video processor 2332 as described later. Therefore, the video set 2300 can be implemented as a set to which the present technology is applied.

<ビデオプロセッサの構成例>
図128は、本技術を適用したビデオプロセッサ2332(図127)の概略的な構成の一例を示している。
<Example of video processor configuration>
FIG. 128 illustrates an example of a schematic configuration of a video processor 2332 (FIG. 127) to which the present technology is applied.

図128の例の場合、ビデオプロセッサ2332は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。   In the case of the example in FIG. 128, the video processor 2332 receives the video signal and the audio signal and encodes them according to a predetermined method, and decodes the encoded video data and audio data. A function of reproducing and outputting an audio signal.

図128に示されるように、ビデオプロセッサ2332は、ビデオ入力処理部2401、第1画像拡大縮小部2402、第2画像拡大縮小部2403、ビデオ出力処理部2404、フレームメモリ2405、およびメモリ制御部2406を有する。また、ビデオプロセッサ2332は、エンコード・デコードエンジン2407、ビデオES(Elementary Stream)バッファ2408Aおよび2408B、並びに、オーディオESバッファ2409Aおよび2409Bを有する。さらに、ビデオプロセッサ2332は、オーディオエンコーダ2410、オーディオデコーダ2411、多重化部(MUX(Multiplexer))2412、逆多重化部(DMUX(Demultiplexer))2413、およびストリームバッファ2414を有する。   As shown in FIG. 128, the video processor 2332 includes a video input processing unit 2401, a first image enlargement / reduction unit 2402, a second image enlargement / reduction unit 2403, a video output processing unit 2404, a frame memory 2405, and a memory control unit 2406. Have The video processor 2332 includes an encoding / decoding engine 2407, video ES (Elementary Stream) buffers 2408A and 2408B, and audio ES buffers 2409A and 2409B. Further, the video processor 2332 includes an audio encoder 2410, an audio decoder 2411, a multiplexing unit (MUX (Multiplexer)) 2412, a demultiplexing unit (DMUX (Demultiplexer)) 2413, and a stream buffer 2414.

ビデオ入力処理部2401は、例えばコネクティビティ2321(図127)等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第1画像拡大縮小部2402は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第2画像拡大縮小部2403は、画像データに対して、ビデオ出力処理部2404を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第1画像拡大縮小部2402と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部2404は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ2321(図127)等に出力する。   The video input processing unit 2401 acquires a video signal input from, for example, the connectivity 2321 (FIG. 127) and converts it into digital image data. The first image enlargement / reduction unit 2402 performs format conversion, image enlargement / reduction processing, and the like on the image data. The second image enlargement / reduction unit 2403 performs image enlargement / reduction processing on the image data in accordance with the format of the output destination via the video output processing unit 2404, or is the same as the first image enlargement / reduction unit 2402. Format conversion and image enlargement / reduction processing. The video output processing unit 2404 performs format conversion, conversion to an analog signal, and the like on the image data, and outputs the reproduced video signal to, for example, the connectivity 2321 (FIG. 127).

フレームメモリ2405は、ビデオ入力処理部2401、第1画像拡大縮小部2402、第2画像拡大縮小部2403、ビデオ出力処理部2404、およびエンコード・デコードエンジン2407によって共用される画像データ用のメモリである。フレームメモリ2405は、例えばDRAM等の半導体メモリとして実現される。   The frame memory 2405 is a memory for image data shared by the video input processing unit 2401, the first image enlargement / reduction unit 2402, the second image enlargement / reduction unit 2403, the video output processing unit 2404, and the encoding / decoding engine 2407. . The frame memory 2405 is realized as a semiconductor memory such as a DRAM, for example.

メモリ制御部2406は、エンコード・デコードエンジン2407からの同期信号を受けて、アクセス管理テーブル2406Aに書き込まれたフレームメモリ2405へのアクセススケジュールに従ってフレームメモリ2405に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル2406Aは、エンコード・デコードエンジン2407、第1画像拡大縮小部2402、第2画像拡大縮小部2403等で実行される処理に応じて、メモリ制御部2406により更新される。   The memory control unit 2406 receives the synchronization signal from the encoding / decoding engine 2407, and controls the writing / reading access to the frame memory 2405 according to the access schedule to the frame memory 2405 written in the access management table 2406A. The access management table 2406A is updated by the memory control unit 2406 in accordance with processing executed by the encoding / decoding engine 2407, the first image enlargement / reduction unit 2402, the second image enlargement / reduction unit 2403, and the like.

エンコード・デコードエンジン2407は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン2407は、フレームメモリ2405から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ2408Aに順次書き込む。また、例えば、ビデオESバッファ2408Bからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ2405に順次書き込む。エンコード・デコードエンジン2407は、これらの符号化や復号において、フレームメモリ2405を作業領域として使用する。また、エンコード・デコードエンジン2407は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部2406に対して同期信号を出力する。   The encoding / decoding engine 2407 performs encoding processing of image data and decoding processing of a video stream that is data obtained by encoding the image data. For example, the encoding / decoding engine 2407 encodes the image data read from the frame memory 2405 and sequentially writes it as a video stream in the video ES buffer 2408A. Further, for example, the video stream is sequentially read from the video ES buffer 2408B, decoded, and sequentially written in the frame memory 2405 as image data. The encoding / decoding engine 2407 uses the frame memory 2405 as a work area in the encoding and decoding. In addition, the encoding / decoding engine 2407 outputs a synchronization signal to the memory control unit 2406, for example, at a timing when processing for each macroblock is started.

ビデオESバッファ2408Aは、エンコード・デコードエンジン2407によって生成されたビデオストリームをバッファリングして、多重化部(MUX)2412に供給する。ビデオESバッファ2408Bは、逆多重化部(DMUX)2413から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン2407に供給する。   The video ES buffer 2408A buffers the video stream generated by the encoding / decoding engine 2407 and supplies the buffered video stream to the multiplexing unit (MUX) 2412. The video ES buffer 2408B buffers the video stream supplied from the demultiplexer (DMUX) 2413 and supplies the buffered video stream to the encoding / decoding engine 2407.

オーディオESバッファ2409Aは、オーディオエンコーダ2410によって生成されたオーディオストリームをバッファリングして、多重化部(MUX)2412に供給する。オーディオESバッファ2409Bは、逆多重化部(DMUX)2413から供給されたオーディオストリームをバッファリングして、オーディオデコーダ2411に供給する。   The audio ES buffer 2409A buffers the audio stream generated by the audio encoder 2410 and supplies the buffered audio stream to the multiplexing unit (MUX) 2412. The audio ES buffer 2409B buffers the audio stream supplied from the demultiplexer (DMUX) 2413 and supplies the buffered audio stream to the audio decoder 2411.

オーディオエンコーダ2410は、例えばコネクティビティ2321(図127)等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3(AudioCode number 3)方式等の所定の方式で符号化する。オーディオエンコーダ2410は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ2409Aに順次書き込む。オーディオデコーダ2411は、オーディオESバッファ2409Bから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ2321(図127)等に供給する。   The audio encoder 2410 converts, for example, an audio signal input from the connectivity 2321 (FIG. 127), for example, into a digital format, and encodes the audio signal according to a predetermined format such as an MPEG audio format or an AC3 (Audio Code number 3) format. The audio encoder 2410 sequentially writes an audio stream, which is data obtained by encoding an audio signal, in the audio ES buffer 2409A. The audio decoder 2411 decodes the audio stream supplied from the audio ES buffer 2409B, performs conversion to an analog signal, for example, and supplies the reproduced audio signal to, for example, the connectivity 2321 (FIG. 127).

多重化部(MUX)2412は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法(すなわち、多重化により生成されるビットストリームのフォーマット)は任意である。また、この多重化の際に、多重化部(MUX)2412は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部(MUX)2412は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部(MUX)2412は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部(MUX)2412は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ(ファイルデータ)に変換する。   The multiplexing unit (MUX) 2412 multiplexes the video stream and the audio stream. The multiplexing method (that is, the format of the bit stream generated by multiplexing) is arbitrary. At the time of this multiplexing, the multiplexing unit (MUX) 2412 can also add predetermined header information and the like to the bit stream. That is, the multiplexing unit (MUX) 2412 can convert the stream format by multiplexing. For example, the multiplexing unit (MUX) 2412 multiplexes the video stream and the audio stream to convert it into a transport stream that is a bit stream of a transfer format. Further, for example, the multiplexing unit (MUX) 2412 multiplexes the video stream and the audio stream, thereby converting the data into file format data (file data) for recording.

逆多重化部(DMUX)2413は、多重化部(MUX)2412による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部(DMUX)2413は、ストリームバッファ2414から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する(ビデオストリームとオーディオストリームとを分離する)。つまり、逆多重化部(DMUX)2413は、逆多重化によりストリームのフォーマットを変換(多重化部(MUX)2412による変換の逆変換)することができる。例えば、逆多重化部(DMUX)2413は、例えばコネクティビティ2321やブロードバンドモデム2333等(いずれも図127)から供給されたトランスポートストリームを、ストリームバッファ2414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部(DMUX)2413は、例えばコネクティビティ2321(図127)により各種記録媒体から読み出されたファイルデータを、ストリームバッファ2414を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。   The demultiplexer (DMUX) 2413 demultiplexes the bit stream in which the video stream and the audio stream are multiplexed by a method corresponding to the multiplexing performed by the multiplexer (MUX) 2412. That is, the demultiplexer (DMUX) 2413 extracts the video stream and the audio stream from the bit stream read from the stream buffer 2414 (separates the video stream and the audio stream). That is, the demultiplexer (DMUX) 2413 can convert the stream format by demultiplexing (inverse conversion of conversion by the multiplexer (MUX) 2412). For example, the demultiplexer (DMUX) 2413 obtains a transport stream supplied from, for example, the connectivity 2321, the broadband modem 2333, etc. (both of which are shown in FIG. 127) via the stream buffer 2414, and demultiplexes the transport stream. Can be converted into a video stream and an audio stream. Further, for example, the demultiplexing unit (DMUX) 2413 obtains file data read from various recording media by the connectivity 2321 (FIG. 127), for example, via the stream buffer 2414, and demultiplexes the file data. It can be converted into a video stream and an audio stream.

ストリームバッファ2414は、ビットストリームをバッファリングする。例えば、ストリームバッファ2414は、多重化部(MUX)2412から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ2321やブロードバンドモデム2333(いずれも図127)等に供給する。   The stream buffer 2414 buffers the bit stream. For example, the stream buffer 2414 buffers the transport stream supplied from the multiplexing unit (MUX) 2412 and, for example, at the predetermined timing or based on an external request or the like, for example, the connectivity 2321 and the broadband modem 2333 (whichever Are also supplied to FIG. 127) and the like.

また、例えば、ストリームバッファ2414は、多重化部(MUX)2412から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、例えばコネクティビティ2321(図127)等に供給し、各種記録媒体に記録させる。   Further, for example, the stream buffer 2414 buffers the file data supplied from the multiplexing unit (MUX) 2412 and, for example, the connectivity 2321 (FIG. 127) or the like at a predetermined timing or based on an external request or the like. To be recorded on various recording media.

さらに、ストリームバッファ2414は、例えばコネクティビティ2321やブロードバンドモデム2333等(いずれも図127)を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)2413に供給する。   Further, the stream buffer 2414 buffers the transport stream acquired via, for example, the connectivity 2321, the broadband modem 2333, etc. (both of which are shown in FIG. 127), and performs reverse processing at a predetermined timing or based on an external request or the like. The data is supplied to a multiplexing unit (DMUX) 2413.

また、ストリームバッファ2414は、例えばコネクティビティ2321(図127)等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、若しくは外部からの要求等に基づいて、逆多重化部(DMUX)2413に供給する。   In addition, the stream buffer 2414 buffers file data read from various recording media in the connectivity 2321 (FIG. 127), for example, and at a predetermined timing or based on an external request or the like, a demultiplexing unit (DMUX) 2413.

次に、このような構成のビデオプロセッサ2332の動作の例について説明する。例えば、コネクティビティ2321(図127)等からビデオプロセッサ2332に入力されたビデオ信号は、ビデオ入力処理部2401において4:2:2Y/Cb/Cr方式等の所定の方式のデジタル画像データに変換され、フレームメモリ2405に順次書き込まれる。このデジタル画像データは、第1画像拡大縮小部2402または第2画像拡大縮小部2403に読み出されて、4:2:0Y/Cb/Cr方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ2405に書き込まれる。この画像データは、エンコード・デコードエンジン2407によって符号化され、ビデオストリームとしてビデオESバッファ2408Aに書き込まれる。   Next, an example of the operation of the video processor 2332 having such a configuration will be described. For example, a video signal input to the video processor 2332 from the connectivity 2321 (FIG. 127) or the like is converted into digital image data of a predetermined format such as 4: 2: 2Y / Cb / Cr format by the video input processing unit 2401. The data is sequentially written into the frame memory 2405. The digital image data is read by the first image enlargement / reduction unit 2402 or the second image enlargement / reduction unit 2403, and is converted into a predetermined format such as 4: 2: 0Y / Cb / Cr format and enlarged / reduced. Is written again in the frame memory 2405. This image data is encoded by the encoding / decoding engine 2407 and written in the video ES buffer 2408A as a video stream.

また、コネクティビティ2321(図127)等からビデオプロセッサ2332に入力されたオーディオ信号は、オーディオエンコーダ2410によって符号化され、オーディオストリームとして、オーディオESバッファ2409Aに書き込まれる。   Also, an audio signal input to the video processor 2332 from the connectivity 2321 (FIG. 127) or the like is encoded by the audio encoder 2410 and written as an audio stream in the audio ES buffer 2409A.

ビデオESバッファ2408Aのビデオストリームと、オーディオESバッファ2409Aのオーディオストリームは、多重化部(MUX)2412に読み出されて多重化され、トランスポートストリーム若しくはファイルデータ等に変換される。多重化部(MUX)2412により生成されたトランスポートストリームは、ストリームバッファ2414にバッファされた後、例えばコネクティビティ2321やブロードバンドモデム2333(いずれも図127)等を介して外部ネットワークに出力される。また、多重化部(MUX)2412により生成されたファイルデータは、ストリームバッファ2414にバッファされた後、例えばコネクティビティ2321(図127)等に出力され、各種記録媒体に記録される。   The video stream of the video ES buffer 2408A and the audio stream of the audio ES buffer 2409A are read and multiplexed by the multiplexing unit (MUX) 2412 and converted into a transport stream or file data. The transport stream generated by the multiplexing unit (MUX) 2412 is buffered in the stream buffer 2414 and then output to the external network via, for example, the connectivity 2321 and the broadband modem 2333 (both of which are shown in FIG. 127). Further, the file data generated by the multiplexing unit (MUX) 2412 is buffered in the stream buffer 2414, and then output to, for example, the connectivity 2321 (FIG. 127) and recorded on various recording media.

また、例えばコネクティビティ2321やブロードバンドモデム2333(いずれも図127)等を介して外部ネットワークからビデオプロセッサ2332に入力されたトランスポートストリームは、ストリームバッファ2414にバッファされた後、逆多重化部(DMUX)2413により逆多重化される。また、例えばコネクティビティ2321(図127)等において各種記録媒体から読み出され、ビデオプロセッサ2332に入力されたファイルデータは、ストリームバッファ2414にバッファされた後、逆多重化部(DMUX)2413により逆多重化される。つまり、ビデオプロセッサ2332に入力されたトランスポートストリームまたはファイルデータは、逆多重化部(DMUX)2413によりビデオストリームとオーディオストリームとに分離される。   For example, a transport stream input from an external network to the video processor 2332 via the connectivity 2321, the broadband modem 2333 (both in FIG. 127) or the like is buffered in the stream buffer 2414, and then demultiplexed (DMUX) 2413 is demultiplexed. Further, for example, file data read from various recording media in the connectivity 2321 (FIG. 127) and input to the video processor 2332 is buffered in the stream buffer 2414 and then demultiplexed by the demultiplexer (DMUX) 2413. It becomes. That is, the transport stream or file data input to the video processor 2332 is separated into a video stream and an audio stream by the demultiplexer (DMUX) 2413.

オーディオストリームは、オーディオESバッファ2409Bを介してオーディオデコーダ2411に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ2408Bに書き込まれた後、エンコード・デコードエンジン2407により順次読み出されて復号されてフレームメモリ2405に書き込まれる。復号された画像データは、第2画像拡大縮小部2403によって拡大縮小処理されて、フレームメモリ2405に書き込まれる。そして、復号された画像データは、ビデオ出力処理部2404に読み出されて、4:2:2Y/Cb/Cr方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。   The audio stream is supplied to the audio decoder 2411 via the audio ES buffer 2409B, and is decoded to reproduce the audio signal. The video stream is written to the video ES buffer 2408B, and then sequentially read and decoded by the encoding / decoding engine 2407, and written to the frame memory 2405. The decoded image data is enlarged / reduced by the second image enlargement / reduction unit 2403 and written to the frame memory 2405. Then, the decoded image data is read out to the video output processing unit 2404, format-converted to a predetermined system such as 4: 2: 2Y / Cb / Cr system, and further converted into an analog signal to be converted into a video signal. Is played out.

このように構成されるビデオプロセッサ2332に本技術を適用する場合、エンコード・デコードエンジン2407に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン2407が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ2332は、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   When the present technology is applied to the video processor 2332 configured as described above, the present technology according to each embodiment described above may be applied to the encoding / decoding engine 2407. That is, for example, the encoding / decoding engine 2407 may have the functions of the image encoding device and the image decoding device according to the above-described embodiment. In this way, the video processor 2332 can obtain the same effects as those described above with reference to FIGS.

なお、エンコード・デコードエンジン2407において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。   In the encoding / decoding engine 2407, the present technology (that is, the functions of the image encoding device and the image decoding device according to each embodiment described above) may be realized by hardware such as a logic circuit, It may be realized by software such as an embedded program, or may be realized by both of them.

<ビデオプロセッサの他の構成例>
図129は、本技術を適用したビデオプロセッサ2332(図127)の概略的な構成の他の例を示している。図129の例の場合、ビデオプロセッサ2332は、ビデオデータを所定の方式で符号化・復号する機能とを有する。
<Other configuration examples of video processor>
FIG. 129 shows another example of a schematic configuration of the video processor 2332 (FIG. 127) to which the present technology is applied. In the case of the example in FIG. 129, the video processor 2332 has a function of encoding and decoding video data by a predetermined method.

より具体的には、図129に示されるように、ビデオプロセッサ2332は、制御部2511、ディスプレイインタフェース2512、ディスプレイエンジン2513、画像処理エンジン2514、および内部メモリ2515を有する。また、ビデオプロセッサ2332は、コーデックエンジン2516、メモリインタフェース2517、多重化・逆多重化部(MUX DMUX)2518、ネットワークインタフェース2519、およびビデオインタフェース2520を有する。   More specifically, as shown in FIG. 129, the video processor 2332 includes a control unit 2511, a display interface 2512, a display engine 2513, an image processing engine 2514, and an internal memory 2515. The video processor 2332 includes a codec engine 2516, a memory interface 2517, a multiplexing / demultiplexing unit (MUX DMUX) 2518, a network interface 2519, and a video interface 2520.

制御部2511は、ディスプレイインタフェース2512、ディスプレイエンジン2513、画像処理エンジン2514、およびコーデックエンジン2516等、ビデオプロセッサ2332内の各処理部の動作を制御する。   The control unit 2511 controls the operation of each processing unit in the video processor 2332 such as the display interface 2512, the display engine 2513, the image processing engine 2514, and the codec engine 2516.

図129に示されるように、制御部2511は、例えば、メインCPU2531、サブCPU2532、およびシステムコントローラ2533を有する。メインCPU2531は、ビデオプロセッサ2332内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU2531は、そのプログラム等に従って制御信号を生成し、各処理部に供給する(つまり、各処理部の動作を制御する)。サブCPU2532は、メインCPU2531の補助的な役割を果たす。例えば、サブCPU2532は、メインCPU2531が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ2533は、メインCPU2531およびサブCPU2532が実行するプログラムを指定する等、メインCPU2531およびサブCPU2532の動作を制御する。   As illustrated in FIG. 129, the control unit 2511 includes, for example, a main CPU 2531, a sub CPU 2532, and a system controller 2533. The main CPU 2531 executes a program or the like for controlling the operation of each processing unit in the video processor 2332. The main CPU 2531 generates a control signal according to the program and supplies it to each processing unit (that is, controls the operation of each processing unit). The sub CPU 2532 plays an auxiliary role of the main CPU 2531. For example, the sub CPU 2532 executes a child process such as a program executed by the main CPU 2531, a subroutine, or the like. The system controller 2533 controls operations of the main CPU 2531 and the sub CPU 2532 such as designating a program to be executed by the main CPU 2531 and the sub CPU 2532.

ディスプレイインタフェース2512は、制御部2511の制御の下、画像データを例えばコネクティビティ2321(図127)等に出力する。例えば、ディスプレイインタフェース2512は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ2321(図127)のモニタ装置等に出力する。   The display interface 2512 outputs the image data to, for example, the connectivity 2321 (FIG. 127) or the like under the control of the control unit 2511. For example, the display interface 2512 converts image data of digital data into an analog signal, and outputs it to a monitor device or the like of the connectivity 2321 (FIG. 127) as a reproduced video signal or as image data of the digital data.

ディスプレイエンジン2513は、制御部2511の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。   Under the control of the control unit 2511, the display engine 2513 performs various conversion processes such as format conversion, size conversion, color gamut conversion, etc., so as to match the image data with hardware specifications such as a monitor device that displays the image. I do.

画像処理エンジン2514は、制御部2511の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。   The image processing engine 2514 performs predetermined image processing such as filter processing for improving image quality on the image data under the control of the control unit 2511.

内部メモリ2515は、ディスプレイエンジン2513、画像処理エンジン2514、およびコーデックエンジン2516により共用される、ビデオプロセッサ2332の内部に設けられたメモリである。内部メモリ2515は、例えば、ディスプレイエンジン2513、画像処理エンジン2514、およびコーデックエンジン2516の間で行われるデータの授受に利用される。例えば、内部メモリ2515は、ディスプレイエンジン2513、画像処理エンジン2514、またはコーデックエンジン2516から供給されるデータを格納し、必要に応じて(例えば、要求に応じて)、そのデータを、ディスプレイエンジン2513、画像処理エンジン2514、またはコーデックエンジン2516に供給する。この内部メモリ2515は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM(Static Random Access Memory)のような比較的(例えば外部メモリ2312と比較して)小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。   The internal memory 2515 is a memory provided in the video processor 2332 that is shared by the display engine 2513, the image processing engine 2514, and the codec engine 2516. The internal memory 2515 is used for, for example, data exchange performed between the display engine 2513, the image processing engine 2514, and the codec engine 2516. For example, the internal memory 2515 stores data supplied from the display engine 2513, the image processing engine 2514, or the codec engine 2516 and stores the data as required by the display engine 2513, The image data is supplied to the image processing engine 2514 or the codec engine 2516. The internal memory 2515 may be realized by any storage device, but is generally used for storing small-capacity data such as image data and parameters in units of blocks. It is desirable to realize it with a semiconductor memory such as a static random access memory) that has a relatively small capacity (eg, compared to the external memory 2312) but a high response speed.

コーデックエンジン2516は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン2516が対応する符号化・復号の方式は任意であり、その数は1つであってもよいし、複数であってもよい。例えば、コーデックエンジン2516は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化若しくは符号化データの復号を行うようにしてもよい。   The codec engine 2516 performs processing related to encoding and decoding of image data. The encoding / decoding scheme supported by the codec engine 2516 is arbitrary, and the number thereof may be one or plural. For example, the codec engine 2516 may be provided with codec functions of a plurality of encoding / decoding schemes, and may be configured to encode image data or decode encoded data using one selected from the codec functions.

図129に示される例において、コーデックエンジン2516は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video2541、AVC/H.2642542、HEVC/H.2652543、HEVC/H.265(Scalable)2544、HEVC/H.265(Multi-view)2545、およびMPEG-DASH2551を有する。   In the example shown in FIG. 129, the codec engine 2516 includes, for example, MPEG-2 Video 2541, AVC / H.2642542, HEVC / H.2652543, HEVC / H.265 (Scalable) 2544, as function blocks for processing related to the codec. HEVC / H.265 (Multi-view) 2545 and MPEG-DASH 2551 are included.

MPEG-2 Video2541は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.2642542は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.2652543は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)2544は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)2545は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。   MPEG-2 Video2541 is a functional block that encodes and decodes image data in the MPEG-2 format. AVC / H.2642542 is a functional block that encodes and decodes image data using the AVC method. HEVC / H.2652543 is a functional block that encodes and decodes image data using the HEVC method. HEVC / H.265 (Scalable) 2544 is a functional block that performs scalable coding or scalable decoding of image data using the HEVC method. HEVC / H.265 (Multi-view) 2545 is a functional block that multi-view encodes or multi-view decodes image data using the HEVC method.

MPEG-DASH2551は、画像データをMPEG-DASH(MPEG-Dynamic Adaptive Streaming over HTTP)方式で送受信する機能ブロックである。MPEG-DASHは、HTTP(HyperText Transfer Protocol)を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の1つとする。MPEG-DASH2551は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video2541乃至HEVC/H.265(Multi-view)2545を利用する。   MPEG-DASH 2551 is a functional block that transmits and receives image data using the MPEG-DASH (MPEG-Dynamic Adaptive Streaming over HTTP) method. MPEG-DASH is a technology for streaming video using HTTP (HyperText Transfer Protocol), and selects and transmits appropriate data from multiple encoded data with different resolutions prepared in segments. This is one of the features. MPEG-DASH 2551 generates a stream compliant with the standard, controls transmission of the stream, and the like. For encoding / decoding of image data, MPEG-2 Video 2541 to HEVC / H.265 (Multi-view) 2545 described above are used. Is used.

メモリインタフェース2517は、外部メモリ2312用のインタフェースである。画像処理エンジン2514やコーデックエンジン2516から供給されるデータは、メモリインタフェース2517を介して外部メモリ2312に供給される。また、外部メモリ2312から読み出されたデータは、メモリインタフェース2517を介してビデオプロセッサ2332(画像処理エンジン2514若しくはコーデックエンジン2516)に供給される。   The memory interface 2517 is an interface for the external memory 2312. Data supplied from the image processing engine 2514 or the codec engine 2516 is supplied to the external memory 2312 via the memory interface 2517. The data read from the external memory 2312 is supplied to the video processor 2332 (the image processing engine 2514 or the codec engine 2516) via the memory interface 2517.

多重化・逆多重化部(MUX DMUX)2518は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部(MUX DMUX)2518は、複数のデータを1つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部(MUX DMUX)2518は、1つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部(MUX DMUX)2518は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部(MUX DMUX)2518は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ(ファイルデータ)に変換することができる。もちろん、逆多重化によりその逆変換も可能である。   A multiplexing / demultiplexing unit (MUX DMUX) 2518 performs multiplexing and demultiplexing of various data related to images such as a bit stream of encoded data, image data, and a video signal. This multiplexing / demultiplexing method is arbitrary. For example, at the time of multiplexing, the multiplexing / demultiplexing unit (MUX DMUX) 2518 can not only combine a plurality of data into one but also add predetermined header information or the like to the data. Further, at the time of demultiplexing, the multiplexing / demultiplexing unit (MUX DMUX) 2518 not only divides one data into a plurality of data but also adds predetermined header information or the like to each divided data. it can. That is, the multiplexing / demultiplexing unit (MUX DMUX) 2518 can convert the data format by multiplexing / demultiplexing. For example, the multiplexing / demultiplexing unit (MUX DMUX) 2518 multiplexes the bit stream, thereby transporting a transport stream that is a bit stream in a transfer format or data in a file format for recording (file data). Can be converted to Of course, the inverse transformation is also possible by demultiplexing.

ネットワークインタフェース2519は、例えばブロードバンドモデム2333やコネクティビティ2321(いずれも図127)等向けのインタフェースである。ビデオインタフェース2520は、例えばコネクティビティ2321やカメラ2322(いずれも図127)等向けのインタフェースである。   The network interface 2519 is an interface for a broadband modem 2333, connectivity 2321 (both in FIG. 127), and the like. The video interface 2520 is an interface for the connectivity 2321, the camera 2322 (both are FIG. 127), and the like.

次に、このようなビデオプロセッサ2332の動作の例について説明する。例えば、例えばコネクティビティ2321やブロードバンドモデム2333(いずれも図127)等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース2519を介して多重化・逆多重化部(MUX DMUX)2518に供給されて逆多重化され、コーデックエンジン2516により復号される。コーデックエンジン2516の復号により得られた画像データは、例えば、画像処理エンジン2514により所定の画像処理が施され、ディスプレイエンジン2513により所定の変換が行われ、ディスプレイインタフェース2512を介して例えばコネクティビティ2321(図127)等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン2516の復号により得られた画像データは、コーデックエンジン2516により再符号化され、多重化・逆多重化部(MUX DMUX)2518により多重化されてファイルデータに変換され、ビデオインタフェース2520を介して例えばコネクティビティ2321(図127)等に出力され、各種記録媒体に記録される。   Next, an example of the operation of the video processor 2332 will be described. For example, when a transport stream is received from an external network via, for example, the connectivity 2321 or the broadband modem 2333 (both of which are shown in FIG. 127), the transport stream is multiplexed / demultiplexed (MUX) via the network interface 2519. DMUX) 2518 is demultiplexed and decoded by the codec engine 2516. For example, the image data obtained by decoding by the codec engine 2516 is subjected to predetermined image processing by the image processing engine 2514, subjected to predetermined conversion by the display engine 2513, and connected, for example, to the connectivity 2321 (see FIG. 127), and the image is displayed on the monitor. Further, for example, image data obtained by decoding by the codec engine 2516 is re-encoded by the codec engine 2516, multiplexed by the multiplexing / demultiplexing unit (MUX DMUX) 2518, converted into file data, and video. The data is output to, for example, the connectivity 2321 (FIG. 127) via the interface 2520 and recorded on various recording media.

さらに、例えば、コネクティビティ2321(図127)等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース2520を介して多重化・逆多重化部(MUX DMUX)2518に供給されて逆多重化され、コーデックエンジン2516により復号される。コーデックエンジン2516の復号により得られた画像データは、画像処理エンジン2514により所定の画像処理が施され、ディスプレイエンジン2513により所定の変換が行われ、ディスプレイインタフェース2512を介して例えばコネクティビティ2321(図127)等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン2516の復号により得られた画像データは、コーデックエンジン2516により再符号化され、多重化・逆多重化部(MUX DMUX)2518により多重化されてトランスポートストリームに変換され、ネットワークインタフェース2519を介して例えばコネクティビティ2321やブロードバンドモデム2333(いずれも図127)等に供給され図示せぬ他の装置に伝送される。   Further, for example, encoded data file data obtained by encoding image data read from a recording medium (not shown) by the connectivity 2321 (FIG. 127) or the like is multiplexed / demultiplexed via the video interface 2520. Is supplied to a unit (MUX DMUX) 2518, demultiplexed, and decoded by a codec engine 2516. Image data obtained by decoding by the codec engine 2516 is subjected to predetermined image processing by the image processing engine 2514, subjected to predetermined conversion by the display engine 2513, and, for example, connectivity 2321 (FIG. 127) via the display interface 2512. And the image is displayed on the monitor. Further, for example, image data obtained by decoding by the codec engine 2516 is re-encoded by the codec engine 2516, multiplexed by a multiplexing / demultiplexing unit (MUX DMUX) 2518, and converted into a transport stream. For example, the connectivity 2321 and the broadband modem 2333 (both in FIG. 127) are supplied via the network interface 2519 and transmitted to another device (not shown).

なお、ビデオプロセッサ2332内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ2515や外部メモリ2312を利用して行われる。また、パワーマネージメントモジュール2313は、例えば制御部2511への電力供給を制御する。   Note that image data and other data are exchanged between the processing units in the video processor 2332 using, for example, the internal memory 2515 or the external memory 2312. The power management module 2313 controls power supply to the control unit 2511, for example.

このように構成されるビデオプロセッサ2332に本技術を適用する場合、コーデックエンジン2516に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン2516が、上述した実施形態に係る画像符号化装置及び画像復号装置の機能を有するようにすればよい。このようにすることにより、ビデオプロセッサ2332は、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   When the present technology is applied to the video processor 2332 configured as described above, the present technology according to each embodiment described above may be applied to the codec engine 2516. That is, for example, the codec engine 2516 may have the functions of the image encoding device and the image decoding device according to the above-described embodiment. In this way, the video processor 2332 can obtain the same effects as those described above with reference to FIGS.

なお、コーデックエンジン2516において、本技術(すなわち、上述した各実施形態に係る画像符号化装置や画像復号装置の機能)は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。   Note that in the codec engine 2516, the present technology (that is, the functions of the image encoding device and the image decoding device according to each of the above-described embodiments) may be realized by hardware such as a logic circuit or an embedded program. It may be realized by software such as the above, or may be realized by both of them.

以上にビデオプロセッサ2332の構成を2例示したが、ビデオプロセッサ2332の構成は任意であり、上述した2例以外のものであってもよい。また、このビデオプロセッサ2332は、1つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する3次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。   Two examples of the configuration of the video processor 2332 have been described above, but the configuration of the video processor 2332 is arbitrary and may be other than the two examples described above. The video processor 2332 may be configured as one semiconductor chip, but may be configured as a plurality of semiconductor chips. For example, a three-dimensional stacked LSI in which a plurality of semiconductors are stacked may be used. Further, it may be realized by a plurality of LSIs.

<装置への適用例>
ビデオセット2300は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット2300は、テレビジョン装置1900(図120)、携帯電話機1920(図121)、記録再生装置1940(図122)、撮像装置1960(図123)等に組み込むことができる。ビデオセット2300を組み込むことにより、その装置は、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。
<Application example to equipment>
Video set 2300 can be incorporated into various devices that process image data. For example, the video set 2300 can be incorporated in the television device 1900 (FIG. 120), the mobile phone 1920 (FIG. 121), the recording / reproducing device 1940 (FIG. 122), the imaging device 1960 (FIG. 123), or the like. By incorporating the video set 2300, the apparatus can obtain the same effects as those described above with reference to FIGS.

また、ビデオセット2300は、例えば、図124のデータ伝送システム2000におけるパーソナルコンピュータ2004、AV機器2005、タブレットデバイス2006、および携帯電話機2007等の端末装置、図125のデータ伝送システム2100における放送局2101および端末装置2102、並びに、図126の撮像システム2200における撮像装置2201およびスケーラブル符号化データ記憶装置2202等にも組み込むことができる。ビデオセット2300を組み込むことにより、その装置は、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   The video set 2300 includes, for example, terminal devices such as the personal computer 2004, the AV device 2005, the tablet device 2006, and the mobile phone 2007 in the data transmission system 2000 in FIG. 124, the broadcasting station 2101 in the data transmission system 2100 in FIG. The terminal device 2102, the imaging device 2201 in the imaging system 2200 in FIG. 126, the scalable encoded data storage device 2202, and the like can also be incorporated. By incorporating the video set 2300, the apparatus can obtain the same effects as those described above with reference to FIGS.

なお、上述したビデオセット2300の各構成の一部であっても、ビデオプロセッサ2332を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ2332のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線2341により示されるプロセッサやビデオモジュール2311等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール2311、外部メモリ2312、パワーマネージメントモジュール2313、およびフロントエンドモジュール2314を組み合わせ、本技術を適用したビデオユニット2361として実施することもできる。いずれの構成の場合であっても、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   Note that even a part of each configuration of the video set 2300 described above can be implemented as a configuration to which the present technology is applied as long as it includes the video processor 2332. For example, only the video processor 2332 can be implemented as a video processor to which the present technology is applied. For example, as described above, the processor, the video module 2311, and the like indicated by the dotted line 2341 can be implemented as a processor, a module, or the like to which the present technology is applied. Furthermore, for example, the video module 2311, the external memory 2312, the power management module 2313, and the front end module 2314 may be combined and implemented as a video unit 2361 to which the present technology is applied. In any case, the same effects as those described above with reference to FIGS. 1 to 118 can be obtained.

つまり、ビデオプロセッサ2332を含むものであればどのような構成であっても、ビデオセット2300の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ2332、点線2341により示されるプロセッサ、ビデオモジュール2311、または、ビデオユニット2361を、テレビジョン装置1900(図120)、携帯電話機1920(図121)、記録再生装置1940(図122)、撮像装置1960(図123)図124のデータ伝送システム2000におけるパーソナルコンピュータ2004、AV機器2005、タブレットデバイス2006、および携帯電話機2007等の端末装置、図125のデータ伝送システム2100における放送局2101および端末装置2102、並びに、図126の撮像システム2200における撮像装置2201およびスケーラブル符号化データ記憶装置2202等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット2300の場合と同様に、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   In other words, any configuration including the video processor 2332 can be incorporated into various devices that process image data, as in the case of the video set 2300. For example, a video processor 2332, a processor indicated by a dotted line 2341, a video module 2311, or a video unit 2361 is connected to a television device 1900 (FIG. 120), a cellular phone 1920 (FIG. 121), a recording / reproducing device 1940 (FIG. 122), Imaging device 1960 (FIG. 123) Terminal devices such as personal computer 2004, AV device 2005, tablet device 2006, and mobile phone 2007 in data transmission system 2000 in FIG. 124, broadcast station 2101 and terminal device in data transmission system 2100 in FIG. 2102 and the imaging device 2201 and the scalable encoded data storage device 2202 in the imaging system 2200 of FIG. 126. Then, by incorporating any configuration to which the present technology is applied, the apparatus can obtain the same effects as those described above with reference to FIGS. 1 to 118 as in the case of the video set 2300. .

<15.MPEG-DASHのコンテンツ再生システムの応用例>
<MPEG-DASHの応用例>
なお、本技術は、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択して使用する、例えば、後述するMPEG DASH等のようなHTTPストリーミングのコンテンツ再生システムやWi-Fi規格の無線通信システムにも適用することができる。
<15. Application example of MPEG-DASH content playback system>
<Application example of MPEG-DASH>
In addition, this technique selects and uses an appropriate one of a plurality of pieces of encoded data having different resolutions prepared in advance for each segment, for example, an HTTP streaming content such as MPEG DASH to be described later The present invention can also be applied to a reproduction system and a Wi-Fi standard wireless communication system.

<コンテンツ再生システムの概要>
まず、図130乃至図132を参照し、本技術を適用可能なコンテンツ再生システムについて概略的に説明する。
<Outline of content playback system>
First, a content reproduction system to which the present technology can be applied will be schematically described with reference to FIGS. 130 to 132.

以下では、まず、このような各実施形態において共通する基本構成について図130および図131を参照して説明する。   In the following, first, a basic configuration common to each of such embodiments will be described with reference to FIG. 130 and FIG. 131.

図130は、コンテンツ再生システムの構成を示した説明図である。図130に示したように、コンテンツ再生システムは、コンテンツサーバ2610、2611と、ネットワーク2612と、コンテンツ再生装置2620(クライアント装置)とを備える。   FIG. 130 is an explanatory diagram showing the configuration of the content reproduction system. As shown in FIG. 130, the content reproduction system includes content servers 2610 and 2611, a network 2612, and a content reproduction device 2620 (client device).

コンテンツサーバ2610、2611とコンテンツ再生装置2620は、ネットワーク2612を介して接続されている。このネットワーク2612は、ネットワーク2612に接続されている装置から送信される情報の有線、または無線の伝送路である。   The content servers 2610 and 2611 and the content reproduction device 2620 are connected via a network 2612. The network 2612 is a wired or wireless transmission path for information transmitted from a device connected to the network 2612.

例えば、ネットワーク2612は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク2612は、IP-VPN(Internet Protocol-Virtual Private Network)などの専用回線網を含んでもよい。   For example, the network 2612 may include a public line network such as the Internet, a telephone line network, and a satellite communication network, various local area networks (LANs) including Ethernet (registered trademark), a wide area network (WAN), and the like. The network 2612 may include a dedicated line network such as an IP-VPN (Internet Protocol-Virtual Private Network).

コンテンツサーバ2610は、コンテンツデータを符号化し、符号化データおよび符号化データのメタ情報を含むデータファイルを生成して記憶する。なお、コンテンツサーバ2610がMP4形式のデータファイルを生成する場合、符号化データは「mdat」に該当し、メタ情報は「moov」に該当する。   The content server 2610 encodes the content data, generates a data file including the encoded data and the meta information of the encoded data, and stores the data file. When the content server 2610 generates an MP4 format data file, the encoded data corresponds to “mdat” and the meta information corresponds to “moov”.

また、コンテンツデータは、音楽、講演およびラジオ番組などの音楽データや、映画、テレビジョン番組、ビデオプログラム、写真、文書、絵画および図表などの映像データや、ゲームおよびソフトウエアなどであってもよい。   Further, the content data may be music data such as music, lectures and radio programs, video data such as movies, television programs, video programs, photographs, documents, pictures and charts, games and software, etc. .

ここで、コンテンツサーバ2610は、同一コンテンツに関し、異なるビットレートで複数のデータファイルを生成する。またコンテンツサーバ2611は、コンテンツ再生装置2620からのコンテンツの再生要求に対して、コンテンツサーバ2610のURLの情報に、コンテンツ再生装置2620で当該URLに付加させるパラメータの情報を含めてコンテンツ再生装置2620に送信する。以下、図131を参照して当該事項について具体的に説明する。   Here, the content server 2610 generates a plurality of data files at different bit rates for the same content. In response to a content playback request from the content playback device 2620, the content server 2611 includes the URL information of the content server 2610 in the content playback device 2620 including information on parameters to be added to the URL by the content playback device 2620. Send. Hereinafter, the matter will be specifically described with reference to FIG.

図131は、図130のコンテンツ再生システムにおけるデータの流れを示した説明図である。コンテンツサーバ2610は、同一のコンテンツデータを異なるビットレートで符号化し、図131に示したように例えば2MbpsのファイルA、1.5MbpsのファイルB、1MbpsのファイルCを生成する。相対的に、ファイルAはハイビットレートであり、ファイルBは標準ビットレートであり、ファイルCはロービットレートである。   FIG. 131 is an explanatory diagram showing a data flow in the content reproduction system of FIG. The content server 2610 encodes the same content data at different bit rates, and generates, for example, a 2 Mbps file A, a 1.5 Mbps file B, and a 1 Mbps file C as shown in FIG. In comparison, file A has a high bit rate, file B has a standard bit rate, and file C has a low bit rate.

また、図131に示したように、各ファイルの符号化データは複数のセグメントに区分されている。例えば、ファイルAの符号化データは「A1」、「A2」、「A3」、・・・「An」というセグメントに区分されており、ファイルBの符号化データは「B1」、「B2」、「B3」、・・・「Bn」というセグメントに区分されており、ファイルCの符号化データは「C1」、「C2」、「C3」、・・・「Cn」というセグメントに区分されている。   As shown in FIG. 131, the encoded data of each file is divided into a plurality of segments. For example, the encoded data of file A is divided into segments “A1”, “A2”, “A3”,... “An”, and the encoded data of file B is “B1”, “B2”, “B3”,... “Bn” is segmented, and the encoded data of file C is segmented as “C1”, “C2”, “C3”,. .

なお、各セグメントはMP4のシンクサンプル(たとえば、AVC/H.264の映像符号化ではIDR−ピクチャ)で始まる単独で再生可能な1または2以上の映像符号化データおよび音声符号化データより構成サンプルで構成されてもよい。例えば、一秒30フレームのビデオデータが15フレーム固定長のGOP(Group of Picture)にて符号化されていた場合、各セグメントは、4GOPに相当する2秒分の映像ならびに音声符号化データであっても、20GOPに相当する10秒分の映像ならびに音声符号化データであってもよい。   Each segment is composed of one or more video encoded data and audio encoded data that can be reproduced independently, starting with an MP4 sync sample (for example, IDR-picture for AVC / H.264 video encoding). It may be constituted by. For example, when video data of 30 frames per second is encoded by a GOP (Group of Picture) having a fixed length of 15 frames, each segment is encoded video and audio data for 2 seconds corresponding to 4 GOP. Alternatively, it may be video and audio encoded data for 10 seconds corresponding to 20 GOP.

また、各ファイルにおける配置順番が同一のセグメントによる再生範囲(コンテンツの先頭からの時間位置の範囲)は同一である。例えば、セグメント「A2」、セグメント「B2」、およびセグメント「C2」の再生範囲は同一であり、各セグメントが2秒分の符号化データである場合、セグメント「A2」、セグメント「B2」、およびセグメント「C2」の再生範囲は、いずれもコンテンツの2秒乃至4秒である。   In addition, the reproduction range (the range of the time position from the beginning of the content) by the segments having the same arrangement order in each file is the same. For example, when the playback ranges of the segment “A2”, the segment “B2”, and the segment “C2” are the same and each segment is encoded data for 2 seconds, the segment “A2”, the segment “B2”, and The playback range of the segment “C2” is 2 to 4 seconds for the content.

コンテンツサーバ2610は、このような複数のセグメントから構成されるファイルA乃至ファイルCを生成すると、ファイルA乃至ファイルCを記憶する。そして、コンテンツサーバ2610は、図131に示したように、異なるファイルを構成するセグメントをコンテンツ再生装置2620に順次に送信し、コンテンツ再生装置2620は、受信したセグメントをストリーミング再生する。   When the content server 2610 generates the files A to C composed of such a plurality of segments, the content server 2610 stores the files A to C. Then, as shown in FIG. 131, the content server 2610 sequentially transmits segments constituting different files to the content reproduction device 2620, and the content reproduction device 2620 performs streaming reproduction of the received segment.

ここで、本実施形態によるコンテンツサーバ2610は、各符号化データのビットレート情報およびアクセス情報を含むプレイリストファイル(以下、MPD:Media Presentation Description)をコンテンツ再生装置2620に送信し、コンテンツ再生装置2620は、MPDに基づき、複数のビットレートのうちのいずれかのビットレートを選択し、選択したビットレートに対応するセグメントの送信をコンテンツサーバ2610に要求する。   Here, the content server 2610 according to the present embodiment transmits a playlist file (MPD: Media Presentation Description) including the bit rate information and access information of each encoded data to the content playback device 2620, and the content playback device 2620. Selects one of a plurality of bit rates based on the MPD, and requests the content server 2610 to transmit a segment corresponding to the selected bit rate.

図130では、1つのコンテンツサーバ2610のみが図示されているが、本開示は係る例に限定されないことは言うまでもない。   In FIG. 130, only one content server 2610 is illustrated, but it goes without saying that the present disclosure is not limited to such an example.

図132は、MPDの具体例を示した説明図である。図132に示したように、MPDには、異なるビットレート(BANDWIDTH)を有する複数の符号化データに関するアクセス情報が含まれる。例えば、図132に示したMPDは、256Kbps、1.024Mbps、1.384Mbps、1.536Mbps、2.048Mbpsの各々の符号化データが存在することを示す共に、各符号化データに関するアクセス情報を含む。コンテンツ再生装置2620は、かかるMPDに基づき、ストリーミング再生する符号化データのビットレートを動的に変更することが可能である。   FIG. 132 is an explanatory diagram showing a specific example of MPD. As illustrated in FIG. 132, the MPD includes access information regarding a plurality of pieces of encoded data having different bit rates (BANDWIDTH). For example, the MPD shown in FIG. 132 indicates that each encoded data of 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, and 2.048 Mbps exists, and includes access information regarding each encoded data. . The content playback device 2620 can dynamically change the bit rate of encoded data to be streamed based on the MPD.

なお、図130にはコンテンツ再生装置2620の一例として携帯端末を示しているが、コンテンツ再生装置2620はかかる例に限定されない。例えば、コンテンツ再生装置2620は、PC(Personal Computer)、家庭用映像処理装置(DVDレコーダ、ビデオデッキなど)、PDA(Personal Digital Assistants)、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、コンテンツ再生装置2620は、携帯電話、PHS(Personal Handyphone System)、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。   130 shows a mobile terminal as an example of the content playback device 2620, the content playback device 2620 is not limited to such an example. For example, the content playback device 2620 is an information processing device such as a PC (Personal Computer), a home video processing device (DVD recorder, VCR, etc.), a PDA (Personal Digital Assistants), a home game device, and a home appliance. Also good. The content playback device 2620 may be an information processing device such as a mobile phone, a PHS (Personal Handyphone System), a portable music playback device, a portable video processing device, or a portable game device.

<コンテンツサーバ2610の構成>
以上、図130乃至図132を参照し、コンテンツ再生システムの概要を説明した。続いて、図133を参照し、コンテンツサーバ2610の構成を説明する。
<Configuration of Content Server 2610>
The outline of the content reproduction system has been described above with reference to FIGS. 130 to 132. Next, the configuration of the content server 2610 will be described with reference to FIG.

図133は、コンテンツサーバ2610の構成を示した機能ブロック図である。図133に示したように、コンテンツサーバ2610は、ファイル生成部2631と、記憶部2632と、通信部2633とを備える。   FIG. 133 is a functional block diagram showing the configuration of the content server 2610. As illustrated in FIG. 133, the content server 2610 includes a file generation unit 2631, a storage unit 2632, and a communication unit 2633.

ファイル生成部2631は、コンテンツデータを符号化するエンコーダ2641を備え、同一のコンテンツでビットレートが異なる複数の符号化データ、および上述したMPDを生成する。例えば、ファイル生成部2631は、256Kbps、1.024Mbps、1.384Mbps、1.536Mbps、2.048Mbpsの各々の符号化データを生成した場合、図132に示したようなMPDを生成する。   The file generation unit 2631 includes an encoder 2641 that encodes content data, and generates a plurality of encoded data having the same content and different bit rates, and the MPD described above. For example, when generating each encoded data of 256 Kbps, 1.024 Mbps, 1.384 Mbps, 1.536 Mbps, and 2.048 Mbps, the file generation unit 2631 generates an MPD as shown in FIG.

記憶部2632は、ファイル生成部2631により生成されたビットレートが異なる複数の符号化データおよびMPDを記憶する。この記憶部2632は、不揮発性メモリ、磁気ディスク、光ディスク、およびMO(Magneto Optical)ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、EEPROM(Electrically Erasable Programmable Read-Only Memory)、EPROM(Erasable Programmable ROM)があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、CD(Compact Disc、DVD-R(Digital Versatile Disc Recordable)およびBD(Blu-Ray Disc(登録商標))などがあげられる。   The storage unit 2632 stores a plurality of encoded data and MPDs generated by the file generation unit 2631 and having different bit rates. The storage unit 2632 may be a storage medium such as a nonvolatile memory, a magnetic disk, an optical disk, and an MO (Magneto Optical) disk. Examples of the nonvolatile memory include EEPROM (Electrically Erasable Programmable Read-Only Memory) and EPROM (Erasable Programmable ROM). Examples of the magnetic disk include a hard disk and a disk type magnetic disk. Examples of the optical disk include CD (Compact Disc, DVD-R (Digital Versatile Disc Recordable)) and BD (Blu-Ray Disc (registered trademark)).

通信部2633は、コンテンツ再生装置2620とのインタフェースであって、ネットワーク2612を介してコンテンツ再生装置2620と通信する。より詳細には、通信部2633は、HTTPに従ってコンテンツ再生装置2620と通信するHTTPサーバとしての機能を有する。例えば、通信部2633は、MPDをコンテンツ再生装置2620に送信し、HTTPに従ってコンテンツ再生装置2620からMPDに基づいて要求された符号化データを記憶部2632から抽出し、HTTPレスポンスとしてコンテンツ再生装置2620に符号化データを送信する。   The communication unit 2633 is an interface with the content reproduction device 2620 and communicates with the content reproduction device 2620 via the network 2612. More specifically, the communication unit 2633 has a function as an HTTP server that communicates with the content reproduction device 2620 according to HTTP. For example, the communication unit 2633 transmits the MPD to the content reproduction device 2620, extracts encoded data requested from the content reproduction device 2620 based on the MPD in accordance with HTTP from the storage unit 2632, and transmits the encoded data to the content reproduction device 2620 as an HTTP response. Transmit encoded data.

<コンテンツ再生装置2620の構成>
以上、本実施形態によるコンテンツサーバ2610の構成を説明した。続いて、図134を参照し、コンテンツ再生装置2620の構成を説明する。
<Configuration of Content Playback Device 2620>
The configuration of the content server 2610 according to this embodiment has been described above. Next, the configuration of the content reproduction device 2620 will be described with reference to FIG.

図134は、コンテンツ再生装置2620の構成を示した機能ブロック図である。図134に示したように、コンテンツ再生装置2620は、通信部2651と、記憶部2652と、再生部2653と、選択部2654と、現在地取得部2656とを備える。   FIG. 134 is a functional block diagram showing the configuration of the content playback device 2620. As shown in FIG. 134, the content playback apparatus 2620 includes a communication unit 2651, a storage unit 2652, a playback unit 2653, a selection unit 2654, and a current location acquisition unit 2656.

通信部2651は、コンテンツサーバ2610とのインタフェースであって、コンテンツサーバ2610に対してデータを要求し、コンテンツサーバ2610からデータを取得する。より詳細には、通信部2651は、HTTPに従ってコンテンツ再生装置2620と通信するHTTPクライアントとしての機能を有する。例えば、通信部2651は、HTTP Rangeを利用することにより、コンテンツサーバ2610からMPDや符号化データのセグメントを選択的に取得することができる。   The communication unit 2651 is an interface with the content server 2610, requests data from the content server 2610, and acquires data from the content server 2610. More specifically, the communication unit 2651 has a function as an HTTP client that communicates with the content reproduction device 2620 according to HTTP. For example, the communication unit 2651 can selectively acquire an MPD or encoded data segment from the content server 2610 by using HTTP Range.

記憶部2652は、コンテンツの再生に関する種々の情報を記憶する。例えば、通信部2651によりコンテンツサーバ2610から取得されるセグメントを順次にバッファリングする。記憶部2652にバッファリングされた符号化データのセグメントは、FIFO(First In First Out)で再生部2653へ順次に供給される。   The storage unit 2652 stores various information related to content reproduction. For example, the segments acquired from the content server 2610 by the communication unit 2651 are sequentially buffered. The encoded data segments buffered in the storage unit 2652 are sequentially supplied to the reproduction unit 2653 by FIFO (First In First Out).

また記憶部2652は、後述のコンテンツサーバ2611から要求された、MPDに記述されているコンテンツのURLへのパラメータの付加指示に基づき、通信部2651でURLにパラメータを付加して、そのURLへアクセスするための定義を記憶する。   The storage unit 2652 adds a parameter to the URL by the communication unit 2651 based on an instruction to add a parameter to the URL of the content described in the MPD requested from the content server 2611 described later, and accesses the URL. The definition to do is memorized.

再生部2653は、記憶部2652から供給されるセグメントを順次に再生する。具体的には、再生部2653は、セグメントのデコード、DA変換、およびレンダリングなどを行う。   The playback unit 2653 sequentially plays back the segments supplied from the storage unit 2652. Specifically, the playback unit 2653 performs segment decoding, DA conversion, rendering, and the like.

選択部2654は、MPDに含まれるいずれのビットレートに対応する符号化データのセグメントを取得するかを同一コンテンツ内で順次に選択する。例えば、選択部2654がネットワーク2612の帯域に応じてセグメント「A1」、「B2」、「A3」を順次に選択すると、図131に示したように、通信部2651がコンテンツサーバ2610からセグメント「A1」、「B2」、「A3」を順次に取得する。   The selection unit 2654 sequentially selects within the same content which segment of the encoded data corresponding to which bit rate included in the MPD is to be acquired. For example, when the selection unit 2654 sequentially selects the segments “A1”, “B2”, and “A3” according to the bandwidth of the network 2612, the communication unit 2651 receives the segment “A1” from the content server 2610 as illustrated in FIG. ”,“ B2 ”, and“ A3 ”are acquired sequentially.

現在地取得部2656は、コンテンツ再生装置2620の現在の位置を取得するものであり、例えばGPS(Global Positioning System)受信機などの現在地を取得するモジュールで構成されていても良い。また現在地取得部2656は、無線ネットワークを使用してコンテンツ再生装置2620の現在の位置を取得するものであってもよい。   The current location acquisition unit 2656 acquires the current position of the content playback device 2620, and may be configured by a module that acquires the current location, such as a GPS (Global Positioning System) receiver. The current location acquisition unit 2656 may acquire the current position of the content playback device 2620 using a wireless network.

<コンテンツサーバ2611の構成>
図135は、コンテンツサーバ2611の構成例を示す説明図である。図135に示したように、コンテンツサーバ2611は、記憶部2671と、通信部2672とを備える。
<Configuration of Content Server 2611>
FIG. 135 is an explanatory diagram showing a configuration example of the content server 2611. As shown in FIG. 135, the content server 2611 includes a storage unit 2671 and a communication unit 2672.

記憶部2671は、MPDのURLの情報を記憶する。MPDのURLの情報は、コンテンツの再生を要求するコンテンツ再生装置2620からの求めに応じ、コンテンツサーバ2611からコンテンツ再生装置2620へ送信される。また記憶部2671は、コンテンツ再生装置2620へのMPDのURLの情報を提供する際に、当該MPDに記述されているURLにコンテンツ再生装置2620でパラメータを付加させる際の定義情報を記憶する。   The storage unit 2671 stores MPD URL information. The MPD URL information is transmitted from the content server 2611 to the content reproduction device 2620 in response to a request from the content reproduction device 2620 that requests content reproduction. In addition, when providing the MPD URL information to the content reproduction device 2620, the storage unit 2671 stores definition information when the content reproduction device 2620 adds a parameter to the URL described in the MPD.

通信部2672は、コンテンツ再生装置2620とのインタフェースであって、ネットワーク2612を介してコンテンツ再生装置2620と通信する。すなわち通信部2672は、コンテンツの再生を要求するコンテンツ再生装置2620から、MPDのURLの情報の要求を受信し、コンテンツ再生装置2620へMPDのURLの情報を送信する。通信部2672から送信されるMPDのURLには、コンテンツ再生装置2620でパラメータを付加させるための情報が含まれる。   The communication unit 2672 is an interface with the content reproduction device 2620 and communicates with the content reproduction device 2620 via the network 2612. That is, the communication unit 2672 receives an MPD URL information request from the content reproduction device 2620 that requests content reproduction, and transmits the MPD URL information to the content reproduction device 2620. The MPD URL transmitted from the communication unit 2672 includes information for adding parameters by the content playback device 2620.

コンテンツ再生装置2620でMPDのURLに付加させるパラメータについては、コンテンツサーバ2611およびコンテンツ再生装置2620で共有する定義情報で様々に設定することが出来る。一例を挙げれば、コンテンツ再生装置2620の現在位置、コンテンツ再生装置2620を使用するユーザのユーザID、コンテンツ再生装置2620のメモリサイズ、コンテンツ再生装置2620のストレージの容量などの情報を、コンテンツ再生装置2620でMPDのURLに付加させることが出来る。   The parameters added to the MPD URL by the content playback device 2620 can be variously set by definition information shared by the content server 2611 and the content playback device 2620. For example, information such as the current position of the content playback device 2620, the user ID of the user who uses the content playback device 2620, the memory size of the content playback device 2620, the storage capacity of the content playback device 2620, and the like. Can be added to the MPD URL.

以上のような構成のコンテンツ再生システムにおいて、図1乃至図118を参照して上述したような本技術を適用することにより、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。   In the content reproduction system configured as described above, by applying the present technology as described above with reference to FIGS. 1 to 118, the same effects as those described with reference to FIGS. 1 to 118 can be obtained. be able to.

すなわち、コンテンツサーバ2610のエンコーダ2641は、上述した実施形態に係る画像符号化装置の機能を有する。また、コンテンツ再生装置2620の再生部2653は、上述した実施形態に係る画像復号装置の機能を有する。それにより、符号化・復号に必要な記憶容量の増大を抑制することができる。   That is, the encoder 2641 of the content server 2610 has the function of the image encoding device according to the above-described embodiment. In addition, the playback unit 2653 of the content playback device 2620 has the function of the image decoding device according to the above-described embodiment. As a result, an increase in storage capacity necessary for encoding / decoding can be suppressed.

また、コンテンツ再生システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。   In the content reproduction system, transmission / reception of data encoded by the present technology can suppress an increase in storage capacity necessary for encoding / decoding.

<16.Wi-Fi規格の無線通信システムの応用例>
<Wi-Fi規格の無線通信システムの応用例>
本技術を適用可能な無線通信システムにおける無線通信装置の基本動作例について説明する。
<16. Examples of Wi-Fi standard wireless communication systems>
<Application examples of Wi-Fi standard wireless communication systems>
A basic operation example of a wireless communication device in a wireless communication system to which the present technology can be applied will be described.

<無線通信装置の基本動作例>
最初に、P2P(Peer to Peer)接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。
<Example of basic operation of wireless communication device>
First, wireless packet transmission / reception is performed until a specific application is operated after a P2P (Peer to Peer) connection is established.

次に、第2層で接続する前に、使用する特定のアプリケーションを指定してからP2P接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信がなされる。その後、第2層での接続後に、特定のアプリケーションを起動する場合の無線パケット送受信がなされる。   Next, before connecting in the second layer, wireless packet transmission / reception is performed from the time when a specific application to be used is specified until the P2P connection is established and the specific application is operated. Thereafter, after connection in the second layer, radio packet transmission / reception is performed when a specific application is started.

<特定のアプリケーション動作開始時における通信例>
図136および図137は、上述したP2P(Peer to Peer)接続を確立して特定のアプリケーションを動作させるまでの無線パケット送受信の例であり、無線通信の基礎となる各装置による通信処理例を示すシーケンスチャートである。具体的には、Wi-Fi Allianceにおいて標準化されているWi-Fiダイレクト(Direct)規格(Wi-Fi P2Pと呼ばれることもある)での接続に至るダイレクト接続の確立手順の一例を示す。
<Communication example at the start of specific application operation>
136 and 137 are examples of wireless packet transmission / reception until the above-described P2P (Peer to Peer) connection is established and a specific application is operated, and shows an example of communication processing by each device serving as the basis of wireless communication. It is a sequence chart. Specifically, an example of a procedure for establishing a direct connection leading to a connection based on the Wi-Fi Direct (Direct) standard (sometimes referred to as Wi-Fi P2P) standardized by the Wi-Fi Alliance is shown.

ここで、Wi-Fiダイレクトでは、複数の無線通信装置が互いの存在を検出する(Device Discovery、Service Discovery)。そして、接続機器選択を行うとその選択された機器間において、WPS(Wi-Fi Protected Setup)で機器認証を行うことによりダイレクト接続を確立する。また、Wi-Fiダイレクトでは、複数の無線通信装置が親機(Group Owner)または子機(Client)の何れとしての役割を担うかを決定して通信グループを形成する。   Here, in Wi-Fi Direct, a plurality of wireless communication devices detect each other's presence (Device Discovery, Service Discovery). When a connected device is selected, direct connection is established between the selected devices by performing device authentication using WPS (Wi-Fi Protected Setup). Further, in Wi-Fi Direct, a communication group is formed by determining whether a plurality of wireless communication devices serve as a parent device (Group Owner) or a child device (Client).

ただし、この通信処理例では、一部のパケット送受信については省略して示す。例えば、初回接続時には、上述したように、WPSを使うためのパケット交換が必要であり、AuthenticationRequest/Responseのやり取り等においてもパケット交換が必要となる。しかしながら、図136および図137では、これらのパケット交換についての図示を省略し、2回目以降の接続についてのみを示す。   However, in this communication processing example, some packet transmission / reception is omitted. For example, at the time of the initial connection, as described above, packet exchange for using WPS is necessary, and packet exchange is also necessary for exchange of Authentication Request / Response. However, in FIGS. 136 and 137, these packet exchanges are not shown, and only the second and subsequent connections are shown.

なお、図136および図137では、第1無線通信装置2701および第2無線通信装置2702間における通信処理例を示すが、他の無線通信装置間における通信処理についても同様である。   136 and 137 show examples of communication processing between the first wireless communication device 2701 and the second wireless communication device 2702, but the same applies to communication processing between other wireless communication devices.

最初に、第1無線通信装置2701および第2無線通信装置2702間においてDevice Discoveryが行われる(2711)。例えば、第1無線通信装置2701は、Probe request(応答要求信号)を送信し、このProbe requestに対するProbe response(応答信号)を第2無線通信装置2702から受信する。これにより、第1無線通信装置2701および第2無線通信装置2702は、互いの存在を発見することができる。また、Device Discoveryにより、相手のデバイス名や種類(TV、PC、スマートフォン等)を取得することができる。   First, Device Discovery is performed between the first wireless communication device 2701 and the second wireless communication device 2702 (2711). For example, the first wireless communication apparatus 2701 transmits a probe request (response request signal) and receives a probe response (response signal) for the probe request from the second wireless communication apparatus 2702. Thereby, the first wireless communication device 2701 and the second wireless communication device 2702 can discover each other's presence. Device Discovery can also acquire the device name and type (TV, PC, smartphone, etc.) of the other party.

続いて、第1無線通信装置2701および第2無線通信装置2702間においてService Discoveryが行われる(2712)。例えば、第1無線通信装置2701は、Device Discoveryで発見した第2無線通信装置2702が対応しているサービスを問い合わせるService Discovery Queryを送信する。そして、第1無線通信装置2701は、Service Discovery Responseを第2無線通信装置2702から受信することにより、第2無線通信装置2702が対応しているサービスを取得する。すなわち、Service Discoveryにより、相手が実行可能なサービス等を取得することができる。相手が実行可能なサービスは、例えば、service、protocol(DLNA(Digital Living Network Alliance) DMR(Digital Media Renderer)等)である。   Subsequently, Service Discovery is performed between the first wireless communication device 2701 and the second wireless communication device 2702 (2712). For example, the first wireless communication device 2701 transmits a Service Discovery Query that inquires about a service supported by the second wireless communication device 2702 discovered by Device Discovery. Then, the first wireless communication device 2701 receives a Service Discovery Response from the second wireless communication device 2702, thereby acquiring a service supported by the second wireless communication device 2702. In other words, services that can be executed by the other party can be acquired by Service Discovery. Services that can be executed by the other party are, for example, service and protocol (DLNA (Digital Living Network Alliance) DMR (Digital Media Renderer) and the like).

続いて、ユーザにより接続相手の選択操作(接続相手選択操作)が行われる(2713)。この接続相手選択操作は、第1無線通信装置2701および第2無線通信装置2702の何れか一方のみに発生することもある。例えば、第1無線通信装置2701の表示部に接続相手選択画面が表示され、この接続相手選択画面において接続相手として第2無線通信装置2702がユーザ操作により選択される。   Subsequently, a connection partner selection operation (connection partner selection operation) is performed by the user (2713). This connection partner selection operation may occur only in one of the first wireless communication device 2701 and the second wireless communication device 2702. For example, the connection partner selection screen is displayed on the display unit of the first wireless communication device 2701, and the second wireless communication device 2702 is selected by the user operation as the connection partner on the connection partner selection screen.

ユーザにより接続相手選択操作が行われると(2713)、第1無線通信装置2701および第2無線通信装置2702間においてGroup Owner Negotiationが行われる(2714)。図136および図137では、Group Owner Negotiationの結果により、第1無線通信装置2701がグループオーナー(Group Owner)2715になり、第2無線通信装置2702がクライアント(Client)2716になる例を示す。   When the connection partner selection operation is performed by the user (2713), Group Owner Negotiation is performed between the first wireless communication device 2701 and the second wireless communication device 2702 (2714). 136 and 137 show an example in which the first wireless communication device 2701 becomes the group owner 2715 and the second wireless communication device 2702 becomes the client 2716 based on the result of Group Owner Negotiation.

続いて、第1無線通信装置2701および第2無線通信装置2702間において、各処理(2717乃至2720)が行われることにより、ダイレクト接続が確立される。すなわち、Association(L2(第2層) link確立)(2717)、Secure link確立(2718)が順次行われる。また、IP Address Assignment(2719)、SSDP(Simple Service Discovery Protocol)等によるL3上でのL4 setup(2720)が順次行われる。なお、L2(layer2)は、第2層(データリンク層)を意味し、L3(layer3)は、第3層(ネットワーク層)を意味し、L4(layer4)は、第4層(トランスポート層)を意味する。   Subsequently, direct processing is established by performing each processing (2717 to 2720) between the first wireless communication device 2701 and the second wireless communication device 2702. That is, Association (L2 (second layer) link establishment) (2717) and Secure link establishment (2718) are sequentially performed. Further, L4 setup (2720) on L3 is sequentially performed by IP Address Assignment (2719), SSDP (Simple Service Discovery Protocol), or the like. L2 (layer2) means the second layer (data link layer), L3 (layer3) means the third layer (network layer), and L4 (layer4) means the fourth layer (transport layer) ).

続いて、ユーザにより特定のアプリケーションの指定または起動操作(アプリ指定・起動操作)が行われる(2721)。このアプリ指定・起動操作は、第1無線通信装置2701および第2無線通信装置2702の何れか一方のみに発生することもある。例えば、第1無線通信装置2701の表示部にアプリ指定・起動操作画面が表示され、このアプリ指定・起動操作画面において特定のアプリケーションがユーザ操作により選択される。   Subsequently, the user designates or activates a specific application (application designation / activation operation) (2721). This application designation / activation operation may occur only in one of the first wireless communication device 2701 and the second wireless communication device 2702. For example, an application designation / startup operation screen is displayed on the display unit of the first wireless communication apparatus 2701, and a specific application is selected by a user operation on the application designation / startup operation screen.

ユーザによりアプリ指定・起動操作が行われると(2721)、このアプリ指定・起動操作に対応する特定のアプリケーションが第1無線通信装置2701および第2無線通信装置2702間において実行される(2722)。   When an application designation / activation operation is performed by the user (2721), a specific application corresponding to the application designation / activation operation is executed between the first wireless communication device 2701 and the second wireless communication device 2702 (2722).

ここで、Wi-Fi Direct規格以前の仕様(IEEE802.11で標準化された仕様)の範囲内で、AP(Access Point)−STA(Station)間の接続を行う場合を想定する。この場合には、第2層で接続する前(IEEE802.11用語ではassociation前)には、どのようなデバイスと繋ごうとしているのかを事前に知ることができなかった。   Here, it is assumed that the connection between AP (Access Point) and STA (Station) is performed within the range of the specification before the Wi-Fi Direct standard (specification standardized by IEEE802.11). In this case, before connecting in the second layer (before association in IEEE802.11 terminology), it was impossible to know in advance what kind of device was going to be connected.

これに対して、図136および図137に示すように、Wi-Fi Directでは、Device discoveryやService Discovery(option)において、接続候補相手を探す際に、接続相手の情報を取得することができる。この接続相手の情報は、例えば、基本的なデバイスのタイプや、対応している特定のアプリケーション等である。そして、その取得された接続相手の情報に基づいて、ユーザに接続相手を選択させることができる。   In contrast, as shown in FIGS. 136 and 137, in Wi-Fi Direct, connection partner information can be acquired when searching for a connection candidate partner in Device discovery or Service Discovery (option). The information of the connection partner is, for example, a basic device type, a corresponding specific application, or the like. And based on the acquired information of a connection other party, a user can be made to select a connection other party.

この仕組みを拡張して、第2層で接続する前に特定のアプリケーションを指定して、接続相手を選択し、この選択後に、自動的に特定のアプリケーションを起動させる無線通信システムを実現することも可能である。このような場合の接続に至るシーケンスの一例を、図139に示す。また、この通信処理において送受信されるフレームフォーマット(frame format)の構成例を図138に示す。   This mechanism can be expanded to realize a wireless communication system in which a specific application is specified before connection at the second layer, a connection partner is selected, and the specific application is automatically started after this selection. Is possible. An example of a sequence leading to connection in such a case is shown in FIG. In addition, FIG. 138 shows a configuration example of a frame format transmitted and received in this communication process.

<フレームフォーマットの構成例>
図138は、本技術の基礎となる各装置による通信処理において送受信されるフレームフォーマット(frame format)の構成例を模式的に示す図である。すなわち、図138には、第2層での接続を確立するためのMAC frameの構成例を示す。具体的には、図139に示すシーケンスを実現するためのAssociation Request/Response(2787)のフレームフォーマットの一例である。
<Frame format configuration example>
FIG. 138 is a diagram schematically illustrating a configuration example of a frame format transmitted and received in communication processing by each device serving as a basis of the present technology. That is, FIG. 138 shows a configuration example of a MAC frame for establishing a connection in the second layer. Specifically, it is an example of the frame format of Association Request / Response (2787) for realizing the sequence shown in FIG.

図138に示されるように、MAC frameは、Frame Control(2751)乃至FCS(2758)よりなり、その内、Frame Control(2751)からSequence Control(2756)までは、MACヘッダである。また、Association Requestを送信する際には、Frame Control(2751)において、B3B2="0b00"、かつ、B7B6B5B4="0b0000"が設定される。また、Association Responseをencapsulateする際には、Frame Control(2751)において、B3B2="0b00"、かつ、B7B6B5B4="0b0001"が設定される。なお、「0b00」は、2進法で「00」であることを示し、「0b0000」は、2進法で「0000」であることを示し、「0b0001」は、2進法で「0001」であることを示す。   As shown in FIG. 138, the MAC frame is composed of Frame Control (2751) to FCS (2758), of which Frame Control (2751) to Sequence Control (2756) are MAC headers. When transmitting an Association Request, B3B2 = “0b00” and B7B6B5B4 = “0b0000” are set in Frame Control (2751). When Encapsulating Association Response, B3B2 = “0b00” and B7B6B5B4 = “0b0001” are set in Frame Control (2751). Note that “0b00” indicates “00” in binary, “0b0000” indicates “0000” in binary, and “0b0001” indicates “0001” in binary. Indicates that

ここで、図138に示すMAC frame(Frame body(2757))は、基本的には、IEEE802.11-2007仕様書section7.2.3.4節と7.2.3.5節に記載のAssociation Request/Responseframe formatである。ただし、IEEE802.11仕様書内で定義されているInformation Element(以下、IEと省略)(2759)だけでなく、独自に拡張したIEを含めている点が異なる。   Here, the MAC frame (Frame body (2757)) shown in FIG. 138 is basically the Association Request / Response frame format described in sections 7.2.3.4 and 7.2.3.5 of the IEEE802.11-2007 specification. is there. However, the difference is that not only the Information Element (hereinafter abbreviated as IE) (2759) defined in the IEEE802.11 specification, but also an IE that has been independently expanded.

また、Vendor Specific IE(2760)であることを示すため、IE Type(Information Element ID(2761))には、10進数で127がセットされる。この場合、IEEE802.11−2007仕様7.3.2.26節により、Lengthフィールド(2762)と、OUIフィールド(2763)が続き、この後にvendor specific content(2764)が配置される。   In order to indicate Vendor Specific IE (2760), IE Type (Information Element ID (2761)) is set to 127 in decimal. In this case, according to the IEEE802.11-2007 specification section 7.3.2.26, the Length field (2762) and the OUI field (2763) follow, followed by the vendor specific content (2764).

Vendor specific content(2764)の内容としては、最初にvendor specific IEのtypeを示すフィールド(IE type(2765))を設ける。そして、この後に、複数のsubelement(2766)を格納することができる構成とすることが考えられる。   As the content of the vendor specific content (2764), a field (IE type (2765)) indicating the type of the vendor specific IE is first provided. Then, it is conceivable that a plurality of subelements (2766) can be stored thereafter.

subelement(2766)の内容として、使われるべき特定のアプリケーションの名称(2767)や、その特定のアプリケーション動作時のデバイスの役割(2768)を含めることが考えられる。また、特定のアプリケーション、または、その制御のために使われるポート番号等の情報(L4セットアップのための情報)(2769)や、特定のアプリケーション内でのCapabilityに関する情報(Capability情報)(2770)を含めることが考えられる。ここで、Capability情報は、例えば、指定する特定のアプリケーションがDLNAの場合に、音声送出/再生に対応している、映像送出/再生に対応している等を特定するための情報である。   The contents of the subelement (2766) may include the name (2767) of a specific application to be used and the role of the device (2768) during operation of the specific application. In addition, information such as a specific application or a port number used for the control (information for L4 setup) (2769) and information related to Capability in the specific application (Capability information) (2770). Can be included. Here, the Capability information is information for specifying, for example, that audio transmission / reproduction is supported, video transmission / reproduction, and the like when the specific application to be specified is DLNA.

以上のような構成の無線通信システムにおいて、図1乃至図118を参照して上述したような本技術を適用することにより、図1乃至図118を参照して上述した効果と同様の効果を得ることができる。すなわち、符号化・復号に必要な記憶容量の増大を抑制することができる。また、上述した無線通信システムにおいて、本技術により符号化されたデータを送受信することにより、符号化・復号に必要な記憶容量の増大を抑制することができる。   In the wireless communication system configured as described above, by applying the present technology as described above with reference to FIGS. 1 to 118, the same effects as those described with reference to FIGS. 1 to 118 can be obtained. be able to. That is, an increase in storage capacity required for encoding / decoding can be suppressed. Further, in the wireless communication system described above, an increase in storage capacity necessary for encoding / decoding can be suppressed by transmitting / receiving data encoded by the present technology.

なお、本明細書では、画像データの符号化データ以外の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像(スライス若しくはブロックなど、画像の一部であってもよい)と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像(又はビットストリーム)とは別の伝送路上で伝送されてもよい。また、情報は、画像(又はビットストリーム)とは別の記録媒体(又は同一の記録媒体の別の記録エリア)に記録されてもよい。さらに、情報と画像(又はビットストリーム)とは、例えば、複数フレーム、1フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。   In the present specification, an example has been described in which various types of information other than encoded data of image data are multiplexed into an encoded stream and transmitted from the encoding side to the decoding side. However, the method for transmitting such information is not limited to such an example. For example, these pieces of information may be transmitted or recorded as separate data associated with the encoded bitstream without being multiplexed into the encoded bitstream. Here, the term “associate” means that an image (which may be a part of an image such as a slice or a block) included in the bitstream and information corresponding to the image can be linked at the time of decoding. Means. That is, information may be transmitted on a transmission path different from that of the image (or bit stream). Information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream). Furthermore, the information and the image (or bit stream) may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.

また、本明細書において、CTU(Coding Tree Unit)は、LCU(最大数のCU)のCTB(Coding Tree Block)と、そのLCUベース(レベル)で処理するときのパラメータを含む単位であるとする。また、CTUを構成するCU(Coding Unit)は、CB(Coding Block)と、そのCUベース(レベル)で処理するときのパラメータを含む単位であるとする。   Also, in this specification, a CTU (Coding Tree Unit) is a unit including a CTB (Coding Tree Block) of an LCU (maximum number of CUs) and parameters when processing on the basis of the LCU (level). . Also, a CU (Coding Unit) constituting a CTU is a unit including a CB (Coding Block) and a parameter for processing in the CU base (level).

なお、本技術は以下のような構成も取ることができる。
(1) カレントレイヤの復号において動き補償を行う動き補償部と、
前記動き補償部により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する第1の圧縮部と
を備える画像処理装置。
(2) 前記動き補償部により再構築された前記カレントレイヤの動きベクトルを、前記第1の圧縮部よりも高圧縮率に圧縮する第2の圧縮部をさらに備え、
前記動き補償部は、前記第2の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(3) 前記第2の圧縮部は、前記第1の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記(2)に記載の画像処理装置。
(4) 前記動き補償部は、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(5) 他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを受け取る受け取り部と、
前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮することを示す値である場合、前記第1の圧縮部により圧縮された前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択し、前記受け取り部により受け取られた前記フラグが動きベクトルを圧縮しないことを示す値である場合、前記第1の圧縮部により圧縮される前の前記動きベクトルを、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と
をさらに備える前記(1)乃至(9)のいずれかに記載の画像処理装置。
(6) 前記動き補償部は、前記受け取り部により受け取られた前記フラグの値に関わらず、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの復号における前記動き補償を行う
前記(5)に記載の画像処理装置。
(7) 前記第1の圧縮部は、前記動き補償部により再構築された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(8) 前記第1の圧縮部は、前記動き補償部により再構築された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(9) 前記動き補償部は、他のレイヤの復号における前記動き補償において再構築された動きベクトルを用いて前記動き補償を行う
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの復号において動き補償を行い、
前記動き補償により再構築され、他のレイヤの復号における前記動き補償に利用される前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
(11) カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、
前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第1の圧縮部と
を備える画像処理装置。
(12) 前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第1の圧縮部よりも高圧縮率に圧縮する第2の圧縮部をさらに備え、
前記動き予測・補償部は、前記第2の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記(11)乃至(19)のいずれかに記載の画像処理装置。
(13) 前記第2の圧縮部は、前記第1の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
前記(12)に記載の画像処理装置。
(14) 前記動き予測・補償部は、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記(11)乃至(19)のいずれかに記載の画像処理装置。
(15) 他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、
前記制御部の制御に従って、前記第1の圧縮部により圧縮される前の前記動きベクトルと、前記第1の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、
前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、
前記生成部により生成された前記フラグを伝送する伝送部と
をさらに備える前記(11)乃至(19)のいずれかに記載の画像処理装置。
(16) 前記動き予測・補償部は、前記制御部の制御に関わらず、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
前記(15)に記載の画像処理装置。
(17) 前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
前記(11)乃至(19)のいずれかに記載の画像処理装置。
(18) 前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
前記(11)乃至(19)のいずれかに記載の画像処理装置。
(19) 前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行う
前記(11)乃至(18)のいずれかに記載の画像処理装置。
(20) 画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの符号化において動き予測・補償を行い、
前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
(21) 複数階層化された画像データが符号化された階層画像符号化データを受け取る受け取り部と、
前記受け取り部により受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記受け取り部により受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する復号部と
を備える画像処理装置。
(22) 前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
(21)、(23)乃至(29)のいずれかに記載の画像処理装置。
(23) 前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
(21)、(22)、(24)乃至(29)のいずれかに記載の画像処理装置。
(24) 前記受け取り部は、さらに間引き率を受け取り、
前記間引き処理部は、前記受け取り部により受け取られた前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
(21)乃至(23)、(25)乃至(29)のいずれかに記載の画像処理装置。
(25) 前記間引き率は、ベースレイヤの解像度を基準に設定されている
(21)乃至(24)、(26)乃至(29)のいずれかに記載の画像処理装置。
(26) 前記間引き率は、前記階層画像符号化データの所定の位置に格納されて伝送される
(21)乃至(25)、(27)乃至(29)のいずれかに記載の画像処理装置。
(27) 前記間引き率は、ビデオパラメータセットにおいて伝送される
(21)乃至(26)、(28)、(29)のいずれかに記載の画像処理装置。
(28) 前記間引き率は、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送される
(21)乃至(27)、(29)のいずれかに記載の画像処理装置。
(29) 前記復号部は、さらに、前記階層画像符号化データのエンハンスメントレイヤと異なる符号化方式で符号化された前記階層画像符号化データのベースレイヤを復号する
(21)乃至(28)のいずれかに記載の画像処理装置。
(30) 複数階層化された画像データが符号化された階層画像符号化データを受け取り、
受け取られた前記階層画像符号化データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、受け取られた前記階層画像符号化データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、受け取られた前記階層画像符号化データのエンハンスメントレイヤを復号する
画像処理方法。
(31) 複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引く間引き処理部と、
前記間引き処理部により間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶する記憶部と、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成するイントラ予測部と、
前記イントラ予測部により生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化する符号化部と、
前記符号化部により前記画像データが符号化されて得られた階層画像符号化データを伝送する伝送部と
を備える画像処理装置。
(32) 前記間引き処理部は、前記カレントエリア内の最初にイントラ予測が行われるブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
(31)、(33)乃至(39)のいずれかに記載の画像処理装置。
(33) 前記間引き処理部は、前記カレントエリアの中心付近のブロックのイントラ予測モードを前記カレントエリアの代表とし、前記カレントエリア内のその他のブロックのイントラ予測モードを破棄する
(31)、(32)、(34)乃至(39)のいずれかに記載の画像処理装置。
(34) 間引き率を設定する間引き率設定部をさらに備え、
前記間引き処理部は、前記間引き率設定部により設定された前記間引き率で前記ベースレイヤのイントラ予測モードを間引く
(31)乃至(33)、(35)乃至(39)のいずれかに記載の画像処理装置。
(35) 前記間引き率設定部は、前記間引き率を、ベースレイヤの解像度を基準に設定する
(31)乃至(34)、(36)乃至(39)のいずれかに記載の画像処理装置。
(36) 前記伝送部は、前記間引き率を、前記階層画像符号化データの所定の位置に格納して伝送する
(31)乃至(35)、(37)乃至(39)のいずれかに記載の画像処理装置。
(37) 前記伝送部は、前記間引き率を、ビデオパラメータセットにおいて伝送する (31)乃至(36)、(38)、(39)のいずれかに記載の画像処理装置。
(38) 前記伝送部は、前記間引き率を、前記階層画像符号化データのエンハンスメントレイヤのシーケンスパラメータセット、ピクチャパラメータセット、若しくはスライスヘッダにおいて伝送する
(31)乃至(37)、(39)のいずれかに記載の画像処理装置。
(39) 前記符号化部は、さらに、前記画像データのエンハンスメントレイヤと異なる符号化方式で、前記画像データのベースレイヤを符号化する
(31)乃至(38)のいずれかに記載の画像処理装置。
(40) 複数階層化された画像データのベースレイヤのカレントエリアについて、イントラ予測モードを間引き、
間引かれて残ったベースレイヤのイントラ予測モードを前記カレントエリアの代表として記憶部に記憶し、
前記記憶部に記憶されているベースレイヤのイントラ予測モードの内、前記画像データのエンハンスメントレイヤのカレントブロックに対応するベースレイヤのイントラ予測モードを前記記憶部から読み出し、読み出した前記イントラ予測モードを用いてイントラ予測を行い、前記エンハンスメントレイヤの前記カレントブロックの予測画像を生成し、
生成された前記予測画像を用いて、前記画像データのエンハンスメントレイヤを符号化し、
前記画像データが符号化されて得られた階層画像符号化データを伝送する
画像処理方法。
(41) 複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取る受け取り部と、
前記他のレイヤの、前記受け取り部により受け取られた前記制御情報により示される前記予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する復号部と
を備える画像復号装置。
(42) 前記制御情報は、前記予測方向がL0方向であるかを示す情報である
(41)、(43)乃至(49)のいずれかに記載の画像復号装置。
(43) 前記制御情報は、前記予測方向がL1方向であるかを示す情報である
(41)、(42)、(44)乃至(49)のいずれかに記載の画像復号装置。
(44) 前記制御情報は、前記予測方向がL0方向であるか、L1方向であるかを示す情報である
(41)乃至(43)、(45)乃至(49)のいずれかに記載の画像復号装置。
(45) 前記制御情報は、前記予測方向を、ピクチャを複数に分割するスライス毎に示す情報である
(41)乃至(44)、(46)乃至(49)のいずれかに記載の画像復号装置。
(46) 前記受け取り部は、前記制御情報を前記スライス毎に受け取る
(41)乃至(45)、(47)乃至(49)のいずれかに記載の画像復号装置。
(47) 前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
(41)乃至(46)、(48)、(49)のいずれかに記載の画像復号装置。
(48) 前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
(41)乃至(47)、(49)のいずれかに記載の画像復号装置。
(49) 前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記制御情報により示される予測方向の動き情報を取得する (41)乃至(48)のいずれかに記載の画像復号装置。
(50) 複数レイヤよりなる画像データのカレントレイヤの符号化データと、前記画像データのカレントレイヤの復号に用いる他のレイヤの動き情報の予測方向を示す制御情報とを受け取り、
前記他のレイヤの、受け取られた前記制御情報により示される前記予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記カレントレイヤの符号化データを復号する
画像復号方法。
(51) 複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定する予測方向設定部と、
前記他のレイヤの、前記予測方向設定部により設定された予測方向の動き情報を取得する動き情報取得部と、
前記動き情報取得部により取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化する符号化部と、
前記符号化部により生成された前記画像データの符号化データと、前記予測方向設定部により設定された前記予測方向を示す制御情報とを伝送する伝送部と
を備える画像符号化装置。
(52) 前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるかを示す情報である
(51)、(53)乃至(59)のいずれかに記載の画像符号化装置。
(53) 前記制御情報は、前記予測方向設定部により設定された予測方向がL1方向であるかを示す情報である
(51)、(52)、(54)乃至(59)のいずれかに記載の画像符号化装置。
(54) 前記制御情報は、前記予測方向設定部により設定された予測方向がL0方向であるか、L1方向であるかを示す情報である
(51)乃至(53)、(55)乃至(59)のいずれかに記載の画像符号化装置。
(55) 前記予測方向設定部は、前記予測方向を、ピクチャを複数に分割するスライス毎に設定する
(51)乃至(54)、(56)乃至(59)のいずれかに記載の画像符号化装置。
(56) 前記伝送部は、前記制御情報を前記スライス毎に伝送する
(51)乃至(55)、(57)乃至(59)のいずれかに記載の画像符号化装置。
(57) 前記動き情報取得部により取得された前記他のレイヤの動き情報の予測方向が、使用時の予測方向と異なる場合、前記他のレイヤの動き情報の予測方向を変換する変換部をさらに備える
(51)乃至(56)、(58)、(59)のいずれかに記載の画像符号化装置。
(58) 前記変換部は、さらに、前記動き情報取得部により取得された前記他のレイヤの動き情報を前記カレントレイヤ基準に変換する
(51)乃至(57)、(59)のいずれかに記載の画像符号化装置。
(59) 前記動き情報取得部は、前記他のレイヤの、前記カレントレイヤのカレントエリアに対応するエリアの、前記予測方向設定部により設定された予測方向の動き情報を取得する
(51)乃至(58)のいずれかに記載の画像符号化装置。
(60) 複数レイヤよりなる画像データのカレントレイヤの符号化に用いる他のレイヤの動き情報の予測方向を設定し、
前記他のレイヤの、設定された予測方向の動き情報を取得し、
取得された前記他のレイヤの前記予測方向の動き情報を用いて動き予測を行い、前記カレントレイヤの予測画像を生成し、
生成された前記予測画像を用いて前記画像データのカレントレイヤを符号化し、
前記画像データが符号化されて生成された符号化データと、設定された前記予測方向を示す制御情報とを伝送する
画像符号化方法。
In addition, this technique can also take the following structures.
(1) a motion compensation unit that performs motion compensation in decoding of the current layer;
An image processing apparatus comprising: a first compression unit that is reconstructed by the motion compensation unit and compresses a motion vector of the current layer used for motion compensation in decoding of another layer.
(2) a second compression unit that compresses the motion vector of the current layer reconstructed by the motion compensation unit at a higher compression rate than the first compression unit;
The image processing according to any one of (1) to (9), wherein the motion compensation unit performs the motion compensation in the decoding of the current layer using the motion vector compressed by the second compression unit. apparatus.
(3) The image processing device according to (2), wherein the second compression unit further compresses the motion vector compressed by the first compression unit.
(4) The motion compensation unit performs the motion compensation in the decoding of the current layer using the motion vector compressed by the first compression unit. Any one of (1) to (9) Image processing apparatus.
(5) a receiving unit that receives a flag indicating whether or not to compress the motion vector of the current layer used for motion compensation in decoding of another layer;
When the flag received by the receiving unit is a value indicating that a motion vector is compressed, the motion vector compressed by the first compression unit is used for the motion compensation in decoding of another layer. If the flag received by the receiving unit is a value indicating that the motion vector is not compressed, the motion vector before being compressed by the first compressing unit is selected. The image processing apparatus according to any one of (1) to (9), further including: a selection unit that selects a motion vector of the current layer used for the motion compensation in decoding of another layer.
(6) The motion compensation unit uses the motion vector compressed by the first compression unit, regardless of the value of the flag received by the reception unit, to perform the motion compensation in the decoding of the current layer. The image processing apparatus according to (5).
(7) The first compression unit compresses the motion vector of the current layer by selecting a motion vector as a representative value from a plurality of motion vectors reconstructed by the motion compensation unit. The image processing device according to any one of (9) to (9).
(8) The first compression unit compresses the motion vector of the current layer by calculating a motion vector as a representative value using the plurality of motion vectors reconstructed by the motion compensation unit. The image processing apparatus according to any one of 1) to (9).
(9) The image processing device according to any one of (1) to (8), wherein the motion compensation unit performs the motion compensation using a motion vector reconstructed in the motion compensation in decoding of another layer. .
(10) In the image processing method of the image processing apparatus,
The image processing apparatus is
Perform motion compensation in current layer decoding,
An image processing method for compressing a motion vector of the current layer reconstructed by the motion compensation and used for the motion compensation in decoding of another layer.
(11) a motion prediction / compensation unit that performs motion prediction / compensation in encoding of the current layer;
An image processing apparatus comprising: a first compression unit that compresses the motion vector of the current layer, which is generated by the motion prediction / compensation unit and is used for the motion prediction / compensation in encoding of another layer.
(12) A second compression unit that compresses the motion vector of the current layer generated by the motion prediction / compensation unit at a higher compression rate than the first compression unit,
The motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the second compression unit. Any one of (11) to (19) An image processing apparatus according to 1.
(13) The image processing device according to (12), wherein the second compression unit further compresses the motion vector compressed by the first compression unit.
(14) The motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit. (11) to (19) An image processing apparatus according to any one of the above.
(15) a control unit that controls whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer;
According to the control of the control unit, one of the motion vector before being compressed by the first compression unit and the motion vector compressed by the first compression unit is encoded in another layer. A selection unit that selects the motion vector of the current layer used for the motion prediction / compensation in
A generating unit that generates a flag indicating whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer according to the control of the control unit;
The image processing apparatus according to any one of (11) to (19), further including: a transmission unit that transmits the flag generated by the generation unit.
(16) The motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit regardless of the control of the control unit. Perform The image processing apparatus according to (15).
(17) The first compression unit compresses the motion vector of the current layer by selecting a motion vector as a representative value from a plurality of motion vectors generated by the motion prediction / compensation unit. The image processing apparatus according to any one of 11) to (19).
(18) The first compression unit compresses the motion vector of the current layer by calculating a motion vector as a representative value using the plurality of motion vectors generated by the motion prediction / compensation unit. (11) The image processing device according to any one of (19).
(19) The motion prediction / compensation unit performs the motion prediction / compensation using a motion vector generated in the motion prediction / compensation in encoding of another layer. Any one of (11) to (18) An image processing apparatus according to 1.
(20) In the image processing method of the image processing apparatus,
The image processing apparatus is
Perform motion prediction / compensation in current layer coding,
An image processing method for compressing a motion vector of the current layer generated by the motion prediction / compensation and used for the motion prediction / compensation in coding of another layer.
(21) a receiving unit that receives hierarchical image encoded data obtained by encoding a plurality of hierarchical image data;
About the current area of the base layer of the hierarchical image encoded data received by the receiving unit, a thinning processing unit for thinning out the intra prediction mode;
A storage unit that stores the intra prediction mode of the base layer that has been thinned out by the thinning processing unit as a representative of the current area;
Among the intra prediction modes of the base layer stored in the storage unit, the intra prediction modes of the base layer corresponding to the current block of the enhancement layer of the hierarchical image encoded data received by the receiving unit are stored in the storage unit. An intra prediction unit that performs intra prediction using the read intra prediction mode, and generates a prediction image of the current block of the enhancement layer;
An image processing apparatus comprising: a decoding unit that decodes an enhancement layer of the hierarchical image encoded data received by the reception unit using the prediction image generated by the intra prediction unit.
(22) The thinning-out processing unit discards the intra prediction modes of other blocks in the current area, with the intra prediction mode of the block in which intra prediction is first performed in the current area as a representative of the current area. 21) The image processing apparatus according to any one of (23) to (29).
(23) The thinning-out processing unit discards the intra prediction modes of the other blocks in the current area with the intra prediction mode of the block near the center of the current area as a representative of the current area. ), (24) to (29).
(24) The receiving unit further receives a thinning rate,
The image processing device according to any one of (21) to (23), (25) to (29), wherein the thinning processing unit thins out the intra prediction mode of the base layer with the thinning rate received by the receiving unit. .
(25) The image processing device according to any one of (21) to (24) and (26) to (29), wherein the thinning rate is set based on a resolution of a base layer.
(26) The image processing device according to any one of (21) to (25) and (27) to (29), wherein the thinning rate is stored and transmitted at a predetermined position of the hierarchical image encoded data.
(27) The image processing device according to any one of (21) to (26), (28), and (29), wherein the thinning rate is transmitted in a video parameter set.
(28) The decimation rate is transmitted in an enhancement layer sequence parameter set, a picture parameter set, or a slice header of the hierarchical image encoded data. (21) to (27), (29) Image processing device.
(29) The decoding unit further decodes the base layer of the hierarchical image encoded data encoded by a different encoding method from the enhancement layer of the hierarchical image encoded data. (21) to (28) An image processing apparatus according to claim 1.
(30) receiving hierarchical image encoded data obtained by encoding a plurality of hierarchical image data;
Decimating the intra prediction mode for the current area of the base layer of the received hierarchical image encoded data,
Store the intra prediction mode of the base layer that has been thinned out as a representative of the current area in the storage unit,
Among the intra prediction modes of the base layer stored in the storage unit, the intra prediction mode of the base layer corresponding to the current block of the enhancement layer of the received hierarchical image encoded data is read from the storage unit and read. Performing intra prediction using the intra prediction mode, generating a prediction image of the current block of the enhancement layer;
An image processing method for decoding an enhancement layer of the received hierarchical image encoded data using the generated predicted image.
(31) With respect to the current area of the base layer of the image data having a plurality of hierarchies, a thinning processing unit for thinning out the intra prediction mode;
A storage unit that stores the intra prediction mode of the base layer that has been thinned out by the thinning processing unit as a representative of the current area;
Of the intra prediction modes of the base layer stored in the storage unit, the base layer intra prediction mode corresponding to the current block of the enhancement layer of the image data is read from the storage unit, and the read intra prediction mode is used. An intra prediction unit for generating a prediction image of the current block of the enhancement layer;
An encoding unit that encodes an enhancement layer of the image data using the prediction image generated by the intra prediction unit;
An image processing apparatus comprising: a transmission unit configured to transmit hierarchical image encoded data obtained by encoding the image data by the encoding unit.
(32) The thinning-out processing unit discards the intra prediction modes of other blocks in the current area, with the intra prediction mode of the block in which intra prediction is first performed in the current area as a representative of the current area. 31) An image processing device according to any one of (33) to (39).
(33) The thinning-out processing unit discards the intra prediction modes of other blocks in the current area, with the intra prediction mode of the block near the center of the current area as a representative of the current area. ), (34) to (39).
(34) A thinning rate setting unit for setting a thinning rate is further provided,
The image according to any one of (31) to (33) and (35) to (39), wherein the decimation processing unit decimates the base layer intra prediction mode with the decimation rate set by the decimation rate setting unit. Processing equipment.
(35) The image processing device according to any one of (31) to (34) and (36) to (39), wherein the thinning rate setting unit sets the thinning rate based on a resolution of a base layer.
(36) The transmission unit stores and transmits the thinning rate in a predetermined position of the hierarchical image encoded data. (31) to (35), (37) to (39) Image processing device.
(37) The image processing device according to any one of (31) to (36), (38), and (39), wherein the transmission unit transmits the thinning rate in a video parameter set.
(38) The transmission unit transmits the decimation rate in a sequence parameter set, a picture parameter set, or a slice header of the enhancement layer of the hierarchical image encoded data. Any of (31) to (37) and (39) An image processing apparatus according to claim 1.
(39) The image processing device according to any one of (31) to (38), wherein the encoding unit further encodes the base layer of the image data by an encoding method different from the enhancement layer of the image data. .
(40) Thinning out the intra prediction mode for the current area of the base layer of the image data that has been hierarchized,
Store the intra prediction mode of the base layer that has been thinned out as a representative of the current area in the storage unit,
Of the intra prediction modes of the base layer stored in the storage unit, the base layer intra prediction mode corresponding to the current block of the enhancement layer of the image data is read from the storage unit, and the read intra prediction mode is used. Intra prediction to generate a prediction image of the current block of the enhancement layer,
Using the generated predicted image, encode an enhancement layer of the image data,
An image processing method for transmitting hierarchical image encoded data obtained by encoding the image data.
(41) a receiving unit that receives encoded data of a current layer of image data including a plurality of layers and control information indicating a prediction direction of motion information of another layer used for decoding the current layer of the image data;
A motion information acquisition unit that acquires motion information in the prediction direction indicated by the control information received by the reception unit of the other layer;
A prediction image generation unit that performs motion prediction using the motion information in the prediction direction of the other layer acquired by the motion information acquisition unit, and generates a prediction image of the current layer;
An image decoding apparatus comprising: a decoding unit that decodes the encoded data of the current layer using the prediction image generated by the prediction image generation unit.
(42) The image decoding device according to any one of (41), (43) to (49), wherein the control information is information indicating whether the prediction direction is an L0 direction.
(43) The image decoding device according to any one of (41), (42), and (44) to (49), wherein the control information is information indicating whether the prediction direction is an L1 direction.
(44) The image according to any one of (41) to (43) and (45) to (49), wherein the control information is information indicating whether the prediction direction is an L0 direction or an L1 direction. Decoding device.
(45) The image decoding device according to any one of (41) to (44) and (46) to (49), wherein the control information is information indicating the prediction direction for each slice into which a picture is divided into a plurality of pieces. .
(46) The image decoding device according to any one of (41) to (45) and (47) to (49), wherein the reception unit receives the control information for each slice.
(47) When the prediction direction of the motion information of the other layer acquired by the motion information acquisition unit is different from the prediction direction at the time of use, the conversion unit further converts the prediction direction of the motion information of the other layer The image decoding device according to any one of (41) to (46), (48), and (49).
(48) The conversion unit further converts the motion information of the other layer acquired by the motion information acquisition unit into the current layer reference (41) to (47), (49) Image decoding apparatus.
(49) The motion information acquisition unit acquires motion information in a prediction direction indicated by the control information in an area of the other layer corresponding to the current area of the current layer. (41) to (48) The image decoding device according to any one of the above.
(50) receiving encoded data of a current layer of image data including a plurality of layers and control information indicating a prediction direction of motion information of another layer used for decoding the current layer of the image data;
Obtaining motion information in the prediction direction indicated by the received control information of the other layer;
Performing motion prediction using the acquired motion information in the prediction direction of the other layer, and generating a prediction image of the current layer,
An image decoding method for decoding encoded data of the current layer using the generated predicted image.
(51) a prediction direction setting unit that sets a prediction direction of motion information of another layer used for encoding a current layer of image data including a plurality of layers;
A motion information acquisition unit that acquires motion information of the prediction direction set by the prediction direction setting unit of the other layer;
A prediction image generation unit that performs motion prediction using the motion information in the prediction direction of the other layer acquired by the motion information acquisition unit, and generates a prediction image of the current layer;
An encoding unit that encodes a current layer of the image data using the prediction image generated by the prediction image generation unit;
An image encoding device comprising: a transmission unit that transmits encoded data of the image data generated by the encoding unit and control information indicating the prediction direction set by the prediction direction setting unit.
(52) The control information is information indicating whether or not the prediction direction set by the prediction direction setting unit is the L0 direction. (51) The image encoding according to any one of (53) to (59) apparatus.
(53) The control information is information indicating whether the prediction direction set by the prediction direction setting unit is the L1 direction. (51), (52), (54) to (59) Image coding apparatus.
(54) The control information is information indicating whether the prediction direction set by the prediction direction setting unit is the L0 direction or the L1 direction. (51) to (53), (55) to (59) The image encoding device according to any one of the above.
(55) The prediction direction setting unit sets the prediction direction for each slice into which a picture is divided into a plurality of images (51) to (54) and (56) to (59). apparatus.
(56) The image encoding device according to any one of (51) to (55) and (57) to (59), wherein the transmission unit transmits the control information for each slice.
(57) When the prediction direction of the motion information of the other layer acquired by the motion information acquisition unit is different from the prediction direction at the time of use, the conversion unit further converts the prediction direction of the motion information of the other layer The image coding apparatus according to any one of (51) to (56), (58), and (59).
(58) The conversion unit further converts the motion information of the other layer acquired by the motion information acquisition unit into the current layer reference. (51) to (57), (59) Image coding apparatus.
(59) The motion information acquisition unit acquires motion information of a prediction direction set by the prediction direction setting unit in an area corresponding to the current area of the current layer of the other layer. 58). The image coding device according to any one of 58).
(60) Set a prediction direction of motion information of another layer used for encoding the current layer of image data including a plurality of layers,
Obtaining motion information of the set prediction direction of the other layer;
Performing motion prediction using the acquired motion information in the prediction direction of the other layer, and generating a prediction image of the current layer,
Encode the current layer of the image data using the generated predicted image,
An image encoding method for transmitting encoded data generated by encoding the image data and control information indicating the set prediction direction.

100 画像符号化装置, 114 動き予測・補償部, 121 動きベクトル圧縮部, 122 動きベクトルメモリ, 200 画像復号装置, 211 動き補償部, 221 動きベクトル圧縮部, 222 動きベクトルメモリ, 300 画像符号化装置, 314 動き予測・補償部, 321 動きベクトル圧縮部, 322 テンポラルメモリ, 323 動きベクトル圧縮部, 324 動きベクトルメモリ, 400 画像復号装置, 411 動き補償部, 421 動きベクトル圧縮部, 422 テンポラルメモリ, 423 動きベクトル圧縮部, 424 動きベクトルメモリ, 500 画像符号化装置, 514 動き予測・補償部, 506 可逆符号化部, 507 蓄積バッファ, 521 制御部, 522 フラグ生成部, 531 選択部, 532 テンポラルメモリ, 533 動きベクトル圧縮部, 534 動きベクトルメモリ, 535 選択部, 600 画像復号装置, 601 蓄積バッファ, 602 可逆復号部, 621 制御部, 631 選択部, 632 テンポラルメモリ, 633 動きベクトル圧縮部, 634 動きベクトルメモリ, 635 選択部   DESCRIPTION OF SYMBOLS 100 Image coding apparatus, 114 Motion prediction / compensation part, 121 Motion vector compression part, 122 Motion vector memory, 200 Image decoding apparatus, 211 Motion compensation part, 221 Motion vector compression part, 222 Motion vector memory, 300 Image coding apparatus 314, motion prediction / compensation unit, 321 motion vector compression unit, 322 temporal memory, 323 motion vector compression unit, 324 motion vector memory, 400 image decoding device, 411 motion compensation unit, 421 motion vector compression unit, 422 temporal memory, 423 Motion vector compression unit, 424 motion vector memory, 500 image encoding device, 514 motion prediction / compensation unit, 506 lossless encoding unit, 507 storage buffer, 521 control unit, 522 flag generation unit, 31 selection unit, 532 temporal memory, 533 motion vector compression unit, 534 motion vector memory, 535 selection unit, 600 image decoding device, 601 storage buffer, 602 lossless decoding unit, 621 control unit, 631 selection unit, 632 temporal memory, 633 Motion vector compression unit, 634 motion vector memory, 635 selection unit

Claims (10)

カレントレイヤの符号化において動き予測・補償を行う動き予測・補償部と、
前記動き予測・補償部により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する第1の圧縮部と
を備える画像処理装置。
A motion prediction / compensation unit that performs motion prediction / compensation in encoding of the current layer;
An image processing apparatus comprising: a first compression unit that compresses the motion vector of the current layer, which is generated by the motion prediction / compensation unit and is used for the motion prediction / compensation in encoding of another layer.
前記動き予測・補償部により生成された前記カレントレイヤの動きベクトルを、前記第1の圧縮部よりも高圧縮率に圧縮する第2の圧縮部をさらに備え、
前記動き予測・補償部は、前記第2の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項1に記載の画像処理装置。
A second compression unit that compresses the motion vector of the current layer generated by the motion prediction / compensation unit at a higher compression rate than the first compression unit;
The image processing device according to claim 1, wherein the motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the second compression unit.
前記第2の圧縮部は、前記第1の圧縮部により圧縮された前記動きベクトルをさらに圧縮する
請求項2に記載の画像処理装置。
The image processing apparatus according to claim 2, wherein the second compression unit further compresses the motion vector compressed by the first compression unit.
前記動き予測・補償部は、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項1に記載の画像処理装置。
The image processing device according to claim 1, wherein the motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit.
他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを制御する制御部と、
前記制御部の制御に従って、前記第1の圧縮部により圧縮される前の前記動きベクトルと、前記第1の圧縮部により圧縮された前記動きベクトルとのいずれか一方を、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルとして選択する選択部と、
前記制御部の制御に従って、他のレイヤの符号化における前記動き予測・補償に利用される前記カレントレイヤの動きベクトルを圧縮するか否かを示すフラグを生成する生成部と、
前記生成部により生成された前記フラグを伝送する伝送部と
をさらに備える請求項1に記載の画像処理装置。
A control unit for controlling whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer;
According to the control of the control unit, one of the motion vector before being compressed by the first compression unit and the motion vector compressed by the first compression unit is encoded in another layer. A selection unit that selects the motion vector of the current layer used for the motion prediction / compensation in
A generating unit that generates a flag indicating whether or not to compress the motion vector of the current layer used for the motion prediction / compensation in encoding of another layer according to the control of the control unit;
The image processing apparatus according to claim 1, further comprising: a transmission unit that transmits the flag generated by the generation unit.
前記動き予測・補償部は、前記制御部の制御に関わらず、前記第1の圧縮部により圧縮された前記動きベクトルを用いて、前記カレントレイヤの符号化における前記動き予測・補償を行う
請求項5に記載の画像処理装置。
The motion prediction / compensation unit performs the motion prediction / compensation in the encoding of the current layer using the motion vector compressed by the first compression unit regardless of the control of the control unit. 5. The image processing apparatus according to 5.
前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルから、代表値とする動きベクトルを選択することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項1に記載の画像処理装置。
The first compression unit compresses the motion vector of the current layer by selecting a motion vector as a representative value from a plurality of motion vectors generated by the motion prediction / compensation unit. Image processing apparatus.
前記第1の圧縮部は、前記動き予測・補償部により生成された複数の動きベクトルを用いて、代表値とする動きベクトル算出することにより、前記カレントレイヤの動きベクトルを圧縮する
請求項1に記載の画像処理装置。
The first compression unit compresses the motion vector of the current layer by calculating a motion vector as a representative value using a plurality of motion vectors generated by the motion prediction / compensation unit. The image processing apparatus described.
前記動き予測・補償部は、他のレイヤの符号化における前記動き予測・補償において生成された動きベクトルを用いて前記動き予測・補償を行う
請求項1に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the motion prediction / compensation unit performs the motion prediction / compensation using a motion vector generated in the motion prediction / compensation in encoding of another layer.
画像処理装置の画像処理方法において、
前記画像処理装置が、
カレントレイヤの符号化において動き予測・補償を行い、
前記動き予測・補償により生成され、他のレイヤの符号化における前記動き予測・補償に利用される、前記カレントレイヤの動きベクトルを圧縮する
画像処理方法。
In the image processing method of the image processing apparatus,
The image processing apparatus is
Perform motion prediction / compensation in current layer coding,
An image processing method for compressing a motion vector of the current layer generated by the motion prediction / compensation and used for the motion prediction / compensation in coding of another layer.
JP2016146259A 2012-09-03 2016-07-26 Image processing apparatus and method Active JP6260655B2 (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012193607 2012-09-03
JP2012193607 2012-09-03
JP2012286726 2012-12-28
JP2012286726 2012-12-28
JP2013064131 2013-03-26
JP2013064131 2013-03-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014532941A Division JP6260534B2 (en) 2012-09-03 2013-08-21 Image processing apparatus and method

Publications (2)

Publication Number Publication Date
JP2016213875A true JP2016213875A (en) 2016-12-15
JP6260655B2 JP6260655B2 (en) 2018-01-17

Family

ID=50183295

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014532941A Active JP6260534B2 (en) 2012-09-03 2013-08-21 Image processing apparatus and method
JP2016146259A Active JP6260655B2 (en) 2012-09-03 2016-07-26 Image processing apparatus and method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014532941A Active JP6260534B2 (en) 2012-09-03 2013-08-21 Image processing apparatus and method

Country Status (8)

Country Link
US (3) US20150208074A1 (en)
EP (2) EP3687173A1 (en)
JP (2) JP6260534B2 (en)
KR (2) KR102122620B1 (en)
CN (4) CN109413424B (en)
MX (1) MX340603B (en)
RU (2) RU2658793C2 (en)
WO (1) WO2014034480A1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704836B (en) 2012-10-03 2018-04-17 寰发股份有限公司 3 D video, the coding method of multi-view video and scalable video and device
WO2016002496A1 (en) * 2014-06-30 2016-01-07 ソニー株式会社 Information processing device and method
US20180249176A1 (en) * 2015-03-11 2018-08-30 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP6977422B2 (en) * 2017-09-13 2021-12-08 株式会社Jvcケンウッド Transcoding device, transcoding method and transcoding program
CA3078905C (en) 2017-10-20 2023-01-03 Fujitsu Limited Moving image encoding device, moving image encoding method, moving image encoding computer program, moving image decoding device, moving image decoding method, and moving image de coding computer program
KR102456474B1 (en) * 2018-04-27 2022-10-20 삼성디스플레이 주식회사 Image processing circuit, display device having image processing circuit and driving method thereof
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
BR112021021344A2 (en) * 2019-04-25 2022-01-18 Op Solutions Llc Candidates in cadres with global movement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199399A (en) * 2000-12-27 2002-07-12 Sony Corp Method and device for transforming moving vector
JP2004056823A (en) * 2002-07-16 2004-02-19 Samsung Electronics Co Ltd Motion vector encoding/decoding method and apparatus
JP2009513074A (en) * 2005-10-19 2009-03-26 トムソン ライセンシング Multi-view video coding using scalable video coding
JP2010507286A (en) * 2006-10-13 2010-03-04 クゥアルコム・インコーポレイテッド Video coding with adaptive filtering for motion compensated prediction
WO2012096164A1 (en) * 2011-01-12 2012-07-19 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, and image decoding device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4178521B2 (en) * 2004-09-06 2008-11-12 日本ビクター株式会社 Encoded video signal recording method and video signal encoding apparatus
KR100888963B1 (en) * 2004-12-06 2009-03-17 엘지전자 주식회사 Method for scalably encoding and decoding video signal
KR20060088461A (en) * 2005-02-01 2006-08-04 엘지전자 주식회사 Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR100896279B1 (en) * 2005-04-15 2009-05-07 엘지전자 주식회사 Method for scalably encoding and decoding video signal
WO2006126841A1 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method for providing and using information about inter-layer prediction for video signal
KR101375669B1 (en) * 2006-11-07 2014-03-19 삼성전자주식회사 Method and apparatus for encoding/decoding image base on inter prediction
CN101420609B (en) * 2007-10-24 2010-08-25 华为终端有限公司 Video encoding, decoding method and video encoder, decoder
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
TW201041404A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP5950541B2 (en) * 2011-11-07 2016-07-13 キヤノン株式会社 Motion vector encoding device, motion vector encoding method and program, motion vector decoding device, motion vector decoding method and program
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
EP3588958A1 (en) * 2012-08-29 2020-01-01 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
CN104704836B (en) * 2012-10-03 2018-04-17 寰发股份有限公司 3 D video, the coding method of multi-view video and scalable video and device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199399A (en) * 2000-12-27 2002-07-12 Sony Corp Method and device for transforming moving vector
JP2004056823A (en) * 2002-07-16 2004-02-19 Samsung Electronics Co Ltd Motion vector encoding/decoding method and apparatus
JP2009513074A (en) * 2005-10-19 2009-03-26 トムソン ライセンシング Multi-view video coding using scalable video coding
JP2010507286A (en) * 2006-10-13 2010-03-04 クゥアルコム・インコーポレイテッド Video coding with adaptive filtering for motion compensated prediction
WO2012096164A1 (en) * 2011-01-12 2012-07-19 パナソニック株式会社 Image encoding method, image decoding method, image encoding device, and image decoding device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUN XU(外3名): "Non-TE5: Memory reduction for MV data of EL in SHVC", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6013055829, 14 January 2013 (2013-01-14), US, pages 1 - 6 *
YEPING SU AND ANDREW SEGALL: "CE9: Reduced resolution storage of motion vector data", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH M, JPN6017043387, 20 January 2011 (2011-01-20), pages p.1-3. *
YEPING SU(外1名): "On motion vector competition", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 JCTVC, JPN6013055832, 11 October 2010 (2010-10-11), pages 1 - 2, XP002674805 *

Also Published As

Publication number Publication date
EP2892235B1 (en) 2020-07-22
WO2014034480A1 (en) 2014-03-06
CN104604231A (en) 2015-05-06
JPWO2014034480A1 (en) 2016-08-08
EP3687173A1 (en) 2020-07-29
US20170208338A1 (en) 2017-07-20
EP2892235A4 (en) 2016-04-27
US10349076B2 (en) 2019-07-09
CN109413425B (en) 2023-04-14
KR20150052016A (en) 2015-05-13
EP2892235A1 (en) 2015-07-08
CN104604231B (en) 2018-12-18
RU2015106126A (en) 2016-09-10
JP6260534B2 (en) 2018-01-17
MX2015002453A (en) 2015-06-05
RU2680741C2 (en) 2019-02-26
CN109413424B (en) 2022-11-15
US10616598B2 (en) 2020-04-07
CN105141964B (en) 2018-07-03
JP6260655B2 (en) 2018-01-17
RU2018117906A3 (en) 2019-02-01
US20190238881A1 (en) 2019-08-01
CN105141964A (en) 2015-12-09
KR20200039836A (en) 2020-04-16
CN109413425A (en) 2019-03-01
KR102221615B1 (en) 2021-03-02
RU2658793C2 (en) 2018-06-22
MX340603B (en) 2016-07-15
KR102122620B1 (en) 2020-06-12
CN109413424A (en) 2019-03-01
US20150208074A1 (en) 2015-07-23
RU2018117906A (en) 2018-07-25

Similar Documents

Publication Publication Date Title
JP6260655B2 (en) Image processing apparatus and method
JP6525073B2 (en) Image processing apparatus and method
US10812826B2 (en) Image processing apparatus and image processing method
JP6607414B2 (en) Image coding apparatus and method
JPWO2015005137A1 (en) Image coding apparatus and method
JP6172155B2 (en) Image processing apparatus and method
WO2015005136A1 (en) Image encoding device and method, and image decoding device and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171127

R151 Written notification of patent or utility model registration

Ref document number: 6260655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250