JP2016067043A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
JP2016067043A
JP2016067043A JP2015248433A JP2015248433A JP2016067043A JP 2016067043 A JP2016067043 A JP 2016067043A JP 2015248433 A JP2015248433 A JP 2015248433A JP 2015248433 A JP2015248433 A JP 2015248433A JP 2016067043 A JP2016067043 A JP 2016067043A
Authority
JP
Japan
Prior art keywords
bit length
image
pixel bit
uncompressed
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015248433A
Other languages
English (en)
Other versions
JP6065095B2 (ja
Inventor
慶一 蝶野
Keiichi Chono
慶一 蝶野
裕三 仙田
Yuzo Senda
裕三 仙田
純二 田治米
Junji Tajime
純二 田治米
啓史 青木
Hirofumi Aoki
啓史 青木
健太 先崎
Kenta Senzaki
健太 先崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2016067043A publication Critical patent/JP2016067043A/ja
Application granted granted Critical
Publication of JP6065095B2 publication Critical patent/JP6065095B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

【課題】画素ビット長増加とＰＣＭ符号化に基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制する。【解決手段】映像復号装置は、エントロピー符号化された画像の画素ビット長と、非圧縮符号化された画像の画素ビット長との差分に基づいて、非圧縮復号手段の入力データに対応する画像の画素ビット長を増加し、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される。【選択図】図４

Description

本発明は、画素ビット長増加と非圧縮符号化を用いる映像符号化装置及び映像復号装置に関する。
映像情報を高い効率で伝送したり蓄積することを目的とした映像符号化方式として非特許文献２に記載されたＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）規格の符号化方式がある。また、非特許文献１では、映像符号化に際して、入力画像の画素ビット長を拡張させる（増加させる）ことによって、画面内予測（イントラ予測）や動き補償予測（フレーム間予測）の演算精度を高めて映像符号化の圧縮効率を向上させることが提案されている。
また、特許文献１では、所定の符号化単位で、エントロピー符号化と非圧縮符号化（ＰＣＭ符号化）とを切り替えることによって、映像符号化装置や映像復号装置にある一定の処理時間を保証させることが提案されている。
特開２００４−１３５２５１号公報
野田玲子、中條健、"画素ビット長拡張による動画像符号化効率改善方式"，情報科学技術フォーラム 2006 J-009，2006年 ＩＳＯ／ＩＥＣ １４４９６−１０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ
図１６は、非特許文献１に記載された技術と特許文献１に記載された技術とを単純に組み合わせて得られる映像符号化装置を示すブロック図である。以下、図１６に示す映像符号化装置を一般的な映像符号化装置と呼ぶ。
図１６を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
図１６に示す映像符号化装置は、画素ビット長増加器１０１、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、およびスイッチ１２２を備える。
図１６に示す映像符号化装置は、フレームをＭＢ（Macro Block ：マクロブロック）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献２に記載されているＡＶＣにおいては、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。
図１７は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各構成要素の動作を説明する。
画素ビット長増加器１０１は、外部から設定される画素ビット長増加情報に基づいて、ブロック分割された入力映像の画素ビット長を増加させる。入力映像の画素ビット長をbit_depth_luma、画素ビット長増加情報（増加する画素ビット長）をincreased_bit_depth_lumaとすると、画素ビット長増加器１０１は、入力映像の各画素値を左にincreased_bit_depth_lumaビットシフトする。よって、画素ビット長増加器１０１の出力データの画素ビット長は、bit_depth_luma+increased_bit_depth_lumaビットとなる。
画素ビット長増加器１０１から出力される画素ビット長増加済み画像は、予測器１０６から供給される予測信号が減じられた後、変換／量子化器１０２に入力される。予測信号には、イントラ予測信号とフレーム間予測信号の２種類がある。それぞれの予測信号を説明する。
イントラ予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。非特許文献２の8.3.1 Intra_４×４ prediction process for luma sample、8.3.2 Intra_８×８ prediction process for luma samples 、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、イントラ予測については、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
図１８（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８は、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図中の丸（○）はイントラ予測に用いる参照画素、つまり、前記現在のピクチャと表示時刻が同一である再構築ピクチャの画素を示す。
Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図１８（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１８（ｃ）における右矢印の下に記載のローパスフィルタ（１／２、１／４、１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１８（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
図１９（ａ）を参照すると、Intra_１６×１６は、１６×１６ブロックサイズのイントラ予測であることが分かる。図１８に示された例と同様に、図１９において、図中の丸（○）はイントラ予測に用いる参照画素、つまり、前記現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図１９（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢと呼ぶ。イントラ予測のブロックサイズをイントラ予測モードと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。
フレーム間予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢと呼ぶ。インターＭＢのブロックサイズとして、例えば、１６×１６、１６×８、 ８×１６、 ８×８、８×４、４×８、４×４を選択することができる。
図２０は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図２０に示す動きベクトルＭＶ＝（ｍｖｘ，ｍｖｙ）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を示す、フレーム間予測の予測パラメータの一つである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいて、バッファ１０５に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。
なお、フレーム間予測のより詳細な説明が、非特許文献２の8.4 Inter prediction processに記載されている。
以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢと呼ぶ。フレーム間予測のブロックサイズをインター予測モードという。また、フレーム間予測の方向をインター予測方向と呼ぶ。
なお、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測と呼ぶ。
変換／量子化器１０２は、予測信号が減じられた画素ビット長増加済み画像（予測誤差画像）を周波数変換する。
さらに、変換／量子化器１０２は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaに応じた量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。通常の量子化ステップ幅をＱsluma とすると、例えば、Ｑs ＝Ｑsluma ＊２increased_bit_depth_lumaとする。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
エントロピー符号化器１０３は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータとは、上述したイントラＭＢ／インターＭＢ、イントラ予測モード、イントラ予測方向、インターＭＢブロックサイズ、および動きベクトルなど、ＭＢの予測に関連した情報である。
逆変換／逆量子化器１０４は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaに応じた量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。
多重化データ選択器１０９は、エントロピー符号化器１０３に対する所定の符号化単位（例えば、マクロブロック）の入力データ量を監視する。所定の符号化単位に対応する処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択するようにスイッチ１２１を制御する。その結果、エントロピー符号化器１０３の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択するようにスイッチ１２２を制御する。その結果、逆変換／量子化器１０４の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、画素ビット長増加器１０１の出力データをＰＣＭ符号化したＰＣＭ符号化器１０７の出力データを選択するようにスイッチ１２１を制御する。その結果、ＰＣＭ符号化器１０７の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データをＰＣＭ復号したＰＣＭ復号器１０８の出力データを選択するようにスイッチ１２２を制御する。その結果、ＰＣＭ復号器１０８の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
バッファ１０５は、スイッチ１２２を介して供給される再構築画像を格納する。1フレーム分の再構築画像を再構築ピクチャと呼ぶ。
多重化器１１０は、画素ビット長増加情報、およびエントロピー符号化器１０３の出力データとＰＣＭ符号化器１０７の出力データを多重化して出力する。
上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
上述した、一般的な技術を用いた場合に、イントラ予測やフレーム間予測の演算精度を画素ビット長拡張によって高めることと、映像符号化装置や映像復号装置がある一定の処理時間を保証することとを両立できる。
しかし、上述した一般的な技術においては、画素ビット長増加させた画像をＰＣＭ符号化する。すると、ＰＳＮＲ（Peak Signal to Noise Ratio ）改善が得られないにも関わらず、画素ビット長増加分だけＰＣＭ符号化の出力データが増加するという課題がある。例えば、bit_depth_lumaが８ビット、increased_bit_depth_lumaが８ビットである場合、ＰＣＭ符号化の出力データ量は入力画像８ビットの２倍の１６ビットになる。
そこで、本発明は、画素ビット長増加と非圧縮符号化に基づいた映像符号化において、非圧縮符号化の出力データの増加を抑制することを目的とする。
本発明による映像符号化装置は、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させる画素ビット長増加手段と、画素ビット長増加手段の出力データを変換する変換手段と、変換手段の出力データをエントロピー符号化するエントロピー符号化手段と、変換手段の出力データを逆変換する逆変換手段と、逆変換された画像にイントラ予測信号を加算する加算手段と、入力データを非圧縮符号化する非圧縮符号化手段と、非圧縮符号化手段の出力データを復号する非圧縮復号手段と、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する多重化手段とを備える映像符号化装置であって、非圧縮復号手段は、少なくとも画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加し、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明による映像復号装置は、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除する多重化解除手段と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段と、エントロピー復号した画像の変換データを逆変換する逆変換手段と、逆変換された画像にイントラ予測信号を加算する加算手段と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段と、エントロピー復号手段および非圧縮復号手段を制御する復号制御手段とを備え、非圧縮復号手段は、エントロピー符号化された画像の画素ビット長と、非圧縮符号化された画像の画素ビット長との差分に基づいて、非圧縮復号手段の入力データに対応する画像の画素ビット長を増加し、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明による映像符号化方法は、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換して変換データを生成し、変換データをエントロピー符号化し、変換データを逆変換し、逆変換された画像にイントラ予測信号を加算し、入力データを非圧縮符号化し、非圧縮符号化したデータを復号し、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する映像符号化方法であって、非圧縮符号化したデータを復号するときに、少なくとも画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加し、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明による映像復号方法は、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除し、ビットストリームに含まれる画像の変換データをエントロピー復号し、エントロピー復号した画像の変換データを逆変換し、逆変換された画像にイントラ予測信号を加算し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号し、エントロピー復号と非圧縮復号とを制御する映像復号方法であって、非圧縮符号化したデータを復号するときに、エントロピー符号化された画像の画素ビット長と、非圧縮符号化された画像の画素ビット長との差分に基づいて、非圧縮復号の入力データに対応する画像の画素ビット長を増加し、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明による映像符号化プログラムは、コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換して変換データを生成する処理と、変換データをエントロピー符号化する処理と、変換データを逆変換する処理と、逆変換された画像にイントラ予測信号を加算する処理と、入力データを非圧縮符号化する処理と、非圧縮符号化したデータを復号する処理と、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する処理とを実行させるための映像符号化プログラムであって、非圧縮符号化したデータを復号するときに、少なくとも画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加する処理を実行させ、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明による映像復号プログラムは、コンピュータに、少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、エントロピー復号した画像の変換データを逆変換する処理と、逆変換された画像にイントラ予測信号を加算する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する処理と、エントロピー復号と非圧縮復号とを制御する処理とを実行させるための映像復号プログラムであって、非圧縮符号化したデータを復号するときに、エントロピー符号化された画像の画素ビット長と、非圧縮符号化された画像の画素ビット長との差分に基づいて、非圧縮復号の入力データに対応する画像の画素ビット長を増加する処理を実行させ、イントラ予測信号は、逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成されることを特徴とする。
本発明によれば、画素ビット長増加と非圧縮符号化に基づいた映像符号化において、非圧縮符号化の出力データの増加を抑制することができる。
第１の実施形態の映像符号化装置のブロック図である。 シーケンスパラメータにおける画素ビット長増加情報を示す説明図である。 第１の実施形態の映像符号化装置の処理を示すフローチャートである。 第２の実施形態の映像復号装置のブロック図である。 第２の実施形態の映像復号装置の処理を示すフローチャートである。 他の実施形態の映像符号化装置のブロック図である。 シーケンスパラメータにおける画素ビット長増加情報の他の例を示す説明図である。 シーケンスパラメータにおける画素ビット長増加情報のさらに他の例を示す説明図である。 シーケンスパラメータにおける画素ビット長増加情報の別の例を示す説明図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による他の映像符号化装置の主要部を示すブロック図である。 本発明によるさらに他の映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 本発明による他の映像復号装置の主要部を示すブロック図である。 一般的な映像符号化装置を示すブロック図である。 ブロック分割の例を示す説明図である。 予測の種類を説明するための説明図である。 予測の種類を説明するための説明図である。 １６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。
実施形態１．
本実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせる手段、画素ビット長増加情報に基づいてＰＣＭ復号の復号画像の画素ビット長を増加させる手段、および画素ビット長増加情報をビットストリームに多重化する手段を備える。
図１に示すように、本実施の形態の映像符号化装置は、図１６に示された一般的な映像符号化装置が備えていた画素ビット長増加器１０１、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、およびスイッチ１２２に加えて、画素ビット長増加情報に基づいてＰＣＭ復号器１０８の復号画像の画素ビット長を増加させるための画素ビット長増加器１１１を備える。
また、図１と図１６とを比較すると、本実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７に供給することが分かる。なお、前記エントロピー符号化の出力データに対応する画像とは、変換／量子化器１０２に供給される画素ビット長増加された入力映像の画像、および、逆変換／逆量子化器１０４から供給される前記画素ビット長増加された入力映像の画像の再構築画像である。また、前記ＰＣＭ符号化の出力データに対応する画像とは、ＰＣＭ符号化器１０７に供給される画素ビット長増加されていない入力映像の画像、および、ＰＣＭ復号器１０８から供給される前記画素ビット長増加されていない入力映像のＰＣＭ復号画像である。
画素ビット長増加器１０１は、外部から設定される画素ビット長増加情報に基づいて、ブロック分割された入力映像の画素ビット長を増加させる。
入力映像の輝度の画素ビット長をbit_depth_luma、輝度の画素ビット長増加情報（増加する画素ビット長）をincreased_bit_depth_lumaとすると、画素ビット長増加器１０１は、入力映像の輝度の各画素値を左にincreased_bit_depth_lumaビットシフトする。よって、画素ビット長増加器１０１の出力データの画素ビット長は、bit_depth_luma+increased_bit_depth_lumaビットとなる。同様に、色差（CbとCrの成分）については、入力映像の色差の画素ビット長をbit_depth_chroma、色差の画素ビット長増加情報をincreased_bit_depth_chromaとすると、画素ビット長増加器１０１は、入力映像の色差の各画素値を左にincreased_bit_depth_lumaビットシフトする。
画素ビット長増加器１０１から出力される画素ビット長増加済み画像は、予測器１０６から供給される予測信号が減じられて、変換／量子化器１０２に入力される。変換／量子化器１０２は、予測信号が減じられた画素ビット長増加済み画像（予測誤差画像）を周波数変換する。
さらに、変換／量子化器１０２は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。通常の輝度の量子化ステップ幅をＱsluma とすると、例えば、Ｑs ＝Ｑsluma ＊２increased_bit_depth_lumaとする。以後、量子化された周波数変換係数を変換量子化値と呼ぶ。
エントロピー符号化器１０３は、予測器１０６から供給される予測パラメータと変換／量子化器１０２から供給される変換量子化値をエントロピー符号化する。予測パラメータとは、イントラＭＢ／インターＭＢ、イントラ予測モード、イントラ予測方向、インターＭＢブロックサイズ、および、動きベクトルなど、マクロブロックの予測に関連した情報である。
逆変換／逆量子化器１０４は、画素ビット長増加器１０１が増加させた画素ビット長increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。
ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。ＰＣＭ符号化器１０７の輝度の出力データpcm_sample_luma[i]は、入力映像の輝度の画素ビット長bit_depth_lumaとなる。ただし、ｉ（０≦ｉ≦２５５）は該マクロブロック内のラスタスキャン順でのインデックスである。同様に、ＰＣＭ符号化器１０７の色差の出力データpcm_sample_chroma[i] （ｉ：０≦ｉ≦１２７）は、入力映像の色差の画素ビット長bit_depth_chromaとなる。
ＰＣＭ復号器１０８は、pcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。以下、ＰＣＭ復号を、ＰＣＭデータ読み込みと呼ぶことがある。
画素ビット長増加器１１１は、ＰＣＭデータ読み込みしたpcm_sample_luma[i]を左にincreased_bit_depth_lumaビットシフトする。よって、ＰＣＭ復号器１０８を介して得られた再構築画像は、bit_depth_luma+increased_bit_depth_lumaビットとなって、スイッチ１２２に供給される。同様に、ＰＣＭデータ読み込みしたpcm_sample_chroma[i]は左にincreased_bit_depth_chromaビットシフトされて、スイッチ１２２に供給される。
多重化データ選択器１０９は、エントロピー符号化器１０３に対する所定の符号化単位（例えば、マクロブロック）の入力データ量を監視する。所定の符号化単位に対応する処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択するようにスイッチ１２１を制御する。その結果、エントロピー符号化器１０３の出力データが、スイッチ１２１を介して多重化器１１０に供給される。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択するようにスイッチ１２２を制御する。その結果、逆変換／量子化器１０４の出力データが、スイッチ１２２を介してバッファ１０５に供給される。
処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、まず、該マクブロックがＰＣＭのイントラＭＢであることを示す情報をエントロピー符号化器１０３に符号化出力させる。具体的には、非特許文献２の7.3.5 Macroblock layer syntax に従うと、mb_type をI_PCM としてエントロピー符号化出力させる。
続いて、エントロピー符号化器１０３の出力ビットをバイトアラインする。具体的には、非特許文献２の7.3.5 Macroblock layer syntax に従うと、エントロピー符号化器１０３が、所定量のpcm_alignment_zero_bitを多重化器１１０に供給する。また、以後の符号化のために、エントロピー符号化器１０３が符号化エンジンを初期化する。
なお、符号化エンジン初期化の一例が、非特許文献２の9.3.4.1 Initialization process for the arithmetic encoding engine （informative ）に記載されている。
さらに、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データを選択するようにスイッチ１２１を制御する。その結果、ＰＣＭ符号化器１０７の出力データが、スイッチ１２１を介して多重化器１１０に供給される。
最後に、多重化データ選択器１０９は、画素ビット長増加器１１１の出力データを選択するようにスイッチ１２２を制御する。その結果、画素ビット長増加器１１１の出力データが、スイッチ１２２を介してバッファ１０５に供給される。なお、画素ビット長増加器１１１は、ＰＣＭ符号化器１０７の出力データpcm_sample_luma[i]を読み込んだＰＣＭ復号器１０８の出力データpcm_sample_luma[i]を左にincreased_bit_depth_lumaビットシフトしてビット数を増やしている。同様に、画素ビット長増加器１１１は、ＰＣＭ符号化器１０７の出力データpcm_sample_chroma[i]を読み込んだＰＣＭ復号器１０８の出力データpcm_sample_ chroma [i]を左にincreased_bit_depth_chromaビットシフトしてビット数を増やしている。
多重化器１１０は、画素ビット長増加情報、およびエントロピー符号化器１０３の出力データとＰＣＭ符号化器１０７の出力データを多重化して出力する。非特許文献２のSpecification of syntax functions, categories, and descriptorsに従うと、図２に示すリストに記載されているように、シーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続させて、画素ビット長増加情報（increased_bit_depth_lumaおよびincreased_bit_depth_chroma）を多重化することが考えられる。ただし、bit_depth_luma_minus8 は入力映像の輝度の画素ビット長bit_depth_lumaから８を減じた値、bit_depth_chroma_minus8 は入力映像の色差の画素ビット長bit_depth_chromaから８を減じた値、increased_bit_depth_lumaは輝度の増加画素ビット長、そして、increased_bit_depth_chromaは色差の増加画素ビット長である。
なお、図２に示すリストにおける表記（”C”や”Descriptor”）については、例えば、非特許文献２の7.2 Specification of syntax functions, categories, and descriptorsに従うとする。
上述した動作に基づいて、本実施形態の映像符号化装置はビットストリームを生成する。
次に、本発明の特徴である処理時間内でエントロピー符号化することが可能でない場合のエントロピー符号化器１０３、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８および画素ビット長増加器１１１の動作を図３のフローチャートを参照して説明する。
図３に示すように、ステップＳ１０１では、映像符号化装置や映像復号装置にある一定の処理時間を保証させるために、エントロピー符号化器１０３が、mb_typeをI_PCMとしてエントロピー符号化し多重化器１１０に供給する。
ステップＳ１０２では、エントロピー符号化器１０３が、出力ビットをバイトアラインさせるために、pcm_alignment_zero_bitを多重化器１１０に供給する。
ステップＳ１０３では、以降のエントロピー符号化のために、エントロピー符号化器１０３が符号化エンジンを初期化する。
ステップＳ１０４では、ＰＣＭ符号化の出力データを増加させないように、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７がＰＣＭ符号化し多重化器１１０に供給する。
ステップＳ１０５では、ＰＣＭ復号器１０８が、ＰＣＭ符号化の結果pcm_sample_luma[i]およびpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
ステップＳ１０６では、以降のイントラ予測やフレーム間予測の演算精度を高めるために、画素ビット長増加器１１１が、ＰＣＭ復号器１０８がＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]を左にそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaでビットシフトする。
以上のように、所定の符号化単位に対応する処理時間内でエントロピー符号化を行うことが可能でない場合において、エントロピー符号化器１０３およびＰＣＭ符号化器１０７の動作が実行される。
本実施形態の映像符号化装置では、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像がＰＣＭ符号化器１０７に供給される。そのような構成に基づいて、画素ビット長増加と非圧縮符号化とに基づいた映像符号化において、ＰＣＭ符号化の出力データの増加を抑制できる。
また、本実施形態の映像符号化装置は、画素ビット長増加情報に基づいて、ＰＣＭ復号の復号画像の画素ビット長を増加させる画素ビット長増加器１１１を備える。画素ビット長増加器１１１によって、画素ビット長を異ならせることに起因する、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
さらに、本実施形態の映像符号化装置では、多重化器１１０は、映像復号でも同様にＰＣＭ復号の復号画像の画素ビット長を増加させるために、画素ビット長増加情報をビットストリームに多重化する。そのような構成に基づいて、映像符号化装置と映像復号装置の相互運用性を高めることができる。すなわち、映像符号化装置と映像復号装置とが共動して、システムにおけるＰＣＭ符号化の増加を抑制できるとともに、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
実施形態２．
本実施形態の映像復号装置では、エントロピー復号手段とＰＣＭ復号手段のそれぞれの入力データに対応する画像の画素ビット長が互いに異なるビットストリームを復号する。なお、前記エントロピー復号手段の入力データに対応する画像とは、後述する逆変換／逆量子化器２０６から供給される画素ビット長増加された入力映像の画像の再構築画像である。また、前記ＰＣＭ復号手段の入力データに対応する画像とは、後述するＰＣＭ復号器２０３から供給される画素ビット長増加されていない入力映像のＰＣＭ復号画像である。
図４に示すように、本実施の形態の映像復号装置は、多重化解除器２０１、復号制御器２０２、ＰＣＭ復号器２０３、エントロピー復号器２０４、画素ビット長増加器２０５、逆変換／逆量子化器２０６、予測器２０７、バッファ２０８、画素ビット長減少器２０９、スイッチ２２１、およびスイッチ２２２を備える。
多重化解除器２０１は、入力されるビットストリームを多重化解除して、画素ビット長増加情報、およびエントロピー符号化もしくはＰＣＭ符号化された映像ビットストリームを抽出する。非特許文献２のSpecification of syntax functions, categories, and descriptorsに従うと、図２に示すリストに記載されているようにシーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続する、画素ビット長増加情報（increased_bit_depth_lumaおよびincreased_bit_depth_chroma）を抽出する。
エントロピー復号器２０４は、映像ビットストリームをエントロピー復号する。マクロブロックのmb_type がI_PCM （ＰＣＭ符号化）ではない場合には、エントロピー復号器２０４は、該マクロブロックの予測パラメータおよび変換量子化値をエントロピー復号して、逆変換／逆量子化器２０６および予測器２０７に供給する。
逆変換／逆量子化器２０６は、多重化解除によって抽出した画素ビット長増加情報increased_bit_depth_lumaおよびincreased_bit_depth_chromaに応じた量子化ステップ幅で、輝度および色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０６は、逆量子化した周波数変換係数を逆周波数変換する。
予測器２０７は、エントロピー復号した予測パラメータに基づいて、バッファ２０８に格納された再構築ピクチャの画像を用いて予測信号を生成する。
逆変換／逆量子化器２０６で逆周波数変換された再構築予測誤差画像は、予測器２０７から供給される予測信号が加えられた後、スイッチ２２２に供給される。
復号制御器２０２は、予測信号が加えられた再構築予測誤差画像が再構築画像としてバッファ２０８に供給されるようにスイッチ２２２を切り替える。
マクロブロックのmb_type がＰＣＭ符号化の場合、復号制御器２０２は、多重化解除器２０１に、エントロピー復号途中の映像ビットストリームをバイトアラインさせる。非特許文献２の7.3.5 Macroblock layer syntaxに従うと、多重化解除器２０１に、映像ビットストリームがバイトアラインするまでpcm_alignment_zero_bitを読み出させる。
次に、復号制御器２０２は、エントロピー復号器２０４の復号エンジンを初期化させる。なお、復号エンジン初期化の一例が、非特許文献２の9.3.1.2 Initialization process for the arithmetic decoding engineに記載されている。
続いて、復号制御器２０２は、バイトアラインした映像ビットストリームがＰＣＭ復号器２０３に供給されるようにスイッチ２２１を切り替える。
ＰＣＭ復号器２０３は、バイトアラインした映像ビットストリームからＰＣＭ符号化された輝度データpcm_sample_luma[i]および色差データpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
画素ビット長増加器２０５は、多重化解除によって抽出された画素ビット長増加情報increased_bit_depth_lumaとincreased_bit_depth_chromaに従って、ＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれ左にビットシフトする。非特許文献２の8.3.5 Sample construction process for I_PCM macroblocks の記述に従うと、ＰＣＭ復号輝度画像S'LおよびＰＣＭ復号色差画像S'CbとS'Crは、以下の式（8-154’）および式（8-155’）によって計算される。
for(i = 0; i < 256; i++ )
S'L[ xP + ( i % 16), yP + dy * ( i / 16)) ] = (pcm_sample_luma[ i ]<<increased_bit_depth_luma) （8-154'）
for( i = 0; i < MbWidthC * MbHeightC; i++ ) {
S'Cb[ ( xP / SubWidthC ) + ( i % MbWidthC ), ( ( yP + SubHeightC − 1) / SubHeightC ) + dy * ( i / MbWidthC ) ] =
(pcm_sample_chroma[ i ]<< increased_bit_depth_chroma)
S'Cr[ ( xP / SubWidthC ) + ( i % MbWidthC ),( ( yP + SubHeightC − 1 ) / SubHeightC ) + dy * ( i / MbWidthC ) ] =
(pcm_sample_chroma[ i + MbWidthC * MbHeightC ]<< increased_bit_depth_chroma)
} （8-155’）
復号制御器２０２は、画素ビット長を増加させたＰＣＭ復号画像が再構築画像としてバッファ２０８に供給されるようにスイッチ２２２を切り替える。次マクロブロックの復号のために、復号制御器２０２は、多重化解除器２０１の出力データがエントロピー復号器２０４に供給されるようにスイッチ２２１を切り替える。
画素ビット長減少器２０９は、多重化解除によって抽出された画素ビット長増加情報increased_bit_depth_lumaおよびincreased_bit_depth_chromaに従って、バッファ２０８に格納された再構築ピクチャの画素ビット長を減少させて出力する。
上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
次に、発明の特徴であるマクロブロックのmb_type がＰＣＭ符号化の場合での復号制御器２０２、エントロピー復号器２０４、ＰＣＭ復号器２０３および画素ビット長増加器２０５の動作を図５のフローチャートを参照して説明する。
ステップＳ２０１では、多重化解除器２０１は、エントロピー復号途中の映像ビットストリームをバイトアラインさせるため、pcm_alignment_zero_bitを読み取る。
ステップＳ２０２では、以降のエントロピー復号のために、エントロピー復号器２０４が復号エンジンを初期化する。
ステップＳ２０３では、ＰＣＭ復号器２０３が、ＰＣＭ符号化の結果pcm_sample_luma[i]およびpcm_sample_chroma[i]をＰＣＭ復号（ＰＣＭデータ読み込み）する。
ステップＳ２０４では、以降のイントラ予測やフレーム間予測の演算精度を高めるために、画素ビット長増加器２０５が、ＰＣＭデータ読み込みしたpcm_sample_luma[i]とpcm_sample_chroma[i]を左にそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaでビットシフトする。
以上のように、マクロブロックのmb_type がＰＣＭ符号化の場合において、復号制御器２０２、エントロピー復号器２０４、ＰＣＭ復号器２０３および画素ビット長増加器２０５の動作が実行される。
本実施形態の映像復号装置は、多重化解除によって抽出された画素ビット長増加情報に基づいて、ＰＣＭ復号の復号画像の画素ビット長を増加させる画素ビット長増加器２０５を備える。画素ビット長増加器２０５を備えることによって、エントロピー復号手段とＰＣＭ復号手段のそれぞれの入力に対応する画像の画素ビット長を異ならせることに起因する、イントラ予測やフレーム間予測の演算精度低下を抑制できる。また、映像復号と同一の再構築画像が得られるので、映像符号化装置と映像復号装置の相互運用性を高めることができる。すなわち、映像符号化装置と映像復号装置とが共動して、システムにおけるＰＣＭ符号化の増加を抑制できるとともに、イントラ予測やフレーム間予測の演算精度低下を抑制できる。
図１に示された第１実施形態の映像符号化装置は、エントロピー符号化の出力データとＰＣＭ符号化の出力データのそれぞれに対応する画像の画素ビット長を互いに異ならせるために、画素ビット長を増加させる前の入力画像をＰＣＭ符号化器１０７に供給する映像符号化装置であった。
図６は、図１に示された映像符号化装置と同等の効果を奏する他の構成の映像符号化装置を示すブロック図である。
図１に示された映像符号化装置と比較すると、図６に示す映像符号化装置には、画素ビット長減少器１１２が追加されている。すなわち、図６に示す映像符号化装置では、画素ビット長増加した画像を入力する画素ビット長減少器１１２が、画素ビット長増加情報に基づいて画素ビット長減少させた画像をＰＣＭ符号化器１０７に供給する構成となっている。第１の実施形態と同様に、図６に示す映像符号化装置は、ＰＣＭ符号化の出力データの増加を抑制でき、かつ、画素ビット長を異ならせることに起因するイントラ予測やフレーム間予測の演算精度低下を抑制できる。
また、上記の各実施形態では、再構築ピクチャの画素は画素ビット長増加された画素である。しかし、再構築ピクチャを格納するバッファサイズを削減するために、バッファの入出力に上記の画素ビット長増加器および画素ビット長減少器を利用する実施形態も考えられる。そのような実施形態においても、本発明によれば、ＰＣＭ符号化の出力データの増加抑制、及び、前記画素ビット長を互いに異ならせることに起因する、イントラ予測の演算精度低下抑制を両立できる。
また、上記の各実施形態では、ＰＣＭ復号器と画素ビット長増加器とは独立した機能ブロックであった。しかし、式（8-154’）および式（8-155’）から容易に類推できるように、ＰＣＭ復号器と画素ビット長増加器とを統合して一つの機能ブロックとすることも可能である。
また、上記の各実施形態では、映像符号化装置は、明示的に画素ビット長増加情報を映像復号装置にシグナリングするために、bit_depth_luma_minus8 とbit_depth_chroma_minus8 に後続して、increased_bit_depth_lumaおよびincreased_bit_depth_chromaをビットストリームに多重化した（図２参照）。しかし、映像符号化装置は、暗黙的に画素ビット長増加情報を映像復号装置にシグナリングするために、画素ビット長増加情報として画素ビット長増加後の画素ビット長情報をそのままビットストリームに多重化することも可能である（ただし、映像符号化装置と映像復号装置において、入力映像の元の画素ビット長を例えば８ビットと想定する。）。
この場合、映像符号化装置は、シーケンスパラメータのbit_depth_luma_minus8 とbit_depth_chroma_minus8 の代わりに、図７に示す画素ビット長増加情報（internal_bit_depth_luma_minus8およびinternal_bit_depth_chroma_minus8）をシーケンスパラメータに多重化する。ただし、internal_bit_depth_luma_minus8 はincreased_bit_depth_lumaの値、internal_bit_depth_chroma_minus8 はincreased_bit_depth_chromaの値である。
図７に示す画素ビット長増加情報をシーケンスパラメータに多重化する場合、ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ符号化する。ＰＣＭ復号器１０８は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaだけ左にビットシフトする。
図７に示す画素ビット長増加情報をシーケンスパラメータに多重化する場合に対応する映像復号装置は、画素ビット長増加情報（internal_bit_depth_luma_minus8およびinternal_bit_depth_chroma_minus8）をシーケンスパラメータから多重化解除し、increased_bit_depth_lumaおよびincreased_bit_depth_chromaを以下のように計算する。
increased_bit_depth_luma = internal_bit_depth_luma_minus8
increased_bit_depth_chroma = internal_bit_depth_chroma_minus8
上記の計算によって、映像復号装置は、映像符号化装置が暗黙的にシグナリングした画素ビット長増加情報を多重化解除できる。
なお、上述した映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングする場合において、入力映像の元の画素ビット長が８ビットよりも長い場合に無歪みでＰＣＭ符号化できなくなる問題がある。例えば、入力映像の元の画素ビット長が１０ビットである場合に８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] では量子化歪みが発生する。
入力映像の元の画素ビット長がＮビット（Ｎ＞８）である場合に量子化歪みなしのＰＣＭ符号化をサポートするために、図８に示すように、ＰＣＭのビット長が画素ビット長増加後の画素ビット長であるか否かを示すフラグpcm_sample_bit_depth_is_internal_bit_depth_flag をシーケンスパラメータに追加してもよい。
pcm_sample_bit_depth_is_internal_bit_depth_flag が０の場合、ＰＣＭ符号化器１０７は、画素ビット長を増加させる前の入力画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ符号化する。ＰＣＭ復号器１０８は、８ビットのpcm_sample_luma[i]およびpcm_sample_croma[i] をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_luma（＝internal_bit_depth_luma_minus8）とincreased_bit_depth_chroma（＝internal_bit_depth_chroma_minus8 ）だけ左にビットシフトする。
pcm_sample_bit_depth_is_internal_bit_depth_flag が１の場合、ＰＣＭ符号化器１０７は、画素ビット長を増加した画像をＰＣＭ符号化する。すなわち、ＰＣＭ符号化器１０７は、Ｎビット（internal_bit_depth_luma_minus8＋８ビット）のpcm_sample_luma[i]およびＮビット（internal_bit_depth_chroma_minus8＋８ビット）のpcm_sample_croma[i] をＰＣＭ符号化する。ＰＣＭ復号器１０８は、Ｎビットのpcm_sample_luma[i]およびＮビットのpcm_sample_croma[i]をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i] を０ビットだけ左にビットシフトする（すなわち、左にビットシフトをしない）。
また、入力映像の元の画素ビット長がＮビット（Ｎ＞８）である場合に量子化歪みなしのＰＣＭ符号化をサポートするために、pcm_sample_bit_depth_is_internal_bit_depth_flag の代わりに、図９に示すように、輝度および色差それぞれのＰＣＭのビット長pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加してもよい。
pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加する場合、ＰＣＭ符号化器１０７は、pcm_sample_bit_depth_luma_minus8＋８ ビットのpcm_sample_luma[i]およびpcm_sample_bit_depth_chroma_minus8＋８ ビットのpcm_sample_croma[i] をＰＣＭ符号化する。pcm_sample_bit_depth_luma_minus8およびpcm_sample_bit_depth_chroma_minus8をシーケンスパラメータに追加する場合に対応するＰＣＭ復号器１０８は、pcm_sample_bit_depth_luma_minus8＋８ビットのpcm_sample_luma[i]およびpcm_sample_bit_depth_chroma_minus8＋８ビットのpcm_sample_croma[i] をＰＣＭ復号する。また、画素ビット長増加器１１１は、ＰＣＭ復号したpcm_sample_luma[i]とpcm_sample_chroma[i]をそれぞれincreased_bit_depth_lumaとincreased_bit_depth_chromaビットだけ左にビットシフトする。ただし、increased_bit_depth_lumaおよびincreased_bit_depth_chromaを以下のように計算する。
increased_bit_depth_luma = internal_bit_depth_luma_minus8 - pcm_sample_bit_depth_luma_minus8
increased_bit_depth_chroma = internal_bit_depth_chroma_minus8 - pcm_sample_bit_depth_chroma_minus8
上記の計算から明らかなように、increased_bit_depth_lumaが０よりも大きく、かつ、internal_bit_depth_luma_minus8＋８がＮ未満である場合、映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングしたことを意味する。同様に、internal_bit_depth_chroma_minus8＋８がＮ未満である場合、映像符号化装置が暗黙的に画素ビット長増加情報を映像復号装置にシグナリングしたことを意味する。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１０に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図１０に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図４，図６のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図４，図６のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
図１１は、本発明による映像符号化装置の主要部を示すブロック図である。図１１に示すように、本発明による映像符号化装置は、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させる画素ビット長増加手段１（一例として、図１に示す画素ビット長増加器１０１）と、画素ビット長増加手段１の出力データを変換する変換手段２（一例として、図１に示す変換／量子化器１０２）と、変換手段２の出力データをエントロピー符号化するエントロピー符号化手段３（一例として、図１に示すエントロピー符号化器１０３）と、入力データを非圧縮符号化する非圧縮符号化手段７（一例として、ＰＣＭ符号化器１０７）と、エントロピー符号化手段３と非圧縮符号化手段７のいずれかの出力データを選択する多重化データ選択手段８（一例として、スイッチ１２１）と、画素ビット長増加情報をビットストリームに多重化する多重化手段１０（一例として、多重化器１１０）とを備え、エントロピー符号化手段３と非圧縮符号化手段７のそれぞれの出力データに対応する画像の画素ビット長は、異なっている。
画素ビット長を互いに異ならせるために、一例として、画素ビット長を増加させる前の入力画像を非圧縮符号化手段７に供給させる手段を備える。そのように構成されている場合には、画素ビット長増加されていない入力画像をそのまま非圧縮符号化（例えば、ＰＣＭ符号化）する。
図１２は、本発明による他の映像符号化装置の主要部を示すブロック図である。図１２に示すように、本発明による他の映像符号化装置は、図１１に示す構成に加えて、画素ビット長増加情報に基づいて、画素ビット長を減少させる画素ビット長減少手段９（一例として、図６に示す画素ビット長減少器１１２）を備え、非圧縮符号化手段７の入力データは画素ビット長減少手段９の出力データである。
図１３は、本発明による別の映像符号化装置の主要部を示すブロック図である。図１３に示すように、本発明による別の映像符号化装置は、図１１に示す構成に加えて、画像を予測する予測手段１０（一例として、図１に示す予測器１０６）と、変換手段２の出力データを逆変換する逆変換手段１２（一例として、図１に示す逆変換／逆量子化器１０４）と、非圧縮符号化手段７の出力データを復号する非圧縮復号手段１３（一例として、図１に示すＰＣＭ復号器１０８）とを備え、非圧縮復号手段１３は、少なくとも画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加させる。
図１４は、本発明による映像復号装置の主要部を示すブロック図である。図１４に示すように、本発明による映像復号装置は、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する多重化解除手段２１（一例として、図４に示す多重化解除器２０１）と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段２４（一例として、図４に示すエントロピー復号器２０４）と、エントロピー復号した画像の変換データを逆変換する逆変換手段２６（一例として、図４に示す逆変換／逆量子化器２０６）と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段２３（一例として、図４に示すＰＣＭ復号器２０３）と、エントロピー復号手段２４および非圧縮復号手段２３を制御する復号制御手段２２（一例として、図４に示す復号制御部２０２）とを備え、エントロピー復号手段２４と非圧縮復号手段２３のそれぞれの入力データに対応する画像の画素ビット長が互いに異なっている。
図１５は、本発明による他の映像復号装置の主要部を示すブロック図である。図１５に示すように、本発明による他の映像復号装置は、図１４に示す構成に加えて、画像を予測する予測手段２７（一例として、図４に示す予測器２０７）を備えている。
以上に説明したように、本発明は、画素ビット長増加と非圧縮符号化に基づいた映像符号化において、エントロピー符号化と非圧縮符号化のそれぞれ出力データに対応する画像の画素ビット長を互いに異ならせる手段を提供する。そして、本発明は、イントラ予測やフレーム間予測の演算精度を画素ビット長拡張によって高めることと、ある一定の処理時間を映像符号化装置や映像復号装置に保証することとを両立しながら、画素ビット長増加分だけＰＣＭ符号化の出力データが増加する課題を解決できる。
上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮符号化の入力データとして画素ビット長を増加させる前の入力画像を用いる映像符号化方法。
（付記２）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、画素ビット長を増加させたデータを対象として画素ビット長増加情報に基づいて画素ビット長を減少させ、非圧縮符号化の入力データとして、画素ビット長を減少させたデータを用いる映像符号化方法。
（付記３）画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換し、変換したデータをエントロピー符号化し、入力データを非圧縮符号化し、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択し、画素ビット長増加情報をビットストリームに多重化する映像符号化方法であって、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、変換したデータを逆変換し、非圧縮符号化したデータを復号し、復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる映像符号化方法。
（付記４）少なくとも画素ビット長増加情報を含むビットストリームを多重化解除し、ビットストリームに含まれる画像の変換データをエントロピー復号し、エントロピー復号した画像の変換データを逆変換し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する映像復号方法であって、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる映像復号方法。
（付記５）少なくとも画素ビット長増加情報を含むビットストリームを多重化解除し、ビットストリームに含まれる画像の変換データをエントロピー復号し、エントロピー復号した画像の変換データを逆変換し、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する映像復号方法であって、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、画像を予測する予測処理を実行する映像復号方法。
（付記６）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮符号化の入力データとして画素ビット長を増加させる前の入力画像を用いる映像符号化プログラム。
（付記７）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、画素ビット長を増加させたデータを対象として画素ビット長増加情報に基づいて画素ビット長を減少させる処理をコンピュータに実行させ、非圧縮符号化の入力データとして、画素ビット長を減少させたデータを用いる映像符号化プログラム。
（付記８）コンピュータに、画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換する処理と、変換したデータをエントロピー符号化する処理と、入力データを非圧縮符号化する処理と、エントロピー符号化したデータと非圧縮符号化したデータのいずれかを選択する処理と、画素ビット長増加情報をビットストリームに多重化する処理とを実行させ、エントロピー符号化したデータと非圧縮符号化したデータのそれぞれに対応する画像の画素ビット長が互いに異なり、さらに、コンピュータに、変換したデータを逆変換する処理と、非圧縮符号化したデータを復号する処理とを実行させ、復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる処理をコンピュータに実行させる映像符号化プログラム。
（付記９）コンピュータに、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、エントロピー復号した画像の変換データを逆変換する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号するする処理とを実行させ、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、非圧縮復号するときに少なくとも画素ビット長増加情報に基づいて非圧縮復号した復号画像を画素ビット長増加させる処理をコンピュータに実行させる映像復号プログラム。
（付記１０）コンピュータに、少なくとも画素ビット長増加情報を含むビットストリームを多重化解除する処理と、ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、エントロピー復号した画像の変換データを逆変換する処理と、ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号するする処理とを実行させ、ビットストリームに含まれる画像の変換データとビットストリームに含まれる画像の非圧縮符号化データのそれぞれに対応する画像の画素ビット長が互いに異なり、画像を予測する予測処理をコンピュータに実行させる映像復号プログラム。
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１０年７月１３日に出願された日本特許出願２０１０−１５９０５９および２０１１年２月２５日に出願された日本特許出願２０１１−０４０５３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１ 画素ビット長増加手段
２ 変換手段
３ エントロピー符号化手段
７ 非圧縮符号化手段
８ 多重化データ選択手段
９ 画素ビット長減少手段
１０ 多重化手段
１１ 予測手段
１２ 逆変換手段
１３ 非圧縮復号手段
２１ 多重化解除手段
２２ 復号制御手段
２３ 非圧縮復号手段
２４ エントロピー復号手段
２６ 逆変換手段
２７ 予測手段
１０１ 画素ビット長増加器
１０２ 変換／量子化器
１０３ エントロピー符号化器
１０４ 逆変換／逆量子化器
１０５ バッファ
１０６ 予測器
１０７ ＰＣＭ符号化器
１０８ ＰＣＭ復号器
１０９ 多重化データ選択器
１１０ 多重化器
１１１ 画素ビット長増加器
１１２ 画素ビット長減少器
１２１ スイッチ
１２２ スイッチ
２０１ 多重化解除器
２０２ 復号制御部
２０３ ＰＣＭ復号器
２０４ エントロピー復号器
２０５ 画素ビット長増加器
２０６ 逆変換／逆量子化器
２０７ 予測器
２０８ バッファ
２０９ 画素ビット長減少器
２２１ スイッチ
２２２ スイッチ
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

Claims (6)

  1. 画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させる画素ビット長増加手段と、
    前記画素ビット長増加手段の出力データを変換する変換手段と、
    前記変換手段の出力データをエントロピー符号化するエントロピー符号化手段と、
    前記変換手段の出力データを逆変換する逆変換手段と、
    前記逆変換された画像にイントラ予測信号を加算する加算手段と、
    入力データを非圧縮符号化する非圧縮符号化手段と、
    前記非圧縮符号化手段の出力データを復号する非圧縮復号手段と、
    少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する多重化手段とを備える映像符号化装置であって、
    前記非圧縮復号手段は、少なくとも前記画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加し、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    ことを特徴とする映像符号化装置。
  2. 少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除する多重化解除手段と、
    前記ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段と、
    前記エントロピー復号した画像の変換データを逆変換する逆変換手段と、
    前記逆変換された画像にイントラ予測信号を加算する加算手段と、
    前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する非圧縮復号手段と、
    前記エントロピー復号手段および前記非圧縮復号手段を制御する復号制御手段とを備える映像復号装置であって、
    前記非圧縮復号手段は、前記エントロピー符号化された画像の画素ビット長と、前記非圧縮符号化された画像の画素ビット長との差分に基づいて、前記非圧縮復号手段の入力データに対応する画像の画素ビット長を増加し、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    ことを特徴とする映像復号装置。
  3. 画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換して変換データを生成し、
    前記変換データをエントロピー符号化し、
    前記変換データを逆変換し、
    前記逆変換された画像にイントラ予測信号を加算し、
    入力データを非圧縮符号化し、
    前記非圧縮符号化したデータを復号し、
    少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する映像符号化方法であって、
    前記非圧縮符号化したデータを復号するときに、少なくとも前記画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加し、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    ことを特徴とする映像符号化方法。
  4. 少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除し、
    前記ビットストリームに含まれる画像の変換データをエントロピー復号し、
    前記エントロピー復号した画像の変換データを逆変換し、
    前記逆変換された画像にイントラ予測信号を加算し、
    前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号し、
    前記エントロピー復号と前記非圧縮復号とを制御する映像復号方法であって、
    前記非圧縮符号化したデータを復号するときに、前記エントロピー符号化された画像の画素ビット長と、前記非圧縮符号化された画像の画素ビット長との差分に基づいて、前記非圧縮復号の入力データに対応する画像の画素ビット長を増加し、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    ことを特徴とする映像復号方法。
  5. コンピュータに、
    画素ビット長増加情報に基づいて入力画像の画素ビット長を増加させたデータを変換して変換データを生成する処理と、
    前記変換データをエントロピー符号化する処理と、
    前記変換データを逆変換する処理と、
    前記逆変換された画像にイントラ予測信号を加算する処理と、
    入力データを非圧縮符号化する処理と、
    前記非圧縮符号化したデータを復号する処理と、
    少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とをビットストリームに多重化する処理とを実行させるための映像符号化プログラムであって、
    前記非圧縮符号化したデータを復号するときに、少なくとも前記画素ビット長増加情報に基づいて、非圧縮復号した復号画像を画素ビット長増加する処理を実行させ、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    映像符号化プログラム。
  6. コンピュータに、
    少なくとも、エントロピー符号化された画像の画素ビット長を示す情報と、非圧縮符号化された画像の画素ビット長を示す情報とを含むビットストリームを多重化解除する処理と、
    前記ビットストリームに含まれる画像の変換データをエントロピー復号する処理と、
    前記エントロピー復号した画像の変換データを逆変換する処理と、
    前記逆変換された画像にイントラ予測信号を加算する処理と、
    前記ビットストリームに含まれる画像の非圧縮符号化データを非圧縮復号する処理と、
    前記エントロピー復号と前記非圧縮復号とを制御する処理とを実行させるための映像復号プログラムであって、
    前記非圧縮符号化したデータを復号するときに、前記エントロピー符号化された画像の画素ビット長と、前記非圧縮符号化された画像の画素ビット長との差分に基づいて、前記非圧縮復号の入力データに対応する画像の画素ビット長を増加する処理を実行させ、
    前記イントラ予測信号は、前記逆変換された画像にイントラ予測信号が加算されて得られた再構築画像と、前記非圧縮復号され画素ビット長増加された画像に基づいて得られた再構築画像とのうち、少なくとも一方を用いて生成される
    映像復号プログラム。
JP2015248433A 2010-07-13 2015-12-21 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Active JP6065095B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010159059 2010-07-13
JP2010159059 2010-07-13
JP2011040530 2011-02-25
JP2011040530 2011-02-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015204722A Division JP5861800B2 (ja) 2010-07-13 2015-10-16 映像復号装置、映像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016245080A Division JP6274299B2 (ja) 2010-07-13 2016-12-19 映像復号装置及び映像復号方法

Publications (2)

Publication Number Publication Date
JP2016067043A true JP2016067043A (ja) 2016-04-28
JP6065095B2 JP6065095B2 (ja) 2017-01-25

Family

ID=45469148

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2012524445A Active JP5807638B2 (ja) 2010-07-13 2011-07-08 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2014167125A Active JP5861752B2 (ja) 2010-07-13 2014-08-20 映像復号装置、映像復号方法及びプログラム
JP2015204722A Active JP5861800B2 (ja) 2010-07-13 2015-10-16 映像復号装置、映像復号方法及びプログラム
JP2015248433A Active JP6065095B2 (ja) 2010-07-13 2015-12-21 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2016245080A Active JP6274299B2 (ja) 2010-07-13 2016-12-19 映像復号装置及び映像復号方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2012524445A Active JP5807638B2 (ja) 2010-07-13 2011-07-08 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP2014167125A Active JP5861752B2 (ja) 2010-07-13 2014-08-20 映像復号装置、映像復号方法及びプログラム
JP2015204722A Active JP5861800B2 (ja) 2010-07-13 2015-10-16 映像復号装置、映像復号方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016245080A Active JP6274299B2 (ja) 2010-07-13 2016-12-19 映像復号装置及び映像復号方法

Country Status (9)

Country Link
US (5) US9210427B2 (ja)
EP (2) EP3787286A1 (ja)
JP (5) JP5807638B2 (ja)
KR (3) KR101538362B1 (ja)
CN (6) CN105491382B (ja)
BR (5) BR112013000579B1 (ja)
HK (4) HK1220842A1 (ja)
PL (1) PL2595379T3 (ja)
WO (1) WO2012008130A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491382B (zh) * 2010-07-13 2017-07-04 日本电气株式会社 视频解码装置、视频解码方法以及程序
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MX2013001051A (es) * 2011-02-22 2013-04-03 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, aparato de decodificacion de imagen y aparato de codificacion/decidificacion de imagen.
ES2669978T3 (es) 2011-02-22 2018-05-29 Tagivan Ii Llc Método de filtrado, dispositivo de codificación de imágenes dinámicas, dispositivo de decodificación de imágenes dinámicas y dispositivo de codificación/decodificación de imágenes dinámicas
UA109312C2 (uk) 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
KR102064408B1 (ko) 2011-07-19 2020-01-09 타지반 투 엘엘씨 필터 방법, 복호 방법, 및 부호화 방법
EP2774362B1 (en) * 2011-11-03 2023-07-26 Sun Patent Trust Quantization parameter for blocks coded in the pcm mode
CN107743232B (zh) * 2012-06-25 2020-12-04 日本电气株式会社 视频解码设备和视频解码方法
US9978156B2 (en) * 2012-10-03 2018-05-22 Avago Technologies General Ip (Singapore) Pte. Ltd. High-throughput image and video compression
US9501864B2 (en) * 2013-12-27 2016-11-22 Intel Corporation Adaptive depth offset compression
US9571468B2 (en) * 2014-01-05 2017-02-14 Whovoo, Inc. Encoding data using a variable number of pixels and bits based on entropy
JP5850272B2 (ja) * 2014-01-10 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6653860B2 (ja) * 2014-05-26 2020-02-26 シャープ株式会社 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
EP2958329B1 (en) 2014-06-16 2018-12-05 Thomson Licensing Method for encoding and decoding an image block based on dynamic range extension, encoder and decoder
KR101638154B1 (ko) 2014-07-29 2016-07-12 주식회사 더즈텍 레퍼런스 클럭으로 동작하는 클럭 데이터 복원 회로, 데이터 수신 장치 및 그 방법
KR101654767B1 (ko) 2015-05-29 2016-09-07 주식회사 더즈텍 온 칩 레퍼런스 클럭으로 동작하는 위상 고정 루프, 클럭 데이터 복원 회로, 및 데이터 수신 장치
JP6115620B2 (ja) * 2015-11-25 2017-04-19 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6115619B2 (ja) * 2015-11-25 2017-04-19 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP7320352B2 (ja) * 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP6299901B2 (ja) * 2017-03-03 2018-03-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP6332502B2 (ja) * 2017-03-03 2018-05-30 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
DE102018122297A1 (de) * 2018-09-12 2020-03-12 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Verfahren zur Kompression und Dekompression von Bilddaten

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4861335A (en) 1985-07-26 1989-08-29 Duoject Medical Systems Inc. Syringe
JP4214440B2 (ja) * 2000-10-19 2009-01-28 ソニー株式会社 データ処理装置およびデータ処理方法、並びに記録媒体
JP4240283B2 (ja) 2002-10-10 2009-03-18 ソニー株式会社 復号装置及び復号方法
US20060126744A1 (en) * 2004-12-10 2006-06-15 Liang Peng Two pass architecture for H.264 CABAC decoding process
JP4440863B2 (ja) 2005-09-13 2010-03-24 パナソニック株式会社 符号化復号化装置、符号化復号化方法、符号化復号化集積回路、および符号化復号化プログラム
CN100466741C (zh) * 2005-11-11 2009-03-04 北京微视讯通数字技术有限公司 利用视频信号帧间相关性进行编码的方法和装置
US20070122045A1 (en) * 2005-11-29 2007-05-31 Jiun-Yuan Wu System for scaling a picture unit from a first video resolution format to a second video resolution format
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
JP2008022383A (ja) * 2006-07-13 2008-01-31 Matsushita Electric Ind Co Ltd 画像符号化装置
CN101589625B (zh) * 2006-10-25 2011-09-21 弗劳恩霍夫应用研究促进协会 质量可缩放编码
KR100837410B1 (ko) * 2006-11-30 2008-06-12 삼성전자주식회사 주관적인 무손실 이미지 데이터 압축 방법 및 장치
US8107751B2 (en) 2007-03-16 2012-01-31 Sharp Laboratories Of America, Inc. DPCM with adaptive range and PCM escape mode
JP4829836B2 (ja) 2007-04-26 2011-12-07 キヤノン株式会社 画像符号化装置、画像符号化装置の制御方法、コンピュータプログラム、復号装置、及びコンピュータ可読記憶媒体
JP4983415B2 (ja) * 2007-06-11 2012-07-25 ソニー株式会社 画像信号処理装置、画像信号処理方法及びプログラム
US9521433B2 (en) 2007-09-06 2016-12-13 Nec Corporation Video encoding device, video decoding device, video encoding method, video decoding method, video encoding or decoding program
EP2051527A1 (en) 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
JP2010159059A (ja) 2009-01-06 2010-07-22 Asahi Kogyo Kk 包装容器
JP5408655B2 (ja) 2009-08-10 2014-02-05 米沢ダイヤエレクトロニクス株式会社 プリント配線板及びその製造方法
CN105491382B (zh) * 2010-07-13 2017-07-04 日本电气株式会社 视频解码装置、视频解码方法以及程序
US20120087411A1 (en) * 2010-10-12 2012-04-12 Apple Inc. Internal bit depth increase in deblocking filters and ordered dither
US8923389B1 (en) * 2011-01-13 2014-12-30 Zenverge, Inc. Unified scaling with differential coding for internal bit depth extension and reference frame compression

Also Published As

Publication number Publication date
JP6274299B2 (ja) 2018-02-07
US20170054992A1 (en) 2017-02-23
WO2012008130A1 (ja) 2012-01-19
HK1182563A1 (zh) 2013-11-29
HK1220841A1 (zh) 2017-05-12
CN103004191A (zh) 2013-03-27
CN103004191B (zh) 2016-06-01
US9532073B2 (en) 2016-12-27
US20160057455A1 (en) 2016-02-25
HK1224471A1 (zh) 2017-08-18
HK1220842A1 (zh) 2017-05-12
JP5807638B2 (ja) 2015-11-10
CN105828078B (zh) 2018-12-28
CN105430405A (zh) 2016-03-23
BR122022001405B1 (pt) 2023-01-10
CN105847813B (zh) 2018-11-06
BR122020015661B1 (pt) 2023-01-10
BR122020015660B1 (pt) 2023-01-10
US20160057442A1 (en) 2016-02-25
KR101513507B1 (ko) 2015-04-21
JPWO2012008130A1 (ja) 2013-09-05
JP2014239531A (ja) 2014-12-18
US9210427B2 (en) 2015-12-08
JP2016007085A (ja) 2016-01-14
JP5861800B2 (ja) 2016-02-16
CN105847813A (zh) 2016-08-10
KR20130029394A (ko) 2013-03-22
US20160057443A1 (en) 2016-02-25
KR20140114459A (ko) 2014-09-26
CN105847812A (zh) 2016-08-10
CN105491382A (zh) 2016-04-13
CN105430405B (zh) 2018-11-02
KR101435095B1 (ko) 2014-08-28
CN105491382B (zh) 2017-07-04
EP2595379B1 (en) 2020-10-21
US9510011B2 (en) 2016-11-29
EP2595379A1 (en) 2013-05-22
PL2595379T3 (pl) 2021-05-04
EP2595379A4 (en) 2014-12-31
BR112013000579B1 (pt) 2023-01-10
KR20140045598A (ko) 2014-04-16
US9936212B2 (en) 2018-04-03
JP2017077018A (ja) 2017-04-20
EP3787286A1 (en) 2021-03-03
US20130101037A1 (en) 2013-04-25
CN105828078A (zh) 2016-08-03
JP6065095B2 (ja) 2017-01-25
CN105847812B (zh) 2019-05-17
JP5861752B2 (ja) 2016-02-16
KR101538362B1 (ko) 2015-07-22
BR122022001404B1 (pt) 2023-01-10
BR112013000579A2 (pt) 2016-05-24
US10097847B2 (en) 2018-10-09

Similar Documents

Publication Publication Date Title
JP6274299B2 (ja) 映像復号装置及び映像復号方法
JP6183502B2 (ja) 映像復号装置、映像復号方法及びプログラム
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
CN107197277B (zh) 视频解码设备以及视频解码方法
JP7366149B2 (ja) 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法
JP2022513457A (ja) Ｖｖｃにおける色変換のための方法及び機器
JP7357736B2 (ja) 符号化装置、復号装置、及びプログラム
KR20140081681A (ko) 영상의 부호화 방법 및 이를 이용하는 장치
JP7366216B2 (ja) 符号化装置、復号装置、及びプログラム
WO2022044267A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
WO2021201222A1 (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161101

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161205

R150 Certificate of patent or registration of utility model

Ref document number: 6065095

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150