JP2014179707A - 画像符号化装置、及びその方法 - Google Patents

画像符号化装置、及びその方法 Download PDF

Info

Publication number
JP2014179707A
JP2014179707A JP2013051064A JP2013051064A JP2014179707A JP 2014179707 A JP2014179707 A JP 2014179707A JP 2013051064 A JP2013051064 A JP 2013051064A JP 2013051064 A JP2013051064 A JP 2013051064A JP 2014179707 A JP2014179707 A JP 2014179707A
Authority
JP
Japan
Prior art keywords
encoding
unit
encoded
code amount
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013051064A
Other languages
English (en)
Inventor
Takashi Watanabe
隆志 渡辺
Atsushi Matsumura
淳 松村
Tomoya Kodama
知也 児玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013051064A priority Critical patent/JP2014179707A/ja
Priority to US14/193,465 priority patent/US9036935B2/en
Publication of JP2014179707A publication Critical patent/JP2014179707A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ストリームバッファの破たんを防ぎつつ、画質の劣化を抑える
【解決手段】判定部は、１以上の画素ブロックを含む特定の単位において、符号化対象の画素ブロックの直前に符号化された画素ブロックまでに発生した累積符号量と、符号化対象の画素ブロックを第１の符号化モードで符号化して発生した符号量を合計した結果、特定の範囲の残りの画素ブロックをすべて第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、第２の符号化部の符号化モードを用いると判定する。
【選択図】 図２

Description

本発明の実施形態は、画像を符号化するために用いる画像符号化装置、及びその方法に関する。
変換・量子化を用いた画像符号化において所望の符号量にて符号化を行うために、過去の符号量から適応的に量子化スケールを切り替えるレート制御方式があった。従来のレート制御方式は、所望の符号量へと収束させることを目的としている。そのため、必ずしも目標の符号量以内に収束することを保証するものではなかった。
１パス符号化においては、符号化を行った結果、目標符号量を超過することが考えられる。ハードウェアによりエンコーダを構成する際にビットストリームのサイズを予め定義した場合、目標符号量を超過するとビットストリームが破たんするという問題がある。
ストリームバッファの破たんを回避する符号化方式が開示されている。マクロブロック単位で最小及び最大符号量を定め、符号化対象であるブロックにおいてもし最大符号量が発生したら、ストリームバッファが破たんする場合には最小符号量での符号化を行う方式について述べられている。
上記方式では、当該ブロックで最大符号量が発生してもストリームバッファが破たんしないか否かにより符号化条件を切り替えている。一般的に、最小符号量での符号化は画質が大きく劣化するため選択されないことが望ましい。一方、上記方式では最大符号量分のマージンを持っていることに等しいため最小符号量での符号化が選択されやすくなってしまうという問題がある。
本発明が解決しようとする課題は、１パス符号化においてもストリームバッファの破たんを防ぎつつ、画質の劣化を抑える点にある。
本発明は上記の課題を解決するために考案されたものであり、入力画像の符号化対象の画素ブロックに対して第１の符号化データを生成する第１の符号化部と、前記符号化対象の画素ブロックに対して予め定められた符号量で符号化された第２の符号化データを生成する第２の符号化部と、前記第１の符号化部と前記第２の符号化部のいずれの符号化モードを用いるかを判定する判定部と、前記判定部の判定結果に従って、前記第１の符号化データと前記第２の符号化データの何れか一方を選択する選択部と、を備え、前記判定部は、１以上の画素ブロックを含む特定の単位において、前記符号化対象の画素ブロックの直前に符号化された画素ブロックまでに発生した累積符号量と、前記符号化対象の画素ブロックを前記第１の符号化モードで符号化して発生した符号量を合計した結果、前記特定の範囲の残りの画素ブロックをすべて前記第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定する、動画像符号化装置を提供する。
１パス符号化においてもストリームバッファの破たんを防ぎつつ、画質の劣化を抑えることができる。
符号化／復号処理単位を示す図。 画像符号化装置を示す図。 第１符号化部１０３を示す図。 ローカルデコード生成部を示す図。 画像符号化装置の動作例を示すタイミングチャート。 画像符号化装置の動作例を示すフローチャート。 ユニットにおける符号化データのシンタクスの例を示す図。 累積符号量の推移と符号化モード判定の関係を示す図。 画像符号化装置の別例を示す図。 画像符号化装置の別例の動作例を示すタイミングチャート。 画像符号化装置の別例の動作例を示すフローチャート。 ユニットにおける符号化データのシンタクスの例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 画像符号化装置の別例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 ユニットにおける符号化データのシンタクスの例を示す図。 モード判定部の動作例を示すフローチャート。 画像符号化装置の別例を示す図。 画像符号化装置の別例の動作例を示すフローチャート。
以下、図面を参照しながら本実施形態の画像符号化装置について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をするものとして、重複する説明を適宜省略する。
（第１の実施形態）
尚、以下の実施形態においては、図１に示すように処理対象画像（入力画像）において符号化処理を行う単位をユニット、符号量を保証すべき単位をセグメントと呼ぶ。図１の例では、ユニットは画素ブロックであり、セグメントは画像の１ユニットラインである。本実施形態の符号化装置は、各ユニットにおいて発生する符号量についての制限は行わないが、セグメント内で発生した総符号量については予め定めた所望の符号量以下となる様、入力画像の符号化を行う。
図２は、本実施形態の画像符号化装置１００を示す図である。
画像符号化装置１００は、スイッチ１０１、スイッチ１０２、第１符号化部１０３、第２符号化部１０４、エントロピー符号化部１０５、符号化モード判定部１０６、ローカルデコード生成部１０７及び符号化制御部１０８を有する。
スイッチ１０１は、ユニットの入力画像データを受け取り、符号化モード判定部１０６より符号化モード情報を受け取る。スイッチ１０１は、符号化モード情報が第１符号化モードを示す場合には第１符号化部１０３に入力画像を送る。スイッチ１０１は、符号化モード情報が、第２符号化モードを示す場合には第２符号化部１０４に入力画像を送る。
第１符号化部１０３は、受け取った符号化対象ユニットに対して、変換・量子化による符号化処理を行い、第１の符号化データを生成する。符号化処理の詳細については後述する。
第２符号化部１０４は、受け取った符号化対象ユニットに対して、あらかじめ定められた符号量となる様な符号化処理を行い、第２の符号化データを生成する。
スイッチ１０２は、符号化モード判定部１０６より符号化モード情報を受け取る。符号化モード情報が、第１符号化モードを示す場合には第１符号化部１０３より第１の符号化データを受け取る。符号化モード情報が、第２符号化モードを示す場合には第２符号化部１０４より第２の符号化データを受け取る。その後、受け取った符号化データをエントロピー符号化部１０５及びローカルデコード生成部１０７へと送る。
エントロピー符号化部１０５は、受け取った符号化データに対してエントロピー符号化処理を行って、ビットストリームを生成する。その際に発生した符号量を示す符号量情報を符号化モード判定部１０６へと送る。
符号化モード判定部１０６は、エントロピー符号化部１０５より符号量情報を受け取る。符号化モード判定部１０６は、符号量情報に基づいて後続のユニットに対する符号化モード情報を設定してスイッチ１０１及びスイッチ１０２に送る。
ローカルデコード生成部１０７は、スイッチ１０２から符号化データを受け取り、符号化処理に対応する復号処理を行ってローカルデコード画像を生成する。第１の符号化データを受け取った場合には、第１符号化部１０３が行った符号化処理に対応する復号処理を行う。第２の符号化データを行った場合には、第２復号化部１０４がおこなった復号処理に対応する復号処理を行う。生成されたローカルデコード画像は第１符号化部１０３及び第２符号化部１０４に送られる。ローカルデコード画像は、後続のユニットを符号化処理する際の予測画像の生成に用いられる。
符号化制御部１０８は、発生符号量のフィードバック制御及び量子化制御、予測方向の制御などを行なうことで、第１符号化部１０３及び第２符号化部１０４の制御を行なう。
第１符号化部１０３について図３を参照して詳細に説明する。
図３は、第１符号化部１０３の詳細を示す図である。第１符号化部１０３は、予測画像生成部１０９、減算部１１０及び変換・量子化部１１１を有する。
予測画像生成部１０９は、ローカルデコード生成部１０７よりローカルデコード画像を受け取り、所定の予測処理を行って処理対象ユニットに対応する予測画像を生成する。予測画像生成部１０９は、減算部１１０へ予測画像を送る。予測処理として、どのような手法を用いても良いが、本実施形態では隣接するユニットからの空間予測を用いる例について説明する。例えば、Ｈ．２６４／ＡＶＣなどの既存コーデックと同様に、隣接するユニットの画素を用いて空間予測を行う。その際の空間予測の予測方向は、符号化制御部１０８が設定する。
減算部１１０は、スイッチ１０１より入力画像の処理対象ユニットを受け取り、予測画像生成部１０９より対応する予測画像を受け取る。減算部１１０は、入力画像の画素値から、予測画像の画素値を減じることで、予測誤差画像を生成する。生成された予測誤差画像は、変換・量子化部１１１へ送られる。
変換・量子化部１１１は減算部１１０より受け取った予測誤差画像に対して変換処理を行う。変換処理として、例えばＤＣＴ（離散コサイン変換）などを用いた直交変換を行い、変換係数を生成する。なお、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１１１は、符号化制御部１０８にて設定された量子化パラメータに基づいて、変換係数に対して量子化処理を行い、符号化データを生成する。
以上のように、第１符号化部１０３は予測誤差画像に対して変換・量子化を行う、一般的な符号化方式により符号化処理を行う。
ローカルデコード生成部１０７について、図４を参照して詳細に説明する。
図４は、ローカルデコード生成部１０７の詳細を示す図である。ローカルデコード生成部１０７は、予測誤差画像生成部１０９、逆量子化・逆変換部１１２及び加算部１１３を有する。
逆量子化・逆変換部１１２は、スイッチ１０２から符号化データを受け取る。逆量子化・逆変換部１１２は、符号化データに含まれる量子化後の直交変換係数に対して符号化制御部１０８にて設定される量子化パラメータに従って逆量子化を行う。逆量子化・逆変換部１１２は、逆量子化によって得られた変換係数に対して変換・量子化部１１１で行われた直交変換に対応する逆変換を行い、予測誤差画像を生成する。得られた予測誤差画像は加算部１１３へ送られる。
加算部１１３は、予測画像生成部１０９より予測画像を受け取り、逆量子化・逆変換部１１２より受けとった予測誤差画像と加算し、ローカルデコード画像を生成する。得られたローカルデコード画像は第１符号化部１０３、第２符号化部１０４に出力されると共にローカルデコード生成部１０７内の予測画像生成部１０９にも出力され、後続のユニットにおいて予測処理を行う際に用いられる。
予測画像生成部１０９は、図３に示した第１符号化部１０３の予測画像生成部１０９と同じ処理を行う。これにより、第１符号化部１０３及びローカルデコード生成部１０７で同一の予測画像を用いることができる。なお、ローカルでコード生成部１０７が、予測画像生成部１０９を有さず、第１符号化部１０３または第２符号化部１０４が生成した予測画像をそのままローカルデコード生成部１０７に送る構成であっても構わない。
次に、本実施形態の画像符号化装置１００の動作について図５及び図６を用いて説明する。
図５は、画像符号化装置１００の動作タイミングチャートを示す。
本実施形態の画像符号化装置１００は、入力画像を受け取り、図５に示すタイミングチャートに従ってユニット毎にパイプラインで符号化処理を行う。図５の横軸は、時刻を示す。縦軸に記したユニット＃０〜＃３の順に順次符号化処理が行われる。画像符号化装置１００は、ユニット毎に予測方向の決定と符号化モード判定、符号化処理とローカルデコード生成、及びエントロピー符号化の３つの動作をそれぞれＮサイクルにて実行する。尚、以降の処理手順については図６のフローチャートに従って説明する。
図６は、画像符号化装置１００の処理フローの一例を表している。
まず、画像符号化装置１００が入力画像中の処理対象ユニットに含まれる画素のデータを受け取ると、符号化制御部１０８が第１符号化モードの予測方向を決定する（Ｓ６０１
）。前述したように第１符号化部１０３は空間予測及び変換・量子化処理による一般的な符号化を行うものとする。空間予測の予測方向については任意の方法により決定して良い。本実施形態では、すべての予測方向の内、予測画像と入力画像との誤差が最も小さくなる予測方向を選択する例について述べる。
次に、符号化モード判定部１０６が第１符号化モードと第２符号化モードの何れで符号化を行うかの判定を行う（Ｓ６０２）。第１符号化モードと第２符号化モードの何れで符号化を行うかを示す符号化モード情報は、スイッチ１０１に送られる。尚、符号化モード判定部１０６における処理の詳細については後述する。
Ｓ６０１、Ｓ６０２を各ユニットの最初のＮサイクルにおいて実行する。
スイッチ１０１は、符号化モード情報が第１符号化モードを示す場合には（Ｓ６０３，ｙｅｓ）、入力画像を第１符号化部１０３へ送る。
第１符号化部１０３の予測画像生成部１０９は、ローカルデコード画像に含まれる隣接ユニットの画素値から、符号化制御部１０８が決定した予測方向に従って予測画像を生成する（Ｓ６０４）。減算部１１０は、入力画像から予測画像を減算することで予測誤差画像を生成する（Ｓ６０５）。変換・量子化部１１１は、予測誤差画像に対して変換及び量子化処理を行うことで量子化後の変換係数を生成する（Ｓ６０６）。変換・量子化部１１１は、第１符号化データを生成する（Ｓ６０７）。第１符号化データには、量子化後の変換係数、第１符号化モードで符号化されたことを示す符号化モード情報、予測方向、量子化パラメータなどの情報が含まれる。第１符号化データはローカルデコード生成部１０７へ送られる。
ローカルデコード生成部１０７は、第１符号化部１０３で行われた符号化処理に対応する復号処理を第１符号化データに対して行うことでローカルデコード画像を生成する（Ｓ６０８）。生成されたローカルデコード画像は第１符号化部１０３及び第２符号化部１０４へと送られる。
一方、符号化モード情報が第２符号化モードを示す場合には（Ｓ６０３，ｎｏ）、第２符号化部１０４は、第２符号化モードの予測画像を生成する（Ｓ６０９）。本実施形態の第２符号化部１０４の動作について詳細に説明する。第２符号化部１０４は予め定めた符号量で符号化を行う。第１符号化部１０３による符号化で所望の符号量を超過する可能性がある場合には第２符号化部１０４での符号化へ切り替えることができる。第２符号化部１０４における符号化方法としては任意の方法を用いて良いが、前述のように特定の符号量での符号化が求められる。さらに、第１符号化部１０３で発生しうる符号量と比較して十分小さな符号量で符号化できることが望ましい。本実施形態では、例えば量子化後の変換係数を符号化せず、予測画像をそのままローカルデコード画像とすることで固定長での符号化を実現する。
第２符号化部１０４は、第２符号化データを生成する（Ｓ６１０）。第２符号化データには、第２符号化モードで符号化されたことを示す符号化モード情報が含まれる。なお、第２符号化部１０４における処理や第２符号化データの詳細については後述する。ローカルデコード生成部１０７は、第２符号化部１０４で行われた符号化処理に対応する復号処理を第２符号化データに対して行うことでローカルデコード画像を生成する（Ｓ６１１）。生成されたローカルデコード画像は第１符号化部１０３及び第２符号化部１０４へと送られる。なお、Ｓ６０８及びＳ６１１で生成されたローカルデコード画像は、参照画像として後続のユニットにおける予測処理で用いられる。
上記のＳ６０４〜Ｓ６０８、または、Ｓ６０９〜Ｓ６１１が、各ユニットの２番目のＮサイクルにおいて実行される。
符号化データはエントロピー符号化部１０５へ送られる。エントロピー符号化部１０５は、第１の符号化データまたは第２の符号化データに対してエントロピー符号化を行ってビットストリームを生成する（Ｓ６１２）。生成されたビットストリームを出力する（Ｓ６１３）。処理対象のセグメントに含まれるユニットすべての符号化が終了していない場合には（Ｓ６１４，ｎｏ）、エントロピー符号化部１０５は発生した符号量を示す符号量情報を生成し、符号化モード判定部１０６へ出力する（Ｓ６１５）。このとき、詳細は後述するが、符号化モード判定部１０６は受け取った符号量情報とセグメント全体に対して設定された所望の符号量との関係から、次のユニットにおける符号化モードを判定する。また、符号量情報は符号化制御部１０８にもフィードバックされ、量子化パラメータの設定などを行う際に利用される。
処理対象のセグメントに含まれるユニットすべての符号化が終わった場合（Ｓ６１４，ｙｅｓ）、セグメントの符号化処理を終了する。
上記のＳ６１２〜Ｓ６１５を最後のＮサイクルにおいて実行する。本実施形態におけるユニットの符号化処理は以上の３ステージから構成される。図５に示すように処理順番が前後のユニットとは１ステージずつタイミングをずらして処理を行って、複数のユニットをパイプラインで処理する。各サイクルに含まれる処理については上述した例以外の処理であっても構わない。また、ステージ数も３以外の数であっても構わない。
図７は、ユニットの符号化データにおけるシンタクスの一例を示す。図７のシンタクスでは、符号化データの先頭でまず符号化モードを示すｃｏｄｅｃ＿ｍｏｄｅが符号化される。ｃｏｄｅｃ＿ｍｏｄｅは、例えば１ビットのフラグで表現することができる。
符号化モード情報が第１符号化部１０３による符号化を示す場合、つまりｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１である場合、直前のユニットにおける量子化パラメータと対象ユニットの量子化パラメータの差分であるｄｅｌｔａ＿ｑｐが符号化される。続いて空間予測の予測方向を示すｐｒｅｄ＿ｍｏｄｅが符号化される。ｄｅｌｔａ＿ｑｐ及びｐｒｅｄ＿ｍｏｄｅは、事前に取りうる値の範囲がわかっているため、例えば固定長での符号化を行って良い。固定長で符号化することでビットストリームに対する復号処理が簡易になるほか、シンタクスの値に偏りがない場合には可変長符号化と比較して符号化効率が向上する。最後に、量子化後の変換係数であるｃｏｅｆｆが可変長符号化される。尚、ＮＵＭ＿ＣＯＥＦＦは変換係数の数を示している。
一方、符号化モード情報が第２符号化部１０４による符号化を示す場合、即ちｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿２である場合、第１符号化部１０３による符号化と同様にｐｒｅｄ＿ｍｏｄｅが符号化される。ただし、量子化後の変換係数については符号化しない。従って量子化パラメータを示すｄｅｌｔａ＿ｑｐについても符号化する必要はない。
このようなシンタクス構成とすることで、第２符号化部１０４での符号化は大きな画質低下を伴うが、第１符号化部１０３と比較して常に十分小さな符号量で符号化を行うことができる。尚、上記のシンタクスは一例であり、一般的なコーデックと同様にシンタクスを追加、または一部のシンタクスを削除しても良い。また、画像中のコンポーネントによってシンタクスは変更されても構わない。
次に、符号化モード判定部１０６の動作について詳細に説明する。符号化モード判定部１０６は、エントロピー符号化部１０５より発生した符号量を受け取り、セグメント内で発生した符号量を累積して保持する。保持している累積符号量から、後続のユニットを第１符号化モードで符号化した場合にセグメントで保証すべき符号量を超過する可能性があるか否かの判定を行う。超過する可能性がある場合には第２符号化モード、そうでなければ第１符号化モードを選択することで符号化モードを切り替える。
図８は符号量の推移と符号化モードの判定の関係を示す図である。図８を参照しながら、具体的な符号化モード判定部１０６の動作例を説明する。図８の横軸はセグメント内におけるユニットの番号を示し、縦軸は累積符号量を示す。実線は、セグメント内の残りユニットをすべて第２符号化モードで符号化することを想定した場合に、ストリームバッファが破たんしない累積符号量の上限値を示す。細い破線は、目標符号量を示す。一般的に、ＣＢＲ（ｃｏｎｓｔａｎｔ ｂｉｔ ｒａｔｅ）での符号化を行う場合にはすべてのユニットで均等に符号量が発生することを目標とし、量子化パラメータの制御を行うことで目標符号量での符号化を図る。ただし、１パス符号化では事前に必ずしも目標の符号量を達成できない。
そのため、図８の、太い破線や、二点鎖線に示したようにユニット毎に符号量がばらつく。二点鎖線は、そのセグメント内の残りユニットをすべて第１符号化モードで符号化可能な場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を下回っていれば、符号量を保証することができる。太い破線は、第２符号化モードが必要となる場合の累積符号量の一例を示す図である。実際に発生した累積符号量が実線を上回ってしまう場合には、第２符号化モードに切り替えても符号量を保証することができなくなる。二点鎖線で示した例では、第１符号化モードでの符号化により目標符号量を大きく上回る符号量が発生してしまっている。残りのユニットにおいて利用可能符号量限界に達するため、以降のユニットについてはすべて第２符号化モードで符号化することで符号量の上限を保証する。
上記の動作を行うため、符号化モード判定部１０６は式（１）、（２）により符号化モードを判定する。
Figure 2014179707
Figure 2014179707
まず、式（１）について説明する。Ｂｔａｒｇｅｔはセグメントにおける目標符号量である。Ｂａｖａｉｌａｂｌｅはセグメント内のこれから符号化を行うユニットのうち、符号化モードの判定を行っているユニット（以下、対象ユニットと記載）を除く残りユニットにおける利用可能符号量である。Ｂｔｏｔａｌは対象ユニットの符号化モード判定時にフィードバックされている累積符号量を示す。Ｂｔａｒｇｅｔから、Ｂｔｏｔａｌを減じることでＢａｖａｉｌａｂｌｅが算出できる。
図５に示したように、本実施形態の符号化装置１００は、パイプライン処理を行うため、符号量のフィードバックには遅延が生じる。即ち、図５の例ではＵｎｉｔ＃３の符号化モードの判定を行う時点ではＵｎｉｔ＃０の符号量までしかフィードバックされず、Ｕｎｉｔ＃１及びＵｎｉｔ＃２の発生符号量は不明である。そこで、式（１）では、第１符号化モードで理論的に発生しうる最大ビット数Ｂｍａｘを定義し、対象ユニットを含めて発生符号量が不明なユニットについては最大ビット数が発生したものとして残りユニットで利用可能な符号量を算出している。尚、図５に示す例では符号量のフィードバックにおける遅延ユニット数Ｕｄｅｌａｙは２となる。遅延ユニット数は、パイプライン構成や処理内容に応じて適宜変更される。
次に、式（２）について説明する。Ｂｍｉｎは第２符号化モードにより発生する符号量を示す。Ｕｌｅｆｔは対象ユニット、および遅延ユニットを除く、残りユニットの数を示している。即ち、符号量フィードバック遅延分のユニット、及び対象ユニットで仮に最大符号量が発生したとしても利用可能符号量限界を下回る場合には第１符号化モードで符号化を行う。そうでなければ対象ユニットからは、第２符号化モードで符号化を行うことで符号量を保証する。以上が画像符号化装置１００に関する処理である。
本実施形態では、通常の変換・量子化を行う第１の符号化モードに加え、符号量を一意に定めることができ、かつ第１の符号化モードと比較して小さな符号量にて符号化を行う第２の符号化モードを用意し、前記２つの符号化モードを切り替えることで所望の符号量を上回らないことを保証する。例えば、各符号化処理単位（ユニット）に対して通常は第１の符号化モードで符号化を行い、符号量を保証する単位（セグメント）において、残りのユニットをすべて第２の符号化モードで符号化しなければ符号量を保証できなくなることがわかった時点で第２の符号化モードによる符号化に切り替えることで、確実に符号量を保証することができる。また、上記のように符号化モードを判定することで、可能な限り通常の第１符号化モードでの符号化を行い、符号量が不足する場合にのみ第２符号化モードでの符号化を行うことで符号量が不足する直前までは通常の符号化による画質を維持しつつセグメントにおける累積符号量の上限を保証することができる。
（第２の実施形態）
第１の実施形態における画像符号化装置１００では符号量のフィードバックに遅延が生じていたため、式（１）に示すように第１符号化モードで発生しうる最大の符号量を複数ユニット分加算する必要があった。これは、マージンを持って制御を行っていることに等しく、圧縮率やセグメントのサイズによってはマージンが大きなオーバーヘッドとなり、所望の符号量を大きく下回って十分な画質が得られない可能性がある。そこで、本実施形態では符号量のフィードバック遅延が生じない様な処理を行う点で異なる。
図９は、本実施形態の画像符号化装置２００を示す図である。画像符号化装置２００は、第１符号化部１０３、第２符号化部１０４、エントロピー符号化部１０５Ａ、エントロピー符号化部１０５Ｂ、ローカルデコード生成部１０７Ａ、ローカルデコード生成部１０７Ｂ、符号化制御部１０８、スイッチ１１４、スイッチ１１５及び符号化モード判定部１１６を有する。
第１符号化部１０３、第２符号化部１０４及び符号化制御部１０８は、画像符号化装置１００と同様の動作を行うため、説明を省略する。また、エントロピー符号化部１０５Ａ及び１０５Ｂはそれぞれエントロピー符号化部１０５と同一の動作を行い、ローカルデコード生成部１０７Ａ及びローカルデコード生成部１０７Ｂはそれぞれローカルデコード生成部１０７と同一の動作を行うため、これらについても説明を省略する。
スイッチ１１４は、ローカルデコード生成部１０７Ａとローカルデコード生成部１０７Ｂから第１符号化モードと第２符号化モードそれぞれのローカルデコード画像を受け取り、符号化モード判定部１１６が決定した符号化モードに従って何れかの符号化データを選択して第１符号化部１０３及び第２符号化部１０４へと送る。送られたローカルデコード画像は後続のユニットを符号化する際に参照画像として予測に用いられる。
スイッチ１１５は、符号化モード判定部１１６より符号化モード情報を受け取る。スイッチ１１５は、符号化モード情報が第１符号化モードを示す場合には、エントロピー符号化部１０５Ａより第１の符号化モードのビットストリームを受け取る。符号化モード情報が、第２符号化モードを示す場合には、エントロピー符号化部１０５Ｂから第２符号化モードのビットストリームを受け取る。その後、受け取ったビットストリームを出力する。
符号化モード判定部１１６は、エントロピー符号化部１０５Ａから第１符号化モードで符号化した際に発生した符号量を受け取り、対象ユニットに対する符号化モード情報を設定してスイッチ１１４及びスイッチ１１５に出力する。符号化モード判定部１１６は、後続ユニットに対する符号化モードではなく現在の符号化対象ユニットに対する符号化モードを設定する点が符号化モード判定部１０６と異なる。
次に、本実施形態の画像符号化装置２００の符号化処理について図９、図１０及び図１１を用いて詳細に説明する。
図１０は、画像符号化装置２００の動作タイミングチャートである。
画像符号化装置２００は、入力画像を受け取りユニット毎にパイプラインで符号化処理を行う。符号化処理は図１０に示すタイミングチャートに従うが、画像符号化装置１００とは異なり、第１符号化モードと第２符号化モードでの符号化を両方実行してビットストリームを生成し、最後に符号化モード判定を行う。
図１１は、処理のフローチャートの一例を表す図である。
画像符号化装置２００が入力画像中の処理対象ユニットに対応する画素を受け取ると、符号化制御部１０８が第１符号化モードの予測方向を決定する（S１１０１）。
第１符号化部１０３の予測画像生成部１０９が、S１１０１で決定した予測方向に従って、ローカルデコード画像に含まれる隣接ユニットの画素値から予測画像を生成する。減算部１１０は、入力画像から予測画像を減算することで予測誤差画像を生成する（S１１０３）。
変換・量子化部１１１は、予測誤差画像に対して変換及び量子化処理を行うことで量子化後の変換係数を生成する（Ｓ１１０４）。
変換・量子化部１１１は、第１符号化データを生成する（Ｓ１１０５）。第１符号化データには、量子化後の変換係数、第１符号化モードで符号化されたことを示す符号化モード情報、予測方向、量子化パラメータが含まれる。
ローカルデコード生成部１０７Ａは、第１符号化データに対して、行われた符号化処理に対応する復号処理を行うことでローカルデコード画像を生成する（Ｓ１１０６）。生成されたローカルデコード画像はスイッチ１１４へ送られる。エントロピー符号化部１０５Ａは、第１符号化データに対して、エントロピー符号化を行うことで、ビットストリームを生成する（Ｓ１１０７）。
Ｓ１１０１〜１１０７において、第１符号化モードでの符号化が行われるが、入力画像は第２符号化部１０４にも入力され、第２符号化モードでの符号化についても行われる。図１１では、第１の実施形態と同様に第２符号化部１０４が変換・量子化を行わない例について述べるが、第２符号化部１０４の符号化方法はこれに限られるものではない。
第２符号化部１０４は、予測画像を生成して第２符号化データを生成する（Ｓ１１０８）。第２符号化データはローカルデコード生成部１０７Ｂへ送られる。
ローカルデコード生成部１０７Ｂは、第２符号化データに対して、行われた符号化処理に対応する復号処理を行うことでローカルデコード画像を生成する（Ｓ１１１０）。この例では、予測画像がそのままローカルデコード画像となるため、第２符号化部１０４から予測画像を受け取ってそのままローカルデコード画像としても良いし、第２符号化部１０４と同様の予測処理を行っても良い。生成されたローカルデコード画像はスイッチ１１４へ送られる。
また、第２符号化データはエントロピー符号化部１０５Ｂへ送られる。エントロピー符号化部１０５Ｂは、第２符号化データをエントロピー符号化することで、ビットストリームを生成する（Ｓ１１１１）。
符号化モード判定部１１６はエントロピー符号化部１０５Ａより発生符号量を受け取り、対象ユニットに対する符号化モードの判定を行う（Ｓ１１１２）。符号化モード情報は、スイッチ１１４及びスイッチ１１５に送られる。符号化モード判定部１１６の処理の詳細は後述する。
符号化モード情報が第１符号化モードを示す場合には（Ｓ１１１３，ｙｅｓ）、スイッチ１１４は、ローカルデコード生成部１０７Ａから受け取った第１符号化モードのローカルデコード画像を、第１符号化部１０３、第２符号化部１０４に送る（Ｓ１１１４）。スイッチ１１５は、エントロピー符号化部１０５Ａから受け取った第１符号化モードのビットストリームを出力する（Ｓ１１１５）。
符号化モード情報が第２符号化モードを示す場合には（Ｓ１１１３，ｎｏ）、スイッチ１１４は、ローカルデコード生成部１０７Ｂから受け取った第２符号化モードのローカルデコード画像を、第１符号化部１０３、第２符号化部１０４に送る（Ｓ１１１６）。スイッチ１１５は、エントロピー符号化部１０５Ｂから受け取った第２符号化モードのビットストリームを出力する（Ｓ１１１７）。
処理対象のセグメントに含まれるユニットすべての符号化が終わっていない場合（Ｓ１１１８，ｎｏ）、エントロピー符号化部１０５Ａ及びエントロピー符号化部１０５Ｂは、発生符号量を、符号化モード判定部１１６に送る（Ｓ１１１９）。ただし、第２符号化モードは固定符号量による符号化を行うため、必ずしもエントロピー符号化部１０５Ｂから発生符号量を送る必要はない。
処理対象のセグメントに含まれるユニットすべての符号化が終わった場合（Ｓ１１１８，ｙｅｓ）、セグメントの符号化処理を終了する。
符号化モード判定部１１６の動作について詳細に説明する。符号化モード判定部１１６は、エントロピー符号化部１０５Ａより第１符号化モードで発生した符号量を受け取り、対象ユニットにおける符号化モードの判定を行う。画像符号化装置２００は、図１０に示すように各ユニットに対するすべての処理ステージが完了した後に符号化モードを判定する点が画像符号化装置１００とは異なる。そのため、パイプライン処理を行った場合であっても、符号量のフィードバックにおける遅延がなくなる。
符号化モード判定部１１６は、式（３）によって、残りユニットでの利用可能符号量Ｂａｖａｉｌａｂｌｅの算出を行う。
Figure 2014179707
ここで、Ｂｃｕｒｒｅｎｔは対象ユニットにおいて第１符号化モードで符号化した場合に発生する符号量を示す。符号化モード判定部１１６は、エントロピー符号化部１０５ＡよりＢｃｕｒｒｅｎｔを受け取る。Ｂｔｏｔａｌは式（１）と同様に対象ユニット符号化時にフィードバックされている累積符号量を示す。図１１に示すように直前のユニットで発生した符号量が即座にフィードバックできる点が、画像符号化装置１００とは異なる。
式（３）により算出したＢａｖａｉｌａｂｌｅを用いて式（２）によって符号化モードの判定を行う。本実施形態では、上記のように符号化モードを判定することで、数ユニット分の最大符号量に相当するマージンを持たずに符号化モードの判定ができる。そのため、より画質劣化の少ない符号化を実現できる。
第２符号化部１０４の動作について詳細に説明する。画像符号化装置１００と同様に、本実施形態の第２符号化部１０４は予め定めた符号量以下で符号化を行えば任意の方法を用いて良い。しかしながら、画像符号化装置２００は、画像符号化装置１００と比較するとローカルデコード画像の生成に関して制約が存在する。図１０に示すタイミングで処理を行うことで、第１符号化モードと第２符号化モードによる符号化処理は同時に実行される。パイプライン処理であるため、各ユニットの２番目の処理ステージにおいてローカルデコード画像の一部が確定していなければならない。例えば、Ｕｎｉｔ＃０が３番目の処理ステージを実行するときＵｎｉｔ＃１は２番目の処理ステージで第１の符号化モードによる符号化を実行するため、Ｕｎｉｔ＃１の予測に用いられるローカルデコード画像が決定されている必要がある。各ユニットにおける右端の画素については、予測で用いられるためにローカルデコード画像が第１符号化処理と第２符号化処理で異なってはならないという制約がある。
図１２は、本実施形態におけるユニットの符号化データのシンタクスの例を示す図である。図１２に示すシンタクスによって、上記の問題を解決することができる。図１２において、ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１である場合、第１の符号化モードにおけるシンタクスは図７と同様である。一方、ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿２である場合、第２の符号化モードにおけるシンタクスは図７と異なる。図７におけるシンタクスでは、予測方向に関する情報のみを符号化するため、ローカルデコード画像は予測画像と等しくなる。そのため、本実施形態の第１の符号化モードで生成されるローカルデコード画像とは異なってしまう場合があった。そこで、隣接する直後のユニットの予測に用いられる画素についてはｐｉｘｅｌ＿ｖａｌｕｅとして第１の符号化モードで生成されるローカルデコード画像の画素値をＰＣＭ（ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）で符号化すれば良い。この場合のＰＣＭは、画素値をそのまま出力する処理を指す。ＮＵＭ＿ＰＣＭ＿ＰＩＸＥＬは、ｐｉｘｅｌ＿ｖａｌｕｅによって符号化される画素数を示す。この場合、図７と比較して第２の符号化モードにおける符号量は大きくなるが、後続ユニットの予測に関する問題は解決できる。
図１３は、本実施形態におけるユニットの符号化データのシンタクスの別の例を示す図である。図１３では、第２の符号化モードが選択された場合には追加の情報を符号化せず、予測方向に制限を設けている。式（３）及び式（２）から、一度第２の符号化モードが選択された場合には同一セグメントにおいて第１の符号化モードが選択されることはない。そのため、例えば左ユニットからの予測を禁止することで、後続ユニットの予測に関する問題を解決することができる。本実施形態では、第２の符号化モードでは常に上からの予測のみを行う例について述べている。上からの予測は一例であり、後続ユニットの予測に影響を与えない限りどの方向であっても構わない。
第２の符号化モードによる符号化では、画質が大きく劣化する。本実施形態では上記のような符号化モード判定を行うことで、画像符号化装置１００と比較してより第２の符号化モードが選択されないように制御し、セグメントで発生する累積符号量の上限を保証することができる。
（第３の実施形態）
画像符号化装置２００は、セグメント単位で符号量を保証するために、第１符号化部１０３と第２符号化部１０４を適応的に切り替えていた。ただし、画像符号化装置２００は、セグメント単位の符号量については保証できるものの、ユニット単位の符号量については必ずしも保証することができない。例えば、符号化パラメータによっては、第１符号化部１０３が符号化を行うことで入力画像のデータ量よりも大きな符号量の符号化データが生成される可能性があった。そこで、本実施形態の符号化装置３００は、第１符号化部１０３及び第２符号化部１０４とは異なる方法で符号化を行う第３符号化部１１７を備える。
図１４は、画像符号化装置３００を示す図である。
画像符号化装置３００は、第１符号化部１０３、第２符号化部１０４、第３符号化部１１７、エントロピー符号化部１０５Ａ〜Ｃ、モード判定部１２０、スイッチ１１８、スイッチ１１９、ローカルでコード生成部１０７Ａ〜Ｃ、符号化制御部１０８を備える。画像符号化装置１００、２００と同様の動作を行う構成は、以下説明を省略する。
第３符号化部１１７は、符号化対象ユニットの画素を受け取り、予め定めた符号量となるよう符号化処理を行い、第３符号化データを生成する。
スイッチ１１８は、ローカルデコード生成部１０７Ａ、ローカルデコード生成部１０７Ｂ及びローカルデコード生成部１０７Ｃから第１符号化モード、第２符号化モード及び第３符号化モードそれぞれのローカルデコード画像を受け取る。スイッチ１１８は、符号化モード判定部１２０が決定した符号化モードに従って何れかのローカルデコード画像を、第１符号化部１０３、第２符号化部１０４、及び第３符号化部１１７へと送る。ローカルデコード画像は後続のユニットを符号化する際に参照画像として予測に用いられる。
スイッチ１１９は、エントロピー符号化部１０５Ａ、エントロピー符号化部１０５Ｂ及びエントロピー符号化部１０５Ｃから第１符号化モード、第２符号化モード及び第３符号化モードそれぞれのビットストリームを受け取る。スイッチ１１９は、符号化モード判定部１２０が決定した符号化モードに従って何れかのビットストリームを出力する。
符号化モード判定部１２０は、エントロピー符号化部１０５Ａから第１符号化モードで符号化した際に発生した符号量を受け取り、対象ユニットに対する符号化モード情報を設定してスイッチ１１８及びスイッチ１１９に出力する。
画像符号化装置３００の全体の処理フローについては図示しての説明を省略する。例えば、図１１のＳ１１０１〜Ｓ１１０７，及びＳ１１０８〜Ｓ１１１１と同時に第３符号化部１１７が符号化を行い、選択された符号化モードに従ったビットストリームを出力すればよい。以下の説明では、画像符号化装置３００が図１０のタイミングチャートに従ってパイプライン処理を行う動作について例示する。なお、別の変形例として、第１の実施形態で示した様に、判定された符号化モードが第３符号化モードを示す場合に、第３符号化部１１７が、第３符号化データ及びローカルデコード画像を生成する構成であってもよい。
第３符号化部１１７の動作について詳細に説明する。
図１７は、第３符号化部１１７が符号化モードを判定する動作の詳細を示す図である。
前述のとおり、第１符号化部１０３による符号化ではユニット単位の符号量については必ずしも保証することができなかった。一方、第２符号化部１０４では予め定めた符号量にて符号化を行うため、ユニット単位でも符号量を保証することができる。しかしながら、第２符号化部１０４による符号化は、セグメント単位の目標符号量を超過する場合を想定しているため著しい画質劣化を伴う。
第３符号化部１１７は予め定めた符号量以下で符号化を行う。第３符号化部１１７の符号量は第２符号化部１０４の符号量より十分大きいものとする。第１符号化部１０３により符号化を行った場合に、第３符号化部１１７の符号量よりも大きな符号量が発生した場合には第３符号化部１１７での符号化へ切り替えることで、ユニット単位の最大発生符号量についても保証することが可能となる。
第３符号化部１１７における符号化方法としては任意の方法を用いて良いが、前述のように特定の符号量以下での符号化が求められる。例えば、ＰＣＭモードにより入力画像の画素値をそのまま出力しても良い。前述のように第１符号化部１０３による符号化では入力画像のデータ量を超過する符号化データが生成される場合がある。そこで、第３符号化モードをＰＣＭとすることで、第１符号化部１０３で入力画像のデータ量を超過する場合にはＰＣＭによる符号化を行うことができる。この場合のシンタクス例を図１５に示す。ｃｏｄｅｃ＿ｍｏｄｅがＭＯＤＥ＿１及びＭＯＤＥ＿２を示す場合については図１３と同一であるが、ＭＯＤＥ＿３、即ち第３符号化モードである場合にはＮＵＭ＿ＰＩＸＥＬ＿ＵＮＩＴで示されるユニット内の画素数分だけ画素値がｉｎｐｕｔ＿ｐｉｘｅｌ＿ｖａｌｕｅとして符号化される。
ここではＰＣＭの場合について説明したが、入力画像の画素値に対して量子化を行い、画素あたりのビット数を削減しても良い。また、第１符号化部１０３と同様の予測・変換処理や、隣接画素間の差分をＰＣＭ符号化する一般的なＤＰＣＭ（ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ−ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ）による処理を行って、変換係数や誤差画像に対して予め定めたパラメータで量子化を行っても良い。
また、ユニット内の一部またはすべての画素について、入力画像ではなくその他の符号化モードにより生成されるローカルデコード画像を生成する必要がある場合には、差分データを付加しても良い。第２符号化モードと同様に第３符号化モードについてもローカルデコード画像についての制約が存在する。つまり、ユニット内で右端に存在する画素については第１符号化部１０３で生成されたものと同一である必要がある。例えば、ＰＣＭによる符号化を行う場合には、入力画像の画素値をＰＣＭで符号化した上で、ユニットの右端画素について第１符号化部１０３で生成されたローカルデコード画像の画素値と入力画像の画素値との差分値を算出し、差分値を符号化する。それによって、上記の問題を回避することができる。対応するローカルデコード生成部は、ＰＣＭで生成されたストリームを復号して得た入力画像の画素値と、復号した前記差分値を加算することでユニット内の右端の画素を得ることができる。したがって、符号化装置３００は第１符号化部１０３で生成されたローカルデコード画像の画素を参照画素として予測処理を行えば良い。このとき第３符号化部１１７は、第１符号化部１０３で生成されたローカルデコード画像の画素値を受け取って処理を行っても良いし、第３符号化部１１７が生成しても良い。
図１６は、シンタクス例を示す図である。図１６の例は、第１符号化部１０３で生成されたローカルデコード画像の画素値と入力画像の画素値との差分値をｄｉｆｆ＿ｐｉｘｅｌ＿ｖａｌｕｅとして符号化する点が図１５の例とは異なる。ＮＵＭ＿ＲＥＦ＿ＰＩＸＥＬは、参照画素として利用される画素数を示す。本実施形態では、ユニットの右端の画素のみを対象としている。そのため、ＮＵＭ＿ＲＥＦ＿ＰＩＸＥＬは、ユニットの高さと同値である。なお、煩雑な処理を回避するためユニットの下端の画素についても対象としても良い。
上記の処理については一例を示したものであり、ユニット内の右端画素に関する制約を満たすものであれば任意の方法を用いて良い。
符号化モード判定部１２０の動作について詳細に説明する。
符号化モード判定部１２０は、エントロピー符号化部１０５Ａより第１符号化モードで発生した符号量を受け取り、対象ユニットにおける符号化モードの判定を行う。モード判定部１２０は、は式（４）に示すように第１符号化モードの符号量ＢＭＯＤＥ＿１と、第３符号化モードの符号量ＢＭＯＤＥ＿３のうち、小さい方の値をＢｃｕｒｒｅｎｔとする。
Figure 2014179707
符号化モード判定部１２０は、得られたＢｃｕｒｒｅｎｔを用いて、式（３）によりＢａｖａｉｌａｂｌｅを算出する。式（５）により符号化モードを判定する。
Figure 2014179707
図１７は、符号化モード判定部１２０の動作を示す図である。
まず、ＢＭＯＤＥ＿１がＢＭＯＤＥ＿３以上となる場合には（Ｓ１７０１，ｙｅｓ）、ｃｏｄｅｃ＿ｔｙｐｅをＭＯＤＥ＿３とし、ＢｃｕｒｒｅｎｔをＢＭＯＤＥ＿３とする（Ｓ１７０２）。そうでなければ（Ｓ１７０１，ｎｏ）、ｃｏｄｅｃ＿ｔｙｐｅをＭＯＤＥ＿１とし、ＢｃｕｒｒｅｎｔをＢＭＯＤＥ＿１とする（Ｓ１７０３）。
式（３）に従いＢａｖａｉｌａｂｌｅを算出する（Ｓ１７０４）。すでに選択された第１符号化モードまたは第３符号化モードで符号化してもセグメント内の符号量保証が可能であるかを式（２）と同様に判定する。このとき符号量が保証されないと判断されれば（Ｓ１７０５，ｎｏ）、第２符号化モードを選択する（Ｓ１７０６）。そうでなければ（Ｓ１７０５，ｙｅｓ）、Ｓ１７０２またはＳ１７０３で選択された符号化モードを用いる。
以上の処理により、第３符号化モードによりユニット単位の最大符号量を保証しつつ、セグメント単位の符号量については第２符号化モードにより保証することが可能となる。
ここではユニット単位での符号量を保証する目的で第３符号化モードを利用した。第３符号化モードは、第２の符号化モードと比較して十分大きな符号量を想定しているため、例えばＰＣＭを用いる場合など第１符号化モードや第２符号化モードと比較して高画質な符号化を行うことができる。そこで、例えば式（６）のように、セグメント内の残りすべてのユニットを第３符号化モードで符号化しても目標符号量を超過しないことがわかった時点で第３符号化モードでの符号化に切り替えても良い。
Figure 2014179707
本実施形態の画像符号化装置３００によれば、ユニット単位での符号量を保証した符号化処理を行うことが可能となる。
（第４の実施形態）
一般的にはレート制御により適応的に量子化スケールを設定することで所望の符号量へと収束させることが可能となる。そこで、本実施形態の画像符号化装置４００は、レート制御を行う。
図１８は、画像符号化装置４００を示す図である。
画像符号化装置４００は、レート制御部１２１をさらに備える。その他の構成要素については画像符号化装置３００と同様の動作を行うため、説明を省略する。
レート制御部１２１は、エントロピー符号化部１０５Ａより第１符号化モードの符号量を、符号化モード判定部１２０より符号化モード情報をそれぞれ受け取る。レート制御部１２１は、符号化制御部１０８を通じて第１符号化部１０３の符号化パラメータを適応的に設定することでレート制御を行う。レート制御については、ＭＰＥＧ−２ ＴＭ５で用いられるような一般的な方法を用いて良い。
レート制御部１２１の動作について説明する。
図１９は、画像符号化装置４００の動作例を示す図である。
画像符号化装置４００に対して符号化すべき画像が入力されると、レート制御部１２１は、レート制御のパラメータを設定する（Ｓ１９０１）。例えば、レート制御部１２１が、前述されたＴＭ５のレート制御を行う場合には、レートバッファの初期値や発生符号量に対するフィードバック強度を設定する。レート制御のパラメータについては予め定めた固定値を用いても良い。また、入力された画像のサイズやフォーマットなどの情報に応じて設定しても良い。
レート制御部１２１は設定されたレート制御のパラメータに基づいて第１符号化モードで必要となる、量子化パラメータなどの符号化パラメータを設定する（Ｓ１９０２）。第１符号化部１０３は、Ｓ１９０２で設定された符号化パラメータに従って、入力画像のユニットに対して第１符号化モードによる符号化を行う（Ｓ１９０３）。第２符号化部１０４及び第３符号化部１１７はそれぞれ第２符号化モード及び第３符号化モードによる符号化を行う（Ｓ１９０４、Ｓ１９０５）。これらの符号化処理については画像符号化装置３００と同一の動作を行うため、説明を省略する。
これらの符号化結果に基づき、符号化モード判定部１２０が符号化モードを選択する（Ｓ１９０６）。スイッチ１１８は、選択された符号化モードに対応するローカルデコード画像を送り、スイッチ１１９は、選択された符号化モードに対応するビットストリームを出力する（Ｓ１９０７）。セグメント内のすべてのユニットの符号化が終了していない場合（Ｓ１９０８，ｎｏ）、エントロピー符号化部１０５Ａは第１符号化モードの符号量を符号化モード判定部１２０及びレート制御部１２１に送り、符号化モード判定部１２０は符号化モード情報をレート制御部１２１に送る（Ｓ１９０９）。なお、第２符号化モード及び第３符号化モードでは予め定めた符号量で符号化を行うため、発生符号量を送らなくても符号化モード情報のみで符号量の判定が可能である。
セグメント内のすべてのユニットの符号化が終了し（Ｓ１９０８，ｙｅｓ）、かつ、第２符号化モードが選択された（Ｓ１９１０，ｙｅｓ）場合、レート制御部１２１は、次のセグメントのパラメータを変更する（Ｓ１９１１）。パラメータの変更方法としては、例えば符号量のフィードバック強度を強くする等を行う。第２符号化モードが選択されたということは、通常のレート制御では符号量が発生しすぎたために収束できなかったことを意味する。適応的にレート制御のパラメータを変更することで次のセグメントでは第２符号化モードが選択されないように安定した制御を行うことができる。
本実施形態では、第２符号化モードが選択された場合の処理について説明したが、符号量が余ったことにより第３符号化モードが選択された場合には逆に十分符号量を使えていないことを示す。その様な場合には、フィードバック強度を弱めるなどのパラメータ設定を行うことで安定した画質を得ることが可能となる。
また、ここではセグメント単位でレート制御パラメータを変更する場合について説明したが、複数のユニットをまとめた単位やフレーム単位であっても良い。
このように、レート制御部１２１は発生符号量をユニット単位でフィードバックし、レートを制御する。例えば、目標符号量よりも大きな符号量が発生している場合には量子化パラメータを大きくすることで発生符号量を小さく抑え、目標符号量よりも小さな符号量が発生している場合には量子化パラメータを小さくすることで発生符号量が大きくなるように符号化を行うことで目標の符号量への収束を図ることができる。
なお、本実施形態ではわかりやすさのためレート制御部１２１を明示的に説明したが、これらのレート制御処理は符号化制御部１０８が行っても良い。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
画像符号化装置１００、２００
スイッチ１０１、１０２、
第１符号化部１０３、
第２符号化部１０４、
エントロピー符号化部１０５、１０５Ａ、１０５Ｂ
符号化モード判定部１０６、１１６
ローカルデコード生成部１０７、１０７Ａ、１０７Ｂ
予測誤差画像生成部１０９、逆量子化・逆変換部１１２、加算部１１３
符号化制御部１０８
レート制御部１２１

Claims (8)

  1. 入力画像の符号化対象の画素ブロックに対して第１の符号化データを生成する第１の符号化部と、
    前記符号化対象の画素ブロックに対して予め定められた符号量で符号化された第２の符号化データを生成する第２の符号化部と、
    前記第１の符号化部と前記第２の符号化部のいずれの符号化モードを用いるかを判定する判定部と、
    前記判定部の判定結果に従って、前記第１の符号化データと前記第２の符号化データの何れか一方を選択する選択部と、
    を備え、
    前記判定部は、１以上の画素ブロックを含む特定の単位において、前記符号化対象の画素ブロックの直前に符号化された画素ブロックまでに発生した累積符号量と、前記符号化対象の画素ブロックを前記第１の符号化モードで符号化して発生した符号量を合計した結果、前記特定の範囲の残りの画素ブロックをすべて前記第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定する、動画像符号化装置。
  2. 前記第２の符号化モードでは、前記符号化対象の画素ブロックの直前に符号化される画素ブロックの画素を利用した予測を行わない、
    請求項１記載の画像符号化装置。
  3. 前記第２の符号量よりも大きな第３の符号量で符号化された第３の符号化データを生成する第３の符号化部を更に備え、
    前記判定部は、前記符号化対象の画素ブロックにおいて前記第１の符号量が前記第３の符号量を上回る場合には第３の符号化部の符号化モードを用いると判定する、
    請求項１乃至２記載の画像符号化方法。
  4. 発生符号量に応じて量子化パラメータを適応的に設定する
    前記特定の単位において前記第２の符号化モードが選択された場合に、レート制御部が制御を適応的に変更すること
    レート制御部を更に備え、
    る請求項１乃至３記載の画像符号化装置。
  5. 前記第３の符号化モードにより生成される符号化データが、
    前記入力画像の画素値を含み、
    前記ブロック内の１以上の画素について、前記入力画像の画素値と、前記第１符号化モードで符号化された符号化データを復号して得られる復号画像の画素値との差分値を含む、
    請求項３記載の画像符号化装置。
  6. 前記第２の符号化部は、上方向からの予測のみを行い、変換・量子化係数を符号化しない、請求項２記載の符号化装置。
  7. 前記判定部は、前記累積符号量と、前記符号化対象の画素ブロックを前記第１の符号化モードで符号化して発生した符号量と、符号化中の前記画素ブロックを前記第１の符号化モードで符号化した場合に発生する最大符号量を合計した結果、前記特定の範囲の残りの画素ブロックをすべて前記第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化部の符号化モードを用いると判定することを特徴とする請求項１記載の符号化装置。
  8. 入力画像の符号化対象の画素ブロックに対して第１の符号化データを生成する第１の符号化ステップと、
    前記符号化対象の画素ブロックに対して予め定められた符号量で符号化された第２の符号化データを生成する第２の符号化ステップと、
    前記第１の符号化ステップと前記第２の符号化ステップのいずれで実行される符号化モードを用いるかを判定する判定ステップと、
    前記判定ステップの判定結果に従って、前記第１の符号化データと前記第２の符号化データの何れか一方を出力する選択ステップと、
    を備え、
    前記判定ステップでは、１以上の画素ブロックを含む特定の単位において、前記符号化対象の画素ブロックの直前に符号化された画素ブロックまでに発生した累積符号量と、前記符号化対象の画素ブロックを前記第１の符号化モードで符号化して発生した符号量を合計した結果、前記特定の範囲の残りの画素ブロックをすべて前記第２の符号化モードで符号化しても、予め定めた目標符号量を超過する場合に、前記第２の符号化ステップの符号化モードを用いると判定する、動画像符号化装置。
JP2013051064A 2013-03-13 2013-03-13 画像符号化装置、及びその方法 Pending JP2014179707A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013051064A JP2014179707A (ja) 2013-03-13 2013-03-13 画像符号化装置、及びその方法
US14/193,465 US9036935B2 (en) 2013-03-13 2014-02-28 Image coding apparatus and image coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013051064A JP2014179707A (ja) 2013-03-13 2013-03-13 画像符号化装置、及びその方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017101183A Division JP6360591B2 (ja) 2017-05-22 2017-05-22 画像符号化装置、及びその方法

Publications (1)

Publication Number Publication Date
JP2014179707A true JP2014179707A (ja) 2014-09-25

Family

ID=51527348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013051064A Pending JP2014179707A (ja) 2013-03-13 2013-03-13 画像符号化装置、及びその方法

Country Status (2)

Country Link
US (1) US9036935B2 (ja)
JP (1) JP2014179707A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076715A (ja) * 2013-10-08 2015-04-20 株式会社東芝 画像符号化装置及び画像復号装置
JP2017055267A (ja) * 2015-09-09 2017-03-16 キヤノン株式会社 画像符号化装置、画像処理装置、画像符号化方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532222B2 (ja) * 2014-11-28 2019-06-19 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
DE102021117397A1 (de) * 2020-07-16 2022-01-20 Samsung Electronics Co., Ltd. Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2007288785A (ja) * 2006-04-13 2007-11-01 Samsung Electronics Co Ltd 画像データの空間上予測装置及び方法、並びにそれを利用した符号化装置及び方法、画像データの空間上予測補償装置及び方法、並びにそれを利用した復号化装置及び方法
JP2008271213A (ja) * 2007-04-20 2008-11-06 Hitachi Kokusai Electric Inc 画像符号化装置
WO2010041488A1 (ja) * 2008-10-10 2010-04-15 株式会社東芝 動画像符号化装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4179917B2 (ja) 2003-04-22 2008-11-12 株式会社東芝 動画像符号化装置及び方法
JP4358215B2 (ja) 2006-09-27 2009-11-04 株式会社東芝 動画像符号化装置及びその方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
JP2004135251A (ja) * 2002-10-10 2004-04-30 Sony Corp 画像情報符号化方法及び画像情報復号方法
JP2007288785A (ja) * 2006-04-13 2007-11-01 Samsung Electronics Co Ltd 画像データの空間上予測装置及び方法、並びにそれを利用した符号化装置及び方法、画像データの空間上予測補償装置及び方法、並びにそれを利用した復号化装置及び方法
JP2008271213A (ja) * 2007-04-20 2008-11-06 Hitachi Kokusai Electric Inc 画像符号化装置
WO2010041488A1 (ja) * 2008-10-10 2010-04-15 株式会社東芝 動画像符号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076715A (ja) * 2013-10-08 2015-04-20 株式会社東芝 画像符号化装置及び画像復号装置
JP2017055267A (ja) * 2015-09-09 2017-03-16 キヤノン株式会社 画像符号化装置、画像処理装置、画像符号化方法

Also Published As

Publication number Publication date
US9036935B2 (en) 2015-05-19
US20140270558A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
US20220329851A1 (en) Conditional signalling of reference picture list modification information
KR100740381B1 (ko) 디지털 신호 부호화 장치 및 디지털 신호 복호 장치
JP6432662B2 (ja) 映像符号化装置、映像符号化方法及びプログラム
JP2022516251A (ja) ビデオ・コーディングのための方法、装置、及びコンピュータ・プログラム
US10205763B2 (en) Method and apparatus for the single input multiple output (SIMO) media adaptation
KR20210091807A (ko) 비디오 코딩을 위한 방법 및 장치
JP2014179707A (ja) 画像符号化装置、及びその方法
JP2006080925A (ja) 動画符号化装置、動画符号化方法および動画符号化プログラム
US9179165B2 (en) Video encoding control method, video encoding apparatus and video encoding program
KR102226893B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
US20160182911A1 (en) De-juddering techniques for coded video
JP6360591B2 (ja) 画像符号化装置、及びその方法
US20220109891A1 (en) Features of range asymmetric number system encoding and decoding
JP2008271213A (ja) 画像符号化装置
US9661323B2 (en) Method of encoding picture and picture encoding device
CN105900447B (zh) 处理具有场景变化媒体内容的方法及设备
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
JP6196117B2 (ja) 画像符号化装置及び画像復号装置
WO2014092434A2 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20150216

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161024

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20170220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170324

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171012