JP2014093760A - 画像符号化装置、画像復号装置、及び画像符号化方法、画像復号方法 - Google Patents

Abstract

【課題】映像の低ビットレート符号化の手法として有効ビット深度の削減を行なう際に、演算量増大を伴わずに選択的に有効ビット深度削減を行ない有効ビット深度削減によるグラデーション領域での主観画質低下を防いだ画像符号化装置等を得る。
【解決手段】イントラ予測モード判定部１２から出力される最適イントラ予測モード番号Ｍ１に基づいてグラデーション領域判定を実施するグラデーション領域判定部１３と、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１に基づいて適応的に有効ビット深度削減を行なう、原画像ビット深度削減部１４及び予測画像ビット深度削減部１５とを備えた。
【選択図】図１

Description

この発明は、有効ビット深度を削減して映像を圧縮符号化して伝送できる画像符号化装置、画像復号装置等に関する。

映像情報の圧縮伝送は様々な場面で使われており、特に東日本大震災以降、映像による災害情報伝達の重要性が認識されている。激甚災害時には使用可能な伝送帯域の制限や電力不足が起こる可能性があるため、このような状況では映像を低ビットレートかつ低消費電力で伝送することが求められる。

低ビットレートで映像を伝送する手段として、下記非特許文献１に記載のＨＥＶＣ(High Efficiency Video Coding)を用いれば、下記非特許文献２に記載の符号化方式Ｈ．２６４／ＡＶＣと比較して約１／２のビットレートで伝送することが可能である。

さらに、低ビットレートに特化した場合の圧縮効率を高める手法の一つとして、ビット深度削減がある。これは、有効ビット深度を削減することにより伝送すべき情報量を削減して圧縮効率を高める手法である。例えば、下記特許文献１には、書画画像等の低階調でよい画像を伝送する際に、発生情報量に応じて画素値の有効ビット深度を少なくすることで、画質をあまり損なうことなく発生符号量を削減するための技術が開示されている。

一方、自然画に対して有効ビット深度削減を行なうと、主観画質の低下を招く場合がある。例えば、グラデーションのように画素値が徐々に変化するような場合、下位ビットを削減することによって本来徐々に変化していた画素値が階段状に変化するようになり、擬似輪郭が見えてしまうという問題が起こる。

下記特許文献２には、視覚特性に基づいて注視領域を抽出し、注視領域でない領域においてビット深度を削減することで、注視領域の階調感を損なうことなくビット深度を削減するための技術が開示されている。

特許第３３８２２９２号 特開２０１１−４１１９０号公報

Benjamin Bross著、"High efficiency video coding(HEVC) text specification draft8"、JCTVC-J1003_d7、Joint Collaborative Team on Video Coding(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11、10th Meeting:Stockholm、SE、11-20 July 2012 "Advanced video coding for generic audiovisual services"、ITU-T Recommendation H.264、International Telecommunication Union、June 2011

特許文献２に開示されている方法を実施するには、追加機能の実装が必要になるため、回路規模の増加を招いてしまい、実装に必要な回路規模を確保できない可能性がある。また、処理量が増加するため消費電力の増加を招いてしまい、映像を低消費電力で伝送することが必要な状況において処理を実行できないという課題があった。

この発明は、映像の低ビットレート符号化の手法として有効ビット深度の削減を行なう際に、符号化装置の演算量増大を伴わずに選択的に有効ビット深度削減を行なうことで、有効ビット深度削減によるグラデーション領域での主観画質低下を防ぐことのできる画像符号化装置、およびこの画像符号化装置の出力する符号化ストリームを復号して復号画像を出力する画像復号装置等を得ることを目的とする。

この発明は、入力画像からイントラ予測モードとして用意されている各モードの予測コストの最小となる最適イントラ予測モード番号及び最小イントラ予測コストを求めるイントラ予測モード判定部と、前記最適イントラ予測モード番号及び最小イントラ予測コストに基づき、入力画像の符号化対象予測ブロックのグラデーション領域判定をしてグラデーション領域判定フラグを出力するグラデーション領域判定部と、前記グラデーション領域判定フラグに基づいて入力画像に対して有効ビット深度を削減し予測ブロック原画像を出力する原画像ビット深度削減部と、前記グラデーション領域判定フラグに基づいて予測ブロック予測画像に対して有効ビット深度を削減し予測ブロック予測画像を出力する予測画像ビット深度削減部と、前記予測ブロック原画像と予測ブロック予測画像の差分画像を量子化する量子化部と、量子化した信号および前記グラデーション領域判定フラグを基に符号化を実施して前記グラデーション領域判定フラグの情報を含んだ符号化ストリームを生成する符号化部と、を備えたことを特徴とする画像符号化装置等にある。

また、前記画像符号化装置から出力された符号化ストリームを復号して復号画像を出力する画像復号装置であって、前記符号化ストリームに基づいて画像符号化装置においてビット深度削減処理が実施されたか否かを判定するビット深度削減実施有無判定部と、予測画像に対して、前記判定結果に基づいて前記画像符号化装置の前記予測画像ビット深度削減部が予測画像に対して実施した処理と同一の処理を実施して復号画像を出力する復号部と、を備えたことを特徴とする画像復号装置等にある。

この発明では、映像の低ビットレート符号化の手法として有効ビット深度の削減を行なう際に、符号化装置の演算量増大を伴わずに選択的に有効ビット深度削減を行なうことで、有効ビット深度削減によるグラデーション領域での主観画質低下を防ぐことができ、また上記のように符号化された画像を復号することができる。

この発明の実施の形態１に係る画像符号化装置を示す構成図である。 この発明の画像符号化のイメージ図である。 ＨＥＶＣのPlanar予測を示す図である。 この発明の実施の形態１に係るイントラ予測モード判定部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係るグラデーション領域判定部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係る原画像ビット深度削減部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係る予測画像ビット深度削減部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係る符号量制御部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係る符号化部の処理の一例を示す動作フローチャートである。 この発明の実施の形態１に係る画像復号装置を示す構成図である。 この発明の実施の形態１に係る復号部の処理の一例を示す動作フローチャートである。 この発明の実施の形態２に係る画像符号化装置を示す構成図である。 この発明の実施の形態２に係るイントラ予測モード判定部の処理の一例を示す動作フローチャートである。 この発明の実施の形態２に係るグラデーション領域判定部の処理の一例を示す動作フローチャートである。 この発明の実施の形態２に係る画像復号装置を示す構成図である。 この発明の実施の形態２に係るビット深度削減実施有無判定部の処理の一例を示す動作フローチャートである。

この発明の画像符号化装置によれば、イントラPlanar予測が有利な領域をグラデーション領域と判断して有効ビット深度削減を実施しないため、有効ビット深度削減によるグラデーション領域の主観画質低下を防ぐことができる。
また、通常の符号化処理における予測モード判定処理の過程で得られるパラメータを用いて有効ビット深度削減の実施有無を選択するので、画像符号化装置において有効ビット深度削減の実施有無を適応化(領域の状態に従って実施)するための演算量増大を伴わず、回路規模や消費電力を増加させることなく、有効ビット深度削減の実施有無の判定をすることが可能である。

以下、この発明による画像符号化装置、画像符号化装置等を各実施の形態に従って図面を用いて説明する。なお、各実施の形態において、同一もしくは相当部分は同一符号で示し、重複する説明は省略する。

実施の形態１．
図１はこの発明の実施の形態１に係る画像符号化装置を示す構成図である。画像符号化装置ＥＣにおいて、入力画像フレームメモリ１１は、画像符号化装置への入力画像ＩＰ１を格納するメモリである。
イントラ予測モード判定部１２は、イントラ予測モードとして用意されている各モードの予測コストを算出し、予測コストが最小となる最適イントラ予測モード番号Ｍ１をグラデーション領域判定部１３及びイントラ予測部１６に出力し、さらに最小イントラ予測コストＣＭＩＮ１をグラデーション領域判定部１３に出力する。

図２はこの発明の画像符号化のイメージ図である。イントラPlanar予測が有利でない領域は有効ビット深度削減を行って符号化を行う。イントラPlanar予測コストが小さい場合には、グラデーション領域と見なし、有効ビット深度削減を行わずに符号化を行う。

図３はＨＥＶＣのPlanar予測を図示したものである。ＨＥＶＣにおけるPlanar予測は、次式のように定義される。

predSamples[x][y]
＝((nS-1-x)*p[-1][y]＋(x+1)*p[nS][-1]＋(nS-1-y)*p[x][-1]
＋(y+1)*p[-1][nS]＋nS)>>(log2(nS)+1)

但し、
predSamples[x][y]：位置(x、 y)の予測画素値
nS：予測ブロックサイズ
p[x][y]：予測ブロックに隣接する位置(x、 y)の復号画素値
である。

図３において、周囲４点を用いた補間処理により予測画素を生成する。

グラデーション領域判定部１３は、イントラ予測モード判定部１２から出力された最適イントラ予測モード番号Ｍ１及び最小イントラ予測コストＣＭＩＮ１に基づいて、グラデーション領域判定フラグＧＲＦ１を原画像ビット深度削減部１４、予測画像ビット深度削減部１５、符号量制御部２２、符号化部２７に出力する。

原画像ビット深度削減部１４は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１に基づいて、入力画像フレームメモリ１１に格納された入力画像ＩＰ１に対して有効ビット深度を削減し、予測ブロック原画像ＯＰ１として減算器２１に出力する。

予測画像ビット深度削減部１５は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１に基づいて、切換スイッチ２０から出力された予測ブロック予測画像ＲＰ１に対して有効ビット深度を削減し、予測ブロック予測画像ＲＰ２として減算器２１及び加算器２５に出力する。

イントラ予測部１６は、イントラ予測モード判定部１２から出力された最適イントラ予測モード番号Ｍ１に従い、参照画像メモリ１９に格納された参照画像を使用してイントラ予測による予測画像を生成し、その予測画像を切換スイッチ２０に出力する。

動き探索部１７は、入力画像フレームメモリ１１に格納された参照フレームに対して動き探索を実施し、動き探索により取得した動きベクトルＭＶ１を動き補償部１８に出力する。

動き補償部１８は、参照画像メモリ１９に格納された参照画像のうち、動きベクトルＭＶ１により指定される参照画像を使用して動き補償処理を実施することで予測画像を生成し、その予測画像を切換スイッチ２０に出力する。

参照画像メモリ１９は、イントラ予測部１６及び動き補償部１８における予測画像の生成に使用する参照画像を格納するメモリである。切換スイッチ２０は、イントラ予測部１６から出力された予測画像又は動き補償部１８から出力された予測画像を選択して予測画像ビット深度削減部１５に出力するスイッチである。

減算器２１は、原画像ビット深度削減部１４から出力された予測ブロック原画像ＯＰ１と予測画像ビット深度削減部１５から出力された予測ブロック予測画像ＲＰ２との差分を求め、その差分画像ＤＰ１をＤＣＴ量子化部２３に出力する。

符号量制御部２２は、符号化部２７から出力された発生符号量Ｒ１に基づいて予測ブロックの量子化スケールを決定し、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１に基づいて前記量子化スケールを補正して量子化スケールＱＳ１としてＤＣＴ量子化部２３に出力する。

ＤＣＴ量子化部２３は、減算器２１から出力された差分画像ＤＰ１に対して離散コサイン変換(ＤＣＴ)を実施し、符号量制御部２２から出力された量子化スケールＱＳ１に従い量子化を実施することにより得られたＤＣＴ係数ＣＯＥＦ１を逆ＤＣＴ逆量子化部２４、符号化部２７に出力する。

逆ＤＣＴ逆量子化部２４は、ＤＣＴ量子化部２３から出力されたＤＣＴ係数ＣＯＥＦ１に対して逆量子化、逆ＤＣＴを実施して取得した差分画像ＤＰ２を加算器２５に出力する。加算器２５は、予測画像ビット深度削減部１５から出力された予測ブロック予測画像ＲＰ２に逆ＤＣＴ逆量子化部２４から出力された差分画像ＤＰ２を加算して得られた局部復号画像ＬＰ１を、参照画像メモリ１９へ出力する。

ループフィルタ設計部２６は、入力画像フレームメモリ１１から出力された入力画像ＩＰ１、及び原画像ビット深度削減部１４から出力された予測ブロック原画像ＯＰ１に基づいてループフィルタパラメータＬＰＦ１を算出し、符号化部２７に出力する。

ループフィルタとは、復号時に予測画像、復号画像に対して、それらを原画像に近づける目的で適用するフィルタであり、デブロッキングフィルタ、画素適応オフセットフィルタ(SAO: Sample Adaptive Offset)、適応ループフィルタ(ALF: Adaptive Loop Filter)などがある。このうち、ＳＡＯ、ＡＬＦについては、画像符号化装置が自由に設計することができる。ループフィルタ設計部２６がループフィルタを設計する単位はフレーム単位、ブロック単位など自由であり、また、グラデーション領域に特化したループフィルタを設計してもよい。

符号化部２７は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１、符号量制御部２２から出力された量子化スケールＱＳ１、ＤＣＴ量子化部２３から出力されたＤＣＴ係数ＣＯＥＦ１、ループフィルタ設計部２６から出力されたループフィルタパラメータＬＰＦ１を基に可変長符号化を実施して符号化ストリームＣＳを生成しそのストリームを出力し、発生符号量Ｒ１を符号量制御部２２に出力する。

＜イントラ予測モード判定部１２の動作＞
次に、イントラ予測モード判定部１２の動作を説明する。
図４は、実施の形態１に係るイントラ予測モード判定部１２の処理の流れの一例を示すフローチャートである。

イントラ予測モード判定部１２は、イントラ予測モード番号Ｋ１をＫ１＝０、最適予測モード番号Ｍ１をＭ１＝０、最小予測コストＣＭＩＮ１を十分大きい値として初期化する(ステップＳ００)

イントラ予測モード番号Ｋ１が全イントラ予測モード数Ｎ１に等しくない場合(ステップＳ０５：ＮＯ)、イントラ予測モード判定部１２は、イントラ予測モード番号Ｋ１に対応するイントラ予測モードの予測コストＣ１を算出する(ステップＳ０１)。

イントラ予測モード判定部１２は、ステップＳ０１で算出した予測コストＣ１が最小予測コストＣＭＩＮ１を下回るか否かを判定する(ステップＳ０２)

イントラ予測モード判定部１２は、ステップＳ０１で算出した予測コストＣ１が最小予測コストＣＭＩＮ１を下回る場合(ステップＳ０２：ＹＥＳ)、最小予測コストＣＭＩＮ１をＣＭＩＮ１＝Ｃ１と更新し、最適イントラ予測モード番号Ｍ１をＭ１＝Ｋ１と更新する(ステップＳ０３)。

イントラ予測モード判定部１２は、イントラ予測モード番号Ｋ１をインクリメントする(ステップＳ０４)。

イントラ予測モード判定部１２は、イントラ予測モード番号Ｋ１が、全イントラ予測モード数Ｎ１に等しいか否かを判定する(ステップＳ０５)。

イントラ予測モード番号Ｋ１が全イントラ予測モード数Ｎ１に等しい場合(ステップＳ０４：ＹＥＳ)、イントラ予測モード判定部１２は、最適イントラ予測モード番号Ｍ１をグラデーション領域判定部１３、イントラ予測部１６に出力し、最小イントラ予測コストＣＭＩＮ１をグラデーション領域判定部１３に出力する(ステップＳ０６)。

＜グラデーション領域判定部１３の動作＞
次に、グラデーション領域判定部１３の動作を説明する。
図５は、実施の形態１に係るグラデーション領域判定部１３の処理の流れの一例を示すフローチャートである、

グラデーション領域判定部１３は、イントラ予測モード判定部１２から出力された最適イントラ予測モード番号Ｍ１がイントラPlanar予測を示すか否かを判定する(ステップＳ１０)

イントラ予測モード判定部１２から出力された最適イントラ予測モード番号Ｍ１がイントラPlanar予測を示す場合(ステップＳ１０：ＹＥＳ)、グラデーション領域判定部１３は、イントラ予測モード判定部１２から出力された最小イントラ予測コストＣＭＩＮ１が閾値Ｔｈ０以下であるか否かを判定する(ステップＳ１１)。

イントラ予測モード判定部１２から出力された最小イントラ予測コストＣＭＩＮ１がＴｈ０以下である場合(ステップＳ１１：ＹＥＳ)、グラデーション領域判定部１３は、グラデーション領域判定フラグＧＲＦ１をＧＲＦ１＝ＯＮとして原画像ビット深度削減部１４、予測画像ビット深度削減部１５、符号量制御部２２、符号化部２７に出力する(ステップＳ１２)。

イントラ予測モード判定部１２から出力された最適イントラ予測モード番号Ｍ１がイントラPlanar予測を示していない場合(ステップＳ１０：ＮＯ)、およびイントラ予測モード判定部１２から出力された最小イントラ予測コストＣＭＩＮ１が閾値Ｔｈ０を超える場合(ステップＳ１１：ＮＯ)、グラデーション領域判定部１３は、グラデーション領域判定フラグＧＲＦ１をＧＲＦ１＝ＯＦＦとして原画像ビット深度削減部１４、予測画像ビット深度削減部１５、符号量制御部２２、符号化部２７に出力する(ステップＳ１３)。

＜原画像ビット深度削減部１４の動作＞
次に、原画像ビット深度削減部１４の動作について説明する。
図６は、実施の形態１に係る原画像ビット深度削減部１４の処理の流れの一例を示すフローチャートである。

原画像ビット深度削減部１４は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮか否かを判定する(ステップＳ２０)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮの場合(ステップＳ２０：ＹＥＳ)、原画像ビット深度削減部１４は、入力画像フレームメモリ１１から出力された入力画像ＩＰ１を、予測ブロック原画像ＯＰ１として減算器２１に出力する(ステップＳ２１)

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＦＦの場合(ステップＳ２０：ＮＯ)、原画像ビット深度削減部１４は、入力画像フレームメモリ１１から出力された入力画像ＩＰ１に対して有効ビット深度削減を実施して生成した画像を、予測ブロックの原画像ＯＰ１として減算器２１に出力する(ステップＳ２２)

＜予測画像ビット深度削減部１５の動作＞
次に、予測画像ビット深度削減部１５の動作について説明する。
図７は、実施の形態１に係る予測画像ビット深度削減部１５の処理の流れの一例を示すフローチャートである。

予測画像ビット深度削減部１５は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮであるか否かを判定する(ステップＳ３０)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮの場合(ステップＳ３０：ＹＥＳ)、予測画像ビット深度削減部１５は、切換スイッチ２０から出力された予測画像ＲＰ１を、予測ブロックの予測画像ＲＰ２として減算器に出力する(ステップＳ３１)

グラデーション領域判定部１３から出力されたグラデーション領域フラグＧＲＦ１がＯＦＦの場合(ステップＳ３０：ＮＯ)、予測画像ビット深度削減部１５は、切換スイッチ２０から出力された予測ブロックの予測画像ＲＰ１に対して有効ビット深度削減を実施して生成した画像を、予測ブロックの予測画像ＲＰ２として減算器２１に出力する(ステップＳ３２)

＜符号量制御部２２の動作＞
次に、符号量制御部２２の動作について説明する。
図８は、実施の形態１に係る符号量制御部２２の処理の流れの一例を示すフローチャートである。

符号量制御部２２は、符号化部２７から出力された発生符号量Ｒ１に基づいて予測ブロックの量子化スケールを決定する(ステップＳ４０)

符号量制御部２２は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮであるか否かを判定する(ステップＳ４１)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮである場合(ステップＳ４１：ＹＥＳ)、符号量制御部２２は、予測ブロックに災害による炎や煙によるグラデーションがあると判断し、グラデーション領域判定フラグがＯＮである予測ブロックやその周囲の予測ブロックにおいて、ステップＳ４０で決定した量子化スケールを小さく補正して、ＤＣＴ量子化部２３に出力する(ステップＳ４２)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＦＦである場合(ステップＳ４１：ＮＯ)、符号量制御部２２は、原画像ビット深度削減部１４、及び予測画像ビット深度削減部１５において削減されたビット数を考慮し、ステップＳ４０で決定した量子化スケールを大きく補正して、ＤＣＴ量子化部２３に出力する(ステップＳ４３)。

＜符号化部２７の動作＞
次に、符号化部２７の動作について説明する。
図９は、実施の形態１に係る符号化部２７の処理の流れの一例を示すフローチャートである。

符号化部２７は、グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮであるか否かを判定する(ステップＳ５０)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＮである場合(ステップＳ５０：ＹＥＳ)、符号量制御部２２から出力された量子化スケールＱＳ１、ＤＣＴ量子化部２３から出力されたＤＣＴ係数ＣＯＥＦ１、ループフィルタ設計部２６から出力されたループフィルタパラメータＬＰＦ１を基にして可変長符号化を実施し、グラデーション領域判定フラグＧＲＦ１がＯＮであるという情報を含んだ符号化ストリームＣＳを生成し、そのストリームを出力する(ステップＳ５１)。

グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１がＯＦＦである場合(ステップＳ５０：ＮＯ)、符号量制御部２２から出力された量子化スケールＱＳ１、ＤＣＴ量子化部２３から出力されたＤＣＴ係数ＣＯＥＦ１、ループフィルタ設計部２６から出力されたループフィルタパラメータＬＰＦ１を基にして可変長符号化を実施し、グラデーション領域判定フラグＧＲＦ１がＯＦＦであるという情報を含んだ符号化ストリームＣＳを生成し、そのストリームを出力する(ステップＳ５２)。

符号化部２７は、発生符号量Ｒ１を符号量制御部２２に出力する(ステップＳ５３)。

図１０はこの発明の実施の形態１に係る画像復号装置を示す構成図である。画像復号装置ＤＣにおいて、ビット深度削減実施有無判定部１００は、入力された符号化ストリームＣＳからビット深度削減実施フラグＢＲＦ１がＯＮかＯＦＦかを示す情報を取得し、ビット深度削減実施フラグＢＲＦ１を復号部１０１に出力する。

復号部１０１は、ビット深度削減実施有無判定部１００から出力されたビット深度削減実施フラグＢＲＦ１に基づいて、復号の過程で生成する予測画像に対して有効ビット深度補正を実施して復号画像ＤＥＰ１を生成し出力する。
すなわち予測画像に対して、判定結果に基づいて図１の画像符号化装置の原画像ビット深度削減部１４及び予測画像ビット深度削減部１５が予測画像に対して実施した処理と同一の処理を実施して復号画像ＤＥＰ１を出力する。

平滑化フィルタ部１０２は、復号部１０１から出力された復号画像ＤＥＰ１に対して、ビット深度削減処理により画素値変化が階段状になっている状態を滑らかにする処理を実施して出力画像ＯＵＰを出力する。

＜復号部１０１の動作＞
次に、復号部１０１の動作について説明する。
図１１は、実装の形態１に係る復号部１０１の処理の流れの一例を示すフローチャートである。

復号部１０１は、ビット深度削減実施有無判定部１００から出力されたビット深度削減実施フラグＢＲＦ１がＯＮであるか否かを判定する(ステップＳ１００)。

ビット深度削減実施有無判定部１００から出力されたビット深度削減実施フラグＢＲＦ１がＯＮである場合(ステップＳ１００：ＹＥＳ)、復号部１０１は、復号の過程で生成する予測画像に対して有効ビット深度補正を実施して復号画像を生成し復号画像ＤＥＰ１として出力する(ステップＳ１０１)

ビット深度削減実施有無判定部１００から出力されたビット深度削減実施フラグＢＲＦ１がＯＦＦである場合(ステップＳ１００：ＮＯ)、復号部１０１は、通常の復号処理を実施して復号画像を生成し復号画像ＤＥＰ１として出力する(ステップＳ１０２)

以上のように、この実施の形態１によれば、画像符号化装置ＥＣは、
イントラ予測モード判定部１２から出力される最適イントラ予測モード番号Ｍ１に基づいてグラデーション領域判定を実施するグラデーション領域判定部１３と、
グラデーション領域判定部１３から出力されたグラデーション領域判定フラグＧＲＦ１に基づいて適応的に有効ビット深度削減を行なう原画像ビット深度削減部１４及び予測画像ビット深度削減部１５と、
グラデーション領域判定フラグＧＲＦ１のＯＮ／ＯＦＦ情報を含んだ符号化ストリームＣＳを生成する符号化部２７を備えている。
画像復号装置ＤＣでは、符号化ストリーム中からビット深度削減実施フラグＢＲＦ１を取得するビット深度削減実施有無判定部１００と、ビット深度削減実施有無判定部１００から出力されたビット深度削減実施フラグＢＲＦ１に基づいて、復号の過程で生成する予測画像の有効ビット深度を補正する復号部１０１を備えている。
これにより、通常の符号化処理における予測モード判定処理の過程で得られるパラメータを用いて有効ビット深度削減の実施有無を選択するようにしたことで、画像符号化装置において有効ビット深度削減の実施有無を適応化するための回路規模や消費電力の増大を抑えつつ、有効ビット深度削減による主観画質低下の防止と低ビットレートにおける高効率な映像符号化が両立できる効果が得られる。

実施の形態２．
図１２はこの発明の実施の形態２に係る画像符号化装置を示す構成図である。図１と対応する部分には符号にａを付加し、また重複する動作説明は省略する。

画像符号化装置ＥＣにおいて、イントラ予測モード判定部１２ａはイントラ予測モードとして用意されている各モードの予測コストを算出し、予測コストが最小となる最適イントラ予測モード番号Ｍ１１をグラデーション領域判定部１３ａ、及びイントラ予測部１６ａに出力し、最小イントラ予測コストＣＭＩＮ１１をグラデーション領域判定部１３ａ、及びイントラ・インター判定部３１に出力する。

グラデーション領域判定部１３ａは、イントラ予測モード判定部１２ａから出力された最適イントラ予測モード番号Ｍ１１、及び最小イントラ予測コストＣＭＩＮ１１、イントラ・インター判定部３１から出力されたイントラ・インター判定結果ＭＯＤＥ１１に基づいて、グラデーション領域判定フラグＧＲＦ１１を原画像ビット深度削減部１４ａ、予測画像ビット深度削減部１５ａ、符号量制御部２２ａに出力する。

動き探索部１７ａは、入力画像フレームメモリ１１に格納された参照フレームに対して動き探索を実施して取得した動きベクトルＭＶ１１を動き補償部１８ａに出力し、動き探索の過程で得た最小インター予測コストＤＭＩＮ１１をイントラ・インター判定部３１に出力する。

可変長符号化部２７ａは、イントラ予測モード判定部１２ａから出力された最適イントラ予測モード番号Ｍ１１、イントラ・インター判定部３１から出力されたイントラ・インター判定結果ＭＯＤＥ１１、符号量制御部２２ａから出力された量子化スケールＱＳ１１、ＤＣＴ量子化部２３ａから出力されたＤＣＴ係数ＣＯＥＦ１１、ループフィルタ設計部２６ａから出力されたループフィルタパラメータＬＰＦ１１を基に可変長符号化を実施して符号化ストリームＣＳを生成しそのストリームを出力し、発生符号量Ｒ１１を符号量制御部２２ａに出力する。
符号化部２７ａは、イントラまたはインターを示す予測モード、イントラ予測モードの情報も含んだ符号化ストリームＣＳを生成する。

イントラ・インター判定部３１は、イントラ予測モード判定部１２ａから出力された最小イントラ予測コストＣＭＩＮ１１、及び動き探索部１７ａから出力された最小インター予測コストＤＭＩＮ１１に基づいてイントラ・インター判定を実施し、イントラ・インター判定結果ＭＯＤＥ１１をグラデーション領域判定部１３ａ、及び可変長符号化部２７ａに出力する。

＜イントラ予測モード判定部１２ａの動作＞
次に、イントラ予測モード判定部１２ａの動作について説明する。
図１３は、実施の形態２に係るイントラ予測モード判定部１２ａの処理の流れの一例を示すフローチャートである。

イントラ予測モード判定部１２ａは、イントラ予測モード番号Ｋ１１をＫ１１＝０、最適予測モード番号Ｍ１１をＭ１１＝０、最小予測コストＣＭＩＮ１１を十分大きい値として初期化する(ステップＳ２００)

イントラ予測モード番号Ｋ１１が全イントラ予測モード数Ｎ１１に等しくない場合(ステップＳ２０５：ＮＯ)、イントラ予測モード判定部１２ａは、イントラ予測モード番号Ｋ１１に対応するイントラ予測モードの予測コストＣ１１を算出する(ステップＳ２０１)。

イントラ予測モード判定部１２ａは、ステップＳ２０１で算出した予測コストＣ１１が最小予測コストＣＭＩＮ１１を下回るか否かを判定する(ステップＳ２０２)

イントラ予測モード判定部１２ａは、ステップＳ２０１で算出した予測コストＣ１１が最小予測コストＣＭＩＮ１１を下回る場合(ステップＳ２０２：ＹＥＳ)、最小予測コストＣＭＩＮ１１をＣＭＩＮ１１＝Ｃ１１と更新し、最適イントラ予測モード番号Ｍ１１をＭ１１＝Ｋ１１と更新する(ステップＳ２０３)。

イントラ予測モード判定部１２ａは、イントラ予測モード番号Ｋ１１をインクリメントする(ステップＳ２０４)。

イントラ予測モード判定部１２ａは、イントラ予測モード番号Ｋ１１が、全イントラ予測モード数Ｎ１１に等しいか否かを判定する(ステップＳ２０５)。

イントラ予測モード番号Ｋ１１が全イントラ予測モード数Ｎ１１に等しい場合(ステップＳ２０５：ＹＥＳ)、イントラ予測モード判定部１２ａは、最適イントラ予測モード番号Ｍ１１をグラデーション領域判定部１３ａ、イントラ予測部１６ａ、可変長符号化部２７ａに出力し、最小イントラ予測コストＣＭＩＮ１１をグラデーション領域判定部１３ａ、イントラ・インター判定部３１に出力する(ステップＳ２０６)。

＜グラデーション領域判定部１３ａの動作＞
次に、グラデーション領域判定部１３ａの動作を説明する。
図１４は、実施の形態２に係るグラデーション領域判定部１３ａの処理の流れの一例を示すフローチャートである。

グラデーション領域判定部１３ａは、イントラ・インター判定部３１から出力されたイントラ・インター判定結果ＭＯＤＥ１１がイントラであるか否かを判定する(ステップS２１０)。

イントラ・インター判定部３１から出力されたイントラ・インター判定結果ＭＯＤＥ１１がイントラである場合(ステップS２１０：YES)、グラデーション領域判定部１３ａは、イントラ予測モード判定部１２ａから出力された最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示すか否かを判定する(ステップＳ２１１)

イントラ予測モード判定部１２ａから出力された最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示す場合(ステップＳ２１１：ＹＥＳ)、グラデーション領域判定部１３ａは、イントラ予測モード判定部１２ａから出力された最小イントラ予測コストＣＭＩＮ１１が閾値Ｔｈ１以下であるか否かを判定する(ステップＳ２１２)。

イントラ予測モード判定部１２ａから出力された最小イントラ予測コストＣＭＩＮ１１がＴｈ１以下である場合(ステップＳ２１２：ＹＥＳ)、グラデーション領域判定部１３ａは、グラデーション領域判定フラグＧＲＦ１１をＧＲＦ１１＝ＯＮとして原画像ビット深度削減部１４ａ、予測画像ビット深度削減部１５ａ、符号量制御部２２ａに出力する(ステップＳ２１３)。

イントラ・インター判定部３１から出力されたイントラ・インター判定結果ＭＯＤＥ１１がイントラでない場合(ステップS２１０：ＮＯ)、またはイントラ予測モード判定部１２ａから出力された最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示していない場合(ステップＳ２１１：ＮＯ)、またはイントラ予測モード判定部１２ａから出力された最小イントラ予測コストＣＭＩＮ１１が閾値Ｔｈ１を超える場合(ステップＳ２１２：ＮＯ)、グラデーション領域判定部１３ａは、グラデーション領域判定フラグＧＲＦ１１をＧＲＦ１１＝ＯＦＦとして原画像ビット深度削減部１４ａ、予測画像ビット深度削減部１５ａ、符号量制御部２２ａに出力する(ステップＳ２１４)。

図１５はこの発明の実施の形態２に係る画像復号装置を示す構成図である。図１０と対応する部分には符号にａを付加し、また重複する動作説明は省略する。画像復号装置ＤＣにおいて、ビット深度削減実施有無判定部１００ａは、入力された符号化ストリームＣＳから得られる予測モード(イントラ・インター判定結果ＭＯＤＥ１１)、及び最適イントラ予測モード番号Ｍ１１に基づいてビット深度削減実施フラグＢＲＦ１１を作成し、復号部１０１ａに出力する。
復号部１０１ａは、予測画像に対して、判定結果に基づいて図１２の画像符号化装置の原画像ビット深度削減部１４ａ及び予測画像ビット深度削減部１５ａが予測画像に対して実施した処理と同一の処理を実施して復号画像ＤＥＰ１１を出力する。

＜ビット深度削減実施有無判定部１００ａ＞
次に、ビット深度削減実施有無判定部１００ａの動作について説明する。
図１６は、実施の形態２に係るビット深度削減実施有無判定部１００ａの処理の流れの一例を示すフローチャートである。

ビット深度削減実施有無判定部１００ａは、符号化ストリームＣＳから得られる予測モードＭＯＤＥ１１(すなわちイントラ・インター判定結果ＭＯＤＥ１１)がイントラであるか否かを判定する(ステップＳ３００)。

予測モードＭＯＤＥ１１がイントラである場合(ステップＳ３００：ＹＥＳ)、ビット深度削減実施有無判定部１００ａは、符号化ストリームＣＳから得られる最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示すか否かを判定する(ステップＳ３０１)。

最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示す場合(ステップＳ３０１：ＹＥＳ)、ビット深度削減実施有無判定部１００ａは、ビット深度削減実施フラグＢＲＦ１１をＢＲＦ１１＝ＯＮとして復号部１０１ａに出力する(ステップＳ３０２)。

予測モードＭＯＤＥ１１がイントラでない場合(ステップＳ３００：ＮＯ)、または最適イントラ予測モード番号Ｍ１１がイントラPlanar予測を示していない場合(ステップＳ３０１：ＮＯ)、ビット深度削減実施有無判定部１００ａは、ビット深度削減実施フラグＢＲＦ１１をＢＲＦ１１＝ＯＦＦとして復号部１０１ａに出力する(ステップＳ３０３)。

以上のように、この実施の形態２によれば、画像符号化装置ＥＣは、イントラ予測モード判定部１２ａから出力される最適イントラ予測モード番号Ｍ１１、及びイントラ・インター判定部３１から出力されるイントラ・インター判定結果ＭＯＤＥ１１に基づいてグラデーション領域判定を実施するグラデーション領域判定部１３ａと、グラデーション領域判定部１３ａから出力されたグラデーション領域判定フラグＧＲＦ１１に基づいて適応的に有効ビット深度削減を行なう原画像ビット深度削減部１４ａ及び予測画像ビット深度削減部１５ａと、予測モード(イントラ・インター判定結果ＭＯＤＥ１１)及び最適イントラ予測モード番号Ｍ１１を含んだ符号化ストリームＣＳを生成する符号化部２７ａを備えている。
画像復号装置ＤＣでは、符号化ストリームから得られる予測モード(イントラ・インター判定結果ＭＯＤＥ１１)及び最適イントラ予測モード番号Ｍ１１に基づいてビット深度削減実施フラグＢＲＦ１を出力するビット深度削減実施有無判定部１００ａと、ビット深度削減実施有無判定部１００ａから出力されたビット深度削減実施フラグＢＲＦ１に基づいて、復号の過程で生成する予測画像の有効ビット深度を補正する復号部１０１ａを備えている。
これにより、通常の符号化処理における予測モード判定処理の過程で得られるパラメータを用いて有効ビット深度削減の実施有無を選択することで、画像符号化装置において有効ビット深度削減の実施有無を適応化するための回路規模や消費電力の増大を符号化シンタックスの変更を伴わずして抑えつつ、有効ビット深度削減による主観画質低下の防止と低ビットレートにおける高効率な映像符号化が両立できる効果が得られる。

１１ 入力画像フレームメモリ、１２，１２ａ イントラ予測モード判定部、１３，１３ａ グラデーション領域判定部、１４，１４ａ 原画像ビット深度削減部、１５、１５ａ 予測画像ビット深度削減部、１６，１６ａ イントラ予測部、１７，１７ａ 動き探索部、１８，１８ａ 動き補償部、１９ 参照画像メモリ、２０ 切換スイッチ、２１ 減算器、２２，２２ａ 符号量制御部、２３，２３ａ ＤＣＴ量子化部、２４，２４ａ 逆ＤＣＴ逆量子化部、２５ 加算器、２６，２６ａ ループフィルタ設計部、２７ 符号化部、２７ａ 可変長符号化部、３１ イントラ・インター判定部、１００，１００ａ ビット深度削減実施有無判定部、１０１，１０１ａ 復号部、１０２，１０２ａ 平滑化フィルタ部。

Claims (10)

1. 入力画像からイントラ予測モードとして用意されている各モードの予測コストの最小となる最適イントラ予測モード番号及び最小イントラ予測コストを求めるイントラ予測モード判定部と、
   前記最適イントラ予測モード番号及び最小イントラ予測コストに基づき、入力画像の符号化対象予測ブロックのグラデーション領域判定をしてグラデーション領域判定フラグを出力するグラデーション領域判定部と、
   前記グラデーション領域判定フラグに基づいて入力画像に対して有効ビット深度を削減し予測ブロック原画像を出力する原画像ビット深度削減部と、
   前記グラデーション領域判定フラグに基づいて予測ブロック予測画像に対して有効ビット深度を削減し予測ブロック予測画像を出力する予測画像ビット深度削減部と、
   前記予測ブロック原画像と予測ブロック予測画像の差分画像を量子化する量子化部と、
   量子化した信号および前記グラデーション領域判定フラグを基に符号化を実施して前記グラデーション領域判定フラグの情報を含んだ符号化ストリームを生成する符号化部と、
   を備えたことを特徴とする画像符号化装置。
2. 前記グラデーション領域判定フラグに基づいて量子化スケールを制御する符号量制御部をさらに備えたことを特徴とする請求項１に記載の画像符号化装置。
3. 前記入力画像及びビット深度削減後の前記予測ブロック原画像に基づいてグラデーション領域のみで最適化したループフィルタを設計するループフィルタ設計部をさらに備えたことを特徴とする請求項２に記載の画像符号化装置。
4. 前記入力画像に対して動き探索を実施して得た最小インター予測コストを出力する動き探索部と、
   前記最小イントラ予測コストおよび最小インター予測コストに基づいてイントラ・インター判定を実施しイントラ・インター判定結果を出力するイントラ・インター判定部と、
   をさらに備え、
   前記グラデーション領域判定部は、前記イントラ・インター判定部によるイントラ・インター判定結果がイントラの場合にのみ、符号化対象予測ブロックに対してグラデーション領域判定を実施し、
   前記符号化部が、イントラまたはインターを示す予測モード、イントラ予測モードの情報も含んだ符号化ストリームを生成する、
   ことを特徴とする請求項３に記載の画像符号化装置。
5. 前記原画像ビット深度削減部及び予測画像ビット深度削減部は有効ビット深度を削減し、前記ループフィルタ設計部は、前記入力画像及びビット深度削減後の前記予測ブロック原画像に基づいてループフィルタを設計することを特徴とする請求項３に記載の画像符号化装置。
6. 請求項１に記載の画像符号化装置から出力された符号化ストリームを復号して復号画像を出力する画像復号装置であって、
   前記符号化ストリームに基づいて画像符号化装置においてビット深度削減処理が実施されたか否かを判定するビット深度削減実施有無判定部と、
   予測画像に対して、前記判定結果に基づいて請求項１に記載の画像符号化装置の前記予測画像ビット深度削減部が予測画像に対して実施した処理と同一の処理を実施して復号画像を出力する復号部と、
   を備えたことを特徴とする画像復号装置。
7. 請求項４に記載の画像符号化装置から出力された符号化ストリームを復号して復号画像を出力する画像復号装置であって、
   前記符号化ストリームから得られたイントラまたはインターを示す予測モード、イントラ予測モードに応じて前記画像符号化装置においてビット深度削減処理が実施されたか否かを判定するビット深度削減実施有無判定部と、
   予測画像に対して、前記判定結果に基づいて請求項４に記載の画像符号化装置の前記予測画像ビット深度削減部が予測画像に対して実施した処理と同一の処理を実施して復号画像を出力する復号部と、
   を備えたことを特徴とする画像復号装置。
8. 前記復号画像に対して平滑化処理を実施する平滑化フィルタ部を備えたことを特徴とする請求項６または７に記載の画像復号装置。
9. 入力画像からイントラ予測モードとして用意されている各モードの予測コストの最小となる最適イントラ予測モード番号及び最小イントラ予測コストを求めるイントラ予測モード判定工程と、
   前記最適イントラ予測モード番号及び最小イントラ予測コストに基づき、入力画像の符号化対象予測ブロックのグラデーション領域判定をしてグラデーション領域判定フラグを出力するグラデーション領域判定工程と、
   前記グラデーション領域判定フラグに基づいて入力画像に対して有効ビット深度を削減し予測ブロック原画像を出力する原画像ビット深度削減工程と、
   前記グラデーション領域判定フラグに基づいて予測ブロック予測画像に対して有効ビット深度を削減し予測ブロック予測画像を出力する予測画像ビット深度削減工程と、
   前記予測ブロック原画像と予測ブロック予測画像の差分画像を量子化する量子化工程と、
   量子化した信号および前記グラデーション領域判定フラグを基に符号化を実施して前記グラデーション領域判定フラグの情報を含んだ符号化ストリームを生成する符号化工程と、
   そ備えたことを特徴とする画像符号化方法。
10. 請求項９に記載の画像符号化方法で出力された符号化ストリームを復号して復号画像を出力する画像復号方法であって、
    前記符号化ストリームに基づいて画像符号化方法においてビット深度削減処理が実施されたか否かを判定するビット深度削減実施有無判定工程と、
    予測画像に対して、前記判定結果に基づいて請求項９に記載の画像符号化方法の前記予測画像ビット深度削減工程が予測画像に対して実施した処理と同一の処理を実施して復号画像を出力する復号工程と、
    を備えたことを特徴とする画像復号方法。

Images