JP2006191287A - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents

Abstract

【課題】フリッカを低減する。
【解決手段】予測画像ブロックを蓄積する予測画像フレームメモリ２と、前フレームと現フレームの輝度変化が小さいブロックでは、予測画像フレームメモリ２に蓄積されている前フレームの同一位置で使用した予測画像ブロックとの類似度が最大となるように、現フレームの予測画像ブロックを生成するイントラ予測手段１を備える。
【選択図】 図１

Description

本発明は、フレーム内予測符号化を行う画像符号化装置、画像符号化方法および画像符号化プログラムに関するものである。

ＭＰＥＧ−４ ＡＶＣ（以下、ＡＶＣと記述）は、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣによって策定された動画像の圧縮符号化標準であり、従来の符号化標準であるＭＰＥＧ−４やＨ．２６３に比べて最大で約２倍の圧縮効率を持つ。

一般にＡＶＣは、時間方向の冗長性を排したフレーム間圧縮を用いた動画像の圧縮符号化方式であるが、フレーム内の冗長性を排したフレーム内圧縮を行うイントラフレームモードでの圧縮効率も高いことが知られており、デジタルシネマ、映像編集用途等への応用が期待できる。しかし、ＡＶＣのイントラフレームモードで生成された符号化画像を動画像として再生すると、フリッカが発生するという問題がある。フリッカの原因は、連続する２フレームの同一位置の予測画像ブロックが異なることに起因している。特に、量子化値が大きい場合、復号予測誤差画像ブロックの復元は不完全であり、フレーム間の復号画像ブロックの差異、すなわち、フリッカの発生につながる。

図５は、従来のフレーム内予測符号化を実現する符号化装置のブロック図である。図５において、１はイントラ予測手段、２は復号画像フレームメモリ、３は直交変換／量子化手段、５は可逆符号化手段、４は逆直交変換／逆量子化手段、２０１は差分器、２０２は加算器である。

以下、図５の各手段の機能について順に説明する。イントラ予測手段１は、入力画像ブロックと復号画像フレームメモリ２に蓄積されている復号画像ブロックを入力とし、当該復号画像ブロックを用いて予測画像ブロックの生成を行う。予測画像ブロックが必要なのは、単に入力画像ブロックの高周波成分を削減して符号化するより、入力画像ブロックと予測画像ブロックの差分値を符号化した方が、圧縮効率が良いためである。もちろん、予測画像ブロックが入力画像ブロックに類似しているほど、統計的な偏りが強くなり、圧縮効率が向上する。

ＡＶＣの規格では、ブロック分割サイズとして、４×４ブロック、または、１６×１６ブロック、の２つから選択可能である。一般に、周辺画素との輝度変化が小さい平坦な領域に対しては１６×１６ブロック、輝度変化の大きいテクスチャ領域に対しては４×４ブロックで符号化を行うと、符号化効率が良い。

予測画像ブロックは、符号化対象となっているブロックに隣接している画素を予測方向に内挿補間することにより生成される。ＡＶＣのイントラブロックでは、４×４ブロックで９方向、１６×１６ブロックで４方向、が規定されており、参照する隣接画素は、予測方向により一意に決定される。

図６に、４×４ブロックで規定されている全ての予測方向と予測画像ブロックの関係を示す。図６において、５１は垂直方向予測（ａ）、５２は水平方向予測（ｂ）、５３はＤＣ予測（方向無し：ｃ）、５４は対角左下方向予測（ｄ）、５５は対角右下方向予測（ｅ）、５６は垂直右方向予測（ｆ）、５７は水平下方向予測（ｇ）、５８は垂直左方向予測（ｈ）、５９は水平上方向予測（ｉ）である。

一例として（ｄ）の予測画像ブロック５４を取り上げる。予測画像ブロック５４は、対角左下方向予測を選択した場合であり、隣接画素の輝度値をＡ〜Ｑ、予測画像ブロックの輝度値ａ〜ｐとしたとき、数式１より生成される。

予測方向は、一般に、符号化効率を優先して決定され、入力画像ブロックと予測画像ブロックの予測誤差Ｄ、並びに、当該予測画像ブロックの生成に要するヘッダ符号量Ｒをパラメータとして持つ数式２のコスト関数Ｃに基づいて決定される。

ここで、λはラグランジュ係数であり、予測誤差とヘッダ情報量のどちらに比重を置くかを定めるパラメータである。

そして、４×４ブロックと１６×１６ブロックの各々において予測方向が決まった後、どちらのブロック分割サイズを採用するか決定する。詳細は後述する。

イントラ予測により生成された予測画像ブロックは、差分器２０１にて入力画像ブロックとの差分演算が施された後、予測誤差画像ブロックとして直交変換／量子化手段３へ出力される。尚、選択された予測方向は、予測方向情報として可逆符号化手段５へ出力される。

復号画像フレームメモリ２は、上述の通り、イントラ予測手段１より出力された予測画像ブロックと逆直交変換／逆量子化手段４より出力された復号予測誤差画像ブロックの和である復号画像ブロックを入力とし、当該復号画像ブロックを蓄積する。復号予測誤差ブロックとは、入力画像ブロックと予測画像ブロックの差分である予測誤差画像ブロックに対して、逆直交変換／逆量子化／量子化／直交変換、つまり、符号化／復号化処理を施した画像ブロックである。蓄積された復号画像ブロックは、次の符号化対象ブロックのイントラ予測における被参照画素として用いられる。

直交変換／量子化手段３は、入力画像ブロックとイントラ予測手段１より出力された予測画像ブロックの差分である予測誤差画像ブロックを入力とし、当該予測誤差画像ブロックを４×４ブロック単位に分割、そして、各々の４×４ブロックに対して直交変換／量子化処理を施す。算出された変換係数は、可逆符号化手段５と逆直交変換／逆量子化手段４へ出力される。

逆直交変換／逆量子化手段４は、直交変換／量子化手段３より出力された直交変換／量子化後の変換係数を入力とし、当該変換係数に対して逆量子化／逆直交変換を施し、復号予測誤差画像ブロックを生成する。生成された復号予測誤差画像ブロックは、加算器２０２にて予測画像ブロックとの加算演算が施された後、復号画像として復号画像フレームメモリ２へ出力される。

可逆符号化手段５は、直交変換／量子化手段３より出力された直交変換／量子化された変換係数とイントラ予測手段１より出力された予測方向情報を入力とし、当該変換係数と当該予測方向情報に対して可変長符号化または算術符号化を施し、符号語を生成する。生成された符号語の集合は符号化画像として出力される。

図７は、従来のフレーム内予測符号化画像を復号する復号化装置のブロック図である。図７において、６は可逆復号化手段、７は逆直交変換／逆量子化手段、９はイントラ予測手段、８は復号画像フレームメモリ、１０はデブロックフィルタ、２０３は加算器である。

以下、各手段の機能に関して順に説明する。可逆復号化手段６は、符号化装置より出力された符号化画像を入力とし、当該符号化画像に対して可変長符号化若しくは算術符号化に基づく可逆復号化処理を施す。可逆復号化された符号化画像は、逆量子化／逆直交変換手段７へ出力される。

逆量子化／逆直交変換手段７は、可逆復号化手段６より出力された量子化／直交変換後の変換係数を入力とし、当該変換係数に対して逆量子化／逆直交変換を施し、復号差分画像ブロックを生成する。生成された復号差分画像ブロックは、加算器２０３にてイントラ予測手段９より出力される復号予測画像ブロックとの加算演算が施された後、復号画像ブロックとして、復号画像フレームメモリ８とデブロックフィルタ１０へ出力される。

イントラ予測手段９は、復号画像フレームメモリ８に蓄積されている復号画像ブロックを入力とし、復号対象ブロックと符号化画像中に記述されている予測方向情報を用いて復号予測画像ブロックを生成する。復号化装置で生成される復号予測画像ブロックは、符号化装置で生成する予測方向情報と参照する隣接画素の輝度値が同一なため、生成される画像ブロックは同一となる。生成された復号予測画像ブロックは、加算器２０３にて逆量子化／逆直交変換手段７より出力された復号差分画像ブロックとの加算演算が施された後、復号画像ブロックとして復号画像フレームメモリ８とデブロックフィルタ１０へ出力される。

復号画像フレームメモリ８は、逆量子化／逆直交変換手段７より出力された復号差分画像ブロックとイントラ予測手段９より出力された復号予測画像ブロックの和である復号画像ブロックを入力とし、当該復号画像ブロックの蓄積を行う。蓄積された復号画像ブロックは、次のイントラ予測に用いられる。

デブロックフィルタ１０は、逆量子化／逆直交変換手段７より出力された復号差分画像ブロックとイントラ予測手段９より出力された復号予測画像ブロックの和である復号画像ブロックを入力し、当該復号画像ブロックに含まれるブロック歪の除去を行う。ブロック歪の除去処理が施された復号画像ブロックが、最終的な出力信号となる。

図８は、図５に示す従来の符号化装置のフローチャートである。最初に、ステップ１００１では、入力画像をフレーム単位に取得する。そして、ステップ１００２では、入力画像を１６×１６ブロック（マクロブロック）に分割し、各々のマクロブロックに対して符号化処理を施す。符号語生成処理の詳細なフローチャートに関しては、後述する。

そして、ステップ１００３では、フレーム内の全てのマクロブロックに関して処理が終了しているか判別をする。終了していない場合は、次のマクロブロックの符号化処理を行う。尚、マクロブロックの符号化順序であるが、図９に示す通り、画像の左上端９１から右下端９２に向かって行う。最後に、ステップ１００４では、符号化画像をフレーム単位に出力し、符号化処理を終了する。

図１０は、図８におけるステップ１００２の符号語生成処理に関する詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。最初に、ステップ１１０１では、イントラ予測手段１で、上述の通り、イントラ予測処理を行う。イントラ予測手段１は、入力画像ブロックと復号画像フレームメモリ２に蓄積されている復号画像ブロックを入力とし、符号化対象の画像ブロックに隣接している画素から予測画像ブロックを生成する。生成された予測画像ブロックは、差分器２０１にて入力画像ブロックとの差分演算が施され、予測誤差画像ブロックとして直交変換／量子化手段３へ出力される。また、選択された予測方向は、予測方向情報として可逆符号化手段５へ出力される。イントラ予測に関する詳細なフローチャートは後述する。

そして、ステップ１１０２では、直交変換／量子化手段３で、上述の通り、入力画像ブロックと生成された予測画像ブロックの差分である予測誤差画像ブロックに対して、直交変換／量子化処理を施す。尚、ステップ１１０１において、１６×１６ブロックが選択された場合、４×４ブロック単位で直交変換を行い、個々の４×４ブロックの直流成分を集めて新たに４×４ブロックを生成し、当該直流成分を集めた４×４ブロックに対してアダマール変換を施す。後述する逆直交変換においても同様である。直交変換／量子化処理が施された変換係数は、逆直交変換／逆量子化手段４と可逆符号化手段５へ出力される。

そして、ステップ１１０３では、逆直交変換／量子化手段４で、上述の通り、次の４×４または１６×１６ブロックの符号化で復号画像ブロックが必要となるため、直交変換／量子化処理された変換係数に対して、逆直交変換／逆量子化処理を施し、復号予測誤差画像ブロックを生成する。そして、生成された復号予測誤差画像ブロックは、加算器２０２にてステップ１１０１で生成された予測画像ブロックとの加算演算が施された後、復号画像ブロックとして、復号画像フレームメモリ２に蓄積される。

最後に、ステップ１１０４では、可逆符号化手段５で、上述の通り、直交変換／量子化処理された変換係数とイントラ予測手段１より出力された予測方向情報に対して、可逆符号化処理を施す。処理後の変換係数が符号語として出力される。

図１１は、図１０におけるステップ１１０１のイントラ予測処理に関する詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。最初に、ステップ１２０１では、イントラ予測手段１で、上述の通り、マクロブロックを１６分割した４×４ブロック単位にイントラ予測処理を行う。イントラ予測手段１は、入力画像ブロックと復号画像フレームメモリ２に蓄積されている復号画像ブロックを入力とし、４×４ブロックに対して規定されている９つの予測画像ブロックを生成する。予測画像ブロックは、符号化対象の画像ブロックに隣接している画素を予測方向に内挿補間することで生成される。そして、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つ数式２のコスト関数に基づき、符号量が最小となる予測方向を選択する。尚、画像の上端／左端に関しては、図９に示す通り、隣接画素が存在しないため、輝度値一定の平坦な画像ブロックを隣接画素として仮定し、予測画像ブロックを生成する。

そして、ステップ１２０２では、イントラ予測手段１で、上述の通り、１６×１６ブロックのマクロブロック単位でイントラ予測処理を行う。イントラ予測手段１は、入力画像ブロックと復号画像フレームメモリ２に蓄積されている復号画像ブロックを入力とし、１６×１６ブロックに対して規定されている４つの予測画像ブロックを生成する。そして、ステップ１２０１と同様に、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つ数式２のコスト関数に基づき、符号量が最小となる予測方向を選択する。

最後に、ステップ１２０３では、イントラ予測手段１で、上述の通り、４×４ブロックと１６×１６ブロックのどちらのブロック分割サイズを採用するか決定する。ブロック分割サイズの決定方法は、予測方向の決定方法と同様、数式２に従い、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つコスト関数に基づく。

図１２は、従来のＡＶＣのイントラブロックにおける復号画像ブロックのモデルである。図１２において、２００１は入力画像ブロック、２００２は予測画像ブロック、２００３は予測誤差画像ブロック、２００４は復号予測誤差画像ブロック、２００５は復号画像ブロックである。

入力画像ブロック２００１は、入力として与えられる。予測画像ブロック２００２は、上述の通り、イントラ予測手段１で、符号化対象画像ブロックに隣接している画素を予測方向に内挿補間することにより生成される。図１２は、水平予測方向を適用した一例である。

予測誤差画像ブロック２００３は、差分器３０１にて入力画像ブロック２００１と予測画像ブロック２００２の差分演算を施すことにより生成される。復号予測誤差画像ブロック２００４は、直交変換／量子化手段３で予測誤差画像ブロック２００３の直交変換／量子化を行い、更に、逆直交変換／逆量子化手段４で逆直交変換／逆量子化処理を施して生成される。

復号画像ブロック２００５は、加算器３０２にて予測画像ブロック２００２と復号予測誤差画像ブロック２００４を加算することにより生成される。復号画像ブロック２００５が出力である。復号画像ブロック２００５をモデル式で表すと、数式３で与えられる。

Ｒは復号画像ブロック行列、Ｏは入力画像ブロック行列、Ｐは予測画像ブロック行列、Ｗは直交変換／量子化／逆量子化／逆直交変換を示している。

ここで、数式３は、連続する２フレームの同一位置にあるブロックが全く同じであるとしても、その隣接画素が異なることで、予測画像ブロックＰがＰ１、Ｐ２と異なると、復号画像ブロックがＲ（Ｏ，Ｐ１）とＲ（Ｏ，Ｐ２）と異なる場合があることを示している。これが、フリッカの原因であると考えられる。

図１３に、フリッカの発生過程の一例を示す。図１３（ａ）において、２１０１は前フレームの入力画像ブロック、２１０２は前フレームの予測画像ブロック、２１０３は前フレームの予測誤差画像ブロック、２１０４は前フレームの復号予測誤差画像ブロック、２１０５は前フレームの復号画像ブロックである。

また、図１３（ｂ）において、２２０１は現フレームの入力画像ブロック、２２０２は現フレームの予測画像ブロック、２２０３は現フレームの予測誤差画像ブロック、２２０４は現フレームの復号予測誤差画像ブロック、２２０５は現フレームの復号画像ブロックである。

入力画像ブロック２１０１と２２０１は、全く同じものである。ところが、隣接画素が前フレームと現フレームとで異なっているため、前フレームと現フレームの予測画像ブロック２１０２と２２０２並びに予測誤差画像ブロック２１０３と２２０３も異なる。

以降、予測誤差画像ブロック２１０３と２２０３を直交変換／量子化するのであるが、量子化値が大きい場合、高周波成分が大幅に削られ、予測誤差画像ブロックが完全に復元されない。このように、復元が不完全な復号予測誤差画像ブロック２１０４と２２０４に対して予測画像ブロック２１０２と２２０２を加算すると、前フレームと現フレームの復号画像ブロック２１０５と２２０５は異なった輝度値を持つ画像ブロックとなる。この異なった輝度値を持つ画像ブロックが、フリッカとして知覚されることになる。

そこで、非特許文献１では、予測画像ブロックに依存しないモデル式として数式４を提案している。

これは、予測画像ブロックＰに対して、逆直交変換／逆量子化／量子化／直交変換を施したものを改めて、予測画像ブロックとして定義したものである。数式４は、復号画像ブロックを予測画像ブロックに依存せずに生成できるため、連続する２フレームの同一位置の予測画像ブロックが異なっても、復号画像ブロックには影響しない。すなわち、フリッカを低減できる。
Ｘ．Ｆａｎ ｅｔ．ａｌ．："Ｆｌｉｃｋｉｎｇ Ｒｅｄｕｃｔｉｏｎ ｉｎ Ａｌｌ Ｉｎｔｒａ Ｆｒａｍｅ Ｃｏｄｉｎｇ"，ＪＶＴ−Ｅ０７０．

しかしながら、上記の非特許文献１を適用する場合に、以下の課題がある。
（課題１）符号化装置と復号化装置で、予測画像ブロックを逆直交変換／逆量子化／量子化／直交変換する必要があるため、処理量が増加する。

（課題２）ＡＶＣでは、復号化装置で、予測画像ブロックに対して逆直交変換／逆量子化／量子化／直交変換する処理を仕様として規定していない。すなわち、ＡＶＣ規格外の復号化装置でないとフリッカを低減できない。

本発明は、上記従来の事情に鑑みてなされたものであって、フリッカを低減することが可能な画像符号化装置、画像符号化方法および画像符号化プログラムを提供することを目的としている。

本発明の画像符号化装置は、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化装置であって、予測画像ブロックを蓄積する予測画像蓄積手段と、前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するブロック判別手段と、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段と、を備える。

上記構成によれば、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段を備えることにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる。また、復号化装置で、予測画像ブロックに対して逆直交変換／逆量子化／量子化／直交変換する処理を行う必要がない為、ＡＶＣ規格内でフリッカを低減できる。

また、本発明の本発明の画像符号化装置は、前記ブロック判別手段が、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別するものである。上記構成によれば、ブロック判別手段が、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別することにより、フリッカとして知覚されやすい輝度変化が小さいブロックに絞ってフリッカ低減を行うことができる。

また、本発明の画像符号化装置は、前記ブロック判別手段が、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別するものである。上記構成によれば、ブロック判別手段が、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別することにより、原画像からフリッカとして知覚されやすい輝度変化が小さいブロックに絞ってフリッカ低減を行うことができる。

また本発明の画像符号化装置は、前記イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、前フレームと現フレームの予測画像ブロックを類似させることができる。

また、本発明の画像符号化装置は、前記イントラ予測手段が、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、同一領域のブロックサイズがフレーム間で変動する事がなくなる為、ブロックサイズが異なる事がで生じるブロック歪を抑制することができる。

また、本発明の画像符号化装置は、前記イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、前フレームと現フレームの予測画像を類似させることができる。

また、本発明の画像符号化装置は、前記イントラ予測手段が、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成するものである。フリッカ低減を優先したイントラ予測は、前フレームの予測画像ブロックに類似するよう制御され、入力画像ブロックに依存しない。このため、フリッカ低減を優先したイントラ予測を続けると、入力画像から徐々に離れた復号画像が生成され続ける発散過程に陥る恐れがある。しかし、上記構成によれば、イントラ予測手段が、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成することにより、入力画像と類似した復号画像を生成することができる為、発散過程を回避することができる。

また、本発明の画像符号化方法は、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化方法であって、フリッカ低減対象画像ブロックであることを判別し、入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するものである。

さらに、本発明の画像符号化プログラムは、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するプログラムであって、コンピュータに、前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するステップと、フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するステップと、を実行させるためのプログラムである。

本発明によれば、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成することにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる。

以下、図面を参照し、本発明の実施形態について説明する。図１は、本実施形態による画像符号化装置の概略構成を示した図である。図１に示す画像符号化装置は、符号化対象の入力画像ブロックとこの入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するものであり、１はイントラ予測手段、２は復号画像フレームメモリ、３は直交変換／量子化手段、４は逆直交変換／逆量子化手段、５は可逆符号化手段、１０１はブロック判別手段、１０２は予測画像フレームメモリ、２０１は差分器、２０２は加算器である。

ここで、復号画像フレームメモリ２、直交変換／量子化手段３、可逆符号化手段５、逆直交変換／逆量子化手段４は、図５で説明した従来の画像符号化装置と全く同様の動作原理である。以下では、ブロック判別手段１０１、予測画像フレームメモリ１０２、イントラ予測手段１における動作原理のみ説明する。

ブロック判別手段１０１は、入力画像ブロックを入力とし、当該画像ブロックがフリッカ低減対象画像ブロック、または、符号化効率優先画像ブロックであるか、の判別を行う。判別基準は、初期化フレームであるか、不知覚画像ブロックであるか、の２点に基づく。

まず、初期化フレームは、符号化効率を優先したイントラ予測を強制的に行うフレームを指す。フリッカ低減を優先したイントラ予測は、前フレームの予測画像ブロックに類似するよう制御される。つまり、入力画像ブロックに依存しないイントラ予測である。そのため、フリッカ低減を優先したイントラ予測を続けると、入力画像から徐々に離れた復号画像が生成され続ける発散過程に陥る恐れがある。初期化フレームは、この発散過程から回避する手段として存在する。初期化フレームの挿入間隔はフレーム枚数で定義され、任意に設定可能である。ブロック判別手段１０１では、フレームの枚数をカウントしておき、設定枚数に達した場合、符号化効率を優先した従来のイントラ予測に切替える。もちろん、初期化フレームの挿入間隔を時間として定義しても良い。

次に、不知覚画像ブロックは、フリッカとして知覚され難い画像ブロックを指す。フリッカとして知覚され難いブロックとしては、入力画像ブロックにおいて時間方向の輝度変化が急な物体出現画像ブロック、又は、エッジ成分を多く含むテクスチャ画像ブロックが候補として挙げられる。理由としては、物体出現画像ブロックとテクスチャ画像ブロックの両者は共に、フリッカの原因となる細かい輝度変化を知覚上、吸収するためである。

物体出現ブロックを不知覚画像ブロックとして定義する場合、連続する２フレームの差分値が閾値以上の画像ブロックを対象とする。また、テクスチャ画像ブロックを不知覚画像ブロックとして定義する場合、ＳＯＢＥＬ等のエッジ抽出フィルタにより符号化対象画像ブロックのエッジ成分を算出し、エッジ成分が閾値以上の画像ブロックを不知覚画像ブロックと判断する。

図２は、前フレームと現フレームのイントラ予測画像の一例を示したものである。図２において、３００１は前フレーム、３１０１は現フレーム、３００２と３００３は前フレームのブロック、３１０２と３１０３は現フレームのブロックである。ブロック３００２と３１０２は輝度変化が小さいため、フリッカ低減を優先したイントラ予測、ブロック３００３と３１０３は輝度変化が大きいため、符号化効率を優先したイントラ予測を行う。

上記の２点のどちらかに該当する場合は符号化効率優先画像ブロックとして判別し、該当しない場合はフリッカ低減優先画像ブロックと判別する。また、先頭フレームは、前フレームの予測画像ブロックが存在しないため、符号化効率優先画像ブロックとして符号化する。判別結果は、イントラ予測手段１へ出力される。

予測画像フレームメモリ１０２は、イントラ予測手段１より出力された予測画像ブロックを入力とし、当該予測画像ブロックの蓄積を行う。蓄積された予測画像ブロックは、次のフレームのイントラ予測で参照される。

イントラ予測手段１は、フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像フレームメモリ１０２に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成する。イントラ予測手段１は、ブロック判別手段１０１より出力された判別結果と復号画像フレームメモリ２に蓄積されている復号画像ブロック（入力画像ブロック）を入力とし、当該復号画像ブロックを用いて予測画像ブロックを生成する。このとき、従来のイントラ予測では、数式２に示す通り、入力画像ブロックと予測画像ブロックの予測誤差、並びに、当該予測画像ブロックの生成に必要となるヘッダ符号量を考慮して予測方向を選択していたが、本実施形態では、ブロック判別手段１０１より出力された判別結果に応じて２通りのイントラ予測を切替える。

一方は、従来の符号化効率を優先したイントラ予測であり、ブロック判別手段１０１より出力された判別結果が符号化効率優先画像ブロックの場合に適用する。他方は、フリッカ低減を優先したイントラ予測であり、当該判別結果がフリッカ低減対象画像ブロックの場合に適用する。

後者のフリッカ低減を優先したイントラ予測では、イントラ予測手段１で、予測画像フレームメモリ１０２に蓄積されている前フレームの同一位置で使用した予測画像ブロックとの絶対誤差が最小となる予測画像ブロックを生成する。すなわち、前フレームと現フレームの予測画像ブロックが類似する。生成された予測画像ブロックは、差分器２０１にて入力画像ブロックとの差分演算が施された後、予測誤差画像ブロックとして、直交変換／量子化手段３へ出力される。また、選択された予測方向は、予測方向情報として可逆符号化手段５へ出力される。

図３に、本実施形態のイントラ予測処理のフローチャートを示す。以下の処理は、マクロブロック単位に実行される。最初に、ステップ１３０１では、上述の通り、ブロック判別手段１０１で、符号化対象画像ブロックが符号化効率を優先する画像ブロックであるか、フリッカ低減を優先する画像ブロックのどちらであるか判別する。判別基準は、入力画像ブロックから離れた復号画像ブロックが生成され続ける発散過程からの回避効果を有する初期化フレームであるか、フリッカとして知覚し難い不知覚画像ブロックであるか、に基づく。

そして、ステップ１３０２では、図１１に示す通り、イントラ予測手段１で、４×４ブロックと１６×１６ブロックの各々で予測方向を決定し、最後にブロック分割サイズを決定する。このとき、フリッカ低減を優先した予測方向、並びに、ブロック分割サイズの選択を行う。詳細なフローチャートは後述する。

そして、ステップ１３０３では、図１１に示す通り、イントラ予測手段１で、４×４ブロックと１６×１６ブロックの各々で予測方向を決定し、最後にブロック分割サイズを決定する。このとき、符号化効率を優先した予測方向、並びに、ブロック分割サイズの選択を行う。符号化効率を優先する場合、上述の通り、入力画像ブロックと予測画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとする数式２のコスト関数に基づいて予測方向、並びに、ブロック分割サイズを選択する。詳細な説明は、従来のイントラ予測と同様なため、省略する。

最後に、ステップ１３０４では、生成された予測画像ブロックを予測画像フレームメモリ１０２に蓄積する。このとき、イントラ予測手段１で、２フレーム前の予測画像ブロックを消去し、常に、前フレームの予測画像ブロックのみが蓄積されている状態にする。

図４は、図３のステップ１３０２に示すフリッカ低減を優先したイントラ予測処理の詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。また、４×４ブロックと１６×１６ブロックの各々のブロック分割サイズに関して実行される。

ステップ１４０１では、イントラ予測手段１で、予測方向毎に現フレームの予測画像ブロックを生成する。尚、４×４ブロックの場合は９方向、１６×１６ブロックの場合は４方向について予測画像ブロックを生成することになる。

次に、ステップ１４０２では、イントラ予測手段１で、予測方向毎に予測画像フレームメモリ１０２に蓄積されている前フレームの予測画像ブロックを読出し、前フレームと現フレームの予測画像ブロックの類似度を加味したコスト関数の導出を行う。ここでは、類似度を前フレームと現フレームの予測画像ブロックの絶対誤差和（ＳＡＤ）として定義し、数式２における予測誤差Ｄの項と置き換える。数式５は、ＳＡＤの定義式である。

ここで、Ｐ＿ＰＲＥＶは前フレームの予測画像ブロック行列、Ｐ＿ＣＵＲＲは現フレームの予測画像ブロック行列、Ｍは予測画像ブロックの画素数、ｉ，ｊは画素番号である。

最後に、ステップ１４０３において、全予測方向のコストが最小となる予測方向を選択する。尚、選択された予測方向は、予測方向情報として可逆符号化手段５へ出力される。

ところが、上記の手順では、全予測方向の予測画像ブロックを生成する処理とブロックを構成する個々の画素単位で誤差を計算する処理が必要となる。そこで、予測画像ブロックを用いて類似度を評価するのではなく、予測画像ブロックの生成元となる隣接画素を用いて近似的に類似度を評価し、高速化を図る。

つまり、図４のステップ１４０１において、イントラ予測手段１で、全予測方向の予測画像ブロックを生成していたが、生成しない。そして、ステップ１４０２において、イントラ予測手段１で、復号画像フレームメモリ２に蓄積されている前フレームの復号画像ブロックを読出し、前フレームの予測画像ブロックと現フレームの予測画像ブロックの類似度を、各々の予測画像ブロックの生成元である隣接画素の類似度から評価する。例えば、水平予測方向の場合、隣接画素ＩＪＫＬ（図６参照）の４画素を対象に類似度を評価する。つまり、数式５において、Ｐ＿ＰＲＥＶは前フレームの隣接画素行列、Ｐ＿ＣＵＲＲは現フレームの隣接画素行列、Ｍは隣接画素数となる。隣接画素数は、予測方向毎に異なる。最後に、ステップ１４０３において、全予測方向のコスト関数において最小の値を取る予測方向を選択する。本ステップの動作原理は同様である。

具体的な効果として、全予測方向の予測画像ブロックを生成する処理を省くことができる。また、類似度の評価に用いる画素数に関しても、予測画像ブロックで行う場合は、４×４ブロックで９方向×１６画素＝１４４画素の比較が必要であったが、隣接画素で行う場合、４＋４＋８＋１２＋９＋７＋８＋４＋４＝６０画素（図６の斜線画像ブロックの総数）で可能となる。

尚、イントラ予測手段１で、現フレームのイントラ予測結果である予測方向と予測画像ブロックを予測画像フレームメモリ２に蓄積しておき、次フレームで参照できるようにしておく。以上が、フリッカ低減を優先したイントラ予測の高速化方法に関するフローチャートである。

以上説明した画像符号化装置および画像符号化方法は、静止圧縮画像を生成するため、ランダムアクセス性や編集性に優れている。それ故、画像検索機能を有する画像蓄積装置または画像編集装置等への適用が有用である。

本発明は、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成することにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる効果を有し、フレーム内予測符号化を行う画像符号化装置、画像符号化方法および画像符号化プログラム等に有用である。

本発明の実施形態による画像符号化装置を示した概略ブロック図 フリッカ低減対象画像ブロックを説明するための図 本発明の実施形態のフレーム内予測符号化における予測方向の決定処理のフローチャート 本発明の実施形態のフリッカ低減を優先した予測方向の決定処理のフローチャート 従来のＡＶＣの画像符号化装置を示した概略ブロック図 ＡＶＣの４×４イントラブロックの予測方向を説明するための図 従来のＡＶＣの画像復号化装置を示した概略ブロック図 従来の画像符号化装置のフローチャート 符号化順序を説明するための図 符号語生成処理のフローチャート フレーム内予測符号化におけるイントラ予測処理のフローチャート ＡＶＣのイントラブロックのモデルを説明するための図 フリッカの原因を説明するための図

符号の説明

１ イントラ予測手段（符号化装置）
２ 復号画像フレームメモリ（符号化装置）
３ 直交変換／量子化手段
４ 逆直交変換／逆量子化手段（符号化装置）
５ 可逆符号化手段
６ 可逆復号化手段
７ 逆直交変換／逆量子化手段（復号化装置）
８ 復号画像フレームメモリ（復号化装置）
９ イントラ予測手段（復号化装置）
１０ デブロックフィルタ
５１ 垂直方向予測
５２ 水平方向予測
５３ ＤＣ予測
５４ 対角左下方向予測
５５ 対角右下方向予測
５６ 右方向予測
５７ 水平下方向予測
５８ 垂直左方向予測
５９ 水平上方向予測
１０１ ブロック判別手段
１０２ 予測画像フレームメモリ
２０１ 差分器
２０２ 加算器
２０３ 加算器
３０１ 差分器
３０２ 加算器
２００１ 入力画像ブロック
２００２ 予測画像ブロック
２００３ 予測誤差画像ブロック
２００４ 復号予測誤差画像ブロック
２００５ 復号画像ブロック
２１０１ 入力画像ブロック（前フレーム）
２１０２ 予測画像ブロック（前フレーム）
２１０３ 予測誤差画像ブロック（前フレーム）
２１０４ 復号予測誤差画像ブロック（前フレーム）
２１０５ 復号画像ブロック（前フレーム）
２２０１ 入力画像ブロック（現フレーム）
２２０２ 予測画像ブロック（現フレーム）
２２０３ 予測誤差画像ブロック（現フレーム）
２２０４ 復号予測誤差画像ブロック（現フレーム）
２２０５ 復号画像ブロック（現フレーム）
３００１ 前フレーム
３００１ 画像ブロック（前フレーム）
３００２ 画像ブロック（前フレーム）
３１０１ 現フレーム
３１０１ 画像ブロック（現フレーム）
３１０２ 画像ブロック（現フレーム）

Claims (9)

1. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化装置であって、
   予測画像ブロックを蓄積する予測画像蓄積手段と、
   前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するブロック判別手段と、
   フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段と、
   を備える画像符号化装置。
2. 前記ブロック判別手段は、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別する請求項１記載の画像符号化装置。
3. 前記ブロック判別手段は、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別する請求項１記載の画像符号化装置。
4. 前記イントラ予測手段は、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項１記載の画像符号化装置。
5. 前記イントラ予測手段は、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項１記載の画像符号化装置。
6. 前記イントラ予測手段は、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項１記載の画像符号化装置。
7. 前記イントラ予測手段は、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成する請求項１記載の画像符号化装置。
8. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化方法であって、
   フリッカ低減対象画像ブロックであることを判別し、
   入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成する画像符号化方法。
9. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するプログラムであって、コンピュータに、
   前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するステップと、
   フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するステップと、
   を実行させるための符号化プログラム。

Images