JP2006191287A - 画像符号化装置、画像符号化方法および画像符号化プログラム - Google Patents

画像符号化装置、画像符号化方法および画像符号化プログラム Download PDF

Info

Publication number
JP2006191287A
JP2006191287A JP2005000652A JP2005000652A JP2006191287A JP 2006191287 A JP2006191287 A JP 2006191287A JP 2005000652 A JP2005000652 A JP 2005000652A JP 2005000652 A JP2005000652 A JP 2005000652A JP 2006191287 A JP2006191287 A JP 2006191287A
Authority
JP
Japan
Prior art keywords
image block
prediction
block
image
previous frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005000652A
Other languages
English (en)
Inventor
Kazuya Takagi
一也 高木
Yoshimasa Honda
義雅 本田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2005000652A priority Critical patent/JP2006191287A/ja
Publication of JP2006191287A publication Critical patent/JP2006191287A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】フリッカを低減する。
【解決手段】予測画像ブロックを蓄積する予測画像フレームメモリ2と、前フレームと現フレームの輝度変化が小さいブロックでは、予測画像フレームメモリ2に蓄積されている前フレームの同一位置で使用した予測画像ブロックとの類似度が最大となるように、現フレームの予測画像ブロックを生成するイントラ予測手段1を備える。
【選択図】 図1

Description

本発明は、フレーム内予測符号化を行う画像符号化装置、画像符号化方法および画像符号化プログラムに関するものである。
MPEG−4 AVC(以下、AVCと記述)は、ITU−TおよびISO/IECによって策定された動画像の圧縮符号化標準であり、従来の符号化標準であるMPEG−4やH.263に比べて最大で約2倍の圧縮効率を持つ。
一般にAVCは、時間方向の冗長性を排したフレーム間圧縮を用いた動画像の圧縮符号化方式であるが、フレーム内の冗長性を排したフレーム内圧縮を行うイントラフレームモードでの圧縮効率も高いことが知られており、デジタルシネマ、映像編集用途等への応用が期待できる。しかし、AVCのイントラフレームモードで生成された符号化画像を動画像として再生すると、フリッカが発生するという問題がある。フリッカの原因は、連続する2フレームの同一位置の予測画像ブロックが異なることに起因している。特に、量子化値が大きい場合、復号予測誤差画像ブロックの復元は不完全であり、フレーム間の復号画像ブロックの差異、すなわち、フリッカの発生につながる。
図5は、従来のフレーム内予測符号化を実現する符号化装置のブロック図である。図5において、1はイントラ予測手段、2は復号画像フレームメモリ、3は直交変換/量子化手段、5は可逆符号化手段、4は逆直交変換/逆量子化手段、201は差分器、202は加算器である。
以下、図5の各手段の機能について順に説明する。イントラ予測手段1は、入力画像ブロックと復号画像フレームメモリ2に蓄積されている復号画像ブロックを入力とし、当該復号画像ブロックを用いて予測画像ブロックの生成を行う。予測画像ブロックが必要なのは、単に入力画像ブロックの高周波成分を削減して符号化するより、入力画像ブロックと予測画像ブロックの差分値を符号化した方が、圧縮効率が良いためである。もちろん、予測画像ブロックが入力画像ブロックに類似しているほど、統計的な偏りが強くなり、圧縮効率が向上する。
AVCの規格では、ブロック分割サイズとして、4×4ブロック、または、16×16ブロック、の2つから選択可能である。一般に、周辺画素との輝度変化が小さい平坦な領域に対しては16×16ブロック、輝度変化の大きいテクスチャ領域に対しては4×4ブロックで符号化を行うと、符号化効率が良い。
予測画像ブロックは、符号化対象となっているブロックに隣接している画素を予測方向に内挿補間することにより生成される。AVCのイントラブロックでは、4×4ブロックで9方向、16×16ブロックで4方向、が規定されており、参照する隣接画素は、予測方向により一意に決定される。
図6に、4×4ブロックで規定されている全ての予測方向と予測画像ブロックの関係を示す。図6において、51は垂直方向予測(a)、52は水平方向予測(b)、53はDC予測(方向無し:c)、54は対角左下方向予測(d)、55は対角右下方向予測(e)、56は垂直右方向予測(f)、57は水平下方向予測(g)、58は垂直左方向予測(h)、59は水平上方向予測(i)である。
一例として(d)の予測画像ブロック54を取り上げる。予測画像ブロック54は、対角左下方向予測を選択した場合であり、隣接画素の輝度値をA〜Q、予測画像ブロックの輝度値a〜pとしたとき、数式1より生成される。
Figure 2006191287
予測方向は、一般に、符号化効率を優先して決定され、入力画像ブロックと予測画像ブロックの予測誤差D、並びに、当該予測画像ブロックの生成に要するヘッダ符号量Rをパラメータとして持つ数式2のコスト関数Cに基づいて決定される。
Figure 2006191287
ここで、λはラグランジュ係数であり、予測誤差とヘッダ情報量のどちらに比重を置くかを定めるパラメータである。
そして、4×4ブロックと16×16ブロックの各々において予測方向が決まった後、どちらのブロック分割サイズを採用するか決定する。詳細は後述する。
イントラ予測により生成された予測画像ブロックは、差分器201にて入力画像ブロックとの差分演算が施された後、予測誤差画像ブロックとして直交変換/量子化手段3へ出力される。尚、選択された予測方向は、予測方向情報として可逆符号化手段5へ出力される。
復号画像フレームメモリ2は、上述の通り、イントラ予測手段1より出力された予測画像ブロックと逆直交変換/逆量子化手段4より出力された復号予測誤差画像ブロックの和である復号画像ブロックを入力とし、当該復号画像ブロックを蓄積する。復号予測誤差ブロックとは、入力画像ブロックと予測画像ブロックの差分である予測誤差画像ブロックに対して、逆直交変換/逆量子化/量子化/直交変換、つまり、符号化/復号化処理を施した画像ブロックである。蓄積された復号画像ブロックは、次の符号化対象ブロックのイントラ予測における被参照画素として用いられる。
直交変換/量子化手段3は、入力画像ブロックとイントラ予測手段1より出力された予測画像ブロックの差分である予測誤差画像ブロックを入力とし、当該予測誤差画像ブロックを4×4ブロック単位に分割、そして、各々の4×4ブロックに対して直交変換/量子化処理を施す。算出された変換係数は、可逆符号化手段5と逆直交変換/逆量子化手段4へ出力される。
逆直交変換/逆量子化手段4は、直交変換/量子化手段3より出力された直交変換/量子化後の変換係数を入力とし、当該変換係数に対して逆量子化/逆直交変換を施し、復号予測誤差画像ブロックを生成する。生成された復号予測誤差画像ブロックは、加算器202にて予測画像ブロックとの加算演算が施された後、復号画像として復号画像フレームメモリ2へ出力される。
可逆符号化手段5は、直交変換/量子化手段3より出力された直交変換/量子化された変換係数とイントラ予測手段1より出力された予測方向情報を入力とし、当該変換係数と当該予測方向情報に対して可変長符号化または算術符号化を施し、符号語を生成する。生成された符号語の集合は符号化画像として出力される。
図7は、従来のフレーム内予測符号化画像を復号する復号化装置のブロック図である。図7において、6は可逆復号化手段、7は逆直交変換/逆量子化手段、9はイントラ予測手段、8は復号画像フレームメモリ、10はデブロックフィルタ、203は加算器である。
以下、各手段の機能に関して順に説明する。可逆復号化手段6は、符号化装置より出力された符号化画像を入力とし、当該符号化画像に対して可変長符号化若しくは算術符号化に基づく可逆復号化処理を施す。可逆復号化された符号化画像は、逆量子化/逆直交変換手段7へ出力される。
逆量子化/逆直交変換手段7は、可逆復号化手段6より出力された量子化/直交変換後の変換係数を入力とし、当該変換係数に対して逆量子化/逆直交変換を施し、復号差分画像ブロックを生成する。生成された復号差分画像ブロックは、加算器203にてイントラ予測手段9より出力される復号予測画像ブロックとの加算演算が施された後、復号画像ブロックとして、復号画像フレームメモリ8とデブロックフィルタ10へ出力される。
イントラ予測手段9は、復号画像フレームメモリ8に蓄積されている復号画像ブロックを入力とし、復号対象ブロックと符号化画像中に記述されている予測方向情報を用いて復号予測画像ブロックを生成する。復号化装置で生成される復号予測画像ブロックは、符号化装置で生成する予測方向情報と参照する隣接画素の輝度値が同一なため、生成される画像ブロックは同一となる。生成された復号予測画像ブロックは、加算器203にて逆量子化/逆直交変換手段7より出力された復号差分画像ブロックとの加算演算が施された後、復号画像ブロックとして復号画像フレームメモリ8とデブロックフィルタ10へ出力される。
復号画像フレームメモリ8は、逆量子化/逆直交変換手段7より出力された復号差分画像ブロックとイントラ予測手段9より出力された復号予測画像ブロックの和である復号画像ブロックを入力とし、当該復号画像ブロックの蓄積を行う。蓄積された復号画像ブロックは、次のイントラ予測に用いられる。
デブロックフィルタ10は、逆量子化/逆直交変換手段7より出力された復号差分画像ブロックとイントラ予測手段9より出力された復号予測画像ブロックの和である復号画像ブロックを入力し、当該復号画像ブロックに含まれるブロック歪の除去を行う。ブロック歪の除去処理が施された復号画像ブロックが、最終的な出力信号となる。
図8は、図5に示す従来の符号化装置のフローチャートである。最初に、ステップ1001では、入力画像をフレーム単位に取得する。そして、ステップ1002では、入力画像を16×16ブロック(マクロブロック)に分割し、各々のマクロブロックに対して符号化処理を施す。符号語生成処理の詳細なフローチャートに関しては、後述する。
そして、ステップ1003では、フレーム内の全てのマクロブロックに関して処理が終了しているか判別をする。終了していない場合は、次のマクロブロックの符号化処理を行う。尚、マクロブロックの符号化順序であるが、図9に示す通り、画像の左上端91から右下端92に向かって行う。最後に、ステップ1004では、符号化画像をフレーム単位に出力し、符号化処理を終了する。
図10は、図8におけるステップ1002の符号語生成処理に関する詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。最初に、ステップ1101では、イントラ予測手段1で、上述の通り、イントラ予測処理を行う。イントラ予測手段1は、入力画像ブロックと復号画像フレームメモリ2に蓄積されている復号画像ブロックを入力とし、符号化対象の画像ブロックに隣接している画素から予測画像ブロックを生成する。生成された予測画像ブロックは、差分器201にて入力画像ブロックとの差分演算が施され、予測誤差画像ブロックとして直交変換/量子化手段3へ出力される。また、選択された予測方向は、予測方向情報として可逆符号化手段5へ出力される。イントラ予測に関する詳細なフローチャートは後述する。
そして、ステップ1102では、直交変換/量子化手段3で、上述の通り、入力画像ブロックと生成された予測画像ブロックの差分である予測誤差画像ブロックに対して、直交変換/量子化処理を施す。尚、ステップ1101において、16×16ブロックが選択された場合、4×4ブロック単位で直交変換を行い、個々の4×4ブロックの直流成分を集めて新たに4×4ブロックを生成し、当該直流成分を集めた4×4ブロックに対してアダマール変換を施す。後述する逆直交変換においても同様である。直交変換/量子化処理が施された変換係数は、逆直交変換/逆量子化手段4と可逆符号化手段5へ出力される。
そして、ステップ1103では、逆直交変換/量子化手段4で、上述の通り、次の4×4または16×16ブロックの符号化で復号画像ブロックが必要となるため、直交変換/量子化処理された変換係数に対して、逆直交変換/逆量子化処理を施し、復号予測誤差画像ブロックを生成する。そして、生成された復号予測誤差画像ブロックは、加算器202にてステップ1101で生成された予測画像ブロックとの加算演算が施された後、復号画像ブロックとして、復号画像フレームメモリ2に蓄積される。
最後に、ステップ1104では、可逆符号化手段5で、上述の通り、直交変換/量子化処理された変換係数とイントラ予測手段1より出力された予測方向情報に対して、可逆符号化処理を施す。処理後の変換係数が符号語として出力される。
図11は、図10におけるステップ1101のイントラ予測処理に関する詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。最初に、ステップ1201では、イントラ予測手段1で、上述の通り、マクロブロックを16分割した4×4ブロック単位にイントラ予測処理を行う。イントラ予測手段1は、入力画像ブロックと復号画像フレームメモリ2に蓄積されている復号画像ブロックを入力とし、4×4ブロックに対して規定されている9つの予測画像ブロックを生成する。予測画像ブロックは、符号化対象の画像ブロックに隣接している画素を予測方向に内挿補間することで生成される。そして、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つ数式2のコスト関数に基づき、符号量が最小となる予測方向を選択する。尚、画像の上端/左端に関しては、図9に示す通り、隣接画素が存在しないため、輝度値一定の平坦な画像ブロックを隣接画素として仮定し、予測画像ブロックを生成する。
そして、ステップ1202では、イントラ予測手段1で、上述の通り、16×16ブロックのマクロブロック単位でイントラ予測処理を行う。イントラ予測手段1は、入力画像ブロックと復号画像フレームメモリ2に蓄積されている復号画像ブロックを入力とし、16×16ブロックに対して規定されている4つの予測画像ブロックを生成する。そして、ステップ1201と同様に、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つ数式2のコスト関数に基づき、符号量が最小となる予測方向を選択する。
最後に、ステップ1203では、イントラ予測手段1で、上述の通り、4×4ブロックと16×16ブロックのどちらのブロック分割サイズを採用するか決定する。ブロック分割サイズの決定方法は、予測方向の決定方法と同様、数式2に従い、入力画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとして持つコスト関数に基づく。
図12は、従来のAVCのイントラブロックにおける復号画像ブロックのモデルである。図12において、2001は入力画像ブロック、2002は予測画像ブロック、2003は予測誤差画像ブロック、2004は復号予測誤差画像ブロック、2005は復号画像ブロックである。
入力画像ブロック2001は、入力として与えられる。予測画像ブロック2002は、上述の通り、イントラ予測手段1で、符号化対象画像ブロックに隣接している画素を予測方向に内挿補間することにより生成される。図12は、水平予測方向を適用した一例である。
予測誤差画像ブロック2003は、差分器301にて入力画像ブロック2001と予測画像ブロック2002の差分演算を施すことにより生成される。復号予測誤差画像ブロック2004は、直交変換/量子化手段3で予測誤差画像ブロック2003の直交変換/量子化を行い、更に、逆直交変換/逆量子化手段4で逆直交変換/逆量子化処理を施して生成される。
復号画像ブロック2005は、加算器302にて予測画像ブロック2002と復号予測誤差画像ブロック2004を加算することにより生成される。復号画像ブロック2005が出力である。復号画像ブロック2005をモデル式で表すと、数式3で与えられる。
Figure 2006191287
Rは復号画像ブロック行列、Oは入力画像ブロック行列、Pは予測画像ブロック行列、Wは直交変換/量子化/逆量子化/逆直交変換を示している。
ここで、数式3は、連続する2フレームの同一位置にあるブロックが全く同じであるとしても、その隣接画素が異なることで、予測画像ブロックPがP1、P2と異なると、復号画像ブロックがR(O,P1)とR(O,P2)と異なる場合があることを示している。これが、フリッカの原因であると考えられる。
図13に、フリッカの発生過程の一例を示す。図13(a)において、2101は前フレームの入力画像ブロック、2102は前フレームの予測画像ブロック、2103は前フレームの予測誤差画像ブロック、2104は前フレームの復号予測誤差画像ブロック、2105は前フレームの復号画像ブロックである。
また、図13(b)において、2201は現フレームの入力画像ブロック、2202は現フレームの予測画像ブロック、2203は現フレームの予測誤差画像ブロック、2204は現フレームの復号予測誤差画像ブロック、2205は現フレームの復号画像ブロックである。
入力画像ブロック2101と2201は、全く同じものである。ところが、隣接画素が前フレームと現フレームとで異なっているため、前フレームと現フレームの予測画像ブロック2102と2202並びに予測誤差画像ブロック2103と2203も異なる。
以降、予測誤差画像ブロック2103と2203を直交変換/量子化するのであるが、量子化値が大きい場合、高周波成分が大幅に削られ、予測誤差画像ブロックが完全に復元されない。このように、復元が不完全な復号予測誤差画像ブロック2104と2204に対して予測画像ブロック2102と2202を加算すると、前フレームと現フレームの復号画像ブロック2105と2205は異なった輝度値を持つ画像ブロックとなる。この異なった輝度値を持つ画像ブロックが、フリッカとして知覚されることになる。
そこで、非特許文献1では、予測画像ブロックに依存しないモデル式として数式4を提案している。
Figure 2006191287
これは、予測画像ブロックPに対して、逆直交変換/逆量子化/量子化/直交変換を施したものを改めて、予測画像ブロックとして定義したものである。数式4は、復号画像ブロックを予測画像ブロックに依存せずに生成できるため、連続する2フレームの同一位置の予測画像ブロックが異なっても、復号画像ブロックには影響しない。すなわち、フリッカを低減できる。
X.Fan et.al.:"Flicking Reduction in All Intra Frame Coding",JVT−E070.
しかしながら、上記の非特許文献1を適用する場合に、以下の課題がある。
(課題1)符号化装置と復号化装置で、予測画像ブロックを逆直交変換/逆量子化/量子化/直交変換する必要があるため、処理量が増加する。
(課題2)AVCでは、復号化装置で、予測画像ブロックに対して逆直交変換/逆量子化/量子化/直交変換する処理を仕様として規定していない。すなわち、AVC規格外の復号化装置でないとフリッカを低減できない。
本発明は、上記従来の事情に鑑みてなされたものであって、フリッカを低減することが可能な画像符号化装置、画像符号化方法および画像符号化プログラムを提供することを目的としている。
本発明の画像符号化装置は、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化装置であって、予測画像ブロックを蓄積する予測画像蓄積手段と、前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するブロック判別手段と、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段と、を備える。
上記構成によれば、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段を備えることにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる。また、復号化装置で、予測画像ブロックに対して逆直交変換/逆量子化/量子化/直交変換する処理を行う必要がない為、AVC規格内でフリッカを低減できる。
また、本発明の本発明の画像符号化装置は、前記ブロック判別手段が、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別するものである。上記構成によれば、ブロック判別手段が、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別することにより、フリッカとして知覚されやすい輝度変化が小さいブロックに絞ってフリッカ低減を行うことができる。
また、本発明の画像符号化装置は、前記ブロック判別手段が、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別するものである。上記構成によれば、ブロック判別手段が、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別することにより、原画像からフリッカとして知覚されやすい輝度変化が小さいブロックに絞ってフリッカ低減を行うことができる。
また本発明の画像符号化装置は、前記イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、前フレームと現フレームの予測画像ブロックを類似させることができる。
また、本発明の画像符号化装置は、前記イントラ予測手段が、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、同一領域のブロックサイズがフレーム間で変動する事がなくなる為、ブロックサイズが異なる事がで生じるブロック歪を抑制することができる。
また、本発明の画像符号化装置は、前記イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価するものである。上記構成によれば、イントラ予測手段が、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価することにより、前フレームと現フレームの予測画像を類似させることができる。
また、本発明の画像符号化装置は、前記イントラ予測手段が、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成するものである。フリッカ低減を優先したイントラ予測は、前フレームの予測画像ブロックに類似するよう制御され、入力画像ブロックに依存しない。このため、フリッカ低減を優先したイントラ予測を続けると、入力画像から徐々に離れた復号画像が生成され続ける発散過程に陥る恐れがある。しかし、上記構成によれば、イントラ予測手段が、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成することにより、入力画像と類似した復号画像を生成することができる為、発散過程を回避することができる。
また、本発明の画像符号化方法は、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化方法であって、フリッカ低減対象画像ブロックであることを判別し、入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するものである。
さらに、本発明の画像符号化プログラムは、符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するプログラムであって、コンピュータに、前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するステップと、フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するステップと、を実行させるためのプログラムである。
本発明によれば、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成することにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる。
以下、図面を参照し、本発明の実施形態について説明する。図1は、本実施形態による画像符号化装置の概略構成を示した図である。図1に示す画像符号化装置は、符号化対象の入力画像ブロックとこの入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するものであり、1はイントラ予測手段、2は復号画像フレームメモリ、3は直交変換/量子化手段、4は逆直交変換/逆量子化手段、5は可逆符号化手段、101はブロック判別手段、102は予測画像フレームメモリ、201は差分器、202は加算器である。
ここで、復号画像フレームメモリ2、直交変換/量子化手段3、可逆符号化手段5、逆直交変換/逆量子化手段4は、図5で説明した従来の画像符号化装置と全く同様の動作原理である。以下では、ブロック判別手段101、予測画像フレームメモリ102、イントラ予測手段1における動作原理のみ説明する。
ブロック判別手段101は、入力画像ブロックを入力とし、当該画像ブロックがフリッカ低減対象画像ブロック、または、符号化効率優先画像ブロックであるか、の判別を行う。判別基準は、初期化フレームであるか、不知覚画像ブロックであるか、の2点に基づく。
まず、初期化フレームは、符号化効率を優先したイントラ予測を強制的に行うフレームを指す。フリッカ低減を優先したイントラ予測は、前フレームの予測画像ブロックに類似するよう制御される。つまり、入力画像ブロックに依存しないイントラ予測である。そのため、フリッカ低減を優先したイントラ予測を続けると、入力画像から徐々に離れた復号画像が生成され続ける発散過程に陥る恐れがある。初期化フレームは、この発散過程から回避する手段として存在する。初期化フレームの挿入間隔はフレーム枚数で定義され、任意に設定可能である。ブロック判別手段101では、フレームの枚数をカウントしておき、設定枚数に達した場合、符号化効率を優先した従来のイントラ予測に切替える。もちろん、初期化フレームの挿入間隔を時間として定義しても良い。
次に、不知覚画像ブロックは、フリッカとして知覚され難い画像ブロックを指す。フリッカとして知覚され難いブロックとしては、入力画像ブロックにおいて時間方向の輝度変化が急な物体出現画像ブロック、又は、エッジ成分を多く含むテクスチャ画像ブロックが候補として挙げられる。理由としては、物体出現画像ブロックとテクスチャ画像ブロックの両者は共に、フリッカの原因となる細かい輝度変化を知覚上、吸収するためである。
物体出現ブロックを不知覚画像ブロックとして定義する場合、連続する2フレームの差分値が閾値以上の画像ブロックを対象とする。また、テクスチャ画像ブロックを不知覚画像ブロックとして定義する場合、SOBEL等のエッジ抽出フィルタにより符号化対象画像ブロックのエッジ成分を算出し、エッジ成分が閾値以上の画像ブロックを不知覚画像ブロックと判断する。
図2は、前フレームと現フレームのイントラ予測画像の一例を示したものである。図2において、3001は前フレーム、3101は現フレーム、3002と3003は前フレームのブロック、3102と3103は現フレームのブロックである。ブロック3002と3102は輝度変化が小さいため、フリッカ低減を優先したイントラ予測、ブロック3003と3103は輝度変化が大きいため、符号化効率を優先したイントラ予測を行う。
上記の2点のどちらかに該当する場合は符号化効率優先画像ブロックとして判別し、該当しない場合はフリッカ低減優先画像ブロックと判別する。また、先頭フレームは、前フレームの予測画像ブロックが存在しないため、符号化効率優先画像ブロックとして符号化する。判別結果は、イントラ予測手段1へ出力される。
予測画像フレームメモリ102は、イントラ予測手段1より出力された予測画像ブロックを入力とし、当該予測画像ブロックの蓄積を行う。蓄積された予測画像ブロックは、次のフレームのイントラ予測で参照される。
イントラ予測手段1は、フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像フレームメモリ102に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成する。イントラ予測手段1は、ブロック判別手段101より出力された判別結果と復号画像フレームメモリ2に蓄積されている復号画像ブロック(入力画像ブロック)を入力とし、当該復号画像ブロックを用いて予測画像ブロックを生成する。このとき、従来のイントラ予測では、数式2に示す通り、入力画像ブロックと予測画像ブロックの予測誤差、並びに、当該予測画像ブロックの生成に必要となるヘッダ符号量を考慮して予測方向を選択していたが、本実施形態では、ブロック判別手段101より出力された判別結果に応じて2通りのイントラ予測を切替える。
一方は、従来の符号化効率を優先したイントラ予測であり、ブロック判別手段101より出力された判別結果が符号化効率優先画像ブロックの場合に適用する。他方は、フリッカ低減を優先したイントラ予測であり、当該判別結果がフリッカ低減対象画像ブロックの場合に適用する。
後者のフリッカ低減を優先したイントラ予測では、イントラ予測手段1で、予測画像フレームメモリ102に蓄積されている前フレームの同一位置で使用した予測画像ブロックとの絶対誤差が最小となる予測画像ブロックを生成する。すなわち、前フレームと現フレームの予測画像ブロックが類似する。生成された予測画像ブロックは、差分器201にて入力画像ブロックとの差分演算が施された後、予測誤差画像ブロックとして、直交変換/量子化手段3へ出力される。また、選択された予測方向は、予測方向情報として可逆符号化手段5へ出力される。
図3に、本実施形態のイントラ予測処理のフローチャートを示す。以下の処理は、マクロブロック単位に実行される。最初に、ステップ1301では、上述の通り、ブロック判別手段101で、符号化対象画像ブロックが符号化効率を優先する画像ブロックであるか、フリッカ低減を優先する画像ブロックのどちらであるか判別する。判別基準は、入力画像ブロックから離れた復号画像ブロックが生成され続ける発散過程からの回避効果を有する初期化フレームであるか、フリッカとして知覚し難い不知覚画像ブロックであるか、に基づく。
そして、ステップ1302では、図11に示す通り、イントラ予測手段1で、4×4ブロックと16×16ブロックの各々で予測方向を決定し、最後にブロック分割サイズを決定する。このとき、フリッカ低減を優先した予測方向、並びに、ブロック分割サイズの選択を行う。詳細なフローチャートは後述する。
そして、ステップ1303では、図11に示す通り、イントラ予測手段1で、4×4ブロックと16×16ブロックの各々で予測方向を決定し、最後にブロック分割サイズを決定する。このとき、符号化効率を優先した予測方向、並びに、ブロック分割サイズの選択を行う。符号化効率を優先する場合、上述の通り、入力画像ブロックと予測画像ブロックとの予測誤差、並びに、当該予測画像ブロックの生成に要するヘッダ符号量、をパラメータとする数式2のコスト関数に基づいて予測方向、並びに、ブロック分割サイズを選択する。詳細な説明は、従来のイントラ予測と同様なため、省略する。
最後に、ステップ1304では、生成された予測画像ブロックを予測画像フレームメモリ102に蓄積する。このとき、イントラ予測手段1で、2フレーム前の予測画像ブロックを消去し、常に、前フレームの予測画像ブロックのみが蓄積されている状態にする。
図4は、図3のステップ1302に示すフリッカ低減を優先したイントラ予測処理の詳細なフローチャートである。以下の処理は、マクロブロック単位に実行される。また、4×4ブロックと16×16ブロックの各々のブロック分割サイズに関して実行される。
ステップ1401では、イントラ予測手段1で、予測方向毎に現フレームの予測画像ブロックを生成する。尚、4×4ブロックの場合は9方向、16×16ブロックの場合は4方向について予測画像ブロックを生成することになる。
次に、ステップ1402では、イントラ予測手段1で、予測方向毎に予測画像フレームメモリ102に蓄積されている前フレームの予測画像ブロックを読出し、前フレームと現フレームの予測画像ブロックの類似度を加味したコスト関数の導出を行う。ここでは、類似度を前フレームと現フレームの予測画像ブロックの絶対誤差和(SAD)として定義し、数式2における予測誤差Dの項と置き換える。数式5は、SADの定義式である。
Figure 2006191287
ここで、P_PREVは前フレームの予測画像ブロック行列、P_CURRは現フレームの予測画像ブロック行列、Mは予測画像ブロックの画素数、i,jは画素番号である。
最後に、ステップ1403において、全予測方向のコストが最小となる予測方向を選択する。尚、選択された予測方向は、予測方向情報として可逆符号化手段5へ出力される。
ところが、上記の手順では、全予測方向の予測画像ブロックを生成する処理とブロックを構成する個々の画素単位で誤差を計算する処理が必要となる。そこで、予測画像ブロックを用いて類似度を評価するのではなく、予測画像ブロックの生成元となる隣接画素を用いて近似的に類似度を評価し、高速化を図る。
つまり、図4のステップ1401において、イントラ予測手段1で、全予測方向の予測画像ブロックを生成していたが、生成しない。そして、ステップ1402において、イントラ予測手段1で、復号画像フレームメモリ2に蓄積されている前フレームの復号画像ブロックを読出し、前フレームの予測画像ブロックと現フレームの予測画像ブロックの類似度を、各々の予測画像ブロックの生成元である隣接画素の類似度から評価する。例えば、水平予測方向の場合、隣接画素IJKL(図6参照)の4画素を対象に類似度を評価する。つまり、数式5において、P_PREVは前フレームの隣接画素行列、P_CURRは現フレームの隣接画素行列、Mは隣接画素数となる。隣接画素数は、予測方向毎に異なる。最後に、ステップ1403において、全予測方向のコスト関数において最小の値を取る予測方向を選択する。本ステップの動作原理は同様である。
具体的な効果として、全予測方向の予測画像ブロックを生成する処理を省くことができる。また、類似度の評価に用いる画素数に関しても、予測画像ブロックで行う場合は、4×4ブロックで9方向×16画素=144画素の比較が必要であったが、隣接画素で行う場合、4+4+8+12+9+7+8+4+4=60画素(図6の斜線画像ブロックの総数)で可能となる。
尚、イントラ予測手段1で、現フレームのイントラ予測結果である予測方向と予測画像ブロックを予測画像フレームメモリ2に蓄積しておき、次フレームで参照できるようにしておく。以上が、フリッカ低減を優先したイントラ予測の高速化方法に関するフローチャートである。
以上説明した画像符号化装置および画像符号化方法は、静止圧縮画像を生成するため、ランダムアクセス性や編集性に優れている。それ故、画像検索機能を有する画像蓄積装置または画像編集装置等への適用が有用である。
本発明は、フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成することにより、前フレームと現フレームの予測画像ブロックが類似し、復号画像ブロックのフレーム間の輝度変化を軽減できる為、フリッカを低減できる効果を有し、フレーム内予測符号化を行う画像符号化装置、画像符号化方法および画像符号化プログラム等に有用である。
本発明の実施形態による画像符号化装置を示した概略ブロック図 フリッカ低減対象画像ブロックを説明するための図 本発明の実施形態のフレーム内予測符号化における予測方向の決定処理のフローチャート 本発明の実施形態のフリッカ低減を優先した予測方向の決定処理のフローチャート 従来のAVCの画像符号化装置を示した概略ブロック図 AVCの4×4イントラブロックの予測方向を説明するための図 従来のAVCの画像復号化装置を示した概略ブロック図 従来の画像符号化装置のフローチャート 符号化順序を説明するための図 符号語生成処理のフローチャート フレーム内予測符号化におけるイントラ予測処理のフローチャート AVCのイントラブロックのモデルを説明するための図 フリッカの原因を説明するための図
符号の説明
1 イントラ予測手段(符号化装置)
2 復号画像フレームメモリ(符号化装置)
3 直交変換/量子化手段
4 逆直交変換/逆量子化手段(符号化装置)
5 可逆符号化手段
6 可逆復号化手段
7 逆直交変換/逆量子化手段(復号化装置)
8 復号画像フレームメモリ(復号化装置)
9 イントラ予測手段(復号化装置)
10 デブロックフィルタ
51 垂直方向予測
52 水平方向予測
53 DC予測
54 対角左下方向予測
55 対角右下方向予測
56 右方向予測
57 水平下方向予測
58 垂直左方向予測
59 水平上方向予測
101 ブロック判別手段
102 予測画像フレームメモリ
201 差分器
202 加算器
203 加算器
301 差分器
302 加算器
2001 入力画像ブロック
2002 予測画像ブロック
2003 予測誤差画像ブロック
2004 復号予測誤差画像ブロック
2005 復号画像ブロック
2101 入力画像ブロック(前フレーム)
2102 予測画像ブロック(前フレーム)
2103 予測誤差画像ブロック(前フレーム)
2104 復号予測誤差画像ブロック(前フレーム)
2105 復号画像ブロック(前フレーム)
2201 入力画像ブロック(現フレーム)
2202 予測画像ブロック(現フレーム)
2203 予測誤差画像ブロック(現フレーム)
2204 復号予測誤差画像ブロック(現フレーム)
2205 復号画像ブロック(現フレーム)
3001 前フレーム
3001 画像ブロック(前フレーム)
3002 画像ブロック(前フレーム)
3101 現フレーム
3101 画像ブロック(現フレーム)
3102 画像ブロック(現フレーム)

Claims (9)

  1. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化装置であって、
    予測画像ブロックを蓄積する予測画像蓄積手段と、
    前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するブロック判別手段と、
    フリッカ低減対象画像ブロックである入力画像ブロックに対して、前記予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するイントラ予測手段と、
    を備える画像符号化装置。
  2. 前記ブロック判別手段は、前フレームと現フレームとの輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別する請求項1記載の画像符号化装置。
  3. 前記ブロック判別手段は、周辺画素との輝度変化が小さい画像ブロックをフリッカ低減対象画像と判別する請求項1記載の画像符号化装置。
  4. 前記イントラ予測手段は、選択可能な全ての予測方向に関して求めた前フレームの予測画素ブロックと現フレームの予測画像ブロックとの誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項1記載の画像符号化装置。
  5. 前記イントラ予測手段は、符号化対象の画像ブロックと前記画像ブロックに隣接している画素との類似度に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項1記載の画像符号化装置。
  6. 前記イントラ予測手段は、選択可能な全ての予測方向に関して求めた前フレームと現フレームにおける符号化対象の画像ブロックに隣接している画素の誤差に基づいて、前フレームの予測画像ブロックと現フレームの予測画像ブロックとの類似度を評価する請求項1記載の画像符号化装置。
  7. 前記イントラ予測手段は、定期的に、前記入力画像ブロックと予測画像ブロックとの類似度が最大となる予測方向を選択して予測画像ブロックを生成する請求項1記載の画像符号化装置。
  8. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化する画像符号化方法であって、
    フリッカ低減対象画像ブロックであることを判別し、
    入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成する画像符号化方法。
  9. 符号化対象の入力画像ブロックと前記入力画像ブロックに隣接する隣接画素から予測方向に生成した予測画像ブロックとの差分である予測誤差画像ブロックを直交変換並びに量子化して符号化するプログラムであって、コンピュータに、
    前記入力画像ブロックがフリッカ低減対象画像ブロックであることを判別するステップと、
    フリッカ低減対象画像ブロックである入力画像ブロックに対して、予測画像蓄積手段に蓄積される前フレームの予測画像ブロックとの類似度が最大となる予測方向を選択して現フレームの予測画像ブロックを生成するステップと、
    を実行させるための符号化プログラム。
JP2005000652A 2005-01-05 2005-01-05 画像符号化装置、画像符号化方法および画像符号化プログラム Withdrawn JP2006191287A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005000652A JP2006191287A (ja) 2005-01-05 2005-01-05 画像符号化装置、画像符号化方法および画像符号化プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005000652A JP2006191287A (ja) 2005-01-05 2005-01-05 画像符号化装置、画像符号化方法および画像符号化プログラム

Publications (1)

Publication Number Publication Date
JP2006191287A true JP2006191287A (ja) 2006-07-20

Family

ID=36798005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005000652A Withdrawn JP2006191287A (ja) 2005-01-05 2005-01-05 画像符号化装置、画像符号化方法および画像符号化プログラム

Country Status (1)

Country Link
JP (1) JP2006191287A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048065A (ja) * 2006-08-11 2008-02-28 Toshiba Corp 動画像符号化装置
JP2008177834A (ja) * 2007-01-18 2008-07-31 Nippon Hoso Kyokai <Nhk> 符号化装置、及びプログラム
JP2009088736A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像符号化装置、画像復号化装置、および画像符号化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048065A (ja) * 2006-08-11 2008-02-28 Toshiba Corp 動画像符号化装置
JP4690966B2 (ja) * 2006-08-11 2011-06-01 株式会社東芝 動画像符号化装置
US8189667B2 (en) 2006-08-11 2012-05-29 Kabushiki Kaisha Toshiba Moving picture encoding apparatus
JP2008177834A (ja) * 2007-01-18 2008-07-31 Nippon Hoso Kyokai <Nhk> 符号化装置、及びプログラム
JP4628374B2 (ja) * 2007-01-18 2011-02-09 日本放送協会 符号化装置、及びプログラム
JP2009088736A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像符号化装置、画像復号化装置、および画像符号化方法

Similar Documents

Publication Publication Date Title
RU2683165C1 (ru) Внутреннее предсказание блочного копирования с асимметричными разделами и схемами поиска на стороне кодера, диапазоны поиска и подходы к разделению
TWI527438B (zh) 圖像編碼方法、圖像解碼方法、圖像編碼裝置、圖像解碼裝置及其程式產品
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
JP5418756B2 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
WO2010001916A1 (ja) 画像処理装置および方法
JP5219089B2 (ja) 画像データの生成方法
KR101614828B1 (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
KR101394209B1 (ko) 영상의 인트라 예측 부호화 방법
JP2008219870A (ja) 動画像符号化方法及び動画像符号化装置
WO2020036132A1 (ja) 画像符号化装置、画像復号装置、及びプログラム
JP2007013298A (ja) 画像符号化装置
JP6077811B2 (ja) 画像符号化装置、画像符号化方法およびプログラム
JPWO2006100946A1 (ja) 画像信号再符号化装置及び画像信号再符号化方法
JP2010258741A (ja) 画像処理装置および方法、並びにプログラム
JP5649296B2 (ja) 画像符号化装置
JPWO2009133845A1 (ja) 動画像符号化/復号化装置及び方法
JP2007180767A (ja) 情報処理装置
JP4786623B2 (ja) 動画像符号化装置および動画像復号装置
JP2009246511A (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム
TWI755653B (zh) 圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法
JP2006191287A (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
JP2006295734A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム
JP4695115B2 (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5885886B2 (ja) 画像解析装置及び画像解析方法

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080401