JP2007067469A - フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体 - Google Patents
フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2007067469A JP2007067469A JP2005247084A JP2005247084A JP2007067469A JP 2007067469 A JP2007067469 A JP 2007067469A JP 2005247084 A JP2005247084 A JP 2005247084A JP 2005247084 A JP2005247084 A JP 2005247084A JP 2007067469 A JP2007067469 A JP 2007067469A
- Authority
- JP
- Japan
- Prior art keywords
- predictive coding
- coding control
- encoding target
- control method
- flickering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】本発明は、フレーム内予測符号化を用いて映像を符号化するときに、復号信号を生成することなく、ちらつきを抑制できるようにする新たなフレーム内予測符号化制御技術の提供を目的とする。
【解決手段】ちらつきが検知されやすい領域を推定し、ちらつきが検知されやすい領域の予測モードや予測ブロックサイズを制御して、予測信号の変動を抑制することで、ちらつきを抑えるようにする。加えて、ちらつきの目立つ領域について細かく量子化することで、量子化誤差も小さくして、ちらつきの軽減を図るようにする。この構成に従って、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになるので、演算コストを抑え、復号信号を蓄積するためのメモリを不要とする形で、ちらつきを抑制できるようになる。
【選択図】図１
【解決手段】ちらつきが検知されやすい領域を推定し、ちらつきが検知されやすい領域の予測モードや予測ブロックサイズを制御して、予測信号の変動を抑制することで、ちらつきを抑えるようにする。加えて、ちらつきの目立つ領域について細かく量子化することで、量子化誤差も小さくして、ちらつきの軽減を図るようにする。この構成に従って、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになるので、演算コストを抑え、復号信号を蓄積するためのメモリを不要とする形で、ちらつきを抑制できるようになる。
【選択図】図１
Description
本発明は、フレーム内予測符号化を用いて映像を符号化するときに、復号信号を生成することなく、ちらつきを抑制するように制御するフレーム内予測符号化制御方法およびその装置と、そのフレーム内予測符号化制御方法の実現に用いられるフレーム内予測符号化制御プログラムおよびそのプログラムを記録した記録媒体とに関する。
標準動画像符号化方式であるＨ．２６４（例えば、非特許文献１参照）では、符号化効率を向上させるために、フレーム内符号化を行う際に、近傍画素から予測信号を生成する予測符号化方式を採用している。Ｈ．２６４のフレーム内予測符号化方式では、予測モードや予測ブロックサイズを適応的に切り替え可能である。この予測符号化方式の採用により、従来の映像符号化方式に比べ、フレーム内符号化フレームの符号化効率が格段に向上している。
しかし、フレーム内符号化方式に予測符号化を採用したことで、静止領域がちらつくフリッカ現象という問題が発生した。
従来の映像符号化方式において、フレーム内符号化では、ブロック内の歪量は、近傍ブロックの影響を受けることなく、量子化ステップサイズのみで決まっていた。これに対して、Ｈ．２６４では、予測符号化方式の予測信号を符号化対象領域の近傍画素から生成している。このため、符号化対象ブロックの近傍領域で画素値に変化があると、符号化対象ブロックの予測信号が影響を受け、その結果、量子化誤差が変動する。これにより、静止領域であっても、近傍画素の影響で、符号化対象ブロックの量子化誤差が時間的に変動し、ちらつきとして現れる。
このフリッカ現象を低減する方法として、非特許文献２や非特許文献３などに記載される方法がある。
これらの方法は、ちらつきを軽減する効果があるものの、Ｈ．２６４規格に準拠しておらず、Ｈ．２６４準拠のデコーダでは復号できないという問題がある。そこで、Ｈ．２６４規格に準拠した非特許文献４のような方法が提案されている。
図７に、非特許文献４に記載されるフリッカ現象を低減する方法のフローチャートを図示する。
すなわち、非特許文献４に記載される方法では、以下に説明する「静止領域判定」／「４×４ブロックサイズでの予測モード決定」／「１６×１６ブロックサイズでの予測モード決定」／「予測ブロックサイズの決定」／「符号化処理」という処理を行うことで、フリッカ現象を低減するようにしている。
〔１〕静止領域判定
符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較して、静止領域かどうかの判定を行う。静止領域と判定したマクロブロックについては、以下の処理を行い、それ以外のマクロブロックについては、通常の予測モード決定および予測ブロックサイズ決定を行う。
符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較して、静止領域かどうかの判定を行う。静止領域と判定したマクロブロックについては、以下の処理を行い、それ以外のマクロブロックについては、通常の予測モード決定および予測ブロックサイズ決定を行う。
〔２〕４×４ブロックサイズでの予測モード決定
４×４ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される４×４ブロックサイズのコスト関数Ｊ4x4 を用いる。なお、Ｈ．２６４のイントラ符号化では、マクロブロックを４×４ブロックと１６×１６ブロックとに分割して符号化を行っている。
４×４ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される４×４ブロックサイズのコスト関数Ｊ4x4 を用いる。なお、Ｈ．２６４のイントラ符号化では、マクロブロックを４×４ブロックと１６×１６ブロックとに分割して符号化を行っている。
Ｊ4x4 ＝Ｄ4x4 ＋λＲ4x4 ＋αＥ
ここで、Ｄ4x4 は歪量、Ｒ4x4 は予測モード情報による発生符号量、λはラグランジュ係数、αは重み付けのための係数である。また、Ｅは、次式から算出する。
ここで、Ｄ4x4 は歪量、Ｒ4x4 は予測モード情報による発生符号量、λはラグランジュ係数、αは重み付けのための係数である。また、Ｅは、次式から算出する。
Ｅ＝ＳＡＤ（Ｌ4x4(i,j,t)−Ｌ4x4(i,j,t-T))
ここで、Ｌ4x4(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
ここで、Ｌ4x4(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
〔３〕１６×１６ブロックサイズでの予測モード決定
１６×１６ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される１６×１６ブロックサイズのコスト関数Ｊ16x16 を用いる。
１６×１６ブロックサイズでの予測モードを決定（選択）する。予測モードの決定には、次式で示される１６×１６ブロックサイズのコスト関数Ｊ16x16 を用いる。
Ｊ16x16 ＝Ｄ16x16 ＋βＦ
ここで、Ｄ16x16 は歪量、βは重み付けのための係数である。また、Ｆは、次式から算出する。
ここで、Ｄ16x16 は歪量、βは重み付けのための係数である。また、Ｆは、次式から算出する。
Ｆ＝ＳＡＤ（Ｌ16x16(i,j,t)−Ｌ16x16(i,j,t-T))
ここで、Ｌ16x16(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
ここで、Ｌ16x16(i,j,t)は、時刻ｔの位置（ｉ，ｊ）の復号信号であり、この式は、復号済みの時刻ｔ−Ｔの復号信号と、現在の符号化対象フレームの局所復号信号との差分絶対値和を示している。
〔４〕予測ブロックサイズの決定
先に決定した各々の予測ブロックサイズでコスト最小となる予測モードから、次式で示されるコスト関数Ｊblock が最小となる予測モードおよび予測ブロックサイズを決定（選択）する。
先に決定した各々の予測ブロックサイズでコスト最小となる予測モードから、次式で示されるコスト関数Ｊblock が最小となる予測モードおよび予測ブロックサイズを決定（選択）する。
Ｊblock ＝Ｄblock ＋λＲblock ＋γＧ
ここで、γは重み付けのための係数である。また、Ｇは、次式から算出する。
ここで、γは重み付けのための係数である。また、Ｇは、次式から算出する。
Ｇ＝ＳＡＤ（Ｌ(i,j,t) −Ｌ(i,j,t-T))
〔５〕符号化処理
最後に、決定した予測モードおよび予測ブロックサイズに基づいて、符号化対象ブロックの符号化処理を行う。
〔５〕符号化処理
最後に、決定した予測モードおよび予測ブロックサイズに基づいて、符号化対象ブロックの符号化処理を行う。
非特許文献４に記載されるフリッカ現象を低減する方法では、このような方法をとることで、符号化済みフレームで同一位置の復号信号と局所復号信号との差が小さくなるように、予測モードおよび予測ブロックサイズを選択できることになり、これにより、フリッカ現象を低減することができる。
すなわち、Ｈ．２６４の参照ソフトウェアでは、
Ｊ4x4 ＝Ｄ4x4 ＋λＲ4x4
というコスト関数を使って、４×４ブロックサイズでの予測モードを選択し、
Ｊ16x16 ＝Ｄ16x16
というコスト関数を使って、１６×１６ブロックサイズでの予測モードを選択するのに対して、非特許文献４に記載される方法では、このコスト関数に対して、復号済みの復号信号と現在の符号化対象フレームの局所復号信号との差を表す項Ｅ，Ｆを追加して、これらの項Ｅ，Ｆを追加したコスト関数を最小化するように処理することから、符号化済みフレームで同一位置の復号信号と局所復号信号との差が小さくなるように予測モードおよび予測ブロックサイズを選択できることになり、これにより、フリッカ現象を低減することができるのである。
Ｊ4x4 ＝Ｄ4x4 ＋λＲ4x4
というコスト関数を使って、４×４ブロックサイズでの予測モードを選択し、
Ｊ16x16 ＝Ｄ16x16
というコスト関数を使って、１６×１６ブロックサイズでの予測モードを選択するのに対して、非特許文献４に記載される方法では、このコスト関数に対して、復号済みの復号信号と現在の符号化対象フレームの局所復号信号との差を表す項Ｅ，Ｆを追加して、これらの項Ｅ，Ｆを追加したコスト関数を最小化するように処理することから、符号化済みフレームで同一位置の復号信号と局所復号信号との差が小さくなるように予測モードおよび予測ブロックサイズを選択できることになり、これにより、フリッカ現象を低減することができるのである。
さらに、非特許文献４に記載されるフリッカ現象を低減する方法では、量子化パラメータを制御することで、よりちらつきを抑制する方法も提案している。この方法では、先の方法で決定した予測モードおよび予測ブロックサイズの局所復号信号について、符号化済み画像との差を測定し、その差が閾値より大きい場合には、量子化パラメータを小さくして、再度、予測モードと予測ブロックサイズの選択を行い、この処理を、局所復号信号と符号化済み画像との差が閾値以下になるまで繰り返し行うようにしている。
ITU-T H.264 ITU-T Rec. H.264, "Advanced video coding for generic audiovisual services," 2003. Joint Video Team of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), "Flicking Reduction in All Intra Frame Coding," JVT-E070, 5th Meeting:Geneva, Switzerland, 9-17 October, 2002. 井口和久他,"Ｈ.264符号化におけるイントラモードのフリッカ低減手法", FIT2003, J-040, pp.277-278, 2003. 境田慎一他,"適応量子化によるＡＶＣ／Ｈ.264イントラフレームのフリッカ抑制", FIT2004, LJ-009, pp.225-227, 2004.
ITU-T H.264 ITU-T Rec. H.264, "Advanced video coding for generic audiovisual services," 2003. Joint Video Team of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), "Flicking Reduction in All Intra Frame Coding," JVT-E070, 5th Meeting:Geneva, Switzerland, 9-17 October, 2002. 井口和久他,"Ｈ.264符号化におけるイントラモードのフリッカ低減手法", FIT2003, J-040, pp.277-278, 2003. 境田慎一他,"適応量子化によるＡＶＣ／Ｈ.264イントラフレームのフリッカ抑制", FIT2004, LJ-009, pp.225-227, 2004.
先に述べたように、従来技術では、局所復号信号と符号化済み画像との差を小さくするように制御を行っている。
このため、予測モードの選択を行う際に、その予測モードのコスト算出のために復号信号を生成する必要がある。復号信号を生成するには、変換、量子化、逆量子化、逆変換、差分信号と予測信号との加算などの処理が必要となる。このため、従来技術に従っていると、予測モード選択の演算コストが増大するという問題がある。
さらに、従来技術で行っている量子化パラメータを制御する方法では、予測モードおよびブロックサイズ選択の処理を繰り返し行うことになり、演算コストが増加するだけでなく、処理回数が未定なために処理に要する時間が変動するという問題がある。また、量子化パラメータの制御条件が符号化済み画像との差が閾値以下となっているため、発生符号量の制御が困難になるという問題がある。
一般に、フレーム内符号化フレームは、符号化する際に過去の符号化済みフレームを参照しない。このため、予測画像として参照されないフレーム内符号化フレームの復号画像は不要となるため、現在の符号化対象フレームをフレーム内符号化フレームとして符号化する時点で破棄される。
しかしながら、従来技術では、ちらつきの度合いを測定するために、直近に符号化されたイントラフレームの復号画像を保存する必要があり、これから、復号画像を蓄積するためのメモリが必要になるという問題もある。
本発明はかかる事情に鑑みてなされたものであって、フレーム内予測符号化を用いて映像を符号化するときに、復号信号を生成することなく、ちらつきを抑制できるようにすることで、従来技術の持つ問題の解決を図る新たなフレーム内予測符号化制御技術の提供を目的とする。
〔１〕本発明の構成
この目的を達成するために、本発明のフレーム内予測符号化制御装置は、映像のフレーム内予測符号化を制御するために、（１）符号化対象領域が静止領域であるのか否かを判定する判定手段と、（２）符号化対象領域の平坦度合いを算出する算出手段と、（３）判定手段により静止領域と判定された符号化対象領域について、算出手段の算出した平坦度合いに従って、ちらつき度合いを推定する推定手段と、（４）推定手段の推定したちらつき度合いに応じて、符号化対象領域の符号化に利用可能な予測モードおよび／または予測ブロックサイズを制限する制限手段と、（５）推定手段の推定したちらつき度合いに応じて、符号化対象領域の量子化ステップサイズを変更する変更手段と、（６）符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、量子化ステップサイズがその閾値より大きい場合にのみ、制限手段による制限を行うことができるようにする実行手段とを備えるように構成する。
この目的を達成するために、本発明のフレーム内予測符号化制御装置は、映像のフレーム内予測符号化を制御するために、（１）符号化対象領域が静止領域であるのか否かを判定する判定手段と、（２）符号化対象領域の平坦度合いを算出する算出手段と、（３）判定手段により静止領域と判定された符号化対象領域について、算出手段の算出した平坦度合いに従って、ちらつき度合いを推定する推定手段と、（４）推定手段の推定したちらつき度合いに応じて、符号化対象領域の符号化に利用可能な予測モードおよび／または予測ブロックサイズを制限する制限手段と、（５）推定手段の推定したちらつき度合いに応じて、符号化対象領域の量子化ステップサイズを変更する変更手段と、（６）符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、量子化ステップサイズがその閾値より大きい場合にのみ、制限手段による制限を行うことができるようにする実行手段とを備えるように構成する。
この構成を採るときにあって、制限手段は、推定手段の推定したちらつき度合いが高くなるに従って、利用可能な予測ブロックサイズが大きなものとなるようにと予測ブロックサイズを制限するように処理することがある。
また、制限手段は、推定手段の推定したちらつき度合いが高い場合には、符号化済み近傍画素の平均値を予測信号とする予測モードを選択するように処理することがある。
また、制限手段は、推定手段の推定したちらつき度合いが高い場合には、予測ブロックサイズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードを選択するように処理し、推定手段の推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大とし、その予測ブロックサイズで定義される予測モードの中から符号化コストが最小となる予測モードを選択するように処理し、推定手段の推定したちらつき度合いが低い場合には、利用可能な予測モードおよび予測ブロックサイズに制限を加えることなく、符号化コストが最小となる予測モードおよび予測ブロックサイズを選択するように処理することがある。
そして、推定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出手段の算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出手段の算出した符号化対象領域の平坦度合いとを比較して、それらの比較結果に基づいて、ちらつき度合いを推定するように処理することがある。
そして、算出手段は、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出するように処理することがあり、この場合には、推定手段は、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、それらの比較結果に基づいて、ちらつき度合いを推定するように処理することがある。
以上の各処理手段が動作することで実現される本発明のフレーム内予測符号化制御方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
〔２〕本発明の処理
このように構成される本発明のフレーム内予測符号化制御装置では、例えば、符号対象領域の輝度信号の平均値が１つ前のフレームの同位置の領域の値から変化しないのか否かを調べることで、符号化対象領域が静止領域であるのか否かを判定して、符号化対象領域が静止領域であることを判定する場合には、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などを算出することで、符号化対象領域の平坦度合いを算出する。
このように構成される本発明のフレーム内予測符号化制御装置では、例えば、符号対象領域の輝度信号の平均値が１つ前のフレームの同位置の領域の値から変化しないのか否かを調べることで、符号化対象領域が静止領域であるのか否かを判定して、符号化対象領域が静止領域であることを判定する場合には、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などを算出することで、符号化対象領域の平坦度合いを算出する。
このとき、符号化対象領域に複数の平坦度合いを持つ領域が含まれる可能性があることを考慮して、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することがある。
平坦な静止領域ではちらつきが目立つことになり、これから、符号化対象領域が静止領域である場合には、符号化対象領域の平坦度合いに基づいて、符号化対象領域のちらつき度合いを推定できることになる。
そこで、本発明のフレーム内予測符号化制御装置では、この算出した平坦度合いに従って、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と算出した符号化対象領域の平坦度合いとを比較して、例えば、算出した符号化対象領域の平坦度合いがその平均値よりも小さく（フレーム内で相対的に見て平坦であることを示す）、かつ、算出した符号化対象領域の平坦度合いがその閾値よりも小さい場合には（絶対的に見て平坦であることを示す）、符号化対象領域のちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、符号化対象領域のちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、符号化対象領域のちらつき度合いが低いと推定する。
また、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出して、その最小値、最大値を算出するという構成を採る場合には、この算出した最小値、最大値に従って、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とその最大値とを比較するとともに、予め与えられている閾値とその最小値とを比較して、例えば、その最大値がその平均値よりも小さく（フレーム内で相対的に見て平坦であることを示す）、かつ、その最小値がその閾値よりも小さい場合には（絶対的に見て平坦であることを示す）、符号化対象領域のちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、符号化対象領域のちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、符号化対象領域のちらつき度合いが低いと推定する。
フレーム内予測符号化を行うときに、符号化対象領域が静止領域である場合には、予測信号の変動を抑えれば、ちらつきを抑制できることになる。
そこで、本発明のフレーム内予測符号化制御装置では、このちらつき度合いの推定結果に基づいて、例えば、
（ｉ）予測ブロックサイズを大きくすれば、予測信号を切り替える回数が減ることでち らつきを抑えることができることに着目して、推定したちらつき度合いが高くな るに従って、利用可能な予測ブロックサイズが大きなものとなるようにと予測ブ ロックサイズを制限したり、
（ii）近傍画素の変動による予測信号の影響が小さい予測モードを選択すればちらつき を抑えることができることに着目して、推定したちらつき度合いが高い場合には 、符号化済み近傍画素の平均値を予測信号とする予測モードを選択したり、
（iii)この２点に着目して、推定したちらつき度合いが高い場合には、予測ブロックサ イズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードを選 択し、推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大 とし、その予測ブロックサイズで定義される予測モードの中から符号化コストが 最小となる予測モードを選択し、推定したちらつき度合いが低い場合には、従来 技術通りに、利用可能な予測モードおよび予測ブロックサイズに制限を加えるこ となく、符号化コストが最小となる予測モードおよび予測ブロックサイズを選択 することで、
ちらつきを抑えるようにする。
（ｉ）予測ブロックサイズを大きくすれば、予測信号を切り替える回数が減ることでち らつきを抑えることができることに着目して、推定したちらつき度合いが高くな るに従って、利用可能な予測ブロックサイズが大きなものとなるようにと予測ブ ロックサイズを制限したり、
（ii）近傍画素の変動による予測信号の影響が小さい予測モードを選択すればちらつき を抑えることができることに着目して、推定したちらつき度合いが高い場合には 、符号化済み近傍画素の平均値を予測信号とする予測モードを選択したり、
（iii)この２点に着目して、推定したちらつき度合いが高い場合には、予測ブロックサ イズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードを選 択し、推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大 とし、その予測ブロックサイズで定義される予測モードの中から符号化コストが 最小となる予測モードを選択し、推定したちらつき度合いが低い場合には、従来 技術通りに、利用可能な予測モードおよび予測ブロックサイズに制限を加えるこ となく、符号化コストが最小となる予測モードおよび予測ブロックサイズを選択 することで、
ちらつきを抑えるようにする。
一方、細かく量子化を行えば、量子化誤差が小さくなり、これにより、ちらつきを抑制できる。
そこで、本発明のフレーム内予測符号化制御装置では、このちらつき度合いの推定結果に基づいて、推定したちらつき度合いが高い場合には、符号化対象領域の量子化ステップサイズを小さくするように変更することで、ちらつきを抑える。
また、符号化対象領域の量子化ステップサイズが規定の閾値より小さい場合には、ちらつきが目立たないことになるので、本発明のフレーム内予測符号化制御装置では、符号化対象領域の量子化ステップサイズが規定の閾値より大きい場合のみ、予測モードや予測ブロックサイズの制限を行うようにする。
以上説明したように、本発明によれば、原信号の情報から、ちらつきが発生しやすい領域を特定して、ちらつきを抑制するように符号化処理を制御することから、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになるので、演算コストを抑え、復号信号を蓄積するためのメモリを不要とする形で、ちらつきを抑制できるようになる。
そして、ちらつきの発生しやすさに応じて、予測モードや予測ブロックサイズを制限することから、予測モードや予測ブロックサイズの選択のための局所復号信号生成の処理が不要となり、処理量を削減できるようになる。
また、量子化ステップサイズの変更によってちらつきを抑制する構成では、ちらつき度合いが高い場合に、ある単位だけ量子化ステップサイズを小さくする制御を行うことで、処理時間をほとんど増加させずに、ちらつきを抑制できるようになる。
以下、実施の形態に従って本発明を詳細に説明する。
上述したように、非特許文献４に記載されるフリッカ現象を低減する従来方法では、Ｈ．２６４の規格に準拠しているものの、復号信号を生成する必要があることから、演算コストが増大するという問題と、過去の符号化済みイントラフレームの復号信号を蓄積するためのメモリが必要であるという問題がある。
ちらつきの原因は、静止領域での量子化歪の時間的な変動である。これから、静止領域での量子化歪の変動を抑えることで、ちらつきを軽減できることになる。
一方、Ｈ．２６４では、符号化対象信号および量子化パラメータ（量子化ステップサイズに対応付けられるもの）が同一であっても、予測信号が変動することで量子化歪が変化する。だが、一律に予測信号の変動を抑える処理を行うと、符号化効率が低下することになる。
そこで、本発明では、ちらつきが検知されやすい領域を推定し、ちらつきが検知されやすい領域の予測モードや予測ブロックサイズを制御して、予測信号の変動を抑制することで、ちらつきを抑えるようにする。加えて、ちらつきの目立つ領域について細かく量子化することで、量子化誤差も小さくして、ちらつきの軽減を図るようにする。
図１に、これを実現するために本発明の実行するフローチャートを図示する。このフローチャートに示すように、本発明では、
〔１〕符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較す ることにより、静止領域かどうかの判定を行い（ステップ１０）、
〔２〕静止領域と判定した領域について、画素値の分散などを算出することにより、そ の領域の平坦度合いを算出し（ステップ１１）、
〔３〕その算出した平坦度合いと量子化ステップサイズとを基に、ちらつき度合いを判 定し（ステップ１２）、
〔４〕ちらつき度合いがある程度高い場合には、その程度に応じて、ちらつき度合いが 高い予測ブロックサイズを拡大する形で、予測ブロックサイズを決定し（ステッ プ１３）、
〔５〕さらに、ちらつき度合いに応じて、予測モードを決定し（ステップ１４）、
〔６〕一方、静止領域かどうかの判定で動領域と判定した領域と、静止領域と判定した ものの、ちらつき度合いが低いと判定した領域とについては、通常の予測ブロッ クサイズおよび予測モードの決定処理を行い（ステップ１５）、
〔７〕そして、符号化を行う（ステップ１６）
という手順をとる。
〔１〕符号化済みイントラフレームの原信号と符号化対象フレームの原信号とを比較す ることにより、静止領域かどうかの判定を行い（ステップ１０）、
〔２〕静止領域と判定した領域について、画素値の分散などを算出することにより、そ の領域の平坦度合いを算出し（ステップ１１）、
〔３〕その算出した平坦度合いと量子化ステップサイズとを基に、ちらつき度合いを判 定し（ステップ１２）、
〔４〕ちらつき度合いがある程度高い場合には、その程度に応じて、ちらつき度合いが 高い予測ブロックサイズを拡大する形で、予測ブロックサイズを決定し（ステッ プ１３）、
〔５〕さらに、ちらつき度合いに応じて、予測モードを決定し（ステップ１４）、
〔６〕一方、静止領域かどうかの判定で動領域と判定した領域と、静止領域と判定した ものの、ちらつき度合いが低いと判定した領域とについては、通常の予測ブロッ クサイズおよび予測モードの決定処理を行い（ステップ１５）、
〔７〕そして、符号化を行う（ステップ１６）
という手順をとる。
ここで、ちらつき度合いについて説明する。ちらつき度合いは、量子化歪の大きさと歪の見えやすさとによって決まる。量子化歪が大きくても、その歪が検知されにくければ、ちらつき度合いは低い（小さい）。逆に、量子化歪が小さくても、その歪が検知されやすいと、ちらつき度合いが高くなる（大きくなる）。そこで、本発明では、量子化歪の大きさと歪の見えやすさとを基に、ちらつき度合いを推定する。
まず、量子化歪について説明する。ちらつきの原因は、量子化歪によるものであり、量子化歪が小さくなれば、ちらつきは検知されなくなる。従って、量子化ステップサイズが小さい場合は、ちらつき度合いは低くなる。
次に、歪の見えやすさについて説明する。従来から、平坦領域ほど歪が目立ちやすく、テクスチャ領域では目立ちにくいという特性が知られている。そこで、歪の見えやすさとして、符号化対象領域の平坦度合いを利用する。平坦度合いは、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和などから算出できる。
（ｉ）ステップ１１の処理
これから、ステップ１１では、下式に示すＬ２分散やＬ１分散に従って画素値の分散を算出することで、符号化対象領域の平坦度合いを算出する。ここで、ｓ（ｉ，ｊ）は符号化対象領域内の位置（ｉ，ｊ）の画素値を示し、＜ｓ＞はその平均値を示す。
これから、ステップ１１では、下式に示すＬ２分散やＬ１分散に従って画素値の分散を算出することで、符号化対象領域の平坦度合いを算出する。ここで、ｓ（ｉ，ｊ）は符号化対象領域内の位置（ｉ，ｊ）の画素値を示し、＜ｓ＞はその平均値を示す。
また、下式に従って画素間差分の絶対値和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。
また、下式に従って画素間差分の自乗和ａｃｔを算出することで、符号化対象領域の平坦度合いを算出する。
ここで、符号化対象領域が広い場合、複数の平坦度合いを持つ領域が含まれる可能性があるため、符号化対象領域を小ブロックに分割して平坦度合いを算出することもできる。この場合、符号化対象領域の平坦度合いは小ブロックの数だけ求まるため、それらの中の最小値や最大値を符号化対象領域の平坦度合いとする。
（ii）ステップ１２の処理
ステップ１２では、ステップ１１で算出された符号化対象領域の平坦度合いを受けて、
・符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値
・予め与えられている固定された閾値
という２つの値と符号化対象領域の平坦度合いとの比較結果から、符号化対象領域のちらつき度合いを推定する。
ステップ１２では、ステップ１１で算出された符号化対象領域の平坦度合いを受けて、
・符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値
・予め与えられている固定された閾値
という２つの値と符号化対象領域の平坦度合いとの比較結果から、符号化対象領域のちらつき度合いを推定する。
なお、符号化対象フレームの平坦度合いの平均値を用いる場合は、事前に符号化対象フレームの平坦度合いを求めておく必要がある。
例えば、上記２つの値よりも符号化対象領域の平坦度合いが小さい場合には、その符号化対象領域はちらつき度合いが高い領域と推定し、どちらか一方の値のみが小さい場合には、その符号化対象領域はちらつき度合いが中程度の領域と推定し、両方の値とも大きい場合には、その符号化対象領域はちらつき度合いが低い領域と推定する。
ステップ１２では、この推定結果と、先に述べた量子化ステップサイズの大きさとから、符号化対象領域の最終的なちらつき度合いを判定する。
例えば、量子化ステップサイズが予め与えられている固定された閾値よりも小さい場合には、符号化対象領域の平坦度合いに関係なく、その符号化対象領域はちらつき度合いが低い領域と推定し、一方、量子化ステップサイズが予め与えられている固定された閾値よりも大きい場合には、符号化対象領域の平坦度合いに従って、符号化対象領域のちらつき度合いを判定する。
(iii）ステップ１３の処理
ステップ１３では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測ブロックサイズを決定する。
ステップ１３では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測ブロックサイズを決定する。
予測ブロックサイズは、予測信号を切り替える単位である。例えば、予測ブロックサイズが４×４画素の場合は、４×４画素毎に予測信号が切り替わる。予測ブロックサイズが小さくなると、予測信号が変化する回数が増加し、ちらつきの増加につながる。そこで、ちらつき度合いに応じて、選択可能な予測ブロックサイズを制限する。
(iｖ）ステップ１４の処理
ステップ１４では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測モードを決定する。
ステップ１４では、ステップ１２でちらつき度合いが中程度以上と判定された場合について予測モードを決定する。
予測モードは、予測信号の生成方法を切り替えることに相当する。図２および図３に、Ｈ．２６４で選択可能な予測モードを示す。この中で、ＤＣ予測と呼ばれる方法は、近傍画素の平均値をブロック内全ての予測信号とするため、近傍画素の変動による予測信号の影響が小さい。ちらつき度合いが高い領域では、ＤＣ予測のような近傍画素の影響が小さい予測モードを選択する。
（ｖ）予測モードおよび予測ブロックサイズの制限例
図４に、ちらつき度合いに応じて、Ｈ．２６４での予測モードおよび予測ブロックサイズを制限する一例を図示する。
図４に、ちらつき度合いに応じて、Ｈ．２６４での予測モードおよび予測ブロックサイズを制限する一例を図示する。
この図４に示すように、例えば、ちらつき度合いが中程度以上では、予測ブロックサイズを１６×１６画素に固定する。これは、符号化対象領域内での予測信号の変化を抑えるためである。さらに、ちらつき度合いが高い場合は、予測モードをＤＣ予測モードに固定する。ちらつき度合いが低い場合は、符号化効率が最も高くなる予測モードと予測ブロックサイズとを選択する。
このように、本発明では、ちらつき度合いに応じて、予測モードおよび予測ブロックサイズを制限する。この方法により、予測信号の時間的な変動を抑えることで、ちらつきを抑制できることになる。
また、ちらつき度合いに応じて、量子化ステップサイズを変更することも可能である。例えば、ちらつき度合いが高いと推定される領域では、より量子化ステップサイズを小さくすることで、量子化誤差を低減し、ちらつきを軽減することが可能である。
なお、小ブロックに分割して符号化対象領域の平坦度合いを求める際、最小値と最大値とを求めておき、符号化対象領域の平坦領域判定に用いることもできる。
この場合、例えば、平坦度合いの小ブロック最大値と、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値とを比較する。平坦度合いの小ブロック最大値は、符号化対象領域内で最も歪が目立ちにくい領域の平坦度合いとなる。この領域が平均値を下回っている場合は、平坦領域の候補とみなす。次に、平坦度合いの小ブロック最小値と、予め与えられている固定された閾値との比較を行う。平坦度合いの小ブロック最小値は、符号化対象領域内で最も歪が目立ち易い領域の平坦度合いとなる。この領域が閾値を下回ることが確認できた領域を平坦領域とする。これにより、映像全体の中で、特に歪が目立ちやすい領域のみを平坦領域とすることができる。
このような方法をとることで、本発明によれば、原信号の情報から、ちらつきが発生しやすい領域を特定し、予測モードと予測ブロックサイズを制限することで、ちらつきを抑制できる。また、ちらつき度合いに応じて、量子化ステップサイズを変更して、ちらつきを抑えることもできる。
次に、実施例に従って、本発明について詳細に説明する。
図５に、本発明を具備する映像符号化装置１の一実施例を図示する。
この図に示すように、本発明の映像符号化装置１は、符号化処理部１０と、輝度平均値算出部１１と、静止領域判定部１２と、Ｌ１分散算出部１３と、Ｌ１分散平均値算出部１４と、Ｌ１分散比較部１５と、量子化パラメータ評価部１６と、量子化パラメータ変更部１７と、予測モード制御部１８と、第１の予測部１９と、第２の予測部２０と、第３の予測部２１と、切替部２２とを備える。
この符号化処理部１０は、外部から入力される映像を処理対象として、フレーム内予測符号化処理を実行することで、フレーム内符号化フレームにある符号化対象ブロックを符号化する。
輝度平均値算出部１１は、符号化対象ブロックの輝度信号の平均値を算出する。静止領域判定部１２は、輝度平均値算出部１１の算出した輝度平均値を使って、符号化対象ブロックが静止領域であるのか否かを判定する。
Ｌ１分散算出部１３は、符号化対象ブロックを分割した各小ブロックについて、輝度信号のＬ１分散を算出することで平坦度合いを算出して、その中の最大Ｌ１分散を算出するとともに、その中の最小Ｌ１分散を算出する。
Ｌ１分散平均値算出部１４は、直前に符号化したフレームにおける最小Ｌ１分散の平均値を算出することで、平坦度合いの平均値を算出する。
Ｌ１分散比較部１５は、Ｌ１分散算出部１３の算出した最大Ｌ１分散とＬ１分散平均値算出部１４の算出した平坦度合いの平均値とを比較するとともに、Ｌ１分散算出部１３の算出した最小Ｌ１分散と規定の閾値とを比較して、それらの比較結果に基づいて、符号化対象ブロックが平坦領域であるのか否かを判定する。
量子化パラメータ評価部１６は、符号化処理部１０の用いる量子化パラメータの大きさを評価することで、符号化処理部１０の用いる量子化ステップサイズの大きさを評価する。
量子化パラメータ変更部１７は、予測モード制御部１８からの変更指示に従って、符号化処理部１０の用いる量子化パラメータの大きさを変更することで、符号化処理部１０の用いる量子化ステップサイズの大きさを変更する。
予測モード制御部１８は、静止領域判定部１２の判定結果と、Ｌ１分散比較部１５の判定結果と、量子化パラメータ評価部１６の評価結果とに基づいて、切替部２２に対して、どの予測部１９，２０，２１を用いるのかを指示する切替指示信号を送出し、さらに、量子化パラメータ変更部１７に対して、符号化処理部１０の用いる量子化パラメータの大きさを変更することを指示する。
第１の予測部１９は、ちらつき度合いが高い符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
第２の予測部２０は、ちらつき度合いが中程度の符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
第３の予測部２１は、ちらつき度合いが低い符号化対象ブロックを処理対象として、予測信号を予測するとともに、予測モード情報（予測方向と予測ブロックサイズ）を決定して、それらの情報を符号化処理部１０に出力する。
切替部２２は、予測モード制御部１８からの切替指示信号に従って、外部から入力される符号化対象ブロックの映像をいずれかの予測部１９，２０，２１に入力して、その入力に基づいていずれかの予測部１９，２０，２１から出力されることになる予測モード情報（予測方向と予測ブロックサイズ）を符号化処理部１０に与えるように制御する。
このように構成される本発明の映像符号化装置１では、符号化方式として、Ｈ．２６４を前提とし、符号化対象ブロックとなる１６×１６画素のマクロブロックを、４つの小ブロック８×８画素に分割して平坦度合いを算出する。平坦度合いは、輝度信号のＬ１分散で算出し、符号化対象ブロック内の最小Ｌ１分散と最大Ｌ１分散とを求める。平坦度合いの平均値は、直前に符号化したフレームにおける最小Ｌ１分散の平均値とする。
ちらつき度合いの判定は、符号化対象ブロック内の最小Ｌ１分散、最大Ｌ１分散、量子化パラメータを用い、高／中／低の３段階に判定する。ちらつき度合いに応じた予測モードと予測ブロックサイズの制限については、図４に示したものを用いる。さらに、ちらつき度合いが高または中程度の場合、量子化パラメータを１だけ減らす（量子化ステップサイズを小さくする）。また、静止領域の判定は、マクロブロック内画素の輝度信号の平均値を利用し、符号化対象フレームと過去にフレーム内符号化を行ったフレームで、同位置の平均値の差が閾値ＴＨDIFF以下であれば、静止領域と判定する。
図６に、このように構成される本発明の映像符号化装置１の実行するフローチャートを図示する。次に、このフローチャートに従って、本発明の映像符号化装置１の実行する処理について詳細に説明する。
〔１〕輝度平均値の算出
本発明の映像符号化装置１では、先ず最初に、ステップ２０で、符号化対象のマクロブロックについて、下式に従って輝度信号の平均値“diffn,t ”を算出する。
本発明の映像符号化装置１では、先ず最初に、ステップ２０で、符号化対象のマクロブロックについて、下式に従って輝度信号の平均値“diffn,t ”を算出する。
ここで、ｓy （ｉ，ｊ）は時刻ｔのフレームにおけるマクロブロックｎの輝度信号の画素値を表す。この算出した輝度平均値は蓄積しておき、次のフレーム内符号化フレームとの静止領域の判定に利用する。
〔２〕静止領域の判定
続いて、ステップ２１で、符号化対象のマクロブロックｎの輝度平均値“diffn,t ”と、過去にフレーム内符号化を行ったフレームＴにおける同位置のマクロブロックの輝度平均値“diffn,T ”とから、その差分絶対値を算出する。そして、その算出した差分絶対値が閾値ＴＨDIFF以下の場合は、静止領域と判定する。動領域と判定した場合には、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
続いて、ステップ２１で、符号化対象のマクロブロックｎの輝度平均値“diffn,t ”と、過去にフレーム内符号化を行ったフレームＴにおける同位置のマクロブロックの輝度平均値“diffn,T ”とから、その差分絶対値を算出する。そして、その算出した差分絶対値が閾値ＴＨDIFF以下の場合は、静止領域と判定する。動領域と判定した場合には、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
すなわち、動領域と判定した場合には、ステップ２９に進んで、従来技術の手法に従って、選択可能な予測モードに制限を加えることなく、選択可能な予測モードの中から、符号化コストを最小にする予測モードを選択するとともに、選択可能な予測ブロックサイズに制限を加えることなく、選択可能な予測ブロックサイズの中から、符号化コストを最小にする予測ブロックサイズを選択するのである。
〔３〕量子化パラメータの評価
符号化対象のマクロブロックｎが静止領域であると判定した場合には、ステップ２２に進んで、符号化対象のマクロブロックｎの量子化パラメータＱＰn と閾値ＴＨQPとを比較することで、量子化パラメータＱＰn の大きさを評価する。量子化パラメータＱＰn が閾値ＴＨQPより小さい場合は、ちらつき度合いが低い領域と判定して、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
符号化対象のマクロブロックｎが静止領域であると判定した場合には、ステップ２２に進んで、符号化対象のマクロブロックｎの量子化パラメータＱＰn と閾値ＴＨQPとを比較することで、量子化パラメータＱＰn の大きさを評価する。量子化パラメータＱＰn が閾値ＴＨQPより小さい場合は、ちらつき度合いが低い領域と判定して、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
〔４〕Ｌ１分散の算出
量子化パラメータＱＰn が閾値ＴＨQPより大きい場合には、ステップ２３に進んで、符号化対象のマクロブロックｎを４つに分割した８×８サイズの小ブロックのそれぞれについて、下式に従って、輝度信号のＬ１分散“ actn ”を算出する。
量子化パラメータＱＰn が閾値ＴＨQPより大きい場合には、ステップ２３に進んで、符号化対象のマクロブロックｎを４つに分割した８×８サイズの小ブロックのそれぞれについて、下式に従って、輝度信号のＬ１分散“ actn ”を算出する。
ここで、ｓy （ｉ，ｊ）は小ブロックｎの輝度信号の画素値、＜ｓy ＞は小ブロックｎの輝度信号の平均値を示す。
そして、このようにして求めた４つのＬ１分散に対して下記の演算を施すことで、
ａｃｔmin ＝ ｍｉｎ（ act0 , act1 , act2 , act3 ）
ａｃｔmax ＝ ｍａｘ（ act0 , act1 , act2 , act3 ）
Ｌ１分散の最小値ａｃｔmin と、Ｌ１分散の最大値ａｃｔmax を算出する。
ａｃｔmin ＝ ｍｉｎ（ act0 , act1 , act2 , act3 ）
ａｃｔmax ＝ ｍａｘ（ act0 , act1 , act2 , act3 ）
Ｌ１分散の最小値ａｃｔmin と、Ｌ１分散の最大値ａｃｔmax を算出する。
〔５〕ちらつき度合いの判定
続いて、ステップ２４で、下記の条件（ａ）のみを満たした場合には、符号化対象のマクロブロックのちらつき度合いは中程度と判定し、下記の条件（ａ）と条件（ｂ）とを同時に満たした場合には、符号化対象のマクロブロックのちらつき度合いは高いと判定し、下記の条件（ａ）と条件（ｂ）のいずれも満たさない場合には、符号化対象のマクロブロックのちらつき度合いは低いと判定する。
続いて、ステップ２４で、下記の条件（ａ）のみを満たした場合には、符号化対象のマクロブロックのちらつき度合いは中程度と判定し、下記の条件（ａ）と条件（ｂ）とを同時に満たした場合には、符号化対象のマクロブロックのちらつき度合いは高いと判定し、下記の条件（ａ）と条件（ｂ）のいずれも満たさない場合には、符号化対象のマクロブロックのちらつき度合いは低いと判定する。
条件（ａ）： ａｃｔmin ＜ＴＨACT
条件（ｂ）： ａｃｔmax ＜ａｃｔavg
ここで、ａｃｔavg は直前に符号化したフレームのａｃｔmin の平均値、ＴＨACT は平坦領域判定のための閾値である。
条件（ｂ）： ａｃｔmax ＜ａｃｔavg
ここで、ａｃｔavg は直前に符号化したフレームのａｃｔmin の平均値、ＴＨACT は平坦領域判定のための閾値である。
ちらつき度合いが低いと判定した場合には、ステップ２９に進んで、通常の予測モード選択と予測ブロックサイズ選択とを行う。
〔６〕量子化パラメータの変更
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。そして、ちらつき度合いが中程度と判定した符号化対象のマクロブロックについては、ステップ２６に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。そして、ちらつき度合いが中程度と判定した符号化対象のマクロブロックについては、ステップ２６に進んで、量子化パラメータＱＰn を１だけ減じることで、ちらつき度合いを減らすようにする。
なお、Ｈ．２６４では、量子化ステップサイズの変更は量子化パラメータを変更することで行う。この量子化パラメータを小さくすることで、量子化ステップサイズを小さくできる。
〔７〕予測モードの決定
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５で量子化パラメータＱＰn を１だけ減じた後、ステップ２７に進んで、予測ブロックサイズを１６×１６画素に決定して、予測モードをＤＣ予測モードに決定する。
ちらつき度合いが高いと判定した符号化対象のマクロブロックについては、ステップ２５で量子化パラメータＱＰn を１だけ減じた後、ステップ２７に進んで、予測ブロックサイズを１６×１６画素に決定して、予測モードをＤＣ予測モードに決定する。
そして、ちらつき度合いが中程度と判定した符号化対象のマクロブロックについては、ステップ２６で量子化パラメータＱＰn を１だけ減じた後、ステップ２８に進んで、予測ブロックサイズを１６×１６画素に決定して、１６×１６ブロックサイズで選択可能な４種類の予測モード（図２に示す４種類）の中から、符号化コストを最小化する予測モードを決定する。
〔８〕符号化処理
ステップ２７，２８，２９で、予測モード選択と予測ブロックサイズ選択とを終えると、最後に、ステップ３０で、符号化処理を実行する。
ステップ２７，２８，２９で、予測モード選択と予測ブロックサイズ選択とを終えると、最後に、ステップ３０で、符号化処理を実行する。
このようにして、図５のように構成される本発明の映像符号化装置１は、このような処理手順に従って、ちらつき度合いを推定し、ちらつきが目立つ領域に対して、予測モードおよび予測ブロックサイズを制限して映像符号化を行うことにより、符号化済みイントラフレームの復号信号を必要とせずに、ちらつきを抑制できるようになる。
１ 映像符号化装置
１０ 符号化処理部
１１ 輝度平均値算出部
１２ 静止領域判定部
１３ Ｌ１分散算出部
１４ Ｌ１分散平均値算出部
１５ Ｌ１分散比較部
１６ 量子化パラメータ評価部
１７ 量子化パラメータ変更部
１８ 予測モード制御部
１９ 第１の予測部
２０ 第２の予測部
２１ 第３の予測部
２２ 切替部
１０ 符号化処理部
１１ 輝度平均値算出部
１２ 静止領域判定部
１３ Ｌ１分散算出部
１４ Ｌ１分散平均値算出部
１５ Ｌ１分散比較部
１６ 量子化パラメータ評価部
１７ 量子化パラメータ変更部
１８ 予測モード制御部
１９ 第１の予測部
２０ 第２の予測部
２１ 第３の予測部
２２ 切替部
Claims (17)
- 映像のフレーム内予測符号化を制御するフレーム内予測符号化制御方法であって、
符号化対象領域が静止領域であるのか否かを判定する過程と、
符号化対象領域の平坦度合いを算出する過程と、
静止領域と判定した符号化対象領域について、上記算出した平坦度合いに従って、ちらつき度合いを推定する過程と、
上記推定したちらつき度合いに応じて、符号化対象領域の量子化ステップサイズを変更する過程とを備えることを、
特徴とするフレーム内予測符号化制御方法。 - 映像のフレーム内予測符号化を制御するフレーム内予測符号化制御方法であって、
符号化対象領域が静止領域であるのか否かを判定する過程と、
符号化対象領域の平坦度合いを算出する過程と、
静止領域と判定された符号化対象領域について、上記算出した平坦度合いに従って、ちらつき度合いを推定する過程と、
上記推定したちらつき度合いに応じて、符号化対象領域の符号化に利用可能な予測モードおよび／または予測ブロックサイズを制限する過程とを備えることを、
特徴とするフレーム内予測符号化制御方法。 - 請求項２に記載のフレーム内予測符号化制御方法において、
上記推定したちらつき度合いに応じて、符号化対象領域の量子化ステップサイズを変更する過程を備えることを、
特徴とするフレーム内予測符号化制御方法。 - 請求項２または３に記載のフレーム内予測符号化制御方法において、
符号化対象領域の量子化ステップサイズと予め与えられている閾値とを比較して、該量子化ステップサイズが該閾値より大きい場合にのみ、上記制限を行うことができるようにする過程を備えることを、
特徴とするフレーム内予測符号化制御方法。 - 請求項２ないし４のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記制限する過程では、上記推定したちらつき度合いが高くなるに従って、利用可能な予測ブロックサイズが大きなものとなるようにと予測ブロックサイズを制限することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項２ないし４のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記制限する過程では、上記推定したちらつき度合いが高い場合には、符号化済み近傍画素の平均値を予測信号とする予測モードを選択することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項２ないし４のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記制限する過程では、上記推定したちらつき度合いが高い場合には、予測ブロックサイズを最大とし、符号化済み近傍画素の平均値を予測信号とする予測モードを選択し、上記推定したちらつき度合いが中程度の場合には、予測ブロックサイズを最大とし、その予測ブロックサイズで定義される予測モードの中から符号化コストが最小となる予測モードを選択し、上記推定したちらつき度合いが低い場合には、符号化コストが最小となる予測モードおよび予測ブロックサイズを選択することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項１ないし７のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記推定する過程では、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と上記算出した符号化対象領域の平坦度合いとを比較するとともに、予め与えられている閾値と上記算出した符号化対象領域の平坦度合いとを比較して、それらの比較結果に基づいて、ちらつき度合いを推定することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項８に記載のフレーム内予測符号化制御方法において、
上記推定する過程では、上記算出した符号化対象領域の平坦度合いが上記平均値よりも小さく、かつ、上記算出した符号化対象領域の平坦度合いが上記閾値よりも小さい場合には、ちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、ちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、ちらつき度合いが低いと推定することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項１ないし７のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記算出する過程では、符号化対象領域を複数の小ブロックに分割して各小ブロック毎に平坦度合いを算出し、それらの平坦度合いの最小値、最大値を算出することで符号化対象領域の平坦度合いを算出することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項１０に記載のフレーム内予測符号化制御方法において、
上記推定する過程では、符号化対象フレームまたは符号化済みフレームの平坦度合いの平均値と上記最大値とを比較するとともに、予め与えられている閾値と上記最小値とを比較して、それらの比較結果に基づいて、ちらつき度合いを推定することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項１１に記載のフレーム内予測符号化制御方法において、
上記推定する過程では、上記最大値が上記平均値よりも小さく、かつ、上記最小値が上記閾値よりも小さい場合には、ちらつき度合いが高いと推定し、そのいずれか一方が成立する場合には、ちらつき度合いが中程度と推定し、その両方ともが成立しない場合には、ちらつき度合いが低いと推定することを、
特徴とするフレーム内予測符号化制御方法。 - 請求項１ないし１２のいずれか１項に記載のフレーム内予測符号化制御方法において、
上記算出する過程では、画素値の分散、画素間差分の絶対値和、画素間差分の自乗和のいずれかを用いて符号化対象領域の平坦度合いを算出することを、
特徴とするフレーム内予測符号化制御方法。 - 映像のフレーム内予測符号化を制御するフレーム内予測符号化制御装置であって、
符号化対象領域が静止領域であるのか否かを判定する手段と、
符号化対象領域の平坦度合いを算出する手段と、
静止領域と判定した符号化対象領域について、上記算出した平坦度合いに従って、ちらつき度合いを推定する手段と、
上記推定したちらつき度合いに応じて、符号化対象領域の量子化ステップサイズを変更する手段とを備えることを、
特徴とするフレーム内予測符号化制御装置。 - 映像のフレーム内予測符号化を制御するフレーム内予測符号化制御装置であって、
符号化対象領域が静止領域であるのか否かを判定する手段と、
符号化対象領域の平坦度合いを算出する手段と、
静止領域と判定された符号化対象領域について、上記算出した平坦度合いに従って、ちらつき度合いを推定する手段と、
上記推定したちらつき度合いに応じて、符号化対象領域の符号化に利用可能な予測モードおよび／または予測ブロックサイズを制限する手段とを備えることを、
特徴とするフレーム内予測符号化制御装置。 - 請求項１ないし１３のいずれか１項に記載のフレーム内予測符号化制御方法の実現に用いられる処理をコンピュータに実行させるためのフレーム内予測符号化制御プログラム。
- 請求項１ないし１３のいずれか１項に記載のフレーム内予測符号化制御方法の実現に用いられる処理をコンピュータに実行させるためのフレーム内予測符号化制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005247084A JP4246723B2 (ja) | 2005-08-29 | 2005-08-29 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005247084A JP4246723B2 (ja) | 2005-08-29 | 2005-08-29 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008287299A Division JP4829951B2 (ja) | 2008-11-10 | 2008-11-10 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007067469A true JP2007067469A (ja) | 2007-03-15 |
| JP4246723B2 JP4246723B2 (ja) | 2009-04-02 |
Family
ID=37929227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005247084A Active JP4246723B2 (ja) | 2005-08-29 | 2005-08-29 | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4246723B2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008061044A (ja) * | 2006-08-31 | 2008-03-13 | Fujitsu Ltd | 画像符号化装置、および符号化方法 |
| WO2009035144A1 (ja) * | 2007-09-12 | 2009-03-19 | Sony Corporation | 画像処理装置及び画像処理方法 |
| JP2009135902A (ja) * | 2007-10-29 | 2009-06-18 | Canon Inc | 符号化装置、符号化装置の制御方法及びコンピュータプログラム |
| JP2010045690A (ja) * | 2008-08-15 | 2010-02-25 | Fujitsu Ltd | 動画像符号化装置および動画像符号化方法 |
| JP2011510560A (ja) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | フリッカー測定方法 |
| JP2011234070A (ja) * | 2010-04-27 | 2011-11-17 | Panasonic Corp | 画像符号化装置、画像符号化方法およびプログラム |
| JP2011239365A (ja) * | 2010-04-12 | 2011-11-24 | Canon Inc | 動画像符号化装置及びその制御方法、コンピュータプログラム |
| JP2012509012A (ja) * | 2008-11-12 | 2012-04-12 | トムソン ライセンシング | Ｇｏｐパラレル・マルチスレッドビデオ符号化のためのｉフレームのフリッカの除去 |
| US8184711B2 (en) | 2007-09-12 | 2012-05-22 | Sony Corporation | Image processing device and image processing method |
| US8238423B2 (en) | 2007-09-12 | 2012-08-07 | Sony Corporation | Image processing apparatus and method |
| US8244050B2 (en) | 2008-01-02 | 2012-08-14 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding image by using improved compression ratio of encoding information |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
| JP2015139117A (ja) * | 2014-01-23 | 2015-07-30 | 富士通株式会社 | 情報処理装置、符号化単位の選択方法、及びプログラム |
| US9210431B2 (en) | 2008-11-13 | 2015-12-08 | Thomson Licensing | Multiple thread video encoding using GOP merging and bit allocation |
| JP6270293B1 (ja) * | 2016-11-01 | 2018-01-31 | Ｎｔｔエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
| CN109417633A (zh) * | 2016-04-29 | 2019-03-01 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和装置 |
| US10313693B2 (en) | 2015-11-05 | 2019-06-04 | Axis Ab | Method and apparatus for controlling a degree of compression of a digital image |
| JP2019102861A (ja) * | 2017-11-29 | 2019-06-24 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6874844B2 (ja) | 2017-07-19 | 2021-05-19 | 日本電気株式会社 | 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム |
-
2005
- 2005-08-29 JP JP2005247084A patent/JP4246723B2/ja active Active
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4719650B2 (ja) * | 2006-08-31 | 2011-07-06 | 富士通株式会社 | 画像符号化装置 |
| JP2008061044A (ja) * | 2006-08-31 | 2008-03-13 | Fujitsu Ltd | 画像符号化装置、および符号化方法 |
| US8184711B2 (en) | 2007-09-12 | 2012-05-22 | Sony Corporation | Image processing device and image processing method |
| WO2009035144A1 (ja) * | 2007-09-12 | 2009-03-19 | Sony Corporation | 画像処理装置及び画像処理方法 |
| US8238423B2 (en) | 2007-09-12 | 2012-08-07 | Sony Corporation | Image processing apparatus and method |
| US8369403B2 (en) | 2007-09-12 | 2013-02-05 | Sony Corporation | Image processing device and image processing method |
| JP2009135902A (ja) * | 2007-10-29 | 2009-06-18 | Canon Inc | 符号化装置、符号化装置の制御方法及びコンピュータプログラム |
| US8244050B2 (en) | 2008-01-02 | 2012-08-14 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding image by using improved compression ratio of encoding information |
| JP2011510560A (ja) * | 2008-01-17 | 2011-03-31 | トムソン ライセンシング | フリッカー測定方法 |
| US8755613B2 (en) | 2008-01-17 | 2014-06-17 | Thomson Licensing | Method for measuring flicker |
| JP2010045690A (ja) * | 2008-08-15 | 2010-02-25 | Fujitsu Ltd | 動画像符号化装置および動画像符号化方法 |
| JP2012509012A (ja) * | 2008-11-12 | 2012-04-12 | トムソン ライセンシング | Ｇｏｐパラレル・マルチスレッドビデオ符号化のためのｉフレームのフリッカの除去 |
| US9210431B2 (en) | 2008-11-13 | 2015-12-08 | Thomson Licensing | Multiple thread video encoding using GOP merging and bit allocation |
| JP2011239365A (ja) * | 2010-04-12 | 2011-11-24 | Canon Inc | 動画像符号化装置及びその制御方法、コンピュータプログラム |
| US9055292B2 (en) | 2010-04-12 | 2015-06-09 | Canon Kabushiki Kaisha | Moving image encoding apparatus, method of controlling the same, and computer readable storage medium |
| JP2011234070A (ja) * | 2010-04-27 | 2011-11-17 | Panasonic Corp | 画像符号化装置、画像符号化方法およびプログラム |
| US9076267B2 (en) | 2011-07-19 | 2015-07-07 | Panasonic Intellectual Property Corporation Of America | Image coding device, integrated circuit thereof, and image coding method |
| JP2015139117A (ja) * | 2014-01-23 | 2015-07-30 | 富士通株式会社 | 情報処理装置、符号化単位の選択方法、及びプログラム |
| US10313693B2 (en) | 2015-11-05 | 2019-06-04 | Axis Ab | Method and apparatus for controlling a degree of compression of a digital image |
| CN109417633A (zh) * | 2016-04-29 | 2019-03-01 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和装置 |
| CN109417633B (zh) * | 2016-04-29 | 2023-11-28 | 英迪股份有限公司 | 用于编码/解码视频信号的方法和装置 |
| JP6270293B1 (ja) * | 2016-11-01 | 2018-01-31 | Ｎｔｔエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
| JP2018074466A (ja) * | 2016-11-01 | 2018-05-10 | Ｎｔｔエレクトロニクス株式会社 | 動画像符号化装置および動画像符号化方法 |
| JP2019102861A (ja) * | 2017-11-29 | 2019-06-24 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4246723B2 (ja) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4246723B2 (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP5261376B2 (ja) | 画像符号化装置および画像復号化装置 | |
| JP4724061B2 (ja) | 動画像符号化装置 | |
| JP4519933B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| KR101394209B1 (ko) | 영상의 인트라 예측 부호화 방법 | |
| US8189667B2 (en) | Moving picture encoding apparatus | |
| JP5553979B2 (ja) | 人間の視覚的許容度に基づくビデオ符号化の符号化ツールの選択 | |
| US11432005B2 (en) | Moving image encoding device | |
| JP2006054857A (ja) | ３ｄ分解を用いてフレームシーケンスを符号化および復号する方法、使用方法、装置、およびコンピュータプログラム | |
| KR20120139552A (ko) | 디지털 비디오 데이터를 엔코딩하기 위한 방법 및 디지털 비디오 엔코더 시스템 | |
| KR101623064B1 (ko) | 영상 부호화 장치, 영상 부호화 방법 및 영상 부호화 프로그램 | |
| US8917766B2 (en) | Picture coding apparatus, picture coding method and video camera | |
| JP2008219147A (ja) | 動画像符号化装置 | |
| JP5748225B2 (ja) | 動画像符号化方法，動画像符号化装置および動画像符号化プログラム | |
| JP5649296B2 (ja) | 画像符号化装置 | |
| JP2007228519A (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2001251627A (ja) | 符号化装置、符号化方法及びプログラムを記録した記録媒体 | |
| JP4829951B2 (ja) | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4688170B2 (ja) | 動画像符号化装置 | |
| JP4246722B2 (ja) | 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2007529144A (ja) | マクロブロック符号化時にノイズを防止する方法 | |
| JP2005303555A (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4177278B2 (ja) | 量子化ステップサイズ変更方法、量子化ステップサイズ変更装置、量子化ステップサイズ変更プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2005303362A (ja) | 画像符号化装置及びプログラム | |
| JP2010166275A (ja) | 画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070314 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080909 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4246723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |