JP2008283303A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】予測符号化方式を精度良く選択し高効率な圧縮符号化を行うことができるようにする。
【解決手段】擬似参照画素設定部１１３で設定された任意の入力信号１０３または参照画素バッファ１０８に格納されている参照画素のいずれかを選択し、選択した参照画素に基づいてフレーム内予測評価値を算出するようにして、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかの判定を高精度に行うことができるようにする。
【選択図】図１

Description

本発明は画像符号化装置、画像符号化方法、プログラム及び記録媒体に関し、特に、フレーム内の空間的相関及びフレーム間の時間的相関を利用して動画像データを符号化するために用いて好適な技術に関する。

フレーム間及びフレーム内の相関性を利用してマクロブロック単位で動画像データを圧縮符号化する方式として、ＭＰＥＧ４方式あるいはＨ．２６４方式が知られている。これらの方式では、画面間における時間的相関性が高いときはフレーム間予測方式を用い、画面内での相関が高いときにはフレーム内予測方式を用いることにより高品質な圧縮が可能である。特にＨ．２６４方式は、フレーム間またはフレーム内のどちらの予測方式においてもＭＰＥＧ４と比較して複数の予測単位あるいは予測モードが用意されており、圧縮符号化方式がより強化されている。

フレーム間予測方式は、被写体の動きが比較的少ない場合に効果を発揮し、時間的に前または後のフレームから相関度の高い画像を切り出して現マクロブロックとの差分を符号化する。その際、どの部分を切り出してきたのかを示す動きベクトルも同時に符号化する。

これに対して、画面内における相関性が高いときはフレーム内予測方式が有効である。フレーム内予測方式は、現マクロブロックに隣接するマクロブロックとの相関や、マクロブロック内の相関を利用して予測誤差を算出する予測方式である。したがって、被写体の動きが大きく、フレーム間予測方式で最適な動きベクトルを取得することが難しい状況においても比較的効率よく符号化できる。

これらの２種類の予測方式を用いる場合、どちらの方式を使用した方が高品質な圧縮符号化を行う際の圧縮効率がよくなるのかを判定する手段が必要となる。処理時間に制限がない場合（例えば、既に記録してある非圧縮の動画像データを圧縮する場合）などは、全ての方式、単位、モードで一度符号化を施した後、最適な方式を選択すればよい。しかしながら、ビデオカメラで撮影しながらリアルタイムに符号化を施す場合は、前記方法では処理内容が複雑になり実現が困難である。したがって、何らかの指標値を元にフレーム間符号化方式もしくはフレーム内符号化方式を選択する手段が必要となる。

従来、指標値を用いて符号化方式を選択する処理を実行するものとしては、実際にフレーム内予測符号化を行う前に入力画素のみでフレーム内予測符号化の指標値を算出し、その指標値を、符号化方式を選択する判定に使用する技術が開示されている（例えば、特許文献１参照）。この技術によれば、フレーム内予測符号化方式の特徴を示す指標値を入力画素のみを使用して算出するので、判定処理内容を大幅に簡素化することできて、判定処理に必要な処理時間を大幅に削減することが可能である。

特開２００５−２４４７４９号公報

特許文献１に記載の動画像符号化装置は、フレーム内予測に関して入力画素同士の相関を示す指標値を算出することにより、符号化前にフレーム内予測された予測誤差を推定するものである。しかしながら、Ｈ．２６４方式においては、フレーム内予測符号化を行うために予測値の生成に用いる画素は入力画素ではない。Ｈ．２６４方式において予測値を生成するために実際に用いる画素は、予測誤差を整数変換・量子化した値を再び逆量子化・逆変換して得られたものである（以下、ローカルデコード画素と表す）。そのため、Ｈ．２６４方式において特許文献１に記載の技術を用いると、実際に使用すべき画素とは異なる画素を用いることによる弊害が生じてしまう。これにより、フレーム間予測方式またはフレーム内予測方式の何れを用いて圧縮符号化を行う方が、高品質な圧縮符号化を行うことが可能であるのかを判定する精度が低下してしまうという問題点があった。

なお、圧縮率が低い、すなわち符号化歪が少ない圧縮を行う場合、入力画素とローカルデコード画素との差異は少ない。したがって、ローカルデコード画素の代わりに入力画素を使用してフレーム間またはフレーム内予測の判定を行ったとしても、大きな誤りは生じない。しかしながら、圧縮率が高い、すなわち符号化歪が大きくなるような圧縮を行う場合は、入力画素に対してローカルデコード画素は歪みが大きい状態になる。したがって、入力画素とローカルデコード画素との差異が大きい状態であるにも関わらず、入力画素を用いてフレーム間またはフレーム内予測の判定を行うと最適な予測誤差を得ることが困難であった。

本発明は前述の問題点に鑑み、予測符号化方式を精度良く選択し高効率な圧縮符号化を行うことができるようにすることを目的としている。

本発明の画像符号化装置は、入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測手段と、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測手段とを有する画像符号化装置であって、前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定手段と、前記フレーム内予測手段によって復号生成されたフレーム内予測参照画素、または前記擬似参照画素設定手段によって設定された擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択手段と、前記画素選択手段によって選択された参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出手段と、前記フレーム間予測手段によって生成されたフレーム間予測評価値と、前記フレーム内予測評価値算出手段によって算出されたフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定手段とを有することを特徴とする。

本発明の画像符号化方法は、入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測ステップと、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測ステップとを有する画像符号化方法であって、前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定ステップと、前記フレーム内予測ステップにおいて復号生成したフレーム内予測参照画素、または前記擬似参照画素設定ステップにおいて設定した擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択ステップと、前記画素選択ステップにおいて選択した参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出ステップと、前記フレーム間予測ステップにおいて生成したフレーム間予測評価値と、前記フレーム内予測評価値算出ステップにおいて算出したフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定ステップとを有することを特徴とする。

本発明のプログラムは、入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測ステップと、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測ステップとをコンピュータに実行させるプログラムであって、前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定ステップと、前記フレーム内予測ステップにおいて復号生成したフレーム内予測参照画素、または前記擬似参照画素設定ステップにおいて設定した擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択ステップと、前記画素選択ステップにおいて選択した参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出ステップと、前記フレーム間予測ステップにおいて生成したフレーム間予測評価値と、前記フレーム内予測評価値算出ステップにおいて算出したフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定ステップとをコンピュータに実行させることを特徴とする。

本発明の記録媒体は、前記に記載のプログラムを記録したことを特徴とする。

本発明によれば、擬似参照画素設定手段を設け、入力画像に対する擬似的な擬似参照画素を設定し、前記設定した擬似参照画素またはフレーム内予測参照画素のいずれかの参照画素を選択する。さらに、前記選択した参照画素を用いて算出した前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するようにした。以上により符号化対象ブロックに対して行う予測符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかの判定を高精度に行うことが可能となり、圧縮率が高い場合でも高品質な圧縮を高効率に行うことができる。

（第１の実施形態）
以下、図面を参照しながら、本発明の好適な実施形態について説明する。
図１は、本実施形態における画像符号化装置の機能構成例を示すブロック図である。なお、本実施形態では、入力画像である非圧縮の動画像データ（デジタル画像データ）に対してＨ．２６４方式に準拠した符号化処理を行う例について説明する。

１００は入力画像であり、１０１は入力画像１００に対してフレーム間予測演算を行い、フレーム間予測誤差を出力するフレーム間予測部である。１０２は次のマクロブロックがフレーム間予測もしくはフレーム内予測のどちらを選択すべきか判定するフレーム間／フレーム内判定部である。

１０３は入力画像１００とは別に擬似的な参照画素値として擬似参照画素設定部１１３で設定される任意の入力信号である。例えば、入力画像からの補間画像やフィルタ処理後の画像、所定の画像等でもよい。１０４は参照画素の状況から出力すべきデータを選択する画素選択部である。１０５は入力画像１００と画素選択部１０４から出力されるデータとの誤差からフレーム内予測した場合の予測誤差を推定する予測誤差推定部である。１０６は予測誤差推定部１０５で推定した予測誤差の結果からフレーム内予測に対する評価値を算出するフレーム内予測評価値算出部である。

１０７はフレーム間／フレーム内判定部１０２の判定結果から出力するデータを選択する出力選択部である。１０８は参照画素を保持する参照画素バッファであり、１０９は入力画像１００に対してフレーム内予測演算を行って予測誤差を出力するフレーム内予測部である。１１０は入力データを整数変換・量子化及び再び逆量子化・逆変換を施して量子化データとローカルデコード画素（局所復号画素）とを出力する変換・量子化／逆変換・逆量子化部である。１１１はエントロピー符号化部であり、１１２は符号化ストリームである。

次に、図１及び図１０を参照しながら本実施形態における画像符号化装置の動作について説明する。まず、入力画像１００は、フレーム間予測部１０１と、予測誤差推定部１０５と、フレーム内予測部１０９とへ入力される。

ステップＳ１１において、フレーム間予測部１０１は、入力画像１００に対して時間的に前後するフレーム内のマクロブロックを予測値として用いて予測誤差の絶対値和（以下、ＳＡＤ値）と予測誤差とを算出する。ここで、時間的に後のフレームを使用するためには、後のフレームの符号化が既に完了していなければならないが、入力画像１００の入力順序を変更することにより、時間的に後のフレームを使用することを容易に実現可能である。

次に、ステップＳ１２において、フレーム内予測部１０９は、Ｈ．２６４においては参照画素としてローカルデコード画素を使用する。そして、画面内における予測を行うブロックで入力画素間の予測誤差を算出する。なお、参照画素として使用するローカルデコード画素は、符号化対象マクロブロックに隣接している既に符号化された画素である。なお、ステップＳ１１及びＳ１２の処理は逆であってもよく、同時に行ってもよい。

次に、ステップＳ１３において、画素選択部１０４は、予測値の算出時に必要な部分の参照画素が入手可能であるか否かを判定する。この判定の結果、予測値の算出処理時に必要な部分の参照画素が入手可能な場合は、ステップＳ１４において参照画素を選択して予測誤差推定部１０５に出力する。一方、ステップＳ１３の判定の結果、入手不能な場合は、ステップＳ１５において任意の入力信号１０３を選択して予測誤差推定部１０５に出力する。選択基準の詳細については後述する。

次に、ステップＳ１６において、予測誤差推定部１０５は、画素選択部１０４から出力されるデータを用いて予測誤差値を演算し、入力画像１００との予測誤差（フレーム内予測誤差推定値）を取得する。なお、予測誤差の算出方法についてはフレーム内予測部１０９で行う予測モード演算と同等である。（Ｈ．２６４準拠では１６×１６画素単位）しかしながら、画素選択部１０４から出力されるデータは参照画素以外の場合もあるので、予測誤差推定部１０５から出力されるデータは、正確な予測誤差ではなく擬似的な予測誤差である。

次に、ステップＳ１７において、フレーム内予測評価値算出部１０６は、予測誤差推定部１０５から出力される擬似的な予測誤差（フレーム内予測誤差推定値）を用いてフレーム内符号化を行う場合のフレーム内予測評価値を算出する。

次に、ステップＳ１８において、フレーム間／フレーム内判定部１０２は、フレーム間予測部１０１から出力されたＳＡＤ値（フレーム間予測評価値）とフレーム内予測評価値算出部１０６から出力されたフレーム内予測評価値とを用いて判定する。そして、予測符号化方式として次のマクロブロックにフレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する。なお、フレーム内予測の評価値及び判定方法を既知の方法でよく、例えば、フレーム内評価値として擬似的な予測誤差のＳＡＤ値を求め、フレーム間予測のＳＡＤ値と比較してより誤差の少ない方を判定するようにしてもよい。出力選択部１０７は、フレーム間／フレーム内判定部１０２の判定に従ってフレーム間予測部１０１もしくはフレーム内予測部１０９のいずれかから出力されるデータを変換・量子化／逆変換・逆量子化部１１０へ出力する。

次に、ステップＳ１９において、変換・量子化／逆変換・逆量子化部１１０は、入力データを変換・量子化した値をエントロピー符号化部１１１へ出力する。そして、エントロピー符号化部１１１は、入力された量子化後のデータにエントロピー符号化を施し、符号化ストリーム１１２として出力する。

次に、ステップＳ２０において、変換・量子化／逆変換・逆量子化部１１０は、変換・量子化したデータを逆量子化・逆変換する事で予測誤差からローカルデコード画素（フレーム間予測参照画素またはフレーム内予測参照画素）を復号生成する。その復号データがフレーム間予測誤差から生成されたものであった場合は、フレーム間予測部１０１へフィードバックする。同様にフレーム内予測誤差から生成されたものであった場合は、フレーム内予測部１０９へフィードバックする。

次に、ステップＳ２１において、フィードバックされたそれぞれのデータを参照画素バッファ１０８へ格納する。これらのデータは、予測時に参照画素として使用するため、保持されている必要がある。

次に、ステップＳ２２において、全てのブロックに対して符号化が終了したか否かを判定する。この判定の結果、全てのブロックに対して符号化が終了した場合は、処理を終了する。一方、ステップＳ２２の判定の結果、符号化が終了していない場合は、ステップＳ１１に戻り、次の符号化対象ブロックに対して同様の処理を行う。

前述したように、フレーム内予測ではローカルデコード画素を使用するので、入力画像１００だけから次のマクロブロックの予測誤差を得る事は出来ない。ローカルデコード画素を用いて予測誤差を算出し、かつ、フレーム間予測／フレーム内予測判定を正確に行うためにはフレーム内予測専用の変換・量子化／逆変換・逆量子化機能が必要となる。

しかしながら、変換・量子化器は一般的に回路規模が大きいので、変換・量子化器を複数個搭載するのは処理コストがかかってしまう。そこで、本実施形態では、入力画素と参照画素とを用いて擬似的に予測誤差を求め、それを元にフレーム間／フレーム内予測の判定を行うことにより、変換・量子化器を複数個搭載することなく精度良く判定することができるようにしている。

次に、図４、図５を参照しながら入手可能な参照画素、それ以外の参照画素について説明する。ここで、図４における４００は符号化対象マクロブロック、４０１ａ〜４０１ｃは符号化対象マクロブロック４００に隣接する既に符号化・局所復号化が完了した参照マクロブロックである。４０２は符号化対象マクロブロック４００に隣接している左側参照画素であり、４０３は符号化対象マクロブロック４００に隣接している上側参照画素である。

図５は、図４における左側参照マクロブロック４０１ａを拡大したものを示す図である。斜線で示されている４０２は左側参照画素であり、５００は符号化・局所復号化済みの入手可能な参照画素であり、５０１はまだ符号化・局所復号化が行われていない部分の画素を示している。

図４における上側参照画素４０３は、一つ上のマクロブロックライン内に存在するので、符号化対象マクロブロック４００に対する処理を施す場合は既に符号化・局所復号化が完了しており、参照画素は入手できる。しかしながら、左側参照画素４０２は参照画素として使用できない可能性がある。例えば、図５に示すように、符号化・局所復号化の実行中であり、同じマクロブロック上の左側参照画素４０２内で符号化・局所復号化が完了している画素と、まだ符号化・局所復号化していない画素とが混在する状態も起こりうる。

このような場合、符号化対象マクロブロック４００に対して画素選択部１０４は、できるだけ正確な擬似予測誤差を算出するために、予測誤差推定部１０５へ出力するデータを適応的に切り換える。すなわち、参照画素として入手可能なデータについてはそのまま予測誤差推定部１０５へ参照画素５００を出力し、それ以降のデータについてはまだ符号化・局所復号化が完了していない部分の画素５０１の代わりに任意の入力信号１０３を出力する。任意の入力信号１０３は、所定の明るさ、所定の色、所定の絵柄、グラデーション画像でもよくさらにそれらの組合わせでもよい。

以上のように動作することで、局所復号化後の参照画素ではない画素を使用するのは最低限ですむ。また、予測誤差推定部１０５で使用する上側参照画素４０３は、フレーム内予測部１０９で実際に用いる参照画素と同じであるので、入力画素のみを使用する場合と比較して精度良く予測誤差を生成できる。

（第２の実施形態）
図２を参照しながら、本発明の第２の実施形態について説明する。
図２は、本実施形態における画像符号化装置の機能構成例を示すブロック図である。図２に示す１００〜１１２までは、前述した第１の実施形態において説明した図１の構成内容と同等である。図２において、２００は入力画像１００を１マクロブロック分蓄積して画素選択部１０４へ１マクロブロック分遅延して出力する入力画素バッファである。

本実施形態において、画素選択部１０４は、参照画素が入手可能な場合は参照画素バッファ１０８に格納されている参照画素を出力し、参照画素が入手不能な場合は入力画素バッファ２００に格納されているデータを選択する。

入力画素バッファ２００は、予測誤差推定部１０５に入力されているマクロブロックの１つ前のデータを画素選択部１０４へ供給している。画素選択部１０４は参照画素が入手不能と判断したとき、遅延入力画素を入力画素バッファ２００から予測誤差推定部１０５へ出力するように動作する。つまり、ローカルデコード画素の代わりに入力画素そのものを参照画素として出力する。遅延入力画素は参照画素と同じ位置に対応する遅延入力画素でもよいし、他でもよい。

以上のように、参照画素が入手できない部分は入力画素そのものを参照画素の代わりにし、比較的平坦で水平相関の強い画像の場合は良好な圧縮結果が得られる。

（第３の実施形態）
図８を参照しながら、本発明の第３の実施形態について説明する。
図８は、本実施形態において、左側参照マクロブロック４０１ａを拡大したものを示す図である。なお、本実施形態における画像符号化装置は、第１の実施形態と同様であるため、説明を省略する。

図８に示す４０１ａ、５００は図４、図５に示した番号と同等である。黒で示した画素８００は最新の符号化・局所復号化済み参照画素であり、破線８０１で囲まれている黒で示した画素は符号化・局所復号化前の画素である。本実施形態では第２の実施形態と異なり、参照画素を入手できない場合は、擬似参照画素設定部１１３は最新の局所復号化参照画素を擬似参照画素として設定することを特徴としている。つまり、最新（最後）の符号化・局所復号化済み画素８００の値がそのまま画素選択部１０４により擬似参照画素として選択される。

以上のように、本実施形態では符号化による歪みの程度が比較的近い値を擬似予測誤差の算出に使用することになる。したがって、比較的高圧縮率（入力画素とローカルデコード画素との差異が大きい場合）であっても歪みの大きさを考慮に入れた演算を行うことができる。

（第４の実施形態）
図９を参照しながら、本発明の第４の実施形態について説明する。
図９は、本実施形態において、左側参照マクロブロック４０１ａを拡大したものを示す図である。なお、本実施形態における画像符号化装置は、第１の実施形態と同様であるため、説明を省略する。

図９に示す４０１ａ、５００は、図４、図５に示した番号と同等である。９００の黒で示した画素群９００はそれ以前に符号化・局所復号化された参照画素の平均値で置き換えられた画素である。本実施形態では、画素選択部１０４内に平均値を算出する機構を設け、参照画素が入手できない場合は、擬似参照画素設定部１１３は左側参照マクロブロック４０１ａにおける参照画素５００の平均値を擬似参照画素として設定する。入力画素を用いる場合よりも処理コストはかかるが、符号化歪みを考慮に入れた擬似予測誤差の演算が可能となる。

（第５の実施形態）
図３及び図７を参照しながら、本発明の第５の実施形態について説明する。
図３は、本実施形態における画像符号化装置の機能構成例を示すブロック図である。図３に示す１００〜１１２は第１の実施形態において説明した図１の構成内容と同等である。３００は参照画素として用いる直前の左側のマクロブロックよりもさらに１つ左側の符号化・局所復号化された参照画素である。

図７は、本実施形態において、マクロブロック及び参照画素を示す図である。４００、４０１ａ〜４０１ｃ、４０２、及び４０３は図４に示した番号と同等である。７００は左側参照マクロブロック４０１ａよりもさらに一つ前の段階で符号化されたマクロブロックであり、７０１は参照マクロブロック７００の右端の参照画素である。

本実施形態では参照画素が入手できない場合、参照マクロブロック７００内の入手できない参照画素と同じ縦軸上にある符号化・局所復号化済み画素を擬似参照画素として設定する。すなわち、画素選択部１０４は、参照マクロブロック７００内の入手できない参照画素と同じ縦軸上にある符号化・局所復号化済み画素を参照画素の代わりに選択する。比較的変化が少ない平坦で水平相関の強い画像の場合に良好な圧縮結果が得られる。

（第６の実施形態）
図６を参照しながら本発明の第６の実施形態について説明する、
図６は、本実施形態における画像符号化装置の機能構成例を示すブロック図である。図６に示す１００〜１１２は第２の実施形態において説明した図２の構成内容と同等である。６００は入力画素バッファ２００にフィルタリング処理を施すフィルタである。

入力画素と参照画素との大きな違いは符号化歪みであり、参照画素の代わりとして入力画素を使う場合、圧縮率によっては誤差が生じてしまう。しかしながら、入力画素を遅延させて使用するメリットは、処理内容を簡略化させることができることである。そこで、本実施形態では、擬似参照画素設定部１１３は参照画素の代わりとして入力画素を擬似参照画素として設定し、かつ、歪みも考慮に入れる。

具体的には、入力画素バッファ２００の後段にフィルタ６００を設置する。符号化時において高周波成分が削除されるが、それと同等の効果を施すフィルタ６００を設置することにより精度を上げることが可能である。

さらに、圧縮率に応じてフィルタ６００の特性（強度）を変更することができる。例えば、圧縮率が高い場合はローカルデコード画素の高周波成分はより減少する傾向であるため、フィルタ６００のカットオフ周波数を低くしたり、減衰率を大きくしたりする。逆に、圧縮率が低い場合はフィルタ６００の影響を弱く（あるいはフィルタスルー）することにより適応的な制御が可能となる。なお、本実施形態ではフィルタそのものの機能に限定するものではなく、フィルタの種類は何でもよい。

以上に説明したように、第１〜第６の実施形態における画像符号化装置においては、フレーム間／フレーム内判定に使用するフレーム内の擬似予測誤差演算に対して局所復号化参照画素を使用できる場合は局所復号化参照画素を使用するようにする。このように構成することにより、従来の方式よりも精度良くフレーム間／フレーム内予測符号化の判定を行うことができる。

また、前述した第１〜第６の実施形態の全てに対して、予測符号化の圧縮率に応じてフレーム間／フレーム内の判定基準を適応的に変化させることができるようにしてもよい。これにより、符号化の状態に応じたより細かい制御を行うことが可能となる。さらに、画素選択部１０４へ入力される参照画素バッファ１０８に格納されていた参照画素とそれ以外の擬似参照画素との構成比率に応じて、予測誤差推定部１０５やフレーム内予測評価値算出部１０６で行う算出の重み付けを変更するようにしてもよい。また、参照画素バッファ１０８に格納されていた参照画素とそれ以外の擬似参照画素との構成比率に応じてフレーム間／フレーム内判定基準を変更して重み付けを変更してもよい。

また、前述した第１〜第６の実施形態で示した予測誤差推定部１０５に、フレーム内符号化ツールであるＨ．２６４勧告における１６×１６画素単位の４種類のフレーム内予測モードに準拠した処理を施すことにより、さらなる精度向上が期待できる。

（本発明に係る他の実施形態）
また、前述した実施形態において、図１に示した画素選択部１０４、予測誤差推定部１０５、フレーム内予測評価値算出部１０６及びフレーム間／フレーム内判定部１０２における各処理はハードウェアに限定するものではない。各処理部の機能を実現する為のプログラムをメモリから読み出してＣＰＵ（中央演算装置）が実行することによりその機能を実現させてもよい。

また、さらに前述した構成に限定されるものではない。図１に示した画素選択部１０４、予測誤差推定部１０５、フレーム内予測評価値算出部１０６及びフレーム間／フレーム内判定部１０２における各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、前述したＣＰＵがプログラムを読み出すメモリは、ＨＤＤ、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体でもよい。さらにＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことを指す。さらに、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。その他、一定時間プログラムを保持しているものも含むものとする。

また、前記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、前記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、前記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。前記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計であれば本願発明に含まれる。

本発明の第１の実施形態における画像符号化装置の機能構成例を示すブロック図である。 本発明の第２の実施形態における画像符号化装置の機能構成例を示すブロック図である。 本発明の第５の実施形態における画像符号化装置の機能構成例を示すブロック図である。 本発明の第１の実施形態において、入力画像における隣接する参照マクロブロック及び参照画素の位置関係を示す図である。 図４における左側参照マクロブロックを拡大したものを示す図である。 本発明の第６の実施形態における画像符号化装置の機能構成例を示すブロック図である。 本発明の第５の実施形態において、入力画像における隣接する参照マクロブロック、参照画素、及び一つ前のマクロブロック、参照画素の位置関係を示す図である。 本発明の第３の実施形態において、入力画像に対する参照画素及び参照画素以外の画素の位置関係を示す図である。 本発明の第４の実施形態において、入力画像に対する参照画素及び参照画素以外の画素の位置関係を示す図である。 本発明の第１の実施形態における画像符号化装置による処理手順の一例を示すフローチャートである。

符号の説明

１００ 入力画像
１０１ フレーム間予測部
１０２ フレーム間／フレーム内判定部
１０３ 任意の入力信号
１０４ 画素選択部
１０５ 予測誤差推定部
１０６ フレーム内予測評価値算出部
１０７ 出力選択部
１０８ 参照画素バッファ
１０９ フレーム内予測部
１１０ 変換・量子化／逆変換・逆量子化部
１１１ エントロピー符号化部
１１２ 符号化ストリーム
１１３ 擬似参照画素設定部

Claims (15)

1. 入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測手段と、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測手段とを有する画像符号化装置であって、
   前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定手段と、
   前記フレーム内予測手段によって復号生成されたフレーム内予測参照画素、または前記擬似参照画素設定手段によって設定された擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択手段と、
   前記画素選択手段によって選択された参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出手段と、
   前記フレーム間予測手段によって生成されたフレーム間予測評価値と、前記フレーム内予測評価値算出手段によって算出されたフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定手段とを有することを特徴とする画像符号化装置。
2. 前記擬似参照画素設定手段は、前記入力画像を出力することを特徴とする請求項１に記載の画像符号化装置。
3. 前記擬似参照画素設定手段は、１マクロブロック分遅延した入力画像のマクロブロック上に対応した位置の遅延入力画素を擬似参照画素として設定することを特徴とする請求項１に記載の画像符号化装置。
4. 前記擬似参照画素設定手段は、以前に符号化されたマクロブロック上の参照画素と同じ位置の画素を擬似参照画素として設定することを特徴とする請求項１または２に記載の画像符号化装置。
5. 前記擬似参照画素設定手段は、復号生成された参照画素のうち、最も近い参照画素を擬似参照画素として設定することを特徴とする請求項１に記載の画像符号化装置。
6. 前記擬似参照画素設定手段は、前記復号生成されたフレーム間予測参照画素またはフレーム内予測参照画素の平均値を擬似参照画素として設定することを特徴とする請求項１に記載の画像符号化装置。
7. 前記判定手段は、前記入力画像の圧縮率に応じて判定基準を変更することを特徴とする請求項１に記載の画像符号化装置。
8. 前記入力画像の高周波成分を減少させるフィルタ処理手段を有し、
   前記擬似参照画素設定手段は、前記フィルタ処理手段によって高周波成分を減少させた１マクロブロック分遅延した入力画像のマクロブロック上に対応した位置の遅延入力画素を擬似参照画素として設定することを特徴とする請求項１に記載の画像符号化装置。
9. 前記フィルタ処理手段は、前記入力画像の圧縮率に応じてフィルタリングの強度を変更することを特徴とする請求項８に記載の画像符号化装置。
10. 前記画素選択手段により選択された参照画素に対してそれぞれ異なる重み付けを行って前記フレーム内予測誤差推定値を算出するフレーム内予測誤差推定手段を有することを特徴とする請求項１〜９の何れか１項に記載の画像符号化装置。
11. 前記フレーム内予測評価値算出手段は、前記画素選択手段により選択された参照画素の構成比率に応じて前記フレーム内予測評価値の重み付けを変えることを特徴とする請求項１〜１０の何れか１項に記載の画像符号化装置。
12. 前記判定手段は、前記画素選択手段により選択された参照画素の構成比率に応じて判定の重み付けを変えることを特徴とする請求項１〜１１の何れか１項に記載の画像符号化装置。
13. 入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測ステップと、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測ステップとを有する画像符号化方法であって、
    前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定ステップと、
    前記フレーム内予測ステップにおいて復号生成したフレーム内予測参照画素、または前記擬似参照画素設定ステップにおいて設定した擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択ステップと、
    前記画素選択ステップにおいて選択した参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出ステップと、
    前記フレーム間予測ステップにおいて生成したフレーム間予測評価値と、前記フレーム内予測評価値算出ステップにおいて算出したフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定ステップとを有することを特徴とする画像符号化方法。
14. 入力画像に対して任意のブロック単位でフレーム間予測を行いフレーム間予測誤差とフレーム間予測評価値とを生成するとともに、前記フレーム間予測誤差からフレーム間予測参照画素を復号生成するフレーム間予測ステップと、前記入力画像を任意のブロック単位でフレーム内予測を行いフレーム内予測誤差を生成するとともに、前記フレーム内予測誤差からフレーム内予測参照画素を復号生成するフレーム内予測ステップとをコンピュータに実行させるプログラムであって、
    前記入力画像に対する擬似的な擬似参照画素を設定する擬似参照画素設定ステップと、
    前記フレーム内予測ステップにおいて復号生成したフレーム内予測参照画素、または前記擬似参照画素設定ステップにおいて設定した擬似参照画素のうち、いずれか１つの参照画素を選択する画素選択ステップと、
    前記画素選択ステップにおいて選択した参照画素と前記入力画像との予測誤差を用いてフレーム内予測評価値を算出するフレーム内予測評価値算出ステップと、
    前記フレーム間予測ステップにおいて生成したフレーム間予測評価値と、前記フレーム内予測評価値算出ステップにおいて算出したフレーム内予測評価値とから、符号化対象ブロックに対して行う符号化方式として、フレーム間予測方式を用いるかフレーム内予測方式を用いるかを判定する判定ステップとをコンピュータに実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images