JP2006174280A - 画像処理装置、画像処理方法及びそのプログラム - Google Patents

Abstract

【課題】 受信画像の一部欠落に対して、再送処理を行うことなく、画質劣化の仕方に応じた適切な補間処理を行うことが可能な画像処理装置、画像処理方法及びそのプログラムを提供する。
【解決手段】 画像伸張処理部１４は、通信処理部１３が受信した動画像ストリームデータに対してデコード処理を行い、動画像データを出力する。画像欠陥検出部１５は、画像伸張処理部１４が出力する動画像データから欠陥部分を検出する。補間順位決定部１８は、動画像データの１つのフレーム内に欠陥部分が複数存在していた場合に、欠陥部分に対して補間処理の優先順位を決定する。補間処理部１Ａは、補間順位決定部１８が決定した優先順位に応じて欠陥部分に対して補間処理を行う。
【選択図】 図２

Description

本発明は、ネットワーク等の通信媒体を介して配信される動画像データを受信し、再生処理可能な画像処理装置、画像処理方法及びそのプログラムに関するものである。

近年のパーソナルコンピュータの普及と高性能化やネットワーク（通信媒体）の高速化に伴い、コンピュータ間でのデータの授受の多様性が広がっている。例えば、動画像データの送受信をコンピュータネットワーク上で行うことが常態化してきている。

また、これに伴って、動画像ストリーム（動画像データ）をリアルタイムに配信するサーバも実用化されている。

しかしながら、通信路が混雑していたり何か別の理由により通信状態が悪化していたりする場合には、本来届くべき画像データの全てを受信できないことがある。このような受信状態で、リアルタイムな画像を受信すると、再生したときの画像の画質が大きく劣化する。

この再生画像の画質劣化を改善するために、画質劣化した部分に対して前のフレームを用いて補間処理を行う技術（例えば、特許文献１を参照。）や、通信パケットを補間が容易なパケット群と補間が難しいパケット群に分類し、補間が容易なパケット群による画像の画質劣化に対しては補間を行い、補間が難しいパケット群による画像の画質劣化に対しては再送を行うよう、補間と再送を切替える技術（例えば、特許文献２を参照。）が開示されている。

特開昭６２−６１４８５号公報 特開平３−２２７３５号公報

しかしながら、テレビ電話や監視カメラのような装置においては、高いリアルタイム性が要求され、画像のバファリングはできる限り少ない方がよく、特許文献２のように、画質劣化を防ぐために再送処理を行うことはバファリングを長く行うことにつながり、適切ではないという問題がある。受信側の表示装置が複数で、かつ、能力がそれぞれ異なる場合がある。従って、表示装置の能力に応じて最適かつ最善の表示が行えるように補間の必要がある。

本発明は、上述した事情を考慮してなされたもので、受信画像の一部欠落に対して、再送処理を行うことなく、画質劣化の仕方に応じた適切な補間処理を行うことが可能な画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。

この発明は、上述した課題を解決すべくなされたもので、本発明による画像処理装置においては、ネットワークを通じて動画像データを受信することができる画像処理装置であって、受信した動画像データから欠陥部分を検出する欠陥検出手段と、動画像データの１つのフレーム内に欠陥部分が複数存在していた場合に、欠陥部分に対して優先順位を決定する決定手段と、決定手段が決定した優先順位に応じて欠陥部分に対して補間処理を行う補間処理手段とを具備することを特徴とする。

これにより、受信した動画像データの一部欠落に対して、再送要求を行うことなく、欠陥部分を検出して、決定手段が決定した優先順位に応じて検出した欠陥部分に対して補間処理を行うことができる。すなわち、例えば大きな欠陥や目立つ位置にある欠陥の優先順位を高くすることで、それらの欠陥を優先的に補間処理することができ、画質劣化の仕方に応じた適切な補間処理を行うことが可能となる。

また、本発明による画像処理装置の一態様例においては、１フレームの画像を複数の画像領域に分割し、複数の欠陥部分に対して、欠陥部分を含む画像領域の位置情報に応じて重要度を決定する重要度決定手段を更に具備し、上記決定手段は、重要度決定手段が決定した重要度に応じて優先順位を決定することを特徴とする。

これにより、欠陥部分の位置に応じて決定された重要度を用いて補間処理の優先順位を決定できるので、例えば目立つ位置にある欠陥を優先的に補間処理することができる。

また、本発明による画像処理装置の一態様例においては、欠陥部分に対して、欠陥部分となる領域の広さに応じて欠陥部分に対する補間処理の難易度を決定する難易度決定手段を更に具備し、上記決定手段は、難易度決定手段が決定した難易度に応じて優先順位を決定することを特徴とする。

これにより、欠陥部分となる領域の広さ（＝欠陥部分の大きさ）に応じて決定された難易度を用いて補間処理の優先順位を決定できるので、目立つであろう大きな欠陥を優先的に補間処理することができる。

また、本発明による画像処理装置の一態様例においては、上記補間処理に対する制限時間を設定し、制限時間内であるか否かを判断する時間管理手段と、時間管理手段が制限時間内ではないと判断した場合に、補間処理手段に対して補間処理の中止を指示する中止指示手段とを更に具備し、上記補間処理手段は、中止指示手段の指示に応じて補間処理を中止することを特徴とする。

これにより、例えば受信した動画像データをリアルタイム再生している場合などには、１フレーム分の欠陥に対して補間処理に費やすことができる時間に制限があるので、その制限内となる制限時間を設定することで、リアルタイム再生に間に合うように、補間処理を中止することができる。また、このように補間処理を中止する場合であっても、上述したように優先順位に応じて補間処理をしているので、目立つ欠陥に対しては制限時間内で補間処理を終える可能性を高めることができる。

また、本発明による画像処理方法においては、ネットワークを通じて動画像データを受信することができる画像処理装置を用いた画像処理方法であって、受信した動画像データから欠陥部分を検出する欠陥検出ステップと、動画像データの１つのフレーム内に欠陥検出ステップで検出した欠陥部分が複数存在していた場合に、欠陥部分に対して優先順位を決定する決定ステップと、決定ステップで決定した優先順位に応じて欠陥部分に対して補間処理を行う補間処理ステップとを有することを特徴とする。

また、本発明によるプログラムは、ネットワークを通じて動画像データを受信することができる画像処理装置用のプログラムであって、受信した動画像データから欠陥部分を検出する欠陥検出ステップと、動画像データの１つのフレーム内に欠陥検出ステップで検出した欠陥部分が複数存在していた場合に、欠陥部分に対して優先順位を決定する決定ステップと、決定ステップで決定した優先順位に応じて欠陥部分に対して補間処理を行う補間処理ステップとをコンピュータに実行させるためのプログラムである。

本発明による画像処理装置、画像処理方法及びそのプログラムは、受信画像の欠落に対して、再送処理を行うことなくリアルタイム性を維持し、画質劣化の仕方に応じた適切な補間処理を行うことができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。
（第１の実施形態）
まず、本発明の第１の実施形態における情報処理装置（画像処理装置）として、ネットワークを介して配信される動画像ストリームを受信し再生する機能を有する画像処理装置を一例として説明する。

本実施形態の情報処理装置は、動画像ストリームの受信時に起きた画像データ欠陥の修復（補間）を行う方法として複数種類の修復方法を適時利用して修復を行う。ここで、複数種類の修復方法とは、例えば、フレーム内補間とフレーム間補間による修復方法がある。更に、フレーム内補間による修復方法には、上下左右のマクロブロックから比較的簡単に補間処理する修復方法と、より複雑な補間処理を行う修復方法がある。

このように複雑な修復方法を実現する機能を情報処理装置に実装する場合、ハードウェアで実装するよりもソフトウェアで実装する方が、スケーラビリティが高いため、本実施形態においてはソフトウェアで上記機能を実装することを前提として説明する。

図１は、本発明の第１の実施形態における情報処理装置（画像処理装置）のハードウェア構成例を示す図である。

図１に示すように、本実施形態の情報処理装置１０は、情報処理装置１０全体の動作の制御や演算を行うためのＣＰＵ（中央処理装置）１０１、ＣＰＵ１０１の演算のワーク領域やバッファとして用いるためのＲＡＭ（ランダムアクセスメモリ）１０２、プログラムを格納した読込専用メモリであるＲＯＭ１０３、ネットワークを介して外部との通信を行うための通信部１０４、通信部１０４の通信により受信した動画像ストリームが圧縮データであった場合にデータを伸長するためのデコーダ１０５、画像欠陥の補間処理を高速に行うための処理を一部ハードウェア化したアクセラレータ１０６、及び、それら各部を接続するためのバス１０７により構成される。デコーダ１０５やアクセラレータ１０６の機能は、ソフトウェアで実装しても良いが、本実施形態の情報処理装置１０では、処理の高速化のため、ハードウェアで構成されるものとする。また、デコーダ１０５は、動画像ストリームを順に入力するとストリームを解釈して区切りの良いところで伸長した画像データを出力する。

通信部１０４が通信により受信した動画像ストリームのデータ（以下、ストリームデータとする）に対して、通信の低位層の処理は通信部１０４により処理される。具体的には、通信部１０４は、内部のバッファに蓄積されたストリームデータを図示していないがＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によりＲＡＭ１０２に転送する。また、通信の上位層の処理はＣＰＵ１０１により、ソフトウェア処理される。

次に、本実施形態の情報処理装置のＣＰＵ１０１が種々のプログラムを実行すること、及び図１に示したハードウェアとの協同することにより実現する機能について説明する。図２は、本実施形態の情報処理装置１０を含むシステム例及び、情報処理装置１０の機能構成を示すブロック図である。図２に示すように、情報処理装置１０は、ネットワーク２０に接続可能なコンピュータ端末であり、図１に示したハードウェア構成を有する。ネットワーク２０は、インターネット等の通信網であり、本実施形態においては、無線ＬＡＮを含む通信網であるとする。動画像ストリーム配信サーバ３０は、ネットワーク２０を介して動画像ストリームを配信するサーバである。ここでは、本実施形態における情報処理装置１０の特徴を説明するため、動画像ストリーム配信サーバ３０と情報処理装置１０との通信経路となるネットワーク２０において、無線ＬＡＮを介している部分があり、通信パケットの欠落などが起きやすい状況であるとする。

次に、情報処理装置１０内の機能構成について説明する。制御部１１は、情報処理装置１０内の各部の制御やデータの流れの制御を行う。フレームデータ格納部１２は、処理対象となる画像データをフレーム単位で格納する格納メモリである。尚、制御部１１やフレームデータ格納部１２は、図１のＣＰＵ１０１、及びＲＡＭ１０２等により実現される。

通信処理部１３は、ネットワーク２０を介して外部との通信を行う。例えば、通信処理部１３は、ネットワーク２０を介して動画像ストリーム配信サーバ３０からストリームデータの受信して受信処理を行う。また、通信処理部１３は、通信エラーの有無を判断する機能を有する。尚、通信処理部１３の機能は、図１の通信部１０４、ＣＰＵ１０１、及びＲＡＭ１０２等により実現される。

画像伸張処理部１４は、通信処理部１３が受信処理したストリームデータを伸張処理して画像データを出力する。尚、画像伸張処理部１４の機能は、図１のデコーダ１０５ＣＰＵ１０１、及びＲＡＭ１０２等により実現される。

画像欠陥検出部１５は、画像伸張処理部１４が出力した画像データにおける欠陥の位置及び数を検出する。尚、詳細は後述するが、ここで画像データにおける欠陥とは、例えば上記通信処理部１３における受信処理が何らかの理由でできなかった（画像データを得られなかった）ことによる欠陥や、画像伸張処理部１４において伸張処理（デコード処理）できなかったことによる欠陥などが考えられる。

補間方法決定部１６は、画像欠陥検出部１５が検出した各欠陥を修復するための適切な補間方法を決定する。具体的には、補間方法決定部１６は、欠陥のあるフレームとその前後のフレームの内容に相関があるか否かや、欠陥のあるフレーム内における画像情報（配色、輝度、エッジ、被写体などの情報）を基に、適切な補間方法を決定する。

重要度算出部１７は、画像欠陥検出部１５が検出した各欠陥について重要度を算出する。具体的には、重要度算出部１７は、画像欠陥検出部１５が検出した各欠陥の位置が画像の中心からどれくらいの距離にあるかに応じて、各欠陥の重要度を算出する。

補間順位決定部１８は、重要度算出部１７が出力した重要度と修復難易度とを基に、各欠陥の補間順位を決定する。ここで、修復難易度とは、欠陥の修復（補間）処理の難易度を示すものである。欠陥領域が大きい程、目立つため、精度の高い補間処理が必要になることから、補間順位決定部１８は、欠陥領域の大きさを示す欠陥領域係数を基に、修復難易度を算出する。

タイマ処理部１９は、補間処理を行うためのタイムアウト時間を決定し、タイマを起動する。ここで、タイムアウト時間とは、ストリームデータを淀みなく再生処理するためには、各フレームを何ｍＳｅｃ（ミリ秒）以内に処理しなければならないかという判断を、ストリームのフレームレートを基に行うことで、設定される時間である。

補間処理部１Ａは、補間順位決定部１８が決定した順位に応じた順に、補間方法決定部１６が決定した補間方法で、各欠陥に対して補間処理を行い、補間処理後の画像データを出力する。また、補間処理部１Ａは、後述する中断処理部１Ｂの中断指示に応じて補間処理を中断する機能を有する。

中断処理部１Ｂは、タイマ処理部１９からタイムアウトした旨の情報を受信すると、補間処理部１Ａに対して補間処理を中断するよう指示する中断指示を出力する。表示処理部１Ｃは、補間処理部１Ａにより補間処理後の画像データを、図２には示していない表示装置に表示させるための処理を行う。尚、図１及び図２に示していないが、情報処理装置１０は、マウスやキーボード等の入力装置と、ＣＲＴや液晶ディスプレイ等の表示装置を備える。

次に、本実施形態の情報処理装置１０における動画像ストリームの受信処理の流れについて説明する。図３−１は、本実施形態の情報処理装置１０における動画像ストリームの受信処理を示すフローチャートである。

通信部１０４において通信の下位層の処理を成されたデータはまずステップｓ２００において、通信処理部１３は、ＩＰパケットやＴＣＰパケットの処理のような通信の上位層の処理を行う。次にステップｓ２０１において、通信処理部１３は、ＣＲＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ）などで通信エラーがあったかどうかを判定し、通信エラーがなければステップｓ２０２に移行する。ステップｓ２０２において、が像伸張処理部１４は、パケット単位で画像伸長を行い、結果をフレームデータ格納部１２のＲＡＭ１０２に保存する。

また、ステップｓ２０１において、通信処理部１３が、通信エラーを検出した場合には、そのパケットを破棄し、（ステップｓ２０２の画像伸長は行わず）ステップｓ２００に戻り、次の通信による入力を待つ。

画像伸張処理部１４における画像伸長の処理は一般的に負荷が高いため、リアルタイムな動画の再生を行うためにはハードウェアのデコーダ１０５を用いるのが良い。動画の１フレーム分のデータは一般的に通信の１パケットにおさまることは少ないため、１フレームを構成するデータが全て到着する迄、パケット単位のステップｓ２００からステップｓ２０２の処理を繰り返す必要がある。そのため、ステップｓ２０３において通信処理部１３は、１フレーム分のデータを受信したか否かの判断を行う。

ここで、１フレーム分のデータを受信したと判断した場合（ステップｓ２０３のＹｅｓ）には、ステップｓ２０４に進み、通信処理部１３は、受信中の動画像ストリームの最終フレームを受信したか否かを判断し、最終フレームを受信したと判断した場合は受信処理を終了し、最終フレームを受信していないと判断した場合はステップｓ２００に戻る。また、情報処理装置１０は、図３−１に示す動画像ストリームの受信処理中に、ステップｓ２０３において１フレーム分のデータを受信し終えた画像データに対して、並行して欠陥の検出や補間の処理を行う。

図３−２は、本実施形態の情報処理装置１０において受信した動画像ストリームにおける欠陥の検出及び補間の処理を示すフローチャートである。
まず、ステップｓ２０５において、画像欠陥検出部１５は、フレームデータ格納部１２から読み出した画像データにおける欠陥と位置を検出する。本実施形態においては、画像データの欠陥の原因として例えば以下の２点を考慮する。
（１）通信エラー（通信パケットが到着しない場合も含む）
（２）デコードエラー（画像伸張処理部１４での処理エラー）
特に（１）の通信エラーにおいて、通信パケット到着時にそのパケットが画像のどの位置のデータを含むか明確であれば、画像欠陥の位置の検出が容易となる。

例えば、通信のトランスポート層にＲＴＰ（Ｒｅａｌｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用い、画像の圧縮フォーマットがモーションＪＰＥＧである場合の、画像欠陥の処理について考える。画像フォーマットがモーションＪＰＥＧである場合のパケットは図４−１に示すような構成である。図４−１は、ストリームデータの画像フォーマットがモーションＪＰＥＧである場合のパケット構成例を示す図である。図４−１に示すように、先頭からＲＴＰヘッダ部３０１、ＪＰＥＧヘッダ部３０２、リスタートマーカ部３０３、Ｑテーブル部３０４、ＪＰＥＧのデータ３０５の順に格納される。

通信の１パケットに収まる程度の頻度で、ＪＰＥＧデータの区切りをあらわすリスタートマーカを挿入しておくと、通信パケットのＲＴＰヘッダを除いたペイロードの先頭はリスタートマーカ部３０３となる。このリスタートマーカ部３０３後のマクロブロックがフレーム内の何番目のマクロブロックであるかがＲＴＰヘッダ部３０１に記述されているため、現在対象としているパケットのマクロブロックの先頭が画像のどの位置に相当するかが分かる。すなわち、画像欠陥検出部１５は、ＪＰＥＧのデータ３０５が欠落している場合には、ＲＴＰヘッダ部３０１を参照して画像フレーム内の欠陥位置を特定する。

図４−２は、図４−１に示したリスタートマーカ部３０３のデータ構成例を示す図である。図４−２に示すように、リスタートマーカ部３０３には、リスタートマーカが何マクロブロック単位に挿入されているかを示すリスタートインターバル４０１と、何番目のリスタートマーカであるかを示すリスタートカウント４０２が格納されている。すなわち、このリスタートマーカ部３０３の情報を用いて、このパケットの先頭のマクロブロックが何番目であるかを（リスタートインターバル４０１）×（リスタートカウント４０２）により算出することができる。

本実施形態では、ステップｓ２０１において通信処理部１３が通信の欠陥（例えば通信データの欠落など）があったかどうかを判定しているが、この通信の欠陥を検出した場合に、ＲＴＰヘッダ部３０１を参照できれば、この情報を利用して、画像欠陥検出部１５は、破棄されたパケットの画像に対するマクロブロックの位置を算出する。

複数のパケットについて同様に処理していくことで、画像欠陥検出部１５は、ある動画フレームにおいて処理されていないマクロブロックの座標を特定し、通信エラーにより生じた画像の欠陥を検出する。例えば図５に示す欠陥部分５０１〜５０６が、通信エラーにより生じた画像５００の欠陥である。図５は、画像５００の欠陥例を示す図である。

次にステップｓ２０６において、補間方法決定部１６は、それぞれの画像５００の欠陥（図５の欠陥部分５０１〜５０６）を修復するための補間方法を決定する。補間方法決定部６１が決定する補間方法は、例えば現在の画像フレームと前後の画像フレームの関係がシーンチェンジであれば、フレーム間補間ではなくフレーム内補間を行うという決定を行う。また、補間方法決定部１６は、同じフレーム内補間においても、欠陥の状況により、複数用意されたフレーム内補間の方法から１つを選択する。また、補間方法決定部１６は、現在の画像フレームと前後の画像フレームの関係がシーンチェンジでなければフレーム間の補間を使うと決定してもよく、補間方法の選択肢が広がる。補間方法決定部１６は、フレーム間の補間を行うか否かは、例えば画像フレーム間の類似度などを求めることで判断する。

次にステップ２０７において、重要度算出部１７は、欠陥部分５０１〜５０６のそれぞれについて重要度を算出する。本実施形態の重要度算出部１７においては、例えば、重要度を示すパラメータを画像中心からの距離に応じて割り当て、このパラメータを用いて各欠陥部分の重要度を算出する。

図６は、画像の中心からの距離に応じた重要度のパラメータ例を示す図である。図６に示すように、画像を縦横それぞれ５等分の領域に分割し、各領域に中心からの距離に応じてパラメータ（以下、領域係数とする）を割り当てる。図７は、図５で示した欠陥部分５０１〜５０６と図６で割り当てた領域分割を重ね合わせた図である。各欠陥部分５０１〜５０６において、それぞれの欠陥の存在する領域のうち、領域係数の最も大きな値となるものをその欠陥の領域係数とする。例えば、欠陥部分５０３は、領域係数８、６、２となる領域にまたがって存在するが、このうち最大の領域係数は８であるため、重要度算出部１７は、欠陥部分５０３の領域係数を８と算出する。本実施形態では、重要度算出部１７が算出した領域係数＝重要度とする。

次にステップｓ２０８において、補間順位決定部１８は、欠陥部分５０１〜５０６における欠陥領域の広さを基に修復難易度を算出する。すなわち、本実施形態においては、各欠陥部分の欠陥領域の広さに応じて、各欠陥部分を補間処理により修復する難易度を示す修復難易度が高くなる。例えば、欠陥部分を含む画像フレームがシーンチェンジ直後であれば、補間方法としてはフレーム内補間を行うことになる。この場合、フレーム内補間であれば特に細長い領域に対する修復難易度は高くないが、例えば図５の欠陥部分５０５、５０６に示すような欠陥領域の重なりにより短辺が長くなる程、修復難易度が高くなる。これは、欠陥領域が大きい程、補間処理が難しく、一方で、視覚に与える影響は大きいため精度の高い補間処理が求められ、複雑な処理が必要となるためである。図５及び７に示した例では、欠陥部分５０５、５０６が重なり合っており、この欠陥領域には複雑な補間処理が必要となる。このように、欠陥が縦方向に隣接している重なり数ｎに対して、領域係数をｍとすると以下の式により、修復難易度を求める。
修復難易度＝（ｎ−１）×ｍ

例えば、図５の欠陥部分５０５、５０６であれば、補間順位決定部１８は、重なり数ｎ＝２であり、領域係数はｍ＝５であるので、上記式より修復難易度５を算出する。この修復難易度は、重なっている全ての欠陥に対して割り当てる。すなわち、補間順位決定部１８は、欠陥部分５０５、５０６はともに修復難易度＝５とする。

次にステップｓ２０９において、補間順位決定部１８は、重要度算出部１７が算出した重要度と、自身で算出した修復難易度から各欠陥の補間順位を決定する。本実施形態においては、重要度と修復難易度を足し合わせた数値を大きい順に並べた際の各欠陥の順位を補間順位とする。

例えば、補間順位決定部１８は、図５及び図７に示した各欠陥部分５０１〜５０６に対して、重要度と修復難易度の合計から以下の表に示すような補間順位を求める。

表に示すように、欠陥部分５０５、５０６の補間順位は１、２位であり、欠陥部分５０４、５０３、５０２、５０１の順に補間順位は３〜６位となっている。

次にステップｓ２１０において、タイマ処理部１９は、補間処理を行うためのタイムアウト時間を決定し、タイマを起動する。例えば、タイマ処理部１９は、動画像のフレームレートにより、補間順位決定部１８が次の動画像フレームに対する処理を開始する時間を見積もり、この見積もった時間を基にタイムアウト時間を設定する。

例えばフレームレートが３０ｆｐｓであれば、補間順位決定部１８が次の動画像フレームに対する処理を開始する時間を、１／３０秒＝３３．３３ｍＳｅｃと見積もり、更に若干マージンをとって、タイムアウト時間を３０ｍＳｅｃと設定する。これにより、タイムアウト時間＝３０ｍＳｅｃが、１フレームあたりの補間処理可能な最大時間となり、ステップｓ２１０において、タイマ処理部１９は、タイムアウト時間を３０ｍＳｅｃに設定し、タイマを起動する。

次にステップｓ２１１において、補間処理部１Ａは、ステップｓ２０６で補間方法決定部１６が決定した補間方法で画像欠陥一つを補間処理する。また、補間処理部１Ａが補間処理を行う順番は、ステップｓ２０９で補間順位決定部１８が決定した補間順位に応じた順番（欠陥５０５、５０６、５０４、５０３、５０２、５０１）である。

次に、ステップｓ２１２において、ステップｓ２１１における一つの欠陥に対する補間処理を終える度に、タイマ処理部１９は、タイムアウトしたか否かを判断する。ここで、タイマ処理部１９がタイムアウトしていないと判断した場合には、ステップｓ２１３において、補間処理部１Ａは、全ての欠陥に対して補間処理を終了したか否かを判断する。ここで、全ての欠陥に対して補間処理を終了したと判断した場合には、補間処理を終了する。また、全ての欠陥に対して補間処理が終了していないと判断した場合には、ステップｓ２１１に戻り補間処理部１Ａは、次の欠陥に対して補間処理を行う。

また、タイマ処理部１９がタイムアウトしていると判断した場合には、ステップｓ２１４において、制御部１１は、補間処理部１Ａに対して補間処理を中断するように指示し、これを受けて補間処理部１Ａは、補間処理を終了する。この際に、制御部１１は、補間処理のために取得したメモリ等のリソースを開放する等の処理も行う。これにより、全ての欠陥に対して補間処理が終了していなくても、タイムアウトしたら、現在の動画像フレームの補間処理を中断して終了させることができるので、動画像ストリームの再生処理に間に合うように補間処理を行うことができる。また、たとえ中断された場合でも、補間順位に応じて補間処理しているので、重大な欠陥を優先的に補間処理することができる。

本実施形態においては一つの欠陥に対する補間処理が終了するたびにタイムアウトしたかどうかを調べているが、割り込み処理により、補間処理を中断する実装にしても良い。この場合、ステップｓ２１４の補間中断処理において、取得したリソースを開放するだけでなく、補間処理中で、欠陥領域の補間が全て終了していなくても、補間処理が完了した画素を出力する処理を行う。

以上説明したように、ネットワーク２０のような無線ＬＡＮを経由する通信のようにあまり信頼性の高くない通信路において動画像ストリームの伝送を行う場合、パケットロスなどのような通信エラーは避けられず、リアルタイムな動画の伝送が必要な場合には欠陥部分を補間処理することにより画質を維持する方法が現実的である。すなわち、上述した本実施形態の情報処理装置１０における補間処理が有効である。

特に閲覧者に違和感なく感じる画像となるよう欠陥部分を補間処理するためには、状況に応じて複数の補間方法を使い分けることが必要である。一方では、動画像ストリームをリアルタイムで再生中であれば、補間処理に費やすことができる時間が限られているため、特にソフトウェアで補間処理機能の実装を行う場合には全ての欠陥を補間処理できるとは限らない。以上を踏まえて、情報処理装置１０は、重要な欠陥を判別して補間順位に応じた補間処理を行い、重要ではない欠陥の処理を後回しにすることで、動画において重要な欠陥を確実に補間処理できるので、より高画質の動画像を視聴者へ提供することが可能となる。

本実施形態においては、画像欠陥の補間をマクロブロックの連続した単位により行う例を示したが、これは通信を通じて送られてくる情報がマクロブロックベースで圧縮される圧縮フォーマットの動画像ストリームを前提としたからである。従って、例えば通信を通じて転送する単位が画像のスライス単位であれば、補間処理もスライス単位で行えば良く、ユーザの都合の良い単位で通信を通じて動画像ストリームを転送するのであれば、それに応じた単位で補間処理を行えば良い。

また、本実施形態においては、画像中心から欠陥迄の距離を算出するために、画像を重み付けした複数の領域に区切ってこの領域に属する欠陥を抽出したが、単純に画像中心から欠陥までの距離を計算し、その距離に応じた重みづけを行っても良い。

また、本実施形態においては補間順位を決定するために重要度と修復難易度を利用したが、重要度または修復難易度どちらか一方だけを利用して補間順位を決定しても良いし、更に別のパラメータ（欠陥部分の輝度など）と組合せて決定しても良い。

(第２の実施形態)
以下、図３−１、図３−２、及び図８に基づき、本発明の第２の実施形態における画像処理装置について説明する。

第１の実施形態の情報処理装置（画像処理装置）においては、主にソフトウェアにより補間処理の機能を実装する形態であったが、第２の実施形態の画像処理装置においては、主にハードウェアにより補間処理の機能を実装する形態である。

図８は、第２の実施形態における画像処理装置のブロック図である。補間処理に関する機能的には、第１の実施形態の情報処理装置１０と同等であるので、第１の実施形態で用いた図３−１、図３−２のフローチャートを用いて第２の実施形態における画像処理装置８００の各ブロックの動作について説明する。図８に示すように、画像処理装置８００は、通信インタフェース８０１、通信処理部８０２、通信欠陥検出処理部８０３、デコード処理部８０４、画像欠陥検出処理部８０５、補間方法決定処理部８０６、画像欠陥優先度付加処理部８０７、スケジュール処理部８０８、補間処理部８０９、出力処理部８１０、及びディスプレイ（出力装置）８１１から構成される。

まず、通信インタフェース８０１は、インターネットや無線ＬＡＮ等のネットワークを経由して動画像ストリームを受信する。通信処理部８０２は、図３−１に示したステップｓ２００の処理に相当するパケットの処理を行う。次に、通信欠陥検出処理部８０３は、通信中のデータの欠陥を検出する（ステップｓ２０１に該当）。通信欠陥検出処理部８０３において通信データの欠陥が検出されなければ、デコード処理部８０４は、受信した画像データ（圧縮されている）を伸長処理する（ステップｓ２０２に該当）。ここまでは通信パケットが到着するごとに逐次行う。以後は、動画像データの１フレーム分が揃った後の処理となる。尚、例えば、デコード処理部８０４が、１フレーム分の動画像データを格納するメモリを備える。

デコード処理部８０４において伸長処理が終了した１フレームの動画像データに対して、画像欠陥検出処理部８０５は、画像の欠陥の位置と数を検出する（ステップｓ２０５に該当）。通信欠陥検出処理部８０３において通信データの欠陥を検出した場合には、画像欠陥検出処理部８０５は、通信欠陥検出処理部８０３が検出した欠陥情報を利用して、動画像データの欠陥を検出する。

次に、補間方法決定処理部８０６は、画像欠陥検出処理部８０５において検出した欠陥それぞれに対して補間方法を決定する（ステップｓ２０６に相当）。次に、画像欠陥優先度付加処理部８０７は、１フレーム内において検出された複数の欠陥に対して補正処理の順序を定めるための補正順位を決定する（ステップｓ２０７、ｓ２８０、ｓ２０９に相当）。

次に、スケジュール処理部８０８と補間処理部８０９は、画像欠陥優先度付加処理部８０７が決定した補正順位に応じて各欠陥に対して補間処理を行う。スケジュール処理部８０８は、次のフレームに対する補間処理が始まるまでのタイムアウト時間を設定し、補間処理部８０９における欠陥の補間処理の制御を行う。補間処理部８０９は、スケジュール処理部８０８による制御に基づき、補間方法決定処理部８０８において決定された補間方法で補間処理を行う（ステップｓ２１１〜ｓ２１４に相当）。全ての補間処理が終了するか、タイムアウトがおきたら補間処理を終了し、出力処理部８１０により出力方法に応じた後処理を行い、ディスプレイ８１１やその他出力手段に動画像を出力する。

以上に示したように、本実施形態の画像処理装置８００は、第１の実施形態に示した情報処理装置１０と同様に、例えば通信データの欠落により動画像の１フレーム（１画面）内に発生した複数の欠陥に対して、優先順位をつけて効率よく補間処理を行うことができる。尚、本実施形態においては、図８に示した全てのブロックをハードウェアにより構成する例について説明したが、この限りではなく、画像処理装置８００に更にＣＰＵとメモリを備えることで、例えば図８の各ブロックにおける処理の複雑な部分の機能を実現するためのプログラム（ソフトウェア）をメモリに格納し、これをＣＰＵが実行することにより、一部の機能を実装しても良い。

(第３の実施形態)
以下、図９、１０に基づき、本発明の第３の実施形態における情報処理装置（画像処理装置）について説明する。

第１の実施形態の情報処理装置（画像処理装置）１０においては、重要度を画像の中心からの距離により決定し、修復難易度を欠陥領域の広さにより決定して、決定した重要度と修復難易度から各欠陥の補間順位を決定したが、第３の実施形態における情報処理装置においては、別の方法で各欠陥の補間順位を決定する。

本実施形態における情報処理装置は、前提条件や、補間処理をおこなうための構成と流れ（図３−１、図３−２）については、上述した第１の実施形態における情報処理装置１０の構成（図１、図２）や動作（図３−１、図３−２）と同様である。そこで、第３の実施形態における情報処理装置１０として図２や図３−１、図３−２を用いて、第１の実施形態と異なる点を主に説明する。具体的には、図２の重要度算出部１７及び補間順位決定部１８の処理が異なる。

本実施形態の重要度算出部１７は、重要度を算出するために、欠陥部分の画像の中心からの距離と、欠陥を含む画像領域の空間周波数を用いた係数を算出する機能を有する。この空間周波数が高い（＝高周波成分が多い）ということは、それだけ画像が複雑であり、コントラスト比が高いことを示しており、複雑な画像部分が、重要な部分である場合が多いという考えによるものである。尚、画像の中心からの距離に応じた領域による係数の抽出は第１の実施形態で説明したとおりである。

次に、重要度算出部１７における空間周波数を用いた係数の算出方法について図９、１０を用いて説明する。
図９は、第３の実施形態における画像中の欠陥領域（欠陥部分）例を示す図である。図１０は、第３の実施形態で用いるＤＣＴ（離散コサイン変換）係数に対する重み付け係数例を示す図である。

図９に示す欠陥領域９００に対して、それを取り囲むＤＣＴブロック９０１について考える。また、ＤＣＴブロック中のそれぞれのＤＣＴ係数に対して、図１０で示された重みづけ係数をかけて数値化する。重要度算出部１７は、図９に示した全てのＤＣＴブロック９０１に対してＤＣＴ係数に図１０の重み付け係数を積算して、これらの平均値を算出する。すなわち、欠陥を取り囲むＤＣＴブロック９０１の数Ｎ、ｉ番目のＤＣＴ係数をｚ（ｉ）、ＤＣＴ係数ｚ（ｉ）に対する重みづけ係数をｆ（ｉ）とすると、重要度算出部１７は、以下の式１により空間周波数を用いた係数（以下、空間周波数係数とする）を算出する。

また、重要度算出部１７は、第１実施形態で説明した領域係数とのバランスをとるために、以下の式２に示すように式１で算出した空間周波数係数に定数ｋをかける。

また、重要度算出部１７は、ｎ番目の欠陥領域に対する補間順位を算出するための重要度Ｇ（ｎ）を、ｎ番目の欠陥領域に対する領域係数Ｒ（ｎ）と式２を用いた以下の式３により算出する。

また、補間順位決定部１８は、補間順位を決定するための係数Ｈ（ｎ）を、重要度算出部１７が算出した重要度Ｇ（ｎ）と、自身で算出した修復難易度Ｄ（ｎ）と、係数間のバランスをとるための定数Ｌを用いた以下の式４により算出する。尚、修復難易度Ｄ（ｎ）の算出方法は、第１の実施形態で説明した算出方法と同様である。

以上の方法により、欠陥領域それぞれに対して補間順位を決定するための係数Ｈ（ｎ）を計算することで、補間順位を決定するための要素とすることができる。

本実施形態については画像欠陥それぞれについて空間周波数をもとにした係数を算出するために繰り返し演算が多く発生しているが、単純な演算が多いため、図１に示したハードウェアのアクセラレータ１０６に係数の算出機能を実装することで、高速処理を行っても良い。

本実施形態においては、重要度算出部１７は、重要度を算出するための要素として、画像中心からの距離と、空間周波数を用いた。この空間周波数を用いることにより、複雑な画像部分に対して高い重要度を付与することができる。また、補間順位決定部１８は、修復難易度を算出するための要素として、欠陥領域の広さを用いた。これにより、多様な欠陥に応じて適切な補間順位を決定することが可能となる。

尚、重要度算出部１７において、重要度を決定するための要素として、欠陥として検出された領域が、動画像の前のフレームで補間処理の対象となった領域と同一領域であるか否かを用いても良い。これは、前のフレームで既に補間処理されていた領域であれば、既に元画像に比べて誤差が存在するため、元画像に対する誤差を広げない方法による補間処理が必要となるからである。

また、重要度算出部１７において、重要度を決定するための要素として、人物の顔と思われる領域を抽出し、この領域の重要度を上げても良い。これは、動画像を閲覧するにあたり、人の顔は注目点となるため、できるだけ違和感なく表示する必要があるためである。尚、重要度算出部１７において人の顔の領域を抽出する方法については、特定の形や色などを基に抽出する方法等、種々の方法を用いて好適である。また、重要度算出部１７は、情報処理装置１０が動画像ストリームの配信先（本実施形態では動画像ストリーム配信サーバ３０）から人の顔の領域を特定する情報を受信している場合には、この情報を利用してもよい。

また、重要度算出部１７において、重要度を決定するための要素として、焦点の合致している領域を抽出し、この領域の重要度を上げても良い。例えば、重要度算出部１７において、受信した画像から焦点の合致した領域を抽出するために、欠陥を含んだ画像領域に対してエッジ検出を行い、エッジの強さの強い部分を焦点の合致している領域と判断する。また、焦点の合致している領域の抽出のために、動画データの送信側がカメラである場合、カメラで撮影したときの焦点を合わせた位置情報を別のプロトコルにより情報処理装置１０（受信側）が受け取り、そのまま用いても良い。

また、重要度を決定するための要素として、彩度の低い領域を重要度の高い領域としてもよい。なぜなら、人間の視覚は彩度が低いほど彩度の違いを認識することができ、彩度が高くなるほど彩度の違いを認識することができなくなることによるものである。また、重要度を決定するための要素として、明るさの極端に低い領域（ノイズ部分）、極端に明るい領域（飽和している部分）を重要度の低い領域としてもよい。

更には、重要度算出部１７において、欠陥の領域の広さを、重要度を決定するための要素としても良い。

また、補間順位決定部１８において、修復難易度を決定するための要素としては、欠陥の周辺領域（例えばＤＣＴブロック９０１）の動きベクトルを算出し、その平均を用いても良い。これは、特に動きの大きい場合には、元画像に対する修復は困難と判断されるからである。

また、補間順位決定部１８において、修復難易度を決定するための要素として、欠陥を修復する（補間処理する）ために決定した補間方法での処理にかかる時間を用いても良い。また、補間順位決定部１８において、修復難易度を決定するための要素として、上述した空間周波数（高いほど難）や、フレーム間の相関（相関が無いほど難）などを用いてもよい。

また、本実施形態においては、図９ように欠陥領域９００の周囲のＤＣＴブロック９０１全てにおいて空間周波数の高周波領域（高周波成分）の係数の平均をこの欠陥領域９００に対する係数として用いたが、全てのＤＣＴブロック９０１の平均ではなく、全てのＤＣＴブロック９０１における最大値を欠陥領域９００に対する係数として用いても良い。

また、修復難易度については、係数の設定としてかならずしも正（＋）の値が望ましいわけではなく、場合によっては、修復が困難な割に効果が薄い場合も考えられるため、このような場合には優先順位を下げるために、負（−）の値としても良い。

(第４の実施形態)
以下、図１１、１２に基づき、本発明の第４の実施形態における画像処理装置について説明する。

第１、第３の実施形態ではアプリケーションソフトウェアを実行するＣＰＵ１０１を用いて動画像に生じた欠陥に対して補間処理を行う情報処理装置１０を示したが、アプリケーションを実行しながら更に補間処理を行う場合は、ＣＰＵ１０１の負荷が大きくなり、補間処理に対して十分な処理が行えなくなることが考えられる。

従って、第４の実施形態においては、アプリケーションを実行するハードウェアと別の専用ハードウェアにより動画像の欠陥に対する補間処理を行う画像処理システムの構成について説明する。

図１１は、第４の実施形態における画像処理システムの構成例を示す図である。図１１において領域１１００で囲まれた領域が通信による動画像の欠陥を補間処理する専用ハードウェアであり、領域１１００で囲まれていない部分が、アプリケーションを動作させるためのハードウェアである。すなわち、ＣＰＵ１１０１、ＲＡＭ１１０２、ＲＯＭ１１０３が動画像の欠陥を補間処理する専用ハードウェアである。また、圧縮された動画を伸長するためのデコーダ１１０４、及び補間処理の高速化のためのハードウェアのアクセラレータ１１０５が、専用ハードウェア内に実装されている。これらのＣＰＵ１１０１、ＲＡＭ１１０２、ＲＯＭ１１０３、デコーダ１１０４、及びアクセラレータ１１０５は専用バス１１０６により接続される。

一方、アプリケーションを処理するハードウェアは、アプリケーション用ＣＰＵ１１０７、アプリケーション用ＲＡＭ１１０８、アプリケーション用ＲＯＭ１１０９、通信部１１１０、及びこれらを接続するアプリケーション用バス１１１１により構成される。また、アプリケーション専用ハードウェアと動画像の欠陥を補間処理するハードウェアとの接続に、バスブリッジ１１１２を用いる。ＯＳ（オペレーティングシステム）は、アプリケーション用のハードウェア上で動作する。

このように、動画像の欠陥を補間処理する専用ハードウェアを設けることにより、アプリケーションを実行するＣＰＵ１１０７やバス１１１１の負荷を減らすとともに、専用ハードウェアにおいて動画像の欠陥の補間処理に注力した処理を行うことが可能となる。また、このように、専用ハードウェアを別装置とすることで、専用ハードウェアの装置だけを他のシステムや情報処理装置に接続することにより、他のシステムや情報処理装置に動画像の欠陥を補間処理する機能を付与することが容易になる。

本実施形態で説明した動画像の欠陥を補間処理する専用ハードウェアに関してＣＰＵ１１０１を含め、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）により実装し、ワンチップに収めても良い。このような構成にすることで、他のシステムや情報処理装置に動画像の欠陥を補間処理する機能を付与することがより容易になる。すなわち、ＦＰＧＡまたはＡＳＩＣで実装することで、補間処理の機能を有するモジュールの移植性を高めることができ、同時に、補間処理を組み込んだシステムの動作負荷を軽減することができる。

以上、本実施形態においては、アプリケーションの実行を行うハードウェアと動画像の欠陥を補間処理する専用のハードウェアを分離し、これらをバスブリッジ１１１２を介して接続する構成について説明したが、この限りではなく、例えば、図１２に示すような構成であってもよい。図１２は、第４の実施形態における画像処理システムの他の構成例を示す図である。

図１２において領域１２００で囲まれた領域が通信による動画像の欠陥を補間処理する専用ハードウェアであり、領域１２００で囲まれていない部分が、アプリケーションを動作させるためのハードウェアである。すなわち、ＣＰＵ１２０１、ＲＯＭ１２０２が動画像の欠陥を補間処理する専用ハードウェアである。また、圧縮された動画を伸長するためのデコーダ１２０３、及び補間処理の高速化のためのハードウェアのアクセラレータ１２０４が、専用ハードウェア内に実装されている。これらのＣＰＵ１２０１、ＲＯＭ１２０２、デコーダ１２０３、及びアクセラレータ１２０４は専用バス１２０５により接続される。

一方、アプリケーションを処理するハードウェアは、アプリケーション用ＣＰＵ１２０６、アプリケーション用ＲＡＭ１２０７、アプリケーション用ＲＯＭ１２０８、通信部１２０９、デュアルポートラム１２１０、及びこれらを接続するアプリケーション用バス１２１１により構成される。また、デュアルポートラム１２１０はバス１２０５とも接続され、動画像の欠陥を補間処理するハードウェアからもデュアルポートラム１２１０にアクセス可能である。ＯＳ（オペレーティングシステム）は、アプリケーション用のハードウェア上で動作する。

このように、デュアルポートラム１２１０により、アプリケーションの実行を行うハードウェアと、動画像の欠陥を補正する専用ハードウェアとの間でＲＡＭを共有する。これにより、アプリケーションと補間処理の専用ハードウェアとの間で、動画像データの処理のためのメモリを共有することができる。更には、図１１の構成と比べてＲＡＭモジュールを２つ用いる必要がなくなるため、コストの面でも実装面積の面においても有利である。

(第５の実施形態)
以下、図１３に基づき、本発明の第５の実施形態における情報処理装置について説明する。尚、第５の実施形態における情報処理装置は、図１及び図２に示した情報処理装置１０と同様の構成であるので、第５の実施形態における情報処理装置１０として説明する。第５の実施形態における情報処理装置１０が、第１の実施形態における情報処理装置１０と異なる点は、補間方法決定部１６において、全欠陥に対する処理時間の合計を見積もり、その見積もりに応じて補間方法を変更する機能を有する点である。

図１３は、第５の実施形態の情報処理装置１０において受信した動画像ストリームにおける欠陥の補間処理を示すフローチャートである。尚、図１３においては、ステップｓ２０５〜ｓ２１４の処理は、第１の実施形態において説明した図３−２のステップｓ２０５〜ｓ２１４の処理と同様であるので、ステップｓ２０６〜ｓ２０８の処理を省略している。図１３において図３−２と異なる点は、ステップｓ２０９とｓ２１０の処理の間に、ステップｓ１３０１〜ｓ１３０３の処理を行う点である。以下、図１３に示す、本実施形態の特徴となるステップｓ１３０１〜ｓ１３０３の処理について説明する。

ステップｓ２０５〜ステップｓ２０９の処理よって画像欠陥の検出及び各欠陥の補間方法や補間順位を決定した後に、ステップｓ１３０１において、補間方法決定部１６は、画像の全ての欠陥に対して補間処理した場合にかかる総時間を見積もる。次に、ステップｓ１３０２において、補間方法決定部１６は、見積もった総時間を基に、次のフレームに対する補間処理を開始する迄に、補間処理が終了しそうか否かを判断する。ここで、全ての欠陥に対する補間処理が終了しそうと判断した場合には、そのままステップｓ２１０に移行し、タイマ処理部１９が、タイムアウト時間を設定してタイマを起動する。また、ステップｓ１３０２において補間処理が終了しそうではないと判断した場合には、ステップｓ１３０３において、補間方法決定部１６は、各々の画像欠陥のうち、処理負荷の高い処理方法を選択しているものの補間方法を処理負荷の軽い補間方法に変更する。ステップｓ１３０３の後は、ステップｓ２１０に移行して、以後は図３−２と同様の流れで処理を行う。

次に、本実施形態の有効性について説明する。例えば、欠陥の数が多く、それぞれの欠陥に対して処理の複雑な補間方法を選択した場合、タイムアウト時間の関係から、欠陥の全体数に対して、修復が行われる数が少なくなることにより、全体として画像の修復があまり行われなかったようにみえてしまうという問題が考えられる。本実施形態においては、この問題を解決することができる。

すなわち、欠陥の数が多く、それぞれの欠陥に対して処理の複雑な補間方法を選択した場合においても、本実施形態の情報処理装置１０は、全ての欠陥に対する補間処理が間に合うか否かを判断し、間に合わないと判断した場合には、時間の係る補間処理方法を見直すことで、全く補間処理をされない欠陥数を減らすことができ、視覚上も大幅な改善が期待できる。

以上に説明したように、第１〜第５の実施形態における画像処理装置（情報処理装置）及び画像処理システムにおいては、画像データの一部の欠陥に対して、画像データを再送する替わりに、欠陥の仕方や程度に応じて、複数の補間方法を適用して補間処理を行うことができる。また、第１〜第５の実施形態における画像処理装置（情報処理装置）及び画像処理システムにおいては、複数の画像欠陥に対してそれぞれ重要度と修復難易度を算出し、この２つのパラメータをもとに補間処理を行う順番を決定して処理を行うことで、１フレーム分にかけられる処理時間は限られているため、優先度の高い順に補間処理を行うことができ、限られた時間内により効果的な補間処理を行うことができる。

また、第５の実施形態においては、特に複数の補間方法を適用するためにはソフトウェアにより構成することが実装を容易にする方法であるが、ソフトウェアで補間処理を構成すると、場合によっては処理が間に合わないことが考えられるため、これに対して対処することができる。このように、複数の欠陥に対して処理を行う方法を決定した後に、１フレームに割り当てられた制限時間内に補間処理が終了するか否かを予測し、補間処理が終了しないと予測した場合には、補間方法を見直すことにより、よりまんべんなく欠陥の修復処理を行い、欠陥をより目立たなくすることが可能である。

尚、上述した構成に限定さるものではなく、図２に示した各処理部の一部の機能を専用のハードウェアにより実現してもよい。また、図１のＣＰＵ１０１が利用するメモリは、ＲＡＭ１０２やＲＯＭ１０３に限定されるものではなく、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、図２に示した各処理部の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明の第１の実施形態における情報処理装置（画像処理装置）のハードウェア構成例を示す図である。 本実施形態の情報処理装置１０を含むシステム例及び、情報処理装置１０の機能構成を示すブロック図である。 本実施形態の情報処理装置１０における動画像ストリームの受信処理を示すフローチャートである。 本実施形態の情報処理装置１０において受信した動画像ストリームにおける欠陥の検出及び補間の処理を示すフローチャートである。 ストリームデータの画像フォーマットがモーションＪＰＥＧである場合のパケット構成例を示す図である。 図４−１に示したリスタートマーカ部３０３のデータ構成例を示す図である。 画像５００の欠陥例を示す図である。 画像の中心からの距離に応じた重要度のパラメータ例を示す図である。 図５で示した欠陥部分５０１〜５０６と図６で割り当てた領域分割を重ね合わせた図である。 第２の実施形態における画像処理装置のブロック図である。 第３の実施形態における画像中の欠陥領域例を示す図である。 第３の実施形態で用いるＤＣＴ係数に対する重み付け係数例を示す図である。 第４の実施形態における画像処理システムの構成例を示す図である。 第４の実施形態における画像処理システムの他の構成例を示す図である。 第５の実施形態の情報処理装置１０において受信した動画像ストリームにおける欠陥の補間処理を示すフローチャートである。

符号の説明

１０ 情報処理装置（画像処理装置）
１１ 制御部
１２ フレームデータ格納部
１３ 通信処理部
１４ 画像伸張処理部
１５ 画図欠陥検出部
１６ 補間方法決定部
１７ 重要度算出部
１８ 補間順位決定部
１９ タイマ処理部
１Ａ 補間処理部
１Ｂ 中断処理部
１Ｃ 表示処理部
２０ ネットワーク
３０ 動画像ストリーム配信サーバ
１０１ ＣＰＵ
１０２ ＲＡＭ
１０３ ＲＯＭ
１０４ 通信部
１０５ デコーダ
１０６ アクセラレータ
１０７ バス
５０１〜５０５ 欠陥領域（欠陥部分）
８００ 画像処理装置
８０１ 通信インタフェース
８０２ 通信処理部
８０３ 通信欠陥検出処理部
８０４ デコード処理部
８０５ 画像欠陥検出処理部
８０６ 補間方法決定処理部
８０７ 画像欠陥優先度付加処理部
８０８ スケジュール処理部
８０９ 補間処理部
８１０ 出力処理部
８１１ 出力装置

Claims (22)

1. ネットワークを通じて動画像データを受信することができる画像処理装置であって、
   受信した動画像データから欠陥部分を検出する欠陥検出手段と、
   前記動画像データの１つのフレーム内に前記欠陥部分が複数存在していた場合に、前記欠陥部分に対して優先順位を決定する決定手段と、
   前記決定手段が決定した前記優先順位に応じて前記欠陥部分に対して補間処理を行う補間処理手段と
   を具備することを特徴とする画像処理装置。
2. 前記１フレームの画像を複数の画像領域に分割し、複数の前記欠陥部分に対して、前記欠陥部分を含む画像領域の位置情報に応じて重要度を決定する重要度決定手段を更に具備し、
   前記決定手段は、前記重要度決定手段が決定した前記重要度に応じて前記優先順位を決定すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記欠陥部分に対して、前記欠陥部分となる領域の広さに応じて前記欠陥部分に対する補間処理の難易度を決定する難易度決定手段を更に具備し、
   前記決定手段は、前記難易度決定手段が決定した前記難易度に応じて前記優先順位を決定すること
   を特徴とする請求項１又は２に記載の画像処理装置。
4. 前記補間処理に対する制限時間を設定し、前記制限時間内であるか否かを判断する時間管理手段と、
   前記時間管理手段が前記制限時間内ではないと判断した場合に、前記補間処理手段に対して前記補間処理の中止を指示する中止指示手段と
   を更に具備し、
   前記補間処理手段は、前記中止指示手段の指示に応じて前記補間処理を中止すること
   を特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記重要度決定手段が前記重要度の決定に用いる前記欠陥部分を含む前記画像領域の位置情報とは、前記画像領域の画像の中心からの距離を示す情報であることを特徴とする請求項２に記載の画像処理装置。
6. 前記欠陥部分の位置が、前のフレームにおいて補間処理を行う対象となった位置と同じか否かを判定する判定手段を更に具備し、
   前記重要度算出手段は、前記判定手段の判定を更に用いて前記重要度を決定することを特徴とする請求項２又は５に記載の画像処理装置。
7. 前記動画像データ中より人物の顔と推定される領域を検出する顔検出手段を更に具備し、
   前記重要度決定手段は、前記顔検出手段の検出結果を更に用いて前記重要度を決定することを特徴とする請求項２、５、及び６のいずれか１項に記載の画像処理装置。
8. 前記動画像データにおいて焦点の合致している領域を検出する焦点検出手段を更に具備し、
   前記重要度決定手段は、前記焦点検出手段の検出結果を更に用いて前記重要度を決定することを特徴とする請求項２、及び５〜７のいずれか１項に記載の画像処理装置。
9. 前記動画像データにおける前記欠陥部分を含む領域の空間周波数に関する情報を検出する周波数検出手段を更に具備し、
   前記重要度決定手段は、前記周波数検出手段の検出結果を更に用いて前記重要度を決定することを特徴とする請求項２、及び５〜８のいずれか１項に記載の画像処理装置。
10. 前記欠陥部分となる領域の広さを検出する領域検出手段を更に具備し、
    前記重要度決定手段は、前記領域検出手段の検出結果を更に用いて前記重要度を決定することを特徴とする請求項２、及び５〜９のいずれか１項に記載の画像処理装置。
11. 前記焦点検出手段は、前記欠陥部分を含む画像領域におけるエッジに関する情報を検出することで焦点が合致している領域であるか否かを判断することを特徴とする請求項８に記載の画像処理装置。
12. フレーム間の比較により前記欠陥部分を含む領域の動きの大きさを検出する動き検出手段を更に具備し、
    前記難易度決定手段は、前記動き検出手段の検出結果を更に用いて前記難易度を決定することを特徴とする請求項３に記載の画像処理装置。
13. 前記補間処理における補間方法を複数有する場合に、前記欠陥部分に対して補間方法を決定する補間方法決定手段と、
    前記補間方法決定手段が決定した前記補間方法による補間処理にかかる時間を予測する時間予測手段と
    を更に具備し、
    前記難易度決定手段は、前記時間予測手段の予測結果を更に用いて前記難易度を決定することを特徴とする請求項３又は１２に記載の画像処理装置。
14. 前記動画像データ中より人物の顔と推定される領域を示す第１の情報及び前記動画像データにおいて焦点の合致している領域を示す第２の情報のいずれかを少なくとも受信する受信手段を更に具備し、
    前記重要度決定手段は、前記受信手段が受信した前記第１の情報又は／及び第２の情報を更に用いて前記重要度を決定することを特徴とする請求項２又は５に記載の画像処理装置。
15. 前記周波数検出手段は、前記欠陥部分に隣接する領域の高周波成分を数値化した成分値を求め、前記成分値の平均値又は最大値を前記空間周波数に関する情報とすることを特徴とする請求項９に記載の画像処理装置。
16. 前記ネットワークを通じて受信する前記動画像データが所定の圧縮形式で圧縮処理されており、かつ、前記圧縮処理された前記動画像データを解凍処理する際に前記動画像データの空間周波数に関する情報を利用する場合に、前記周波数検出手段は、前記解凍処理時に利用された前記空間周波数に関する情報を基に、前記欠陥部分を含む領域の空間周波数に関する情報を検出することを特徴とする請求項９に記載の画像処理装置。
17. 前記所定の圧縮形式が離散コサイン変換を用いる圧縮形式である場合に、前記周波数検出手段は、離散コサイン変換後の高周波成分に所定の係数を掛けて数値化することで前記成分値を求めることを特徴とする請求項１５に記載の画像処理装置。
18. 前記動き検出手段は、前記欠陥部分の周辺領域における動きベクトルの大きさの平均値を基に、動きの大きさを検出することを特徴とする請求項１５に記載の画像処理装置。
19. 前記補間処理における補間方法を複数有する場合に、前記欠陥部分に対して補間方法を決定する補間方法決定手段と、
    前記補間方法決定手段が決定した前記補間方法による全ての欠陥部分に対する補間処理にかかる時間を予測し、制限時間内であるか否かを判断する予測時間管理手段と、
    前記予測時間管理手段において、予測した時間が前記制限時間内ではないと判断した場合には、前記補間方法決定手段が決定した補間方法の一部又は全部を、より補間処理が短くなる補間方法に変更する補間方法変更手段と
    を更に具備することを特徴とする請求項１に記載の画像処理装置。
20. 請求項１〜１９に記載の各手段をフィールド・プログラマブル・ゲート・アレイ又は特定用途向け集積回路で構成することを特徴とする画像処理装置。
21. ネットワークを通じて動画像データを受信することができる画像処理装置を用いた画像処理方法であって、
    受信した動画像データから欠陥部分を検出する欠陥検出ステップと、
    前記動画像データの１つのフレーム内に前記欠陥検出ステップで検出した前記欠陥部分が複数存在していた場合に、前記欠陥部分に対して優先順位を決定する決定ステップと、
    前記決定ステップで決定した前記優先順位に応じて前記欠陥部分に対して補間処理を行う補間処理ステップと
    を有することを特徴とする画像処理方法。
22. ネットワークを通じて動画像データを受信することができる画像処理装置用のプログラムであって、
    受信した動画像データから欠陥部分を検出する欠陥検出ステップと、
    前記動画像データの１つのフレーム内に前記欠陥検出ステップで検出した前記欠陥部分が複数存在していた場合に、前記欠陥部分に対して優先順位を決定する決定ステップと、
    前記決定ステップで決定した前記優先順位に応じて前記欠陥部分に対して補間処理を行う補間処理ステップと
    をコンピュータに実行させるためのプログラム。

Images