JP2007110329A - 画像補正装置、画像補正方法、および画像補正プログラム - Google Patents

Abstract

【課題】過去の画像フレームを用いることなく画像の中で欠落した画素を補正し、補正後の画像品質の劣化を回避する。
【解決手段】画像補正装置１であって、ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出手段と、画像の中で前記エラーデータの表示部分である欠落領域を特定する特定手段と、前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する補正手段と、を備える。
【選択図】 図１

Description

本発明は、画像を補正する技術に関する。

インターネット、地上波デジタル放送、無線ＬＡＮなどの普及にともない、近年では多くの画像（映像）がネットワークを介して伝送されている。また、無線ＬＡＮによる映像通信では、有線のネットワークと比較して、高い比率でパケットロスが発生している。

映像通信において、パケットロスなどのエラーが発生した場合、例えば、エラー訂正技術（エラーコンシールメント）を適用することにより、画像の補正（修復）を行っている。なお、エラー訂正技術については、非特許文献１および非特許文献２に記載されている。
Y.Wang and Q-F.Zhu,"Error control and concealment for video communication: a review", Proc. The IEEE, vol.86, no.5, 1998.5. "Information technology − coding of audio-visual objects-part 2: visual", ISO/IEC 14496-2, 2004.

エラー訂正技術では、例えば、パケットロスが発生した画像フレームを、過去に受信した画像フレームにフレーム単位で置き換える、または、パケットロスの発生により欠落した画素を過去の画像フレームの同一箇所の画素に画素単位で置き換えることにより画像を修正する。

しかしながら、時系列に伝送される画像フレーム間での動きが大きい場合、あるいは、画像の模様が複雑な場合、修正した部分は、他の部分と違和感や不整合が生じ、視覚的に見にくい画像となるおそれがある。すなわち、過去の画像フレームを用いて欠落画素を補正した場合、画質が劣化してしまう場合がある。

本発明は上記事情に鑑みてなされたものであり、本発明の目的は、過去の画像フレームを用いることなく画像の中で欠落した画素を補正し、補正後の画像品質の劣化を回避することある。

上記課題を解決するために、本発明は、例えば、画像補正装置であって、ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出手段と、画像の中で前記エラーデータの表示部分である欠落領域を特定する特定手段と、前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する第１の補正手段と、を備える。

また、本発明は、情報処理装置が行う画像補正方法であって、前記情報処理装置は、ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出ステップと、画像の中で前記エラーデータの表示部分である欠落領域を特定する特定ステップと、前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する補正ステップと、を行う。

また、本発明は、情報処理装置が実行する画像補正プログラムであって、前記情報処理装置に、ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出ステップと、画像の中で前記エラーデータの表示部分である欠落領域を特定する特定ステップと、前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する補正ステップと、を実行させる。

本発明により、過去の画像フレームを用いることなく画像の中で欠落した画素を補正し、補正後の画像品質の劣化を回避することができる。

以下、本発明の実施の形態について説明する。

図１は、本発明の一実施形態が適用された画像補正装置１の概略構成図である。図示する画像補正装置１は、当該画像補正装置１とネットワークにより接続された画像送信装置（不図示）から画像データ（パケット）を受信し、受信した画像データにエラーがある場合は補正する装置である。なお、画像データには、動画像データおよび静止画像データが含まれるものとする。また、画像送信装置では、画像データをエンコード（一定の規則に基づいて符号化・圧縮化）し、エンコードした画像データのパケットを画像補正装置１に送信するものとする。

画像補正装置１は、画像入力部１１と、画像蓄積部１２と、デコード部１３と、パケットロス検出部１４と、欠落画素特定部１５と、バッファリング部１６と、画像細かさ検出部１７と、画像補正部１８と、表示部１９と、を備える。

画像入力部１１は、画像送信装置から送信される画像データのパケットを受信（入力）し、受信したパケットを１次元の状態で画像蓄積部１２に記憶する。なお、画像入力部１１が受信したパケットは、符号化（圧縮）されているものとする。

デコード部１３は、画像蓄積部１２に記憶された各パケットのデータをデコード（復号）し、元の画像データを取り出す。パケットロス検出部１４は、ネットワーク上で発生したパケットロスを検出する。欠落画素特定部１５は、パケットロスにより欠落した画素の表示位置（欠落画素領域）を特定する。バッファリング部１６は、復号した画像データを、２次元にバッファに記憶する。

画像細かさ検出部１７は、欠落画素特定部１５が特定した欠落画素領域の近傍の画像の細かさを検出し、ミクロ・テクスチャ（細かな模様）かマクロ・テクスチャ（粗い模様）かを判別する。画像補正部１８は、後述するミクロ・テクスチャ生成補正法、または、マクロ・テクスチャ生成補正法により、欠落画素領域を補正する。表示部１９は、欠落画素領域を補正した補正画像を出力装置に表示する。

上記説明した、画像補正装置１は、ＣＰＵと、メモリと、外部記憶装置と、キーボードやマウスなどの入力装置と、ディスプレイなどの出力装置と、他の装置と接続するための通信制御装置と、これらの各装置を接続するバスと、を備えた汎用的なコンピュータシステムを用いることができる。このコンピュータシステムにおいて、ＣＰＵがメモリ上にロードされた画像補正装置１用のプログラムを実行することにより、画像補正装置の各機能が実現される。なお、画像補正装置１の画像蓄積部１２およびバッファリング部１６が画像データを記憶するバッファには、メモリまたは外部記憶装置が用いられる。

また、画像補正装置１用のプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯなどのコンピュータ読み取り可能な記録媒体に記憶すること、または、ネットワークを介して配信することも可能である。

ここで、従来のエラー訂正技術により欠落画素領域を補正した例を図２に、また、本実施形態の画像補正装置１により欠落画素領域を補正した例を図３に示す。

図２は、過去に受信した画像フレーム（映像フレーム）のパケットロスが発生した箇所と同一の箇所の画素を埋め込んだ場合の例である。図２では、複雑な模様の画像２００中に、パケットロスによる欠落画素領域２１０が黒く表示されている。そして、この欠落画素領域２１０が、過去の画像フレームから切り出した画像２２０で置換（補正）されている。時系列に伝送される画像フレーム間での動きが大きい場合、あるいは、画像の模様が複雑な場合には、置換後の欠落画素領域２２０は、当該欠落画素領域２２０以外の他の部分との違和感や不整合が生じ、視覚的に見にくい画像となっている。

これに対して、図３に示す本実施形態では、画像３００に複雑な模様があり、また、時系列に伝送される画像フレーム間での動きが大きい場合であっても、欠落画素領域３２０を他の部分との違和感や不整合のない、高品質が画像に補正することができる。

次に、本実施形態の画像補正装置１を用いた画像補正処理について説明する。

まず、画像入力部１１は、ネットワークを介して画像送信装置（不図示）が送信した画像データのパケットを順次受信する。そして、画像入力部１１は、受信した各パケットを１次元の状態で（例えば、パケットの送信順で）、画像蓄積部１２に蓄積する。なお、本実施形態では、画像入力部１１が受信したパケットの画像データは、符号化されでいるものとする。そして、デコード部１３は、画像蓄積部１２に蓄積された各パケットの画像データを復号する。

そして、パケットロス検出部１４は、パケットロスを検出する。パケットロスは、パケットの伝送中に、パケットが損失してしまうことである。パケットロスが発生する原因としては、例えば、バースト性またはノイズ性によるものが考えられる。バースト性によるパケットロスは、例えば、移動中のモバイル端末において建物等の障害により発生する。バースト性によるパケットロスでは、一度パケットロスが発生するとパケットロスが連続して起こるため、比較的多くのパケットが集中して損失する。また、ノイズ性によるパケットロスは、通信ノイズにより発生し、比較的少ない数のパケットが損失する。

図４は、パケットロスの検出方法を説明するための図である。

図４（ａ）は、パケットの送信側である画像送信装置が画像補正装置１に送信するパケットを模式的に示したものである。個々のパケット８００〜８０３には、タイムスタンプ情報、少なくとも１つの画素情報、誤り判定用の冗長コードなどが含まれている。タイムスタンプ情報としては、パケットの連続性を確認することができる所定の時刻、または、パケットの通し番号などを用いることが考えられる。

図４（ｂ）は、画像補正装置１が受信したパケットを模式的に示したものである。図示する例では、タイムスタンプ情報が「Ｔ＝ｎ＋２」のパケット８０２が損失している。パケットロス検出部１４は、画像蓄積部１２にパケットの送信順序で１次元に記憶されたパケット各々８１０、８１１、８１３のタイムスタンプ情報を参照し、「Ｔ＝ｎ＋２」のパケット８０２のパケットロスが発生したことを検出する。

そして、欠落画素特定部１５は、パケットロス検出部１４がパケットロスを検出した場合、損失したパケットに含まれる画素の位置を特定する。なお、各パケットには、少なくとも１つの画素情報が含まれているものとする。また、画素情報としては、例えば、画像の中での画素の位置を示すアドレス（画像番号）、ＲＧＢ属性、画像濃淡値などがあげられる。

欠落画素特定部１５は、パケットロスが発生した前後のパケット（図３（ｂ）の場合、パケット８１１、８１３）を特定し、特定した前後のパケットの各画素情報をそれぞれ読み出す。そして、欠落画素特定部１５は、パケットロス発生直前のパケット８１１に含まれる画素から、パケットロス発生直後のパケット８１３に含まれる画素までの差分の欠落画素の位置を、前後のパケット８１１、８１３の画素情報（アドレス、画像番号など）に基づいて特定する。

そして、バッファリング部１６は、この時点において１次元配列のパケット群を、２次元の画面イメージで、バッファリングする。すなわち、バッファリング部１６は、１次元に伝送され、画像蓄積部１２に蓄積されたパケット群（デコード後のパケット群）を、メモリなどのバッファに２次元配列で記憶する。

図５は、バッファリング処理を模式的に示した図である。バッファリング部１６は、１次元的に伝送された各パケット９１０を、当該パケット９１０の画素情報（アドレス、画像番号など）基づいて、バッファ９２０の所定の位置（領域）にバッファリングする。ここで、パケットロスが発生している場合、バッファリング部１６は、損失したパケットをバッファ９２０に配置することができない。このため、パケットロスによる欠落画素領域９３０は、一般的に黒く表示される。

次に、画像細かさ検出部１７の判別処理について説明する。

図６は、２次元配列でバッファに記憶された画像の一例である。図示する画像６００では、パケットロスによる複数の欠落画素（欠落画素領域）６１０が表示されている。画像細かさ検出部１７は、欠落画素領域６１０の近傍のパケットロスが発生していない領域（図示する例では、欠落画素領域６１０を囲む周辺領域６２０）を抽出する。そして、画像細かさ検出部１７は、抽出した領域のパケットロスが発生していない画像の細かさを検出し、ミクロ・テクスチャ（細かな模様・図柄）であるか、マクロ・テクスチャ（粗い模様・図柄）であるかを判別する。

なお、マクロ・テクスチャであると判別した場合、画像補正部１８は、欠落画素領域６１０の近傍にマクロ・テクスチャ生成補間方法におけるＬ字型オペレーター６３０を設定する。マクロ・テクスチャ生成補間方法については後述する。

図７は、画像細かさ検出処理のフローチャートである。

上述したように、画像細かさ検出部１７は、ミクロ・テクスチャ生成補間方法とマクロ・テクスチャ生成補間方法のいずれを適用するかを判別する。なお、ミクロ・テクスチャ生成補間方法またはマクロ・テクスチャ生成補間方法のいずれか一方を用いて、パケットロスによる欠落画素領域を修復補正することは可能である。しかしながら、実際の画像は複雑なものがあり、また、画像全体の複雑さと欠落画素領域の位置との相対的な複雑さもある。そのため、本実施形態においては、より精巧に欠落画素を復元するために、画像細かさ検出部１７が欠落画素領域近傍の画像の細かさを検出し、ミクロ・テクスチャ生成補間方法を適用するか、マクロ・テクスチャ生成補間方法を適用するかを判別する。

画像細かさ検出部１７は、図７に示すように、欠落画素領域の近傍の画像を入力する（Ｓ１０）。そして、画像細かさ検出部１７は、入力した画像の画像特徴量を算出する（Ｓ２０）。すなわち、画像細かさ検出部１７は、単位領域（１画素を単位としてもよいし、複数画素を単位としてもよい）当りのテクスチャの複雑さを画像濃淡値の空間的な１次勾配値（１次微分値）および２次勾配値（２次微分値）を算出する。

そして、画像細かさ検出部１７は、算出した画像特徴量と予め定められた閾値とを比較し、単位領域の画像が細かいか（閾値より小さいか）、または粗いか（閾値より大きいか）を判別する（Ｓ３０）。粗い構造のテクスチャと判別した場合、画像細かさ検出部１７は、マクロ・テクスチャ生成補間方法を選択する（Ｓ４０）。一方、細かい構造のテクスチャと判定した場合、画像細かさ検出部１７は、ミクロ・テクスチャ生成補間方法を選択する。

なお、Ｓ３０の細かさ判定では、例えば、１次勾配値及び２次勾配値のいずれか一方だけを用いて判定することとしてもよい。すなわち、画像細かさ検出部１７は、１次勾配値または２次勾配値において、値が大きいほど画像は粗い、小さいほど画像は細かいと判定することとしてもよい。

また、Ｓ３０の細かさ判定では、１次勾配値および２次勾配値の双方を用いて判定することとしてもよい。この場合、画像細かさ検出部１７は、例えば、単位領域ごとに、１次勾配値及び２次勾配値それぞれの平均値を算出（単位領域における１次勾配値および２次勾配値それぞれの値の合計を単位領域の画素数で割る）する。そして、画像細かさ検出部１７は、１次勾配値の平均値が小さく、かつ、２次勾配値の平均値が大きい場合は粗いと判定し、１次勾配値の平均値が大きく、かつ、２次勾配値の平均値が小さい場合は細かいと判定するようにしてもよい。なお、平均値の大小を判定する閾値は予めメモリまたは外部記憶装置に記憶されているものとする。

次に、画像補正部１８が行う欠落画素領域の補正処理について説明する。

画像補正部１８は、画像細かさ検出部１７の判別結果に応じて、ミクロ・テクスチャ生成補完方法（第１の補正方法）、または、マクロ・テクスチャ生成補完方法（第２の補正方法）を用いて欠落画素領域の補正を行う。

図８は、ミクロ・テクスチャ生成補間方法を説明する図である。画像修復技術については古い絵画での専門家による手作業によるものがよく知られており、inpaintingと呼ばれる。新しい絵画や写真でも傷がついたものを本来あったと推定される絵や画像に局所的に置き換えることで違和感のない元の絵や画像に限りなく近いものを復元する技術であり、保存性の観点から重要な手法である。修復される領域の周りの近傍の図柄を手がかりに置き換えが行われているものである。近年、コンピュータグラフィックスの分野では、異方拡散（Anti-Diffusion:ＡＤ）方程式を用いた方法で計算機による自動修復が試みられている。なお、異方拡散方程式については、下記の参考文献に記載されている。

M.Beralmio, G.Sapiro, C.Ballester, and V.Caselles, Computer Graphics, “Image inpainting”, Proceeding of SIGGRAPH 2000, pp.417-424, July 2000
図８はこの原理と考え方を示しており、本来の図柄の画像４００に基づいて、その内側の画像が欠落した領域４１０を補間するものである。欠落した領域４１０をマスク画像とした場合、その外側は境界条件として含める。そして、マスク画像の法線ベクトルに沿って、周辺の画像４００を境界条件として既知（初期値）とする。ＡＤ方程式の変数は画像領域の画素とする。初期値をＡＤ方程式に入力して、時間積分を繰り返すことで、境界の図柄が法線ベクトルに沿って内側のマスク画像へ伝播する。その結果、内側のマスク画像に相当する領域４２０が補間（修復）される。これを繰り返すことで、中心部まですべての領域が周辺の画像情報により修復される。勿論、対象となる図柄に関しても、モノクロからカラーの図柄まで適用可能である。

なお、図６に示す画像においては、ミクロ・テクスチャ生成補間方法におけるマスク画像４１０は、欠落画素特定部１５により自動的に検出される欠落画素領域６１０である。また、図４の周辺の画像４００は、図６では欠落画素領域６１０を囲む領域６２０である。また、欠落画素領域６１０を初期のマスク画像として復元処理（補正）を行うが、ミクロ・テクスチャ生成補間方法を繰り返すと、マスク画像が徐々に外側から内側に復元されていくので、計算に際してマスク画像の領域及びその外側近傍の元となる画像は変動していくものである。

上述したミクロ・テクスチャ生成補間方法は、その名称の通り、細かいテクスチャの表現が得意であり、修復対象領域を任意形状とすることができ、繰り返しのない非周期パターンの画像であっても対応可能であるという特長を有する。

次に、ミクロ・テクスチャ生成補間方法で用いられる偏微分方程式について説明する。なお、偏微分方程式については、例えば、池田俊介著「流体の非線形現象−数理解析とその応用−」朝倉書店に記載されている。

上述した参考文献の偏微分方程式では、以下に示す式１をメイン方程式とし、所定の時間積分回数ごとに、後述する異方拡散方程式である式８（または式９）を併用する。一方、本実施形態の偏微分方程式では、式１をメイン方程式とし、所定の時間積分回数ごとに、後述する等方拡散方程式１０（または式１１）を併用する。

式１において、画像を構成する画素の画像濃淡値をＩ、画素を(i,j)、離散化された時間（または時刻）をｎとする。これにより、Ｉ^ｎ(i,j)は、画素(i,j)の離散化された時間のｎ番目における画像濃淡値である。なお、i、j、nは整数である。また、δtは時間幅、Ωは画像補正を行う領域である。画素の縦横の幅は、それぞれΔx、Δyとする。また、式１では、以下に示す式２から式７が用いられる。

「→」はベクトルである。Ｌは画像に関する情報であるが、式３または式４からわかるように、画像濃淡値の２次の空間微分値である。式５は、単位ベクトルを表す式であって、画像濃淡値の等高線（等濃度線）の法線ベクトルである。すなわち、式５は、既知の画像４００から補正する画像４１０内へ、どちらの方向へ計算を進めるか（補正を行うか）を決定する量である。

式７は、画像濃淡値のエッジの大きさを表す式である。式７の右辺の添え字であるf、bについては、fは差分法における前進差分を、bは差分法における後退差分を表す。Minは０と微分値を比べて小さい方を選択し、Maxは０と微分値を比べて大きい方を選択する。なお、これまでの収束判定条件としては、式１における画像濃淡値Ｉの時間変化がほとんどなくなった場合、もしくは、式２が微小値以下になったときとしていた。

以下に示す式８は、上述の参考文献で用いられる異方拡散方程式である。

また、式８の異方拡散方程式を離散化表現すると以下の式９となる。

式９では、画像中、エッジ形状を保存しながら拡散させるという２つの効果をあわせもっているのが特徴である。Ｋは拡散係数相当であって、λは拡散係数である。

参考文献においては、式１と式８（または式９）を交互に併用する。その際に、式８は既知画像４００の画像濃淡値を境界条件として拾う。その後、式８（または式９）だけで時間積分して補正領域内４１０に境界条件から拾った画像濃淡値を伝播、拡散させる。しかしながら、エッジ情報を取り出す計算過程と拡散効果が弱いため、所定の距離を伝播させるために、時間積分は等方拡散方程式の場合の数十倍以上と長くかかるという問題がある。また、画質についても、逆にエッジが不自然に残ってしまうため、既知画像４００との不連続さが目立つという問題がある。また、異方拡散方程式を用いた場合、補正領域内４１０において時間積分回数を収束条件から決定することは困難である。

以下に示す式１０は、本実施形態で用いられる等方拡散方程式である。

また、式１０の等方拡散方程式を離散化表現すると以下の式１１となる。

Ｋは拡散係数相当であって、λは拡散係数である。また、式１０の左辺は画像濃淡値Ｉに関しての時間変化項、右辺は空間２次微分項である。等方拡散は、拡散係数λの大きさと、単位時間当りの初期の画像濃淡値とを薄めながら、その面積を広げていく効果がある。

ここで、式１１の等方拡散方程式を適用する際に、拡散係数λと時間積分回数とを、決定（設定）する必要がある。拡散係数λおよび時間積分回数は、経験などにもとづいて、所定の値をそれぞれ固定的に設定することが考えられるが、補正される画像の画質に不均一さが目立つ危険性がある。そこで、本実施形態では、補正を行う補正領域（欠落画素領域）の平均補正距離基づいて、拡散係数λおよび時間積分回数を決定する。まず、画像補正部１８は、拡散係数を決定するために、平均補正距離を算出する。

図９は、平均補正距離の算出方法を説明するための図である。まず、画像補正部１８は、補正領域９１を囲む、最大円９２を特定する。そして、画像補正部１８は、円の中心点９３から補正領域９１外周までの距離（補正距離）９４を、複数サンプリングする。そして、画像補正部１８は、サンプリングした複数の補正距離の平均値を算出し、平均補正距離とする。

図１０は、拡散係数と平均補正距離との関係を示す拡散係数決定グラフの一例である。拡散方程式は線形であるため、画像を伝播する距離（平均補正距離）と拡散係数の大きさとの間も比例関係にある。そのため、事前に画像を用いて予備実験を行うことにより、図１０に示すような拡散係数と平均補正距離との関係を示すグラフを容易に作成することができる。なお、画像補正装置１のメモリまたは外部記憶装置には、拡散係数決定グラフ（または当該グラフから作成される拡散係数と平均画像距離の対応表）が記憶されているものとする。画像補正部１８は、メモリ等に記憶された拡散係数決定グラフを参照し、平均補正距離に対応する拡散係数を決定する。

図１１は、拡散係数と時間積分回数との関係を示す時間積分数回数決定グラフの一例である。平均補正距離が大きくなると、それに比例して時間積分回数も多くする必要がある。逆にいえば、拡散係数と時間積分回数とは反比例の関係にあり、拡散係数が大きい場合は、時間積分回数は少なくて済む。そのため、事前に画像を用いて予備実験を行うことにより、図１１に示すような拡散係数と時間積分回数との関係を示すグラフを容易に作成することができる。なお、画像補正装置１のメモリ等には、時間積分回数決定グラフ（または当該グラフから作成される拡散係数と時間積分回数の対応表）が記憶されているものとする。画像補正部１８は、メモリ等に記憶された時間積分回数決定グラフを参照し、図１０で決定した拡散係数に対応する時間積分回数を決定する。

本実施形態では、等方拡散方程式を用いることにより、計算速度が向上するとともに、補正を均質化し画質を向上することができる。また、拡散係数および時間積分回数を平均補正距離に応じて決定することにより、高品質の画質を確保し、収束条件（時間積分回数）を与えることができる。

次に、マクロ・テクスチャ生成補間方法について説明する。

図１２は、マクロ・テクスチャ生成補間方法を説明する図である。本実施形態のマクロ・テクスチャ生成補間方法（Li-Yi Wei and M.Levoy,“Texture systhesis over arbitrary manifold surfaces”, Proceeding of SIGGRAPH 2001, pp.355-360, Aug.2001を参照）によれば、元となる小さい面積のテクスチャ構造に富んだ画像５００があるとすると、大きい面積の画像５１０を小さい面積の画像５００からテクスチャの模様の自然な連続性を保ちながら生成補間することができる。生成方法は、画像５００の中から複数画素で構成されたＬ字型オペレーター５２０を取得し、このＬ字型オペレーター５２０を画像５１０の所定の場所にコピーするものである。元となる小さい画像５００を反復的に使用することにより（取得されるＬ字型オペレーター５２０は、毎回異なる複数画素で構成される）、画像５１０を生成するものである。

マクロ・テクスチャ生成補間方法は、その名称の通り、粗いテクスチャの表現が得意であり、揺らぎのある有機的な繰り返しパターンに有効であるとともに、処理時間が速いという特長を有する。

画像補正部１８は、画像細かさ検出部１７が図７のＳ３０（画像の細かさ判定）において、粗い画像と判別した場合、上述のマクロ・テクスチャ生成補間方法を用いて欠落画素領域の補正を行う。なお、図６に示す画像においては、画像補正部１８は、欠落画素領域６１０の近傍に、Ｌ字型オペレーター６３０を設定する。

上述した画像補正処理の後、表示部１９は、欠落画素領域が画素単位に補正された画像を、バッファから読み出して出力装置に表示する。すなわち、表示部１９は、図３に示すように、パケットロスの発生により画像の中に穴があいたような不自然な画質の欠落画素領域３１０が補正された後の画像３２０を表示する。これにより、違和感のない高品質の画像を表示することができる。

図１３および図１４は、画質評価実験の結果をグラフ化したものである。

図１３は、画像の動き速度を、遅いものから速いものへと変化させて実験したグラフである。縦軸はＭＯＳ(Mean Opinion Score)であって、横軸は画像の動き速度である。ＭＯＳは、主観評価であって、図示する例では「５（画質上問題なし）」から「１（非常に気になる）」までの５段階で評価している。実験は、被験者５人各々が、動き速度の異なる各動画像を３回ずつみて評価したものである。

図１３では、本実施形態の画像補正装置１を用いて欠落画素領域を補正した場合１３１、動き速度が速い画像であっても、急激にＭＯＳが低下することなく、高いＭＯＳを確保できる（すなわち画質の劣化を極力抑制できる）ことを示している。一方、誤り訂正技術を用いて欠落画素領域を補正した場合１３２、動き速度が速い画像では、急激にＭＯＳが低下してしまうことを示している。なお、誤り訂正技術では、欠落画素を、過去の画像フレームの対応する画素に単純に置き換えて補正したものである。

図１４は、画像模様（テクスチャ）の細かさを、粗いものから細かいものへと変化させて実験したグラフである。縦軸は図１３と同様のＭＯＳであって、横軸は画像模様の細かさである。図１４では、本実施形態の画像補正装置１を用いて欠落画素領域を補正した場合１４１、画像模様が細かい画像であっても、急激にＭＯＳが低下することなく、高いＭＯＳを確保できる（すなわち画質の劣化を極力抑制できる）ことを示している。一方、誤り訂正技術を用いて欠落画素領域を補正した場合１４２、画像模様が細かい画像では、急激にＭＯＳが低下してしまうことを示している。

以上説明した本実施形態では、過去の画像フレームを用いることなく、パケットロスによる欠落画素領域を、当該領域近傍の画像に基づいて画素単位に補正する。これにより、動きが速い動画像や画像模様が細かい画像であっても、画像の劣化を極力抑制し、視覚的に違和感のない高品質の画像を表示することができる。

また、本実施形態では、パケットロスを検出して欠落画素位置を特定した後、受信したパケットを２次元配列でバッファリングする。これにより、欠落画素領域の近傍の画像を特定し、偏微分方程式の既知の画像４００および補正画像４１０を取得することができる。

また、本実施形態の偏微分方程式では、等方拡散方程式を用いる。これにより、計算速度が向上するとともに、補正を均質化し画質を向上することができる。また、拡散係数および時間積分回数を平均補正距離に応じて決定することにより、高品質の画質を確保し、収束条件（時間積分回数）を与えることができる。

この結果、本発明は、ブロードバンド時代の新しい映像通信技術および画像変換技術の中核となるものであり、デジタルカメラ、デジタルビデオ、デジタルテレビをはじめとするデジタル画像機器において、家庭からプロ仕様まで幅広く利用されることが考えられる。

なお、本発明は上記の実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。例えば、上記実施形態では、１つの画像に１つの欠落画素領域が存在する場合を例に説明した（図３参照）。しかしながら、本発明はこれに限定されず、１つの画像に複数の欠落画素領域が点在する場合であってもよい。この場合、各欠落画素領域の近傍の画像の細かさに応じて、ミクロ・テクスチャ生成補間方法およびマクロ・テクスチャ生成補間方法を混在させて画像を補正することが考えられる。

本発明の一実施形態が適用された画像補正装置の全体構成を示す図である。 誤り訂正技術により、欠落画素領域を補正した例である。 画像補正装置により、欠落画素領域を補正した例である。 パケットロスの検出方法を説明するための図である。 バッファリング処理を説明するための図である。 ２次元配列でバッファに記憶された画像の一例である。 画像細かさ検出部のフローチャートである。 ミクロ・テクスチャ生成補間方法を説明する図である。 等方拡散方程式の平均補正距離を説明するための図である。 等方拡散方程式の拡散係数を決定するグラフである。 等方拡散方程式の時間積分回数を決定するグラフである。 マクロ・テクスチャ生成補間方法を説明する図である。 画像の動き速度を変化させた画質評価実験結果をグラフ化した図である。 画像の細かさを変化させた画質評価実験結果をグラフ化した図である。

符号の説明

１：画像補正装置、１１：画像入力部、１２：画像蓄積部、１３：デコード部、１４：パケットロス検出部、１５：欠落画素特定領域、１６：バッファリング部、１７：画像細かさ検出部、１８：画像補正部、１９：表示部

Claims (9)

1. 画像補正装置であって、
   ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出手段と、
   画像の中で前記エラーデータの表示部分である欠落領域を特定する特定手段と、
   前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する第１の補正手段と、を備えること
   を特徴とする画像補正装置。
2. 請求項１記載の画像補正装置であって、
   前記受信した複数の画像データを、２次元に記憶するバッファ記憶手段と、
   前記画像データ各々を、当該画像データのアドレス情報に基づいて、前記バッファ記憶手段の所定の位置に記憶するバッファリング手段と、をさらに有し、
   前記第１の補正手段は、前記画像データが２次元に記憶されたバッファ記憶手段を読み出して、前記欠落領域の周辺に表示される周辺画素を特定すること
   を特徴とする画像補正装置。
3. 請求項１記載の画像補正装置であって、
   前記第１の補正手段は、前記周辺画素に対して偏微分方程式を適用し、前記欠落領域の画素を当該欠落領域の外側から内側へと生成して前記欠落領域を画素単位に補正し、
   前記偏微分方程式は、拡散系方程式にもとづいており、計算格子面で離散化して適用されること
   を特徴とする画像補正装置。
4. 請求項３記載の画像補正装置であって、
   前記第１の補正手段は、前記欠落領域を囲む円を特定し、当該円の中心から前記欠落領域外周までの平均補正距離を算出し、算出した平均補正距離に応じて前記拡散系方程式の拡散係数を決定すること
   を特徴とする画像補正装置。
5. 請求項１記載の画像補正装置であって、
   前記欠落領域の周辺に表示される周辺領域の画像の細かさを検出し、当該周辺領域がミクロテクスチャかマクロテクスチャかを判別する判別手段と、
   マクロテクスチャと判別された場合、前記欠落領域の近傍の複数画素で構成された各パターンを反復的に使用して生成補間するマクロテクスチャ補間方法を用いて、前記欠落領域を補正する第２の補正手段と、をさらに有すること
   を特徴とする画像補正装置。
6. 請求項１記載の画像補正装置であって、
   前記マクロテクスチャ補間方法で反復的に使用される各パターンは、Ｌ字型を有すること
   を特徴とする画像補正装置。
7. 請求項１記載の画像補正装置であって、
   前記判別手段は、周辺領域の画像の細かさを、当該周辺領域の画像濃淡値の空間１次微分値および空間２次微分値のうち、少なくともいずれか一方に基づいて判別すること
   を特徴とする画像補正装置。
8. 情報処理装置が行う画像補正方法であって、
   前記情報処理装置は、
   ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出ステップと、
   画像の中で前記エラーデータの表示部分である欠落領域を特定する特定ステップと、
   前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する補正ステップと、を行うこと
   を特徴とする画像補正方法。
9. 情報処理装置が実行する画像補正プログラムであって、
   前記情報処理装置に、
   ネットワークを介して受信した複数の画像データの中から、エラーデータを検出する検出ステップと、
   画像の中で前記エラーデータの表示部分である欠落領域を特定する特定ステップと、
   前記欠落領域の周辺に表示される周辺画素を特定し、当該周辺画素に基づいて、前記欠落領域の画素を当該欠落領域の外側から内側へと生成し、前記欠落領域を画素単位に補正する補正ステップと、を実行させること
   を特徴とする画像補正プログラム。