JP2008300990A - 画像修復方法及び画像修復装置 - Google Patents

Abstract

【課題】不連続な濃度変化が伴う画像でも良好な欠損画素の修復が行えるようにする。
【解決手段】画像データ中の欠損画素の位置を特定し、その特定した欠損画素とその周辺の画素を含む第１の領域を抽出する。そして、抽出した第１の領域での画素配列と類似した領域を、第２の領域として抽出する。そして、第１の領域中の特定された欠損画素位置の所定方向の複数の近傍画素の輝度値を判断し、第２の領域中の画素の中で、判断した複数の近傍画素の輝度値配列に近い輝度値配列の画素の組を類似画像領域として抽出する。さらに、第１の領域での複数の近傍画素と欠損画素との位置関係と同様の位置関係で、抽出された第２の領域の特定の画素を目標画素として取り出し、取り出した目標画素の輝度値を、欠損画素の輝度値とする。
【選択図】図４

Description

本発明は、画像データ中に存在する欠損画素を修復する画像修復方法及びその修復処理を行う画像修復装置に関する。

従来、画像中にスーパーインポーズされた文字などのテロップや、古い写真などに存在する傷などの、不要な箇所が存在するとき、その不要な箇所（例えばテロップや傷）があたかも存在していなかったように復元したい場合が多々ある。

このような画像中の不要な領域を除外する場合の最も簡単な処理手法としては、例えば、不要領域内の画素の輝度値を、その不要領域に隣接する画素の輝度値に置き換えてしまう手法がある。このようにすることで、例えば空色などの背景画像中に存在する白色や黒色などの文字や傷は、少なくとも背景の色に置き換えられ、それなりの除去が行える。

特許文献１には、従来の欠損画素補正技術の一例についての記載がある。
特開２００５−１８４３０７号公報

ところが、従来の欠損画素補正処理は、基本的に欠損画素の近傍の画素に輝度から、欠損画素の輝度値を推定するものであり、画像中の背景などの比較的濃度変化が少ない箇所ではそれなりに効果があるが、不連続な濃度変化がある箇所では、正しく欠損画素を修復することができないという問題があった。

本発明はかかる点に鑑みてなされたものであり、不連続な濃度変化が伴う画像についても良好な欠損画素の修復が行えるようにすることを目的とする。

本発明は、画像データ中の欠損画素の位置を特定し、その特定した欠損画素とその周辺の画素を含む第１の領域を抽出する。そして、抽出した第１の領域での画素配列と類似した領域を画像データから検出し、検出された類似領域を、第２の領域として抽出する。そして、第１の領域中の特定された欠損画素位置の所定方向の複数の近傍画素の輝度値を判断し、第２の領域中の画素の中で、判断した複数の近傍画素の輝度値配列に近い輝度値配列の画素の組を類似画像領域として抽出する。さらに、第１の領域での複数の近傍画素と欠損画素との位置関係と同様の位置関係で、抽出された第２の領域の特定の画素を目標画素として取り出し、取り出した目標画素の輝度値を、欠損画素の輝度値とするようにしたものである。

本発明によると、欠損画素位置の周囲の画素の輝度状態の配列に近い輝度配列状態の画素の組が抽出されて、その輝度値で補正されるので、同一画像中に、欠陥画素位置の近傍の領域と類似した輝度状態の個所が存在すれば適正に補正されることになり、不連続な濃度変化がある個所の欠陥画素についても良好に補正することが可能になる。

この場合、類似画像領域は、複数の近傍画素の配列方向とは異なる方向からも抽出することで、同一画像に存在する種々の方向の類似画像成分から、欠損画素の推定が行われることになり、より良好な補正が可能になる。

また、複数の配列方向の類似画像領域ごとに得られた目標画素の輝度値の平均を、欠損画素の輝度値としたことで、各方向から探索された候補画素の輝度値を平均的に利用した欠損画素の補正値が得られることになり、方向に依存しない良好な補正値が得られるようになる。

また、欠損画素に対する複数の近傍画素は、欠損画素の上下左右のいずれか１つの方向の近傍の画素であることで、欠損画素が隣接して多数存在する場合に、隣接して欠損画素が存在しない方向の近傍の画素を選ぶことで、複数の欠損画素の補正を良好に行うことが可能になる。

以下、本発明の一実施の形態を、添付図面を参照して説明する。
まず、本発明の一実施の形態の処理が実行される画像処理装置の構成を、図１を参照して説明する。

図１に示すように、画像入力端子１１に得られる画像データを画像入力部１２に供給し、この画像入力部１２で入力処理を行う。ここで入力処理される画像データとしては、例えば１画素ごとに赤色Ｒ，緑色Ｇ，青色Ｂの原色の輝度値を持つデータである。輝度値としては、例えば１つの色データが１２８階調の輝度値を持つものとする。後述説明で輝度値の算出などと述べた場合には、この各原色の輝度値を個別に算出する処理を示している。

画像入力部１２で入力処理された画像データは、画像処理部１３に供給し、この画像処理部１３に接続されたフレームメモリ１４に記憶させた上で、必要な画像処理を行う。欠損画素の修復処理についても、画像処理部１３で行われる。画像処理部１３での画像処理は、制御部１７での制御に基づいて行われる。制御部１７には、操作キーなどで構成される操作部１８からの操作指令が供給される。後述する欠損画素修復処理では、例えば欠陥画素を操作者が指定する必要がある際には、操作部１８を使用して操作を行う。

画像処理部１３で処理済みの画像データは、画像出力部１５に供給して出力処理を行い、画像出力端子１６から出力させる。また、画像出力部１５に得られる画像データを、表示部１９に供給して、画像を表示させる。この表示部１９で表示される画像で、欠損画素の修復状態などを操作者が確認することができる。

なお、図１に示した装置の処理構成は、一例を示したものであり、例えばパーソナルコンピュータ装置などの汎用の情報処理装置を使用して、その情報処理装置に画像処理用のソフトウェアをインストールして、同様の処理を行う構成を組むようにしてもよい。また、図１の構成では、メモリとしてフレームメモリ１４を備えて、１フレーム（１枚）の静止画像データを処理する構成としてあるが、動画像を扱う場合には、メモリを対応した記憶容量のものとして、フレーム周期で順に入力される画像データを処理できる構成とすれば対処可能である。

次に、図１に示した処理構成で実行される、本例の欠損画素の修復処理について説明する。
まず、図２のフローチャートを参照して、本例の欠損画素の修復処理の全体の流れを説明する。この欠損画素の修復処理は、例えは制御部１７の制御で実行される。
図２に基づいて説明すると、画像入力部１２で入力処理された画像データ中の修復させたい欠損画素の位置が特定されると、その欠損画素を中心にした、欠損画素と周辺画素とで構成される領域（ブロック）を抽出する（ステップＳ１）。以下の説明では、この欠損画素を含む領域を第１の領域と称する。ここでの第１の領域としては、例えば、欠損画素を中心として、縦横共に数画素から数十画素程度の比較的少ない画素数で構成される四角形の領域である。

その後、同一の画像中から、第１の領域内の画素の輝度値の変化状態の配列と類似した領域を探す処理を行い、最も近い配列の領域を抽出する（ステップＳ２）。以下の説明では、この探索された領域を、類似領域又は第２の領域と称する。第２の領域の画素数は、第１の領域の画素数と同じである。なお、第２の領域を探索する際には、ここでは第１の領域と同じ方向から見て類似している領域を探索するようにしてあり、上下や左右が反転した領域は除外するようにしてある。但し、上下や左右が反転した領域についても、探索する領域を含めるようにしてもよい。

その後、第１の領域での欠損画素の近傍の画素変化と類似した変化がある箇所を、抽出された第２の領域内から探索して、最も類似している箇所（近傍領域）を抽出する（ステップＳ３）。この近傍領域の抽出処理の詳細については後述する。
そして、第２の領域から抽出された近傍領域の画素値を使用して、第１の領域の欠損画素の画素値に割り当て、欠損画素を修復する（ステップＳ４）。

ここまでの処理が行われると、処理中の画像に、他の欠損画素があるか否か判断し（ステップＳ５）、他の欠損画素がある場合には、ステップＳ１に戻って、他の欠損画素について同様の処理を繰り返す。処理中の画像中の全ての欠損画素の修復が完了した場合には、ここでの修復処理を終了する。

ここで、ステップＳ２での類似領域（第２の領域）の探索状態の例を、図３の画像を例にして説明する。図３の例では、欠損画素が存在する領域（第１の領域）として、ｘ１，ｘ２，ｘ３などの領域が存在しているとする。図３例では、各領域ｘ１，ｘ２，ｘ３は、複数の画素が欠落した状態である。図面では、各領域のほぼ中央の白い四角の範囲が、欠損画素の部分を示している。

そして、各領域ｘ１，ｘ２，ｘ３の欠損画素以外の部分の画素配列と類似した画素配列を有する領域（第２の領域）を、同一の画像中から探索する。図３例では、領域ｘ１に類似した第２の領域として、領域ｙ１が探索される。同様に、領域ｘ２に類似した第２の領域として領域ｙ２が探索され、領域ｘ３に類似した第２の領域として領域ｙ３が探索される。このようにして、欠損画素が存在する領域ごとに、その領域に類似した領域が探索される。

このように類似領域（第２の領域）が探索されると、次に、欠損画素が存在する領域内の欠損画素が、第２の領域の画素配列に基づいて復元される。
図４のフローチャートは、この欠損画素の輝度値の復元処理例を示したものである。この図４のフローチャートの処理は、図２のフローチャートのステップＳ３及びＳ４での処理に相当する。この図４のフローチャートの処理が図１に示す構成で実行される際には、制御部１７の制御に基づいて、フレームメモリ１４に記憶された１フレームの画像データを使用して、画像処理部１３で欠損画素の復元処理が行われる。

まず、処理を行う欠損画素位置を特定する（ステップＳ１１）。欠損画素が特定されると、その特定された欠損画素に対する近傍画素群を抽出する（ステップＳ１２）。欠損画素に対する近傍画素群の位置関係としては、後述する図６（ａ）に示した欠損画素Ｐ１に対する近傍画素群Ｐ１０の位置関係とする。即ち、欠損画素Ｐ１に対して、１つの側（図６では上側）の７方向の最も近い距離の画素Ｐ１１〜Ｐ１７を選ぶ。原則として近傍画素群Ｐ１０の中には欠損画素が存在しないように、近傍画素群を選定する。但し、欠損画素の復元処理で既に復元された画素については含むようにしてもよい。

近傍画素群が抽出されると、図２のフローチャートのステップＳ２で説明した処理で、既にその欠損画素について探索されて登録された類似領域（第２の領域）を読み出す（ステップＳ１３）。そして、欠損画素の近傍画素群と同様の輝度値の配列となっている類似画素群を、類似領域から探索する探索処理を行う。その探索処理を行う場合には、探索方向を設定する。探索方向の具体的な例については後述するが（図１０参照）、π／４ずつ回転させた８方向の探索（即ち上下左右の４方向と４５°ずれた斜めの４方向の合計８方向の探索）を行うようにしてあり、その８方向を１つずつ順に設定して探索を行う。

このため、最初に１つの探索方向を設定し（ステップＳ１４）、その探索方向での近傍画素群と類似した類似画素群を探す処理を行う。この探索処理で、類似した画素群があるか否か判断し（ステップＳ１５）、類似した画素群がある場合には、その類似画素群内の各画素の輝度値と、その類似画素群に隣接した候補画素（図６（ｂ）の推定画素Ｐ２）を登録する（ステップＳ１６）。

そして、ステップＳ１６で類似画素群と推定画素とを登録した後、又はステップＳ１５で類似画素群がないと判断した後には、全ての方向の探索が終了したか否か判断し（ステップＳ１７）、探索が終了してない場合には、探索方向を変更した上で（ステップＳ１８）、ステップＳ１５に戻って別の方向の探索を行う。

ステップＳ１７で全ての方向の探索が終了したと判断すると、ステップＳ１６で登録された各方向で探索された類似画素群の中から、欠損画素の近傍画素群に最も近い画素群を選定する（ステップＳ１９）。そして、その選定した画素群に隣接した候補画素（推定画素）の各色の輝度値を、欠損画素の各色の輝度値に選定する（ステップＳ２０）。このように選定することで、欠損画素が選定された輝度値で復元される。

このようにして、１フレームの画像中の各欠損画素について、順に復元処理が行われる。

次に、図６を参照して、図４のフローチャートで説明した欠損画像復元処理の原理を説明する。
図６（ａ）及び（ｂ）は、それぞれ１フレームの画像中の一部の領域（ブロック）だけを示したものであり、図６（ａ）は、欠損画素が存在する領域（欠損画像領域）を示し、図６（ｂ）は、欠損画素を補正する上で必要な類似画像領域を示す。類似画像領域そのもの探す処理自体は、後述する具体的な処理構成の中で説明する。

まず、図６（ａ）に示すように、欠損画像領域内の特定の１つの画素が、欠損画素Ｐ１であり、その欠損画素Ｐ１については輝度などのデータがないものとする。このとき、本例においては、その欠損画素に隣接する、所定方向（図６の例では上方向）に隣接する複数の画素を、近傍画素群Ｐ１０としてあり、近傍画素群Ｐ１０内の各画素Ｐ１１〜Ｐ１７の各色の輝度のデータを記憶する。

図６例では、近傍画素群Ｐ１０内の各画素Ｐ１１〜Ｐ１７と欠損画素Ｐ１との位置関係としては、各画素Ｐ１１〜Ｐ１７に対して、上側になる７つの方向（図６（ａ）で矢印で示す７方向）で最短の距離に位置する画素を選ぶようにしてある。

このように欠損画素Ｐ１に対する近傍画素群Ｐ１０を選んだ後に、同一フレーム内で、近傍画素群Ｐ１０の輝度状態が類似（近似）した画素群を探索する処理を行う。ここで本例の場合には、類似した画素群を探索する範囲として、予め欠損画素の周囲の領域（第１の領域）と類似した領域（第２の領域）を探し出すようにしてあり、その第２の領域を探索する範囲として設定する。
図６の例では、第２の領域からの探索処理で、図６（ｂ）に示した画素群（類似画素群）Ｐ２０が検出されたものとする。類似画素群Ｐ２０は、近傍画素群Ｐ１０と同一の配置関係の複数の画素Ｐ２１〜Ｐ２７で構成される画素群である。但し、配置方向は異なる場合がある。

近傍画素群Ｐ１０に対する類似画素群Ｐ２０としては、例えば各画素のデータが、赤色Ｒ，緑色Ｇ，青色Ｂごとに所定階調の輝度値を持つデータであるとすると、近傍画素群Ｐ１０内の各画素Ｐ１１〜Ｐ１７と、類似画素群Ｐ２０内の各画素Ｐ２１〜Ｐ２７との輝度状態が完全に一致する場合の他に、各色ごとにある程度の階調の範囲で一致する場合も含むものとする。

このようにして類似画素群Ｐ２０が検出されると、近傍画素群Ｐ１０と欠損画素Ｐ１との位置関係と同様になる位置関係で、類似画素群Ｐ２０に隣接した推定画素Ｐ２を、欠陥画素復元候補画素として取り出す。このようにして取り出した推定画素Ｐ２のデータを使用して、欠損画素Ｐ１のデータを復元する処理を行う。

また、上述した図４のフローチャートの例では、各方向で探索された画像群の中で、欠損画素の近傍画素に最も近い画素群を第２の領域から選択して、その画素群に隣接した候補画素を、欠損画素の輝度値に選定するようにしたが、各方向で探索された画像群に隣接する候補画素の輝度値を平均化して、その平均化された輝度値を、欠損画素の各色の輝度値とするようにしてもよい。

図５のフローチャートは、この平均化を行う場合の処理例を示したものである。図５のフローチャートにおいて、ステップＳ１１からステップＳ１８は、図４のフローチャートと同様の処理であり、説明を省略する。ステップＳ１７で全ての方向の探索を終了したと判断した場合に、ステップＳ１９′に移り、検出された各方向の類似画素群に隣接する候補画素の平均値を算出する。そして、その算出された平均値を、欠損画素の各色の輝度値に選定し（ステップＳ２０′）、ここでの欠損画素の復元処理を終了する。

この図５のフローチャートに示すように平均化することで、同一画像内の各方向の類似した画素群の平均が得られ、１つの方向だけから検出する場合に比べて、より精度の高い欠損画素補正が可能になる。図５では、各方向の類似した画素群に隣接した候補画素の単純な平均を、各色の輝度値とするようにしたが、各方向の候補画素の輝度値を、輝度の高い順に配列させて、その配列中の予め決めた特定位置の輝度値（例えば中間の配列位置など）を選ぶようにしてもよい。

なお、図６（ａ）に示した欠損画素及び近傍画素群と図６（ｂ）に示した類似画素群との位置関係は、配列方向が同一の場合（あるいは９０°単位でシフトした場合）の例であるが、欠損画素及び近傍画素群と、類似画素群との位置関係（方向）がπ／４回転（４５°シフト）している場合には、類似画素群は例えば図７に示す配列の類似画素群Ｐ２０′で探索すればよい。この図７の類似画素群Ｐ２０′の場合でも、それぞれの画素Ｐ２１〜Ｐ２７は、推定画素Ｐ２に対して、各方向で最短の距離に位置する画素である。４５°シフトした場合から９０°ずつシフトした１３５°，２２５°，３１５°のシフト位置の場合も同様の位置関係で設定可能である。

図４又は図５のフローチャートに示した処理で、欠損画素の補正値を得る処理を行うことで、欠損画素の近傍の画素群の状態と近似した画素群が探索されて、その探索された画素群から欠損画素の各色の輝度値を推定する処理を行うようにしたので、非常に精度の高い欠損画素補正が行える。しかも、複数の方向から類似画素群を抽出して、欠損画素を推定するので、同一画像中の各方向の類似成分から、欠損画素が推定される。

なお、欠損画素が複数隣接して存在する場合には、それぞれの欠損画素について、隣接画素群を判断して、それぞれの隣接画素群に基づいて欠損画素を判断すればよい。即ち、例えば図８に示すように、２つの欠損画素Ｐ１，Ｐ１′が連続して存在する場合には、まず１つの欠損画素Ｐ１について、その隣接画素群Ｐ１０を抽出して、類似画素群から欠損画素Ｐ１を推定する処理を上述した処理で行った後、別の欠損画素Ｐ１′について、その隣接画素群Ｐ１０′を抽出して、類似画素群から欠損画素Ｐ１′を推定する処理を同様に行うようにすればよい。欠損画素がある程度の面積で連続してある場合には、その欠損した画素群で構成される欠損範囲の外縁部に位置する画素から順に、隣接画素群を取り出して推定する処理を行い、順に内側の画素の処理に移って行くようにすれば、対処可能である。この場合、欠損範囲の内側の画素の推定時には、その画素の隣接画素群の中の画素の一部又は全てが、先に行われた欠損画素の推定処理で推定された画素である場合がある。

また、ここまで説明した１フレームの画像データを符号化するデータ構成としては、例えば図９に示すように、１フレーム内を複数のブロックｂ１１〜ｂ１９，ｂ２１〜ｂ２９，ｂ３１〜ｂ３９，‥‥‥で構成し、それぞれのブロック内に縦横所定数にマトリクス状に画素が配置されている構成が想定される。このような場合、いずれかのブロックの特定画素に欠損がある場合には、類似領域の探索処理として、ブロック単位で探索する場合と、各ブロックの境界を跨ぐようにしてブロック位置に関係なく１フレーム内の全ての画素から類似画素群を探索する場合のいずれでもよい。即ち、図２のフローチャートで説明した第１の領域や第２の領域を設定する際に、この符号化の単位のブロック（１つのブロック又は隣接する複数のブロック）を利用して設定するか、或いは、符号化のブロックとは無関係に、常に欠損画素などを中心とした領域を設定する場合でも、いずれでもよい。

図４又は図５のフローチャートの説明では、近傍画素群と類似した画素群の探索方向を複数設定すると説明したが、次に、その複数の探索方向の具体的な設定例を、図１０及び図１１を参照して説明する。図１０（ａ）〜（ｈ）は、８方向に探索方向を設定する場合のそれぞれの例を示したものである。
図１０（ａ）は、上から水平に探索を行う場合の例である。この図１０（ａ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ａ）に示す位置関係となる。
図１０（ｂ）は、右上から斜めに探索を行う場合の例である。この図８（ｂ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図９（ｂ）に示す位置関係となる。
図１０（ｃ）は、左側から垂直に探索を行う場合の例である。この図１０（ｃ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ｃ）に示す位置関係となる。
図１０（ｄ）は、左下から斜めに探索を行う場合の例である。この図８（ｄ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ｄ）に示す位置関係となる。
図１０（ｅ）は、右側から垂直に探索を行う場合の例である。この図１０（ｅ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ｅ）に示す位置関係となる。
図１０（ｆ）は、下から水平に探索を行う場合の例である。この図８（ｆ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図９（ｆ）に示す位置関係となる。
図１０（ｇ）は、左上から斜めに探索を行う場合の例である。この図１０（ｇ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ｇ）に示す位置関係となる。
図１０（ｈ）は、右から斜めに探索を行う場合の例である。この図１０（ｈ）の例の場合には、類似画素群Ｐ２０と推定画素Ｐ２との位置関係は、図１１（ｈ）に示す位置関係となる。
このように８つの方向について類似画素群と推定画素を探索することで、欠損画素を復元するための探索が多くの方向で行われ、非常に精度のよい欠損画素の推定が可能になる。なお、この図１０及び図１１に示した８つの方向の探索を行うのは一例であり、例えばπ／２ずつ回転させた４つの方向の探索だけを行うようにしてもよい。

図１２は、本例の欠損画素復元処理を実際の画像に対して適用した例を示したものである。図１２（ａ）は、欠損のない原画像を示し、この原画像に擬似的に欠損領域（白く抜けた領域）を設けたものが、図１２（ｂ）の例である。この図１２（ｂ）に示すように欠損のある画像に対して、従来から提案されている欠損画素復元処理を適用した１つの例が、図１２（ｃ）である。そして、図１２（ｂ）に示すように欠損のある画像に対して、本例の欠損画素復元処理を適用した例が、図１２（ｄ）の画像である。この例では、それぞれの欠損領域は、ある程度の面積を持つ複数画素で構成される領域となっている。

図１２（ｃ）の従来手法の画像と、図１２（ｄ）の本例の手法による画像とを比較すると判るように、本例の手法の方が良好な復元が行われている。例えば、補正前の画像である図１２（ｂ）の画像に丸で囲って示すように、左上の欠損領域の補正状態に注目すると、図１２（ｃ）に示す従来手法の画像では、縞模様が乱れた状態で復元されているのに対して、図１２（ｄ）に示す本例の手法での復元画像では、図１２（ａ）に示す原画像とほぼ同様の縞模様が復元され、非常に精度の高い復元が行われていることが判る。他の欠損領域についても同様である。

図１２の例では、画素が欠落した場合の例であるが、例えば原画像にスーパーインポーズされた文字などを消去するために、その文字の領域を欠損画素領域として、文字が消された画像を復元する処理にも適用可能である。

なお、上述した実施の形態の説明で、図６や図７に示した類似画素群や近傍画素群の画素範囲については、一例を示したものであり、その他の画素の組み合わせで、類似画素群や近傍画素群を設定するようにしてもよい。

また、上述した実施の形態では、欠陥画素の復元を行う装置を、図１に示した欠損画像復元処理構成で行うようにしたが、この構成は一例であり、同様な画像処理を行う他の装置構成としてもよい。また、コンピュータ装置に上述した処理を行うソフトウェア（プログラム）をインストールして、そのコンピュータ装置に入力した欠陥画素の復元を行うようにしてもよい。そのソフトウェアについては、各種ディスクなどの記憶媒体を使用して配布する他に、インターネットなどの通信手段を介してダウンロードさせるようにしてもよい。

本発明の一実施の形態による処理構成例を示すブロック図である。 本発明の一実施の形態による類似領域の探索処理例を示すフローチャートである。 本発明の一実施の形態による類似領域の設定例を示す説明図である。 本発明の一実施の形態による欠損画素の復元処理例を示すフローチャートである。 本発明の一実施の形態の変形例の処理を示すフローチャートである。 本発明の一実施の形態による欠損画素と類似画素との関係を示す説明図である。 本発明の一実施の形態による隣接領域を回転させた例を示す説明図である。 連続して欠損画素がある場合の例を示す説明図である。 １フレームの画像ブロックの例を示す説明図である。 本発明の一実施の形態による探索方向の例を示す説明図である。 本発明の一実施の形態による各方向の近傍画素の例を示す説明図である。 本発明の一実施の形態による補正画像の例を示す説明図である。

符号の説明

１１…画像入力端子、１２…画像入力部、１３…画像処理部、１４…フレームメモリ、１５…画像出力部、１６…画像出力端子、１７…制御部、１８…操作部、１９…表示部、Ｐ１…欠損画素、Ｐ２…推定画素、Ｐ１０…近傍画素群、Ｐ２０…類似画素群

Claims (5)

1. 画像データ中の欠損画素の位置を特定し、
   前記特定した欠損画素とその周辺の画素を含む第１の領域を抽出し、
   前記抽出した第１の領域での画素配列と類似した領域を、前記画像データから検出し、検出された類似領域を、第２の領域として抽出し、
   前記第１の領域内の前記特定された欠損画素位置の所定方向の複数の近傍画素の輝度値を判断し、
   前記第２の領域内の画素の中で、前記判断した複数の近傍画素の輝度値配列に近い輝度値配列の画素の組を類似画像領域として抽出し、
   前記第１の領域の複数の近傍画素と前記欠損画素との位置関係と同様の位置関係で、前記抽出された第２の領域の特定の画素を目標画素として取り出し、
   前記取り出した前記第２の領域の目標画素の輝度値を、前記第１の領域の欠損画素の輝度値とすることを特徴とする
   画像修復方法。
2. 請求項１記載の画像修復方法において、
   前記第２の領域の類似画像領域は、前記第１の領域の複数の近傍画素の配列方向とは異なる方向からも抽出することを特徴とする
   画像修復方法。
3. 請求項２記載の画像修復方法において、
   前記第２の領域の複数の配列方向の類似画像領域ごとに得られた目標画素の輝度値の平均を、前記１の領域の欠損画素の輝度値としたことを特徴とする
   画像修復方法。
4. 請求項１記載の画像修復方法において、
   欠損画素に対する複数の近傍画素は、欠損画素の上下左右のいずれか１つの方向の近傍の画素であることを特徴とする
   画像修復方法。
5. 画像データ中の欠損画素の位置を特定し、その特定した欠損画素とその周辺の画素を含む第１の領域を抽出する欠損画素領域抽出手段と、
   前記欠損画素領域抽出手段で抽出された第１の領域での画素配列と類似した領域を、前記画像データから検出し、検出された類似領域を、第２の領域として抽出する類似領域抽出手段と、
   前記欠損画素領域抽出手段で抽出された第１の領域中の欠損画素位置の所定方向の複数の近傍画素の輝度値を判断する近傍画素判断手段と、
   前記第２の領域中の画素の中で、前記近傍画素判断手段が判断した複数の近傍画素の輝度値配列に近い輝度値配列の画素の組を類似画像領域として抽出する類似画像領域抽出手段と、
   前記第１の領域での複数の近傍画素と欠損画素との位置関係と同様の位置関係で、前記類似画像領域抽出手段が抽出した第２の領域の特定の画素を目標画素として取り出し、その取り出した目標画素の輝度値を、前記欠損画素の輝度値とする欠損画素値設定手段とを備えることを特徴とする
   画像修復装置。