JP2005293521A

JP2005293521A - 画像不要部分の除去方法及び除去装置

Info

Publication number: JP2005293521A
Application number: JP2004130439A
Authority: JP
Inventors: Kazuo Ozeki; 和夫大関; Yoshiyuki Ishikawa; 佳幸石川
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-03-31
Filing date: 2004-03-31
Publication date: 2005-10-20

Abstract

【課題】電線など画像中の不要物を場所を指定するだけで、自動除去し違和感のない不要物の背景画像を生成し、合成する。
【解決手段】不要物を含む微小挟領域を切れ目なく生成し、不要物以外の領域を効率的に探索し、挟領域を置き換える。精度をあげるため、挟領域を自由領域とする。また，不要物をすべて囲まない挟領域をつくり、長い不要物の連続除去処理を行なう。計算速度を速くするため、不要物の傾斜に合わせた探索をする。曲がった不要物に高速に対応するため、不要物を黒値化して、マスク領域とし、上下左右に探索しながら、不要物を置き換えることにより、もれなく高速な探索を行なう。
【選択図】図１

Description

本発明は、対象とする画像の撮影時に不要物が混在した場合に、後処理として不要物を除くための画像信号処理の方法および装置に関する。

従来より画像修復は貴重な写真か経年変化して劣化したものや、傷などで劣化したもの、撮影時の条件が悪くて不要物が対象物の前にあって、対象物を隠蔽している場合などに対して試みられて来たが、完全な修復は難しかった。

特許文献１はディジタル画像からスクラッチまたはワイヤ雑音を除去する方式を開示している。修復又は雑音除去を必要とするスクラッチが判別されディジタル画像の他の部分からその判別されたスクラッチの場所を区別するバイナリマスクが生成されたディジタル画像から、スクラッチ又はワイヤノイズを除去する。スクラッチや他の雑音の修復を必要とするディジタル画像の場所を示すリペアサブイメージが定義される。サンプルイメージは、リペアイメージにできるだけ似るように選択される。しかし、類似度の探索を高速フーリエ変換領域で行っているため、周波数成分の一致性を重視する結果、輝度成分の不一致の問題がある。また、サンプルイメージの使用やソフトエッジ処理の導入により、原画像との乖離が進むという問題点もあった。また、全体の輝度又はリペアサブイメージとリペアサブイメージの輝度の低速変化はそれぞれ異なることがある。
特許出願平９−２０８２０７「画像雑音の除去方法及び除去装置」

非特許文献１は正方形状の不要物領域を高次の線形加算近似画像で近似する画像処理（ＦＩＤ法）を行い、正方形状の領域の不要物除去が行えることを示している。この方式では、不要物領域に対する修復領域の生成のために、高次の線形加算演算を反復的に行い、最も類似した修復領域を求める。
井添慎太郎、剣持雪子、小谷一孔"画像のフラクタル性に基づく遮へい領域の画像推定"Ｐｒｏｃ．ＩＭＰＳ’０１，ｐｐ．３９−４０，２００１

しかしながら、非特許文献２では不要物領域の修復に高次の線形加算演算ＦＩＤ法を反復的に行わなければならないため、演算処理量が膨大になり、実用的な時間内に演算処理を行うことは当面難しい状況になっている。高次の多大な未知数を含む線形結合関数の最適化を図るため、与える条件から最適解を求めることが難しくなる場合もある。

そこで、本発明の第一の課題は、画像中に電線などの不要物が上書きされている時に、電線を除くとともに、違和感のない修復画像を求める実用化可能なアルゴリズムを与えることである。違和感のない修復画像で不要物領域周辺を置き換え、置き換えた小領域の修復画像の境界が目立つことなく自然なつながりのある修復画像を求めることが重要である。

本発明の第二の課題は、修復画像を求めるための演算時間を削減することにある。例えば、１枚の静止画像に対し、数分程度で修復画像を生成するための方式を提供することが重要である。このため、電線除去の修復画像特有のブロックパターンを形成し、演算の高速化を図る必要がある。

本発明の第三の課題は、不要物が直線状の単純な形状ではなく、曲がった曲線や、複数の曲線である場合に高速な処理時間で、視覚的にほぼ違和感のない修復画像を生成することである。

上記課題を解決するため、本発明ではまず、入力画像の中から、不要物を特定した後不要物部分は、ＲＧＢ式度値で（０，０，０）の黒色に置き換える処理を行なう。これに対応して、その他の部分に（０，０，０）の値の式度値が存在していた場合は、（１，０，０）などの別の値に変換しておく。これにより、不要物を示すマスク領域のデータを特許文献１のように、別途指定して用意する必要がなくなる。また，電線などの長く連続する不要物を除去するときには，非特許文献２のように，不要物を取り囲むように領域を形成することはできない。そこで、不要物を短い小領域に分割するとともに、横線状の場合ならば、上下に拡張した挟領域を形成し、左右は包み込まない形にすることによって、左右に連続した除去処理を継続していくことができる。不要物が長く伸びている場合は不要物を包み込む形に領域を設定することはできない。

また、画像の不要物の領域と修復画像を探索する際に、不要物を含む挟領域の形状は同一の形状である必要はなく、任意の形状で、また挟領域ごとに異なる形状になっていてもマスクデータを用意することなく、高速に探索をすすめることが出来る。マスク領域は、挟領域の黒値の画素か否かで判別でき、マスクデータを参照する手続きが省略できる。また、電線は、画面中に水平に延びているとは限らず、一般には斜め上方または斜め下方に延びている。そのため、不要物を含む挟領域は位置により同一の長方形で囲むことが出来るとは限らず、サイズの異なる長方形を場所ごとに設定する必要がある。このため、不要物を含む挟領域を黒色値で指定して、サイズの異なる長方形を場所ごとに設定することを行なう。

次に請求項２の課題を解決するため、まず、入力画像の中から、不要物を特定した後不要物部分は、ＲＧＢ式度値で（０，０，０）の黒色に置き換える処理を行なう。電線などの不要物がある場合、電線は、画面中に水平に延びているとは限らず、一般には斜め上方または斜め下方に延びている。これに対応して不要物を含む挟領域は不要物の傾斜と−致した傾斜を持つ凸集合を用意する。ひとつの挟集合の探索を行なう時、探索の計算結果を保持し、次に例えば画面右側に挟領域をずらす場合、前記計算結果のうちずらして重なった部分の結果をそのまま使用し、新たに右から追加された部分のみ計算を追加する。一方、左側でずらして不要になった部分の計算結果は差し引いておく。ずらす画素数は１画素から挟領域の横幅野長さまで、任意に設定できる。

次に請求項３の課題を解決するため、不要物のマスク領域を処理する画像内に埋め込み黒値にすることにより、識別し、これを左から右、上から下に探索することにより、高速で、もれなく挟領域を連続的に形成できる。なお、探索の方向は右から左や下から上にしても同様な結果が得られるので、可能な方向は上記左から右、上から下だけではない。

また、これらの処理によりもともと存在していない不要物によって隠蔽されていた部分が復元され、違和感のない画像になるのは、自然画像の持つフラクタル性に依存している。フラクタル性のない画像においては、本手法は性能が劣化したり、除去が不十分であることもあるが、通常の風景画像などの自然画像では、本発明の処理に必要なフラクタル性を有している。

発明の実施形態：
以下、本発明の実施の諸形態について図面を参照して説明する。まず、図１等参照して、本発明の実施形態に係わる不要部分の除去方法及び除去装置について説明する。

図１は、本発明の実施形態に係わる不要部分の除去装置の動作画面の例である。図２はその処理動作の構成を示すブロック図である。入力画像２０１は処理により修復される画像データで、参照画像２０２はその初期状態と同じ画像データで、以後の処理で変更されないデータである。不要物領域生成処理部２０３電線などの不要物領域部分が操作者のマウス操作などにより指示され、決定される。不要物領域生成データは挟領域生成処理部２０４に送られ、不要物を含む挟領域が生成される。

図４に挟領域の生成の詳細を示す。電線の場合、挟領域は、その傾きが０から４５度の時、不要物である電線の上下に微小な画素を付加した領域が挟領域となる。また、不要物の傾斜が４５から９０度の時、不要物である電線の左右に微小な画素を付加した領域が挟領域となる。長い電線が、途中で曲がっている場合は、挟領域の形状は固定でなく、変化することもある。そこで、このように同一画面内の処理で、形状が変化する時、不要物領域に対しては、自由不要物領域、挟領域に対しては、自由挟領域と呼ぶことにする。自由小領域分割処理部４０２で一般には任意の小さい形状に分割する。分割上方に基づき挟領域生成処理部４０３で挟領域が清々さえる。挟領域の生成規則は、挟領域生成規則生成部４０４で生成された情報を基に形成され、使用される。挟領域は、長方形を使うことができるが、形状は任意でよく、凸多角形であれば、処理がし易い。

挟領域データは探索領域生成処理部２０５に送られ、探索領域を生成する。探索領域は、少なくとも不要物の領域を含まないことが必要であり、これを除いたものが、基本の探索領域となる。図１の操作画面では、操作者が都合により探索範囲を縮小したい場合は、座標数値データやマウスの指示で、範囲を狭めることが出来るようになっている。これらの準備の後、ループ処理部２０６において挟領域ごとに探索を行い、全ての挟領域の処理が終了するまでは、ＮＯのループを巡回し、全ての挟領域の処理が終了した後、ＹＥＳの方へ処理が移り、終了となる。ループ内では、挟領域ごとに不要物領域を除いた部分の類似度が最も大きい領域を探索処理部２０７で探索範囲内から探し、誤差最小領域処理部２０８で誤差最小の領域を選択し、入力画像置換処理部２０９にて入力の置換を行なう。

図３に不要物領域の生成の詳細を示す。不要物領域は別にマスク画像等を作ることなく、不要物を黒値（０，０，０）に変更する黒値化を不要物領域の黒値化処理部３０２で行なう。不要物領域部分を黒値化すると共に、それ以外の部分では黒値にならないようにするため、もし黒値のデータがあれば、非黒値に非不要領域の黒値の非黒値化処理部３０３で変更を行う。非黒値として、例えば、（１，０，０）を用いる。

本発明によれば、まず、従来の複雑な演算を簡易な差分方式で実現し、挟領域の形状を不要物を含み、かつ包み込まない形のより大きい挟領域とすることにより、傾いた直線や曲がった不要物に対しても現実的な処理時間内で処理が可能となった。また，包み込まない、挟領域を使うことによって細い線のような長い不要物に対しても連続的な処理が行なえる。不要物を回りから囲むことによって、挟領域が重なり、処理が不確定になるという問題を解決している。従来の不要物領域を示すマスク画像を別に作成し、参照していないため、マスク画像のメモリ容量、参照の手続き処理が不要となっている。実際本発明を実施した除去装置では、図８に示したように、不要物のうち指定した部分が完全に消去されたような画像が得られる。特許参考文献１のように周波数領域での処理は、ソフトエッジなどの処理が不要となる。

また、第二の実施例においては、傾いた直線に対しても高速な連続的探索が行なえるため、処理時間が数十分の１に短縮できるという効果を実現した。このような演算を繰り返すことによって、探索の計算量が大幅に削減出来ることになる。これは主に直線状の不要物ないしは、区分的に直線状の不要物に対して有効である。

また，第三の実施例においては、非直線上の曲がった不要物や複数の不要物が混在したものであっても除去が行なえる。

図１は、本発明の実施形態に係わる不要部分の除去装置の動作画面の例である。図８に処理前の画像（ａ）と処理後の結果の画像（ｂ）を示す。図８（ａ）は建物の写真に人工的に黒筋をいれた画像で、図８（ｂ）は本発明による方法にて、この黒筋を除去したものである。図２はその処理動作の構成を示すブロック図である。入力画像２０１は処理により修復される画像データで、参照画像２０２はその初期状態と同じ画像データで、以後の処理で変更されないデータである。不要物領域生成処理部２０３では電線などの不要物領域部分が操作者のマウス操作などにより指示され、決定される。

図１０（ａ）に不要物を３画素程度の固定の幅で指示した例を示す。不要物領域生成データは挟領域生成処理部２０４に送られ、不要物を含む挟領域が生成される。図１０（ａ）に挟領域の例を示す。挟領域は任意の図形を用いることができるが、ここでは、横９画素、縦８画素の長方形を用いる場合について説明する。挟領域の長方形は、向かって左の辺の中央部に不要物の黒線が来るように設置する場合、傾きによって、下から１／３の位置に黒線が来るように設置する場合などがあるが、ここでは後者の例を示す。挟領域の画素配列をＫ（ｉ，ｊ）とし、ひとつの挟領域に対して、多数の修復候補領域を用いて探索を行なう。

図４に挟領域の生成の別の例の詳細を示す。電線の場合、挟領域は、その傾きが０から４５度の時、不要物である電線の上下に微小な画素を付加した領域が挟領域となる。また、不要物の傾斜が４５から９０度の時、不要物である電線の左右に微小な画素を付加した領域が挟領域となる。長い電線が、途中で曲がっている場合は、挟領域の形状は固定でなく、変化することもある。そこで、このように同一画面内の処理で、形状が変化する時、不要物領域に対しては、自由不要物領域、挟領域に対しては、自由挟領域と呼ぶことにする。自由小領域分割処理部４０２で一般には任意の小さい形状に分割する。分割情報に基づき挟領域生成処理部４０３で挟領域が生成される。挟領域の生成規則は、挟領域生成規則生成部４０４で生成された情報を基に形成され、使用される。挟領域は、長方形を使うことができるが、形状は任意でよく、多角形等であれば、処理がし易い。

図６に長方形を主とした挟領域の例を示す。通常は電線の傾きは、小さいので、左から順に長方形で上下を挟んだ挟領域が形成されるが、この場合は傾きが４５度以上あるため、不要物を上下からはさむ単純な長方形では、不要物領域を含む十分な挟領域の長方形は形成できない。そこで、ひとつ前の挟領域の境界に合せて、凹みのある６角形が用いられている。挟領域データは探索領域生成処理部２０５に送られ、探索領域を生成する。探索領域は、少なくとも不要物の領域を含まないことが必要であり、これを除いたものが、基本の探索領域となる。図１の操作画面では、操作者が都合により探索範囲を縮小したい場合は、座標数値データやマウスの指示で、範囲を指定することが出来るようになっている。これらの準備の後、ループ処理部２０６において挟領域ごとに修復領域の探索を行い、全ての挟領域の処理が終了するまでは、ＮＯのループを巡回し、全ての挟領域の処理が終了した後、ＹＥＳの方へ処理が移り、終了となる。ループ内では、挟領域ごとに不要物領域を除いた部分の修復領域で類似度が最も大きい修復領域を探索処理部２０７で探索範囲内から探し、誤差最小領域処理部２０８で誤差最小の領域を選択し、入力画像置換処理部２０９にて入力の置換を行なう。この時挟領域は探索された修復領域のデータに置き換えられる。類似度は、カラー画像のＲＧＢ３成分の値の差の絶対値または２乗和などを総和したものを用いれば良い。

図５に黒値化と非黒値化の例を示す。図５（ａ）は黒値化処理前の説明図で、Ｐは不要物領域に含まれているが、黒値（０，０，０）でない、例えば（１０，１０，１０）なる画素であり、黒値化によって、（０，０，０）に変更される。また、点Ａ，Ｂ，Ｃは不要物領域外の周辺にある点で、いずれも黒値（０，０，０）になっている。これらの点は、不要物領域外である領域判定により、非黒値に変化する。非黒値の値として、例えば（１，０，０）や（０，１，０），（０，０，１）など用いることができる。これらの値は黒値ではないが、画像面では事実上、黒値に近いため、通常は黒値と区別することはできないと考えられる。

以下に探索の処理動作の各部分を簡易なプログラム言語で記述した例を示す。挟領域をＨ（ｉ，ｊ）、修復候補領域をＳ（ｉ，ｊ）、探索範囲を横１０画素から５９０画素、縦１０ラインから１５０ラインと縦３００ラインから４５０ラインまでの２つの長方形とする。また、挟領域の長方形の開始点をｉｓ，ｊｓ処理終了点をｉｅ，ｊｅとする。ｌｏｏｐ３は図２のループ２０６に対応するループ処理である。ｌｏｏｐ１とｌｏｏｐ２はｌｏｏｐ３内に含まれるループである。ｌｏｏｐ１はひとつの挟領域の類似度計算を行なう部分である。ｌｏｏｐ２はひとつの挟領域に対して探索範囲内の修復領域を探索し、誤差の最小値を選択する図２の探索処理部２０７の実行部で，ｌｏｏｐ３で図２の最小誤差領域２０８を決定している。

ｌｏｏｐ１での｜｜Ｈ（ｉ，ｊ）−Ｓ（ｉ＋ｉｓ，ｊ＋ｊｓ）｜｜は距離のノルムで距離の定義を満たすものならば任意の定義を用いることができる。例えば、誤差の２乗和や誤差のｎ乗和、誤差の絶対値和などを用いることができる。修復領域Ｓ（ｉ，ｊ）は探索範囲の横１０画素から５９０画素、縦１０ラインから１５０ラインと縦３００ラインから４５０ラインまでの２つの長方形内にある９ｘ８画素の長方形全てが候補になり探索される。

図１は、本発明の第二の実施例に係わる不要部分の除去装置の動作画面の例である。図８に処理前の画像（ａ）と処理後の結果の画像（ｂ）を示す。図８（ａ）は建物の写真に人工的に黒筋をいれた画像で、図８（ｂ）は本発明による方法にて、この黒筋を除去したものである。図２はその処理動作の構成を示すブロック図である。入力画像２０１は処理により修復される画像データで、参照画像２０２はその初期状態と同じ画像データで、以後の処理で変更されないデータである。不要物領域生成処理部２０３では電線などの不要物領域部分が操作者のマウス操作などにより指示され、決定される。不要物領域生成データは挟領域生成処理部２０４に送られ、不要物を含む挟領域が生成される。

図４に挟領域の生成の詳細を示す。実施例２においては電線の場合、その傾きは０度より大きく９０度未満か、０度より小さく−９０度より大きいものとする。不要物である電線に対し、図７に示すように電線の傾斜と平行な辺とそれと垂直な辺とから成る長方形の挟領域を形成する。傾きの絶対値が小さい場合、斜め方向に上下に微小な画素を付加した領域が挟領域となる。また、不要物の傾斜が大きい時も、不要物である電線の傾斜と平行な辺とそれと垂直な辺とから成る長方形の挟領域を形成する。第二の実施例においては、同一画面内の処理で、形状が変化するような、自由不要物領域や自由挟領域を作らず、すべて合同な長方形を形成していく。小領域分割処理部４０２で一般には任意の小さい形状に分割する。分割情報に基づき挟領域生成処理部４０３で挟領域が生成される。挟領域の生成規則は、挟領域生成規則生成部４０４で生成された情報を基に形成され、使用される。挟領域は、上記不要物の傾きに平行な長方形である。図７に上記不要物の傾きに平行な長方形の挟領域の例を示す。

類似度は、カラー画像のＲＧＢ３成分の値の差の絶対値または２乗和などを総和したものを用いることができる。参照画像の傾いた長方形の挟領域と、それに対する参照画像の探索範囲内の同じ傾きの長方形が順次探索される。後者の探索範囲内の挟領域は一定の画素ずつ左から右にずらしながら、行なわれる。そこで、ひとつの探索挟領域に対する、類似度差分演算結果を保持し、次の類似度差分演算を求める際にその結果の一部を使用する。１画素ずつずらす例で説明する。差分データは長方形の左右の長さ＋１の配列に格納され、次の１画素ずれた類似度差分演算では、新たな１画素右側の差分演算のみを行い、その絶対値を総和に加えると共に、配列右端に格納する。総和から、配列左端の類似度差分結果を差し引くと、現在位置の類似度差分の絶対値の総和が求まる。次に配列の全体を左へ１画素分ずらし、次の演算に備える。なお、配列の全データを左にシフトする移動操作のかわりに、インデックスの方を右にずらし、リングバッファ状に扱うことも出来る。

計算方法として、横に有限の探索範囲であることからまず第０から第８までの部分和ｓ０，．．，ｓ８を計算し、上記配列に格納する。第一の修復領域に対する類似度の総和ｓｕｍは第０から第８までの部分和ｓ０，．．，ｓ８の総和ｓｕｍになる。次に第９の部分和ｓ９を計算したあと、ｓｕｍ＋ｓ９−ｓ０を計算すれば、ｓ１，．．．，ｓ９の総和、つまり、第二の修復領域の類似度評価結果が得られう。以下このようにして、挟領域の傾斜にあわせて１画素ずつずらせた探索を行えば、横方向には、１／９の計算回数、縦方向には、８画素中不要物の画素幅が３画素とすると１／５の計算回数となるので、挟領域全体で、概算約４５分の一の演算量の削減効果が期待できる。

図３に不要物領域の生成の詳細を示す。不要物領域は別にマスク画像等を作ることなく、不要物を黒値（０，０，０）に変更する黒値化を不要物領域の黒値化処理部３０２で行なう。不要物領域部分を黒値化すると共に、それ以外の部分では黒値にならないようにするため、もし黒値のデータがあれば、非黒値に非不要領域の黒値の非黒値化処理部３０３で変更を行う。非黒値として、例えば、（１，０，０）を用いる。図５に黒値化と非黒値化の例を示す。図５（ａ）は黒値化処理前の説明図で、Ｐは不要物領域に含まれているが、黒値（０，０，０）でない、例えば（１０，１０，１０）なる画素であり、黒値化によって、（０，０，０）に変更される。また、点Ａ，Ｂ，Ｃは不要物領域外の周辺にある点で、いずれも黒値（０，０，０）になっている。これらの点は、不要物領域外である領域判定により、非黒値に変化する。非黒値の値として、例えば（１，０，０）や（０，１，０），（０，０，１）など用いることができる。これらの値は黒値ではないが、画像面では事実上、黒値に近いため、通常は黒値と区別することはできないと考えられる。

図９は、本発明の第三の実施例に係わる挟領域形成の説明図である。この例では、不要物９１１、９１２は電線のような直線状のものだけではなく、一般に自由な形状を想定している。この不要物領域９１１、９１２は実施例１、実施例２と同様に黒値（０，０，０）に置き換えられている。例えば左から順に不要物領域を含む挟領域を形成していく時、最上部の左端から、順次下方向へ、黒値の画素を探索し、黒値の画素が存在した場所で、挟領域を形成する。

挟領域は、例えば黒値の画素を正方形の左端の辺の中央に合せ、右側に形成することで、実現できる。挟領域９０１はこのようにして、形成した第一の領域である。挟領域９０１を形成した時に、この挟領域９０１に含まれる不要物の黒値は非黒値に置き換えられる。この置き換えは、挟領域形成直後に行なっても良いが、また，挟領域に対する修復領域を探索し、置き換えることによって、非黒値にすることもできる。挟領域９０１の処理が終了後、次の不要物領域を含む挟領域の探索は同じく左から右へそして、各位置で、上から下に探索し、黒値の画素を探せば良い。図９の例では、不要物領域９１２を含む挟領域９０２が形成される。以下挟領域９０３、９０４、９０５、９０６、９０７の順で形成されていく。不要物の曲がり方が大きいときは、決定した正方形の挟領域の右側の辺ではなく、上部や下部の辺に出て行く形の領域の配置になる場合もある。その場合は、不要物は挟領域に含まれる途中までの部分しか除去されないが、以後の挟領域の探索で残った部分から新たな挟領域が形成されるため、除去処理が連続して進行していく。

本発明は、画像の修正、劣化画像の修復に広く使用することが出来、写真業界、広告業界、映画など画像を取り扱うあらゆる産業分野で、利用することが出来る。また、ディジタルカメラなどで撮影した画像の後処理として、画像の修復を行なうことが出来る。また、電線など不要物が存在して、取り除いて撮影できない場合は、その不要物を含めて撮影すれば、撮影後に修正を行なうことが出来る。

は本発明による不要物除去装置の操作画面である。は本発明による不要物除去装置の除去処理のブロック構成図である。は本発明による不要物除去装置の除去処理のうち不要物領域生成の詳細ブロック構成図である。は本発明による不要物除去装置の除去処理のうち挟領域の生成の詳細ブロック構成図である。は不要物除去処理における不要物領域の黒値化の説明図である。は不要物除去処理における自由挟領域の生成の説明図である。は不要物除去処理における傾斜に対応した挟領域の説明図である。は本発明による不要物除去装置の動作例である。は本発明第三の実施例における曲がった不要物に対する挟領域形成の説明図である。は本発明第一の実施例における挟領域の生成の説明図である。

符号の説明

２０１入力画像
２０２参照画像
２０３不要物領域生成処理
２０４挟領域生成処理
２０５探索領域生成処理
２０６探索終了のループと判定処理
２０７探索処理
２０８最小の誤差の領域を決定する処理
２０９入力画像置き換え処理
３０１不要物領域生成ブロック
３０２不要物領域の黒値化処理
３０３非不要領域の黒値の非黒値化処理
４０１挟領域の生成ブロック
４０２自由小領域の分割処理
４０３挟領域生成処理
４０４挟領域生成規則発生器
６０１−６０３各種自由挟領域の生成
７０１−７０３傾斜した扶養物領域に対応した挟領域
９０１−９１１曲がった線状の不要物領域に対応した挟領域

Claims

画像データから不要部分を除去する画像不要部分の除去方法において、画像データにおける不要領域を特定する不要領域特定手段と、前期不要領域の画素値を特定の色度値に置き換え、かつ非不要領域に前期特定の色度値と同一の色度値が存在する場合は、他の色度値に置き換える処理を行う手段と、該特定された不要領域を複数の小領域に分割する分割手段と、前記特定された不要小領域を含み，かつ包み込まない形のより大きい挟領域を決定する挟領域決定手段と、画像データ中にあって、かつ前記不要部分を含まない探索領域を決定する手段と、前記各挟領域に対して探索領域内から、類似度の高い修復領域を探索し、挟領域データを修復領域のデータで置き換える手段を有し、探索の類似度は挟領域において画像不要部分を除いた部分と、修復領域において挟領域の画像不要部分に対応した部分を除いた部分との比較を行なうことを特徴とする画像不要部分の除去方法及び除去装置。
画像データから不要部分を除去する画像不要部分の除去方法において、直線状の不要部分を有する画像データに対し、該不要領域を特定する不要領域特定手段と、前記特定された不要小領域を含むより大きい挟領域を決定する挟領域決定手段において、不要部分に対応した直線の傾きに一致した傾きを有する長方形で前記特定された不要小領域を含むものを挟領域として決定し、各挟領域に対して探索領域内から、類似度の高い修復領域を探索する場合、前記探索領域内において、類似度の計算結果を保持し、探索部分の修復領域を一定の割合でずらした異なる修復領域に対する類似度の計算では前記探索計算結果を用いて修正量のみ加減算を行なうことを特徴とする画像不要部分の除去方法及び除去装置。
画像データから不要部分を除去する画像不要部分の除去方法において、画像データにおける不要領域を特定する不要領域特定手段と、前期不要領域の画素値を特定の色度値に置き換え、かつ非不要領域に前期特定の色度値と同一の色度値が存在する場合は、他の色度値に置き換える処理を行う手段と、該特定された不要領域を複数の小領域に分割する分割手段と、前記特定された不要小領域を含むより大きい挟領域を決定する挟領域決定手段と、画像データ中にあって、かつ前記不要部分を含まない探索領域を決定する手段と、前記各挟領域に対して探索領域内から、類似度の高い修復領域を探索し、挟領域データを修復領域のデータで置き換える手段を有し、修復領域の探索は画面片側より反対側に向かって進め、また上下の端より逆の端に向かって探索したときに、前期黒値が出現した場所を挟領域の片端として挟領域を形成すると共に、挟領域を形成した時点で、該挟領域に含まれる不要領域を黒値以外の値に変更する手段を有し、探索の類似度は挟領域において画像不要部分を除いた部分と、修復領域において挟領域の画像不要部分に対応した部分を除いた部分との比較を行なうことを特徴とする画像不要部分の除去方法及び除去装置。