JP2007133874A - イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム - Google Patents

イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム Download PDF

Info

Publication number
JP2007133874A
JP2007133874A JP2006301296A JP2006301296A JP2007133874A JP 2007133874 A JP2007133874 A JP 2007133874A JP 2006301296 A JP2006301296 A JP 2006301296A JP 2006301296 A JP2006301296 A JP 2006301296A JP 2007133874 A JP2007133874 A JP 2007133874A
Authority
JP
Japan
Prior art keywords
pixels
boundary
pixel
list
image object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006301296A
Other languages
English (en)
Other versions
JP4977448B2 (ja
Inventor
Jeanette Marie Bruno
ジャネッテ・マリー・ブルーノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2007133874A publication Critical patent/JP2007133874A/ja
Application granted granted Critical
Publication of JP4977448B2 publication Critical patent/JP4977448B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features

Abstract

【課題】イメージオブジェクト境界の識別についての改良手法を提供すること。
【解決手段】2次元イメージ内のイメージオブジェクト(28)が、各オブジェクトの輪郭を定める多角形を定義する線分を記述する境界点(46、47、50、52)を見つけることによって、識別される。処理は、追加ピクセル(30)が同じイメージオブジェクトの部分かどうかを色などの弁別子を参照することによって決定するため、境界点の間のピクセルのライン(32、34、36、38)を辿る。その結果、接触ピクセルおよび接触ラインのために、境界点が識別される。腕状の領域(74、76、78、79、80)が、同様の方法による再帰的な分析によって識別される。結果の境界点リストは、ウェブベースのマニュアルおよびカタログなどにおけるラベル付けまたはタグ付けなどのため、イメージオブジェクトを識別するのに役立つことができる。
【選択図】図3

Description

本発明は、一般に、イメージ再生およびイメージ分割の分野に関する。より詳細には、本発明は、所望のグループまたはアイテムの境界を識別するために、そのグループまたはアイテムの部分である、デジタルイメージにおけるピクセルを識別することに関する。
デジタルイメージ再生には、様々な応用例が存在する。1群の応用例においては、2次元(2D)イメージが、コンピュータスクリーン上に表示され、そのイメージ内に見える具体的なアイテムが、表示またはウェブプロトコルでのタグ付けのために分割される。タグ付けは、アイテムに関連する情報が、ユーザによって表示用に呼び出されることを可能にする。そのようなタグ付けは、部分または集合体についての関連情報へのいわゆる「ホットリンク」を生成することができる。特にカタログおよびマニュアル用などのそのようなホットリンク付けに対する高まる関心が、情報システムの分野に存在する。しかし、特定のイメージアイテムに関する関連情報への同様のリンク付けに対する多くのその他の応用例が、医療分野などに存在する。
そのようなリンク付けおよびその他の目的のためにイメージの部分を分割する際に遭遇する困難は、アイテム境界を記述する多角形を識別するプロセスを含む。従来、そのような境界は、非常に時間を要するプロセスにおいて手動で定義されていた。そのようなタグ付けのための境界識別に結果としてかかるコストが、そのような2Dイメージ要素ホットリンク付けが使用される程度を厳しく制限していた。複雑なアルゴリズムが、要素境界の識別のために考案された。しかし、それらの複雑さおよびコンピュータ処理上の相対的な非効率性も、それらのアルゴリズムが使用されることを制限している。
米国特許題6,826,500 B2号公報
したがって、イメージオブジェクト境界の識別についての改良手法に対する必要が存在している。それが直接的な方式で実施されることができ、かつコンピュータ処理上効率的であることに対する特別の必要性が存在する。
本発明は、そのような必要に応えるべく設計された、イメージオブジェクトの境界を識別するためのシステムおよび方法を提供する。この方法は、様々なイメージに適用されることができるが、コンピュータ支援設計(CAD)プログラムにおいて生成されるイメージに特によく適する。この方法は、イメージオブジェクトにおける既知の点から識別を開始し、色など、弁別子として役立ち得る特性を共有する隣接点の識別を進める。弁別子を共有するピクセルの行または列を辿ることによって、アルゴリズムは、境界ピクセルのリストを作成し、その境界ピクセルのリストは、アイテム境界を記述する多角形を定義する線分を生成するように順序付けられる。境界ピクセルのリストは、オブジェクトの接触領域の境界を再帰的に識別することによって、増大させられることができる。そのような接触領域の境界は、イメージオブジェクトを完全に定義する多角形を生成するため、適切な順序および位置において、境界ピクセルのリストに追加される。
最終的な境界ピクセルのリストは、次に削減されることができる。3個以上のピクセルがライン内に存在する場合、境界ピクセルのリストのサイズを削減するため、例えば、中間ピクセルはリストから削除されることができる。同様に、境界ピクセルが三角形を形成する場合、三角形内のあるピクセル(例えば、頂点)はリストから削除されることができる。そのような削除も、包含される領域、または境界ピクセルのリストからの頂点ピクセルの除去によって除去される領域に関する基準によって、無効にされることができる。
結果の境界ピクセルのリストは、その時、任意の様々な目的でイメージオブジェクトの境界を識別するためにその後に使用され得る多角形を記述する。例えば、境界は、ホットリンク付けのため、2Dイメージの特定の領域をタグ付けするために使用されることができる。境界は、測定目的や、(例えば、ホットリンク付けによるのとは別に)要素に関連する様々なデータに要素を関連付けることなどに使用されることができる。
本発明の上記およびその他の特徴、態様、および利点は、図面全体にわたって同様の文字が同様の部分を表す添付の図面を参照しながら、以下の詳細な説明が読まれるとき、より良く理解されるようになるであろう。
ここで図面に移り、最初に図1を参照すると、イメージオブジェクトの集合体から成る例示的な2Dイメージ10が示されている。図示された例では、2Dイメージは、玩具の車から成る。明らかに、オブジェクトのどのような適切な集合体でも、または単一のオブジェクトであっても、本発明に従って分析および処理されることができる。さらに、図1に提示されたイメージは、コンピュータスクリーン上に現れ得るものとして示されていることに留意されたい。一般に、本発明は、対象とするイメージオブジェクトの境界を識別するため、デジタル化イメージの分析を容易にする。図1に示される図は、例えば、デジタルカタログ、マニュアル、およびウェブツールなどの部分とすることができる。イメージは、一般に、任意の従来方式でデジタルメモリ装置に保存され、モニタを介してユーザに提供される。イメージは、ウェブページとして利用可能な場合、従来のブラウザまたはその他の表示アプリケーションで表示されることができる。そのようなブラウザの細部は、明瞭にするため、図の視界から排除されている。
集合体12は、図示されたように、複数のオブジェクトまたは部分14を含む。実際のアプリケーションでは、そのようなオブジェクトは、実際のモデルまたは集合体におけるオブジェクト識別を容易にするため、部分の順序付けのため、メンテナンスおよびサービスの提供のため、または任意のその他の目的のため、以下で説明される境界識別プロセスによって弁別されることができる。図示されたように、カーソル16は、イメージ10の上を動かされることができ、参照番号18で示されたようなデータが、表示されることができる。様々な技法が、そのような表示のために提供されることができる。一般に、表示は、識別情報、および追加カタログまたは明細事項データへのリンクなどを含むことができる。オブジェクトを追加データにリンクするためのそのような技法は、従来「ホットリンク」と呼ばれている。図示された例では、カーソル16は、玩具の自動車の車輪を表す、イメージ10の領域またはオブジェクトの上に保たれている。
この説明は、一般に、オブジェクト、より詳細にはオブジェクトの集合体に関するが、本発明の技法は、機械または任意の特定のタイプの応用例またはイメージオブジェクトに決して限定されるものではないことに留意されたい。例えば、この技法は、対象とする任意のイメージ特徴を識別するために利用されることができる。以下で説明されるように、特定のオブジェクトのピクセルおよび境界は、いくつかの弁別子を参照することによって識別される。したがって、識別されたオブジェクトの部分を形成するピクセルを決定するために、識別可能な弁別子が利用できる任意のアプリケーションでは、本発明の境界識別アルゴリズムが利用されることができる。これらは、医療画像における対象とする特徴の識別、荷物または小包内の物体の識別、人または自動車の識別、およびイメージ内に見える筆跡などの徴証の識別などを含むことができる。さらに、本明細書で説明されるように、多くのイメージにおいて便利な弁別子は色である。その他の弁別子は、グレイスケールなどの特性または属性、およびイメージの特定のオブジェクトまたは領域内に含まれるピクセルの単純なリスティングさえ含むことができる。
図示された例では、図1のイメージ10は、コンピュータ支援設計(CAD)アプリケーションで生成されることができ、またはそれに変換されることができる。当業者であれば理解されるように、そのようなアプリケーションは、一定の色および陰影などの追加によって、高画質化を可能にする。図2は、図1に図示されたものと同じイメージの図であるが、陰影が取り除かれている。陰影のないイメージ22は、図1のオブジェクトが単なる色付き領域として再生される純色イメージになる。実際、このタイプの典型的なイメージでは、陰影なしバージョン22は、保存され、以下で説明されるような分析用に利用可能である。しかし、やはり、以下で説明されるように境界点が識別されることを可能にする色とは異なる任意のタイプの弁別子も、利用されることができる。上で述べられたように、陰影なしイメージ22内に見える様々なオブジェクトが、色の領域24として現れる。図1の車輪20は、したがって、色領域26として現れる。
イメージのオブジェクトは、ユーザによって選択されることができ、または境界決定のために自動的に選択されることができる。例えば、図1および図2のイメージが与えられた場合、ユーザは、図2では領域26によって表される図1の左後輪20など様々な部分を、分析のために選択することができる。典型的なCADアプリケーションでは、イメージ内のオブジェクトの様々な色およびオブジェクト名についてのリストが、ユーザから利用可能である。オブジェクトが選択または自動的に分析されると、以下で概略が説明されるような処理が後に続く。
図3を参照すると、簡略化されたオブジェクト28が、本発明に従って分析されるために示されている。オブジェクトは、ピクセル30からなる一連の行を含む。4つのそのような行32、34、36、および38が、図3には示されている。例えば、第1の行は、4つのピクセルを含み、それ以降の行は、より多くの数を含む。
本発明の境界識別アルゴリズムは、分析されるイメージオブジェクトの最上かつ最左のピクセル40から開始する。処理は、行に沿って続行され、次に下の後続行に沿ってというように、オブジェクトのすべてのピクセルが識別されるまで続行される。本発明の処理は、オブジェクトの最上左で開始し、左から右と右から左を交替しながら上から下に向う方式で進められるが、任意のその他の方向および順序の処理も使用され得ることに留意されたい。したがって、イメージオブジェクトの異なる端で開始する分析、下から上、右から左への処理、またはこれらの組み合わせも、利用されることができる。同様に、処理は、境界点以外で、すなわち、イメージオブジェクト自体の内部で開始することもできる。最後に、以下でより詳細に説明されるように、本発明は、オブジェクトに接触し、したがって、オブジェクトの部分を形成するオブジェクトの遮蔽領域の識別を可能にする。それらの識別は、そのような領域が見つけられたときに、そのような領域の境界を再帰的に検査することによって実行される。そのような再帰的な処理は、メイン領域の境界点識別を一時的に中断して、またはその後でのどちらかの、様々な順序で進められることができる。
一般的な概要として、処理は、与えられた領域の最左点リストおよび最右点リストを作成する。これら2つのリストは、連結されたとき、領域を包み込む多角形を記述する線分を定義する点のリストを形成する。アルゴリズムは、空の最左点リストおよび最右点リストによって初期化される。アルゴリズムは、その後、与えられた行における接触領域の最左ピクセルで開始し、その同じ行においてその領域の最右ピクセルを見つけるまで、その行を右向きに辿る。次に、アルゴリズムは、次の行においてその領域の最右ピクセルを見つけ、その次の行におけるその領域の最左ピクセルを見つけるために左向きに辿る。(最初および次の行からの)2つの最左点が、「最左点」リストに追加される。2つの最右点が、「最右点」リストに追加される。処理は、その後、その領域における次の行ペアへと下に移動し、このペアについて2つの最左点および2つの最右点を見つけ、それらをそれぞれ最左点リストおよび最右点リストに追加する。処理は、領域内に残された行がもはやなくなるまで、各行ペアについて繰り返される。
より詳細な説明として、図3に戻ると、最上かつ最左の位置で識別された第1のピクセル40は、左境界点42としてマーク付けされる。この境界点は、そのオブジェクト用に蓄積される左境界点のリストに追加され、デジタル化リストに保存される。第1のピクセル40から、ピクセル40に隣接する、ピクセル40の右手の次のピクセルが、ピクセル40と弁別基準を共有するかどうかが決定される。この実施形態では、弁別子は色である。したがって、ピクセル40に直接隣接する、ピクセル40の右手のピクセルが、ピクセル40と同じ色である場合、処理は、その右側の隣接ピクセルが同じ色に属するかどうかを次に分析することによって進められる。処理は、調査の結果が否定的なものとなるまで、このような方式で進められる。すなわち、行32では、最右ピクセル44が最終的に識別されるが、それは、その右側の隣接ピクセル(図3には図示されず)が、同じ色に属さないからである。この時点で、右境界点46が、識別され、それを右境界点リストに追加することによって、メモリに保存される。この実施形態では、ピクセルがイメージオブジェクトの部分として識別されたとき、それらが見つけられ、処理されたことを示すため、それらの色値は変更される。
行内で最右境界ピクセルが識別されると、処理は、識別された最右境界ピクセルの下にある次の下側行に進む。次に、このピクセルが同じ色に属するか(すなわち、同じイメージオブジェクトの部分か)どうかが決定され、そうである場合、この新しいピクセルの右手に、同じ色に属するさらなるピクセルが存在するかどうかが決定される。このようにして右手に進み続けることによって、図3の行34のピクセル48など、新しい最右境界ピクセルが識別される。第1の行の最右ピクセルの下にある次の下側行のピクセルが、同じイメージオブジェクトの部分ではない(同じ色ではない)場合、この同じ次の行における左手かつ第1の行の最左ピクセルの右手に、ピクセルが存在するかどうかが決定される。そのようなピクセルが存在する場合、これが、この次の行の新しい最右ピクセル(やはり図3の行34のピクセル48など)になる。したがって、点50が、この境界のためにマーク付けされる。後続行のこの最右ピクセルが識別されると、この最右ピクセルは、最右ピクセルのリストに追加され、上で説明された方式ではあるが左向きに、処理が続けられる。すなわち、最右境界ピクセル48の左手の隣接ピクセルが同じ色に属するかどうかが決定される。同じ色に属する場合、同じ色を共有するすべての隣接ピクセルを識別するため、調査の結果が否定的なものになるまで、処理が続けられる。すなわち、図3に図示された例では、境界点52に対応する行34の最左境界ピクセルが、最終的に見つけられ、この最左境界ピクセルが、最左ピクセルのリストに追加される。前の行の最左境界ピクセルと最右境界ピクセルの間に最右ピクセルが見つけられない場合、その領域の処理が完了する。前の行の最左ピクセルおよび最右ピクセルが、それぞれ最左ピクセルのリストおよび最右ピクセルのリストに追加され、処理は、以下で説明されるように、処理されたばかりの領域を記述する多角形を定義する境界点のリストを生成するために、2つのリストの合併へと進む。
境界点52におけるピクセルから、処理は、次の下側行36に移って続けられる。点52における境界ピクセルの下にあるピクセルが同じ色に属する場合、このピクセルがそのイメージオブジェクト内にあることが分かる。アルゴリズムは、その後、行36における最左境界ピクセルを見つけるため、そのピクセルの左手のピクセルのどれかが同じ色に属するかどうかを検査する。境界ピクセルの下にあるピクセルが同じ色に属さない場合、アルゴリズムは、行36における最左境界ピクセルを見つけるため、そのピクセルの右手にあるが、依然として前の行の最右境界ピクセルの左手にあるピクセルのどれかが、同じ色に属するかどうかを検査する。前の行の最左境界ピクセルと最右境界ピクセルの間に最左ピクセルが見つけられない場合、その領域の処理が完了する。前の行の最左ピクセルおよび最右ピクセルが、それぞれ最左ピクセルのリストおよび最右ピクセルのリストに追加され、処理は、以下で説明されるように、処理されたばかりの領域を記述する多角形を定義する境界点のリストを生成するために、2つのリストの合併へと進む。図3に図示された例では、この点の左手に、イメージオブジェクト内のピクセルは存在しない。したがって、別の境界点54が、境界点リストに追加される。図3に示されたすべての境界点56、58、60、62、および64を識別するため、処理がこのような方式で続けられる。
上述の処理は、図3に示されたような左境界点および右境界点のリストを生成する。オブジェクトの多角形境界を定義する点の集合を取得するため、その後、右点リストが前後逆転されて左境界点リストと連結されること、またはその逆が行われることができる。図4は、この境界点リストによって識別された多角形境界を示している。境界66は、イメージオブジェクトの大まかな輪郭を描くが、元のイメージオブジェクトの部分ではない領域68を含むことがある。したがって、複雑な集合体では、そのような領域の過剰包含が原因で、イメージオブジェクトどうしの間で、いくつかのオーバラップが発生することがある。望ましければ、実際の直交境界線に対応する実際の境界点が、利用されることができ、または図4に図示されたような三角形は、一方のイメージオブジェクトまたは他方のイメージオブジェクトにだけ含まれることができる。この実施では、さらに、そのような領域がそのイメージオブジェクト境界に含まれるべきかどうかを決定するために、テストが使用されることができる。そのようなテストは、そのような三角形に含まれる領域と閾領域との比較に基づかせることができる。
望ましければ、リスト内のイメージ境界を定義する点の数は、削減されることができる。そのような削減は、保存される点の総数を削減することによって、境界定義の保存を大いに容易にすることができる。図5は、このようにした図4に示された境界点の削減を示している。例えば、この実施では、それと直接隣接する他の境界点と同じX値またはY値を有する境界点が識別された場合、中間にある境界点は、リストから削除されることができる。図示された例では、したがって、図4に示された点52、54、および60は、境界点42および62の間の直線が本質的にこれらを含むので、除去されることができる。同様に、境界点58も、点56および64をつなぐ線分の間に含まれるので、除外される。同様に、点50などの中間境界点も、その位置が他の境界点46および56の間にあるため、望ましければ、除去されることができる。
図3、図4、および図5に表されたオブジェクトなど、相対的に単純なオブジェクトの場合、上述の技法が、特に高速で、コンピュータ処理上効率的であることが実証された。しかし、同じ技法は、図6に示されるオブジェクトなど、より複雑なイメージオブジェクトの境界を識別するために使用されることができる。全体として参照番号70により指示される図6のオブジェクトは、中央またはメイン領域72と同時に、複数の腕状領域も含む。「中央」に指定される領域は、完全に恣意的であることに留意されたい。実際、処理は、任意の腕状領域で開始し、本明細書で説明される方法で進められることができる。4つの典型的な腕状領域が、イメージオブジェクトにおいて遭遇される。これらは、先の領域の上かつ左手の参照番号74で指示される領域と、知られた領域の上かつ右手の参照番号76で指示される領域と、知られた領域の下かつ左手の参照番号78で指示される領域と、知られた領域の下かつ右手の参照番号80で指示される領域とを含むことができる。
そのような領域は、分析されることができ、それらの境界は、以下のようにして決定される。腕状領域が検出された場合、現在の左点および右点リストの処理は、腕状領域用の点リストを再帰的に発展させるために中断される。再帰から復帰すると、アルゴリズムは、腕用の点リストを(オブジェクトのどちらの側に腕が位置付けられたかに応じて左または右の)適切な方の点リストに挿入する。図7は、アルゴリズムが、外側点リストに挿入するために、どのように多角形点リストを再帰的に作成するかを例示することを意図している。
そのような腕状領域の境界のための識別技法が、以下で詳細に説明される。しかし、一般に、そのような技法は、図7に示されるように大筋で進められることができる。処理は、中央またはメイン領域72で進められて、その境界を識別していく。腕状領域への再帰によって、左境界82および右境界84が、領域74のために識別され、左境界86および右境界88が、領域76のために識別され、左境界90および右境界92が、領域78のために識別され、左境界94および右境界96が、領域80のために識別される。多くのそのような再帰が、アルゴリズムによって行われることができ、再帰の最中に追加の腕状領域が識別された場合など、これらの再帰内で再帰が発生することがあることに留意されたい。その後、最終的に、図8に示されるように、オブジェクトの全境界98を表す境界点リストが識別される。上で述べられたように、これらの点の多くは、点が連続線分内の他の点の間に存在するかどうかの分析によって、最終的な境界点リストから除去されることができる。
図9は、知られた領域の上かつ左手の腕状領域の境界が、再帰によって見つけられ得る方法を示している。知られた領域の境界点は、行100を走査して、最左境界点102の左方を識別することによって、識別される。次に、後続の下側行104が、上で説明されたように分析され、最終的に次の最左境界点106を識別する。前のラインの最左点102が、後続の下側ライン104の最左点106の右手にある場合、アルゴリズムは、この次のライン104上の、前のラインの最左点102から次のラインの最左点106までに、現在のイメージオブジェクトの部分である(例えば、同じ色に属する)が、処理されていない、前のラインのピクセルが存在するかどうかを分析する。そのような状態が見つけられた場合、アルゴリズムは、上から下かつ右から左の進行方向を逆転し、未処理ピクセルのXおよび現在ラインのYのアドレスを、新しい多角形領域の上「左」として使用して、再帰的に自分自身を呼び出す。その後、その多角形の境界点リストが、腕状領域の第1の行のピクセル108および110、ならびに後続行のピクセル112について生成される。結果の境界点リストは、現在の点リストの、前の最左点と次の最左点の間に挿入される。このプロセスは、次のラインの最左ピクセルまでのピクセルが分析されるまで、繰り返される。
図10は、知られた領域の上かつ右手の領域の境界を識別するための同様の技法を示している。この処理では、後続ラインにおける最右ピクセル116の左手にある、前のラインにおける最右ピクセル114が識別された場合、アルゴリズムは、現在のイメージオブジェクトに属する前のラインのピクセルが処理されていないかどうかを決定するため、この後続ライン上を前のラインの最右ピクセル114から次のライン行の最右ピクセル116まで検査する。そのような状態が見つけられた場合、アルゴリズムは、上から下の方向を逆転し(しかし、右から左は逆転せず)、未処理ピクセルのXおよび現在ラインのYのアドレスを、新しい多角形領域の上「左」として使用して、再帰的に自分自身を呼び出す。その結果、腕状領域の境界と共に、追加のピクセル118および120が前のラインで見つけられ、後続のピクセル122が見つけられる。返された多角形の境界点リストは、現在の点リストの、前の最右点と次の最右点の間に挿入される。このプロセスは、最右ピクセルまでのすべてのピクセルが分析されるまで、繰り返される。
図11は、知られた領域の下かつ左手の腕状領域の境界点の識別を示している。図11に示されるように、前のライン124から、最左点126が識別され、それに続いて、下側ライン128の分析が行われる。前のラインの最左点126が、次のライン128の最左点130の左手にある場合、アルゴリズムは、この次のライン128上の、前のラインの最左点126から次のラインの最左点130までに、現在のイメージオブジェクトに属する次のライン128のいずれかのピクセルが処理されていないかどうかを決定する。そのような状態が見つけられた場合、アルゴリズムは、未処理ピクセルのXおよび前のラインのYのアドレスを、新しい多角形領域の上「左」として使用して、(方向を逆転せずに)再帰的に自分自身を呼び出す。その結果、行128のピクセル132および134が、腕状領域の追加ピクセル136と一緒に、それらの境界点と共に識別される。返された多角形の境界点リストは、現在の点リストの、前の最左点と次の最左点の間に挿入される。このプロセスは、次のラインの最左ピクセルまでのすべてのピクセルが分析されるまで、繰り返される。
最後に、図12は、知られた領域の下かつ右手の領域の境界点の識別を示している。やはり、ライン124の境界点が、ライン128の点と共に検査される。前のライン124の最右点138が、次のライン128の最右点140の右手にある場合、アルゴリズムは、この次のライン128上の、前のラインの最右点138から次のラインの最右点140までに、現在のイメージオブジェクトに属する次のライン128のピクセルが処理されていないかどうかを決定する。そのような状態が見つけられた場合、アルゴリズムは、右から左の方向を逆転し(しかし、上から下の処理は逆転せず)、未処理ピクセルのXおよび前のラインのYのアドレスを、新しい多角形領域の上「左」として使用して、再帰的に自分自身を呼び出す。その結果、図12の例におけるピクセル142および144が、腕状領域の追加ピクセル146と同様に、それぞれの境界点と共に識別される。返された多角形の境界点リストは、現在の点リストの、前の最右点と次の最右点の間に挿入される。このプロセスは、最右ピクセルまでのすべてのピクセルが分析されるまで、繰り返される。
上述の処理は、コンピュータ処理上非常に効率的な方法で、2Dイメージ内の複雑な領域の境界を正確に識別する能力を示している。したがって、この技法は、2Dイメージ、および2Dイメージ内で弁別され得る様々な所望のイメージオブジェクトの高速分析を容易にする。図13は、図1および図2の車輪20および色領域26についての例示的な境界マッピングである。そのような境界は、文書内でのタグ付けおよびラベル付けなどを含む大部分の目的にとって、大いに十分であることが分かっている。追加的な高度化された細部は、上で説明されたように、領域が追加または有界領域から削除される程度を限定することによって提供されることができる。
本明細書では本発明のいくつかの特徴だけが例示および説明されたが、多くの修正および変更が、当業者には思いつくであろう。したがって、添付の特許請求の範囲が本発明の真の主旨内に収まるそのようなすべての修正および変更を包含することが意図されていることを理解されたい。
本発明に従って分析および処理され得るタイプの例示的な2Dイメージの図である。 陰影をもたない図1のイメージの図であって、本発明に従って分析され、その境界が決定され得るイメージオブジェクトを示す図である。 オブジェクトの境界点またはピクセルが決定される方法を示す例示的なイメージオブジェクトの図である。 境界点の識別の後の図3のオブジェクトの図である。 境界点の数またはリストの削減の後の図3および図4のイメージオブジェクトの図である。 本発明に従って分析され、その境界が決定される中央領域と遮蔽領域または腕とを有する複雑なイメージオブジェクトの図である。 境界点分析中の図6のオブジェクトの図である。 境界点の識別の後の図6および図7に示されたのと同じオブジェクトの図である。 先に識別された領域の上かつ左手の遮蔽領域の境界を識別するための再帰的な技法を示す図である。 先に識別された領域の上かつ右手の遮蔽領域の境界のための同様の識別を示す図である。 先に識別された領域の下かつ左手の遮蔽領域の境界の識別を示す図である。 先に識別された領域の下かつ右手の同様の遮蔽領域の境界識別を示す図である。 図1および図2のイメージのイメージオブジェクトの1つのための境界点リストから生成された例示的な境界出力の図である。
符号の説明
10 2Dイメージ
12 集合体
14 オブジェクト/パーツ
16 カーソル
18 情報
20 車輪
22 陰影なしイメージ
24 色領域
26 境界
28 オブジェクト
30 ピクセル
32 行
34 行
36 行
38 行
40 第1のピクセル(最左)
42 境界点
44 最右ピクセル
46 境界点
48 最右ピクセル
50 境界点
52 境界点
54 境界点
56 境界点
58 境界点
60 境界点
62 境界点
64 境界点
66 境界
68 三角形
70 複雑なオブジェクト
72 領域
74 領域(上/左)
76 領域(上/右)
78 領域(下/左)
80 領域(下/右)
82 ピクセル(左)
84 ピクセル(右)
86 ピクセル
88 ピクセル
90 ピクセル
92 ピクセル
94 ピクセル
96 ピクセル
98 境界

Claims (7)

  1. デジタル化2次元イメージ内に見えるイメージオブジェクトの境界を決定するための方法であって、
    (a)前記イメージオブジェクト(28)の第1のピクセル(40)を目標ピクセルとして識別する段階と、
    (b)前記目標ピクセルに隣接する追加ピクセル(30)を、前記目標ピクセルから所望の方向にライン(32)に沿って、前記イメージオブジェクトの境界ピクセル(44)に到達するまで、前記ピクセルどうしの間の共通の属性に基づいて、識別する段階と、
    (c)段階(b)の前記ラインに隣接するが垂直方向にずれた別のライン(34)内のさらなる境界ピクセル(48)を、前記境界ピクセルを参照することによって、識別する段階と、
    (d)前記イメージオブジェクトのさらなる隣接ピクセルが識別されなくなるまで、段階(c)の前記さらなる境界ピクセルを段階(b)の前記目標ピクセルとして使用して、段階(b)および(c)を繰り返す段階と、
    前記左および右境界ピクセルのリストを保存する段階と、
    前記左または右境界ピクセルのリストのどちらかを前後逆転し、前記2つのリストを連結して、前記イメージオブジェクトの輪郭を定める多角形を記述する一連の線分を定義する単一の境界ピクセルのリストを生成する段階とを含む、方法。
  2. 前記第1のピクセル(40)が、前記イメージオブジェクト(28)の境界ピクセルである、請求項1記載の方法。
  3. 前記所望の方向が、水平方向である、請求項1記載の方法。
  4. 前記イメージオブジェクトの接触遮蔽領域(74、76、78、80)の境界ピクセルを、識別されたイメージオブジェクトピクセルのラインに隣接するラインのピクセルを識別し、識別されたイメージオブジェクトピクセルの前記ラインの前記ピクセルのいずれか1つをそのような接触遮蔽領域のための前記目標ピクセルとして使用して、段階(b)および(c)を繰り返すことによって、識別する段階をさらに含む、請求項1記載の方法。
  5. 前記境界ピクセルのリストを、前記リスト上の他のピクセルの間のライン内に存在する前記リスト上の中間ピクセルを除去することによって、削減する段階をさらに含む、請求項1記載の方法。
  6. 前記境界ピクセルのリストを、前記リスト上の3つの連続するピクセルによって定義される三角形(68)の頂点を表すピクセルを除去することによって、削減する段階をさらに含む、請求項1記載の方法。
  7. 前記共通の属性が、色である、請求項1記載の方法。
JP2006301296A 2005-11-11 2006-11-07 イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム Expired - Fee Related JP4977448B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/271,711 2005-11-11
US11/271,711 US7734099B2 (en) 2005-11-11 2005-11-11 Method and system for generating polygonal boundary definitions for image objects

Publications (2)

Publication Number Publication Date
JP2007133874A true JP2007133874A (ja) 2007-05-31
JP4977448B2 JP4977448B2 (ja) 2012-07-18

Family

ID=37873260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006301296A Expired - Fee Related JP4977448B2 (ja) 2005-11-11 2006-11-07 イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム

Country Status (3)

Country Link
US (1) US7734099B2 (ja)
EP (1) EP1785938A3 (ja)
JP (1) JP4977448B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110248910A1 (en) * 2010-04-13 2011-10-13 Thien Van Pham Method for comparing two continuous computer generated lines generated by the movements of a computer mouse or a digitizer tablet
CN103400136B (zh) * 2013-08-13 2016-09-28 苏州大学 基于弹性匹配的目标识别方法
US10861162B2 (en) * 2017-12-08 2020-12-08 Ebay Inc. Object identification in digital images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278684A (ja) * 1991-03-06 1992-10-05 Mutoh Ind Ltd 輪郭抽出方式
JPH10293852A (ja) * 1997-04-21 1998-11-04 Fuji Photo Film Co Ltd 輪郭線抽出方法
JP2000322568A (ja) * 1999-05-14 2000-11-24 Meidensha Corp 画像の輪郭ベクトル化方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0574251B1 (en) * 1992-06-11 2002-09-11 Canon Kabushiki Kaisha Image processing method and apparatus
JP3026698B2 (ja) * 1993-05-27 2000-03-27 キヤノン株式会社 画像処理方法及びその装置
JPH07262360A (ja) * 1994-02-07 1995-10-13 Canon Inc 画像処理装置及び方法
JP3878401B2 (ja) * 2000-09-14 2007-02-07 シャープ株式会社 画像処理装置、画像処理方法およびそれを記録した記録媒体
US6826500B2 (en) 2001-06-29 2004-11-30 General Electric Company Method and system for automated maintenance and training instruction generation and validation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278684A (ja) * 1991-03-06 1992-10-05 Mutoh Ind Ltd 輪郭抽出方式
JPH10293852A (ja) * 1997-04-21 1998-11-04 Fuji Photo Film Co Ltd 輪郭線抽出方法
JP2000322568A (ja) * 1999-05-14 2000-11-24 Meidensha Corp 画像の輪郭ベクトル化方法

Also Published As

Publication number Publication date
EP1785938A2 (en) 2007-05-16
US7734099B2 (en) 2010-06-08
JP4977448B2 (ja) 2012-07-18
EP1785938A3 (en) 2008-05-14
US20070110318A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
JP3877916B2 (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
JP2001109895A (ja) 複数のディジタル画像の処理方法
JP4535584B2 (ja) ディジタル画像処理方法
US8787642B2 (en) Method, device and computer-readable recording medium containing program for extracting object region of interest
US8411948B2 (en) Up-sampling binary images for segmentation
CN102246204B (zh) 用于使用标度空间来处理图像的设备和方法
JP3950777B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
JP5854802B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
US6728400B1 (en) Apparatus, method, and storage medium for setting an extraction area in an image
JP2006155610A (ja) 色、テクスチャ及びエッジの特徴を用いたドキュメントの地の評価
US20090252429A1 (en) System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing
JPH11288465A (ja) カラー画像処理装置及びパターン抽出装置
US8687895B2 (en) Image processing apparatus, image processing method, and computer-readable medium
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
JP4772819B2 (ja) 画像検索装置および画像検索方法
US8726185B1 (en) Method and apparatus for rendering overlapped objects
JP4977448B2 (ja) イメージオブジェクト用の多角形境界定義を生成するための方法およびシステム
Mullick et al. Confocal volume rendering: fast, segmentation-free visualization of internal structures
JP7144384B2 (ja) オブジェクト検出装置、方法及びプログラム
GB2514410A (en) Image scaling for images including low resolution text
US20210150788A1 (en) Media vectorization
Tian et al. Interactive foreground segmentation method using mean shift and graph cuts
Shankar et al. A novel semantics and feature preserving perspective for content aware image retargeting
JP2009289075A (ja) 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091030

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110822

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120327

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150420

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees