JP2008123035A - 画像処理装置、画像の登録方法、画像の登録方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】マスターモデルとしての幾何学情報を簡易な操作で設定可能な画像処理装置を提供する。
【解決手段】画像処理装置は、表示部と操作者からの入力を与える入力部とを含むＬＣＤタッチパネル１１と、登録画像と処理対象画像との一致度の高い部分を探索する探索処理と、登録画像を作成して登録する登録処理とを実行する画像処理部である中央制御回路３０とを備える。中央制御回路３０は、探索処理を実行する場合には、入力画像を処理対象画像として扱い、登録処理を実行する場合には、入力画像を表示部に表示させ、かつ表示部に表示された入力画像に対して入力部の操作に基づき登録画像の作成に用いる画像を重ねて描画する。
【選択図】図３

Description

この発明は、画像処理装置、画像の登録方法、画像の登録方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体に関する。より特定的には、この発明は、画像処理技術において、幾何学マッチングに用いるモデルの設定手段に関するものである。

カメラで撮像されたカメラ画像画面と、文字列やアイコン等で構成される設定項目画面が、モニタ上に同時表示（マルチ表示）される各種の画像処理装置が存在する。たとえば、カメラで撮像されたカメラ画像を用いて物体の有無を検出したり、物体の形状や寸法を測定し判別したりする視覚センサもこのような画像処理装置の１つである。

特開２００６−７２９１３号公報（特許文献１）には、このような視覚センサを応用した基板検査装置が開示されている。
特開２００６−７２９１３号公報 特開２０００−１４８９７４号公報 特開２００２−２３０５４９号公報 特開２００２−１３３４２７号公報 特開２００５−２２８０６２号公報

このような視覚センサを応用した装置であって、計測対象画像において、登録済みの画像（マスターモデル）を探索する手法のうち、幾何学情報を用いるものがある。ここで述べる幾何学情報とは、画像の形状（エッジ情報に着目した）情報のことを指す。

従来の幾何学情報を用いたマッチング処理を正確に行なうためには、幾何学情報を適切に抽出したマスターモデルを作成する必要がある。

それらのマスターモデルは、任意の条件で撮像された画像から、必要な情報のみを抽出する必要がある。しかしながら、任意の条件下で撮像された画像では、適切な幾何学情報のみを抽出するためには、不要な情報を落とす必要があり、その抽出技術が困難であるといった課題がある。

この発明の目的は、マスターモデルとしての幾何学情報を簡易な操作で設定可能な画像処理装置、画像の登録方法、画像の登録方法をコンピュータに実行させるためのプログラムおよびそのプログラムを記録した記録媒体を提供することである。

この発明は、要約すると、画像処理装置であって、表示部と、操作者からの入力を与える入力部と、登録画像と処理対象画像との一致度の高い部分を探索する探索処理と、登録画像を作成して登録する登録処理とを実行する画像処理部とを備える。画像処理部は、探索処理を実行する場合には、入力画像を処理対象画像として扱い、登録処理を実行する場合には、入力画像を表示部に表示させ、かつ表示部に表示された入力画像に対して入力部の操作に基づき登録画像の作成に用いる画像を重ねて描画する。

好ましくは、登録画像は、エッジ画像である。入力部は、表示部に表示される画像上の位置を指定することが可能である。登録処理は、入力部で指定される位置によって特定される入力画像の一部の領域からエッジ画像を抽出する処理を含む。

好ましくは、入力部は、表示部に表示される画像上の位置を指定することが可能である。登録処理は、入力部の操作に応じて描画される画像を登録画像に加える処理を含む。

好ましくは、登録画像は、エッジ画像である。入力部は、表示部に表示される画像上の位置を指定することが可能である。登録処理は、入力画像からエッジ画像を抽出する処理と、入力部の操作に応じて描画される画像を抽出されたエッジ画像に加える処理とを含む。

好ましくは、入力部は、表示部に表示される画像上の位置を指定することが可能である。登録処理は、入力部で指定される位置によって特定される登録画像の一部の領域を消去する処理を含む。

好ましくは、入力部は、表示部上に形成されるタッチパネルである。
好ましくは、入力部は、ポインティングデバイスを含む。

この発明の他の局面に従うと、表示部と操作者からの入力を与える入力部とを有する画像処理装置に対する画像の登録方法であって、画像処理装置は、登録画像と処理対象画像との一致度の高い部分を探索する処理と、登録画像を作成する登録処理とを実行する。登録方法は、入力画像を表示部に表示させるステップと、表示部に表示された入力画像に対して入力部の操作に基づき登録画像の作成に用いる画像を重ねて描画するステップとを含む。

好ましくは、登録画像は、エッジ画像である。入力部は、表示部に表示される画像上の位置を指定することが可能である。登録方法は、入力部で指定される位置によって特定される入力画像の一部の領域からエッジ画像を抽出するステップをさらに含む。

好ましくは、入力部は、表示部に表示される画像上の位置を指定することが可能である。描画するステップは、前記登録画像がすでに存在している場合には、前記入力部の操作に応じて描画される画像を前記登録画像に加える。

好ましくは、登録画像は、エッジ画像である。入力部は、表示部に表示される画像上の位置を指定することが可能である。登録方法は、入力画像からエッジ画像を抽出するステップをさらに含む。描画するステップは、抽出されたエッジ画像がすでに存在している場合には、入力部の操作に応じて描画される画像をエッジ画像に加えるステップを含む。

好ましくは、入力部は、表示部に表示される画像上の位置を指定することが可能である。描画するステップは、入力部で指定される位置によって特定される登録画像の一部の領域を消去するステップを含む。

好ましくは、入力部は、表示部上に形成されるタッチパネルである。
好ましくは、入力部は、ポインティングデバイスを含む。

この発明は、さらに他の局面に従うと、上記いずれかの画像の登録方法をコンピュータに実行させるためのプログラムである。

この発明は、さらに他の局面に従うと、上記いずれかの画像の登録方法をコンピュータに実行させるためのプログラムをコンピュータ読取り可能に記録した記録媒体である。

本発明によれば、最適な幾何学情報を抽出するためのノウハウや習熟度が不要となり、簡単かつ直感的に最適な幾何学情報を設定することが可能となる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰返さない。

図１は、本発明の実施の形態に係る画像処理装置の斜視図である。
図２は、図１の画像処理装置のコントローラ１０の正面図である。

図１、図２を参照して、画像処理装置は、コントローラ１０とカメラ部２０とを含む。
コントローラ１０には、設定ボタン１２、ＬＣＤ（液晶素子）タッチパネル１１、コンソール用コネクタ１３からの入力が可能で、計測パラメータ設定や計測タイミング入力を行なうことができる。

コントローラ１０は、計測タイミング入力に応じて、カメラインタフェースを通してカメラ部２０で撮像された撮像画像を取得して、設定された計測パラメータでの計測処理を画像データに対して行ない、結果を出力する。結果出力は、外部モニタやＬＣＤタッチパネル１１の画面に出力される。カメラインタフェースにはコネクタ１４が設けられており、２台のカメラが接続可能である。

また、ＬＣＤタッチパネル１１の画面上には、各種パラメータ設定を容易にするために、文字や画像データが設定メニューとして表示される。ＬＣＤタッチパネル１１は、画面上に表示された各種設定メニューやアイコンなどを選択するための入力装置としても機能する。

カメラ部２０は照明２２が一体化されたものであり、コントローラ１０からのタイミング入力に応じて、ユーザに設定されたタイミングで照明を点灯し、受光部２１に内蔵された撮像素子で撮像した画像データをコントローラ１０側に送る。

操作部カバー２５を開くと、ＵＳＢやＳＤカード等の外部入出力インタフェース用コネクタ１６と設定ボタン１７とが設けられている。

設定ボタン１７は、「ＡＵＴＯ」ボタン１７Ａと、「ＥＳＣ」ボタン１７Ｂと、「ＳＥＴ」ボタン１７Ｃと、上下左右のカーソル移動ボタン１７Ｄとを含む。

ＬＣＤタッチパネル１１の画面には、幾何学情報の登録に使用する撮像画像である入力画像５０が表示されている。そして、その入力画像５０の周囲には、登録エリア２７が示されている。登録エリア２７は、幾何学情報を設定する領域である。

また、ＬＣＤタッチパネル１１の画面には、さらに、描画図形選択エリア２６と、「キャンセル」、「確定」等の指示を与えるためのボタン２８とが設けられている。描画図形選択エリア２６には、マスターモデルとしての幾何学情報の作成に用いる画像を描画するための描画図形を示すアイコンが表示されている。

幾何学情報は、任意に追加・削除ができ、幾何学情報の追加・登録は、ＬＣＤタッチパネル１１ルもしくは設定ボタン１２，１７からの入力に応じて行なわれる。

図３は、コントローラ１０の構成を示すブロック図である。
図３を参照して、コントローラ１０は、中央制御回路３０と、ＬＣＤコントローラ３４と、ＬＣＤタッチパネル１１と、タッチパネルコントローラ３２と、設定ボタン１２，１７と、外部モニタ用インタフェース回路１９と、外部モニタ用コネクタ３６と、コンソール用コネクタ１３とを含む。外部モニタ用コネクタ３６には、ＬＣＤタッチパネル１１とは別の外部モニタを接続することができる。コンソール用コネクタ１３には、設定ボタン１２，１７の代わりに入力指示を与えられるコンソールを接続することができる。

コントローラ１０は、さらに、カメラインタフェース回路１８と、カメラ用コネクタ１４と、外部入出力インタフェース用回路１５と、外部入出力インタフェース用コネクタ１６とを含む。カメラ用コネクタ１４には、図１に示したカメラ部２０を２台接続することができる。

中央制御回路３０は、たとえば、ＣＰＵ、メモリ、ＡＳＩＣなどを含み、本設定に関する処理においては、ＬＣＤタッチパネル１１や設定ボタン１２，１７などの各入力に応じたＨＭＩ（Human Machine Interface）制御や、幾何学情報の自動抽出処理、幾何学情報の描画処理、カメラ部２０から入力された画像をＬＣＤタッチパネル１１の画面に表示する機能などを実行する。

ＬＣＤコントローラ３４は、中央制御回路３０から送られてきたデータをＬＣＤタッチパネル１１の画面に表示する。

タッチパネルコントローラ３２は、ＬＣＤタッチパネル１１から送られてきた画像上の位置データを中央制御回路３０に送信する。

設定ボタン１２，１７のオン・オフ状態は中央制御回路に入力される。
外部入出力インタフェース用回路１５は、たとえば、ＵＳＢ（Universal Serial Bus）、RS-232C/422などのシリアルインタフェース回路やパラレルI/O入力回路やEthernet（登録商標）インタフェース回路等であり、外部入出力インタフェース用コネクタ１６を介して、中央制御回路３０と外部に接続されたパソコンやＰＬＣ（Programmable Logic Controller）などとの間の通信を行なう。

カメラインタフェース回路１８は、たとえば、ＬＶＤＳ（Low Voltage Differential Signaling）回路であり、カメラ用コネクタ１４を介して、中央制御回路３０と外部に接続されたカメラ部２０との間で、画像データや制御データの通信を行なう。

また、アナログRGB出力インタフェース等の外部モニタ用インタフェース回路１９を通して、外部モニタ用コネクタと接続された外部モニタに、コントローラに一体化されているＬＣＤタッチパネル１１上の画像と同じ画像を出力することができる。

図３に示される画像処理装置は、表示部と操作者からの入力を与える入力部とを含むＬＣＤタッチパネル１１と、登録画像と処理対象画像との一致度の高い部分を探索する探索処理と、登録画像を作成して登録する登録処理とを実行する画像処理部である中央制御回路３０とを備える。中央制御回路３０は、探索処理を実行する場合には、入力画像を処理対象画像として扱い、登録処理を実行する場合には、入力画像を表示部に表示させ、かつ表示部に表示された入力画像に対して入力部の操作に基づき登録画像の作成に用いる画像を重ねて描画する。なお、入力部は、マウスやトラックボールなどのポインティングデバイスを含むものであっても良い。

図４は、本実施の形態における画像データの遷移を示した状態遷移図である。
図４を参照して、入力画像Ｐ１は、カメラで撮像された生データである。エッジ画像Ｐ２は、入力画像Ｐ１から抽出されたり入力画像Ｐ１を参照しながら描画したりして作成された中間的なデータである。幾何学モデルＰ３は、計測処理を実行するときに入力画像Ｐ１と比較されるデータであり、登録処理で作成される最終データである。

図５は、図３の中央制御回路３０において実行される登録処理についてのプログラムの制御構造を示すフローチャートである。

以下、図４、図５を参照して幾何学情報を設定するフローについて説明する。
ステップＳ１において幾何学モデル登録処理が開始されると、ステップＳ２において幾何学情報を取得するための基準となる入力画像Ｐ１が撮像され、ＬＣＤタッチパネル１１上に表示する。

続いて、ステップＳ３において設定ボタンまたはタッチパネルの入力待ち状態となる。ステップＳ３で入力があった場合には、与えられた設定ボタンもしくはタッチパネルの入力に応じて、幾何学情報の自動算出や、幾何学図形の描画、消去、表示内容の更新、幾何学モデルの登録処理が実行される。

ステップＳ４では「ＡＵＴＯ」ボタン１７Ａ、ステップＳ６ではＬＣＤタッチパネル１１上の描画図形選択ボタン、ステップＳ８では「ＳＥＴ」ボタン１７Ｃ、ステップＳ１０では「ＥＳＣ」ボタン１７Ｂがそれぞれ押されているかどうかが順に判断される。

ステップＳ４において、「ＡＵＴＯ」ボタン１７Ａが押されていたと判断されると、ステップＳ５に処理が進み、幾何学情報が自動抽出される。自動抽出の方法として、エッジ画像から２値化レベルを自動算出して、外形情報を自動抽出する方法が実行される。２値化レベルは、後に図９で説明するように、エッジ画像の濃度分布データから算出する。

ステップＳ６においてＬＣＤタッチパネル１１上の描画図形選択ボタンが押されていると判断されると、ステップＳ７の図形描画処理が実行され、選択された図形情報を、ＬＣＤタッチパネル１１上に表示する。図形情報は、設定ボタンやタッチパネルの入力に応じて、その形状や大きさ、傾きなどを調整することが可能である。

ステップＳ５またはステップＳ７の処理が終了すると、ステップＳ１１に処理が進みＬＣＤタッチパネル１１上の表示内容が更新される。

ステップＳ８で、「ＳＥＴ」ボタン１７Ｃが押されていた場合には、エッジ画像Ｐ２を最終データとして確定してよいと判断してステップＳ９の幾何学モデル登録処理が実行される。ステップＳ９で登録完了すると、ステップＳ１２において処理を終了する。

ステップＳ１０で「ＥＳＣ」ボタン１７Ｂが押されていた場合には、本設定処理をキャンセルして、ステップＳ１２において処理を終了する。

ステップＳ１０で「ＥＳＣ」ボタン１７Ｂが押されていなかった場合、または、ステップＳ１１で表示内容が更新された場合には、再びステップＳ３に進み入力待ち状態となる。

本実施の形態に開示される画像の登録方法は、表示部と操作者からの入力を与える入力部とを有する画像処理装置に対する画像の登録方法であって、画像処理装置は、登録画像と処理対象画像との一致度の高い部分を探索する処理と、登録画像を作成する登録処理とを実行する。登録方法は、入力画像を表示部に表示させるステップ（S2)と、表示部に表示された入力画像に対して入力部の操作に基づき登録画像の作成に用いる画像を重ねて描画するステップ（S7)とを含む。

図６は、図５のステップＳ５で実行される幾何学情報を自動抽出する処理の詳細を示すフローチャートである。

図６を参照して、このフローチャートの処理は大きく分けて２つの処理モードで構成されている。１つは、ステップＳ２３からステップＳ２５に示す自動抽出を行なうモードであり、他の１つはステップＳ２６からステップＳ２８に示す範囲を限定して抽出を行なうモードである。

ステップＳ２１において幾何学情報自動抽出処理が開始されると、ステップＳ２２でエッジ指定が有るか否かが判断される。エッジ指定有りとは、図４の中間データであるエッジ画像Ｐ２が既に存在している場合であり、エッジ指定無しとは、エッジ画像Ｐ２がまだ全く存在していない場合である。

ステップＳ２１においてエッジ指定有りの場合には、ステップＳ２６に処理が進み、エッジ指定無しの場合にはステップＳ２３に処理が進む。

ステップＳ２３では、入力画像Ｐ１に対して、矢印Ｈ１に示すようにエッジ画像Ｐ２を生成する。エッジ画像Ｐ２の生成は、矢印Ｈ１の処理では汎用的なフィルタ処理（たとえばソーベルフィルタ、線形フィルタ等の公知のエッジ抽出フィルタを用いて行なわれる。

図７は、ステップＳ２３〜Ｓ２５の処理の結果を示した画像である。
ステップＳ２３の処理において、図７（Ａ）で示された入力画像に基づいて、図７（Ｂ）に示すエッジ画像が生成される。

ステップＳ２３に続いてステップＳ２４の２値化レベル自動算出処理が行なわれる。この処理では、生成されたエッジ画像に対して、候補となるエッジ情報を抽出するために、２値化レベルの自動算出を行なう。

図８は、２値化レベルの自動算出について説明するための図である。
図８において横軸は、エッジ画像の各画素が有する値Ｂ（たとえば、濃淡が０〜２５５の階調で表わされる）を示し、縦軸はエッジ画像中に該当する値Ｂを有する画素がいくつ存在したかの画素数Ｎを示す。図８のグラフは、エッジ画像の値Ｂの分布を示すグラフである。

エッジ画像の座標（ｘ，ｙ）の画素の値をＢ（ｘ，ｙ）とし、ノイズ成分を除去するための有効画素判断レベルをＴＨとする。

２値化レベルの算出は、以下（１）〜（３）の手順で実行される。（１）２値化レベルを算出する対象範囲内においてＢ（ｘ，ｙ）＞ＴＨを満たす範囲（平均値算出範囲Ｒ）に分布する各画素の数値Ｂ（ｘ，ｙ）の総和ＳＵＭＢを算出する。（２）総和ＳＵＭＢを有効画素数で割って平均値を算出する。（３）そして平均値の１／２を２値化レベルに決定する。

さらに図６のステップＳ２５において、ステップＳ２４で算出された２値化レベルを用いて、エッジ画像の２値化が行なわれる。すると図７（Ｃ）に示すような２値化画像が得られる。これにより、エッジ画像の淡い部分がノイズとして消去され、エッジ画像も細線化されエッジ部分が特定される。この２値化レベルより大きい座標情報を中間データである幾何学情報としてメモリに保存して、ステップＳ２９において本処理を終了する。

続いて図６のステップＳ２２において、エッジ指定有りと判断された場合について説明する。エッジ指定は、入力画像全体から図７で示したような有効画素の抽出が難しい場合に行なわれる。たとえば、抽出したい図形の背景が無地ではなく柄があったり、背景に段差が有ったりする場合にその柄や段差が抽出されないようにする必要がある。エッジ指定がされると、図６のステップＳ２６〜Ｓ２８において範囲を限定した抽出処理が行なわれる。

図９は、ステップＳ２６〜Ｓ２８の処理の結果を示した画像である。
図９（Ａ）では、入力画像が表示され、その上にエッジ抽出をするための領域指定４０がなされている状態が示されている。入力画像は、縦縞がある曲面上に矢印が印刷された画像である。この矢印を抽出するために、矢印部分をなぞるようにして領域指定４０がなされている。この領域指定は、後に詳細を説明する図５のステップＳ７の図形描画処理で描画された図形に基づいて行なわれる。領域指定４０が存在している場合には図６のステップＳ２２からステップＳ２６に処理が進む。

ステップＳ２６においては、入力画像に対して、エッジコードの算出が行なわれる。
エッジコードは、処理対象画像（ステップＳ２６では入力画像）の画素毎の濃度勾配方向に基づく角度データをいい、特開２００５−２２８０６２（特許文献５）にも記載されている。

ここで、エッジコードの求め方およびエッジコードに関連のあるエッジ強度の求め方について説明しておく。

入力画像上の画素毎に、水平方向（ｘ軸方向）における濃度の変化量Ｅｘ（ｘ，ｙ）と垂直方向（ｙ軸方向）における濃度の変化量Ｅｙ（ｘ，ｙ）とを求める。そして、これらＥｘ（ｘ，ｙ），Ｅｙ（ｘ，ｙ）が示すベクトルの合成ベクトルＦについて、つぎの（１）式により、ベクトルの長さＩＥ（ｘ，ｙ）を算出する。このＩＥ（ｘ，ｙ）がエッジ強度である。
ＩＥ（ｘ，ｙ）＝√（（Ｅｘ（ｘ，ｙ））²＋（Ｅｙ（ｘ，ｙ））²） … （１）
また、上記合成ベクトルＦ＝（Ｅｘ（ｘ，ｙ），Ｅｙ（ｘ，ｙ））の示す方向は、着目画素における濃度勾配方向に対応する。所定の座標位置（ｘ，ｙ）にある画素Ｅについて、濃度勾配方向を示すベクトルＦに直交するベクトルＣを設定し、このベクトルＣの方向を示す角度ＥＣ（ｘ，ｙ）をエッジコードとする。なお、ベクトルＦは、明るい方（濃度が濃い方）から暗い方（濃度が淡い方）に向かう方向であり、ベクトルＣは、ベクトルＦを時計回り方向に９０度回転させた方向に相当する。すなわち、ベクトルＦは入力画像の輪郭線に直交し、ベクトルＣは輪郭線に沿う方向となる。

またエッジコードＥＣ（ｘ，ｙ）は、画素Ｅからｘ軸の正方向に向かうベクトルを基準に表されるもので、Ｅｘ（ｘ，ｙ），Ｅｙ（ｘ，ｙ）の値に応じて、下記（２ａ）〜（２ｅ）のいずれかの式により求められる。

Ｅｘ（ｘ，ｙ）＞０ および Ｅｙ（ｘ，ｙ）≧０のとき、
ＥＣ（ｘ，ｙ）＝ａｔａｎ（Ｅｙ（ｘ，ｙ）／Ｅｘ（ｘ，ｙ）） … （２ａ）
Ｅｘ（ｘ，ｙ）＞０ および Ｅｙ（ｘ，ｙ）＜０のとき、
ＥＣ（ｘ，ｙ）＝３６０＋ａｔａｎ（Ｅｙ（ｘ，ｙ）／Ｅｘ（ｘ，ｙ）） … （２ｂ）
Ｅｘ（ｘ，ｙ）＜０のとき、
ＥＣ（ｘ，ｙ）＝１８０＋ａｔａｎ（Ｅｙ（ｘ，ｙ）／Ｅｘ（ｘ，ｙ）） … （２ｃ）
Ｅｘ（ｘ，ｙ）＝０ および Ｅｙ（ｘ，ｙ）＞０のとき、
ＥＣ（ｘ，ｙ）＝０ … （２ｄ）
Ｅｘ（ｘ，ｙ）＝０ および Ｅｙ（ｘ，ｙ）＜０のとき、
ＥＣ（ｘ，ｙ）＝１８０ … （２ｅ）
図９（Ｂ）は、図９（Ａ）の入力画像の各画素のエッジコードが求められ、その各画素のエッジコードをその画素に対応する座標に濃淡や色で表示した画像（エッジコード画像と呼ぶ）が示されている。この段階の画像は特にＬＣＤパネルに表示する必要はないが、説明の便宜のためエッジコード画像に領域指定４０を重ねた画像が図８（Ｂ）に示されている。

ステップＳ２６のエッジコードの算出が終了すると、続いてステップＳ２７において与えられたエッジ情報（領域指定４０）に対して、エッジ抽出範囲を算出する処理が実行される。

図１０は、エッジ抽出範囲の算出について説明するための図である。
図１０を参照して、与えられたエッジ情報は領域指定４０として処理される。領域指定４０が画面上に存在している場合、中央制御回路３０は、その領域指定４０を幅Ｗ分だけ外側に広げて線４０Ｂを発生する。また、中央制御回路３０は、領域指定４０を幅Ｗ分だけ内側に狭めて線４０Ｃを発生する。そして、中央制御回路３０は、線４０Ｂと線４０Ｃで挟まれた領域をエッジ抽出範囲に設定する。図９（Ｃ）には、エッジコード画像にエッジ抽出範囲を示す線４０Ｂと線４０Ｃとを重ねた状態が示されている。

ステップＳ２７でエッジ抽出範囲の設定が終了すると、ステップＳ２８に処理が進み中央制御回路３０は、エッジコードが一致する箇所の画素情報を抽出する。具体的には、中央制御回路３０は、線４０Ｂと線４０Ｃとで挟まれたエッジ抽出範囲内において、エッジ情報（もともとの領域指定４０）が持っているエッジコードの情報と、一致するエッジコードを持つ座標の情報を取得する。

ここで述べているエッジコードとは、方向情報のことである。要するに、ステップＳ２８では、入力画像上に描画されていたエッジ情報と同じ方向（平行）である部分の座標をエッジコード画像から取得する処理が行なわれる。図９（Ｄ）には、線４０Ｂと線４０Ｃとで挟まれたエッジ抽出範囲内からもともとの領域指定４０にエッジコードが似ている有効画素の座標が抽出された状態が示されている。

そして、ステップＳ２９において、ステップＳ２８で抽出された座標情報を幾何学情報としてメモリに保存して、図４のステップＳ５で実行される幾何学情報自動抽出処理が終了する。

つまり、この自動抽出処理では、既に抽出されたエッジ画像や描画された画像（図４のエッジ画像Ｐ２）がある場合にはその画像基づいて抽出領域を特定して選択的に入力画像Ｐ１からの抽出を行なうことができるし（図４の矢印Ｈ４に該当）、全くエッジ画像Ｐ２が無い場合には入力画像Ｐ１全体からエッジ画像Ｐ２を抽出することができる（図４の矢印Ｈ１に該当）。

以上説明したように、登録画像は、エッジ画像を含むものである。入力部であるタッチパネルは、表示部に表示される画像上の位置を指定することが可能である。画像の登録方法は、入力部で指定される位置によって特定される入力画像の一部の領域からエッジ画像を抽出するステップ(S26-S28)を含む。

続いて、図５のステップＳ７で実行される図形描画処理について説明する。
図１１は、図５のステップＳ７で実行される図形描画処理の詳細を示したフローチャートである。

図１１を参照して、描画図形選択ボタンが押され図形描画処理がステップＳ４０において開始されると、まずステップＳ４１で描画図形選択入力待ちとなる。そして、ステップＳ４２において入力された内容に基づいて図形の描画もしくは削除の処理が行なわれる。その後、ステップＳ４３においてこの図形描画処理は終了し、制御は図５のフローチャートに移される。

図１２は、図１１のステップＳ４１、Ｓ４２において図形描画処理が実行される様子を説明するための図である。

図１２を参照して、左側には、図７で自動抽出された輪郭線５２，５４，５６，５８，６０が入力画像５０に重ねて表示されている状態が示されている。右側には図２の描画図形選択エリア２６の図形追加に関する一例２６Ａが示されている。

たとえば、入力画像５０から中央の輪郭線５４がうまく抽出できなかった場合には、アイコン７３を選択して入力画像５０に重ねて輪郭線５４を描画させる。描画は、種々の指定方法が考えられるが、たとえばアイコン７３選択後に直径の両端の座標をタッチパネルから入力する等により円の描画をさせることができる。また、図形の一部が途切れていた場合に、その部分を補うように描画することもできる。

また、図５のステップＳ５の自動抽出がうまくいかない場合には、自動抽出を用いずに、入力画像５０を表示させておいてその輪郭に重ねるように輪郭線５２を矩形のアイコン７２を用いて描画させ、輪郭線５４，５６，５８，６０を円形のアイコン７３を用いて描画させても良い。

つまり、この図形描画処理では、既に抽出されたエッジ画像や描画された画像（図４のエッジ画像Ｐ２）がある場合にはその画像に追加描画することができる。（図４の矢印Ｈ３に該当）。

一方、全くエッジ画像Ｐ２が無い場合には入力画像を見ながら一から描画することができる（図４の矢印Ｈ２に該当）。

描画する図形は、円形や矩形以外にも、種々考えられる。たとえば、アイコン７４で楕円を描いたり、アイコン７５で直線を描いたり、アイコン７６で円弧を描いたり、アイコン７７で自由図形を描いたりすることができる。

つまり、入力部は、表示部に表示される画像上の位置を指定することが可能である。描画するステップ（S7)は、登録画像がすでに存在している場合には、入力部の操作に応じて描画される画像を登録画像に加える。

また、画像の登録方法は、入力画像からエッジ画像を抽出するステップ(S23-S25)を含む。描画するステップ（S7)は、抽出されたエッジ画像がすでに存在している場合には、入力部の操作に応じて描画される画像をエッジ画像に加えるステップ(S41,S42)を含む。

図１３は、図１１のステップＳ４１、Ｓ４２において図形削除処理が実行される様子を説明するための図である。

図１３を参照して、左側には図２の描画図形選択エリア２６の図形追加に関する一例２６Ｂが示されている。右側には、図７で自動抽出された輪郭線５２，５４，５６，５８，６０のうち輪郭線５６，５８，６０が削除され入力画像５０に重ねて表示されている状態が示されている。

自動抽出された輪郭線のうち、一部の輪郭線は重要な情報をしめし、残りの輪郭線は不要な情報である場合がある。不要な情報の比率が少ない場合には、抽出後に不要な部分を選択的に消去するほうが、必要な情報を図１２で説明したように描画するよりも効率が良い。

その場合には、描画図形選択エリア２６Ｂ中の矩形領域のデータを削除するアイコン８２で輪郭線５６，５８，６０を順に囲んで消去ボタン８１を押すことで必要な輪郭線５２，５４のみを登録するためのデータとして残すことができる。

つまり、この図形描画処理では、既に抽出されたエッジ画像や描画された画像（図４のエッジ画像Ｐ２）がある場合に、その画像の一部を消去することができる（図４の矢印Ｈ３に該当）。

すなわち、描画するステップ（S7)は、入力部で指定される位置によって特定される登録画像の一部の領域を消去するステップ(S41,S42)を含む。

図１４は、図５のステップＳ９で実行される幾何学モデルを登録する処理の詳細を示すフローチャートである。

幾何学モデル登録処理では、描画された図形情報（図４のエッジ画像Ｐ２）に対して、エッジ強度およびエッジコードという特徴量を抽出する。そして、これらの抽出した特徴量と座標情報と関連付けたデータを幾何学モデル情報として登録する。

なお、幾何学モデルとは、画像処理を用いて得られるエッジ抽出点の強度情報や、各画素の濃度勾配方向に関する情報など、様々な定義付けがあるが、本実施の形態では、各画素の濃度勾配の大きさ（エッジ強度）と、濃度勾配に基づく角度データ（エッジコード）を扱うものを一例として示す。

図１４を参照して、ステップＳ５０において幾何学モデル登録処理が開始されると、ステップＳ５１で、まずエッジ情報を取得する処理が行なわれる。ここでエッジ情報とはメモリ中に保存されている図４のエッジ画像（中間データ）Ｐ２のことであり、自動算出結果（幾何学情報自動抽出の結果）、および、幾何学図形描画の結果にて取得された図形情報が含まれる。

つづいて、ステップＳ５２において、エッジ画像の各画素についてエッジ強度を算出する処理が実行される。エッジ強度は、画素毎の濃度勾配の大きさのことである。エッジ強度の算出については、式（１）で既に説明したので説明は繰返さない。そして、各画素のエッジ強度と座標とを対応付けたデータを作成する。このデータがエッジ強度画像である。

つづいて、ステップＳ５３において、エッジ画像の各画素についてエッジコードを算出する処理が実行される。エッジコードは、画素毎の濃度勾配に基づく角度データのことである。エッジコードの算出については、式（２ａ）〜（２ｅ）で既に説明したので説明は繰返さない。そして、各画素のエッジコードと座標とを対応付けたデータを作成する。このデータがエッジコード画像である。

そして、算出されたエッジ強度画像およびエッジコード画像を、ステップＳ５４において幾何学モデル情報として登録し、幾何学モデル登録処理が終了する（ステップＳ５５）。

図１５は、幾何学モデル登録処理を説明するための図である。
図１５において、まず入力画像に重ねた状態でエッジ情報が画面上に描画されており、このエッジ情報を登録してよいと操作者が判断したら「ＳＥＴ」ボタンで登録指示を行なうと、現在のエッジ情報からエッジ強度画像とエッジコード画像が作成され、これが画像処理装置中のハードディスクドライブや不揮発性メモリなどに保存される。

以上説明したように、本実施の形態に示した画像処理装置では、任意の画像に対して適切な幾何学情報の作成を簡単に実現するために、幾何学情報を入力画像から自動抽出したり、タッチパネルを用いて、不要な情報を削除したり必要な情報を追加したりすることができる。これにより、工場ライン等への画像処理装置設置時の作業時間が短縮される。

なお本実施の形態は、画像の登録方法をコンピュータ（図３の中央制御回路３０）に実行させるためのプログラムについても説明したものである。このプログラムは、ＳＤカード等の記録媒体からコンピュータに読み込ませることもできるし、また外部入出力インタフェース用回路を経由してコンピュータに読み込ませることもできる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の実施の形態に係る画像処理装置の斜視図である。 図１の画像処理装置のコントローラ１０の正面図である。 コントローラ１０の構成を示すブロック図である。 本実施の形態における画像データの遷移を示した状態遷移図である。 図３の中央制御回路３０において実行される登録処理についてのプログラムの制御構造を示すフローチャートである。 図５のステップＳ５で実行される幾何学情報を自動抽出する処理の詳細を示すフローチャートである。 ステップＳ２３〜Ｓ２５の処理の結果を示した画像である。 ２値化レベルの自動算出について説明するための図である。 ステップＳ２６〜Ｓ２８の処理の結果を示した画像である。 エッジ抽出範囲の算出について説明するための図である。 図５のステップＳ７で実行される図形描画処理の詳細を示したフローチャートである。 図１１のステップＳ４１、Ｓ４２において図形描画処理が実行される様子を説明するための図である。 図１１のステップＳ４１、Ｓ４２において図形削除処理が実行される様子を説明するための図である。 図５のステップＳ９で実行される幾何学モデルを登録する処理の詳細を示すフローチャートである。 幾何学モデル登録処理を説明するための図である。

符号の説明

１０ コントローラ、１１ ＬＣＤタッチパネル、１２，１７ 設定ボタン、１３ コンソール用コネクタ、１４ カメラ用コネクタ、１５ 外部入出力インタフェース用回路、１６ 外部入出力インタフェース用コネクタ、１７ 設定ボタン、１８ カメラインタフェース回路、１９ 外部モニタ用インタフェース回路、２０ カメラ部、２１ 受光部、２２ 照明、２５ 操作部カバー、２６ 描画図形選択エリア、２７ 登録エリア、３０ 中央制御回路、３２ タッチパネルコントローラ、３４ ＬＣＤコントローラ、３６ 外部モニタ用コネクタ、７２，７３，７４，７５，７６，７７，８２ アイコン。

Claims (16)

1. 表示部と、
   操作者からの入力を与える入力部と、
   登録画像と処理対象画像との一致度の高い部分を探索する探索処理と、前記登録画像を作成して登録する登録処理とを実行する画像処理部とを備え、
   前記画像処理部は、前記探索処理を実行する場合には、入力画像を前記処理対象画像として扱い、前記登録処理を実行する場合には、前記入力画像を前記表示部に表示させ、かつ前記表示部に表示された前記入力画像に対して前記入力部の操作に基づき前記登録画像の作成に用いる画像を重ねて描画する、画像処理装置。
2. 前記登録画像は、エッジ画像であり、
   前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
   前記登録処理は、
   前記入力部で指定される位置によって特定される前記入力画像の一部の領域からエッジ画像を抽出する処理を含む、請求項１に記載の画像処理装置。
3. 前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
   前記登録処理は、
   前記入力部の操作に応じて描画される画像を前記登録画像に加える処理を含む、請求項１に記載の画像処理装置。
4. 前記登録画像は、エッジ画像であり、
   前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
   前記登録処理は、
   前記入力画像からエッジ画像を抽出する処理と、
   前記入力部の操作に応じて描画される画像を抽出されたエッジ画像に加える処理とを含む、請求項１に記載の画像処理装置。
5. 前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
   前記登録処理は、
   前記入力部で指定される位置によって特定される前記登録画像の一部の領域を消去する処理を含む、請求項１に記載の画像処理装置。
6. 前記入力部は、前記表示部上に形成されるタッチパネルである、請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記入力部は、ポインティングデバイスを含む、請求項１〜５のいずれか１項に記載の画像処理装置。
8. 表示部と操作者からの入力を与える入力部とを有する画像処理装置に対する画像の登録方法であって、
   前記画像処理装置は、登録画像と処理対象画像との一致度の高い部分を探索する処理と、前記登録画像を作成する登録処理とを実行し、
   前記登録方法は、
   入力画像を前記表示部に表示させるステップと、
   前記表示部に表示された前記入力画像に対して前記入力部の操作に基づき前記登録画像の作成に用いる画像を重ねて描画するステップとを含む、画像の登録方法。
9. 前記登録画像は、エッジ画像であり、
   前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
   前記登録方法は、
   前記入力部で指定される位置によって特定される前記入力画像の一部の領域からエッジ画像を抽出するステップをさらに含む、請求項８に記載の画像の登録方法。
10. 前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
    前記描画するステップは、前記登録画像がすでに存在している場合には、前記入力部の操作に応じて描画される画像を前記登録画像に加える、請求項８に記載の画像の登録方法。
11. 前記登録画像は、エッジ画像であり、
    前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
    前記登録方法は、
    前記入力画像からエッジ画像を抽出するステップをさらに含み、
    前記描画するステップは、
    抽出された前記エッジ画像がすでに存在している場合には、前記入力部の操作に応じて描画される画像を前記エッジ画像に加えるステップを含む、請求項８に記載の画像の登録方法。
12. 前記入力部は、前記表示部に表示される画像上の位置を指定することが可能であり、
    前記描画するステップは、
    前記入力部で指定される位置によって特定される前記登録画像の一部の領域を消去するステップを含む、請求項８に記載の画像の登録方法。
13. 前記入力部は、前記表示部上に形成されるタッチパネルである、請求項８〜１２のいずれか１項に記載の画像の登録方法。
14. 前記入力部は、ポインティングデバイスを含む、請求項８〜１２のいずれか１項に記載の画像の登録方法。
15. 請求項８〜１４のいずれか１項に記載の画像の登録方法をコンピュータに実行させるためのプログラム。
16. 請求項８〜１４のいずれか１項に記載の画像の登録方法をコンピュータに実行させるためのプログラムをコンピュータ読取り可能に記録した記録媒体。