JP2002074331A

JP2002074331A - 画像処理装置および画像処理方法

Info

Publication number: JP2002074331A
Application number: JP2000256988A
Authority: JP
Inventors: Jun Nishijima; 潤西島; Masatoshi Fujiwara; 正年藤原
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2000-08-28
Filing date: 2000-08-28
Publication date: 2002-03-15

Abstract

(57)【要約】【課題】ソフト処理部およびハード処理部による処理
の実行時間を短縮する利用を可能にする。【解決手段】複数の撮像装置２から得た検査対象の画
像データに対する画像処理を通じて、検査対象を測定し
て検査をする画像処理装置であって、ＣＰＵ１１１およ
びメモリ１１２により成るソフト処理部１１と、ＡＳＩ
ＣまたはＦＰＧＡなどのデバイス１２１およびメモリ１
２２により成るハード処理部１２と、テーブルを持つコ
ントロール回路１３１およびメモリ１３２により成るコ
ントロール部１３とを備え、このコントロール部１３
に、利用者による入力装置３の操作を通じた選択に応じ
て、ソフト処理部１１およびハード処理部１２の少なく
とも一方で、上記検査のための処理を実行させる機能を
設けた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、工業用途の生産設
備として、生産工程上の製品の良否判定などの検査に使
用される画像処理装置および画像処理方法、特に、処理
速度および検査精度を要求される環境において、処理の
高速化が可能な画像処理装置および画像処理方法に関す
るものである。

【０００２】

【従来の技術】図９は従来の画像処理装置などを示す図
である。図９において、画像処理装置１ｐには、ＴＶカ
メラなどの撮像装置２と、キーパッドなどの入力装置３
と、ＣＲＴまたはＬＣＤなどの表示装置４とが接続され
ている。

【０００３】画像処理装置１ｐは、撮像装置２から得た
検査対象の画像データに対する画像処理を通じて、検査
対象を測定して検査をするものであって、ＣＰＵ１１１
およびメモリ１１２により成るソフト処理部１１と、Ａ
ＳＩＣ（特定用途向き集積回路）１２１ｐおよびメモリ
１２２により成るハード処理部１２ｐと、その他各種の
回路部とを備えている。この構成の場合、ハード処理部
１２ｐは、明らかに高速化を図れる処理に絞られて使用
されることになる。

【０００４】なお、特開平１０−２６９３６１号公報に
は、ＣＰＵはハードウエアによるランデータの算出動作
に並行してラベリング処理するようにした画像処理装置
が開示されている。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
画像処理装置では、ソフト処理部およびハード処理部の
双方を備えていても、その双方のどちらか一方でしか処
理が実行されないので、あるいはソフト処理部とハード
処理部とによる処理が固定されているので、実際の検査
において処理を高速にすることができない場合があっ
た。近年、ＣＰＵの性能の向上は目覚ましく、検査に使
用するアプリケーションによっては、ソフト処理部の方
が格段に高速化を図れる場合もでてきている。また、多
少なりとも複雑なアプリケーションによっては、実際に
処理を実行させてその処理の実行時間を比較してみなけ
れば、ソフト処理部およびハード処理部のどちらの実行
時間が短いかを判断することができないこともあった。

【０００６】本発明は、上記事情に鑑みてなされたもの
であり、ソフト処理部およびハード処理部による処理の
実行時間を短縮する利用を可能にする画像処理装置およ
び画像処理方法を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
の請求項１記載の発明は、複数のＴＶカメラから得た検
査対象の画像データに対する画像処理を通じて、検査対
象を測定して検査をする画像処理装置であって、ＣＰＵ
により構成されるソフト処理部と、ＦＰＧＡまたはＡＳ
ＩＣにより構成されるハード処理部とを備え、利用者に
よる選択に応じて、前記ソフト処理部およびハード処理
部の少なくとも一方で、前記検査のための処理を実行さ
せる機能を有することを特徴とする。

【０００８】請求項２記載の発明は、請求項１記載の画
像処理装置において、前記ソフト処理部による前記検査
のための処理の実行時間および前記ハード処理部による
前記検査のための処理の実行時間の出力を行い、この出
力に応じて入力される利用者による選択に応じて、前記
ソフト処理部およびハード処理部の一方で、前記検査の
ための処理を実行させることを特徴とする。

【０００９】請求項３記載の発明は、請求項２記載の画
像処理装置において、前記出力はスプレッドシートによ
る表示出力であり、前記両実行時間のうち優位性のある
方は高輝度または太字で表示されることを特徴とする。

【００１０】請求項４記載の発明は、請求項３記載の画
像処理装置において、前記スプレッドシートにおける前
記検査のための処理の項目は階層構造になっており、項
目が利用者の選択で指定されると、その項目の下位階層
のデータであってより詳細な処理の実行時間の比較デー
タが表示されることを特徴とする。

【００１１】請求項５記載の発明は、請求項１記載の画
像処理装置において、過去に蓄積されたデータを元に設
定データを任意に選択することで設定データを画面上に
再現するように表示出力することを特徴とする。

【００１２】請求項６記載の発明は、複数のＴＶカメラ
から得た検査対象の画像データに対する画像処理を通じ
て、検査対象を測定して検査をする画像処理装置であっ
て、ＣＰＵにより構成されるソフト処理部と、ＦＰＧＡ
またはＡＳＩＣにより構成されるハード処理部とを備
え、少なくとも、前記ソフト処理部による前記検査のた
めの処理の実行時間と前記ハード処理部による前記検査
のための処理の実行時間との比較を行い、これら実行時
間のうち短い方の、前記ソフト処理部およびハード処理
部のいずれかで、前記検査のための処理を実行させるこ
とを特徴とする。

【００１３】請求項７記載の発明は、請求項１または６
記載の画像処理装置において、蓄積データにより連続実
行している処理に対して、環境の変化に伴って前処理の
処理方法を基準レベルの範囲に対して変動が生じた場合
などで自動的に処理を変更させることを特徴とする。

【００１４】請求項８記載の発明は、ＣＰＵにより構成
されるソフト処理部と、ＦＰＧＡまたはＡＳＩＣにより
構成されるハード処理部とを備える画像処理装置を使用
し、複数のＴＶカメラから得た検査対象の画像データに
対する画像処理を通じて、検査対象を測定して検査をす
る画像処理方法であって、利用者による選択に応じて、
前記ソフト処理部およびハード処理部の少なくとも一方
で、前記検査のための処理を実行させることを特徴とす
る。

【００１５】

【発明の実施の形態】図１は画像処理装置などを示す
図、図２は図１のコントロール回路の説明図、図３は図
１の画像処理装置の動作フロー、図４は図１における表
示装置に対する画像処理装置による表示例を示す図であ
り、これらの図を用いて以下に本発明の第１実施形態に
ついて説明する。

【００１６】図１において、画像処理装置１には、図９
の画像処理装置１ｐと同様に、撮像装置２と、入力装置
３と、表示装置４とが接続されている。ただし、撮像装
置２は複数台接続されている。

【００１７】画像処理装置１は、複数の撮像装置２から
得た検査対象の画像データに対する画像処理を通じて、
検査対象を測定（位置、形状等の各種測定）して検査を
するものであって、ＣＰＵ１１１およびＳＤＲＡＭなど
のメモリ１１２により成るソフト処理部１１と、ＡＳＩ
ＣまたはＦＰＧＡ (field programmable gate array)な
どのデバイス１２１およびメモリ１２２により成るハー
ド処理部１２と、テーブルを持つコントロール回路１３
１およびメモリ１３２により成るコントロール部１３
と、撮像装置２から画像データを取り込むためのＡ／Ｄ
変換器１４などの各種回路部とにより構成されている。
なお、デバイス１２１は、ＡＳＩＣとＦＰＧＡとの複数
種のデバイスにより成る構成でもよい。

【００１８】そして、第１実施形態の特徴として、コン
トロール部１３には、利用者による入力装置３の操作を
通じた選択に応じて、ソフト処理部１１およびハード処
理部１２の少なくとも一方で、上記検査のための処理を
実行させる機能が設けられている。

【００１９】この機能に関して、例えば、テーブルを利
用して、まず検査のためのある処理をソフト処理部１１
で実行させ、続いて同じ処理をハード処理部１２で実行
させる制御をコントロール部１３が行うように構成すれ
ば（以下、この構成を構成Ａという）、利用者は、その
処理に対するソフト処理部１１およびハード処理部１２
の実行時間を比較することができ、ソフト処理部１１お
よびハード処理部１２のどちらの実行時間が短いかを判
断することができるので、ソフト処理部１１およびハー
ド処理部１２のうち実行時間の短い方を選択する操作を
入力装置３で行えば、次回から、その選択に応じて、ソ
フト処理部１１またはハード処理部１２で、上記検査の
ための処理が行われることになる。これにより、ソフト
処理部１１およびハード処理部１２による処理の実行時
間を短縮する利用が可能になる。

【００２０】あるいは、図２の構成の如く、テーブルを
利用して、まず検査のためのある処理をソフト処理部１
１で実行させ、続いて同じ処理をハード処理部１２で実
行させ、続いて同じ処理をソフト処理部１１およびハー
ド処理部１２の双方で実行させる制御をコントロール部
１３が行うように構成すれば、利用者は、その処理に対
するソフト処理部１１、ハード処理部１２および双方の
実行時間を比較することができ、ソフト処理部１１、ハ
ード処理部１２および双方のどちらの実行時間が短いか
を判断することができるので、ソフト処理部１１、ハー
ド処理部１２および双方のうち実行時間の短い方を選択
する操作を入力装置３で行えば、次回から、その選択に
応じて、ソフト処理部１１およびハード処理部１２の少
なくとも一方で、上記検査のための処理が行われること
になる。これにより、ソフト処理部１１およびハード処
理部１２による処理の実行時間を短縮する利用が可能に
なる。

【００２１】これらいずれの場合にも、図３の例に示す
ようなフローに従って、ステップＳ１で、利用者により
指定された実行プログラム（走査データ）をコントロー
ル回路１３１に受け渡し、ステップＳ２で、ソフト処理
部１１およびハード処理部１２のうちのどれによって検
査のための処理を実行させるかの判断をコントロール回
路１３１で行い、ステップＳ３，Ｓ４で、その判断に従
って、ソフト処理部１１およびハード処理部１２の少な
くとも一方が処理を実行し、ステップＳ５でその処理の
結果（少なくとも実行時間）を得た後、ステップＳ６
で、その結果を基に（例えば必要な結果が全て得られれ
ば）、コントロール回路１３１中のテーブルにある処理
選択を変えて、再度ステップＳ１〜Ｓ５の処理を行うこ
とになる。これにより、各処理別に各実行時間（実行速
度）を比較するために必要なデータが得られる。

【００２２】ここで、画像処理装置１は、ステップＳ５
で得た結果を参照して、検査のための処理毎に、ソフト
処理部１１およびハード処理部１２による各実行時間
を、図４（ａ）の例に示すように、スプレッドシートで
表示装置４の画面に表示するように構成される。ただ
し、図４は上記構成Ａの場合の画面表示例になってい
る。このように、表示装置４に対する各実行時間の表示
出力をスプレッドシートで行えば、検査のための処理
（図４（ａ）の例では、「ライン上のドット数検査」、
「ウィンドウ面積検査」など）毎に、ソフト処理部１１
およびハード処理部１２による各実行時間を比較可能に
簡単に一覧表示することができる。この場合、両実行時
間のうち優位性のある方、つまり実行時間の短い（実行
速度の速い）方を高輝度または太い字体で表示すれば、
処理の実行時間に優位性のある方の選択が一目で可能と
なる。また、例えば「ライン上のドット数検査」の項目
などの「検査・機能」に対する実行速度は、一定条件の
速度比較を表示するようにしてもよい。

【００２３】また、第１実施形態では、スプレッドシー
トにおける検査のための処理の項目は階層構造になって
おり、項目が利用者による入力装置３の操作を通じた選
択で指定されると、その項目の下位階層のデータであっ
てより詳細な処理の実行時間の比較データを表示するよ
うに構成される。例えば、図４（ａ）に示す「ライン上
のドット数検査」の項目を指定すると、その項目の下位
階層のデータとして、図４（ｂ）に示すように、詳細な
処理の実行時間の比較データが表示される。これによ
り、詳細設定時の実行速度の比較が可能になり、利用者
にとって、必要なアプリケーションに一番近い設定およ
び処理速度の参照が可能となる。

【００２４】さらに、例えば、図４（ｂ）に示した「ラ
イン上のドット数検査」の下位階層のデータにおいて、
詳細設定時の設定条件で項目が選択されると、図５の例
に示すように、検査パターンが表示装置４の画面に表示
される。これにより、その設定値をベースに変更が可能
となる。

【００２５】以上、従来では、ソフト処理部とハード処
理部とを完全に切り分けて処理が行われるので、アプリ
ケーションによっては、ソフト処理部の方が高速に処理
を実行することができたり、あるいはハード処理部の方
が高速に処理を実行することができたりする場合がある
が、第１実施形態によれば、ソフト処理部およびハード
処理部による処理の実行時間（実行速度）を比較して、
ソフト処理部およびハード処理部のうちいずれで処理を
実行させるかを選択することができるので、ソフト処理
部およびハード処理部による処理の実行時間を短縮する
利用が可能になり、性能を最大限引き出して画像処理を
実行することができる。

【００２６】図６は画像処理装置などを示す図、図７，
図８は図６の画像処理装置の動作フローであり、これら
の図を用いて以下に本発明の第２実施形態について説明
すると、図６に示す画像処理装置１ａには、第１実施形
態と同様に、複数の撮像装置２と、入力装置３と、表示
装置４とが接続されている。

【００２７】画像処理装置１ａは、ソフト処理部１１
と、ハード処理部１２と、Ａ／Ｄ変換器１４などの各種
回路部とを第１実施形態と同様に備えているほか、第１
実施形態との相違点として、テーブルを持つコントロー
ル回路２３１およびメモリ１３２により成るコントロー
ル部２３を備えている。

【００２８】そして、第２実施形態の特徴として、コン
トロール部２３には、少なくとも、ソフト処理部１１に
よる検査のための処理の実行時間とハード処理部１２に
よる検査のための処理の実行時間との比較を行い、これ
ら実行時間のうち短い方の、ソフト処理部１１およびハ
ード処理部１２のいずれかで、検査のための処理を実行
させる機能が設けられている。例えば、図７に示すよう
に、第１実施形態と同様のステップＳ１〜Ｓ５の手順後
に、ステップＳ１６で、利用者が処理の実行時間を比較
した結果を判断して処理を選択するのではなく、ソフト
処理部１１およびハード処理部１２による処理の実行時
間の比較を予め用意されたテーブル内で行い、実行時間
の短い方で検査のための処理を実行させることになる。
この構成によれば、各実行時間のうち短い方の、ソフト
処理部１１およびハード処理部１２のいずれかが自動的
に選択され、その選択されたものにより検査のための処
理が実行されることになるので、ソフト処理部１１およ
びハード処理部１２の少なくとも一方によって実行され
る検査のための処理の時間を短縮する利用が可能とな
る。

【００２９】また、コントロール部２３には、蓄積デー
タにより連続実行している処理に対して、環境の変化に
伴って前処理の処理方法を基準レベルの範囲に対して変
動が生じた場合などで自動的に処理を変更させる機能が
さらに付加されている。例えば、図８の例に示すステッ
プＳ２１〜Ｓ２５で、検査のための処理を繰り返し実行
している場合に、その処理結果（検査としての処理の結
果）に影響を与える環境の変化等が生じたとき、ステッ
プＳ２６で、実行速度の性能が多少悪くても信頼性の高
い処理に自動的に変更されるのである。より具体的に
は、例えば、ソフト処理部１１によるソーベル微分前処
理の方が実行速度の性能が高くても、環境の変化で照明
の照度が低下した場合や、微分処理によって得られるエ
ッジ位置が通常計測される位置範囲から外れる場合など
で、ハード処理部１２によるラプラシアン微分の処理に
自動的に切り替えられる。これにより、環境が変化して
も処理を好適に連続実行させることができる。

【００３０】

【発明の効果】以上のことから明らかなように、請求項
１記載の発明の、複数のＴＶカメラから得た検査対象の
画像データに対する画像処理を通じて、検査対象を測定
して検査をする画像処理装置によれば、ＣＰＵにより構
成されるソフト処理部と、ＦＰＧＡまたはＡＳＩＣによ
り構成されるハード処理部とを備え、利用者による選択
に応じて、前記ソフト処理部およびハード処理部の少な
くとも一方で、前記検査のための処理を実行させる機能
を有するので、利用者による選択に応じて、ソフト処理
部およびハード処理部の少なくとも一方で、検査のため
の処理が実行されるようになるから、ソフト処理部およ
びハード処理部のうち利用者が所望するもので、検査の
ための処理を実行させることができ、ソフト処理部およ
びハード処理部の少なくとも一方によって実行される検
査のための処理の時間を利用者の選択で短縮する利用が
可能となる。

【００３１】請求項２記載の発明によれば、請求項１記
載の画像処理装置において、前記ソフト処理部による前
記検査のための処理の実行時間および前記ハード処理部
による前記検査のための処理の実行時間の出力を行い、
この出力に応じて入力される利用者による選択に応じ
て、前記ソフト処理部およびハード処理部の一方で、前
記検査のための処理を実行させるので、ソフト処理部お
よびハード処理部による処理の実行時間の比較によっ
て、ソフト処理部およびハード処理部の一方が選択され
るようになるから、検査のための処理の時間を短縮する
利用が可能となる。

【００３２】請求項３記載の発明によれば、請求項２記
載の画像処理装置において、前記出力はスプレッドシー
トによる表示出力であり、前記両実行時間のうち優位性
のある方は高輝度または太字で表示されるので、表示出
力がスプレッドシートで行われるから、検査のための各
種処理の実行時間を比較可能に簡単に一覧表示すること
ができ、しかも、ソフト処理部による検査のための処理
の実行時間およびハード処理部による検査のための処理
の実行時間のうち、優位性のある方が高輝度または太字
で表示されるので、処理の実行時間に優位性のある方の
選択が一目で可能となる。

【００３３】請求項４記載の発明によれば、請求項３記
載の画像処理装置において、前記スプレッドシートにお
ける前記検査のための処理の項目は階層構造になってお
り、項目が利用者の選択で指定されると、その項目の下
位階層のデータであってより詳細な処理の実行時間の比
較データが表示されるので、より詳細な処理の実行時間
の比較データが表示されるから、利用者にとって、必要
なアプリケーションに一番近い設定および処理速度の参
照が可能となる。

【００３４】請求項５記載の発明によれば、請求項１記
載の画像処理装置において、過去に蓄積されたデータを
元に設定データを任意に選択することで設定データを画
面上に再現するように表示出力するので、利用者は設定
データから自由に変更することができる。

【００３５】請求項６記載の発明の、複数のＴＶカメラ
から得た検査対象の画像データに対する画像処理を通じ
て、検査対象を測定して検査をする画像処理装置によれ
ば、ＣＰＵにより構成されるソフト処理部と、ＦＰＧＡ
またはＡＳＩＣにより構成されるハード処理部とを備
え、少なくとも、前記ソフト処理部による前記検査のた
めの処理の実行時間と前記ハード処理部による前記検査
のための処理の実行時間との比較を行い、これら実行時
間のうち短い方の、前記ソフト処理部およびハード処理
部のいずれかで、前記検査のための処理を実行させるの
で、各実行時間のうち短い方の、ソフト処理部およびハ
ード処理部のいずれかが自動的に選択され、その選択さ
れたものにより検査のための処理が実行されるから、ソ
フト処理部およびハード処理部の少なくとも一方によっ
て実行される検査のための処理の時間を短縮する利用が
可能となる。

【００３６】請求項７記載の発明によれば、請求項１ま
たは６記載の画像処理装置において、蓄積データにより
連続実行している処理に対して、環境の変化に伴って前
処理の処理方法を基準レベルの範囲に対して変動が生じ
た場合などで自動的に処理を変更させるので、環境が変
化しても処理を好適に連続実行させることができる。

【００３７】請求項８記載の発明の、ＣＰＵにより構成
されるソフト処理部と、ＦＰＧＡまたはＡＳＩＣにより
構成されるハード処理部とを備える画像処理装置を使用
し、複数のＴＶカメラから得た検査対象の画像データに
対する画像処理を通じて、検査対象を測定して検査をす
る画像処理方法によれば、利用者による選択に応じて、
前記ソフト処理部およびハード処理部の少なくとも一方
で、前記検査のための処理を実行させるので、利用者に
よる選択に応じて、ソフト処理部およびハード処理部の
少なくとも一方で、検査のための処理が実行されるよう
になるから、ソフト処理部およびハード処理部のうち利
用者が所望するもので、検査のための処理を実行させる
ことができ、ソフト処理部およびハード処理部の少なく
とも一方によって実行される検査のための処理の時間を
利用者の選択で短縮する利用が可能となる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る画像処理装置など
を示す図である。

【図２】図１のコントロール回路の説明図である。

【図３】図１の画像処理装置の動作フロー図である。

【図４】図１における表示装置に対する画像処理装置に
よる表示例を示す図である。

【図５】検査設定引用による表示例を示す図である。

【図６】本発明の第２実施形態に係る画像処理装置など
を示す図である。

【図７】図６の画像処理装置の動作フロー図である。

【図８】図６の画像処理装置の動作フロー図である。

【図９】従来の画像処理装置などを示す図である。

【符号の説明】

１画像処理装置１１ソフト処理部１２ハード処理部１３コントロール部２撮像装置３入力装置４表示装置

Claims

【特許請求の範囲】

【請求項１】複数のＴＶカメラから得た検査対象の画
像データに対する画像処理を通じて、検査対象を測定し
て検査をする画像処理装置であって、ＣＰＵにより構成
されるソフト処理部と、ＦＰＧＡまたはＡＳＩＣにより
構成されるハード処理部とを備え、利用者による選択に
応じて、前記ソフト処理部およびハード処理部の少なく
とも一方で、前記検査のための処理を実行させる機能を
有することを特徴とする画像処理装置。
【請求項２】前記ソフト処理部による前記検査のため
の処理の実行時間および前記ハード処理部による前記検
査のための処理の実行時間の出力を行い、この出力に応
じて入力される利用者による選択に応じて、前記ソフト
処理部およびハード処理部の一方で、前記検査のための
処理を実行させることを特徴とする請求項１記載の画像
処理装置。
【請求項３】前記出力はスプレッドシートによる表示
出力であり、前記両実行時間のうち優位性のある方は高
輝度または太字で表示されることを特徴とする請求項２
記載の画像処理装置。
【請求項４】前記スプレッドシートにおける前記検査
のための処理の項目は階層構造になっており、項目が利
用者の選択で指定されると、その項目の下位階層のデー
タであってより詳細な処理の実行時間の比較データが表
示されることを特徴とする請求項３記載の画像処理装
置。
【請求項５】過去に蓄積されたデータを元に設定デー
タを任意に選択することで設定データを画面上に再現す
るように表示出力することを特徴とする請求項１記載の
画像処理装置。
【請求項６】複数のＴＶカメラから得た検査対象の画
像データに対する画像処理を通じて、検査対象を測定し
て検査をする画像処理装置であって、ＣＰＵにより構成
されるソフト処理部と、ＦＰＧＡまたはＡＳＩＣにより
構成されるハード処理部とを備え、少なくとも、前記ソ
フト処理部による前記検査のための処理の実行時間と前
記ハード処理部による前記検査のための処理の実行時間
との比較を行い、これら実行時間のうち短い方の、前記
ソフト処理部およびハード処理部のいずれかで、前記検
査のための処理を実行させることを特徴とする画像処理
装置。
【請求項７】蓄積データにより連続実行している処理
に対して、環境の変化に伴って前処理の処理方法を基準
レベルの範囲に対して変動が生じた場合などで自動的に
処理を変更させることを特徴とする請求項１または６記
載の画像処理装置。
【請求項８】ＣＰＵにより構成されるソフト処理部
と、ＦＰＧＡまたはＡＳＩＣにより構成されるハード処
理部とを備える画像処理装置を使用し、複数のＴＶカメ
ラから得た検査対象の画像データに対する画像処理を通
じて、検査対象を測定して検査をする画像処理方法であ
って、利用者による選択に応じて、前記ソフト処理部お
よびハード処理部の少なくとも一方で、前記検査のため
の処理を実行させることを特徴とする画像処理方法。