JP2002517838A - 画像処理検査装置および検査方法 - Google Patents

画像処理検査装置および検査方法

Info

Publication number
JP2002517838A
JP2002517838A JP2000552628A JP2000552628A JP2002517838A JP 2002517838 A JP2002517838 A JP 2002517838A JP 2000552628 A JP2000552628 A JP 2000552628A JP 2000552628 A JP2000552628 A JP 2000552628A JP 2002517838 A JP2002517838 A JP 2002517838A
Authority
JP
Japan
Prior art keywords
image processing
image
processing
board
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000552628A
Other languages
English (en)
Other versions
JP4096513B2 (ja
Inventor
俊樹 山根
和隆 池田
和男 澤田
祥雅 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Publication of JP2002517838A publication Critical patent/JP2002517838A/ja
Application granted granted Critical
Publication of JP4096513B2 publication Critical patent/JP4096513B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

(57)【要約】 本発明は、TVカメラでの撮影画像を画像処理して検査結果を出力する画像処理検査装置に関するもので、パーソナルコンピュータの拡張バスに接続された画像処理ボード上のメモリから、カメラ画像をパーソナルコンピュータの主メモリに転送し、画像処理ボードとパーソナルコンピュータ内とで、同一カメラ画像に対する画像処理を分担して互いに並行に行うように構成する。

Description

【発明の詳細な説明】
【0001】
【技術分野】
本発明は、工場等の生産設備として、生産工程上の製品の良否の判定検査等に
使われる画像処理検査装置および検査方法に関する。
【背景技術】
工場等の生産工程では、昨今、パーソナルコンピュータをベースにした制御装
置や検査装置が増えてきている。特にウィンドウOS(例えばマイクロソフト社の
Windows95,Windows98 あるいはWindowsNT 等)は、優れたHMI(ヒューマン・マシ
ン・インターフェース)を持っている。このため、パーソナルコンピュータをベ
ースにした装置では、ワープロソフト、表計算ソフト、グラフィックス描画ソフ
ト、データベースソフト等、様々なソフトウェアがウィンドウOS上の共通の手法
で操作できることが、ユーザにとって大きなメリットになっている。
【0002】 例えばロボットの位置制御等の様々な制御も、その制御に応じた専用のハード
ウェアをパーソナルコンピュータに接続して、ウィンドウOS上のアプリケーショ
ンソフトウェアで行えるようになってきている。
【0003】 ウィンドウOSを使う別のメリットは、アプリケーションソフト同士のデータの
やりとりが簡単に行えることにある。例えば、マイクロソフト社の代表的なウィ
ンドウOSであるWindows95,Windows98,WindowsNT では、OLE(Object Linking and
Embedding) の手法を用いて、ある一つのアプリケーションに対し、他のアプリ
ケーションからコマンドを送ったり、データを更新したり、受け取ったりするこ
とが、OS上でダイナミックに行える。
【0004】 一方、人の視覚に頼っていた各種の目視検査を正確に、高速に、かつ自動的に
行い得る画像処理検査装置が、工場等の生産設備として数多く導入されている。
このような画像処理検査装置の分野でも、パーソナルコンピュータの拡張バスに
ボードを挿入して、例えばウィンドウOS上のアプリケーションソフトウェアで制
御を行えるような装置が開発されてきている。
【0005】 一般に画像処理検査装置は、例えば図10に示すような生産ラインでの製品の良
否検査などに用いられる。コンベア51上に流れてくる製品(以下、ターゲットと
呼ぶ)52をTVカメラ53で撮影し、その撮影画像に対して位置補正、面積測定、
重心位置算出等の様々な画像処理を行った後、画像処理結果を数値演算し、求ま
った値から検査の良否を判定する論理演算を経て外部に結果を出力する、といっ
た一連の演算出力処理が行われる。
【0006】 従来は、専用のハードウェア、およびそのハードウェア上で動作する専用ソフ
トウェアを開発して上記の一連の処理を実現してきたが、昨今、パーソナルコン
ピュータのCPUの性能が著しく向上してきたため、これらのすべての処理をパ
ーソナルコンピューターのCPUで行うようにした装置が多く開発されている。
【0007】 すなわち、コンベア51上に流れてくるターゲット52がセンサ54で検知されると
、検知信号が検査開始のトリガ入力としてパーソナルコンピュータ55に送られ、
TVカメラ53の画像が撮り込まれる。なお、パーソナルコンピュータ55には、例
えばパラレルインターフェース入力があり、その端子に検知信号が入力されるこ
とで検査開始となって、画像が撮り込まれる。その後、パーソナルコンピュータ
55によって上記した画像処理と一連の演算出力処理とが行われる。
【0008】 図11に、このような画像処理検査装置の構成例を示している。パーソナルコン
ピュータ61を中央処理制御装置として設け、このパーソナルコンピュータ61の拡
張バス63に画像撮り込みボード62が挿入(コネクタ接続)されている。このボー
ド62は、TVカメラ64からの画像データを蓄える画像撮り込みメモリ65と、バス
制御回路66とを備えるだけの構成で、安価に作製できる。上記バス制御回路66に
よって、画像撮り込みメモリ65に撮り込まれた画像データが、パーソナルコンピ
ュータ61内のCPUボード67上のメモリ68に転送される。
【0009】 例えば拡張バス63がPCIバスの構成であれば、直接このバスを制御して、C
PUボード67上のメモリ68に高速に画像を転送することができるような画像撮り
込みボードが、数多く市販されている。CPUボード67のメモリ68に入ったカメ
ラ画像は、CPU69により、同じメモリ68にロードされた画像処理ソフトウェア
を使って処理される。
【0010】 その処理手順の具体例を図12に示している。まずステップS51において、上記
のように画像の撮り込みが行われると、次いで、ウィンドウ処理(S52)、特徴
抽出処理(S53)、マッチング処理(S54)などの画像処理が順次実行される。
次いで、これら画像処理結果から、数値演算・判定(S55)、結果描画(S56)
、結果出力(S57)などの後処理が行われる。
【0011】 なお、ウィンドウ処理とは、2値化処理においては設定された領域内の面積(
指定色(白又は黒)の画素数を求める処理であり、濃淡処理においては設定され
た領域内の濃淡総和あるいは平均値を求める処理である。特徴抽出処理とは、2
値化において設定された領域内にある各ランド(指定色(白又は黒)の独立した
塊)の特徴量(重心座標、面積、周囲長、外接矩形、慣性主軸等)を求める処理
である。マッチング処理とは、濃淡処理において、予め抽出されたテンプレート
画像が、設定された領域内の何処に存在するかの一致度(相関係数)に基づいて
座標や角度等を求める処理である。
【0012】 ところで、画像処理検査装置の性能を図るものさしのひとつは、如何に処理を
短時間で実行できるかである。上記のような構成では、例えば同じパーソナルコ
ンピュータで違うアプリケーションをマルチタスクで実行した場合、画像処理に
割けるCPUの時間割合が低下し、その結果、画像処理時間が著しく長くなって
しまう。
【0013】 そこで図13に示すように、パーソナルコンピュータ71の拡張バス72に、TVカ
メラ73からの画像の撮り込みと共に画像処理の機能を有する画像処理ボード74を
接続して構成された画像処理検査装置が開発されている。この画像処理ボード74
には、画像撮り込みメモリ75やバス制御回路76に加え、画像処理ソフトウェアが
格納されている画像処理ソフトウェア保存用ROM77と、起動時に上記画像処理
ソフトウェアがロードされる画像処理ソフトウェア用RAM78と、上記画像処理
ソフトウェアに従って動作するCPU79とが搭載されている。
【0014】 この装置では、できる限り短時間で実行しなくてはならない画像処理が、画像
処理ボード74上のCPU79で実行される。パーソナルコンピュータ71では、アプ
リケーションソフトウェアに従って、様々な処理のパラメータの設定変更、画像
処理エリアの描画、結果の描画、数値演算、論理演算の設定や表示を行う。
【0015】 画像処理ボード74とパーソナルコンピュータ71とは、拡張バス72を通じて、例
えば共有メモリ(デュアルポートメモリ素子)80を用いてデータを共有している
。拡張バス72上には画像データが出てこないため、転送するデータ量は少なくて
済む。さらに、画像処理ボード74上のCPU79が画像処理を行うので、パーソナ
ルコンピュータ71内の主CPU81の負担が軽減される。なお、画像処理ボード74
のメモリ77・78、CPU79に代えて、大規模ゲートアレイ、ASICなどの画像
処理専用のハードウェアで構成されるものもある。
【0016】 しかしながら、上記の画像処理ボード74で実行できる画像処理の内容は、画像
処理プログラム保存用ROM77内にあらかじめ格納されているソフトウェア、あ
るいは画像処理ボード上に搭載されたゲートアレイ等の専用ハードウェアに限定
され、柔軟性が乏しい問題点があった。また、パーソナルコンピュータ71の主C
PU81は、大きな負荷が常時かかっているわけではないので、必要に応じて画像
処理を分担できれば、装置全体から考えて処理の高速化が図れるが、上記のよう
な構成ではそれが不可能であるという問題点があった。
【0017】 本発明は、上記問題点に鑑み、装置全体の処理高速化を図ることが可能であり
、また、パーソナルコンピュータ等で構成される中央処理制御装置のCPUの負
担を必要に応じて軽減し得る画像処理検査装置および検査方法を提供することを
目的としている。
【0018】
【発明の開示】
本発明の画像処理検査装置および検査方法では、例えばパーソナルコンピュー
タより成る中央処理制御装置の拡張バスに接続された画像処理ボードと上記中央
処理制御装置内のCPUボードとで、TVカメラで撮り込んだ同一画像データを
取り扱えるようにして、CPUボードと画像処理ボードとで、画像処理を適宜分
担、並行して実行させる。
【0019】 また、本発明の画像処理検査装置および検査方法では、中央処理制御装置の拡
張バスに接続された画像処理ボードで、TVカメラで撮り込んだ画像データの画
像処理を行い、中央処理制御装置内のCPUボードで画像処理結果に基づく後処
理を行う。そして、これら画像処理と後処理とが互いに並行して行われるような
パイプライン処理を行う。
【0020】
【発明を実施するための最良の形態】
〔実施形態1〕 図1に、実施形態1の画像処理検査装置の構成を示している。この装置はパー
ソナルコンピュータ1を中央処理制御装置として備え、このパーソナルコンピュ
ータ1には、CPUボード2、ハードディスクなどから成る外部記憶装置3、イ
ンターフェース4、および、汎用の拡張バス(例えばPCIバス)5が設けられ
ている。
【0021】 CPUボード2には、主CPU6と主メモリ7とが備わっている。主メモリ6
には、このパーソナルコンピュータ1の起動時に、外部記憶装置3からOSプロ
グラム(図示せず)がロードされ、また、画像処理ソフトウェアA、およびアプ
リケーションソフトウェアもロードされる(または、実行時にロードされる場合
もある)。
【0022】 拡張バス5には、TVカメラ10が接続された画像処理ボード11が挿入(コネク
タ接続)されている。
【0023】 この画像処理ボード11には、パーソナルコンピュータ1内の主CPU6とは別
に、画像処理専用のCPU(以下、副CPUという)12が搭載されている。また
、このボード11には、TVカメラ10の撮影画像を撮り込んで記憶する画像撮り込
みメモリ13と、ROMから成る画像処理ソフトウェア保存用メモリ14と、RAM
から成る画像処理ソフトウェア用メモリ15とが設けられている。画像処理ソフト
ウェア保存用メモリ14に画像処理ソフトウェアBが格納されており、このソフト
ウェアBが、パーソナルコンピュータ1起動時に画像処理ソフトウェア用メモリ
15にロードされる。
【0024】 画像処理ボード11には、パーソナルコンピュータ1のCPUボード2とデータ
をやり取りするための共有メモリ16とバス制御回路17とがさらに設けられている
。上記共有メモリ16を用いて、この画像処理ボード11で実行する画像処理の設定
データがCPUボード2から送られたり、画像処理ボード11で実行された画像処
理の結果がCPUボード2に返されたりする。
【0025】 また、後述するように、画像撮り込みメモリ13に撮り込まれたカメラ画像がパ
ーソナルコンピュータ1の主メモリ7に転送されるときには、上記バス制御回路
17によって拡張バス5への画像データの転送が行われる。
【0026】 パーソナルコンピュータ1の主メモリ7には、主CPU6で動作するアプリケ
ーションソフトウェアの一つとして、本装置の全体を制御するソフトウェアがロ
ードされている。このソフトウェアの機能は次の通りである。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、主CPU6で実行するものと、画像処理ボ
ード11の副CPU12で実行するものとに振り分ける。 (3) 副CPU12で実行する画像処理のための設定(パラメータ)を、共有メ
モリ16を介して副CPU12に送る。 (4) 画像処理ボード11から送られてくる画像処理の結果、および主CPU6
で実行された画像処理の結果から、数値演算や判定を行い、必要な結果を
パーソナルコンピュータ1のモニタ(図示せず)に描画したり、インター
フェース4を用いて外部に出力する。
【0027】 上記のような構成の画像検査装置により、図2に示すフローチャートに従って
検査が実行される。すなわち、インターフェース4やユーザ操作により検査開始
が指示されると、TVカメラ11からターゲットの撮影画像が画像処理ボード11上
の画像撮り込みメモリ13に撮り込まれる。同時に、画像撮り込みメモリ13に撮り
込まれたカメラ画像は、拡張バス5を通してパーソナルコンピュータ1の主メモ
リ7に転送される(S1)。
【0028】 PCIバスのアーキテクチャでは、バスは32ビットで33MHz 動作なので、原理
的には最高32×33MHz/8=132Mバイト/秒の転送速度になる。実用的には理論値の
1/4 〜1/5 位である。それでも、例えば1画面512×512画素×8ビット=256Kバ
イトの転送は、0.256/(132/5)≒10ms程度である。これは、フレーム画像の撮り
込み時間33.3msより短いので、事実上リアルタイム転送ができる。なお、このと
きの拡張バス5への画像データ転送は、画像処理ボード11上のバス制御回路17が
行うので、パーソナルコンピュータ1の主CPU6の負担が軽減される。
【0029】 上記のように画像データがパーソナルコンピュータ1の主メモリ7にも格納さ
れると、パーソナルコンピュータ1の主CPU6と、画像処理ボード11の副CP
Uとが、同一の画像データを用いて、それぞれ画像処理を互いに並行に実行する
。このときの画像処理の相互条件は、パーソナルコンピュータ1の主CPU6で
動作する前記のソフトウェアによって設定される(実際に並行処理できるように
振り分けるために、位置補正など処理の依存関係がある場合等が考慮されている
)。
【0030】 本実施形態1では、パーソナルコンピュータ1の主CPU6が、画像処理ソフ
トウェアAによってウィンドウ処理や特徴抽出処理を行い(S2・S3)、同時
に、画像処理ボード11上の副CPU12が、画像処理ソフトウェアBによってマッ
チング処理を行う(S4)。この場合、マッチング処理に必要なパラメータがパ
ーソナルコンピュータ1から事前に画像処理ボード11に転送されている。
【0031】 画像処理ボード11でのマッチング処理の結果は、共有メモリ16を介してパーソ
ナルコンピュータ1のCPUボード2に送られ、このCPUボード2で実行され
たウィンドウ処理および特徴抽出処理の結果と合わせて、数値演算・判定、結果
描画、結果出力等の後処理が行われて(S5〜S7)、このときのターゲットに
対する検査を終了し、次のターゲットに対する検査を開始する。
【0032】 以上の説明のように、本実施形態においては、画像転送手段として機能するバ
ス制御回路17によって、画像撮り込みメモリ13に撮り込まれたカメラ画像は主メ
モリ7にも転送される。また、この主メモリ7に格納されたカメラ画像に対する
画像処理を主CPU6によっても行わせるように、上記主メモリ7に、CPU動
作制御手段として画像処理ソフトウェアAがロードされている。そして、並行処
理制御手段としての機能を有する前記アプリケーションソフトウェアに従い、カ
メラ画像に対する画像処理が、主CPU6と、画像処理ボード11における画像処
理手段としての副CPU12とに分担されて、これら主CPU6と副CPU12との
画像処理が互いに並行に行われる。
【0033】 従来は、前記図12に示したように、画像撮り込み、画像処理、後処理がシーケ
ンシャルに行われていた。ここで、一般的には正規化相関を用いたマッチング処
理(パターンマッチング)の実行は濃淡画像処理であり、ウィンドウ処理や特徴
抽出処理は2値画像処理である。このため、マッチング処理はウィンドウ処理や
特徴抽出処理に比べて時間がかかる。また、例えばウィンドウ処理の実行結果を
用いて特徴抽出処理を実行させる必要があるような場合は、これらの処理をシー
ケンシャルに実行しなければならない。しかしながら、例えばマッチング処理は
他の画像処理と並行に実行して問題なく、このような場合でも、これら各処理を
シーケンシャルに行う従来の検査手順では、全体の速度パフォーマンスを上げる
ことはできない。
【0034】 これに対し、本実施形態の装置では、前記のように、パーソナルコンピュータ
1と画像処理ボード11とに同一の画像データを撮り込んで、ウィンドウ処理や特
徴抽出処理、マッチング処理をパーソナルコンピュータ1と画像処理ボード11と
で分担し、これらの処理を並行して行うようになっているので、全体的な処理時
間が短縮され、また、パーソナルコンピュータ1の主CPU6の負担も軽減され
る。
【0035】 〔実施形態2〕 図3に、実施形態2の画像処理検査装置の構成を示している。なお、前記図1
で説明した部材と同一の機能を有する部材には同一の符号を付記して、詳細な説
明を省略する。後述するさらに他の実施形態でも同様とする。
【0036】 本実施形態では、パーソナルコンピュータ1の拡張バス5に、前記同様の構成
を有する2枚の画像処理ボード11A・11Bが接続されている。
【0037】 一方の(特定の)画像処理ボード(以下、主画像処理ボード11Aという)には
、前記同様にTVカメラ10が接続されている。他方の画像処理ボード(以下、副
画像処理ボード11Bという)は、TVカメラ10が接続されていない点でのみ、主
画像処理ボード11Aと相違する。 なお、この副画像処理ボード11Bの画像処理ソフトウェア保存用メモリ14には
画像処理ソフトウェアCが格納されている。この画像処理ソフトウェアCと、主
画像処理ボード11Aの画像処理ソフトウェア保存用メモリ14に格納されている画
像処理ソフトウェアBとは全く同じ内容でもよく、また、例えば画像処理ソフト
ウェアBでは特徴抽出処理が実行でき、画像処理ソフトウェアCではマッチング
処理が実行できるというように、機能ごとに別れたものでもよい。
【0038】 各画像処理ソフトウェア保存用メモリ14・14に格納されている画像処理ソフト
ウェアB・Cは、パーソナルコンピュータ1の起動時に、各画像処理ソフトウェ
ア用メモリ15・15にそれぞれロードされる。 パーソナルコンピュータ1の主メモリ7には、前記同様に、主CPU6で動作
するアプリケーションソフトウェアの一つとして、本画像処理検査装置を制御す
るソフトウェアがロードされている。このソフトウェアの機能は次の通りである
。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、パーソナルコンピュータ1の主CPU6で
実行するものと、各画像処理ボード11A・11Bの副CPU12・12で実行するもの
とに振り分ける。 (3) 副CPU12・12で実行する画像処理のための設定(パラメータ)を、各
共有メモリ16・16を介して副CPU12・12に送る。 (4) 各画像処理ボード11A・11Bから送られてくる画像処理の結果、および
主CPU6で実行された画像処理の結果から、数値演算や判定を行い、必
要な結果をパーソナルコンピュータ1のモニタに描画したり、インターフ
ェース4を用いて外部に出力する。
【0039】 このような構成の画像処理検査装置により、例えば図4に示すフローチャート
に従って検査が実行される。すなわち、検査開始が指示されると、TVカメラ10
から撮像された画像データが、主画像処理ボード11Aの画像撮り込みメモリ13に
撮り込まれる。同時に、この画像データは、拡張バス5を介して、パーソナルコ
ンピュータ1の主メモリ7と、副画像処理ボード21の画像撮り込みメモリ23とに
転送される(S11)。
【0040】 そして、同一内容の画像データを用いて、パーソナルコンピュータ1のCPU
ボード2では画像処理ソフトウェアAでウィンドウ処理が(S12)、また、主画
像処理ボード11Aでは画像処理ソフトウェアBで特徴抽出処理が(S13)、副画
像処理ボード11Bでは画像処理ソフトウェアCでマッチング処理が(S14)、そ
れぞれ独立して並行に実行される。このときの画像処理の相互条件は、パーソナ
ルコンピュータ1の主CPU6で動作する前記のソフトウェアによって設定され
る。また、各画像処理ボード11A・11Bでの画像処理に必要なパラメータは、パ
ーソナルコンピュータ1から事前に各画像処理ボード11A・11Bに転送されてい
る。
【0041】 各画像処理ボード11A・11Bでの特徴抽出処理・マッチング処理が各々終了す
ると、それらの処理結果は、共有メモリ16・16を介してパーソナルコンピュータ
1のCPUボード2に送られ、このCPUボード2で実行されたウィンドウ処理
の結果と合わせて、前記のソフトウェアで後処理される(S15〜S17)。
【0042】 なお、上記実施形態では、主画像処理ボード11Aに加えて、副画像処理ボード
11Bを拡張バス5に1枚接続して構成した例であるが、2枚以上の副画像処理ボ
ードが挿入される場合でも全く同様に説明することができる。
【0043】 〔実施形態3〕 図5に、実施形態3の画像処理検査装置の構成を示している。この装置も、パ
ーソナルコンピュータ1の拡張バス5に、複数、図の場合には2枚の画像処理ボ
ード11・11が接続されている。
【0044】 各画像処理ボード11・11の構成は前記と同様で、各画像処理ボード11・11に、
それぞれTVカメラ10・10が接続されている点で、前記実施形態2と相違する。
【0045】 各画像処理ボード11・11の画像処理ソフトウェア保存用メモリ14・14の一方に
は画像処理ソフトウェアBが、他方には画像処理ソフトウェアCが各々格納され
ている。これら画像処理ソフトウェアB・Cは、前記同様に、同じ内容でもよく
、また、各TVカメラ10・10を通して撮り込まれるカメラ画像に基づいて異なる
処理内容でもよい。
【0046】 パーソナルコンピュータ1の主メモリ7には、前記同様に、主CPU6で動作
するアプリケーションソフトウェアの一つとして、本画像処理検査装置を制御す
るソフトウェアがロードされている。このソフトウェアの機能は次の通りである
。 (1) 各カメラ画像について、実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、パーソナルコンピュータ1の主CPU6で
実行するものと、各画像処理ボード11・11の副CPU12・12で実行するものとに
振り分ける。 (3) 副CPU12・12で実行する画像処理のための設定(パラメータ)を、各
共有メモリ16・16を介して副CPU12・12に送る。 (4) 各画像処理ボード11・11から送られてくる画像処理の結果、および主C
PU6で実行された画像処理の結果から、数値演算や判定を行い、必要な結果を
パーソナルコンピュータ1のモニタに描画したり、インターフェース4を用いて
外部に出力する。
【0047】 このような構成の画像処理検査装置により、例えば図6のフローチャートに示
す手順に従って検査が実行される。すなわち、検査が開始されると、各TVカメ
ラ10・10から撮り込まれた画像が、それぞれの画像処理ボード11・11上の画像撮
り込みメモリ13・13に画像データとして蓄えられる。同時に、これら画像データ
は、拡張バス5を通してパーソナルコンピュータ1の主メモリ7に転送される(
S21・S22)。
【0048】 そして、一方の画像処理ボード11で撮り込まれた画像データに対し、パーソナ
ルコンピュータ1の主CPU6が、画像処理ソフトウエアAによってウィンド処
理と特徴抽出処理とを行い(S23・S24)、これに並行して、この画像処理ボー
ド11の副CPU12が画像処理ソフトウェアBによってマッチング処理を行う(S
25)。
【0049】 さらに、主CPU6は、他方の画像処理ボード11で撮り込まれた画像データに
対し、例えばエッジ検出処理と特徴抽出処理とを行い(S26・S27)、これに並
行に、この他方の画像処理ボード11の副CPU12が画像処理ソフトウェアCによ
ってマッチング処理を行う(S28)。なお、エッジ検出処理とは、2値化或いは
濃淡処理で、設定された領域でのエッジの座標を求める処理である。
【0050】 このような画像処理の相互条件は、パーソナルコンピュータ1の主CPU6で
動作する前記ソフトウェアによって設定される。
【0051】 各画像処理ボード11・11での画像処理結果は、共有メモリ16・16を介してCP
Uボード2に送られ、このCPUボード2で実行されたウィンドウ処理等の画像
処理結果と合わせて、前記したソフトウェアによって後処理される(S29〜S31
)。
【0052】 このように、本実施形態においては、各画像処理ボード11・11共、比較的処理
時間のかかるマッチング処理を実行し、それ以外の画像処理はすべてパーソナル
コンピュータ1の主CPU6で実行される。この主CPU6は、前記実施形態1
に比べると負担は2倍程度と大きくなるが、マッチング処理まで全部処理させる
ことを考えると負担は軽い。
【0053】 なお、上記実施形態では、画像処理ボード11が2枚接続されている例を挙げた
が、3枚以上の画像処理ボードが挿入される場合でも全く同様に説明することが
できる。
【0054】 また上記では、各画像撮り込みメモリ13・13に格納された画像データの全てを
パーソナルコンピュータ1の主メモリ7に転送する例を説明したが、画像処理ボ
ードの数が多くなるとデータ転送量が増大するので、パーソナルコンピュータ1
のCPUボード2で処理を実行したい単一の画像処理ボード11、特定の複数の画
像処理ボード11…の画像データに限って転送するようにしてもよい。
【0055】 この場合、拡張バス5を介して、パーソナルコンピュータ1のCPUボード2
が、画像データの転送を必要とする画像処理ボード11のバス制御回路17に転送要
求を行い、この画像処理ボード11に画像が撮り込まれるとバス制御回路17が拡張
バス5を制御して、画像データをCPUボード2に高速で転送すればよい。
【0056】 〔実施形態4〕 図7に、実施形態4の画像処理検査装置の構成を示している。この装置は、2
台のパーソナルコンピュータ1A・1Bを備えている。これらは、それぞれ、前記図
1のパーソナルコンピュータ1と同様の構成を有し、一方のパーソナルコンピュ
ータ(以下、第1パーソナルコンピュータ1Aという)の拡張バス5Aには、TVカ
メラ10が接続された1枚の主画像処理ボード11Aと、複数の副画像処理ボード11
B…とが挿入されている。これら主画像処理ボード11A、副画像処理ボード11B
は、それぞれ、前記図3に示した主画像処理ボード11A、副画像処理ボード11B
と同じ構成を有するものである(以下、第1パーソナルコンピュータ1Aと、これ
に接続された各画像処理ボード11A・11B…、TVカメラ10を総称して第1ユニ
ットU1という)。
【0057】 他方のパーソナルコンピュータ(以下、第2パーソナルコンピュータ1Bという
)の拡張バス5Bには、それぞれ、上記同様の構成を有する複数の副画像処理ボー
ド11B…が挿入されている(以下、第2パーソナルコンピュータ1Bとこれに接続
された副画像処理ボード11B…を総称して第2ユニットU2という)。 そして、各拡張バス5A・5B同士が相互に直結されて、各パーソナルコンピュー
タ1A・1BのCPUボード2A・2Bが相互に接続されている。
【0058】 また、この画像処理検査装置を制御するためのソフトウェアが、第1パーソナ
ルコンピュータ1Aの主CPU(図示せず)で動作するアプリケーションソフトウ
ェアの1つとして、この第1パーソナルコンピュータ1Aの主メモリ(図示せず)
にロードされている。
【0059】 このソフトウェアの機能は次の通りである。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、CPUボード2A、CPUボード2B、主画像
処理ボード11A、各副画像処理ボード11B…でそれぞれ実行する画像処理を振り
分ける。 (3) 主画像処理ボード11A、各副画像処理ボード11B…の各副CPU(図示
せず)で実行する画像処理のための設定(パラメータ)を、各ボード11A・11B
上の共有メモリを介して、画像処理ボード11A、各副画像処理ボード11B…に送
る。また、第2パーソナルコンピュータ1BのCPUボード2Bで実行する画像処理
の設定は、拡張バス5A・5Bを通して直接CPUボード2Bの主メモリに送る。 (4) 主画像処理ボード11A、各副画像処理ボード11B…で実行した画像処理
の結果、および、各CPUボード2A・2Bで実行された画像処理の結果から、数値
演算や判定を行い、必要な結果を第1パーソナルコンピュータ1Aのモニタに描画
したり、インターフェースを用いて外部に出力する。
【0060】 このような構成の装置において、TVカメラ10から撮り込まれた画像は、まず
、主画像処理ボード11A上の画像撮り込みメモリに画像データとして蓄えられる
。同時に、拡張バス5Aを通して、第1パーソナルコンピュータ1Aの主メモリに転
送され、また、第1ユニットU1内の各副画像処理ボード11B…の画像撮り込みメ
モリに転送される。さらに、拡張バス5A・5Bを通して第2ユニットU2に転送され
、第2パーソナルコンピュータ1BのCPUボード2B上の主メモリ、および各副画
像処理ボード11B…の画像撮り込みメモリに格納される。
【0061】 そして、各CPUにより、それぞれ分担された画像処理が並行して行われ、結
果が第1パーソナルコンピュータ1AのCPUボード2Aに転送され、これら処理結
果から、数値演算や判定等が行われる。
【0062】 なお上記実施形態では、第1パーソナルコンピュータ1AのCPUボード2A上で
、全体を制御するソフトウェアが動作するようにしたが、これを第2パーソナル
コンピュータ1Bで行うようにしても良い。
【0063】 また上記では、パーソナルコンピュータに画像処理ボードを接続して構成され
たユニットを2セット設けた例を示したが、3セット以上を相互接続した場合も
同様の説明ができる。
【0064】 また上記では、パーソナルコンピュータ毎に区切られたユニット構成としたが
、例えば、1台のパーソナルコンピュータの拡張バスのマザーボード上に、複数
のCPUボードと複数の画像処理ボードとを挿入し、全体を1つにまとめた装置
構成としても良い。
【0065】 さらに上記実施形態では、全てのCPUボードおよび画像処理ボードに画像処
理を振り分けているが、例えば、 (a) 第1パーソナルコンピュータ1AのCPUボード2Aは、設定した一連の画
像処理の制御、および、実行された画像処理の結果から出力を行う部分(後処理
)を担当し、第2パーソナルコンピュータ1BのCPUボード2B、および、各画像
処理ボード11A・11B…が画像処理を行う。 (b) 第1パーソナルコンピュータ1AのCPUボード2Aは、設定した一連の画
像処理の制御を担当し、第2パーソナルコンピュータ1BのCPUボード2Bが、実
行された画像処理の結果から出力を行う部分(後処理)を担当し、 各画像
処理ボード11A・11B…が画像処理を行う。 といったソフトウェア構成にしてもよい。
【0066】 〔実施形態5〕 図8に、実施形態5の画像処理検査装置の構成を示している。この装置も、複
数のパーソナルコンピュータ1…を備え、これらパーソナルコンピュータ1…の
各CPUボード2…が、拡張バス5…で相互に直接接続されている。実施形態4
とは、各パーソナルコンピュータ1に、TVカメラ10が各々接続された画像処理
ボード11が、それぞれ複数接続されている点で相違する。なお、必ずしも全ての
画像処理ボード11…にTVカメラが接続されていなくても良い。
【0067】 この装置においては、複数のカメラ画像が拡張バス5…を通じて、各CPUボ
ード2…に転送される。この場合も、実施形態4と同様に、何れかのパーソナル
コンピュータ1に、主CPUで動作するアプリケーションソフトウェアの1つと
して、本装置を制御するソフトウェアが主メモリにロードされる。また、複数あ
るパーソナルコンピュータのCPUボードに対して、実施形態4の(a)(b)に示し
たように処理を分担させてもよい。
【0068】 〔実施形態6〕 次に、本発明の実施形態6の画像検査装置について説明する。この装置の構成
は、例えば前記図1を参照して説明した装置構成と同じである。したがって、以
下では、同図を参照して説明した各構成部材を引用しながら説明する。
【0069】 この装置では、図9のフローチャートに示す手順で検査が実行される。
【0070】 すなわち、検査が開始されると、前記同様にTVカメラ10で撮影された画像が
画像処理ボード11上の画像撮り込みメモリ13に取り込まれ(S41)、前記したウ
ィンドウ処理・特徴抽出処理・マッチング処理等の一連の画像処理が、この画像
処理ボード11の副CPU12によって実行される(S42)。なお、本実施形態では
、画像処理に画像フィルタリングなどの前処理も含まれ、これが、画像処理ボー
ド11で実行される。
【0071】 そして、この画像処理の結果が、パーソナルコンピュータ1のCPUボード2
に転送され、この結果を用いた数値演算・判定、結果描画や結果出力といった後
処理が、CPUボード2で実行される(S43〜S45)。
【0072】 一方、画像処理ボード11は、画像処理の結果を出力した後、次のターゲットに
対する画像の撮り込みを行い(S46)、続いて、上記同様に画像処理を実行する
(S47)。したがって、この間、CPUボード2での後処理と、画像処理ボード
11での画像処理とが並行して実行され、以降も、このような並行処理が行われる
【0073】 このように、画像処理ボード11で画像データの撮り込みと画像処理、パーソナ
ルコンピュータ1のCPUボード2で画像処理結果に基づく後処理を行うように
役割を分担することによって、パイプライン処理が可能になる。理由は、画像処
理ボード11で画像処理が終了した時点で画像データはもはや不要になり、次の検
査のための新しい画像を撮り込むことが可能になるからである。すなわち、画像
処理ボード11で画像処理が終了すると、必要な結果が共有メモリ16を通してパー
ソナルコンピュータ1の主メモリ7に転送され、これと同時に、画像処理ボード
11では次の撮像を開始し、画像処理を開始することができる。
【0074】 一般に、後処理は画像処理に比べて計算量が少ないので、主CPU6の負担が
軽くなり、汎用のアプリケーションソフトをストレスなく同時に動作させること
ができる。
【0075】 可能な限り高速に繰り返して検査を行う場合、前記図12に示した従来の処理手
順では、1回の検査時間Tは、 T=〔画像撮り込み時間〕+〔画像処理時間〕+〔後処理時間〕 である。これに対し、本実施形態では、 (i) 〔画像撮り込み時間〕+〔画像処理時間〕≧〔後処理時間〕ならば、1 回の検査時間T=〔画像撮り込み時間〕+〔画像処理時間〕 (ii)〔画像撮り込み時間〕+〔画像処理時間〕<〔後処理時間〕ならば、1 回の検査時間T=〔後処理時間〕 となる。
【0076】 したがって、上記のようなパイプライン処理を行わせるためのパイプライン処
理制御手段としてのソフトウェアを、パーソナルコンピュータ1の主CPU6で
動作するアプリケーションソフトウェアの1つとして設けておくことによって、
全体的な検査処理時間を短縮することができ、また、主CPU6の負担も軽減で
きる。
【0077】 なお、上記のようなパイプライン処理は、前記図3を参照して説明した実施形
態2における装置構成でも同様に実施することができる。この場合、各画像処理
ボード11A・11Bでの画像処理は並行に実行させ、全ての画像処理ボード11A・
11Bの画像処理が終了した時点で画像データはもはや不要になるので、次の検査
のための新しい画像を撮り込むことが可能になる。すなわち、全ての画像処理ボ
ード11A・11Bの画像処理が終了すると、必要な結果を共有メモリ16・16を通じ
てパーソナルコンピュータ1の主メモリ7に転送し、それと同時に次の撮像を開
始し、画像処理を始めるようにすることで、全体的な検査時間を短縮することが
できる。
【0078】 さらに、上記のようなパイプライン処理は、前記図5を参照して説明した実施
形態3における装置構成でも実施することができる。この場合も、各画像処理ボ
ード11での画像処理は並行に実行させ、画像処理結果を共有メモリ16・16を通じ
てパーソナルコンピュータ1の主メモリ7に転送した直後から、次の撮像を開始
し、画像処理を始めることができる。
【0079】 以上、本発明の具体的な実施形態について説明したが、本発明は上記各実施形
態に限定されるものではない。例えば、上記各実施形態では、画像処理ボード11
・11A・11Bにおける画像処理手段を、画像処理ソフトウェア保存用メモリ14に
格納された画像処理ソフトウェアと、これに従って動作する副CPU12とで構成
した例を説明したが、これは、例えばゲートアレイ等の専用のハードウェアを用
意して実行する構成としても良い。
【0080】 また上記各実施形態では、画像処理の前処理については格別触れなかったが、
例えば画像の回転や、2値化画像の膨張収縮フィルタの他、TVカメラからの画
像に対して任意の前処理を行う場合でも、本発明を適用することが可能である。
【産業上の利用可能性】
本発明はパーソナルコンピュータ内の主メインメモリにTVカメラから撮り込
んだ画像データを転送する手段、かつ拡張バスに挿入される画像処理ボード上に
同一画像データを保存するメモリ、及び画像処理を行う専用のCPU或いはハー
ドウェアを、単数あるいは複数具備するものであって、装置全体の処理高速化を
実現することができ、しかも、パーソナルコンピュータのCPUの負担が必要に
応じて軽減される画像処理検査装置を提供することができる。
【図面の簡単な説明】
【図1】 図1は、本発明の実施形態1における画像処理検査装置の構成を示すブロック
図である。
【図2】 図2は、実施形態1の装置での処理手順を示すフローチャートである。
【図3】 図3は、本発明の実施形態2における画像処理検査装置の構成を示すブロック
図である。
【図4】 図4は、実施形態2の装置での処理手順を示すフローチャートである。
【図5】 図5は、本発明の実施形態3における画像処理検査装置の構成を示すブロック
図である。
【図6】 図6は、実施形態3の装置での処理手順を示すフローチャートである。
【図7】 図7は、本発明の実施形態4における画像処理検査装置の構成を示すブロック
図である。
【図8】 図8は、本発明の実施形態5における画像処理検査装置の構成を示すブロック
図である。
【図9】 図9は、本発明の実施形態6における画像処理検査装置での処理手順を示すフ
ローチャートである。
【図10】 図10は、画像処理検査装置による検査の一例を示す説明図である。
【図11】 図11は、従来の画像処理検査装置の構成を示すブロック図である。
【図12】 図12は、従来の画像処理検査装置での処理手順を示すフローチャートである。
【図13】 図13は、従来の他の画像処理検査装置の構成を示すブロック図である。
【手続補正書】特許協力条約第34条補正の翻訳文提出書
【提出日】平成12年5月15日(2000.5.15)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正内容】
【発明の名称】 画像処理検査装置および検査方法
【特許請求の範囲】
【発明の詳細な説明】
【0001】
【技術分野】 本発明は、工場等の生産設備として、生産工程上の製品の良否の判定検査等に
使われる画像処理検査装置および検査方法に関する。
【背景技術】 工場等の生産工程では、昨今、パーソナルコンピュータをベースにした制御装
置や検査装置が増えてきている。特にウィンドウOS(例えばマイクロソフト社の
Windows95,Windows98 あるいはWindowsNT 等)は、優れたHMI(ヒューマン・マシ
ン・インターフェース)を持っている。このため、パーソナルコンピュータをベ
ースにした装置では、ワープロソフト、表計算ソフト、グラフィックス描画ソフ
ト、データベースソフト等、様々なソフトウェアがウィンドウOS上の共通の手法
で操作できることが、ユーザにとって大きなメリットになっている。
【0002】 例えばロボットの位置制御等の様々な制御も、その制御に応じた専用のハード
ウェアをパーソナルコンピュータに接続して、ウィンドウOS上のアプリケーショ
ンソフトウェアで行えるようになってきている。
【0003】 ウィンドウOSを使う別のメリットは、アプリケーションソフト同士のデータの
やりとりが簡単に行えることにある。例えば、マイクロソフト社の代表的なウィ
ンドウOSであるWindows95,Windows98,WindowsNT では、OLE(Object Linking and
Embedding) の手法を用いて、ある一つのアプリケーションに対し、他のアプリ
ケーションからコマンドを送ったり、データを更新したり、受け取ったりするこ
とが、OS上でダイナミックに行える。
【0004】 一方、人の視覚に頼っていた各種の目視検査を正確に、高速に、かつ自動的に
行い得る画像処理検査装置が、工場等の生産設備として数多く導入されている。
このような画像処理検査装置の分野でも、パーソナルコンピュータの拡張バスに
ボードを挿入して、例えばウィンドウOS上のアプリケーションソフトウェアで制
御を行えるような装置が開発されてきている。
【0005】 一般に画像処理検査装置は、例えば図10に示すような生産ラインでの製品の良
否検査などに用いられる。コンベア51上に流れてくる製品(以下、ターゲットと
呼ぶ)52をTVカメラ53で撮影し、その撮影画像に対して位置補正、面積測定、
重心位置算出等の様々な画像処理を行った後、画像処理結果を数値演算し、求ま
った値から検査の良否を判定する論理演算を経て外部に結果を出力する、といっ
た一連の演算出力処理が行われる。
【0006】 従来は、専用のハードウェア、およびそのハードウェア上で動作する専用ソフ
トウェアを開発して上記の一連の処理を実現してきたが、昨今、パーソナルコン
ピュータのCPUの性能が著しく向上してきたため、これらのすべての処理をパ
ーソナルコンピューターのCPUで行うようにした装置が多く開発されている。
【0007】 すなわち、コンベア51上に流れてくるターゲット52がセンサ54で検知されると
、検知信号が検査開始のトリガ入力としてパーソナルコンピュータ55に送られ、
TVカメラ53の画像が撮り込まれる。なお、パーソナルコンピュータ55には、例
えばパラレルインターフェース入力があり、その端子に検知信号が入力されるこ
とで検査開始となって、画像が撮り込まれる。その後、パーソナルコンピュータ
55によって上記した画像処理と一連の演算出力処理とが行われる。
【0008】 図11に、このような画像処理検査装置の構成例を示している。パーソナルコン
ピュータ61を中央処理制御装置として設け、このパーソナルコンピュータ61の拡
張バス63に画像撮り込みボード62が挿入(コネクタ接続)されている。このボー
ド62は、TVカメラ64からの画像データを蓄える画像撮り込みメモリ65と、バス
制御回路66とを備えるだけの構成で、安価に作製できる。上記バス制御回路66に
よって、画像撮り込みメモリ65に撮り込まれた画像データが、パーソナルコンピ
ュータ61内のCPUボード67上のメモリ68に転送される。
【0009】 例えば拡張バス63がPCIバスの構成であれば、直接このバスを制御して、C
PUボード67上のメモリ68に高速に画像を転送することができるような画像撮り
込みボードが、数多く市販されている。CPUボード67のメモリ68に入ったカメ
ラ画像は、CPU69により、同じメモリ68にロードされた画像処理ソフトウェア
を使って処理される。
【0010】 その処理手順の具体例を図12に示している。まずステップS51において、上記
のように画像の撮り込みが行われると、次いで、ウィンドウ処理(S52)、特徴
抽出処理(S53)、マッチング処理(S54)などの画像処理が順次実行される。
次いで、これら画像処理結果から、数値演算・判定(S55)、結果描画(S56)
、結果出力(S57)などの後処理が行われる。
【0011】 なお、ウィンドウ処理とは、2値化処理においては設定された領域内の面積(
指定色(白又は黒)の画素数を求める処理であり、濃淡処理においては設定され
た領域内の濃淡総和あるいは平均値を求める処理である。特徴抽出処理とは、2
値化において設定された領域内にある各ランド(指定色(白又は黒)の独立した
塊)の特徴量(重心座標、面積、周囲長、外接矩形、慣性主軸等)を求める処理
である。マッチング処理とは、濃淡処理において、予め抽出されたテンプレート
画像が、設定された領域内の何処に存在するかの一致度(相関係数)に基づいて
座標や角度等を求める処理である。
【0012】 ところで、画像処理検査装置の性能を図るものさしのひとつは、如何に処理を
短時間で実行できるかである。上記のような構成では、例えば同じパーソナルコ
ンピュータで違うアプリケーションをマルチタスクで実行した場合、画像処理に
割けるCPUの時間割合が低下し、その結果、画像処理時間が著しく長くなって
しまう。
【0013】 一方、例えば、EPIX VISION-OCTOBER 1994 NEWSLETTER,[Online]October 1994
(1994-10),pages 1-2,XP002117630 Retrieved from the Internet:<URL:htt
p://www2.interaccess.com/epix/v3n4 a3.htm>に紹介されている4MEG VIDEO Mo
del 12は、デジタルカメラの画像データの撮り込みと共に、さらに画像処理を行
う機能を備えている。そこで、このように画像処理機能も備えた画像処理ボード
をパーソナルコンピュータの拡張バスに接続して構成された画像処理検査装置も
開発されている。
【0014】 なお、EPIX VISION-OCTOBER 1994 NEWSLETTER,[Online]October 1994(1994-10
),pages 1-2,XP002117629 Retrieved from the Internet:<URL:http://www2.in
teraccess.com/epix/v3an 4al.htm>には、4MEG VIDEO Model 12に装備(Installe
d)されるtwin C40sが紹介されている。4MEG VIDEO Model 12で撮り込まれた画像
データを、これらC40sに転送してそれぞれ画像処理させることで、さらに画像処
理能力を向上させ得ることが説明されている。
【0015】 このような4MEG VIDEO Model 12(又はtwin C40sを装備した4MEG VIDEO Model
12)等で、画像処理機能を有する画像処理ボードを形成し、これをパーソナルコ
ンピュータ71の拡張バス72に接続して構成された画像処理検査装置の例を図13に
示している。
【0016】 すなわち、同図に示すパーソナルコンピュータ71の拡張バス72に接続された画
像処理ボード74には、TVカメラ73からの画像を撮り込む画像撮り込みメモリ75
、およびバス制御回路76に加え、画像処理ソフトウェアが格納されている画像処
理ソフトウェア保存用ROM77と、起動時に上記画像処理ソフトウェアがロード
される画像処理ソフトウェア用RAM78と、上記画像処理ソフトウェアに従って
動作するCPU79とが搭載されている。
【0017】 このような装置では、できる限り短時間で実行しなくてはならない画像処理が
、画像処理ボード74上のCPU79で実行される。パーソナルコンピュータ71では
、アプリケーションソフトウェアに従って、様々な処理のパラメータの設定変更
、画像処理エリアの描画、結果の描画、数値演算、論理演算の設定や表示を行う
【0018】 画像処理ボード74とパーソナルコンピュータ71とは、拡張バス72を通じて、例
えば共有メモリ(デュアルポートメモリ素子)80を用いてデータを共有している
。拡張バス72上には画像データが出てこないため、転送するデータ量は少なくて
済む。さらに、画像処理ボード74上のCPU79が画像処理を行うので、パーソナ
ルコンピュータ71内の主CPU81の負担が軽減される。なお、画像処理ボード74
のメモリ77・78、CPU79に代えて、大規模ゲートアレイ、ASICなどの画像
処理専用のハードウェアで構成されたものもある。
【0019】 しかしながら、パーソナルコンピュータ71の主CPU81は、大きな負荷が常時
かかっているわけではないので、必要に応じて画像処理を分担できれば、装置全
体から考えて処理の高速化が図れるが、上記のような構成ではそれが不可能であ
るという問題点があった。また、上記のような画像処理ボード74で実行できる画
像処理の内容は、画像処理プログラム保存用ROM77内にあらかじめ格納されて
いるソフトウェア、あるいは画像処理ボード上に搭載されたゲートアレイ等の専
用ハードウェアに限定され、柔軟性が乏しい問題点があった。
【0020】 本発明は、上記問題点に鑑み、パーソナルコンピュータ等から成る中央処理制
御装置に、画像処理機能を有する画像処理ボードを接続して構成される画像処理
検査装置において、装置全体の処理高速化を図ることが可能であり、また、中央
処理制御装置のCPUの負担を必要に応じて軽減し得る画像処理検査装置および
検査方法を提供することを目的としている。
【0021】
【発明の開示】 本発明の画像処理検査装置および検査方法では、例えばパーソナルコンピュー
タより成る中央処理制御装置の拡張バスに接続された画像処理ボードと上記中央
処理制御装置内のCPUボードとで、TVカメラで撮り込んだ同一画像データを
取り扱えるようにして、CPUボードと画像処理ボードとで、画像処理を適宜分
担、並行して実行させる。
【0022】 また、本発明の画像処理検査装置および検査方法では、中央処理制御装置の拡
張バスに接続された画像処理ボードで、TVカメラで撮り込んだ画像データの画
像処理を行い、中央処理制御装置内のCPUボードで画像処理結果に基づく後処
理を行う。そして、これら画像処理と後処理とが互いに並行して行われるような
パイプライン処理を行う。
【0023】
【発明を実施するための最良の形態】 〔実施形態1〕 図1に、実施形態1の画像処理検査装置の構成を示している。この装置はパー
ソナルコンピュータ1を中央処理制御装置として備え、このパーソナルコンピュ
ータ1には、CPUボード2、ハードディスクなどから成る外部記憶装置3、イ
ンターフェース4、および、汎用の拡張バス(例えばPCIバス)5が設けられ
ている。
【0024】 CPUボード2には、主CPU6と主メモリ7とが備わっている。主メモリ6
には、このパーソナルコンピュータ1の起動時に、外部記憶装置3からOSプロ
グラム(図示せず)がロードされ、また、画像処理ソフトウェアA、およびアプ
リケーションソフトウェアもロードされる(または、実行時にロードされる場合
もある)。
【0025】 拡張バス5には、TVカメラ10が接続された画像処理ボード11が挿入(コネク
タ接続)されている。
【0026】 この画像処理ボード11には、パーソナルコンピュータ1内の主CPU6とは別
に、画像処理専用のCPU(以下、副CPUという)12が搭載されている。また
、このボード11には、TVカメラ10の撮影画像を撮り込んで記憶する画像撮り込
みメモリ13と、ROMから成る画像処理ソフトウェア保存用メモリ14と、RAM
から成る画像処理ソフトウェア用メモリ15とが設けられている。画像処理ソフト
ウェア保存用メモリ14に画像処理ソフトウェアBが格納されており、このソフト
ウェアBが、パーソナルコンピュータ1起動時に画像処理ソフトウェア用メモリ
15にロードされる。
【0027】 画像処理ボード11には、パーソナルコンピュータ1のCPUボード2とデータ
をやり取りするための共有メモリ16とバス制御回路17とがさらに設けられている
。上記共有メモリ16を用いて、この画像処理ボード11で実行する画像処理の設定
データがCPUボード2から送られたり、画像処理ボード11で実行された画像処
理の結果がCPUボード2に返されたりする。
【0028】 また、後述するように、画像撮り込みメモリ13に撮り込まれたカメラ画像がパ
ーソナルコンピュータ1の主メモリ7に転送されるときには、上記バス制御回路
17によって拡張バス5への画像データの転送が行われる。
【0029】 パーソナルコンピュータ1の主メモリ7には、主CPU6で動作するアプリケ
ーションソフトウェアの一つとして、本装置の全体を制御するソフトウェアがロ
ードされている。このソフトウェアの機能は次の通りである。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、主CPU6で実行するものと、画像処理ボ
ード11の副CPU12で実行するものとに振り分ける。 (3) 副CPU12で実行する画像処理のための設定(パラメータ)を、共有メ
モリ16を介して副CPU12に送る。 (4) 画像処理ボード11から送られてくる画像処理の結果、および主CPU6
で実行された画像処理の結果から、数値演算や判定を行い、必要な結果を
パーソナルコンピュータ1のモニタ(図示せず)に描画したり、インター
フェース4を用いて外部に出力する。
【0030】 上記のような構成の画像検査装置により、図2に示すフローチャートに従って
検査が実行される。すなわち、インターフェース4やユーザ操作により検査開始
が指示されると、TVカメラ11からターゲットの撮影画像が画像処理ボード11上
の画像撮り込みメモリ13に撮り込まれる。同時に、画像撮り込みメモリ13に撮り
込まれたカメラ画像は、拡張バス5を通してパーソナルコンピュータ1の主メモ
リ7に転送される(S1)。
【0031】 PCIバスのアーキテクチャでは、バスは32ビットで33MHz 動作なので、原理
的には最高32×33MHz/8=132Mバイト/秒の転送速度になる。実用的には理論値の
1/4 〜1/5 位である。それでも、例えば1画面512×512画素×8ビット=256Kバ
イトの転送は、0.256/(132/5)≒10ms程度である。これは、フレーム画像の撮り
込み時間33.3msより短いので、事実上リアルタイム転送ができる。なお、このと
きの拡張バス5への画像データ転送は、画像処理ボード11上のバス制御回路17が
行うので、パーソナルコンピュータ1の主CPU6の負担が軽減される。
【0032】 上記のように画像データがパーソナルコンピュータ1の主メモリ7にも格納さ
れると、パーソナルコンピュータ1の主CPU6と、画像処理ボード11の副CP
Uとが、同一の画像データを用いて、それぞれ画像処理を互いに並行に実行する
。このときの画像処理の相互条件は、パーソナルコンピュータ1の主CPU6で
動作する前記のソフトウェアによって設定される(実際に並行処理できるように
振り分けるために、位置補正など処理の依存関係がある場合等が考慮されている
)。
【0033】 本実施形態1では、パーソナルコンピュータ1の主CPU6が、画像処理ソフ
トウェアAによってウィンドウ処理や特徴抽出処理を行い(S2・S3)、同時
に、画像処理ボード11上の副CPU12が、画像処理ソフトウェアBによってマッ
チング処理を行う(S4)。この場合、マッチング処理に必要なパラメータがパ
ーソナルコンピュータ1から事前に画像処理ボード11に転送されている。
【0034】 画像処理ボード11でのマッチング処理の結果は、共有メモリ16を介してパーソ
ナルコンピュータ1のCPUボード2に送られ、このCPUボード2で実行され
たウィンドウ処理および特徴抽出処理の結果と合わせて、数値演算・判定、結果
描画、結果出力等の後処理が行われて(S5〜S7)、このときのターゲットに
対する検査を終了し、次のターゲットに対する検査を開始する。
【0035】 以上の説明のように、本実施形態においては、画像転送手段として機能するバ
ス制御回路17によって、画像撮り込みメモリ13に撮り込まれたカメラ画像は主メ
モリ7にも転送される。また、この主メモリ7に格納されたカメラ画像に対する
画像処理を主CPU6によっても行わせるように、上記主メモリ7に、CPU動
作制御手段として画像処理ソフトウェアAがロードされている。そして、並行処
理制御手段としての機能を有する前記アプリケーションソフトウェアに従い、カ
メラ画像に対する画像処理が、主CPU6と、画像処理ボード11における画像処
理手段としての副CPU12とに分担されて、これら主CPU6と副CPU12との
画像処理が互いに並行に行われる。
【0036】 従来は、前記図12に示したように、画像撮り込み、画像処理、後処理がシーケ
ンシャルに行われていた。ここで、一般的には正規化相関を用いたマッチング処
理(パターンマッチング)の実行は濃淡画像処理であり、ウィンドウ処理や特徴
抽出処理は2値画像処理である。このため、マッチング処理はウィンドウ処理や
特徴抽出処理に比べて時間がかかる。また、例えばウィンドウ処理の実行結果を
用いて特徴抽出処理を実行させる必要があるような場合は、これらの処理をシー
ケンシャルに実行しなければならない。しかしながら、例えばマッチング処理は
他の画像処理と並行に実行して問題なく、このような場合でも、これら各処理を
シーケンシャルに行う従来の検査手順では、全体の速度パフォーマンスを上げる
ことはできない。
【0037】 これに対し、本実施形態の装置では、前記のように、パーソナルコンピュータ
1と画像処理ボード11とに同一の画像データを撮り込んで、ウィンドウ処理や特
徴抽出処理、マッチング処理をパーソナルコンピュータ1と画像処理ボード11と
で分担し、これらの処理を並行して行うようになっているので、全体的な処理時
間が短縮され、また、パーソナルコンピュータ1の主CPU6の負担も軽減され
る。
【0038】 〔実施形態2〕 図3に、実施形態2の画像処理検査装置の構成を示している。なお、前記図1
で説明した部材と同一の機能を有する部材には同一の符号を付記して、詳細な説
明を省略する。後述するさらに他の実施形態でも同様とする。
【0039】 本実施形態では、パーソナルコンピュータ1の拡張バス5に、前記同様の構成
を有する2枚の画像処理ボード11A・11Bが接続されている。
【0040】 一方の(特定の)画像処理ボード(以下、主画像処理ボード11Aという)には
、前記同様にTVカメラ10が接続されている。他方の画像処理ボード(以下、副
画像処理ボード11Bという)は、TVカメラ10が接続されていない点でのみ、主
画像処理ボード11Aと相違する。
【0041】 なお、この副画像処理ボード11Bの画像処理ソフトウェア保存用メモリ14には
画像処理ソフトウェアCが格納されている。この画像処理ソフトウェアCと、主
画像処理ボード11Aの画像処理ソフトウェア保存用メモリ14に格納されている画
像処理ソフトウェアBとは全く同じ内容でもよく、また、例えば画像処理ソフト
ウェアBでは特徴抽出処理が実行でき、画像処理ソフトウェアCではマッチング
処理が実行できるというように、機能ごとに別れたものでもよい。
【0042】 各画像処理ソフトウェア保存用メモリ14・14に格納されている画像処理ソフト
ウェアB・Cは、パーソナルコンピュータ1の起動時に、各画像処理ソフトウェ
ア用メモリ15・15にそれぞれロードされる。
【0043】 パーソナルコンピュータ1の主メモリ7には、前記同様に、主CPU6で動作
するアプリケーションソフトウェアの一つとして、本画像処理検査装置を制御す
るソフトウェアがロードされている。このソフトウェアの機能は次の通りである
。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、パーソナルコンピュータ1の主CPU6で
実行するものと、各画像処理ボード11A・11Bの副CPU12・12で実行するもの
とに振り分ける。 (3) 副CPU12・12で実行する画像処理のための設定(パラメータ)を、各
共有メモリ16・16を介して副CPU12・12に送る。 (4) 各画像処理ボード11A・11Bから送られてくる画像処理の結果、および
主CPU6で実行された画像処理の結果から、数値演算や判定を行い、必
要な結果をパーソナルコンピュータ1のモニタに描画したり、インターフ
ェース4を用いて外部に出力する。
【0044】 このような構成の画像処理検査装置により、例えば図4に示すフローチャート
に従って検査が実行される。すなわち、検査開始が指示されると、TVカメラ10
から撮像された画像データが、主画像処理ボード11Aの画像撮り込みメモリ13に
撮り込まれる。同時に、この画像データは、拡張バス5を介して、パーソナルコ
ンピュータ1の主メモリ7と、副画像処理ボード21の画像撮り込みメモリ23とに
転送される(S11)。
【0045】 そして、同一内容の画像データを用いて、パーソナルコンピュータ1のCPU
ボード2では画像処理ソフトウェアAでウィンドウ処理が(S12)、また、主画
像処理ボード11Aでは画像処理ソフトウェアBで特徴抽出処理が(S13)、副画
像処理ボード11Bでは画像処理ソフトウェアCでマッチング処理が(S14)、そ
れぞれ独立して並行に実行される。このときの画像処理の相互条件は、パーソナ
ルコンピュータ1の主CPU6で動作する前記のソフトウェアによって設定され
る。また、各画像処理ボード11A・11Bでの画像処理に必要なパラメータは、パ
ーソナルコンピュータ1から事前に各画像処理ボード11A・11Bに転送されてい
る。
【0046】 各画像処理ボード11A・11Bでの特徴抽出処理・マッチング処理が各々終了す
ると、それらの処理結果は、共有メモリ16・16を介してパーソナルコンピュータ
1のCPUボード2に送られ、このCPUボード2で実行されたウィンドウ処理
の結果と合わせて、前記のソフトウェアで後処理される(S15〜S17)。
【0047】 なお、上記実施形態では、主画像処理ボード11Aに加えて、副画像処理ボード
11Bを拡張バス5に1枚接続して構成した例であるが、2枚以上の副画像処理ボ
ードが挿入される場合でも全く同様に説明することができる。
【0048】 〔実施形態3〕 図5に、実施形態3の画像処理検査装置の構成を示している。この装置も、パ
ーソナルコンピュータ1の拡張バス5に、複数、図の場合には2枚の画像処理ボ
ード11・11が接続されている。
【0049】 各画像処理ボード11・11の構成は前記と同様で、各画像処理ボード11・11に、
それぞれTVカメラ10・10が接続されている点で、前記実施形態2と相違する。
【0050】 各画像処理ボード11・11の画像処理ソフトウェア保存用メモリ14・14の一方に
は画像処理ソフトウェアBが、他方には画像処理ソフトウェアCが各々格納され
ている。これら画像処理ソフトウェアB・Cは、前記同様に、同じ内容でもよく
、また、各TVカメラ10・10を通して撮り込まれるカメラ画像に基づいて異なる
処理内容でもよい。
【0051】 パーソナルコンピュータ1の主メモリ7には、前記同様に、主CPU6で動作
するアプリケーションソフトウェアの一つとして、本画像処理検査装置を制御す
るソフトウェアがロードされている。このソフトウェアの機能は次の通りである
。 (1) 各カメラ画像について、実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、パーソナルコンピュータ1の主CPU6で
実行するものと、各画像処理ボード11・11の副CPU12・12で実行するものとに
振り分ける。 (3) 副CPU12・12で実行する画像処理のための設定(パラメータ)を、各
共有メモリ16・16を介して副CPU12・12に送る。 (4) 各画像処理ボード11・11から送られてくる画像処理の結果、および主C
PU6で実行された画像処理の結果から、数値演算や判定を行い、必要な結果を
パーソナルコンピュータ1のモニタに描画したり、インターフェース4を用いて
外部に出力する。
【0052】 このような構成の画像処理検査装置により、例えば図6のフローチャートに示
す手順に従って検査が実行される。すなわち、検査が開始されると、各TVカメ
ラ10・10から撮り込まれた画像が、それぞれの画像処理ボード11・11上の画像撮
り込みメモリ13・13に画像データとして蓄えられる。同時に、これら画像データ
は、拡張バス5を通してパーソナルコンピュータ1の主メモリ7に転送される(
S21・S22)。
【0053】 そして、一方の画像処理ボード11で撮り込まれた画像データに対し、パーソナ
ルコンピュータ1の主CPU6が、画像処理ソフトウエアAによってウィンド処
理と特徴抽出処理とを行い(S23・S24)、これに並行して、この画像処理ボー
ド11の副CPU12が画像処理ソフトウェアBによってマッチング処理を行う(S
25)。
【0054】 さらに、主CPU6は、他方の画像処理ボード11で撮り込まれた画像データに
対し、例えばエッジ検出処理と特徴抽出処理とを行い(S26・S27)、これに並
行に、この他方の画像処理ボード11の副CPU12が画像処理ソフトウェアCによ
ってマッチング処理を行う(S28)。なお、エッジ検出処理とは、2値化或いは
濃淡処理で、設定された領域でのエッジの座標を求める処理である。
【0055】 このような画像処理の相互条件は、パーソナルコンピュータ1の主CPU6で
動作する前記ソフトウェアによって設定される。
【0056】 各画像処理ボード11・11での画像処理結果は、共有メモリ16・16を介してCP
Uボード2に送られ、このCPUボード2で実行されたウィンドウ処理等の画像
処理結果と合わせて、前記したソフトウェアによって後処理される(S29〜S31
)。
【0057】 このように、本実施形態においては、各画像処理ボード11・11共、比較的処理
時間のかかるマッチング処理を実行し、それ以外の画像処理はすべてパーソナル
コンピュータ1の主CPU6で実行される。この主CPU6は、前記実施形態1
に比べると負担は2倍程度と大きくなるが、マッチング処理まで全部処理させる
ことを考えると負担は軽い。
【0058】 なお、上記実施形態では、画像処理ボード11が2枚接続されている例を挙げた
が、3枚以上の画像処理ボードが挿入される場合でも全く同様に説明することが
できる。
【0059】 また上記では、各画像撮り込みメモリ13・13に格納された画像データの全てを
パーソナルコンピュータ1の主メモリ7に転送する例を説明したが、画像処理ボ
ードの数が多くなるとデータ転送量が増大するので、パーソナルコンピュータ1
のCPUボード2で処理を実行したい単一の画像処理ボード11、特定の複数の画
像処理ボード11…の画像データに限って転送するようにしてもよい。
【0060】 この場合、拡張バス5を介して、パーソナルコンピュータ1のCPUボード2
が、画像データの転送を必要とする画像処理ボード11のバス制御回路17に転送要
求を行い、この画像処理ボード11に画像が撮り込まれるとバス制御回路17が拡張
バス5を制御して、画像データをCPUボード2に高速で転送すればよい。
【0061】 〔実施形態4〕 図7に、実施形態4の画像処理検査装置の構成を示している。この装置は、2
台のパーソナルコンピュータ1A・1Bを備えている。これらは、それぞれ、前記図
1のパーソナルコンピュータ1と同様の構成を有し、一方のパーソナルコンピュ
ータ(以下、第1パーソナルコンピュータ1Aという)の拡張バス5Aには、TVカ
メラ10が接続された1枚の主画像処理ボード11Aと、複数の副画像処理ボード11
B…とが挿入されている。これら主画像処理ボード11A、副画像処理ボード11B
は、それぞれ、前記図3に示した主画像処理ボード11A、副画像処理ボード11B
と同じ構成を有するものである(以下、第1パーソナルコンピュータ1Aと、これ
に接続された各画像処理ボード11A・11B…、TVカメラ10を総称して第1ユニ
ットU1という)。
【0062】 他方のパーソナルコンピュータ(以下、第2パーソナルコンピュータ1Bという
)の拡張バス5Bには、それぞれ、上記同様の構成を有する複数の副画像処理ボー
ド11B…が挿入されている(以下、第2パーソナルコンピュータ1Bとこれに接続
された副画像処理ボード11B…を総称して第2ユニットU2という)。
【0063】 そして、各拡張バス5A・5B同士が相互に直結されて、各パーソナルコンピュー
タ1A・1BのCPUボード2A・2Bが相互に接続されている。
【0064】 また、この画像処理検査装置を制御するためのソフトウェアが、第1パーソナ
ルコンピュータ1Aの主CPU(図示せず)で動作するアプリケーションソフトウ
ェアの1つとして、この第1パーソナルコンピュータ1Aの主メモリ(図示せず)
にロードされている。
【0065】 このソフトウェアの機能は次の通りである。 (1) 実行したい一連の画像処理を設定する。 (2) 設定した画像処理について、CPUボード2A、CPUボード2B、主画像
処理ボード11A、各副画像処理ボード11B…でそれぞれ実行する画像処理を振り
分ける。 (3) 主画像処理ボード11A、各副画像処理ボード11B…の各副CPU(図示
せず)で実行する画像処理のための設定(パラメータ)を、各ボード11A・11B
上の共有メモリを介して、画像処理ボード11A、各副画像処理ボード11B…に送
る。また、第2パーソナルコンピュータ1BのCPUボード2Bで実行する画像処理
の設定は、拡張バス5A・5Bを通して直接CPUボード2Bの主メモリに送る。 (4) 主画像処理ボード11A、各副画像処理ボード11B…で実行した画像処理
の結果、および、各CPUボード2A・2Bで実行された画像処理の結果から、数値
演算や判定を行い、必要な結果を第1パーソナルコンピュータ1Aのモニタに描画
したり、インターフェースを用いて外部に出力する。
【0066】 このような構成の装置において、TVカメラ10から撮り込まれた画像は、まず
、主画像処理ボード11A上の画像撮り込みメモリに画像データとして蓄えられる
。同時に、拡張バス5Aを通して、第1パーソナルコンピュータ1Aの主メモリに転
送され、また、第1ユニットU1内の各副画像処理ボード11B…の画像撮り込みメ
モリに転送される。さらに、拡張バス5A・5Bを通して第2ユニットU2に転送され
、第2パーソナルコンピュータ1BのCPUボード2B上の主メモリ、および各副画
像処理ボード11B…の画像撮り込みメモリに格納される。
【0067】 そして、各CPUにより、それぞれ分担された画像処理が並行して行われ、結
果が第1パーソナルコンピュータ1AのCPUボード2Aに転送され、これら処理結
果から、数値演算や判定等が行われる。
【0068】 なお上記実施形態では、第1パーソナルコンピュータ1AのCPUボード2A上で
、全体を制御するソフトウェアが動作するようにしたが、これを第2パーソナル
コンピュータ1Bで行うようにしても良い。
【0069】 また上記では、パーソナルコンピュータに画像処理ボードを接続して構成され
たユニットを2セット設けた例を示したが、3セット以上を相互接続した場合も
同様の説明ができる。
【0070】 また上記では、パーソナルコンピュータ毎に区切られたユニット構成としたが
、例えば、1台のパーソナルコンピュータの拡張バスのマザーボード上に、複数
のCPUボードと複数の画像処理ボードとを挿入し、全体を1つにまとめた装置
構成としても良い。
【0071】 さらに上記実施形態では、全てのCPUボードおよび画像処理ボードに画像処
理を振り分けているが、例えば、 (a) 第1パーソナルコンピュータ1AのCPUボード2Aは、設定した一連の画
像処理の制御、および、実行された画像処理の結果から出力を行う部分(後処理
)を担当し、第2パーソナルコンピュータ1BのCPUボード2B、および、各画像
処理ボード11A・11B…が画像処理を行う。 (b) 第1パーソナルコンピュータ1AのCPUボード2Aは、設定した一連の画
像処理の制御を担当し、第2パーソナルコンピュータ1BのCPUボード2Bが、実
行された画像処理の結果から出力を行う部分(後処理)を担当し、 各画像
処理ボード11A・11B…が画像処理を行う。 といったソフトウェア構成にしてもよい。
【0072】 〔実施形態5〕 図8に、実施形態5の画像処理検査装置の構成を示している。この装置も、複
数のパーソナルコンピュータ1…を備え、これらパーソナルコンピュータ1…の
各CPUボード2…が、拡張バス5…で相互に直接接続されている。実施形態4
とは、各パーソナルコンピュータ1に、TVカメラ10が各々接続された画像処理
ボード11が、それぞれ複数接続されている点で相違する。なお、必ずしも全ての
画像処理ボード11…にTVカメラが接続されていなくても良い。
【0073】 この装置においては、複数のカメラ画像が拡張バス5…を通じて、各CPUボ
ード2…に転送される。この場合も、実施形態4と同様に、何れかのパーソナル
コンピュータ1に、主CPUで動作するアプリケーションソフトウェアの1つと
して、本装置を制御するソフトウェアが主メモリにロードされる。また、複数あ
るパーソナルコンピュータのCPUボードに対して、実施形態4の(a)(b)に示し
たように処理を分担させてもよい。
【0074】 〔実施形態6〕 次に、本発明の実施形態6の画像検査装置について説明する。この装置の構成
は、例えば前記図1を参照して説明した装置構成と同じである。したがって、以
下では、同図を参照して説明した各構成部材を引用しながら説明する。
【0075】 この装置では、図9のフローチャートに示す手順で検査が実行される。
【0076】 すなわち、検査が開始されると、前記同様にTVカメラ10で撮影された画像が
画像処理ボード11上の画像撮り込みメモリ13に取り込まれ(S41)、前記したウ
ィンドウ処理・特徴抽出処理・マッチング処理等の一連の画像処理が、この画像
処理ボード11の副CPU12によって実行される(S42)。なお、本実施形態では
、画像処理に画像フィルタリングなどの前処理も含まれ、これが、画像処理ボー
ド11で実行される。
【0077】 そして、この画像処理の結果が、パーソナルコンピュータ1のCPUボード2
に転送され、この結果を用いた数値演算・判定、結果描画や結果出力といった後
処理が、CPUボード2で実行される(S43〜S45)。
【0078】 一方、画像処理ボード11は、画像処理の結果を出力した後、次のターゲットに
対する画像の撮り込みを行い(S46)、続いて、上記同様に画像処理を実行する
(S47)。したがって、この間、CPUボード2での後処理と、画像処理ボード
11での画像処理とが並行して実行され、以降も、このような並行処理が行われる
【0079】 このように、画像処理ボード11で画像データの撮り込みと画像処理、パーソナ
ルコンピュータ1のCPUボード2で画像処理結果に基づく後処理を行うように
役割を分担することによって、パイプライン処理が可能になる。理由は、画像処
理ボード11で画像処理が終了した時点で画像データはもはや不要になり、次の検
査のための新しい画像を撮り込むことが可能になるからである。すなわち、画像
処理ボード11で画像処理が終了すると、必要な結果が共有メモリ16を通してパー
ソナルコンピュータ1の主メモリ7に転送され、これと同時に、画像処理ボード
11では次の撮像を開始し、画像処理を開始することができる。
【0080】 一般に、後処理は画像処理に比べて計算量が少ないので、主CPU6の負担が
軽くなり、汎用のアプリケーションソフトをストレスなく同時に動作させること
ができる。
【0081】 可能な限り高速に繰り返して検査を行う場合、前記図12に示した従来の処理手
順では、1回の検査時間Tは、 T=〔画像撮り込み時間〕+〔画像処理時間〕+〔後処理時間〕 である。これに対し、本実施形態では、 (i) 〔画像撮り込み時間〕+〔画像処理時間〕≧〔後処理時間〕ならば、1 回の検査時間T=〔画像撮り込み時間〕+〔画像処理時間〕 (ii)〔画像撮り込み時間〕+〔画像処理時間〕<〔後処理時間〕ならば、1 回の検査時間T=〔後処理時間〕 となる。
【0082】 したがって、上記のようなパイプライン処理を行わせるためのパイプライン処
理制御手段としてのソフトウェアを、パーソナルコンピュータ1の主CPU6で
動作するアプリケーションソフトウェアの1つとして設けておくことによって、
全体的な検査処理時間を短縮することができ、また、主CPU6の負担も軽減で
きる。
【0083】 なお、上記のようなパイプライン処理は、前記図3を参照して説明した実施形
態2における装置構成でも同様に実施することができる。この場合、各画像処理
ボード11A・11Bでの画像処理は並行に実行させ、全ての画像処理ボード11A・
11Bの画像処理が終了した時点で画像データはもはや不要になるので、次の検査
のための新しい画像を撮り込むことが可能になる。すなわち、全ての画像処理ボ
ード11A・11Bの画像処理が終了すると、必要な結果を共有メモリ16・16を通じ
てパーソナルコンピュータ1の主メモリ7に転送し、それと同時に次の撮像を開
始し、画像処理を始めるようにすることで、全体的な検査時間を短縮することが
できる。
【0084】 さらに、上記のようなパイプライン処理は、前記図5を参照して説明した実施
形態3における装置構成でも実施することができる。この場合も、各画像処理ボ
ード11での画像処理は並行に実行させ、画像処理結果を共有メモリ16・16を通じ
てパーソナルコンピュータ1の主メモリ7に転送した直後から、次の撮像を開始
し、画像処理を始めることができる。
【0085】 以上、本発明の具体的な実施形態について説明したが、本発明は上記各実施形
態に限定されるものではない。例えば、上記各実施形態では、画像処理ボード11
・11A・11Bにおける画像処理手段を、画像処理ソフトウェア保存用メモリ14に
格納された画像処理ソフトウェアと、これに従って動作する副CPU12とで構成
した例を説明したが、これは、例えばゲートアレイ等の専用のハードウェアを用
意して実行する構成としても良い。
【0086】 また上記各実施形態では、画像処理の前処理については格別触れなかったが、
例えば画像の回転や、2値化画像の膨張収縮フィルタの他、TVカメラからの画
像に対して任意の前処理を行う場合でも、本発明を適用することが可能である。
【産業上の利用可能性】 本発明はパーソナルコンピュータ内の主メインメモリにTVカメラから撮り込
んだ画像データを転送する手段、かつ拡張バスに挿入される画像処理ボード上に
同一画像データを保存するメモリ、及び画像処理を行う専用のCPU或いはハー
ドウェアを、単数あるいは複数具備するものであって、装置全体の処理高速化を
実現することができ、しかも、パーソナルコンピュータのCPUの負担が必要に
応じて軽減される画像処理検査装置を提供することができる。
【図面の簡単な説明】 図1は、本発明の実施形態1における画像処理検査装置の構成を示すブロック
図である。 図2は、実施形態1の装置での処理手順を示すフローチャートである。 図3は、本発明の実施形態2における画像処理検査装置の構成を示すブロック
図である。 図4は、実施形態2の装置での処理手順を示すフローチャートである。 図5は、本発明の実施形態3における画像処理検査装置の構成を示すブロック
図である。 図6は、実施形態3の装置での処理手順を示すフローチャートである。 図7は、本発明の実施形態4における画像処理検査装置の構成を示すブロック
図である。 図8は、本発明の実施形態5における画像処理検査装置の構成を示すブロック
図である。 図9は、本発明の実施形態6における画像処理検査装置での処理手順を示すフ
ローチャートである。 図10は、画像処理検査装置による検査の一例を示す説明図である。 図11は、従来の画像処理検査装置の構成を示すブロック図である。 図12は、従来の画像処理検査装置での処理手順を示すフローチャートである。 図13は、従来の他の画像処理検査装置の構成を示すブロック図である。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,UG,ZW),E A(AM,AZ,BY,KG,KZ,MD,RU,TJ ,TM),AL,AM,AT,AU,AZ,BA,BB ,BG,BR,BY,CA,CH,CN,CU,CZ, DE,DK,EE,ES,FI,GB,GD,GE,G H,GM,HR,HU,ID,IL,IN,IS,JP ,KE,KG,KP,KR,KZ,LC,LK,LR, LS,LT,LU,LV,MD,MG,MK,MN,M W,MX,NO,NZ,PL,PT,RO,RU,SD ,SE,SG,SI,SK,SL,TJ,TM,TR, TT,UA,UG,US,UZ,VN,YU,ZW (72)発明者 藤原 祥雅 大阪府門真市大字門真1048番地 松下電工 株式会社内 Fターム(参考) 5B057 AA01 BA11 CA08 CB08 CH04 CH05 CH11 CH14 DA03 DB09 DC16 DC36 5C054 AA01 FC00 FC01 FC15 GA04 GB12 GD09 HA05

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 TVカメラと、 このTVカメラが接続され、このTVカメラの撮影画像を記憶する画像撮り込
    みメモリと画像処理手段とを有する画像処理ボードと、 この画像処理ボードが接続される拡張バスと主CPUと主メモリとを有する中
    央処理制御装置と、 上記画像撮り込みメモリに撮り込まれた画像を主メモリに転送する画像転送手
    段と、 この主メモリに転送された画像に対する画像処理が主CPUにより行われるよ
    うに制御するCPU動作制御手段と、 上記TVカメラの撮影画像に対する画像処理を主メモリと画像処理手段とに分
    担させて制御する並行処理制御手段とを備えていることを特徴とする画像処理検
    査装置。
  2. 【請求項2】 請求項1の画像処理検査装置であって、 中央処理制御装置が、パーソナルコンピュータから成ることを特徴とする画像
    処理検査装置。
  3. 【請求項3】 請求項1の画像処理検査装置であって、 画像処理手段が、画像処理用ソフトウェアを記憶するメモリと、このソフトウ
    ェアに従って動作するCPUから成ることを特徴とする画像処理検査装置。
  4. 【請求項4】 請求項1の画像処理検査装置であって、 並行処理制御手段が、主メモリに格納された制御用ソフトウェアとこのソフト
    ウェアに従って動作する主CPUから成ることを特徴とする画像処理検査装置。
  5. 【請求項5】 請求項1の画像処理検査装置であって、 画像処理結果を出力する出力装置を備えていることを特徴とする画像処理検査
    装置。
  6. 【請求項6】 請求項1の画像処理検査装置であって、 上記拡張バスに、画像処理ボードの画像撮り込みメモリに撮り込まれた画像が
    転送される画像撮り込みメモリと、このメモリに撮り込まれた画像の画像処理を
    分担して行う画像処理手段とを有する副画像処理ボードが接続されていることを
    特徴とする画像処理検査装置。
  7. 【請求項7】 請求項1の画像処理検査装置であって、 前記画像処理ボードが拡張バスに複数接続され、 前記画像転送手段と並行処理制御手段とによって、各画像処理ボードにそれぞ
    れ接続されたTVカメラでの各撮影画像に対する画像処理を各画像処理ボードの
    画像処理手段と主CPUとで分担させる制御が行われることを特徴とする画像処
    理検査装置。
  8. 【請求項8】 請求項1の画像処理検査装置であって、 主CPUと主メモリとを有する第2中央処理制御装置の拡張バスが前記中央処
    理制御装置の拡張バスに直接接続され、 前記画像転送手段と並行処理制御手段とによって、前記画像処理ボードの画像
    撮り込みメモリに撮り込まれたカメラ画像を第2中央処理制御装置の主メモリに
    転送させてこの第2中央処理制御装置の主CPUに画像処理を分担させる制御が
    行われることを特徴とする画像処理検査装置。
  9. 【請求項9】 請求項8の画像処理検査装置であって、 第2中央処理制御装置の拡張バスに、前記画像処理ボードの画像撮り込みメモ
    リに撮り込まれた画像が転送される画像撮り込みメモリと、このメモリに撮り込
    まれた画像の画像処理を分担して行う画像処理手段とを有する副画像処理ボード
    が接続されていることを特徴とする画像処理検査装置。
  10. 【請求項10】 請求項8の画像処理検査装置であって、 前記画像処理ボードと同様の構成を有する画像処理ボードが第2中央処理制御
    装置の拡張バスに接続され、 前記画像転送手段と並行処理制御手段とによって、各画像処理ボードにそれぞ
    れ接続されたTVカメラでの各撮影画像に対する画像処理を各画像処理ボードの
    画像処理手段と各中央処理制御装置の主CPUとで分担させる制御が行われるこ
    とを特徴とする画像処理検査装置。
  11. 【請求項11】 TVカメラと、 このTVカメラが接続され、このTVカメラの撮影画像を記憶する画像撮り込
    みメモリと画像処理手段とを有する画像処理ボードと、 この画像処理ボードが接続される拡張バスと主CPUと主メモリとを有する中
    央処理装置と、 バスに接続された画像処理ボードと、この画像処理ボードに接続されたTVカ
    メラとを備え、 上記画像処理ボードには、TVカメラの撮影画像を記憶する画像撮り込みメモ
    リと、この画像撮り込みメモリに記憶されたカメラ画像に対して画像処理を行う
    画像処理手段とを設け、 画像処理結果に基づいて検査結果を出力するための後処理を行う画像処理検査
    装置であって、 上記画像処理ボードでの画像処理結果に基づく後処理が中央処理制御装置で開
    始されるときに画像処理ボードで次のTVカメラのカメラ画像に対する画像処理
    が並行に行われるように制御するパイプライン処理制御手段を設けていることを
    特徴とする画像処理検査装置。
  12. 【請求項12】 TVカメラが接続された画像処理ボードを中央処理制御装置
    の拡張バスに接続し、TVカメラの撮影画像を画像処理ボード上の画像撮り込み
    メモリに撮り込んだ後、この画像撮り込みメモリに記憶されたカメラ画像に対し
    て画像処理を行って検査結果を出力させる画像処理検査方法であって、 上記カメラ画像に対する画像処理が中央処理制御装置内の主CPUでも行われ
    るように、上記カメラ画像を中央処理制御装置内の主メモリに転送し、画像処理
    を上記主CPUと画像処理ボードとで分担して互いに並行に行うことを特徴とす
    る画像処理検査方法。
  13. 【請求項13】 TVカメラが接続された画像処理ボードを中央処理制御装
    置の拡張バスに接続し、TVカメラの撮影画像を画像処理ボード上の画像撮り込
    みメモリに撮り込んだ後、この画像撮り込みメモリに記憶されたカメラ画像に対
    する画像処理と、この画像処理結果に基づいて検査結果を出力するための後処理
    とを行う画像処理検査方法であって、 上記画像処理ボードでの画像処理結果に基づく後処理が中央処理制御装置で開
    始されるときに画像処理ボードで次のTVカメラのカメラ画像に対する画像処理
    が並行に行われるようにパイプライン処理を行うことを特徴とする画像処理検査
    方法。
JP2000552628A 1998-05-29 1999-05-28 画像処理検査装置および検査方法 Expired - Fee Related JP4096513B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP15005898 1998-05-29
JP10-150058 1998-05-29
PCT/JP1999/002868 WO1999063484A1 (en) 1998-05-29 1999-05-28 Image processing inspection apparatus

Publications (2)

Publication Number Publication Date
JP2002517838A true JP2002517838A (ja) 2002-06-18
JP4096513B2 JP4096513B2 (ja) 2008-06-04

Family

ID=15488598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000552628A Expired - Fee Related JP4096513B2 (ja) 1998-05-29 1999-05-28 画像処理検査装置および検査方法

Country Status (7)

Country Link
US (1) US6920180B1 (ja)
EP (1) EP1080447B1 (ja)
JP (1) JP4096513B2 (ja)
AU (1) AU3956899A (ja)
DE (1) DE69901030T2 (ja)
ES (1) ES2175977T3 (ja)
WO (1) WO1999063484A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293546A (ja) * 2006-04-24 2007-11-08 Matsushita Electric Works Ltd 画像処理装置
JP2014090076A (ja) * 2012-10-30 2014-05-15 Juki Corp 画像処理装置及び電子部品実装装置
JP2018112454A (ja) * 2017-01-11 2018-07-19 株式会社アセット・ウィッツ 管材の内面自動検査装置及び管材内面の自動検査方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4122693B2 (ja) 2000-08-09 2008-07-23 株式会社ニコン 電子カメラ
DE10128722C1 (de) * 2001-06-13 2003-04-24 Siemens Ag Vorrichtung zur Kontrolle von Objekten
JP4096533B2 (ja) * 2001-08-31 2008-06-04 松下電工株式会社 画像処理検査システム
TWI295369B (en) * 2005-09-13 2008-04-01 Applied Res Lab Inspection method and device for deformation of lens
US20070139703A1 (en) * 2005-12-19 2007-06-21 Glory Ltd. Print inspecting apparatus
CN101594510B (zh) * 2009-06-23 2011-11-23 腾讯科技(深圳)有限公司 一种实现摄像头资源共享的方法及系统
JP5353566B2 (ja) * 2009-08-31 2013-11-27 オムロン株式会社 画像処理装置および画像処理プログラム
DE102009050073A1 (de) 2009-10-20 2011-04-21 Fachhochschule Gelsenkirchen Bildsensoranordnung zur Erfassung von Bildinformationen für die automatische Bilddatenverarbeitung
JP5620851B2 (ja) * 2010-08-17 2014-11-05 パナソニック株式会社 電子機器、電子機器システム及び画像処理方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5495337A (en) * 1991-11-06 1996-02-27 Machine Vision Products, Inc. Method of visualizing minute particles
US5517234A (en) * 1993-10-26 1996-05-14 Gerber Systems Corporation Automatic optical inspection system having a weighted transition database
JPH10143660A (ja) * 1996-11-11 1998-05-29 Hitachi Ltd 欠陥判定処理方法およびその装置
JPH11156951A (ja) * 1997-12-01 1999-06-15 Sony Corp 球体配置の画像化方法、測定方法及び装置、並びに、平面型レンズの製造方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007293546A (ja) * 2006-04-24 2007-11-08 Matsushita Electric Works Ltd 画像処理装置
JP4670722B2 (ja) * 2006-04-24 2011-04-13 パナソニック電工株式会社 画像処理装置
JP2014090076A (ja) * 2012-10-30 2014-05-15 Juki Corp 画像処理装置及び電子部品実装装置
JP2018112454A (ja) * 2017-01-11 2018-07-19 株式会社アセット・ウィッツ 管材の内面自動検査装置及び管材内面の自動検査方法

Also Published As

Publication number Publication date
DE69901030D1 (de) 2002-04-18
WO1999063484A1 (en) 1999-12-09
AU3956899A (en) 1999-12-20
EP1080447A1 (en) 2001-03-07
DE69901030T2 (de) 2002-07-18
US6920180B1 (en) 2005-07-19
EP1080447B1 (en) 2002-03-13
JP4096513B2 (ja) 2008-06-04
ES2175977T3 (es) 2002-11-16

Similar Documents

Publication Publication Date Title
JP2002517838A (ja) 画像処理検査装置および検査方法
JP2011103561A (ja) 画像処理システム、画像処理装置、画像処理方法、およびプログラム
CN100586144C (zh) 图像处理设备及方法
JPH08237535A (ja) 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置
JP3296675B2 (ja) 被写体追尾装置および被写体追尾方法
CN109146916A (zh) 一种运动物体跟踪方法及装置
CN114785957A (zh) 拍摄方法及其装置
JPH0896132A (ja) 画像処理装置及び処理方法
JP2000209534A (ja) デジタル画像取込装置、デジタル画像取込装置の制御方法、及びデジタル画像取込装置の制御方法をコンピュ―タに実行させるためのプログラムを記録したコンピュ―タ読み取り可能な媒体
WO2023231399A1 (zh) 人脸属性预测网络生成方法、人脸属性预测方法及装置
JP2525051B2 (ja) 並列画像処理装置
JPH0749937A (ja) 画像処理装置
JP2950544B2 (ja) 視覚センサシステムにおける画像処理方法
CN114549851A (zh) 图像处理方法、可读介质和电子设备
JPH0323781A (ja) 画像入力装置
JPH0275085A (ja) パターン認識装置
JPH11239272A (ja) 画像データの二値化処理方法及びその装置
JPH10214241A (ja) 画像転送方法及びシステム
JPS60117381A (ja) 輪郭線抽出方法及びその装置
JPS63187374A (ja) オ−トアフイン変換処理方式
JPH08153178A (ja) 文書画像の分割入力方法および装置
JPS63318677A (ja) 画像認識装置
JPH088646B2 (ja) 画信号符号化・復号化大規模集積回路
JPH1031741A (ja) 画像処理装置
JPH05127715A (ja) 視覚センサにおける検出プログラム自動調整方法

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under section 34 (pct)

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20001128

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20010529

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20010608

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20020809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080303

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110321

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees