JP2012108701A - 情報処理装置、情報処理装置の制御方法、プログラム、及びプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】複数の画像検査を並列処理で行い、情報処理装置の負荷が高くなった場合に、画像検査後の結果画像を柔軟に間引き、結果画像の表示よりも画像検査を優先させる仕組みを提供する。
【解決手段】検査テーブルに複数のレコードが蓄積されていた場合、つまり画像処理が並列処理によって複数動作していると判定された場合に、ユーザから選択された間引きモードに従って（Ｓ４０２）、間引き処理を行う。特に検査テーブルに蓄積されたレコードの数に従って、間引き数を変更する。
【選択図】図１５

Description

本発明は、画像処理によって画像の検査を行う情報処理装置において、各画像検査結果を情報処理装置の負荷に応じて自動的に表示を間引くことが可能な情報処理装置、情報処理装置の制御方法、プログラム、及びプログラムを記録した記録媒体に関する。

従来、例えば、チップマウンターにおける基板や部品の位置決めや、出来上がった製品の検査などを目的として、カメラで撮影した検査対象の画像データを、一定のロジック（処理フロー）で画像検査する画像検査装置が広く用いられている。

このような用途の画像検査装置としては、例えば、予め決められた画像検査のロジックを搭載した汎用タイプの画像検査装置や、ユーザのニーズに合致するロジックをユーザ自身が構築することが可能な専用タイプの画像検査装置がある。

ここで、汎用タイプの画像検査装置は、画像検査のロジックを新規に構築する必要がないため、実際の製造工程等への導入に際してユーザの労力はかからないが、ユーザのニーズを完全に満たすロジックであることは少ない。一方、専用タイプの画像検査装置は、ユーザのニーズを完全に満たす画像検査のロジックを構築することが可能であるが、そのために画像検査のロジックを都度開発する必要があるため、多大な開発労力と開発期間、更には多大なコストがかかるものであった。

そこで、従来、例えば下記の特許文献１に示すようなロジックの開発を効率化する技術が提案されている。具体的に、特許文献１では、ロジックを開発するコンピュータに予め複数の画像検査に係るモジュールを登録しておき、開発者が使用者のニーズに合致するモジュールを選択し、選択したモジュールに必要なパラメータを設定して、ソースコード化した上でオブジェクトコードを作成することにより、ロジックの開発を効率化するものである。

特開２００３−２９６１１２号公報

しかしながら、このような一連の画像処理を実行する際には、複数のカメラから画像検査を行う画像が入力され、当該複数の画像が情報処理装置のマルチスレッドまたはマルチプロセスにより並列処理されるが、表示を行う画面は１つのため、情報処理装置の処理能力の限界で表示が間に合わないことがあった。つまり、複数画像をそれぞれ複数のＣＰＵで処理するが、表示画面は１つのため、情報処理装置が処理された複数画像を次々表示する必要がある。しかし、情報処理装置の処理能力によっては表示が遅れてしまい、表示待ちの画像が溜まってしまう問題があった。また、画像検査処理と画像検査後の結果画像を表示する処理とを同時に複数おこなった場合、上述した特許文献１の技術では、情報処理装置の処理能力が足りず、画像検査の速度が低下するといった問題がある。

このような問題を解決するために、情報処理装置に負荷がかかった場合、画像処理が行われた結果画像をすべて表示せず、結果画像を間引くことで画像検査を優先させる仕組みが存在する。しかしながら、情報処理装置の処理能力が低い場合や、負荷の高い画像検査を行う場合には、情報処理装置に対する負荷が継続しやすいため、大半の結果画像が間引かれることになってしまう。例えば、このような画像検査では、画像検査結果を情報処理装置に接続されたディスプレイ等で確認する作業員がおり、適切に画像検査が行われているか否かを点検している。この場合に、情報処理装置に高い負荷がかかり、間引き処理が行われたとしても、大半の結果画像が間引かれることで画像検査が停止しているように見えてしまう。よって、当該作業員は結果画像の間引きが行われているのか、画像検査が停止しているのかを判断することができなかった。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、複数の画像検査を並列処理で行い、情報処理装置の負荷が高くなった場合に、画像検査後の結果画像を柔軟に間引き、結果画像の表示よりも画像検査を優先させる仕組みを提供することを目的とする。

上記の目的を達成するために、請求項１に記載の情報処理装置は、電子画像データに対して画像処理を実行し、前記画像処理が実行された電子画像データの表示を行う情報処理装置であって、前記電子画像データに対して、所定の画像処理を実行する画像処理実行手段と、前記画像処理実行手段によって画像処理が実行された電子画像データを記憶する電子画像データ記憶手段と、前記画像処理実行手段によって画像処理が実行された電子画像データを前記電子画像データ記憶手段から取得して、前記画像処理実行手段の実行中に並列処理により表示する表示手段と、並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データのうち、少なくとも１以上の前記電子画像データを間引いて表示する複数の間引き形式のうち、ユーザから選択された間引き形式を設定する間引き形式設定手段とを備え、前記表示手段は、前記間引き形式設定手段によって設定された間引き形式に従って、並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データを間引いて表示することを特徴とする。

本発明によれば、ユーザから指定された間引きモードに従って、検査結果の画像を間引くことができるので、画像検査結果を監視する作業員の有無に応じた柔軟な間引き処理を提供することができる。

本発明の実施形態に係る画像検査システムの概略構成の一例を示す模式図である。 図１に示す情報処理装置１１０の内部のハードウェア構成の一例を示す模式図である。 図２に示す画像入力コントローラ１１５ｆのハードウェア構成の一例を示す模式図である。 図１に示す情報処理装置１１０の機能構成の一例を示す模式図である。 図４に示すモジュール・ソースコードマスタテーブル４１１の一例を示す模式図である。 図４に示す処理フロー・入出力パラメータテーブル４１２の一例を示す模式図である。 図１に示す情報処理装置１１０による制御方法の処理手順の一例を示す模式図である。 画像検査システム開発画面のメインメニューの一例を示す模式図である。 図７のステップＳ１０９におけるモジュールのオンライン検査処理の詳細な処理手順の一例を示すフローチャートである。 オンライン検査画面の一例を示す模式図である。 図４に示す検査パラメータテーブル４８０の一例を示す模式図である。 図４に示す検査テーブル４８１の一例を示す模式図である。 図９のステップＳ２１１におけるモジュールの検査スレッド処理の詳細な処理手順の一例を示すフローチャートである。 図４に示す検査結果テーブル４１８の一例を示す模式図である。 図９のオンライン検査処理を並行して動作する検査結果表示処理の詳細な処理手順の一例を示すフローチャートである。 図９のオンライン検査処理と並行して動作するダイナミック間引き処理の詳細な処理手順の一例を示すフローチャートである。 画像検査結果の画像の一例を示す模式図である。 図９のオンライン検査処理と並行して動作する固定間引き処理の詳細な処理手順の一例を示すフローチャートである。 図９のオンライン検査処理と並行して動作するリニア間引き処理の詳細な処理手順の一例を示すフローチャートである。 検査結果表示処理において間引きの種類を選択する環境設定処理の詳細な処理手順の一例を示すフローチャートである。 検査結果表示処理において表示される画面の一例を示す模式図である。 画像処理フロー構築画面の一例を示す模式図である。 画像処理フローが並列処理によって動作することを示す模式図である。 検査結果表示処理において選択された間引きの種類と設定値を記憶するテーブルの一例を示す模式図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。図１は、本発明の実施の形態に係る画像検査システム１００の概略構成の一例を示す模式図である。図１に示す通り、画像検査システム１００は、情報処理装置１１０と、入力装置１２０と、ディスプレイ装置１３０と、カメラ１４０と、照明装置コントローラ１５０と、照明装置１６０と、外部機器コントローラ１７０と、検査対象１８１が載置されたステージ１８０を有して構成されている。

情報処理装置１１０は、画像検査システム１００における動作を統括的に制御する装置である。ここで、本実施形態においては、情報処理装置１１０は、実際の製造工程に導入される画像検査装置で動作する画像検査アプリケーションプログラムの開発を支援する装置として適用した例を説明するが、本発明においてはこれに限定されるわけではなく、たとえば、実際の製造工程に導入されている画像検査装置として適用する形態も本発明に含まれる。

情報処理装置１１０は、所定のケーブル等を介して、検査対象１８１の撮像（撮影）を行うカメラ１４０と通信可能に構成されている。また、情報処理装置１１０は、所定のケーブル等を介して、照明装置１６０の制御を行う照明装置コントローラ１５０と通信可能に構成されている。また、情報処理装置１１０は、所定のケーブル等を介して、ステージ１８０を制御するプログラマブルコントローラ（ＰＣＬ）などの外部機器コントローラ１７０と、あらかじめ設定した通信が可能に構成されている。さらに、情報処理装置１１０は、所定のケーブル等を介して、それぞれ、入力装置１２０およびディスプレイ装置１３０と通信可能に構成されている。すなわち、情報処理装置１１０は、所定のケーブル等を介して接続された、入力装置１２０、ディスプレイ装置１３０、カメラ１４０、照明装置コントローラ１５０および外部機器コントローラ１７０を制御することによって、画像検査システム１００における動作を統括的に制御する。

入力装置１２０は、例えばユーザが情報処理装置１１０に対して各種の指示の入力を行う際にユーザによって操作されるものであり、ユーザからの入力指示操作に従って、当該入力指示を情報処理装置１１０に対して入力するものである。この入力装置１２０は、例えば、キーボード（ＫＢ）やポインティングデバイス等で構成されている。

ディスプレイ装置１３０は、情報処理装置１１０の制御に従って、各種の画像や各種の情報などを表示画面に表示する。

カメラ１４０は、情報処理装置１１０の制御に従って、ステージ１８０上に載置された検査対象１８１の撮影（撮像）を行い、撮影により得られた画像データ（電子画像データ）を所定のケーブル等を介して情報処理装置１１０に送信する。特に本実施例では、カメラ１４０は複数設置され、それぞれで撮影した画像データを情報処理装置１１０に送信する構成とするが、カメラ１４０は１つであってもよい。

照明装置コントローラ１５０は、情報処理装置１１０の制御に従って、照明装置１６０の照明を制御する。照明装置１６０は、照明装置コントローラ１５０の制御に基づき、検査対象１８１における検査内容に応じて、当該検査対象１８１に対する照明の点灯／非点灯の切り替えや明るさの調整等を行う。

外部機器コントローラ１７０は、情報処理装置１１０の制御に従って、ステージ１８０を制御する。ステージ１８０は、外部機器コントローラ１７０の制御に基づき、載置された検査対象１８１を目的の位置に移動させたり、検査対象１８１の搬入や搬出をしたりする。以上が画像検査システム１００の構成の一例の説明である。

次に、情報処理装置１１０のハードウェア構成について説明する。図２は、図１に示す情報処理装置１１０のハードウェア構成の一例を示す模式図である。図２には、情報処理装置１１０の内部構成に加えて、当該情報処理装置１１０と接続される各種装置についても記載している。

情報処理装置１１０は、図２に示すように、ＣＰＵ１１１と、ＲＡＭ１１２と、ＲＯＭ１１３と、システムバス１１４と、各種のコントローラ１１５（１１５ａ〜１１５ｇ）と、外部メモリ１１６と、を備えている。各種のコントローラ１１５として、入力コントローラ１１５ａ、ビデオコントローラ１１５ｂ、メモリコントローラ１１５ｃ、通信Ｉ／Ｆコントローラ１１５ｄ、１１５ｅ、及び１１５ｇ、画像入力コントローラ１１５ｆが構成されている。ＣＰＵ１１１は、ＲＯＭ１１３或いは外部メモリ１１６に記憶されたプログラム等に基づいてシステムバス１１４に接続された各デバイスを制御して、情報処理装置１１０における動作を統括的に制御する。特に本実施例では、ＣＰＵ１１１はマルチスレッドやマルチプロセスにより、複数の処理を並列処理することが可能である。これにより、複数のカメラ１４０から送信された画像データを並列処理することができる。ＲＡＭ１１２は、ＣＰＵ１１１の主メモリ、ワークエリア等として機能する。ＣＰＵ１１１は、検査の実行に際して、必要なプログラム等をＲＡＭ１１２にロードして、プログラムを実行することにより、情報処理装置１１０における各種の動作を実現する。ＲＯＭ１１３には、ＣＰＵ１１１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ
／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等が記憶されている。

システムバス１１４は、ＣＰＵ１１１、ＲＡＭ１１２、ＲＯＭ１１３、入力コントローラ１１５ａ、ビデオコントローラ１１５ｂ、メモリコントローラ１１５ｃ、通信Ｉ／Ｆコントローラ１１５ｄ及び１１５ｅ、１１５ｇ、画像入力コントローラ１１５ｆを、相互に通信可能に接続する。

入力コントローラ１１５ａは、キーボード（ＫＢ）やポインティングデバイスなどからなる入力装置１２０からの入力を制御する。ビデオコントローラ１１５ｂは、表示装置であるディスプレイ装置１３０への表示を制御する。メモリコントローラ１１５ｃは、外部メモリ１１６へのアクセスを制御する。ここで、外部メモリ１１６は、例えばハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）等で構成され、ブートプログラムや、各種のアプリケーションプログラム、編集ファイル、各種のデータや各種の情報等を記憶する。また、外部メモリ１１６は、オペレーティングシステム（以下、「ＯＳ」とする）や、ＣＰＵ１１１に後述する各種の検査を実行させるためのプログラム、当該プログラムの制御に従った検査を行う際に使用する各種のテーブルや各種の検査結果情報等も記憶する。

通信Ｉ／Ｆコントローラ１１５ｄは、外部機器コントローラ１７０との通信を制御する。また、通信Ｉ／Ｆコントローラ１１５ｅは、照明装置コントローラ１５０との通信を制御する。画像入力コントローラ１１５ｆは、カメラ１４０と通信を行って、カメラ１４０から画像データの受信が可能に構成されている。ここで、画像入力コントローラ１１５ｆは、コントローラ上で演算処理が可能なハードウェアを搭載しているものであってもよい。なお、本実施形態では、カメラ１４０からの画像データの入力を前提に説明を行うが、画像ファイルを読み込んで入力する形態であってもよい。さらに、通信Ｉ／Ｆコントローラ１１５ｇは、ローカルエリアネットワーク（ＬＡＮ）１９０等のネットワークに接続され、当該ネットワークに接続されている各種装置との通信を制御する。

次に、図３を用いて、画像入力コントローラ１１５ｆのハードウェア構成について説明する。図３に示す通り、画像入力コントローラ１１５ｆは、ＣＰＵ（演算チップ）３０１、メモリコントローラ３０２、入力コントローラ３０３、オンボードメモリ３０４を備えている。

ＣＰＵ（演算チップ）３０１は、後述する各種の画像検査を実行する。メモリコントローラ３０２はＣＰＵ（演算チップ）３０１の制御に従って、オンボードメモリ３０４への各種データの入出力を制御する。入力コントローラ３０３はカメラ１４０からの画像データの入力を制御する。オンボードメモリ３０４はＣＰＵ（演算チップ）３０１の主記憶として機能する。以上が、画像入力コントローラ１１５ｆのハードウェア構成の説明である。

次に、情報処理装置１１０の機能構成の一例について説明する。図４は、図１に示す情報処理装置１１０の機能構成の一例を示す模式図である。

情報処理装置１１０には、図４に示すように、テーブル記憶部４１０、フロー作成部４２０、ソースコード変換部４３０、コンパイル部４４０、（検証）実行部４５０、データ保存部４６０、及び、データ入力・出力部４７０の各機能構成が構成される。また、テーブル記憶部４１０には、モジュール・ソースコードマスタテーブル４１１、処理フロー・入出力パラメータテーブル４１２、ソースコードテーブル４１３、オブジェクトコードテーブル４１４、及びプロジェクトファイルテーブル４１５が記憶されている。また、条件式テーブル４１６、ノード処理フラグテーブル４１７、検査結果テーブル４１８、検査パラメータテーブル４８０、及び検査テーブル４８１も記憶されている。

ここで、本実施形態においては、図４のテーブル記憶部４１０が、例えば図２に示す外部メモリ１１６に構成される（一旦、ＲＡＭ１１２に構成された後に外部メモリ１１６に構成される場合も含む）。また、図４のフロー作成部４２０、ソースコード変換部４３０、コンパイル部４４０、（検証）実行部４５０、データ保存部４６０及びデータ入力・出力部４７０が、例えば図２に示すＣＰＵ１１１と、ＲＯＭ１１３或いは外部メモリ１１６に記憶されているプログラムと、から構成される。

図５を参照して、図４のテーブル記憶部４１０に記憶されるモジュール・ソースコードマスタテーブル４１１について説明する。図５はモジュール・ソースコードマスタテーブル４１１の構成の一例を示す模式図である。

図５に示すように、モジュール・ソースコードマスタテーブル４１１には、インデックス（Ｉｎｄｅｘ）５０１ごとに、画像検査に係る処理アイテム５０２と、各処理アイテムに対応するソースコード５０３、またその処理アイテムを実現するためのモジュールに対する初期値５０４と処理主体５０５が関連付けられている。このソースコードは、ソースコード変換部４３０で検査対象のモジュールをソースコードに変換する際に用いられるものである。

次に、図６を参照して、図４のテーブル記憶部４１０に記憶される処理フロー・入出力パラメータテーブル４１２について説明する。図６は、図４に示す処理フロー・入出力パラメータテーブル４１２の構成の一例を示す模式図である。図６に示すように、処理フロー・入出力パラメータテーブル４１２は、インデックス（Ｉｎｄｅｘ）６０１ごとに、画像検査に係るモジュール６０３と、各モジュール６０３の順序６０２と、各モジュール６０３のフロー登録名６０４と、各モジュール６０３における入力パラメータ６０５及び出力パラメータ６０６が関連付けられている。入力パラメータ６０５は、各モジュールで使用する各種のデータが格納される画像バッファや記憶領域等を示す。出力パラメータ６０６は、各モジュールが実行された際の結果画像バッファや各種の検査に用いた閾値等を記憶する記憶領域を示す。次ステップ６０７は、次に処理されるべきステップのインデックス（Ｉｎｄｅｘ）６０１を示す。なお、この次ステップ６０７は、複数のインデックス（Ｉｎｄｅｘ）を持つこともある。また、分岐参照６０８は、モジュール６０３に「反復処理」モジュール、「条件分岐処理」モジュールを設定した際に、各条件（ノード）が次にどのステップを処理するかを指定する条件式テーブルを示す。さらに、処理主体６０９は、各モジュールにおいて処理をＣＰＵ１１１と、画像入力コントローラ１１５ｆのＣＰＵ（演算チップ）３０１のどちらで行うかを示す項目である。

なお、図６に示す処理フロー・入出力パラメータテーブル４１２におけるインデックス（Ｉｎｄｅｘ）６０１と、図４に示すモジュール・ソースコードマスタテーブル４１１におけるインデックス（Ｉｎｄｅｘ）とは特に対応させていないが、相互に対応させて各テーブルを作成する形態であってもよい。なお、処理フロー・入出力パラメータテーブルＴ６００において、インデックス（Ｉｎｄｅｘ）６０１の２および３は反復処理、処理フロー・入出力パラメータテーブルＴ６０１のインデックス（Ｉｎｄｅｘ）６０１の２から４は条件分岐処理の一例である。

ソースコードテーブル４１３は、処理フロー・入出力パラメータテーブル４１２に記憶されているモジュール６０３について、ソースコード変換部４３０でモジュール・ソースコードマスタテーブル４１１を用いてソースコードに変換し登録している、全てのモジュール或いは一部のモジュールにおけるソースコードを記憶する。

オブジェクトコードテーブル４１４は、ソースコードテーブル４１３に記憶されているソースコードをコンパイル部４４０で変換した、実行可能なモジュールであるオブジェクトコードを記憶する。プロジェクトファイルテーブル４１５は、画像検査に係る初期設定パラメータや、処理フローシーケンス、ソースコード、入出力パラメータ等を記憶する。また条件式テーブル４１６は、「条件分岐処理」モジュールが設定された際の、条件式等を記憶し、ノード処理フラグテーブル４１７は、「並列分岐処理」モジュールが設定された際の、呼び出し側のノード名等を記憶する。

図１４を参照して、図４のテーブル記憶部４１０に記憶される検査結果テーブル４１８について説明する。図１４は検査結果テーブル４１８の構成の一例を示す模式図である。

図１４に示すように、検査結果テーブル４１８には、処理フロー・入出力パラメータテーブル４１２におけるインデックス（Ｉｎｄｅｘ）６０１と紐づいたインデックス（Ｉｎｄｅｘ）１４０１、検査結果ごとに割り振られる識別ＩＤ１４０２、検査対象の識別箇所を座標で示す識別箇所１４０３、識別箇所１４０３の検査結果を示す識別結果１４０４、検査対象である画像名を示す検査画像名１４０５が関連付けられている。尚、識別箇所１４０３は、検査画像の左上頂点を（０，０）とする座標から構成され、識別箇所の左上の座標と、識別箇所の右下の座標を組み合わせて格納される。識別箇所は矩形であるので、識別箇所を特定できるのであれば、これに限らない。

次に、図１１を参照して、図４のテーブル記憶部４１０に記憶される検査パラメータテーブル４８０について説明する。図１１は検査パラメータテーブル４８０の構成の一例を示す模式図である。

図１１に示すように、検査パラメータテーブル４８０には、検査パラメータごとに割り振られるＮＯ１１０１、当該検査パラメータが使用中か否かを示す使用中フラグ１１０２が関連付けられている。

次に、図１２を参照して、図４のテーブル記憶部４１０に記憶される検査テーブル４８１（電子画像データ記憶手段）について説明する。図１２は検査テーブル４８１の構成の一例を示す模式図である。

図１２に示すように、検査テーブル４８１には、検査をおこなうスレッドのスレッド名を示す検査スレッド１２０１、検査スレッド１２０１が実行中か否かを示す実行中フラグ１２０２、検査の結果を示す検査結果１２０３、図１４の検査画像名１４０５と対応し、検査対象の画像名を示す検査画像名１２０４、当該検査スレッドが検査パラメータテーブルのうち、どこで検査されているかを示す検査パラメータ１２０５が関連付けられている。検査テーブル４８１に複数レコードが蓄積されている場合には、検査結果画像の表示が間に合っていないと判定でき、またレコードが１つまたはない場合には、検査結果画像の表示が間に合っていることを示す。

続いて、図４のフロー作成部４２０、ソースコード変換部４３０、コンパイル部４４０、実行部４５０、データ保存部４６０、及び、データ入力・出力部４７０について説明する。

フロー作成部４２０は、モジュール・ソースコードマスタテーブル４１１に含まれているモジュールの処理シーケンスを管理する処理フロー・入出力パラメータテーブル４１２の作成等と、処理フロー描画領域２２０２へのモジュールの描画を行う機能を有する。

ソースコード変換部４３０は、フロー作成部４２０により作成された処理フロー・入出力パラメータテーブル４１２に記憶されている各モジュールの処理データをモジュール・ソースコードマスタテーブル４１１と照合して、各モジュールをソースコードに変換し、ソースコードテーブル４１３に記憶する機能を有する。

なお、図５及び図６に示すテーブルのモジュールには、画像に対する検査だけでなく、画像を取得するための事前処理や、検査結果を出力するための事後処理を含む外部機器に対する処理などを含めても勿論構わない。例えば、カメラ１４０の撮像条件を設定する制御指令や、照明装置１６０を制御するための照明装置コントローラ１５０への制御指令、或いは、ステージの移動などを制御するための外部機器コントローラ１７０への制御指令、ＬＡＮ上に接続されたＰＣにデータを送信する等の制御指令を行うものであってもよい。

コンパイル部４４０は、ソースコードテーブル４１３に記憶されているソースコードから実行可能なオブジェクトコードを生成し、生成したオブジェクトコードをオブジェクトコードテーブル４１４に記憶する機能を有する。

なお、コンパイル部４４０が行うコンパイルには、デバッグ・コンパイルとリリース・コンパイルの２つのタイプがある。ここで、本実施形態においては、処理フロー作成中には、ソースコードレベルでのステップ実行を可能とするデバッグ・コンパイルを行い、データ保存時には、後述するオンライン検査で利用可能なファイルを生成するリリース・コンパイルを行う。この際、デバッグ・コンパイル及びリリース・コンパイルの両者は、同じ変換手法で生成されたソースコードを参照するものとする。

（検証）実行部４５０は、コンパイル部４４０により作成されたオブジェクトコードテーブル４１４に記憶されているオブジェクトコードを実行し、結果画像表示領域２２０３及び検査画像表示領域１００２と処理フロー・入出力パラメータテーブル４１２を更新する機能を有する。

データ保存部４６０は、例えば、ＲＡＭ１１２にあるソースコードテーブル４１３、オブジェクトコードテーブル４１４及びプロジェクトファイルテーブル４１５を外部メモリ１１６に出力して、データの保存処理を行う。

データ入力・出力部４７０は、各モジュールで使用する入出力パラメータを管理する機能を有する。

次に、情報処理装置１１０によって実行される画像検査アプリケーションプログラム作成処理の処理手順について説明する。図７は、図１に示す情報処理装置１１０による画像検査プログラム作成処理の処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を入力装置１２０より受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。

まず、図７のステップＳ１０３において、情報処理装置１１０のＣＰＵ１１１は、例えば、入力装置１２０からの入力指示に基づいて、画像検査システム開発やシステム設定を行うためのメインメニューをディスプレイ装置１３０に表示する処理を行う。メインメニューは図８に示すようなものである。

図８は、画像検査システム開発画面のメインメニュー８００の一例を示す模式図である。図８に示す画像検査システム開発画面のメインメニュー８００には、ロジック（処理フロー）の新規作成、若しくは作成済みの処理フローの編集を行う「プロジェクト構築」メニュー８０１、「プロジェクト構築」メニュー８０１で作成した処理フローをオンライン検査モードで実行するための「オンライン検査」メニュー８０２、「プロジェクト構築」８０１と「オンライン検査」８０２で使用する検査結果表示処理の表示方法に関するパラメータを設定する環境設定８０３、メインメニューを終了する「終了」メニュー８０５が設けられている。

図７の説明に戻る。ステップＳ１０３のメインメニュー表示処理を終えると、ＣＰＵ１１１は処理をステップＳ１０４に進める。そして、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０３で表示された画像検査システム開発画面のメインメニュー８００上の各メニュー項目に対して、入力装置１２０からの入力指示があったか否かを判断する。

ステップＳ１０４の判断の結果、入力装置１２０からメインメニュー８００の各メニュー項目に対する入力指示がなかったと判断した場合には（ステップＳ１０４／ＮＯ）、入力装置１２０からの入力指示があるまで、ステップＳ１０４で待機する。一方、ステップ１０４の判断の結果、入力装置１２０からの入力指示あったと判断した場合には（ステップＳ１０４／ＹＥＳ）、ステップＳ１０５に進む。

ステップＳ１０５に進むと、情報処理装置１１０のＣＰＵ１１１は、入力装置１２０からの入力指示に基づいて、選択された処理内容の判定処理を行う。このステップＳ１０５で判定される処理内容としては、本例では、「プロジェクト構築処理」、「オンライン検査処理」「環境設定」「終了」である。なお、ここで挙げた処理内容は一例を示したものであり、その他のメニュー項目をメインメニューに追加し、そのメニュー項目に対応するその他の処理内容をステップＳ１０５で判定することも可能である。

続いて、ステップＳ１０６において、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０５で判定した処理内容が、「プロジェクト構築処理」であるか否かを判断する。ステップＳ１０６の判断の結果、ステップＳ１０５で判定した処理内容が、「プロジェクト構築処理」であると判断した場合には（ステップＳ１０６／ＹＥＳ）、処理をステップＳ１０７に進める。

ステップＳ１０７に進むと、情報処理装置１１０のＣＰＵ１１１は、「プロジェクト構築処理」を行う。この「プロジェクト構築処理」は、画像検査プログラムを構築する処理である。

まず、情報処理装置１１０のＣＰＵ１１１は、例えば、入力装置１２０からの入力指示に基づいて、図２２に示す画像処理システムの開発を行うための画像処理プロジェクト開発画面２２００をディスプレイ装置１３０に表示する処理を行う。

図２２は、画像処理プロジェクト開発画面２２００の一例を示す模式図である。図２２に示す画像処理プロジェクト開発画面２２００には、利用可能な処理ユニット（即ち、画像処理に係る各モジュール）を表示するツールボックス２２０１と、画像処理の実行順序（即ち、各モジュールの実行順序）をフローチャートで描画する処理フロー描画領域２２０２と、各画像処理（即ち、各モジュールの処理）で実行した結果画像を表示する結果画像表示領域２２０３と、ツールバー２２０７と、処理実行結果を表示する処理結果表示領域２２０８と、処理された画像が複数枚あった場合に画像の選択を行う画像選択領域２２０９と、画像選択領域２２０９に備えられた前へボタン２２１０と、次へボタン２２１１や、画像処理プログラムの開発を終了する際に操作される不図示の閉じるボタン等も設けられている。

また、図２２に示す画像処理プロジェクト開発画面２２００には、例えば、新規モジュールの登録時もしくはパラメータの編集時等に、処理フロー描画領域２２０２のフローチャートの各ステップ（即ち、各モジュール）で利用するパラメータを設定するパラメータ編集画面２２０４と、そのパラメータの設定で実行された結果画像を表示する結果画像表示領域２２０３が表示される。図２２の、プロジェクト構築画面の例では、分岐処理によるフローを制御するモジュールも含んでいる。ここで、結果画像表示領域２２０３は、処理フロー描画領域２２０２の各モジュールの結果画像を表示する領域である。これは、プレビュー画像や縮小画像であってもよい。条件分岐処理の場合には、条件を満たしたノード（枝）の画像を表示し、条件を満たさないノードについては処理が行われないのでブラックアウトした画像を表示する。本発明では、結果画像表示領域２２０３にブラックアウトした画像を表示するが、一つ前のモジュールで処理された結果画像を表示してもよい。このとき、すべての処理フローの結果が結果画像表示領域２２０３に収まらない場合は、水平・垂直方向のスクロールバーを用いて表示領域を変更することとしてもよい。

また、処理結果表示領域２２０８は、処理フロー描画領域２２０２の各モジュールのうちの１つをユーザからの操作により選択された場合、当該モジュールの結果画像を表示する領域である。ユーザからの操作により選択されたモジュールが、条件分岐処理等の画像処理を伴わないモジュールである場合には、処理結果表示領域２２０８にブラックアウトした画像を表示する。本発明では、処理結果表示領域２２０８にブラックアウトした画像を表示するが、一つ前のモジュールで処理された結果画像を表示してもよい。以上が、画像処理プロジェクト開発画面２２００の構成の一例の説明である。

モジュール・ソースコードマスタテーブル４１１に記憶された各モジュールを、ユーザからの操作により、処理フロー描画領域２２０２において画像検査の順にフローチャート形式で組み合わせ、その組み合わせた結果を処理フロー・入出力パラメータテーブル４１２に格納する。その後、ソースコード変換部４３０によってモジュール・ソースコードマスタテーブル４１１と、処理フロー・入出力パラメータテーブル４１２から一連の画像検査のソースコードを生成し、ソースコードテーブル４１３に格納する。ソースコードテーブル４１３に格納された画像検査のソースコードは、コンパイル部４４０によってコンパイルされ、実行可能なオブジェクトコードを生成し、生成したオブジェクトコードをオブジェクトコードテーブル４１４に記憶する。

本発明では、このようにフローチャート形式で作成されたオブジェクトコードを情報処理装置のマルチスレッドまたはマルチプロセスにより並列動作させることで、複数のカメラ１４０から送信された複数画像に対して画像処理を行う。つまり、並列処理で動作する１つ１つの画像処理は、処理フロー描画領域２２０２において構築された画像処理フローの画像処理である。

図２３は、処理フロー描画領域２２０２において構築された画像処理フローの画像処理が並列処理により動作する概念図である。図２３に示すように、検査スレッドが複数存在し、そのスレッドごとに処理フロー描画領域２２０２において構築された画像処理フローの画像処理が動作する。本実施例では、同一の画像処理フローの画像処理が各スレッドにおいて並列処理されるが、スレッドごとに異なる画像処理フローの画像処理が動作してもよい。例えば、カメラ１４０が異なる目的で設置されている場合、一般的に同じ画像処理フローを利用することは少ない。よって、情報処理装置１１０のＣＰU１１１は、スレッドごとにことなる画像処理フローを構築し、実行する形態が考えられる。この場合も同様にスレッドごとに構築されたそれぞれ異なる画像処理フローを並列処理によって動作させる。

以上が、プロジェクト構築処理の概要である。そして、ステップＳ１０７の処理が終了すると、ステップＳ１０４に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ１０６の判断の結果、ステップＳ１０５で判定した処理内容が、「プロジェクト構築処理」ではないと判断した場合には（ステップＳ１０６／ＮＯ）、処理をステップＳ１０８に進める。

ステップＳ１０８では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０５で判定した処理内容が、「オンライン検査処理」であるか否かを判断する。

ステップＳ１０８の判断の結果、ステップＳ１０５で判定した処理内容が、「オンライン検査処理」であると判断した場合には（ステップＳ１０８／ＹＥＳ）、ＣＰＵ１１１は処理をステップＳ１０９に進める。

ステップＳ１０９に進むと、情報処理装置１１０のＣＰＵ１１１は、「オンライン検査処理」処理を行う。この「オンライン検査処理」の詳細について、図９を用いて後述する。そして、ステップＳ１０９の処理が終了すると、ステップＳ１０４に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ１０８の判断の結果、ステップＳ１０５で判定した処理内容が、「オンライン検査処理」ではないと判断した場合には（ステップＳ１０８／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ１１０に進める。

ステップＳ１１０では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０５で判定した処理内容が、「環境設定」であるか否かを判断する。

ステップＳ１１０の判断の結果、ステップＳ１０５で判定した処理内容が、「環境設定」であると判断した場合には（ステップＳ１１０／ＹＥＳ）、ＣＰＵ１１１は処理をステップＳ１１１に進める。

ステップＳ１１１に進むと、情報処理装置１１０のＣＰＵ１１１は、「環境設定」処理を行う。この「環境設定」の詳細について、図２０を用いて後述する。そして、ステップＳ１１１の処理が終了すると、ステップＳ１０４に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ１１０の判断の結果、ステップＳ１０５で判定した処理内容が、「環境設定」ではないと判断した場合には（ステップＳ１１０／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ１１４に進める。

ステップＳ１１４では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０５で判定した処理内容が、「終了処理」であるか否かを判断する。

ステップＳ１１４の判断の結果、ステップＳ１０５で判定した処理内容が、「終了処理」であると判断した場合には（ステップＳ１１４／ＹＥＳ）、本プログラムによる処理を終了する。

一方、ステップＳ１１４の判断の結果、ステップＳ１０５で判定した処理内容が、「終了処理」ではないと判断した場合には（ステップＳ１１４／ＮＯ）、処理をステップＳ１０４に進め、入力装置１２０から次の入力指示があるまで待機する。

次に、図２０を参照して、図７のステップＳ１１１の環境設定処理の詳細な手順について説明する。図２０は、図７のステップＳ１１１における「環境設定処理」の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を入力装置１２０より受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。

まず、図２０のステップＳ８０１において、情報処理装置１１０のＣＰＵ１１１は、例えば、入力装置１２０からの入力指示に基づいて、検査結果を表示する際の表示形式について選択・設定を行うための間引きモード設定画面２１００をディスプレイ装置１３０に表示する処理を行う。間引きモード設定画面２１００は図２１に示すような画面である。

図２１は、間引きモード設定画面２１００の模式図である。図２１に示す間引きモード設定画面２１００には、検査テーブル４８１にあるレコードに対応する検査結果画像の表示を間引く機能として、「固定間引き」、「ダイナミック間引き」、「リニア間引き」の３つの間引きモード（間引き形式）が選択できる。

本実施例においては、３つの画像間引き機能が存在する。検査結果画像の表示を間引くことで、毎回検査結果画像を表示することによるＣＰＵ１１１の負荷を軽減することができる。

まず、「固定間引き」とは、検査結果画像の表示を行った後に一定数の検査結果画像を表示させない機能である。例えば、間引き数を「３」として設定し、検査結果画像が８枚ある場合には、1枚目の検査結果画像を表示し、２枚目から４枚目までの合計３枚の検査結果画像を表示させない（間引く）。そして、５枚目の検査結果画像を表示し、６枚目から８枚目までの合計３枚の検査結果画像を表示させない。このように、一定数の検査結果画像の表示を間引くことで、ＣＰＵ１１１の負荷を軽減する機能である。

次に、「ダイナミック間引き」とは、並列処理により動作している画像処理の処理速度によって、検査結果画像の表示を間引く数を増減させる機能である。つまり、画像処理と検査結果画像表示処理は並列処理により動作しているので、画像処理の方が検査結果画像表示処理よりも処理速度が速い場合には、表示すべき検査結果画像が溜まってしまう。よって、検査結果画像の表示を間引くことで、ＣＰＵ１１１の負荷を軽減する。逆に、画像処理と検査結果画像表示処理が等速または、検査結果画像表示処理の方が速い場合には、表示を間引かない。このように柔軟な間引き処理を行う。本実施例においては、検査テーブル４８１の先頭レコードに格納された画像のみを表示させる仕組みとすることで、「ダイナミック間引き」を実現している。

そして、「リニア間引き」とは、ＣＰＵの負荷に応じて増減する間引き数をなだらかに変化させる間引き機能である。「ダイナミック間引き」では、ＣＰＵ１１１に負荷がかかった場合（検査テーブル４８１に複数レコードが蓄積された場合）、先頭レコードに格納された画像のみを表示し、他のレコードに格納された画像の表示を間引く機能であった。しかし、「リニア間引き」では、ＣＰＵ１１１に負荷がかかった場合、負荷の具合によって間引く数を変化させる仕組みとなっている。これにより、ＣＰＵ１１１の負荷が高ければ、間引く数が多くなり、ＣＰＵ１１１の負荷が低ければ、間引く数が少なくなる。また、急に間引き数が大きく変化することはなく、検査結果の画像を閲覧するユーザにとっても正常に動作していることを視認させることができる。本実施例では、以上３つの間引き方法を元に説明するが、これに限らない。

図２１の説明に戻る。ステップＳ８０１の間引きモード設定画面２１００の表示を終えると、ＣＰＵ１１１は処理をステップＳ８０２に進める。そして、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０１で表示された間引きモード設定画面２１００上の各項目に対して、入力装置１２０からの入力指示があったか否かを判断する。

ステップＳ８０２の判断の結果、入力装置１２０から間引きモード設定画面２１００の各項目に対する入力指示がなかったと判断した場合には（ステップＳ８０２／ＮＯ）、入力装置１２０からの入力指示があるまで、ステップＳ８０２で待機する。一方、ステップ８０２の判断の結果、入力装置１２０からの入力指示あったと判断した場合には（ステップＳ８０２／ＹＥＳ）、ステップＳ８０３に進む。

ステップＳ８０３に進むと、情報処理装置１１０のＣＰＵ１１１は、入力装置１２０からの入力指示に基づいて、選択された処理内容の判定処理を行う。このステップＳ８０３で判定される処理内容としては、「ダイナミック間引き」、「固定間引き」、「リニア間引き」である。なお、ここで挙げた処理内容は一例を示したものであり、その他の項目を間引きモード設定画面２１００に追加し、その項目に対応するその他の処理内容をステップＳ８０３で判定することも可能である。

続いて、ステップＳ８０４において、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０３で判定した処理内容が、「ダイナミック間引き」であるか否かを判断する。具体的には、「ダイナミック間引き」チェックボックス２１０３にチェックが入れられた状態で、ＯＫボタン２１０６が押下されたか否かを判定する。ステップＳ８０４の判断の結果、ステップＳ８０３で判定した処理内容が、「ダイナミック間引き」であると判断した場合には（ステップＳ８０４／ＹＥＳ）、処理をステップＳ８０５に進める。

ステップＳ８０５に進むと、情報処理装置１１０のＣＰＵ１１１は、間引きモード設定画面２１００の「ダイナミック間引き」チェックボックス２１０３にチェックがなされているので、外部メモリ１１６、又はＲＡＭ１１２に間引きモードとして「ダイナミック間引き」が記憶される（間引き形式設定手段）。図２４に示す通り、間引きモード設定テーブルＴ２４００に設定を記憶してもよい。間引きモード設定テーブルＴ２４００は、検査画像を表示する際の間引きの種別を格納する間引きモード２４０１、間引きモード２４０１で設定された間引きモードの設定値である設定値２４０２から構成される。ステップＳ８０５では、「ダイナミック間引き」が選択されているので、間引きモード２４０１に「ダイナミック間引き」を示す情報を格納する。また、「ダイナミック間引き」には設定値が存在しないため、設定値２４０２には何も格納しない。そして、ステップＳ８０５の処理が終了すると、ステップＳ８０２に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ８０４の判断の結果、ステップＳ８０３で判定した処理内容が、「ダイナミック間引き」ではないと判断した場合には（ステップＳ８０４／ＮＯ）、処理をステップＳ８０６に進める。

ステップＳ８０６では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０３で判定した処理内容が、「固定間引き」であるか否かを判断する。具体的には、「固定間引き」チェックボックス２１０１にチェックが入れられ、間引き数２１０２に数値が設定された状態で、ＯＫボタン２１０６が押下されたか否かを判定する。ステップＳ８０６の判断の結果、ステップＳ８０３で判定した処理内容が、「固定間引き」であると判断した場合には（ステップＳ８０６／ＹＥＳ）、ＣＰＵ１１１は処理をステップＳ８０７に進める。

ステップＳ８０７に進むと、情報処理装置１１０のＣＰＵ１１１は、間引きモード設定画面２１００の「固定間引き」チェックボックス２１０１にチェックがなされているので、外部メモリ１１６、又はＲＡＭ１１２に間引きモードとして「固定間引き」が記憶され、間引き数２１０２に入力された値を当該「固定間引き」の間引き数として記憶する（間引き形式設定手段）。図２４に示す通り、間引きモード設定テーブルＴ２４００に設定を記憶してもよい。ステップＳ８０７では、「固定間引き」が選択されているので、間引きモード２４０１に「固定間引き」を示す情報を格納する。また、「固定間引き」の設定値として、設定値２４０２には間引き数２１０２に入力された値を格納する。この間引き数２１０２に入力された値だけ検査結果の画像表示を間引く。そして、ステップＳ８０７の処理が終了すると、ステップＳ８０２に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ８０６の判断の結果、ステップＳ８０３で判定した処理内容が、「固定間引き」ではないと判断した場合には（ステップＳ８０６／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８０８に進める。

ステップＳ８０８では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０３で判定した処理内容が、「リニア間引き」であるか否かを判断する。具体的には、「リニア間引き」チェックボックス２１０４にチェックが入れられ、ステップ数２１０５に数値が設定された状態で、ＯＫボタン２１０６が押下されたか否かを判定する。ステップＳ８０８の判断の結果、ステップＳ８０３で判定した処理内容が、「リニア間引き」であると判断した場合には（ステップＳ８０８／ＹＥＳ）、ＣＰＵ１１１は処理をステップＳ８０９に進める。

ステップＳ８０９に進むと、情報処理装置１１０のＣＰＵ１１１は、間引きモード設定画面２１００の「リニア間引き」チェックボックス２１０１にチェックがなされているので、外部メモリ１１６、又はＲＡＭ１１２に間引きモードとして「リニア間引き」が記憶され、ステップ数２１０５に入力された値を当該「リニア間引き」の設定値として記憶する（間引き形式設定手段）。図２４に示す通り、間引きモード設定テーブルＴ２４００に設定を記憶してもよい。ステップＳ８０９では、「リニア間引き」が選択されているので、間引きモード２４０１に「リニア間引き」を示す情報を格納する。また、「リニア間引き」の設定値として、設定値２４０２にはステップ数２１０５に入力された値を格納する。このステップ数２１０５に入力された値だけ検査結果の画像表示を間引く基準を変化させる。そして、ステップＳ８０９の処理が終了すると、ステップＳ８０２に戻り、入力装置１２０から次の入力指示があるまで待機する。

一方、ステップＳ８０８の判断の結果、ステップＳ８０３で判定した処理内容が、「リニア間引き」ではないと判断した場合には（ステップＳ８０８／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ８１０に進める。

ステップＳ８１０では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０３で判定した処理内容が、「終了処理」であるか否かを判断する。ステップＳ８１０の判断の結果、ステップＳ８０３で判定した処理内容が、「終了処理」であると判断した場合には（ステップ８１０／ＹＥＳ）、本プログラムによる処理を終了する。

一方、ステップＳ８１０の判断の結果、ステップＳ８０３で判定した処理内容が、「終了処理」ではないと判断した場合には（ステップＳ８１０／ＮＯ）、処理をステップＳ８０２に進め、入力装置１２０から次の入力指示があるまで待機する。以上が、検査結果画像を表示する際の間引きモードの設定に関する環境設定処理である。

次に、図９を参照して、図７のステップＳ１０９のオンライン検査処理の詳細な手順について説明する。図９は、図７のステップＳ１０９における「オンライン検査処理」の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を入力装置１２０より受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、オンライン検査処理と、後述する検査スレッド処理（図１３参照）と、後述する検査結果表示処理（図１５参照）及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

まず、ステップＳ２０１において、情報処理装置１１０のＣＰＵ１１１は、オンライン検査画面１０００（図１０参照）をビデオコントローラ１１５ｂからディスプレイ装置１３０上に表示をし、ユーザからの操作を受け付ける。

図１０は、オンライン検査画面１０００の一例を示す模式図である。図１０に示すオンライン検査画面１０００には、ステップＳ１０７において構築された画像検査プログラムを実行する検査開始ボタン１００１、検査開始ボタン１００１の押下に伴って実行された画像検査プログラムの検査結果画像を表示する検査画像表示領域１００２から構成される。以上が、オンライン検査画面１０００の構成の一例の説明である。

ステップＳ２０２では、情報処理装置１１０のＣＰＵ１１１は、ユーザからの操作によって、検査開始ボタン１００１が押下されたか否かを判断する。検査開始ボタン１００１が押下されたと判断した場合には（ステップＳ２０２／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ２０３に進める。一方、ステップＳ２０２の判断処理で、検査開始ボタン１００１が押下されたと判断できない場合には（ステップＳ２０２／ＮＯ）、ステップＳ２０２で待機する。

ステップＳ２０３では、情報処理装置１１０のＣＰＵ１１１は、カメラ１４０から入力された画像を画像入力コントローラ１１５ｆから取り込み、ＲＡＭ１１２に記憶する。特に、本実施例では複数のカメラ１４０から画像を取り込む形態とするが、カメラ１４０は１つでもよい。尚、既に外部メモリ１１６に記憶された画像をＲＡＭ１１２に展開して用いてもよい。

ステップＳ２０４では、情報処理装置１１０のＣＰＵ１１１は、検査パラメータテーブル４８０を検索し、使用中フラグ１１０２が「ＯＦＦ」のレコードが存在するか否かを判断する。使用中フラグ１１０２が「ＯＦＦ」のレコードが存在すると判断した場合には（ステップＳ２０４／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ２０６に進める。一方、ステップＳ２０４の判断処理で、使用中フラグ１１０２が「ＯＦＦ」のレコードが存在すると判断できない場合には（ステップＳ２０４／ＮＯ）、ＣＰＵ１１１は、ステップＳ２０５に進める。

ステップＳ２０５では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１に格納されたレコードのうち、先頭のレコードの検査結果に「中断」を格納し、対応する検査スレッドを強制終了する。検査テーブル４８１には、後述するステップＳ２０６において、画像取込順にレコードが追加されるため、最も古い検査である先頭のレコードを削除する。これにより、ある検査が滞っていても、当該検査を強制的に終了させることで一連の画像検査の効率を向上させることができる。

ステップＳ２０６では、情報処理装置１１０のＣＰＵ１１１は、新規に検査スレッドを作成し、検査テーブル４８１に存在するレコードの末尾に新たなレコードを追加し、検査スレッド１２０１に検査スレッド名を格納する。検査スレッド名は、他の検査スレッド名と重複しなければ、どのような名称でもよい。

ステップＳ２０７では、情報処理装置１１０のＣＰＵ１１１は、検査パラメータテーブル４８０を検索し、使用中フラグ１１０２が「ＯＦＦ」のレコードが存在するか否かを判断する。使用中フラグ１１０２が「ＯＦＦ」のレコードが存在すると判断した場合には（ステップＳ２０７／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ２０８に進める。

ステップＳ２０８では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０７において検索された使用中フラグ１１０２に「ＯＮ」を格納する。

ステップＳ２０９では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成されたレコードの実行中フラグ１２０２に「ＯＮ」を格納する。

ステップＳ２１０では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成されたレコードの検査画像名１２０４に、ステップＳ２０３においてＲＡＭ１１２に記憶された画像の画像名を格納し、検査パラメータ１２０５に、ステップＳ２０８において「ＯＮ」を格納した使用中フラグ１１０２に対応する、ＮＯ１１０１を示す情報を格納する。本実施例では、「検査パラメータテーブル［ＮＯ］」という形式で格納するが、これ以外の表記方法でもよい。ステップＳ２１０の終了後、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２１１、及びステップＳ２１４の並列処理を行う。つまり、ＣＰＵ１１１は、ステップＳ２１１の処理完了を待たずとも、ステップＳ２１４の処理を実行することができるため、効率的な検査を行うことができる。

ステップＳ２１１では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成された検査スレッドを実行する検査スレッド処理を実行する。ステップＳ２１１の検査スレッド処理の詳細については、図１３を用いて後述する。

一方、ステップＳ２０７の判断処理で、使用中フラグ１１０２が「ＯＦＦ」のレコードが存在すると判断できない場合には（ステップＳ２０７／ＮＯ）、ＣＰＵ１１１は、ステップＳ２１２に進める。

ステップＳ２１２では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成されたレコードの実行中フラグ１２０２に「ＯＦＦ」を格納し、検査結果１２０３に「未実行」を格納する。これにより、検査漏れが発生した画像をカウントすることができる。

ステップＳ２１３では、情報処理装置１１０のＣＰＵ１１１は、ユーザからの操作によって取込停止の指示がなされたか否かを判断する。取込停止の指示は、事前に設定されたボタンの押下によるものでもよいし、その他の方法でもよい。取込停止の指示がなされたと判断した場合には（ステップＳ２１３／ＹＥＳ）、処理を終了し、ステップＳ１０９に処理を戻す。一方、ステップＳ２１３の判断処理で、取込停止の指示がなされたと判断できない場合には（ステップＳ２１３／ＮＯ）、ＣＰＵ１１１は、ステップＳ２０３に処理を戻す。これにより、取込停止がなされるまで、ステップＳ２０３乃至ステップＳ２１３の処理を繰り返す。

次に、図１３を参照して、図９のステップＳ２１１の検査スレッド処理の詳細な手順について説明する。図１３は、図９のステップＳ２１１における検査スレッド処理の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、前述したオンライン検査処理（図９参照）と、検査スレッド処理と、後述する検査結果表示処理（図１５参照）及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

ステップＳ３０１では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ１０７において構築された画像検査プログラムを実行し、ステップＳ２１０において設定された検査画像名１２０４に対応する画像を検査する（画像処理実行手段）。実行される画像検査プログラムは、オブジェクトコードテーブル４１４に記憶されたオブジェクトコードとして記憶されている。

ステップＳ３０２では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ３０１において実行された結果を検査結果テーブル４１８に記憶する。インデックス（Ｉｎｄｅｘ）１４０１には、処理を行ったモジュールのインデックス（Ｉｎｄｅｘ）６０１を格納し、識別ＩＤ１４０２には、モジュールごとに各処理を識別する番号を割振り、識別箇所１４０３には、ステップＳ３０１において検査された結果、識別した箇所を座標形式等で格納し、識別結果１４０４には、識別箇所１４０３の識別結果を格納し、検査画像名１４０５には、ステップＳ３０１において検査された画像の画像名を格納する。

ステップＳ３０３では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ３０１において検査された画像をＲＡＭ１１２から外部メモリ１１６に記憶する。但し、後述するステップＳ４０４において当該画像を表示する表示速度を考慮する場合、読み出し速度がより高速なＲＡＭ１１２に記憶したままでもよい。また、後述するステップＳ４０５において、外部メモリ１１６に記憶してもよい。この場合、ステップＳ３０３は不要である。

ステップＳ３０４では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成されたレコードの実行中フラグ１２０２に「ＯＦＦ」を格納する。

ステップＳ３０５では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０７において検索された使用中フラグ１１０２に「ＯＦＦ」を格納する。

ステップＳ３０６では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ２０６において作成されたレコードの検査結果１２０３に検査結果を格納する。画像の識別が成功した場合には、「ＯＫ」と格納し、失敗した場合には「ＮＧ」を格納する。尚、格納する情報はこれに限らない。このように、検査結果１２０３に画像検査の結果を格納することで、画像検査結果を集計させることができる。

次に、図１５を参照して、図１３の検査スレッド処理において検査された結果画像を表示する検査結果表示処理の詳細な手順について説明する。図１５は、検査結果表示処理の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、前述したオンライン検査処理（図９参照）と、前述した検査スレッド処理（図１３参照）、検査結果表示処理、及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

まず、ステップＳ４０１では、情報処理装置１１０のＣＰＵ１１１は、図２０のステップＳ８０５またはＳ８０７またはＳ８０９において、外部メモリ１１６、又はＲＡＭ１１２に記憶された間引きモードを取得する。間引きモード設定テーブルＴ２４００に記憶した場合には、間引きモード設定テーブルＴ２４００の間引きモード２４０１を参照し、格納されている情報を取得する。

ステップＳ４０２では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ４０１において取得した間引きモードが「ダイナミック間引き」であるか、「固定間引き」であるか、「リニア間引き」であるかを判定する。「ダイナミック間引き」であった場合には、処理をステップＳ４０３に進める。「固定間引き」であった場合には、処理をステップＳ４０４に進める。「リニア間引き」であった場合には、処理をステップＳ４０５に進める。

ステップＳ４０３では、情報処理装置１１０のＣＰＵ１１１は、「ダイナミック間引き」によって、検査結果画像の表示を間引きながら、図１３の検査スレッド処理において検査された結果画像を表示する処理を実行する。ステップＳ４０３のダイナミック間引き処理の詳細については、図１６を用いて後述する。

ステップＳ４０４では、情報処理装置１１０のＣＰＵ１１１は、「固定間引き」によって、検査結果画像の表示を間引きながら、図１３の検査スレッド処理において検査された結果画像を表示する処理を実行する。ステップＳ４０４の固定間引き処理の詳細については、図１８を用いて後述する。

ステップＳ４０５では、情報処理装置１１０のＣＰＵ１１１は、「リニア間引き」によって、検査結果画像の表示を間引きながら、図１３の検査スレッド処理において検査された結果画像を表示する処理を実行する。ステップＳ４０５のリニア間引き処理の詳細については、図１９を用いて後述する。

次に、図１６を参照して、図１３の検査スレッド処理において検査された結果画像を表示する検査結果表示処理のうち、ダイナミック間引きによって表示する検査結果画像を間引く詳細な手順について説明する。図１６は、ダイナミック間引き処理の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、前述したオンライン検査処理（図９参照）と、前述した検査スレッド処理（図１３参照）と、検査結果表示処理、及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

ステップＳ５０１では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１に格納されたレコードのうち、先頭のレコードを参照する。

ステップＳ５０２では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ５０１において参照されたレコードの実行中フラグ１２０２が「ＯＦＦ」であるか否かを判断する。実行中フラグ１２０２が「ＯＦＦ」であると判断した場合には（ステップＳ５０２／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ５０３に進める。一方、ステップＳ５０２の判断処理で、実行中フラグ１２０２が「ＯＦＦ」であると判断できない場合には（ステップＳ５０２／ＮＯ）、ＣＰＵ１１１は、ステップＳ５０１に処理を戻す。これにより、検査の終了していない検査スレッドの検査結果表示を防ぐことができる。

ステップＳ５０３では、情報処理装置１１０のＣＰＵ１１１は、現在参照しているレコードが検査テーブル４８１の先頭のレコードか否かを判断する。先頭のレコードであると判断した場合には（ステップＳ５０３／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ５０４に進める。つまり、検査テーブル４８１の先頭レコードを参照している場合（検査スレッド１において処理された画像）のみ、後述するステップＳ４０４の検査を行い、検査結果の画像を表示させる。

ステップＳ５０４では、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８と検査テーブル４８１から、ステップＳ３０１の検査結果をビデオコントローラ１１５ｂからディスプレイ装置１３０上の検査画像表示領域１００２に表示する（表示手段）。尚、本実施例では、ステップＳ１０９におけるオンライン検査中に検査結果画像の表示を行うものである。しかしながら、ステップＳ１０７におけるプロジェクト構築処理で構築された画像処理フローの動作を確認すべく、処理結果表示領域２２０８に表示させるような形態でもよい。

具体的には、まず現在参照されている先頭のレコードに格納された検査画像名１２０４と一致する画像を外部メモリ１１６、又はＲＡＭ１１２から取得する。また、検査画像名１２０４と一致する検査画像名１４０５に対応するレコードを、検査結果テーブル４１８からすべて取得し、ＲＡＭ１１２に記憶する。取得したレコードの識別箇所１４０３を用いて、取得した画像上に識別箇所を表示させ、識別結果１４０４にデータが格納されている場合は、識別箇所１４０３に対応する識別結果１４０４を表示させる。例えば、図１７に示す検査結果画面１７００では、マッチング箇所１７０２の部分は、識別箇所を識別可能に表示しており、文字認識箇所１７０１には、識別結果１４０４も補足表示させる。

図１７は、検査結果画面１７００の一例を示す模式図である。図１７に示す検査結果画面１７００には、文字認識をした結果を示す文字認識箇所１７０１と、既定の画像と比較した結果を示すマッチング箇所１７０２から構成される。以上が、検査結果画面１７００の構成の一例の説明である。

一方、ステップＳ５０３の判断処理で、先頭のレコードであると判断できない場合には（ステップＳ５０３／ＮＯ）、ＣＰＵ１１１は、ステップＳ５０５に進める。つまり、現在参照しているレコードが検査テーブル４８１の先頭レコードでないということは、検査テーブル４８１に複数のレコードが蓄積されている。よって、カメラ１４０から送信された画像の処理が１スレッドでは間に合わず、マルチスレッドで並列処理していると判定できるため、ステップＳ４０４においては結果画像の表示を行わない（表示を間引く）。尚、本実施例では検査テーブル４８１に複数レコードが蓄積されていた場合に、先頭レコード以外の検査結果の画像表示を間引くが、検査パラメータテーブル４８０の使用中フラグ１１０２に「ＯＮ」が一定数以上存在した場合や、ＣＰＵ１１１等の負荷を計測し、一定以上負荷がかかった場合に画像表示を間引くようにしてもよい。検査結果の画像表示を間引く判断基準は、これに限らない。また、間引く枚数は何枚でもよく、ユーザによって設定可能とする。これにより、結果画像を表示する負荷を軽減し、並列処理で動作している画像検査を優先させることができる。

ステップＳ５０５では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ３０１において画像検査された結果に応じて、ユーザにより設定された各種処理を行う。具体的には、検査結果１２０３に「ＮＧ」が格納されていた場合には、生産ラインを流れる当該画像の対象物を生産ラインから排除する外部装置制御や、ステップＳ３０３において検査画像を記憶していなければ、外部メモリ１１６に記憶する検査画像記憶や、検査結果の各種情報送信等をおこなう。

尚、ステップＳ５０５において検査結果の情報を外部装置に送信することで、画像検査順に検査結果を送信することもできる。つまり、検査テーブル４８１に格納された各レコードの検査スレッド処理（図１３参照）は並列で動作しており、画像によって検査速度が異なるため、後から検査が開始された検査スレッドが、先に終了してしまうことがある。よって、検査スレッド処理において、検査結果の情報を外部装置へ送信する場合、画像の検査順と検査結果の送信順に不整合が生じる可能性がある。しかし、検査結果表示処理において処理されることで、このような不整合を防ぐことが可能となる。尚、外部制御処理等、不整合が発生すると不具合が発生する処理の場合には、同様の効果がある。

ステップＳ５０６では、情報処理装置１１０のＣＰＵ１１１は、現在参照しているレコードを検査テーブル４８１から削除する。

ステップＳ５０７では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１にレコードが存在するか否かを判断する。レコードが存在すると判断した場合には（ステップＳ５０７／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ５０８に進める。

ステップＳ５０８では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ５０６において削除したレコードの次のレコードを参照し、ステップＳ５０２に進める。これにより、検査テーブル４８１からレコードがなくなるまで、ステップＳ５０２乃至ステップＳ５０７を繰り返すことができる。

一方、ステップＳ５０７の判断処理で、レコードが存在すると判断できない場合には（ステップＳ５０７／ＮＯ）、ＣＰＵ１１１は、ステップＳ５０９に進める。

ステップＳ５０９では、情報処理装置１１０のＣＰＵ１１１は、オンライン検査処理（図９参照）が終了しているか否かを判断する。オンライン検査処理と、検査結果表示処理は並列して動作しているので、オンライン検査処理が処理中か否かを参照してもよいし、他の形式でもよい。オンライン検査処理が終了していると判断した場合には（ステップＳ５０９／ＹＥＳ）、ＣＰＵ１１１は、処理を終了する。一方、ステップＳ５０９の判断処理で、オンライン検査処理が終了していると判断できない場合には（ステップＳ５０９／ＮＯ）、ＣＰＵ１１１は、ステップＳ５０１に進める。これにより、オンライン検査処理が動作し続ける限り、画像の検査結果を表示させることができる。

次に、図１８を参照して、図１３の検査スレッド処理において検査された結果画像を表示する検査結果表示処理のうち、固定間引きによって表示する検査結果画像を間引く詳細な手順について説明する。図１８は、固定間引き処理の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、前述したオンライン検査処理（図９参照）と、前述した検査スレッド処理（図１３参照）と、検査結果表示処理、及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

ステップＳ６０１では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ８０７において記憶された間引き数２１０２を外部メモリ１１６、又はＲＡＭ１１２から取得して、表示間引きする間隔を満たしているかどうかを判断する間引き変数に格納する。間引きモード設定テーブルＴ２４００に格納した場合には、設定値２４０２を参照するのみでよい。当該間引き変数または設定値２４０２の値の数だけ、検査結果画像の表示を間引く。

ステップＳ６０２では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタを初期化（０クリア）する。表示間引きカウンタは、検査結果画像の表示または非表示した数をかぞえる変数であり、本実施例では表示間引きカウンタが「０」の時に検査結果画像の表示を行い、それ以外の場合には表示させない（表示を間引く）。

ステップＳ６０３では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１に格納されたレコードのうち、いずれかのレコードを参照する。レコードの参照順は特に問わない。

ステップＳ６０４では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１にレコードが存在するか否かを判断する。ステップＳ６０３において検査テーブル４８１のレコードが取得できなかった場合の対応である。レコードが存在すると判断した場合には（ステップＳ６０４／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ６０５に進める。一方、ステップＳ６０４の判断処理で、レコードが存在すると判断できない場合には（ステップＳ６０４／ＮＯ）、画像処理が終了している可能性があるため、情報処理装置１１０のＣＰＵ１１１は、処理をステップＳ６１２に進める。

ステップＳ６０５では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ６０３において参照されたレコードの実行中フラグ１２０２が「ＯＦＦ」であるか否かを判断する。実行中フラグ１２０２が「ＯＦＦ」であると判断した場合には（ステップＳ６０５／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ６０６に進める。一方、ステップＳ６０５の判断処理で、実行中フラグ１２０２が「ＯＦＦ」であると判断できない場合には（ステップＳ５０５／ＮＯ）、ＣＰＵ１１１は、ステップＳ６０３に処理を戻す。これにより、検査の終了していない検査スレッドの検査結果表示を防ぐことができる。ステップＳ６０３に処理を戻した場合、ステップＳ６０３において取得するレコードは実行中フラグ１２０２が「ＯＮ」のものを優先的に取得するような仕組みにしてもよい。

ステップＳ６０６では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタが「０」であるか否かを判断する。表示間引きカウンタが「０」の場合には（ステップＳ６０６／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ６０７に進める。これにより、表示間引きカウンタが「０」である場合のみ、後述するステップＳ６０７において検査結果画像を表示させることができる。尚、本実施例では表示間引きカウンタが「０」である場合にのみ検査結果の画像表示を行い、それ以外の場合には間引くが、検査パラメータテーブル４８０の使用中フラグ１１０２に「ＯＮ」が一定数以上存在した場合や、ＣPU等の負荷を計測し、一定以上負荷がかかった場合に画像表示を間引くようにしてもよい。検査結果の画像表示を間引く判断基準は、これに限らない。

ステップＳ６０７では、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８と検査テーブル４８１から、ステップＳ３０１の検査結果をビデオコントローラ１１５ｂからディスプレイ装置１３０上の検査画像表示領域１００２に表示する（表示手段）。尚、本実施例では、ステップＳ１０９におけるオンライン検査中に検査結果画像の表示を行うものである。しかしながら、ステップＳ１０７におけるプロジェクト構築処理で構築された画像処理フローの動作を確認すべく、処理結果表示領域２２０８に表示させるような形態でもよい。

具体的には、まず現在参照されている先頭のレコードに格納された検査画像名１２０４と一致する画像を外部メモリ１１６、又はＲＡＭ１１２から取得する。また、検査画像名１２０４と一致する検査画像名１４０５に対応するレコードを、検査結果テーブル４１８からすべて取得し、ＲＡＭ１１２に記憶する。取得したレコードの識別箇所１４０３を用いて、取得した画像上に識別箇所を表示させ、識別結果１４０４にデータが格納されている場合は、識別箇所１４０３に対応する識別結果１４０４を表示させる。例えば、図１７に示す検査結果画面１７００では、マッチング箇所１７０２の部分は、識別箇所を識別可能に表示しており、文字認識箇所１７０１には、識別結果１４０４も補足表示させる。

一方、表示間引きカウンタが「０」以外の場合には（ステップＳ６０６／ＮＯ）、ＣＰＵ１１１は、ステップＳ６０７における表示を行わずに、ステップＳ６０８に進める。つまり、表示間引きカウンタは「０」の時のみ表示し、それ以外の数値の場合は表示を行わない。

ステップＳ６０８では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ３０１において画像検査された結果に応じて、ユーザにより設定された各種処理を行う。具体的には、検査結果１２０３に「ＮＧ」が格納されていた場合には、生産ラインを流れる当該画像の対象物を生産ラインから排除する外部装置制御や、ステップＳ３０３において検査画像を記憶していなければ、外部メモリ１１６に記憶する検査画像記憶や、検査結果の各種情報送信等をおこなう。

尚、ステップＳ６０８において検査結果の情報を外部装置に送信することで、画像検査順に検査結果を送信することもできる。つまり、検査テーブル４８１に格納された各レコードの検査スレッド処理（図１３参照）は並列で動作しており、画像によって検査速度が異なるため、後から検査が開始された検査スレッドが、先に終了してしまうことがある。よって、検査スレッド処理において、検査結果の情報を外部装置へ送信する場合、画像の検査順と検査結果の送信順に不整合が生じる可能性がある。しかし、本一連の処理において処理されることで、このような不整合を防ぐことが可能となる。尚、外部制御処理等、不整合が発生すると不具合が発生する処理の場合には、同様の効果がある。

ステップＳ６０９では、情報処理装置１１０のＣＰＵ１１１は、現在参照しているレコードを検査テーブル４８１から削除する。

ステップＳ６１０では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタをインクリメントする。具体的には、表示間引きカウンタに格納された数値に対して「１」を加算する。

ステップＳ６１１では、情報処理装置１１０のＣＰＵ１１１は、前述のステップＳ６０１で設定した間引き数と、Ｓ６１０においてインクリメントされた表示間引きカウンタとを比較し、表示間引きカウンタが間引き数以下であるか否かを判断する。表示間引きカウンタが間引き数以下であると判断した場合には（ステップＳ６１１／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ６０３に進める。

一方、ステップＳ６１１の判断処理で、表示間引きカウンタが間引き数以上の場合には
（ステップＳ６１１／ＮＯ）、ＣＰＵ１１１は、ステップＳ６１２に進める。

ステップＳ６１２では、情報処理装置１１０のＣＰＵ１１１は、オンライン検査処理（図９参照）が終了しているか否かを判断する。オンライン検査処理と、本一連の処理は並列して動作しているので、オンライン検査処理が処理中か否かを参照してもよいし、他の形式でもよい。オンライン検査処理が終了していると判断した場合には（ステップＳ６１２／ＹＥＳ）、ＣＰＵ１１１は、処理を終了する。一方、ステップＳ６１２の判断処理で、オンライン検査処理が終了していると判断できない場合には（ステップＳ６１２／ＮＯ）、ＣＰＵ１１１は、ステップＳ６０２に進める。これにより、オンライン検査処理が動作し続ける限り、画像の検査結果を表示させることができる。また、ステップＳ６０２に戻すことにより、表示間引きカウンタが初期化されるので、ステップＳ６０６の判定手段において表示間引きカウンタが「０」であると判定される。つまり、ステップＳ６０７において検査結果の表示を行う。

このように、間引き数を設定しておき、表示間引きカウンタが「０」である場合のみ、検査結果の表示を行い、それ以外の場合には検査結果の表示を間引く。また、表示間引きカウンタはステップＳ６１０においてインクリメントされ、ステップＳ６１１において間引き数と比較された後、画像処理が停止していなければ、ステップＳ６０２において再び表示間引きカウンタが「０」に初期化される。よって、間引き数として設定された数値のうち、表示間引きカウンタが「０」のときに表示し、「１」から「間引き数」までの数値のときには表示しない。つまり、複数の画像検査を行い、情報処理装置の負荷が高くなった場合に、画像検査後の結果画像を自動的に間引き、結果画像の表示よりも画像検査を優先できる。また、画像検査を優先させながらも、一定間隔での表示が実現できる。以上が、「固定間引き処理」の説明である。

次に、図１９を参照して、図１３の検査スレッド処理において検査された結果画像を表示する検査結果表示処理のうち、リニア間引きによって表示する検査結果画像を間引く詳細な手順について説明する。図１９は、リニア間引き処理の詳細な処理手順の一例を示すフローチャートである。本処理をＣＰＵ１１１に実行させるためのプログラムは外部メモリ１１６に記憶されており、本処理の実行要求を受け付けた場合に、ＣＰＵ１１１は、当該プログラムをＲＡＭ１１２にロードし、ロードしたプログラムによる制御に従って本処理を実行することになる。尚、本実施例では、前述したオンライン検査処理（図９参照）と、前述した検査スレッド処理（図１３参照）と、検査結果表示処理、及び、検査結果表示処理において選択された各間引きモードは、マルチスレッド処理により、ＣＰＵ１１１において並列して動作しているものとする。

ステップＳ７０１では、情報処理装置１１０のＣＰＵ１１１は、表示間引きする間隔を満たしているかどうかを判断する変数である間引き数を初期化（０クリア）する。間引き数は前述した固定間引き処理のように固定ではなく、変動する。つまり、ＣＰＵ１１１の負荷に応じて間引き数を変更させるためである。

ステップＳ７０２では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタを初期化（０クリア）する。表示間引きカウンタは、前述した固定間引き処理の表示間引きカウンタと同様の役割である。

ステップＳ７０３では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１に格納されたレコードのうち、いずれかのレコードを参照する。レコードの参照順は特に問わない。

ステップＳ７０４では、情報処理装置１１０のＣＰＵ１１１は、検査テーブル４８１にレコードが存在するか否かを判断する。ステップＳ７０３において検査テーブル４８１のレコードが取得できなかった場合の対応である。レコードが存在すると判断した場合には（ステップＳ７０４／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７０５に進める。一方、ステップＳ７０４の判断処理で、レコードが存在すると判断できない場合には（ステップＳ７０４／ＮＯ）、画像処理が終了している可能性があるため、情報処理装置１１０のＣＰＵ１１１は、処理をステップＳ７１８に進める。

ステップＳ７０５では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ７０３において参照されたレコードの実行中フラグ１２０２が「ＯＦＦ」であるか否かを判断する。実行中フラグ１２０２が「ＯＦＦ」であると判断した場合には（ステップＳ７０５／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７０６に進める。一方、ステップＳ７０５の判断処理で、実行中フラグ１２０２が「ＯＦＦ」であると判断できない場合には（ステップＳ７０５／ＮＯ）、ＣＰＵ１１１は、ステップＳ７０３に処理を戻す。これにより、検査の終了していない検査スレッドの検査結果表示を防ぐことができる。ステップＳ７０３に処理を戻した場合、ステップＳ７０３において取得するレコードは実行中フラグ１２０２が「ＯＮ」のものを優先的に取得するような仕組みにしてもよい。

ステップＳ７０６では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタが「０」であるか否かを判断する。表示間引きカウンタが「０」の場合には（ステップＳ７０６／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７０７に進める。これにより、表示間引きカウンタが「０」である場合のみ、後述するステップＳ７０７において検査結果画像を表示させることができる。尚、本実施例では表示間引きカウンタが「０」である場合にのみ検査結果の画像表示を行い、それ以外の場合には間引くが、検査パラメータテーブル４８０の使用中フラグ１１０２に「ＯＮ」が一定数以上存在した場合や、ＣPU等の負荷を計測し、一定以上負荷がかかった場合に画像表示を間引くようにしてもよい。検査結果の画像表示を間引く判断基準は、これに限らない。

ステップＳ７０７では、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８と検査テーブル４８１から、ステップＳ３０１の検査結果をビデオコントローラ１１５ｂからディスプレイ装置１３０上の検査画像表示領域１００２に表示する（表示手段）。尚、本実施例では、ステップＳ１０９におけるオンライン検査中に検査結果画像の表示を行うものである。しかしながら、ステップＳ１０７におけるプロジェクト構築処理で構築された画像処理フローの動作を確認すべく、処理結果表示領域２２０８に表示させるような形態でもよい。

具体的には、まず現在参照されている先頭のレコードに格納された検査画像名１２０４と一致する画像を外部メモリ１１６、又はＲＡＭ１１２から取得する。また、検査画像名１２０４と一致する検査画像名１４０５に対応するレコードを、検査結果テーブル４１８からすべて取得し、ＲＡＭ１１２に記憶する。取得したレコードの識別箇所１４０３を用いて、取得した画像上に識別箇所を表示させ、識別結果１４０４にデータが格納されている場合は、識別箇所１４０３に対応する識別結果１４０４を表示させる。例えば、図１７に示す検査結果画面１７００では、マッチング箇所１７０２の部分は、識別箇所を識別可能に表示しており、文字認識箇所１７０１には、識別結果１４０４も補足表示させる。

一方、ステップＳ７０６の判断処理で、表示間引きカウンタが「０」以外の場合には（ステップＳ７０６／ＮＯ）、ＣＰＵ１１１は、ステップＳ７１４に進める。

ステップＳ７０８では、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８にあるレコード数が間引き数以下の場合には（ステップＳ７０８／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７０９に進める。つまり、検査結果テーブル４１８に間引き数以下のレコードが格納されているということは、ＣＰＵ１１１の負荷が低く、間引き数を減らしてもよいということである。

ステップ７０９では、情報処理装置１１０のＣＰＵ１１１は、間引き数をデクリメント（減少）する。これにより、ＣＰＵ負荷が低い場合には、間引きする間隔が短くすることができる。デクリメントする数は、ステップＳ８０９において設定されたステップ数２１０５を取得して、ステップＳ２１０５に入力された値分、デクリメントする。間引きモード設定テーブルＴ２４００に格納した場合には、設定値２４０２を参照して、デクリメントする値を決定する。本実施例ではデクリメントする値はユーザから指定された値を使用するが、あらかじめアプリケーションに設定されてある形態でもよい。

ステップＳ７１０では、情報処理装置１１０のＣＰＵ１１１は、間引き数が「０」以下か否かを判定する。間引き数が「０」以下である場合には（ステップＳ７１０／ＹＥＳ）、ステップＳ７１１において間引き数を初期化（０を設定）する。つまり、間引き数がマイナスになってしまった場合のエラー処理である。一方、間引き数が「０」以外の場合には（ステップＳ７１０／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ７１２に進める。

一方、情報処理装置１１０のＣＰＵ１１１は、ステップＳ７０８の判定の結果、検査結果テーブル４１８にあるレコード数が間引き数以上の場合には（ステップＳ７０８／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ７１２に進める。

ステップＳ７１２では、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８にあるレコード数が間引き数以上の場合には（ステップＳ７０８／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７１３に進める。つまり、検査結果テーブル４１８に間引き数以上のレコードが格納されているということは、ＣＰＵ１１１の負荷が高く、間引き数を増やさなければいけないということである。

ステップ７１３では、情報処理装置１１０のＣＰＵ１１１は、間引き数をインクリメント（増加）する。これにより、ＣＰＵ負荷が高い場合には、間引きする間隔が長くすることができる。インクリメントする数は、ステップＳ８０９において設定されたステップ数２１０５を取得して、ステップＳ２１０５に入力された値分、インクリメントする。間引きモード設定テーブルＴ２４００に格納した場合には、設定値２４０２を参照して、インクリメントする値を決定する。本実施例ではインクリメントする値はユーザから指定された値を使用するが、あらかじめアプリケーションに設定されてある形態でもよい。

一方、情報処理装置１１０のＣＰＵ１１１は、検査結果テーブル４１８にあるレコード数が間引き数以下の場合には（ステップＳ７１２／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ７１４に進める。

ステップＳ７１４では、情報処理装置１１０のＣＰＵ１１１は、ステップＳ３０１において画像検査された結果に応じて、ユーザにより設定された各種処理を行う。具体的には、検査結果１２０３に「ＮＧ」が格納されていた場合には、生産ラインを流れる当該画像の対象物を生産ラインから排除する外部装置制御や、ステップＳ３０３において検査画像を記憶していなければ、外部メモリ１１６に記憶する検査画像記憶や、検査結果の各種情報送信等をおこなう。

尚、ステップＳ７１４において検査結果の情報を外部装置に送信することで、画像検査順に検査結果を送信することもできる。つまり、検査テーブル４８１に格納された各レコードの検査スレッド処理（図１３参照）は並列で動作しており、画像によって検査速度が異なるため、後から検査が開始された検査スレッドが、先に終了してしまうことがある。よって、検査スレッド処理において、検査結果の情報を外部装置へ送信する場合、画像の検査順と検査結果の送信順に不整合が生じる可能性がある。しかし、検査結果表示処理において処理されることで、このような不整合を防ぐことが可能となる。尚、外部制御処理等、不整合が発生すると不具合が発生する処理の場合には、同様の効果がある。

ステップＳ７１５では、情報処理装置１１０のＣＰＵ１１１は、現在参照しているレコードを検査テーブル４８１から削除する。

ステップ７１６では、情報処理装置１１０のＣＰＵ１１１は、表示間引きカウンタをインクリメントする。前述したデクリメントと同様、インクリメントする数は、ステップＳ８０９において設定されたステップ数２１０５を取得して、ステップＳ２１０５に入力された値分、インクリメントする。間引きモード設定テーブルＴ２４００に格納した場合には、設定値２４０２を参照して、インクリメントする値を決定する。本実施例ではインクリメントする値はユーザから指定された値を使用するが、あらかじめアプリケーションに設定されてある形態でもよい。

ステップＳ７１７では、情報処理装置１１０のＣＰＵ１１１は、前述のステップＳ７０９またはステップＳ７１１またはステップＳ７１３において変更された間引き数と、Ｓ７１６においてインクリメントされた表示間引きカウンタとを比較し、表示間引きカウンタが間引き数以下であるか否かを判断する。表示間引きカウンタが間引き数以下であると判断した場合には（ステップＳ７１７／ＹＥＳ）、ＣＰＵ１１１は、処理をステップＳ７０３に進める。

一方、ステップＳ７１７の判断処理で、表示間引きカウンタが間引き数以上の場合には
（ステップＳ７１７／ＮＯ）、ＣＰＵ１１１は、処理をステップＳ７１８に進める。

ステップＳ７１８では、情報処理装置１１０のＣＰＵ１１１は、オンライン検査処理（図９参照）が終了しているか否かを判断する。オンライン検査処理と、検査結果表示処理は並列して動作しているので、オンライン検査処理が処理中か否かを参照してもよいし、他の形式でもよい。オンライン検査処理が終了していると判断した場合には（ステップＳ７１８／ＹＥＳ）、ＣＰＵ１１１は、処理を終了する。一方、ステップＳ７１８の判断処理で、オンライン検査処理が終了していると判断できない場合には（ステップＳ７１８／ＮＯ）、ＣＰＵ１１１は、ステップＳ７０２に進める。これにより、オンライン検査処理が動作し続ける限り、画像の検査結果を表示させることができる。

このように、表示間引きカウンタが「０」である場合のみ、検査結果の表示を行い、それ以外の場合には検査結果の表示を間引く。また、表示間引きカウンタはステップＳ７１６においてインクリメントされ、ステップＳ７１７において間引き数と比較された後、画像処理が停止していなければ、ステップＳ７０２において再び表示間引きカウンタが「０」に初期化される。更に、検査テーブル４８１にあるレコード数が間引き数以上か以下かを判定し、それに応じて間引き数を変更することで、ＣＰＵ１１１の負荷に応じて徐々に間引き数を増減させることができる。つまり、複数の画像検査を行い、情報処理装置の負荷が高くなった場合に、画像検査後の結果画像を自動的に間引き、結果画像の表示よりも画像検査を優先できる。また、画像検査を優先させながらも、安定した表示が実現できる。以上が、「リニア間引き処理」の説明である。

以上説明したように、本実施形態によれば、ユーザから指定された間引きモードに従って、検査結果の画像を間引くことができるので、画像検査結果を監視する作業員の有無に応じた柔軟な間引き処理を提供する仕組みを実現し得ることが可能となる。

以上、実施形態例を詳述したが、本発明は、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。

また、本発明におけるプログラムは、各処理方法をコンピュータが実行可能（読み取り可能）なプログラムであり、本発明の記憶媒体は、各処理方法をコンピュータが実行可能なプログラムが記憶されている。

なお、本発明におけるプログラムは、各装置の処理方法ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読取り実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テープ，不揮発性のメモリカード，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。

また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ，データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 画像検査システム
１１０ 情報処理装置
１２０ 入力装置
１３０ ディスプレイ装置
１４０ カメラ
１５０ 照明装置コントローラ
１６０ 照明装置
１７０ 外部機器コントローラ
１８０ ステージ
１８１ 検査対象
１９０ ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ ＲＯＭ
１１４ システムバス
１１５ａ 入力コントローラ
１１５ｂ ビデオコントローラ
１１５ｃ メモリコントローラ
１１５ｄ、１１５ｅ、１１５ｇ 通信Ｉ／Ｆコントローラ
１１５ｆ 画像入力コントローラ
１１６ 外部メモリ

Claims (9)

1. 電子画像データに対して画像処理を実行し、前記画像処理が実行された電子画像データの表示を行う情報処理装置であって、
   前記電子画像データに対して、所定の画像処理を実行する画像処理実行手段と、
   前記画像処理実行手段によって画像処理が実行された電子画像データを記憶する電子画像データ記憶手段と、
   前記画像処理実行手段によって画像処理が実行された電子画像データを前記電子画像データ記憶手段から取得して、前記画像処理実行手段の実行中に並列処理により表示する表示手段と、
   並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データのうち、少なくとも１以上の前記電子画像データを間引いて表示する複数の間引き形式のうち、ユーザから選択された間引き形式を設定する間引き形式設定手段とを備え、
   前記表示手段は、前記間引き形式設定手段によって設定された間引き形式に従って、並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データを間引いて表示することを特徴とする情報処理装置。
2. 前記間引き形式は、並列処理することにより前記電子画像データ記憶手段に記憶された電子画像データの量に従って、前記電子画像データを間引く量を決定するリニア間引き形式を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記間引き形式は、並列処理することにより前記電子画像データ記憶手段に複数の電子画像データが記憶されている場合に、少なくとも1以上の前記電子画像データを間引いて表示するダイナミック間引き形式を含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記間引き形式は、一定の間隔で前記電子画像データ記憶手段に記憶された電子画像データを間引いて表示する固定間引き形式を含むことを特徴とする請求項１乃至３のいずれか1項に記載の情報処理装置。
5. 前記リニア間引き形式は、前記電子画像データ記憶手段に記憶された電子画像データの量が、前記電子画像データを間引く量以下であった場合に、前記電子画像データを間引く量を減少させ、前記電子画像データを間引く量以上であった場合に、前記電子画像データを間引く量を増加させることを特徴とする請求項２に記載の情報処理装置。
6. 前記リニア間引き形式は、前記電子画像データを間引く量が負の数になった場合に０に設定することを特徴とする請求項２または５に記載の情報処理装置。
7. 画像処理実行ステップによって画像処理が実行された電子画像データを記憶する電子画像データ記憶手段を備え、前記電子画像データに対して画像処理を実行し、前記画像処理が実行された電子画像データの表示を行う情報処理装置の制御方法であって、
   前記電子画像データに対して、所定の画像処理を実行する画像処理実行ステップと、
   前記画像処理実行ステップによって画像処理が実行された電子画像データを前記電子画像データ記憶手段から取得して、前記画像処理実行ステップの実行中に並列処理により表示する表示ステップと、
   並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データのうち、少なくとも１以上の前記電子画像データを間引いて表示する複数の間引き形式のうち、ユーザから選択された間引き形式を設定する間引き形式設定ステップとを実行し、
   前記表示ステップは、前記間引き形式設定ステップによって設定された間引き形式に従って、並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データを間引いて表示することを特徴とする情報処理装置の制御方法。
8. 画像処理実行手段によって画像処理が実行された電子画像データを記憶する電子画像データ記憶手段を備え、前記電子画像データに対して画像処理を実行し、前記画像処理が実行された電子画像データの表示を行う情報処理装置の制御方法をコンピュータに実行させるためのコンピュータに読み取り実行可能なプログラムであって、
   前記電子画像データに対して、所定の画像処理を実行する画像処理実行手段と、
   前記画像処理実行手段によって画像処理が実行された電子画像データを前記電子画像データ記憶手段から取得して、前記画像処理実行手段の実行中に並列処理により表示する表示手段と、
   並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データのうち、少なくとも１以上の前記電子画像データを間引いて表示する複数の間引き形式のうち、ユーザから選択された間引き形式を設定する間引き形式設定手段として機能させ、
   前記表示手段は、前記間引き形式設定手段によって設定された間引き形式に従って、並列処理することにより前記電子画像データ記憶手段に複数記憶された電子画像データを間引いて表示することを特徴とするコンピュータに読み取り実行可能なプログラム。
9. 請求項７に記載のプログラムを格納することを特徴とするコンピュータで読み取り可能な記録媒体。

Images