JP2009246803A - 画像認識装置及びコンピュータプログラム - Google Patents

Abstract

【課題】画像認識処理装置の動作に異常が生じた場合に、異常部分を容易に特定することを可能とする。
【解決手段】信号処理部１３１、画像処理部１３２、認識アルゴリズム処理部１３３による一連の処理を通じて画像中の被写体を認識する画像認識処理装置（画像認識処理部１２）は、自己検査機能を備える。自己検査のため、画像認識処理装置は、評価用画像（撮像データ）を取得する手段と、信号処理部１３１、画像処理部１３２、認識アルゴリズム処理部１３３のうち、「非実行」にする処理部を選択する手段（プラットフォーム部１３４）と、処理部１３１〜１３３のうち、動作モードが「非実行」に設定された処理部以外の処理部により、上記評価用画像について、各処理部の処理を実行させる手段（プラットフォーム部１３４）と、を備えた構成とする。
【選択図】図２

Description

この発明は、例えばカメラ等により撮像された画像から、人物や文字などの対象物を認識する画像認識装置及びコンピュータプログラムに関する。

従来、画像認識装置の認識性能を向上させるために、特許文献１〜３に記載されるように、種々の提案がなされている。
特開２００８−１７２５９号公報 特開２００８−１５８６０号公報 特開平１１−８５９８８号公報

しかし、特許文献１〜３に記載される装置であっても、当該装置自体又はその部品の故障や劣化等に起因して、当該装置の動作に異常が生じた場合には、誤った認識結果が出力されてしまうおそれがある。

この発明は、上記実情に鑑みてなされたものであり、画像認識処理装置の動作に異常が生じた場合に、その異常部分を容易に特定することができる画像認識装置及びコンピュータプログラムを提供することを目的とする。
また、この発明は、画像認識処理装置の異常の有無及び異常部分の特定を容易にすることを他の目的とする。

上記目的を達成するため、この発明の画像認識装置は、
複数の処理手段を有し、これら複数の処理手段による一連の処理を含む認識処理により、画像中の被写体を認識する認識手段と、
認識対象画像の画像データと評価用のデータとを選択的に入力し、前記認識手段に供給する入力手段と、
動作モードに応じて、前記認識手段及び前記入力手段を制御する制御手段と、
を備え、
前記制御手段は、
被写体を認識する認識動作モードにおいて、前記入力手段に前記認識対象画像の画像データを選択させ、前記認識手段に前記認識処理を実行させて、認識対象画像中の被写体を認識させ、
自己をテストするテストモードにおいて、前記入力手段に前記認識対象画像の画像データ又は評価用のデータを選択させ、前記複数の処理手段による一連の処理を各処理進行度まで実行させることにより、処理進行度の異なる複数の処理データを出力させる、
ことを特徴とする。

例えば、前記複数の処理手段は、それぞれ、入力データをそのまま出力するスルーモードを備え、前記制御手段は、前記スルーモードに設定する処理手段を選択的に指定する選択指定手段を備える。

例えば、前記制御手段は、前記複数の処理手段の出力を外部に選択的に出力する選択出力手段を備える。

例えば、入力手段に前記認識対象画像の画像データを供給する撮像素子を備える。

例えば、前記評価用のデータを前記入力手段に供給する評価用データ供給手段を備える。

前記評価用データ供給手段は、この画像認識手段から出力されたデータを供給する。

テストモードにおいて、この画像認識装置から出力されたデータと、所定の期待値とを比較し、比較結果を出力する比較手段を更に備えてもよい。

例えば、前記複数の処理手段は、画像の形式を人間の目に見える形式に変換する信号処理手段と、所定のフィルタリング処理を施す画像処理手段と、所定のアルゴリズムにより画像を認識する認識アルゴリズム処理手段と、から構成される。

また、この発明のコンピュータプログラムは、コンピュータを、
複数の処理手段を有し、これら複数の処理手段による一連の処理を含む認識処理により、画像中の被写体を認識する認識手段、
認識対象画像の画像データと評価用のデータとを選択的に入力し、前記認識手段に供給する入力手段、
動作モードに応じて、前記認識手段及び前記入力手段を制御し、被写体を認識する認識動作モードにおいて、前記入力手段に前記認識対象画像の画像データを選択させ、前記認識手段に前記認識処理を実行させて、認識対象画像中の被写体を認識させ、自己をテストするテストモードにおいて、前記入力手段に前記認識対象画像の画像データ又は前記評価用のデータを選択させ、前記複数の処理手段による一連の処理を各処理進行度まで実行させることにより、処理進行度の異なる複数の処理データを出力させる制御手段、
として機能させる。

以下、この発明の一実施形態に係る画像認識装置及びコンピュータプログラムについて説明する。ここでは、画像認識装置が、車載システムの一部として搭載された場合を例に、その構成及び動作について説明する。

この画像認識装置は、画像認識カメラ１０から構成される。
画像認識カメラ１０は、通常動作時には、図１Ａに示すように、車載ＬＡＮ（ローカルエリアネットワーク：CAN、LIN、FlexRay、MOSTなど）等を介して、車載電子制御装置（ECU）１５に接続され、種々の認識結果を示すデータをＥＣＵ１５に供給する。ＥＣＵ１５は、供給された認識結果を示すデータに従って、種々の制御動作を実行する。

画像認識カメラ１０は、初期テスト、故障チェック時等のテストモードでは、図１Ｂに示すように、任意の通信ネットワークを介して、データ出力用コンピュータ（以下、出力ＰＣという）２１とデータ入力用コンピュータ（以下、入力ＰＣという）２２に接続される。

画像認識カメラ１０と、他の装置との間には、適宜、変換ボード２１ａ，２２ａが配置される。

変換ボード２１ａは、出力ＰＣ２１から出力されたデータがカメラ１０に入力される前に、そのデータ形式を画像認識カメラ１０で扱うデータ形式（例えばＬＶＤＳ等）に変換する。また、変換ボード２２ａは、カメラ１０から出力されたデータが入力ＰＣ２２に入力される前に、そのデータ形式（例えばＬＶＤＳ等）を入力ＰＣ２２で扱うデータ形式に変換する。これにより、画像認識カメラ１０と出入力ＰＣ２１，２２との間に、データ形式の違いがあっても、画像認識カメラ１０と出入力ＰＣ２１，２２との間でデータの授受が可能となる。

出力ＰＣ２１及び入力ＰＣ２２は、それぞれ、コンピュータ本体のほか、出力機器としてのディスプレイ（表示装置）、入力機器としてのキーボードなどを備え、それら出入力ＰＣ２１，２２の各コンピュータ本体に、それぞれ図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、及び通信機器（モデム等）などのほか、記憶媒体として図１Ｂ中に示すハードディスク２１ｂ，２２ｂを内蔵している。出入力ＰＣ２１，２２としては、例えば市販されている一般的なコンピュータを用いることができる。

また、車載ＥＣＵ１５が、ＰＣ２１，２２と同等のテスト機能をそなえてもよい。

画像認識カメラ１０は、被写体の原画像の信号を生成する撮像素子１１（例えばCCD(Charge Coupled Device)イメージセンサ、CMOS(Complimentary Metal Oxide
Semiconductor)イメージセンサ等）と、撮像素子１１についての設定及び制御をする画像認識処理部１２と、から構成される。

画像認識処理部１２は、デジタル信号処理に特化したマイクロプロセッサ、いわゆるＤＳＰ（Digital Signal Processor）、及びこのＤＳＰにより実行される所定のプログラムが格納されたプログラムメモリ等から構成されるＤＳＰ処理部１３と、複数種の入力信号から１つを選択して出力するセレクタ１４と、を有する。ここで、セレクタ１４には、出力ＰＣ２１及び撮像素子１１から、それぞれデジタルデータが入力される。

より詳しくは、撮像素子１１は、アナログデータをデジタルデータに変換するＡ／Ｄ変換器を内蔵しており、撮像して得たアナログデータを、Ａ／Ｄ変換器によりデジタルデータ（以下、撮像データという）に変換して出力する。一方、出力ＰＣ２１からは、ハードディスク２１ｂに保存された所定の画像データが出力される。そして、この画像データは、変換ボード２１ａにより所定のデータ形式のデジタルデータ（以下、ＲＡＷデータという）に変換された後、セレクタ１４に入力される。

セレクタ１４は、これら２種のデジタルデータ（撮像データ及びＲＡＷデータ）のうち、ユーザ等によりその時に選択すべき旨設定された方のデータを選択して出力する。なお、選択すべきデータは、任意の方式で設定することができる。例えば所定のスイッチを機械的に操作することによって直接的にセレクタ１４の切替えをしてもよいし、所定のソフトウェアによってセレクタ１４の切替えを制御してもよい。セレクタ１４は、ＤＰＳ付属の入力ポートを切り替えるものであってもよい。

画像認識カメラ１０は、通常撮影時において、ＤＳＰ処理部１３により制御される。ＤＳＰ処理部１３は、画像認識カメラ１０の通常撮影制御のほか、さらにその撮影画像等について、所定の画像処理及び所定の画像認識を実行する。すなわち、セレクタ１４により選択されたデータは、ＤＳＰ処理部１３において画像処理されることになる。こうした複数種の処理を実行するＤＳＰ処理部１３は、その時の動作モードに応じてそのモードごとの処理をする。ＤＳＰ処理部１３内での処理の選択（モード選択）は、ＤＳＰ処理部１３と入力ＰＣ２２との間の通信により、ユーザが入力ＰＣ２２からＤＳＰ処理部１３へ所定のコマンド（指令）を送ることによってなされる。

図２に示すように、ＤＳＰ処理部１３は、ノイズ除去処理や所定の補正処理を行う信号処理部１３１と、信号処理部１３１で処理された画像に所定のフィルタ処理を施す画像処理部１３２と、画像処理部１３２で処理された画像から被写体を認識する認識アルゴリズム処理部１３３と、入力ＰＣ２２からの指示に従って撮像素子１１及び処理部１３１〜１３３を操作するプラットフォーム部１３４（制御手段）と、処理部１３１〜１３３からそれぞれ入力される画像について符号化及びデータ圧縮をするエンコーダ１３５と、を有する。

プラットフォーム部１３４は、通常撮影制御に関するパラメータ等を撮像素子１１に設定するほか、信号処理部１３１、画像処理部１３２、認識アルゴリズム処理部１３３の各処理部について、それぞれ「スルー」「実行」「非使用」のいずれかの動作モードを設定する。これにより、ユーザが入力ＰＣ２２から、処理部１３１〜１３３の動作モードの組み合わせを任意に設定することで、エンコーダ１３５に入力される画像についてどのような画像処理が施されているのか、あるいは画像処理が施されないままエンコーダ１３５に入力されるのかなどを、任意に制御することができるようになっている。

なお、「スルー」は、その処理部では処理を行わず入力データをそのまま後段の処理部又はエンコーダ１３５に送る動作モードである。「実行」は、その処理部で処理が実行される動作モードである。また、「非使用」は、データがその処理部を通らず前段の処理部からエンコーダ１３５に送られる動作モードである（詳しくは図３〜図６参照）。
信号処理部１３１は、スルーモードでは、処理データを後段の画像処理部１３２に出力し、実行モードでは、処理データをエンコーダ１３５に出力する。また、画像処理部１３２は、スルーモードでは、処理データを後段の認識アルゴリズム処理部１３３に出力し、実行モードでは、エンコーダ１３５に出力する。

処理部１３１〜１３３、プラットフォーム部１３４、及びエンコーダ１３５は、ＤＳＰ処理部１３において、プログラムメモリに実装されたプログラムがＤＳＰにより実行されることで、機能する。なお、これら各部は、プログラムによらずとも、特定の処理に特化したLSIチップなどの回路等によりハードウェアとして構成することもできる。

このような構成を有する画像認識カメラ１０は、撮像素子１１により撮像した画像から被写体が何であるかを解析し、解析結果のメタデータを出力する。例えば撮影中の画像を解析し、その被写体が所定の候補画像（人物・物等）であるか否かを認識し、認識結果とその信頼度（候補画像が複数ある場合はそれぞれについての信頼度）を解析結果として出力する。なお、この信頼度は、用途等に応じて任意の手法で計算することが可能であり、例えば「％」などの単位によって数値表示しても、あるいは「高い・低い」などと２値的に表示（又はより多段階に段階表示）してもよい。

具体的には、認識対象物のイメージは、撮像素子１１により電気信号（入力原画像）に変換され、ＤＳＰ処理部１３内のデータメモリ（図示略）に記録される。このとき、入力原画像は、ＲＧＢベイヤー配列のフォーマットのデータとなり、人間の目に見えるイメージとは異なる。このため、信号処理部１３１により、所定の露光パラメータ（明るさやホワイトバランスなど）の調整や解像度の調整（拡大又は縮小）し、また、ノイズ除去等の処理を行う。

続いて、画像処理部１３２により、所定のフィルタ処理（画素欠陥などを補正）をして、人間が知覚できる形式、例えばＹＵＶ形式の画像に変換する。

続けて、認識アルゴリズム処理部１３３では、こうしてＹＵＶ形式に変換された画像について所定の画像を認識する。詳しくは、例えば候補画像として予め記憶された一乃至複数の画像（例えば人物画像）を撮影画像と比較する。より具体的には、例えばそれら候補画像と撮影画像とについて、それぞれ特徴情報（例えば人物の目と鼻の位置関係）の抽出をするとともに、両者の間でその比較をする。そして、比較の結果は、撮影画像との一致の程度が高い候補画像ほど「信頼度は高い」とする。こうして、候補画像の全てについて、それぞれ信頼度を求める。例えば候補画像がＡ、Ｂ、Ｃの３つであれば、各画像の信頼度は、Ａ「７０％」、Ｂ「２０％」、Ｃ「１０％」などと算出する。

続けて、エンコーダ１３５は、信号処理部１３１及び画像処理部１３２により処理された画像データと共に、その画像に関する信頼度等のデータを、例えばITU-656などに符号化及びデータ圧縮し、入力ＰＣ２２へ出力する。ちなみに、ITU-656(正確にはITU-R BT.656)は、ITU-R
BT.601規格（ITU-601）のビデオ信号を伝送する際のバスインターフェイスの規格として、ITU-R（国際電気通信連合無線通信部門）が定めた規格である。

このように、画像認識カメラ１０は、被写体を撮影して、その被写体が何であるかを解析することができる。しかしながら、その解析結果が常に正しいとは限らない。例えば画像認識カメラ１０（撮像素子１１及び画像認識処理部１２）に故障や劣化等に起因した異常が生じた場合には、誤った解析結果が出力されてしまうおそれがある。
そこで、この実施形態では、プラットフォーム部１３４をはじめとする画像認識処理部１２を所定の態様で動作させることにより、図３〜図６に示すような処理を実行し、解析結果の信頼性の向上を図っている。以下、図３〜図６を参照して、この実施形態に係る画像認識処理部１２の検査動作について説明する。

図３は、撮像素子１１を検査する際の、当該装置の動作例を示す図である。なお、この検査は、ユーザが入力ＰＣ２２からＤＳＰ処理部１３へ所定のコマンドを送り、ＲＡＷデータ取得モードを選択することで実行される。

図３に示すように、この検査にあたっては、プラットフォーム部１３４により、処理部１３１〜１３３の動作モードをいずれも「スルー」に設定する。これにより、処理部１３１〜１３３では処理が実行されずデータはそのまま通り過ぎてエンコーダ１３５に送られる。

また、セレクタ１４の設定は、撮像素子１１からの撮像データが、選択、出力されるようにする。

こうした状態にして、撮像素子１１により、所定の評価環境で被写体（例えば適宜のテストパターン）を撮像する。これにより、撮像されたデータ（撮像データ）は、セレクタ１４から出力され、処理部１３１〜１３３を未処理のまま通り過ぎてエンコーダ１３５に入力され、さらにエンコーダ１３５及び変換ボード２２ａ（図１）による処理を経て入力ＰＣ２２に入力される。

ＰＣ２２は、供給された未処理の撮像データを、ハードディスク２２ｂに格納する。そして、その未処理の撮像データに基づいて、撮像素子１１が正常であるか否かを検査する。この検査においては、例えば検査対象とする撮像素子１１により実際に撮像された画像、すなわちハードディスク２２ｂに格納された撮像データと、撮像素子１１が正常である場合に得られる画像（例えば正常な製品により予め同一の被写体について同一の環境で撮像して得たもの）と、を比較し、例えば、一致するか否かを判別することにより正否を判断する。

より具体的には、例えばその撮像画像に係る一乃至複数の所定パラメータについて所定の閾値を設けるなどして、総合的にみて撮像が正常になされているか否かに基づいて撮像素子１１の正否を判断する。

この検査により撮像素子１１に異常がある旨判断された場合には、その旨を知らせるべく所定の報知装置を作動させる（例えばランプを点灯させる）など、異常時における所定の処理を実行し、必要に応じて、検査を中断する。こうすることで、撮像素子１１の交換を促すことなどができる。

他方、撮像素子１１が正常である旨判断された場合には、入力ＰＣ２２から出力ＰＣ２１へ、上記ハードディスク２２ｂに格納した未処理の撮像データを送信し、出力ＰＣ２１のハードディスク２１ｂに格納する。こうして、所定の被写体についての未処理の撮像データが、ＲＡＷデータとしてハードディスク２１ｂに記憶されることになる。

続いて、ＤＳＰ処理部１３についての検査を実行すべく、図３の処理により取得したＲＡＷデータについて、図４〜図６に示す処理を順次実行する。

具体的には、そのＲＡＷデータについて、信号処理部１３１による処理のみ（図４）、信号処理部１３１と画像処理部１３２とによる処理（図５）、信号処理部１３１、画像処理部１３２、及び認識アルゴリズム処理部１３３の全てによる処理（図６）というように、１つずつ処理を追加実行しながら、処理を追加するごとに処理後の画像データの正確さを検査する。

この検査において、ＰＣ２２は、例えば検査対象とする処理部により実際に処理された画像（画像データ）と、その処理部が正常である場合に得られる画像（画像データ：例えば正常な製品により予め取得されたもの）と、を比較することにより正否を判断する。より具体的には、ＰＣ２２は、例えば処理後の画像に係る一乃至複数の所定パラメータについて所定の閾値を設けるなどして、総合的にみて正しい処理がなされているか否かに基づいてその処理部の正否を判断する。

本実施形態に係る画像認識処理装置では、こうした検査を各処理部１３１〜１３３についてそれぞれ実行することで、信号処理部１３１、画像処理部１３２、認識アルゴリズム処理部１３３のいずれに異常が生じているのか、あるいはいずれにも異常が生じていない（いずれも正常である）のか、を判断する。

図４は、信号処理部１３１を検査する際の当該装置の動作例を示す図である。なお、この検査は、上記撮像素子１１の検査後に入力ＰＣ２２からＤＳＰ処理部１３へ所定のコマンドが送られることにより、映像信号処理評価モードが選択されて実行される。

この検査にあたっては、図４に示すように、プラットフォーム部１３４により、信号処理部１３１の動作モードを「実行」に、処理部１３２，１３３の動作モードを「非使用」に、それぞれ設定する。これにより、処理されるべきデータは、信号処理部１３１での処理が実行された後、画像処理部１３２と認識アルゴリズム処理部１３３を通らず信号処理部１３１からエンコーダ１３５へ送られることになる。

また、セレクタ１４の設定は、ハードディスク２１ｂに格納されたＲＡＷデータが、選択、出力されるようにする。

こうした状態にして、図３の処理により取得したＲＡＷデータを、出力ＰＣ２１からセレクタ１４へ出力する。これにより、ＲＡＷデータは、変換ボード２１ａによる処理を経てセレクタ１４に入力される。そして、このセレクタ１４から出力されると、そのＲＡＷデータは、信号処理部１３１での処理（第１の処理）が実行された後、処理部１３２，１３３を通らず信号処理部１３１からエンコーダ１３５へ送られ、エンコーダ１３５及び変換ボード２２ａ（図１）による処理を経て入力ＰＣ２２に入力される。

ここで、その第１の処理後のデータを、入力ＰＣ２２のハードディスク２２ｂに格納する。そして、前述したように、その第１の処理後のデータ（第１の進行度を有する処理データ）に基づいて、信号処理部１３１が正常であるか否かを検査する。

この検査により信号処理部１３１に異常がある旨判断された場合には、その旨を知らせるべく所定の報知装置を作動させる（例えばランプを点灯させる）など、異常時における所定の処理を実行して検査を中断する。他方、信号処理部１３１が正常である旨判断された場合には、続けて図５の処理を実行する。

図５は、画像処理部１３２の検査をする際の当該装置の動作例を示す図である。なお、この検査は、信号処理部１３１の検査後に入力ＰＣ２２からＤＳＰ処理部１３へ所定のコマンドが自動的に送られることにより、映像処理評価モードが選択されて実行される。

この検査にあたっては、図５に示すように、プラットフォーム部１３４により、処理部１３１，１３２の動作モードを「実行」に、認識アルゴリズム処理部１３３の動作モードを「非使用」に、それぞれ設定する。これにより、処理されるべきデータは、処理部１３１，１３２での処理が実行された後、認識アルゴリズム処理部１３３を通らず画像処理部１３２からエンコーダ１３５へ送られることになる。

また、セレクタ１４の設定は、上記ハードディスク２１ｂに格納されたＲＡＷデータが、選択、出力されるようにする（図４の処理の時のまま）。

こうした状態にして、図３の処理により取得したＲＡＷデータを、出力ＰＣ２１からセレクタ１４へ出力する。これにより、ＲＡＷデータは、変換ボード２１ａによる処理を経てセレクタ１４に入力される。そして、このセレクタ１４から出力されると、ＲＡＷデータは、処理部１３１，１３２での処理（第２の処理）が実行された後、認識アルゴリズム処理部１３３を通らず画像処理部１３２からエンコーダ１３５に送られ、エンコーダ１３５及び変換ボード２２ａ（図１）による処理を経て入力ＰＣ２２に入力される。

ここで、その第２の処理後のデータ（第２の進行度を有する処理データ）を、入力ＰＣ２２のハードディスク２２ｂに格納する。そして、その第２の処理後のデータに基づいて、画像処理部１３２が正常であるか否かを検査する。

この検査により画像処理部１３２に異常がある旨判断された場合には、その旨を知らせるべく所定の報知装置を作動させる（例えばランプを点灯させる）など、異常時における所定の処理を実行して検査を中断する。他方、画像処理部１３２が正常である旨判断された場合には、続けて図６の処理を実行する。

図６は、認識アルゴリズム処理部１３３を検査する際の当該装置の動作例を示す図である。なお、この検査は、画像処理部１３２の検査後に入力ＰＣ２２からＤＳＰ処理部１３へ所定のコマンドが自動的に送られることにより、画像認識アルゴリズム評価モードが選択されて実行される。

この検査にあたっては、図６に示すように、プラットフォーム部１３４により、処理部１３１〜１３３の動作モードをいずれも「実行」に設定する。これにより、処理されるべきデータは、処理部１３１〜１３３での処理が実行された後、認識アルゴリズム処理部１３３からエンコーダ１３５へ送られることになる。

また、セレクタ１４の設定は、上記ハードディスク２１ｂに格納されたＲＡＷデータが、選択、出力されるようにする（図５の処理の時のまま）。

こうした状態にして、図３の処理により取得したＲＡＷデータを、出力ＰＣ２１からセレクタ１４へ出力する。これにより、ＲＡＷデータは、変換ボード２１ａによる処理を経てセレクタ１４に入力される。そして、このセレクタ１４から出力されると、そのＲＡＷデータは、処理部１３１〜１３３での処理（第３の処理）が実行された後、処理部１３３からエンコーダ１３５へ送られ、エンコーダ１３５及び変換ボード２２ａ（図１）による処理を経て入力ＰＣ２２に入力される。

ここで、その第３の処理後のデータ（第３の進行度を有する処理データ）を、入力ＰＣ２２のハードディスク２２ｂに格納する。そして、前述したように、その第３の処理後のデータに基づいて、認識アルゴリズム処理部１３３が正常であるか否かを検査する。

この検査により認識アルゴリズム処理部１３３に異常がある旨判断された場合には、その旨を知らせるべく所定の報知装置を作動させる（例えばランプを点灯させる）など、異常時における所定の処理を実行して検査を終了する。他方、認識アルゴリズム処理部１３３が正常である旨判断された場合には、その旨を記録すべくその検査結果を入力ＰＣ２２のハードディスク２２ｂに保存するなど、正常時における所定の処理を実行して検査を終了する。

以上説明したように、この実施形態に係る画像認識処理装置によれば、以下のような効果が得られる。

（１）画像認識処理装置（ＤＳＰ処理部１３）は、画像認識処理部１２の性能低下の有無などを好適に検査することができる。しかも、信号処理部１３１、画像処理部１３２、及び認識アルゴリズム処理部１３３のいずれに異常があるのかを容易且つ的確に特定することができる。

（２） 未処理の撮像データに基づいて、撮像素子１１を検査することが可能である。しかも、この撮像素子１１の検査に続けて画像認識処理部１２を評価することで、評価環境を劣化させることなく、撮像素子１１と同一条件下で画像認識処理部１２を評価することが可能である。

（３）当該画像認識処理装置は、図３の処理により取得された評価用画像を格納するハードディスク２１ｂを備える。これにより、ハードディスク２１ｂから、未処理の撮像データを取り出すことが可能になり、評価用画像を再度取得し直す手間を省くことが可能である。

（４） 撮像モード（撮像素子１１を選択）と評価モード（ハードディスク２１ｂを選択）とを任意に切り替えることが可能である。

（５） 動作モードが「スルー」又は「非使用」に設定された処理部以外については、処理を実行させる。従って、ユーザは、任意に、評価態様を変更することが可能になる。

（６）当該画像認識処理装置は、各処理部の処理データ（第１〜第３の進行度を有する処理データ）を、データ解析可能なデータ入力用コンピュータ２２に出力する。これにより、それら処理データについての解析等が容易になる。

（７）画像認識処理装置は、カメラ（画像認識カメラ１０）に内蔵される。従って、カメラ自身による自己診断が可能になり、ひいては利便性・信頼性の高いカメラとなる。

なお、上記実施形態は、以下のように変更して実施してもよい。

上記実施形態では、図３〜図６の処理を実行する都度、その処理データについて異常の有無を判断するようにした。しかし、図３〜図６の一連の処理を中断なしに（ノンストップで）まとめて連続実行して、全ての処理データ（第１〜第３の進行度を有する処理データ）を入力ＰＣ２２のハードディスク２２ｂに保存しておき、後でどの部分に異常があるのか解析するようにしてもよい。

具体的には、例えば上記第１の進行度の処理データ（画像）に異常があれば信号処理部１３１が異常である旨、上記第２の進行度の処理データ（画像）に異常があれば画像処理部１３２が異常である旨、上記第３の進行度の処理データ（画像）に異常があれば認識アルゴリズム処理部１３３が異常である旨、それぞれ判断し、いずれにも異常がなければ、当該装置は正常である旨判断する。

上記実施形態では、プラットフォーム部１３４により処理部１３１〜１３３の動作モードを変更して、処理進行度の異なる複数の処理データ（第１〜第３の進行度を有する処理データ）を取得するようにした。
しかしこれに限られず、図７に示すように、処理部１３１〜１３３の配線パターン（信号線１３１ａ〜１３３ａ）に応じて、信号処理部１３１の処理結果、画像処理部１３２の処理結果、認識アルゴリズム処理部１３３の処理結果を並行にエンコーダ１３５に供給するように構成してもよい。エンコーダ１３５は、これら３つの処理結果（データ）をエンコードして、並列的にデータ入力用コンピュータ２２に供給する。データ入力用コンピュータ２２は、入力したデータをデコードして、処理部１３１〜１３３による一連の処理が、第１〜第３の進行度まで実行された各処理段階のデータを再生する。

こうした構成によっても、処理進行度の異なる複数の処理データを得ることは可能である。

また、図８に示すように、処理部１３１〜１３３の出力データを、セレクタ１４ａで選択し、選択された各処理段階のデータ（第１〜第３の進行度を有する処理データ）をエンコーダ１３５を介してデータ入力用コンピュータ２２に供給するようにしてもよい。
この場合、セレクタ１４ａは、データ入力用コンピュータ２２からの指令に従って、プラットフォーム部１３４により制御される。

なお、図７の構成及び図８での構成での検査も、上記実施形態と同様、処理データを取得する度に実行してもよいし、全ての処理データを得てからまとめて実行してもよい。

上記実施の形態においては、信号処理部１３１の処理結果を得るために画像処理部１３２と認識アルゴリズム処理部１３３とを非使用の状態とし、画像処理部１３２の処理結果を得るために認識アルゴリズム処理部１３３を非使用の状態としたが、信号処理部１３１の処理結果を得るために画像処理部１３２と認識アルゴリズム処理部１３３とをスルーの状態とし、画像処理部１３２の処理結果を得るために認識アルゴリズム処理部１３３をスルーの状態としてもよい。

また、データ出力用コンピュータ２１が出力するデータは、予めテスト用に設計された既知のテスト用データでもよい。既知のテスト用データについては、信号処理部１３１，画像処理部１３２、認識アルゴリズム処理部１３３の処理により、どのようなデータが出力されるか予め処理して期待値を求めておき、この期待値と各処理部１３１〜１３３の処理結果が一致するか否かにより、処理部１３１〜１３３の正常・異常を判別することができる。

上記実施の形態においては、例えば、信号処理部１３１の処理結果、信号処理部１３１と画像処理部１３２との処理結果、信号処理部１３１と画像処理部１３２と認識アルゴリズム処理部１３３との処理結果を出力したが、信号処理部１３１がテスト信号を処理した結果、画像処理部１３２がテスト信号を処理した結果、認識アルゴリズム処理部１３３がテスト信号を処理した結果、をそれぞれ個別に出力できるようにしてもよい。

例えば、画像処理部１３２がテスト信号を処理した結果を出力するためには、例えば、図９に示すように、信号処理部１３１と認識アルゴリズム処理部１３３とをスルーの状態に設定して、テストデータを画像処理部１３２に供給し、処理結果をエンコーダ１３５を介してデータ入力用コンピュータ２２に供給する。セレクタ１４から画像処理部１３２にテストデータを直接供給するようにしてもよい。

また、認識アルゴリズム処理部１３３がテスト信号を処理した結果を出力するためには、信号処理部１３１と画像処理部１３２とをスルーの状態に設定して、テストデータを認識アルゴリズム処理部１３３に供給し、処理結果をエンコーダ１３５を介してデータ入力用コンピュータ２２に供給する。セレクタ１４から認識アルゴリズム処理部１３３にテストデータを直接供給するようにしてもよい。

上記実施形態（図２）及び変形例（図８）を組み合わせて、上記処理部１３１〜１３３の動作モードの変更、及び、上記セレクタ１４ａの出力の変更のいずれによっても、上記第１〜第３の進行度を有する処理データを取得することができるようにしてもよい。なお、これら処理進行度の異なる複数の処理データを取得する部分は、処理データ取得手段に相当する。

上記実施形態又は変形例又はその組み合わせについては、入力ＰＣ２２のプログラマブルなアプリケーション等によりプラットフォーム部１３４に一連の作業指示を与えるように設定することで、上記第１〜第３の進行度を有する処理データを、任意の順番で出力させることも可能である。

上記実施形態又は変形例又はその組み合わせにおいては、処理部１３１〜１３３の各処理段階のデータ（第１〜第３の進行度を有する処理データ）を取得するようにした。しかしこれに限られず、これら各装置において取得すべき処理データの処理進行度は、任意に設定することができる。例えば信号処理部１３１及び画像処理部１３２をまとめて、第２の進行度と第３の進行度との２段階についてだけ、処理データを取得するようにしてもよい。あるいは逆に、もっと細かく画像認識処理部１２の機能を細分化して、４段階以上の処理データを取得するようにしてもよい。また、同じ３段階でも、処理部１３１〜１３３とは異なる態様で分割してもよい。

上記実施形態又は変形例又はその組み合わせに係る装置は、特許文献１〜３に記載されるような画像認識処理装置に適用してもよい。

上記実施形態又は変形例では、処理進行度の異なる複数の処理データを順次取得するようにした。しかし、例えば先の図７に示した信号線１３１ａ〜１３３ａからセレクタ１４ａを通さずに各処理段階のデータをそれぞれ取得するように構成するなどして、これらを同時に取得するように構成してもよい。

上記実施形態等においては、ユーザによる任意のタイミングで、評価用画像として未処理の撮像データ（ＲＡＷデータ）を取得するようにした。しかしこれに限られず、予め設定したタイミングで、このＲＡＷデータを自動取得するようにしてもよい。例えば画像認識処理部１２の劣化状態を評価するのであれば、初期データを用いる構成も有効である。なお、画像認識処理部１２の評価をする場合の評価用画像は、撮像データに限られず、任意のデータ（テストパターンなど）を用いることが可能である。

上記実施の形態では、テスト動作のためにデータ出力用コンピュータ２１と、データ入力用コンピュータ２２を用意したが、図１０に示すように、データ出力用コンピュータ２１とデータ入力用コンピュータ２２とを、１台のテスト処理用コンピュータ２３で置き換えることも可能である。

この場合、テスト処理用コンピュータ２３の表示部２３ａ（ディスプレイ装置）は、例えば、撮像素子１１の正面に配置される。
この場合の、テスト処理用コンピュータ２３には、予め、各処理部１３１〜１３３をテストするために設計されたテストデータが格納されている。

この場合の動作を図１１を参照して説明する。
テスト動作を開始すると、テスト処理用コンピュータ２３は、まず、セレクタ１４に撮像素子１１の出力を選択させる（ステップＳ１１）。

次に、テスト処理用コンピュータ２３は、処理部１３１〜１３３をスルーモードに設定する（ステップＳ１２）。
次に、テスト処理用コンピュータ２３は、表示部２３ａにテストパターンを表示させ、これを撮像素子１１に撮像させ、その撮像データを処理部１３１〜１３３を介して取得する（ステップＳ１３）。

次に、テスト処理用コンピュータ２３は、セレクタ１４にテスト処理用コンピュータ２３からのテスト用データを選択させる（ステップＳ１４）。
次に、テスト処理用コンピュータ２３は、処理部１３１を実行モードとし、処理部１３２と１３３をスルーモード又は非実行に設定する（ステップＳ１５）。

次に、テスト処理用コンピュータ２３は、信号処理部１３１をテストするためのテストデータを出力し、信号処理部１３１による処理結果を取得する（ステップＳ１６）。

次に、テスト処理用コンピュータ２３は、処理部１３２を実行モードとし、処理部１３１についてはいずれかの動作モードとし、処理部１３３については、スルーモード又は非実行に設定する（ステップＳ１７）。
次に、テスト処理用コンピュータ２３は、画像処理部１３２をテストするためのテストデータを出力し、画像処理部１３２による処理結果を取得する（ステップＳ１８）。

次に、テスト処理用コンピュータ２３は、処理部１３３を実行モードとし、処理部１３１と１３２についてはいずれかの動作モードとし、処理部１３３については、スルーモード又は非実行に設定する（ステップＳ１９）。

次に、テスト処理用コンピュータ２３は、認識アルゴリズム処理部１３３をテストするためのテストデータを出力し、認識アルゴリズム処理部１３３による処理結果を取得する（ステップＳ２０）。
次に、テスト処理用コンピュータ２３は、ステップＳ１３で取得した撮像素子１１の取得画像、ステップＳ１６，Ｓ１８，Ｓ２０で取得したデータを評価し（ステップＳ２１）、評価結果を出力する（ステップＳ２２）。

なお、図７に示す構成を採用する場合には、図１２に示すように、
テスト処理用コンピュータ２３は、撮像素子１１の出力データを取得し（ステップＳ３１〜Ｓ３３）、次に、セレクタ１４にテスト処理用コンピュータ２３からのテスト用データを選択させる（ステップＳ３４）、次に、処理部１３１〜１３３を実行モードとし（ステップＳ３５）、テストデータを出力し、処理部１３１〜１３３による処理結果を取得する（ステップＳ３６）。

続いて、テスト処理用コンピュータ２３は、ステップＳ３３で取得した撮像素子１１の取得画像、ステップＳ３６で取得した各処理部１３１〜１３３の出力データを評価し（ステップＳ３７）、評価結果を出力する（ステップＳ３８）。

このような構成によれば、１台のテスト処理用コンピュータ２３でカメラ１０をテストすることが可能である。

なお、テスト処理用コンピュータ２３がテストパターンを表示する例を示したが、テスト処理用コンピュータ２３とは別個にテストパターンを用意して、これを撮像素子１１で撮影するようにしてもよい。
評価用画像や評価結果は、外部のコンピュータではなく、画像認識カメラ１０に内蔵される所定の記憶装置に格納するようにしてもよい。

テスト動作を制御するプラットフォーム部１３４を配置せず、コンピュータ２２又は２３が直接テスト動作を制御するようにしてもよい。

この発明に係る画像認識処理装置及びコンピュータプログラムの一実施形態について、該装置の概要を示す図。 この発明に係る画像認識処理装置及びコンピュータプログラムの一実施形態について、該装置の概要を示す図。 ＤＳＰ処理部の内部構成を示すブロック図。 撮像素子の評価（検査）をする際の当該装置の動作例を示す図。 信号処理部の評価（検査）をする際の当該装置の動作例を示す図。 画像処理部の評価（検査）をする際の当該装置の動作例を示す図。 認識アルゴリズム処理部の評価（検査）をする際の当該装置の動作例を示す図。 この発明に係る画像認識処理装置の変形例について、該装置の概要を示す図。 この発明に係る画像認識処理装置の変形例について、該装置の概要を示す図。 この発明に係る画像認識処理装置の変形例について、該装置の概要を示す図。 この発明に係る画像認識処理装置の変形例について、該装置の概要を示す図。 図１０に示すテスト用コンピュータのテスト動作を説明するためのフローチャート。 図１０に示すテスト用コンピュータのテスト動作の変形例を説明するためのフローチャート。

符号の説明

１０ 画像認識カメラ
１１ 撮像素子
１２ 画像認識処理部
１３ ＤＳＰ処理部
１４、１４ａ セレクタ
２１ データ出力用コンピュータ（出力ＰＣ）
２１ａ、２２ａ 変換ボード
２１ｂ、２２ｂ ハードディスク
２２ データ入力用コンピュータ（入力ＰＣ）
１３１ 信号処理部
１３２ 画像処理部
１３３ 認識アルゴリズム処理部
１３４ プラットフォーム部
１３５ エンコーダ

Claims (9)

1. 複数の処理手段を有し、これら複数の処理手段による一連の処理を含む認識処理により、画像中の被写体を認識する認識手段と、
   認識対象画像の画像データと評価用のデータとを選択的に入力し、前記認識手段に供給する入力手段と、
   動作モードに応じて、前記認識手段及び入力手段を制御する制御手段と、
   を備え、
   前記制御手段は、
   被写体を認識する認識動作モードにおいて、前記入力手段に前記認識対象画像の画像データを選択させ、前記認識手段に前記認識処理を実行させて、認識対象画像中の被写体を認識させ、
   自己をテストするテストモードにおいて、前記入力手段に前記認識対象画像の画像データ又は評価用のデータを選択させ、前記複数の処理手段による一連の処理を各処理進行度まで実行させることにより、処理進行度の異なる複数の処理データを出力させる、
   ことを特徴とする自己検査機能を備える画像認識装置。
2. 前記複数の処理手段は、それぞれ、入力データをそのまま出力するスルーモードを備え、
   前記制御手段は、前記スルーモードに設定する処理手段を選択的に指定する選択指定手段を備える、
   請求項１に記載の画像認識装置。
3. 前記制御手段は、前記複数の処理手段の出力を外部に選択的に出力する選択出力手段を備える、
   請求項１に記載の画像認識装置。
4. 前記入力手段に前記認識対象画像の画像データを供給する撮像素子を、更に備える請求項１に記載の画像認識装置。
5. 前記評価用のデータを前記入力手段に供給する評価用データ供給手段を更に備える請求項１に記載の画像認識装置。
6. 前記評価用データ供給手段は、この画像認識手段から出力されたデータを供給するものである、請求項５に記載の画像認識装置。
7. テストモードにおいて、この画像認識装置から出力されたデータと、所定の期待値とを比較し、比較結果を出力する比較手段を更に備える、請求項１に記載の画像認識装置。
8. 前記複数の処理手段は、画像の形式を人間の目に見える形式に変換する信号処理手段と、所定のフィルタリング処理を施す画像処理手段と、所定のアルゴリズムにより画像を認識する認識アルゴリズム処理手段と、から構成される、請求項１に記載の画像認識装置。
9. コンピュータを、
   複数の処理手段を有し、これら複数の処理手段による一連の処理を含む認識処理により、画像中の被写体を認識する認識手段、
   認識対象画像の画像データと評価用のデータとを選択的に入力し、前記認識手段に供給する入力手段、
   動作モードに応じて、前記認識手段及び前記入力手段を制御し、被写体を認識する認識動作モードにおいて、前記入力手段に前記認識対象画像の画像データを選択させ、前記認識手段に前記認識処理を実行させて、認識対象画像中の被写体を認識させ、自己をテストするテストモードにおいて、前記入力手段に前記認識対象画像の画像データ又は前記評価用のデータを選択させ、前記複数の処理手段による一連の処理を各処理進行度まで実行させることにより、処理進行度の異なる複数の処理データを出力させる制御手段、
   として機能させるコンピュータプログラム。

Images