JP2010231256A - データ認識装置、データ認識方法及びプログラム - Google Patents

Abstract

【課題】入力したデータの認識を行う場合において、認識の信頼性の向上を簡単に行えるようにする。
【解決手段】データの認識処理に必要なデータを記憶する。そして、入力した認識対象となるデータの解析を行って、記憶されたデータを参照して入力したデータの認識を行う。さらに、認識対象に関連した動作のデータを得て、認識結果の正誤判定を行う。その判定で、認識処理結果が誤りであると判定した場合に、警告を行う。また、認識処理に必要なデータを更新させる。
【選択図】図４

Description

本発明は、例えば画像データなどの入力データから認識処理を行うものに適用して好適なデータ認識装置及びデータ認識方法、並びにそのデータ認識方法を実行するプログラムに関する。

従来、例えば監視カメラが撮影して得た画像データを解析して、被写体を特定することが行われている。
例えば特許文献１には、多次元成分データを用いて入力信号を認識する処理の例についての記載がある。この特許文献１に記載される技術では、入力された顔画像のデータから特徴ベクトルを抽出し、登録されている特徴ベクトルとの類似度を計算する。そして、認識対象者の確認を得ながら、入力された顔画像のデータが登録者の場合には、必要な環境設定を行い、入力された顔画像のデータが未登録者の場合には、登録することが記載されている。

特開２００６−２４３８４９号公報

しかしながら、従来の画像の認識システムにおいては、入力データが登録されているか否かの判定をすることはできるが、認識結果の判定の正誤の検証ができなかった。また、従来の認識システムにおいては、判定の誤りにより過誤登録が成された場合、判定の正否の検証ができないので、既に登録されている成分データと過誤登録された成分データに基づいて、更に新たに入力されたデータが登録されているか否かが判定するので、判定の誤りが次の判定の誤りを引き起こし、データ認識の信頼性を低下させることになっていた。
このため、従来の認識システムにおいては、入力データが登録されていないと判定された場合であっても、使用者の確認を経て入力データを登録するため、認識に人手と時間を要し、成分データの登録が難しく適用できる用途が限られていた。

なお、ここまでの説明では、画像認識を行う場合を例にして課題を説明したが、入力データを解析して認識する各種解析処理において、同様の問題がある。

本発明は、入力したデータの認識を行う場合において、認識の信頼性の向上を簡単に行えるようにすることを目的とする。

本発明は、データの認識処理に必要なデータを記憶する記憶処理と、入力した認識対象となるデータの解析を行って記憶処理で記憶されたデータを参照して入力したデータの認識を行う認識処理と、認識対象に関連した動作のデータを得て認識処理の結果の正誤判定を行う判定処理と、判定処理で認識処理結果が誤りであると判定した場合に警告を行う警告処理とを行うようにしたものである。

本発明によると、入力したデータの認識結果が正しいか誤りであるかが、そのデータの認識処理とは直接関係がない別の動作から判定でき、画像認識などの各種認識処理を行う場合の正誤判定が、画像認識そのものとは異なる視点から行うことができ、画像認識処理に負担を与えることなく簡単に行えるようになる。

この場合、判定処理での判定結果が誤りであると判定した場合、認識処理に必要な記憶データを修正することで、同じような認識が次回以降に必要になった場合の認識精度を向上させることができる効果を有する。

また、入力した認識対象となるデータは画像データであり、入力した画像データから被写体を特定する画像認識処理に本発明を適用することで、画像認識の精度を簡単な処理で向上させることが可能になる。

また、この画像認識を行う場合に、認識処理として、入力した画像データを解析して得た記憶成分ベクトルと記憶された入力成分ベクトルとの距離を算出し、入力成分ベクトルとユークリッド距離が最少になる記憶成分ベクトルに与えられた被写体情報から、入力した画像データで示される被写体を特定する認識処理を行うことで、解析された成分ベクトルに基づいた認識と、その認識誤りの修正とが簡単かつ確実に行えるようになるという効果を有する。

本発明の一実施の形態に係るシステム構成例を示すブロック図である。 本発明の一実施の形態に係るシステムの概要の例を示す説明図である。 本発明の一実施の形態による認識処理に必要な、明度と湾曲度との関係を示す特性図である。 本発明の一実施の形態による認識処理の例を示すフローチャートである。 本発明の一実施の形態により修正されたデータの例を示す特性図である。

以下、本発明の一実施の形態について、添付図面を参照して説明する。
まず、図２を参照して本システムの概要を説明する。本実施の形態においては、ある建物のドア１５の近傍を監視する監視カメラ１１を設置し、その監視カメラ１１で監視場所に近づいた人物ｍや物体の監視を行う認識システム１０としてある。監視カメラ１１としては、動画像の撮影を行うカメラと、一定の時間間隔ごとに静止画像の撮影を行うカメラのいずれでもよい。ドア１５の開閉があったことは、検出装置１２で検出する構成としてある。
また、カードリーダ１６などの認証を行うための装置を設置して、その認証装置で特定の認証処理で認証が行われた上で、ドア１５を開けさせる（或いは施錠の解除）を行う構成としてもよい。

監視カメラ１１で撮影して得た画像データは、画像処理装置２１に供給する。画像処理装置２１は、例えばコンピュータ装置（情報処理装置）とその周辺装置で構成し、監視カメラ１１から供給される画像データを使った画像認識処理で、監視場所に近づいたものを判別する処理を行う。その画像認識処理時には、画像処理装置２１内のメモリに記憶されたデータと、画像データの解析結果との比較から、画像データで示される被写体を識別する。その識別処理の例については後述する。
また、本実施の形態の画像処理装置２１には、検出装置１２からのドアの開閉の検出情報についても供給される。この検出装置１２からのドアの開閉の検出情報を使って、画像処理装置２１での識別結果を修正するようにしてある。この修正処理の詳細についても後述する。

画像処理装置２１で得られた識別結果に基づいて、警告が必要である場合には、警報装置１３で警報処理を行う。ここでの警報処理としては、監視カメラ１１で撮影した画像から不審な者を検出した場合の一般的な警報処理の他に、画像処理装置２１での画像識別処理が、検出装置１２での検出情報に基づいて誤りである場合の警報処理も行う構成としてある。警報処理としては、ブザー音や音声出力による警報、警告灯の点灯や点滅などが適用可能である。

また、画像処理装置２１には表示装置１４が接続してあり、その表示装置１４で監視カメラ１１が撮影して得た画像を表示させると共に、各種警報などの監視に伴って得た情報を表示させる構成としてある。表示装置１４が警報装置１３を兼ねる構成として、表示装置１４での表示で警報処理を行う構成としてもよい。

図１は、画像処理装置２１とその周辺構成で構成される認識システム１０全体を示した図である。監視カメラ１１から供給される画像データは、画像処理装置２１内の中央制御ユニット（ＣＰＵ）であるプロセッサ２３に送り、画像解析を行って、成分ベクトルを得る。その得られた成分ベクトルと、メモリ２５内に記憶された各成文ベクトルとを比較して、最も近い記憶データの群を探し出し、撮影して得た画像が何であるのか識別する。この識別処理の詳細についてはフローチャート（図４）の説明時に詳述する。

メモリ２５には、マップＭを有して、画像認識処理に必要な成文ベクトルＣ１，Ｃ２，Ｃ３・・・ＣＮ（Ｎは任意の整数）を記憶させてあると共に、入力した画像データについて画像解析した結果の成分ベクトルＥについても格納させる。また、テーブルＴに、外部（ここでは検出装置１２など）から供給される命令Ｏ１，Ｏ１，Ｏ３・・・ＯＮ（Ｎは任意の整数）などについても格納する。

各命令Ｏ１，Ｏ１，Ｏ３・・・の例を示すと、例えば命令Ｏ１は、入力画像ＥとマップＭ上の各成分ベクトルとの距離を算出し、算出したユークリッド距離が最小になる成分情報を新しい入力と同一物と推定するための命令である。また、命令Ｏ２は、命令Ｏ１によって行われた推定が正しいか間違いかを検証するための命令である。さらに、命令Ｏ３は、命令Ｏ２による検証の結果、命令Ｏ１によって行われた推定が間違っていた場合に、新しい入力Ｅを新しい成分としてメモリ２５上のマップ（Ｍ）に書き込むための命令である。

次に、画像処理装置２１での解析と、その解析に基づいた警報処理について、図３〜図５を参照して説明する。
まず、メモリ２５に記憶される成分ベクトルについて、図３を参照して説明する。
ここでは図３に示すように、例えば、車の形状（湾曲度）及び色（明度）をパラメータとした成分ベクトルＣ１、人間の形状（湾曲度）及び色（明度）をパラメータとした成分ベクトルＣ２、植物の形状（湾曲度）及び色（明度）をパラメータとした成分ベクトルＣ３、建物の形状（湾曲度）及び色（明度）をパラメータとした成分ベクトルＣ４を格納しているマップ（Ｍ）を、メモリ２５に記憶させてある。

このそれぞれの成分ベクトルは、図３に横軸を明度とし、縦軸を湾曲度として分布を示してあるように、分布位置が特定される。但し、車の成分ベクトルＣ１の位置については、車であると判断される形状や色の分布Ｃ１０の中の平均として示され、他の成分ベクトルＣ２，Ｃ３，Ｃ４についても、それぞれ人間，植物，建物であると判断される形状や色の分布Ｃ１２０，３０，４０の中の平均として示される。

そして、入力画像データを解析して得られた成分ベクトルＥの湾曲度及び明度についても、図３に示すようにベクトルの位置が特定される。

そして図３に示すように、入力成分ベクトルＥと、各成分ベクトルＣ１〜Ｃ４のそれぞれのユークリッド距離Ｄ１〜Ｄ４を求め、それらに基づいて、画像の認識処理を行う。ここでは、入力成分ベクトルＥとのユークリッド距離Ｄ１〜Ｄ４の内で、最小になるユークリッド距離を選びだし、その最小になるユークリッド距離から、画像中の被写体を判別する。
図３の例では、植物の群Ｃ３０の成分ベクトルＣ３とのユークリッド距離Ｄ３が最小であるとなった場合の例である。なお、図３に示した成分データは、説明のための一例であり、例えば、人が着用している衣服の色彩、模様、車の色彩、模様を成分データとしても良い。

次に、図４のフローチャートを参照して、このように画像認識した場合の処理例について説明する。
ここでは、監視カメラ１１で撮影して得た画像データとして、緑色の迷彩服を着た人を撮影して得た画像データとしての入力データＥが画像処理装置２１に得られたとする。このとき、画像処理装置２１では、入力データＥから、入力データＥに関する物体の明度と湾曲度の情報が求められる（ステップＳ１）。なお、入力データＥとして、画像全体から得るのではなく、動く物体、動く物体、すなわち時間的に変化する画像部分を検出し、その検出した動く物体の部分の画像データだけを抽出して、入力データＥとしてもよい。

図４のフローチャートの説明に戻ると、プロセッサ２３が、命令Ｏ１を実行する。プロセッサ２３がメモリ２５（図１）にアクセスし、メモリ２５から成分情報Ｃ１〜Ｃ４を取得する。ここで、成分情報Ｃ１〜Ｃ４は、事前に直接又は学習によりメモリ２５のマップ（Ｍ）に入力される。そして、プロセッサ２３が、入力データＥと各成分情報Ｃ１〜Ｃ４とのユークリッド距離Ｄ１〜Ｄ４を計算する。そして、計算されたユークリッド距離Ｄ１〜Ｄ４を比較する。その中で、迷彩服を着た人間の入力データＥと植物の成分情報Ｃ３とのユークリッド距離Ｄ３が、他のユークリッド距離Ｄ１、Ｄ２、Ｄ４と比較して最も小さいことから、迷彩服を着た人間を植物であると推定する（ステップＳ２）。

次にプロセッサ２３が、命令Ｏ２を実行する。ここでは、プロセッサ２３が、検出装置１２（図１）から情報を取得し、入力データＥが、人間から発生したものであることを検証する。具体的には、検出装置１２でドアの開閉があるか否か判断する。このとき、開閉するタイミングが、画像データで検出された被写体の動きでドアを通過するタイミングと一致するか否かについても判断するようにしてもよい。

そして、ステップＳ３での検証から、ステップＳ２での画像認識処理が正しいか否か判断する（ステップＳ４）。ここでは、動く被写体の検出に連動して、検出装置１２でドアの開閉があったか否か判断し、連動した開閉があった場合には、ステップＳ２での判定が誤りであるとして、ステップＳ５に移る。ステップＳ２で判定が正しいと判断した場合には、ステップＳ１に戻って、次のデータ入力に備える。

ステップＳ４で、誤りがあると判断した場合には、ステップＳ５に移り、プロセッサ２３が、命令Ｏ３を実行する。ここでは、プロセッサ２３が、メモリ２５にアクセスし、入力データＥを新たな警告すべき成分としてマップＭ上にフラグを立てて、データベースに書き込む処理を行い、メモリ２５の参照用の記憶データを更新させる。また、プロセッサ２３が、警報装置１３に警報命令を出力する。

図５は、このようにしてメモリ２５のマップＭを更新させた例を示した図である。
この図５は、図３のマップＭを更新させた例を示した図である。図５に示すように、今回の入力データＥのベクトル位置についても、人間の範囲Ｃ２０′となり、その更新位置まで含めた平均のベクトル位置Ｃ２′が得られる。このように更新処理を行うことで、次回以降に、同じようなベクトル位置の入力データＥがある場合には、被写体が人間であると判断されて、正しい警報処理が行えるようになる。
なお、図５の例では、人間と判断される群Ｃ２０′を更新で変化させるようにしたが、例えば迷彩服を着た人間のベクトル位置をメモリマップ上に登録して、画像データから該当するベクトル位置に近い画像を検出したとき、迷彩服を着た人間と特定するようにしてもよい。

以上説明したように、本実施の形態の処理を行うことで、メモリに格納される成分データと、テーブルに格納される命令によりメモリ上のデータが動的にカテゴライズされる。これにより、入力データを、多次元成分の成分データに基づいて推定し、分類し、入力データを成分データとして追加登録することができる。或いは、推定（判定）結果から、メモリに記憶された一部の成分データを削除するようにしてもよい。

このように成分データを動的に変更することができることで、実際の運用を行うことで、メモリの記憶データが随時適切に修正されて、監視カメラで撮影した画像データからの判定が、誤りなく適切に行えるようになる。このため、画像解析でそれほど高度な画像認識を行わなくても正確な認識ができるようになり、画像処理装置２１での認識処理に負担をかけることなく、監視による警報が適正に行えるようになる。

また、本実施の形態によると、ドアの開閉があることで、画像処理装置に組み込まれた情報処理装置での処理に何らかの障害があって、侵入者などの人間であると検出できない場合にも対処が可能となる。即ち、画像から人間が検出されずに、ドアの開閉の検出があることで、未知の不具合であると判断でき、その未知の不具合を解析することで、メモリの障害と判定するのかディスクの障害と判定等するのかという故障解析に応用することができる。

なお、上述した実施の形態では、画像認識結果の判断を行う上で、認識対象に関連した動作を得るために、ドアの開閉を検出する構成としたが、その他の認識対象に関連した動作を検出する構成としてもよい。具体的には、例えば図２に示したカードリーダ１６でカード認証を行うなどの特定動作があったことを、認識処理に関連した動作として、その動作時の画像認識の結果の正誤判定を行うようにしてもよい。

例えば、画像認識から予め登録された特定の人物の顔か否か判断し、その判断で特定の人物でないと判断した場合で、カードリーダ１６などの認証処理で、特定の人物であったとき、画像認識のための記憶データを修正するようにしてもよい。ここではカードリーダを使って特定するようにしたが、指紋などの生体認証処理で認証した結果を、画像認識処理結果の正誤判定に使ってもよい。

また、上述した実施の形態では、監視カメラで撮影して得た画像データの認識処理結果を正誤判定するシステムに適用したが、その他の各種画像撮影システムに適用してもよい。あるいはまた、画像データ以外のデータを入力とするシステムで、その入力データの認識処理結果の正誤判定を、入力データの認識対象に関連した動作の検出結果から行うようにしてもよい。

また、上述した図３などで示したベクトル成分とユークリッド距離から認識処理を行う例についても、簡単な一例を示したものであり、この図３などの例に限定されるものではない。図３の場合、画像の明度と湾曲度という２つのパラメータから認識した例としたが、実際に画像認識処理を行う場合には、画像から判断可能な様々のパラメータを使って、多くの次元数の多次元のベクトルとして処理を行うことが好ましい。そのようにして得られた多次元のベクトルどうしを比較してユークリッド距離を求めることで、より精度の高い認識処理が可能となる。

さらにまた、上述した実施の形態では、画像処理装置とその周辺機器とで構成される専用のシステムとして構成させた例について説明したが、例えば汎用のパーソナルコンピュータ装置などの情報処理装置に、本発明の処理（図４のフローチャートの処理など）を手順化して順に実行するプログラム（ソフトウェア）をインストールして、同様のシステムを構成させてもよい。本発明の処理を行うプログラムについては、光ディスクや半導体メモリなどの各種媒体を使って配布するか、或いは各種伝送路を介してダウンロードさせる構成としてもよい。

１０…認識システム、１１…監視カメラ、１２…検出装置、１３…警報装置、１４表示装置、１５…ドア、１６…カードリーダ、２１…画像処理装置、２３…プロセッサ（ＣＰＵ）、２５…メモリ

Claims (9)

1. 認識対象となるデータの入力手段と、
   前記入力手段に入力したデータの認識処理に必要なデータを記憶する記憶手段と、
   前記入力手段で入力したデータの解析を行って、前記記憶手段に記憶されたデータを参照して入力したデータの認識を行う認識処理手段と、
   前記認識対象に関連した動作のデータを得て、前記認識処理手段の認識処理結果の正誤判定を行う判定手段と、
   前記判定手段で認識処理結果が誤りであると判定した場合に、警告を行う警告手段とを備えたことを特徴とする認識処理装置。
2. 請求項１記載の認識処理装置において、
   前記判定手段での判定結果が誤りであると判定した場合、前記記憶手段が記憶する認識処理に必要なデータを修正することを特徴とする認識処理装置。
3. 請求項２記載の認識処理装置において、
   前記入力手段に入力するデータは画像データであり、
   前記認識処理手段は、入力した画像データから被写体を特定する画像認識処理を行うことを特徴とする認識処理装置。
4. 請求項３記載の認識処理装置において、
   前記認識処理手段は、入力手段に入力した画像データを解析して得た記憶成分ベクトルと、前記記憶手段に記憶された入力成分ベクトルとの距離を算出し、入力成分ベクトルとユークリッド距離が最少になる記憶成分ベクトルに与えられた被写体情報から、入力手段に入力した画像データで示される被写体を特定する認識処理を行うと共に、
   その認識結果で特定された被写体を前記判定手段で誤りと判定した場合に、前記入力成分ベクトルに基づいて、前記記憶手段に記憶されたデータを修正することを特徴とする認識処理装置。
5. データの認識処理に必要なデータを記憶する記憶処理ステップと、
   入力した認識対象となるデータの解析を行って、前記記憶処理ステップで記憶されたデータを参照して入力したデータの認識を行う認識処理ステップと、
   前記認識対象に関連した動作のデータを得て、前記認識処理ステップの結果の正誤判定を行う判定処理ステップと、
   前記判定処理ステップで認識処理結果が誤りであると判定した場合に、警告を行う警告処理ステップとを行うことを特徴とする認識処理方法。
6. 請求項５記載の認識処理方法において、
   前記判定処理ステップでの判定結果が誤りであると判定した場合、前記記憶処理ステップで記憶された認識処理に必要なデータを修正することを特徴とする認識処理方法。
7. 請求項６記載の認識処理方法において、
   前記入力した認識対象となるデータは画像データであり、
   前記認識処理ステップは、入力した画像データから被写体を特定する画像認識処理を行うことを特徴とする認識処理方法。
8. 請求項７記載の認識処理方法において、
   前記認識処理ステップは、入力した画像データを解析して得た記憶成分ベクトルと、前記記憶処理で記憶された入力成分ベクトルとの距離を算出し、入力成分ベクトルとユークリッド距離が最少になる記憶成分ベクトルに与えられた被写体情報から、入力した画像データで示される被写体を特定する認識処理を行うと共に、
   その認識結果で特定された被写体を前記判定処理ステップで誤りと判定した場合に、前記入力成分ベクトルに基づいて、前記記憶処理ステップで記憶されたデータを修正することを特徴とする認識処理方法。
9. 情報処理装置に実装して処理を実行させるプログラムにおいて、
   データの認識処理に必要なデータを記憶する記憶手順と、
   入力した認識対象となるデータの解析を行って、前記記憶手順で記憶されたデータを参照して入力したデータの認識を行う認識手順と、
   前記認識対象に関連した動作のデータを得て、前記認識手順の結果の正誤判定を行う判定手順と、
   前記判定手順で認識処理結果が誤りであると判定した場合に、警告を行う警告手順を情報処理装置に実行させるプログラム。

Images