JP2015032119A - 対象検出装置 - Google Patents

対象検出装置

Info

Publication number
JP2015032119A
JP2015032119A JP2013160843A JP2013160843A JP2015032119A JP 2015032119 A JP2015032119 A JP 2015032119A JP 2013160843 A JP2013160843 A JP 2013160843A JP 2013160843 A JP2013160843 A JP 2013160843A JP 2015032119 A JP2015032119 A JP 2015032119A
Authority
JP
Japan
Prior art keywords
evaluation value
data
image
unit
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013160843A
Other languages
English (en)
Other versions
JP6113018B2 (ja
Inventor
黒川 高晴
Takaharu Kurokawa
高晴 黒川
匠 宗片
Takumi Munekata
匠 宗片
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2013160843A priority Critical patent/JP6113018B2/ja
Publication of JP2015032119A publication Critical patent/JP2015032119A/ja
Application granted granted Critical
Publication of JP6113018B2 publication Critical patent/JP6113018B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力されたデータから検出対象を検出する精度を向上することができる対象検出装置を提供する。
【解決手段】対象検出装置10は、入力データから、検出対象を表現する程度である情報レベルを互いに異ならせた変更データを生成するマルチレベルデータ生成部152と、変更データのそれぞれに対し、検出対象らしさの度合いを表す評価値を算出する評価値算出部153と、情報レベルにて規定される予め設定した順序にて評価値を並べて評価値系列を生成する評価値系列生成部154と、評価値系列が検出対象を含む入力データから生成されたか否かを識別するための識別情報により入力データに検出対象が含まれるか否かを判定する対象判定部155を有する。
【選択図】図4

Description

本発明は、入力されたデータから検出対象を検出する対象検出装置に関する。
従来、防犯、写真もしくはビデオの撮影検索または整理等の様々な目的のために、画像、音声またはセンサー信号といったデータから人体等の検出対象を検出する技術が研究されている。特に近年では機械学習により生成した識別器を用いてデータから検出対象を検出する技術が広く研究されている。例えば、画像に人体が写っているか否かを判定する識別器は、人体が写っている多数の学習用画像と人体が写っていない多数の学習用画像のそれぞれから抽出した特徴量を用い、特徴量空間において人体の特徴量が分布する空間とそれ以外の空間とを分ける識別境界を機械学習することによって生成される。この識別器は、画像から抽出した特徴量が入力されると、その特徴量が特徴量空間において識別境界のどちら側に位置するかによりその画像に人体が写っているか否かを判定する。
しかし、人体が写っている画像及び人体が写っていない画像は多様であり、一般にこれらを完全に分離できる識別境界を見つけることは困難である。特に、例えばハンガーに掛けた上着等のように人体と類似するものが写っている画像から抽出した特徴量は識別境界に対して人体の特徴量が分布する空間側に位置する可能性が高く、その画像に人体が写っていると誤判定されるおそれがある。
そこで、例えば、特許文献1には、装置の設置環境の特性にあわせて識別器を学習させる物体検出装置が提案されている。この物体検出装置は、監視カメラを設置した時に監視カメラからの画像を用いて識別器を学習させる。
特開2009−230284号公報
特許文献1に記載された物体検出装置は、監視カメラを設置後に監視カメラからの画像を用いて識別器を学習させることにより、設置場所に存在するハンガーに掛けた上着のように、検出対象の一例である人体に類似する物を人体と誤判定することを低減できる。しかしながら、特許文献1に記載された物体検出装置は、識別器を学習させた後に新たに検出対象に類似する物が配置された場合には、その物が写っている画像を用いて識別器を学習させていないため、その物を検出対象と誤判定する可能性がある。
物体検出装置は、多くの画像を用いて機械学習を行うことにより検出対象の検出精度を向上させることができる。しかし、検出対象以外の物が写っている画像は多種多様であり、どのような画像が入力されるかを予測することはできない。したがって、入力された画像から抽出した特徴量が特徴量空間において識別境界のどちら側に位置するかによりその画像に検出対象が写っているか否かを判定する技術において、全ての画像について誤判定を完全に防止するように識別器を学習させることは困難である。
このような誤判定を生じる問題は、識別器を用いて検出対象を検出する場合のみならず、パターンマッチング法等の他の方法により検出対象を検出する場合にも共通する問題であり、さらに、画像から検出対象を検出する場合のみならず、音声やセンサー信号等の各種データから検出対象を検出する場合にも共通する問題である。
本発明の目的は、入力されたデータから検出対象を検出する精度を向上することができる対象検出装置を提供することにある。
かかる課題を解決するための本発明は、データ入力部から取得した入力データに検出対象が含まれるか否かを判定する対象検出装置を提供する。係る対象検出装置は、入力データから、検出対象を表現する程度である情報レベルを互いに異ならせた変更データを生成するマルチレベルデータ生成部と、変更データのそれぞれに対し、検出対象らしさの度合いを表す評価値を算出する評価値算出部と、情報レベルにて規定される予め設定した順序にて評価値を並べて評価値系列を生成する評価値系列生成部と、評価値系列が検出対象を含む入力データから生成されたか否かを識別するための識別情報により入力データに検出対象が含まれるか否かを判定する対象判定部と、を有する。
また、マルチレベルデータ生成部は、第1変更処理によって入力データから検出対象を表現する程度を互いに異ならせた第1変更データを生成するとともに、第1変更処理とは異なる第2変更処理によって入力データから検出対象を表現する程度を互いに異ならせた第2変更データを生成し、第1変更データおよび第2変更データを変更データとすることが好ましい。
また、評価値系列生成部は、情報レベルにて規定される予め設定した順序にて評価値を並べた原系列を平滑化して評価値系列を生成することが好ましい。
本発明に係る対象検出装置は、入力されたデータから検出対象を検出する精度を向上することができるという効果を奏する。
情報レベルと評価値の関係の一例を表すグラフである。 情報レベルと評価値の関係の一例を表すグラフである。 情報レベルと評価値の関係の一例を表すグラフである。 情報レベルと評価値の関係の一例を表すグラフである。 第1の実施形態による監視システムの概略構成図である。 第1の実施形態による監視装置の制御部の概略構成図である。 第1の実施形態による監視装置の対象検出処理の動作を示すフローチャートである。 マスキング領域について説明するための模式図である。 複数の変更データごとに算出された評価値を所定順序に並べた評価値系列の一例を表すグラフである。 複数の変更データごとに算出された評価値を所定順序に並べた評価値系列の一例を表すグラフである。 第2の実施形態による監視装置の対象検出処理の動作を示すフローチャートである。 評価値を平滑化した評価値系列について説明するためのグラフである。 評価値を平滑化した評価値系列について説明するためのグラフである。
以下、本発明の一実施形態による対象検出装置について図を参照しつつ説明する。
対象検出装置は、検出処理の対象となる入力データから検出対象に特有の特徴量を求め、求めた特徴量を機械学習により生成した識別器に入力して検出対象らしさの度合いを表す評価値を算出し、算出した評価値から入力データに検出対象が含まれるか否かを判定する。発明者は、鋭意検討を重ね、一つの入力データから情報レベルが互いに異なる複数のデータを生成し、複数のデータのそれぞれから評価値を算出すると、入力データに検出対象が含まれる場合、情報レベルが変化することによる評価値の変化の態様が共通の特徴を有するという知見を得た。さらに、発明者は、検出対象を含む入力データと検出対象を含まない入力データとで、情報レベルが変化することによる評価値の変化の態様が大きく異なるという知見を得た。データの情報レベルは、当該データが検出対象の特徴を表現する程度であり、当該データが検出対象の特徴を表現する詳細さの程度(表現可能な程度)、または当該データが検出対象の特徴表現に適する程度である。
図1A、図1B、図2A及び図2Bに、データの情報レベルとデータの検出対象らしさの度合いを表す評価値の関係の一例を表す。図1A、図1B、図2A及び図2Bにおいて、画像101、111、201、211が、それぞれ入力データを表し、グラフ100、110、200、210が、各入力データについての情報レベルと評価値の関係を表す。グラフ100、110、200、210において、横軸が情報レベルであり、縦軸が評価値である。情報レベルが低いほどそのデータが検出対象の特徴を表現する詳細さが低くなり、情報レベルが高いほどそのデータが検出対象の特徴を表現する詳細さが高くなる。情報レベルが最も高い値(33)におけるデータは元の入力データである。評価値が0の場合、入力データから求めた検出対象についての特徴量が特徴量空間において識別境界上に位置し、評価値が正値の場合、その特徴量が特徴量空間において識別境界に対して検出対象側に位置し、評価値が負値の場合、その特徴量が特徴量空間において識別境界に対して検出対象でない側に位置していることを表す。そして評価値は、値が高いほど検出対象らしいことを表し、値が低いほど検出対象らしくないことを表す。
図1A、図1B、図2A及び図2Bにおいて検出対象は人体である。図1Aは、入力データに検出対象が含まれ、且つ元の入力データに対する評価値が正値である例を示す。図1Bは、入力データに検出対象が含まれ、且つ元の入力データに対する評価値が負値である例を示す。図2Aは、入力データに検出対象が含まれず、且つ元の入力データに対する評価値が負値である例を示す。図2Bは、入力データに検出対象が含まれず、且つ元の入力データに対する評価値が正値である例を示す。
図1Aのグラフ100に示すように、入力データに検出対象が含まれる場合、情報レベルが低い領域(1〜18)では情報レベルの変化に関わらず評価値は変化せず、情報レベルが中程度の領域(18〜25)では情報レベルの上昇に従って評価値が下降し、情報レベルが高い領域(25〜32)では情報レベルの上昇に従って評価値が急激に上昇する傾向にある。また、図1Bのグラフ110に示す例でも、情報レベルが低い領域(1〜15)では評価値は変化せず、情報レベルが中程度の領域(15〜23)では評価値が下降し、情報レベルが高い領域(23〜32)では評価値が急激に上昇する傾向にある。このように、上記の傾向は、入力データに検出対象が含まれる場合、評価値自体の高さに関わらず見られる。すなわち、上記の傾向は、入力データから求めた検出対象についての特徴量が特徴量空間において識別境界に対して検出対象側に位置する場合でも、検出対象でない側に位置する場合でも同様に見られる。
一方、図2Aのグラフ200及び図2Bのグラフ210に示すように、入力データに検出対象が含まれない場合、情報レベルの変化にともない不規則に評価値が変化し、入力データに検出対象が含まれる場合に見られる傾向は見られない。このように、入力データに検出対象が含まれる場合に見られる傾向は、入力データに検出対象が含まれない場合は、評価値自体の高さに関わらず見られない。すなわち、入力データに検出対象が含まれる場合に見られる傾向は、入力データに検出対象が含まれない場合は、入力データから求めた検出対象についての特徴量が特徴量空間において識別境界に対して検出対象側に位置する場合でも、検出対象でない側に位置する場合でも同様に見られない。
そこで、本発明の一実施形態による対象検出装置は、一つの入力データから情報レベルが互いに異なる複数のデータを生成し、生成したデータごとに検出対象についての特徴量を求める。対象検出装置は、求めた特徴量を、検出対象が含まれる入力データから求めた特徴量と、含まれない入力データから求めた特徴量とを用いて予め学習された識別器に入力して評価値をそれぞれ算出する。そして、対象検出装置は、算出した評価値を情報レベルについて予め設定した順序(例えば、昇順又は降順)に並べた評価値系列を生成する。さらに、対象検出装置は、生成した評価値系列を、検出対象が含まれる入力データについて生成された評価値系列と、含まれない入力データについて生成された評価値系列とを用いて予め学習された識別器に入力して、入力データに検出対象が含まれるか否かを判定する。すなわち、対象検出装置は、検出対象についての特徴量が特徴量空間において識別境界に対してどちら側に位置するかではなく、情報レベルを変更したときの特徴量の識別境界に対する位置の変化によって、入力データに検出対象が含まれるか否かを判定する。これにより、対象検出装置は、入力データから検出対象を検出する精度の向上を図る。
以下、本発明の第1の実施形態による対象検出装置が実装された監視システムについて図を参照しつつ説明する。
本実施形態による監視システムは、監視領域へ侵入した侵入者を検知して警報を発する。この監視システムは、監視装置とセンタ装置を有する。この監視装置は、監視領域を撮影した画像に人体が写っているか否かを判定し、人体が写っていると判定すると、監視領域に人体が侵入したと判定してセンタ装置に警報を発する。つまり、本実施形態による監視システムは、入力データを画像データとし、検出対象を人体とする。
図3は、本実施形態による監視システムの概略構成を示す図である。図3に示すように、監視システムは、一つ以上の監視装置10と、監視装置10と公衆通信回線を通じて接続されるセンタ装置50を有する。監視装置10は、監視領域に侵入者を検知すると、公衆通信回線を介して接続されたセンタ装置50へ、侵入者が検知されたことを示す異常信号を送信する。監視装置10は、撮像部11、インタフェース部12、通信部13、記憶部14及び制御部15を有する。以下、監視装置10の各部について詳細に説明する。
撮像部11は、所定の周期(例えば200ms)で監視領域を撮影するカメラであり、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子(例えば、CCDセンサ、C−MOSなど)と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像部11は、インタフェース部12と接続され、撮影した撮影画像を順次インタフェース部12へ渡す。
撮影画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、撮影画像を、横320画素×縦240画素を有し、8ビットの輝度分解能を持つグレースケール画像とした。ただし、撮影画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
インタフェース部12は、撮像部11と接続されるインタフェース回路、例えばビデオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインタフェース回路を有する。インタフェース部12は、制御部15と例えばバスを介して接続され、撮像部11から受け取った撮影画像を制御部15へ送る。
通信部13は、監視装置10を公衆通信回線に接続する通信インタフェース及びその制御回路を有し、例えばバスを介して制御部15と接続される。通信部13は、監視領域において侵入者が検知されたことを通知する場合、制御部15の制御に従って、監視装置10とセンタ装置50の間の接続処理を行う。そして、通信部13は、監視装置10とセンタ装置50の間で接続が確立された後、制御部15から受け取った異常信号をセンタ装置50に送信する。通信部13は、異常信号の送信が終わると、監視装置10とセンタ装置50の間の接続を開放する処理を行う。
記憶部14は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部14は、監視装置10を制御するためのコンピュータプログラム及び各種データを記憶し、制御部15との間でこれらの情報を入出力する。なお、コンピュータプログラムは、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)等のコンピュータ読取可能な記憶媒体から記憶部14にインストールされてもよい。各種データには人体の参照データ及び評価値系列の参照データが含まれる。
制御部15は、対象検出装置の例であり、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、MCU(Micro Control Unit)等の少なくとも一つのプロセッサ及びその周辺回路を有する。制御部15は、インタフェース部12から受け取った撮影画像を記憶部14に記憶する。そして、制御部15は、記憶部14に記憶した撮影画像を読み出してその撮影画像に人体が写っているか否かを判定し、人体が写っていると判定すると、通信部13を介してセンタ装置50に警報を発する。
図4は、制御部15の概略構成を示す図である。図4に示すように制御部15は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、データ入力部150、切り出し部151、マルチレベルデータ生成部152、評価値算出部153、評価値系列生成部154、対象判定部155及び通知制御部156を有する。
なお、制御部15が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、制御部15の各部について詳細に説明する。
データ入力部150は、記憶部14に撮影画像が記憶される度に、記憶部14から撮影画像を読み出し、切り出し部151に送る。
切り出し部151は、データ入力部150から撮影画像を受け取る度に、データ入力部150から受け取った撮影画像から検出処理の対象とする所定サイズの画像を順次切り出し、切り出した画像をマルチレベルデータ生成部152に送る。切り出し部151は、撮影画像内に切り出し位置を複数設定するとともに、撮像部11の設置状態と監視領域に侵入する人体の個人差から想定される撮影画像上の人体のサイズの範囲内で切り出す画像のサイズを複数設定し、設定した位置とサイズの組み合わせの数の部分画像を順次切り出す。例えば、切り出す画像のサイズは、水平方向64画素×垂直方向128画素に設定することができる。また、切り出し位置は、撮影画像の左上端から水平方向に切り出す画像の水平方向の長さの半分ずつずらしていった位置、及びそれらの位置からさらに垂直方向に切り出す画像の垂直方向の長さの半分ずつずらしていった位置に設定することができる。なお、例えば撮影領域が広範囲にわたる場合には、切り出し位置に応じて切り出す画像のサイズを変更してもよい。その場合、撮像部11に近い領域が写っている撮影画像の下側に切り出し位置が位置するほど切り出す画像のサイズを大きくし、撮像部11から離れた領域が写っている撮影画像の上側に切り出し位置が位置するほど切り出す画像のサイズを小さくすることができる。また、処理時間に余裕があれば水平方向および垂直方向にそれぞれ1画素ずつずらして切り出してもよく、ずらし幅は適宜定めることができる。以下、切り出し部151が切り出した画像を部分画像と称する。本実施形態では部分画像が入力データの例である。
マルチレベルデータ生成部152は、一つの入力データから、情報レベルを互いに異ならせた複数の変更データを生成し、生成した変更データを情報レベルと対応付けて評価値算出部153に送る。以下、情報レベルを互いに異ならせた複数の変更データをマルチレベルデータと称する。本実施形態によるマルチレベルデータ生成部152は、入力データである撮影画像から切り出された部分画像から、情報レベルを互いに異ならせた画像(以下、個別レベル画像と称する)を複数生成し、元の部分画像及び生成した個別レベル画像をマルチレベルデータとして生成する。
本実施形態では、データの情報レベルが、当該データが検出対象の特徴を表現する詳細さの程度(表現可能な程度)である例について説明する。本実施形態によるマルチレベルデータ生成部152は、マルチレベルデータとして、情報レベルが高いほど鮮鋭度が高く、情報レベルが低いほど鮮鋭度が低い、鮮鋭度が互いに異なる複数の画像を生成する。マルチレベルデータ生成部152は、部分画像に平均化処理を実施することにより鮮鋭度を低くした個別レベル画像を生成する。例えば、マルチレベルデータ生成部152は、部分画像に、情報レベルが高いほどフィルタサイズが小さく、情報レベルが低いほどフィルタサイズが大きい平均化フィルタをそれぞれ適用することにより、鮮鋭度が互いに異なる複数の個別レベル画像を生成する。平均化フィルタのフィルタサイズを(4(n-1)+1)(例えばnは2〜33の整数)とすると、個別レベル画像の各画素には部分画像において対応する画素を中心とする(4(n-1)+1)画素×(4(n-1)+1)画素の範囲にある画素の画素値の平均値が設定される。つまり、フィルタサイズを大きくするほど、その平均化フィルタの通過帯域は狭くなり、その個別レベル画像はぼけた画像となって鮮鋭度が低くなるので、その個別レベル画像が人体の特徴を表現可能な程度は低くなって情報レベルは低くなる。例えば、情報レベルは、1から33まで33段階に定められる。そして、情報レベルが1のときのフィルタサイズは129(n=33)に設定され、情報レベルが1大きくなるごとにフィルタサイズは4小さい値に(nは1小さい値に)設定される。また、情報レベルが最も高い値である33のときは、平均化フィルタが適用されていない元の部分画像が利用される。
評価値算出部153は、マルチレベルデータに含まれる各変更データごとに、検出対象らしさの度合いを表す評価値を算出し、各評価値を情報レベルと対応付けて評価値系列生成部154に送る。本実施形態による評価値算出部153は、人体の識別に有用な一つ以上の特徴量である人体特徴量としてHOG(Histograms of Oriented Gradients)特徴量を用いたリアルアダブースト(Real-Adaboost)識別器を有する。評価値算出部は、入力された画像を複数のブロックに分割し、さらに各ブロックを複数のセルに分割する。例えば、各セルは5画素×5画素の矩形領域であり、各ブロックは3セル×3セルの矩形領域である。そして、評価値算出部は、入力された画像内の各画素における画素値の勾配方向及び勾配強度を算出する。なお、勾配方向は向きを考慮する必要がないため0°〜180°の範囲で算出され、例えば22.5°ごとに分割された8方向に定められる。評価値算出部は、セルごとに、各勾配方向について各勾配方向の勾配強度の総和を度数としたヒストグラムを求め求めたヒストグラムをブロックごとに正規化したものをHOG特徴量とする。
リアルアダブースト識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器には、各弱識別器ごとに予め決定されたハールライク特徴量を用いて画像から特徴量を算出する。各弱識別器は、対応する部分画像に人体が写っている可能性が高いほど高く、可能性が低いほど低い値を出力する。一方、強識別器は、各弱識別器による出力値の総和を評価値として出力する。なお、この評価値は、少なくとも三値以上の値を取り、例えば連続値である。
なお、どの隣接矩形領域に関するHOG特徴量を各弱識別器として利用するかは、人体が写っている複数の学習用人体画像及び人体が写っていない複数の学習用非人体画像(以下、学習用人体画像及び学習用非人体画像をまとめて学習用画像と称する)から事前学習により決定される。学習手順の概略は以下の通りである。
(1)事前学習を行うコンピュータは、各学習用画像について、画像領域中に複数のブロックを設定し、設定した各ブロックに関するHOG特徴量をそれぞれ算出する。
(2)コンピュータは、各学習用画像に対する重みを決定する。重みの初期値は、各学習用画像に対して同じ値とする。
(3)コンピュータは、設定したブロックのそれぞれについて、そのブロックに関するHOG特徴量ごとに、学習用人体画像について設定された重みから学習用人体画像の確率密度分布W+ jを算出する。なお、jはHOG特徴量の値に対応する番号である。同様に、コンピュータは、設定したブロックのそれぞれについて、そのブロックに関するHOG特徴量の値ごとに、学習用非人体画像について設定された重みから学習用非人体画像の確率密度分布W- jを算出する。なお、コンピュータは、各HOG特徴量をその値の取り得る範囲を複数に分割することによって量子化し、確率密度分布W+ j及び確率密度分布W- jを算出してもよい。
(4)コンピュータは、各HOG特徴量について、学習用人体画像の確率密度分布W+ jと学習用非人体画像の確率密度分布W- jから評価値Zを以下の式より算出する。
Figure 2015032119
なお、この結合度Zが小さいほど学習用人体画像の分布と学習用非人体画像の分布が分離していることを意味する。そのため、コンピュータは、評価値Zが最小となるブロックに関するHOG特徴量を一つの弱識別器として選択する。弱識別器の出力h(x)は、以下の式で表される。
Figure 2015032119
ここで、xは弱識別器に入力するHOG特徴量の値であり、εは分母が0となることを防ぐための定数(例えば10-10)である。式(2)に表されるように、弱識別器は、入力値(HOG特徴量)に対応する、学習用人体画像の確率密度分布W+ jが大きいほど大きい値を出力し、入力値に対応する、学習用非人体画像の確率密度分布W- jが大きいほど小さい値を出力する。そして、弱識別器は、学習用人体画像の確率密度分布W+ jが学習用非人体画像の確率密度分布W- jより大きいとき正の値を出力し、小さいとき負の値を出力し、同一であるとき0を出力する。
(5)コンピュータは、選択したHOG特徴量を用いた弱識別器が識別に失敗した学習用画像の重みを大きくし、識別に成功した学習用画像の重みを小さくする。そして、全ての学習用画像の重みの和が1となるよう学習用画像の重みを正規化する。
(6)コンピュータは、(3)〜(5)の手順を所定回数繰り返す。
このようにして決定された各弱識別器として用いるHOG特徴量の情報とブロックを表す情報と、各弱識別器の出力関数を表す情報とは、人体の参照データとして記憶部14に記憶される。
評価値算出部153は、(4)で選択された各弱識別器の出力値の総和を評価値とする。この評価値は、HOG特徴量が特徴量空間において識別境界に対して人体側の領域に位置するときに正値となり、非人体側の領域に位置するときに負値となり、その位置が識別境界から遠いほどその絶対値は大きくなり、近いほど絶対値は小さくなる。
以下、前述した図1A、図1B、図2A及び図2Bを用いて、評価値の算出処理について説明する。図1A、図1B、図2A及び図2Bに示した入力データ101、111、201、211は部分画像の例を示している。図1A、図1B、図2A及び図2Bに示したグラフ100、110、200、210は、情報レベルと、その情報レベルに対応した平均化フィルタを部分画像に適用して生成した個別レベル画像から算出した評価値の関係の例を示している。
図1Aに示す部分画像101は人体が写っていることが明確な画像であり、図2Aに示す部分画像201は人体が写っていないことが明確な画像である。図1Aに示すグラフ100及び図2Aに示すグラフ200では、情報レベルが最も高い値である33のときの評価値、すなわち平均化フィルタが適用されていない元の部分画像に対する評価値の符号は、正解の符号を示している。そのため、部分画像101及び部分画像201については、元の部分画像に対する評価値を用いても人体が写っているか否かを正しく判別することができる。
一方、図1Bに示す部分画像111には人体が写っているが、背景に他の人物及び複雑な模様が写っており、部分画像111は人体が写っていることが明確でない画像である。また、図2Bに示す部分画像211には人体が写っていないが、人体と誤りやすい建物212が写っており、部分画像211は人体が写っていないことが明確でない画像である。図1Bに示すグラフ110及び図2Bに示すグラフ210では、情報レベルが最も高い値である33のときの評価値、すなわち平均化フィルタが適用されていない元の部分画像に対する評価値の符号は、不正解の符号を示している。そのため、部分画像111及び部分画像211については、元の部分画像に対する評価値から人体が写っているか否かを正しく判別することは困難である。
一方、図1Aのグラフ100では、情報レベルが低い領域(1〜18)では情報レベルの変化に関わらず評価値は変化せず、情報レベルが中程度の領域(18〜25)で情報レベルの上昇に従って評価値が下降し、情報レベルが高い領域(25〜32)で情報レベルの上昇に従って評価値が急激に上昇している。また、図1Bのグラフ110でも、情報レベルが低い領域(1〜15)では評価値は変化せず、情報レベルが中程度の領域(15〜23)で評価値が下降し、情報レベルが高い領域(23〜32)で評価値が急激に上昇している。それに対して、図2Aのグラフ200及び図2Bのグラフ210では、そのような傾向は見られない。
したがって、制御部15は、情報レベルに応じた評価値の変化が、部分画像に人体が含まれる場合に見られる傾向を示すか否かを判定すれば、各部分画像101、111、201及び211について人体が写っているか否かを全て正しく判定することができる。
評価値系列生成部154は、マルチレベルデータに含まれる各変更データごとに算出された評価値を情報レベルについて予め設定した順序にて並べた評価値系列を生成し、生成した評価値系列を対象判定部155に渡す。この順序は、情報レベルにて規定される。例えば、順序を情報レベルの昇順とし、情報レベルが1〜33の33段階である場合、評価値系列生成部154は、各情報レベルの個別レベル画像について算出された評価値V1 〜V33を昇順に並べた33元ベクトル(V1,V2,V3,...,V33)を評価値系列として生成する。なお、順序は情報レベルの降順又は別の順序とすることもでき、事前学習時の順序と対象検出時の順序が同一であればよい。
対象判定部155は、評価値系列が入力されると、その評価値系列が検出対象を含む入力データから生成されたか否かを識別するための識別情報を出力する識別器(以下、系列識別器と称する)を有する。対象判定部155は、その系列識別器に、評価値系列生成部154から受け取った評価値系列を入力したときに出力される識別情報により、入力データに検出対象が含まれるか否かを判定し、判定結果を出力する。本実施形態では、系列識別器が、識別情報として評価値系列が検出対象を含む入力データについて生成されたか否かの識別結果を出力する例について説明する。
本実施形態による対象判定部155は、系列識別器としてサポートベクトルマシンを用いる。事前学習を行うコンピュータは、複数の学習用人体画像から生成された評価値系列と、複数の学習用非人体画像から生成された評価値系列とを用いて事前学習を行う。このコンピュータは、特定の画像から生成された評価値系列が入力されたときに、その画像に人体が写っているか否かを判別するための超平面識別関数を算出する。超平面識別関数g(x)は、以下の式で表される。
g(x)=wtx+b (3)
ここで、xは系列識別器に入力する評価値系列のベクトルであり、wは重みベクトルであり、bはバイアス項である。重みベクトルwは、人体側のクラスと非人体側のクラスの間のマージンを最大化するように算出される。本実施形態の超平面識別関数は、入力された評価値系列が、特徴量空間において、識別境界に対して人体側の領域に位置するときに正値となり、非人体側の領域に位置するときに負値となり、その位置が識別境界から離れるほど絶対値が大きく、識別境界に近いほど絶対値が小さい値を出力する。つまり、この超平面識別関数の出力値は、評価値系列が検出対象を含む入力データから生成された確からしさを表し、入力データから算出された各評価値の情報レベルに応じた変化が、前述した、入力データに検出対象が含まれる場合に見られる傾向を表している度合いを表している。
系列識別器は、超平面識別関数の出力値を予め設定された判定閾値と比較する。系列識別器は、超平面識別関数の出力値が判定閾値より大きければ、入力された評価値系列が検出対象を含む入力データから生成されたことを表す識別結果(例えば1)を出力する。一方、系列識別器は、超平面識別関数の出力値が判定閾値以下であれば、入力された評価値系列が検出対象を含む入力データから生成されていないこと、つまり入力された評価値系列が検出対象を含まない入力データから生成されたことを表す識別結果(例えば0)を出力する。
なお、判定閾値として、入力データに検出対象が含まれる場合における超平面識別関数の出力値の下限値が設定される。例えば、事前の実験により人体が写った複数のテスト用人体画像に対して算出された出力値の平均値と人体が写っていない複数のテスト用非人体画像に対して算出された出力値の平均値との平均値を判定閾値とすることができる。または、テスト用非人体画像に対して算出された出力値の最大値、もしくはテスト用人体画像に対して算出された出力値の最小値を判定閾値としてもよい。つまり、判定閾値より大きい値は、評価値系列が検出対象を含む入力データから生成されたことを示す値となり、判定閾値以下の値は、評価値系列が検出対象を含む入力データから生成されていないことを示す値となる。
事前学習により決定された超平面識別関数の重みベクトルw及びバイアス項bを表す情報と判定閾値は、評価値系列の参照データとして記憶部14に記憶される。
対象判定部155は、評価値系列生成部154から受け取った評価値系列を予め学習された系列識別器に入力する。対象判定部155は、系列識別器から出力された識別結果が、評価値系列が検出対象を含む入力データから生成されたことを表す場合、部分画像に人体が写っていると判定し、評価値系列が検出対象を含む入力データから生成されていないことを表す場合、部分画像に人体が写っていないと判定する。
なお、系列識別器は、識別情報として評価値系列が検出対象を含む入力データから生成されたか否かの識別結果を出力するのではなく、超平面識別関数の出力値を出力するようにしてもよい。その場合、対象判定部155は、系列識別器から出力された出力値が、判定閾値より大きければ、部分画像に人体が写っていると判定し、判定閾値以下であれば、部分画像に人体が写っていないと判定する。
通知制御部156は、対象判定部155によりいずれかの部分画像に人体が写っていると判定されると、異常信号を通信部13を介してセンタ装置50に送信する。
以下、図5に示したフローチャートを参照しつつ、本実施形態による監視装置10による対象検出処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部14に記憶され、制御部15に読み込まれたプログラムに従って、制御部15により制御される。
最初に、制御部15は、撮像部11に監視領域を撮影させて、撮影画像をインタフェース部12を介して取得し、記憶部14に記憶する。そして、データ入力部150は、撮影画像を記憶部14から読み出し、切り出し部151に送る(ステップS501)。次に、切り出し部151は、取得した撮影画像から部分画像を切り出し、切り出した部分画像をマルチレベルデータ生成部152に送る(ステップS502)。なお、制御部15は、切り出し部151が切り出す部分画像の数だけステップS502〜S512の処理を実行する。
次に、制御部15は、情報レベルを設定する(ステップS503)。なお、制御部15は予め定められた情報レベルを低い方から順に設定し、設定する情報レベルの数だけステップS503〜S507の処理を実行する。
マルチレベルデータ生成部152は、ステップS503で設定された情報レベルに対応する個別レベル画像を生成し、生成した個別レベル画像を情報レベルと対応付けて評価値算出部153に送る(ステップS504)。なお、情報レベルが最大値でない場合、マルチレベルデータ生成部152は、部分画像からその情報レベルに対応する個別レベル画像を生成して評価値算出部153に送る。一方、情報レベルが最大値である場合、マルチレベルデータ生成部152は、部分画像をそのまま評価値算出部153に送る。
次に、評価値算出部153は、マルチレベルデータ生成部152から受け取った個別レベル画像から、人体特徴量を抽出する(ステップS505)。次に、評価値算出部153は、抽出した人体特徴量から評価値を算出し、算出した評価値を情報レベルと対応付けて評価値系列生成部154に送る(ステップS506)。
次に、制御部15は、全ての情報レベルについてステップS503〜S506の処理を実行したか否かを判定する(ステップS507)。全ての情報レベルについてステップS503〜S506の処理を実行していなければ(ステップS507のNO)、制御部15は、処理をステップS503に戻してステップS503〜S506の処理を繰り返す。一方、全ての情報レベルについてステップS503〜S506の処理を実行していれば(ステップS507のYES)、評価値系列生成部154は、それまでに評価値算出部153から受け取った評価値を所定順序に並べた評価値系列を生成する(ステップS508)。
次に、対象判定部155は、予め学習された系列識別器に、評価値系列生成部154が生成した評価値系列を入力し、系列識別器から出力される識別結果を取得する(ステップS509)。次に、対象判定部155は、系列識別器から出力された識別結果が、評価値系列が検出対象を含む入力データから生成されたことを表すか否かを判定する(ステップS510)。識別結果が、評価値系列が検出対象を含む入力データから生成されたことを表す場合(ステップS510のYES)、対象判定部155は、部分画像に人体が含まれると判定し、通知制御部156は、異常信号を通信部13を介してセンタ装置50に送信する(ステップS511)。異常信号が出力されると、制御部15は、一連のステップを終了する。
一方、識別結果が、評価値系列が検出対象を含む入力データから生成されていないことを表す場合(ステップS510のNO)、対象判定部155は、部分画像に人体が含まれると判定しない。この場合、制御部15は、予め定められた全ての位置及び大きさの部分画像を全て切り出したか否かを判定する(ステップS512)。部分画像を全て切り出していなければ(ステップS512のNO)、制御部15は、処理をステップS502に戻してステップS502〜S512の処理を繰り返す。一方、部分画像を全て切り出していれば(ステップS512のYES)、制御部15は、侵入者は検出されなかったものとして、一連のステップを終了する。
なお、例えば、撮像部11が撮影する撮影画像に人体がちょうど収まるように撮像部11が設置されるような場合、制御部15は、撮影画像から部分画像を切り出す必要がないため、撮影画像から直接個別レベル画像を生成してもよい。その場合、制御部15から切り出し部151が省略され、図5のフローチャートにおいて、ステップS502及びS512の処理が省略される。
以上説明してきたように、本実施形態による監視装置は、監視領域を撮影した撮影画像から切り出した部分画像または撮影画像から、情報レベルを互いに異ならせた複数の個別レベル画像を生成し、生成した各個別レベル画像から評価値を算出する。そして、監視装置は、算出した評価値を情報レベルに従った所定順序に並べた評価値系列を生成し、生成した評価値系列を予め学習された系列識別器に入力して、入力データに検出対象が含まれるか否かを判定する。これにより、監視システムは、撮影画像から人体を検出する精度を向上することができる。
また、本実施形態による監視装置は、評価値自体に基づいて部分画像に人体が写っているか否かを判定するのではなく、情報レベルの変化に応じた評価値の変化の度合いに基づいて部分画像に人体が写っているか否かを判定する。つまり、監視装置は、部分画像から抽出した特徴量が特徴量空間において識別境界に対して人体側に位置するか人体でない側に位置するかにより部分画像に人体が写っているか否かを判定するのではなく、情報レベルの変化に応じた、識別境界に対する特徴量の位置の変化に基づいて人体を検出している。したがって、識別境界自体を高精度に学習する必要がないため、大量の学習用画像を収集する必要がなくなり、装置の開発効率を向上できる。
第1の実施形態における第1の変形例において、評価値算出部は、人体特徴量としてHOG特徴量の代わりにハールライク(Haar-Like)特徴量を使用する。ハールライク特徴量は、画像領域中に任意に設定された複数の隣接矩形領域間の輝度差である。ハールライク特徴量の詳細については、例えば、Paul Viola and Michael Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, vol.1, pp.511-518, 2001に開示されている。
人体特徴量としてハールライク特徴量を使用する場合、評価値算出部の各弱識別器には、所定の隣接矩形領域について求められたハールライク特徴量がそれぞれ入力され、各弱識別器は、入力されたハールライク特徴量に基づいて、対応する部分画像に人体が写っている可能性が高いほど高く、可能性が低いほど低い値を出力する。なお、どの隣接矩形領域のハールライク特徴量を各弱識別器に入力するかは、事前学習により決定される。学習手順は人体特徴量としてHOG特徴量を使用する場合と同様であるため、説明を省略する。事前学習により決定された各弱識別器として用いるハールライク特徴量を表す情報と、隣接矩形領域を表す情報と、各弱識別器の出力関数を表す情報とは、人体の参照データとして記憶部に記憶される。
第1の実施形態における第2の変形例において、マルチレベルデータ生成部は、平均化フィルタのフィルタ処理回数を変更することにより鮮鋭度が互いに異なる複数の変更データを生成する。その場合、マルチレベルデータ生成部は、固定サイズ(例えば3×3)の平均化フィルタを用いて、フィルタ処理を1回実施した画像、2回実施した画像、…、n回実施した画像をそれぞれ生成する。生成される画像はフィルタ処理を繰り返すほどよりぼけた画像となるので、フィルタ処理の回数が多いほど鮮鋭度が低くなり、フィルタ処理の回数が少ないほど鮮鋭度が高くなる。
あるいは、マルチレベルデータ生成部は、平均化フィルタのフィルタ係数を変更することにより鮮鋭度が互いに異なる複数の画像を生成してもよい。その場合、マルチレベルデータ生成部は、固定サイズ(例えば5×5)のフィルタについてフィルタの中央部に近いほど重みが大きくなるように重み付けをし、その重み付けが互いに異なるフィルタを用いて鮮鋭度が互いに異なる複数の画像を生成する。適用するフィルタの縁部から中央部への重みの変化の度合いが緩やかなほど生成される画像の鮮鋭度は低くなり、縁部から中央部への重みの変化の度合いが急峻なほどその鮮鋭度は高くなる。
第1の実施形態における第3の変形例は、上記例とは異なる変更処理によって変更データを生成する例である。第3の変形例においてマルチレベルデータ生成部は、入力された画像に、情報レベルが高いほど少ない量のノイズを、情報レベルが低いほど多い量のノイズをそれぞれ重畳することにより鮮鋭度が互いに異なる複数の変更データを生成する。その場合、マルチレベルデータ生成部は、入力された画像内の所定数の画素をランダムに選択し、選択した画素の値をランダムな値に変更することによりノイズを重畳する。マルチレベルデータ生成部は、値を変更する画素の数を複数通りに変更することにより、互いに異なる量のノイズをそれぞれ重畳した複数の画像を生成する。重畳するノイズ量が多いほど生成される画像のSN(signal to noise)比は低くなって鮮鋭度は低くなり、重畳するノイズ量が少ないほどSN比は高くなって鮮鋭度は高くなる。
あるいは、マルチレベルデータ生成部は、画像内の各画素を画素値が互いに類似する隣接画素のまとまり(セグメント)に分割し、各セグメントごとに、そのセグメントを構成する画素の画素値を同一の値に置換することにより鮮鋭度が互いに異なる複数の画像を生成してもよい。その場合、マルチレベルデータ生成部は、画素値の差の絶対値が閾値以下である隣接画素のまとまりをセグメントとし、各セグメントを構成する画素の画素値をそのセグメントにおける平均画素値で置換する。マルチレベルデータ生成部は、この閾値を複数通りに変更することにより、鮮鋭度が互いに異なる複数の画像を生成する。隣接画素をまとめるための閾値が高いほど生成される画像の鮮鋭度は低くなり、隣接画素をまとめるための閾値が低いほどその鮮鋭度は高くなる。
第1の実施形態における第4の変形例は、上記例とは異なる変更処理によって変更データを生成する別の例であり、検出対象の特徴を表現する詳細さの程度(表現可能な程度)である明瞭度を情報レベルとする例である。第4の変形例において、マルチレベルデータ生成部は、情報レベルが互いに異なる複数の変更データとして、情報レベルが高いほど画像の明瞭度が高く、情報レベルが低いほど画像の明瞭度が低い、画像の明瞭度が互いに異なる複数の変更データを生成する。その場合、例えば、マルチレベルデータ生成部は、情報レベルが高いほど画像内の画素値の階調数を多くし、情報レベルが低いほど画像内の画素値の階調数を少なくした複数の画像を生成する。
あるいは、マルチレベルデータ生成部は、情報レベルが高いほどコントラストを高くし、情報レベルが低いほどコントラストを低くした複数の画像を生成してもよい。その場合、マルチレベルデータ生成部は、入力された画像に対して、画像内の全画素の輝度値の標準偏差が小さくなるように各画素の輝度値を変換した画像を生成する。
第1の実施形態における第5の変形例は、情報レベルを検出対象の特徴表現に適する程度とする例である。第5の変形例において、マルチレベルデータ生成部は、情報レベルが互いに異なる複数の変更データとして、情報レベルが高いほど入力データにおいて検出対象が表される部分をマスキングする度合い(以下、マスキング度合いと称する)を低くし、情報レベルが低いほどマスキング度合いを高くした、マスキング度合いを互いに異ならせた複数の変更データを生成する。入力データが画像データである場合、マルチレベルデータ生成部は、入力された画像において検出対象である人体が表される部分についてのマスキング度合いが互いに異なる複数の画像を生成する。その場合、マルチレベルデータ生成部は、画像の一部をマスキングする所定サイズのマスキング領域をその画像内に設定し、その画像におけるマスキング領域内の画素値を固定値に置換する。そして、マルチレベルデータ生成部は、マスキング度合いが互いに異なる複数の画像として、マスキング領域のサイズが互いに異なる複数の画像を生成する。
図6にマスキング領域について説明するための模式図を示す。図6に示す例では、サイズが互いに異なるマスキング領域600、601、602は、各マスキング領域の中央位置が、それぞれ画像603の中央位置604に一致するように設定される。
マスキング領域のサイズが大きいほど生成される画像のマスキング度合いが高くなってその画像に表れる人体の特徴の正確性が低くなるので情報レベルは低くなり、マスキング領域のサイズが小さいほどそのマスキング度合いが低くなってその情報レベルは高くなる。なお、マスキング度合いが最も低い画像として、マスキング領域のサイズが0の画像、すなわち元の画像を利用することができる。
あるいは、マルチレベルデータ生成部は、マスキング度合いが互いに異なる複数の画像として、マスキング領域の位置が互いに異なる複数の画像を生成してもよい。例えば、検出対象が立位の人物の場合、人体の特徴的な部位は、撮影画像の上部付近により多く存在する可能性が高い。そのため、この場合は、マスキング領域の位置を上部から下部に変更していくことにより、その画像が人体の特徴表現に適する程度を高くしていくことができる。
第1の実施形態における第6の変形例は、上記例とは異なる変更処理によって、検出対象の特徴表現に適する程度が異なる変更データを生成する例である。第6の変形例において、マルチレベルデータ生成部は、検出対象についての特徴量を生成し、情報レベルが互いに異なる複数の変更データとして、情報レベルが高いほど特徴量が表す情報量のレベル(以下、分析レベルと称する)が大きく(分析レベルが高く)、情報レベルが低いほど情報量のレベルが小さく(分析レベルが低く)なるように、特徴量について情報量を互いに異ならせた複数のデータを用いる。この場合、事前学習により決定された、評価値算出部の各弱識別器に入力する特徴量は、評価値算出部でなく、マルチレベルデータ生成部が求め、マルチレベルデータ生成部は、求めた特徴量の分析レベルを複数通りに変更する。
例えば、人体特徴量としてHOG特徴量を用いる場合、マルチレベルデータ生成部は、分析レベルを互いに異ならせた複数の変更データとして、分析レベルが高いほど特徴量を表現する量子化数を多くし、分析レベルが低いほど特徴量を表現する量子化数を少なくした複数の変更データを生成することができる。上述したように、HOG特徴量は画像内の各セルにおける各勾配方向の勾配強度の総和のヒストグラムとして求められる。マルチレベルデータ生成部は、ヒストグラムの量子化数、すなわち勾配方向の数を2、3、4、…、9と、予め設定された範囲で複数通りに変更することにより、分析レベルを変更する。量子化数が少ないほど人体の特徴が失われていくため抽出される特徴量の情報レベルは低くなり、逆に量子化数が多いほどその情報レベルは高くなる。
あるいは、マルチレベルデータ生成部は、各特徴量に対して重み付けを行うことにより、分析レベルを変更してもよい。例えば、特徴量としてHOG特徴量を用いる場合、マルチレベルデータ生成部は、部分画像の中心位置に近いセルと部分画像の中心位置から離れている縁部のセルとで異なる重み係数を設定し、各セルのヒストグラムにこの重み係数を乗じることにより分析レベルを変更する。この場合、部分画像の中心位置のセルと縁部のセルで重み係数の差が大きいほど人体の特徴が失われていくため抽出される特徴量の情報レベルは低くなり、逆に重み係数の差が小さいほどその情報レベルは高くなる。
また、例えば、マルチレベルデータ生成部は、分析レベルを互いに異ならせた複数の変更データとして、特徴量を構成する各要素に分析レベルが高いほど大きく、分析レベルが低いほど小さい1以下の正の係数α(0<α≦1.0)をそれぞれ乗じた複数の変更データを生成する。マルチレベルデータ生成部は、係数αを例えば0.1、0.2、0.3、…、1.0と、予め設定された範囲で複数通りに変更する。例えば、ハールライク特徴量を用いる場合、ハールライク特徴量として算出された複数の隣接矩形領域間の輝度差のそれぞれにαを乗じて変更データを生成する。αが小さいほど人体の特徴が失われていくため求められる特徴量の情報レベルは低くなり、逆にαが大きいほどその情報レベルは高くなる。
分析レベルを互いに異ならせた複数の変更データを生成する場合、図5のフローチャートのステップS504において、マルチレベルデータ生成部は、部分画像から、評価値算出部の各弱識別器に入力する特徴量を求め、特徴量の各要素に対してステップS503で設定された情報レベルに対応する係数αを乗じて、評価値算出部に送る。そして、ステップS505は省略され、ステップS506において、評価値算出部は、マルチレベルデータ生成部から受け取った特徴量から評価値を算出する。
第1の実施形態における第7の変形例は、上記例とは異なる変更処理によって、検出対象の特徴表現に適する程度が異なる変更データを生成する別の例である。第7の変形例において、マルチレベルデータ生成部は、入力された画像に対して複数通りに幾何変換を行うことにより、又は幾何変換に相当する変換処理を特徴量に対して行うことにより、情報レベルを互いに異ならせた複数の変更データを生成する。
例えば、マルチレベルデータ生成部は、部分画像を回転させることにより幾何変換を行う。画像に写っている検出対象は回転角度が大きいほど多くの学習用画像における検出対象の傾きと異なるものとなるため、回転後の画像が検出対象の特徴表現に適する程度は低下して、情報レベルは低くなる。この場合、マルチレベルデータ生成部は、情報レベルが高いほど小さい回転角度で情報レベルが低いほど大きい回転角度で部分画像をそれぞれ回転させた複数の個別レベル画像を生成する。
また、例えば、マルチレベルデータ生成部は、画像の回転に相当する処理を特徴量に施すことにより幾何変換を行う。この場合、評価値算出部の各弱識別器に入力する特徴量は、評価値算出部でなく、マルチレベルデータ生成部が求める。例えば、特徴量がHOG特徴量である場合、マルチレベルデータ生成部は、部分画像を複数のセルに分割し、セルごとに、セル内の各画素における画素値の勾配方向及び勾配強度を算出し、各勾配方向について各勾配方向の勾配強度の総和を度数としたヒストグラムを求める。そして、マルチレベルデータ生成部は、求めたヒストグラムの各勾配方向について、度数、すなわち各勾配方向の勾配強度の総和を所定の段階だけ循環させたものをHOG特徴量として求める。マルチレベルデータ生成部は、循環させる段階数を互いに異ならせた複数のHOG特徴量を求め、情報レベルを互いに異ならせた複数の変更データとして用いる。
また、特徴量がハールライク特徴量である場合、マルチレベルデータ生成部は、事前学習により決定された各弱識別器に入力するハールライク特徴量に対応する隣接矩形領域ごとに、その隣接矩形領域を回転させて、回転させた隣接矩形領域間の輝度差をその弱識別器に入力するハールライク特徴量として求める。この場合、マルチレベルデータ生成部は、事前学習により決定された各弱識別器に入力するハールライク特徴量に対応する隣接矩形領域ごとに、その隣接矩形領域を回転させる回転角度を0°〜180°の間で段階的に回転させながら複数のハールライク特徴量を求め、情報レベルを互いに異ならせた複数の変更データとして用いる。
特徴量を回転させるこれらの処理は、画像を回転させるよりも低い負荷で行うことができる。
あるいは、マルチレベルデータ生成部は、入力された画像を台形又は平行四辺形に変換することにより幾何変換を行ってもよい。画像に写っている検出対象は変形の度合いが大きいほど本来の形状と異なるものとなるため、変形後の画像が検出対象の特徴表現に適する程度は低下して、情報レベルは低くなる。
例えば、マルチレベルデータ生成部は、入力された画像の四辺のうち何れか一辺を短くする台形変換を行い、情報レベルが高いほど当該一辺とその対辺の比が1に近く、情報レベルが低いほど上記比が1から離れた複数の変更データを生成する。
あるいは、マルチレベルデータ生成部は、入力された画像における四つの内角の角度を変更する幾何変換を行い、情報レベルが高いほど変換後の各角度が90°に近く、情報レベルが低いほど変換後の各角度が90°から離れた複数のデータを生成する。
第1の実施形態における第8の変形例において、評価値算出部は、リアルアダブースト識別器の代わりにアダブースト(Adaboost)識別器を有する。この識別器は、複数の弱識別器と、各弱識別器の判定結果を統合して判定する強識別器とから構成される。各弱識別器には、各弱識別器ごとに予め決定された特徴量がそれぞれ入力され、各弱識別器は、入力された特徴量に基づいて、対応する部分画像に人体が写っていると判定した場合、1を出力し、人体が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力値をそれぞれ重み付けして、その重み付け和を求めて評価値として出力する。なお、どの特徴量を各弱識別器に入力するか、及び各弱識別器に対する重みは、人体が写っている複数の学習用人体画像と人体が写っていない複数の学習用非人体画像とから算出された特徴量を用いた事前学習により決定される。
あるいは、評価値算出部は、サポートベクトルマシン、3層以上の層を持つパーセプトロンまたはランダムフォレスト等を用いて評価値を算出してもよい。その場合、事前学習を行うコンピュータは、予め複数の学習用人体画像と複数の学習用非人体画像からそれぞれ一つ以上の特徴量を抽出し、抽出した特徴量を用いて事前学習を行う。この事前学習は、特定の画像から抽出された特徴量が入力されたときに、特定の画像に人体が写っているか否かを判別するように行われる。サポートベクトルマシンを用いる場合、評価値算出部は、特徴量空間において、特徴量が、事前学習により求めた識別境界に対して人体側の領域に位置するときに正値となり、非人体側の領域に位置するときに負値となり、その特徴量の位置と識別境界との距離に相当する値を絶対値とする値を評価値として算出する。また、3層以上の層を持つパーセプトロンを用いる場合、評価値算出部は、出力層のニューロンへの入力の総和を評価値とする。また、ランダムフォレストを用いる場合、評価値算出部は、事前学習により生成した各決定木の出力を、画像に人体が写っている確からしさが高いほど高くなるように結合して評価値とする。
あるいは、評価値算出部は、線形判別分析法を用いて評価値を出力してもよい。その場合、事前学習を行うコンピュータは、予め複数の学習用人体画像と複数の学習用非人体画像からそれぞれ一つ以上の特徴量を抽出し、抽出した特徴量を用いて線形判別関数を作成する。コンピュータは、特定の画像から抽出された特徴量が入力されたときに、その画像に人体が写っている確からしさが高いほど高い値を出力するように、線形判別関数を作成する。そして評価値算出部は、その線形判別関数の出力値を評価値とする。
あるいは、評価値算出部は、混合正規分布を用いて評価値を出力してもよい。その場合、事前学習を行うコンピュータは、予め複数の学習用人体画像からそれぞれ一つ以上の特徴量を抽出し、抽出した特徴量を用いて混合正規分布を作成する。評価値算出部は、作成された混合正規分布に、特定の画像から抽出された特徴量を入力したときに得られる確率を評価値とする。混合正規分布を用いる場合は、検出対象の学習用データのみを用いて事前学習を行うため、検出対象以外の学習用データ、つまり人体が写っていない学習用非人体画像を収集する必要がなくなる。
また、例えば、評価値算出部は、異なる学習データを用いて機械学習を行った複数の識別器を用いて評価値を算出してもよい。その場合、評価値算出部は、各識別器を直列に接続し、第1段目の識別器から順番に識別処理を実行し、何れかの識別器が画像に人体が写っていないと判定するまで識別処理を繰り返す。なお、評価値算出部は、各識別器からの出力値が閾値以下である場合に、その識別器が画像に人体が写っていないと判定したと判断する。この閾値は、事前の実験により人体が写った複数のテスト用人体画像に対して算出された出力値と人体が写っていない複数のテスト用非人体画像に対して算出された出力値に基づきこれらを識別可能な値に設定しておくことができる。そして、評価値算出部は、画像に人体が写っていると判定した識別器の数を評価値とする。
第1の実施形態における第9の変形例において、評価値算出部は、機械学習を行った識別器により評価値を算出する代わりに、パターンマッチングにより評価値を算出する。この場合、制御部は、検出対象を表すデータであることが分かっている複数の学習用データに平均化処理等を実施したデータのパターンを予め生成して参照データとして記憶部に記憶しておく。評価値算出部は、マルチレベルデータ生成部から受け取った画像のそれぞれと、参照データとして記憶しておいたデータパターンの類似する度合いを評価値として算出する。類似する度合いは、例えば、各画像と参照データの内積とすることができる。
第1の実施形態における第10の変形例において、評価値算出部は、機械学習を行った識別器により評価値を算出すること、またはパターンマッチングにより評価値を算出することに代えて、入力データから検出対象に特有のデータが抽出される抽出度合いを評価値とする。例えば、検出対象が顔である場合、抽出するデータは肌色を表す画素(以下、肌色画素と称する)とすることができる。その場合、制御部は、抽出する肌色画素の画素値の範囲と、顔とみなせる肌色画素の標準割合とを設定して記憶部に予め記憶しておく。評価値算出部は、マルチレベルデータ生成部から受け取った画像からそれぞれ肌色画素を抽出する。評価値算出部は、各画像内の全画素数に対する肌色画素の画素数の割合と、記憶部に予め記憶しておいた標準割合との差の絶対値を求め、求めた絶対値の逆数を評価値とする。
第1の実施形態における第11の変形例において、評価値算出部は、評価値として、検出対象らしさを表す度合いを出力する代わりに、検出対象でないことの確からしさを表す度合いを出力する。この場合、対象系列判定部は、検出対象でないことの確からしさを表す評価値から生成された評価値系列を用いて学習された系列識別器により、入力データに検出対象が含まれるか否かを判定する。
第1の実施形態における第12の変形例において、対象系列判定部は、サポートベクトルマシンによる系列識別器の代わりにアダブーストによる系列識別器を有する。各弱識別器には、各弱識別器ごとに予め決定された、評価値系列の要素のうち連続した所定数の要素がそれぞれ入力される。各弱識別器は、入力された評価値系列の要素に基づいて、対応する部分画像に人体が写っていると判定した場合、1を出力し、人体が写っていないと判定した場合、-1を出力する。一方、強識別器は、各弱識別器による出力値をそれぞれ重み付けして、その重み付け和を求める。そして強識別器は、求めた重み付け和が判定閾値より大きければ、入力された評価値系列が検出対象を含む入力データから生成されたことを表す識別結果を出力し、判定閾値以下であれば、入力された評価値系列が検出対象を含む入力データから生成されていないことを表す識別結果を出力する。なお、評価値系列の要素のうちどの要素を各弱識別器に入力するか、及び各弱識別器に対する重みは、人体が写っている複数の学習用人体画像と人体が写っていない複数の学習用非人体画像とから算出された評価値系列を用いた事前学習により決定される。
あるいは、対象系列判定部は、サポートベクトルマシンによる系列識別器の代わりに混合正規分布による系列識別器を有してもよい。その場合、事前学習を行うコンピュータは、予め複数の学習用人体画像から生成された評価値系列を用いて混合正規分布を作成する。この系列識別器は、作成された混合正規分布に、特定の画像から生成された評価値系列を入力し、出力される確率を取得する。そして系列識別器は、取得した確率が判定閾値より大きければ、入力された評価値系列が検出対象を含む入力データから生成されたことを表す識別結果を出力し、判定閾値以下であれば、入力された評価値系列が検出対象を含む入力データから生成されていないことを表す識別結果を出力する。混合正規分布を用いる場合は、検出対象の学習用データのみを用いて事前学習を行うため、検出対象以外の学習用データ、つまり人体が写っていない学習用非人体画像を収集する必要がなくなる。
次に、本発明の第2の実施形態による対象検出装置が実装された監視システムについて図を参照しつつ説明する。
本実施形態による監視装置は、複数の変更処理によって、入力データから検出対象を表現する程度を互いに異ならせた複数の変更データを生成し、生成した複数の変更データについて算出された評価値をまとめて評価値系列を生成する。監視装置は、異なる変更処理によって生成された変更データに基づく評価値系列を用いて入力データに検出対象が含まれるか否かを判定することにより、入力データから検出対象を検出する精度のさらなる向上を図る。
第2の実施形態による監視システムの概略構成は、図3に示した第1の実施形態による監視システムの概略構成と同様である。なお、第2の実施形態では、各監視装置を監視装置20として説明する。監視装置20は、図3に示した第1の実施形態による監視装置10と同様に、撮像部、インタフェース部、通信部、記憶部及び制御部を有する。監視装置20の撮像部、インタフェース部、通信部及び記憶部は、監視装置10の撮像部11、インタフェース部12、通信部13及び記憶部14と同様であるため、それぞれ撮像部11、インタフェース部12、通信部13及び記憶部14として説明する。一方、監視装置20の制御部は、監視装置10の制御部15と一部機能が相違するため、制御部25として説明する。
制御部25は、対象検出装置の例であり、図4に示した第1の実施形態による制御部15と同様に、プロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、データ入力部、切り出し部、マルチレベルデータ生成部、評価値算出部、評価値系列生成部、対象判定部及び通知制御部を有する。第2の実施形態では、制御部25のデータ入力部、切り出し部、マルチレベルデータ生成部、評価値算出部、評価値系列生成部、対象判定部及び通知制御部をデータ入力部250、切り出し部251、マルチレベルデータ生成部252、評価値算出部253、評価値系列生成部254、対象判定部255及び通知制御部256とする。制御部25のデータ入力部250、切り出し部251及び通知制御部256は、制御部15のデータ入力部150、切り出し部151及び通知制御部156と同様であるため、説明を省略し、以下では、マルチレベルデータ生成部252、評価値算出部253、評価値系列生成部254及び対象判定部255について詳細に説明する。
なお、制御部25が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
マルチレベルデータ生成部252は、複数の変更処理によって、一つの入力データから検出対象を表現する程度を互いに異ならせた複数の変更データをそれぞれ生成し、生成した変更データを各情報レベルと対応付けて評価値算出部253に送る。
以下、マルチレベルデータ生成部252が二つの変更処理によって変更データを生成する例について説明する。マルチレベルデータ生成部252は、一つの入力データから、第1変更処理によって検出対象を表現する程度を互いに異ならせた複数の第1変更データを生成するとともに、第1変更処理とは異なる第2変更処理によって検出対象を表現する程度を互いに異ならせた複数の第2変更データを生成する。例えば、マルチレベルデータ生成部252は、第1変更処理を平均化フィルタにより検出対象を表現する程度を変更する処理とし、第2変更処理をノイズ付加により検出対象を表現する程度を変更する処理とする。
なお、第1変更処理および第2変更処理の組み合わせはこれ以外の組み合わせとすることもでき、第1の実施形態における変形例として上述した各種変更処理の中から互いに異なる任意の変更処理を組み合わせることができる。また、組み合わせる数を三種類以上とすることもできる。
マルチレベルデータ生成部252は、部分画像に、情報レベルが高いほどフィルタサイズが小さく、情報レベルが低いほどフィルタサイズが大きい平均化フィルタをそれぞれ適用することにより、情報レベルが互いに異なる33個の第1変更データを生成する。また、マルチレベルデータ生成部252は、部分画像に、情報レベルが高いほど少ない量のノイズを、情報レベルが低いほど多い量のノイズをそれぞれ重畳することにより、情報レベルが互いに異なる10個の第2変更データを生成する。
マルチレベルデータ生成部252は、生成した第1変更データおよび第2変更データを一つのグループの変更データとして評価値算出部253に送る。
評価値算出部253は、変更データごとに評価値を算出し、各評価値を各情報レベルと対応付けて評価値系列生成部254に送る。例えば、変更データが二種類である場合、評価値算出部253は、複数の第1変更データ及び複数の第2変更データごとに評価値を算出し、各評価値を第1情報レベル及び第2情報レベルと対応付ける。
評価値系列生成部254は、変更データごとに算出された評価値を情報レベルにて規定される予め定めた順序にて並べた評価値系列を生成し、生成した評価値系列を対象判定部255に渡す。例えば、33個の第1変更データが生成され、10個の第2変更データが生成されている場合、評価値系列生成部254は、第1変更データについて算出された33個の評価値を第1変更処理における情報レベルの昇順に並べた第1系列を生成する。さらに、評価値系列生成部254は、第2変更データについて算出された10個の評価値を第2変更処理における情報レベルの昇順に並べた第2系列を生成する。そして、評価値系列生成部254は、第1系列に続けて第2系列を並べて評価値系列を生成する。
なお、第1系列および第2系列における順序は対応する情報レベルの降順又は別の順序とすることもでき、事前学習時の順序と対象検出時の順序が同一であればよい。
図7A及び図7Bに、複数の第1変更データ及び複数の第2変更データごとに算出された評価値をそれぞれ情報レベルの昇順に並べて連結した評価値系列の一例を表す。図7Aのグラフ700は、検出対象が含まれる入力データについて生成された評価値系列の例を表し、図7Bのグラフ710は、検出対象が含まれない入力データについて生成された評価値系列の例を表す。グラフ700、710において、横軸はレベルを表し、縦軸は評価値を表す。レベル1〜33は第1情報レベル1〜33に対応する。レベル1〜32の評価値は、フィルタサイズが(4(n-1)+1)(nは2〜33の整数であり、それぞれ第1情報レベル32〜1に対応する)である平均化フィルタを適用した第1変更データについて算出された評価値を表し、レベル33の評価値は元の入力データについて算出された評価値を表す。一方、レベル34〜43は第2情報レベル1〜10に対応する。レベル34〜42の評価値は、画像全体の画素数に対して45%,40%,…,5%のノイズを付加した第2変更データについて算出された評価値を表し、レベル43の評価値は元の入力データについて算出された評価値を表す。
図7Aのグラフ700に示すように、入力データに検出対象が含まれる場合、レベルが25〜32の領域と、34〜43の領域の二箇所で、レベルの上昇に従って評価値が急激に上昇する傾向が見られる。一方、図7Bのグラフ710に示すように、入力データに検出対象が含まれない場合、そのような傾向は見られない。このように、複数の種類の情報レベルについて評価値系列を生成すると、入力データに検出対象が含まれる場合は、情報レベルの種類の数だけ特定の傾向が表れ、入力データに検出対象が含まれる場合はその傾向は表れないため、監視装置20は、検出対象を検出する精度をより向上することができる。
対象判定部255は、評価値系列生成部254が情報レベルについて生成する評価値系列と同じ順序に並べられた学習用の評価値系列を用いて予め学習された系列識別器を有する。対象判定部255は、評価値系列生成部254により生成された評価値系列をその系列識別器に入力し、出力された識別結果により入力データに検出対象が含まれるか否かを判定し、判定結果を出力する。
以下、図8に示したフローチャートを参照しつつ、監視装置20による対象検出処理の動作を説明する。このフローチャートは、監視装置20において、前述した図5に示すフローチャートの代りに実行することが可能である。なお、以下に説明する動作のフローは、記憶部14に記憶され、制御部25に読み込まれたプログラムに従って、制御部25により制御される。図8に示すフローチャートのステップS801〜S807、S811〜S813の処理は、図5に示すフローチャートのステップS501〜S507、S510〜S512の処理と同じであるため、説明を省略し、以下では、ステップS808〜S810の処理についてのみ説明する。
ステップS803〜SS807の処理は、変更処理ごと(第1変更処理、第2変更処理、…)に実行される。ステップS808において、制御部25は、全ての変更処理についてステップS803〜S807の処理を実行したか否かを判定する。全ての変更処理についてステップS803〜S807の処理を実行していなければ(ステップS808のNO)、制御部25は、処理をステップS803に戻してステップS803〜S807の処理を繰り返す。一方、全ての変更処理についてステップS803〜S807の処理を実行していれば(ステップS808のYES)、評価値系列生成部254は、それまでに評価値算出部253から受け取った評価値を用いて評価値系列を生成する(ステップS809)。
次に、対象判定部255は、評価値系列生成部254が生成する評価値系列と同じ順序に並べられた学習用の評価値系列を用いて予め学習された系列識別器に、評価値系列生成部254が生成した評価値系列を入力し、系列識別器から出力される識別結果を取得する(ステップS810)。
以上説明してきたように、本実施形態による監視装置は、複数の変更処理によって、入力データから検出対象を表現する程度を互いに異ならせた複数の変更データを生成し、生成した複数の変更データについて算出された評価値をまとめて評価値系列を生成する。監視装置は、異なる変更処理によって生成された変更データに基づく評価値系列を用いて入力データに検出対象が含まれるか否かを判定することにより、入力データから検出対象を検出する精度をさらに向上することができる。
次に、本発明の第3の実施形態による対象検出装置が実装された監視システムについて図を参照しつつ説明する。
本実施形態による監視装置は、情報レベルにて規定される予め設定した順序にて評価値を並べた原系列を平滑化して評価値系列を生成し、平滑化された評価値系列を用いて入力データに検出対象が含まれるか否かを判定する。これにより、監視装置は、情報レベルに応じた評価値の細かな変化の影響を除去して、入力データから検出対象を検出する精度のさらなる向上を図る。
第3の実施形態による監視システムの概略構成は、図3に示した第1の実施形態による監視システムの概略構成と同様である。なお、第2の実施形態では、各監視装置を監視装置30として説明する。監視装置30は、図3に示した第1の実施形態による監視装置10と同様に、撮像部、インタフェース部、通信部、記憶部及び制御部を有する。監視装置20の撮像部、インタフェース部、通信部及び記憶部は、監視装置10の撮像部11、インタフェース部12、通信部13及び記憶部14と同様であるため、それぞれ撮像部11、インタフェース部12、通信部13及び記憶部14として説明する。一方、監視装置30の制御部は、監視装置10の制御部15と一部機能が相違するため、制御部35として説明する。
制御部35は、対象検出装置の例であり、図4に示した第1の実施形態による監視装置10が有する制御部15と同様に、プロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、データ入力部、切り出し部、マルチレベルデータ生成部、評価値算出部、評価値系列生成部、対象判定部及び通知制御部を有する。第3の実施形態では、制御部35のデータ入力部、切り出し部、マルチレベルデータ生成部、評価値算出部、評価値系列生成部、対象判定部及び通知制御部をデータ入力部350、切り出し部351、マルチレベルデータ生成部352、評価値算出部353、評価値系列生成部354、対象判定部355及び通知制御部356とする。制御部35のデータ入力部350、切り出し部351、マルチレベルデータ生成部352、評価値算出部353、対象判定部355及び通知制御部356は、制御部15のデータ入力部150、切り出し部151、マルチレベルデータ生成部152、評価値算出部153、対象判定部155及び通知制御部156と同様であるため、説明を省略し、以下では、評価値系列生成部354について詳細に説明する。
なお、制御部35が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
評価値系列生成部354は、マルチレベルデータに含まれる各変更データごとに算出された評価値を情報レベルの昇順または降順に並べた原系列を生成し、原系列を平滑化して評価値系列を生成し、対象判定部155に渡す。例えば、評価値系列生成部354は、各評価値を情報レベルの昇順に並べた原系列において、各評価値について、その評価値と、その評価値より情報レベルが低い側において情報レベルが近い順に所定数の評価値とを用いて加重移動平均を取ることにより平滑化する。または、評価値系列生成部354は、各評価値について、その評価値と、その評価値より情報レベルが低い側において情報レベルが近い順に所定数の評価値とを用いて単純移動平均を取ることにより平滑化してもよい。
図9A及び図9Bに、平滑化した評価値系列について説明するためのグラフを表す。図9Aのグラフ900は、平滑化前の原系列の例を表し、図9Bのグラフ910は、グラフ900の原系列を平滑化した評価値系列の例を表す。グラフ900、910において、横軸は情報レベルを表し、縦軸は評価値を表す。
図9Aのグラフ900に示すように、原系列では、情報レベルが16〜18、22〜23の領域のように情報レベルが中程度の領域であるにも関わらず情報レベルの上昇に従って評価値が上昇したり、情報レベルが29〜30の領域のように情報レベルが高い領域であるにも関わらず情報レベルの上昇に従って評価値が下降する場合がある。一方、図9Bのグラフ910に示すように、グラフ900の原系列を平滑化することにより、評価値は、情報レベルが中程度の領域では情報レベルの上昇に従って安定して下降し、情報レベルが高い領域では情報レベルの上昇に従って安定して上昇する。したがって、監視装置10は、検出対象を検出する精度をより向上することができる。
対象判定部355は、評価値系列生成部354が生成する評価値系列と同様に原系列を平滑化した学習用の評価値系列を用いて予め学習された系列識別器を有する。対象判定部355は、評価値系列生成部354により生成された評価値系列をその系列識別器に入力し、出力された識別結果により入力データに検出対象が含まれるか否かを判定し、判定結果を出力する。
以下、監視装置30による対象検出処理の動作を説明する。監視装置30による対象検出処理のフローチャートは、図5に示したフローチャートと同様である。ただし、ステップS508において、評価値系列生成部354は、それまでに評価値算出部353から受け取った評価値を所定順序に並べた原系列を生成し、生成した原系列を平滑化して評価値系列を生成する。そして、ステップS509において、対象判定部355は、評価値系列生成部354が生成する評価値系列と同様に平滑化した学習用の評価値系列を用いて予め学習された系列識別器に、評価値系列生成部354が生成した評価値系列を入力し、系列識別器から出力される識別結果を取得する。
以上説明してきたように、本実施形態による監視装置は、情報レベルにて規定される予め設定した順序にて評価値を並べた原系列を平滑化して評価値系列を生成し、平滑化された評価値系列を用いて入力データに検出対象が含まれるか否かを判定する。これにより、監視装置は、情報レベルに応じた評価値の細かな変化の影響を除去することができ、入力データから検出対象を安定して精度よく検出することができる。
なお、第1〜3の実施形態における監視システムにおいて、センタ装置が、監視装置の制御部と同様の制御部を備え、撮影画像に人体が含まれるか否かを判定してもよい。その場合、監視装置は、監視領域を撮影した画像をセンタ装置へ送信し、センタ装置が、受信した画像に人体が含まれるか否かを判定し、監視領域に人物が侵入したか否かを判定する。この場合も、監視システムは、撮影画像から人体を検出する精度を向上することができる。
また、第1〜3の実施形態の対象検出装置において、検出対象は、人体に限定されず、例えば人物の顔、マスク等としてもよい。この場合、対象検出装置は、撮影画像に人物の顔が含まれるか否か、又はマスクを着用した顔が含まれるか否かを判定する。
さらに、入力データは、画像データに限定されず、例えば音響信号としてもよい。その場合、検出対象は、例えば悲鳴とすることができる。対象検出装置は、悲鳴の発生の有無を監視する監視空間における音から生成した音響信号から有音区間の信号を切り出し、切り出した信号から、情報レベルが互いに異なる複数の信号を生成し、生成した各信号から悲鳴らしさの度合いを表す評価値を算出する。そして、対象検出装置は、算出した評価値を所定順序に並べた評価値系列を生成する。さらに、対象検出装置は、生成した評価値系列を、悲鳴が含まれる音響信号について生成された評価値系列と、含まれない音響信号について生成された評価値系列とを用いて予め学習された系列識別器に入力して、音響信号に悲鳴が含まれるか否かを判定する。
さらに、入力データは、ドップラ信号としてもよい。その場合、検出対象は、例えば人体の移動とすることができる。対象検出装置は、監視領域に電磁波を送信して得られる反射波に含まれるドップラ成分のみを抽出し、ドップラ信号とする。対象検出装置は、ドップラ信号から切り出した信号から、情報レベルが互いに異なる複数の信号を生成し、生成した各信号から人体らしさの度合いを表す評価値を算出する。そして、対象検出装置は、算出した評価値を所定順序に並べた評価値系列を生成する。さらに、対象検出装置は、生成した評価値系列を、人体の移動に起因するドップラ信号について生成された評価値系列と、人体の移動に起因しないドップラ信号について生成された評価値系列とを用いて予め学習された系列識別器に入力して、ドップラ信号が人体の移動に起因するか否かを判定する。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
10、20、30 監視装置
15、25、35 制御部
150、250、350 データ入力部
151、251、351 切り出し部
152、252、352 マルチレベルデータ生成部
153、253、353 評価値算出部
154、254、354 評価値系列生成部
155、255、355 対象判定部
156、256、356 通知制御部

Claims (3)

  1. データ入力部から取得した入力データに検出対象が含まれるか否かを判定する対象検出装置であって、
    前記入力データから、前記検出対象を表現する程度である情報レベルを互いに異ならせた変更データを生成するマルチレベルデータ生成部と、
    前記変更データのそれぞれに対し、前記検出対象らしさの度合いを表す評価値を算出する評価値算出部と、
    前記情報レベルにて規定される予め設定した順序にて前記評価値を並べて評価値系列を生成する評価値系列生成部と、
    前記評価値系列が前記検出対象を含む入力データから生成されたか否かを識別するための識別情報により前記入力データに前記検出対象が含まれるか否かを判定する対象判定部と、
    を有することを特徴とする対象検出装置。
  2. 前記マルチレベルデータ生成部は、第1変更処理によって前記入力データから前記検出対象を表現する程度を互いに異ならせた第1変更データを生成するとともに、前記第1変更処理とは異なる第2変更処理によって前記入力データから前記検出対象を表現する程度を互いに異ならせた第2変更データを生成し、前記第1変更データおよび前記第2変更データを前記変更データとする、請求項1に記載の対象検出装置。
  3. 前記評価値系列生成部は、前記情報レベルにて規定される予め設定した順序にて前記評価値を並べた原系列を平滑化して前記評価値系列を生成する、請求項1又は2に記載の対象検出装置。
JP2013160843A 2013-08-01 2013-08-01 対象検出装置 Active JP6113018B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013160843A JP6113018B2 (ja) 2013-08-01 2013-08-01 対象検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013160843A JP6113018B2 (ja) 2013-08-01 2013-08-01 対象検出装置

Publications (2)

Publication Number Publication Date
JP2015032119A true JP2015032119A (ja) 2015-02-16
JP6113018B2 JP6113018B2 (ja) 2017-04-12

Family

ID=52517387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013160843A Active JP6113018B2 (ja) 2013-08-01 2013-08-01 対象検出装置

Country Status (1)

Country Link
JP (1) JP6113018B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017147490A (ja) * 2016-02-15 2017-08-24 セコム株式会社 空間認識装置
JP2018522339A (ja) * 2015-06-05 2018-08-09 北京京東尚科信息技術有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. 商品画像特徴に基づく個性化捜索装置および方法
JP2019159820A (ja) * 2018-03-13 2019-09-19 オムロン株式会社 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008053667A1 (fr) * 2006-10-31 2008-05-08 National Institute Of Advanced Industrial Science And Technology Système d'estimation de structure, procédé d'estimation de structure et programme
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2013525905A (ja) * 2010-04-20 2013-06-20 クゥアルコム・インコーポレイテッド 事前計算されたスケール空間からのデイジー記述子生成

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008053667A1 (fr) * 2006-10-31 2008-05-08 National Institute Of Advanced Industrial Science And Technology Système d'estimation de structure, procédé d'estimation de structure et programme
JP2009093611A (ja) * 2007-10-11 2009-04-30 Mwtec Software Gmbh 三次元オブジェクト認識のためのシステムおよび方法
JP2013525905A (ja) * 2010-04-20 2013-06-20 クゥアルコム・インコーポレイテッド 事前計算されたスケール空間からのデイジー記述子生成

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018522339A (ja) * 2015-06-05 2018-08-09 北京京東尚科信息技術有限公司Beijing Jingdong Shangke Information Technology Co., Ltd. 商品画像特徴に基づく個性化捜索装置および方法
JP2017147490A (ja) * 2016-02-15 2017-08-24 セコム株式会社 空間認識装置
JP2019159820A (ja) * 2018-03-13 2019-09-19 オムロン株式会社 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
WO2019176990A1 (ja) * 2018-03-13 2019-09-19 オムロン株式会社 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム

Also Published As

Publication number Publication date
JP6113018B2 (ja) 2017-04-12

Similar Documents

Publication Publication Date Title
CN107766786B (zh) 活性测试方法和活性测试计算设备
CN110298297B (zh) 火焰识别方法和装置
EP3333768A1 (en) Method and apparatus for detecting target
US9008365B2 (en) Systems and methods for pedestrian detection in images
Ko et al. Spatiotemporal bag-of-features for early wildfire smoke detection
WO2018105112A1 (ja) 水上侵入検知システムおよびその方法
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US9294665B2 (en) Feature extraction apparatus, feature extraction program, and image processing apparatus
US20060126938A1 (en) Apparatus, method, and medium for detecting face in image using boost algorithm
JP4533836B2 (ja) 変動領域検出装置及びその方法
US20150262068A1 (en) Event detection apparatus and event detection method
JP5106356B2 (ja) 画像監視装置
JP2008146539A (ja) 顔認証装置
CN108416291B (zh) 人脸检测识别方法、装置和系统
JP5290227B2 (ja) 対象物検知装置及びその学習装置
US9704024B2 (en) Object discriminating apparatus and method
US11334759B2 (en) Information processing apparatus, information processing method, and medium
Song et al. Background subtraction based on Gaussian mixture models using color and depth information
JP6113018B2 (ja) 対象検出装置
US20200013172A1 (en) Object tracking device and object tracking method
KR101769741B1 (ko) 동공 탐지를 통한 홍채 인식 방법 및 홍채 인식 장치
KR101515308B1 (ko) 얼굴 자세 추정 장치 및 그 방법
JP2010277431A (ja) 対象物検出装置
CN111753775A (zh) 鱼的生长评估方法、装置、设备及存储介质
Soundrapandiyan et al. Robust pedestrian detection in infrared images using rotation and scale invariant-based structure element descriptor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170314

R150 Certificate of patent or registration of utility model

Ref document number: 6113018

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250