JP2019028577A - 動物種別判定装置、方法およびプログラム - Google Patents

Abstract

【課題】撮像された動物体の向きによらず当該動物体の種別を精度良く判定することを可能にする。【解決手段】カメラ２から画像データが取得される。当該画像データから動物体を示す領域が検出される。当該画像データから、上記検出された上記動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向が推定される。当該移動方向から、上記動物体の向きが推定される。基準画像データベース１２３に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうちの、上記推定された向きに対応する基準画像データ群が読み出され、読み出された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較されて、動物体画像データにより表される動物体の種別が判定される。【選択図】図１

Description

この発明は、撮像装置によって撮像される動物体の種別を判定する動物種別判定装置に関する。

野生動物による農作物被害は全国的に蔓延しており、その被害の規模は深刻なものとなっている。そのため、野生動物の捕獲や追い払い等の被害対策が重要となっている。このような被害対策を行う際には、保護動物であるツキノワグマ等の、捕獲対象外の動物体が誤捕獲される問題が生じることがあった。したがって、このような被害対策を効果的に実施するためには、動物体の種別を判定できるようにする必要があった。

一般的に、夜間の屋外環境で動物体を監視する場合は、暗視カメラやサーモグラフィカメラを利用する。これらのカメラから取得される画像はグレースケール画像であり、可視光画像と比較して情報量が少ない。例えば、暗視カメラの場合は、赤外光の照射度合により取得画像の鮮明さが異なる。また、サーモグラフィカメラの場合は、一般的に取得画像の解像度が低い。そのため、これらのカメラによる画像から動物体の種別を判定するためには、動物体の種別の特徴量がより現れている画像を用いる必要があった。

そこで、野生動物が檻へ侵入する際の正面画像を用いて、機械学習によって動物体の種別を判定する技術が知られている。具体的には、暗視カメラを使用して、例えばクマやイノシシが檻へ侵入する際の正面画像を動物体の種別毎に撮像し、撮像された動物体の種別毎に特徴量がよく表れている画像を機械学習により取得してこれを基準画像とする。次に、対象の檻に動物体が侵入する際に撮像された画像を上記基準画像と比較し、動物体の種別を判定する。このように檻に進入するときの動物体の正面画像を用いることで、動物体の種別を精度良く判定することが可能となる（例えば、特許文献１または非特許文献１を参照）。

特開２０１１−１６０７０６号公報

兵庫県立大学 自然・環境科学研究所，野生動物対策におけるスマートセンサーの活用 pp.9-14.

ところが、檻の外にいる動物体の種別を判定しようとすると、撮像される動物体の向きは不定となる。そのため、動物体の正面画像を基準画像として種別を判定する手法では、撮像されたときの動物体の向きによっては種別を精度良く判定することができない。

この発明は上記事情に着目してなされたもので、撮像された動物体の向きによらず当該動物体の種別を精度良く判定することが可能な動物種別判定装置、方法およびプログラムを提供しようとするものである。

上記課題を解決するためにこの発明の第１の態様は、動物種別判定装置にあって、撮像装置によって生成された画像データを取得する画像データ取得部と、前記取得された画像データから動物体を示す領域を検出する動物体領域検出部と、前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する移動方向推定部と、前記推定された前記動物体の移動方向から前記動物体の向きを推定する向き推定部と、前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する動物体画像データ生成部と、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する種別判定部とを備えるようにしたものである。

この発明の第２の態様は、前記動物体画像データ生成部が、前記画像データから前記動物体を示す領域以外の背景領域を削除し、前記動物体を示す領域の画像サイズを前記画像データ内の基準位置に対する距離に基づいて正規化することによって、前記動物体画像データを生成するようにしたものである。

この発明の第３の態様は、前記種別判定部が、前記複数の基準画像データから、前記推定された前記動物体の向きに対応する基準画像データ群を選択する基準画像データ選択部と、前記選択された基準画像データ群に含まれる各基準画像データと、前記生成された動物体画像データとを比較する画像データ比較部とを備えるようにしたものである。

この発明の第４の態様は、前記種別判定部が、前記複数の基準画像データのうちの、前記推定された前記動物体の向きに近接する２つの向きに対応する基準画像データ群と、前記生成された動物体画像データとを比較する画像データ比較部と、前記画像データ比較部による比較の結果を、前記推定された前記動物体の向きと前記２つの向きとの関係に基づく比率に基づいて重み付けする重み付け部とを備えるようにしたものである。

この発明の第５の態様は、前記種別判定部が、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きおよび前記正規化後の前記動物体を示す領域の画像サイズを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定するようにしたものである。

この発明の第６の態様は、前記動物種別判定装置にあって、所定の種別の動物体を表す動物体画像データを、前記複数の基準画像データのうちの、前記所定の種別の動物体の当該所定の種別の動物体の向きに対応して生成された基準画像データとして記憶させる基準画像データベース生成部をさらに備えるようにしたものである。

この発明の第１の態様によれば、撮像装置によって生成された画像データが取得され、当該画像データから動物体を示す領域が検出される。その後、当該画像データにおける動物体を示す領域の時間変化から、当該動物体の移動方向が推定され、推定された動物体の移動方向から当該動物体の向きが推定される。また、上記画像データから、上記検出された動物体を示す領域に含まれる動物体画像データが生成される。その結果、生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとが、上記推定された向きを考慮して比較され、その比較結果に基づいて、上記動物体画像データにより表される動物体の種別が判定される。このように、取得された画像データに撮像されたさまざまな向きの動物体の種別を判定することができる。

この発明の第２の態様によれば、上記画像データから上記動物体を示す領域以外の背景領域が削除され、上記動物体を示す領域の画像サイズを画像データ内の基準位置に対する距離に基づいて正規化することによって、上記動物体画像データが生成される。このように、動物体を示す領域が正確に切り出され、動物体のサイズが反映されるように正規化された動物体画像データを生成することができる。したがって、撮像された動物体との距離にかかわらず、動物体の種別を精度良く判定することができる。

この発明の第３の態様によれば、動物体の種別判定処理において、上記複数の基準画像データから、上記推定された向きに対応する基準画像データ群が選択され、選択された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較される。このように、上記動物体画像データは、上記複数の基準画像データのうちの、推定された動物体の向きに対応する基準画像データ群のみと比較処理を実行される。したがって、上記複数の基準画像データのすべての基準画像データが比較処理を実行される場合と比べて処理量を抑えることができる。

この発明の第４の態様によれば、動物体の種別判定処理において、上記複数の基準画像データのうちの、上記推定された向きに近接する２つの向きに対応する基準画像データ群と、上記動物体画像データとが比較され、当該比較の結果が、上記推定された向きと上記２つの向きとの関係に基づく比率に基づいて重み付けされる。したがって、取得された画像データに撮像された任意の向きの動物体の種別を判定することができる。

この発明の第５の態様によれば、動物体の種別判定処理において、上記動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとが、上記推定された向きおよび正規化後の上記動物体を示す領域の画像サイズを考慮して比較され、その比較結果に基づいて、上記動物体画像データにより表される動物体の種別が判定される。このように、動物体のサイズにも対応している基準画像データを使用して、動物体の種別判定処理が実行されるので、例えば、動物体が成体であるかまたは幼体であるかの判定もすることができる。

この発明の第６の態様によれば、所定の種別の動物体を表す動物体画像データが、上記複数の基準画像データのうちの、上記所定の種別の動物体の当該所定の種別の動物体の向きに対応する基準画像データとして記憶される。したがって、動物種別判定装置において動物体の種別判定処理を実行するために必要とされる上記複数の基準画像データを、当該動物種別判定装置において生成することができる。

すなわちこの発明によれば、撮像された動物体の向きによらず当該動物体の種別を精度良く判定することが可能な動物種別判定装置、方法およびプログラムを提供することができる。

この発明の第１の実施形態に係る動物種別判定装置の機能構成を示すブロック図。 図１に示した制御ユニットによって実行される基準画像データベース生成処理の一例を示すフロー図。 図１に示した制御ユニットによって実行される動物種別判定処理の一例を示すフロー図。 この発明の第１の実施形態に係る動物体画像データ生成処理の一例を示す図。 この発明の第１の実施形態に係る基準画像データベース生成処理の一例を示す図。 この発明の第１の実施形態に係る、画像データにおける動物体移動方向推定処理の一例を示す図。 この発明の第１の実施形態に係る動物種別判定処理の一例を示す図。 この発明の第１の実施形態に係る動物種別判定処理の一例を示す図。 この発明の第１の実施形態に係る、動物種別判定処理において使用される重み付け係数の一例を示す図。 この発明の第１の実施形態に係る、動物種別判定処理において使用される重み付け係数の一例を示す図。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
図１は、この発明の第１の実施形態に係る動物種別判定装置１の機能構成を示すブロック図である。図１に図示される動物種別判定装置１は、撮像装置としてのカメラ２によって撮像された動物体の画像をもとに当該動物体の種別を判定するもので、判定対象の動物としては、例えばイノシシ、シカおよびクマ等が挙げられる。

本実施形態に係る動物種別判定装置１は、制御ユニット１１と、記憶ユニット１２と、外部インタフェースユニット１３と、入出力インタフェースユニット１４とを備えている。

外部インタフェースユニット１３および入出力インタフェースユニット１４は、例えば１つ以上の有線または無線の通信インタフェースユニットを含んでいる。外部インタフェースユニット１３は、カメラ２により所定の監視対象区域を撮像して得られた画像データを制御ユニット１１に入力する。カメラ２としては、例えば、可視光カメラ、赤外線カメラ（暗視カメラ）、またはサーモカメラ等が用いられる。入出力インタフェースユニット１４は、例えば、キーボードやマウス等を含む入力部３によって入力された操作信号等を制御ユニット１１に入力するとともに、制御ユニット１１から出力された表示データを表示部４に表示させる。

記憶ユニット１２は、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書き込みおよび読み出しが可能な不揮発メモリを使用したもので、その記憶領域には、画像データ記憶部１２１と、動物体画像データ記憶部１２２と、基準画像データベース１２３とが設けられている。

画像データ記憶部１２１は、制御ユニット１１の画像データ取得部１１１によって取得される、カメラ２からの画像データを記憶するために使用される。

動物体画像データ記憶部１２２は、制御ユニット１１の動物体画像データ生成部１１３によって生成される動物体画像データを記憶するために使用される。

基準画像データベース１２３は、制御ユニット１１の基準画像データベース生成部１１６によって生成される、複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データを記憶するために使用される。

制御ユニット１１は、ＣＰＵ（Central Processing Unit）を有し、本実施形態における処理機能を実行するために、画像データ取得部１１１と、動物体領域検出部１１２と、動物体画像データ生成部１１３と、移動方向推定部１１４と、向き推定部１１５と、基準画像データベース生成部１１６と、種別判定部１１７とを備えている。これらの各部における処理機能はいずれも、図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることによって実現される。

画像データ取得部１１１は、カメラ２により所定の監視対象区域を撮像することにより生成された画像データを、外部インタフェースユニット１３を介して取得し、取得された画像データを記憶ユニット１２の画像データ記憶部１２１に記憶させる処理を実行する。なお、当該画像データは、映像データであってもよい、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。また、上記記憶させる処理では、上記取得された画像データに加えて、あるいは、上記取得された画像データの代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、ＡＫＡＺＥ特徴量やＳＩＦＴ特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。

動物体領域検出部１１２は、記憶ユニット１２の画像データ記憶部１２１に記憶される画像データを読み出し、読み出された画像データから動物体を示す領域を検出する処理を実行する。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ２がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。

動物体画像データ生成部１１３は、上記画像データから上記動物体を示す領域以外の背景領域を削除し、上記動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化する。そして、この正規化後の動物体を示す領域に含まれる動物体画像データを生成し、生成した動物体画像データを記憶ユニット１２の動物体画像データ記憶部１２２に記憶させる処理を実行する。

移動方向推定部１１４は、上記動物体領域検出部１１２により画像データから検出された上記動物体を示す領域の時間変化から、上記動物体の移動方向を推定する処理を実行する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。

向き推定部１１５は、上記推定された動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記動物体の向いている方向（以下、「向き」と称する。）を推定する処理を実行する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。

基準画像データベース生成部１１６は、動物体の種別判定処理に先立つ基準画像データ生成モードにおいて、判定対象となる複数種の動物体の各々について複数の方向から見たときの当該動物体の基準画像データを機械学習により生成し、当該生成された基準画像データを、上記方向（向き）毎に動物体の識別情報と関連付けて基準画像データベース１２３に記憶させる処理を実行する。なお、上記動物体の基準画像データは、機械学習を使用せずに、オペレータが手動操作により選択して基準画像データベース１２３に登録するようにしてもよい。

種別判定部１１７は、動物体の種別判定モードにおいて、上記動物体画像データ生成部１１３により新たな動物体画像データが生成される毎に、当該動物体画像データを動物体画像データ記憶部１２２から読み込む。また、それと並行して、上記向き推定部１１５により推定された動物体の向きに対応する基準画像データ群を上記基準画像データベース１２３から選択的に読み込む。そして、上記読み込んだ動物体画像データを、上記基準画像データ群の各画像データと順次比較してその一致の度合いを算出し、当該算出された一致の度合いに基づいて上記動物体画像データにより表される動物の種別を判定する処理を実行する。判定結果は、例えば、入出力インタフェースユニット１４を介して、表示部４に出力される。

（動作）
次に、以上のように構成された動物種別判定装置１の動作を説明する。
（１）基準画像データベースの生成
図２は、図１に示した制御ユニット１１によって実行される基準画像データベース生成処理の一例を示すフロー図である。

最初に、ステップＳ１１において制御ユニット１１は、画像データ取得部１１１の制御の下、撮像装置としてのカメラ２によって生成された、監視対象区域内で所定の種別の動物体が撮像された画像データを取得し、取得された画像データを画像データ記憶部１２１に記憶させる。なお、当該画像データは、映像データであってもよいし、時系列的に間欠的に得られた複数の静止画データであってもよい。また、画像データ記憶部１２１には、上記取得された画像データを記憶させるのに加えて、あるいは、上記取得された画像データを記憶させる代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、ＡＫＡＺＥ特徴量やＳＩＦＴ特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。なお、撮像される動物体の種別は、例えば、オペレータが判断して、入力部３を介して入力するものとしてもよい。

上記所定の種別の動物体が撮像されていることは、動物体領域検出部１１２が、画像データ記憶部１２１に記憶される上記画像データを読み出し、読み出された画像データから上記所定の種別の動物体を示す領域を検出する処理を実行することによって確認される。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ２がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。

次に、ステップＳ１２において制御ユニット１１は、動物体画像データ生成部１１３の制御の下、上記画像データから上記所定の種別の動物体を示す領域以外の背景領域を削除し、上記所定の種別の動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化することによって、上記検出された上記所定の種別の動物体を示す領域に含まれる動物体画像データを生成させ、生成された動物体画像データを動物体画像データ記憶部１２２に記憶させる。

一方、ステップＳ１３において制御ユニット１１は、移動方向推定部１１４の制御の下、上記画像データにおける上記所定の種別の動物体を示す領域の時間変化から、上記所定の種別の動物体の移動方向を推定する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。

ステップＳ１４において制御ユニット１１は、向き推定部１１５の制御の下、上記推定された所定の種別の動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記所定の種別の動物体の向きを推定する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。

最後に、ステップＳ１５において制御ユニット１１は、基準画像データベース生成部１１６の制御の下、動物体画像データ記憶部１２２に記憶された上記所定の種別の動物体を表す動物体画像データを読み出し、上記読み出された動物体画像データを、上記所定の種別の動物体の、ステップＳ１４において推定された向きに対応する基準画像データとして、基準画像データベース１２３に記憶させる。

以上の基準データベース生成処理は、機械学習により行われる。なお、当該動物体の向きは、移動方向推定部１１４および向き推定部１１５における処理によって推定する代わりに、例えば、オペレータが判断して、入力部３を介して入力するようにしてもよい。

（２）動物体の種別判定
動物種別判定装置１は、上記で説明した基準画像データベース生成処理によって生成された基準画像データベース１２３を使用して動物種別判定処理を実行する。なお、基準画像データベースに記憶される基準画像データ群は、例えば他の装置から一括して取得して基準画像データベース１２３に記憶して使用するようにしてもよい。また、例えば動物種別判定装置１には基準画像データベース１２３を設けず、データサーバ上に設けられている基準画像データベースからその都度必要な基準画像データを取得して使用するようにしてもよい。

図３は、図１に示した制御ユニット１１によって実行される動物種別判定処理の一例を示すフロー図である。

最初に、ステップＳ２１において制御ユニット１１は、画像データ取得部１１１の制御の下、撮像装置としてのカメラ２によって生成された、監視対象区域内が撮像された画像データを取得し、取得された画像データを画像データ記憶部１２１に記憶させる。なお、当該画像データは、映像データであってもよい、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。また、画像データ記憶部１２１には、上記取得された画像データを記憶させるのに加えて、あるいは、上記取得された画像データを記憶させる代わりに、当該画像データから抽出された特徴量データを記憶させるようにしてもよい。特徴量データは、例えば、ＡＫＡＺＥ特徴量やＳＩＦＴ特徴量等を含むデータである。特徴量データを記憶させる場合は、画像データに対して実行するものとして説明する以下の処理は、特徴量データに対して実行するものとしてもよい。なお、当該画像データの取得処理は、カメラ２または他の装置が、上記監視対象区域内において動物体の存在または移動を検知したときに実行されるようにしてもよい。

ステップＳ２２において制御ユニット１１は、動物体領域検出部１１２の制御の下、画像データ記憶部１２１に記憶される上記画像データを読み出し、読み出された画像データにおいて動物体を示す領域が検出されるか否かを判定する。当該検出処理は、例えば、画像データによるフレーム間差分法を使用して実行される。あるいは、カメラ２がサーモカメラであり、画像データとして熱情報のデータが得られている場合は、当該検出処理は、熱情報を使用して実行される。読み出された画像データにおいて動物体を示す領域が検出されていないと判定された場合は、後述の処理は実行されず、再度ステップＳ２１の処理に戻る。読み出された画像データにおいて動物体を示す領域が検出されたと判定された場合は、以下に説明する処理に進む。

ステップＳ２３において制御ユニット１１は、動物体画像データ生成部１１３の制御の下、上記画像データから上記動物体を示す領域以外の背景領域を削除し、上記動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化する。そして、この正規化後の動物体を示す領域に含まれる動物体画像データを生成し、生成された動物体画像データを動物体画像データ記憶部１２２に記憶させる。

一方、ステップＳ２４において制御ユニット１１は、移動方向推定部１１４の制御の下、上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向を推定する。当該移動方向推定処理は、例えば、オプティカルフロー等の手法を用いて実行される。

ステップＳ２５において制御ユニット１１は、向き推定部１１５の制御の下、上記推定された動物体の移動方向から、例えば、右向き、左向き、奥向き、手前向き等の、上記動物体の向きを推定する。なお、当該推定される方向は、上記した右向き、左向き、奥向き、手前向き等に限定されず、例えば、これらの間の方向を含んでいてもよい。

最後に、ステップＳ２６において制御ユニット１１は、種別判定部１１７の制御の下、動物体画像データ記憶部１２２に記憶される動物体画像データを読み出し、読み出された動物体画像データにより表される動物体の種別を判定する。具体的には、先ず、種別判定部１１７の制御の下、基準画像データベース１２３に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうち、上記ステップＳ２５において推定された動物体の向きに対応する基準画像データ群が選択されて読み出される。次に、制御ユニット１１は、種別判定部１１７の制御の下、読み出された基準画像データ群に含まれる各基準画像データと、上記読み出された動物体画像データとを順次比較して一致の度合いを算出し、この算出した一致の度合いに基づいて上記動物体画像データにより表される動物体の種別を判定する。

なお、上記ステップＳ２５において推定された動物体の向きが、基準画像データベース１２３に定義されていない場合も考えられる。この場合、制御ユニット１１は、種別判定部１１７の制御の下、基準画像データベース１２３で定義されている複数の向きのうち、上記ステップＳ２５において推定された動物体の向きに近接する２つの向きを選択する。そして、当該選択した２つの向きに対応する基準画像データ群をそれぞれ読み込み、この読み込まれた基準画像データ群と、上記動物体画像データ記憶部１２２から読み出された動物体画像データとをそれぞれ比較してその一致の度合いを算出する。その後、制御ユニット１１は、種別判定部１１７の制御の下、上記算出された一致の度合いに対し、上記推定された動物体の向きと上記選択された２つの向きとの関係に基づく比率、例えば角度の比率に基づいて重み付けし、当該重み付け後の一致の度合いに基づいて動物体の種別を判定する。

また以上の説明では、複数の種別の動物体の複数の向きに対応する基準画像データ群を基準画像データベース１２３に記憶しておく場合を例にとって説明したが、複数の種別の動物体の複数の向きおよび複数のサイズに対応する基準画像データ群を基準画像データベース１２３に記憶しておくようにしてもよい。この場合、制御ユニット１１は、種別判定部１１７の制御の下、上記ステップＳ２５において推定された動物体の向きに対応し、かつ上記ステップＳ２３において正規化された画像サイズに対応する基準画像データ群を基準画像データベース１２３から読み込む。そして、上記動物体画像データ記憶部１２２から読み込んだ動物体画像データを、上記基準画像データベース１２３から読み込んだ基準画像データ群とそれぞれ比較してその一致の度合いを算出し、当該算出された一致の度合いに基づいて上記動物体画像データにより表される動物の種別を判定する。

（３）基準画像データベース生成処理および動物種別判定処理に含まれる各処理の具体例
図４は、図２のステップＳ１２および図３のステップＳ２３において説明した、動物体画像データ生成処理の一例を図示したものである。

図４（Ａ）は、画像データから動物体を示す領域以外の背景領域が削除される例を図示している。図４（Ａ）に示される画像Ｐ０は、背景領域削除前の画像データに対応しており、図４（Ａ）に示される画像ｔＰ０は、背景領域削除後の画像データに対応している。画像Ｐ０中に示されるイノシシやシカのような動物体を示す領域が、画像データによるフレーム間差分法を使用して、あるいは、カメラ２がサーモカメラであり画像データとして熱情報のデータが得られている場合には熱情報を使用して検出される。画像データから、検出された動物体を示す領域以外の領域である背景領域を削除することにより、画像ｔＰ０に対応する画像データが得られる。

図４（Ｂ）は、背景領域が削除された画像データから動物体画像データが生成される例を図示している。画像ｎＰ０＿１および画像ｎＰ０＿２は、生成される動物体画像データに対応している。まず、背景領域が削除された画像データにおいて、基準位置に対する各動物体の距離が判定される。具体的には、画像ｔＰ０において、破線で示される基準線からの各動物体の距離が判定される。画像ｔＰ０では、当該距離が小さい動物体と比較して、当該距離が大きい動物体は小さく表示されている。したがって、動物体の種別判定に用いることができる画像データにするため、当該判定された距離に基づいて、各動物体を示す領域の画像サイズが正規化されるようにする。その結果、上記動物体画像データが生成される。なお、上記の画像にゆがみがある場合は、別途補正をする。

図５は、図２のステップＳ１５において説明した、基準画像データベース生成処理の一例を図示したものである。

図５（Ａ）に示されるように、各動物体を表す動物体画像データに、推定された各動物体の向きをそれぞれ対応付ける。図５（Ａ）の例では、イノシシの第１の動物体画像データおよびシカの第１の動物体画像データに左の向きが対応付けられ、イノシシの第２の動物体画像データおよびシカの第２の動物体画像データに右の向きが対応付けられている。なお、各動物体画像データには、図４（Ｂ）の例で説明した正規化後の動物体を示す領域の画像サイズも対応付けてもよい。正規化後の動物体を示す領域の画像サイズを対応付けることによって、各動物体画像データにより表される動物体が同一の種別のものであっても、例えば、幼体と成体とを判別することが可能になる。なお、動物体の向きは、図２のステップＳ１４において推定されるものではなく、オペレータが判断して、入力部３を介して入力したものを用いるようにしてもよい。

図５（Ｂ）に示されるように、任意の機械学習手法を用いて、各動物体を表す動物体画像データは、各動物体の上記対応付けられた向きに対応する基準画像データとして、基準画像データベース１２３に記憶される。図５（Ｂ）の例では、左の向きに対応付けられているイノシシの第１の動物体画像データおよびシカの第１の動物体画像データが、左向きに対応する基準画像データとして基準画像データベース１２３に記憶され、右の向きに対応付けられているイノシシの第２の動物体画像データおよびシカの第２の動物体画像データが、右向きに対応する基準画像データとして基準画像データベース１２３に記憶される。なお、上述したように、各動物体画像データは、正規化後の動物体を示す領域の画像サイズに対応付けて、基準画像データとして基準画像データベース１２３に記憶されるようにしてもよい。なお、各動物体画像データは、画像サイズの複数の範囲のうち、上記正規化後の動物体を示す領域の画像サイズが含まれる範囲に対応付けて、基準画像データとして記憶されるようにしてもよい。

図６は、図２のステップＳ１３および図３のステップＳ２４において説明した、動物体移動方向推定処理の一例を図示したものである。

当該動物体移動方向推定処理が実行される画像データに対応する画像Ｐ１，１、・・・、画像Ｐ１，ｋが時系列で示されている。当該画像データは、例えば、映像データであってもよく、あるいは、時系列的に間欠的に得られる複数の静止画データであってもよい。時系列の画像である画像Ｐ１，１、・・・、画像Ｐ１，ｋを、例えばオプティカルフロー等の手法により比較することによって、画像データにおける動物体を示す領域の時間変化を観察することができる。その結果、動物体の移動方向を推定することができる。図６の例では、画像中に示されるイノシシが右向きの方向に移動していることが推定される。なお、この結果から、イノシシが右向きであることも推定される。

図７は、図３のステップＳ２６において説明した、種別判定処理の一例を図示したものである。

図７に示される画像ｎＰ１は、図６に示した画像データから生成された動物体画像データに対応している。当該動物体画像データにより表されるイノシシは、右向きであると推定されていた。動物体の種別判定処理のために、基準画像データベース１２３に記憶される複数の基準画像データのうちの、右向きに対応する基準画像データ群が読み出される。次に、画像解析によって、読み出された基準画像データ群に含まれる各基準画像データと、読み出された動物体画像データとが比較され、読み出された動物体画像データにより表される動物体の種別が判定される。当該画像解析処理は、例えば、離散コサイン変換手法による特徴ベクトルの解析方法を用いる。なお、当該画像解析処理は、離散フーリエ変換、ＫＬ変換、ウェーブレット変換等の他の手法を用いて実行してもよい。図７の例では、種別判定処理の結果として、イノシシである確率が８０％、シカである確率が２０％であると示されている。当該種別判定処理の結果は、例えば、表示部４に出力される。なお、当該種別判定処理の結果は、示される確率のうち最も高い確率のものが所定の値を上回っている場合に限り、表示部４において、その最も高い確率に対応する動物の種別を表示するようにしてもよい。最も高い確率のものが所定の値を上回っていない場合は、アラートを表示するようにしてもよい。

図８は、図３のステップＳ２６において説明した、動物種別判定処理の他の例を図示したものである。

図８に示される画像ｎＰ２では、動物体が右奥の向きを向いている。したがって、画像ｎＰ２に対応する動物体画像データにより表される動物体の種別を判定するために、基準画像データベース１２３に記憶される複数の基準画像データのうちの、上記右奥の向きに近接する向きである奥向きと右向きとに対応する基準画像データ群が読み出される。次に、画像解析によって、読み出された基準画像データ群と、上記動物体画像データとが比較される。図８の例では、奥向きの基準画像データに対応する比較結果の重み付けを３０、右向きの基準画像データに対応する比較結果の重み付けを７０として、比較の結果を重み付けして、上記動物体画像データにより表される動物体の種別が判定される。

図９は、図８に示したような、動物種別判定処理において使用される重み付け係数の一例を示したものである。図９の例では、推定された動物体の向きに対応する極座標の角度に基づいて、各向きに対応する基準画像データとの比較結果に使用される重み付け係数が決定される例が示されている。

図１０は、動物種別判定処理において使用される重み付け係数の他の例を示したものである。図１０の例は、上述したような、基準画像データがそれぞれサイズにも対応付けられて基準画像データベース１２３に記憶されている場合の種別判定処理において使用することができる。当該種別判定処理では、動物体画像データと、複数の種別の動物体の複数の向きおよびサイズにそれぞれ対応する複数の基準画像データとが、動物体画像データに関して推定された動物体の向きおよび上記正規化後の上記動物体を示す領域の画像サイズを考慮して比較される。その際に、図８および図９の例と同様に、図１０に示した重み付け係数を使用することができる。

（効果）
以上詳述したように、この発明の第１の実施形態では、以下のような効果が奏せられる。

（１）カメラ２によって生成された、監視対象区域内で所定の種別の動物体が撮像された画像データが取得される。当該画像データから上記所定の種別の動物体を示す領域が検出される。当該画像データから、上記検出された上記所定の種別の動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記所定の種別の動物体を示す領域の時間変化から、上記所定の種別の動物体の移動方向が推定される。当該移動方向から、上記所定の種別の動物体の向きが推定される。上記生成された動物体画像データが、上記所定の種別の動物体の上記推定された向きに対応する基準画像データとして記憶される。

このように、動物種別判定装置において動物体の種別判定処理を実行するために必要とされる、複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データを、当該動物種別判定装置において生成することができる。

（２）カメラ２によって生成された、監視対象区域内が撮像された画像データが取得される。当該画像データから動物体を示す領域が検出される。当該画像データから、上記検出された上記動物体を示す領域に含まれる動物体画像データが生成される。上記画像データにおける上記動物体を示す領域の時間変化から、上記動物体の移動方向が推定される。当該移動方向から、上記動物体の向きが推定される。基準画像データベース１２３に記憶される複数の種別の動物体の複数の向きにそれぞれ対応する複数の基準画像データのうちの、上記推定された動物体の向きに対応する基準画像データ群が選択されて読み出され、読み出された基準画像データ群に含まれる各基準画像データと、上記動物体画像データとが比較されて、動物体画像データにより表される動物体の種別が判定される。なお、上記推定された動物体の向きに対応する基準画像データが基準画像データベース１２３に記憶されていない場合は、代わりに、基準画像データベース１２３に記憶される複数の基準画像データのうちの、上記推定された動物体の向きに近接する２つの向きに対応する基準画像データ群が読み出され、読み出された基準画像データ群と、読み出された動物体画像データとが比較されて、当該比較の結果を、上記推定された動物体の向きと上記２つの向きとの関係に基づく比率に基づいて重み付けした上で、読み出された動物体画像データにより表される動物体の種別が判定される。

このように、取得された画像データに撮像された任意の向きの動物体の種別を判定することができる。また、上記動物体画像データが、上記複数の基準画像データのうちの、推定された動物体の向きに対応する基準画像データ群のみと比較処理を実行される場合には、上記複数の基準画像データのすべての基準画像データが比較処理を実行される場合と比べて処理量を抑えることができる。

（３）上記動物体画像データは、上記画像データから上記所定の種別の動物体を示す領域以外の背景領域を削除し、上記所定の種別の動物体を示す領域の画像サイズを上記画像データ内の基準位置に対する距離に基づいて正規化することによって生成される。上記動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとが、読み出された動物体画像データに関して向き推定部１１５において推定された動物体の向きおよび上記正規化後の上記動物体を示す領域の画像サイズを考慮して比較され、その比較結果に基づいて、読み出された動物体画像データにより表される動物体の種別が判定される。

このように、動物体を示す領域が正確に切り出され、動物体のサイズが反映されるように正規化された動物体画像データを生成することができる。したがって、撮像された動物体との距離にかかわらず、動物体の種別を精度良く判定することができる。また、動物体のサイズにも対応している基準画像データを使用して、動物体の種別判定処理が実行されるので、例えば、動物体が成体であるかまたは幼体であるかの判定もすることができる。

［他の実施形態］
なお、この発明は上記第１の実施形態に限定されるものではない。例えば、上記第１の実施形態では、さまざまな向きの動物体が撮像された画像データにおいて、当該動物体の種別を判定する処理について説明した。しかしながら、本発明はこれに限定されるものではなく、例えば、さまざまな向きでヒトが撮像された画像データにおいて、複数のヒトの複数の方向に対応する基準画像データを用いて、撮像されているヒトの顔認識をするようにもできる。

その他、基準画像データベース生成処理および動物種別判定処理を実行する装置、撮像装置としてのカメラ等の種類とその構成、および、基準画像データベースの構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記第１の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記第１の実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、上記第１の実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１…動物種別判定装置、１１…制御ユニット、１１１…画像データ取得部、１１２…動物体領域検出部、１１３…動物体画像データ生成部、１１４…移動方向推定部、１１５…向き推定部、１１６…基準画像データベース生成部、１１７…種別判定部、１２…記憶ユニット、１２１…画像データ記憶部、１２２…動物体画像データ記憶部、１２３…基準画像データベース、１３…外部インタフェースユニット、１４…入出力インタフェースユニット、２…カメラ、３…入力部、４…表示部、Ｐ０，Ｐ１，１，・・・，Ｐ１，ｋ…画像データに対応する画像、ｔＰ０…背景領域削除後の画像データに対応する画像、ｎＰ０＿１，ｎＰ０＿２，ｎＰ１，ｎＰ２…動物体画像データに対応する画像

Claims (8)

1. 撮像装置によって生成された画像データを取得する画像データ取得部と、
   前記取得された画像データから動物体を示す領域を検出する動物体領域検出部と、
   前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する移動方向推定部と、
   前記推定された前記動物体の移動方向から前記動物体の向きを推定する向き推定部と、
   前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する動物体画像データ生成部と、
   前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する種別判定部と
   を備える動物種別判定装置。
2. 前記動物体画像データ生成部は、前記画像データから前記動物体を示す領域以外の背景領域を削除し、前記動物体を示す領域の画像サイズを前記画像データ内の基準位置に対する距離に基づいて正規化することによって、前記動物体画像データを生成する、請求項１に記載の動物種別判定装置。
3. 前記種別判定部は、
   前記複数の基準画像データから、前記推定された前記動物体の向きに対応する基準画像データ群を選択する基準画像データ選択部と、
   前記選択された基準画像データ群に含まれる各基準画像データと、前記生成された動物体画像データとを比較する画像データ比較部と
   を備える、請求項１又は２に記載の動物種別判定装置。
4. 前記種別判定部は、
   前記複数の基準画像データのうちの、前記推定された前記動物体の向きに近接する２つの向きに対応する基準画像データ群と、前記生成された動物体画像データとを比較する画像データ比較部と、
   前記画像データ比較部による比較の結果を、前記推定された前記動物体の向きと前記２つの向きとの関係に基づく比率に基づいて重み付けする重み付け部と
   を備える、請求項１又は２に記載の動物種別判定装置。
5. 前記種別判定部は、前記動物体画像データ生成部により生成された動物体画像データと、複数の種別の動物体の複数の向きおよびサイズに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きおよび前記正規化後の前記動物体を示す領域の画像サイズを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する、請求項２に記載の動物種別判定装置。
6. 所定の種別の動物体を表す動物体画像データを、前記複数の基準画像データのうちの、前記所定の種別の動物体の当該所定の種別の動物体の向きに対応して生成された基準画像データとして記憶させる基準画像データベース生成部をさらに備える、請求項１乃至５のいずれかに記載の動物種別判定装置。
7. コンピュータおよびメモリを備える装置が実行する動物種別判定方法であって、
   撮像装置によって生成された画像データを取得する過程と、
   前記取得された画像データから動物体を示す領域を検出する過程と、
   前記取得された画像データにおける前記動物体を示す領域の時間変化から、前記動物体の移動方向を推定する過程と、
   前記推定された前記動物体の移動方向から前記動物体の向きを推定する過程と、
   前記画像データから、前記検出された動物体を示す領域に含まれる動物体画像データを生成する過程と、
   前記生成された動物体画像データと、複数の種別の動物体の複数の向きに対応してそれぞれ生成された複数の基準画像データとを、前記推定された動物体の向きを考慮して比較し、その比較結果に基づいて、前記動物体画像データにより表される動物体の種別を判定する過程と
   を備える動物種別判定方法。
8. 請求項１乃至６のいずれかに記載の動物種別判定装置が備える各部としてコンピュータを機能させるプログラム。