JP2021043774A - 通知判定装置、通知判定方法及び通知判定プログラム - Google Patents

Abstract

【課題】対象の属性を有する対象物を検出する処理の効率を高めつつ、ある程度の検出精度の維持を可能にする。【解決手段】検出部２２は、第１手法により撮影画像データから対象物を検出する。属性特定部２３は、検出された対象物が対象の属性を有するか否かを、第１手法とは異なる第２手法により撮影画像データから特定する。判定部２４は、対象物が検出されたことの確からしさを示す第１確信度と、対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、対象の属性の対象物が検出されたことを通知するか否かを判定する。【選択図】図１

Description

この発明は、対象の属性を有する対象物が検出されたことを通知するか否かを判定する技術に関する。

撮影装置によって得られた撮影画像データからディープラーニングを用いた手法により対象の属性を有する対象物を検出することが行われている。特許文献１には、ニューラルネットワークを用いて歩行者か否かの判別結果を導き出すことが記載されている。

特開２００７−０５８７５１号公報

しかし、撮影画像データからディープラーニングを用いた手法によって対象の属性を有する対象物を検出する処理は計算量が多い。そのため、リアルタイムに対象の属性を有する対象物を検出することは、困難である場合がある。一方で、他の検出手法では、検出精度が低い場合がある。
この発明は、対象の属性を有する対象物を検出する処理の効率を高めつつ、ある程度の検出精度の維持を可能にすることを目的とする。

この発明に係る通知判定装置は、
第１手法により撮影画像データから対象物を検出する検出部と、
前記検出部によって検出された前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定する属性特定部と、
前記検出部によって前記対象物が検出されたことの確からしさを示す第１確信度と、前記属性特定部によって前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する判定部と
を備える。

前記判定部は、前記第１確信度が第１閾値以上であり、かつ、前記第２確信度が第２閾値以上である場合に、通知すると判定する。

前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
前記判定部は、連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度が前記第１閾値以上であり、かつ、前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度が前記第２閾値以上である場合に、通知すると判定する。

前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
前記判定部は、連続する第１基準数のフレームの撮影画像データのうち、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度が前記第１閾値以上であり、かつ、前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度が前記第２閾値以上であるフレーム数の合計が少なくとも第２基準数以上であると算出した場合に、通知すると判定する。

前記判定部は、前記第１確信度と前記第２確信度とを複合して計算される複合確信度が複合閾値以上である場合に、通知すると判定する。

前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
前記判定部は、連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度と前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度とを複合して計算される前記複合確信度が前記複合閾値以上である場合に、通知すると判定する。

前記判定部は、前記対象物の位置がマスク領域に含まれる場合には、通知しないと判定する。

前記属性特定部は、前記対象物が対象の属性を有するか否かを、前記対象物が存在する領域の画像データが前記撮影画像データから切り出されて得られた部分画像データから特定する。

この発明に係る通知判定方法は、
検出部が、第１手法により撮影画像データから対象物を検出し、
属性特定部が、前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定し、
判定部が、前記対象物が検出されたことの確からしさを示す第１確信度と、前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する。

この発明に係る通知判定プログラムは、
第１手法により撮影画像データから対象物を検出する検出処理と、
前記検出処理によって検出された前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定する属性特定処理と、
前記検出処理によって前記対象物が検出されたことの確からしさを示す第１確信度と、前記属性特定処理によって前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する判定処理と
を行う通知判定装置としてコンピュータを機能させる。

この発明では、第１手法により対象物を検知し、第２手法により対象物が対象の属性を有するか否かを特定する。これにより、例えば、ディープラーニングを用いた手法よりも計算量の少ない手法を第１手法として対象物を検知し、ディープラーニングを用いた手法を第２手法として対象物が対象の属性を有するか否かを特定するといったことが可能である。
その結果、計算量の多いディープラーニングを用いた手法による処理量を減らすことが可能であり、処理の効率を高めることができる。また、対象物が検知されたことの確からしさを示す第１確信度と、属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、通知するか否かを判定しており、高精度な通知が可能になる。

実施の形態１に係る通知判定装置１０の構成図。 実施の形態１に係る通知判定装置１０の処理の流れを示すフローチャート。 実施の形態１に係る通知処理の説明図。 実施の形態１に係る通知判定装置１０の処理の具体例の説明図。 実施の形態１に係る通知判定装置１０の処理の具体例の説明図。 変形例１に係る通知判定装置１０の処理の流れを示すフローチャート。 変形例２に係る通知判定装置１０の処理の流れを示すフローチャート。 変形例３に係る通知判定装置１０の構成図。 実施の形態２に係る通知判定装置１０の処理の流れを示すフローチャート。 実施の形態３に係る通知判定装置１０の構成図。 実施の形態３に係る通知判定装置１０の処理の流れを示すフローチャート。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１を参照して、実施の形態１に係る通知判定装置１０の構成を説明する。
通知判定装置１０は、コンピュータである。
通知判定装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信インタフェース１４とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。

プロセッサ１１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。プロセッサ１１は、具体例としては、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

メモリ１２は、データを一時的に記憶する記憶装置である。メモリ１２は、具体例としては、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。

ストレージ１３は、データを保管する記憶装置である。ストレージ１３は、具体例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。また、ストレージ１３は、ＳＤ（登録商標，Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ，登録商標）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）といった可搬記録媒体であってもよい。

通信インタフェース１４は、外部の装置と通信するためのインタフェースである。通信インタフェース１４は、具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標，Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）のポートである。

通知判定装置１０は、通信インタフェース１４を介して、監視カメラといった撮影装置４１と接続されている。

通知判定装置１０は、機能構成要素として、画像取得部２１と、検出部２２と、属性特定部２３と、判定部２４と、通知部２５とを備える。通知判定装置１０の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ１３には、通知判定装置１０の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ１１によりメモリ１２に読み込まれ、プロセッサ１１によって実行される。これにより、通知判定装置１０の各機能構成要素の機能が実現される。

図１では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。

＊＊＊動作の説明＊＊＊
図２から図５を参照して、実施の形態１に係る通知判定装置１０の動作を説明する。
実施の形態１に係る通知判定装置１０の動作手順は、実施の形態１に係る通知判定方法に相当する。また、実施の形態１に係る通知判定装置１０の動作を実現するプログラムは、実施の形態１に係る通知判定プログラムに相当する。

図２を参照して、実施の形態１に係る通知判定装置１０の処理の流れを説明する。
（ステップＳ１０１：画像取得処理）
画像取得部２１は、通信インタフェース１４を介して、撮影領域を撮影装置４１によって撮影することにより得られた最新のフレームの撮影画像データを取得する。画像取得部２１は、撮影画像データをメモリ１２に書き込む。

（ステップＳ１０２：検出処理）
検出部２２は、第１手法により撮影画像データから対象物を検出する。実施の形態１では、第１手法は、パターンマッチングとする。パターンマッチングのため、検出すべき対象物を示す元データをストレージ１３に記憶しておき、撮影画像データと比較することにより、対象物を検出する。なお、第１手法は、ディープラーニングよりも計算量の少ない手法であれば、他の手法であってもよい。
具体的には、検出部２２は、ステップＳ１０１で取得された撮影画像データをメモリ１２から読み出す。検出部２２は、パターンマッチングにより撮影画像データから対象物を特定する。実施の形態１では、対象物は人とする。なお、対象物は、人に限らず、鞄及び自動車といった他の種別の物であってもよい。検出部２２は、撮影画像データにおいて、特定された対象物が存在する矩形領域の座標を特定する。例えば、検出部２２は、対象物が存在する矩形領域のｘ座標とｙ座標と幅と高さとを特定する。ｘ座標及びｙ座標は、対象物が存在する矩形領域の左上の点といった決められた点の座標である。

（ステップＳ１０３：検出判定処理）
検出部２２は、ステップＳ１０２で対象物が検出された場合には、処理をステップＳ１０４に進める。一方、検出部２２は、ステップＳ１０２で対象物が検出されなかった場合には、処理をステップＳ１０１に戻して、次のフレームの撮影画像データについての処理を実行する。

ステップＳ１０４からＳ１０９の処理は、検出された各対象物を順に対象として実行される。

（ステップＳ１０４：画像切出処理）
検出部２２は、ステップＳ１０２で検出された対象物が存在する矩形領域の画像データを部分画像データとして、ステップＳ１０１で取得された撮影画像データから切り出す。つまり、検出部２２は、対象物が存在する矩形領域のｘ座標とｙ座標と幅と高さとから特定される範囲の画像データを部分画像データとして、撮影画像データから切り出す。検出部２２は、切り出された部分画像データをメモリ１２に書き込む。

（ステップＳ１０５：属性特定処理）
属性特定部２３は、ステップＳ１０２で検出された対象物が対象の属性を有するか否かを、第１手法とは異なる第２手法によりステップＳ１０１で取得された撮影画像データから特定する。実施の形態１では、第２手法は、ディープラーニングを用いた手法である。なお、第２手法は、ディープラーニングを用いた手法と同等の精度で属性を特定可能な手法であれば、他の手法であってもよい。
具体的には、属性特定部２３は、ステップＳ１０４で切り出された部分画像データをメモリ１２から読み出す。属性特定部２３は、ディープラーニングによって構成された属性特定モデルに部分画像データを入力として与える。これにより、属性特定部２３は、部分画像データに含まれる対象物が対象の属性であるか否かを判定する。実施の形態１では、対象の属性は、白杖を有することとする。なお、対象の属性は、白杖を有することに限らず、車椅子に乗っている、子供であるといった他の属性であってもよい。

（ステップＳ１０６：属性判定処理）
属性特定部２３は、ステップＳ１０５で対象物が対象の属性であると特定された場合には、処理をステップＳ１０７に進める。一方、属性特定部２３は、ステップＳ１０５で対象物が対象の属性でないと特定された場合には、処理をループの最後に進める。、これにより、未処理の対象物がある場合にはその対象物についての処理が実行されることになる。

（ステップＳ１０７：第１判定処理）
判定部２４は、ステップＳ１０２で対象物が検出されたことの確からしさを示す第１確信度が第１閾値以上であるか否かを判定する。
第１確信度は、ステップＳ１０２で対象物が検出された際に得られる値である。具体例としては、第１確信度は、パターンマッチングでの一致度合である。第１閾値は、どの程度の確度で通知を行うかに応じて事前に設定される値である。
判定部２４は、第１確信度が第１閾値以上である場合には、処理をステップＳ１０８に進める。一方、判定部２４は、第１確信度が第１閾値未満である場合には、処理をループの最後に進める。これにより、未処理の対象物がある場合にはその対象物についての処理が実行されることになる。

（ステップＳ１０８：第２判定処理）
判定部２４は、ステップＳ１０５で対象物が対象の属性を有することが特定されたことの確からしさを示す第２確信度が第２閾値以上であるか否かを判定する。
第２確信度は、ステップＳ１０５で対象物の属性が特定された際に得られる値である。具体例としては、ディープラーニングのモデルで計算される確率スコアである。第２閾値は、第１閾値と同様に、どの程度の確度で通知を行うかに応じて事前に設定される値である。
判定部２４は、第２確信度が第２閾値以上である場合には、処理をステップＳ１０９に進める。一方、判定部２４は、第２確信度が第２閾値未満である場合には、処理をループの最後に進める。これにより、未処理の対象物がある場合にはその対象物についての処理が実行されることになる。

（ステップＳ１０９：通知処理）
通知部２５は、対象の属性の対象物が検出されたことを通知する。
具体例としては、図３に示すように、通知部２５は、撮影画像データにおける対象物を枠で囲う等して、対象の属性の対象物であることが分かるようにして、撮影画像データを表示装置に表示する。
撮影画像データから検出された全ての対象物について処理が完了したときは、処理をステップＳ１０１に戻して、次のフレームの撮影画像データについての処理を実行する。

つまり、判定部２４は、第１確信度が第１閾値以上であり、かつ、第２確信度が第２閾値以上である場合に、通知すると判定する。一方、判定部２４は、第１確信度が第１閾値未満である場合と、第２確信度が第２閾値未満である場合との少なくともいずれかの場合に、通知しないと判定する。

図４及び図５を参照して、実施の形態１に係る通知判定装置１０の処理の具体例を説明する。
ここでは、第１閾値及び第２閾値は６０％であるとする。

図４に示すように、ステップＳ１０２で撮影画像データ５１Ａから対象物である人が検出され、ステップＳ１０４で人がいる領域の部分画像データ５２Ａが切り出される。ここで、人が検知されたことの確からしさである第１確信度は、９０％であるとする。そして、ステップＳ１０５で部分画像データ５２Ａが属性特定モデルに入力され、白杖を有しているという属性が特定される。ここで、白杖を有しているという属性が特定されたことの確からしさである第２確信度は６０％であるとする。
その結果、第１確信度は第１閾値以上であり、かつ、第２確信度は第２閾値以上であるため、ステップＳ１０７及びステップＳ１０８を経てステップＳ１０９に処理が進められる。そして、ステップＳ１０９で対象の属性の対象物が検出されたことが通知される。

図５に示すように、ステップＳ１０２で撮影画像データ５１Ｂから対象物である人が検出され、ステップＳ１０４で人がいる領域の部分画像データ５２Ｂが切り出される。図５では、図４のように正確な検出ができず、少しずれた位置が検出されている。ここで、人が検知されたことの確からしさである第１確信度は、１０％であるとする。そして、ステップＳ１０５で部分画像データ５２Ｂが属性特定モデルに入力され、白杖を有しているという属性が特定される。部分画像データ５２Ｂには、白杖は含まれていないが、路面上の白線が含まれている。ここでは、白線が白杖として認識されてしまい、白杖を有しているという属性が特定されている。部分画像データ５２Ｂの白線は、部分画像データ５２Ａの白杖よりも鮮明であるため、白杖を有しているという属性が特定されたことの確からしさである第２確信度は８０％であるとする。
その結果、第１確信度は第１閾値未満であるため、ステップＳ１０７からステップＳ１０１に処理が戻される。その結果、ステップＳ１０９で対象の属性の対象物が検出されたことが通知されない。

＊＊＊実施の形態１の効果＊＊＊
以上のように、実施の形態１に係る通知判定装置１０は、ディープラーニングを用いた手法よりも計算量の少ない第１手法により対象物を検知し、ディープラーニングを用いた第２手法により対象物が対象の属性を有するか否かを特定する。これにより、第２手法の対象を第１手法で検知された対象物に限定することで計算量の多いディープラーニングによる処理量を減らすことが可能であり、処理の効率を高めることができる。

また、実施の形態１に係る通知判定装置１０は、対象物が検知されたことの確からしさを示す第１確信度と、対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、通知するか否かを判定する。つまり、単に第２確信度が高ければ通知するのではなく、第１確信度も考慮した上で通知するか否かを判定する。これにより、高精度な通知が可能になる。
例えば、図５に示す例では、第２確信度は８０％と高い値になっている。しかし、属性を特定する前段階である対象物の検出処理の第１確信度は１０％と低い値になっている。そのため、通知しないと判定されている。

＜変形例１＞
実施の形態１では、第１確信度が第１閾値以上であるかを判定する処理（ステップＳ１０７）が、対象物が対象の属性であることを特定する処理（ステップＳ１０５）の後に実行された。しかし、第１確信度が第１閾値未満であれば、通知しないと判定される。そのため、図６に示すように、第１確信度を計算し、第１確信度が第１閾値以上であるかを判定する処理を、検出処理（ステップＳ１０２）のすぐ後に実行するようにしてもよい。つまり、検出判定処理（ステップＳ１０３）において、検出部２２は、対象物が検出され、かつ、第１確信度が第１閾値以上である対象だけ、ステップＳ１０４に処理を進めるようにしてもよい。ステップＳ１０４からＳ１０８の処理は、第１確信度が第１閾値以上である対象物を順に対象として実行される。
これにより、第１確信度が第１閾値未満であれば、対象物が対象の属性であることを特定する処理を実行することなく、通知しないと判定される。つまり、第１確信度が第１閾値未満であれば、計算量の多いディープラーニングを用いた処理を行うことなく、通知しないと判定される。したがって、処理の効率を高めることができる。

＜変形例２＞
判定部２４は、第１確信度と第２確信度とを複合した複合確信度を用いて通知するか否かを判定してもよい。この場合には、図７に示すように、ステップＳ１０７及びステップＳ１０８の処理に変えて、ステップＳ１０７’が実行される。この場合も図２を用いて説明したように、ステップＳ１０４からＳ１０９の処理は、検出された各対象物を順に対象として実行される。
ステップＳ１０７’では、判定部２４は、第１確信度と第２確信度とを複合して複合確信度を計算する。具体例としては、第１確信度と第２確信度との平均値を複合確信度とする。また、別の具体例としては、第１確信度と第２確信度との少なくともいずれかに重み付けした上で、平均値を計算してもよい。そして、判定部２４は、複合確信度が複合閾値以上であるか否かを判定する。判定部２４は、複合確信度が複合閾値以上である場合には、処理をステップＳ１０９に進める。一方、判定部２４は、複合確信度が複合閾値未満である場合には、処理をループの最後に進める。
複合閾値は、第１閾値及び第２閾値と同様に、どの程度の確度で通知を行うかに応じて事前に設定される値である。

＜変形例３＞
実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。

図８を参照して、変形例３に係る通知判定装置１０の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、通知判定装置１０は、プロセッサ１１とメモリ１２とストレージ１３とに代えて、電子回路１５を備える。電子回路１５は、各機能構成要素と、メモリ１２と、ストレージ１３との機能とを実現する専用の回路である。

電子回路１５としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が想定される。
各機能構成要素を１つの電子回路１５で実現してもよいし、各機能構成要素を複数の電子回路１５に分散させて実現してもよい。

＜変形例４＞
変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。

プロセッサ１１とメモリ１２とストレージ１３と電子回路１５とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。

実施の形態２．
実施の形態２は、連続する基準数のフレームの撮影画像データについての確信度に基づき通知するか否かが判定される点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。

＊＊＊動作の説明＊＊＊
図９を参照して、実施の形態２に係る通知判定装置１０の動作を説明する。
実施の形態２に係る通知判定装置１０の動作手順は、実施の形態２に係る通知判定方法に相当する。また、実施の形態２に係る通知判定装置１０の動作を実現するプログラムは、実施の形態２に係る通知判定プログラムに相当する。

図９を参照して、実施の形態２に係る通知判定装置１０の処理の流れを説明する。
ステップＳ２０１からステップＳ２０６の処理は、図２のステップＳ１０１からステップＳ１０６の処理と同じである。ステップＳ２０９の処理は、図２のステップＳ１０９の処理と同じである。ステップＳ２０４からＳ２０９の処理は、検出された各対象物を順に対象として実行される。

（ステップＳ２０７：第１判定処理）
判定部２４は、直近の連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、対象の撮影画像データから対象物が検出されたことの第１確信度が第１閾値以上であるか否かを判定する。つまり、判定部２４は、最新の撮影画像データで対象物が検出されたことの第１確信度だけでなく、過去の撮影画像データで同じ対象物が検出されたことの第１確信度も第１閾値以上であるか否かを判定する。
判定部２４は、連続する基準数のフレームの撮影画像データについての第１確信度が第１閾値以上である場合には、処理をステップＳ２０８に進める。一方、判定部２４は、連続する基準数のフレームの撮影画像データのうち一部でも第１確信度が第１閾値未満である場合には、処理をステップＳ２０１に戻す。なお、対象物が検出されない場合も、第１確信度が第１閾値未満である場合に含まれる。

（ステップＳ２０８：第２判定処理）
判定部２４は、直近の連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、対象の撮影画像データから前記属性を有することが特定されたことの第２確信度が第２閾値以上であるか否かを判定する。つまり、判定部２４は、最新の撮影画像データで対象の属性を有すると特定されたことの第２確信度だけでなく、過去の撮影画像データで対象の属性を有すると特定されたことの第２確信度も第２閾値以上であるか否かを判定する。
判定部２４は、連続する基準数のフレームの撮影画像データについての第２確信度が第２閾値以上である場合には、処理をステップＳ２０９に進める。一方、判定部２４は、連続する基準数のフレームの撮影画像データのうち一部でも第２確信度が第２閾値未満である場合には、処理をステップＳ２０１に戻す。なお、対象の属性を有しないと特定された場合も、第２確信度が第２閾値未満である場合に含まれる。

＊＊＊実施の形態２の効果＊＊＊
以上のように、実施の形態２に係る通知判定装置１０は、連続する基準数のフレームの撮影画像データについての第１確信度及び第２確信度に基づき、通知するか否かを判定する。
これにより、一時的に誤検出された場合に、誤通知することが防止される。その結果、高精度な通知が可能になる。

＜変形例５＞
実施の形態２では、判定部２４は、連続する基準数のフレームの撮影画像データについて、第１確信度が第１閾値以上であり、かつ、第２確信度が第２閾値以上である場合に、通知すると判定した。しかし、一時的に検出が漏れてしまう場合がある。この場合には、実施の形態２の方法では、本来通知すべきであるにも関わらず、通知がされなくなってしまう。そこで、判定部２４は、連続する第１基準数のフレームの撮影画像データのうち、第１確信度が第１閾値以上であり、かつ、第２確信度が第２閾値以上であるフレーム数の合計が少なくとも第２基準数以上であると算出した場合に、通知すると判定してもよい。例えば、判定部２４は、連続する１０枚のフレームの撮影画像データのうち少なくとも７枚以上のフレームの撮影画像データについて、第１確信度が第１閾値以上であり、かつ、第２確信度が第２閾値以上である場合に、通知すると判定してもよい。
これにより、一時的に検出が漏れてしまった場合であっても、適切に通知がされる。

実施の形態３．
実施の形態３は、撮影領域の一部を検出対象外の領域とする点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
実施の形態３では、実施の形態１に機能を追加した場合を説明する。しかし、実施の形態２に対して機能を追加することも可能である。

＊＊＊構成の説明＊＊＊
図１０を参照して、実施の形態３に係る通知判定装置１０の構成を説明する。
通知判定装置１０は、ストレージ１３がマスク記憶部３１を実現する点が図１に示す通知判定装置１０と異なる。

＊＊＊動作の説明＊＊＊
図１１を参照して、実施の形態３に係る通知判定装置１０の動作を説明する。
実施の形態３に係る通知判定装置１０の動作手順は、実施の形態３に係る通知判定方法に相当する。また、実施の形態３に係る通知判定装置１０の動作を実現するプログラムは、実施の形態３に係る通知判定プログラムに相当する。

図１１を参照して、実施の形態３に係る通知判定装置１０の処理の流れを説明する。
図１１の処理の前提として、マスク記憶部３１には、マスクデータが記憶されている。マスクデータは、撮影領域のうち検出対象外の領域とするマスク領域を示すデータである。例えば、対象物を人とする場合には、空中に人がいることはないため、空中に当たる領域がマスク領域に設定される。

ステップＳ３０１からステップＳ３０８の処理は、図２のステップＳ１０１からステップＳ１０８の処理と同じである。ステップＳ３１０の処理は、図２のステップＳ１０９の処理と同じである。ステップＳ３０４からＳ３１０の処理は、検出された各対象物を順に対象として実行される。

（ステップＳ３０９：マスク判定処理）
判定部２４は、ステップＳ３０２で検出された対象物が存在する領域がマスク領域であるか否かを判定する。
具体的には、判定部２４は、対象物が存在する矩形領域の下辺の中心点がマスク領域に含まれるか否かによって、対象物が存在する領域がマスク領域であるか否かを判定する。判定部２４は、対象物が存在する矩形領域とマスク領域との重複率が基準率以上であるか否かによって、対象物が存在する領域がマスク領域であるか否かを判定してもよい。
判定部２４は、対象物が存在する領域がマスク領域でない場合には、処理をステップＳ３１０に進める。一方、判定部２４は、対象物が存在する領域がマスク領域である場合には、処理をループの最後に進める。なおステップＳ３０９の処理は、ループの最初に実行するように構成して、対象物が存在する領域がマスク領域であると判定した場合には、次の対象物について処理を実行するようにしてもよい。この場合は、最初にマスク領域であるか否かの判定を行うため、処理の効率化が見込まれる。

＊＊＊実施の形態３の効果＊＊＊
以上のように、実施の形態３に係る通知判定装置１０は、撮影領域の一部を検出対象外の領域とする。
これにより、明らかに対象物が存在し得ない領域で対象物が検出されたことを通知することが防止される。その結果、高精度な通知が可能になる。

以上、この発明の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、この発明は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。

１０ 通知判定装置、１１ プロセッサ、１２ メモリ、１３ ストレージ、１４ 通信インタフェース、１５ 電子回路、２１ 画像取得部、２２ 検出部、２３ 属性特定部、２４ 判定部、２５ 通知部、３１ マスク記憶部、４１ 撮影装置、５１ 撮影画像データ、５２ 部分画像データ。

Claims (10)

1. 第１手法により撮影画像データから対象物を検出する検出部と、
   前記検出部によって検出された前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定する属性特定部と、
   前記検出部によって前記対象物が検出されたことの確からしさを示す第１確信度と、前記属性特定部によって前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する判定部と
   を備える通知判定装置。
2. 前記判定部は、前記第１確信度が第１閾値以上であり、かつ、前記第２確信度が第２閾値以上である場合に、通知すると判定する
   請求項１に記載の通知判定装置。
3. 前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
   前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
   前記判定部は、連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度が前記第１閾値以上であり、かつ、前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度が前記第２閾値以上である場合に、通知すると判定する
   請求項１又は２に記載の通知判定装置。
4. 前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
   前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
   前記判定部は、連続する第１基準数のフレームの撮影画像データのうち、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度が前記第１閾値以上であり、かつ、前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度が前記第２閾値以上であるフレーム数の合計が少なくとも第２基準数以上であると算出した場合に、通知すると判定する
   請求項１又は２に記載の通知判定装置。
5. 前記判定部は、前記第１確信度と前記第２確信度とを複合して計算される複合確信度が複合閾値以上である場合に、通知すると判定する
   請求項１に記載の通知判定装置。
6. 前記検出部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから対象物を検出し、
   前記属性特定部は、複数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記検出部によって前記対象の撮影画像データから検出された前記対象物の属性を、前記対象の撮影画像データから特定し、
   前記判定部は、連続する基準数のフレームの撮影画像データそれぞれを対象の撮影画像データとして、前記対象の撮影画像データから前記対象物が検出されたことの前記第１確信度と前記対象の撮影画像データから前記属性を有することが特定されたことの前記第２確信度とを複合して計算される前記複合確信度が前記複合閾値以上である場合に、通知すると判定する
   請求項５に記載の通知判定装置。
7. 前記判定部は、前記対象物の位置がマスク領域に含まれる場合には、通知しないと判定する
   請求項１から６までのいずれか１項に記載の通知判定装置。
8. 前記属性特定部は、前記対象物が対象の属性を有するか否かを、前記対象物が存在する領域の画像データが前記撮影画像データから切り出されて得られた部分画像データから特定する
   請求項１から７までのいずれか１項に記載の通知判定装置。
9. 検出部が、第１手法により撮影画像データから対象物を検出し、
   属性特定部が、前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定し、
   判定部が、前記対象物が検出されたことの確からしさを示す第１確信度と、前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する通知判定方法。
10. 第１手法により撮影画像データから対象物を検出する検出処理と、
    前記検出処理によって検出された前記対象物が対象の属性を有するか否かを、前記第１手法とは異なる第２手法により前記撮影画像データから特定する属性特定処理と、
    前記検出処理によって前記対象物が検出されたことの確からしさを示す第１確信度と、前記属性特定処理によって前記対象の属性を有することが特定されたことの確からしさを示す第２確信度とに基づき、前記対象の属性の前記対象物が検出されたことを通知するか否かを判定する判定処理と
    を行う通知判定装置としてコンピュータを機能させる通知判定プログラム。

Images