JP2020170320A - 検出装置 - Google Patents

Abstract

【課題】取得画像から得られるシーンや検出の用途等に応じて、認識率の閾値を変更可能な検出装置を提供する。【解決手段】検出装置は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、画像情報を入力データとして対象体を検出するとともに、対象体の認識率を算出し、該算出した認識率が閾値を超えたときに、対象体であると判断する検出部と、画像情報もしくは、移動体の位置情報、速度情報、周辺環境情報のうち少なくともいずれか一つを取得するセンサにより取得された情報を含む情報に基づいて、検出部における認識率の閾値を変更する切替判定部と、を備える。【選択図】図１

Description

本発明は、検出装置に関する。

近年、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）の高速化、メモリの大容量化、及び機械学習の技術が急速に進んできている。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術が確立されつつある（非特許文献１参照）。

Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell. Caffe: Convolutional architecture for fast feature embedding. In Proceedings of the 22nd ACM international conference on Multimedia (pp. 675-678). ACM.

深層学習では、対象体候補を検出し、検出した対象体候補の認識率を算出する処理を行い、例えば、人等の任意の対象体のみの検出結果を出力することが行われている。また、今までの深層学習では、認識率が低い対象体候補を検出した場合には、誤検出の可能性が高いため、認識率が予め定めた閾値以下の場合には、反応しないように処理を行っていた。

しかしながら、取得画像から得られるシーンや検出の用途等によっては、認識率に対する閾値を柔軟に変更した方が、目的に沿う場合もある。

そこで、本発明は、上述の課題に鑑みてなされたものであって、取得画像から得られるシーンや検出の用途等に応じて、認識率の閾値を変更可能な検出装置を提供することを目的とする。

形態１；本発明の１またはそれ以上の実施形態は、移動体に設置され、移動体周辺の画像情報を取得する撮像部と、画像情報を入力データとして対象体を検出するとともに、前記対象体の認識率を算出し、該算出した認識率が閾値を超えたときに、前記対象体であると判断する検出部と、前記画像情報もしくは、前記移動体の位置情報、速度情報、周辺環境情報のうち少なくともいずれか一つを取得するセンサにより取得された情報を含む情報に基づいて、前記検出部における前記認識率の閾値を変更する切替判定部と、を備えたことを特徴とする検出装置を提案している。

形態２；本発明の１またはそれ以上の実施形態は、前記切替判定部は、前記画像情報から特殊作業場を検出した場合に、前記閾値を低くする検出装置を提案している。

形態３；本発明の１またはそれ以上の実施形態は、前記移動体の位置情報と危険エリア情報とを関連付けて記憶するデータベースを備え、前記切替判定部は、前記移動体の位置情報と前記データベースとから、前記移動体が危険エリアを走行中であることを検出した場合に、前記閾値を低くする検出装置を提案している。

形態４；本発明の１またはそれ以上の実施形態は、前記センサに前記移動体の加速度を検出する加速度センサを含み、前記切替判定部は、前記加速度センサの出力値から前記移動体の急加速、急停車を検出した場合に、前記閾値を低くする検出装置を提案している。

形態５；本発明の１またはそれ以上の実施形態は、前記センサからの情報に基づいて、前記移動体のエンジンの停止を検知する検知部を備え、前記切替判定部が、該検知部により前記移動体のエンジンの停止を検知したときに、前記閾値を高くする検出装置を提案している。

本発明の１またはそれ以上の実施形態によれば、取得画像から得られるシーンや検出の用途等に応じて、認識率の閾値を変更することができるという効果がある。

本発明の第１の実施形態に係る検出装置の構成を示す図である。 本発明の第１の実施形態に係る検出装置におけるセンサの構成を示す図である。 本発明の第１の実施形態に係る検出装置における制御部内の構成を示す図である。 本発明の第１の実施形態に係る検出装置の処理フローである。 本発明の第２の実施形態に係る検出装置の構成を示す図である。 本発明の第２の実施形態に係る検出装置の処理フローである。 本発明の第２の実施形態に係る検出装置におけるフレーム間の処理フローである。 本発明の第３の実施形態に係る検出装置の構成を示す図である。 本発明の第３の実施形態に係る検出装置の処理フローである。

＜第１の実施形態＞
以下、本発明の第１の実施形態について、図１から図４を用いて説明する。
なお、以下では、移動体としてフォークリフトを例示して説明する。

＜検出装置の構成＞
本実施形態に係る検出装置１は、図１に示すように、撮像部１０と、記憶部２０と、制御部３０と、センサ４０と、報知部５０とを含んで構成されており、制御部３０は、検出部３７と、切替判定部３５とを含んで構成されている。

撮像部１０は、移動体としてのフォークリフトに設置され、移動体としてのフォークリフト周辺の画像情報を取得する。撮像部１０は、例えば、カメラであり、移動体としてのフォークリフトのヘッドガード内側部あるいは外側部の前方走行方向の画像が撮影可能な位置に取付られている。また、カメラの取付方向は、移動体としてのフォークリフトの前方走行方向の画像が撮影可能な状態であれば特に、限定されるものではない。また、１つのカメラでは、移動体としてのフォークリフトのマストやフォーク等による死角の影響がある場合には、２つ以上のカメラにより、移動体としてのフォークリフトの前方走行方向の画像を網羅的に撮影するようにしてもよい。また、ヘッドガードの外側に台座を設けてカメラを固定するようにしてもよい。また、移動体としてのフォークリフトの進行方向（例えば、前進、後退）に合わせて、カメラが回動するような機構を設けてもよい。

また、カメラは、無線カメラであっても、有線カメラであってもよい。また、カメラは、スチルカメラであってもムービーカメラであってもよい。

記憶部２０は、後述する検出部３７における認識率の閾値を記憶する。記憶部２０は、不揮発性メモリ等であってもよいし、ハードディスク等であってもよい。また、ネットワークで、検出装置１と接続されたサーバ等であってもよい。

制御部３０は、図示しないＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等に記憶された制御プログラムに従って、検出装置１全体の動作を制御する。本実施形態においては、例えば、後述する検出部３７における検出処理や切替判定部３５における切替判定処理を制御する。なお、これらの制御の詳細については、後述する。

センサ４０は、移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報のうち、少なくともいずれか１つを取得する。センサ４０は、例えば、図２に示すように、移動体としてのフォークリフトの走行位置情報４０Ａを検出するＧＰＳ受信機や画像情報とマップ情報、舵角センサ等との組み合わせ、移動体としてのフォークリフトの速度情報４０Ｂを検出する車速センサ、移動体としてのフォークリフト周辺環境情報４０Ｃを検出する照度情報を取得する照度センサ等を例示することができる。なお、位置情報の取得は、予め位置情報が既知のマーカ等を画像情報等から検出することにより行ってもよい。

報知部５０は、検出部３７における対象体の検出結果を、例えば、移動体としてのフォークリフトのオペレータに報知する。ここで、報知部５０は、検出部３７における対象体の検出結果して危険を視覚により知らせる表示装置であってもよいし、音声により知らせるスピーカ等でもよいし、例えば、移動体としてのフォークリフトのシートを振動させることによりオペレータに知らせるバイブレータのようなものであってもよく、特に、限定されるものではない。

＜制御部３０の構成＞
本実施形態に係る検出装置１における制御部３０は、図３に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５と、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９とを含んで構成されている。

収集部３１は、図示しない通信部を介し、撮像部１０からの撮像画像を収集する。ここで、収集された画像情報は、撮像画像データベース（ＤＢ）３２に格納される。

抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像、すなわち検出対象（対象体）の画像情報を抽出し、検出対象データ格納部３４へ格納する。

一方、切替判定部３５は、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部により取得された画像情報に基づいて、記憶部２０に記憶された好適な閾値を選択して、検出部３７に設定する。

例えば、切替判定部３５は、画像情報から特殊作業場を検出した場合に、閾値を記憶部２０に記憶された低い閾値に切り替える。

また、移動体としてのフォークリフトの位置情報と、移動体としてのフォークリフトの位置情報と危険エリア情報とを関連付けて記憶する危険エリア情報データベース（ＤＢ）３９とから、移動体としてのフォークリフトが危険エリアを走行中であることを検出した場合に、検出部３７において使用する閾値を記憶部２０に記憶された低い閾値に切り替える。

また、センサ４０に移動体としてのフォークリフトとしての移動体の加速度を検出する加速度センサを含み、切替判定部３５は、加速度センサの出力値から移動体としてのフォークリフトとしての移動体の急加速、急停車を検出した場合に、閾値を記憶部２０に記憶された低い閾値に切り替える。

検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力として、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率とセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報により、切替判定部３５によって設定された閾値とに基づいて、対象体を検出する。なお、ここで、対象体とは、物体、人体、移動体、車線等を含むものである。

なお、上記では、記憶部２０に記憶された閾値の切替を切替判定部３５の判断処理で実行する例を示したが、記憶部２０に記憶された閾値を手動で行う手動切替部を設け、移動体としてのフォークリフトのオペレータの判断で、当該閾値の切替を行えるようにしてもよい。

＜検出装置の処理＞
図４を用いて、本実施形態に係る検出装置１の処理について説明する。

撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ１０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ１０２）。

抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ１０３）。

切替判定部３５は、センサ４０から得られる移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報に基づいて、記憶部２０に記憶された好適な閾値を選択して、当該閾値を検出部３７に設定させる（ステップＳ１０４）。

検出部３７は、撮像部１０において取得された画像情報を入力データとして、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率と切替判定部３５により設定された閾値とに基づいて、対象体を検出し（ステップＳ１０５）、当該検出結果を検出結果データベース（ＤＢ）３８に格納する（ステップＳ１０６）。ここで、検出部３７は、算出した対象体の認識率が切替判定部３５により設定された閾値以下の場合には、ノイズを含むものと判定し、算出した対象体の認識率が切替判定部３５により設定された閾値よりも大きい場合には、対象体を検出し、当該判定結果を検出結果として、検出結果データベース（ＤＢ）３８に格納する。

ここで、制御部３０は、次の画像情報に対する処理に移行し（ステップＳ１０７）、処理すべき画像情報があるのか否かを確認する（ステップＳ１０８）。そして、制御部３０が、処理すべき画像情報がないと判断した場合（ステップＳ１０８の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０が、処理すべき画像情報があると判断した場合（ステップＳ１０８の「Ｎｏ」）には、処理をステップＳ１０５に戻す。

以上、説明したように、本実施形態によれば、検出装置１は、移動体としてのフォークリフトに設置され、移動体としてのフォークリフト周辺の画像情報を取得する撮像部１０と、撮像部１０において取得された画像情報を入力データとして対象体を検出するとともに、対象体の認識率を算出し、該算出した認識率が閾値を超えたときに、対象体であると判断する検出部３７と、画像情報もしくは、移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報のうち少なくともいずれか一つを取得するセンサにより取得された情報を含む情報に基づいて、検出部３７における認識率の閾値を変更する切替判定部３５と、を備えている。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力として、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率とセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報により、切替判定部３５により設定された閾値とに基づいて、対象体を検出する。
そのため、一般的に予め設定された閾値を用いて検出を行う方式に比べて、現在の状況にあった閾値を用いて検出を行うため、移動体としてのフォークリフトの周辺環境に応じて、個別の対象体の未検出率の軽減を期待することができる。

また、本実施形態によれば、切替判定部３５は、画像情報から特殊作業場を検出した場合に、閾値を低くする。
つまり、切替判定部３５は、撮像部１０が取得する画像情報から、例えば、特殊作業場を示すような識別標識を検出した場合には、閾値を低くし、検出部３７は、撮像部１０において取得される当該画像情報を入力として、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率とセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報により、切替判定部３５により設定された閾値とに基づいて、対象体を検出する。
そのため、検出部３７が、特殊作業場において、対象体の検出漏れの少ない閾値を用いて対象体の検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができる。

また、本実施形態によれば、検出装置１は、移動体としてのフォークリフトの位置情報と危険エリア情報とを関連付けて記憶する危険エリア情報データベース（ＤＢ）３９を備え、切替判定部３５は、移動体としてのフォークリフトの位置情報と、危険エリア情報データベース３９とから、移動体としてのフォークリフトが危険エリアを走行中であることを検出した場合に、閾値を低くする。
つまり、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力として、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率とセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報により、切替判定部３５により設定された閾値とに基づいて、対象体を検出する。
そのため、検出部３７が、危険エリアにおいて、検出漏れの少ない閾値を用いて対象体の検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができる。

また、本実施形態によれば、検出装置１は、センサ４０に移動体としてのフォークリフトの加速度を検出する加速度センサを含み、切替判定部３５は、加速度センサの出力値から移動体としてのフォークリフトの急加速、急停車を検出した場合に、閾値を低くする。
つまり、フォークリフトのオペレータが急加速や急停車を行うような粗い運転操作を行う場合には、経験的に、通常の運転操作を行うオペレータに比べて、例えば、物陰から出てきた人や走行レーンの左右から出てくる他のフォークリフト等と接触事故を起こす可能性が高い。
そこで、切替判定部３５は、加速度センサの出力値から移動体としてのフォークリフトの急加速、急停車を検出した場合に、閾値を低くし、検出部３７は、撮像部１０において取得される移動体としてのフォークリフト周辺の画像情報を入力として、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率とセンサ４０により取得された移動体としてのフォークリフトの位置情報あるいは速度情報あるいは周辺環境情報あるいは撮像部１０により取得された画像情報により、切替判定部３５により設定された閾値とに基づいて、対象体を検出する。
そのため、検出部３７が、移動体としてのフォークリフトの急加速や急停止に応じた閾値を用いて対象体の検出を行うことから、従来の方式に比べて、現在の状況にあった検出処理を実行することができ、不慮の事故を未然に防止することができる。

＜第２の実施形態＞
以下、図５から図７を用いて、本発明の第２の実施形態に係る検出装置１Ａについて説明する。
なお、本実施形態に係る検出装置１Ａは、その構成において、第１の実施形態とは、制御部３０Ａの構成のみが異なる。

＜制御部３０Ａの構成＞
本実施形態に係る検出装置１Ａにおける制御部３０Ａは、図５に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５Ａと、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９と、切替情報生成部３９Ａと、タイマ部３９Ｂとを含んで構成されている。
なお、本実施形態においては、例示的に、検出対象データ格納部３４および検出結果データベース（ＤＢ）３８を検出装置１Ａにおける制御部３０Ａの構成要素として、以下、説明を行うが、これらの構成要素については、必ずしも、必須の構成要素としなくてもよい。
また、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。

切替判定部３５Ａは、センサ４０から得られるフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部１０により取得された画像情報に基づいて、記憶部２０に記憶された好適な閾値を選択して、検出部３７に供給する。また、切替判定部３５Ａは、後述する切替情報生成部３９Ａからの切替情報に基づいて、閾値を切り替える。また、切替判定部３５Ａは、検出部３７Ａの検出結果に基づく、切替情報により、閾値を切り替える。

切替情報生成部３９Ａは、任意の時間間隔、例えば、画像のフレーム間隔で、検出部３７において用いられる閾値を記憶部２０に記憶された閾値のうち、他の閾値に切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７における認識率よりも低い閾値への切替情報を切替判定部３５Ａに出力する。

タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時する。

＜検出装置の処理＞
図６、図７を用いて、本実施形態に係る検出装置１Ａの処理について説明する。

撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ２０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ２０２）。

抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ２０３）。

切替判定部３５Ａは、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部１０により取得された画像情報に基づいて、記憶部２０に記憶された好適な閾値（第１の閾値）を設定する（ステップＳ２０４）。

検出部３７は、撮像部１０において取得された画像情報を入力データとして、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率と切替判定部３５Ａにより設定された閾値（第１の閾値）とに基づいて、対象体を検出する（ステップＳ２０５）。ここで、検出部３７は、算出した対象体の認識率が切替判定部３５Ａにより設定された閾値以下の場合には、ノイズを含むものと判定し、算出した対象体の認識率が切替判定部３５により設定された閾値よりも大きい場合には、対象体を検出し、当該判定結果を検出結果として、検出結果データベース（ＤＢ）３８に格納する。

タイマ部３９Ｂは、任意の時間間隔、例えば、画像のフレーム間隔を計時すると、切替情報生成部３９Ａおよび検出部３７がフレーム間処理を実行する（ステップＳ２０６）。具体的には、図７に示すように、切替情報生成部３９Ａが検出部３７により用いられる閾値を記憶部２０に記憶された閾値のうち、他の閾値（第２の閾値）に切り替える切替情報を切替判定部３５Ａに出力する（ステップＳ２０６１）。そして、抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像、すなわち検出対象の画像情報を抽出し、検出対象データ格納部３４へ格納し（ステップＳ２０６２）、検出部３７は、撮像部１０において取得された画像情報を入力データとして、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率と切替判定部３５Ａにより設定された閾値とに基づいて、対象体を検出する（ステップＳ２０６３）。

検出部３７は、算出した対象体の認識率が切替判定部３５Ａにより設定された閾値以下の場合には、ノイズを含むものと判定し、算出した対象体の認識率が切替判定部３５により設定された閾値よりも大きい場合には、対象体を検出し、当該判定結果を検出結果として、検出結果データベース（ＤＢ）３８に格納する（ステップＳ２０７）。

切替情報生成部３９Ａは、検出部３７における認識率よりも低い閾値への切替情報を切替判定部３５Ａに出力する（ステップＳ２０８）。

ここで、制御部３０Ａは、次の画像情報に対する処理に移行し（ステップＳ２０９）、処理すべき画像情報があるのか否かを確認する（ステップＳ２１０）。そして、制御部３０Ａが、処理すべき画像情報がないと判断した場合（ステップＳ２１０の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ａが、処理すべき画像情報があると判断した場合（ステップＳ２１０の「Ｎｏ」）には、処理をステップＳ２０５に戻す。

以上、説明したように、本実施形態によれば、検出装置１は、切替判定部３５Ａに閾値の切替情報を出力する切替情報生成部３９Ａを備え、切替情報生成部３９Ａは、撮像部１０において取得された画像情報に対して、任意の時間間隔で、検出部３７において用いられる閾値を切り替える切替情報を切替判定部３５Ａに出力するとともに、検出部３７における認識率よりも低い閾値への切替情報を切替判定部３５Ａに出力する。
つまり、切替情報生成部３９Ａは、任意の時間間隔で、例えば、画像情報のフレーム間隔で、検出部３７において用いられる閾値を記憶部２０に記憶された複数の閾値のうち、他の閾値に切り替える切替情報を切替判定部３５Ａに出力する。そして、検出部３７において、対象体の検出に用いられる閾値を記憶部２０に記憶された複数の閾値のうち、他の閾値に切り替える切替情報を切替判定部３５Ａに出力する。
そのため、検出漏れの少ない閾値によって、検出部３７が対象体を検出するため、結果として、対象体の未検出率の軽減を期待することができる。また、一般的な従来の方式に比べて、現在の状況に最も適合した閾値を用いて対象体の検出を行うため、移動体としてのフォークリフトの周辺環境に応じて、個別の対象体における未検出率の軽減を期待することができる。

＜第３の実施形態＞
以下、図８、図９を用いて、本発明の第３の実施形態に係る検出装置１Ｂについて説明する。
なお、本実施形態に係る検出装置１Ｂは、その構成において、第１の実施形態および第２の実施形態とは、制御部３０Ｂの構成のみが異なる。

＜制御部３０Ｂの構成＞
本実施形態に係る検出装置１Ｂにおける制御部３０Ｂは、図８に示すように、収集部３１と、撮像画像データベース（ＤＢ）３２と、抽出部３３と、検出対象データ格納部３４と、切替判定部３５Ｂと、学習済みモデル３６と、検出部３７と、検出結果データベース（ＤＢ）３８と、危険エリア情報データベース（ＤＢ）３９と、検知部３９Ｃとを含んで構成されている。
なお、第１の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。

切替判定部３５Ｂは、後述する検知部３９Ｃにより移動体としてのフォークリフトのエンジンの停止を検知したときに、閾値を検出部３７において認識率が高い閾値に切り替える。

検知部３９Ｃは、センサ４０からの情報に基づいて、移動体としてのフォークリフトのエンジンの停止を検知する。具体的には、所定時間、速度がゼロであること、所定時間、位置情報に変化がないこと、あるいは、撮像部１０が取得する画像情報が所定時間、大きな変化をしないこと等を検知することにより、移動体としてのフォークリフトのエンジンの停止を検知する。なお、上記に限らず、移動体としてのフォークリフト側からエンジン停止の情報を得て、移動体としてのフォークリフトのエンジンの停止を検知してもよい。また、本実施形態の場合には、検出装置１Ｂを移動体としてのフォークリフトのエンジン停止時においても動作させるためのバッテリが必要となる。

＜検出装置の処理＞
図９を用いて、本実施形態に係る検出装置１の処理について説明する。

撮像部１０は、移動体としてのフォークリフト周辺の画像情報を取得する（ステップＳ３０１）。収集部３１は、撮像部１０からの撮像画像を収集し、収集された画像情報を撮像画像データベース（ＤＢ）３２に格納する（ステップＳ３０２）。

抽出部３３は、撮像画像データベース（ＤＢ）３２から、深層学習に用いられる正例となる撮像画像を抽出し、検出対象データ格納部３４へ格納する（ステップＳ３０３）。

検知部３９Ｃは、例えば、センサ４０からの情報に基づいて、移動体としてのフォークリフトのエンジンが停止状態であるか否かを検知する（ステップＳ３０４）。

そして、検知部３９Ｃが、移動体としてのフォークリフトのエンジンが停止状態ではないと検知した場合（ステップＳ３０４の「Ｎｏ」）には、切替判定部３５Ｂが、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部１０により取得された画像情報に基づいて、記憶部２０に記憶された好適な閾値（第１の閾値）を設定する（ステップＳ３０５）。

検出部３７は、撮像部１０において取得された画像情報を入力データとして、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率と切替判定部３５Ｂにより設定された閾値（第１の閾値）とに基づいて、対象体を検出する（ステップＳ３０６）。

検出部３７は、算出した対象体の認識率が切替判定部３５Ｂにより設定された閾値以下の場合には、ノイズを含むものと判定し、算出した対象体の認識率が切替判定部３５により設定された閾値よりも大きい場合には、対象体を検出し、当該判定結果を検出結果として、検出結果データベース（ＤＢ）３８に格納する（ステップＳ３０７）。

ここで、制御部３０Ｂは、次の画像情報に対する処理に移行し（ステップＳ３０８）、処理すべき画像情報があるのか否かを確認する（ステップＳ３０９）。そして、制御部３０Ｂが、処理すべき画像情報がないと判断した場合（ステップＳ３０９の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ｂが、処理すべき画像情報があると判断した場合（ステップＳ３０９の「Ｎｏ」）には、処理をステップＳ３０４に戻す。

一方で、検知部３９Ｃが、移動体としてのフォークリフトのエンジンが停止状態ではあると検知した場合（ステップＳ３０４の「Ｎｏ」）には、切替判定部３５Ｂは、センサ４０から得られる移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報あるいは撮像部１０により取得された画像情報に基づいて、記憶部２０に記憶された好適な閾値（第１の閾値）よりも高い第３の閾値を設定する（ステップＳ３１０）。

検出部３７は、撮像部１０において取得された画像情報を入力データとして、対象体の検出、認識を行って、深層学習により対象体の認識率を算出し、算出した認識率と切替判定部３５Ｂにより設定された閾値（第３の閾値）とに基づいて、対象体を検出する（ステップＳ３１１）。

検出部３７は、算出した対象体の認識率が切替判定部３５Ｂにより設定された閾値以下の場合には、ノイズを含むものと判定し、算出した対象体の認識率が切替判定部３５により設定された閾値よりも大きい場合には、対象体を検出し、当該判定結果を検出結果として、検出結果データベース（ＤＢ）３８に格納する（ステップＳ３１２）。

ここで、制御部３０Ｂは、次の画像情報に対する処理に移行し（ステップＳ３１３）、処理すべき画像情報があるのか否かを確認する（ステップＳ３０９）。そして、制御部３０Ｂが、処理すべき画像情報がないと判断した場合（ステップＳ３０９の「Ｙｅｓ」）には、一連の処理を終了する。一方で、制御部３０Ｂが、処理すべき画像情報があると判断した場合（ステップＳ３０９の「Ｎｏ」）には、処理をステップＳ３０４に戻す。

以上、説明したように、本実施形態によれば、検出装置１Ｂは、センサ４０からの情報に基づいて、移動体としてのフォークリフトのエンジンの停止を検知する検知部３９Ｃを備え、切替判定部３５Ｂは、検知部３９Ｃにより移動体としてのフォークリフトのエンジンの停止を検知したときに、閾値を高くする。
つまり、移動体としてのフォークリフトのエンジンが停止状態である場合においても、検出装置１Ｂを動作させ、その際の閾値を高くする。
そのため、検出装置１Ｂを、例えば、定点観測用の検出漏れの少ない監視カメラとして機能させることができる。また、検出装置１Ｂが、任意の時間、画像情報を取得し、認識率の高い閾値により対象体の検出を行うことから、当該検出結果により、そのエリアが安全なエリアであるのか危険なエリアであるのかを判定でき、これらのデータによって、危険エリア情報データベース（ＤＢ）３９をバージョンアップすることもできる。また、定点観測を行うことから、特に、夜間帯において不審者を発見することもできる。

なお、上記においては、例えば、センサ４０が取得した情報に基づいて、検出部３７において用いられる閾値を切り替えることを示したが、例えば、安全なエリアで、撮像部１０から得られる画像情報にあまり変化がない場合には、閾値を固定して検出処理を間引いてもよい。

また、記憶部２０に記憶される閾値は、例えば、様々な画像情報を検出装置に入力して、学習を行うことにより、その閾値の評価を行うようにしてもよい。また、移動体としてのフォークリフトの導入前に、移動体としてのフォークリフトが用いられる現場を試走して取得した画像情報に基づいて、記憶部２０に記憶される閾値を再評価するようにしてもよい。

また、第１の実施形態においては、センサ４０が、移動体としてのフォークリフトの位置情報、速度情報、周辺環境情報のうち少なくともいずれか一つを取得するものとして説明を行ったが、センサ４０の取得情報として、明るさを含めてもよい。つまり、明るさの変化によって、明るすぎる場合には、撮像部１０が取得する画像情報に白とびが発生し、暗すぎる場合には、画像情報全体が暗くなり、対象体の検出が困難になる。そのため、閾値を切り替える要素に、明るさを考慮することにより、対象体の未検出率の軽減を期待することができる。

また、検出装置１の処理をコンピュータシステムが読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムを検出装置１に読み込ませ、実行することによって本発明の検出装置１を実現することができる。ここでいうコンピュータシステムとは、ＯＳや周辺装置等のハードウェアを含む。これは、検出装置１Ａ、１Ｂについても同様である。

また、「コンピュータシステム」は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１；検出装置
１０；撮像部
２０；記憶部
３０；制御部
３１；収集部
３２；撮像画像データベース（ＤＢ）
３３；抽出部３３
３４；検出対象データ格納部
３５、３５Ａ；切替判定部
３６；学習済みモデル
３７；検出部
３８；検出結果データベース（ＤＢ）
３９Ａ；切替情報生成部
３９Ｂ；タイマ部
３９Ｃ；検知部
３９Ｄ；画像類似度判定部
４０；センサ
５０；報知部

Claims (5)

1. 移動体に設置され、移動体周辺の画像情報を取得する撮像部と、
   画像情報を入力データとして対象体を検出するとともに、前記対象体の認識率を算出し、該算出した認識率が閾値を超えたときに、前記対象体であると判断する検出部と、
   前記画像情報もしくは、前記移動体の位置情報、速度情報、周辺環境情報のうち少なくともいずれか一つを取得するセンサにより取得された情報を含む情報に基づいて、前記検出部における前記認識率の閾値を変更する切替判定部と、
   を備えたことを特徴とする検出装置。
2. 前記切替判定部は、前記画像情報から特殊作業場を検出した場合に、前記閾値を低くすることを特徴とする請求項１に記載の検出装置。
3. 前記移動体の位置情報と危険エリア情報とを関連付けて記憶するデータベースを備え、
   前記切替判定部は、前記移動体の位置情報と前記データベースとから、前記移動体が危険エリアを走行中であることを検出した場合に、前記閾値を低くすることを特徴とする請求項１に記載の検出装置。
4. 前記センサに前記移動体の加速度を検出する加速度センサを含み、
   前記切替判定部は、前記加速度センサの出力値から前記移動体の急加速、急停車を検出した場合に、前記閾値を低くすることを特徴とする請求項１に記載の検出装置。
5. 前記センサからの情報に基づいて、前記移動体のエンジンの停止を検知する検知部を備え、
   前記切替判定部が、該検知部により前記移動体のエンジンの停止を検知したときに、前記閾値を高くすることを特徴とする請求項１から４に記載の検出装置。

Images