JP2022026925A - 注意喚起システム、注意喚起方法及びプログラム - Google Patents

Abstract

【課題】不要な発報を抑えながら、危険な領域へ侵入される前に行動予測情報を得る注意喚起システム、注意喚起方法及びプログラムを提供する。【解決手段】注意喚起システム１００は、取得部と解析部と算出部とを備える。取得部は、対象の情報を含む第１のセンサーデータから、対象の状況情報を取得する。解析部は、領域の情報を含む第２のセンサーデータから、領域に含まれる物体の現在の状態情報と、物体の行動予測情報とを解析する。算出部は、対象の状況情報と、物体の現在の状態情報と、物体の行動予測情報とに基づいて、注意度を算出する。【選択図】図１

Description

本発明の実施形態は注意喚起システム、注意喚起方法及びプログラムに関する。

稼働中の機械の周辺へ侵入した人物を検知する技術が従来から知られている。例えば、工場内の監視カメラにより撮影された映像に基づいて、監視エリアに人が侵入したか否かを判定し、監視エリアにある設備の稼働状況に応じて通報する技術が従来から知られている。

特開２０１１－１４５８３９号公報

Ｌｉｕ， Ｗｅｉ， ｅｔ ａｌ． "Ｓｓｄ： Ｓｉｎｇｌｅ ｓｈｏｔ ｍｕｌｔｉｂｏｘ ｄｅｔｅｃｔｏｒ．" Ｅｕｒｏｐｅａｎ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ． Ｓｐｒｉｎｇｅｒ， Ｃｈａｍ， ２０１６． Ｈｅ， Ｋａｉｍｉｎｇ， ｅｔ ａｌ． "Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ．" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ． ２０１６． Ｃａｏ， Ｚｈｅ， ｅｔ ａｌ． "ＯｐｅｎＰｏｓｅ： ｒｅａｌｔｉｍｅ ｍｕｌｔｉ－ｐｅｒｓｏｎ ２Ｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ Ｐａｒｔ Ａｆｆｉｎｉｔｙ Ｆｉｅｌｄｓ．" ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１８１２．０８００８ （２０１８）．

しかしながら従来の技術では、不要な発報を抑えながら、危険な領域へ侵入される前に注意喚起をすることが難しかった。

実施形態の注意喚起システムは、取得部と解析部と算出部とを備える。取得部は、対象の情報を含む第１のセンサーデータから、前記対象の状況情報を取得する。解析部は、領域の情報を含む第２のセンサーデータから、領域に含まれる物体の現在の状態情報と、前記物体の行動予測情報とを解析する。算出部は、前記対象の状況情報と、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、注意度を算出する。

第１実施形態の注意喚起システムの機能構成の例を示す図。 第１実施形態の取得部の動作例を示すフローチャート。 第１実施形態の解析部の動作例を示すフローチャート。 第１実施形態の算出部の動作例を示すフローチャート。 第２実施形態の注意喚起システムの機能構成の例を示す図。 第２実施形態のパラメータの設定ＵＩの例を示す図。 第２実施形態の表示情報の例を示す図。 第３実施形態の注意喚起システムの機能構成の例を示す図。 第４実施形態の注意喚起システムの機能構成の例を示す図。 第１乃至第４実施形態の注意喚起システムのハードウェア構成の例を示す図。

以下に添付図面を参照して、注意喚起システム、注意喚起方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
第１実施形態の注意喚起システムは、例えば工場及び工事現場などにおいて稼働中の機械、及び、集中が必要な作業中の人物などに、他の人物が接近又は接触しようとする場合に注意喚起をするシステムである。

はじめに、第１実施形態の注意喚起システムの機能構成の例について説明する。

［機能構成の例］
図１は第１実施形態の注意喚起システム１００の機能構成の例を示す図である。第１実施形態の注意喚起システム１００は、センサー１、入力部２、取得部３、解析部４、算出部５、発報部６、記録部７及び制御部８を備える。

センサー１は、対象Ａ及び領域Ｂのデータを検知する。対象Ａは、例えば工場内の機械、及び、建設現場の重機などである。また例えば、対象Ａは、危険作業中の人物及びロボットなどでもよい。

領域Ｂは、対象Ａの動作（稼働）状況に応じて、注意が必要な度合いが変わる領域である。領域Ｂは、例えば、対象Ａから所定の範囲内にある領域である。なお、領域Ｂは、対象Ａを含む領域でもよいし、対象Ａが領域Ｂに含まれていなくてもよい。

センサー１は、対象Ａ及び領域Ｂの状況を検知するカメラ及び振動センサーなどである。対象Ａの状況は、例えば画像データ及び振動センサーデータなどにより検知される。領域Ｂの状況は、例えば画像データ及び深度データなどにより得られる。

なお、対象Ａ及び領域Ｂは複数存在していてもよい。また、センサー１を複数のセンサーにより構成し、対象Ａ及び領域Ｂに対して異なる種類のセンサーを用いてデータを検知してもよい。

入力部２は、センサー１によって得られた対象Ａに関するデータを取得部３へ入力し、領域Ｂに関するデータを解析部４へ入力する。

取得部３は、対象Ａに関するデータから対象Ａの状況情報を取得し、対象Ａの状況情報を算出部１０６へ入力する。状況情報は、例えば対象Ａが機械などの場合には当該機械の稼働状況を示す情報を含む。また例えば、対象Ａが人物及びロボットなどの場合には、当該人物及びロボットなどの動作状況を示す情報を含む。

解析部４は、領域Ｂに関するデータから領域Ｂ内における特定の物体を検出し、検出された物体の状態の解析及び行動予測などを行い、当該物体の状態情報及び行動予測情報を含む解析情報を算出部５へ入力する。解析される物体は、例えば人物、乗り物、動物、及び、移動機能を備える機械などである。

取得部３及び解析部４の入力データとして画像データを用い、対象Ａの状況情報の取得、並びに、領域Ｂ内の物体の検出及び行動予測に画像処理を用いてもよい。入力データに画像データを用いることにより、特別なセンター（例えば振動センサー及び加速度センサーなど）が必要なく、カメラを設置するだけで入力データを取得できるので、注意喚起システム１００の導入コストを抑えることができる。また、データは人にとっては直感的に理解しやすいため、解析結果の分析が容易となるという効果も得られる。

入力データとして画像データが用いられる場合、例えば解析部４は、時系列に複数の画像データを受け付け、複数の第２の画像データに含まれる物体を追従することによって、物体の移動方向及び速度を算出し、当該物体の移動方向及び速度に基づいて当該物体の行動予測情報を解析する。画像データが用いられる場合に必ずしも物体を追従する必要はなく、解析部４は、物体の姿勢情報や動き情報を基づいて当該物体の行動予測情報を解析してもよい。

算出部５は、取得部３により取得された状況情報（例えば対象Ａの稼働状況）、解析部４により得られた解析情報（例えば領域Ｂに含まれる物体の現在の状態情報、及び、行動予測情報など）から注意度を算出する。算出部５は、例えば対象Ａの状況情報から対象Ａが稼働又は動作していることが特定された場合、物体の現在の状態情報と、物体の行動予測情報とに基づいて、物体が対象Ａに接近又は接触する可能性が高いほど注意度を高く算出する。算出部５は、算出された注意度を、発報部６、記録部７及び制御部８の少なくとも１つに入力する。

発報部６は、注意度が閾値より高い場合に何らかの方法で発報を行い、対象Ａ又は領域Ｂの周囲の人物及び管理者などに注意を要する事態の発生を知らせる。例えば、発報部６は、注意度を複数の閾値により判定し、注意度の高さに応じて発報方法を変えるよう制御してもよい。

なお、発報方法は任意でよい。例えば、発報部６は、対象Ａの周囲の人物に聞こえるように警報音を発する。また例えば、発報部６は、注意を要する事態の発生を、管理責任者にメールなどで知らせる。注意喚起システム１００が発報部６を備えることにより、例えば注意が必要な状態を現場の人物や監督者に知らせることができ、事故の発生などを未然に防ぐことができる。

記録部７は、注意度が閾値よりも高い場合に、対象Ａの情報を含むセンサーデータ、領域Ｂの情報を含むセンサーデータ、対象Ａの状況情報、領域Ｂに含まれる物体の現在の状態情報、当該物体の行動予測情報、及び、算出部５により算出された注意度のうち、少なくとも１つを記録する。なお、記録部７に記憶される情報には、閾値より高い注意度が算出された時点の情報だけでなく、閾値より高い注意度が算出された時点の前後、一定期間の情報が含まれていてもよい。注意喚起システム１００が記録部７を備えることにより、例えば対象Ａの管理者が、注意が必要な状態が発生した場面の情報を見返すことができ、危機管理の改善を行える。

制御部８は、対象Ａの稼働中に、注意度が閾値よりも高いと算出された場合に、対象Ａを停止させる制御信号を送るなどの方法により、安全な状態に移行させる。また、制御部８は、対象Ａの停止中に、注意度が閾値よりも高いと算出された場合には、対象Ａを稼働させる制御信号の送信を抑制するなどの方法により、対象Ａの稼働を抑制する。注意喚起システム１００が制御部８を備えることにより、注意が必要な状態では対象Ａを安全な状態に移行させることができ、事故の発生などを未然に防ぐことができる。

［取得部の動作例］
図２は第１実施形態の取得部３の動作例を示すフローチャートである。はじめに、取得部３は、入力部２から対象Ａの情報を含むセンサーデータを、入力データとして受け付ける（ステップＳ１）。なお、取得部３は、入力データを、対象Ａからの信号によって直接受け付けてもよい。

次に、取得部３は、ステップＳ１の処理によって受け付けられた対象Ａの情報を解析し、対象Ａの状況情報を取得する（ステップＳ２）。例えば、取得部３は、対象Ａの情報が画像データである場合、オプティカルフローを用いて前フレームの画像からの動き情報を解析する。取得部３は、例えば対象Ａに関するオプティカルフローの方向及び強度から、対象Ａの稼働（または動作）の状況を数値化する。例えば、取得部３は、既定の方向に閾値より大きい値が検出された場合に、対象Ａが稼働中（または動作中）であることを示す状況情報を取得し、既定の方向に閾値以下の値が検出された場合に、対象Ａが停止中（または静止中）であることを示す状況情報を取得する。

次に、取得部３は、ステップＳ２の処理によって取得された状況情報を出力する（ステップＳ３）。状況情報は、例えば対象Ａの稼働（または動作）の有無、及び、対象Ａの稼働（または動作）の状況を表す数値などを含む。対象Ａが複数存在する場合、取得部３は、稼働（または動作）の有無の論理和、論理積又は数値の重み付き和などを状況情報として出力する。

また、対象Ａが複数存在している場合、取得部３は、対象Ａ毎にそれぞれ異なるパラメータを用いて図２の処理をしてもよい。注意喚起において、稼働（または動作）の状況を把握する必要のある対象Ａが複数存在する場合に異なるパラメータを使用することで稼働（または動作）状況の取得処理の最適化が可能となる。

［解析部の動作例］
図３は第１実施形態の解析部４の動作例を示すフローチャートである。はじめに、解析部４が、入力部２から領域Ｂに関するデータを受け付ける（ステップＳ１１）。

次に、解析部４は、領域Ｂ内の物体の検出を行い、当該物体の位置及び検出の確からしさを表す検出スコアを出力する（ステップＳ１２）。例えば、領域Ｂに関するデータが画像データである場合、物体の検出にはＳＳＤ（非特許文献１参照）などの方法を用いて、ステップＳ１２の処理が行われる。

次に、解析部４は、ステップＳ１２の処理によって検出された物体を、物体の位置情報及び特徴情報を用いて、過去に検出された物体と対応付けることで、当該物体の追従を行う（ステップＳ１３）。例えば、解析部４は、直前のフレームでの位置が近く（例えば距離が閾値より小さい物体）、かつＲｅｓＮｅｔ（非特許文献２参照）などで抽出された特徴量が類似している物体（例えば特徴量の差が閾値より小さい物体）を対応付けることによって物体を追従する。ステップＳ１３の処理によって、各物体や各人物の現在までの移動軌跡や現時点での移動速度と移動方向が算出できる。

次に、解析部４は、ステップＳ１３の処理によって検出された物体毎に、現在の状態を解析するとともに、現在及び過去の状態から以降の行動を予測し、現在の状態情報と行動予測情報とを含む解析情報を取得する（ステップＳ１４）。解析される物体の状態は、例えば物体のパーツの位置、向き、移動速度及び姿勢などである。また、行動の予測では、線形予測及びカルマンフィルタなどで、予測される移動先、推定確率スコア、予測される行動、及びその行動が実行される推定確率スコアなどが算出される。具体的には、解析部４は、人物の行動予測を行う場合、人物の現在の位置情報、人物が所持している物体の情報、人物の追従結果から得られる現在までの移動軌跡、及び、姿勢情報などから、人物の動作などを含む行動予測を行う。姿勢情報は、例えば、領域Ｂに関するデータが画像データである場合、ＯｐｅｎＰｏｓｅ（非特許文献３参照）などの技術により得られた人物の体や頭の向き、及び、腕や足の位置などである。解析部４が、複数のフレームでの人物の状態を、人物の追従によって連続的に解析することで、より高い精度で、人物の現在の状態情報と、当該人物の行動予測情報とを得ることができる。

次に、解析部４は、ステップＳ１４の処理によって得られた解析情報を出力する（ステップＳ１５）。なお、領域Ｂが複数存在する場合、それらすべてにおける解析情報を出力する。

また、領域Ｂが複数存在している場合、解析部４は、領域Ｂ毎にそれぞれ異なるパラメータを用いて図３の処理をしてもよい。注意喚起において、人物などの物体が検出しうる領域Ｂが複数存在する場合に異なるパラメータを使用することで領域Ｂ内の解析の最適化が可能となる。

［算出部の動作例］
図４は第１実施形態の算出部５の動作例を示すフローチャートである。はじめに、算出部５は、取得部３から状況情報を受け付け、解析部４から解析情報を受け付ける（ステップＳ２１）。

次に、算出部５は、注意を要する状況が定義された定義情報に基づく指標に従い、注意度を算出する（ステップＳ２２）。例えば、対象Ａが機械であり、「稼働中の機械への人物の接近」を要注意と定義されている場合は、稼働中の機械の周辺の領域Ｂで、「機械に向かって一定以上の速度で接近を行う人物が存在する状況」、「人物と機械との距離が一定より近い状況」、及び、「人物の視線や体の向きが機械の方向へ向いており接近が予測される状況」などが注意度算出の指標として考えられる。そのため注意喚起システム１００の運用の際には、複数の指標のうち場面に即した指標が１つ以上設定される。算出部５は、設定された指標に基づく式に従って、注意度を算出する。

注意喚起システム１００の運用中は、解析部４が、毎フレームで、人物の位置、移動方向、速度、視線方向及び体の向きなどを解析する。算出部５は、「人物の移動方向と人物から見た機械の方向が近く、かつ人物の速度が速いほど高い値を算出する」、「人物と機械との距離が近いほど高い値を算出する」、及び、「視線方向及び体の向きと人物から見た機械の方向が近いほどに高い値を算出する」などの指標に従い、人物ごとに注意度を算出する。

なお、算出部５は、２つ以上の指標を用いる場合は算出された指標毎の注意度の重み付き和、または、指標毎の閾値判定結果の条件分岐（ＡＮＤまたはＯＲによる判定）によって、人物ごとの注意度を算出する。そして、算出部５は、取得部３から得られた状況情報から対象Ａが動作中（例えば対象Ａが装置などの場合には稼働中）と判定された場合に、人物ごとの注意度の最大値または合計値を、注意喚起システム１００全体の注意度として算出する。

次に、算出部５は、ステップＳ２２の処理によって取得された注意度を出力する（ステップＳ２３）。

以上、説明したように、第１実施形態の注意喚起システム１００では、取得部３が、対象Ａの情報を含むセンサーデータ（第１のセンサーデータ）から、対象Ａの状況情報を取得する。解析部４が、領域Ｂの情報を含むセンサーデータ（第２のセンサーデータ）から、領域Ｂに含まれる物体の現在の状態情報と、物体の行動予測情報とを解析する。そして、算出部５が、対象Ａの状況情報と、物体の現在の状態情報と、物体の行動予測情報とに基づいて、注意度を算出する。

これにより第１実施形態の注意喚起システム１００によれば、不要な発報を抑えながら、危険な領域へ侵入される前に注意喚起をすることができる。具体的には、取得部３が、対象Ａの状況情報を取得することで、真に注意が必要な状況でのみ注意喚起を行える。また、解析部４が、領域Ｂに含まれる物体の行動を予測し、算出部５が、その予測結果を注意度算出に利用する。これにより不要な注意喚起を抑えつつ、注意が必要な状況に対してその注意度に応じた的確な対処が可能となる。例えば、第１実施形態の注意喚起システム１００は、稼働中の機械の周辺へ人物が侵入する前に、発報部６によって発報することにより、事故の発生を未然に検知し防止することができる。

一方、従来の技術では、危険を未然に検知するために、侵入検知を行う領域を広げると、不要な発報が起こりうるという別の問題が発生する。第１実施形態の注意喚起システム１００は、侵入検知のみでなく人物などの行動予測も併せて行うことで、真に注意を要する状況のみを検知でき、かつ未然に防ぐことが可能である。

また、従来の技術は、侵入検知時に稼働状況に応じて発報を行うか否かの判定しかできず、全体的な状況を判断したうえでの柔軟な対応が行えないという問題もある。一方、第１実施形態の注意喚起システム１００は、上述の算出部５を備えることにより、より多くの状況に対応した注意度の算出が可能となり、算出された注意度に応じた方法で、ユーザに注意喚起をすることもできる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図５は第２実施形態の注意喚起システム１００－２の機能構成の例を示す図である。第２実施形態の注意喚起システム１００－２は、センサー１、入力部２、取得部３、解析部４、算出部５、発報部６、記録部７、制御部８、設定部９及び表示部１０を備える。

第２実施形態では、第１実施形態の構成に更に設定部９及び表示部１０が追加されている。

設定部９は、各部（例えば取得部３、解析部４及び算出部５など）の動作を制御するパラメータを設定する。設定部９は、各部のパラメータ設定を設定ＵＩによって受け付けてもよいし、機械学習により自動的に決定されたパラメータを設定してもよい。

［設定ＵＩの例］
図６は第２実施形態のパラメータの設定ＵＩの例を示す図である。設定ＵＩは、例えば対象Ａ及び領域Ｂを設定する設定領域１０１、対象Ａの状況情報を取得する取得部３の動作を制御するパラメータ（例えばオプティカルフローの計算に用いられるパラメータなど）を設定する設定領域１０２、及び、領域Ｂの物体を解析する解析部４の動作を制御するパラメータ（例えば解析に用いられる機械学習モデルのパラメータなど）を設定する設定領域１０３を含む。設定部９は、入力部２に入力される入力データが画像データである場合、設定領域１０１に画像データを表示し、当該画像データ上で対象Ａ及び領域Ｂの設定を受け付ける。

また、設定部９は、算出部５の動作を制御するパラメータ（例えば注意度算出の方法を設定するパラメータなど）、並びに、発報部６、記録部７及び制御部８で参照される注意度の閾値を設定する。

また、設定部９は、対象Ａ及び領域Ｂが複数ある場合、取得部３の動作を制御するパラメータを対象Ａ毎に設定し、解析部４の動作を制御するパラメータを領域Ｂ毎に設定する。

設定部９を備えることにより、注意喚起システム１００－２導入後にパラメータを最適化させることができる。また、要注意とする状況の変更が発生した場合などの対応が容易になる。

表示部１０は、各部の処理結果（例えば、取得部３により取得された対象Ａの状況情報、解析部４により解析された領域Ｂに含まれる物体の現在の状態情報及び当該物体の行動予測情報、並びに、算出部５により算出された注意度のうち、少なくとも１つ）を含む表示情報を表示する。例えば、表示部１０は、各部の処理結果を必要に応じて、入力データ（例えば画像データ）の周辺又は当該入力データに重ねて表示する。

［表示情報の例］
図７は第２実施形態の表示情報の例を示す図である。表示部１０は、画像を入力データとして用いる場合、画像データを示す表示領域１１１上に対象Ａの稼働（または動作）状況、領域Ｂ内に検出された人物などの物体の位置、行動及び移動先などを重ねて表示する。また、表示部１０は、表示領域１１１の周辺の表示領域１１２～１１５に情報を表示する。表示領域１１２には、稼働・動作状況の詳細な情報（例えば対象Ａの動きの速度など）が表示される。表示領域１１３には、人物情報（例えば人物の行動や状態、人物を示す矩形の位置を示す座標など）が表示される。表示領域１１４には、注意度（例えば、数値、文字及びレベルなど）が表示される。表示領域１１５には、解析された状況などを示す文章などが表示される。

表示部１０を備えることにより、注意度の根拠、注意が必要となった原因及び状況を理解しやすくなり、より適切な対応が可能となる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図８は第３実施形態の注意喚起システム１００－３の機能構成の例を示す図である。第３実施形態の注意喚起システム１００－３は、センサー１、入力部２、取得部３、解析部４、算出部５、発報部６、記録部７、制御部８及び認識部１１を備える。

第３実施形態では、第１実施形態の構成に更に認識部１１が追加されている。

認識部１１は、人物を既知の人物情報と照合することによって、当該人物を認識する。具体的には、認識部１１は、解析部４が人物を検出した場合に、顔情報、体形情報、服装情報及び動作情報などを用いることで、検出された人物の個人及び属性などを特定する。なお、属性は、未知の人物である、特定の立場（例えば職責など）の人物である、及び、特定の組織などに所属している人物である、などの個人を完全に特定しない範囲で、その人物の情報を示す。

認識部１１により得られた人物情報は、算出部５へ入力され、注意度算出に利用される。例えば、算出部５は、未知の人物が検出された場合の注意度を、特定の人物が検出された場合の注意度よりも高くする。また例えば、算出部５は、稼働中の機械への接近しようとする人物が、その現場及び作業などにおける熟練者の場合に、未熟者の場合よりも注意度を低くする。

また、特定された個人及び人物の属性などに応じ、その人物、及び、当該人物の責任者などにメールで発報するなど発報部６の発報方法を変更してもよい。

また、記録部７が、注意度が閾値よりも高い場合に、注意喚起の対象となった個人及び人物の属性などを更に記憶してもよい。

また、第２実施形態のように、設定部９を備える場合、認識部１１の動作を制御するパラメータの設定ができるようにしてもよい。

また、第２実施形態のように、表示部１０を備える場合、認識部１１により認識された人物情報を表示情報に更に含めてもよい。

認識部１１を備えることで、検出された人物の立場、役割及び能力などを特定することができ、それらに応じて柔軟に注意度を変更することができる。また、要注意な状況の要因となった人物を特定することもでき、危機管理の改善を行いやすくすることが期待できる。

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第３実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

［機能構成の例］
図９は第４実施形態の注意喚起システム１００－４の機能構成の例を示す図である。第３実施形態の注意喚起システム１００－３は、センサー１、入力部２、取得部３、解析部４、算出部５、発報部６、記録部７、制御部８、認識部１１及び判定部１２を備える。

第４実施形態では、第３実施形態の算出部５の内部に更に判定部１２が追加されている。

判定部１２は、所定の人数の人物が、所定の状態で所定の位置にいるか否かを判定する。具体的には、判定部１２は、稼働中の機械などの周辺で監督者または作業者が過少である状況、あるいは余所見などをしており、既定の人数の監督者や作業者が既定の位置で正しい状態にない状況を判定する。

算出部５は、判定部１２の処理結果に応じて定められた所定の注意度を算出する。例えば、算出部５は、領域Ｂにおける人数が過少または特定の人物が存在しない状況では、その状況の危険性に応じて定められた注意度を算出する。また例えば、算出部５は、人物自体は検知されたが余所見をしている、または管理資格などの特定の属性を持つ人物でない状況では、その状況の危険性に応じて定められた注意度を算出する。また例えば、算出部５は、領域Ｂが、所定の人数（例えば二人）での作業が必要な場所などの場合において、当該所定の人数よりも作業中の人数が少ない状況では、その状況の危険性に応じて定められた注意度を算出する。

判定部２３を備えることによって、監督者及び作業者などの不在、監督者及び作業者などが不正な状況（例えば余所見をしている状況）、及び、既定の作業人数に満たない状況などの安全性が確保されていない状況を検知する効果を奏する。

最後に、第１乃至第４実施形態の注意喚起システム１００（１００－２～１００－４）のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１０は第１及び第２実施形態の注意喚起システム１００（１００－２～１００－４）のハードウェア構成の例を示す図である。注意喚起システム１００は、制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６を備える。制御装置２０１、主記憶装置２０２、補助記憶装置２０３、表示装置２０４、入力装置２０５及び通信装置２０６は、バス２１０を介して接続されている。

制御装置２０１は補助記憶装置２０３から主記憶装置２０２に読み出されたプログラムを実行する。制御装置２０１は、例えばＣＰＵなどの１以上のプロセッサである。主記憶装置２０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭなどのメモリである。補助記憶装置２０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。

表示装置２０４は情報を表示する。表示装置２０４は、例えば液晶ディスプレイである。入力装置２０５は、情報の入力を受け付ける。入力装置２０５は、例えばキーボード、マウス及びハードウェアキーなどである。なお表示装置２０４及び入力装置２０５は、表示機能と入力機能とを兼ねる液晶タッチパネルなどでもよい。通信装置２０６は他の装置と通信する。

注意喚起システム１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などのコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また注意喚起システム１００で実行されるプログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また注意喚起システム１００が実行するプログラムを、ダウンロードさせずにインターネットなどのネットワーク経由で提供するように構成してもよい。

また注意喚起システム１００で実行されるプログラムを、ＲＯＭなどに予め組み込んで提供するように構成してもよい。

注意喚起システム１００で実行されるプログラムは、注意喚起システム１００の機能のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置２０１が補助記憶装置２０３などの記憶媒体からプログラムを読み出して実行することにより、主記憶装置２０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置２０２上に生成される。

なお注意喚起システム１００の機能の一部を、ＩＣなどのハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また、各機能を複数のプロセッサにより実現し、各プロセッサにより得られた情報を、ネットワークを介して送受信してもよい。すなわち、注意喚起システム１００を、ネットワーク上のクラウドシステムとして実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ センサー
２ 入力部
３ 取得部
４ 解析部
５ 算出部
６ 発報部
７ 記録部
８ 制御部
９ 設定部
１０ 表示部
１１ 認識部
１２ 判定部
２０１ 制御装置
２０２ 主記憶装置
２０３ 補助記憶装置
２０４ 表示装置
２０５ 入力装置
２０６ 通信装置
２１０ バス

Claims (20)

1. 対象の情報を含む第１のセンサーデータから、前記対象の状況情報を取得する取得部と、
   領域の情報を含む第２のセンサーデータから、領域に含まれる物体の現在の状態情報と、前記物体の行動予測情報とを解析する解析部と、
   前記対象の状況情報と、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、注意度を算出する算出部と、
   を備える注意喚起システム。
2. 前記算出部は、前記対象の状況情報から前記対象が稼働又は動作していることが特定された場合、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、前記物体が前記対象に接近又は接触する可能性が高いほど前記注意度を高く算出する、
   請求項１に記載の注意喚起システム。
3. 前記算出部は、所定の人数の人物が、所定の状態で所定の位置にいるか否かを判定し、所定の人数の人物が、所定の状態で所定の位置にいない場合、所定の注意度を算出する、
   請求項１又は２に記載の注意喚起システム。
4. 前記取得部は、前記第１のセンサーデータとして第１の画像データを受け付け、前記第１の画像データから、前記対象の状況情報を取得し、
   前記解析部は、前記第２のセンサーデータとして第２の画像データを受け付け、前記第１の画像データから、前記物体の現在の状態情報と前記物体の行動予測情報とを解析する、
   請求項１乃至３のいずれか１項に記載の注意喚起システム。
5. 前記解析部は、時系列に複数の前記第２の画像データを受け付け、前記複数の第２の画像データに含まれる前記物体を追従することによって、前記物体の移動方向及び速度を算出し、前記物体の移動方向及び速度に基づいて前記物体の行動予測情報を解析する、
   請求項４に記載の注意喚起システム。
6. 前記算出部により算出された注意度が、第１の閾値よりも高い場合に発報を行う発報部、
   を更に備える請求項１乃至５のいずれか１項に記載の注意喚起システム。
7. 前記算出部により算出された注意度が、第２の閾値よりも高い場合に、前記第１のセンサーデータ、前記第２のセンサーデータ、前記対象の状況情報、前記物体の現在の状態情報、前記物体の行動予測情報及び前記注意度のうち、少なくとも１つを記録する記録部、
   を更に備える請求項１乃至６のいずれか１項に記載の注意喚起システム。
8. 前記算出部により算出された注意度が、第３の閾値よりも高い場合に、前記対象を安全な状態に移行させる制御部、
   を更に備える請求項１乃至７のいずれか１項に記載の注意喚起システム。
9. 前記対象の状況情報、前記物体の現在の状態情報、前記物体の行動予測情報及び前記注意度のうち、少なくとも１つを含む表示情報を表示する表示部、
   を更に備える請求項１乃至８のいずれか１項に記載の注意喚起システム。
10. 前記取得部、前記解析部及び前記算出部の動作を制御するパラメータを設定する設定部、
    を更に備える請求項１乃至９のいずれか１項に記載の注意喚起システム。
11. 前記第１のセンサーデータは、複数の前記対象の情報を含み、
    前記第２のセンサーデータは、複数の前記領域の情報を含み、
    前記設定部は、前記取得部の動作を制御するパラメータを前記対象毎に設定し、前記解析部の動作を制御するパラメータを前記領域毎に設定する、
    請求項１０に記載の注意喚起システム。
12. 前記物体は人物であり、
    前記人物を既知の人物情報と照合することによって、前記人物を認識する認識部を更に備え、
    前記算出部は、前記人物から特定される情報に更に基づいて、前記注意度を算出する、
    請求項１乃至１１のいずれか１項に記載の注意喚起システム。
13. 注意喚起システムが、対象の情報を含む第１のセンサーデータから、前記対象の状況情報を取得するステップと、
    前記注意喚起システムが、領域の情報を含む第２のセンサーデータから、領域に含まれる物体の現在の状態情報と、前記物体の行動予測情報とを解析するステップと、
    前記注意喚起システムが、前記対象の状況情報と、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、注意度を算出するステップと、
    を含む注意喚起方法。
14. 前記算出するステップは、前記対象の状況情報から前記対象が稼働又は動作していることが特定された場合、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、前記物体が前記対象に接近又は接触する可能性が高いほど前記注意度を高く算出する、
    請求項１３に記載の注意喚起方法。
15. 前記算出するステップは、所定の人数の人物が、所定の状態で所定の位置にいるか否かを判定し、所定の人数の人物が、所定の状態で所定の位置にいない場合、所定の注意度を算出する、
    請求項１３又は１４に記載の注意喚起方法。
16. 前記取得するステップは、前記第１のセンサーデータとして第１の画像データを受け付け、前記第１の画像データから、前記対象の状況情報を取得し、
    前記解析するステップは、前記第２のセンサーデータとして第２の画像データを受け付け、前記第１の画像データから、前記物体の現在の状態情報と前記物体の行動予測情報とを解析する、
    請求項１３乃至１５のいずれか１項に記載の注意喚起方法。
17. コンピュータを、
    対象の情報を含む第１のセンサーデータから、前記対象の状況情報を取得する取得部と、
    領域の情報を含む第２のセンサーデータから、領域に含まれる物体の現在の状態情報と、前記物体の行動予測情報とを解析する解析部と、
    前記対象の状況情報と、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、注意度を算出する算出部、
    として機能させるためのプログラム。
18. 前記算出部は、前記対象の状況情報から前記対象が稼働又は動作していることが特定された場合、前記物体の現在の状態情報と、前記物体の行動予測情報とに基づいて、前記物体が前記対象に接近又は接触する可能性が高いほど前記注意度を高く算出する、
    請求項１７に記載のプログラム。
19. 前記算出部は、所定の人数の人物が、所定の状態で所定の位置にいるか否かを判定し、所定の人数の人物が、所定の状態で所定の位置にいない場合、所定の注意度を算出する、
    請求項１７又は１８に記載のプログラム。
20. 前記取得部は、前記第１のセンサーデータとして第１の画像データを受け付け、前記第１の画像データから、前記対象の状況情報を取得し、
    前記解析部は、前記第２のセンサーデータとして第２の画像データを受け付け、前記第１の画像データから、前記物体の現在の状態情報と前記物体の行動予測情報とを解析する、
    請求項１７乃至１９のいずれか１項に記載のプログラム。

Images