JP2021135694A - 処理装置、処理方法、報知システム及びプログラム - Google Patents

Abstract

【課題】車両の運転者の状態に応じた態様で、車両の周囲の人物や障害物の存在を報知することのできる処理装置を提供する。【解決手段】処理装置は、車両に対する障害物となり得る対象物の位置を検出する算出部と、前記車両の運転者の視線方向を検出する第１検出部と、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定する決定部と、前記位置に対応するスピーカを、前記態様の音を出力するように制御する制御部と、を備える。【選択図】図４

Description

本開示は、処理装置、処理方法、報知システム及びプログラムに関する。

フォークリフトなどの産業車両は、車両本体が備える車輪の切れ角や車両の構造など、一般的な乗用車とは異なる特徴を有している。そのため、特に産業車両の運転経験の少ない運転者にとっては、産業車両を操作しているときに実際に車両が移動する領域が予想と異なる可能性や、産業車両を操作しているときに死角となる領域が存在する可能性がある。
特許文献１には、関連する技術として、フォークリフトの後進時に運転者に注意を喚起する技術が記載されている。

特開２０１６−２２２４２８号公報

ところで、車両の周囲に、人物や荷物など障害物となり得る対象物を検出すると、車両は、運転者が対象物を認識しているか否かに関わらず、対象物を検出したことを運転者に報知する。すると、報知がなされているとき、運転者は実際には対象物を認識しており危険度が低い状況である場合も考えられる。このような報知が繰り返されることにより、運転者は、その報知に慣れてしまう可能性がある。
そのため、車両の運転者の状態に応じた態様で、車両の周囲の対象物の存在を報知することのできる技術が求められている。

本開示の少なくとも一実施形態は、上述の事情に鑑みてなされたものであり、車両の運転者の状態に応じた態様で、車両の周囲の対象物の存在を報知することのできる処理装置、処理方法、報知システム及びプログラムを提供することを目的としている。

上記課題を解決するために、本開示に係る処理装置は、車両に対する障害物となり得る対象物の位置を検出する算出部と、前記車両の運転者の視線方向を検出する第１検出部と、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定する決定部と、前記位置に対応するスピーカを、前記態様の音を出力するように制御する制御部と、を備える。

本開示に係る処理方法は、車両に対する障害物となり得る対象物の位置を検出することと、前記車両の運転者の視線方向を検出することと、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、を含む。

本開示に係るプログラムは、コンピュータに、車両に対する障害物となり得る対象物の位置を検出することと、前記車両の運転者の視線方向を検出することと、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、を実行させる。

本開示の実施形態による処理装置、処理方法及びプログラムによれば、車両の運転者の状態に応じた態様で、車両の周囲の対象物の存在を報知することができる。

本開示の少なくとも一実施形態に係る産業車両の構成の一例を示す図である。 本開示の少なくとも一実施形態に係る産業車両を真上から俯瞰した場合の概略図である。 本開示の少なくとも一実施形態に係る処理装置の構成の一例を示す図である。 本開示の少なくとも一実施形態に係る産業車両の状態及びギャップの一例を示す図である。 本開示の少なくとも一実施形態に係る上位装置の構成の一例を示す図である。 本開示の少なくとも一実施形態に係る処理装置の処理フローの一例を示す図である。 本開示の少なくとも一実施形態に係る処理装置の構成の一例を示す図である。 本開示の少なくとも一実施形態に係る産業車両の処理フローの一例を示す図である。 本開示の少なくとも一実施形態に係る処理装置の構成の一例を示す図である。 本開示の少なくとも一実施形態に係る処理装置の構成の一例を示す図である。 本開示の少なくとも一実施形態に係るコンピュータの構成を示す概略ブロック図である。 本開示の少なくとも一実施形態に係る報知システムの概要を示す図である。

＜第１実施形態＞
以下、本開示の第１実施形態による報知システム１００について説明する。
（報知システムの構成）
報知システム１００は、産業車両１（車両の一例）、上位装置２を備える。

（産業車両の構成）
産業車両１は、運転者が対象物に気づいているか否かに応じて、対象物の存在する方向から異なる態様の音を鳴らす車両である。

産業車両１は、例えば、図１に示すようなフォークリフトである。ただし、ホイルローダーなどの建設機械、荷役装置や後輪操舵などの同様の機構を持つ車両、もしくは同様の課題を持つ車両でもよい。
産業車両１は、図１に示すように、操作装置１０、車内カメラ１５、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄ、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄ、処理装置４０を備える。なお、処理装置４０は、図示していないセンサや操作装置１０の状態から産業車両１の現在速度、加速度、操舵角の情報を取得する。
なお、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを総称して撮影装置２０と呼ぶ。また、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを総称して出力装置３０と呼ぶ。

操作装置１０は、運転者が移動または荷役作業を産業車両１にさせる操作を受け付ける装置である。例えば、操作装置１０は、産業車両１を前進・後退を決定するシフトレバー、産業車両１の車輪の操舵角を決定するステアリング、産業車両１の車速や加速度を調整するためのアクセル及びブレーキなどである。

車内カメラ１５は、産業車両の運転室内を撮影する。車内カメラ１５が撮影する画像には、少なくとも運転者の顔が写る。
図２は、産業車両１を真上から俯瞰した場合の概略図である。撮影装置２０は、複数のカメラが各々産業車両１の外周方向を撮影するように設けられており、産業車両１の全周囲を撮影する。
例えば、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、図１に示すように、それぞれ産業車両１の上部前方、上部右側、上部後方、上部左側に設けられる。そして、例えば、第１カメラ２０ａは、図２に示す第１撮影領域Ａ１を撮影する。同様に、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄは、それぞれ図２に示す第２撮影領域Ａ２、第３撮影領域Ａ３、第４撮影領域Ａ４を撮影する。
なお、本開示の第１実施形態では、産業車両１の上部前方、上部右側、上部後方、上部左側のそれぞれにカメラを設けたが、異なる向きに設けてもよい。また、上記カメラが魚眼レンズなどの視野角の広いレンズを備えることで、さらにカメラの台数を減らすことができる。また、死角ができる場合は５台以上のカメラを設けることもできる。これらのカメラによって認識される対象物には人物が含まれる。なお、ここで死角とは、産業車両１の近傍の対象物を認識すべき領域のうち、いずれのカメラにも撮影されない領域のことである。

出力装置３０は、処理装置４０による制御の下、音を出力する。
例えば、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄは、図１に示すように、それぞれ運転席の右前方、右後方、左後方、左前方に設けられる。そして、処理装置４０によって、撮影装置２０が撮影した画像において対象物が検出された場合に、その対象物の位置に対応する方向に設けられているスピーカは、音を出力する。
なお、出力装置３０は、対象物が複数検出された場合には、検出された対象物それぞれに対応するスピーカから音を出力する。

処理装置４０は、産業車両１の状態と撮影された画像における対象物の位置とに基づいて、産業車両１の運転の危険度をする装置である。産業車両１の状態とは、産業車両１の操舵角、産業車両１の進行方向、産業車両の車速、産業車両の加速度を含む状態である。また、処理装置４０は、産業車両１の状態に基づいて、出力装置３０を制御する装置である。なお、処理装置４０は、対象物が複数検出された場合、各対象物について危険度を推定する。
処理装置４０は、図３に示すように、認識部４０１、算出部４０２、取得部４０３、特定部４０４、第１検出部４０５、第１判定部４０６、推定部４０７、決定部４０８、タグ付け部４０９、記録部４１０、制御部４１１、記憶部４１２、を備える。

認識部４０１は、撮影装置２０が撮影した画像において対象物を認識する。
例えば、認識部４０１は、人物を含む対象物についての特徴を予め記憶する。そして、認識部４０１は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄの順に、撮影された画像を繰り返し取得する。認識部４０１は、画像を取得する度に、パターン認識の技術を用いて、取得した画像において予め記憶している人物を含む対象物が含まれていると判定した場合、対象物を認識したと判定する。

算出部４０２は、認識部４０１が取得した画像において対象物を認識した場合、その画像から、産業車両１に対する対象物の位置を算出する。つまり、算出部４０２は、産業車両１を基準とする対象物の相対位置を算出する。
算出部４０２は、例えば、以下の手順で画像から産業車両１に対する対象物の位置を算出する。産業車両１に対する対象物の位置は、産業車両１に対する対象物の方向および距離によって表される。

算出部４０２は、例えば以下の手順で産業車両１に対する対象物の方向を算出する。まず、算出部４０２は、対象物が写る部分が、画像のどの位置に含まれているかによって撮影装置２０に対する対象物の方向を特定する（以下、認識方向情報）。次に、算出部４０２は、対象物が認識された画像が、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄのうちのどのカメラから取得したかを特定する（以下、認識カメラ情報）。算出部４０２は、認識カメラ情報に基づいて、産業車両１に対するカメラの位置及び向きを特定する。そして、算出部４０２は、特定したカメラの位置及び向きと認識方向情報とに基づいて、産業車両１に対する対象物の方向を算出する。
また、算出部４０２は、例えば以下の手順で認識した対象物と産業車両１との間の距離を算出する。例えば、算出部４０２は、対象物の寸法に対応する画像サイズ（画素数）を記憶しておき、記憶した画像サイズと画像内で認識した対象物のサイズ（画素数）との比から産業車両１から対象物までの距離を算出する。
これにより、算出部４０２は、産業車両１に対する対象物の方向と距離情報とを特定することで、産業車両１に対する対象物の位置を算出することができる。
なお、距離情報に含まれる産業車両１から対象物までの距離は、対象物を認識したカメラからの距離である。そのため、算出部４０２は、対象物を認識したカメラの産業車両１に設けられる位置や向きを考慮することで、産業車両１から見た対象物の位置を特定することができる。

なお、例えば、撮影装置２０がステレオカメラである場合、算出部４０２は、ステレオカメラが撮影した各撮影タイミングの一対の撮影画像に対して三角測量技術を用いることで、産業車両１から対象物までの距離を算出することができる。その他、算出部４０２は、産業車両１に設けられた距離センサが出力する検出信号に基づいて産業車両１と対象物との距離を算出してもよい。

取得部４０３は、産業車両１に設けられた図示していないセンサ、及び、操作装置１０の状態から産業車両１の車両状態を取得する。
例えば、取得部４０３は、産業車両１に設けられた図示していないセンサから現在の産業車両１の車速を取得する。また、取得部４０３は、操作装置１０の変化によって出力される信号を取得する、もしくは定期的に操作装置１０の状態を示す信号を取得する。ここで、取得部４０３が産業車両１に設けられた図示していないセンサ及び操作装置１０から取得する産業車両１の車両状態は、車速のほかにも運転者がステアリングを回転させたときの産業車両１の操舵角、運転者がシフトレバーを前進や後退に切り替えたときの産業車両１の進行方向、運転者がアクセルを踏み込んだときの産業車両１の正の加速度、運転者がブレーキを踏み込んだ時の産業車両１の減速度（負の加速度）などの状態が含まれる。

特定部４０４は、算出部４０２が算出した産業車両１に対する対象物の位置と、特定部４０４が取得した産業車両１の車両状態とに基づいて、産業車両１と対象物とが接触し得る車両状態（第１状態）を特定する。具体的には、特定部４０４は、産業車両１に対する対象物の位置と産業車両１の現在の車速とに基づいて、産業車両１と対象物とが接触し得る操舵角と加速度の組み合わせを特定する。加速度は、アクセルによる正の加速度と、ブレーキによる負の加速度の両方を含む。なお、接触するような操舵角と加速度の組み合わせは、複数存在し得る。これは、加速度によって車両の速度が変化し、操舵角との組み合わせによって検出物と衝突する走行軌跡が複数存在するためである。すなわち、産業車両１の旋回半径は操舵角が大きいほど小さく、また速度が速いほど（加速度が高いほど）大きくなるため、走行軌跡は操舵角と速度（加速度）との組み合わせによって変化する。

第１検出部４０５は、運転者の視線方向を検出する。例えば、第１検出部４０５は、車内カメラ１５から運転者の顔の画像を取得し、画像解析を行うことによって、顔の向き、または、顔の向き及び目の向きを特定する。そして、第１検出部４０５は、顔の向き、または、顔の向き及び目の向きを、運転者の視線方向として検出する。

第１判定部４０６は、算出部４０２が算出した対象物の位置と第１検出部４０５が検出した運転者の視線方向とに基づいて、運転者が対象物を認識しているか否かを判定し、判定結果に応じた重みを生成する。
具体的には、第１判定部４０６は、運転者の視線方向を中心とする運転者の認識範囲内に対象物が存在する場合、運転者が対象物を認識していると判定する。
より具体的には、第１判定部４０６は、基準である運転者の視線方向と対象物が存在する方向との成す角度が０度である場合にタグ情報が関連付けられた危険度を最も低くする重みを生成する。例えば、第１判定部４０６は、運転者の視線方向と対象物が存在する方向との成す角度が０度である場合に、重みを１未満の重み候補のうち最も小さい値に決定する。
また、第１判定部４０６は、運転者の視線方向と対象物が存在する方向との成す角度が大きくなるにつれて、タグ情報が関連付けられた危険度を高くなるような重みを生成する。例えば、第１判定部４０６は、運転者の視線方向と対象物が存在する方向との成す角度が大きくなるにつれて重みの値を大きい値に決定する。
また、第１判定部４０６は、運転者の視線方向が、運転者が対象物を認識可能である範囲外にある場合、運転者が対象物を認識していないと判定し、タグ情報が関連付けられた危険度を最も高くする重み値を生成する。例えば、第１判定部４０６は、運転者の視線方向が、運転者の認識範囲外にある場合に、重みを１を超える重み候補のうち最も大きい値に決定する。

推定部４０７は、取得部４０３が取得した産業車両１の車両状態と、特定部４０４が特定した産業車両１と対象物とが接触し得る車両状態に基づいて、産業車両１の危険度を推定する。
推定部４０７は、以下の手順で危険度を推定する。

推定部４０７は、特定部４０４が特定した操舵角と加速度の組み合わせごとに、特定部４０４が特定した現在の操舵角と加速度（第２加速度の一例）の組み合わせとの差（ギャップ）を算出する。なお、ギャップが小さい値であるほど、少しの車両状態の変化で対象物と接触しうることを意味する。なお、現在の車両状態を維持した場合に対象物と接触し得る場合はギャップが０となる。
推定部４０７は、産業車両１の車速及び特定した加速度と操舵角から求められる軌跡に基づいて、特定した操舵角と加速度の組み合わせごとに、対象物に接触するまでの時間を算出する。
そして、推定部４０７は、操舵角と加速度の組み合わせごとに、ギャップと、対象物に接触するまでの時間とを危険度を表す所定の関数に代入することで危険度を演算する。
なお、推定部４０７による危険度の具体的な推定方法は、後述する。

推定部４０７は、取得部４０３が取得した産業車両１の車両状態と、特定部４０４が特定した産業車両１と対象物とが接触し得る車両状態に基づいて、産業車両１の危険度を推定する。
推定部４０７は、以下の手順で危険度を推定する。

推定部４０７は、特定部４０４が特定した操舵角と加速度の組み合わせごとに、特定部４０４が特定した現在の操舵角と加速度（第２加速度の一例）の組み合わせとの差（ギャップ）を算出する。なお、ギャップが小さい値であるほど、少しの車両状態の変化で対象物と接触しうることを意味する。なお、現在の車両状態を維持した場合に対象物と接触し得る場合はギャップが０となる。
推定部４０７は、産業車両１の車速及び特定した加速度と操舵角から求められる軌跡に基づいて、特定した操舵角と加速度の組み合わせごとに、対象物に接触するまでの時間を算出する。
そして、推定部４０７は、操舵角と加速度の組み合わせごとに、ギャップと、対象物に接触するまでの時間と、第１判定部の判定結果である重みとを危険度を表す所定の関数に代入することで危険度を演算する。
なお、推定部４０７による危険度の具体的な推定方法は、後述する。

タグ付け部４０９は、推定部４０７が危険度を演算する度に、当該危険度と、所定のタグ情報とを関連付けて、記憶部４１２に書き込む。タグ情報は、産業車両１の運転者のＩＤ、危険度が演算された時刻、取得部４０３が取得した産業車両１の車両状態、当該危険度の推定に用いられた画像、ならびに認識部４０１が特定した産業車両１に対する対象物の位置の関係を含む情報である。以下、危険度とタグ情報とを関連付けた情報を、危険度情報ともいう。

記録部４１０は、記憶部４１２に書き込まれた危険度情報を上位装置２に送信することで、危険度情報を上位装置２のデータベース２２に記録する。
なお、記録部４１０は、すべての危険度情報を上位装置２に書き込むのではなく、危険度情報のうち、危険度が第１しきい値以上であり、かつ、第２しきい値以下であるものを上位装置２に送信するものであってもよい。なお、第１しきい値は、これ以下であれば産業車両１を安全に運転できることを示すしきい値である。また、第２しきい値は、これ以上は産業車両１と対象物との接触の可能性が高く危険であることを示すしきい値である。この第１しきい値以上であり、かつ、第２しきい値以下である危険度が、直接事故には至らないが危険な状態（すなわち、「ヒヤリハット」の状態）を示す危険度となる。また、運転者ごとに第１しきい値と第２しきい値とを設定することにより、上位装置２は、運転者ごとに、ヒヤリハットを通知することが可能となる。また、記録部４１０は、第１しきい値以上である危険度を上位装置２に書き込むものであってもよい。

決定部４０８は、推定部４０７が演算した危険度に基づいて、出力装置３０に出力させるアラームの音量を決定する。アラームの音量は、アラームの態様の一例である。なお、他の実施形態に係る決定部４０８は、音量に代えて、アラームの音色や周波数などの他の態様を決定してもよい。
決定部４０８は、危険度が予め定めたしきい値を超えていると判定した場合、アラームの音量を相対的に大きな音量（第１音量の一例）に決定する。
また、決定部４０８は、危険度が予め定めたしきい値を超えていないと判定した場合、アラームの音量を第１音量に比べて小さな音量（第２音量の一例）に決定する。

具体的には、算出部４０２が算出した対象物の方向が右前方である場合、危険度が予め定めたしきい値を超えているときに、決定部４０８は、第１スピーカ３０ａに出力させるアラームの音量を大きな音（第１音量）に決定する。
また、算出部４０２が算出した対象物の方向が右前方である場合、危険度が予め定めたしきい値を超えていないときに、決定部４０８は、第１スピーカ３０ａに出力させるアラームの音量を小さな音（第２音量）に決定する。
また、算出部４０２が算出した対象物の方向が右後方である場合、危険度が予め定めたしきい値を超えているときに、決定部４０８は、第２スピーカ３０ｂに出力させるアラームの音量を大きな音（第１音量）に決定する。
また、算出部４０２が算出した対象物の方向が右後方である場合、危険度が予め定めたしきい値を超えていないときに、決定部４０８は、第２スピーカ３０ｂに出力させるアラームの音量を小さな音（第２音量）に決定する。
また、算出部４０２が算出した対象物の方向が左後方である場合、危険度が予め定めたしきい値を超えているときに、決定部４０８は、第３スピーカ３０ｃに出力させるアラームの音量を大きな音（第１音量）に決定する。
また、算出部４０２が算出した対象物の方向が左後方である場合、危険度が予め定めたしきい値を超えていないときに、決定部は、第３スピーカ３０ｃに出力させるアラームの音量を小さな音（第２音量）に決定する。
また、算出部４０２が算出した対象物の方向が左前方である場合、危険度が予め定めたしきい値を超えているときに、決定部４０８は、第４スピーカ３０ｄに出力させるアラームの音量を大きな音（第１音量）に決定する。
また、算出部４０２が算出した対象物の方向が左前方である場合、危険度が予め定めたしきい値を超えていないときに、決定部４０８は、第４スピーカ３０ｄに出力させるアラームの音量を小さな音（第２音量）に決定する。

なお、ここで示した具体例では、決定部４０８は、推定部４０７から受けた危険度が、予め定めた１つのしきい値を超えているか否かに応じて、大きな音またはその音よりも小さな音を出力するものとして説明した。しかしながら、本開示の別の実施形態では、複数のしきい値を予め設定し、決定部は、推定部４０７から受けた危険度と、それら複数のしきい値とを比較し、推定部４０７から受けた危険度の高さに応じた音、すなわち、推定部４０７から受けた危険度が高くなるにつれて音が大きくなるように、出力装置３０を制御するものであってもよい。
また、本開示の別の実施形態では、決定部４０８は、推定部４０７から受けた危険度がしきい値よりも低い場合に、音が出力されないように、アラームの態様を決定するものであってもよい。
また、本開示の別の実施形態では、危険度の重み付け自体をより多くの条件に応じて場合分けするものであってもよい。
また、本開示の別の実施形態では、決定部４０８は、危険度によらず第１判定部４０６の判定結果である重みに基づいて、アラームの態様を決定するものであってもよい。

制御部４１１は、対象物の位置に対応するスピーカを、決定部４０８が決定した音量のアラームを出力するように制御する。
例えば、取得した画像から求められた産業車両１に対する対象物の位置が産業車両１の右前方である場合、その画像と関連付けられた危険度が予め定めた第３しきい値を超えているときに、制御部４１１は、第１スピーカ３０ａから音が出力されるように、出力装置３０を制御する。なお、第３しきい値は、音を出力するか否かを判定するための危険度のしきい値である。第３しきい値は、第１しきい値または第２しきい値と同一の値であってもよい。第３しきい値が、第１しきい値または第２しきい値と異なる場合は、第１しきい値または第２しきい値とは異なる制御を行ってもよい。

同様に、産業車両１に対する対象物の位置が産業車両１の右後方、左後方、左前方である場合、その画像と関連付けられた危険度が第３しきい値を超えているときに、制御部４１１は、それぞれ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄから音が出力されるように、出力装置３０を制御する。
記憶部４１２は、処理装置４０が行う処理に必要な種々の情報を記憶する。

（危険度の推定方法）
ここで、推定部４０７による危険度の推定方法の例について説明する。
まず、特定部４０４は、図４に示すように、産業車両１に対する対象物の位置と産業車両１の現在の車速とを初期条件として、産業車両１が取り得る操舵角範囲における複数の操舵角（例えば１度刻み）について、産業車両１が対象物に接触するような加速度を算出する。例えば、特定部４０４は、初速、加速度および操舵角を定数とし、および時間を説明変数とし、産業車両１の位置を目的変数とする関数（すなわち産業車両１の軌跡を描く曲線関数）において、産業車両１の軌跡が対象物の位置を通過するような加速度を求める。なお、操舵角によっては、産業車両１が対象物に接触するような加速度が存在しないこともある。特定部４０４は、複数の操舵角のうち、産業車両１が対象物に接触するような加速度が存在するものを抽出する。以下、抽出した操舵角と加速度の組み合わせを接触ケースともいう。図４に示すように、特定部４０４は各接触ケースにはケースＮｏを割り振る。なお、図４においては、産業車両１との接触が生じるか否かに関わらず、産業車両１の現在の状態に、ケースＮｏ．０を割り振っている。

推定部４０７は、抽出した接触ケースのそれぞれについて、産業車両１の現在の状態（ケースＮｏ．０に係る状態）と接触ケースに係る状態とのギャップを算出する。例えば、推定部４０７は、現在の操舵角と接触ケースに係る操舵角との差に所定の重みを乗じた値と、現在の加速度と接触ケースに係る加速度との差に所定の重みを乗じた値との和（加重マンハッタン距離）を、ギャップとして算出する。また、推定部４０７は、ユークリッド距離などの他の基準に基づいてギャップを算出してもよい。
具体的には、図４に示す例では、ケースＮｏ．２のギャップは８である。それに対して、ケースＮｏ．３は、ケースＮｏ．２に比べて現状との差が操舵角と加速度の両方とも大きい。そのため、ケースＮｏ．３のギャップは、ケースＮｏ．２のギャップよりも大きい１０となる。

推定部４０７は、抽出した接触ケースのそれぞれについて、産業車両１の現在の車速と、当該接触ケースに係る加速度とに基づいて、産業車両１が対象物に接触するまでの時間を算出する。例えば、推定部４０７は、上記の曲線関数に基づいて産業車両１の位置が対象物の位置と一致するときの時間を求める。

そして、推定部４０７は、各接触ケースについて、ギャップと、対象物に接触するまでの時間と、運転者による対象物の認識に係る重みとを危険度を表す所定の関数に代入することで危険度を推定する。推定部４０７は、図５に示すように、ギャップが小さくなるにつれて危険度が高くなり、対象物に接触するまでの時間が短くなるにつれて危険度が高くなる所定の関数を用いて危険度を推定する。例えば、推定部４０７は、ギャップに所定の重みを乗じた値と接触するまでの時間に所定の重みを乗じた値と、運転者による対象物の認識に係る重みの和の逆数を求めることで危険度を推定してよい。

（上位装置の構成）
上位装置２は、図５に示すように、受信部２１、データベース２２、通知部２３を備える。
受信部２１は、産業車両１から危険度情報を受信する。受信部２１は、受信した危険度情報をデータベース２２に記録する。
データベース２２は、上位装置２が行う処理に必要な種々の情報を記憶する。

通知部２３は、運転者ごとに、記憶部２１が記憶するタグ情報と画像とが関連付けられた危険度を通知する。これにより、運転者は、産業車両１の運転において、ヒヤリハットが生じる状態における操作を把握することができる。運転者は、そのヒヤリハットが生じる状態における操作を練習することで、産業車両１の運転技能が向上する。その結果、危険な運転が低減し、事故を低減させることができる。

（処理装置が行う処理）
次に、危険度を推定する処理装置４０が行う処理について説明する。
ここでは、図６に示す処理装置４０の処理フローについて説明する。
なお、撮影装置２０は、産業車両１の全周囲を撮影しているものとする。処理装置４０は、所定の制御周期ごとに、図６に示す処理を実行する。

認識部４０１は、撮影装置２０から撮影された画像を取得する（ステップＳ１）。認識部４０１は、パターン認識の技術を用いて、ステップＳ１で、取得した画像に対象物が含まれているか否かを判定する（ステップＳ２）。

認識部４０１は、取得した画像に対象物が含まれていないと判定した場合（ステップＳ２においてＮＯ）、処理を終了する。

また、認識部４０１は、取得した画像に対象物が含まれていると判定した場合（ステップＳ２においてＹＥＳ）、算出部４０２は、その画像に基づいて、産業車両１に対する対象物の位置を算出する（ステップＳ３）。

取得部４０３は、産業車両に設けられた図示していないセンサ等から現在の産業車両１の車両状態を取得する（ステップＳ４）。

第１検出部４０５は、運転者の顔の画像を取得し、画像解析を行うことによって、運転者の視線方向を検出する（ステップＳ５）。第１判定部４０６は、ステップＳ３で検出した対象物の位置とステップＳ５で検出した運転者の視線方向とに基づいて、運転者が対象物を認識しているか否かを判定し、判定結果に応じた重みを生成する（ステップＳ６）。

特定部４０４は、ステップＳ３で認識部４０１が特定した産業車両１に対する対象物の位置と、ステップＳ４で取得した産業車両１の現在の車速とに基づいて、産業車両１が対象物に接触するような操舵角と加速度の組み合わせ（接触ケース）を特定する（ステップＳ７）。

推定部４０７は、特定した接触ケースごとに、ステップＳ４で取得した現在の車両状態と接触ケースに係る車両状態とのギャップを算出する（ステップＳ８）。

推定部４０７は、ステップＳ４で取得した産業車両１の車速及び特定した接触ケースに係る加速度と操舵角から求められる軌跡に基づいて、特定した接触ケースごとに、対象物に接触するまでの時間を算出する（ステップＳ９）。

推定部４０７は、各接触ケースについて、ステップＳ８で算出したギャップと、ステップＳ９で算出した対象物に接触するまでの時間と、ステップＳ６で算出した重みとに基づいて危険度を推定する（ステップＳ１０）。

決定部４０８は、ステップＳ１０で推定した危険度が予め定められたしきい値を超えているか否かを判定する（ステップＳ１１）。危険度がしきい値を超える場合（ステップＳ１１においてＹＥＳ）、決定部４０８は、アラームの態様を大きい音量である第１音量の態様に決定する（ステップＳ１２）。他方、危険度がしきい値を超えない場合（ステップＳ１１においてＮＯ）、決定部４０８は、アラームの態様を小さい音量である第２音量の態様に決定する（ステップＳ１３）。

制御部４１１は、推定部４０７が推定した危険度が予め定めた第３しきい値を超えているか否かを判定する（ステップＳ１４）。危険度が第３しきい値を超えている場合（ステップＳ１４においてＹＥＳ）、制御部４１１は、対象物に対応するスピーカから決定部４０８が決定した態様の音が出力されるように、出力装置３０を制御する（ステップＳ１５）。他方、危険度が第３しきい値を超えない場合（ステップＳ１４においてＮＯ）、制御部４１１は、スピーカから音を出力させない。

タグ付け部４０９は、推定部４０７が危険度を算出する度に、危険度に所定のタグ情報を関連付けて危険度情報を生成して記憶部４１２に書き込む（ステップＳ１６）。そして、記録部４１０は、記憶部４１２に関連付けられた危険度情報を、即時に、または、規定のタイミングに、上位装置２に送信する（ステップＳ１７）。

上位装置２の受信部２１は、危険度情報を受信し、当該危険度情報をデータベース２２に記録する。通知部２３は、データベース２２が記憶する危険度情報に基づいて、運転者ごとにヒヤリハットレポートを生成する。そして、通知部２３は、生成したヒヤリハットレポートを各運転者に、通知する。これにより、運転者は、産業車両１の運転において、ヒヤリハットが生じる状態における操作を把握することができる。

（作用、効果）
以上、本開示の第１実施形態による報知システム１００について説明した。
報知システム１００の処理装置４０において、制御部４１１は、産業車両１の運転者が対象物となり得る対象物を認識しているか否かに基づいて、異なる態様の音を、対象物の存在を示すスピーカ（第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄのいずれか）から出力させる。
こうすることで、処理装置４０は、産業車両１の運転者の状態に応じた態様で、産業車両１の周囲の対象物の存在を報知することができる。

＜第２実施形態＞
次に、本開示の第２実施形態による報知システム１００について説明する。
なお、本開示の第２実施形態における対象物は、人物である。
第２実施形態に係る報知システム１００は、第１実施形態と処理装置４０の構成が異なる。

（処理装置の構成）
本開示の第２実施形態による処理装置４０は、第１の実施形態の構成に加え、図７に示すように、第２検出部４１３及び第２判定部４１４を備える。

第２検出部４１３は、人物の視線方向を検出する。例えば、第２検出部４１３は、人物の顔の画像を取得し、画像解析を行うことによって、顔の向き、または、顔の向き及び目の向きを特定する。そして、第２検出部４１３は、顔の向き、または、顔の向き及び目の向きを、人物の視線方向として検出する。

第２判定部４１４は、運転者が人物を認識しているか否かに基づいて重み付けされた危険度について、さらに、人物が産業車両１を認識しているか否かを判定し、重みを生成する。すなわち、第２判定部４１４は、第２検出部４１３が検出した人物の視線方向に応じた重み付けを行う。
具体的には、第２判定部４１４は、人物の視線方向が、人物が産業車両１を認識可能である範囲内にある場合、人物が産業車両１を認識していると判定し、人物の視線方向を基準（０度）として、産業車両１が何度の方向に存在するかに応じて重みを生成する。
より具体的には、第２判定部４１４は、産業車両１が存在する方向の基準からの角度が０度である場合に、危険度を最も低くする重みを生成する。また、第２判定部４１４は、産業車両１が存在する方向の角度が基準から大きくなるにつれて、危険度を高くするような重みを生成する。
また、例えば、第２判定部４１４は、人物の視線方向が、人物が産業車両１を認識可能である範囲外にある場合、人物が産業車両１を認識していないと判定し、危険度を最も高くする重みを生成する。

（産業車両が行う処理）
次に、産業車両１の運転が危険な状態であることを運転者に報知する産業車両１が行う処理について説明する。
ここでは、図８に示す産業車両１の処理フローについて説明する。
また、ここで示す例では、運転者に対象物の存在する方向に設けられたスピーカから音を出力させるか否かを判定する基準となるしきい値として、第４しきい値、第５しきい値、第６しきい値の３つを用いる場合について処理フローを説明する。なお、第４しきい値は第５しきい値よりも大きく、第５しきい値は第６しきい値よりも大きいものとする。なお、３つのしきい値を設定する理由は、運転者が人物を認識しているか否かで２つの場合分けが行われ、人物が産業車両１を認識しているか否かで２つの場合分けが行われる、つまり、危険度が４つに場合分けされて重み付けが行われるためである。ここでの４つの場合分けとは、運転者が人物を認識しており、かつ、人物が産業車両１を認識している場合、運転者が人物を認識しており、人物が産業車両１を認識していない場合、運転者が人物を認識しておらず、人物が産業車両１を認識している場合、運転者が人物を認識しておらず、さらに、人物が産業車両１を認識していない場合である。

産業車両１の処理装置４０は、ステップＳ１からステップＳ６まで第１の実施形態と同様の処理を行う。次に、処理装置４０の第２検出部４１３は、人物の顔の画像を取得し、画像解析を行うことによって、人物の視線方向を検出する（ステップＳ３１）。第２判定部４１４は、人物が産業車両１を認識しているか否かを判定し、重みを生成する（ステップＳ３２）。

処理装置４０は、ステップＳ３２の後、第１の実施形態と同様のステップＳ７からステップＳ１０の処理を行う。なお、ステップＳ１０において推定部４０７は、各接触ケースについて、ステップＳ８で算出したギャップと、ステップＳ９で算出した対象物に接触するまでの時間と、ステップＳ６で生成した重みと、ステップＳ３２で生成した重みとに基づいて危険度を推定する。

次に、決定部４０８は、ステップＳ１０で推定した危険度が予め定めた第４しきい値を超えているか否かを判定する（ステップＳ３３）。
決定部４０８は、危険度が予め定めた第４しきい値を超えていると判定した場合（ステップＳ３３においてＹＥＳ）、アラームの音量を１番大きな音量（第３音量の一例）に決定する（ステップＳ３４）。
また、決定部４０８は、危険度が予め定めた第４しきい値を超えていないと判定した場合（ステップＳ３３においてＮＯ）、ステップＳ１０で推定した危険度が予め定めた第５しきい値を超えているか否かを判定する（ステップＳ３５）。

決定部４０８は、危険度が予め定めた第５しきい値を超えていると判定した場合（ステップＳ３５においてＹＥＳ）、アラームの音量を２番目に大きな音量（第４音量の一例）に決定する（ステップＳ３６）。
また、決定部４０８は、危険度が予め定めた第５しきい値を超えていないと判定した場合（ステップＳ３５においてＮＯ）、ステップＳ１０で推定した危険度が予め定めた第６しきい値を超えているか否かを判定する（ステップＳ３７）。

決定部４０８は、危険度が予め定めた第６しきい値を超えていると判定した場合（ステップＳ３７においてＹＥＳ）、アラームの音量を３番目に大きな音量（第１音量の一例）に決定する（ステップＳ３８）。
また、決定部４０８は、危険度が予め定めた第６しきい値を超えていないと判定した場合（ステップＳ３７においてＮＯ）、アラームの音量を１番小さな音量（第２音量の一例）に決定する（ステップＳ３９）。そして、処理装置４０は、第１の実施形態と同様のステップＳ１４からステップＳ１７の処理を行い、処理を終了する。

なお、ここで示した具体例では、決定部４０８は、推定部４０７から受けた危険度が、予め定めた３つのしきい値を超えているか否かに応じて、アラームの音量を４段階の大きさの音量の何れかに決定するものとして説明した。しかしながら、本開示の別の実施形態では、３つ以外の単数または複数のしきい値を予め設定し、決定部４０８は、推定部４０７から受けた危険度と、しきい値とを比較し、推定部４０７から受けた危険度の高さに応じた音、すなわち、推定部４０７から受けた危険度が高くなるにつれて音が大きくなるように、出力装置３０を制御するものであってもよい。
また、本開示の別の実施形態では、制御部４１１は、推定部４０７から受けた危険度がしきい値よりも低い場合に、音が出力されないように、出力装置３０を制御するものであってもよい。
また、本開示の別の実施形態では、危険度の重み付け自体をより多くの条件に応じて場合分けするものであってもよい。

また、本開示の別の実施形態では、決定部４０８は、危険度があるしきい値以上であると判定された場合に、一定の大きさの音を出力すると決定し、その一定の大きさの音に対して、運転者が人物を認識しており、かつ、人物が産業車両１を認識している場合、運転者が人物を認識しており、人物が産業車両１を認識していない場合、運転者が人物を認識しておらず、人物が産業車両１を認識している場合、運転者が人物を認識しておらず、さらに、人物が産業車両１を認識していない場合のそれぞれに応じた音の大きさの重み付けを行うものであってもよい。

また、本開示の別の実施形態では、決定部４０８は、第２判定部４１４が行った人物が産業車両１を認識しているか否かに基づく重みを取得し、取得した重みが産業車両１を人物が認識していないことを示す重みである場合、または、取得した重みが産業車両１を人物が認識していることを示す重みであるが所定以上の重みである場合、人物に対してアラーム（例えば、クラクション）を鳴らすものであってもよい。

（作用、効果）
以上、本開示の第２実施形態による報知システム１００について説明した。
報知システム１００の処理装置４０において、決定部４０８は、対象物である人物が産業車両１を認識しているか否かに基づいて、アラームの態様を決定する。
こうすることで、処理装置４０は、人物の視線方向を検出することで、産業車両１の運転者の状態のみならず、人物の状態に応じた態様で、産業車両１の周囲の対象物の存在を報知することができる。

＜第３実施形態＞
次に、本開示の第３実施形態による報知システム１００について説明する。
なお、本開示の第３実施形態における対象物は、人物である。
第３実施形態に係る報知システム１００は、第１実施形態と処理装置４０の構成が異なる。

（処理装置の構成）
本開示の第３実施形態による処理装置４０は、図９に示すように、第１の実施形態の構成に加え、第３検出部４１５及び第３判定部４１６第３検出部４１５を備える。

第３検出部４１５は、人物の姿勢を検出する。
例えば、第３検出部４１５は、人物の全体の画像を取得し、パターンマッチングなどの画像解析を行うことによって、人物の姿勢が立位であるか座位であるかなどの姿勢を検出する。

第３判定部４１６は、第３検出部の検出結果に基づいて人物が移動可能な状態であるか否かを判定し、重みを生成する。すなわち、第３判定部４１６は、第３検出部４１５が検出した人物の姿勢に応じた重み付けを行う。
具体的には、第３判定部４１６は、人物の姿勢が立位である場合、人物が移動可能な状態であると判定し、危険度を低くする重みを生成する。また、第３判定部４１６は、人物の姿勢が、座位である場合、人物が移動し難い状態であると判定し、危険度を人物の姿勢が立位である場合の危険度に比べて高くする。

なお、推定部４０７から受けた危険度と比較する、運転者に対象物の存在する方向に設けられたスピーカから音を出力させるか否かを判定する基準となるしきい値を、第１実施形態におけるしきい値と同一のものとした場合、産業車両１が行う処理は、図６に示す産業車両１の処理フローと同様に説明することができる。

なお、本開示の別の実施形態では、複数のしきい値を予め設定し、決定部４０８は、推定部４０７から受けた危険度と、それら複数のしきい値とを比較し、推定部４０７から受けた危険度の高さに応じた音、すなわち、推定部４０７から受けた危険度が高くなるにつれて音が大きくなる（第５音量の一例）ように、出力装置３０を制御するものであってもよい。
また、本開示の別の実施形態では、制御部４１１は、推定部４０７から受けた危険度がしきい値よりも低い場合に、音が出力されない（第６音量の一例）ように、通知装置３０を制御するものであってもよい。
また、本開示の別の実施形態では、危険度の重み付け自体をより多くの条件に応じて場合分けするものであってもよい。

また、本開示の別の実施形態では、制御部４１１は、第３判定部４１６が行った人物が移動可能か否かに基づく重みを取得し、取得した重みがその人物は移動可能でないことを示す重みである場合、または、取得した重みがその人物は移動可能であることを示す重みであるが所定以上の重みである場合、人物に対してアラーム（例えば、クラクション）を鳴らすものであってもよい。

なお、本発明の別の実施形態では、例えば、第３検出部４１５は、人物の全体の画像を取得する。第３検出部４１５が取得した人物の全体の画像ごとに、人物の実際の移動結果を示す実績情報を関連付ける。これらの画像を教師データとする。
この場合、第３判定部４１６を機械学習の学習モデルで実現してもよい。そして、実績情報を関連付けた画像を学習モデルに入力して、入力した画像に対応する人物の実際の移動結果に学習モデルの出力が一致するように、学習モデルの係数を調整することによって、学習済みモデルを生成する。この学習済みモデルに第３検出部４１５が新たに取得した姿勢を示す画像を入力することにより、人物が移動し産業車両１との接触を回避できるか否かを判定して、危険度の重み付けを行うものであってもよい。

（作用、効果）
以上、本開示の第３実施形態による報知システム１００について説明した。
報知システム１００の処理装置４０において、制御部４１１は、対象物である人物が移動できる状態であるか否かに基づいて、異なる態様の音を、対象物の存在を示すスピーカ（第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄのいずれか）から出力させる。
こうすることで、処理装置４０は、産業車両１の運転者の状態のみならず、対象物である人物の状態に応じた態様で、産業車両１の周囲の人物や対象物の存在を報知することができる。

なお、本開示の別の実施形態では、処理装置４０は、図１０に示すように、第３実施形態の構成に加え、さらに第２検出部４１３および第２判定部４１４を備えてもよい。当該第２検出部４１３および第２判定部４１４は、第２実施形態に係る第２検出部４１３および第２判定部４１４と同じ機能を有するものである。
推定部４０７は、運転者が人物を認識しているか否かに基づく重み、人物が産業車両１を認識しているか否かに基づく重み、および人物が移動可能な状態であるか否かに基づく重みを用いて、危険度を推定するものであってもよい。
こうすることで、処理装置４０は、人物の姿勢を検出することで、産業車両１の運転者の状態のみならず、人物の状態に応じた態様で、産業車両１の周囲の対象物の存在を報知することができる。

（各実施形態の概要）
以上説明した本開示の第１〜第３実施形態の概要について述べる。
本開示の第１実施形態では、産業車両の運転者が障害物となり得る対象物に気づいているか否かに応じて、対象物の存在する方向から異なる態様の音を鳴らすことにより、運転者に対象物の存在を報知する報知システムについて説明した（図１における「実施形態１」）。

本開示の第２実施形態では、対象物が人物であり、人物が産業車両の存在に気づいているか否かに応じて、対象物の存在する方向から異なる態様の音を鳴らすことにより、運転者に対象物の存在を報知する報知システムについて説明した（図１における「実施形態２−１」）。また、本開示の第２実施形態では、人物が産業車両の存在に気づいているか否かに応じて、人物に産業車両の存在を音で報知する報知システムについて説明した（図１における「実施形態２−２」）。

本開示の第３実施形態では、対象物が人物であり、人物が移動できる状態であるか否かに応じて、対象物の存在する方向から異なる態様の音を鳴らすことにより、運転者に対象物の存在を報知する報知システムについて説明した（図１における「実施形態３−１」）。また、本開示の第３実施形態では、対象物が人物であり、人物が移動できる状態であるか否かに応じて、人物に産業車両の存在を音で報知する報知システムについて説明した（図１における「実施形態３−２」）。

なお、本開示の第１〜第３実施形態では、撮影装置２０は、第１カメラ２０ａ、第２カメラ２０ｂ、第３カメラ２０ｃ、第４カメラ２０ｄを備えるものとして説明した。しかしながら、本開示の別の実施形態では、撮影装置２０は、産業車両１の全周囲を大きな死角を作ることなく撮影することができればよく、撮影装置２０に含まれるカメラの台数及びカメラが設けられる位置は限定されない。
例えば、撮影装置２０は、１台のカメラを備えるものであってもよい。この場合、例えば、その１台のカメラは、産業車両１の上部中央に設けられ、そのカメラが回転を繰り返すことで産業車両１の全周囲を撮影するものであってもよい。
また、産業車両１の大きさやカメラの撮影可能な範囲によっては、本開示の一実施形態で例示した４台のカメラでは死角が大きすぎる可能性がある。このような場合には、例えば、撮影装置２０は、５台以上のカメラを備え、死角をより小さくするものであってもよい。

なお、本開示の第１〜第３実施形態では、出力装置３０は、第１スピーカ３０ａ、第２スピーカ３０ｂ、第３スピーカ３０ｃ、第４スピーカ３０ｄを備えるものとして説明した。しかしながら、本開示の別の実施形態では、出力装置３０は、対象物が検出された場合に、産業車両１を基準としたその対象物が存在する位置に対応する方向または領域から音が出力されるスピーカであれば、スピーカの台数及びスピーカが設けられる位置は限定されない。

なお、本開示の第１〜第３実施形態では、制御部４１１によって音を出力するように制御されるスピーカが、産業車両１の正面を基準とした対象物の方向のスピーカであるものとして説明した。しかしながら、本開示の別の実施形態では、制御部４１１によって音を出力するように制御されるスピーカが、産業車両１の運転者の顔の向きを基準とした対象物の方向のスピーカであってもよい。つまり、制御部４１１は、対象物が存在する方向から運転者の顔の角度だけ回転させた方向から、音が聞こえるようにスピーカを制御するものであってよい。
運転者は常に産業車両１の正面を向いているとは限らない。そのため、例えば、運転者が産業車両１から右側に顔を向けている場合に、産業車両１の左前のスピーカ（図１、図２におけるスピーカ３０ｄ）から音が出力されると、運転者の視界に入っていないスピーカから音が出力されることになる。このような場合、運転者によっては、例えば、運転者の左後方から音がなったように感じることがある。そのため、運転者は、実際の対象物が産業車両１の左前方に存在するにも関わらず、産業車両１の左後方に対象物が存在すると誤認識してしまう可能性がある。
そこで、本開示の別の実施形態では、制御部４１１は、産業車両１の正面を基準として産業車両１の右前方に対象物が存在する場合には、産業車両１の運転者の顔の向きを基準に、顔の向きの右前方から音が聞こえるように、スピーカ３０ａ、３０ｂ、３０ｃ、３０ｄから出力される音の位相を調整するものであってもよい。また、制御部４１１は、産業車両１の正面を基準として産業車両１の右後方に対象物が存在する場合には、産業車両１の運転者の顔の向きを基準に、顔の向きの右後方から音が聞こえるように、スピーカ３０ａ、３０ｂ、３０ｃ、３０ｄから出力される音の位相を調整するものであってもよい。また、制御部４１１は、産業車両１の正面を基準として産業車両１の左後方に対象物が存在する場合には、産業車両１の運転者の顔の向きを基準に、顔の向きの左後方から音が聞こえるように、スピーカ３０ａ、３０ｂ、３０ｃ、３０ｄから出力される音の位相を調整するものであってもよい。また、制御部４１１は、産業車両１の正面を基準として産業車両１の左前方に対象物が存在する場合には、産業車両１の運転者の顔の向きを基準に、顔の向きの左前方から音が聞こえるように、スピーカ３０ａ、３０ｂ、３０ｃ、３０ｄから出力される音の位相を調整するものであってもよい。例えば、制御部４１１は、各スピーカら出力される音の位相を調整し、産業車両１の運転者の顔の向きを基準として方向から音が聞こえるようにするものであってもよい。

なお、本開示の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

本開示の実施形態におけるデータベース２２、記憶部４１２、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、データベース２２、記憶部４１２、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。

本開示の実施形態について説明したが、上述の処理装置４０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図１１は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図１１に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の処理装置４０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。
なお、他の実施形態においては、制御装置５０、その他の制御装置のそれぞれは、上記構成に加えて、または上記構成に代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）などのカスタムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、及びこれらに類する処理装置を備えてもよい。ＰＬＤの例としては、ＰＡＬ（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ）、ＧＡＬ（Ｇｅｎｅｒｉｃ Ａｒｒａｙ Ｌｏｇｉｃ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例であり、開示の範囲を限定しない。これらの実施形態は、開示の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

＜付記＞
本開示の各実施形態に記載の処理装置４０、処理方法及びプログラムは、例えば以下のように把握される。

（１）第１の態様に係る処理装置（４０）は、車両に対する障害物となり得る対象物の位置を検出する算出部（４０２）と、前記車両の運転者の視線方向を検出する第１検出部（４０５）と、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定する決定部（４０８）と、前記位置に対応するスピーカを、前記態様の音を出力するように制御する制御部（４１１）と、を備える。

この処理装置（４０）により、車両（１）の運転者の状態に応じた態様で、車両（１）の周囲の人物や対象物の存在を報知することができる。

（２）第２の態様に係る処理装置（４０）は、（１）の処理装置（４０）であって、前記位置と前記運転者の視線方向とに基づいて、前記運転者が前記対象物を認識しているか否かを判定する第１判定部（４０６）をさらに備え、前記制御部（４１１）は、前記運転者が前記対象物を認識していないと前記第１判定部（４０６）が判定した場合、第１音量の音を前記スピーカ（３０ａ、３０ｂ、３０ｃ、３０ｄのいずれか）から出力させ、前記運転者が前記対象物を認識していると前記第１判定部（４０６）が判定した場合、前記第１音量よりも小さな第２音量の音を前記スピーカから出力させるものであってもよい。

この処理装置（４０）により、制御部（４１１）による制御内容がより明確になり、車両（１）の周囲の人物や対象物の存在を報知する制御を明確にすることができる。

（３）第３の態様に係る処理装置（４０）は、（１）または（２）の処理装置（４０）であって、前記対象物が人物であり、前記人物の視線方向を検出する第２検出部（４１３）をさらに備え、前記決定部（４０８）は、前記人物の視線方向に基づいて、前記態様を決定するものであってもよい。

この処理装置（４０）により、車両（１）の運転者の状態に加えて、対象物である人物の状態に応じた態様で、車両（１）の周囲の人物や対象物の存在を報知することができる。

（４）第４の態様に係る処理装置（４０）は、（３）の処理装置（４０）であって、前記人物の視線方向に基づいて、前記人物が前記車両を認識しているか否かを判定する第２判定部（４１４）をさらに備え、前記制御部（４０５）は、前記人物が前記車両（１）を認識していないと前記第２判定部（４１４）が判定した場合、第３音量の音を前記スピーカ（３０ａ、３０ｂ、３０ｃ、３０ｄのいずれか）から出力させ、前記人物が前記車両（１）を認識していると前記第２判定部（４１４）が判定した場合、前記第３音量よりも小さな第４音量の音を前記スピーカ（３０ａ、３０ｂ、３０ｃ、３０ｄのいずれか）から出力させるものであってもよい。

この処理装置（４０）により、制御部（４０５）による制御内容がより明確になり、車両（１）の周囲の人物や対象物の存在を報知する制御を明確にすることができる。

（５）第５の態様に係る処理装置（４０）は、（１）から（４）のいずれか１つの処理装置（４０）であって、前記第２判定部（４１４）は、前記人物の視線方向が、前記人物が前記車両（１）を認識可能とする範囲外に存在する場合に、前記人物が前記車両（１）を認識していないと判定する。

この処理装置（４０）により、対象物である人物の視線方向に基づいて、当該人物が車両（１）を認識しているか否かを適切に判定することができる。

（６）第６の態様に係る処理装置（４０）は、（１）から（５）のいずれか１つの処理装置（４０）であって、前記対象物が人物であり、前記人物の姿勢を検出する第３検出部（４１５）をさらに備え、前記決定部（４０８）は、前記姿勢に基づいて、前記態様を決定するものであってもよい。

この処理装置（４０）により、車両（１）の運転者の状態に加えて、対象物である人物の状態に応じた態様で、車両（１）の周囲の人物や対象物の存在を報知することができる。

（７）第７の態様に係る処理装置（４０）は、（５）の処理装置（４０）であって、前記姿勢に基づいて前記人物が移動できる状態であるか否かを判定する第３判定部（４１６）をさらに備え、前記決定部（４０８）は、前記人物が移動できない状態であると前記第３判定部（４１６）が判定した場合、第５音量の音を前記スピーカ（３０ａ、３０ｂ、３０ｃ、３０ｄのいずれか）から出力させ、前記人物が移動できる状態であると前記第３判定部（４１６）が判定した場合に比べて、前記第５音量よりも小さな第６音量の音を前記スピーカ（３０ａ、３０ｂ、３０ｃ、３０ｄのいずれか）から出力させるものであってもよい。

この処理装置（４０）により、制御部（４０５）による制御内容がより明確になり、車両（１）の周囲の人物や対象物の存在を報知する制御を明確にすることができる。

（８）第８の態様に係る処理装置（４０）は、（７）の処理装置（４０）であって、前記第３検出部（４１５）は、前記人物の姿勢を検出可能な画像を取得し、前記第３判定部（４１６）は、学習済みモデルに前記画像を入力することで前記人物が移動できる状態であるか否かを判定し、前記学習モデルは、人物が写る画像と当該人物の実際の移動結果を示す実績情報とを含む学習用データセットを用いてパラメータが学習されたものであってよい。

この処理装置（４０）により、第３判定部（４１６）は、実績に基づいて人物が移動できる状態にあるか否かを判定することができる。

（９）第９の態様に係る処理装置（４０）は、（１）から（８）の何れか１つの処理装置（４０）であって、前記算出部（４０２）が検出した前記対象物の位置と前記第１検出部（４０５）が検出した前記視線方向とに基づいて前記対象物に係る危険度を推定する推定部（４０７）をさらに備え、前記決定部（４０８）は、前記危険度に基づいて前記態様を決定し、前記制御部（４１１）は、前記危険度がしきい値より低い場合に、前記アラームを出力しないものであってよい。

この処理装置（４０）により、対象物が検出されたとしても、ヒヤリハットにつながらないような状態である場合には、アラームの出力を抑制することができる。これにより、不要なアラームにより運転者がアラームに慣れてしまうことを防ぐことができる。

（１０）第１０の態様に係る処理装置（４０）は、（１）から（９）の何れか１つの処理装置（４０）であって、前記算出部（４０２）が検出した前記対象物の位置に基づいて前記車両と前記対象物とが接触し得る第１状態を特定する特定部（４０４）をさらに備え、前記推定部（４０７）は、前記算出部（４０２）が検出した前記対象物の位置、前記第１検出部（４０５）が検出した前記視線方向、および前記対象物の位置を検出したときの車両の状態である第２状態と前記第１状態との距離に基づいて、前記危険度を推定する。

この処理装置（４０）により、運転者の認識だけでなく、対象物と車両の状態から総合的に危険度を算出してアラームを出力するか否かを決めることができる。

（１１）第１１の態様に係る処理装置（４０）は、（１）から（１０）の何れか１つの処理装置（４０）であって、前記制御部（４１１）は、前記運転者に、前記対象物の位置に係る方向を前記運転者の顔の角度だけ回転させた方向から、音が聞こえるように前記スピーカを制御するものであってよい。

この処理装置（４０）により、運転者が正面を向いていない場合にも、運転者にどの方向に対象物が存在するのかを適切に知らせることができる。

（１２）第１２の態様に係る処理方法は、車両（１）に対する障害物となり得る対象物の位置を検出することと、前記車両（１）の運転者の視線方向を検出することと、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、を含む。

この処理方法により、車両（１）の運転者の状態に応じた態様で、車両（１）の周囲の人物や対象物の存在を報知することができる。

（１３）第１３の態様に係るプログラムは、コンピュータに、車両（１）に対する障害物となり得る対象物の位置を検出することと、前記車両の運転者の視線方向を検出することと、前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、を実行させる。

このプログラムにより、車両（１）の運転者の状態に応じた態様で、車両（１）の周囲の人物や対象物の存在を報知することができる。

１・・・産業車両
２・・・上位装置
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・操作装置
２０・・・撮影装置
２０ａ・・・第１カメラ
２０ｂ・・・第２カメラ
２０ｃ・・・第３カメラ
２０ｄ・・・第４カメラ
２１・・・受信部
２２・・・記憶部
２３・・・通知部
３０・・・出力装置
３０ａ・・・第１スピーカ
３０ｂ・・・第２スピーカ
３０ｃ・・・第３スピーカ
３０ｄ・・・第４スピーカ
４０・・・処理装置
４０１・・・認識部
４０２・・・算出部
４０３・・・取得部
４０４・・・特定部
４０５・・・第１検出部
４０６・・・第１判定部
４０７・・・推定部
４０８・・・決定部
４０９・・・タグ付け部
４１０・・・記録部
４１１・・・制御部
４１２・・・記憶部
４１３・・・第２検出部
４１４・・・第２判定部
４１５・・・第３検出部
４１６・・・第３判定部

Claims (14)

1. 車両に対する障害物となり得る対象物の位置を検出する算出部と、
   前記車両の運転者の視線方向を検出する第１検出部と、
   前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定する決定部と、
   前記位置に対応するスピーカを、前記態様の音を出力するように制御する制御部と、
   を備える処理装置。
2. 前記位置と前記運転者の視線方向とに基づいて、前記運転者が前記対象物を認識しているか否かを判定する第１判定部をさらに備え、
   前記決定部は、
   前記運転者が前記対象物を認識していないと前記第１判定部が判定した場合、前記態様を第１音量の態様に決定し、前記運転者が前記対象物を認識していると前記第１判定部が判定した場合、前記態様を前記第１音量よりも小さな第２音量の態様に決定する、
   請求項１に記載の処理装置。
3. 前記対象物が人物であり、前記人物の視線方向を検出する第２検出部
   をさらに備え、
   前記決定部は、
   前記人物の視線方向に基づいて、前記態様を決定する
   請求項１または請求項２に記載の処理装置。
4. 前記人物の視線方向に基づいて、前記人物が前記車両を認識しているか否かを判定する第２判定部をさらに備え、
   前記決定部は、
   前記人物が前記車両を認識していないと前記第２判定部が判定した場合、前記態様を第３音量の態様に決定し、前記人物が前記車両を認識していると前記第２判定部が判定した場合、前記態様を前記第３音量よりも小さな第４音量の態様に決定する、
   請求項３に記載の処理装置。
5. 前記第２判定部は、前記人物の視線方向が、前記人物が前記車両を認識可能とする範囲外に存在する場合に、前記人物が前記車両を認識していないと判定する
   請求項４に記載の処理装置。
6. 前記対象物が人物であり、前記人物の姿勢を検出する第３検出部
   をさらに備え、
   前記決定部は、
   前記姿勢に基づいて、前記態様を決定する、
   請求項１から請求項５の何れか一項に記載の処理装置。
7. 前記姿勢に基づいて前記人物が移動できる状態であるか否かを判定する第３判定部をさらに備え、
   前記決定部は、
   前記人物が移動できない状態であると前記第３判定部が判定した場合、前記態様を第５音量の態様に決定し、前記人物が移動できる状態であると前記第３判定部が判定した場合、前記態様を前記第５音量よりも小さな第６音量の態様に決定する、
   請求項６に記載の処理装置。
8. 前記第３検出部は、前記人物の姿勢を検出可能な画像を取得し、
   前記第３判定部は、学習済みモデルに前記画像を入力することで前記人物が移動できる状態であるか否かを判定し、
   前記学習済みモデルは、人物が写る画像と当該人物の実際の移動結果を示す実績情報とを含む学習用データセットを用いてパラメータが学習された
   請求項７に記載の処理装置。
9. 前記算出部が検出した前記対象物の位置と前記第１検出部が検出した前記視線方向とに基づいて前記対象物に係る危険度を推定する推定部をさらに備え、
   前記決定部は、前記危険度に基づいて前記態様を決定し、
   前記制御部は、前記危険度がしきい値より低い場合に、前記アラームを出力しない
   請求項１から請求項８の何れか１項に記載の処理装置。
10. 前記算出部が検出した前記対象物の位置に基づいて前記車両と前記対象物とが接触し得る第１状態を特定する特定部をさらに備え、
    前記推定部は、
    前記算出部が検出した前記対象物の位置、前記第１検出部が検出した前記視線方向、および前記対象物の位置を検出したときの車両の状態である第２状態と前記第１状態との距離に基づいて、前記危険度を推定する
    請求項９に記載の処理装置。
11. 前記制御部は、前記運転者に、前記対象物の位置に係る方向を前記運転者の顔の角度だけ回転させた方向から、音が聞こえるように前記スピーカを制御する
    請求項１から請求項１０の何れか１項に記載の処理装置。
12. 請求項１から請求項１１の何れか１項に記載の処理装置と
    前記車両とを備える
    報知システム。
13. 車両に対する障害物となり得る対象物の位置を検出することと、
    前記車両の運転者の視線方向を検出することと、
    前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、
    前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、
    を含む処理方法。
14. コンピュータに、
    車両に対する障害物となり得る対象物の位置を検出することと、
    前記車両の運転者の視線方向を検出することと、
    前記位置と前記運転者の視線方向とに基づいてアラームの態様を決定することと、
    前記位置に対応するスピーカを、前記態様の音を出力するように制御することと、
    を実行させるプログラム。

Images