JP2021163299A - 荷役車用画像記憶システムおよび画像記憶プログラム - Google Patents

Abstract

【課題】単純な構成でヒヤリハットが発生したときの画像を記憶することができるとともに、単なる急旋回、急ブレーキで画像を記憶することを防止することができる荷役車用画像記憶システムを提供する。
【解決手段】荷役車用画像記憶システムＳは、第１および第２顔カメラ２、３と、荷役車１の周囲を撮像する周囲カメラ４と、画像記憶装置５と、を備える。画像記憶装置５は、顔画像を教師データとして機械学習された学習済みモデルと、顔カメラによって生成された顔画像を学習済みモデルに入力して、ヒヤリ度を取得するヒヤリ度取得部と、ヒヤリ度取得部によって取得されたヒヤリ度に基づいて、ヒヤリハットが発生したか否かを判定する判定部と、記憶部と、を有する。記憶部は、判定部によってヒヤリハットが発生したと判定されたとき、周囲カメラ４によって生成されたヒヤリハット発生前後の荷役車１の周囲の画像を記憶する。
【選択図】図１

Description

本発明は、荷役車の周囲の画像を記憶する荷役車用画像記憶システムおよび当該システムに係る画像記憶プログラムに関する。

車両走行中に事故が発生した場合に、車両の周囲の画像を記憶する画像記憶装置が知られている。この種の画像記憶装置は、判定装置と、撮像部と、記憶部とを備え、判定装置によって記憶部に記憶すべき衝撃が車両に生じたと判定されたとき、撮像部によって撮像された画像が記憶部に記憶される。例えば、特許文献１に記載の画像記憶装置の判定部は、車両の速度と加速度とに基づいて、映像を記憶すべきか否かを判定する。

近年では、この種の画像記憶装置がフォークリフトなどの荷役車にも搭載されるようになった。ところが、荷役車では、通常の車両と異なり、急旋回、急ブレーキなどの操作が頻繁に繰り返される。したがって、荷役車に事故が発生したか否かの基準が通常の車両と同様であると、判定装置によって、事故ではない状態が事故であると判定される。そこで、荷役車の画像記憶装置に係る判定装置には、単なる急旋回、急ブレーキでは、荷役車に事故が発生したと判定しないよう通常の車両とは異なる基準が求められる。

また、事故が発生した場合だけでなく、事故発生に関連するヒヤリハットの発生を抑制して事故を減少させるために、ヒヤリハット発生時における車両の周囲の画像も記憶したいという要望がある。荷役車の稼働時におけるヒヤリハットとしては、例えば、移送中の荷崩れや、車体に設けられたアタッチメントが壁や天井に当たるなどがある。このようなヒヤリハットには、加速度に影響しないものがある。したがって、従来の画像記憶装置の機能では、荷役車の稼働時におけるヒヤリハット発生時の画像を適切に記憶できないといった問題があった。

そこで、ヒヤリハット発生の検出手段として、例えば、特許文献２に記載の事象検出装置がある。この事象検出装置は、生体情報取得手段と、シーン取得手段と、しきい値設定手段と、判断手段と、を備える。生体情報取得手段は、運転者の生体情報を取得し、シーン取得手段は、車両の運転シーンを取得する。また、しきい値設定手段は、生体情報のしきい値を運転シーンに応じて設定し、判断手段は、運転者の生体情報の値が設定されたしきい値を超えたときヒヤリハットが発生したと判断する。

しかしながら、この事象検出装置では、生体情報を検出するために、体温については体温計をステアリングホイールに取り付け、脈拍についてはシートベルトを介して検出するなど、コストがかかる。特に、荷役車の場合、運転者は手袋をしながらステアリングホイールを操作することがあるので、この体温計では運転者の体温を測れない。また、荷役車では、シートベルトの装着が必須でない。したがって、特許文献２に記載の事象検出装置では、荷役車の稼働時におけるヒヤリハットを検出することは難しい。

特許第６６４７６５０号公報 特開２０１６−２１８５６８号公報

上記事情に鑑みて、本発明が解決しようとする課題は、単純な構成でヒヤリハットが発生したときの画像を記憶することができるとともに、単なる急旋回、急ブレーキで画像を記憶することを防止することができる荷役車用画像記憶システムを提供することにある。

上記課題を解決するために、本発明に係る荷役車用画像記憶システムは、
運転者の顔を撮像し顔画像を生成する顔カメラと、
荷役車の周囲を撮像し周囲画像を生成する周囲カメラと、
画像記憶装置と、を備え、
画像記憶装置は、
運転者の顔からヒヤリ度を推定するために、顔画像を教師データとして機械学習された学習済みモデルと、
顔カメラによって生成された顔画像を学習済みモデルに入力して、ヒヤリ度を取得するヒヤリ度取得部と、
ヒヤリ度取得部によって取得されたヒヤリ度に基づいて、ヒヤリハットが発生したか否かを判定する判定部と、
判定部によってヒヤリハットが発生したと判定されたとき、ヒヤリハット発生前後の周囲画像を記憶する記憶部と、を有する、ことを特徴とする。

上記画像記憶システムは、好ましくは、
学習済みモデルが、顔画像から得られる表情筋の動きを教師データとして機械学習された第１学習済みモデルを含む。

上記画像記憶システムは、好ましくは、
学習済みモデルが、ヒヤリハットが発生したときの顔画像から得られる視線および顔の動きまたはそのいずれかの動きを教師データとして機械学習された第２学習済みモデルを含む。

上記画像記憶システムは、好ましくは、
顔カメラによって生成された顔画像から瞬きの回数・速度、心拍および体温またはそのいずれかを検出する生体情報検出部をさらに備え、
判定部は、さらに、検出された生体情報とヒヤリ度との相関に基づいて、ヒヤリハットが発生したか否かを判定する。

上記画像記憶システムは、好ましくは、
荷役車の車速、荷役車の加速度および荷役車にかかっている荷の荷重またはそのいずれかを含む車両情報を取得する車両情報取得部をさらに備え、
記憶部は、周囲画像を記憶するとき、ヒヤリハット発生前後の車両情報をさらに記憶する。

上記画像記憶システムは、好ましくは、
判定部が、さらに、取得された車両情報とヒヤリ度との相関に基づいて、ヒヤリハットが発生したか否かを判定する。

上記画像記憶システムは、好ましくは、
記憶部が、判定部によってヒヤリハットが発生したと判定されたとき、ヒヤリハットが発生したときの顔画像をさらに記憶する。

上記画像記憶システムは、好ましくは、
判定部によってヒヤリハットが発生したと判定されたときの顔画像を教師データとして収集する教師データ収集部をさらに備える。

上記画像記憶システムは、好ましくは、
顔カメラおよび周囲カメラまたはそのいずれかが、荷役車に設けられている。

上記画像記憶システムは、好ましくは、
顔カメラおよび周囲カメラまたはそのいずれかが、荷役車が荷役作業を行う施設内に設けられている。

上記画像記憶システムは、好ましくは、
顔カメラが、複数のカメラからなり、複数のカメラは、運転者が顔を前後左右に向けた場合にも適切に運転者の顔を撮像することができるよう配置されている。

上記画像記憶システムは、好ましくは、
顔カメラが、運転者の装着するヘルメットに設けられている。

上記課題を解決するために、本発明に係る画像記憶プログラムは、
コンピュータを上記画像記憶装置として機能させる、ことを特徴とする。

本発明に係る荷役車用画像記憶システムは、単純な構成でヒヤリハットが発生したときの画像を記憶することができるとともに、単なる急旋回、急ブレーキで画像を記憶することを防止することができる。

本発明の一実施形態に係る荷役車用画像記憶システムを概略的に示す全体図である。 図１の荷役車の運転席を示す上面図である。 図１の画像記憶装置のハード構成を示す図である。 図１の画像記憶装置の動作を示す機能ブロック図である。 図４の第１学習済みモデルの動作を示す図である。 図４の判定部および記憶部の動作を示すフロー図である。 図４の記憶部の動作を示す図である。

以下、添付図面を参照しつつ、本発明の荷役車用画像記憶システムの一実施形態について説明する。本明細書における前後方向および左右方向は、図１および図２に記載の両矢印ＸおよびＹを基準にしている。

図１は、本実施形態に係る荷役車用画像記憶システムＳ全体の概略を示す。画像記憶システムＳは、荷役車１と、第１顔カメラ２と、第２顔カメラ３と、周囲カメラ４と、画像記憶装置５と、を備える。

図１および図２に示すように、荷役車１は、車体１０と、車体１０の上部に設けられた左右１対の支柱１１と、支柱１１に支持されているヘッドガード１２と、運転席１３と、車体１０の前部に設けられた左右１対のマスト１４と、マスト１４に昇降可能に設けられたリフトブラケット１５と、リフトブラケット１５に設けられた左右一対のフォーク１６と、を備える。運転席１３は、車体１０の右側に配置され、ステアリングホイールＨは、車体１０の略中央に配置されている。そのため、運転者Ｄは、左側に体を向けステアリングホイールＨを操作して運転する。荷役作業時には、運転者Ｄは、荷役車１を操作して、フォーク１６をパレット１００の係止孔に差し込むとともにパレット１００を持ち上げ、荷役車１を走行させることによりパレット１００に載置された荷Ｗを所定の場所に搬送する。本実施形態の荷役車１は、リーチ式フォークリフトであって、施設内で荷役作業を行う。

第１顔カメラ２は、荷役車１に設けられており、運転者Ｄの顔を撮像し、運転者Ｄの顔画像ＦＩを生成する。本実施形態の第１顔カメラ２は、荷役車１の左側の支柱１１の高さ方向中央に設けられている。これにより、第１顔カメラ２は、左側に体を向ける運転者Ｄの顔をとらえることができる。第１顔カメラ２は、運転者Ｄの顔を撮像することができれば、設置箇所および数は、特に限定されない。

第２顔カメラ３は、第１顔カメラ２と同様に、運転者Ｄの顔を撮像し、顔画像ＦＩを生成する。荷役車１は、一般の車両と異なり、後方走行や方向転換を頻繁に繰り返される。また、荷役車１は、荷役作業の間、高所に載置されたパレット１００をフォーク１６によってすくい上げたり、搬送してきたパレット１００を高所に載置したりする。運転者Ｄは、これらのたびに、顔を前後左右および上方に向けるため、第１顔カメラ２のみの場合、適切に運転者Ｄの顔を撮像することができない。そこで、図１に示すように、第２顔カメラ３は、施設内に設置された棚６の高さ方向中央部や棚６の上部に設けられ、第１顔カメラ２が撮像することができない場面の運転者Ｄの顔を適切に撮像する。第２顔カメラ３は、第１顔カメラ２を補って運転者Ｄの顔を撮像することができれば、設置箇所および数は、特に限定されない。

図１に示すように、周囲カメラ４は、ヘッドガード１２の下面に設けられ、荷役車１の周囲を撮像し、周囲画像ＳＩを生成する。なお、第２顔カメラ３も、荷役車１の周囲を撮像する周囲カメラ４として機能してよい。この場合、第２顔カメラ３は、周囲カメラ４より広い範囲で荷役車１の周囲を撮像してもよく、例えば、荷役車１の前方を通り過ぎる通行者を含む画像を周囲画像ＳＩとして生成してもよい。さらに、第２顔カメラ３は、例えば、荷役車１の上方の棚や天井を含む画像を周囲画像ＳＩとして生成してもよい。

図１および図３に示すように、画像記憶装置５は、荷役車１に搭載されたコンピュータＣからなる。図３に示すように、画像記憶装置５は、入力部Ｃ１と、記憶部Ｃ２と、メモリＣ３と、制御部Ｃ４と、を有する。入力部Ｃ１は、第１および第２顔カメラ２、３ならびに周囲カメラ４と通信可能であって、第１および第２顔カメラ２、３ならびに周囲カメラ４が生成した顔画像ＦＩおよび周囲画像ＳＩを入力される。記憶部Ｃ２は、ハードディスクなどからなり、ＯＳと画像記憶プログラムを記憶している。また、記憶部Ｃ２は、ヒヤリハットが発生したときの周囲画像ＳＩを記憶する。制御部Ｃ４は、画像記憶プログラムを動作させる。画像記憶装置５は、画像記憶プログラムによって、第１および第２顔カメラ２、３が生成した顔画像ＦＩに基づき周囲カメラ４が生成した周囲画像ＳＩを記憶する。

図４は、画像記憶装置５の機能ブロック図である。画像記憶装置５は、ヒヤリ度取得部５０と、判定部５１と、生体情報検出部５２と、車両情報取得部５３と、記憶部５４と、教師データ収集部５５と、を有する。

ヒヤリ度取得部５０は、第１学習済みモデル５００を有する。ヒヤリ度取得部５０は、第１学習済みモデル５００に第１および第２顔カメラ２、３が生成した顔画像ＦＩを入力して、ヒヤリ度Ｑを取得する。第１学習済みモデル５００は、例えば、ニューラルネットワークであって、運転者Ｄの顔からヒヤリ度Ｑを推定するために、顔画像を教師データとして機械学習されている。教師データとして用いられる顔画像は、驚きや焦りといった感情が表された顔の画像であって、第１学習済みモデル５００は、驚きや焦りの感情に関する表情筋の動きの特徴を学習させられている。教師データとして用いられる顔画像は、ヒヤリハット発生時における顔画像ＦＩが好ましい。第１学習済みモデル５００の機械学習は、ディープラーニングを利用し、かつ、畳み込みニューラルネットワークおよび再帰型ニューラルネットワークまたはそのいずれかを利用したものであってもよい。本実施形態では、第１学習済みモデル５００は、ヒヤリ度Ｑを０．０１〜１．００の間の値で出力する。

ヒヤリ度取得部５０は、さらに、第２学習済みモデル５０１を有する。第２学習済みモデル５０１は、例えば、ニューラルネットワークであって、運転者Ｄの顔からヒヤリ度Ｑを推定することができるように、ヒヤリハットが発生したときの運転者Ｄの視線および顔の動きまたはそのいずれかの動きが表された顔画像ＦＩを教師データとして、ヒヤリハットが発生したときの運転者Ｄの視線および顔の動きの特徴を機械学習されている。これにより、第２学習済みモデル５０１は、顔画像ＦＩが入力されると、入力された顔画像ＦＩの視線および顔の動きまたはそのいずれかの動きの特徴に基づいて、ヒヤリ度Ｑを出力する。第２学習済みモデル５０１の機械学習は、ディープラーニングを利用し、かつ、畳み込みニューラルネットワークもしくは再帰型ニューラルネットワークまたはその両方を利用したものであってもよい。また、第２学習済みモデル５０１は、複数のカメラが撮像した複数の顔画像ＦＩから運転者Ｄの視線および顔の動きを認識するように機械学習されてもよい。この場合、第２学習済みモデル５０１は、例えば、第１および第２顔カメラ２、３の顔画像ＦＩを参照し、運転者Ｄの視線および顔の動きを３次元的に解析するように機械学習されてもよい。

ヒヤリ度取得部５０は、第２学習済みモデル５０１に第１および第２顔カメラ２、３が生成した顔画像ＦＩを入力して、ヒヤリ度Ｑを取得する。本実施形態では、第２学習済みモデル５０１は、第１学習済みモデル５００と同様に、ヒヤリ度Ｑを０．０１〜１．００の間の値で出力する。

学習済みモデルの動作例として、図５に、第１学習済みモデル５００の動作を示す。図中の矢印Ｔは、時間軸を示している。図５に示すように、第１学習済みモデル５００は、第１顔カメラ２（第２顔カメラ３）が生成した顔画像ＦＩ１、ＦＩ２、ＦＩ３が入力されると、入力された顔画像ＦＩ１、ＦＩ２、ＦＩ３の表情筋の動きの特徴に基づいて、ヒヤリ度Ｑ１＝０．５、ヒヤリ度Ｑ２＝０．９５、ヒヤリ度Ｑ３＝０．６といった値を出力する。顔画像ＦＩ２が、図１に示された荷崩れによるヒヤリハットが発生したときの運転者Ｄの顔画像ＦＩである。

図６のフロー図に示すように、判定部５１は、ヒヤリ度取得部５０が取得したヒヤリ度Ｑが所定の第１のしきい値ＲＱ１以上のとき（すなわち、ＲＱ１≦Ｑのとき）、ヒヤリハットが発生したと判定する（Ｓ６２参照）。第１のしきい値ＲＱ１は、ヒヤリハットがほぼ確実に発生したといえる値以上に設定されている。第１のしきい値ＲＱ１は、例えば、０．９に設定されてもよい。

図７は、記憶部５４の動作を示しており、矢印Ｔは時間軸を示している。図６および図７に示すように、記憶部５４は、判定部５１によって顔画像ＦＩ２が撮像されたときにヒヤリハットが発生したと判定されると（図６のＳ６２参照）、ヒヤリハットが発生したときの顔画像ＦＩ２およびヒヤリハット発生前後の周囲画像ＳＩ１、ＳＩ２、ＳＩ３を記憶する（図６のＳ６３参照）。

図４に示すように、生体情報検出部５２は、顔画像ＦＩが入力されると、公知技術によって顔画像ＦＩを解析し、運転者Ｄの瞬きの回数・速度、心拍および体温またはそのいずれかを含む生体情報およびその変化値Ｐ１を検出する。

判定部５１は、さらに、生体情報検出部５２によって検出された生体情報とヒヤリ度Ｑとの相関に基づいて、ヒヤリハットが発生したか否かを判定する（図６のＳ６４参照）。判定部５１は、ヒヤリ度取得部５０が取得したヒヤリ度Ｑが第２のしきい値ＲＱ２以上であって、かつ、いずれかの生体情報の変化値Ｐ１が予め定められた対応する生体情報の第３のしきい値ＲＰ１以上のとき（すなわち、（ＲＱ２≦Ｑ）∧（ＲＰ１≦Ｐ１）のとき）、ヒヤリハットが発生したと判定する（図６のＳ６２参照）。第２のしきい値ＲＱ２は、ヒヤリハットが発生した可能性がある値以上に設定されている。例えば、判定部５１は、ヒヤリ度取得部５０が取得したヒヤリ度Ｑが第２のしきい値ＲＱ２以上であって、生体情報検出部５２が検出した体温の変化値が所定の変化値以上のとき、ヒヤリハットが発生したと判定する。第２のしきい値ＲＱ２は、例えば、０．７に設定されてもよい。

このように、判定部５１は、偶然による生体情報の変化によっていずれかの生体情報の変化値Ｐ１が第３のしきい値ＲＰ１以上と検出されたとしても、取得されたヒヤリ度Ｑが第２のしきいＲＱ２より低いとき（すなわち、（ＲＱ２＞Ｑ）∧（ＲＰ１≦Ｐ１）のとき）には、ヒヤリハットが発生したと判定しない。これにより、画像記憶システムＳは、生体情報が偶然に大きく変化した場合に、周囲画像ＳＩが記憶されることを防止することができ、しかも、ヒヤリハットが発生した場合には、ヒヤリ度Ｑおよび生体情報の変化値Ｐ１を参照することにより、適切に顔画像ＦＩおよび周囲画像ＳＩを記憶することができる。

車両情報取得部５３は、荷役車１の車速、荷役車１の加速度および荷役車１にかかっている荷Ｗの荷重またはそのいずれかを含む車両情報およびその変化値Ｐ２を取得する。これにより、運転者Ｄの急ブレーキ操作や急旋回操作、または車両に発生した衝撃などが検出される。

判定部５１は、さらに、車両情報とヒヤリ度Ｑとの相関に基づいて、ヒヤリハットが発生したか否かを判定する。判定部５１は、ヒヤリ度取得部５０が取得したヒヤリ度Ｑが第２のしきい値ＲＱ２以上であって、かつ、車両情報取得部５３が取得したいずれかの車両情報の変化値Ｐ２が予め定められた対応する車両情報の第４のしきい値ＲＰ２以上のとき（すなわち、（ＲＱ２≦Ｑ）∧（ＲＰ２≦Ｐ２）のとき）（図６のＳ６５参照）、ヒヤリハットが発生したと判定する（図６のＳ６２参照）。例えば、判定部５１は、ヒヤリ度取得部５０が取得したヒヤリ度Ｑが第２のしきい値ＲＱ２以上であって、車両情報取得部５３が取得した荷役車１の加速度の変化値が所定の第４のしきい値ＲＰ２以上のとき、ヒヤリハットが発生したと判定する。

このように、判定部５１は、単なる急旋回、急ブレーキなどによっていずれかの車両情報の変化値Ｐ２が対応する所定の第４のしきい値ＲＰ２以上になったとしても、ヒヤリ度Ｑが第２のしきい値ＲＱ２より低いとき（すなわち、（ＲＱ２＞Ｑ）∧（ＲＰ２≦Ｐ２）のとき）には、ヒヤリハットが発生したと判定しない。これにより、画像記憶システムＳは、単なる急旋回、急ブレーキなどによって周囲画像ＳＩが記憶されることを防止することができ、ヒヤリハットが発生した場合には、ヒヤリ度Ｑおよび車両情報の変化値Ｐ２を参照することにより、適切に顔画像ＦＩおよび周囲画像ＳＩを記憶することができる。なお、言い換えると、判定部５１は、ヒヤリ度Ｑが第２のしきい値ＲＱ２以上だったとしても（すなわち、ＲＱ２≦Ｑ）、いずれの生体情報の変化値Ｐ１も第３のしきい値ＲＰ１より低く、かつ、いずれの車両情報の変化値Ｐ２も第４のしきい値ＲＰ２より低いとき（すなわち、（ＲＰ１＞Ｐ１）かつ（ＲＰ２＞Ｐ２）のとき）には、ヒヤリハットが発生していないと判定する（図６のＳ６６参照）。

記憶部５４は、ヒヤリハット発生前後の周囲画像ＳＩを記憶するとき、さらに、車両情報取得部５３が取得したヒヤリハット発生前後における車両情報を記憶してもよい。これにより、ヒヤリハットが発生したときの外観的な状況と車両情報との相関を取得することができる。

教師データ収集部５５は、第１のしきい値ＲＱ１以上のヒヤリ度Ｑが取得され、判定部５１によってヒヤリハットが発生したと判定されたとき、その判定に係る顔画像ＦＩを教師データとして収集する。また、教師データ収集部５５は、ヒヤリ度取得部５０によって取得されたヒヤリ度Ｑが第２のしきい値ＲＱ２以上であって、かつ、判定部５１によってヒヤリハットが発生したと判定されたとき、その判定に係る顔画像ＦＩも教師データとして収集する。

第１および第２学習済みモデル５００、５０１は、教師データ収集部５５が収集した顔画像ＦＩに基づいて、さらに機械学習されてもよい。この機械学習としては、例えば、教師データ収集部５５が収集した顔画像ＦＩに基づくバックプロパゲーションによってもよい。これにより、第１および第２学習済みモデル５００、５０１は、入力された顔画像ＦＩに基づいて、より適切なヒヤリ度Ｑを出力することができるようになる。

以上、本発明の車用画像記憶システムの一実施形態について説明したが、本発明に係る画像記憶システムは、上記実施形態に限定されるものではない。本発明に係る画像記憶システムは、例えば、以下の変形例によって実施されてもよい。

（１）顔カメラは、例えば、運転者Ｄが装着するヘルメットの前方のつばに設けられていてもよい。これにより、顔カメラは、運転者Ｄが顔を上下左右、後方および上方に向けた場合にも適切に運転者Ｄの顔を撮像することができる。

（２）荷役車１は、本実施形態ではリーチ式フォークリフトであるが、単なる例示であってこれに限定されない。例えば、荷役車１は、カウンターバランス型フォークリフトでもよい。

（３）画像記憶装置５は、例えば、第１顔および第２顔カメラ２、３ならびに周囲カメラ４と通信可能な状態で、クラウド上のサーバに設けられてもよい。

Ｓ 画像記憶システム
Ｃ コンピュータ（画像記憶装置）
Ｃ１ 入力部
Ｃ２ 記憶部
Ｃ３ メモリ
Ｃ４ 制御部
Ｄ 運転者
Ｈ ステアリングホイール
ＦＩ 顔画像
ＳＩ 周囲画像
Ｗ 荷
１ 荷役車
１０ 車体
１１ 支柱
１２ ヘッドガード
１３ 運転席
１４ マスト
１５ リフトブラケット
１６ フォーク
２ 第１顔カメラ
３ 第２顔カメラ
４ 周囲カメラ
５ 画像記憶装置
５０ ヒヤリ度取得部
５００ 第１学習済みモデル
５０１ 第２学習済みモデル
５１ 判定部
５２ 生体情報検出部
５３ 車両情報取得部
５４ 記憶部
５５ 教師データ収集部
６ 棚
１００ パレット

Claims (13)

1. 運転者の顔を撮像し顔画像を生成する顔カメラと、
   荷役車の周囲を撮像し周囲画像を生成する周囲カメラと、
   画像記憶装置と、を備え、
   前記画像記憶装置は、
   前記運転者の顔からヒヤリ度を推定するために、顔画像を教師データとして機械学習された学習済みモデルと、
   前記顔カメラによって生成された前記顔画像を前記学習済みモデルに入力して、前記ヒヤリ度を取得するヒヤリ度取得部と、
   前記ヒヤリ度取得部によって取得された前記ヒヤリ度に基づいて、ヒヤリハットが発生したか否かを判定する判定部と、
   前記判定部によってヒヤリハットが発生したと判定されたとき、ヒヤリハット発生前後の前記周囲画像を記憶する記憶部と、を有する
   ことを特徴とする荷役車用画像記憶システム。
2. 前記学習済みモデルは、顔画像から得られる表情筋の動きを前記教師データとして機械学習された第１学習済みモデルを含む
   ことを特徴とする請求項１に記載の画像記憶システム。
3. 前記学習済みモデルは、ヒヤリハットが発生したときの顔画像から得られる視線および顔の動きまたはそのいずれかの動きを前記教師データとして機械学習された第２学習済みモデルを含む
   ことを特徴とする請求項１に記載の画像記憶システム。
4. 前記顔カメラによって生成された前記顔画像から瞬きの回数・速度、心拍および体温またはそのいずれかを検出する生体情報検出部をさらに備え、
   前記判定部は、さらに、前記検出された生体情報と前記ヒヤリ度との相関に基づいて、ヒヤリハットが発生したか否かを判定する
   ことを特徴とする請求項２または３に記載の画像記憶システム。
5. 前記荷役車の車速、前記荷役車の加速度および前記荷役車にかかっている荷の荷重またはそのいずれかを含む車両情報を取得する車両情報取得部をさらに備え、
   前記記憶部は、前記周囲画像を記憶するとき、ヒヤリハット発生前後の前記車両情報をさらに記憶する
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像記憶システム。
6. 前記判定部は、さらに、前記取得された車両情報と前記ヒヤリ度との相関に基づいて、ヒヤリハットが発生したか否かを判定する
   ことを特徴とする請求項５に記載の画像記憶システム。
7. 前記記憶部は、前記判定部によってヒヤリハットが発生したと判定されたとき、ヒヤリハットが発生したときの前記顔画像をさらに記憶する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像記憶システム。
8. 前記判定部によってヒヤリハットが発生したと判定されたときの顔画像を前記教師データとして収集する教師データ収集部をさらに備える
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像記憶システム。
9. 前記顔カメラおよび前記周囲カメラまたはそのいずれかは、前記荷役車に設けられている
   ことを特徴とする請求項１〜８のいずれか１項に記載の画像記憶システム。
10. 前記顔カメラおよび前記周囲カメラまたはそのいずれかは、前記荷役車が荷役作業を行う施設内に設けられている
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像記憶システム。
11. 前記顔カメラは、複数のカメラからなり、前記複数のカメラは、前記運転者が顔を前後左右に向けた場合にも適切に前記運転者の顔を撮像することができるよう配置されている
    ことを特徴とする請求項１〜１０のいずれか１項に記載の画像記憶システム。
12. 前記顔カメラは、前記運転者の装着するヘルメットに設けられている
    ことを特徴とする請求項１〜１１のいずれか１項に記載の画像記憶システム。
13. コンピュータを請求項１〜１２のいずれか１項に記載の画像記憶装置として機能させることを特徴とする画像記憶プログラム。

Images