JP2020135337A - 作業機械、作業機械における覚醒判定方法、および、作業機械における覚醒判定プログラム - Google Patents

Abstract

【課題】人間の個人差に依らずに居眠りを検出することが可能な作業機械を提供する。【解決手段】運転室に搭乗している作業者のヘルメットを含む画像を撮像可能なカメラ２と、ヘルメットの特徴量を記憶する記憶装置３と、カメラ２が撮像した画像と、記憶装置３が記憶するヘルメットの特徴量とを用いて、ヘルメットに関する判別値を取得するコントローラ４と、を有する。記憶装置３は、ヘルメットに関する判別値の閾値を記憶する。コントローラ４は、自身が取得したヘルメットに関する判別値と、記憶装置３が記憶する閾値とを用いて、作業者が覚醒しているか否かを判定する。【選択図】図２

Description

本発明は、作業者の居眠りを検出する作業機械、作業機械における覚醒判定方法、および、作業機械における覚醒判定プログラムに関する。

特許文献１には、交通機関の運転手の居眠りを監視する装置が開示されている。運転手のまぶたを含む領域の画像を撮影するカメラモジュールをメガネのつるに装着し、運転手の顔画像のうち眼の開閉具合に基づいて覚醒度を監視し、居眠り状態にあると判断した時に警告音を発生させる。

また、特許文献２では、ヘルメット内部のこめかみ部位に取り付けられたセンサで、運転者の脳波を検知する居眠り防止装置が開示されている。居眠りが始まるときの異常脳波を検出した場合に、ヘルメット内に音を発生させて、運転者に居眠りであることを報知している。

特開２０１３−３０９５９号公報 特開平１０−２０１７２７号公報

しかしながら、特許文献１では、メガネ型のカメラモジュールを装着する必要があり、煩雑である。特許文献２では、運転者の脳波を検知しているが、脳波は微弱な信号であるため、これを検知するためには増幅器などが必要でコストがかかる。さらに、人間の脳波や眼の開閉具合には個人差がある。よって、これらを用いる場合、パラメータチューニングを行う必要があり、煩雑である。

本発明の目的は、人間の個人差に依らずに居眠りを検出することが可能な作業機械、作業機械における覚醒判定方法、および、作業機械における覚醒判定プログラムを提供することである。

本発明に係る作業機械は、運転室に搭乗している作業者のヘルメットを含む画像を撮像可能な撮像装置と、前記ヘルメットの特徴量を記憶する特徴量記憶装置と、前記撮像装置が撮像した前記画像と、前記特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得手段と、前記ヘルメットに関する判別値の閾値を記憶する閾値記憶装置と、前記判別値取得手段が取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定手段と、を有することを特徴とする。

また、本発明に係る作業機械における覚醒判定方法は、運転室に搭乗している作業者のヘルメットを含む画像を撮像装置で撮像する撮像ステップと、前記撮像装置が撮像した前記画像と、特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得ステップと、前記ヘルメットに関する判別値の閾値を閾値記憶装置に記憶させる閾値記憶ステップと、前記判別値取得ステップで取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定ステップと、を含むことを特徴とする。

また、本発明に係る作業機械における覚醒判定プログラムは、運転室に搭乗している作業者のヘルメットを含む画像を撮像装置に撮像させる撮像手段と、前記撮像装置が撮像した前記画像と、特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得手段と、前記ヘルメットに関する判別値の閾値を閾値記憶装置に記憶させる閾値記憶手段と、前記判別値取得手段が取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定手段としてコンピュータを機能させることを特徴とする。

本発明によると、ヘルメットに関する判別値と、その閾値とを用いて、作業者が覚醒しているか否かを判定する。通常、作業機械の作業者はヘルメットを着用する。作業者が覚醒しているときと、覚醒していない（居眠りしている）ときとで、撮像装置で撮像されるヘルメットの向きが変わり、ヘルメットに関する判別値が変化する。ヘルメットに関する判別値が閾値を超えたときに、作業者が居眠りしていると判断することができる。このように、ヘルメットに関する判別値を用いることで、人間の個人差に依らずに居眠りを検出することができる。

作業機械の側面図である。 第１実施形態における作業機械の回路図である。 ヘルメットを装着した作業者の頭部の画像の模式図である。 第１実施形態における居眠り対策制御のフローチャートである。 第２実施形態における作業機械の回路図である。 第２実施形態における作業機械側の居眠り対策制御のフローチャートである。 第２実施形態における管理者ＰＣ側の居眠り対策制御のフローチャートである。

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

［第１実施形態］
（作業機械の構成）
本発明の第１実施形態による作業機械１は、作業機械１の側面図である図１に示すように、アタッチメント３０で作業を行う機械であり、例えば油圧ショベルである。作業機械１は、下部走行体２１と上部旋回体２２とを備えた機械本体２０と、アタッチメント３０と、シリンダ４０と、を有している。

下部走行体２１は、作業機械１を走行させる部分であり、例えばクローラを備える。上部旋回体２２は、下部走行体２１の上部に旋回装置を介して旋回可能に取り付けられる。上部旋回体２２の前部には、キャブ（運転室）２３が設けられている。また、上部旋回体２２の後部には、エンジン２４が搭載されている。

アタッチメント３０は、上部旋回体２２に取り付けられる。アタッチメント３０は、ブーム３１と、アーム３２と、バケット３３と、を備える。ブーム３１は、上部旋回体２２に回転自在（起伏自在）に取り付けられる。アーム３２は、ブーム３１に回転自在に取り付けられる。バケット３３は、アーム３２に回転自在に取り付けられる。バケット３３は、作業対象（土砂など）の、掘削、ならし、すくい、などの作業を行う部分である。なお、バケット３３の代わりに、油圧破砕機、グラップル、ブレーカ、リフティングマグネット等の先端アタッチメントが取り付けられてもよい。

シリンダ４０は、アタッチメント３０を作動させる。シリンダ４０は、油圧式の伸縮シリンダである。シリンダ４０は、ブームシリンダ４１と、アームシリンダ４２と、バケットシリンダ４３と、を備える。

ブームシリンダ４１は、上部旋回体２２に対してブーム３１を回転駆動させる。ブームシリンダ４１の基端部は、上部旋回体２２に回転自在に取り付けられる。ブームシリンダ４１の先端部は、ブーム３１に回転自在に取り付けられる。

アームシリンダ４２は、ブーム３１に対してアーム３２を回転駆動させる。アームシリンダ４２の基端部は、ブーム３１に回転自在に取り付けられる。アームシリンダ４２の先端部は、アーム３２に回転自在に取り付けられる。

バケットシリンダ４３は、アーム３２に対してバケット３３を回転駆動させる。バケットシリンダ４３の基端部は、アーム３２に回転自在に取り付けられる。バケットシリンダ４３の先端部は、バケット３３に回転自在に取り付けられたリンク部材に、回転自在に取り付けられる。

作業機械１の回路図である図２に示すように、作業機械１は、カメラ（撮像装置）２と、記憶装置３と、コントローラ４と、を有している。通常、作業機械１の作業者はヘルメットを着用する。カメラ２は、キャブ２３に搭乗している作業者のヘルメットを含む画像を撮像可能である。本実施形態において、カメラ２は、運転室に搭乗してヘルメットを装着した作業者の頭部を含む画像を撮像可能である。ヘルメットを装着した作業者の頭部の画像の模式図を図３に示す。図３（ａ）は、覚醒して正面を向いた作業者の頭部を示し、図３（ｂ）は、居眠りをして上を向いた作業者の頭部を示し、図３（ｃ）は、居眠りをして下を向いた作業者の頭部を示している。

図２に戻って、記憶装置（特徴量記憶装置）３は、ヘルメットの特徴量を記憶している。ヘルメットの特徴量は、ヘルメットの形状や色、質感などである。ヘルメットの質感には、材質や光沢といった輝度に関わる情報が含まれる。また、ヘルメットの質感には、鮮鋭度の度合であるシャープネスも含まれる。

ヘルメットの特徴量は、作業機械１の外部に設けられた画像解析装置などにより、カメラ２が撮像した画像を用いて事前に導出され、記憶装置３に記憶される。具体的には、複数台の作業機械１の各々のカメラ２が撮像した多数の画像から、画像解析装置において事前にヘルメットの特徴量がデータベース化される。そして、このデータが複数台の作業機械１の各々の記憶装置３に記憶される。事前に多くの画像からヘルメットの特徴量を導出しておくことで、ヘルメットの特徴量の精度を向上させることができる。ネットワークアクセスが可能なサーバ上にデータベースを構成する場合には、作業機械１は、サーバにアクセスすることでヘルメットの特徴量を取得することができる。なお、１台の作業機械１において、カメラ２が撮像した画像を蓄積することでデータベースを作成してもよい。

コントローラ（判別値取得手段）４は、カメラ２が撮像した画像と、記憶装置３が記憶するヘルメットの特徴量とを用いて、ヘルメットに関する判別値を取得する。本実施形態において、ヘルメットに関する判別値は、画像中に占めるヘルメットの面積である。作業者が覚醒しているときと、覚醒していない（居眠りしている）ときとで、カメラ２で撮像されるヘルメットの向きが変わり、画像中に占めるヘルメットの面積が変化する。なお、ヘルメットに関する判別値は、画像中に占める顔の面積と、画像中に占めるヘルメットの面積との比であってもよい。また、図３に示すように、ヘルメットに関する判別値は、画像中のヘルメット１０の形状であってもよいし、ヘルメット１０に塗装された緑十字などのマーク１１やライン１２の画像中の形状であってもよい。

なお、コントローラ４は、カメラ２が撮像した画像から、画像中に占めるヘルメットの面積を直接計算せず、カメラ２が撮像した画像を、適当なフィルタ関数（ガウシアンフィルタなど）を用いて補正することで、画像に写りこんでいる物を際立たせるなどしてから、画像中に占めるヘルメットの面積を計算してもよい。

記憶装置（閾値記憶装置）３は、ヘルメットに関する判別値の閾値を記憶している。図３（ａ）に示すように、作業者が覚醒して正面を向いているとき、画像中に占めるヘルメット１０の面積をＳ１とする。図３（ｂ）に示すように、作業者が居眠りをして上を向くと、画像中に占めるヘルメット１０の面積はＳ１よりも小さくなる。記憶装置３は、画像中に占めるヘルメット１０の面積がこれ以上小さくなると作業者が居眠りしていると判別できる値を閾値Ｔｈ１として記憶している。図３（ｃ）に示すように、作業者が居眠りをして下を向くと、画像中に占めるヘルメット１０の面積はＳ１よりも大きくなる。記憶装置３は、画像中に占めるヘルメット１０の面積がこれ以上大きくなると作業者が居眠りしていると判別できる値を閾値Ｔｈ２として記憶している。

なお、画像中に占めるヘルメット１０の面積の値を直接閾値として記憶装置３に記憶させてもよいし、画像全体の面積に対するヘルメット１０の面積比を閾値として記憶装置３に記憶させてもよい。また、これらの情報に基づいて、ニューラルネットワーク等を用いた学習や、領域分割法や移動平均法などを用いて、閾値を動的に設定し、記憶装置３に記憶させてもよい。

コントローラ（覚醒判定手段）４は、自身が取得したヘルメットに関する判別値と、記憶装置３が記憶する閾値とを用いて、作業者が覚醒しているか否かを判定する。具体的には、コントローラ４は、画像中に占めるヘルメットの面積Ｓが閾値Ｔｈ１以上で閾値Ｔｈ２以下であるときに、作業者が覚醒していると判定する。よって、ヘルメットに関する判別値が閾値を超えたときに、作業者が居眠りしていると判断することができる。このように、ヘルメットに関する判別値を用いることで、人間の個人差に依らずに居眠りを検出することができる。

ここで、作業機械１は、アタッチメント３０の姿勢を検出する姿勢検出装置５を有している。姿勢検出装置５は、例えば、図１に示す上部旋回体２２に対するブーム３１の回転角度と、ブーム３１に対するアーム３２の回転角度と、アーム３２に対するバケット３３の回転角度と、をそれぞれ検出する。

コントローラ（閾値変化手段）４は、姿勢検出装置５が検出したアタッチメント３０の姿勢に応じて、ヘルメットに関する判別値の閾値を変化させる。例えば、アタッチメント３０が上方に位置している場合には、作業者は上を向く傾向にある。この場合には、作業者が上を向いたときの判別値に基づいて閾値を設定する。これにより、閾値Ｔｈ１は、通常よりも上側に設定されることになる。一方、アタッチメント３０が下方に位置している場合には、作業者は下を向く傾向にある。この場合には、作業者が下を向いたときの判別値に基づいて閾値を設定する。これにより、閾値Ｔｈ２は、通常よりも下側に設定されることになる。このように、アタッチメント３０の姿勢に応じて閾値を変化させることにより、作業者が居眠りしているか否かをより正確に判断することができる。

また、コントローラ（画像側閾値変化手段）４は、カメラ２が撮像した作業者に応じて、ヘルメットに関する判別値の閾値を変化させる。例えば、キャブ２３に搭乗している作業者が、ヘルメットを浅く被る作業者である場合には、ヘルメットを浅く被ったときの判別値に基づいて閾値を設定する。これにより、閾値Ｔｈ１は、通常よりも上側に設定されることになる。一方、キャブ２３に搭乗している作業者が、ヘルメットを深く被る作業者である場合には、ヘルメットを深く被ったときの判別値に基づいて閾値を設定する。これにより、閾値Ｔｈ２は、通常よりも下側に設定されることになる。このように、カメラ２が撮像した作業者に応じて閾値を変化させることにより、作業者が居眠りしているか否かをより正確に判断することができる。

図２に示すように、作業機械１は、スピーカ（警告装置）６と、ディスプレイ（警告装置）７と、を有している。スピーカ６およびディスプレイ７は、キャブ２３内に設けられている。スピーカ６は、音による警告を発することが可能である。ディスプレイ７は、表示による警告を発することが可能である。

コントローラ（居眠り対策手段）４は、作業者が覚醒していないと自身が判定した場合に、居眠り対策を行う。ここで、本実施形態では、コントローラ４は、作業者が覚醒していないと自身が判定し、その判定が所定時間継続したことを条件として、居眠り対策を行う。所定時間は、例えば３０秒である。よって、作業者が一時的に下を向くなどして、カメラ２で撮像されるヘルメットの向きが一時的に変わっただけでは、居眠り対策が行われない。これにより、不必要に居眠り対策が行われないようにすることができる。

また、コントローラ４は、作業者が覚醒していないとの自身の判定が継続する場合に、居眠り対策のレベルを段階的に変化させる。具体的には、作業者が覚醒しなくなってから所定時間が経過するごとに、居眠り対策のレベルを高くする。これにより、作業者の居眠りによる問題を十分に回避できる場合がある。

本実施形態においては、以下の３つのレベルの居眠り対策が段階的に行われる。まず、作業者が覚醒していない状態が所定時間継続した場合に、コントローラ４は、低レベルの居眠り対策として、スピーカ６およびディスプレイ７から警告を発生させる。具体的には、スピーカ６から警告音を発生させるとともに、ディスプレイ７に警告文を表示させる。これにより、居眠りしている作業者に覚醒を促すことができる。

スピーカ６およびディスプレイ７から警告が発生された後に、さらに、作業者が覚醒していない状態が所定時間継続した場合に、コントローラ４は、中レベルの居眠り対策として、アタッチメント３０の動作を制限する。具体的には、シリンダ４０を制御することで、アタッチメント３０の動作を制限する。これにより、作業者の居眠りによるアタッチメント３０の誤操作を回避できる場合がある。なお、キャブ２３内において作業者に操作される操作レバーの操作を無効にしてもよい。

アタッチメント３０の動作が制限された後に、さらに、作業者が覚醒していない状態が所定時間継続した場合に、コントローラ４は、高レベルの居眠り対策として、エンジン２４を停止させる。これにより、作業者の居眠りによる作業者の意図しない作業機械１の動作を回避できる場合がある。

なお、作業者が覚醒していないと判定した回数をカウントし、その回数が所定回数に達したときに居眠り対策を行ってもよい。また、カウントした回数に応じて居眠り対策を段階的に変化させてもよい。

また、コントローラ（装着判定手段）４は、カメラ２が撮像した画像に基づいて、作業者がヘルメットを装着しているか否かを判定する。コントローラ（警告制御手段）４は、作業者がヘルメットを装着していないと自身が判定した場合に、スピーカ（第２警告装置）６およびディスプレイ（第２警告装置）７から警告を発生させる。これにより、ヘルメットを装着するように作業者を促すことができる。なお、本実施形態では、居眠り対策に用いられる警告装置としてのスピーカ６およびディスプレイ７と、ヘルメット非装着の場合に用いられる第２警告装置としてのスピーカ６およびディスプレイ７とは、同じものであるが、別々に設けられていてもよい。

（作業機械の動作）
次に、居眠り対策制御のフローチャートである図４を用いて、作業機械１の動作を説明する。

まず、コントローラ４は、カメラ２が撮像した画像を取得する（ステップＳ１）。次に、コントローラ４は、カメラ２が撮像した画像に基づいて、作業者がヘルメットを装着しているか否かを判定する（ステップＳ２）。ステップＳ２において、作業者がヘルメットを装着していないと判定した場合には（Ｓ２：ＮＯ）、コントローラ４は、スピーカ６およびディスプレイ７から警告を発生させる（ステップＳ３）。そして、ステップＳ１に戻る。

一方、ステップＳ２において、作業者がヘルメットを装着していると判定した場合には（Ｓ２：ＹＥＳ）、コントローラ４は、閾値を設定する（ステップＳ４）。コントローラ４は、アタッチメント３０の姿勢や、カメラ２が撮像した作業者に応じて閾値を変化させる。

次に、コントローラ４は、カメラ２が撮像した画像と、記憶装置３が記憶するヘルメットの特徴量とを用いて、ヘルメットに関する判別値を取得する（ステップＳ５）。具体的に、コントローラ４は、画像中に占めるヘルメットの面積Ｓを算出する。

次に、コントローラ４は、自身が取得したヘルメットに関する判別値と、記憶装置３が記憶する閾値とを用いて、作業者が覚醒しているか否かを判定する（ステップＳ６）。具体的には、コントローラ４は、画像中に占めるヘルメットの面積Ｓが閾値を超えている、即ち、閾値Ｔｈ１よりも小さいか、または、閾値Ｔｈ２よりも大きいかを判定する。ステップＳ６において、画像中に占めるヘルメットの面積Ｓが閾値を超えていないと判定した場合には（Ｓ６：ＮＯ）、コントローラ４は、時間の計測をリセットする（ステップＳ７）。そして、ステップＳ１に戻る。なお、時間の計測はステップＳ９で開始される。

一方、ステップＳ６において、画像中に占めるヘルメットの面積Ｓが閾値を超えていると判定した場合には（Ｓ６：ＹＥＳ）、コントローラ４は、時間を計測中であるか否かを判定する（ステップＳ８）。ステップＳ８において、時間を計測中でないと判定した場合には（Ｓ８：ＮＯ）、コントローラ４は、時間の計測を開始する（ステップＳ９）。そして、ステップＳ１に戻る。

一方、ステップＳ８において、時間を計測中であると判定した場合には（Ｓ８：ＹＥＳ）、コントローラ４は、所定時間が経過したか否かを判定する（ステップＳ１０）。ステップＳ１０において、所定時間が経過していないと判定した場合には（Ｓ１０：ＮＯ）、コントローラ４は、ステップＳ１に戻る。

一方、ステップＳ１０において、所定時間が経過したと判定した場合には（Ｓ１０：ＹＥＳ）、コントローラ４は、警告発生中であるか否かを判定する（ステップＳ１１）。ステップＳ１１において、警告発生中でないと判定した場合には（Ｓ１１：ＮＯ）、コントローラ４は、スピーカ６およびディスプレイ７から警告を発生させる（ステップＳ１２）。そして、コントローラ４は、時間の計測をリセットして（ステップＳ１３）、ステップＳ１に戻る。

一方、ステップＳ１１において、警告発生中であると判定した場合には（Ｓ１１：ＹＥＳ）、コントローラ４は、アタッチメント３０の動作を制限中であるか否かを判定する（ステップＳ１４）。ステップＳ１４において、アタッチメント３０の動作を制限中でないと判定した場合には（Ｓ１４：ＮＯ）、コントローラ４は、シリンダ４０を制御して、アタッチメント３０の動作を制限させる（ステップＳ１５）。そして、コントローラ４は、時間の計測をリセットして（ステップＳ１６）、ステップＳ１に戻る。

一方、ステップＳ１４において、アタッチメント３０の動作を制限中であると判定した場合には（Ｓ１４：ＹＥＳ）、コントローラ４は、エンジン２４を停止させる（ステップＳ１７）。そして、ステップＳ１に戻る。

（効果）
以上に述べたように、本実施形態に係る作業機械１によれば、ヘルメットに関する判別値と、その閾値とを用いて、作業者が覚醒しているか否かを判定する。通常、作業機械１の作業者はヘルメットを着用する。作業者が覚醒しているときと、覚醒していない（居眠りしている）ときとで、カメラ２で撮像されるヘルメットの向きが変わり、ヘルメットに関する判別値が変化する。ヘルメットに関する判別値が閾値を超えたときに、作業者が居眠りしていると判断することができる。このように、ヘルメットに関する判別値を用いることで、人間の個人差に依らずに居眠りを検出することができる。

また、カメラ２が撮像した画像を用いて、ヘルメットの特徴量が事前に導出される。事前に多くの画像からヘルメットの特徴量を導出しておくことで、ヘルメットの特徴量の精度を向上させることができる。

また、ヘルメットに関する判別値は、画像中に占めるヘルメットの面積である。作業者が覚醒しているときと、覚醒していない（居眠りしている）ときとで、カメラ２で撮像されるヘルメットの向きが変わり、画像中に占めるヘルメットの面積が変化する。よって、画像中に占めるヘルメットの面積が閾値を超えたときに、作業者が居眠りしていると好適に判断することができる。

また、アタッチメント３０の姿勢に応じて、ヘルメットに関する判別値の閾値が変化される。例えば、アタッチメント３０が上方に位置している場合には、作業者は上を向く傾向にある。この場合には、作業者が上を向いたときの判別値に基づいて閾値を設定する。一方、アタッチメント３０が下方に位置している場合には、作業者は下を向く傾向にある。この場合には、作業者が下を向いたときの判別値に基づいて閾値を設定する。これにより、作業者が居眠りしているか否かをより正確に判断することができる。

また、カメラ２が撮像した作業者に応じて、ヘルメットに関する判別値の閾値が変化される。例えば、キャブ２３に搭乗している作業者が、ヘルメットを浅く被る作業者である場合には、ヘルメットを浅く被ったときの判別値に基づいて閾値を設定する。一方、キャブ２３に搭乗している作業者が、ヘルメットを深く被る作業者である場合には、ヘルメットを深く被ったときの判別値に基づいて閾値を設定する。これにより、作業者が居眠りしているか否かをより正確に判断することができる。

また、作業者が居眠りしている場合に、居眠り対策が行われる。これにより、作業者の居眠りによる問題を回避できる場合がある。

また、作業者が居眠りしている場合に、警告が発生される。これにより、居眠りしている作業者に覚醒を促すことができる。

また、作業者が居眠りしている場合に、アタッチメント３０の動作が制限される。これにより、作業者の居眠りによるアタッチメント３０の誤操作を回避できる場合がある。

また、作業者が居眠りしている場合に、エンジン２４が停止される。これにより、作業者の居眠りによる作業者の意図しない作業機械１の動作を回避できる場合がある。

また、作業者が覚醒していないとの判定が所定時間継続した場合に、居眠り対策が行われる。よって、作業者が一時的に下を向くなどして、カメラ２で撮像されるヘルメットの向きが一時的に変わっただけでは、居眠り対策が行われない。これにより、不必要に居眠り対策が行われないようにすることができる。

また、作業者が覚醒していないとの判定が継続する場合に、居眠り対策のレベルが段階的に変化される。よって、作業者の居眠りが長くなるほど居眠り対策のレベルを段階的に上げるなどすることができる。これにより、作業者の居眠りによる問題を十分に回避できる場合がある。

また、作業者がヘルメットを装着していない場合に、警告が発生される。これにより、ヘルメットを装着するように作業者を促すことができる。

［第２実施形態］
次に、第２実施形態の作業機械について、図面を参照しつつ説明する。なお、第１実施形態と共通する構成およびそれにより奏される効果については説明を省略し、主に、第１実施形態と異なる点について説明する。なお、第１実施形態と同じ部材については、第１実施形態と同じ符号を付している。

（作業機械の構成）
第１実施形態の作業機械１は、作業者の居眠りを検出したコントローラ４が独自に居眠り対策を行っていた。これに対して、本実施形態の作業機械は、作業機械の外部にいる管理者の指示（管理者の用いる管理者ＰＣからの指令）に従って居眠り対策が行われる。

作業機械１０１の回路図である図５に示すように、本実施形態の作業機械１０１は、送信装置８と、受信装置９と、を有している。送信装置８は、外部に情報を送信可能である。受信装置９は、外部から信号を受信可能である。

コントローラ（居眠り対策手段）４は、作業者が覚醒していないと自身が判定した場合に、作業者が覚醒していない旨の情報を、外部の管理者が用いる管理者ＰＣ（管理装置）５０に送信装置８から送信させる。ここで、管理者ＰＣとは、管理者が用いるパーソナルコンピュータである。なお、管理者が用いる管理装置は、タブレット端末やスマートフォンであってもよい。

管理者ＰＣ５０は、送受信装置５１と、ＣＰＵ（Central Processing Unit）５２と、ＲＯＭ（Read Only Memory）５３と、ＲＡＭ（Random Access Memory）５４と、ディスプレイ５５とを有している。送受信装置５１は、外部に対して情報を送受信可能である。ＲＯＭ５３は、制御プログラムを記憶している。ＲＡＭ５４は、情報を記憶可能である。ディスプレイ５５は、情報を表示可能である。

ＣＰＵ５２は、作業者が覚醒していない旨の情報を送受信装置５１が受信すると、その情報をＲＡＭ５４に記憶させるとともに、その情報をディスプレイ５５に表示させる。これにより、作業者が居眠りした情報を管理者が取得して管理することができる。よって、居眠りをした作業者に管理者が無線や電話で注意するなどの措置を取ることができる。

また、ＣＰＵ５２は、作業者が覚醒していない旨の情報を所定時間継続して受信したことを条件として、作業機械１に居眠り対策を行わせるために、送受信装置５１から作業機械１に制御信号（指令）を送信させる。ここで、所定時間は、例えば３０秒である。また、ＣＰＵ５２は、同じ作業者の居眠りが継続する場合に、居眠り対策を段階的に変化させるために、所定時間が経過するごとに、送受信装置５１から異なる制御信号を作業機械１に送信させる。

コントローラ（居眠り対策手段）４は、管理者ＰＣ５０から受信した制御信号に応じて、居眠り対策を行う。本実施形態においては、第１実施形態と同様に、以下の３つのレベルの居眠り対策が段階的に行われる。まず、作業者が覚醒していない状態が所定時間継続した場合に、低レベルの居眠り対策として、スピーカ６およびディスプレイ７から警告が発生される。さらに、作業者が覚醒していない状態が所定時間継続した場合に、中レベルの居眠り対策として、アタッチメント３０の動作が制限される。さらに、作業者が覚醒していない状態が所定時間継続した場合に、高レベルの居眠り対策として、エンジン２４が停止される。これにより、作業者の居眠りによる問題を回避できる場合がある。

また、コントローラ（送信制御手段）４は、作業者がヘルメットを装着していないと自身が判定した場合に、作業者がヘルメットを装着していない旨の情報を、送信装置８から管理者ＰＣ５０に送信させる。ＣＰＵ５２は、作業者がヘルメットを装着していない旨の情報を送受信装置５１が受信すると、その情報をＲＡＭ５４に記憶させるとともに、その情報をディスプレイ５５に表示させる。これにより、作業者がヘルメットを装着していない旨の情報を管理者が取得して管理することができる。よって、ヘルメットを装着していない作業者に管理者が無線や電話で注意するなどの措置を取ることができる。

（作業機械の動作）
次に、居眠り対策制御のフローチャートである図６および図７を用いて、作業機械１０１および管理者ＰＣ５０の動作を説明する。

まず、作業機械１０１側の居眠り対策制御のフローチャートである図６を用いて、作業機械１０１の動作を説明する。コントローラ４は、カメラ２が撮像した画像を取得する（ステップＳ２１）。次に、コントローラ４は、カメラ２が撮像した画像に基づいて、作業者がヘルメットを装着しているか否かを判定する（ステップＳ２２）。ステップＳ２２において、作業者がヘルメットを装着していないと判定した場合には（Ｓ２２：ＮＯ）、コントローラ４は、スピーカ６およびディスプレイ７から警告を発生させる（ステップＳ２３）。そして、コントローラ４は、ヘルメット非装着の情報（非装着情報）を外部に送信して（ステップＳ２４）、ステップＳ２１に戻る。

一方、ステップＳ２２において、作業者がヘルメットを装着していると判定した場合には（Ｓ２２：ＹＥＳ）、コントローラ４は、閾値を設定する（ステップＳ２５）。コントローラ４は、アタッチメント３０の姿勢や、カメラ２が撮像した作業者に応じて閾値を変化させる。

次に、コントローラ４は、カメラ２が撮像した画像と、記憶装置３が記憶するヘルメットの特徴量とを用いて、ヘルメットに関する判別値を取得する（ステップＳ２６）。具体的に、コントローラ４は、画像中に占めるヘルメットの面積Ｓを算出する。

次に、コントローラ４は、自身が取得したヘルメットに関する判別値と、記憶装置３が記憶する閾値とを用いて、作業者が覚醒しているか否かを判定する（ステップＳ２７）。具体的には、コントローラ４は、画像中に占めるヘルメットの面積Ｓが閾値を超えている、即ち、閾値Ｔｈ１よりも小さいか、または、閾値Ｔｈ２よりも大きいかを判定する。ステップＳ２７において、画像中に占めるヘルメットの面積Ｓが閾値を超えていないと判定した場合には（Ｓ２７：ＮＯ）、コントローラ４は、ステップＳ２１に戻る。

一方、ステップＳ２７において、画像中に占めるヘルメットの面積Ｓが閾値を超えていると判定した場合には（Ｓ２７：ＹＥＳ）、コントローラ４は、作業者が覚醒していない旨の情報（居眠り情報）を外部に送信する（ステップＳ２８）。そして、コントローラ４は、制御信号を受信したか否かを判定する（ステップＳ２９）。ステップＳ２９において、制御信号を受信していないと判定した場合には（Ｓ２９：ＮＯ）、コントローラ４は、ステップＳ２１に戻る。

一方、ステップＳ２９において、制御信号を受信したと判定した場合には（Ｓ２９：ＹＥＳ）、コントローラ４は、制御信号に応じた居眠り対策を行う（ステップＳ３０）。そして、ステップＳ２１に戻る。

次に、管理者ＰＣ５０側の居眠り対策制御のフローチャートである図７を用いて、管理者ＰＣ５０の動作を説明する。まず、ＣＰＵ５２は、作業者がヘルメットを装着していない旨の情報（非装着情報）を受信したか否かを判定する（ステップＳ３１）。ステップＳ３１において、非装着情報を受信していないと判定した場合には（Ｓ３１：ＮＯ）、ＣＰＵ５２は、ステップＳ３４に進む。一方、ステップＳ３１において、非装着情報を受信したと判定した場合には（Ｓ３１：ＹＥＳ）、ＣＰＵ５２は、非装着情報をＲＡＭ５４に記憶させる（ステップＳ３２）。また、ＣＰＵ５２は、非装着情報をディスプレイ５５に表示させ（ステップＳ３３）、ステップＳ３４に進む。

ステップＳ３４において、ＣＰＵ５２は、作業者が覚醒していない旨の情報（居眠り情報）を受信したか否かを判定する（ステップＳ３４）。ステップＳ３４において、居眠り情報を受信していないと判定した場合には（Ｓ３４：ＮＯ）、ＣＰＵ５２は、時間の計測をリセットする（ステップＳ３５）。そして、ステップＳ３１に戻る。なお、時間の計測はステップＳ３９で開始される。

一方、ステップＳ３４において、居眠り情報を受信したと判定した場合には（Ｓ３４：ＹＥＳ）、ＣＰＵ５２は、居眠り情報をＲＡＭ５４に記憶させる（ステップＳ３６）。また、ＣＰＵ５２は、居眠り情報をディスプレイ５５に表示させる（ステップＳ３７）。

次に、ＣＰＵ５２は、時間を計測中であるか否かを判定する（ステップＳ３８）。ステップＳ３８において、時間を計測中でないと判定した場合には（Ｓ３８：ＮＯ）、ＣＰＵ５２は、時間の計測を開始する（ステップＳ３９）。そして、ステップＳ３１に戻る。

一方、ステップＳ３８において、時間を計測中であると判定した場合には（Ｓ３８：ＹＥＳ）、ＣＰＵ５２は、所定時間が経過したか否かを判定する（ステップＳ４０）。ステップＳ４０において、所定時間が経過していないと判定した場合には（Ｓ４０：ＮＯ）、ＣＰＵ５２は、ステップＳ３１に戻る。

一方、ステップＳ４０において、所定時間が経過したと判定した場合には（Ｓ４０：ＹＥＳ）、ＣＰＵ５２は、警告発生中であるか否かを判定する（ステップＳ４１）。ステップＳ４１において、警告発生中でないと判定した場合には（Ｓ４１：ＮＯ）、ＣＰＵ５２は、スピーカ６およびディスプレイ７から警告を発生させる制御信号を送受信装置５１から送信させる（ステップＳ４２）。そして、ＣＰＵ５２は、時間の計測をリセットして（ステップＳ４３）、ステップＳ３１に戻る。

一方、ステップＳ４１において、警告発生中であると判定した場合には（Ｓ４１：ＹＥＳ）、ＣＰＵ５２は、アタッチメント３０の動作を制限中であるか否かを判定する（ステップＳ４４）。ステップＳ４４において、アタッチメント３０の動作を制限中でないと判定した場合には（Ｓ４４：ＮＯ）、ＣＰＵ５２は、アタッチメント３０の動作を制限させる制御信号を送受信装置５１から送信させる（ステップＳ４５）。そして、ＣＰＵ５２は、時間の計測をリセットして（ステップＳ４６）、ステップＳ３１に戻る。

一方、ステップＳ４４において、アタッチメント３０の動作を制限中であると判定した場合には（Ｓ４４：ＹＥＳ）、ＣＰＵ５２は、エンジン２４を停止させる制御信号を送受信装置５１から送信させる（ステップＳ４７）。そして、ステップＳ３１に戻る。

（効果）
以上に述べたように、本実施形態に係る作業機械１０１によれば、作業者が覚醒していない旨の情報が、外部の管理者が用いる管理者ＰＣ５０に送信される。これにより、作業者が居眠りした情報を管理者が取得して管理することができる。よって、例えば、居眠りをした作業者に管理者が無線や電話で注意するなどの措置を取ることができる。

また、管理者ＰＣ５０から受信した信号に応じて、居眠り対策が行われる。例えば、作業者が覚醒していない旨の情報を受け取った管理者などが作業機械１０１に指示を出し、この指示に応じて居眠り対策が行われる。これにより、作業者の居眠りによる問題を回避できる場合がある。

また、作業者がヘルメットを装着していない旨の情報が、外部の管理者が用いる管理者ＰＣ５０に送信される。これにより、作業者がヘルメットを装着していない旨の情報を管理者が取得して管理することができる。よって、例えば、ヘルメットを装着していない作業者に管理者が無線や電話で注意するなどの措置を取ることができる。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１，１０１ 作業機械
２ カメラ（撮像装置）
３ 記憶装置（特徴量記憶装置、閾値記憶装置）
４ コントローラ（判別値取得手段、覚醒判定手段、閾値変化手段、画像側閾値変化手段、居眠り対策手段、装着判定手段、警告制御手段、送信制御手段）
５ 姿勢検出装置
６ スピーカ（警告装置、第２警告装置）
７ ディスプレイ（警告装置、第２警告装置）
８ 送信装置
９ 受信装置
１０ ヘルメット
１１ マーク
１２ ライン
２０ 機械本体
２１ 下部走行体
２２ 上部旋回体
２３ キャブ（運転室）
２４ エンジン
３０ アタッチメント
３１ ブーム
３２ アーム
３３ バケット
４０ シリンダ
４１ ブームシリンダ
４２ アームシリンダ
４３ バケットシリンダ
５０ 管理者ＰＣ（管理装置）
５１ 送受信装置
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５５ ディスプレイ

Claims (17)

1. 運転室に搭乗している作業者のヘルメットを含む画像を撮像可能な撮像装置と、
   前記ヘルメットの特徴量を記憶する特徴量記憶装置と、
   前記撮像装置が撮像した前記画像と、前記特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得手段と、
   前記ヘルメットに関する判別値の閾値を記憶する閾値記憶装置と、
   前記判別値取得手段が取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定手段と、
   を有することを特徴とする作業機械。
2. 前記撮像装置が撮像した前記画像を用いて、前記ヘルメットの特徴量が事前に導出されることを特徴とする請求項１に記載の作業機械。
3. 前記ヘルメットに関する判別値は、前記画像中に占める前記ヘルメットの面積であることを特徴とする請求項１又は２に記載の作業機械。
4. 機械本体に取り付けられるアタッチメントと、
   前記アタッチメントの姿勢を検出する姿勢検出装置と、
   前記姿勢検出装置が検出した前記アタッチメントの姿勢に応じて前記閾値を変化させる閾値変化手段と、
   をさらに有することを特徴とする請求項１〜３のいずれか１項に記載の作業機械。
5. 前記撮像装置は、前記運転室に搭乗している前記作業者の頭部を含む画像を撮像可能であり、
   前記撮像装置が撮像した前記作業者に応じて、前記閾値を変化させる画像側閾値変化手段と、
   をさらに有することを特徴とする請求項１〜４のいずれか１項に記載の作業機械。
6. 前記作業者が覚醒していないと前記覚醒判定手段が判定した場合に、居眠り対策を行う居眠り対策手段をさらに有することを特徴とする請求項１〜５のいずれか１項に記載の作業機械。
7. 警告を発することが可能な警告装置をさらに有し、
   前記居眠り対策手段は、前記作業者が覚醒していないと前記覚醒判定手段が判定した場合に、前記居眠り対策として、前記警告装置から警告を発生させることを特徴とする請求項６に記載の作業機械。
8. 機械本体に取り付けられるアタッチメントをさらに有し、
   前記居眠り対策手段は、前記作業者が覚醒していないと前記覚醒判定手段が判定した場合に、前記居眠り対策として、前記アタッチメントの動作を制限することを特徴とする請求項６又は７に記載の作業機械。
9. エンジンをさらに有し、
   前記居眠り対策手段は、前記作業者が覚醒していないと前記覚醒判定手段が判定した場合に、前記居眠り対策として、前記エンジンを停止させることを特徴とする請求項６〜８のいずれか１項に記載の作業機械。
10. 前記居眠り対策手段は、前記作業者が覚醒していないとの前記覚醒判定手段の判定が所定時間継続したことを条件として、前記居眠り対策を行うことを特徴とする請求項６〜９のいずれか１項に記載の作業機械。
11. 前記居眠り対策手段は、前記作業者が覚醒していないとの前記覚醒判定手段の判定が継続する場合に、前記居眠り対策のレベルを段階的に変化させることを特徴とする請求項６〜１０のいずれか１項に記載の作業機械。
12. 外部に情報を送信可能な送信装置をさらに有し、
    前記居眠り対策手段は、前記作業者が覚醒していない旨の情報を、外部の管理者が用いる管理装置に前記送信装置から送信させることを特徴とする請求項６〜１１のいずれか１項に記載の作業機械。
13. 外部から信号を受信可能な受信装置をさらに有し、
    前記居眠り対策手段は、前記受信装置が前記管理装置から受信した信号に応じて、前記居眠り対策を行うことを特徴とする請求項１２に記載の作業機械。
14. 前記撮像装置が撮像した前記画像に基づいて、前記作業者が前記ヘルメットを装着しているか否かを判定する装着判定手段と、
    警告を発することが可能な第２警告装置と、
    前記作業者が前記ヘルメットを装着していないと前記装着判定手段が判定した場合に、前記第２警告装置から警告を発生させる警告制御手段と、
    をさらに有することを特徴とする請求項１〜１３のいずれか１項に記載の作業機械。
15. 外部に情報を送信可能な送信装置と、
    前記作業者が前記ヘルメットを装着していないと前記装着判定手段が判定した場合に、前記作業者が前記ヘルメットを装着していない旨の情報を、外部の管理者が用いる管理装置に前記送信装置から送信させる送信制御手段と、
    をさらに有することを特徴とする請求項１４に記載の作業機械。
16. 運転室に搭乗している作業者のヘルメットを含む画像を撮像装置で撮像する撮像ステップと、
    前記撮像装置が撮像した前記画像と、特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得ステップと、
    前記ヘルメットに関する判別値の閾値を閾値記憶装置に記憶させる閾値記憶ステップと、
    前記判別値取得ステップで取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定ステップと、
    を含むことを特徴とする作業機械における覚醒判定方法。
17. 運転室に搭乗している作業者のヘルメットを含む画像を撮像装置に撮像させる撮像手段と、
    前記撮像装置が撮像した前記画像と、特徴量記憶装置が記憶する前記ヘルメットの特徴量とを用いて、前記ヘルメットに関する判別値を取得する判別値取得手段と、
    前記ヘルメットに関する判別値の閾値を閾値記憶装置に記憶させる閾値記憶手段と、
    前記判別値取得手段が取得した前記ヘルメットに関する判別値と、前記閾値記憶装置が記憶する前記閾値とを用いて、前記作業者が覚醒しているか否かを判定する覚醒判定手段としてコンピュータを機能させることを特徴とする作業機械における覚醒判定プログラム。

Images