JP2017174093A - Driver state determination device - Google Patents
Driver state determination device Download PDFInfo
- Publication number
- JP2017174093A JP2017174093A JP2016058631A JP2016058631A JP2017174093A JP 2017174093 A JP2017174093 A JP 2017174093A JP 2016058631 A JP2016058631 A JP 2016058631A JP 2016058631 A JP2016058631 A JP 2016058631A JP 2017174093 A JP2017174093 A JP 2017174093A
- Authority
- JP
- Japan
- Prior art keywords
- deviation amount
- driver
- unit
- driving posture
- integrated value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明の一側面は、運転者状態判定装置に関する。 One aspect of the present invention relates to a driver state determination device.
従来の運転者状態判定装置に関する技術として、例えば特許文献1に記載された技術が知られている。特許文献1に記載された技術では、運転席前方に設けられたカメラにより運転者の顔位置をカメラで撮像し、その撮像画像から運転者の顔が存在しない又は目をつむっている等の状況が所定期間継続して検出された場合、運転者の状態が異常と判定する。 As a technique related to a conventional driver state determination device, for example, a technique described in Patent Document 1 is known. In the technique described in Patent Literature 1, the driver's face position is captured by the camera using a camera provided in front of the driver's seat, and the driver's face does not exist or the eyes are closed from the captured image. Is continuously detected for a predetermined period, it is determined that the driver's condition is abnormal.
近年、車両に乗車中の運転者の状態を見極め、運転者の状態が異常の場合には、例えば車両の走行を自動制御することによって障害物との接触時の被害を軽減するシステムの導入が望まれている。このようなシステムを実現するために、上述したような運転者状態判定装置においては、運転者の状態が異常か否かを精度よく判定することが重要とされる。 In recent years, a system has been introduced that reduces the damage caused by contact with obstacles by, for example, automatically controlling the driving of the vehicle when the state of the driver in the vehicle is determined and the driver's state is abnormal. It is desired. In order to realize such a system, in the driver state determination device as described above, it is important to accurately determine whether or not the driver's state is abnormal.
本発明の一側面は、上記実情に鑑みてなされたものであり、運転者の状態が異常か否かを精度よく判定することが可能な運転者状態判定装置を提供することを課題とする。 An aspect of the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.
本発明の一側面に係る運転者状態判定装置は、少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、正常な運転状態における当該運転者の運転姿勢である複数の正常運転姿勢を記憶する記憶部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部で認識した運転姿勢とのズレ量を算出するズレ量算出部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する最小ズレ量選択部と、最小ズレ量選択部で選択された最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、積算値算出部で算出されたズレ量積算値が、予め定められた閾値を超えた場合に運転者の状態が異常と判定する判定部と、を備える。 A driver state determination device according to an aspect of the present invention recognizes a driving posture including a relative positional relationship among a plurality of skeleton parts in a driver of a vehicle based on a detection result by a detection unit including at least a distance sensor. A recognition unit, a storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state, and the normal driving postures for each of the plurality of normal driving postures stored in the storage unit And a deviation amount calculation unit for calculating a deviation amount between the recognition posture and the driving posture recognized by the recognition unit, and a deviation value with the smallest value among the deviation amounts calculated for each of the plurality of normal driving postures stored in the storage unit. Calculated by the minimum deviation amount selection unit that selects the amount as the minimum deviation amount, the integrated value calculation unit that calculates the deviation amount integrated value by integrating the minimum deviation amount selected by the minimum deviation amount selection unit, and the integrated value calculation unit Amount of misalignment Calculated value, and a determination unit the state of the driver to be abnormal when exceeding a predetermined threshold.
この運転者状態判定装置において、ズレ量算出部は、複数の正常運転姿勢のそれぞれに対して、認識部で認識された運転姿勢とのズレ量を算出する。最小ズレ量選択部は、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者の運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部は、記憶部に記憶された複数の正常運転姿勢の中から運転者の運転姿勢に最も近い正常運転姿勢と、運転者の運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部は、運転者の運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。判定部は、ズレ量積算値が予め定められた閾値を超えた場合に、運転者の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者の姿勢が一瞬だけ異常な姿勢となった場合や、検出部のノイズなどによって一瞬だけ運転者の異常な運転姿勢が認識部で認識された場合であっても、運転者状態判定装置は、運転者の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置によれば、運転者の状態が異常か否かを精度よく判定することが可能となる。 In this driver state determination device, the deviation amount calculation unit calculates a deviation amount from the driving posture recognized by the recognition unit for each of the plurality of normal driving postures. The minimum deviation amount selection unit selects a deviation amount having the smallest value among the deviation amounts calculated for each of the plurality of normal driving postures as the minimum deviation amount. Here, the normal driving posture having the smallest deviation amount among the plurality of normal driving postures stored in the storage unit is a posture closest to the driving posture of the driver. That is, the minimum deviation amount selection unit sets the deviation amount between the normal driving posture closest to the driving posture of the driver and the driving posture of the driver among the plurality of normal driving postures stored in the storage unit as the minimum deviation amount. select. The integrated value calculation unit integrates the deviation amount (minimum deviation amount) from the normal driving posture closest to the driver's driving posture to calculate a deviation amount integrated value. The determination unit determines that the driver's condition is abnormal when the deviation amount integrated value exceeds a predetermined threshold. By making a determination by integrating the minimum deviation amount in this way, for example, when the driver's posture becomes abnormal for a moment due to the vehicle overcoming a step, etc., or for a moment due to noise of the detection unit, etc. Even when the driver's abnormal driving posture is recognized by the recognition unit, the driver state determination device can suppress erroneous determination of the driver's state as abnormal. Therefore, according to the driver state determination device, it is possible to accurately determine whether or not the driver's state is abnormal.
積算値算出部は、最小ズレ量選択部で選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算してもよい。この場合、運転者状態判定装置は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。 The integrated value calculation unit may integrate the minimum deviation amount selected by the minimum deviation amount selection unit and subtract a predetermined amount from the deviation amount integrated value every time a predetermined time elapses. In this case, the driver state determination device can automatically subtract the deviation amount integrated value that increases by integrating the deviation amount as time elapses.
運転者状態判定装置は、判定部による判定時以外のときに、認識部で認識した当該運転者の運転姿勢を正常運転姿勢として記憶部に記憶する学習部を備えていてもよい。この構成によれば、判定部による判定時以外のときの運転者の運転姿勢を正常運転姿勢として記憶部に学習させることが可能となる。 The driver state determination device may include a learning unit that stores the driving posture of the driver recognized by the recognition unit in the storage unit as a normal driving posture at times other than the determination by the determination unit. According to this configuration, it is possible to cause the storage unit to learn the driving posture of the driver at a time other than the determination time by the determination unit as the normal driving posture.
本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することができる運転者状態判定装置を提供することが可能となる。 According to one aspect of the present invention, it is possible to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。 DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the same or equivalent elements will be denoted by the same reference numerals, and redundant description will be omitted.
図1は、実施形態に係る運転者状態判定装置100の構成を示すブロック図である。図2は、運転者1の複数の骨格部位2を説明する図である。図1に示すように、運転者状態判定装置100は、自動車等の車両に乗車中の運転者1の状態が異常か否かを判定する装置である。車両としては、特に限定されるものではなく、例えば、トラックやバス等の商用車、普通乗用車、大型車両、中型車両、小型車両又は軽車両等の何れであってもよい。
FIG. 1 is a block diagram illustrating a configuration of a driver
運転者状態判定装置100は、深度センサ(検出部)10、運転者状態判定ECU20及び出力部30を備えている。深度センサ10は、深度情報を取得する距離センサである。深度センサ10は、対象物までの深度情報(距離画像)を取得するセンサである赤外線センサによって構成されている。深度センサ10は、車両の助手席側の窓とフロントガラスとの間に配置されている。深度センサ10は、運転者1の上方から運転者1側に向かう方向に撮影可能とされている。なお、深度センサ10は、赤外線センサ以外の他の距離センサによって構成されていてもよい。また、深度センサ10は、深度情報を取得する距離センサに加え、対象物のカラー画像を取得するRGBセンサを更に含んで構成されていてもよい。
The driver
図1及び図2に示すように、深度センサ10は、運転者1の上半身の深度情報を取得し、取得した深度情報から運転者1における複数の骨格部位2の三次元座標(X軸座標、Y軸座標及びZ軸座標)を取得する。深度センサ10は、当該三次元座標に関する情報を、センサ情報として運転者状態判定ECU20へ出力する。深度センサ10としては、例えば、深度の取得可能範囲が0.5〜8.0[m]、運転者1の検出可能範囲が0.5〜4.5[m]、及び、骨格部位2の検出可能数が20又は25[箇所/人]のものが用いられる。なお、複数の骨格部位2の三次元座標を取得する手法としては、特に限定されず、公知の手法を採用することができる。
As shown in FIGS. 1 and 2, the
骨格部位2は、1又は複数の骨及び軟骨によって構成される構造部位である。骨格部位2は、骨格上において1又は複数のまとまりのある機能及び/又は構造を有する部位である。骨格部位2は、骨格ポイントとも称する。本実施形態の骨格部位2としては、運転者1の上半身の骨格の部位であって、例えば「頭」、「左肩」、「左肘」、「左腕」、「左手」、「右肩」、「右肘」、「右腕」、「右手」、「脊髄」、「背骨中央」、及び「腰」等が挙げられる。上半身とは、身体における頭から腰までの部分である。
The
運転者状態判定ECU20は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]等を有する電子制御ユニットである。運転者状態判定ECU20では、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の制御を実行する。運転者状態判定ECU20は、複数の電子制御ユニットから構成されていてもよい。運転者状態判定ECU20は、認識部21、記憶部22、判定処理部23及び学習部24を有する。
The driver
認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の複数の骨格部位2における相対的な三次元の位置関係を含む運転姿勢を認識する。具体的には、まず、複数の骨格部位2のうちの二つの組合せからなる項目毎に、一方の骨格部位2の座標に対する他方の骨格部位2の三次元座標の大小関係を演算する。例えば当該大小関係は、X軸、Y軸及びZ軸それぞれにおいて、一方の骨格部位2の座標に対して他方の骨格部位2の座標が大きいか、小さいか、又は等しいかでビットパターン化されて表現される。そして、当該大小関係を相対位置情報(相対チェックポイントとも称する)とする。このような相対位置情報を複数の項目毎に有する一群の情報を、運転姿勢(姿勢モデルとも称する)として認識する。
The
図3は、認識部21により認識した運転姿勢の一例を示す図である。図3に示す例では、運転姿勢は、例えば骨格部位2の数が12箇所であるところ、66通りの骨格部位2の組合せ(項目)を有する。各項目それぞれは、XYZ座標系において、一方の骨格部位2に対する他方の骨格部位2の三次元座標の大小関係に関する相対位置情報を有する。図示するように、例えば項目が「頭−左肩」では、頭のX軸座標が左肩のX軸座標よりも小さく「<」とされ、頭のY軸座標が左肩のY軸座標と等しく「=」とされ、頭のZ軸座標は左肩のZ軸座標よりも大きく「>」とされている。つまり、複数の骨格部位2の組合せについての、座標の相対的大小関係を三軸で比較してなるベクタとして、一つの運転姿勢が記述されている。
FIG. 3 is a diagram illustrating an example of a driving posture recognized by the
図1に示すように、記憶部22は、複数の正常運転姿勢を記憶して蓄積する。正常運転姿勢は、正常な運転状態における運転者1の運転姿勢である。記憶部22は、後述するように、学習部24で平常運転時(通常運転時)に認識された運転姿勢を、正常運転姿勢として記憶する。記憶部22に記憶した複数の正常運転姿勢は、「辞書」、すなわち、多数の正常運転姿勢を集録する集合体を構築する。記憶部22に記憶した複数の正常運転姿勢は、教師データとして用いられる。複数の正常運転姿勢は、相対位置情報のリストの形で構成されている。以下、記憶部22に記憶した複数の正常運転姿勢を、単に「辞書」とも称する。
As shown in FIG. 1, the
判定処理部23は、記憶部22に記憶した複数の正常運転姿勢と、認識部21で認識した現在の運転姿勢(以下、「現在運転姿勢」という)とに基づいて、次に示す判定モードを実行し、運転者1の状態が異常か否かを判定する。
Based on the plurality of normal driving postures stored in the
具体的には、判定処理部23は、ズレ量算出部23a、最小ズレ量選択部23b、積算値算出部23c、及び判定部23dを備えている。ズレ量算出部23aは、記憶部22に記憶した複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部21で認識した現在運転姿勢とのズレ量を算出する。ここで、ズレ量とは、正常運転姿勢に対して現在運転姿勢がどの程度ズレているか(かい離しているか)を表している。ズレ量の値が大きいほど、正常運転姿勢に対して現在運転姿勢がズレている。ズレ量がゼロの場合とは、比較の対象とした正常運転姿勢と認識部21で認識された現在運転姿勢とが一致している場合である。なお、ズレ量が非常に小さい場合(所定値以下の場合)、ズレ量算出部23aは、ズレ量をゼロとして算出してもよい。
Specifically, the
より具体的には、ズレ量算出部23aは、一の正常運転姿勢について、その複数の項目の各相対位置情報と現在運転姿勢が有する複数の項目の各相対位置情報とを照合し、相対位置情報が相違する項目の数を算出する。このとき、相対位置情報に含まれる、X軸座標の大小関係とY軸座標の大小関係とZ軸座標の大小関係との全てが同じとき、ズレ量算出部23aは、相対位置情報が一致したとする。
More specifically, the deviation
次に、ズレ量算出部23aは、相対位置情報が相違する項目の数に基づいて、ズレ量を算出する。例えば、ズレ量算出部23aは、相対位置情報が相違する項目の数を、ズレ量として用いてもよい。あるいは、ズレ量算出部23aは、相対位置情報が相違する項目の数をズレ量として用いる際に、項目ごとに重み付けを行って、ズレ量を算出してもよい。
Next, the deviation
続いて、ズレ量算出部23aは、このようなズレ量の算出を、記憶部22が記憶する複数の正常運転姿勢の全てに対して実施する。このように、ズレ量算出部23aは、認識部21によって現在運転姿勢が認識される毎に、記憶部22が記憶する複数の正常運転姿勢の全てに対して、正常運転姿勢と現在運転姿勢とのズレ量を算出する。
Subsequently, the deviation
最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対してズレ量算出部23aで算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。この最小ズレ量の選択は、記憶部22に記憶された複数の正常運転姿勢の全てに対してズレ量が算出される毎に行われる。
The minimum deviation
積算値算出部23cは、判定処理部23において最小ズレ量が選択される毎に、最小ズレ量を積算してズレ量積算値を算出する。すなわち、積算値算出部23cは、過去に選択された最小ズレ量の積算値(ズレ量積算値)に対して、今回選択された最小ズレ量を加算する。
The integrated
また、積算値算出部23cは、ズレ量積算値を所定時間が経過する毎に所定量減算する。積算値算出部23cは、ズレ量積算値を積算する毎に、ズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングが一定タイミングである場合、積算値算出部23cは、最小ズレ量を積算する毎にズレ量積算値を所定量ずつ減算する。また、最小ズレ量が選択されるタイミングが変動する場合、所定時間が経過する毎に所定量ずつ減算されるように最小ズレ量の選択のタイミング(時間間隔)を考慮して、最小ズレ量を積算する毎にズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングの変動は、例えば、CPUの負荷(計算量)に起因して生じることがある。また、積算値算出部23cは、ズレ量積算値の積算とズレ量積算値の減算とを、互いに異なるタイミング或いは互いに異なる周期で行ってもよい。
Further, the integrated
判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値を超えた場合に運転者1の状態が異常と判定する。また、判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値以下の場合には、運転者1の状態が正常と判定する。この閾値は、運転者1の状態が異常か否かを適切に判定するために、予め定められて記憶された値である。閾値は、実験、過去の実績及び経験、並びにシミュレーション等に基づいて定めることができる。閾値は、固定の値であってもよいし、変動する値であってもよい。
The
学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した現在運転姿勢を正常運転姿勢として学習する学習モード(辞書登録モード又は辞書強化モードとも称する)を実行する。具体的には、学習部24は、例えばモード判定実行時以外の平常運転時に、認識部21で認識した運転者1の現在運転姿勢を正常運転姿勢として記憶部22に記憶して蓄積する。なお、学習部24は、認識部21で認識した平常運転時における運転者1の現在運転姿勢と、記憶部22に記憶された正常運転姿勢とのズレ量が非常に小さい場合(所定値以下の場合)、学習部24は、認識された現在運転姿勢を記憶部22に蓄積させる処理を行わなくてもよい。これにより、記憶部22に記憶される辞書の増加を抑制することができる。
The
出力部30は、判定処理部23による判定結果に応じた情報を運転者1へ報知する。出力部30は、例えば、画像情報を表示するためのディスプレイ、及び音声出力のためのスピーカの少なくとも何れかを有している。出力部30は、判定処理部23で運転者1の状態が異常と判定された場合、例えばディスプレイパネル上に警告表示を表示する、及び/又は、警告メッセージ等の警告音声をスピーカから出力する。一方、出力部30は、判定処理部23で運転者1の状態を正常と判定した場合、例えば現在運転姿勢が正常運転姿勢と対応している旨をディスプレイパネル上に表示する、及び/又は、現在運転姿勢が正常運転姿勢と対応している旨の音声をスピーカから出力する。
The
なお、本実施形態では、運転者状態判定装置100を走行支援装置(不図示)に適用し、判定部23dの判定結果に基づいて車両の走行を自動制御してもよい。例えば、判定部23dにより運転者1の状態が異常と判定された場合、車両制御ECU(不図示)によりステアリングアクチュエータ及びブレーキアクチュエータを制御して、車両を路肩に寄せて停車させてもよい。運転者状態判定装置100は、種々の走行支援装置、運転支援装置及び走行安全装置等に採用可能である。
In the present embodiment, the driver
本実施形態において、判定処理部23による判定モードの実行と学習部24による学習モードの実行とについては、例えば運転者1によるモード切替部(不図示)の操作に応じて所望に切替え可能としてもよい。本実施形態において、骨格部位2の三次元座標の取得、相対的な位置関係とする表現(運転姿勢)への変換、及び、全ての辞書に対するズレ量の算出は、1秒間当たりの処理フレーム数を数十フレームとしてリアルタイム処理を行っている。
In the present embodiment, execution of the determination mode by the
次に、運転者状態判定装置100の処理について、図4に示すフローチャートを参照しつつ説明する。
Next, the process of the driver
図4は、運転者状態判定ECU20において実行される判定モードの処理を説明するフローチャートである。図4に示すように、運転者状態判定ECU20では、判定モードに係る以下の処理を所定周期で繰り返し実行する。
FIG. 4 is a flowchart illustrating processing in a determination mode that is executed by the driver
まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S1)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S2)。ズレ量算出部23aは、複数の正常運転姿勢のそれぞれに対して現在運転姿勢とのズレ量を算出する(S3)。そして、最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する(S4)。最小ズレ量が選択されると、積算値算出部23cは、選択された最小ズレ量を積算してズレ量積算値を算出するとともに、時間の経過に応じてズレ量積算値の減算を行う(S5)。
First, the driver
続いて、判定部23dは、算出されたズレ量積算値が、予め定められた閾値を超えたか否かを判定する(S6)。ズレ量積算値が閾値を超えている場合(S6:YES)、判定部23dは、運転者1の状態が異常と判定する。その後、運転者状態判定ECU20は、出力部30から警告音声及び/又は警告表示を出力させると共に、次周期の処理に移行する。これに代えてもしくは加えて、車両制御ECUにより車両の走行を自動制御し、例えば車両を路肩に寄せて停車させる。
Subsequently, the
一方、ズレ量積算値が閾値を超えていない場合(S6:NO)、判定部23dは、運転者1の状態が正常と判定する。その後、運転者状態判定ECU20は、出力部30から、現在運転姿勢が正常運転姿勢と対応している旨を出力させると共に、次周期の処理に移行する。
On the other hand, when the deviation amount integrated value does not exceed the threshold (S6: NO), the
図5は、運転者状態判定ECU20において実行される学習モードの処理を説明するフローチャートである。図5に示すように、運転者状態判定ECU20では、例えばモード判定実行時以外の平常運転時において、判定モードに係る以下の処理を所定周期で繰り返し実行する。
FIG. 5 is a flowchart illustrating the learning mode process executed by the driver
まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S11)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S12)。学習部24は、現在運転姿勢を正常運転姿勢として記憶部22に記憶する(S13)。その後、運転者状態判定ECU20は、次周期の処理に移行する。
First, the driver
以上、運転者状態判定装置100において、ズレ量算出部23aは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対して、認識部21で認識された現在運転姿勢とのズレ量を算出する。最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部22に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者1の現在運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢の中から運転者1の現在運転姿勢に最も近い正常運転姿勢と、現在運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部23cは、運転者1の現在運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。
As described above, in the driver
判定部23dは、ズレ量積算値が予め定められた閾値を超えた場合に、運転者1の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者1の姿勢が一瞬だけ異常な姿勢となった場合や、深度センサ10のノイズなどによって一瞬だけ運転者1の異常な運転姿勢が認識部21で認識された場合であっても、運転者状態判定装置100は、運転者1の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置100によれば、運転者1の状態が異常か否かを精度よく判定することが可能となる。
The
また、ズレ量算出部23aは、記憶部22に記憶された正常運転姿勢と認識部21で認識された現在運転姿勢とのズレ量を算出している。すなわち、記憶部22は、運転者1の異常な運転姿勢のパターンを記憶する必要が無く、正常運転姿勢のみを記憶していればよい。このため、記憶部22が記憶する辞書の増加を抑制できる。また、ズレ量算出部23aは、運転者1の異常な運転姿勢のパターンを用いることなく、正常運転姿勢と現在運転姿勢との比較を行ってズレ量を算出する構成であるため、異常な運転姿勢のパターンについても比較の対象とする場合に比べて、ズレ量を算出するための計算量を抑制できる。
Further, the deviation
積算値算出部23cは、最小ズレ量選択部23bで選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算する。このため、運転者状態判定装置100は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。
The integrated
学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した当該運転者1の運転姿勢を正常運転姿勢として記憶部22に記憶させる。この構成によれば、判定処理部23による判定時以外のときの運転者1の運転姿勢を正常運転姿勢として記憶部22に学習させることが可能となる。
The
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。 The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments. The present invention can be modified without departing from the scope described in the claims or applied to other embodiments. May be.
例えば上記実施形態では、検出部として深度センサ10を用いたが、距離センサを含むその他のセンサを用いてもよい。要は、検出部の検出結果に基づいて、運転者1の複数の骨格部位2の相対的な位置関係を含む運転姿勢を認識できればよい。
For example, in the above embodiment, the
また、ズレ量積算値を所定時間が経過する毎に所定量減算する処理を積算値算出部23cが行うことは必須では無い。また、このズレ量積算値の減算は、所定時間が経過する毎に減算する以外にも、種々の方法によって行うことができる。例えば、運転者1の状態が異常である旨の報知が出力部30によって行われた後、当該報知に対する応答操作(ボタンの押下等)が運転者1によって行われたときに、積算値算出部23cがズレ量積算値を減算してもよい。
In addition, it is not essential for the integrated
運転者状態判定装置100が学習部24を用いて正常運転姿勢の学習を行うことは必須では無い。
It is not essential for the driver
1…運転者、2…骨格部位、10…深度センサ(検出部)、21…認識部、22…記憶部、23a…ズレ量算出部、23b…最小ズレ量選択部、23c…積算値算出部、23d…判定部、24…学習部、100…運転者状態判定装置。 DESCRIPTION OF SYMBOLS 1 ... Driver, 2 ... Skeletal part, 10 ... Depth sensor (detection part), 21 ... Recognition part, 22 ... Memory | storage part, 23a ... Deviation amount calculation part, 23b ... Minimum deviation amount selection part, 23c ... Integrated value calculation part , 23d ... determination unit, 24 ... learning unit, 100 ... driver state determination device.
Claims (3)
正常な運転状態における当該運転者の前記運転姿勢である複数の正常運転姿勢を記憶する記憶部と、
前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して、当該正常運転姿勢と前記認識部で認識した前記運転姿勢とのズレ量を算出するズレ量算出部と、
前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して算出された前記ズレ量のうち、最も値が小さい前記ズレ量を最小ズレ量として選択する最小ズレ量選択部と、
前記最小ズレ量選択部で選択された前記最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、
前記積算値算出部で算出された前記ズレ量積算値が、予め定められた閾値を超えた場合に前記運転者の状態が異常と判定する判定部と、を備える運転者状態判定装置。 A recognition unit for recognizing a driving posture including a relative positional relationship of a plurality of skeleton parts in a driver of the vehicle based on a detection result by at least a detection unit including a distance sensor;
A storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state;
For each of the plurality of normal driving postures stored in the storage unit, a deviation amount calculating unit that calculates a deviation amount between the normal driving posture and the driving posture recognized by the recognition unit;
A minimum shift amount selection unit that selects the shift amount having the smallest value as the minimum shift amount among the shift amounts calculated for each of the plurality of normal driving postures stored in the storage unit;
An integrated value calculation unit that calculates the deviation amount integrated value by integrating the minimum deviation amount selected by the minimum deviation amount selection unit;
A driver state determination apparatus comprising: a determination unit that determines that the driver's state is abnormal when the deviation amount integrated value calculated by the integrated value calculation unit exceeds a predetermined threshold.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016058631A JP6631954B2 (en) | 2016-03-23 | 2016-03-23 | Driver status judgment device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016058631A JP6631954B2 (en) | 2016-03-23 | 2016-03-23 | Driver status judgment device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017174093A true JP2017174093A (en) | 2017-09-28 |
JP6631954B2 JP6631954B2 (en) | 2020-01-15 |
Family
ID=59972077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016058631A Active JP6631954B2 (en) | 2016-03-23 | 2016-03-23 | Driver status judgment device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6631954B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020144727A1 (en) * | 2019-01-07 | 2020-07-16 | 三菱電機株式会社 | Motion identification device, motion identification method, and motion identification program |
WO2021095153A1 (en) * | 2019-11-13 | 2021-05-20 | 株式会社日立物流 | Driver anomaly response system, driver anomaly response method, and program |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254409A (en) * | 2012-06-08 | 2013-12-19 | Toyota Central R&D Labs Inc | Careless driving detection device and program |
-
2016
- 2016-03-23 JP JP2016058631A patent/JP6631954B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013254409A (en) * | 2012-06-08 | 2013-12-19 | Toyota Central R&D Labs Inc | Careless driving detection device and program |
Non-Patent Citations (1)
Title |
---|
土門憲司,外3名: "相対チェックポイントを用いた運転者支援の検討", 電子情報通信学会技術研究報告 VOL.114 NO.242, vol. 第114巻, JPN6019016190, 3 October 2014 (2014-10-03), JP, pages 1 - 6, ISSN: 0004031130 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020144727A1 (en) * | 2019-01-07 | 2020-07-16 | 三菱電機株式会社 | Motion identification device, motion identification method, and motion identification program |
JP6777819B1 (en) * | 2019-01-07 | 2020-10-28 | 三菱電機株式会社 | Operation identification device, operation identification method and operation identification program |
WO2021095153A1 (en) * | 2019-11-13 | 2021-05-20 | 株式会社日立物流 | Driver anomaly response system, driver anomaly response method, and program |
JPWO2021095153A1 (en) * | 2019-11-13 | 2021-05-20 |
Also Published As
Publication number | Publication date |
---|---|
JP6631954B2 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6507015B2 (en) | Driver status determination device | |
US9783202B2 (en) | Vehicle occupant information acquisition device and vehicle control system | |
CN107665330B (en) | System, method and computer readable medium for detecting head pose in vehicle | |
US10407077B2 (en) | Method for ascertaining a degree of awareness of a vehicle operator | |
US11393123B2 (en) | Information processing device, control method therefor, non-transitory computer-readable storage medium, and driving control system | |
US9177202B2 (en) | Red-eye detection device | |
US9202106B2 (en) | Eyelid detection device | |
US20110152709A1 (en) | Mobile body control device and mobile body control method | |
US9298995B2 (en) | Red-eye determination device | |
JP6323510B2 (en) | Driver condition detection apparatus and method | |
WO2012172865A1 (en) | Occupant sensing device | |
JP2018032338A (en) | Driver's physical condition detecting device and method | |
JP6631954B2 (en) | Driver status judgment device | |
Zhao et al. | In vehicle diver postural monitoring using a depth camera kinect | |
JP6365423B2 (en) | Driver state determination method and determination device therefor | |
JP2006143159A (en) | Vehicular motion recognition device | |
WO2019155914A1 (en) | Data processing device, monitoring system, alertness system, data processing method, data processing program, and storage medium | |
JP2021037216A (en) | Eye closing determination device | |
JP2011159214A (en) | Action detection device | |
JP6419134B2 (en) | Vehicle emotion display device, vehicle emotion display method, and vehicle emotion display program | |
KR101976498B1 (en) | System and method for gesture recognition of vehicle | |
JP7099036B2 (en) | Data processing equipment, monitoring system, awakening system, data processing method, and data processing program | |
WO2013114871A1 (en) | Driving assistance device and driving assistance method | |
US10945651B2 (en) | Arousal level determination device | |
JP2018070086A (en) | Driving support device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20160420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6631954 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |