JP2017174093A - Driver state determination device - Google Patents

Driver state determination device Download PDF

Info

Publication number
JP2017174093A
JP2017174093A JP2016058631A JP2016058631A JP2017174093A JP 2017174093 A JP2017174093 A JP 2017174093A JP 2016058631 A JP2016058631 A JP 2016058631A JP 2016058631 A JP2016058631 A JP 2016058631A JP 2017174093 A JP2017174093 A JP 2017174093A
Authority
JP
Japan
Prior art keywords
deviation amount
driver
unit
driving posture
integrated value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016058631A
Other languages
Japanese (ja)
Other versions
JP6631954B2 (en
Inventor
英治 長野
Eiji Nagano
英治 長野
安井 博文
Hirobumi Yasui
博文 安井
光弘 小峰
Mitsuhiro Komine
光弘 小峰
英嗣 入江
Hidetsugu Irie
英嗣 入江
修一 坂井
Shuichi Sakai
修一 坂井
高寛 山田
Takahiro Yamada
高寛 山田
憲司 土門
Kenji Domon
憲司 土門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hino Motors Ltd
University of Tokyo NUC
Original Assignee
Hino Motors Ltd
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hino Motors Ltd, University of Tokyo NUC filed Critical Hino Motors Ltd
Priority to JP2016058631A priority Critical patent/JP6631954B2/en
Publication of JP2017174093A publication Critical patent/JP2017174093A/en
Application granted granted Critical
Publication of JP6631954B2 publication Critical patent/JP6631954B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide a driver state determination device capable of accurately determining whether or not the driver state is abnormal.SOLUTION: A driver state determination device 100 includes: a recognition part 21 for recognizing a driving posture of a driver 1; a storage part 22 for storing a normal driving posture of the driver 1; a deviation amount calculation part 23a for calculating an amount of deviation between the normal driving posture and the driving posture recognized by the recognition part 21 for each of a plurality of normal driving postures stored in the storage part 22 ; a lowest deviation amount selection part 23b for selecting the amount of deviation of the lowest value from among the calculated amount of deviation as the lowest deviation amount; an accumulated value calculation part 23c for accumulating the selected lowest deviation amount and calculating a deviation amount accumulated value; and a determination part 23 for determining a state of the driver 1 as being abnormal when the deviation amount accumulated value exceeds a predetermined threshold value.SELECTED DRAWING: Figure 1

Description

本発明の一側面は、運転者状態判定装置に関する。   One aspect of the present invention relates to a driver state determination device.

従来の運転者状態判定装置に関する技術として、例えば特許文献1に記載された技術が知られている。特許文献1に記載された技術では、運転席前方に設けられたカメラにより運転者の顔位置をカメラで撮像し、その撮像画像から運転者の顔が存在しない又は目をつむっている等の状況が所定期間継続して検出された場合、運転者の状態が異常と判定する。   As a technique related to a conventional driver state determination device, for example, a technique described in Patent Document 1 is known. In the technique described in Patent Literature 1, the driver's face position is captured by the camera using a camera provided in front of the driver's seat, and the driver's face does not exist or the eyes are closed from the captured image. Is continuously detected for a predetermined period, it is determined that the driver's condition is abnormal.

特開2007−331652号公報JP 2007-331652 A

近年、車両に乗車中の運転者の状態を見極め、運転者の状態が異常の場合には、例えば車両の走行を自動制御することによって障害物との接触時の被害を軽減するシステムの導入が望まれている。このようなシステムを実現するために、上述したような運転者状態判定装置においては、運転者の状態が異常か否かを精度よく判定することが重要とされる。   In recent years, a system has been introduced that reduces the damage caused by contact with obstacles by, for example, automatically controlling the driving of the vehicle when the state of the driver in the vehicle is determined and the driver's state is abnormal. It is desired. In order to realize such a system, in the driver state determination device as described above, it is important to accurately determine whether or not the driver's state is abnormal.

本発明の一側面は、上記実情に鑑みてなされたものであり、運転者の状態が異常か否かを精度よく判定することが可能な運転者状態判定装置を提供することを課題とする。   An aspect of the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.

本発明の一側面に係る運転者状態判定装置は、少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、正常な運転状態における当該運転者の運転姿勢である複数の正常運転姿勢を記憶する記憶部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部で認識した運転姿勢とのズレ量を算出するズレ量算出部と、記憶部に記憶された複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する最小ズレ量選択部と、最小ズレ量選択部で選択された最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、積算値算出部で算出されたズレ量積算値が、予め定められた閾値を超えた場合に運転者の状態が異常と判定する判定部と、を備える。   A driver state determination device according to an aspect of the present invention recognizes a driving posture including a relative positional relationship among a plurality of skeleton parts in a driver of a vehicle based on a detection result by a detection unit including at least a distance sensor. A recognition unit, a storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state, and the normal driving postures for each of the plurality of normal driving postures stored in the storage unit And a deviation amount calculation unit for calculating a deviation amount between the recognition posture and the driving posture recognized by the recognition unit, and a deviation value with the smallest value among the deviation amounts calculated for each of the plurality of normal driving postures stored in the storage unit. Calculated by the minimum deviation amount selection unit that selects the amount as the minimum deviation amount, the integrated value calculation unit that calculates the deviation amount integrated value by integrating the minimum deviation amount selected by the minimum deviation amount selection unit, and the integrated value calculation unit Amount of misalignment Calculated value, and a determination unit the state of the driver to be abnormal when exceeding a predetermined threshold.

この運転者状態判定装置において、ズレ量算出部は、複数の正常運転姿勢のそれぞれに対して、認識部で認識された運転姿勢とのズレ量を算出する。最小ズレ量選択部は、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者の運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部は、記憶部に記憶された複数の正常運転姿勢の中から運転者の運転姿勢に最も近い正常運転姿勢と、運転者の運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部は、運転者の運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。判定部は、ズレ量積算値が予め定められた閾値を超えた場合に、運転者の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者の姿勢が一瞬だけ異常な姿勢となった場合や、検出部のノイズなどによって一瞬だけ運転者の異常な運転姿勢が認識部で認識された場合であっても、運転者状態判定装置は、運転者の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置によれば、運転者の状態が異常か否かを精度よく判定することが可能となる。   In this driver state determination device, the deviation amount calculation unit calculates a deviation amount from the driving posture recognized by the recognition unit for each of the plurality of normal driving postures. The minimum deviation amount selection unit selects a deviation amount having the smallest value among the deviation amounts calculated for each of the plurality of normal driving postures as the minimum deviation amount. Here, the normal driving posture having the smallest deviation amount among the plurality of normal driving postures stored in the storage unit is a posture closest to the driving posture of the driver. That is, the minimum deviation amount selection unit sets the deviation amount between the normal driving posture closest to the driving posture of the driver and the driving posture of the driver among the plurality of normal driving postures stored in the storage unit as the minimum deviation amount. select. The integrated value calculation unit integrates the deviation amount (minimum deviation amount) from the normal driving posture closest to the driver's driving posture to calculate a deviation amount integrated value. The determination unit determines that the driver's condition is abnormal when the deviation amount integrated value exceeds a predetermined threshold. By making a determination by integrating the minimum deviation amount in this way, for example, when the driver's posture becomes abnormal for a moment due to the vehicle overcoming a step, etc., or for a moment due to noise of the detection unit, etc. Even when the driver's abnormal driving posture is recognized by the recognition unit, the driver state determination device can suppress erroneous determination of the driver's state as abnormal. Therefore, according to the driver state determination device, it is possible to accurately determine whether or not the driver's state is abnormal.

積算値算出部は、最小ズレ量選択部で選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算してもよい。この場合、運転者状態判定装置は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。   The integrated value calculation unit may integrate the minimum deviation amount selected by the minimum deviation amount selection unit and subtract a predetermined amount from the deviation amount integrated value every time a predetermined time elapses. In this case, the driver state determination device can automatically subtract the deviation amount integrated value that increases by integrating the deviation amount as time elapses.

運転者状態判定装置は、判定部による判定時以外のときに、認識部で認識した当該運転者の運転姿勢を正常運転姿勢として記憶部に記憶する学習部を備えていてもよい。この構成によれば、判定部による判定時以外のときの運転者の運転姿勢を正常運転姿勢として記憶部に学習させることが可能となる。   The driver state determination device may include a learning unit that stores the driving posture of the driver recognized by the recognition unit in the storage unit as a normal driving posture at times other than the determination by the determination unit. According to this configuration, it is possible to cause the storage unit to learn the driving posture of the driver at a time other than the determination time by the determination unit as the normal driving posture.

本発明の一側面によれば、運転者の状態が異常か否かを精度よく判定することができる運転者状態判定装置を提供することが可能となる。   According to one aspect of the present invention, it is possible to provide a driver state determination device that can accurately determine whether or not a driver's state is abnormal.

実施形態に係る運転者状態判定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the driver | operator state determination apparatus which concerns on embodiment. 複数の骨格部位を説明する図である。It is a figure explaining a some frame part. 認識部により認識した運転姿勢の一例を示す図である。It is a figure which shows an example of the driving posture recognized by the recognition part. 運転者状態判定ECUにおいて実行される判定モードの処理を説明するフローチャートである。It is a flowchart explaining the process of the determination mode performed in driver | operator state determination ECU. 運転者状態判定ECUにおいて実行される学習モードの処理を説明するフローチャートである。It is a flowchart explaining the process of the learning mode performed in driver | operator state determination ECU.

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下の説明において同一又は相当要素には同一符号を付し、重複する説明を省略する。   DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the same or equivalent elements will be denoted by the same reference numerals, and redundant description will be omitted.

図1は、実施形態に係る運転者状態判定装置100の構成を示すブロック図である。図2は、運転者1の複数の骨格部位2を説明する図である。図1に示すように、運転者状態判定装置100は、自動車等の車両に乗車中の運転者1の状態が異常か否かを判定する装置である。車両としては、特に限定されるものではなく、例えば、トラックやバス等の商用車、普通乗用車、大型車両、中型車両、小型車両又は軽車両等の何れであってもよい。   FIG. 1 is a block diagram illustrating a configuration of a driver state determination device 100 according to the embodiment. FIG. 2 is a diagram illustrating a plurality of skeleton parts 2 of the driver 1. As shown in FIG. 1, the driver state determination device 100 is a device that determines whether or not the state of the driver 1 riding in a vehicle such as an automobile is abnormal. The vehicle is not particularly limited, and may be, for example, a commercial vehicle such as a truck or a bus, a normal passenger vehicle, a large vehicle, a medium vehicle, a small vehicle, or a light vehicle.

運転者状態判定装置100は、深度センサ(検出部)10、運転者状態判定ECU20及び出力部30を備えている。深度センサ10は、深度情報を取得する距離センサである。深度センサ10は、対象物までの深度情報(距離画像)を取得するセンサである赤外線センサによって構成されている。深度センサ10は、車両の助手席側の窓とフロントガラスとの間に配置されている。深度センサ10は、運転者1の上方から運転者1側に向かう方向に撮影可能とされている。なお、深度センサ10は、赤外線センサ以外の他の距離センサによって構成されていてもよい。また、深度センサ10は、深度情報を取得する距離センサに加え、対象物のカラー画像を取得するRGBセンサを更に含んで構成されていてもよい。   The driver state determination device 100 includes a depth sensor (detection unit) 10, a driver state determination ECU 20, and an output unit 30. The depth sensor 10 is a distance sensor that acquires depth information. The depth sensor 10 is configured by an infrared sensor that is a sensor that acquires depth information (distance image) up to an object. The depth sensor 10 is disposed between the window on the passenger seat side of the vehicle and the windshield. The depth sensor 10 can be photographed in a direction from above the driver 1 toward the driver 1 side. The depth sensor 10 may be configured by a distance sensor other than the infrared sensor. The depth sensor 10 may further include an RGB sensor that acquires a color image of the object in addition to the distance sensor that acquires depth information.

図1及び図2に示すように、深度センサ10は、運転者1の上半身の深度情報を取得し、取得した深度情報から運転者1における複数の骨格部位2の三次元座標(X軸座標、Y軸座標及びZ軸座標)を取得する。深度センサ10は、当該三次元座標に関する情報を、センサ情報として運転者状態判定ECU20へ出力する。深度センサ10としては、例えば、深度の取得可能範囲が0.5〜8.0[m]、運転者1の検出可能範囲が0.5〜4.5[m]、及び、骨格部位2の検出可能数が20又は25[箇所/人]のものが用いられる。なお、複数の骨格部位2の三次元座標を取得する手法としては、特に限定されず、公知の手法を採用することができる。   As shown in FIGS. 1 and 2, the depth sensor 10 acquires depth information of the upper body of the driver 1, and from the acquired depth information, the three-dimensional coordinates (X-axis coordinates, Y-axis coordinates and Z-axis coordinates) are acquired. The depth sensor 10 outputs information regarding the three-dimensional coordinates to the driver state determination ECU 20 as sensor information. As the depth sensor 10, for example, the depth obtainable range is 0.5 to 8.0 [m], the driver 1 detectable range is 0.5 to 4.5 [m], and the skeleton part 2 is Those having a detectable number of 20 or 25 [location / person] are used. In addition, it does not specifically limit as a method of acquiring the three-dimensional coordinate of the some frame | skeleton part 2, A well-known method is employable.

骨格部位2は、1又は複数の骨及び軟骨によって構成される構造部位である。骨格部位2は、骨格上において1又は複数のまとまりのある機能及び/又は構造を有する部位である。骨格部位2は、骨格ポイントとも称する。本実施形態の骨格部位2としては、運転者1の上半身の骨格の部位であって、例えば「頭」、「左肩」、「左肘」、「左腕」、「左手」、「右肩」、「右肘」、「右腕」、「右手」、「脊髄」、「背骨中央」、及び「腰」等が挙げられる。上半身とは、身体における頭から腰までの部分である。   The skeletal part 2 is a structural part composed of one or more bones and cartilage. The skeleton part 2 is a part having one or a plurality of functions and / or structures that are united on the skeleton. The skeleton part 2 is also called a skeleton point. As the skeleton part 2 of the present embodiment, the skeleton part of the upper body of the driver 1, for example, “head”, “left shoulder”, “left elbow”, “left arm”, “left hand”, “right shoulder”, Examples include “right elbow”, “right arm”, “right hand”, “spinal cord”, “center of spine”, and “waist”. The upper body is the part of the body from the head to the waist.

運転者状態判定ECU20は、CPU[Central Processing Unit]、ROM[Read OnlyMemory]、RAM[Random Access Memory]等を有する電子制御ユニットである。運転者状態判定ECU20では、ROMに記憶されているプログラムをRAMにロードし、CPUで実行することで、各種の制御を実行する。運転者状態判定ECU20は、複数の電子制御ユニットから構成されていてもよい。運転者状態判定ECU20は、認識部21、記憶部22、判定処理部23及び学習部24を有する。   The driver state determination ECU 20 is an electronic control unit having a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like. The driver state determination ECU 20 executes various controls by loading a program stored in the ROM into the RAM and executing it by the CPU. The driver state determination ECU 20 may be composed of a plurality of electronic control units. The driver state determination ECU 20 includes a recognition unit 21, a storage unit 22, a determination processing unit 23, and a learning unit 24.

認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の複数の骨格部位2における相対的な三次元の位置関係を含む運転姿勢を認識する。具体的には、まず、複数の骨格部位2のうちの二つの組合せからなる項目毎に、一方の骨格部位2の座標に対する他方の骨格部位2の三次元座標の大小関係を演算する。例えば当該大小関係は、X軸、Y軸及びZ軸それぞれにおいて、一方の骨格部位2の座標に対して他方の骨格部位2の座標が大きいか、小さいか、又は等しいかでビットパターン化されて表現される。そして、当該大小関係を相対位置情報(相対チェックポイントとも称する)とする。このような相対位置情報を複数の項目毎に有する一群の情報を、運転姿勢(姿勢モデルとも称する)として認識する。   The recognition unit 21 recognizes a driving posture including a relative three-dimensional positional relationship in the plurality of skeleton parts 2 of the driver 1 based on the sensor information of the depth sensor 10. Specifically, first, for each item composed of two combinations of the plurality of skeleton parts 2, the magnitude relationship of the three-dimensional coordinates of the other skeleton part 2 with respect to the coordinates of one skeleton part 2 is calculated. For example, the magnitude relationship is bit-patterned depending on whether the coordinate of one skeleton part 2 is larger, smaller, or equal to the coordinate of one skeleton part 2 in each of the X, Y, and Z axes. Expressed. The magnitude relationship is set as relative position information (also referred to as a relative checkpoint). A group of information having such relative position information for each of a plurality of items is recognized as a driving posture (also referred to as a posture model).

図3は、認識部21により認識した運転姿勢の一例を示す図である。図3に示す例では、運転姿勢は、例えば骨格部位2の数が12箇所であるところ、66通りの骨格部位2の組合せ(項目)を有する。各項目それぞれは、XYZ座標系において、一方の骨格部位2に対する他方の骨格部位2の三次元座標の大小関係に関する相対位置情報を有する。図示するように、例えば項目が「頭−左肩」では、頭のX軸座標が左肩のX軸座標よりも小さく「<」とされ、頭のY軸座標が左肩のY軸座標と等しく「=」とされ、頭のZ軸座標は左肩のZ軸座標よりも大きく「>」とされている。つまり、複数の骨格部位2の組合せについての、座標の相対的大小関係を三軸で比較してなるベクタとして、一つの運転姿勢が記述されている。   FIG. 3 is a diagram illustrating an example of a driving posture recognized by the recognition unit 21. In the example illustrated in FIG. 3, the driving posture has 66 combinations (items) of the skeleton parts 2, for example, where the number of the skeleton parts 2 is twelve. Each item has relative position information regarding the magnitude relationship of the three-dimensional coordinates of the other skeleton part 2 with respect to one skeleton part 2 in the XYZ coordinate system. As shown in the drawing, for example, when the item is “head-left shoulder”, the X-axis coordinate of the head is smaller than the X-axis coordinate of the left shoulder, and the Y-axis coordinate of the head is equal to the Y-axis coordinate of the left shoulder “=”. The Z-axis coordinate of the head is larger than the Z-axis coordinate of the left shoulder and is “>”. In other words, one driving posture is described as a vector formed by comparing the relative magnitude relations of coordinates for a combination of a plurality of skeleton parts 2 with three axes.

図1に示すように、記憶部22は、複数の正常運転姿勢を記憶して蓄積する。正常運転姿勢は、正常な運転状態における運転者1の運転姿勢である。記憶部22は、後述するように、学習部24で平常運転時(通常運転時)に認識された運転姿勢を、正常運転姿勢として記憶する。記憶部22に記憶した複数の正常運転姿勢は、「辞書」、すなわち、多数の正常運転姿勢を集録する集合体を構築する。記憶部22に記憶した複数の正常運転姿勢は、教師データとして用いられる。複数の正常運転姿勢は、相対位置情報のリストの形で構成されている。以下、記憶部22に記憶した複数の正常運転姿勢を、単に「辞書」とも称する。   As shown in FIG. 1, the storage unit 22 stores and accumulates a plurality of normal driving postures. The normal driving posture is a driving posture of the driver 1 in a normal driving state. As will be described later, the storage unit 22 stores the driving posture recognized by the learning unit 24 during normal driving (during normal driving) as a normal driving posture. The plurality of normal driving postures stored in the storage unit 22 construct a “dictionary”, that is, an aggregate that collects a number of normal driving postures. The plurality of normal driving postures stored in the storage unit 22 are used as teacher data. The plurality of normal driving postures are configured in the form of a list of relative position information. Hereinafter, the plurality of normal driving postures stored in the storage unit 22 are also simply referred to as “dictionaries”.

判定処理部23は、記憶部22に記憶した複数の正常運転姿勢と、認識部21で認識した現在の運転姿勢(以下、「現在運転姿勢」という)とに基づいて、次に示す判定モードを実行し、運転者1の状態が異常か否かを判定する。   Based on the plurality of normal driving postures stored in the storage unit 22 and the current driving posture recognized by the recognition unit 21 (hereinafter referred to as “current driving posture”), the determination processing unit 23 performs the following determination modes. And determine whether or not the state of the driver 1 is abnormal.

具体的には、判定処理部23は、ズレ量算出部23a、最小ズレ量選択部23b、積算値算出部23c、及び判定部23dを備えている。ズレ量算出部23aは、記憶部22に記憶した複数の正常運転姿勢のそれぞれに対して、当該正常運転姿勢と認識部21で認識した現在運転姿勢とのズレ量を算出する。ここで、ズレ量とは、正常運転姿勢に対して現在運転姿勢がどの程度ズレているか(かい離しているか)を表している。ズレ量の値が大きいほど、正常運転姿勢に対して現在運転姿勢がズレている。ズレ量がゼロの場合とは、比較の対象とした正常運転姿勢と認識部21で認識された現在運転姿勢とが一致している場合である。なお、ズレ量が非常に小さい場合(所定値以下の場合)、ズレ量算出部23aは、ズレ量をゼロとして算出してもよい。   Specifically, the determination processing unit 23 includes a deviation amount calculation unit 23a, a minimum deviation amount selection unit 23b, an integrated value calculation unit 23c, and a determination unit 23d. The deviation amount calculation unit 23 a calculates, for each of a plurality of normal driving postures stored in the storage unit 22, a deviation amount between the normal driving posture and the current driving posture recognized by the recognition unit 21. Here, the amount of deviation represents how much the current driving posture is deviated (separated) from the normal driving posture. The larger the deviation amount is, the more the current driving posture is shifted from the normal driving posture. The case where the amount of deviation is zero is a case where the normal driving posture as a comparison target matches the current driving posture recognized by the recognition unit 21. When the amount of deviation is very small (when it is equal to or less than a predetermined value), the amount of deviation calculation unit 23a may calculate the amount of deviation as zero.

より具体的には、ズレ量算出部23aは、一の正常運転姿勢について、その複数の項目の各相対位置情報と現在運転姿勢が有する複数の項目の各相対位置情報とを照合し、相対位置情報が相違する項目の数を算出する。このとき、相対位置情報に含まれる、X軸座標の大小関係とY軸座標の大小関係とZ軸座標の大小関係との全てが同じとき、ズレ量算出部23aは、相対位置情報が一致したとする。   More specifically, the deviation amount calculation unit 23a compares the relative position information of the plurality of items with the relative position information of the plurality of items of the current driving posture for one normal driving posture, and compares the relative position information. Calculate the number of items with different information. At this time, when the magnitude relation of the X-axis coordinates, the magnitude relation of the Y-axis coordinates, and the magnitude relation of the Z-axis coordinates included in the relative position information are all the same, the deviation amount calculation unit 23a matches the relative position information. And

次に、ズレ量算出部23aは、相対位置情報が相違する項目の数に基づいて、ズレ量を算出する。例えば、ズレ量算出部23aは、相対位置情報が相違する項目の数を、ズレ量として用いてもよい。あるいは、ズレ量算出部23aは、相対位置情報が相違する項目の数をズレ量として用いる際に、項目ごとに重み付けを行って、ズレ量を算出してもよい。   Next, the deviation amount calculation unit 23a calculates the deviation amount based on the number of items having different relative position information. For example, the deviation amount calculation unit 23a may use the number of items having different relative position information as the deviation amount. Alternatively, the shift amount calculation unit 23a may calculate the shift amount by weighting each item when using the number of items having different relative position information as the shift amount.

続いて、ズレ量算出部23aは、このようなズレ量の算出を、記憶部22が記憶する複数の正常運転姿勢の全てに対して実施する。このように、ズレ量算出部23aは、認識部21によって現在運転姿勢が認識される毎に、記憶部22が記憶する複数の正常運転姿勢の全てに対して、正常運転姿勢と現在運転姿勢とのズレ量を算出する。   Subsequently, the deviation amount calculation unit 23a performs such a deviation amount calculation on all of the plurality of normal driving postures stored in the storage unit 22. Thus, every time the current driving posture is recognized by the recognizing unit 21, the deviation amount calculating unit 23 a calculates the normal driving posture and the current driving posture with respect to all of the plurality of normal driving postures stored in the storage unit 22. The amount of deviation is calculated.

最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対してズレ量算出部23aで算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。この最小ズレ量の選択は、記憶部22に記憶された複数の正常運転姿勢の全てに対してズレ量が算出される毎に行われる。   The minimum deviation amount selection unit 23b sets the smallest deviation amount as the minimum deviation amount among the deviation amounts calculated by the deviation amount calculation unit 23a for each of the plurality of normal driving postures stored in the storage unit 22. select. The selection of the minimum deviation amount is performed every time the deviation amount is calculated for all of the plurality of normal driving postures stored in the storage unit 22.

積算値算出部23cは、判定処理部23において最小ズレ量が選択される毎に、最小ズレ量を積算してズレ量積算値を算出する。すなわち、積算値算出部23cは、過去に選択された最小ズレ量の積算値(ズレ量積算値)に対して、今回選択された最小ズレ量を加算する。   The integrated value calculation unit 23c calculates a deviation amount integrated value by integrating the minimum deviation amount every time the determination unit 23 selects the minimum deviation amount. That is, the integrated value calculation unit 23c adds the minimum deviation amount selected this time to the integrated value of the minimum deviation amounts selected in the past (deviation amount integrated value).

また、積算値算出部23cは、ズレ量積算値を所定時間が経過する毎に所定量減算する。積算値算出部23cは、ズレ量積算値を積算する毎に、ズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングが一定タイミングである場合、積算値算出部23cは、最小ズレ量を積算する毎にズレ量積算値を所定量ずつ減算する。また、最小ズレ量が選択されるタイミングが変動する場合、所定時間が経過する毎に所定量ずつ減算されるように最小ズレ量の選択のタイミング(時間間隔)を考慮して、最小ズレ量を積算する毎にズレ量積算値を減算する。なお、最小ズレ量が選択されるタイミングの変動は、例えば、CPUの負荷(計算量)に起因して生じることがある。また、積算値算出部23cは、ズレ量積算値の積算とズレ量積算値の減算とを、互いに異なるタイミング或いは互いに異なる周期で行ってもよい。   Further, the integrated value calculation unit 23c subtracts a predetermined amount from the deviation amount integrated value every time a predetermined time elapses. The integrated value calculation unit 23c subtracts the deviation amount integrated value every time the deviation amount integrated value is integrated. When the timing at which the minimum deviation amount is selected is a fixed timing, the integrated value calculation unit 23c subtracts the deviation amount integrated value by a predetermined amount each time the minimum deviation amount is integrated. In addition, when the timing at which the minimum deviation amount is selected varies, the minimum deviation amount is set in consideration of the selection timing (time interval) of the minimum deviation amount so that the predetermined amount is subtracted every predetermined time. Every time integration is performed, the integrated deviation amount is subtracted. Note that the variation in timing at which the minimum deviation amount is selected may occur due to, for example, the load (calculation amount) of the CPU. Further, the integrated value calculation unit 23c may perform the integration of the deviation amount integrated value and the subtraction of the deviation amount integrated value at different timings or at different periods.

判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値を超えた場合に運転者1の状態が異常と判定する。また、判定部23dは、積算値算出部23cで算出されたズレ量積算値が予め定められた閾値以下の場合には、運転者1の状態が正常と判定する。この閾値は、運転者1の状態が異常か否かを適切に判定するために、予め定められて記憶された値である。閾値は、実験、過去の実績及び経験、並びにシミュレーション等に基づいて定めることができる。閾値は、固定の値であってもよいし、変動する値であってもよい。   The determination unit 23d determines that the state of the driver 1 is abnormal when the deviation amount integrated value calculated by the integrated value calculation unit 23c exceeds a predetermined threshold. The determination unit 23d determines that the state of the driver 1 is normal when the deviation amount integrated value calculated by the integrated value calculation unit 23c is equal to or less than a predetermined threshold. This threshold value is a predetermined value stored in order to appropriately determine whether or not the state of the driver 1 is abnormal. The threshold value can be determined based on experiments, past results and experiences, simulations, and the like. The threshold value may be a fixed value or a variable value.

学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した現在運転姿勢を正常運転姿勢として学習する学習モード(辞書登録モード又は辞書強化モードとも称する)を実行する。具体的には、学習部24は、例えばモード判定実行時以外の平常運転時に、認識部21で認識した運転者1の現在運転姿勢を正常運転姿勢として記憶部22に記憶して蓄積する。なお、学習部24は、認識部21で認識した平常運転時における運転者1の現在運転姿勢と、記憶部22に記憶された正常運転姿勢とのズレ量が非常に小さい場合(所定値以下の場合)、学習部24は、認識された現在運転姿勢を記憶部22に蓄積させる処理を行わなくてもよい。これにより、記憶部22に記憶される辞書の増加を抑制することができる。   The learning unit 24 executes a learning mode (also referred to as a dictionary registration mode or a dictionary strengthening mode) in which the current driving posture recognized by the recognition unit 21 is learned as a normal driving posture at a time other than the determination by the determination processing unit 23. Specifically, the learning unit 24 stores and accumulates the current driving posture of the driver 1 recognized by the recognition unit 21 in the storage unit 22 as a normal driving posture during normal driving other than when mode determination is performed, for example. Note that the learning unit 24 has a small amount of deviation between the current driving posture of the driver 1 during normal driving recognized by the recognition unit 21 and the normal driving posture stored in the storage unit 22 (less than a predetermined value). ), The learning unit 24 may not perform the process of accumulating the recognized current driving posture in the storage unit 22. Thereby, increase of the dictionary memorize | stored in the memory | storage part 22 can be suppressed.

出力部30は、判定処理部23による判定結果に応じた情報を運転者1へ報知する。出力部30は、例えば、画像情報を表示するためのディスプレイ、及び音声出力のためのスピーカの少なくとも何れかを有している。出力部30は、判定処理部23で運転者1の状態が異常と判定された場合、例えばディスプレイパネル上に警告表示を表示する、及び/又は、警告メッセージ等の警告音声をスピーカから出力する。一方、出力部30は、判定処理部23で運転者1の状態を正常と判定した場合、例えば現在運転姿勢が正常運転姿勢と対応している旨をディスプレイパネル上に表示する、及び/又は、現在運転姿勢が正常運転姿勢と対応している旨の音声をスピーカから出力する。   The output unit 30 notifies the driver 1 of information corresponding to the determination result by the determination processing unit 23. The output unit 30 includes, for example, at least one of a display for displaying image information and a speaker for audio output. When the determination processing unit 23 determines that the state of the driver 1 is abnormal, the output unit 30 displays a warning display on the display panel, for example, and / or outputs a warning sound such as a warning message from the speaker. On the other hand, when the determination processing unit 23 determines that the state of the driver 1 is normal, the output unit 30 displays, for example, on the display panel that the current driving posture corresponds to the normal driving posture, and / or A sound indicating that the current driving posture corresponds to the normal driving posture is output from the speaker.

なお、本実施形態では、運転者状態判定装置100を走行支援装置(不図示)に適用し、判定部23dの判定結果に基づいて車両の走行を自動制御してもよい。例えば、判定部23dにより運転者1の状態が異常と判定された場合、車両制御ECU(不図示)によりステアリングアクチュエータ及びブレーキアクチュエータを制御して、車両を路肩に寄せて停車させてもよい。運転者状態判定装置100は、種々の走行支援装置、運転支援装置及び走行安全装置等に採用可能である。   In the present embodiment, the driver state determination device 100 may be applied to a travel support device (not shown) and the vehicle travel may be automatically controlled based on the determination result of the determination unit 23d. For example, when the determination unit 23d determines that the state of the driver 1 is abnormal, the vehicle control ECU (not shown) may control the steering actuator and the brake actuator so that the vehicle is brought close to the road shoulder and stopped. The driver state determination device 100 can be employed in various travel support devices, drive support devices, travel safety devices, and the like.

本実施形態において、判定処理部23による判定モードの実行と学習部24による学習モードの実行とについては、例えば運転者1によるモード切替部(不図示)の操作に応じて所望に切替え可能としてもよい。本実施形態において、骨格部位2の三次元座標の取得、相対的な位置関係とする表現(運転姿勢)への変換、及び、全ての辞書に対するズレ量の算出は、1秒間当たりの処理フレーム数を数十フレームとしてリアルタイム処理を行っている。   In the present embodiment, execution of the determination mode by the determination processing unit 23 and execution of the learning mode by the learning unit 24 may be switched as desired in accordance with, for example, an operation of a mode switching unit (not shown) by the driver 1. Good. In the present embodiment, the acquisition of the three-dimensional coordinates of the skeleton part 2, the conversion to the expression (driving posture) as a relative positional relationship, and the calculation of the shift amount for all the dictionaries are the number of processing frames per second. Real-time processing is performed with tens of frames.

次に、運転者状態判定装置100の処理について、図4に示すフローチャートを参照しつつ説明する。   Next, the process of the driver state determination device 100 will be described with reference to the flowchart shown in FIG.

図4は、運転者状態判定ECU20において実行される判定モードの処理を説明するフローチャートである。図4に示すように、運転者状態判定ECU20では、判定モードに係る以下の処理を所定周期で繰り返し実行する。   FIG. 4 is a flowchart illustrating processing in a determination mode that is executed by the driver state determination ECU 20. As shown in FIG. 4, the driver state determination ECU 20 repeatedly executes the following processing relating to the determination mode at a predetermined cycle.

まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S1)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S2)。ズレ量算出部23aは、複数の正常運転姿勢のそれぞれに対して現在運転姿勢とのズレ量を算出する(S3)。そして、最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する(S4)。最小ズレ量が選択されると、積算値算出部23cは、選択された最小ズレ量を積算してズレ量積算値を算出するとともに、時間の経過に応じてズレ量積算値の減算を行う(S5)。   First, the driver state determination ECU 20 acquires sensor information from the depth sensor 10 (S1). The recognition unit 21 recognizes the current driving posture of the driver 1 based on the sensor information of the depth sensor 10 (S2). The deviation amount calculation unit 23a calculates the deviation amount from the current driving posture for each of the plurality of normal driving postures (S3). And the minimum deviation | shift amount selection part 23b selects the deviation | shift amount with the smallest value among the deviation | shift amounts calculated with respect to each of several normal driving | running | working attitude | positions as a minimum deviation amount (S4). When the minimum deviation amount is selected, the integrated value calculation unit 23c integrates the selected minimum deviation amount to calculate the deviation amount integrated value, and subtracts the deviation amount integrated value as time passes ( S5).

続いて、判定部23dは、算出されたズレ量積算値が、予め定められた閾値を超えたか否かを判定する(S6)。ズレ量積算値が閾値を超えている場合(S6:YES)、判定部23dは、運転者1の状態が異常と判定する。その後、運転者状態判定ECU20は、出力部30から警告音声及び/又は警告表示を出力させると共に、次周期の処理に移行する。これに代えてもしくは加えて、車両制御ECUにより車両の走行を自動制御し、例えば車両を路肩に寄せて停車させる。   Subsequently, the determination unit 23d determines whether or not the calculated deviation amount integrated value exceeds a predetermined threshold (S6). When the deviation amount integrated value exceeds the threshold (S6: YES), the determination unit 23d determines that the state of the driver 1 is abnormal. Thereafter, the driver state determination ECU 20 causes the output unit 30 to output a warning sound and / or a warning display, and shifts to a process in the next cycle. Instead of or in addition to this, the vehicle control ECU automatically controls the travel of the vehicle, for example, brings the vehicle to the road shoulder and stops.

一方、ズレ量積算値が閾値を超えていない場合(S6:NO)、判定部23dは、運転者1の状態が正常と判定する。その後、運転者状態判定ECU20は、出力部30から、現在運転姿勢が正常運転姿勢と対応している旨を出力させると共に、次周期の処理に移行する。   On the other hand, when the deviation amount integrated value does not exceed the threshold (S6: NO), the determination unit 23d determines that the state of the driver 1 is normal. Thereafter, the driver state determination ECU 20 outputs from the output unit 30 that the current driving posture corresponds to the normal driving posture, and shifts to the processing of the next cycle.

図5は、運転者状態判定ECU20において実行される学習モードの処理を説明するフローチャートである。図5に示すように、運転者状態判定ECU20では、例えばモード判定実行時以外の平常運転時において、判定モードに係る以下の処理を所定周期で繰り返し実行する。   FIG. 5 is a flowchart illustrating the learning mode process executed by the driver state determination ECU 20. As shown in FIG. 5, the driver state determination ECU 20 repeatedly executes the following processing relating to the determination mode at a predetermined period, for example, during normal driving other than during mode determination execution.

まず、運転者状態判定ECU20は、深度センサ10からセンサ情報を取得する(S11)。認識部21は、深度センサ10のセンサ情報に基づいて、運転者1の現在運転姿勢を認識する(S12)。学習部24は、現在運転姿勢を正常運転姿勢として記憶部22に記憶する(S13)。その後、運転者状態判定ECU20は、次周期の処理に移行する。   First, the driver state determination ECU 20 acquires sensor information from the depth sensor 10 (S11). The recognition unit 21 recognizes the current driving posture of the driver 1 based on the sensor information of the depth sensor 10 (S12). The learning unit 24 stores the current driving posture in the storage unit 22 as a normal driving posture (S13). Thereafter, the driver state determination ECU 20 proceeds to the process of the next cycle.

以上、運転者状態判定装置100において、ズレ量算出部23aは、記憶部22に記憶された複数の正常運転姿勢のそれぞれに対して、認識部21で認識された現在運転姿勢とのズレ量を算出する。最小ズレ量選択部23bは、複数の正常運転姿勢のそれぞれに対して算出されたズレ量のうち、最も値が小さいズレ量を最小ズレ量として選択する。ここで、記憶部22に記憶された複数の正常運転姿勢のうち最もズレ量の値が小さくなる正常運転姿勢とは、運転者1の現在運転姿勢に最も近い姿勢である。すなわち、最小ズレ量選択部23bは、記憶部22に記憶された複数の正常運転姿勢の中から運転者1の現在運転姿勢に最も近い正常運転姿勢と、現在運転姿勢とのズレ量を最小ズレ量として選択する。積算値算出部23cは、運転者1の現在運転姿勢に最も近い正常運転姿勢からのズレ量(最小ズレ量)を積算して、ズレ量積算値を算出する。   As described above, in the driver state determination device 100, the deviation amount calculation unit 23 a calculates the deviation amount from the current driving posture recognized by the recognition unit 21 for each of the plurality of normal driving postures stored in the storage unit 22. calculate. The minimum deviation amount selection unit 23b selects, as the minimum deviation amount, the smallest deviation amount among the deviation amounts calculated for each of the plurality of normal driving postures. Here, the normal driving posture having the smallest deviation amount among the plurality of normal driving postures stored in the storage unit 22 is a posture closest to the current driving posture of the driver 1. That is, the minimum deviation amount selection unit 23b sets the deviation amount between the normal driving posture closest to the current driving posture of the driver 1 and the current driving posture among the plurality of normal driving postures stored in the storage unit 22. Select as quantity. The integrated value calculation unit 23c integrates the deviation amount (minimum deviation amount) from the normal driving posture closest to the current driving posture of the driver 1 to calculate a deviation amount integrated value.

判定部23dは、ズレ量積算値が予め定められた閾値を超えた場合に、運転者1の状態が異常と判定する。このように最小ズレ量を積算して判定を行うことにより、たとえば、車両が段差を乗り越えた等によって運転者1の姿勢が一瞬だけ異常な姿勢となった場合や、深度センサ10のノイズなどによって一瞬だけ運転者1の異常な運転姿勢が認識部21で認識された場合であっても、運転者状態判定装置100は、運転者1の状態が異常と誤判定してしまうことを抑制できる。したがって、運転者状態判定装置100によれば、運転者1の状態が異常か否かを精度よく判定することが可能となる。   The determination unit 23d determines that the state of the driver 1 is abnormal when the deviation amount integrated value exceeds a predetermined threshold value. Thus, by determining by integrating the minimum deviation amount, for example, when the posture of the driver 1 becomes an abnormal posture for a moment due to the vehicle overcoming a step or the like, due to noise of the depth sensor 10 or the like Even if the abnormal driving posture of the driver 1 is recognized by the recognition unit 21 for a moment, the driver state determination device 100 can suppress erroneous determination of the state of the driver 1 as abnormal. Therefore, according to the driver state determination device 100, it is possible to accurately determine whether or not the state of the driver 1 is abnormal.

また、ズレ量算出部23aは、記憶部22に記憶された正常運転姿勢と認識部21で認識された現在運転姿勢とのズレ量を算出している。すなわち、記憶部22は、運転者1の異常な運転姿勢のパターンを記憶する必要が無く、正常運転姿勢のみを記憶していればよい。このため、記憶部22が記憶する辞書の増加を抑制できる。また、ズレ量算出部23aは、運転者1の異常な運転姿勢のパターンを用いることなく、正常運転姿勢と現在運転姿勢との比較を行ってズレ量を算出する構成であるため、異常な運転姿勢のパターンについても比較の対象とする場合に比べて、ズレ量を算出するための計算量を抑制できる。   Further, the deviation amount calculation unit 23 a calculates a deviation amount between the normal driving posture stored in the storage unit 22 and the current driving posture recognized by the recognition unit 21. That is, it is not necessary for the storage unit 22 to store the abnormal driving posture pattern of the driver 1, and only the normal driving posture needs to be stored. For this reason, increase of the dictionary which the memory | storage part 22 memorize | stores can be suppressed. In addition, the deviation amount calculation unit 23a is configured to calculate the deviation amount by comparing the normal driving posture and the current driving posture without using the abnormal driving posture pattern of the driver 1, and thus the abnormal driving posture is calculated. The amount of calculation for calculating the amount of deviation can be suppressed as compared with the case where the posture pattern is also the object of comparison.

積算値算出部23cは、最小ズレ量選択部23bで選択された最小ズレ量を積算するとともに、所定時間が経過する毎にズレ量積算値を所定量減算する。このため、運転者状態判定装置100は、ズレ量を積算することによって増加するズレ量積算値を、時間の経過に伴って自動で減算することができる。   The integrated value calculation unit 23c integrates the minimum deviation amount selected by the minimum deviation amount selection unit 23b, and subtracts a predetermined amount from the deviation amount integrated value every time a predetermined time elapses. For this reason, the driver state determination apparatus 100 can automatically subtract the deviation amount integrated value that increases by integrating the deviation amount as time elapses.

学習部24は、判定処理部23による判定時以外のときに、認識部21で認識した当該運転者1の運転姿勢を正常運転姿勢として記憶部22に記憶させる。この構成によれば、判定処理部23による判定時以外のときの運転者1の運転姿勢を正常運転姿勢として記憶部22に学習させることが可能となる。   The learning unit 24 causes the storage unit 22 to store the driving posture of the driver 1 recognized by the recognition unit 21 as a normal driving posture when the determination processing unit 23 does not perform the determination. According to this configuration, it is possible to cause the storage unit 22 to learn the driving posture of the driver 1 at a time other than the determination time by the determination processing unit 23 as a normal driving posture.

以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限られるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用してもよい。   The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the above-described embodiments. The present invention can be modified without departing from the scope described in the claims or applied to other embodiments. May be.

例えば上記実施形態では、検出部として深度センサ10を用いたが、距離センサを含むその他のセンサを用いてもよい。要は、検出部の検出結果に基づいて、運転者1の複数の骨格部位2の相対的な位置関係を含む運転姿勢を認識できればよい。   For example, in the above embodiment, the depth sensor 10 is used as the detection unit, but other sensors including a distance sensor may be used. In short, it is only necessary to recognize the driving posture including the relative positional relationship of the plurality of skeleton parts 2 of the driver 1 based on the detection result of the detection unit.

また、ズレ量積算値を所定時間が経過する毎に所定量減算する処理を積算値算出部23cが行うことは必須では無い。また、このズレ量積算値の減算は、所定時間が経過する毎に減算する以外にも、種々の方法によって行うことができる。例えば、運転者1の状態が異常である旨の報知が出力部30によって行われた後、当該報知に対する応答操作(ボタンの押下等)が運転者1によって行われたときに、積算値算出部23cがズレ量積算値を減算してもよい。   In addition, it is not essential for the integrated value calculation unit 23c to perform a process of subtracting a predetermined amount every time a predetermined amount of time has elapsed. Further, the subtraction of the deviation amount integrated value can be performed by various methods other than the subtraction every time a predetermined time elapses. For example, after the notification that the state of the driver 1 is abnormal is performed by the output unit 30, and the response operation (such as pressing a button) for the notification is performed by the driver 1, the integrated value calculation unit 23c may subtract the deviation amount integrated value.

運転者状態判定装置100が学習部24を用いて正常運転姿勢の学習を行うことは必須では無い。   It is not essential for the driver state determination device 100 to learn the normal driving posture using the learning unit 24.

1…運転者、2…骨格部位、10…深度センサ(検出部)、21…認識部、22…記憶部、23a…ズレ量算出部、23b…最小ズレ量選択部、23c…積算値算出部、23d…判定部、24…学習部、100…運転者状態判定装置。   DESCRIPTION OF SYMBOLS 1 ... Driver, 2 ... Skeletal part, 10 ... Depth sensor (detection part), 21 ... Recognition part, 22 ... Memory | storage part, 23a ... Deviation amount calculation part, 23b ... Minimum deviation amount selection part, 23c ... Integrated value calculation part , 23d ... determination unit, 24 ... learning unit, 100 ... driver state determination device.

Claims (3)

少なくとも距離センサを含む検出部による検出結果に基づいて、車両の運転者における複数の骨格部位の相対的な位置関係を含む運転姿勢を認識する認識部と、
正常な運転状態における当該運転者の前記運転姿勢である複数の正常運転姿勢を記憶する記憶部と、
前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して、当該正常運転姿勢と前記認識部で認識した前記運転姿勢とのズレ量を算出するズレ量算出部と、
前記記憶部に記憶された複数の前記正常運転姿勢のそれぞれに対して算出された前記ズレ量のうち、最も値が小さい前記ズレ量を最小ズレ量として選択する最小ズレ量選択部と、
前記最小ズレ量選択部で選択された前記最小ズレ量を積算してズレ量積算値を算出する積算値算出部と、
前記積算値算出部で算出された前記ズレ量積算値が、予め定められた閾値を超えた場合に前記運転者の状態が異常と判定する判定部と、を備える運転者状態判定装置。
A recognition unit for recognizing a driving posture including a relative positional relationship of a plurality of skeleton parts in a driver of the vehicle based on a detection result by at least a detection unit including a distance sensor;
A storage unit that stores a plurality of normal driving postures that are the driving postures of the driver in a normal driving state;
For each of the plurality of normal driving postures stored in the storage unit, a deviation amount calculating unit that calculates a deviation amount between the normal driving posture and the driving posture recognized by the recognition unit;
A minimum shift amount selection unit that selects the shift amount having the smallest value as the minimum shift amount among the shift amounts calculated for each of the plurality of normal driving postures stored in the storage unit;
An integrated value calculation unit that calculates the deviation amount integrated value by integrating the minimum deviation amount selected by the minimum deviation amount selection unit;
A driver state determination apparatus comprising: a determination unit that determines that the driver's state is abnormal when the deviation amount integrated value calculated by the integrated value calculation unit exceeds a predetermined threshold.
前記積算値算出部は、前記最小ズレ量選択部で選択された前記最小ズレ量を積算するとともに、所定時間が経過する毎に前記ズレ量積算値を所定量減算する、請求項1に記載の運転者状態判定装置。   2. The integrated value calculation unit according to claim 1, wherein the integrated value calculation unit integrates the minimum deviation amount selected by the minimum deviation amount selection unit, and subtracts a predetermined amount from the deviation amount integrated value every time a predetermined time elapses. Driver state determination device. 前記判定部による判定時以外のときに、前記認識部で認識した当該運転者の前記運転姿勢を前記正常運転姿勢として前記記憶部に記憶する学習部を備える、請求項1又は2に記載の運転者状態判定装置。   The driving according to claim 1, further comprising: a learning unit that stores the driving posture of the driver recognized by the recognition unit in the storage unit as the normal driving posture at a time other than the determination by the determination unit. Person state determination device.
JP2016058631A 2016-03-23 2016-03-23 Driver status judgment device Active JP6631954B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016058631A JP6631954B2 (en) 2016-03-23 2016-03-23 Driver status judgment device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016058631A JP6631954B2 (en) 2016-03-23 2016-03-23 Driver status judgment device

Publications (2)

Publication Number Publication Date
JP2017174093A true JP2017174093A (en) 2017-09-28
JP6631954B2 JP6631954B2 (en) 2020-01-15

Family

ID=59972077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016058631A Active JP6631954B2 (en) 2016-03-23 2016-03-23 Driver status judgment device

Country Status (1)

Country Link
JP (1) JP6631954B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020144727A1 (en) * 2019-01-07 2020-07-16 三菱電機株式会社 Motion identification device, motion identification method, and motion identification program
WO2021095153A1 (en) * 2019-11-13 2021-05-20 株式会社日立物流 Driver anomaly response system, driver anomaly response method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254409A (en) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc Careless driving detection device and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013254409A (en) * 2012-06-08 2013-12-19 Toyota Central R&D Labs Inc Careless driving detection device and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
土門憲司,外3名: "相対チェックポイントを用いた運転者支援の検討", 電子情報通信学会技術研究報告 VOL.114 NO.242, vol. 第114巻, JPN6019016190, 3 October 2014 (2014-10-03), JP, pages 1 - 6, ISSN: 0004031130 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020144727A1 (en) * 2019-01-07 2020-07-16 三菱電機株式会社 Motion identification device, motion identification method, and motion identification program
JP6777819B1 (en) * 2019-01-07 2020-10-28 三菱電機株式会社 Operation identification device, operation identification method and operation identification program
WO2021095153A1 (en) * 2019-11-13 2021-05-20 株式会社日立物流 Driver anomaly response system, driver anomaly response method, and program
JPWO2021095153A1 (en) * 2019-11-13 2021-05-20

Also Published As

Publication number Publication date
JP6631954B2 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
JP6507015B2 (en) Driver status determination device
US9783202B2 (en) Vehicle occupant information acquisition device and vehicle control system
CN107665330B (en) System, method and computer readable medium for detecting head pose in vehicle
US10407077B2 (en) Method for ascertaining a degree of awareness of a vehicle operator
US11393123B2 (en) Information processing device, control method therefor, non-transitory computer-readable storage medium, and driving control system
US9177202B2 (en) Red-eye detection device
US9202106B2 (en) Eyelid detection device
US20110152709A1 (en) Mobile body control device and mobile body control method
US9298995B2 (en) Red-eye determination device
JP6323510B2 (en) Driver condition detection apparatus and method
WO2012172865A1 (en) Occupant sensing device
JP2018032338A (en) Driver's physical condition detecting device and method
JP6631954B2 (en) Driver status judgment device
Zhao et al. In vehicle diver postural monitoring using a depth camera kinect
JP6365423B2 (en) Driver state determination method and determination device therefor
JP2006143159A (en) Vehicular motion recognition device
WO2019155914A1 (en) Data processing device, monitoring system, alertness system, data processing method, data processing program, and storage medium
JP2021037216A (en) Eye closing determination device
JP2011159214A (en) Action detection device
JP6419134B2 (en) Vehicle emotion display device, vehicle emotion display method, and vehicle emotion display program
KR101976498B1 (en) System and method for gesture recognition of vehicle
JP7099036B2 (en) Data processing equipment, monitoring system, awakening system, data processing method, and data processing program
WO2013114871A1 (en) Driving assistance device and driving assistance method
US10945651B2 (en) Arousal level determination device
JP2018070086A (en) Driving support device

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20160420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6631954

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250