JP2020194228A - Driver state determination device, driver state determination method, and program - Google Patents
Driver state determination device, driver state determination method, and program Download PDFInfo
- Publication number
- JP2020194228A JP2020194228A JP2019097930A JP2019097930A JP2020194228A JP 2020194228 A JP2020194228 A JP 2020194228A JP 2019097930 A JP2019097930 A JP 2019097930A JP 2019097930 A JP2019097930 A JP 2019097930A JP 2020194228 A JP2020194228 A JP 2020194228A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- vehicle
- correction value
- state determination
- traveling direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、運転者状態判定装置、運転者状態判定方法、および、プログラムに関する。 The present invention relates to a driver state determination device, a driver state determination method, and a program.
DMS(Driver Monitoring System)は、車両内に設置されたカメラやその他のセンサによって、運転者の注意力、意識、健康状態等を監視するシステムである。DMSでは、例えば、運転者の脇見を検知するために、運転者の顔向きを捉える必要がある。ところが、車両の運転者の顔向きには個人差がある。また、車両が直線路を走行中であっても、運転者は、車両の真正面を見ているとは限らない。従って、脇見判定の精度を上げるべく、各運転者の正面に対する顔向きを用いて脇見判定を行うためには、DMSは、車両の進行方向と、運転者の顔向きとの関係を学習する必要がある。 The DMS (Driver Monitoring System) is a system that monitors the driver's attention, consciousness, health condition, etc. by using a camera or other sensor installed in the vehicle. In DMS, for example, it is necessary to capture the driver's face orientation in order to detect the driver's inattentiveness. However, there are individual differences in the face orientation of the vehicle driver. Further, even when the vehicle is traveling on a straight road, the driver does not always look directly in front of the vehicle. Therefore, in order to improve the accuracy of the inattentive judgment, the DMS needs to learn the relationship between the traveling direction of the vehicle and the face orientation of the driver in order to perform the inattentive judgment using the face orientation with respect to the front of each driver. There is.
直線走行を前提とした学習方法においては、発進から自動運転開始までの間(例えば、パーキングエリア発車から本線合流までの間等)に直線路があまりない場合に、十分な学習機会が得られないという問題がある。そのように、学習が不十分な状態では、自動運転等のシステムによる走行を制限する必要がある。 In the learning method assuming straight driving, if there are not many straight roads between the start and the start of automatic driving (for example, between the departure from the parking area and the confluence of the main line), sufficient learning opportunities cannot be obtained. There is a problem. As such, in a state where learning is insufficient, it is necessary to limit driving by a system such as automatic driving.
なお、特許文献1には、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバモニタカメラが脇見と誤判定して警報することを防止するドライバ状態監視装置が開示されている。ただし、特許文献1の技術は、上記の問題を解決するものではない。 Note that Patent Document 1 discloses a driver condition monitoring device that prevents a driver monitor camera from erroneously determining that the driver is looking aside and giving an alarm even when the driver looks ahead of a curved road to confirm safety. There is. However, the technique of Patent Document 1 does not solve the above problem.
本発明の一態様は、曲線路であっても、車両の進行方向と、運転者の顔向きとの関係を把握することを目的とする。 One aspect of the present invention is to grasp the relationship between the traveling direction of the vehicle and the face orientation of the driver even on a curved road.
上記の課題を解決するために、本発明の一態様に係る運転者状態判定装置は、所定期間において、運転者の向きを順次取得する運転者情報取得部と、前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得部と、前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算部と、前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算部と、を備え、前記補正値計算部は、前記相関係数に応じて、前記差分を計算するか否かを決定する。 In order to solve the above problems, the driver state determination device according to one aspect of the present invention includes a driver information acquisition unit that sequentially acquires the direction of the driver in a predetermined period, and the driver in the predetermined period. A correlation coefficient that repeatedly calculates a correlation coefficient indicating the degree of correlation between the direction of the driver and the traveling direction of the vehicle in the predetermined period with the vehicle information acquisition unit that sequentially acquires the traveling direction of the vehicle driven by the vehicle. The calculation unit includes a calculation unit and a correction value calculation unit that repeatedly calculates the difference between the direction of the driver and the traveling direction of the vehicle as a correction value in the predetermined period, and the correction value calculation unit includes the correlation coefficient. Whether or not to calculate the difference is determined accordingly.
前記構成によれば、直線走行を前提とすることなく、運転者の向きおよび車両の進行方向を順次取得し、それらの差分を繰り返し計算するので、曲線路であっても、車両の進行方向と、運転者の向きとの関係を把握することができる。また、相関係数に応じて差分を計算するか否かを決定するので、有効な補正値を取得することができる。なお、運転者の向きとは、運転者の顔向き、または、運転者の視線の向きである。 According to the above configuration, the direction of the driver and the traveling direction of the vehicle are sequentially acquired without assuming straight-line driving, and the difference between them is repeatedly calculated. Therefore, even on a curved road, the traveling direction of the vehicle , It is possible to grasp the relationship with the direction of the driver. Further, since it is determined whether or not to calculate the difference according to the correlation coefficient, an effective correction value can be obtained. The direction of the driver is the direction of the driver's face or the direction of the driver's line of sight.
本発明の一態様に係る運転者状態判定装置は、前記態様1において、前記補正値計算部が、前記運転者の向きと、前記相関係数に応じて前記車両の進行方向を変化させた方向との差分を計算することとしてもよい。 In the driver state determination device according to one aspect of the present invention, in the first aspect, the correction value calculation unit changes the direction of the driver and the traveling direction of the vehicle according to the correlation coefficient. You may calculate the difference with.
本発明の一態様に係る運転者状態判定装置は、前記補正値計算部が、前記相関係数が所定値以上である場合に、前記差分を計算することとしてもよい。 In the driver state determination device according to one aspect of the present invention, the correction value calculation unit may calculate the difference when the correlation coefficient is equal to or greater than a predetermined value.
前記構成によれば、相関係数が所定値以上である場合に差分を計算するため、運転者の向きと車両の進行方向との相関の度合が弱い場合に差分を計算しないので、有効な補正値を取得することができる。 According to the above configuration, since the difference is calculated when the correlation coefficient is equal to or more than a predetermined value, the difference is not calculated when the degree of correlation between the direction of the driver and the traveling direction of the vehicle is weak, so that an effective correction is made. You can get the value.
本発明の一態様に係る運転者状態判定装置は、前記運転者の向きと、前記車両の進行方向とを用いて前記運転者の状態を判定する運転者状態判定部をさらに備え、前記補正値計算部は、前記運転者状態判定部が、前記運転者が周囲を見る動作を行っていると判定した場合に、前記補正値を蓄積しないこととしてもよい。 The driver state determination device according to one aspect of the present invention further includes a driver state determination unit that determines the state of the driver using the direction of the driver and the traveling direction of the vehicle, and the correction value. The calculation unit may not accumulate the correction value when the driver state determination unit determines that the driver is performing an operation of looking around.
周囲を見る動作を行っている運転者の向きは、運転中の運転者の正面を定義するには適切でない。前記構成によれば、そのような運転者の向きを用いた補正値を蓄積させないようにすることができる。なお、運転者が周囲を見る動作には、周囲を確認する動作、脇見する動作等が含まれる。 The orientation of the driver looking around is not appropriate to define the front of the driver while driving. According to the above configuration, it is possible to prevent the accumulation of correction values using such a driver's orientation. The operation of the driver looking at the surroundings includes an operation of checking the surroundings, an operation of looking aside, and the like.
本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の速度および操舵情報を用いて推定された、前記車両の進行方向を取得することとしてもよい。 In the driver state determination device according to one aspect of the present invention, the vehicle information acquisition unit may acquire the traveling direction of the vehicle estimated by using the speed and steering information of the vehicle.
本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の速度およびヨーレートを用いて推定された、前記車両の進行方向を取得することとしてもよい。 In the driver state determination device according to one aspect of the present invention, the vehicle information acquisition unit may acquire the traveling direction of the vehicle estimated using the speed and yaw rate of the vehicle.
本発明の一態様に係る運転者状態判定装置は、前記車両情報取得部が、前記車両の各車輪の回転速度を用いて推定された、前記車両の進行方向を取得することとしてもよい。 In the driver state determination device according to one aspect of the present invention, the vehicle information acquisition unit may acquire the traveling direction of the vehicle estimated by using the rotation speed of each wheel of the vehicle.
本発明の一態様に係る運転者状態判定装置は、前記補正値が、前記所定期間の経過後、前記運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する際に用いられることとしてもよい。 The driver state determination device according to one aspect of the present invention is used when the correction value defines the front surface of the driver after the elapse of the predetermined period and corrects the face orientation output by the face recognition algorithm. It may be that.
前記構成によれば、車両の進行方向と、運転者の向きとの関係を用いて、運転者の顔向きを適切に補正することができる。 According to the above configuration, the face orientation of the driver can be appropriately corrected by using the relationship between the traveling direction of the vehicle and the orientation of the driver.
本発明の一態様に係る運転者状態判定方法は、車両の運転者の状態を判定する運転者状態判定装置が実行する運転者状態判定方法であって、所定期間において、運転者の向きを順次取得する運転者情報取得ステップと、前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得ステップと、前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算ステップと、前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算ステップと、を含んでおり、前記補正値計算ステップにおいて、前記相関係数に応じて、前記差分を計算するか否かを決定する。 The driver state determination method according to one aspect of the present invention is a driver state determination method executed by a driver state determination device that determines the state of the driver of a vehicle, and sequentially directs the driver in a predetermined period. The driver information acquisition step to be acquired, the vehicle information acquisition step for sequentially acquiring the traveling direction of the vehicle driven by the driver in the predetermined period, and the direction of the driver and the traveling direction of the vehicle in the predetermined period. The correlation coefficient calculation step for repeatedly calculating the correlation coefficient indicating the degree of correlation with the driver and the correction value calculation for repeatedly calculating the difference between the direction of the driver and the traveling direction of the vehicle as a correction value in the predetermined period. In the correction value calculation step, it is determined whether or not to calculate the difference according to the correlation coefficient.
前記構成によれば、直線走行を前提とすることなく、車両の進行方向を順次取得するので、曲線路であっても、車両の進行方向と、運転者の向きとの関係を把握することができる。また、相関係数に応じて差分を計算するか否かを決定するので、有効な補正値を取得することができる。 According to the above configuration, since the traveling direction of the vehicle is sequentially acquired without assuming straight driving, it is possible to grasp the relationship between the traveling direction of the vehicle and the direction of the driver even on a curved road. it can. Further, since it is determined whether or not to calculate the difference according to the correlation coefficient, an effective correction value can be obtained.
本発明の一態様に係るプログラムは、前記運転者状態判定装置としてコンピュータを機能させるためのプログラムであって、前記運転者情報取得部、前記車両情報取得部、前記相関係数計算部、および、前記補正値計算部としてコンピュータを機能させるためのプログラムである。 The program according to one aspect of the present invention is a program for operating a computer as the driver state determination device, and is a driver information acquisition unit, a vehicle information acquisition unit, a correlation coefficient calculation unit, and a program. This is a program for operating a computer as the correction value calculation unit.
本発明の一態様によれば、曲線路であっても、車両の進行方向と、運転者の顔向きとの関係を把握することができる。 According to one aspect of the present invention, it is possible to grasp the relationship between the traveling direction of the vehicle and the face orientation of the driver even on a curved road.
〔実施形態〕
以下、本発明の実施形態について、詳細に説明する。
[Embodiment]
Hereinafter, embodiments of the present invention will be described in detail.
(運転者状態判定装置10の構成)
図1は、本実施形態に係る運転者状態判定装置10の構成の一例を示すブロック図である。図1は、本願発明の特徴部分を中心としたブロック図である。図1に示すように、運転者状態判定装置10は、監視データ取得部(運転者情報取得部)11と、車両情報取得部12と、取得情報処理部(相関係数計算部、補正値計算部)13と、統計演算部14と、運転者状態判定部15と、顔向き補正部16と、統計記憶部17と、を備えている。
(Configuration of driver condition determination device 10)
FIG. 1 is a block diagram showing an example of the configuration of the driver
監視データ取得部11は、運転者に対して車両内の所定位置に設置された、運転者の振る舞いを検出する運転者監視センサ21から、運転者情報を取り込む。例えば、運転者監視センサ21は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このカメラは、1秒間に複数枚、運転者の静止画像を撮像するスチルカメラであってもよいし、運転者の動画像を撮像するビデオカメラであってもよい。監視データ取得部11は、このカメラからの画像信号を、デジタル化処理して、運転者の画像を含む運転者情報として取り込む。監視データ取得部11は、この取り込んだ運転者情報を、取得情報処理部13に受け渡す。
The monitoring
車両情報取得部12は、車両の各所定位置に配置された車両状態センサ22から、車両の状態を表す車両情報を取り込む。車両状態センサ22は、車両の速度、操舵情報、ヨーレート、各車輪の回転速度等を検出するセンサである。車両情報取得部12は、この車両状態センサ22によって検出された検出情報を、デジタル化処理して、車両の状態を表す車両情報として取り込む。車両情報取得部12は、この取り込んだ車両情報を、取得情報処理部13に受け渡す。
The vehicle
取得情報処理部13は、監視データ取得部11から運転者情報を取得し、車両情報取得部12から車両情報を取得し、取得した運転者情報および車両情報を参照して、顔認識アルゴリズムが出力した顔向きを補正する際に用いられる補正値を計算する。また、取得情報処理部13は、記憶媒体として、例えばHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込および読出しが可能な不揮発性メモリとRAM等の揮発性メモリを有する。取得情報処理部13は、計算した補正値を記憶媒体に記憶させる。
The acquisition
統計演算部14は、所定時間毎に、上記所定時間内における車両の進行方向に対して運転者が正面として顔または視線を保持する方向である保持方向(補正値)の平均値および偏差量等の統計情報を演算する。この所定時間毎に演算された統計情報は、後述するように、統計記憶部17に更新記憶されていく。つまり、統計情報が学習されていく。なお、上記所定時間は、例えば数秒(X秒)である。
The
運転者状態判定部15は、運転者の顔向きの基準方向からの乖離度、または、統計演算部14によって判定された運転者の顔向きの基準方向からの乖離度と、取得情報処理部13の記録媒体に記憶された車両情報とに基づいて、運転者の状態、例えば、車線確認動作中の状態、脇見状態等を判定する。
The driver
顔向き補正部16は、統計記憶部17に記憶された統計値を参照して、運転者の顔向きの補正を行う。
The face
(運転者状態判定システムの構成)
図2は、本実施形態に係る運転者状態判定装置10を備えた運転者状態判定システムの全体構成の一例を示すブロック図である。
(Configuration of driver status judgment system)
FIG. 2 is a block diagram showing an example of the overall configuration of the driver state determination system including the driver
運転者状態判定システムは、本実施形態に係る運転者状態判定装置10と、各種のセ
ンサ41〜46と、判定結果出力装置50とを備えている。
The driver state determination system includes a driver
本実施形態では、センサとして、例えば、運転者監視センサであるドライバカメラ41と、車両状態センサである、車速センサ42、ステアリングセンサ43、ウィンカセンサ44、ギアセレクタセンサ45およびパーキングブレーキセンサ46とを含む。勿論これは一例であり、その他のセンサを含んでいてもよい。
In the present embodiment, as the sensors, for example, a
ドライバカメラ41は、運転者の顔を撮像できる箇所に設置され、例えば、ダッシュボード上、ステアリング中央、速度メータ脇、フロントピラー等に配置して、運転者の顔を含む上半身を撮像するカメラである。このドライバカメラ41は、1秒間に複数枚の静止画像を撮像するスチルカメラであってもよいし、動画像を撮像するビデオカメラであってもよい。
The
車速センサ42は、車両の移動速度を検出する。ステアリングセンサ43は、ステアリングの操舵角を検出する。このステアリングセンサ43は、運転者によるステアリングの操作自体を検出するセンサであってもよいし、ステアリング操作によって向きを変えられる車輪の舵角を検出するセンサであってもよい。ウィンカセンサ44は、ウィンカの操作を検出する。このウィンカセンサ44は、運転者によるウィンカレバーの操作自体を検出するセンサであってもよいし、ウィンカレバー操作に応じて点滅するウィンカの点滅制御信号を検出するセンサであってもよい。
The
また、ギアセレクタセンサ45は、オートマチックギア車におけるギアセレクタのパーキングポジションを検出する。このギアセレクタセンサ45は、運転者によるギアセレクタのセレクト操作自体を検出するセンサであってもよいし、セレクトされたポジションを表示するインジケータの点灯制御信号を検出するセンサであってもよい。パーキングブレーキセンサ46は、パーキングブレーキの状態を検出する。このパーキングブレーキセンサ46は、運転者によるパーキングブレーキレバーの操作自体を検出するセンサであってもよいし、パーキングブレーキを駆動する駆動制御信号を検出するセンサであってもよい。ギアセレクタセンサ45とパーキングブレーキセンサ46は、必ずしも両方備える必要は無い。例えば、オートマチックギアを搭載した車両では、パーキングブレーキセンサ46を備えず、ギアセレクタセンサ45のみであってもよい。マニュアルギアを搭載した車両では、パーキングブレーキセンサ46のみであってよい。
Further, the
運転者状態判定装置10は、制御ユニット32と、入出力インタフェースユニット31
と、記憶ユニット33と、を備えている。
The driver
And a
入出力インタフェースユニット31は、ドライバカメラ41から出力された画像信号を受信してデジタルデータに変換して、制御ユニット32に入力する。入出力インタフェースユニット31はまた、車速センサ42、ステアリングセンサ43、ウィンカセンサ44、ギアセレクタセンサ45およびパーキングブレーキセンサ46それぞれのセンシングデータを受信して、それらを制御ユニット32に入力する。入出力インタフェースユニット31はさらに、制御ユニット32から出力された運転者状態判定結果情報を出力制御信号に変換して判定結果出力装置50へ出力する。
The input /
記憶ユニット33は、記憶媒体として、例えばSSDやHDD等の随時書き込みおよび読み出しが可能な不揮発性メモリとRAM等の揮発性メモリを使用したものである。記憶ユニット33は、本実施形態を実施するために使用する記憶領域として、運転者の監視データを記憶する監視データ記憶部331と、車両の状態を記憶する車両情報記憶部332と、統計情報と学習回数とを含む学習結果を学習データとして記憶する学習データ記憶部333と、を備えている。
The
(運転者状態判定装置10の処理)
図3は、本実施形態に係る運転者状態判定装置10の全体処理を示すフローチャートである。
(Processing of driver state determination device 10)
FIG. 3 is a flowchart showing the overall processing of the driver
(ステップS301:運転者情報取得ステップ)
運転者状態判定装置10において、監視データ取得部(運転者情報取得部)11は、所定期間において運転者監視センサ21から運転者の顔向きを順次取得して、当該顔向きを取得情報処理部13に受け渡す。所定期間とは、車両の発進から自動運転開始までの間(例えば、車両がパーキングエリアを発車してから高速道路の本線に合流するまでの間等)である。
(Step S301: Driver information acquisition step)
In the driver
(ステップS302:車両情報取得ステップ)
ステップS301の処理と並行して、車両情報取得部12は、所定期間において車両状態センサ22から車両情報(運転者が運転する車両の進行方向)を順次取得して、当該車両情報を取得情報処理部13に受け渡す。
(Step S302: Vehicle information acquisition step)
In parallel with the process of step S301, the vehicle
(ステップS303)
取得情報処理部13は、所定期間において、運転者の顔向きと、車両の進行方向とから算出した補正値を蓄積する。詳細は、図4を用いて説明する。
(Step S303)
The acquisition
(ステップS304)
統計演算部14は、取得情報処理部13に蓄積された補正値を参照して、個人差補正用の統計値を算出して、算出した統計値を統計記憶部17に記憶させる。詳細は、図5を用いて説明する。
(Step S304)
The
(ステップS305)
顔向き補正部16は、統計記憶部17に記憶された統計値を用いて、運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する。補正した顔向きは、別途、脇見の判定で使用される。
(Step S305)
The face
図4は、本実施形態に係る運転者状態判定装置10の取得情報の蓄積処理を示すフローチャートである。本処理は、図3のステップS303の処理を詳細化したものである。本処理は、ステップS301で取得された顔情報と、ステップS302で取得された車両情報との組合せごとに行われる。
FIG. 4 is a flowchart showing a process of accumulating the acquired information of the driver
なお、取得情報処理部13は、監視データ取得部11から取得した顔情報から運転者の顔を検出した場合、顔情報のうち、運転者の顔向きを有効にする。
When the acquisition
また、取得情報処理部13は、車両の進行方向が算出済であり、かつ、顔のヨー方向が有効なデータがある場合に、直近8.0秒間における、顔のヨー方向と、車両の進行方向との相関係数を計算する。なお、8.0秒は、一例であって、他の秒数であってもよい。
Further, when the acquisition
(ステップS401)
運転者状態判定装置10において、取得情報処理部13は、車両情報を参照して、車両の速度が20km/h以上であるか否かを判定する。車両の速度が20km/h以上である場合(ステップS401のYES)、取得情報処理部13は、ステップS402の判定を実行する。車両の速度が20km/h以上でない(20km/h未満である)場合(ステップS401のNO)、取得情報処理部13は、処理を終了する。すなわち、運転者の顔向きと、車両の進行方向とによる補正値は、蓄積されない(以下、同様)。これは、徐行時における運転者の顔向きは、変化が大きいので、学習すべきでない顔向きとして扱うためである。なお、20km/hは、一例であって、他の速度であってもよい。
(Step S401)
In the driver
(ステップS402)
取得情報処理部13は、運転者が車線確認動作中であるか否かを判定する。
(Step S402)
The acquisition
詳細には、取得情報処理部13は、顔情報および車両情報を運転者状態判定部15に出力して、運転者状態判定部15から判定結果を取得する。運転者状態判定部15は、取得情報処理部13から顔情報および車両情報を取得し、運転者の顔向きと、車両の進行方向とを用いて運転者の状態を判定して、当該判定結果を取得情報処理部13に出力する。
Specifically, the acquisition
運転者が車線確認動作中である(運転者が周囲を見る動作を行っていると判定された)場合(ステップS402のYES)、取得情報処理部13は、処理を終了する(すなわち、補正値を蓄積しない)。運転者が車線確認動作中でない場合(ステップS402のNO)、取得情報処理部13は、ステップS403の判定を実行する。
When the driver is in the lane confirmation operation (it is determined that the driver is performing the operation of looking around) (YES in step S402), the acquisition
(ステップS403:相関係数計算ステップ)
取得情報処理部13は、顔情報および車両情報を参照して、顔のヨー方向と、車両の進行方向との相関が強いか否かを判定する。取得情報処理部(相関係数計算部)13は、所定期間において、運転者の顔向きと車両の進行方向との相関の度合を示す相関係数を繰り返し計算する。そして、取得情報処理部13は、例えば、相関係数が0.6以上であれば、相関が強いと判定する。なお、0.6は、一例であって、他の閾値であってもよい。
(Step S403: Correlation coefficient calculation step)
The acquisition
相関が強い(相関係数が所定値以上である)場合(ステップS403のYES)、取得情報処理部13は、ステップS404の処理を実行する。相関が強くない場合(ステップS403のNO)、取得情報処理部13は、ステップS405の判定を実行する。すなわち、取得情報処理部13は、相関係数に応じて、差分を計算するか否かを決定することになる。
When the correlation is strong (the correlation coefficient is equal to or greater than a predetermined value) (YES in step S403), the acquisition
(ステップS404)
取得情報処理部(補正値計算部)13は、顔のヨー方向と、車両の進行方向との差分を補正値として繰り返し計算する。すなわち、「補正値(度)=顔のヨー方向(度)−車両の進行方向(度)」とする。取得情報処理部13は、運転者の顔向きと、相関係数に応じて車両の進行方向を変化させた方向との差分を計算することとしてもよい。例えば、取得情報処理部13は、「補正後の顔向き(度)=顔向き(度)−相関係数×進行方向(度)」との計算を行う。
(Step S404)
The acquisition information processing unit (correction value calculation unit) 13 repeatedly calculates the difference between the yaw direction of the face and the traveling direction of the vehicle as a correction value. That is, "correction value (degree) = yaw direction of face (degree) -vehicle traveling direction (degree)". The acquisition
なお、顔のヨー方向、および、車両の進行方向は、それぞれ基準方向に対する角度で表される。そして、補正値は、その2つの角度の差である。補正値は、所定期間の経過後、運転者の正面を定義し、顔認識アルゴリズムが出力した顔向きを補正する際に用いられる。 The yaw direction of the face and the traveling direction of the vehicle are represented by angles with respect to the reference direction. The correction value is the difference between the two angles. The correction value is used to define the front of the driver after a lapse of a predetermined period and to correct the face orientation output by the face recognition algorithm.
(ステップS405)
取得情報処理部13は、顔のヨー方向、または、ステップS404で計算された補正値、および、顔のピッチ方向が規定値以内(例えば、±20度の間)であるか否かを判定する。顔のヨー方向または補正値、および、顔のピッチ方向が規定値以内である場合(ステップS405のYES)、取得情報処理部13は、ステップS406の処理を実行する。顔のヨー方向または補正値、および、顔のピッチ方向が規定値以内でない場合(ステップS405のNO)、取得情報処理部13は、処理を終了する。なお、取得情報処理部13は、顔のヨー方向または補正値、および、顔のピッチ方向に加えて、さらに、顔のロール方向が規定値以内であるか否かを判定してもよい。
(Step S405)
The acquisition
(ステップS406)
取得情報処理部13は、学習用として、顔のヨー方向、または、ステップS404で計算された補正値、および、顔のピッチ方向を記憶媒体に蓄積する。なお、取得情報処理部13は、顔のヨー方向または補正値、および、顔のピッチ方向に加えて、さらに、顔のロール方向を記録媒体に蓄積してもよい。
(Step S406)
The acquisition
図5は、本実施形態に係る運転者状態判定装置10の統計値の算出処理を示すフローチャートである。本処理は、図3のステップS304の処理を詳細化したものである。
FIG. 5 is a flowchart showing a calculation process of statistical values of the driver
(ステップS501)
統計演算部14は、取得情報処理部13において所定時間以上補正値が蓄積されたか否かを判定する。所定時間以上補正値が蓄積された場合(ステップS501のYES)、統計演算部14は、ステップS502の処理を実行する。所定時間以上補正値が蓄積されていない場合(ステップS501のNO)、統計演算部14は、処理を終了する。
(Step S501)
The
(ステップS502)
統計演算部14は、学習用として、補正値の平均値を計算して、当該平均値を統計値として統計記憶部17に記憶させる。なお、統計演算部14は、補正値の平均値の代わりに、補正値の標準偏差等の統計値を計算して、計算した統計値を統計記憶部17に記憶させてもよい。
(Step S502)
The
(車両の進行方向の測定方法例)
図6は、本実施形態に係る車両の進行方向を測定する方法の例を示す図である。
(Example of measuring method of vehicle traveling direction)
FIG. 6 is a diagram showing an example of a method of measuring the traveling direction of the vehicle according to the present embodiment.
運転者状態判定装置10において、取得情報処理部13は、運転者注視方向を求める。運転者注視方向は、次の式1を用いて求めることができる。
In the driver
なお、車両情報取得部12は、車両の速度および操舵情報を用いて推定された、車両の進行方向を取得してもよい。車両情報取得部12は、車両の速度およびヨーレートを用いて推定された、車両の進行方向を取得してもよい。車両情報取得部12は、車両の各車輪の回転速度を用いて推定された、車両の進行方向を取得してもよい。これらの場合、取得情報処理部13は、車両情報取得部12から車両の進行方向を取得する。
The vehicle
また、本実施形態では、運転者の顔向きを取得して処理する場合について説明したが、運転者の顔向きに代えて、運転者の視線の向きを取得して処理する場合についても本実施形態は適用可能である。 Further, in the present embodiment, the case of acquiring and processing the driver's face orientation has been described, but the present embodiment also describes the case of acquiring and processing the driver's line-of-sight direction instead of the driver's face orientation. The form is applicable.
〔ソフトウェアによる実現例〕
運転者状態判定装置10の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
[Example of realization by software]
The control block of the driver
後者の場合、運転者状態判定装置10は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the driver
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
[Additional notes]
The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope of the claims, and the embodiments obtained by appropriately combining the technical means disclosed in the different embodiments. Is also included in the technical scope of the present invention.
10 運転者状態判定装置
11 監視データ取得部(運転者情報取得部)
12 車両情報取得部
13 取得情報処理部(相関係数計算部、補正値計算部)
15 運転者状態判定部
10 Driver
12 Vehicle
15 Driver status judgment unit
Claims (10)
前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得部と、
前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算部と、
前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算部と、
を備え、
前記補正値計算部は、前記相関係数に応じて、前記差分を計算するか否かを決定する
ことを特徴とする運転者状態判定装置。 The driver information acquisition unit that sequentially acquires the direction of the driver in a predetermined period,
A vehicle information acquisition unit that sequentially acquires the traveling direction of the vehicle driven by the driver in the predetermined period,
A correlation coefficient calculation unit that repeatedly calculates a correlation coefficient indicating the degree of correlation between the direction of the driver and the direction of travel of the vehicle during the predetermined period.
A correction value calculation unit that repeatedly calculates the difference between the direction of the driver and the traveling direction of the vehicle as a correction value in the predetermined period.
With
The driver state determination device is characterized in that the correction value calculation unit determines whether or not to calculate the difference according to the correlation coefficient.
ことを特徴とする請求項1に記載の運転者状態判定装置。 The driver according to claim 1, wherein the correction value calculation unit calculates a difference between the direction of the driver and the direction in which the traveling direction of the vehicle is changed according to the correlation coefficient. Status judgment device.
ことを特徴とする請求項2に記載の運転者状態判定装置。 The driver state determination device according to claim 2, wherein the correction value calculation unit calculates the difference when the correlation coefficient is equal to or greater than a predetermined value.
前記補正値計算部は、前記運転者状態判定部が、前記運転者が周囲を見る動作を行っていると判定した場合に、前記補正値を蓄積しない
ことを特徴とする請求項1から3の何れか1項に記載の運転者状態判定装置。 Further provided with a driver state determination unit that determines the state of the driver using the direction of the driver and the traveling direction of the vehicle.
The correction value calculation unit is characterized in that, when the driver state determination unit determines that the driver is performing an operation of looking at the surroundings, the correction value calculation unit does not accumulate the correction value. The driver condition determination device according to any one item.
ことを特徴とする請求項1から4の何れか1項に記載の運転者状態判定装置。 The driver state according to any one of claims 1 to 4, wherein the vehicle information acquisition unit acquires the traveling direction of the vehicle estimated by using the speed and steering information of the vehicle. Judgment device.
ことを特徴とする請求項1から4の何れか1項に記載の運転者状態判定装置。 The driver state determination according to any one of claims 1 to 4, wherein the vehicle information acquisition unit acquires the traveling direction of the vehicle estimated using the speed and yaw rate of the vehicle. apparatus.
ことを特徴とする請求項1から4の何れか1項に記載の運転者状態判定装置。 The driver according to any one of claims 1 to 4, wherein the vehicle information acquisition unit acquires the traveling direction of the vehicle estimated by using the rotation speed of each wheel of the vehicle. Status judgment device.
ことを特徴とする請求項1から7の何れか1項に記載の運転者状態判定装置。 Any one of claims 1 to 7, wherein the correction value is used when the front surface of the driver is defined after the elapse of the predetermined period and the face orientation output by the face recognition algorithm is corrected. The driver condition determination device according to the section.
所定期間において、運転者の向きを順次取得する運転者情報取得ステップと、
前記所定期間において、前記運転者が運転する車両の進行方向を順次取得する車両情報取得ステップと、
前記所定期間において、前記運転者の向きと前記車両の進行方向との相関の度合を示す相関係数を繰り返し計算する相関係数計算ステップと、
前記所定期間において、前記運転者の向きと前記車両の進行方向との差分を補正値として繰り返し計算する補正値計算ステップと、
を含んでおり、
前記補正値計算ステップにおいて、前記相関係数に応じて、前記差分を計算するか否かを決定する
ことを特徴とする運転者状態判定方法。 It is a driver state determination method executed by a driver state determination device that determines the state of the driver of a vehicle.
A driver information acquisition step for sequentially acquiring the driver's orientation in a predetermined period,
A vehicle information acquisition step for sequentially acquiring the traveling direction of a vehicle driven by the driver in the predetermined period,
A correlation coefficient calculation step of repeatedly calculating a correlation coefficient indicating the degree of correlation between the direction of the driver and the traveling direction of the vehicle in the predetermined period.
A correction value calculation step of repeatedly calculating the difference between the direction of the driver and the traveling direction of the vehicle as a correction value in the predetermined period.
Includes
A driver state determination method, characterized in that, in the correction value calculation step, it is determined whether or not to calculate the difference according to the correlation coefficient.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097930A JP2020194228A (en) | 2019-05-24 | 2019-05-24 | Driver state determination device, driver state determination method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097930A JP2020194228A (en) | 2019-05-24 | 2019-05-24 | Driver state determination device, driver state determination method, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020194228A true JP2020194228A (en) | 2020-12-03 |
Family
ID=73548285
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097930A Pending JP2020194228A (en) | 2019-05-24 | 2019-05-24 | Driver state determination device, driver state determination method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020194228A (en) |
-
2019
- 2019-05-24 JP JP2019097930A patent/JP2020194228A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4962581B2 (en) | Lane marking detector | |
US10657397B2 (en) | Apparatus for determining concentration of driver, system having the same, and method thereof | |
US10369926B2 (en) | Driver state sensing system, driver state sensing method, and vehicle including the same | |
JP5045374B2 (en) | Operating state determination device | |
US11062158B2 (en) | Driver state determination apparatus, method, and recording medium | |
KR20170051197A (en) | Method and apparatus for monitoring state of driver through analysis of driving pattern | |
WO2020059835A1 (en) | Vehicular monitoring device | |
JP2017151694A (en) | Safety confirmation diagnostic system and safety confirmation diagnostic method | |
US20210034925A1 (en) | Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium | |
JP2019171903A (en) | Looking-away determination device, looking-away determination system, looking-away determination method, program | |
JP4858516B2 (en) | Face orientation detection device | |
JP7124935B2 (en) | Looking away determination device, looking away determination system, looking away determination method, program | |
US11325609B2 (en) | Vehicle driving assist system | |
JP2020194228A (en) | Driver state determination device, driver state determination method, and program | |
JP2007265101A (en) | Arousal level deducing device for vehicle | |
US11267477B2 (en) | Device and method for estimating the attention level of a driver of a vehicle | |
JP2020194229A (en) | Driver state determination device, driver state determination method, and driver state determination program | |
US12080081B2 (en) | Inattentiveness determination device, inattentiveness determination system, inattentiveness determination method, and storage medium for storing program | |
JP4601376B2 (en) | Image abnormality determination device | |
JPH079880A (en) | Abnormality warning device for driver | |
JP7298351B2 (en) | State determination device, in-vehicle device, driving evaluation system, state determination method, and program | |
US20160092752A1 (en) | Image recognition apparatus | |
WO2020059845A1 (en) | Vehicle monitoring device | |
TWI549846B (en) | Environmental failure judgment system and method for automatic assisted driving | |
US20240199046A1 (en) | Safe driving determination apparatus |