JP2017208007A - Face orientation estimation device and face orientation estimation method - Google Patents
Face orientation estimation device and face orientation estimation method Download PDFInfo
- Publication number
- JP2017208007A JP2017208007A JP2016101244A JP2016101244A JP2017208007A JP 2017208007 A JP2017208007 A JP 2017208007A JP 2016101244 A JP2016101244 A JP 2016101244A JP 2016101244 A JP2016101244 A JP 2016101244A JP 2017208007 A JP2017208007 A JP 2017208007A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- visual
- face orientation
- behavior
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000008859 change Effects 0.000 claims abstract description 66
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims description 106
- 230000008569 process Effects 0.000 claims description 51
- 230000006399 behavior Effects 0.000 claims description 48
- 230000003945 visual behavior Effects 0.000 claims description 36
- 230000001133 acceleration Effects 0.000 claims description 19
- 239000011521 glass Substances 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 10
- 230000009471 action Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 29
- 210000003128 head Anatomy 0.000 description 19
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 6
- 210000005252 bulbus oculi Anatomy 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 238000002570 electrooculography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この明細書による開示は、車両等を運転する運転者の顔向きを推定する顔向き推定の技術に関する。 The disclosure according to this specification relates to a face direction estimation technique for estimating the face direction of a driver who drives a vehicle or the like.
従来、例えば特許文献1には、車両等の移動体を運転する運転者の顔をカメラによって撮影し、撮影画像に基づいて運転者の顔向きを認識する技術が開示されている。具体的に、特許文献1の注意力低下検出システムは、認識された顔向きに基づき、車両に設置されたサイドミラーを運転者が視認した視認回数を計数する。そして、計数されたサイドミラーの視認回数に基づき、運転者の注意力の低下が判定される。
Conventionally, for example,
さて、運転者がサイドミラーを視認しているときの顔向きは、運転者の体格、着座位置、及び着座姿勢等に起因して異なってくる。そこで本開示の発明者らは、視認対象物の位置を運転者の視認行動から特定し、特定した視認対象物の位置と、認識された運転者の顔向きとを比較することにより、運転者による視認対象物の視認回数を計数する技術について、開発を進めてきた。 Now, the direction of the face when the driver is viewing the side mirror varies depending on the physique of the driver, the sitting position, the sitting posture, and the like. Therefore, the inventors of the present disclosure specify the position of the visual recognition object from the visual behavior of the driver, and compare the position of the visual recognition object thus identified with the recognized driver's face direction. We have been developing a technology that counts the number of times a visual target is viewed.
しかし、視認対象物の位置を運転者の視認行動から特定する技術では、カーブ及び坂道等の道路環境に起因して、視認回数を計数する精度が低下するという課題を、本開示の発明者らは新たに発見した。詳しく説明すると、運転者は通常、前景中の消失点をゼロ点位置として、この消失点から視認対象物へと顔向きを変化させている。故に、カーブ及び坂道等を走行しているとき、前景中の消失点の位置変化が生じると、消失点から視認対象物へ顔向きを変化させる視認行動の態様も変化してしまう。そのため、消失点の位置変化に起因して運転者の視認行動が変化してしまうと、運転者による視認対象物の視認回数が正しく計数されなくなり得た。 However, with the technology for identifying the position of the visual recognition object from the visual behavior of the driver, the inventors of the present disclosure have a problem that the accuracy of counting the number of visual recognitions is reduced due to road environments such as curves and slopes. Newly discovered. More specifically, the driver usually changes the face direction from the vanishing point to the visual recognition object with the vanishing point in the foreground as the zero point position. Therefore, when traveling on a curve, a slope, or the like, if the position of the vanishing point in the foreground changes, the mode of visual behavior that changes the face direction from the vanishing point to the visual target object also changes. For this reason, if the driver's visual behavior changes due to the position change of the vanishing point, the number of times the driver visually recognizes the visual target object may not be counted correctly.
本開示は、上記問題点に鑑みてなされたものであり、消失点の位置変化に起因して運転者の視認行動が変化しても、運転者が視認対象物を視認した回数を精度良く計数することが可能な顔向き推定装置及び顔向き推定方法を提供することを目的とする。 The present disclosure has been made in view of the above problems, and even when the driver's visual behavior changes due to the change in position of the vanishing point, the number of times the driver has visually recognized the visual target object is accurately counted. An object of the present invention is to provide a face direction estimation device and a face direction estimation method that can be used.
上記目的を達成するため、開示された第一の態様は、移動体(110)を運転する運転者(DR)の顔向きを検出した検出結果を取得する顔向き情報取得部(71)と、顔向き情報取得部の取得した検出結果に基づき、移動体に設置された視認対象物を運転者が視認した回数を計数する計数処理部(76)と、運転者の視認する前景中での消失点の位置変化に起因して視認対象物を視認する運転者の視認行動が変化したか否かを判定する行動判定部(77)と、を備え、計数処理部は、行動判定部にて運転者の視認行動が変化したと判定された場合に、消失点の位置変化に合わせて計数処理の内容を変更する顔向き推定装置とされる。 In order to achieve the above object, the disclosed first aspect includes a face orientation information acquisition unit (71) that acquires a detection result of detecting the face orientation of the driver (DR) driving the mobile body (110), Based on the detection result acquired by the face orientation information acquisition unit, the counting processing unit (76) for counting the number of times the driver visually recognizes the visual target object installed on the moving body, and disappearance in the foreground visually recognized by the driver A behavior determination unit (77) that determines whether or not the driver's visual behavior that visually recognizes the visual target object has changed due to a change in the position of the point, and the counting processing unit is driven by the behavior determination unit. When it is determined that the visual behavior of the person has changed, the face orientation estimating device changes the content of the counting process in accordance with the change in the position of the vanishing point.
また開示された第二の態様は、移動体(110)を運転する運転者(DR)の顔向きを推定する顔向き推定方法であって、少なくとも一つのプロセッサ(45a,215a)は、運転者の顔向きを検出する顔向き検出部(11)の検出結果に基づき、移動体に設置された視認対象物を運転者が視認した回数を計数し(S107)、運転者の視認する前景中での消失点の位置変化に起因して視認対象物を視認する運転者の視認行動が変化したか否かを判定し(S105)、運転者の視認行動が変化したと判定された場合に、消失点の位置変化に合わせて計数処理の内容を変更する(S106)顔向き推定方法とされる。 The second mode disclosed is a face direction estimating method for estimating the face direction of the driver (DR) who drives the mobile body (110), and the at least one processor (45a, 215a) includes the driver. Based on the detection result of the face direction detection unit (11) for detecting the face direction of the driver, the number of times the driver visually recognizes the visual target object installed on the moving body is counted (S107), and in the foreground visually recognized by the driver. It is determined whether or not the visual behavior of the driver who visually recognizes the visual target object has changed due to the position change of the vanishing point (S105). The content of the counting process is changed according to the change in the position of the point (S106).
これらの態様によれば、移動体がカーブ等を走行することにより、前景中での消失点の位置変化が生じると、こうした位置変化に起因して運転者の視認行動が変化したと判定され得る。その結果、移動体に設置された視認対象物を運転者が視認した回数を計数する処理は、消失点の位置変化に合わせて、運転者の視認行動の変化に対応した内容に変更される。したがって、消失点の位置変化に起因して運転者の視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。 According to these aspects, when the position of the vanishing point in the foreground occurs due to the moving body traveling on a curve or the like, it can be determined that the driver's visual behavior has changed due to such a position change. . As a result, the process of counting the number of times the driver visually recognizes the visual target object installed on the moving body is changed to the content corresponding to the change in the driver's visual behavior in accordance with the change in the position of the vanishing point. Therefore, even if the driver's visual behavior changes due to the position change of the vanishing point, the number of times that the driver visually recognizes the visual target object can be accurately counted.
尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。 Note that the reference numbers in the parentheses merely show an example of a correspondence relationship with a specific configuration in an embodiment described later, and do not limit the technical scope at all.
以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。 Hereinafter, a plurality of embodiments of the present disclosure will be described based on the drawings. In addition, the overlapping description may be abbreviate | omitted by attaching | subjecting the same code | symbol to the corresponding component in each embodiment. When only a part of the configuration is described in each embodiment, the configuration of the other embodiment described above can be applied to the other part of the configuration. Moreover, not only the combination of the configurations explicitly described in the description of each embodiment, but also the configuration of a plurality of embodiments can be partially combined even if they are not explicitly described, as long as there is no problem in the combination. And the combination where the structure described in several embodiment and the modification is not specified shall also be disclosed by the following description.
(第一実施形態)
本開示の第一実施形態による顔向き推定システム100は、図1及び図2に示すように、互いに通信可能なウェアラブルデバイス10及び車載デバイス40等によって構成されている。顔向き推定システム100は、移動体である車両110の車室内において主に機能する。顔向き推定システム100は、車両110に搭乗し、車両110を運転する運転者DRの頭部HDの挙動を、ウェアラブルデバイス10によって検出する。顔向き推定システム100は、検出された頭部HDの挙動から運転者DRの顔向きを車載デバイス40によって演算する。
(First embodiment)
As shown in FIGS. 1 and 2, the face
顔向き推定システム100による運転者DRの顔向き情報は、例えば車両110に設置された各ミラー等を視認する確認頻度の低下、長時間の脇見、下向きでの端末の操作、及び居眠り等を判定するアプリケーションに用いられる。以上のような運転者DRの異常が検出されると、運転者DRに対する警告等のアクチュエーションが実行される。
The driver DR's face direction information by the face
ウェアラブルデバイス10は、図3に示すように、検出回路20をメガネ10aに搭載させたメガネ型のモーションセンサデバイスである。図1及び図2に示すウェアラブルデバイス10は、運転者DRの頭部HDに装着され、顔向きの検出結果を車載デバイス40へ向けて逐次出力する。ウェアラブルデバイス10の検出回路20は、顔向き検出部11、通信ユニット17、操作部18、及びバッテリ19等によって構成されている。
As shown in FIG. 3, the
顔向き検出部11は、メガネ10a(図3参照)に搭載されたモーションセンサである。顔向き検出部11は、ウェアラブルデバイス10が運転者DRの頭部HDに装着されることで、運転者DRの顔向きに関連した値の検出を行う。顔向き検出部11は、眼電位センサ12、ジャイロセンサ13、及び加速度センサ14を有している。顔向き検出部11は、各センサ12〜14を用いて取得した検出結果を、通信ユニット17に逐次提供する。
The face
眼電位センサ12は、例えばステンレス等の金属材料によって形成された複数の電極12a(図3参照)を有している。各電極12aは、互いに離間した配置にてメガネ10aのフレームに設けられている。ユーザである運転者DRがウェアラブルデバイス10を装着することにより、各電極12aは、運転者DRの眼球付近にて、運転者DRの皮膚に接触する。眼電位センサ12は、運転者DRの眼球運動に伴って変化する眼電位を、各電極12aのうちの二点間の電位差に基づいて計測する。眼電位センサ12による計測データ(以下、「眼電位データ」)は、検出結果として通信ユニット17に逐次提供される。
The
ジャイロセンサ13は、角速度を電圧値として検出するセンサである。ジャイロセンサ13は、メガネ10aの頭部HDへの装着により、顔向き検出部11において規定された互いに直交する三軸について、各軸周りに生じる角速度の大きさを計測する。各軸周りの角速度に基づき、横(ヨー)方向に頭部HDを振る動作、縦(ピッチ)方向に頭部HDを振る動作、及び頭部HDを左右に傾ける(ロール)方向の動作等が検出される。ジャイロセンサ13による計測データ(以下、「角速度データ」)は、検出結果として通信ユニット17に逐次提供される。
The
加速度センサ14は、加速度を電圧値として検出するセンサである。加速度センサ14は、メガネ10aの頭部HDへの装着により、顔向き検出部11において規定された互いに直交する三軸について、それぞれの軸方向に沿って頭部HDに作用する加速度大きさを計測する。加速度センサ14による計測データ(以下、「加速度データ」)は、検出結果として通信ユニット17に逐次提供される。
The
通信ユニット17は、車載デバイス40との間において、例えばブルートゥース(登録商標)及び無線LAN等による無線通信によって情報の送受信を行うことができる。通信ユニット17は、無線通信の規格に対応したアンテナを有している。通信ユニット17は、顔向き検出部11と電気的に接続されており、各センサ12〜14から出力された顔向きに関連する計測データを取得する。車載デバイス40との間において無線通信による接続が確立されている場合、通信ユニット17は、入力された各計測データを逐次符号化し、車載デバイス40へ向けて送信する。
The
操作部18は、ウェアラブルデバイス10の電源をオン状態とオフ状態との間で切り替える電源スイッチ等を有している。バッテリ19は、顔向き検出部11及び通信ユニット17等に、作動のための電力を供給する電源である。バッテリ19は、リチウム電池等の一次電池であってもよく、リチウムイオン電池等の二次電池であってもよい。
The
車載デバイス40は、車両110に搭載された複数の電子制御ユニットのうちの一つである。車載デバイス40は、車載電源から供給される電力を用いて稼動する。車載デバイス40には、HMI制御ユニット50、車速センサ55、及びロケータ56等が接続されている。尚、車載デバイス40は、運転者によって車両110の車内に持ち込まれ、車体に後付けで固定可能な構成であってもよい。
The in-
HMI(Human Machine Interface)制御ユニット50は、車両110に搭載された複数の電子制御ユニットのうちの一つである。HMI制御ユニット50は、運転者DRによって入力された操作情報の取得と、運転者DRへの情報提示とを統合的に制御する。HMI制御ユニット50は、例えばディスプレイ51、スピーカ52、及び入力デバイス53等と接続されている。HMI制御ユニット50は、ディスプレイ51の表示及びスピーカ52による音声出力の制御により、運転者DRに情報を提示する。
An HMI (Human Machine Interface)
車速センサ55は、車両110の走行速度を計測するセンサである。車速センサ55は、車両110の走行速度に対応した車速パルスを車載デバイス40へ向けて出力する。尚、車速パルスに基づいて演算された車速情報が、車載された通信バス等を介して車載デバイス40に供給されてもよい。
The
ロケータ56は、GNSS受信器57及び地図データベース58等を備えている。GNSS(Global Navigation Satellite System)受信器57は、複数の人工衛星からの測位信号を受信する。地図データベース58は、道路の縦断勾配及び曲率等の道路形状等を含む地図データを格納している。ロケータ56は、GNSS受信器57にて受信する測位信号に基づき、車両110の現在位置を逐次測位する。ロケータ56は、車両110の周囲及び進行方向の地図データを地図データベース58から読み出し、車載デバイス40に逐次提供する。以上により、車載デバイス40は、車両110が走行を予定している道路の形状情報を取得できる。
The
以上の各構成と接続されている車載デバイス40は、メモリ46、通信ユニット47、及び車載制御部45を備えている。
The in-
メモリ46は、フラッシュメモリ等の非遷移的実体的記憶媒体である。メモリ46は、車載デバイス40の作動に必要なアプリケーションのプログラム等を保存している。メモリ46内のデータは、車載制御部45によって読み出し及び書き換え可能である。メモリ46は、車載デバイス40に内蔵された構成であってもよく、又はメモリカード等の形態で車載デバイス40に設けられたカードスロットに挿入される構成であってもよい。
The
加えてメモリ46には、第一記憶領域46aと第二記憶領域46bとが確保されている。第一記憶領域46a及び第二記憶領域46bのそれぞれには、後述するように、車載制御部45によって分類された顔向きの検出結果に関連したデータが蓄積される。
In addition, the
通信ユニット47は、ウェアラブルデバイス10との間にて無線通信により情報の送受信を行う。通信ユニット47は、無線通信の規格に対応したアンテナを有している。通信ユニット47は、通信ユニット17から受信した無線信号を復号化することにより、各センサ12〜14による計測データを逐次取得する。通信ユニット47は、取得した各計測データを車載制御部45へ向けて出力する。
The
車載制御部45は、プロセッサ45a、RAM、及び入出力インターフェース等を有するマイクロコンピュータを主体に構成されている。車載制御部45は、メモリ46に記憶された顔向き推定プログラムをプロセッサ45aによって実行する。その結果、車載制御部45には、図4に示す運転者情報取得部71、走行情報取得部72、走行区間判定部73、停止判定部74、顔向き補正部75、計数処理部76、行動判定部77、及び警告制御部78等の機能ブロックが構築される。以下、図4及び図1に基づき、各機能ブロックの詳細を説明する。
The in-
運転者情報取得部71は、通信ユニット47によって受信された顔向き検出部11による検出結果を、通信ユニット47から取得する。具体的に、運転者情報取得部71は、眼電位データ、角速度データ、及び加速度データを取得する。
The driver
走行情報取得部72は、ロケータ56から出力される道路の形状情報を逐次取得する。加えて走行情報取得部72は、車速センサ55から出力される車速パルスに基づき、車両110の現在の車速情報を取得する。
The travel
走行区間判定部73は、走行情報取得部72にて取得された道路の形状情報に基づき、車両110が直線的な区間を走行しているか否かと、車両110が傾斜の無い水平な区間を走行しているか否かと、を判定する。具体的に、車両前方の道路の曲率が所定の閾値よりも小さい場合に、走行区間判定部73は、直線区間を走行していると判定する。一方、車両前方の道路の曲率が所定の曲率よりも大きい場合に、走行区間判定部73は、直線区間ではなく、カーブ区間を走行していると判定する。
Based on the road shape information acquired by the travel
同様に、車両前方の道路における縦断勾配が所定の閾値よりも小さい場合に、走行区間判定部73は、水平な区間を走行していると判定する。一方、車両前方の道路における縦断勾配が所定の値よりも大きい場合に、走行区間判定部73は、水平な区間ではなく、登坂又は降坂となる坂道区間を走行していると判定する。
Similarly, when the longitudinal gradient on the road ahead of the vehicle is smaller than a predetermined threshold, the travel
停止判定部74は、車両110が停止状態にあるか否かを判定する。具体的に、停止判定部74は、走行情報取得部72にて取得された車速情報に基づき、走行速度が実質的にゼロである場合、又は走行速度が停止閾値(例えば、5km/h)未満である場合に、車両110が走行状態ではなく、停止状態であると判定する。一方で、走行速度が上述の停止閾値を超えている場合に、停止判定部74は、車両110が停止状態ではなく、走行状態であると判定する。
Stop
加えて停止判定部74は、加速度センサ14による加速度データに基づいて、車両110が走行状態にあるか否かを判定可能である。具体的に、加速度データの推移から、走行に伴った上下方向の振動が検出されず、且つ、前後方向の加速度の変化が実質的に無い場合に、停止判定部74は、車両110が停止状態にあると判定する。
In addition, the
顔向き補正部75は、眼電位センサ12による眼電位データと、ジャイロセンサ13の角速度データとを組み合わせることにより、運転者DRの視線方向を推定する。具体的に、顔向き補正部75は、各軸周りの角速度を時間積分することにより、各回転方向における頭部HDの角度を算出する。以上により、顔向き補正部75は、運転者DRの首振りによって生じる運転者DRの顔向きを推定する。
The face
加えて顔向き補正部75は、所謂EOG(Electro-Oculography)法を用いて、眼電位データの変化態様に基づき、運転者DRの眼球運動を推定する。具体的に、顔向き補正部75は、運転者DRの顔の正面方向を基準として、眼球の向いている上下左右の方向と、眼球の正面からの変化量とを算出する。顔向き補正部75は、推定した顔向きの方向を、眼球の向きの変化量によって補正することにより、車両110を基準とした運転者DRの視線方向を特定する。
In addition, the face
計数処理部76は、運転者DRの視線方向をプロットするプロット処理と、車両110に搭載された視認対象物の位置を特定する特定処理と、運転者DRが視認対象物を視認した回数を計数する計数処理とを、少なくとも実施する。これらプロット処理、特定処理、及び計数処理は、停止判定部74にて車両110が停止状態にないと判定された場合に実施され、停止判定部74にて車両110が停止状態にあると判定された場合には、中断可能である。
The
プロット処理では、顔向き補正部75にて特定された運転者DRの視線方向を、所定の時間間隔でサンプリングすることにより、運転者DRの視認点VP(図5参照)を取得する。運転者DRの視認点VPは、車両110のウインドシールドの室内側面を含むよう規定された仮想湾曲面と、運転者DRの眼球から視線方向に延伸するよう規定された仮想線との幾何学的な交点である。以上のプロット処理により、仮想湾曲面上に多数の視認点VPがプロットされる。尚、ウインドシールドの外側にて、仮想湾曲面は、ウインドシールドを滑らかに延長させたような形状に規定されている。
In the plot processing, the driver's DR visual point VP (see FIG. 5) is acquired by sampling the line-of-sight direction of the driver DR specified by the face
特定処理では、プロット処理にてプロットされた多数の視認点VPの分布に基づいて、車両110に設置された複数の視認対象物の位置を特定する。各視認対象物には、車両110に実質的に固定された構成である左右のサイドミラー111,112、バックミラー113、ディスプレイ51、及びコンビネーションメータが含まれている。特定処理では、視認点VPが密集している範囲(以下、「集合部」)に視認対象物が存在すると特定される。
In the specifying process, the positions of a plurality of viewing objects installed on the
詳しく説明すると、図5に示すように、視認点VPが最も多く集まるウインドシールド中央の集合部61は、運転者DRの前景中における消失点である。そして、視認点VPのプロットされた数が二番目以降に多い各集合部62〜66が、各視認対象物の位置となる。
More specifically, as shown in FIG. 5, the
例えば、ウインドシールドの左縁の集合部62は、左側のサイドミラー111(図2参照)の位置に相当する。ウインドシールドの右縁の集合部63は、右側のサイドミラー112(図2参照)の位置に相当する。集合部61の上方に位置する集合部64は、バックミラー113(図2参照)の位置に相当する。各集合部61,64の下方に位置する集合部65は、ディスプレイ51(図1参照)の位置に相当する。そして、運転者DRの正面下方に位置する集合部66は、コンビネーションメータの位置に相当する。尚、図5及び図6における横長の矩形枠の最外縁は、ウインドシールドの外縁に相当する。
For example, the gathering
ここで、図2に示す運転者DRの前景中における消失点の位置は、車両110がカーブ区間又は坂道区間を走行しているシーンにおいて、車両110に対して左右方向又は上下方向に変化する。その結果、図6に示すように、集合部61の位置も、車両110(図2参照)がカーブ区間又は坂道区間を走行している期間において、各視認対象物の位置に相当する他の各集合部62〜66に対し、相対的に変化する。
Here, the position of the vanishing point in the foreground of the driver DR shown in FIG. 2 changes in the left-right direction or the up-down direction with respect to the
そのため図4及び図1に示すように、計数処理部76は、車両110の走行している道路環境に基づき、プロットされた視認点VPの位置情報を分類し、各視認対象物の位置を特定するための情報として、第一記憶領域46a又は第二記憶領域46bに蓄積する。具体的に、走行区間判定部73にて水平且つ直線的な区間を走行中であると判定された期間にプロットされた視認点VPの位置情報は、第一記憶領域46aに蓄積される。
Therefore, as shown in FIGS. 4 and 1, the
一方、走行区間判定部73にてカーブ区間又は坂道区間を走行中であると判定された期間にプロットされた視認点VPの位置情報は、第一記憶領域46aへの蓄積の対象から除外される。そして、カーブ区間にてプロットされた視認点VPの位置情報は、カーブ区間の曲率の大きさとカーブの湾曲方向を示す曲率情報と紐付けされて、第二記憶領域46bに蓄積される。同様に、坂道区間にてプロットされた視認点VPの位置情報は、坂道区間の縦断勾配の大きさと勾配の上下方向を示す勾配情報と紐付けされて、第二記憶領域46bに蓄積される。
On the other hand, the position information of the visual recognition point VP plotted in the period determined to be traveling in the curve section or the slope section by the travel
計数処理では、運転者DRによる各視認対象物の視認回数を計数する。計数処理では、消失点に対応する集合部61の位置を基準(ゼロ点位置)として、顔向き補正部75にて特定された視線方向の相対的な変化の推移に基づいて、視認対象物の視認回数がカウントされる(図7及び図8参照)。
In the counting process, the number of times of visual recognition of each visual target by the driver DR is counted. In the counting process, the position of the
具体的に計数処理では、各視認対象物を視認したとカウントするための閾値を設定する。一つの視認対象物につき、上下方向及び左右方向の各閾値が個別に設定可能である。顔向き補正部75にて特定された視線方向が各閾値を超えた回数を、計数処理部76は、各視認対象物の視認回数として計数する。
Specifically, in the counting process, a threshold for counting that each visual target object has been viewed is set. The threshold values in the vertical direction and the horizontal direction can be individually set for one visual object. The
例えば図7に示すように、直線区間にて、集合部61(図5参照)の位置を基準としたゼロ点位置から、右方向に閾値th(r)(例えば15°)を超えて視線方向が移動したとする。この場合に、計数処理部76は、右側のサイドミラー112(図2参照)を一回視認したと計数する。同様に、集合部61(図5参照)の位置を基準としたゼロ点位置から、左方向に閾値th(l)(例えば30°)を超えて視線方向が移動した場合に、計数処理部76は、右側のサイドミラー112(図2参照)を一回視認したと計数する。以上の各閾値th(r),th(l)の具体的な値は、第一記憶領域46aに蓄積された視認点VPの位置情報の分布に基づいて、設定可能である。尚、図7では、右側への首振りがマイナス側とされており、左側への首振りがプラス側とされている。
For example, as shown in FIG. 7, in the straight line section, the gaze direction exceeds the threshold th (r) (for example, 15 °) to the right from the zero point position based on the position of the gathering unit 61 (see FIG. 5). Is moved. In this case, the
行動判定部77は、各視認対象物を視認する運転者DRの視認行動が変化したか否かを判定する。上述したように、車両110がカーブ区間又は坂道区間を走行するシーンでは、運転者DRの視認する前景中にて、消失点の位置が変化する(図6参照)。行動判定部77は、消失点の位置変化に起因した運転者DRの視認行動の変化の発生を検出する。
The
行動判定部77は、顔向き検出部11の検出結果の変化に基づいて、運転者DRの視認行動が変化したか否かを判定可能である。具体的に、行動判定部77は、左右のうちで運転者DRから遠い側のサイドミラー、即ち左側のサイドミラー111を視認する行動の態様変化に基づき、運転者DRによる視認行動が変化したか否かを判定する。行動判定部77は、左側のサイドミラー111を視認する頻度(所定時間あたりの回数)、及び左側のサイドミラー111を視認するパターンの変化に基づいて、運転者DRの視認行動が変化したか否かを判定できる。
The
加えて行動判定部77は、走行区間判定部73の判定結果に基づいて、運転者DRの視認行動の変化を検出できる。具体的に、行動判定部77は、走行区間判定部73にてカーブ区間又は坂道区間を走行していると判定された場合に、運転者DRの視認行動が変化していると判定する。以上の行動判定部77による判定結果は、計数処理部76に逐次提供される。
In addition, the
以上の行動判定部77の判定結果に基づき、計数処理部76は、消失点の位置変化に対応するように計数処理の内容を変更する。具体的に、計数処理部76は、行動判定部77にて運転者DRの視認行動が変化したと判定された場合に、集合部61(図6参照)の位置のスライドに合わせて、基準となるゼロ点位置を変更する。その結果、図5〜図8に示すように、視認回数の計数に用いる各閾値が変更される。
Based on the determination result of the
例えば図6に示すように、車両110が左カーブ区間を走行している場合、集合部61は、車両110に対して左側にシフトして、左側のサイドミラー111(図2参照)に相当する集合部62に近接している。その結果、首振りの角度の基準となるゼロ点位置も左側にずれる。故に、図8に示すように、右側のサイドミラー112の視認回数を計数する閾値th(r)の絶対値は、直線区間を走行している場合よりも大きい値(例えば25°)に変更される。一方で、左側のサイドミラー111の視認回数を計数する閾値th(l)の絶対値は、直線区間を走行している場合よりも小さい値(例えば20°)に変更される。これら閾値th(r),th(l)の具体的な値は、第二記憶領域46bに蓄積された視認点VPの位置情報のうちで、現在走行中の道路環境に対応した蓄積データの分布に基づいて、設定される。故に、各閾値th(r),th(l)は、カーブの曲率の大きさ及び勾配の大きさに応じて、段階的に変化する。
For example, as shown in FIG. 6, when the
図4及び図1に示す構成にて、警告制御部78は、計数処理にて計数された各視認対象物の所定時間あたりの視認回数を、計数処理部76から取得する。警告制御部78は、取得した各視認対象物の視認回数に基づき、運転者DRの視認行動が異常状態であるか否かを判定する。例えば、左右のサイドミラー111,112を視認する頻度が所定の頻度閾値を下回った場合に、警告制御部78は、異常状態であると判定する。警告制御部78は、異常状態であるとの判定した場合に、警告実施を指令する指令信号をHMI制御ユニット50へ向けて出力する。その結果、ディスプレイ51及びスピーカ52等により、運転者DRへ向けた警告が実施される。
In the configuration shown in FIGS. 4 and 1, the
以上説明した車載制御部45による顔向き推定のための各処理の詳細を、図9のフローチャートに基づき、図1及び図2を参照しつつ説明する。図9に示す各処理は、例えばウェアラブルデバイス10及び車載デバイス40の電源が共にオン状態とされ、ウェアラブルデバイス10から車載デバイス40への検出結果の送信が開始されたことに基づき、車載制御部45によって開始される。図9に示す各処理は、ウェアラブルデバイス10及び車載デバイス40の少なくとも一方がオフ状態とされるまで、繰り返し実施される。
Details of each process for face orientation estimation by the in-
S101では、運転者DRの顔向き及び視線方向の特定と、視認点VPのプロットとを開始し、S102に進む。S102では、各視認対象物の視認回数を計数する各閾値を設定し、各視認対象物の視認回数のカウントを開始して、S103に進む。尚、S102では、予め設定された初期値が各閾値として設定される。 In S101, identification of the face direction and line-of-sight direction of the driver DR and plotting of the visual recognition point VP are started, and the process proceeds to S102. In S102, each threshold value for counting the number of times each visual object is viewed is set, the number of times the visual object is viewed is started, and the process proceeds to S103. In S102, a preset initial value is set as each threshold value.
S103では、S101にてプロットを開始した視認点VPの分布、道路の形状情報、及び最新の車速情報等に基づいて、車両110の走行環境を判定し、S104に進む。S103にて車両110が停止状態にあると判定されていた場合、S104からS103に戻る。このように車両110が停止状態にあると判定された場合、S101にて開始されたプロット処理は、走行状態に切り替わるまで一時的に中断されてもよい。一方、S103にて車両110が走行状態にあると判定されていた場合、S104からS105に進む。
In S103, the travel environment of the
S105では、視認行動が変化したか否かを判定する。S103にて走行環境の判定結果が従来と実質的に同一である場合、S105では、視認行動が変化していないと判定し、S107に進む。一方で、S103にて走行環境の判定結果に従来からの変化が生じていた場合、S105では、視認行動が変化したと判定し、S106に進む。 In S105, it is determined whether the visual behavior has changed. If the determination result of the traveling environment is substantially the same as the conventional one in S103, it is determined in S105 that the visual behavior has not changed, and the process proceeds to S107. On the other hand, if a change in the determination result of the driving environment has occurred in S103, it is determined in S105 that the visual behavior has changed, and the process proceeds to S106.
S106では、直前のS103にて判定された走行環境に対応した各閾値への変更を実施し、S107に進む。S107では、現在設定されている各閾値を用いて各視認対象物の視認回数を計数する計数処理を実施し、S108に進む。S108では、運転者DRの視線方向の特定と視認点VPのプロットとを継続すると共に、プロットした視認点VPのデータを現在の走行環境に対応した各記憶領域46a,46bに蓄積し、S109に進む。
In S106, a change is made to each threshold value corresponding to the travel environment determined in the immediately preceding S103, and the process proceeds to S107. In S107, a counting process is performed to count the number of times each visual target is viewed using the currently set threshold values, and the process proceeds to S108. In S108, the identification of the line-of-sight direction of the driver DR and the plotting of the visual recognition point VP are continued, and the data of the plotted visual recognition point VP is accumulated in the
S109では、直前のS107にて実施した計数処理の結果に基づき、運転者DRが異常状態にあるか否かを判定する。S109にて、運転者DRが正常な視認行動を行っており、異常状態にないと判定した場合、S103に戻る。一方で、S109にて、運転者DRが異常状態にあると判定した場合、S110に進む。 In S109, it is determined whether or not the driver DR is in an abnormal state based on the result of the counting process performed in S107 immediately before. In S109, when it is determined that the driver DR is performing normal visual recognition behavior and is not in an abnormal state, the process returns to S103. On the other hand, when it determines with driver | operator DR being in an abnormal state in S109, it progresses to S110.
S110では、HMI制御ユニット50へ向けて警告の実施を指令する指令信号を出力し、一連の処理を一旦終了する。S110にて出力される指令信号に基づき、ディスプレイ51及びスピーカ52による警告が実施される。S110による警告が終了すると、車載制御部45は、再びS101を開始する。
In S110, a command signal for instructing the
ここまで説明した第一実施形態では、車両110がカーブ区間及び坂道区間等を走行することにより、前景中での消失点の位置に変化が生じると、こうした位置変化に起因して運転者DRの視認行動が変化したと判定される。その結果、視認対象物を運転者DRが視認した回数を計数する計数処理は、消失点の位置変化に合わせて、運転者DRの視認行動の変化に対応した内容に変更される。したがって、消失点の位置変化に起因して運転者DRの視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。
In the first embodiment described so far, when the
また上述したように、消失点の位置が変化した場合、運転者DRの顔向きの検出結果にも確実に変化が生じる。その結果、顔向きの検出結果に基づく視認対象物の視認頻度及び視認対象物の視認パターンにも、明確な変化が生じ得る。そのため、これらの視認頻度及び視認パターンの変化に基づいて運転者DRの視認行動の変化の有無を判定すれば、消失点の位置変化に起因する視認行動の変化の発生は、漏れ無く検出可能となる。 Further, as described above, when the position of the vanishing point changes, the detection result of the driver DR's face orientation surely changes. As a result, a clear change may occur in the visual recognition frequency of the visual object and the visual pattern of the visual object based on the detection result of the face orientation. Therefore, if it is determined whether or not there is a change in the viewing behavior of the driver DR based on the changes in the viewing frequency and the viewing pattern, the occurrence of the change in the viewing behavior due to the position change of the vanishing point can be detected without omission. Become.
加えて第一実施形態では、左右のうちで運転者DRから遠い左側のサイドミラー111を視認する行動の態様変化に基づき、消失点の位置変化に伴う視認行動全体の変化の有無が判定される。例えば、右側のサイドミラー112を視認する場合、主に眼球運動による視線移動だけでも可能であるため、首振りによる顔向きの変化は小さくなる。一方で、左側のサイドミラー111を視認する場合、眼球運動による視線移動だけでは移動量が不足するため、首振りによる明確な顔向きの変化が生じる。
In addition, in the first embodiment, whether or not there is a change in the entire visual behavior due to the change in the position of the vanishing point is determined based on the behavior change of the behavior of visually recognizing the
以上の理由により、図10に示すように、左側のサイドミラー111の視認行動を検出する場合の誤検出及び未検出は、右側のサイドミラー112の視認行動を検出する場合の誤検出及び未検出よりも、確実に低減される。このように、左側のサイドミラー111を視認する行動は、高精度に検出され易い。そのため、左側のサイドミラー111を視認する行動の態様変化に基づくことで、行動判定部77は、運転者DRの視認行動全体の態様変化の発生も、精度良く判定可能となる。
For the above reasons, as shown in FIG. 10, erroneous detection and non-detection when detecting the visual behavior of the
さらに第一実施形態の行動判定部77は、走行区間判定部73の判定結果を用いることによっても、運転者DRの視認行動の変化を判定できる。上述したように、消失点の位置変化は、主にカーブ区間及び坂道区間にて発生する。故に、道路の形状情報を用いて、カーブ区間又は坂道区間の走行を特定すれば、行動判定部77は、消失点の位置変化に起因した視認行動の変化の発生を、正確且つ遅延無く判定することができる。
Furthermore, the
加えて第一実施形態では、顔向きの検出結果をプロットした視認点VPの位置情報は、第一記憶領域46aに蓄積されて、視認対象物の位置の特定に用いられる。このように視認点VPの位置情報を継続的に蓄積すれば、視認対象物の位置は、さらに精度良く特定され得る。その結果、視認行動の態様変化の判定精度、及び視認対象物の視認回数の計数精度は、共に向上可能となる。
In addition, in the first embodiment, the position information of the visual recognition point VP on which the face orientation detection result is plotted is accumulated in the
また第一実施形態では、走行区間判定部73にて直線区間でないと判定された期間に取得される視認点VPの位置情報は、第一記憶領域46aに蓄積されない。こうした処理によれば、第一記憶領域46aには、消失点の位置変化が実質的に生じていない期間における視認点VPの位置情報のみが蓄積される。故に、第一記憶領域46aに蓄積された位置情報に基づくことで、視認対象物の位置は、直線区間にていっそう正確に特定可能となる。
In the first embodiment, the position information of the visual recognition point VP acquired during the period determined by the traveling
さらに第一実施形態では、運転者DRの視認行動が変化したと判定された場合に、視認回数の計数に用いられる各閾値が変更される。以上によれば、計数処理部76は、運転者DRの視認行動の変化に合わせて適確な閾値を選択し、視認対象物の視認回数を精度良く計数し続けることが可能となる。
Furthermore, in 1st embodiment, when it determines with driver | operator DR's visual recognition behavior having changed, each threshold value used for counting the frequency | count of visual recognition is changed. According to the above, the
加えて第一実施形態では、車両110が実質的に停止状態にある場合、計数処理は中断される。このように、車両110が走行状態に無ければ、視認行動に係る運転者DRへの警告は、運転者DRにとって煩わしく、実質的に不要である。そのため、停止状態であれば、警告の中断に合わせて計数処理も中断されることが望ましい。
In addition, in the first embodiment, the counting process is interrupted when the
また第一実施形態では、顔向き検出部11の加速度センサ14にて検出された加速度データが、停止判定部74の停止判定に活用されている。このように、頭部HDの挙動検出を行う既存の構成を利用すれば、顔向き推定システム100の複雑化を回避しつつ、停止状態の判定が精度良く実施可能となる。
In the first embodiment, acceleration data detected by the
さらに第一実施形態において、運転者DRの頭部HDに装着されたジャイロセンサ13の計測データに基づき、運転者DRの顔向きが推定される。このように頭部HDと一体的に動くジャイロセンサ13は、頭部HDの動きを忠実に検出し得る。その結果、推定される運転者DRの顔向きの精度も、確保され易くなる。
Furthermore, in the first embodiment, the face direction of the driver DR is estimated based on the measurement data of the
また第一実施形態のように、顔向き検出部11がメガネ10aに搭載される形態であれば、顔向き検出部11は、頭部HDに対してずれ難く、頭部HDの動きを確実に検出できる。したがって、メガネ10aに顔向き検出部11を搭載する形態は、視認対象物の視認回数を計数する処理の精度向上に寄与し得る。
Further, as in the first embodiment, if the face
尚、第一実施形態において、第一記憶領域46aが「記憶領域」に相当し、運転者情報取得部71が「顔向き情報取得部」に相当し、車載デバイス40が「顔向き推定装置」に相当し、車両110が「移動体」に相当する。
In the first embodiment, the
(第二実施形態)
図11に示す本発明の第二実施形態による顔向き推定システム200は、第一実施形態の変形例である。第二実施形態の顔向き推定システム200では、運転者DR(図2参照)の顔向きを推定する各処理が主にウェアラブルデバイス210によって実施される。車載デバイス240は、取得した車速情報及び道路の形状情報を、無線通信によって通信ユニット47からウェアラブルデバイス210に送信する。
(Second embodiment)
A face
ウェアラブルデバイス210は、第一実施形態と同様のメガネ型のモーションセンサデバイスである(図3参照)。ウェアラブルデバイス210の検出回路220は、第一実施形態と実質同一の顔向き検出部11、通信ユニット17、操作部18、及びバッテリ19に加えて、ウェアラブル制御部215及び振動通知部218を備えている。
The wearable device 210 is a glasses-type motion sensor device similar to the first embodiment (see FIG. 3). The
ウェアラブル制御部215は、プロセッサ215a、RAM、及び入出力インターフェース等を主体とするマイクロコンピュータ、並びにメモリ216等によって構成されている。メモリ216には、第一実施形態の各記憶領域46a,46b(図1参照)に相当する第一記憶領域216aと第二記憶領域216bとが確保されている。
The
ウェアラブル制御部215は、第一実施形態の車載制御部45(図1参照)と同様に、メモリ216に記憶された顔向き推定プログラムをプロセッサ215aによって実行する。その結果、ウェアラブル制御部215には、第一実施形態と実質同一の複数の機能ブロック(71〜78,図4参照)が構築される。
The
ウェアラブル制御部215に構築される運転者情報取得部71(図4参照)は、顔向き検出部11から直接的に検出結果を取得可能である。一方、ウェアラブル制御部215に構築される走行情報取得部72(図4参照)は、通信ユニット17によって受信された車速情報及び道路の形状情報を取得する。
The driver information acquisition unit 71 (see FIG. 4) constructed in the
ウェアラブル制御部215に構築される警告制御部78(図4参照)は、異常状態であるとの判定した場合に、警告実施を指令する指令信号を振動通知部218へ向けて出力する。その結果、振動通知部218の振動により、運転者DR(図2参照)へ向けた警告が実施される。
The warning control unit 78 (see FIG. 4) constructed in the
ここまで説明した第二実施形態のように、顔向き推定のための各処理がウェアラブルデバイス210で実施されても、計数処理は、運転者DRの視認行動の変化に対応した内容に変更され得る。したがって、第一実施形態と同様に、第一消失点の位置変化に起因して運転者DRの視認行動が変化しても、運転者が視認対象物を視認した回数は、精度良く計数可能となる。尚、第二実施形態では、ウェアラブルデバイス210が「顔向き推定装置」に相当する。 As in the second embodiment described so far, even when each process for estimating the face orientation is performed by the wearable device 210, the counting process can be changed to a content corresponding to a change in the driver's DR visual behavior. . Therefore, similarly to the first embodiment, even if the driver DR's visual behavior changes due to the position change of the first vanishing point, the number of times the driver visually recognized the visual target can be accurately counted. Become. In the second embodiment, the wearable device 210 corresponds to a “face orientation estimating device”.
(他の実施形態)
以上、本開示による複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
(Other embodiments)
Although a plurality of embodiments according to the present disclosure have been described above, the present disclosure is not construed as being limited to the above embodiments, and can be applied to various embodiments and combinations without departing from the gist of the present disclosure. can do.
上記実施形態において、顔向き推定に係る各処理は、車載デバイス及びウェアラブルデバイスのいずれか一方で実施されていた。しかし、顔向き推定に係る各処理は、車載デバイス及びウェアラブルデバイスの各プロセッサによって分散実施されてよい。こうした形態では、顔向き推定システムが「顔向き推定装置」に相当する。また、上記実施形態にてプロセッサによって提供されていた各機能は、上述の構成とは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによっても提供可能である。さらに、車載デバイスは、例えば運転者によって車内に持ち込まれるスマートフォン及びタブレット等の携帯端末等であってもよい。 In the said embodiment, each process which concerns on face orientation estimation was implemented in either one of a vehicle-mounted device and a wearable device. However, each process related to face orientation estimation may be performed in a distributed manner by each processor of the in-vehicle device and the wearable device. In such a form, the face orientation estimation system corresponds to a “face orientation estimation device”. In addition, each function provided by the processor in the above embodiment can be provided by hardware and software different from the above-described configuration, or a combination thereof. Further, the in-vehicle device may be, for example, a mobile terminal such as a smartphone and a tablet brought into the vehicle by the driver.
上記第二実施形態のウェアラブルデバイス210(図11参照)は、無線通信によって車速情報及び道路の形状情報を取得していた。しかし、ウェアラブルデバイスは、これら車速情報及び道路の形状情報を用いることなく、顔向き推定に係る各処理を実施してもよい。 The wearable device 210 (see FIG. 11) of the second embodiment acquires vehicle speed information and road shape information by wireless communication. However, the wearable device may perform each process related to face orientation estimation without using the vehicle speed information and the road shape information.
上記第一実施形態の車載デバイスが例えばナビゲーション装置から車両の予定走行経路を取得可能であれば、例えば右左折を実施するシーンでも、カーブ区間の判定と同様に、走行区間判定部は、直線区間でないと判定することが可能である。こうした形態であれば、右左折を実施するシーンにて、サイドミラーの見落としを適確に警告することができる。 If the in-vehicle device of the first embodiment can acquire the planned travel route of the vehicle from the navigation device, for example, even in a scene where a right / left turn is performed, the travel section determination unit is a straight section as in the determination of the curve section. It is possible to determine that it is not. In such a form, it is possible to accurately warn of an oversight of the side mirror in a scene where a right or left turn is performed.
上記実施形態の顔向き検出部は、複数のセンサ12〜14を有していた。しかし、眼球運動による視線方向の変化を考慮しない形態であれば、眼電位センサは、顔向き検出部から省略可能である。また、車速情報のみによって停止判定を実施する形態であれば、加速度センサは、顔向き検出部から省略可能である。さらに、上記とは異なる他のセンサ、例えば磁気センサ及び温度センサ等が、顔向き検出部に含まれていてもよい。
The face orientation detection unit of the above embodiment has a plurality of
上記実施形態では、ウェアラブルデバイスとして、メガネ型の構成が例示されていた。しかし、ウェアラブルデバイスは、首よりも上の頭部に取り付け可能な構成であれは、メガネ型の構成に限定されない。例えば、帽子等に取り付けられるバッジ型のウェアラブルデバイス、又は耳の後方に引っ掛けられる耳掛け型のウェアラブルデバイスが、顔向き推定システムに採用可能である。さらに、運転者の顔向きを検出する構成は、ウェアラブルデバイスに限定されない。例えば、運転者の顔を撮影するカメラが顔向き検出部として顔向き推定システムに設けられていてもよい。こうした形態では、例えば車載制御部は、カメラにて撮像された画像から、画像解析によって顔向きを検出する処理を実施する。 In the said embodiment, the spectacles-type structure was illustrated as a wearable device. However, the wearable device is not limited to the glasses-type configuration as long as it can be attached to the head above the neck. For example, a badge-type wearable device attached to a hat or the like, or an ear-mounted wearable device that is hooked behind the ear can be employed in the face orientation estimation system. Furthermore, the configuration for detecting the driver's face orientation is not limited to the wearable device. For example, a camera for photographing the driver's face may be provided in the face direction estimation system as a face direction detection unit. In such a form, for example, the in-vehicle control unit performs a process of detecting the face orientation by image analysis from the image captured by the camera.
しかしながら、ウェアラブルデバイスの採用によれば、カメラを設置する場所の確保は不要となる。また、運転者が装着する通常のメガネやサングラス、或いは強い外光等に起因して、カメラの画像を用いた顔向きの検出が困難となる事態も回避される。 However, according to the use of the wearable device, it is not necessary to secure a place for installing the camera. In addition, it is possible to avoid a situation in which it is difficult to detect the face orientation using the image of the camera due to normal glasses or sunglasses worn by the driver or strong external light.
上記実施形態の行動判定部は、左側のサイドミラーの視認頻度及び視認パターンの変化を検出することで、運転者の視認行動の変化を判定していた。しかし、行動判定部は、例えば、所定の期間内にて、左右に並ぶ各サイドミラーを視認した視認回数の割合が変化した場合に、運転者の視認行動が変化したと判定してもよい。また、ステアリングが車両の左側に配置されている場合には、行動判定部は、運転者から遠い側のサイドミラーとして、右側のサイドミラーの視認頻度及び視認パターンの変化を検出することで、運転者の視認行動の変化を判定することが望ましい。 The behavior determination unit of the above embodiment determines the change in the driver's visual behavior by detecting the change in the visual frequency and the visual pattern of the left side mirror. However, the behavior determination unit may determine that the driver's visual behavior has changed, for example, when the ratio of the number of times of visual recognition of the side mirrors arranged side by side changes within a predetermined period. Further, when the steering is disposed on the left side of the vehicle, the behavior determination unit detects a change in the viewing frequency and the viewing pattern of the right side mirror as a side mirror far from the driver, thereby driving It is desirable to determine a change in a person's visual behavior.
上記実施形態では、ディスプレイ及びメータ等も視認対象物として位置を特定されていたが、位置を特定される視認対象物は、左右のサイドミラー及びバックミラーだけであってもよい。また、他の車両の構成が視認対象物として位置を特定されてもよい。さらに、左右のサイドミラーに替えて、電子ミラーの画面が視認対象物として位置を特定されてもよい。 In the above-described embodiment, the position of the display and the meter is specified as the visual recognition object, but the visual recognition object whose position is specified may be only the left and right side mirrors and the rearview mirror. Moreover, the position of the configuration of another vehicle may be specified as the visual recognition object. Furthermore, instead of the left and right side mirrors, the position of the screen of the electronic mirror may be specified as the visual recognition object.
上記実施形態では、車両が概ね停止状態にある場合に、異常判定に基づく警告の実施、及び計数処理部による各処理は、中断された。しかし、例えば運転者の視線方向をプロットする処理は、車両が停止状態にある場合でも、継続されてよい。さらに、ロケータの受信する測位信号の推移に基づいて、停止判定が実施されてもよい。 In the above embodiment, when the vehicle is almost stopped, the warning based on the abnormality determination and each process by the count processing unit are interrupted. However, for example, the process of plotting the driver's line-of-sight direction may be continued even when the vehicle is stopped. Furthermore, stop determination may be performed based on the transition of the positioning signal received by the locator.
上記実施形態では、プロット処理によって取得された視認点VPの位置情報が、第一記憶領域及び第二記憶領域に分類されて、蓄積されていた。しかし、位置情報の分類及び蓄積は、実施されなくてもよい。また、第一記憶領域及び第二記憶領域が設けられる記憶媒体は、フラッシュメモリに限定されず、ハードディスクドライブ等の他の記憶媒体であってもよい。 In the above embodiment, the position information of the visual recognition point VP acquired by the plot processing is classified and accumulated in the first storage area and the second storage area. However, the classification and accumulation of position information may not be performed. Further, the storage medium in which the first storage area and the second storage area are provided is not limited to the flash memory, and may be another storage medium such as a hard disk drive.
上記実施形態では、消失点に対応する集合部61(図5及び図6参照)の位置をゼロ点として規定し、上下方向及び左右方向の顔向き及び視線方向を数値化していた(図7及び図8参照)。そのため、視認回数を計数する場合の各閾値も、消失点に対応する集合部の位置を基準に設定されていた。しかし、例えばウインドシールドの特定位置(例えば中央位置)を基準にして顔向き及び視線方向を数値化する形態であれば、各閾値も、ウインドシールドの特定位置を基準に設定されてよい。 In the above-described embodiment, the position of the collection unit 61 (see FIGS. 5 and 6) corresponding to the vanishing point is defined as a zero point, and the face direction and the line-of-sight direction in the vertical and horizontal directions are quantified (see FIGS. 7 and 7). (See FIG. 8). Therefore, each threshold when counting the number of visual recognitions is also set based on the position of the collective part corresponding to the vanishing point. However, for example, as long as the face direction and the line-of-sight direction are digitized based on a specific position (for example, the center position) of the windshield, each threshold value may be set based on the specific position of the windshield.
そして、本開示の顔向き推定方法を適用した処理は、上記実施形態とは異なる移動体においても、実施可能である。さらに、自動運転中の車両において自動運転機能を監視するオペレータも、運転者に該当し得る。 And the process which applied the face direction estimation method of this indication can be implemented also in the mobile body different from the said embodiment. Furthermore, an operator who monitors an automatic driving function in a vehicle during automatic driving can also correspond to a driver.
10,210 ウェアラブルデバイス(顔向き推定装置)、10a メガネ、11 顔向き検出部、13 ジャイロセンサ、14 加速度センサ、40,240 車載デバイス(顔向き推定装置)、45a,215a プロセッサ、46a,216a 第一記憶領域(記憶領域)、71 運転者情報取得部(顔向き情報取得部)、72 走行情報取得部、73 走行区間判定部、74 停止判定部、76 計数処理部、77 行動判定部、110 車両(移動体)、111,112 サイドミラー、DR 運転者、HD 頭部 10,210 Wearable device (face orientation estimation device), 10a glasses, 11 face orientation detection unit, 13 gyro sensor, 14 acceleration sensor, 40, 240 vehicle-mounted device (face orientation estimation device), 45a, 215a processor, 46a, 216a first One storage area (storage area), 71 Driver information acquisition unit (face orientation information acquisition unit), 72 Travel information acquisition unit, 73 Travel section determination unit, 74 Stop determination unit, 76 Count processing unit, 77 Behavior determination unit, 110 Vehicle (moving body), 111, 112 Side mirror, DR driver, HD head
Claims (13)
前記顔向き情報取得部の取得した前記検出結果に基づき、前記移動体に設置された視認対象物を前記運転者が視認した回数を計数する計数処理部(76)と、
前記運転者の視認する前景中での消失点の位置変化に起因して前記視認対象物を視認する前記運転者の視認行動が変化したか否かを判定する行動判定部(77)と、を備え、
前記計数処理部は、前記行動判定部にて前記運転者の視認行動が変化したと判定された場合に、前記消失点の位置変化に合わせて計数処理の内容を変更する顔向き推定装置。 A face orientation information acquisition unit (71) for acquiring a detection result of detecting the face orientation of the driver (DR) driving the mobile body (110);
Based on the detection result acquired by the face orientation information acquisition unit, a count processing unit (76) that counts the number of times the driver visually recognizes the visual target object installed on the moving body;
An action determination unit (77) for determining whether or not the driver's visual behavior that visually recognizes the visual target object has changed due to a change in position of the vanishing point in the foreground visually recognized by the driver; Prepared,
The counting processing unit is a face direction estimating device that changes the content of the counting process in accordance with a change in position of the vanishing point when the behavior determining unit determines that the driver's visual behavior has changed.
前記行動判定部は、左右のうちで前記運転者から遠い側の前記サイドミラーを視認する行動の態様変化に基づき、前記運転者による視認行動が変化したか否かを判定する請求項2又は3に記載の顔向き推定装置。 The visual objects include left and right side mirrors (111, 112) installed in a vehicle as the moving body,
The said action determination part determines whether the visual recognition action by the said driver changed based on the mode change of the action which visually recognizes the said side mirror far from the said driver among right and left. The face direction estimation apparatus according to claim 1.
前記行動判定部は、前記形状情報に基づき前記移動体がカーブ区間又は坂道区間を走行している場合に、前記運転者の視認行動が変化していると判定する請求項1〜4のいずれか一項に記載の顔向き推定装置。 A travel information acquisition unit (72) for acquiring shape information of a road on which the mobile body is scheduled to travel;
The said action determination part determines that the driver | operator's visual recognition behavior is changing, when the said mobile body is drive | working the curve area or the slope section based on the said shape information. The face direction estimation apparatus according to one item.
前記計数処理部は、前記記憶領域に蓄積された前記検出結果に基づいて前記視認対象物の位置を特定する請求項1〜5のいずれか一項に記載の顔向き推定装置。 A storage area (46a, 216a) for accumulating the detection results acquired by the face orientation information acquisition unit;
The face direction estimation apparatus according to claim 1, wherein the counting processing unit specifies a position of the visual recognition object based on the detection result accumulated in the storage area.
前記走行区間判定部にて直線区間でないと判定された期間に取得される顔向きの前記検出結果は、前記記憶領域に蓄積される対象から除外される請求項6に記載の顔向き推定装置。 A travel section determination unit (73) for determining whether or not the mobile body is traveling in a straight section;
The face orientation estimation apparatus according to claim 6, wherein the detection result of the face orientation acquired in a period determined not to be a straight section by the travel section determination unit is excluded from a target accumulated in the storage area.
前記計数処理部は、前記停止判定部にて前記移動体が停止状態にあると判定された場合に、計数処理を中断する請求項1〜8のいずれか一項に記載の顔向き推定装置。 A stop determination unit (74) for determining whether or not the moving body is in a stopped state;
The face direction estimation apparatus according to any one of claims 1 to 8, wherein the counting processing unit interrupts counting processing when the stop determination unit determines that the moving body is in a stopped state.
前記停止判定部は、前記加速度センサにて検出された計測データに基づいて、前記移動体が停止状態にあるか否かを判定する請求項9に記載の顔向き推定装置。 The face orientation information acquisition unit acquires measurement data of an acceleration sensor (14) that is mounted on the driver's head (HD) and measures acceleration acting on the head,
The face orientation estimation apparatus according to claim 9, wherein the stop determination unit determines whether or not the moving body is in a stop state based on measurement data detected by the acceleration sensor.
少なくとも一つのプロセッサ(45a,215a)は、
前記運転者の顔向きを検出する顔向き検出部(11)の検出結果に基づき、前記移動体に設置された視認対象物を前記運転者が視認した回数を計数し(S107)、
前記運転者の視認する前景中での消失点の位置変化に起因して前記視認対象物を視認する前記運転者の視認行動が変化したか否かを判定し(S105)、
前記運転者の視認行動が変化したと判定された場合に、前記消失点の位置変化に合わせて計数処理の内容を変更する(S106)顔向き推定方法。 A face orientation estimation method for estimating a face orientation of a driver (DR) driving a mobile body (110),
At least one processor (45a, 215a)
Based on the detection result of the face direction detection unit (11) that detects the face direction of the driver, the number of times the driver visually recognizes the visual target object installed on the moving body is counted (S107),
It is determined whether or not the driver's visual behavior that visually recognizes the visual target object has changed due to a change in the position of the vanishing point in the foreground visually recognized by the driver (S105),
When it is determined that the driver's visual behavior has changed, the content of the counting process is changed in accordance with the position change of the vanishing point (S106).
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101244A JP6673005B2 (en) | 2016-05-20 | 2016-05-20 | Face orientation estimation apparatus and face orientation estimation method |
PCT/JP2017/016322 WO2017199709A1 (en) | 2016-05-20 | 2017-04-25 | Face orientation estimation device and face orientation estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016101244A JP6673005B2 (en) | 2016-05-20 | 2016-05-20 | Face orientation estimation apparatus and face orientation estimation method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017208007A true JP2017208007A (en) | 2017-11-24 |
JP2017208007A5 JP2017208007A5 (en) | 2019-06-06 |
JP6673005B2 JP6673005B2 (en) | 2020-03-25 |
Family
ID=60325010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016101244A Active JP6673005B2 (en) | 2016-05-20 | 2016-05-20 | Face orientation estimation apparatus and face orientation estimation method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6673005B2 (en) |
WO (1) | WO2017199709A1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019114084A (en) * | 2017-12-25 | 2019-07-11 | いすゞ自動車株式会社 | Driving state determination device and driving state determination method |
JP2019200456A (en) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | Program, information processing device, and information processing method |
JP2020027315A (en) * | 2018-08-09 | 2020-02-20 | トヨタ自動車株式会社 | Driver information determination device |
WO2022014068A1 (en) * | 2020-07-15 | 2022-01-20 | 株式会社Jvcケンウッド | Video processing device and video processing method |
US11373502B2 (en) | 2018-01-31 | 2022-06-28 | Denso Corporation | Vehicle alert apparatus |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07296299A (en) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | Image processor and warning device against doze at the wheel using the same |
WO2013051306A1 (en) * | 2011-10-06 | 2013-04-11 | 本田技研工業株式会社 | Visually-distracted-driving detection device |
JP2014048885A (en) * | 2012-08-31 | 2014-03-17 | Daimler Ag | Diminished attentiveness detection system |
JP2016074410A (en) * | 2014-10-07 | 2016-05-12 | 株式会社デンソー | Head-up display device and head-up display display method |
-
2016
- 2016-05-20 JP JP2016101244A patent/JP6673005B2/en active Active
-
2017
- 2017-04-25 WO PCT/JP2017/016322 patent/WO2017199709A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07296299A (en) * | 1994-04-20 | 1995-11-10 | Nissan Motor Co Ltd | Image processor and warning device against doze at the wheel using the same |
WO2013051306A1 (en) * | 2011-10-06 | 2013-04-11 | 本田技研工業株式会社 | Visually-distracted-driving detection device |
JP2014048885A (en) * | 2012-08-31 | 2014-03-17 | Daimler Ag | Diminished attentiveness detection system |
JP2016074410A (en) * | 2014-10-07 | 2016-05-12 | 株式会社デンソー | Head-up display device and head-up display display method |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019114084A (en) * | 2017-12-25 | 2019-07-11 | いすゞ自動車株式会社 | Driving state determination device and driving state determination method |
JP7127282B2 (en) | 2017-12-25 | 2022-08-30 | いすゞ自動車株式会社 | Driving state determination device and driving state determination method |
US11373502B2 (en) | 2018-01-31 | 2022-06-28 | Denso Corporation | Vehicle alert apparatus |
JP2019200456A (en) * | 2018-05-14 | 2019-11-21 | 富士通株式会社 | Program, information processing device, and information processing method |
JP7152651B2 (en) | 2018-05-14 | 2022-10-13 | 富士通株式会社 | Program, information processing device, and information processing method |
JP2020027315A (en) * | 2018-08-09 | 2020-02-20 | トヨタ自動車株式会社 | Driver information determination device |
JP7067353B2 (en) | 2018-08-09 | 2022-05-16 | トヨタ自動車株式会社 | Driver information judgment device |
WO2022014068A1 (en) * | 2020-07-15 | 2022-01-20 | 株式会社Jvcケンウッド | Video processing device and video processing method |
Also Published As
Publication number | Publication date |
---|---|
WO2017199709A1 (en) | 2017-11-23 |
JP6673005B2 (en) | 2020-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017199709A1 (en) | Face orientation estimation device and face orientation estimation method | |
CN107336710B (en) | Drive consciousness estimating device | |
EP2564766B1 (en) | Visual input of vehicle operator | |
EP2893867B1 (en) | Detecting visual inattention based on eye convergence | |
EP2535224B1 (en) | Driving support equipment for vehicles | |
US8264531B2 (en) | Driver's state monitoring system using a camera mounted on steering wheel | |
JP5184596B2 (en) | Armpit judging device | |
US20180229654A1 (en) | Sensing application use while driving | |
JP6350145B2 (en) | Face orientation detection device and vehicle warning system | |
US10803294B2 (en) | Driver monitoring system | |
CN103568992B (en) | Equipment for the driver's location sound image for vehicle and method | |
JP6187155B2 (en) | Gaze target estimation device | |
EP3654143B1 (en) | Method, apparatus and system for determining line of sight, and wearable eye movement device | |
JP2014515847A (en) | Driver alertness determination system and method | |
CN110544368B (en) | Fatigue driving augmented reality early warning device and early warning method | |
EP2564776A1 (en) | Method, system and computer readable medium embodying a computer program product for determining a vehicle operator's expectation of a state of an object | |
JP2019088522A (en) | Information processing apparatus, driver monitoring system, information processing method, and information processing program | |
CN109690653A (en) | Concentration degree decision maker, concentration degree determination method and the program determined for concentration degree | |
JP2021140423A (en) | Vehicle controller | |
JP4345526B2 (en) | Object monitoring device | |
KR101872477B1 (en) | Vehicle | |
JP2004037220A (en) | Handling stability evaluation device of vehicle, handling stability evaluation method of vehicle, and program for handling stability evaluation of vehicle | |
JP2018094294A (en) | State estimation system | |
JP7396929B2 (en) | Vehicle control devices, information processing devices, and vehicle control systems | |
JP7383549B2 (en) | Image recording system and image recording method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6673005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |