JP2021028803A - Reference position determining device - Google Patents
Reference position determining device Download PDFInfo
- Publication number
- JP2021028803A JP2021028803A JP2019148006A JP2019148006A JP2021028803A JP 2021028803 A JP2021028803 A JP 2021028803A JP 2019148006 A JP2019148006 A JP 2019148006A JP 2019148006 A JP2019148006 A JP 2019148006A JP 2021028803 A JP2021028803 A JP 2021028803A
- Authority
- JP
- Japan
- Prior art keywords
- reference position
- face
- vehicle speed
- series data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、顔の位置に基づいて運転者の状態を判定するための範囲の基準を決定する基準位置決定装置に関する。 The present invention relates to a reference position determining device that determines a range reference for determining a driver's condition based on the position of a face.
車両を運転する運転者の顔が、所定の基準範囲に入っていない場合、運転者の状態を異常状態と判定する技術が開示されている(例えば、特許文献1を参照)。 A technique for determining a driver's condition as an abnormal condition when the face of the driver driving the vehicle is not within a predetermined reference range is disclosed (see, for example, Patent Document 1).
運転者の顔の位置は、運転者が異常状態でなくとも、運転者の姿勢や車両が走行する道路の状況などに応じて変化することがある。そのため、運転者の顔の位置の変化に依らない基準位置に基づいて運転者の状態を判定する状態判定範囲を設定した場合、運転者の顔の位置が変化すると状態判定範囲に含まれなくなることがある。この場合、運転者の状態を判定する状態判定装置が、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうおそれがある。 The position of the driver's face may change depending on the posture of the driver and the condition of the road on which the vehicle travels, even if the driver is not in an abnormal state. Therefore, when the state judgment range for judging the driver's state is set based on the reference position that does not depend on the change in the position of the driver's face, the state judgment range is not included when the position of the driver's face changes. There is. In this case, the state determining device for determining the driver's state may erroneously determine that the driver is in an abnormal state even though the driver is in a normal state.
そこで、本発明はこれらの点に鑑みてなされたものであり、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうことを低減する技術を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide a technique for reducing erroneous determination that the driver is in an abnormal state even though the driver is in a normal state. And.
本発明の第1の態様においては、車両を運転する運転者を撮像した撮像画像における運転者の顔の位置の時間変化を示す顔位置時系列データを取得する顔位置情報取得部と、前記車両の車速の時間変化を示す車速時系列データを取得する車速情報取得部と、前記運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する区間設定部と、前記区間設定部が設定した前記区間内の前記車速時系列データのうち所定車速以上である車速に対応する前記顔位置時系列データの前記顔の位置により得られる顔の位置の統計量に基づいて前記顔の位置の基準位置を決定する基準位置決定部と、を備え、前記区間設定部は、前記顔位置情報取得部と前記車速情報取得部とが新たな時系列データを取得したことを契機として、前記新たな時系列データを含む区間を設定し、前記基準位置決定部は、前記区間設定部が前記区間を設定したことを契機として新たな前記基準位置を決定する基準位置決定装置を提供する。 In the first aspect of the present invention, the face position information acquisition unit that acquires face position time series data indicating the time change of the driver's face position in the captured image of the driver who drives the vehicle, and the vehicle. A vehicle speed information acquisition unit that acquires vehicle speed time series data indicating a time change of the vehicle speed, a section setting unit that sets a section of time series data for determining a reference position of the driver's face position, and the section. Among the vehicle speed time series data in the section set by the setting unit, the face position based on the statistic of the face position obtained by the face position of the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. The section setting unit is provided with a reference position determining unit for determining the reference position of the position of the above, and the section setting unit is triggered by the acquisition of new time series data by the face position information acquisition unit and the vehicle speed information acquisition unit. A section including the new time-series data is set, and the reference position determination unit provides a reference position determination device that determines a new reference position when the section setting unit sets the section.
例えば、前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、所定範囲内である前記顔の位置の数が第2個数以上ある場合、新たな前記基準位置を決定する。 For example, in the reference position determining unit, the number of the face positions within a predetermined range is the second among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. If there are more than the number, a new reference position is determined.
前記基準位置決定装置は、前記車両が走行する道路の状況を示す道路情報を取得する道路情報取得部をさらに有し、前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、前記道路情報が示す前記状況に応じて定まる前記所定範囲内に含まれる前記顔の位置の数が前記第2個数以上ある場合、新たな前記基準位置を決定してもよい。 The reference position determining device further includes a road information acquisition unit that acquires road information indicating the condition of the road on which the vehicle travels, and the reference position determining unit has the face corresponding to a vehicle speed that is equal to or higher than the predetermined vehicle speed. When the number of the face positions included in the predetermined range determined according to the situation indicated by the road information is the second number or more among the plurality of face positions indicated by the position time series data, a new number is used. The reference position may be determined.
例えば、前記基準位置決定部は、決定した前記基準位置が前記顔の位置の基準として用いるか否かを判定するための使用判定範囲内に含まれる場合、新たな前記基準位置として決定する。 For example, when the determined reference position is included in the usage determination range for determining whether or not to use the determined reference position as a reference for the face position, the reference position determining unit determines as a new reference position.
例えば、前記基準位置決定部は、前記顔位置情報取得部及び前記車速情報取得部が前記車両の方向指示器が動作中に取得した時系列データを除いた時系列データにより得られる統計量に基づいて前記基準位置を決定する。 For example, the reference position determining unit is based on statistics obtained from time-series data excluding the time-series data acquired by the face position information acquisition unit and the vehicle speed information acquisition unit while the vehicle's turn signal is operating. To determine the reference position.
本発明によれば、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうことを低減できるという効果を奏する。 According to the present invention, it is possible to reduce the possibility that the driver erroneously determines that the driver is in an abnormal state even though the driver is in a normal state.
[実施の形態に係る車両Vの構成]
図1は、実施の形態に係る車両Vの構成を示す図である。実施の形態に係る車両Vは、基準位置決定装置1と、カメラモジュール2と、車速センサ3と、勾配検出部4とを有する。
[Structure of vehicle V according to the embodiment]
FIG. 1 is a diagram showing a configuration of a vehicle V according to an embodiment. The vehicle V according to the embodiment includes a reference
カメラモジュール2は、車両の運転者の顔を含む撮像画像を生成する撮像装置を含む。カメラモジュール2は、撮像画像に含まれる運転者の顔の位置を検出する。そして、カメラモジュール2は、検出した顔の位置を示す顔位置情報を出力する。顔位置情報は、撮像画像における顔の位置のX座標及びY座標を示す位置座標情報である。顔位置情報は、顔の向きを示す情報を含んでいてもよい。顔の向きを示す情報は、顔の上下を軸とした回転角を示すヨー、及び顔の左右を軸とした回転角を示すピッチである。また、顔位置情報は、奥行き方向の座標を含んでいてもよい。
The
車速センサ3は、車両Vの車速を検出するセンサである。車速センサ3は、検出した車速を示す車速情報を出力する。
The
勾配検出部4は、水平方向に対する車両の傾きを検出するジャイロセンサを含む。勾配検出部4は、ジャイロセンサが検出した車両Vの傾きに基づいて車両が走行する道路が上り勾配であるか、下り勾配であるか、平坦であるかを示す勾配情報を出力する。また、勾配検出部4は、道路の傾斜角を検出し、検出した傾斜角を含む勾配情報を出力してもよい。
The
基準位置決定装置1は、運転者の状態を判定するための範囲を設定するための基準を決定する装置である。基準位置決定装置1は、カメラモジュール2から運転者の顔の位置を取得し、運転者の顔の位置を取得する度に、所定期間内の顔の位置に基づいて顔の位置の基準位置を決定する。以下、基準位置決定装置1の構成を説明する。
The reference
基準位置決定装置1は、記憶部11と制御部12とを備える。記憶部11は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等を含む記憶媒体である。記憶部11は、制御部12が実行するプログラムを記憶する。
The reference
制御部12は、例えばCPU(Central Processing Unit)等のプロセッサを含む計算リソースである。制御部12は、記憶部11に記憶されたプログラムを実行することにより、顔位置情報取得部121、車速情報取得部122、道路情報取得部123、区間設定部124、及び基準位置決定部125としての機能を実現する。
The
顔位置情報取得部121は、運転者の顔の位置を示す顔位置情報をカメラモジュール2から取得する。顔位置情報取得部121は、取得した顔位置情報を、当該顔位置情報を取得した時刻を示す時刻情報に関連付けて記憶部11に記憶させる。具体的には、顔位置情報取得部121は、時刻情報と顔位置情報とを関連付けた顔位置時系列データとして記憶部11に記憶させる。
The face position
図2は、顔位置時系列データを示す模式図である。図2に示すように、顔位置時系列データは、顔の位置を取得した時刻を示す時刻情報と撮像画像における顔の位置を示す位置座標情報とを関連付けた、車両Vを運転する運転者を撮像した撮像画像における運転者の顔の位置の時間変化を示すデータである。 FIG. 2 is a schematic diagram showing face position time series data. As shown in FIG. 2, the face position time series data is a driver driving the vehicle V in which the time information indicating the time when the face position was acquired and the position coordinate information indicating the face position in the captured image are associated with each other. It is data which shows the time change of the position of the driver's face in the captured image.
顔位置情報取得部121は、記憶部11に記憶させた顔位置時系列データを取得する。具体的には、顔位置情報取得部121は、カメラモジュール2から取得した新たな顔位置情報を顔位置時系列データとして記憶させた後に、新たな顔位置情報を含む位置時系列データを取得する。
The face position
車速情報取得部122は、車両Vの車速を示す車速情報を車速センサ3から取得する。車速情報取得部122は、取得した車速情報を、当該車速情報を取得した時刻を示す時刻情報に関連付けて記憶部11に記憶させる。具体的には、車速情報取得部122は、時刻情報と車速情報とを関連付けた車速時系列データとして記憶部11に記憶させる。
The vehicle speed
図3は、車速時系列データを示す模式図である。図3に示すように、車速時系列データは、車速情報を取得した時刻を示す時刻情報と当該車速情報とを関連付けた、車両Vの車速の時間変化を示すデータである。 FIG. 3 is a schematic diagram showing vehicle speed time series data. As shown in FIG. 3, the vehicle speed time series data is data indicating a time change of the vehicle speed of the vehicle V in which the time information indicating the time when the vehicle speed information is acquired is associated with the vehicle speed information.
車速情報取得部122は、記憶部11に記憶させた車速時系列データを取得する。具体的には、車速情報取得部122は、車速センサ3から取得した新たな車速情報を車速時系列データとして記憶させた後に、新たな車速情報を含む車速時系列データを取得する。
The vehicle speed
道路情報取得部123は、車両Vが走行する道路の状況を示す道路情報を取得する。例えば、道路情報取得部123は、勾配検出部4から、道路の勾配を示す勾配情報を道路情報として取得する。また、道路情報取得部123は、道路の傾斜角を含む勾配情報を取得してもよい。
The road
区間設定部124は、運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する。区間設定部124は、顔位置情報取得部121と車速情報取得部122とが新たな時系列データを取得したことを契機として、新たな時系列データを含む区間を設定する。区間の長さは、例えば、顔の位置の基準位置を統計的に決定するために要する顔の数が含まれる長さに定められる。顔の位置の基準位置を統計的に決定できる数は、例えば180個である。180個のデータが含まれる区間の長さは、1秒間に1回の割合で顔の位置を取得する場合、3分間である。
The
区間設定部124は、顔位置情報取得部121が新たな顔位置情報(図2に示す、時刻tjに関連付けられた顔の位置(xj、yj))を含む顔位置時系列データを取得した場合、新たな顔位置情報を含む区間Pを設定する。また、区間設定部124は、車速情報取得部122が新たな車速情報(図3に示す、時刻tjに関連付けられた車速Vj)を含む車速時系列データを取得した場合、新たな車速情報を含む区間Pを設定する。
When the
基準位置決定部125は、区間設定部124が設定した区間P内の時系列データのうち、顔の位置の統計量を算出するための積算条件を満たす時系列データにより得られる顔の位置の統計量に基づいて顔の位置の基準位置を決定する。顔の位置の統計量は、顔の位置の平均値、中央値、又は最頻値である。以下、統計量として平均値を算出する場合について説明する。
The reference
基準位置決定部125は、区間設定部124が設定した区間P内の車速時系列データのうち積算判定車速以上である車速に対応する顔位置時系列データの顔の位置により得られる顔の位置の統計量に基づいて、顔の位置の基準位置を決定する。積算判定車速は、車速を取得した時刻に関連付けられた顔の位置を、顔の位置の基準位置を算出するための積算値に含めるか否かを判定するための車速である。積算判定車速の具体的な値は、例えば時速60kmである。
The reference
運転者の姿勢や道路状況の変化は、車両が積算判定車速以上の車速で走行できる道路(例えば高速道路)を走行する場合、積算判定車速以上の車速で走行できない道路(例えば一般道路)を走行する場合よりも小さくなる。そのため、基準位置決定部125は、積算判定車速以上の車速に対応する顔の位置に基づいて基準位置を決定することにより、運転者の姿勢や道路状況の変化が小さい状態での顔の位置の基準位置を決定できる。
Changes in the driver's posture and road conditions indicate that when the vehicle travels on a road that can travel at a vehicle speed higher than the integrated judgment vehicle speed (for example, an expressway), it travels on a road that cannot travel at a vehicle speed higher than the integrated judgment vehicle speed (for example, a general road). It will be smaller than when you do. Therefore, the reference
図2及び図3に示す例を参照しながらより具体的に説明する。まず、基準位置決定部125は、図3に示す車速時系列データにおける区間P内の時刻tjに関連付けられた車速Vjが積算判定車速以上であるか否かを判定する。次に、基準位置決定部125は、車速Vjが積算判定車速以上である場合、図2に示す顔位置時系列データにおける区間P内の時刻tjに関連付けられた顔の位置(xj、yj)が積算判定範囲内に含まれるか否かを判定する。積算判定範囲は、顔の位置を積算値に含めるか否かを判定するための範囲である。判定するための範囲は、撮像画像の大きさに対して所定割合小さくした範囲である。所定割合の具体的な値は、例えば1割である。
A more specific description will be given with reference to the examples shown in FIGS. 2 and 3. First, the reference
そして、基準位置決定部125は、顔の位置(xj、yj)が積算判定範囲内に含まれる場合、当該顔の位置を、基準位置を算出するための積算値に加算する。基準位置決定部125は、車速時系列データにおける区間P内に含まれる車速それぞれについて積算判定車速以上であるか否かを判定し、積算判定車速以上である複数の車速それぞれに対応する顔の位置を積算値に加算する。なお、基準位置決定部125は、顔の位置を積算値に加算する場合、顔の位置のx座標の基準位置を決定するための積算値に顔の位置のx座標の値を加算する。また、基準位置決定部125は、顔の位置のy座標の基準位置を決定するための積算値に顔の位置のy座標の値を加算する。
Then, when the face position (xj, yj) is included in the integration determination range, the reference
基準位置決定部125は、顔位置情報取得部121が顔の向きを示す情報を取得した場合、顔の向きが所定角度範囲内であるか否かを判定する。基準位置決定部125は、顔の向きが所定角度範囲内である場合、所定角度範囲内である顔の向きである顔の位置を積算値に加算する。所定角度範囲は、顔の位置を積算値に含めるか否かを判定するための範囲であり、ヨー及びピッチそれぞれ異なる範囲が設定される。
When the face position
基準位置決定部125は、区間設定部124が区間Pを設定したことを契機として新たな基準位置を決定する。以下説明において、基準位置決定部125が新たな基準位置を決定することを、基準位置を更新するということがある。例えば、基準位置決定部125は、区間設定部124が設定した区間P内の顔の位置のうち、予め定められた条件を満たす顔の位置の数が判定個数以上あるか否かに基づいて基準位置を更新するか否かを決定する。
The reference
具体的には、基準位置決定部125は、積算判定車速以上である車速に対応する顔位置時系列データが示す複数の顔の位置のうち、積算判定範囲内である顔の位置の数が、判定個数以上ある場合、基準位置を更新する。判定個数は、基準位置を更新するか否かを決定するために必要なデータの数である。基準位置を更新するか否かを決定するために必要な顔の位置の数の具体的な値は、例えば120個である。なお、120個の顔の位置は、1秒間に1回の割合で顔の位置を取得する場合において2分間の顔位置時系列データに相当する。
Specifically, the reference
基準位置決定部125は、道路情報に基づいて基準位置を更新するか否かを決定してもよい。例えば、基準位置決定部125は、道路情報取得部123が取得した道路情報が示す状況に応じて定まる積算判定範囲内に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。基準位置決定部125は、道路情報が示す状況に応じて定まる積算判定範囲内に含まれる顔の位置の数が判定個数未満である場合、基準位置を更新しない。
The reference
道路の勾配が下り勾配である場合、運転者が前のめりの姿勢になるので、顔の位置の上下方向の変化が大きくなる。そこで、基準位置決定部125は、道路の勾配が下り勾配である場合、傾斜角が大きくなるほど広くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。具体的には、基準位置決定部125は、下り勾配である場合、傾斜角が大きくなるほど上方向又は下方向の少なくともいずれか一方の範囲を広くした積算判定範囲を設定する。
When the slope of the road is a downward slope, the driver is in a forward leaning posture, so that the vertical change in the position of the face is large. Therefore, the reference
例えば、基準位置決定部125は、撮像装置の設置位置に応じて上方向又は下方向の範囲を広くした積算判定範囲を設定する。具体的には、基準位置決定部125は、撮像装置が運転者の顔の位置よりも鉛直方向において高い位置に設置されている場合、下方向の範囲を広くした積算判定範囲を設定する。また、基準位置決定部125は、撮像装置が運転者の顔の位置よりも鉛直方向において低い位置に設置されている場合、上方向の範囲を広くした積算判定範囲を設定する。このようにすることで、基準位置決定部125は、下り勾配に対応する運転者の姿勢に応じた基準位置を決定できる。
For example, the reference
道路の勾配が上り勾配である場合、運転者がシートに押し付けられたような姿勢になるので、顔位置の変化が小さくなる。そこで、基準位置決定部125は、道路情報が示す道路の勾配が上り勾配である場合、傾斜角が大きくなるほど狭くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。具体的には、基準位置決定部125は、上り勾配である場合、傾斜角が大きくなるほど上下方向の範囲を狭くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。このようにすることで、基準位置決定部125は、上り勾配に対応する運転者の姿勢に応じた基準位置を決定できる。
When the slope of the road is an uphill slope, the driver is in a posture of being pressed against the seat, so that the change in the face position is small. Therefore, when the slope of the road indicated by the road information is an uphill slope, the reference
基準位置決定部125は、決定した基準位置を顔の位置の基準として用いるか否かを判定するための使用判定範囲内に含まれる場合、基準位置を更新する。使用判定範囲は、基準位置を更新するか否かを決定するための範囲であり、積算判定範囲よりも狭い範囲である。基準位置決定部125は、基準位置が使用判定範囲に含まれない場合、基準位置を更新しない。
The reference
(積算判定範囲よりも使用判定範囲を狭くする理由)
運転者ごとの個人差や顔を撮像したときの光環境差などの影響により、取得する顔の位置が分布する範囲は広くなりやすいので、積算判定範囲を狭くすると十分な数の顔の位置を取得できなくなるおそれがある。したがって、積算判定範囲は十分な数の顔の位置を取得できる程度に広くする必要があるが、積算判定範囲を広くすると顔の位置の分布に2以上のピークがあるような顔位置時系列データを取得してしまうことがある。顔の位置の分布に2つのピークがある二峰性の顔位置時系列データに基づいて決定された基準位置は、運転者の顔位置の基準位置として適切でない場合がある。このような課題に対し、基準位置決定装置1は、積算判定範囲よりも使用判定範囲を狭くすることにより、基準位置を統計的に決定するために十分な数の顔の位置を取得することができ、かつ適切でない基準位置に更新することを抑制できる。
(Reason for narrowing the usage judgment range than the integration judgment range)
Due to the influence of individual differences for each driver and differences in the light environment when the face is imaged, the range in which the acquired face positions are distributed tends to be wide, so narrowing the integration judgment range will result in a sufficient number of face positions. It may not be possible to obtain it. Therefore, it is necessary to widen the integration judgment range so that a sufficient number of face positions can be acquired. However, when the integration judgment range is widened, face position time series data such that the distribution of face positions has two or more peaks. May be acquired. A reference position determined based on bimodal face position time series data with two peaks in the face position distribution may not be appropriate as a reference position for the driver's face position. In response to such a problem, the reference
基準位置決定部125は、算出した基準位置と、過去に決定した基準位置とに基づいて、新たな基準位置と過去に決定した基準位置との変化量が小さくなる基準位置を決定してもよい。例えば、基準位置決定部125は、算出した基準位置に第1係数を乗算した値と、過去に決定した基準位置に第2係数を乗算した値との和を新たな基準位置として決定する。第1係数と第2係数との和は、例えば1である。このようにすることで、基準位置決定装置1は、基準位置の更新時における基準位置の変化量を低減することができる。そのため、基準位置決定部125は、例えば運転者が車両のスイッチ類を操作したり車両の左右を視認したりして顔の位置が大きく変化するような状況において、基準位置が大きく変化することを抑制できる。
The reference
基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した車速時系列データ及び顔位置時系列データに含まれるデータの数それぞれが、決定可能判定個数以上の場合に基準位置を決定してもよい。決定可能判定個数は、顔位置時系列データに基づいた統計量が、統計的に有意な結果を得られる数である。決定可能判定個数の具体的な値は、例えば1秒間に1回時系列データを取得する場合、180個である。
When the number of data included in the vehicle speed time series data and the face position time series data acquired after the engine of the vehicle V is changed from the stopped state to the operating state is equal to or greater than the number of determinable determination units, the reference
基準位置決定部125は、車速時系列データ又は顔位置時系列データの少なくともいずれか一方に含まれるデータの数が決定可能判定個数未満の場合、運転者の顔の位置に基づいた基準位置を決定せず、予め定められた標準位置を基準位置として決定する。標準位置は、複数の運転者の顔の位置に基づく統計量により決定されている。また、標準位置は、撮像画像の中心であってもよい。
The reference
[基準位置を決定する処理の流れ]
図4は、顔の位置の基準位置を決定する処理の流れを示すフローチャートである。顔位置情報取得部121は、顔位置時系列データを取得する(ステップS1)。車速情報取得部122は、車速時系列データを取得する(ステップS2)。なお、ステップS1とステップS2とは、どちらが先に実行されてもよく、並列に実行されてもよい。
[Flow of processing to determine the reference position]
FIG. 4 is a flowchart showing a flow of processing for determining a reference position of a face position. The face position
基準位置決定部125は、顔位置時系列データの数及び車速時系列データの数それぞれが決定可能判定個数以上であるか否かを判定する(ステップS3)。基準位置決定部125は、取得した顔位置時系列データの数及び車速時系列データに含まれるデータの数それぞれが決定可能判定個数以上である場合(ステップS3でYes)、基準位置を更新する処理を実行する(ステップS4)。基準位置決定部125は、時系列データの数が決定可能判定個数未満である場合(ステップS3でNo)、予め記憶部11に記憶された標準位置を基準位置として決定する(ステップS5)。
The reference
図5は、基準位置を更新する処理の流れを示すフローチャートである。まず、区間設定部124は、運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する(ステップS21)。続いて、基準位置決定部125は、区間設定部124が設定した区間内の顔位置時系列データを積算する処理を実行する(ステップS22)。以下、図6を参照しながら、区間内の顔位置時系列データを積算する処理の流れを説明する。
FIG. 5 is a flowchart showing a flow of processing for updating the reference position. First, the
図6は、区間内の顔位置時系列データを積算する処理の流れを示すフローチャートである。まず、基準位置決定部125は、区間内の車速時系列データが示す車速が積算判定車速以上か否かを判定する(ステップS31)。基準位置決定部125は、区間内の車速時系列データが示す車速が積算判定車速以上である場合(ステップS31でYes)、積算判定車速以上である車速に対応する顔位置時系列データの顔の位置が積算判定範囲内であるか否かを判定する(ステップS32)。
FIG. 6 is a flowchart showing a flow of processing for accumulating face position time series data in a section. First, the reference
基準位置決定部125は、顔の位置が積算判定範囲内である場合(ステップS32でYes)、顔の位置を積算値に加算する(ステップS33)。基準位置決定部125は、車速が積算判定車速未満である場合(ステップS31でNo)、又は積算判定車速以上の車速に対応する顔の位置が積算判定範囲内でない場合(ステップS32でNo)、顔の位置を積算値に加算しない(ステップS34)。
When the face position is within the integration determination range (Yes in step S32), the reference
そして、基準位置決定部125は、区間設定部124が設定した区間内の全ての時系列データについて、積算値に加算するか否かを判定したか否かを判定する(ステップS35)。基準位置決定部125は、区間内の全ての時系列データについて判定した場合(ステップS35でYes)、区間内の顔位置時系列データを積算する処理を終了する。基準位置決定部125は、区間内の全ての時系列データについて判定していない場合(ステップS35でNo)、区間内の全ての時系列データについて判定するまで区間内の顔位置時系列データを積算する処理を繰り返す。
Then, the reference
図5のフローチャートに戻り説明を続ける。基準位置決定部125は、区間内の顔位置時系列データを積算する処理を終了すると、積算した時系列データの数が判定個数以上であるか否かを判定する(ステップS23)。基準位置決定部125は、積算した時系列データの数が判定個数以上である場合(ステップS23でYes)、区間内の顔位置時系列データを積算する処理で算出した積算値に基づいて、運転者の顔の位置の基準位置を算出する(ステップS24)。例えば、基準位置決定部125は、積算する処理で算出した積算値を、区間内の時系列データの数で除算した顔の位置の平均値を算出する。そして、基準位置決定部125は、顔の位置のx座標の値を積算した値の平均値を基準位置のx座標の値とし、顔の位置のy座標の値を積算した値の平均値を基準位置のy座標の値とする。
The explanation will be continued by returning to the flowchart of FIG. When the reference
基準位置決定部125は、算出した基準位置が使用判定範囲内であるか否かを判定する(ステップS25)。基準位置決定部125は、算出した基準位置が使用判定範囲内である場合(ステップS25でYes)、基準位置を更新する(ステップS26)。基準位置決定部125は、算出した時系列データの数が判定個数未満である場合(ステップS23でNo)、又は算出した基準位置が使用判定範囲内でない場合(ステップS25でNo)、基準位置を更新しない(ステップS27)。
The reference
[実施の形態に係る基準位置決定装置1の効果]
以上説明したとおり、まず、基準位置決定装置1は、運転者の顔の位置の時間変化を示す顔位置時系列データと、車両Vの車速の時間変化を示す車速時系列データとを取得する。次に、基準位置決定装置1は、新たな時系列データを取得したことを契機として新たな時系列データを含む区間を設定する。そして、基準位置決定装置1は、区間を設定したことを契機として、新たな時系列データを含む区間内の時系列データに基づいて基準位置を更新する。このように、基準位置決定装置1が基準位置を適宜更新することにより、運転者の姿勢や車両が走行する道路の状況などに応じて、運転者の状態を判定する状態判定範囲を適宜設定できるようになる。そのため、運転者の状態を判定する状態判定装置が、運転者の状態を誤判定してしまうことを低減できる。
[Effect of reference
As described above, first, the reference
(変形例1)
道路情報取得部123は、道路の状況を示す道路情報を、車両Vが有する通信部を介して外部装置から取得してもよい。例えば、道路情報取得部123は、道路の勾配を示す勾配情報を含む地図情報を道路情報として取得する。この場合、基準位置決定装置1は、車両Vが有するGPS(Global Positioning System)受信機から取得した信号に基づいて車両Vの位置を取得し、取得した車両Vの位置に対応する位置における勾配情報が示す勾配に基づいて車両Vが走行する道路の勾配を特定する。
(Modification example 1)
The road
(変形例2)
基準位置決定装置1は、顔の位置のx座標の値とy座標の値それぞれを積算値に加算するか否かを、異なる積算判定車速を用いて判定してもよい。例えば、基準位置決定部125は、顔の位置に対応する車速がx方向に対応する積算判定車速以上である場合、x座標の値を積算値に加算し、顔の位置に対応する車速がy方向に対応する積算判定車速以上である場合、y座標の値を積算値に加算する。このようにすることで、基準位置決定装置1は、x方向とy方向それぞれの基準位置を別々に決定できる。そのため、基準位置決定装置1は、一方の基準位置を他方よりも早く決定できるようになる。
(Modification 2)
The reference
(変形例3)
運転者の顔の位置は、車両Vが右折又は左折する場合、運転者が車両の左右や後方を確認するために、顔の位置の変化が大きくなる。このように、変化の大きな顔の位置を積算値に含めると、基準位置が大きく変化してしまうことがある。そこで、基準位置決定装置1は、車両Vの方向指示器が作動している間に取得した時系列データを使用しない。具体的には、基準位置決定部125は、顔位置情報取得部121及び車速情報取得部122が車両Vの方向指示器が動作中に取得した時系列データを除いた時系列データにより得られる統計量に基づいて基準位置を決定する。このようにすることで、基準位置決定装置1は、顔変化の大きな顔の位置を使用しないので、基準位置の変化を低減できる。
(Modification 3)
As for the position of the driver's face, when the vehicle V turns right or left, the change in the position of the face becomes large so that the driver can check the left and right or the rear of the vehicle. In this way, if the position of the face with a large change is included in the integrated value, the reference position may change significantly. Therefore, the reference
(変形例4)
基準位置決定部125は、決定した基準位置を、運転者ごとに記憶部11に記憶させてもよい。基準位置決定部125は、運転者を識別する識別情報に関連付けて基準位置を記憶させる。識別情報は、例えばカメラモジュール2が特定した運転者の顔の特徴を示す特徴情報である。この場合、基準位置決定装置1は、カメラモジュール2が特定した運転者の顔の特徴を示す特徴情報を識別情報として取得する。そして、基準位置決定部125は、取得した識別情報に関連付けて、決定した基準位置を運転者別標準位置として記憶部11に記憶させる。
(Modification example 4)
The reference
基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した車速時系列データ及び顔位置時系列データに含まれるデータの数それぞれが、決定可能判定個数未満の場合、識別情報に関連付けられた運転者別標準位置を、基準位置として決定する。具体的には、基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した識別情報に関連付けられた運転者別標準位置を、基準位置として決定する。このようにすることで、基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから決定可能判定個数以上の時系列データを取得するまでの間、過去に運転者に応じて決定した基準位置を使用することができる。
When the number of data included in the vehicle speed time series data and the face position time series data acquired after the engine of the vehicle V is changed from the stopped state to the operating state is less than the determinable determination number, the reference
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. is there. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment.
1 基準位置決定装置
2 カメラモジュール
3 車速センサ
4 勾配検出部
11 記憶部
12 制御部
121 顔位置情報取得部
122 車速情報取得部
123 道路情報取得部
124 区間設定部
125 基準位置決定部
1 Reference
Claims (5)
前記車両の車速の時間変化を示す車速時系列データを取得する車速情報取得部と、
前記運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する区間設定部と、
前記区間設定部が設定した前記区間内の前記車速時系列データのうち所定車速以上である車速に対応する前記顔位置時系列データの前記顔の位置により得られる顔の位置の統計量に基づいて前記顔の位置の基準位置を決定する基準位置決定部と、
を備え、
前記区間設定部は、前記顔位置情報取得部と前記車速情報取得部とが新たな時系列データを取得したことを契機として、前記新たな時系列データを含む区間を設定し、
前記基準位置決定部は、前記区間設定部が前記区間を設定したことを契機として新たな前記基準位置を決定する、
基準位置決定装置。 A face position information acquisition unit that acquires face position time-series data indicating a time-dependent change in the position of the driver's face in an captured image of the driver who drives the vehicle.
A vehicle speed information acquisition unit that acquires vehicle speed time series data indicating a time change of the vehicle speed of the vehicle,
A section setting unit for setting a section of time series data for determining a reference position of the driver's face position, and a section setting unit.
Based on the statistic of the face position obtained by the face position of the face position time series data corresponding to the vehicle speed which is equal to or higher than the predetermined vehicle speed among the vehicle speed time series data in the section set by the section setting unit. A reference position determining unit that determines the reference position of the face position, and
With
The section setting unit sets a section including the new time-series data when the face position information acquisition unit and the vehicle speed information acquisition unit acquire new time-series data.
The reference position determining unit determines a new reference position when the section setting unit sets the section.
Reference position determining device.
請求項1に記載の基準位置決定装置。 In the reference position determining unit, among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed corresponding to the predetermined vehicle speed or higher, the number of the face positions within the predetermined range is the second or more. If so, determine a new reference position,
The reference position determining device according to claim 1.
前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、前記道路情報が示す前記状況に応じて定まる前記所定範囲内に含まれる前記顔の位置の数が前記第2個数以上ある場合、新たな前記基準位置を決定する、
請求項2に記載の基準位置決定装置。 It also has a road information acquisition unit that acquires road information indicating the condition of the road on which the vehicle travels.
The reference position determining unit is within the predetermined range determined according to the situation indicated by the road information among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. When the number of the facial positions included is the second number or more, a new reference position is determined.
The reference position determining device according to claim 2.
請求項1から3のいずれか一項に記載の基準位置決定装置。 When the determined reference position is included in the use determination range for determining whether or not to use the determined reference position as a reference for the face position, the reference position determining unit determines as a new reference position.
The reference position determining device according to any one of claims 1 to 3.
請求項1から4のいずれか一項に記載の基準位置決定装置。
The reference position determining unit is based on statistics obtained from time-series data excluding the time-series data acquired by the face position information acquisition unit and the vehicle speed information acquisition unit while the vehicle's turn signal is operating. Determine the reference position,
The reference position determining device according to any one of claims 1 to 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019148006A JP2021028803A (en) | 2019-08-09 | 2019-08-09 | Reference position determining device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019148006A JP2021028803A (en) | 2019-08-09 | 2019-08-09 | Reference position determining device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021028803A true JP2021028803A (en) | 2021-02-25 |
Family
ID=74667220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019148006A Pending JP2021028803A (en) | 2019-08-09 | 2019-08-09 | Reference position determining device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021028803A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024079779A1 (en) * | 2022-10-11 | 2024-04-18 | 三菱電機株式会社 | Passenger state determination device, passenger state determination system, passenger state determination method and program |
-
2019
- 2019-08-09 JP JP2019148006A patent/JP2021028803A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024079779A1 (en) * | 2022-10-11 | 2024-04-18 | 三菱電機株式会社 | Passenger state determination device, passenger state determination system, passenger state determination method and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180075727A1 (en) | Alert generation correlating between head mounted imaging data and external device | |
JP6693321B2 (en) | Ability evaluation system | |
US9506859B2 (en) | Method and device for determining a visual range in daytime fog | |
US20110320163A1 (en) | Method and system for determining road data | |
JP6573193B2 (en) | Determination device, determination method, and determination program | |
US11062158B2 (en) | Driver state determination apparatus, method, and recording medium | |
JP4529394B2 (en) | Driver's vehicle driving characteristic estimation device | |
US11443534B2 (en) | Vehicular monitoring device | |
CN113240756B (en) | Pose change detection method and device for vehicle-mounted BSD camera and storage medium | |
US20220097715A1 (en) | Driving support apparatus | |
CN111881245B (en) | Method, device, equipment and storage medium for generating visibility dynamic map | |
JP5498183B2 (en) | Behavior detection device | |
JP2021028803A (en) | Reference position determining device | |
US11718307B2 (en) | Vehicle control apparatus | |
JP5478334B2 (en) | Driver state determination device and program | |
US12094223B2 (en) | Information processing apparatus, and recording medium | |
JP2015520057A (en) | Improvement of inertial sensor | |
CN113635907B (en) | Driving behavior detection method and device, electronic equipment and storage medium thereof | |
JPWO2018180285A1 (en) | Three-dimensional data generation device, three-dimensional data generation method, three-dimensional data generation program, and computer-readable recording medium storing three-dimensional data generation program | |
US20130039576A1 (en) | Method and device for analyzing an image of an image recording device for a vehicle | |
JP2019070877A (en) | Alarm device | |
WO2022130709A1 (en) | Object identification device and object identification method | |
JP5454190B2 (en) | Vehicle control device | |
JP2019070876A (en) | Safe driving support device and safe driving support method | |
CN111142720B (en) | Vehicle-mounted machine screen rotation display method and device |