JP2021028803A - Reference position determining device - Google Patents

Reference position determining device Download PDF

Info

Publication number
JP2021028803A
JP2021028803A JP2019148006A JP2019148006A JP2021028803A JP 2021028803 A JP2021028803 A JP 2021028803A JP 2019148006 A JP2019148006 A JP 2019148006A JP 2019148006 A JP2019148006 A JP 2019148006A JP 2021028803 A JP2021028803 A JP 2021028803A
Authority
JP
Japan
Prior art keywords
reference position
face
vehicle speed
series data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019148006A
Other languages
Japanese (ja)
Inventor
和彦 山口
Kazuhiko Yamaguchi
和彦 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Priority to JP2019148006A priority Critical patent/JP2021028803A/en
Publication of JP2021028803A publication Critical patent/JP2021028803A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

To provide a reference position determining device for appropriately updating a reference position of a driver's face position.SOLUTION: A reference position determining device 1 comprises: a face position information acquisition unit 121 that acquires face position time-series data indicating a time change of a driver's face position in a captured image of a driver driving a vehicle V; a vehicle speed information acquisition unit 122 that acquires vehicle speed time-series data indicating a time change of a vehicle speed of the vehicle; a section setting unit 124 that sets a section of time-series data for determining a reference position of the driver's face position with the acquisition of new time-series data by the face position information acquisition unit 121 and the vehicle speed information acquisition unit 122, including the new time-series data; and a reference position determination unit 125 that determines a reference position of a face position based on face position statistics obtained from the face position of the face position time-series data corresponding to the vehicle speed that is equal to or higher than a predetermined vehicle speed in the vehicle speed time-series data in the section set by the section setting unit 124 when the section setting unit 124 sets the section.SELECTED DRAWING: Figure 1

Description

本発明は、顔の位置に基づいて運転者の状態を判定するための範囲の基準を決定する基準位置決定装置に関する。 The present invention relates to a reference position determining device that determines a range reference for determining a driver's condition based on the position of a face.

車両を運転する運転者の顔が、所定の基準範囲に入っていない場合、運転者の状態を異常状態と判定する技術が開示されている(例えば、特許文献1を参照)。 A technique for determining a driver's condition as an abnormal condition when the face of the driver driving the vehicle is not within a predetermined reference range is disclosed (see, for example, Patent Document 1).

特開2017−77817号公報JP-A-2017-77817

運転者の顔の位置は、運転者が異常状態でなくとも、運転者の姿勢や車両が走行する道路の状況などに応じて変化することがある。そのため、運転者の顔の位置の変化に依らない基準位置に基づいて運転者の状態を判定する状態判定範囲を設定した場合、運転者の顔の位置が変化すると状態判定範囲に含まれなくなることがある。この場合、運転者の状態を判定する状態判定装置が、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうおそれがある。 The position of the driver's face may change depending on the posture of the driver and the condition of the road on which the vehicle travels, even if the driver is not in an abnormal state. Therefore, when the state judgment range for judging the driver's state is set based on the reference position that does not depend on the change in the position of the driver's face, the state judgment range is not included when the position of the driver's face changes. There is. In this case, the state determining device for determining the driver's state may erroneously determine that the driver is in an abnormal state even though the driver is in a normal state.

そこで、本発明はこれらの点に鑑みてなされたものであり、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうことを低減する技術を提供することを目的とする。 Therefore, the present invention has been made in view of these points, and an object of the present invention is to provide a technique for reducing erroneous determination that the driver is in an abnormal state even though the driver is in a normal state. And.

本発明の第1の態様においては、車両を運転する運転者を撮像した撮像画像における運転者の顔の位置の時間変化を示す顔位置時系列データを取得する顔位置情報取得部と、前記車両の車速の時間変化を示す車速時系列データを取得する車速情報取得部と、前記運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する区間設定部と、前記区間設定部が設定した前記区間内の前記車速時系列データのうち所定車速以上である車速に対応する前記顔位置時系列データの前記顔の位置により得られる顔の位置の統計量に基づいて前記顔の位置の基準位置を決定する基準位置決定部と、を備え、前記区間設定部は、前記顔位置情報取得部と前記車速情報取得部とが新たな時系列データを取得したことを契機として、前記新たな時系列データを含む区間を設定し、前記基準位置決定部は、前記区間設定部が前記区間を設定したことを契機として新たな前記基準位置を決定する基準位置決定装置を提供する。 In the first aspect of the present invention, the face position information acquisition unit that acquires face position time series data indicating the time change of the driver's face position in the captured image of the driver who drives the vehicle, and the vehicle. A vehicle speed information acquisition unit that acquires vehicle speed time series data indicating a time change of the vehicle speed, a section setting unit that sets a section of time series data for determining a reference position of the driver's face position, and the section. Among the vehicle speed time series data in the section set by the setting unit, the face position based on the statistic of the face position obtained by the face position of the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. The section setting unit is provided with a reference position determining unit for determining the reference position of the position of the above, and the section setting unit is triggered by the acquisition of new time series data by the face position information acquisition unit and the vehicle speed information acquisition unit. A section including the new time-series data is set, and the reference position determination unit provides a reference position determination device that determines a new reference position when the section setting unit sets the section.

例えば、前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、所定範囲内である前記顔の位置の数が第2個数以上ある場合、新たな前記基準位置を決定する。 For example, in the reference position determining unit, the number of the face positions within a predetermined range is the second among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. If there are more than the number, a new reference position is determined.

前記基準位置決定装置は、前記車両が走行する道路の状況を示す道路情報を取得する道路情報取得部をさらに有し、前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、前記道路情報が示す前記状況に応じて定まる前記所定範囲内に含まれる前記顔の位置の数が前記第2個数以上ある場合、新たな前記基準位置を決定してもよい。 The reference position determining device further includes a road information acquisition unit that acquires road information indicating the condition of the road on which the vehicle travels, and the reference position determining unit has the face corresponding to a vehicle speed that is equal to or higher than the predetermined vehicle speed. When the number of the face positions included in the predetermined range determined according to the situation indicated by the road information is the second number or more among the plurality of face positions indicated by the position time series data, a new number is used. The reference position may be determined.

例えば、前記基準位置決定部は、決定した前記基準位置が前記顔の位置の基準として用いるか否かを判定するための使用判定範囲内に含まれる場合、新たな前記基準位置として決定する。 For example, when the determined reference position is included in the usage determination range for determining whether or not to use the determined reference position as a reference for the face position, the reference position determining unit determines as a new reference position.

例えば、前記基準位置決定部は、前記顔位置情報取得部及び前記車速情報取得部が前記車両の方向指示器が動作中に取得した時系列データを除いた時系列データにより得られる統計量に基づいて前記基準位置を決定する。 For example, the reference position determining unit is based on statistics obtained from time-series data excluding the time-series data acquired by the face position information acquisition unit and the vehicle speed information acquisition unit while the vehicle's turn signal is operating. To determine the reference position.

本発明によれば、運転者が正常状態であるのにもかかわらず異常状態であると誤判定してしまうことを低減できるという効果を奏する。 According to the present invention, it is possible to reduce the possibility that the driver erroneously determines that the driver is in an abnormal state even though the driver is in a normal state.

実施の形態に係る車両の構成を示す図である。It is a figure which shows the structure of the vehicle which concerns on embodiment. 顔位置時系列データを示す模式図である。It is a schematic diagram which shows the face position time series data. 車速時系列データを示す模式図である。It is a schematic diagram which shows the vehicle speed time series data. 顔の位置の基準位置を決定する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process of determining a reference position of a face position. 基準位置を更新する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process of updating a reference position. 区間内の顔位置時系列データを積算する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process of accumulating the face position time series data in a section.

[実施の形態に係る車両Vの構成]
図1は、実施の形態に係る車両Vの構成を示す図である。実施の形態に係る車両Vは、基準位置決定装置1と、カメラモジュール2と、車速センサ3と、勾配検出部4とを有する。
[Structure of vehicle V according to the embodiment]
FIG. 1 is a diagram showing a configuration of a vehicle V according to an embodiment. The vehicle V according to the embodiment includes a reference position determining device 1, a camera module 2, a vehicle speed sensor 3, and a gradient detecting unit 4.

カメラモジュール2は、車両の運転者の顔を含む撮像画像を生成する撮像装置を含む。カメラモジュール2は、撮像画像に含まれる運転者の顔の位置を検出する。そして、カメラモジュール2は、検出した顔の位置を示す顔位置情報を出力する。顔位置情報は、撮像画像における顔の位置のX座標及びY座標を示す位置座標情報である。顔位置情報は、顔の向きを示す情報を含んでいてもよい。顔の向きを示す情報は、顔の上下を軸とした回転角を示すヨー、及び顔の左右を軸とした回転角を示すピッチである。また、顔位置情報は、奥行き方向の座標を含んでいてもよい。 The camera module 2 includes an imaging device that generates an captured image including the face of the driver of the vehicle. The camera module 2 detects the position of the driver's face included in the captured image. Then, the camera module 2 outputs face position information indicating the detected face position. The face position information is position coordinate information indicating the X coordinate and the Y coordinate of the face position in the captured image. The face position information may include information indicating the orientation of the face. The information indicating the orientation of the face is yaw indicating the rotation angle about the top and bottom of the face and pitch indicating the rotation angle about the left and right of the face. Further, the face position information may include coordinates in the depth direction.

車速センサ3は、車両Vの車速を検出するセンサである。車速センサ3は、検出した車速を示す車速情報を出力する。 The vehicle speed sensor 3 is a sensor that detects the vehicle speed of the vehicle V. The vehicle speed sensor 3 outputs vehicle speed information indicating the detected vehicle speed.

勾配検出部4は、水平方向に対する車両の傾きを検出するジャイロセンサを含む。勾配検出部4は、ジャイロセンサが検出した車両Vの傾きに基づいて車両が走行する道路が上り勾配であるか、下り勾配であるか、平坦であるかを示す勾配情報を出力する。また、勾配検出部4は、道路の傾斜角を検出し、検出した傾斜角を含む勾配情報を出力してもよい。 The gradient detection unit 4 includes a gyro sensor that detects the inclination of the vehicle with respect to the horizontal direction. The gradient detection unit 4 outputs gradient information indicating whether the road on which the vehicle travels is an upslope, a downslope, or a flatness based on the inclination of the vehicle V detected by the gyro sensor. Further, the gradient detection unit 4 may detect the inclination angle of the road and output the gradient information including the detected inclination angle.

基準位置決定装置1は、運転者の状態を判定するための範囲を設定するための基準を決定する装置である。基準位置決定装置1は、カメラモジュール2から運転者の顔の位置を取得し、運転者の顔の位置を取得する度に、所定期間内の顔の位置に基づいて顔の位置の基準位置を決定する。以下、基準位置決定装置1の構成を説明する。 The reference position determining device 1 is a device that determines a reference for setting a range for determining the state of the driver. The reference position determining device 1 acquires the position of the driver's face from the camera module 2, and each time the position of the driver's face is acquired, the reference position of the face position is determined based on the position of the face within a predetermined period. decide. Hereinafter, the configuration of the reference position determining device 1 will be described.

基準位置決定装置1は、記憶部11と制御部12とを備える。記憶部11は、ROM(Read Only Memory)、RAM(Random Access Memory)及びハードディスク等を含む記憶媒体である。記憶部11は、制御部12が実行するプログラムを記憶する。 The reference position determining device 1 includes a storage unit 11 and a control unit 12. The storage unit 11 is a storage medium including a ROM (Read Only Memory), a RAM (Random Access Memory), a hard disk, and the like. The storage unit 11 stores a program executed by the control unit 12.

制御部12は、例えばCPU(Central Processing Unit)等のプロセッサを含む計算リソースである。制御部12は、記憶部11に記憶されたプログラムを実行することにより、顔位置情報取得部121、車速情報取得部122、道路情報取得部123、区間設定部124、及び基準位置決定部125としての機能を実現する。 The control unit 12 is a computing resource including a processor such as a CPU (Central Processing Unit). By executing the program stored in the storage unit 11, the control unit 12 serves as the face position information acquisition unit 121, the vehicle speed information acquisition unit 122, the road information acquisition unit 123, the section setting unit 124, and the reference position determination unit 125. To realize the function of.

顔位置情報取得部121は、運転者の顔の位置を示す顔位置情報をカメラモジュール2から取得する。顔位置情報取得部121は、取得した顔位置情報を、当該顔位置情報を取得した時刻を示す時刻情報に関連付けて記憶部11に記憶させる。具体的には、顔位置情報取得部121は、時刻情報と顔位置情報とを関連付けた顔位置時系列データとして記憶部11に記憶させる。 The face position information acquisition unit 121 acquires face position information indicating the position of the driver's face from the camera module 2. The face position information acquisition unit 121 stores the acquired face position information in the storage unit 11 in association with the time information indicating the time when the face position information is acquired. Specifically, the face position information acquisition unit 121 stores the time information and the face position information in the storage unit 11 as face position time series data associated with each other.

図2は、顔位置時系列データを示す模式図である。図2に示すように、顔位置時系列データは、顔の位置を取得した時刻を示す時刻情報と撮像画像における顔の位置を示す位置座標情報とを関連付けた、車両Vを運転する運転者を撮像した撮像画像における運転者の顔の位置の時間変化を示すデータである。 FIG. 2 is a schematic diagram showing face position time series data. As shown in FIG. 2, the face position time series data is a driver driving the vehicle V in which the time information indicating the time when the face position was acquired and the position coordinate information indicating the face position in the captured image are associated with each other. It is data which shows the time change of the position of the driver's face in the captured image.

顔位置情報取得部121は、記憶部11に記憶させた顔位置時系列データを取得する。具体的には、顔位置情報取得部121は、カメラモジュール2から取得した新たな顔位置情報を顔位置時系列データとして記憶させた後に、新たな顔位置情報を含む位置時系列データを取得する。 The face position information acquisition unit 121 acquires the face position time series data stored in the storage unit 11. Specifically, the face position information acquisition unit 121 acquires the position time series data including the new face position information after storing the new face position information acquired from the camera module 2 as the face position time series data. ..

車速情報取得部122は、車両Vの車速を示す車速情報を車速センサ3から取得する。車速情報取得部122は、取得した車速情報を、当該車速情報を取得した時刻を示す時刻情報に関連付けて記憶部11に記憶させる。具体的には、車速情報取得部122は、時刻情報と車速情報とを関連付けた車速時系列データとして記憶部11に記憶させる。 The vehicle speed information acquisition unit 122 acquires vehicle speed information indicating the vehicle speed of the vehicle V from the vehicle speed sensor 3. The vehicle speed information acquisition unit 122 stores the acquired vehicle speed information in the storage unit 11 in association with the time information indicating the time when the vehicle speed information is acquired. Specifically, the vehicle speed information acquisition unit 122 stores the time information and the vehicle speed information in the storage unit 11 as vehicle speed time series data associated with each other.

図3は、車速時系列データを示す模式図である。図3に示すように、車速時系列データは、車速情報を取得した時刻を示す時刻情報と当該車速情報とを関連付けた、車両Vの車速の時間変化を示すデータである。 FIG. 3 is a schematic diagram showing vehicle speed time series data. As shown in FIG. 3, the vehicle speed time series data is data indicating a time change of the vehicle speed of the vehicle V in which the time information indicating the time when the vehicle speed information is acquired is associated with the vehicle speed information.

車速情報取得部122は、記憶部11に記憶させた車速時系列データを取得する。具体的には、車速情報取得部122は、車速センサ3から取得した新たな車速情報を車速時系列データとして記憶させた後に、新たな車速情報を含む車速時系列データを取得する。 The vehicle speed information acquisition unit 122 acquires the vehicle speed time series data stored in the storage unit 11. Specifically, the vehicle speed information acquisition unit 122 stores new vehicle speed information acquired from the vehicle speed sensor 3 as vehicle speed time series data, and then acquires vehicle speed time series data including the new vehicle speed information.

道路情報取得部123は、車両Vが走行する道路の状況を示す道路情報を取得する。例えば、道路情報取得部123は、勾配検出部4から、道路の勾配を示す勾配情報を道路情報として取得する。また、道路情報取得部123は、道路の傾斜角を含む勾配情報を取得してもよい。 The road information acquisition unit 123 acquires road information indicating the condition of the road on which the vehicle V travels. For example, the road information acquisition unit 123 acquires slope information indicating the slope of the road as road information from the slope detection unit 4. Further, the road information acquisition unit 123 may acquire gradient information including the inclination angle of the road.

区間設定部124は、運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する。区間設定部124は、顔位置情報取得部121と車速情報取得部122とが新たな時系列データを取得したことを契機として、新たな時系列データを含む区間を設定する。区間の長さは、例えば、顔の位置の基準位置を統計的に決定するために要する顔の数が含まれる長さに定められる。顔の位置の基準位置を統計的に決定できる数は、例えば180個である。180個のデータが含まれる区間の長さは、1秒間に1回の割合で顔の位置を取得する場合、3分間である。 The section setting unit 124 sets a section of time series data for determining a reference position of the position of the driver's face. The section setting unit 124 sets a section including the new time-series data when the face position information acquisition unit 121 and the vehicle speed information acquisition unit 122 acquire new time-series data. The length of the section is determined, for example, to be a length including the number of faces required to statistically determine the reference position of the face position. The number that can statistically determine the reference position of the face position is, for example, 180. The length of the section containing 180 data is 3 minutes when the position of the face is acquired once per second.

区間設定部124は、顔位置情報取得部121が新たな顔位置情報(図2に示す、時刻tjに関連付けられた顔の位置(xj、yj))を含む顔位置時系列データを取得した場合、新たな顔位置情報を含む区間Pを設定する。また、区間設定部124は、車速情報取得部122が新たな車速情報(図3に示す、時刻tjに関連付けられた車速Vj)を含む車速時系列データを取得した場合、新たな車速情報を含む区間Pを設定する。 When the section setting unit 124 acquires face position time series data including new face position information (face position (xj, yj) associated with time tj shown in FIG. 2) by the face position information acquisition unit 121. , Set the section P including the new face position information. Further, when the vehicle speed information acquisition unit 122 acquires vehicle speed time series data including new vehicle speed information (vehicle speed Vj associated with time tj shown in FIG. 3), the section setting unit 124 includes the new vehicle speed information. Set the section P.

基準位置決定部125は、区間設定部124が設定した区間P内の時系列データのうち、顔の位置の統計量を算出するための積算条件を満たす時系列データにより得られる顔の位置の統計量に基づいて顔の位置の基準位置を決定する。顔の位置の統計量は、顔の位置の平均値、中央値、又は最頻値である。以下、統計量として平均値を算出する場合について説明する。 The reference position determination unit 125 uses the time-series data in the section P set by the section setting unit 124 to obtain the face position statistics obtained from the time-series data satisfying the integration conditions for calculating the face position statistics. Determine the reference position of the face position based on the amount. The face position statistic is the mean, median, or mode of the face position. Hereinafter, a case where the average value is calculated as a statistic will be described.

基準位置決定部125は、区間設定部124が設定した区間P内の車速時系列データのうち積算判定車速以上である車速に対応する顔位置時系列データの顔の位置により得られる顔の位置の統計量に基づいて、顔の位置の基準位置を決定する。積算判定車速は、車速を取得した時刻に関連付けられた顔の位置を、顔の位置の基準位置を算出するための積算値に含めるか否かを判定するための車速である。積算判定車速の具体的な値は、例えば時速60kmである。 The reference position determination unit 125 determines the position of the face obtained from the face position of the face position time series data corresponding to the vehicle speed that is equal to or higher than the integrated determination vehicle speed among the vehicle speed time series data in the section P set by the section setting unit 124. Determine the reference position of the face position based on the statistics. The integrated determination vehicle speed is a vehicle speed for determining whether or not to include the face position associated with the time when the vehicle speed is acquired in the integrated value for calculating the reference position of the face position. The specific value of the integrated determination vehicle speed is, for example, 60 km / h.

運転者の姿勢や道路状況の変化は、車両が積算判定車速以上の車速で走行できる道路(例えば高速道路)を走行する場合、積算判定車速以上の車速で走行できない道路(例えば一般道路)を走行する場合よりも小さくなる。そのため、基準位置決定部125は、積算判定車速以上の車速に対応する顔の位置に基づいて基準位置を決定することにより、運転者の姿勢や道路状況の変化が小さい状態での顔の位置の基準位置を決定できる。 Changes in the driver's posture and road conditions indicate that when the vehicle travels on a road that can travel at a vehicle speed higher than the integrated judgment vehicle speed (for example, an expressway), it travels on a road that cannot travel at a vehicle speed higher than the integrated judgment vehicle speed (for example, a general road). It will be smaller than when you do. Therefore, the reference position determination unit 125 determines the reference position based on the position of the face corresponding to the vehicle speed equal to or higher than the integrated determination vehicle speed, so that the position of the face in a state where the change in the posture of the driver or the road condition is small is small. The reference position can be determined.

図2及び図3に示す例を参照しながらより具体的に説明する。まず、基準位置決定部125は、図3に示す車速時系列データにおける区間P内の時刻tjに関連付けられた車速Vjが積算判定車速以上であるか否かを判定する。次に、基準位置決定部125は、車速Vjが積算判定車速以上である場合、図2に示す顔位置時系列データにおける区間P内の時刻tjに関連付けられた顔の位置(xj、yj)が積算判定範囲内に含まれるか否かを判定する。積算判定範囲は、顔の位置を積算値に含めるか否かを判定するための範囲である。判定するための範囲は、撮像画像の大きさに対して所定割合小さくした範囲である。所定割合の具体的な値は、例えば1割である。 A more specific description will be given with reference to the examples shown in FIGS. 2 and 3. First, the reference position determination unit 125 determines whether or not the vehicle speed Vj associated with the time tj in the section P in the vehicle speed time series data shown in FIG. 3 is equal to or higher than the integrated determination vehicle speed. Next, when the vehicle speed Vj is equal to or higher than the integrated determination vehicle speed, the reference position determination unit 125 determines that the face position (xj, yj) associated with the time tj in the section P in the face position time series data shown in FIG. It is determined whether or not it is included in the integration determination range. The integration determination range is a range for determining whether or not to include the face position in the integration value. The range for determination is a range reduced by a predetermined ratio with respect to the size of the captured image. The specific value of the predetermined ratio is, for example, 10%.

そして、基準位置決定部125は、顔の位置(xj、yj)が積算判定範囲内に含まれる場合、当該顔の位置を、基準位置を算出するための積算値に加算する。基準位置決定部125は、車速時系列データにおける区間P内に含まれる車速それぞれについて積算判定車速以上であるか否かを判定し、積算判定車速以上である複数の車速それぞれに対応する顔の位置を積算値に加算する。なお、基準位置決定部125は、顔の位置を積算値に加算する場合、顔の位置のx座標の基準位置を決定するための積算値に顔の位置のx座標の値を加算する。また、基準位置決定部125は、顔の位置のy座標の基準位置を決定するための積算値に顔の位置のy座標の値を加算する。 Then, when the face position (xj, yj) is included in the integration determination range, the reference position determination unit 125 adds the face position to the integration value for calculating the reference position. The reference position determination unit 125 determines whether or not each vehicle speed included in the section P in the vehicle speed time series data is equal to or higher than the integrated determination vehicle speed, and the face position corresponding to each of the plurality of vehicle speeds equal to or higher than the integrated determination vehicle speed. Is added to the integrated value. When the reference position determination unit 125 adds the face position to the integrated value, the reference position determination unit 125 adds the x-coordinate value of the face position to the integrated value for determining the reference position of the x-coordinate of the face position. Further, the reference position determination unit 125 adds the value of the y-coordinate of the face position to the integrated value for determining the reference position of the y-coordinate of the face position.

基準位置決定部125は、顔位置情報取得部121が顔の向きを示す情報を取得した場合、顔の向きが所定角度範囲内であるか否かを判定する。基準位置決定部125は、顔の向きが所定角度範囲内である場合、所定角度範囲内である顔の向きである顔の位置を積算値に加算する。所定角度範囲は、顔の位置を積算値に含めるか否かを判定するための範囲であり、ヨー及びピッチそれぞれ異なる範囲が設定される。 When the face position information acquisition unit 121 acquires information indicating the orientation of the face, the reference position determination unit 125 determines whether or not the orientation of the face is within a predetermined angle range. When the face orientation is within the predetermined angle range, the reference position determining unit 125 adds the face position, which is the face orientation within the predetermined angle range, to the integrated value. The predetermined angle range is a range for determining whether or not to include the face position in the integrated value, and different ranges for yaw and pitch are set.

基準位置決定部125は、区間設定部124が区間Pを設定したことを契機として新たな基準位置を決定する。以下説明において、基準位置決定部125が新たな基準位置を決定することを、基準位置を更新するということがある。例えば、基準位置決定部125は、区間設定部124が設定した区間P内の顔の位置のうち、予め定められた条件を満たす顔の位置の数が判定個数以上あるか否かに基づいて基準位置を更新するか否かを決定する。 The reference position determination unit 125 determines a new reference position when the section setting unit 124 sets the section P. In the following description, when the reference position determining unit 125 determines a new reference position, the reference position may be updated. For example, the reference position determination unit 125 refers based on whether or not the number of face positions satisfying a predetermined condition among the face positions in the section P set by the section setting unit 124 is equal to or greater than the number of determinations. Decide whether to update the position.

具体的には、基準位置決定部125は、積算判定車速以上である車速に対応する顔位置時系列データが示す複数の顔の位置のうち、積算判定範囲内である顔の位置の数が、判定個数以上ある場合、基準位置を更新する。判定個数は、基準位置を更新するか否かを決定するために必要なデータの数である。基準位置を更新するか否かを決定するために必要な顔の位置の数の具体的な値は、例えば120個である。なお、120個の顔の位置は、1秒間に1回の割合で顔の位置を取得する場合において2分間の顔位置時系列データに相当する。 Specifically, the reference position determination unit 125 determines that the number of face positions within the integration determination range is among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed equal to or higher than the integration determination vehicle speed. If there are more than the number of judgments, the reference position is updated. The number of determinations is the number of data required to determine whether or not to update the reference position. The specific value of the number of face positions required to determine whether to update the reference position is, for example, 120. The 120 face positions correspond to face position time series data for 2 minutes when the face positions are acquired once per second.

基準位置決定部125は、道路情報に基づいて基準位置を更新するか否かを決定してもよい。例えば、基準位置決定部125は、道路情報取得部123が取得した道路情報が示す状況に応じて定まる積算判定範囲内に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。基準位置決定部125は、道路情報が示す状況に応じて定まる積算判定範囲内に含まれる顔の位置の数が判定個数未満である場合、基準位置を更新しない。 The reference position determination unit 125 may determine whether or not to update the reference position based on the road information. For example, the reference position determination unit 125 updates the reference position when the number of face positions included in the integration determination range determined according to the situation indicated by the road information acquired by the road information acquisition unit 123 is equal to or greater than the number of determinations. .. The reference position determination unit 125 does not update the reference position when the number of face positions included in the integration determination range determined according to the situation indicated by the road information is less than the number of determinations.

道路の勾配が下り勾配である場合、運転者が前のめりの姿勢になるので、顔の位置の上下方向の変化が大きくなる。そこで、基準位置決定部125は、道路の勾配が下り勾配である場合、傾斜角が大きくなるほど広くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。具体的には、基準位置決定部125は、下り勾配である場合、傾斜角が大きくなるほど上方向又は下方向の少なくともいずれか一方の範囲を広くした積算判定範囲を設定する。 When the slope of the road is a downward slope, the driver is in a forward leaning posture, so that the vertical change in the position of the face is large. Therefore, the reference position determination unit 125 updates the reference position when the slope of the road is a downward slope and the number of face positions included in the integration determination range widened as the inclination angle increases is equal to or greater than the number of determinations. Specifically, in the case of a downward slope, the reference position determining unit 125 sets an integration determination range in which at least one of the upward and downward ranges is widened as the inclination angle increases.

例えば、基準位置決定部125は、撮像装置の設置位置に応じて上方向又は下方向の範囲を広くした積算判定範囲を設定する。具体的には、基準位置決定部125は、撮像装置が運転者の顔の位置よりも鉛直方向において高い位置に設置されている場合、下方向の範囲を広くした積算判定範囲を設定する。また、基準位置決定部125は、撮像装置が運転者の顔の位置よりも鉛直方向において低い位置に設置されている場合、上方向の範囲を広くした積算判定範囲を設定する。このようにすることで、基準位置決定部125は、下り勾配に対応する運転者の姿勢に応じた基準位置を決定できる。 For example, the reference position determining unit 125 sets an integration determination range in which the range in the upward or downward direction is widened according to the installation position of the imaging device. Specifically, when the image pickup device is installed at a position higher in the vertical direction than the position of the driver's face, the reference position determination unit 125 sets an integration determination range in which the downward range is widened. Further, when the image pickup device is installed at a position lower in the vertical direction than the position of the driver's face, the reference position determination unit 125 sets an integration determination range in which the range in the upward direction is widened. By doing so, the reference position determination unit 125 can determine the reference position according to the posture of the driver corresponding to the downward slope.

道路の勾配が上り勾配である場合、運転者がシートに押し付けられたような姿勢になるので、顔位置の変化が小さくなる。そこで、基準位置決定部125は、道路情報が示す道路の勾配が上り勾配である場合、傾斜角が大きくなるほど狭くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。具体的には、基準位置決定部125は、上り勾配である場合、傾斜角が大きくなるほど上下方向の範囲を狭くした積算判定範囲に含まれる顔の位置の数が判定個数以上ある場合、基準位置を更新する。このようにすることで、基準位置決定部125は、上り勾配に対応する運転者の姿勢に応じた基準位置を決定できる。 When the slope of the road is an uphill slope, the driver is in a posture of being pressed against the seat, so that the change in the face position is small. Therefore, when the slope of the road indicated by the road information is an uphill slope, the reference position determination unit 125 determines the reference position when the number of face positions included in the integration determination range narrowed as the inclination angle increases is equal to or greater than the number of determinations. To update. Specifically, the reference position determination unit 125 is the reference position when the number of face positions included in the integration determination range in which the range in the vertical direction is narrowed as the inclination angle becomes larger is equal to or greater than the number of determinations. To update. By doing so, the reference position determining unit 125 can determine the reference position according to the posture of the driver corresponding to the uphill slope.

基準位置決定部125は、決定した基準位置を顔の位置の基準として用いるか否かを判定するための使用判定範囲内に含まれる場合、基準位置を更新する。使用判定範囲は、基準位置を更新するか否かを決定するための範囲であり、積算判定範囲よりも狭い範囲である。基準位置決定部125は、基準位置が使用判定範囲に含まれない場合、基準位置を更新しない。 The reference position determination unit 125 updates the reference position when it is included in the use determination range for determining whether or not the determined reference position is used as the reference for the face position. The usage determination range is a range for determining whether or not to update the reference position, and is a range narrower than the integration determination range. The reference position determination unit 125 does not update the reference position when the reference position is not included in the usage determination range.

(積算判定範囲よりも使用判定範囲を狭くする理由)
運転者ごとの個人差や顔を撮像したときの光環境差などの影響により、取得する顔の位置が分布する範囲は広くなりやすいので、積算判定範囲を狭くすると十分な数の顔の位置を取得できなくなるおそれがある。したがって、積算判定範囲は十分な数の顔の位置を取得できる程度に広くする必要があるが、積算判定範囲を広くすると顔の位置の分布に2以上のピークがあるような顔位置時系列データを取得してしまうことがある。顔の位置の分布に2つのピークがある二峰性の顔位置時系列データに基づいて決定された基準位置は、運転者の顔位置の基準位置として適切でない場合がある。このような課題に対し、基準位置決定装置1は、積算判定範囲よりも使用判定範囲を狭くすることにより、基準位置を統計的に決定するために十分な数の顔の位置を取得することができ、かつ適切でない基準位置に更新することを抑制できる。
(Reason for narrowing the usage judgment range than the integration judgment range)
Due to the influence of individual differences for each driver and differences in the light environment when the face is imaged, the range in which the acquired face positions are distributed tends to be wide, so narrowing the integration judgment range will result in a sufficient number of face positions. It may not be possible to obtain it. Therefore, it is necessary to widen the integration judgment range so that a sufficient number of face positions can be acquired. However, when the integration judgment range is widened, face position time series data such that the distribution of face positions has two or more peaks. May be acquired. A reference position determined based on bimodal face position time series data with two peaks in the face position distribution may not be appropriate as a reference position for the driver's face position. In response to such a problem, the reference position determining device 1 can acquire a sufficient number of face positions for statistically determining the reference position by making the usage determination range narrower than the integration determination range. It is possible and it is possible to suppress updating to an inappropriate reference position.

基準位置決定部125は、算出した基準位置と、過去に決定した基準位置とに基づいて、新たな基準位置と過去に決定した基準位置との変化量が小さくなる基準位置を決定してもよい。例えば、基準位置決定部125は、算出した基準位置に第1係数を乗算した値と、過去に決定した基準位置に第2係数を乗算した値との和を新たな基準位置として決定する。第1係数と第2係数との和は、例えば1である。このようにすることで、基準位置決定装置1は、基準位置の更新時における基準位置の変化量を低減することができる。そのため、基準位置決定部125は、例えば運転者が車両のスイッチ類を操作したり車両の左右を視認したりして顔の位置が大きく変化するような状況において、基準位置が大きく変化することを抑制できる。 The reference position determination unit 125 may determine a reference position in which the amount of change between the new reference position and the reference position determined in the past is small, based on the calculated reference position and the reference position determined in the past. .. For example, the reference position determination unit 125 determines the sum of the calculated reference position multiplied by the first coefficient and the previously determined reference position multiplied by the second coefficient as the new reference position. The sum of the first coefficient and the second coefficient is, for example, 1. By doing so, the reference position determining device 1 can reduce the amount of change in the reference position when the reference position is updated. Therefore, the reference position determining unit 125 can change the reference position significantly in a situation where, for example, the driver operates the switches of the vehicle or visually recognizes the left and right sides of the vehicle and the position of the face changes significantly. Can be suppressed.

基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した車速時系列データ及び顔位置時系列データに含まれるデータの数それぞれが、決定可能判定個数以上の場合に基準位置を決定してもよい。決定可能判定個数は、顔位置時系列データに基づいた統計量が、統計的に有意な結果を得られる数である。決定可能判定個数の具体的な値は、例えば1秒間に1回時系列データを取得する場合、180個である。 When the number of data included in the vehicle speed time series data and the face position time series data acquired after the engine of the vehicle V is changed from the stopped state to the operating state is equal to or greater than the number of determinable determination units, the reference position determining unit 125 is used. The reference position may be determined. The determinable determination number is a number at which a statistic based on the face position time series data can obtain a statistically significant result. The specific value of the determinable determination number is 180, for example, when the time series data is acquired once per second.

基準位置決定部125は、車速時系列データ又は顔位置時系列データの少なくともいずれか一方に含まれるデータの数が決定可能判定個数未満の場合、運転者の顔の位置に基づいた基準位置を決定せず、予め定められた標準位置を基準位置として決定する。標準位置は、複数の運転者の顔の位置に基づく統計量により決定されている。また、標準位置は、撮像画像の中心であってもよい。 The reference position determination unit 125 determines the reference position based on the position of the driver's face when the number of data contained in at least one of the vehicle speed time series data and the face position time series data is less than the decidable number. Instead, the predetermined standard position is used as the reference position. The standard position is determined by statistics based on the positions of the faces of multiple drivers. Further, the standard position may be the center of the captured image.

[基準位置を決定する処理の流れ]
図4は、顔の位置の基準位置を決定する処理の流れを示すフローチャートである。顔位置情報取得部121は、顔位置時系列データを取得する(ステップS1)。車速情報取得部122は、車速時系列データを取得する(ステップS2)。なお、ステップS1とステップS2とは、どちらが先に実行されてもよく、並列に実行されてもよい。
[Flow of processing to determine the reference position]
FIG. 4 is a flowchart showing a flow of processing for determining a reference position of a face position. The face position information acquisition unit 121 acquires face position time series data (step S1). The vehicle speed information acquisition unit 122 acquires vehicle speed time series data (step S2). Either step S1 or step S2 may be executed first, or may be executed in parallel.

基準位置決定部125は、顔位置時系列データの数及び車速時系列データの数それぞれが決定可能判定個数以上であるか否かを判定する(ステップS3)。基準位置決定部125は、取得した顔位置時系列データの数及び車速時系列データに含まれるデータの数それぞれが決定可能判定個数以上である場合(ステップS3でYes)、基準位置を更新する処理を実行する(ステップS4)。基準位置決定部125は、時系列データの数が決定可能判定個数未満である場合(ステップS3でNo)、予め記憶部11に記憶された標準位置を基準位置として決定する(ステップS5)。 The reference position determination unit 125 determines whether or not the number of face position time-series data and the number of vehicle speed time-series data are equal to or greater than the decidable determination number (step S3). The reference position determination unit 125 updates the reference position when the number of acquired face position time series data and the number of data included in the vehicle speed time series data are equal to or greater than the decidable number (Yes in step S3). Is executed (step S4). When the number of time-series data is less than the number of decidable determinations (No in step S3), the reference position determination unit 125 determines the standard position stored in the storage unit 11 in advance as the reference position (step S5).

図5は、基準位置を更新する処理の流れを示すフローチャートである。まず、区間設定部124は、運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する(ステップS21)。続いて、基準位置決定部125は、区間設定部124が設定した区間内の顔位置時系列データを積算する処理を実行する(ステップS22)。以下、図6を参照しながら、区間内の顔位置時系列データを積算する処理の流れを説明する。 FIG. 5 is a flowchart showing a flow of processing for updating the reference position. First, the section setting unit 124 sets the section of the time series data for determining the reference position of the position of the driver's face (step S21). Subsequently, the reference position determination unit 125 executes a process of integrating the face position time series data in the section set by the section setting unit 124 (step S22). Hereinafter, the flow of the process of accumulating the face position time series data in the section will be described with reference to FIG.

図6は、区間内の顔位置時系列データを積算する処理の流れを示すフローチャートである。まず、基準位置決定部125は、区間内の車速時系列データが示す車速が積算判定車速以上か否かを判定する(ステップS31)。基準位置決定部125は、区間内の車速時系列データが示す車速が積算判定車速以上である場合(ステップS31でYes)、積算判定車速以上である車速に対応する顔位置時系列データの顔の位置が積算判定範囲内であるか否かを判定する(ステップS32)。 FIG. 6 is a flowchart showing a flow of processing for accumulating face position time series data in a section. First, the reference position determining unit 125 determines whether or not the vehicle speed indicated by the vehicle speed time series data in the section is equal to or higher than the integrated determination vehicle speed (step S31). When the vehicle speed indicated by the vehicle speed time series data in the section is equal to or higher than the integrated determination vehicle speed (Yes in step S31), the reference position determination unit 125 of the face position time series data corresponding to the vehicle speed corresponding to the integrated determination vehicle speed or more. It is determined whether or not the position is within the integration determination range (step S32).

基準位置決定部125は、顔の位置が積算判定範囲内である場合(ステップS32でYes)、顔の位置を積算値に加算する(ステップS33)。基準位置決定部125は、車速が積算判定車速未満である場合(ステップS31でNo)、又は積算判定車速以上の車速に対応する顔の位置が積算判定範囲内でない場合(ステップS32でNo)、顔の位置を積算値に加算しない(ステップS34)。 When the face position is within the integration determination range (Yes in step S32), the reference position determination unit 125 adds the face position to the integration value (step S33). When the vehicle speed is less than the integration determination vehicle speed (No in step S31), or when the face position corresponding to the vehicle speed equal to or higher than the integration determination vehicle speed is not within the integration determination range (No in step S32), the reference position determination unit 125 is used. The position of the face is not added to the integrated value (step S34).

そして、基準位置決定部125は、区間設定部124が設定した区間内の全ての時系列データについて、積算値に加算するか否かを判定したか否かを判定する(ステップS35)。基準位置決定部125は、区間内の全ての時系列データについて判定した場合(ステップS35でYes)、区間内の顔位置時系列データを積算する処理を終了する。基準位置決定部125は、区間内の全ての時系列データについて判定していない場合(ステップS35でNo)、区間内の全ての時系列データについて判定するまで区間内の顔位置時系列データを積算する処理を繰り返す。 Then, the reference position determination unit 125 determines whether or not it is determined whether or not to add to the integrated value for all the time series data in the section set by the section setting unit 124 (step S35). When the reference position determination unit 125 determines for all the time series data in the section (Yes in step S35), the reference position determination unit 125 ends the process of integrating the face position time series data in the section. If the reference position determination unit 125 has not determined all the time series data in the section (No in step S35), the reference position determination unit 125 integrates the face position time series data in the section until it determines all the time series data in the section. Repeat the process of

図5のフローチャートに戻り説明を続ける。基準位置決定部125は、区間内の顔位置時系列データを積算する処理を終了すると、積算した時系列データの数が判定個数以上であるか否かを判定する(ステップS23)。基準位置決定部125は、積算した時系列データの数が判定個数以上である場合(ステップS23でYes)、区間内の顔位置時系列データを積算する処理で算出した積算値に基づいて、運転者の顔の位置の基準位置を算出する(ステップS24)。例えば、基準位置決定部125は、積算する処理で算出した積算値を、区間内の時系列データの数で除算した顔の位置の平均値を算出する。そして、基準位置決定部125は、顔の位置のx座標の値を積算した値の平均値を基準位置のx座標の値とし、顔の位置のy座標の値を積算した値の平均値を基準位置のy座標の値とする。 The explanation will be continued by returning to the flowchart of FIG. When the reference position determination unit 125 finishes the process of accumulating the face position time series data in the section, it determines whether or not the number of the integrated time series data is equal to or more than the determination number (step S23). When the number of integrated time series data is equal to or greater than the number of determinations (Yes in step S23), the reference position determination unit 125 operates based on the integrated value calculated in the process of integrating the face position time series data in the section. The reference position of the position of the person's face is calculated (step S24). For example, the reference position determination unit 125 calculates the average value of the face positions obtained by dividing the integrated value calculated in the integration process by the number of time series data in the section. Then, the reference position determination unit 125 sets the average value of the values obtained by integrating the x-coordinate values of the face position as the x-coordinate value of the reference position, and sets the average value of the integrated values of the y-coordinate values of the face position as the value. Let it be the y-coordinate value of the reference position.

基準位置決定部125は、算出した基準位置が使用判定範囲内であるか否かを判定する(ステップS25)。基準位置決定部125は、算出した基準位置が使用判定範囲内である場合(ステップS25でYes)、基準位置を更新する(ステップS26)。基準位置決定部125は、算出した時系列データの数が判定個数未満である場合(ステップS23でNo)、又は算出した基準位置が使用判定範囲内でない場合(ステップS25でNo)、基準位置を更新しない(ステップS27)。 The reference position determination unit 125 determines whether or not the calculated reference position is within the use determination range (step S25). When the calculated reference position is within the usage determination range (Yes in step S25), the reference position determination unit 125 updates the reference position (step S26). The reference position determination unit 125 determines the reference position when the number of calculated time series data is less than the number of determinations (No in step S23) or when the calculated reference position is not within the usage determination range (No in step S25). Do not update (step S27).

[実施の形態に係る基準位置決定装置1の効果]
以上説明したとおり、まず、基準位置決定装置1は、運転者の顔の位置の時間変化を示す顔位置時系列データと、車両Vの車速の時間変化を示す車速時系列データとを取得する。次に、基準位置決定装置1は、新たな時系列データを取得したことを契機として新たな時系列データを含む区間を設定する。そして、基準位置決定装置1は、区間を設定したことを契機として、新たな時系列データを含む区間内の時系列データに基づいて基準位置を更新する。このように、基準位置決定装置1が基準位置を適宜更新することにより、運転者の姿勢や車両が走行する道路の状況などに応じて、運転者の状態を判定する状態判定範囲を適宜設定できるようになる。そのため、運転者の状態を判定する状態判定装置が、運転者の状態を誤判定してしまうことを低減できる。
[Effect of reference position determining device 1 according to the embodiment]
As described above, first, the reference position determining device 1 acquires face position time series data indicating a time change of the driver's face position and vehicle speed time series data indicating a time change of the vehicle speed of the vehicle V. Next, the reference position determining device 1 sets a section including the new time series data when the new time series data is acquired. Then, the reference position determining device 1 updates the reference position based on the time series data in the section including the new time series data, triggered by the setting of the section. In this way, by appropriately updating the reference position by the reference position determining device 1, it is possible to appropriately set the state determination range for determining the driver's condition according to the posture of the driver and the condition of the road on which the vehicle travels. Will be. Therefore, it is possible to reduce that the state determination device for determining the driver's condition erroneously determines the driver's condition.

(変形例1)
道路情報取得部123は、道路の状況を示す道路情報を、車両Vが有する通信部を介して外部装置から取得してもよい。例えば、道路情報取得部123は、道路の勾配を示す勾配情報を含む地図情報を道路情報として取得する。この場合、基準位置決定装置1は、車両Vが有するGPS(Global Positioning System)受信機から取得した信号に基づいて車両Vの位置を取得し、取得した車両Vの位置に対応する位置における勾配情報が示す勾配に基づいて車両Vが走行する道路の勾配を特定する。
(Modification example 1)
The road information acquisition unit 123 may acquire road information indicating a road condition from an external device via a communication unit included in the vehicle V. For example, the road information acquisition unit 123 acquires map information including gradient information indicating the gradient of the road as road information. In this case, the reference position determining device 1 acquires the position of the vehicle V based on the signal acquired from the GPS (Global Positioning System) receiver of the vehicle V, and the gradient information at the position corresponding to the acquired position of the vehicle V. The slope of the road on which the vehicle V travels is specified based on the slope indicated by.

(変形例2)
基準位置決定装置1は、顔の位置のx座標の値とy座標の値それぞれを積算値に加算するか否かを、異なる積算判定車速を用いて判定してもよい。例えば、基準位置決定部125は、顔の位置に対応する車速がx方向に対応する積算判定車速以上である場合、x座標の値を積算値に加算し、顔の位置に対応する車速がy方向に対応する積算判定車速以上である場合、y座標の値を積算値に加算する。このようにすることで、基準位置決定装置1は、x方向とy方向それぞれの基準位置を別々に決定できる。そのため、基準位置決定装置1は、一方の基準位置を他方よりも早く決定できるようになる。
(Modification 2)
The reference position determining device 1 may determine whether or not to add each of the x-coordinate value and the y-coordinate value of the face position to the integrated value by using different integrated determination vehicle speeds. For example, when the vehicle speed corresponding to the face position is equal to or higher than the integrated determination vehicle speed corresponding to the x direction, the reference position determining unit 125 adds the x-coordinate value to the integrated value, and the vehicle speed corresponding to the face position is y. If the vehicle speed is equal to or higher than the integrated judgment vehicle speed corresponding to the direction, the y-coordinate value is added to the integrated value. By doing so, the reference position determining device 1 can separately determine the reference positions in the x direction and the y direction. Therefore, the reference position determining device 1 can determine one reference position faster than the other.

(変形例3)
運転者の顔の位置は、車両Vが右折又は左折する場合、運転者が車両の左右や後方を確認するために、顔の位置の変化が大きくなる。このように、変化の大きな顔の位置を積算値に含めると、基準位置が大きく変化してしまうことがある。そこで、基準位置決定装置1は、車両Vの方向指示器が作動している間に取得した時系列データを使用しない。具体的には、基準位置決定部125は、顔位置情報取得部121及び車速情報取得部122が車両Vの方向指示器が動作中に取得した時系列データを除いた時系列データにより得られる統計量に基づいて基準位置を決定する。このようにすることで、基準位置決定装置1は、顔変化の大きな顔の位置を使用しないので、基準位置の変化を低減できる。
(Modification 3)
As for the position of the driver's face, when the vehicle V turns right or left, the change in the position of the face becomes large so that the driver can check the left and right or the rear of the vehicle. In this way, if the position of the face with a large change is included in the integrated value, the reference position may change significantly. Therefore, the reference position determining device 1 does not use the time series data acquired while the direction indicator of the vehicle V is operating. Specifically, the reference position determination unit 125 is a statistic obtained from time series data excluding the time series data acquired by the face position information acquisition unit 121 and the vehicle speed information acquisition unit 122 while the direction indicator of the vehicle V is operating. Determine the reference position based on the quantity. By doing so, since the reference position determining device 1 does not use the position of the face with a large face change, the change in the reference position can be reduced.

(変形例4)
基準位置決定部125は、決定した基準位置を、運転者ごとに記憶部11に記憶させてもよい。基準位置決定部125は、運転者を識別する識別情報に関連付けて基準位置を記憶させる。識別情報は、例えばカメラモジュール2が特定した運転者の顔の特徴を示す特徴情報である。この場合、基準位置決定装置1は、カメラモジュール2が特定した運転者の顔の特徴を示す特徴情報を識別情報として取得する。そして、基準位置決定部125は、取得した識別情報に関連付けて、決定した基準位置を運転者別標準位置として記憶部11に記憶させる。
(Modification example 4)
The reference position determination unit 125 may store the determined reference position in the storage unit 11 for each driver. The reference position determination unit 125 stores the reference position in association with the identification information that identifies the driver. The identification information is, for example, feature information indicating the facial features of the driver specified by the camera module 2. In this case, the reference position determining device 1 acquires the feature information indicating the facial features of the driver specified by the camera module 2 as the identification information. Then, the reference position determination unit 125 stores the determined reference position as the driver-specific standard position in the storage unit 11 in association with the acquired identification information.

基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した車速時系列データ及び顔位置時系列データに含まれるデータの数それぞれが、決定可能判定個数未満の場合、識別情報に関連付けられた運転者別標準位置を、基準位置として決定する。具体的には、基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから取得した識別情報に関連付けられた運転者別標準位置を、基準位置として決定する。このようにすることで、基準位置決定部125は、車両Vのエンジンが停止状態から動作状態になってから決定可能判定個数以上の時系列データを取得するまでの間、過去に運転者に応じて決定した基準位置を使用することができる。 When the number of data included in the vehicle speed time series data and the face position time series data acquired after the engine of the vehicle V is changed from the stopped state to the operating state is less than the determinable determination number, the reference position determining unit 125 The driver-specific standard position associated with the identification information is determined as the reference position. Specifically, the reference position determination unit 125 determines the driver-specific standard position associated with the identification information acquired after the engine of the vehicle V is changed from the stopped state to the operating state as the reference position. By doing so, the reference position determining unit 125 responds to the driver in the past from the time when the engine of the vehicle V is changed from the stopped state to the operating state until the time series data equal to or more than the decidable determination number is acquired. The reference position determined in the above can be used.

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments, and various modifications and changes can be made within the scope of the gist. is there. For example, all or a part of the device can be functionally or physically distributed / integrated in any unit. Also included in the embodiments of the present invention are new embodiments resulting from any combination of the plurality of embodiments. The effect of the new embodiment produced by the combination has the effect of the original embodiment.

1 基準位置決定装置
2 カメラモジュール
3 車速センサ
4 勾配検出部
11 記憶部
12 制御部
121 顔位置情報取得部
122 車速情報取得部
123 道路情報取得部
124 区間設定部
125 基準位置決定部
1 Reference position determination device 2 Camera module 3 Vehicle speed sensor 4 Gradient detection unit 11 Storage unit 12 Control unit 121 Face position information acquisition unit 122 Vehicle speed information acquisition unit 123 Road information acquisition unit 124 Section setting unit 125 Reference position determination unit

Claims (5)

車両を運転する運転者を撮像した撮像画像における運転者の顔の位置の時間変化を示す顔位置時系列データを取得する顔位置情報取得部と、
前記車両の車速の時間変化を示す車速時系列データを取得する車速情報取得部と、
前記運転者の顔の位置の基準位置を決定するための時系列データの区間を設定する区間設定部と、
前記区間設定部が設定した前記区間内の前記車速時系列データのうち所定車速以上である車速に対応する前記顔位置時系列データの前記顔の位置により得られる顔の位置の統計量に基づいて前記顔の位置の基準位置を決定する基準位置決定部と、
を備え、
前記区間設定部は、前記顔位置情報取得部と前記車速情報取得部とが新たな時系列データを取得したことを契機として、前記新たな時系列データを含む区間を設定し、
前記基準位置決定部は、前記区間設定部が前記区間を設定したことを契機として新たな前記基準位置を決定する、
基準位置決定装置。
A face position information acquisition unit that acquires face position time-series data indicating a time-dependent change in the position of the driver's face in an captured image of the driver who drives the vehicle.
A vehicle speed information acquisition unit that acquires vehicle speed time series data indicating a time change of the vehicle speed of the vehicle,
A section setting unit for setting a section of time series data for determining a reference position of the driver's face position, and a section setting unit.
Based on the statistic of the face position obtained by the face position of the face position time series data corresponding to the vehicle speed which is equal to or higher than the predetermined vehicle speed among the vehicle speed time series data in the section set by the section setting unit. A reference position determining unit that determines the reference position of the face position, and
With
The section setting unit sets a section including the new time-series data when the face position information acquisition unit and the vehicle speed information acquisition unit acquire new time-series data.
The reference position determining unit determines a new reference position when the section setting unit sets the section.
Reference position determining device.
前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、所定範囲内である前記顔の位置の数が第2個数以上ある場合、新たな前記基準位置を決定する、
請求項1に記載の基準位置決定装置。
In the reference position determining unit, among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed corresponding to the predetermined vehicle speed or higher, the number of the face positions within the predetermined range is the second or more. If so, determine a new reference position,
The reference position determining device according to claim 1.
前記車両が走行する道路の状況を示す道路情報を取得する道路情報取得部をさらに有し、
前記基準位置決定部は、前記所定車速以上である車速に対応する前記顔位置時系列データが示す複数の前記顔の位置のうち、前記道路情報が示す前記状況に応じて定まる前記所定範囲内に含まれる前記顔の位置の数が前記第2個数以上ある場合、新たな前記基準位置を決定する、
請求項2に記載の基準位置決定装置。
It also has a road information acquisition unit that acquires road information indicating the condition of the road on which the vehicle travels.
The reference position determining unit is within the predetermined range determined according to the situation indicated by the road information among the plurality of face positions indicated by the face position time series data corresponding to the vehicle speed equal to or higher than the predetermined vehicle speed. When the number of the facial positions included is the second number or more, a new reference position is determined.
The reference position determining device according to claim 2.
前記基準位置決定部は、決定した前記基準位置が前記顔の位置の基準として用いるか否かを判定するための使用判定範囲内に含まれる場合、新たな前記基準位置として決定する、
請求項1から3のいずれか一項に記載の基準位置決定装置。
When the determined reference position is included in the use determination range for determining whether or not to use the determined reference position as a reference for the face position, the reference position determining unit determines as a new reference position.
The reference position determining device according to any one of claims 1 to 3.
前記基準位置決定部は、前記顔位置情報取得部及び前記車速情報取得部が前記車両の方向指示器が動作中に取得した時系列データを除いた時系列データにより得られる統計量に基づいて前記基準位置を決定する、
請求項1から4のいずれか一項に記載の基準位置決定装置。
The reference position determining unit is based on statistics obtained from time-series data excluding the time-series data acquired by the face position information acquisition unit and the vehicle speed information acquisition unit while the vehicle's turn signal is operating. Determine the reference position,
The reference position determining device according to any one of claims 1 to 4.
JP2019148006A 2019-08-09 2019-08-09 Reference position determining device Pending JP2021028803A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019148006A JP2021028803A (en) 2019-08-09 2019-08-09 Reference position determining device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019148006A JP2021028803A (en) 2019-08-09 2019-08-09 Reference position determining device

Publications (1)

Publication Number Publication Date
JP2021028803A true JP2021028803A (en) 2021-02-25

Family

ID=74667220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019148006A Pending JP2021028803A (en) 2019-08-09 2019-08-09 Reference position determining device

Country Status (1)

Country Link
JP (1) JP2021028803A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024079779A1 (en) * 2022-10-11 2024-04-18 三菱電機株式会社 Passenger state determination device, passenger state determination system, passenger state determination method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024079779A1 (en) * 2022-10-11 2024-04-18 三菱電機株式会社 Passenger state determination device, passenger state determination system, passenger state determination method and program

Similar Documents

Publication Publication Date Title
US20180075727A1 (en) Alert generation correlating between head mounted imaging data and external device
JP6693321B2 (en) Ability evaluation system
US9506859B2 (en) Method and device for determining a visual range in daytime fog
US20110320163A1 (en) Method and system for determining road data
JP6573193B2 (en) Determination device, determination method, and determination program
US11062158B2 (en) Driver state determination apparatus, method, and recording medium
JP4529394B2 (en) Driver's vehicle driving characteristic estimation device
US11443534B2 (en) Vehicular monitoring device
CN113240756B (en) Pose change detection method and device for vehicle-mounted BSD camera and storage medium
US20220097715A1 (en) Driving support apparatus
CN111881245B (en) Method, device, equipment and storage medium for generating visibility dynamic map
JP5498183B2 (en) Behavior detection device
JP2021028803A (en) Reference position determining device
US11718307B2 (en) Vehicle control apparatus
JP5478334B2 (en) Driver state determination device and program
US12094223B2 (en) Information processing apparatus, and recording medium
JP2015520057A (en) Improvement of inertial sensor
CN113635907B (en) Driving behavior detection method and device, electronic equipment and storage medium thereof
JPWO2018180285A1 (en) Three-dimensional data generation device, three-dimensional data generation method, three-dimensional data generation program, and computer-readable recording medium storing three-dimensional data generation program
US20130039576A1 (en) Method and device for analyzing an image of an image recording device for a vehicle
JP2019070877A (en) Alarm device
WO2022130709A1 (en) Object identification device and object identification method
JP5454190B2 (en) Vehicle control device
JP2019070876A (en) Safe driving support device and safe driving support method
CN111142720B (en) Vehicle-mounted machine screen rotation display method and device