CN115398505B - 安全驾驶判定装置 - Google Patents

安全驾驶判定装置 Download PDF

Info

Publication number
CN115398505B
CN115398505B CN202180018878.6A CN202180018878A CN115398505B CN 115398505 B CN115398505 B CN 115398505B CN 202180018878 A CN202180018878 A CN 202180018878A CN 115398505 B CN115398505 B CN 115398505B
Authority
CN
China
Prior art keywords
offset value
driver
determination unit
angle
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202180018878.6A
Other languages
English (en)
Other versions
CN115398505A (zh
Inventor
山口和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isuzu Motors Ltd
Original Assignee
Isuzu Motors Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isuzu Motors Ltd filed Critical Isuzu Motors Ltd
Publication of CN115398505A publication Critical patent/CN115398505A/zh
Application granted granted Critical
Publication of CN115398505B publication Critical patent/CN115398505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Dentistry (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Emergency Management (AREA)
  • Geometry (AREA)

Abstract

安全驾驶判定装置3具有：角度值确定部320，确定表示驾驶员相对于车辆S的行进方向的脸部朝向角度的角度值；偏移值决定部321，使用角度值确定部320跨规定时间确定的角度值，决定与拍摄装置1的拍摄方向对应的角度值相对于驾驶员的脸部的偏移值；以及判定部323，在偏移值决定部321决定了偏移值之后，开始基于偏移值与角度值的关系判定驾驶员是否处于不注视前方状态。

Description

安全驾驶判定装置
技术领域
本发明涉及一种安全驾驶判定装置。
背景技术
以往，提出了根据驾驶车辆的驾驶员的脸部朝向方向来判定驾驶员的不注视前方(侧视)，在判定为驾驶员不注视前方的情况下向驾驶员发出警报的装置。一旦驾驶员的脸部朝向角度相对于作为驾驶员未侧视的状态下的平均脸部朝向的基准朝向偏离规定角度以上的状态持续规定时间以上，则该装置发出警报(例如，参照专利文献1)。
现有技术文献
专利文献
专利文献1：特开2019-70875号公报
发明内容
发明要解决的问题
但是，由于决定基准朝向需要时间，所以在决定基准朝向之前的期间，例如将车辆的行进方向这样的初始值用作基准朝向。如果这样根据初始值进行判定，则在基准朝向与初始值的差大的情况下，尽管驾驶员没有侧视，装置也有可能错误地发出警报。
因此，本发明是鉴于这些点而完成的，其目的在于，抑制尽管驾驶员没有侧视也发出警报。
解决问题的方案
本发明的方式所涉及的安全驾驶判定装置通过拍摄装置对车辆的驾驶员进行拍摄，并取得以所述车辆的行进方向为基准时的表示所述驾驶员的脸部朝向角度的角度值，根据所取得的所述角度值判定所述驾驶员是否处于不注视前方状态，所述安全驾驶判定装置具有：角度值确定部，确定表示所述驾驶员相对于所述行进方向的横摆方向的脸部朝向角度和所述驾驶员相对于所述行进方向的俯仰方向的脸部朝向角度中的至少一个脸部朝向角度的角度值；偏移值决定部，使用所述角度值确定部跨规定时间确定的所述角度值，决定与所述拍摄装置的拍摄方向对应的所述角度值相对于所述驾驶员的脸部的偏移值；以及判定部，在所述偏移值决定部决定了所述偏移值之后，开始基于所述偏移值与所述角度值的关系判定所述驾驶员是否处于不注视前方状态。
所述偏移值决定部可以在规定的偏移值计算期间中所述驾驶员的脸部朝向处于规定范围内的期间的比例超过阈值的情况下重新决定所述偏移值。
在所述判定部判定为处于不注视前方状态的期间，所述偏移值决定部可以不重新决定所述偏移值。
在所述判定部判定为不处于不注视前方状态的情况下，所述判定部可以基于所述偏移值决定部是否更新了所述偏移值，来切换为继续判定的操作还是中止判定的操作。
在所述偏移值决定部未更新所述偏移值的情况下，所述判定部可以中止判定所述驾驶员是否处于不注视前方状态。
可以具有警告部，在判定为所述车辆的驾驶员处于不注视前方状态的情况下，所述警告部向所述驾驶员发出警告，所述警告部以所述偏移值决定部决定了所述偏移值为前提向所述驾驶员发出所述警告。
发明的效果
根据本发明，具有抑制尽管驾驶员没有侧视也发出警报的效果。
附图说明
图1是表示根据本发明的车辆S的结构的图。
图2是表示拍摄装置1与驾驶员的脸部朝向角度的关系的图。
图3是表示偏移值决定部321决定偏移值的处理的流程图的图。
图4是表示偏移值决定部321、判定部323以及警告部324的操作的流程的图。
具体实施方式
<车辆S的构成>
图1是表示根据本发明的车辆S的结构的图。车辆S具有拍摄装置1、警报装置2和安全驾驶判定装置3。
拍摄装置1设置在车辆S的驾驶席上，例如包括CCD相机。拍摄装置1从前方对坐在驾驶席上的驾驶员进行拍摄，生成拍摄图像。例如，拍摄装置1对车辆S行驶中的驾驶员的脸部进行拍摄，生成能够确定驾驶员相对于车辆S的行进方向的脸部朝向角度的拍摄图像。拍摄装置1将所生成的拍摄图像输出到安全驾驶判定装置3。
图2是表示拍摄装置1与驾驶员的脸部朝向角度的关系的图。图2的(a)中示出了从驾驶员D的侧面观察的图，图2的(b)中示出了从驾驶员D的上方观察的图。如图2的(a)和图2的(b)所示，拍摄装置1不设置在驾驶员D的脸部的正面，而是相对于驾驶员D的脸部设置在例如斜下方。
警报装置2是根据从安全驾驶判定装置3通知的驾驶中的驾驶员不注视前方(例如侧视)，来对驾驶员发出警告的装置。警报装置2例如包括发出报警的声音的扬声器、显示警告画面的显示部、以及产生振动的振动产生部。另外，警报装置2也可以组合声音、显示以及振动中的至少两个来发出警告。
安全驾驶判定装置3具有存储部31和控制部32。安全驾驶判定装置3通过拍摄装置1对车辆S的驾驶员进行拍摄，并确定以车辆的行进方向为基准时的表示驾驶员的脸部朝向角度的角度值。安全驾驶判定装置3基于所确定的角度值来判定驾驶员是否处于不注视前方状态。在判定为驾驶员处于不注视前方状态的情况下，安全驾驶判定装置3通知警报装置2发出警告。
存储部31具有ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)以及硬盘等的存储介质。存储部31存储后述的控制部32执行的程序。在存储部31中存储有例如与驾驶员的脸部朝向角度相关的信息。
控制部32例如是CPU(Central Processing Unit，中央处理单元)。通过执行存储在存储部31中的程序，控制部32作为角度值确定部320、偏移值决定部321、角度值校正部322、判定部323以及警告部324发挥作用。控制部32确定驾驶员的脸部朝向角度，并且将驾驶员的脸部朝向角度存储在存储部31中。
角度值确定部320确定表示驾驶员相对于车辆S的行进方向的横摆方向(图2的(b))的脸部朝向角度的横摆角度值和表示驾驶员相对于行进方向的俯仰方向(图2的(a))的脸部朝向角度的俯仰角度值中的至少一个的、表示脸部朝向角度的角度值。
角度值确定部320基于拍摄装置1拍摄的拍摄图像来确定角度值。角度值确定部320在规定间隔(例如100秒的间隔)中持续确定角度值。角度值确定部320将所确定的角度值通知给偏移值决定部321和角度值校正部322。
偏移值决定部321使用角度值确定部320跨规定时间(例如100秒)确定的角度值，决定与拍摄装置1的拍摄方向对应的角度值相对于驾驶员的脸部的偏移值。偏移值是用于将角度值确定部320以拍摄装置1的拍摄方向为基准所确定的角度值校正为以驾驶员未侧视的状态下的平均脸部朝向即基准朝向为基准的角度值的值。
偏移值决定部321将例如角度值确定部320跨规定时间确定的角度值的平均值或中位值等统计值决定为偏移值。偏移值决定部321将表示横摆角度值的偏移值的横摆偏移值和表示俯仰角度值的偏移值的俯仰偏移值中的至少一个决定为偏移值。
偏移值决定部321在规定的偏移值计算期间(例如100秒)中的、驾驶员的脸部朝向在规定范围内的期间的比例超过阈值(例如70秒)的情况下，重新决定偏移值。这里所说的驾驶员的脸部朝向在规定范围内的期间是指，例如相对于车辆的正面方向的横摆角度值在30度左右以内的期间。
偏移值决定部321也可以在例如驾驶员的脸部朝向角度、驾驶员的头部的位置以及车辆S的车速中的至少一个在规定范围内的期间的比例超过阈值的情况下重新决定偏移值。偏移值决定部321将所决定的偏移值通知给角度值校正部322。
但是，如果在判定部323判定为处于不注视前方状态的期间偏移值决定部321决定了偏移值，则在驾驶员侧视的状态下的脸部朝向被设定为基准朝向。因此，在判定部323判定为处于不注视前方状态的期间，偏移值决定部321不重新决定偏移值。
具体地，偏移值决定部321从判定部323取得驾驶员是否处于不注视前方状态的判定。在从判定部323取得的判定为处于不注视状态的情况下，偏移值决定部321不更新偏移值，而将在前一时刻决定的偏移值通知给角度值校正部322。另一方面，在从判定部323取得的判定为不处于不注视状态的情况下，将重新决定的偏移值通知给角度值校正部322。偏移值决定部321将通知给角度值校正部322的偏移值是否是重新决定的偏移值通知给判定部323。
这样，偏移值决定部321根据从判定部323取得的是否处于不注视状态的判定来切换是否更新偏移值，从而能够抑制将错误的偏移值通知给角度值校正部322。
角度值校正部322基于偏移值决定部321决定的偏移值来校正角度值确定部320确定的角度值。例如，角度值校正部322基于横摆偏移值校正横摆角度值，基于俯仰偏移值校正俯仰角度值。角度值校正部322将校正后的横摆角度值和俯仰角度值中的至少一个作为校正后的角度值通知给判定部323。
在偏移值决定部321决定了偏移值之后，判定部323开始基于偏移值与角度值确定部320所确定的角度值的关系判定驾驶员是否处于不注视前方状态。判定部323从角度值校正部322取得基于偏移值决定部321决定的偏移值和角度值确定部320确定的角度值的、校正后的角度值。判定部323从偏移值决定部321取得偏移值决定部321是否更新了偏移值。判定部323将驾驶员是否处于不注视前方状态的判定通知给警告部324。
在判定部323判定为驾驶员处于不注视前方状态的情况下，该判定部323向偏移值决定部321通知驾驶员处于不注视前方状态。另一方面，在判定为驾驶员不处于不注视前方状态的情况下，基于偏移值决定部321是否更新了偏移值，来切换为继续判定的操作还是中止判定的操作。
具体地，在判定部323判定为驾驶员不处于不注视前方状态的情况下，在偏移值决定部321更新了偏移值时，判定部323基于该偏移值来判定驾驶员是否处于不注视前方状态。另一方面，在偏移值决定部321未更新偏移值的情况下，判定部323中止判定驾驶员是否处于不注视前方状态。通过使判定部323这样进行操作，能够抑制由于偏移值决定部321不更新偏移值而导致判定部323误判定为驾驶员处于不注视前方状态。其结果，能够抑制判定部323在驾驶员不处于不注视前方状态的情况下误判驾驶员处于不注视前方状态并通知给警告部324。
在判定部323判定为车辆S的驾驶员处于不注视前方状态的情况下，警告部324向驾驶员发出警告。具体地，以判定部323判定为驾驶员处于不注视前方状态并且偏移值决定部321更新了偏移值为前提，从判定部323通知警告部324向驾驶员发出警告。也可以从偏移值决定部321通知警告部324正在更新偏移值。当从判定部323通知警告部324发出警告时，警告部324通知警报装置2发出警告。
<偏移值决定处理>
图3是表示偏移值决定部321决定偏移值的处理的流程图的图。偏移值决定部321取得角度值确定部320在之前的偏移值计算期间中确定的角度值(S10)。偏移值决定部321判定所取得的各个角度值是否在规定范围内(S11)。
接着，偏移值决定部321判定所取得的角度值中处于规定范围内的角度值的比例是否超过阈值(S12)。在偏移值计算期间中所确定的角度值中处于规定范围内的角度值的比例超过阈值的情况下(S12的是)，偏移值决定部321依据该各个角度值决定偏移值(S13)。
另一方面，在规定范围内的角度值的比例小于阈值的情况下(S12的否)，偏移值决定部321不决定偏移值(S14)。偏移值决定部321每隔规定的时间(例如1秒)重复从S10到S14的处理。通过偏移值决定部321这样操作，能够抑制角度值校正部322校正为错误的角度值和判定部323基于错误的角度值进行误判定。
<决定偏移值和判定不注视状态的操作>
图4是示出偏移值决定部321、判定部323以及警告部324的操作的流程的图。图4的纵轴的上段表示偏移值决定部321的操作状态，中段表示判定部323的操作状态，下段表示警告部324的操作状态。图4的横轴表示时间。
在时刻T1(例如车辆S的发动机起动的时刻)，偏移值决定部321为了计算偏移值，开始确定驾驶员的脸部朝向。从时刻T1到时刻T2，偏移值决定部321取得角度值确定部320确定的角度值。从时刻T1到时刻T2的时长是与偏移值计算期间相当的时长。在时刻T2，偏移值决定部321决定偏移值。
在时刻T2，偏移值决定部321以角度值确定部320在跨偏移值计算期间所确定的角度值中处于规定范围内的角度值的比例为阈值以上为前提来决定偏移值。
在偏移值决定部321在时刻T2决定了偏移值之后的时刻T3，判定部323开始基于角度值校正部322使用偏移值校正后的角度值来判定驾驶员是否为不注视前方。
这样，在比偏移值决定部321在车辆S起动后最初决定偏移值的时刻T2靠后的时刻，即时刻T3，判定部323开始判定驾驶员是否处于不注视前方状态。由此，判定部323能够根据基于驾驶员的偏移值的校正后的角度值进行判定，因此能够抑制对驾驶员是否处于不注视前方状态的误判定。
在角度值确定部320在偏移值计算期间中所确定的角度值中处于规定范围内的角度值的比例小于阈值的情况下，偏移值决定部321在时刻T4中止偏移值的更新。
在偏移值决定部321在时刻T4中止更新偏移值的情况下，判定部323在时刻T5中止判定驾驶员是否处于不注视前方状态。这样，由于判定部323中止判定，因此在例如由于驾驶员姿势变化而使处于规定范围内的角度值的比例小于阈值的情况下，判定部323不判定为“驾驶员处于不注视前方状态”。由此，能够抑制警告部324错误地发出驾驶不注视的警告。
在时刻T6，偏移值决定部321基于角度值确定部320跨规定时间确定的角度值中处于规定范围内的角度值的比例为阈值以上的情况，再次开始更新偏移值。在偏移值决定部321在时刻T6再次开始更新偏移值的情况下，判定部323在时刻T7再次开始判定驾驶员是否处于不注视前方状态。
这样，判定部323基于在时刻T6更新后的偏移值，在时刻T7判定不注视前方，由此判定部323即使在例如在驾驶员确认了镜子后在未侧视的状态下进行继续驾驶的操作的情况下，也能够判定驾驶员是否为不注视前方状态。
在该判定部323在时刻T8判定为“驾驶员处于不注视前方状态”的情况下，判定部323向偏移值决定部321以及警告部324通知“驾驶员处于不注视前方状态”。在时刻T9，偏移值决定部321根据从判定部323通知的“驾驶员为不注视前方”，中止决定偏移值。在时刻T9，警告部324通知警报装置2发出警告。
这样，由于在时刻T9偏移值决定部321中止更新偏移值，因此判定部323基于由时刻T9的偏移值校正后的角度值继续判定。由此，能够抑制例如由驾驶员持续侧视导致的偏移值决定部321决定错误的偏移值，因此判定部323能够抑制误判定。
<安全驾驶判定装置3的效果>
如上所述，控制部32具有：角度值确定部320，确定作为驾驶员的脸部朝向角度的角度值；以及偏移值决定部321，决定角度值的偏移值。而且，判定部323在偏移值决定部321决定了偏移值之后开始判定驾驶员是否处于不注视前方状态。
因此，在车辆S中，能够通过基于驾驶员的脸部朝向角度的偏移值来校正角度值，因此能够抑制驾驶员是否处于不注视前方状态的误判定。由此，判定部323能够抑制尽管驾驶员没有侧视但仍基于误判定发出警报。
在上文中，使用实施方式说明了本发明，但本发明的技术范围不限于上述实施方式记载的范围，在本发明的主旨范围内可以进行各种变形和变更。例如，装置的全部或一部分可以以任意的单位在功能上或物理上分散、合并而构成。另外，通过多个实施方式的任意组合而产生的新实施方式也包含在本发明的实施方式中。通过组合而产生的新实施方式的效果兼具原先的实施方式的效果。
附图标记
1 拍摄装置
2 警报装置
3 安全驾驶判定装置
31 存储部
32 控制部
320 角度值确定部
321 偏移值决定部
322 角度值校正部
323 判定部
324 警告部

Claims (5)

1.一种安全驾驶判定装置，通过拍摄装置对车辆的驾驶员进行拍摄，并取得以所述车辆的行进方向为基准时的表示所述驾驶员的脸部朝向角度的角度值，基于所取得的所述角度值判定所述驾驶员是否处于不注视前方状态，所述安全驾驶判定装置具有：
角度值确定部，确定表示所述驾驶员相对于所述行进方向的横摆方向的脸部朝向角度和所述驾驶员相对于所述行进方向的俯仰方向的脸部朝向角度中的至少一个脸部朝向角度的所述角度值；
偏移值决定部，使用所述角度值确定部跨规定时间确定的所述角度值，决定与所述拍摄装置的拍摄方向对应的角度值相对于所述驾驶员的脸部的偏移值；以及
判定部，在所述偏移值决定部决定了所述偏移值之后，开始基于所述偏移值与所述角度值确定部确定的所述角度值的关系判定所述驾驶员是否处于不注视前方状态，
在规定的偏移值计算期间中所述驾驶员的脸部朝向处于规定范围内的期间的比例超过阈值的情况下，所述偏移值决定部重新决定所述偏移值。
2.根据权利要求1所述的安全驾驶判定装置，其中，
在所述判定部判定为处于不注视前方状态的期间，所述偏移值决定部不重新决定所述偏移值。
3.根据权利要求1或2所述的安全驾驶判定装置，其中，
在所述判定部判定为不处于不注视前方状态的情况下，所述判定部基于所述偏移值决定部是否更新了所述偏移值，来切换为继续判定的操作还是中止判定的操作。
4.根据权利要求3所述的安全驾驶判定装置，其中，
在所述偏移值决定部未更新所述偏移值的情况下，所述判定部中止判定所述驾驶员是否处于不注视前方状态。
5.根据权利要求1或2所述的安全驾驶判定装置，其中，
还具有警告部，在判定为所述车辆的驾驶员处于不注视前方状态的情况下，向所述驾驶员发出警告，
所述警告部以所述偏移值决定部决定了所述偏移值为前提，向所述驾驶员发出所述警告。
CN202180018878.6A 2020-03-11 2021-03-09 安全驾驶判定装置 Active CN115398505B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-042079 2020-03-11
JP2020042079A JP7342744B2 (ja) 2020-03-11 2020-03-11 安全運転判定装置
PCT/JP2021/009365 WO2021182481A1 (ja) 2020-03-11 2021-03-09 安全運転判定装置

Publications (2)

Publication Number Publication Date
CN115398505A CN115398505A (zh) 2022-11-25
CN115398505B true CN115398505B (zh) 2023-09-29

Family

ID=77672356

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180018878.6A Active CN115398505B (zh) 2020-03-11 2021-03-09 安全驾驶判定装置

Country Status (5)

Country Link
US (1) US12097802B2 (zh)
JP (1) JP7342744B2 (zh)
CN (1) CN115398505B (zh)
DE (1) DE112021001556T5 (zh)
WO (1) WO2021182481A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097445A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
KR20110062651A (ko) * 2009-12-03 2011-06-10 현대자동차주식회사 차선 이탈 경보 방법
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
JP2019070876A (ja) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 安全運転支援装置及び安全運転支援方法
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置
CN109774469A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 旁视判定装置、旁视判定方法以及存储介质
CN109795409A (zh) * 2017-11-15 2019-05-24 欧姆龙株式会社 旁视判定装置、旁视判定方法以及记录介质
WO2020031873A1 (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7675296B2 (en) * 2006-09-11 2010-03-09 Delphi Technologies, Inc. Method and apparatus for detecting the head pose of a vehicle occupant
EP2082383B1 (en) 2006-10-13 2012-06-13 Toyota Jidosha Kabushiki Kaisha On-board warning apparatus and warning method
JP2013140558A (ja) * 2011-12-09 2013-07-18 Denso Corp 運転判定装置
KR101795894B1 (ko) 2015-12-24 2017-12-01 주식회사 포스코 산화물계 전해질 이동 차단층이 형성된 용융탄산염 연료전지용 가스켓
JP6984294B2 (ja) 2017-10-05 2021-12-17 いすゞ自動車株式会社 安全運転判定装置及び安全運転判定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008097445A (ja) * 2006-10-13 2008-04-24 Toyota Motor Corp 車載警告装置
KR20110062651A (ko) * 2009-12-03 2011-06-10 현대자동차주식회사 차선 이탈 경보 방법
JP2016207174A (ja) * 2015-04-28 2016-12-08 いすゞ自動車株式会社 車両の安全運転促進方法及び車両の安全運転促進装置
JP2019070876A (ja) * 2017-10-05 2019-05-09 いすゞ自動車株式会社 安全運転支援装置及び安全運転支援方法
CN109758167A (zh) * 2017-11-09 2019-05-17 丰田自动车株式会社 驾驶员状态检测装置
CN109774469A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 旁视判定装置、旁视判定方法以及存储介质
CN109795409A (zh) * 2017-11-15 2019-05-24 欧姆龙株式会社 旁视判定装置、旁视判定方法以及记录介质
WO2020031873A1 (ja) * 2018-08-07 2020-02-13 オムロン株式会社 脇見運転検出装置

Also Published As

Publication number Publication date
CN115398505A (zh) 2022-11-25
DE112021001556T5 (de) 2023-01-19
WO2021182481A1 (ja) 2021-09-16
US20240198903A1 (en) 2024-06-20
US12097802B2 (en) 2024-09-24
JP2021144421A (ja) 2021-09-24
JP7342744B2 (ja) 2023-09-12

Similar Documents

Publication Publication Date Title
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
JP6379967B2 (ja) 画像生成装置および画像生成方法
US8274570B2 (en) Image processing apparatus, image processing method, hand shake blur area estimation device, hand shake blur area estimation method, and program
JP2012078868A (ja) 手ぶれ補正装置、手ぶれ補正プログラム、手ぶれ補正方法
JP6330383B2 (ja) 合成画像生成装置、および合成画像生成プログラム
JP6003745B2 (ja) 画像処理装置
JP2006215392A (ja) 像振れ補正装置
US20100002078A1 (en) Periphery monitoring apparatus
JP2008172310A (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP4962304B2 (ja) 歩行者検出装置
CN115398505B (zh) 安全驾驶判定装置
JP2022126659A (ja) 車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラム
US20180255274A1 (en) Bird&#39;s-eye view video generation device, bird&#39;s-eye view video generation method and non-transitory storage medium
JP2021072592A (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
CN116017155A (zh) 图像调整方法、装置、计算机设备及存储介质
CN115398507B (zh) 安全驾驶判定装置
JP2019070876A (ja) 安全運転支援装置及び安全運転支援方法
JP6984294B2 (ja) 安全運転判定装置及び安全運転判定方法
US20210061286A1 (en) Driving state determination device and driving state determination method
JP2010109876A (ja) 画像防振装置、撮像装置及び画像防振方法
CN115398506B (zh) 安全驾驶判定装置
JP2021026115A (ja) 制御装置、撮像装置、レンズ装置、撮像システム、および、プログラム
JP2725446B2 (ja) 振動成分検出画像処理装置
US20240095892A1 (en) Image capturing apparatus and control method thereof, and storage medium
JP2019151307A (ja) 駐車エリア検知装置および駐車エリア検知方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant