CN106463065A - 驾驶员的驾驶不能状态检测装置 - Google Patents

驾驶员的驾驶不能状态检测装置 Download PDF

Info

Publication number
CN106463065A
CN106463065A CN201580033574.1A CN201580033574A CN106463065A CN 106463065 A CN106463065 A CN 106463065A CN 201580033574 A CN201580033574 A CN 201580033574A CN 106463065 A CN106463065 A CN 106463065A
Authority
CN
China
Prior art keywords
mentioned
driver
driving
state
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580033574.1A
Other languages
English (en)
Other versions
CN106463065B (zh
Inventor
坂野大翔
大见拓宽
宗冈丰
塩谷武司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to CN202010192765.5A priority Critical patent/CN111311963A/zh
Priority to CN202010547995.9A priority patent/CN111710190A/zh
Priority to CN202210176883.6A priority patent/CN114512030B/zh
Publication of CN106463065A publication Critical patent/CN106463065A/zh
Application granted granted Critical
Publication of CN106463065B publication Critical patent/CN106463065B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12Acquisition of 3D measurements of objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Abstract

驾驶员的驾驶不能状态检测装置具备:头部检测部(61),其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;以及出画状态检测部(71),其在车辆(10)的行驶中,由头部检测部(61)检测出的头部从图像的规定范围脱离的情况下,检测驾驶员为驾驶不能状态。驾驶员的驾驶不能状态检测装置具备头部检测部(61)、根据由头部检测部(61)检测出的头部的位置来获取头部的轨迹的轨迹获取部(62)、以及出画状态检测部(71)。

Description

驾驶员的驾驶不能状态检测装置
技术领域
本申请是基于2014年6月23日申请的日本国专利申请2014-128387号、2015年2月16日申请的日本国专利申请2015-28001号的申请,在此通过参照引用其记载内容。
本公开涉及检测驾驶员成为驾驶不能的状态的驾驶员的驾驶不能状态检测装置。
背景技术
存在在车辆的驾驶中,在驾驶员因急病等陷入驾驶不能状态的情况下,导致事故的可能性。因此,提出检测这样的驾驶员的驾驶不能状态,防止事故。
在专利文献1所记载的紧急避让装置中,从驾驶员的拍摄图像识别驾驶员的视线信息、眨眼信息、脸朝向信息等,并且测量驾驶员的心率信息、呼吸信息、脑波信息等。并且,在专利文献1所记载的装置中,使用获取的各种信息来识别驾驶员的意识的降低度、清醒度、姿势等驾驶员的状态,并在驾驶员的状态降低的情况下,进行紧急避让支援。
本申请发明者们发现,由于专利文献1所记载的装置获取各种信息来识别驾驶员的状态,因此,用于检测驾驶员的驾驶不能状态的处理较复杂。
专利文献1:日本公开专利公报2014-19301号
本公开的主要目的在于提供一种能够简单地检测驾驶员成为驾驶不能状态的驾驶员的驾驶不能状态检测装置。
发明内容
根据本公开的第一方式,驾驶员的驾驶不能状态检测装置具备:头部检测部,其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;以及出画状态检测部,其在上述车辆的行驶中,由上述头部检测部检测出的上述头部从上述图像的规定范围脱离的情况下,检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置,基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部。在驾驶员正常驾驶车辆的情况下,驾驶员的头部收纳于驾驶席的图像的规定范围的情况较多。与此相对,若急病病发导致驾驶员失去意识,则存在驾驶员的头部从规定范围脱离的情况。由此,通过在头部从规定范围脱离的情况下,检测驾驶员为驾驶不能状态,能够简单地检测驾驶员的驾驶不能状态。
根据本公开的第二方式,驾驶员的驾驶不能状态检测装置具备:头部检测部,其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;轨迹获取部,其根据由上述头部检测部检测出的上述头部的位置来获取上述头部的轨迹;以及状态检测部,其基于由上述轨迹获取部获取的上述轨迹来检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置,基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部,并且根据检测出的头部的位置来获取头部的轨迹。若急病病发而成为驾驶员的驾驶不能状态,则驾驶员的头部从驾驶时的位置移动,不返回至驾驶时的位置的情况较多。因而,能够简单地基于驾驶员的头部的轨迹来检测驾驶员的驾驶不能状态。
附图说明
关于本公开的上述以及其他的目的、特征、优点,根据参照附图的下述详细的说明变得更加明确。在附图中,
图1是表示驾驶不能状态检测装置的构成的框图。
图2是表示搭载驾驶不能状态检测装置的车室内的图。
图3是表示搭载驾驶不能状态检测装置的车辆的驾驶席的图。
图4是表示控制装置的功能的框图。
图5A是表示通常驾驶时的姿势的图。
图5B是表示急病病发,发生姿势走形(FA内)时的姿势的图。
图5C是表示急病病发,发生姿势走形(FA外)时的姿势的图。
图6是表示取物品时的姿势的图。
图7A是表示通常驾驶时的姿势的图。
图7B是表示急病病发时的姿势的图。
图8是表示往旁边看时的姿势的图。
图9是表示取物品时的姿势的图。
图10A是表示通常驾驶时的脸朝向的图。
图10B是表示急病病发时的脸朝向的图。
图11是表示往旁边看时的脸朝向的变化的图。
图12是表示伴随外力的产生的头部的摆动的图。
图13是表示判断为驾驶不能状态的头部的摆动的振幅范围的图。
图14A是表示通常驾驶时的表情的图。
图14B是表示急病病发时的表情的图。
图15A是表示通常的状态的图。
图15B是表示翻白眼的状态的图。
图15C是表示完全翻白眼的状态的图。
图16A是表示检测驾驶不能状态的处理顺序的流程图。
图16B是图16A的后续,是表示检测驾驶不能状态的处理顺序的流程图。
图17是表示检测姿势走形的处理顺序的子流程。
图18是表示向驾驶员报告姿势走形等级的形态的图。
图19是表示变形例一所涉及的出画判断的屏幕的范围的图。
图20是表示变形例二所涉及的出画判断的屏幕的范围的图。
图21是表示变形例三所涉及的出画判断的屏幕的范围的图。
图22是表示变形例四所涉及的出画判断的屏幕的范围的图。
图23是表示第二实施方式所涉及的出画判断的屏幕的范围以及判断时间的图。
具体实施方式
以下,参照附图对将驾驶员的驾驶不能状态检测装置具体化的实施方式进行说明。应予说明,在本实施方式中,驾驶员的驾驶不能状态包括:驾驶员急病病发失去意识,不能够进行驾驶操作的状态;以及驾驶员心脏病发作等急病病发,虽然有意识但由于不能够使身体动作而不能够进行驾驶操作的状态。应予说明,在以下的各实施方式相互中,对相互同一或等同的部分在图中标注相同符号,对于同一符号的部分引用其说明。
(第一实施方式)
首先,参照图1~3对本实施方式所涉及的检测装置100(驾驶员的驾驶不能状态检测装置)的构成进行说明。检测装置100具备控制装置50、驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、HMI(Human Machine Interface)80、以及存储装置52,检测驾驶员的驾驶不能状态。并且,检测装置100在向驾驶员确认驾驶员是驾驶不能状态并没有响应的情况下,将使车辆安全停止的指令发送给车辆控制装置90。
驾驶员状态识别装置20具备多个驾驶员摄像机21、安全带传感器22、以及座面传感器23。驾驶员摄像机21与拍摄装置对应,安全带传感器22与量检测部对应,座面传感器23与座压检测部对应。驾驶员摄像机21例如是CCD摄像机,拍摄被近红外LED等照明装置照射的驾驶席。驾驶员摄像机21如图2以及3所示那样,分别朝向驾驶员搭载于仪表盘14、后视镜16的下端的大致中央、左右的A支柱17。也可以代替仪表盘14,在仪表台13上(以虚线表示)、转向柱设置驾驶员摄像机21。另外,也可以代替后视镜16的下端,设置于后视镜16的左端、右端(以虚线表示)。这4个驾驶员摄像机21构成驾驶员状态监视器,从正面侧1秒拍摄数十个坐在驾驶席的座椅11上的驾驶员的上半身图像。
安全带传感器22是检测安全带12的抽出量的传感器。具体地说,安全带传感器22是检测进行安全带12的送出以及卷绕的马达的旋转角度的编码器。座面传感器23是检测驾驶席的座椅11的座部11a的压力分布的传感器。
车辆信息识别装置30具备车速传感器31、舵角传感器32、加速器传感器33、以及制动器传感器34。车速传感器31是检测车辆10的速度的传感器。舵角传感器32是检测方向盘15的操舵角的传感器。加速器传感器33是检测加速器开度即加速器踏板的操作量的传感器。制动器传感器34是检测制动器踏板的操作量的传感器。
行驶环境识别装置40具备前方、后方摄像机41、前方、后方传感器42、车辆导航装置43、以及G传感器44。前方、后方摄像机41是拍摄包括道路的白线的车辆10的前方的摄像机、拍摄车辆10的后方以及后侧方的摄像机。前方、后方传感器42是超声波传感器、激光雷达、毫米波雷达等传感器,检测车辆10的前方、后方的物体,获取车辆10与前方、后方的物体的距离。基于由前方、后方传感器42获取的车辆10与前方车辆、后方车辆的距离,能够计算出与前方车辆、后方车辆的相对速度。
车辆导航装置43使用由GPS接收机接收到的GPS信号、由包括G传感器的各种传感器获取的信息计算出车辆10的当前位置,并计算出从当前位置至目的地的引导路径。G传感器44例如设置于座椅11,是检测车辆10的前后、左右、上下的三维的加速度的传感器。另外,G传感器44也可以是车辆导航装置43具备的传感器,在车辆10具备车辆运行管理系统(AVOS)的情况下,G传感器44也可以是AVOS具备的传感器。即,在有以其它的用途设置的装置、系统的情况下,共享G传感器44即可。
控制装置50是具备CPU、ROM、RAM以及I/O等的微型计算机,从驾驶员状态识别装置20、车辆信息识别装置30、行驶环境识别装置40、存储装置52、以及HMI80获取各种信息。控制装置50与各种装置通过CAN等有线通信、LAN、Bluetooth(注册商标)等无线通信连接。另外,控制装置50通过CPU执行存储于ROM的各种程序来实现图像解析部60、学习部51、状态检测部70的功能,检测驾驶员的驾驶不能状态。后面叙述关于各部的详细的说明。
HMI80(姿势报告部,确认部)具备显示器81、扬声器82、以及取消开关83。显示器81是车辆导航装置43的显示器、设置在仪表盘14内的车载显示器。显示器81也可以是具备液晶面板、有机EL面板的触摸显示器。显示器81基于从图像检测出的驾驶员的姿势报告驾驶员的姿势的走形程度。详细而言,显示器81以5个等级显示驾驶员的姿势的状态。走形程度最高的姿势走形等级5是驾驶员急病病发而不能够维持驾驶姿势的状态,即被判断为驾驶不能状态的等级。由于驾驶员能够观察显示于显示器81的姿势的状态,确认自己的驾驶姿势,因此,在姿势走形等级接近5的情况下,能够在被判断为驾驶不能状态前修正驾驶姿势。
扬声器82是与车辆导航装置43、音频装置等共用的车载扬声器。扬声器82在检测到驾驶员的驾驶不能状态的情况下,通过声音向驾驶员确认是否是驾驶不能状态。应予说明,显示器81也可以显示确认驾驶不能状态的画面。另外,扬声器82也可以通过声音报告驾驶员的姿势走形等级。
取消开关83是中止驾驶不能状态的检测的开关。若取消开关83被操作1次,则在1个单行程的期间,驾驶不能状态的检测被中止。另外,在单行程中操作了取消开关83的情况下,在操作取消开关83的期间、或者从操作开始经由一定时间(几秒左右),驾驶不能状态的检测被中止。因而,在驾驶员进行取物品的动作时,若预先操作取消开关83,则即使驾驶员的姿势走形,也不存在误检测为是驾驶不能状态的可能性。
接下来,参照图4对控制装置50实现的各种功能进行说明。图像解析部60包括头部检测部61、轨迹获取部62、痉挛检测部63、倾斜检测部64、脸朝向检测部65、眼白检测部66。
头部检测部61基于由驾驶员摄像机21拍摄的驾驶席的图像逐次检测比驾驶员的脖子靠上的头部。详细而言,头部检测部61在每次由驾驶员摄像机21拍摄驾驶席的图像时,从驾驶席的图像提取表现驾驶员的头部的轮廓的边缘,并检测被提取出的边缘围起的区域作为头部。
轨迹获取部62根据由头部检测部61逐次检测出的驾驶员的头部的位置获取驾驶员的头部的轨迹。轨迹获取部62例如将在各图像中检测出的驾驶员的头部的中心作为头部的位置,并将各图像中的头部的位置相连来获取头部的轨迹。
痉挛检测部63检测驾驶员的痉挛,即检测比驾驶员的头部以及脖子靠下的躯体部的肌肉的不自主的收缩。详细而言,痉挛检测部63在各图像中提取表现驾驶员的头部以及躯体部的轮廓的边缘,在连续的图像中提取出的边缘规则性(周期性)地振动的情况下,检测出驾驶员痉挛。
倾斜检测部64基于驾驶席的图像来检测相对于驾驶员的躯体部的头部的倾斜θ。详细而言,倾斜检测部64检测被表现头部以及躯体部的轮廓的边缘围起的区域分别作为头部以及躯体部,并且检测头部以及躯体部的中心轴线。并且,倾斜检测部64将相对于躯体部的中心轴线的头部的中心轴线的倾斜作为头部的倾斜θ。对于躯体部的中心轴线,进行预先准备的躯体部的朝向的图案与检测出的躯体部的朝向的匹配来确定躯体部的朝向,并根据确定了朝向的躯体部来检测。另外,对于头部的中心轴线,提取头部所包括的脸的眼睛、鼻、嘴等特征点,并根据脸的特征点的三维的配置来检测。在头部向前方倾斜的情况下,脸的特征点与车辆前方的距离接近,在头部后仰的情况下,脸的特征点与车辆前方的距离远离。在检测头部的中心轴线时,也可以使用车辆的前后方向的脸的特征点的距离。
或者,倾斜检测部64从驾驶席的图像检测驾驶席的安全带12,并根据安全带12与头部的位置关系检测相对于躯体部的头部的倾斜θ。由于驾驶员的躯体部被安全带12拘束,因此,能够根据安全带12的位置推断出躯体部的位置。
脸朝向检测部65基于驾驶席的图像来检测相对于车辆10的前方的驾驶员的脸的朝向。脸朝向检测部65检测相对于与车辆10的前面对置的垂直平面的脸面的倾斜作为脸朝向。
]眼白检测部66包括表情检测部67以及眼白程度计算部68,检测驾驶员翻白眼的状态。在此,翻白眼的状态不限于图15C所示那样完全翻白眼的状态,也包括图15B所示那样眼黑区域比规定量小的状态。即,翻白眼的状态是指由于眼黑偏斜导致视野比规定范围窄的状态。
表情检测部67基于驾驶席的图像来检测驾驶员的眼睛的轮廓以及眼黑区域。在此,驾驶员的眼睛的轮廓是眼睑与眼睛的分界线。另外,眼黑区域是在眼睛的轮廓的内侧的区域,与眼白相比明度较低的区域,并不局限于黑色,是带有蓝色、茶色、灰色等颜色的区域。另外,表情检测部67根据提取出的表现嘴的轮廓的边缘来检测驾驶员的嘴的张开。
眼白程度计算部68基于由表情检测部67检测出的眼睛的轮廓以及眼黑区域来计算驾驶员的眼睛的眼白程度。
具体地说,眼白程度计算部68根据被眼睛的轮廓围起的区域的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度(参照图15A至图15C)。相对于长度Lw+Lb的长度Lb越小,眼白程度越大。或者,眼白程度计算部68基于从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。距离Lb越小,眼白程度越大。或者,眼白程度计算部68基于从被眼睛的轮廓围起的眼睛整体的区域的面积去除眼黑区域的面积而得的眼白区域的面积与眼黑区域的面积的比来计算眼白程度。相对于眼白区域的面积的眼黑区域的面积越小,眼白程度越大。
或者,眼白程度计算部68基于眼黑区域的扁平率来计算眼白程度。在翻白眼的状态,由于眼黑区域朝向上侧,因此,眼黑区域的扁平率在外观上变大,眼黑区域的扁平率越大,眼白程度越大。或者,眼白程度计算部68基于从成为被眼睛的轮廓围起的区域的纵向的中心的中心线至眼黑区域的最下部的距离Lc来计算眼白程度。
学习部51在驾驶员不是驾驶不能状态的情况下,学习由倾斜检测部64检测出的头部的倾斜θ。另外,学习部51在驾驶员不是驾驶不能状态的情况下,学习由脸朝向检测部65检测出的脸的朝向。并且,学习部51在驾驶员不是驾驶不能状态的情况下,学习由头部检测部61检测出的头部的摆动的振幅。即,学习部51学习驾驶员的驾驶姿势的癖好。在驾驶车辆10的驾驶员有多人的情况下,按照各驾驶员学习驾驶姿势的癖好。
状态检测部70包括出画状态检测部71、姿势走形状态检测部72、朝向走形状态检测部73、摆动状态检测部74、以及眼白状态检测部75。
出画状态检测部71在车辆10的行驶中判断出画,在出画的情况下,检测驾驶员为驾驶不能状态。详细而言,出画状态检测部71在由头部检测部61检测出的驾驶员的头部从图像的范围FA脱离的情况下,检测检测驾驶员为驾驶不能状态。在此,范围FA是由驾驶员摄像机21拍摄的图像中的规定的范围。在通常的驾驶时,不存在驾驶员的头部从范围FA脱离的情况。也可以使范围FA为被拍摄的图像的整体。
在驾驶员正常驾驶车辆10的情况下,即使如图6所示那样,驾驶员进行取物品的动作,驾驶员的头部也多收纳于图像的范围FA。与此相对,若急病病发,驾驶员失去意识,则如图5A至图5C所示那样,存在驾驶员的头部从范围FA脱离的情况。因而,出画状态检测部71在驾驶员的头部从图像的范围FA脱离的情况下检测驾驶员为驾驶不能状态。
此时,出画状态检测部71若考虑在头部从范围FA脱离前由轨迹获取部62获取的轨迹,则能够使检测驾驶员的驾驶不能状态的精度提高。由于通过使用头部的轨迹能够辨别由图像的不清晰等导致在范围FA内检测不到驾驶员的头部的情况、和驾驶员的头部移动而在范围FA内检测不到的情况,因此,驾驶员的驾驶不能状态的检测精度提高。
此外,在驾驶员暂时使头部移动的情况、由于图像的不清晰等导致成为头部的无法检测的情况下,在轨迹的最终位置附近能够再次检测到头部的情况较多。因而,在由头部检测部61检测不到头部的情况下,头部检测部61在由轨迹获取部62获取的轨迹的最终位置附近搜索。这样,即使在驾驶员的头部成为无法检测的情况下,也能够使用头部的轨迹来高效地进行再次的头部检测。
姿势走形状态检测部72在车辆10的行驶中进行驾驶员的姿势走形的判断,在姿势走形的情况下,检测驾驶员为驾驶不能状态。详细而言,姿势走形状态检测部72在由倾斜检测部64检测到的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下,检测驾驶员为驾驶不能状态。
通常,由于驾驶员的躯体部被驾驶席的座椅11、安全带12拘束,因此,即使驾驶员失去意识,躯体部也比较不易动作。另一方面,由于驾驶员的头部不被拘束的情况较多,因此,需要以驾驶员的意思维持头部的位置。因此,若急病病发,驾驶员失去意识,则驾驶员不能够维持头部的位置,如图7A和图7B所示那样,头部相对于躯体部向任意的方向较大地倾斜的情况较多。
与此相对,在行驶中驾驶员往旁边看时,驾驶员一般转头观察,因此如图8所示那样,相对于躯体部的头部的倾斜较小的情况较多。另外,在驾驶员取远离驾驶席的位置的物品时,驾驶员一般有意识地使躯体部倾斜,因此,如图9所示那样,相对于躯体部的头部的倾斜θ较小的情况较多。因此,姿势走形状态检测部72在头部的倾斜θ比阈值Th1大的情况下,检测驾驶员为驾驶不能状态。此时,姿势走形状态检测部72若进一步将驾驶员的脸未朝向车辆10的前方作为条件来检测驾驶员为驾驶不能状态,则能够抑制驾驶不能状态的误检测。
朝向走形状态检测部73在车辆10的行驶中进行驾驶员的脸朝向的走形的判断,在脸朝向走形的情况下,检测驾驶员为驾驶不能状态。详细而言,朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向超过时间T2(朝向走形判断时间)比阈值Th2(脸朝向阈值)大的情况下,检测驾驶员为驾驶不能状态。
一般而言,若急病病发,则驾驶员不能够维持脸的朝向,如图10A和图10B所示那样,成为相对于车辆10的前方的脸的朝向走形持续的状态。与此相对,在行驶中驾驶员往旁边看时,一般即使驾驶员改变脸的朝向也立即回复的情况较多。因而,朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者,朝向走形状态检测部73在由脸朝向检测部65检测出的相对于车辆10的前方的脸的朝向比阈值Th2大且驾驶员放开方向盘15的情况下,检测驾驶员为驾驶不能状态。对于驾驶员是否放开方向盘15,可以根据图像检测,也可以由设置于方向盘15的压力传感器等来检测。
一般而言,若急病病发,则驾驶员不能够维持脸的朝向,如图10A和图10B所示那样,相对于车辆10的前方的脸的朝向走形并且驾驶员放开方向盘15的情况较多。与此相对,在行驶中驾驶员往旁边看时,如图11所示那样,一般而言,驾驶员在把持方向盘15的状态下改变脸的朝向的情况较多。另外,在驾驶员往旁边看时,也存在不倾斜头部,仅转动脖子改变脸朝向的情况。因而,朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者,朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下,检测驾驶员为驾驶不能状态。
一般而言,在行驶中驾驶员往旁边看时,在安全方面不较大地踩踏加速器的情况较多。因此,在相对于车辆10的前方的脸的朝向比阈值Th2大且加速器开度比规定开度大的情况下,不是由于往旁边看等引起的脸朝向的走形,而是由急病引起的脸朝向的走形的可能性较高。因而,朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
或者,朝向走形状态检测部73在由脸朝向检测部65检测出的脸的朝向比阈值Th2大且在比时间T3(操作判断时间)长的时间未进行加速器操作以及制动器操作的情况下,检测驾驶员为驾驶不能状态。
一般而言,若急病病发,则相对于车辆10的前方的脸的朝向走形,并且在比时间T3长的时间不进行加速器操作以及制动器操作。与此相对,在行驶中驾驶员往旁边看时,一般而言,驾驶员改变脸的朝向并且在时间T3内进行加速器操作或者制动器操作的情况较多。因而,朝向走形状态检测部73在上述情况下检测驾驶员为驾驶不能状态。
摆动状态检测部74在车辆10的行驶中判断伴随外力的驾驶员的头部的摆动状态,在头部进行与通常不同的摆动的情况下,检测驾驶员为驾驶不能状态。详细而言,摆动状态检测部74在从对车辆10施加外力至经过时间T5(摆动判断时间)的期间,由头部检测部61检测出的头部的摆动的振幅比振幅Am1(第一振幅)小的情况下,或者比振幅Am2(第二振幅)大的情况下,检测驾驶员为驾驶不能状态。振幅Am2是比振幅Am1大的值。
若如图12所示那样,对车辆10施加外力,则在规定的时间差后,振动传递至驾驶员。通常,在驾驶员有意识的情况下,在对车辆10施加外力(详细而言是上下方向的外力)时,如图13所示那样,驾驶员的头部以振幅Am1至振幅Am2的范围内的振幅摆动。与此相对,若驾驶员急病病发,身体僵直,则头部的摆动的振幅比正常时小。另外,若驾驶员急病病发,身体弛缓,则头部的摆动的振幅比正常时大。因而,摆动状态检测部74在上述的情况下检测驾驶员的驾驶不能状态。
应予说明,时间T5是从对车辆10施加外力至驾驶员的动作成为与外力无关系的动作的时间。另外,振幅Am1以及振幅Am2是时间的函数,图13示出其1个例子。在摆动状态的判断中,也可以简单地将从施加外力至时间T5经过的期间的振幅Am1的最小值以及振幅Am2的最大值作为阈值。
眼白状态检测部75在车辆10的行驶中进行眼白的判断,在由眼白检测部66检测到翻白眼的状态的情况下,检测驾驶员为驾驶不能状态。详细而言,眼白状态检测部75在由眼白程度计算部68计算出的眼白程度比阈值Th3(眼白阈值)大的情况下,检测驾驶员为驾驶不能状态。
通常,在驾驶员能够驾驶的状态的情况下,不存在驾驶员翻白眼的情况。与此相对,若驾驶员急病病发,则如图14A和图14B所示那样,存在驾驶员翻白眼的情况。因而,眼白状态检测部75在检测到翻白眼的状态的情况下,检测驾驶员为驾驶不能状态。
在存储装置52(存储部)存储有被各状态检测部使用的各阈值以及各判断值。并且,在存储装置52存储由学习部51学习到的头部的倾斜θ、脸的朝向以及头部的摆动的振幅。另外,在存储装置52登录有包括驾驶员的病历以及年龄的个人信息。在驾驶员有多人的情况下,登录各驾驶员的个人信息。另外,在存储装置52登录有不判断为驾驶不能状态的驾驶员的姿势、以及判断为驾驶不能状态的驾驶员的姿势。不判断为驾驶不能状态的驾驶员的姿势例如是通常的驾驶姿势、在驾驶中经常进行的姿势。判断为驾驶不能状态的驾驶员的姿势例如是有老病的驾驶员发作时进行的姿势。驾驶员预先在驾驶席利用驾驶员摄像机21拍摄欲登录的姿势,并登录于存储装置52。
接下来,参照图16A和图16B的流程图对检测驾驶员的驾驶不能状态的处理顺序进行说明。控制装置50执行本处理顺序。
首先,判断车辆10的车速是否在V以下(S10)。V可以是0km/h(停车),或是充分低至能够视作停车的程度的速度(例如1km/h)。在车速为V以下(S10:是)的情况下,反复执行S10的判断,直至判断为车速比V高。在车速比V高的情况(S10:否)下,判断为在行驶中,开始驾驶员的驾驶不能状态的检测处理,最初进行出画的判断。
在此,在S10的判断中,也可以也判断驾驶员是否在进行驾驶操作,在进行驾驶操作的情况下,反复执行S10的判断,在行驶中且未进行驾驶操作的情况下,开始驾驶员的驾驶不能状态的检测处理。例如,判断车辆10的车速是否为V2(例如50km/h)以上、或者由舵角传感器32检测出的操舵角是否为规定的角度以上、或者操舵角速度是否为规定的角速度以上。V2是能够视作驾驶员进行加速器踏板的操作的值,规定的角度、以及规定的角速度是能够视作驾驶员进行方向盘操作的值。在满足上述3个条件的至少一个条件的情况下,作为驾驶员进行驾驶操作,不开始驾驶员的驾驶不能状态的检测处理。
在出画的判断中,首先,从驾驶席的图像检测驾驶员的头部以及躯体部(S11)。此时,检测驾驶员的头部所包括的脸的特征点,进行驾驶员的认证。应予说明,驾驶员的认证可以预先通过与智能电话等便携终端的通信来进行,也可以通过与登录了个人信息的车辆10的钥匙的通信来进行。
接下来,判断是否能够检测到头部位置(S12)。在不能够检测到头部位置的情况下(S12:否),根据在下述的S19的处理中记录的头部位置获取头部的轨迹信息,并判断轨迹信息是否表示出画(S13)。即,判断头部位置的无法检测是由头部超出到拍摄范围外引起的无法检测、还是由图像的不清晰等引起的无法检测。
在头部的轨迹信息不表示出画的情况下(S13:否),判断为是由暂时的图像的不清晰等引起的无法检测,返回至S10的处理。另一方面,在头部的轨迹信息表示出画的情况下(S13:是),判断为头部超出到拍摄范围外。在该情况下,获取为了确认头部存在于拍摄范围外而辅助使用的、安全带传感器22以及座面传感器23的信息(S14)。
接下来,判断是否是持续时间T0(出画判断时间)以上出画的状态(S15)。详细而言,判断是否是持续时间T0以上,头部位置从范围FA脱离,且安全带12的抽出量比在安全带12的佩戴时检测出的抽出量多至超出第一抽出量,且在座部11a的压力分布中高压部分偏于座部11a的端部。并且,在满足上述3个条件的情况下,判断为是超过时间T0出画的状态。此时,也可以进一步将由安全带传感器22检测出的量检测时间平均的抽出量即安全带12的抽出速度比第二抽出量多作为条件。
应予说明,也可以不使用安全带传感器22以及座面传感器23的信息。即,也可以不执行S14的处理,仅在S15的处理中判断是否持续时间T0以上,头部位置从范围FA脱离。
在此,时间T0基于登录于存储装置52的个人信息来设定。例如,年龄大的人与年龄小的人相比,使时间T0较短。另外,有特定的病历的人与没有特定的病历的人相比,使时间T0较短。并且,时间T0根据驾驶员的状态、行驶环境变更。在显现出驾驶员成为驾驶不能状态的征兆的状态、驾驶员为驾驶不能状态的可能性较高的状态、驾驶员成为驾驶不能状态的情况下,碰撞的可能性较高的行驶环境中,缩短时间T0容易检测到驾驶员的驾驶不能状态。
具体地说,在S19的处理中记录的头部位置以比规定振幅大的振幅振动的情况下,即在头部摇摇晃晃摆动的情况下,成为驾驶不能状态的概率较高,因此缩短时间T0。另外,头部的移动速度越大,不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因而,在获取的头部的轨迹信息中,头部位置的移动速度越大,越使时间T0较短。另外,在由急病引起的姿势走形的情况下,头部越接近范围FA的边端,头部的移动速度越大的情况较多。因而,在头部越接近范围FA的边端,头部的移动速度越大的情况下,不是取物品时的姿势走形而是由急病引起的姿势走形的可能性较高。因此,在记录的头部位置越接近范围FA的边端,头部的移动速度越大的情况下,越使时间T0较短。另外,在检测到痉挛的情况下,成为驾驶不能状态的概率较高,因此,缩短时间T0。
另外,为了避免碰撞,车速越快越需要较早地开始适当的车辆控制,因此,车辆10的车速越高越使时间T0较短。另外,为了避免碰撞,将与先行车辆的车间距离除以与先行车辆的相对速度而得的TTC(碰撞充裕时间)越短,越需要较早地开始适当的车辆控制,因此,TTC越短越使时间T0较短。另外,在车辆10中执行ACC(Adaptive Cruise Control)、LKA(Lane Keep Assist)等驾驶支援控制的情况下,存在驾驶员长时间使姿势走形的情况,因此延长时间T0。并且,也可以在统计出来的心脏病发作等急病容易病发的星期、时间段缩短时间T0。
在不是持续时间T0以上出画的状态的情况下(S15:否),进入至S21的处理。在是持续时间T0以上出画的状态的情况下(S15:是),检测驾驶员为驾驶不能状态,并向驾驶员确认是否是驾驶不能状态。详细而言,通过来自扬声器82的声音、在显示器81上的显示、指示灯(未图示)的闪烁等来通过驾驶不能状态的检测,并判断是否在规定的时间内从驾驶员有响应(S16)。
在规定的时间内检测到驾驶员的对触摸显示器的接触、驾驶员的声音、方向盘15、制动器等的车辆10的操作、特定的开关的操作等的任意一个的情况下,判断为从驾驶员有响应(S16:否)。在上述都未检测到的情况下,判断为从驾驶员无响应(S16:是)。
并且,在判断为从驾驶员有响应的情况下,通过来自扬声器82的声音、或者在显示器81上的显示等通知识别为能够进行由驾驶员进行的驾驶(S17)。另一方面,在判断为从驾驶员无响应的情况下,向车辆控制装置90发出指示,以便进行适当的制动以及操舵,安全停车。另外,为了向周围的车辆报告状况,向车辆控制装置90发出头灯的灯光以及喇叭的鸣响的指示(S18)。并且,也向车辆10的其它的搭乘者报告状况。
接下来,在S12的处理中判断为能够检测到头部位置的情况下(S12:是),记录头部以及躯体部的位置(S19)。能够根据在各图像中记录的头部的位置获取头部的轨迹信息。
接着,判断头部位置是否超出到预先设定的范围FA外(S20)。在即使头部位置在拍摄范围内也超出到范围FA外的情况下(S20:是),进入至S15的处理,进行出画的判断。
接着,基于头部以及躯体部的位置关系判断驾驶员的姿势是否是预先登录于存储装置52的判断为驾驶不能状态的姿势(S21)。在驾驶员的姿势是判断为驾驶不能状态的姿势的情况下(S21:是),检测驾驶员为驾驶不能状态,进入S16的确认处理。
在驾驶员的姿势不是判断为驾驶不能状态的姿势的情况下(S21:否),判断驾驶员的姿势是否是预先登录于存储装置52的不判断为驾驶不能状态的姿势(S22)。在驾驶员的姿势是不判断为驾驶不能状态的姿势的情况下(S22:是),返回至S10的处理。在驾驶员的姿势与不判断为驾驶不能状态的姿势不同的情况下(S22:否),接下来进行姿势走形的判断。
首先,判断是否检测到姿势走形(S23)。详细而言,通过图17的子流程的处理来检测姿势走形。首先,计算头部的倾斜以及头部的倾斜的方向(S231)。接着,计算躯体部的倾斜以及躯体部的倾斜的方向(S232)。接着,计算计算出的躯体部的倾斜与头部的倾斜所形成的角度、即相对于躯体部的头部的倾斜θ(S233)。在未检测到驾驶员的驾驶不能状态的情况下学习计算出的头部的倾斜θ。并且,在计算出的头部的倾斜θ比阈值Th1(相对倾斜阈值)大的情况下,检测姿势走形(S234)。并且,在未检测到姿势走形的情况下(S23:否),进入S25的脸朝向走形的判断。
在检测到姿势走形的情况下(S23:是),判断是否持续时间T1以上,头部的倾斜θ比阈值Th1大,且脸未朝向车辆10的前方(S24)。
此时,也可以简单地将持续时间T1以上,仅头部的倾斜θ比阈值Th1大,或者仅将脸未朝向车辆10的前方作为条件。另外,此时,也可以进一步将持续时间T1以上,计算出的头部的倾斜的方向以及躯体部的倾斜的方向不变动,即头部的位置以及躯体部的位置在范围UA(不动判断范围)内作为条件。范围UA是能够视作头部以及躯体部不动作的范围。另外,也可以将计算出的头部的倾斜θ比学习到的头部的倾斜大至超过判断值D1(倾斜判断值)作为条件。另外,也可以将比时间T3(操作判断时间)长的时间未操作方向盘15作为条件。
在此,时间T1与时间T0相同,基于登录于存储装置52的个人信息来设定,根据车速、TTC、驾驶支援控制的执行的有无来变更。另外,阈值Th1在检测到痉挛的情况下减小。并且,与时间T0相同,在统计出的心脏病发作等急病容易病发的星期、时间段,也可以缩短时间T1。
在超过时间T1,头部的倾斜θ比阈值Th1大且脸未朝向车辆10的前方的情况下(S24:是),检测驾驶员为驾驶不能状态,进入至S16的确认处理。另外,在不是持续时间T1以上,头部的倾斜θ比阈值Th1大、或者脸朝向车辆的前方的情况下(S24:否),接下来进行脸朝向走形的判断。
首先,判断是否检测到脸朝向的走形(S25)。详细而言,检测相对于车辆的前方的驾驶员的脸的朝向。并且,在检测出的脸的朝向比阈值Th2(脸朝向阈值)大的情况下,检测脸朝向的走形。在未检测到脸朝向的走形的情况下(S25:否),进入至S28的摆动状态的判断。应予说明,在未检测到驾驶员的驾驶不能状态的情况下学习检测出的脸的朝向。
在检测到脸朝向的走形的情况下(S25:是),判断是否持续时间T2(朝向走形判断时间)以上,脸朝向比阈值Th2大(S26)。
在此,时间T2与时间T0相同,基于登录于存储装置52的个人信息来设定,根据车速、TTC、驾驶支援控制的执行的有无来变更。并且,与时间T0相同,也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T2。另外,阈值Th2在检测到痉挛的情况下减小。
在持续时间T2以上,脸朝向比阈值Th2大的情况下(S26:是),检测驾驶员为驾驶不能状态,进入至S16的确认处理。
在不是持续时间T2以上,脸朝向比阈值Th2大的情况下(S26:否),接下来,判断是否持续时间T3以上,驾驶员释放方向盘15或者加速器开度比规定开度大或者没有加速器操作以及制动器操作(S27)。在满足S27的处理中的3个条件的至少一个条件的情况下(S27:是),检测驾驶员为驾驶不能状态,进入至S16的确认处理。在S27的处理中的3个条件都不满足的情况下(S27:否),接下来进行摆动状态的判断。
在此,在S26的判断中,也可以进一步将满足S27的处理中的3个条件的至少一个作为条件。另外,在S26以及S27的判断中,也可以进一步将检测出的脸的朝向比学习到的脸的朝向大至超过判断值D1(倾斜判断值)作为条件。另外,一般而言,由于在驾驶员的手持续处于比驾驶员的脖子靠上的状态下不存在成为驾驶不能状态的情况,因此,也可以将驾驶员的手处于比驾驶员的脖子靠下作为条件。
接下来,在摆动状态的判断中,判断是否检测到相对于外力与通常不同的头部的摇晃(S28)。详细而言,判断在从对车辆10施加外力至时间T5(摆动判断时间)经过的期间,头部的摆动的振幅是否比振幅Am1(第一振幅)小、或者比振幅Am2(第二振幅)大。
此时,也可以进一步将在从对车辆10施加外力至时间T5经过的期间,头部以与通常不同的振幅振动,在时间T5经过后,头部的位置处在范围UA内作为条件。即,也可以将头部随着外力振动,且在外力的影响消失后头部的位置不变动作为条件。另外,也可以在未检测到驾驶员为驾驶不能状态的情况下,学习头部的摆动的振幅,将检测到的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2(振幅判断值)作为条件。另外,也可以将持续时间T3以上未操作方向盘15作为条件。
在检测到相对于外力与通常不同的头部的摇晃的情况下(S28:是),检测驾驶员为驾驶不能状态,进入至S16的确认处理。在未检测到相对于外力与通常不同的头部的摇晃的情况下(S28:否),接下来进行眼白状态的判断。
首先,判断是否检测到翻白眼的状态(S29)。详细而言,在计算出的眼白程度比阈值Th3(眼白阈值)大的情况下,判断为检测到翻白眼的状态。在此,分别计算驾驶员的两眼的眼白程度,将两眼的眼白程度分别比阈值Th3大作为条件,判断为检测到翻白眼的状态。但是,在仅检测到单方的眼睛的情况下、简单地检测翻白眼的状态的情况下,也可以仅以单方的眼睛的眼白程度来判断翻白眼的状态的检测。
在判断为未检测到翻白眼的状态的情况下(S29:否),由于在出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断的全部的判断中未检测到驾驶员为驾驶不能状态,因此,返回至S10的处理。
在判断为检测到翻白眼的状态的情况下(S29:是),判断是否持续时间T4(眼白判断时间)以上,眼白程度比阈值Th3大(S30)。此时,也可以进一步将持续时间T3以上未操作方向盘15作为条件。
在此,时间T4与时间T0相同,基于登录于存储装置52的个人信息来设定,根据车速、TTC变更。另外,阈值Th3在检测到痉挛的情况下减小。并且,与时间T0相同,也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短时间T4。
在不是持续时间T4以上,眼白程度比阈值Th3大的情况下(S30:否),返回至S10的处理。在持续时间T4以上,眼白程度比阈值Th3大的情况下(S30:是),检测驾驶员的驾驶不能状态,进入至S16的确认处理。通过上述结束本处理。
应予说明,基于检测出的相对于躯体部的头部的倾斜θ、检测出的脸的朝向、检测出的头部的位置,如图18所示那样,将驾驶员的姿势走形程度显示于显示器81。检测出的头部的倾斜θ越大,使姿势走形等级越高。另外,检测出的脸的朝向越大,使姿势走形等级越高。另外,检测出的头部的位置越远离驾驶时的标准位置,使姿势走形等级越高。驾驶时的标准位置为车辆10的起动时的头的位置、或者未检测到驾驶员为驾驶不能状态时的头部的平均位置。
根据以上说明的本实施方式,起到以下的效果。
通过在驾驶员的头部从范围FA脱离的情况下,检测驾驶员为驾驶不能状态,能够简单地检测驾驶员的驾驶不能状态。并且,若考虑直至头部从范围FA脱离的轨迹,则能够使检测驾驶员的驾驶不能状态的精度提高。
在驾驶员取远离驾驶席的位置的物品时,即使头部暂时地远离范围FA也返回至范围FA的情况较多。因而,通过将超过时间T0,驾驶员的头部从范围FA脱离作为条件,能够抑制驾驶员的驾驶不能状态的误检测。
若将范围FA设为图像的整体,则在图像中不存在驾驶员的头部的情况下,检测驾驶员为驾驶不能状态,因此,能够使检测处理更加简单。
认为在由于急病导致驾驶员的姿势走形的情况下,安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量。另外,即使在驾驶员的头部成为无法检测的情况下,在安全带12的抽出量比佩戴时的抽出量多至超出第一抽出量时,也知道驾驶员的头部存在于从拍摄范围脱离的位置。因而,通过将安全带12的抽出量比佩戴时的抽出量大至超过第一抽出量作为条件,能够高精度地检测驾驶员的驾驶不能状态。
在急病病发时与取物品时相比,驾驶员的姿势急剧地走形的情况较多。因此,在急病病发时与取物品时相比,安全带12被急剧地抽出的情况较多。因而,通过将量检测时间平均的安全带12的抽出量比第二抽出量多作为条件,能够抑制驾驶员的驾驶不能状态的误检测。
认为在由于急病导致驾驶员的姿势走形的情况下,驾驶席的座部11a的压力分布中的高压部分偏于座部11a的端部。另外,即使在驾驶员的头部成为无法检测的情况下,在驾驶席的座部11a的压力分布中的高压部分偏于座部的端部时,也知道驾驶员的头部存在于从拍摄范围脱离的位置。因而,通过将座部11a的压力分布中的高压部分偏于座部11a的端部作为条件,能够高精度地检测驾驶员的驾驶不能状态。
通过在检测到比规定振幅大的头部的振动的情况下,即头部摇晃摆动的情况下,缩短时间T0,能够缩短驾驶员的驾驶不能状态的判断所需要的时间。进而,能够较早地开始驾驶员的驾驶不能状态时的车辆控制的执行。
通过头部的移动速度越大,越使时间T0较短,能够缩短驾驶员的驾驶不能状态的判断所需要的时间。
通过在头部越接近范围FA的边端,头部的移动速度越大的情况下,缩短驾驶不能状态的判断所需要的时间,能够缩短驾驶员的驾驶不能状态的判断所需要的时间。
在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下,不是取物品时等的姿势走形而是由于急病引起的姿势走形的可能性较高。因此,通过在相对于躯体部的头部的倾斜θ比阈值Th1大的情况下,检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
认为在行驶中,驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下,在安全方面,驾驶员保持使脸朝向车辆10的前方的状态。因而,通过将脸未朝向车辆10的前方作为条件,能够抑制误检测驾驶员的驾驶不能状态。
认为在行驶中,驾驶员有意识地进行相对于躯体部使头部较大地倾斜的动作的情况下,在安全方面,驾驶员使头部的位置立即返回至原来的位置。因而,通过将超过时间T1,头部相对于躯体部较大地倾斜作为条件,能够抑制误检测驾驶员的驾驶不能状态。
通过将超过时间T1,头部相对于躯体部一直较大地倾斜,且头部与躯体部的位置不变动作为条件,能够抑制误检测驾驶员的驾驶不能状态。
通过将检测出的头部的倾斜θ比学习到的头部的倾斜大至超过判断值D1作为条件,即使在驾驶员有使头部相对于躯体部倾斜的姿势的癖好的情况下,也能够抑制误检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向超过时间T2比阈值Th2大的情况下,不是由往旁边看等引起的脸朝向的走形,而是由急病引起的脸朝向的走形的可能性较高。因此,通过在上述情况下检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大,且驾驶员释放方向盘15的情况下,不是由往旁边看等引起的脸朝向的走形,而是由急病引起的脸朝向的走形的可能性较高。因此,通过在上述情况下检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大,且加速器开度比规定开度大的情况下,不是由往旁边看等引起的脸朝向的走形,而是由急病引起的脸朝向的走形的可能性较高。因此,通过在上述情况下检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
在相对于车辆10的前方的脸的朝向比阈值Th2大,且在比时间T3长的时间未进行加速器以及制动器的操作的情况下,不是由往旁边看等引起的脸朝向的走形,而是由急病引起的脸朝向的走形的可能性较高。因此,通过在上述情况下检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
一般而言,若驾驶员是能够驾驶的状态,则在时间T3内进行方向盘操作。因而,通过将在比时间T3长的时间未进行方向盘操作作为条件,能够抑制误检测驾驶员的驾驶不能状态。
一般而言,若驾驶员是能够驾驶的状态,则不存在在比时间T3长的时间持续地大幅度地踩踏加速器的情况。因而,通过将在比时间T3长的时间,加速器开度比规定开度大作为条件,能够抑制误检测驾驶员的驾驶不能状态。
认为在行驶中,驾驶员有意识地进行改变相对于车辆10的前方的脸的朝向的动作的情况下,在安全方面,驾驶员立即将脸的朝向恢复至正面。因而,通过将超过时间T2,相对于车辆10的正面的脸的朝向比阈值Th2大作为条件,能够抑制误检测驾驶员的驾驶不能状态。
一般而言,在驾驶员急病病发的情况下,不存在驾驶员的手一直处于比驾驶员的脖子靠上的的状态下成为驾驶不能状态的情况。因而,通过将驾驶员的手处于比驾驶员的脖子靠下作为条件,能够抑制误检测驾驶员的驾驶不能状态。
通过在从对车辆施加外力至时间T5经过的期间,头部的摆动的振幅比振幅Am1小或者比振幅Am2大的情况下,检测驾驶员为驾驶不能状态,能够简单地检测驾驶员的驾驶不能状态。
一般而言,在驾驶员没有意识的情况下,头部随着外力振动,若外力的影响消失,则头部不动。与此相对,在驾驶员因为癖好而使头部振动的情况下,与外力的影响无关地头部振动。因而,通过将头部随着外力振动,且在外力的影响消失后头部的位置不变动作为条件,能够抑制误检测驾驶员的驾驶不能状态。
通过将检测出的头部的摆动的振幅比学习到的头部的摆动的振幅大至超过判断值D2作为条件,即使在驾驶员有使头晃动的癖好的情况下,也能够抑制误检测驾驶员的驾驶不能状态。
通过在检测到翻白眼的状态的情况下,检测驾驶员为驾驶不能状态,能够高精度地检测驾驶员的驾驶不能状态。
基于图像检测驾驶员的眼睛的轮廓以及眼黑区域。然后,基于检测出的眼睛的轮廓以及眼黑区域来计算眼白程度,在眼白程度比阈值Th3大的情况下,检测驾驶员为驾驶不能状态。因而,能够高精度地检测驾驶员翻眼白的状态,进而能够高精度地检测驾驶员的驾驶不能状态。
在驾驶员能够驾驶的状态的情况下,即使存在使视线朝上,眼白的程度暂时变大的情况,也不存在成为眼白的程度一直变大的状态的情况。因而,通过将超过时间T4,眼白程度比阈值Th3大作为条件,能够抑制误检测驾驶员的驾驶不能状态。
通过将两面的眼白程度分别比阈值Th3大作为条件,即使在单眼佩戴眼罩、单眼为义眼而被误检测为翻白眼的状态,在另一方的眼睛不翻白眼的情况下,也不会检测出驾驶员的驾驶不能状态。因而,能够抑制误检测驾驶员的驾驶不能状态。
由于眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比和相对于眼睛的整个区域的眼白的区域的比率存在相关,因此,能够根据眼睛的纵向的长度Lw+Lb与眼黑区域的纵向的长度Lb的比来计算眼白程度。
从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb越小,眼白程度越大。因而,能够根据从眼睛的轮廓的上部至眼黑区域的最下部的距离Lb来计算眼白程度。
能够根据眼白区域的面积与眼黑区域的面积的比来计算眼白程度。
在翻白眼的状态,由于眼黑区域朝向上侧,因此,眼黑区域的扁平率在外观上变大。因而,能够根据眼黑区域的扁平率来计算眼白程度。
从眼睛的整体的纵向的中心线至眼黑区域的最下部的距离Lc越大,眼黑区域越小,眼白程度越大。因而,能够根据从中心线至眼黑区域的最下部的距离Lc来计算眼白程度。
一般而言,在驾驶员产生痉挛的情况下,与未产生痉挛的情况相比,成为驾驶不能的状态的概率较高。因而,通过在检测到痉挛的情况下缩小阈值Th1、Th2,能够容易检测出驾驶员的驾驶不能状态。
通过车速越高,使时间T0、T1、T2、T4越短,车速越高,驾驶员的驾驶不能状态的判断所需要的时间变短,能够较早地开始适当的车辆控制的执行。
通过TTC越短,使时间T0、T1、T2、T4越短,TTC越短,驾驶员的驾驶不能状态的判断所需要的时间变短,能够较早地开始适当的车辆控制的执行。
通过基于包括驾驶员的病历、年龄的个人信息设定时间T0、T1、T2、T4,能够使驾驶不能状态的判断所需要的时间为与驾驶员个人的特性相应的时间。
通过在车辆中执行驾驶支援控制的情况下,延长时间T0、T1、T2,能够抑制驾驶不能状态的误检测。
通过将驾驶员的姿势的走形程度报告给驾驶员,驾驶员能够识别自己的姿势。因此,即使驾驶姿势走形,驾驶员也能够将姿势修正为不被检测为驾驶不能状态。由此,能够抑制驾驶不能状态的误检测。
通过在检测到驾驶员的驾驶不能状态的情况下,向驾驶员确认是否是驾驶不能,能够在误检测驾驶员的驾驶不能状态的情况下,避免用于使车辆安全停止的车辆控制的执行。
(第一实施方式的变形例一)
在基于出画状态检测部71的出画判断中,也可以使作为规定的范围的范围FA的形状为以图19所示那样的椭圆形状。该椭圆形状为车辆10的宽度方向为长轴、车辆10的高度方向为短轴的形状。
若观察驾驶中的多个驾驶员的头部的动作,则驾驶员的头部在右转弯时以及左转弯时向右方向以及左方向移动,因此,在将左右方向作为长轴的椭圆形状的范围内动作。因而,通过使范围FA的形状为上述椭圆形状,即使驾驶员因通常的驾驶动作使头部移动,也能够抑制误检测为驾驶不能状态。
(第一实施方式的变形例二)
检测装置100也可以具备与包括驾驶员的用户的意图、或者与驾驶员相关的驾驶员信息相应地使范围FA变形的变形部。变形部作为状态检测部70具备的功能实现即可。变形包括范围FA的放大、缩小、以及形状的变更。变形部与由用户进行的HMI80的输入操作相应地使范围FA变形。HMI80也可以具备放大开关、缩小开关,显示器81也可以是触摸显示器。
在如图20所示那样,驾驶员具有从标准位置偏离的驾驶姿势的癖好的情况下、欲成为不易检测到驾驶不能状态的情况下,驾驶员可以操作放大开关等,使范围FA放大至范围FAa。
另外,在驾驶员为高龄、有老病的人的情况下,驾驶员自身、驾驶员的家人等为了容易检测驾驶不能状态,操作缩小开关等,将范围FA缩小至范围FAb即可。另外,在驾驶员为公交、出租车的司机的情况下,公交、出租车的管理者为了容易检测驾驶不能状态,操作缩小开关等,使范围FA缩小至范围FAb即可。应予说明,在图20中,使范围FA、FAa、FAb的形状为椭圆形状,但也可以为方形。
另外,变形部也可以与用户的意图无关,而与驾驶员信息相应地放大、缩小范围FA。驾驶员信息是包括驾驶员的年龄、病历以及驾驶姿势的癖好的至少一个的信息,存储于存储装置52。对于驾驶姿势的癖好,可以通过学习部51学习驾驶员的头部的位置得到,也可以通过驾驶员预先拍摄驾驶姿势并登录得到。
变形部例如在驾驶员有驾驶姿势的癖好的情况下,使范围FA放大至范围FAa,在驾驶员为高龄、有病历的情况下,使范围FA缩小至范围FAb。另外,变形部也可以与车速、TTC、驾驶支援控制的有无相应地放大或者缩小范围FA,也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩小范围FA。
应予说明,变形部与用户的意图以及驾驶员信息的至少一方相应地使范围FA变化,也可以与用户的意图以及驾驶员信息的两方相应地使范围FA变化。另外,变形部也可以仅进行范围FA的放大以及缩小的任意一方。另外,变形部也可以与用户的意图、驾驶员信息相应地使范围FA的形状变化。
通过像这样,范围FA与用户的意图或者驾驶员信息相应地变形,能够实施与用户的意图或者驾驶员信息相应的驾驶不能状态的检测。例如,在成为驾驶不能状态的可能性比较高的情况下,能够容易检测驾驶不能状态。另外,在驾驶员有驾驶姿势从标准位置偏离的癖好的情况下,通过与癖好相应地使范围FA变形,能够抑制驾驶不能状态的误检测。
(第一实施方式的变形例三)
检测装置100具备与包括驾驶员的用户的意图、或者与驾驶员相关的驾驶员信息相应地使范围FA在图像上移动的移动部。移动部作为状态检测部70具备的功能实现即可。移动部与由用户进行的HMI80的输入操作、例如在触摸显示器上的拖动操作相应地使范围FA移动。即,相对于与用户的意图或者驾驶员信息相应地使范围FA变形,使范围FA移动这一点与变形例二不同。
如图21所示那样,在驾驶员有驾驶姿势从标准位置偏离的癖好的情况下,通过使范围FA移动至与癖好相应的位置,并为范围FAc,能够抑制驾驶不能状态的误检测。应予说明,在图21中,使范围FA的形状为方形,但也可以是椭圆形状。另外,也可以组合变形例二和变形例三,使范围FA移动,并且使范围FA变形。
(第一实施方式的变形例四)
驾驶员摄像机21包括立体摄像机。并且,如图22所示那样,使范围FA为不仅在车辆10的宽度方向,在前后方向也具有广阔空间的、被三维设定的范围。立体摄像机例如设置于后视镜16的左右的端部。范围FA并不局限于立方体形状,也可以是椭圆球形状等。在使范围FA为椭圆球形状的情况下,使椭圆球形状的长轴为车辆10的宽度方向。另外,也可以对变形例四应用变形例二或者三。
通过使用立体摄像机,能够以三维获取驾驶员的头部的位置。即,不仅能够获取车辆10的宽度方向的头部的位置,还能够获取车辆10的前后方向的头部的位置。因而,通过三维设定范围FA,不仅在驾驶员成为驾驶不能状态而向左右方向倒下的情况下,即使在驾驶员成为驾驶不能状态而向前方倒下的情况下,也能够通过出画判断来检测驾驶员的驾驶不能状态。
(第二实施方式)
以下,对于第二实施方式所涉及的检测装置100,对与第一实施方式所涉及的检测装置100不同的点进行说明。在第二实施方式所涉及的的检测装置100中,基于出画状态检测部71的出画判断的方法与第一实施方式所涉及的检测装置100不同。
在本实施方式中,作为出画判断中的规定范围的范围FA,出画状态检测部71设定范围FA1(第一规定范围)、范围FA2(第二规定范围)、范围FA3的3个范围。范围FA1是最小的范围。范围FA2比范围FA1大,包括范围FA1以及比范围FA1靠外侧(图像的端侧)的范围。另外,范围FA3比范围FA2大,包括范围FA2以及比范围FA2靠外侧的范围。在本实施方式中,范围FA1、范围FA2、范围FA3的中心为共用的中心。在本实施方式中,作为出画判断中的规定范围,设定3个范围,但设定至少2个范围即可。
另外,出画状态检测部71按照各规定范围设定出画判断时间。即,出画状态检测部71对于范围FA1、范围FA2、范围FA3的各范围,作为出画判断时间设定时间T01、T02、T03。
并且,出画状态检测部71将驾驶员的头部从至少一个规定范围超过与规定范围对应的出画判断时间脱离作为条件,检测驾驶员为驾驶不能状态。
即,在本实施方式中,有(1)驾驶员的头部从范围FA1超过时间T01脱离,(2)驾驶员的头部从范围FA2超过时间T02脱离,(3)驾驶员的头部从范围FA3超过时间T03脱离,这三个条件。出画状态检测部71在上述(1)~(3)的三个条件中的至少一个条件成立的情况下,检测驾驶员为驾驶不能状态。
因而,在图16A和图16B的流程图中,代替在S15的处理中判断是否是持续时间T0以上从范围FA脱离的状态,判断上述(1)~(3)的三个条件中的至少一个条件是否成立。在至少一个条件成立的情况下,进入至S16的处理,在三个条件均不成立的情况下进入至S21的处理。
一般而言,在驾驶员取远离驾驶席的位置的物品时等,在安全方面,越远离通常的驾驶位置,使停留时间越短。因此,出画状态检测部71在出画判断时间越为与较宽的规定范围对应的时间,越将其设定得较短。即,出画状态检测部71将出画判断时间以成为时间T01>时间T02>时间T03的方式进行设定。
例如,在将时间T01设为3秒、将时间T02设为1秒的情况下,即使在驾驶员的头部从范围FA1脱离后未经过3秒,在驾驶员的头部从范围FA2脱离后经过1秒的时刻,也检测出驾驶员的驾驶不能状态。
应予说明,时间T01、T02、T03与时间T0相同,基于登录于存储装置52的个人信息来设定,并与车速、TTC、驾驶支援控制的执行的有无相应地变更。并且,时间T01、T02、T03与时间T0相同,也可以在统计出的心脏病发作等急病容易病发的星期、时间段缩短。并且,时间T01、T02、T03与时间T0相同,也可以与头部位置的振幅、头部的移动速度、痉挛的检测相应地缩短。
另外,在图23中,使范围FA1、范围FA2、范围FA3的形状为椭圆形状,但也可以使范围FA1、范围FA2、范围FA3的形状为方形。并且,也可以应用第一实施方式的变形例二、变形例三,分别使范围FA1、范围FA2、范围FA3变形、移动。另外,也可以应用第一实施方式的变形例四,三维设定范围FA1、范围FA2、范围FA3。
根据以上说明的第二实施方式,设定多个范围不同且中心部重合的规定范围,并按照各规定范围设定出画判断时间。即,与从通常的驾驶位置的脱离程度相应地设定出画判断时间。因而,能够与从通常的驾驶位置的脱离程度相应地检测驾驶员的驾驶不能状态。
并且,由于从通常的驾驶位置的脱离程度越大,越将出画判断时间设定得较短,因此,抑制驾驶不能状态的误检测,并且在驾驶员成为驾驶不能状态的情况下,能够尽早检测。
(其它的实施方式)
驾驶员摄像机21也可以是搭载于车室内的4个摄像机中的一部。驾驶员摄像机21最低限度有一个即可。
出画状态检测部71也可以基于由轨迹获取部62获取的轨迹来检测驾驶员为驾驶不能状态。若急病病发导致驾驶员成为驾驶不能状态,则驾驶员的头部从驾驶时的位置移动,不返回至驾驶时的位置的情况较多,因此,能够基于头部的轨迹来检测驾驶员的驾驶不能状态。
朝向走形状态检测部73也可以进一步在驾驶员的脸比阈值Th2d(朝下阈值)大地朝向下侧、或者比阈值Th2u(朝上阈值)大地朝向上侧的情况下,检测驾驶员为驾驶不能状态。一般而言,若急病病发导致驾驶员失去意识,则驾驶员的脸比阈值Th2d大地朝向下侧、比阈值Th2u大地朝向上侧的情况较多。因而,能够在驾驶员的脸的朝向在下侧较大、或者在上侧较大的情况下,检测驾驶员为驾驶不能状态。
摆动状态检测部74也可以在车辆10的行驶中,对车辆10施加了外力时,由头部检测部61检测出的头部超过时间T6(复原判断时间)向外力的方向倾斜的情况下,检测驾驶员为驾驶不能状态。通常,在驾驶员有意识的情况下,对车辆10施加了外力(详细而言为左右方向以及前后方向的外力)时,即使驾驶员的头部向外力方向倾斜,也在时间T6内返回至原来的场所。与此相对,在驾驶员急病病发失去意识,则驾驶员的头部对于外力抵抗减小,成为超过时间T6向外力的方向倾斜的状态。因而,摆动状态检测部74能够在上述的情况下检测驾驶员的驾驶不能状态。
眼白状态检测部75还可以在由表情检测部67检测出的嘴的张开(详细而言为纵向的张开)比张开判断量大的情况下,检测驾驶员为驾驶不能状态。在驾驶员急病病发而翻白眼的情况下,成为嘴张开的状态的情况较多。因而,也可以在驾驶员的嘴的张开比张开判断量大的情况下,也检测驾驶员为驾驶不能状态。
虽然若出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、以及眼白状态判断全部执行,则驾驶员的驾驶不能状态的检测精度最高,但进行至少一个判断即可。另外,也可以组合任意数量的判断来执行。在该情况下,可以按照出画判断、姿势走形判断、脸朝向走形判断、摆动状态判断、眼白状态判断的顺序优先执行。
例如,在组合姿势走形判断和摆动状态判断的2个情况下,在姿势走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断,则能够高精度地检测驾驶员的驾驶不能状态。
另外,在组合脸朝向走形判断和摆动状态判断的2个的情况下,在脸朝向走形判断中未检测为驾驶员为驾驶不能状态的情况下若进行摆动状态判断,则能够高精度地检测驾驶员的驾驶不能状态。
另外,在组合摆动状态判断和眼白状态判断的2个的情况下,在摆动状态判断中未检测为驾驶员为驾驶不能状态的情况下若进行眼白状态判断,则能够高精度地检测驾驶员的驾驶不能状态。
学习部51也可以学习误检测驾驶员为驾驶不能状态的情况下的驾驶员的姿势。即,也可以学习虽然检测驾驶员为驾驶不能状态,但从驾驶员有响应的情况下的驾驶员的姿势。并且,也可以将学习到的姿势作为不判断为驾驶不能状态的姿势。
可以将各阈值以及各判断值的统计值存储于存储装置52,并将它们作为初始值使用。各阈值以及各判断值的统计值是统计与多个车辆的驾驶员的每一个对应的各阈值以及各判断值而得的值。另外,可以从车辆10向信息中心发送与驾驶员对应设定的各阈值以及各判断值,在信息中心统计。
也可以在向驾驶员确认是否是驾驶不能状态,并从驾驶员有响应的情况下,在之后一定的时间识别为驾驶员是能够驾驶的状态。另外,也可以以驾驶员设定的时间间隔(例如每1小时1次)进行检测驾驶员的驾驶不能状态的处理。
对车辆10施加的外力除可以由G传感器44以外,例如也可以由座面传感器23检测。
根据第一方式,驾驶员的驾驶不能状态检测装置具备:头部检测部,其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;以及出画状态检测部,其在上述车辆的行驶中,由上述头部检测部检测出的上述头部从上述图像的规定范围脱离的情况下,检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置,基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部。在驾驶员正常驾驶车辆的情况下,驾驶员的头部收纳于驾驶席的图像的规定范围的情况较多。与此相对,若急病病发导致驾驶员失去意识,则存在驾驶员的头部从规定范围脱离的情况。因此,通过在头部从规定范围脱离的情况下,检测驾驶员为驾驶不能状态,能够简单地检测驾驶员的驾驶不能状态。
根据第二方式,驾驶员的驾驶不能状态检测装置具备:头部检测部,其基于由搭载于车辆的拍摄装置拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;轨迹获取部,其根据由上述头部检测部检测出的上述头部的位置来获取上述头部的轨迹;以及状态检测部,其基于由上述轨迹获取部获取的上述轨迹来检测上述驾驶员为驾驶不能状态。
根据驾驶员的驾驶不能状态检测装置,基于拍摄驾驶席得到的图像来逐次检测驾驶员的头部,并且根据检测出的头部的位置获取头部的轨迹。若急病病发导致成为驾驶员的驾驶不能状态,则驾驶员的头部从驾驶时的位置移动,不返回至驾驶时的位置的情况较多。因而,能够基于驾驶员的头部的轨迹简单地检测驾驶员的驾驶不能状态。
该申请所记载的流程图、或者流程图的处理由多个步骤(或者说成部分)构成,各步骤例如表现为S10。并且,各步骤能够分割为多个子步骤,另一方面,也能够合并多个步骤使其为一个步骤。
以上,例示了驾驶员的驾驶不能状态检测装置的实施方式、构成、形态,但驾驶员的驾驶不能状态检测装置所涉及的实施方式、构成、形态并不局限于上述的各实施方式、各构成、各形态。例如,对于适当地组合不同的实施方式、构成、形态中分别记载的技术部得到的实施方式、构成、方式,也包括于驾驶员的驾驶不能状态检测装置所涉及的实施方式、构成、形态的范围。

Claims (25)

1.一种驾驶员的驾驶不能状态检测装置,其中,具备:
头部检测部(61),其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;以及
出画状态检测部(71),其在上述车辆(10)的行驶中,由上述头部检测部(61)检测出的上述头部从上述图像的规定范围脱离的情况下,检测上述驾驶员为驾驶不能状态。
2.根据权利要求1所述的驾驶员的驾驶不能状态检测装置,其中,
具备与包括上述驾驶员的用户的意图、或者与上述驾驶员相关的驾驶员信息对应地使上述规定范围变形的变形部。
3.根据权利要求1或者2所述的驾驶员的驾驶不能状态检测装置,其中,
具备与包括上述驾驶员的用户的意图、或者与上述驾驶员相关的驾驶员信息对应地使上述规定范围移动的移动部。
4.根据权利要求2或者3所述的驾驶员的驾驶不能状态检测装置,其中,
上述驾驶员信息包括上述驾驶员的年龄、病历以及驾驶姿势的癖好的至少一个。
5.根据权利要求1~4中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
上述规定范围的形状是将上述车辆(10)的宽度方向作为长轴的椭圆形状。
6.根据权利要求1~5中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
上述出画状态检测部(71)将上述头部超过出画判断时间(T0)从上述规定范围脱离作为条件,检测上述驾驶员为驾驶不能状态。
7.根据权利要求6所述的驾驶员的驾驶不能状态检测装置,其中,
作为上述规定范围,至少设定有第一规定范围、包括上述第一规定范围以及比上述第一规定范围靠外侧的范围的第二规定范围,
上述出画判断时间(T0)被按照各上述规定范围来设定,
上述出画状态检测部(71)将上述头部从至少一个上述规定范围超过与上述规定范围对应的上述出画判断时间(T0)脱离作为条件,检测上述驾驶员为驾驶不能状态。
8.根据权利要求7所述的驾驶员的驾驶不能状态检测装置,其中,
上述规定范围越宽,上述出画判断时间(T0)被设定得越短。
9.根据权利要求1~8中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
上述拍摄装置(21)是立体摄像机,
上述规定范围是被三维设定的范围。
10.根据权利要求1~9中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
具备根据由上述头部检测部(61)检测出的上述头部的位置来获取上述头部的轨迹的轨迹获取部(62),
在上述车辆(10)的行驶中,上述出画状态检测部(71)基于由上述头部检测部(61)检测出的上述头部从上述图像的规定范围脱离、以及在上述头部从上述规定范围脱离前由上述轨迹获取部(62)获取的上述轨迹来检测上述驾驶员为驾驶不能状态。
11.一种驾驶员的驾驶不能状态检测装置,其中,具备:
头部检测部(61),其基于由搭载于车辆(10)的拍摄装置(21)拍摄得到的驾驶席的图像来逐次检测比驾驶员的脖子靠上的头部;
轨迹获取部(62),其根据由上述头部检测部(61)检测出的上述头部的位置来获取上述头部的轨迹;以及
出画状态检测部(71),在上述车辆(10)的行驶中,基于由上述轨迹获取部(62)获取的上述轨迹来检测上述驾驶员为驾驶不能状态。
12.根据权利要求1所述的驾驶员的驾驶不能状态检测装置,其中,
上述规定范围是上述图像的整体。
13.根据权利要求10或者11所述的驾驶员的驾驶不能状态检测装置,其中,
在由上述头部检测部(61)不再检测到上述头部的情况下,上述头部检测部(61)在由上述轨迹获取部(62)获取的上述轨迹的最终位置附近搜索。
14.根据权利要求6~8中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
具备检测上述驾驶席的安全带的抽出量的量检测部(22),
上述出画状态检测部(71)将由上述量检测部(22)检测出的上述抽出量比在上述安全带的佩戴时检测出的上述抽出量大至超过第一抽出量作为条件,检测上述驾驶员为驾驶不能状态。
15.根据权利要求14所述的驾驶员的驾驶不能状态检测装置,其中,
上述出画状态检测部(71)将由上述量检测部(22)检测出的量检测时间平均的上述抽出量比第二抽出量多作为条件,检测上述驾驶员为驾驶不能状态。
16.根据权利要求6~8、14、15中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
具备检测上述驾驶席的座部(11a)的压力分布的座压检测部(23),
上述出画状态检测部(71)将由上述座压检测部(23)检测出的压力分布中的高压部分偏于上述座部(11a)的端部作为条件,检测上述驾驶员为驾驶不能状态。
17.根据权利要求6~8、14~16中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
在由上述头部检测部(61)逐次检测出的上述头部的位置以比规定振幅大的振幅振动的情况下,缩短上述出画判断时间(T0)。
18.根据权利要求6~8、14~17中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
由上述头部检测部(61)逐次检测出的上述头部的移动速度越大,使上述出画判断时间(T0)越短。
19.根据权利要求6~8、14~18中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
在由上述头部检测部(61)逐次检测出的上述头部的位置越靠近上述规定范围的边端,上述头部的移动速度越大的情况下,使上述出画判断时间(T0)缩短。
20.根据权利要求6~8、14~19中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
具备检测上述驾驶员的痉挛的痉挛检测部(63),
在由上述痉挛检测部(63)检测到上述痉挛的情况下,缩短上述出画判断时间(T0)。
21.根据权利要求6~8、14~20中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
上述车辆(10)的车速越高,使上述出画判断时间(T0)越短。
22.根据权利要求6~8、14~21中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
将与先行车辆的车间距离除以与上述先行车辆的相对速度而得的碰撞充裕时间越短,使上述出画判断时间(T0)越短。
23.根据权利要求6~8、14~22中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
具备登录了包括上述驾驶员的病历以及年龄的个人信息的存储部(52),
基于登录于上述存储部(52)的个人信息来设定上述出画判断时间(T0)。
24.根据权利要求6~8、14~23中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
在上述车辆(10)中执行有驾驶支援控制的情况下,延长上述出画判断时间(T0)。
25.根据权利要求1~24中任意一项所述的驾驶员的驾驶不能状态检测装置,其中,
上述驾驶不能状态是上述驾驶员急病病发的状态。
CN201580033574.1A 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置 Active CN106463065B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010192765.5A CN111311963A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN202010547995.9A CN111710190A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN202210176883.6A CN114512030B (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014128387 2014-06-23
JP2014-128387 2014-06-23
JP2015028001A JP6372388B2 (ja) 2014-06-23 2015-02-16 ドライバの運転不能状態検出装置
JP2015-028001 2015-02-16
PCT/JP2015/002864 WO2015198541A1 (ja) 2014-06-23 2015-06-08 ドライバの運転不能状態検出装置

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202010192765.5A Division CN111311963A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN202010547995.9A Division CN111710190A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN202210176883.6A Division CN114512030B (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Publications (2)

Publication Number Publication Date
CN106463065A true CN106463065A (zh) 2017-02-22
CN106463065B CN106463065B (zh) 2020-07-21

Family

ID=54937652

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202010547995.9A Pending CN111710190A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN201580033574.1A Active CN106463065B (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置
CN202010192765.5A Pending CN111311963A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202010547995.9A Pending CN111710190A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010192765.5A Pending CN111311963A (zh) 2014-06-23 2015-06-08 驾驶员的驾驶不能状态检测装置

Country Status (5)

Country Link
US (3) US10474914B2 (zh)
JP (1) JP6372388B2 (zh)
CN (3) CN111710190A (zh)
DE (1) DE112015002944T5 (zh)
WO (1) WO2015198541A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107891806A (zh) * 2017-10-13 2018-04-10 信利光电股份有限公司 一种车辆安全系统及其使用方法
CN108688671A (zh) * 2017-03-30 2018-10-23 罗伯特·博世有限公司 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备
CN109561277A (zh) * 2017-09-25 2019-04-02 矢崎总业株式会社 监视系统
CN109774470A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 旁视判定装置、旁视判定方法及存储介质
CN110199318A (zh) * 2017-03-14 2019-09-03 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110329267A (zh) * 2018-03-28 2019-10-15 马自达汽车株式会社 驾驶员状态判定装置
CN111016913A (zh) * 2019-12-05 2020-04-17 马园 基于图像信息的司机状态控制系统及方法
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN113561982A (zh) * 2021-08-06 2021-10-29 上汽通用五菱汽车股份有限公司 一种驾驶员昏迷处理方法、装置及可读存储介质

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015002948T5 (de) 2014-06-23 2017-03-09 Denso Corporation Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
US10503987B2 (en) 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP6372388B2 (ja) 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
JP6196361B2 (ja) * 2015-10-15 2017-09-13 ダイキン工業株式会社 運転者状態判定装置及び運転者状態判定方法
JP6575293B2 (ja) * 2015-10-21 2019-09-18 いすゞ自動車株式会社 状態判定装置
KR101745190B1 (ko) * 2015-12-03 2017-06-08 현대자동차주식회사 입체감 설정 시스템 및 방법
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
JP2017199302A (ja) * 2016-04-28 2017-11-02 パナソニックIpマネジメント株式会社 判定装置、判定方法、判定プログラム及び記録媒体
JP5997410B1 (ja) * 2016-05-10 2016-09-28 勇 大森 運転者異常発生検出器及びこれを用いた安全装置
JP6775135B2 (ja) * 2016-05-20 2020-10-28 マツダ株式会社 ドライバ状態検出装置
US10318831B2 (en) * 2016-07-21 2019-06-11 Gestigon Gmbh Method and system for monitoring the status of the driver of a vehicle
US10357186B2 (en) * 2016-08-09 2019-07-23 Georgia Tech Research Corporation Wheelchair in-seat activity tracker
US10719724B2 (en) * 2016-08-23 2020-07-21 Blinkeyelabs Electronics Private Limited Safety system for an automobile
JP6895731B2 (ja) 2016-10-11 2021-06-30 株式会社東海理化電機製作所 運転者状態推定装置
TW201821313A (zh) * 2016-12-14 2018-06-16 鴻海精密工業股份有限公司 汽車行車安全智能檢測環及汽車方向盤
DE102017201405B4 (de) * 2017-01-30 2018-12-13 Audi Ag Verfahren zum Betreiben eines Kraftfahrzeugs
JP2018131029A (ja) * 2017-02-14 2018-08-23 株式会社東海理化電機製作所 車両用制御装置
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
JP6594595B2 (ja) * 2017-08-09 2019-10-23 三菱電機株式会社 運転不能状態判定装置および運転不能状態判定方法
JP7091632B2 (ja) * 2017-10-25 2022-06-28 いすゞ自動車株式会社 安全運転促進装置及び安全運転促進方法
JP7024332B2 (ja) * 2017-11-07 2022-02-24 トヨタ自動車株式会社 ドライバモニタシステム
JP2019091267A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
US11188074B1 (en) * 2017-11-29 2021-11-30 United Services Automobile Association (Usaa) Systems and methods for remotely controlling operation of a vehicle
JP7003612B2 (ja) 2017-12-08 2022-01-20 株式会社デンソー 異常検知装置、及び異常検知プログラム
CN110163908A (zh) * 2018-02-12 2019-08-23 北京宝沃汽车有限公司 找寻目标物的方法、装置及存储介质
US10275670B1 (en) 2018-03-07 2019-04-30 State Farm Mutual Automobile Insurance Company Image analysis technologies for identifying abnormal vehicle conditions
US10776644B1 (en) * 2018-03-07 2020-09-15 State Farm Mutual Automobile Insurance Company Image analysis technologies for assessing safety of vehicle operation
JP7068606B2 (ja) * 2018-03-15 2022-05-17 オムロン株式会社 運転評価装置、車載機、運転評価方法、及びコンピュータプログラム
JP6848912B2 (ja) 2018-03-23 2021-03-24 株式会社デンソー 状態判定装置、状態判定プログラム及びコンピュータ読み出し可能持続的有形記録媒体
JP6844568B2 (ja) * 2018-03-27 2021-03-17 日本電気株式会社 余所見判定装置、余所見判定システム、余所見判定方法、プログラム
US11254270B1 (en) 2018-05-02 2022-02-22 State Farm Mutual Automobile Insurance Company Technologies for using image analysis to facilitate adjustments of vehicle components
CN108438000A (zh) * 2018-05-15 2018-08-24 北京兴科迪电子技术研究院 驾驶员突发疾病察觉装置、方法和系统
WO2019220572A1 (ja) * 2018-05-16 2019-11-21 三菱電機株式会社 運転不能検知装置及び運転不能検知方法
JP7283037B2 (ja) 2018-07-26 2023-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6811218B2 (ja) 2018-09-05 2021-01-13 矢崎総業株式会社 ワイヤハーネス
JP2020039674A (ja) * 2018-09-12 2020-03-19 トヨタ紡織株式会社 シート及び姿勢推定システム
JP7187918B2 (ja) * 2018-09-20 2022-12-13 いすゞ自動車株式会社 車両用監視装置
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
US11417122B2 (en) * 2018-11-21 2022-08-16 Lg Electronics Inc. Method for monitoring an occupant and a device therefor
KR20200132468A (ko) * 2019-05-17 2020-11-25 삼성전자주식회사 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법
US11571155B2 (en) 2019-06-06 2023-02-07 Honda Motor Co., Ltd. System and method for completing a measurement of anxiety
CN110281870A (zh) * 2019-07-11 2019-09-27 安徽富煌科技股份有限公司 一种基于3d全景技术的车厢内安全辅助系统及危险处理方法
CN111931640B (zh) * 2020-08-07 2022-06-10 上海商汤临港智能科技有限公司 异常坐姿识别方法、装置、电子设备及存储介质
CN112622892B (zh) * 2020-12-14 2023-03-24 深圳技术大学 基于人脸和肢体姿态识别的紧急制动方法及系统
EP4287154A4 (en) * 2021-03-24 2024-04-24 Nec Corp DRIVER COMPARISON SYSTEM, DRIVER COMPARISON METHOD AND RECORDING MEDIUM
US20220319045A1 (en) * 2021-04-01 2022-10-06 MohammadSado Lulu System For Posture Detection Using The Camera Of A Hand-Held Device
WO2024075205A1 (ja) * 2022-10-05 2024-04-11 三菱電機株式会社 乗員状態判定装置、乗員状態判定システム、乗員状態判定方法及びプログラム

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09188163A (ja) * 1996-01-10 1997-07-22 Kazunari Konishi オ−トマチック自動車におけるフ−トペダル装置
JP2001250183A (ja) * 2000-03-07 2001-09-14 Denso Corp 車両用緊急通報システム
JP2005108033A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
JP2005173635A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
US20090191513A1 (en) * 2008-01-24 2009-07-30 Nec Laboratories America, Inc. Monitoring driving safety using semi-supervised sequential learning
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
JP2011043961A (ja) * 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
CN102054163A (zh) * 2009-10-27 2011-05-11 南京理工大学 基于单目视觉的驾驶员疲劳检测方法
JP2011164825A (ja) * 2010-02-08 2011-08-25 Daihatsu Motor Co Ltd 運転状態判断装置
JP2011203869A (ja) * 2010-03-24 2011-10-13 Toyota Motor Corp 車両用居眠り防止装置
CN103434400A (zh) * 2013-08-09 2013-12-11 浙江吉利汽车研究院有限公司 防酒驾和防瞌睡系统及防酒驾和防瞌睡方法
CN104318714A (zh) * 2014-11-12 2015-01-28 沈阳美行科技有限公司 一种疲劳驾驶预警方法

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60152904A (ja) * 1984-01-20 1985-08-12 Nippon Denso Co Ltd 車両運転者位置認識装置
JPS60178596A (ja) 1984-02-25 1985-09-12 株式会社デンソー 居眼り運転防止装置
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
US8604932B2 (en) * 1992-05-05 2013-12-10 American Vehicular Sciences, LLC Driver fatigue monitoring system and method
JPH06222258A (ja) * 1993-01-23 1994-08-12 Asahi Optical Co Ltd パッシブ自動焦点カメラ
US5353013A (en) * 1993-05-13 1994-10-04 Estrada Richard J Vehicle operator sleep alarm
JP3115457B2 (ja) 1993-08-16 2000-12-04 三菱電機株式会社 運転者異常事態発生警報装置
JP3433554B2 (ja) 1995-02-17 2003-08-04 マツダ株式会社 自動車の走行制御装置
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
JPH10960A (ja) * 1996-06-12 1998-01-06 Yazaki Corp 運転者監視装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP3622533B2 (ja) 1998-10-23 2005-02-23 株式会社デンソー 車間制御装置
DE10121192A1 (de) * 2000-05-09 2001-11-15 Denso Corp Klimaanlage mit kontaktfreiem Temperatursensor
JP2003022500A (ja) * 2001-07-09 2003-01-24 Mitsubishi Motors Corp ドライバーの覚醒度検出装置
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP3943367B2 (ja) * 2001-10-31 2007-07-11 株式会社デンソー 車両用乗員頭部検出装置
US7044742B2 (en) 2001-12-26 2006-05-16 Kabushikikaisha Equos Research Emergency reporting apparatus
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
ATE539558T1 (de) * 2002-04-25 2012-01-15 Panasonic Corp Objektdetektionseinrichtung, objektdetektionsserver und objektdetektionsverfahren
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US20060187067A1 (en) * 2002-08-14 2006-08-24 Simpson William A Instantaneous sleep activated alarm
CN101317763B (zh) * 2002-10-15 2013-04-03 沃尔沃技术公司 解释对象的头部和眼睛活动的方法和装置
JP4325271B2 (ja) * 2003-05-12 2009-09-02 日産自動車株式会社 状態検出装置及び状態検出システム
KR100527466B1 (ko) * 2003-07-28 2005-11-09 현대자동차주식회사 운전자 머리 위치 측정방법 및 장치
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
WO2005052878A1 (en) * 2003-11-30 2005-06-09 Volvo Technology Corporation Method and system for recognizing driver impairment
JP4059224B2 (ja) * 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP4915735B2 (ja) * 2004-11-16 2012-04-11 学校法人日本大学 疲労判定システム及び疲労判定方法
JP4622544B2 (ja) * 2005-01-27 2011-02-02 アイシン精機株式会社 車両の運転支援装置
CN101714210B (zh) * 2005-02-23 2013-08-21 富士通株式会社 图像处理方法、图像处理装置以及图像处理系统
JP4735310B2 (ja) 2005-04-15 2011-07-27 株式会社デンソー 走行支援装置
US8846016B2 (en) * 2005-12-21 2014-09-30 Avon Products, Inc. Hair treatment compositions
US7860280B2 (en) * 2006-06-09 2010-12-28 Samsung Electronics Co., Ltd. Facial feature detection method and device
JP5036814B2 (ja) * 2006-06-11 2012-09-26 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置
US8050453B2 (en) * 2006-06-15 2011-11-01 Omron Corporation Robust object tracking system
JP2007331652A (ja) 2006-06-16 2007-12-27 Toyota Motor Corp 車両停止装置
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
JP2008094221A (ja) * 2006-10-11 2008-04-24 Denso Corp 目状態検出装置および目状態検出装置の取り付け方法
JP4211841B2 (ja) * 2006-11-15 2009-01-21 トヨタ自動車株式会社 ドライバ状態推定装置、サーバ、ドライバ情報収集装置及び運転者状態推定システム
US20080204239A1 (en) * 2007-02-28 2008-08-28 Christopher Marszalek Apparatus, system and/or method for wirelessly securing and/or for wirelessly monitoring an article
JP2008269496A (ja) * 2007-04-24 2008-11-06 Takata Corp 乗員情報検出システム、乗員拘束システム、車両
US7848548B1 (en) * 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
JP4946672B2 (ja) * 2007-07-04 2012-06-06 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP4332813B2 (ja) * 2007-07-23 2009-09-16 株式会社デンソー 自動車用ユーザーもてなしシステム
CN101406390B (zh) * 2007-10-10 2012-07-18 三星电子株式会社 检测人体部位和人的方法和设备以及对象检测方法和设备
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP4941678B2 (ja) * 2008-05-30 2012-05-30 トヨタ自動車株式会社 警報制御装置
US20100014711A1 (en) * 2008-07-16 2010-01-21 Volkswagen Group Of America, Inc. Method for controlling an illumination in a vehicle interior in dependence on a head pose detected with a 3D sensor
US8538072B2 (en) * 2008-08-27 2013-09-17 Imprivata, Inc. Systems and methods for operator detection
CN102159136B (zh) * 2008-09-18 2013-09-04 学校法人中部大学 困意预兆检测装置
JP4666062B2 (ja) * 2008-11-17 2011-04-06 株式会社デンソー 画像撮影装置および方法
CN201423980Y (zh) * 2009-01-05 2010-03-17 陈新杰 车辆驾驶的视觉辅助标志组合
US8063786B2 (en) * 2009-02-24 2011-11-22 Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America Method of detecting drowsiness of a vehicle operator
CN101593352A (zh) * 2009-06-12 2009-12-02 浙江大学 基于面部朝向和视觉焦点的驾驶安全监测系统
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
JP5178797B2 (ja) 2010-09-13 2013-04-10 キヤノン株式会社 表示制御装置及び表示制御方法
CN102567710B (zh) * 2010-12-30 2014-09-24 财团法人车辆研究测试中心 用以检测车辆内驾驶者的驾驶状态的方法及系统
BRPI1105777A2 (pt) 2011-03-17 2017-05-23 Toyota Motor Co Ltd "aparelho de suporte de deslocamento e método de suporte de deslocamento"
JP2012203551A (ja) * 2011-03-24 2012-10-22 Komatsu Ltd 居眠り抑制システム及びダンプトラック
CN103442925B (zh) * 2011-03-25 2016-08-17 Tk控股公司 用于确定驾驶员警觉性的系统和方法
CN202088896U (zh) * 2011-05-26 2011-12-28 臧安迪 基于驾驶员面部识别的机动车安全控制系统
CN102985302A (zh) * 2011-07-11 2013-03-20 丰田自动车株式会社 车辆的紧急避险装置
DE112011105432B4 (de) 2011-07-11 2018-07-12 Toyota Jidosha Kabushiki Kaisha Fahrzeug-Notfallevakuierungsvorrichtung
DE112011105431B4 (de) * 2011-07-11 2019-05-29 Toyota Jidosha Kabushiki Kaisha Fahrzeug-Notfallevakuierungsvorrichtung
CN102881116A (zh) * 2011-07-13 2013-01-16 上海库源电气科技有限公司 一种疲劳驾驶预警系统及方法
EP2564765B1 (en) 2011-09-02 2017-12-13 Volvo Car Corporation System and method for improving a performance estimation of an operator of a vehicle
JP2013097456A (ja) * 2011-10-28 2013-05-20 Denso Corp 運転者顔状態報知装置
CN102426757A (zh) * 2011-12-02 2012-04-25 上海大学 基于模式识别的安全驾驶监控系统和方法
KR101283304B1 (ko) * 2011-12-12 2013-07-12 기아자동차주식회사 운전자의 눈부심 검출 장치 및 그 방법과 이를 이용한 눈부심 차단 시스템 및 그 방법
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
CN202383802U (zh) * 2011-12-31 2012-08-15 长安大学 货车疲劳驾驶声光警告系统
CN102592143B (zh) * 2012-01-09 2013-10-23 清华大学 一种驾驶员行车中手持电话违规行为检测方法
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
JP5505434B2 (ja) * 2012-02-09 2014-05-28 株式会社デンソー 脇見判定装置
US20130257620A1 (en) 2012-03-30 2013-10-03 Utechzone Co., Ltd. Device and method for detecting driver's attention through interactive voice questioning
JP6047318B2 (ja) * 2012-07-06 2016-12-21 矢崎総業株式会社 ドライバ状態検出装置及びドライバ状態報知装置
US20140019167A1 (en) 2012-07-16 2014-01-16 Shuli Cheng Method and Apparatus for Determining Insurance Risk Based on Monitoring Driver's Eyes and Head
JP2014019301A (ja) 2012-07-18 2014-02-03 Toyota Motor Corp 緊急退避装置
US9679209B2 (en) * 2012-07-25 2017-06-13 Denso Corporation State monitoring apparatus
KR101390906B1 (ko) * 2012-08-21 2014-05-02 자동차부품연구원 타이어 방향 감지에 따른 방향 지시등 제어 시스템 및 그 방법
US9725096B2 (en) * 2012-10-10 2017-08-08 Nxp Usa, Inc. Method and apparatus for generating and indicator of a risk level in operating systems
US20150379362A1 (en) 2013-02-21 2015-12-31 Iee International Electronics & Engineering S.A. Imaging device based occupant monitoring system supporting multiple functions
CN203242124U (zh) * 2013-05-22 2013-10-16 重庆工业职业技术学院 基于头部运动检测的疲劳驾驶报警器
CN103315754B (zh) * 2013-07-01 2015-11-25 深圳市飞瑞斯科技有限公司 一种疲劳检测方法及装置
US20150009010A1 (en) * 2013-07-03 2015-01-08 Magna Electronics Inc. Vehicle vision system with driver detection
CN103473890B (zh) * 2013-09-12 2015-09-16 合肥工业大学 基于多信息的驾驶员疲劳实时监测系统及监测方法
US9330305B2 (en) * 2013-12-29 2016-05-03 Google Technology Holdings LLC Method and device for detecting a seating position in a vehicle
CN103767715B (zh) * 2014-01-15 2015-10-28 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测装置
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
US9721173B2 (en) * 2014-04-04 2017-08-01 Conduent Business Services, Llc Machine learning approach for detecting mobile phone usage by a driver
WO2015192980A1 (de) * 2014-06-20 2015-12-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs
DE112015002948T5 (de) 2014-06-23 2017-03-09 Denso Corporation Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
JP6379720B2 (ja) 2014-06-23 2018-08-29 株式会社デンソー ドライバの運転不能状態検出装置
JP6331751B2 (ja) 2014-06-23 2018-05-30 株式会社デンソー ドライバの運転不能状態検出装置
US10503987B2 (en) * 2014-06-23 2019-12-10 Denso Corporation Apparatus detecting driving incapability state of driver
JP6331875B2 (ja) 2014-08-22 2018-05-30 株式会社デンソー 車載制御装置
JP2016045714A (ja) 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
JP6341055B2 (ja) 2014-10-24 2018-06-13 株式会社デンソー 車載制御装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09188163A (ja) * 1996-01-10 1997-07-22 Kazunari Konishi オ−トマチック自動車におけるフ−トペダル装置
JP2001250183A (ja) * 2000-03-07 2001-09-14 Denso Corp 車両用緊急通報システム
JP2005108033A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 運転者状況判定装置および運転者状況判定方法
JP2005173635A (ja) * 2003-12-05 2005-06-30 Fujitsu Ten Ltd 居眠り検出装置、カメラ、光遮断センサおよびシートベルトセンサ
CN101153798A (zh) * 2006-09-28 2008-04-02 高田株式会社 乘员检测系统、警报系统、制动系统和车辆
US20090191513A1 (en) * 2008-01-24 2009-07-30 Nec Laboratories America, Inc. Monitoring driving safety using semi-supervised sequential learning
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
CN101732055A (zh) * 2009-02-11 2010-06-16 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
CN101860702A (zh) * 2009-04-02 2010-10-13 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的驾驶员瞌睡警报
JP2011043961A (ja) * 2009-08-20 2011-03-03 Toyota Motor Corp 運転者監視装置
CN102054163A (zh) * 2009-10-27 2011-05-11 南京理工大学 基于单目视觉的驾驶员疲劳检测方法
JP2011164825A (ja) * 2010-02-08 2011-08-25 Daihatsu Motor Co Ltd 運転状態判断装置
JP2011203869A (ja) * 2010-03-24 2011-10-13 Toyota Motor Corp 車両用居眠り防止装置
CN103434400A (zh) * 2013-08-09 2013-12-11 浙江吉利汽车研究院有限公司 防酒驾和防瞌睡系统及防酒驾和防瞌睡方法
CN104318714A (zh) * 2014-11-12 2015-01-28 沈阳美行科技有限公司 一种疲劳驾驶预警方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110199318A (zh) * 2017-03-14 2019-09-03 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN110199318B (zh) * 2017-03-14 2023-03-07 欧姆龙株式会社 驾驶员状态推定装置以及驾驶员状态推定方法
CN108688671A (zh) * 2017-03-30 2018-10-23 罗伯特·博世有限公司 用于观测在车辆中的驾驶员以确定驾驶员在车辆中的至少一个位置的方法和驾驶员观测设备
CN109561277A (zh) * 2017-09-25 2019-04-02 矢崎总业株式会社 监视系统
CN109561277B (zh) * 2017-09-25 2021-07-02 矢崎总业株式会社 监视系统
CN107891806A (zh) * 2017-10-13 2018-04-10 信利光电股份有限公司 一种车辆安全系统及其使用方法
CN109774470A (zh) * 2017-11-15 2019-05-21 欧姆龙株式会社 旁视判定装置、旁视判定方法及存储介质
CN110329267A (zh) * 2018-03-28 2019-10-15 马自达汽车株式会社 驾驶员状态判定装置
CN110329267B (zh) * 2018-03-28 2022-08-09 马自达汽车株式会社 驾驶员状态判定装置
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN111016913A (zh) * 2019-12-05 2020-04-17 马园 基于图像信息的司机状态控制系统及方法
CN113561982A (zh) * 2021-08-06 2021-10-29 上汽通用五菱汽车股份有限公司 一种驾驶员昏迷处理方法、装置及可读存储介质

Also Published As

Publication number Publication date
DE112015002944T5 (de) 2017-03-16
JP2016027452A (ja) 2016-02-18
US20210158064A1 (en) 2021-05-27
US20170161576A1 (en) 2017-06-08
CN114512030A (zh) 2022-05-17
CN106463065B (zh) 2020-07-21
WO2015198541A1 (ja) 2015-12-30
US11820383B2 (en) 2023-11-21
CN111311963A (zh) 2020-06-19
CN111710190A (zh) 2020-09-25
US10936888B2 (en) 2021-03-02
US20200057898A1 (en) 2020-02-20
JP6372388B2 (ja) 2018-08-15
US10474914B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
CN106463065A (zh) 驾驶员的驾驶不能状态检测装置
CN106663377B (zh) 驾驶员的驾驶不能状态检测装置
US10572746B2 (en) Apparatus detecting driving incapability state of driver
JP6364997B2 (ja) ドライバの運転不能状態検出装置
JP6379720B2 (ja) ドライバの運転不能状態検出装置
JP6361312B2 (ja) ドライバの運転不能状態検出装置
EP2892036A1 (en) Alert generation correlating between head mounted imaging data and external device
JP6331751B2 (ja) ドライバの運転不能状態検出装置
CN109074748A (zh) 图像处理设备、图像处理方法和可移动体
JP2016045714A (ja) 車載制御装置
WO2020145161A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
CN113276822A (zh) 驾驶员状态推断装置
JP6614286B2 (ja) ドライバの運転不能状態検出装置
JP6607287B2 (ja) ドライバの運転不能状態検出装置
US20150371519A1 (en) Information Processing Device and Information Processing Method
CN114512030B (zh) 驾驶员的驾驶不能状态检测装置
US20230196797A1 (en) Non-contact depth sensing monitoring in vehicles
KR20230076171A (ko) 자율주행차량과 메타버스 연동을 위한 확장현실 가상 콘텐츠 제공 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant