CN105659305A - 状态监视装置 - Google Patents

状态监视装置 Download PDF

Info

Publication number
CN105659305A
CN105659305A CN201480057949.3A CN201480057949A CN105659305A CN 105659305 A CN105659305 A CN 105659305A CN 201480057949 A CN201480057949 A CN 201480057949A CN 105659305 A CN105659305 A CN 105659305A
Authority
CN
China
Prior art keywords
mentioned
unit
seat
monitoring apparatus
state monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480057949.3A
Other languages
English (en)
Other versions
CN105659305B (zh
Inventor
永井史也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN105659305A publication Critical patent/CN105659305A/zh
Application granted granted Critical
Publication of CN105659305B publication Critical patent/CN105659305B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/80Circuits; Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver

Abstract

被搭载于车辆的状态监视装置(1)具备:发光单元(9),以光照射到规定区域的方式发光;拍摄单元(7),对包括规定区域在内的区域进行拍摄;状态监视单元(40、S200、S210),基于由拍摄单元拍摄到的图像来监视驾驶员的状态;状况判定单元(40、S120~S140),判定驾驶员是驾驶准备完成还是驾驶准备未完成;以及发光控制单元(40、S150、S240),在状况判定单元中的判定结果为驾驶员未完成驾驶准备的情况下,使发光单元中的发光功能降低,如果驾驶员完成驾驶准备,则不使发光单元中的发光功能降低。

Description

状态监视装置
本申请基于2013年10月23日提出的日本专利申请2013-220228号主张优先权,通过参照在此引用其内容。
技术领域
本公开涉及对汽车的驾驶员的状态进行监视的状态监视装置。
背景技术
以往,公知有一种以实现汽车的安全行驶为目的,来对该汽车的驾驶员的状态进行监视的状态监视装置(所谓的驾驶员状态监视器),该状态监视装置具备发光部、拍摄部以及控制部(例如,参照专利文献1)。
状态监视装置中的发光部向驾驶员的面部所在的规定区域照射包括近红外波长的光的光。拍摄部将包括规定区域在内的区域作为拍摄区域来拍摄图像。控制部通过对由拍摄部拍摄到的图像进行图像处理来监视驾驶员的状态。
并且,在专利文献1所记载的状态监视装置的控制部中,如果是发动机停止状态或者怠速状态,则禁止发光。
然而,本申请发明人认为,即使是发动机停止状态或者怠速状态,优选在就座于驾驶座的驾驶员立即开始驾驶的情况下,也监视该驾驶员的状态是否是适合于驾驶的状态。本申请发明人设想在状态监视装置中驾驶员立即开始驾驶的情况下,即使是发动机停止状态或者怠速状态,也使发光部发光来进行状态监视。
然而,在专利文献1所记载的状态监视装置中,由于在是发动机停止状态或者怠速状态的情况下,禁止发光部的发光,所以无法在应该发光的时刻使发光部发光来进行状态监视。
专利文献1:日本专利第3651571号公报
发明内容
鉴于此,本公开的目的在于,提供一种在状态监视装置中以适当的时刻进行发光的状态监视装置。
本公开的一个例子所涉及的状态监视装置是被搭载于车辆的状态监视装置,具备发光部、拍摄部、状态监视部、状况判定部、以及发光控制部。
发光部以光照射到规定区域的方式发光。这里所说的规定区域是车辆的驾驶员的面部所在的区域。拍摄部拍摄将包括规定区域在内的区域作为拍摄区域的图像。
状态监视部基于对由拍摄部拍摄到的图像进行了图像处理后的结果,来监视驾驶员的状态。状况判定部判定是未做好驾驶员驾驶车辆的准备的驾驶准备未完成(也称为驾驶待机状况)、还是已做好驾驶员驾驶车辆的准备的驾驶准备完成(也称为可驾驶状况)。
发光控制部在状况判定部中的判定结果为驾驶员未完成驾驶准备的情况下,执行使发光部中的发光功能降低的特定处理,如果驾驶员完成驾驶准备,则不使发光部中的发光功能降低地使发光部进行发光。
根据这样的状态监视装置,在驾驶员未完成驾驶准备的情况下,能够使发光部中的发光功能降低。另一方面,根据本公开的状态监视装置,在驾驶员完成驾驶准备的情况下,能够不使发光部中的发光功能降低地进行发光。
即,根据本公开的状态监视装置,能够抑制不必要的时刻的发光,并在适当的时刻进行发光。
结果,根据本公开的状态监视装置,能够抑制消耗电力。
附图说明
图1是表示一个实施方式所涉及的状态监视装置的设置位置的图。
图2是表示状态监视装置的概略结构的框图。
图3是表示实施方式中的状态监视处理的处理步骤的流程图。
图4是表示使发光部发光的时刻的时间图。
图5是表示变形例中的状态监视处理的处理步骤的流程图。
图6是表示使发光部发光的时刻的变形例的时间图。
具体实施方式
以下,与附图一起对本公开的实施方式进行说明。
〈状态监视装置〉
图1所示的状态监视装置1是以实现汽车AM的安全行驶或者乘员的舒适的驾驶环境为目的而被搭载于汽车AM的驾驶员监视系统。该状态监视装置1基于包括本车辆AM的乘员(在本实施方式中是驾驶员)Hm的头部的图像来监视乘员Hm的状态。
如图2所示,该状态监视装置1具备生成图像PI的拍摄系统5、和对图像PI执行图像识别处理来监视乘员Hm的状态的状态监视ECU(ElectronicControlUnit:电子控制单元)40。并且,状态监视装置1上连接有检测汽车AM中的各种状况的各种传感器组11、和包括被搭载于本车辆AM的各种装置的致动器部50。
拍摄系统5具备拍摄部7和发光部9,是发出至少包括近红外区域的波长在内的波长的光(以下称为“照明光”),并且生成图像PI的系统。拍摄系统5被设置于以将包括本车辆AM的乘员Hm的头部有可能位于的车厢内空间中的区域(以下,称为规定区域PA(参照图1))在内的区域作为拍摄区域的方式预先规定的设置位置。本实施方式中的规定区域PA例如是将表示采取通常的驾驶姿势的驾驶员的眼睛所在的位置的椭圆状的区域(即,视野范围)包含在内的区域。
作为拍摄系统5的设置位置,例如可考虑转向柱的上部。
发光部9是根据来自状态监视ECU40的控制指令CO而发出照明光的发光器。作为本实施方式中的发光部9,可考虑发光二极管(LED(LightEmittingDiode))。另外,发光部9以将照明光照射到规定区域PA的方式设置。
拍摄部7是具有拍摄元件(所谓的CCD、CMOS等图像传感器)、光学镜头、滤光器、振荡器、接口电路、电源等外围电子电路的公知的拍摄装置。对于该拍摄部7而言,各像素接受经由作为滤光器的可见光截止滤光器、光学镜头入射至拍摄元件的光,来生成具有与光的强弱对应的阴影的图像PI。其中,这里所说的可见光截止滤光器是至少使作为适合状态监视ECU40中的图像处理的光的成分而预先规定的光的成分(例如,近红外区域的波长)透过,并且降低(截止)不适合图像处理的光的成分(例如,可见光区域的波长)的透过的滤光器。
致动器部50中至少包含有报告部51和外部存储装置52。
报告部51是根据来自状态监视ECU40的控制信号进行报告的机构,包括扬声器部54和显示部55。扬声器部54是输出声音的机构,显示部55是根据显示方式的变更来表示不同的内容的信息的机构(例如,液晶显示器或指示器)。
外部存储装置52是可改写存储内容的非易失性的存储装置(例如,硬盘驱动器、闪存)。
〈传感器组〉
各种传感器组11中至少包括安全带佩戴解开传感器13、门开关传感器15、以及就座传感器17。
安全带佩戴解开传感器13是检测汽车AM的各座位(即,驾驶座、副驾驶座)中的安全带的佩戴的有无(即,佩戴状态)的公知的传感器。而且,安全带佩戴解开传感器13将表示佩戴状态的佩戴解开信号向状态监视ECU40输出。
另外,门开关传感器15是检测设置于汽车AM的各门的开关状态的公知的传感器。而且,门开关传感器15将表示各门的开关状态的开关信号向状态监视ECU40输出。
就座传感器17是检测有无向汽车AM的各座位(即,驾驶座、副驾驶座)就座(即,就座状况)的公知的传感器。该就座传感器17将表示就座状况的就座信号向状态监视ECU40输出。
其中,各种传感器组11既可以与状态监视ECU40直接连接,也可以经由公知的车载网络进行连接。
〈状态监视ECU40〉
状态监视ECU40以至少具备ROM41、RAM42、以及CPU43的公知的微型计算机为中心而构成。
ROM41是存储即使切断电源也需要保持存储内容的数据、程序的存储装置。RAM42是暂时储存数据的存储器。CPU43是根据存储于ROM41、RAM42的程序来执行处理的运算处理装置。
ROM41中储存有用于在监视了乘员Hm的状态的结果为乘员Hm相对于本车辆AM的驾驶是安全性较低的状态的情况下,CPU43执行控制致动器部50的状态监视处理以便实现本车辆AM的安全行驶的程序。
即,本实施方式的状态监视ECU40控制拍摄系统5,基于对由拍摄部7生成的图像PI进行了图像处理的结果,来监视本车辆AM的乘员Hm的状态。并且,状态监视ECU40基于监视了本车辆AM的乘员Hm的状态的结果,来控制致动器部50。
〈状态监视处理〉
接下来,对状态监视ECU40所执行的状态监视处理进行说明。
该状态监视处理在汽车AM的点火开关被接通后,每隔预先规定的时间间隔起动。
若该状态监视处理被起动,则如图3所示,首先,获取来自传感器组11的信号(S110)。具体而言,在本实施方式的S110中,获取来自安全带佩戴解开传感器13的佩戴解开信号、来自门开关传感器15的开关信号、以及来自就座传感器17的就座信号。
接着,基于在S110中获取到的来自门开关传感器15的开关信号,判定汽车AM中的各门是否打开(S120)。如果该S120中的判定结果为汽车AM中的至少一个门打开(S120:否),则判定为驾驶员Hm不可能立即驾驶汽车AM,是未做好驾驶车辆的准备的状况(以下,称为“驾驶准备未完成”或者“驾驶待机状况”),移至详细内容将后述的S240。
另一方面,如果S120中的判定结果为汽车AM中的门全部关闭(S120:是),则基于来自就座传感器17的就座信号判定是否正在驾驶座就座(S130)。如果该S130中的判定结果为没有正在驾驶座就座(S130:否),则判定为驾驶员Hm未完成驾驶准备,移至S240。
如果S130中的判定结果为正在驾驶座就座(S130:是),则基于来自安全带佩戴解开传感器13的佩戴解开信号,判定在驾驶座中是否佩戴了安全带(S140)。如果该S140中的判定结果为在驾驶座中未佩戴安全带(S140:否),则判定为驾驶员Hm未完成驾驶准备,移至S240。
另一方面,如果在驾驶座中佩戴了安全带(S140:是),则判定为驾驶员Hm能够立即驾驶汽车AM,是已做好驾驶的准备的状况(以下,称为“驾驶准备完成”或者“可驾驶状况”),对发光部9输出控制指令CO(S150)。被输入了该控制指令CO的发光部9发出照明光来照射规定区域PA。
接着,对拍摄部7输出拍摄指令(S160)。被输入了该拍摄指令的拍摄部7拍摄一张图像PI并向状态监视ECU40输出。然后,状态监视ECU40将图像PI储存到RAM42。
在本实施方式中,发光部9发出照明光的时刻(timing)、和拍摄部7拍摄图像PI的时刻被设定为发光部9发出照明光的期间与拍摄部7的曝光期间同步。这里所说的同步可以是发光部9中的从发光到熄灭的期间与拍摄部7的曝光期间完全一致,但优选规定得比曝光期间稍长。这是因为在车厢内进行拍摄的情况下,为了防止画质由于太阳光等干扰噪声光而降低,提高S/N比是有效的。
并且,在状态监视处理中,判定是否将用于监视驾驶员Hm的状态的基准数据生成完毕(S170)。如果该S170中的判定结果为将基准数据生成完毕(S170:是),则移至详细内容将后述的S200。
另一方面,如果S170中的判定结果为未生成基准数据(S170:否),则判定S160中的图像PI的拍摄次数是否大于下限阈值Thmin并且为上限阈值Thmax以下(S180)。如果该S180中的判定结果为图像PI的拍摄次数大于下限阈值Thmin并且为上限阈值Thmax以下(S180:是),则基于RAM42中积蓄的图像PI来执行公知的学习处理(S190)。
在这里所说的学习处理中,基于积蓄于RAM42的图像PI,提取出表示驾驶员的脸的骨骼的特征点、表示眼睛、鼻子、嘴的特征点,生成对这些特征点以及特征点间的位置关系进行表示的骨骼数据。并且,在学习处理中,基于积蓄于RAM42的图像PI,生成对视为驾驶员Hm清醒着的状态下的眼睛的开度、视为驾驶员Hm正看着车辆的行进方向的状态下的脸的方向以及视线的方向进行表示的比较对象数据。其中,骨骼数据、比较对象数据是基准数据的一个例子。这些骨骼数据、比较对象数据的生成例如也可以通过对基于RAM42中积蓄的图像PI的特征点、眼睛的开度、脸的方向、视线的方向进行算术平均来实施。
在状态监视处理中,若学习处理结束,则移至S200。
其中,如果S180中的判定结果为S160中的图像PI的拍摄次数在下限阈值Thmin以下或者大于上限阈值Thmax(S180:否),则不执行S190中的学习处理,移至S200。
在该S200中,对于在S160中拍摄到的图像PI执行导出驾驶员Hm的眼睛的开度的公知的图像处理、检测驾驶员Hm的脸的方向以及视线的方向的公知的图像处理。然后,作为基于S200中的图像处理的结果判定驾驶员Hm的状态的驾驶员状态判定来执行(S210)。
在该S210中执行的驾驶员状态判定是判定驾驶员Hm的清醒度、驾驶员Hm是否正漫不经心驾驶等的公知的处理。本实施方式的驾驶员状态判定中的清醒度的导出例如可以通过将在S200中导出的眼睛的开度与比较对象数据中的眼睛的开度进行比较来实施。另外,本实施方式的驾驶员状态判定中的漫不经心驾驶的有无的判定例如可以通过将在S200中导出的驾驶员Hm的脸的方向以及视线的方向与比较对象数据中的脸的方向以及视线的方向进行比较来实施。
在本实施方式中,具体只要在脸的方向、视线的方向不是正面的状态继续了规定时间的情况下,判定为正漫不经心驾驶即可。此外,是否正漫不经心驾驶的判定方法并不局限于此,也可以与设置于汽车AM的周边监视装置、车速等信息协作来判定。这是为了判定驾驶员Hm的行动是往旁边看、还是汽车AM行驶所需要的安全确认。
接着,基于S210中的驾驶员状态判定的结果,来判定对于乘员Hm输出警告的必要的有无(S220)。在本实施方式的S220中的判定中,例如在驾驶员Hm的清醒度小于预先规定的阈值(即,推断为驾驶员Hm有规定以上的睡意)的情况、驾驶员Hm正实施漫不经心驾驶的情况下,判定为是乘员Hm对于本车辆AM的驾驶的安全性较低的状态,有必要输出警告。
然后,如果S220中的判定结果为有必要输出警告(S220:是),则对于致动器部50输出控制信号来输出警告(S230)。
例如,驾驶员Hm的清醒度小于阈值的情况下在S220中输出的警告包括:从报告部51输出提醒休息的内容的处理、将驾驶员Hm的清醒度小于阈值的时刻、场所等建立关联存储到外部存储装置52的处理。
之后,结束本状态监视处理,待机到下一个起动时刻。
其中,如果S220中的判定结果为没有输出警告的必要(S220:否),则不执行S230,结束本状态监视处理,待机到下一个起动时刻。
在S120中的判定结果为汽车AM中的至少一个门打开的情况(S120:否)下转移的S240中,执行使发光部9中的发光功能降低的特定处理。具体而言,在本实施方式的S240中,执行禁止对于发光部9输出控制指令CO的处理作为特定处理。
其中,在S130中的判定结果为未正在驾驶座就座的情况(S130:是)、S140中的判定结果为在驾驶座中未佩戴安全带的情况(S140:否)下,也移至S240。
接着,停止对于拍摄部7输出拍摄指令(S250)。之后,结束本状态监视处理,待机到下一个起动时刻。
如以上说明那样,在本实施方式的状态监视处理中,如图4所示,在汽车AM中的全部的门关闭,就座于驾驶座,并且在驾驶座中佩戴了安全带的情况下,认为驾驶员Hm驾驶准备完成,使发光部9发光(点亮)来将照明光照射到规定区域PA。并且,在状态监视处理中,基于对在该照明光正照射的期间由拍摄部7拍摄到的图像PI进行了图像处理后的结果,来监视驾驶员的状态。
另一方面,在状态监视处理中,当满足汽车AM中的至少一个门关闭的情况、未在驾驶座就座的情况、以及在驾驶座中未佩戴安全带的情况中的至少一个的情况下,认为驾驶员Hm驾驶准备未完成,禁止发光部9的发光。此时,在状态监视处理中,还停止拍摄部7对图像PI的拍摄。
[实施方式的效果]
如以上说明那样,如果是驾驶员Hm解开了安全带的状态、汽车AM的门打开的状态、驾驶员Hm未在驾驶座就座的状态,则驾驶员Hm立即开始汽车AM的驾驶的可能性较低。
因此,在状态监视装置1中,当满足解开佩戴信号表示未佩戴驾驶座的安全带的情况、开关信号表示门正打开的情况、就座信号表示未在驾驶座就座的情况中的至少一个时,判定为驾驶员Hm驾驶准备未完成。
而且,根据状态监视装置1,在驾驶员Hm是驾驶准备未完成的情况下,能够停止发光部9中的发光。
根据这样的状态监视装置1,能够防止在不必要的状况下实施发光部9的发光。结果,根据状态监视装置1,能够抑制发光部9中的消耗电力,并且能够降低驾驶员由于不必要的发光而感觉不适的情况。
另一方面,在状态监视装置1中,将汽车AM中的全部的门关闭、在驾驶座就座、并且在驾驶座中佩戴了安全带的情况判定为可驾驶状态。
因此,根据状态监视装置1,能够可靠地判定驾驶员Hm是驾驶准备未完成还是驾驶准备完成。
而且,根据状态监视装置1,在驾驶员Hm是驾驶准备完成的情况下,能够不停止发光部9中的发光地对规定区域PA照射照明光。
即,根据状态监视装置1,能够抑制不必要的时刻下的发光,并在适当的时刻发光。
在状态监视装置1中,如果驾驶员Hm是驾驶准备完成,则即使是发动机停止状态或者怠速状态,也使发光部9发光来将照明光照射到规定区域。因此,根据状态监视装置1,即使是发动机停止状态或者怠速状态,也能够拍摄驾驶员Hm的面部明确地显现的图像PI。而且,根据状态监视装置1,能够基于该拍摄到的图像PI来生成基准数据。
结果,根据状态监视装置1,与现有技术相比,能够缩短从接通点火开关到生成基准数据所需要的时间,进而能够从驾驶员Hm乘上汽车AM后尽早开始驾驶员Hm的状态监视。
[其他的实施方式]
以上,例示了本公开的实施方式,但本公开的实施方式并不局限于上述实施方式,在各种方式中包含实施方式。
例如,在上述实施方式的状态监视处理中的S240中,实施禁止对于发光部9输出控制指令CO的处理作为特定处理,但在S240中执行的特定处理的内容并不局限于此。即,特定处理也可以是使发光部9的发光强度降低的处理。
根据该情况的状态监视装置,能够使来自发光部9的发光强度降低,能够抑制发光部9中的消耗电力。
另外,在上述实施方式的状态监视处理中,在是驾驶待机状态的情况(S120:否,S130:否,S140:否)下,禁止发光部9的发光(S240),并且停止拍摄部7对图像PI的拍摄(S250)。然而,在状态监视处理中,也可以如图5所示,在是驾驶待机状态的情况(S120:否,S130:否,S140:否)下,禁止发光部9的发光(S240),由拍摄部7拍摄图像PI(S260)。
该情况下,在S260中拍摄到的图像PI成为没有阴影的图像,但在状态监视处理中,也可以对该没有阴影的图像进行图像处理(S200),基于该图像处理的结果,来执行驾驶员状态判定(S210)。
另外,在上述实施方式中,将使发光部9发光来对规定区域PA照射照明光的期间作为汽车AM中的全部的门关闭、在驾驶座就座、并且在驾驶座中佩戴了安全带的期间,但照射照明光的期间的决定方法并不局限于此。即,也可以如图6所示,照射照明光的期间为在驾驶座中佩戴了安全带的期间而不考虑其他的条件。
另外,对于照射照明光的期间而言,既可以从上述第一实施方式所记载的条件中省略门的开关、向驾驶座的就座、以及驾驶座中的安全带佩戴的有无中的一个或者两个条件,也可以在上述第一实施方式所记载的条件上添加其他的条件。
作为这里所说的其他条件的一个例子,可考虑在基于来自档位传感器的位置信号的档位是驾驶以外的位置的情况下,禁止来自发光部9的照明光的发光。但是,该情况下,需要状态监视装置1上连接着检测汽车AM的档位的档位传感器。该档位传感器是将表示档位的位置信号向状态监视ECU40输出的公知的传感器。
其中,发光部9中的照明光的发光既可以在驾驶准备完成的情况下始终实施,也可以在驾驶准备完成的情况下与拍摄图像PI的时刻对应地进行脉冲发光。如果是后者,则因为不会使发光部9必要以上地发光,所以能够抑制发光部9中的消耗电力。
在上述的实施方式中,执行S200、S210的状态监视ECU40是状态监视部以及状态监视单元的一个例子。执行S120~S140的状态监视ECU40是状况判定部以及状况判定单元的一个例子。执行S150、S240的状态监视ECU40是发光控制部以及发光控制单元的一个例子。执行S110的态监视ECU40是解开佩戴获取部和解开佩戴获取单元、开关获取部和开关获取单元、以及就座获取部和就座获取单元的一个例子。
根据本公开,能够提供各种构成的状态监视装置。
例如,本公开的一个例子涉及的状态监视装置是被搭载于车辆的状态监视装置,具备发光部、拍摄部、状态监视部、状况判定部、以及发光控制部。
发光部以向规定区域照射光的方式发光。这里所说的规定区域是车辆的驾驶员的面部所在的区域。拍摄部拍摄将包括规定区域在内的区域作为拍摄区域的图像。
状态监视部基于对由拍摄部拍摄到的图像进行了图像处理后的结果,来监视驾驶员的状态。状况判定部判定是未做好驾驶员驾驶车辆的准备的驾驶准备未完成(也称为驾驶待机状况)、还是驾驶员已做好驾驶车辆的准备的驾驶准备完成(也称为可驾驶状况)。
在状况判定部中的判定结果为驾驶员驾驶准备未完成的情况下,发光控制部执行使发光部中的发光功能降低的特定处理,如果驾驶员驾驶准备完成,则不使发光部中的发光功能降低地使发光部发光。
根据这样的状态监视装置,能够在驾驶员驾驶准备未完成的情况下,使发光部中的发光功能降低。另一方面,根据本公开的状态监视装置,能够在驾驶员驾驶准备完成的情况下,不使发光部中的发光功能降低地进行发光。
即,根据本公开的状态监视装置,能够抑制不必要的时刻的发光,可在适当的时刻进行发光。
结果,根据本公开的状态监视装置,能够抑制消耗电力。
在状态监视装置的状态监视部所执行的图像处理中,实施将从由拍摄部拍摄到的图像中提取出的驾驶员的面部的特征与作为表示驾驶员是正常状态的情况下的面部的特征的数据而准备的基准数据进行比较的处理的情况较多。
该基准数据在驾驶员乘入汽车之后立即基于由拍摄部拍摄到的图像生成的情况较多。
然而,在专利文献1所记载的状态监视装置中,由于在发动机停止状态或者怠速状态的情况下禁止发光,所以产生无法在是发动机停止状态或者怠速状态的情况下拍摄图像来生成基准数据这一课题。
鉴于此,在上述状态监视装置中,即使发动机是停止状态或者怠速状态,如果通过状况判定部判定为上述驾驶员是上述驾驶准备完成,则发光控制部也可以使上述发光部发光并且使上述拍摄部拍摄上述图像。
根据这样的状态监视装置,即使是发动机停止状态或者怠速状态,也能够拍摄驾驶员的面部明确地显现的图像,能够基于在发动机停止状态或者怠速状态中拍摄到的图像,来生成基准数据。
结果,能够缩短到生成基准数据为止所需要的时间,进而能够从驾驶员乘入汽车开始尽早开始驾驶员的状态监视。
另外,上述状态监视装置也可以具备获取解开佩戴信号的解开佩戴获取部(40、S110)、获取开关信号的开关获取部(40、S110)、以及获取就座信号的就座获取部(40、S110)中的至少一个。
这里所说的解开佩戴信号例如是表示搭载于汽车的安全带的佩戴状态的信号。另外,开关信号是表示设置于车辆的门的开关状态的信号。就座信号是表示向驾驶座的就座状况的信号。
即,如果是驾驶员解开了安全带的状态,则认为驾驶员立即开始汽车的驾驶的可能性较低。另外,如果是汽车的门打开的状态,则认为驾驶员立即开始汽车的驾驶的可能性较低。而且,如果驾驶员未在驾驶座就座,则认为驾驶员立即开始汽车的驾驶的可能性较低。
因此,在解开佩戴信号表示未佩戴驾驶座的安全带的情况、由开关信号表示门正打开的情况、就座信号表示未在驾驶座就座的情况中的至少一个情况下,状况判定部可以判定为驾驶员驾驶准备未完成。
根据这样的状态监视装置,驾驶员能够可靠地判断是驾驶准备未完成还是驾驶准备完成。
以上,例示了本公开的实施方式,但省略了上述实施方式的构成的一部分的方式也是本公开的实施方式。另外,适当地组合上述实施方式和变形例而构成的方式也是本公开的实施方式。另外,在不脱离本公开的本质的限度下能够想到的所有的方式都是本公开的实施方式。

Claims (7)

1.一种状态监视装置,是被搭载于车辆的状态监视装置(1),其中,具备:
发光单元(9),以光照射到规定区域的方式进行发光,上述规定区域被规定为车辆的驾驶员的面部所在的区域;
拍摄单元(7),拍摄将包括上述规定区域在内的区域作为拍摄区域的图像;
状态监视单元(40、S200、S210),基于对由上述拍摄单元拍摄到的图像进行了图像处理后的结果,来监视上述驾驶员的状态;
状况判定单元(40、S120~S140),判定是未做好上述驾驶员驾驶车辆的准备的驾驶准备未完成、还是已做好上述驾驶员驾驶车辆的准备的驾驶准备完成;以及
发光控制单元(40、S150、S240),在上述状况判定单元中的判定结果是上述驾驶准备未完成的情况下,执行使上述发光单元中的发光功能降低的特定处理,如果是上述驾驶准备完成,则不使上述发光单元中的发光功能降低地使上述发光单元进行发光。
2.根据权利要求1所述的状态监视装置,其中,
具备解开佩戴获取单元(40、S110),该解开佩戴获取单元获取表示被搭载于汽车的安全带的佩戴状态的解开佩戴信号,
如果由上述解开佩戴获取单元获取到的解开佩戴信号表示驾驶座的安全带未被佩戴,则上述状况判定单元判定为是上述驾驶准备未完成。
3.根据权利要求1或者权利要求2所述的状态监视装置,其中,
具备开关获取单元(40、S110),该开关获取单元获取表示设置于上述车辆的门的开关状态的开关信号,
如果由上述开关获取单元获取到的开关信号表示门正打开着,则上述状况判定单元判定为是上述驾驶准备未完成。
4.根据权利要求1至权利要求3中任意一项所述的状态监视装置,其中,
具备就座获取单元(40、S110),该就座获取单元获取表示向驾驶座的就座状况的就座信号,
如果由上述就座获取单元获取到的就座信号表示未就座于驾驶座,则上述状况判定单元判定为是上述驾驶准备未完成。
5.根据权利要求1至权利要求4中任意一项所述的状态监视装置,其中,
上述发光控制单元执行上述发光单元的发光的停止作为上述特定处理。
6.根据权利要求1至权利要求4中任意一项所述的状态监视装置,其特征在于,
上述发光控制单元执行降低上述发光单元的发光强度的处理作为上述特定处理。
7.根据权利要求1至权利要求6中任意一项所述的状态监视装置,其中,
即使发动机是停止状态或者怠速状态,如果通过上述状况判定部判定为上述驾驶员完成上述驾驶准备,则上述发光控制部也使上述发光部发光,并且使上述拍摄部拍摄上述图像。
CN201480057949.3A 2013-10-23 2014-09-02 状态监视装置 Expired - Fee Related CN105659305B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013220228A JP6107595B2 (ja) 2013-10-23 2013-10-23 状態監視装置
JP2013-220228 2013-10-23
PCT/JP2014/004487 WO2015059856A1 (ja) 2013-10-23 2014-09-02 状態監視装置

Publications (2)

Publication Number Publication Date
CN105659305A true CN105659305A (zh) 2016-06-08
CN105659305B CN105659305B (zh) 2018-11-06

Family

ID=52992480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480057949.3A Expired - Fee Related CN105659305B (zh) 2013-10-23 2014-09-02 状态监视装置

Country Status (4)

Country Link
US (1) US10055658B2 (zh)
JP (1) JP6107595B2 (zh)
CN (1) CN105659305B (zh)
WO (1) WO2015059856A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847452A (zh) * 2016-06-14 2016-08-10 深圳爱易瑞科技有限公司 一种车辆联网安全管控方法
CN105957346A (zh) * 2016-06-14 2016-09-21 深圳爱易瑞科技有限公司 一种车辆驾驶联网安全控制方法
CN107458343A (zh) * 2017-07-12 2017-12-12 重庆长安汽车股份有限公司 基于bcm控制的汽车安全带锁扣位置提示系统及提示方法
CN109987101A (zh) * 2017-11-24 2019-07-09 丰田自动车株式会社 车辆的控制装置
CN111063167A (zh) * 2019-12-25 2020-04-24 歌尔股份有限公司 一种疲劳驾驶识别提示方法、装置及相关组件
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107595B2 (ja) 2013-10-23 2017-04-05 株式会社デンソー 状態監視装置
JP6617602B2 (ja) * 2016-02-24 2019-12-11 株式会社デンソー 漫然運転検出システム及び漫然運転検出方法
US10220806B2 (en) * 2017-08-02 2019-03-05 Ford Global Technologies, Llc Monitoring and alerting vehicle occupants for ignition systems
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP7311257B2 (ja) * 2018-09-27 2023-07-19 株式会社アイシン 眼球情報検出装置、眼球情報検出方法、および乗員モニタリング装置
CN111016913B (zh) * 2019-12-05 2020-12-22 乐清市风杰电子科技有限公司 基于图像信息的司机状态控制系统及方法
CN113479166B (zh) * 2021-07-28 2022-08-23 北京百度网讯科技有限公司 自动驾驶车辆的检测方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226472A1 (en) * 2004-04-13 2005-10-13 Denso Corporation Driver's appearance recognition system
CN1853993A (zh) * 2005-04-25 2006-11-01 株式会社东海理化电机制作所 车辆安全装置及车辆安全系统
CN101601077A (zh) * 2007-02-01 2009-12-09 株式会社电装 驾驶员管理装置和行驶管理系统
CN102150189A (zh) * 2008-09-12 2011-08-10 爱信精机株式会社 睁闭眼判定装置、睁眼度推定装置及程序
CN103322179A (zh) * 2012-03-23 2013-09-25 富士重工业株式会社 线控换档控制系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5835245A (ja) * 1981-08-25 1983-03-01 Toyota Motor Corp エンジン自動停止始動装置
JP3084996B2 (ja) 1993-02-15 2000-09-04 三菱電機株式会社 脇見判定装置
JPH06293228A (ja) 1993-04-06 1994-10-21 Aisin Seiki Co Ltd 車上乗員認識装置
JP3651571B2 (ja) 1999-03-31 2005-05-25 株式会社東芝 ドライバ状態検知システム
JP2005233647A (ja) * 2004-02-17 2005-09-02 Denso Corp ナビゲーション装置、及び交通情報案内プログラム
JP2006248363A (ja) * 2005-03-10 2006-09-21 Omron Corp 運転者照明装置、運転者撮影装置および運転者監視装置
US7946744B2 (en) * 2007-02-02 2011-05-24 Denso Corporation Projector and image pickup apparatus
JP5997871B2 (ja) * 2010-12-10 2016-09-28 ティーケー ホールディングス インク.Tk Holdings Inc. 車両運転者監視システム
JP2012224254A (ja) * 2011-04-20 2012-11-15 Mitsubishi Motors Corp 車両制御装置
JP6107595B2 (ja) 2013-10-23 2017-04-05 株式会社デンソー 状態監視装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050226472A1 (en) * 2004-04-13 2005-10-13 Denso Corporation Driver's appearance recognition system
CN1853993A (zh) * 2005-04-25 2006-11-01 株式会社东海理化电机制作所 车辆安全装置及车辆安全系统
CN101601077A (zh) * 2007-02-01 2009-12-09 株式会社电装 驾驶员管理装置和行驶管理系统
CN102150189A (zh) * 2008-09-12 2011-08-10 爱信精机株式会社 睁闭眼判定装置、睁眼度推定装置及程序
CN103322179A (zh) * 2012-03-23 2013-09-25 富士重工业株式会社 线控换档控制系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847452A (zh) * 2016-06-14 2016-08-10 深圳爱易瑞科技有限公司 一种车辆联网安全管控方法
CN105957346A (zh) * 2016-06-14 2016-09-21 深圳爱易瑞科技有限公司 一种车辆驾驶联网安全控制方法
CN107458343A (zh) * 2017-07-12 2017-12-12 重庆长安汽车股份有限公司 基于bcm控制的汽车安全带锁扣位置提示系统及提示方法
CN107458343B (zh) * 2017-07-12 2019-08-02 重庆长安汽车股份有限公司 基于bcm控制的汽车安全带锁扣位置提示系统及提示方法
CN109987101A (zh) * 2017-11-24 2019-07-09 丰田自动车株式会社 车辆的控制装置
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN112740302B (zh) * 2018-09-20 2023-03-24 五十铃自动车株式会社 车辆用监视装置
CN111063167A (zh) * 2019-12-25 2020-04-24 歌尔股份有限公司 一种疲劳驾驶识别提示方法、装置及相关组件

Also Published As

Publication number Publication date
WO2015059856A1 (ja) 2015-04-30
US20160239715A1 (en) 2016-08-18
US10055658B2 (en) 2018-08-21
JP6107595B2 (ja) 2017-04-05
JP2015082231A (ja) 2015-04-27
CN105659305B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN105659305A (zh) 状态监视装置
JP4853389B2 (ja) 顔画像撮像装置
JP3948431B2 (ja) 車両用周辺監視装置
JP4059224B2 (ja) 運転者の外観認識システム
US10095914B2 (en) Image pickup device, near infrared light emission device, and sunvisor
JP5761074B2 (ja) 撮像制御装置及びプログラム
JP5761046B2 (ja) 防眩制御装置
US20130050462A1 (en) Face image detection apparatus
JP2007522003A (ja) 車中のドライバの運転能力を測定するための装置
JP2009255740A (ja) 車両用撮像装置
CN105745102A (zh) 用于使得车辆的防炫目系统工作的方法
WO2019142852A1 (ja) 車両の乗員を検知するためのシステム、および車両の室内の照明を制御するためのシステム
JP2013030959A (ja) 居眠り監視警告装置及び居眠り監視警告方法
US11330189B2 (en) Imaging control device for monitoring a vehicle occupant
JP2020075596A (ja) 監視システム
CN107933461B (zh) 基于单摄像头的车内识别融合装置及方法
JP2006096316A (ja) 監視装置
US11772563B2 (en) In-vehicle multi-monitoring device for vehicle
US20220272302A1 (en) In-vehicle monitoring device for vehicle
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
KR101694785B1 (ko) 졸음 운전 방지 시스템
JP5182567B2 (ja) 乗員監視装置
US20240073540A1 (en) Illumination control for an imaging system
JPH0732907A (ja) 意識レベル検出装置
KR102038371B1 (ko) 운전자의 눈 위치 검출 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181106

Termination date: 20200902

CF01 Termination of patent right due to non-payment of annual fee