CN110103978A - 车辆的乘员监视装置 - Google Patents

车辆的乘员监视装置 Download PDF

Info

Publication number
CN110103978A
CN110103978A CN201811487040.8A CN201811487040A CN110103978A CN 110103978 A CN110103978 A CN 110103978A CN 201811487040 A CN201811487040 A CN 201811487040A CN 110103978 A CN110103978 A CN 110103978A
Authority
CN
China
Prior art keywords
occupant
monitoring
identification part
setting
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811487040.8A
Other languages
English (en)
Inventor
中村亮太
丸桥雅幸
大西惠太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN110103978A publication Critical patent/CN110103978A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/117Identification of persons
    • A61B5/1171Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176Recognition of faces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Abstract

能够适当地使车辆的乘员监视装置启动停止。对乘坐于汽车(1)的乘员进行监视的乘员监视装置(12)具有:个人识别部(33),其对乘车的乘员进行识别;乘员监视部(26),其根据个人识别部(33)对乘员的识别结果而对乘车的乘员进行监视;以及启动控制部(32),其使得个人识别部(33)和乘员监视部(26)分别启动停止。启动控制部(32)在乘员监视部(26)停止的状态下使得个人识别部(33)启动。

Description

车辆的乘员监视装置
技术领域
本发明涉及对汽车等车辆的乘员进行监视的装置。
背景技术
在汽车等车辆中,有时优选对乘车的驾驶员等乘员进行监视(专利文献1~3)。
乘员监视装置例如对乘车的乘员进行识别,监视乘员的斜视、瞌睡,对进行斜视、瞌睡的乘员发出警报。
由此,使乘员的注意力集中于车辆的行驶而能够期待提高安全性。
专利文献1:日本特开2013-103530号公报
专利文献2:日本特开2013-109447号公报
专利文献3:日本特开2004-330979号公报
但是,根据乘员的不同,有时不需要乘员监视装置的警报,或者乘员监视装置有时会使得乘员感到厌烦。
因此,在乘员监视装置中,优选通过乘员的操作而能够设定为启动或停止。
然而,在乘员监视装置停止的情况下,即使启动乘员监视装置,如果并非在识别出乘坐的乘员之后,乘员监视装置也无法开始对乘员进行监视。
在车辆的移动中替换了驾驶员等乘员的情况下,乘员必须等待至乘员监视装置识别完毕乘员为止。
假设在乘员监视装置识别完毕乘员之前重新开始移动的情况下,乘员监视装置有可能在识别出与实际不同的乘员的状态下对乘员的斜视、瞌睡进行监视。允许这种状态下的使用并非优选。
在这种车辆中,期望能够适当地使乘员监视装置启动停止。
发明内容
本发明所涉及的车辆的乘员监视装置是设置于车辆,对乘坐于所述车辆的乘员进行监视的乘员监视装置,具有:识别部,其对乘坐于所述车辆的乘员进行识别;监视部,其根据所述识别部对乘员的识别结果而对乘坐于所述车辆的乘员进行监视;以及启动控制部,其使得所述识别部和所述监视部分别启动停止,所述启动控制部在所述监视部的停止状态下使得所述识别部启动。
优选地,所述监视部在利用所述识别部识别出特定的乘员的情况下对识别出的乘员进行监视,在利用所述识别部未识别出特定的乘员的情况下在未确定乘车的乘员的状态下对乘车的乘员进行监视。
优选地,所述启动控制部在检测出乘员向所述车辆的乘车的情况下,在所述监视部的停止状态下使所述识别部启动。
优选地,所述启动控制部在所述车辆启动后的情况下,在所述监视部的停止状态下使所述识别部启动。
优选地,所述启动控制部基于针对所述识别部和所述监视部分别设定的启动或停止的设定,使所述识别部和所述监视部分别启动停止。
优选地,所述启动控制部在所述车辆的行驶中使所述监视部启动,在所述车辆的停车中使所述识别部启动。
优选地,具有:缓冲器,其对与由所述识别部识别出的乘员对应的设定数据进行记录以由所述监视部加以利用;以及设定更新部,其根据所述识别部对乘员的识别结果而对所述缓冲器进行更新,所述设定更新部在使得所述监视部启动的状态下,基于所述识别部对乘员的最新的识别结果而对所述缓冲器进行更新,在使得所述监视部停止的状态下不对所述缓冲器进行更新。
优选地,具有通信部,该通信部将设定于所述缓冲器的识别乘员的所述设定数据向设置于所述车辆的其他装置发送。
发明的效果
在本发明中,使得识别部和监视部分别启动停止,该识别部对乘坐于车辆的乘员进行识别,该监视部根据识别部对乘员的识别结果而对乘坐于车辆的乘员进行监视。例如能够通过针对识别部和监视部分别设定启动或停止,从而使得识别部和监视部分别启动停止。
而且,在本发明中,在使得监视部停止的状态下能够使得识别部启动。因而,在使得监视部停止的状态下,能够对乘坐于车辆的乘员进行识别。另外,在此后使监视部启动的情况下,监视部不等待基于识别部进行的识别,能够适当地开始对停止中乘车的乘员进行监视。由此,在本发明中,能够适当地使乘员监视装置启动停止。
附图说明
图1是应用了本发明的乘员监视装置的汽车的说明图。
图2是图1的汽车的车载网络系统的一个例子的说明图。
图3是本发明的实施方式所涉及的乘员监视装置的说明图。
图4是图3的监视启动设定数据的设定值以及识别启动设定数据的设定值、和乘员监视装置的启动停止状态的对应关系的说明图。
图5是图3的个人数据库的数据构造的说明图。
图6是表示图2的乘员监视装置的乘员识别处理的流程的流程图。
图7是表示图2的乘员监视装置的监视启动处理的流程的流程图。
图8是图2的乘员监视装置中的设定状态的跳转的说明图。
标号的说明
1汽车(车辆),2车体,3车门,4座椅,5仪表板,6方向盘,10车载网络系统,11车内网络,12乘员监视装置,13车门开闭传感器,14车速传感器,15停车传感器,16挡位设定装置,17驾驶辅助装置,18车外通信装置,21监视器,22触摸面板,23车内照相机,24监视部,25处理部,26乘员监视部(监视部),27扬声器,28座椅振动部件,29车内通信部,30个人设定数据缓冲器,31设定更新部,32启动控制部,33个人识别部(识别部),34记录部,35主体,36个人数据库,37识别乘员数据,38监视启动设定数据,39识别启动设定数据,51第1设定状态,52第2设定状态,53第3设定状态,54第4设定状态。
具体实施方式
下面,基于附图对本发明的实施方式进行说明。
图1是应用了本发明的乘员监视装置的汽车1的说明图。
汽车1是车辆的一个例子。汽车1可以将内燃机作为行驶的动力源,可以将电池的蓄电电力作为行驶的动力源,也可以组合使用内燃机以及电池的蓄电电力。
图1的汽车1具有:车体2,其形成有乘员室;以及车门3,其设置于车体2的侧面。
驾驶员等乘员将车门3打开并进入乘员室而就坐于座椅4。在驾驶员用的座椅4的前侧例如配置有从仪表板5向后凸出的方向盘6、点火开关、加速器踏板、制动器踏板、换挡杆、停车杆之类的操作部件。
驾驶员保持就坐于座椅4的状态而对操作部件进行操作。汽车1根据驾驶员的操作而行驶,并改变方向而停止。
另外,驾驶员等乘员在对点火开关进行操作而使汽车1停止之后,将车门3打开而向乘员室外离开。
图2是图1的汽车1的车载网络系统10的一个例子的说明图。
在车载网络系统10中,能够相互通信的多个电子仪器通过车内网络11而以相互能够进行数据通信的方式连接。
在图2中,作为多个电子仪器,举例示出了乘员监视装置12、车门开闭传感器13、车速传感器14、停车传感器15、挡位设定装置16、驾驶辅助装置17、车外通信装置18。
车内网络11中例如存在基于CAN(Controller Area Network)、LIN(LocalInterconnect Network)的有线的通信网络。车内网络11也可以是无线的通信网络。
另外,车内网络11可以在乘员下车之后形成为对通信进行限制的休眠状态。在该情况下,车内网络11在乘员乘车时变为能够通信的启动状态。车内网络11例如基于乘员所持有的无匙进入仪器的检测而从休眠状态变为启动状态。车内网络11可以具有自主地在接通状态和断开状态之间对车内网络11进行切换的网络控制部。
乘员监视装置12例如识别进入乘员室并就坐于驾驶员用的座椅4的乘员,对识别出的乘员的斜视、瞌睡进行监视。而且,在检测出乘员正在进行斜视、瞌睡的情况下,乘员监视装置12通过语音等而对乘员发出警报。由此,使乘员的注意力集中于汽车1的行驶而能够期待提高安全性。
车门开闭传感器13对汽车1的车门3从关闭的状态打开的情况、以及打开的状态下的车门3关闭的情况进行检测。
车速传感器14对汽车1的停止以及行驶进行检测。车速传感器14可以对汽车1的行驶速度进行检测。
停车传感器15对汽车1维持为停车状态的停车状态进行检测。例如通过对换挡杆进行操作并使之置于停车挡位、拉动停车杆而能够检测出停车状态。
挡位设定装置16例如对座椅4的前后上下的位置以及靠背的角度、方向盘6的前后上下的位置以及角度、各种踏板的前后上下的位置以及角度进行调整。另外,对与就坐于座椅4的乘员对应的设定数据进行记录,基于该数据而执行对座椅4、方向盘6以及踏板的位置及角度进行调整的控制。此外,挡位设定装置16可以与手动驾驶中的挡位的设定数据不同地对自动驾驶中的挡位的设定数据进行记录,并根据汽车1的驾驶状况而对挡位进行变更。
驾驶辅助装置17对汽车1的行驶、停止以及转向进行控制以便辅助乘员对汽车1的行驶操作。另外,驾驶辅助装置17可以以全自动的方式对汽车1的行驶、停止以及转向进行控制。
车外通信装置18例如利用公共无线通信网、商用无线通信网而与设置于地上的通信设备、其他汽车1的车外通信装置18之间执行双向的数据通信。由此,汽车1能够获取交通信息、在周围行驶的汽车1的行驶状态、与本车辆周围的交通状况相关的信息。另外,车外通信装置18例如能够发送自动驾驶中等的本车辆的行驶状态的信息。
而且,上述电子仪器通过车内网络11而相互收发数据。由此,例如乘员监视装置12能够获得该控制所需的信息,并能够提供挡位设定装置16、驾驶辅助装置17所需的信息。
但是,根据乘员的不同,可以想到有时不需要乘员监视装置12的警报,或者有时会对乘员监视装置12感到厌烦。
因此,在乘员监视装置12中,优选能够通过乘员的操作而设定为启动或停止。
然而,在乘员监视装置12停止的情况下,即使启动乘员监视装置12,如果未处于识别出乘车的乘员之后,则乘员监视装置12也无法开始对乘员的监视。
在汽车1的移动中替换了驾驶员等乘员的情况下,乘员必须等待至乘员监视装置12识别完毕乘员为止。
假设在乘员监视装置12识别完毕乘员之前重新开始移动的情况下,乘员监视装置12有可能在识别出与实际不同的乘员的状态下对乘员的斜视、瞌睡进行监视。允许对这种不良状态下的乘员进行监视并非优选。
这样,在汽车1中,优选能够适当地使乘员监视装置12启动停止。
图3是本发明的实施方式所涉及的乘员监视装置12的说明图。
图3中与乘员监视装置12一起示出了通过车内网络11而能够与乘员监视装置12收发数据的车门开闭传感器13、车速传感器14、停车传感器15。车门开闭传感器13将车门3的开闭状态的信息向乘员监视装置12发送。车速传感器14将汽车1的速度的信息向乘员监视装置12发送。停车传感器15将是否处于停车状态的信息向乘员监视装置12发送。包含上述传感器在内而构成了乘员监视系统。上述传感器可以设置为乘员监视装置12的一部分。
图3的乘员监视装置12具有监视器21、触摸面板22、车内照相机23、具有监视部24以及处理部25的乘员监视部26、扬声器27、座椅振动部件28、车内通信部29、个人设定数据缓冲器30、设定更新部31、启动控制部32、个人识别部33、记录部34。
扬声器27、座椅振动部件28可以以与乘员监视装置12分体的方式设置于汽车1,通过车内网络11而能够与乘员监视装置12收发数据。
此外,乘员监视部26、设定更新部31、启动控制部32以及个人识别部33可以通过使称为乘员监视装置12的ECU(Electric Control Unit)的微机装置执行程序而在乘员监视装置12中实现。另外,个人设定数据缓冲器30、记录部34、车内通信部29可以在组装于微机装置的状态下设置于乘员监视装置12。程序可以记录于记录部34。
监视器21是称为液晶装置的显示部件。监视器21例如对操作画面、监视画面、警报画面进行显示,向用户提供信息。
触摸面板22是用户操作的部件。触摸面板22也可以设置为与监视器21重叠。由监视器21以及触摸面板22形成乘员监视装置12的用户接口。
车内照相机23是对乘员室内进行拍摄的部件。车内照相机23可以对驾驶员的头部进行拍摄,也可以整体在360度方向上对乘员室进行拍摄。
而且,如图1所示,乘员监视装置12的主体35配置于仪表板5的中央部分,由此能够使得驾驶员以及副驾席的乘员浏览监视器21的显示画面并对触摸面板22进行操作。另外,车内照相机23能够从前侧对驾驶员的头部进行拍摄。
扬声器27是向乘员室内输出语音的部件。扬声器27可以利用语音线缆与乘员监视装置12的主体35连接,设置于车门3内。
座椅振动部件28是振动的部件。座椅振动部件28利用信号线缆与乘员监视装置12的主体35连接,设置于驾驶员用的座椅4。此外,可以设置内置于方向盘6的振动部件而代替座椅振动部件28。
车内通信部29与车内网络11连接。车内通信部29根据需要或者周期性地接收乘员监视装置12所需的信息。另外,车内通信部29根据需要或者周期性地发送乘员监视装置12的信息。车内通信部29例如接收车门3的开闭状态的信息、汽车1的速度的信息、是否处于停车状态的信息。
记录部34是在未供电时也对记录的数据进行保持的部件。记录部34例如可以是非易失性存储器。而且,记录部34例如对个人数据库36、识别乘员数据37、监视启动设定数据38、识别启动设定数据39进行保持。
图4是图3的监视启动设定数据38的设定值以及识别启动设定数据39的设定值、和乘员监视装置12的各功能的启动停止状态的对应关系的说明图。
如图4所示,在监视启动设定数据38(乘员监视)为ON的设定值的情况下,斜视检测功能以及瞌睡检测功能有效。启动控制部32使得乘员监视部26启动。乘员监视部26处于能够开始监视的状态。
与此相对,在监视启动设定数据38(乘员监视)为OFF的设定值的情况下,斜视检测功能以及瞌睡检测功能无效。启动控制部32使乘员监视部26停止。乘员监视部26结束监视。
在识别启动设定数据39(个人识别)为ON的设定值的情况下,个人识别功能有效。启动控制部32使个人识别部33启动。个人识别部33处于能够开始进行认证的状态。
与此相对,在识别启动设定数据39的设定值(个人识别)为OFF设定的情况下,个人识别功能无效。启动控制部32使个人识别部33停止。个人识别部33使认证结束。
启动控制部32根据车内网络11的接通断开状态而分别对乘员监视部26以及个人识别部33的启动停止进行控制。
如果车内网络11形成为接通状态,则启动控制部32根据该时刻的监视启动设定数据38的设定值以及识别启动设定数据39的设定值而分别使乘员监视部26以及个人识别部33启动。
如果车内网络11形成为断开状态,则启动控制部32使乘员监视部26以及个人识别部33都停止。
此外,启动控制部32可以根据使汽车1的功能启动的点火开关的接通断开状态而分别对乘员监视部26以及个人识别部33的启动停止进行控制。
这样,启动控制部32能够在使得乘员监视部26停止的设定状态下基于使得个人识别部33启动的设定,使个人识别部33启动。
而且,能够开始监视的乘员监视部26为了确保行驶中的安全性而基本上在汽车1的行驶中执行监视处理。
另外,个人识别部33在乘员监视的必要性较低的汽车1的停车过程中根据需要而执行个人识别处理。
图5是图3的个人数据库36的数据构造的说明图。
在图5中,在各行出现的个人数据库36的各记录与乘坐于汽车1的各乘员对应。记录例如具有个人ID、脸部数据、监视启动的设定值、识别启动的设定值、个人设定数据。
个人ID是以针对每个登记的乘员不会产生重复的方式发行的识别编号。
脸部数据是对登记的乘员的脸部进行拍摄所得的数据。
个人设定数据是针对登记的乘员而已登记的汽车1的设定数据。个人设定数据例如具有扬声器27的接通断开的设定值、振动部件的接通断开的设定值、座椅4、方向盘6等的乘员位置的设定值。
个人设定数据缓冲器30针对识别出的乘员而对个人ID、设定数据进行存储。设定数据用于乘员监视部26。利用车内通信部29将个人ID或者设定数据的一部分向其他电子仪器发送。
其他电子仪器基于接收到的个人ID或者设定数据而执行各种个人设定控制。例如挡位设定装置16基于接收到的设定数据、或者基于与接收到的个人ID对应地记录于自身的设定数据而对座椅4的前后上下的位置以及靠背的角度等进行调整。
在识别启动设定数据39的设定值为能够开始认证的ON设定的情况下,个人识别部33执行对乘坐于汽车1的乘员进行识别的个人识别处理。
后文中对个人识别处理进行详细叙述,个人识别部33对利用车内照相机23拍摄的乘员的脸部的图像、和登记于个人数据库36的多个脸部数据进行比较。
在获得了能够获得规定的匹配值的脸部数据的情况下,个人识别部33利用与最高匹配值的脸部数据对应而登记于个人数据库36的个人ID,对识别乘员数据37进行更新。
由此,与乘坐于汽车1的乘员对应的个人ID登记于识别乘员数据37中。
设定更新部31基于触摸面板22的操作,对监视启动设定数据38以及识别启动设定数据39进行更新。
设定更新部31基于触摸面板22的操作,对个人数据库36的记录进行追加、删除、更新。
设定更新部31基于触摸面板22的操作,对个人设定数据缓冲器30的设定值进行更新。
在乘员监视部26处于能够开始监视的状态的情况下,另外,在监视中对识别乘员数据37进行更新的情况下,设定更新部31在个人数据库36中读入与识别乘员数据37的个人ID对应的记录,并将这些记录设定于监视启动设定数据38、识别启动设定数据39、以及个人设定数据缓冲器30中。
由此,在启动乘员监视部26的设定状态下,设定更新部31根据个人识别部33对乘员的认证结果,对个人设定数据缓冲器30的设定数据进行更新,在使得乘员监视部26停止的设定状态下不进行更新。另外,将与由个人识别部33识别出的乘员对应的设定数据记录于个人设定数据缓冲器30中。
在乘员监视部26结束了监视的情况下,设定更新部31根据监视启动设定数据38、识别启动设定数据39以及个人设定数据缓冲器30的设定值,对个人数据库36进行更新。
在对汽车1的点火开关进行了断开操作的情况下,乘员监视部26根据该时刻的数据对个人数据库36进行更新。进行缓冲器的保存处理。
此外,乘员监视部26可以根据需要适当地根据监视启动设定数据38、识别启动设定数据39、以及个人设定数据缓冲器30的设定值,对个人数据库36进行更新。该更新可以对个人数据库36的所有设定值进行更新,也可以对一部分设定值进行更新。例如乘员监视部26可以在个人ID向个人数据库36的登记时,同时登记在乘员监视装置12本身中所使用的设定值,在此后的停止点火操作时将汽车1的图示以外的空调装置的温度之类的其他装置的设定值登记于个人数据库36中。
乘员监视部26具有监视部24以及处理部25。
在监视启动设定数据38的设定值为能够开始认证的ON设定的情况下,监视部24执行根据个人识别部33对乘员的识别结果而对乘坐于汽车1的乘员进行监视的监视处理。
在监视处理中,监视部24以与登记于识别乘员数据37的个人ID对应而登记于个人数据库36的脸部数据为基准,判断利用车内照相机23拍摄的乘员的脸部的图像是否处于与规定的监视对象状态对应的状态。
例如在将斜视作为监视对象的情况下,判断拍摄图像中的脸部的朝向从行进方向前方偏离的状态是否持续了大于或等于规定时间的时间。
另外,在将瞌睡作为监视对象的情况下,判断是否产生了拍摄图像中的眼睛闭合了大于或等于规定次数的次数或者大于或等于规定期间的时间的状态。
此外,在个人ID未登记于识别乘员数据37的情况下,监视部24可以将一般化的标准的脸部数据作为基准,判断利用车内照相机23拍摄的乘员的脸部的图像是否处于与规定的监视对象状态对应的状态。
在利用监视部24判断为产生了警报状态的情况下,处理部25实施警报处理。
在警报处理中,处理部25确认个人设定数据缓冲器30的设定值。而且,在是使得扬声器27接通的设定值的情况下,处理部25在恒定期间内从扬声器27输出警报音。在是使得振动部件接通的设定值的情况下,处理部25在恒定期间内使座椅振动部件28振动。另外,处理部25确认个人设定数据缓冲器30的设定值,在是使得显示接通的设定值的情况下,在监视器21对警报进行显示。
这样,乘员监视装置12的乘员监视部26能够根据个人识别部33对乘员的识别结果,监视乘坐于汽车1的乘员,根据需要而通过显示、语音等发出警报。
在使得乘员监视部26启动的设定状态以及停止的设定状态下,车内通信部29将设定于个人设定数据缓冲器30中的识别乘员的设定数据向设置于汽车1的其他电子仪器发送。
车内通信部29可以周期性地反复将设定数据向其他电子仪器发送。
图6是表示图2的乘员监视装置12的乘员识别处理的流程的流程图。
乘员监视装置12的启动控制部32周期性地反复执行图6的处理。
在图6的乘员识别处理中,启动控制部32首先判断是否处于汽车1的启动时(步骤ST1)。启动控制部32例如可以基于汽车1的点火开关是否在被实施了接通操作之后处于规定的期间内,判断是否处于汽车1的启动时。在汽车1处于启动时的情况下,无论乘员监视部26的启动停止,个人认证部都执行步骤ST5的个人认证处理。
在从使汽车1启动之后经过了规定的期间的情况下,启动控制部32判断为未处于启动时并判断是否对车门3进行了关闭操作(步骤ST2)。个人认证部例如可以基于车内通信部29接收到的车门开闭传感器13的检测值,判断是否对车门3进行了关闭操作。在乘员乘坐于汽车1的情况下,乘员将车门3打开而乘车,在就坐于座椅4的状态下将车门3关闭。可以利用车门开闭传感器13的检测值,对乘员的乘车进行检测。此外,启动控制部32可以判断是否对车门3进行了打开操作、是否对车门3进行了开闭。而且,在未对车门3进行关闭操作的情况下,启动控制部32结束图6的处理。
在对车门3进行了关闭操作的情况下,启动控制部32判断汽车1是否处于停车中(步骤ST3)。启动控制部32例如可以基于车内通信部29接收到的车速传感器14的检测速度为每小时0公里的情况,判断为处于停车中。而且,在未处于停车中的情况下,启动控制部32结束图6的处理。
在处于停车中的情况下,启动控制部32基于识别启动设定数据39,判断个人识别是否设定为接通(步骤ST4)。在个人识别未设定为接通的情况下,启动控制部32结束图6的处理。
在个人识别设定为接通的情况下、或者在步骤ST1中判断为处于启动时的情况下,启动控制部32对个人识别部33指示个人识别处理(步骤ST5)。个人识别部33对利用车内照相机23拍摄的乘员的脸部图像、和登记于个人数据库36的多个脸部数据进行比较,执行对乘车的个人进行识别确定的处理。
然后,个人识别部33判断能否识别出匹配的个人(步骤ST6)。而且,在未获得匹配的结果的情况下,个人识别部33使个人识别处理结束。在该情况下,不对识别乘员数据37进行更新。
在获得匹配的结果的情况下,个人识别部33基于监视启动设定数据38,判断乘员监视是否设定为接通(步骤ST7)。
在乘员监视设定为接通的情况下,个人识别部33利用与判断为匹配的脸部数据对应而登记的个人ID,对识别乘员数据37进行更新(步骤ST8)。然后,设定更新部31从个人数据库36读入与登记于识别乘员数据37的个人ID对应的设定数据,并对个人设定数据缓冲器30进行更新(步骤ST9)。由此,将针对识别出的乘员的设定数据登记于个人设定数据缓冲器30。另外,设定更新部31向乘员监视部26指示进行乘员监视(步骤ST10)。乘员监视部26能够基于更新后的个人设定数据缓冲器30的设定数据而开始进行乘员监视。
在乘员监视设定为断开的情况下,个人识别部33利用与判断为匹配的脸部数据对应而登记的个人ID,对识别乘员数据37进行更新(步骤ST11)。在该情况下,设定更新部31不对个人设定数据缓冲器30进行更新。因而,乘员监视部26基于以前登记于个人设定数据缓冲器30的设定数据,开始进行乘员监视或者持续进行乘员监视。
图7是表示基于图2的乘员监视装置12进行的监视启动处理流程的流程图。
乘员监视装置12的乘员监视部26周期性地反复执行图7的处理。
在图7中,乘员监视部26基于监视启动设定数据38而判断乘员监视是否设定为接通(步骤ST21)。
在乘员监视设定为接通的情况下,设定更新部31基于乘员监视部26的指示,从个人数据库36读入与登记于识别乘员数据37的个人ID对应的设定数据,对个人设定数据缓冲器30进行更新(步骤ST22)。由此,将针对最后识别出的乘员的设定数据登记于个人设定数据缓冲器30。然后,乘员监视部26从个人设定数据缓冲器30读入用于监视的控制的设定数据,并执行与设定相应的监视(步骤ST23)。
在乘员监视设定为断开的情况下,乘员监视部26执行使监视结束的处理(步骤ST24)。设定更新部31基于乘员监视部26的指示,读入个人设定数据缓冲器30的设定数据,并对个人数据库36中对应的设定数据进行更新。由此,始终在个人数据库36对乘员的最新的设定数据进行记录。
图8是图2的乘员监视装置12的设定状态的跳转的说明图。图8以个人认证设定为接通为前提。
如图8所示,如果使汽车1启动,则能够执行个人识别处理。通过个人识别处理而对乘车的乘员进行识别。
而且,在识别出的乘员登记于个人数据库36的情况下,乘员监视装置12的设定状态变为第1设定状态51或者第2设定状态52。
第1设定状态51是乘员监视设定为接通的情况下的状态。在该情况下,对登记的用户A进行认证,为了乘员监视而将用户A的设定值设定于个人设定数据缓冲器30。在该情况下,乘员监视装置12确定乘车的乘员并对该乘员进行监视。
第2设定状态52是将乘员监视设定为断开的情况下的状态。在该情况下,对用户A进行认证,但未将用户A的设定值设定于个人设定数据缓冲器30。然后,进行操作将乘员监视设定为接通而变为第1设定状态51,由此设定用户A的设定值。但是,在此后进行操作将乘员监视设定为断开而从第1设定状态51跳转的情况下,将用户A的设定值设定于个人设定数据缓冲器30。
如果对乘车进行检测,则再次通过个人识别处理而对新的乘车状态的乘员进行认证。
例如在识别出登记于个人数据库36的用户B的情况下,乘员监视装置12的设定状态变为针对用户B的第1设定状态5或者第2设定状态52。
与此相对,在识别出未登记于个人数据库36的用户C的情况下,乘员监视装置12的设定状态变为第3设定状态53或者第4设定状态54。
第3设定状态53是乘员监视设定为接通的情况下的状态。在该情况下,未对用户C进行登记,因此变为未设定用户,也未对个人设定数据缓冲器30进行更新。将未与用户C建立关联的设定数据登记于个人设定数据缓冲器30。在该情况下,乘员监视装置12在未确定乘车的乘员的状态下对乘车的乘员进行监视。然后,进行操作将乘员监视设定为断开而变为第4设定状态54。
第4设定状态54是乘员监视设定为断开的情况下的状态。在该情况下,也未设定用户,还未对个人设定数据缓冲器30进行更新。然后,进行操作将乘员监视设定为接通而变为第3设定状态53。
这样,本实施方式的乘员监视装置12跳转为根据乘员监视的接通断开设定以及个人识别的结果而不同的设定状态。
如上,在本实施方式中,能够使对乘坐于汽车1的乘员进行识别的个人识别部33、以及对基于利用个人识别部33识别出的乘员的设定而乘车的乘员进行监视的乘员监视部26分别启动停止。即,针对个人识别部33和乘员监视部26分别设定启动或停止,由此能够使个人识别部33和乘员监视部26分别启动停止。
而且,在本实施方式中,在使乘员监视部26停止的设定状态下,能够基于使个人识别部33启动的设定而使个人识别部33启动。因而,在使乘员监视部26停止的设定状态下,能够对乘坐于汽车1的乘员进行识别。另外,在此后使乘员监视部26启动的情况下,乘员监视部26能够不等待通过个人识别部33进行的识别,而立即适当地开始对停止中乘车并识别出的乘员进行监视。能够适当地使乘员监视装置12启动停止。
而且,乘员监视部26能够在利用个人识别部33识别出确定的乘员的情况下,对识别出的乘员进行监视,在利用个人识别部33没有识别出确定的乘员的情况下,在未确定乘车的乘员的状态下,对乘车的乘员进行监视。
与此相对,假设例如在基于1个设定而将乘员监视装置12的整体控制为启动停止的情况下,即使使得乘员监视装置12启动,如果不是在识别出乘车的乘员之后,乘员监视装置12也无法开始进行乘员的监视。无法解决适当地使得乘员反复上车和下车的汽车1所特有的问题。在汽车1的移动途中替换了驾驶员等乘员的情况下,替换的乘员必须等待至乘员监视装置12结束了对自身的识别。而且,假设在乘员监视装置12在对乘员进行识别之前重新开始移动的情况下,在识别出与实际不同的乘员的状态下,乘员监视装置12对乘员的斜视、瞌睡进行监视。允许这种状态下的监视并非优选。
在本实施方式中,在检测出乘员的乘车的情况下,即使在使得乘员监视部26停止的设定状态下也使得个人识别部33启动。因而,在乘员乘坐于汽车1时,无论乘员监视部26的启动停止都能够识别出乘车的乘员。
在本实施方式中,在汽车1启动的情况下,在使得乘员监视部26停止的设定状态下能够使个人识别部33启动。因而,在汽车1启动的情况下,无论乘员监视部26的启动停止都能够识别出乘车的乘员。
在本实施方式中,在汽车1的行驶中基于设定而使乘员监视部26启动,在通过乘员监视部26进行的监视的必要性较小的停车中,基于设定而使个人识别部33启动。因而,不会妨碍乘员监视部26在行驶中进行监视,能够利用个人识别部33对乘员进行识别。
在本实施方式中,对用于由乘员监视部26利用的设定数据进行记录的个人设定数据缓冲器30,在使得乘员监视部26启动的设定状态下,基于个人识别部33对乘员的最新的识别结果而进行更新,在使得乘员监视部26停止的设定状态下不进行更新。
因而,在使得乘员监视部26启动的设定状态下,监视部24能够基于乘员的变更的识别而对个人设定数据缓冲器30进行更新并通过更新的乘员的设定而进行监视。能够与实际的乘员匹配地对设定数据进行监视。
另外,在使得乘员监视部26停止的设定状态下,能够不会意外地对个人设定数据缓冲器30进行更新。
特别地,在车内通信部29以使得乘员监视部26启动的设定状态将设定于个人设定数据缓冲器30的识别乘员的设定数据向设置于汽车1的其他电子仪器发送的情况下,如果在使得乘员监视部26停止的设定状态下对缓冲器进行更新,则有可能将不适当的设定数据向除了乘员监视装置12以外的其他电子仪器发送。在本实施方式中,能够预防这种不适当的设定数据的发送。
以上实施方式为本发明的优选实施方式的例子,但本发明并不限定于此,在未脱离发明主旨的范围内能够进行各种变形或变更。
例如在上述实施方式中,通过车门3的关闭操作而对乘员向汽车1的乘车进行检测。除此以外,例如也可以通过车门3的打开操作而对乘员向汽车1的乘车进行检测。另外,也可以通过座椅4的就坐传感器对乘员的检测而对乘员向汽车1的乘车进行检测。
在本实施方式中,通过汽车1的点火开关的接通操作而对汽车1的启动进行检测。除此以外,例如也可以通过停车中的加速器踏板的操作而对汽车1的启动进行检测。

Claims (8)

1.一种乘员监视装置,其设置于车辆,对乘坐于所述车辆的乘员进行监视,其中,
所述乘员监视装置具有:
识别部,其对乘坐于所述车辆的乘员进行识别;
监视部,其根据所述识别部对乘员的识别结果而对乘坐于所述车辆的乘员进行监视;以及
启动控制部,其使得所述识别部和所述监视部分别启动停止,
所述启动控制部在所述监视部的停止状态下使得所述识别部启动。
2.根据权利要求1所述的乘员监视装置,其中,
所述监视部在利用所述识别部识别出特定的乘员的情况下对识别出的乘员进行监视,
在利用所述识别部未识别出特定的乘员的情况下,在未确定乘车的乘员的状态下对乘车的乘员进行监视。
3.根据权利要求1或2所述的乘员监视装置,其中,
所述启动控制部在检测出乘员向所述车辆的乘车的情况下,在所述监视部的停止状态下使所述识别部启动。
4.根据权利要求1至3中任一项所述的乘员监视装置,其中,
所述启动控制部在所述车辆启动后的情况下,在所述监视部的停止状态下使所述识别部启动。
5.根据权利要求1至4中任一项所述的乘员监视装置,其中,
所述启动控制部基于针对所述识别部和所述监视部分别设定的启动或停止的设定,使所述识别部和所述监视部分别启动停止。
6.根据权利要求1至5中任一项所述的乘员监视装置,其中,
所述启动控制部在所述车辆的行驶中使所述监视部启动,
在所述车辆的停车中使所述识别部启动。
7.根据权利要求1至6中任一项所述的乘员监视装置,其中,
所述乘员监视装置具有:
缓冲器,其对与由所述识别部识别出的乘员对应的设定数据进行记录以由所述监视部加以利用;以及
设定更新部,其根据所述识别部对乘员的识别结果而对所述缓冲器进行更新,
所述设定更新部在使得所述监视部启动的状态下,基于所述识别部对乘员的最新的识别结果而对所述缓冲器进行更新,
在使得所述监视部停止的状态下不对所述缓冲器进行更新。
8.根据权利要求7所述的乘员监视装置,其中,
所述乘员监视装置具有通信部,该通信部将设定于所述缓冲器的识别乘员的所述设定数据向设置于所述车辆的其他装置发送。
CN201811487040.8A 2018-02-01 2018-12-06 车辆的乘员监视装置 Pending CN110103978A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-016560 2018-02-01
JP2018016560A JP6676084B2 (ja) 2018-02-01 2018-02-01 車両の乗員監視装置

Publications (1)

Publication Number Publication Date
CN110103978A true CN110103978A (zh) 2019-08-09

Family

ID=67224000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811487040.8A Pending CN110103978A (zh) 2018-02-01 2018-12-06 车辆的乘员监视装置

Country Status (4)

Country Link
US (1) US10592758B2 (zh)
JP (1) JP6676084B2 (zh)
CN (1) CN110103978A (zh)
DE (1) DE102019100083A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099395A (ja) * 2004-09-29 2006-04-13 Aisin Seiki Co Ltd ドライバモニタシステム
DE102006056094A1 (de) * 2006-11-28 2008-05-29 Robert Bosch Gmbh Fahrerassistenzsystem mit Anwesenheitsüberwachung
WO2014188648A1 (ja) * 2013-05-21 2014-11-27 株式会社デンソー ドライバ確認装置
JP2015115045A (ja) * 2013-12-16 2015-06-22 株式会社デンソー 車両用居眠り防止装置及び車両用居眠り防止システム
JP2015214171A (ja) * 2014-05-07 2015-12-03 株式会社デンソー 運転者体調検知装置、運転者体調検知方法、運転支援装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Subaru 乗員状態監視装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004330979A (ja) 2003-05-09 2004-11-25 Toshiba Corp 車両の駆動制御装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
JP2007145199A (ja) * 2005-11-28 2007-06-14 Fujitsu Ten Ltd 盗難防止装置および盗難防止システム
JP5001028B2 (ja) 2007-03-02 2012-08-15 株式会社デンソー 運転環境設定システム、車載装置及び車載装置用プログラム
JP5348457B2 (ja) * 2008-04-21 2013-11-20 スズキ株式会社 運転者監視装置
WO2011140993A1 (zh) * 2010-05-12 2011-11-17 北京星河易达科技有限公司 基于综合状态检测的智能交通安全系统及其决策方法
JP5573820B2 (ja) 2011-11-10 2014-08-20 株式会社デンソー 状態監視装置
JP5879949B2 (ja) 2011-11-18 2016-03-08 三菱自動車工業株式会社 運転支援装置
JP5549721B2 (ja) * 2011-12-26 2014-07-16 株式会社デンソー ドライバモニタ装置
US9475387B2 (en) * 2014-03-16 2016-10-25 Roger Li-Chung Wu Drunk driving prevention system and method with eye symptom detector
US20150294547A1 (en) 2014-04-15 2015-10-15 Denso Corporation Driver condition detection apparatus, driving assistance apparatus, driver condition detection method, and driving assistance method
JP6567842B2 (ja) * 2015-03-10 2019-08-28 Necプラットフォームズ株式会社 酒気帯び検知装置及びルームミラー装置
US9988055B1 (en) * 2015-09-02 2018-06-05 State Farm Mutual Automobile Insurance Company Vehicle occupant monitoring using infrared imaging
JP7260952B2 (ja) 2016-07-26 2023-04-19 花王株式会社 肩の痛み改善剤

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099395A (ja) * 2004-09-29 2006-04-13 Aisin Seiki Co Ltd ドライバモニタシステム
DE102006056094A1 (de) * 2006-11-28 2008-05-29 Robert Bosch Gmbh Fahrerassistenzsystem mit Anwesenheitsüberwachung
WO2014188648A1 (ja) * 2013-05-21 2014-11-27 株式会社デンソー ドライバ確認装置
JP2015115045A (ja) * 2013-12-16 2015-06-22 株式会社デンソー 車両用居眠り防止装置及び車両用居眠り防止システム
JP2015214171A (ja) * 2014-05-07 2015-12-03 株式会社デンソー 運転者体調検知装置、運転者体調検知方法、運転支援装置
JP2017219885A (ja) * 2016-06-02 2017-12-14 株式会社Subaru 乗員状態監視装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112947740A (zh) * 2019-11-22 2021-06-11 深圳市超捷通讯有限公司 基于动作分析的人机交互方法、车载装置

Also Published As

Publication number Publication date
JP6676084B2 (ja) 2020-04-08
US10592758B2 (en) 2020-03-17
DE102019100083A1 (de) 2019-08-01
US20190236388A1 (en) 2019-08-01
JP2019131105A (ja) 2019-08-08

Similar Documents

Publication Publication Date Title
JP4305289B2 (ja) 車両用制御装置およびその装置を備える車両用制御システム
JP6950432B2 (ja) 運転支援装置、情報処理装置、運転支援システム、運転支援方法
CN109263645A (zh) 用于调整机动车的运行参数的方法和系统以及机动车
CN110654389B (zh) 车辆的控制方法、控制装置和车辆
CN109552340A (zh) 用于车辆的手势和表情控制
CN111347985B (zh) 自动驾驶出租车
JP2007245842A (ja) 走行制御システム
US20200307643A1 (en) Vehicle control system and vehicle
CN114091547A (zh) 基于驾驶员分类选择性地启用或禁用车辆特征
CN115551757A (zh) 乘客筛查
JP7226197B2 (ja) 車両制御装置
CN110103977A (zh) 车辆的乘员监视装置
CN110103978A (zh) 车辆的乘员监视装置
CN112622916A (zh) 车辆的驾驶辅助系统
JP6962878B2 (ja) 操作補助システムおよび操作補助方法
JP2021133877A (ja) 車両の乗員監視装置
JP2021145301A (ja) 車両制御装置および車両、ならびにそれらの制御方法
CN114179784A (zh) 车辆控制装置
JP4123985B2 (ja) カメラシステム
WO2020250645A1 (ja) 車載通信装置、車両遠隔操作システム、通信方法およびプログラム
CN219257510U (zh) 汽车尾门的控制装置、汽车尾门及汽车
WO2023074116A1 (ja) 運転特性改善支援データの管理方法
US20220105948A1 (en) Vehicle agent device, vehicle agent system, and computer-readable storage medium
CN115556691A (zh) 用于车辆与乘员交互信息的方法和系统
JP2023079904A (ja) 運転特性改善支援データの管理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination