CN112622916A - 车辆的驾驶辅助系统 - Google Patents

Abstract

本发明涉及车辆的驾驶辅助系统，旨在改善车辆。车辆的驾驶辅助系统具有：可输出拍摄乘员的第一拍摄图像的拍摄设备、对乘员输出警报的警报部、控制部。控制部作为如下部件发挥作用：脸部识别部，其对第一拍摄图像执行乘员的脸部的至少一部分的识别处理；乘员判断部，其基于第一拍摄图像中的、利用脸部识别部能够识别脸部的至少一部分的第二拍摄图像，判断乘员的驾驶状态，在乘员不是可驾驶状态的情况下生成第一警报请求；及损失判断部，其在拍摄设备可输出的图像中的、利用脸部识别部不能识别脸部的至少一部分的第三拍摄图像产生多个的情况下，生成第二警报请求。警报部基于第一警报请求和第二警报请求，对乘员输出警报。

Description

车辆的驾驶辅助系统

技术领域

本发明涉及车辆的驾驶辅助系统。

背景技术

汽车中，对不依赖于司机等乘员的驾驶的自动驾驶及辅助乘员的驾驶进行着研究。自动驾驶是高度的驾驶辅助。

另一方面，对于与乘坐汽车等车辆的乘员有关的乘员监视装置也进行着研究。专利文献1公开监视乘员并执行警报输出等的技术。

期待通过使这些技术能够有机地联合，使汽车之类的车辆的便利性及安全性变高。

现有技术文献

专利文献

专利文献1：日本特开平11-043009号公报

发明内容

发明所要解决的课题

但是，在监视乘坐汽车的司机等乘员的装置中，为了监视乘员，能够适当使用拍摄乘员的拍摄设备。能够基于拍摄设备的拍摄图像，判断乘员的状态。

但是，在基于利用拍摄设备拍摄乘员来监视乘员状态的情况下，由于是成为基于拍摄设备的拍摄图像的判断，因此，存在例如以下那样的课题。

例如车辆中，根据其行驶环境不同，有时例如较强的光照射于乘员的脸部，或车内变得黑暗。在该情况下，乘员监视装置存在基于拍摄图像不能正确地判断乘员的脸部的状态的可能性。而且，基于乘员监视装置的判断结果执行控制的车辆的驾驶辅助系统也存在不能执行基于正确判断的控制的可能性。

因此，车辆的乘员监视装置中，在上述的拍摄图像中也要求尽可能能够判断乘员的脸部的状态。为了可进行这种图像判断，例如以能够将拍摄图像中未清晰地映射的乘员的脸部作为乘员的脸部进行判断的方式，调整乘员的脸部的状态的判断基准。但是，预测到进行这种调整的情况下的乘员的脸部的状态的判断基准比原来的判断基准变宽松。其结果，对于例如，尽管乘员处于可驾驶例如汽车的正确的驾驶状态，但是由于拍摄图像的质量及较宽松的判断基准，会错误地判断为是不适当的驾驶状态的可能性的焦虑加剧。除此之外，对于例如尽管乘员不是可驾驶例如汽车的正确的驾驶状态，但由于拍摄图像的质量及较宽松的判断基准，错误地判断为是适当的驾驶状态的可能性的焦虑加剧。

这样，车辆要求进行改善。

用于解决课题的方案

本发明的一个实施方式提供一种车辆的驾驶辅助系统，具有：拍摄设备，其可输出拍摄车辆的乘员的第一拍摄图像；警报部，其对乘员输出警报；以及控制部，其可执行使用了所述拍摄设备及所述警报部的控制，其中所述控制部作为如下部件发挥作用：脸部识别部，其对于从所述拍摄设备获取的所述第一拍摄图像，执行乘员的脸部的至少一部分的识别处理；乘员判断部，其基于所述拍摄设备可输出的所述第一拍摄图像中的、利用所述脸部识别部能够识别脸部的至少一部分的第二拍摄图像，判断乘员的驾驶状态，在乘员不是可驾驶的状态的情况下生成第一警报请求；及损失判断部，其在所述拍摄设备可输出的所述第一拍摄图像中的、不能利用所述脸部识别部识别脸部的至少一部分的第三拍摄图像产生多个的情况下，生成第二警报请求，其中，所述警报部基于所述乘员判断部的所述第一警报请求和所述损失判断部的所述第二警报请求，对乘员输出警报。

优选的是，所述乘员判断部可以基于所述第一拍摄图像中的乘员的脸部的眼睛的状态判断斜视(わき見)或瞌睡。

优选的是，所述损失判断部可以至少对于所述乘员判断部不能判断乘员驾驶状态的所述第一拍摄图像，设为不能识别脸部的所述第三拍摄图像，并判断是否产生多个不能识别脸部的所述第三拍摄图像。

优选的是，所述损失判断部可以在不能从所述拍摄设备获取所述第一拍摄图像的情况下，设为产生不能利用所述脸部识别部识别脸部的所述第三拍摄图像，并判断是否产生多个不能识别脸部的所述第三拍摄图像。

优选的是，所述损失判断部可以在对于所述拍摄设备可输出的所述第一拍摄图像接续产生不能利用所述脸部识别部识别脸部的情况下，生成所述第二警报请求。

优选的是，作为所述损失判断部，可以具有：第一损失判断部，其当利用所述脸部识别部不能识别脸部的状态连续地继续产生时，生成作为所述第二警报请求的、第三警报请求；第二损失判断部，其当利用所述脸部识别部不能识别脸部的状态以间断地重复的方式继续产生时，生成作为所述第二警报请求的、第四警报请求，其中所述警报部基于作为所述第二警报请求的、所述第一损失判断部的所述第三警报请求和所述第二损失判断部的所述第四警报请求，对乘员输出警报。

优选的是，所述第二损失判断部可以在比所述第一损失判断部判断连续性的期间长的期间判断间断地发生重复。

优选的是，可以具有检测部，其对于乘员在驾驶所述车辆时操作的操作部件，检测是否处于乘员可操作的状态，所述警报部在生成所述乘员判断部的所述第一警报请求或所述损失判断部的所述第二警报请求的情况下，基于所述检测部的检测结果判断乘员是否处于可操作所述操作部件的状态，在不能判断为处于可进行对于所述操作部件的操作的状态的情况下，对乘员输出请求对于所述操作部件进行操作的警报。

优选的是，可以具有行驶控制装置，其控制所述车辆的行驶，所述行驶控制装置在所述警报部输出警报之后，在所述检测部的检测结果未变化为乘员处于可对所述操作部件进行操作的状态的情况下，使所述车辆减速或停止。

发明效果

本发明中，基于拍摄车辆的乘员的拍摄设备的第一拍摄图像，首先利用脸部识别部执行乘员的脸部的至少一部分的识别处理。然后，乘员判断部对于拍摄设备可输出的第一拍摄图像中的、利用脸部识别部能够识别脸部的至少一部分的第二拍摄图像，判断乘员的驾驶状态。由此，乘员判断部对于例如不能识别脸部的质量不好的第一拍摄图像，不必判断乘员的驾驶状态。乘员判断部只要以拍摄设备可输出的第一拍摄图像中的、拍摄成使得能够正确地识别乘员的脸部的第二拍摄图像为前提，基于其质量良好的第二拍摄图像判断乘员的驾驶状态即可。乘员判断部进行的乘员的驾驶状态的判断能够为了其判断而进行最佳化。能够期待乘员判断部的判断精度通过最佳化的判断而变高。而且，所述警报部基于乘员判断部的第一警报请求，能够对乘员输出警报。

而且，本发明中，相对于这种乘员判断部，并列地设置损失判断部。而且，该损失判断部在从拍摄设备输出的第一拍摄图像中的、利用脸部识别部不能识别脸部的至少一部分的第三拍摄图像产生多个的情况下，与乘员判断部一样生成第二警报请求。由此，对于从拍摄设备输出的第一拍摄图像中的、乘员判断部的判断中未涉及的第三拍摄图像，能够利用损失判断部生成第二警报请求。损失判断部在例如乘员判断部的判断中未涉及的第三拍摄图像中内在地具有乘员例如为斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，不是基于拍摄图像直接判断乘员的状态，而是能够基于内在有该可能性生成第二警报请求。通过这种乘员判断部和损失判断部的并列的协作处理，在具有乘员处于例如斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，能够大致可靠地输出关于该情况的警报。本发明中，不管拍摄设备的拍摄环境及状态如何，在存在乘员处于例如斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，能够大致可靠地输出关于该情况的警报。

这样，本发明中，能够兼得作为处理成为相互相反的请求的、对于乘员为不适当的驾驶状态的正确地判断、和在具有乘员处于不适当的驾驶状态的可能性的情况下广泛地输出关于该情况的警报。本发明作为车辆的乘员监视，能够正确地判断乘员的驾驶状态，且对于不适当的驾驶状态能够包含具有该可能性的情况在内广泛地输出警报而使安全性优先，能够在车辆中适当使用。

附图说明

图1是本发明的实施方式的汽车的示意性说明图。

图2是图1的汽车的控制系统的示意性说明图。

图3是图2的控制系统中实现的汽车的驾驶辅助系统的说明图。

图4是图3的乘员监视装置的控制流程的流程图。

图5是图3的警报装置的控制流程的流程图。

图6是图3的行驶控制装置的控制流程的流程图。

图7是重复产生不能识别脸部的拍摄图像的情况下的、警报请求的生成处理的一例的说明图。

符号说明

1…汽车(车辆)，14…操纵ECU(自动驾驶/驾驶辅助ECU)，17…乘员监视ECU，18…警报ECU，31…方向盘，44…手扶传感器(ハンズオンセンサ)，61…内部摄像头，63…计时器，64…存储器，80…驾驶辅助系统，81…乘员监视装置，82…脸部识别部，83…斜视判断部(乘员判断部)，84…瞌睡判断部(乘员判断部)，85…连续损失判断部(第一损失判断部)，86…频发损失判断部(第二损失判断部)，87…警报装置，88…警报部，89…行驶控制装置，90…行驶控制部

具体实施方式

以下，基于附图说明本发明的实施方式。

图1是本发明的实施方式的汽车1的示意性的说明图。

图1的汽车1是车辆的一例。汽车1在车身2的中央设置了配置有乘员就座的座椅4的车室3。搭乘于汽车1的司机等乘员就座于座椅4并操作汽车1的行驶。由此，汽车1能够通过自动驾驶或手动驾驶进行行驶。汽车1也可以在基于乘员进行的有关行驶的操作而行驶的情况下，执行驾驶辅助。这种汽车1对于自动驾驶相关的行驶和手动驾驶的行驶双方进行辅助。

图2是图1的汽车1的控制系统10的示意性的说明图。图2中表示有汽车1的控制系统10，并且表示有与该控制系统10通信的交通信息系统100。

汽车1中，要求利用行驶控制装置辅助不依赖于司机等乘员进行的驾驶的自动驾驶及乘员进行的驾驶。另外，在汽车1中，还要求利用乘员监视装置81识别并监视乘车的乘员。考虑通过有机地联合这些技术，能够例如确定司机，实现与该司机相应的高度的驾驶辅助。期待汽车1的便利性及安全性变高。

图2中，构成汽车1的控制系统10的多个控制装置利用分别装入的控制ECU(Electronic Control Unit，电子控制单元)代表而表示。

图2的汽车1的控制系统10中，具体而言，表示有：驱动ECU11、转向ECU12、制动ECU13、作为通过汽车1的自动驾驶或手动驾驶时的驾驶辅助来控制行驶的装置的操纵ECU(自动驾驶/驾驶辅助ECU)14、驾驶操作ECU15、检测ECU16、乘员监视装置的乘员监视ECU17、警报装置的警报ECU18、外部通信ECU19、UIECU20。这些多个控制ECU与电缆26直接连接，并通过汽车1中采用的例如CAN(Controller Area Network，控制器局域网)及LIN(LocalInterconnect Network，局部互联网络)之类的车辆网络25，与作为中继装置的中央网关(CGW)27连接。各控制ECU能够通过附加了作为发送方(送信元)的自身的ID和接收方(送信先)的装置的ID的加密数据而相互通信。各控制ECU也可以通过未指定接收方的加密数据，如广播那样同时发送至多个其他控制ECU。另外，各控制ECU接收自身ID为接收方的加密数据，并用于自身的控制。此外，控制ECU也可以也对自身以外的特定ID为接收方的加密数据进行接收，并用于自身的控制。中央网关27在从多个电缆26各自接收的加密数据到达与其他电缆26连接的控制ECU的情况下，将接收的加密数据输出至其他电缆26。由此，图2所示的多个控制ECU能够相互发送和接收加密数据。

驱动ECU11通过车辆网络25接收加密数据，并控制设置于汽车1的未图示的发动机或马达之类的驱动源、变速箱。由此，汽车1能够加速并行驶。

转向ECU12通过车辆网络25接收加密数据，并控制设置于汽车1的未图示的转向装置。由此，汽车1能够改变行进方向。

制动ECU13通过车辆网络25接收加密数据，并控制设置于汽车1的未图示的制动装置。由此，行驶的汽车1能够减速、停车。另外，制动ECU13也可以通过车辆网络25与驱动ECU11通信，抑制驱动源的旋转，或变更变速箱的齿轮比，而使行驶的汽车1减速。

驾驶操作ECU15与用于操作汽车1的行驶的方向盘31、制动踏板32、加速踏板33、变速杆34之类的操作部件连接。驾驶操作ECU15将包含关于被操作的操作部件的操作信息等的加密数据通过车辆网络25输出至操纵ECU14等。

检测ECU16与例如速度传感器41、加速度传感器42、外部摄像头43、手扶传感器44连接。速度传感器41检测汽车1的速度。加速度传感器42检测汽车1的加速度。外部摄像头43拍摄汽车1的外侧的周围。外部摄像头43也可以拍摄例如汽车1的前方、侧方、后方等。手扶传感器44设置于例如方向盘31，检测由操作方向盘31的乘员的手引起的静电电容及压力的变化。检测ECU16将连接的传感器的物理量等作为关于汽车1的行驶在汽车1中检测的物理量进行获取，并通过车辆网络25输出至操纵ECU14等。另外，检测ECU16也可以解析外部摄像头43拍摄的外部图像，检测处于汽车1的周围的其他移动体，并将检测到的关于其他移动体的信息通过车辆网络25输出至操纵ECU14等。

外部通信ECU19与汽车1的外部进行通信。外部通信ECU19与例如交通信息系统100的通信中继局101通信并在与服务器装置102之间发送和接收通信数据。除此之外，外部通信ECU19在与例如在汽车1附近行驶的其他汽车110或行人的未图示的移动终端之间，通过例如V2X通信发送和接收通信数据。外部通信ECU19也可以通过这些通信，接收汽车1的直到目的地的导航数据、交通信息、汽车1的周围状况的信息等时，通过车辆网络25输出至操纵ECU14等。

UIECU20与例如显示设备51、操作设备52连接。操作设备52也可以具有与显示设备51的显示画面重合的触摸面板、多个键。UIECU20接收到与显示相关的加密数据时，使显示设备51显示图像。UIECU20也可以基于与显示设备51的显示相应的操作设备52的操作，生成例如导航数据等，并通过车辆网络25输出至操纵ECU14等。

操纵ECU14在自动驾驶与驾驶辅助之间切换并控制汽车1的行驶。操纵ECU14基于通过车辆网络25获取的各种信息，控制汽车1的行驶。例如在自动驾驶的情况下，操纵ECU14根据导航数据以一边确认周围的安全一边行驶至目的地的方式，向驱动ECU11、转向ECU12、制动ECU13输出控制信息。在驾驶辅助的情况下，操纵ECU14基于操作信息，将根据周围的安全等调整了其操作量的控制信息输出至驱动ECU11、转向ECU12、制动ECU13。

乘员监视ECU17与内部摄像头61、麦克风62、计时器63、存储器64连接。

内部摄像头61为了拍摄汽车1的车内而设置于车室3。内部摄像头61设置于车室3的内表面、例如图1所示那样处于乘员前方的仪表板上。由此，在内部摄像头61的拍摄图像中映射有乘坐汽车1的司机等乘员。在拍摄汽车1的车内整体的情况下，内部摄像头61也可以设为广角摄像头或360度摄像头。内部摄像头61每隔指定的周期重复拍摄车室3的乘员。

麦克风62记录汽车1的车内的声音。

计时器63测量时刻、时间。

存储器64记录用于乘员监视的程序、设定数据等。

乘员监视ECU17从存储器64读入并执行程序。由此，乘员监视ECU17作为乘员监视装置81的控制部发挥作用。

作为乘员监视装置81的控制部的乘员监视ECU17基于内部摄像头61的拍摄图像、麦克风62的记录声音，监视包含乘坐汽车1的司机的乘员。

乘员监视ECU17基于例如内部摄像头61的拍摄图像，识别乘坐汽车1的乘员。

乘员监视ECU17也可以将与识别的乘员有关的汽车1的设定信息通过车辆网络25输出至操纵ECU14等。

乘员监视ECU17监视识别的乘员或乘车的司机等的关于运行责任人的状态，根据需要生成警报请求并通过车辆网络25进行输出。乘员监视ECU17也可以基于例如乘员的眼睛的睁开程度等判断瞌睡，或基于例如乘员的脸部及眼睛的方向判断斜视，在判断为处于瞌睡或斜视的状态的情况下，生成并输出警报请求。

警报ECU18与仪表面板(メータパネル)71、扬声器72连接。

仪表面板71设置于车室3的内表面、例如设置在处于乘员前方的仪表板。仪表面板71具有显示警告的液晶面板、发光元件。

扬声器72在车室3的内表面设置于例如车门、仪表板、支柱、车顶等。

警报ECU18向例如车辆网络25输出警告请求时，获取警告请求，并将与警告请求对应的警告音、警告显示、警告消息从仪表面板71及扬声器72输出。由此，处于车室3的乘员能够识别汽车1发出的警告，并应对该警告。

但是，在监视乘车于汽车1的司机等乘员的乘员监视装置81中，为了监视乘员的乘车状态，大多使用拍摄乘员的内部摄像头61。在该情况下，乘员监视装置81的乘员监视ECU17基于内部摄像头61的拍摄图像，判断乘员的状态。

但是，在基于利用内部摄像头61拍摄乘员来判断乘员的状态的情况下，由于成为基于内部摄像头61的拍摄图像的判断，因此，存在例如以下那样的课题。

例如汽车1中，根据其行驶环境不同，有时例如较强的光照射于乘员的脸部，或车内变得黑暗。在该情况下，乘员监视ECU17存在基于拍摄图像不能正确地判断乘员的状态的可能性。特别是在对拍摄图像中面积较小的眼睛等判断其方向及睁开程度等的情况下，当较强的光照射于乘员的脸部或车内变得黑暗时，难以在拍摄图像中判断它们的可能性较高。而且，基于乘员监视ECU17的判断结果执行警告或控制的汽车1也存在不能基于正确的判断执行适当的警告或控制的可能性。

因此，乘员监视ECU17中要求对于上述那样的不适当的拍摄图像也尽可能判断乘员的状态。为了可进行这种图像判断，考虑将拍摄图像中未清晰地映射的乘员的例如脸部及眼睛作为乘员的脸部及眼睛进行判断，并判断乘员的状态。乘员监视ECU17进行的乘员状态的判断基准与对拍摄图像中清晰地映射的乘员的脸部及眼睛进行判断的情况相比，较宽松地调整。因此，在进行了这种调整的判断中，作为该调整的结果，对于例如尽管乘员处于例如可驾驶汽车1的正确的驾驶状态，也会错误地判断为是不适当的驾驶状态的可能性的焦虑加剧。除此之外，对于例如尽管乘员不是例如可驾驶汽车1的正确的驾驶状态，也会错误地判断为处于适当的驾驶状态的可能性的焦虑加剧。

这样，对于乘员监视装置81的乘员监视ECU17要求，基于内部摄像头61的拍摄图像，即使在其拍摄图像的质量不好的情况下，也可以适当判断乘员的乘车状态，使汽车1适当执行警告或控制。

另外，汽车1的驾驶辅助系统80中，要求不过多输出警告，以便不会由于例如自动驾驶中的错误的判断或敏感的判断而对于乘员频繁或过度地请求手扶等的指定的动作或操作。

这样，汽车1的驾驶辅助系统80中要求进一步改善。

图3是图2的控制系统10中实现的汽车1的驾驶辅助系统80的说明图。

图3的驾驶辅助系统80具有：乘员监视装置81、警报装置87、行驶控制装置89、手扶传感器44。乘员监视装置81、警报装置87、及行驶控制装置89利用车辆网络25连接。

手扶传感器44对操作方向盘31的乘员的手引起的静电电容或压力的变化进行检测，由此，能够检测是否处于乘员将手放在乘员操作的方向盘31上以便手动驾驶汽车1并可操作的状态。

乘员监视装置81作为执行程序的乘员监视ECU17的功能，具有：脸部识别部82、斜视判断部83、瞌睡判断部84、连续损失判断部85、频发损失判断部86。另外，除此之外，图3中还表示有内部摄像头61、计时器63。

内部摄像头61每隔指定的周期重复拍摄车室3的乘员并输出拍摄图像。

脸部识别部82对于内部摄像头61的拍摄图像，执行乘员的脸部、或作为其一部分的眼睛、鼻子、嘴等的识别处理。脸部识别部82也可以通过简单的处理确认后面段落的斜视判断部83及瞌睡判断部84的判断中是否可使用拍摄图像，但优选的是，通过比后面段落的斜视判断部83及瞌睡判断部84严格的判断基准，识别拍摄图像中的乘员的脸部、眼睛、鼻子、嘴。由此，脸部识别部82至少在后面段落的斜视判断部83及瞌睡判断部84的判断中涉及的眼睛的图像部分中未拍摄到白眼珠和黑眼珠等的情况下，能够将该拍摄图像设为不能判断乘员的驾驶状态的拍摄图像。或，能够设为具有使后面段落的斜视判断部83及瞌睡判断部84在其判断中迷惑的可能性的拍摄图像。而且，脸部识别部82在拍摄图像中能够适当识别乘员的脸部、眼睛、鼻子、嘴的情况下，输出表示能够识别乘员的许可信号。在不能识别的情况下，也可以输出不许可信号。

斜视判断部83在输入许可信号的情况下，对内部摄像头61的拍摄图像判断乘员的斜视。斜视判断部83提取例如拍摄图像中的拍摄乘员的脸部及眼睛的部分，并基于提取的部分图像判断乘员的脸部及眼睛的方向。此时，斜视判断部83也可以使用前面段落的脸部识别部82的识别结果进行提取或判断，也可以通过独自的处理从一个中进行提取及判断。而且，在乘员的脸部及眼睛的方向未朝向作为汽车1的行进方向的例如前方的情况下，输出关于斜视的警告请求。这样，斜视判断部83基于拍摄图像中的脸部的状态或眼睛的状态，判断斜视。

瞌睡判断部84在输入许可信号的情况下，对内部摄像头61的拍摄图像判断乘员的瞌睡。瞌睡判断部84提取例如拍摄图像中的拍摄乘员的眼睛的部分，并基于提取的部分图像判断乘员的眼睛的睁开程度。此时，瞌睡判断部84也可以使用前面段落的脸部识别部82的识别结果进行提取或判断，也可以通过独自的处理从一个中进行提取及判断。而且，在乘员的眼睛的睁开程度为指定的阈值以下的情况下，输出关于瞌睡的警告请求。这样，瞌睡判断部84基于拍摄图像中的眼睛的状态，判断瞌睡。

这样，斜视判断部83和瞌睡判断部84基于能够识别乘员的脸部等的拍摄图像判断是否处于乘员的斜视或瞌睡之类的不适当的驾驶状态，在为不适当的驾驶状态的情况下，生成并输出警报请求。在此，不适当的驾驶状态是指，并非处于例如在乘员操作汽车1的行驶的情况下采取的驾驶姿势的状态，或并非处于被定义为可立即操作的状态。

连续损失判断部85计数在例如未输入许可信号的状态下的内部摄像头61的拍摄图像的数量。计数值可以被记录于存储器64。连续损失判断部85也可以当产生在输入许可信号的状态下的内部摄像头61的拍摄图像时，将计数值复位。由此，连续损失判断部85能够对在未输入许可信号的状态下连续的多个拍摄图像的数量进行计数。此外，未输入许可信号的状态中包含内部摄像头61在输出拍摄图像的时机不输出拍摄图像的情况。是由于，在该情况下，脸部识别部82也不能输出许可信号。而且，当表示连续数的计数值成为与指定的连续损失判断期间相当的阈值次数以上时，由于拍摄图像变得连续不适当，因此，连续损失判断部85输出关于不能正确地判定斜视及瞌睡的警告请求。连续损失判断期间也可以利用计时器63计测。这样，连续损失判断部85当对于应从内部摄像头61输出的多个拍摄图像，不能利用脸部识别部82继续识别脸部的状态在一定数量以上或一定期间以上继续重复产生时，生成并输出警报请求。

频发损失判断部86计数在例如未输入许可信号的状态下的内部摄像头61的拍摄图像的数量。计数值可以被记录于存储器64。频发损失判断部86即使产生在输入许可信号的状态下的内部摄像头61的拍摄图像，也不将计数值复位，而从原来的值继续计数。由此，频发损失判断部86即使在间断地产生未输入许可信号的状态的情况下，通过该期间整体，能够计数未输入许可信号的状态下的多个拍摄图像的数量。此外，未输入许可信号的状态包含在内部摄像头61输出拍摄图像的时机不输出拍摄图像的情况。而且，当最近的频发损失判断期间的计数值成为阈值次数以上时，因为拍摄图像变为间断地不适当，因此，频发损失判断部86输出关于不能正确地判定斜视及瞌睡的警告请求。最近的频发损失判断期间也可以利用计时器63继续。这样，频发损失判断部86当对于应从内部摄像头61输出的多个拍摄图像不能利用脸部识别部82继续识别脸部的状态在最近的一定数以上或最近的一定的累积期间以上间断地重复产生时，生成并输出警报请求。

这样，连续损失判断部85和频发损失判断部86在对于从内部摄像头61连续地输出的多个拍摄图像不能利用脸部识别部82重复识别脸部的情况下，生成并输出警报请求。

警报装置87作为执行程序的警报ECU18的功能，具有警报部88。

警报部88当从乘员监视装置81输出警报请求时，基于手扶传感器44的检测，判断乘员是否处于可操作操作部件的状态。而且，在不能判断乘员处于可操作操作部件的状态的情况下，警报部88选择与警报请求相应的警报，并输出警报。例如，警报部88基于警报请求，对于乘员输出用于改正斜视或瞌睡之类的不适当的驾驶状态的警报。警报从扬声器72、仪表面板71对于乘员输出。这里的警报也可以是例如用于改正斜视或瞌睡之类的不适当的驾驶状态的手扶的警报。另外，在能够判断为乘员处于可操作操作部件的状态的情况下，警报部88不输出警报。由此，能够减少不必要的警报输出。

行驶控制装置89作为执行程序的操纵ECU14的功能，具有行驶控制部90。

行驶控制部90在汽车1的自动驾驶中及手动驾驶中控制汽车1的行驶。行驶控制部90在例如汽车1的自动驾驶中，不管乘员的操作如何均控制汽车1的行驶。

行驶控制部90在警报装置87的警报输出之后或乘员监视装置81的警报请求输出之后，基于手扶传感器44的检测，判断乘员是否处于可操作操作部件的状态。而且，在不能判断乘员处于可操作操作部件的状态的情况下，行驶控制部90根据警报的内容执行预定的汽车1的行驶控制。行驶控制部90例如使行驶中的汽车1减速，并在具有安全性的路边等使汽车1停车。

图4是图3的乘员监视装置81的控制流程的流程图。

乘员监视ECU17重复执行图4的处理。

步骤ST1中，乘员监视ECU17判断是否为内部摄像头61输出拍摄图像的拍摄图像获取时机。乘员监视ECU17也可以基于由计时器63测量的时刻或距上一次的获取时机的经过时间，判断是否为拍摄图像获取时机。在不是拍摄图像获取时机的情况下，乘员监视ECU17重复进行本处理。在成为拍摄图像获取时机的情况下，乘员监视ECU17使处理进入步骤ST2。

步骤ST2中，乘员监视ECU17获取内部摄像头61输出拍摄图像的新的拍摄图像。

步骤ST3中，乘员监视ECU17作为脸部识别部82，对获取的新的拍摄图像执行关于乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴的识别处理。乘员监视ECU17特别是对于眼睛，执行其白眼珠和黑眼珠的识别处理。拍摄图像中，有时由于例如拍摄环境，没有拍摄成可良好地判别乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴。另外，有时乘员监视ECU17由于例如内部摄像头61的不良情况等，不能获取拍摄图像获取时机的拍摄图像。乘员监视ECU17包含这些状况在内，执行乘员的识别处理。乘员监视ECU17在对拍摄图像能够识别乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴的情况下，将表示能够识别乘员的许可信号输出至以下的后面段落的处理所涉及的斜视判断部83、瞌睡判断部84、连续损失判断部85、频发损失判断部86。在这以外的情况下，乘员监视ECU17不输出许可信号。或，乘员监视ECU17也可以输出不许可信号。这些许可信号也可以通过例如记录于存储器64进行输出，或通过程序间通信进行直接发送而输出。

步骤ST4中，乘员监视ECU17作为脸部识别部82，对拍摄图像判断是否能够识别乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴。在对拍摄图像能够识别乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴的情况下，乘员监视ECU17使处理进入步骤ST5。

在不能识别乘员的脸部等的情况下，乘员监视ECU17使处理进入步骤ST7。

步骤ST5中，乘员监视ECU17作为输入了许可信号的斜视判断部83，对内部摄像头61的拍摄图像判断乘员的斜视。在判断为乘员斜视的情况下，乘员监视ECU17使处理进入步骤ST10。在未判断为乘员斜视的情况下，乘员监视ECU17使处理进入步骤ST6。

步骤ST6中，乘员监视ECU17作为输入了许可信号的瞌睡判断部84，对内部摄像头61的拍摄图像判断乘员的瞌睡。在判断为乘员瞌睡的情况下，乘员监视ECU17使处理进入步骤ST10。在未判断为乘员瞌睡的情况下，乘员监视ECU17结束图4的处理。

此外，乘员监视ECU17也可以在步骤ST5的斜视判断之前执行步骤ST6的瞌睡判断。

步骤ST7中，乘员监视ECU17将不能利用脸部识别部82进行脸部识别的图像损失记录于存储器64。乘员监视ECU17也可以计数例如作为不能进行脸部识别的损失图像的拍摄图像的连续数，并将该计数值记录于存储器64。除此之外，例如，乘员监视ECU17也可以将作为不能利用脸部识别部82进行脸部识别的损失图像的拍摄图像的获取执行时刻累积记录于存储器64。

步骤ST8中，乘员监视ECU17作为未输入许可信号的连续损失判断部85，判断不能利用脸部识别部82进行脸部识别的损失图像是否以与预先设定的连续损失判断期间相当的一定数以上连续地产生。

乘员监视ECU17比较最近连续地产生的损失图像的图像数和相当于连续损失判断期间的判断阈值。而且，在最近连续地产生的损失图像的图像数为判断阈值以上的情况下，乘员监视ECU17使处理进入步骤ST10。在这以外的情况下，乘员监视ECU17使处理进入步骤ST9。

步骤ST9中，乘员监视ECU17作为未输入许可信号的频发损失判断部86，判断不能利用脸部识别部82进行脸部识别的损失图像是否在预先设定的最近的频发损失判断期间以一定频率以上间断地产生。乘员监视ECU17比较最近的频发损失判断期间中的损失图像的计数值和对频发损失判断期间预先设定的损失图像的产生数的阈值。在最近的频发损失判断期间中的损失图像的计数值为产生数的阈值以上的情况下，乘员监视ECU17使处理进入步骤ST10。在这以外的情况下，乘员监视ECU17结束图4的处理。

步骤ST10中，乘员监视ECU17将手扶的警报请求通过车辆网络25输出至警报ECU18及操纵ECU14。乘员监视ECU17也可以以能够区分警报请求的产生主要原因的方式输出警报请求。

图5是图3的警报装置87的控制流程的流程图。

警报ECU18作为警报装置87的警报部88，重复执行图5的处理。

步骤ST21中，警报ECU18判断是否从乘员监视装置81获取到手扶的警报请求。在未获取到警报请求的情况下，警报ECU18重复进行本处理。当获取到警报请求时，警报ECU18使处理进入步骤ST22。

步骤ST22中，警报ECU18获取手扶传感器44的检测值。检测ECU16在方向盘31被乘员的手握住的情况下，作为手扶传感器44的检测值，输出手扶。检测ECU16在方向盘31未被乘员的手握住的情况下，作为手扶传感器44的检测值，输出离手(ハンズオフ)。警报ECU18获取这些任一传感器的检测值。

步骤ST23中，警报ECU18基于步骤ST22中获取的传感器检测值，判断乘员是否为可立即开始手动操作的手扶状态。在乘员为手扶状态的情况下，警报ECU18结束图5的处理。

警报ECU18不会基于警报请求输出手扶的警报，而结束图5的处理。在乘员不是手扶状态的情况下，警报ECU18使处理进入步骤ST24。

步骤ST24中，警报ECU18输出手扶的警报。警报ECU18也可以将输出手扶的警报通过车辆网络25输出至操纵ECU14。

图6是图3的行驶控制装置89的控制流程的流程图。

操纵ECU14作为行驶控制装置89的行驶控制部90，重复执行图6的处理。

步骤ST31中，操纵ECU14判断汽车1是否开始行驶。在汽车1未开始行驶的情况下，操纵ECU14重复进行本处理。在汽车1开始行驶的情况下，操纵ECU14使处理进入步骤ST32。

步骤ST32中，操纵ECU14获取行驶信息。行驶信息中，例如也可以包含：乘员监视装置81的手扶的警报请求、警报装置87的手扶警报的输出的有无、手扶传感器44的检测值、用于判断自动行驶可否的信息。用于判断自动行驶可否的信息中，例如也可以包含：乘员的状态的信息、外部摄像头43的拍摄图像、周边的其他移动体的信息、导航数据及基于其的前进道路的信息。

步骤ST33中，操纵ECU14判断是否进行了手扶警报。操纵ECU14在警报装置87输出手扶警报的情况下，或乘员监视装置81输出手扶的警报请求的情况下，判断为进行了手扶警报，并使处理进入步骤ST34。在除此以外的情况下，操纵ECU14使处理进入步骤ST36。

步骤ST34中，操纵ECU14基于手扶传感器44的检测值，判断乘员是否为可立即开始手动操作的手扶状态。在乘员为手扶状态的情况下，操纵ECU14使处理进入步骤ST36。在乘员即使在警报后也不是手扶状态的情况下，操纵ECU14使处理进入步骤ST35。

步骤ST35中，操纵ECU14执行用于使汽车1安全停车的自动减速停止控制。操纵ECU14一边确认周围的安全一边使行驶中的汽车1减速，并使汽车1停车于具有安全性的路边等。由此，在乘员即使在警报后也不是手扶状态的情况下，汽车1能够减速并停车。

步骤ST36中，操纵ECU14判断是否可通过自动驾驶进行自动行驶。操纵ECU14在例如具有导航数据及基于其的前进道路的信息和周边的其他移动体的信息，且在包含乘员后援在内可确保能够信赖的安全性的状态下可进行自主的自动行驶的情况下，判断为可通过自动驾驶进行自动行驶，并使处理进入步骤ST37。如果不是，则从步骤ST36进入步骤ST39。

步骤ST37中，操纵ECU14执行自主的自动行驶控制。

步骤ST38中，由于汽车1处于通过自动驾驶进行的自动行驶状态，因此，操纵ECU14将离手请求输出至车辆网络25。警报部88通过车辆网络25获取并输出离手请求。由此，乘员能够从例如方向盘31释放手。

步骤ST39中，由于汽车1不能通过自动驾驶进行自动行驶，因此，操纵ECU14将手扶请求输出至车辆网络25。

警报部88通过车辆网络25获取并输出手扶请求。由此，乘员能够用手握住方向盘31。

步骤ST40中，操纵ECU14基于乘员的驾驶操作，以辅助该驾驶操作的方式控制汽车1的行驶。

图7是重复产生不能识别脸部的拍摄图像的情况下的、警报请求的生成输出处理的一例的说明图。

对于不能识别脸部的拍摄图像，脸部识别部82不输出许可信号，因此，斜视判断部83和瞌睡判断部84不执行各自处理。与之相对，连续损失判断部85和频发损失判断部86基于继续产生损失图像，执行各自处理。

图7中，时间从左到右流逝。

图7中(A)～图7中(C)是不能利用脸部识别部82进行脸部识别的图像损失连续产生的状况的一例的时序图。

图7中(A)表示拍摄图像的获取周期。各箭头与内部摄像头61输出拍摄图像的一个周期对应。乘员监视ECU17每隔由箭头表示的拍摄周期，执行从内部摄像头61获取拍摄图像的处理。

图7中(B)是关于获取的拍摄图像的由脸部识别部82产生的识别结果的输出信号。该例中，脸部识别部82对于最初的两个拍摄图像，作为输出信号输出识别OK(良好)的许可信号。对于之后的3个拍摄图像，脸部识别部82作为输出信号，输出识别NG(不好)的不许可信号。另外，对于之后的3个拍摄图像，作为输出信号输出识别OK的许可信号。

图7中(C)是连续损失判断部85基于连续的图像损失而输出的警报请求的输出信号。

该例中，连续损失判断部85在连续产生3个以上的图像损失的情况下，输出警报请求。连续地输出3个以上的拍摄图像的期间成为连续损失的判断期间。计数值的判断阈值为3。

图7中(D)～图7中(F)是不能利用脸部识别部82进行脸部识别的图像损失间断地产生的状况的一例的时序图。

图7中(D)与图7中(A)一样，表示拍摄图像的获取周期。

图7中(E)是关于获取的拍摄图像的由脸部识别部82产生的识别结果的输出信号。该例中，脸部识别部82对于最初的一个拍摄图像，作为输出信号，输出识别OK的许可信号。对于下一个拍摄图像，作为输出信号，输出识别NG的不许可信号。然后，作为每个拍摄图像的输出信号，交替地输出识别OK的许可信号和识别NG的不许可信号。

图7中(F)是频发损失判断部86基于间断的图像损失而输出的警报请求的输出信号。

该例中，频发损失判断部86在最近的7个以上的频发损失的判断期间，间断地产生4个以上的图像损失的情况下，输出警报请求。计数值的判断阈值为4。

另外，频发损失的判断期间比连续损失的判断期间长。频发损失的判断期间中的计数值的判断阈值比连续损失的判断期间中的计数值的判断阈值大。由此，在连续的图像损失产生例如4个以上的情况下，在连续损失判断部85之前，频发损失判断部86能够不输出警报请求。连续损失判断部85通过不影响频发损失判断部86的警报请求的输出的独自判断，能够输出有意的警报请求。

如以上，本实施方式基于可周期性地重复拍摄汽车1的乘员的内部摄像头61的拍摄图像，首先作为预先处理，利用脸部识别部82执行关于乘员的脸部或作为脸部的一部分的眼睛、鼻子、嘴的识别处理。而且，斜视判断部83及瞌睡判断部84之类的乘员判断部对于内部摄像头61的拍摄图像中的、能够利用脸部识别部82识别脸部等的拍摄图像，判断乘员未处于斜视或瞌睡之类的不适当的驾驶状态。由此，乘员判断部不必对质量不好的内部摄像头61的拍摄图像判断乘员未处于斜视或瞌睡之类的不适当的驾驶状态。乘员判断部只要以内部摄像头61的拍摄图像中以能够正确地识别乘员的脸部等的方式进行拍摄为前提，基于其质量良好的一部分拍摄图像判断乘员不处于斜视或瞌睡之类的不适当的驾驶状态即可。乘员判断部进行的是否为斜视、瞌睡之类的不适当的驾驶状态的判断能够与为了该判断而变适当的内容相适。乘员判断部的判断精度以对于该判断成为适当的方式变高。特别是在基于拍摄图像中的眼睛判断斜视、瞌睡的情况下，图像中的眼睛的像的大小及分辨率不能充分高的情况较多，对于乘员判断部要求基于图像中的信息较少的眼睛的信息高精度地判断该眼睛的状态。例如与基于眼睛的睁开程度、瞳孔的大小之类的状态简单地判断眼睛检测的有无等的情况相比，要求进行非常高的精度的判断。本发明中，能够将乘员判断部设为可进行这种高精度的判断的部件。

而且，本实施方式中，对于可进行这种高精度的判断的乘员判断部，并列地设置与乘员判断部一样生成警报请求的连续损失判断部85及频发损失判断部86之类的损失判断部。而且，这些损失判断部在对于可从内部摄像头61输出的多个拍摄图像，不能利用脸部识别部82识别脸部或作为脸部的一部分的眼睛、鼻子、嘴的拍摄图像继续重复产生的情况下，生成警报请求。由此，损失判断部能够对于内部摄像头61的拍摄图像中的、乘员判断部的判断中不涉及的拍摄图像，利用损失判断部生成警报请求。损失判断部在内部摄像头61的拍摄图像中的、例如乘员判断部的判断中不涉及的拍摄图像中存在乘员处于斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，能够不直接判断该乘员的状态，而基于内在有该可能性，生成警报请求。

例如对于乘员判断部中不能进行高精度判断的状态的眼睛的拍摄图像，通过判断为不能利用脸部识别部82识别作为乘员脸部一部分的眼睛，由此，在为从图像不能直接判断眼睛的状态那样的图像或状况的情况下，通过损失判断部的判断能够生成并输出警报请求。对于内部摄像头61的拍摄图像中的、乘员判断部中难以判断那样的低质量的拍摄图像，通过损失判断部的判断能够生成警报请求。乘员通过基于损失判断部的判断的警报，能够与基于乘员判断部的判断的警报的情况一样地应对。通过由乘员判断部和损失判断部进行多层化的直接及间接的乘员的驾驶状态的判断，在本来应生成警报请求的状况中，能够输出警报。在本来应生成警报请求的状况中，能够有效地抑制无法生成警报请求的情况的产生。

除此之外，例如，当内部摄像头61故障等时，从内部摄像头61不能获取拍摄图像。在这种情况下，脸部识别部82与拍摄图像中不能识别脸部的情况一样，不输出许可信号。其结果，连续损失判断部85及频发损失判断部86之类的损失判断部基于不能从内部摄像头61获取拍摄图像的状况的继续，能够生成警报请求。本实施方式中，不仅是乘员的状态，而且对于基于内部摄像头61的图像的乘员监视功能不能正确地发挥作用，也能够通过警报将该情况通知给乘员。

通过这种乘员判断部和损失判断部的并列的协作处理，本实施方式中，不管内部摄像头61的环境及状态如何，在存在乘员处于斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，都能够将该情况通过警报通知给乘员。本实施方式中，能够以较高的水平兼得作为相互相反的请求的、关于乘员未处于斜视或瞌睡之类的不适当的驾驶状态的精确的判断；和在具有乘员处于斜视或瞌睡之类的不适当的驾驶状态的可能性的情况下，能够可靠地输出关于该情况的警报。本实施方式的驾驶辅助系统80能够高度兼得汽车1中的关于乘员监视的精确的识别判断和较高安全性的确保，因此，能够在汽车1中适当使用。

此外，对于由乘员监视装置81、及警报装置87构成的汽车1的乘员警报装置，也能够期待与上述的装置一样的效果。

以上的实施方式是本发明的优选的实施方式的例子，但本发明不限定于此，可在不脱离发明宗旨的范围内进行各种变形或变更。

例如上述的实施方式中，乘员监视装置81和警报装置87分体地形成，并通过车辆网络25相互连接。

除此之外，例如，乘员监视装置81和警报装置87也可以作为一个汽车1的乘员警报装置一体设置于汽车1，其整体与车辆网络25连接。在该情况下的乘员监视装置81具有警报部88等。

Claims (10)

1.一种车辆的驾驶辅助系统，包括：

拍摄设备，其能够输出拍摄车辆的乘员的第一拍摄图像；

警报部，其对乘员输出警报；以及

控制部，其能够执行使用了所述拍摄设备及所述警报部的控制，

其中，所述控制部作为如下部件发挥作用：

脸部识别部，其对于从所述拍摄设备获取的所述第一拍摄图像，执行乘员的脸部的至少一部分的识别处理；

乘员判断部，其基于所述拍摄设备能够输出的所述第一拍摄图像中的、能够利用所述脸部识别部识别脸部的至少一部分的第二拍摄图像，判断乘员的驾驶状态，在乘员不是可驾驶的状态的情况下生成第一警报请求；及

损失判断部，其在所述拍摄设备能够输出的所述第一拍摄图像中的、不能利用所述脸部识别部识别脸部的至少一部分的第三拍摄图像产生多个的情况下，生成第二警报请求，

其中，所述警报部基于所述乘员判断部的所述第一警报请求和所述损失判断部的所述第二警报请求，对乘员输出警报。

2.根据权利要求1所述的车辆的驾驶辅助系统，其中，

所述乘员判断部基于所述第二拍摄图像中的乘员的脸部的眼睛的状态判断斜视或瞌睡。

3.根据权利要求1所述的车辆的驾驶辅助系统，其中，

所述脸部识别部至少将所述乘员判断部不能判断乘员的驾驶状态的所述第一拍摄图像视为不能识别脸部的所述第三拍摄图像，

所述损失判断部判断是否产生多个不能识别脸部的所述第三拍摄图像。

4.根据权利要求2所述的车辆的驾驶辅助系统，其中，

所述脸部识别部至少将所述乘员判断部不能判断乘员的驾驶状态的所述第一拍摄图像视为不能识别脸部的所述第三拍摄图像，

所述损失判断部判断是否产生多个不能识别脸部的所述第三拍摄图像。

5.根据权利要求1～4中任一项所述的车辆的驾驶辅助系统，其中，

所述损失判断部在不能从所述拍摄设备获取所述第一拍摄图像的情况下，设为产生不能利用所述脸部识别部识别脸部的所述第三拍摄图像，并判断是否产生多个不能识别脸部的所述第三拍摄图像。

6.根据权利要求1～4中任一项所述的车辆的驾驶辅助系统，其中，

所述损失判断部在对于所述拍摄设备能够输出的所述第一拍摄图像持续产生不能利用所述脸部识别部识别脸部的情况下，生成所述第二警报请求。

7.根据权利要求1～4中任一项所述的车辆的驾驶辅助系统，其中，

作为所述损失判断部，具有：

第一损失判断部，其当不能利用所述脸部识别部识别脸部的状态连续地继续产生时，生成作为所述第二警报请求的、第三警报请求；和

第二损失判断部，当不能利用所述脸部识别部识别脸部的状态以间断地重复的方式继续产生时，生成作为所述第二警报请求的、第四警报请求，

其中，所述警报部基于作为所述第二警报请求的、所述第一损失判断部的所述第三警报请求和所述第二损失判断部的所述第四警报请求，对乘员输出警报。

8.根据权利要求7所述的车辆的驾驶辅助系统，其中，

所述第二损失判断部在比所述第一损失判断部判断连续性的期间长的期间判断间断地发生重复。

9.根据权利要求1～4中任一项所述的车辆的驾驶辅助系统，其中，

具有检测部，其对于乘员在驾驶所述车辆时操作的操作部件，检测是否处于乘员可操作的状态，

所述警报部在生成所述乘员判断部的所述第一警报请求或所述损失判断部的所述第二警报请求的情况下，基于所述检测部的检测结果判断乘员是否处于可操作所述操作部件的状态，

在不能判断为处于可进行对于所述操作部件的操作的状态的情况下，对乘员输出请求对于所述操作部件进行操作的警报。

10.根据权利要求9所述的车辆的驾驶辅助系统，其中，

具有行驶控制装置，其控制所述车辆的行驶，

所述行驶控制装置在所述警报部输出警报之后，在所述检测部的检测结果未变化为乘员处于可对所述操作部件进行操作的状态的情况下，使所述车辆减速或停止。

Images