CN114202965B - 辅助驾驶方法、装置、车载终端及存储介质 - Google Patents

Abstract

本发明提供了一种辅助驾驶方法、装置、车载终端及存储介质，该辅助驾驶方法包括：在车辆行驶过程中，在第一时刻从第一摄像头获取第一待检测图像帧；对第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向；在第一时刻之后的设定时长内从第二摄像头多次获取第二待检测图像帧，所述目标后视镜为所述第一方向那一侧的后视镜；对每次获取的第二待检测图像帧分别进行第二人脸检测，当第二人脸检测结果均检测到正脸时则从盲区摄像头获取车辆盲区实时路况信息；控制车辆的显示屏显示车辆盲区实时路况信息。该方法可以改善在转向或者掉头时驾驶员单凭经验操控车辆会因视觉盲区导致安全事故的问题。

Description

辅助驾驶方法、装置、车载终端及存储介质

技术领域

本发明涉及车辆智能驾驶技术领域，尤其涉及一种辅助驾驶方法、装置、车载终端及存储介质。

背景技术

公安部2020年10月公布的数据显示，截至2020年9月，全国机动车保有量达3.65亿辆，其中汽车2.75亿辆；机动车驾驶人4.5亿人，其中汽车驾驶人4.1亿人。可见，我国已经成为名副其实的汽车大国，但随之而来的是，道路交通安全问题越发突出。对于交通事故的原因分析中，视线盲区是造成交通事故的主要原因，尤其在转向或者掉头场景下，驾驶员单凭驾驶经验操控车辆，因存在视觉盲区，导致事故频发。

为此，亟需一种辅助驾驶方法能够有效帮助驾驶员及时观察路况，提高驾驶安全性。

发明内容

本发明的目的在于提供一种辅助驾驶方法、装置、车载终端及存储介质，用以改善在转向或者掉头场景下，驾驶员单凭驾驶经验操控车辆会因视觉盲区导致安全事故的问题。

第一方面，本发明提供一种辅助驾驶方法，应用于车载终端，所述方法包括：

在车辆行驶过程中，在第一时刻从第一摄像头获取关于监控区域的第一待检测图像帧，其中，所述监控区域对应驾驶室，所述第一摄像头固定于所述驾驶室的上方；对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，所述第一方向为驾驶员左侧方向或者驾驶员右侧方向；在第一时刻之后的设定时长内从固定于所述车辆的目标后视镜上的第二摄像头多次获取第二待检测图像帧，对每次获取的第二待检测图像帧分别进行第二人脸检测，根据第二人脸检测结果确定均检测到正脸时，则从盲区摄像头获取车辆盲区实时路况信息；控制车辆的显示屏显示所述车辆盲区实时路况信息。

本发明提供的辅助驾驶方法的有益效果在于：该方法能够对驾驶员的状态进行实时监控，在车辆行驶过程中，如果第一摄像头检测到驾驶员头部存在左转或者右转的动作，并且第二摄像头连续检测到驾驶员正脸，就可以判断车辆即将处于转向或者掉头场景，这时就会及时在显示屏显示车辆盲区实时路况，例如，判定即将向左转向时，则显示左侧车辆盲区的实时路况；判定即将向右转向时，则显示右侧车辆盲区的实时路况。该方法有助于驾驶员对周围路况进行准确判断，避免驾驶员单凭经验操控车辆，该方法能够提高在转向或者掉头场景下车辆驾驶的安全性。

在一种可能的实施例中，对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，包括：

对所述第一待检测图像帧分别进行人脸检测，得到第一人脸检测结果，所述第一人脸检测结果包括驾驶员头部的第一航向角；

当所述第一航向角大于第一阈值时，则确定驾驶员的头部转向第一方向为驾驶员左侧方向，当所述第一航向角的值小于第二阈值时，则确定驾驶员的头部转向第一方向为驾驶员右侧方向，其中，第二阈值小于第一阈值。该实施例中，通过检测第一摄像头所采集的第一视频数据流中的图像帧，对驾驶员头部姿态进行判断，以确定驾驶员是否存在转头看向后视镜的动作，从而准确预判车辆是否即将转向或者掉头。

在一种可能的实施例中，对所述第二待检测图像帧进行第二人脸检测，根据第二人脸检测结果确定检测到正脸，包括：

对所述第二待检测图像帧进行人脸检测，得到第二人脸检测结果，所述第二人脸检测结果包括驾驶员头部的第二航向角；当所述第二航向角大于或等于第二阈值，且小于或等于第一阈值时，则确定所述待检测图像帧中检测到驾驶员的正脸，其中，第二阈值小于第一阈值。可见，该实施例中，通过检测第二摄像头所采集的第二视频数据流中的图像帧，对驾驶员头部姿态进行判断，以确定驾驶员是否确实看向后视镜，从而更加准确地判断车辆即将转向或者掉头。

在一种可能的实施例中，对所述待检测图像帧进行人脸检测，包括：

向人脸检测神经网络模型输入所述第一待检测图像帧，输出包括人脸位置框的坐标信息；根据所述第一待检测图像帧中的人脸位置框的坐标信息，从所述第一待检测图像帧中分割出人脸图像，以及调整所述人脸图像的分辨率；将分辨率调整后的人脸图像输入到人脸关键点检测神经网络模型中，得到多个人脸关键点的位置坐标以及头部姿态角，所述头部姿态角包括航向角和俯仰角。该实施例中，利用人脸检测神经网络模型和人脸关键点检测神经网络模型这两个深度学习网络算法，来检测驾驶员的头部姿态，有助于准确预判驾驶员的驾驶动作。

在一种可能的实施例中，控制车辆的显示屏显示所述车辆盲区实时路况信息之后，所述方法还包括：从所述第一摄像头连续M次获取关于所述监控区域的第四待检测图像帧，M为正整数；对所述M次获取的第四待检测图像帧分别进行第四人脸检测，根据第四人脸检测结果确定M次获取的待检测图像帧的俯仰角均大于或等于第三阈值时，则控制车辆的显示屏关闭。该实施例中，通过第一摄像头继续监测驾驶员的头部姿态来确定驾驶员的头部姿态，从而确定驾驶员是否已经完成转向或者掉头的动作，在根据检测结果确定驾驶员是否已经完成转向或者掉头的动作时，及时关闭显示器，以防显示屏对驾驶员的驾驶形成干扰。

在一种可能的实施例中，从第一摄像头获取第一待检测图像帧之前，所述方法还包括：在车辆启动前，从所述第一摄像头连续K次获取关于监控区域的第四待检测图像帧；对所述K次获取的第四待检测图像帧分别进行第四人脸检测，根据第四人脸检测结果确定均检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器启动车辆；根据第四人脸检测结果确定所述K张待检测图像帧全部或部分未检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器不启动车辆。可见，该实施例中，在车辆启动之前，还会通过第一摄像头对驾驶员的状态进行监测，只有在确定驾驶员面部正对正前方时才能够启动车辆，以确保行车安全。

在一种可能的实施例中，对所述N次获取的第三待检测图像帧均进行第三人脸检测之后，所述方法还包括：对所述N次获取的第三待检测图像帧进行人脸检测，根据第二人脸检测结果确定所述N张待检测图像帧全部或部分未检测到正脸，则向驾驶员发出危险预警。可见，该实施例可以在行车过程中实时监测驾驶员的状态是否正常，在驾驶员的姿态不正常时，及时发出危险警告，提醒驾驶员纠正驾驶操作，以确保整个车辆行驶过程中的行车安全。

第二方面，本发明提供一种辅助驾驶装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第三方面，本发明实施例提供一种车载终端，包括处理器和存储器。其中，存储器用于存储一个或多个计算机程序；当存储器存储的一个或多个计算机程序被处理器执行时，使得该车载终端能够实现上述第一方面的任意一种可能的设计的方法。

第四方面，本发明提供一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，该计算机程序被处理器执行时，实现如上述实施例中任一项该的方法。

第五方面，本发明实施例另提供一种计算机程序产品，当该计算机程序产品在车载终端上运行时，使得该车载终端执行上述任一方面的任意一种可能的设计的方法。

关于上述第二方面至第五方面的有益效果可以参见上述第一方面中的描述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种车辆盲区示意图；

图2为本发明提供的一种车辆系统架构示意图；

图3为本发明提供的一种车辆摄像头装配结构示意图；

图4为本发明提供的一种辅助驾驶方法流程示意图；

图5为本发明提供的一种图像检测方法流程示意图；

图6为本发明提供的另一种图像检测方法流程示意图；

图7为本发明提供的另一种图像检测方法流程示意图；

图8为本发明提供的一种车辆右转场景示意图；

图9为本发明提供的一种辅助驾驶装置示意图；

图10为本发明提供的一种车载终端结构示意图。

具体实施方式

在详细介绍本发明实施例之前，以下先对本发明实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

1、驾驶盲区

是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。驾驶盲区主要包括车头盲区、车尾盲区、车底盲区、左右侧后视镜盲区和左右侧AB柱盲区。示例性地，图1示意出了各种类型的驾驶盲区的区域位置。

2、A柱

A柱（英文A-pillar），是驾驶员左前方右前方连接车顶和前舱的连接柱。值得说明的是在发动机舱和驾驶舱之间，左右后视镜的上方（参考图1，图1为车辆A柱的结构示意图）会遮挡你一部分的转弯视界，尤其是左转弯。例如车辆在路口，A柱盲区里刚好有过街的行人，而驾驶员在没有充分左右确认的情况下，很可能会发生碰撞酿成交通事故。驾驶者通过A柱处的双目视线重叠角为5度-6度，若按照驾驶者的舒适角度出发，这个重叠角越小越好，则需要A柱越薄越好，但车辆使用过程中需A柱的高刚度承载负荷，又需要A柱越宽越好，现有设计A柱的必然性导致驾驶员视野盲区的使用体验。

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上（包含两个）。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

如图2所示，为本发明提供的一种车辆辅助驾驶系统架构示意图，包括后视镜上的摄像头模组01、盲区摄像头模组02、车内监控摄像头模组03、车载终端200、电源管理单元300、控制器局域网络（Controller Area Network ，CAN）通讯收发单元400，上述模块协调工作，实现对汽车周围路况和车内驾驶员状态的监控。可选地，该车载终端200可以包括图像处理单元、存储单元、显示单元，该系统还可以包括一路前向摄像头模组和一路后向摄像头模组（图中未示出）。

其中，后视镜上的摄像头模组01，用于采集驾驶室的驾驶员的人脸，车内监控摄像头模组03，即下文中的第一摄像头，置于驾驶室的上方，用于采集驾驶室内驾驶人员的图像信息。盲区摄像头模组02用于采集汽车左右侧方向的盲区实时路况视频图像，传输到车载终端200。在该实施例中，车载终端200可以是CPU或GPU。车载终端200处理接收的视频数据，拼接成需要显示的完整视频，发送到显示屏显示。车载终端200也可根据接收的视频数据，对所获得的图像进行综合判断并输出相应的合成图像信息、报警信息以及控制信息等。

本实施例中的CAN通讯收发模块与车辆CAN总线相连。CAN通讯收发模块可以接收车辆上总线上的车况信息，可主要包括车速获取、车辆行驶方向获取等，通过显示屏显示内容。

该车载终端中的存储单元用于储存视频图像，也可设有DRAM(系统内存)、FlashMemory(闪存)等，存储单元与图像处理单元相连，可根据需求进行视频的存储。

该系统还可包括为整个系统提供电源的电源管理单元300，电源管理单元300与车辆供电端连接或设有独立电源，如图2所示，电源管理单元300与车辆的B+(电源正极)、GND(公用地线负极)、ACC(附件电源)相连。在汽车还没有发动之前，如果车辆设有钥匙ACC档，将钥匙拨到这个位置，本实施例中的系统即可通电，当汽车点火的时候，需要一个强电流，这时ACC位停止供电，等汽车点火结束，又开始供电。电源管理单元300根据车辆工作状态进行电源管理，以达到车辆和本系统的功耗要求。

本发明实施例中所提供的辅助驾驶方法可以应用于如图3所示的车辆，图3具体示出了该车辆所配置的摄像头的装配结构示意图，该示意图示意出了位于驾驶室上方的摄像头模组103、位于左后视镜上的摄像头模组101、位于右后视镜上的摄像头模组102、前路摄像头模组104、后路摄像头模组105、左侧盲区摄像头模组106和右侧盲区摄像头模组107。可选地，该车辆的车底还可以安装有摄像头模组（图中未示出）。

结合本实施例，具体来说，摄像头模组101可以位于左侧后视镜上，摄像头模组102可以位于右侧后视镜上。摄像头模组101可以用于采集位于驾驶室内的驾驶员的图像帧，当驾驶员看向左侧后视镜时，摄像头模组101可以采集到驾驶员的正脸。摄像头模组102可以用于采集位于驾驶室内的驾驶员的图像帧，当驾驶员看向右侧后视镜时，摄像头模组102可以采集到驾驶员的正脸。前路摄像头模组104用于采集车辆前方的盲区实时路况；后路摄像头模组105用于采集车辆后方的盲区实时路况；左侧盲区摄像头模组106可以采集车辆左侧的盲区实时路况，右侧盲区摄像头模组107可以采集车辆右侧的盲区实时路况。

值得说明的是，左侧盲区摄像头模组106可以是由位于车辆左侧车身前部位置和后部位置的多个摄像头组成，用于采集车辆左转或者掉头时的视线盲区，右侧盲区摄像头模组107可以是由位于车辆右侧车身前部位置和后部位置的多个摄像头组成，用于采集车辆右转或者掉头时的视线盲区。前路摄像头、后路摄像头、左路摄像头和右路摄像头的安装位置与安装方式可根据实际需要确定，左侧盲区摄像头模组106和右侧盲区摄像头模组107，再结合前路摄像头模组104和后路摄像头模组105，这四路广角摄像头用于对汽车周边进行实时路况的采集，能够覆盖车辆周边的所有视场范围，这四路摄像头所获取的视频流可用于拼接成360度全景环视系统，也可拼接成三路流媒体后视镜系统。

如图4所示，本发明提供了一种注意力检测方法流程示意图，该方法的流程可以由车辆辅助驾驶系统中的车载终端来执行，以下实施例示例性地以该方法由车载终端200执行为例进行说明，该方法包括以下步骤：

S401，在车辆行驶过程中，在第一时刻从第一摄像头获取关于监控区域的第一待检测图像帧。

S402，对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，所述第一方向为驾驶员左侧方向或者驾驶员右侧方向。

该步骤中，一种可能的实施方式中，对所述第一待检测图像帧分别进行人脸检测，得到第一人脸检测结果，所述第一人脸检测结果包括驾驶员头部的第一航向角；当所述第一航向角大于第一阈值时，则确定驾驶员的头部转向第一方向为驾驶员左侧方向，当所述第一航向角的值小于第二阈值时，则确定驾驶员的头部转向第一方向为驾驶员右侧方向，其中，第二阈值小于第一阈值。

S403，在第一时刻之后的设定时长内从第二摄像头多次获取第二待检测图像帧，所述第二摄像头固定于所述车辆的目标后视镜上，所述目标后视镜为所述第一方向那一侧的后视镜。

也就是说，当确定驾驶员的头部转向左侧方向时，则在第一时刻之后的设定时长内从第二摄像头，即左侧后视镜上的摄像头模组101，多次获取第二待检测图像帧；当确定驾驶员的头部转向右侧方向时，则在第一时刻之后的设定时长内从第二摄像头，即右侧后视镜上的摄像头模组102，多次获取第二待检测图像帧。

S404，对每次获取的第二待检测图像帧进行第二人脸检测，根据第二人脸检测结果确定均检测到正脸时，则从盲区摄像头获取车辆盲区实时路况信息。

该步骤中，一种可能的实施方式中，实时地从第二摄像头采样一帧第二待检测图像帧，然后对所述第二待检测图像帧进行人脸检测，得到第二人脸检测结果，所述第二人脸检测结果包括驾驶员头部的第二航向角；当所述第二航向角大于或等于第二阈值，且小于或等于第一阈值时，则确定所述第二待检测图像帧中存在驾驶员的正脸，否则，则认为没有检测到驾驶员的正脸，其中，第二阈值小于第一阈值。这样，当连续多次地从第二摄像头获取第二待检测图像帧的检测结果均是正脸时，则从盲区摄像头获取车辆盲区实时路况信息。

示例性地，在第一时刻之后的一分钟内，从摄像头模组101连续十次采样第二待检测图像帧，最终每次均检测到驾驶员正脸时，则确定驾驶员转头看向左后视镜，因此从左侧盲区摄像头模组106获取左侧盲区实时路况信息；当从摄像头模组102获取的十帧图像均为驾驶员正脸时，则确定驾驶员转头看向右后视镜，因此从右侧盲区摄像头模组107获取右侧盲区实时路况信息。

S405，控制车辆的显示屏显示所述车辆盲区实时路况信息。

本实施例中，通过上述方法能够对驾驶员的状态进行实时监控，在车辆行驶过程中，如果第一摄像头检测到驾驶员头部存在左转或者右转的动作，并且第二摄像头连续检测到驾驶员正脸，就可以判断车辆即将处于转向或者掉头场景，这时就会及时在显示屏显示车辆盲区实时路况，例如，判定即将向左转向时，则显示左侧车辆盲区的实时路况；判定即将向右转向时，则显示右侧车辆盲区的实时路况。该方法有助于驾驶员对周围路况进行准确判断，避免驾驶员单凭经验操控车辆，该方法能够提高在转向或者掉头场景下车辆驾驶的安全性。

一种可能的实施例中，在上述S403或S404中，对第一待检测图像帧进行人脸检测的方法包括：向人脸检测神经网络模型输入所述第一待检测图像帧，输出包括人脸位置框的坐标信息；根据所述第一待检测图像帧中的人脸位置框的坐标信息，从所述第一待检测图像帧中分割出人脸图像，以及调整所述人脸图像的分辨率。将分辨率调整后的人脸图像输入到人脸关键点检测神经网络模型中，得到多个人脸关键点的位置坐标以及头部姿态角，所述头部姿态角包括航向角和俯仰角。值得说明的是，本中的对第二待检测图像帧、第三待检测图像帧、以及第四待检测图像帧均可以按照上述方法进行人脸检测，下文不再重复赘述。

示例性地，如图5所示，假设驾驶室正上方的摄像头模组103所采集的第一待检测图像帧的图像大小（Image resize）为分辨率640*1280的初始待检测图像帧，则先将第一待检测图像帧的分辨率处理为分辨率320*320的初始待检测图像帧，将该初始待检测图像帧输入至人脸检测Mnet网络，最终人脸检测Mnet网络输出该图像中包含的所有人脸位置框（rectbox）的坐标信息，以及人脸5个关键点的坐标。然后根据人脸位置框从初始待检测图像帧中分割出人脸图像部分（ROIimage），并将人脸图像部分的图像大小（ROIimageresize）调整到分辨率为112*112，得到调整后的人脸图像。再次将调整后的人脸图像输入到landmark网络中，得到人脸98个关键点的位置坐标以及头部姿态角。基于该人脸98个关键点的位置坐标以及头部姿态角可以判断驾驶员的头部是否存在转向。

在一种可能的实施例中，从第一摄像头获取第一待检测图像帧之前，上述方法还包括：在车辆启动前，从所述第一摄像头连续K次获取关于监控区域的第四待检测图像帧；对所述K次获取的第四待检测图像帧分别进行第四人脸检测，根据第四人脸检测结果确定均检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器启动车辆。而当根据第四人脸检测结果确定所述K次获取的第四待检测图像帧全部或部分未检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器不启动车辆。本发明实施例中利用landmark网络输出的相应值，判断驾驶员是否处于正常的驾驶状态。

示例性地，车载终端执行的辅助驾驶方法流程如图6所示，包括如下步骤：

S601，将该第一摄像头采集的待检测图像帧输入至人脸检测Mnet网络，最终人脸检测Mnet网络输出该图像中包含的所有人脸位置框的坐标信息，以及人脸5个关键点的坐标。

S602，根据人脸位置框从初始待检测图像帧中分割出人脸图像部分，并将人脸图像部分的图像大小调整到分辨率为112*112，得到调整后的人脸图像。

S603，将调整后的人脸图像输入landmark网络，得到的输出的头部姿态角pose1，其中pose1中包括俯仰角pitch。

S604，基于该俯仰角pitch可以判断驾驶员的面部是否始终处于正前方，即判断俯仰角pitch是否大于或等于-0.48。若是，则执行S605，否则执行S606。

S605，当俯仰角pitch大于或等于-0.48时，认为驾驶员没有低头，处于正常的面向正前方的状态，则驾驶员可以正常启动车辆。

S606，当俯仰角pitch小于-0.48时，则提示驾驶员现在处于不安全驾驶状态，将无法正常启动车辆。

可选地，当确定驾驶员可以正常启动车辆，则还可以进一步地打开摄像头模组101、摄像头模组102和前向摄像头模组，以便于采集车辆周围的路况。

一种可能的实施例中，控制车辆的显示屏显示所述车辆盲区实时路况信息之后，所述方法还包括：从所述第一摄像头连续M次获取关于所述监控区域的第三待检测图像帧，M为正整数；对所述M次获取的第三待检测图像帧分别进行第三人脸检测，根据第三人脸检测结果确定M次获取的第三待检测图像帧的俯仰角均大于或等于第三阈值时，则控制车辆的显示屏关闭。示例性地，打开中控区显示屏并启动计时t3，同时检测第一俯仰角pitch1值是否小于-0.48，也就是驾驶员是否存在低头看显示屏状态，如果俯仰角pitch1<-0.48则启动计时t4，如果显示屏打开超过5min（也就是t3>5min）且检测到驾驶员连续超过2min（也就是t4>2min）没有低头看中控区的动作，则系统认为车辆已完成转向或掉头的动作，将会立即关掉中控区上的显示屏，以防对驾驶员的驾驶形成干扰。

在一种可能的实施例中，对所述每次获取的第二待检测图像帧分别进行第二人脸检测之后，若根据第二人脸检测结果确定所述N次获取的第三待检测图像帧全部或部分未检测到正脸，则向驾驶员发出危险预警。示例地，当检测到主摄像头yaw1值小于-0.4 (或大于0.25)，同时左(右)消除盲区摄像头显示驾驶员yaw2值也小于-0.4 (或大于0.25)，说明驾驶员并不是要左(或右)转向或者掉头，查看计时器的值，如果计时器的值大于3s，则车载终端会发出危险警告，警告驾驶员此时处于不安全驾驶状态，提醒驾驶员安全驾驶。

为了更加系统地对上述辅助驾驶方法进行说明，下文结合图7所示的方法流程图对其进行举例阐述。

S701，当驾驶员就座驾驶室时，摄像头模组103开始采集驾驶室内的驾驶人员的图像。

S702，车载终端每次从摄像头模组103获取图像帧之后，对该获取的图像帧进行图像检测，获取驾驶员的头部姿态角，即俯仰角pitch。

S703，当车载终端确定图像帧的俯仰角pitch＞-0.48，则认为驾驶员处于正常的面向正前方的状态，即不处于低头状态，在车辆接收到驾驶员的启动操作时，车载终端控制车辆正常启动，否则控制车辆不启动。

S704，在车辆行驶过程中，摄像头模组103继续采集驾驶室内的驾驶人员的图像，车载终端继续从摄像头模组103获取关于监控区域的第一待检测图像帧，对该获取的第一待检测图像帧进行图像检测，获取驾驶员的第一航向角yaw1。

S705，当车载终端确定图像帧的第一航向角yaw1大于0.25，则确定驾驶员向右转头。

S706，之后的设定时长内，车载终端接着从右侧的摄像头模组102多次获取关于驾驶室内的驾驶人员的第二待检测图像帧，对多次获取的第二待检测图像帧进行图像检测，获取驾驶员的第二航向角yaw2。

S707，当车载终端确定第二待检测图像帧的第二航向角yaw2均落入设定区间[-0.4,0.25]，则确定驾驶员当前看向右侧后视镜，因此控制显示屏显示右侧摄像头模组107所采集的右侧车辆盲区实时路况信息。

S708，之后，车载终端从摄像头模组103多次获取待检测图像帧，对每次获取的待检测图像帧分别进行人脸检测，根据人脸检测结果确定每次获取的待检测图像帧的俯仰角均大于0.48时，则说明驾驶员没有低头看向显示屏，因此控制车辆的显示屏关闭。

示例性地，当车载终端在两分钟内从摄像头模组103多次获取的待检测图像帧，根据人脸检测结果，确定驾驶员连续超过2min没有低头看中控区的动作，则系统认为车辆已完成转向或掉头的动作，将会立即关掉中控区上的显示屏，以防对驾驶员的驾驶形成干扰。

示例性地，结合图8来说，当大型货车的驾驶员驾驶车辆右转时，因内外轮存在内外轮差，所以图中所示的弧状阴影区域为危险区域，这时，当危险区域存在行人或其它非机动车辆时，驾驶员因右侧视线盲区，无法看到当危险区域存在的行人或其它非机动车辆，所以单凭经验进行车辆右转，会存在较大的安全隐患，而基于本发明实施例所提供的辅助驾驶方法，车载终端可以预判到驾驶员的右转动作，然后在显示屏及时显示右侧盲区实时路况信息，以便于驾驶员及时调整驾驶动作，从而确保安全驾驶。

另外，本实施例中上文的人脸检测Mnet网络是Retinaface的改进简化版本，与Retinaface的区别除了主干网络使用mobilenet使模型轻量化之外，还在网络的末尾检测头位置使用了由SSH上下文模块组成的SSH检测模块。网络输入320*320的3通道RGB图像，输出包括三部分，人脸分类、人脸框回归和人脸5个关键点回归。利用caffe框架采用20.4万张的图像作为训练数据集，3.5千张的数据作为验证集进行训练，训练集中包括WIDER FACE数据集中难度系数为容易和中性的数据和自己采集并标注的图片数据。使用SGD优化器训练网络(momentum为0.9，weights decay 为0.0005，batch size 为8*4，起始学习率为0.001，5个epoch后变为0.01，最后分别在55和68 epoch时除以10)，该网络属于多任务组合损失，整体损失函数如公式1所示：

其中，第一部分是人脸二分类，

是第i个anchor为人脸的预测概率，

为1是正例，0为负例，采用的是Sigmoid 交叉熵损失函数。第二部分是人脸框回 归，

分别代表正例相关的预测框和真实框的坐标，采用smooth L1 损失函数。第三部分是5个关键点回归，依然采用smooth L1损失函数，

分别代表5个关键点的预测值和真实值。

另外，本实施例中上文的人脸关键点检测landmark网络主要利用depthwise和resnet网络结构结合，减少网络的参数量。此网络输入112*112的三通道RGB人脸图像，输出主要包括两部分内容，第一部分为landms，其中包括98个人脸关键点的位置坐标也就是一共196个值，第二部分为pose，包括头部的姿态角一共3个值，分别是航向角yaw、俯仰角pitch、和滚转角roll。

本实施例中，训练网络时数据集采用上个网络中裁剪出来的RGB 3通道人脸图像， 同时将图像resize到分辨率为112*112。采用25.8万张的人脸数据作为训练数据集，4.2千 张的数据作为验证数据集。使用SGD优化器训练网络(momentum为0.9，weights decay 为 0.0005，batch size 为16*4，起始学习率为0.001，5个epoch后变为0.01，最后分别在38和 56 epoch时除以10，此网络的损失函数依然属于多任务损失函数，整体的损失函数如公式2 所示：

第一部分是98个关键点坐标值回归，

分别代表 脸部98个关键点的预测坐标和真实坐标，采用smooth L1损失函数。第二部分是头部3个姿 态角回归，采用欧式距离作为损失函数，

分别代表3个姿态角弧度值 的预测值和真实值。

在本发明的一些实施例中，本发明实施例还公开了一种辅助驾驶装置，如图9所示，该装置用于实现以上各个方法实施例中记载的方法，其包括：获取单元901，用于在车辆行驶过程中，在第一时刻从第一摄像头获取关于监控区域的第一待检测图像帧，其中，所述监控区域对应驾驶室，所述第一摄像头固定于所述驾驶室的上方；人脸检测单元902，用于对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，所述第一方向为驾驶员左侧方向或者驾驶员右侧方向；获取单元901，还用于在第一时刻之后的设定时长内从第二摄像头多次获取第二待检测图像帧，所述第二摄像头固定于所述车辆的目标后视镜上，所述目标后视镜为所述第一方向那一侧的后视镜。人脸检测单元902，还用于对每次获取的第二待检测图像帧分别进行第二人脸检测。获取路况单元903，用于当第二人脸检测结果均检测到正脸时则从盲区摄像头获取车辆盲区实时路况信息。控制单元904，用于控制车辆的显示屏显示所述车辆盲区实时路况信息。

上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

在本发明的另一些实施例中，本发明实施例公开了一种车载终端，如图10所示，该车载终端1000可以包括：一个或多个处理器1001；存储器1002；显示器1003；一个或多个应用程序（未示出）；以及一个或多个计算机程序1004，上述各器件可以通过一个或多个通信总线1005连接。其中该一个或多个计算机程序1004被存储在上述存储器1002中并被配置为被该一个或多个处理器1001执行，该一个或多个计算机程序1004包括指令，上述指令可以用于执行如图4至图7及相应实施例中的各个步骤。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种辅助驾驶方法，其特征在于，应用于车载终端，所述方法包括：

在车辆行驶过程中，在第一时刻从第一摄像头获取关于监控区域的第一待检测图像帧，其中，所述监控区域对应驾驶室，所述第一摄像头固定于所述驾驶室的上方；

对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，所述第一方向为驾驶员左侧方向或者驾驶员右侧方向；

在第一时刻之后的设定时长内从第二摄像头多次实时获取第二待检测图像帧，所述第二摄像头固定于所述车辆的目标后视镜上，所述目标后视镜为所述第一方向那一侧的后视镜；

对每次获取的第二待检测图像帧分别实时进行第二人脸检测，当第二人脸检测结果均检测到正脸时则从盲区摄像头获取车辆盲区实时路况信息；

控制车辆的显示屏显示所述车辆盲区实时路况信息。

2.根据权利要求1所述的方法，其特征在于，对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，包括：

对所述第一待检测图像帧分别进行人脸检测，得到第一人脸检测结果，所述第一人脸检测结果包括驾驶员头部的第一航向角；

当所述第一航向角大于第一阈值时，则确定驾驶员的头部转向第一方向为驾驶员左侧方向，当所述第一航向角的值小于第二阈值时，则确定驾驶员的头部转向第一方向为驾驶员右侧方向，其中，第二阈值小于第一阈值。

3.根据权利要求1所述的方法，其特征在于，对每次获取的第二待检测图像帧分别进行第二人脸检测，根据第二人脸检测结果确定均检测到正脸，包括：

对每次获取的所述第二待检测图像帧分别进行人脸检测，得到第二人脸检测结果，所述第二人脸检测结果包括驾驶员头部的第二航向角；

当所述第二航向角大于或等于第二阈值，且小于或等于第一阈值时，则确定所述第二待检测图像帧中检测到驾驶员的正脸，其中，第二阈值小于第一阈值。

4.根据权利要求1至3任一项所述的方法，其特征在于，对所述第一待检测图像帧进行人脸检测，包括：

向人脸检测神经网络模型输入所述第一待检测图像帧，输出包括人脸位置框的坐标信息；

根据所述第一待检测图像帧中的人脸位置框的坐标信息，从所述第一待检测图像帧中分割出人脸图像，以及调整所述人脸图像的分辨率；

将分辨率调整后的人脸图像输入到人脸关键点检测神经网络模型中，得到多个人脸关键点的位置坐标以及头部姿态角，所述头部姿态角包括航向角和俯仰角。

5.根据权利要求4所述的方法，其特征在于，控制车辆的显示屏显示所述车辆盲区实时路况信息之后，所述方法还包括：

从所述第一摄像头连续M次获取关于所述监控区域的第三待检测图像帧，M为正整数；

对所述M次获取的第三待检测图像帧分别进行第三人脸检测，根据第三人脸检测结果确定M次获取的第三待检测图像帧的俯仰角均大于或等于第三阈值时，则控制车辆的显示屏关闭。

6.根据权利要求1所述的方法，其特征在于，从第一摄像头获取第一待检测图像帧之前，所述方法还包括：

在车辆启动前，从所述第一摄像头连续K次获取关于监控区域的第四待检测图像帧，K为正整数；

对所述K次获取的第四待检测图像帧分别进行第四人脸检测，根据第四人脸检测结果确定均检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器启动车辆。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据第四人脸检测结果确定所述K次获取的第四待检测图像帧全部或部分未检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器不启动车辆。

8.根据权利要求1所述的方法，其特征在于，对所述每次获取的第二待检测图像帧分别进行第二人脸检测之后，所述方法还包括：

根据第二人脸检测结果确定所述每次获取的第二待检测图像帧全部或部分未检测到正脸时，则向驾驶员发出危险预警。

9.一种辅助驾驶装置，其特征在于，应用于车载终端，所述装置包括：

获取单元，用于在车辆行驶过程中，在第一时刻从第一摄像头获取关于监控区域的第一待检测图像帧，其中，所述监控区域对应驾驶室，所述第一摄像头固定于所述驾驶室的上方；

人脸检测单元，用于对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，所述第一方向为驾驶员左侧方向或者驾驶员右侧方向；

所述获取单元，还用于在第一时刻之后的设定时长内从第二摄像头多次实时获取第二待检测图像帧，所述第二摄像头固定于所述车辆的目标后视镜上，所述目标后视镜为所述第一方向那一侧的后视镜；

所述人脸检测单元，还用于对每次获取的第二待检测图像帧分别实时进行第二人脸检测；

获取路况单元，用于当第二人脸检测结果均检测到正脸时则从盲区摄像头获取车辆盲区实时路况信息；

控制单元，用于控制车辆的显示屏显示所述车辆盲区实时路况信息。

10.根据权利要求9所述的装置，其特征在于，所述人脸检测单元，对所述第一待检测图像帧进行第一人脸检测，根据第一人脸检测结果确定驾驶员的头部转向第一方向，具体用于：

对所述第一待检测图像帧分别进行人脸检测，得到第一人脸检测结果，所述第一人脸检测结果包括驾驶员头部的第一航向角；

当所述第一航向角大于第一阈值时，则确定驾驶员的头部转向第一方向为驾驶员左侧方向，当所述第一航向角的值小于第二阈值时，则确定驾驶员的头部转向第一方向为驾驶员右侧方向，其中，第二阈值小于第一阈值。

11.根据权利要求10所述的装置，其特征在于，所述人脸检测单元对每次获取的第二待检测图像帧分别进行第二人脸检测，根据第二人脸检测结果确定均检测到正脸，具体用于：

对每次获取的所述第二待检测图像帧分别进行人脸检测，得到第二人脸检测结果，所述第二人脸检测结果包括驾驶员头部的第二航向角；

当所述第二航向角大于或等于第二阈值，且小于或等于第一阈值时，则确定所述第二待检测图像帧中检测到驾驶员的正脸，其中，第二阈值小于第一阈值。

12.根据权利要求9至11任一项所述的装置，其特征在于，所述人脸检测单元对所述第一待检测图像帧进行人脸检测，具体用于：

向人脸检测神经网络模型输入所述第一待检测图像帧，输出包括人脸位置框的坐标信息；

根据所述第一待检测图像帧中的人脸位置框的坐标信息，从所述第一待检测图像帧中分割出人脸图像，以及调整所述人脸图像的分辨率；

将分辨率调整后的人脸图像输入到人脸关键点检测神经网络模型中，得到多个人脸关键点的位置坐标以及头部姿态角，所述头部姿态角包括航向角和俯仰角。

13.根据权利要求12所述的装置，其特征在于，所述控制单元控制车辆的显示屏显示所述车辆盲区实时路况信息之后，所述获取单元，还用于从所述第一摄像头连续M次获取关于所述监控区域的第三待检测图像帧，M为正整数；

所述人脸检测单元，还用于对所述M次获取的第三待检测图像帧分别进行第三人脸检测；

所述控制单元，还用于根据第三人脸检测结果确定M次获取的第三待检测图像帧的俯仰角均大于或等于第三阈值时，则控制车辆的显示屏关闭。

14.根据权利要求9所述的装置，其特征在于，所述获取单元从第一摄像头获取第一待检测图像帧之前，还用于：

在车辆启动前，从所述第一摄像头连续K次获取关于监控区域的第四待检测图像帧，K为正整数；

对所述K次获取的第四待检测图像帧分别进行第四人脸检测，根据第四人脸检测结果确定均检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器启动车辆。

15.根据权利要求14所述的装置，其特征在于，所述控制单元还用于：

根据第四人脸检测结果确定所述K次获取的第四待检测图像帧全部或部分未检测到正脸时，则在接收到驾驶员的启动操作时，控制车辆启动器不启动车辆。

16.根据权利要求9所述的装置，其特征在于，对所述每次获取的第二待检测图像帧分别进行第二人脸检测之后，所述控制单元，还用于根据第二人脸检测结果确定所述每次获取的第二待检测图像帧全部或部分未检测到正脸时，则向驾驶员发出危险预警。

17.一种车载终端，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至8中任一项所述的方法。

18.一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8中任一项所述的方法。

Images