CN116027697A - 车辆行驶状态控制装置、方法及电子设备 - Google Patents

Abstract

本发明公开了一种车辆行驶状态控制装置、方法及电子设备，其中，车辆行驶状态控制装置包括：图像采集单元，被配置在车辆上，用于获取包含骑乘人员正面上半身的原始图像；处理单元，用于对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；控制单元，用于基于判断结果产生控制信号以控制车辆的行驶状态，其中，行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。本发明至少基于骑乘人员佩戴头盔是否按规定佩戴头盔的判断结果实现对车辆行驶状态进行控制的技术问题。

Description

车辆行驶状态控制装置、方法及电子设备

本发明要求2021年10月22日递交的发明名称为“非机动车驾驶行为识别方法、装置及电子设备”的第202111235887.9号中国专利申请的优先权，该专利申请以全文引用的方式并入本文中。

技术领域

本发明涉及车辆控制技术，具体而言，涉及一种车辆行驶状态控制装置、方法及电子设备。

背景技术

摩托车和电动自行车等车辆因具有便捷性和经济学而成为一种重要的交通工具，但是同时也伴随着大量的交通事故发生，且一旦发生交通事故，骑乘人将直接面对危险。有研究显示，颅脑损伤是道路交通事故致死的最主要原因，而在电动自行车交通事故中，因颅脑损伤致死的比例更高，超过80％。安全头盔能够减少63％的头部受伤和88％的颅脑损伤，不戴安全头盔的受伤人数是佩戴安全头盔的3倍之多。因此，正确佩戴安全头盔，对降低骑乘人的道路交通伤害有重要作用。目前，全国多地已对佩戴安全头盔制定了相关法律法规。然而，目前市场上不存在有效检测骑行人是否佩戴头盔符合规范的产品，对骑行人及车上载客未佩戴合规头盔也缺乏有效的强制性手段。

在现有的一种技术方案中，主要通过安装在电动自行车仪表盘上的图像采集装置对驾驶员的上半身信息进行采集，进而通过特征提取、比对等图像处理手段给出驾驶员是否佩戴头盔的结论。但是，该方案只能对驾驶员在佩戴头盔与否这个方面进行驾驶行为规范性的监督，而对于诸如超载等其他方面的不规范行则为无法进行识别，具有一定的安全监督局限性；且仅就佩戴头盔而论，该方法既无法区分佩戴头盔的种类是否符合规范(例如施工用的安全帽和头盔外形相似，但遇到事故时无法完全起到防护的作用)，也无法区分头盔佩戴的状态是否符合要求(例如头盔是只搭在头上还是通过系绳系紧)。

因此，有必要提出一种车辆行驶状态控制技术，能够根据摄像头获取的图像，至少解决基于骑乘人员佩戴头盔是否按规定佩戴头盔的判断结果实现对车辆行驶状态进行控制的技术问题。

发明内容

本发明实施例提供了一种车辆行驶状态控制装置、方法及电子设备，以至少基于骑乘人员佩戴头盔是否按规定佩戴头盔的判断结果实现对车辆行驶状态进行控制的技术问题。

根据本发明实施例的一个方面，提供了一种车辆行驶状态控制装置，包括：图像采集单元，被配置在车辆上，用于获取包含骑乘人员正面上半身的原始图像；处理单元，用于对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；控制单元，用于基于判断结果产生控制信号以控制车辆的行驶状态，其中，行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

可选地，当判断结果显示为按规定佩戴头盔时，控制单元产生的控制信号控制车辆启动、加速或正常行驶；当判断结果显示为未按规定佩戴头盔时，控制单元产生的控制信号控制车辆停止、减速、低速或限速行驶。

可选地，上述车辆行驶状态控制装置还包括报警单元，其中，当判断结果显示为未按规定佩戴头盔时，报警单元产生报警信号。

可选地，上述车辆行驶状态控制装置还包括无线通信单元，其中，当判断结果显示为未按规定佩戴头盔时，无线通信单元将判断结果发送给远程监控终端，远程监控终端包括交管部门。

可选地，上述处理单元包括：第一检测单元，用于对原始图像进行检测，获得头部区域；第一识别单元，用于对头部区域进行识别，获得骑乘人员是否按规定佩戴头盔的判断结果。

可选地，上述车辆行驶状态控制装置还包括：光线检测单元，用于检测环境光线并产生光线检测信号；处理单元基于光线检测信号产生切换信号控制图像采集单元切换获取的原始图像的类型，其中，原始图像的类型包括RGB图像和IR图像；当光线检测信号表征环境光线较暗时，处理单元控制图像采集单元切换为红外模式以获取IR图像；当光线检测信号表征环境光线较亮时，处理单元控制图像采集单元切换为普通模式以获取RGB图像。

可选地，上述车辆行驶状态控制装置还包括：车灯控制单元，用于根据光线检测信号产生车灯控制信号，当光线检测信号表征环境光线较暗时，车灯控制信号控制车灯打开；当光线检测信号表征环境光线较亮时，车灯控制信号控制车灯关闭。

可选地，上述车辆行驶状态控制装置还包括：计数单元，用于获取原始图像中头部区域的数量；判断单元，根据头部区域的数量，判断车辆上骑乘人员的数量是否超出第一预设值；当头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。

可选地，上述处理单元包括：第二检测单元，用于对原始图像进行检测，获得面部区域；第二识别单元，用于对面部区域进行识别，获得面部朝向信息。

可选地，上述车辆行驶状态控制装置还包括：第三检测单元，对原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；第三识别单元，基于面部区域的位置信息、手机区域的位置信息和面部区域的朝向信息判断骑行人员是否处于分心使用手机状态。

可选地，上述车辆行驶状态控制装置还包括：第四识别单元，用于对面部区域进行识别，获得骑行人员的生理特征数据，其中，生理特征数据包括以下至少一项：心率、血压。

可选地，上述车辆行驶状态控制装置还包括：第五识别单元，用于对面部区域进行识别，判断是否为授权骑行人员；当判断出是授权骑行人员时，控制车辆解锁。

根据本发明实施例的另一方面，还提供了一种车辆行驶状态控制方法，包括：通过安装在车辆上的摄像装置获取包含骑乘人员正面上半身的原始图像；对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；基于判断结果产生控制信号以控制车辆的行驶状态，其中，行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

可选地，当判断结果显示为按规定佩戴头盔时，控制信号控制车辆启动、加速或正常行驶；当判断结果显示为未按规定佩戴头盔时，控制信号控制车辆停止、减速、低速、限速行驶。

可选地，上述车辆行驶状态控制方法还包括：当判断结果显示为未按规定佩戴头盔时，产生报警信号。

可选地，上述车辆行驶状态控制方法还包括：当判断结果显示为未按规定佩戴头盔时，将判断结果发送给远程监控终端，远程监控终端包括交管部门。

可选地，对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果包括：对原始图像进行检测，获得头部区域；对头部区域进行识别，获得骑乘人员是否按规定佩戴头盔的判断结果。

可选地，上述车辆行驶状态控制方法还包括：检测环境光线并产生光线检测信号；基于光线检测信号产生切换信号控制摄像装置切换获取的原始图像的类型，其中，原始图像的类型包括RGB图像和IR图像；当光线检测信号表征环境光线较暗时，处理单元控制摄像装置切换为红外模式以获取IR图像；当光线检测信号表征环境光线较亮时，处理单元控制摄像装置切换为普通模式以获取RGB图像。

可选地，上述车辆行驶状态控制方法还包括：根据光线检测信号产生车灯控制信号，当光线检测信号表征环境光线较暗时，车灯控制信号控制车灯打开；当光线检测信号表征环境光线较亮时，车灯控制信号控制车灯关闭。

可选地，上述车辆行驶状态控制方法还包括：获取原始图像中头部区域的数量；根据头部区域的数量，判断车辆上骑乘人员的数量是否超出第一预设值；当头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。

可选地，上述车辆行驶状态控制方法还包括：对原始图像进行检测，获得面部区域；对面部区域进行识别，获得面部朝向信息。

可选地，上述车辆行驶状态控制方法，还包括：对原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；基于面部区域的位置信息、手机区域的位置信息和面部区域的朝向信息判断骑行人员是否处于分心使用手机状态。

可选地，上述车辆行驶状态控制方法还包括：基于多帧的面部朝向信息判断骑行人员是否处于分心骑行状态。

可选地，上述车辆行驶状态控制方法还包括：对面部区域进行识别，获得骑行人员的生理特征数据，其中，生理特征数据包括以下至少一项：心率、血压。

可选地，上述车辆行驶状态控制方法还包括：对面部区域进行识别，判断是否为授权骑行人员；当判断出是授权骑行人员时，控制车辆解锁。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的车辆行驶状态控制方法。

本发明提出的车辆行驶状态控制装置、方法及电子设备，可以利用检测技术和识别技术对骑乘人员上半身进行多个重点区域的定位，对头盔、面部、手机等驾驶过程中的关键信息进行完整提取和充分分析，进而可以从多个维度对骑乘人员的行为进行识别和判断，并根据判断结果对车辆行驶状态进行智能控制；此外，还可以结合光线检测等实现车辆的自适应调整，以进一步提高车辆的安全性能，从而减少交通事故发生的概率和造成的损害。并且，通过采用神经网络等深度学习方法，相比传统图像识别方法具有更好的识别效果，也可以有效地与当前主流人工智能硬件适配，可以运行在PC、手机及目前主流的嵌入式平台上，其中，嵌入式平台包括但不局限于ARM架构、DSP架构、NPU结构以及包含上述提到的架构中的任意几种的组合结构。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的车辆行驶状态控制装置的结构框图；

图2是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图；

图3是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图；

图4是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图；

图5是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图；

图6是根据本发明实施例的一种可选的车辆行驶状态控制方法的流程图；

图7是根据本发明实施例的另一种可选的车辆行驶状态控制方法的流程图；

图8是根据本发明实施例的又一种可选的车辆行驶状态控制方法的流程图；

图9是根据本发明实施例的又一种可选的车辆行驶状态控制方法的流程图；

图10是根据本发明实施例的又一种可选的车辆行驶状态控制方法的流程图；

图11是根据本发明实施例的又一种可选的车辆行驶状态控制方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的顺序在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如果提及到某个结构元件“连接”或“接触”于另一结构元件，其可能是直接连接于或接触于另一结构元件，但也可被理解为是他们中间存在有其他结构元件。反之，如果提及到某个结构元件“直接连接”或“直接接触”于另一结构元件，则应当被理解为是他们之间不存在有其他结构元件。

参考图1，是根据本发明实施例的一种可选的车辆行驶状态控制装置的结构框图。如图1所示，该车辆行驶状态控制装置包括：

图像采集单元100，被配置在车辆上，用于获取包含骑乘人员正面上半身的原始图像；

在一种可选的实施例中，图像采集单元100可以安装在车辆的仪表盘、后视镜等能够获取骑乘人员正面上半身图像的位置，并且骑乘人员正面上半身占整个图像的比例超过第一阈值，使得骑乘人员正面上半身占比较大，有助于提高后续的检测和识别效果。在车辆接收到启动指令后，图像采集单元100以预设帧率持续获取包含骑乘人员正面上半身的原始图像，以此判断是否启动车辆、控制车辆的车速和/或判断骑乘人员是否存在违规行为(超载、未正确佩戴头盔、分心驾驶、疲劳驾驶)等。骑乘人员包括骑行人员和/或乘坐人员。上述车辆可以包括自行车、电动自行车、残疾人机动轮椅车、货运人力车、三轮车等非机动车，以及摩托车、三轮农用运输车等机动车。

处理单元102，用于对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；

在一种可选的实施例中，是否正确佩戴头盔的判断结果包括正确佩戴头盔、未佩戴头盔、未系扣头盔带等；头盔种类包括合规头盔、非合规头盔(例如，施工安全帽、头巾)等。

在一种可选的实施例中，处理单元102还可以包括对摄像装置获取的原始图像进行处理，处理方法包括：畸变矫正、降噪、校准、色彩增强、融合、拼接等处理，以获取更高质量的图像数据。

控制单元104，用于基于判断结果产生控制信号以控制车辆的行驶状态，其中，行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

在一种可选的实施例中，当处理单元102获得的判断结果显示为按规定佩戴头盔时，控制单元104产生的控制信号控制车辆启动、加速或正常行驶；当处理单元102获得的判断结果显示为未按规定佩戴头盔时，控制单元104产生的控制信号控制车辆停止、减速、低速或限速行驶。当然，本领域技术人员可知，启动、停止、加速、减速、低速行驶、限速行驶、正常行驶仅仅作为车辆行驶状态的示例而不限制其它车辆行驶状态。

上述车辆行驶状态控制装置不仅可以自动快速地识别车辆骑乘人员是否正确佩戴头盔，而且还可以判断骑乘人员佩戴的头盔种类及佩戴方式是否合规，并根据判断结果控制车辆的行驶状态，以减少交通事故中因未按规定佩戴头盔而造成的损害。

在一种可选的实施例中，处理单元102包括：第一检测单元，用于对原始图像进行检测，获得头部区域；第一识别单元，用于对头部区域进行识别，获得骑乘人员是否按规定佩戴头盔的判断结果。基于上述处理单元的车辆行驶状态控制装置还可以包括计数单元，用于获取原始图像中头部区域的数量；判断单元，根据头部区域的数量，判断车辆上骑乘人员的数量是否超出第一预设值；当头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。上述违规信号可以传输至远程监控终端(例如，交管部门)实现智能获取超载等违规数据，减少管理成本，提高管理效率，并进一步减少交通事故及其带来的损害。

在一种可选的实施例中，处理单元102包括：第二检测单元，用于对原始图像进行检测，获得面部区域；第二识别单元，用于对面部区域进行识别，获得面部朝向信息。根据多帧的面部朝向信息，判断骑行人员是否长时间处于分心骑行状态。当判断出骑行人员处于分心骑行状态时，输出判断信号给车辆的控制单元，控制车辆停止、减速、低速或限速行驶，进一步减少交通事故的发生。基于上述处理单元的一种车辆行驶状态控制装置还可以包括第三检测单元，对原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；第三识别单元，基于面部区域的位置信息、手机区域的位置信息和面部区域的朝向信息判断骑行人员是否处于分心使用手机状态。当判断出骑行人员处于分心使用手机状态时，输出判断信号给车辆的控制单元，控制车辆停止、减速、低速或限速行驶，有效避免了骑行人员因分析使用手机而导致的交通事故。基于上述处理单元的另一种车辆行驶状态控制装置还可以包括第四识别单元，用于对面部区域进行识别，获得骑行人员的生理特征数据，其中，生理特征数据包括以下至少一项：心率、血压。当判断出骑行人员的生理特征数据处于正常范围之外时，控制车辆停止、减速、低速或限速行驶，进一步减少交通事故的发生。基于上述处理单元的另一种车辆行驶状态控制装置还可以包括第五识别单元，用于对面部区域进行识别，判断是否为授权骑行人员；当判断出是授权骑行人员时，控制车辆解锁；当判断出不是授权骑行人员时，保持车辆锁定；由此可以减少钥匙的使用，实现智能开锁，避免因钥匙丢失带来的麻烦。并且，当判断出不是授权骑行人员时，也可以进一步发出报警信号给车辆的报警系统或手机等远程终端以提醒车辆所有权人。

参考图2，是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图，如图2所示，车辆行驶状态控制装置除了包含图1中所示的图像采集单元100、处理单元102和控制单元104外，还可以包括速度检测单元200，用于实时检测车辆的行驶速度以产生速度检测信号，并将速度检测信号发送给控制单元；控制单元104结合处理单元102获得的判断结果和速度检测单元200产生的速度检测信号产生控制信号以控制车辆的行驶状态。由此，实现车辆速度的智能控制。

参考图3，是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图，如图3所示，车辆行驶状态控制装置除了包含图1中所示的图像采集单元100、处理单元102和控制单元104外，还可以包括报警单元300，其中，当处理单元102获得的判断结果显示为未按规定佩戴头盔时，报警单元300产生报警信号。

上述报警信号可以通过视频线、数据线等有线方式，或无线(Wireless)方式传输。

参考图4，是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图，如图4所示，车辆行驶状态控制装置除了包含图1中所示的图像采集单元100、处理单元102和控制单元104外，还可以包括无线通信单元400，其中，当处理单元102获得的判断结果显示为未按规定佩戴头盔时，无线通信单元400将判断结果发送给远程监控终端402，远程监控终端402包括交管部门等。上述车辆行驶状态控制装置可以帮助远程监控终端实现智能获取违章数据，减少管理成本，提高管理效率，并进一步减少交通事故。当然，本领域技术人员可知，上述无线通信单元仅为示例，车辆行驶状态控制装置还可以包括其它具有相同或类似功能的通信模块，或者进一步包括具有除通信功能以外其它功能的模块。

参考图5，是根据本发明实施例的另一种可选的车辆行驶状态控制装置的结构框图，如图5所示，车辆行驶状态控制装置除了包含图1中所示的图像采集单元100、处理单元102和控制单元104外，还可以包括光线检测单元500，用于检测环境光线并产生光线检测信号；处理单元102基于光线检测信号产生切换信号控制图像采集单元100切换获取的原始图像的类型，其中，原始图像的类型包括RGB图像和/或IR图像；当光线检测信号表征环境光线较暗时，处理单元102控制图像采集单元100切换为红外模式以获取IR图像；当光线检测信号表征环境光线较亮时，处理单元102控制图像采集单元100切换为普通模式以获取RGB图像。上述车辆行驶状态控制装置可以适用于全天候环境，不受光线影响；并且，根据判断结果对车辆进行控制，可以减少交通事故发生的概率。在另一种可选的实施例中，上述车辆行驶状态控制装置还可以包括车灯控制单元502，用于根据光线检测信号产生车灯控制信号以控制车灯打开或关闭，当光线检测信号表征环境光线较暗时，车灯控制信号控制车灯打开；当光线检测信号表征环境光线较亮时，车灯控制信号控制车灯关闭。上述车辆行驶状态控制装置可以实现智能车灯控制，进一步减少交通事故发生的概率。

参考图6，是根据本发明实施例的一种可选的车辆行驶状态控制方法的流程图。

如图6所示，该车辆行驶状态控制方法包括：

步骤S60，通过安装在车辆上的摄像装置获取包含骑乘人员正面上半身的原始图像；

在一种可选的实施例中，摄像装置可以安装在车辆的仪表盘、后视镜等能够获取骑乘人员正面上半身图像的位置，并且骑乘人员正面上半身占整个图像的比例超过第一阈值，使得骑乘人员正面上半身占比较大，有助于提高后续的检测和识别效果。在车辆接收到启动指令后，摄像装置以预设帧率持续获取包含骑乘人员正面上半身的原始图像，以此判断是否启动车辆、控制车辆的车速和/或判断骑乘人员是否存在违规行为(超载、未正确佩戴头盔、分心驾驶、疲劳驾驶)等。骑乘人员包括骑行人员和/或乘坐人员。上述车辆可以包括自行车、电动自行车、残疾人机动轮椅车、货运人力车、三轮车等非机动车，以及摩托车、三轮农用运输车等机动车。

步骤S62，对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果；

在一种可选的实施例中，可以使用经过训练的神经网络模型(例如，卷积神经网络、循环神经网络等)对原始图像进行检测和识别，获得骑乘人员是否按规定佩戴头盔的判断结果。

在一种可选的实施例中，是否正确佩戴头盔的判断结果包括正确佩戴头盔、未佩戴头盔、未系扣头盔带等；头盔种类包括合规头盔、非合规头盔(例如，施工安全帽、头巾)等。

在一种可选的实施例中，步骤62还可以包括对摄像装置获取的原始图像进行处理，处理方法包括：畸变矫正、降噪、校准、色彩增强、融合、拼接等处理，以获取更高质量的图像数据。

步骤S64，基于判断结果产生控制信号以控制车辆的行驶状态，其中，行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

在一种可选的实施例中，当判断结果显示为按规定佩戴头盔时，控制信号控制车辆启动、加速或正常行驶；当判断结果显示为未按规定佩戴头盔时，控制信号控制车辆停止、减速、低速或限速行驶。当然，本领域技术人员可知，启动、停止、加速、减速、低速行驶、限速行驶、正常行驶仅为车辆行驶状态的示例而不作为限制。

通过上述步骤S60-S64，不仅可以自动快速地识别车辆骑乘人员是否正确佩戴头盔，而且还可以进一步判断骑乘人员佩戴的头盔种类及佩戴方式是否合规，并根据判断结果控制车辆的行驶状态，以减少交通事故中因因佩戴头盔不符合要求而造成的损害。

在一种可选的实施例中，步骤S62可以包括：步骤S620，对原始图像进行检测，获得头部区域。具体地，可以使用经过训练的第一神经网络模型(例如，卷积神经网络、循环神经网络等)对原始图像进行检测，获得头部区域。头部区域可以为矩形区域，但不限于矩形，也可以为其它几何形状。在一种具体的实施例中，假设原始图像的分辨率为1280×800,回归出的头部区域左上角坐标为(100,100)，右下角坐标为(350,780)，那么原始图像中头部区域指仅包含原始图像中从(100,100)到(350,780)的区域，相当于在原始图像中自(100,100)处截取了一个分辨率为250×680的区域。步骤S622，对头部区域进行识别，获得骑乘人员是否按规定佩戴头盔的判断结果。具体地，可以使用经过训练的第二神经网络模型(例如，卷积神经网络、循环神经网络等)对头部区域进行识别，获得骑乘人员是否按规定佩戴头盔的判断结果。基于此，上述车辆行驶状态控制方法还可以包括：步骤S624：获取原始图像中头部区域的数量；步骤S626：根据原始图像中头部区域的数量，判断当前车辆上骑乘人员的数量是否超出第一预设值，从而判断是否存在人员超载的情况；例如，当头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。上述违规信号可以传输至远程监控终端(例如，交管部门)实现智能获取超载等违规数据，减少管理成本，提高管理效率，并进一步减少交通事故及其带来的损害。

在一种可选的实施例中，步骤S62可以包括：步骤S630，对原始图像进行检测，获得面部区域；步骤S632，对面部区域进行识别，获得面部朝向信息。在一种可选的实施例中，可以使用经过训练的第三神经网络模型(例如，卷积神经网络、循环神经网络等)对原始图像进行检测，获得面部区域；可以使用经过训练的第四神经网络模型(例如，卷积神经网络、循环神经网络)对面部区域进行识别，获得面部朝向信息。根据多帧的面部朝向信息，判断骑行人员是否长时间处于分心骑行状态。当判断出骑行人员处于分心骑行状态时，根据判断信号控制车辆停止、减速、低速或限速行驶，进一步减少交通事故的发生。基于此，上述车辆行驶状态控制方法还可以包括：步骤S633：对原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；步骤S634：基于面部区域的位置信息、手机区域的位置信息和面部区域的朝向信息判断骑行人员是否处于分心状态。在一种可选的实施例中，可以使用经过训练的第五神经网络模型(例如，卷积神经网络、循环神经网络)对面部区域以及手机区域进行识别，获得面部区域的位置信息以及手机区域的位置信息；可以使用经过训练的第六神经网络模型(例如，卷积神经网络、循环神经网络)，根据多帧的面部朝向信息，并结合面部区域的位置信息和手机区域的位置信息判断骑行人员是否处于分心使用手机状态，当判断出骑行人员处于分心使用手机状态时，输出判断信号给车辆的控制单元，控制车辆停止、减速、低速或限速行驶，有效避免了骑行人员因分析使用手机而导致的交通事故。基于此，上述车辆行驶状态控制方法还可以包括：步骤S635：对面部区域进行识别，获得骑行人员的生理特征数据，其中，生理特征数据包括以下至少一项：心率、血压。在一种可选的实施例中，可以使用经过训练的第七神经网络模型(例如，卷积神经网络、循环神经网络)对面部区域进行识别，获得骑行人员的生理特征数据。当判断出骑行人员的生理特征数据处于正常范围之外时，控制车辆停止、减速、低速或限速行驶，进一步减少交通事故的发生。基于此，上述车辆行驶状态控制方法还可以包括：步骤S636：对面部区域进行识别，判断是否为授权骑行人员；当判断出是授权骑行人员时，控制车辆解锁；当判断出不是授权骑行人员时，保持车辆锁定。在一种可选的实施例中，可以使用经过训练的第八神经网络模型(例如，卷积神经网络、循环神经网络)对面部区域进行识别，判断是否为授权骑行人员。由此可以减少钥匙的使用，实现智能开锁，避免因钥匙丢失带来的麻烦。并且，当判断出不是授权骑行人员时，也可以进一步发出报警信号给车辆的报警系统或手机等远程终端以提醒车辆所有权人。

在一种可选的实施例中，获得上述经过训练的第一神经网络的方法包括：构建初始神经网络；使用训练数据集对初始神经网络进行训练。训练数据集中的每一张图上具有是否包含头部区域的第一标记(例如，头部区域在完整图像中的左上、右下二维坐标对)。将训练数据集中的图像按照不同批次随机输入至初始神经网络，将输出结果中是否包含头部区域的第一预测结果与第一标记进行比对，并根据比对误差调整初始神经网络中的权重值。经过多次训练，当比对误差小于一定程度或者训练次数达到预设值时，停止训练获得经过训练的神经网络。

类似地，可以使用具有不同标记的训练数据集分别对第二神经网络模型至第八神经网络模型的训练。本领域技术人员可知，上述第一神经网络模型至第八神经网络模型可以是相互独立的网络模型，也可以是一个神经网络模型中的各个独立的或部分重合的组成部分。

通过采用神经网络等深度学习方法，相比传统图像识别方法具有更好的识别效果，也可以有效地与当前主流人工智能硬件适配，可以运行在PC、手机及目前主流的嵌入式平台上，其中，嵌入式平台包括但不局限于ARM架构、DSP架构、NPU结构以及包含上述提到的架构中的任意几种的组合结构。

参考图7，是根据本发明实施例的另一种可选的车辆行驶状态控制方法的流程图，如图8所示，车辆行驶状态控制方法除了包含图6中所示的步骤S60-S64外，还可以包括步骤S63：实时检测车辆的行驶速度以产生速度检测信号，并结合判断结果和速度检测信号产生控制信号以控制车辆的行驶状态。由此，实现车辆速度的智能控制。

参考图8，是根据本发明实施例的另一种可选的车辆行驶状态控制方法的流程图，如图7所示，车辆行驶状态控制方法除了包含图6或图7中所示的步骤外，还可以包括步骤S65：当判断结果显示为未按规定佩戴头盔时，产生报警信号。

上述报警信号可以通过视频线、数据线等有线方式，或无线(Wireless)方式传输。

参考图9，是根据本发明实施例的另一种可选的的车辆行驶状态控制方法的流程图，如图9所示，车辆行驶状态控制方法除了包含图6、图7或图8中所示的步骤外，还可以包括步骤S66：当判断结果显示为未按规定佩戴头盔时，将判断结果发送给远程监控终端，远程监控终端包括交管部门。上述车辆行驶状态控制方法可以帮助远程监控终端实现智能获取违章数据，减少管理成本，提高管理效率，并进一步减少交通事故。

参考图10，是根据本发明实施例的另一种可选的的车辆行驶状态控制方法的流程图，如图10所示，车辆行驶状态控制方法除了包含图6-图9任一项中所示的步骤外，还可以包括步骤S56：检测环境光线并产生光线检测信号；步骤S58：基于光线检测信号产生切换信号控制摄像装置切换获取的原始图像的类型，其中，原始图像的类型包括RGB图像和/或IR图像；当光线检测信号表征环境光线较暗时，控制摄像装置切换为红外模式以获取IR图像；当光线检测信号表征环境光线较亮时，控制摄像装置切换为普通模式以获取RGB图像。上述车辆行驶状态控制方法可以适用于全天候环境，不受光线影响；并且，根据判断结果对车辆进行控制，可以减少交通事故发生的概率。

参考图11，是根据本发明实施例的另一种可选的的车辆行驶状态控制方法的流程图，如图11所示，车辆行驶状态控制方法除了包含图6-图10任一项中所示的步骤外，还可以包括步骤S57：根据光线检测信号产生车灯控制信号以控制车灯打开或关闭，当光线检测信号表征环境光线较暗时，车灯控制信号控制车灯打开；当光线检测信号表征环境光线较亮时，车灯控制信号控制车灯关闭。上述车辆行驶状态控制方法可以实现智能车灯控制，进一步减少交通事故发生的概率。

通过上述实施例，利用检测技术和识别技术对骑乘人员上半身进行多个重点区域的定位，对头盔、面部、手机等驾驶过程中的关键信息进行完整提取和充分分析，进而可以从多个维度对骑乘人员的行为进行识别和判断，并根据判断结果对车辆行驶状态进行智能控制；此外，还可以结合光线检测、速度检测等实现车辆的自适应调整，以进一步提高车辆的安全性能，从而减少交通事故发生的概率和造成的损害。

根据本发明实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述任意一项的车辆行驶状态控制方法。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述任意一项的车辆行驶状态控制方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (26)

1.一种车辆行驶状态控制装置，包括：

图像采集单元，被配置在车辆上，用于获取包含骑乘人员正面上半身的原始图像；

处理单元，用于对所述原始图像进行检测和识别，获得所述骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；

控制单元，用于基于所述判断结果产生控制信号以控制所述车辆的行驶状态，其中，所述行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

2.根据权利要求1所述的车辆行驶状态控制装置，其特征在于，

当所述判断结果显示为按规定佩戴头盔时，所述控制单元产生的控制信号控制所述车辆启动、加速或正常行驶；

当所述判断结果显示为未按规定佩戴头盔时，所述控制单元产生的控制信号控制所述车辆停止、减速、低速或限速行驶。

3.根据权利要求2所述的车辆行驶状态控制装置，还包括报警单元，其中，当所述判断结果显示为未按规定佩戴头盔时，所述报警单元产生报警信号。

4.根据权利要求2所述的车辆行驶状态控制装置，还包括无线通信单元，其中，当所述判断结果显示为未按规定佩戴头盔时，所述无线通信单元将所述判断结果发送给远程监控终端，所述远程监控终端包括交管部门。

5.根据权利要求1所述的车辆行驶状态控制装置，其特征在于，所述处理单元包括：

第一检测单元，用于对所述原始图像进行检测，获得头部区域；

第一识别单元，用于对所述头部区域进行识别，获得所述骑乘人员是否按规定佩戴头盔的判断结果。

6.根据权利要求1所述的车辆行驶状态控制装置，还包括：

光线检测单元，用于检测环境光线并产生光线检测信号；

所述处理单元基于所述光线检测信号产生切换信号控制所述图像采集单元切换获取的原始图像的类型，其中，所述原始图像的类型包括RGB图像和IR图像；

当所述光线检测信号表征环境光线较暗时，所述处理单元控制所述图像采集单元切换为红外模式以获取所述IR图像；当所述光线检测信号表征环境光线较亮时，所述处理单元控制所述图像采集单元切换为普通模式以获取所述RGB图像。

7.根据权利要求6所述的车辆行驶状态控制装置，还包括：车灯控制单元，用于根据所述光线检测信号产生车灯控制信号，当所述光线检测信号表征环境光线较暗时，所述车灯控制信号控制车灯打开；当所述光线检测信号表征环境光线较亮时，所述车灯控制信号控制车灯关闭。

8.根据权利要求5所述的车辆行驶状态控制装置，还包括：

计数单元，用于获取所述原始图像中所述头部区域的数量；

判断单元，根据所述头部区域的数量，判断所述车辆上骑乘人员的数量是否超出第一预设值；当所述头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。

9.根据权利要求1所述的车辆行驶状态控制装置，所述处理单元包括：

第二检测单元，用于对所述原始图像进行检测，获得面部区域；

第二识别单元，用于对所述面部区域进行识别，获得面部朝向信息。

10.根据权利要求9所述的车辆行驶状态控制装置，还包括：

第三检测单元，对所述原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；

第三识别单元，基于所述面部区域的位置信息、所述手机区域的位置信息和所述面部区域的朝向信息判断骑行人员是否处于分心使用手机状态。

11.根据权利要求9所述的车辆行驶状态控制装置，还包括：第四识别单元，用于对所述面部区域进行识别，获得骑行人员的生理特征数据，其中，所述生理特征数据包括以下至少一项：心率、血压。

12.根据权利要求9所述的车辆行驶状态控制装置，还包括：第五识别单元，用于对所述面部区域进行识别，判断是否为授权骑行人员；当判断出是所述授权骑行人员时，控制车辆解锁。

13.一种车辆行驶状态控制方法，包括：

通过安装在车辆上的摄像装置获取包含骑乘人员正面上半身的原始图像；

对所述原始图像进行检测和识别，获得所述骑乘人员是否按规定佩戴头盔的判断结果，其中，按规定佩戴头盔包括正确佩戴头盔以及头盔种类符合要求；

基于所述判断结果产生控制信号以控制所述车辆的行驶状态，其中，所述行驶状态包括启动、停止、加速、减速、低速行驶、限速行驶、正常行驶。

14.根据权利要求13所述的车辆行驶状态控制方法，其特征在于，

当所述判断结果显示为按规定佩戴头盔时，所述控制信号控制所述车辆启动、加速或正常行驶；

当所述判断结果显示为未按规定佩戴头盔时，所述控制信号控制所述车辆停止、减速、低速或限速行驶。

15.根据权利要求14所述的车辆行驶状态控制方法，还包括：当所述判断结果显示为未按规定佩戴头盔时，产生报警信号。

16.根据权利要求14所述的车辆行驶状态控制方法，还包括：当所述判断结果显示为未按规定佩戴头盔时，将所述判断结果发送给远程监控终端，所述远程监控终端包括交管部门。

17.根据权利要求14所述的车辆行驶状态控制方法，其特征在于，对所述原始图像进行检测和识别，获得所述骑乘人员是否按规定佩戴头盔的判断结果包括：

对所述原始图像进行检测，获得头部区域；

对所述头部区域进行识别，获得所述骑乘人员是否按规定佩戴头盔的判断结果。

18.根据权利要求13所述的车辆行驶状态控制方法，还包括：

检测环境光线并产生光线检测信号；

基于所述光线检测信号产生切换信号控制所述摄像装置切换获取的原始图像的类型，其中，所述原始图像的类型包括RGB图像和IR图像；

当所述光线检测信号表征环境光线较暗时，所述处理单元控制所述摄像装置切换为红外模式以获取所述IR图像；当所述光线检测信号表征环境光线较亮时，所述处理单元控制所述摄像装置切换为普通模式以获取所述RGB图像。

19.根据权利要求18所述的车辆行驶状态控制方法，还包括：根据所述光线检测信号产生车灯控制信号，当所述光线检测信号表征环境光线较暗时，所述车灯控制信号控制车灯打开；当所述光线检测信号表征环境光线较亮时，所述车灯控制信号控制车灯关闭。

20.根据权利要求17所述的车辆行驶状态控制方法，还包括：

获取所述原始图像中所述头部区域的数量；

根据所述头部区域的数量，判断所述车辆上骑乘人员的数量是否超出第一预设值；当所述头部区域的数量超过第一预设值时，判断存在人员超载的情况，输出违规信号。

21.根据权利要求13所述的车辆行驶状态控制方法，还包括：

对所述原始图像进行检测，获得面部区域；

对所述面部区域进行识别，获得面部朝向信息。

22.根据权利要求21所述的车辆行驶状态控制方法，还包括：

对所述原始图像进行检测，获得面部区域的位置信息和手机区域的位置信息；

基于所述面部区域的位置信息、所述手机区域的位置信息和所述面部区域的朝向信息判断骑行人员是否处于分心使用手机状态。

23.根据权利要求21所述的车辆行驶状态控制方法，还包括：基于多帧的所述面部朝向信息判断骑行人员是否处于分心骑行状态。

24.根据权利要求21所述的车辆行驶状态控制方法，还包括：对所述面部区域进行识别，获得骑行人员的生理特征数据，其中，所述生理特征数据包括以下至少一项：心率、血压。

25.根据权利要求21所述的车辆行驶状态控制方法，还包括：对所述面部区域进行识别，判断是否为授权骑行人员；当判断出是所述授权骑行人员时，控制车辆解锁。

26.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求13至25中任意一项所述的车辆行驶状态控制方法。

Images