CN108423006A - 一种辅助驾驶预警方法及系统 - Google Patents

一种辅助驾驶预警方法及系统 Download PDF

Info

Publication number
CN108423006A
CN108423006A CN201810106060.XA CN201810106060A CN108423006A CN 108423006 A CN108423006 A CN 108423006A CN 201810106060 A CN201810106060 A CN 201810106060A CN 108423006 A CN108423006 A CN 108423006A
Authority
CN
China
Prior art keywords
vehicle
driver
data
model
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810106060.XA
Other languages
English (en)
Inventor
李豪
于添
吕睿韬
谷洁瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hao Ling Technology Co., Ltd.
Original Assignee
Liaoning Aia Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning Aia Network Technology Co Ltd filed Critical Liaoning Aia Network Technology Co Ltd
Priority to CN201810106060.XA priority Critical patent/CN108423006A/zh
Publication of CN108423006A publication Critical patent/CN108423006A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种辅助驾驶预警方法及系统，所述方法包括获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；根据所述车辆采集数据，通过行车安全模型实时输出行车结果，通过司机疲劳检测模型实时输出司机疲劳检测结果；根据实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则通过预警装置向司机进行安全预警。

Description

一种辅助驾驶预警方法及系统
技术领域
本发明涉及通信技术领域，更具体地，涉及一种辅助驾驶预警方法及系统。
背景技术
近年来，随着车辆的普及和人工智能技术的发展，基于各种软硬件的辅助驾驶技术的研究正在飞速的发展，现有技术中，主要包括自动驾驶模式的驾驶辅助技术和通过预警方式提示司机实时驾驶情况的驾驶辅助技术，而由于相关法律未完善、技术方案不成熟等原因，自动驾驶技术还不能应用在人们的日常生活中；而目前通过预警方式提示司机实时驾驶情况的驾驶辅助技术功能都比较单一，例如对车辆超速、偏离道路等进行提醒，无法满足诸如物流货运行业未来对驾驶监控的高要求；同时，目前的辅助驾驶均是整合到最新的汽车当中，一些未配备该技术的汽车或一些老旧的车辆无法以外接设备的方式使用辅助驾驶技术；另，现有的辅助驾驶技术仅是对道路环境进行监控并提出预警建议，但没有对驾驶室内的驾驶情况或车辆本身的异常驾驶情况进行监控和预警。
发明内容
为了解决背景技术存在的现有驾驶辅助技术功能较为单一、且无法以外接设备的方式应用到出厂时没有配备该技术的车辆上，以及现有的辅助驾驶技术无法对驾驶室内的驾驶情况或车辆本身的异常驾驶情况进行监控和预警的问题，本发明提供了一种辅助驾驶预警方法及系统，所述方法及系统通过训练获得行车安全模型以及司机疲劳检测模型，进而对道路环境以及驾驶室内的驾驶情况进行实时监控；所述方法及系统通过对多种车辆数据的采集和处理实现了驾驶辅助功能的多样性；同时，所述方法及系统可通过外接装置实现，进而配备在任何车辆上；所述一种辅助驾驶预警方法包括：
获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
根据所述车辆采集数据，通过行车安全模型实时输出行车结果，通过司机疲劳检测模型实时输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
根据实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，通过预警装置向司机进行安全预警；
进一步的，所述方法包括：
实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若判断车辆发生了三急事件或判断车辆处于危险天气中，则达到二级安全预警标准；
通过网络连接向后台服务器发送一级安全预警以及二级安全预警及其对应的预警内容。
进一步的，所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
所述行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
进一步的，所述行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
进一步的，使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
进一步的，通过实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，根据实时更新的历史数据集优化行车安全模型；通过实时采集的司机面部图像数据实时更新司机面部图片样本集，根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
所述一种辅助驾驶预警系统包括：
行车安全模型训练单元，所述行车安全模型训练单元用于获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
司机疲劳检测模型训练单元，所述司机疲劳检测模型训练单元用于获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
数据采集单元，所述数据采集单元用于获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
模型应用单元，所述模型应用单元用于将信息采集单元的输出的车辆信息和车辆采集数据输入至行车安全模型训练单元输出的行车安全模型中，输出试试行车结果，同时输入至司机疲劳检测模型训练单元输出的司机疲劳检测模型中，输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
一级安全预警单元，所述一级安全预警单元用于根据模型应用单元实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，所述一级安全预警单元向司机进行安全预警。
进一步的，所述系统包括：
三急判断单元，所述三急事件判断单元实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
天气判断单元，所述天气判断单元用于通过通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若三急判断单元判断车辆发生了三急事件或叹气判断单元判断车辆处于危险天气中，则达到二级安全预警标准；
二级安全预警单元，所述二级安全预警单元用于将二级安全预警及其对应的预警内容，以及一级安全预警单元输出的一级安全预警及其对应的预警内容通过网络连接发送至后台服务器。
进一步的，所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
所述行车安全模型训练单元输出的行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
进一步的，所述行车安全模型训练单元输出的行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
进一步的，所述司机疲劳检测模型训练单元使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
进一步的，所述系统包括后台服务器，所述行车安全模型和司机疲劳检测模型在后台服务器中完成训练，并在后台服务器中根据接收的车辆采集数据使用行车安全模型和司机疲劳检测模型进行识别和判断；所述后台服务器为基于Openresty框架的Nginx服务器集群，所述后台服务器通过哈希算法实现负载均衡，将多组车辆数据信息分配至多台消息队列服务器。
进一步的，所述数据采集单元输出的车辆采集数据通过网络连接传输至后台服务器；在进行数据传输前，将所述车辆数据信息的精确度降低至预设精确度；若在数据传输过程中网络异常，在网络恢复后将网络异常期间的数据以数据包方式整体上传。
进一步的，若所述车辆在一段预设时间内一级安全预警以及二级安全预警的预警次数之和超过了预设的预警阈值，则判定该车辆为危险驾驶车辆，后台服务器通过网络将该车辆的信息以及一级安全预警和二级安全预警的内容发送至预设的相关联系人。
进一步的，通过数据采集单元实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，行车安全模型训练单元根据实时更新的历史数据集优化行车安全模型；
通过数据采集单元实时采集的司机面部图像数据实时更新司机面部图片样本集，司机疲劳检测模型训练单元根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
本发明的有益效果为：本发明的技术方案，给出了一种辅助驾驶预警方法及系统，所述方法及系统通过训练获得行车安全模型以及司机疲劳检测模型，进而对道路环境以及驾驶室内的驾驶情况进行实时监控，并将监控的异常情况实时预警给司机；实现了对司机驾驶情况的监控，这有利于司机自查或运营公司对运营司机监督；同时所述方法及系统考虑天气情况等除道路环境外的可能影响驾驶的环境情况、考虑三急事件这样异常驾驶情况对驾驶安全的影响，并将上述内容的判断结果用于驾驶辅助的预警上，以实现驾驶辅助功能的多样性；所述方法及系统可通过外接装置实现，进而配备在任何车辆上以实现老旧车型也可以使用辅助驾驶技术的目的。
附图说明
通过参考下面的附图，可以更为完整地理解本发明的示例性实施方式：
图1为本发明具体实施方式的一种辅助驾驶预警方法的流程图；
图2为本发明具体实施方式的一种辅助驾驶预警系统的结构图。
具体实施方式
现在参考附图介绍本发明的示例性实施方式，然而，本发明可以用许多不同的形式来实施，并且不局限于此处描述的实施例，提供这些实施例是为了详尽地且完全地公开本发明，并且向所属技术领域的技术人员充分传达本发明的范围。对于表示在附图中的示例性实施方式中的术语并不是对本发明的限定。在附图中，相同的单元/元件使用相同的附图标记。
除非另有说明，此处使用的术语（包括科技术语）对所属技术领域的技术人员具有通常的理解含义。另外，可以理解的是，以通常使用的词典限定的术语，应当被理解为与其相关领域的语境具有一致的含义，而不应该被理解为理想化的或过于正式的意义。
图1为本发明具体实施方式的一种辅助驾驶预警方法的流程图，如图所示，所述一种辅助驾驶预警方法包括：
步骤110，获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
进一步的，所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
进一步的，所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
进一步的，所述行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
步骤120，获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
进一步的，使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
步骤130，获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
所述车辆信息包括车辆的长度、宽度等用以判断车辆在道路上行驶位置的相关数据；若所述车辆为运营车辆，所述车辆信息包括运营公司、司机姓名、运营起始点及终点等相关信息；
步骤140，根据所述车辆采集数据，通过行车安全模型实时输出行车结果，通过司机疲劳检测模型实时输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
所述行车安全模型输出的车辆的行驶场景包括车辆与前后车的距离、道路环境中出现的行人以及非机动车；
所述行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
步骤150，根据实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，通过预警装置向司机进行安全预警；
进一步的，通过实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，根据实时更新的历史数据集优化行车安全模型；通过实时采集的司机面部图像数据实时更新司机面部图片样本集，根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
进一步的，所述方法包括：
实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若判断车辆发生了三急事件或判断车辆处于危险天气中，则达到二级安全预警标准；
通过网络连接向后台服务器发送一级安全预警以及二级安全预警及其对应的预警内容。
进一步的，所述行车安全模型和司机疲劳检测模型在后台服务器中完成训练，并在后台服务器中根据接收的车辆采集数据使用行车安全模型和司机疲劳检测模型进行识别和判断；所述后台服务器为基于Openresty框架的Nginx服务器集群，所述后台服务器通过哈希算法实现负载均衡，将多组车辆数据信息分配至多台消息队列服务器。
进一步的，所述车辆采集数据通过网络连接传输至后台服务器；在进行数据传输前，将所述车辆数据信息的精确度降低至预设精确度；若在数据传输过程中网络异常，在网络恢复后将网络异常期间的数据以数据包方式整体上传。
进一步的，若所述车辆在一段预设时间内一级安全预警以及二级安全预警的预警次数之和超过了预设的预警阈值，则判定该车辆为危险驾驶车辆，后台服务器通过网络将该车辆的信息以及一级安全预警和二级安全预警的内容发送至预设的相关联系人。
以本实施例为例，对行车安全模型以及司机疲劳检测模型的训练使用的机器学习算法是在人工智能Tensorflow框架基础上，采用目标检测算法Faster-RCNN算法实现道路事物实时识别，Nasnet Mobile迁移学习做道路危险场景区分。在手机端Android系统上用TF Lite运行。实现道路事物实时监测，车辆过近，道路偏移报警。
本申请机器学习算法依托于人工智能Tensorflow：是一个使用数据流图进行数值计算的开源软件库。数据流图用“结点”（nodes）和“线”(edges)的有向图来描述数学计算。“节点” 一般用来表示施加的数学操作，但也可以表示数据输入（feed in）的起点/输出（push out）的终点，或者是读取/写入持久变量（persistent variable）的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组，即“张量”（tensor）。
目标检测算法Faster-RCNN解释及计算步骤：Faster R-CNN提出了一种加快计算region proposals的方法，就是通过建立RPN（Region Proposal Network）网络。RPN是一个全连接的卷积网络，通过 end-to-end的方式训练出来高质量的region proposal。然后将Faster R-CNN训练好的卷积特征和Fast R-CNN共享（通过attention model）。
RPN的输入是任意大小的图像，输出是一组打过分的候选框（object proposals）。在卷积的最后一层feature map上使用固定大小的窗口滑动，每个窗口会输出固定大小维度的特征，每一个窗口对候选的9个box进行回归坐标和分类（这里的分类表示box中是不是一个object，而不是具体的类别）。
本申请为了将一个物体可以在不同的尺寸下识别出来，有两种主要的方式，1）对输入进行剪裁/缩放，2）对feature map进行不同大小的划窗，RPN则是采用了不同的方式。
生成训练数据的过程为先看anchor覆盖ground truth是否超过75%，超过就将当前anchor的object分类标记「存在」；如果都没有超过75%，就选择一个覆盖比例最大的标记为「存在」。
RPN的目标函数是分类和回归损失的和，分类采用交叉熵，回归采用稳定的SmoothL1，
SmoothL1公式为：SmoothL1(x)={0.5x2|x|−0.5|x|<1otherwiseSmoothL1(x)={0.5x2|x|<1|x|−0.5otherwise
整体损失函数具体为：
由于9个anchor是会变化的，要学回归的就是每一个anchor平移比例和缩放比例的信息。
如果行车安全模型足够聪明，并且当前window只有一个object，所有anchor，通过平移和缩放后，结果应该是一样的。下面为具体四个维度的计算方式：
整体计算流程为：
(1)输入测试图像；
(2)将整张图片输入CNN，进行特征提取；
(3)用RPN生成建议窗口(proposals)，每张图片生成300个建议窗口；
(4)把建议窗口映射到CNN的最后一层卷积feature map上；
(5)通过RoI pooling层使每个RoI生成固定尺寸的feature map；
(6)利用Softmax Loss(探测分类概率) 和Smooth L1 Loss(探测边框回归)对分类概率和边框回归(Bounding box regression)联合训练。
一般在初始化CNN的卷积核时，使用的是正态随机初始化，此时训练这个网络的话就是在从头训练，如果一个网络在某个更为复杂的任务上表现优异的话（这需要大量的数据与长时间的训练），那么它的参数是具有比较好的特征抽取能力的，又因为CNN的前几层提取的一般为较低级的特征（边缘，轮廓等），所以这些参数即使换一个任务的话，也会有不错的效果（起码在前几层是这样，而且起码比正态随机初始化要好）。在一个数据量比较大的任务中完成训练的过程就是pre-train，用pre-train的参数初始化一个新的网络，并对这些参数再次训练（微调），使之适用于新任务的过程就是fine-tune。因此，会选择ImageNet数据集上训练好的网络，因为它经过大数据量与长时间的训练。
为此采取TensorFlow训练过的模型，Nasnet-A_Mobile224# 模型，我们将基于此模型再用现实的道路危险业务场景的数据进行再训练，生成新的模型用于危险场景图像的识别预测。
手机端Android系统上用TF Lite：TensorFlow Lite是TensorFlow用于移动设备和嵌入式设备的轻量化版本。这个开发框架专门为机器学习模型的低延迟推理做了优化，专注于更少的内存占用以及更快的运行速度。
从训练有素的TensorFlow模型开始，使用TensorFlow Lite转换器将该模型转换为TensorFlow Lite文件格式。然后，您可以在移动应用程序中使用该转换后的文件。
部署TensorFlow Lite模型文件使用：
Java API：围绕Android上C ++ API的便捷包装。
C ++ API：加载TensorFlow Lite模型文件并调用解释器。Android和iOS都提供相同的库。
解释器：使用一组内核来执行模型。解释器支持选择性内核加载; 没有内核，只有100KB，加载了所有内核的300KB。这是TensorFlow Mobile要求的1.5M的显著减少。
在选定的Android设备上，解释器将使用Android神经网络API进行硬件加速，如果没有可用的，则默认为CPU执行。
可以使用解释器可以使用的C ++ API来实现定制的内核。
所述一种辅助驾驶预警方法通过TensorFlow训练获得行车安全模型以及司机疲劳检测模型，进而对道路环境以及驾驶室内的驾驶情况进行实时监控，并将监控的异常情况实时预警给司机；实现了对司机驾驶情况的监控，这有利于司机自查或运营公司对运营司机监督；同时所述方法考虑天气情况等除道路环境外的可能影响驾驶的环境情况、考虑三急事件这样异常驾驶情况对驾驶安全的影响，并将上述内容的判断结果用于驾驶辅助的预警上，以实现驾驶辅助功能的多样性；所述方法可通过外接装置实现，进而配备在任何车辆上以实现老旧车型也可以使用辅助驾驶技术的目的。
图2为本发明具体实施方式的一种辅助驾驶预警系统的结构图，如图2所示，所述系统包括：
行车安全模型训练单元201，所述行车安全模型训练单元201用于获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
进一步的，所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
所述行车安全模型训练单元201输出的行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
进一步的，所述行车安全模型训练单元201输出的行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
司机疲劳检测模型训练单元202，所述司机疲劳检测模型训练单元202用于获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
进一步的，所述司机疲劳检测模型训练单元202使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
数据采集单元203，所述数据采集单元203用于获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
进一步的，通过数据采集单元203实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，行车安全模型训练单元201根据实时更新的历史数据集优化行车安全模型；
通过数据采集单元203实时采集的司机面部图像数据实时更新司机面部图片样本集，司机疲劳检测模型训练单元202根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
模型应用单元204，所述模型应用单元204用于将信息采集单元的输出的车辆信息和车辆采集数据输入至行车安全模型训练单元201输出的行车安全模型中，输出试试行车结果，同时输入至司机疲劳检测模型训练单元202输出的司机疲劳检测模型中，输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
一级安全预警单元205，所述一级安全预警单元205用于根据模型应用单元204实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，所述一级安全预警单元205向司机进行安全预警。
进一步的，所述系统包括：
三急判断单元206，所述三急事件判断单元实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
天气判断单元207，所述天气判断单元207用于通过通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若三急判断单元206判断车辆发生了三急事件或叹气判断单元判断车辆处于危险天气中，则达到二级安全预警标准；
二级安全预警单元208，所述二级安全预警单元208用于将二级安全预警及其对应的预警内容，以及一级安全预警单元205输出的一级安全预警及其对应的预警内容通过网络连接发送至后台服务器209。
进一步的，所述系统包括后台服务器209，所述行车安全模型和司机疲劳检测模型在后台服务器209中完成训练，并在后台服务器209中根据接收的车辆采集数据使用行车安全模型和司机疲劳检测模型进行识别和判断；所述后台服务器209为基于Openresty框架的Nginx服务器集群，所述后台服务器209通过哈希算法实现负载均衡，将多组车辆数据信息分配至多台消息队列服务器。
进一步的，所述数据采集单元203输出的车辆采集数据通过网络连接传输至后台服务器209；在进行数据传输前，将所述车辆数据信息的精确度降低至预设精确度；若在数据传输过程中网络异常，在网络恢复后将网络异常期间的数据以数据包方式整体上传。
进一步的，若所述车辆在一段预设时间内一级安全预警以及二级安全预警的预警次数之和超过了预设的预警阈值，则判定该车辆为危险驾驶车辆，后台服务器209通过网络将该车辆的信息以及一级安全预警和二级安全预警的内容发送至预设的相关联系人。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。本说明书中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本公开的范围之内并且形成不同的实施例。例如，在权利要求书中所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本公开的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本公开还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序（例如，计算机程序和计算机程序产品）。这样的实现本公开的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本公开进行说明而不是对本公开进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。
以上所述仅是本公开的具体实施方式，应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开精神的前提下，可以作出若干改进、修改、和变形，这些改进、修改、和变形都应视为落在本申请的保护范围内。

Claims (18)

1.一种辅助驾驶预警方法，所述方法包括：
获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
根据所述车辆采集数据，通过行车安全模型实时输出行车结果，通过司机疲劳检测模型实时输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
根据实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，通过预警装置向司机进行安全预警。
2.根据权利要求1所述的方法，其特征在于，所述方法包括：
实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若判断车辆发生了三急事件或判断车辆处于危险天气中，则达到二级安全预警标准；
通过网络连接向后台服务器发送一级安全预警以及二级安全预警及其对应的预警内容。
3.根据权利要求1或2所述的方法，其特征在于：所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
所述行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
4.根据权利要求1或2所述的方法，其特征在于：所述行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
5.根据权利要求1或2所述的方法，其特征在于：使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
6.根据权利要求1或2所述的方法，其特征在于：所述行车安全模型和司机疲劳检测模型在后台服务器中完成训练，并在后台服务器中根据接收的车辆采集数据使用行车安全模型和司机疲劳检测模型进行识别和判断；所述后台服务器为基于Openresty框架的Nginx服务器集群，所述后台服务器通过哈希算法实现负载均衡，将多组车辆数据信息分配至多台消息队列服务器。
7.根据权利要求6所述的方法，其特征在于：所述车辆采集数据通过网络连接传输至后台服务器；在进行数据传输前，将所述车辆数据信息的精确度降低至预设精确度；若在数据传输过程中网络异常，在网络恢复后将网络异常期间的数据以数据包方式整体上传。
8.根据权利要求6所述的方法，其特征在于：若所述车辆在一段预设时间内一级安全预警以及二级安全预警的预警次数之和超过了预设的预警阈值，则判定该车辆为危险驾驶车辆，后台服务器通过网络将该车辆的信息以及一级安全预警和二级安全预警的内容发送至预设的相关联系人。
9.根据权利要求1所述的方法，其特征在于：通过实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，根据实时更新的历史数据集优化行车安全模型；通过实时采集的司机面部图像数据实时更新司机面部图片样本集，根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
10.一种辅助驾驶预警系统，所述系统包括：
行车安全模型训练单元，所述行车安全模型训练单元用于获取车辆行驶的历史数据集，通过对所述历史数据集进行学习，建立行车安全模型；所述历史数据及包括行车事件、行车事件对应的时间、车辆信息以及行车结果；
司机疲劳检测模型训练单元，所述司机疲劳检测模型训练单元用于获取司机面部图片样本集，通过人脸识别技术，训练获得司机疲劳检测模型；
数据采集单元，所述数据采集单元用于获取车辆的车辆信息并实时获取所述车辆的车辆采集数据，所述车辆采集数据包括行车事件、与所述行车事件对应的时间以及司机面部图像数据；
模型应用单元，所述模型应用单元用于将信息采集单元的输出的车辆信息和车辆采集数据输入至行车安全模型训练单元输出的行车安全模型中，输出试试行车结果，同时输入至司机疲劳检测模型训练单元输出的司机疲劳检测模型中，输出司机疲劳检测结果；所述行车结果包括所述车辆的行驶场景、车速以及车辆的行驶偏移；
一级安全预警单元，所述一级安全预警单元用于根据模型应用单元实时输出的行车结果和司机疲劳检测结果判断是否存在行车安全隐患或司机疲劳驾驶隐患，若存在所述行车安全隐患或司机疲劳驾驶隐患，则达到一级安全预警标准，所述一级安全预警单元向司机进行安全预警。
11.根据权利要求10所述的系统，其特征在于，所述系统包括：
三急判断单元，所述三急事件判断单元实时获得三轴线性加速度数据，并通过所述线性加速度数据与预设加速度阈值的比较，判断所述车辆是否发生了三急事件；所述三急事件包括急加速事件、急减速事件以及急转弯事件；
天气判断单元，所述天气判断单元用于通过网络连接获得车辆定位位置实时天气情况，并通过预设的规则计算获得综合天气参数；将所述综合天气参数与预设危险天气阈值进行比对，判断所述车辆是否处于危险天气中；
若三急判断单元判断车辆发生了三急事件或叹气判断单元判断车辆处于危险天气中，则达到二级安全预警标准；
二级安全预警单元，所述二级安全预警单元用于将二级安全预警及其对应的预警内容，以及一级安全预警单元输出的一级安全预警及其对应的预警内容通过网络连接发送至后台服务器。
12.根据权利要求10或11所述的系统，其特征在于：所述行车事件包括道路环境视频数据、车辆行驶方向数据、车辆定位位置数据以及车速数据；
所述行车安全模型训练单元输出的行车安全模型用于对道路环境视频数据图像识别进行车辆检测、行人检测以及非机动车检测，判断车辆的行驶场景是否需要进行避让预警；
所述行车安全模型通过对道路环境视频数据图像识别进行车道线检测，并结合车辆行驶方向数据判断车辆是否存在行驶偏移；
所述行车安全模型用于对道路环境视频数据图像识别进行交通标志的识别，并结合车辆定位位置数据以及车速数据判断车辆是否存在超速。
13.根据权利要求10或11所述的系统，其特征在于：所述行车安全模型训练单元输出的行车安全模型通过目标检测算法Faster-RCNN对所述车辆行驶过程中的行车事件以及与所述行车事件对应的时间进行识别；通过机器学习算法，对所述历史数据集进行学习。
14.根据权利要求10或11所述的系统，其特征在于：所述司机疲劳检测模型训练单元使用 SSD算法和Moiblenets算法对采集的司机面部图片样本通过GPU集群训练获得可精确框出图片上人脸的人脸识别模型；通过人脸识别模型对实时获取的司机面部图像数据进行识别，框出图片中人脸的区域；
对所述人脸识别模型中框出的人脸的区域运用司机疲劳检测模型对3D人脸的关键点进行匹配，实时检测司机是否存在疲劳状态以判断司机疲劳程度；所述司机疲劳状态包括通过司机疲劳检测模型检测到司机闭眼、打哈气或面部朝下情况。
15.根据权利要求10或11所述的系统，其特征在于：所述系统包括后台服务器，所述行车安全模型和司机疲劳检测模型在后台服务器中完成训练，并在后台服务器中根据接收的车辆采集数据使用行车安全模型和司机疲劳检测模型进行识别和判断；所述后台服务器为基于Openresty框架的Nginx服务器集群，所述后台服务器通过哈希算法实现负载均衡，将多组车辆数据信息分配至多台消息队列服务器。
16.根据权利要求15所述的系统，其特征在于：所述数据采集单元输出的车辆采集数据通过网络连接传输至后台服务器；在进行数据传输前，将所述车辆数据信息的精确度降低至预设精确度；若在数据传输过程中网络异常，在网络恢复后将网络异常期间的数据以数据包方式整体上传。
17.根据权利要求15所述的系统，其特征在于：若所述车辆在一段预设时间内一级安全预警以及二级安全预警的预警次数之和超过了预设的预警阈值，则判定该车辆为危险驾驶车辆，后台服务器通过网络将该车辆的信息以及一级安全预警和二级安全预警的内容发送至预设的相关联系人。
18.根据权利要求10所述的系统，其特征在于：
通过数据采集单元实时获取的行车事件、行车事件对应的时间、车辆信息以及行车结果实时更新历史数据集，行车安全模型训练单元根据实时更新的历史数据集优化行车安全模型；
通过数据采集单元实时采集的司机面部图像数据实时更新司机面部图片样本集，司机疲劳检测模型训练单元根据实时更新的司机面部图片样本集优化司机疲劳检测模型。
CN201810106060.XA 2018-02-02 2018-02-02 一种辅助驾驶预警方法及系统 Pending CN108423006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810106060.XA CN108423006A (zh) 2018-02-02 2018-02-02 一种辅助驾驶预警方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810106060.XA CN108423006A (zh) 2018-02-02 2018-02-02 一种辅助驾驶预警方法及系统

Publications (1)

Publication Number Publication Date
CN108423006A true CN108423006A (zh) 2018-08-21

Family

ID=63156405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810106060.XA Pending CN108423006A (zh) 2018-02-02 2018-02-02 一种辅助驾驶预警方法及系统

Country Status (1)

Country Link
CN (1) CN108423006A (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493566A (zh) * 2018-12-18 2019-03-19 长安大学 一种基于gps数据的疲劳驾驶预测方法
CN109583410A (zh) * 2018-12-07 2019-04-05 广东翼卡车联网服务有限公司 一种基于图像识别技术的行车安全预警系统
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法
CN109767597A (zh) * 2019-01-19 2019-05-17 跨越速运集团有限公司 一种车辆事故预警方法及系统
CN109858553A (zh) * 2019-01-31 2019-06-07 深圳市赛梅斯凯科技有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109934189A (zh) * 2019-03-19 2019-06-25 何世全 一种驾驶预警方法、系统及终端
CN110077398A (zh) * 2019-05-20 2019-08-02 上海域驾智能科技有限公司 一种用于智能驾驶的危险处理方法
CN110175636A (zh) * 2019-05-08 2019-08-27 深圳欧翼思特科技有限公司 一种物联网深度神经网络分布式判别推论系统及方法
CN110322132A (zh) * 2019-06-24 2019-10-11 东莞市天佑运输服务有限公司 一种基于管理平台的人员疲劳管控方法及系统
CN110659911A (zh) * 2019-09-10 2020-01-07 奇瑞汽车股份有限公司 一种基于人脸识别的网约车系统及方法
CN110763483A (zh) * 2019-09-26 2020-02-07 泰牛汽车技术(苏州)有限公司 一种安全等级测试场景库的自动生成方法及装置
CN110816551A (zh) * 2019-11-28 2020-02-21 广东新时空科技股份有限公司 一种车辆运输安全主动防控系统
CN110956781A (zh) * 2019-11-28 2020-04-03 同济大学 一种基于视频分析的疲劳驾驶监测系统
CN111027859A (zh) * 2019-12-11 2020-04-17 公安部交通管理科学研究所 基于机动车状态监控数据挖掘的驾驶风险防范方法及系统
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111275227A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 危险性预测方法、装置、电子设备及计算机可读存储介质
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
WO2020204884A1 (en) * 2019-03-29 2020-10-08 Huawei Technologies Co Ltd. Personalized routing based on driver fatigue map
CN112036223A (zh) * 2019-06-04 2020-12-04 上海博泰悦臻网络技术服务有限公司 长途驾驶按摩支撑方法、服务端及前端
CN112141119A (zh) * 2020-09-23 2020-12-29 上海商汤临港智能科技有限公司 智能驾驶控制方法及装置、车辆、电子设备和存储介质
CN113071497A (zh) * 2021-04-28 2021-07-06 中国第一汽车股份有限公司 一种驾驶场景判断方法、装置、设备及存储介质
CN113345229A (zh) * 2021-06-01 2021-09-03 平安科技（深圳）有限公司 基于联邦学习的道路预警方法及其相关设备
CN113548056A (zh) * 2020-04-17 2021-10-26 东北大学秦皇岛分校 一种基于计算机视觉的汽车安全辅助驾驶系统
CN114202821A (zh) * 2020-09-02 2022-03-18 上海汽车集团股份有限公司 一种车辆数据处理方法及装置
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置
CN114945953A (zh) * 2020-12-08 2022-08-26 广州汽车集团股份有限公司 自动驾驶的损失评估方法及装置
CN115081545A (zh) * 2022-07-22 2022-09-20 天津所托瑞安汽车科技有限公司 司机轮换识别方法以及识别模型构建方法
CN115297138A (zh) * 2022-07-07 2022-11-04 上海德启信息科技有限公司 一种车辆管理方法及系统
CN115512511A (zh) * 2021-06-07 2022-12-23 中移物联网有限公司 一种预警方法、装置、移动终端及可读存储介质
WO2024087205A1 (zh) * 2022-10-28 2024-05-02 深圳市锐明技术股份有限公司 司机状态评估方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310202A (zh) * 2013-06-27 2013-09-18 西安电子科技大学 一种保障驾驶安全的系统及其方法
CN104463244A (zh) * 2014-12-04 2015-03-25 上海交通大学 基于智能移动终端的异常驾驶行为监测和识别方法及系统
CN105575115A (zh) * 2015-12-17 2016-05-11 福建星海通信科技有限公司 一种基于车载监控管理平台的驾驶行为分析方法
CN105740847A (zh) * 2016-03-02 2016-07-06 同济大学 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
US20170132521A1 (en) * 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Driving behavior evaluating method and device
CN107153916A (zh) * 2017-04-30 2017-09-12 安徽中科美络信息技术有限公司 一种基于fcm聚类和bp神经网络的驾驶行为评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103310202A (zh) * 2013-06-27 2013-09-18 西安电子科技大学 一种保障驾驶安全的系统及其方法
CN104463244A (zh) * 2014-12-04 2015-03-25 上海交通大学 基于智能移动终端的异常驾驶行为监测和识别方法及系统
US20170132521A1 (en) * 2015-11-06 2017-05-11 Leauto Intelligent Technology (Beijing) Co. Ltd. Driving behavior evaluating method and device
CN105575115A (zh) * 2015-12-17 2016-05-11 福建星海通信科技有限公司 一种基于车载监控管理平台的驾驶行为分析方法
CN105740847A (zh) * 2016-03-02 2016-07-06 同济大学 一种基于驾驶员眼部识别和车辆行驶轨迹的疲劳等级判别算法
CN107153916A (zh) * 2017-04-30 2017-09-12 安徽中科美络信息技术有限公司 一种基于fcm聚类和bp神经网络的驾驶行为评价方法

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275227A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 危险性预测方法、装置、电子设备及计算机可读存储介质
CN109583410A (zh) * 2018-12-07 2019-04-05 广东翼卡车联网服务有限公司 一种基于图像识别技术的行车安全预警系统
CN109767423A (zh) * 2018-12-11 2019-05-17 西南交通大学 一种沥青路面图像的裂缝检测方法
CN109493566A (zh) * 2018-12-18 2019-03-19 长安大学 一种基于gps数据的疲劳驾驶预测方法
CN109493566B (zh) * 2018-12-18 2020-09-08 长安大学 一种基于gps数据的疲劳驾驶预测方法
CN109767597A (zh) * 2019-01-19 2019-05-17 跨越速运集团有限公司 一种车辆事故预警方法及系统
CN109767597B (zh) * 2019-01-19 2021-05-11 跨越速运集团有限公司 一种车辆事故预警方法及系统
CN109858553A (zh) * 2019-01-31 2019-06-07 深圳市赛梅斯凯科技有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109858553B (zh) * 2019-01-31 2023-12-12 锦图计算技术(深圳)有限公司 驾驶状态的监测模型更新方法、更新装置及存储介质
CN109934189A (zh) * 2019-03-19 2019-06-25 何世全 一种驾驶预警方法、系统及终端
CN109934189B (zh) * 2019-03-19 2021-08-13 山东同云网络科技有限公司 一种驾驶预警方法、系统及终端
WO2020204884A1 (en) * 2019-03-29 2020-10-08 Huawei Technologies Co Ltd. Personalized routing based on driver fatigue map
US11906318B2 (en) 2019-03-29 2024-02-20 Huawei Technologies Co., Ltd. Personalized routing based on driver fatigue map
CN113631884A (zh) * 2019-03-29 2021-11-09 华为技术有限公司 基于驾驶疲劳地图的个性化路线选择
CN110175636A (zh) * 2019-05-08 2019-08-27 深圳欧翼思特科技有限公司 一种物联网深度神经网络分布式判别推论系统及方法
CN110077398A (zh) * 2019-05-20 2019-08-02 上海域驾智能科技有限公司 一种用于智能驾驶的危险处理方法
CN112036223A (zh) * 2019-06-04 2020-12-04 上海博泰悦臻网络技术服务有限公司 长途驾驶按摩支撑方法、服务端及前端
CN112036223B (zh) * 2019-06-04 2023-12-26 上海博泰悦臻网络技术服务有限公司 长途驾驶按摩支撑方法、服务端及前端
CN110322132A (zh) * 2019-06-24 2019-10-11 东莞市天佑运输服务有限公司 一种基于管理平台的人员疲劳管控方法及系统
CN110659911A (zh) * 2019-09-10 2020-01-07 奇瑞汽车股份有限公司 一种基于人脸识别的网约车系统及方法
CN110763483A (zh) * 2019-09-26 2020-02-07 泰牛汽车技术(苏州)有限公司 一种安全等级测试场景库的自动生成方法及装置
CN110956781A (zh) * 2019-11-28 2020-04-03 同济大学 一种基于视频分析的疲劳驾驶监测系统
CN110816551A (zh) * 2019-11-28 2020-02-21 广东新时空科技股份有限公司 一种车辆运输安全主动防控系统
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111027859A (zh) * 2019-12-11 2020-04-17 公安部交通管理科学研究所 基于机动车状态监控数据挖掘的驾驶风险防范方法及系统
CN111027859B (zh) * 2019-12-11 2021-11-30 公安部交通管理科学研究所 基于机动车状态监控数据挖掘的驾驶风险防范方法及系统
CN111325872B (zh) * 2020-01-21 2021-03-16 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测方法
CN111325872A (zh) * 2020-01-21 2020-06-23 和智信(山东)大数据科技有限公司 基于计算机视觉的司机驾驶异常检测设备及检测方法
CN113548056A (zh) * 2020-04-17 2021-10-26 东北大学秦皇岛分校 一种基于计算机视觉的汽车安全辅助驾驶系统
CN114202821A (zh) * 2020-09-02 2022-03-18 上海汽车集团股份有限公司 一种车辆数据处理方法及装置
CN112141119B (zh) * 2020-09-23 2022-03-11 上海商汤临港智能科技有限公司 智能驾驶控制方法及装置、车辆、电子设备和存储介质
CN112141119A (zh) * 2020-09-23 2020-12-29 上海商汤临港智能科技有限公司 智能驾驶控制方法及装置、车辆、电子设备和存储介质
CN114945953A (zh) * 2020-12-08 2022-08-26 广州汽车集团股份有限公司 自动驾驶的损失评估方法及装置
CN113071497B (zh) * 2021-04-28 2022-05-24 中国第一汽车股份有限公司 一种驾驶场景判断方法、装置、设备及存储介质
CN113071497A (zh) * 2021-04-28 2021-07-06 中国第一汽车股份有限公司 一种驾驶场景判断方法、装置、设备及存储介质
CN113345229B (zh) * 2021-06-01 2022-04-19 平安科技（深圳）有限公司 基于联邦学习的道路预警方法及其相关设备
CN113345229A (zh) * 2021-06-01 2021-09-03 平安科技（深圳）有限公司 基于联邦学习的道路预警方法及其相关设备
CN115512511A (zh) * 2021-06-07 2022-12-23 中移物联网有限公司 一种预警方法、装置、移动终端及可读存储介质
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置
CN115297138A (zh) * 2022-07-07 2022-11-04 上海德启信息科技有限公司 一种车辆管理方法及系统
CN115081545A (zh) * 2022-07-22 2022-09-20 天津所托瑞安汽车科技有限公司 司机轮换识别方法以及识别模型构建方法
WO2024087205A1 (zh) * 2022-10-28 2024-05-02 深圳市锐明技术股份有限公司 司机状态评估方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108423006A (zh) 一种辅助驾驶预警方法及系统
CN107886073B (zh) 一种基于卷积神经网络的细粒度车辆多属性识别方法
US20190294869A1 (en) Object behavior anomaly detection using neural networks
US20200066158A1 (en) Electronic device, warning message providing method therefor, and non-transitory computer-readable recording medium
CN109711557A (zh) 一种行车轨迹预测方法、系统、计算机设备及存储介质
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
WO2022078077A1 (zh) 驾驶风险的预警方法、装置、计算设备及存储介质
CN109572550A (zh) 一种行车轨迹预测方法、系统、计算机设备及存储介质
US20200247402A1 (en) Reinforcement learning with scene decomposition for navigating complex environments
CN113537445B (zh) 一种轨迹预测方法、装置、设备和存储介质
CN111488803A (zh) 一种融合目标检测和目标跟踪的机场目标行为理解系统
CN113191241A (zh) 一种模型训练方法及相关设备
CN113345229B (zh) 基于联邦学习的道路预警方法及其相关设备
WO2016107876A1 (en) Vehicular motion monitoring method
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及系统
CN116310922A (zh) 石化厂区监控视频风险识别方法、系统、电子设备及存储介质
CN108416267A (zh) 一种用于物流运输的辅助驾驶方法及系统
CN116597516A (zh) 训练方法、分类方法、检测方法、装置、系统及设备
US11745747B2 (en) System and method of adaptive distribution of autonomous driving computations
CN115686566A (zh) 一种自动驾驶算法更新方法、装置及存储介质
CN113593256B (zh) 基于城市管理的无人机智能驱离控制方法、系统及云平台
US11468671B2 (en) Sentiment analysis for situational awareness
CN114580623A (zh) 模型的训练方法、多源多目标数据关联方法及装置
CN115640828A (zh) 一种基于对抗生成网络的车载数字孪生欺骗检测方法
KR20220169354A (ko) 운전 행동을 분류하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181101

Address after: 200120 118, 20, 1-42 Lane 83, Hongxiang North Road, Wanxiang Town, Pudong New Area, Shanghai.

Applicant after: Shanghai Hao Ling Technology Co., Ltd.

Address before: 113000 Office 1, 7 building, Tong Yi Bei Road, Dongzhou District, Fushun, Liaoning.

Applicant before: Liaoning AIA Network Technology Co., Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180821

RJ01 Rejection of invention patent application after publication