CN115376115B - 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质 - Google Patents

鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质 Download PDF

Info

Publication number
CN115376115B
CN115376115B CN202211306272.5A CN202211306272A CN115376115B CN 115376115 B CN115376115 B CN 115376115B CN 202211306272 A CN202211306272 A CN 202211306272A CN 115376115 B CN115376115 B CN 115376115B
Authority
CN
China
Prior art keywords
vehicle
reckimic
driving
identified
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211306272.5A
Other languages
English (en)
Other versions
CN115376115A (zh
Inventor
王超
洪日
张建
刘秋铮
王御
谢飞
韩亚凝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202211306272.5A priority Critical patent/CN115376115B/zh
Publication of CN115376115A publication Critical patent/CN115376115A/zh
Application granted granted Critical
Publication of CN115376115B publication Critical patent/CN115376115B/zh
Priority to PCT/CN2023/116864 priority patent/WO2024087887A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质,其中,应用于车辆,该方法包括:获取用户驾驶状态、待识别车辆速度和待识别车辆信息;根据用户驾驶状态确定待识别车辆的鲁莽程度,根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为;当待识别车辆存在鲁莽驾驶行为时,将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆。本发明实施例实现了根据驾驶员情绪变化和车辆运动变化判断用户的不舒适指数,根据待识别车辆速度确认车辆风险原因,通过确定的车辆风险原因和不舒适指数识别具有鲁莽行为的车辆,提高了标记鲁莽驾驶行为车辆的合理性,增加用户安全驾驶指数。

Description

鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质
技术领域
本发明涉及计算机应用技术领域,尤其涉及鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质。
背景技术
汽车已经走入越来越多的家庭,汽车带给人们巨大便利的同时也带来了很多问题,例如,当司机不规范行车、鲁莽驾驶车辆时,很容易导致交通事故的发生,鲁莽驾驶行为严重影响其他交通参与者的安全,也会对驾驶成员心态造成负面的影响,所以对鲁莽驾驶车辆的标记变得尤为重要。
根据提升交通安全的需要,标记鲁莽驾驶车辆的方法应运而生,现有技术中,可以根据车辆速度等方式识别鲁莽驾驶车辆,进而对鲁莽驾驶车辆进行标记。
然而此种方式无法识别车辆具体驾驶场景,易造成错误对非鲁莽驾驶车辆的标记,所以一种能识别车辆风险具体原因的鲁莽驾驶车辆的标记方法成为了目前亟待解决的问题。
发明内容
本发明提供了一种鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质,以实现对鲁莽驾驶车辆标记的合理性,增加车辆行驶的安全性。
根据本发明的一方面,提供了一种鲁莽驾驶行为标记方法,其中,应用于车辆,该方法包括:
获取用户驾驶状态、待识别车辆速度和待识别车辆信息;
根据用户驾驶状态确定待识别车辆的鲁莽程度,根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为;
当待识别车辆存在鲁莽驾驶行为时,将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆。
根据本发明的另一方面,提供了一种鲁莽驾驶行为标记方法,其中,应用于云端服务器,该方法包括:
获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息;
根据待识别车辆信息在预先存储的鲁莽车辆数据集提取历史鲁莽车辆置信度;
根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度;
当鲁莽车辆置信度达到置信度阈值时,标记待识别车辆信息对应的车辆为鲁莽驾驶车辆。
根据本发明的另一方面,提供了一种鲁莽驾驶行为标记装置,其中,应用于车辆,该装置包括:
信息获取模块,用于获取用户驾驶状态、待识别车辆速度和待识别车辆信息;
鲁莽判断模块,用于根据用户驾驶状态确定待识别车辆的鲁莽程度,根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为;
信息上传模块,用于当待识别车辆存在鲁莽驾驶行为时,将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆。
根据本发明的另一方面,提供了一种鲁莽驾驶行为标记装置,其中,应用于云端服务器,该装置包括:
信息接收模块,用于获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息;
置信度获取模块,用于根据待识别车辆信息在预先存储的鲁莽车辆数据集提取历史鲁莽车辆置信度;
置信度更新模块,用于根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度;
车辆标记模块,用于当鲁莽车辆置信度达到置信度阈值时,标记待识别车辆信息对应的车辆为鲁莽驾驶车辆。
根据本发明的另一方面,提供了一种车辆,该车辆包括:
至少一个处理器;
以及与至少一个处理器通信连接的存储器;
其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的鲁莽驾驶行为标记方法。
根据本发明的另一方面,提供了一种云端服务器,该云端服务器包括:
至少一个处理器;
以及与至少一个处理器通信连接的存储器;
其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本发明任一实施例的鲁莽驾驶行为标记方法。
根据本发明的另一方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本发明任一实施例的鲁莽驾驶行为标记方法。
本发明实施例的技术方案,根据驾驶员情绪变化和车辆运动变化判断用户的不舒适指数,通过确定车辆风险原因和不舒适指数判断待识别车辆是否存在鲁莽行为,提高了标记鲁莽驾驶行为车辆的合理性,增加用户的驾驶体验。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种鲁莽驾驶行为标记方法的流程图;
图2是根据本发明实施例二提供的一种鲁莽驾驶行为标记方法的流程图;
图3是根据本发明实施例三提供的一种鲁莽驾驶行为标记方法的流程图;
图4是根据本发明实施例四提供的一种鲁莽驾驶预测模型训练的流程图;
图5是根据本发明实施例五提供的一种鲁莽驾驶行为标记方法的流程图;
图6是根据本发明实施例五提供的一种数据处理示意图;
图7是根据本发明实施例五提供的一种神经网络训练图示意图;
图8是根据本发明实施例五提供的一种鲁莽驾驶判断系统的结构示意图;
图9是根据本发明实施例六提供的一种鲁莽驾驶行为标记装置的结构示意图;
图10是根据本发明实施例六提供的一种鲁莽驾驶行为标记装置的结构示意图;
图11是实现本发明实施例的一种鲁莽驾驶行为标记方法的车辆的结构示意图;
图12是实现本发明实施例的一种鲁莽驾驶行为标记方法的云端服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种鲁莽驾驶行为标记方法的流程图,本实施例可适用于标记存在鲁莽驾驶行为的车辆情况,该方法可以由鲁莽驾驶行为标记装置来执行,该鲁莽驾驶行为标记装置可以采用硬件和/或软件的形式实现,该鲁莽驾驶行为标记装置可配置于车辆中。如图1所示,该方法包括:
S110、获取用户驾驶状态、待识别车辆速度和待识别车辆信息。
其中,用户驾驶状态可以是指驾驶员驾驶车辆的舒适程度,用户驾驶状态可以通过驾驶员情绪变化和车辆运动变化确定。驾驶员的情绪变化可以通过视觉传感器采集,视觉传感器的种类和数量在本实施例中可以不作限定,示例的,视觉传感器的数量可以为一个或一个以上,视觉传感器可以安装在任意视野无遮挡的位置,只需可以精准地采集到驾驶员的面部图像即可。例如,可以设置于车内驾驶员前方车顶位置。车辆运动变化可以是指车辆的车速发生变化或者车辆的前进方向发生改变等,车辆运动变化数据可以通过车辆运动变化传感器采集,车辆运动变化传感器的种类和数量在本实施例中可以不作限定,示例的,车辆运动传感器可以包括横摆角速度传感器、纵向加速度传感器、方向盘转角加速度传感器和制动踏板加速度传感器等。可以将横摆角速度传感器、纵向加速度传感器设置于车辆的四角、引擎盖、车顶等位置,可以将方向盘转角加速度传感器设置于方向盘转轴处,可以将制动踏板加速的传感器设置于车辆制动踏板上。
待识别车辆速度可以是指待识别车辆的行驶速度,待识别车辆速度可以通过检测本车车速和本车车速与待识别车辆之间的相对速度得到;待识别车辆信息可以是指待识别车辆可供识别的信息,待识别车辆信息可以包括车牌信息。通过识别车牌信息,可以准确查询车辆的历史信息。可以通过视觉传感器采集待识别车辆信息,视觉传感器可以安装在车辆的任意视野无遮挡的位置。
具体的,可以通过预设的视觉传感器采集驾驶员的图像,根据驾驶员的图像信息对驾驶员情绪进行识别分类,驾驶员的情绪可以包括正面情绪和负面情绪,当驾驶员的情绪由正面情绪转变为负面情绪,可以确定驾驶员驾驶主观上心理不舒适。情绪的转变可以通过图像信息量化驾驶员情绪分数,再根据情绪分数的确定情绪的变化。在一个实施例中,车辆控制器可以根据驾驶员情绪的变化按照时间顺序生成情绪变化时间序列,可以对多种情绪进行数值加权将驾驶员情绪变化量化为情绪变化分数。又或者,可以通过识别驾驶员的微表情,根据驾驶员的微表情确定驾驶员的情绪变化。
在一个实施例中,横摆角速度、纵向加速度等车辆运动变化数据可以用于表征驾驶员因环境因素进行的制动、并线等操作,可以用于表征驾驶员客观上生理的不舒适。通过横摆角速度传感器、方向盘转角加速度传感器等传感器可以采集车辆的横摆角速度,通过纵向加速度传感器、制动踏板加速度传感器等传感器可以采集车辆的纵向加速度。可以预先设置横摆角速度阈值和纵向加速度阈值,当横摆角速度或者纵向加速度达到预设的阈值,则可以认为驾驶员由于客观因素进行并线或者制动等操作,当驾驶员的情绪由正面情绪转变为负面情绪且横摆角速度或纵向加速度达到阈值,则可以确定用户驾驶状态为不舒适,否则,则认为用户驾驶状态为舒适。
在一个实施例中,待识别车辆的速度可以通过本车速度和本车与待识别车辆之间的相对速度计算得到,本车的速度可以通过车速传感器进行采集,本车与待识别车辆之间的相对速度可以通过雷达进行采集。雷达的数量可以为一个或者多个,可以安装在车辆的任意对雷达波没有显著衰减的位置,雷达可以包括激光雷达、超声波雷达等。根据采集的本车速度和本车与待识别车辆间的相对速度,可以获取待识别车辆的速度。
在一个实施例中,车辆可以通过预设的视觉传感器识别待识别车辆的车辆信息,视觉传感器可以为摄像头,车辆信息可以是车牌信息,摄像头可以安装在车辆的任意视野无遮挡的位置,通过识别车牌信息,可以确认查询车辆的历史信息。
S120、根据用户驾驶状态确定待识别车辆的鲁莽程度,根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为。
其中,鲁莽程度可以是指待识别车辆鲁莽驾驶的等级,可以根据用户驾驶状态进行量化。鲁莽驾驶行为可以是指车辆驾驶存在鲁莽驾驶的行为,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为。
具体的,鲁莽程度可以划分为多个等级,等级的数量可以不作限定,示例的,鲁莽程度可以包括非鲁莽、轻度鲁莽、重度鲁莽等。鲁莽程度可以根据用户驾驶状态进行确定,用户驾驶状态可以由驾驶员情绪和车辆运动变化数据确定,可以根据驾驶员情绪设置多个阈值,车辆运动变化数据设置多个阈值,驾驶员情绪阈值和车辆运动变化阈值的数量可以不作限制,根据不同的驾驶员情绪阈值和车辆运动变化阈值确认待识别车辆的鲁莽等级。其中,驾驶员情绪阈值和车辆运动变化阈值的数量和数值大小可以是车辆厂商根据经验设定的,车辆变化阈值可以包括横摆角速度阈值和纵向加速度阈值。示例性的,驾驶员情绪阈值、横摆角速度阈值或纵向加速度阈值的数量可以分别包括3个、4个、5个等,不同的阈值大小可以代表不同的阈值等级。设置的驾驶员情绪阈值大小可以包括30分、60分、90分等,横摆角速度阈值可以包括1rad/s、5rad/s、10rad/s等,纵向加速度阈值可以包括0.01m/s²、1m/s²等。当驾驶员情绪达到第一情绪阈值且车辆运动变化数据达到第一加速度阈值或第一角速度阈值时,可以认为待识别车辆为轻度鲁莽;当驾驶员情绪达到第二情绪阈值且车辆运动变化数据达到第二加速度阈值或第二角速度阈值时,可以认为待识别车辆为重度鲁莽;当驾驶员情绪未达到第一情绪阈值且车辆运动变化数据未达到第一加速度阈值或第一角速度阈值时,可以认为待识别车辆为非鲁莽。
根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,确认鲁莽驾驶行为时可以预先判断待识别车辆是否存在鲁莽驾驶风险。鲁莽驾驶风险可以是由待识别车辆造成的或者可以由本车辆造成的,可以通过本车辆车速和待识别车辆车速进行判断,又或者可以根据本车速度与待识别车辆之间的相对速度的波动幅度进行判断。在一个具体的实施方式中,当鲁莽驾驶风险通过本车速度与待识别车辆之间的相对速度的波动幅度进行判断时,可以根据计算待识别车辆速度在一段时间内的方差、标准差等统计指标确定相对速度的波动幅度,当方差或者标准差等统计指标大于阈值时,则判断待识别车辆是否存在鲁莽驾驶风险。其中统计指标的阈值可以是由车辆厂商设置,通过统计指标的阈值可以确定相对速度波动幅度是否过高。
在一个实施例中,车辆可以根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为。当根据待识别车辆车速判断待识别车辆存在鲁莽驾驶风险,且待识别车辆的鲁莽程度为轻度鲁莽或者重度鲁莽时,可以确定待识别车辆存在鲁莽行为。当根据待识别车辆车速判断待识别车辆不存在鲁莽驾驶风险或者待识别车辆的鲁莽程度为非鲁莽时,可以确定待识别车辆不存在鲁莽行为,即为非鲁莽驾驶行为。
S130、当待识别车辆存在鲁莽驾驶行为时,将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆。
其中,鲁莽驾驶车辆可以是指存在鲁莽行为的车辆,是会对周围交通或周围车辆驾驶员造成一定影响的车辆;数据上传到云端服务器的方式可以包括采用车载无线网关或者通过车用无线通信技术(vehicle to X,V2X)等方式将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器。
在一个实施例中,当确认待识别车辆存在鲁莽驾驶行为时,车辆可以通过车载无线网关或V2X将待识别车辆的车辆信息、鲁莽程度和待识别车辆速度的数据上传到云端服务器,云端服务器接收到数据后,可以标记车辆信息对应的车辆为鲁莽驾驶车辆。
在本发明实施例中,通过获取用户驾驶状态、待识别车辆速度,实现了根据驾驶员情绪和车辆运动变化判断用户的不舒适指数,根据待识别车辆速度确认车辆风险原因,通过确定车辆风险原因和不舒适指数确定具有鲁莽行为的待识别车辆,提高了标记鲁莽驾驶行为车辆的合理性,增加用户安全驾驶指数。
进一步的,还包括:获取云端服务器下发的车辆标记数据,其中,车辆标记数据可以包括车辆信息和鲁莽标记标签,鲁莽标记标签包括鲁莽车辆和非鲁莽车辆;在车辆的环境中根据车辆标记数据感知到鲁莽标记标签为鲁莽车辆的鲁莽驾驶车辆时,向驾驶员提供预警信息,其中,感知方式可以包括以下至少之一:视觉传感器、V2X技术。
其中,车辆标记数据可以是云端服务器对存在鲁莽驾驶行为的车辆标记的信息,车辆标记数据可以是一个车辆数据集,车辆标记数据可以包括车辆信息和鲁莽标记标签,车辆信息可以包括车牌信息,鲁莽标记标签可以是指云端服务器根据车辆信息对对应车辆的鲁莽标识,鲁莽标记标签可以包括鲁莽车辆和非鲁莽车辆。可以根据车辆标记标签识别车辆周围的其他车辆是否为鲁莽车辆。预警信息可以是指当车辆感知到周围环境中存在鲁莽车辆时,向驾驶员提供的警示信息。
具体的,车辆可以通过无线网关或者V2X技术获取云端服务器下发的车辆标记数据,车辆标识数据可以为一个车辆数据集,车辆标记数据中车辆信息和鲁莽标记标签是一一对应的,每个车辆信息都对应一个鲁莽标记标签。车辆信息可以包括车牌信息,也就是说,每个车辆数据集中的车辆车牌都对应标识鲁莽车辆和非鲁莽车辆。车辆可以通过视觉传感器或V2X技术感知环境中鲁莽标记标签为鲁莽车辆的鲁莽驾驶车辆,并在检索到周围环境中存在鲁莽驾驶车辆时向驾驶员提供预警信息。可以预先设置当鲁莽车辆位于车辆阈值范围内向驾驶员提供预警信息,其中,阈值范围可以是车辆厂商预先设置的,示例的,阈值范围可以为200米、500米1000米等。当车辆感知到鲁莽车辆位于阈值范围内,可以向驾驶员提供预警信息。
在一个实施例中,当视觉传感器感知车辆环境中鲁莽车辆时,视觉传感器可以识别附近车辆车牌信息,并可以在数据集中检索车牌信息对应的鲁莽标记标签,当检索到车辆阈值范围内车辆车牌信息对应的鲁莽标记标签为鲁莽车辆时,车辆向驾驶员提供预警信息。当基于V2X技术感知环境中鲁莽车辆时,可以根据车辆标记数据感知到鲁莽标记标签为鲁莽车辆的鲁莽驾驶车辆的实时位置,当检索到车辆阈值范围内存在鲁莽标记标签为鲁莽车辆的鲁莽驾驶车辆时,车辆向驾驶员提供预警信息。预警信息可以通过车辆预设的屏幕提示驾驶员附近存在鲁莽驾驶车辆,又或者,预警信息可以通过车辆配置的音响语音提醒驾驶员附近存在鲁莽驾驶车辆。
在一个实施例中,当周围环境存在标记的鲁莽驾驶车辆时,向驾驶员提供预警信息的同时,还可以对本车车辆进行安全控制。示例性的,当车辆处于自适应巡航控制(Adaptive Cruise Control,ACC)功能或者自动跟车等功能时,可以提高车辆跟车距离等级,又或者,可以提高车辆自动紧急制动系统(Autonomous Emergency Braking,AEB)的敏感度,以实现在驾驶员感知之前提前预测鲁莽驾驶行为,增加驾驶的舒适性与安全性。
实施例二
图2是根据本发明实施例二提供的一种鲁莽驾驶行为标记方法的流程图,本实施例是在上述实施例的基础上对鲁莽驾驶行为标记方法的进一步细化。如图2所示,该方法包括:
S2010、启动车内视觉传感器采集驾驶员的图像数据,在图像数据中提取驾驶员的情绪数据,将情绪数据按照时间顺序生成情绪时间序列,根据情绪时间序列量化驾驶员的情绪分数。
其中,车内视觉传感器可以是预先设置在车辆的,是可以以视觉的方式采集图像的设备,例如,车内视觉传感器可以为车载摄像机。情绪数据可以是指根据驾驶员面部表情确定的驾驶员情绪信息,情绪可以分为正面情绪和负面情绪;情绪时间序列可以是指按照时间排列的情绪数据变化的序列;情绪分数可以是当前时刻根据驾驶员的情绪变化量化的分数。
具体的,可以通过车内视觉传感器采集驾驶员的图像数据,根据驾驶员的图像数据提取驾驶员的情绪变化。车内视觉传感器的数量可以为一个或者多个,可以安装在车辆任意可以采集到驾驶员面部表情的位置。车内视觉传感器可以为车载摄像机,车载摄像机可以基于图像识别技术检测驾驶员的面部表情变化,并根据驾驶员的面部表情变化对驾驶员情绪进行识别分类。情绪的类别可以有多种,每种情绪可以预先设置权重值,车辆控制器可以根据驾驶员情绪的变化按照时间顺序生成情绪变化时间序列,可以对多种情绪进行数值加权将驾驶员情绪变化量化为情绪变化分数。
在一个实施例中,可以累加情绪的权重值除以时间得到驾驶员情绪变化分数,可 以通过公式
Figure 730356DEST_PATH_IMAGE001
计算驾驶员情绪变化分数,式中:
Figure 468505DEST_PATH_IMAGE002
为此时量化的驾驶员情 绪变化分数;
Figure 785217DEST_PATH_IMAGE003
为第
Figure 976027DEST_PATH_IMAGE004
种情绪的权重值,共有
Figure 200335DEST_PATH_IMAGE005
种情绪;
Figure 340460DEST_PATH_IMAGE006
为当前时刻;
Figure 890390DEST_PATH_IMAGE007
为第
Figure 302917DEST_PATH_IMAGE008
种情绪最近一 次出现的时刻,通过情绪进行数值加权,量化驾驶员的情绪变化分数。
S2020、启动运动传感器获取车辆的车辆运动变化数据,其中,车辆运动变化数据包括以下至少之一:横摆角速度、纵向加速度,将情绪分数和车辆运动变化数据记为用户驾驶状态。
其中,车辆运动变化数据可以是指车辆正常行驶的过程中,车辆的前进方向或速度改变时刻获取的数据,车辆运动变化数据可以包括横摆角速度、纵向加速度等。横摆角速度可以表征汽车绕垂直轴的偏转速度,纵向加速度可以表征驾驶员制动或者加速的变化,车辆运动变化数据可以用于表征周边的交通行为对驾驶员的影响程度。运动传感器可以包括横摆角速度传感器、纵向加速度传感器等。运动传感器的数量可以为两个或两个以上,运动传感器可以设置在车辆任意位置。用户驾驶状态可以是指驾驶员驾驶车辆的舒适程度,用户驾驶状态可以通过驾驶员情绪变化和车辆运动变化确定。
具体的,车辆可以预先配置运动传感器用于获取车辆运动变化数据,车辆运动变化数据可以包括横摆角速度、纵向加速度等。采集横摆角速度和纵向加速度的传感器可以不作限制,通过采集车辆的横摆角速度和纵向加速度可以确定车辆运动的变化,并将情绪分数和车辆运动变化数据记为用户驾驶状态。
S2030、启动车速传感器检测车辆速度以及车辆与待识别车辆之间的相对速度,并根据车辆速度和相对速度确定待识别车辆速度。
具体的,车速传感器可以是指用于采集车辆速度的传感器,车速传感器可以包括车速传感器、雷达等,可以根据车辆速度和车辆与待识别车辆之间的相对速度确定待识别车辆速度。车辆速度可以通过车速传感器采集,车辆与待识别车辆之间的相对速度可以通过雷达进行采集。雷达的数量可以不作限制,雷达可以安装在可以安装在车辆的任意对雷达波没有显著衰减的位置,雷达可以包括激光雷达、超声波雷达等。车辆控制器可以根据车辆速度和相对速度确认待识别车辆的速度。
S2040、启动车外视觉传感器采集待识别车辆信息,其中,待识别车辆信息包括车牌信息。
在一个实施例中,车外视觉传感器可以包括车辆预设的摄像头,摄像头可以对车辆周围车辆进行检测,摄像头可以基于图像识别技术采集待识别车辆信息,例如,可以采集待识别车辆的车牌信息。
S2050、当情绪分数达到情绪第一阈值且横摆角速度达到角速度第一阈值或者当情绪分数达到情绪第一阈值且纵向加速度达到加速度第一阈值时,确定鲁莽程度为轻度鲁莽。
其中,情绪第一阈值可以是指情绪轻微转变时对应的情绪分数的临界值;角速度第一阈值可以是指横摆角速度转变角度数值的临界值;加速度第一阈值可以是指纵向加速度转变数值大小的临界值。其中,情绪第一阈值、角速度第一阈值、加速度第一阈值的数值大小可以是车辆厂商根据经验设定的数值大小,示例性的,情绪第一阈值经验包括30分、50分、70分等,情绪第一阈值也可以具体为一个情绪分数范围;角速度第一阈值可以包括1rad/s、5rad/s、10rad/s等,角速度第一阈值也可以具体为一个角速度范围,加速度第一阈值可以包括0.01m/s²、1 m/s²等,加速度第一阈值也可以具体为一个加速度范围。
在一个实施例中,当情绪分数达到情绪第一阈值时,可以确认驾驶员情绪出现轻微变化,横摆角速度达到角速度第一阈值时,可以确认车辆行驶角度变化,纵向加速度达到加速度第一阈值时,可以确认车辆进行制动。当情绪分数达到情绪第一阈值且横摆角速度达到角速度第一阈值或者当情绪分数达到情绪第一阈值且纵向加速度达到加速度第一阈值时,可以认为驾驶员驾驶过程中由于待识别车辆造成轻度影响,则可以确定待识别车辆的鲁莽程度为轻度鲁莽。
S2060、当情绪分数达到情绪第二阈值且横摆角速度达到角速度第二阈值或者当情绪分数达到情绪第二阈值且纵向加速度达到加速度第二阈值时,确定鲁莽程度为重度鲁莽。
其中,情绪第二阈值可以是指情绪明显转变时对应的情绪分数的临界值;角速度第二阈值可以是指横摆角速度转变角度数值明显的临界值;加速度第二阈值可以是指纵向加速度转变明显的临界值。其中,情绪第二阈值小于情绪第一阈值,角速度第二阈值和加速度第二阈值分别大于角速度第一阈值和加速度第一阈值,情绪第二阈值、角速度第二阈值、加速度第二阈值大小可以是车辆厂商根据经验设定的数值大小。示例性的,情绪第二阈值经验包括20分、30分、50分等,情绪第二阈值也可以具体为一个情绪分数范围;角速度第二阈值可以包括3rad/s、6rad/s、15rad/s等,角速度第二阈值也可以具体为一个角速度范围,加速度第二阈值可以包括0.02m/s²、2 m/s²等,加速度第二阈值也可以具体为一个加速度范围。
在一个实施例中,当情绪分数下降到情绪第二阈值时,可以确认驾驶员情绪出现明显变化,横摆角速度达到角速度第二阈值时,可以确认车辆行驶角度出现明显变化,纵向加速度达到加速度第二阈值时,可以确认车辆进行紧急制动。当情绪分数达到情绪第二阈值且横摆角速度达到角速度第二阈值或者当情绪分数达到情绪第二阈值且纵向加速度达到加速度第二阈值时,可以认为驾驶员驾驶过程中由于待识别车辆造成严重影响,则可以确定待识别车辆的鲁莽程度为重度鲁莽。
S2070、当情绪分数未达到情绪第一阈值或者横摆角速度未达到角速度第一阈值或者纵向加速度未达到加速度第一阈值时,确定鲁莽程度为非鲁莽。
在一个实施例中,当情绪分数未达到情绪第一阈值,可以认为待识别车辆未对驾驶员造成影响或者对驾驶员造成的影响可以忽略不计;横摆角速度未达到角速度第一阈值,可以认为车辆未进行转弯或者并线;纵向加速度未达到加速度第一阈值,可以认为驾驶员并未因待识别车辆而进行制动。当情绪分数未达到情绪第一阈值或者横摆角速度未达到角速度第一阈值或者纵向加速度未达到加速度第一阈值时,可以确定待识别车辆的鲁莽程度为非鲁莽。
S2080、将待识别车辆速度按照时间顺序排列生成待识别车辆速度时间序列,确定待识别车辆速度时间序列的统计指标,其中,统计指标包括以下至少之一:方差、标准差。
其中,待识别车辆速度时间序列可以是指将车辆采集获取的待识别车辆速度按照时间排列生成的,待识别车辆速度可以是根据本车速度和本车速度与待识别车辆之间的相对速度确定的。本车速度可以通过车速传感器获取,相对速度可以通过雷达获取。雷达的种类可以不作限制,示例性的,雷达可以包括激光雷达、超声波雷达等。统计指标可以是表征由于待识别车辆引起的相对速度的波动,统计指标可以包括方差、标准差等。
在一个实施例中,可以通过速度传感器采集本车速度,通过雷达获取本车与待识别车辆之间的相对速度,根据本车速度和相对速度计算待识别车辆的速度,根据时间顺序将待识别车辆速度排列生成待识别车辆速度时间序列,基于待识别车辆速度时间序列计算统计指标,确定待识别车辆引起的相对速度的波动,统计指标可以包括方差、标准差等。
在一个实施例中,当统计指标为方差时,可以通过公式
Figure 534178DEST_PATH_IMAGE009
计算 基于前车行进速度信号时间序列的方差,式中:
Figure 981340DEST_PATH_IMAGE010
为前车速度在一段时间内的方差;
Figure 498909DEST_PATH_IMAGE011
为 前车速度;
Figure 398732DEST_PATH_IMAGE005
为此段时间序列车速采样点的个数。
S2090、当统计指标大于阈值统计指标时,则确定车辆风险原因为待识别车辆。
具体的,可以预设统计指标阈值,统计指标阈值可以是车辆厂商提前设置的,统计指标阈值可以设置为任意数值,当统计指标大于阈值统计指标时,可以确定由待识别车辆引起的相对速度波动幅度较大,则确定车辆风险原因为待识别车辆。
S2100、当待识别车辆的鲁莽程度为轻度鲁莽或重度鲁莽,且确定车辆风险原因为待识别车辆,确认待识别车辆存在鲁莽驾驶行为。
具体的,待识别车辆可以根据驾驶员分数和车辆的车辆运动变化数据确定车辆的鲁莽程度为轻度鲁莽或重度鲁莽,可以判断待识别车辆对驾驶员驾驶车辆是否造成影响。当待识别车辆对驾驶员驾驶车辆造成影响且根据统计指标确定车辆风险原因为待识别车辆时,可以确认待识别车辆存在鲁莽驾驶行为。
S2110、生成鲁莽程度、待识别车辆速度和待识别车辆信息对应的传输数据包。
具体的,当确认待识别车辆存在鲁莽驾驶行为时,可以生成鲁莽程度、待识别车辆速度和待识别车辆信息对应的传输数据包,传输数据包可以是一个或者多个,可以将多个数据存储于一个数据包,或将每种数据分别存储为一个数据包。
S2120、发送数据包到云端服务器,以使云端服务器标记鲁莽驾驶车辆。
在实施例中,车辆可以将生成的鲁莽程度、待识别车辆速度和待识别车辆信息对应的传输数据包发送到云端服务器,传输方式可以包括通过V2X技术或者通过车载无线网关进行上传,云端服务器接收到数据包后,会标记车辆信息对应的车辆为标记鲁莽驾驶车辆。
在本发明实施例中,根据统计指标确认待识别车辆车速的波动,更准确判断车辆风险原因,通过判断待识别车辆的鲁莽程度,更准确的标记鲁莽驾驶车辆,通过确定车辆风险原因和用户的不舒适指数判断待识别车辆的鲁莽行为,提高了标记鲁莽驾驶行为车辆的合理性。
进一步的,还包括:获取云端服务器训练完成的鲁莽驾驶预测模型;提取待识别车辆速度时间序列;按照鲁莽驾驶预测模型将待识别车辆速度时间序列生成待识别车辆的鲁莽驾驶置信度;当鲁莽驾驶置信度达到置信度阈值时,标记待识别车辆为鲁莽驾驶车辆。
其中,鲁莽驾驶预测模型可以是通过云端服务器进行训练的,是用于预测鲁莽驾驶车辆的模型;鲁莽驾驶置信度可以是指鲁莽驾驶车辆的可靠程度;置信度阈值可以是车辆厂商预先设置的,置信度阈值可以不作限制,示例性的,置信度阈值可以包括0.5、0.6等。
具体的,车辆可以获取云端服务器下发的鲁莽驾驶预测模型,通过提取存储于车辆的待识别车辆速度时间序列,根据鲁莽驾驶预测模型将待识别车辆速度时间序列生成待识别车辆的鲁莽驾驶置信度。鲁莽驾驶置信度可以用于确定是否标记待识别车辆为鲁莽驾驶车辆,当鲁莽驾驶置信度达到置信度阈值时,可以标记待识别车辆为鲁莽驾驶车辆。
进一步的,将情绪时间序列中情绪到达阈值时刻之前阈值时间的时间点作为鲁莽驾驶置信度的标记时间;按照标记时间和鲁莽驾驶置信度构建鲁莽驾驶置信度序列。
其中,阈值时刻可以是指驾驶员情绪到达阈值的时刻,可以是指驾驶员情绪分数到达情绪第一阈值的时刻,阈值时刻可以是车辆厂商根据经验设置的或者是根据数据计算的驾驶员情绪变化与待识别车辆速度变化的时间间隔;鲁莽驾驶置信度序列可以是指鲁莽驾驶车辆的置信度按照时间排列生成的时间序列。
具体的,可以将情绪时间序列中情绪到达阈值时刻之前阈值时间的时间点作为鲁莽驾驶置信度的标记时间,也就是说,情绪时间序列中情绪到达阈值时刻的时间点提前阈值时间的时间点为鲁莽驾驶车辆鲁莽置信度更新的时间点,标记时间和鲁莽驾驶置信度按照时间排列可以生成鲁莽驾驶置信度序列。
实施例三
图3是根据本发明实施例三提供的一种鲁莽驾驶行为标记方法的流程图,本实施例可适用于标记鲁莽驾驶行为车辆的情况,该方法可以由云端服务器来执行。如图3所示,该方法包括:
S310、获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息。
具体的,云端服务器可以获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息,车辆上传的数据信息可以是以数据包的形式上传,云端服务器可以提取对应数据包中的信息。
S320、根据待识别车辆信息在预先存储的鲁莽车辆数据集提取历史鲁莽车辆置信度。
其中,鲁莽车辆数据集可以是云端服务器存储的标记鲁莽车辆的数据集,数据集中可以包括鲁莽驾驶车辆的车辆信息、鲁莽车辆置信度等;历史鲁莽车辆置信度可以是指云端服务器上一次对车辆标记的车辆置信度。
具体的,云端服务器可以将历史标记的鲁莽驾驶车辆信息存储于鲁莽车辆数据集中,鲁莽车辆数据集中每个车辆信息可以对应相应的鲁莽驾驶信息,基于待识别车辆信息在鲁莽车辆数据集中查找待识别车辆的历史车辆置信度,可以确定待识别车辆的历史车辆置信度。
进一步的,鲁莽车辆数据集中的车辆标记置信度随时间衰减,其中,衰减方式包括以下至少之一:指数衰减、高斯衰减。
鲁莽车辆数据集中的车辆标记置信度可以随时间衰减用于增加标记精确度,车辆标记置信度可以不作限制,可以是车辆厂商预先设置的,示例性的,车辆标记置信度的衰减方式可以包括指数衰减、高斯衰减等。
S330、根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度。
具体的,鲁莽置信度的更新方式可以包括新生成的鲁莽驾驶置信度替换历史鲁莽驾驶置信度。车辆上传的鲁莽程度可以包括轻度鲁莽、重度鲁莽等,根据鲁莽程度的不同,对应的鲁莽置信度也不同,当鲁莽程度为轻度鲁莽时,增加的鲁莽置信度数值更小;当鲁莽程度为重度鲁莽时,增加的鲁莽置信度数值更大。鲁莽置信度数值的改变量可以不作限制,可以是预先设置的改变数值。示例性的,当待识别车辆的鲁莽程度为轻度鲁莽时,可以在历史置信度的基础上增加0.1、0.2等;当待识别车辆的鲁莽程度为重度鲁莽时,可以在历史置信度的基础上增加0.5、0.6等。
S340、当鲁莽车辆置信度达到置信度阈值时,标记待识别车辆信息对应的车辆为鲁莽驾驶车辆。
具体的,置信度阈值可以是提前设置的,置信度阈值可以不作限制,示例性的,置信度阈值可以为0.5、0.6等,当鲁莽车辆置信度达到置信度阈值时,标记待识别车辆信息对应的车辆为鲁莽驾驶车辆。
在本发明实施例中,通过获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息,并获取待识别车辆历史鲁莽车辆置信度,根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度,并根据在鲁莽车辆置信度达到置信度阈值时标记待识别车辆为鲁莽车辆,提高了标记鲁莽车辆的准确性,鲁莽车辆数据集中的车辆标记置信度随时间衰减,增加标记精度,实现合理标记鲁莽驾驶车辆。
进一步的,在鲁莽车辆数据集未提取到历史鲁莽车辆置信度的情况下,按照鲁莽驾驶预测模型和待识别车辆速度确定鲁莽驾驶置信度并存储到鲁莽车辆数据集。
当鲁莽车辆历史未被标记时,鲁莽车辆数据集中不会存储待识别车辆的数据信息,在鲁莽车辆数据集不能提取到待识别车辆的历史鲁莽车辆置信度的情况,可以根据鲁莽驾驶预测模型确认待识别车辆鲁莽驾驶置信度,通过待识别车辆速度和鲁莽驾驶预测模型可以确定待识别车辆的鲁莽驾驶置信度并可以将确认的待识别车辆的鲁莽驾驶置信度存储到鲁莽车辆数据集。
实施例四
图4是根据本发明实施例四提供的一种鲁莽驾驶预测模型训练的流程图,本实施例可适用于训练鲁莽驾驶预测模型的情况,该方法可以由云端服务器来执行。如图4所示,该方法包括:
S410、获取待识别车辆速度和车辆上传的鲁莽驾驶置信度序列。
具体的,待识别车辆速度可以通过车辆采集,鲁莽驾驶置信度序列根据鲁莽驾驶置信度生成,云端服务器可以获取车辆采集的待识别车辆速度和车辆生成的鲁莽驾驶置信度序列,车辆可以通过车载无线网关或者V2X技术将待识别车辆速度和鲁莽驾驶置信度序列上传到云端服务器。
S420、将鲁莽驾驶置信度序列和待识别车辆速度按照待识别车辆车速变化时刻和鲁莽驾驶置信度序列内鲁莽驾驶置信度的标记时间进行对齐生成鲁莽评价时间序列。
其中,鲁莽评价时间序列可以是指对待识别车辆的鲁莽程度进行评价的序列,鲁莽评价时间序列至少包括鲁莽驾驶置信度和待识别车辆速度;鲁莽驾驶置信度的标记时间为情绪时间序列中情绪到达阈值时刻之前阈值时间的时间点。
具体的,待识别车辆出现鲁莽行为时,车速会发生改变,鲁莽驾驶置信度是根据驾驶员的不舒适性生成的,驾驶员在情绪变化或者车辆制动、并线等动作都发生于待识别车辆车速变化之后,所以需将鲁莽驾驶置信度序列和待识别车辆速度按照待识别车辆车速变化时刻和标记时间对齐,也就是说,将标记时间提前至待识别车辆车速变化时刻,生成鲁莽评价时间序列,鲁莽评价时间序列至少包括鲁莽驾驶置信度和待识别车辆速度。
S430、根据待识别车辆速度和鲁莽评价时间序列训练预先搭建的神经网络模型,将训练完成的神经网络模型作为鲁莽驾驶预测模型。
其中,神经网络模型可以使用适用于时间序列计算的神经网络模型,例如循环神经网络(Recurrent Neural Network,RNN),具体可以使用长短期记忆神经网络(LongShort-Term Memory,LSTM)等神经网络模型,根据待识别车辆速度和鲁莽评价时间序列训练预先搭建的神经网络模型,并可以将将训练完成的神经网络模型作为鲁莽驾驶预测模型,用于预测鲁莽驾驶车辆。
本发明实施例中,通过将鲁莽驾驶置信度序列和待识别车辆速度按照待识别车辆车速变化时刻和标记时间进行对齐生成鲁莽评价时间序列,实现提高模型预测的时效性,提前预测存在鲁莽驾驶行为车辆。
实施例五
图5是根据本发明实施例五提供的一种鲁莽驾驶行为标记方法的流程图,本实施例是在上述实施例基础上对鲁莽驾驶行为标记方法的一个具体实施例。以待识别车辆为前车车辆为例,对鲁莽驾驶行为标记方法进行说明。如图5所示,该方法包括如下步骤:
S5010、采集驾驶员情绪。
可以通过车内视觉传感器对驾驶员情绪进行识别、分类,并将此信息传输给鲁莽驾驶判断模块,在此模块内可以基于情绪变化按照时间顺序排列为情绪变化的时间序列。将多种情绪类别进行数值加权,同时也引入时间衰减因子,实现识别阶跃性的情绪变化,量化驾驶员情绪受变化分数。原则上有多种计算方法能够实现上述要求,可选的一种量化方法如下:
Figure 230422DEST_PATH_IMAGE012
式中:
Figure 735352DEST_PATH_IMAGE013
为此时量化的驾驶员情绪变化分数;
Figure 95926DEST_PATH_IMAGE014
为第
Figure 748625DEST_PATH_IMAGE008
种情绪的权重值,共有
Figure 197055DEST_PATH_IMAGE015
种 情绪;
Figure 353229DEST_PATH_IMAGE006
为当前时刻;
Figure 353547DEST_PATH_IMAGE016
为第
Figure 227962DEST_PATH_IMAGE008
种情绪最近一次出现的时刻。
S5020、获取运动学传感器的信号。
运动学传感器信号可以包括横摆角速度、纵向加速度信号,用于表征驾驶员因环境因素进行的制动、并线等操作,用以表征客观上生理的不舒适程度。
S5030、获取视觉学传感器的信号。
可以通过视觉学传感器获取本车车速信号及与前车的相对速度信号。
S5040、根据驾驶员情绪和获取运动学传感器的信号判断驾驶员是否产生不适,如果是,则进入S5060;如果否,则进入S5010。
可以根据驾驶员情绪信息、车辆横摆角速度、车辆纵向加速度综合判断驾驶员是否产生不适。
S5050、根据视觉传感器信号判断风险是否由前车引起。
可以使用本车车速信号及与前车的相对速度信号计算识别风险原因,即是由本车驾驶员操作造成的风险还是由前车动作造成的风险,为满足此需求有多种计算方法,可选的一种计算方法为基于前车行进速度信号时间序列的方差,如下:
Figure 401454DEST_PATH_IMAGE017
式中:
Figure 740031DEST_PATH_IMAGE010
为前车速度在一段时间内的方差;
Figure 707987DEST_PATH_IMAGE018
为前车速度;
Figure 69699DEST_PATH_IMAGE019
为此段时间序列车 速采样点的个数;
Figure 984565DEST_PATH_IMAGE020
为来自于传感器的两车间相对速度;
Figure 849753DEST_PATH_IMAGE021
为后车速度即本车速度。
方差可以表征由前车引起的车辆相对速度的波动幅度,可以表征前车紧急制动、紧急并线等情况,当方差大于设定阈值,则判断风险由前车引起。
S5060、判断驾驶员是否产生不适且车辆风险是由前车引起,则进入S5070。
S5070、由无线网关将前车运动数据、车牌信息和鲁莽程度上传至云端服务器。
S5080、云端服务器将车辆上传的数据进行处理。
将每段车辆上传的前车速度时间序列及评价标签时间序列对齐。由于标签时间序列来自于后车动态表现及驾驶员主观情绪,其相较鲁莽驾驶行为存在滞后性,在数据处理时需要将标签的时间序列提前至前车速度方差阈值触发时作为神经网络训练的输入标签。
S5090、云端服务器标记鲁莽车辆。
根据用户车辆上报的鲁莽驾驶行为及量化的鲁莽程度标记鲁莽驾驶车辆。应根据每一次新上报的事件更新对应车牌照车辆的标记置信度,同时因仅具有“鲁莽驾驶”这一类标签,标记置信度应随时间衰减以增加标记精确度,可选的衰减算法有指数衰减、高斯衰减等。示例性的,指数衰减算法如下:
Figure 254189DEST_PATH_IMAGE022
式中:
Figure 916246DEST_PATH_IMAGE023
为衰减后的标记置信度;
Figure 165962DEST_PATH_IMAGE024
为上一次事件更新后的置信度;
Figure 416815DEST_PATH_IMAGE025
为衰减系 数,决定衰减速度;
Figure 929835DEST_PATH_IMAGE006
为自上一次事件更新后经过的时间。
当标记置信度高于某一阈值时,则判定此车辆为鲁莽驾驶车辆,标记此车辆为鲁莽车辆,并向具备无线网关功能的车辆发送信息广播。
S5100、判断附近是否存在鲁莽车辆,如果是,则进入S5110;如果否,则进入S5090。
将被标记为鲁莽驾驶车辆的牌照号存在车辆本地,或使用摄像头识别的附近车辆牌照号在云端数据库检索,或基于V2X技术感知被标记为鲁莽驾驶车辆的实时位置,感知车辆附近是否存在鲁莽驾驶车辆。
S5110、当附近存在鲁莽车辆时,向驾驶员发出预警,提升车辆安全等级。提示用户安全驾驶。
S5120、将数据处理后的数据信息形成训练数据集。包括计算后的前车速度值及经对齐处理后的标签序列时间序列。可选的,鲁莽驾驶预测模型训练的数据集可以包括前车加速度、车辆相对速度、距离等具有明显特征值数据。
S5130、根据训练数据集中数据训练预测模型。
S5140、判断模型是否可用,如果是,则进入S5150;如果否,则进入S5130。
S5150、根据预测模型预测前方车辆鲁莽驾驶风险。
图6是根据本发明实施例五提供的一种数据处理示意图。如图6所示,以待识别车辆为前车车辆为例,上方坐标系内为速度时间序列,横坐标为时间,纵坐标为速度,标记位置为方差触发时刻,即确认车辆风险为前车的时间;下方坐标系内为评价标签时间序列,横坐标为时间,纵坐标为鲁莽驾驶标志,可以认为置信度超过置信度阈值后,标记车辆为鲁莽车辆。
将每段车辆上传的前车速度时间序列及评价标签时间序列对齐。由于标签时间序列来自于后车动态表现及驾驶员主观情绪,其相较鲁莽驾驶行为存在滞后性,在数据处理时需要将标签的时间序列提前至前车速度方差阈值触发时刻作为神经网络训练的输入标签。
由于此速度并非前车绝对速度,严格的说是前车延本车坐标系纵向方向上的速度,当前车进行突然并线、急刹车时其曲线将具有明显特征性,固可以使用此速度的时间序列数据进行深度学习进而形成鲁莽驾驶预测模型。而将标签序列提前的目的在于使前车鲁莽驾驶行为发生时与标签的阶跃变化在时序上保持一致以实现提高模型预测的时效性。若不将时间序列提前,模型将拟合驾驶员的实际主观感受,即输出结果存在滞后性,无法实现提前预测的目的。
图7是根据本发明实施例五提供的一种神经网络训练图示意图。如图7所示,将前车运动状态时间序列作为模型的输入端,将对齐的标签时间序列作为模型的输出端,经过RNN神经网络训练生成鲁莽驾驶预测模型,在使用模型时,输入前车实时运动状态,可以预测鲁莽驾驶置信度和非鲁莽驾驶置信度。
本发明实施例中神经网络模型可以使用适用于时间序列计算的循环神经网络,具体的可使用LSTM等网络,循环神经网络具备针对时间序列数据记忆的能力,使用序列到序列的方式进行训练,令模型输出“鲁莽驾驶”“非鲁莽驾驶”两个类别的置信度,实现对驾驶行为的分类预测。
图8是根据本发明实施例五提供的一种鲁莽驾驶判断系统的结构示意图,如图8所示,该系统包括:鲁莽驾驶判断模块80、车内视觉传感器81、车辆运动信号获取模块82和辅助驾驶传感器83。
其中,车内视觉传感器81,用于检测驾驶员情绪。
车辆运动信号获取模块82,用于检测车辆横摆角速度和纵向加速度。
辅助驾驶传感器83,用于检测车辆与前车距离的相对速度信号。
进一步的,鲁莽驾驶判断模块80包括:用户不舒适参数确定模块84、风险原因识别模块85和鲁莽驾驶确认模块85。
用户不舒适参数确定模块84,用于根据驾驶员情绪、车辆横摆角速度和纵向加速度判断用户不舒适指数。
风险原因识别模块85,用于根据车辆与前车距离的相对速度信号识别车辆风险原因。
鲁莽驾驶确认模块85,用于判断前方车辆是否为鲁莽车辆。
实施例六
图9是根据本发明实施例六提供的一种鲁莽驾驶行为标记装置的结构示意图,应用于车辆。如图9所示,该装置包括:信息获取模块91,鲁莽判断模块92和信息上传模块93。
其中,信息获取模块91,用于获取用户驾驶状态、待识别车辆速度和待识别车辆信息。
鲁莽判断模块92,用于根据用户驾驶状态确定待识别车辆的鲁莽程度,根据鲁莽程度和待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为。
信息上传模块93,用于当待识别车辆存在鲁莽驾驶行为时,将鲁莽程度、待识别车辆速度和待识别车辆信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆。
本发明实施例,通过信息获取模块获取用户驾驶状态、待识别车辆速度,实现了根据驾驶员情绪和车辆运动变化判断用户的不舒适指数,鲁莽判断模块根据待识别车辆速度确认车辆风险原因,通过确定车辆风险原因和不舒适指数确定具有鲁莽行为的待识别车辆,信息上传模块将获取的信息上传到云端服务器,以使云端服务器标记待识别车辆为鲁莽驾驶车辆,提高了标记鲁莽驾驶行为车辆的合理性,增加用户安全驾驶指数。
进一步的,在上述发明实施例的基础上,信息获取模块91包括:
视觉采集单元,用于启动车内视觉传感器采集驾驶员的图像数据,在图像数据中提取驾驶员的情绪数据,将情绪数据按照时间顺序生成情绪时间序列,根据情绪时间序列量化驾驶员的情绪分数。
运动采集单元,用于启动运动传感器获取车辆的车辆运动变化数据,其中,车辆运动变化数据包括以下至少之一:横摆角速度、纵向加速度,将情绪分数和车辆运动变化数据记为用户驾驶状态。
车速采集单元,用于启动车速传感器检测车辆速度以及车辆与待识别车辆之间的相对速度,并根据车辆速度和相对速度确定待识别车辆速度。
车辆采集单元,用于启动车外视觉传感器采集待识别车辆信息,其中,待识别车辆信息包括车牌信息。
进一步的,在上述发明实施例的基础上,鲁莽判断模块92包括:
第一判断单元,用于当情绪分数达到情绪第一阈值且横摆角速度达到角速度第一阈值或者当情绪分数达到情绪第一阈值且纵向加速度达到加速度第一阈值时,确定鲁莽程度为轻度鲁莽。
第二判断单元,用于当情绪分数达到情绪第二阈值且横摆角速度达到角速度第二阈值或者当情绪分数达到情绪第二阈值且纵向加速度达到加速度第二阈值时,确定鲁莽程度为重度鲁莽。
第三判断单元,用于当情绪分数未达到情绪第一阈值或者横摆角速度未达到角速度第一阈值或者纵向加速度未达到加速度第一阈值时,确定鲁莽程度为非鲁莽。
统计指标确认单元,用于将待识别车辆速度按照时间顺序排列生成待识别车辆速度时间序列,确定待识别车辆速度时间序列的统计指标,其中,统计指标包括以下至少之一:方差、标准差。
统计指标比较单元,用于当统计指标大于阈值统计指标时,则确定车辆风险原因为待识别车辆。
鲁莽行为确认单元,用于当待识别车辆的鲁莽程度为轻度鲁莽或重度鲁莽,且确定车辆风险原因为待识别车辆,确认待识别车辆存在鲁莽驾驶行为。
进一步的,在上述发明实施例的基础上,信息上传模块93包括:
数据包生成单元,用于生成鲁莽程度、待识别车辆速度和待识别车辆信息对应的传输数据包。
数据包上传单元,用于发送数据包到云端服务器,以使云端服务器标记鲁莽驾驶车辆。
进一步的,在上述发明实施例的基础上,鲁莽驾驶行为标记装置还包括:
数据下发单元,用于获取云端服务器下发的车辆标记数据,其中,车辆标记数据包括车辆信息和鲁莽标记标签,鲁莽标记标签包括鲁莽车辆和非鲁莽车辆。
车辆预警单元,用于在车辆的环境中根据车辆标记数据感知到鲁莽标记标签为鲁莽车辆的鲁莽驾驶车辆时,向驾驶员提供预警信息,其中,感知方式包括以下至少之一:视觉传感器、V2X技术。
进一步的,在上述发明实施例的基础上,鲁莽驾驶行为标记装置还包括:
模型获取单元,用于获取云端服务器训练完成的鲁莽驾驶预测模型。
车速提取单元,用于提取待识别车辆速度时间序列。
置信度生成单元,用于按照鲁莽驾驶预测模型将待识别车辆速度时间序列生成待识别车辆的鲁莽驾驶置信度。
置信度比较单元,当鲁莽驾驶置信度达到置信度阈值时,标记待识别车辆为鲁莽驾驶车辆。
进一步的,在上述发明实施例的基础上,鲁莽驾驶行为标记装置还包括:
标记时间确认单元,用于将情绪时间序列中情绪到达阈值时刻的时间点作为鲁莽驾驶置信度的标记时间。
序列构建单元,用于按照标记时间和鲁莽驾驶置信度构建鲁莽驾驶置信度序列。
图10是根据本发明实施例六提供的一种鲁莽驾驶行为标记装置的结构示意图,应用于云端服务器。如图10所示,该装置包括:信息接收模块94,置信度获取模块95和置信度更新模块96。
其中,信息接收模块94,用于获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息。
置信度获取模块95,用于根据待识别车辆信息在预先存储的鲁莽车辆数据集提取历史鲁莽车辆置信度。
置信度更新模块96,用于根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度。
车辆标记模块97,用于当鲁莽车辆置信度达到置信度阈值时,标记待识别车辆信息对应的车辆为鲁莽驾驶车辆。
本发明实施例,通过信息接收模块获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息,置信度获取模块获取待识别车辆历史鲁莽车辆置信度,置信度更新模块根据鲁莽程度在鲁莽车辆数据集更新鲁莽驾驶置信度,车辆标记模块根据在鲁莽车辆置信度达到置信度阈值时标记待识别车辆为鲁莽车辆,提高了标记鲁莽车辆的准确性,鲁莽车辆数据集中的车辆标记置信度随时间衰减,增加标记精度,实现合理标记鲁莽驾驶车辆。
进一步的,在上述发明实施例的基础上,鲁莽驾驶行为标记装置还包括:
数据集存储单元,用于在鲁莽车辆数据集未提取到历史鲁莽车辆置信度的情况下,按照鲁莽驾驶预测模型和待识别车辆速度确定鲁莽驾驶置信度并存储到鲁莽车辆数据集。
进一步的,置信度获取模块95中鲁莽车辆数据集中的车辆标记置信度随时间衰减,其中,衰减方式包括以下至少之一:指数衰减、高斯衰减。
进一步的,在上述发明实施例的基础上,鲁莽驾驶行为标记装置还包括:
信息获取单元,用于获取待识别车辆速度和车辆上传的鲁莽驾驶置信度序列。
序列对齐单元,用于将鲁莽驾驶置信度序列和待识别车辆速度按照待识别车辆车速变化时刻和标记时间进行对齐生成鲁莽评价时间序列。
模型构建单元,用于根据待识别车辆速度和鲁莽评价时间序列训练预先搭建的神经网络模型,将训练完成的神经网络模型作为鲁莽驾驶预测模型。
本发明实施例所提供的鲁莽驾驶行为标记装置可执行本发明任意实施例所提供的鲁莽驾驶行为标记方法,具备执行方法相应的功能模块和有益效果。
实施例七
图11是实现本发明实施例的一种鲁莽驾驶行为标记方法的车辆10的结构示意图,车辆旨在表示对车辆的具体类型不作限定,如可以是机动车、非机动车等,只要能够具有语音功能即可。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图11所示,车辆10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储车辆10操作所需的各种程序和数据。处理器11、ROM12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
车辆10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许车辆10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如一种鲁莽驾驶行为标记方法。
在一些实施例中,一种鲁莽驾驶行为标记方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到车辆10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的一种鲁莽驾驶行为标记方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种鲁莽驾驶行为标记方法。
图12是实现本发明实施例的一种鲁莽驾驶行为标记方法的云端服务器20的结构示意图。云端服务器旨在表示简单高效、安全可靠、处理能力可弹性伸缩的计算服务,云端服务器可以存储数据、训练模型等多种用处。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图12所示,云端服务器20包括至少一个处理器21,以及与至少一个处理器21通信连接的存储器,如只读存储器(ROM)22、随机访问存储器(RAM)23等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器21可以根据存储在只读存储器(ROM)22中的计算机程序或者从存储单元28加载到随机访问存储器(RAM)23中的计算机程序,来执行各种适当的动作和处理。在RAM 23中,还可存储云端服务器20操作所需的各种程序和数据。处理器21、ROM 22以及RAM 23通过总线24彼此相连。输入/输出(I/O)接口25也连接至总线24。
云端服务器20中的多个部件连接至I/O接口25,包括:输入单元26,例如键盘、鼠标等;输出单元27,例如各种类型的显示器、扬声器等;存储单元28,例如磁盘、光盘等;以及通信单元29,例如网卡、调制解调器、无线通信收发机等。通信单元29允许云端服务器20通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器21可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器21的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器21执行上文所描述的各个方法和处理,例如一种鲁莽驾驶行为标记方法。
在一些实施例中,一种鲁莽驾驶行为标记方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元28。在一些实施例中,计算机程序的部分或者全部可以经由ROM 22和/或通信单元29而被载入和/或安装到云端服务器20上。当计算机程序加载到RAM23并由处理器21执行时,可以执行上文描述的一种鲁莽驾驶行为标记方法的一个或多个步骤。备选地,在其他实施例中,处理器21可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行一种鲁莽驾驶行为标记方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在车辆上实施此处描述的系统和技术,该车辆具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给车辆。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (13)

1.一种鲁莽驾驶行为标记方法,应用于车辆,其特征在于,包括:
获取用户驾驶状态、待识别车辆速度和待识别车辆信息;
根据所述用户驾驶状态确定所述待识别车辆的鲁莽程度,根据所述鲁莽程度和所述待识别车辆速度确定鲁莽驾驶行为,其中,鲁莽驾驶行为包括鲁莽驾驶行为和非鲁莽驾驶行为;
当所述待识别车辆存在鲁莽驾驶行为时,将所述鲁莽程度、所述待识别车辆速度和所述待识别车辆信息上传到云端服务器,以使所述云端服务器标记所述待识别车辆为鲁莽驾驶车辆;
其中,所述获取用户驾驶状态、待识别车辆速度和待识别车辆信息,包括:
启动车内视觉传感器采集驾驶员的图像数据,在所述图像数据中提取所述驾驶员的情绪数据,将所述情绪数据按照时间顺序生成情绪时间序列,根据所述情绪时间序列量化所述驾驶员的情绪分数;
启动运动传感器获取所述车辆的车辆运动变化数据,其中,车辆运动变化数据包括以下至少之一:横摆角速度、纵向加速度,将所述情绪分数和所述车辆运动变化数据记为所述用户驾驶状态;
启动车速传感器检测所述车辆速度以及所述车辆与所述待识别车辆之间的相对速度,并根据所述车辆速度和所述相对速度确定所述待识别车辆速度;
启动车外视觉传感器采集所述待识别车辆信息,其中,所述待识别车辆信息包括车牌信息。
2.根据权利要求1所述方法,其特征在于,所述根据所述用户驾驶状态确定所述待识别车辆的鲁莽程度,根据所述鲁莽程度和所述待识别车辆速度确定鲁莽驾驶行为,包括:
当所述情绪分数达到情绪第一阈值且所述横摆角速度达到角速度第一阈值或者当所述情绪分数达到所述情绪第一阈值且所述纵向加速度达到加速度第一阈值时,确定所述鲁莽程度为轻度鲁莽;
当所述情绪分数达到情绪第二阈值且所述横摆角速度达到角速度第二阈值或者当所述情绪分数达到所述情绪第二阈值且所述纵向加速度达到所述加速度第二阈值时,确定所述鲁莽程度为重度鲁莽;
当所述情绪分数未达到所述情绪第一阈值或者所述横摆角速度未达到所述角速度第一阈值或者所述纵向加速度未达到所述加速度第一阈值时,确定所述鲁莽程度为非鲁莽;
将所述待识别车辆速度按照时间顺序排列生成待识别车辆速度时间序列,确定所述待识别车辆速度时间序列的统计指标,其中,所述统计指标包括以下至少之一:方差、标准差;
当所述统计指标大于阈值统计指标时,则确定车辆风险原因为所述待识别车辆;
当所述待识别车辆的所述鲁莽程度为所述轻度鲁莽或所述重度鲁莽,且确定所述车辆风险原因为所述待识别车辆,确认所述待识别车辆存在鲁莽驾驶行为。
3.根据权利要求1所述方法,其特征在于,所述将所述鲁莽程度、所述待识别车辆速度和所述待识别车辆信息上传到云端服务器,包括:
生成所述鲁莽程度、所述待识别车辆速度和所述待识别车辆信息对应的传输数据包;
发送所述数据包到所述云端服务器,以使所述云端服务器标记鲁莽驾驶车辆。
4.根据权利要求1所述方法,其特征在于,还包括:
获取所述云端服务器下发的车辆标记数据,其中,所述车辆标记数据包括车辆信息和鲁莽标记标签,所述鲁莽标记标签包括鲁莽车辆和非鲁莽车辆;
在所述车辆的环境中根据所述车辆标记数据感知到所述鲁莽标记标签为所述鲁莽车辆的鲁莽驾驶车辆时,向驾驶员提供预警信息,其中,感知方式包括以下至少之一:视觉传感器、V2X技术。
5.根据权利要求1所述方法,其特征在于,还包括:
获取所述云端服务器训练完成的鲁莽驾驶预测模型;
提取所述待识别车辆速度时间序列;
按照所述鲁莽驾驶预测模型将所述待识别车辆速度时间序列生成所述待识别车辆的鲁莽驾驶置信度;
当所述鲁莽驾驶置信度达到置信度阈值时,标记所述待识别车辆为鲁莽驾驶车辆。
6.根据权利要求5所述方法,其特征在于,还包括:
将所述情绪时间序列中情绪到达阈值时刻之前阈值时间的时间点作为所述鲁莽驾驶置信度的标记时间;
按照所述标记时间和所述鲁莽驾驶置信度构建鲁莽驾驶置信度序列。
7.一种鲁莽驾驶行为标记方法,应用于云端服务器,其特征在于,包括:
获取车辆上传的鲁莽程度、待识别车辆速度和待识别车辆信息;
根据所述待识别车辆信息在预先存储的鲁莽车辆数据集提取历史鲁莽车辆置信度;
根据所述鲁莽程度在所述鲁莽车辆数据集更新所述鲁莽驾驶置信度;
当所述鲁莽车辆置信度达到置信度阈值时,标记所述待识别车辆信息对应的车辆为鲁莽驾驶车辆。
8.根据权利要求7所述的鲁莽驾驶行为标记方法,其特征在于,还包括:
在所述鲁莽车辆数据集未提取到所述历史鲁莽车辆置信度的情况下,按照鲁莽驾驶预测模型和所述待识别车辆速度确定鲁莽驾驶置信度并存储到所述鲁莽车辆数据集。
9.根据权利要求7所述的鲁莽驾驶行为标记方法,其特征在于,还包括:
所述鲁莽车辆数据集中的车辆标记置信度随时间衰减,其中,衰减方式包括以下至少之一:指数衰减、高斯衰减。
10.根据权利要求7所述方法,其特征在于,还包括训练鲁莽驾驶预测模型:
获取所述待识别车辆速度和车辆上传的鲁莽驾驶置信度序列;
将所述鲁莽驾驶置信度序列和所述待识别车辆速度按照待识别车辆车速变化时刻和鲁莽驾驶置信度序列内鲁莽驾驶置信度的标记时间进行对齐生成鲁莽评价时间序列;根据所述待识别车辆速度和所述鲁莽评价时间序列训练预先搭建的神经网络模型,将训练完成的所述神经网络模型作为所述鲁莽驾驶预测模型。
11.一种车辆,其特征在于,所述车辆包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的鲁莽驾驶行为标记方法。
12.一种云端服务器,其特征在于,所述云端服务器包括:
至少一个处理器;
以及与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求7-10中任一项所述的鲁莽驾驶行为标记方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-10中任一项所述的鲁莽驾驶行为标记方法。
CN202211306272.5A 2022-10-25 2022-10-25 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质 Active CN115376115B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211306272.5A CN115376115B (zh) 2022-10-25 2022-10-25 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质
PCT/CN2023/116864 WO2024087887A1 (zh) 2022-10-25 2023-09-05 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211306272.5A CN115376115B (zh) 2022-10-25 2022-10-25 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Publications (2)

Publication Number Publication Date
CN115376115A CN115376115A (zh) 2022-11-22
CN115376115B true CN115376115B (zh) 2023-01-17

Family

ID=84074311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211306272.5A Active CN115376115B (zh) 2022-10-25 2022-10-25 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Country Status (2)

Country Link
CN (1) CN115376115B (zh)
WO (1) WO2024087887A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376115B (zh) * 2022-10-25 2023-01-17 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质
CN116509393A (zh) * 2023-04-11 2023-08-01 中国第一汽车股份有限公司 一种基于车辆设备状态和用户驾驶行为的情绪预测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852088A (zh) * 2022-05-31 2022-08-05 南京邮电大学 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901417B1 (ko) * 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
JP6123443B2 (ja) * 2013-04-09 2017-05-10 株式会社デンソー 危険車両通知装置、危険車両通知プログラム、危険車両通知プログラムを記録した記録媒体
CN107784251A (zh) * 2016-08-25 2018-03-09 大连楼兰科技股份有限公司 基于图像识别技术对驾驶行为评价的方法
CN206961331U (zh) * 2016-12-15 2018-02-02 江苏大学 一种高威胁车辆监测预警系统
CN109572705B (zh) * 2018-12-11 2020-07-28 武汉格罗夫氢能汽车有限公司 一种驾驶员情绪管理方法、设备及存储设备
CN113688652B (zh) * 2020-05-18 2024-04-02 魔门塔(苏州)科技有限公司 一种异常驾驶行为的处理方法和装置
JPWO2022038741A1 (zh) * 2020-08-20 2022-02-24
CN112043280A (zh) * 2020-09-03 2020-12-08 南京邮电大学 基于智能手机步态识别的危险驾驶行为检测方法及系统
CN112215097A (zh) * 2020-09-25 2021-01-12 三一专用汽车有限责任公司 车辆驾驶状态的监控方法、车辆和计算机可读存储介质
CN114655203A (zh) * 2020-12-23 2022-06-24 大众问问(北京)信息科技有限公司 一种辅助驾驶方法、装置、设备及存储介质
CN113415286B (zh) * 2021-07-14 2022-09-16 重庆金康赛力斯新能源汽车设计院有限公司 路怒检测方法和设备
CN114049677B (zh) * 2021-12-06 2023-08-25 中南大学 基于驾驶员情绪指数的车辆adas控制方法及系统
CN115376115B (zh) * 2022-10-25 2023-01-17 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114852088A (zh) * 2022-05-31 2022-08-05 南京邮电大学 一种识别并警告危险及疲劳驾驶行为的驾驶员辅助系统及方法

Also Published As

Publication number Publication date
WO2024087887A1 (zh) 2024-05-02
CN115376115A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN115376115B (zh) 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质
CN111353471A (zh) 安全驾驶监测方法、装置、设备和可读存储介质
CN108944939B (zh) 用于提供驾驶指导的方法和系统
CN101278324A (zh) 自适应驾驶员工作负荷估计器
CN104859662A (zh) 自主车辆中的故障处理
US20120221171A1 (en) Driver state assessment device
CN111915159A (zh) 一种基于动态时间预算的个性化接管预警方法和系统
CN114030475A (zh) 一种车辆辅助驾驶方法、装置、车辆及存储介质
CN110781872A (zh) 一种双模态特征融合的驾驶员疲劳等级识别系统
CN111829548A (zh) 危险路段的检测方法、装置、可读存储介质和电子设备
CN112633557A (zh) 一种基于大数据的道路安全预警方法、装置、电子设备及存储介质
CN113353083B (zh) 车辆行为识别方法
CN112329963A (zh) 数据处理方法、数据处理装置、存储介质和电子设备
CN117022323A (zh) 一种智能驾驶车辆行为分析与预测系统及方法
CN107539038B (zh) 一种车辆胎压状态监控方法及装置
CN110826433A (zh) 试驾用户情绪分析数据处理方法、装置、设备与存储介质
CN113447037B (zh) 行程偏航检测方法及装置
CN111341106B (zh) 交通预警方法、装置和设备
US20240083441A1 (en) Driving evaluation system, learning device, evaluation result output device, method, and program
KR102570295B1 (ko) 차량 및 그 제어 방법
CN116691616A (zh) 一种车辆控制方法、电子设备和存储介质
CN112232312A (zh) 基于深度学习的自动驾驶方法、装置和电子设备
CN114999134B (zh) 一种驾驶行为预警方法、装置及系统
CN115966100B (zh) 一种行车安全控制方法及系统
CN117104255B (zh) 一种智能驾驶车辆智能感知人车交互系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant