CN111814766B - 车辆行为预警方法、装置、计算机设备和存储介质 - Google Patents

车辆行为预警方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111814766B
CN111814766B CN202010901082.2A CN202010901082A CN111814766B CN 111814766 B CN111814766 B CN 111814766B CN 202010901082 A CN202010901082 A CN 202010901082A CN 111814766 B CN111814766 B CN 111814766B
Authority
CN
China
Prior art keywords
early warning
image sequence
value
vehicle
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010901082.2A
Other languages
English (en)
Other versions
CN111814766A (zh
Inventor
吴涛
史美萍
陈杰
刘大学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202010901082.2A priority Critical patent/CN111814766B/zh
Publication of CN111814766A publication Critical patent/CN111814766A/zh
Application granted granted Critical
Publication of CN111814766B publication Critical patent/CN111814766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种车辆行为预警方法、装置、计算机设备和存储介质。所述方法包括：获取第一场景中车辆行驶的第一图像序列，将第一图像序列输入预先训练的预警模型，得到危险评估值；根据危险评估值，得到车辆的预警类型；通过人机协同方式获取用户的反馈信息，当预警类型与反馈信息不匹配时，根据危险评估值，生成第一图像序列对应的标签值；根据第一图像序列以及标签值，对预警模型进行修正，利用修正后的预警模型对车辆行为进行预警。采用本方法能够解决车辆行为预警模型场景迁移性差，误差大，使用效率低的问题。

Description

车辆行为预警方法、装置、计算机设备和存储介质
技术领域
本申请涉及车辆安全驾驶技术领域，特别是涉及一种车辆行为预警方法、装置、计算机设备和存储介质。
背景技术
随着社会经济的快速发展，汽车已全面进入我们的日常生活，由汽车带来的安全隐患也极速增大。由于人为主动安全控制受多种自身和外界不可控干扰因素影响，精度低安全风险大。随着人们的物质基础提高和知识文化水平提升，人们更加重视和追求驾乘的安全性和舒适性，因此，为了有效降低或消除由人为因素和复杂的交通因素所造成的行车安全事故，车辆驾驶危险预警技术变得十分有必要。
现有的车辆行为预警通常是在车辆中预设一个固定的预警模型。这种技术的缺点在于，预设的预警系统投入到实际使用中时，模型的使用场景不能自动迁移到新的使用场景，预警系统存在场景迁移性差，误差大，使用效率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够解决车辆行为预警模型场景迁移性差，误差大，使用效率低的问题的车辆行为预警方法、装置、计算机设备和存储介质。
一种车辆行为预警方法，所述方法包括：
获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；所述预警模型是通过第二场景中获取的第二图像序列作为样本训练得到；
根据所述危险评估值，得到车辆的预警类型；
通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；
根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
在其中一个实施例中，还包括：获取第一场景中车辆行驶的第一图像序列；所述第一图像序列是按照设定步长从拍摄的视频数据中采集得到的。
在其中一个实施例中，还包括：所述预警模型为神经网络模型。
在其中一个实施例中，还包括：从第二场景中获取第二图像序列；
采用专家打分或根据车辆当前的行驶参数，确定第二图像序列对应的样本标签；根据所述第二图像序列和所述样本标签训练得到预警模型。
在其中一个实施例中，还包括：计算预设时间内得到的危险评估值的平均值和方差；当所述平均值大于等于第一阈值，或所述平均值小于第一阈值，且所述方差大于第二阈值，得到的预警类型为报警；或者在预设时间内，采集到的所述危险评估值呈递增趋势，得到的预警类型为报警。
在其中一个实施例中，还包括：所述反馈信息包括：动作信息和不动作信息；所述报警信息与动作信息匹配；所述不报警信息与所述不动作信息匹配。
在其中一个实施例中，还包括：获取预警类型和反馈信息；若所述预警类型为报警，所述反馈信息为不动作信息，修正危险评估值为
Figure 487768DEST_PATH_IMAGE001
；其中
Figure 285960DEST_PATH_IMAGE002
表示修正后的危险评估值；
Figure 639187DEST_PATH_IMAGE003
表示修正之前的危险评估值；
Figure 573645DEST_PATH_IMAGE004
表示预设的修正值；若所述预警类型为不报警，所述反馈信息为动作信息，修正危险评估值为
Figure 832588DEST_PATH_IMAGE005
。
一种车辆行为预警装置，所述装置包括：
危险评估模块，用于获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；
预警类型判断模块，用于根据所述危险评估值，得到车辆的预警类型；
标签值生成模块，用于通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；
预警模块，用于根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；所述预警模型是通过第二场景中获取的第二图像序列作为样本训练得到；
根据所述危险评估值，得到车辆的预警类型；
通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；
根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；所述预警模型是通过第二场景中获取的第二图像序列作为样本训练得到；
根据所述危险评估值，得到车辆的预警类型；
通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；
根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
上述车辆行为预警方法、装置、计算机设备和存储介质，通过获取第一场景中车辆行驶的第一图像序列，将第一图像序列输入预先训练的预警模型，得到危险评估值，由于预警模型是在第二场景中训练的，因此，对于第一场景中的第一图像序列，其输出的危险评估值不一定准确，进而根据危险评估值得到的预警类型也不一定准确。通过人机协同方式获取用户的反馈信息，当预警类型与反馈信息不匹配时，说明用户认为模型给出的第一图像序列的预警类型不准确，根据危险评估值，生成第一图像序列对应的新的标签值，然后通过第一图像序列和重新生成的标签值，对预警模型进行修正，然后再将修正后的预警模型对车辆行为进行预警，从而减少了预警模型在第一场景中使用的误差，可以逐渐完成模型应用场景的转换，场景迁移性好，大大提高了车辆行为预警模型的使用效率。
附图说明
图1为一个实施例中车辆行为预警方法的流程示意图；
图2为一个实施例中危险评估模型的示意图；
图3为一个实施例中生成标签值方式的示意图；
图4为一个实施例中车辆行为预警装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的车辆行为预警方法，可以应用于如下应用环境中，定义第一场景是车辆实际行驶的场景，第二场景是车辆行为预警模型预训练的场景。车辆在第二场景中进行预警模型的训练后，行驶于第一场景中，通过预警模型获取第一场景中第一图像序列的预警类型，用户根据预警类型是否准确作出反馈信息，如果用户的反馈信息与模型给出的报警信息不匹配，则生成第一图像序列对应的新的标签值，把第一图像序列和其对应的标签值加入预警模型的训练样本库，然后对预警模型进行训练，再将训练好的预警模型用于车辆行为预警中，如此反复，直到预警模型在第一场景中具有较好的准确度。
在一个实施例中，如图1所示，提供了一种车辆行为预警方法，以该方法应用于行驶车辆为例进行说明，包括以下步骤：
步骤102，获取第一场景中车辆行驶的第一图像序列，将第一图像序列输入预先训练的预警模型，得到危险评估值；预警模型是通过第二场景中获取的第二图像序列作为样本训练得到。
预警模型可以是基于神经网络的模型。预警模型的训练是在交付用户使用之前完成，训练的过程包括：面向虚拟仿真环境或真实交通环境，在不同天气和不同路况条件下，利用车载前视相机采集车辆在不同驾驶行为下的场景图像，其中驾驶行为可以是遥控产生也可以是车辆自主产生，再在场景图像中选取设定帧数的图像序列，通过专家打分或者根据车辆当前的行驶参数得到代表图像序列危险值的标签值，图像序列和与图像序列对应的标签值，构成模型训练的一个样本。在一个场景中的多个图像序列和对应的标签值构成的多个样本，构成预警模型训练的样本集，用样本集对预警模型进行训练，直到训练完成。
步骤104，根据危险评估值，得到车辆的预警类型。
预警类型可以包括与前车碰撞报警、行人碰撞报警、车距过近报警、车道偏离报警、盲区检测报警、交通识别报警等。车辆报警的情形可以有行驶车辆与前车或者行人距离小于安全距离、车辆偏移且车速使得车辆有冲出道路的风险，侧方和后方车辆距离过近，检测到盲区有行人或移动物体，检测到交通标志但当前车速使车辆存在违规风险等，在这些情形下，车辆报警。当模型判断车辆行驶没有安全风险时，车辆不报警。根据车辆速度、车辆相对于道路的偏移角度、车与障碍物的距离等判断风险级别，可以根据风险级别给予不同级别的报警，例如根据风险级别不同，报警的声音频率不同，还可以同时进行语音和视觉显示提示。
步骤106，通过人机协同方式获取用户的反馈信息，当预警类型与反馈信息不匹配时，根据危险评估值，生成第一图像序列对应的标签值。
人机协同的方式是指，当车辆做出预警，用户可以通过车辆的显示屏、方向盘、刹车等装置作出控制车辆的反应，比如转弯，减速，紧急停车，触摸显示屏解除报警等。预警类型与反馈信息不匹配的情形可以是车辆发出预警，但用户没有作出解除能解除预警的行为，如转弯，减速，紧急停车等。
根据危险评估值，生成第一图像序列对应的标签值，如果预警模型报警，但用户没有作出解除能解除预警的行为，说明表征危险的危险评估值偏大，需要减小标签值；如果预警模型没有报警，但用户采取了紧急措施，如刹车，减速，转弯等，说明危险评估值偏小，需要增大标签值。修正第一图像序列对应的标签值可以是线性比例改变，也可以是加减一个预设值实现，其中修改比例和预设值可以由用户调整。
步骤108，根据第一图像序列以及标签值，对预警模型进行修正，利用修正后的预警模型对车辆行为进行预警。
在第一场景中获取多个图像序列，分别由预警模型进行预警，结合用户的反馈信息，将判断不准确的图像序列和其对应的标签值加入到预警模型的训练样本库，对预警模型进行训练，如此反复，直到预警模型对第一场景的车辆行为预警具有较高的准确度。
上述车辆行为预警方法中，通过获取第一场景中车辆行驶的第一图像序列，将第一图像序列输入预先训练的预警模型，得到危险评估值，由于预警模型是在第二场景中训练的，因此，对于第一场景中的第一图像序列，其输出的危险评估值不一定准确，进而根据危险评估值得到的预警类型也不一定准确。通过人机协同方式获取用户的反馈信息，当预警类型与反馈信息不匹配时，说明用户认为模型给出的第一图像序列的预警类型不准确，根据危险评估值，生成第一图像序列对应的新的标签值，然后通过第一图像序列和重新生成的标签值，对预警模型进行修正，然后再将修正后的预警模型对车辆行为进行预警，从而减少了预警模型在第一场景中使用的误差，可以逐渐完成模型应用场景的转换，场景迁移性好，大大提高了车辆行为预警模型的使用效率。
在其中一个实施例中，第一图像序列是按照设定步长从拍摄的视频数据中采集得到的。设定步长可以以时间作为步长，也可以以图像帧数作为步长，图像采集可以是连续的，也可以是不连续的。同时，采集的多个图像序列可以部分重叠，也可以完全不重叠。
具体的，假设视频数据有100帧，依次称为第0、第1、第2…第ｎ…第99帧，如果一个图像序列采集5帧，采集图像序列中下一个图像的步长间隔称为第一采集步长，当设置第一采集步长为１帧时，采集到的图像是第0、第1、第2、第3、第4帧，这样的采集称为连续采集；当设置第一采集步长为5帧时，采集到的图像是第0、第5、第10、第15、第20帧，这样的采集称为不连续采集。
采集多个图像序列时，如果一个序列采集5帧，第一图像序列从第0帧开始，采集下一个图像序列的步长间隔称为第二采集步长，那么当第二采集步长小于5帧的时候，采集到的多个图像序列部分重叠；当第二采集步长大于或者等于5帧的时候，采集到的多个图像序列完全不重叠。
在其中一个实施例中，预警模型为神经网络模型，根据第一图像序列得到危险评估值的步骤，如图2所示，包括：将所述第一图像序列中的帧图像分别输入预警模型中的卷积神经网络，并将卷积神经网络的处理结果输出至预警模型的卷积LSTM网络，由预警模型的全连接层输出危险评估值。
具体的，卷积层可以采用VGG16BN网络前6层和对应的预训练参数，通过卷积层提取的特征，输入到双层卷积LSTM网络提取图像间的时序特征，时序特征经过全连接层后输出评估奖励，作为危险评估值。
对于一个驾驶场景，用多帧图像及其标签作为神经网络模型的输入，相比于用单帧图像及其标签对神经网络模型进行训练，可以减小场景图像信息的噪声，使场景识别更加细致，预警结果更加准确。
在一个实施例中，通过第二场景中获取的第二图像序列作为样本训练得到预警模型。样本信息包括图像序列及和图像序列对应的样本标签值。样本标签值可以采用专家打分或根据车辆当前的行驶参数获得。
具体的，确定神经网络模型输入层的节点数为m，按照一定规律依次从第二场景图像中选取m帧图像序列，作为神经网络模型的输入信息
Figure 993442DEST_PATH_IMAGE006
，并通过专家打分或根据车辆当前的行驶参数的方式获得可以表征车辆驾驶危险程度的标签值
Figure 996033DEST_PATH_IMAGE007
，以此形成车辆驾驶危险性评估模型的初始训练样本集，记为
Figure 175211DEST_PATH_IMAGE008
。
根据车辆当前的行驶参数的方式获得标签值
Figure 870634DEST_PATH_IMAGE009
，一种简单可行的标签值获取方式为：对于m帧的图像序列，如图3所示，利用第m帧图像呈现的“车-路”关系，即图像中车辆偏移期望行驶轨迹的横向偏移量，以及车辆当前朝向与最佳朝向的夹角，计算得到车辆当前位姿与期望行驶轨迹的偏离度，以此作为表征车辆驾驶危险程度的标签值
Figure 377839DEST_PATH_IMAGE010
，其中，最佳朝向是车辆到期望行驶轨迹前方N=10米处的目标点方向。
Figure 918542DEST_PATH_IMAGE011
　　　（1）
在一个具体实施例中，报警类型包括报警和不报警。
Figure 968538DEST_PATH_IMAGE012
表示第一图像序列的危险评估值，在
Figure 569283DEST_PATH_IMAGE013
时间内采集多个图像序列，分别用公式（2）和公式（3）计算
Figure 455462DEST_PATH_IMAGE013
时间内得到的危险评估值的平均值
Figure 799855DEST_PATH_IMAGE014
和方差
Figure 563412DEST_PATH_IMAGE015
，其中，K为
Figure 600638DEST_PATH_IMAGE016
时间内由模型预测参数预测出的车辆驾驶危险值个数。
Figure 957801DEST_PATH_IMAGE017
（2）
Figure 105886DEST_PATH_IMAGE018
（3）
在车辆行驶过程中，只要满足下列条件之一，机器就会自动进行车辆驾驶危险性预警，其特征在于：
1）若
Figure 723949DEST_PATH_IMAGE019
时间内车辆驾驶危险平均值
Figure 322290DEST_PATH_IMAGE020
大于等于阈值
Figure 25803DEST_PATH_IMAGE021
，自动预警。
2）若
Figure 712000DEST_PATH_IMAGE019
时间内车辆驾驶危险平均值
Figure 325515DEST_PATH_IMAGE022
小于阈值
Figure 704543DEST_PATH_IMAGE023
，但危险评估方差
Figure 160933DEST_PATH_IMAGE024
大于等于某一阈值，自动预警。
3）若
Figure 297426DEST_PATH_IMAGE019
时间内车辆驾驶危险评估值连续a帧呈现出递增趋势，此时自动预警。
在一个具体实施例中，报警包括紧急停车报警，动作信息包括紧急停车，在车辆行驶中，若预警模型作出紧急停车报警，但用户不作操作，说明在这个场景中预警模型误判，模型给出的危险评估值过高，修正危险评估值为
Figure 624502DEST_PATH_IMAGE025
，其中
Figure 440012DEST_PATH_IMAGE026
表示修正后的危险评估值；
Figure 993484DEST_PATH_IMAGE027
表示修正之前的危险评估值；
Figure 287062DEST_PATH_IMAGE028
表示预设的修正值。若预警模型没有做出报警，但用户采取了紧急停车，说明在这个场景中模型给出的危险评估值过低，修正危险评估值为
Figure 734224DEST_PATH_IMAGE029
。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种车辆行为预警装置，包括：危险评估模块402、预警类型判断模块404、标签值生成模块406、预警模块408，其中：
危险评估模块402，用于获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；
预警类型判断模块404，用于根据所述危险评估值，得到车辆的预警类型；
标签值生成模块406，用于通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；
预警模块408，用于根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
在其中一个实施例子，危险评估模块402还用于按照设定步长从拍摄的视频数据中采集第一图像序列。
在其中一个实施例中，预警模型为神经网络模型。
在其中一个实施例中，危险评估模块402还用于从第二场景中获取第二图像序列，采用专家打分或根据车辆当前的行驶参数，确定第二图像序列对应的样本标签。
在其中一个实施例中，预警类型包括：报警和不报警；预警类型判断模块404用于计算预设时间内得到的危险评估值的平均值和方差；当所述平均值大于等于第一阈值，或所述平均值小于第一阈值，且所述方差大于第二阈值，得到的预警类型为报警；或者在预设时间内，采集到的所述危险评估值呈递增趋势，得到的预警类型为报警。
在其中一个实施例中，反馈信息包括：动作信息和不动作信息；所述报警信息与动作信息匹配；所述不报警信息与所述不动作信息匹配。
在其中一个实施例中，标签值生成模块406用于生成第一图像序列对应的标签值，包括：获取预警类型和反馈信息；若所述预警类型为报警，所述反馈信息为不动作信息，修正危险评估值为
Figure 579689DEST_PATH_IMAGE030
；其中
Figure 745091DEST_PATH_IMAGE031
表示修正后的危险评估值；
Figure 576781DEST_PATH_IMAGE032
表示修正之前的危险评估值；
Figure 144028DEST_PATH_IMAGE033
表示预设的修正值；若所述预警类型为不报警，所述反馈信息为动作信息，修正危险评估值为
Figure 645548DEST_PATH_IMAGE034
。
关于车辆行为预警装置的具体限定可以参见上文中对于车辆行为预警方法的限定，在此不再赘述。上述车辆行为预警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆行为预警方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板、鼠标或模拟方向盘等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆行为预警方法，其特征在于，所述方法包括：
获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；所述预警模型是通过第二场景中获取的第二图像序列作为样本训练得到；
根据所述危险评估值，得到车辆的预警类型；
通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；所述第一图像序列对应的标签值的修正是线性比例改变，或加减一个预设值实现，其中修改比例和预设值可以由用户调整；
根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
2.根据权利要求1所述的方法，其特征在于，获取第一场景中车辆行驶的第一图像序列，包括：
获取第一场景中车辆行驶的第一图像序列；所述第一图像序列是按照设定步长从拍摄的视频数据中采集得到的。
3.根据权利要求2所述的方法，其特征在于，所述预警模型为神经网络模型。
4.根据权利要求1所述的方法，其特征在于，通过第二场景中获取的第二图像序列作为样本训练得到预警模型的方式，包括：
从第二场景中获取第二图像序列；
采用专家打分或根据车辆当前的行驶参数，确定第二图像序列对应的样本标签；
根据所述第二图像序列和所述样本标签训练得到预警模型。
5.根据权利要求1所述的方法，其特征在于，预警类型包括：报警和不报警；
所述根据所述危险评估值，得到车辆的预警类型，包括：
计算预设时间内得到的危险评估值的平均值和方差；
当所述平均值大于等于第一阈值，或所述平均值小于第一阈值，且所述方差大于第二阈值，得到的预警类型为报警；
或者在预设时间内，采集到的所述危险评估值呈递增趋势，得到的预警类型为报警。
6.根据权利要求5所述的方法，其特征在于，所述反馈信息包括：动作信息和不动作信息；
报警信息与所述动作信息匹配；不报警信息与所述不动作信息匹配。
7.根据权利要求6所述的方法，其特征在于，所述当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值，包括：
获取所述预警类型和所述反馈信息；
若所述预警类型为报警，所述反馈信息为不动作信息，修正危险评估值为
Figure 708935DEST_PATH_IMAGE002
；其中
Figure 360496DEST_PATH_IMAGE004
表示修正后的危险评估值；
Figure 874654DEST_PATH_IMAGE006
表示修正之前的危险评估值；
Figure 128918DEST_PATH_IMAGE008
表示预设的修正值；
若所述预警类型为不报警，所述反馈信息为动作信息，修正危险评估值为
Figure 677711DEST_PATH_IMAGE010
。
8.一种车辆行为预警装置，其特征在于，所述装置包括：
危险评估模块，用于获取第一场景中车辆行驶的第一图像序列，将所述第一图像序列输入预先训练的预警模型，得到危险评估值；所述预警模型是通过第二场景中获取的第二图像序列作为样本训练得到；
预警类型判断模块，用于根据所述危险评估值，得到车辆的预警类型；
标签值生成模块，通过人机协同方式获取用户的反馈信息，当所述预警类型与所述反馈信息不匹配时，根据所述危险评估值，生成所述第一图像序列对应的标签值；所述第一图像序列对应的标签值的修正是线性比例改变，或加减一个预设值实现，其中修改比例和预设值可以由用户调整；
预警模块，根据所述第一图像序列以及所述标签值，对所述预警模型进行修正，利用所述修正后的预警模型对车辆行为进行预警。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010901082.2A 2020-09-01 2020-09-01 车辆行为预警方法、装置、计算机设备和存储介质 Active CN111814766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010901082.2A CN111814766B (zh) 2020-09-01 2020-09-01 车辆行为预警方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010901082.2A CN111814766B (zh) 2020-09-01 2020-09-01 车辆行为预警方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN111814766A CN111814766A (zh) 2020-10-23
CN111814766B true CN111814766B (zh) 2020-12-15

Family

ID=72859215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010901082.2A Active CN111814766B (zh) 2020-09-01 2020-09-01 车辆行为预警方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111814766B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418157B (zh) * 2020-12-08 2022-09-16 北京深睿博联科技有限责任公司 基于差分神经网络和图像序列数据的车速识别方法及装置
CN112580535A (zh) * 2020-12-23 2021-03-30 恒大新能源汽车投资控股集团有限公司 车辆危险警示方法及装置、计算机可读存储介质
CN113869126A (zh) * 2021-08-30 2021-12-31 浙江大华技术股份有限公司 评估方法、预警设备、电子设备以及可读存储介质
CN114518762B (zh) * 2022-04-20 2022-07-22 长沙小钴科技有限公司 机器人避障装置、避障控制方法和机器人

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688877A (zh) * 2018-07-05 2020-01-14 杭州海康威视数字技术股份有限公司 一种危险预警方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练系统
CN108545019A (zh) * 2018-04-08 2018-09-18 多伦科技股份有限公司 一种基于图像识别技术的安全辅助驾驶系统和方法
US11325606B2 (en) * 2019-01-02 2022-05-10 Qualcomm Incorporated Methods and systems for establishing cooperative driving engagements with vehicles having varying levels of autonomy
CN110723152B (zh) * 2019-10-23 2020-11-17 成都信息工程大学 一种保障自动驾驶安全的人工智能检测方法、装置、设备或存储介质
CN111209880A (zh) * 2020-01-13 2020-05-29 南京新一代人工智能研究院有限公司 车辆行为识别方法、装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688877A (zh) * 2018-07-05 2020-01-14 杭州海康威视数字技术股份有限公司 一种危险预警方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视觉车辆识别迁移学习算法;蔡英凤 等;《东南大学学报（自然科学版）》;20150331;第45卷(第2期);第275-280页 *

Also Published As

Publication number Publication date
CN111814766A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814766B (zh) 车辆行为预警方法、装置、计算机设备和存储介质
CN112052776B (zh) 无人车自主驾驶行为优化方法、装置和计算机设备
US10848913B2 (en) Method for smartphone-based accident detection
CN109711557B (zh) 一种行车轨迹预测方法、计算机设备及存储介质
Zhang et al. Prediction of pedestrian-vehicle conflicts at signalized intersections based on long short-term memory neural network
CN111741884A (zh) 交通遇险和路怒症检测方法
CN109190488B (zh) 基于深度学习YOLOv3算法的前车车门打开检测方法及装置
CN114323054B (zh) 自动驾驶车辆行驶轨迹的确定方法、装置及电子设备
CN113942524B (zh) 一种车辆行驶控制方法、系统及计算机可读存储介质
CN109572550A (zh) 一种行车轨迹预测方法、系统、计算机设备及存储介质
Sathyanarayana et al. Information fusion for robust ‘context and driver aware’active vehicle safety systems
US20220301069A1 (en) Systems and methods for allocating fault to autonomous vehicles
JP2023540613A (ja) 運転者支援システムを試験するための方法およびシステム
US10589741B2 (en) Enhanced collision avoidance
Ambarak et al. A neural network for predicting unintentional lane departures
JP7207227B2 (ja) 運転行動評価装置、運転行動評価方法、及び運転行動評価プログラム
CN113849971B (zh) 驾驶系统评估方法、装置、计算机设备和存储介质
CN117002528A (zh) 轨迹规划方法、设备和存储介质
US10562450B2 (en) Enhanced lane negotiation
CN117064386B (zh) 感知反应时间确定方法、装置、设备、介质和程序产品
CN118269968B (zh) 融合在线地图不确定性的自动驾驶碰撞风险的预测方法
CN115830886B (zh) 智能网联车辆协同换道时序计算方法、装置、设备及介质
JP2019003537A (ja) 運転支援装置
CN113971788A (zh) 车辆行驶控制方法、装置、电子设备及存储介质
Thakrar et al. Enhancing Driver Safety through Real-Time Feedback on Driving Behavior: A Deep Learning Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant