CN116547725A - 一种车辆预警方法、装置、设备及存储介质 - Google Patents

一种车辆预警方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116547725A
CN116547725A CN202180071143.XA CN202180071143A CN116547725A CN 116547725 A CN116547725 A CN 116547725A CN 202180071143 A CN202180071143 A CN 202180071143A CN 116547725 A CN116547725 A CN 116547725A
Authority
CN
China
Prior art keywords
early warning
real
target
information
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180071143.XA
Other languages
English (en)
Inventor
金晨
卢红喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Original Assignee
Zhejiang Geely Holding Group Co Ltd
Geely Automobile Research Institute Ningbo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Geely Holding Group Co Ltd, Geely Automobile Research Institute Ningbo Co Ltd filed Critical Zhejiang Geely Holding Group Co Ltd
Publication of CN116547725A publication Critical patent/CN116547725A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种车辆预警方法、装置、设备及存储介质,所述方法包括:获取当前车辆上车载摄像头的实时监控视频(S101);基于所述实时监控视频对所述当前车辆进行预警场景识别(S103);在识别到所述当前车辆存在预警场景的情况下,确定预警目标(S105);对所述实时监控视频进行处理,得到所述预警目标的感知信息(S107);基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频(S109);将所述实时预警视频输出至所述当前车辆的车端显示设备(S111)。其能够直观、清晰地以预警视频的方式向车内驾乘人员进行危险预警,帮助驾乘人员快速识别车辆周围环境中的预警目标,从而规避危险场景,有效地提升了预警的精准性和预警速度。

Description

一种车辆预警方法、装置、设备及存储介质 技术领域
本申请涉及辅助驾驶技术领域和自动驾驶技术领域,具体涉及一种车辆预警方法、装置、设备及存储介质。
背景技术
当前基于深度学习的车辆环境感知方案正在被广泛应用到智能驾驶车辆中,其中,应用较多主要是通过视觉传感器进行车辆环境态势感知的智能驾驶解决方案。智能驾驶车辆的强大传感器布局、强算力芯片和浩瀚的算法是为驾乘人员建立安全驾驶环境的基本条件,以摄像头为视觉传感器感知车辆环境势态的车辆预警方案可在周边环境发生变化或者即将有危险可能发生时及时为驾乘人员进行预警。
但当前智能驾驶的车辆预警方案中预警场景众多,而预警形式比较单一,通常为声音预警或震动预警,难以使驾乘人员直观了解当前预警目标物的类型或者具体方位,一方面,需要驾驶员分散注意力去识别预警目标,干扰驾驶员的正常驾驶,最终可能导致危险的发生,降低预警的有效性,另一方面,使驾驶员产生厌倦和不信任的心理,从而关闭预警功能,因此,需要提供更加有效实用的技术方案。
发明内容
为了解决现有技术的问题,本申请提供了一种车辆预警方法、装置、设备及存储介质。所述技术方案如下:
一方面,提供了一种车辆预警方法,所述方法包括:
获取当前车辆上车载摄像头的实时监控视频;
基于所述实时监控视频对所述当前车辆进行预警场景识别;
在识别到所述当前车辆存在预警场景的情况下,确定预警目标;
对所述实时监控视频进行处理,得到所述预警目标的感知信息;
基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频;
将所述实时预警视频输出至所述当前车辆的车端显示设备。
另一方面,提供了一种车辆预警装置,所述装置包括:
实时监控视频获取模块,用于获取当前车辆上车载摄像头的实时监控视频;
预警场景识别模块,用于基于所述实时监控视频对所述当前车辆进行预警场景识别;
预警目标确定模块,用于在识别到所述当前车辆存在预警场景的情况下,确定预警目标;
感知信息模块,用于对所述实时监控视频进行处理,得到所述预警目标的感知信息;
实时预警视频生成模块,用于基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频;
实时预警视频输出模块,用于将所述实时预警视频输出至所述当前车辆的车端显示设备。
另一方面,提供了一种车辆预警设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的车辆预警方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的车辆预警方法。
本申请提供的车辆预警方法、装置、设备及存储介质,具有如下技术效果:
本申请提供的技术方案基于车端摄像头获取车辆环境势态的实时监控视频; 基于实时监控视频识别预警场景,确认预警目标;对实时监控视频进行处理,得到预警目标的感知信息;基于感知信息在实时监控视频的画面中对预警目标进行标注生成实时预警视频,输出到车辆中的显示设备,直观、清晰地向车内驾乘人员进行危险预警,帮助驾乘人员快速识别车辆周围环境中的预警目标,从而规避危险场景,提升预警的精准性和预警速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种车辆预警方法的流程示意图;
图2是本申请实施例提供的一种对实时监控视频的处理方法的流程示意图;
图3是本申请实施例提供的一种对预警目标的坐标定位及标记方法的流程示意图;
图4是本申请实施例提供的一种基于标注样式信息对预警目标进行标记的流程示意图;
图5是本申请实施例提供的一种判断预警范围的流程示意图;
图6是本申请实施例提供的一种确定目标显示设备的流程示意图;
图7是本申请实施例提供的一种生成预警音频的流程示意图;
图8是本申请实施例提供的一种车辆预警装置示意图;
图9是本申请实施例提供的一种感知信息模块示意图;
图10是本申请实施例提供的一种车辆预警方法的车端服务器的硬件结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以实时互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下介绍本申请实施例提供的一种车辆预警方法,图1为本申请实施例提供的一种车辆预警方法的流程示意图。需要说明的是,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,上述方法可以包括:
S101,获取当前车辆上车载摄像头的实时监控视频。
具体的,上述车载摄像头可以包括实时监控当前车辆各个方位的多个车载摄像头,通过上述多个车载摄像头可以感知当前车辆周围的环境势态,为驾驶人员的提供更加安全的驾驶环境。
S103,基于上述实时监控视频对上述当前车辆进行预警场景识别。
具体的,根据上述多个车载摄像头的实时监控视频,对当前车辆的周围环境势态进行预警场景识别,若当前目标车辆所处环境存在影响目标车辆安全的 预警目标,则将当前目标车辆所处环境识别为预警场景,预警场景可以包括但不限于:变道预警、倒车预警、开门预警。
S105,在识别到上述当前车辆存在预警场景的情况下,确定预警目标。
在一个具体的实施例中,确定预警目标可以包括:
1)对实时监控视频进行目标分析,获取实时监控视频图像中的目标;
在实际应用中,上述目标可以包括动态目标和静态目标,动态目标可以包括目标车辆所处环境中处于运动状态的人或物,具体的,动态目标可以包括但不限于行驶中的车辆、行人;静态目标可以包括目标车辆所处环境中处于静止状态的人或物,具体的,静态目标可以包括但不限于静止的车辆、道路、树木;
2)基于预设预警条件,从上述目标中确定预警目标。
在实际应用中,上述预设预警条件可以基于预警场景的类型信息结合大量的样本预警场景进行总结归纳后得到。
S107,对上述实时监控视频进行处理,得到上述预警目标的感知信息。
在一些实施例中,如图2所示,图2是本说明书实施例提供的一种对实时监控视频的处理方法的流程示意图,具体的,可以包括:
S201,对上述实时监控视频进行目标检测,确定上述预警目标的类型信息。
在一个具体的实施例中,确定上述预警目标的类型信息可以包括:
1)对上述实时监控视频进行目标检测,得到预警目标的特征信息,上述特征信息可以包括但不限于:高度信息、宽度信息、像素信息;
2)基于上述特征信息,对上述预警目标进行类型识别,确定预警目标的类型信息,上述预警目标的类型信息可以表征预警目标的分类类别,上述预警目标的类型信息可以包括但不限于:行人、车辆、道路、树木。
S203,对上述实时监控视频进行目标追踪,确定包括上述预警目标的多帧图像。
具体的,从上述实时监控视频的图像中,采集包含上述预警目标的多帧图像,上述多帧图像可以包括连续帧图像。
S205,基于上述多帧图像对上述预警目标进行运动轨迹分析,确定上述预警目标的相对于上述当前车辆的实时相对位置信息、实时速度信息和实时航向角信息。
具体的,从上述多帧图像中提取出预警目标的运动轨迹,并对上述运动轨迹进行分析,得到上述当前车辆的实时相对位置信息、实时速度信息和实时航向角信息,上述相对位置信息可以包括但不限于距离信息。
S207,将上述预警目标的类型信息、上述实时相对位置信息、上述实时速度信息和上述实时航向角信息作为上述感知信息。
利用上述说明书实施例的技术方案,可以得到包括类型信息、实时相对位置信息、实时速度信息和实时航向角信息的预警目标的感知信息。
S109,基于上述感知信息,在上述实时监控视频中对上述预警目标进行标记,得到实时预警视频。
在一些实施例中,如图3所示,在上述对上述实时监控视频进行处理,得到上述预警目标的感知信息之后,上述方法还可以包括:
S209,在上述多帧图像上分别以上述当前车辆为坐标原点,构建上述多帧图像对应的目标坐标系。
具体的,在上述多帧图像的每帧图像上分别构建对应的目标坐标系,该目标坐标系的坐标原点为当前车辆,上述目标坐标系可以包括但不限于包括X轴和Y轴的二维坐标系。
相应的,上述基于上述感知信息,在上述实时监控视频中对上述预警目标进行标记,得到实时预警视频可以包括:
S211,根据上述实时相对位置信息,确定上述预警目标在上述多帧图像对应的目标坐标系中的坐标信息。
具体的,根据预警目标相对于当前车辆的实时相对位置信息,确定预警目标在以当前车辆为坐标原点的目标坐标系中的坐标信息,以便于对预警目标在多帧图像中进行定位。
S213,根据上述预警目标的类型信息和上述坐标信息,在上述多帧图像中进行预警目标标记,得到上述实时预警视频。
在一个可选的实施例中,如图4所示,上述根据上述预警目标的类型信息和上述坐标信息,在上述多帧图像中进行预警目标标记,得到上述实时预警视频可以包括:
S401,根据上述预警目标的类型信息,确定上述预警目标对应的标注样式信息。
具体的,针对每种类型信息,预先设置对应的标注样式信息,标注样式信息区分不同类型信息的预警目标,上述标注样式信息可以包括但不限于:颜色、轮廓格式、填充格式。
S403,根据上述标注样式信息和上述坐标信息,在上述多帧图像中进行预警目标标记,得到标记后的多帧图像。
具体的,根据标注样式信息和坐标信息,在多帧图像中对预警目标进行标记,实现将预警目标与多帧图像中的其他环境进行区分的技术效果,以便于直观地向驾乘人员展示预警目标的类型信息和相对于当前车辆的位置信息。
S405,根据上述标记后的多帧图像,生成上述实时预警视频。
在一个具体的实施例中,如图5所示,图5是本说明书实施例提供的一种判断预警范围的流程示意图,具体的,可以包括:
S501,基于上述实时相对位置信息、上述实时速度信息和上述实时航向角信息生成上述预警目标的预测运动轨迹。
具体的,根据预设的运动轨迹生成算法,通过实时相对位置信息、实时速度信息和实时航向角信息生成预测运动轨迹,上述运动轨迹生成算法可以基于多个样本实时位置信息、样本实时速度信息、样本实时航向角信息和对应的样本运动轨迹进行归纳总结得到。
S503,基于上述预测运动轨迹,判断上述预警目标是否在上述当前车辆的预警范围内。
具体的,可以通过获取当前车辆的实时驾驶信息并基于实时驾驶信息生成当前车辆的预测运动轨迹,当预警目标的预测运动轨迹与当前车辆的预测运动轨迹出现交点时,则判断预警目标在当前车辆的预警范围内。
S505,当判断为是时,执行上述基于上述感知信息,在上述实时监控视频中对上述预警目标进行标记,得到实时预警视频的步骤。
具体的,当预警目标在当前车辆的预警范围内时,基于感知信息,在实时监控视频中对上述预警目标进行标记,得到实时预警视频。
S111,将上述实时预警视频输出至上述当前车辆的车端显示设备。
在一个具体的实施例中,如图6所示,图6是本说明书实施例提供的一种确定目标显示设备的流程示意图,具体的,可以包括:
S601,在识别到上述当前车辆存在预警场景的情况下,确定上述预警场景的类型信息。
具体的,可以对实时监控视频进行预设标志物的识别,得到识别结果,并获取当前车辆的信号信息;基于上述识别结果和信号信息,确定预警场景的类型信息。例如,当识别到车道虚线且获取到转向灯信号时,确定预警场景的类型信息为变道预警;当获取到开门信号时,确定预警场景的类型信息为开门预警。
S603,基于上述预警场景的类型信息和上述感知信息,确定上述车端显示设备中的目标显示设备。
在实际应用中,根据预警场景的类型信息和感知信息,确定与驾乘人员中的目标预警人员对应的目标显示设备,具体的,若目标预警人员为驾驶员,对应的目标显示设备可以包括中控显示屏、方向盘显示屏、平视显示器;若目标预警人员为乘客,对应的目标显示设备可以包括副驾驶显示屏、后排座椅显示屏。例如,当预警场景的类型信息为开门预警时,基于预警目标的感知信息,确定预警目标影响的开门位置;并根据开门位置确定与驾乘人员中的目标预警人员对应的目标显示设备。
S605,上述将上述实时预警视频输出至上述当前车辆的车端显示设备包括将上述实时预警视频输出至上述目标显示设备。
利用上述实施例提供的技术方案,可以将实时预警视频输出到目标预警人员对应的目标显示设备,提高了预警的针对性和有效性。
在一个可选的实施例中,如图7所示,图7是本说明书实施例提供的一种生成预警音频的流程示意图,具体的,可以包括:
S701,基于上述预警场景的类型信息和上述感知信息,生成对应的预警音频。
具体的,预先设置与预警场景的类型信息对应的多种预警音频模板,并基于预警目标的感知信息,从多种预警音频模板中确定目标音频模板生成对应的预警音频。
S703,将上述预警音频输出至上述当前车辆的车端音频播放设备。
利用上述实施例提供的技术方案,可以在输出预警视频的同时输出对应的预警音频,通过多种预警方式帮助驾乘人员规避风险。
本申请实施例提供了一种视频预警装置,如图8所示,上述装置包括:
实时监控视频获取模块810,用于获取当前车辆上车载摄像头的实时监控视频;
预警场景识别模块820,用于基于上述实时监控视频对上述当前车辆进行预警场景识别;
预警目标确定模块830,用于在识别到上述当前车辆存在预警场景的情况下,确定预警目标;
感知信息模块840,用于对上述实时监控视频进行处理,得到上述预警目标的感知信息;
实时预警视频生成模块850,用于基于上述感知信息,在上述实时监控视频中对上述预警目标进行标记,得到实时预警视频;
实时预警视频输出模块860,用于将上述实时预警视频输出至上述当前车辆 的车端显示设备。
在一些实施例中,如图9所示,上述感知信息模块840可以包括:
目标检测单元841,用于对上述实时监控视频进行目标检测,确定上述预警目标的类型信息;
目标追踪单元842,用于对上述实时监控视频进行目标追踪,确定包括上述预警目标的多帧图像;
运动轨迹分析单元843,基于上述多帧图像对上述预警目标进行运动轨迹分析,确定上述预警目标的相对于上述当前车辆的实时相对位置信息、实时速度信息和实时航向角信息;
感知信息单元844,用于将上述预警目标的类型信息、上述实时相对位置信息、上述实时速度信息和上述实时航向角信息作为上述感知信息。
在一些实施例中,上述装置还可以包括:
目标坐标系构建单元,用于在上述多帧图像上分别以上述当前车辆为坐标原点,构建上述多帧图像对应的目标坐标系;
对应的,上述实时预警视频生成模块850可以包括:
坐标信息确定单元,用于根据上述实时相对位置信息,确定上述预警目标在上述多帧图像对应的目标坐标系中的坐标信息;
第一预警目标标记单元,用于根据上述预警目标的类型信息和上述坐标信息,在上述多帧图像中进行预警目标标记,得到上述实时预警视频。
在一个可选的实施例中,上述第一预警目标标记单元可以包括:
标注样式信息确定单元,用于根据上述预警目标的类型信息,确定上述预警目标对应的标注样式信息;
第二预警目标标记单元,用于根据上述标注样式信息和上述坐标信息,在上述多帧图像中进行预警目标标记,得到标记后的多帧图像;
实时预警视频生成单元,用于根据上述标记后的多帧图像,生成上述实时预警视频。
在一个具体的实施例中,上述装置还可以包括:
预测运动轨迹生成单元,用于基于上述实时相对位置信息、上述实时速度信息和上述实时航向角信息生成上述预警目标的预测运动轨迹;
预警范围判断单元,用于基于上述预测运动轨迹,判断上述预警目标是否在上述当前车辆的预警范围内;
步骤执行单元,用于当判断为是时,执行上述基于上述感知信息,在上述实时监控视频中对上述预警目标进行标记,得到实时预警视频的步骤。
在一个具体的实施例中,上述装置还可以包括:
预警场景类型信息确定单元,用于在识别到上述当前车辆存在预警场景的情况下,确定上述预警场景的类型信息;
目标显示设备确定单元,用于基于上述预警场景的类型信息和上述感知信息,确定上述车端显示设备中的目标显示设备;
对应的,上述实时预警视频输出模块860可以包括:
目标显示设备输出单元,用于将上述实时预警视频输出至上述目标显示设备。
在一个可选的实施例中,上述装置还可以包括:
预警音频生成单元,用于基于上述预警场景的类型信息和上述感知信息,生成对应的预警音频;
预警音频输出单元,用于将上述预警音频输出至上述当前车辆的车端音频播放设备。
本申请实施例提供了一种车辆预警设备,该车辆预警设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的车辆预警方法。
存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存 储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据上述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行,即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。以运行在服务器上为例,图10是本申请实施例提供的一种车辆预警方法的预警服务器的硬件结构框图。如图10所示,该预警服务器1000可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(Central Processing Units,CPU)1010(处理器1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030,一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中,存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1010可以设置为与存储介质1020通信,在预警服务器1000上执行存储介质1020中的一系列指令操作。预警服务器1000还可以包括一个或一个以上电源1060,一个或一个以上有线或无线网络接口1050,一个或一个以上输入输出接口1040,和/或,一个或一个以上操作系统1021,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括预警服务器1000的通信供应商提供的无线网络。在一个实例中,输入输出接口1040包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,输入输出接口1040可以为射频(Radio Frequency,RF)模块,其用于通过无线 方式与互联网进行通讯。
本领域普通技术人员可以理解,图10所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,预警服务器1000还可包括比图10中所示更多或者更少的组件,或者具有与图10所示不同的配置。
本申请实施例还提供了一种存储介质,上述存储介质可设置于服务器之中以保存用于实现方法实施例中一种的车辆预警方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的车辆预警方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的车辆预警方法、装置、设备或存储介质的实施例可见,本申请提供的技术方案可以基于车端摄像头获取车辆环境势态的实时监控视频;基于实时监控视频识别预警场景,确认预警目标;对实时监控视频进行处理,得到预警目标的感知信息;基于感知信息在实时监控视频的多帧图像中对预警目标进行标注生成实时预警视频,输出到车辆中的显示设备,直观、清晰地向车内驾乘人员进行危险预警,帮助驾乘人员快速识别车辆周围环境中的预警目标;还可以基于与感知信息中的类型信息对应的标注样式信息,对预警目标进行标注,将预警目标与多帧图像中的其他环境进行区分,以便于直观地向驾乘人员展示预警目标的类型信息和相对于当前车辆的位置信息,提升预警的精确性和预警速度;还可以进一步确定与驾乘人员中的目标预警人员对应的目标显示设备,将实时预警视频输出至目标显示设备,提高预警的针对性和有效性;还可以在输出预警视频的同时输出对应的预警音频,通过多种预警方式帮助驾乘人员规避风险。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件完成,上述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上上述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (16)

  1. 一种车辆预警方法,其特征在于,所述方法包括:
    获取当前车辆上车载摄像头的实时监控视频;
    基于所述实时监控视频对所述当前车辆进行预警场景识别;
    在识别到所述当前车辆存在预警场景的情况下,确定预警目标;
    对所述实时监控视频进行处理,得到所述预警目标的感知信息;
    基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频;
    将所述实时预警视频输出至所述当前车辆的车端显示设备。
  2. 根据权利要求1所述的方法,其特征在于,所述对所述实时监控视频进行处理,得到所述预警目标的感知信息包括:
    对所述实时监控视频进行目标检测,确定所述预警目标的类型信息;
    对所述实时监控视频进行目标追踪,确定包括所述预警目标的多帧图像;
    基于所述多帧图像对所述预警目标进行运动轨迹分析,确定所述预警目标的相对于所述当前车辆的实时相对位置信息、实时速度信息和实时航向角信息;
    将所述预警目标的类型信息、所述实时相对位置信息、所述实时速度信息和所述实时航向角信息作为所述感知信息。
  3. 根据权利要求2所述的方法,其特征在于,在所述对所述实时监控视频进行处理,得到所述预警目标的感知信息之后,所述方法还包括:
    在所述多帧图像上分别以所述当前车辆为坐标原点,构建所述多帧图像对应的目标坐标系;
    所述基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频包括:
    根据所述实时相对位置信息,确定所述预警目标在所述多帧图像对应的目 标坐标系中的坐标信息;
    根据所述预警目标的类型信息和所述坐标信息,在所述多帧图像中进行预警目标标记,得到所述实时预警视频。
  4. 根据权利要求3所述的方法,其特征在于,所述根据所述预警目标的类型信息和所述坐标信息,在所述多帧图像中进行预警目标标记,得到所述实时预警视频包括:
    根据所述预警目标的类型信息,确定所述预警目标对应的标注样式信息;
    根据所述标注样式信息和所述坐标信息,在所述多帧图像中进行预警目标标记,得到标记后的多帧图像;
    根据所述标记后的多帧图像,生成所述实时预警视频。
  5. 根据权利要求2所述的方法,其特征在于,在所述基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频之前,所述方法还包括:
    基于所述实时相对位置信息、所述实时速度信息和所述实时航向角信息生成所述预警目标的预测运动轨迹;
    基于所述预测运动轨迹,判断所述预警目标是否在所述当前车辆的预警范围内;
    当判断为是时,执行所述基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频的步骤。
  6. 根据权利要求1所述的方法,其特征在于,在所述将所述实时预警视频输出至所述当前车辆的车端显示设备之前,所述方法还包括:
    在识别到所述当前车辆存在预警场景的情况下,确定所述预警场景的类型信息;
    基于所述预警场景的类型信息和所述感知信息,确定所述车端显示设备中的目标显示设备;
    所述将所述实时预警视频输出至所述当前车辆的车端显示设备包括将所述实时预警视频输出至所述目标显示设备。
  7. 根据权利要求6所述的方法,其特征在于,在所述确定所述预警场景的类型信息之后,所述方法还包括:
    基于所述预警场景的类型信息和所述感知信息,生成对应的预警音频;
    将所述预警音频输出至所述当前车辆的车端音频播放设备。
  8. 一种车辆预警装置,其特征在于,所述装置包括:
    实时监控视频获取模块,用于获取当前车辆上车载摄像头的实时监控视频;
    预警场景识别模块,用于基于所述实时监控视频对所述当前车辆进行预警场景识别;
    预警目标确定模块,用于在识别到所述当前车辆存在预警场景的情况下,确定预警目标;
    感知信息模块,用于对所述实时监控视频进行处理,得到所述预警目标的感知信息;
    实时预警视频生成模块,用于基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频;
    实时预警视频输出模块,用于将所述实时预警视频输出至所述当前车辆的车端显示设备。
  9. 根据权利要求8所述的装置,其特征在于,所述感知信息模块包括:
    目标检测单元,用于对所述实时监控视频进行目标检测,确定所述预警目标的类型信息;
    目标追踪单元,用于对所述实时监控视频进行目标追踪,确定包括所述预警目标的多帧图像;
    运动轨迹分析单元,基于所述多帧图像对所述预警目标进行运动轨迹分析,确定所述预警目标的相对于所述当前车辆的实时相对位置信息、实时速度信息和实时航向角信息;
    感知信息单元,用于将所述预警目标的类型信息、所述实时相对位置信息、所述实时速度信息和所述实时航向角信息作为所述感知信息。
  10. 根据权利要求9所述的装置,其特征在于,所述装置还包括:
    目标坐标系构建单元,用于在所述多帧图像上分别以所述当前车辆为坐标原点,构建所述多帧图像对应的目标坐标系;
    对应的,所述实时预警视频生成模块包括:
    坐标信息确定单元,用于根据所述实时相对位置信息,确定所述预警目标在所述多帧图像对应的目标坐标系中的坐标信息;
    第一预警目标标记单元,用于根据所述预警目标的类型信息和所述坐标信息,在所述多帧图像中进行预警目标标记,得到所述实时预警视频。
  11. 根据权利要求10所述的装置,其特征在于,所述第一预警目标标记单元还包括:
    标注样式信息确定单元,用于根据所述预警目标的类型信息,确定所述预警目标对应的标注样式信息;
    第二预警目标标记单元,用于根据所述标注样式信息和所述坐标信息,在所述多帧图像中进行预警目标标记,得到标记后的多帧图像;
    实时预警视频生成单元,用于根据所述标记后的多帧图像,生成所述实时预警视频。
  12. 根据权利要求9所述的装置,其特征在于,所述装置还包括:
    预测运动轨迹生成单元,用于基于所述实时相对位置信息、所述实时速度信息和所述实时航向角信息生成所述预警目标的预测运动轨迹;
    预警范围判断单元,用于基于所述预测运动轨迹,判断所述预警目标是否在所述当前车辆的预警范围内;
    步骤执行单元,用于当判断为是时,执行所述基于所述感知信息,在所述实时监控视频中对所述预警目标进行标记,得到实时预警视频的步骤。
  13. 根据权利要求8所述的装置,其特征在于,所述装置还包括:
    预警场景类型信息确定单元,用于在识别到所述当前车辆存在预警场景的情况下,确定所述预警场景的类型信息;
    目标显示设备确定单元,用于基于所述预警场景的类型信息和所述感知信息,确定所述车端显示设备中的目标显示设备;
    对应的,所述实时预警视频输出模块包括:
    目标显示设备输出单元,用于将所述实时预警视频输出至所述目标显示设备。
  14. 根据权利要求13所述的装置,其特征在于,所述装置还包括:
    预警音频生成单元,用于基于所述预警场景的类型信息和所述感知信息,生成对应的预警音频;
    预警音频输出单元,用于将所述预警音频输出至所述当前车辆的车端音频播放设备。
  15. 一种车辆预警设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的车辆预 警方法。
  16. 一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的车辆预警方法。
CN202180071143.XA 2021-03-31 2021-03-31 一种车辆预警方法、装置、设备及存储介质 Pending CN116547725A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/084493 WO2022205106A1 (zh) 2021-03-31 2021-03-31 一种车辆预警方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116547725A true CN116547725A (zh) 2023-08-04

Family

ID=83455341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180071143.XA Pending CN116547725A (zh) 2021-03-31 2021-03-31 一种车辆预警方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN116547725A (zh)
WO (1) WO2022205106A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115691221A (zh) * 2022-12-16 2023-02-03 山东矩阵软件工程股份有限公司 一种车辆预警方法、车辆预警系统及相关装置
CN116416281A (zh) * 2023-04-28 2023-07-11 云观智慧科技(无锡)有限公司 一种粮库ai视频监管分析方法及系统
CN116307743B (zh) * 2023-05-23 2023-08-04 浙江安邦护卫科技服务有限公司 基于数据处理的押运安全预警方法、系统、设备和介质
CN117496718A (zh) * 2023-11-01 2024-02-02 深圳市芯跃智联科技有限公司 一种具有rfid信标技术的车辆智能预警系统及综合监控方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108430831A (zh) * 2016-12-30 2018-08-21 华为技术有限公司 一种倒车图像处理的方法及其相关设备
CN107215302A (zh) * 2017-03-25 2017-09-29 南宁市广千信息技术有限公司 车辆事故预警监控系统
CN108638999B (zh) * 2018-05-16 2020-04-10 浙江零跑科技有限公司 一种基于360度环视输入的防碰撞预警系统及方法
CN112016423B (zh) * 2020-08-20 2024-06-18 浙江大华技术股份有限公司 车辆车门状态的识别方法、装置、设备及计算机存储介质
CN112319366A (zh) * 2020-10-26 2021-02-05 惠州市德赛西威汽车电子股份有限公司 一种驻车监控预警方法及系统

Also Published As

Publication number Publication date
WO2022205106A1 (zh) 2022-10-06

Similar Documents

Publication Publication Date Title
CN116547725A (zh) 一种车辆预警方法、装置、设备及存储介质
CN106980813B (zh) 机器学习的注视生成
US11282389B2 (en) Pedestrian detection for vehicle driving assistance
US11062609B2 (en) Information processing apparatus and information processing method
JP6196044B2 (ja) 交通信号認識システム及び方法
Ohn-Bar et al. On surveillance for safety critical events: In-vehicle video networks for predictive driver assistance systems
CN106952303B (zh) 车距检测方法、装置和系统
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
CN111527013B (zh) 车辆变道预测
JP2022505759A (ja) 運転者支援システムを試験するための方法及び装置
CN109116846B (zh) 一种自动驾驶方法、装置、计算机设备和存储介质
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN113240939B (zh) 一种车辆预警方法、装置、设备及存储介质
CN111989915B (zh) 用于图像中的环境的自动视觉推断的方法、介质、及系统
CN110371018A (zh) 使用其他车辆车灯的信息改善车辆行为
CN113033684A (zh) 一种车辆预警方法、装置、设备及存储介质
JP5895728B2 (ja) 車群管理装置
Markelic et al. The driving school system: Learning basic driving skills from a teacher in a real car
JP2016192104A (ja) 情報処理装置、その制御方法及びプログラム
CN113484877B (zh) 用于航空器地面行驶避撞的方法及系统
CN116368545A (zh) 一种车辆预警方法、系统、装置、设备及存储介质
CN114596706A (zh) 路侧感知系统的检测方法及装置、电子设备和路侧设备
JP2019050622A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理システム
Greer et al. Patterns of Vehicle Lights: Addressing Complexities in Curation and Annotation of Camera-Based Vehicle Light Datasets and Metrics
WO2020073271A1 (en) Snapshot image of traffic scenario

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination