CN112818726A - 车辆违章预警方法、装置、系统及存储介质 - Google Patents

车辆违章预警方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN112818726A
CN112818726A CN201911119813.1A CN201911119813A CN112818726A CN 112818726 A CN112818726 A CN 112818726A CN 201911119813 A CN201911119813 A CN 201911119813A CN 112818726 A CN112818726 A CN 112818726A
Authority
CN
China
Prior art keywords
image
target
vehicle
early warning
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911119813.1A
Other languages
English (en)
Inventor
于春娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201911119813.1A priority Critical patent/CN112818726A/zh
Publication of CN112818726A publication Critical patent/CN112818726A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种车辆违章预警方法、装置、系统及存储介质，属于车辆技术领域。所述方法包括：获取车辆周围的多张场景图像；对多张场景图像进行环视拼接，得到车辆的全景环视图像；对待处理图像进行目标检测，以检测待处理图像中是否存在预设目标，预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；当检测到待处理图像中存在预设目标时，从待处理图像中提取预设目标的目标图像，根据目标图像确定违章报警信息，对目标图像、违章预警信息和全景环视图像进行显示，以对驾驶员进行违章预警。如此，可以在车辆行驶或停车过程中提醒驾驶员注意行车规则，对可能触发的违章行为进行预警，减少驾驶员无意识的违章行为。

Description

车辆违章预警方法、装置、系统及存储介质
技术领域
本申请涉及车辆技术领域，特别涉及一种车辆违章预警方法、装置、系统及存储介质。
背景技术
车辆的全景环视图像是指能够展示车辆周围360度景象的全景图，可以通过对设置在车辆周围的多个摄像头采集的图像进行处理，以将采集的多张图像映射到三维空间中得到。通过车辆的全景环视图像，驾驶员能够直观地查看车辆周边各个角度是否存在障碍物，并了解障碍物的相对方位与距离，从而可以扩大驾驶员的视野，有效减少刮蹭、碰撞、陷落等事故的发生。
相关技术中，可以在车辆周围设置多个摄像头，通过设置的多个摄像头采集车辆周围的多张场景图像，然后对这多张场景图像进行环视拼接，得到该车辆的全景环视图像，再将该全景环视图像显示在车辆的显示单元上，以供用户进行查看。其中，对这多张场景图像进行环视拼接的操作可以包括：预先构建能够在三维空间中表征车辆周围场景的立体场景模型，然后基于该多张场景图像和摄像参数，确定该多张场景图像与实际场景之间的空间映射关系，再基于该空间映射关系，将该多张场景图像映射到该立体场景模型中，即可得到车辆的全景环视图像。
但是，相关技术中在对场景图像进行环视拼接生成全景环视图像后，仅能简单地对拼接成的全景环视图像进行显示，显示全景环视图像的方式比较局限，灵活性较低，无法满足用户的多样化需求。
发明内容
本申请实施例提供了一种车辆违章预警方法、装置、系统及存储介质，可以用于解决相关技术中存在的显示全景环视图像的方式比较局限，灵活性较低，无法满足用户的多样化需求的问题。所述技术方案如下：
一方面，提供了一种车辆违章预警方法，所述方法包括：
获取车辆周围的多张场景图像；
对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；
对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；
当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，以对驾驶员进行违章预警。
可选地，所述从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息之前，还包括：
根据所述待处理图像的目标检测结果，以及所述车辆的驾驶行为和路况信息中的至少一种，通过预设预警策略判断所述车辆所处场景是否符合违章预警条件；
当确定所述车辆所处场景符合违章预警条件时，触发执行从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息的步骤。
可选地，所述对待处理图像进行目标检测，包括：
将所述待处理图像作为深度学习检测模型的输入，通过所述深度学习检测模型检测所述待处理图像中是否存在所述预设目标，所述深度学习检测模型是根据存在所述预设目标的多张样本图像进行训练得到。
可选地，所述从所述待处理图像中提取所述预设目标的目标图像，包括：
从所述待处理图像中确定至少一张存在所述预设目标的备选图像；
确定每张备选图像中存在的所述预设目标的置信度；
基于每张备选图像中存在的所述预设目标的置信度，从所述至少一张备选图像中提取所述目标图像。
可选地，所述基于每张备选图像中存在的所述预设目标的置信度，从所述至少一张备选图像中提取所述目标图像，包括：
若所述至少一张备选图像中存在的所述预设目标为同一目标，则从所述至少一张备选图像中确定存在的所述预设目标的置信度最大的目标备选图像，对所述目标备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中存在的所述预设目标两两不同，则从所述至少一张备选图像中确定存在的所述预设目标的置信度大于置信度阈值的备选图像，对确定的备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中包括m张第一备选图像和n张第二备选图像，则从所述m张第一备选图像中选择存在的所述预设目标的置信度最大的第一备选图像，从所述n张第二备选图像中选择存在的所述预设目标的置信度大于置信度阈值的第二备选图像，对选择的第一备选图像和第二备选图像中所述预设目标所在的部分区域图像分别进行提取，基于提取的图像，确定所述目标图像，所述m张第一备选图像中存在的所述预设目标为同一目标，所述n张第二备选图像是指除所述m张第一备选图像之外的且存在的所述预设目标两两不同的备选图像，所述m和所述n均为正整数。
可选地，所述基于提取的图像，确定目标图像，包括：
对提取的图像进行预处理，得到所述目标图像，所述预处理包括放大处理和增强处理中的至少一种。
可选地，所述根据所述目标图像确定与所处车辆所处场景匹配的违章预警信息，包括以下方式中的至少一种：
若所述目标图像中存在交通指示标识，则确定与所述交通指示标识匹配的驾驶行为提示信息，根据与所述交通指示标识匹配的驾驶行为提示信息确定所述违章预警信息；
若所述目标图像中存在交通监控设备，则确定与所述交通监控设备匹配的违章操作提示信息，根据与所述交通监控设备匹配的违章操作提示信息确定所述违章预警信息；
若所述目标图像中存在障碍物，则确定与所述障碍物匹配的障碍物提示信息，根据所述障碍物提示信息确定所述违章预警信息。
可选地，所述确定与所述交通指示标识匹配的驾驶行为提示信息，包括：
确定所述交通指示标识的类别；
基于所述交通指示标识的类别，从存储的多种类别的交通指示标识和驾驶行为提示信息的对应关系中，确定与所述交通指示标识匹配的驾驶行为提示信息。
可选地，所述对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，包括：
将所述违章预警信息叠加在所述目标图像的预设位置处；
将叠加有所述违章预警信息的目标图像叠加显示在所述全景环视图像上，或者，对所述叠加有所述违章预警信息的目标图像和所述全景环视图像进行分屏显示。
可选地，所述从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息之前，还包括：
确定所述车辆是否已启动违章预警功能；
若所述车辆已启动所述违章预警功能，则触发执行从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息的步骤。
可选地，所述确定所述车辆是否已启动违章预警功能之前，还包括：
获取所述车辆的行驶速度，若所述车辆的行驶速度小于或等于速度阈值，则启动所述违章预警功能；或者，
当检测到对违章预警功能的用户启动操作时，启动所述违章预警功能。
一方面，提供了一种车辆违章预警装置，所述装置包括：
获取模块，用于获取车辆周围的多张场景图像；
拼接模块，用于对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；
检测模块，用于对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；
提取模块，用于当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像；
第一确定模块，用于根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
显示模块，用于将所述目标图像、所述违章预警信息和所述全景环视图像显示在显示屏幕上，以对驾驶员进行违章预警。
可选地，所述装置还包括：
判断模块，用于根据所述待处理图像的目标检测结果，以及所述车辆的驾驶行为和路况信息中的至少一种，通过预设预警策略判断所述车辆所处场景是否符合违章预警条件；
第一触发模块，用于当确定所述车辆所处场景符合违章预警条件时，触发所述确定模块从所述待处理图像中提取所述预设目标的目标图像。
可选地，所述检测模块用于：
将所述待处理图像作为深度学习检测模型的输入，通过所述深度学习检测模型检测所述待处理图像中是否存在所述预设目标，所述深度学习检测模型是根据存在所述预设目标的多张样本图像进行训练得到。
可选地，所述提取模块包括：
第一确定单元，用于从所述待处理图像中确定至少一张存在所述预设目标的备选图像；
第二确定单元，用于确定每张备选图像中存在的所述预设目标的置信度；
提取单元，用于基于每张备选图像中存在的所述预设目标的置信度，从所述至少一张备选图像中提取所述目标图像。
可选地，所述提取单元用于：
若所述至少一张备选图像中存在的所述预设目标为同一目标，则从所述至少一张备选图像中确定存在的所述预设目标的置信度最大的目标备选图像，对所述目标备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中存在的所述预设目标两两不同，则从所述至少一张备选图像中确定存在的所述预设目标的置信度大于置信度阈值的备选图像，对确定的备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中包括m张第一备选图像和n张第二备选图像，则从所述m张第一备选图像中选择存在的所述预设目标的置信度最大的第一备选图像，从所述n张第二备选图像中选择存在的所述预设目标的置信度大于置信度阈值的第二备选图像，对选择的第一备选图像和第二备选图像中所述预设目标所在的部分区域图像分别进行提取，基于提取的图像，确定所述目标图像，所述m张第一备选图像中存在的所述预设目标为同一目标，所述n张第二备选图像是指除所述m张第一备选图像之外的且存在的所述预设目标两两不同的备选图像，所述m和所述n均为正整数。
可选地，所述提取单元用于：
对提取的图像进行预处理，得到所述目标图像，所述预处理包括放大处理和增强处理中的至少一种。
可选地，所述第一确定模块用于：
若所述目标图像中存在交通指示标识，则确定与所述交通指示标识匹配的驾驶行为提示信息，根据与所述交通指示标识匹配的驾驶行为提示信息确定所述违章预警信息；
若所述目标图像中存在交通监控设备，则确定与所述交通监控设备匹配的违章操作提示信息，根据与所述交通监控设备匹配的违章操作提示信息确定所述违章预警信息；
若所述目标图像中存在障碍物，则确定与所述障碍物匹配的障碍物提示信息，根据所述障碍物提示信息确定所述违章预警信息。
可选地，所述第一确定模块用于：
确定所述交通指示标识的类别；
基于所述交通指示标识的类别，从存储的多种类别的交通指示标识和驾驶行为提示信息的对应关系中，确定与所述交通指示标识匹配的驾驶行为提示信息。
可选地，所述显示模块用于：
将所述违章预警信息叠加在所述目标图像的预设位置处；
将叠加有所述违章预警信息的目标图像叠加显示在所述全景环视图像上，或者，对所述叠加有所述违章预警信息的目标图像和所述全景环视图像进行分屏显示。
可选地，所述装置还包括：
第二确定模块，用于确定所述车辆是否已启动违章预警功能；
第二触发模块，用于若所述车辆已启动所述违章预警功能，则触发所述提取模块从所述待处理图像中提取所述预设目标的目标图像。
可选地，所述装置还包括启动模块，所述启动模块用于：
获取所述车辆的行驶速度，若所述车辆的行驶速度小于或等于速度阈值，则启动所述违章预警功能；或者，
当检测到对违章预警功能的用户启动操作时，启动所述违章预警功能。
一方面，提供了一种车载环视系统，所述系统包括图像采集单元、处理单元和显示单元，所述图像采集单元包括设置在车辆周围的多个摄像头；
所述图像采集单元，用于采集车辆周围的多张场景图像，将所述多张场景图像发送给所述处理器；
所述处理单元，用于对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
所述显示单元，用于对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，以对驾驶员进行违章预警。
一方面，提供了一种非临时性计算机可读存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现上述任一种车辆违章预警方法的步骤。
本申请实施例提供的技术方案带来的有益效果是：
本申请实施例中，获取到车辆周围的多张场景图像之后，不仅可以对多张场景图像进行环视拼接，得到车辆的全景环视图像，还可以对待处理图像进行目标检测，以检测目标图像中是否存在交通指示标识、交通监控设备或障碍物等预设目标，当检测到待处理图像中存在预设目标，即可从待处理图像中提取预设目标的目标图像，以及根据目标图像确定与车辆所处场景匹配的违章预警信息，并对目标图像、违章预警信息和全景环视图像进行显示，以对驾驶员进行违章预警。如此，可以在车辆行驶或停车过程中实时地提醒驾驶员注意行车规则，对可能触发的违章行为进行预警，减少因驾驶员反应不及时，忽略了相关交通指示标识、交通监控设备或障碍物所导致的不合理的驾驶或停车行为，从而减少驾驶员无意识的违章行为。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图；
图2是本申请实施例提供的一种图像采集单元的设置示意图；
图3是本申请实施例提供的另一种实施环境的示意图；
图4是本申请实施例提供的一种车辆违章预警方法的流程图；
图5是本申请实施例提供的一种环视拼接过程的示意图；
图6是本申请实施例提供的一种目标检测过程的示意图；
图7是本申请实施例提供的一种驾驶行为提示信息的叠加过程示意图；
图8是本申请实施例提供的一种全景环视图像的示意图；
图9是本申请实施例提供的一种违章预警流程的示意图；
图10是本申请实施例提供的一种后处理过程的示意图；
图11是本申请实施例提供的一种车辆违章预警装置的框图；
图12是本申请实施例提供的一种车辆违章预警装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前，先对本申请实施例的应用场景予以说明。
随着车辆技术的发展，人们对于车辆安全方面的需求也越来越高。且随着车辆持有量的多年增加，城市道路交通压力日趋严重，行车安全也成为政府和人们关注的问题。目前大部分辅助驾驶功能，更多的关注在车辆快速行驶过程中的防碰撞、车道线偏离、以及车辆视觉盲区等问题，缺少对于行车过程中车辆周边交通指示标识和交通监控设备等的关注。但是，在实际驾驶场景中，由于驾驶员反应不及时，经常会发生忽略了相关交通指示标识和交通监控设备的情况，导致不合理的停车或驾驶行为的发生，严重的可能会导致车辆或者周边车辆与行人处于危险情景。
因此，为了解决上述问题，本申请实施例提出了一种能够对交通指示标识、交通监控设备或障碍物进行准确识别，将可能触发的违章行为及时推送告知驾驶员，以在车辆行驶或停车过程中实时的提醒驾驶员注意行车规则，减少驾驶员的无意识违章行为。
接下来，对本申请实施例涉及的实施环境进行简单介绍。
图1是本申请实施例提供的一种实施环境的示意图，参见图1，该实施环境包括安装在车辆上的车载环视系统100。车载环视系统100包括但不限于图像采集单元110和车载环视设备120，车载环视设备120可以包括处理单元121和显示单元122。
图像采集单元110至少包括设置在车辆周围的多个摄像头，如分别设置在车辆的前后左右各个位置的多个摄像头。该多个摄像头可以为广角摄像头或鱼眼摄像头等。当然，图像采集单元110也可以包括光学传感器、红外传感器、超声波传感器、里程计和轮脉冲等。图像采集单元110用于采集车辆周围的多张场景图像。示例性地，参见图2，图像采集单元10包括安装在车辆四周的摄像头11、摄像头12、摄像头13和摄像头14，图像采集单元10可以通过这4个摄像头在同一时刻进行图像采集，得到车辆周围的4张场景图像。
处理单元121在接收到场景信息后，可以按照本申请实施例提供的方法，生成违章预警信息和全景环视图像。示例性地，处理单元121可以是一个通用中央处理器(CentralProcessing Unit，CPU)、微处理器、特定应用集成电路(application-specificintegrated circuit，ASIC)，或者可以是一个或多个用于控制本申请方案程序执行的集成电路。
显示单元122用于显示生成的违章预警信息和全景环视图像等。示例性地，显示单元122可以是电阻式显示单元、电容式显示单元、液晶显示单元(liquid crystal display，LCD)、发光二级管(light emitting diode，LED)显示单元、阴极射线管(cathode raytube，CRT)显示单元或投影仪(projector)等。
另外，该车载环视系统还可以包括通信元件，通信元件用于将图像采集单元110采集的多张场景图像传输至处理单元121。可选地，通信元件还可以将用户发送的指令信息传输至处理单元121。其中，当显示单元122为可触摸的电阻式显示单元或电容式显示单元时，用户可以通过点击或滑动显示界面，触发指令信息。或者，用户也可以通过语音触发指令信息。
图3是本申请实施例提供的另一种实施环境的示意图，如图3所示，该实施环境中的车载环视系统包括但不限于图像采集单元110和车载环视设备，车载环视设备可以包括处理单元121和人机交互单元123。
其中，图像采集单元110包括分别设置在车辆的前后左右的4个摄像头，用于分别在同一时刻采集车辆周围的场景图像。而且，每个摄像头可以将采集的场景图像发送给处理单元121。
其中，处理单元121包括环视拼接单元、目标检测单元和后处理单元。图像采集单元110中的4个摄像头可以将采集的图像分别发送给环视拼接单元和目标检测单元。环视拼接单元用于将这4个摄像头采集的场景图像进行环视拼接，得到车辆的全景环视图像，以及将全景环视图像发送给目标检测单元。目标检测单元用于对待处理图像进行目标检测，以检测待处理图像中是否存在预设目标，并将检测结果发送给后处理单元，预设目标包括交通指示标识、交通监控设备和障碍物中的至少一种，目标图像包括4个摄像头采集的场景图像、全景环视图像、特写图或广角图等。后处理单元用于基于检测结果，从待处理图像中提取预设目标的目标图像，根据目标图像确定与车辆所处场景匹配的位置语句信息，将目标图像、违章预警信息和全景环视图像发送给显示单元122，由显示单元122进行显示。
其中，人机交互单元123为车载环视系统中用于与驾驶员进行交互的单元，可以包括用户交互开关、声音提示单元和显示单元123。用户交互开关可以用于接收用户的触摸或按键信号，根据用户的触摸或按键信号控制开启或关闭违章预警功能。显示单元123用于显示车辆的全景环视图像，以及在需要时在显示全景环视图像的同时显示目标图像和违章预警信息。声音提示单元用于接收报警信号，根据报警信号发出报警声音，以提示驾驶员查看显示单元123的显示信息。示例的，声音提示单元可以为蜂鸣器，用于发出蜂鸣提示音。
图4是本申请实施例提供的一种车辆违章预警方法的流程图，该方法应用于上述图1或图2所示的车载环视系统或车载环视设备中，如图4所示，该方法包括如下步骤：
步骤401：获取车辆周围的多张场景图像。
例如，可以通过设置在车辆周围的多个摄像头，来获取车辆周围的多张场景图像。而且，这多张场景图像是这多个摄像头在同一时刻采集的。
示例的，每个摄像头可以按照预设帧率采集图像。作为一个示例，可以实时获取该多个摄像头采集的场景图像，并按照本申请实施例提供的方法，对实时获取的多张场景图像进行处理。
步骤402：对该多张场景图像进行环视拼接，得到车辆的全景环视图像。
作为一个示例，可以基于该多张场景图像和摄像参数，确定该多张场景图像与实际场景之间的空间映射关系，再基于该空间映射关系，将该多张场景图像映射到预先构建的能够在三维空间中表征车辆周围场景的立体场景模型中，即可得到全景环视图像。
在一些实施例中，在对该多张场景图像进行环视拼接的过程中，还可以先对该多张场景图像进行亮度均衡处理，得到多张场景子图，再基于空间映射关系，对这多张场景子图进行环视拼接，得到第一全景环视图像。
在一些实施例中，该多张场景图像与实际场景之间的空间映射关系可以通过对映射表进行解析得到，该映射表用于存储该多张场景图像与实际场景之间的空间映射关系。
作为一个示例，对该多张场景图像进行环视拼接的过程可以如图5所示。
步骤403：对待处理图像进行目标检测，以检测待处理图像中是否存在预设目标，预设目标为交通指示标识、交通监控设备和障碍物中的至少一种。
其中，交通指示标识可以为交通指示牌、路标、交通指示线或箭头等，比如，交通指示标识可以为违停指示牌。交通监控设备可以为设置在道路上的监控摄像头，比如进行超速抓拍的监控摄像头等。
其中，待处理图像包括全景环视图像和多张指定图像中的至少一张，多张指定图像为车辆的车载相机拍摄的图像。比如，指定图像可以为车辆周围的场景图像，也可以为用于任意视角查看的3D图、特写图或广角图等特殊视图。
作为一个示例，可以基于深度学习检测算法对待处理图像进行目标检测。比如，将待处理图像作为深度学习检测模型的输入，通过深度学习检测模型检测待处理图像中是否存在预设目标。其中，该深度学习检测模型用于检测任一图像中是否存在预设目标。该深度学习检测模型可以根据存在预设目标的多张样本图像进行训练得到。
作为一个示例，待处理图像可以包括一张或多张图像。本申请实施例可以分别对每张待处理图像进行目标检测，来检测每张待处理图像中是否存在该预设目标。示例的，若待处理图像包括4路场景图像和全景环视图像，则对待处理图像进行目标检测的过程可以如图6所示。其中，4路场景图像是指由设置在车辆前后左右的4个摄像头采集的4个方向的场景图像。
对待处理图像进行目标检测后，可以得到目标检测结果。目标检测结果用于指示对应待处理图像中是否存在预设目标。可选地，当目标检测结果指示对应待处理图像中存在预设目标时，目标检测结果还可以包括待处理图像中存在的预设目标的位置、置信度、类别和ID(Identity Document，唯一编号)中的至少一种。
作为一个示例，预设目标包括第一预设目标、第二预设目标和第三预设目标，第一预设目标为交通指示标识，第二预设目标为交通监控设备，第三预设目标为障碍物。目标检测结果可以包括第一目标检测结果、第二目标检测结果和第三目标检测结果。第一目标检测结果用于指示对应待处理图像中是否存在第一预设目标，若第一目标检测结果指示对应待处理图像中存在第一预设目标时，该第一目标检测结果还可以包括待处理图像中存在的第一预设目标的位置和置信度等。第二目标检测结果用于指示对应待处理图像中是否存在第二预设目标，若第二目标检测结果指示对应待处理图像中存在第二预设目标时，第二目标检测结果还可以包括待处理图像中存在的第二预设目标的位置和置信度等。第三面部检测结果用于指示对应待处理图像中是否存在第三预设目标，若第三目标检测结果指示对应待处理图像中存在第三预设目标时，第三目标检测结果还可以包括待处理图像中存在的第三预设目标的位置和置信度等。
步骤404：当检测到待处理图像中存在预设目标时，从待处理图像中提取预设目标的目标图像，根据目标图像确定与车辆所处场景匹配的违章预警信息。
也即是，当基于待处理图像的目标检测结果确定待处理图像中存在预设目标时，即可从待处理图像中提取目标图像，并根据目标图像确定与车辆所处场景匹配的违章预警信息。目标图像可以包括交通指示标识、交通监控设备和障碍物中的至少一种。
作为一个示例，从待处理图像中提取预设目标的目标图像的操作包括：从待处理图像中确定至少一张存在预设目标的备选图像；确定每张备选图像中存在的预设目标的置信度；基于每张备选图像中存在的预设目标的置信度，从至少一张备选图像中提取目标图像。
其中，每张备选图像中存在的预设目标的置信度用于指示每张备选图像中存在的检测目标为预设目标的可能性，即从每张备选图像中检测到的目标为预设目标的可能性。置信度越大，表示存在的检测目标为预设目标的可能性越大。
作为一个示例，基于每张备选图像中存在的预设目标的置信度，从至少一张备选图像中提取目标图像的操作可以包括以下几种情况：
第一种情况：若至少一张备选图像中存在的预设目标为同一目标，则从该至少一张备选图像中确定存在的预设目标的置信度最大的目标备选图像，对目标备选图像中预设目标所在的部分区域图像进行提取，基于提取的图像，确定目标图像。
在一个示例中，若至少一张备选图像中存在的预设目标为同一目标，还可以先从至少一张备选图像中选取存在的预设目标的置信度大于置信度阈值的备选图像，再从选取的备选图像中确定存在的预设目标的置信度最大的目标备选图像，对目标备选图像中预设目标所在的部分区域图像进行提取，基于提取的图像，确定目标图像。
其中，该置信度阈值可以预先设置，且可以根据实际需要进行设置。
第二种情况：若至少一张备选图像中存在的预设目标两两不同，则从至少一张备选图像中确定存在的预设目标的置信度大于置信度阈值的备选图像，对确定的备选图像中预设目标所在的部分区域图像进行提取，基于提取的图像，确定目标图像。
也即是，若至少一张备选图像中存在的预设目标不是同一目标，则从中选取存在的预设目标的置信度大于置信度阈值的备选图像，然后对选取的每张备选图像中预设目标所在的部分区域图像进行提取，以便基于从每张备选图像中提取的图像来确定目标图像。
第三种情况：若至少一张备选图像中包括m张第一备选图像和n张第二备选图像，则从m张第一备选图像中选择存在的所述预设目标的置信度最大的第一备选图像，从n张第二备选图像中选择存在的预设目标的置信度大于置信度阈值的第二备选图像，对选择的第一备选图像和第二备选图像中预设目标所在的部分区域图像分别进行提取，基于提取的图像，确定目标图像。
其中，m张第一备选图像中存在的预设目标为同一目标，n张第二备选图像是指该至少一张备选图像中除m张第一备选图像之外的且存在的预设目标两两不同的备选图像，m和n均为正整数。
也即是，若至少一张备选图像包括存在同一目标的m张第一备选图像，也包括存在不同目标的n张第二备选图像，则对于m张第一备选图像，可以按照上述第一种情况进行提取处理，对于n张第二备选图像，可以按照上述第二种情况进行提取处理。
在一个示例中，上述三种情况中基于提取的图像确定目标图像的操作可以包括：对提取的图像进行预处理，得到目标图像，预处理包括放大处理和增强处理中的至少一种。
比如，对提取的图像进行放大处理，以得到尺寸为预设尺或者分辨率为预设分辨率的目标图像。示例的，对目标备选图像中预设目标所在的部分区域图像进行提取，然后将提取的图像放大为预设尺寸，得到预设目标的局部放大图。
作为一个示例，当提取的图像包括多张图像时，还可以分别对每张图像进行预处理，得到预处理后的多张图像。然后将预处理后的多张图像作为目标图像，或者，将预处理后的多张图像进行组合处理，得到目标图像。其中所采用的组合处理方式可以包括叠加或拼接等，本申请实施例对此不做限定。
作为一个示例，根据目标图像确定与所处车辆所处场景匹配的违章预警信息的操作可以包括以下方式中的至少一种：
第一种实现方式：若目标图像中存在交通指示标识，则确定与交通指示标识匹配的驾驶行为提示信息，根据与交通指示标识匹配的驾驶行为提示信息确定违章预警信息。
其中，驾驶行为提示信息用于指示交通指示标识要求的驾驶规则。比如，若交通指示标识为临停指示标识，则该临停指示标识对应的驾驶行为提示信息可以为：禁止驾驶员下车，临停3-5分钟。
作为一个示例，若目标图像中存在交通指示标识，则先确定交通指示标识的类别；基于交通指示标识的类别，从存储的多种类别的交通指示标识和驾驶行为提示信息的对应关系中，确定与交通指示标识匹配的驾驶行为提示信息。
也即是，可以预先存储有多种类别的交通指示标识和驾驶行为提示信息的对应关系，当检测到目标图像中存在交通指示标识时，可以先根据该交通指示标识的类别，从对应关系中查找匹配的驾驶行为提示信息。
其中，多种类别的交通指示标识和驾驶行为提示信息的对应关系中存储有多种类别的交通指示标识，以及每种类别的交通指示标识对应的驾驶行为提示信息。每种类别的交通指示标识对应的驾驶行为提示信息用于指示每种类别的交通指示标识要求的行驶规则。比如，若交通指示标识为临停指示标识，则该临停指示标识对应的驾驶行为提示信息可以为：禁止驾驶员下车，临停3-5分钟。
也即是，在在第一种实现方式中，车载环视系统的存储单元中可以预先存储多种类别的交通指示标识，以及每种类别的交通指示标识对应的驾驶行为提示信息，然后在实际检测的过程中，可以根据目标图像中的交通指示标识的类别，通过查询存储的对应关系来确定目标图像中存在的交通指示标识对应的驾驶行为提示信息。示例的，可以将多种类别的交通指示标识和驾驶行为提示信息的对应关系以列表形式进行存储，则后续即可通过查表获取任一类别的交通指示标识对应的驾驶行为提示信息。
第二种实现方式：若目标图像中存在交通监控设备，则确定与交通监控设备匹配的违章操作提示信息，根据与交通监控设备匹配的违章操作提示信息确定违章预警信息。
其中，违章操作提示信息用于指示交通监控设备禁止的违章操作，比如超速或打电话等。当目标图像中存在交通监控设备时，当前场景可能会触发违章，这种情况下也就可以通过违章操作提示信息提示驾驶员交通监控设备所禁止的违章操作，来尽量避免违章。另外，违章操作提示信息还可以提示驾驶员周围有交通监控设备，请注意周边环境，避免违章。
第三种实现方式：若目标图像中存在障碍物，则确定与障碍物匹配的障碍物提示信息，根据障碍物提示信息确定违章预警信息。
其中，该障碍物提示信息用于提示驾驶员周围有障碍物，注意行驶。比如，障碍物提示信息可以用于进行交通事故提示，行人提示，路况提示或路标提示等。其中，本申请实施例中的障碍物和障碍物提示信息可以根据实际需要进行设置，本肾气丸实施例对障碍物和障碍物提示信息的具体内容不做限定。
在一些实施例中，当检测到待处理图像中存在预设目标之后，还可以先根据待处理图像的目标检测结果，以及车辆的驾驶行为和路况信息中的至少一种，通过预设预警策略判断车辆所处场景是否符合违章预警条件，当确定车辆所处场景符合违章预警条件时，再执行从待处理图像中提取所述预设目标的目标图像，根据目标图像确定与所处场景匹配的违章预警信息的步骤。
也即是，在检测到待处理图像中存在预设目标之后，可以根据目标检测结果，以及车辆的驾驶行为和路况信息中至少一种，通过预设预警策略综合判断车辆是否有触发违章驾驶的可能，当确定有触发违章驾驶的可能时，再从待处理图像中提取所述预设目标的目标图像，根据目标图像确定与所处场景匹配的违章预警信息。
在一些实施例中，在对待处理图像进行目标检测之前，还可以先确定车辆是否已启动违章预警功能；若车辆已启动违章预警功能，则触发执行对待处理图像进行目标检测，以及后续步骤。若车辆未启动违章预警功能，则不对待处理图像进行目标检测，也不执行后续步骤，仅完成基本的全景环视图像显示功能，即直接对全景环视图像进行显示。
其中，车辆的违章预警功能可以由驾驶员启动，也可以由车载环视系统自动启动，本申请实施例对此不做限定。
作为一个示例，车载环视系统可以获取车辆的行驶速度，若车辆的行驶速度小于或等于速度阈值，则启动违章预警功能。其中，速度阈值可以由车载环视系统默认设置，也可以由驾驶员根据需要进行设置。
也即是，车载环视系统可以在车辆慢速行驶时，自动启动车辆的违章预警功能，以对行驶过程中的交通指示标识、交通监控设备或障碍物进行准确识别，以及将可能触发的违章行为推送告知给驾驶员，以对驾驶员进行违章预警。
作为另一示例，当检测到对违章预警功能的用户启动操作时，启动违章预警功能。其中，对违章预警功能的用户启动操作可以由驾驶员触发，该启动操作可以为对显示单元的触摸操作、语音操作或手势操作等，本申请实施例对此不做限定。示例的，车载环视系统的显示单元为触摸屏，该显示单元可以显示有违章预警功能的开关，驾驶员可以通过触摸该违章预警功能的开关，控制违章预警功能的开启或关闭。
步骤405：对目标图像、违章预警信息和全景环视图像进行显示，以对驾驶员进行违章预警。
也即是，可以将目标图像、违章预警信息和全景环视图像同时显示在显示屏幕上，通过将目标图像、违章预警信息和全景环视图像同时显示在显示屏幕上，可以提醒驾驶员在行车过程中避免违章行为，从而对减少驾驶员无意识的违章行为提供有益支撑。
作为一个示例，可以在车载环视系统的显示单元上同时显示目标图像、违章预警信息和全景环视图像。该显示单元可以为显示屏，比如安装在驾驶台的显示屏。
作为一个示例，可以将违章预警信息叠加在目标图像的预设位置处，然后将叠加有违章预警信息的目标图像叠加显示在全景环视图像上，或者将叠加有违章预警信息的目标图像和全景环视图像进行分屏显示。
其中，该预设位置可以由车载环视系统默认设置，也可以由用户根据需要进行设置。该预设位置可以为目标图像的顶部或底部，或者为预设目标的所在位置周围。示例的，可以将违章预警信息叠加在目标图像的底部。
作为一个示例，将叠加有违章预警信息的目标图像叠加显示在全景环视图像时，可以在全景环视图像中预设目标的所在位置周围叠加显示预设目标的局部放大图，且该局部放大图中叠加有对应的违章预警信息。
作为一个示例，将叠加有违章预警信息的目标图像和全景环视图像进行分屏显示时，可以按照叠加有违章预警信息的目标图像在左，全景环视图像在右的方式进行分屏显示。或者，按照叠加有违章预警信息的目标图像在上，全景环视图像在下的方式进行分屏显示。当然，也可以按照其他方式进行分屏显示，本申请实施例对此不做限定。
示例的，请参考图7，假设车辆所处场景中包括临停指示标识，则可以对车辆周围的多张场景图像和全景环视图像进行目标检测，然后基于检测结果，从多张场景图像和全景环视图像中提取目标图像，再通过查表获取目标图像对应的违章预警信息，该违章预警信息可以为“禁止驾驶员下车。临停3-5分钟”。然后，将目标图像与违章预警信息进行叠加处理，得到如图7所示的叠加有违章预警信息的临停指示标识图像。之后，可以对叠加有违章预警信息的临停指示标识图像和全景环视图像进行分屏显示，如图8所示，在显示屏幕的左屏显示叠加有违章预警信息的临停指示标识的局部放大图，在右屏显示全景环视图像。
在另一实施例中，在对目标图像、违章预警信息和全景环视图像进行显示进行显示的同时，该车载环视系统还可以发出报警声音，该报警声音用于提示驾驶员查看显示单元的显示信息，即提示驾驶员查看违章预警信息。示例的，可以控制车载环视系统的声音提示单元发出报警信息。示例的，该声音提示单元可以为蜂鸣器，用于发出蜂鸣提示音。
作为一个示例，车载环视系统中的处理单元在提取得到目标图像，以及确定得到与车辆所处场景匹配的的违章预警信息之后，可以一边驱动显示单元对目标图像、违章预警信息和全景环视图像进行显示，一边向声音提示单元发送报警信号，该报警信号用于指示声音提示单元发出报警声音。
请参考图9，该车载环视系统的违章预警流程可以如图9所示。其中，图9中的后处理流程可以如图10所示。
本申请实施例中，获取到车辆周围的多张场景图像之后，不仅可以对多张场景图像进行环视拼接，得到车辆的全景环视图像，还可以对待处理图像进行目标检测，以检测目标图像中是否存在交通指示标识、交通监控设备或障碍物等预设目标，当检测到待处理图像中存在预设目标，即可从待处理图像中提取预设目标的目标图像，以及根据目标图像确定与车辆所处场景匹配的违章预警信息，并对目标图像、违章预警信息和全景环视图像进行显示，以对驾驶员进行违章预警。如此，可以在车辆行驶或停车过程中实时地提醒驾驶员注意行车规则，对可能触发的违章行为进行预警，减少因驾驶员反应不及时，忽略了相关交通指示标识、交通监控设备或障碍物所导致的不合理的驾驶或停车行为，从而减少驾驶员无意识的违章行为。另外，本申请除了提高交通安全外，还能够帮助减少驾驶员因对交通指示标识、交通监控设备或障碍物禁止的违章操作反应不及时而出现的违章行为，进而减少不必要的经济损失。
图11是本申请实施例提供的一种车辆违章预警装置的装置框图，该装置可以集成于上述车载环视系统或车载环视设备中。参见图11，该装置包括：
获取模块1101，用于获取车辆周围的多张场景图像；
拼接模块1102，用于对该多张场景图像进行环视拼接，得到该车辆的全景环视图像；
检测模块1103，用于对待处理图像进行目标检测，以检测该待处理图像中是否存在预设目标，该待处理图像包括该全景环视图像和多张指定图像中的至少一张，该多张指定图像为该车辆的车载相机拍摄的图像，该预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；
提取模块1104，用于当检测到该待处理图像中存在该预设目标时，从该待处理图像中提取该预设目标的目标图像；
第一确定模块1105，用于根据该目标图像确定与该车辆所处场景匹配的违章预警信息；
显示模块1106，用于将该目标图像、该违章预警信息和该全景环视图像显示在显示屏幕上，以对驾驶员进行违章预警。
本申请实施例中，获取到车辆周围的多张场景图像之后，不仅可以对多张场景图像进行环视拼接，得到车辆的全景环视图像，还可以对待处理图像进行目标检测，以检测目标图像中是否存在交通指示标识、交通监控设备或障碍物等预设目标，当检测到待处理图像中存在预设目标，即可从待处理图像中提取预设目标的目标图像，以及根据目标图像确定与车辆所处场景匹配的违章预警信息，并对目标图像、违章预警信息和全景环视图像进行显示，以对驾驶员进行违章预警。如此，可以在车辆行驶或停车过程中实时地提醒驾驶员注意行车规则，对可能触发的违章行为进行预警，减少因驾驶员反应不及时，忽略了相关交通指示标识、交通监控设备或障碍物所导致的不合理的驾驶或停车行为，从而减少驾驶员无意识的违章行为。另外，本申请除了提高交通安全外，还能够帮助减少驾驶员因对交通指示标识、交通监控设备或障碍物禁止的违章操作反应不及时而出现的违章行为，进而减少不必要的经济损失。
作为一个示例，该装置还包括：
判断模块，用于根据该待处理图像的目标检测结果，以及该车辆的驾驶行为和路况信息中的至少一种，通过预设预警策略判断该车辆所处场景是否符合违章预警条件；
第一触发模块，用于当确定该车辆所处场景符合违章预警条件时，触发该提取模块1104从该待处理图像中提取该预设目标的目标图像。
作为一个示例，该检测模块1103用于：
将该待处理图像作为深度学习检测模型的输入，通过该深度学习检测模型检测该待处理图像中是否存在该预设目标，该深度学习检测模型是根据存在该预设目标的多张样本图像进行训练得到。
作为一个示例，该提取模块1104包括：
第一确定单元，用于从该待处理图像中确定至少一张存在该预设目标的备选图像；
第二确定单元，用于确定每张备选图像中存在的该预设目标的置信度；
提取单元，用于基于每张备选图像中存在的该预设目标的置信度，从该至少一张备选图像中提取该目标图像。
作为一个示例，该提取单元用于：
若该至少一张备选图像中存在的该预设目标为同一目标，则从该至少一张备选图像中确定存在的该预设目标的置信度最大的目标备选图像，对该目标备选图像中该预设目标所在的部分区域图像进行提取，基于提取的图像，确定该目标图像；
若该至少一张备选图像中存在的该预设目标两两不同，则从该至少一张备选图像中确定存在的该预设目标的置信度大于置信度阈值的备选图像，对确定的备选图像中该预设目标所在的部分区域图像进行提取，基于提取的图像，确定该目标图像；
若该至少一张备选图像中包括m张第一备选图像和n张第二备选图像，则从该m张第一备选图像中选择存在的该预设目标的置信度最大的第一备选图像，从该n张第二备选图像中选择存在的该预设目标的置信度大于置信度阈值的第二备选图像，对选择的第一备选图像和第二备选图像中该预设目标所在的部分区域图像分别进行提取，基于提取的图像，确定该目标图像，该m张第一备选图像中存在的该预设目标为同一目标，该n张第二备选图像是指除该m张第一备选图像之外的且存在的该预设目标两两不同的备选图像，该m和该n均为正整数。
作为一个示例，该提取单元用于：
对提取的图像进行预处理，得到该目标图像，该预处理包括放大处理和增强处理中的至少一种。
作为一个示例，该第一确定模块1105用于：
若该目标图像中存在交通指示标识，则确定与该交通指示标识匹配的驾驶行为提示信息，根据与该交通指示标识匹配的驾驶行为提示信息确定该违章预警信息；
若该目标图像中存在交通监控设备，则确定与该交通监控设备匹配的违章操作提示信息，根据与该交通监控设备匹配的违章操作提示信息确定该违章预警信息；
若该目标图像中存在障碍物，则确定与该障碍物匹配的障碍物提示信息，根据该障碍物提示信息确定该违章预警信息。
作为一个示例，该第一确定模块1105用于：
确定该交通指示标识的类别；
基于该交通指示标识的类别，从存储的多种类别的交通指示标识和驾驶行为提示信息的对应关系中，确定与该交通指示标识匹配的驾驶行为提示信息。
作为一个示例，该显示模块1106用于：
将该违章预警信息叠加在该目标图像的预设位置处；
将叠加有该违章预警信息的目标图像叠加显示在该全景环视图像上，或者，对该叠加有该违章预警信息的目标图像和该全景环视图像进行分屏显示。
作为一个示例，该装置还包括：
第二确定模块，用于确定该车辆是否已启动违章预警功能；
第二触发模块，用于若该车辆已启动该违章预警功能，则触发提取模块1104从待处理图像中提取该预设目标的目标图像。
作为一个示例，该装置还包括启动模块，该启动模块用于：
获取该车辆的行驶速度，若该车辆的行驶速度小于或等于速度阈值，则启动该违章预警功能；或者，
当检测到对违章预警功能的用户启动操作时，启动该违章预警功能。
需要说明的是：上述实施例提供的车辆违章预警装置在显示全景环视图像时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的车辆违章预警装置与车辆违章预警方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图12是本申请实施例提供的一种车辆违章预警装置1200的结构示意图，该车辆违章预警装置1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)1201和一个或一个以上的存储器1202，其中，所述存储器1202中存储有至少一条指令，所述至少一条指令由该处理器1201加载并执行。当然，该车辆违章预警装置1200还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该车辆违章预警装置1200还可以包括其他用于实现设备功能的部件，在此不做赘述。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由处理器执行以完成上述实施例所述的车辆违章预警方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，集成于ASIC芯片内部的存储器、磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种车辆违章预警方法，其特征在于，所述方法包括：
获取车辆周围的多张场景图像；
对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；
对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；
当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，以对驾驶员进行违章预警。
2.根据权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息之前，还包括：
根据所述待处理图像的目标检测结果，以及所述车辆的驾驶行为和路况信息中的至少一种，通过预设预警策略判断所述车辆所处场景是否符合违章预警条件；
当确定所述车辆所处场景符合违章预警条件时，触发执行从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息的步骤。
3.如权利要求1所述的方法，其特征在于，所述对待处理图像进行目标检测，包括：
将所述待处理图像作为深度学习检测模型的输入，通过所述深度学习检测模型检测所述待处理图像中是否存在所述预设目标，所述深度学习检测模型是根据存在所述预设目标的多张样本图像进行训练得到。
4.如权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取所述预设目标的目标图像，包括：
从所述待处理图像中确定至少一张存在所述预设目标的备选图像；
确定每张备选图像中存在的所述预设目标的置信度；
基于每张备选图像中存在的所述预设目标的置信度，从所述至少一张备选图像中提取所述目标图像。
5.如权利要求4所述的方法，其特征在于，所述基于每张备选图像中存在的所述预设目标的置信度，从所述至少一张备选图像中提取所述目标图像，包括：
若所述至少一张备选图像中存在的所述预设目标为同一目标，则从所述至少一张备选图像中确定存在的所述预设目标的置信度最大的目标备选图像，对所述目标备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中存在的所述预设目标两两不同，则从所述至少一张备选图像中确定存在的所述预设目标的置信度大于置信度阈值的备选图像，对确定的备选图像中所述预设目标所在的部分区域图像进行提取，基于提取的图像，确定所述目标图像；
若所述至少一张备选图像中包括m张第一备选图像和n张第二备选图像，则从所述m张第一备选图像中选择存在的所述预设目标的置信度最大的第一备选图像，从所述n张第二备选图像中选择存在的所述预设目标的置信度大于置信度阈值的第二备选图像，对选择的第一备选图像和第二备选图像中所述预设目标所在的部分区域图像分别进行提取，基于提取的图像，确定所述目标图像，所述m张第一备选图像中存在的所述预设目标为同一目标，所述n张第二备选图像是指除所述m张第一备选图像之外的且存在的所述预设目标两两不同的备选图像，所述m和所述n均为正整数。
6.如权利要求5所述的方法，其特征在于，所述基于提取的图像，确定目标图像，包括：
对提取的图像进行预处理，得到所述目标图像，所述预处理包括放大处理和增强处理中的至少一种。
7.如权利要求1所述的方法，其特征在于，所述根据所述目标图像确定与所处车辆所处场景匹配的违章预警信息，包括以下方式中的至少一种：
若所述目标图像中存在交通指示标识，则确定与所述交通指示标识匹配的驾驶行为提示信息，根据与所述交通指示标识匹配的驾驶行为提示信息确定所述违章预警信息；
若所述目标图像中存在交通监控设备，则确定与所述交通监控设备匹配的违章操作提示信息，根据与所述交通监控设备匹配的违章操作提示信息确定所述违章预警信息；
若所述目标图像中存在障碍物，则确定与所述障碍物匹配的障碍物提示信息，根据所述障碍物提示信息确定所述违章预警信息。
8.如权利要求7所述的方法，其特征在于，所述确定与所述交通指示标识匹配的驾驶行为提示信息，包括：
确定所述交通指示标识的类别；
基于所述交通指示标识的类别，从存储的多种类别的交通指示标识和驾驶行为提示信息的对应关系中，确定与所述交通指示标识匹配的驾驶行为提示信息。
9.如权利要求1所述的方法，其特征在于，所述对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，包括：
将所述违章预警信息叠加在所述目标图像的预设位置处；
将叠加有所述违章预警信息的目标图像叠加显示在所述全景环视图像上，或者，对所述叠加有所述违章预警信息的目标图像和所述全景环视图像进行分屏显示。
10.如权利要求1-9任一所述的方法，其特征在于，所述从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息之前，还包括：
确定所述车辆是否已启动违章预警功能；
若所述车辆已启动所述违章预警功能，则触发执行从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所处场景匹配的违章预警信息的步骤。
11.如权利要求10所述的方法，其特征在于，所述确定所述车辆是否已启动违章预警功能之前，还包括：
获取所述车辆的行驶速度，若所述车辆的行驶速度小于或等于速度阈值，则启动所述违章预警功能；或者，
当检测到对违章预警功能的用户启动操作时，启动所述违章预警功能。
12.一种车辆违章预警装置，其特征在于，所述装置包括：
获取模块，用于获取车辆周围的多张场景图像；
拼接模块，用于对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；
检测模块，用于对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；
提取模块，用于当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像；
第一确定模块，用于根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
显示模块，用于将所述目标图像、所述违章预警信息和所述全景环视图像显示在显示屏幕上，以对驾驶员进行违章预警。
13.一种车载环视系统，其特征在于，所述系统包括图像采集单元、处理单元和显示单元，所述图像采集单元包括设置在车辆周围的多个摄像头；
所述图像采集单元，用于采集车辆周围的多张场景图像，将所述多张场景图像发送给所述处理器；
所述处理单元，用于对所述多张场景图像进行环视拼接，得到所述车辆的全景环视图像；对待处理图像进行目标检测，以检测所述待处理图像中是否存在预设目标，所述待处理图像包括所述全景环视图像和多张指定图像中的至少一张，所述多张指定图像为所述车辆的车载相机拍摄的图像，所述预设目标为交通指示标识、交通监控设备和障碍物中的至少一种；当检测到所述待处理图像中存在所述预设目标时，从所述待处理图像中提取所述预设目标的目标图像，根据所述目标图像确定与所述车辆所处场景匹配的违章预警信息；
所述显示单元，用于对所述目标图像、所述违章预警信息和所述全景环视图像进行显示，以对驾驶员进行违章预警。
14.一种非临时性计算机可读存储介质，所述存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-11所述的任一项车辆违章预警方法的步骤。
CN201911119813.1A 2019-11-15 2019-11-15 车辆违章预警方法、装置、系统及存储介质 Pending CN112818726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911119813.1A CN112818726A (zh) 2019-11-15 2019-11-15 车辆违章预警方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911119813.1A CN112818726A (zh) 2019-11-15 2019-11-15 车辆违章预警方法、装置、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112818726A true CN112818726A (zh) 2021-05-18

Family

ID=75851838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911119813.1A Pending CN112818726A (zh) 2019-11-15 2019-11-15 车辆违章预警方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112818726A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807163A (zh) * 2021-07-28 2021-12-17 中科云谷科技有限公司 泵车的支腿放置方法、泵车的支腿放置装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104875681A (zh) * 2015-06-16 2015-09-02 四川长虹佳华信息产品有限责任公司 一种基于应用场景进行车载摄像头动态控制的方法
CN108399752A (zh) * 2018-04-28 2018-08-14 上海与德科技有限公司 一种驾驶违章预判方法、装置、服务器和介质
CN108545019A (zh) * 2018-04-08 2018-09-18 多伦科技股份有限公司 一种基于图像识别技术的安全辅助驾驶系统和方法
CN108859961A (zh) * 2017-05-16 2018-11-23 泰尔美电子株式会社 用于自动驾驶的环绕摄像系统
CN109017554A (zh) * 2018-07-27 2018-12-18 北京小米移动软件有限公司 行驶提醒方法、装置及计算机可读存储介质
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统
CN110097758A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 车辆信息输出、存储方法及装置
CN110341597A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器
CN110341640A (zh) * 2018-04-02 2019-10-18 郑州宇通客车股份有限公司 一种客车可视预警系统及其移动侦测警示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104875681A (zh) * 2015-06-16 2015-09-02 四川长虹佳华信息产品有限责任公司 一种基于应用场景进行车载摄像头动态控制的方法
CN108859961A (zh) * 2017-05-16 2018-11-23 泰尔美电子株式会社 用于自动驾驶的环绕摄像系统
CN110097758A (zh) * 2018-01-31 2019-08-06 杭州海康威视数字技术股份有限公司 车辆信息输出、存储方法及装置
CN110341597A (zh) * 2018-04-02 2019-10-18 杭州海康威视数字技术股份有限公司 一种车载全景视频显示系统、方法及车载控制器
CN110341640A (zh) * 2018-04-02 2019-10-18 郑州宇通客车股份有限公司 一种客车可视预警系统及其移动侦测警示方法
CN108545019A (zh) * 2018-04-08 2018-09-18 多伦科技股份有限公司 一种基于图像识别技术的安全辅助驾驶系统和方法
CN108399752A (zh) * 2018-04-28 2018-08-14 上海与德科技有限公司 一种驾驶违章预判方法、装置、服务器和介质
CN109017554A (zh) * 2018-07-27 2018-12-18 北京小米移动软件有限公司 行驶提醒方法、装置及计算机可读存储介质
CN109598943A (zh) * 2018-12-30 2019-04-09 北京旷视科技有限公司 车辆违章的监控方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨希: "《基于机器视觉的汽车安全辅助驾驶系统研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》, pages 2 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807163A (zh) * 2021-07-28 2021-12-17 中科云谷科技有限公司 泵车的支腿放置方法、泵车的支腿放置装置及存储介质
CN113807163B (zh) * 2021-07-28 2023-12-19 中科云谷科技有限公司 泵车的支腿放置方法、泵车的支腿放置装置及存储介质

Similar Documents

Publication Publication Date Title
CN112965502B (zh) 视觉跟踪确认方法、装置、设备及存储介质
US11967109B2 (en) Vehicle localization using cameras
US20210056850A1 (en) Drive assist device
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
WO2016186039A1 (ja) 自動車周辺情報表示システム
CN109345829B (zh) 无人车的监控方法、装置、设备及存储介质
CN109733283B (zh) 基于ar的被遮挡障碍物识别预警系统及识别预警方法
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
CN108883725A (zh) 一种行驶车辆警报系统和方法
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN113593301B (zh) 车辆加塞的预判断方法、车辆及计算机可读存储介质
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
CN109703456B (zh) 一种防止汽车碰撞的警示方法、装置及汽车控制器
CN115489536B (zh) 一种驾驶辅助方法、系统、设备及可读存储介质
JP5825713B2 (ja) 車両用危険場面再現装置
CN115402322A (zh) 一种路口驾驶辅助方法、系统、电子设备及存储介质
CN114298908A (zh) 一种障碍物展示方法、装置、电子设备及存储介质
KR101374653B1 (ko) 차량의 움직임을 검출하는 장치 및 방법
CN112818726A (zh) 车辆违章预警方法、装置、系统及存储介质
CN113255500A (zh) 一种车辆随意变道检测的方法及装置
JP2009230225A (ja) 車両用周囲監視装置
JP7136538B2 (ja) 電子装置
JP2012069154A (ja) 障害物監視装置
JP6868996B2 (ja) 障害物検知システム及び建設機械
CN114078318A (zh) 一种车辆违章检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination