CN111047874A - 智能交通违章管理方法及相关产品 - Google Patents
智能交通违章管理方法及相关产品 Download PDFInfo
- Publication number
- CN111047874A CN111047874A CN201911319670.9A CN201911319670A CN111047874A CN 111047874 A CN111047874 A CN 111047874A CN 201911319670 A CN201911319670 A CN 201911319670A CN 111047874 A CN111047874 A CN 111047874A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- camera
- evaluation value
- target vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种智能交通违章管理方法及相关产品,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述方法包括:通过所述至少一个摄像头获取针对目标车辆的目标图像;依据所述目标图像进行特征提取,得到特征参数集;依据所述特征参数集进行异常检测;在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。采用本申请实施例能够实现对交通违章进行精准管理。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种智能交通违章管理方法及相关产品。
背景技术
智能交通(Intelligent Transportation System,ITS)在交通领域中充分运用物联网、云计算、互联网、人工智能、自动控制、移动互联网等技术,通过高新技术汇集交通信息,对交通管理、交通运输、公众出行等等交通领域全方面以及交通建设管理全过程进行管控支撑,使交通系统在区域、城市甚至更大的时空范围具备感知、互联、分析、预测、控制等能力,以充分保障交通安全、发挥交通基础设施效能、提升交通系统运行效率和管理水平,为通畅的公众出行和可持续的经济发展服务,但是,目前来看,智能交通还是不够智能化,例如,无法实现对交通违章进行精准管理。
发明内容
本申请实施例提供了一种智能交通违章管理方法及相关产品,能够实现对交通违章进行精准管理。
第一方面,本申请实施例提供一种智能交通违章管理方法,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述方法包括:
通过所述至少一个摄像头获取针对目标车辆的目标图像;
依据所述目标图像进行特征提取,得到特征参数集;
依据所述特征参数集进行异常检测;
在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
第二方面,本申请实施例提供一种智能交通违章管理装置,
应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述装置包括:
第一获取单元,用于通过所述至少一个摄像头获取针对目标车辆的目标图像;
提取单元,用于依据所述目标图像进行特征提取,得到特征参数集;
检测单元,用于依据所述特征参数集进行异常检测;
第二获取单元,用于在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
处理单元,用于将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
第三方面,本申请实施例提供了一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中所描述的智能交通违章管理方法及相关产品,应用于智能交通系统,智能交通系统连接至少一个摄像头,通过至少一个摄像头获取针对目标车辆的目标图像,依据目标图像进行特征提取,得到特征参数集,依据特征参数集进行异常检测,在检测到目标车辆为异常车辆时,获取目标图像在预设时间段的视频影像,将视频影像输入到预设神经网络模型,得到针对目标车辆的处罚结果,预设神经网络模型由针对大量违章图像训练得到,如此,能够在初步检测到异常车辆的情况下,将该异常车辆在一段时间内的视频影像输入到神经网络模型中,得到最终的处罚结果,能够实现对交通违章进行精准管理。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种人工智能芯片的结构示意图;
图1B是本申请实施例提供的交通管理系统的架构示意图;
图1C是本申请实施例提供的一种智能交通违章管理方法的流程示意图;
图2是本申请实施例提供的另一种智能交通违章管理方法的流程示意图;
图3是本申请实施例提供的一种控制平台的结构示意图;
图4A是本申请实施例提供的一种智能交通违章管理装置的功能单元组成框图;
图4B是本申请实施例提供的一种智能交通违章管理装置的功能单元组成框图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,UE),移动台(mobile station,MS),控制平台,终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面对本申请实施例进行详细介绍。
参阅图1A,图1A为本申请提供的一种人工智能芯片的结构示意图,该人工智能芯片应用于电子设备,该电子设备可以包括智能交通系统,所述智能交通系统除了包括人工智能芯片之外,还可以包括获取电路和图像处理电路,所述电子设备的人工智能芯片可以用于执行图像识别运算,人工智能芯片其包括:核心处理电路、传输处理电路、普通处理电路、数据访问单元、第一存储器和多个第二存储器,每个传输处理电路与对应的一个第二存储器连接,数据访问单元与第一存储器和多个第二存储器分别连接。如图1A所示的结构,具有如下的优点,在运算前,数据访问单元从外部器件(即人工智能芯片外,例如智能手机的存储器)读取片外数据,然后将片外数据发送至第一存储器和/或第二存储器;在运算完毕后,数据访问单元将运算结果从第一存储器和/或第二存储器中发送至外部器件。这样可以在运算时,将待运算数据和中间结果保存在片上的第一存储器和/或第二存储器中,从而减少人工智能芯片与外部器件的交互次数。另外,每个传输处理电路分配一个第二存储器,能够避免所有普通处理电路和传输处理电路共享同一个第二存储器,无法有效利用数据局部性而导致额外的访存开销。
外部器件在针对不同的场景可能有所不同,例如交通场景,其对应的外部器件可以为图像采集器,具体的,例如摄像头,该摄像头可以为单摄像头或者多摄像头,单摄像头可以为红外摄像头、可见光摄像头、广角摄像头,双摄像头可以为可见光摄像头+红外摄像头,或者,广角可见光摄像头+普通可见光摄像头,在此不做限定。对于图像识别场景,其实现的方式具体可以包括:图像采集器采集图像数据,数据转换器(例如模数转换器)将图像数据转换成输入数据传输给核心处理电路,核心处理电路将该接收到的输入数据分发至传输处理电路(可选的),传输处理电路将数据转发至各个普通处理电路,各个普通处理电路执行各自计算后得到中间结果,将中间结果通过传输处理电路转发至核心处理电路,核心处理电路依据中间结果处理得到最终计算结果,依据该最终计算结果得到图像识别的结果。
进一步地,请参阅图1B,图1B是本申请实施例提供的用于实现一种智能交通违章管理方法的智能交通系统的架构示意图,该智能交通系统包括控制平台,且通过控制平台连接至少一个摄像头。其中,获取电路可以包括一个或者多个摄像头,还可以包括处理器,用于对多个摄像头的数据进行数据转换和数据预处理;图像处理电路可以包括通用处理器,用于实现图像处理操作。处理器可以为控制平台的部分或者全部处理功能。上述处理器可以为以下至少一种:中央处理器(Central Processing Unit/Processor,CPU)、图形处理器(Graphics Processing Unit,GPU)或者图1A所描述的人工智能芯片等等,在此不做限定。
本申请实施例中,智能交通系统可以包括控制平台,控制平台可以包括如图1A所示的人工智能芯片,基于上述图1B所示的智能交通系统可以实现如下功能:
所述获取电路,用于通过所述至少一个摄像头获取针对目标车辆的目标图像;
所述图像处理电路,用于依据所述目标图像进行特征提取,得到特征参数集;
所述图像处理电路,还用于依据所述特征参数集进行异常检测;
所述获取电路,还用于在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
所述人工智能芯片,用于将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
在一个可能的示例中,在所述依据所述目标图像进行特征提取,得到特征参数集方面,所述图像处理电路具体用于:
依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
对所述驾驶员进行行为属性识别,得到驾驶员属性;
将所述多个目标以及所述驾驶员属性作为所述特征参数集。
在一个可能的示例中,在所述通过所述至少一个摄像头获取针对目标车辆的目标图像方面,所述获取电路具体用于:
实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
在一个可能的示例中,在所述依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻方面,所述获取电路具体用于:
按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与所述目标车辆的相对角度对应的目标第一评价值,所述摄像头i为所述至少一个摄像头中的任一摄像头;
按照预设的距离与第二评价值之间的映射关系,确定所述摄像头i与所述目标车辆的相对距离对应的目标第二评价值;
获取所述第一评价值对应的第一权重值、所述第二评价值对应的第二权重值;
依据所述目标第一评价值、所述目标第二评价值、所述第一权重值和所述第二权重值进行加权运算,得到最终评价值;
确定预设评价值与所述最终评价值之间的差值;
在所述差值小于或等于预设阈值时,将当前时刻之后的预设时刻作为所述摄像头i的拍摄时刻;
在所述差值大于所述预设阈值时,获取所述目标车辆的行驶速率,依据所述行驶速率预估所述摄像头i对应的拍摄时刻。
在一个可能的示例中,所述图像处理电路还具体用于:
对所述视频影像进行解析,得到多帧视频图像;
对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值;
从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值;
获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理;
将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作;
在所述将所述视频影像输入到预设神经网络模型方面,所述人工智能芯片具体用于:
将合成操作后的所述视频影像输入到所述预设神经网络模型。
基于上述智能交通系统,还可以用于实现与功能相对应的智能交通违章管理方法。
请参阅图1C,图1C是本申请实施例提供的一种智能交通违章管理方法的流程示意图,如图所示,应用于如图1B所示的智能交通系统,所述智能交通系统连接至少一个摄像头,本智能交通违章管理方法包括:
101、通过所述至少一个摄像头获取针对目标车辆的目标图像。
其中,目标车辆可以为以下至少一种:轿车、越野车、卡车、自行车、电动车、面包车等等,在此不做限定。
本申请实施例中,智能交通系统可以包括至少一个摄像头,该至少一个摄像头用于监控路面,或者,人行道,或者,十字路口。该至少一个摄像头可以理解为一个或者多个摄像头,该摄像头可以为以下至少一种:单摄像头或者多摄像头,其中,单摄像头可以为红外摄像头、可见光摄像头、广角摄像头等等,多摄像头可以为双摄像头,或者,三摄像头,或者四摄像头,在此不做限定。
在一个可能的示例中,上述步骤101,通过所述至少一个摄像头获取针对目标车辆的目标图像,可以包括如下步骤:
11、实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
12、依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
13、控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
14、对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
15、对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
16、从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
其中,智能交通系统可以实时监测至少一个摄像头中每一摄像头与目标车辆之间的相对角度和相对距离,当然,如果车辆是运动的,则相对角度和相对距离是在变化的,进而,为了选择一个最佳拍摄时刻,本申请实施例中,则依据车辆与摄像头之间的相对角度和相对距离进行决策,具体地,依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻,在合适的时机拍摄,可以得到清晰的目标车辆,进而,可以控制至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像,可以对至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,目标区域图像为仅包括目标车辆的区域,具体分析中,对于异常检测来说,目标车辆本身的特征才是最关注的特征。
进一步地,可以对至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值,具体实现中,可以采用至少一个图像质量评价指标对图像进行图像质量评价,图像质量评价指标可以为以下至少一种:平均灰度、信息熵、边缘保持度、特征点分布密度等等,在此不作限定。其中,特征点分布密度=图像的特征点总数/图像的面积。进而,可以从至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为目标图像,如此,可以得到图像质量最佳的一个图像用于后续异常检测,有助于提升异常检测精准度。
进一步地,在一个可能的示例中,上述步骤12,依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻,可以包括如下步骤:
121、按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与所述目标车辆的相对角度对应的目标第一评价值,所述摄像头i为所述至少一个摄像头中的任一摄像头;
122、按照预设的距离与第二评价值之间的映射关系,确定所述摄像头i与所述目标车辆的相对距离对应的目标第二评价值;
123、获取所述第一评价值对应的第一权重值、所述第二评价值对应的第二权重值;
124、依据所述目标第一评价值、所述目标第二评价值、所述第一权重值和所述第二权重值进行加权运算,得到最终评价值;
125、确定预设评价值与所述最终评价值之间的差值;
125、在所述差值小于或等于预设阈值时,将当前时刻之后的预设时刻作为所述摄像头i的拍摄时刻;
126、在所述差值大于所述预设阈值时,获取所述目标车辆的行驶速率,依据所述行驶速率预估所述摄像头i对应的拍摄时刻。
其中,智能交通系统中可以预先存储预设的拍摄角度与第一评价值之间的映射关系,以及预设的距离与第二评价值之间的映射关系,上述预设阈值可以由用户自行设置或者系统默认。还可以存储第一评价值对应的第一权重值,以及第二评价值对应的第二权重值,第一权重值和第二权重值可以为经验值。预设评价值也可以为经验值,其可以由用户自行设置或者系统默认。
具体地,以摄像头i为例,摄像头i为上述至少一个摄像头中的任一摄像头,智能交通系统可以按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与目标车辆的相对角度对应的目标第一评价值,以及按照预设的距离与第二评价值之间的映射关系,确定摄像头i与目标车辆的相对距离对应的目标第二评价值,获取第一评价值对应的第一权重值、第二评价值对应的第二权重值,可以依据目标第一评价值、目标第二评价值、第一权重值和第二权重值进行加权运算,得到最终评价值,最终评价值=目标第一评价值*第一权重值+目标第二评价值,进一步地,可以确定预设评价值与最终评价值之间的差值,在差值小于或等于预设阈值时,则说明目标车辆与摄像头之间的位置接近理想状态,则可以将当前时刻之后的预设时刻作为摄像头i的拍摄时刻,该预设时刻可以由用户自行设置或者系统默认,反之,在差值大于预设阈值时,获取目标车辆的行驶速率,依据行驶速率预估摄像头i对应的拍摄时刻。
进一步地,在一个可能地示例中,上述步骤126,依据所述行驶速率预估所述摄像头i对应的拍摄时刻,可以包括如下步骤:
1261、获取当前时刻;
1262、按照预设的速率与角度变化率之间的映射关系,确定所述目标车辆的行驶速率对应的目标角度变化率;
1263、确定预设角度与当前角度之间的差值;
1264、依据所述差值、所述目标角度变化率确定目标时长;
1265、按照预设的速率与调节因子之间的映射关系,确定所述目标车辆的行驶速率对应的目标调节因子;
1266、依据所述当前时刻、所述目标时长和所述目标调节因子确定所述摄像头i对应的拍摄时刻。
其中,智能交通系统中可以预先存储预设的速率与角度变化率之间的映射关系,以及预设的速率与调节因子之间的映射关系,调节因子取值可以在-0.1~0.1之间。具体实现中,可以获取当前时刻,按照预设的速率与角度变化率之间的映射关系,确定所述目标车辆的行驶速率对应的目标角度变化率,拍照的话,自然是在一个合理角度进行拍摄,图像效果最佳,上述预设角度、当前角度均为车辆的正面与摄像头之间的相对角度,本申请实施例中,预设角度可以理解为一个理想角度,该预设角度可以由用户自行设置或者系统默认,进而,可以确定预设角度与当前角度之间的差值,进一步地,依据差值、目标角度变化率确定目标时长,目标时长=差值/目标角度变化率,进而,还可以按照预设的速率与调节因子之间的映射关系,确定目标车辆的行驶速率对应的目标调节因子,可以依据当前时刻、目标时长和目标调节因子确定摄像头i对应的拍摄时刻,摄像头i的拍摄时刻=当前时刻+目标时长*(1+目标调节因子)。
102、依据所述目标图像进行特征提取,得到特征参数集。
其中,本申请实施例中,特征参数集可以包括以下至少一种:目标车辆位置、车牌特征、车辆特征、行人位置、其他车辆位置、目标图像对应的拍摄时间、交通指示牌、斑马线位置、目标车辆的行驶速率、车道指示方向、驾驶员属性等等,在此不做限定。驾驶员属性可以为以下至少一种:是否佩戴安全带、是否抽烟、是否打电话、是否疲劳驾驶、是否酒驾等,在此不做限定。车牌特征可以用于识别是否套牌,或者,是否修改车牌,车辆特征可以用于检测是否为改装车辆。
在一个可能的示例中,上述步骤102,依据所述目标图像进行特征提取,得到特征参数集,可以包括如下步骤:
21、依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
22、对所述驾驶员进行行为属性识别,得到驾驶员属性;
23、将所述多个目标以及所述驾驶员属性作为所述特征参数集。
其中,智能交通系统可以对目标图像进行目标提取,该目标图像可以包括多个目标,还可以记录多个目标中每一目标的位置,该多个目标至少可以目标车辆以及驾驶员,当然,还可以包括斑马线位置、目标车辆的行驶速率、道路标识、拍摄时间、行人、其他车辆等等,在此不做限定。进一步地,可以对驾驶员进行行为属性识别,具体地,可以提取驾驶员的特征参数,将其输入到一个神经网络模型中,进而,可以得到该驾驶员对应的驾驶员属性,可以将该多个目标以及该驾驶员属性作为特征参数集,上述神经网络可以为以下至少一种:卷积神经网络模型、脉冲神经网络模型、循环神经网络模型等等,在此不做限定。
103、依据所述特征参数集进行异常检测。
其中,智能交通系统可以将上述特征参数集与预设特征参数集进行比对,依据比对结果,确定目标车辆是否异常。其中,上述预设特征参数集可以由用户自行设置或者系统默认,例如,异常车辆可以为司机不合规范的车辆,或者,不按照交通规则行驶的车辆,例如,逆行,不礼让行人等,例如,可以对司机和乘客进行行为识别,在行为不符合预设要求时,可以将其对应的车辆标记为异常车辆。上述预设特征参数集可以包括以下至少一种:目标车辆位置、行人位置、其他车辆位置、目标图像对应的拍摄时间、交通指示牌、斑马线位置、目标车辆的行驶速率、车道指示方向、驾驶员属性等等,在此不做限定。
104、在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像。
其中,上述预设时间段可以由用户自行设置或者系统默认。预设时间段可以为包括当前时刻的一段时间。
105、将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
其中,预设神经网络模型可以为以下至少一种:循环神经网络模型、脉冲神经网络模型、卷积神经网络模型等等,在此不作限定。该预设神经网络模型可以针对大量违章图像训练得到,该大量违章图像可以为以下至少一种:压实线变道的车辆图像、闯红灯的车辆图像、逆行的车辆图像、改装车的车辆图像、套牌的车辆图像、违停的车辆图像、不礼让行人的车辆图像等等,在此不做限定。处罚结果可以为以下至少一种:罚款、扣分、警告等等,在此不做限定。
在一个可能的示例中,上述步骤104-步骤105之间,还可以包括如下步骤:
A1、对所述视频影像进行解析,得到多帧视频图像;
A2、对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值;
A3、从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值;
A4、获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理;
A5、将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作;
则上述步骤105,将所述视频影像输入到预设神经网络模型,可以按照如下方式实施:
将合成操作后的所述视频影像输入到所述预设神经网络模型。
其中,上述预设图像质量评价值可以由用户自行设置或者系统默认。具体实现中,智能交通系统可以对视频影像进行解析,得到多帧视频图像,对多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值,具体地,可以参照上述描述,进一步地,可以从多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值,即选取图像质量不好的图像,进一步地,获取至少一个目标评价值对应的至少一个目标视频图像,并对至少一个目标视频图像中的每一目标视频图像进行图像增强处理,最后,再将图像增强处理后的至少一个目标视频图像以及图像质量评价值大于预设图像质量评价值的视频图像进行合成操作,得到合成操作后的视频影像,将该合成操作后的视频影像输入到预设神经网络模型。由于对图像质量差的图像进行图像增强处理,因此,可以得到更为精准的处罚结果。
在一个可能的示例中,上述A4,对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理,还可以包括如下步骤:
A41、获取目标视频图像j中的目标车辆区域图像,所述目标视频图像j为所述至少一个目标视频图像中的任一视频图像;
A42、将所述目标车辆区域图像划分为多个区域,每一区域的面积大于预设面积;
A43、确定所述多个区域中每一区域的特征点分布密度,得到多个特征点分布密度;
A44、从所述多个特征点分布密度中选取小于预设特征点分布密度的特征点分布密度,得到至少一个特征点分布密度;
A45、按照预设的特征点分布密度与图像增强参数之间的映射关系确定所述至少一个特征点分布密度对应的至少一个目标图像增强参数,每一特征点分布密度对应一个目标图像增强参数;
A46、依据所述至少一个目标图像增强参数对所述至少一个特征点分布密度对应的区域进行图像增强处理,得到图像增强处理后的所述目标视频图像j。
其中,预设特征点分布密度可以由用户自行设置或者系统默认。控制平台可以获取目标视频图像j中的目标车辆区域图像,即只包括目标车辆的图像,进一步地,可以将目标车辆区域图像划分为多个区域,每一区域的面积大于预设面积,该预设面积可以由用户自行设置或者系统默认。
进一步地,还可以确定多个区域中每一区域的特征点分布密度,得到多个特征点分布密度,具体地,可以对确定每一区域的面积,以及每一区域对应的特征点数量,将每一区域的特征点数量与其对应的面积之间的比值作为特征点分布密度,从该多个特征点分布密度中选取小于预设特征点分布密度的特征点分布密度,得到至少一个特征点分布密度,控制平台中可以预先存储预设的特征点分布密度与图像增强参数之间的映射关系,图像增强参数可以包括图像增强算法标识以及对应的控制参数,图像增强算法可以为以下至少一种:图像锐化处理、暗通道去雾算法、灰度拉伸、直方图均衡化、平滑处理、小波变换等等,在此不做限定,而控制参数则是图像增强算法对应的用于调节图像增强效果的参数,进而,可以依据该映射关系确定至少一个特征点分布密度对应的至少一个目标图像增强参数,每一特征点分布密度对应一个目标图像增强参数,依据至少一个目标图像增强参数对至少一个特征点分布密度对应的区域进行图像增强处理,得到图像增强处理后的目标车辆区域图像,如此,可以针对性地对目标车辆区域图像中不清晰区域进行局部图像增强处理,有助于提升后续识别精度。
可以看出,本申请实施例中所描述的智能交通违章管理方法,应用于智能交通系统,智能交通系统连接至少一个摄像头,通过至少一个摄像头获取针对目标车辆的目标图像,依据目标图像进行特征提取,得到特征参数集,依据特征参数集进行异常检测,在检测到目标车辆为异常车辆时,获取目标图像在预设时间段的视频影像,将视频影像输入到预设神经网络模型,得到针对目标车辆的处罚结果,预设神经网络模型由针对大量违章图像训练得到,如此,能够在初步检测到异常车辆的情况下,将该异常车辆在一段时间内的视频影像输入到神经网络模型中,得到最终的处罚结果,能够实现对交通违章进行精准管理。
与上述图1C所示的实施例一致地,请参阅图2,图2是本申请实施例提供的一种智能交通违章管理方法的流程示意图,如图所示,应用于如图1B所示的智能交通系统,所述智能交通系统连接至少一个摄像头,本智能交通违章管理方法包括:
201、通过所述至少一个摄像头获取针对目标车辆的目标图像。
202、依据所述目标图像进行特征提取,得到特征参数集。
203、依据所述特征参数集进行异常检测。
204、在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像。
205、对所述视频影像进行解析,得到多帧视频图像。
206、对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值。
207、从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值。
208、获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理。
209、将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作。
210、将合成操作后的所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
其中,上述步骤201-步骤210的具体描述可以参照上述图1C所描述的智能交通违章管理方法的相应步骤,在此不再赘述。
可以看出,本申请实施例中所描述的智能交通违章管理方法,应用于智能交通系统,智能交通系统连接至少一个摄像头,通过至少一个摄像头获取针对目标车辆的目标图像,依据目标图像进行特征提取,得到特征参数集,依据特征参数集进行异常检测,在检测到目标车辆为异常车辆时,获取目标图像在预设时间段的视频影像,对视频影像进行解析,得到多帧视频图像,对多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值,从多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值,获取至少一个目标评价值对应的至少一个目标视频图像,并对至少一个目标视频图像中的每一目标视频图像进行图像增强处理,将图像增强处理后的至少一个目标视频图像以及图像质量评价值大于预设图像质量评价值的视频图像进行合成操作,将合成操作后的视频影像输入到预设神经网络模型,得到针对目标车辆的处罚结果,预设神经网络模型由针对大量违章图像训练得到,如此,能够在初步检测到异常车辆的情况下,将该异常车辆在一段时间内的视频影像输入到神经网络模型中,得到最终的处罚结果,能够实现对交通违章进行精准管理
与上述实施例一致地,请参阅图3,图3是本申请实施例提供的一种控制平台的结构示意图,如图所示,该控制平台包括处理器、存储器、通信接口以及一个或多个程序,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
通过所述至少一个摄像头获取针对目标车辆的目标图像;
依据所述目标图像进行特征提取,得到特征参数集;
依据所述特征参数集进行异常检测;
在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
可以看出,本申请实施例中所描述的控制平台,应用于智能交通系统,智能交通系统连接至少一个摄像头,通过至少一个摄像头获取针对目标车辆的目标图像,依据目标图像进行特征提取,得到特征参数集,依据特征参数集进行异常检测,在检测到目标车辆为异常车辆时,获取目标图像在预设时间段的视频影像,将视频影像输入到预设神经网络模型,得到针对目标车辆的处罚结果,预设神经网络模型由针对大量违章图像训练得到,如此,能够在初步检测到异常车辆的情况下,将该异常车辆在一段时间内的视频影像输入到神经网络模型中,得到最终的处罚结果,能够实现对交通违章进行精准管理在一个可能的示例中,在所述依据所述目标图像进行特征提取,得到特征参数集方面,上述程序包括用于执行以下步骤的指令:
依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
对所述驾驶员进行行为属性识别,得到驾驶员属性;
将所述多个目标以及所述驾驶员属性作为所述特征参数集。
在一个可能的示例中,在所述通过所述至少一个摄像头获取针对目标车辆的目标图像方面,上述程序包括用于执行以下步骤的指令:
实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
在一个可能的示例中,在所述依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻方面,上述程序包括用于执行以下步骤的指令:
按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与所述目标车辆的相对角度对应的目标第一评价值,所述摄像头i为所述至少一个摄像头中的任一摄像头;
按照预设的距离与第二评价值之间的映射关系,确定所述摄像头i与所述目标车辆的相对距离对应的目标第二评价值;
获取所述第一评价值对应的第一权重值、所述第二评价值对应的第二权重值;
依据所述目标第一评价值、所述目标第二评价值、所述第一权重值和所述第二权重值进行加权运算,得到最终评价值;
确定预设评价值与所述最终评价值之间的差值;
在所述差值小于或等于预设阈值时,将当前时刻之后的预设时刻作为所述摄像头i的拍摄时刻;
在所述差值大于所述预设阈值时,获取所述目标车辆的行驶速率,依据所述行驶速率预估所述摄像头i对应的拍摄时刻。
在一个可能的示例中,上述程序还包括用于执行以下步骤的指令
对所述视频影像进行解析,得到多帧视频图像;
对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值;
从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值;
获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理;
将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作;
所述将所述视频影像输入到预设神经网络模型,包括:
将合成操作后的所述视频影像输入到所述预设神经网络模型。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,控制平台为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对控制平台进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图4A是本申请实施例中所涉及的智能交通违章管理装置400的功能单元组成框图。该智能交通违章管理装置400,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述装置400包括:第一获取单元401、提取单元402、检测单元403、第二获取单元404和处理单元405,其中,
第一获取单元401,用于通过所述至少一个摄像头获取针对目标车辆的目标图像;
提取单元402,用于依据所述目标图像进行特征提取,得到特征参数集;
检测单元403,用于依据所述特征参数集进行异常检测;
第二获取单元404,用于在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
处理单元405,用于将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
可以看出,本申请实施例中所描述的智能交通违章管理装置,应用于智能交通系统,智能交通系统连接至少一个摄像头,过至少一个摄像头获取针对目标车辆的目标图像,依据目标图像进行特征提取,得到特征参数集,依据特征参数集进行异常检测,在检测到目标车辆为异常车辆时,获取目标图像在预设时间段的视频影像,将视频影像输入到预设神经网络模型,得到针对目标车辆的处罚结果,预设神经网络模型由针对大量违章图像训练得到,如此,能够在初步检测到异常车辆的情况下,将该异常车辆在一段时间内的视频影像输入到神经网络模型中,得到最终的处罚结果,能够实现对交通违章进行精准管理。
在一个可能的示例中,在所述依据所述目标图像进行特征提取,得到特征参数集方面,所述提取单元402具体用于:
依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
对所述驾驶员进行行为属性识别,得到驾驶员属性;
将所述多个目标以及所述驾驶员属性作为所述特征参数集。
在一个可能的示例中,在所述通过所述至少一个摄像头获取针对目标车辆的目标图像方面,所述第一获取单元401具体用于:
实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
进一步地,在一个可能的示例中,在所述依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻方面,所述第一获取单元401具体用于:
按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与所述目标车辆的相对角度对应的目标第一评价值,所述摄像头i为所述至少一个摄像头中的任一摄像头;
按照预设的距离与第二评价值之间的映射关系,确定所述摄像头i与所述目标车辆的相对距离对应的目标第二评价值;
获取所述第一评价值对应的第一权重值、所述第二评价值对应的第二权重值;
依据所述目标第一评价值、所述目标第二评价值、所述第一权重值和所述第二权重值进行加权运算,得到最终评价值;
确定预设评价值与所述最终评价值之间的差值;
在所述差值小于或等于预设阈值时,将当前时刻之后的预设时刻作为所述摄像头i的拍摄时刻;
在所述差值大于所述预设阈值时,获取所述目标车辆的行驶速率,依据所述行驶速率预估所述摄像头i对应的拍摄时刻。
在一个可能的示例中,如图4B所示,图4B为图4A所描述的智能交通违章管理装置的又一变型结构,其与图4A相比较,还可以包括:解析单元406、评价单元407、选取单元408、第三选取单元409和合成单元410,具体如下:
所述解析单元406,用于对所述视频影像进行解析,得到多帧视频图像;
所述评价单元407,用于对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值;
所述选取单元408,用于从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值;
所述第三获取单元409,用于获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理;
所述合成单元410,用于将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作;
在所述将所述视频影像输入到预设神经网络模型方面,所述处理单元405具体用于:
将合成操作后的所述视频影像输入到所述预设神经网络模型。
可以理解的是,本实施例的智能交通违章管理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括控制平台。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括控制平台。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种智能交通违章管理方法,其特征在于,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述智能交通系统包括获取电路、图像处理电路和人工智能芯片,所述方法包括:
所述获取电路通过所述至少一个摄像头获取针对目标车辆的目标图像;
所述图像处理电路依据所述目标图像进行特征提取,得到特征参数集;
所述图像处理电路依据所述特征参数集进行异常检测;
所述获取电路在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
所述人工智能芯片将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
2.根据权利要求1所述的方法,其特征在于,在所述依据所述目标图像进行特征提取,得到特征参数集方面,所述图像处理电路具体用于:
依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
对所述驾驶员进行行为属性识别,得到驾驶员属性;
将所述多个目标以及所述驾驶员属性作为所述特征参数集。
3.根据权利要求1或2所述的方法,其特征在于,在所述通过所述至少一个摄像头获取针对目标车辆的目标图像方面,所述获取电路具体用于:
实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
4.根据权利要求3所述的方法,其特征在于,在所述依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻方面,所述获取电路具体用于:
按照预设的拍摄角度与第一评价值之间的映射关系,确定摄像头i与所述目标车辆的相对角度对应的目标第一评价值,所述摄像头i为所述至少一个摄像头中的任一摄像头;
按照预设的距离与第二评价值之间的映射关系,确定所述摄像头i与所述目标车辆的相对距离对应的目标第二评价值;
获取所述第一评价值对应的第一权重值、所述第二评价值对应的第二权重值;
依据所述目标第一评价值、所述目标第二评价值、所述第一权重值和所述第二权重值进行加权运算,得到最终评价值;
确定预设评价值与所述最终评价值之间的差值;
在所述差值小于或等于预设阈值时,将当前时刻之后的预设时刻作为所述摄像头i的拍摄时刻;
在所述差值大于所述预设阈值时,获取所述目标车辆的行驶速率,依据所述行驶速率预估所述摄像头i对应的拍摄时刻。
5.根据权利要求4所述的方法,其特征在于,所述图像处理电路还具体用于:
对所述视频影像进行解析,得到多帧视频图像;
对所述多帧视频图像中每一帧视频图像进行图像质量评价值,得到多个图像质量评价值,每一帧视频图像对应一个图像质量评价值;
从所述多个图像质量评价值中选取小于预设图像质量评价值,得到至少一个目标评价值;
获取所述至少一个目标评价值对应的至少一个目标视频图像,并对所述至少一个目标视频图像中的每一目标视频图像进行图像增强处理;
将图像增强处理后的所述至少一个目标视频图像以及图像质量评价值大于所述预设图像质量评价值的视频图像进行合成操作;
在所述将所述视频影像输入到预设神经网络模型方面,所述人工智能芯片具体用于:
将合成操作后的所述视频影像输入到所述预设神经网络模型。
6.一种智能交通违章管理装置,其特征在于,应用于智能交通系统,所述智能交通系统连接至少一个摄像头,所述装置包括:
第一获取单元,用于通过所述至少一个摄像头获取针对目标车辆的目标图像;
提取单元,用于依据所述目标图像进行特征提取,得到特征参数集;
检测单元,用于依据所述特征参数集进行异常检测;
第二获取单元,用于在检测到所述目标车辆为异常车辆时,获取所述目标图像在预设时间段的视频影像;
处理单元,用于将所述视频影像输入到预设神经网络模型,得到针对所述目标车辆的处罚结果,所述预设神经网络模型由针对大量违章图像训练得到。
7.根据权利要求6所述的装置,其特征在于,在所述依据所述目标图像进行特征提取,得到特征参数集方面,所述提取单元具体用于:
依据所述目标图像进行目标提取,得到多个目标,并记录所述多个目标中每一目标的位置,所述多个目标至少包括所述目标车辆以及驾驶员;
对所述驾驶员进行行为属性识别,得到驾驶员属性;
将所述多个目标以及所述驾驶员属性作为所述特征参数集。
8.根据权利要求6或7所述的装置,其特征在于,在所述通过所述至少一个摄像头获取针对目标车辆的目标图像方面,所述第一获取单元具体用于:
实时监测所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离;
依据所述至少一个摄像头中每一摄像头与所述目标车辆的相对角度和相对距离确定所述至少一个摄像头中每一摄像头对应的拍摄时刻;
控制所述至少一个摄像头在其对应的拍摄时刻对所述目标车辆进行拍摄,得到至少一个原始图像,每一摄像头对应一个原始图像;
对所述至少一个原始图像进行图像分割,得到至少一个目标区域图像,每一原始图像对应一个目标区域图像,所述目标区域图像为仅包括所述目标车辆的区域;
对所述至少一个目标区域图像中每一目标区域图像进行图像质量评价,得到至少一个图像质量评价值;
从所述至少一个图像质量评价值中选取最大值,将该最大值对应的原始图像作为所述目标图像。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911319670.9A CN111047874B (zh) | 2019-12-19 | 2019-12-19 | 智能交通违章管理方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911319670.9A CN111047874B (zh) | 2019-12-19 | 2019-12-19 | 智能交通违章管理方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111047874A true CN111047874A (zh) | 2020-04-21 |
CN111047874B CN111047874B (zh) | 2020-12-29 |
Family
ID=70238020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911319670.9A Active CN111047874B (zh) | 2019-12-19 | 2019-12-19 | 智能交通违章管理方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111047874B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814625A (zh) * | 2020-06-29 | 2020-10-23 | 广东荣文科技集团有限公司 | 智能交通事故处理方法及相关装置 |
CN111935479A (zh) * | 2020-07-30 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种目标图像确定方法、装置、计算机设备及存储介质 |
CN112364794A (zh) * | 2020-11-18 | 2021-02-12 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习逆行检测方法 |
CN112418000A (zh) * | 2020-11-05 | 2021-02-26 | 武汉理工大学 | 基于单目摄像头的不良驾驶行为检测方法及系统 |
CN116972914A (zh) * | 2023-09-22 | 2023-10-31 | 华夏天信智能物联股份有限公司 | 变频一体机智能测试方法和系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050114433A (ko) * | 2004-06-01 | 2005-12-06 | 이종선 | 주정차 차량 감시 시스템 |
CN101593422A (zh) * | 2009-06-15 | 2009-12-02 | 无锡骏聿科技有限公司 | 一种基于视频追踪和模式识别的交通违规检测方法 |
CN102164214A (zh) * | 2010-01-13 | 2011-08-24 | 夏普株式会社 | 拍摄图像处理系统、便携终端装置以及图像输出装置 |
CN103021186A (zh) * | 2012-12-28 | 2013-04-03 | 中国科学技术大学 | 一种车辆监控的方法及系统 |
CN103235933A (zh) * | 2013-04-15 | 2013-08-07 | 东南大学 | 一种基于隐马尔科夫模型的车辆异常行为检测方法 |
CN103908224A (zh) * | 2012-12-28 | 2014-07-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN104978719A (zh) * | 2015-06-16 | 2015-10-14 | 浙江工业大学 | 基于时空相关性的自适应交通视频实时去雾方法 |
CN106485927A (zh) * | 2016-10-28 | 2017-03-08 | 江苏信息职业技术学院 | 一种智能交通违章信息采集装置及采集方法 |
CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
CN107657813A (zh) * | 2017-09-21 | 2018-02-02 | 中交第二公路勘察设计研究院有限公司 | 基于行车轨迹的高速公路交通执法判别方法 |
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
CN107871011A (zh) * | 2017-11-21 | 2018-04-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN109313813A (zh) * | 2016-06-01 | 2019-02-05 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和方法 |
US20190238822A1 (en) * | 2018-01-31 | 2019-08-01 | Synaptive Medical (Barbados) Inc. | System for three-dimensional visualization |
-
2019
- 2019-12-19 CN CN201911319670.9A patent/CN111047874B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20050114433A (ko) * | 2004-06-01 | 2005-12-06 | 이종선 | 주정차 차량 감시 시스템 |
CN101593422A (zh) * | 2009-06-15 | 2009-12-02 | 无锡骏聿科技有限公司 | 一种基于视频追踪和模式识别的交通违规检测方法 |
CN102164214A (zh) * | 2010-01-13 | 2011-08-24 | 夏普株式会社 | 拍摄图像处理系统、便携终端装置以及图像输出装置 |
CN103021186A (zh) * | 2012-12-28 | 2013-04-03 | 中国科学技术大学 | 一种车辆监控的方法及系统 |
CN103908224A (zh) * | 2012-12-28 | 2014-07-09 | 佳能株式会社 | 图像处理装置和图像处理方法 |
CN103235933A (zh) * | 2013-04-15 | 2013-08-07 | 东南大学 | 一种基于隐马尔科夫模型的车辆异常行为检测方法 |
CN104077568A (zh) * | 2014-06-23 | 2014-10-01 | 北京理工大学珠海学院 | 一种高精度的驾驶员行为识别与监控方法及系统 |
CN104978719A (zh) * | 2015-06-16 | 2015-10-14 | 浙江工业大学 | 基于时空相关性的自适应交通视频实时去雾方法 |
CN109313813A (zh) * | 2016-06-01 | 2019-02-05 | 奥托立夫开发公司 | 用于机动车辆的视觉系统和方法 |
CN106485927A (zh) * | 2016-10-28 | 2017-03-08 | 江苏信息职业技术学院 | 一种智能交通违章信息采集装置及采集方法 |
CN106530730A (zh) * | 2016-11-02 | 2017-03-22 | 重庆中科云丛科技有限公司 | 交通违规检测方法及系统 |
CN107657813A (zh) * | 2017-09-21 | 2018-02-02 | 中交第二公路勘察设计研究院有限公司 | 基于行车轨迹的高速公路交通执法判别方法 |
CN107862296A (zh) * | 2017-11-20 | 2018-03-30 | 深圳市深视创新科技有限公司 | 驾驶员行为的监控方法及系统、计算机可读存储介质 |
CN107871011A (zh) * | 2017-11-21 | 2018-04-03 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
US20190238822A1 (en) * | 2018-01-31 | 2019-08-01 | Synaptive Medical (Barbados) Inc. | System for three-dimensional visualization |
Non-Patent Citations (2)
Title |
---|
宋耀: "巧通监控视频中的车辆异常行为检测", 《中国优秀硕士学位论文全文数据库(工程科技Ⅱ辑)》 * |
李洪强: "不良汽车驾驶行为聚类与处罚形式及标准建议", 《交通信息与安全》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814625A (zh) * | 2020-06-29 | 2020-10-23 | 广东荣文科技集团有限公司 | 智能交通事故处理方法及相关装置 |
CN111814625B (zh) * | 2020-06-29 | 2024-04-19 | 广东荣文科技集团有限公司 | 智能交通事故处理方法及相关装置 |
CN111935479A (zh) * | 2020-07-30 | 2020-11-13 | 浙江大华技术股份有限公司 | 一种目标图像确定方法、装置、计算机设备及存储介质 |
CN111935479B (zh) * | 2020-07-30 | 2023-01-17 | 浙江大华技术股份有限公司 | 一种目标图像确定方法、装置、计算机设备及存储介质 |
CN112418000A (zh) * | 2020-11-05 | 2021-02-26 | 武汉理工大学 | 基于单目摄像头的不良驾驶行为检测方法及系统 |
CN112418000B (zh) * | 2020-11-05 | 2024-02-27 | 武汉理工大学 | 基于单目摄像头的不良驾驶行为检测方法及系统 |
CN112364794A (zh) * | 2020-11-18 | 2021-02-12 | 合肥湛达智能科技有限公司 | 一种基于嵌入式终端的深度学习逆行检测方法 |
CN116972914A (zh) * | 2023-09-22 | 2023-10-31 | 华夏天信智能物联股份有限公司 | 变频一体机智能测试方法和系统 |
CN116972914B (zh) * | 2023-09-22 | 2023-12-26 | 华夏天信智能物联股份有限公司 | 变频一体机智能测试方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111047874B (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111047874B (zh) | 智能交通违章管理方法及相关产品 | |
CN106599792B (zh) | 一种手部驾驶违规行为的检测方法 | |
CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
CN105493502B (zh) | 视频监控方法、视频监控系统以及计算机可读存储介质 | |
CN109598943A (zh) | 车辆违章的监控方法、装置及系统 | |
CN111160175A (zh) | 智能行人违章行为管理方法及相关产品 | |
US10008115B2 (en) | Visual vehicle parking occupancy sensor | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
CN110796580B (zh) | 智能交通系统管理方法及相关产品 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN107529659B (zh) | 安全带佩戴检测方法、装置及电子设备 | |
CN111627215A (zh) | 基于人工智能的视频图像识别方法及相关设备 | |
CN110543848B (zh) | 一种基于三维卷积神经网络的驾驶员动作识别方法及装置 | |
CN110705370A (zh) | 基于深度学习的路况识别方法、装置、设备及存储介质 | |
CN110009634A (zh) | 一种基于全卷积网络的车道内车辆计数方法 | |
CN110135345A (zh) | 基于深度学习的行为识别方法、装置、设备及存储介质 | |
CN108156406A (zh) | 行车记录仪的信息处理方法和装置 | |
CN110598570A (zh) | 一种行人异常行为检测方法、系统、存储介质及计算机设备 | |
CN113516099A (zh) | 一种交通行为识别方法及装置、电子设备和存储介质 | |
CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
CN114708532A (zh) | 一种监控视频质量评估方法、系统及存储介质 | |
CN110879990A (zh) | 一种预计机场安检旅客排队等候时长的方法及其应用 | |
CN112200007A (zh) | 一种社区监控场景下车牌检测及识别方法 | |
CN116363100A (zh) | 图像质量评价方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20201124 Address after: Room 611-194, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, hi tech Zone, Hefei City, Anhui Province Applicant after: Anhui Cambrian Information Technology Co., Ltd Address before: 100190 room 644, comprehensive research building, No. 6 South Road, Haidian District Academy of Sciences, Beijing Applicant before: Zhongke Cambrian Technology Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |