CN109858459A - 基于警用车载视频要素信息实现智能解析处理的系统及其方法 - Google Patents
基于警用车载视频要素信息实现智能解析处理的系统及其方法 Download PDFInfo
- Publication number
- CN109858459A CN109858459A CN201910125605.6A CN201910125605A CN109858459A CN 109858459 A CN109858459 A CN 109858459A CN 201910125605 A CN201910125605 A CN 201910125605A CN 109858459 A CN109858459 A CN 109858459A
- Authority
- CN
- China
- Prior art keywords
- video
- vehicle
- target
- police
- intelligent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 title claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 73
- 238000003672 processing method Methods 0.000 claims abstract description 19
- 230000006399 behavior Effects 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims 1
- 241001544487 Macromiidae Species 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000011840 criminal investigation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于警用车载视频要素信息实现智能解析处理的系统,包括警用车载视频分析层,用于读取车辆视频信息;目标智能解析层,用于进行目标智能解析;车辆行为分析层,用于进行车辆行为分析;警用车载视频智能解析信息存储层,用于存储解析后的车辆信息。本发明还涉及一种实现基于车载视频要素信息的智能解析处理方法。采用了本发明的基于警用车载视频要素信息实现智能解析处理的系统及其方法,立足提高移动警务视频在公安安全、社会管理等业务中发挥的作用,以巡逻车等移动视频的采集为数据支撑,通过智能解析技术增强巡逻车的智能识别和执法能力,提高公安的移动视频监控系统的智能解析水平,为公安移动视频的深度应用提供数据和服务。
Description
技术领域
本发明涉及深度学习领域,尤其涉及车载视频目标检测识别领域,具体是指一种基于警用车载视频要素信息实现智能解析处理的系统及其方法。
背景技术
近年来,伴随着深度学习和云计算技术的发展,固定监控视频的解析取得了长足的发展,包括卡口抓拍、电警图像、治安监控为主的视频资源,相当部分做了结构化描述,为公安各警种业务提供支撑。在信息化建设先进的地区,也开始建设视频解析中心和视频大数据这样的基础平台,在公安业务中发挥着重要作用。
然而,公安的视频资源,有一部分目前一直处于信息化薄弱状态,那就是移动警务的视频资源。这部分的视频资源,占据了公安日常视频数据的一大块,在刑侦破案、社会管理等业务中发挥重要作用。例如,警务通、执法记录仪、行车记录仪、手机抓拍视频等。这些视频资源,目前处于有涉案时人工查看原始视频的状态。并且,伴随着移动警务终端的计算能力直线提升以及监控网络的发展,移动警务终端可以方便的开发出各种应用解决公安业务问题,比如,移动监控可以增强巡逻车的智能识别和执法能力,移动终端可以做成大众交通违章采集取证应用等。这些都对移动警务视频的解析提出了新的要求。
公安移动警务视频中,不同的业务需求关注的目标不同,场景中任意目标(人、车以及第三方的行为)都可能成为公安警务关注的要素。随着科技的发展,人、车都会主动或被动的携带摄像头,移动终端更能深入到社会的各个角落,通过第三方移动的眼睛可以帮助公安搜集到固定监控所不能覆盖范围内的视频,因此移动视频的解析,及其数据库的建立对公安在监控领域将起到极大的支撑作用。
发明内容
本发明的目的是克服了上述现有技术的缺点,提供了一种实时性、效率高、适用范围较为广泛的基于警用车载视频要素信息实现智能解析处理的系统及其方法。
为了实现上述目的,本发明的基于警用车载视频要素信息实现智能解析处理的系统及其方法如下:
该基于警用车载视频要素信息实现智能解析处理的系统,其主要特点是,所述的系统包括:
警用车载视频分析层,用于读取车辆视频信息;
目标智能解析层,与所述的警用车载视频分析层相连接,用于进行目标智能解析;
车辆行为分析层,与所述的警用车载视频分析层和目标智能解析层相连接,用于进行车辆行为分析;
警用车载视频智能解析信息存储层,与所述的目标智能解析层和车辆行为分析层相连接,用于存储解析后的车辆信息。
该基于上述系统实现基于车载视频要素信息的智能解析处理方法,其主要特点是,所述的方法包括以下步骤:
(1)所述的警用车载视频分析层读取警用车载视频信号,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤;
(2)所述的目标智能解析层构建深度网络模型,对目标进行智能检测,对目标属性进行结构化语义描述;
(3)所述的车辆行为分析层对视频进行其颜色空间转换,对车道线进行检测,计算并判断目标车辆的违章行为;
(4)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息,将违章车辆信息、图片及违章过程的视频进行存储。
较佳地,所述的步骤(1)具体包括以下步骤:
(1.1)所述的警用车载视频分析层读取警用车载视频信号;
(1.2)所述的警用车载视频分析层计算每帧的局部及平均亮度,统计连续帧的全局亮度和局部亮度,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤。
较佳地,其特征在于,所述的步骤(1.1)中的读取警用车载视频信号包括离线视频的读取和在线视频的接入。
较佳地,所述的步骤(2)具体包括以下步骤:
(2.1)所述的目标智能解析层提取图像信息并检测视频中的移动目标,提供坐标位置及其属性类别,对车载视频场景需求进行分类;
(2.2)所述的目标智能解析层通过跟踪目标的运动预测和相似度判别,关联多个目标的轨迹,得到多目标的轨迹信息;
(2.3)所述的目标智能解析层获取最适目标位置,进行目标描述,进行语义结构化描述及提取其深度特征。
较佳地,所述的步骤(2.3)具体包括以下步骤:
(2.3.1)所述的目标智能解析层获取目标在跟踪轨迹中最佳位置的目标图像信息,得到最适目标位置;
(2.3.2)所述的目标智能解析层通过视频图像中的行人、非机动车、车辆等目标的深度特征构建多类别的深度学习网络模型;
(2.3.3)所述的目标智能解析层用预先训练的车辆识别模型进行语义结构化描述,并提取其深度特征。
较佳地,所述的步骤(2.1)中的车载视频场景需求为行人、机动车辆和非机动车辆。
较佳地,所述的步骤(3)具体包括以下步骤:
(3.1)所述的车辆行为分析层通过昼夜模式对白天场景的视频进行其颜色空间转换,提取黄和白的颜色区域,通过高斯模型计算出每帧图像的亮度和饱和度阈值;
(3.2)所述的车辆行为分析层通过前后帧的帧差图像和图像信息计算当前车辆的行驶状态;
(3.3)所述的车辆行为分析层判断目标车辆的违章行为。
较佳地,所述的步骤(3.1)具体包括以下步骤:
(3.1.1)所述的车辆行为分析层对视频帧图像进行颜色空间转换;
(3.1.2)所述的车辆行为分析层将彩色分割图像转换为灰度分割图像;
(3.1.3)所述的车辆行为分析层对分割图像做滤波处理去除噪点,并对其做边缘检测;
(3.1.4)所述的车辆行为分析层对边缘检测后的图像做霍夫直线检测,并对检测到的直线进行筛选得到车道线信息。
较佳地,所述的步骤(3.2)具体包括以下步骤:
(3.2.1)所述的车辆行为分析层计算前后帧的帧差图像;
(3.2.2)所述的车辆行为分析层基于帧差图像的灰度共生矩阵计算能量、对比度、逆差矩和图像信息熵,并判定当前车辆的行驶状态。
较佳地,所述的步骤(3.3)具体包括以下步骤:
(3.3.1)所述的车辆行为分析层通过当前车辆的行驶状态、车辆目标及其行驶状态和检测到的车道线类别判断目标车辆的违章行为;
(3.3.2)所述的车辆行为分析层给出违章结果。
较佳地,所述的步骤(4)具体包括以下步骤:
(4.1)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息;
(4.2)所述的警用车载视频智能解析信息存储层将违章车辆信息、图片及违章过程的视频进行存储。
采用了本发明的基于警用车载视频要素信息实现智能解析处理的系统及其方法,立足提高移动警务视频在公安安全、社会管理等业务中发挥的作用,以巡逻车等移动视频的采集为数据支撑,通过智能解析技术增强巡逻车的智能识别和执法能力,提升移动视频的智能水平,及移动视频数据库的构建,提高公安的移动视频监控系统的智能解析水平,为公安移动视频的深度应用提供数据和服务。
附图说明
图1为本发明的实现基于车载视频要素信息的智能解析处理方法的系统流程图。
图2为本发明的实现基于车载视频要素信息的智能解析处理方法的步骤(2.3)的目标智能解析的流程图。
图3为本发明的实现基于车载视频要素信息的智能解析处理方法的步骤(3.1)中车道线检测的流程图。
图4为本发明的实现基于车载视频要素信息的智能解析处理方法的步骤(3.2)中当前车辆行驶状态判断的流程图。
图5为本发明的实现基于车载视频要素信息的智能解析处理方法的步骤(3.3)中违章行为判断的流程图。
具体实施方式
为了能够更清楚地描述本发明的技术内容,下面结合具体实施例来进行进一步的描述。
本发明的该基于警用车载视频要素信息实现智能解析处理的系统,其中包括:
警用车载视频分析层,用于读取车辆视频信息;
目标智能解析层,与所述的警用车载视频分析层相连接,用于进行目标智能解析;
车辆行为分析层,与所述的警用车载视频分析层和目标智能解析层相连接,用于进行车辆行为分析;
警用车载视频智能解析信息存储层,与所述的目标智能解析层和车辆行为分析层相连接,用于存储解析后的车辆信息。
本发明的该基于上述系统实现基于车载视频要素信息的智能解析处理方法,其中包括以下步骤:
(1)所述的警用车载视频分析层读取警用车载视频信号,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤;
(1.1)所述的警用车载视频分析层读取警用车载视频信号;
(1.2)所述的警用车载视频分析层计算每帧的局部及平均亮度,统计连续帧的全局亮度和局部亮度,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤;
(2)所述的目标智能解析层构建深度网络模型,对目标进行智能检测,对目标属性进行结构化语义描述;
(2.1)所述的目标智能解析层提取图像信息并检测视频中的移动目标,提供坐标位置及其属性类别,对车载视频场景需求进行分类;
(2.2)所述的目标智能解析层通过跟踪目标的运动预测和相似度判别,关联多个目标的轨迹,得到多目标的轨迹信息;
(2.3)所述的目标智能解析层获取最适目标位置,进行目标描述,进行语义结构化描述及提取其深度特征;
(2.3.1)所述的目标智能解析层获取目标在跟踪轨迹中最佳位置的目标图像信息,得到最适目标位置;
(2.3.2)所述的目标智能解析层通过视频图像中的行人、非机动车、车辆等目标的深度特征构建多类别的深度学习网络模型;
(2.3.3)所述的目标智能解析层用预先训练的车辆识别模型进行语义结构化描述,并提取其深度特征;
(3)所述的车辆行为分析层对视频进行其颜色空间转换,对车道线进行检测,计算并判断目标车辆的违章行为;
(3.1)所述的车辆行为分析层通过昼夜模式对白天场景的视频进行其颜色空间转换,提取黄和白的颜色区域,通过高斯模型计算出每帧图像的亮度和饱和度阈值;
(3.1.1)所述的车辆行为分析层对视频帧图像进行颜色空间转换;
(3.1.2)所述的车辆行为分析层将彩色分割图像转换为灰度分割图像;
(3.1.3)所述的车辆行为分析层对分割图像做滤波处理去除噪点,并对其做边缘检测;
(3.1.4)所述的车辆行为分析层对边缘检测后的图像做霍夫直线检测,并对检测到的直线进行筛选得到车道线信息;
(3.2)所述的车辆行为分析层通过前后帧的帧差图像和图像信息计算当前车辆的行驶状态;
(3.2.1)所述的车辆行为分析层计算前后帧的帧差图像;
(3.2.2)所述的车辆行为分析层基于帧差图像的灰度共生矩阵计算能量、对比度、逆差矩和图像信息熵,并判定当前车辆的行驶状态;
(3.3)所述的车辆行为分析层判断目标车辆的违章行为;
(3.3.1)所述的车辆行为分析层通过当前车辆的行驶状态、车辆目标及其行驶状态和检测到的车道线类别判断目标车辆的违章行为;
(3.3.2)所述的车辆行为分析层给出违章结果;
(4)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息,将违章车辆信息、图片及违章过程的视频进行存储;
(4.1)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息;
(4.2)所述的警用车载视频智能解析信息存储层将违章车辆信息、图片及违章过程的视频进行存储。
作为本发明的优选实施方式,其特征在于,所述的步骤(1.1)中的读取警用车载视频信号包括离线视频的读取和在线视频的接入。
作为本发明的优选实施方式,所述的步骤(2.1)中的车载视频场景需求为行人、机动车辆和非机动车辆。
本发明的具体实施方式中,一种基于警用车载视频要素信息的智能解析系统,所述系统包括如下四个层次:警用车载视频分析层;目标智能解析层;车辆行为分析层;警用车载视频智能解析信息存储层。
为了使本发明的实现过程易于理解,下面结合具体图示,进一步阐述本发明。参见图1,其所示为本发明提出的一种基于警用车载视频要素信息的智能解析系统的流程图,由图可知该方法包括如下步骤:
所述步骤s1是警用车载视频分析层的处理步骤如下所示:
步骤101中,警用车载视频信号的读取,包括离线视频读取和在线视频的接入。
此后进入步骤102中,对视频场景为白天还是夜晚进行分析;
从所示视频帧中,计算每帧的局部及平均亮度,并通过统计连续帧的全局亮度IG_avg及局部亮度ILb_avg,ILt_avg作为区分视频昼夜的重要指标:
若IG_avg>Iday_th、ILt_avg>ILb_avg,则认为所述视频场景为白天视频,标记Pday_night=1;
若IG_avg<Inight_th、ILt_avg<ILb_avg,则认为所述视频场景为夜间视频,标记Pday_night=0;
其中Iday_th表示白天亮度特征的下限,Inight_th表示夜间亮度特征的上限,ILt_avg表示单帧图像中Heightimg/2上部的平均亮度,ILb_avg表示单帧图像中Heightimg/2下部的平均亮度,Pday_night表示视频的昼夜模式。
通过判断视频的昼夜模式,当视频是夜间场景时结束对视频的智能解析,可以降低夜间视频中目标清晰度低导致的目标误识别,以及夜间违章行为采集到的证据不清晰的问题。当视频为白天模式则进入步骤2目标智能解析层和步骤3车辆行为分析层,否则结束智能分析过程。
步骤s2是警用车载视频的目标解析层,进一步包括以下子步骤:
对警用车载视频中的人和车等目标的深度学习,构建适用于车载视频的深度网络模型,对目标进行智能检测,通过跟踪算法去除重复目标,并且构建深度学习网络模型对目标属性进行结构化语义描述。
步骤201,通过步骤102中判定车载视频为白天场景,将白天的车载视频隔N帧提取图像信息利用SSD目标检测模型检测视频中的移动目标,并给出坐标位置及其属性类别。
SSD检测模型使用移动视频数据预训练的目标检测模型,根据车载视频场景的需求分为行人、机动车辆、非机动车辆三类。
此后进入步骤202,对步骤201中得到的目标初始或过程中的位置信息,通过跟踪目标的运动预测和相似度判别,对多个目标进行轨迹关联,得到多目标的轨迹信息。
步骤203,警用车载视频中目标的结构化描述流程图如图2所示,具体步骤如下:
步骤203-1,获取目标在跟踪轨迹中最佳位置的目标图像信息,当目标的大小Osize(Object),Osize>OOpt_size1,2时,目标在其轨迹的连续N帧中的图像质量最佳。其中OOpt_size1表示车辆的最适尺寸,OOpt_size2表示非机动车及行人的最适尺寸。
步骤203-2,通过视频图像中的行人、非机动车、车辆等目标的深度特征构建三个多类别的深度学习网络模型。
步骤203-3为目标属性分类,用预先训练的车辆识别模型分别对车辆的车牌、车类型、车品牌、车颜色信息进行语义结构化描述,并提取其深度特征;用预先训练的行人多属性识别模型对行人的性别、年龄、上衣颜色、下衣颜色等进行描述;用预先训练的非机动车识别对非机动车的细分类别摩托车、自行车、三轮车等进行描述。
同时步骤s3是警用车载视频中车辆目标的行为分析层,进一步包括以下子步骤:
步骤301,车载视频中车道线检测流程图如图3所示,具体步骤如下:
通过步骤102中给出的昼夜模式Pday_night,对白天场景的视频即Pday_night=1,进行其颜色空间(HSI)转换,提取黄和白的颜色区域,不但能降低运算复杂度还可以提高抗干扰能力。通过基于亮度Iplane、饱和度Splane空间的高斯模型计算出每帧图像的亮度Ithx、饱和度Sth阈值,可以自适应光照造成的颜色丢失情况,更有效地提取出车道线的颜色特征。
步骤301-1中,从视频区域中提取满足色度Hx_thx、饱和度Sth、亮度Ithx阈值范围的颜色点,包括以下子步骤:
提取(i,j)位置像素点的H(i,j)、S(i,j)和I(i,j),其中片(i,j)、S(i,j)和I(i,j)分别为该像素点的色度、饱和度和亮度信息。
通过大津法自动计算Hplane、Splane、Iplane空间的阈值Thrper_H、Thrper_S、Thrper_I。
若S(i,j)>Sth、I(i,j)≥Ith1且H(i,j)>Hyellow_th1、H(i,j)>Hyellow_th2,则认为当前像素点为黄色。
若I(i,j)<Ith1,则判定当前像素点为黑色。
若S(i,j)<Sth、I(i,j)≥Ith2,则认为当前像素点为白色。
若S(i,j)<Sth、I(i,j)≥Ith1且I(i,j)<Ith2,则认为当前像素点为灰色。
其中Sth表示饱和度特征的阈值,Ith1表示亮度特征的下限,Ith2表示亮度特征的上限,Hyellow_th1表示黄色特征的下限,Hyellow_th2表示黄色特征的上限。
获取满足黑色的像素点作为背景点,满足黄色的像素点作为前景点的彩色分割图像pImgseg_color,以及满足白色的像素点作为前景点的灰度分割图像pImgseg_gray。
在步骤301-2中,将彩色分割图像转换为灰度图像pImggray,包括以下子步骤:
提取位置像素点的RGB值并计算其灰度信息pImggray(i,j)。
若R(i,j)+G(i,j)+B(i,j)>Ith_c2g,剖认为pImggray(i,j)>150,否剖pImggray(i,j)=0。
进入步骤301-3,对步骤301-2中的图像pImggray和图像pImgseg_gray做滤波处理去除噪点,并且对其做边缘检测。其中图像pImggray中的边缘对应黄线,图像pImgseg_gray中的边缘对应白线。
在步骤301-4中,对边缘检测后的图像pImggray、图像pImgseg_gray做霍夫直线检测,并对检测到的直线进行筛选。
若|Aline|<-75,则拟判断为车道线;
若|Dline1-Dline2|<150,并且|Aline1-Aline2|<10,则合并相近的两条车道线;
若车道线为图像右侧黄线,则延伸此条车道线作为违停黄线。
其中Aline为检测到直线的角度,Dline为直线延长到图像边缘是的X方向的垂直距离。
通过步骤301-4检测并筛选出黄色车道线、白色车道线,用于不同类型的违章处罚标准。
步骤302,警用车载视频中当前车辆的行驶状态判断流程图如图4所示,具体步骤如下:
步骤302-1,在步骤102中判定车载视频为白天场景,计算前后帧的帧差图像。并且计算帧差图像的灰度共生矩阵GGLDM(i,j)。
进入步骤302-2,基于帧差图像的灰度共生矩阵计算ASM能量、对比度CON、逆差矩IDM、图像信息熵ENT。
若GGLDM的值分布均匀(如噪声严重的图像),则ASM值较小;
若图像亮度变化快,则CON的值较大,反之较小;
若图像纹理非常均匀,则IDM的值较大,反之较小;
若图像的信息越丰富,则ENT的值越大,反之较小
步骤302-3利用灰度共生矩阵计算出来的特征统计量hfeatures作为衡量图像复杂度的重要指标,即hfeatures=[CON,ASM,IDM,ENT...],其反映了图像在方向、间隔、变化幅度的综合信息:
若hfeatures>Thfeatures,则当前车辆处于行驶状态;
若hfeatures<Thfeatures,则当前车辆处于停止状态。
其中Thfeatures表示综合特征的阈值。
步骤303,警用车载视频中违章行为判断流程图如图5所示,具体步骤如下:
步骤303-1,通过步骤302中当前车辆的行驶状态结合202中检测到的车辆目标及其行驶状态。进入步骤303-2,根据301中检测到的车道线类别对目标车辆的违章行为进行判断。
若Stateself_veh=stop&Stateobj_veh=stop,并且目标车辆与黄实线相交,则判断前方车辆为违章停车行为;
若Stateself_veh=run&Stateobj_veh=stop,并且目标车辆与黄实线相交,则判断前方车辆为违章停车行为;
若Stateself_veh=run&Stateobj_veh=run,并且目标车辆穿过白实线,则判断前方车辆为违章变道行为。
其中Stateself_veh表示当前车辆的行驶状态,Stateobj_veh表示目标车辆的行驶状态。
步骤304中,依据303中的逻辑判断给出违章结果。
同时步骤s4是警用车载视频中智能解析信息存储层,进一步包括以下子步骤:
步骤401,将步骤203中跟踪得到的目标进行智能结构化描述后的信息及其深度特征进行存储,以便在系统平台中进行历史信息查找及事后分析,以及采集警用车载视频中的信息,构建移动视频数据库对公安监控领域起到极大的支撑作用。
步骤402,将步骤304中判定违章的车辆信息、图片及违章过程的视频进行存储,为公安交通提供更加准确有效的违章处罚证据。
采用了本发明的基于警用车载视频要素信息实现智能解析处理的系统及其方法,立足提高移动警务视频在公安安全、社会管理等业务中发挥的作用,以巡逻车等移动视频的采集为数据支撑,通过智能解析技术增强巡逻车的智能识别和执法能力,提升移动视频的智能水平,及移动视频数据库的构建,提高公安的移动视频监控系统的智能解析水平,为公安移动视频的深度应用提供数据和服务。
在此说明书中,本发明已参照其特定的实施例作了描述。但是,很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此,说明书和附图应被认为是说明性的而非限制性的。
Claims (12)
1.一种基于警用车载视频要素信息实现智能解析处理的系统,其特征在于,所述的系统包括:
警用车载视频分析层,用于读取车辆视频信息;
目标智能解析层,与所述的警用车载视频分析层相连接,用于进行目标智能解析;
车辆行为分析层,与所述的警用车载视频分析层和目标智能解析层相连接,用于进行车辆行为分析;
警用车载视频智能解析信息存储层,与所述的目标智能解析层和车辆行为分析层相连接,用于存储解析后的车辆信息。
2.一种利用权利要求1所述的系统实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的方法包括以下步骤:
(1)所述的警用车载视频分析层读取警用车载视频信号,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤;
(2)所述的目标智能解析层构建深度网络模型,对目标进行智能检测,对目标属性进行结构化语义描述;
(3)所述的车辆行为分析层对视频进行其颜色空间转换,对车道线进行检测,计算并判断目标车辆的违章行为;
(4)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息,将违章车辆信息、图片及违章过程的视频进行存储。
3.根据权利要求2所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(1)具体包括以下步骤:
(1.1)所述的警用车载视频分析层读取警用车载视频信号;
(1.2)所述的警用车载视频分析层计算每帧的局部及平均亮度,统计连续帧的全局亮度和局部亮度,判断视频场景为白天时,则继续步骤(2);否则,退出视频智能解析步骤。
4.根据权利要求3所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(1.1)中的读取警用车载视频信号包括离线视频的读取和在线视频的接入。
5.根据权利要求2所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(2)具体包括以下步骤:
(2.1)所述的目标智能解析层提取图像信息并检测视频中的移动目标,提供坐标位置及其属性类别,对车载视频场景需求进行分类;
(2.2)所述的目标智能解析层通过跟踪目标的运动预测和相似度判别,关联多个目标的轨迹,得到多目标的轨迹信息;
(2.3)所述的目标智能解析层获取最适目标位置,进行目标描述,进行语义结构化描述及提取其深度特征。
6.根据权利要求2所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(2.3)具体包括以下步骤:
(2.3.1)所述的目标智能解析层获取目标在跟踪轨迹中最佳位置的目标图像信息,得到最适目标位置;
(2.3.2)所述的目标智能解析层通过视频图像中的行人、非机动车、车辆等目标的深度特征构建多类别的深度学习网络模型;
(2.3.3)所述的目标智能解析层用预先训练的车辆识别模型进行语义结构化描述,并提取其深度特征。
7.据权利要求5所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(2.1)中的车载视频场景需求为行人、机动车辆和非机动车辆。
8.根据权利要求2所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(3)具体包括以下步骤:
(3.1)所述的车辆行为分析层通过昼夜模式对白天场景的视频进行其颜色空间转换,提取黄和白的颜色区域,通过高斯模型计算出每帧图像的亮度和饱和度阈值;
(3.2)所述的车辆行为分析层通过前后帧的帧差图像和图像信息计算当前车辆的行驶状态;
(3.3)所述的车辆行为分析层判断目标车辆的违章行为。
9.根据权利要求8所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(3.1)具体包括以下步骤:
(3.1.1)所述的车辆行为分析层对视频帧图像进行颜色空间转换;
(3.1.2)所述的车辆行为分析层将彩色分割图像转换为灰度分割图像;
(3.1.3)所述的车辆行为分析层对分割图像做滤波处理去除噪点,并对其做边缘检测;
(3.1.4)所述的车辆行为分析层对边缘检测后的图像做霍夫直线检测,并对检测到的直线进行筛选得到车道线信息。
10.根据权利要求8所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(3.2)具体包括以下步骤:
(3.2.1)所述的车辆行为分析层计算前后帧的帧差图像;
(3.2.2)所述的车辆行为分析层基于帧差图像的灰度共生矩阵计算能量、对比度、逆差矩和图像信息熵,并判定当前车辆的行驶状态。
11.根据权利要求8所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(3.3)具体包括以下步骤:
(3.3.1)所述的车辆行为分析层通过当前车辆的行驶状态、车辆目标及其行驶状态和检测到的车道线类别判断目标车辆的违章行为;
(3.3.2)所述的车辆行为分析层给出违章结果。
12.根据权利要求2所述的实现基于车载视频要素信息的智能解析处理方法,其特征在于,所述的步骤(4)具体包括以下步骤:
(4.1)所述的警用车载视频智能解析信息存储层将目标信息及其深度特征进行存储,采集警用车载视频中的信息;
(4.2)所述的警用车载视频智能解析信息存储层将违章车辆信息、图片及违章过程的视频进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910125605.6A CN109858459A (zh) | 2019-02-20 | 2019-02-20 | 基于警用车载视频要素信息实现智能解析处理的系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910125605.6A CN109858459A (zh) | 2019-02-20 | 2019-02-20 | 基于警用车载视频要素信息实现智能解析处理的系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109858459A true CN109858459A (zh) | 2019-06-07 |
Family
ID=66898382
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910125605.6A Pending CN109858459A (zh) | 2019-02-20 | 2019-02-20 | 基于警用车载视频要素信息实现智能解析处理的系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109858459A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112381859A (zh) * | 2020-11-20 | 2021-02-19 | 公安部第三研究所 | 实现针对视频图像数据进行智能解析识别处理的系统、方法、装置、处理器及存储介质 |
CN113468378A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 视频的处理方法、装置和设备以及视频的目标跟踪方法 |
CN113949719A (zh) * | 2021-10-13 | 2022-01-18 | 政浩软件(上海)有限公司 | 一种基于5g通信的车载巡检方法及系统 |
CN114898325A (zh) * | 2022-07-12 | 2022-08-12 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种车辆危险变道检测方法、装置及电子设备 |
CN115240435A (zh) * | 2022-09-21 | 2022-10-25 | 广州市德赛西威智慧交通技术有限公司 | 一种基于ai技术的车辆违章行驶检测方法、装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481526A (zh) * | 2017-09-07 | 2017-12-15 | 公安部第三研究所 | 用于行车变道检测记录及违章变道举报控制的系统及方法 |
CN108062349A (zh) * | 2017-10-31 | 2018-05-22 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和系统 |
-
2019
- 2019-02-20 CN CN201910125605.6A patent/CN109858459A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481526A (zh) * | 2017-09-07 | 2017-12-15 | 公安部第三研究所 | 用于行车变道检测记录及违章变道举报控制的系统及方法 |
CN108062349A (zh) * | 2017-10-31 | 2018-05-22 | 深圳大学 | 基于视频结构化数据及深度学习的视频监控方法和系统 |
Non-Patent Citations (1)
Title |
---|
张密科等: "基于图像纹理分析的动态车辆识别方法研究", 《公路交通科技》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113468378A (zh) * | 2020-03-30 | 2021-10-01 | 阿里巴巴集团控股有限公司 | 视频的处理方法、装置和设备以及视频的目标跟踪方法 |
CN112381859A (zh) * | 2020-11-20 | 2021-02-19 | 公安部第三研究所 | 实现针对视频图像数据进行智能解析识别处理的系统、方法、装置、处理器及存储介质 |
CN112381859B (zh) * | 2020-11-20 | 2024-06-04 | 公安部第三研究所 | 实现针对视频图像数据进行智能解析识别处理的系统、方法、装置、处理器及存储介质 |
CN113949719A (zh) * | 2021-10-13 | 2022-01-18 | 政浩软件(上海)有限公司 | 一种基于5g通信的车载巡检方法及系统 |
CN113949719B (zh) * | 2021-10-13 | 2023-07-28 | 政浩软件(上海)有限公司 | 一种基于5g通信的车载巡检方法及系统 |
CN114898325A (zh) * | 2022-07-12 | 2022-08-12 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种车辆危险变道检测方法、装置及电子设备 |
CN114898325B (zh) * | 2022-07-12 | 2022-11-25 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种车辆危险变道检测方法、装置及电子设备 |
CN115240435A (zh) * | 2022-09-21 | 2022-10-25 | 广州市德赛西威智慧交通技术有限公司 | 一种基于ai技术的车辆违章行驶检测方法、装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109858459A (zh) | 基于警用车载视频要素信息实现智能解析处理的系统及其方法 | |
CN109829403B (zh) | 一种基于深度学习的车辆防碰撞预警方法及系统 | |
US9721173B2 (en) | Machine learning approach for detecting mobile phone usage by a driver | |
CN103093249B (zh) | 一种基于高清视频的出租车识别方法及系统 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN109147368A (zh) | 基于车道线的智能驾驶控制方法装置与电子设备 | |
CN109949579A (zh) | 一种基于深度学习的闯红灯违法自动审核方法 | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
CN111161543A (zh) | 一种基于图像识别的公交前车违章行为自动抓拍方法及系统 | |
CN106934374B (zh) | 一种雾霾场景中交通标识牌的识别方法及系统 | |
CN105160691A (zh) | 基于颜色直方图的车身颜色识别方法 | |
KR102122850B1 (ko) | 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션 | |
Tourani et al. | Motion-based vehicle speed measurement for intelligent transportation systems | |
CN106919939B (zh) | 一种交通标识牌跟踪识别方法及系统 | |
CN115376108A (zh) | 一种复杂天气下障碍物检测方法及装置 | |
CN112651293A (zh) | 一种公路违法设摊事件视频检测方法 | |
Do et al. | Speed limit traffic sign detection and recognition based on support vector machines | |
CN111062319B (zh) | 一种基于主动红外图像的驾驶员打电话检测方法 | |
Ravish et al. | Intelligent traffic violation detection | |
Kardkovács et al. | Real-time traffic sign recognition system | |
Giri et al. | Traffic surveillance system using YOLO algorithm and machine learning | |
CN202887450U (zh) | 一种出租车防伪系统 | |
CN109584604A (zh) | 一种服务区检测车位疏密度的智慧灯杆及方法 | |
Biswas et al. | Detection of Traffic Rule Violations Using Machine Learning: An Analytical Review | |
Liu et al. | Real-time speed limit sign detection and recognition from image sequences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |