CN114677654A - 一种基于混合数据学习的交通现场风险识别方法及系统 - Google Patents

一种基于混合数据学习的交通现场风险识别方法及系统 Download PDF

Info

Publication number
CN114677654A
CN114677654A CN202210365874.1A CN202210365874A CN114677654A CN 114677654 A CN114677654 A CN 114677654A CN 202210365874 A CN202210365874 A CN 202210365874A CN 114677654 A CN114677654 A CN 114677654A
Authority
CN
China
Prior art keywords
image
images
risk
normalized
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210365874.1A
Other languages
English (en)
Inventor
李建武
张松
王卫苹
刘凯
王国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Technology Research Institute of Beijing Institute of Technology
Original Assignee
Advanced Technology Research Institute of Beijing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Technology Research Institute of Beijing Institute of Technology filed Critical Advanced Technology Research Institute of Beijing Institute of Technology
Priority to CN202210365874.1A priority Critical patent/CN114677654A/zh
Publication of CN114677654A publication Critical patent/CN114677654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及基于混合数据学习的交通现场风险识别方法及系统。本发明中,利用既能采集可见光图像又能采集红外图像的第一图像采集设备和第二图像采集设备采集路况,并对所采集的可见光图像和红外图像通过高斯滤波的方式滤波后获取滤波图像;对于滤波图像,通过值域归一化得到归一化图像,利用归一化图像提取包含混合数据的风险特征向量;将风险特征向量传输给风险学习模型进行风险预测。基于本申请的数据处理方式和优化的神经网络模型实现对交通现场风险识别,有助于提升交通管理的效率,提早发现风险,保护人民财产安全;利用归一化图像提取风险特征向量,降低了数据的维度,降低数据传输量,且提升了模型的学习性能。

Description

一种基于混合数据学习的交通现场风险识别方法及系统
技术领域
本发明属于智慧交通领域,特别地,涉及一种基于混合数据学习的交通现场风险识别方法及系统。
背景技术
伴随着人工智能、大数据技术的快速发展,智慧交通应用在城市交通管理中逐渐扮演越来越重要的角色。随着社会经济和科技的快速发展,机动车保有量迅速增加,城市交通路况越发复杂,交通拥挤、交通事故时有发生,而智慧交通就是以人工智能、物联网等新技术为基础,对交通状况进行实时的监控,以便及时发现异常事件和风险,以便及时处置,提高交通系统对风险和异常事件的响应能力。
现有对于道路交通情况的监视通常采用图像处理和识别的方式完成,但是精度较差,智能化不够。随着人工智能的发展,也有使用神经网络模型作为图像识别从而判断交通风险和交通状况的技术。但目前监控摄像头通常在路段中间,朝向一个方向,即监控某一长度路段;或是放置在路口,监控路口情况。也就是说,摄像头采集的图像都是单纯针对某一路段的情况,并未考虑关联路段。同时,现有系统通常是将采集的图像上传至服务器,通过服务器中的神经网络进行识别和判断。由此会对通信带宽有较高要求,按目前通信带宽,无法实时大量上传高清图像,从而使得整个系统不得不牺牲图像数量或图像质量来保证上传通道不拥堵,从而保证响应的实时性和准确性。此外,常见的神经网络模型对于道路,特别是复杂道路的风险预警准确度较差。
因此,需要一种能够实时、高效、准确识别交通风险的系统。
发明内容
为了解决如上的一个或多个技术问题,以及实施例中提到的技术问题,本发明提出了一种基于混合数据学习的交通现场风险识别方法及系统。
第一方面,本发明提供一种基于混合数据学习的交通现场风险识别方法,包括:
步骤1、混合图像数据的采集和预处理:
利用第一图像采集设备和第二图像采集设备同时采集路况的可见光图像和红外图像;其中第一图像采集设备设置在路段内部,朝向设定方向;第二图像采集设备设置在路段两端,路段每端设两个第二图像采集设备;第一图像采集设备和第二图像采集设备采集可见光图像和红外图像的分辨率相同;
对于红外图像和可见光图像分别利用相应的高斯函数进行卷积计算,得到滤波图像I′;对于可见光图像对应的高斯函数的高斯窗口尺寸为∈1
Figure BDA0003587029090000021
Figure BDA0003587029090000022
对于任意一幅可见光图像,计算每个灰阶在该幅图像中所对应的像素个数,记为c1、c2、…、c256;取其中对应像素个数最多的三个灰阶,按个数从大到小依次得到ci、cj、ck;对于红外图像,对应的高斯函数的高斯窗口尺寸为∈2,∈2=15;
步骤2、混合图像数据的归一化:滤波图像I′经过值域归一化后得到归一化图像
Figure BDA0003587029090000023
步骤3、基于归一化的混合图像数据的现场风险特征向量提取:对于归一化图像
Figure BDA0003587029090000024
将其在空间上分割成S×S大小的子图;对于可见光图像的归一化图像
Figure BDA0003587029090000025
的每个子图,求取其像素值的最大值,记为smax,对于红外图像的归一化图像
Figure BDA0003587029090000026
的每个子图,求取其像素值的中间值,记为smed,假设s(i,j)为子图s中坐标为(i,j)的像素的值,计算
Figure BDA0003587029090000027
Figure BDA0003587029090000028
Figure BDA0003587029090000029
为可见光图像的归一化图像
Figure BDA00035870290900000210
的子图s对应的第一特征向量;
Figure BDA00035870290900000211
为红外图像的归一化图像
Figure BDA00035870290900000212
的子图s对应的第二特征向量;归一化图像
Figure BDA00035870290900000213
所有子图的第一特征向量或第二特征向量组成归一化图像
Figure BDA00035870290900000214
的识别特征;所有归一化图像
Figure BDA00035870290900000215
的识别特征所组成现场风险特征向量;
步骤4、基于现场风险特征向量的交通现场风险识别:
将步骤3获得的现场风险特征向量展开为一个矩阵,矩阵的每一行对应于一幅图像所有子图提取出的识别特征,矩阵的行数为(2D+8),对应于路段两端四个第二图像采集设备采集的4张可见光图像与4张红外图像对应的归一化图像
Figure BDA00035870290900000216
的识别特征依次放在矩阵的最后8行,该展开的矩阵记为
Figure BDA00035870290900000217
Figure BDA00035870290900000218
作为神经网络输入层的输入数据;隐藏层包括五层;神经网络的输出层节点yz对应于待识别的交通现场风险存在的概率,当yz=0时,表示该风险不存在,当yz=1时,表示该风险存在。
更进一步地:步骤4中,展开矩阵的维度是3×NS;矩阵的行数为(2D+8),对应于每次采集到的D+4张可见光图像与D+4张红外图像,NS为每幅采集到的图像所包含的子图数。
更进一步地:步骤1中可见光图像对应的高斯函数为:
Figure BDA0003587029090000031
步骤1中红外图像对应的高斯函数为:
Figure BDA0003587029090000032
更进一步地:步骤3中,S=8。
更进一步地:第一图像采集设备和第二图像采集设备所采集可见光图像和红外图像的分辨率一致。
第二方面,本发明提供一种交通现场风险识别系统,实施所述基于混合数据学习的交通现场风险识别方法,包括:第一图像采集设备、第二图像采集设备和云服务器,其中,第一图像采集设备和第二图像采集设备通过通讯网络连接云服务器。
更进一步地:第一图像采集设备和第二图像采集设备中设置有智能处理模块,用于对第一图像采集设备和第二图像采集的可见光图像和红外图像进行滤波、归一化处理得到归一化图像
Figure BDA0003587029090000033
并利用归一化图像
Figure BDA0003587029090000034
提取现场风险特征向量。
更进一步地:云服务器用于将现场风险特征向量送入神经网络中进行识别,从而判断该路段的风险,云服务器判断发生风险时发送给指挥中心进行预报或预警。
更进一步地:第一图像采集设备和第二图像采集设备的镜头光轴朝向道路并与道路成30度角,视场角不低于120度。
更进一步地:第一图像采集设备为一个或多个。
本发明的发明点及技术效果:
1、利用部署在待识别风险的路段两端的第一图像采集设备及路段上的第二图像采集设备同时采集可见光图像和红外图像,不仅针对待识别路段路况进行采集,还对关联路段进行采集,作为判别风险发生的辅助依据,对于待测路段可能的风险判断更加准确,提高风险识别的性能。
2、采用可见光图像、红外图像作为数据源,并针对不同类型图像设计了专门的、不同的滤波方式,有助于提高方法对于外部环境影响的抗干扰能力,识别更加准确。
3、通过在智能处理模块进行提取现场风险特征向量,避免了向云服务器传输图片,减少了通讯负担的同时能够保证识别的准确性。
4、通过专门的神经网络结构设计,使得其更适合处理源自可见光图像和红外图像的现场风险特征向量,且能够与图像数据滤波、值域归一化与现场风险特征向量提取方法相互配合,实现了面向风险特征的学习与识别,与经典方法相比,能够有效识别交通现场风险。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本发明实施例提供的一种基于混合数据学习的交通现场风险识别方法的流程图;
图2为本发明实施例提供的一种交通现场风险识别系统的示意图;
图3为本发明实施例提供的一种交通现场风险识别系统中第一图像采集设备和第二图像采集设备在路段布置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
参阅图1所示,本申请实施例提供一种基于混合数据学习的交通现场风险识别方法,包括:
步骤1:混合图像数据的采集和滤波。
通过在待识别路段的第一图像采集设备和第二图像采集设备采集可见光波段的可见光图像和红外的红外图像,第一图像采集设备和第二图像采集设备采集可见光图像和红外图像的分辨率相同;并在利用第一图像采集设备和第二图像采集设备的智能处理模块进行滤波。
设路段两端的四台第二图像采集设备编号为a、b、c、d,路段中间的若干台第一图像采集设备的编号按照从a、b到c、d的方向,依次编号为1、2、…、D。设每台设备的可见光图像标记为α,红外图像标记为β,则对应于每台设备采集到的图像依次记为
Figure BDA0003587029090000051
对于前述任意一张可见光图像,采取如下方法进行滤波。
将可见光图像像素亮度值进行离散化,划分为T个灰阶,即像素亮度的离散值,通常取T=256。
对于任意一幅可见光图像计算每个灰阶在该可见光图像中所对应的像素个数,记为c1、c2、…、c256。取其中对应像素个数最多的三个灰阶,按个数从大到小依次记为ci、cj、ck
计算
Figure BDA0003587029090000052
计算结果
Figure BDA0003587029090000053
等于ci、cj、ck三者之差的绝对值的最大值,max表示取最大值符号。选择三个最大灰阶并取最大值是为了更好的拟合图像像素灰阶(灰度值)的方差,与直接取最大的两个灰阶相比能够降低噪声的影响。
可见光图像对应的高斯函数为:
Figure BDA0003587029090000054
其中,
Figure BDA0003587029090000055
由式子(1)计算获得,G表示二维空间上的高斯窗口,i,j表示在高斯窗口各维度上的空间相对坐标,exp表示指数函数。高斯窗口的空间尺寸为∈1
可见光图像Iα(u,v)利用对应的高斯函数进行卷积得到滤波图像I′(u,v):
Figure BDA0003587029090000056
其中,G(i,j)表示式子(2)获得的高斯函数,符号
Figure BDA0003587029090000057
表示卷积运算。
上述步骤中,通过计算可见光图像中像素数量的统计值,确定对应的高斯函数作为滤波器;并通过在原始的采集可见光图像上应用该滤波器,获得滤波后的滤波图像。有效地去除可见光图像中的噪声,提高本发明的风险识别的性能。
对于所有的红外图像,采取如下方法进行滤波。
红外图像对应的高斯函数为:
Figure BDA0003587029090000061
作为一种优选,取∈2=15
红外图像Iβ(u,v)的滤波图像I′(u,v):
Figure BDA0003587029090000062
可见光图像中,图像灰度值(像素取值)的分布较为分散,因此利用像素统计信息估算高斯窗口尺寸具有较好的效果;红外图像通常像素值分布较集中,统计方法受到噪声的影响较大,因此采用经验值15可以取得较好的效果。通过将可见光图像和红外图像分别进行滤波,更好的利用两类图像的统计特性,有针对的提升所采集到的数据的质量,获得更好的整体识别效果。
步骤2:混合图像数据的归一化。
根据步骤1中输出的经过滤波后的滤波图像I′,利用智能处理模块对其进行归一化操作。
对于输入的滤波图像I′,其在坐标处的像素值为I′(u,v),令:
Figure BDA0003587029090000063
Figure BDA0003587029090000064
其中,size(I′)表示滤波图像I′中像素的个数,∑u,vI′(u,v)表示滤波图像I′中所有像素值求和,μ表示滤波图像I′中所有像素值的平均值,∑u,v(I′(u,v)-μ)2表示滤波图像I′中所有像素值与平均值μ的差的平方的和。
进一步的,利用如下公式计算滤波图像I′的归一化图像
Figure BDA0003587029090000065
Figure BDA0003587029090000066
其中,
Figure BDA0003587029090000067
为归一化图像(u,v)处的像素。
原始的可见光图像或红外图像经过滤波后得到滤波图像I′,再进一步经过值域归一化后得到归一图像
Figure BDA0003587029090000071
其目的是将所有图像像素取值进行统一,使每幅图像像素在统计上具有一致性;上述归一化能够同时将可见光和红外图像进行归一化,并保持两者的统计特性,比分别应用经典归一化方法更加简便,且不影响后续步骤的性能。
步骤3:基于归一化的混合图像数据的交通现场风险特征提取。
利用得到的归一化图像
Figure BDA0003587029090000072
进行现场风险特征提取;所述风险特征提取,是指在采集设备端根据输入的混合图像数据建立对特定交通现场风险具备高响应能力的特征向量,用于后续步骤中对风险的识别。
根据步骤1所述的图像采集设备的布置方法,对于D台第一图像采集设备和4台第二图像采集设备,均配置一个可见光成像元件和一个红外成像元件,在某一时刻可以同时采集一幅可见光图像和一幅红外图像;相应的在该时刻对应于待识别路段共采集到D+4幅可见光图像
Figure BDA0003587029090000073
和D+4幅红外图像
Figure BDA0003587029090000074
Figure BDA0003587029090000075
根据步骤1、步骤2方法,获得上述可见光图像和红外图像的滤波图像I′,并进一步获得滤波图像I′对应的值域归一化的图像。
对于归一化后的D+4张可见光图像对应的归一化图像
Figure BDA0003587029090000076
Figure BDA0003587029090000077
采取下面方法提取特征。
对于任一可见光图像对应的归一化图像,将其在空间上分割成S×S大小的子图,S≥4,作为一种优选,取S=8。对于每个子图,求取其像素值的最大值smax,计算
Figure BDA0003587029090000078
Figure BDA0003587029090000079
其中,s(i,j)为子图s中坐标为(i,j)的像素的值,∑i,j(f)表示遍历子图中所有的像素对应的函数f的值并对函数f的值进行求和。
获取可见光图像对应的归一化图像的子图的第一特征向量
Figure BDA00035870290900000710
对于可见光图像对应的归一化图像
Figure BDA00035870290900000711
其所有子图的第一特征向量组成其识别特征。
对于归一化后的D+4张红外图像对应的归一化图像
Figure BDA00035870290900000712
Figure BDA00035870290900000713
采取下面方法提取特征。
对于任一红外图像对应的归一化图像,将其在空间上分割成S×S大小的子图,S≥4,并且分割尺寸与可见光图像对应归一化图像所设定的分割尺寸相同;作为一种优选,取S=8。对于红外图像对应的归一化图像的每个子图,求取其像素值的中间值smed,计算
Figure BDA0003587029090000081
Figure BDA0003587029090000082
其中,s(i,j)为子图s中坐标为(i,j)的像素的值,∑i,j(f)表示遍历子图中所有的像素对应的函数f的值并对函数f的值进行求和。
获取红外图像对应的归一化图像的子图的第二特征向量
Figure BDA0003587029090000083
对于红外图像对应的归一化图像
Figure BDA0003587029090000084
其所有子图的第二特征向量组成其识别特征。
由于可见光图像和红外图像的空间尺寸是相同的,因此它们的归一化图像的识别特征的维度也是相同的。将不同类型图像的识别特征分开提取,并采取不同的提取方法,能够更好的提取可见光图像和红外图像中与现场有关的信息,提高识别的性能。
所有归一化图像的识别特征组成现场风险特征向量。
将高维的可见光、红外图像降维生成识别特征,进而基于识别特征形成现场风险特征向量,将现场风险特征向量输入神经网络能够大大减少后续步骤中神经网络的数据输入量,提高计算效率。在采集设备端完成特征向量的建立,在通信过程中仅传输低维度的向量,能够减轻通信负载,提高传输效率。
步骤4:基于现场风险特征向量的交通现场风险识别。
根据步骤3获得的现场风险特征向量,建立风险学习和识别模型,实现基于现场风险特征向量的交通现场风险识别。
在云服务器建立基于神经网络的风险识别模型,神经网络包括输入层、隐藏层和输出层。其中,输入层输入步骤3中获得的现场风险特征向量;输出层为待识别的风险存在概率,每个输出维度对应某种风险,值为0表示不存在风险,值为1表示存在风险;隐藏层表示从输入层到输出层的映射关系,通过若干条用权值表示的连接构成,在建立神经网络时确定隐藏层、输入层和输出层之间的连接方式,但并不确定连接的权值,因此需要通过样本数据训练来确定隐藏层、输入层和输出层之间连接的权值。隐藏层包含第一隐藏层、第二隐藏层、第三隐藏层、第四隐藏层和第五隐藏层。
输入层将现场风险特征向量展开为一个矩阵,矩阵的每一行对应于一幅归一化图像
Figure BDA0003587029090000085
的识别特征,其维度是3×NS,NS为每幅归一化图像
Figure BDA0003587029090000086
所包含的子图数;矩阵的行数为(2D+8),对应于每次采集到的D+4张可见光图像与D+4张红外图像;并且,将路段两端四台第二图像采集设备拍摄的四张可见光图像与四张红外图像对应的归一化图像
Figure BDA0003587029090000091
的识别特征依次放在矩阵的最后八行。输入层记为
Figure BDA0003587029090000092
神经网络的隐藏层的第一隐藏层层的连接方式定义如下:
Figure BDA0003587029090000093
式中,
Figure BDA0003587029090000094
表示以(u,v)为中心、在u方向上的一维卷积窗口,
Figure BDA0003587029090000095
表示以(u,v)为中心、在v方向上的一维卷积窗口,p、q分别表示两个卷积窗口中相对位置的坐标,
Figure BDA0003587029090000096
的窗口大小为13,
Figure BDA0003587029090000097
的窗口大小为5。
Figure BDA0003587029090000098
分别输入层矩阵在坐标(p,v)、(u,q)处的取值。b0为线性偏置量。σ(x)为一非线性的激励函数:
Figure BDA0003587029090000099
arctan(x)表示反正切三角函数,参数δ的作用是使函数在x=0点处产生一个不连续断点,相比于直接应用反正切三角函数,在本应用中有助于改善识别效果。max表示取两者的大值,用于控制激励函数的值域在样本取值允许的范围内。优选δ=0.003。
由于输入层的行、列的物理含义相对独立,因此将隐藏层的第一隐藏层与输入层中行、列的连接定义为独立的两个维度,大大降低隐藏层的连接复杂度,提高模型的计算效率。后文中隐藏层的第三隐藏层、第五隐藏层计算方法类似。隐藏层的第一隐藏层层中,通过训练确定的参数为权值
Figure BDA00035870290900000910
和线性偏置量b0。隐藏层的第一隐藏层将现场风险特征向量的前2D行与后8行分开计算,使第一隐藏层的参数能够拟合向第一图像采集设备与第二图像采集设备所采集图像的区别。
隐藏层的第二隐藏层的连接方式定义如下:
Figure BDA00035870290900000911
式中,
Figure BDA00035870290900000912
表示在隐藏层的第一隐藏层以(2u,2v)为基准、范围为(p,q)的窗口内所有元素的最大值,p、q取值为{0,1},隐藏层的第二隐藏层的尺寸为第一隐藏层的一半;
Figure BDA00035870290900000913
表示隐藏层的第一隐藏层中坐标为(2u+p,2v+q)的节点。b1为线性偏置量。σ(x)由式子(10)定义。
隐藏层的第三隐藏层的连接方式定义如下:
Figure BDA0003587029090000101
式中,
Figure BDA0003587029090000102
表示以(u,v)为中心、在u方向上的一维卷积窗口,
Figure BDA0003587029090000103
表示以(u,v)为中心、在v方向上的一维卷积窗口,p、q分别表示两个卷积窗口中相对位置的坐标,
Figure BDA0003587029090000104
的窗口大小为11,
Figure BDA0003587029090000105
的窗口大小为5。
Figure BDA0003587029090000106
分别隐藏层的第二隐藏层的矩阵在坐标(p,v)、(u,q)处的取值。b2为线性偏置量。隐藏层的第三隐藏层中,待确定的参数为权值
Figure BDA0003587029090000107
和线性偏置量b2。σ(x)由式子(10)定义。
隐藏层的第四隐藏层的连接方式定义如下:
Figure BDA0003587029090000108
式中,
Figure BDA0003587029090000109
表示在隐藏层的第三隐藏层以(2u,2v)为基准、范围为(p,q)的窗口内所有元素的最大值,p、q取值为{0,1},由此可知隐藏层的第四隐藏层的尺寸为第三隐藏层的一半;
Figure BDA00035870290900001010
表示隐藏层的第三隐藏层中坐标为(2u+p,2v+q)的节点。b3为线性偏置量。σ(x)由式子(10)定义。
隐藏层的第五隐藏层的连接方式定义如下:
Figure BDA00035870290900001011
式中,
Figure BDA00035870290900001012
表示以(u,v)为中心、在u方向上的一维卷积窗口,
Figure BDA00035870290900001013
表示以(u,v)为中心、在v方向上的一维卷积窗口,p、q分别表示两个卷积窗口中相对位置的坐标,
Figure BDA00035870290900001014
的窗口大小为9,
Figure BDA00035870290900001015
的窗口大小为3。
Figure BDA00035870290900001016
分别隐藏层的第四隐藏层的矩阵在坐标(p,v)、(u,q)处的取值。b4为线性偏置量。隐藏层的第五隐藏层中,待确定的参数为权值
Figure BDA00035870290900001017
和线性偏置量b4。σ(x)由式子(10)定义。
输出层的节点连接方式定义为:
Figure BDA00035870290900001018
式中,
Figure BDA00035870290900001019
为隐藏层第五隐藏层中的一个节点,p,q定义了节点的位置,
Figure BDA00035870290900001020
表示节点
Figure BDA00035870290900001021
与输出层节点yz之间的连接权重,所有yz的总和组成的向量为输出层,每个维度yz表示一种风险存在的概率,取值范围为[0,1]。b5为线性偏置量。σ(x)由式子(10)定义。
神经网络的输出层节点yz对应于某种待识别的交通现场风险存在的概率,当yz=0时,表示该风险不存在,当yz=1时,表示该风险存在。可以根据需要设置每个维度所代表的某种风险,比如堵车、驾驶事故、人员聚集等。输出层节点数等于待识别的独立风险的个数。
神经网络模型的训练阶段,是指根据步骤1、步骤2所述方法采集可见光图像和红外图像数据并进行滤波归一化,再根据步骤3的方法构建现场风险特征向量作为神经网络的输入,并标注与该输入对应的风险是否存在的真实值(取值为1或0),每个时刻采集一组图像数据,经处理后对应于一组样本。收集样本后,根据样本数据对神经网络进行训练得到风险识别模型。
训练时,利用神经网络计算给定输入样本的输出结果
Figure BDA0003587029090000116
与人工标注的真实值y确定代价函数:
Figure BDA0003587029090000111
其中,y表示人工标注的真实值,
Figure BDA0003587029090000112
表示神经网络计算给定输入样本的输出结果,yz
Figure BDA0003587029090000113
分别为向量y、
Figure BDA0003587029090000114
的分量。0<λ<0.01为控制系数,有助于提高模型对噪声的鲁棒性。作为优选,取λ=0.007。
采用后向传播方法求取代价函数为极值时神经网络的待确定参数的值,完成对神经网络的训练。
使用神经网络训练所得风险识别模型评估交通现场风险时,根据步骤1、步骤2所述方法,控制第一图像采集设备和第二图像采集设备同时采集需要的可见光和红外图像数据,并进行滤波归一化,根据步骤3方法建立现场风险特征向量,输入风险识别模型;风险识别模型将输出风险发生概率的估计值,输出值越接近于1,表示该类风险存在的可能性越大。
Figure BDA0003587029090000115
本发明应用于日常情况下城市常规道路环境下各类交通风险的自动识别,智能化程度高,有助于提升交通管理的效率,提早发现风险,保护人民财产安全。一方面本发明利用第一图像采集设备和第二图像采集设备同步拍摄道路可见光图像和红外图像,在同一时刻获取更多信息量,同时能够充分利用不同波段图像所包含的特征,从而提升了识别的准确性。通过对图像进行滤波、归一化,建立了特有的现场风险特征向量,降低了数据的维度,提升了模型的学习性能;同时建立的优化的神经网络结构,因此与经典深度卷积网络模型相比,在相对更少的网络层次下达到了同等风险识别性能,计算效率更高。如上表所示,本发明比经典的利用卷积神经网络模型识别方法实时性更好,准确度更高。
实施例2
结合参阅图2和图3所示,本发明实施例提供一种交通现场风险识别系统,包括设置在待识别路段的第一图像采集设备和第二图像采集设备,第一图像采集设备和第二图像采集设备通过通讯网络连接云服务器;第一图像采集设备和第二图像采集设备中设置有智能处理模块,用于对第一图像采集设备和第二图像采集的可见光图像和红外图像进行滤波、归一化处理得到归一化图像
Figure BDA0003587029090000121
并利用归一化图像
Figure BDA0003587029090000122
提取现场风险特征向量。各第一图像采集设备和第二图像采集设备通过无线或者有线通讯网络与云服务器连接,云服务器配置基于神经网络的风险识别模型。云服务器识别路段发生风险时,云服务器给指挥中心发出预报或预警。
具体的,第一图像采集设备设置于路段内部,第一图像采集设备的镜头光轴朝向道路并与道路成30度角。路段中第一图像采集设备设置至少一个,具体的根据路段的实际长度配置第一图像采集设备的数量。
第二图像采集设备设置于路段路段两端,通常为路口,第一图像采集设备的镜头光轴朝向道路并与道路成30度角。第二图像采集设备能针对与该路段关联的较大范围的区域采集可见光图像和红外图像。
具体实施过程中,在城市内部街道环境下,第一图像采集设备和第二图像采集设备的安置高度不低于3米,经过现场验证的可行的安置高度范围为3-8米。具体实施过程中。作为一种优选项,在第一图像采集设备的安置高度距离路面4-6米,天气环境为白天、晴朗的条件下,第一图像采集设备之间间隔280-320米。在安置高度降低、天气环境造成可见度变差的条件下,应当相应减少相邻第一图像采集设备之间的距离间隔,使第一图像采集设备采集到的图像数据能够充分包含分析所需要的信息量。
具体实施过程中,云服务器的风险识别模型判断路段发生风险时,通知交通指挥中心进行预报或预警。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于混合数据学习的交通现场风险识别方法,其特征在于,包括:
步骤1、混合图像数据的采集和滤波:
利用第一图像采集设备和第二图像采集设备同时采集路况的可见光图像和红外图像;其中第一图像采集设备设置在路段内部,朝向设定方向;第二图像采集设备设置在路段两端,路段每端设两个第二图像采集设备;第一图像采集设备和第二图像采集设备采集可见光图像和红外图像的分辨率相同;
对于红外图像和可见光图像分别利用相应的高斯函数进行卷积计算,得到滤波图像I′;对于可见光图像对应的高斯函数的高斯窗口尺寸为∈1
Figure FDA0003587029080000011
Figure FDA0003587029080000012
对于任意一幅可见光图像,计算每个灰阶在该幅图像中所对应的像素个数,记为c1、c2、…、c256;取其中对应像素个数最多的三个灰阶,按个数从大到小依次得到ci、cj、ck;对于红外图像,对应的高斯函数的高斯窗口尺寸为∈2,∈2=15;
步骤2、混合图像数据的归一化:滤波图像I′经过值域归一化后得到归一化图像
Figure FDA00035870290800000111
步骤3、基于归一化的混合图像数据的现场风险特征向量提取:对于归一化图像
Figure FDA00035870290800000114
将其在空间上分割成S×S大小的子图;对于可见光图像的归一化图像
Figure FDA00035870290800000112
的每个子图,求取其像素值的最大值,记为smax,对于红外图像的归一化图像
Figure FDA00035870290800000113
的每个子图,求取其像素值的中间值,记为smed,假设s(i,j)为子图s中坐标为(i,j)的像素的值,计算
Figure FDA0003587029080000013
Figure FDA0003587029080000014
Figure FDA0003587029080000015
为可见光图像的归一化图像
Figure FDA0003587029080000016
的子图s对应的第一特征向量;
Figure FDA0003587029080000017
为红外图像的归一化图像
Figure FDA0003587029080000018
的子图s对应的第二特征向量;归一化图像
Figure FDA0003587029080000019
所有子图的第一特征向量或第二特征向量组成归一化图像
Figure FDA00035870290800000110
的识别特征;所有归一化图像
Figure FDA00035870290800000115
的识别特征所组成现场风险特征向量;
步骤4、基于现场风险特征向量的交通现场风险识别:
将步骤3获得的现场风险特征向量展开为一个矩阵,矩阵的每一行对应于一幅图像所有子图提取出的识别特征,矩阵的行数为(2D+8),对应于路段两端四个第二图像采集设备采集的4张可见光图像与4张红外图像对应的归一化图像
Figure FDA0003587029080000027
的识别特征依次放在矩阵的最后8行,该展开的矩阵记为
Figure FDA0003587029080000021
Figure FDA0003587029080000022
作为神经网络输入层的输入数据;隐藏层包括五层;神经网络的输出层节点yz对应于待识别的交通现场风险存在的概率,当yz=0时,表示该风险不存在,当yz=1时,表示该风险存在。
2.如权利要求1所述方法,其特征在于:步骤4中,展开矩阵的维度是3×NS;矩阵的行数为(2D+8),对应于每次采集到的D+4张可见光图像与D+4张红外图像,NS为每幅采集到的图像所包含的子图数。
3.如权利要求1所述方法,其特征在于:步骤1中可见光图像对应的高斯函数为:
Figure FDA0003587029080000023
步骤1中红外图像对应的高斯函数为:
Figure FDA0003587029080000024
4.如权利要求1所述方法,其特征在于:步骤3中,S=8。
5.如权利要求1所述方法,其特征在于:第一图像采集设备和第二图像采集设备所采集可见光图像和红外图像的分辨率一致。
6.一种交通现场风险识别系统,实施权利要求1-5任一所述基于混合数据学习的交通现场风险识别方法,其特征在于:包括:第一图像采集设备、第二图像采集设备和云服务器,其中,第一图像采集设备和第二图像采集设备通过通讯网络连接云服务器。
7.如权利要求6所述系统,其特征在于:第一图像采集设备和第二图像采集设备中设置有智能处理模块,用于对第一图像采集设备和第二图像采集的可见光图像和红外图像进行滤波、归一化处理得到归一化图像
Figure FDA0003587029080000025
并利用归一化图像
Figure FDA0003587029080000026
提取现场风险特征向量。
8.如权利要求6所述系统,其特征在于:云服务器用于将现场风险特征向量送入神经网络中进行识别,从而判断该路段的风险,云服务器判断发生风险时发送给指挥中心进行预报或预警。
9.如权利要求6所述系统,其特征在于:第一图像采集设备和第二图像采集设备的镜头光轴朝向道路并与道路成30度角,视场角不低于120度。
10.如权利要求6所述系统,其特征在于:第一图像采集设备为一个或多个。
CN202210365874.1A 2022-04-08 2022-04-08 一种基于混合数据学习的交通现场风险识别方法及系统 Pending CN114677654A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210365874.1A CN114677654A (zh) 2022-04-08 2022-04-08 一种基于混合数据学习的交通现场风险识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210365874.1A CN114677654A (zh) 2022-04-08 2022-04-08 一种基于混合数据学习的交通现场风险识别方法及系统

Publications (1)

Publication Number Publication Date
CN114677654A true CN114677654A (zh) 2022-06-28

Family

ID=82077260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210365874.1A Pending CN114677654A (zh) 2022-04-08 2022-04-08 一种基于混合数据学习的交通现场风险识别方法及系统

Country Status (1)

Country Link
CN (1) CN114677654A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407857A (zh) * 2022-10-20 2022-11-29 中电长城圣非凡信息系统有限公司 一种基于双光谱图像的加固计算机风扇控制系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115407857A (zh) * 2022-10-20 2022-11-29 中电长城圣非凡信息系统有限公司 一种基于双光谱图像的加固计算机风扇控制系统

Similar Documents

Publication Publication Date Title
Bhatia et al. Convolutional neural networks based potholes detection using thermal imaging
CN112417953B (zh) 道路状况检测和地图数据更新方法、装置、系统及设备
CN109598794B (zh) 三维gis动态模型的构建方法
CN110728236B (zh) 车辆定损方法及其专用设备
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN109410171B (zh) 一种用于雨天图像的目标显著性检测方法
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪系统及方法
CN109086803B (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
Hinz et al. Car detection in aerial thermal images by local and global evidence accumulation
CN112749654A (zh) 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN114067438A (zh) 一种基于热红外视觉的停机坪人体动作识别方法及系统
CN116597270A (zh) 基于注意力机制集成学习网络的道路损毁目标检测方法
CN113609942B (zh) 一种基于多目多光谱融合的道路智能监控系统
CN114677654A (zh) 一种基于混合数据学习的交通现场风险识别方法及系统
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN114155278A (zh) 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN112924037A (zh) 基于图像配准的红外体温检测系统及检测方法
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN113920455B (zh) 一种基于深度神经网络的夜间视频着色方法
CN115482483A (zh) 一种交通视频目标跟踪装置、方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination