CN112634162A - 一种基于智慧交通的人工智能图像处理方法及系统 - Google Patents

一种基于智慧交通的人工智能图像处理方法及系统 Download PDF

Info

Publication number
CN112634162A
CN112634162A CN202011576571.1A CN202011576571A CN112634162A CN 112634162 A CN112634162 A CN 112634162A CN 202011576571 A CN202011576571 A CN 202011576571A CN 112634162 A CN112634162 A CN 112634162A
Authority
CN
China
Prior art keywords
image
traffic road
traffic
color space
road image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011576571.1A
Other languages
English (en)
Inventor
汪桂衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011576571.1A priority Critical patent/CN112634162A/zh
Publication of CN112634162A publication Critical patent/CN112634162A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理的技术领域，揭露了一种基于智慧交通的人工智能图像处理方法，包括：获取待处理的交通道路图像，并利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理；将平滑图像的RGB颜色空间转换为YUV颜色空间；利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理；利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理；将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。本发明还提供了一种基于智慧交通的人工智能图像处理系统。本发明实现了交通图像的处理。

Description

一种基于智慧交通的人工智能图像处理方法及系统
技术领域
本发明涉及图像处理的技术领域，尤其涉及一种基于智慧交通的人工智能图像处理方法及系统。
背景技术
随着国家经济的快速发展，近年来我国的乘用车增长保持较高的速度，然而随着汽车数目的增加，在复杂的交通网络中存在大量的汽车交通拥堵问题，因此车辆目标的识别成为智慧交通领域中的热门话题。
在传统的人工智能图像处理方法中，神经网络模型大多利用批标准化剪枝方法直接对所有批标准化层的缩放因子进行全局排序，然后按比例筛选出性能最差的一组，全局的筛选可以保证去除层的权重最小，但忽略了在网络浅层和深层结构中批标准化层缩放因子的绝对值差异，对于网络较窄的部分，采用全局策略可能会从中去除了过多的特征层，严重影响该层网络的特征信息，导致神经网络模型无法准确地实现车辆目标识别。
同时夜间交通道路图像中自然光几乎为零，其他光源交错复杂，使图像亮度分布不均，图像可见度、对比度下降，同时车辆轮廓信息及纹理信息也会被灯光遮挡，导致夜晚道路车辆辨识度低，很难进行车辆的识别。
鉴于此，如何对夜间车辆图像进行增强，利用优化后的神经网络模型进行交通道路图像中的车辆识别，成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于智慧交通的人工智能图像处理方法，通过利用结合中值滤波和高斯滤波的图像平滑方法进行图像平滑处理，并利用多尺度图像自适应增强算法进行图像增强处理，通过提取交通道路图像的SIFT特征点，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。
为实现上述目的，本发明提供的一种基于智慧交通的人工智能图像处理方法，包括：
获取待处理的交通道路图像，并利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，得到平滑图像；
将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像；
利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像；
利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子；
将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。
可选地，所述利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，包括：
利用离散高斯卷积核H对待处理图像的像素点附近邻域的灰度值进行相应的加权平均，即将加权后的离散高斯卷积核H同像素点附近邻域的灰度值进行乘积处理，其中H的维数为(2k+1)×(2k+1)，H的计算公式为：
Figure BDA0002864281380000021
其中：
(i，j)为待处理图像像素点像素值；
σ为像素点附近邻域灰度值的方差；
k为核矩阵的维数；
在本发明一个具体实施例中，本发明将k取值为1，当σ为1时，H的维数为3，所产生的核矩阵为：
Figure BDA0002864281380000022
由于进行加权计算时所有的加权系数之和为1，因此需要对高斯核矩阵进行归一化处理，使得权值和等于1，H归一化的结果为：
Figure BDA0002864281380000023
因此本发明将归一化的H作用于待处理图像的像素点附近邻域的灰度值，得到高斯滤波处理图像；
取像素大小为3*3像素的窗口作用于所述高斯滤波处理图像，将窗口中的像素点的灰度值大小进行排序，生成二维数组{Fjk}，并取二维数组{Fjk}中的中值作为窗口图像的中值滤波结果，最终所述高斯滤波处理图像的中值滤波结果即为道路交通图像的平滑图像。
可选地，所述将平滑图像的RGB颜色空间转换为YUV颜色空间，包括：
所述颜色空间转换公式为：
Figure BDA0002864281380000031
其中：
IR，IG，IB为平滑图像I在RGB颜色空间中的颜色值；
IY，IU，IV为平滑图像I在YUV颜色空间中的颜色值；
所述YUV颜色空间代表图片的一种存储格式，其中Y表示亮度，U、V表示色差，其中U＝Cb表示蓝色差，V＝Cr表示红色差，例如，当图片是由Y通道数据单独组成的时候，这张图片为灰色图片。
可选地，所述交通道路图像中Y通道的自适应增强算法，包括：
所述Y亮度通道增强的公式为：
Figure BDA0002864281380000032
其中：
Fn(x，y)表示尺度为n的高斯模糊操作，
Figure BDA0002864281380000033
N表示高斯模糊操作尺度的数量；
ωn为尺度为n的高斯模糊操作的对应权重，权重之和需要等于1；
Y(x，y)为Y亮度通道的像素值；
A表示亮度自适应调节因子；
A＝1/f(x，y)
f(x，y)＝max{f1(bg(x，y))，f2(bg(x，y))}
f1(bg(x，y))＝λ-bg(x，y)·0.01
Figure BDA0002864281380000034
其中：
f1(bg(x，y))为空间掩蔽函数；
f2(bg(x，y))为由亮度引起的可见度阈值；
bg(x，y)表示像素点(x，y)附近的背景平均亮度；
γ为3/127，λ为1/2，T0为13；
因此对于图像较暗区域，通过减小A值以保留真实图像特征；而对于图像较亮区域，通过增大A值以削弱光照对于真实图像的掩蔽影响；即在图像的暗区域，增大f(x，y)使光照亮度去除较少；图像的亮区域，减少f(x，y)使光照亮度去除较多；从而解决由道路光源种类繁杂引起的图像亮度不均匀的问题，最大限度保持图像不失真。
可选地，所述交通道路图像中U、V通道的自适应增强算法，包括：
所述U、V通道增强的公式为：
Figure BDA0002864281380000041
Figure BDA0002864281380000042
Figure BDA0002864281380000043
其中：
Y1为原始交通道路图像的Y通道像素值；
Y2为增强后图像的Y通道像素值；
Figure BDA0002864281380000044
为像素变化比例；
R、B为当前交通道路图像R、B颜色通道的像素值。
可选地，所述利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，包括：
1)遍历增强后的交通道路图像，定义一个位置坐标为f(x，y)，尺度因子为σ，主方向为θ的一个SIFT特征点为fi，在特征点fi对应的高斯金字塔相应层数上，以fi为中心取一个10×10像素大小的图像区域；为了获得旋转不变性，根据方向θ的大小将图像区域旋转至参考方向，最后选取一个以fi为中心的大小为8×8的区域作为待描述区域；
2)在待描述区域中，分别以每个像素点fj为中心，计算以它为中心所对应的LBP特征Vj，其中j＝1，2，3，...，64；
3)计算Vj的加权系数：
Figure BDA0002864281380000045
其中：
(xj，yj)，(xi，yi)分别为像素点fj及中心点fi位于待描述区域中的坐标；
α为常数，本发明将其设置为1.8；
4)对所有的Vj进行加权，得到特征向量Fi：
Fi＝[ω1V1，ω2V2，...，ω64V64]
5)对特征向量Fi进行归一化处理，最终得到的向量即为SIFT特征描述子。
可选地，所述利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，包括：
所述基于改进剪枝策略的模型优化方案为：
1)独立计算每个卷积层内卷积核所有权重的绝对值之和，根据绝对值的大小进行排序，并将绝对值最小的一组卷积核从模型中删除；对于模型的第i个卷积层的卷积核Fi，j，其权重sj的计算公式为：
Figure BDA0002864281380000051
其中：
ni为第i个卷积层的卷积核总数；
wl为第1个卷积核的权重；
在本发明一个具体实施例中，线性连接的卷积层剪枝，只影响当前卷积层和之后与之相邻的一个卷积层，只需去掉对应的卷积核并将剩余参数填入卷积层中，即可完成剪枝过程；
2)在每个卷积层根据缩放因子γ，对当前层的损失函数L引入惩罚项，即：
Figure BDA0002864281380000052
其中：
H为模型预测产生的损失函数；
∑γ为对缩放因子γ的约束和惩罚，使得模型训练时倾向于更小的缩放因子γ，达到稀疏化模型的效果，更有利于后续的剪枝操作，剪枝后模型精度下降更低；
3)针对网络浅层、深层采用不同的超参数，控制不同网络结构的剪枝率，以此保证模型的顺利运行；以MobileNet为例，对conv1、conv2、conv3、conv4分别设置剪枝率[0.3，0.3，0.3，0.1]，按照该比重进行剪枝操作，即较大幅度的保留深层网络，而减少浅层网络的卷积层数量，使浅层网络更加稀疏化。
此外，为实现上述目的，本发明还提供一种基于智慧交通的人工智能图像处理系统，所述系统包括：
交通道路图像获取装置，用于获取大量交通道路图像；
图像处理器，用于利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像；同时利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像；
车辆识别装置，用于利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子；将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有道路车辆识别程序指令，所述道路车辆识别程序指令可被一个或者多个处理器执行，以实现如上所述的基于智慧交通的人工智能图像处理的实现方法的步骤。
相对于现有技术，本发明提出一种基于智慧交通的人工智能图像处理方法，该技术具有以下优势：
首先，针对夜间道路图像中光照亮度分布不均匀引发的问题，本发明将RGB图像转换为基于图像亮度的YUV图像；传统的图像增强算法假设图像中的光照亮度是缓慢变化的，即图像光照条件是平滑的；但是夜间道路图像中的光照亮度情况并不符合假设条件，夜间道路图像的亮度分布不均匀，同时图像不同区域之间亮度差值较大，因此本发明对传统图像增强算法进行改进，分别对Y、U、V三种通道进行增强处理；首先对于Y通道采取了如下通道增强算法：
Figure BDA0002864281380000061
其中：Fn(x，y)表示尺度为n的高斯模糊操作，
Figure BDA0002864281380000062
N表示高斯模糊操作尺度的数量；ωn为尺度为n的高斯模糊操作的对应权重，权重之和需要等于1；Y(x，y)为Y亮度通道的像素值；A表示亮度自适应调节因子；
A＝1/f(x，y)
f(x，y)＝max{f1(bg(x，y))，f2(bg(x，y))}
f1(bg(x，y))＝λ-bg(x，y)·0.01
Figure BDA0002864281380000063
其中：f1(bg(x，y))为空间掩蔽函数；f2(bg(x，y))为由亮度引起的可见度阈值；bg(x，y)表示像素点(x，y)附近的背景平均亮度；γ为3/127，λ为1/2，T0为13；因此对于图像较暗区域，通过减小A值以保留真实图像特征；而对于图像较亮区域，通过增大A值以削弱光照对于真实图像的掩蔽影响；即在图像的暗区域，增大f(x，y)使光照亮度去除较少；图像的亮区域，减少f(x，y)使光照亮度去除较多；从而解决由道路光源种类繁杂引起的图像亮度不均匀的问题，最大限度保持图像不失真；而对于U、V通道，采取了基于Y通道的通道增强策略，即：
Figure BDA0002864281380000071
Figure BDA0002864281380000072
Figure BDA0002864281380000073
其中：Y1为原始交通道路图像的Y通道像素值；Y2为增强后图像的Y通道像素值；
Figure BDA0002864281380000074
为像素变化比例；R、B为当前交通道路图像R、B颜色通道的像素值。
同时在当前目标检测神经网络模型中，卷积层占据了较大比重，为实现模型的精简，需要进行卷积层的剪枝，因此本发明提出了几种卷积层剪枝策略；首先独立计算每个卷积层内卷积核所有权重的绝对值之和，根据绝对值的大小进行排序，并将绝对值最小的一组卷积核从模型中删除，例如，若对线性连接的卷积层进行剪枝处理，只影响当前卷积层和之后与之相邻的一个卷积层，同时只需去掉对应的卷积核并将剩余参数填入卷积层中，即可完成剪枝过程；其次在每个卷积层根据缩放因子γ，对当前层的损失函数L引入惩罚项，即：
Figure BDA0002864281380000075
其中：H为模型检测产生的损失函数；∑γ为对缩放因子γ的约束和惩罚，使得模型训练时倾向于更小的缩放因子γ，达到稀疏化模型的效果，更有利于后续的剪枝操作，剪枝后模型精度下降更低；最后针对网络浅层、深层采用不同的超参数，控制不同网络结构的剪枝率，以此保证模型的顺利运行；以MobileNet为例，对conv1、conv2、conv3、conv4分别设置剪枝率[0.3，0.3，0.3，0.1]，按照该比重进行剪枝操作，即较大幅度的保留深层网络，而减少浅层网络的卷积层数量，使浅层网络更加稀疏化。
附图说明
图1为本发明一实施例提供的一种基于智慧交通的人工智能图像处理方法的流程示意图；
图2为本发明一实施例提供的一种基于智慧交通的人工智能图像处理系统的结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
通过利用结合中值滤波和高斯滤波的图像平滑方法进行图像平滑处理，并利用多尺度图像自适应增强算法进行图像增强处理，通过提取交通道路图像的SIFT特征点，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。参照图1所示，为本发明一实施例提供的基于智慧交通的人工智能图像处理方法示意图。
在本实施例中，基于智慧交通的人工智能图像处理方法包括：
S1、获取待处理的交通道路图像，并利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，得到平滑图像。
首先，本发明获取待处理的交通道路图像，所述交通道路图像为在不同环境下摄像头所采集到的交通道路图像，例如夜间交通道路图像等，在本发明一个具体实施例中，交通道路的摄像头每5秒进行一次交通道路图像的采集，并从采集的交通道路图像中选取；并利用结合中值滤波和高斯滤波的图像平滑方法进行图像平滑处理，所述图像平滑处理流程为：
利用离散高斯卷积核H对待处理图像的像素点附近邻域的灰度值进行相应的加权平均，即将加权后的离散高斯卷积核H同像素点附近邻域的灰度值进行乘积处理，其中H的维数为(2k+1)×(2k+1)，H的计算公式为：
Figure BDA0002864281380000081
其中：
(i，j)为待处理图像像素点像素值；
σ为像素点附近邻域灰度值的方差；
k为核矩阵的维数；
在本发明一个具体实施例中，本发明将k取值为1，当σ为1时，H的维数为3，所产生的核矩阵为：
Figure BDA0002864281380000091
由于进行加权计算时所有的加权系数之和为1，因此需要对高斯核矩阵进行归一化处理，使得权值和等于1，H归一化的结果为：
Figure BDA0002864281380000092
因此本发明将归一化的H作用于待处理图像的像素点附近邻域的灰度值，得到高斯滤波处理图像；
进一步地，本发明取像素大小为3*3像素的窗口作用于所述高斯滤波处理图像，将窗口中的像素点的灰度值大小进行排序，生成二维数组{Fjk}，并取二维数组{Fjk}中的中值作为窗口图像的中值滤波结果，最终所述高斯滤波处理图像的中值滤波结果即为道路交通图像的平滑图像。
S2、将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像。
进一步地，本发明利用颜色空间转换公式，将平滑图像的RGB颜色空间转换为YUV颜色空间，所述颜色空间转换公式为：
Figure BDA0002864281380000093
其中：
IR，IG，IB为平滑图像I在RGB颜色空间中的颜色值；
IY，IU，IV为平滑图像I在YUV颜色空间中的颜色值；
所述YUV颜色空间代表图片的一种存储格式，其中Y表示亮度，U、V表示色差，其中U＝Cb表示蓝色差，V＝Cr表示红色差，例如，当图片是由Y通道数据单独组成的时候，这张图片为灰色图片。
S3、利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像。
进一步地，本发明利用多尺度图像自适应增强算法对交通道路图像进行增强处理，详细地，所述多尺度图像自适应增强算法对交通道路图像的Y、U、V通道采取不同的自适应增强方式；
所述Y亮度通道增强的公式为：
Figure BDA0002864281380000094
其中：
Fn(x，y)表示尺度为n的高斯模糊操作，
Figure BDA0002864281380000095
N表示高斯模糊操作尺度的数量；
ωn为尺度为n的高斯模糊操作的对应权重，权重之和需要等于1；
Y(x，y)为Y亮度通道的像素值；
A表示亮度自适应调节因子；
A＝1/f(x，y)
f(x，y)＝max{f1(bg(x，y))，f2(bg(x，y))}
f1(bg(x，y))＝λ-bg(x，y)·0.01
Figure BDA0002864281380000101
其中：
f1(bg(x，y))为空间掩蔽函数；
f2(bg(x，y))为由亮度引起的可见度阈值；
bgg(x，y)表示像素点(x，y)附近的背景平均亮度；
γ为3/127，λ为1/2，T0为13；
因此对于图像较暗区域，通过减小A值以保留真实图像特征；而对于图像较亮区域，通过增大A值以削弱光照对于真实图像的掩蔽影响；即在图像的暗区域，增大f(x，y)使光照亮度去除较少；图像的亮区域，减少f(x，y)使光照亮度去除较多；从而解决由道路光源种类繁杂引起的图像亮度不均匀的问题，最大限度保持图像不失真；
所述U、V通道增强的公式为：
Figure BDA0002864281380000102
Figure BDA0002864281380000103
Figure BDA0002864281380000104
其中：
Y1为原始交通道路图像的Y通道像素值；
Y2为增强后图像的Y通道像素值；
Figure BDA0002864281380000105
为像素变化比例；
R、B为当前交通道路图像R、B颜色通道的像素值。
S4、利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子。
进一步地，本发明利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，所述交通道路图像的SIFT特征描述子提取过程为：
1)遍历增强后的交通道路图像，定义一个位置坐标为f(x，y)，尺度因子为σ，主方向为θ的一个SIFT特征点为fi，在特征点fi对应的高斯金字塔相应层数上，以fi为中心取一个10×10像素大小的图像区域；为了获得旋转不变性，根据方向θ的大小将图像区域旋转至参考方向，最后选取一个以fi为中心的大小为8×8的区域作为待描述区域；
2)在待描述区域中，分别以每个像素点fj为中心，计算以它为中心所对应的LBP特征Vj，其中j＝1，2，3，...，64；
3)计算Vj的加权系数：
Figure BDA0002864281380000111
其中：
(xj，yj)，(xi，yi)分别为像素点fj及中心点fi位于待描述区域中的坐标；
α为常数，本发明将其设置为1.8；
4)对所有的Vj进行加权，得到特征向量Fi：
Fi＝[ω1V1，ω2V2，...，ω64V64]
5)对特征向量Fi进行归一化处理，最终得到的向量即为SIFT特征描述子。
S5、将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。
进一步地，本发明将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测；所述基于改进剪枝策略的神经网络模型架构为轻量化卷积神经网络MobileNet，通过将SIFT特征描述子经过一个3×3像素大小的标准卷积，之后是对深度可分离卷积模块进行堆叠，然后采用平均池化层将卷积特征变成1×1像素大小，最后利用softmax单元层输出车辆识别检测结果；
MobileNet使用深度可分离卷积替换了标准的卷积操作，其实现过程为：第一步使用深度卷积，即一个通道只被一个卷积核提取特征信息；第二步逐点卷积，将深度卷积得到的特征图再次整合；为了有效提取特征信息并保证神经网络中输出的每一个特征图要包含输入层所有的特征图的信息，仅采用逐通道卷积这一个卷积操作是没办法做到的，因此还需要逐点卷积作为补充手段。直观的来讲，逐通道卷积是将输入划分成组，每一组做卷积操作，只提取通道内部的特征，但是通道与通道间信息是相互隔离的；逐点卷积是对输入做普通的1*1卷积来提取特征，通过提取每个点的特征，对每个通道间的信息进行交换。
为简化模型结构，本发明提出了基于改进剪枝策略的模型优化方案对所述MobileNet进行剪枝处理，所述基于改进剪枝策略的模型优化方案为：
1)独立计算每个卷积层内卷积核所有权重的绝对值之和，根据绝对值的大小进行排序，并将绝对值最小的一组卷积核从模型中删除；对于模型的第i个卷积层的卷积核Fi，j，其权重sj的计算公式为：
Figure BDA0002864281380000112
其中：
ni为第i个卷积层的卷积核总数；
wl为第1个卷积核的权重；
在本发明一个具体实施例中，线性连接的卷积层剪枝，只影响当前卷积层和之后与之相邻的一个卷积层，只需去掉对应的卷积核并将剩余参数填入卷积层中，即可完成剪枝过程；
2)在每个卷积层根据缩放因子γ，对当前层的损失函数L引入惩罚项，即：
Figure BDA0002864281380000121
其中：
H为模型预测产生的损失函数；
∑γ为对缩放因子γ的约束和惩罚，使得模型训练时倾向于更小的缩放因子γ，达到稀疏化模型的效果，更有利于后续的剪枝操作，剪枝后模型精度下降更低；
3)针对网络浅层、深层采用不同的超参数，控制不同网络结构的剪枝率，以此保证模型的顺利运行；以MobileNet为例，对conv1、conv2、conv3、conv4分别设置剪枝率[0.3，0.3，0.3，0.1]，按照该比重进行剪枝操作，即较大幅度的保留深层网络，而减少浅层网络的卷积层数量，使浅层网络更加稀疏化。
下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：Inter(R)Core(TM)i7-6700K CPU，软件为Matlab2018a；对比方法为基于YOLOv3的车辆检测方法、基于Faster-rcnn的车辆检测方法以及基于SSD模型的车辆检测方法。
在本发明所述算法实验中，数据集为交通道路摄像头所采集的5000张交通道路图像，其中3/4的图像存在车辆，1/4的图像不存在车辆。本实验通过将图像数据输入到算法模型中，将车辆识别的准确率作为方法可行性的评价指标。
根据实验结果，基于YOLOv3的车辆检测方法的车辆识别准确率为86.35％，基于Faster-rcnn的车辆检测方法的车辆识别准确率为87.12％，基于SSD模型的车辆检测方法的车辆识别准确率为89.19％，本发明所述方法的车辆识别准确率为92.11％，相较于对比算法，本发明所提出的基于智慧交通的人工智能图像处理方法具有更高的车辆识别准确率。
发明还提供一种基于智慧交通的人工智能图像处理系统。参照图2所示，为本发明一实施例提供的基于智慧交通的人工智能图像处理系统的内部结构示意图。
在本实施例中，所述基于智慧交通的人工智能图像处理系统1至少包括交通道路图像获取装置11、图像处理器12、车辆识别装置13，通信总线14，以及网络接口15。
其中，交通道路图像获取装置11可以是PC(Personal Computer，个人电脑)，或者是智能手机、平板电脑、便携计算机等终端设备，也可以是一种服务器等。
图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是基于智慧交通的人工智能图像处理系统1的内部存储单元，例如该基于智慧交通的人工智能图像处理系统1的硬盘。图像处理器12在另一些实施例中也可以是基于智慧交通的人工智能图像处理系统1的外部存储设备，例如基于智慧交通的人工智能图像处理系统1上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，图像处理器12还可以既包括基于智慧交通的人工智能图像处理系统1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于智能道路交通追踪管理系统1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
车辆识别装置13在一些实施例中可以是一中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行图像处理器12中存储的程序代码或处理数据，例如道路车辆识别程序指令等。
通信总线14用于实现这些组件之间的连接通信。
网络接口15可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该系统1与其他电子设备之间建立通信连接。
可选地，该系统1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在基于智慧交通的人工智能图像处理系统1中处理的信息以及用于显示可视化的用户界面。
图2仅示出了具有组件11-15以及基于智慧交通的人工智能图像处理系统1，本领域技术人员可以理解的是，图1示出的结构并不构成对基于智慧交通的人工智能图像处理系统1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
在图2所示的装置1实施例中，图像处理器12中存储有道路车辆识别程序指令；车辆识别装置13执行图像处理器12中存储的道路车辆识别程序指令的步骤，与基于智慧交通的人工智能图像处理方法的实现方法相同，在此不作类述。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有道路车辆识别程序指令，所述道路车辆识别程序指令可被一个或多个处理器执行，以实现如下操作：
获取待处理的交通道路图像，并利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，得到平滑图像；
将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像；
利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像；
利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子；
将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于智慧交通的人工智能图像处理方法，其特征在于，所述方法包括：
获取待处理的交通道路图像，并利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，得到平滑图像；
将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像；
利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像；
利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子；
将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，实现人工智能图像处理。
2.如权利要求1所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，包括：
利用离散高斯卷积核H对待处理图像的像素点附近邻域的灰度值进行相应的加权平均，即将加权后的离散高斯卷积核H同像素点附近邻域的灰度值进行乘积处理，其中H的维数为(2k+1)×(2k+1)，离散高斯卷积核H的计算公式为：
Figure FDA0002864281370000011
其中：
(i，j)为待处理图像像素点像素值；
σ为像素点附近邻域灰度值的方差；
k为核矩阵的维数；
取像素大小为3*3像素的窗口作用于所述高斯滤波处理图像，将窗口中的像素点的灰度值大小进行排序，生成二维数组{Fjk}，并取二维数组{Fjk}中的中值作为窗口图像的中值滤波结果，最终所述高斯滤波处理图像的中值滤波结果即为道路交通图像的平滑图像。
3.如权利要求2所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述将平滑图像的RGB颜色空间转换为YUV颜色空间，包括：
所述颜色空间转换公式为：
Figure FDA0002864281370000021
其中：
IR，IG，IB为平滑图像I在RGB颜色空间中的颜色值；
IY，IU，IV为平滑图像I在YUV颜色空间中的颜色值。
4.如权利要求3所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述交通道路图像中Y通道的自适应增强算法，包括：
所述Y亮度通道增强的公式为：
Figure FDA0002864281370000022
其中：
Fn(x，y)表示尺度为n的高斯模糊操作，
Figure FDA0002864281370000023
N表示高斯模糊操作尺度的数量；
ωn为尺度为n的高斯模糊操作的对应权重，权重之和需要等于1；
Y(x，y)为Y亮度通道的像素值；
A表示亮度自适应调节因子；
A＝1/f(x，y)
f(x，y)＝max{f1(bg(x，y))，f2(bg(x，y))}
f1(bg(x，y))＝λ-bg(x，y)·0.01
Figure FDA0002864281370000024
其中：
f1(bg(x，y))为空间掩蔽函数；
f2(bg(x，y))为由亮度引起的可见度阈值；
bg(x，y)表示像素点(x，y)附近的背景平均亮度；
γ，λ，T0为参数，设置γ为3/127，λ为1/2，T0为13。
5.如权利要求4所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述所述交通道路图像中U、V通道的自适应增强算法，包括：
所述U、V通道增强的公式为：
Figure FDA0002864281370000031
Figure FDA0002864281370000032
Figure FDA0002864281370000033
其中：
Y1为原始交通道路图像的Y通道像素值；
Y2为增强后图像的Y通道像素值；
Figure FDA0002864281370000034
为像素变化比例；
R、B为当前交通道路图像R、B颜色通道的像素值。
6.如权利要求5所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，包括：
1)遍历增强后的交通道路图像，定义一个位置坐标为f(x，y)，尺度因子为σ，主方向为θ的一个SIFT特征点为fi，在特征点fi对应的高斯金字塔相应层数上，以fi为中心取一个10×10像素大小的图像区域；为了获得旋转不变性，根据方向θ的大小将图像区域旋转至参考方向，最后选取一个以fi为中心的大小为8×8的区域作为待描述区域；
2)在待描述区域中，分别以每个像素点fj为中心，计算以它为中心所对应的LBP特征Vj，其中j＝1，2，3，...，64；
3)计算Vj的加权系数：
Figure FDA0002864281370000035
其中：
(xj，yj)，(xi，yi)分别为像素点fj及中心点fi位于待描述区域中的坐标；
α为常数，将其设置为1.8；
4)对所有的Vj进行加权，得到特征向量Fi：
Fi＝[ω1V1，ω2V2，...，ω64V64]
5)对特征向量Fi进行归一化处理，最终得到的向量即为SIFT特征描述子。
7.如权利要求6所述的一种基于智慧交通的人工智能图像处理方法，其特征在于，所述利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测，包括：
所述基于改进剪枝策略的模型优化方案为：
1)独立计算每个卷积层内卷积核所有权重的绝对值之和，根据绝对值的大小进行排序，并将绝对值最小的一组卷积核从模型中删除；对于模型的第i个卷积层的卷积核Fi，j，其权重sj的计算公式为：
Figure FDA0002864281370000041
其中：
ni为第i个卷积层的卷积核总数；
wl为第1个卷积核的权重；
2)在每个卷积层根据缩放因子γ，对当前层的损失函数L引入惩罚项，即：
Figure FDA0002864281370000042
其中：
H为模型预测产生的损失函数；
∑γ为对缩放因子γ的约束和惩罚；
3)针对网络浅层、深层采用不同的超参数，控制不同网络结构的剪枝率。
8.一种基于智慧交通的人工智能图像处理系统，其特征在于，所述系统包括：
交通道路图像获取装置，用于获取大量交通道路图像；
图像处理器，用于利用结合中值滤波和高斯滤波的图像平滑方法对待处理的交通道路图像进行图像平滑处理，将平滑图像的RGB颜色空间转换为YUV颜色空间，得到基于YUV颜色空间的交通道路图像；同时利用多尺度图像自适应增强算法对基于YUV颜色空间的交通道路图像进行增强处理，得到增强后的交通道路图像；
车辆识别装置，用于利用改进的SIFT特征描述子提取算法对增强后的交通道路图像进行处理，提取得到交通道路图像的SIFT特征描述子；将SIFT特征描述子作为神经网络模型的输入，利用基于改进剪枝策略的神经网络模型进行交通道路图像中的车辆识别检测。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有道路车辆识别程序指令，所述道路车辆识别程序指令可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的一种基于智慧交通的人工智能图像处理的实现方法的步骤。
CN202011576571.1A 2020-12-28 2020-12-28 一种基于智慧交通的人工智能图像处理方法及系统 Withdrawn CN112634162A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011576571.1A CN112634162A (zh) 2020-12-28 2020-12-28 一种基于智慧交通的人工智能图像处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011576571.1A CN112634162A (zh) 2020-12-28 2020-12-28 一种基于智慧交通的人工智能图像处理方法及系统

Publications (1)

Publication Number Publication Date
CN112634162A true CN112634162A (zh) 2021-04-09

Family

ID=75326118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011576571.1A Withdrawn CN112634162A (zh) 2020-12-28 2020-12-28 一种基于智慧交通的人工智能图像处理方法及系统

Country Status (1)

Country Link
CN (1) CN112634162A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744294A (zh) * 2021-08-09 2021-12-03 深圳曦华科技有限公司 图像处理方法及相关装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744294A (zh) * 2021-08-09 2021-12-03 深圳曦华科技有限公司 图像处理方法及相关装置
CN113744294B (zh) * 2021-08-09 2023-12-19 深圳曦华科技有限公司 图像处理方法及相关装置

Similar Documents

Publication Publication Date Title
CN106599773B (zh) 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN112036455B (zh) 一种图像识别方法、智能终端和存储介质
CN111428556B (zh) 一种基于胶囊神经网络的交通标志识别方法
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
CN112287912A (zh) 基于深度学习的车道线检测方法以及装置
CN112464731B (zh) 一种基于图像处理的交通标志检测识别方法
CN111639704A (zh) 目标识别方法、装置及计算机可读存储介质
CN112132145A (zh) 一种基于模型扩展卷积神经网络的图像分类方法及系统
CN116452937A (zh) 基于动态卷积与注意力机制的多模态特征目标检测方法
CN115512251A (zh) 基于双分支渐进式特征增强的无人机低照度目标跟踪方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN113436162A (zh) 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置
CN115861380A (zh) 雾天低照度场景下端到端无人机视觉目标跟踪方法及装置
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN111274964B (zh) 一种基于无人机视觉显著性分析水面污染物的检测方法
Liu et al. DCNet: A deformable convolutional cloud detection network for remote sensing imagery
CN114842240A (zh) 融合ghost模块和注意力机制的MobileNetV2农作物叶片图像分类方法
Wu et al. Vehicle detection based on adaptive multi-modal feature fusion and cross-modal vehicle index using RGB-T images
CN112634162A (zh) 一种基于智慧交通的人工智能图像处理方法及系统
CN112686314B (zh) 基于远距离拍摄场景的目标检测方法、装置及存储介质
CN112084988B (zh) 车道线实例聚类方法、装置、电子设备和存储介质
Saravanarajan et al. Improving semantic segmentation under hazy weather for autonomous vehicles using explainable artificial intelligence and adaptive dehazing approach
CN115984133A (zh) 图像增强方法、车辆抓拍方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210409