CN111667499A - 一种交通信号灯的图像分割方法、装置、设备及存储介质 - Google Patents

一种交通信号灯的图像分割方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111667499A
CN111667499A CN202010505442.7A CN202010505442A CN111667499A CN 111667499 A CN111667499 A CN 111667499A CN 202010505442 A CN202010505442 A CN 202010505442A CN 111667499 A CN111667499 A CN 111667499A
Authority
CN
China
Prior art keywords
image
traffic signal
signal lamp
probability matrix
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010505442.7A
Other languages
English (en)
Inventor
吉璐
刘文涛
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202010505442.7A priority Critical patent/CN111667499A/zh
Publication of CN111667499A publication Critical patent/CN111667499A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明公开了一种交通信号灯的图像分割方法、装置、设备及存储介质，先获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像，将交通信号灯感兴趣区域图像缩放后得到的第一图像输入预先训练的FCN网络，得到对第一图像进行上采样后的第二图像各像素的二分类概率矩阵，结合该二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵，根据目标图像概率矩阵对各像素进行二分类处理，得到图像分割结果，其中，FCN网络的上采样层采用双三次插值法进行采样，相较于现有技术中采用的双线性插值法，考虑了待采样点邻近像素变化率，从而提高了采样精度，提高了交通信号灯图像的边缘分割精度，保证了对交通信号灯信息的有效提取。

Description

一种交通信号灯的图像分割方法、装置、设备及存储介质
技术领域
本发明涉及智能交通技术领域，特别是涉及一种交通信号灯的图像分割方法、装置、设备及存储介质。
背景技术
交通信号灯图像分割技术是智能交通领域的一项重要研究课题。在使用网络摄像机IPC(IP Camera)对道路进行视频监控过程中，由于光线的变化，使得道路上IPC拍摄的交通信号灯图像与真实场景下信号灯的颜色存在较大的色差变化，如可能将红灯识别为黄灯，给交通管理部门的取证带来不便。目前的解决方案是先检测出或者分割出交通信号灯图像中信号灯区域，再对信号灯区域进行涂色处理。该解决方案的核心是交通信号灯图像分割技术，分割技术精度的高低直接决定最终效果的好坏。
传统的图像分割方法根据图像的灰度、颜色、纹理和形状等特征将图像进行区域划分，使得区域间差异性较大，区域内呈相似性，且传统的分割算法是一种普适性的框架，适合多种特征，但算法的时间和空间复杂度较高，而且需要事先选取分割块的数目，因此在复杂场景下，使用传统分割算法进行图像分割面临很大的困难和挑战。传统的神经网络方法可以学习图像多个层次的特征，但是算法的存储开销较大，计算效率低下，而且感知区域的大小受像素块的尺寸影响。
与传统的图像分割的方法相比，卷积神经网络采用参数共享机制，因此参数相对较少，计算效率高。具有代表性的FCN(Fully Convolution Networks，全卷积网络，可用于像素级别的分类)网络可接受任意大小的输入图像，避免因使用像素块而带来的重复存储和计算卷积的问题，但FCN网络得到的结果还是不够精细，即便进行了8倍上采样，采样结果还是比较模糊，对图像中的细节不敏感，且该算法未充分考虑像素与像素之间的关系，缺乏空间一致性。
在FCN网络的基础上，技术人员提出了使用FCN网络结合CRF(Conditional randomfields，条件随机场，一种基于概率论和图论的判别式理论框架的机器学习理论)模型的方案进行图像分割，可用于智能交通中的道路分隔问题，相较于仅采用FCN网络进行图像分割提高了分割精度。但是该方案在交通信号灯的图像分割问题上还是存在边缘不清晰的问题，尤其对于某些形状较复杂的交通灯(如箭头形状、人形等)，在边缘不清晰的情况下可能会导致无法检测出亮起的交通信号灯的必要信息的问题。
发明内容
本发明的目的是提供一种交通信号灯的图像分割方法、装置、设备及存储介质，用于提高对交通信号灯的图像分割问题中边缘分割的精度，保证对交通信号灯信息的有效提取。
为解决上述技术问题，本发明提供一种交通信号灯的图像分割方法，包括：
获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像；
将所述交通信号灯感兴趣区域图像缩放，得到第一图像；
将所述第一图像输入预先训练的FCN网络，得到对所述第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，所述FCN网络的上采样层采用双三次插值法进行采样；
结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵；
根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果。
可选的，所述FCN网络的上采样层采用双三次插值法进行采样，具体通过下述公式计算各待采样点的像素值：
Figure BDA0002526377200000021
Figure BDA0002526377200000022
其中，W(z)为与所述待采样点在矩形网格中最近的邻近采样点的坐标对应的权重，|z|为所述邻近采样点的坐标与所述待采样点的对应坐标的差值的绝对值，a为常数；f(x,y)为所述待采样点的像素值，x为所述待采样点的横坐标，y为所述待采样点的纵坐标，xi为横向第i个所述邻近采样点的横坐标，yj为纵向第j个采样点的纵坐标。
可选的，所述结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵，具体包括：
将所述二分类概率矩阵输入所述CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵；
以所述像素的第一图像概率矩阵为所述像素的第一目标图像概率矩阵。
可选的，所述结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵，具体包括：
将所述二分类概率矩阵输入所述CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵；
将所述交通信号灯感兴趣区域图像输入所述CRF模型的二元势函数，迭代得到所述二元势函数中高斯核函数的参数和惩罚因子后，利用所述高斯核函数对所述交通信号灯感兴趣区域图像中各所述像素进行二元势函数计算，得到第二图像概率矩阵；
按预设权重对所述第一图像概率矩阵和所述第二图像概率矩阵进行加权运算，得到各所述像素的第二目标图像概率矩阵。
可选的，在所述根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果之后，还包括：
将所述图像分割结果中的前景图像像素值置为第一预设值，将所述图像分割结果中的背景图像像素置为第二预设值，得到第三图像；
根据所述第三图像生成掩膜文件；
利用所述掩膜文件和所述待检测交通信号灯图像计算得到交通信号灯区域位置信息；
根据所述待检测交通信号灯图像和所述交通信号灯区域位置信息生成交通信号灯分割图像；
输出所述交通信号灯分割图像。
可选的，在所述将所述交通信号灯感兴趣区域图像缩放，得到第一图像之前，还包括：
利用小波变换法对所述交通信号灯感兴趣区域图像进行去噪处理，得到第四图像；
对所述第四图像进行高斯滤波处理，得到第五图像；
相应的，所述将所述交通信号灯感兴趣区域图像缩放，得到第一图像，具体为：
将所述第五图像缩放，得到所述第一图像。
可选的，在所述获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像之后，还包括：
存储所述待检测交通信号灯图像和所述交通信号灯感兴趣区域图像。
为解决上述技术问题，本发明还提供一种交通信号灯的图像分割装置，包括：
获取单元，用于获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像；
缩放单元，用于将所述交通信号灯感兴趣区域图像缩放，得到第一图像；
第一分割单元，用于将所述第一图像输入预先训练的FCN网络，得到对所述第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，所述FCN网络的上采样层采用双三次插值法进行采样；
第二分割单元，用于结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵；
分类单元，用于根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果。
为解决上述技术问题，本发明还提供一种交通信号灯的图像分割设备，包括：
存储器，用于存储指令，所述指令包括上述任意一项所述交通信号灯的图像分割方法的步骤；
处理器，用于执行所述指令。
为解决上述技术问题，本发明还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述交通信号灯的图像分割方法的步骤。
本发明所提供的交通信号灯的图像分割方法，先获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像，将交通信号灯感兴趣区域图像缩放后得到的第一图像输入预先训练的FCN网络，得到对第一图像进行上采样后的第二图像的各像素的二分类概率矩阵，进而结合该二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵，最后根据目标图像概率矩阵对各像素进行二分类处理，得到待检测交通信号灯图像的图像分割结果，而其中，FCN网络的上采样层采用双三次插值法进行采样，双三次插值法相较于现有技术中FCN网络的上采样层采用的双线性插值法而言，考虑了待采样点邻近像素变化率的问题，从而提高了采样精度，进而提高了交通信号灯图像的边缘分割精度，保证了对交通信号灯信息的有效提取。
本发明还提供一种交通信号灯的图像分割装置、设备及存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的第一种交通信号灯的图像分割方法的流程图；
图2为本发明实施例提供的第二种交通信号灯的图像分割方法的流程图；
图3为本发明实施例提供的第三种交通信号灯的图像分割方法的流程图；
图4为本发明实施例提供的一种交通信号灯的图像分割装置的结构示意图；
图5为本发明实施例提供的一种交通信号灯的图像分割设备的结构示意图。
具体实施方式
本发明的核心是提供一种交通信号灯的图像分割方法、装置、设备及存储介质，用于提高对交通信号灯的图像分割问题中边缘分割的精度，保证对交通信号灯信息的有效提取。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的第一种交通信号灯的图像分割方法的流程图。
如图1所示，本发明实施例提供的交通信号灯的图像分割方法包括：
S101：获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像。
在具体实施中，拍摄得到待检测交通信号灯图像后，可以采用分类算法提取交通信号灯感兴趣区域的图像。
为便于后续取用与查看，在获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像之后，还包括：存储待检测交通信号灯图像和交通信号灯感兴趣区域图像。
S102：将交通信号灯感兴趣区域图像缩放，得到第一图像。
在进行图像分割之前，为保证后续处理精度，本发明实施例提供的交通信号灯的图像分割方法还可以包括：
利用小波变换法对交通信号灯感兴趣区域图像进行去噪处理，得到第四图像；
对第四图像进行高斯滤波处理，得到第五图像；
相应的，步骤S102中将交通信号灯感兴趣区域图像缩放，得到第一图像，具体为：
将第五图像缩放，得到第一图像。
S103：将第一图像输入预先训练的FCN网络，得到对第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，FCN网络的上采样层采用双三次插值法进行采样。
预先利用交通信号灯图像样本训练FCN网络对交通信号灯图像的分割能力，以通过FCN网络对交通信号灯图像(第一图像)进行初次分割。其中，FCN网络的上采样层用双三次插值法代替原有的双线性插值法，最终通过Softmax(逻辑回归)层输出第一图像每个像素的二分类概率矩阵。
传统的FCN网络的上采样层采用双线性插值法，在数学上，双线性插值是由两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。Q11(x1,y1)、Q21(x2,y1)、Q12(x1,y2)、Q22(x2,y2)为四个已知像素点，要插值的点(待采样点)为P(x,y)点，采用双线性插值算法，首先在x轴方向上，对R1(x,y1)和R2(x,y1)两个点进行插值，然后根据R1和R2对P点进行插值，具体公式如下所示：
Figure BDA0002526377200000071
其中，f(*)为*点处像素值。
基于交通信号灯图像分割的特殊性，即交通信号灯本身尺寸较小，又容易受到光线、天气、周围干扰物等多种因素的影响。因此交通信号灯分割对分割精度要求较高，FCN分割网络上采样层采用双线性插值法会存在高频分量受损，导致图像边缘在一定程度上变得较为模糊。
而在本发明实施例中，采用双三次插值法代替双线性插值法，极大地提高了分割精度。双三次插值法又称立方卷积插值，是一种更加复杂的插值方式，它能创造出比双线性插值更平滑的图像边缘。FCN网络的上采样层采用双三次插值法进行采样，具体通过下述公式计算各待采样点的像素值：
Figure BDA0002526377200000072
Figure BDA0002526377200000073
其中，W(z)为与待采样点在矩形网格中最近的邻近采样点的坐标对应的权重，|z|为邻近采样点的坐标与待采样点的对应坐标的差值的绝对值，a为常数；f(x,y)为待采样点的像素值，x为待采样点的横坐标，y为待采样点的纵坐标，xi为横向第i个邻近采样点的横坐标，yj为纵向第j个采样点的纵坐标。常数a通常可以采用-0.5。
从公式(2)(3)可以看到，待采样点P(x,y)的像素值是通过矩形网格中最近的十六个邻近采样点的像素值加权平均得到的。不同于双线性插值法中待采样点的像素值取决于最近四个点的像素值，双三次插值法利用待采样点周围最近的十六个点的像素值做三次插值，不仅考虑到四个直接相邻点的像素影响，而且考虑到各邻近像素点的像素值变化率的影响，尽可能的减少高频分量受损程度，得到更接近高分辨率图像的放大效果，进而可以提高FCN网络的分割精度，得到更精准的图像分割结果。
S104：结合二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵。
在利用FCN网络对交通信号灯图像(第一图像)进行初次分割后，接下来结合预先训练的CRF模型来对交通信号灯图像进行二次分割，进一步提高分割精度。
步骤S104具体可以包括：
将二分类概率矩阵输入CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵；
以像素的第一图像概率矩阵为像素的第一目标图像概率矩阵，以各像素的第一目标图像概率矩阵为各像素的目标图像概率矩阵。
S105：根据目标图像概率矩阵对各像素进行二分类处理，得到待检测交通信号灯图像的图像分割结果。
对交通信号灯图像(第二图像)进行二分类处理，根据各像素的目标图像概率矩阵，将各像素划分为前景图像像素(交通信号灯)和背景图像像素(除交通信号灯外的其他像素)，将交通信号灯图像中亮起的交通信号灯与图像中其他内容区分开，实现对交通信号灯的图像分割。
本发明实施例提供的交通信号灯的图像分割方法，先获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像，将交通信号灯感兴趣区域图像缩放后得到的第一图像输入预先训练的FCN网络，得到对第一图像进行上采样后的第二图像的各像素的二分类概率矩阵，进而结合该二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵，最后根据目标图像概率矩阵对各像素进行二分类处理，得到待检测交通信号灯图像的图像分割结果，而其中，FCN网络的上采样层采用双三次插值法进行采样，双三次插值法相较于现有技术中FCN网络的上采样层采用的双线性插值法而言，考虑了待采样点邻近像素变化率的问题，从而提高了采样精度，进而提高了交通信号灯图像的边缘分割精度，保证了对交通信号灯信息的有效提取。
图2为本发明实施例提供的第二种交通信号灯的图像分割方法的流程图。
在上述实施例的基础上，为了进一步提高交通信号灯的图像分割精度，在本发明实施例提供的交通信号灯的图像分割方法中，步骤S104：结合二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵，具体包括：
S201：将二分类概率矩阵输入CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵。
S202：将交通信号灯感兴趣区域图像输入CRF模型的二元势函数，迭代得到二元势函数中高斯核函数的参数和惩罚因子后，利用高斯核函数对交通信号灯感兴趣区域图像中各像素进行二元势函数计算，得到第二图像概率矩阵。
S203：按预设权重对第一图像概率矩阵和第二图像概率矩阵进行加权运算，得到各像素的第二目标图像概率矩阵。
相较于仅利用CRF模型对FCN网络输出的二分类概率矩阵进行计算后得到第一目标图像概率矩阵，在此基础上结合CEF模型对交通信号灯图像进行二分类后的结果进行加权运算将进一步提高交通信号灯图像的分割精度。
在具体实施中，在将二分类概率矩阵输入CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵的同时，在初始化状态下选择多张交通信号灯图像，即选择多张交通信号灯感兴趣区域图像输入CRF模型的二元势函数，迭代出二元势函数中高斯核函数的参数和惩罚因子，并量化存储高斯核函数的各个参数。在CRF模型正常工作状态下，读取其高斯核函数的各个参数对交通信号灯感兴趣区域图像中每个像素进行二元势函数计算的结果。结合步骤S201中的一元势函数结果可计算出每个像素的二分类概率矩阵。二元势函数描述了像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样CRF模型能够使图片尽量在边界处分割。
对步骤S201中一元势函数计算得到的第一图像概率矩阵和步骤S202中二元势函数计算到的第二图像概率矩阵进行加权运算，计算出每个像素的平均概率矩阵。以像素的平均概率矩阵为像素的第二目标图像概率矩阵，以各像素的第二目标图像概率矩阵为各像素的目标图像概率矩阵，再进行后续的对各像素进行二分类处理的步骤，能够获得更为准确的边界分割结果，进而获取更为准确的交通信号灯图像分割结果。
图3为本发明实施例提供的第三种交通信号灯的图像分割方法的流程图。
在上述实施例的基础上，为实现端到端的交通信号灯图像分割方案，为交通场景交通信号灯分割提供一种准确和高效的方案，在本发明实施例提供的交通信号灯的图像分割方法中，在步骤S105：根据目标图像概率矩阵对各像素进行二分类处理，得到待检测交通信号灯图像的图像分割结果之后，还包括：
S301：将图像分割结果中的前景图像像素值置为第一预设值，将图像分割结果中的背景图像像素值置为第二预设值，得到第三图像。
S302：根据第三图像生成掩膜文件。
S303：利用掩膜文件和待检测交通信号灯图像计算得到交通信号灯区域位置信息。
S304：根据待检测交通信号灯图像和交通信号灯区域位置信息生成交通信号灯分割图像。
S305：输出交通信号灯分割图像。
在具体实施中，第一预设值可以为255，第二预设值可以为0，即将前景图像像素值置为255，将背景图像像素置为0，得到第三图像。根据第三图像生成一个掩膜文件，最后把该掩膜文件和原始图像进行计算，可得出交通信号灯的区域位置信息。
上文详述了交通信号灯的图像分割方法对应的各个实施例，在此基础上，本发明还公开了与上述方法对应的交通信号灯的图像分割装置、设备及存储介质。
图4为本发明实施例提供的一种交通信号灯的图像分割装置的结构示意图。
如图4所示，本发明实施例提供的交通信号灯的图像分割装置包括：
获取单元401，用于获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像；
缩放单元402，用于将交通信号灯感兴趣区域图像缩放，得到第一图像；
第一分割单元403，用于将第一图像输入预先训练的FCN网络，得到对第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，FCN网络的上采样层采用双三次插值法进行采样；
第二分割单元404，用于结合二分类概率矩阵和预先训练的CRF模型，得到各像素的目标图像概率矩阵；
分类单元405，用于根据目标图像概率矩阵对各像素进行二分类处理，得到待检测交通信号灯图像的图像分割结果。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图5为本发明实施例提供的一种交通信号灯的图像分割设备的结构示意图。
如图5所示，本发明实施例提供的交通信号灯的图像分割设备包括：
存储器510，用于存储指令，所述指令包括上述任意一项实施例所述的交通信号灯的图像分割方法的步骤；
处理器520，用于执行所述指令。
其中，处理器520可以包括一个或多个处理核心，比如3核心处理器、8核心处理器等。处理器520可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器520也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器520可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器520还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器510可以包括一个或多个存储介质，该存储介质可以是非暂态的。存储器510还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器510至少用于存储以下计算机程序511，其中，该计算机程序511被处理器520加载并执行之后，能够实现前述任一实施例公开的交通信号灯的图像分割方法中的相关步骤。另外，存储器510所存储的资源还可以包括操作系统512和数据513等，存储方式可以是短暂存储或者永久存储。其中，操作系统512可以为Windows。数据513可以包括但不限于上述方法所涉及到的数据。
在一些实施例中，交通信号灯的图像分割设备还可包括有显示屏530、电源540、通信接口550、输入输出接口560、传感器570以及通信总线580。
本领域技术人员可以理解，图5中示出的结构并不构成对交通信号灯的图像分割设备的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的交通信号灯的图像分割设备，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如上所述的交通信号灯的图像分割方法，效果同上。
需要说明的是，以上所描述的装置、设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本发明各个实施例所述方法的全部或部分步骤。
为此，本发明实施例还提供一种存储介质，该存储介质上存储有计算机程序，计算机程序被处理器执行时实现如交通信号灯的图像分割方法的步骤。
该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例中提供的存储介质所包含的计算机程序能够在被处理器执行时实现如上所述的交通信号灯的图像分割方法的步骤，效果同上。
以上对本发明所提供的一种交通信号灯的图像分割方法、装置、设备及存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、设备及存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种交通信号灯的图像分割方法，其特征在于，包括：
获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像；
将所述交通信号灯感兴趣区域图像缩放，得到第一图像；
将所述第一图像输入预先训练的FCN网络，得到对所述第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，所述FCN网络的上采样层采用双三次插值法进行采样；
结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵；
根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果。
2.根据权利要求1所述的图像分割方法，其特征在于，所述FCN网络的上采样层采用双三次插值法进行采样，具体通过下述公式计算各待采样点的像素值：
Figure FDA0002526377190000011
Figure FDA0002526377190000012
其中，W(z)为与所述待采样点在矩形网格中最近的邻近采样点的坐标对应的权重，|z|为所述邻近采样点的坐标与所述待采样点的对应坐标的差值的绝对值，a为常数；f(x,y)为所述待采样点的像素值，x为所述待采样点的横坐标，y为所述待采样点的纵坐标，xi为横向第i个所述邻近采样点的横坐标，yj为纵向第j个采样点的纵坐标。
3.根据权利要求1所述的图像分割方法，其特征在于，所述结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵，具体包括：
将所述二分类概率矩阵输入所述CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵；
以所述像素的第一图像概率矩阵为所述像素的第一目标图像概率矩阵。
4.根据权利要求1所述的图像分割方法，其特征在于，所述结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵，具体包括：
将所述二分类概率矩阵输入所述CRF模型的一元势函数并进行对数运算，得到第一图像概率矩阵；
将所述交通信号灯感兴趣区域图像输入所述CRF模型的二元势函数，迭代得到所述二元势函数中高斯核函数的参数和惩罚因子后，利用所述高斯核函数对所述交通信号灯感兴趣区域图像中各所述像素进行二元势函数计算，得到第二图像概率矩阵；
按预设权重对所述第一图像概率矩阵和所述第二图像概率矩阵进行加权运算，得到各所述像素的第二目标图像概率矩阵。
5.根据权利要求1所述的图像分割方法，其特征在于，在所述根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果之后，还包括：
将所述图像分割结果中的前景图像像素值置为第一预设值，将所述图像分割结果中的背景图像像素值置为第二预设值，得到第三图像；
根据所述第三图像生成掩膜文件；
利用所述掩膜文件和所述待检测交通信号灯图像计算得到交通信号灯区域位置信息；
根据所述待检测交通信号灯图像和所述交通信号灯区域位置信息生成交通信号灯分割图像；
输出所述交通信号灯分割图像。
6.根据权利要求1所述的图像分割方法，其特征在于，在所述将所述交通信号灯感兴趣区域图像缩放，得到第一图像之前，还包括：
利用小波变换法对所述交通信号灯感兴趣区域图像进行去噪处理，得到第四图像；
对所述第四图像进行高斯滤波处理，得到第五图像；
相应的，所述将所述交通信号灯感兴趣区域图像缩放，得到第一图像，具体为：
将所述第五图像缩放，得到所述第一图像。
7.根据权利要求1所述的图像分割方法，其特征在于，在所述获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像之后，还包括：
存储所述待检测交通信号灯图像和所述交通信号灯感兴趣区域图像。
8.一种交通信号灯的图像分割装置，其特征在于，包括：
获取单元，用于获取待检测交通信号灯图像中的交通信号灯感兴趣区域图像；
缩放单元，用于将所述交通信号灯感兴趣区域图像缩放，得到第一图像；
第一分割单元，用于将所述第一图像输入预先训练的FCN网络，得到对所述第一图像进行上采样后的第二图像的各像素的二分类概率矩阵；其中，所述FCN网络的上采样层采用双三次插值法进行采样；
第二分割单元，用于结合所述二分类概率矩阵和预先训练的CRF模型，得到各所述像素的目标图像概率矩阵；
分类单元，用于根据所述目标图像概率矩阵对各所述像素进行二分类处理，得到所述待检测交通信号灯图像的图像分割结果。
9.一种交通信号灯的图像分割设备，其特征在于，包括：
存储器，用于存储指令，所述指令包括权利要求1至7任意一项所述交通信号灯的图像分割方法的步骤；
处理器，用于执行所述指令。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述交通信号灯的图像分割方法的步骤。
CN202010505442.7A 2020-06-05 2020-06-05 一种交通信号灯的图像分割方法、装置、设备及存储介质 Pending CN111667499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010505442.7A CN111667499A (zh) 2020-06-05 2020-06-05 一种交通信号灯的图像分割方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010505442.7A CN111667499A (zh) 2020-06-05 2020-06-05 一种交通信号灯的图像分割方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111667499A true CN111667499A (zh) 2020-09-15

Family

ID=72386684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010505442.7A Pending CN111667499A (zh) 2020-06-05 2020-06-05 一种交通信号灯的图像分割方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111667499A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034973A (zh) * 2012-12-05 2013-04-10 焦点科技股份有限公司 基于双三次插值的自适应图像缩放方法
CN105389476A (zh) * 2015-12-24 2016-03-09 四川大学 基于梯度特征的调强放射治疗计划剂量数据的插值算法
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN107516103A (zh) * 2016-06-17 2017-12-26 北京市商汤科技开发有限公司 一种影像分类方法和系统
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN108898140A (zh) * 2018-06-08 2018-11-27 天津大学 基于改进的全卷积神经网络的脑肿瘤图像分割算法
CN109064394A (zh) * 2018-06-11 2018-12-21 西安电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法
CN109191377A (zh) * 2018-07-25 2019-01-11 西安电子科技大学 一种基于插值的图像放大方法
CN109741340A (zh) * 2018-12-16 2019-05-10 北京工业大学 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN109872374A (zh) * 2019-02-19 2019-06-11 江苏通佑视觉科技有限公司 一种图像语义分割的优化方法、装置、存储介质及终端
CN110087092A (zh) * 2019-03-11 2019-08-02 西安电子科技大学 基于图像重构卷积神经网络的低码率视频编解码方法
CN111008644A (zh) * 2019-10-30 2020-04-14 西安电子科技大学 基于局部动态能量函数fcn-crf模型的生态变化监测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034973A (zh) * 2012-12-05 2013-04-10 焦点科技股份有限公司 基于双三次插值的自适应图像缩放方法
CN105389476A (zh) * 2015-12-24 2016-03-09 四川大学 基于梯度特征的调强放射治疗计划剂量数据的插值算法
CN107516103A (zh) * 2016-06-17 2017-12-26 北京市商汤科技开发有限公司 一种影像分类方法和系统
CN106600571A (zh) * 2016-11-07 2017-04-26 中国科学院自动化研究所 融合全卷积神经网络和条件随机场的脑肿瘤自动分割方法
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN108898140A (zh) * 2018-06-08 2018-11-27 天津大学 基于改进的全卷积神经网络的脑肿瘤图像分割算法
CN109064394A (zh) * 2018-06-11 2018-12-21 西安电子科技大学 一种基于卷积神经网络的图像超分辨率重建方法
CN109191377A (zh) * 2018-07-25 2019-01-11 西安电子科技大学 一种基于插值的图像放大方法
CN109741340A (zh) * 2018-12-16 2019-05-10 北京工业大学 基于fcn-aspp网络的冰盖雷达图像冰层精细化分割方法
CN109872374A (zh) * 2019-02-19 2019-06-11 江苏通佑视觉科技有限公司 一种图像语义分割的优化方法、装置、存储介质及终端
CN110087092A (zh) * 2019-03-11 2019-08-02 西安电子科技大学 基于图像重构卷积神经网络的低码率视频编解码方法
CN111008644A (zh) * 2019-10-30 2020-04-14 西安电子科技大学 基于局部动态能量函数fcn-crf模型的生态变化监测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王一丁等: "《数字图像处理》", 31 August 2015 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112180285A (zh) * 2020-09-23 2021-01-05 北京百度网讯科技有限公司 识别交通信号灯故障的方法、装置、导航系统和路侧设备

Similar Documents

Publication Publication Date Title
CN110176027B (zh) 视频目标跟踪方法、装置、设备及存储介质
CN108510451B (zh) 一种基于双层卷积神经网络的重建车牌的方法
CN110163188B (zh) 视频处理以及在视频中嵌入目标对象的方法、装置和设备
CN111079764B (zh) 一种基于深度学习的低照度车牌图像识别方法及装置
CN112329702B (zh) 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质
CN110363211B (zh) 检测网络模型和目标检测方法
Xiao et al. Single image dehazing based on learning of haze layers
CN107564009B (zh) 基于深度卷积神经网络的室外场景多目标分割方法
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
WO2023082453A1 (zh) 一种图像处理方法及装置
CN110675334A (zh) 一种图像增强方法及装置
Molina-Cabello et al. The effect of downsampling–upsampling strategy on foreground detection algorithms
Wang et al. Semantic segmentation of high-resolution images
CN113421217A (zh) 可行驶区域检测方法和装置
Guo et al. A novel transformer-based network with attention mechanism for automatic pavement crack detection
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Sun et al. Image interpolation via collaging its non-local patches
CN111667499A (zh) 一种交通信号灯的图像分割方法、装置、设备及存储介质
CN113506305A (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
Chen et al. Candidate region acquisition optimization algorithm based on multi-granularity data enhancement
Kumar et al. Enhanced machine perception by a scalable fusion of RGB–NIR image pairs in diverse exposure environments
KR20140138046A (ko) 픽처를 처리하기 위한 방법 및 디바이스
Wang et al. Single image rain removal with reusing original input squeeze‐and‐excitation network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915