CN107909059A - 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 - Google Patents

一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 Download PDF

Info

Publication number
CN107909059A
CN107909059A CN201711243013.1A CN201711243013A CN107909059A CN 107909059 A CN107909059 A CN 107909059A CN 201711243013 A CN201711243013 A CN 201711243013A CN 107909059 A CN107909059 A CN 107909059A
Authority
CN
China
Prior art keywords
image
mrow
theta
map
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711243013.1A
Other languages
English (en)
Inventor
余伶俐
夏旭梅
周开军
孔德成
严孝鑫
邵玄雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN201711243013.1A priority Critical patent/CN107909059A/zh
Publication of CN107909059A publication Critical patent/CN107909059A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，包括以下步骤：步骤A：获取连续场景中的多幅待检测图像；步骤B：获取待检测图像集的聚类协同图；步骤C：获取每幅待检测图像的注意力显著图；步骤D：获得每幅待检测图像对应的协同显著图；步骤E：进行标志牌ROI区域的定位；步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换；步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，完成对待检测图像的识别。该方法模拟了人类大脑对目标的视觉处理步骤，集成了自底向上和自顶向下的视觉处理过程。考虑全局图像的协同性，使得图像定位准确且具有较强鲁棒性识别。

Description

一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与 识别方法
技术领域
本发明属于生物信息与机器视觉技术的交叉领域，尤其涉及一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法。
背景技术
交通标志牌识别是驾驶员辅助系统和无人驾驶系统中最核心的问题之一。其中，复杂城市场景下交通标志牌的检测和识别是计算机视觉领域的热点与难点。然而，利用传统计算机视觉算法实现复杂场景图像中目标的检测与识别，是一项极具挑战性的任务。众所周知，人类的视觉系统会在无先验知识的条件下将注意力集中在目标的轮廓、颜色、边缘方向和对比度上，因此人类能够在复杂场景中有效地屏蔽干扰信息，快速锁定感兴趣目标。受此视觉处理机制的启发，利用仿生视觉算法进行交通标志牌的检测与识别是目前较有前景的解决办法。
传统的交通标志牌检测方法主要分为：自顶向下的基于颜色和基于形状的处理方法。由于交通标志牌特定的颜色，因此理论上可以用颜色阈值分割感兴趣区域。然而这种方法对于具有光照强弱变化、颜色退化、相似背景干扰的场合并不适用。基于形状的方法常常利用sobel边缘检测、Canny边缘检测目标轮廓，进一步找到与标志牌具有相似轮廓的候选区域作分析。然而，这种方法在标志牌被遮挡、破损的场合表现出较差的性能。近些年来，基于自底向上的显著性检测算法由于其广泛的应用场合受到越来越多的关注，如目标识别、图像分割、图像检索等。如典型的Itti算法，作为最早提出的视觉注意模型。主要思想是对输入图像进行多个特征通道和多尺度的分解，经过滤波和融合计算得到显著图。在该模型中的显著值是像素点在颜色、亮度、方向方面与周边背景的对比值。这种方法计算较为简单，但由于不停的使用邻近插值，导致显著图的分辨率降低，容易丢失边缘信息。在Itti算法的基础上进一步改进，提出了基于空间频率的谱残差算法SR、基于上下文显著性检测算法CA以及基于频域尺度分析的视觉显著性模型HFT，但这类方法无法克服复杂背景带来的干扰。随后Chen等人提出采用基于分布的表示方式来表征一幅图像中的稀疏特征。基于一对图像的特征分布，提出了一种增强前注意响应的渐进算法，从而能够识别图像中常见的显著目标，但这种方法不具有普遍适用性。如今，大多数显著性检测算法都是针对单个图像而言的，往往只考虑了单个图像中的对比度较强或区别度较大的区域，却忽视了多幅图像之间的相关性。因此，本发明提出协同显著性检测这种方法以解决这些问题。
根据生物视觉感知机理，当视觉目标刺激出现时，人类视觉感知初始过程产生在视网膜，视网膜内完成初始特征检测。而后，图像信号再由视神经激励传输。其中特征包括边缘、方向、位置、梯度等信息。更重要的是，在这个过程中，存在多个自底向上与自顶向下的视觉处理过程。自底向上是根据底层特征刺激识别图像的感兴趣区域，而自顶向下是由任务和经验等高阶特征指导进行的。为此，如何建立适当的模型，使自底向上和自顶向下两种视觉处理过程有效结合到一起对图像进行视觉感知，使该模型能够克服复杂背景干扰，从而能够识别图像中常见的显著目标，成为本发明亟待解决的问题。
发明内容
本发明所要解决的技术问题是，提供一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，受人类视觉感知机制启发，结合自底向上与自顶向下的视觉处理过程，检测多幅图像之间具有相关性的显著性区域，以减少城市化背景带来的干扰。并在此基础上提取具有旋转、缩放、平移、噪声的不变性特征，大大地提升了目标识别率。
一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，包括以下步骤：
步骤A：获取连续场景中的多幅待检测图像；
步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom-up视觉注意力线索，获取待检测图像集的聚类协同图；
步骤C：通过提取每幅待检测图像的两个bottom-up视觉注意力线索，获取每幅待检测图像的注意力显著图；
步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；
基于聚类的注意力线索使得多幅图像之间保持全局一致性。对单幅图像利用对比度和空间位置线索进行视觉注意力检测使得图像保持局部不变性。将两者利用乘积方式进行融合，使其具有全局一致性和局部不变性的双重优势，并且乘积融合能有效克服噪声干扰。
步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；
步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；
步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，依据相关性计算结果完成对待检测图像的识别。
本方案在复杂场景中依据注意力显著图和聚类协同图准确定位目标，模拟大脑视觉皮层对线条目标边缘与空间频率具有敏感性和选择不变性的机制，设计出前向通道视觉计算模型。
预设的圆标志形状模板和三角形标志形状模板的模板测量值足以下条件：
圆形交通标志牌的阈值范围[L1,H1]＝[0.85,1]，三角形交通标志牌的阈值范围[L2,H2]＝[0.45,0.55]；
Sregion、Pregion、SBox依次为协同显著图中的连通域的面积、周长以及最小外接矩形的面积；
进一步地，所述聚类协同图和注意力显著图的获取过程相同，在获取聚类协同图时，先对每幅待检测图像进行尺度归一化处理后，将所有的待检测图像进行融合作为一幅图后，再按下面步骤处理：
对每幅待检测图像进行尺度归一化处理；
利用双线性插值法，重置M幅输入图像大小I(i,j)＝200×200×3，形成输入图像集
步骤B1：设置图间像素聚类个数K1，对所有像素点进行K-Means聚类分析，得到K1个聚类以及聚类中心
当输入多幅图像时，多幅图像的图间聚类个数K1＝min(max(2*M,10),30)，当输入一幅图像时，单幅图像的图内聚类个数K1取值范围为5～8之间；
步骤B2：分别计算每个聚类的视觉注意力线索权值；
步骤B3：将上述得到的每个聚类的视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为聚类级协同显著性线索权值；
第k个类别的聚类级协同显著性线索权值为 表示第k个类别的第i个bottom-up视觉注意力线索，i依次取值为c、s、d，分别表示对比度权值、空间位置权值、重复性权值；
步骤B4：依次将每个聚类的聚类级协同显著性线索权值，分配给每个聚类中的每个像素点，生成待检测图像集的聚类协同图map1；
其中，聚类协同图包括三个bottom-up视觉注意力线索，分别为对比度权值、空间位置权值和重复性权值；
注意力显著图包括两个bottom-up视觉注意力线索分别为对比度权值和空间位置权值。
协同显著图由图间聚类协同图和单幅图像注意力显著图融合构成的。
进一步地，采用概率框架软分配的方式对每个聚类中的每个像素点的协同显著性线索权值进行分配，每个聚类中的像素的协同显著性线索权值的似然值满足高斯分布。
其中，像素vx表示像素x的特征向量，表示聚类的聚类中心，σk表示一个像素聚类的高斯方差；
p(x)表示最终的像素级别协同显著值，
若直接将步骤A4得到的每个类别的聚类级协同显著性线索权值分配给对应类别的像素点时，会造成同一聚类中具有同一线索权值的像素点没有充分的区分性，特别是在聚类个数较少的情况。
采用概率框架软分配的方式平滑每个像素的协同显著性线索权值，避免离散化聚类；
所述步骤B2中计算每个聚类的对比度权值、空间位置权值和重复性权值的表达式如下：
1)按如下表达式计算每个类别的对比度权值：
对比度将注线索意力放在图像中具有独一性的视觉特征上，它模拟了人类的视觉感受野功能。
其中，表示第k个类别的对比度权值，ni表示第i个类别的像素个数，N表示输入图像集的所有像素个数，表示第k个类别的聚类中心.；
2)按如下表达式计算每个类别的空间位置权值：
空间位置线索模拟人类视觉的中央周边差规则，使得靠近图像中心位置的区域能够得到更多的关注。
其中，表示第k个类别的空间位置权值，表示第k个聚类类别，nk表示聚类数目M表示输入的图像总数 表示图像Ij的第i个像素，表示图像Ij的第i个像素的聚类类别，Nj表示图像的维度，表示图像Ij中像素的位置坐标，oj表示图像Ij的中心位置坐标，G(·)表示高斯内核函数，计算与图像中心oj之间的欧式距离，σ2设为图像的归一化半径，δ(·)表示克罗内克δ函数；
3)按如下表达式计算每个类别的重复性权值：
根据K1个聚类分别在M幅图像中的直方图分布情况，计算第k个类别的重复性权值的表达式如下：
重复性线索可视化了多幅图像上的聚类分布情况，描述目标出现频率的高低。
其中，表示第k类别在图像Ij上的直方图分布值，表示第k个类别在M幅图像上的分布值方差，表示第k个类别的重复性权值；
进一步地，所述对标志牌ROI区域采用前向通道进行两级生物启发变换的过程如下：
步骤F1：对所有的标志牌ROI区域剪切并尺度归一化为[88,88]，得到输入ROI图像集；
步骤F2：构建方向边缘检测算子对输入ROI图像集进行边缘检测，获得方向边缘图E；
步骤F3：将方向边缘图E进行不同方向θ与不同间距I下的间隔检测，获得第一阶段变换图S1；
在间隔检测过程中，首先对边缘图E进行(θ,I)的平移操作得到平移后的边缘图像E(θ,I)，再将平移前后的边缘图相乘，最后利用方向边缘图E的平方和进行归一化处理，获得间距检测图Re(θ,I)，||E||为方向边缘图E的平方和；
对间距检测图Re(θ,I)再使用赢家通吃的策略，获取(θ,I)检测条件下的间距检测图Re(θ,I)中前Z个最大值，存入初始响应区域集合Re`(θ,I)，并将集合Re`(θ,I)作为第一阶段的视觉记忆信息，
其中，Re'(θ,I)z表示(θ,I)检测条件下第z个初始响应值；Z表示初始响应取值数量，取值范围为3-5，max(Re(θ,I),Z)表示间距检测图Re(θ,I)中前Z个最大值；
步骤F4：采用半波整形函数对间距检测图进行整形处理，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距图中所有像素值累加求和的结果映射至该坐标系下的对应位置，得到第一阶段的输出图像S1；
步骤F5：将第一阶段输出图像S1按照步骤F2、F3、F4的处理过程再进行一次，得到第二阶段的特征输出图像S2和第二阶段的视觉记忆信息Re``(θ,I)。
进一步地，所述对输入ROI图像集进行边缘检测的过程如下：
利用自适应Gabor滤波进行滤波处理得到中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对输入图像提取图像边缘：
其中，表示卷积，θ表示边缘方向角度，θ∈[0,180°]，自适应Gabor滤波器宽度w＝0.1×I，I为输入图像中像素间距，取值范围为二维图像长度的10％-80％，M表示输入ROI图像，E(θ,I；M)表示图像方向边缘检测结果，表示微分算子。
进一步地，所述利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算的过程如下：
步骤H1：分别选取圆形和三角形交通标志牌下每个类别的一幅标准图像组成模板数据库图像集；
步骤H2：将每幅模板图像按照步骤F所述方法进行两级生物启发变换，将每幅模板图像的特征图S2整形成列向量存入矩阵T中，作为模板特征向量集；
步骤H3：将待检测图像的特征图S2整形成一组列向量，以该列向量作为待检测图像的特征向量，存入矩阵F中；
步骤H4：使用Pearson相关性来计算待检测图像的特征向量与模板数据库中各图像的特征向量之间的相关性，取Pearson相关距离最小的模板对应的分类标签作为最终的识别结果；
两个特征向量的Pearson相关距离按照下面公式计算为：
其中，F＝{fi|i＝1,…,Ni}表示待检测图像的特征向量，Ni表示待检测图像的特征向量维度，表示待检测图像特征向量的平均值，表示模板数据库中第k幅图像的特征向量，Nj表示模板数据库中图像的特征向量维度，表示模板数据库中第k幅图像的特征向量的平均值。
进一步地，所述自适应Gabor滤波器由传统Gabor滤波器组与Laplacian操作符卷积得到，按如下公式获得：
其中，
其中，x′＝xcosθ+ysinθ，y′＝-xsinθ+ycosθ，(x,y)是输入图像M的像素位置坐标，λ表示波长，θ∈[0,180°]是Gabor滤波器的方向，是相位，W是带宽，γ＝1指定Gabor波的椭圆率的空间纵横比，σ是Gaussian函数沿x轴和y轴的均方差，其中σ＝10λ。
更能突出局部方向特征；
进一步地，所述步骤F4中采用半波整形函数的表达式如下：
由于神经元的输出是响应，并且低于零的响应不存中。
进一步地，利用记忆信息进行反向通道视觉验证，得到原ROI区域的击中图，具体过程如下：
步骤S1：标记第二阶段特征变换图中响应强度最大的前N个像素点，利用第二阶段的视觉记忆信息Re``(θ,I)，从该特征变换图中找到这N个像素点在对应(θ,I)条件下的前Z个响应强度最大的位置，反向投射至第一级变换图，得到第二级击中图；
N表示记忆响应阈值，取值范围为100-200；Z的取值范围为3-5，
步骤S2：利用第一级视觉记忆Re`(θ,I)，将第二级击中图的所有像素点反向投射在原输入图像上，获得第一级击中图即原ROI的击中图。
利用视觉记忆信息进行反向投射，计算原ROI区域的击中图。从该击中图上可以看出击中点主要投射在具有显著感知的特征位点上(即我们定位的ROI区域中)，有效抑制冗余背景。这解释了大脑是如何在复杂场景中“一眼”定位目标区域的视觉处理过程。
进一步地，利用高斯卷积核函数作为掩模与步骤S2中生成的击中图进行卷积运算，再将卷积图与原图像进行卷积构成目标边缘图；
所述采用高斯核函数为：
其中，高斯核函数的长和宽为3，高斯核函数的中心坐标x0＝y0＝0，标准差σx＝σy＝0.2。
虽然击中图能够表示主要对象的轮廓，但它是离散分布的，同时存在一些小型噪声区域需要被删除。因此，在每次击中周围，应用二维高斯核函数来抑制背景噪声；
突破了现有研究较少设计反向视觉计算问题，从反向视觉角度解释计算机模拟大脑视觉皮层对刺激目标作出的反应是有效可行的。
利用视觉记忆信息进行反向投射，计算原ROI区域的击中图。从该击中图上可以看出击中点主要投射在具有显著感知的特征位点上(即我们定位的ROI区域中)，有效抑制冗余背景。这解释了大脑是如何在复杂场景中“一眼”定位目标区域的视觉处理过程。
而所有击中图利用高斯响应函数作为掩模进行卷积得到卷积图，再与原图像进行卷积得到目标边缘图。这是一种可视化的验证形式，可以直观看出所有击中点通过卷积之后恰好组成目标的基本方向边缘，以此验证大脑对线条目标方向具有的强烈敏感性。
有益效果
本发明提供了一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，利用基于聚类的注意力模型检测存在交通标志牌的候选区域，然后对这些候选区域作自顶向下的形状分析，定位交通标志的感兴趣区域。接着利用两阶段生物启发变换提取具有不变属性的交通标志牌特征矢量，同时产生两个阶段的视觉记忆信息。再次利用这些记忆信息进行反向通道视觉验证，得到原ROI区域的击中图，以此构成目标边缘图来验证该仿生视觉算法的有效性。最后，采用Pearson相关性计算待测图像特征矢量与模板数据库之间的相似性，得到识别结果。
相比于现有技术而言，具有以下几点优点：
(1)从生物视觉角度出发，集成bottom-up与top-down的视觉处理过程，提出了面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法。大多数交通标识牌的检测中运用的显著性算法都是针对单个图像进行的，这类方法通常会忽视多幅图像之间的相关性。然而本发明采用的方法具有全局一致性和局部不变性的双重优势，没有繁重的学习任务，所提特征克服了平移、旋转、缩放、噪声、强背景的干扰并且在夜间条件下能准确定位。
(2)基于聚类的协同注意力检测，从人类的视觉感知出发，由自底向上的三个线索：其中对比度线索将注意力放在图像中具有独一性的视觉特征上，模拟了人类的视觉感受野功能。空间位置线索模拟人类视觉的中央周边差规则，可以看出靠近图像中心位置的区域能够得到更多的关注。重复性线索可视化了多幅图像上的聚类分布情况，描述目标出现频率的高低。其次，采用概率框架软分配每个像素的协同显著值，克服了复杂背景以及相似背景带来的干扰，提高了交通标志牌的定位准确性。
(3)前向通道两级生物启发变换具有模拟人类大脑的多通道视觉处理过程，反向视觉通道的设计模拟了大脑对目标检测过程中产生的短暂视觉记忆，视觉感知记忆对回溯追踪时很有帮助的。因此，在两级变换中创建两个神经系统的短时记忆，而这些记忆包含每个神经元细胞的空间关系的信息。本发明充分利用这些视觉记忆，显著提高神经反向计算的效率，有效验证候选目标的可行性。采取rank-1识别机制得到的识别图像准确率高且整体运行速度快。
附图说明
图1为本发明面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别总体框架图；
图2为本发明基于聚类的协同注意力模型算法流程图；
图3为本发明给定一组交通标志牌图像，其中，(a)为输入图像，(b)为对比度显著图，(c)为空间位置显著图，(d)为重复性显著图，(e)为协同显著图；
图4为本发明在协同显著的连通候选标记上定位交通标志牌的ROI区域；
图5为本发明前向通道两级生物启发变换示意图；
图6为本发明裁剪与尺度归一化后的输入ROI图像集；
图7为本发明对输入ROI图像进行前向通道两级生物启发变换图，其中，(a)为标志牌原图像，(b)为图(a)的第一阶段输出图，(c)为图(a)的第二阶段输出图；(d)为对图(a)逆时针旋转35°，(e)为对图(d)的第一阶段输出图，(f)为对图(d)的第二阶段输出图；(g)为对图(a)缩小0.65倍，(h)为对图(g)的第一阶段输出图，(i)为对图(g)的第二阶段输出图；(j)为对图(a)进行平移(10,20)，(k)为对图(j)的第一阶段输出图，(l)为对图(j)的第二阶段输出图；(m)为对图(a)加入0.1倍噪声，(n)为对图(m)的第一阶段输出图，(o)为对图(m)的第二阶段输出图；
图8为本发明利用视觉记忆信息进行反向投射通道示意图；
图9为本发明利用反向投射通道得到的真实目标的击中图与目标边缘图对比示意图，其中，(a)为第二阶段变换图，(b)为第二级击中图，(c)为第一级击中图，(d)为卷积图，(e)为目标边缘图。
具体实施方式
下面将结合附图和实施例对本发明所述的方法做进一步的说明。
本实施例针对复杂城市场景中应用较多的圆形禁令标志牌和三角形警告标志牌，如图1所示，一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，包括以下步骤：
实施实例1：基于仿生视觉的显著性区域检测
步骤A：获取连续场景中的多幅待检测图像；
步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom-up视觉注意力线索，获取待检测图像集的聚类协同图，如图2所示，使得图像集中重复出现的同一或近似的区域能被突显出来；
步骤C：通过提取每幅待检测图像的两个bottom-up视觉注意力线索，获取每幅待检测图像的注意力显著图；
其中，所述步骤B中的聚类协同图与步骤C中的单幅图像注意力显著图的获取过程相同，在获取聚类协同图时，先对每幅待检测图像进行尺度归一化处理，具体如下：
利用双线性插值法，重置M幅输入图像大小I(i,j)＝200×200×3，形成输入图像集
将所有的待检测图像进行融合作为一幅图后，再按下面步骤处理：
步骤B1：设置图间像素聚类个数K1，对所有像素点进行K-Means聚类分析，得到K1个聚类以及聚类中心
步骤B2：分别计算每个聚类的视觉注意力线索权值；
步骤B3：将上述得到的每个聚类的视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为聚类级协同显著性线索权值；
第k个类别的聚类级协同显著性线索权值为 表示第k个类别的第i个bottom-up视觉注意力线索，i依次取值为c、s、d，分别表示对比度权值、空间位置权值、重复性权值；
步骤B4：依次将每个聚类的聚类级协同显著性线索权值，分配给每个聚类中的每个像素点，生成待检测图像集的聚类协同图map1；
其中，聚类协同图包括三个bottom-up视觉注意力线索，分别为对比度权值、空间位置权值和重复性权值；单幅注意力显著图包括两个bottom-up视觉注意力线索分别为对比度权值和空间位置权值。
为了避免离散化聚类，本方法采用概率框架软分配的方式平滑每个像素的线索权值，即像素的协同显著性似然值满足高斯分布如下：
其中vx表示像素x的特征向量，高斯方差σk取类的方差；
则显著性的边缘分布p(x)可以通过所有聚类的联合分布计算得到:
当至少包括2幅以上的图像时，所述步骤B1中聚类个数K1的取值满足下式：
K1＝min(max(2*M,10),30)
所述步骤B2中计算每个聚类的对比度权值、空间位置权值和重复性权值的表达式如下：
2)按如下表达式计算每个类别的对比度权值：
其中，表示第k个类别的对比度权值，ni表示第i个类别的像素个数，N表示输入图像集的所有像素个数，表示第k个类别的聚类中心；
2)按如下表达式计算每个类别的空间位置权值：
其中，表示第k个类别的空间位置权值，表示第k个聚类类别，nk表示聚类数目M表示输入的图像总数 表示图像Ij的第i个像素，表示图像Ij的第i个像素的聚类类别，Nj表示图像的维度，表示图像Ij中像素的位置坐标，oj表示图像Ij的中心位置坐标，G(·)表示高斯内核函数，计算与图像中心oj之间的欧式距离，σ2设为图像的归一化半径，δ(·)表示克罗内克δ函数；
3)按如下表达式计算每个类别的重复性权值：
根据K1个聚类分别在M幅图像中的直方图分布情况，计算第k个类别的重复性权值的表达式如下：
其中，表示第k类别在图像Ij上的直方图分布值，表示第k个类别在M幅图像上的分布值方差，表示第k个类别的重复性权值；
所述步骤C中设置单幅图像的聚类个数为K2，取值范围为5～8之间；
步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；
给定一组交通标志牌图像共有8幅，作为连续场景输入图像集，如图3(a)。根据步骤B～D所述进行了单个注意力线索权值在显著性检测中的作用效果实验。图3(b)为对比度线索单独作用时的效果图，可以看出对比度操作将注意力放在图像中具有独一性的视觉特征上，它模拟了人类的视觉感受野功能。图3(c)为空间位置线索单独作用时的效果图，模拟人类视觉的中央周边差规则，可以看出靠近图像中心位置的区域能够得到更多的关注。图3(d)为重复性单独作用时的效果图，它可视化了多幅图像上的聚类分布情况，描述目标出现频率的高低。图3(e)描述了上述三个线索经过融合之后生成协同显著效果图。可以看出三角形交通标志牌是这8幅图像中的最显著区域，被检测出来了，而第5幅图像中不包含任何标志牌的自然场景图像没有明显检测的显著区域。
步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；
所述步骤E的具体过程如下：
步骤E1：在协同显著图的基础上使用8邻域对图像中每个连通区域进行标记；
步骤E2：在连通区域上建立圆度和三角形检测模板，利用检测模板判别每幅场景图像属于非交通标志牌、圆形交通标志牌以及三角形交通标志牌的类别；
利用区域描述子函数求出每个连通区域的面积Sregion，周长Pregion，最小外接矩形的面积SBox,则圆度和三角形测量值的计算式如下：
(圆度计算)
(三角形计算)
根据实验经验，设置圆形交通标志牌的测量值阈值范围[L1,H1]＝[0.85,1]。设置三角形交通标志牌的阈值范围[L2,H2]＝[0.45,0.55]
最后利用外接矩形盒子框住含有交通标志牌的ROI区域，实现标志牌的定位，如图4所示。
步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；如图5所示；
所述步骤F的具体过程如下：
步骤F1：对定位后的ROI图像剪切并尺度归一化为[88,88]，作为输入ROI图像集，如图6所示；
步骤F2：利用自适应Gabor滤波对输入图像集进行滤波处理得到中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对输入图像提取图像边缘，获得边缘图像E；
步骤F3：先对边缘图E进行(θ,I)的平移操作得到平移后的边缘图像E(θ,I)，再将平移前后的边缘图进行乘积求和处理。最后，利用两幅边缘图像像素点总和的平方进行归一化，再使用赢家通吃的策略，得到初始响应区域集合Re`(θ,I),该集合作为第一阶段的视觉记忆信息；
步骤F4：采用半波整形函数对初始响应区域集合进行整形处理，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的结果映射至第一阶段输出图像中对应像素点，得到第一阶段的输出图像S1；
步骤F5：将第一阶段输出图像S1按照步骤D2、D3、D4的处理过程再进行一次，得到第二阶段的特征输出图像S2和第二阶段的视觉记忆信息Re``(θ,I)；
其中，第一阶段变换间隔I范围是图像大小的5％-80％，在其定义域范围内等分成64份，角度θ在[0,180°]内等分64份，则第一阶段的输出图像S1的分辨率为64×64。第二阶段变换间距I取值范围为输入图像10％-70％，角度θ为[0,180°]，同样也分成64等份。则第二阶段的特征输出图像S2分辨率也为64×64；
为了验证提取的特征具有RSTN不变属性。本实施过程中随机选取了一幅交通标志牌图像作为输入，进行前向通道两级生物启发变换，得到两阶段特征图。并且在输入图像基础上，随机生成旋转、缩放、平移和加噪的图像作为输入，以产生两阶段特征图；为了结果可视化比较，将第一阶段与第二阶段输出结果以图像形式可视化呈现。图7(a)为标志牌原图像，图7(b)和(c)分别为图7(a)的第一阶段输出图和第二阶段输出图；图7(d)为对图7(a)逆时针旋转35°，图7(e)和(f)分别为对图7(d)的第一阶段输出图和第二阶段输出图。较图7(e)与图7(b)而言，相当于发生了水平向左移动；然而第二阶段图7(d)与图7(c)相比，几乎不变。为此，原图像即使发生了旋转，经过生物变换的两阶段处理后，提取的图像特征，并没有发生变化，即所提图像特征具有旋转不变性。
图7(g)为对图7(a)缩小0.65倍，图7(h)和(i)分别为图7(g)的第一阶段输出图和第二阶段输出图，较图7(h)与图7(b)而言，第一阶段输出图整体下移，然而第二阶段图7(i)与图7(c)相比，表现非常稳定几乎不变。为此，第二阶段输出特征图，对于比例缩放仍具有不变性。；
图7(j)为对图7(a)进行平移(10,20)，图7(k)和(l)分别为对图7(j)的第一阶段输出图和第二阶段输出图，可以看出各阶段输出与原图像第一阶段和第二阶段输出类似。因此，即使图像边缘发生移动，第一阶段输出图像也不会变化。在第二阶段中，其输入图像几乎一样，为此，即便经过边缘检测与间距检测，平移图像仍具有不变性。
图7(m)为对图7(a)加入0.1倍噪声，图7(n)和(o)分别为对图7(m)的第一阶段输出图和第二阶段输出图。可以看出，当对图像加入一定程度上的噪声时，第一阶段特征图基本轮廓保持不变，具有明显的抗干扰能力。因此进行第二阶段变化时几乎不噪声影响，使得第二阶段图与图7(b)相比，几乎不变。为此，说明本方法对噪声也具有一定容错能力。
利用视觉记忆信息采用反向视觉通道验证；
步骤S：对步骤F得到的特征变换图设计反向视觉通道算法。利用视觉记忆信息进行反向投射，计算原ROI区域的击中图，所有击中图构成目标边缘图，用目标边缘图来验证该仿生视觉算法的有效性，如图8所示；
所述步骤S的具体过程如下：
步骤S1：标记候选目标特征图的响应强度最大的前N个像素点(记忆响应阈值N的取值范围为100-200)，利用第二阶段的视觉记忆信息Re``(θ,I)，找到每个像素点在对应(θ,I)条件下的前K响应强度最大的位置(K的取值范围为3-5)，反向投射至第一级变换图，得到第二级击中图；
步骤S2：同理，利用第一级视觉记忆Re`(θ,I)，将第二级击中图的所有像素点反向投射在原输入图像上，获得第一级击中图即原ROI的击中图；
步骤S3：利用高斯卷积核函数作为掩模与步骤E2中生成的击中图进行卷积运算，抑制背景噪声，再将卷积图与原图像进行卷积以此构成目标边缘图；
所述采用高斯核函数为：
其中，高斯核函数的长和宽x＝y＝3，高斯核函数的中心坐标x0＝y0＝0，标准差σx＝σy＝0.2
针对步骤S，具体实施过程为：随机选取一幅三角形交通标志牌图像，将它的的第二阶段变换图进行反向通道投射，绘出第二级击中图和第一级击中图，利用高斯核函数作为掩模与第一级击中图进行卷积得到卷积图，再将卷积图与原图像卷积得到目标边缘图。
如图9所示，通过设定记忆响应阈值的大小N(本实验取值200)，可以将第二阶段特征图中高响应区域检测出来(图中灰色点表示区域)。从生物学角度来看，这样的阈值模拟了在人类视觉系统中神经反应的最小灵敏度。从信号处理的角度来看，不考虑弱神经元信号响应。然后，将每个高响应位置点对应的(θ,I)，利用第二阶段的视觉记忆信息Re``(θ,I)回溯追踪前K响应强度最大的位置(本实验K取值3)，反向投射至第一级变换图，得到第二级击中图。同理，将第二击中图中的高响应区域进行回溯追踪，获得第一级击中图。经过两次卷积可以看出三角形的目标边缘轮廓被击中，以此验证该仿生视觉算法的有效性。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法，其特征在于，包括以下步骤：
步骤A：获取连续场景中的多幅待检测图像；
步骤B：提取由所有的待检测图像构成的待检测图像集的三个bottom-up视觉注意力线索，获取待检测图像集的聚类协同图；
步骤C：通过提取每幅待检测图像的两个bottom-up视觉注意力线索，获取每幅待检测图像的注意力显著图；
步骤D：将每幅注意力显著图依次与聚类协同图进行融合，获得每幅待检测图像对应的协同显著图；
步骤E：提取协同显著图中的连通域，利用预设的圆标志形状模板和三角形标志形状模板对提取的连通域进行标志牌ROI区域的定位；
步骤F：对标志牌ROI区域采用前向通道进行两级生物启发变换，得到具有RSTN不变属性的特征变换图，并生成两个阶段视觉记忆信息；
步骤H：利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算，依据相关性计算结果完成对待检测图像的识别。
2.根据权利要求1所述的方法，其特征在于，所述聚类协同图和注意力显著图的获取过程相同，在获取聚类协同图时，先对每幅待检测图像进行尺度归一化处理后，将所有的待检测图像进行融合作为一幅图后，再按下面步骤处理：
步骤B1：设置图间像素聚类个数K1，对所有像素点进行K-Means聚类分析，得到K1个聚类以及聚类中心
步骤B2：分别计算每个聚类的视觉注意力线索权值；
步骤B3：将上述得到的每个聚类的视觉注意力线索权值进行高斯归一化处理后，利用乘积融合为聚类级协同显著性线索权值；
第k个类别的聚类级协同显著性线索权值为 表示第k个类别的第i个bottom-up视觉注意力线索，i依次取值为c、s、d，分别表示对比度权值、空间位置权值、重复性权值；
步骤B4：依次将每个聚类的聚类级协同显著性线索权值，分配给每个聚类中的每个像素点，生成待检测图像集的聚类协同图map1；
其中，聚类协同图包括三个bottom-up视觉注意力线索，分别为对比度权值、空间位置权值和重复性权值；
注意力显著图包括两个bottom-up视觉注意力线索分别为对比度权值和空间位置权值。
3.根据权利要求2所述的方法，其特征在于，采用概率框架软分配的方式对每个聚类中的每个像素点的协同显著性线索权值进行分配，每个聚类中的像素的协同显著性线索权值的似然值满足高斯分布。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述对标志牌ROI区域采用前向通道进行两级生物启发变换的过程如下：
步骤F1：对所有的标志牌ROI区域剪切并尺度归一化为[88,88]，得到输入ROI图像集；
步骤F2：构建方向边缘检测算子对输入ROI图像集进行边缘检测，获得方向边缘图E；
步骤F3：将方向边缘图E进行不同方向θ与不同间距I下的间隔检测，获得第一阶段变换图S1；
在间隔检测过程中，首先对边缘图E进行(θ,I)的平移操作得到平移后的边缘图像E(θ,I)，再将平移前后的边缘图相乘，最后利用方向边缘图E的平方和进行归一化处理，获得间距检测图Re(θ,I)，||E||为方向边缘图E的平方和；
对间距检测图Re(θ,I)再使用赢家通吃的策略，获取(θ,I)检测条件下的间距检测图Re(θ,I)中前Z个最大值，存入初始响应区域集合Re`(θ,I)，并将集合Re`(θ,I)作为第一阶段的视觉记忆信息，
其中，Re'(θ,I)z表示(θ,I)检测条件下第z个初始响应值；Z表示初始响应取值数量，取值范围为3-5，max(Re(θ,I),Z)表示间距检测图Re(θ,I)中前Z个最大值；
步骤F4：采用半波整形函数对间距检测图进行整形处理，建立以方向θ和间距log(I)的坐标系，将经半波整形处理后的间距图中所有像素值累加求和的结果映射至该坐标系下的对应位置，得到第一阶段的输出图像S1；
步骤F5：将第一阶段输出图像S1按照步骤F2、F3、F4的处理过程再进行一次，得到第二阶段的特征输出图像S2和第二阶段的视觉记忆信息Re``(θ,I)。
5.根据权利要求4所述的方法，其特征在于，所述对输入ROI图像集进行边缘检测的过程如下：
利用自适应Gabor滤波进行滤波处理得到中间响应G(x,y)，再采用水平-垂直方向双极滤波器F与G(x,y)进行卷积获得方向边缘检测算子，利用方向边缘检测算子对输入图像提取图像边缘：
<mrow> <mi>E</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> <mo>;</mo> <mi>M</mi> <mo>)</mo> </mrow> <mo>=</mo> <mo>&amp;dtri;</mo> <mi>F</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>G</mi> <mrow> <mo>(</mo> <mi>w</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>M</mi> </mrow>
其中，表示卷积，θ表示边缘方向角度，θ∈[0,180°]，自适应Gabor滤波器宽度w＝0.1×I，I为输入图像中像素间距，取值范围为二维图像长度的10％-80％，M表示输入ROI图像，E(θ,I；M)表示图像方向边缘检测结果，表示微分算子。
6.根据权利要求4所述的方法，其特征在于，所述利用特征变换图与数据库中预存的交通标志牌模板图像进行Pearson相关性计算的过程如下：
步骤H1：分别选取圆形和三角形交通标志牌下每个类别的一幅标准图像组成模板数据库图像集；
步骤H2：将每幅模板图像按照步骤F所述方法进行两级生物启发变换，将每幅模板图像的特征图S2整形成列向量存入矩阵T中，作为模板特征向量集；
步骤H3：将待检测图像的特征图S2整形成一组列向量，以该列向量作为待检测图像的特征向量，存入矩阵F中；
步骤H4：使用Pearson相关性来计算待检测图像的特征向量与模板数据库中各图像的特征向量之间的相关性，取Pearson相关距离最小的模板对应的分类标签作为最终的识别结果；
两个特征向量的Pearson相关距离按照下面公式计算为：
<mrow> <mi>d</mi> <mi>i</mi> <mi>s</mi> <mrow> <mo>(</mo> <mi>F</mi> <mo>,</mo> <msup> <mi>T</mi> <mi>k</mi> </msup> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mo>&lt;</mo> <mi>F</mi> <mo>-</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <msup> <mi>T</mi> <mi>k</mi> </msup> <mo>-</mo> <msup> <mover> <mi>T</mi> <mo>&amp;OverBar;</mo> </mover> <mi>k</mi> </msup> <mo>&gt;</mo> </mrow> <mrow> <mo>|</mo> <mo>|</mo> <mi>F</mi> <mo>-</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mo>|</mo> <mo>|</mo> <mo>&amp;times;</mo> <mo>|</mo> <mo>|</mo> <msup> <mi>T</mi> <mi>k</mi> </msup> <mo>-</mo> <msup> <mover> <mi>T</mi> <mo>&amp;OverBar;</mo> </mover> <mi>k</mi> </msup> <mo>|</mo> <mo>|</mo> </mrow> </mfrac> </mrow>
其中，F＝{fi|i＝1,…,Ni}表示待检测图像的特征向量，Ni表示待检测图像的特征向量维度，表示待检测图像特征向量的平均值，表示模板数据库中第k幅图像的特征向量，Nj表示模板数据库中图像的特征向量维度，表示模板数据库中第k幅图像的特征向量的平均值。
7.根据权利要求5所述的方法，其特征在于，所述自适应Gabor滤波器由传统Gabor滤波器组与Laplacian操作符卷积得到，按如下公式获得：
<mrow> <msub> <msup> <mi>G</mi> <mo>&amp;prime;</mo> </msup> <mrow> <mi>&amp;theta;</mi> <mo>,</mo> <mi>&amp;sigma;</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mi>G</mi> <mrow> <mi>&amp;theta;</mi> <mo>,</mo> <mi>&amp;sigma;</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;CircleTimes;</mo> <mi>L</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>
其中，
其中，x′＝xcosθ+ysinθ，y′＝-xsinθ+ycosθ，(x,y)是输入图像M的像素位置坐标，λ表示波长，θ∈[0,180°]是Gabor滤波器的方向，是相位，W是带宽，γ＝1指定Gabor波的椭圆率的空间纵横比，σ是Gaussian函数沿x轴和y轴的均方差，其中σ＝10λ。
8.根据权利要求4所述的方法，其特征在于，所述步骤F4中采用半波整形函数的表达式如下：
<mrow> <msub> <mi>T</mi> <mrow> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> </mrow> </msub> <mo>=</mo> <mi>Re</mi> <mi>c</mi> <mi>t</mi> <mrow> <mo>(</mo> <mi>Re</mi> <mo>(</mo> <mrow> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>Re</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi>Re</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi>Re</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>,</mo> <mi>I</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>.</mo> </mrow>
9.根据权利要求4所述的方法，其特征在于，利用记忆信息进行反向通道视觉验证，得到原ROI区域的击中图，具体过程如下：
步骤S1：标记第二阶段特征变换图中响应强度最大的前N个像素点，利用第二阶段的视觉记忆信息Re``(θ,I)，从该特征变换图中找到这N个像素点在对应(θ,I)条件下的前Z个响应强度最大的位置，反向投射至第一级变换图，得到第二级击中图；
N表示记忆响应阈值，取值范围为100-200；Z的取值范围为3-5；
步骤S2：利用第一级视觉记忆Re`(θ,I)，将第二级击中图的所有像素点反向投射在原输入图像上，获得第一级击中图即原ROI的击中图。
10.根据权利要求9所述的方法，其特征在于，利用高斯卷积核函数作为掩模与步骤S2中生成的击中图进行卷积运算，再将卷积图与原图像进行卷积构成目标边缘图；
所述采用高斯核函数为：
其中，高斯核函数的长和宽为3，高斯核函数的中心坐标x0＝y0＝0，标准差σx＝σy＝0.2。
CN201711243013.1A 2017-11-30 2017-11-30 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法 Pending CN107909059A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711243013.1A CN107909059A (zh) 2017-11-30 2017-11-30 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711243013.1A CN107909059A (zh) 2017-11-30 2017-11-30 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法

Publications (1)

Publication Number Publication Date
CN107909059A true CN107909059A (zh) 2018-04-13

Family

ID=61848538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711243013.1A Pending CN107909059A (zh) 2017-11-30 2017-11-30 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法

Country Status (1)

Country Link
CN (1) CN107909059A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108960281A (zh) * 2018-05-24 2018-12-07 浙江工业大学 一种基于非随机掩盖数据增强方式的黑色素瘤分类方法
CN109389167A (zh) * 2018-09-29 2019-02-26 武汉中海庭数据技术有限公司 交通标志识别方法及系统
CN109753578A (zh) * 2019-01-25 2019-05-14 浙江理工大学 一种基于掩膜选择卷积特征的图像检索方法
CN109800737A (zh) * 2019-02-02 2019-05-24 深圳市商汤科技有限公司 面部识别方法及装置、电子设备和存储介质
CN109919945A (zh) * 2019-02-01 2019-06-21 广西科技大学 基于非经典感受野非线性两侧亚单元响应的轮廓检测方法
CN110457511A (zh) * 2019-08-16 2019-11-15 成都数之联科技有限公司 基于注意力机制和生成对抗网络的图像分类方法及系统
CN110633635A (zh) * 2019-08-08 2019-12-31 北京联合大学 一种基于roi的交通标志牌实时检测方法及系统
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN111507410A (zh) * 2020-04-17 2020-08-07 中国科学院半导体研究所 卷积胶囊层的构建方法和多视角图像的分类方法及装置
CN112101283A (zh) * 2020-09-25 2020-12-18 深圳技术大学 一种交通标志智能识别方法及系统
CN112418296A (zh) * 2020-11-18 2021-02-26 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112906800A (zh) * 2021-02-26 2021-06-04 上海大学 基于图像组自适应的协同显著性检测方法
CN113298748A (zh) * 2020-02-21 2021-08-24 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN114626462A (zh) * 2022-03-16 2022-06-14 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质
CN115100629A (zh) * 2022-07-04 2022-09-23 河南科技大学 一种针对多尺度目标和遮挡目标的自动驾驶目标检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080913A1 (en) * 2014-11-18 2016-05-26 Agency For Science, Technology And Research Method and device for traffic sign recognition
CN105809173A (zh) * 2016-03-09 2016-07-27 中南大学 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法
CN106446833A (zh) * 2016-09-27 2017-02-22 湖南商学院 一种用于复杂场景图像识别的多通道仿生视觉方法
CN106529391A (zh) * 2016-09-08 2017-03-22 长安大学 一种鲁棒的限速交通标志检测与识别方法
CN107239730A (zh) * 2017-04-17 2017-10-10 同济大学 智能汽车交通标志识别的四元数深度神经网络模型方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016080913A1 (en) * 2014-11-18 2016-05-26 Agency For Science, Technology And Research Method and device for traffic sign recognition
CN105809173A (zh) * 2016-03-09 2016-07-27 中南大学 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法
CN106529391A (zh) * 2016-09-08 2017-03-22 长安大学 一种鲁棒的限速交通标志检测与识别方法
CN106446833A (zh) * 2016-09-27 2017-02-22 湖南商学院 一种用于复杂场景图像识别的多通道仿生视觉方法
CN107239730A (zh) * 2017-04-17 2017-10-10 同济大学 智能汽车交通标志识别的四元数深度神经网络模型方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ANDREAS MØGELMOSE等: "Vision-Based Traffic Sign Detection and Analysis for Intelligent Driver Assistance Systems: Perspectives and Survey", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
HAIRU GUO等: "Detection of Traffic Signs Based on Visual Saliency Model", 《2011 INTERNATIONAL CONFERENCE ON MULTIMEDIA TECHNOLOGY》 *
HUAZHU FU等: "Cluster-Based Co-Saliency Detection", 《IEEE TRANSACTION ON IMAGE PROCESSING》 *
XIAOGUANG HU等: "Traffic Sign Detection Based on Biologically Visual Mechanism", 《INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
余伶俐等: "基于仿生视觉的图像RST不变属性特征提取方法", 《仪器仪表学报》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN108734290B (zh) * 2018-05-16 2021-05-18 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108734290A (zh) * 2018-05-16 2018-11-02 湖北工业大学 一种基于注意力机制的卷积神经网络构建方法及应用
CN108960281A (zh) * 2018-05-24 2018-12-07 浙江工业大学 一种基于非随机掩盖数据增强方式的黑色素瘤分类方法
CN109389167A (zh) * 2018-09-29 2019-02-26 武汉中海庭数据技术有限公司 交通标志识别方法及系统
CN109753578A (zh) * 2019-01-25 2019-05-14 浙江理工大学 一种基于掩膜选择卷积特征的图像检索方法
CN109919945A (zh) * 2019-02-01 2019-06-21 广西科技大学 基于非经典感受野非线性两侧亚单元响应的轮廓检测方法
CN109919945B (zh) * 2019-02-01 2022-03-25 广西科技大学 基于非经典感受野非线性两侧亚单元响应的轮廓检测方法
CN109800737A (zh) * 2019-02-02 2019-05-24 深圳市商汤科技有限公司 面部识别方法及装置、电子设备和存储介质
US11455830B2 (en) * 2019-02-02 2022-09-27 Shenzhen Sensetime Technology Co., Ltd. Face recognition method and apparatus, electronic device, and storage medium
KR102390580B1 (ko) * 2019-02-02 2022-04-26 선전 센스타임 테크놀로지 컴퍼니 리미티드 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
KR20200096565A (ko) * 2019-02-02 2020-08-12 선전 센스타임 테크놀로지 컴퍼니 리미티드 얼굴 인식 방법 및 장치, 전자 기기 및 저장 매체
TWI717923B (zh) * 2019-02-02 2021-02-01 大陸商深圳市商湯科技有限公司 面部識別方法及裝置、電子設備和儲存介質
CN110633635A (zh) * 2019-08-08 2019-12-31 北京联合大学 一种基于roi的交通标志牌实时检测方法及系统
CN110457511A (zh) * 2019-08-16 2019-11-15 成都数之联科技有限公司 基于注意力机制和生成对抗网络的图像分类方法及系统
CN111179250A (zh) * 2019-12-30 2020-05-19 北京航空航天大学 一种基于多任务学习的工业品缺陷检测系统
CN113298748A (zh) * 2020-02-21 2021-08-24 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN113298748B (zh) * 2020-02-21 2022-11-18 安徽大学 一种基于注意力机制的图像协同显著目标检测模型
CN111507410A (zh) * 2020-04-17 2020-08-07 中国科学院半导体研究所 卷积胶囊层的构建方法和多视角图像的分类方法及装置
CN111507410B (zh) * 2020-04-17 2021-02-12 中国科学院半导体研究所 卷积胶囊层的构建方法和多视角图像的分类方法及装置
CN112101283A (zh) * 2020-09-25 2020-12-18 深圳技术大学 一种交通标志智能识别方法及系统
CN112418296A (zh) * 2020-11-18 2021-02-26 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112418296B (zh) * 2020-11-18 2024-04-02 中国科学院上海微系统与信息技术研究所 基于人眼视觉注意机制的仿生双眼目标识别与跟踪方法
CN112906800B (zh) * 2021-02-26 2022-07-12 上海大学 基于图像组自适应的协同显著性检测方法
CN112906800A (zh) * 2021-02-26 2021-06-04 上海大学 基于图像组自适应的协同显著性检测方法
CN113673332A (zh) * 2021-07-15 2021-11-19 浙江大华技术股份有限公司 对象识别方法、装置以及计算机可读存储介质
CN114626462A (zh) * 2022-03-16 2022-06-14 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质
CN114626462B (zh) * 2022-03-16 2023-03-24 小米汽车科技有限公司 路面标识识别方法、装置、设备及存储介质
CN115100629A (zh) * 2022-07-04 2022-09-23 河南科技大学 一种针对多尺度目标和遮挡目标的自动驾驶目标检测方法
CN115100629B (zh) * 2022-07-04 2024-09-13 河南科技大学 一种针对多尺度目标和遮挡目标的自动驾驶目标检测方法

Similar Documents

Publication Publication Date Title
CN107909059A (zh) 一种面向复杂城市场景中协同仿生视觉的交通标志牌检测与识别方法
Zhang et al. An object tracking framework with recapture based on correlation filters and Siamese networks
Song et al. Eyes closeness detection from still images with multi-scale histograms of principal oriented gradients
CN104766046B (zh) 一种利用交通标识颜色及形状特征进行检测与识别方法
CN106951840A (zh) 一种人脸特征点检测方法
CN103177458B (zh) 一种基于频域分析的可见光遥感图像感兴趣区域检测方法
CN106127749A (zh) 基于视觉注意机制的目标零件识别方法
CN105809173B (zh) 一种基于仿生物视觉变换的图像rstn不变属性特征提取及识别方法
Shahab et al. How salient is scene text?
CN101334834B (zh) 一种自底向上的注意信息提取方法
CN104299009A (zh) 基于多特征融合的车牌字符识别方法
CN106446833B (zh) 一种用于复杂场景图像识别的多通道仿生视觉方法
Montserrat et al. Logo detection and recognition with synthetic images
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
CN106952312A (zh) 一种基于线特征描述的无标识增强现实注册方法
CN110210415A (zh) 基于图结构的车载激光点云道路标线识别方法
Vitor et al. Comprehensive performance analysis of road detection algorithms using the common urban Kitti-road benchmark
Jang et al. Real-time driving scene understanding via efficient 3-D LiDAR processing
Zhang et al. Infrastructure 3D Target detection based on multi-mode fusion for intelligent and connected vehicles
Bui et al. A texture-based local soft voting method for vanishing point detection from a single road image
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
Mohammed et al. An overview on various methods of detection and recognition of traffic signs by Autonomous Vehicles
CN104077554B (zh) 基于线性动态系统的视角无关的人体行为识别方法
CN102938156B (zh) 一种基于积分图像的面状注记配置方法
CN105868789B (zh) 一种基于图像区域内聚测度的目标发现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413