CN104809438B - 一种检测电子眼的方法和设备 - Google Patents

Abstract

本发明实施例公开了一种检测电子眼的方法，包括：在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；确定所述窗口图像的CNN分类器概率；确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并确定所述HOG特征的SVM分类器概率；对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。本发明实施例还公开了一种检测电子眼的设备。实施本发明实施例，能够有效提高电子眼检测的效率。

Description

一种检测电子眼的方法和设备

技术领域

本发明涉及互联网技术领域，尤其涉及一种检测电子眼的方法和设备。

背景技术

电子眼(又称电子警察)，是“智能交通违章监摄管理系统”的俗称，主要是利用成像及计算机等多种技术对交通违章行为进行全天候监控的设备。

目前，汽车导航系统的一种重要功能就是电子眼语音报警，最初，电子眼数据是由人工搜索记录方式得到的。电子眼数据遍布全国，人工搜索需要耗费大量人力成本，效率较低。

发明内容

本发明实施例公开了一种检测电子眼的方法和设备，能够有效提高电子眼检测的效率。

本发明实施例第一方面公开了一种检测电子眼的方法，包括：

在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；

确定所述窗口图像的卷积神经网络CNN分类器概率；

确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的方向梯度直方图HOG特征，并确定所述HOG特征的支持向量机SVM分类器概率；

对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。

本发明实施例第二方面公开了一种检测电子眼的设备，包括：

滑窗模块，用于在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；

第一确定模块，用于确定所述窗口图像的卷积神经网络CNN分类器概率；

第二确定模块，用于确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的方向梯度直方图HOG特征，并确定所述HOG特征的支持向量机SVM分类器概率；

处理模块，用于对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。

实施本发明实施例，具有如下有益效果：

通过在全景图上以预设大小的窗口进行滑窗，确定得到的窗口图像的CNN分类器概率，并确定CNN分类器概率大于第一阈值的窗口图像的HOG特征的SVM分类器概率，进而，对SVM分类器概率大于第二阈值的窗口图像进行聚类，以得到电子眼区域集合，从而，实现了电子眼的自动检测，提高了电子眼检测的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种检测电子眼的方法的流程示意图；

图2为本发明实施例提供的另一种检测电子眼的方法的流程示意图；

图3为本发明实施例提供的另一种检测电子眼的方法的流程示意图；

图4为本发明实施例提供的一种检测电子眼的设备的结构示意图；

图5为本发明实施例提供的另一种检测电子眼的设备的结构示意图；

图6为本发明实施例提供的另一种检测电子眼的设备的结构示意图；

图7为本发明实施例提供的另一种检测电子眼的设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种检测电子眼的方法和设备，可以提高电子眼检测的效率。以下分别进行详细说明。

请参阅图1，图1为本发明实施例公开的一种检测电子眼的方法的流程示意图。如图1所示，该检测电子眼的方法可以包括以下步骤：

S101、在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像。

本发明实施例中，全景图是指通过一个相机(或摄像头)从多个不同的角度，或者，通过多个不同朝向的相机(或摄像头)拍摄的图像的360°拼接图，通过捕捉整个场景的图像信息，使用软件进行图片拼合，把二维的平面图模拟成真实的三维空间。

举例来说，可以通过在某街道上的街景车顶部或拍摄杆顶端部署一圈4～6个摄像头，并将该4～6个摄像头从不同方向拍摄的照片进行360°拼接，即可得到一个全景图。

本发明实施例中，为了对全景图中的电子眼进行检测，可以以一个预设大小的窗口在全景图上进行滑窗，得到对应的多个窗口图像。

举例来说，假设全景图原始大小为64*64，窗口大小为8*8，全景图左上角顶点坐标为(0,0)，全景图平面内水平向右为x轴正方向，竖直向下为y轴正方向)，窗口的在全景图中的起始位置可以为左上角顶点坐标为(0,0)，右下角顶点坐标为(7,7)，滑窗过程中，可以以步长为4沿x轴正方向滑动，或以步长为4沿y轴正方向滑动，或每次x轴方向和y轴方向均滑动4，以得到对应的窗口图像。

在一种可选的实施方式中，在全景图上以预设大小的窗口滑窗，以得到对应的窗口图像，可以包括以下步骤：

11)、根据预设的最大电子眼尺寸和最小电子眼尺寸，确定多个用于对全景图进行缩放的缩放比例；

12)、分别在各缩放比例对应的缩放图像上以预设大小的窗口进行滑窗，以得到对应的窗口图像；该各缩放比例对应的缩放图像为根据各缩放比例对全景图进行缩放得到的。

在该实施方式中，为了避免在全景图上滑窗得到的窗口图像无法覆盖完整的最大尺寸的电子眼，同时，避免最小尺寸的电子眼在窗口图像中所占比例过小，可以预先根据最大电子眼尺寸和最小电子眼尺寸(可以通过对电子眼进行采样统计获得电子眼的最大尺寸和最小尺寸)，确定对全景图进行缩放的缩放比例，并分别在各缩放比例对应的缩放图像上以预设大小的窗口进行滑窗，以得到对应的窗口图像；其中，缩小幅度最大的缩放图像中，最大尺寸的电子眼的大小不大于窗口大小，放大幅度最大的缩放图像中，最小尺寸的电子眼的大小不大于窗口大小。

举例来说，假设原始大小的全景图中，最大尺寸的电子眼大小为32*32，最小尺寸的电子眼大小为4*4，窗口大小为16*16，则对应的缩放比例的范围可以为[1/2，4]，如缩放比例可以为1/2(即缩小为原始大小的1/2)、2(即放大为原始大小的2倍)、3(即放大为原始大小的3倍)、4(即放大为原始大小的4倍)等。

在另一种可选的实施方式中，在全景图上以预设大小的窗口滑窗，以得到对应的窗口图像，可以包括以下步骤：

21)、根据预设最大电子眼尺寸和最小电子眼尺寸，确定多个用于对窗口进行缩放的缩放比例；

22)、分别在全景图上以各缩放比例对应的缩放窗口进行滑窗，以得到对应的窗口图像；该各缩放比例对应的缩放窗口为根据该各缩放比例对预设大小的窗口进行缩放得到的；其中，缩小幅度最大的窗口的尺寸不小于原始大小的全景图中的最小尺寸的电子眼，放大幅度最大的窗口尺寸不小于原始大小的全景图中的最大尺寸的电子眼。

举例来说，假设原始大小的全景图中，最大尺寸的电子眼大小为32*32，最小尺寸的电子眼大小为4*4，原始窗口大小为16*16，则对应的缩放比例的范围可以为[1/4，2]，如缩放比例可以为1/4(即缩小为原始大小的1/4)、1/2(即缩小为原始大小的1/2)、2(即放大为原始大小的2倍)等。

在该实施方式中，为了避免在全景图上滑窗得到的窗口图像无法覆盖完整的电子眼，同时，避免电子眼在窗口图像中所占比例过小，可以预先根据最大电子眼尺寸和最小电子眼尺寸(可以通过对电子眼进行采样统计获得电子眼的最大尺寸和最小尺寸)，确定对窗口进行缩放的缩放比例，并分别全景图上以各缩放比例对应的缩放窗口进行滑窗，以得到对应的窗口图像。

S102、确定窗口图像的CNN分类器概率。

本发明实施例中，得到窗口图像之后，可以通过预设的CNN(ConvolutionalNeural Network，卷积神经网络)分类器确定各窗口图像的CNN分类器概率，并将CNN分类器概率大于第一阈值的窗口图像(第一目标窗口图像)确定为电子眼疑似区域。

本发明实施例中，可以预先根据电子眼正负样本训练电子眼CNN分类器，即将预设数量(如10000个)包括电子眼的预设尺寸(假设为32*32)的图像(即正样本)和预设数量的不包括电子眼的预设尺寸的图像(即负样本)输入到CNN进行训练，以得到CNN分类器，进而，可以通过该CNN分类器确定各窗口图像的CNN分类器概率。

S103、确定窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并确定该HOG特征的SVM分类器概率。

本发明实施例中，确定各窗口图像的CNN分类器概率之后，可以将其中CNN分类器概率大于第一阈值的窗口图像(第一目标窗口图像)确定为电子眼疑似区域(即该第一目标窗口图像对应的区域中可能存在电子眼)，进而，可以提取第一目标窗口图像的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征，并通过预设的SVM(SupportVector Machine，支持向量机)分类器确定该HOG特征的SVM分类器概率。

本发明实施例中，可以预先根据电子眼正负样本训练SVM分类器，即分别提取预设数量的电子眼正样本和预设数量的电子眼负样本的HOG特征，并将正负样本的HOG特征，以及正负样本的样本标签(可以预先赋予，如正样本的样本标签为1，负样本的样本标签为0)都输入到SVM中进行训练，以得到SVM分类器，进而，可以通过该SVM分类器可以得到第一目标窗口图像的SVM分类器概率。

S104、对第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，该电子眼区域集合包括一个或多个电子眼区域。

本发明实施例中，确定第一目标窗口图像的SVM分类器概率之后，可以将其中SVM分类器概率大于第二阈值的窗口图像(第二目标窗口图像)确定为电子眼候选区域(即该第二目标窗口图像对应的区域中包括电子眼)，并对第二目标窗口图像进行聚类，以将第二目标窗口图像中包括同一个电子眼的窗口图像聚类为一个电子眼区域，进而，可以得到包括一个或多个电子眼区域的电子眼区域集合。

可见，在图1所描述的方法流程中，通过在全景图上以预设尺寸的窗口进行滑窗，确定窗口图像的CNN分类器概率，并确定CNN分类器概率大于第一阈值的窗口图像的HOG特征的SVM分类器概率，进而，对SVM分类器概率大于第二阈值的窗口图像进行聚类，以得到电子眼区域集合，从而，实现了电子眼的自动检测，提高了电子眼检测的效率。

请参阅图2，图2为本发明实施例公开的另一种检测电子眼的方法的流程示意图。如图2所示，该检测电子眼的方法可以包括以下步骤：

S201、将全景图中的ROI区域图像转换为HSV图像，并根据该HSV图像的HSV属性确定ROI区域图像中的非电子眼区域。

本发明实施例中，可以通过位置信息来确定全景图中的ROI区域，例如，考虑到电子眼一般出现在道路边上，因此，可以根据全景图中的道路信息，将包含道路的区域确定为ROI区域，进而，将该ROI区域图像转换为HSV(Hue,Saturation,Value，色调、饱和度、亮度)图像，并根据该HSV图像的HSV属性(即色调、饱和度以及亮度)确定该ROI区域图像中的非电子眼区域，如绿色树叶疑似区域。

例如，可以将HSV图像中H值(色调)处于特定区间，如(60°,180°)，S值(饱和度)大于预设饱和度阈值，如0.6，V值(亮度)大于预设亮度阈值，如200，的区域确定为绿色树叶疑似区域。

S202、在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像。

本发明实施例中，步骤S202的具体实现可以参见上述步骤S101中的相关描述，在此不再赘述。

S203、根据非电子眼区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像。

本发明实施例中，确定全景图中的非电子眼区域(以下以绿色树叶疑似区域为例进行描述)，并通过滑窗得到对应的窗口图像之后，可以根据绿色树叶疑似区域与窗口图像的位置关系，确定窗口图像是否满足预设条件，例如，窗口图像中绿色树叶疑似区域所占比例低于阈值，窗口图像中绿色树叶疑似区域处于非中心区域(可以根据窗口图像的坐标，以及窗口图像中绿色树叶疑似区域的坐标确定)等。

S204、确定第三目标窗口图像的CNN分类器。

本发明实施例中，考虑到窗口图像中绿色树叶疑似区域所占比例高于阈值，或/和，窗口图像中绿色树叶疑似区域处于中心区域时，该窗口图像中一般不会包括电子眼，因此，在确定电子眼疑似区域时，可以不考虑不满足预设条件的窗口图像。

相应地，在本发明实施例中，根据绿色树叶疑似区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像之后，可以计算该第三目标窗口图像的CNN分类器概率，其中，确定窗口图像的CNN分类器概率的具体实现可以参见上述步骤S102中的相关描述，本发明实施例不再赘述。

S205、确定第三目标窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并对该HOG特征进行PCA降维后，确定降维后的HOG特征的SVM分类器概率。

本发明实施例中，对于上述第三目标窗口图像中CNN分类器概率大于第一阈值的窗口图像(第一目标窗口图像)，可以提取该第一目标窗口图像的HOG特征。

本发明实施例中，为了降低第一目标窗口图像的HOG特征的SVM分类的复杂度以及HOG特征中非主成分的干扰，提高处理效率和准确性，在计算第一目标窗口图像的HOG特征的SVM分类器概率之前，可以先对第一目标窗口图像的HOG特征的进行PCA(PrincipalComponent Analysis，主成分分析)降维，然后，确定降维后的HOG特征的SVM分类器概率，其中，确定窗口图像的HOG特征的SVM分类器概率的具体实现可以参见上述步骤S103中的相关描述，在此不再赘述。

S206、对第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，并确定聚类后各窗口图像的CNN概率和SVM概率。

本发明实施例中，对于第一目标窗口图像中SVM分类器概率大于第二阈值窗口图像(第二目标窗口图像)，可以对该第二目标窗口图像进行聚类，以将第二目标窗口图像中包括同一个电子眼的窗口图像聚类为一个窗口图像(聚类后窗口图像)，之后，可以确定各聚类后窗口图像的CNN分类器概率和SVM分类器概率。

其中，在本发明实施例中，确定各聚类后窗口图像的CNN分类器概率和SVM分类器概率的具体实现方式可以包括但不限于以下方式：

方式一、通过预设的CNN分类器和SVM分类器中，分别确定聚类后窗口图像的CNN分类器概率和SVM分类器概率；

方式二、对于各聚类后窗口图像，根据用于聚类得到该聚类后窗口图像的第二目标窗口图像的CNN分类器概率和SVM分类器概率，通过特定算法确定该聚类后窗口图像的CNN分类器概率和SVM分类器概率。

S207、将聚类后各窗口图像中CNN概率和SVM概率满足预设条件的窗口图像确定为电子眼区域，以得到电子眼区域集合。

本发明实施例中，确定聚类后各窗口图像的CNN概率和SVM概率之后，可以将该聚类后窗口图像中满足预设条件的窗口图像确定为电子眼区域，以得到电子眼区域集合。

其中，在本发明实施例中，该预设条件可以包括但不限于CNN分类器概率和SVM分类器概率分别大于相应阈值(可以根据具体场景设置)，或者，CNN分类器概率和SVM分类器概率的加权平均值大于相应阈值等。

例如，当聚类后窗口图像的CNN分类器概率和SVM概率满足以下公式时，确定该聚类后窗口图像的CNN分类器概率和SVM概率满足预设条件：

a*Pc+b*Ps＞Pt

其中，a+b＝1，且a＞0，b＞0；Pc为聚类后窗口图像的CNN分类器概率，Ps为聚类后窗口图像的SVM分类器概率；Pt为预设阈值。

可见，在图2所描述的方法流程中，通过确定全景图中的非电子眼区域，并根据非电子眼区域与窗口图像的位置关系对窗口图像进行筛选，降低了电子眼检测的复杂度；此外，通过确定聚类后各窗口图像的CNN分类器概率和SVM分类器概率，并将满足预设条件的聚类后窗口图像确定为电子眼区域，提高了电子眼检测的准确度。

请参阅图3，图3为本发明实施例公开的另一种检测电子眼的方法的流程示意图。如图3所示，该检测电子眼的方法可以包括以下步骤：

S301、将全景图中的ROI区域图像转换为HSV图像，并根据该HSV图像的HSV属性确定ROI区域图像中的非电子眼区域。

S302、在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像。

S303、根据非电子眼区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像。

S304、确定第三目标窗口图像的CNN分类器。

S305、确定第三目标窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并对该HOG特征进行PCA降维后，确定降维后的HOG特征的SVM分类器概率。

本发明实施例中，步骤S301～步骤S305的具体实现可以参见上述步骤S201～步骤S205中的相关描述，在此不再赘述。

S306、将第一目标窗口图像中SVM分类器概率大于第三阈值的第四目标窗口图像加入第一候选集合，将第一目标窗口图像中SVM分类器概率小于或等于第三阈值，且大于第二阈值的第五目标窗口图像加入第二候选集合。

本发明实施例中，确定第一目标窗口图像的SVM分类器概率之后，可以将第一目标窗口图像中SVM分类器概率大于第三阈值的窗口图像(第四目标窗口图像)加入到第一候选集合，并将第一目标窗口图像中SVM分类器概率小于或等于第三阈值，且大于第二阈值的窗口图像(第五目标窗口图像)加入到第二候选集合，而第一目标窗口图像中SVM分类器概率小于第二阈值的窗口图像则直接舍弃；其中，第三阈值大于第二阈值。

S307、对第一候选集合中各第四目标窗口图像进行聚类，以得到对应的第一电子眼候选区域集合，以及对第二候选集合中各第五目标窗口图像进行聚类，并将同一类的窗口图像少于两个的类删除，以得到对应的第二电子眼候选区域集合。

本发明实施例中，确定第一候选集合，以及第二候选集合之后，可以分别对第一候选集合中包括的各第四目标窗口图像进行聚类，以及对第二候选集合中包括的各第五目标窗口图像进行聚类，以得到第一电子眼候选区域集合，以及第二电子眼候选区域集合；其中，第一电子眼候选区域集合中包括一个或多个电子眼候选区域，第二电子眼候选区域集合中包括一个或多个电子眼候选区域。

其中，对第二候选集合中各第五目标窗口图像进行聚类时，对于同一类的窗口图像少于两个的类，即对应于同一个电子眼的窗口图像少于两个，可以将该类删除。

举例来说，假设第二候选集合中包括5个第五目标窗口图像P1、P2、P3、P4和P5，当对第二候选集合中第五目标窗口图像进行聚类时，若P1和P2属于同一个类(即对应同一个电子眼)，P3和P4属于同一个类，P5属于一个类，则可以将P5删除，并将P1和P2聚类得到的聚类后窗口图像，以及P3和P4聚类后得到的聚类后窗口图像作为电子眼候选区域加入第二电子眼候选区域集合。

S308、对第一电子眼候选区域集合中各电子眼候选区域，以及第二电子眼候选区域集合中各电子眼候选区域进行聚类，以得到电子眼区域集合。

本发明实施例中，确定第一电子眼候选区域集合，以及第二电子眼候选区域集合之后，可以对第一电子眼候选区域集合中各电子眼候选区域，以及第二电子眼候选区域中各电子眼候选区域进行聚类，以将各电子眼候选区域中对应同一电子眼的电子眼候选区域聚类为一个电子眼局域，进而，得到包括一个或多个电子眼区域的电子眼区域集合。

通过以上描述可以看出，在本发明实施例中，通过在全景图上以预设大小的窗口进行滑窗，确定得到的窗口图像的CNN分类器概率，并确定CNN分类器概率大于第一阈值的窗口图像的HOG特征的SVM分类器概率，进而，对SVM分类器概率大于第二阈值的窗口图像进行聚类，以得到电子眼区域集合，从而，实现了电子眼的自动检测，提高了电子眼检测的效率。

下面为本发明装置实施例，本发明装置实施例与本发明方法实施例属于同一构思，用于执行本发明方法实施例中描述的方法。为了便于说明，本发明装置实施例仅示出与本发明装置实施例相关的部分，具体技术细节未揭示的，请参照本发明方法实施例的描述，此处不再一一赘述。

如图4所示，为本发明实施例提供的一种检测电子眼的设备的结构示意图，其中，该检测电子眼的设备可以包括：

滑窗模块401，用于在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；

第一确定模块402，用于确定所述窗口图像的卷积神经网络CNN分类器概率；

第二确定模块403，用于确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的方向梯度直方图HOG特征，并确定所述HOG特征的支持向量机SVM分类器概率；

处理模块404，用于对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。

在一种可选实施例中，所述滑窗模块401，可以具体用于根据预设的最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述全景图进行缩放的缩放比例；分别在各缩放比例对应的缩放图像上以所述预设大小的窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放图像为根据所述各缩放比例对所述全景图进行缩放得到的。

在另一种可选实施例中，所述滑窗模块401，可以具体用于根据预设最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述窗口进行缩放的缩放比例；分别在所述全景图上以各缩放比例对应的缩放窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放窗口为根据所述各缩放比例对所述预设大小的窗口进行缩放得到的。

请一并参阅图5，图5是本发明实施例公开的另一种检测电子眼的设备的结构示意图。其中，图5所示的检测电子眼的设备是由图4所示的检测电子眼的设备进行优化得到的，与图4所示的检测电子眼的设备相比，图5所示的检测电子眼的设备还包括：

第三确定模块405，用于将所述全景图中的感兴趣区域ROI区域图像转换为HSV图像，并根据所述HSV图像的HSV属性确定所述ROI区域图像中的非电子眼区域；

相应地，所述第一确定模块402，可以具体用于根据所述非电子眼区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像；确定所述第三目标窗口图像的CNN分类器概率。

在可选实施例中，所述第二确定模块403，可以具体用于确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并对所述HOG特征进行主成分分析PCA降维后，确定降维后的HOG特征的SVM分类器概率。

在一种可选实施例中，请一并参阅图6，图6是本发明实施例公开的另一种检测电子眼的设备的结构示意图。其中，图6所示的检测电子眼的设备是由图4所示的检测电子眼的设备进行优化得到的，与图4所示的检测电子眼的设备相比，图6所示的检测电子眼的设备中，处理模块404可以包括：

第一聚类单元4041，用于对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类；

第一确定单元4042，用于确定聚类后各窗口图像的CNN概率和SVM概率；

第二确定单元4043，用于将所述聚类后各窗口图像中CNN概率和SVM概率满足预设条件的窗口图像确定为电子眼区域，以得到所述电子眼区域集合。

在另一种可选实施例中，请一并参阅图7，图7是本发明实施例公开的另一种检测电子眼的设备的结构示意图。其中，图7所示的检测电子眼的设备是由图4所示的检测电子眼的设备进行优化得到的，与图4所示的检测电子眼的设备相比，图7所示的检测电子眼的设备中，处理模块404可以包括：

分类单元4044，用于将所述第一目标窗口图像中SVM分类器概率大于第三阈值的第四目标窗口图像加入第一候选集合，将所述第一目标窗口图像中SVM分类器概率小于或等于所述第三阈值，且大于所述第二阈值的第五目标窗口图像加入第二候选集合；所述第三阈值大于所述第二阈值；

第二聚类单元4045，用于对所述第一候选集合中各第四目标窗口图像进行聚类，以得到对应的第一电子眼候选区域集合，以及对所述第二候选集合中各第五目标窗口图像进行聚类，并将同一类的窗口图像少于两个的类删除，以得到对应的第二电子眼候选区域集合；所述第一电子眼候选区域集合中包括一个或多个电子眼候选区域，所述第二电子眼候选区域集合中包括一个或多个电子眼候选区域；

第三聚类单元4046，用于对所述第一电子眼候选区域集合中各电子眼候选区域，以及所述第二电子眼候选区域集合中各电子眼候选区域进行聚类，以得到电子眼区域集合。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种检测电子眼的方法，其特征在于，包括：

在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；

将所述全景图中的感兴趣区域ROI区域图像转换为HSV图像，并根据所述HSV图像的HSV属性确定所述ROI区域图像中的非电子眼区域；

根据所述非电子眼区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像；

确定所述第三目标窗口图像的CNN分类器概率；

确定所述第三目标窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的方向梯度直方图HOG特征，并确定所述HOG特征的支持向量机SVM分类器概率；

对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。

2.根据权利要求1所述的方法，其特征在于，所述在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像，包括：

根据预设的最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述全景图进行缩放的缩放比例；

分别在各缩放比例对应的缩放图像上以所述预设大小的窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放图像为根据所述各缩放比例对所述全景图进行缩放得到的。

3.根据权利要求1所述的方法，其特征在于，所述在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像，包括：

根据预设最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述窗口进行缩放的缩放比例；

分别在所述全景图上以各缩放比例对应的缩放窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放窗口为根据所述各缩放比例对所述预设大小的窗口进行缩放得到的。

4.根据权利要求1所述的方法，其特征在于，所述确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并确定所述HOG特征的SVM分类器概率，包括：

确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并对所述HOG特征进行主成分分析PCA降维后，确定降维后的HOG特征的SVM分类器概率。

5.如权利要求1所述的方法，其特征在于，所述对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，包括：

对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，并确定聚类后各窗口图像的CNN概率和SVM概率；

将所述聚类后各窗口图像中CNN概率和SVM概率满足预设条件的窗口图像确定为电子眼区域，以得到所述电子眼区域集合。

6.根据权利要求1所述的方法，其特征在于，所述对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，包括：

将所述第一目标窗口图像中SVM分类器概率大于第三阈值的第四目标窗口图像加入第一候选集合，将所述第一目标窗口图像中SVM分类器概率小于或等于所述第三阈值，且大于所述第二阈值的第五目标窗口图像加入第二候选集合；所述第三阈值大于所述第二阈值；

对所述第一候选集合中各第四目标窗口图像进行聚类，以得到对应的第一电子眼候选区域集合，以及对所述第二候选集合中各第五目标窗口图像进行聚类，并将同一类的窗口图像少于两个的类删除，以得到对应的第二电子眼候选区域集合；所述第一电子眼候选区域集合中包括一个或多个电子眼候选区域，所述第二电子眼候选区域集合中包括一个或多个电子眼候选区域；

对所述第一电子眼候选区域集合中各电子眼候选区域，以及所述第二电子眼候选区域集合中各电子眼候选区域进行聚类，以得到电子眼区域集合。

7.一种检测电子眼的设备，其特征在于，包括：

滑窗模块，用于在全景图上以预设大小的窗口进行滑窗，以得到对应的窗口图像；

第三确定模块，用于将所述全景图中的感兴趣区域ROI区域图像转换为HSV图像，并根据所述HSV图像的HSV属性确定所述ROI区域图像中的非电子眼区域；

所述第一确定模块，用于根据所述非电子眼区域与窗口图像的位置关系，确定满足预设条件的第三目标窗口图像；确定所述第三目标窗口图像的CNN分类器概率；

第二确定模块，用于确定所述第三目标窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的方向梯度直方图HOG特征，并确定所述HOG特征的支持向量机SVM分类器概率；

处理模块，用于对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类，以得到电子眼区域集合，所述电子眼区域集合包括一个或多个电子眼区域。

8.根据权利要求7所述的设备，其特征在于，

所述滑窗模块，具体用于根据预设的最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述全景图进行缩放的缩放比例；分别在各缩放比例对应的缩放图像上以所述预设大小的窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放图像为根据所述各缩放比例对所述全景图进行缩放得到的。

9.根据权利要求7所述的设备，其特征在于，

所述滑窗模块，具体用于根据预设最大电子眼尺寸和最小电子眼尺寸，确定多个用于对所述窗口进行缩放的缩放比例；分别在所述全景图上以各缩放比例对应的缩放窗口进行滑窗，以得到对应的窗口图像；所述各缩放比例对应的缩放窗口为根据所述各缩放比例对所述预设大小的窗口进行缩放得到的。

10.根据权利要求7所述的设备，其特征在于，

所述第二确定模块，具体用于确定所述窗口图像中CNN分类器概率大于第一阈值的第一目标窗口图像的HOG特征，并对所述HOG特征进行主成分分析PCA降维后，确定降维后的HOG特征的SVM分类器概率。

11.根据权利要求7所述的设备，其特征在于，所述处理模块包括：

第一聚类单元，用于对所述第一目标窗口图像中SVM分类器概率大于第二阈值的第二目标窗口图像进行聚类；

第一确定单元，用于确定聚类后各窗口图像的CNN概率和SVM概率；

第二确定单元，用于将所述聚类后各窗口图像中CNN概率和SVM概率满足预设条件的窗口图像确定为电子眼区域，以得到所述电子眼区域集合。

12.根据权利要求7所述的设备，其特征在于，所述处理模块包括：

分类单元，用于将所述第一目标窗口图像中SVM分类器概率大于第三阈值的第四目标窗口图像加入第一候选集合，将所述第一目标窗口图像中SVM分类器概率小于或等于所述第三阈值，且大于所述第二阈值的第五目标窗口图像加入第二候选集合；所述第三阈值大于所述第二阈值；

第二聚类单元，用于对所述第一候选集合中各第四目标窗口图像进行聚类，以得到对应的第一电子眼候选区域集合，以及对所述第二候选集合中各第五目标窗口图像进行聚类，并将同一类的窗口图像少于两个的类删除，以得到对应的第二电子眼候选区域集合；所述第一电子眼候选区域集合中包括一个或多个电子眼候选区域，所述第二电子眼候选区域集合中包括一个或多个电子眼候选区域；

第三聚类单元，用于对所述第一电子眼候选区域集合中各电子眼候选区域，以及所述第二电子眼候选区域集合中各电子眼候选区域进行聚类，以得到电子眼区域集合。