CN113065559A - 图像比对方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明涉及图像比对方法、装置、电子设备及存储介质，该方案包括以下步骤：获取至少一个当前图像和已审核图像；获取当前图像和已审核图像的显著性特征得到第一显著性图；获取第一显著性图中的第一感兴趣区域；消除显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图；将第二显著性图作为掩膜，对对应的当前图像或已审核图像进行处理获得第三显著性图；从每一第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的当前图像或已审核图像的比对区域；对所有当前图像的比对区域分别和已审核图像的比对区域执行比对操作，该方案很好地避免各种干扰影响，具有准确率高以及减少计算量的优点。

Description

图像比对方法、装置、电子设备及存储介质

技术领域

本发明涉及城市管理领域，具体涉及图像比对方法、装置、电子设备及存储介质。

背景技术

目前户外的广告牌设置和商店招牌（店招）的摆设需要经过城市管理部门的审核,一般城市管理部门会定期巡查,检查所设置的店招是否与店招审核通过时的图像内容一致。为了减少人力成本和时间成本，目前的城市管理部门在审核过程中，会采用一些人工智能的方法来检查，常规的做法是采用深度学习或者机器学习中的图像对比算法，通常是采用SIFT或者图像特征对比的方法来对比两个图像是否一致，如一般城管在审核后进行巡查时会对广告牌拍摄一张照片，然后在下一次巡查时再次对广告牌拍摄一张照片，然后上传至系统进行对比，一旦系统发现不一样就会通知商家进行整改。

但是直接采用图像对比的问题在于：拍摄的店面招牌照片并不是同一个时间拍摄，因此前后两个照片在拍摄时间，角度，光照条件等条件都存在不一致的情况，对比结果会有很大影响，拍摄的照片还会存在极多的干扰因素：店内外的陈设、店面附近的车辆、人流、树木在不同时间条件下会变化很大，这种变化因素在照片中会极大干扰图像的对比结果正确率。

因此，亟待一种可减少干扰、显著提升识别率的图像对比方法、装置、电子设备及存储介质。

发明内容

本发明的目的是针对现有技术中存在的上述问题，提供了图像比对方法、装置、电子设备及存储介质。

为了实现上述发明目的，本发明采用了以下技术方案：图像比对方法包括以下步骤：

S100、获取至少一个当前图像和已审核图像；

S200、获取所述至少一个当前图像和所述已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

S300、获取每一所述第一显著性图中的一个或多个第一感兴趣区域；

S400、消除每一所述第一显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图，其中，所述显著对象为像素值高于设定显著阈值的第一感兴趣区域；

S500、将每一所述第二显著性图作为掩膜，对对应的所述至少一个当前图像或所述已审核图像进行处理获得第三显著性图，其中，每一所述第三显著性图包含一个或多个显著对象；

S600、从每一所述第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的所述至少一个当前图像或所述已审核图像的比对区域；

S700、对每一所述至少一个当前图像的比对区域分别和所述已审核图像的比对区域执行比对操作。

工作原理及有益效果：1、与现有技术相比，采用上述方法，利用显著性图算法获取两张图像的显著性图，并从显著性图提取一个或多个第一感兴趣区域，再将带有第一感兴趣区域的显著性图降噪放大得到第二显著性图并作为初始图像的掩膜，通过掩膜从信息最丰富的初始图像总获取一个或多个第二感兴趣区域，基于连通域分析算法从每一所述第二显著性图选取像素最多/面积最大的图像作为每一初始图像的比对区域，可很好地避开店内的陈设、店面附近的车辆、拍摄时段、拍摄角度等干扰因素，极大地提高对比结果的正确率，操作极为方便，显著提高了比对效率；其中当前图像为城管刚拍摄的招牌图像，而审核图像为店家通过审核时的招牌图像。

2、利用本方案可直接用于现有技术中，用以解决现有技术的缺陷，改造成本低，经济效益高；

3、与现有技术采用深度学习算法相比，本方案可解决深度学习算法无法确认一个店面上的多个店招以及相邻店招的问题，也无需人工介入来指定，更无需需要针对业务中店面广告招牌目标数据进行学习，降低应用的难度，从而大大提升了识别效率和识别率，因此无论是现有技术中心的深度学习和简单的计算机图形学的图像对比算法，均无法达到本方法的效果；

4、本方法不限定于商家的店铺招牌、广告牌等，还可以用于对两张照片或多张照片的对比。

进一步地，S710、识别比对区域的文本数据进行比对；

获取至少一个当前图像和所述已审核图像的定位数据进行比对。

文字对比的技术非常简单，且出错率极低，而在去除了干扰因素后，简单的图像对比，出错率也是极低的，因此本方案在前面去除干扰因素后可非常方便地对比出两张图片的区别，结合S700步骤中的操作，显著提升对比结果的正确率，利用本方案可直接用于现有技术的算法前，用以解决现有技术的缺陷，改造成本低，经济效益高。

通过图像的定位信息，也就是GPS信息，记录GPS位置信息来确定前后照片中两个店面位置是同一处，可进一步地加入对比参照数据，进一步提升对比正确率，结合S700和S710步骤，可将对比正确率提升至接近百分之百，而且无需人工干预，有效降低店面招牌图片对比过程的干扰信息，提高了城管业务审核店面广告招牌过程的自动化程度。

进一步地，所述显著性特征中的颜色为RGBY。与现有的RGB三原色相比，增加了黄色的Y，颜色信息更多，有益于显著性图的计算。

进一步地，通过对带有一个或多个第一感兴趣区域的第一显著性图二值化降噪得到第二显著性图。利用现有二值图像形态学算法，可对带有第一感兴趣区域的第一显著性图进行快速的降噪操作，重合生成了第二显著性图，此图就是掩码图，为后续的掩膜提供了良好的基础。

进一步地，所述目标图像为携带了元数据的EXIF。EXIF也叫可交换图像文件格式，其具有丰富的信息，最重要的是其具有GPS位置，通过记录的GPS位置信息可非常方便地确定前后照片中两个店面位置是同一处，而提取EXIF的算法也是非常多且实现难度极低。

进一步地，S800、将审核图像的招牌区域、文本数据及定位数据进行存储，在比对时调用。此步骤，可极大地减少下次对同一店招进行比对的计算量，显著减少计算过程。

进一步地，步骤S300中提取每一所述第一显著性图中的第一感兴趣区域的具体步骤包括：

S310、提取每一所述第一显著性图的图像特征，其中所述图像特征借用所述显著性特征；

S320、对所述图像特征进行聚类形成特征字典；

S330、基于所述特征字典将所述第一显著性图转换成特征向量；

S340、依据分类器判断所述特征向量是否为第一感兴趣区域；

S350、将结果为是的特征向量集合成第一感兴趣区域集合。

进一步地，步骤S600中基于连通域分析算法从每一所述第二显著性图选取像素最多/面积最大的图像作为每一初始图像的比对区域的具体步骤为：

S610、选取每一所述第二显著性图中的一个前景像素点作为种子；

S620、根据像素值相同和位置相邻的规则，将与种子相邻的前景像素合并到同一像素集合中；

S630、根据像素集合得到一个或多个连通区域显著对象连通区域；

S640、遍历所有连通区域选取像素最多/面积最大的连通区域作为比对区域。

进一步地，步骤S500中、基于所述第二显著性图从初始图像获取一个或多个第二感兴趣区域的具体步骤为：

S510、将所述第二显著性图作为所述初始图像的掩膜；

S520、基于掩蔽算法从所述初始图像进行处理获取一个或多个第二感兴趣区域。

进一步地，从比对区域中获取外包矩形，对所述外包矩形内的图像进行OCR识别得到文本数据进行比对。

进一步地，将已审核图像的比对区域、文本数据及定位数据进行存储，在执行比对操作时调用。后续通过远程访问，同样能够达到对比的目的，显著提高了城管业务审核店面广告招牌过程的自动化程度。

广告牌图像自动比对装置包括图像输入模块、显著性图计算模块、感兴趣区域提取模块、二值化降噪模块、掩膜模块、连通域分析模块及图像比对模块；

所述图像输入模块，用以获取至少一个当前图像和已审核图像；

所述显著性图计算模块，用以获取所述至少一个当前图像和所述已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

所述感兴趣区域提取模块，用以获取每一所述第一显著性图中的一个或多个第一感兴趣区域；

所述二值化降噪模块，用以消除每一所述第一显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图，其中，所述显著对象为像素值高于设定显著阈值的第一感兴趣区域；

所述掩膜模块，用以将每一所述第二显著性图作为掩膜，对对应的所述至少一个当前图像或所述已审核图像进行处理获得第三显著性图，其中，每一所述第三显著性图包含一个或多个显著对象；

所述连通域分析模块，用以从每一所述第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的所述至少一个当前图像或所述已审核图像的比对区域；

所述图像比对模块，用以对每一所述至少一个当前图像的比对区域分别和所述已审核图像的比对区域执行比对操作。

应用了本方法的装置，同样能够极大地提高两张图片甚至多张图片的对比正确率，只需要从图像输入模块输入参数和图片即可快速地得出结果，或者将本装置集成于服务器中，通过远程访问，同样能够达到对比的目的，显著提高了城管业务审核店面广告招牌过程的自动化程度。

广告牌图像自动比对电子设备包括处理器和存储器；所述存储器用以存储上述的图像比对方法以及可执行命令；所述处理器用以执行存储器的可执行命令和图像比对方法。

应用了本方法的电子设备，起到了同样的效果，且更加便利，也显著提高了城管业务审核店面广告招牌过程的自动化程度，只需要电子设备获取服务器端的图片，与本地的图片进行对比，将结果回传到服务器端即可，可能够极大地降低服务器端的运算负担。

一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现上述的图像比对方法。

应用了本方法的计算机可读存储介质，可直接安装在电脑设备或其他移动终端上，借助设备硬件自动运行，起到了与本方法同样的效果，使用更加便利。

附图说明

图1是本发明方法中输入的原始图片示意图；

图2是本发明方法中利用显著性检测方法调整为原图大小的显著性图；

图3是本发明方法的一种实施例的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员应理解的是，在本发明的披露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

目前的技术手段主要是采用深度学习或者机器学习中的图像对比算法，缺陷在于，采用计算机图形学中的图像对比的算法来对比图像，直接采用图像对比的问题在于：拍摄的店面招牌照片并不是同一个时间拍摄，因此前后两个照片在拍摄时间，角度，光照条件等条件都存在不一致的情况，对比结果会有很大影响，拍摄的照片还会存在极多的干扰因素：店内外的陈设、店面附近的车辆、人流、树木在不同时间条件下会变化很大，这种变化因素在照片中会极大干扰图像的对比结果正确率。

而采用深度学习中的目标检测来查找照片中的店面招牌然后再来实施对比，实际这个思路会存在问题，因为店招的形式多种多样，一张照片会出现多个临近的或者本店的店招也会有多个，造成机器实际无法确认哪一个店面招牌才是需要对比的，而需要人工介入来指定，哪个才是需要检查的招牌，又失去了自动对比的意义。下文中的店招、店铺招牌及广告牌等均可视为同一对象。

因此为了完美地解决现有技术存在的问题，减少了图像中的无关因素、干扰因素带来的影响，提高了店面招牌自动对比的正确率，降低了人工干预的几率，给城市管理的广告审核过程带来了效率上面的提高，请参阅图3，为此本发明提供了图像比对方法。

本图像比对方法包括以下步骤：

S100、获取至少一个当前图像和已审核图像；

当前图像相当于获取当前城管拍摄的店招图像，已审核图像相当于获取云端或内部网络中的商家审核通过的图像，获取方式可以通过无线网路或有线网络或本地存储或网络存储等方式，这里不对其进行限定。

S200、获取至少一个当前图像和已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

利用显著性图的算法分别对当前图像和审核图像进行处理，得到了两张第一显著性图，此步骤开始与现有技术存在较大区别。

S300、获取每一第一显著性图中的一个或多个第一感兴趣区域；

利用目前的形态学操作在两张第一显著性图上分别提取感兴趣区域，得到了两张带有感兴趣区域的第一显著性图，提取的时候可重复利用步骤S200中的显著性特征。在本方案中利用了Bag of Features算法，也就是一种用于图像和视频检索的算法。此算法对于不同角度，光照的图像，基本都能在图像库中正确检索，因此可以快速地得到第一显著性图中的第一感兴趣区域。

S400、消除每一第一显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图，其中，显著对象为像素值高于设定显著阈值的第一感兴趣区域；

此步骤为了消除图像中的干扰区域，只保留显著性高的感兴趣区域，也就是大于显著值阈值的第一感兴趣区域，这里的显著值阈值可以根据实际情况设定。在本方案中利用了现有的二值图像形态学（binary morphology）算法以及其中的开运算和闭运算对带有第一感兴趣区域的第一显著性图进行的二组图像转操作及降噪操作，其是高效分析改进二值图像的工具，尤其是那些由前景和背景的分割（例如：基于颜色、运动估计、联和部署、多图像特征）。

二值图像的图像的亮度值只有两个状态：黑(0)和白(255)。二值图像在图像分析与识别中有着举足轻重的地位，因为其模式简单，对像素在空间上的关系有着极强的表现力。

S500、将每一第二显著性图作为掩膜，对对应的至少一个当前图像或已审核图像进行处理获得第三显著性图，其中，每一第三显著性图包含一个或多个显著对象；

此步骤是为了得到更加准确的显著性图，本方案中利用现有的binary Mask操作，binary Mask二元掩膜在图像处理的时候，计算机识别图像是将图像当作一个矩阵，要把一个遮挡板放在一个图像上进行操作，图像矩阵和另外一遮挡矩阵进行乘积运算，从而得到想要的结果，因此利用二元掩膜可提取感兴趣区域，用预先制作的感兴趣区掩膜（本方案中的掩码图）与待处理图像（初始图像）相乘，得到感兴趣区图像（第二显著性图），感兴趣区内图像值保持不变，而区外图像值都为0。

S600、从每一第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的至少一个当前图像或已审核图像的比对区域；

此步骤，由于S500步骤中的第三显著性图已经是二值图像，因此利用目前的连通域分析算法进行连通区域标记，连通区域（Connected Component）一般是指图像中具有相同像素值且位置相邻的前景像素点组成的图像区域（Region，Blob）。连通区域分析（Connected Component Analysis,Connected Component Labeling）是指将图像中的各个连通区域找出并标记。因此通过连通域分析算法可方便地计算出第三显著性图上的所有图像，只要选取最大面积也就是像素最多的图像，就是我们要的招牌区域。其中前景像素是相对于背景像素的，不是背景的像素就是前景像素，也就是前景像素点是指区域内的像素点(店招),非前景像素点就是背景像素。

S700、对每一至少一个当前图像的比对区域分别和已审核图像的比对区域执行比对操作；

在S100-S600的步骤中已经剔除了绝大多数的干扰因素，因此得到的招牌区域的准确性非常高，只需要经过对比两个图像的招牌区域即可很快地计算出当前图像和已审核图像是否一致，若此区域的图像不一致，则当前图像发生了变化，需要整改或重新备案，至于此处计算的算法可以是现有技术中的SIFT算法或深度学习特征提取网络的算法，因此本方法可以直接应用在现有技术中，用以弥补现有技术存在的缺陷，改造成本低。

S710、识别比对区域的文本数据进行比对；

为了更进一步地减少干扰因素，提高比对正确率，通过OCR文字识别对比对区域（招牌区域）的文字数据进行识别，通过现有的算法来计算两块招牌区域的文字是否相同，例如计算编辑距离，编辑距离是指两个字串之间，由一个转成另一个所需的最少的编辑操作次数。编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大，若文字数据存在差别则发生了文字变化。这里不再对其进行赘述。

S720、获取至少一个当前图像的定位数据和已审核图像的定位数据进行比对。

为了再更进一步地提高比对正确率，通过获取当前图像和已审核图像的定位信息，也就是GPS信息，比对两者的GPS信息来判断两张图像中的店招是否在同一位置，若不在同一位置就是发生了位置变化。其中当前图像和已审核图像都带有EXIF的元数据信息。

EXIF数据：现代数码相机能够将信息以及许多其他相机设置一起记录到照片中。然后，这些设置随后可用于组织照片、执行搜索，并为摄影师提供有关拍摄特定照片方式的重要信息。此存储的数据称为“EXIF 数据”，它由一系列设置组成，如 ISO速度、快门速度、光圈、白平衡、相机型号和制作、日期和时间、镜头类型、焦距、GPS位置等。因此提取的算法也是现有技术，这里不再对其进行赘述。

S800、将已审核图像的比对区域、文本数据及定位数据进行存储，在比对时调用。此步骤，可极大地减少下次对同一店招进行比对的计算量，显著减少计算过程。

综上，本方法在进行多次处理得到的招牌区域，免去了绝大多数的干扰因素，并通过三种比对数据（比对区域、本文数据及定位数据），极大地提高了比对正确率和比对效率，无需深度学习，极大地降低了计算难度，提高了计算速度，可直接运用在现有技术的算法中，改造成本低，适合大范围推广。

值得一提的是，上文和下文中提到的店招，也就是店铺照片或者是广告牌或者是其他的宣传牌等。

本方法还提供了实施例1：

本实施例中的方法包括以下步骤：

第一步：使用显著性目标检测方法计算输入图像的显著性图，输入图像可以是上文中提到的当前图像和已审核图像。

第二步：使用形态学操作在显著性图中提取感兴趣区域（ROI）。

第三步：将第二步得到的图转换至二值图后通过使用预先设定的阈值来保留具有高显著值的区域，消除显著性图中的噪声，也就是降噪。也就是图3中的消除噪声操作。

第四步：应用降噪后的显著性图作为掩码（mask)图，从原始图像（原始的输入图像）截取ROI，也就是图3中的在原图叠加ROI。

第五步：标记连接的区域，从显著性图上截取具有最大面积的图像，此剪裁图就是比对区域（招牌区域），招牌区域作为比对参照，也就是图3中的通过连通性计算和最大区域计算得到招牌区域。

第六步：使用光学字符识别（OCR）方法检测/提取上一步获得的裁剪图的文本数据，将获取的文本数据保存下来作为比对参照。

第七步：从图像的EXIF（可交换图像文件格式）元数据获取GPS信息作为比对参照，就是记录具体的店面位置数据。

第八步：对于输入的两张图，也就是图3中的输入店招照片1和输入店招照片2，均采用步骤一到七获得的各类信息进行对比，即可方便地得到两张图的对比结果。

在图3中简单明了地展示了本方法的具体过程，还在图3中进行文字概括，其中信息采集过程为常规技术手段，采集过后就是执行步骤一到七，招牌区域的比对就是通过常见的相似度比较算法。

最后，店招图片一致则合格通过，不一致就需要整改，店招图片一致需要同时符合比对区域一致、文本数据一致及GPS信息一致，GPS信息由于定位精度的问题，可以有一定的误差。

实施例2：

下面对两个店面位置做对比，对两个店面的招牌区域做对比，对两个店面招牌文字做对比，最终得到店招对比结果。

步骤1、首先提取两张图片的初级视觉特征：颜色（RGBY）、亮度和方位，在多种尺度下使用中央周边(Center-surround)操作产生体现显著性度量的特征图，将这些特征图合并得到最终的显著图(Saliency map)后,利用生物学中赢者取全(Winner-take-all)的竞争机制得到图像中最显著的空间位置, 用来向导注意位置的选取，最后采用返回抑制(Inhibition of return) 的方法来完成注意焦点的转移，前面为得到显著性图的大致过程。

本步骤的结果如附图1和2所示，其中附图2显示了调整为原图大小的显著性图（特征计算后往往是缩小的），附图1显示了输入图像，包括当前图像和审核图像，其中为了保护隐私，将附图1中的电话号码抹去了，实际上原图上是有电话号码的。

步骤2、提取感兴趣区域（ROI）

利用BagOfFeature（借鉴文本分类的BagOfWords）算法采用先验方式的对象和场景分类方法来提取ROI。步骤1中分割的对象使用BagOfFeature进行分类，下面描述了整个过程：

A1、提取图像特征，在步骤1中我们已经提取了特征，也就是步骤1中的初级视觉特征，这里可以重复使用；

A2、对图像特征进行聚类，形成特征字典（visual word）；

A3、根据特征字典，将输入的图片表示成特征向量；

A4、训练分类器，对特征向量进行分类（分类标准为是、否为ROI)，分类器可以采用CNN深度网络或其他同样作用的分类器；

A5、对输入的对象进行A1-A4步骤的计算，得到是否是ROI的结果，也就得到了本方案中的ROI图。

步骤3、采用二值图像形态学（binary morphology）上面的降噪操作；

步骤2给出了ROI图。在此步骤中此图像被转换为二值图像（Binary Image），并进行降噪的操作，同时也是为了方便后续步骤的进行。

为了消除进一步的噪声和小分量值，通过创建一个椭圆形结构（getStructuringElement），对同一图像执行开和闭操作，即二值图像形态学中的开运算和闭运算，具体详细的计算步骤为现有技术，因此不再进行赘述。然后，将获得结果的像素值与在图像数据库上观测的基础上考虑的预定义阈值进行比较，这个预定义阈值可以按照实际情况设定。

执行这些操作后获得的结果较高可能性的显著值的区域，也就是选择了超过预定义阈值的一些区域，这些区域可以是多个也可以是一个，随着实际的图像变化。

这里以二进制图像的形式获得了新的显著性图，也就是第二显著性图，将在下一步用作掩码。

步骤4、用掩码图截取ROI

在步骤3中获得的二进制图像用作Binary Mask掩码图（掩膜），目的是获取包含一个或多个显著对象图像的区域。采用掩码图可以减少计算量，使用的二进制Mask图像的大小与原始输入图像的大小相同。

使用的掩蔽算法在从信息最丰富的原始图像中提取信息时候，将只考虑binaryMask图值为 '1'的像素的位置的内容。

最终输出结果图像的大小与原始图像的大小相同。

步骤5、通过连接区域并截取最大的招牌区域

其中连通区域判断的思路如下：选取一个前景像素点作为种子，然后根据连通区域的两个基本条件（像素值相同、位置相邻）将与种子相邻的前景像素合并到同一个像素集合中，最后得到的该像素集合则为一个连通区域。

下面给出基于种子填充法的连通区域分析方法，也就是使用连通域分析算法的一种：

N1、扫描步骤4得到的图像，直到当前像素点A(x,y) == 1：

N1-1、将A(x,y)作为种子（像素位置），并赋予其一个label标签，然后将该种子相邻的所有前景像素都压入栈中；

N1-2、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；

N1-3、重复b步骤，直到栈为空；

此时，便找到了图像A中的一个连通区域，该区域内的像素值被标记为label；

N2、重复N1（包括N1-1到N1-3）的步骤，直到扫描结束；

扫描结束后，就可以得到图像A中所有的连通区域。

N3、遍历图像上所有的连通区域，获得图像A中面积最大的一个（像素最多）就是我们要找的招牌。

与现有的深度学习和SIFT等算法存在较大的区别，而正是这种区别导致了本方法可以除去很多的干扰因素，大大提升对比正确率。

步骤6：执行OCR 操作获得招牌区域的文字

从步骤5获得的连通区域中获得一个外包矩形，截取此矩形区域图像，输出到OCR识别引擎。

OCR识别引擎对矩形区域图像进行文本检测、文本识别获得招牌文本，其中OCR识别引擎在本方案中不限定，可以是任何OCR识别引擎，当然优选采用识别率最高的产品。

步骤7：提取两张图片的的坐标信息

此步骤涉及从元数据EXIF（可交换图像文件格式）中提取 GPS位置数据。

因此利用现有的算法或软件可方便地从图像中的EXIF获取GPS数据，而两张图片的数据在一开始就可以获取到，也无需放在最后几步进行获取，通过记录GPS位置信息来快速确定前后照片中两个店面位置是同一处。

步骤8:图像对比操作

现在输入两张店面的照片，需要在两张照片上面分别重复步骤1-7，最终得到：两个招牌图片（第一对比参照数据）、两个招牌内容文字（第二对比参照数据）、两个坐标信息（第三对比参照数据）。

在得到上述的信息后：

通过GPS位置信息对比前照片是否同一处拍摄(计算两个GPS坐标位置距离是否在同一点)，对比GPS位置信息的算法不限定也较为常规，因此也不再进行详细赘述；

通过OCR文字来对比两个照片中店招文字内容是否相同，如计算文字正确率/Levenshtein距离，即为编辑距离，是指两个字串之间，由一个转成另一个所需的最少的编辑操作次数，编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符，一般来说，编辑距离越小，两个串的相似度越大；

比对两个招牌图片，采用现有的SIFT算法或检查图像内容是否相似，当然还可以是其他能够实现此功能的算法，这里不再对其进行赘述。

综合上述三个结果，最终得到了店招图像是否一致的判断。

本发明采用查找显著性对象信息结合图像中文本识别结合GPS判断等技术手段，有效降低店面招牌图片对比过程的干扰信息，提高了城管业务审核店面广告招牌过程的自动化程度。

相对于其他采用深度学习检测招牌的手段，本发明不需要针对业务中店面广告招牌目标数据进行学习，降低应用的难度。特别是本发明了采用无监督的自下而上算法来检测图像中突出区域（段），是快速收敛的一个很好手段。

实施例3：

在另一种较佳的实施例中，通过将预先通过将本方法处理过的商家审核图像的比对、文本数据及定位数据进行存储，后续输入拍摄的图像进行比对时，直接对输入图像进行处理，然后与云端的招牌区域等数据比对即可，显著减少了计算过程，无需每次都对商家审核图像计算一次。以下为具体步骤：

S100、获取当前图像以及审核图像的比对区域、文本数据及定位数据；

S200、获取当前图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

S300、提取第一显著性图中的一个或多个第一感兴趣区域并标记；

S400、消除所有第一感兴趣区域中低于设定显著值阈值的第一感兴趣区域，得到第二显著性图；

S500、基于所述掩码图从当前图像截取感兴趣区域得到第二显著性图；

S600、基于所述第二显著性图从当前图像获取一个或多个第二感兴趣区域并标记；

S700、基于连通域分析算法从第二显著性图选取像素最多/面积最大的图像作为当前图像的比对区域；

S800、识别比对区域的文本数据以及获取当前图像的定位数据；

S900、比对当前图像和已审核图像的比对区域、文本数据及定位数据。

实施例4：

广告牌图像自动比对装置包括图像输入模块、显著性图计算模块、感兴趣区域提取模块、二值化降噪模块、掩膜模块、连通域分析模块、OCR模块、位置信息提取模块及图像比对模块；所述图像输入模块，用以获取至少一个当前图像和已审核图像；所述显著性图计算模块，用以获取至少一个所述当前图像和所述已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；所述感兴趣区域提取模块，用以提取每一所述第一显著性图中的多个第一感兴趣区域并标记；所述掩膜模块，用以基于所述第二显著性图从初始图像获取一个或多个第二感兴趣区域并标记，其中初始图像为当前图像和已审核图像；所述连通域分析模块，用以基于连通域分析算法从每一所述第二显著性图选取像素最多/面积最大的图像作为每一初始图像的比对区域；所述OCR模块，用以识别所述招牌区域的文本数据；所述位置信息提取模块，用以获取输入图像的定位信息；所述图像比对模块，用以对至少一个所述当前图像和所述已审核图像的比对区域、文本数据及定位信息进行比对操作。

应用了本方法的装置，同样能够极大地提高两张图片甚至多张图片的对比正确率，只需要从图像输入模块输入参数和图片即可快速地得出结果，或者将本装置集成于服务器中，通过远程访问，同样能够达到对比的目的，显著提高了城管业务审核店面广告招牌过程的自动化程度。

实施例5：

广告牌图像自动比对电子设备包括处理器及存储器；所述存储器用以存储上述的图像比对方法以及可执行命令；所述处理器用以执行存储器的可执行命令和图像比对方法。

应用了本方法的电子设备，起到了同样的效果，且更加便利，也显著提高了城管业务审核店面广告招牌过程的自动化程度，只需要电子设备获取服务器端的图片，与本地的图片进行对比，将结果回传到服务器端即可，可能够极大地降低服务器端的运算负担。电子设备可以是手机、平板电脑等，因此在拍摄完照片后，通过与服务器连接直接获取对应的审核图像，可直接与拍摄到并经过处理的图片进行比对，可现场得到比对结果，尤其在审核图像已经预先经过了处理，可更为快速地得到比对结构，使得城管可现场进行执法操作，大大提高了工作效率。

实施例6：

一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现上述的图像比对方法。

应用了本方法的计算机可读存储介质，可直接安装在电脑设备或其他移动终端上，借助设备硬件自动运行，起到了与本方法同样的效果，使用更加便利。

上述六个实施例不仅仅是可于店招图像的识别，还能够用于两张图像的识别，例如在找茬游戏中，对于两张相似图片的识别，或者是用于手机中找出相同照片，找出完全一致的图像，提示用户删除重复的照片，从而减少空间占用，比现有的图像比对方法比对正确率更高。

用于实现本方案实施例方法的服务器的计算机系统包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有系统操作所需的各种程序和数据。 CPU、ROM以及RAM 通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的模块也可以设置在处理器中。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备执行以下方法所对应过的流程步骤。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.图像比对方法，其特征在于，包括以下步骤：

获取至少一个当前图像和已审核图像；

获取所述至少一个当前图像和所述已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

获取每一所述第一显著性图中的一个或多个第一感兴趣区域；

消除每一所述第一显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图，其中，所述显著对象为像素值高于设定显著阈值的第一感兴趣区域；

将每一所述第二显著性图作为掩膜，对对应的所述至少一个当前图像或所述已审核图像进行处理获得第三显著性图，其中，每一所述第三显著性图包含一个或多个显著对象；

从每一所述第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的所述至少一个当前图像或所述已审核图像的比对区域；

对每一所述至少一个当前图像的比对区域分别和所述已审核图像的比对区域执行比对操作。

2.根据权利要求1所述的图像比对方法，其特征在于，识别所述比对区域的文本数据进行比对；获取所述至少一个当前图像的定位数据和所述已审核图像的定位数据进行比对。

3.根据权利要求2所述的图像比对方法，其特征在于，将所述已审核图像的比对区域、文本数据及定位数据进行存储，在执行比对操作时调用。

4.根据权利要求1所述的图像比对方法，其特征在于，消除每一所述第一显著性图中低于设定显著阈值的第一感兴趣区域之前，将每一所述第一显著性图转换为二值图像。

5.根据权利要求1所述的图像比对方法，其特征在于，提取每一所述第一显著性图中的第一感兴趣区域的具体步骤包括：

提取每一所述第一显著性图的图像特征，其中所述图像特征借用所述显著性特征；

对所述图像特征进行聚类形成特征字典；

基于所述特征字典将所述第一显著性图转换成特征向量；

依据分类器判断所述特征向量是否为第一感兴趣区域；

将结果为是的特征向量集合成第一感兴趣区域集合。

6.根据权利要求2所述的图像比对方法，其特征在于，

基于连通域分析算法从每一所述第二显著性图选取像素最多/面积最大的图像作为每一初始图像的比对区域的具体步骤为：

选取每一所述第二显著性图中的一个前景像素点作为种子；

根据像素值相同和位置相邻的规则，将与种子相邻的前景像素点合并到同一像素集合中；

根据像素集合得到一个或多个连通区域显著对象连通区域；

遍历所有连通区域选取像素最多或面积最大的连通区域作为比对区域。

7.根据权利要求2所述的图像比对方法，其特征在于，从比对区域中获取外包矩形，对所述外包矩形内的图像进行OCR识别得到文本数据进行比对。

8.图像比对装置，其特征在于，包括图像输入模块、显著性图计算模块、感兴趣区域提取模块、二值化降噪模块、掩膜模块、连通域分析模块及图像比对模块；

所述图像输入模块，用以获取至少一个当前图像和已审核图像；

所述显著性图计算模块，用以获取所述至少一个当前图像和所述已审核图像的显著性特征得到第一显著性图，其中，所述显著性特征至少包括颜色、亮度和方位；

所述感兴趣区域提取模块，用以获取每一所述第一显著性图中的一个或多个第一感兴趣区域；

所述二值化降噪模块，用以消除每一所述第一显著性图中低于设定显著阈值的第一感兴趣区域，得到包含一个或多个显著对象的第二显著性图，其中，所述显著对象为像素值高于设定显著阈值的第一感兴趣区域；

所述掩膜模块，用以将每一所述第二显著性图作为掩膜，对对应的所述至少一个当前图像或所述已审核图像进行处理获得第三显著性图，其中，每一所述第三显著性图包含一个或多个显著对象；

所述连通域分析模块，用以从每一所述第三显著性图中选取像素最多或面积最大的显著对象连通区域，作为对应的所述至少一个当前图像或所述已审核图像的比对区域；

所述图像比对模块，用以对每一所述至少一个当前图像的比对区域分别和所述已审核图像的比对区域执行比对操作。

9.一种电子设备，其特征在于，包括处理器及存储器；所述存储器用以存储权利要求1-7任一项所述的图像比对方法以及可执行命令；所述处理器用以执行存储器的可执行命令和图像比对方法。

10.一种计算机可读存储介质，存储有可执行指令，用于被处理器执行时，实现权利要求1至7任一项所述的图像比对方法。

Images