CN108345895A - 广告图像识别方法以及广告图像识别系统 - Google Patents

Abstract

本发明公开了一种广告图像识别方法以及广告图像识别系统。第一步骤：对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；第二步骤：将得到的广告标签在数据库中进行特征匹配，得到匹配结果。

Description

广告图像识别方法以及广告图像识别系统

技术领域

本发明涉及信息技术领域，尤其涉及一种广告图像识别方法以及广告图像识别系统。

背景技术

随着移动互联网的迅猛发展,信息的传播速度也在加快,消费者可以随时随地获得信息，并且成本几乎为零，但这对品牌传播而言，选择太多是个困境。而且人们被越来越多的信息淹没，这反而使电梯媒体的价值凸显。由于广告传媒的飞速发展，各行业的市场竞争全球化，广告是他们吸引客户的一大手段。因此为了吸引消费者，每周都有大量的广告方案在小区电梯内投放，而且投放周期不断缩短。如何正确识别和分类这些版位的广告方案面临巨大挑战。

在传统的技术中，版位的广告方案识别全是由人工识别和分类，全国设有40多个互联网数据中心服务器，分别负责不同区域的广告投放信息以及存储工人回传的照片。广告运营商的媒介部相关人员再把这些照片分配给不同的人，用人工识别的方法来判别这些广告方案的准确性以及分配到不同的文件路径下。

传统的人工识别方法不仅效率低下，也消耗了大量的人力、物力、财力。在此基础上，如果能研制出一种能在服务器上准确的对工人拍摄的照片进行自动识别和归类，那将会是一件非常有意义的工作，并将极大地提高工作效率。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种能够实现自动识别的广告图像识别方法以及广告图像识别系统。

为实现上述目的，本发明提供了一种广告图像识别方法，包括：

第一步骤：对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；

第二步骤：将得到的广告标签在数据库中进行特征匹配，得到匹配结果。

优选地，所述的广告图像识别方法还包括第三步骤：根据广告图像的清晰度和/或背景复杂度对广告图像进行评分。

优选地，所述的广告图像识别方法还包括第四步骤：将获取的广告图像中不能识别出广告标签的广告图像进行人眼识别，以便对获取的广告图像中不能识别出广告标签的广告图像进行挑选或分类。

优选地，利用图像识别技术识别所述数字标签以获取数字标签信息的步骤包括：首先，对广告图像进行图像预处理，接着提取广告图像的MSER区域，然后对提取的MSER区域的二值图像进行连通域分析以执行粗过滤；然后，对过滤后的图像进行闭运算，闭运算之后进行细滤除以得到包围文本区域的图像块，作为候选区域；然后对候选区域进行处理，识别出其中包含数字且数字个数等于7的候选区域，作为标签块；将标签块分割为7个单独数字区，通过识别得到每一个单独数字区中的单独数字，得到的7个单独数字作为广告标签。

优选地，如果得到的包围文本区域的图像块的数量多于1个，则选取区域权重较大的图像块做为候选区域，所选取的候选区域的内部的7个数字作为广告标签。

优选地，图像预处理包括图像裁剪处理、图像二值化处理、边缘检测处理、去除噪声处理、图像灰度化处理。

优选地，将标签块分割为7个单独数字区包括：对定位到的字符进行裁剪分割，在判断字符在拍摄过程中存在倾斜时，分别取出单独数字区的中心位置，然后将中心位置连接成一条直线，判断所述直线与平面的倾斜程度，利用判断的倾斜程度对标签块进行校正。这样做能大大提升对于标签信息的识别。

优选地，通过识别得到每一个单独数字区中的单独数字包括：字符识别过程使用卷积神经网络来进行字符训练以及识别。首先获取多个训练样本字符，使神经网络从训练样本字符中进行深度学习，利用神经网络使用训练样本字符来自动推断出识别标签字符的规则，利用推断出的识别标签字符的规则得到每一个单独数字区中的单独数字。此外，通过增加训练样本的数量，神经网络可以学到更多关于识别标签字符的规则。这样就能够提升自身的准确性。

为实现上述目的，本发明还提供了一种用于实施上述广告图像识别方法的广告图像识别系统，包括：

广告图像获取装置，用于对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；

特征匹配装置，用于将得到的广告标签在数据库中进行特征匹配，得到匹配结果。

本发明采用先进的计算机处理技术，不但可以将人力从繁琐的人工观察、识别中解放出来，而且能够大大提高其精确度。本发明的广告识别系统综合应用了基本的图像处理技术对拍摄图像进行处理以提取图片的区域，进而达到对标签的精确定位并最终完成对标签的识别、图像匹配以及图片的归类。本发明的识别系统可以对拍摄的照片自动检测定位，并能快速识别字符。该系统的移植性好，能在不同的应用环境下达到快速、准确的识别和匹配目标。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：

图1是根据本发明优选实施例的广告图像识别方法的流程示意图。

图2是神经网络的模型。

图3是根据本发明优选实施例的广告图像识别系统的示意图。

需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。

具体实施方式

传统的人工识别和分类消耗了大量的人力物力，而且存在人工识别出错的情况，为了解决上述问题，本发明自主开发了一套广告识别系统，给每个版位的广告方案都对应一个单独的标签,并把这些信息整理到一个文件里面，只需要识别这个图片对应的标识符，根据识别出的标识符找到这个图片的信息，找出对应的样图进行匹配。

正确识别标识符也是本发明需要解决的重点。对此，本发明使用深度学习的方法来识别标签，这样能大大提高识别的准确率。识别成功以后再根据文件里对应标签信息存储到对应路径下，这样为后期工人挑选照片节省了大量的时间。而且，进一步地，本发明能够将拍摄的照片与其对应的广告方案成功匹配，并且在导出的excel表格中显示其版位信息。

本发明通过对标签字符定位、字符分割和字符识别进行研究，设计出了一款定位速度快、识别正确率高的广告识别系统。该系统通过图像预处理和标签的结构特征、颜色特征实现标签定位，判断字符中心点所在的直线的斜率，来实现倾斜校正，字符分割和归一化与模板标准库进行匹配实现字符识别，识别标签之后对原图提取SURF特征与客服文件标准库进行匹配实现广告方案识别。实验证明该系统具有良好的鲁棒性和容错性，大大提高了标签和广告方案的正确识别率。字符定位是从一幅拍摄到的图片中定位出标签字符的位置，并从图片中提取出标签图像。标签定位正确与否直接影响到字符分割和识别的工作，是所有关键技术中的第一步。字符分割是对提取出的图像进行切割，从广告图像中提取出单个广告字符的图像。由于字符识别是以分割出的单个字符为输入，所以字符分割的准确与否直接影响到字符识别。字符识别是指对分割出的字符进行处理，识别出标签中的字符。字符识别直接影响到整个识别系统结果的准确性。图像匹配是在字符识别之后，得到标签的信息，从客服文件的数据库中调出小样图，提取它们的Surf特征，进行匹配。

在广告标签的识别中，根据输入的拍照图片信息，识别照片上的标签数字，对拍完的照片进行裁剪，尽可能的把标签的位置凸显出来，然后把裁剪的图片进行灰度化处理和提取MSER区域，然后将得到的区域转换成二值图像(主要是利用取得区域的坐标信息)。对得到的MSER区域二值图像进行连通域分析，先粗过滤一些明显不符合字符的区域，然后对过滤后的图像进行闭运算。闭运算之后再进行一次细滤除，最后得到包围文本区域的块，这一部分是图片的预处理过程。然后对这些候选区域进行处理，里面有数字的且数字的个数等于7的候选区域进行识别，把数字所在的标签块分割，得到每一个单独的数字，把得到的单独数字放到预先训练好的数字库里面，进行特征匹配，得到结果，到此标签识别过程结束。样本图的匹配，是在前面识别标签的基础上，把后台整理的客服文件取出，输入所识别的标签，对应的有小样图，调出小样图的信息，提取样本图的SURF特征，提取拍照图片的SURF特征，进行一次特征匹配的操作。

在具体实施时，可以由操作人员拍摄照片，然后在识别程序中，进行图像的预处理、字符定位、字符分割、字符识别、图像匹配。其中，字符定位的过程中搜索二值化的图片上面的信息，找到里面包含数字的字符。

下面将具体描述本发明的优选实施例。

图1是根据本发明优选实施例的广告图像识别方法的流程示意图。

如图1所示，本发明优选实施例的广告图像识别方法包括：

第一步骤S1：对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；

例如，可以对电梯广告版位的广告进行拍摄以获取广告图像。

优选地，例如，利用图像识别技术识别所述数字标签以获取数字标签信息的步骤包括：首先，对广告图像进行图像预处理(例如，图像预处理包括图像裁剪处理、图像二值化处理、边缘检测处理、去除噪声处理、图像灰度化处理等)，接着提取广告图像的MSER区域(最大极值稳定区域)，然后对提取的MSER区域的二值图像进行连通域分析以执行粗过滤(过滤一些明显不符合字符的区域)；然后，对过滤后的图像进行闭运算，闭运算之后进行细滤除以得到包围文本区域的图像块，作为候选区域；然后对候选区域进行处理，识别出其中包含数字且数字个数等于7的候选区域，作为标签块；将标签块分割为7个单独数字区，通过识别得到每一个单独数字区中的单独数字，得到的7个单独数字作为广告标签。而且，例如，如果得到的包围文本区域的图像块的数量多于1个，则选取区域权重较大的图像块做为候选区域，所选取的候选区域的内部的7个数字作为广告标签。

更具体地，将标签块分割为7个单独数字区包括：对定位到的字符进行裁剪分割，在判断字符在拍摄过程中存在倾斜时，分别取出单独数字区的中心位置，然后将中心位置连接成一条直线，判断所述直线与平面的倾斜程度，利用判断的倾斜程度对标签块进行校正。这样做能大大提升对于标签信息的识别。

更具体地，通过识别得到每一个单独数字区中的单独数字包括：字符识别过程使用卷积神经网络来进行字符训练以及识别。首先获取多个训练样本字符，使神经网络从训练样本字符中进行深度学习，利用神经网络使用训练样本字符来自动推断出识别标签字符的规则，利用推断出的识别标签字符的规则得到每一个单独数字区中的单独数字。此外，通过增加训练样本的数量，神经网络可以学到更多关于识别标签字符的规则。这样就能够提升自身的准确性。

其中，神经网络(Neural Networks)是一种模仿生物神经系统的机器学习算法，如图2所示。

如图2所示，x₁、x₂、…x_n为该神经元的输入，y为该神经元的输出。显然，不同的输入对神经元的作用是不同的，因此用权值w₁、w₂、…w_n来表示这种影响程度的不同。神经元内部包括两个部分，第一个部分是对输入的加权求和，第二个部分是对求和的结果进行“激活”，得

到输出结果，加权公式为：

b为偏移量，该偏移量也可以定义为输入恒为1的权值w0，即权值也包括偏移量,激活函数的公式为y＝f(u),其中f(·)称为激活函数。激活函数可以有多种形式，使用的Sigmoid函数，其形式如下

把他们放在一起来更加清楚的说明，一个具有输入x₁、x₂、…x_n，权值w₁、w₂、…w_n偏置b的神经元的输出就是

显然，神经元的输出不仅仅是0和1，它可以是0和1之间的任何实数，所以诸如0.75...和0.68...的值都是合理的输出。可以用其他的图片上的标签来评估神经网络模型。

用符号x表示训练输入，为了方便，把每个输入x看成一个28*28＝784维的向量。每个向量中的项目代表图像中单个像素的灰度值。用y＝f(x)表示对应的期望输出，这里的y是一个10位的向量。如分割后的字符是6的图像，那么y＝(0,0,0,1,0,0,0,0,0,0)'是期望输出。"-'-"代表转置操作。

希望神经网络模型的参数能够拟合所有的训练样本，因此定义了一个损失函数:

这里的w表示所有的网络中权重的集合，b是所有的偏置，n是训练样本的个数，a是表示当输入为x时输出的向量，求和则是在总的训练输入x上进行的。观察上述函数可以看到C(w,b)是非负的，而且是非常小的，即当样本量足够大时，C(w,b)无限接近于0，精确来说，是当对于所有的训练输入x，其结果y(x)接近于a时。学习算法能找到合适的权重和偏置。

第二步骤S2：将得到的广告标签在数据库中进行特征匹配，得到匹配结果；

优选地，所述数据库是预先训练好的数据库。

优选地，在第二步骤S2，提取数据库中的样本图的SURF特征(Speeded-Up RobustFeatures，高鲁棒性局部特征)，将得到的广告标签与样本图的SURF特征进行特征匹配，以得到匹配结果。

第二步骤S2是在前面识别标签的基础上，把后台整理的客服文件取出，输入所识别的标签，对应的有样本图，调出样本图的信息，提取样本图的SURF特征(Speeded-UpRobust Features，高鲁棒性局部特征)，提取拍照图片的SURF特征，进行一次特征匹配的操作。可以规定约束条件，只要满足约束条件，就判断特征匹配成功。

例如，这种匹配结果可以在导出的excel表格中显示。

第三步骤S3：根据广告图像的清晰度和/或背景复杂度对广告图像进行评分；

可以理解的是，第三步骤S3是可选步骤。

具体地，优选地，为了满足客户需求，在识别匹配成功之后，根据广告图像的清晰度和/或背景复杂度对广告图像进行评分，在挑选照片的时候，会挑选出一些评分较高的广告图像，用于回馈广告商。

第四步骤S4：将获取的广告图像中不能识别出广告标签的广告图像进行人眼识别，以便对获取的广告图像中不能识别出广告标签的广告图像进行挑选或分类。

第四步骤S4的手动识别系统和第一步骤S1的自动识别系统原理一样，它是用来解决自动识别系统中识别错误或者无法识别的问题。有时，由于标签破损或者拍照片的时候抖动产生的模糊在识别的时候往往会出现错误，或者根本无法识别，在自动识别的基础上推出了手动识别系统，一张一张加载未识别的照片，通过人眼识别标签里面的数字，然后在进行匹配。成功之后可以自动把其存入到相应文件夹下。如果匹配出现错误，则放入其他文件夹下。

相应地，为了实现上述广告图像识别方法，图3是根据本发明优选实施例的广告图像识别系统的示意图。

如图3所示，根据本发明优选实施例的广告图像识别系统包括：

广告图像获取装置10，用于对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；该广告图像获取装置10可以是例如任意适当形式的图像捕获装置，例如相机或者摄像机等。

特征匹配装置20，用于将得到的广告标签在数据库中进行特征匹配，得到匹配结果。该特征匹配装置20可以通过任意适当的硬件和/或软件形式实现。

本发明文本检测技术定位特色设计的数字标签和神经网络技术识别数字，确保了高识别率。另外一方面，本发明在图像匹配的时候用SURF特征，该特征满足平移，旋转，尺度不变性，能够满足不同角度拍摄要求，保证该发明实际操作中可行性。与现有技术相比，本发明的技术方案具有以下优点:提升标签识别率，改进广告匹配方法。较之以前人工整理照片的方法减少了，大量的人力物力，而且能够将图片和版位编号对应起来，做到了精确检查的同时也能将照片信息化，方便管理。本发明可以保证准确率的同时，也能够及时反馈错误上画情况。

上述说明示出并描述了本发明的优选实施例，如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种广告图像识别方法，其特征在于包括：

第一步骤：对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；

第二步骤：将得到的广告标签在数据库中进行特征匹配，得到匹配结果。

2.如权利要求1所述的广告图像识别方法，其特征在于还包括第三步骤：根据广告图像的清晰度和/或背景复杂度对广告图像进行评分。

3.如权利要求1或2所述的广告图像识别方法，其特征在于还包括第四步骤：将获取的广告图像中不能识别出广告标签的广告图像进行人眼识别，以便对获取的广告图像中不能识别出广告标签的广告图像进行挑选或分类。

4.如权利要求1或2所述的广告图像识别方法，其特征在于，利用图像识别技术识别所述数字标签以获取数字标签信息的步骤包括：首先，对广告图像进行图像预处理，接着提取广告图像的MSER区域，然后对提取的MSER区域的二值图像进行连通域分析以执行粗过滤；然后，对过滤后的图像进行闭运算，闭运算之后进行细滤除以得到包围文本区域的图像块，作为候选区域；然后对候选区域进行处理，识别出其中包含数字且数字个数等于7的候选区域，作为标签块；将标签块分割为7个单独数字区，通过识别得到每一个单独数字区中的单独数字，得到的7个单独数字作为广告标签。

5.如权利要求4所述的广告图像识别方法，其特征在于，如果得到的包围文本区域的图像块的数量多于1个，则选取区域权重较大的图像块做为候选区域，所选取的候选区域的内部的7个数字作为广告标签。

6.如权利要求4所述的广告图像识别方法，其特征在于，图像预处理包括图像裁剪处理、图像二值化处理、边缘检测处理、去除噪声处理、图像灰度化处理。

7.如权利要求1或2所述的广告图像识别方法，其特征在于，将标签块分割为7个单独数字区包括：对定位到的字符进行裁剪分割，在判断字符在拍摄过程中存在倾斜时，分别取出单独数字区的中心位置，然后将中心位置连接成一条直线，判断所述直线与平面的倾斜程度，利用判断的倾斜程度对标签块进行校正。这样做能大大提升对于标签信息的识别。

8.如权利要求1或2所述的广告图像识别方法，其特征在于，通过识别得到每一个单独数字区中的单独数字包括：字符识别过程使用卷积神经网络来进行字符训练以及识别。首先获取多个训练样本字符，使神经网络从训练样本字符中进行深度学习，利用神经网络使用训练样本字符来自动推断出识别标签字符的规则，利用推断出的识别标签字符的规则得到每一个单独数字区中的单独数字。此外，通过增加训练样本的数量，神经网络可以学到更多关于识别标签字符的规则。这样就能够提升自身的准确性。

9.一种用于实施如权利要求1至8之一所述的广告图像识别方法的广告图像识别系统，其特征在于包括：

广告图像获取装置，用于对包含数字标签的广告进行拍摄以获取广告图像，并且利用图像识别技术识别所述数字标签以获取数字标签信息作为广告标签；

特征匹配装置，用于将得到的广告标签在数据库中进行特征匹配，得到匹配结果。