CN112784189A - 一种识别页面图像的方法和装置 - Google Patents

Abstract

本发明公开了一种识别页面图像的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取页面文本的文本属性，并确定与文本属性对应的图像特征；提取页面图像的局部特征；对局部特征进行基于文本属性的特征学习，得到预测特征；根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符。该实施方式能够对页面图像进行自动分析，从而准确且高效地确定页面图像与页面文本是否相符。

Description

一种识别页面图像的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种识别页面图像的方法和装置。

背景技术

随着互联网和大数据的发展，层出不穷的新技术每天都在改变着我们的生活，同时基于人工智能也演变出许多新应用，各类页面也渐渐变得更加个性化、精致化和多样化，页面中的图像可以作为用户了解页面的重要参考，如何把最有价值的图像展示给用户，是一件有意义的工作，正是在这样的背景下，识别页面中的图像是否与页面内容相匹配，过滤掉无关图像，能够呈现给用户全新的视觉体验。

现有技术是针对页面中的图像，是运营人员进行人工审核，检查图像质量。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

审核标准因人而异且标准不一；人的精力有限且效率较低；而且因人力成本导致分析成本较高。

发明内容

有鉴于此，本发明实施例提供一种识别页面图像的方法和装置，运用深度学习的算法，自动识别页面图像，以统一的标准预测页面图像是否与文本属性相匹配，在识别精确度和预测速度上，都有明显提升，解放了人工资源。

为实现上述目的，根据本发明实施例的一个方面，提供了一种识别页面图像的方法。

本发明实施例的一种识别页面图像的方法包括：

获取页面文本的文本属性，并确定与所述文本属性对应的图像特征；

提取页面图像的局部特征；

对所述局部特征进行基于所述文本属性的特征学习，得到预测特征；

根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符。

可选地，提取页面图像的局部特征，包括：

获取所述页面图像的像素点矩阵；

利用多标签图像分类网络架构从所述像素点矩阵中读取全局特征；

利用所述多标签图像分类网络架构对所述全局特征的关键点进行池化，得到局部特征。

可选地，对所述局部特征进行基于所述文本属性的特征学习，得到预测特征，包括：

利用所述多标签图像分类网络架构对所述局部特征进行基于文本属性的特征学习，得到学习特征；

利用所述多标签图像分类网络架构对所述学习特征的关键点进行池化，得到预测特征。

可选地，根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符，包括：

利用所述多标签图像分类网络架构判断所述局部特征和所述预测特征与所述图像特征是否相似；

若所述局部特征或所述预测特征与所述图像特征相似，则确定所述页面图像与所述页面文本相符；

若所述局部特征或所述预测特征与所述图像特征不相似，则确定所述页面图像与所述页面文本不符。

可选地，所述多标签图像分类网络架构的训练过程包括：

利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；

提取标注有品类标签的基础图像，对所述基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；

将所述基础图像及其对应的品类标签和所述增强图像及其对应的品类标签加入训练数据集，并将所述训练数据集按预设比例划分为训练集、验证集和测试集；

利用读取线程将所述训练集、所述验证集和所述测试集读入内存，并利用计算线程从内存读取所述训练集、所述验证集和所述测试集，以对所述多标签图像分类网络架构进行训练以及测试。

为实现上述目的，根据本发明实施例的又一方面，提供了一种识别页面图像的装置。

本发明实施例的一种识别页面图像的装置包括：

获取模块，用于获取页面文本的文本属性，并确定与所述文本属性对应的图像特征；

提取模块，用于提取页面图像的局部特征；

学习模块，用于对所述局部特征进行基于所述文本属性的特征学习，得到预测特征；

确定模块，用于根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符。

可选地，所述提取模块还用于：

获取所述页面图像的像素点矩阵；

利用多标签图像分类网络架构从所述像素点矩阵中读取全局特征；

利用所述多标签图像分类网络架构对所述全局特征的关键点进行池化，得到局部特征。

可选地，所述学习模块还用于：

利用所述多标签图像分类网络架构对所述局部特征进行基于文本属性的特征学习，得到学习特征；

利用所述多标签图像分类网络架构对所述学习特征的关键点进行池化，得到预测特征。

可选地，所述确定模块还用于：

利用所述多标签图像分类网络架构判断所述局部特征和所述预测特征与所述图像特征是否相似；

若所述局部特征或所述预测特征与所述图像特征相似，则确定所述页面图像与所述页面文本相符；

若所述局部特征或所述预测特征与所述图像特征不相似，则确定所述页面图像与所述页面文本不符。

可选地，还包括训练模块，用于：

利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；

提取标注有品类标签的基础图像，对所述基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；

将所述基础图像及其对应的品类标签和所述增强图像及其对应的品类标签加入训练数据集，并将所述训练数据集按预设比例划分为训练集、验证集和测试集；

利用读取线程将所述训练集、所述验证集和所述测试集读入内存，并利用计算线程从内存读取所述训练集、所述验证集和所述测试集，以对所述多标签图像分类网络架构进行训练以及测试。

为实现上述目的，根据本发明实施例的又一方面，提供了一种识别页面图像的电子设备。

本发明实施例的一种识别页面图像的电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的一种识别页面图像的方法。

为实现上述目的，根据本发明实施例的再一方面，提供了一种计算机可读存储介质。

本发明实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的一种识别页面图像的方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用获取页面的文本属性，并确定与文本属性对应的图像特征；提取页面图像的局部特征；对局部特征进行基于文本属性的特征学习，得到预测特征；根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符的技术手段，所以克服了现有技术在判断页面图像与页面文本是否相符时，审核标准因人而异且标准不一；人的精力有限且效率较低；且分析成本较高的技术问题，进而达到能够对页面图像进行自动分析，从页面图像中得到局部特征和预测特征，从而准确且高效地确定页面图像与页面文本是否相符的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的识别页面图像的方法的主要步骤的示意图；

图2是根据本发明一个可参考实施例的多标签图像分类网络架构的实现流程的示意图；

图3是根据本发明实施例的识别页面图像的方法的应用示意图；

图4是根据本发明实施例的识别页面图像的装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要指出的是，在不冲突的情况下，本发明的实施例以及实施例中的技术特征可以相互结合。

图1是根据本发明实施例的识别页面图像的方法的主要步骤的示意图。

如图1所示，本发明实施例的识别页面图像的方法主要包括以下步骤：

步骤S101：获取页面文本的文本属性，并确定与文本属性对应的图像特征。

通常一个页面可能同时包括文字和图像，对于图像是否与文字是否相对应，即页面图像与页面文本是否相符，例如某页面是关于足球的介绍，若页面图像是关于足球的则页面图像与页面文本不相符，若页面图像是关于跳水的则页面图像与页面文本不相符，在分析时可以先确定当前页面的文本属性对应于哪些图像特征，利用图像特征来分析页面图像。

步骤S102：提取页面图像的局部特征。

对于页面图像，其内容是确定的，即其特征也是确定的，可以从中提取所包括的局部特征，通过该局部特征可以判断页面图像是否包括文本属性对应的图像特征。

在本发明实施例中，步骤S102可以采用以下方式实现：获取页面图像的像素点矩阵；利用多标签图像分类网络架构从像素点矩阵中读取全局特征；利用多标签图像分类网络架构对全局特征的关键点进行池化，得到局部特征。

全局特征是指页面图像中包括的图形、材质、颜色、轮廓或位置等基础特征，对这些基础特征的关键点进行池化，能够进一步得到局部特征。池化是指对全局特征进行压缩，例如最大池化和平均池化。

此外，多标签图像分类网络架构是一种基于多标签服装与颜色图像分类(FashionNet)改进的神经网络结构，主要用于图像分类，在经典卷积的基础上，加入了关键属性定位层。本发明实施例的步骤S102-步骤S104均可以通过多标签图像分类网络架构实现。

步骤S103：对局部特征进行基于文本属性的特征学习，得到预测特征。

基于文本属性的特征学习是指从局部特征查找与文本属性最接近的预测特征，即查找页面图像中所包括的最符合文本属性的特征。

在本发明实施例中，步骤S103可以采用以下方式实现：利用多标签图像分类网络架构对局部特征进行基于文本属性的特征学习，得到学习特征；利用多标签图像分类网络架构对学习特征的关键点进行池化，得到预测特征。

对于特征学习同样可以采用多标签图像分类网络架构，并且这一过程中同样对学习特征的关键点进行池化，从而得到预测特征。

步骤S104：根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符。

在得到局部特征和预测特征后，可以进一步分析与图像特征的相似性，从而确定页面图像与页面文本是否相符。

在本发明实施例中，步骤S104可以采用以下方式实现：利用多标签图像分类网络架构判断局部特征和预测特征与图像特征是否相似；若断局部特征或预测特征与图像特征相似，则确定页面图像与页面文本相符；若断局部特征或预测特征与图像特征不相似，则确定页面图像与页面文本不符。

局部特征与图像特征以及预测特征与图像特征是否相似同样可以利用多标签图像分类网络架构判断，在经典卷积基础上加入的关键属性定位层能够判断局部特征和预测特征的可见性，即局部特征和预测特征是不是前述图像特征，如果局部特征与图像特征相似或预测特征与图像特征相似，则表示局部特征或预测特征可见，页面图像中包括图像特征，即图像特征与文本属性相符，否则相反。

在本发明实施例中，所述多标签图像分类网络架构的训练过程包括：利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；提取标注有品类标签的基础图像，对基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；将基础图像及其对应的品类标签和增强图像及其对应的品类标签加入训练数据集，并将训练数据集按预设比例划分为训练集、验证集和测试集；利用读取线程将训练集、验证集和测试集读入内存，并利用计算线程从内存读取训练集、验证集和测试集对所述多标签图像分类网络架构进行训练以及测试。

图像分类基础网络结构与多标签图像分类网络架构的参数种类相近，为提高训练效率、减少训练数据量，多标签图像分类网络架构可以使用已有的图像分类基础网络结构的参数作为初始参数。训练数据集中的训练数据主要包括两类，一类是已标注品类标签的基础图像，另一类是对基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动等操作面生成增强图像，增强图像的品类标签与其对应的基础图像的品类标签相同。对于训练数据，可以按预设比例对训练数据集中的训练数据进行划分，得到训练集、验证集和测试集，训练集用来训练多标签图像分类网络架构，验证集用来验证多标签图像分类网络架构的准确率，测试集用来模拟真实数据对多标签图像分类网络架构进行测试，预设比例可以根据实际需要设置，作为一种优选的实施方式，可以使训练集、验证集和测试集的比例为8:1:1。

此外，由于神经网络必须先读入数据后才能进行计算，例如读入数据用时0.1秒，计算数据用时0.9秒，这意味着每过1秒，GPU有0.1秒无事可做，这大大降低了运算的效率，为了解决这个问题，在训练多标签图像分类网络架构时，将读入数据和计算数据分别放在两个线程中，读取线程源源不断地将训练数据集中的训练数据读入一个内存的队列中，而负责计算的是计算线程，计算需要数据时，利用计算线程直接从内存队列中读取。并且，为方便多标签图像分类网络架构读取训练数据，训练数据的格式可以统一为tfrecord，tfrecord是一种将图像数据和品类标签统一存储的二进制文件。

根据本发明实施例的识别页面图像的方法可以看出，因为采用获取页面的文本属性，并确定与文本属性对应的图像特征；提取页面图像的局部特征；对局部特征进行基于文本属性的特征学习，得到预测特征；根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符的技术手段，所以克服了现有技术在判断页面图像与页面文本是否相符时，审核标准因人而异且标准不一；人的精力有限且效率较低；且分析成本较高的技术问题，进而达到能够对页面图像进行自动分析，从页面图像中得到局部特征和预测特征，从而准确且高效地确定页面图像与页面文本是否相符的技术效果。

图2是根据本发明一个可参考实施例的多标签图像分类网络架构的方法的实现流程的示意图。

如图2所示，本发明实施例的多标签图像分类网络架构(改进的FashionNet)，在基础卷积网络的基础上，加入了关键属性定位层，在提取页面图像的全局特征和局部特征后，定位页面图像的关键属性，具体如下：

全局特征层，主要用于提取整个页面图像的轮廓、位置等全局特征；

局部特征层，主要用于对关键点进行池化，得到页面图像的局部特征；

池化共享层，通过文本属性来特征学习，再利用估计的关键点位置来池化学习的特征，得到预测特征，这一层以迭代的方式进行，实现参数、算法共享，对所有分解后的局部特征进行同样的计算；

图像关键点定位层，用于预测关键点的位置及其可见性，可见性是指关键点是否存在(即页面图像中包括图像特征)。

为了进一步阐述本发明的技术思想，现结合具体的应用场景，对本发明的技术方案进行说明。

以某页面的评论图片为例，从评论图片中筛选出与该页面内容相关的评论图片，而删除无关的评论图片。如图3所示，在该场景下，本发明实施例的识别页面图像的方法可以划分为六部分，分别是：数据准备、数据增强、图像分类基础网络结构、FashionNet网络改进、参数调试和线上业务应用，其中，数据准备和数据增强是为FashionNet网络改进准备训练数据，图像分类基础网络结构为FashionNet网络改进提供初始化参数，参数调试是对FashionNet网络改进进行训练，线上业务应用是利用FashionNet网络改进识别评论图片与页面内容是否相关。具体地，

一、数据准备

1.Hive图像对应标签提取

训练数据集中的基础数据可以是从某些大数据平台的数据仓库(hive)表中提取基础图像的统一资源定位器(url)和品类标签；

2.数据集划分

训练数据集按照8:1:1的比例，划分为训练集、验证集和测试集，训练集用来训练改进的FashionNet，验证集用来验证改进的FashionNet的准确率，测试集用来离线模拟线上的真实数据；

3.数据读取分布式设计

将读入数据和计算分别放在两个线程中，读取线程源源不断地将文件系统中的图片读入一个内存的队列中，而负责计算的是另一个计算线程，计算需要数据时，直接从内存队列中取就可以了；

4.数据格式转换

训练数据的格式需转换为tfrecord，方便改进的FashionNet的读取。

二、数据增强

深度学习需要大量的训练样本，一般来说，数据的总量越多，训练得到的模型效果越好，在图像的任务中，对输入的图像进行一些简单的平移、缩放、颜色变换，并不会影响图像的类别，数据增强是指利用平移、缩放、颜色变换等，人工增大训练集样本的个数，从而获得更充足的增强数据用于训练改进的FashionNet。

1.图像平移旋转翻转

将基础图像在一定尺度范围内平移、旋转、水平或上下翻转；

2.随机裁剪缩放

在原有基础图像上裁剪出一块；

3.亮度颜色改变

对基础图像的RGB颜色空间进行一些变换；

4.噪声扰动

给基础图像加入一些人工生成的噪声。

三、图像分类基础网络结构

1.第一层卷积

搭建第一层卷积，使用1*1,3*3的卷积核，用conv2d建立，填充方式是0补全边界，卷积核主要是通过确定的核块来检测图像的某个区域，之后根据所检测的像素与周围像素的亮度差值来改变像素明亮度，其中，1*1卷积核的作用是减少中心像素的亮度，如果一个像素比其周围的像素更加昏暗，就会更进一步减少，3*3卷积核的作用是计算中央像素与周围临近像素的亮度差值，卷积层核心的参数主要有5个，解释如下：

Input：指需要做卷积的输入图像，是一个Tensor，具有[batch,in_height,in_width,in_channels]这样的shape，具体含义是[训练时一个batch的图片数量，图片高度，图片宽度，图片通道数]，这是一个思维的Tensor，本发明实施例设置类型是float32；

Flter：CNN中的卷积核，是一个Tensor，具有[filter_height,filter_width,in_channels,out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，类型与input相同，第三维in_channels，就是参数input的第思维；

Strides：卷积时在图像每一维的步长，这是一个一维的向量，第一维和第四维默认为1，第三维和第四维分别是平行和竖直滑行的步长；

Padding：字符串类型的，只能是‘SAME’、‘VALID’其中之一，这个值决定了不同的卷积方式；

Use_cudnn_on_gpu：是否使用cudnn加速，默认为True；

2.第一层池化

本发明实施例第一层池化采用的是最大池化，后面接入局部响应归一化层；池化函数的参数有4个，分别是：

Value：需要池化的输入，池化层接在卷积层之后，输入是feature_map，shape是[batch,height,width,channels]；

Ksizes：池化窗口的大小，取一个思维向量，本发明实施例是[1,height,width,1]，因为不想在batch和channels上做池化，所以这两个维度设为了1；

Strides：和卷积类似，窗口在每一个维度上滑动的步长，本发明实施例是[1,stride,stride,1]；

Padding：和卷积类似，可以取‘VALID’或者‘SAME’，返回一个Tensor，类型不变，shape仍然是[batch,height,width,channels]的形式；

3.第二层卷积

第二层卷积的卷积核设置为5*5，激活函数选择relu；

4.第二层池化

第二层池化选用的是平均池化，后面也接入局部响应归一化层，池化一个重要的作用是能够帮助输入的数据表示近似不变性，平移不变性指的是对输入的数据进行少量平移时，经过池化后的输出结果不发生改变；

5.两层全连接层

后面接两层全连接层，第一层是relu激活，第二层是softmax；

四、FashionNet网络改进

本发明实施例在基础卷积网络的基础上，加入了改进FashionNet的思路，提取商品图像的全局特征，局部特征，定位图像的关键属性，

1.全局特征层

这一层主要提取整个页面图像的轮廓、位置等全局特征；

2.局部特征层

这一层主要对关键点进行池化，得到页面图像的局部特征；

3.池化共享层

通过文本属性来特征学习，再利用估计的关键点位置来池化学习的特征，得到预测特征，这一层以迭代的方式进行，实现参数、算法共享，对所有分解后的局部特征进行同样的计算；

4.图像关键点定位层

预测关键点的位置及其可见性，可见性是指关键点是否存在(即页面图像中包括图像特征)；

5.FashionNet损失函数

改进的FashionNet网络主要采用三种损失函数，以迭代方式进行，分别是：

关键属性定位的L2损失函数；

商品标签预测的softmax损失函数；

图像属性预测的交叉熵损失函数；

6.图像变得更清晰

超分辨率，是指用某种方法提高图像的分辨率，从而让图像变得更加清晰，对于每一层输出的图像，如果出现格式错误，便通过超分辨率重新生成图像，通过超分辨率生成的图像，抓住了图像中的一些信息进行重建，比直接对图像进行缩放清晰很多。例如三通道图片包含了单通道灰色图片，就将其删除，在删除掉损坏的图片后，将图片缩放到统一大小，通过超分辨率重新生成图片。

五、参数调试

Learning_rate_decay_type

学习率，本发明实施例的配置文件中可以设置学习率是否自动下降，比如使用固定学习率还是使用随着迭代次数按比例衰减的学习率；

Optimizer

表示选定的优化器，本发明实施例设置的优化器有随机梯度SGD、批量梯度下降BGD、自适应Adam(高频特征更新步长小，低频特征更新步长大)；

Weight_decay

本发明实施例是指选定的weight_decay值，即改进的FashionNet中所有参数的二次正则化超参数；

Tensorboard动态调试

在训练改进的FashionNet时，使用tensorboard对训练过程进行可视化，在tensorboard中，可以看到损失的变化曲线，观察损失曲线有助于调试参数，当损失曲线比较平缓，收敛较慢时，可以考虑增大学习率，以加快收敛速度，如果损失曲线波动较大，无法收敛，可能是因为学习率过大，尝试适当减小学习率，改进的FashionNet还可以训练不同网络层的参数，通过可视化对比，得出只训练某一层好还是全部训练好。

六、线上业务应用

1.评论图片品类识别

对每一个评论图片，识别其与页面的文本属性是否相符，在不相符时可以对评论图片做优先级降权或过滤等处理；

2.多方联调

改进的FashionNet训练好之后，可以由算法端、服务端和客户端进行多方联调，确保业务逻辑的正确性和程序性能的稳定；

3.测试评估

产品测试人员会对将要上线的改进的FashionNet做人工评测和线上AB测试(ABtest)数据分析，新版改进的FashionNet达到上线要求才能替换老改进的FashionNet，而上线要求，即离线评估指标是图像预测准确度或F2score，其中：

图像预测准确度表示被分对的样本数量除以所有样本数量，准确度越高，分类效果越好。

F2score取值范围是0到1，取值越大，模型效果越好。

TP是真阳性(预测为正实际也为正)，FP是假阳性(预测为正实际为负)，FN是假阴性(预测为负实际为正)，TN是真阴性(预测为负实际也为负)，α²是平方系数，取值范围是0到1，可以基于实际情况确定。

4.上线切流量

本发明实施例的改进的fashionNet通过测试评估，上线切流量，且提升了评论对于用户的参考价值。

图4是根据本发明实施例的识别页面图像的装置的主要模块的示意图。

如图4所示，本发明实施例的识别页面图像的装置400包括：获取模块401、提取模块402、学习模块403和确定模块404。

其中，

获取模块401，用于获取页面文本的文本属性，并确定与所述文本属性对应的图像特征；

提取模块402，用于提取页面图像的局部特征；

学习模块403，用于对所述局部特征进行基于所述文本属性的特征学习，得到预测特征；

确定模块404，用于根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符。

在本发明实施例中，所述提取模块402还可以用于：

获取所述页面图像的像素点矩阵；

利用多标签图像分类网络架构从所述像素点矩阵中读取全局特征；

利用所述多标签图像分类网络架构对所述全局特征的关键点进行池化，得到局部特征。

在本发明实施例中，所述学习模块403还用于：

利用所述多标签图像分类网络架构对所述局部特征进行基于文本属性的特征学习，得到学习特征；

利用所述多标签图像分类网络架构对所述学习特征的关键点进行池化，得到预测特征。

在本发明实施例中，所述确定模块404还用于：

利用所述多标签图像分类网络架构判断所述局部特征和所述预测特征与所述图像特征是否相似；

若所述局部特征或所述预测特征与所述图像特征相似，则确定所述页面图像与所述页面文本相符；

若所述局部特征或所述预测特征与所述图像特征不相似，则确定所述页面图像与所述页面文本不符。

在本发明实施例中，装置400还包括训练模块(图中并未示出)，用于：

利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；

提取标注有品类标签的基础图像，对所述基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；

将所述基础图像及其对应的品类标签和所述增强图像及其对应的品类标签加入训练数据集，并将所述训练数据集按预设比例划分为训练集、验证集和测试集；

利用读取线程将所述训练集、所述验证集和所述测试集读入内存，并利用计算线程从内存读取所述训练集、所述验证集和所述测试集，以对所述多标签图像分类网络架构进行训练以及测试。

根据本发明实施例的识别页面图像的装置可以看出，因为采用获取页面的文本属性，并确定与文本属性对应的图像特征；提取页面图像的局部特征；对局部特征进行基于文本属性的特征学习，得到预测特征；根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符的技术手段，所以克服了现有技术在判断页面图像与页面文本是否相符时，审核标准因人而异且标准不一；人的精力有限且效率较低；且分析成本较高的技术问题，进而达到能够对页面图像进行自动分析，从页面图像中得到局部特征和预测特征，从而准确且高效地确定页面图像与页面文本是否相符的技术效果。

图5示出了可以应用本发明实施例的识别页面图像的方法或识别页面图像的装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的识别页面图像的方法一般由服务器505执行，相应地，识别页面图像的装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块、提取模块、学习模块和确定模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，提取模块还可以被描述为“提取页面图像的局部特征的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：步骤S101：获取页面文本的文本属性，并确定与文本属性对应的图像特征；步骤S102：提取页面图像的局部特征；步骤S103：对局部特征进行基于文本属性的特征学习，得到预测特征；步骤S104：根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符。

根据本发明实施例的技术方案，因为采用获取页面的文本属性，并确定与文本属性对应的图像特征；提取页面图像的局部特征；对局部特征进行基于文本属性的特征学习，得到预测特征；根据局部特征或预测特征与图像特征的相似性确定页面图像与页面文本是否相符的技术手段，所以克服了现有技术在判断页面图像与页面文本是否相符时，审核标准因人而异且标准不一；人的精力有限且效率较低；且分析成本较高的技术问题，进而达到能够对页面图像进行自动分析，从页面图像中得到局部特征和预测特征，从而准确且高效地确定页面图像与页面文本是否相符的技术效果。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种识别页面图像的方法，其特征在于，包括：

获取页面文本的文本属性，并确定与所述文本属性对应的图像特征；

提取页面图像的局部特征；

对所述局部特征进行基于所述文本属性的特征学习，得到预测特征；

根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符。

2.根据权利要求1所述的方法，其特征在于，提取页面图像的局部特征，包括：

获取所述页面图像的像素点矩阵；

利用多标签图像分类网络架构从所述像素点矩阵中读取全局特征；

利用所述多标签图像分类网络架构对所述全局特征的关键点进行池化，得到局部特征。

3.根据权利要求2所述的方法，其特征在于，对所述局部特征进行基于所述文本属性的特征学习，得到预测特征，包括：

利用所述多标签图像分类网络架构对所述局部特征进行基于文本属性的特征学习，得到学习特征；

利用所述多标签图像分类网络架构对所述学习特征的关键点进行池化，得到预测特征。

4.根据权利要求3所述的方法，其特征在于，根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符，包括：

利用所述多标签图像分类网络架构判断所述局部特征和所述预测特征与所述图像特征是否相似；

若所述局部特征或所述预测特征与所述图像特征相似，则确定所述页面图像与所述页面文本相符；

若所述局部特征或所述预测特征与所述图像特征不相似，则确定所述页面图像与所述页面文本不符。

5.根据权利要求2-4中任一所述的方法，其特征在于，所述多标签图像分类网络架构的训练过程包括：

利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；

提取标注有品类标签的基础图像，对所述基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；

将所述基础图像及其对应的品类标签和所述增强图像及其对应的品类标签加入训练数据集，并将所述训练数据集按预设比例划分为训练集、验证集和测试集；

利用读取线程将所述训练集、所述验证集和所述测试集读入内存，并利用计算线程从内存读取所述训练集、所述验证集和所述测试集，以对所述多标签图像分类网络架构进行训练以及测试。

6.一种识别页面图像的装置，其特征在于，包括：

获取模块，用于获取页面文本的文本属性，并确定与所述文本属性对应的图像特征；

提取模块，用于提取页面图像的局部特征；

学习模块，用于对所述局部特征进行基于所述文本属性的特征学习，得到预测特征；

确定模块，用于根据所述局部特征或所述预测特征与所述图像特征的相似性确定所述页面图像与所述页面文本是否相符。

7.根据权利要求6所述的装置，其特征在于，所述提取模块还用于：

获取所述页面图像的像素点矩阵；

利用多标签图像分类网络架构从所述像素点矩阵中读取全局特征；

利用所述多标签图像分类网络架构对所述全局特征的关键点进行池化，得到局部特征。

8.根据权利要求7所述的装置，其特征在于，所述学习模块还用于：

利用所述多标签图像分类网络架构对所述局部特征进行基于文本属性的特征学习，得到学习特征；

利用所述多标签图像分类网络架构对所述学习特征的关键点进行池化，得到预测特征。

9.根据权利要求8所述的装置，其特征在于，所述确定模块还用于：

利用所述多标签图像分类网络架构判断所述局部特征和所述预测特征与所述图像特征是否相似；

若所述局部特征或所述预测特征与所述图像特征相似，则确定所述页面图像与所述页面文本相符；

若所述局部特征或所述预测特征与所述图像特征不相似，则确定所述页面图像与所述页面文本不符。

10.根据权利要求7-9中任一所述的装置，其特征在于，还包括训练模块，用于：

利用已有的图像分类基础网络结构的参数对所述多标签图像分类网络架构的参数进行初始化；

提取标注有品类标签的基础图像，对所述基础图像进行平移、旋转、翻转、缩放、颜色变换或噪声扰动生成增强图像；

将所述基础图像及其对应的品类标签和所述增强图像及其对应的品类标签加入训练数据集，并将所述训练数据集按预设比例划分为训练集、验证集和测试集；

利用读取线程将所述训练集、所述验证集和所述测试集读入内存，并利用计算线程从内存读取所述训练集、所述验证集和所述测试集，以对所述多标签图像分类网络架构进行训练以及测试。

11.一种识别页面图像的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。

Images