CN110533018B - 一种图像的分类方法及装置 - Google Patents

一种图像的分类方法及装置 Download PDF

Info

Publication number
CN110533018B
CN110533018B CN201810502083.2A CN201810502083A CN110533018B CN 110533018 B CN110533018 B CN 110533018B CN 201810502083 A CN201810502083 A CN 201810502083A CN 110533018 B CN110533018 B CN 110533018B
Authority
CN
China
Prior art keywords
image
classified
feature vector
character
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810502083.2A
Other languages
English (en)
Other versions
CN110533018A (zh
Inventor
戴威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201810502083.2A priority Critical patent/CN110533018B/zh
Publication of CN110533018A publication Critical patent/CN110533018A/zh
Application granted granted Critical
Publication of CN110533018B publication Critical patent/CN110533018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图像的分类方法和分类装置，所述方法首先确定待分类图像；然后将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；最后获取所述图像分类模型输出的该待分类图像所属类型的分类结果。可见，本发明由人工分类转为机器自动识别分类，大大提高了处理效率，同时降低了人力成本。且本发明技术方案中的分类模型是依据图像的深度网络特征以及浅层文字特征处理后的特征向量进行训练后得到的，因此对于文档类图像的分类结果准确性更高。

Description

一种图像的分类方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种图像的分类方法及装置。
背景技术
由于企业管理的需要，企业通常会保存很多类型的图像，尤其例如手续、证明、证书等文档类图像。企业在收集到上述文档类图像后，需要对其进行分类，然后进行归档保存等后续处理。
现有技术中，均是由人工对各种类型的图像凭借经验进行分类识别从而得到该图像的类型，然后在进行归档等工作。
可见，对图像的分类识别工作十分繁重，而且人工处理的效率不高。对企业来说，也需要雇佣员工来执行相应工作，人工成本也很高，加大了企业的运营成本。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像的分类方法及装置，用于提高对图像分类的效率，降低企业运营成本。
为实现上述目的，本发明提供如下技术方案：
本发明公开了一种图像的分类方法，包括：
确定待分类图像；
将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
优选的，所述待分类图像为文档类分类图像。
优选的，所述将所述待分类图像的特征向量输入图像分类模型中包括：
获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
将所述待分类图像的特征向量输入到图像分类模型中。
优选的，所述获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量包括：
将所述待分类图像输入卷积神经网络，提取所述卷积神经网络输出的深度网络特征向量；
将所述待分类图像输入连通文本区域识别网络，依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量；其中，所述文本框的分布信息用于表征所述待分类图像中文字所在位置的文本框的位置信息；
将所述待分类图像输入深度神经网络中，提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量依次进行拼接，得到所述待训练图像的特征向量。
优选的，所述依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量包括：
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到文字分布特征向量。
优选的，所述提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量，包括：
获取标题区域的坐标范围；
依据所述坐标范围提取所述待分类图像中的目标文字；
将所述目标文字进行分词处理，生成每一个目标文字的目标文字词向量；
将所有的所述目标文字词向量进行求平均的运算，得到文字内容特征向量。
本发明另一方面公开了一种图像的分类装置，包括：
待分类图像确定单元，用于确定待分类图像；
特征向量输入单元，用于将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
分类结果获取单元，用于获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
优选的，所述待分类图像为文档类分类图像。
本发明另一发明还公开了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述所述的分类方法。
本发明另一发明还公开了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述的分类方法。
借由上述技术方案，本发明提供了一种图像的分类方法和分类装置，所述方法首先确定待分类图像；然后将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；最后获取所述图像分类模型输出的该待分类图像所属类型的分类结果。由于本发明实施例中，由人工分类转为机器自动识别分类，在对图像分类的处理效率上，大大提高，同时降低了人力成本。且本发明技术方案中的分类模型是依据图像的深度网络特征以及浅层文字特征处理后的特征向量进行训练后得到的，因此对于文档类图像的分类结果准确性更高。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例公开的一种图像的分类方法的流程示意图；
图2示出了本发明实施例公开的一种图像的分类方法的另一种流程示意图；
图3示出了本发明实施例公开的一种图像的分类装置的结构示意图；
图4示出了本发明实施例公开的一种图像的分类装置的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例公开了一种图像的分类方法，可以实现对图像分类。尤其是针对于文档类图像，准确率更高。本发明的核心思路在于，利用图像的深度网络特征以及浅层文字特征进行训练后得到的图像分类模型对待分类图像进行自动分类，得到准确的图像分类结果。本发明实施例可以应用到图像的分类任务中，尤其是各种带有文字信息的文档类图像分类任务中，例如保险、合同、协议、法律文件等等。
下面对本发明技术方案进行详细介绍。
参见图1，图1是本发明实施例公开的一种图像的分类方法的流程示意图。
本发明实施例公开的一种图像的分类方法，包括：
S101、确定待分类图像；
S102、将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
S103、获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
本发明实施例中，首先需要确定待分类图像。
其中，待分类图像优选为文档类图像。在各种类型的图像中，尤其是文档类图像中，通常会有文字、表格等，这些文字、表格等为浅层文字特征，或者称之为高阶语义，如果仅仅使用卷积神经网络来进行图像分类的处理，会存在无法学习到高阶语义从而导致分类结果不准确的情况。因此，本发明技术方案中，为了避免此种情况的发生，图像分类模型是依据图像的深度网络特征以及浅层文字特征进行处理后的特征向量来训练出的机器学习模型，使得对文档类图像的分类精度更高。
本发明实施例中，会将待分类图像的特征向量输入到图像分类模型中。其中，待分类图像的特征向量用于表征待分类图像的深度网络特征以及浅层文字特征。其中，浅层文字特征是待分类图像中例如标题的文字信息以及表格中的文字信息等关于文字的相关特征，深度网络特征是是待分类图像经过深度网络学习到的特征，包括但是不限于边缘、梯度、颜色等编码信息抽象出来的特征。待分类图像的特征向量是将待分类图像的深度网络特征和浅层文字特征进行处理后得到的，具体处理方式在后面进行详细介绍。
本发明实施例中，建立图像分类模型的优选时机为预先进行建立，当然，还可以在步骤S101之后实时建立，根据实际情况进行设计即可。对于该分类模型的具体建立过程，在后面进行详细介绍。
图像分类模型的输入为特征向量，输入为各个待分类图像的分类结果。本发明实施例中，获取所述图像分类模型输出的该待分类图像所属类型的分类结果，以便于对各种类型的图像进行存储等后续操作。
根据上述实施例可以看出，由于本发明实施例中，由人工识别分类转为机器自动识别分类，在对图像分类的处理效率上，大大提高，同时降低了人力成本。且本发明技术方案中的图像分类模型是依据图像的深度网络特征以及浅层文字特征处理后的特征向量进行训练后得到的，因此，利用该图像分类模型所得到的分类结果对于文档类图像来说，识别准确性更高。
上述实施例介绍了将待分类图像的特征向量输入图像分类模型的过程，下面对此过程进行详细介绍。
参见图2，图2是本发明实施例中提供的一种图像的分类方法的另一种流程示意图。
本发明实施例中，一种图像的分类方法包括：
S201、确定待分类图像。
此过程与前述实施例中的步骤S101相互参照即可，在此不进行赘述。
S202、获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；
本发明实施例中，需要获取待分类图像的特征向量，具体包括，获取待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量。其中，文字分布特征向量用于表示待分类图像中文字的分布情况，文字内容特征向量用于表示图像中凭借经验选取的标题区域中文字的内容情况。用于提高识别文档类图像的识别精度。
具体的，所述获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量包括：
S2021、将所述待分类图像输入卷积神经网络，提取所述卷积神经网络输出的深度网络特征向量；
本发明实施例中，所利用的卷积神经网络可以包括AlexNet或者是ResNet，如果是AlexNet，则提取倒数第二个全连接层的4096维向量，如果是ResNet，则提取倒数第二层1024维向量。当然，还可以是其它的卷积神经网络，只要能获取到深度网络特征向量即可，优选的方式是获取该卷积神经网络中倒数第二层所输出的向量。
S2022、将所述待分类图像输入连通文本区域识别网络，依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量；其中，所述文本框的分布信息用于表征所述待分类图像中文字所在位置的文本框的位置信息；
本发明实施例中，连通文本区域识别网络可以是CTPN(Connectionist TextProposal Network)，是一种实现定位文字区域的卷积神经网络。其可以依据每一行来识别出待分类图像中的文字，根据文字所在的位置生成文本框。然后依据每一个文本框的分布信息来生成文字分布特征向量。
其中，依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量具体包括：
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到图像文字分布特征向量。
本发明实施例中，连通文本区域识别网络会输出多个文本框的分布信息，具体包括每一个文本框的左上角的坐标以及文本框的宽度和高度用向量(x,y,w,h)表示，其中，x，y表示坐标，w表示宽度，h表示高度。
然后进行归一化处理，归一化处理的方式是采用将向量(x,y,w,h)中的x，w除以所在图像整体的宽度W，其中的y，h除以所在图像整体的高度H，得到归一化的分布向量(x/W,y/H,w/W,h/H)。
最后，假设识别出了k个文本框，则将这k个4维度向量按照x从小到大，x相同则y从小到大的顺序连接成4k的向量，长度为4k，如果小于4k，则用0补齐。如果大于4k，则进行截断，作为文字分布特征向量。
S2023、将所述待分类图像输入深度神经网络中，提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量；
本发明实施例中，利用深度神经网络来实现文字的识别。根据文字的词向量来生成文字内容特征向量。
所述提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量，包括：
获取标题区域的坐标范围；
依据所述坐标范围提取所述待分类图像中的目标文字；
将所述目标文字进行分词处理，生成每一个目标文字的目标文字词向量；
将多个所述目标文字词向量执行求平均的运算，得到文字内容特征向量。
本发明实施例中，经验性的会确定出标题区域的坐标，然后根据该坐标范围，提取待分类图像中的目标文字，即对该区域内的文字识别出来。之后利用分词工具，例如word2vec，将其中的文字进行分词处理。
最后针对每一个词生成一个300维的词向量，生成300维的词向量。具体过程可以包括如下过程，首先从网络资源中获得一定量的中文语料，例如对话、新闻等等。然后将这些中文语料进行分词得到一个词典并利用词典进行一位有效编码one-hot编码，随后利用word2vec工具进行训练得到训练好的词向量模型，可以设定维度数目，本申请技术方案中设置为300。随后将识别的每个词语输入到这个词向量模型中就会输出对应的300维的向量。将所有词的词向量求平均，作为该坐标区域的文字内容向量。求平均的作用是为了具有收敛性。
如果该坐标范围内没有识别出任何文本框，则将300维的词向量置为零，表示文字信息为空。
S203、将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
S204、将所述待分类图像的特征向量输入到图像分类模型中；
最后将上述深度网络特征向量、文字分布特征向量以及文字内容特征向量进行拼接，作为待分类图像的特征向量。其中拼接的方式可以是将向量进行横向拼接，例如首尾顺次连接成一个更长的向量作为特征向量。之后将特征向量输入到图像分类模型。
S205、获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
步骤S205参照前述实施例中的步骤S103，在此不进行赘述。
需要说明的是，本发明实施例中，步骤S2021、步骤S2022、步骤S2023是并行进行的，可以节省计算时间，加快算法运行速度；或者，也可以按照其他顺序执行，还可以是其中的两个步骤并行执行，在执行这两个步骤之前或之后执行第三个步骤。
本发明实施例中，可以预先对图像分类模型进行训练。具体过程包括。
获取训练集中的待训练图像；
获取所述待训练图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
将所述特征向量利用浅层分类器进行分类的训练，得到图像分类模型。
利用训练集的损失数据和验证集中的准确率确定是否继续对该图像分类模型进行训练，当所述损失数据以及所述准确率分别符合各自对应的阈值时，则停止对该图像分类模型的训练，将最后的结果作为图像分类模型的最终模型。
其中，预先将一定数量的待训练图像进行训练集和验证集中包括多个类别的待训练图像，每一种类别有多个待训练图像，训练集和验证集的分配比例按照各个类别7比3进行分割，使得训练集和验证集中各个类别的待训练图像的数量比例保持一致。
其中，获取待训练图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量方式与前述实施例中的步骤S202以及步骤S2021、S2022、S2023相类似，在此不进行赘述。
其中，浅层分类器可以采用机器学习向量机SVM或者xgboost，具体实现过程属于现有技术中的成熟技术，在此不进行赘述。
本发明另一方面提供了一种图像的分类装置。
参见图3所示，图3是本发明提供的一种图像的分类的结构示意图。
本发明公开了一种图像的分类装置，包括：
待分类图像确定单元1，用于确定待分类图像；
特征向量输入单元2，用于将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
分类结果获取单元3，用于获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
可选的，所述待分类图像为文档类分类图像。
由于本发明实施例中，由人工识别分类转为机器自动识别分类，在对图像分类的处理效率上，大大提高，同时降低了人力成本。且本发明技术方案中的图像分类模型是依据图像的深度网络特征以及浅层文字特征处理后的特征向量进行训练后得到的，因此，利用该图像分类模型所得到的分类结果对于文档类图像来说，识别准确性更高。
参见图4，图4是本发明实施例公开的一种图像的分类装置的硬件结构示意图。
所述图像的分类装置包括处理器400和存储器600，上述待分类图像确定单元1、特征向量输入单元2、分类结果获取单元3等均作为程序单元存储在存储器600中，由处理器400执行存储在存储器中的上述程序单元来实现相应的功能。
处理器400中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高对图像分类的效率，降低企业运营成本。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述图像的分类方法。
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述图像的分类方法。
本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
确定待分类图像；
将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
优选的，所述待分类图像为文档类分类图像。
优选的，所述将所述待分类图像的特征向量输入图像分类模型中包括：
获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
将所述待分类图像的特征向量输入到图像分类模型中。
优选的，所述获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量包括：
将所述待分类图像输入卷积神经网络，提取所述卷积神经网络输出的深度网络特征向量；
将所述待分类图像输入连通文本区域识别网络，依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量；其中，所述文本框的分布信息用于表征所述待分类图像中文字所在位置的文本框的位置信息；
将所述待分类图像输入深度神经网络中，提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量依次进行拼接，得到所述待训练图像的特征向量。
优选的，所述依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量包括：
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到文字分布特征向量。
优选的，所述提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量，包括：
获取标题区域的坐标范围；
依据所述坐标范围提取所述待分类图像中的目标文字；
将所述目标文字进行分词处理，生成每一个目标文字的目标文字词向量；
将所有的所述目标文字词向量进行求平均的运算，得到文字内容特征向量。
本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
确定待分类图像；
将所述待分类图像的特征向量输入图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
获取所述图像分类模型输出的该待分类图像所属类型的分类结果。
优选的，所述待分类图像为文档类分类图像。
优选的，所述将所述待分类图像的特征向量输入图像分类模型中包括：
获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
将所述待分类图像的特征向量输入到图像分类模型中。
优选的，所述获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量包括：
将所述待分类图像输入卷积神经网络，提取所述卷积神经网络输出的深度网络特征向量；
将所述待分类图像输入连通文本区域识别网络，依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量；其中，所述文本框的分布信息用于表征所述待分类图像中文字所在位置的文本框的位置信息；
将所述待分类图像输入深度神经网络中，提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量依次进行拼接，得到所述待训练图像的特征向量。
优选的，所述依据所述连通文本区域识别网络输出的文本框的分布信息得到文字分布特征向量包括：
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到文字分布特征向量。
优选的，所述提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量，包括：
获取标题区域的坐标范围；
依据所述坐标范围提取所述待分类图像中的目标文字；
将所述目标文字进行分词处理，生成每一个目标文字的目标文字词向量；
将所有的所述目标文字词向量进行求平均的运算，得到文字内容特征向量。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (9)

1.一种图像的分类方法，其特征在于，包括：
确定待分类图像；
获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；其中，所述文字分布特征向量用于表示待分类图像中文字的分布情况；
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；
将所述待分类图像的特征向量输入到图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
获取所述图像分类模型输出的该待分类图像所属类型的分类结果；
其中，所述文字分布特征向量的获取过程包括：
将所述待分类图像输入连通文本区域识别网络；
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到图像文字分布特征向量。
2.根据权利要求1所述的分类方法，其特征在于，所述待分类图像为文档类分类图像。
3.根据权利要求1所述的分类方法，其特征在于，所述获取所述待分类图像的深度网络特征向量包括：
将所述待分类图像输入卷积神经网络，提取所述卷积神经网络输出的深度网络特征向量；
获取所述待分类图像的文字内容特征向量的过程，包括：
将所述待分类图像输入深度神经网络中，提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量。
4.根据权利要求3所述的分类方法，其特征在于，所述将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量，包括：
将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量依次进行拼接，得到所述待训练图像的特征向量。
5.根据权利要求3所述的分类方法，其特征在于，所述提取所述待分类图像的标题区域的文字，依据所述标题区域中全部文字的词向量生成文字内容特征向量，包括：
获取标题区域的坐标范围；
依据所述坐标范围提取所述待分类图像中的目标文字；
将所述目标文字进行分词处理，生成每一个目标文字的目标文字词向量；
将所有的所述目标文字词向量进行求平均的运算，得到文字内容特征向量。
6.一种图像的分类装置，其特征在于，包括：
待分类图像确定单元，用于确定待分类图像；
特征向量输入单元，用于获取所述待分类图像的深度网络特征向量、文字分布特征向量以及文字内容特征向量；其中，所述文字分布特征向量用于表示待分类图像中文字的分布情况；将所述深度网络特征向量、所述文字分布特征向量以及所述文字内容特征向量拼接成待分类图像的特征向量；将所述待分类图像的特征向量输入到图像分类模型中；所述特征向量用于表征所述待分类图像的深度网络特征以及浅层文字特征；其中，所述图像分类模型为将待训练图像的深度网络特征以及浅层文字特征进行处理后得到的特征向量进行训练后得到的机器学习模型；
分类结果获取单元，用于获取所述图像分类模型输出的该待分类图像所属类型的分类结果；
其中，所述文字分布特征向量的获取过程包括：
将所述待分类图像输入连通文本区域识别网络；
获取所述连通文本区域识别网络输出的多个文本框的分布信息；所述文本分布信息包括文本框所在位置的左上角的点的横轴坐标、纵轴坐标、以及该文本框的宽度、高度所构成的分布向量，所述文本框是所述连通文本区域识别网络依据所述待分类图像中的文字所在区域进行划分的；
将多个所述分布向量进行归一化处理，得到归一化的分布向量；
将所述归一化的分布向量按照横轴坐标从小到大的顺序依次连接，得到图像文字分布特征向量。
7.根据权利要求6所述的分类装置，其特征在于，所述待分类图像为文档类分类图像。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至5中任意一项所述的分类方法。
9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的分类方法。
CN201810502083.2A 2018-05-23 2018-05-23 一种图像的分类方法及装置 Active CN110533018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810502083.2A CN110533018B (zh) 2018-05-23 2018-05-23 一种图像的分类方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810502083.2A CN110533018B (zh) 2018-05-23 2018-05-23 一种图像的分类方法及装置

Publications (2)

Publication Number Publication Date
CN110533018A CN110533018A (zh) 2019-12-03
CN110533018B true CN110533018B (zh) 2022-02-25

Family

ID=68657619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810502083.2A Active CN110533018B (zh) 2018-05-23 2018-05-23 一种图像的分类方法及装置

Country Status (1)

Country Link
CN (1) CN110533018B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046866B (zh) * 2019-12-13 2023-04-18 哈尔滨工程大学 一种结合ctpn和svm的人民币冠字号区域检测方法
CN111539962A (zh) * 2020-01-10 2020-08-14 济南浪潮高新科技投资发展有限公司 一种目标图像分类方法、装置以及介质
CN111626889A (zh) * 2020-06-02 2020-09-04 小红书科技有限公司 社交内容对应的类目预测方法及装置
CN113780038A (zh) * 2020-06-10 2021-12-10 深信服科技股份有限公司 一种图片审计方法、装置、计算设备及存储介质
CN111797263A (zh) * 2020-07-08 2020-10-20 北京字节跳动网络技术有限公司 图像标签生成方法、装置、设备和计算机可读介质
CN111709398B (zh) * 2020-07-13 2024-08-20 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型的训练方法及装置
CN112115952B (zh) * 2020-08-25 2022-08-02 山东浪潮科学研究院有限公司 一种基于全卷积神经网络的图像分类方法、设备及介质
CN112183022A (zh) * 2020-09-25 2021-01-05 北京优全智汇信息技术有限公司 一种估损方法和装置
CN116701303B (zh) * 2023-07-06 2024-03-12 浙江档科信息技术有限公司 基于深度学习的电子文件分类方法、系统及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1199675A1 (en) * 1992-06-19 2002-04-24 United Parcel Service Of America, Inc. Method and apparatus for adjusting a neuron
CN102915361A (zh) * 2012-10-18 2013-02-06 北京理工大学 一种基于文字分布特征的网页正文提取方法
CN104834891A (zh) * 2015-02-16 2015-08-12 北京建筑大学 一种中文图像型垃圾邮件过滤方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184312B (zh) * 2015-08-24 2018-09-25 中国科学院自动化研究所 一种基于深度学习的文字检测方法及装置
CN107683469A (zh) * 2015-12-30 2018-02-09 中国科学院深圳先进技术研究院 一种基于深度学习的产品分类方法及装置
US10169872B2 (en) * 2016-11-02 2019-01-01 International Business Machines Corporation Classification of severity of pathological condition using hybrid image representation
CN107491433A (zh) * 2017-07-24 2017-12-19 成都知数科技有限公司 基于深度学习的电商异常金融商品识别方法
CN107944447B (zh) * 2017-12-15 2020-09-15 北京小米移动软件有限公司 图像分类方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1199675A1 (en) * 1992-06-19 2002-04-24 United Parcel Service Of America, Inc. Method and apparatus for adjusting a neuron
CN102915361A (zh) * 2012-10-18 2013-02-06 北京理工大学 一种基于文字分布特征的网页正文提取方法
CN104834891A (zh) * 2015-02-16 2015-08-12 北京建筑大学 一种中文图像型垃圾邮件过滤方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Image Retrieval Based On the Color-Spatial Distribution Feature of Generalized Images";An Zhiyong等;《2010 Second International Workshop on Education Technology and Computer Science》;20100506;第185-188页 *
"深度卷积神经网络的发展及其在计算机视觉领域的应用";张顺等;《计算机学报》;20170918;第42卷(第3期);第453-482页 *

Also Published As

Publication number Publication date
CN110533018A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN110533018B (zh) 一种图像的分类方法及装置
US10878173B2 (en) Object recognition and tagging based on fusion deep learning models
Thilagamani et al. Gaussian and gabor filter approach for object segmentation
JP2018501579A (ja) 画像の内容の意味表現
CN113378710A (zh) 图像文件的版面分析方法、装置、计算机设备和存储介质
CN113591746B (zh) 一种文档表格结构检测方法及装置
CN110738238A (zh) 一种证件信息的分类定位方法及装置
CN109597982B (zh) 摘要文本识别方法及装置
CN113222022A (zh) 一种网页分类识别方法及装置
CN114359533B (zh) 一种基于页面文本的页码识别方法和计算机设备
CN111898544A (zh) 文字图像匹配方法、装置和设备及计算机存储介质
CN114266901A (zh) 文档轮廓提取模型构建方法、装置、设备及可读存储介质
CN113902569A (zh) 数字资产中的绿色资产的占比的识别方法及相关产品
CN110826488B (zh) 一种针对电子文档的图像识别方法、装置及存储设备
CN115617998A (zh) 一种基于智能营销场景的文本分类方法及装置
CN110019295B (zh) 数据库检索方法、装置、系统以及存储介质
CN110347921A (zh) 一种多模态数据信息的标签抽取方法及装置
CN111274812A (zh) 一种人物关系识别方法、设备及存储介质
CN115130437A (zh) 一种文档智能填写方法、装置及存储介质
US20140324742A1 (en) Support vector machine
CN110210518B (zh) 提取降维特征的方法和装置
CN111475641B (zh) 一种数据抽取方法、装置、存储介质及设备
CN113919936A (zh) 样本数据的处理方法及装置
CN114662487A (zh) 一种文本分段方法、装置、电子设备及可读存储介质
CN109558582B (zh) 基于视角的句子情感分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant