CN113743432A - 一种图像实体信息获取方法、设备、电子设备和存储介质 - Google Patents

Abstract

本说明书一个或多个实施例提供的一种图像实体信息获取方法、设备、电子设备和存储介质，包括：获取外部网络中的文本数据；对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；对所述图像实体及所述实体属性进行信息融合及图像去重；将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。本说明书一个或多个实施例基于图像实体及实体属性，对每个图像进行识别，并对相似图像或已存在图像进行信息融合及图像去重，从而实现快速的甄别相似图像，提高图像来源的可靠性及准确性，进而提高获取、确定作品准确信息的准确程度。

Description

一种图像实体信息获取方法、设备、电子设备和存储介质

技术领域

本说明书一个或多个实施例涉及人工智能技术领域，尤其涉及一种图像实体信息获取方法、设备、电子设备和存储介质。

背景技术

现今社会，随着计算机技术及互联网技术的普及，越来越多的事物融入到网络之中。越来越多的人会在网络上发表自己的艺术作品，例如：图像、歌曲、舞蹈等等，从而在网络中充斥着大量的艺术作品。

然而由于艺术作品的数码化，使得作品的复制更加容易。而大量的不同作者或不同来源的相同或类似作品，则大大增加了获取、确定图像准确信息的难度及准确度。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种图像实体信息获取方法、设备、电子设备和存储介质。

基于上述目的，本说明书一个或多个实施例提供了一种图像实体信息获取方法，包括：

获取外部网络中的文本数据；

对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；

对所述图像实体及所述实体属性进行信息融合及图像去重；

将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

在一些实施方式中，所述信息融合的方式包括：基于相似度加权法的图像融合算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

对所述实体属性赋予特征权重，并与所述图像实体一并输入向量生成模型，生成对应的向量；

对所有不同来源数据生成的所述向量进行距离比较，确定所述向量间的相似度，对所述相似度高于阈值的所述向量对应的全部所述图像实体及所述实体属性进行统一。

在一些实施方式中，所述信息融合的方式包括：基于实体链指的知识融合与补全算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

利用指针标注所述图像实体在所述文本数据中的起止位置，将所述起止位置输入第一文本处理模型，生成待定文本特征向量；

通过预设数据库提取候选实体，获取所述候选实体的候选文本特征向量；

将所述待定文本特征向量与所述候选文本特征向量进行相似度比较；

将所述相似度高于阈值的所述待定文本特征向量对应的所述图像实体与所述候选实体进行统一。

在一些实施方式中，所述对所述文本数据进行识别和筛选，具体包括：

确定所述文本数据的数据类型；

若所述文本数据为非结构化数据，则将所述文本数据输入第二文本处理模型进行信息结构化处理，并通过预设数据库进行自动化语义标注，生成所述图像实体及所述实体属性；

若所述文本数据为结构化数据，则对所述文本数据进行网页文本匹配及正则表达式文本匹配，通过预设艺术数据库对所述图像实体进行抽取，并确定所述实体属性。

在一些实施方式中，所述图像去重，具体包括：

确定已存储图像实体的第一特征点个数，根据所述第一特征点个数设定所述已存储图像实体的去重阈值；

确定所述图像实体与所述已存储图像实体的相同特征点个数；

当所述相同特征点个数满足所述去重阈值时，对所述图像实体进行去除。

在一些实施方式中，所述根据所述第一特征点个数设定所述已存储图像实体的去重阈值，具体包括：

根据所述特征点个数确定所述已存储图像实体的图像类型；

当所述图像类型为复杂图像时，将所述去重阈值设置为设定阈值；

当所述图像类型为简单图像时，确定所述已存储图像实体的图像来源；抽取所述图像来源的多个同源图像实体，比较所述同源图像实体的第二特征点个数及每个特征点的相似程度，根据所述第二特征点个数及所述相似程度确定所述图像来源的阈值参数；根据所述阈值参数及所述特征点个数确定所述去重阈值。

在一些实施方式中，所述得到所述图像实体的信息之后，还包括：

当用户进行图像识别时，将用户输入的数据信息与存储信息进行比对，输出识别结果。

基于同一构思，本说明书一个或多个实施例还提供了一种图像实体信息获取设备，包括：

抓取模块，获取外部网络中的文本数据；

确定模块，对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；

去重模块，对所述图像实体及所述实体属性进行信息融合及图像去重；

存储模块，将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

基于同一构思，本说明书一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述的方法。

基于同一构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一项所述方法。

从上面所述可以看出，本说明书一个或多个实施例提供的一种图像实体信息获取方法、设备、电子设备和存储介质，包括：获取外部网络中的文本数据；对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；对所述图像实体及所述实体属性进行信息融合及图像去重；将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。本说明书一个或多个实施例基于图像实体及实体属性，对每个图像进行识别，并对相似图像或已存在图像进行信息融合及图像去重，从而实现快速的甄别相似图像，提高图像来源的可靠性及准确性，进而提高获取、确定作品准确信息的准确程度。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例提出的一种图像实体信息获取方法的流程示意图；

图2为本说明书一个或多个实施例提出的基于相似度加权法的图像融合算法进行信息融合的流程示意图；

图3为本说明书一个或多个实施例提出的一种图像实体信息获取设备的结构示意图；

图4为本说明书一个或多个实施例提出的电子设备结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本说明书进一步详细说明。

需要说明的是，除非另外定义，本说明书实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件、物件或者方法步骤涵盖出现在该词后面列举的元件、物件或者方法步骤及其等同，而不排除其他元件、物件或者方法步骤。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，现代网络中充斥着大量类似作品，而由于作品数码化后复制的便捷性，确定每个图像的真实作者或来源变得越来越困难，致使为图像识别工作带来了大量的重复性工作，其可靠性及准确率也大打折扣。

结合上述实际情况，本说明书一个或多个实施例提出一种图像实体信息获取技术方案，根据图像实体及实体属性，对每个图像进行识别，并对相似图像或已存在图像进行信息融合及图像去重，从而实现快速的甄别相似图像，提高图像来源的可靠性及准确性，进而提高获取、确定作品准确信息的准确程度。

以下，通过具体的实施例来详细说明本说明书一个或多个实施例的技术方案。

参考图1，本说明书一个实施例的图像实体信息获取方法，包括以下步骤：

步骤101，获取外部网络中的文本数据。

本步骤旨在，获得网络中的图像文本数据。其中外部网络是指互联网或万维网等，文本数据是指外部网络中各个网站的内容数据，其可能包含：文字内容、图像内容、声音内容、动画内容等等。

其中，抓取的方式有很多种，例如：通过HttpClient(apache commons-httpclient)方式获许网页内容并解析，HttpClient是Apache Jakarta Common下的子项目，可以用来提供高效的、最新的、功能丰富的支持HTTP协议的客户端编程工具包，并且它支持HTTP协议最新的版本和建议；还可以通过动态网页爬虫技术获许网页内容并解析，由于现代网站大多采用动态网页瀑布流技术，这对以往的网页式爬取提出了更高的要求，在本系统中，知识获取采用了动态网页爬取技术，通过对网页更新时json(JavaScriptObject Notation，JS对象简谱，是一种轻量级的数据交换格式)包进行抓取，获取相应的文本，完成网页抓取等等。

步骤102，对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性。

本步骤旨在，对文本数据中的图像内容进行识别，确定图像实体部分及图像的属性。其中，图像实体是指图像本身，实体属性是指图像的相关属性，例如：本幅图像的作者、创作时间、馆藏地点、图像尺寸等等。

其中，文本数据的识别和筛选方式可以有很多种，例如：直接甄别文本数据中以图像格式存在的数据，并直接对这些数据及相关的属性数据进行提取，再对这些数据及相关的属性进行审核；还可以通过先对文本数据的数据类型进行识别，将文本数据归整为非结构化的和结构化的，在根据不同的数据类型针对性的对文本数据进行提取及识别等等。

在具体的应用场景中，以对文本数据的数据类型进行识别的方案为例。若文本数据为非结构化数据，则将文本数据输入BERT((Bidirectional Encoder Representationsfrom Transformers，是谷歌公司提出的效果非常好的通用预训练语言表示模型)模型进行信息结构化处理，并通过已有知识库进行自动化语义标注，生成图像实体及实体属性；若文本数据为结构化数据，则对文本数据进行xpath(XML路径语言，XML Path Language，它是一种用来确定XML文档中某部分位置的语言)网页文本匹配及正则表达式文本匹配，通过艺术类字典等对图像实体进行抽取，并确定实体属性。

步骤103，对所述图像实体及所述实体属性进行信息融合及图像去重。

本步骤旨在，对图像实体进行去重工作。其中信息融合是指，一副图像出现多个不同的实体属性时，对这些不同的实体属性进行融合统一的过程；图像去重是指新获取到的图像检测出与数据库中存储的图像相同时，对重复图像进行去重的过程。

其中信息融合的方式可以为很多种，例如：基于相似度加权法的图像融合算法；还可以是基于实体链指的知识融合与补全算法等等。同时，图像去重的方式也可以是很多种，例如：通过选取特征点后比较相同特征点的方式；还可以是通过图像向量化后进行向量相似度比较的方式；还可以是通过比较整体图像每个像素的差异度的方式等等。

步骤104，将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

本步骤旨在，对识别后的图像及图像属性进行存储，得到最终的图像实体的信息。其存储的方式可以为通过普通数据库进行单项的存储，例如：通过设置表格的方式等；还可以是通过建立知识图谱的方式，建立树型知识图谱，对每个作者、每个馆藏地点等建立不同的分支的方式；还可以通过建立快速高可用数据库的方式等等。

为了能够实现图像数据库的高可用，让用户在任意时间都能查询数据库。所述将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，可以为：通过nginx服务器将所述图像实体及所述实体属性存储于至少两个节点中，每个所述节点内设置有内部Neo4j数据库及外部Neo4j数据库；当用户进行图像识别时，通过keepalived对所述节点进行选择。

其中，nginx(engine x)是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务。Nginx是一款轻量级的Web服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器，在BSD-like协议下发行。其特点是占有内存少，并发能力强。Neo4j是一个高性能的，NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。keepalived是一个类似于layer3,4&5交换机制的软件，也就是平时说的第3层、第4层和第5层交换。Keepalived是自动完成，不需人工干涉。

在具体应用场景中，利用keepalived实现了nginx的高可用；在nginx中配置内部数据库的服务器和外部数据库的服务器，以同时实现内部数据和外部数据的负载均衡及高可用；数据同步使用python(Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。)脚本实现，直接将主(Master)节点的数据拷贝到备份(BackUp)节点中。

通过应用本说明书一个或多个实施例提供的一种图像实体信息获取方法，包括：获取外部网络中的文本数据；对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；对所述图像实体及所述实体属性进行信息融合及图像去重；将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。本说明书一个或多个实施例基于图像实体及实体属性，对每个图像进行识别，并对相似图像或已存在图像进行信息融合及图像去重，从而实现快速的甄别相似图像，提高图像来源的可靠性及准确性，进而提高获取、确定作品准确信息的准确程度。

在本说明书的可选实施例中，所述信息融合的方式包括：基于相似度加权法的图像融合算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

对所述实体属性赋予特征权重，并与所述图像实体一并输入向量生成模型，生成对应的向量；

对所有不同来源数据生成的所述向量进行距离比较，确定所述向量间的相似度，对所述相似度高于阈值的所述向量对应的全部所述图像实体及所述实体属性进行统一。

向量生成模型可以是Word2vec模型、GloVe模型或bert-base-uncased模型等等。其中，Word2vec模型是一群用来产生词向量的相关模型。这些模型为浅而双层的神经网络，用来训练以重新建构语言学之词文本。网络以词表现，并且需猜测相邻位置的输入词，在word2vec中词袋模型假设下，词的顺序是不重要的。训练完成之后，word2vec模型可用来映射每个词到一个向量，可用来表示词对词之间的关系，该向量为神经网络之隐藏层。

在具体应用场景中，如图2所示，首先对实体属性赋予权重，同时对图像实体进行Word2Vec处理，将图像实体及其实体属性生成向量。当导入异源数据时计算之间的相似度，对相似度高于阈值的进行融合处理，填充新属性。

在本说明书的可选实施例中，所述信息融合的方式包括：基于实体链指的知识融合与补全算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

利用指针标注所述图像实体在所述文本数据中的起止位置，将所述起止位置输入第一文本处理模型，生成待定文本特征向量；

通过预设数据库提取候选实体，获取所述候选实体的候选文本特征向量；

将所述待定文本特征向量与所述候选文本特征向量进行相似度比较；

将所述相似度高于阈值的所述待定文本特征向量对应的所述图像实体与所述候选实体进行统一。

其中，起止位置是指数码化的图像实体在文本数据中的开始与结束位置。第一文本处理模型包括：BERT+CRF模型、Transformers模型或循环神经网络模型等等。其中，BERT+CRF模型，是BERT模型与CRF模型的结合，BERT模型的全称是：BidirectionalEncoderRepresentations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的描述(Representation)，即：文本的语义表示，然后将文本的语义表示在特定NLP(Natural Language Processing，自然语言处理，是人工智能(AI)的一个子领域)任务中作微调，最终应用于该NLP任务；CRF(条件随机场，conditional random field)模型，可以用于构造在给定一组输入随机变量的条件下,另一组输出随机变量的条件概率分布模型。

在具体应用场景中，(1)通过指针标注图像实体起止位置，采用BERT+CRF方式进行图像实体识别；(2)利用(1)得到的实体，从知识库中提取候选实体，将候选实体的属性值进行拼接，与输入的文本特征和图像实体用BERT的CLS(classification，分类)向量层进行相似度匹配进行消歧。之后对于整个联合模型，可以将步骤(1)和步骤(2)中的损失值(loss)加权求和，作为联合模型的loss进行训练，同时更新模型参数。

在本说明书的可选实施例中，为了应对不同种类的文本数据，在不影响识别效果的同时并尽可能的减少识别和筛选过程的时间，提高效率。所述对所述文本数据进行识别和筛选，具体包括：

确定所述文本数据的数据类型；

若所述文本数据为非结构化数据，则将所述文本数据输入第二文本处理模型进行信息结构化处理，并通过预设数据库进行自动化语义标注，生成所述图像实体及所述实体属性；

若所述文本数据为结构化数据，则对所述文本数据进行网页文本匹配及正则表达式文本匹配，通过预设艺术数据库对所述图像实体进行抽取，并确定所述实体属性。

其中，数据类型包括结构化数据及非结构化数据；结构化数据，是指由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理；非结构化数据，是指数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。第二文本处理模型包括：BERT模型、Transformers模型或循环神经网络模型等等。

在具体应用场景中，若文本数据为非结构化数据，则通过端到端的实体和关系联合抽取模型，提高信息抽取的效率和准确率，并在模型中应用了当前NLP领域的BERT模型。同时，为尽可能的减轻语料标注的成本，提出利用已有知识库自动化标注数据，在此基础上进行人工审核，并在后期利用知识蒸馏的方法对标注的数据进行降噪处理。若文本数据为结构化数据，通过xpath网页文本匹配与正则表达式文本匹配的方式，通过艺术类字典对艺术类实体进行抽取，并对其字典进行回馈更新。

在本说明书的可选实施例中，所述图像去重，具体包括：

确定已存储图像实体的第一特征点个数，根据所述第一特征点个数设定所述已存储图像实体的去重阈值；

确定所述图像实体与所述已存储图像实体的相同特征点个数；

当所述相同特征点个数满足所述去重阈值时，对所述图像实体进行去除。

其中，特征点是指图像便于识别的、有特色的识别点，对于纹理复杂的图像，其特征点会很多；对于纹理简单的图像，其特征点相对较少。

之后，设置去重阈值的方式可以为很多种，例如：对图像进行大类划分，根据特征点个数分为第一等0～100个、第二等100～500个、第三等500～1000个等等，之后对于每一等级设置一固定去重阈值；还可以是根据特征点个数，对于特征点高于特定值(纹理复杂图像)的设定特定的去重阈值(例如：高于100个特征点的则设定去重阈值为100等等)，对于特征点不多的(纹理简单图像)设定浮动阈值等等。

在本说明书的可选实施例中，为了尽可能的识别出相同图像，对纹理简单图像也尽可能的识别准确。所述根据所述第一特征点个数设定所述已存储图像实体的去重阈值，具体包括：

根据所述特征点个数确定所述已存储图像实体的图像类型；

当所述图像类型为复杂图像时，将所述去重阈值设置为设定阈值；

当所述图像类型为简单图像时，确定所述已存储图像实体的图像来源；抽取所述图像来源的多个同源图像实体，比较所述同源图像实体的第二特征点个数及每个特征点的相似程度，根据所述第二特征点个数及所述相似程度确定所述图像来源的阈值参数；根据所述阈值参数及所述特征点个数确定所述去重阈值。

其中图像类型是根据图像的特征点来确定的，特征点多于设定值(例如：100个)的为复杂图像，小于的为简单图像等等。当图像为简单图像时，确定图像的具体来源(例如：同一作家、同一馆藏地等)，抽取这个具体来源的多个图像，比较这些图像的特征点个数多少及之间的相似程度来确定阈值参数，例如：同一作家的图像均为纹理非常简单的图像，特征点较少，相似程度也比较接近，则可以将阈值参数设置大一些，然后阈值为特征点个数与阈值参数的乘积。

在具体应用场景中，假设待查图像实体的特征点数为n(已存储图像实体的特征点数必然与待查图像实体的特征点数相同或相近)，阈值设为Th。当n大于等于100时，认为是复杂图像，Th＝100；当n小于100时，认为是简单图像，Th＝n*α，其中α为阈值参数，通过抽取图像来源多个图像(例如：200个)做测试，确定对应的α。

在本说明书的可选实施例中，为了利用本方案对用户输入的图像进行识别。所述得到所述图像实体的信息之后，还包括：

当用户进行图像识别时，将用户输入的数据信息与存储信息进行比对，输出识别结果。

其中，比对的方式可以与前述实施例中图像去重的方式相同或相似，同样可以通过选取特征点后比较相同特征点的方式；还可以是通过图像向量化后进行向量相似度比较的方式；还可以是通过比较整体图像每个像素的差异度的方式等等。

之后，输出识别结果，用以存储、展示或再加工识别结果。根据不同的应用场景和实施需要，具体的对于识别结果的输出方式可以灵活选择。

例如，对于本实施例的方法在单一设备上执行的应用场景，可以将识别结果直接在当前设备的显示部件(显示器、投影仪等)上以显示的方式输出，使得当前设备的操作者能够从显示部件上直接看到识别结果的内容。

又如，对于本实施例的方法在多个设备组成的系统上执行的应用场景，可以将识别结果通过任意的数据通信方式(有线连接、NFC、蓝牙、wifi、蜂窝移动网络等)发送至系统内的其他作为接收方的预设设备上，以使得接收到识别结果的预设设备可以对其进行后续处理。可选的，该预设设备可以是预设的服务器，服务器一般设置在云端，作为数据的处理和存储中心，其能够对识别结果进行存储和分发；其中，分发的接收方是终端设备，该些终端设备的持有者或操作者可以是用户、图像作者、鉴定机构的工作人员、鉴定机构的档案管理人员等。

再如，对于本实施例的方法在多个设备组成的系统上执行的应用场景时，可以将识别结果通过任意的数据通信方式直接发送至预设的终端设备，终端设备可以是前述段落列举中的一种或多种。

基于同一构思，本说明书一个或多个实施例还提供了一种图像实体信息获取设备。参考图3所示，包括：

抓取模块301，获取外部网络中的文本数据；

确定模块302，对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；

去重模块303，对所述图像实体及所述实体属性进行信息融合及图像去重；

存储模块304，将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

作为一个可选的实施例，所述去重模块303信息融合的方式包括：基于相似度加权法的图像融合算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

对所述实体属性赋予特征权重，并与所述图像实体一并输入向量生成模型，生成对应的向量；

对所有不同来源数据生成的所述向量进行距离比较，确定所述向量间的相似度，对所述相似度高于阈值的所述向量对应的全部所述图像实体及所述实体属性进行统一。

作为一个可选的实施例，所述去重模块303信息融合的方式包括：基于实体链指的知识融合与补全算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

利用指针标注所述图像实体在所述文本数据中的起止位置，将所述起止位置输入第一文本处理模型，生成待定文本特征向量；

通过预设数据库提取候选实体，获取所述候选实体的候选文本特征向量；

将所述待定文本特征向量与所述候选文本特征向量进行相似度比较；

将所述相似度高于阈值的所述待定文本特征向量对应的所述图像实体与所述候选实体进行统一。

作为一个可选的实施例，所述确定模块302对所述文本数据进行识别和筛选，具体包括：

确定所述文本数据的数据类型；

若所述文本数据为非结构化数据，则将所述文本数据输入第二文本处理模型进行信息结构化处理，并通过预设数据库进行自动化语义标注，生成所述图像实体及所述实体属性；

若所述文本数据为结构化数据，则对所述文本数据进行网页文本匹配及正则表达式文本匹配，通过预设艺术数据库对所述图像实体进行抽取，并确定所述实体属性。

作为一个可选的实施例，所述去重模块303图像去重，具体包括：

确定已存储图像实体的第一特征点个数，根据所述第一特征点个数设定所述已存储图像实体的去重阈值；

确定所述图像实体与所述已存储图像实体的相同特征点个数；

当所述相同特征点个数满足所述去重阈值时，对所述图像实体进行去除。

作为一个可选的实施例，所述去重模块303根据所述第一特征点个数设定所述已存储图像实体的去重阈值，具体包括：

根据所述特征点个数确定所述已存储图像实体的图像类型；

当所述图像类型为复杂图像时，将所述去重阈值设置为设定阈值；

当所述图像类型为简单图像时，确定所述已存储图像实体的图像来源；抽取所述图像来源的多个同源图像实体，比较所述同源图像实体的第二特征点个数及每个特征点的相似程度，根据所述第二特征点个数及所述相似程度确定所述图像来源的阈值参数；根据所述阈值参数及所述特征点个数确定所述去重阈值。

作为一个可选的实施例，所述存储模块304得到所述图像实体的信息之后，还包括：

当用户进行图像识别时，将用户输入的数据信息与存储信息进行比对，输出识别结果。

为了描述的方便，描述以上设备时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

基于同一发明构思，本说明书一个或多个实施例还提供了一种电子设备。该电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任意一实施例所述的图像实体信息获取方法。

图4示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器410、存储器420、输入/输出接口430、通信接口440和总线450。其中处理器410、存储器420、输入/输出接口430和通信接口440通过总线450实现彼此之间在设备内部的通信连接。

处理器410可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器420可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器420可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器420中，并由处理器410来调用执行。

输入/输出接口430用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口440用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线450包括一通路，在设备的各个组件(例如处理器410、存储器420、输入/输出接口430和通信接口440)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器410、存储器420、输入/输出接口430、通信接口440以及总线450，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

基于同一发明构思，本说明书一个或多个实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行日上任意一实施例所述的图像实体信息获取方法。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出设备，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图设备的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种图像实体信息获取方法，其特征在于，包括：

获取外部网络中的文本数据；

对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；

对所述图像实体及所述实体属性进行信息融合及图像去重；

将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

2.根据权利要求1所述的方法，其特征在于，所述信息融合的方式包括：基于相似度加权法的图像融合算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

对所述实体属性赋予特征权重，并与所述图像实体一并输入向量生成模型，生成对应的向量；

对所有不同来源数据生成的所述向量进行距离比较，确定所述向量间的相似度，对所述相似度高于阈值的所述向量对应的全部所述图像实体及所述实体属性进行统一。

3.根据权利要求1所述的方法，其特征在于，所述信息融合的方式包括：基于实体链指的知识融合与补全算法；

所述对所述图像实体及所述实体属性进行信息融合，具体包括：

利用指针标注所述图像实体在所述文本数据中的起止位置，将所述起止位置输入第一文本处理模型，生成待定文本特征向量；

通过预设数据库提取候选实体，获取所述候选实体的候选文本特征向量；

将所述待定文本特征向量与所述候选文本特征向量进行相似度比较；

将所述相似度高于阈值的所述待定文本特征向量对应的所述图像实体与所述候选实体进行统一。

4.根据权利要求1所述的方法，其特征在于，所述对所述文本数据进行识别和筛选，具体包括：

确定所述文本数据的数据类型；

若所述文本数据为非结构化数据，则将所述文本数据输入第二文本处理模型进行信息结构化处理，并通过预设数据库进行自动化语义标注，生成所述图像实体及所述实体属性；

若所述文本数据为结构化数据，则对所述文本数据进行网页文本匹配及正则表达式文本匹配，通过预设艺术数据库对所述图像实体进行抽取，并确定所述实体属性。

5.根据权利要求1所述的方法，其特征在于，所述图像去重，具体包括：

确定已存储图像实体的第一特征点个数，根据所述第一特征点个数设定所述已存储图像实体的去重阈值；

确定所述图像实体与所述已存储图像实体的相同特征点个数；

当所述相同特征点个数满足所述去重阈值时，对所述图像实体进行去除。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一特征点个数设定所述已存储图像实体的去重阈值，具体包括：

根据所述特征点个数确定所述已存储图像实体的图像类型；

当所述图像类型为复杂图像时，将所述去重阈值设置为设定阈值；

当所述图像类型为简单图像时，确定所述已存储图像实体的图像来源；抽取所述图像来源的多个同源图像实体，比较所述同源图像实体的第二特征点个数及每个特征点的相似程度，根据所述第二特征点个数及所述相似程度确定所述图像来源的阈值参数；根据所述阈值参数及所述特征点个数确定所述去重阈值。

7.根据权利要求1所述的方法，其特征在于，所述得到所述图像实体的信息之后，还包括：

当用户进行图像识别时，将用户输入的数据信息与存储信息进行比对，输出识别结果。

8.一种图像实体信息获取设备，其特征在于，包括：

抓取模块，获取外部网络中的文本数据；

确定模块，对所述文本数据进行识别和筛选，确定其中的图像实体及所述图像实体对应的实体属性；

去重模块，对所述图像实体及所述实体属性进行信息融合及图像去重；

存储模块，将所述信息融合及图像去重后的所述图像实体及所述实体属性进行存储，得到所述图像实体的信息。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行权利要求1至7任一项所述方法。

Images