CN108228720B

CN108228720B - 识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质

Info

Publication number: CN108228720B
Application number: CN201711287706.0A
Authority: CN
Inventors: 邹启波; 曹欢欢
Original assignee: Beijing ByteDance Network Technology Co Ltd
Current assignee: Douyin Vision Co Ltd; Douyin Vision Beijing Co Ltd
Priority date: 2017-12-07
Filing date: 2017-12-07
Publication date: 2019-11-08
Anticipated expiration: 2037-12-07
Also published as: CN108228720A

Abstract

本发明提供识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质。至少包括以下步骤：步骤1：通过图像搜索引擎搜索原图，得到至少一个网页，所述至少一个网页包含所述原图或与所述原图类似的图片；步骤2：获取所述至少一个网页中的图片相关文本；步骤3：计算所述目标文字内容和所述图片相关文本之间的相关性结果；步骤4：根据所述相关性结果，得到所述目标文字内容和所述原图之间的相关性。

Description

识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质

技术领域

本发明涉及识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质。

背景技术

大部分网络社区的内容排序算法会让内容的受欢迎程度影响其排名。比如在BBS里，过去一段时间内被浏览和评论最多的帖子在帖子列表里排序会比较高。再比如在知识问答社区(如悟空问答和知乎)，给定一个问题，用户的答案被其它用户点赞越多，在所有答案中的排名也会越高。这是一种朴素的，符合用户需求的算法，但是这种算法容易使图文无关内容不当获利。所谓图文无关内容，是指用户在发布文字内容的时候上传一张特别吸引人眼球的，但是和文字内容没有任何关系的图片。比如回答历史问题的时候除了以文字内容回答之外还放一张美女图片(所谓福利图)，这样的回答往往点赞率还不低，但是对于其它认真回答的问题就不太公平。

还有一类内容会把广告信息作为图片和文字内容一起发布出来，文字内容是正常的。这类内容也是一种典型的图文无关内容，这种内容的发布对平台的用户体验不好，也侵害了网络社区运营方的商业利益(大部分网络社区禁止用户私自发布广告，广告的发布需要通过社区运营方在制定位置发布，需要通过审查有没有违法内容，并缴纳一定费用)。

作为网络社区管理者，希望能够自动识别出用户发布内容中是否存在上述的图文无关内容，以便能够及时对该图文无关内容采取删除、屏蔽、禁止回复等措施以避免或减小其不良影响。

以往，针对图文无关内容，存在以下识别方法。方法一：比如色情图片识别，可以识别出有色情意味的图片，如果用户发布的文字内容没有色情词，就可以认定为图文无关。方法二：比如OCR(Optical Character Recognition)技术，可以从图片中提取出现在图片中的文字信息，然后通过比对提取的文字信息和用户发布的文字内容，确认是否图文无关。

此外，在实际应用中，特别是大型的网络社区，由于用户发布的图文无关内容五花八门，所以需要一种通用方法。作为较容易想到的通用方法是，方法三：用近年来不断成熟的图像分类技术对图像分类然后再用文本分类器判别用户发布的文字内容是否和图片属于同一类。

发明内容

现有的上述图文无关的方法存在以下问题。方法一仅能适用于有限类型的图片，对于特定类型以外的图片无法识别。方法二仅能适用于图片中包含文字信息的图片，对于不包含文字信息的图片无法识别。

因此，现有的图文无关内容的识别方法往往基于图像识别技术并针对某一类问题。

方法三虽然意图针对所有类型图文通用地进行无关识别，但是，实际中缺乏一个和图像分类对应的文本分类体系，例如，典型的图像分类标签的例子包括：【猴子】、【猫】、【人物】，而文字内容的分类标签的例子包括：【历史】、【财经】、【股票】、【互联网】，导致这种方法理论上可行，实际上效果很差。

因此，目前尚没有一种通用的，能有效识别所有类型图文无关内容的方法。

本发明鉴于上述的问题，其目的在于提供一种基于图像搜索引擎的识别目标文字内容和原图相关性的方法、系统、装置、终端、及存储介质，在实际中基本可以解决所有类型的图文无关问题，而且识别的准确率非常高。

为了达到上述目的，本发明提供一种识别目标文字内容和原图相关性的方法，其特征在于，至少包括以下步骤：步骤1：通过图像搜索引擎搜索原图，得到至少一个网页，上述至少一个网页包含上述原图或与上述原图类似的图片；步骤2：获取上述至少一个网页中的图片相关文本；步骤3：计算上述目标文字内容和上述图片相关文本之间的相关性结果；步骤4：根据上述相关性结果，得到上述目标文字内容和上述原图之间的相关性。

在上述图文无关内容的识别方法中，上述原图是由用户上传的图片，上述目标文字内容是上传上述原图时上传的文字，上述图片相关文本是从上述至少一个网页中提取出的文字摘要信息。

在上述步骤3中，选择以下计算方法之一来计算上述相关性：

Relevance(W，WG)＝avg(F(W，WG_i))

Relevance(W，WG)＝max(F(W，WG_i))

Relevance(W，WG)＝avg(max(F(W，WG_i))，min(F(W，WG_i)))

其中，W是上述用户上传文字内容，WG_i是在上述步骤2中获取的上述至少一个网页中提取出的文字摘要信息，F是上述相关性计算模型。

在上述图文无关内容的识别方法中，在上述步骤2中，采用图像搜索引擎的搜索结果以获取文字摘要信息。

在上述图文无关内容的识别方法中，在上述步骤2中，通过对网页结果进行内容提取以自行获得文字摘要信息。

在上述图文无关内容的识别方法中，上述步骤3中采用VSM模型、BM25模型、基于深度学习的文本相关性模型之中的任意之一模型，或者上述VSM模型、BM25模型、基于深度学习的文本相关性模型的任意模型的组合。

在上述图文无关内容的识别方法中，在上述步骤1中，通过图像搜索引擎接口模块在上述图像搜索引擎中输入原图。

在上述图文无关内容的识别方法中，在上述步骤1中，上述图像搜索引擎接口模块通过输入图片的网络地址或者图片文件来上传图片。

本发明提供一种识别目标文字内容和原图相关性的系统，其特征在于，该系统至少包括以下模块：搜索模块，其通过图像搜索引擎搜索原图，得到至少一个网页，上述至少一个网页包含上述原图或与上述原图类似的图片；图片相关文本获取模块，其获取上述至少一个网页中的图片相关文本；相关性计算模块，其计算上述目标文字内容和上述图片相关文本之间的相关性结果；识别模块，其根据上述相关性结果，得到上述目标文字内容和上述原图之间的相关性。

本发明提供一种识别目标文字内容和原图相关性的装置，其特征在于，至少包括：搜索部，其通过图像搜索引擎搜索原图，得到至少一个网页，上述至少一个网页包含上述原图或与上述原图类似的图片；图片相关文本获取部，其获取上述至少一个网页中的图片相关文本；相关性计算部，计算上述目标文字内容和上述图片相关文本之间的相关性结果；识别部，其根据上述相关性结果，得到上述目标文字内容和上述原图之间的相关性。

本发明提供一种识别目标文字内容和原图相关性的终端，其特征在于，至少包括上述的识别目标文字内容和原图相关性的装置。

本发明提供一种识别目标文字内容和原图相关性的终端，其特征在于，至少包括：处理器；以及存储器，其存储有包含指令的计算机程序，上述指令被上述处理器执行而实现上述的识别目标文字内容和原图相关性的方法。

本发明提供一种计算机可读存储介质，其特征在于，上述存储介质中存储有包含指令的计算机程序，上述指令用于指示执行上述的识别目标文字内容和原图相关性的方法。

根据本发明的图文无关内容的识别方法、识别系统、及识别装置，基本能够识别所有类型的图文无关内容，可以有效提高网络社区的内容质量。

附图说明

图1是说明本发明的识别目标文字内容和原图相关性的装置所执行的识别方法的主要流程的图。

图2是说明利用图像搜索引擎获取图片相关文字信息的流程的图。

图3是例示地说明利用搜索引擎搜索包含相同图片或类似图片的操作的图片。

图4是例示地说明利用搜索引擎搜索包含相同图片或类似图片的网页结果的图片。

图5是例示地说明本发明的识别目标文字内容和原图相关性的系统的一个例子的框图。

图6是例示地说明本发明的识别目标文字内容和原图相关性的装置的一个例子的框图。

图7是例示地说明本发明的识别目标文字内容和原图相关性的终端的一个例子的框图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

下面参照附图，基于具体实施方式来详细描述本发明的识别目标文字内容和原图相关性的方法、系统、计算机程序、及装置。另外，尽管结合特定实施方式对本发明进行描述，但应理解，该描述并不旨在将本发明限制于所描述的实施方式。相反，该描述旨在覆盖可包括在由所附权利要求书限定的本发明的精神和范围内的替换、改进和等同方案。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

[识别目标文字内容和原图相关性的方法]

本质上，该识别目标文字内容和原图相关性的方法是利用图像搜索引擎的类似图片查找算法找到多个与用户上传网络图片类似的多张图片以及图片所在的至少一个网页，并假设包含这多张图片的该至少一个网页中的大多数网页结果都是和该图片有关的。可以使用商业图像搜索引擎。之所以直接利用商业图像搜索引擎而不是独立开发部署搜索工具主要是从成本考虑，技术上也是可以的。和传统的图像识别方法比，该方法不需要一个强大的，能识别任何物体并理解其意义的算法模型，只要求一个有效的类似图片查找系统和文本相似度识别模型，而后两者都是相对比较成熟的技术。

目前主流的图像搜索引擎均支持“以图搜图”功能，一种方法是在搜索框输入网络图片的URL，另一种方法是通过接口直接上传原始图片。无论哪一种方法，都可以根据一张图片找到包含这张图片或类似图片的网页结果。

图1描述了本发明的识别目标文字内容和原图相关性的识别方法的主要流程，下面，具体说明该流程的各步骤。

如图1的流程图所示，在步骤S101中，通过图像搜索引擎获取至少一个网页结果。具体而言，将用户上传图片G(也称为原图、用户发布网络图片)上传到图像搜索引擎，并执行搜索，很容易就找到有哪些网页包含这些图片或类似图片，从而获取包含这张图片或类似图片的多个网页结果，例如，图4中仅示出了5个网页结果，实际有更多网页结果被搜索到。可以认为这些网页结果大部分是和该图片是相关的。如果用户发布文字内容W和这些网页结果都不相关，那么有很大可能这段用户发布文字内容W和用户上传图片G不相关。结束步骤S101后，转移到步骤S102。

在步骤S102中，提取前K个网页结果的文字摘要信息。实际应用中，不需要网页结果的所有信息，一般只需要搜索引擎返回的多个网页结果的文字摘要信息。当然，也可以通过对多个网页结果进行内容提取以自行获得文字摘要信息，但是实践证明这样的效果并不会显著好于直接采用搜索引擎的结果。结束步骤S102后，转移到步骤S103。

在步骤S103中，计算文字摘要信息和用户发布文字内容(也称为目标文字内容)之间的相关性。获得网页结果的文字摘要信息后，就可以计算这些文字摘要信息和用户发布文字内容W之间的相关性。具体地，当给定一段文本W和一组图片相关文本WG＝{WG₁，WG₂，…，WG_k}时，为了计算两者的相关性，需要一个相关性计算模型F，对于任意文本W和图片相关文本WG_i，其相关性可以表示为F(W，WG_i)。在本发明中，将用户发布内容的文字内容作为任意文本W，将在步骤S102中提取到的取前K个网页结果的文字摘要信息作为图片相关文本WG_i，利用相关性计算模型F计算相关性。此处，K的具体数值可以通过测试或者根据实际运行效果来调整。关于相关性计算模型F有很多成熟的工作，比如经典的VSM(Vector Space Model)模型，BM25模型，还有近年来涌现的基于深度学习的文本相关性模型，比如DSSM(DeepSemantic Similarity Model)。鉴于给定两段文本计算其相关性是一个成熟的研究领域，这里不再一一列举可能采用的模型和算法。

选用合适的相关性计算模型F后，W和WG的相关性可以用下列方法之一来计算：

Relevance(W，WG)＝avg(F(W，WG_i))

Relevance(W，WG)＝max(F(W，WG_i))

Relevance(W，WG)＝avg(max(F(W，WG_i))，min(F(W，WG_i)))

在实际应用中，可以通过测试或实际使用来验证上述多个相关性计算模型及上述三种计算方法之中哪一种的效果最好，从而选择最优的计算方法。

结束步骤S103后，转移到步骤S104。

在步骤S104中，判断在步骤S103得到的相关性计算结果是否大于预定的阈值，从而判断目标文字内容和原图之间的相关性。该阈值可以通过测试而设定为适当的值，也可以根据网络社区中可能出现的图文无关内容的变化来具体调整。当相关性计算结果大于预定的阈值时，判断为不是图文无关内容，不进行任何处理，当相关性计算结果为预定的阈值以下时，判断为是图文无关内容。

关于上述步骤S101，目前主流的搜索引擎均支持“以图搜图”功能，具体到本发明，通过图像搜索引擎接口模块在搜索引擎中输入用户发布网络图片，该图像搜索引擎接口模块通过输入用户发布网络图片的网络地址(URL)或者图片文件来上传图片。无论哪一种方法，都可以根据一张图片找到包含这张图片或类似图片的网页结果。

下面，结合图3、4，按照图2的流程图，以在搜索框中输入用户发布网络图片的URL的方法为例来具体说明如何执行步骤S101、S102。

图2是说明利用图像搜索引擎获取图片相关文字信息的流程的图。图3是例示地说明利用搜索引擎搜索包含相同图片或类似图片的操作的图片。图4是例示地说明利用搜索引擎搜索包含相同图片或类似图片的网页结果的图片。

如图3所示，把一张关于人工智能的图片URL输入Google图像搜索的输入框(步骤S201)。执行搜索，如图4所示，很容易就找到有哪些网页包含这些图片，即，得到多个网页结果(步骤S202)。然后，提取图4中示出的网页结果的文字摘要信息(S203、S102)。

关于另一种通过搜索引擎接口模块直接上传图片的方法，除了上传图片这一步骤之外，其他步骤与输入用户发布网络图片的URL的方法相同，在此省略重复的说明。

[识别目标文字内容和原图相关性的计算机程序]

以上说明了本发明的识别目标文字内容和原图相关性的方法，作为本发明的其它实施方式，本发明提供一种识别目标文字内容和原图相关性的计算机程序，该计算机程序是通过将该方法的各步骤代码化而形成的。该计算机程序包含用于执行上述的识别目标文字内容和原图相关性的方法的各步骤的指令。通过运行该计算机程序，从而执行与其指令对应的上述方法的各步骤。

[识别目标文字内容和原图相关性的系统]

作为本发明的其它实施方式，本发明提供一种识别目标文字内容和原图相关性的系统。该系统包含多个与上述方法的各步骤分别对应的多个功能模块。该系统可以是应用软件，也可以是固件。

图5是例示地本发明的识别目标文字内容和原图相关性的系统的一个例子的框图。如图5所示，本发明的识别目标文字内容和原图相关性的系统500包括以下的功能模块：搜索模块501，通过执行上述步骤S101，从而将社区网络用户发布的用户发布网络图片上传到搜索引擎中，使搜索引擎执行“以图搜图”，获取包含用户发布图片或与用户发布图片类似的图片的网页结果；图片相关文本获取模块502，其通过执行上述的步骤S102，从而获取由搜索模块501搜索到的多个网页结果中的前K个网页结果的文字摘要信息，作为图片相关文本；相关性计算模块503，其通过执行上述的步骤S103，从而利用以上说明的任意一种相关性计算模型，对社区网络用户发布的用户发布文字内容、和由图片相关文本获取模块502获取到的前K个网页结果的文字摘要信息计算相关性；以及识别模块504，其通过执行上述的步骤S104，从而判断由相关性计算模块503得到的计算结果是否大于预定的阈值，在计算结果大于阈值的情况下，识别为用户发布文字内容和用户发布图片相关，在计算结果为阈值以下的情况下，识别为用户发布文字内容和用户发布图片无关。此外，本发明的识别目标文字内容和原图相关性的系统也可以包括图像搜索引擎接口模块505，搜索模块401经由该图像搜索引擎接口模块505向搜索引擎上传用户发布网络图片，图片相关文本获取模块502经由该图像搜索引擎接口模块505获取由搜索模块501搜索到的多个网页结果。

[计算机可读存储介质]

作为本发明的其它实施方式，本发明提供一种计算机可读存储介质。例如可以为任何易失性或非易失性存储介质或它们的组合，如静态随机存取存储器(Static RandomAccess Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。在该存储介质中存储有以上说明的计算机程序或系统。在需要识别图文无关内容时，由下述的装置或终端从该存储介质读取该计算机程序，执行该计算机程序，从而执行上述的方法中的步骤S101-S106、S201-S203，进行图文无关内容的识别。或者，由下述的装置或终端通过上述的系统来执行上述的方法中的步骤S101-S106、S201-S203，进行图文无关内容的识别。

[识别目标文字内容和原图相关性的装置]

作为本发明的其它实施方式，本发明提供一种识别目标文字内容和原图相关性的装置。本发明的识别目标文字内容和原图相关性的装置可以被一个或多个应用专用集成电路Application Specific Integrated Circuit，简称ASIC)、数字信号处理器、数字信号处理设备、可编程逻辑器件、现场可编程门阵列、控制器、微控制器、微处理器或其他电子元件实现。

图6是示出本发明的识别目标文字内容和原图相关性的装置的一个例子。该识别目标文字内容和原图相关性的装置600用于实施以上说明的识别目标文字内容和原图相关性的方法。如图6所示，该识别目标文字内容和原图相关性的装置600包括：搜索部601，其通过执行上述步骤S101，从而将社区网络用户发布的用户发布网络图片上传到搜索引擎中，使搜索引擎执行“以图搜图”，获取包含用户发布图片或与用户发布图片类似的图片的网页结果；图片相关文本获取部602，其通过执行上述的步骤S102，从而获取由搜索部601搜索到的多个网页结果中的前K个网页结果的文字摘要信息，作为图片相关文本；相关性计算部603，其通过执行上述的步骤S103，从而利用以上说明的任意一种相关性计算模型，对社区网络用户发布的用户发布文字内容、和由图片相关文本获取部602获取到的前K个网页结果的文字摘要信息计算相关性；以及识别部604，其通过执行上述的步骤S104，从而判断由相关性计算部603得到的计算结果是否大于预定的阈值，在计算结果大于阈值的情况下，识别为用户发布文字内容和用户发布图片相关，在计算结果为阈值以下的情况下，识别为用户发布文字内容和用户发布图片无关。此外，本发明的识别目标文字内容和原图相关性的装置也可以包括图像搜索引擎接口部605，搜索不601经由该图像搜索引擎接口部605向搜索引擎上传用户发布网络图片，图片相关文本获取部602经由该图像搜索引擎接口部605获取由搜索部601搜索到的多个网页结果。

上述各搜索部601、图片相关文本获取部602、相关性计算部603、识别部604、及图像搜索引擎接口部605可以是单独的电子元器件，也可以是集成电路中的一部分功能模块电路。

[识别目标文字内容和原图相关性的终端]

作为本发明的其它实施方式，本发明提供一种识别目标文字内容和原图相关性的终端。

图7是例示地说明本发明的识别目标文字内容和原图相关性的终端的框图。该终端识别目标文字内容和原图相关性的终端700用于实施以上说明的识别目标文字内容和原图相关性的方法。如图7所示，该终端700包括以上说明的识别目标文字内容和原图相关性的装置600、或者由下述的处理器运行被存储在存储器中的上述的计算机程序或系统来识别目标文字内容和原图相关性。此外，该终端700还可以但非限定性地包括：存储有上述计算机程序或系统的上述的计算机可读存储介质701；输入单元702；显示单元703；包含一个或一个以上处理核心的处理器704、电源705、通信模块706等部件。本领域技术人员可以理解，图7中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

上述的存储介质701还可以包括存储器控制器，以提供处理器704和输入单元702对存储介质701的访问。

上述的输入单元702可用于接收输入的数字、字符信息、音频、图片、视频、以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。输入单元702例如可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、摄像头、触控表面等中的一种或多种。例如，作为其中之一的触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程序驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器704，并能接收处理器704发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元702还可以包括其他输入设备。

此外，上述的输入单元702也可以是音频输入设备，用来实现对该终端700的声音操作。例如，该输入单元702包括音频电路、扬声器、传声器。传声器可提供用户与所述终端之间的音频接口。音频电路可将接收到的音频数据转换后的电信号，传输到处理器704，经处理器704处理后，将音频数据输出至存储介质701以便进一步处理、或者按照该电信号所包含的指令执行处理。作为一个例子，例如该终端700可进行语音操作，基于输入单元702所输入的语音指令，执行上述的方法中的步骤S101-S106、S201-S203，进行图文无关内容的识别。音频电路还可能包括耳塞插孔，以提供外设耳机与所述终端的通信。

上述的显示单元703可用于显示由用户输入的信息或提供给用户的信息以及上述终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元703可包括显示面板，可选的，可以采用LCD(Liquid Crystal Display，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器704以确定触摸事件的类型，随后处理器704根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图7中，输入单元701和显示单元703是作为两个独立的部件来实现输入与输出，但是，在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

上述的处理器704是上述终端700的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储介质701内的软件程序和/或模块，以及调用存储在存储介质701内的数据，执行上述终端700的各种功能和处理数据，从而对终端700进行整体监控。可选的，处理器704可包括一个或多个处理核心；优选的，处理器704可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器704中。

上述的电源705例如是电池，优选的，电源可以通过电源管理系统与处理器704逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源705还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

上述的通信模块706可以是有线形式也可以是无线形式，作为一个例子，采用WiFi，WiFi属于短距离无线传输技术，上述终端700通过WiFi模块可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然例举了WiFi模块，但是可以理解的是，其并不属于所述终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略或者替换为具有等同功能的其它模块。

根据本发明的识别目标文字内容和原图相关性的方法、计算机程序、系统、存储介质、装置、及终端，通过执行上述的步骤S101-S106、S201-S203，基本能够识别所有类型的图文无关内容，可以有效提高网络社区的内容质量。

此外，能够利用现有的商业图像搜索引擎，而不必独立开发部署搜索工具，由此可以极大地节省开发费用、节省成本。

此外，只需要由搜索引擎返回的网页结果的文字摘要信息，而不是通过对网页结果进行内容提取以自行获得文字摘要信息，由此，能够减少运算量，减小服务器负荷。

此外，以上以对网络社区中的图文无关内容进行识别的情况为例进行了说明，但是，本发明不限于在网络社区中的应用，也可以对任意场合下图文并存内容进行图文无关内容识别。例如，对于本地存储的图片及其名称进行识别，以找出图片与名称不对应的图片。

以上参考附图，基于实施方式说明了本发明，但本发明并非限定于上述的实施方式，根据需要等将实施方式的部分构成适当置换后的方案，也包含在本发明的范围内。本发明虽然已详细描述了各种概念，但本领域技术人员可以理解，对于那些概念的各种修改和替代在本发明公开的整体教导的精神下是可以实现的。可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

Claims

1.一种识别目标文字内容和原图相关性的方法，其特征在于，

至少包括以下步骤：

步骤1：通过图像搜索引擎搜索原图，得到至少一个网页，所述至少一个网页包含所述原图或与所述原图类似的图片；

步骤2：获取所述至少一个网页中的图片相关文本；

步骤3：计算所述目标文字内容和所述图片相关文本之间的相关性结果；

步骤4：根据所述相关性结果，得到所述目标文字内容和所述原图之间的相关性，

所述原图是由用户上传的图片，所述目标文字内容是上传所述原图时上传的文字，所述图片相关文本是从所述至少一个网页中提取出的文字摘要信息，

在所述步骤3中，选择以下计算方法之一来计算所述相关性：

Relevance(W，WG)＝avg(F(W，WG_i))

Relevance(W，WG)＝max(F(W，WG_i))

Relevance(W，WG)＝avg(max(F(W，WG_i))，min(F(W，WG_i)))

其中，W是所述用户上传文字内容，WG_i是在所述步骤2中获取的所述至少一个网页中提取出的文字摘要信息，F是所述相关性计算模型。

2.如权利要求1所述的识别目标文字内容和原图相关性的方法，其特征在于，

在所述步骤2中，采用图像搜索引擎的搜索结果以获取文字摘要信息。

3.如权利要求1所述的识别目标文字内容和原图相关性的方法，其特征在于，

在所述步骤2中，通过对网页结果进行内容提取以自行获得文字摘要信息。

4.如权利要求1至3的任何一项所述的识别目标文字内容和原图相关性的方法，其特征在于，

所述步骤3中采用VSM模型、BM25模型、基于深度学习的文本相关性模型之中的任意之一模型，或者所述VSM模型、BM25模型、基于深度学习的文本相关性模型的任意模型的组合。

5.如权利要求1至3的任何一项所述的识别目标文字内容和原图相关性的方法，其特征在于，

在所述步骤1中，通过图像搜索引擎接口模块在所述图像搜索引擎中输入原图。

6.如权利要求5所述的识别目标文字内容和原图相关性的方法，其特征在于，

所述图像搜索引擎接口模块通过输入图片的网络地址或者图片文件来上传图片。

7.一种识别目标文字内容和原图相关性的系统，其特征在于，

该系统至少包括以下模块：

搜索模块，其通过图像搜索引擎搜索原图，得到至少一个网页，所述至少一个网页包含所述原图或与所述原图类似的图片；

图片相关文本获取模块，其获取所述至少一个网页中的图片相关文本；

相关性计算模块，其计算所述目标文字内容和所述图片相关文本之间的相关性结果；

识别模块，其根据所述相关性结果，得到所述目标文字内容和所述原图之间的相关性，

所述模块是应用软件或固件，

在所述相关性计算模块中，选择以下计算方法之一来计算所述相关性：

Relevance(W，WG)＝avg(F(W，WG_i))

Relevance(W，WG)＝max(F(W，WG_i))

Relevance(W，WG)＝avg(max(F(W，WG_i))，min(F(W，WG_i)))

其中，W是所述用户上传的文字内容，WG_i是在所述图片相关文本获取模块所获取的所述至少一个网页中提取出的文字摘要信息，F是所述相关性计算模型。

8.如权利要求7所述的识别目标文字内容和原图相关性的系统，

图片相关文本获取模块采用图像搜索引擎的搜索结果以获取文字摘要信息。

9.如权利要求7所述的识别目标文字内容和原图相关性的系统，

所述图片相关文本获取模块通过对网页结果进行内容提取以自行获得文字摘要信息。

10.如权利要求7至9的任何一项所述的识别目标文字内容和原图相关性的系统，

所述相关性计算模块采用VSM模型、BM25模型、基于深度学习的文本相关性模型之中的任意之一模型，或者所述VSM模型、BM25模型、基于深度学习的文本相关性模型的任意模型的组合。

11.如权利要求7至9的任何一项所述的识别目标文字内容和原图相关性的系统，

所述搜索模块通过图像搜索引擎接口模块在所述图像搜索引擎中输入原图。

12.如权利要求11所述的识别目标文字内容和原图相关性的系统，

13.一种识别目标文字内容和原图相关性的装置，其特征在于，

至少包括：

搜索部，其通过图像搜索引擎搜索原图，得到至少一个网页，所述至少一个网页包含所述原图或与所述原图类似的图片；

图片相关文本获取部，其获取所述至少一个网页中的图片相关文本；

相关性计算部，计算所述目标文字内容和所述图片相关文本之间的相关性结果；

识别部，其根据所述相关性结果，得到所述目标文字内容和所述原图之间的相关性，

所述搜索部、图片相关文本获取部、相关性计算部、识别部是单独的电子元器件或者集成电路中的一部分功能模块电路，

所述相关性计算部选择以下计算方法之一来计算所述相关性：

Relevance(W，WG)＝avg(F(W，WG_i))

Relevance(W，WG)＝max(F(W，WG_i))

Relevance(W，WG)＝avg(max(F(W，WG_i))，min(F(W，WG_i)))

其中，W是所述用户上传的文字内容，WG_i是所述图片相关文本获取部所获取的所述至少一个网页中提取出的文字摘要信息，F是所述相关性计算模型。

14.如权利要求13所述的识别目标文字内容和原图相关性的装置，

所述图片相关文本获取部采用图像搜索引擎的搜索结果以获取文字摘要信息。

15.如权利要求13所述的识别目标文字内容和原图相关性的装置，

所述图片相关文本获取部通过对网页结果进行内容提取以自行获得文字摘要信息。

16.如权利要求13至15的任何一项所述的识别目标文字内容和原图相关性的装置，

所述相关性计算部采用VSM模型、BM25模型、基于深度学习的文本相关性模型之中的任意之一模型，或者所述VSM模型、BM25模型、基于深度学习的文本相关性模型的任意模型的组合。

17.如权利要求13至15的任何一项所述的识别目标文字内容和原图相关性的装置，

所述搜索部通过图像搜索引擎接口模块在所述图像搜索引擎中输入原图。

18.如权利要求17所述的识别目标文字内容和原图相关性的装置，

19.一种识别目标文字内容和原图相关性的终端，其特征在于，

至少包括权利要求13至18的任何一项所述的识别目标文字内容和原图相关性的装置。

20.一种识别目标文字内容和原图相关性的终端，其特征在于，

至少包括：

处理器；以及

存储器，其存储有包含指令的计算机程序，所述指令被所述处理器执行而实现权利要求1至6的任何一项所述的识别目标文字内容和原图相关性的方法。

21.一种计算机可读存储介质，其特征在于，

所述存储介质中存储有包含指令的计算机程序，所述指令用于指示执行权利要求1至6的任何一项所述的识别目标文字内容和原图相关性的方法。