CN111967367A - 图像内容提取方法、装置及电子设备 - Google Patents

Abstract

本申请公开了图像内容提取方法、装置及电子设备，属于通信技术领域，该方法包括：分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱,知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系；从命名实体中提取关键词；依据关键词，分别从各知识图谱中查找目标对应关系；分别依据各目标对应关系，从各识别结果中提取目标片段；将各目标片段拼接成目标文档。本申请可自动从各图像对应的识别结果中查找出关键词对应的目标片段，并对目标片段进行拼接得到目标文档，无需用户手动逐个查看图像查找目标片段，对目标片段进行编辑等统筹管理操作，操作便捷。

Description

图像内容提取方法、装置及电子设备

技术领域

本发明实施例涉及通信技术领域，尤其涉及一种图像内容提取方法、装置及电子设备。

背景技术

随着电子设备普及，越来越多的用户在学习、阅读、会议时都通过电子设备拍照，通过所拍摄的图像记录内容，所拍摄的图像存储至本地相册中。在具体使用过程中，用户可能通过电子设备对纸质或电子化的书籍、试卷、讲义、幻灯片等进行拍摄，所拍摄的图像上含有大量知识文档信息，文档中包括中英文文字、数学物理公式、化学符号、表格及其它各类图表信息。

目前从所拍摄的大量图像中查找特定信息时，需要逐张打开图像进行查看，查找效率低。当需要对多张图像中存在特定信息进行统筹管理时，需分别对包含特定信息的各图像进行截图、拼接等编辑处理，操作繁琐。

发明内容

本申请实施例的目的是提供一种图像内容提取方法、装置及电子设备，能够解决现有技术中存在的从图像中查找特定信息效率低、对所查找的内容进行统筹管理时操作繁琐的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本申请实施例提供了一种图像内容提取方法，其中，所述方法包括：分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各所述识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像标识对应一个所述图像；从所述命名实体中提取关键词；依据关键词，分别从各所述知识图谱中查找目标对应关系；分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；将各所述目标片段拼接成目标文档。

第二方面，本申请实施例提供了一种图像内容提取装置，其中，所述装置包括：第一识别模块，用于分别对各图像进行内容识别，得到各图像分别对应的识别结果；第二识别模块，用于分别对所述各识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像图标对应一个所述图像；第一提取模块，用于从所述命名实体中提取关键词；查找模块，用于依据所述关键词，分别从各所述知识图谱中查找目标对应关系；第二提取模块，用于分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；第一拼接模块，用于将各所述目标片段拼接成目标文档。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

本申请实施例中，通过分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱；从命名实体中提取关键词，依据所提取的关键词，分别从各知识图谱中查找目标对应关系；分别依据各目标对应关系，从各识别结果中提取目标片段；将各目标片段拼接成目标文档，可自动从各图像对应的识别结果中查找出关键词对应的目标片段，并对目标片段进行拼接得到目标文档，无需用户手动逐个查看图像查找目标片段，对目标片段进行编辑等统筹管理操作，操作便捷且效率高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是表示本申请实施例的一种图像内容提取方法的步骤流程图；

图2是表示本申请实施例的图像识别示意图；

图3是表示本申请实施例的知识图谱示意图；

图4是表示本申请实施例的目标文档生成示意图；

图5是表示本申请实施例的一种图像内容提取装置的结构框图；

图6是表示本申请实施例的一种电子设备的结构框图；

图7是表示本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像内容提取方法进行详细地说明。

参照图1，示出了本申请实施例的一种图像内容提取方法的步骤流程图。

本申请实施例的图像内容提取方法包括以下步骤：

步骤101：分别对各图像进行内容识别，得到各图像分别对应的识别结果。

本申请实施例中所处理的图像包括但不限于：从纸质或电子化的书籍、试卷、讲义、幻灯片等拍摄得到的图像，该类图像中含有大量文字以及知识点信息，如学科分类，知识点大类、小类等内容。

对图像进行识别时，对图像进行扫描，对扫描到的图像信息进行分析处理，获取图像内容及版面信息，图像识别后输出文字、数学或物理公式、化学符号等识别结果。图2为图像识别示意图，如图2所示，图像识别后所得的识别结果包含图像中的内容，并且识别结果可编辑。

步骤102：分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱。

命名实体识别又称作专名识别、命名实体，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。

知识图谱：在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。本申请实施例中所生成的知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个图像标识对应一个知识图谱和一个图像。

下面结合图3，以对拍摄数学练习册所生成图像对应的识别结果，进行命名实体识别为例进行说明。在对该类图像的识别结果进行命名实体分析时，结合考试大纲、教材教学资料、题库数据等进行知识推理分类处理，最终生成知识图谱，所生成的知识图谱如图3所示，包含图像标识-知识点-学科/领域-题型-年级关系。

知识图谱：在图书情报界称为知识域可视化或知识领域映射地图，是显示知识发展进程与结构关系的一系列各种不同的图形，用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。

步骤103：从命名实体中提取关键词。

关键词可由用户根据实际需求进行设置，关键词可为任意命名实体，也可以为命名实体下包含的具体分类等。

步骤104：依据关键词，分别从各知识图谱中查找目标对应关系。

下面结合图4所示的目标文档生成示意图，以关键词为三角函数为例，对目标文档生成方式进行说明。当用户提取关键词后，系统查找到图像1、图像2以及图像3的识别结果涉及到三角函数内容，分别从三个图像对应的知识图谱中查找涉及到三角函数的目标对应关系。所查找到的目标对应关系分别为：图像1-题1-三角函数-数学/中学数学-解答题-高三；图像2-题2-三角函数-数学/中学数学-解答题-高三；图像3-题2-三角函数-数学/中学数学-解答题-高三。

步骤105：分别依据各目标对应关系，从各识别结果中提取目标片段。

一种可选地分别依据各目标对应关系，从各识别结果中提取目标片段的方式如下：

首先，针对每个目标对应关系，查找目标对应关系关联的目标图像标识；

其中，每个目标图像标识对应一个目标图像。

其次，依据目标对应关系中的内容位置标识，确定目标片段在目标图像中的位置；

以目标对应关系为：图像1-题1-三角函数-数学/中学数学-解答题-高三为例，通过目标对应关系，可查找到目标对应关系关联的目标图像为图像1。目标内容位置为题1。

最后，基于目标片段在目标图像中的位置，从目标图像对应的识别结果中提取目标片段。

确定目标片段在目标图像中的位置为题1后，从目标图像对应的识别结果中提取题1的识别内容作为目标片段。

步骤106：将各目标片段拼接成目标文档。

拼接后的目标文档如图4所示，目标文档中集中整理有各图像中三角函数相关的习题，便于用户对同类型题集中整理。

将各目标片段拼接成目标文档后，还可以根据用户输入将目标文档转换成目标格式，还可以对目标文进行打印、编辑或者分享的进一步操作。目标格式可以包括但不限于：PDF、图像等格式。

该种提供用户目标文档转换、打印、编辑或者分享等操作接口供用户操作的方式，能够满足用户的不同需求，且使得对目标文档的处理更加便捷。

本申请实施例中提供的图像内容提取方法，除可对包含练习册习题集的图像中的习题进行提取外，还可以通过适应性调整命名实体、提取关键词将该方法应用到多种场景下，下面示例性地列举几种使用场景：

场景一、对图像内容进行自动检测和裁剪，并将文档类图像归档处理，可按知识点分类、学科分类、题型分类，能够提升图像管理效率。

场景二、对图像内容进行搜索查询和定位，按照不同知识点对图像中的内容进行聚类合成，能够提升知识管理效率。

场景三、扫描不同学生的试卷分别得到多张图像，对多张图像进行内容提取处理，将错题自动分类，按题型、知识点、学科以及年级等提取关键词输出错题集。

场景四、扫描英语阅读理解文章得到图像，对图像进行内容提取处理，自动输出生词、固定搭配、语法、句型等知识点笔记。

场景五、扫描阅读笔记得到图像，识别图像中的重点、勾画、批注内容等，基于识别结果可按书籍名称、作者、章节等对扫描笔记进行归类，输出归类后的电子阅读笔记。

场景六、提取幻灯片中的文字信息，形成内容摘要，同时对相关专有名词进行搜索、备注，搜索时可按关键字对各幻灯片进行分类，获得搜索关键词相关的目标幻灯片。

本申请实施例提供的图像内容提取方法，通过分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱；从命名实体中提取关键词；依据关键词，分别从各知识图谱中查找目标对应关系；分别依据各目标对应关系，从各识别结果中提取目标片段；将各目标片段拼接成目标文档，可自动从各图像对应的识别结果中查找出关键词对应的目标片段，并对目标片段进行拼接得到目标文档，无需用户手动逐个查看图像查找目标片段，对目标片段进行编辑等统筹管理操作，操作便捷且效率高。

在一种可选地实施例中，分别对各图像进行内容识别，得到各图像分别对应的识别结果时，可通过如下方式实现：

针对每个图像，依据用户对图像的第一输入，确定图像中的目标区域；对图像中的目标区域进行内容识别，得到图像对应的识别结果。

该种可选地方式中，可对图像的局部区域针对性地进行内容识别，相较于对图像整体进行内容识别，能够节省内容识别所耗时长、资源等。

在一种可选地实施例中，依据关键词，分别从各知识图谱中查找目标对应关系的方式如下：

针对每个知识图谱，查找知识图谱中与关键词匹配的目标命名实体；将目标命名实体关联的对应关系，确定为目标对应关系。

该种查找目标对应关系方式，可提升目标对应关系的查找效率以及准确度。

在一种可选地实施例中，还可以对各图像执行如下操作：

首先，获取各图像的预设参数；

其中，预设参数包括以下至少之一：拍摄时间、拍摄位置、拍摄风格以及主题内容。

其次，依据预设参数，对各图像进行分类；

最后，将同一分类下的各图像进行拼接。

例如：用户在一段时期内对幻灯片、纸质文件等拍摄得到多张目标图像，系统可根据用户输入的预设参数如拍摄位置、时间信息等，对各张图像自动分类，并将多张图像拼接成长图。

该种依据预设参数对各图像进行分类的方式，可高效地对图像进行分类，无需用户手动逐个分类。通过对图像进行分类，便于用户从大量图像中查找到目标图像，无需手动逐张查找。此外，由于将各图像进行拼接，更便于用户统筹预览图像内容依据对图像间内容进行比对。

需要说明的是，本申请实施例提供的图像内容提取方法，执行主体可以为图像内容提取装置，或者该图像内容提取装置中的用于执行图像内容提取方法的控制模块。本申请实施例中以图像内容提取装置执行图像内容提取方法为例，说明本申请实施例提供的图像内容提取装置。

图5为实现本申请实施例的一种图像内容提取装置的结构框图。

图5中所示的图像内容提取装置用于实现图1至图4中所示的图像内容提取方法。

本申请实施例的图像内容提取装置500包括：

第一识别模块501，用于分别对各图像进行内容识别，得到各图像分别对应的识别结果；

第二识别模块502，用于分别对各所述识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像标识对应一个图像；

第一提取模块503，用于从所述命名实体中提取关键词；

查找模块504，用于依据所述关键词，分别从各所述知识图谱中查找目标对应关系；

第二提取模块505，用于分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；

第一拼接模块506，用于将各所述目标片段拼接成目标文档。

可选地，所述第一识别模块包括：第一子模块，用于针对每个所述图像，依据用户对所述图像的第一输入，确定所述图像中的目标区域；第二子模块，用于对所述图像中的目标区域进行内容识别，得到所述图像对应的识别结果。

可选地，所述查找模块包括：第三子模块，用于针对每个所述知识图谱，查找所述知识图谱中与所述关键词匹配的目标命名实体；第四子模块，用于将所述目标命名实体关联的对应关系，确定为目标对应关系。

可选地，所述第二提取模块包括：第五子模块，用于针对每个所述目标对应关系，查找所述目标对应关系关联的目标图像标识，其中，每个所述目标图像标识对应一个目标图像；第六子模块，用于依据所述目标对应关系中的所述内容标识，确定目标片段在所述目标图像中的位置；第七子模块，用于基于所述位置，从所述目标图像对应的识别结果中提取目标片段。

可选地，所述装置还包括：获取模块，用于获取各所述图像的预设参数，其中，所述预设参数包括以下至少之一：拍摄时间、拍摄位置、拍摄风格以及主题内容；分类模块，用于依据所述预设参数，对各所述图像进行分类；第二拼接模块，用于将同一分类下的各所述图像进行拼接。

本申请实施例中图5所示的图像内容提取装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图5所示的图像内容提取装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的图5所示的图像内容提取装置能够实现图1至图4的方法实施例实现的各个过程，为避免重复，这里不再赘述。

本申请实施例提供的图像内容提取装置，通过分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱；从命名实体中提取关键词；依据所提取的关键词，分别从各知识图谱中查找目标对应关系；分别依据各目标对应关系，从各识别结果中提取目标片段；将各目标片段拼接成目标文档，可自动从各图像对应的识别结果中查找出关键词对应的目标片段，并对目标片段进行拼接得到目标文档，无需用户手动逐个查看图像查找目标片段，对目标片段进行编辑等统筹管理操作，操作便捷且效率高。

可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601，存储器602，存储在存储器602上并可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述图像内容提取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710，用于分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各所述识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像标识对应一个图像；从所述命名实体中提取关键词；依据所述关键词，分别从各所述知识图谱中查找目标对应关系；分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；将各所述目标片段拼接成目标文档。

本申请实施例中提供的电子设备，通过分别对各图像进行内容识别，得到各图像分别对应的识别结果；分别对各识别结果进行命名实体识别，得到各识别结果分别对应的知识图谱；从命名实体中提取关键词；依据所提取的关键词，分别从各知识图谱中查找目标对应关系；分别依据各目标对应关系，从各识别结果中提取目标片段；将各目标片段拼接成目标文档，可自动从各图像对应的识别结果中查找出关键词对应的目标片段，并对目标片段进行拼接得到目标文档，无需用户手动逐个查看图像查找目标片段，对目标片段执行编辑等统筹管理操作，操作便捷且效率高。

可选地，处理器710分别对各图像进行内容识别，得到各图像分别对应的识别结果时，具体用于：针对每个所述图像，依据用户对所述图像的第一输入，确定所述图像中的目标区域；对所述图像中的目标区域进行内容识别，得到所述图像对应的识别结果。

可选地，处理器710依据所述关键词，分别从各所述知识图谱中查找目标对应关系时，具体用于：针对每个所述知识图谱，查找所述知识图谱中与所述关键词匹配的目标命名实体；将所述目标命名实体关联的对应关系，确定为目标对应关系。

可选地，处理器710分别依据各所述目标对应关系，从各所述识别结果中提取目标片段时，具体用于：针对每个所述目标对应关系，查找所述目标对应关系关联的目标图像标识，其中，每个所述目标图像标识对应一个目标图像；依据所述目标对应关系中的所述内容位置标识，确定目标片段在所述目标图像中的位置；基于所述位置，从所述目标图像对应的识别结果中提取目标片段。

可选地，处理器710还用于：获取各所述图像的预设参数，其中，所述预设参数包括以下至少之一：拍摄时间、拍摄位置、拍摄风格以及主题内容；依据所述预设参数，对各所述图像进行分类；将同一分类下的各所述图像进行拼接。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器709可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例提供的电子设备，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像内容提取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像内容提取方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像内容提取方法，其特征在于，所述方法包括：

分别对各图像进行内容识别，得到各图像分别对应的识别结果；

分别对各所述识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像标识对应一个图像；

从所述命名实体中提取关键词；

依据所述关键词，分别从各所述知识图谱中查找目标对应关系；

分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；

将各所述目标片段拼接成目标文档。

2.根据权利要求1所述的方法，其特征在于，所述分别对各图像进行内容识别，得到各图像分别对应的识别结果的步骤，包括：

针对每个所述图像，依据用户对所述图像的第一输入，确定所述图像中的目标区域；

对所述图像中的目标区域进行内容识别，得到所述图像对应的识别结果。

3.根据权利要求1所述的方法，其特征在于，所述依据所述关键词，分别从各所述知识图谱中查找目标对应关系的步骤，包括：

针对每个所述知识图谱，查找所述知识图谱中与所述关键词匹配的目标命名实体；

将所述目标命名实体关联的对应关系，确定为目标对应关系。

4.根据权利要求1所述的方法，其特征在于，所述分别依据各所述目标对应关系，从各所述识别结果中提取目标片段的步骤，包括：

针对每个所述目标对应关系，查找所述目标对应关系关联的目标图像标识，其中，每个所述目标图像标识对应一个目标图像；

依据所述目标对应关系中的所述内容位置标识，确定目标片段在所述目标图像中的位置；

基于所述位置，从所述目标图像对应的识别结果中提取目标片段。

5.一种图像内容提取装置，其特征在于，所述装置包括：

第一识别模块，用于分别对各图像进行内容识别，得到各图像分别对应的识别结果；

第二识别模块，用于分别对各所述识别结果进行命名实体识别，得到各所述识别结果分别对应的知识图谱，其中，所述知识图谱包括：图像标识、命名实体以及内容位置标识之间的对应关系，每个所述图像标识对应一个图像；

第一提取模块，用于从所述命名实体中提取关键词；

查找模块，用于依据所述关键词，分别从各所述知识图谱中查找目标对应关系；

第二提取模块，用于分别依据各所述目标对应关系，从各所述识别结果中提取目标片段；

第一拼接模块，用于将各所述目标片段拼接成目标文档。

6.根据权利要求5所述的装置，其特征在于，所述第一识别模块包括：

第一子模块，用于针对每个所述图像，依据用户对所述图像的第一输入，确定所述图像中的目标区域；

第二子模块，用于对所述图像中的目标区域进行内容识别，得到所述图像对应的识别结果。

7.根据权利要求5所述的装置，其特征在于，所述查找模块包括：

第三子模块，用于针对每个所述知识图谱，查找所述知识图谱中与所述关键词匹配的目标命名实体；

第四子模块，用于将所述目标命名实体关联的对应关系，确定为目标对应关系。

8.根据权利要求5所述的装置，其特征在于，所述第二提取模块包括：

第五子模块，用于针对每个所述目标对应关系，查找所述目标对应关系关联的目标图像标识，其中，每个所述目标图像标识对应一个目标图像；

第六子模块，用于依据所述目标对应关系中的所述内容位置标识，确定目标片段在所述目标图像中的位置；

第七子模块，用于基于所述位置，从所述目标图像对应的识别结果中提取目标片段。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的图像内容提取方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的图像内容提取方法的步骤。

Images