CN110363189B - 一种文档内容修复方法、装置、电子设备及可读存储介质 - Google Patents

一种文档内容修复方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN110363189B
CN110363189B CN201810311479.9A CN201810311479A CN110363189B CN 110363189 B CN110363189 B CN 110363189B CN 201810311479 A CN201810311479 A CN 201810311479A CN 110363189 B CN110363189 B CN 110363189B
Authority
CN
China
Prior art keywords
picture
missing
document
recognition model
target document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810311479.9A
Other languages
English (en)
Other versions
CN110363189A (zh
Inventor
冷志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Kingsoft Office Software Co Ltd
Original Assignee
Beijing Kingsoft Office Software Inc
Zhuhai Kingsoft Office Software Co Ltd
Guangzhou Kingsoft Mobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Office Software Inc, Zhuhai Kingsoft Office Software Co Ltd, Guangzhou Kingsoft Mobile Technology Co Ltd filed Critical Beijing Kingsoft Office Software Inc
Priority to CN201810311479.9A priority Critical patent/CN110363189B/zh
Publication of CN110363189A publication Critical patent/CN110363189A/zh
Application granted granted Critical
Publication of CN110363189B publication Critical patent/CN110363189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Character Discrimination (AREA)

Abstract

本发明实施例提供了一种文档内容修复方法、装置、电子设备及可读存储介质。该方法包括：确定所打开的目标文档中是否存在图片；若是，将目标文档中的图片输入至预先构建的图片文字识别模型；其中，图片文字识别模型用于：识别图片中缺失的文字内容和文字内容在图片中的位置信息，得到缺失文字和缺失文字对应的缺失位置；对目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，修复文档是基于缺失文字和缺失文字对应的缺失位置修复得到的。应用本发明实施例提供的文档内容修复方法，可以对文档中缺失的文字内容进行补充，提高了用户的阅读体验。

Description

一种文档内容修复方法、装置、电子设备及可读存储介质
技术领域
本发明涉及文档处理技术领域，特别是涉及一种文档内容修复方法、装置、电子设备及可读存储介质。
背景技术
目前，为了工作和学习，用户常常需要阅读各种各样的文档。例如，常常需要阅读word文档、PDF(Portable Document Format，便携式文档格式)文档和PPT(PowerPoint，演示文稿)文档等文档。
这些文档中常常会存储有一些记录有文字信息的图片，但是这些图片中常常会出现文字信息的缺失，即文字内容缺失。例如，在将纸质版文档或照片扫描成PDF文档时，由于扫描不完全，导致PDF文档每一页的最后一行文字只显示了一半。这些缺失的文字内容影响了用户的阅读体验。
发明内容
本发明实施例的目的在于提供一种文档内容修复方法、装置、电子设备及可读存储介质，以能够对文档中缺失的文字内容进行补充，提高用户的阅读体验。具体技术方案如下：
第一方面，本发明实施例提供了一种文档内容修复方法，该方法可以包括：
确定所打开的目标文档中是否存在图片；
若是，将目标文档中的图片输入至预先构建的图片文字识别模型；其中，图片文字识别模型用于：识别图片中缺失的文字内容和文字内容在图片中的位置信息，得到缺失文字和缺失文字对应的缺失位置；
对目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，修复文档是基于缺失文字和缺失文字对应的缺失位置修复得到的。
可选地，对目标文档中的图片中缺失的文字内容进行修复，得到修复文档的步骤，可以包括：
接收图片文字识别模型输出的、图片对应的缺失文字和缺失文字对应的缺失位置；
将缺失文字渲染至图片中的缺失文字对应的缺失位置，得到修复文档。
可选地，目标文档和图片文字识别模型位于不同的电子设备；对目标文档中的图片中缺失的文字内容进行修复，得到修复文档的步骤，可以包括：
接收修复后的图片；其中，修复后的图片是：图片文字识别模型所在电子设备利用缺失文字和缺失文字对应的缺失位置，对目标文档中的图片进行修复得到的；
利用修复后的图片替换目标文档中的图片，得到修复文档。
可选地，在将目标文档中的图片输入至预先构建的图片文字识别模型的步骤之前，该方法还可以包括：
构建图片文字识别模型；
相应地，构建图片文字识别模型的步骤可以包括：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
可选地，在确定所打开的目标文档中存在图片之后，在将目标文档中的图片输入至预先构建的图片文字识别模型的步骤之前，该方法还可以包括：
判断图片中是否存在文字信息；
若图片中存在文字信息，触发上述将目标文档中的图片输入至预先构建的图片文字识别模型的步骤。
第二方面，本发明实施例还提供了一种文档内容修复装置，该装置可以包括：
确定单元，用于确定所打开的目标文档中是否存在图片；
输入单元，用于当确定单元确定所打开的目标文档中存在图片时，将目标文档中的图片输入至预先构建的图片文字识别模型；其中，图片文字识别模型用于：识别图片中缺失的文字内容和文字内容在图片中的位置信息，得到缺失文字和缺失文字对应的缺失位置；
修复单元，用于对目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，修复文档是基于缺失文字和缺失文字对应的缺失位置修复得到的。
可选地，在本发明提供的一种实施例中，该修复单元可以包括：
第一接收子模块，用于接收图片文字识别模型输出的、图片对应的缺失文字和缺失文字对应的缺失位置；
渲染子模块，用于将缺失文字渲染至图片中的缺失文字对应的缺失位置，得到修复文档。
可选地，目标文档和图片文字识别模型位于不同的电子设备；在本发明提供的另一种实施例中，该修复单元可以包括：
第二接收子模块，用于接收修复后的图片；其中，修复后的图片是：图片文字识别模型所在电子设备利用缺失文字和缺失文字对应的缺失位置，对目标文档中的图片进行修复得到的；
替换子模块，用于利用修复后的图片替换目标文档中的图片，得到修复文档。
可选地，在本发明实施例中，该装置还可以包括：
构建单元，用于在输入单元将目标文档中的图片输入至预先构建的图片文字识别模型之前，构建图片文字识别模型；
构建单元具体可以用于：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
可选地，在本发明实施例中，该装置还可以包括：
判断单元，用于在确定单元确定所打开的目标文档中存在图片之后，并在输入单元将目标文档中的图片输入至预先构建的图片文字识别模型之前，判断图片中是否存在文字信息；
触发单元，用于当判断单元判断图片中存在文字信息时，触发输出单元将目标文档中的图片输入至预先构建的图片文字识别模型。
第三方面，本发明实施例还提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现本发明实施例提供的任一项文档内容修复方法的方法步骤。
第四方面，本发明实施例还提供了一种可读存储介质，可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现本发明实施例提供的任一项文档内容修复的方法步骤。
第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备执行：本发明实施例提供的任一项文档内容修复的方法步骤。
在本发明实施例中，可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种文档内容修复方法的流程图；
图2为本发明实施例提供的一种文档内容修复装置的结构示意图；
图3为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中存在的问题，本发明实施例提供了一种文档内容修复方法、装置、电子设备及可读存储介质
下面首先对本发明实施例提供的文档内容修复方法进行说明。
本发明实施例提供的文档内容修复方法可以应用于安装有办公软件的电子设备。该电子设备包括但并不局限于电脑和手机。
其中，办公软件包括但并不局限于：WPS(WPS software，WPS软件)办公软件、PPT(PowerPoint，演示文稿)办公软件和PDF(Portable Document Format，便携式文档格式)办公软件，当然并不局限于此。
相应地，本发明实施例中的目标文档包括但并不局限于：WPS文档、PPT文档和PDF文档，当然并不局限于此。
参见图1，该方法可以包括如下步骤：
S101：确定所打开的目标文档中是否存在图片；若所打开的目标文档中存在图片，执行步骤S102；若所打开的目标文档中不存在图片，放弃执行步骤S102；
S102：将目标文档中的图片输入至预先构建的图片文字识别模型；其中，图片文字识别模型用于：识别图片中缺失的文字内容和文字内容在图片中的位置信息，得到缺失文字和缺失文字对应的缺失位置；
S103：对目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，修复文档是基于缺失文字和缺失文字对应的缺失位置修复得到的。
在本发明实施例中，可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
下面以PDF文档为示例，对本发明实施例提供的文档内容修复方法进行说明。
假设电子设备A中安装有PDF办公软件，并且通过该PDF办公软件打开有目标PDF文档。为了使用户获得较佳的阅读体验，电子设备A可以通过该目标PDF文档的文档结构，确定该目标PDF文档的文档内容中是否存在图片对象(即图片标识)。若存在图片对象，则可以确定该目标PDF文档中存储有图片。假设确定得到目标PDF文档中存储有图片a、b和c。此时，可以将该目标PDF文档中的图片a、b和c输入至预先构建的图片文字识别模型。
其中，该图片文字识别模型可以对输入该模型的图片中缺失的文字内容和该文字内容对应的位置信息进行识别。为了清晰布局，后续对构建该图片文字识别模型的方式进行说明。
其中，缺失的文字内容包括但并不局限于汉字、英文单词、英文字母和阿拉伯数字。
由于确定得到的图片a、b和c中可能不存在文字内容，因而在将图片a、b和c输入至图片文字识别模型之前，电子设备A还可以通过文字识别软件，例如OCR(OpticalCharacter Recognition，光学字符识别)软件，来识别图片a、b和c图片中的文字。当能够识别出文字时，则表明图片中存在文字内容。当不能识别出文字时，则表明图片中不存在文字内容。当然，识别图片中是否存在文字内容的方式当然并不局限于此。
然后，电子设备A可以将存在文字内容的图片输入至图片文字识别模型。并放弃将不存在文字内容的图片输入至图片文字识别模型。这样，可以减少图片文字识别模型的识别工作量。
另外，还可以让用户来确定目标PDF文档中是否存在缺失文字内容图片。例如，可以通过一个提示框来询问用户该目标PDF文档中哪张图片存在缺失文字内容。当用户在该提示框中某一图片标识后的选择框打钩后，电子设备A则可以确定该图片标识对应的图片存在文字内容缺失。并将存在文字内容缺失的图片输入至图片文字识别模型。这样，可以进一步减少图片文字识别模型的识别工作量。
假设将该目标PDF文档中的图片a、b和c均输入至图片文字识别模型，那么，该图片文字识别模型在接收到图片a、b和c后，可以按照接收图片的先后顺序，依次识别图片a、b和c中缺失的文字内容和该文字内容在相应图片中的位置信息，从而得到图片a、b和c对应的缺失文字和缺失文字在相应图片中对应的缺失位置。
当然，该图片文字识别模型在接收到图片a、b和c后，也可以分别给图片a、b和c设置图片标识01、10和11，然后同时对图片a、b和c中缺失的文字内容和该文字内容在相应图片中的位置信息进行识别，得到每个图片标识对应的缺失文字和缺失文字对应的缺失位置，这也是合理的。
举例而言，图片a中记录有：我去饭。其中，由于图片a的曝光原因，导致“去”字和“饭”字中间的“吃”字发白不可见。那么，在将图片a输入至预先构建的图片文字识别模型后，该图片文字识别模型可以识别得到图片a对应的缺失文字为“吃”，以及缺失文字“吃”的缺失位置在图片a中记录的上述“去”字和“饭”字之间。
其中，导致图片中的文字内容缺失的因素包括但并不局限于图片曝光、图片扫描不完全和图片拍摄不完全。
在图片文字识别模型输出图片a对应的缺失文字和缺失文字在图片a中对应的缺失位置之后，电子设备A可以将图片文字识别模型输出的图片a对应的缺失文字，渲染至图片a中缺失文字对应的缺失位置，从而实现对图片a的修复。其中，可以采用任意一种文字渲染方式，将缺失文字渲染至图片a中，在此不做详述。
同理，电子设备A可以将图片文字识别模型输出的图片b和c对应的缺失文字，分别渲染至图片b和c中缺失文字对应的缺失位置，从而实现对目标PDF文档的修复，得到修复文档。此时，电子设备A中的PDF办公软件可以显示该修复文档。
另外，由于该图片文字识别模型可以是存储在电子设备A中的模型，也可以是存储在除电子设备A之外的电子设备中的模型。
当该图片文字识别模型是存储在除电子设备A之外的电子设备(例如电子设备B)中的模型时，上述对于目标PDF文档的修复方式，可以使得图片文字识别模型在识别得到图片的缺失文字和缺失位置之后，电子设备B仅需要向电子设备A传输各个图片的缺失文字和缺失位置，数据传输量较少，节省了电子设备B和电子设备A之间的传输带宽。
另外，当该图片文字识别模型是存储在除电子设备A之外的电子设备(例如电子设备B)中的模型时，图片文字识别模型在识别得到图片a、b和c的缺失文字和缺失位置之后，电子设备B也可以利用图片文字识别模型输出的缺失文字和缺失位置，对图片a、b和c进行图片修复。
然后，电子设备B将修复后的图片a、b和c发送给电子设备A。电子设备A在接收到修复后的图片a、b和c后，可以利用修复后的图片a替换目标PDF文档中的图片a，利用修复后的图片b替换目标PDF文档中的图片b，利用修复后的图片c替换目标PDF文档中的图片c，从而得到目标PDF文档对应的修复文档。这样，电子设备A仅需要执行替换操作，而不需要对目标PDF文档中的图片进行渲染，减少了电子设备A的计算量。
需要说明的是，对word文档、WPS文档和PPT文档等文档的修复方式可以参考上述目标PDF文档的修复方式，在此不做详述。
下面对本发明实施例提供的图片文字识别模型的构建步骤进行说明。
其中，构建图片文字识别模型的步骤可以包括：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
可以理解的是，可以获得记录有文字信息的多张预设图片。然后，利用一张预设图片来构建一个训练样本。进而，利用预设自然语言识别算法对训练样本进行训练，得到图片文字识别模型。
举例而言，构建得到的一个训练样本中包括：预设图片k、预设图片k中的缺失文字“吃”，以及该缺失文字“吃”在该预设图片k中对应的位置信息：预设图片k中“去”字和“饭”字之间。
其中，预设自然语言识别算法包括但并不局限于隐马尔可夫模型算法和神经网络算法。其中，神经网络算法可以为：循环神经网络算法(Recurrent neural networks，RNN)、深度神经网络算法(Deep Neural Networks，DNN)和卷积神经网络算法(ConvolutionalNeural Network，CNN)中的任意一项。
其中，由于用于训练该图片文字识别模型的训练样本越多，则训练得到的图片文字识别模型的识别结果就越准确，因而可以采用尽量多的训练样本来训练该图片文字识别模型。
另外，由于导致图片中的文字内容缺失的因素可能为多种，例如图片曝光、图片扫描不完全(例如只扫描了一行字的部分内容，例如扫描到该行中“是”字的“日”部分)和图片拍摄不完全等。
因此，为了提高识别结果的准确性，还可以利用第一类训练样本，来训练第一类图片文字识别模型。其中，第一类训练样本是由图片曝光而导致文字内容缺失的预设图片构建得到的。可以利用第二类训练样本，来训练第二类图片文字识别模型。其中，第二类训练样本是由图片扫描不完全而导致文字内容缺失的预设图片构建得到的。还可以利用第三类训练样本，来训练第三类图片文字识别模型。其中，第三类训练样本是由图片拍摄不完全而导致文字内容缺失的预设图片构建得到的。这是合理的。
这样，在文档内容修复过程中，在确定待修复的目标文档中的图片之后，可以先确定导致该图片的文字内容缺失的因素，然后将该图片输入至确定得到的因素所对应的图片文字识别模型中。这样，可以得到较为准确的识别结果。
另外，为了提高图片文字识别模型识别缺失文字的准确性，在训练得到图片文字识别模型之后，还可以利用多个优化样本对该图片文字识别模型进行调优。其中，一个优化样本中包括：用于优化模型的图片和和该图片的缺失文字和缺失文字的位置信息。这样，可以对图片文字识别模型中的参数进行优化，从而使得该模型的输出的识别结果更准确。
以上，可以对文档中的缺失文字内容的图片进行修复，从而得到修复文档。由于修复文档中补充了该文档中缺失的文字内容，因而使得用户可以阅读缺失的文字内容，提高了用户的阅读体验。
相应于上述方法实施例，本发明实施例还提供了一种文档内容修复装置，参见图2，该装置可以包括：
确定单元201，用于确定所打开的目标文档中是否存在图片；
输入单元202，用于当确定单元201确定所打开的目标文档中存在图片时，将目标文档中的图片输入至预先构建的图片文字识别模型；其中，图片文字识别模型用于：识别图片中缺失的文字内容和文字内容在图片中的位置信息，得到缺失文字和缺失文字对应的缺失位置；
修复单元203，用于对目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，修复文档是基于缺失文字和缺失文字对应的缺失位置修复得到的。
应用本发明实施例提供的装置，可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
可选地，在本发明提供的一种实施例中，修复单元203可以包括：
第一接收子模块，用于接收图片文字识别模型输出的、图片对应的缺失文字和缺失文字对应的缺失位置；
渲染子模块，用于将缺失文字渲染至图片中的缺失文字对应的缺失位置，得到修复文档。
可选地，目标文档和图片文字识别模型位于不同的电子设备；在本发明实施例提供的另一种实施例中，修复单元203可以包括：
第二接收子模块，用于接收修复后的图片；其中，修复后的图片是：图片文字识别模型所在电子设备利用缺失文字和缺失文字对应的缺失位置，对目标文档中的图片进行修复得到的；
替换子模块，用于利用修复后的图片替换目标文档中的图片，得到修复文档。
可选地，在本发明实施例中，该装置还可以包括：
构建单元，用于在输入单元202将目标文档中的图片输入至预先构建的图片文字识别模型之前，构建图片文字识别模型；
构建单元具体可以用于：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
可选地，在本发明实施例中，该装置还可以包括：
判断单元，用于在确定单元201确定所打开的目标文档中存在图片之后，并在输入单元202将目标文档中的图片输入至预先构建的图片文字识别模型之前，判断图片中是否存在文字信息；
触发单元，用于当判断单元判断图片中存在文字信息时，触发输出单元将目标文档中的图片输入至预先构建的图片文字识别模型。
相应于上述方法实施例，本发明实施例还提供了一种电子设备，参见图3，该电子设备包括处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信，
存储器303，用于存放计算机程序；
处理器301，用于执行存储器303上所存放的程序时，实现上述任一项文档内容修复方法的方法步骤。
在本发明实施例中，电子设备可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
相应于上述方法实施例，本发明实施例还提供了一种可读存储介质，该可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述任一项文档内容修复方法的方法步骤。
本发明实施例提供的可读存储介质中存储的计算机程序被电子设备的处理器执行后，电子设备可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
相应于上述方法实施例，本发明实施例还提供了一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备执行：上述任一项文档内容修复方法的方法步骤。
本发明实施例提供的包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备可以确定所打开的目标文档中是否存在图片。当确定该目标文档中存在图片时，由于图片可能存在文字内容缺失而影响用户的阅读体验，因此可以将该目标文档中的图片输入至预先构建的图片文字识别模型中。从而，该图片文字识别模型可以对该图片中缺失的文字内容进行识别，并对该文字内容在该图片中的位置信息进行识别，得到该图片的缺失文字和缺失文字对应的缺失位置。进而，可以对目标文档中图片中缺失的文字内容进行修复，得到修复文档，其中，该修复文档是基于该缺失文字和该缺失位置修复得到的。这样，可以实现对目标文档中缺失的文字内容进行识别和补充，提高了用户的阅读体验。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、可读存储介质和计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种文档内容修复方法，其特征在于，所述方法包括：
确定所打开的目标文档中是否存在图片；
若是，将所述目标文档中的图片输入至预先构建的图片文字识别模型；其中，所述图片文字识别模型用于：识别所述图片中缺失的文字内容和所述文字内容在所述图片中的位置信息，得到缺失文字和所述缺失文字对应的缺失位置；
对所述目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，所述修复文档是基于所述缺失文字和所述缺失文字对应的缺失位置修复得到的。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标文档中的图片中缺失的文字内容进行修复，得到修复文档的步骤，包括：
接收所述图片文字识别模型输出的、所述图片对应的缺失文字和所述缺失文字对应的缺失位置；
将所述缺失文字渲染至所述图片中的所述缺失文字对应的缺失位置，得到修复文档。
3.根据权利要求1所述的方法，其特征在于，所述目标文档和所述图片文字识别模型位于不同的电子设备；所述对所述目标文档中的图片中缺失的文字内容进行修复，得到修复文档的步骤，包括：
接收修复后的图片；其中，所述修复后的图片是：所述图片文字识别模型所在电子设备利用所述缺失文字和所述缺失文字对应的缺失位置，对所述目标文档中的图片进行修复得到的；
利用所述修复后的图片替换所述目标文档中的图片，得到修复文档。
4.根据权利要求1所述的方法，其特征在于，在所述将所述目标文档中的图片输入至预先构建的图片文字识别模型的步骤之前，所述方法还包括：
构建所述图片文字识别模型；
所述构建所述图片文字识别模型的步骤，包括：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到所述图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
5.根据权利要求1-4中任一项所述的方法，其特征在于，在确定所打开的目标文档中存在图片之后，在将所述目标文档中的图片输入至预先构建的图片文字识别模型的步骤之前，所述方法还包括：
判断所述图片中是否存在文字信息；
若所述图片中存在文字信息，触发所述将所述目标文档中的图片输入至预先构建的图片文字识别模型的步骤。
6.一种文档内容修复装置，其特征在于，所述装置包括：
确定单元，用于确定所打开的目标文档中是否存在图片；
输入单元，用于当所述确定单元确定所打开的目标文档中存在图片时，将所述目标文档中的图片输入至预先构建的图片文字识别模型；其中，所述图片文字识别模型用于：识别所述图片中缺失的文字内容和所述文字内容在所述图片中的位置信息，得到缺失文字和所述缺失文字对应的缺失位置；
修复单元，用于对所述目标文档中的图片中缺失的文字内容进行修复，得到修复文档；其中，所述修复文档是基于所述缺失文字和所述缺失文字对应的缺失位置修复得到的。
7.根据权利要求6所述的装置，其特征在于，所述修复单元包括：
第一接收子模块，用于接收所述图片文字识别模型输出的、所述图片对应的缺失文字和所述缺失文字对应的缺失位置；
渲染子模块，用于将所述缺失文字渲染至所述图片中的所述缺失文字对应的缺失位置，得到修复文档。
8.根据权利要求6所述的装置，其特征在于，所述目标文档和所述图片文字识别模型位于不同的电子设备；所述修复单元包括：
第二接收子模块，用于接收修复后的图片；其中，所述修复后的图片是：所述图片文字识别模型所在电子设备利用所述缺失文字和所述缺失文字对应的缺失位置，对所述目标文档中的图片进行修复得到的；
替换子模块，用于利用所述修复后的图片替换所述目标文档中的图片，得到修复文档。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：
构建单元，用于在所述输入单元将所述目标文档中的图片输入至预先构建的图片文字识别模型之前，构建所述图片文字识别模型；
所述构建单元具体用于：
获得记录有文字信息的多张预设图片；
利用预设自然语言识别算法对训练样本进行训练，得到所述图片文字识别模型；其中，一个训练样本中包括：一张预设图片、该预设图片中的缺失文字和该缺失文字在该预设图片中对应的位置信息。
10.根据权利要求6-9中任一项所述的装置，其特征在于，所述装置还包括：
判断单元，用于在所述确定单元确定所打开的目标文档中存在图片之后，并在所述输入单元将所述目标文档中的图片输入至预先构建的图片文字识别模型之前，判断所述图片中是否存在文字信息；
触发单元，用于当所述判断单元判断所述图片中存在文字信息时，触发所述输入单元将所述目标文档中的图片输入至预先构建的图片文字识别模型。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5中任一所述的方法步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5中任一所述的方法步骤。
CN201810311479.9A 2018-04-09 2018-04-09 一种文档内容修复方法、装置、电子设备及可读存储介质 Active CN110363189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810311479.9A CN110363189B (zh) 2018-04-09 2018-04-09 一种文档内容修复方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810311479.9A CN110363189B (zh) 2018-04-09 2018-04-09 一种文档内容修复方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110363189A CN110363189A (zh) 2019-10-22
CN110363189B true CN110363189B (zh) 2021-09-24

Family

ID=68212209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810311479.9A Active CN110363189B (zh) 2018-04-09 2018-04-09 一种文档内容修复方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110363189B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956140B (zh) * 2019-12-02 2022-09-02 蚂蚁胜信(上海)信息技术有限公司 图像信息提取方法、装置、设备以及存储介质
CN115983199B (zh) * 2023-03-16 2023-05-30 山东天成书业有限公司 一种移动数字出版系统及方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761689A (en) * 1994-09-01 1998-06-02 Microsoft Corporation Autocorrecting text typed into a word processing document
US6233354B1 (en) * 1998-03-19 2001-05-15 Nec Corporation Character recognition device
CN1874395A (zh) * 2005-06-01 2006-12-06 株式会社理光 图像处理装置、图像处理方法及计算机产品
CN101578597A (zh) * 2007-01-15 2009-11-11 微软公司 转换文本
CN102073682A (zh) * 2010-12-21 2011-05-25 厦门市美亚柏科信息股份有限公司 一种基于编码方式的文档数据恢复系统及其快速恢复方法
CN102402500A (zh) * 2011-11-23 2012-04-04 上海居冠软件有限公司 Pdf文件到swf文件转换方法及系统
CN104050471A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种自然场景文字检测方法及系统
CN104281562A (zh) * 2014-09-28 2015-01-14 百度在线网络技术（北京）有限公司 一种电子文档的处理方法及装置
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN107609560A (zh) * 2017-09-27 2018-01-19 北京小米移动软件有限公司 文字识别方法及装置
CN107608644A (zh) * 2017-09-28 2018-01-19 北京小米移动软件有限公司 重新打印文件的方法和装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355311B2 (en) * 2014-09-23 2016-05-31 Konica Minolta Laboratory U.S.A., Inc. Removal of graphics from document images using heuristic text analysis and text recovery
CN104537368B (zh) * 2015-01-07 2018-10-09 北京工业大学 一种针对英文印刷文字双面打印破碎文件复原分析方法
US10318849B2 (en) * 2015-05-29 2019-06-11 Ncr Corporation Check image data interference processing
CN106295648B (zh) * 2016-07-29 2019-03-19 湖北工业大学 一种基于多光谱成像技术的低质量文档图像二值化方法
CN107393544B (zh) * 2017-06-19 2019-03-05 维沃移动通信有限公司 一种语音信号修复方法及移动终端
CN107622104B (zh) * 2017-09-11 2020-03-06 中央民族大学 一种文字图像识别标注方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761689A (en) * 1994-09-01 1998-06-02 Microsoft Corporation Autocorrecting text typed into a word processing document
US6233354B1 (en) * 1998-03-19 2001-05-15 Nec Corporation Character recognition device
CN1874395A (zh) * 2005-06-01 2006-12-06 株式会社理光 图像处理装置、图像处理方法及计算机产品
CN101578597A (zh) * 2007-01-15 2009-11-11 微软公司 转换文本
CN102073682A (zh) * 2010-12-21 2011-05-25 厦门市美亚柏科信息股份有限公司 一种基于编码方式的文档数据恢复系统及其快速恢复方法
CN102402500A (zh) * 2011-11-23 2012-04-04 上海居冠软件有限公司 Pdf文件到swf文件转换方法及系统
CN104050471A (zh) * 2014-05-27 2014-09-17 华中科技大学 一种自然场景文字检测方法及系统
CN104281562A (zh) * 2014-09-28 2015-01-14 百度在线网络技术（北京）有限公司 一种电子文档的处理方法及装置
CN107301385A (zh) * 2017-06-09 2017-10-27 浙江宇视科技有限公司 一种遮挡车牌识别方法及装置
CN107609560A (zh) * 2017-09-27 2018-01-19 北京小米移动软件有限公司 文字识别方法及装置
CN107679483A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 号牌识别方法及装置
CN107679533A (zh) * 2017-09-27 2018-02-09 北京小米移动软件有限公司 文字识别方法及装置
CN107608644A (zh) * 2017-09-28 2018-01-19 北京小米移动软件有限公司 重新打印文件的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于字符特征的车牌英文和数字字符自联想识别;芮挺 等;《模式识别与人工智能》;20041215;第17卷(第4期);第467-472页 *
扫描文档图像中圆孔噪声的快速检测与清除;孟高峰 等;《计算机辅助设计与图形学学报》;20070228;第19卷(第2期);第188-192页 *

Also Published As

Publication number Publication date
CN110363189A (zh) 2019-10-22

Similar Documents

Publication Publication Date Title
CN108874776B (zh) 一种垃圾文本的识别方法及装置
WO2019200783A1 (zh) 动态图表类页面数据爬取方法、装置、终端及存储介质
US10915701B2 (en) Caption association techniques
US20200004815A1 (en) Text entity detection and recognition from images
EP3128439A1 (en) Text classification and transformation based on author
US9514376B2 (en) Techniques for distributed optical character recognition and distributed machine language translation
US9767388B2 (en) Method and system for verification by reading
JP6693582B2 (ja) 文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体
CN111222368B (zh) 一种识别文档段落的方法、装置及电子设备
CN108664471B (zh) 文字识别纠错方法、装置、设备及计算机可读存储介质
CN110363189B (zh) 一种文档内容修复方法、装置、电子设备及可读存储介质
CN110472701A (zh) 文字纠错方法、装置、电子设备和存储介质
US11531927B2 (en) Categorical data transformation and clustering for machine learning using natural language processing
CN112464927B (zh) 一种信息提取方法、装置及系统
CN113342954A (zh) 一种应用于问答系统的图像信息处理方法、装置及电子设备
CN112559725A (zh) 文本匹配方法、装置、终端和存储介质
CN110895924B (zh) 一种文档内容朗读方法、装置、电子设备及可读存储介质
CN112784594B (zh) 一种文档处理方法、装置、电子设备及可读存储介质
CN110633457B (zh) 一种内容替换方法、装置、电子设备及可读存储介质
CN114580348A (zh) 结合rpa及ai的招标文档获取方法、装置、终端及存储介质
JP2019145023A (ja) 文書校閲装置およびプログラム
CN111291738A (zh) 前端页面图像中的元素提取方法、装置及电子设备
CN104182061A (zh) 一种多字输入方法及设备
CN110930302B (zh) 一种图片处理方法、装置、电子设备及可读存储介质
CN112926608A (zh) 一种图像分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220324

Address after: Room 204, 2 / F, building B24, Guanggu financial port, 77 Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei 430200

Patentee after: WUHAN KINGSOFT OFFICE Co.,Ltd.

Address before: 519015 Jinshan software building, 8 Lanshan lane, Jida Jingshan Hill Road, Zhuhai, Guangdong

Patentee before: ZHUHAI KINGSOFT OFFICE SOFTWARE Co.,Ltd.

Patentee before: BEIJING KINGSOFT OFFICE SOFTWARE, Inc.

Patentee before: GUANGZHOU KINGSOFT MOBILE TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right