CN111160265B - 文件转换方法、装置、存储介质及电子设备 - Google Patents

文件转换方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN111160265B
CN111160265B CN201911399838.1A CN201911399838A CN111160265B CN 111160265 B CN111160265 B CN 111160265B CN 201911399838 A CN201911399838 A CN 201911399838A CN 111160265 B CN111160265 B CN 111160265B
Authority
CN
China
Prior art keywords
content
original picture
contents
preset
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911399838.1A
Other languages
English (en)
Other versions
CN111160265A (zh
Inventor
郭子亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN201911399838.1A priority Critical patent/CN111160265B/zh
Publication of CN111160265A publication Critical patent/CN111160265A/zh
Application granted granted Critical
Publication of CN111160265B publication Critical patent/CN111160265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本申请公开了一种文件转换方法、装置、存储介质及电子设备。该方法包括:获取原始图片;从该原始图片中提取其所具有的预设类型的内容,并确定各该内容所在的位置,该预设类型至少包括预设的文字类型、插图类型以及表格类型;对各该内容所在位置的像素进行擦除,并在擦除处理后对各该内容所在位置的像素进行补绘,以得到该原始图片的背景图;将提取到的各该内容按照其在该原始图片中的位置排版到该背景图上,得到内容可编辑的文件。本申请可以提高文件信息转换的完整性。

Description

文件转换方法、装置、存储介质及电子设备
技术领域
本申请属于文件处理技术领域,尤其涉及一种文件转换方法、装置、存储介质及电子设备。
背景技术
用户经常需要处理各种格式的文件。在一些场景下,用户需要将某种格式的文件转换为另一种格式的文件。例如,在某些使用场景下,用户需要利用电子设备将图片中的文字转换为可编辑的文档,从而方便处理,等等。然而,相关技术中,在将图片格式的文件转换为可编辑的文档时,文件信息转换的完整性较差。
发明内容
本申请实施例提供一种文件转换方法、装置、存储介质及电子设备,可以提高文件信息转换的完整性。
第一方面,本申请实施例提供一种文件转换方法,包括:
获取原始图片;
从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型;
对各所述内容所在位置的像素进行擦除,并在擦除处理后对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件。
第二方面,本申请实施例提供一种文件转换装置,包括:
获取模块,用于获取原始图片;
确定模块,用于从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型;
第一处理模块,用于对各所述内容所在位置的像素进行擦除,并在擦除处理后对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
第二处理模块,用于将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件。
第三方方面,本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的文件转换方法中的流程。
第四方面,本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的文件转换方法中的流程。
本申请实施例中,电子设备可以先从原始图片中提取其所具有的预设类型的内容,从而使这些内容变为可编辑的格式,再通过对原始图片中的这些内容所在位置的像素进行擦除和补绘处理,从而得到对应的背景图。之后,电子设备可以将提取到的内容按照其在原始图片中的位置排版到该背景图上,从而得到内容可编辑的文件。由于在文件转换过程中,背景得到了保留,并且插图也能够识别并保留出来,因此提高了文件信息转换的完整性。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的文件转换方法的第一种流程示意图。
图2至图5为本申请实施例提供的文件转换方法的场景示意图。
图6是本申请实施例提供的文件转换方法的第二种流程示意图。
图7是本申请实施例提供的文件转换方法的第三种流程示意图。
图8是本申请实施例提供的文件转换装置的结构示意图。
图9是本申请实施例提供的电子设备的结构示意图。
图10是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的文件转换方法的第一种流程示意图,流程可以包括:
101、获取原始图片。
用户经常需要处理各种格式的文件。在一些场景下,用户需要将某种格式的文件转换为另一种格式的文件。例如,在某些使用场景下,用户需要利用电子设备将图片中的文字转换为可编辑的文档,从而方便处理,等等。然而,相关技术中,在将图片格式的文件转换为可编辑的文档时,文件信息转换的完整性较差。例如,在文件转换过程中,原图片中的背景图案无法得到保留,或者无法识别出原图片中的插图等。
在本申请实施例中,比如,电子设备可以先获取一张图片,并将该图片确定为原始图片。
例如,如图2所示,该原始图片可以是一张名片的照片,在该名片上有用户的姓名、电话、地址等文字信息,还有该用户所在公司的LOGO标识,其中该LOGO标识可以是以插图的形式印制在该名片上的。可以理解的是,由于该原始图片是一张照片,因此电子设备无法对其中的文字内容以及插图进行单独的操作,即这些文字内容和插图是不可编辑的。
102、从原始图片中提取其所具有的预设类型的内容,并确定各内容所在的位置,该预设类型至少包括预设的文字类型、插图类型以及表格类型。
比如,在获取到原始图片后,电子设备可以从该原始图片中提取其所具有的预设类型的内容,并确定出各个内容在该原始图片中所在的位置。其中,预设类型的内容至少可以包括预设的文字类型、插图类型以及表格类型等。
例如,原始图片中包含文字和插图这两种类型的内容,那么电子设备可以从该原始图片中提取其所具有的文字和插图。并且,电子设备可以确定出各文字和各插图在该原始图片中的位置。例如,如图3所示,电子设备从原始图片中提取了文字内容“张三”、“电话:123456789”以及“地址:深圳市南山区”(提取出的文字内容变为了可编辑的内容)。并且,电子设备从原始图片中提取了关于用户公司LOGO的插图。此外,电子设备还确定出文字内容所在的位置A以及插图内容所在的位置B。
又如,若原始图片中包含文字、插图和表格这三种类型的内容,那么电子设备可以从该原始图片中提取其所具有的文字、插图和表格。并且,电子设备可以确定出各文字、各插图以及各表格在该原始图片中的位置。
103、对各内容所在位置的像素进行擦除,并在擦除处理后对各内容所在位置的像素进行补绘,以得到原始图片的背景图。
比如,在确定出各内容所在的位置后,电子设备可以对各内容所在位置的像素进行擦除处理,并在该擦除处理完成后对各内容所在位置的像素进行补绘,从而可以得到原始图片的背景图。
需要说明的是,擦除像素可以是指将像素的数据信息删除,从而使得被擦除像素的位置没有像素值信息。
同样需要说明的是,补绘可以是指使用坏点像素周围的像素来取代坏点像素。例如,在对某个位置的像素进行擦除后(被擦除像素的位置可以认为是坏点像素),电子设备可以利用该位置的周围像素的像素值来对该位置进行填充,从而实现对该位置的像素的补绘。
例如,如图4所示,电子设备可以将A位置和B位置所在的区域的像素擦除,并根据A位置区域周边的像素对A位置区域的像素进行补绘,以及根据B位置区域周边的像素对B位置区域的像素进行补绘,从而得到一张关于原始图片的背景图。
104、将提取到的各内容按照其在原始图片中的位置排版到背景图上,得到内容可编辑的文件。
比如,在得到原始图片的背景图后,电子设备可以将之前提取到的各内容按照其在原始图片中的位置排版到该背景图上,从而可以得到内容可编辑的文件。可以理解的是,由于排版到背景图上的各内容都已是可编辑的内容,因此最终得到的文件也是内容可编辑的文件。
例如,如图5所示,电子设备可以将之前提取到的文字内容叠加到背景图中的A位置区域,并将之前提取到的插图叠加到背景图中的B位置区域,即电子设备在该背景图上对各内容进行了排版,从而得到内容可编辑的文件。可以理解的是,在该内容可编辑的文件中,电子设备可以对文字内容进行诸如删除文字、插入文字、替换文字等操作;对于插图,电子设备可以进行删除或者替换等操作;对于背景图,电子设备也可以进行删除或者替换等操作。例如,在该文件上,电子设备可以删除“张三”这两个字,或者电子设备可以删除“LOGO”的插图,等等。
请一并参阅图6,图6为本申请实施例提供的文件转换方法的第二种流程示意图。该流程示意图可以用于表示图2到图5的场景示意图的处理流程。
可以理解的是,本申请实施例中,电子设备可以先从原始图片中提取其所具有的预设类型的内容,从而使这些内容变为可编辑的格式,再通过对原始图片中的这些内容所在位置的像素进行擦除和补绘处理,从而得到对应的背景图。之后,电子设备可以将提取到的内容按照其在原始图片中的位置排版到该背景图上,从而得到内容可编辑的文件。由于在文件转换过程中,背景得到了保留,并且插图也能够识别并保留出来,因此提高了文件信息转换的完整性。
请参阅图7,图7是本申请实施例提供的文件转换方法的第三种流程示意图,流程可以包括:
201、电子设备获取原始图片。
比如,电子设备可以先获取一张图片,并将该图片确定为原始图片。
例如,如图2所示,该原始图片可以是一张名片的照片,在该名片上有用户的姓名、电话、地址等文字信息,还有该用户所在公司的LOGO标识,其中该LOGO标识可以是以插图的形式印制在该名片上的。可以理解的是,由于该原始图片是一张照片,因此电子设备无法对其中的文字内容以及插图进行单独的操作(如删除或者替换等),即这些文字内容和插图是不可编辑的。
202、电子设备从原始图片中提取其所具有的预设类型的内容,并确定各内容所在的位置,该预设类型至少包括预设的文字类型、插图类型以及表格类型;其中,当该原始图片中包含文字类型的内容时,使用光学字符识别的方式来提取该原始图片所具有的文字类型的内容,以及确定各文字类型的内容所在的位置;当该原始图片中包含插图类型的内容时,使用预设的基于卷积神经网络的检测模型来提取该原始图片中包含的插图类型的内容,以及确定各插图类型的内容所在的位置。
比如,在获取到原始图片后,电子设备可以从该原始图片中提取其所具有的预设类型的内容,并确定出各个内容在该原始图片中所在的位置。其中,预设类型的内容至少可以包括预设的文字类型、插图类型以及表格类型等。
其中,当该原始图片中包含文字类型的内容时,对于这些文字类型的内容,电子设备可以使用光学字符识别(Optical Character Recognition,OCR)的方式来提取该原始图片所具有的文字类型的内容,以及确定各文字类型的内容所在的位置。
需要说明的是,OCR技术能够检测并识别出图片中的文字,并给出文本行的位置信息(例如将文本行所在的位置以检测框的形式标记出来)。目前,OCR技术大多基于深度学习技术,使得识别结果对光照、背景多变等干扰具有良好的鲁棒性。
当该原始图片中包含插图类型的内容时,对于这些插图类型的内容,电子设备可以使用预设的基于卷积神经网络的检测模型来提取该原始图片中包含的插图类型的内容,以及确定各插图类型的内容所在的位置,例如将插图所在的位置以检测框的形式标记出来(类似于人脸检测框)。
需要说明的是,基于卷积神经网络CNN的检测模型可以是“单阶段(one-stage)”和“两阶段(two-stage)”检测模型。其中,两阶段检测模型因其对图片的两阶段处理得名,也称为基于区域(Region-based)的方法,主要方法有R-CNN,Fast R-CNN及Faster R-CNN。单阶段检测模型没有中间的区域检出过程,直接从图片获得预测结果,也被成为Region-free方法,代表方法有SSD(Single Shot MultiBox Detector)及YOLO系列。在一些实施方式中,电子设备可以使用轻量级的SSD检测模型—MobileNet-SSD。MobileNet-SSD在主干网络部分采用轻量级架构MobileNet,以节省运行时间,能达到实时的检测效果。
203、电子设备对各内容所在位置的像素进行擦除。
比如,在确定出原始图片中文字内容和插图内容所在的位置后,电子设备可以对各内容所在位置的像素进行擦除。例如,电子设备可以将文本检测框以及插图检测框中的像素擦除。
204、电子设备获取负载率。
比如,在将文本检测框以及插图检测框中的像素擦除后,电子设备可以获取其当前的负载率,并检测该负载率是否高于预设阈值。
若检测到负载率高于预设阈值,那么可以进入205。
若检测到负载率低于或等于预设阈值,那么可以进入206。
205、若电子设备的负载率高于预设阈值,则该电子设备在擦除处理后使用基于快速行进算法FMM的算法对各内容所在位置的像素进行补绘,得到背景图。
比如,若检测到电子设备的负载率高于预设阈值,那么可以认为该电子设备当前的负载较高。在这种情况下,该电子设备可以使用基于快速行进算法(Fast MarchingMethod,FMM)的算法对各内容所在位置的像素进行补绘,即电子设备可以对之前被擦除的像素进行修复,从而得到原始图片对应的背景图。
需要说明的是,补绘可以是指使用坏点像素周围的像素来取代坏点像素。例如,在对某个位置的像素进行擦除后,电子设备可以利用该位置的周围像素的像素值来对该位置进行填充,从而实现对该位置的像素的补绘。
206、若电子设备的负载率低于或等于预设阈值,则该电子设备在擦除处理后使用基于生成对抗网络GAN的算法对各内容所在位置的像素进行补绘,得到背景图。
比如,若检测到电子设备的负载率低于或等于预设阈值,那么可以认为该电子设备当前的负载较低。在这种情况下,该电子设备可以使用基于生成对抗网络(GenerativeAdversarial Network,GAN)的算法对各内容所在位置的像素进行补绘,即电子设备可以对之前被擦除的像素进行修复,从而得到原始图片对应的背景图。
需要说明的是,本申请实施例中,电子设备可以根据其负载率的高低选择不同的算法来对各预设类型的内容所在的位置的像素进行擦除。当电子设备的负载率较高时,该电子设备的运算能力较差,此时该电子设备可以选择使用基于快速行进算法FMM的算法对各内容所在位置的像素进行补绘。由于基于快速行进算法FMM的算法具有速度快的优点,因此可以避免对电子设备的运算资源造成进一步负担,从而减轻电子设备的运行负担。而当电子设备的负载率较低时,该电子设备的运算能力较强,此时该电子设备可以选择使用基于生成对抗网络GAN的算法对各内容所在位置的像素进行补绘。由于基于生成对抗网络GAN的算法补绘得到的图像较传统算法补绘得到的图像更加真实自然,因此电子设备可以得到更加真实自然的背景图。
在一些实施方式中,上述电子设备的负载率可以是电子设备当前的剩余运行内存容量值占运行内存总容量值的比例。例如,电子设备的运行内存可以是指电子设备的随机存取存储器(Random Access Memory,RAM)。例如,电子设备当前的剩余运行内存容量值为3GB,而运行内存总容量值为4GB,那么剩余运行内存容量值占运行内存总容量值的比例为75%。例如预设比例为45%,那么剩余运行内存容量值占运行内存总容量值的比例75%大于预设比例45%,此时可以认为电子设备的负载率低于预设阈值。又如,电子设备当前的剩余运行内存容量值为1GB,而运行内存总容量值为4GB,那么剩余运行内存容量值占运行内存总容量值的比例为25%,那么剩余运行内存容量值占运行内存总容量值的比例25%大于预设比例45%,此时可以认为电子设备的负载率高于预设阈值。
或者,上述电子设备的负载率也可以为CPU使用率。例如,当CPU使用率高于45%时,可以认为电子设备的负载率高于预设阈值。当CPU使用率低于或等于45%时,可以认为电子设备的负载率低于或等于预设阈值。
此外,由于电子设备可以根据其负载率的高低选择不同的算法来对各预设类型的内容所在的位置的像素进行擦除,因此本申请实施例在对各预设类型的内容所在的位置的像素进行擦除时的灵活性更高。
在其它实施方式中,电子设备的负载率还可以是该电子设备的GPU使用率等。
207、电子设备将提取到的各内容按照其在原始图片中的位置排版到背景图上,得到内容可编辑的文件。
比如,在得到原始图片的背景图后,电子设备可以将之前提取到的各内容按照其在原始图片中的位置排版到该背景图上,从而可以得到内容可编辑的文件。可以理解的是,由于排版到背景图上的各内容都已是可编辑的内容,因此最终得到的文件也是内容可编辑的文件。
在一种实施方式中,本申请实施例还可以通过如下方式来保存207流程中得到的内容可编辑的文件:比如,在得到内容可编辑的文件后,电子设备可以将该内容可编辑的文件按照其排版复制到一幻灯片的纯色模板上。或者,电子设备也可以在文字处理软件或电子表格软件中新建一单元格,再将该内容可编辑的文件按照其排版复制到该新建的单元格中,其中该新建的单元格的尺寸可以和背景图的尺寸相等,或者大于该背景图的尺寸。
在一些实施方式中,当原始图片中存在表格时,电子设备可以通过如下方式来从该原始图片中提取表格类型的内容:第一种方式是利用OCR技术检测文本,根据文本框的空间排布信息确定出表格所具有的行、列及单元格,由此生成表格框架,再将识别出的位于表格中不同单元格的内容填入该表格框架中。第二种方式是运用图像形态学变换、纹理提取、边缘检测等手段,提取原始图片中的表格线,再由表格线确定出表格所具有的行、列及单元格信息,由此生成表格框架,再将识别出的位于表格中不同单元格的内容填入该表格框架中。第三种方式是使用神经网络端到端学习的解决方案,例如电子设备可以利用TableBank数据集,使用image to text技术,将表格图片转为结构化描述语言进而还原图像中的表格。
请参阅图8,图8为本申请实施例提供的文件转换装置的结构示意图。文件转换装置300可以包括:获取模块301,确定模块302,第一处理模块303,第二处理模块304。
获取模块301,用于获取原始图片。
确定模块302,用于从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型。
第一处理模块303,用于对各所述内容所在位置的像素进行擦除,并在擦除处理后对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图。
第二处理模块304,用于将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件。
在一种实施方式中,所述确定模块302可以用于:
当所述原始图片中包含文字类型的内容时,使用光学字符识别的方式来提取所述原始图片所具有的文字类型的内容,以及确定各所述文字类型的内容所在的位置。
在一种实施方式中,所述确定模块302可以用于:
当所述原始图片中包含插图类型的内容时,使用预设的基于卷积神经网络的检测模型来提取所述原始图片中包含的插图类型的内容,以及确定各所述插图类型的内容所在的位置。
在一种实施方式中,所述第一处理模块303可以用于:
在擦除处理后,使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,所述第一处理模块303可以用于:
在擦除处理后,使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,所述第一处理模块303可以用于:
若电子设备的负载率高于预设阈值,则在擦除处理后使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,所述第一处理模块303可以用于:
若电子设备的负载率低于或等于预设阈值,则在擦除处理后使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,所述电子设备的负载率为剩余运行内存容量值占运行内存总容量值的比例,或者所述电子设备的负载率为CPU使用率。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的文件转换方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的文件转换方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图9,图9为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括触摸显示屏401、存储器402、处理器403等部件。本领域技术人员可以理解,图9中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触摸显示屏401一方面可以用于接收用户的触摸操作,另一方面可以用于显示诸如文字、图像等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取原始图片;
从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型;
对各所述内容所在位置的像素进行擦除,并在擦除处理后对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件。
请参阅图10,电子设备400可以包括触摸显示屏401、存储器402、处理器403、扬声器404、麦克风405、电池406等部件。
触摸显示屏401一方面可以用于接收用户的触摸操作,另一方面可以用于显示诸如文字、图像等信息。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
扬声器404可以用于向外播放声音信号。
麦克风405可以用于采集周围环境中的声音信号,例如麦克风可以拾取用户的语音,并生成与该语音对应的控制指令。
电池406可以用于为电子设备的各个部件提供电力,从而支持各部件的运行。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取原始图片;
从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型;
对各所述内容所在位置的像素进行擦除,并在擦除处理后对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件。
在一种实施方式中,处理器403执行所述从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置时,可以执行:
当所述原始图片中包含文字类型的内容时,使用光学字符识别的方式来提取所述原始图片所具有的文字类型的内容,以及确定各所述文字类型的内容所在的位置。
在一种实施方式中,处理器403执行所述从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置时,可以执行:
当所述原始图片中包含插图类型的内容时,使用预设的基于卷积神经网络的检测模型来提取所述原始图片中包含的插图类型的内容,以及确定各所述插图类型的内容所在的位置。
在一种实施方式中,处理器403执行所述在擦除处理后对各所述内容所在位置的像素进行补绘时,可以执行:
在擦除处理后,使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,处理器403执行所述在擦除处理后对各所述内容所在位置的像素进行补绘时,可以执行:
在擦除处理后,使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,处理器403执行所述在擦除处理后使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘时,可以执行:
若电子设备的负载率高于预设阈值,则在擦除处理后使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,处理器403执行所述在擦除处理后使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘时,可以执行:
若电子设备的负载率低于或等于预设阈值,则在擦除处理后使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘。
在一种实施方式中,所述电子设备的负载率为剩余运行内存容量值占运行内存总容量值的比例,或者所述电子设备的负载率为CPU使用率。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对文件转换方法的详细描述,此处不再赘述。
本申请实施例提供的所述文件转换装置与上文实施例中的文件转换方法属于同一构思,在所述文件转换装置上可以运行所述文件转换方法实施例中提供的任一方法,其具体实现过程详见所述文件转换方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述文件转换方法而言,本领域普通技术人员可以理解实现本申请实施例所述文件转换方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述文件转换方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述文件转换装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种文件转换方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种文件转换方法,其特征在于,包括:
获取原始图片;
从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型,各所述内容所在的位置包括各所述内容的检测框;
对各所述内容所在位置的像素进行擦除,获取电子设备的负载率与预设阈值的比较结果,并根据所述比较结果在擦除处理后使用预设算法对各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件,其中,所述文件包括可编辑的预设类型的内容。
2.根据权利要求1所述的文件转换方法,其特征在于,所述从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,包括:
当所述原始图片中包含文字类型的内容时,使用光学字符识别的方式来提取所述原始图片所具有的文字类型的内容,以及确定各所述文字类型的内容所在的位置。
3.根据权利要求1所述的文件转换方法,其特征在于,所述从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,包括:
当所述原始图片中包含插图类型的内容时,使用预设的基于卷积神经网络的检测模型来提取所述原始图片中包含的插图类型的内容,以及确定各所述插图类型的内容所在的位置。
4.根据权利要求1所述的文件转换方法,其特征在于,所述根据所述比较结果在擦除处理后对各所述内容所在位置的像素进行补绘,包括:
若电子设备的负载率高于预设阈值,则在擦除处理后使用基于快速行进算法FMM的算法对各所述内容所在位置的像素进行补绘。
5.根据权利要求1所述的文件转换方法,其特征在于,所述根据所述比较结果在擦除处理后对各所述内容所在位置的像素进行补绘,包括:
若电子设备的负载率低于或等于预设阈值,则在擦除处理后使用基于生成对抗网络GAN的算法对各所述内容所在位置的像素进行补绘。
6.根据权利要求4或5所述的文件转换方法,其特征在于,所述电子设备的负载率为剩余运行内存容量值占运行内存总容量值的比例,或者所述电子设备的负载率为CPU使用率。
7.一种文件转换装置,其特征在于,包括:
获取模块,用于获取原始图片;
确定模块,用于从所述原始图片中提取其所具有的预设类型的内容,并确定各所述内容所在的位置,所述预设类型至少包括预设的文字类型、插图类型以及表格类型,各所述内容所在的位置包括各所述内容的检测框;
第一处理模块,用于对各所述内容所在位置的像素进行擦除,获取电子设备的负载率与预设阈值的比较结果,并根据所述比较结果在擦除处理后对使用预设算法各所述内容所在位置的像素进行补绘,以得到所述原始图片的背景图;
第二处理模块,用于将提取到的各所述内容按照其在所述原始图片中的位置排版到所述背景图上,得到内容可编辑的文件,其中,所述文件包括可编辑的预设类型的内容。
8.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至6中任一项所述的方法。
9.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至6中任一项所述的方法。
CN201911399838.1A 2019-12-30 2019-12-30 文件转换方法、装置、存储介质及电子设备 Active CN111160265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911399838.1A CN111160265B (zh) 2019-12-30 2019-12-30 文件转换方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911399838.1A CN111160265B (zh) 2019-12-30 2019-12-30 文件转换方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN111160265A CN111160265A (zh) 2020-05-15
CN111160265B true CN111160265B (zh) 2023-01-10

Family

ID=70559452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911399838.1A Active CN111160265B (zh) 2019-12-30 2019-12-30 文件转换方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN111160265B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113591438B (zh) * 2021-07-30 2024-01-12 远光软件股份有限公司 文本转换方法、电子设备及计算机可读存储装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5512903B1 (ja) * 2013-03-29 2014-06-04 楽天株式会社 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
WO2019174130A1 (zh) * 2018-03-14 2019-09-19 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质
US10460023B1 (en) * 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3910120B2 (ja) * 2002-08-23 2007-04-25 株式会社リコー 画像処理装置、方法、該方法を実行するプログラム及び記録媒体
US8301998B2 (en) * 2007-12-14 2012-10-30 Ebay Inc. Identification of content in an electronic document
JP5121599B2 (ja) * 2008-06-30 2013-01-16 キヤノン株式会社 画像処理装置、画像処理方法およびそのプログラムならびに記憶媒体
CN102831106A (zh) * 2012-08-27 2012-12-19 腾讯科技(深圳)有限公司 一种移动终端的电子文档生成方法及移动终端
EP3459005A4 (en) * 2016-05-18 2020-01-22 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM PRODUCT FOR RETRIEVING AN EDITABLE SLIDE
RU2642409C1 (ru) * 2016-09-28 2018-01-24 Общество с ограниченной ответственностью "Аби Девелопмент" Редактирование текста на изображении документа
CN106599818B (zh) * 2016-12-07 2020-10-27 广州视源电子科技股份有限公司 一种基于图片生成笔迹格式的文件的方法及装置
CN107861931B (zh) * 2017-11-02 2021-07-30 金蝶软件(中国)有限公司 模板文件处理方法、装置、计算机设备和存储介质
JP6881347B2 (ja) * 2018-02-16 2021-06-02 新東工業株式会社 評価システム、評価装置、評価方法、評価プログラム、及び記録媒体
CN109933756B (zh) * 2019-03-22 2022-04-15 腾讯科技(深圳)有限公司 基于ocr的图像转档方法、装置、设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5512903B1 (ja) * 2013-03-29 2014-06-04 楽天株式会社 画像処理装置、画像処理方法、情報記憶媒体、及びプログラム
US10460023B1 (en) * 2016-03-10 2019-10-29 Matthew Connell Shriver Systems, methods, and computer readable media for creating slide presentations for an annotation set
WO2019174130A1 (zh) * 2018-03-14 2019-09-19 平安科技(深圳)有限公司 票据识别方法、服务器及计算机可读存储介质

Also Published As

Publication number Publication date
CN111160265A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
US9665962B2 (en) Image distractor detection and processng
CN107885430B (zh) 一种音频播放方法、装置、存储介质及电子设备
CN110378338A (zh) 一种文本识别方法、装置、电子设备和存储介质
CN108762505B (zh) 基于手势的虚拟对象控制方法、装置、存储介质和设备
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN112163577B (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
CN111062854B (zh) 检测水印的方法、装置、终端及存储介质
CN112532882B (zh) 图像显示方法和装置
CN113050860B (zh) 一种控件识别方法和相关装置
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
US20230306765A1 (en) Recognition method and apparatus, and electronic device
CN112001331A (zh) 图像识别方法、装置、设备及存储介质
CN111160265B (zh) 文件转换方法、装置、存储介质及电子设备
CN112883827B (zh) 图像中指定目标的识别方法、装置、电子设备和存储介质
CN104067308A (zh) 图像中的对象选择
CN111062262B (zh) 发票识别方法以及发票识别装置
CN110197459B (zh) 图像风格化生成方法、装置及电子设备
CN115937039A (zh) 数据扩充方法、装置、电子设备及可读存储介质
CN114359932B (zh) 文本检测方法、文本识别方法及装置
CN114758054A (zh) 光斑添加方法、装置、设备及存储介质
CN113052156B (zh) 光学字符识别方法、装置、电子设备和存储介质
CN115101069A (zh) 语音控制方法、装置、设备、存储介质以及程序产品
CN111582281B (zh) 一种图片显示优化的方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant