CN114841906A - 一种图像合成方法、装置、电子设备和存储介质 - Google Patents

一种图像合成方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114841906A
CN114841906A CN202210517528.0A CN202210517528A CN114841906A CN 114841906 A CN114841906 A CN 114841906A CN 202210517528 A CN202210517528 A CN 202210517528A CN 114841906 A CN114841906 A CN 114841906A
Authority
CN
China
Prior art keywords
image
character
area
type
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210517528.0A
Other languages
English (en)
Inventor
姚海
赵以诚
施鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210517528.0A priority Critical patent/CN114841906A/zh
Publication of CN114841906A publication Critical patent/CN114841906A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/226—Character recognition characterised by the type of writing of cursive writing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了图像合成方法、装置、电子设备和存储介质，涉及图像处理技术领域，尤其涉及图像合成技术领域。具体实现方案为：获取至少一个字符图像，字符图像中的字符为第一类型字符；利用至少一个字符图像，生成第一图像；将第一图像与背景图像进行合成，使第一图像覆盖背景图像的第一区域，第一区域为背景图像中不存在第二类型字符的区域。本公开能够自动合成包含不同类型字符的图像。

Description

一种图像合成方法、装置、电子设备和存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及图像合成技术领域。
背景技术
目前，相关技术中对于合成图像的需求日益增长。例如，在很多场景中需要使用用于识别图像中某种特定类型字符的神经网络模型，这类模型的训练过程需要大量的训练样本，这些训练样本中需要包含该特定类型字符以及其他类型的字符。可见，如何自动生成包含不同类型字符的图像，成为需要解决的技术问题。
发明内容
本公开提供了一种用于图像合成方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种图像合成方法，包括：
获取至少一个字符图像，所述字符图像中的字符为第一类型字符；
利用所述至少一个字符图像，生成第一图像；
将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，所述第一区域为所述背景图像中不存在第二类型字符的区域。
根据本公开的另一方面，提供了一种图像合成装置，包括：
获取模块，用于获取至少一个字符图像，所述字符图像中的字符为第一类型字符；
生成模块，用于利用所述至少一个字符图像，生成第一图像；
合成模块，用于将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，所述第一区域为所述背景图像中不存在第二类型字符的区域。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
本公开实施例提出的图像合成方法及装置，通过将包含第一类型字符的第一图像与背景图像进行合成，并且将第一图像覆盖于背景图像中不存在第二类型字符的区域，可以避免合成时对背景图像中第二类型字符的遮挡，从而能够自动合成包含不同类型字符的图像。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的应用场景示意图；
图2是根据本公开实施例的一种图像合成方法200的实现流程图；
图3A是采用本公开实施例的一种图像合成方法合成图像的显示效果示意图一；
图3B是采用本公开实施例的一种图像合成方法合成图像的显示效果示意图二；
图4是根据本公开一实施例的图像合成过程的实现流程图；
图5是根据本公开一实施例的图像合成装置的结构示意图；
图6是根据本公开另一实施例的图像合成装置的结构示意图；
图7是用来实现本公开实施例的图像合成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
相关技术中，对于合成图像的需求日益增长。例如，用于识别图像中某种特定类型字符的神经网络模型具有广泛的应用，这类模型的训练过程需要大量的训练样本，这些训练样本中就需要包含该特定类型字符以及其他类型的字符。以文档场景手写字迹的识别模型为例，对于印刷文档中存在手写字迹的情况，这些手写字迹的提取、识别以及擦除等都依赖于文档场景手写字迹的识别模型。这类模型的训练需要大量的训练样本，目前一般采用人工生成训练样本，而生成训练样本需要较大的时间成本和人力成本。
本公开实施例提出一种图像合成方法，该方法可以应用于数据处理装置，例如，该装置可以部署于终端或服务器或其它处理设备执行的情况下，实现图像的合成。例如，该方法可以应用于图1所示的应用场景，如图1所示，该应用场景可以包括仿真服务器110和模型训练服务器120，以应用了该方法的装置部署于仿真服务器110中为例，仿真服务器110可以执行该图像合成方法，自动合成包含不同类型字符的图像，将合成的图像作为模型训练样本发送给模型训练服务器120，供模型训练服务器120使用，以提高模型训练的效率。
仿真服务器110和模型训练服务器120可以是独立的服务器，或是服务器集群或者分布式系统，或者是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，图1仅为本公开的一种应用场景示例。本公开提出的图像合成方法不仅可以用于生成识别模型的训练样本(例如该识别模型可以用于识别手写字迹)，还可以应用于其他领域，本公开对于合成后图像的应用场景不做限制。
图2是根据本公开实施例的一种图像合成方法200的实现流程图，包括：
S210：获取至少一个字符图像，字符图像中的字符为第一类型字符；
S220：利用至少一个字符图像，生成第一图像；
S230：将第一图像与背景图像进行合成，使第一图像覆盖背景图像的第一区域，该第一区域为背景图像中不存在第二类型字符的区域。
在一些实施方式中，第一类型字符可以包括手写字符，第二类型字符可以包括印刷体字符。在以下实施例中，为便于说明，以第一类型字符具体为手写字符、第二类型字符具体为印刷体字符为例进行介绍。但是，本公开实施例对于第一类型字符和第二类型字符不做限制。
由上述实施过程可见，本公开实施例在合成图像时，将包含第一类型字符的第一图像覆盖在背景图像中不包含第二类型字符的区域，避免了图像合成时对背景图像中原有的第二类型字符的遮挡，能够使合成后的图像既完整保留背景图像中原有的第二类型字符、又包含第一图像中的第一类型字符。
本公开实施例提出的图像合成方法至少包括以下两种实现方式，两种方式中的背景图像有所区别、合成时的具体实现方式也有所区别。
第一种，背景图像中仅包含第二类型字符。
这种情况下，合成图像时采用第一图像覆盖背景图像中的第一区域，该第一区域为背景图像中不包含第二类型字符的区域；由于背景图像中仅有第二类型字符，可见该第一区域即为背景图像中的空白区域。
以第一图像中包含手写字符，背景图像中包含印刷体字符为例，将第一图像与背景图像合成，即，将第一图像中的手写字符合成到背景图像中的空白区域。
如图3A是采用本公开实施例的一种图像合成方法合成图像的显示效果示意图一。如图3A所示，合成后图像的显示效果为：在背景图像的空白区域增加手写字符。
第二种，背景图像中包含第一类型字符和第二类型字符。
这种情况下，合成图像时采用第一图像覆盖背景图像中的第一区域，该第一区域为背景图像中不包含第二类型字符的区域；由于背景图像中包含第一类型字符和第二类型字符，该第一区域可以为背景图像中的第一类型字符所在的区域、也可以为背景图像中的空白区域。在一种实施方式中，将背景图像中的第一类型字符所在的区域作为第一区域。
以第一图像中包含手写字符，背景图像中包含印刷体字符和手写字符为例，将第一图像与背景图像合成，即，采用第一图像中的手写字符覆盖背景图像中原有的手写字符。
如图3B是采用本公开实施例的一种图像合成方法合成图像的显示效果示意图二。如图3B所示，合成后图像的显示效果为：将背景图像中原有的手写字符替换为第一图像中的手写字符。
可见，上述两种方式存在一定的联系，例如可以将采用第一种方式合成的图像作为第二种方式中的背景图像。
以上简单介绍了本公开实施例的图像合成方法中、两种具体实现方式的实现原理。如何确定第一区域，以保证合成后图像的显示效果，是上述两种方式都面临的问题，并且本公开实施例分别采用了不同的确定第一区域的方式。以下分别详述本公开实施例的两种合成方式。
方式一：基于印刷体文字检测的手写字迹合成
本方式至少包括以下步骤：
步骤1.1，背景图像采集：
本步骤可以收集少量场景数据，如采集无手写字迹的干净背景图片，比如书籍、文件、笔记本、试卷等。
步骤1.2，确定背景图像中第二类型字符所在的第二区域：
在本实施例中，背景图像中的第二类型字符为印刷体字符。本公开实施例可以将背景图像输入预先训练的文字检测模型，由文字检测模型输出每行文字的位置信息，该位置信息即为第二类型字符所在的第二区域的位置信息。
文字检测模型可以具体为一种卷积神经网络模型。该模型可以由卷积层、池化层等构成，其中卷积层可以主要包含3*3卷积和1*1卷积等。该模型可以使用可微分二值化网络(DBNet，Differentiable Binarization Network)、渐进尺度扩展算法网络(PSENet，Progressive Scale Expansion Network)等网络结构。本公开实施例对文字检测模型的具体结构和形式不做限制。
本步骤确定的单个第二区域的位置信息可以采用如下形式表示：
[x，y，w，h]；
其中，x和y分别表示该第二区域左上角的横坐标和纵坐标，所采用的坐标系可以是以背景图像左下角为原点的二维坐标系；
w和h分别表示该第二区域的宽和高；
x、y、w、h的单位可以为像素，或者为毫米、厘米等长度单位。
以上关于第二区域位置信息的表示形式仅为举例，本公开实施例对此不做限制。本公开可以采用其他的表示形式，用于描述第二区域的位置信息，在此不做穷举。
一个位置信息可以对应背景图像中的一行(或一列)文字(如本例中为印刷体文字)；如果背景图像中存在多行(或多列)文字，则可以通过文字检测模型得到各行(或各列)文字对应的位置信息，即得到一个位置信息集合，该位置信息集合如下所示：
P＝{[x1，y1，w1，h1]；
[x2，y2，w2，h2]；
……
[xn，yn，wn，hn]
}
在上例中，共确定出n个第二类型字符所在的第二区域的位置信息，每个位置信息对应背景图像中的一个第二区域。
步骤1.3，生成第一图像：
在一种实施方式中，本公开实施例可以选择至少一个字符图像，对选择的至少一个字符图像进行拼接，得到拼接后的图像；再对拼接后的图像的颜色、灰度和尺寸中的至少一项进行调整，将调整后的图像作为第一图像。
以采用手写汉字字符生成第一图像为例。预先设置手写汉字库，该库中的每个手写汉字为一张灰度图像；从手写汉字库中随机选择N个字符图像，每个字符图像的高度为H；水平拼接选出的N个字符图像，生成一个行文本图像，记作L，该行文本图像包含前述N个字符图像中的手写汉字。需要说明的是，前述拼接方式仅为举例，本公开实施例也可以采用其他的拼接方式，例如，对选出的N个字符图像进行竖向拼接，得到一个列文本图像；等等。
之后，对拼接后的图像的颜色、灰度、尺寸中的至少一项进行调整。
以调整颜色为例，调整方式可以包括以下步骤：
(1)将拼接后的图像的各个像素值进行二值化，将像素值大于0的像素设置为1，反之则为0；二值化之后，将拼接后的图像转换成了一张黑白图像。
(2)将上一步骤得到的黑白图像转换为彩色图像，以转换为RGB图像为例，可以根据RGB颜色分别对对应的颜色通道(红色(R)、绿色(G)和蓝色(B))做乘法运算，比如红色(255，0，0)，则做如下公式计算：
LR＝LR*255 LG＝LG*0 LB＝LB*0
其中，LR、LG、LB分别对应图像L的红色、绿色和蓝色通道；
L’代表图像的像素值。
以上是调整颜色的一个示例，经过该示例的方式调整之后，拼接后的图片的颜色被调整为红色。本公开实施例也可以采用其他的颜色调整方式、和/或将拼接后的图像转换为其他形式的彩色图像。本步骤中调整颜色的目的是模拟不同颜色的手写字迹，从而能够得到形式更为丰富的合成图像；如果将这类合成图像用于文字识别模型的训练样本，对于提高文字识别模型的训练效果和效率能够起到积极效果。另外，上述示例中，对图像中的各个像素采用统一的规则进行调整；在本公开的其他示例中，也可以对不同位置的像素采用不同的规则进行调整。
以上是对颜色的调整方式举例，本公开实施例也可以对拼接后的图像的灰度、尺寸进行调整。例如，对拼接后的图像的各个像素的灰度值进行随机调整，从而调整整个图像的灰度。又如，对拼接后的图像进行缩放和/或调整拼接后的图像的宽高比。
通过前述三个步骤，获取到背景图像、确定了背景图像中第二类型字符(如印刷体字符)所在的第二区域、并生成了包含第一类型字符(如手写字符)的第一图像。之后，即可以执行第一图像与背景图像的合成过程。需要说明的是，上述三个步骤中，除了步骤1.2需要在步骤1.1之后执行以外，对步骤1.3的执行顺序不做限制，例如，步骤1.3可以在步骤1.1或步骤1.2之前或之后执行、也可以与步骤1.1或步骤1.2同步执行。
步骤1.4，图像合成：
图4是根据本公开一实施例的图像合成过程的实现流程图，如图4所示，在一种可能的实施方式中，将第一图像与背景图像进行合成，使第一图像覆盖背景图像的第一区域，可以包括：
S410：在背景图像中随机选择盲选区域，该盲选区域的尺寸与第一图像的尺寸相同；
S420：在盲选区域满足第一条件的情况下，将盲选区域确定为第一区域，并将第一图像与背景图像进行合成，使第一图像覆盖背景图像的第一区域；
其中，第一条件包括：盲选区域与背景图像中任意第二类型字符所在的第二区域的重叠率小于或等于预设阈值。
从上述过程可见，本示例是采用先随机选择、之后验证的方式来确定第一区域的。即，随机选择一个盲选区域，然后验证如果将第一图像放置在该盲选区域、是否会遮挡背景图像中的第二类型字符；如果没有遮挡(如盲选区域与背景图像中任意第二类型字符所在的第二区域的重叠率小于或等于预设阈值)，则说明可以将第一图像置于该盲选区域，即该盲选区域可以作为第一区域；如果有遮挡(如盲选区域与背景图像中任意第二类型字符所在的第二区域的重叠率大于预设阈值)，则说明不适合将第一图像置于该盲选区域，即该盲选区域不适合作为第一区域，这种情况下可以重新选择盲选区域并进行验证。
如图4所示，在一些实施方式中，还包括，在盲选区域不满足第一条件的情况下，重新随机选择盲选区域(即返回执行步骤S420)，并确定重新选择的盲选区域是否满足第一条件，直至不满足所述第一条件的次数达到预设门限的情况下，结束当前流程。
例如，采用以下步骤进行图像合并：
(1)选取背景图像G、并确定包含手写字迹的第一图像L之后，在背景图像G中随机确定一个盲选区域，该盲选区域的位置信息采用如下形式表示：
[X，Y，W，H]；
其中，X和Y分别为盲选区域的左上角的横坐标和纵坐标，所采用的坐标系可以是以背景图像左下角为原点的二维坐标系；
W和H分别表示该盲选区域的宽和高；
X、Y、W、H的单位可以为像素，或者为毫米、厘米等长度单位。
X、Y、W、H可以采用以下方式确定：
X＝Random(0,Gw-Lw-1)；
Y＝Random(0,Gh-Lh-1)；
W＝Lw；
H＝Lh；
其中，Random(a,b)表示从[a,b]中随机生成一个数，Gw、Gh表示背景图像G的宽和高，Lw、Lh表示第一图像L的宽和高；
(2)计算步骤(1)中确定的盲选区域与背景图像中各个第二区域的重叠率(IOU,Intersection Of Union)是否大于阈值T，例如，采用盲选区域的位置信息分别与上述步骤1.2中确定出的位置信息集合中的各个第二区域的位置信息进行计算，得出盲选区域与各个第二区域的IOU。即，分别计算[X，Y，W，H]与集合P中各个元素(每个元素代表一个第二区域)的IOU。其中，
P＝{[x1，y1，w1，h1]；
[x2，y2，w2，h2]；
……
[xn，yn，wn，hn]
}
在一些示例中，出于文档场景中手写字与印刷体字的重叠率较小的考虑，阈值T可以设置成0.02-0.1之间。
例如，如果盲选区域与任意第二区域的IOU均不大于T，则认为该盲选区域是合理的，即确定该盲选区域为第一区域，可以将第一图像L与背景图像G进行合成，并且合成时将第一图像L置于背景图像G的该第一区域中。
在合成图像之后，可以将该第一区域(也就是确定合理的盲选区域)确定为背景图像中的一个第二区域。例如，将该第一区域的位置信息加入到上述集合P中，更新后的集合P为：
P＝{[x1，y1，w1，h1]；
[x2，y2，w2，h2]；
……
[xn，yn，wn，hn]
[X，Y，W，H]
}
这样，后续在采用该背景图像重新进行新的图像合成时，第一图像可以避开之前图像合成时第一图像所放置的位置；这样，对于同一背景图像，每次合成时第一图像所放置的位置不相同，保证了合成图像的多样性和丰富性。
如果盲选区域与某个或某些第二区域的IOU大于T，则可以重新确定一个新的盲选区域，即返回执行上述步骤(1)，直至返回的次数超过预定门限R(如R＝3)时，认为图像合成失败。之后可以再次随机选择背景图像和/或生成第一图像，重新进行图像合成。
另外，本方式可以采用图像融合方法进行图像合成，如采用alpha融合或泊松融合方法等。在图像融合时采用的掩码(Mask)图像可以通过对字符图像的二值化操作得到。
以上分步介绍了采用方式一合成一幅图像的方式，本公开实施例可以重复执行上述步骤，批量合成包含第一类型字符(如手写字符)和第二类型字符(如印刷体字符)的图像。由于判断盲选区域是否满足第一条件的方式相对简便、并且耗时非常短，在批量合成大量图像时，采用这种多次尝试的方式能够迅速高效地完成图像合成。
另外，通过限制失败次数的门限值(上述预定门限R)，能够避免采用空白区域较少的背景图像反复多次尝试并且失败，可以提高图像合成速度。
方式二：基于手写文字检测和手写字迹替换合成
本方式至少包括以下步骤：
步骤2.1，背景图像采集：
本步骤可以收集包括第一类型字符和第二类型字符的背景图像，例如收集既包含印刷体字符(第二类型字符)也包含手写字符(第一类型字符)的背景图像，例如，在印刷的书籍、文件、试卷等空白位置存在手写字迹的图像。
另外，本步骤也可以采用方式一中合成的图像作为背景图像。
步骤2.2，从背景图像中确定第一区域：
在一些实施方式中，确定第一区域的方式包括：确定背景图像中第一类型字符所在的区域，将该第一类型字符所在的区域确定为第一区域。
由于第一类型字符所在的区域中不包含第二类型字符，因此这样确定的第一区域能够保证合成图像中新加入的第一类型字符不会影响原有背景图像中第二类型字符。
其中，确定背景图像中第一类型字符所在的区域的方式可以包括以下过程：
(1)将背景图像输入预先训练的第一类型字符识别模型，由第一类型字符识别模型确定所述背景图像中的第一类型字符的掩码(Mask)图像；
(2)去除掩码图像的噪声；
(3)对去除噪声后的掩码图像进行连通域检测，得到多个轮廓点；
(4)利用多个轮廓点生成至少一个最小外接矩形，将该最小外接矩形作为背景图像中第一类型字符所在的区域。
例如，上述步骤(2)中，可以对掩码图像先进行腐蚀操作、再进行膨胀操作，以去除掩码图像的噪声。
又如，上述步骤(3)中，可以对去除噪声后的掩码图像采用4邻域连通检测或8邻域连通检测等，以实现对去除噪声后的掩码图像的连通域检测。
本步骤中使用的第一类型字符识别模型可以采用方式一中合成的图像训练得到。第一类型字符识别模型能够快速地识别出背景图像中的第一类型字符，采用该模型能够提高确定第一区域的速度，从而整体上提高图像合成速度。
步骤2.3，生成第一图像：
本步骤与上述方式一中生成第一图像的具体方式类似，可以参照前述步骤1.3中的相关描述。不同点在于，在本示例中，第一图像的尺寸根据步骤2.2中确定的第一区域的尺寸来确定，如，在选取多个字符图像进行拼接、并调整颜色或灰度之后，可以对该图像进行缩放，以得到第一图像；第一图像的尺寸等于第一区域的尺寸。另外，由于第一图像的尺寸等于第一区域的尺寸，因此在拼接生成第一图像时，可以根据第一区域的宽高比来确定由于拼接的字符图像的个数N。
另外，本方式可以采用图像融合方法进行图像合成，由于合成之前第一区域本身是有内容的，采用alpha融合方法能够实现更好的合成效果。在图像融合时采用的掩码(Mask)图像可以通过对字符图像的二值化操作得到。
以上分步介绍了采用方式二合成一幅图像的方式，本公开实施例可以重复执行上述步骤，批量合成包含第一类型字符(如手写字符)和第二类型字符(如印刷体字符)的图像。
综上可见，本公开实施例提出的图像合成方法，通过在包含第二类型字符(如印刷体字符)的图像的空白区域添加第一类型字符(如手写字符)、或者将包含第二类型字符(如印刷体字符)和第一类型字符(如手写字符)的图像中原有的第一类型字符替换为新的第一类型字符，能够自动生成包含不同类型字符的合成图像，并且合成图像的形式和种类丰富。这类合成图像用于字符识别模型的训练样本，能够提高训练字符识别模型的效率和效果。
图5是根据本公开实施例的一种图像合成装置500的结构示意图，包括：
获取模块510，用于获取至少一个字符图像，所述字符图像中的字符为第一类型字符；
生成模块520，用于利用所述至少一个字符图像，生成第一图像；
合成模块530，用于将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，所述第一区域为所述背景图像中不存在第二类型字符的区域。
在一种实施方式中，第一类型字符包括手写字符，所述第二类型字符包括印刷体字符。
图6是根据本公开实施例的一种图像合成装置600的结构示意图，如图6所示，在一种实施方式中，合成模块530包括：
随机选择子模块531，用于在所述背景图像中随机选择盲选区域，所述盲选区域的尺寸与所述第一图像的尺寸相同；
合成子模块532，用于在所述盲选区域满足第一条件的情况下，将所述盲选区域确定为所述第一区域，并将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域；
其中，所述第一条件包括：所述盲选区域与所述背景图像中任意第二类型字符所在的第二区域的重叠率小于或等于预设阈值。
在一种实施方式中，合成子模块532还用于，将所述第一区域确定为所述背景图像中的一个所述第二区域。
在一种实施方式中，合成子模块532还用于，在所述盲选区域不满足所述第一条件的情况下，重新随机选择盲选区域，并确定重新选择的盲选区域是否满足所述第一条件，直至不满足所述第一条件的次数达到预设门限。
在一种实施方式中，背景图像中包括所述第一类型字符和所述第二类型字符；
合成模块530包括：
第一区域确定子模块533，用于确定所述背景图像中所述第一类型字符所在的区域，将所述第一类型字符所在的区域确定为所述第一区域。
在一种实施方式中，所述第一区域确定子模块533用于，将所述背景图像输入预先训练的第一类型字符识别模型，由所述第一类型字符识别模型确定所述背景图像中的所述第一类型字符的掩码图像；去除所述掩码图像的噪声；对去除噪声后的掩码图像进行连通域检测，得到多个轮廓点；利用所述多个轮廓点生成至少一个最小外接矩形，将所述最小外接矩形作为所述背景图像中所述第一类型字符所在的区域。
在一种实施方式中，生成模块520用于，将所述至少一个字符图像进行拼接，得到拼接后的图像；对所述拼接后的图像的颜色、灰度和尺寸中的至少一项进行调整，将调整后的图像作为所述第一图像。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如图像合成方法。例如，在一些实施例中，图像合成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的图像合成方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像合成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种图像合成方法，包括：
获取至少一个字符图像，所述字符图像中的字符为第一类型字符；
利用所述至少一个字符图像，生成第一图像；
将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，所述第一区域为所述背景图像中不存在第二类型字符的区域。
2.根据权利要求1所述的方法，其中，所述将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，包括：
在所述背景图像中随机选择盲选区域，所述盲选区域的尺寸与所述第一图像的尺寸相同；
在所述盲选区域满足第一条件的情况下，将所述盲选区域确定为所述第一区域，并将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域；
其中，所述第一条件包括：所述盲选区域与所述背景图像中任意第二类型字符所在的第二区域的重叠率小于或等于预设阈值。
3.根据权利要求2所述的方法，还包括：将所述第一区域确定为所述背景图像中的一个所述第二区域。
4.根据权利要求2或3所述的方法，还包括：
在所述盲选区域不满足所述第一条件的情况下，重新随机选择盲选区域，并确定重新选择的盲选区域是否满足所述第一条件，直至不满足所述第一条件的次数达到预设门限的情况下，结束当前流程。
5.根据权利要求1所述的方法，其中，所述背景图像中包括所述第一类型字符和所述第二类型字符；
所述方法还包括：确定所述背景图像中所述第一类型字符所在的区域，将所述第一类型字符所在的区域确定为所述第一区域。
6.根据权利要求5所述的方法，其中，所述确定所述背景图像中所述第一类型字符所在的区域，包括：
将所述背景图像输入预先训练的第一类型字符识别模型，由所述第一类型字符识别模型确定所述背景图像中的所述第一类型字符的掩码图像；
去除所述掩码图像的噪声；
对去除噪声后的掩码图像进行连通域检测，得到多个轮廓点；
利用所述多个轮廓点生成至少一个最小外接矩形，将所述最小外接矩形作为所述背景图像中所述第一类型字符所在的区域。
7.根据权利要求1-6中任一所述的方法，其中，所述利用所述至少一个字符图像，生成第一图像，包括：
将所述至少一个字符图像进行拼接，得到拼接后的图像；
对所述拼接后的图像的颜色、灰度和尺寸中的至少一项进行调整，将调整后的图像作为所述第一图像。
8.根据权利要求1-7中任一所述的方法，其中，所述第一类型字符包括手写字符，所述第二类型字符包括印刷体字符。
9.一种图像合成装置，包括：
获取模块，用于获取至少一个字符图像，所述字符图像中的字符为第一类型字符；
生成模块，用于利用所述至少一个字符图像，生成第一图像；
合成模块，用于将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域，所述第一区域为所述背景图像中不存在第二类型字符的区域。
10.根据权利要求9所述的装置，其中，所述合成模块包括：
随机选择子模块，用于在所述背景图像中随机选择盲选区域，所述盲选区域的尺寸与所述第一图像的尺寸相同；
合成子模块，用于在所述盲选区域满足第一条件的情况下，将所述盲选区域确定为所述第一区域，并将所述第一图像与背景图像进行合成，使所述第一图像覆盖所述背景图像的第一区域；
其中，所述第一条件包括：所述盲选区域与所述背景图像中任意第二类型字符所在的第二区域的重叠率小于或等于预设阈值。
11.根据权利要求10所述的装置，其中，
所述合成子模块还用于，将所述第一区域确定为所述背景图像中的一个所述第二区域。
12.根据权利要求10或11所述的装置，其中，
所述合成子模块还用于，在所述盲选区域不满足所述第一条件的情况下，重新随机选择盲选区域，并确定重新选择的盲选区域是否满足所述第一条件，直至不满足所述第一条件的次数达到预设门限。
13.根据权利要求9所述的装置，其中，所述背景图像中包括所述第一类型字符和所述第二类型字符；
所述合成模块包括：
第一区域确定子模块，用于确定所述背景图像中所述第一类型字符所在的区域，将所述第一类型字符所在的区域确定为所述第一区域。
14.根据权利要求13所述的装置，其中，
所述第一区域确定子模块用于，将所述背景图像输入预先训练的第一类型字符识别模型，由所述第一类型字符识别模型确定所述背景图像中的所述第一类型字符的掩码图像；去除所述掩码图像的噪声；对去除噪声后的掩码图像进行连通域检测，得到多个轮廓点；利用所述多个轮廓点生成至少一个最小外接矩形，将所述最小外接矩形作为所述背景图像中所述第一类型字符所在的区域。
15.根据权利要求9-14中任一所述的装置，其中，
所述生成模块用于，将所述至少一个字符图像进行拼接，得到拼接后的图像；对所述拼接后的图像的颜色、灰度和尺寸中的至少一项进行调整，将调整后的图像作为所述第一图像。
16.根据权利要求9-15中任一所述的装置，其中，所述第一类型字符包括手写字符，所述第二类型字符包括印刷体字符。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。
CN202210517528.0A 2022-05-12 2022-05-12 一种图像合成方法、装置、电子设备和存储介质 Pending CN114841906A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210517528.0A CN114841906A (zh) 2022-05-12 2022-05-12 一种图像合成方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210517528.0A CN114841906A (zh) 2022-05-12 2022-05-12 一种图像合成方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114841906A true CN114841906A (zh) 2022-08-02

Family

ID=82569939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210517528.0A Pending CN114841906A (zh) 2022-05-12 2022-05-12 一种图像合成方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN114841906A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493400A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 手写样本生成方法、装置、计算机设备及存储介质
CN110969176A (zh) * 2018-09-29 2020-04-07 杭州海康威视数字技术股份有限公司 一种车牌样本扩增方法、装置和计算机设备
CN111145126A (zh) * 2019-12-31 2020-05-12 陈文海 一种图像文字快速抹除方法
US20210232541A1 (en) * 2020-01-27 2021-07-29 Sharp Kabushiki Kaisha Information processing apparatus, control method, and recording medium storing program
CN114463239A (zh) * 2022-02-09 2022-05-10 云从科技集团股份有限公司 文档图像生成方法、文档图像识别方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493400A (zh) * 2018-09-18 2019-03-19 平安科技（深圳）有限公司 手写样本生成方法、装置、计算机设备及存储介质
CN110969176A (zh) * 2018-09-29 2020-04-07 杭州海康威视数字技术股份有限公司 一种车牌样本扩增方法、装置和计算机设备
CN111145126A (zh) * 2019-12-31 2020-05-12 陈文海 一种图像文字快速抹除方法
US20210232541A1 (en) * 2020-01-27 2021-07-29 Sharp Kabushiki Kaisha Information processing apparatus, control method, and recording medium storing program
CN114463239A (zh) * 2022-02-09 2022-05-10 云从科技集团股份有限公司 文档图像生成方法、文档图像识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张砚枫;寇玉龙;金玉;: "基于自然图像混合的验证码", 辽宁科技学院学报, no. 01, 15 February 2017 (2017-02-15), pages 39 - 42 *

Similar Documents

Publication Publication Date Title
WO2018223994A1 (zh) 中文打印字符图像合成方法及装置
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
EP2549736B1 (en) Image processing device and method
JP2006333495A (ja) 画像処理方法、文書表示方法及びコンピュータ実行操作選択方法
US11915465B2 (en) Apparatus and methods for converting lineless tables into lined tables using generative adversarial networks
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
US20230005107A1 (en) Multi-task text inpainting of digital images
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
CN110852980A (zh) 交互式图像填充方法及系统、服务器、设备及介质
CN114218889A (zh) 文档处理及文档模型的训练方法、装置、设备和存储介质
US20170286815A1 (en) Generating an object map from a plurality of binary images
CN117763644A (zh) 设计图自适应调整的方法和装置
CN116863017A (zh) 图像处理方法、网络模型训练方法、装置、设备、介质
KR20140099183A (ko) 이미지 처리 장치, 이미지 처리 방법, 컴퓨터 판독가능 기록매체 및 화상형성장치
EP4047547A1 (en) Method and system for removing scene text from images
CN115376137A (zh) 一种光学字符识别处理、文本识别模型训练方法及装置
CN114841906A (zh) 一种图像合成方法、装置、电子设备和存储介质
CN115359502A (zh) 一种图像处理方法、装置、设备以及存储介质
KR101651842B1 (ko) 전자문서 레이아웃 생성 방법 및 장치
US11200708B1 (en) Real-time color vector preview generation
CN117078708A (zh) 图像检测及模型的训练方法、装置、设备、介质和产品
US9225876B2 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
JP5672168B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN115147850B (zh) 文字生成模型的训练方法、文字生成方法及其装置
US11532106B2 (en) Color gradient capture from source image content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination