CN111402367B - 一种图像处理方法和电子设备 - Google Patents

一种图像处理方法和电子设备 Download PDF

Info

Publication number
CN111402367B
CN111402367B CN202010229382.0A CN202010229382A CN111402367B CN 111402367 B CN111402367 B CN 111402367B CN 202010229382 A CN202010229382 A CN 202010229382A CN 111402367 B CN111402367 B CN 111402367B
Authority
CN
China
Prior art keywords
text
input
image
target image
font style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010229382.0A
Other languages
English (en)
Other versions
CN111402367A (zh
Inventor
芮元乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202010229382.0A priority Critical patent/CN111402367B/zh
Publication of CN111402367A publication Critical patent/CN111402367A/zh
Priority to PCT/CN2021/081983 priority patent/WO2021190429A1/zh
Priority to KR1020227035671A priority patent/KR20220154763A/ko
Priority to EP21776192.3A priority patent/EP4131170A4/en
Priority to US17/952,416 priority patent/US20230018905A1/en
Application granted granted Critical
Publication of CN111402367B publication Critical patent/CN111402367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/19007Matching; Proximity measures
    • G06V30/1908Region based matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/191Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种图像处理方法和电子设备,该方法包括:接收用户的第一输入;响应于第一输入,识别目标图像上的第一文本区域;对第一文本区域在目标图像上的文本图像进行训练,得到第一文本区域的第一字体风格模型;接收到用户的第二输入;响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本区域的字体风格匹配的第二文本;在目标图像上,将第一文本区域的文本替换为第二文本。本发明可便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上文本替换编辑复杂生硬的问题。

Description

一种图像处理方法和电子设备
技术领域
本发明涉及通信技术领域,尤其涉及一种图像处理和电子设备。
背景技术
目前,在电子设备进行图片文本替换编辑,需要通过涂抹操作去除原先的文字,然后在图片上添加文本输入框,设置所添加文本的文字颜色和字体,再将输入的文本贴到原来的图片上。
目前的文字编辑的方式虽然能够实现文本替换,但是,一方面需要用户手动涂抹调整图片上原先的文本区域,这个过程很难精细化地控制涂抹范围,操作复杂度高,难以涂抹精准;另一方面,替换文本只能选择默认配置的字体和颜色,容易导致替换文本与原有文本的显示效果不一致,使得文本编辑比较生硬,文本编辑效果较差。
发明内容
本发明提供一种图像处理方法和电子设备,能够解决现有技术的图片文本替换编辑方式操作繁琐,编辑效果较差的问题。
为了解决上述技术问题,本发明是这样实现的:
第一方面,本发明实施例提供一种图像处理方法,应用于电子设备,包括:
接收用户的第一输入;
响应于第一输入,识别目标图像上的第一文本区域;
对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型;
接收到用户的第二输入;
响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本;
在目标图像上,将第一文本替换为第二文本。
第二方面,本发明实施例提供一种电子设备,包括:
第一接收模块,用于接收用户的第一输入;
识别模块,用于响应于第一输入,识别目标图像上的第一文本区域;
第一处理模块,用于对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型;
第二接收模块,用于接收到用户的第二输入;
第二处理模块,用于响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本;
第一替换模块,用于在目标图像上,将第一文本替换为第二文本。
第三方面,本发明实施例提供一种电子设备,包括处理器,存储器,存储在存储器上并可在处理器上运行的计算机程序,该计算机程序被处理器执行时实现上述图像处理方法的步骤。
第四方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法的步骤。
本发明实施例中,通过接收并响应于用户的第一输入,识别目标图像上的第一文本区域,并对第一文本区域的第一文本在目标图像上的文本图像训练得到第一字体风格模型,然后接收并响应于第二输入,按照第一字体风格模型对获取的第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本,并在目标图像上,将第一文本替换为第二文本,能够便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上的文本替换编辑复杂生硬的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例提供的图像处理方法的流程示意图;
图2表示本发明实施例提供的电子设备的结构示意图;
图3表示本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
请参见图1,其示出的是本发明实施例提供的图像处理方法的流程示意图,本发明实施例提供一种图像处理方法,应用于具有屏幕显示功能的电子设备,本发明实施例的图像处理方法可以包括以下步骤:
步骤101,电子设备接收用户的第一输入。
本发明实施例中,在电子设备显示目标图像的情况下,用户可通过执行第一输入操作,使电子设备接收到第一输入,进而触发电子设备实现对目标图像的第一文本的识别操作。
这里,该第一输入可以包括语音输入、肢体动作输入、作用于电子设备的触控输入以及作用于电子设备的运动输入中的至少一者;其中,肢体动作输入可以包括但不限于手势动作输入、头部动作输入和面部动作输入等中的至少一种,作用于电子设备的触控输入可以包括但不限于作用于屏幕或壳体的触控输入,作用于电子设备的运动输入可以包括但不限于作用于电子设备的甩动动作输入、翻转动作输入和作用于柔性屏幕的弯曲输入/弯折输入等中的至少一种。
步骤102,电子设备响应于第一输入,识别目标图像上的第一文本区域。
本发明实施例中,电子设备响应于步骤101接收的第一输入,对目标图像进行检测,识别目标图像上显示的第一文本区域;可选地,电子设备可以通过OCR(OpticalCharacter Recognition,光学字符识别)技术和AI(Artificial Intelligence,人工智能)技术对目标图像进行检测,以识别目标图像上的第一文本区域,获得第一文本及第一文本在目标图像上的坐标位置。
较优地,为了便于用户直观确定识别结果,电子设备可以检测目标图像上第一文本区域的第一文本的内容以及第一文本在目标图像上的坐标位置,然后对目标图像上第一文本区域以预定标记标识显示,示例地,可以对目标图像上第一文本区域通过图像掩模进行标记显示,例如可以通过图像掩模将第一文本区域显示为预定颜色(如红色),以供用户查看确认。在电子设备接收到用户对预定标记标识的移动输入,电子设备响应于移动输入,对移动输入的结束位置进行文本识别,以识别确定第一文本,这样,利于用户能够及时对识别错误的位置进行纠正,其中移动输入可以包括拖动输入和按压拖动输入中的至少一种。
步骤103,电子设备对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型。
本发明实施例中,电子设备通过将步骤102识别出的第一文本的文本图像输入至训练模型中进行AI训练,从而获得第一文本相应的第一字体风格模型,以供后续步骤中能够基于该第一字体风格模型在对目标图像进行文本编辑过程中实现文字风格保持不变,使得编辑后的文本能够与目标图像无缝衔接融合。
步骤104,电子设备接收到用户的第二输入。
本发明实施例中,用户可通过执行第二输入操作,以触发对第一文本的进行编辑修改。这里,该第二输入可以包括语音输入、肢体动作输入、作用于电子设备的触控输入以及作用于电子设备的运动输入中的至少一者。
可选地,为利于用户直观快捷操作,该第二输入可以为对目标图像的第一文本的预设触控输入,例如预设触控输入可以为点击输入和按压输入中的至少一种。
步骤105,电子设备响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本。
本发明实施例中,电子设备响应于步骤104接收到的第二输入,获取用户输入的第一输入文本,然后将第一输入文本输入至第一文本的第一字体风格模型中进行训练,从而得到与第一文本的字体风格匹配的文本,即第二文本,这样能够实现用户输入文本的字体风格与目标图像上的原有文本(第一文本)的字体风格保持不变,使得编辑后的文本(即第二文本)能够与目标图像无缝衔接融合。
步骤106,电子设备在目标图像上,将第一文本替换为第二文本。
本发明实施例中,电子设备通过利用步骤105训练得到的第二文本替换目标图像上的第一文本,便捷地实现目标图像中的文本替换,并使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,能够实现用户输入的文本与目标图像的无缝衔接融合。
较优地,电子设备在将第一文本替换为第二文本之后,可以将第二文本与目标图像进行融合保存,从而得到用户所需的图像。
本发明实施例中,通过电子设备接收并响应于用户的第一输入,识别目标图像上的第一文本区域,并对第一文本区域的第一文本在目标图像上的文本图像训练得到第一字体风格模型,然后接收并响应于第二输入,按照第一字体风格模型对获取的第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本,并在目标图像上,将第一文本替换为第二文本,能够便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上的文本替换编辑复杂生硬的问题。
可选地,在本发明一些实施例中,步骤103,电子设备对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型,可以包括以下步骤:电子设备识别第一文本所属的语言类别;电子设备在语言类别对应的语料库中,对第一文本在目标图像上的文本图像进行训练,得到第一字体风格模型。这样,电子设备通过将第一文本的文本图像输入至第一文本所属的语言类别对应的语料库的训练模型进行训练,能够基于对应的语料库的语料数据快捷、准确地训练得到第一文本对应的字体风格模型。
可选地,在本发明一些实施例中,步骤106,电子设备在目标图像上,将第一文本替换为第二文本之后,还可以包括:电子设备按照目标图像中,第一文本的文本图像所在图层与背景图层之间的映射关系,在目标图像上对第二文本进行透视变换。这样,能够实现替换后的第二文本在目标图像上的摆放设置位置与原有第一文本的摆放设置位置相一致,确保文本修改编辑前后的显示效果相一致。
可选地,在本发明一些实施例中,电子设备在目标图像上将第一文本以第二文本进行替换之后,还可以进一步对文本背景区域进行修复,以还原出原有的背景风格效果。举例来说,步骤106,电子设备在目标图像上,将第一文本替换为第二文本之后,还可以包括:电子设备在目标图像上,按照第一文本的文本图像对应的背景风格,在第二文本对应的区域生成背景图像。这样,能够使得新的文本(即第二文本)与目标图像的背景实现无缝融合。
较优地,在本发明一些实施例中,电子设备在目标图像上,按照第一文本的文本图像对应的背景风格,在第二文本对应的区域生成背景图像,可以包括以下其中之一:
方式一:电子设备根据第一文本的文本图像对应区域的像素信息,在目标图像上对第二文本对应的区域进行像素填充,生成背景图像;方式一中,通过采用第一文本的文本图像对应区域的像素信息作为背景填充基础,来生成第二文本对应的区域的背景图像,能够使得第二文本对应区域的背景风格与第一文本原有背景风格相一致。
方式二:电子设备采用生成对抗网络模型,根据第一文本的文本图像对应区域的像素信息,在第二文本对应的区域生成背景图像;方式二中利用生成对抗网络(GenerativeAdversarial Networks,GAN)模型的生成模型(Generative Model)和判别模型(Discriminative Model)对第一文本的文本图像对应区域的像素信息互相博弈学习,以产生第二文本对应的区域的背景图像,能够使得第二文本对应区域的背景风格与第一文本区域原有背景风格更为贴合一致。
当然,可以理解的是,在本发明实施例中,在步骤106,电子设备在目标图像上,将第一文本替换为第二文本之后,电子设备也可以通过第二文本所在区域周边的像素信息,来生成背景图像。
可选地,在本发明一些实施例中,在对文本进行修改编辑过程中可以进一步提供翻译功能,电子设备可以将用户输入的文本转译为预设语言类型之后,再输入至第一字体风格模型进行训练,也就是说,本发明实施例中,第一输入文本可以为第二输入所输入文本,或者可以为第二输入所输入文本翻译为预设语言类型的翻译文本。这样,能够满足用户多元化的编辑需求。
可选地,在本发明一些实施例中,为进一步实现对目标图像中文本的多元化编辑,步骤102,电子设备响应于第一输入,识别目标图像上的第一文本区域之后,还可以包括以下步骤:电子设备显示预设存储的待选字体风格;电子设备接收用户对待选字体风格中目标字体风格的第三输入;电子设备响应于第三输入,按照目标文字风格对应的第二字体风格模型对第一文本进行训练,得到与目标字体风格匹配的第三文本;电子设备在目标图像上,将第一文本替换为第三文本。这样,便于用户应用自己喜欢的文字风格来实现对目标图像的文本修改编辑。这里,待选字体风格可以是电子设备预先存储或收藏的字体风格,或者是电子设备上预定时间段内使用的字体风格,并且电子设备存储待选字体风格对应的字体风格模型,例如,预定时间段可以为当期系统时间之前的一周内,待选字体风格可以一周内使用(即最近使用)的字体风格。另外,为避免占用电子设备过多的缓存资源,在待选字体风格为电子设备上预定时间段内使用的字体风格的情况下,该待选字体风格的数量可以为预定个数,该预定个数可以为电子设备默认设置,或者由用户设置,例如该预定个数可以为3个。
可选地,在本发明一些实施例中,为利于用户快捷地实现对第一文本的编辑操作,在步骤103,电子设备对第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型之后,还可以包括:以文本框在目标图像上对第一文本进行显示。这样,用户即可基于该文本框形式显示的第一文本实现快捷的文本编辑。较优地,电子设备可以在目标图像上对第一文本区域进行四边形标记,然后通过对四边形标记进行透视变换之后,以文本框显示第一文本。
示例地,步骤104,电子设备接收到用户的第二输入,可以包括:接收对文本框的第二输入,该第二输入可以为预设触控输入,例如,可以为对文本框的点击输入和对文本框的按压输入中的至少一种。进一步地,为利于用户快捷编辑输入,在步骤105中,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本之前,电子设备响应于第二输入,显示文本输入界面,电子设备提取第一文本的文本内容,并在文本输入界面上显示第一文本的文本内容,这样,用户可以通过文本输入界面对第一文本的文本内容快捷地进行二次编辑和修改。这里,文本输入界面可以为输入键盘。
示例地,在电子设备以文本框在目标图像上对第一文本进行显示之后,电子设备可以接收用户对文本框的预设输入,响应于预设输入,对第一文本在目标图像上的显示大小和显示位置中的至少之一进行调整,例如,用户可以通过文本框的预设输入实现对第一文本的放大、旋转和移动。
示例地,为提升用户人机体验,利于用户简捷操作,本发明实施例中,可以设置预设控件,在电子设备对相应调整输入(如第一输入、第二输入以及第三输入等)操作之前,通过接收用户对预设控件的触控输入,以便于触发上述调整输入对第一文本的编辑操作中的文本替换功能、翻译功能、显示大小和显示位置的调整功能的启用,避免用户误操作。
本发明实施例提供的图像处理方法,通过接收并响应于用户的第一输入,识别目标图像上的第一文本区域,并对第一文本区域的第一文本在目标图像上的文本图像训练得到第一字体风格模型,然后接收并响应于第二输入,按照第一字体风格模型对获取的第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本,并在目标图像上,将第一文本替换为第二文本,能够便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上的文本替换编辑复杂生硬的问题。
基于上述方法,本发明实施例提供一种用以实现上述方法的电子设备。
请参见图2,其示出的是本发明实施例提供的电子设备的结构示意图。本发明实施例提供一种电子设备200,可以包括:第一接收模块210、识别模块220、第一处理模块230、第二接收模块240、第二处理模块250和第一替换模块260。
第一接收模块210,用于接收用户的第一输入;
识别模块220,用于响应于第一输入,识别目标图像上的第一文本区域;
第一处理模块230,用于对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型;
第二接收模块240,用于接收到用户的第二输入;
第二处理模块250,用于响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本;
第一替换模块260,用于在目标图像上,将第一文本替换为第二文本。
可选地,在本发明一些实施例中,第一处理模块230可以包括:识别单元和第一处理单元。
识别单元,用于识别第一文本所属的语言类别;
第一处理单元,用于在语言类别对应的语料库中,对第一文本在目标图像上的文本图像进行训练,得到第一字体风格模型。
可选地,在本发明一些实施例中,电子设备200还可以包括:第三处理模块。
第三处理模块,用于按照目标图像中,第一文本的文本图像所在图层与背景图层之间的映射关系,在目标图像上对第二文本进行透视变换。
可选地,在本发明一些实施例中,电子设备200还可以包括:第四处理模块。
第四处理模块,用于在目标图像上,按照第一文本的文本图像对应的背景风格,在第二文本对应的区域生成背景图像。
较优地,在本发明一些实施例中,第四处理模块可以包括以下其中之一:第二处理单元和第三处理单元。
第二处理单元,用于根据第一文本的文本图像对应区域的像素信息,在目标图像上对第二文本对应的区域进行像素填充,生成背景图像;
第三处理单元,用于采用生成对抗网络模型,根据第一文本的文本图像对应区域的像素信息,在第二文本对应的区域生成背景图像。
可选地,在本发明一些实施例中,第一输入文本,为第二输入所输入文本,或者为第二输入所输入文本翻译为预设语言类型的翻译文本。
可选地,在本发明一些实施例中,电子设备200还可以包括:显示模块、第三接收模块、第四处理模块和第二替换模块。
显示模块,用于显示预设存储的待选字体风格;
第三接收模块,用于接收用户对待选字体风格中目标字体风格的第三输入;
第四处理模块,用于响应于第三输入,按照目标文字风格对应的第二字体风格模型对第一文本进行训练,得到与目标字体风格匹配的第三文本;
第二替换模块,用于在目标图像上,将第一文本替换为第三文本。
本发明实施例提供的电子设备200能够实现图1的方法实施例中电子设备实现的各个过程,为避免重复,这里不再赘述。
本发明实施例提供的电子设备,通过第一接收模块、识别模块和第一处理模块相配合,接收并响应于用户的第一输入,识别目标图像上的第一文本区域,并对第一文本区域的第一文本在目标图像上的文本图像训练得到第一字体风格模型,然后通过第二接收模块、第二处理模块和第一替换模块想配合,接收并响应于第二输入,按照第一字体风格模型对获取的第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本,并在目标图像上,将第一文本替换为第二文本,能够便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上的文本替换编辑复杂生硬的问题。
图3为实现本发明各个实施例的一种电子设备的硬件结构示意图。
该电子设备300包括但不限于:射频单元301、网络模块302、音频输出单元303、输入单元304、传感器305、显示单元306、用户输入单元307、接口单元308、存储器309、处理器310、以及电源311等部件。本领域技术人员可以理解,图3中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,用户输入单元307,用于接收用户的第一输入;处理器310,用于响应于第一输入,识别目标图像上的第一文本区域;对第一文本区域的第一文本在目标图像上的文本图像进行训练,得到第一文本的第一字体风格模型;用户输入单元307,用于接收到用户的第二输入;处理器310,用于响应于第二输入,获取第一输入文本,并按照第一字体风格模型对第一输入文本进行训练,得到与第一文本的字体风格匹配的第二文本;显示单元306,用于在目标图像上,将第一文本替换为第二文本。这样,能够便捷地实现目标图像中的文本替换,并且使得用户输入文本的字体风格与目标图像上的原有文本的字体风格保持不变,实现用户输入的文本与目标图像的无缝衔接融合,能够解决图像上的文本替换编辑复杂生硬的问题。
应理解的是,本发明实施例中,射频单元301可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器310处理;另外,将上行的数据发送给基站。通常,射频单元301包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元301还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块302为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元303可以将射频单元301或网络模块302接收的或者在存储器309中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元303还可以提供与电子设备300执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元303包括扬声器、蜂鸣器以及受话器等。
输入单元304用于接收音频或视频信号。输入单元304可以包括图形处理器(Graphics Processing Unit,GPU)3041和麦克风3042,图形处理器3041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元306上。经图形处理器3041处理后的图像帧可以存储在存储器309(或其它存储介质)中或者经由射频单元301或网络模块302进行发送。麦克风3042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元301发送到移动通信基站的格式输出。
电子设备300还包括至少一种传感器305,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板3061的亮度,接近传感器可在电子设备300移动到耳边时,关闭显示面板3061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器305还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元306用于显示由用户输入的信息或提供给用户的信息。显示单元306可包括显示面板3061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板3061。
用户输入单元307可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元307包括触控面板3071以及其他输入设备3072。触控面板3071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板3071上或在触控面板3071附近的操作)。触控面板3071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器310,接收处理器310发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板3071。除了触控面板3071,用户输入单元307还可以包括其他输入设备3072。具体地,其他输入设备3072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板3071可覆盖在显示面板3061上,当触控面板3071检测到在其上或附近的触摸操作后,传送给处理器310以确定触摸事件的类型,随后处理器310根据触摸事件的类型在显示面板3061上提供相应的视觉输出。虽然在图3中,触控面板3071与显示面板3061是作为两个独立的部件来实现电子设备的输入和输出功能,但是在某些实施例中,可以将触控面板3071与显示面板3061集成而实现电子设备的输入和输出功能,具体此处不做限定。
接口单元308为外部装置与电子设备300连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元308可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到电子设备300内的一个或多个元件或者可以用于在电子设备300和外部装置之间传输数据。
存储器309可用于存储软件程序以及各种数据。存储器309可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器309可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器310是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器309内的软件程序和/或模块,以及调用存储在存储器309内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。处理器310可包括一个或多个处理单元;优选的,处理器310可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器310中。
电子设备300还可以包括给各个部件供电的电源311(比如电池),优选的,电源311可以通过电源管理系统与处理器310逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,电子设备300包括一些未示出的功能模块,在此不再赘述。
优选的,本发明实施例还提供一种电子设备,包括处理器310,存储器309,存储在存储器309上并可在处理器310上运行的计算机程序,该计算机程序被处理器310执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。

Claims (10)

1.一种图像处理方法,应用于电子设备,其特征在于,包括:
接收用户的第一输入;
响应于所述第一输入,识别目标图像上的第一文本区域;
对所述第一文本区域的第一文本在所述目标图像上的文本图像进行训练,得到所述第一文本的第一字体风格模型;
接收到用户的第二输入;
响应于所述第二输入,获取第一输入文本,并按照所述第一字体风格模型对所述第一输入文本进行训练,得到与所述第一文本的字体风格匹配的第二文本;
在所述目标图像上,将所述第一文本替换为所述第二文本;
所述在所述目标图像上,将所述第一文本替换为所述第二文本之后,还包括:
按照所述目标图像中,所述第一文本的文本图像所在图层与背景图层之间的映射关系,在所述目标图像上对所述第二文本进行透视变换。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一文本区域的第一文本在所述目标图像上的文本图像进行训练,得到所述第一文本的第一字体风格模型,包括:
识别所述第一文本所属的语言类别;
在所述语言类别对应的语料库中,对所述第一文本在所述目标图像上的文本图像进行训练,得到所述第一字体风格模型。
3.根据权利要求1所述的方法,其特征在于,所述在所述目标图像上,将所述第一文本替换为所述第二文本之后,还包括:
在所述目标图像上,按照所述第一文本的文本图像对应的背景风格,在所述第二文本对应的区域生成背景图像。
4.根据权利要求3所述的方法,其特征在于,所述在所述目标图像上,按照所述第一文本的文本图像对应的背景风格,在所述第二文本对应的区域生成背景图像,包括以下其中之一:
根据所述第一文本的文本图像对应区域的像素信息,在所述目标图像上对所述第二文本对应的区域进行像素填充,生成背景图像;
采用生成对抗网络模型,根据所述第一文本的文本图像对应区域的像素信息,在所述第二文本对应的区域生成背景图像。
5.根据权利要求1所述的方法,其特征在于,所述响应于所述第一输入,识别目标图像上的第一文本区域之后,还包括:
显示预设存储的待选字体风格;
接收用户对所述待选字体风格中目标字体风格的第三输入;
响应于所述第三输入,按照所述目标字体风格对应的第二字体风格模型对所述第一文本进行训练,得到与所述目标字体风格匹配的第三文本;
在所述目标图像上,将所述第一文本替换为所述第三文本。
6.一种电子设备,其特征在于,包括:
第一接收模块,用于接收用户的第一输入;
识别模块,用于响应于所述第一输入,识别目标图像上的第一文本区域;
第一处理模块,用于对所述第一文本区域的第一文本在所述目标图像上的文本图像进行训练,得到所述第一文本的第一字体风格模型;
第二接收模块,用于接收到用户的第二输入;
第二处理模块,用于响应于所述第二输入,获取第一输入文本,并按照所述第一字体风格模型对所述第一输入文本进行训练,得到与所述第一文本的字体风格匹配的第二文本;
第一替换模块,用于在所述目标图像上,将所述第一文本替换为所述第二文本;
第三处理模块,用于按照所述目标图像中,所述第一文本的文本图像所在图层与背景图层之间的映射关系,在所述目标图像上对所述第二文本进行透视变换。
7.根据权利要求6所述的电子设备,其特征在于,所述第一处理模块包括:
识别单元,用于识别所述第一文本所属的语言类别;
第一处理单元,用于在所述语言类别对应的语料库中,对所述第一文本在所述目标图像上的文本图像进行训练,得到所述第一字体风格模型。
8.根据权利要求6所述的电子设备,其特征在于,还包括:
第四处理模块,用于在所述目标图像上,按照所述第一文本的文本图像对应的背景风格,在所述第二文本对应的区域生成背景图像。
9.根据权利要求8所述的电子设备,其特征在于,所述第四处理模块包括以下其中之一:
第二处理单元,用于根据所述第一文本的文本图像对应区域的像素信息,在所述目标图像上对所述第二文本对应的区域进行像素填充,生成背景图像;
第三处理单元,用于采用生成对抗网络模型,根据所述第一文本的文本图像对应区域的像素信息,在所述第二文本对应的区域生成背景图像。
10.根据权利要求6所述的电子设备,其特征在于,还包括:
显示模块,用于显示预设存储的待选字体风格;
第三接收模块,用于接收用户对所述待选字体风格中目标字体风格的第三输入;
第四处理模块,用于响应于所述第三输入,按照所述目标字体风格对应的第二字体风格模型对所述第一文本进行训练,得到与所述目标字体风格匹配的第三文本;
第二替换模块,用于在所述目标图像上,将所述第一文本替换为所述第三文本。
CN202010229382.0A 2020-03-27 2020-03-27 一种图像处理方法和电子设备 Active CN111402367B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010229382.0A CN111402367B (zh) 2020-03-27 2020-03-27 一种图像处理方法和电子设备
PCT/CN2021/081983 WO2021190429A1 (zh) 2020-03-27 2021-03-22 一种图像处理方法和电子设备
KR1020227035671A KR20220154763A (ko) 2020-03-27 2021-03-22 이미지 처리 방법 및 전자 장비
EP21776192.3A EP4131170A4 (en) 2020-03-27 2021-03-22 IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE
US17/952,416 US20230018905A1 (en) 2020-03-27 2022-09-26 Image processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010229382.0A CN111402367B (zh) 2020-03-27 2020-03-27 一种图像处理方法和电子设备

Publications (2)

Publication Number Publication Date
CN111402367A CN111402367A (zh) 2020-07-10
CN111402367B true CN111402367B (zh) 2023-09-26

Family

ID=71432931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010229382.0A Active CN111402367B (zh) 2020-03-27 2020-03-27 一种图像处理方法和电子设备

Country Status (5)

Country Link
US (1) US20230018905A1 (zh)
EP (1) EP4131170A4 (zh)
KR (1) KR20220154763A (zh)
CN (1) CN111402367B (zh)
WO (1) WO2021190429A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402367B (zh) * 2020-03-27 2023-09-26 维沃移动通信有限公司 一种图像处理方法和电子设备
CN112839185B (zh) * 2020-11-27 2022-10-21 北京百度网讯科技有限公司 用于处理图像的方法、装置、设备和介质
CN112911373B (zh) * 2021-01-31 2023-05-26 云知声智能科技股份有限公司 视频字幕的生成方法、装置、设备和存储介质
CN114758339B (zh) * 2022-06-15 2022-09-20 深圳思谋信息科技有限公司 字符识别模型的获取方法、装置、计算机设备和存储介质
CN115310405B (zh) * 2022-07-21 2024-07-26 北京汉仪创新科技股份有限公司 基于对抗生成网络的字体替换方法、系统、设备和介质
CN116543076B (zh) * 2023-07-06 2024-04-05 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013094A (zh) * 2010-11-25 2011-04-13 上海合合信息科技发展有限公司 提高文本图像清晰度的方法及系统
CN106874937A (zh) * 2017-01-18 2017-06-20 腾讯科技(上海)有限公司 一种文字图像生成方法、装置及终端
CN108921158A (zh) * 2018-06-14 2018-11-30 众安信息技术服务有限公司 图像校正方法、装置及计算机可读存储介质
CN109189985A (zh) * 2018-08-17 2019-01-11 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质
CN109285111A (zh) * 2018-09-20 2019-01-29 广东工业大学 一种字体转换的方法、装置、设备及计算机可读存储介质
CN110008884A (zh) * 2019-03-28 2019-07-12 维沃移动通信有限公司 一种文字处理方法及终端
CN110458918A (zh) * 2019-08-16 2019-11-15 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110554991A (zh) * 2019-09-03 2019-12-10 浙江传媒学院 一种文本图片的矫正与管理方法
CN110738026A (zh) * 2019-10-23 2020-01-31 腾讯科技(深圳)有限公司 用于生成描述文本的方法和设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715497A (zh) * 2014-12-30 2015-06-17 上海孩子国科教设备有限公司 数据替换的方法及系统
JP6866636B2 (ja) * 2016-12-26 2021-04-28 カシオ計算機株式会社 文字編集方法、電子機器、及び、プログラム
US10409896B2 (en) * 2018-02-02 2019-09-10 Adobe Inc. Intelligent font replacement of missing glyphs
CN108829326A (zh) * 2018-04-24 2018-11-16 广州视源电子科技股份有限公司 文字修改方法、设备及存储介质
CN111402367B (zh) * 2020-03-27 2023-09-26 维沃移动通信有限公司 一种图像处理方法和电子设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102013094A (zh) * 2010-11-25 2011-04-13 上海合合信息科技发展有限公司 提高文本图像清晰度的方法及系统
CN106874937A (zh) * 2017-01-18 2017-06-20 腾讯科技(上海)有限公司 一种文字图像生成方法、装置及终端
CN108921158A (zh) * 2018-06-14 2018-11-30 众安信息技术服务有限公司 图像校正方法、装置及计算机可读存储介质
CN109189985A (zh) * 2018-08-17 2019-01-11 北京达佳互联信息技术有限公司 文本风格处理方法、装置、电子设备及存储介质
CN109285111A (zh) * 2018-09-20 2019-01-29 广东工业大学 一种字体转换的方法、装置、设备及计算机可读存储介质
CN110008884A (zh) * 2019-03-28 2019-07-12 维沃移动通信有限公司 一种文字处理方法及终端
CN110458918A (zh) * 2019-08-16 2019-11-15 北京百度网讯科技有限公司 用于输出信息的方法和装置
CN110554991A (zh) * 2019-09-03 2019-12-10 浙江传媒学院 一种文本图片的矫正与管理方法
CN110738026A (zh) * 2019-10-23 2020-01-31 腾讯科技(深圳)有限公司 用于生成描述文本的方法和设备

Also Published As

Publication number Publication date
KR20220154763A (ko) 2022-11-22
EP4131170A4 (en) 2023-10-11
CN111402367A (zh) 2020-07-10
WO2021190429A1 (zh) 2021-09-30
US20230018905A1 (en) 2023-01-19
EP4131170A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
CN111402367B (zh) 一种图像处理方法和电子设备
CN108737904B (zh) 一种视频数据处理方法及移动终端
CN108958615B (zh) 一种显示控制方法、终端及计算机可读存储介质
US11451706B2 (en) Photographing method and mobile terminal
CN107943390B (zh) 一种文字复制方法及移动终端
CN109461117B (zh) 一种图像处理方法及移动终端
CN111010610B (zh) 一种视频截图方法及电子设备
CN109874038B (zh) 一种终端的显示方法及终端
CN111031398A (zh) 一种视频控制方法及电子设备
CN109032486B (zh) 一种显示控制方法及终端设备
CN109451141B (zh) 一种操作控制方法及相关终端
CN111782115B (zh) 应用程序控制方法、装置及电子设备
CN111010608B (zh) 视频播放的方法及电子设备
CN110928407B (zh) 信息显示方法及装置
CN108881782B (zh) 一种视频通话方法及终端设备
CN109448069B (zh) 一种模板生成方法及移动终端
CN110413363B (zh) 一种截图方法及终端设备
CN109166164B (zh) 一种表情图片的生成方法及终端
CN110866465A (zh) 电子设备的控制方法及电子设备
CN111126388B (zh) 图像识别的方法及电子设备
CN111273793B (zh) 一种显示方法和电子设备
CN111258531B (zh) 音频处理方法和电子设备
CN111093033B (zh) 一种信息处理方法及设备
CN110213437B (zh) 一种编辑方法及移动终端
CN109491631B (zh) 一种显示控制方法及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant