CN111930376A - 风格化图标的自动生成 - Google Patents

风格化图标的自动生成 Download PDF

Info

Publication number
CN111930376A
CN111930376A CN201910395510.6A CN201910395510A CN111930376A CN 111930376 A CN111930376 A CN 111930376A CN 201910395510 A CN201910395510 A CN 201910395510A CN 111930376 A CN111930376 A CN 111930376A
Authority
CN
China
Prior art keywords
icon
input
icons
generating
text input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910395510.6A
Other languages
English (en)
Inventor
傅建龙
王锦鹏
林钦佑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201910395510.6A priority Critical patent/CN111930376A/zh
Priority to EP20720564.2A priority patent/EP3970118A1/en
Priority to PCT/US2020/023461 priority patent/WO2020231513A1/en
Priority to US17/606,985 priority patent/US11914841B2/en
Publication of CN111930376A publication Critical patent/CN111930376A/zh
Priority to US18/415,368 priority patent/US20240201824A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/38Creation or generation of source code for implementing user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在本公开的实施例中,提出了一种风格化图标的自动生成方法。在获得用户输入的查询文本之后,首先使用经训练的生成器来生成能够表征对象结构的结构化图标,然后再对结构化图标进行风格化,例如填色或者添加其他风格,从而为用户生成高质量的风格化图标。在本公开的实施例中,通过两个阶段来分别生成结构化图标和风格化图标,其中结构化图标能够清晰地表征对象的结构,风格化图标可以具有更丰富的色彩和风格。因此,根据本公开的实施例所生成的风格化图标质量较高并且更加真实,从而提升图标生成时的用户体验。

Description

风格化图标的自动生成
背景技术
图标是指具有指代意义的图形符号,其具有高度浓缩和便于传达的特点。在计算机领域中,图标可以表示一个图片或对象,例如,操作系统中的各种图标有助于用户快速地寻找和定位目标程序或文件。通常,一套图标中的各个图标可以具有相同的尺寸大小和属性格式,并且通常可以具有相对较小的尺寸。
图标的应用领域很广泛,例如,用户在文档写作、幻灯片准备、在线聊天的过程中,都可能会需要使用形象化的图标进行展示和表达。图标由于比文本更生动并且比一般图像更简洁,因而被广泛使用。一些常见的文档编辑工具中预设了一定数量的图标,用户可以在编辑文档时选择一个或多个插入文档中。此外,用户也可以通过专业的制图软件制作自己的图标,或者利用关键词在网络搜索相关的图标。
发明内容
在本公开的实施例中,提出了一种风格化图标的自动生成方法。在获得用户输入的查询文本之后,首先使用经训练的生成器来生成表征对象结构的结构化图标,然后再对结构化图标进行风格化,例如填色或者添加其他风格,从而为用户生成高质量的风格化图标。在本公开的实施例中,通过两个阶段来分别生成结构化图标和风格化图标,其中结构化图标能够清晰地表征对象的结构,风格化图标可以具有更丰富的色彩和风格。因此,根据本公开的实施例所生成的风格化图标质量较高并且更加真实,从而提升图标生成时的用户体验。
提供发明内容部分是为了简化的形式来介绍对概念的选择,它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征,也无意限制本公开的范围。
附图说明
结合附图并参考以下详细说明,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素,其中:
图1示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器的框图;
图2示出了其中可以实施本公开的用于自动生成风格化图标的方法的流程图;
图3示出了其中可以实施本公开的用于自动生成风格化图标的过程的示意图;
图4示出了根据本公开的实施例的结构化图标的示例集合的示意图;
图5示出了根据本公开的实施例的风格化图标的示例集合的示意图;
图6示出了根据本公开的实施例的用于生成结构化图标的过程的示意图;
图7示出了根据本公开的实施例的用于使用生成式对抗网络(GAN)训练图标生成模型的架构的示意图;以及
图8示出了根据本公开的实施例的用于使用GAN训练图标生成模型的过程的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
传统地,当用户需要使用图标时,例如用户在编辑文档或幻灯片时等,其通常使用关键词在网络搜索相关的图标,或者通过专业的制图软件制作自己的图标。然而,利用网络检索的图标相关性可能较差,并且质量参差不齐,而自己制作图标需要用户具有一定的设计基础,因而难度较大。因此,传统的方法在获取用户所需的图标时难度较大,并且所获取的图标质量没有保证。此外,目前的一些图标生成工具或者图标制作工具只能生成简单的图标,或者只能生成一些文本的艺术字,从而导致图标质量较差并且也不够真实。
为此,本公开的实施例提出了一种风格化图标的自动生成技术。本发明的发明人意识到要想生成一个高质量的风格化图标,可以首先确定图标的结构特征,然后再对其进行风格化转换,这样能够使得所生成的图标质量更高并且更加真实,同时减少了富有经验的设计人员的工作量。因此,在本公开的实施例中,通过两个阶段来分别生成结构化图标和风格化图标,其中结构化图标能够清晰地表征对象的结构,风格化图标可以具有更丰富的色彩和风格。根据本公开的实施例所生成的风格化图标质量较高并且更加真实,甚至可生成任意的图标,从而提升图标生成时的用户体验。
以下参考图1至图8来说明本公开的基本原理和若干示例实现方式。图1示出了其中可以实施本公开的一个或多个实施例的计算设备/服务器100的框图。应当理解,图1所示出的计算设备/服务器100仅仅是示例性的,而不应当构成对本文所描述的实施例的功能和范围的任何限制。
如图1所示,计算设备/服务器100是通用计算设备的形式。计算设备/服务器100的组件可以包括但不限于一个或多个处理器或处理单元110、存储器120、存储设备130、一个或多个通信单元140、一个或多个输入设备150以及一个或多个输出设备160。处理单元110可以是实际或虚拟处理器并且能够根据存储器120中存储的程序来执行各种处理。在多处理器系统中,多个处理单元并行执行计算机可执行指令,以提高计算设备/服务器100的并行处理能力。
计算设备/服务器100通常包括多个计算机存储介质。这样的介质可以是计算设备/服务器100可访问的任何可以获得的介质,包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器120可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如,只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备130可以是可拆卸或不可拆卸的介质,并且可以包括机器可读介质,诸如闪存驱动、磁盘或者任何其他介质,其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在计算设备/服务器100内被访问。
计算设备/服务器100可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图1中示出,可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中,每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器120可以包括计算机程序产品125,其具有一个或多个程序模块,例如包括根据本公开的实施例的图标生成模型,这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。
通信单元140实现通过通信介质与其他计算设备进行通信。附加地,计算设备/服务器100的组件的功能可以以单个计算集群或多个计算机器来实现,这些计算机器能够通过通信连接进行通信。因此,计算设备/服务器100可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。
输入设备150可以是一个或多个输入设备,例如鼠标、键盘、追踪球等。输出设备160可以是一个或多个输出设备,例如显示器、扬声器、打印机等。计算设备/服务器100还可以根据需要通过通信单元140与一个或多个外部设备(未示出)进行通信,外部设备诸如存储设备、显示设备等,与一个或多个使得用户与计算设备/服务器100交互的设备进行通信,或者与使得计算设备/服务器100与一个或多个其他计算设备通信的任何设备(例如,网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。
如图1所示,计算设备/服务器100能够通过输入设备150接收来自用户的文本输入305(其可以为自然语言的形式,例如词、短语、句子等),然后使用程序产品125对文本输入305进行处理,并且通过输出设备160输出风格化图标325。例如,在用户输入“蛋糕”的查询之后,输出蛋糕的风格化图标。在一些实施例中,还可以由用户从所生成的多个蛋糕图标中挑选一个并且由用户选择所想要的蛋糕风格。
本领域技术人员应当理解,虽然图1中示出了通过输入单元150接收文本输入,并且通过输出单元160输出风格化图标,但是也可以直接通过通信单元140接收输入并且发送输出。以下参考图2-8详细描述了程序产品125如何基于用户的文本输入生成风格化图标示例实施例。
图2示出了其中可以实施本公开的用于自动生成风格化图标的方法200的流程图。应当理解,方法200可以由参考图1所描述的计算设备/服务器100执行。为了便于清楚说明图2的方法200,在此同时参考图3所示出的自动生成风格化图标的过程300一起进行描述。
在202,获得用于生成对象的图标的文本输入。例如,参考图3,生成器310获得来自用户的文本输入305,例如“蛋糕”,其指示用户想要生成蛋糕对象的图标。不同于传统的从网络或本地资源库中检索图标,本公开的实施例能够是使用图标生成模型来生成图标,所生成的图标可能此前并不存在。
在204,基于文本输入,生成体现对象的结构的第一图标,其中对象的结构通过线条来表征。例如,图3中的生成器310(其已经被训练,以下参考图7-8描述了训练生成器310的示例实现)根据文本输入305(例如“蛋糕”)生成简单的蛋糕结构化图标315,在结构化图标315中,能够明显地体现出对象“蛋糕”的结构特征,蛋糕的结构是由线条集合来表征,例如直线和/或曲线。在本公开的一些实施例中,结构化图标可以为简单的黑白图标。
在206,将第一图标风格化成第二图标。在一些实施例中,可以根据参考图像来将第一图标风格化成第二图标,使得风格化后的图标具有与参考图像类似的风格。例如,图3中的风格化器320根据参考图像318的风格(例如马赛克风格),将简单的结构化图标315转换成具有马赛克风格的风格化图标325。因此,在本公开的实施例的方法200中,通过两个阶段来分别生成结构化图标315和风格化图标325,其中结构化图标315能够清晰地表征对象的结构,风格化图标325具有更丰富的色彩和风格。
在一些实施例中,还可以基于参考颜色或者色调,将第一图标风格化成第二图标,例如,如果参考颜色为蓝色,则可以将第一图标风格化成蓝色色调图标。备选地,还可以根据机器学习模型中的一些参数,将第一图标风格化成第二图标。在本公开的实施例中,风格化的过程可以包括但不限于对图标的色彩填充、效果填充、风格渲染、其他像素转换,等等。因此,根据本公开的实施例所生成的风格化图标质量较高并且更加真实,能够提升图标生成时的用户体验。
在一些实施例中,在生成结构化图标315之后,可以根据用户的意图对结构化图标315进行编辑,例如,用户可以调整结构化图标中的线条的形状和属性。例如,用户可以将结构化图标315中的线条调粗,或者可以将结构化图标315中的蜡烛线条调大,等等。通过这种方式,能够为用户提供进一步调整所生成的图标的选项,从而使得所生成的图标更加符合用户的意图,进一步提升用户体验。在用户调整结构化图标315中的对象结构之后,风格化器320将对调整后的结构化图标315进行风格化转换。
在一些实施例中,风格化器320在对结构化图标315添加风格时,可以进一步考虑对象的语义信息。例如,假设所生成的结构化图标为树叶图标,而根据树叶的语义和含义,其通常的颜色绿色、红色、黄色等,因而风格化器320基于树叶的语义来对黑白的结构化图标315进行着色,例如添加绿色、红色、黄色等,而不会添加白色、黑色等根本不符合树叶语义的颜色。
参考图4,其示出了根据本公开的实施例的结构化图标的示例集合400的示意图。如图4所示,示例集合400包括蛋糕的结构化图标集合410、披萨的结构化图标集合420、鸭子的结构化图标集合430、以及香蕉的结构化图标集合440,这些图标可以为简单的黑白色,并通过线条等来表征其各自的结构特征。这些图标集合例如可以为本公开的生成器310基于对应的用户查询所生成的结构化图标集合。例如,在用户输入“蛋糕”时,可以生成蛋糕的结构化图标集合410供用户选择。在用户输入“披萨”时,可以生成披萨的结构化图标集合420供用户选择。在用户输入“鸭子”时,可以生成鸭子的结构化图标集合430供用户选择。在用户输入“香蕉”时,可以生成香蕉的结构化图标集合440供用户选择。
在一些实施例中,针对用户输入的查询,生成器310可以生成多个结构化图标,如图4中所示出的,用户然后可以选择其最想要的一个进行后续的风格化。备选地,生成器310也可以针对每个用户查询仅生成一个结构化图标(例如图3中所示出的结构化图标315),然后风格化器320直接对这个结构化图标进行风格化,而无需用户的选择。
图5示出了根据本公开的实施例的风格化图标的示例集合500的示意图。如图5所示,结构化图标510、520、530和540可以分别为生成器310基于不同的用户查询所示出的简单的结构化图标。接下来,风格化器320可以将这些结构化图标510、520、530和540风格化成不同风格的图标。例如,针对结构化图标510:如果参考图像是铅笔风格图像551,则生成铅笔风格的蛋糕图标511;如果参考图像是石头风格图像552,则生成石头风格的蛋糕图标512;如果参考图像是马赛克风格图像553,则生成马赛克风格的蛋糕图标513;如果参考图像是糖果风格图像554,则生成糖果风格的蛋糕图标514;如果参考图像是星空风格图像555,则生成星空风格的蛋糕图标515。在一些实施例中,参考图像可以由用户选择。备选地,也可以为用户设置默认的参考图像,而无需用户选择,如果用户对所生成的风格化图标不满意,可以更换参考图像重新进行风格化。
类似地,风格化器320还可以生成各种风格的香蕉图标521-525,生成各种风格的鸭子图标531-535,以及生成各种风格的披萨图标541-545。因此,本公开的实施例能够根据用户意图生成各种风格的高质量图标,提升了用户体验。此外,根据本公开的实施例的方案可以被嵌入在一些办公软件中,作为一个功能模块为用户提供高质量的风格化图标,提高用户的办公效率。
在一些实施例中,如果也可以从用户查询(例如是一个句子“草地上的一匹马”)获取多个对象的多个语义,例如“草地”、“马”,然后分别生成草地和马的图标。接下来,可以将草地和马的图标进行组成,生成马在草地上的组合图标。通过这种方式,能够满足用户更复杂的图标生成需求,进一步提升用户体验。
在一些实施例,还可以根据用户查询来创建动画形式的图标。例如,可以生成一系列的多个图标,这些图标之间可以具有时序的先后关系,通过组合这一系列的图标可以创建动画形式的图标,而不是静态形式的图标。通过这种方式,能够为用户提供更多形式的图标资源,进一步提升用户体验。
图6示出了根据本公开的实施例的用于生成结构化图标的过程600的示意图。如图6所示,生成器310首先获得用户查询的词向量605和随机噪声608,其中用户查询可以包括与对象相关联的类别、关键词、文本描述和属性中的至少一项,随机噪声608通常基于0-1之间的随机值而被生成,其可以为服从高斯分布的随机变量。此外,还可以指定要被生成的结构化图标的分辨率,例如64×64。
生成器310基于词向量605和随机噪声608,首先生成矢量化的结构数据620,其中矢量化的结构数据620可以包括直线和曲线参数,例如直线和曲线的坐标数据。如图6所示,一条直线通常可以使用2个点的坐标来表示,而一条曲线通常可以使用4个点的坐标来表示。在一些实施例中,矢量化的结构数据620可以以可伸缩向量图形(SVG)文件的格式进行存储。与普通图像相比,矢量图的线条更清楚,边缘也更平滑。因此,本公开的一些实施例通过矢量化,能够使得所生成的图标质量更高。在一些实施例中,生成器310可以通过全连接层来实现。
继续参考图6,绘制模型然后将矢量化的结构数据620转换成图标的光栅数据630,如图6所示,光栅数据630可以包括直线集合和曲线集合。接下来,绘制模型基于光栅数据630中的直线集合和曲线集合,通过最大池化绘制出结构化图标640,结构化图标640具有较高的线条质量。应当理解,虽然图6中绘制动作的绘制模型与生成器310分开设置,但是绘制模型也可以被包括在生成器310中。在一些实施例中,绘制模型可以通过若干层(例如5层、6层等)的二维反卷积来实现。
在一些实施例中,还可以设置一些图标规则(icon rule),来调整所生成的结构化图标。例如,在生成器310生成结构化图标之后,将结构化图标中距离相近的顶点相连接,从而对结构化图标进行优化。此外,还可以设置一些其他的图标规则来进行优化,例如,可以将不规则的线条变得更平滑、剔除无关的线条、调整对象结构的大小和方向,等等。
继续参考图6,判别器650可以判断所生成的结构化图标640是真还是假,如655所示,从而帮助训练生成器310来生成更真实的结构化图标。在本公开的实施例中,生成器310和判别器650可以组成图标生成模型,经训练的图标生成模型能够针对用户查询生成高质量的风格化图标。图7和图8示出了用于训练包括生成器310和判别器650的图标生成模型的示例实现。
图7示出了根据本公开的实施例的用于使用GAN训练图标生成模型的架构700的示意图。如图7所示,架构700主要包括生成器310和判别器650,在训练过程中,生成器310基于文本输入305生成结构化图标410,然后将所生成的结构化图标410和真实的结构化图标710一起传递到判别器650,判别器650基于对输入的各个图标真假性的判断720,来训练判别器650和生成器310。与使用普通图像进行训练相比,由于本公开的实施例使用简单的结构化图标进行训练,因而能够更容易且快速地训练出图标生成模型。
如图7所示,示出了针对对象“蛋糕”,使用蛋糕的真实图标进行训练的示例。类似地,还可以使用其他类别的真实图标进行训练,包括但不限于动物、人、食物、运动等。在一些实施例中,可以采用Wasserstein GAN(WGAN)算法来训练本公开的图标生成模型。与普通的GAN相比,WGAN更容易训练,并且收敛速度也更快。
图8示出了根据本公开的实施例的用于使用GAN训练图标生成模型的过程800的示意图。如图8所示,生成器310基于输入805,生成相应的生成数据815,然后将生成数据815和真实数据825一起传递到判别器650,判别器650判断所输入的每个数据的真假性830。
在训练过程中,迭代地训练判别器650和生成器310,在这个过程中判别器650和生成器310都在不断优化各自的网络,从而形成竞争对抗,直到双方达到一个动态平衡(即纳什均衡)。在训练完成之后,生成器310能够模拟出真实数据825的分布(所生成的生成数据815和真实数据825相同),判别器650此时判断不出生成数据的真假性,判断的准确率为50%。
在具体的迭代训练过程中,首先固定生成器310,训练判别器650,如箭头840所示。判别器650可以将真实数据825处理后的输出标记为1,将生成数据815处理后的输出为标记0。通过这种方式,可以首先训练判别器650。接下来,固定判别器650,训练生成器310,如箭头850所示。生成器310优化自己的生成网络使得其输出的生成数据815与真实数据825一致,并且使得所生成的数据能骗过判别器650的判断。可以多次迭代地训练判别器650和生成器310,直到图标生成模型变得收敛。
本文中所描述的方法和功能可以至少部分地由一个或多个硬件逻辑组件来执行。例如但不限于,可以使用的硬件逻辑组件的示意性类型包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开内容的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外,虽然采用特定次序描绘了各操作,但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行,或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地,在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
以下列出了本公开的一些示例实现方式。
在一个方面,提供了一种计算机实现的方法。该方法包括:获得用于生成对象的图标的文本输入;基于文本输入,生成体现对象的结构的第一图标,其中对象的结构通过线条来表征;以及将第一图标风格化成第二图标。
在一些实施例中,其中获得用于生成对象的图标的文本输入包括:获得文本输入和随机输入,其中文本输入包括与对象相关联的类别、关键词、文本描述和属性中的至少一项,并且随机输入是服从高斯分布的随机变量。
在一些实施例中,其中生成具有对象的结构的第一图标包括:基于文本输入和随机输入,生成矢量化的结构数据,其中矢量化的结构数据包括直线和曲线的坐标数据;基于矢量化的结构数据,获得第一图标的光栅数据,其中光栅数据包括直线集合和曲线集合;以及基于光栅数据中的直线集合和曲线集合,绘制第一图标。
在一些实施例中,其中绘制第一图标包括:基于光栅数据中的直线集合和曲线集合,绘制候选图标;以及通过将候选图标中距离相近的顶点相连接,来将候选图标优化为第一图标。
在一些实施例中,其中将第一图标风格化成第二图标包括:接收针对第一图标的用户输入,其中用户输入指示调整第一图标中的线条的形状和属性的至少一项;以及基于接收到的用户输入,调整第一图标中的对象的结构。
在一些实施例中,其中将第一图标风格化成第二图标还包括:基于文本输入,确定对象的语义信息;以及基于对象的结构和语义信息,对第一图标进行填色。
在一些实施例中,其中第一图标的生成由生成器来执行,方法还包括:使用生成式对抗网络(GAN)来迭代地训练判别器和生成器,其中判别器用于判断图标的真假性。
在一些实施例中,方法还包括:基于从文本输入获得的至少两个语义,生成至少两个图标;以及将至少两个图标组合成单个新图标。
在一些实施例中,方法还包括:基于文本输入,获得一系列图标;以及基于一系列图标,创建动画形式的图标。
在另一方面,提供了一种电子设备。该电子设备包括:处理单元;存储器,耦合至处理单元并且存储有指令,指令在由处理单元执行时执行动作,所述动作包括:获得用于生成对象的图标的文本输入;基于文本输入,生成体现对象的结构的第一图标,其中对象的结构通过线条来表征;以及将第一图标风格化成第二图标。
在一些实施例中,其中获得用于生成对象的图标的文本输入包括:获得文本输入和随机输入,其中文本输入包括与对象相关联的类别、关键词、文本描述和属性中的至少一项,并且随机输入是服从高斯分布的随机变量。
在一些实施例中,其中生成具有对象的结构的第一图标包括:基于文本输入和随机输入,生成矢量化的结构数据,其中矢量化的结构数据包括直线和曲线的坐标数据;基于矢量化的结构数据,获得第一图标的光栅数据,其中光栅数据包括直线集合和曲线集合;以及基于光栅数据中的直线集合和曲线集合,绘制第一图标。
在一些实施例中,其中绘制第一图标包括:基于光栅数据中的直线集合和曲线集合,绘制候选图标;以及通过将候选图标中距离相近的顶点相连接,来将候选图标优化为第一图标。
在一些实施例中,其中将第一图标风格化成第二图标包括:接收针对第一图标的用户输入,其中用户输入指示调整第一图标中的线条的形状和属性的至少一项;以及基于接收到的用户输入,调整第一图标中的对象的结构。
在一些实施例中,其中将第一图标风格化成第二图标还包括:基于文本输入,确定对象的语义信息;以及基于对象的结构和语义信息,对第一图标进行填色。
在一些实施例中,其中第一图标的生成由生成器来执行,动作还包括:使用生成式对抗网络(GAN)来迭代地训练判别器和生成器,其中判别器用于判断图标的真假性。
在一些实施例中,动作还包括:基于从文本输入获得的至少两个语义,生成至少两个图标;以及将至少两个图标组合成单个新图标。
在一些实施例中,动作还包括:基于文本输入,获得一系列图标;以及基于一系列图标,创建动画形式的图标。
在又一方面,提供了一种计算机程序产品。该计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令,机器可执行指令在设备中运行时使得设备:获得用于生成对象的图标的文本输入;基于文本输入,生成体现对象的结构的第一图标,其中对象的结构通过线条来表征;以及将第一图标风格化成第二图标。
在一些实施例中,其中获得用于生成对象的图标的文本输入包括:获得文本输入和随机输入,其中文本输入包括与对象相关联的类别、关键词、文本描述和属性中的至少一项,并且随机输入是服从高斯分布的随机变量。
在一些实施例中,其中生成具有对象的结构的第一图标包括:基于文本输入和随机输入,生成矢量化的结构数据,其中矢量化的结构数据包括直线和曲线的坐标数据;基于矢量化的结构数据,获得第一图标的光栅数据,其中光栅数据包括直线集合和曲线集合;以及基于光栅数据中的直线集合和曲线集合,绘制第一图标。
在一些实施例中,其中绘制第一图标包括:基于光栅数据中的直线集合和曲线集合,绘制候选图标;以及通过将候选图标中距离相近的顶点相连接,来将候选图标优化为第一图标。
在一些实施例中,其中将第一图标风格化成第二图标包括:接收针对第一图标的用户输入,其中用户输入指示调整第一图标中的线条的形状和属性的至少一项;以及基于接收到的用户输入,调整第一图标中的对象的结构。
在一些实施例中,其中将第一图标风格化成第二图标还包括:基于文本输入,确定对象的语义信息;以及基于对象的结构和语义信息,对第一图标进行填色。
在一些实施例中,其中第一图标的生成由生成器来执行,机器可执行指令在设备中运行时还使得设备:使用生成式对抗网络(GAN)来迭代地训练判别器和生成器,其中判别器用于判断图标的真假性。
在一些实施例中,机器可执行指令在设备中运行时还使得设备:基于从文本输入获得的至少两个语义,生成至少两个图标;以及将至少两个图标组合成单个新图标。
在一些实施例中,机器可执行指令在设备中运行时还使得设备:基于文本输入,获得一系列图标;以及基于一系列图标,创建动画形式的图标。
尽管已经采用特定于结构和/或方法逻辑动作的语言描述了本公开,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种计算机实现的方法,包括:
获得用于生成对象的图标的文本输入;
基于所述文本输入,生成体现所述对象的结构的第一图标,所述对象的所述结构通过线条来表征;以及
将所述第一图标风格化成第二图标。
2.根据权利要求1所述的方法,其中获得用于生成对象的图标的文本输入包括:
获得所述文本输入和随机输入,所述文本输入包括与所述对象相关联的类别、关键词、文本描述和属性中的至少一项,并且所述随机输入是服从高斯分布的随机变量。
3.根据权利要求2所述的方法,其中生成具有所述对象的结构的第一图标包括:
基于所述文本输入和所述随机输入,生成矢量化的结构数据,所述矢量化的结构数据包括直线和曲线的坐标数据;
基于所述矢量化的结构数据,获得所述第一图标的光栅数据,所述光栅数据包括直线集合和曲线集合;以及
基于所述光栅数据中的所述直线集合和所述曲线集合,绘制所述第一图标。
4.根据权利要求3所述的方法,其中绘制所述第一图标包括:
基于所述光栅数据中的所述直线集合和所述曲线集合,绘制候选图标;以及
通过将所述候选图标中距离相近的顶点相连接,来将所述候选图标优化为所述第一图标。
5.根据权利要求1所述的方法,其中将所述第一图标风格化成第二图标包括:
接收针对所述第一图标的用户输入,所述用户输入指示调整所述第一图标中的线条的形状和属性的至少一项;以及
基于接收到的所述用户输入,调整所述第一图标中的所述对象的所述结构。
6.根据权利要求5所述的方法,其中将所述第一图标风格化成第二图标还包括:
基于所述文本输入,确定所述对象的语义信息;以及
基于所述对象的所述结构和所述语义信息,对所述第一图标进行填色。
7.根据权利要求1所述的方法,其中所述第一图标的生成由生成器来执行,所述方法还包括:
使用生成式对抗网络(GAN)来迭代地训练判别器和所述生成器,所述判别器用于判断图标的真假性。
8.根据权利要求1所述的方法,还包括:
基于从所述文本输入获得的至少两个语义,生成至少两个图标;以及
将所述至少两个图标组合成单个新图标。
9.根据权利要求1所述的方法,还包括:
基于所述文本输入,获得一系列图标;以及
基于所述一系列图标,创建动画形式的图标。
10.一种电子设备,包括:
处理单元;
存储器,耦合至所述处理单元并且存储有指令,所述指令在由所述处理单元执行时执行动作,所述动作包括:
获得用于生成对象的图标的文本输入;
基于所述文本输入,生成体现所述对象的结构的第一图标,所述对象的所述结构通过线条来表征;以及
将所述第一图标风格化成第二图标。
11.根据权利要求10所述的设备,其中获得用于生成对象的图标的文本输入包括:
获得所述文本输入和随机输入,所述文本输入包括与所述对象相关联的类别、关键词、文本描述和属性中的至少一项,并且所述随机输入是服从高斯分布的随机变量。
12.根据权利要求11所述的设备,其中生成具有所述对象的结构的第一图标包括:
基于所述文本输入和所述随机输入,生成矢量化的结构数据,所述矢量化的结构数据包括直线和曲线的坐标数据;
基于所述矢量化的结构数据,获得所述第一图标的光栅数据,所述光栅数据包括直线集合和曲线集合;以及
基于所述光栅数据中的所述直线集合和所述曲线集合,绘制所述第一图标。
13.根据权利要求12所述的设备,其中绘制所述第一图标包括:
基于所述光栅数据中的所述直线集合和所述曲线集合,绘制候选图标;以及
通过将所述候选图标中距离相近的顶点相连接,来将所述候选图标优化为所述第一图标。
14.根据权利要求10所述的设备,其中将所述第一图标风格化成第二图标包括:
接收针对所述第一图标的用户输入,所述用户输入指示调整所述第一图标中的线条的形状和属性的至少一项;以及
基于接收到的所述用户输入,调整所述第一图标中的所述对象的所述结构。
15.根据权利要求14所述的设备,其中将所述第一图标风格化成第二图标还包括:
基于所述文本输入,确定所述对象的语义信息;以及
基于所述对象的所述结构和所述语义信息,对所述第一图标进行填色。
16.根据权利要求10所述的设备,其中所述第一图标的生成由生成器来执行,所述动作还包括:
使用生成式对抗网络(GAN)来迭代地训练判别器和所述生成器,所述判别器用于判断图标的真假性。
17.根据权利要求10所述的设备,所述动作还包括:
基于从所述文本输入获得的至少两个语义,生成至少两个图标;以及
将所述至少两个图标组合成单个新图标。
18.根据权利要求10所述的设备,所述动作还包括:
基于所述文本输入,获得一系列图标;以及
基于所述一系列图标,创建动画形式的图标。
19.一种计算机程序产品,所述计算机程序产品被存储在非瞬态计算机存储介质中并且包括机器可执行指令,所述机器可执行指令在设备中运行时使得所述设备:
获得用于生成对象的图标的文本输入;
基于所述文本输入,生成体现所述对象的结构的第一图标,所述对象的所述结构通过线条来表征;以及
将所述第一图标风格化成第二图标。
20.根据权利要求19所述的计算机程序产品,其中将所述第一图标风格化成第二图标包括:
接收针对所述第一图标的用户输入,所述用户输入指示调整所述第一图标中的线条的形状和属性的至少一项;以及
基于接收到的所述用户输入,调整所述第一图标中的所述对象的所述结构。
CN201910395510.6A 2019-05-13 2019-05-13 风格化图标的自动生成 Pending CN111930376A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910395510.6A CN111930376A (zh) 2019-05-13 2019-05-13 风格化图标的自动生成
EP20720564.2A EP3970118A1 (en) 2019-05-13 2020-03-19 Automatic generation of stylized icons
PCT/US2020/023461 WO2020231513A1 (en) 2019-05-13 2020-03-19 Automatic generation of stylized icons
US17/606,985 US11914841B2 (en) 2019-05-13 2020-03-19 Automatic generation of stylized icons
US18/415,368 US20240201824A1 (en) 2019-05-13 2024-01-17 Automatic generation of stylized icons

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910395510.6A CN111930376A (zh) 2019-05-13 2019-05-13 风格化图标的自动生成

Publications (1)

Publication Number Publication Date
CN111930376A true CN111930376A (zh) 2020-11-13

Family

ID=70334041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910395510.6A Pending CN111930376A (zh) 2019-05-13 2019-05-13 风格化图标的自动生成

Country Status (4)

Country Link
US (2) US11914841B2 (zh)
EP (1) EP3970118A1 (zh)
CN (1) CN111930376A (zh)
WO (1) WO2020231513A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506510A (zh) * 2020-12-15 2021-03-16 科大讯飞股份有限公司 系统皮肤生成方法、装置、设备及存储介质
CN113961112A (zh) * 2021-10-22 2022-01-21 维沃移动通信有限公司 图标显示方法、装置及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3602328B1 (en) * 2017-03-31 2024-08-28 Syngrafii Inc. Systems and methods for executing and delivering electronic documents
CN116542846B (zh) * 2023-07-05 2024-04-26 深圳兔展智能科技有限公司 用户账号图标生成方法、装置、计算机设备及存储介质
CN117315417B (zh) * 2023-09-04 2024-05-14 浙江大学 一种基于扩散模型的服装样式融合方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010045735A1 (en) * 2008-10-22 2010-04-29 Xtranormal Technology Inc. Generation of animation using icons in text
CA2800893A1 (en) * 2010-05-28 2011-12-01 Adapx, Inc. Methods and systems for automated creation, recognition and display of icons
WO2015065424A1 (en) * 2013-10-31 2015-05-07 Intel Corporation Context-based message creation via user-selectable icons
CN105893044A (zh) * 2016-03-31 2016-08-24 广州华多网络科技有限公司 图标生成方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3168570B2 (ja) 1989-11-08 2001-05-21 富士通株式会社 アイコンパターン自動生成装置および方法
GB2241629A (en) 1990-02-27 1991-09-04 Apple Computer Content-based depictions of computer icons
US20020057285A1 (en) * 2000-08-04 2002-05-16 Nicholas James J. Non-intrusive interactive notification system and method
JP2003162355A (ja) 2001-11-26 2003-06-06 Sony Corp タスクの表示切り替え方法及び携帯機器及び携帯通信機器
JP4095071B2 (ja) * 2004-03-19 2008-06-04 株式会社リコー ディスプレイ付き電子装置、ディスプレイ付き電子装置の制御方法、及びプログラム
US20050251590A1 (en) * 2004-05-10 2005-11-10 Dell Products L.P. Peripheral device that receives an icon from an information handling system
US7827503B2 (en) 2005-07-27 2010-11-02 Yahoo! Inc. Automatically generating a search result in a separate window for a displayed symbol that is selected with a drag and drop control
US20070124700A1 (en) * 2005-11-29 2007-05-31 Nokia Corporation Method of generating icons for content items
US8775526B2 (en) * 2006-01-16 2014-07-08 Zlango Ltd. Iconic communication
US7614018B1 (en) * 2006-02-13 2009-11-03 Google Inc. Web based user interface for selecting options
US7784696B2 (en) * 2006-06-09 2010-08-31 Hand Held Products, Inc. Indicia reading apparatus having image sensing and processing circuit
US20090119678A1 (en) * 2007-11-02 2009-05-07 Jimmy Shih Systems and methods for supporting downloadable applications on a portable client device
US8411112B1 (en) 2011-07-08 2013-04-02 Google Inc. Systems and methods for generating an icon
US20140095335A1 (en) * 2012-09-28 2014-04-03 Interactive Memories, Inc. Method for Dynamic Invoicing of Print Vendors at Real-Time Negotiated or Advertised Pricing for Online Printing Services
US9595977B2 (en) * 2014-09-29 2017-03-14 Apple Inc. LDPC decoder with efficient circular shifters
US9594977B2 (en) * 2015-06-10 2017-03-14 Adobe Systems Incorporated Automatically selecting example stylized images for image stylization operations based on semantic content
US11160688B2 (en) * 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US10565757B2 (en) * 2017-06-09 2020-02-18 Adobe Inc. Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010045735A1 (en) * 2008-10-22 2010-04-29 Xtranormal Technology Inc. Generation of animation using icons in text
CA2800893A1 (en) * 2010-05-28 2011-12-01 Adapx, Inc. Methods and systems for automated creation, recognition and display of icons
WO2015065424A1 (en) * 2013-10-31 2015-05-07 Intel Corporation Context-based message creation via user-selectable icons
CN105893044A (zh) * 2016-03-31 2016-08-24 广州华多网络科技有限公司 图标生成方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DHANYAJA N等: "Development of EMR Based HIMS with the Support of Icon Based Text Editor", IJERT, vol. 2, no. 9, 9 March 2013 (2013-03-09), pages 75 - 78 *
周煜啸等: "基于设计符号学的图标设计", 计算机辅助设计与图形学学报, vol. 24, no. 10, 31 October 2012 (2012-10-31), pages 1319 - 1327 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506510A (zh) * 2020-12-15 2021-03-16 科大讯飞股份有限公司 系统皮肤生成方法、装置、设备及存储介质
CN112506510B (zh) * 2020-12-15 2024-06-04 科大讯飞股份有限公司 系统皮肤生成方法、装置、设备及存储介质
CN113961112A (zh) * 2021-10-22 2022-01-21 维沃移动通信有限公司 图标显示方法、装置及电子设备

Also Published As

Publication number Publication date
US20240201824A1 (en) 2024-06-20
US11914841B2 (en) 2024-02-27
US20220253202A1 (en) 2022-08-11
WO2020231513A1 (en) 2020-11-19
EP3970118A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
US11263259B2 (en) Compositing aware digital image search
US11914841B2 (en) Automatic generation of stylized icons
Chai et al. Autohair: Fully automatic hair modeling from a single image
US9501724B1 (en) Font recognition and font similarity learning using a deep neural network
US11809822B2 (en) Joint visual-semantic embedding and grounding via multi-task training for image searching
CN111428457B (zh) 数据表的自动格式化
US11636251B2 (en) Content aware font recommendation
US11829710B2 (en) Deriving global intent from a composite document to facilitate editing of the composite document
CN117058271A (zh) 用于生成商品主图背景的方法及计算设备
Shen et al. Clipgen: A deep generative model for clipart vectorization and synthesis
CN109388725A (zh) 通过视频内容进行搜索的方法及装置
Xing et al. Diffsketcher: Text guided vector sketch synthesis through latent diffusion models
Ham et al. Cogs: Controllable generation and search from sketch and style
CN117011875A (zh) 多媒体页面的生成方法、装置、设备、介质和程序产品
Ueno et al. Continuous and gradual style changes of graphic designs with generative model
GB2623623A (en) Stylized glyphs using generative AI
AU2017279613A1 (en) Method, system and apparatus for processing a page of a document
Cao et al. SynArtifact: Classifying and Alleviating Artifacts in Synthetic Images via Vision-Language Model
KR20210132060A (ko) 스타일 트랜스퍼
CN116310028A (zh) 三维人脸模型的风格迁移方法及系统
CN114037644B (zh) 一种基于生成对抗网络的艺术字图像合成系统及方法
Togo et al. Text-guided style transfer-based image manipulation using multimodal generative models
CN114742991A (zh) 海报背景图像选取、模型训练、海报生成方法及相关装置
Efimova et al. Text-based sequential image generation
Lopes et al. EvoDesigner: aiding the exploration of innovative graphic design solutions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination