CN110489024A - 基于所生成的象形符创建数据的视觉表示的系统和方法 - Google Patents

基于所生成的象形符创建数据的视觉表示的系统和方法 Download PDF

Info

Publication number
CN110489024A
CN110489024A CN201910175829.8A CN201910175829A CN110489024A CN 110489024 A CN110489024 A CN 110489024A CN 201910175829 A CN201910175829 A CN 201910175829A CN 110489024 A CN110489024 A CN 110489024A
Authority
CN
China
Prior art keywords
pictograph
symbol
data
user
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910175829.8A
Other languages
English (en)
Inventor
赵健
Y·Y·陈
弗朗辛·陈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Applied Co Ltd
Original Assignee
Fuji Applied Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Applied Co Ltd filed Critical Fuji Applied Co Ltd
Publication of CN110489024A publication Critical patent/CN110489024A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

基于所生成的象形符创建数据的视觉表示的系统和方法。提供了一种用于创建数据的视觉表示的方法和系统。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成象形符的方面与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。

Description

基于所生成的象形符创建数据的视觉表示的系统和方法
技术领域
本公开涉及使用所生成的独特象形符或图标的数据表示，更具体地，涉及使用由机器基于初始用户输入生成的象形符或图标来自动地创建数据的视觉表示的系统和方法。
背景技术
在数据的数字显示中越来越多地使用象形符(Glyph)或图标来表示数据或思想。例如，可在通常用于视觉地和表现地传达数据中的消息的信息图表中使用象形符或图标。信息图中的象形符或图标可以是同时承载简明信息和提供引人注目的设计通常所需的信息图的不可或缺的组成部分，这可导致更高级别的专业性。象形符或图标通常还用在消息传送或通讯平台中以表达消息或概念。例如，表情符号(emoji)象形符或图标经常用于仅仅用最少数量的词语或者根本不用词语来表达感情或思想。
为了准确地捕捉变化的思想或概念，这些象形符或图标可能需要相当大的编辑工作量。为了减少编辑工作，已开发了相关技术的创作工具来帮助设计者创建修改包含在信息图或消息传送应用中的象形符或图标。然而，许多相关技术的工具要求用户从头开始绘制象形符，这可能超出业余用户的能力。其它相关技术工具仅提供在现有数据库中搜索相关象形符，这可能被视为过时的或者产生潜在地侵犯版权的问题。本申请的示例实现方式可解决这些不足。
发明内容
本申请的方面可涉及一种创建数据的视觉表示的方法。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成象形符的方面(aspect)与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。
本申请另外的方面可涉及一种存储有用于使计算机执行一种创建数据的视觉表示的方法的程序的非暂时性计算机可读介质。该方法可包括以下步骤：接收要由象形符表示的用户输入；通过神经网络基于根据所接收的用户输入提取的向量来生成象形符；将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及显示使用所生成的象形符创建的数据的视觉表示，以表示所述数据的被链接的方面。
本申请另外的方面涉及一种生成象形符的方法。该方法可包括以下步骤：在显示器上提供用户界面，该用户界面被配置为接收要由象形符表示的用户输入，该用户输入包括词语、简短描述、用户生成的草图以及用户生成的笔画中的一个或更多个；通过神经网络基于根据所接收的用户输入提取的向量来生成潜在象形符；显示所生成的潜在象形符以供选择。
本申请另外的方面涉及一种被配置为创建数据的视觉表示的计算机设备。该计算机设备可包括：用于接收要由象形符表示的用户输入的装置；用于通过神经网络基于根据所接收的用户输入提取的向量来生成象形符的装置；用于将所生成的象形符的方面与要在视觉上表示的数据的属性链接的装置；以及用于显示使用所生成的象形符创建的数据的视觉表示以表示所述数据的被链接的方面的装置。
本申请另外的方面涉及一种被配置为生成象形符的计算机设备。该计算机设备可包括：用于在显示器上提供用户界面的装置，该用户界面被配置为接收要由象形符表示的用户输入，该用户输入包括词语、简短描述、用户生成的草图以及用户生成的笔画中的一个或更多个；用于通过神经网络基于根据所接收的用户输入提取的向量来生成潜在象形符的装置；用于显示所生成的潜在象形符以供选择的装置。
附图说明
本专利或申请文件包含至少一幅彩色附图。带有彩色附图的本专利或专利申请公布的副本将在请求并支付必要费用后由主管局提供。
图1示出根据本申请示例实现方式的生成用于信息图的象形符或图标的过程的流程图。
图2示出根据本申请示例实现方式的生成用于信息图的象形符或图标的另一过程的流程图。
图3示出可用于控制根据本申请示例实现方式的系统的用户界面(UI)。
图4示出根据本申请示例实现方式的生成象形符或图标的过程的流程图。
图5示出根据本申请示例实现方式的图4所示的象形符生成过程的示意性表示。
图6示出通过本申请示例实现方式实验性地产生的示例象形符类型的生成图像的网格。
图7示出具有适用于本申请的一些示例实现方式的示例计算机装置的示例计算环境。
具体实施方式
以下详细描述提供了附图和本申请的示例实现方式的进一步的细节。为了清晰，省略了附图之间的冗余元件的附图标记和描述。贯穿说明书所使用的术语作为示例提供，并非旨在限制。例如，根据实践本申请实现方式的本领域普通技术人员中的一个的期望实现方式，术语“自动”的使用可包括全自动或者涉及用户或操作者对实现方式的某些方面进行控制的半自动实现方式。此外，诸如“第一”、“第二”、“第三”等的顺序术语可在说明书和权利要求中仅仅用于标记目的，而不应限于涉及所描述的动作或者项(item)按照所描述的顺序出现。在不脱离本申请的范围的情况下，动作或项可被排序为不同的顺序，或者可并行或动态地执行。
如上所述，获得用于信息图注释或用在消息传送平台中的象形符(图标)可能是麻烦的。例如，用户可能无法创建它们，并且通过搜索识别的象形符可能导致版权问题以及难以识别相同样式的集合。本申请的示例实现方式可包括支持用户使用神经网络交互地创建、修改和引导象形符创作的系统和方法。该系统可包括提供非版权保护的象形符变型的图像象形符生成器以及支持如下面更详细讨论的象形符创建的接口。
为了服务于更广范围的用户，示例实现方式可利用象形符图像生成器来示出各种候选象形符图像以供用户初始化和编辑进而创建期望的象形符。与在现有数据库中搜索相关象形符相比，所生成的象形符可以是独特的、新的，并且避免了版权问题。此外，在一些示例实现方式中，所生成的象形符可与已知的受版权保护的图标或象形符进行比较，并且当检测到的相似度超过阈值时，所生成的象形符可被拒绝并且更新生成模型，以在后续生成的象形符中创建更大的不相似。
此外，可提供更高级别的自定义，因为可通过基于用户的图像和文本编辑自动地重新生成象形符图像来将用户反馈整合到交互过程中。值得注意的是，通过系统创建的生成象形符可表现出相当大的变化，该变化可以是在信息图中使用的头脑风暴创造性设计的有用参考。
此外，尽管相关技术的系统可能还能够学习笔画顺序以生成类似人类图画的草图，但是根据示例实现方式的深度卷积生成式对抗网络(DCGAN)生成器不需要用笔画或绘画顺序训练信息来进行训练。
在本申请中，术语“图像”和“图画”可互换使用，以描述照片、视频、三维或360°图像记录、图画、绘画、草图、计算机生成的图像或者可被产生、被捕捉或可以以其它方式表示物品、事件或真实世界中的存在的任何其它视觉表示中的一个或更多个。“图像”和“图画”可作为数据文件或其它数据结构存储在计算机可读介质上，该计算机可读介质包括但不限于磁存储装置、光学存储装置、固态存储装置、有机存储装置或者对于本领域普通技术人员而言可显而易见的任何其它存储装置。
类似地，术语“象形符”、“图标”、或“图画”可互换使用，以描述对于本领域普通技术人员而言可显而易见的词语、短语、对象、地点、人或事物的任何图形概念表示。此外，“象形符”、“图标”、或“图画”可作为数据文件或其它数据结构存储在计算机可读介质上，该计算机可读介质包括但不限于磁存储装置、光学存储装置、固态存储装置、有机存储装置或者对于本领域普通技术人员而言可显而易见的任何其它存储装置。此外，计算机可读介质可包括本地存储装置、基于云的存储装置、远程服务器或者对于本领域普通技术人员而言可显而易见的任何其它存储装置。
图1示出根据本申请示例实现方式的生成用于信息图的象形符或图标的过程100的流程图。过程100可由计算环境中的计算装置(例如下面所讨论的图7所示的示例计算环境700的示例计算装置705)执行。尽管过程100的要素可按照特定顺序示出，但示例实现方式不限于所示的特定顺序。在不脱离本申请的范围的情况下，示例实现方式可包括动作被排序为对于本领域普通技术人员而言可显而易见的不同顺序，或者动作可并行或动态地执行。
如图1所示，在105处，系统接收要由所生成的象形符表示的用户输入。在一些示例实现方式中，用户输入可包括输入简短文本描述110(例如，“苹果”)，或者绘制草图或几道笔画115，或者这二者。用户输入可由用户使用用户界面(UI)(例如，下面所讨论的图3所示的UI 300)提供。在120处，系统可取得用户输入(例如，简短文本描述110以及草图或几道笔画115)，以基于所提供的文本描述110和/或草图/笔画115使用深度学习或机器处理生成一系列象形符125。在一些示例实现方式中，可选地，这些象形符125可由用户进一步编辑并且系统可重复105和120，以相应地生成新的象形符集。
此外，在一些示例实现方式中，可选地，要表示的数据135可用于影响120处的象形符生成。例如，数据135的特定属性(例如，方差或变化性)可影响所生成的不同类型的象形符的数量或者所生成的不同象形符之间的变化程度。下面参考图4的子过程400更详细地讨论象形符生成的其它方面。
与象形符生成120并行，用户输入105可用于在140处将象形符的绘画性质链接到数据135的属性，以针对数据集135中的各个条目集调节象形符的外观。例如，UI(例如，图3的UI 300)可用于指定要链接在完成的信息图中的数据属性(例如，值、范围、类别等)和绘画性质(例如，笔画/线条颜色、填充不透明度、象形符类型、填充颜色、填充图案、笔画/线条宽度、笔画/线条图案等)。
此外，与象形符生成120和属性链接140并行，可选地，用户输入105和数据135可用于在130处指定要用于生成信息图的图表布局参数。例如，UI(例如，图3的UI 300)可用于选择将行数据集可视化的不同图表布局，并且进一步将所生成的象形符附到基本图表布局。
通过象形符生成120、属性链接140以及可选地图表布局参数130产生的象形符125可在145处用于生成信息图。此后，用户可在图表上添加注释以及执行后编辑，因此产生由所生成的象形符授权(empower)的最终引人注目的信息图。所产生的信息图可被显示、存储、打印、张贴到社交媒体或者按照对于本领域普通技术人员而言可显而易见的任何方式使用。在145处生成信息图之后，过程100可结束。
图2示出根据本申请示例实现方式的生成用于信息图的象形符或图标的另一过程200的流程图。过程200的一些方面可类似于上面参考图1所讨论的过程100，因此本文中可省略这些冗余讨论。过程200可由计算环境中的计算装置(例如下面所讨论的图7所示的示例计算环境700的示例计算装置705)执行。尽管过程200的要素可按照特定顺序示出，但示例实现方式不限于所示的特定顺序。在不脱离本申请的范围的情况下，示例实现方式可包括动作被排序为对于本领域普通技术人员而言可显而易见的不同顺序，或者动作可并行或动态地执行。
如图2所示，在205处，系统接收要由所生成的象形符表示的用户输入。在一些示例实现方式中，用户输入可包括输入简短文本描述210(例如，“苹果”)，或者绘制草图或几道笔画215，或者这二者。用户输入可由用户使用用户界面(UI)(例如，下面所讨论的图3所示的UI 300)提供。在220处，系统可取得用户输入(例如，简短文本描述110以及草图或几道笔画115)，以基于所提供的文本描述210和/或草图/笔画215使用深度学习或机器处理生成一系列象形符225。在一些示例实现方式中，可选地，这些象形符225可由用户进一步编辑并且系统可重复105和120，以相应地生成新的象形符集。
此外，在一些示例实现方式中，要表示的数据235可以可选地用于影响220处的象形符生成。例如，数据235的特定属性(例如，方差或变化性)可影响所生成的不同类型的象形符的数量或者所生成的不同象形符之间的变化程度。下面参考图4的子过程400更详细地讨论象形符生成的其它方面。
在象形符生成220之后，所产生的象形符225可与用户输入205和数据235组合地用于在230处指定要用于生成信息图的图表布局参数。例如，UI(例如，图3的UI 300)可用于选择将行数据集可视化的不同图表布局，并且进一步将所生成的象形符附到基本图表布局。
此外，在230处指定图表布局参数之后，用户输入205可用于在240处将所生成的象形符225的绘画性质链接到数据235的属性，以针对数据集235中的各个集合或条目调节象形符的外观。例如，UI(例如，图3的UI 300)可用于指定要链接在完成的信息图中的数据属性(例如，值、范围、类别等)和绘画性质(例如，笔画/线条颜色、填充不透明度、象形符类型、填充颜色、填充图案、笔画/线条宽度、笔画/线条图案等)。
此后，属性链接240、象形符225、链接的属性和图表布局参数可在245处用于生成信息图。此后，用户可在图表上添加注释以及执行后编辑，因此产生由所生成的象形符授权的最终引人注目的信息图。所产生的信息图可被显示、存储、打印、张贴到社交媒体或者按照对于本领域普通技术人员而言可显而易见的任何方式使用。在245处生成信息图之后，过程200可结束。
图3示出可用于控制根据本申请示例实现方式的系统的用户界面(UI)300。UI 300可显示在显示装置上，该显示装置包括但不限于计算机监视器、TV、移动装置的触摸屏显示器、膝上型计算机显示屏幕或者对于本领域普通技术人员而言可显而易见的任何其它显示装置。如图所示，UI 300包括四个主面板，包括主画布305、象形符创作面板310、数据绑定面板315和图表布局面板320。
在象形符创作面板310上，用户可使用该面板左侧的三个按钮328a-328c输入描述对象的文本(例如，“TV”)或绘制该对象的草图。在一些示例实现方式中，象形符创作面板310可作为触摸屏显示器实现，以允许用户直接在象形符创作面板310中绘制，或者可被配置为从用户输入装置(例如电子草图面板或允许捕捉并识别用户笔画的其它装置)接收输入。系统可基于用户输入来生成具有变化的象形符的列表，该列表被显示在象形符创作面板310的推荐部分330中。
用户可从该推荐部分330中选择象形符来应用，并且在一些示例实现方式中，使用按钮328a和328b来添加或移除笔画以细化草图。基于新的输入，系统可生成新的象形符列表并更新推荐部分330。这可形成创作象形符的重复和交互过程。在一些示例实现方式中，UI 300还可包括允许用户调节各种象形符的级别(level)以生成更一致或更不一致的象形符的滑块360。例如，用户可能想要生成多个相似的象形符以表示仅具有略微差异的数据，或者用户可能想要生成多个变化很大的象形符以表示变化很大的数据。
此外，在一些示例实现方式中，UI 300还可包括所生成的象形符的在面板右侧的历史部分335中显示的浏览历史，这允许用户返回并选择先前创建的象形符。这可用作针对用户的自定义的且动态的象形符库。
象形符创作面板310可方便或帮助用户进行象形符策展和创作，特别是对于不具有良好艺术技能的一般受众。例如，如果用户真的不擅长绘画，则他们可仅输入词语(例如，图3中的“TV”)；并且如果用户想要进行一些控制但不是很自信，则他们可绘制一些初始笔画。在两种情况下，系统提供象形符的广泛选择，以降低进行专业绘画的阻碍。另外，在任何时间，如果不满意的话，则用户能够编辑所生成的结果。在一些示例实现方式中，象形符创作面板310可作为单独的UI提供，并且可独立于信息图生成UI(例如，图3所示的UI 300)。例如，象形符创作面板310可被实现为需要创作或创建自定义象形符或图标的消息传送或通讯平台或任何其它平台的一部分。
返回UI 300，数据绑定面板315可允许用户从在开始时加载的原始数据集中选择哪些绘画性质350(例如，填充颜色、笔画宽度等)应该被编码或链接到哪些数据属性340。例如，用户可能希望设定象形符的填充颜色以指示不同的收益范围。所连接的绘画性质和数据属性显示在数据绑定面板315的顶部(通过椭圆365强调)。小数据表345可提供数据集及其属性的预览。数据绑定面板315还显示可用绘画性质355(例如，还未与数据属性绑定的绘画性质)的列表。数据绑定面板315可允许用户利用简单的拖放交互(例如，将数据表中的属性标签拖曳到可用绘画性质，或者反之亦然)创建数据绑定。
利用图表布局面板320，用户可容易地挑选一个常见的图表类型(例如线图370b、条形图370a、饼形图370c或者对于本领域普通技术人员而言可显而易见的任何其它图表类型)来表示数据。图表布局面板320可显示由主画布305上的数据驱动的基本图表，就像电子表格应用或程序一样。用户然后可将象形符附到图表要素，以增加图形的表现力和吸引力。例如，在图3中，用户可选择条形图布局370a并将三个不同类型的“TV”象形符327a、327b、372c附到主画布的图表325中的不同条326a、326b、326c。留下由条形图布局最初生成的一个空白条326d，以添加另一“TV”象形符。
另外，在一些示例实现方式中也可包含常见绘画工具的基本编辑功能。因此，用户可在图表上进行文本注释、添加图表标题、调节大小以及执行其它图表编辑操作。
图4示出根据本申请示例实现方式的生成象形符或图标的过程400的流程图。过程400可作为使用诸如上面所讨论的图1和图2所示的过程100或过程200的过程生成信息图的一部分来执行。过程400也可独立于信息图生成过程执行。例如，过程400可作为电子表格或数据操纵程序、演示开发程序、消息传送或通讯平台的一部分或者作为社交媒体产品或对于本领域普通技术人员而言可能显而易见的任何其它应用的一部分来执行。
过程400可由计算环境中的计算装置(例如下面所讨论的图7所示的示例计算环境700的示例计算装置705)执行。尽管过程400的要素可按照特定顺序示出，但示例实现方式不限于所示的特定顺序。在不脱离本申请的范围的情况下，示例实现方式可包括动作被排序成对于本领域普通技术人员而言可显而易见的不同顺序，或者动作可并行或动态地执行。
在一些示例实现方式中，过程400可涉及使用生成式对抗网络(GAN)(例如图5所示的GAN 515和520)。出于说明目的，过程400的描述可参考下面更详细讨论的图5的示意性表示500的要素。
在过程400中，在405处接收对象形符或图标要基于的方面进行限定的用户输入。步骤405可类似于上文参考如上所述的过程100和200所讨论的步骤105和205。在一些示例实现方式中，用户输入可以是通过UI提供的词语或简短文本描述(例如，“苹果”)、简单草图或几道简单笔画。
在接收到用户输入之后，可在410处基于所接收的用户输入生成前语境向量(例如，下文所讨论的图5中所示的条件向量510)。在一些示例实现方式中，可根据与所接收的词语或文本描述关联的一个或更多个已知图形表示生成或提取前语境向量。在其它示例实现方式中，可根据通过用户输入提供的简单草图或笔画生成或提取前语境向量。
一旦生成了前语境向量，则该前语境向量可在415处通过第一神经网络(第1NN)与随机生成的向量(例如，下面所讨论的图5所示的随机向量505)组合。在一些示例实现方式中，第一神经网络可被视为生成器神经网络(例如，图5的生成器NN 515)，该生成器神经网络已利用预先存在的象形符训练以生成试图与预先存在的象形符不能区分开来的潜在象形符(例如，与预先存在的象形符高度相似的潜在象形符)。在一些示例实现方式中，变化性滑块(例如，UI 300的滑块360)可控制在组合期间应用于随机生成的向量和前语境向量的加权因子，以控制所生成的潜在象形符与前语境向量之间的变化性。通过对随机向量进行更重地加权，可产生更多变的潜在象形符。
在通过第一神经网络生成潜在象形符之后，潜在象形符被提供给第二神经网络(第2NN)，第二神经网络的任务是在420处将潜在象形符与基于所接收的用户输入选择的一个或更多个预先存在的图像、图画、象形符或图标进行比较。在一些示例实现方式中，第二神经网络可利用被标记为相似或不相似的成对的象形符或图标以及其它图像或图画来训练。在425处，确定第二神经网络是否可将潜在象形符与一个或更多个预先存在的图像、图画、象形符或图标相区分。如果第二神经网络可将潜在象形符与一个或更多个预先存在的图像、图画、象形符或图标相区分(在425处为是)，则过程400可返回到415并且第一神经网络可重复步骤415以生成新的潜在象形符。
相反，如果第二神经网络无法将潜在象形符与一个或更多个预先存在的图像、图画、象形符或图标相区分(在425处为否)，则过程400可继续步骤430并将潜在象形符提供给用户以供选择。在一些示例实现方式中，一旦潜在象形符被提交给用户，过程400就可结束。在其它示例实现方式中，过程400可返回到410以基于所接收的用户输入生成新的前语境向量，并且过程400可被重复以生成另外的潜在象形符。
此外，在一些示例实现方式中，所生成的象形符可通过鉴别器神经网络520(第2NN)或通过另一神经网络与已知的受版权保护的图标或象形符进行比较，并且当所检测到的相似度超出阈值时，所生成的象形符可被拒绝并且生成器模型被更新以在后续生成的象形符中创建更大的不相似度。该阈值可由用户、管理者、服务提供商限定，或者可由系统动态地确定。
图5示出根据本申请示例实现方式的上面参考图4所描述的象形符生成过程的示意性表示500。如上所述，象形符生成过程可使用两个或更多个生成式对抗网络(GAN)515、520。图5所示的这些GAN是由在零和博弈框架中彼此竞争的两个神经网络(一个作为生成器515，另一个作为鉴别器520，)实现的一类机器学习方法。生成器网络515可被训练以生成鉴别器网络520无法与预先存在的图像、图画或象形符区别的逼真象形符或图标525。相反，鉴别器网络520可被训练以在由生成器网络生成的假象形符与训练数据中的预先存在的图像、图画或象形符之间进行区别。
为了生成具有复杂纹理的象形符，网络515、520的网络架构可被扩展至多个层并由跨步卷积，即，深度卷积生成式对抗网络(DCGAN)代替。如上所述，GAN可这样初始化：将保持所生成的象形符的独特性的随机向量505和迫使所生成的象形符与指定的语境一致的前语境条件向量510(例如，文本或视觉信息)组合。
本申请的示例实现方式不限于图5所示的GAN 515、520或图4所示的过程400，在本申请的示例实现方式中可使用对于本领域普通技术人员而言可显而易见的基于所接收的用户输入生成象形符或图标的其它神经网络架构和过程。
图6示出通过本申请示例实现方式实验性地产生的六个示例象形符类型(即，汤匙605、蘑菇615、膝上型计算机630、TV 610、苹果620、手625)的生成图像的网格600。为了产生该网格，使用各个象形符类型的22000个28×28训练图像来学习所有象形符类型的统一模型。所生成的象形符图像的网格可表现出向用户提供更多选项的相当大的变化。然而，所生成的象形符图像与训练数据的样式足够相似，以使得它们可形成具有匹配样式的象形符集。
在一些示例实现方式中，样式可以是数据驱动的，因此可通过使用不同样式的训练数据(例如，水彩绘画、照片逼真草图、涂鸦、简笔画等)来改变样式。此外，在一些示例实现方式中，用户与象形符生成系统的交互(例如，在先选择、在先修改、在先注释)可被反馈到系统中作为其它训练数据(例如，“重新训练”或“补充训练”)，以为特定用户或用户组定制模型。例如，对用户或用户组已经选择的或者通过手动修改或注释引入的象形符的共同性或共同方面进行检测可使得系统尝试产生具有所检测到的共同性或共同方面的其它象形符。
实验结果中的所生成的图像在视觉上相似于由人绘制的象形符图像，但是是由系统仅利用最少用户输入来机器生成的。
示例计算环境
图7示出具有适用于一些示例实现方式的示例计算机装置705的示例计算环境700。计算环境700中的计算装置705可包括一个或更多个处理单元或内核或处理器710、存储器715(例如，RAM、ROM等)、内部存储装置720(例如，磁、光学、固态存储装置和/或有机)和/或I/O接口725，上述部件中的任一种可连接在用于传递信息的通信机制或总线730上或嵌入在计算装置705中。
计算装置705可在通信时连接到输入/接口735和输出装置/接口740。输入/接口735和输出装置/接口740中的任一者或二者可以是有线或无线接口并且可为可拆卸的。输入/接口735可包括可用于提供输入的任何装置、组件、传感器或接口(物理或虚拟)(例如，按钮、触摸屏界面、键盘、指向/光标控制、麦克风、相机、盲文、运动传感器、光学读取器等)。
输出装置/接口740可包括显示器、电视、监视器、打印机、扬声器、盲文等。在一些示例实现方式中，输入/接口735(例如，用户接口)和输出装置/接口740可被嵌入或物理连接到计算装置705。在其它示例实现方式中，其它计算装置可用作用于计算装置705的输入/接口735和输出装置/接口740或者提供用于计算装置705的输入/接口735和输出装置/接口740的功能。这些元件可包括但不限于熟知的AR硬件输入以允许用户与AR环境交互。
计算装置705的示例可包括但不限于高移动性装置(例如，智能电话、车辆或其它机器中的装置、人和动物携带的装置等)、移动装置(例如，平板电脑、笔记本电脑、膝上型计算机、个人计算机、便携式电视、收音机等)以及被设计成不具有移动性的装置(例如，台式计算机、服务器装置、其它计算机、信息亭、嵌入有和/或连接到一个或更多个处理器的电视、收音机等)。
计算装置705可(例如，经由I/O接口725)在通信时连接到外部存储装置745和网络750，以与任何数量的包括具有相同或不同配置的一个或更多个计算装置的联网组件、装置和系统通信。计算装置705或任何连接的计算装置可用作或者被称为服务器、客户端、精简服务器、通用机器、专用机器或另一标签控件或者提供服务器、客户端、精简服务器、通用机器、专用机器或另一标签控件的服务。
I/O接口725可包括但不限于使用任何通信或I/O协议或标准(例如，以太网、802.11x、通用系统总线、WiMAX、调制解调器、蜂窝网络协议等)的有线和/或无线接口，以至少向和/或从计算环境700中的所有连接的组件、装置和网络传递信息。网络750可以是任何网络(例如，互联网、局域网、广域网、电话网络、蜂窝网络、卫星网络等)或网络的组合。
计算装置705可使用计算机可用介质或计算机可读介质和/或使用计算机可用介质或计算机可读介质通信，该计算机可用介质或计算机可读介质包括暂时性介质和非暂时性介质。暂时性介质包括传输介质(例如，金属线缆、光纤)、信号、载波等。非暂时性介质包括磁介质(例如，磁盘和磁带)、光学介质(例如，CD ROM、数字视频盘、蓝光盘)、固态介质(例如，RAM、ROM、闪存、固态存储装置)以及其它非易失性存储装置或存储器。
计算装置705可用于在一些示例计算环境中实现技术、方法、应用、过程或计算机可执行指令。计算机可执行指令可从暂时性介质检索，以及被存储在非暂时性介质上并从该非暂时性介质检索。可执行指令可源自任何编程、脚本和机器语言(例如，C、C++、C#、Java、Visual Basic、Python、Perl、JavaScript等)中的一者或更多者。
处理器710可在本机或虚拟环境中的任何操作系统(OS)(未示出)下执行。可部署一个或更多个应用，该应用包括逻辑单元755、应用编程接口(API)单元760、输入单元765、输出单元770、象形符生成单元775、方面链接单元780、图表类型确定单元785、视觉表示创建单元790以及用于不同的单元彼此通信、与OS通信以及与其它应用通信的单元间通信机制795(未示出)。
例如，象形符生成单元775、方面链接单元780、图表类型确定单元785和视觉表示创建单元790可实现图1、图2和图4所示的一个或更多个过程。所描述的单元和元件的设计、功能、配置或实现方式可变化，并且不限于所提供的描述。
在一些示例实现方式中，当通过API单元760接收到信息或执行指令时，可将该信息或执行指令传递到一个或更多个其它单元(例如，象形符生成单元775、方面链接单元780、图表类型确定单元785和视觉表示创建单元790)。例如，象形符生成单元775可基于所接收的用户输入生成象形符并将该象形符提供给方面链接单元780。此外，方面链接单元780可将所接收的象形符的一个或更多个方面链接到要在视觉表示中显示的数据的属性。此外，图表类型确定单元785可基于根据所接收的用户输入的确定或基于要显示的数据的其它属性来确定要显示的图表的类型。基于所确定的图表类型，视觉表示创建单元可基于所确定的图表类型和链接到要显示的数据的属性的所生成象形符来创建图表或其它视觉表示。
在一些情况下，在上述一些示例实现方式中，逻辑单元755可被配置为控制单元之间的信息流并引导由API单元760、输入单元765、象形符生成单元775、方面链接单元780、图表类型确定单元785和视觉表示创建单元790提供的服务。例如，一个或更多个过程或实现方式的流程可由逻辑单元755单独控制或者由逻辑单元755结合API单元760来控制。
尽管已示出和描述了一些示例实现方式，但是提供这些示例实现方式是为了将本文所描述的主题传达给熟悉本领域的人。应该理解，本文所描述的主题可按照各种形式实现，而不限于所描述的示例实现方式。本文所描述的主题可在没有那些具体限定或描述的事项或者具有未描述的其它或不同元件或事项的情况下实践。熟悉本领域的人将理解，在不脱离本文中所描述的如所附权利要求书及其等同物中限定的主题的情况下，可对这些示例性实现方式进行改变。

Claims (20)

1.一种创建数据的视觉表示的方法，该方法包括以下步骤：
接收要由象形符表示的用户输入；
通过神经网络基于根据所接收的用户输入提取的向量来生成所述象形符；
将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及
显示使用所生成的象形符创建的所述数据的视觉表示，以表示所述数据的被链接的方面。
2.根据权利要求1所述的方法，其中，生成象形符的步骤包括：
检测要表示的数据的属性的一种变化；
基于所接收的用户输入和所检测到的要表示的数据的变化来生成多个象形符，所述多个象形符包括所生成的象形符的所述方面的变化；并且
其中，将所生成的象形符的所述方面与所述属性链接的步骤还包括：
将所述多个象形符中的每一个与要表示的数据的属性的变化中的一个关联；
其中，显示所述数据的视觉表示的步骤包括：
创建包括所述多个象形符的图表。
3.根据权利要求2所述的方法，其中，提供所述图表的步骤包括：
从用户接收指定图表类型的图表参数；以及
将图表类型与由所接收的图表参数指定的所述图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的另一属性关联。
4.根据权利要求2所述的方法，其中，提供所述图表的步骤包括：
通过所述神经网络基于检测到所述数据的另一属性的另一种变化确定指定图表类型的图表参数；以及
将图表类型与由所确定的图表参数指定的图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的所述另一属性关联。
5.根据权利要求1所述的方法，其中，基于从所接收的用户输入提取的向量来生成所述象形符的步骤包括：
通过第一神经网络将所提取的向量与随机生成的向量组合，以生成潜在象形符；
通过第二神经网络将所生成的潜在象形符与基于所接收的用户输入选择的一个或更多个存储图像进行比较；
基于所述比较指示所述第二神经网络不能将所述潜在象形符与一个或更多个所选择的图像区分，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述第二神经网络确定所述潜在象形符不同于一个或更多个所选择的图像，通过所述第一神经网络生成另一潜在象形符。
6.根据权利要求5所述的方法，其中，所述第一神经网络被训练以生成与训练数据中提供的预先存在的象形符高度相似的潜在象形符；并且
其中，所述第二神经网络利用已被标记为相似或不相似的成对的象形符和其它图像进行了训练，以生成相似度确定模型。
7.根据权利要求1所述的方法，该方法还包括以下步骤：
在显示器上提供用户界面，该用户界面被配置为接收所述用户输入，所述用户输入包括下列中的一个或更多个：
词语；
简短描述；
用户生成的草图；以及
用户生成的笔画。
8.根据权利要求7所述的方法，该方法还包括：
接收其它用户输入；
通过所述神经网络基于所述其它用户输入来更新所生成的象形符，其中，所述其它用户输入包括下列中的一个或更多个：
更新的用户生成的草图；以及
其它的用户生成的笔画。
9.根据权利要求1所述的方法，其中，生成所述象形符的步骤还包括：
通过所述神经网络将所生成的象形符与已知受版权保护的一个或更多个存储的象形符进行比较；
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储的象形符之间的相似度没有超过阈值，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储象形符之间的相似度超过所述阈值，通过所述神经网络生成另一潜在象形符。
10.一种存储有用于使计算机执行创建数据的视觉表示的方法的程序的非暂时性计算机可读介质，该方法包括以下步骤：
接收要由象形符表示的用户输入；
通过神经网络基于根据所接收的用户输入提取的向量来生成所述象形符；
将所生成的象形符的方面与要在视觉上表示的数据的属性链接；以及
显示使用所生成的象形符创建的所述数据的视觉表示，以表示所述数据的被链接的方面。
11.根据权利要求10所述的非暂时性计算机可读介质，其中，生成象形符的步骤包括：
检测要表示的数据的属性的一种变化；
基于所接收的用户输入和所检测到的要表示的数据的变化来生成多个象形符，所述多个象形符包括所生成的象形符的所述方面的变化；并且
其中，将所生成的象形符的所述方面与所述属性链接的步骤还包括：
将所述多个象形符中的每一个与要表示的数据的属性的变化中的一个关联；
其中，显示所述数据的视觉表示的步骤包括：
提供包括所述多个象形符的图表。
12.根据权利要求11所述的非暂时性计算机可读介质，其中，提供所述图表的步骤包括：
从用户接收指定图表类型的图表参数；以及
将图表类型与由所接收的图表参数指定的所述图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的另一属性关联。
13.根据权利要求11所述的非暂时性计算机可读介质，其中，提供所述图表的步骤包括：
通过所述神经网络基于检测到所述数据的另一属性的另一种变化确定指定图表类型的图表参数；以及
将图表类型与由所确定的图表参数指定的图表类型对应的图表覆盖在所述多个象形符上，所述图表与要表示的所述数据的所述另一属性关联。
14.根据权利要求10所述的非暂时性计算机可读介质，其中，基于从所接收的用户输入提取的向量来生成所述象形符的步骤包括：
通过第一神经网络将所提取的向量与随机生成的向量组合，以生成潜在象形符；
通过第二神经网络将所生成的潜在象形符与基于所接收的用户输入选择的一个或更多个存储图像进行比较；
基于所述比较指示所述第二神经网络不能将所述潜在象形符与一个或更多个所选择的图像区分，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述第二神经网络确定所述潜在象形符不同于一个或更多个所选择的图像，通过所述第一神经网络生成另一潜在象形符。
15.根据权利要求14所述的非暂时性计算机可读介质，其中，所述第一神经网络被训练以生成与训练数据中提供的预先存在的象形符高度相似的潜在象形符；并且
其中，所述第二神经网络利用已被标记为相似或不相似的成对的象形符和其它图像进行了训练，以生成相似度确定模型。
16.根据权利要求10所述的非暂时性计算机可读介质，还包括：
在显示器上提供用户界面，该用户界面被配置为接收所述用户输入，所述用户输入包括下列中的一个或更多个：
词语；
简短描述；
用户生成的草图；以及
用户生成的笔画。
17.根据权利要求16所述的非暂时性计算机可读介质，还包括：
接收其它用户输入；
通过所述神经网络基于所述其它用户输入来更新所生成的象形符，其中，所述其它用户输入包括下列中的一个或更多个：
更新的用户生成的草图；以及
其它的用户生成的笔画。
18.根据权利要求10所述的非暂时性计算机可读介质，其中，生成所述象形符的步骤还包括：
通过所述神经网络将所生成的象形符与已知受版权保护的一个或更多个存储的象形符进行比较；
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储象形符之间的相似度没有超过阈值，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述比较指示所生成的象形符与已知受版权保护的所述一个或更多个存储象形符之间的相似度超过所述阈值，通过所述神经网络生成另一潜在象形符。
19.一种生成象形符的方法，该方法包括以下步骤：
在显示器上提供用户界面，该用户界面被配置为接收要由象形符表示的用户输入，该用户输入包括下列中的一个或更多个：
词语；
简短描述；
用户生成的草图；以及
用户生成的笔画；
通过神经网络基于根据所接收的用户输入提取的向量来生成潜在象形符；
显示所生成的潜在象形符以供选择。
20.根据权利要求19所述的方法，其中，基于从所接收的用户输入提取的向量来生成所述潜在象形符的步骤包括：
通过第一神经网络将所提取的向量与随机生成的向量组合，以生成所述潜在象形符；
通过第二神经网络将所生成的潜在象形符与基于所接收的用户输入选择的一个或更多个存储的图像进行比较；
基于所述比较指示所述第二神经网络不能将所述潜在象形符与一个或更多个所选择的图像区分，选择所述潜在象形符，以用于链接到所述数据的所述属性；以及
基于所述第二神经网络确定所述潜在象形符不同于一个或更多个所选择的图像，通过所述第一神经网络生成另一潜在象形符。
CN201910175829.8A 2018-05-15 2019-03-08 基于所生成的象形符创建数据的视觉表示的系统和方法 Withdrawn CN110489024A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/980,526 US10649618B2 (en) 2018-05-15 2018-05-15 System and method for creating visual representation of data based on generated glyphs
US15/980,526 2018-05-15

Publications (1)

Publication Number Publication Date
CN110489024A true CN110489024A (zh) 2019-11-22

Family

ID=68533716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910175829.8A Withdrawn CN110489024A (zh) 2018-05-15 2019-03-08 基于所生成的象形符创建数据的视觉表示的系统和方法

Country Status (3)

Country Link
US (1) US10649618B2 (zh)
JP (1) JP7318290B2 (zh)
CN (1) CN110489024A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468624A (zh) * 2021-07-26 2021-10-01 浙江大学 一种基于实例设计圆形图符的分析方法和系统
CN113515675A (zh) * 2021-07-26 2021-10-19 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288764B2 (en) 2019-07-01 2022-03-29 Digimarc Corporation Watermarking arrangements permitting vector graphics editing
US11727192B2 (en) * 2021-03-03 2023-08-15 Adobe Inc. Font customization based on stroke properties
US11776168B2 (en) * 2021-03-31 2023-10-03 Adobe Inc. Extracting textures from text based images
JP7106085B1 (ja) * 2022-01-29 2022-07-26 株式会社ルビス デザイン生成システム及びデザイン生成方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1641281A1 (en) * 2004-09-28 2006-03-29 Ricoh Company, Ltd. Techniques for decoding and reconstructing media objects from a still visual representation
US20070229526A1 (en) * 2006-03-28 2007-10-04 Microsoft Corporation Vector based object property variations
US20090281975A1 (en) * 2008-05-06 2009-11-12 Microsoft Corporation Recommending similar content identified with a neural network
CN102609966A (zh) * 2010-10-22 2012-07-25 微软公司 通过图形对象表示数据
CN104346434A (zh) * 2013-08-06 2015-02-11 新比斯安全卢森堡有限公司 用于数据可视化的方法、设备和系统以及相关应用
CN105074640A (zh) * 2013-01-15 2015-11-18 微软技术许可有限责任公司 通过自由形式的草绘来参与演示
CN105518618A (zh) * 2013-06-06 2016-04-20 微软技术许可有限责任公司 配置成将针对视觉元素的输入路由到图形框架的输入对象
CN107065504A (zh) * 2012-06-21 2017-08-18 谷歌公司 包括具有交互式时间转换的视觉图形指示符的时钟对象
GB201715568D0 (en) * 2016-11-28 2017-11-08 Adobe Systems Inc Facilitating sketch to painting transformations

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1641281A1 (en) * 2004-09-28 2006-03-29 Ricoh Company, Ltd. Techniques for decoding and reconstructing media objects from a still visual representation
US20070229526A1 (en) * 2006-03-28 2007-10-04 Microsoft Corporation Vector based object property variations
US20090281975A1 (en) * 2008-05-06 2009-11-12 Microsoft Corporation Recommending similar content identified with a neural network
CN102609966A (zh) * 2010-10-22 2012-07-25 微软公司 通过图形对象表示数据
CN107065504A (zh) * 2012-06-21 2017-08-18 谷歌公司 包括具有交互式时间转换的视觉图形指示符的时钟对象
CN105074640A (zh) * 2013-01-15 2015-11-18 微软技术许可有限责任公司 通过自由形式的草绘来参与演示
CN105518618A (zh) * 2013-06-06 2016-04-20 微软技术许可有限责任公司 配置成将针对视觉元素的输入路由到图形框架的输入对象
CN104346434A (zh) * 2013-08-06 2015-02-11 新比斯安全卢森堡有限公司 用于数据可视化的方法、设备和系统以及相关应用
GB201715568D0 (en) * 2016-11-28 2017-11-08 Adobe Systems Inc Facilitating sketch to painting transformations

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVID HA，ET AL.: "A Neural Representation of Sketch Drawings", ARXIV:1704.03477V4, pages 1 - 15 *
伍小芹;温小斌;康耀红;张宏科;: "基于神经网络生成图像语义的算法研究", 计算机工程与应用, no. 31, pages 1 - 5 *
胡二雷;冯瑞;: "基于深度学习的图像检索系统", 计算机系统应用, no. 03, pages 1 - 5 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468624A (zh) * 2021-07-26 2021-10-01 浙江大学 一种基于实例设计圆形图符的分析方法和系统
CN113515675A (zh) * 2021-07-26 2021-10-19 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备
CN113515675B (zh) * 2021-07-26 2023-06-06 中国人民解放军国防科技大学 基于图模型的冲突博弈分析可视化方法、装置及设备
CN113468624B (zh) * 2021-07-26 2024-02-27 浙江大学 一种基于实例设计圆形图符的分析方法和系统

Also Published As

Publication number Publication date
JP7318290B2 (ja) 2023-08-01
JP2019200782A (ja) 2019-11-21
US10649618B2 (en) 2020-05-12
US20190354261A1 (en) 2019-11-21

Similar Documents

Publication Publication Date Title
CN110489024A (zh) 基于所生成的象形符创建数据的视觉表示的系统和方法
Zafeiriou et al. Aff-wild: valence and arousal'In-the-Wild'challenge
Luce Artificial intelligence for fashion: How AI is revolutionizing the fashion industry
US20190156204A1 (en) Training a neural network model
US20180039879A1 (en) Systems, methods, and computer program products for searching and sorting images by aesthetic quality personalized to users or segments
CN108122264A (zh) 促进草图到绘画变换
US9201561B2 (en) Rotatable object system for visual communication and analysis
Liao et al. Realitytalk: Real-time speech-driven augmented presentation for ar live storytelling
US20210042110A1 (en) Methods And Systems For Resolving User Interface Features, And Related Applications
CN110832583A (zh) 用于从多个图像帧生成概要故事板的系统和方法
CN105045796A (zh) 与模块化搜索对象框架相关联的基于意图的搜索结果
AU2014343275A1 (en) Systems and methods for creating and displaying multi-slide presentations
US12026420B1 (en) Methods and systems for interactive displays with intelligent generative content and tandem computing
Shi et al. Molder: an accessible design tool for tactile maps
Steane The principles and processes of interactive design
CN107533571A (zh) 数字图形小说的计算机辅助导航
Ettehadi et al. Documented: Embedding information onto and retrieving information from 3D printed objects
CN110275984A (zh) 可视化媒体内容的方法、计算机可读介质和计算设备
CN113557521A (zh) 使用机器学习从动画媒体内容项目提取时间信息的系统和方法
Decker Technology and digital initiatives: Innovative approaches for museums
Jahanlou et al. Katika: An end-to-end system for authoring amateur explainer motion graphics videos
Schleser Smart storytelling
Kee et al. Seeing the past with computers: experiments with augmented reality and computer vision for history
US12045735B1 (en) Interactive template for multimodal content generation
Alzubi et al. A multimodal human-computer interaction for smart learning system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: Fuji film business innovation Co.,Ltd.

Address before: Tokyo, Japan

Applicant before: Fuji Xerox Co.,Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20191122

WW01 Invention patent application withdrawn after publication