CN1867894A - 通过草拟自动生成用户界面描述 - Google Patents

通过草拟自动生成用户界面描述 Download PDF

Info

Publication number
CN1867894A
CN1867894A CNA2004800302877A CN200480030287A CN1867894A CN 1867894 A CN1867894 A CN 1867894A CN A2004800302877 A CNA2004800302877 A CN A2004800302877A CN 200480030287 A CN200480030287 A CN 200480030287A CN 1867894 A CN1867894 A CN 1867894A
Authority
CN
China
Prior art keywords
sketch
version
gui
user interface
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800302877A
Other languages
English (en)
Inventor
P·什鲁布索尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bearing technology Ltd
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1867894A publication Critical patent/CN1867894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)
  • Image Generation (AREA)

Abstract

草拟想要的图形用户界面(GUI)，并且随后该GUI被扫描到存储器中，或者使用其移动被跟踪并被记录在存储器中的记录笔来草拟想要的GUI。对于待创建的GUI，自动识别和标准化草拟的对象，诸如窗口、列表、按钮和框架。在树形层次结构中记录对象之间的包容性关系，其中给该树形层次结构附上布局信息和来自草图中的注释的信息。该树形层次结构随后被格式化，用于在目标平台上生成GUI。

Description

通过草拟自动生成用户界面描述
技术领域
本发明涉及图形用户界面(graphic user intefface)(GUI)，并且具体涉及用于生成GUI的描述。
背景技术
图形用户界面(GUI)通常由计算机程序员来创建，其中程序员编写利用特定开窗口系统工作的软件例程来生成GUI。GUI是一种屏上显示符号的计算机程序或环境，这种符号可以由用户通过输入装置来选择，以生成用户命令。
除了编写和修改软件例程的困难之外，这些例程通常适合于特定的开窗口系统，并且在这个意义上来说缺乏可移植性。
一些绘图程序用于GUI生成。绘图程序是用于作为独立对象(即，向量图像，而不是位图图像)来创建和操纵图像和形状的应用程序。使用向量图像代替位图图像使得编辑容易，并且节省存储器(空间)。
授予Tomm的美国专利号6,246,403的整个公开内容因而引入在此作为参考，该专利指出了标准GUI生成的上述缺点，并且进一步指出尽管现有的绘图程序允许非程序员创建GUI，但是通常不能修改GUI，并且同样这些绘图程序只适合于特定开窗口系统。
Tomm方法使用文本编辑器以“文本文件”来创建位图图像。文本文件包含仿照(resemble)所需GUI的图片信息而不是命令。通过环绕屏幕导航和重复设置特定字符以定界GUI元素，由用户在屏上描绘GUI的元素(诸如窗口、按钮、列表)。用户利用名称诸如“Press Me(按下我)”和利用数据类型来随意注释每个元素，其中名称将在GUI中被显示在该元素内，而数据类型用于描述功能，例如，“按钮”表示特定元素是按钮。定义屏上哪一些元素包含在哪一些其它元素中的数据树形结构还包括这些元素的布局以及与元素相关的数据类型和名称。以这种格式，可以容易地将GUI描述传送到GUI的目标平台所特定的应用程序接口(API)。
但是，重复输入定界符来定义界面对于用户来说可能是乏味的。例如，Tomm示范了使用连字符、加号和竖直条来设计界面，这涉及相当大的工作(量)。而且，所要求的键盘不总是方便可用的，特别是对于诸如个人数字助理(PDA)、移动电话和混合便携式样单元的移动设备更是如此。
授予Tran的美国专利号6,054,990的完整公开内容因而引入在这里作为参考，该专利涉及向量化草图以及比较向量序列和一个或多个参考对象，以确定最佳匹配对象，例如，三角形。
发明内容
因此，需要对于非编程用户来说是容易的和方便的并且可以容易地移植到所选平台的GUI生成。
本发明致力于克服现有技术中的上述缺陷。
依照本发明，用户可以使用笔和数字化(转换)器或者替换地在要扫描的光学可扫描媒体上草拟想要的GUI。在自动阶段，不稳定绘制的直线被识别并被拉直，而且使线与其它线平行，在合适时，以仿造预先存储的参考对象。自动地，确定哪些对象屏上包含在哪些其他对象内。生成反映这个数据的用户界面描述，以及包括对象的功能描述的布局信息和待创建的GUI中对象之间的覆盖优先级。
特别地，依照本发明的用户界面描述生成方法包括步骤：人工草拟对象以创建表示待创建的GUI的草图的步骤，和自动执行后续的功能，以创建用户界面描述。特别地，检查草图，以识别该对象的草拟版本(version)，随后使这些版本相一致(conform)来仿造各自的参考图像。根据相一致的版本，确定相一致的版本之间相对包容性(containment)的层次结构。最后，根据该层次结构，生成用户界面描述，以创建GUI。
附图说明
应借助于以下列出的附图来描述在此公开的本发明的细节，其中在若干附图中相似的特性相同地进行编号：
图1是依照本发明的用户界面描述生成设备的方框图；
图2是依照本发明的程序的方框图；
图3是依照本发明的草图相一致和草图转换为用户界面描述的概念图；
图4是依照本发明的GUI草图的描绘；
图5是示出本发明连同扫描仪和光学字符识别(OCR)一起操作的流程图；和
图6是示出本发明连同笔/数字化单元和草图编辑器一起操作的流程图。
具体实施方式
图1利用非限制性例子示出了依照本发明的用户界面描述生成设备100。如在授予Tran的美国专利号6,054,990中所述，该设备100包括中央处理器(CPU)110、只读存储器(ROM)120、随机存取存储器(RAM)130、笔/数字化单元140和液晶显示器(LCD)150。设备100中有特色的还有扫描仪160、草图编辑器170和连接所有上面组件的数据与控制总线180。
如图2中举例所示的，ROM 120中的计算机程序200包括草图识别器210、草图标准化器220、层次结构确定器230和描述生成器240。如图2中利用链接250所概念性表示的，程序200中的这些模块中每一个都在合适时通信联络地连接到其它模块。或者，这些模块和ROM120可以例如以硬件实现为专用处理器。
如图3所示，在电子存储媒体(在这里，RAM 130)中，将草图300相一致，以产生标准化草图304。草图300可能已使用扫描仪160被扫描到存储器中，或者可以在草拟期间借助于笔/数字化单元140已被实时记录在存储器中。
草图300由对象的四个草拟版本即版本308到320组成。这些版本308-320中的每一个利用各自的外(形)线324-336之一来定界，并且包含各自的分割线340-352之一。在这个例子中，每一个对象或小窗口(widget)代表制表面板，其是集成电路(IC)设计师菜单的一部分，可以被选择来显示相关的一组选项和控制。
使草图相一致使得外线324-336的每一边被拉直，以仿造相应参考对象，诸如向量图像。相关的参考对象可以是竖直的或水平的直线，或者可以是矩形，诸如参考对象356-368中的任何一个。参考对象356-368被存储在ROM 120或RAM 130中，并且可以与标准化对象相类似(在维度上成比例)而不与其相同。相一致还使得外线324-336中的对边平行。分割线340-352同样被拉直，并且与相应的外线边平行。但是，如果参考向量图像具有非直的或非平行的线，例如在圆的情况下，相一致使得草拟版本仿造参考对象，而不在合适时将线拉直或使之平行。Tran专利中描述了使草图与一个或多个参考对象相匹配的过程。
如图3进一步所示的，标准化的草图用于生成定义对象之间包容性的树形层次结构372。该草图最初被扫描或被记录为位图图像。尽管相一致或标准化已将该草图修改为符合一个或多个参考对象(其可能是向量图像)，但是相一致的草图优选地保持为位图形式。由于授予Tomm的美国专利号6,246,403形成位图图像之间包容性的树形表示，所以这个技术可以应用于标准化草图。这里，树形层次结构372以分层的结构化标记语言例如XML来实现。目标平台的用于GUI的应用程序接口(API)可以容易地进行编程。
图4示出了依照本发明的草图400中草拟对象的注释以及对象的覆盖。草拟版本402具有分割线404并且可选地具有“面板”的数据类型406，这可以表示相应的对象是结合图3讨论的制表面板。再次参考图4，利用堆积顺序或“z顺序”的记号410来注释草拟版本408，在这个例子中记号是数字“1”。因此，数字“1”代表对应于这个草拟版本的对象相对于利用各自优先级注释的其它草拟版本的对象的优先级。具体地，如果具有堆积顺序2或更大顺序的对象与面板406对象相交，不管在草图中或在任何将来时间，例如，通过在要创建的窗口中GUI的移动，面板406具有覆盖较低优先级窗口的优先级。因此，较高优先级面板406将覆盖窗口隐藏到这两个对象的覆盖或相交相应部分的范围。分割线404将草拟对象402划分为标签区域412和内容区域414，其中标签区域比内容区域小。利用位于标签区域412内而不是内容区域414中的词“面板”，将词“面板”识别为数据类型。这同样适用于优先级的记号，这些记号如果位于标签区域内也如此进行识别。相对照，Tomm描述了更困难的加注释过程，其中中断用于定界方框的重复字符，以引入有关方框边界的注释。
具有“按钮”数据类型418的草拟版本416与面板406相交，但是缺少堆积顺序的记号。因为版本416位于版本408的内容区域内，所以版本416被识别为包含在版本408之内，因此在待创建的GUI中对应于版本416的对象在屏幕上被包含在对应于版本408的对象内。利用同一令牌，对应于在草拟版本402之内表示的草拟版本的所有对象将在屏上被包含在待创建的GUI中面板406内。在一个替代实施例中，如果一个或两个版本缺少优先级的标记，则基于数据类型分辨交叉版本的包容性，例如，可以要求“按钮”包含在任一其它数据类型之内。
如图4中进一步所示的，按钮版本418包含在框架(frame)版本422的内容区域420中，并因此该按钮在要创建的GUI中被构造。“列表”版本表示这样的一个列表，由于其优先级的相对标记424、426，该列表具有覆盖对应于框架版本422的对象的优先级。
这些规则只是示例性的，并不限制本发明的预定范围。
图5示出了在本发明的实施例500中连同扫描仪和光学字符识别(OCR)一起的操作。参考对象预先存储在电子存储装置ROM 120或RAM 130之中(步骤510)。扫描仪160将草图扫描进RAM 130(步骤520)。草图识别器210通过例如确定在一系列预先存储的参考向量与草图或草图的一部分之间的最佳匹配来识别对象的草拟版本(步骤530)。利用草图标准化器220将识别出的草拟版本与参考对象相一致，以标准化该草图，并且通过光学字符识别(OCR)来识别注释数据类型和优先级标记(步骤540)。然后，层次结构确定器230确定在要创建的GUI中对象的相一致版本之间屏上包含性的层次结构。数据类型、优先级和其它注释以及如在Tomm专利中详述的定义布局的屏幕坐标都包括在生成的树形层次结构中(步骤550)。描述生成器240以可由API用于在目标平台上创建GUI的形式生成用户界面描述(步骤560)。然后可以编辑该草图，或者创建新的草图(步骤570)，以便在步骤520中扫描。
图6示出了本发明与笔/数字化单元和草图编辑器一起的操作，与图5相同的步骤保留其标号。用户通过操纵笔绘图，该笔可以是例如光笔或如同Tran专利中其移动利用电磁场来感测的笔。笔的数字化转换器/数字化器140记录由于笔的运动而追踪经过的相应的屏幕坐标，这可以构成新的草图或者扩大正在进行修改的先前处理过的草图(步骤615)。该记录实时进行(步骤620)。然后，如上所述，草拟版本被识别(步骤530)和被标准化(步骤640)，并且也如上所述确定层次结构和生成用户界面描述(步骤550-560)。将草图存储在RAM 130中(步骤670)，并且可以准备新的草图用于处理(步骤680，没有分支)。否则，如果随后将编辑该草图(步骤680)，则可以将它显示在LCD 150上，以帮助用户扩大该草图(步骤690)。或者，如果编辑涉及删除、修改或移动草图中的对象，可以提供具有按钮的笔或者可以实现以已知方式操作菜单的其它输入设备，以便交互式地在屏上编辑图形对象。
尽管已经示出和描述了被认为是本发明的优选实施例，但是当然将明白，在不偏离本发明的精神的情况下可以容易地对本发明的形式或细节进行各种修改和变化。因此，本发明并不局限于所描述的和图示的确切形式，而应该认为覆盖可以落入所附权利要求的范围之内的所有修改。

Claims (20)

1.一种用户界面描述生成设备，包括：
草图识别器，用于检查对象的人工草图，以识别这些对象的草拟版本，该草图表示待创建的图形用户界面(GUI)；
草图标准化器，用于使识别的草拟版本相一致，以仿造相应的参考图像；
层次结构确定器，用于根据相一致版本，确定所述相一致版本之间相对包容性的层次结构；和
描述生成器，用于根据所述层次结构，生成用户界面描述，以创建GUI。
2.如权利要求1所述的设备，其中所述参考图像包括向量图像。
3.如权利要求1所述的设备，其中草图标准化器被配置用于将线拉直和使线相互平行。
4.如权利要求1所述的设备，其中人工草图包括字符，并且其中草图识别器被配置为应用光学字符识别(OCR)。
5.如权利要求1所述的设备，其中描述生成器还被配置用于生成用户界面描述，以包含所述相一致版本的布局。
6.如权利要求1所述的设备，其中描述生成器被配置为以对于GUI的目标平台特定的格式生成用户界面描述。
7.如权利要求1所述的设备，其中描述生成器被配置用来以分层的、结构化的标记语言来生成描述。
8.如权利要求1所述的设备，还包括：
电子存储媒体；
用于创建草图的手持笔；和
数字化器，用于在创建草图时实时将草图记录到媒体中。
9.如权利要求8所述的设备，其中该设备在所述媒体中存储包括相一致版本的标准化草图，所述设备还包括用于编辑所述媒体中存储的所述标准化草图的草图编辑器，所述数字化器被配置为根据来自笔的输入来扩大在所述媒体中存储的所述标准化草图。
10.如权利要求1所述的设备，还包括：
用于存储所述参考图像的电子存储媒体；和
其中草图识别器被配置为利用存储的参考图像来识别所述草拟版本。
11.如权利要求1所述的设备，其中描述生成器被配置为基于对所述草图中对象的草拟版本的注释来生成用户界面描述，以反映堆积顺序，所述注释指示被注释的对象相对于至少一个其它对象的优先级，该优先级有关两个对象之中的哪一个在所述GUI中具有覆盖两个对象之中的另一个的优先级。
12.如权利要求11所述的设备，所述设备还被配置为识别：所述注释基于对象的所述草拟版本内的分割线指示优先级。
13.一种用户界面描述生成方法，包括以下步骤：
人工地草拟对象，以创建表示待创建的图形用户界面(GUI)的草图；和
自动执行以下功能：
检查草图，以识别对象的草拟版本；
使识别的草拟版本相一致，以仿造相应的参考图像；
根据相一致的版本，确定所述相一致版本之间相对包容性的层次结构；和
根据所述层次结构，生成用户界面描述，以创建GUI。
14.如权利要求13所述的方法，其中草拟步骤还包括在所述GUI中草拟至少一个对象的功能的标签作为对该对象的注释的步骤。
15.如权利要求13所述的方法，其中草拟步骤还包括以下步骤：作为对象的草拟版本中的至少一个的注释，草拟那个对象相对于至少一个其它对象的堆积顺序的相应定义，以指示在所述GUI中两个对象中的哪一个具有覆盖两个对象中的另一个的优先级。
16.如权利要求13所述的方法，其中对象的至少一个草拟版本与对象的另一个草拟版本相交，并且其中草拟步骤还包括以下步骤：作为两个相交版本中的至少一个的注释，草拟所述GUI中相应对象的功能的标签。
17.如权利要求16所述的方法，其中层次结构确定步骤基于在注释草拟步骤中创建的注释在所述层次结构中相对定位所述两个相交对象之中的各自对象。
18.如权利要求13所述的方法，其中草拟步骤还包括以下步骤：
用手操纵笔来创建草图；和
在创建草图时，将草图实时记录在媒体中。
19.如权利要求13所述的方法，还包括以下步骤：预先存储所述参考图像，以帮助在检查步骤中执行的识别。
20.一种计算机程序产品，包括其中存储计算机程序的计算机可读媒体，用于由处理器执行，以生成用户界面描述，该程序包括：
用于检查对象的人工草图以识别对象的草拟版本的指令序列，该草图表示要创建的图形用户界面(GUI)；
用于使识别的草拟版本相一致来仿造相应的参考图像的指令序列；
用于根据相一致版本确定所述相一致版本之间相对包容性的层次结构的指令序列；和
用于根据所述层次结构生成用户界面描述以创建GUI的指令序列。
CNA2004800302877A 2003-10-15 2004-10-12 通过草拟自动生成用户界面描述 Pending CN1867894A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US51135203P 2003-10-15 2003-10-15
US60/511,352 2003-10-15

Publications (1)

Publication Number Publication Date
CN1867894A true CN1867894A (zh) 2006-11-22

Family

ID=34465218

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800302877A Pending CN1867894A (zh) 2003-10-15 2004-10-12 通过草拟自动生成用户界面描述

Country Status (6)

Country Link
US (1) US20070130529A1 (zh)
EP (1) EP1678605A1 (zh)
JP (1) JP2007511814A (zh)
KR (1) KR20060129177A (zh)
CN (1) CN1867894A (zh)
WO (1) WO2005038648A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101721252B (zh) * 2008-10-14 2012-10-10 株式会社东芝 图像诊断装置、图像处理装置及计算机可读取的存储介质
CN102915230A (zh) * 2011-08-02 2013-02-06 联想(北京)有限公司 一种用户界面生成方法、装置及电子设备
CN101676868B (zh) * 2008-09-19 2013-05-01 株式会社理光 图像处理装置和图像处理方法
CN103116684A (zh) * 2013-03-19 2013-05-22 中国农业银行股份有限公司 一种生成产品外观原型的方法及系统
CN104484178A (zh) * 2014-12-17 2015-04-01 天脉聚源（北京）教育科技有限公司 一种生成智慧教学系统图形界面的方法及装置
CN108304183A (zh) * 2018-02-26 2018-07-20 北京车和家信息技术有限公司 一种用户界面生成方法、装置及电子设备
CN109614176A (zh) * 2018-10-30 2019-04-12 努比亚技术有限公司 一种应用界面布局方法、终端及计算机可读存储介质
CN110018826A (zh) * 2019-03-12 2019-07-16 深圳壹账通智能科技有限公司 用户界面生成方法及相关设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659505B2 (ja) 2005-04-04 2011-03-30 キヤノン株式会社 情報処理方法及び装置
JP4741908B2 (ja) 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法
CN100370396C (zh) * 2005-12-30 2008-02-20 珠海金山软件股份有限公司 智能计算及显示标记位置的装置及播放幻灯片的播放装置
US20090183098A1 (en) * 2008-01-14 2009-07-16 Dell Products, Lp Configurable Keyboard
US8099662B2 (en) * 2008-01-17 2012-01-17 Seiko Epson Corporation Efficient image annotation display and transmission
DE102008028581B4 (de) * 2008-06-12 2011-03-10 Datango Ag Verfahren und Vorrichtung zur automatischen Ermittlung von Steuerelementen in Computeranwendungen
US8289288B2 (en) 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
JP5460390B2 (ja) * 2010-03-12 2014-04-02 インターナショナル・ビジネス・マシーンズ・コーポレーション レイアウト変換装置、レイアウト変換プログラム、およびレイアウト変換方法
JP5609269B2 (ja) * 2010-05-27 2014-10-22 株式会社リコー 画像処理装置、表示装置、画面制御システム、画面制御方法、画面制御プログラム、及びそのプログラムを記録した記録媒体
EP2487577A3 (en) * 2011-02-11 2017-10-11 BlackBerry Limited Presenting buttons for controlling an application
US20120284631A1 (en) * 2011-05-02 2012-11-08 German Lancioni Methods to adapt user interfaces and input controls
US8732616B2 (en) 2011-09-22 2014-05-20 International Business Machines Corporation Mark-based electronic containment system and method
US10592580B2 (en) 2014-04-25 2020-03-17 Ebay Inc. Web UI builder application
KR102347068B1 (ko) * 2014-05-23 2022-01-04 삼성전자주식회사 컨텐트를 재생하는 방법 및 이를 위한 디바이스
US10838699B2 (en) 2017-01-18 2020-11-17 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
US10733754B2 (en) 2017-01-18 2020-08-04 Oracle International Corporation Generating a graphical user interface model from an image
US10761719B2 (en) * 2017-11-09 2020-09-01 Microsoft Technology Licensing, Llc User interface code generation based on free-hand input
US10489126B2 (en) 2018-02-12 2019-11-26 Oracle International Corporation Automated code generation
KR102089801B1 (ko) * 2018-04-19 2020-03-16 한남대학교 산학협력단 심볼마커를 사용한 스케치이미지 기반 사용자 인터페이스 자동생성 시스템
KR102089802B1 (ko) * 2018-04-19 2020-03-16 한남대학교 산학협력단 텍스트 분석 기반 사용자 인터페이스 자동생성 시스템
US11061650B2 (en) * 2019-06-27 2021-07-13 Intel Corporation Methods and apparatus to automatically generate code for graphical user interfaces
US11221833B1 (en) * 2020-03-18 2022-01-11 Amazon Technologies, Inc. Automated object detection for user interface generation
US11250097B1 (en) * 2020-05-29 2022-02-15 Pegasystems Inc. Web user interface container identification for robotics process automation
US11960864B2 (en) * 2021-09-27 2024-04-16 Microsoft Technology Licensing, Llc. Creating applications and templates based on different types of input content
US20230409298A1 (en) * 2022-09-10 2023-12-21 Nikolas Louis Ciminelli Generation of User Interfaces from Free Text

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6410381A (en) * 1987-07-03 1989-01-13 Hitachi Ltd Document input system
US5206950A (en) * 1988-09-23 1993-04-27 Gupta Technologies, Inc. Software development system and method using expanding outline interface
US5060170A (en) * 1989-08-09 1991-10-22 International Business Machines Corp. Space allocation and positioning method for screen display regions in a variable windowing system
US5347627A (en) * 1992-04-07 1994-09-13 International Business Machines Corporation Graphical user interface including dynamic sizing and spacing
US5287417A (en) * 1992-09-10 1994-02-15 Microsoft Corporation Method and system for recognizing a graphic object's shape, line style, and fill pattern in a pen environment
JPH06208654A (ja) * 1993-01-08 1994-07-26 Hitachi Software Eng Co Ltd ペン入力図形編集システム
US6014138A (en) * 1994-01-21 2000-01-11 Inprise Corporation Development system with methods for improved visual programming with hierarchical object explorer
US5721848A (en) * 1994-02-04 1998-02-24 Oracle Corporation Method and apparatus for building efficient and flexible geometry management widget classes
AU2516895A (en) * 1994-05-16 1995-12-05 Apple Computer, Inc. Switching between appearance/behavior themes in graphical user interfaces
US5838317A (en) * 1995-06-30 1998-11-17 Microsoft Corporation Method and apparatus for arranging displayed graphical representations on a computer interface
US5917487A (en) * 1996-05-10 1999-06-29 Apple Computer, Inc. Data-driven method and system for drawing user interface objects
US6054990A (en) * 1996-07-05 2000-04-25 Tran; Bao Q. Computer system with handwriting annotation
JPH1083269A (ja) * 1996-09-09 1998-03-31 Nec Corp ユーザインタフェース変換装置
US5790114A (en) * 1996-10-04 1998-08-04 Microtouch Systems, Inc. Electronic whiteboard with multi-functional user interface
US6118451A (en) * 1998-06-09 2000-09-12 Agilent Technologies Apparatus and method for controlling dialog box display and system interactivity in a computer-based system
US6246403B1 (en) * 1998-10-08 2001-06-12 Hewlett-Packard Company Method and apparatus for generating a graphical user interface
US6832717B1 (en) * 1999-05-25 2004-12-21 Silverbrook Research Pty Ltd Computer system interface surface
US6806890B2 (en) * 1999-08-17 2004-10-19 International Business Machines Corporation Generating a graphical user interface from a command syntax for managing multiple computer systems as one computer system
US7322524B2 (en) * 2000-10-20 2008-01-29 Silverbrook Research Pty Ltd Graphic design software using an interface surface
US6353448B1 (en) * 2000-05-16 2002-03-05 Ez Online Network, Inc. Graphic user interface display method
US6990654B2 (en) * 2000-09-14 2006-01-24 Bea Systems, Inc. XML-based graphical user interface application development toolkit
TW521185B (en) * 2000-09-14 2003-02-21 Synq Technology Inc Method for generating an user interface and the system thereof
US20040056900A1 (en) * 2002-09-23 2004-03-25 Blume Leo R System and method for window priority rendering
JP2005004543A (ja) * 2003-06-12 2005-01-06 Sony Corp ユーザインターフェース方法および装置、ならびにコンピュータ・プログラム
GB2410664B (en) * 2004-01-31 2009-04-08 Autodesk Canada Inc Generating a user interface
JP4741908B2 (ja) * 2005-09-08 2011-08-10 キヤノン株式会社 情報処理装置及び情報処理方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101676868B (zh) * 2008-09-19 2013-05-01 株式会社理光 图像处理装置和图像处理方法
CN101721252B (zh) * 2008-10-14 2012-10-10 株式会社东芝 图像诊断装置、图像处理装置及计算机可读取的存储介质
CN102915230A (zh) * 2011-08-02 2013-02-06 联想(北京)有限公司 一种用户界面生成方法、装置及电子设备
CN102915230B (zh) * 2011-08-02 2016-04-27 联想(北京)有限公司 一种用户界面生成方法、装置及电子设备
CN103116684A (zh) * 2013-03-19 2013-05-22 中国农业银行股份有限公司 一种生成产品外观原型的方法及系统
CN103116684B (zh) * 2013-03-19 2016-06-29 中国农业银行股份有限公司 一种生成产品外观原型的方法及系统
CN104484178A (zh) * 2014-12-17 2015-04-01 天脉聚源（北京）教育科技有限公司 一种生成智慧教学系统图形界面的方法及装置
CN108304183A (zh) * 2018-02-26 2018-07-20 北京车和家信息技术有限公司 一种用户界面生成方法、装置及电子设备
CN109614176A (zh) * 2018-10-30 2019-04-12 努比亚技术有限公司 一种应用界面布局方法、终端及计算机可读存储介质
CN109614176B (zh) * 2018-10-30 2021-10-15 努比亚技术有限公司 一种应用界面布局方法、终端及计算机可读存储介质
CN110018826A (zh) * 2019-03-12 2019-07-16 深圳壹账通智能科技有限公司 用户界面生成方法及相关设备

Also Published As

Publication number Publication date
WO2005038648A1 (en) 2005-04-28
EP1678605A1 (en) 2006-07-12
KR20060129177A (ko) 2006-12-15
JP2007511814A (ja) 2007-05-10
US20070130529A1 (en) 2007-06-07

Similar Documents

Publication Publication Date Title
CN1867894A (zh) 通过草拟自动生成用户界面描述
CN113391871B (zh) 一种rpa元素智能融合拾取的方法与系统
KR100246066B1 (ko) 컴퓨터 그래픽 시스템 및 그래픽 시스템 동작 제어 방법
KR102381801B1 (ko) 핸드라이팅 입력을 가이드하는 시스템 및 방법
RU2357284C2 (ru) Способ обработки цифровых рукописных примечаний для распознавания, привязки и переформатирования цифровых рукописных примечаний и система для его осуществления
CN114641753A (zh) 使用机器学习从楼层平面图图纸进行合成数据生成和建筑信息模型(bim)要素提取
US8952985B2 (en) Digital comic editor, method and non-transitory computer-readable medium
US8930814B2 (en) Digital comic editor, method and non-transitory computer-readable medium
US20130104015A1 (en) Digital comic editor, method and non-transitory computer-readable medium
CN101375278A (zh) 用于处理注释的策略
US20130326341A1 (en) Digital comic editor, method and non-transitorycomputer-readable medium
JP2007521524A (ja) 電子インク処理
JP2007521535A (ja) 電子インク処理
KR20190113741A (ko) 핸드라이팅된 다이어그램 커넥터들의 관리를 위한 시스템 및 방법
US11610054B1 (en) Semantically-guided template generation from image content
JP2007521534A (ja) 電子インク処理
CN117083605A (zh) 用于文本-图像-布局变换器模型的迭代训练
US20030174907A1 (en) Document image processing apparatus for processing line portions manually input to document image, method therefor, and computer readable recording medium recorded with document image processing program therefor
US11386624B2 (en) Artificial intelligence and augmented reality system and method
RU2398276C2 (ru) Альтернативы анализа в контекстных деревьях
CN117392383A (zh) 一种知识增强的跨模态物体视觉可供性的分割方法
CN118132143B (zh) 低代码组件识别模型的训练方法、映射方法及设备
JP2007521531A (ja) 電子インク処理
CN113283248B (zh) 散点图描述的自然语言自动生成方法及装置
JP4155059B2 (ja) 電子黒板システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: PEVIS TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: KONINKLIJKE PHILIPS ELECTRONICS N.V.

Effective date: 20080801

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20080801

Address after: West Yorkshire

Applicant after: Bearing technology Ltd

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20061122