CN104142782A - 用于注释的系统和方法 - Google Patents

用于注释的系统和方法 Download PDF

Info

Publication number
CN104142782A
CN104142782A CN201410197987.0A CN201410197987A CN104142782A CN 104142782 A CN104142782 A CN 104142782A CN 201410197987 A CN201410197987 A CN 201410197987A CN 104142782 A CN104142782 A CN 104142782A
Authority
CN
China
Prior art keywords
user
annotation
user interface
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410197987.0A
Other languages
English (en)
Inventor
A.格洛弗
S.奇兹基维茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SuccessFactors Inc
Original Assignee
SuccessFactors Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SuccessFactors Inc filed Critical SuccessFactors Inc
Publication of CN104142782A publication Critical patent/CN104142782A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

可调用注释实用工具来对应用GUI进行注释。注释实用工具可基于用户的图形注释来呈现预定的注释图形。注释实用工具可包括来自用户的文本注释。可在显示设备上在应用层中呈现应用GUI,并且可在与应用层分离的注释层中作出注释。经注释的应用GUI可包括应用GUI被图形和文本注释所覆盖的合成图像。

Description

用于注释的系统和方法
相关申请的交叉引用
本申请要求2013年5月10日递交的美国临时申请No.61/822,083的优先权,这里通过引用并入该临时申请用于所有目的。
背景技术
除非本文另外指出,否则本部分中描述的方案并不是本申请中的权利要求的现有技术,并且并不因为被包括在本部分中就被承认为是现有技术。
注释是在特定情境中通信的方便方式。例如,与特定的协作努力有关的文档可被注释(标记)并在同事之间共享。信息的共享越来越多地在计算机系统(例如桌面计算机、膝上型计算机、计算机平板等等)上发生,而不是经由硬拷贝文档发生。软件应用为在纸上不能容易地再现或者根本不能够再现的信息的呈现提供了新的可能性。协作努力因此包括由计算机生成的和由计算机显示的数据,并且因此,注释的角色的益处仍然应用到以计算机为中心的协作努力中。
发明内容
本发明的一方面提供一种用于注释的由计算机实现的方法,该方法包括:在计算设备的显示区域中呈现应用用户界面;在所述显示区域中在所述应用用户界面之上呈现注释层;检测与所述注释层的用户交互;基于与所述注释层的所述用户交互,从多个预定注释图形之中确定预定注释图形;在所述注释层上显示所确定的预定注释图形;生成所述注释层与所述应用用户界面相覆盖的合成图像;以及将所述合成图像发送给至少一个接收者。
本发明的另一方面提供一种计算设备,包括:数据处理单元;存储器,其中存储有一个或多个程序;以及显示设备,其中,所述一个或多个程序当被所述数据处理单元执行时使得所述数据处理单元进行以下操作:在所述显示设备的显示区域中呈现应用用户界面;在所述显示区域中呈现覆盖所述应用用户界面的图像的注释层;接收用户作出的至少一个图形注释;基于所述用户作出的所述图形注释来呈现多个预定注释图形之中的预定注释图形,包括将所述预定注释图形的图像覆盖在所述应用用户界面的图像的一部分顶上;以及向除了所述用户以外的至少一个接收者发送合成图像,该合成图像包括上覆有所述预定注释图形的图像的所述应用用户界面的图像。
本发明的另一方面提供一种非暂态计算机可读介质,其上存储有被配置为要由具有显示设备的计算设备执行的一个或多个程序,所述一个或多个程序包括用于进行以下操作的指令:在所述显示设备的显示区域中呈现应用用户界面;在所述显示区域中呈现覆盖所述应用用户界面的图像的注释层;接收用户作出的至少一个图形注释;基于所述用户作出的所述图形注释呈现多个预定注释图形之中的预定注释图形,包括将所述预定注释图形的图像覆盖在所述应用用户界面的图像的一部分顶上;以及向除了所述用户以外的至少一个接收者发送合成图像,该合成图像包括上覆有所述预定注释图形的图像的所述应用用户界面的图像。
附图说明
图1是根据本公开的计算设备的高级别系统图。
图1A示出了图1中所示的显示设备的额外细节。
图2图示了应用的图形用户界面(GUI)的示例。
图3图示了根据本公开的注释层的示例。
图4示出了根据本公开的与注释层有关的应用层。
图5A、5B、5C和5D图示了注释图形。
图6A、6B、6C和6D图示了文本图形。
图7A示出了用于递送经注释的应用GUI的不同递送方法的示例。
图7B示出了电子邮件递送方法的示例。
图8图示了根据本公开的对于注释的高级别处理的示例。
图8A图示了示出被注释屏幕的截屏图的示例。
图9图示了注释图形选择的示例。
图10图示了根据本公开的协作配置。
具体实施方式
在以下描述中,出于说明目的,记载了许多示例和具体细节以便提供对本公开的透彻理解。然而,本领域技术人员将会明白,在权利要求中表述的本公开可以只包括这些示例中的特征的一些或全部,或者与以下描述的其他特征相结合,并且还可包括本文描述的特征和概念的修改和等同物。
图1示出了根据本公开的实施例的计算设备100。在一些实施例中,计算设备100可以是计算机平板、智能电话或其他移动计算设备。计算设备100可包括处理器部102、输入/输出(I/O)部104、存储器106、I/O设备108、108a、和射频(RF)模块112。
处理器部102可包括处理器122,处理器122在一些实施例中可包括多处理器体系结构。存储器控制器124可通过总线132a控制和提供对存储器104的访问。外设接口126可经由总线132b控制和提供对I/O部104的访问。总线体系结构134可互连处理器部102的组件。
I/O部104可包括显示控制器142以控制显示设备108。在一些实施例中,显示设备可以是用于在计算设备100和用户之间提供输入接口和输出接口的触摸敏感设备。触摸敏感设备108可根据本公开向用户显示或者以其他方式呈现视觉输出,包括图形、文本、图标、视频、其组合等等;例如,如将在图2–图7B中说明的那样。
触摸敏感设备108可包括基于诸如手指挥扫、叩击等等之类的触觉接触从用户接受输入的触摸敏感表面。
在一些实施例中,计算设备100除了显示设备108以外还可包括设备108a,例如触控板。总线132c和132d可提供对各个设备108和108a的访问和控制。
存储器106可包括计算机可读存储介质,其中包括易失性存储器(例如,动态随机存取存储器,DRAM)和非易失性存储器(例如静态RAM,比如闪速存储器)。存储器106可存储组件的各种软件模块,这些软件模块当被(一个或多个)处理器122执行时使得这些处理器执行各种步骤/任务。软件模块可包括操作系统(OS)161、通信模块162、图形模块163、文本模块164、一个或多个应用模块165,等等。
根据本公开的原理,存储器106可包括注释模块166。虽然在图中被示为单独的模块,但在一些实施例中,注释模块166可以是应用模块165中的构成软件组件。例如,注释模块166可以是与应用模块165一起编译的子例程。注释模块166可包括可执行程序代码,这些可执行程序代码当被(一个或多个)处理器122执行时将使得这(一个或多个)处理器执行根据本公开的步骤,例如图8和9中的流程图中记载的那样。
通信模块162可包括允许计算设备100利用RF模块112来与其他设备和/或其他用户通信的软件。在一些实施例中,通信模块162可提供蜂窝电话功能、通信(例如,用于因特网接入、文本消息传递,等等)、通信,等等。
图形模块163可包括用于提供图形渲染能力的软件。文本模块164可包括用于文本处理的软件,所述文本处理包括接收文本和显示文本。在一些实施例中,文本模块164可支持虚拟键盘。
应用模块165可包括可在计算设备100上提供或下载到计算设备的若干应用中的任何一种。应用模块165通常生成在显示设备108上呈现的图形用户界面(GUI)。GUI可包括促进用户对应用的导航和对应用的功能的访问的任何适当的图形和文本信息。例如,电子邮件应用中的GUI可在显示区域182中呈现多个信息区域,它们包含不同种类的信息,例如包括可提供用于访问电子邮件应用的不同功能的下拉菜单的典型菜单栏。电子邮件GUI可在一个区域中呈现电子邮件文件夹的列表,在另一区域中呈现包括选中的文件夹的电子邮件的列表,在另外一个区域中呈现选中的电子邮件的内容,等等。
图1A图示了根据一些实施例的具有触摸敏感显示设备108的计算设备100的细节。显示设备108可在显示区域182中显示诸如图形、文本、图像、视频等等之类的视觉元素。用户可通过与显示设备接触或以其他方式触摸显示设备,例如包括用手指在显示区域182中叩击,将一根或多根手指挥扫过显示区域的表面等等,来与在显示设备108中呈现的视觉元素交互。更一般而言,来自用户的输入可通过检测在显示区域182中作出的触摸手势来作出。
计算设备100可包括物理按钮,例如“首页”按钮114。首页按钮114可用于将用户导航到共同的起始点,例如使用户返回到默认屏幕。可以提供扬声器输出116,以用于例如来自视频、视频游戏、与另一用户的电话会议等等的音频输出。
图2描绘了由在计算设备100上执行的应用(例如应用模块165)生成的应用GUI202的说明性示例。应用GUI202可被呈现在显示设备108的显示区域182中。图2中所示的示例表示松散地基于协作工具的应用的用户界面,并且仅用于说明目的来说明本公开的各方面。本领域普通技术人员将领会到,任何一个GUI中的特定视觉元素(例如菜单项、窗口等等)将取决于生成GUI的具体应用。
参考图2,应用GUI202包括菜单栏,该菜单栏包括首页按钮、简况按钮、群组按钮、和公司按钮。应用GUI202还包括窗口小部件区域(或窗口),该区域可列出各种实用工具,例如日历实用工具、通知实用工具、消息传递,等等。待办事项区域提供待办事项列表以告知用户需要完成的动作项。应用GUI202显示来自用户的同事的馈送以促进他们之间的通信。
在应用165的操作期间,用户可与应用GUI202交互以完成工作。例如,用户可叩击待办事项动作项(action item)以查看该动作项的细节,修改这些细节,将该项目标记为已完成,等等。用户可叩击窗口小部件区域中列出的窗口小部件以调出实用工具;例如,安排会议的日历实用工具(utility),等等。
根据本公开的原理,用户可调出或以其他方式调用GUI注释实用工具(例如,注释模块166)。在一些实施例中,例如,图形204例如在用户叩击该图形或利用光标点击该图形时可被显示在应用GUI202中以调用注释实用工具166。在一些实施例中,注释实用工具166可在应用GUI202顶上显示注释层,例如如图4中所示。如下文将更详细说明地,注释实用工具166为用户提供了在应用GUI202上作出注释的工具。注释实用工具166允许了用户对在注释实用工具被调用时在显示区域182中呈现的应用GUI202的任何部分进行注释。
现在参考图3,将描述根据本公开的注释层302的细节。注释层302被示为与应用GUI202隔离以简化讨论。然而,要理解,在典型实施例中,注释层302的图像覆盖在被注释的应用GUI202的图像上。
注释层302可包括调色板312,调色板312允许了用户选择用来作出其注释的颜色。文本按钮314允许用户了作出文本注释。可提供清除按钮322来允许用户清除掉(擦除)其所有注释,包括图形注释和文本注释两者。可提供撤消按钮324来允许用户清除或擦除用户作出的上个图形或文本注释。发送按钮332允许了用户将经注释的GUI发送到一个或多个接收者。退出按钮334允许了用户退出注释实用工具166,并返回到应用。
参考图4,注释层302可被视为逻辑构造,其提供了关于注释实用工具166如何向用户呈现输出以及从用户接收输入的框架。在一些实施例中,注释层302可与存储器(例如图形存储器)的被映射到显示区域182的像素位置的部分相关联。当注释实用工具166生成输出(例如图形元素)时,该输出可被写入到与注释层302相关联的该存储器部分,该部分随后被呈现在显示区域182中。类似地,应用GUI202可被呈现在应用层402中,应用层402与存储器的另一部分相关联并且也被映射到显示区域182的像素位置。当应用165输出信息时,该信息可被写入到与应用层402相关联的该存储器部分,其随后被呈现在显示区域182中。
应用层402可以是“活动”的。当应用层402活动时,用户作出的用户输入(例如,在显示设备108上作出的手势、鼠标动作,等等)被OS路由到应用165,并且被应用所处理。例如,如果用户作出挥扫手势,则该输入将被发送到应用165,应用165可例如通过重定位在应用层402中呈现的图像来作出响应。此外,当应用层402活动时,显示区域182呈现与应用层相关联的存储器部分的内容,即应用GUI202。
类似地,注释层302可以是活动的。根据本公开,当注释层302活动时,注释层可与应用层402同时呈现,并且在应用层402顶上被呈现在显示区域182中。注释层302可被呈现为在应用层402上方显示的不透明或半透明层,允许应用层的一些部分可见。如图4中所示,这个布置可通过应用层402中的视觉元素中的一些被注释层302中的视觉元素中的一些所遮蔽的形式来在视觉上将其自身显现给用户。图4中的显示区域182示出了此效果的结果,其中应用层402中的应用GUI202的视觉元素被注释层302中的覆盖视觉元素部分阻挡。
另外,根据本公开,当注释层302活动时,应用层402“不活动”。来自用户的用户输入被OS路由到注释实用工具166而不是应用165,并且可被注释实用工具处理而不是被应用处理。例如,挥扫手势输入将被路由到注释实用工具166并被注释实用工具所处理。该输入不会被路由到应用165,并且因此不会改变或激活应用层402中的任何图形用户界面元素。
此外,根据本公开的原理,虽然应用层402是不活动的,但应用165本身可继续执行;例如作为后台进程。应用165作出的任何输出将继续被呈现在应用层402中并且出现在上覆有注释层302的显示区域182中。在一些实施例中,例如,在应用层402中显示的应用的图形用户界面的布局在活动注释层302被显示在应用层402之上的同时被更新或重布置。例如,例如图2所示那样的应用图形用户界面可具有多个贴片(tile),其中每个贴片显示不同类型的信息,例如简况信息、消息馈送、待办事项信息、群组信息、公司信息、和窗口小部件信息。在此示例中,在注释层302被显示在应用层402之上的同时,贴片中的一个或多个可在没有用户发起的动作的情况下改变其大小或位置。在一些实施例中,与应用层402相对应的应用的图形用户界面所显示的内容被更新或改变。例如,在应用中显示的消息馈送可从远离计算设备100的服务器系统检索或接收新消息或附加信息,并将这些新消息或附加信息显示在馈送中。这样,用户在作出其注释的同时将看到应用165对应用GUI402作出的任何更新。
现在参考图5A、5B、5C和5D,现在将论述根据本公开的注释的作出。从图5A中可见,用户可在注释层302中作出图形注释502;例如通过在显示设备108上用其手指描摹出形状。当用户完成手势时,所得到的由用户作出的图形注释可被预定的注释图形所替换。从而,例如,假定用户用其手指描摹出形状502。描摹的图像——即形状502——可被呈现在注释层302中(并且因此被显示在显示区域182中)。当用户完成描摹手势时(例如通过将其手指从显示设备108的表面抬起),注释实用工具166可从注释图形的集合之中识别与用户的输入匹配的预定注释图形。例如,图5B中的注释图形502a可被识别为用户的形状502的替换。用户的形状502可被从注释层302中去除,并且注释图形502a可代替它被呈现在注释层中,如图5B中所示。
参考图5C,如果用户随后作出另一图形注释504,则注释实用工具166可再次从预定注释图形的集合中找出匹配的预定注释图形(例如504a,图5D)并且将其代替用户的输入呈现在注释层302中。在一些实施例中,预定注释图形的集合可包括圆、椭圆、矩形框、方形框、直线、箭头,等等。
根据本公开,注释层302覆盖显示设备108的整个显示区域182。注释实用工具166可被配置为允许在显示区域182中任何地方作出用户输入。由于应用层402也覆盖整个显示区域182,所以用户实际上由于能够在注释层302的任何部分中作出注释而可以对在应用层402中呈现的应用GUI202的任何部分进行注释。图5A例如图示了这一点,其中用户在注释层302中在与应用层402中的简况菜单按钮周围的菜单区域相对应的区域中作出了图形注释502。由于注释层302被显示在应用层402之上,所以在用户看来就好像其在对应用层中显示的应用GUI202进行标记那样。根据本公开的注释层302的配设和布置是有利的,因为随着应用165继续运行用户能够查看应用GUI202和对应用GUI作出的更新,并同时能够对应用GUI进行注释,而不干扰运行中的应用的状态;即,用户的输入不激活应用的任何GUI元素。
现在参考图3和图6A、6B、6C和6D,根据本公开,用户除了图形注释以外还可作出文本注释。例如,当用户叩击或以其他方式选择文本按钮314时,注释实用工具可在注释层302中的默认位置处呈现文本框602(图6A),用户可向该文本框602中输入其文本注释。用户可利用在注释层302中呈现的虚拟键盘604来输入文本。
用户可重定位文本框602。例如,用户可以用其手指叩击文本框602并且作出挥扫运动以将文本框移动到新位置,如图6B和6C的序列中所示。
图6D图示了既具有图形注释612也具有文本注释614的经注释的应用GUI的示例。
参考图3和图7A和7B,用户可通过叩击或以其他方式选择发送按钮332来将经注释的应用GUI202发送到接收者。注释实用工具166可在注释层302中呈现向用户提供对递送方法的选择的屏幕802。在一些实施例中,例如如图7A中所示,经注释的应用GUI202可在电子邮件中被递送到接收者或者被张贴到社交网络或协作系统。然而,应该理解的是,在其他实施例中,可以使用附加的/替换的递送方法,例如,在文本消息中以文本方式递送经注释的应用GUI202(例如利用多媒体消息传递系统,MMS)。
图7B示出了用于为电子邮件消息输入细节的示例。例如,用户可以在收件人字段中指定用于接收经注释的应用GUI的若干个接收者。可以访问地址簿以促进对(一个或多个)接收者的识别和选择。注释实用工具166取决于用户选择的递送方法可呈现类似的输入屏幕。
现在将联系图8来描述根据本公开的注释处理。根据本公开的一些实施例,计算设备(例如100)中的处理器(例如122)可执行程序指令以使得处理器执行图8中记载的过程块。从而,在块802,处理器122可执行应用(例如165),包括在显示设备(例如108)的显示区域(例如182)中呈现应用GUI(例如202)。在块802,用户可调用注释实用工具(例如166)。在块806,处理器122可在应用GUI202顶上呈现注释层(例如302),如上所述。
在块808,处理器122可在注释层302中接收来自用户的注释输入。该输入可以是用户作出的图形注释或者文本注释,如上所述。
如果在块810,用户输入了图形注释(例如502),则在块822中,处理器122可从预定注释图形的集合中选择预定注释图形(例如502a),并且在块824中,在注释层中呈现所选的预定注释图形。如果在块810,用户指定了文本注释(例如经由文本按钮314),则在块812中,处理器122可如上所述呈现文本输入框(例如602)以输入文本注释。
如果在块814,用户指定发送经注释的应用GUI,则处理前进到块816。否则,处理返回到块808以从用户接收额外的注释输入。
在块816,处理器122可生成合成图像,该合成图像包括上覆有用户作出的注释图形(例如612)和文本注释(例如614)的图像的应用GUI202的图像。考虑图6D中所示的示例,其中应用GUI202已经被注释。合成图像看起来可如图8A中所示。在一些实施例中,图8A中所示的合成图像可通过在关闭注释层302的实用工具按钮(图3)的显示之后取得显示区域182的截屏图来获得。
在块818,处理器122随后可利用指定的递送方法将构成经注释的应用GUI的合成图像发送到用户指定的一个或多个接收者。例如,用户可将经注释的应用GUI发送到同事以便讨论。
当执行块822来基于用户作出的图形注释(例如504)选择预定的注释图形(例如504a)时,处理器122可执行程序指令以使得处理器执行图9中记载的过程块。在块902,可将用户的图形注释504的基本形状与预定注释图形的集合中的各种形状相比较。在块904,可确定用户的图形注释504在注释层302中的位置。例如,图形注释504的右上角的XY坐标可用于限定该位置。
在块906,可对所选的预定注释图形504a进行缩放和旋转以匹配用户的图形注释504。缩放将使用户的图形注释504大小与所选的预定注释图形504a的大小匹配。旋转将定向所选的预定注释图形504a以匹配用户的图形注释504的方向。
在块908,可利用在块904中确定的位置信息在显示区域182中呈现确定了大小和方向的预定注释图形504a。在一些实施例中,注释图形504a可替换用户的图形注释504。在一些实施例中,可以用默认的颜色呈现预定注释图形504a。如果用户选择了颜色(例如利用调色板312),则可以按用户选择的颜色来呈现预定注释图形504a。
现在参考图10,现在将论述根据本公开的用于协作注释的系统。协作引擎1002可提供用于执行协作应用1165的框架。各种用户(用户1、用户2、用户3)可经由其计算机(例如计算平板1004a、1004b、1004c)与协作引擎1002通信以与协作应用1165交互。协作引擎1002可通过通信网络(例如因特网)与计算平板1004a、1004b、1004c无线地通信。
当用户在与协作应用1165交互时,协作引擎1002可利用构成用于协作应用的GUI的图像来更新计算平板1004a、1004b、1004c。称协作引擎1002在“应用模式”中操作,其中每个计算平板1004a、1004b、1004c上的显示器呈现包括协作应用1165的应用层(例如202)的应用模式GUI1006。当用户在其计算平板1004a、1004b、1004c上作出手势时,该输入被发送到协作引擎1002并被协作应用1165所截取。随着用户在协作努力期间作出改变,协作引擎1002可更新应用模式GUI1006。协作引擎1002随后可将这些改变传播到每个计算平板1004a、1004b、1004c,从而更新每个用户的显示器。
协作引擎1002可包括注释模块1166。任何用户可调用注释模块1166以在GUI上作出注释。在“注释模式”中,协作引擎1002使得每个计算平板1004a、1004b、1004c显示包括覆盖在协作应用1165的应用层(例如202)顶上的注释层(例如302)的注释模式GUI1008。在注释模式中,用户的输入被注释模块1166而不是协作应用1165所截取,并且被转化成注释模式GUI1008的注释层中的注释标记。
图10示出了例如用户2在其计算平板1004b作出图形注释(“箭头”)。该手势被注释模块1166所截取并被转化成注释模式GUI1008中的相应注释图形。类似地,用户1作出了文本注释,其被呈现在注释模式GUI1008中。对于用户3也是类似的。协作引擎1002因此提供了一种允许协作用户利用注释模块1166在由协作应用1165创建的共同环境中注释其工作的框架。
有利技术效果
根据本实施例的注释可通过促进在应用的GUI中呈现的信息的交换来增强同事之间的协作。例如,企业应用的GUI可呈现各种图表、表格、和用户可能希望与同事讨论的其他数据。希望共享其关于这种分析的想法的用户可调用注释实用工具,并开始直接在GUI上作出注释和其他标记,并且将经注释的GUI发送给其同事。
根据本实施例的注释可用在应用正被开发的环境中。在应用的开发期间,应用GUI可能在变化中,并且用户可能注意到GUI的问题或者有关于如何改进GUI的建议。直接对应用的GUI进行注释提供了一种用于在设计阶段期间交换关于GUI的想法的非常直观的方案。作为一种支持工具,对应用GUI进行注释可能是必不可少的。如果在应用中发生某种差错,则用户可以简单地调用注释实用工具并且利用图形和文本来标识差错。
以上描述说明了本公开的各种实施例,以及可如何实现特定实施例的各方面的示例。上述示例不应被视为是仅有的实施例,而是被给出来说明如所附权利要求限定的特定实施例的灵敏性和优点。基于以上公开和所附权利要求,可在不脱离如权利要求限定的本公开的范围的情况下采用其他布置、实施例、实现方式和等同物。

Claims (20)

1.一种用于注释的由计算机实现的方法,该方法包括:
在计算设备的显示区域中呈现应用用户界面;
在所述显示区域中在所述应用用户界面之上呈现注释层;
检测与所述注释层的用户交互;
基于与所述注释层的所述用户交互,从多个预定注释图形之中确定预定注释图形;
在所述注释层上显示所确定的预定注释图形;
生成所述注释层与所述应用用户界面相覆盖的合成图像;以及
将所述合成图像发送给至少一个接收者。
2.如权利要求1所述的由计算机实现的方法,还包括当另一用户在另一计算设备上作出注释时,在所述注释层上呈现额外的预定注释图形。
3.如权利要求1所述的由计算机实现的方法,还包括在所述应用用户界面上显示第一组应用内容;
接收第二组应用内容;以及
在所述注释层被显示在所述应用用户界面之上的同时,用所述第二组应用内容来更新所述应用用户界面。
4.如权利要求1所述的由计算机实现的方法,还包括在所述注释层被显示在所述应用用户界面之上的同时,更新所述应用用户界面的外观。
5.如权利要求1所述的由计算机实现的方法,其中所述注释层的一些部分是不透明的,并且其中所述应用用户界面的应用内容透过所述注释层的不是不透明的部分可见。
6.如权利要求1所述的由计算机实现的方法,其中,发送所述合成图像包括从用户接收标识至少一个接收者的信息。
7.如权利要求1所述的由计算机实现的方法,其中,发送所述合成图像包括从用户接收指示用来发送所述合成图像的发送方法的信息。
8.如权利要求1所述的由计算机实现的方法,还包括从用户接收文本注释并将所述文本注释显示在所述注释层中,其中所述合成图像还包括上覆有所述文本注释的图像的所述应用用户界面的图像。
9.如权利要求1所述的由计算机实现的方法,其中,所述注释层包括调色板,其中所述预定注释图形是以用户从所述调色板中选择的颜色来呈现的。
10.如权利要求1所述的由计算机实现的方法,其中,所述用户界面包括:
检测与所述显示区域的用户接触;
检测所述用户接触的运动;以及
显示与所述用户接触的运动相对应的线条;
其中确定所述预定注释图形包括将所述用户接触的运动匹配到所述多个预定注释图形中的预定注释图形;以及
其中显示所确定的预定注释图形包括去除所显示的与所述用户接触的运动相对应的线条,并且在曾经显示所述线条的位置处显示所述预定注释图形。
11.如权利要求1所述的由计算机实现的方法,其中,所述合成图像包括在所述应用用户界面的图像之上的所述预定注释图形的图像。
12.一种计算设备,包括:
数据处理单元;
存储器,其中存储有一个或多个程序;以及
显示设备,
其中,所述一个或多个程序当被所述数据处理单元执行时使得所述数据处理单元进行以下操作:
在所述显示设备的显示区域中呈现应用用户界面;
在所述显示区域中呈现覆盖所述应用用户界面的图像的注释层;
接收用户作出的至少一个图形注释;
基于所述用户作出的所述图形注释来呈现多个预定注释图形之中的预定注释图形,包括将所述预定注释图形的图像覆盖在所述应用用户界面的图像的一部分顶上;以及
向除了所述用户以外的至少一个接收者发送合成图像,该合成图像包括上覆有所述预定注释图形的图像的所述应用用户界面的图像。
13.如权利要求12所述的计算设备,其中,所述一个或多个程序当被所述数据处理单元执行时还使得所述数据处理单元接收另一用户作出的图形注释,其中所述合成图像还包括与所述另一用户作出的图形注释相对应的预定注释图形。
14.如权利要求12所述的计算设备,其中所述应用用户界面被呈现在与所述注释层分离的应用层中。
15.如权利要求12所述的计算设备,其中,所述一个或多个程序的执行不限制所述用户在所述显示区域中何处作出所述图形注释。
16.如权利要求12所述的计算设备,其中,所述一个或多个程序当被所述数据处理单元执行时还使得所述数据处理单元从所述用户接收文本注释,并且在所述注释层中显示所述文本注释,其中所述合成图像还包括上覆盖有所述文本注释的图像的所述应用用户界面的图像。
17.如权利要求12所述的计算设备,其中,所述显示设备是触摸敏感显示设备。
18.一种非暂态计算机可读介质,其上存储有被配置为要由具有显示设备的计算设备执行的一个或多个程序,所述一个或多个程序包括用于进行以下操作的指令:
在所述显示设备的显示区域中呈现应用用户界面;
在所述显示区域中呈现覆盖所述应用用户界面的图像的注释层;
接收用户作出的至少一个图形注释;
基于所述用户作出的所述图形注释呈现多个预定注释图形之中的预定注释图形,包括将所述预定注释图形的图像覆盖在所述应用用户界面的图像的一部分顶上;以及
向除了所述用户以外的至少一个接收者发送合成图像,该合成图像包括上覆有所述预定注释图形的图像的所述应用用户界面的图像。
19.如权利要求18所述的非暂态计算机可读介质,其中,所述应用用户界面被呈现在与所述注释层分离的应用层中。
20.如权利要求18所述的非暂态计算机可读介质,其中,所述一个或多个程序的执行不限制所述用户在所述显示区域中何处作出所述图形注释。
CN201410197987.0A 2013-05-10 2014-05-12 用于注释的系统和方法 Pending CN104142782A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361822083P 2013-05-10 2013-05-10
US61/822,083 2013-05-10
US13/899,174 US20140337705A1 (en) 2013-05-10 2013-05-21 System and method for annotations
US13/899,174 2013-05-21

Publications (1)

Publication Number Publication Date
CN104142782A true CN104142782A (zh) 2014-11-12

Family

ID=50819515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410197987.0A Pending CN104142782A (zh) 2013-05-10 2014-05-12 用于注释的系统和方法

Country Status (3)

Country Link
US (1) US20140337705A1 (zh)
EP (1) EP2801896A1 (zh)
CN (1) CN104142782A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391834A (zh) * 2014-12-11 2015-03-04 成都明日星辰科技有限公司 一种对电子书内容进行注释的方法
CN104778008A (zh) * 2015-04-15 2015-07-15 浙江工业大学 基于屏幕管控的虚拟书写系统
CN107544738A (zh) * 2017-08-24 2018-01-05 北京奇艺世纪科技有限公司 窗口涂鸦展示的方法、装置及电子设备
CN109844711A (zh) * 2016-09-23 2019-06-04 苹果公司 用于向设备上显示的内容加注释的统一注释层的设备、方法和图形用户界面
CN114675774A (zh) * 2016-09-23 2022-06-28 苹果公司 用于对文本进行注释的设备、方法和图形用户界面

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489501B2 (en) * 2013-04-11 2019-11-26 Google Llc Systems and methods for displaying annotated video content by mobile computing devices
US10320863B2 (en) 2016-03-22 2019-06-11 Business Objects Software Limited Context-based analytics for collaboration tools
US10229099B2 (en) * 2016-03-22 2019-03-12 Business Objects Software Limited Shared and private annotation of content from a collaboration session
US11409951B1 (en) * 2021-09-24 2022-08-09 International Business Machines Corporation Facilitating annotation of document elements

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003090153A1 (en) * 2002-04-15 2003-10-30 Parascript Llc Reshaping freehand drawn lines and shapes in an electronic document
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
US20080209328A1 (en) * 2007-02-26 2008-08-28 Red Hat, Inc. User interface annotations
CN101441644A (zh) * 2007-11-19 2009-05-27 英福达科技股份有限公司 网页批注系统与方法
CN101739706A (zh) * 2008-11-20 2010-06-16 鸿富锦精密工业(深圳)有限公司 具有图片编辑功能的电子装置及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050273700A1 (en) * 2004-06-02 2005-12-08 Amx Corporation Computer system with user interface having annotation capability
US20110252405A1 (en) * 2010-04-10 2011-10-13 Ilan Meirman Detecting user interface defects in a software application

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6859909B1 (en) * 2000-03-07 2005-02-22 Microsoft Corporation System and method for annotating web-based documents
WO2003090153A1 (en) * 2002-04-15 2003-10-30 Parascript Llc Reshaping freehand drawn lines and shapes in an electronic document
US20080209328A1 (en) * 2007-02-26 2008-08-28 Red Hat, Inc. User interface annotations
CN101441644A (zh) * 2007-11-19 2009-05-27 英福达科技股份有限公司 网页批注系统与方法
CN101739706A (zh) * 2008-11-20 2010-06-16 鸿富锦精密工业(深圳)有限公司 具有图片编辑功能的电子装置及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104391834A (zh) * 2014-12-11 2015-03-04 成都明日星辰科技有限公司 一种对电子书内容进行注释的方法
CN104778008A (zh) * 2015-04-15 2015-07-15 浙江工业大学 基于屏幕管控的虚拟书写系统
CN109844711A (zh) * 2016-09-23 2019-06-04 苹果公司 用于向设备上显示的内容加注释的统一注释层的设备、方法和图形用户界面
CN114675774A (zh) * 2016-09-23 2022-06-28 苹果公司 用于对文本进行注释的设备、方法和图形用户界面
CN109844711B (zh) * 2016-09-23 2022-07-15 苹果公司 用于向设备上显示的内容加注释的统一注释层的设备、方法和图形用户界面
CN107544738A (zh) * 2017-08-24 2018-01-05 北京奇艺世纪科技有限公司 窗口涂鸦展示的方法、装置及电子设备

Also Published As

Publication number Publication date
US20140337705A1 (en) 2014-11-13
EP2801896A1 (en) 2014-11-12

Similar Documents

Publication Publication Date Title
CN104142782A (zh) 用于注释的系统和方法
KR102061362B1 (ko) 확장형 통신 서비스를 위한 동적인 내비게이션 바
KR102061361B1 (ko) 확장형 통신 서비스를 위한 동적인 최소화된 내비게이션 바
KR102061363B1 (ko) 확장형 통신 서비스를 위한 동적인 내비게이션 바를 도킹 및 언도킹하는 기법
US9116615B2 (en) User interface for a touchscreen display
RU2612623C2 (ru) Ролевой интерфейс пользователя для ограниченных устройств отображения
AU2014202725B2 (en) Methods and apparatus for translating forms to native mobile applications
EP2821908A1 (en) Portable terminal device using touch pen and handwriting input method thereof
US20130132878A1 (en) Touch enabled device drop zone
CN103955339A (zh) 一种终端操作方法及终端设备
CN102436344A (zh) 上下文菜单
Korzetz et al. Natural collocated interactions for merging results with mobile devices
CN110140160B (zh) 具有庆祝消息的教学和指导用户界面元素
KR20120066825A (ko) 휴대용 단말의 인터페이스 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20141112

RJ01 Rejection of invention patent application after publication