CN115268752A - 用于协同编辑工具的触摸屏用户界面的系统和方法 - Google Patents

用于协同编辑工具的触摸屏用户界面的系统和方法 Download PDF

Info

Publication number
CN115268752A
CN115268752A CN202210688417.6A CN202210688417A CN115268752A CN 115268752 A CN115268752 A CN 115268752A CN 202210688417 A CN202210688417 A CN 202210688417A CN 115268752 A CN115268752 A CN 115268752A
Authority
CN
China
Prior art keywords
menu
touch screen
additional
user
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210688417.6A
Other languages
English (en)
Other versions
CN115268752B (zh
Inventor
苏伊特·瓦尔盖塞
巴里纳·蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202210688417.6A priority Critical patent/CN115268752B/zh
Publication of CN115268752A publication Critical patent/CN115268752A/zh
Application granted granted Critical
Publication of CN115268752B publication Critical patent/CN115268752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及用于协同编辑工具的触摸屏用户界面的系统和方法。使用触摸屏设备的协同文档界面来编辑电子文档的生产力工具提供直观的菜单。菜单可以显示在用户界面中。利用生产力工具解释用户交互和内容输入,以使用触摸屏触摸来创建文档。基于用户选择和用户触摸的类型,呈现不同类型的菜单。此外,根据用户选择和用户触摸类型来输入内容录入和内容编辑。

Description

用于协同编辑工具的触摸屏用户界面的系统和方法
分案说明
本申请属于申请日为2017年9月13日的中国发明专利申请201780050623.1的分案申请。
技术领域
一般而言,本公开涉及触摸屏设备上使用的电子文档编辑器。
背景技术
协同编辑工具允许计算机设备用户与其他用户一起编辑文档。这种工具允许多个用户从计算机或远程设备访问电子文档,并编辑设备上的文档。用户可以使用连接到计算机的键盘和鼠标与文档交互。随着便携式设备和平板计算机变得越来越普遍,想要编辑协同文档的用户可能会受到键盘和鼠标输入设备的输入选项的限制,键盘和鼠标输入设备的输入选项适用于台式计算机等固定设备,但不适用于具有小屏幕的便携式设备。使这些输入选项适应触摸输入仍然是便携式设备面临的重大挑战。
发明内容
本文公开了用于基于协同编辑的触摸屏设备或允许用户向协同文档添加内容和媒体的生产力工具的系统和方法。
提供了用于在触摸屏设备上接受用户命令的系统和方法,包括在触摸屏设备上呈现菜单图标;由处理器接收通过第一用户对菜单图标的触摸而生成的第一信号;响应于通过对菜单图标的触摸而生成的第一信号,提供表示要执行的功能的附加菜单图标的第一聚组,由处理器接收通过第一用户对附加菜单图标中的一个附加菜单图标的触摸而生成的第二信号;响应于通过对附加菜单图标中的该附加菜单图标的所述触摸而生成的第二信号,执行选自由下列各项组成的组中的功能:加载和显示文档、执行用户程序以及在触摸屏设备上显示进一步的菜单图标。
在一些实施方式中,持久存在的菜单图标小于附加菜单图标的第一聚组。在其他情况下,当触摸屏设备没有感应到任何交互时可以隐藏持久存在的菜单图标,并且当触摸屏设备感测到任何交互时可以再次展现持久存在的菜单图标。与附加菜单图标中的该附加菜单图标相邻聚组的菜单图标可以与引起第二信号的被触摸的附加菜单图标中的该附加菜单图标相关。可以基于用户的选择类型来显示与附加菜单图标中的该附加菜单图标相邻聚组的菜单图标。该文档可以是与多个用户一起使用和共享的协同文档。在另一实施方式中,可以从协同文档的第二用户接收第三信号,并且响应于第三信号,向第二用户呈现与协同文档中的第一用户的相应菜单图标视图不同的菜单图标。对于第二用户的文档显示和菜单显示可以基于该文档的访问控制列表。
因此,描述了一种系统,该系统通过检测用户交互和用户接触类型,并呈现直观的文档编辑特征来改进触摸屏设备上协同文档的创建和编辑能力,与适用于键盘和鼠标输入设备的常规创建和编辑特征相比,直观的文档编辑特征对于用于小型便携式设备来说更加方便。根据用户与系统的交互,使用以各种方式呈现的菜单来提供文档编辑特征。这个菜单取代了原本计划针对鼠标的常规的菜单栏和工具栏特征,而是提供了一个随叫随到的菜单系统,方便触摸输入,允许屏幕区域保持干净简单,就像一张纸,允许用户可以像他们想象的那样自由地思考和表达信息。
在另一示例中,一种使用触摸屏设备的协同文档界面来编辑电子文档的方法包括:由处理器接收协同文档编辑界面中的电子文档的编辑;确定用于编辑的输入的接触点的大小;以及基于接触点的大小将编辑应用于电子文档。大小相对较小的接触点输入被应用为触控笔录入。大小相对大的接触点输入被应用为擦除。
因此,提供了文档编辑特征,在不需要附加的对象选择和菜单系统的情况下,自动帮助绘制形状和对象。
附图说明
通过结合附图考虑以下详细描述,本公开的上述和其他特征,包括其性质和各种优点,将变得更加明显,其中:
图1是根据说明性实施例的用于协同文档编辑工具的计算机化系统的框图。
图2是根据说明性实施例的用户设备的框图。
图3是根据说明性实施例的示例性用户界面。
图4是根据说明性实施例的另一示例性用户界面。
图5是根据说明性实施例的另一示例性用户界面。
图6是根据说明性实施例的另一示例性用户界面。
图7是根据说明性实施例的另一示例性用户界面。
图8是根据说明性实施例的用于呈现菜单选项的方法的示例性流程图。
图9是根据说明性实施例的用于呈现编辑选项的方法的示例性流程图。
具体实施例
为了提供对本公开的总体理解,现在将描述某些说明性实施例,包括使用触摸屏设备协同创建文档的系统。特别地,描述了一种系统,该系统通过检测用户交互和用户接触类型,并呈现直观的文档编辑特征,来改进触摸屏设备上协同文档的创建和编辑能力。在一些实施方式中,文档编辑特征使用菜单来提供,该菜单根据用户与系统的交互以各种方式呈现。然而,本领域的普通技术人员将会理解,这里描述的系统和方法可以被调适和修改为适合于所针对的应用,并且这里描述的系统和方法可以被用于其他合适的应用,并且这样的其他添加和修改不会脱离其范围。通常,这里描述的计算机化系统可以包括一个或多个触摸屏设备,其包括一个或多个处理设备,例如计算机、微处理器、逻辑设备或配置有硬件、固件和软件以执行本文描述的一个或多个计算机化方法的其他设备或处理器。
本公开提供了用于创建和编辑协同文档的生产力工具的系统和方法。协同文档可以在没有常用文档例如电子表格、文字处理器或演示等的严格框架或结构的情况下采取自由形式的画布风格,然而,这些文档的特征可以在该文档中提供。这里描述的系统和方法可以使用触摸屏设备来实现,例如平板计算机、智能手机、智能板或具有触摸屏的其他设备。由于这种设备通常不包括个人计算机的所有外围输入设备,例如鼠标指针和键盘,系统检测和解释用户与触摸屏的交互,部分通过提供持久存在的菜单和可变特征菜单来呈现直观的文档编辑特征。此外,通过提供一种集成来自各种来源的内容以及访问和存储这些内容的方式,有助于文档的创建和编辑。
图1描绘了可用于实现这里的系统和方法的网络和数据库结构的示例。图1是用于提供触摸屏生产力工具的计算机化系统100的框图。该系统100包括服务器104和通过网络101连接的三个用户设备113a-113c(总体上是用户设备113)。服务器104包括文件处理器102和电子数据库103。文件处理器102运行生产力工具并管理对存储在电子数据库103中的文档的更新。每个用户设备13包括用户界面114a-114c(总体上,用户界面114),用户界面中每一个可以包括具有触摸屏的显示器,该触摸屏能够感测用户通过触摸进行的输入。用户112a-112c(总体上用户112)通过用户界面114与用户设备113交互,以查看服务器104维护的文档,并提供对文档的更改。另外,一个或多个处理器可以在每个用户设备113、服务器104和文件处理器102中。如本文所使用的,术语“处理器”指的是一个或多个计算机、微处理器、逻辑设备、服务器或配置有硬件、固件和软件以执行本文所描述的计算机化技术中的一种或多种的其他设备。处理器和处理设备还可以包括一个或多个存储设备,用于存储当前正在处理的输入、输出和数据。图1中仅示出了一个服务器104和三个用户设备113,以避免使附图复杂化。通常,系统100可以支持多台服务器和任意数量的用户设备。
服务器104可以是基于web的存储系统,例如云存储系统,其托管文件并允许用户存储、检索和修改数据。该数据可以被称为用户的web数据,其可以存储在分配给每个用户的电子数据库103的一部分中。服务器104、文件处理器102或两者可以执行与维护存储在电子数据库103上的文档相关的功能。服务器104可以在单个服务器系统上或者在分布式系统中实现。特别地,服务器104可以使用云存储来存储用户数据。
文件处理器102可以包括处理器和存储指令的存储单元,指令可由处理器读取以执行这里描述的过程中的任何过程。如图1所示,文件处理器102是服务器104上的组件。然而,在此描述为由文件处理器102实现的功能中的任何功能可以由服务器104上的任何处理器、用户设备113中任一个上的处理器、单独的处理器或其任何适当的组合来执行。此外,用户设备113可以包括存储单元,该存储单元存储一个或多个处理器可读的指令以执行这里描述的过程。
在一个示例中,文档被存储在电子数据库103上,并且用户112通过用户设备113同时查看和编辑文档。特别地,文档的视图显示在用户界面中每一个上,并且用户112可以对文档进行更改。这些更改通过网络101被传送到服务器104,服务器104用这些更改更新电子数据库103中的文档,并将文档的更新视图传送回用户设备113中的每一个。以这种方式,文档的视图会随着每个用户所做的更改而实时更新。
图2是示例性用户设备113的详细框图。用户设备113包括输入/输出(I/O)端口220、处理器222、存储器224、用户界面226和网络界面230,所有这些都通过数据总线连接。用户在用户设备113处通过用户界面226与用户设备113交互,用户界面226包括显示单元,例如能够接收用户输入的触摸的触摸屏。例如,用户界面226可以包括具有菜单选项的屏幕,该菜单选项允许用户选择内容创建和编辑模式,并直接录入可以存储在用户设备存储器224或数据库103中的内容。网络界面230提供用户设备113与网络101之间的通信,并且文件可以通过网络界面230上传到服务器104来共享、存储和处理。I/O端口220可以包括用于用户连接外部设备的端口。
处理器222可以被配置为执行这里描述为由用户设备113执行的功能中的任一个。在一个示例中,处理器222可以与服务器104和文件处理器102通信以用于内容创建。存储器224可以存储处理器222可读的指令,以执行这里描述的过程。此外,要上传到服务器104的文件可以临时存储在存储器224中。
图2中的用户设备113是可用于创建内容的设备的说明性示例,该内容可使用服务器104经由基于web的存储系统协同和共享。通常,可以使用连接到网络101的任何用户设备,例如平板计算机、笔记本计算机、智能板和移动设备。一般来说,用户设备113是触摸屏平板计算机或智能板。
图3描绘了生产力工具的示例性用户界面300。如图所示,用户界面300可以被提供在用户设备上,诸如任何用户设备113。用户界面300可以包括具有菜单按钮350的大致空白的画布。菜单按钮350可以是持久存在的并且一直显示在文档中。菜单按钮350也可以位于屏幕的特定位置。在创建文档期间,菜单按钮350可以移动到屏幕中的另一个活动位置,例如,用户最近与文档交互的位置。在一些情况下,菜单按钮350是隐藏的,并且可以通过用户触摸屏幕而变得可见。在其他情况下,菜单按钮350可以以调暗或阴影的形式显示,使得具有菜单按钮350可用的视觉提示,但是它不干扰文档中内容的视觉效果。菜单按钮350可以以多种方式选择,以获得用于在空白画布中书写、绘图和创建内容的各种选项的扩展菜单按钮。用户交互可以通过手指触摸或使用触控笔执行。接触点的大小可以由触摸屏界面检测,并且触摸的相对大小可以被用户界面用作提供一个或多个不同的编辑选项的基础,如这里将描述的那样。接触点大小的检测可以通过触摸屏捕捉接触信息并使用用户设备113上或服务器104上的处理器分析接触信息来实现。
在一个示例中,用户可以通过敲击或按压菜单按钮来与菜单按钮350交互,以获得扩展的菜单按钮。如图4所示,扩展菜单按钮450可以显示在用户界面400中。扩展菜单按钮450可以包括不同的笔或画笔类型、图案、颜色或其他供用户选择的书写和绘图工具。一般来说,当选择绘图或书写按钮时,相邻菜单中会提供附加的绘图和书写选项。
对菜单按钮350(图3)的另一用户交互可以是旋转触摸,或者长按菜单按钮350。图5示出了另一示例性用户界面500,其中菜单按钮550可以被旋转或拖动以获得图6所示的另一扩展菜单。图6描绘了触摸屏生产力工具的另一示例性用户界面600。已选择菜单按钮650的阴影(例如,已由用户选择的任何菜单按钮350或550),已经与用户交互,导致内容创建选项的扩展菜单出现。一般来说,扩展菜单选项与所选菜单按钮相关。阴影按钮650可以包括小点,其指示用户界面可用的多个选项。如图所示,文本选项660、徒手绘图选项670、互联网搜索选项680或相机选项690可以呈现给用户。文本选项660可以被选择以允许文本录入,例如,使用触摸屏键盘或通过徒手手写识别。徒手绘图选项670可以被选择来录入徒手绘图或徒手书写,徒手绘图或徒手书写保持在其手绘或手写状态。可以选择互联网搜索选项680来执行互联网搜索,例如,使用搜索查询窗口,该窗口可以接收用于搜索的搜索项。搜索的结果可以合并到文档中。相机选项690可以被选择来使用合并在用户设备113中的相机开始相机会话,或者使用复印特征来复制用户界面的可视屏幕,或者从文件中选择图像。还可以提供其他内容创建和编辑选项。
在图7中,示出了另一示例性用户界面700,包括附加的创建和编辑选项,例如,文档处理应用720、文件存储管理器应用730、地图应用740和文本写入器760。文档处理应用720可以被选择来启动文档处理应用,该文档处理应用可以在用户设备113上本地运行或者经由云服务运行。文档处理应用程序将在生产力工具的环境中执行。文件存储管理器应用730可以被选择来提供对云或远程存储文件的访问,这些文件可以在生产力工具的环境中打开和访问。地图应用740可以被选择来获得地图信息,例如,基于互联网或GPS的地图应用。并且可以选择文本写入器760以允许文本录入,例如,使用触摸屏键盘或通过徒手手写识别。
用户可以通过移动或旋转阴影按钮750来与阴影按钮750交互以查看这些和其他内容创建编辑选项。在另一种情况下,附加的内容创建和编辑选项可以通过保持可见选项之一(例如730)并逆时针旋转它以查看右边的其他选项,或者顺时针旋转它以查看可能位于左边的其他选项来获得。在图3-7的用户界面300、400、500、600和700中的每一个中,用户设备113的触摸屏检测到与菜单按钮350、450、550、650和750的不同用户交互,并且可以在用户界面(图3-7的350、450、550、650和750)中呈现附加的内容创建选项。此外,用户界面(图3-7的350、450、550、650和750)中的不同类型的触摸和交互可以导致空白画布的不同动作。例如,在空白文档中双次敲击会导致出现新的空白页。在另一个示例中,双次敲击可能会导致删除或撤消最近的输入。在另一个示例中,单指按压会导致一个动作,而双指按压会导致另一个动作。对于使用手指进行选择的用户来说,使用画笔进行绘图的效果可能与触控笔用户使用画笔绘图的效果在用户界面中不同地被处理。对于既使用触控笔也使用手指触摸的用户,用户界面可以不同地对待触摸。例如,触控笔交互触摸可被解释为提供精细或不同的线,而双指触摸或拳头摩擦可指示线或对象应被擦除。
对不同触摸类型提供不同的响应最初可以由生产力工具使用直观的动作来设置。此外,用户可以在用户设置中指定对触摸类型的某些动作和响应。这些设置将与用户信息相关联地存储在用户设备113和/或服务器104上。
转至图8,菜单操作可以遵循流程图800。当用户启动文档(或编辑文档)时,用户可以触摸文档的触摸屏。用户的触摸被检测为文档中的用户交互802,这种交互可被处理器解释为触摸信号。当接收到用户的触摸或与文档的其他用户交互时,生产力工具将在用户设备113的用户界面114上呈现菜单按钮。在一些情况下,菜单按钮可以在用户界面114中持久存在,并且可以在没有用户交互的情况下可见。当菜单按钮可见时,用户可以与菜单按钮交互。交互的一些示例包括敲击、长敲击、双次敲击、长按、旋转、拖动或滑动。触摸屏可以检测到这样的交互中的任一个,并将其传送给生产力工具来确定交互的类型806。在一些使用中,可能没有接收到交互,菜单按钮可能会消失或隐藏在视图之外808。在810处,如果接收到与菜单按钮的交互,扩展的菜单选项将在用户设备113的用户界面114中呈现。图4、6和7显示了扩展菜单选项的一些示例。
该文档可以是与其他用户一起使用和共享的协同文档。当另一用户启动或打开同一文档时,呈现给另一用户的菜单按钮和/或扩展菜单选项可以不同于呈现给用户设备113的用户的菜单按钮和/或扩展菜单选项,并且可以基于另一用户的预定义偏好和/或另一用户与文档的交互。系统可以使用与文档相关联的访问控制列表来确定允许哪些用户查看文档和相应的菜单选项。
在812处,扩展菜单选项中的附加选择可以由用户界面接收,并由生产力工具处理。例如,可以接收对画笔绘图或互联网搜索的选择。在814处,当接收到这样的选择时,选项或功能被呈现给用户。呈现给用户的选项可以与所选菜单相关814。也可以以这种方式选择用户程序和应用程序,并与文档一起打开和执行。如果没有接收到选择,菜单将被隐藏808。当菜单隐藏时,生产力工具界面呈现为整洁的工作画布或一张纸。在一些情况下,当菜单隐藏808时,可以呈现较小的或阴影菜单图标。
生产力工具可以与触摸屏一起使用,触摸屏能够检测触摸的相对大小,然后呈现不同的编辑选项。此外,对不同大小触摸的检测也可以在空白画布中进行不同的处理。图9描绘了用于基于所感测的触摸呈现不同选项和不同编辑选项的录入的方法900的流程图。在用户界面和用设备113的空白画布的任何位置,可以接收用户交互902。用户交互可以是用户设备113的触摸屏上感测到的触摸。感测到的触摸可以由用户用手指或手的一部分触摸屏幕引起,或者通过使用触控笔引起。触摸屏界面检测触摸并确定触摸的相对大小904。触摸可由触摸屏玻璃中的电子器件检测,其细节可被传送给用户设备113中的处理器222或服务器104中的远程处理器。如果确定触摸很小,例如在小于2mm的范围内,处理器222或服务器104可以确定触摸是使用触控笔引起的,并且生产力工具将呈现触控笔使用的选项906。触摸屏可以接收附加的用户交互,其可以基于触控笔触摸作为编辑选项输入908。例如用户界面可以呈现给用户,具有画布中适合触控笔录入的选项以及触控笔选择和录入可以被录入画布中,具有类似触控笔的细线。然而,如果触控笔用来选择一个大的画笔来绘图,线的输入可能会比触控笔的大小大得多。
对于基于手指的用户交互,处理器222或服务器104可以在904检测到大约在2mm到1.5cm范围内的中等大小触摸。当检测到这种大小的触摸时,生产力工具将呈现手指触摸的选项910,并基于手指触摸输入随后的用户交互912。例如,可以检测手指大小的触摸,并且可以在用户界面中呈现适于手指大小选择的菜单选项。使用手指线添加到画布上的徒手绘图或徒手书写或其他内容将使用比触控笔线稍大的线输入。但是,如果用户选择了一条精细的绘图线,则录入的线将比用户手指的大小小得多。
在一些使用中,可以用两个手指或手的侧面触摸该触摸屏,例如涂抹或摩擦触摸。这种触摸将大于1.5cm,并且将在904处被生产力工具解释为很大。在这种情况下,生产力工具将呈现大触摸或交互的选项914,并基于大触摸输入后续交互916。例如,用户可能想要擦除画布的一部分,并且可以使用用户的手或拳头的侧面将其擦掉,类似于擦除干擦板或黑板。生产力工具将检测到这种交互并相应地输入。在某些情况下,生产力工具可以在擦除内容之前询问用户,用户是否打算擦除一个区域。用户可以因此在生产力工具中建立用户设置,用于处置和对待不同的用户交互。触控笔使用、手指触摸和大小较大的触摸的选项可以相同或不同。
虽然这里已经示出和描述了本公开的各种实施例,但是对于本领域技术人员来说,这种实施例仅作为示例提供是显而易见的。在不脱离本公开的情况下,本领域技术人员现在将会想到许多变化、改变和替换。应当理解,在实践本公开时,可以采用这里描述的本公开的实施例的各种替代方案。

Claims (20)

1.一种方法,所述方法包括:
在触摸屏设备上一位置处呈现菜单图标;
由处理器检测对所述触摸屏设备的触摸的大小;
基于所述触摸的大小从包括不同菜单选项的菜单图标的集合中选择一个或多个附加菜单图标;
由所述处理器将所述一个或多个附加菜单图标呈现为邻近于所述菜单图标的所述位置的组;
由所述处理器检测对所述一个或多个附加菜单图标中的一个附加菜单图标的触摸;
邻近于所触摸的附加菜单图标来呈现所触摸的附加菜单图标的一个或多个扩展菜单选项;以及
执行与所述一个或多个扩展菜单选项中的至少一个相对应的功能。
2.根据权利要求1所述的方法,进一步包括:
在所述触摸屏设备感测到交互之前,隐藏所述菜单图标;以及
在所述触摸屏设备感测到交互之后,展现所述菜单图标。
3.根据权利要求1所述的方法,其中,所述一个或多个扩展菜单选项与所触摸的附加菜单图标相关。
4.根据权利要求1所述的方法,其中,选择所述一个或多个附加菜单图标包括基于用户的选择类型来选择所述一个或多个附加菜单图标。
5.根据权利要求1所述的方法,进一步包括在所述触摸屏设备上显示文档,其中,所述文档是同时显示在第二触摸屏设备上的协同文档。
6.根据权利要求5所述的方法,其中,所述触摸屏的所述菜单图标不同于所述第二触摸屏设备上的所述协同文档的菜单图标。
7.根据权利要求6所述的方法,其中,所述触摸屏设备的所述菜单图标基于所述协同文档的访问控制列表。
8.一种包括与触摸屏设备通信的服务器的系统,所述服务器被配置为::
向所述触摸屏设备提供菜单图标用于呈现;
检测对所述触摸屏设备的触摸的大小;
从包括不同菜单选项的菜单图标的集合中选择一个或多个附加菜单图标;
将所述一个或多个附加菜单图标呈现为邻近于所述菜单图标的位置的组;
确定对所述一个或多个附加菜单图标中的一个附加菜单图标的触摸;
邻近于所触摸的附加菜单图标来提供所触摸的附加菜单图标的一个或多个扩展菜单选项用于呈现;以及
发起与所述一个或多个扩展菜单选项中的菜单选项相对应的功能。
9.根据权利要求8所述的系统,所述服务器进一步被配置为:
在所述触摸屏设备感测到交互之前,隐藏所述菜单图标;以及
在所述触摸屏设备感测到交互之后,展现所述菜单图标。
10.根据权利要求8所述的系统,其中,所述一个或多个扩展菜单选项与所触摸的附加菜单图标相关。
11.根据权利要求8所述的系统,其中,所述一个或多个附加菜单图标进一步基于用户的选择类型。
12.根据权利要求8所述的系统,其中,所述服务器进一步在多个触摸屏设备上提供协同文档用于显示,所述多个触摸屏设备包括所述触摸屏设备和附加触摸屏设备。
13.根据权利要求12所述的系统,其中,所述服务器进一步被配置为:在所述附加触摸屏设备上呈现与提供给所述触摸屏设备的所述菜单图标不同的菜单图标。
14.根据权利要求12所述的系统,其中,为了提供所述协同文档用于显示,所述服务器基于所述协同文档的访问控制列表来向所述多个触摸屏设备提供所述协同文档的内容。
15.根据权利要求13所述的系统,其中,为了在所述附加触摸屏设备上呈现所述菜单图标,所述服务器基于所述协同文档的访问控制列表来在所述附加触摸屏设备上呈现所述菜单图标。
16.一种包括指令的非暂时性计算机可读存储介质,所述指令使处理器执行操作,所述操作包括:
在触摸屏设备上呈现菜单图标和电子文档;
由所述处理器检测对所述触摸屏设备的触摸的大小;
基于所述触摸的大小从包括不同菜单选项的菜单图标的集合中选择一个或多个附加菜单图标;
将所述一个或多个附加菜单图标呈现为邻近于所述菜单图标的位置的组;
确定对所述一个或多个附加菜单图标中的一个附加菜单图标的触摸;
邻近于所触摸的附加菜单图标来呈现所触摸的附加菜单图标的一个或多个扩展菜单选项;以及
执行所述电子文档的编辑功能,所述编辑功能与所述一个或多个扩展菜单选项中的至少一个相对应。
17.根据权利要求16所述的非暂时性计算机可读存储介质,其中,所述一个或多个扩展菜单选项与所触摸的附加菜单图标相关。
18.根据权利要求16所述的非暂时性计算机可读存储介质,其中,选择所述一个或多个附加菜单图标包括基于用户的选择类型来选择所述附加菜单图标。
19.根据权利要求16所述的非暂时性计算机可读存储介质,其中,所述指令进一步使所述处理器在所述触摸屏设备上显示文档,其中,所述文档是同时显示在第二触摸屏设备上的协同文档。
20.根据权利要求19所述的非暂时性计算机可读存储介质,其中,所述触摸屏的所述菜单图标不同于所述第二触摸屏设备上的所述协同文档的菜单图标。
CN202210688417.6A 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法 Active CN115268752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210688417.6A CN115268752B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US15/267,303 2016-09-16
US15/267,303 US11287951B2 (en) 2016-09-16 2016-09-16 Systems and methods for a touchscreen user interface for a collaborative editing tool
CN201780050623.1A CN109643213B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法
PCT/US2017/051316 WO2018052969A1 (en) 2016-09-16 2017-09-13 Systems and methods for a touchscreen user interface for a collaborative editing tool
CN202210688417.6A CN115268752B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780050623.1A Division CN109643213B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法

Publications (2)

Publication Number Publication Date
CN115268752A true CN115268752A (zh) 2022-11-01
CN115268752B CN115268752B (zh) 2024-09-27

Family

ID=59955694

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780050623.1A Active CN109643213B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法
CN202210688417.6A Active CN115268752B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201780050623.1A Active CN109643213B (zh) 2016-09-16 2017-09-13 用于协同编辑工具的触摸屏用户界面的系统和方法

Country Status (5)

Country Link
US (2) US11287951B2 (zh)
EP (1) EP3491506B1 (zh)
CN (2) CN109643213B (zh)
DE (1) DE202017105614U1 (zh)
WO (1) WO2018052969A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD795916S1 (en) * 2014-08-19 2017-08-29 Google Inc. Display screen with animated graphical user interface
USD788788S1 (en) 2014-11-18 2017-06-06 Google Inc. Display screen with animated graphical user interface
USD823893S1 (en) * 2016-10-27 2018-07-24 Apple Inc. Display screen or portion thereof with icon set
USD910711S1 (en) 2018-04-10 2021-02-16 Google Llc Display screen with icon
US20220253208A1 (en) * 2019-07-02 2022-08-11 Galaxy Next Generation, Inc. An interactive touch screen panel and methods for collaborating on an interactive touch screen panel
JP7408972B2 (ja) * 2019-09-18 2024-01-09 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
CN111026266A (zh) * 2019-11-29 2020-04-17 深圳维示泰克技术有限公司 一种移动平台上编辑3d模型的交互方法及装置
US11651332B2 (en) * 2020-04-28 2023-05-16 International Business Machines Corporation Distributed collaborative environment using physical notes
USD965005S1 (en) * 2020-07-24 2022-09-27 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN112578986A (zh) * 2020-12-25 2021-03-30 深圳市变能科技有限公司 通过触摸屏进行组态自定义人机界面的方法、系统及终端

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030088793A1 (en) * 2001-11-06 2003-05-08 Parry Travis J. Managing customized menus across multiple imaging devices
US20080163053A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
US20080172633A1 (en) * 2006-04-19 2008-07-17 Lg Electronics Inc. Touch screen device and method of displaying and selecting menus thereof
US20120299860A1 (en) * 2010-02-04 2012-11-29 Nokia Corporation User input
CN102929533A (zh) * 2007-09-13 2013-02-13 苹果公司 用于具有多语言环境的设备的输入方法及相关设备和系统
CN102968267A (zh) * 2011-08-30 2013-03-13 三星电子株式会社 具有触摸屏的移动终端及在移动终端提供用户界面的方法
CN103257823A (zh) * 2012-02-21 2013-08-21 Sap股份公司 便携式电子设备上的导航
CN103502917A (zh) * 2011-04-20 2014-01-08 微软公司 用于启用触摸的命令执行的紧凑控件菜单
CN103631484A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 一种调整界面控件位置的方法、装置及终端
US20150186348A1 (en) * 2013-12-31 2015-07-02 Barnesandnoble.Com Llc Multi-Purpose Tool For Interacting With Paginated Digital Content
US20150268802A1 (en) * 2014-03-24 2015-09-24 Hideep Inc. Menu control method and menu control device including touch input device performing the same
US20150341399A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. Server and method of providing collaboration services and user terminal for receiving collaboration services

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5119079A (en) * 1990-09-17 1992-06-02 Xerox Corporation Touch screen user interface with expanding touch locations for a reprographic machine
US20040135805A1 (en) * 2003-01-10 2004-07-15 Gottsacker Neal F. Document composition system and method
US20070094597A1 (en) * 2004-11-04 2007-04-26 Rostom Mohamed A Dynamic graphical user interface for a desktop environment
KR20070006477A (ko) * 2005-07-08 2007-01-11 삼성전자주식회사 가변적 메뉴 배열 방법 및 이를 이용한 디스플레이 장치
JP2009110286A (ja) 2007-10-30 2009-05-21 Toshiba Corp 情報処理装置、ランチャー起動制御プログラムおよびランチャー起動制御方法
WO2010082838A1 (en) * 2008-12-17 2010-07-22 Business Intelligence Solutions Safe B. V. Component data visualization method
US20100265185A1 (en) 2009-04-17 2010-10-21 Nokia Corporation Method and Apparatus for Performing Operations Based on Touch Inputs
US8279185B2 (en) * 2009-05-08 2012-10-02 Sony Ericsson Mobile Communications Ab Methods, devices and computer program products for positioning icons on a touch sensitive screen
CN101561826B (zh) * 2009-05-18 2011-03-16 汤胤 基于节点粒度语义的在线非结构化文档共享协同方法及其应用
EP2325737B1 (fr) * 2009-10-28 2019-05-08 Orange Procédé et système de gestion d'une interface graphique pour l'affichage de composants graphiques applicatifs
US20110252312A1 (en) 2010-04-12 2011-10-13 Google Inc. Real-Time Collaboration in a Hosted Word Processor
WO2012019350A1 (en) * 2010-08-12 2012-02-16 Google Inc. Finger identification on a touchscreen
GB2485218A (en) * 2010-11-05 2012-05-09 Promethean Ltd A method of navigating radial menu options
US9361009B2 (en) 2010-12-01 2016-06-07 Adobe Systems Incorporated Methods and systems for setting parameter values via radial input gestures
US20120226978A1 (en) * 2011-03-04 2012-09-06 Leica Camera Ag Graphical User Interface Having An Orbital Menu System
US20130019175A1 (en) * 2011-07-14 2013-01-17 Microsoft Corporation Submenus for context based menu system
KR101879333B1 (ko) 2011-12-06 2018-07-17 엘지전자 주식회사 이동 단말기 및 그의 아이콘 배열방법
CN103092521A (zh) 2013-01-28 2013-05-08 施爱龙 一种电容屏手写擦除转换方法
JP2015001751A (ja) 2013-06-13 2015-01-05 コニカミノルタ株式会社 手書き入力装置及び制御プログラム並びに制御方法
KR20150127989A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 사용자 인터페이스 제공 방법 및 장치
KR20170024846A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 이동단말기 및 그 제어방법
RU2638725C1 (ru) * 2016-08-15 2017-12-15 Общество с ограниченной ответственностью "ПИРФ" (ООО "ПИРФ") Способ и система управления устройством с помощью радиального графического интерфейса пользователя

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030088793A1 (en) * 2001-11-06 2003-05-08 Parry Travis J. Managing customized menus across multiple imaging devices
US20080172633A1 (en) * 2006-04-19 2008-07-17 Lg Electronics Inc. Touch screen device and method of displaying and selecting menus thereof
US20080163053A1 (en) * 2006-12-28 2008-07-03 Samsung Electronics Co., Ltd. Method to provide menu, using menu set and multimedia device using the same
CN102929533A (zh) * 2007-09-13 2013-02-13 苹果公司 用于具有多语言环境的设备的输入方法及相关设备和系统
US20120299860A1 (en) * 2010-02-04 2012-11-29 Nokia Corporation User input
CN103502917A (zh) * 2011-04-20 2014-01-08 微软公司 用于启用触摸的命令执行的紧凑控件菜单
CN102968267A (zh) * 2011-08-30 2013-03-13 三星电子株式会社 具有触摸屏的移动终端及在移动终端提供用户界面的方法
CN103257823A (zh) * 2012-02-21 2013-08-21 Sap股份公司 便携式电子设备上的导航
CN103631484A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 一种调整界面控件位置的方法、装置及终端
US20150186348A1 (en) * 2013-12-31 2015-07-02 Barnesandnoble.Com Llc Multi-Purpose Tool For Interacting With Paginated Digital Content
US20150268802A1 (en) * 2014-03-24 2015-09-24 Hideep Inc. Menu control method and menu control device including touch input device performing the same
US20150341399A1 (en) * 2014-05-23 2015-11-26 Samsung Electronics Co., Ltd. Server and method of providing collaboration services and user terminal for receiving collaboration services

Also Published As

Publication number Publication date
US20220214784A1 (en) 2022-07-07
CN109643213B (zh) 2022-07-08
EP3491506A1 (en) 2019-06-05
US11287951B2 (en) 2022-03-29
WO2018052969A1 (en) 2018-03-22
US20180081498A1 (en) 2018-03-22
DE202017105614U1 (de) 2017-12-22
CN109643213A (zh) 2019-04-16
CN115268752B (zh) 2024-09-27
EP3491506B1 (en) 2022-06-15
US12093506B2 (en) 2024-09-17

Similar Documents

Publication Publication Date Title
CN109643213B (zh) 用于协同编辑工具的触摸屏用户界面的系统和方法
US11243673B2 (en) Systems, methods, and computer program products displaying interactive elements on a canvas
US9239673B2 (en) Gesturing with a multipoint sensing device
EP3008575B1 (en) Natural quick function gestures
US9292111B2 (en) Gesturing with a multipoint sensing device
CA2637513C (en) Gesturing with a multipoint sensing device
US20120105367A1 (en) Methods of using tactile force sensing for intuitive user interface
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
JP2019516189A (ja) タッチスクリーントラック認識方法及び装置
US11150797B2 (en) Method and device for gesture control and interaction based on touch-sensitive surface to display
MX2014002955A (es) Entrada de formula para dispositivos de presentacion limitada.
US20150077358A1 (en) Electronic device and method of controlling the same
US20150033161A1 (en) Detecting a first and a second touch to associate a data file with a graphical data object
TW201401157A (zh) 電子裝置的文本編輯系統及方法
KR102551568B1 (ko) 전자 장치 및 그 제어 방법
WO2014043275A1 (en) Gesturing with a multipoint sensing device
Tu et al. Text Pin: Improving text selection with mode-augmented handles on touchscreen mobile devices
US20150062047A1 (en) Information processor, control method and program
US20150268805A1 (en) User interface to open a different ebook responsive to a user gesture
US9665769B2 (en) Handwriting recognition with natural user input on multitouch surfaces
JP6408273B2 (ja) 情報処理装置、情報処理プログラムおよび情報処理方法
AU2016238971B2 (en) Gesturing with a multipoint sensing device
AU2014201419B2 (en) Gesturing with a multipoint sensing device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant