CN106796487A - 与表示文件的用户界面元素进行交互 - Google Patents

与表示文件的用户界面元素进行交互 Download PDF

Info

Publication number
CN106796487A
CN106796487A CN201480082390.XA CN201480082390A CN106796487A CN 106796487 A CN106796487 A CN 106796487A CN 201480082390 A CN201480082390 A CN 201480082390A CN 106796487 A CN106796487 A CN 106796487A
Authority
CN
China
Prior art keywords
user interface
computer system
file
display
interface element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480082390.XA
Other languages
English (en)
Inventor
J·姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN106796487A publication Critical patent/CN106796487A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/168Details of user interfaces specifically adapted to file systems, e.g. browsing and visualisation, 2d or 3d GUIs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

描述了一种示例方法,其中文件被计算机系统所接收。第一用户界面被显示在该计算机系统的第一显示器上。该第一用户界面包括表示文件的多个用户界面元素。响应于经由该第一显示器检测到从该多个用户界面元素中选择了选定用户界面元素的第一用户姿势,第二用户界面被生成并且被显示在该计算机系统的第二显示器上。该第二用户界面包括该选定用户界面元素所表示的文件的详细表示。响应于经由该第一显示器检测到与该选定用户界面进行交互的第二用户姿势,该第一显示器上的第一用户界面被更新以显示与该选定用户界面的交互。

Description

与表示文件的用户界面元素进行交互
背景技术
计算机系统通常采用安装在支架上和/或被整合到计算机系统的组件之中的一个或多个显示器。用户可以在使用诸如键盘和鼠标之类的设备提供用户输入的同时观看在显示器上所显示的文件。
附图说明
图1是依据本文所公开原理的用于使用计算机系统与表示文件的用户界面元素进行交互的示例过程的流程图;
图2是用于使用图1的示例过程与表示文件的用户界面元素进行交互的示例计算机系统的示意图;
图3A和3B是图示基于所提取的属性信息对用户界面元素的排序的示例第一显示器的示意图;
图4A和4B是使用图2中的示例计算机系统的示例交互的示意图;
图5是在以协作模式与表示文件的用户界面元素进行交互时与示例远程计算机系统进行通信的示例本地计算机系统的示意图;
图6是用于使用图5的示例本地计算机系统和远程计算机系统以协作模式与表示文件的用户界面元素进行交互的示例过程的流程图;和
图7是能够实施图2和图5中的示例计算机系统的示例计算机系统的示意图。
具体实施方式
根据本公开的示例,可以通过采用促成与表示文件的用户界面元素进行交互的更为直观的方式的多个显示器来提升计算机系统用户的用户体验。更详细地,图1是用于使用计算机系统与表示文件的用户界面元素进行交互的示例过程100的流程图。过程100可以包括由诸如块110至160的一个或多个块所图示的一个或多个操作、功能或动作。各个块可以基于所期望的实施方式而被组合为更少的块、划分为附加的块和/或被除去。
在块110,文件由计算机系统所接收。根据本公开的示例,术语“所接收”、“正在接收”、“接收”等可以包括计算机系统从计算机可读存储介质(例如,存储器设备、基于云的共享存储等)访问文件,或者从远程计算机系统获取文件。例如,文件可以经由任意适当的有线或无线连接来访问或获取,上述连接诸如WI-FI、蓝牙近距离通信(NFC)、广域通信(互联网)连接、电缆,电引线等。
在块120,包括多个用户界面元素的第一用户界面在计算机系统的第一显示器上进行显示。该用户界面元素表示在块110所接收的文件。
在块130,检测从多个用户界面元素中选择选定用户界面元素的第一用户姿势。在块140,响应于检测到该第一用户姿势,生成第二用户界面并将其显示在该计算机系统的第二显示器上。该第二用户界面可以包括由该选定用户界面元素所表示的文件的详细表示。
在块150,检测与该选定用户界面元素进行交互的第二用户姿势。在块160,响应于检测到该第二用户姿势,更新第一显示器上的第一用户界面以显示与该选定用户界面的交互。术语“交互(interaction)”、“交互(interact)”、“正在交互”等通常可以指代出于任意适当目的的任意用户操作,诸如组织、编辑、分组、移动或拖动、调整大小(例如,放大或缩小)、旋转、更新属性信息,等等。
示例过程100可以用于任意适当的应用。例如,计算机系统可以被用作媒体中心(hub)以促进媒体文件(诸如图像文件、视频文件、音频文件等)的直观且交互式的组织。显示在第一显示器上的多个用户界面元素可以是媒体文件的缩略图,并且详细的表示可以是由选定用户界面元素所表示的文件的高质量表示(例如,高分辨率图像或视频)。
术语“用户姿势”、“第一用户姿势”、“第二用户姿势”等通常可以指代由用户在第一显示器上或在第一显示器附近执行的任意适当操作,诸如敲击姿势、双敲击姿势、拖动姿势、释放姿势、点击或双击姿势、拖放姿势等。例如,可以使用任意适当的方法(例如经由第一显示器的触敏表面等)来检测用户姿势。
采用过程100的计算机系统可以如在独立模式中那样使用,独立模式示例将参考图2、图3A-3B和图4A-4B进行更详细的描述。为了提升用户交互性和协作体验,可以使用协作模式来在多个用户之间创建共享工作空间。该协作模式的示例将参考图5和图6进行描述。
计算机系统
图2是可以实施图1的示例过程100的示例计算机系统200的示意图。示例计算机系统200包括第一显示器210、第二显示器220以及任何其它外围设备单元,诸如投影仪230、传感器单元240和相机单元250。外围设备单元230至250将参考图4和图5进一步详细描述。虽然示出了一个示例,但是应当理解的是,计算机系统200可以包括另外或可替换的组件(例如,另外的一个或多个显示器),并且可以具有不同的配置。计算机系统200可以是任意适当系统,诸如台式机系统和便携式计算机系统等。
为了促成一种符合人体工学的文件观看和交互方式,第一显示器210和第二显示器220可以基本上垂直于彼此进行设置。例如,第一显示器210可以相对于用户基本上水平设置以便进行交互。在这种情况下,第一显示器210可以具有替代诸如键盘、鼠标等的输入设备的触敏表面。经由该触敏表面所检测到的用户姿势也可以被称作“触摸姿势”。可以使用任意适当的触摸技术,诸如电阻式、电容式、声波、红外(IR)、应变仪、光学、声音脉冲识别等。也被称作“触摸垫”和“多点触摸表面”的第一显示器210可以使用具有多点触摸能力的平板计算机来实施。
第二显示器220可以诸如通过将第二显示器220安装到基本上直立的构件上以便于用户容易观看来相对于用户基本垂直设置。第二显示器220可以是触敏显示器(像第一显示器210),或者是使用任何适当的显示技术(诸如液晶显示器(LCD)、发光聚合物显示器(LPD)、发光二极管(LED)显示器等)实现的非触敏显示器。
第一显示器210显示第一用户界面212,并且第二显示器220显示第二用户界面222。第一用户界面212包括用户界面元素214-1至214-3,用户界面元素214-1至214-3也将被统称为“用户界面元素214”或者单独地被称作一般的“用户界面元素214”。用户界面元素214可以是表示文件并且可选择来进行交互的任意适当元素,诸如缩略图、图标、按钮、模型、低分辨率表示,或者它们的组合。术语“可选择”通常是指用户界面元素214能够被从多个用户界面元素214中选择以便进行交互。
关于图1中的块120,显示用户界面元素214可以包括对文件进行分析以提取属性信息,并根据所提取的属性信息对它们进行排序。可以基于对每个文件的元数据和/或内容的分析来提取描述文件的内容的任意属性信息。每个文件的元数据可以包括时间信息(例如,创建或修改的时间)、位置信息(例如,城市、景点等)、大小信息、文件设置,以及与文件相关的任意其它信息。
可以使用任意适当方法(诸如使用对图像处理技术(例如,特征提取、对象识别等)加以利用的内容识别引擎)对图像或视频文件的内容进行分析。内容分析的结果可以是从图像或视频文件自动识别的主题(例如,人的面部等)或对象(例如,地标、景点等)。然后可以诸如通过添加具有主题名称的标签来更新具有特定主题的图像文件的属性信息。类似地,如果识别出特定的地标(例如,埃菲尔铁塔),则可以用该地标或相关联的位置(例如,巴黎)来标记图像文件。
计算机系统200然后可以根据该属性信息对用户界面元素214进行排序。图3A和图3B是图示了基于所提取的属性信息对用户界面元素214的排序的图2中的第一显示器210的示意图。在图3A的示例中,用户界面元素214根据时间信息(诸如使用时间线310,其中若干分支均指示创建所表示的图像文件的特定月份)进行排序。在图3B的示例中,用户界面元素214根据位置信息(诸如使用地图32)进行排序,以示出在哪里创建了所表示的图像文件。
虽然并未在图3A和图3B中示出,但是用户界面元素214也可以根据内容分析的结果(诸如根据图像文件中所识别的主题或对象)进行排序。例如,如果在一组图像文件中识别出一个人物的脸部,则相对应的用户界面元素214将被显示为一个群组。此外,可以基于多个属性对用户界面元素214进行排序。例如,可以基于时间和位置进行排序,在这种情况下,第一用户界面212包括地图320的多个时间片段以表示不同的时间和位置。可以使用属性信息的任何其它适当的组合。
在用户界面元素214表示音频文件的情况下,还可以分析音频文件的元数据和/或内容以自动提取诸如流派、艺术家、专辑等的属性信息。该音频文件的用户界面元素214然后可以基于所提取的属性信息(例如,根据流派等)进行排序。
用户姿势
再次参考图1和图2的块130,表示第一显示器210上的文件的用户界面元素214均可选择以用于交互。响应于检测到选择用户界面元素214-3的用户姿势260(例如,图1中的块130处的“第一用户姿势”),第二用户界面222被生成并显示在第二显示器220上,以示出由所选择的用户界面元素214-3所表示的文件的表示224。
表示224可以是详细的或高质量的表示(诸如高分辨率图像)或在第二显示器220上播放的视频或音频片段。在图3A的示例中,响应于检测到选择时间线310的分支之一(例如,“七月”)的用户姿势260,第二用户界面222可以显示来自所选择分支的高分辨率图像。类似地,在图3B的示例中,响应于检测到选择要更详细地观看的特定位置的用户姿势250,第二用户界面222可以示出来自所选择位置的高分辨率图像。
另外,再次参考图1中的块150和160,响应于检测到与所选择的用户界面元素214-3进行交互的用户姿势260(例如,图1中的块150处的“第二用户姿势”),可以更新第一显示器210上的第一用户界面212以显示该交互。在图2的示例中,用户姿势260是在文件组织期间将所选择的用户界面元素214-3从第一位置(即,图2中的214-2的右侧)移动到第二位置(即,图2中的214-1和214-2之间)。在这种情况下,更新第一用户界面212以显示该移动。
用户姿势260可以经由第一显示器210基于用户诸如使用一个或多个手指、手写笔、定点设备等所做出的接触来进行检测。例如,可以通过确定是否已经在第一位置与第一显示器210进行接触以选择用户界面元件214-3(例如,检测“手指下降”事件),该接触是否已被移动(例如,检测“手指拖动”事件),该接触是否已经在第二位置停止(例如,检测“手指抬起”事件)等等来检测移动所选择的用户界面元素214-3的用户姿势260。
图4A和图4B是与图2中的示例性计算机系统的示例性交互的示意图。在图4A的示例中,所检测到的用户姿势260是选择用户界面元素214-3并将其分配给群组410。例如,群组410可以表示文件的文件夹,具有共同属性信息的文件群组,或者出于任何其它原因而被分组的文件的集合。一旦被分组,用户姿势260就可以被用来同时与该群组中的用户界面元素214交互。也可以更新第二显示器220上的第二用户界面222以示出群组420中的文件的详细表示。
在图4B的示例中,用户姿势260是选择并更新由所选择用户界面元素214-3表示的文件的属性信息。例如,选择用户界面元素214-3可以导致菜单420出现在第一显示器210上。这允许用户选择诸如“打开”、“编辑”、“删除”、“重命名”、“标签”、“打印”、(例如,与社交网络服务)“共享”等的菜单项以对任何适当的属性信息进行更新。
协作模式
如将参考图5和图6所解释的,图2中的计算机系统200可以以协作模式来使用,诸如在多个用户之间创建共享工作空间。在这种情况下,图2中的计算机系统200(被称为“本地计算机系统200A”)通信耦合至远程计算机系统200B,以便在处于不同位置的用户之间促成协作。本地计算机系统200A和远程计算机系统200B可以经由任何适当的有线或无线通信技术(诸如WI-FI、蓝牙NFC、超声波、电缆、电引线等)进行通信。
为在识别参与协作模式的计算机系统及其用户时的便利和清楚,术语“本地”和“远程”本文以任意方式被使用。本地计算机系统200A和远程计算机系统200B的角色可以逆转。此外,给定参考数字之后的“A”或“B”的指定仅表示被引用的特定组件分别属于本地计算机系统200A和远程计算机系统200B。尽管图5中示出了两个计算机系统200A和200B,但是应当理解的是,可以存在与计算机系统200A和200B进行交互的另外的计算机系统和/或另外的用户。
图5是以协作模式与表示文件的用户界面元素214进行交互的示例本地计算机系统200A和示例远程计算机系统200B的示意图。类似于图2中的计算机系统200,本地计算机系统200A包括显示第一用户界面212A的第一显示器210A、显示第二用户界面222A的第二显示器220A、投影仪230A、传感器单元240A以及相机单元250A。远程计算机系统200B包括显示第一用户界面212B的第一显示器210B、显示第二用户界面222B的第二显示器220B、投影仪230B、传感器单元240B以及相机单元250B。
当以协作模式进行操作时,用户可以观看到相同的用户界面,即本地第一用户界面212A与远程第一用户界面212B相对应(例如,镜像),并且本地第二用户界面222A与远程第二用户界面222B相对应。为了在协作模式期间增强用户交互性,传感器单元240A可以捕获在本地计算机系统200A处所检测到的用户姿势260的信息,以便在远程计算机系统200B处进行投影,反之亦然。这允许用户通过投影仪230A/230B提供实时反馈。
更详细地,传感器单元240A可以在本地计算机系统200A处捕获用户姿势260的信息,以便传输到远程计算机系统200B。远程计算机系统200B处的投影仪230B然后可以将所检测到的用户姿势260的图像投影到第一显示器210B上(参见图5中虚线所示的“投影的用户姿势510”)。类似地,传感器单元240B可以在远程计算机系统200B处捕获反馈姿势520的信息,以便传输到本地计算机系统200A。
本地计算机系统200A处的投影仪230A然后将反馈姿势520的图像投影到第一显示器210A上(参见图5中的“投影的反馈姿势530”)。在图5中以虚线示为手部剪影的投影的用户姿势510和投影的反馈姿势530在协作期间促成了实时的讨论和反馈。应当理解的是,术语“反馈姿势”通常可以是指用户执行以响应于检测到的用户姿势260而提供反馈的任何操作。例如,反馈姿势520可以是指示良好反馈(例如,竖起拇指)、不良反馈(例如,拇指向下)的手部信号,或者简单地指向第一显示器210B的一个区域(例如,指向图5中的用户界面元件214-2)。
传感器单元240可以包括任何适当的一个或多个传感器,诸如深度传感器、三维(3D)用户接口传感器、环境光传感器等。在一些示例中,深度传感器可以收集信息以诸如通过检测用户的手的存在、形状、轮廓、运动、3D深度或者它们的任意组合来识别用户的手。3D用户接口传感器可以被用来跟踪用户的手。环境光传感器可以被用来测量计算机系统200周围环境的光的强度,以便调整深度传感器和/或3D用户接口传感器的设置。投影仪230A/230B可以使用诸如数字光处理(DLP)、硅晶体(LCoS)等之类的任何适当的技术来实施。投影仪230所投射的光可以从高反射表面(例如,反射镜等)反射到第一显示器210A/210B上。
为了在协作期间进一步增强交互,相机单元250A/250B可以被用来捕获相应用户的图像或视频。所捕获的图像或视频然后可以被投影在被称为“楔子(wedge)”540A/540B的3D对象上。“楔子”可以是具有可以在其上投影图像或视频的表面的任何适当的物理3D对象,并且可以采用任何适当的形状和尺寸。本地计算机系统200A处的本地用户的图像或视频可以由相机250A进行捕获,并且被投影到远程计算机系统200B处的楔子540B上。类似地,远程计算机系统200B处的远程用户的图像或视频可以由相机250B进行捕获,并且被投影到本地计算机系统200A处的楔子540A上。可以使用可以在其上投影所捕获的图像或视频的任何适当3D对象来实现楔子540A/540B。实际上,楔子540A/540B可以相对于第一显示器210A/210B进行移动,例如以避免遮挡第一用户界面212A/212B上的用户界面元件214。楔子540A/540B在第一显示器210A/210B上的位置可以使用(例如,在传感器单元240A/240B和/或楔子540A/540B中的)传感器被局部化,以便让投影仪230A/230B投影相关图像或视频。
图6是使用图5中的示例性本地计算机系统200A和远程计算机系统200B以协作模式与表示文件的用户界面元素214进行交互的示例过程600的流程图。示例过程600可以包括由诸如块610至695的一个或多个块所图示的一个或多个操作、功能或动作。各个块可以基于所期望的实施方式而被组合为更少的块、划分为附加的块和/或被除去。
在块610和620,本地计算机系统200A接收文件并在第一显示器210A上显示第一用户界面212A。第一用户界面212A包括表示所接收到的文件(例如,媒体文件)的用户界面元素214,并且用户界面元素214均能够经由第一显示器210A而被选择以便进行交互。
在块630和640,响应于检测到选择用户界面元素214-3并与之进行交互的用户姿势260,本地计算机系统200A基于该交互而更新第一用户界面212A。在块650,本地计算机系统200A在第二显示器220B上生成并显示第二用户界面222B。第二用户界面222B可以包括所选择的用户界面元素214-3的表示224(例如,高质量表示)。与该选择和交互相关联的信息可以被发送至远程计算机系统200B,远程计算机系统200B然后可以相应地更新第一用户界面212B和/或第二用户界面222B。
在块660和670,本地计算机系统200A将与所检测到的用户姿势260相关联的信息发送到远程计算机系统200B。如参考图5所讨论的,可以使用传感器单元240A来捕获与所检测到的用户姿势260相关联的信息。
在远程计算机系统200B处,然后可以对所接收到的信息进行处理,并且使用投影仪230B将用户姿势260投影到第一显示器210B上(参见图5中的投影的用户姿势510)。这允许处于远程计算机系统200B处的远程用户查看到导致第一用户界面212B和/或第二用户界面222B被更新的用户姿势260。为了促进实时的远程反馈,远程用户然后例如可以通过指向不同的用户界面元素214-2来提供反馈姿势(参见图2中的520)。
在块680和690,远程计算机系统200B将与反馈姿势520相关联的信息发送到本地计算机系统200B。在块690,本地计算机系统200A可以对所接收到的信息进行处理,以使用投影仪230A将反馈姿势520投影到第一显示器210A上(参见图5中的投影的反馈姿势530)。
计算机系统
图7是能够实施图2和图5中的计算机系统200/200A/220B的示例计算机系统700的示意图。示例计算机系统700可以包括处理器710、计算机可读存储介质720、外围设备接口740、通信接口750,以及有助于这些所图示组件和其它组件之间通信的通信总线730。
处理器710将执行参考图1至图6所描述的过程。计算机可读存储介质720可以存储任何适当的数据722,诸如与用户界面元素214、用户姿势260/520等相关的信息。计算机可读存储介质720可进一步存储指令集合724以与处理器710进行协作从而执行本文参考图1至图6所描述的过程。
外围设备接口740将处理器710连接至第一显示器210、第二显示器220、投影仪230、传感器单元240、相机单元250以及楔子540,以便让处理器710执行本文参考图1至图6所描述的过程。第一显示器210和第二显示器220可以经由诸如WI-FI、蓝牙NFC、互联网、超声波、电缆、电引线等的任何适当的有线或无线电气连接或耦合互相连接以及连接至投影仪230、传感器单元240、相机单元250和楔子540。
以上所介绍的技术可以采用专用硬连线电路、结合可编程电路的软件和/或固件或者它们的组合来实施。专用硬连线电路可以采用例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)和其他的形式。术语“处理器”应当被广义地解释为包括处理单元、ASIC、逻辑单元或可编程门阵列等。
前面的详细描述已经通过使用块图、流程图和/或示例阐明了设备和/或过程的各种实施例。在这些块图、流程图和/或示例包含一个或多个功能和/或操作的范围之内,本领域技术人员将会理解的是:这样的块图、流程图或示例中的每个功能和/或操作可以单独和/或共同地通过各种硬件、软件、固件或者它们实际上的任何组合来实施。
本领域技术人员将认识到,本文所公开的实施例的一些方面能够整体或部分作为在一个或多个计算机上运行的一个或多个计算机程序(例如,作为在一个或多个计算机系统上运行的一个或多个程序),作为在一个或多个处理器上运行的一个或多个程序(例如,作为在一个或多个微处理器上运行的一个或多个程序),作为硬件,或者实际上作为它们的任意组合而以集成电路来等效地加以实施,并且借鉴本公开,为所述软件和/或固件编写代码和/或设计电路也将处于本领域技术人员的技能范畴之内。
用于实现这里所介绍的技术的软件和/或固件可以被存储在非瞬时的计算机可读存储介质上,并且可以由一个或多个通用或专用可编程微处理器来执行。“计算机可读存储介质”,与所述术语在本文所使用的一样,包括以机器(例如,计算机、网络设备、个人数字助理(PDA)、移动设备、制造工具,具有一个或多个处理器的集合的任何设备,等等)可访问的形式提供(即,存储和/或传送)信息的任意机制。例如,计算机可读存储介质包括可记录/非可记录介质(例如,只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备等)。
附图仅作为示例的图示,其中附图中所示的单元或过程对于实施本公开而言并非必然是必要的。本领域技术人员将理解的是,多个示例中的设备中的单元可以被安排在所描述示例中的设备之中,或者可替换地可以位于与实施例中的设备不同的一个或多个设备中。所描述示例中的单元能够被组合成一个模块或者被进一步划分为多个子单元。
如本文所使用的,术语“包括”和“包含”以开放的方式被使用,因此应被解释为意思是:“包括但不限于...”。此外,术语“耦合”意在指示间接或直接的连接。因此,如果第一设备通信地耦合至第二设备,则该连接可以是通过直接的电或机械连接,通过经由其它设备和连接的间接的电或机械连接,通过光电连接,或者通过无线电连接。
本领域技术人员将要意识到的是:可以对以上所描述的实施例作出多种变化和/或修改而并不背离本公开的整体宽泛范围。本实施例因此在各个方面都要被认为是说明性而非限制性的。

Claims (15)

1.一种方法,包括:
由计算机系统接收文件;
在所述计算机系统的第一显示器上显示第一用户界面,第一用户界面包括表示文件的多个用户界面元素;
响应于检测到从该多个用户界面元素中选择了选定用户界面元素的第一用户姿势,
生成并且在该计算机系统的第二显示器上显示第二用户界面,第二用户界面包括该选定用户界面元素所表示的文件的详细表示,并且
响应于经由该第一显示器检测到与该选定用户界面进行交互的第二用户姿势,
更新该第一显示器上的第一用户界面以显示与该选定用户界面元素的交互。
2.根据权利要求1所述的方法,其中与该第一用户界面的交互是以下项之一:
将该选定用户界面元素从第一用户界面上的第一位置移动至第二位置以便对该选定用户界面元素所表示的文件进行组织;
将该选定用户界面元素所表示的文件分配至文件群组;以及
更新该选定用户界面元素所表示的文件的属性信息。
3.根据权利要求1所述的方法,其中:
由多个用户界面元素所表示的文件是以下格式之一的媒体文件:图像,视频和音频;
该第一用户界面中的多个用户界面元素是表示媒体文件的缩略图;以及
该第二用户界面中的详细表示是该选定用户界面元素所表示的文件的高质量表示。
4.根据权利要求1所述的方法,其中显示包括多个用户界面元素的第一用户界面进一步包括:
分析该多个用户界面元素所表示的文件的元数据或内容或者其二者以提取每个文件的属性信息;以及
基于所提取的属性信息在第一用户界面上对该多个用户界面元素进行排序。
5.根据权利要求1所述的方法,其中每个文件的属性信息包括以下项的一个或多个:
与所表示的文件何时被创建或修改相关的时间信息;与所表示的文件在何处被创建相关的位置信息;与所表示的文件中所识别的主题或对象相关的信息。
6.根据权利要求1所述的方法,其中该计算机系统通信地耦合至远程计算机系统,并且该方法进一步包括:
向该远程计算机系统发送与所检测到的第二用户姿势相关联的信息,以使得该远程计算机系统在该远程计算机系统的第一显示器上方投影所检测到的第二用户姿势;
从该远程计算机系统接收由该远程计算机系统响应于所检测到的用户姿势而检测到的远程用户的反馈姿势的信息;以及
使用该计算机系统的投影仪将该反馈姿势投影在该计算机系统的第一显示器上经更新的第一用户界面上方。
7.一种计算机系统,包括:
处理器;
具有触敏表面的第一显示器;
第二显示器;和
指令集,能够由该处理器执行以便:
接收文件;
在第一显示器上显示第一用户界面,第一用户界面包括表示文件的多个用户界面元素;
响应于经由该第一显示器的触敏表面检测到从该多个用户界面元素中选择了选定用户界面元素的第一触摸姿势,
生成并且在第二显示器上显示第二用户界面,第二用户界面包括该选定用户界面元素所表示的文件的详细表示,并且
响应于经由该第一显示器的触敏表面检测到与该选定用户界面元素进行交互的第二触摸姿势,
更新该第一显示器上的第一用户界面以显示与该选定用户界面元素的交互。
8.根据权利要求7所述的计算机系统,其中用于显示该第一用户界面的指令集能够由该处理器所执行用以:
分析该多个用户界面元素所表示的文件的元数据或内容或者其二者以提取每个文件的属性信息;以及
基于所提取的属性信息在第一用户界面上对该多个用户界面元素进行排序。
9.一种方法,包括:
由计算机系统接收文件;
在该计算机系统的第一显示器上显示第一用户界面,第一用户界面包括表示文件的多个用户界面元素;
响应于检测到从该多个用户界面元素中选择了选定用户界面元素并与之进行交互的用户姿势,
基于与该选定用户界面元素的交互而更新该第一显示器上的第一用户界面;
生成并且在该计算机系统的第二显示器上显示第二用户界面,第二用户界面包括该选定用户界面元素所表示的文件的表示;
向与该计算机系统通信地耦合的远程计算机系统发送与所检测到的用户姿势相关联的信息;
从该远程计算机系统接收与响应于该所检测到的用户姿势的远程用户的反馈姿势相关联的信息;以及
使用该计算机系统的投影仪将该反馈姿势投影在该计算机系统的第一显示器上的第一用户界面上方。
10.根据权利要求9所述的方法,进一步包括:
使用该计算机系统的相机捕获提供该用户姿势的用户的图像或视频;
向该远程计算机系统发送所捕获的图像或视频;
从该远程计算机系统接收提供该反馈姿势的远程用户的反馈图像或视频;以及
在该计算机系统的楔子上投影该远程用户的反馈图像或视频。
11.根据权利要求9所述的方法,其中:
该文件是媒体文件,该多个用户界面元素是表示该媒体文件的缩略图,并且该第二用户界面上的表示是由该选定用户界面元素所表示的媒体文件的高质量表示。
12.根据权利要求11所述的方法,其中与该选定用户界面元素的交互是以下项之一:
将该选定用户界面元素从第一用户界面上的第一位置移动至第二位置,以对该选定用户界面元素所表示的文件进行组织;
将该选定用户界面元素所表示的媒体文件分配至媒体文件的群组;以及
更新该选定用户界面元素所表示的媒体文件的属性信息。
13.一种计算机系统,包括:
处理器;
具有触敏表面的第一显示器;
第二显示器;
投影仪;
用于与远程计算机系统进行通信的通信接口;和
指令集,能够由该处理器执行用以:
接收文件;
在该第一显示器上显示第一用户界面,第一用户界面包括表示文件的多个用户界面元素;
响应于经由该第一显示器的触敏表面检测到从该多个用户界面元素中选择了选定用户界面元素并与之进行交互的触摸姿势,
基于与该选定用户界面元素的交互而更新该第一显示器上的第一用户界面;
生成并且在该第二显示器上显示第二用户界面,第二用户界包括该选定用户界面元素所表示的文件的表示;
经由通信接口向该远程计算机系统发送与所检测到的触摸姿势相关联的信息;
经由通信接口从该远程计算机系统接收响应于所检测到的触摸姿势的远程用户的反馈姿势的信息;以及
使用该投影仪将该反馈姿势投影在所述显示器的所述第一用户界面上方。
14.根据权利要求13所述的计算机系统,进一步包括:
相机;
楔子;并且
该指令集能够由该处理器执行用以:
使用该相机捕获提供触摸姿势的用户的图像或视频;
经由通信接口向该远程计算机系统发送所捕获的图像或视频;
经由该通信接口从该远程计算机系统接收提供该反馈姿势的远程用户的反馈图像或视频;以及
将该远程用户的反馈图像或视频投影至该楔子上。
15.根据权利要求13所述的计算机系统,其中用于显示该第一用户界面的指令集能够由该处理器执行用以:
分析该多个用户界面元素所表示的文件的元数据或内容或者其二者以提取每个文件的属性信息;以及
基于所提取的属性信息在第一用户界面上对该多个用户界面元素进行排序。
CN201480082390.XA 2014-07-30 2014-07-30 与表示文件的用户界面元素进行交互 Pending CN106796487A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/048831 WO2016018287A1 (en) 2014-07-30 2014-07-30 Interacting with user interface elements representing files

Publications (1)

Publication Number Publication Date
CN106796487A true CN106796487A (zh) 2017-05-31

Family

ID=55218006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082390.XA Pending CN106796487A (zh) 2014-07-30 2014-07-30 与表示文件的用户界面元素进行交互

Country Status (5)

Country Link
US (1) US20170212906A1 (zh)
EP (1) EP3175332A4 (zh)
CN (1) CN106796487A (zh)
TW (1) TWI534696B (zh)
WO (1) WO2016018287A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073317A (zh) * 2016-12-23 2019-07-30 昕诺飞控股有限公司 显示机器可读码的交互式显示系统
CN110941407A (zh) * 2018-09-20 2020-03-31 北京默契破冰科技有限公司 一种用于显示应用的方法、设备和计算机存储介质
CN111295634A (zh) * 2017-10-04 2020-06-16 惠普发展公司,有限责任合伙企业 铰接式交互装置
CN111433729A (zh) * 2017-12-04 2020-07-17 惠普发展公司,有限责任合伙企业 外围显示设备
CN114582377A (zh) * 2019-05-22 2022-06-03 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10854181B2 (en) 2017-07-18 2020-12-01 Vertical Craft, LLC Music composition tools on a single pane-of-glass
US10043502B1 (en) 2017-07-18 2018-08-07 Vertical Craft, LLC Music composition tools on a single pane-of-glass
US10732826B2 (en) * 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009469A1 (en) * 2001-03-09 2003-01-09 Microsoft Corporation Managing media objects in a database
US20040095390A1 (en) * 2002-11-19 2004-05-20 International Business Machines Corporaton Method of performing a drag-drop operation
US20070101299A1 (en) * 2005-10-28 2007-05-03 Microsoft Corporation Two level hierarchy in-window gallery
US20130222227A1 (en) * 2012-02-24 2013-08-29 Karl-Anders Reinhold JOHANSSON Method and apparatus for interconnected devices
US20140068520A1 (en) * 2012-08-29 2014-03-06 Apple Inc. Content presentation and interaction across multiple displays
US20140149880A1 (en) * 2012-11-28 2014-05-29 Microsoft Corporation Interactive whiteboard sharing
US20140184628A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd Multi-display device and method of controlling thereof

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US7136282B1 (en) * 2004-01-06 2006-11-14 Carlton Rebeske Tablet laptop and interactive conferencing station system
US7432916B2 (en) * 2004-12-09 2008-10-07 Universal Electronics, Inc. Controlling device with dual-mode, touch-sensitive display
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US8941683B2 (en) * 2010-11-01 2015-01-27 Microsoft Corporation Transparent display interaction
US8879890B2 (en) * 2011-02-21 2014-11-04 Kodak Alaris Inc. Method for media reliving playback

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030009469A1 (en) * 2001-03-09 2003-01-09 Microsoft Corporation Managing media objects in a database
US20040095390A1 (en) * 2002-11-19 2004-05-20 International Business Machines Corporaton Method of performing a drag-drop operation
US20070101299A1 (en) * 2005-10-28 2007-05-03 Microsoft Corporation Two level hierarchy in-window gallery
US20130222227A1 (en) * 2012-02-24 2013-08-29 Karl-Anders Reinhold JOHANSSON Method and apparatus for interconnected devices
US20140068520A1 (en) * 2012-08-29 2014-03-06 Apple Inc. Content presentation and interaction across multiple displays
US20140149880A1 (en) * 2012-11-28 2014-05-29 Microsoft Corporation Interactive whiteboard sharing
US20140184628A1 (en) * 2012-12-27 2014-07-03 Samsung Electronics Co., Ltd Multi-display device and method of controlling thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110073317A (zh) * 2016-12-23 2019-07-30 昕诺飞控股有限公司 显示机器可读码的交互式显示系统
CN111295634A (zh) * 2017-10-04 2020-06-16 惠普发展公司,有限责任合伙企业 铰接式交互装置
CN111433729A (zh) * 2017-12-04 2020-07-17 惠普发展公司,有限责任合伙企业 外围显示设备
CN110941407A (zh) * 2018-09-20 2020-03-31 北京默契破冰科技有限公司 一种用于显示应用的方法、设备和计算机存储介质
CN110941407B (zh) * 2018-09-20 2024-05-03 北京默契破冰科技有限公司 一种用于显示应用的方法、设备和计算机存储介质
CN114582377A (zh) * 2019-05-22 2022-06-03 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质

Also Published As

Publication number Publication date
TW201617824A (zh) 2016-05-16
US20170212906A1 (en) 2017-07-27
TWI534696B (zh) 2016-05-21
EP3175332A1 (en) 2017-06-07
EP3175332A4 (en) 2018-04-25
WO2016018287A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
CN106796487A (zh) 与表示文件的用户界面元素进行交互
CN105493023B (zh) 对表面上的内容的操纵
EP2802978B1 (en) Information processing apparatus, information processing method, and computer program
EP2802977B1 (en) Information processing apparatus, information processing method, and computer program
US8782565B2 (en) System for selecting objects on display
JP5942456B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20230144042A (ko) 생산성을 위한 확장 현실
US20130194238A1 (en) Information processing device, information processing method, and computer program
US20130198653A1 (en) Method of displaying input during a collaboration session and interactive board employing same
CN106462372A (zh) 在图形用户界面之间传输内容
US20130055143A1 (en) Method for manipulating a graphical user interface and interactive input system employing the same
US20120102438A1 (en) Display system and method of displaying based on device interactions
CN103729054A (zh) 多显示设备及其控制方法
US9588673B2 (en) Method for manipulating a graphical object and an interactive input system employing the same
JP2013200793A (ja) 情報処理装置、情報処理方法およびプログラム
US9870139B2 (en) Portable apparatus and method for sharing content with remote device thereof
US20240119172A1 (en) Controlled exposure to location-based virtual content
US20170228034A1 (en) Method and apparatus for providing interactive content
CN106462371A (zh) 提供协作式交互的系统和方法
CN110083813A (zh) 用于内容选择和扩大内容选择的用户界面元素
JP2013164697A (ja) 画像処理装置、画像処理方法、プログラム及び画像処理システム
CN107111470A (zh) 浏览器显示投射技术
US20150242179A1 (en) Augmented peripheral content using mobile device
JP6834197B2 (ja) 情報処理装置、表示システム、プログラム
CN103793148B (zh) 内容管理系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170531