CN103914206B - 在扩展屏幕上显示图形内容的方法及系统 - Google Patents

在扩展屏幕上显示图形内容的方法及系统 Download PDF

Info

Publication number
CN103914206B
CN103914206B CN201310394028.3A CN201310394028A CN103914206B CN 103914206 B CN103914206 B CN 103914206B CN 201310394028 A CN201310394028 A CN 201310394028A CN 103914206 B CN103914206 B CN 103914206B
Authority
CN
China
Prior art keywords
gesture
extended screen
screen
content
graphical content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310394028.3A
Other languages
English (en)
Other versions
CN103914206A (zh
Inventor
王崇德
王蕙雯
邱晓薇
邱信雄
谢维庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN103914206A publication Critical patent/CN103914206A/zh
Application granted granted Critical
Publication of CN103914206B publication Critical patent/CN103914206B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种在扩展屏幕上显示图形内容的方法及系统。其中，所述的在扩展屏幕上显示图形内容的方法，包括：当在主屏幕检测到的用户活动匹配于多个手势的其中一个时，提供手势图标；其中，该手势图标响应于该匹配的手势；以及根据原始内容提供共享内容，以在该扩展屏幕上显示组合内容，其中，该组合内容为该手势图标与该共享内容的组合。本发明提供的在扩展屏幕上显示图形内容的方法可避免用户频繁的将视线从扩展屏幕移开，提升用户体验。

Description

在扩展屏幕上显示图形内容的方法及系统
技术领域
本发明有关于一种在扩展屏幕上显示图形内容的方法，更具体地，有关于一种在扩展屏幕上显示图形内容的方法及系统。
背景技术
手持/便携装置已变得十分流行并被广泛运用，其中，手持/便携装置可例如移动电话、个人数字助理（personal digital assistants，PDA）、笔记本电脑/平板电脑、导航仪、数字相机/摄像机、游戏机及便携媒体播放器等等。现有的便携装置可包括触摸屏（touch screen），触摸屏用于感应用户的活动（例如单只手指的触摸或多只手指的触摸及/或手写）并显示图形用户界面（graphic user interface，GUI）。
尽管便携装置便于用户携带，然而便携装置的触摸屏只能提供有限的区域来显示图形内容（例如，图像、视频和/或图形用户界面），因此便携装置的触摸屏可能受到有限尺寸（dimension）的约束。为了解决此问题，现在的便携装置可将显示内容传输至扩展屏幕（extension screen），其中，扩展屏幕可例如电视、显示器（monitor）、投影仪（projector）等等。通过使用便携装置的触摸屏和扩展屏幕，可扩展显示图形内容的整体区域。
使用扩展屏幕的一个关键操作是将触摸屏的内容镜像（mirror）至扩展屏幕，以使用户可观看扩展屏幕上显示的缩放的镜像内容。例如，用户可通过在便携装置中执行浏览器应用程序来连接网络，且通过访问网络产生的浏览器应用程序的显示内容可被镜像并传输至更大的扩展屏幕，以使用户可享受更好的浏览器应用程序展示的视觉呈现。通过在便携装置中执行播放器应用程序，用户可播放多媒体内容，当便携装置与扩展屏幕协同运作，由播放器应用程序提供（例如解码和/或渲染）的内容不仅可显示在便携装置的触摸屏上，也可显示在扩展屏幕上。
然而，由于用户需要通过与触摸屏进行交互来保持对提供显示内容的应用程序的控制，用户不得不频繁地将他/她的视线从扩展屏幕移开。因此观看/浏览体验会被中断，并降低体验度。
发明内容
有鉴于此，本发明提供一种在扩展屏幕上显示图形内容的方法及系统。
本发明提供一种在扩展屏幕上显示图形内容的方法，包括：当在主屏幕检测到的用户活动匹配于多个手势的其中一个时，提供手势图标；其中，该手势图标响应于该匹配的手势；以及根据原始内容提供共享内容，以在该扩展屏幕上显示组合内容，其中，该组合内容为该手势图标与该共享内容的组合。
本发明另提供一种用于在扩展屏幕上显示图形内容的系统，包括：手势图标模块，其中，当在主屏幕检测到的用户活动匹配于多个手势的其中一个时，该手势图标模块用于提供手势图标；其中，该手势图标响应于该匹配的手势；以及内容模块，该内容模块用于根据原始内容提供共享内容，以在该扩展屏幕上显示组合内容，其中，该组合内容为该手势图标与该共享内容的组合。
本发明提供的在扩展屏幕上显示图形内容的方法可避免用户频繁的将视线从扩展屏幕移开，提升用户体验。
附图说明
图1为根据本发明一个实施例在扩展屏幕上显示图形内容的方法的流程图；
图2为根据本发明一个实施例执行在扩展屏幕上显示图形内容的方法的流程的示意图；
图3为根据本发明一个实施例的手势与手势图标的对应关系示意图；
图4为根据本发明一个实施例的在扩展屏幕上显示图形内容的系统30的示意图。
具体实施方式
请参考图1和图2，图1为根据本发明一个实施例在扩展屏幕上显示图形内容的方法的流程图100。图2为根据本发明一个实施例，执行流程100的示意图。在一个实施例中，流程100用于在扩展装置S1（如图2所示）的扩展屏幕20上显示图形内容，扩展屏幕20可为便携装置S0的主屏幕（host screen）10的一个扩展。一般地，主屏幕10可大于或小于扩展屏幕20；且主屏幕10与扩展屏幕20也可具有相同的尺寸。在一个实施例中，主屏幕可集成触摸面板（touch pad）或感应面板（sensor pad）用于检测用户活动。流程100可包括下列步骤。
步骤102：当触摸面板或感应面板检测到用户活动时，与触摸面板或感应面板接口（interface）的驱动器可传输对应的感应信号以指示检测到活动。根据该感应信号，检测到的用户活动可匹配于多个预设手势（predefined gesture）的其中一个，且可产生一个对应的手势消息（gesture message）用于指示用户活动匹配于多个手势中的哪一个（哪几个）。通过接收该手势消息，流程100开始。
步骤104：在一个实施例中，支持在扩展屏幕20上进行显示的多种不同模式。可寄存一个扩展屏幕模式标志（extension screen mode flag）以显示选择的模式。如果扩展屏幕模式标志等于第一预设值，流程100可进行至步骤106；如果扩展屏幕模式标志等于第二预设值，流程100可进行至步骤110，或者在扩展屏幕20上不显示内容；例如，扩展屏幕20可显示空白图像、动态屏保、默认图像（壁纸）及/或帮助指示以提醒用户存在其他模式来在扩展屏幕20上显示图形内容。在另一个实施例中，如果扩展屏幕模式标志等于第一预设值，流程100可进行至步骤106；如果扩展屏幕模式标志等于第二预设值，流程100可进行至步骤110；如果扩展屏幕模式标志等于第三预设值，可使扩展屏幕20不显示任何内容。可根据用户的选择来配置扩展屏幕模式标志。请注意，寄存扩展屏幕模式标志仅用于说明，可指示在扩展屏幕20上进行显示的模式都在本发明的范围之内。
步骤106：根据主屏幕10的原始内容（original content）14a（如图2所示），可提供用于扩展屏幕20的共享内容（shared content）14b。此外，根据手势消息，可提供手势图标（gesture icon）16。因此，可组合共享内容14b和手势图标16以提供用于扩展屏幕20的组合内容14c（如图2所示）。在一个实施例中，可通过执行提供内容的应用程序来提供原始内容14a，且可对原始内容14a进行镜像（例如缩放）以提供共享内容14b。在另一个实施例中，可提取原始内容14a的一部分以形成共享内容14b，或将提取的原始内容14a的一部分作为共享内容14b的一部分。又或者，原始内容14a可作为共享内容14b的一部分。
包括主屏幕10的便携装置S0可组合共享内容14b和手势图标16，然后，将组合内容14c发送至包括扩展屏幕20的扩展装置S1以用于显示。或者，便携装置S0可产生共享内容14b并将共享内容14b发送至扩展装置S1，扩展装置S1可执行共享内容14b和手势图标16的组合和显示。
在步骤106的一个实施例中，在组合共享内容14b和手势图标16以提供组合内容14c的时，对应检测到用户活动的位置12a，在位置12b（如图2所示）手势图标16可覆盖在共享内容14b之上，以使位置12a与原始内容14a/主屏幕10之间的几何关系（geometricrelation）也可被镜像为手势图标16的位置12b与共享内容14b/共享内容14c/扩展屏幕20之间的几何关系。
步骤108：将组合内容14c发送至扩展屏幕20，以使组合内容14c可显示在扩展屏幕20上。另一方面，如果流程100在步骤104之后转接至步骤110，可将不同于组合内容14c的其他内容发送至扩展屏幕20以用于显示；例如，可将不具有手势图标16的共享内容14b发送至扩展屏幕20以用于显示。在又一个实施例中，如果流程100在步骤104之后转接至步骤110，可能不发送内容至扩展屏幕20。
在一个实施例中，当扩展屏幕20显示组合内容14c时，主屏幕显示原始内容14a。在另一个实施例中，当扩展屏幕20显示组合内容14c时，主屏幕不显示内容；例如此时可将主屏幕10设置为显示空白图像、动态屏保、默认图像（壁纸）及/或帮助指示以提醒用户扩展屏幕正在使用中以替代主屏幕。
步骤110：将手势消息发送至提供内容的应用程序，以使该应用程序可对手势消息进行回复。
对于步骤106和步骤108支持的扩展屏幕显示模式，响应在主屏幕10或主屏幕10集成的感应面板上检测到的用户活动，可在扩展屏幕20上显示手势图标16，以使用户可直接在扩展屏幕20上获取其自身的控制行为的视觉提示（visual clue），用户可由此保持对提供视频内容的应用程序的控制而无需将视线从扩展屏幕20移开。因此，观看体验度可得到提升。在一个实施例中，在主屏幕10上不显示手势图标。
请参考图3，图3为根据本发明一个实施例的手势与手势图标的对应关系示意图。如图3所示，不同的手势可对应于不同的手势图标；例如，在主屏幕10或主屏幕10集成的感应面板上检测到的点击（tapping）、双击（double tapping）、拖动（dragging）、滑动（flicking）及捏动（pinching）等手势可分别以扩展屏幕20上的不同手势图标来指示。不同的手势图标可以不同的绘制样式（drawing style）（例如形状、颜色、透明度、大小、线条类型和/或线条宽度等）来进行区别。
例如，对有关于点接触（point contact）的手势（例如点击、双击），可用以接触位置为中心的不同点状（point-shaped）手势图标来表示。在其他实施例中，当用户移动接触点时，会形成一些种类的手势，例如拖动、滑动及/或捏动。对于有关接触点移动的手势，可采用具有不同线条类型（例如，实线、虚线等）、线条宽度、透明度及/或线条颜色的线条作为对应的手势图标。线条可在与手势移动开始并结束对应的位置处开始并结束。此外，也可对线条增加方向提示以显示手势移动的方向。例如，可在拖动轨迹的尾部附加箭头以表示拖动手势的方向，可在两个接触点之间的划动（stroke）轨迹的两端附加两个前头以表示捏动的手势。以及/或者，可以在拖动的开头处具有较细的宽度（及/或较亮颜色/透明度）并在结尾处具有较粗的宽度（及/或较暗颜色/透明度）的线条来表示方向性手势图标。
而且，手势图标可包括文字/或符号作为元素。例如，如果由提供内容的应用程序将捏动手势解释为缩放命令（zooming command），可在对应的手势图标中包括数字缩放因子（numerical zoom factor）的文字及/或加号“+”。
对于关于移动触摸点的手势（例如拖动和点击），在本发明中采用符合移动轨迹的线性和平滑轨迹作为对应的手势图标，而不是以沿着移动轨迹分散的一系列离散点状图标（点击的图标）来显示手势。由于用户几乎不能从分散的相同图标中获取有用信息（例如移动的方向及/或用户的活动被解释为那个手势），本发明的图形用户界面可通过具有高度提示性的手势图标来改进用户体验度。
在一个实施例中，主屏幕10集成的感应面板不仅检测用户的物理触摸，也检测用户的接近行为（proximity event）。由于可将接近和物理触摸检测为两种手势，因此可将接近和物理触摸对应于具有不同绘制样式的不同手势图标。例如，当用户接近感应面板然后物理性点击该面板时，当检测到接近和物理性点击时，可分别显示接近手势图标和与之不同的点击手势图标。接近手势图标可用作显示用户将触摸哪里的预览（preview），以使用户可知道是否其触摸可到达期望的目标位置，例如，用于控制提供内容的应用程序虚拟按钮的位置，或者用于访问网站的超链接。在一个实施例中，接近手势图标可从对应的物理接触手势图标推导出。例如，指示点击的接近的接近手势图标可与物理点击的手势图标具有相同的形状，但是具有更浅的颜色及/或更暗的透明度。
当将在主屏幕10或主屏幕10集成的感应面板检测到的用户活动映射为扩展屏幕20上显示的对应手势图标时，可用错误保护机制（error-protection mechanism）来帮助用户适用该映射。例如，由于用户可通过观察接近手势来预览是否达到目标位置，因此接近手势可用作错误保护机制的一部分，而且/或者，错误保护机制可包括：定义一或多个手势作为控制手势以外的预览手势，其中，控制手势实际上控制提供内容的应用。例如，可将持续时间短于预设间隔的点击作为预览手势，并以预览手势图标来预览手势，以使用户可预览点击的位置；提供内容的应用程序并不需要对预览手势进行响应，或者，提供内容的应用程序可通过图形化指示接收控制的最接近位置来响应提供内容的应用程序，例如，最接近预览手势的位置的预览按钮或超链接。另一方面，可将持续时间长于预设间隔的点击作为点击提供内容的应用程序的实际点击手势，并以手势图标来表示实际点击手势，其中，手势图标并不同于预览手势图标。
请参考图4，图4为根据本发明一个实施例的在扩展屏幕上显示图形内容的系统30的示意图。系统30可通过实施本发明的流程100在扩展屏幕20上显示图形内容。系统30可包括内容模块（content module）32、手势图标模块（gesture icon module）34、手势图标库（gesture icon library）36、寄存器38及组合模块40。
当（例如由主屏幕10集成的触摸感应器）检测到用户活动时，由手势识别软件及/或硬件可将该用户活动匹配于多个预设手势的其中一个，其中，用于指示匹配的手势的手势消息可被提供。透过系统30的端口42a，可接收该手势消息。响应于手势消息，手势图标模块34可提供对应的手势图标。手势图标库36可将预设手势与绘制样式对应关联，以使手势中的至少两个可对应于不同的绘制样式，且根据对应于匹配手势的绘制样式可对手势图标模块34提供的手势图标进行渲染。透过系统30的端口42b，可将手势消息发送至提供内容的应用程序。
根据提供内容的应用程序的执行，内容模块32可提供原始内容，且如果使用扩展屏幕20，内容模块32也可根据原始内容提供共享内容。组合模块40可用于组合共享内容和手势图标以提供组合内容，以使如果由寄存器38寄存的扩展屏幕模式标志等于第一预设值，可在扩展屏幕20上显示组合内容。相反地，如果扩展屏幕模式标志等于第二预设值，可将共享内容发送至扩展屏幕20或者在扩展屏幕上不显示内容。在另一个实施例中，如果由寄存器38寄存的扩展屏幕模式标志等于第一预设值，可在扩展屏幕20上显示组合内容；如果扩展屏幕模式标志等于第二预设值，可将共享内容发送至扩展屏幕20以在扩展屏幕20上进行显示；且如果扩展屏幕模式标志等于第三预设值，扩展屏幕20可不显示内容。
在一个实施例中，主屏幕10集成的触摸感应器可检测用户的接近和物理触摸/接触；相应地，手势图标模块34更可提供分别对用户接近手势和接触手势的不同手势图标及/或绘制样式。在一个实施例中，触摸感应器可检测多点触摸（multi-touch），其中，该触摸感应器可例如电容式触摸感应器（capacitive touch sensor）或可检测多点触摸的任何其他感应器。
在一个实施例中，除了内建的默认绘制样式，存储于手势图标库36中的绘制样式可由用户自定义。可分别由软件、固件及/或硬件来实现系统30的模块和元素。在一个实施例中，将系统30实现为软件（或固件）架构，用于在便携装置的操作系统与在该操作系统下安装的应用程序之间提供接口。
在一个实施例中，可将内容模块32、手势图标模块34、手势图标库36、组合模块40及寄存器38集成为主屏幕10的处理器；在便携装置中可包括处理器和主屏幕10，且可由独立/远程显示器、投影仪、电视及/或其他便携装置来提供扩展屏幕20。通过有线及/或无线内连的直接（点对点或多跳网络（ad hoc））通信或路由通信，可将组合内容（或共享内容）发送至扩展屏幕。而且/或者，扩展屏幕20可为便携装置集成的另一个屏幕。例如，便携装置可具有两个屏幕，或者具有一个屏幕和一个投影元件，来分别用作主屏幕10和扩展屏幕20。
在另一个实施例中，主屏幕10和扩展屏幕20可分别属于两个分离的装置；第一装置的主屏幕10的处理器中可包括内容模块32，第二装置的扩展屏幕20的控制器中可集成手势图标模块34、手势图标库36、寄存器38及组合模块40。尽管图1至图4说明了本发明的一些实施例，也可采用许多替代实施例来实现本发明。例如，主屏幕10的处理器可包括系统30的更多或更少的模块，而扩展屏幕20的控制器互补性地包括剩余模块。此外，存在用于实现主屏幕10和扩展屏幕20的不同配置，以及传输/交换主屏幕10与扩展屏幕20之间内容的多种方式。
总之，本发明提供一种更好的解决方法用于在扩展屏幕上显示图像用户界面；通过在扩展屏幕上显示具有高度提示性的手势图标以在主屏幕或主屏幕集成的感应面板上指示用户的活动，用户可透过主屏保持控制而无需频繁地将视线从扩展屏幕移开，因此提升了用户体验。
本发明虽以较佳实施例揭露如上，然其并非用于限定本发明的范围，任何所述领域的技术人员，在不脱离本发明的精神和范围内，当可做些许的改动与修饰。因此，本发明的保护范围以权利要求为准。

Claims (20)

1.一种在扩展屏幕上显示图形内容的方法，包括：
当在主屏幕检测到的用户活动匹配于多个手势的其中一个时，提供手势图标；其中，该手势图标响应于匹配的手势；以及
根据原始内容提供共享内容，以在该扩展屏幕上显示组合内容，其中，该组合内容为该手势图标与该共享内容的组合，且该组合内容不显示于该主屏幕；
其中该扩展屏幕上显示的该手势图标相应于该主屏幕上该用户活动的当前位置。
2.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于：
将该多个手势的每一个与绘制样式对应关联，以使该多个手势的其中两个分别对应于不同的绘制样式；以及
当提供该手势图标时，根据对应于该匹配的手势的该绘制样式提供该手势图标。
3.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于：
接收手势消息，其中，该手势消息指示该匹配的手势；
当提供该手势图标时，根据该手势消息提供该手势图标；
根据应用程序的执行提供该原始内容；以及
发送该手势消息至该应用程序。
4.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于，该在扩展屏幕上显示图形内容的方法更包括：
寄存扩展屏幕模式标志，如果该扩展屏幕模式标志等于第一预设值，在该扩展屏幕上显示该组合内容；以及如果该扩展屏幕模式标志等于第二预设值，在该扩展屏幕上显示该共享内容或不显示内容。
5.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于，
当提供该共享内容时，将该原始内容进行镜像以提供该共享内容。
6.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于，当用户触摸感应面板时，感应到该检测的用户活动。
7.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于，当用户接近感应面板时，感应到该检测的用户活动。
8.如权利要求1所述的在扩展屏幕上显示图形内容的方法，其特征在于，该在扩展屏幕上显示图形内容的方法更包括：
提供不同的手势图标以分别响应第一手势和第二手势，其中，该第一手势匹配于当用户接近感应面板时感应的该检测的用户活动，该第二手势匹配于当用户触摸该感应面板时感应到的该检测的用户活动。
9.如权利要求8所述的在扩展屏幕上显示图形内容的方法，其特征在于，触摸屏集成该感应面板和该主屏幕。
10.一种用于在扩展屏幕上显示图形内容的系统，包括：
手势图标模块，其中，当在主屏幕检测到的用户活动匹配于多个手势的其中一个时，该手势图标模块用于提供手势图标；其中，该手势图标响应于该匹配的手势；以及
内容模块，该内容模块用于根据原始内容提供共享内容，以在该扩展屏幕上显示组合内容，其中，该组合内容为该手势图标与该共享内容的组合，且该组合内容不显示于该主屏幕；
其中该扩展屏幕上显示的该手势图标相应于该主屏幕上该用户活动的当前位置。
11.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，包括：
手势图标库，用于将该多个手势的每一个与绘制样式对应关联，以使该多个手势的其中两个分别对应于不同的绘制样式；
其中，该手势图标模块用于根据对应于该匹配的手势的该绘制样式提供该手势图标。
12.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该用于在扩展屏幕上显示图形内容的系统更包括：
第一端口，用于接收手势消息，其中，该手势消息指示该匹配的手势；以及
第二端口，用于发送该手势消息至应用程序；
其中，该手势图标模块用于响应该手势消息提供该手势图标，且该内容模块更用于根据该应用程序的执行提供该原始内容。
13.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该用于在扩展屏幕上显示图形内容的系统更包括：
寄存器，用于寄存扩展屏幕模式标志，根据该扩展屏幕模式标志等于哪个值，在该扩展屏幕上显示该组合内容、该共享内容或不显示内容。
14.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该内容模块用于将该原始内容进行镜像以提供该共享内容。
15.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，当用户触摸感应面板时，感应到该检测的用户活动。
16.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，当用户接近感应面板时，感应到该检测的用户活动。
17.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该手势图标模块更用于提供不同的手势图标以分别响应第一手势和第二手势，其中，该第一手势匹配于当用户接近感应面板时感应的该检测的用户活动，该第二手势匹配于当用户触摸该感应面板时感应到的该检测的用户活动。
18.如权利要求17所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，触摸屏集成该感应面板和该主屏幕。
19.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该用于在该扩展屏幕上显示图形内容的系统更包括组合模块，用于组合该共享内容和该手势图标以提供该组合内容，其中，该主屏幕的处理器中集成该手势图标模块以及该组合模块。
20.如权利要求10所述的用于在扩展屏幕上显示图形内容的系统，其特征在于，该用于在该扩展屏幕上显示图形内容的系统更包括组合模块，用于组合该共享内容和该手势图标以提供该组合内容，其中，该主屏幕的处理器中包括该内容模块；该扩展屏幕的控制器中集成该手势图标模块以及该组合模块。
CN201310394028.3A 2012-12-28 2013-09-03 在扩展屏幕上显示图形内容的方法及系统 Expired - Fee Related CN103914206B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/729,088 2012-12-28
US13/729,088 US20140189602A1 (en) 2012-12-28 2012-12-28 Method and associated system for displaying graphic content on extension screen

Publications (2)

Publication Number Publication Date
CN103914206A CN103914206A (zh) 2014-07-09
CN103914206B true CN103914206B (zh) 2018-03-13

Family

ID=51018850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310394028.3A Expired - Fee Related CN103914206B (zh) 2012-12-28 2013-09-03 在扩展屏幕上显示图形内容的方法及系统

Country Status (2)

Country Link
US (1) US20140189602A1 (zh)
CN (1) CN103914206B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8863196B2 (en) 2010-11-30 2014-10-14 Sony Corporation Enhanced information on mobile device for viewed program and control of internet TV device using mobile device
US9173000B2 (en) * 2013-04-12 2015-10-27 Sony Corporation Automatic discovery and mirroring of server-client remote user interface (RUI) session on a companion device and synchronously controlling both sessions using RUI on companion device
US10782787B2 (en) * 2014-06-06 2020-09-22 Adobe Inc. Mirroring touch gestures
US10048767B2 (en) * 2014-11-06 2018-08-14 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling multi-vision screen including a plurality of display apparatuses
WO2017058416A1 (en) * 2015-09-28 2017-04-06 Groturbel Research Llc Electronic device display with extended active area
CN107305429A (zh) * 2016-04-22 2017-10-31 东风汽车有限公司 一种多个屏幕间显示内容切换方法及系统
CN106293069A (zh) * 2016-07-28 2017-01-04 努比亚技术有限公司 内容自动分享系统及方法
CN106951141B (zh) 2017-03-16 2019-03-26 维沃移动通信有限公司 一种图标的处理方法及移动终端
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
CN108958580B (zh) * 2018-06-28 2021-07-23 维沃移动通信有限公司 一种显示控制方法及终端设备
CN114428572A (zh) * 2020-10-29 2022-05-03 京东方科技集团股份有限公司 分屏显示方法、装置、电子设备及计算机可读介质
JP7284853B1 (ja) 2022-05-19 2023-05-31 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、情報処理システム、及び制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7886236B2 (en) * 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US8958018B2 (en) * 2010-12-22 2015-02-17 Google Technology Holdings LLC Remote control device and method for controlling operation of a media display system
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
US20120221960A1 (en) * 2011-02-28 2012-08-30 Robinson Ian N Collaborative workspace viewing for portable electronic devices

Also Published As

Publication number Publication date
US20140189602A1 (en) 2014-07-03
CN103914206A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103914206B (zh) 在扩展屏幕上显示图形内容的方法及系统
US9851809B2 (en) User interface control using a keyboard
EP2763023B1 (en) Method and apparatus for multitasking
CN103460169B (zh) 电子装置、显示方法和程序
US20090204928A1 (en) Layer-based user interface
US9317171B2 (en) Systems and methods for implementing and using gesture based user interface widgets with camera input
US10521101B2 (en) Scroll mode for touch/pointing control
US20140015785A1 (en) Electronic device
CN102830893B (zh) 屏幕显示控制方法及系统
JP2015132965A (ja) 複数のディスプレイに対するアプリケーション画像の表示方法、電子機器およびコンピュータ・プログラム
TW200809591A (en) Multi-touch uses, gestures, and implementation
KR20100043371A (ko) 휴대단말의 대기화면 구성 방법 및 장치
CN101739208A (zh) 提供用户界面的设备和方法
CN103823550A (zh) 虚拟触控方法
TW201017487A (en) Method for operating displayed page and electronic device
JP5846129B2 (ja) 情報処理端末およびその制御方法
CN102385481A (zh) 信息处理设备、信息处理方法以及程序
CN103294392A (zh) 用于在移动装置中编辑内容视图的方法和设备
JP5605911B2 (ja) タッチスクリーンデバイスの制御装置、その制御方法及びプログラム
US20130127867A1 (en) Freestyle drawing supported by stencil edge shapes
CN102955668A (zh) 选择对象的方法及电子设备
US20130234997A1 (en) Input processing apparatus, input processing program, and input processing method
CN103870179A (zh) 便携终端中触摸屏控制方法及装置
US11144178B2 (en) Method for providing contents for mobile terminal on the basis of user touch and hold time
CN104951140A (zh) 一种触摸屏菜单显示方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180313

Termination date: 20210903

CF01 Termination of patent right due to non-payment of annual fee