CN112384972A - 用于多屏幕显示和交互的系统和方法 - Google Patents

用于多屏幕显示和交互的系统和方法 Download PDF

Info

Publication number
CN112384972A
CN112384972A CN201980035384.1A CN201980035384A CN112384972A CN 112384972 A CN112384972 A CN 112384972A CN 201980035384 A CN201980035384 A CN 201980035384A CN 112384972 A CN112384972 A CN 112384972A
Authority
CN
China
Prior art keywords
display device
display
vector
determining
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980035384.1A
Other languages
English (en)
Inventor
A·乌图库里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weizetuo Co ltd
Vizetto Inc
Original Assignee
Weizetuo Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weizetuo Co ltd filed Critical Weizetuo Co ltd
Publication of CN112384972A publication Critical patent/CN112384972A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

描述了用于多屏幕交互的各种系统和方法。可以使用各种手势将来自第一屏幕上的第一显示的内容和对象转移到其它屏幕上的其它显示。在一些实施例中，第一显示上的活动区域与各种其它显示对应，并且与活动区域对应的手势允许第一显示上的内容或对象被转移到其它显示。在一些实施例中，内容可以包括音频内容，其可以在从第一显示选择的各种音频输出设备处再现。

Description

用于多屏幕显示和交互的系统和方法
技术领域
所描述的实施例涉及用于多屏幕交互的系统和方法，并且特别地，涉及用于与媒体对象交互并且在多个显示设备之间转移媒体对象的系统和方法。
背景技术
包括演示和具有多个屏幕及其它输出设备的其它系统的计算系统是众所周知的。在不同的屏幕上的显示之间的内容布置一般是麻烦的、费时的并且不方便的。需要用于在跨多个屏幕以及耦合到计算系统的其它输出设备的不同显示上布置内容的方便且直观的方法。
发明内容
在第一方面，本发明的一些实施例提供了一种多显示器交互的方法，包括：提供多个显示设备，显示设备包括显示器、输入设备、处理器和存储器；在与第一显示设备相关联的第一显示器上示出对象；接收开始于对象上的第一点并结束于第二点的输入手势；确定第一点和第二点之间的线；如果线的投射与多个活动区域中的第一活动区域相交，那么将对象平移到第一活动区域并将对象与对应于第一活动区域的第二显示设备相关联并在第二显示器上示出对象；否则，沿着线的投射平移对象。
在一些实施例中，该方法还可以包括：确定第一点和第二点之间的输入速度向量并基于该输入速度向量来平移对象。
在一些实施例中，该方法还可以包括：确定第一点和第二点之间的输入加速度向量并基于该输入加速度向量来平移对象。
在一些实施例中，该方法还可以包括：基于对象质量和速度来确定第二点处的对象动量；以对象动量在线的方向上平移对象并且随着对象平移而减小对象动量。
在一些实施例中，在该方法中，每个显示设备还可以包括音频设备；对象可以包括音频内容和视频内容；并且示出对象还可以包括在显示设备上示出视频内容，以及在音频设备上播放音频内容。
在一些实施例中，该方法还可以包括修改与第一显示设备相关联的对象。
在一些实施例中，该方法还可以包括：修改与第二显示设备相关联的对象；接收开始于对象上的第三点并结束于第四点的第二输入手势；确定第三点和第四点之间的第二线；如果第二线的投射与多个活动区域中的第二活动区域相交，那么将对象平移到第二活动区域并将对象与对应于第二活动区域的第一显示设备相关联并在第一显示器上示出对象；否则，在第二线的方向上平移对象。
在一些实施例中，该方法还可以包括：与对象相关联的交互字段包括多个选项；接收与多个选项中的选择对应的第二输入手势；基于选择来修改交互字段；并且将对象与第一显示设备相关联。
在一些实施例中，在该方法中，第一显示设备可以包括第一观众信息，第二显示设备可以包括第二观众信息，对象可以包括第一观众内容和第二观众内容，示出对象还可以包括：基于第一观众信息在第一显示器上示出第一观众内容；基于第二观众信息在第二显示器上示出第二观众内容。
在第二方面，本发明的一些实施例提供了一种多屏幕交互系统，包括：对象；多个显示设备，每个显示设备包括存储对象的存储器、显示器、处理器和接收输入手势的输入设备；其中第一显示设备的显示器示出对象，第一显示设备的处理器被配置为：从输入设备接收与显示器上的点处的手势对应的多个点：多个点中的第一点与手势的发起对应，多个点中的第二点与手势的完成对应，确定从第一点到第二点形成的线，确定线的投射，确定如果投射与多个活动区域中的第一活动区域相交，则将对象平移到第一活动区域并将对象发送到与第一活动区域对应的第二显示设备，否则沿着投射在第一显示设备的显示器上平移对象；第二显示设备的处理器被配置为：从第一显示设备接收对象；并将对象存储在第二显示设备的存储器中；并且指示第二显示设备的显示器示出对象。
在一些实施例中，该系统还可以包括：多个显示设备中的每一个还包括音频设备；对象还包括视频内容和音频内容；多个显示设备中的每一个的处理器还被配置为：在显示器上示出视频内容；在音频设备上播放音频内容。
在一些实施例中，该系统还可以包括：多个显示设备中的第一显示设备的处理器还被配置为：修改对象。
在一些实施例中，该系统还可以包括：多个显示设备中的第二显示设备的处理器还被配置为：修改对象。
在一些实施例中，该系统还可以包括：多个显示设备中的第二显示设备的处理器还被配置为：向第一显示设备发送对象；多个显示设备中的第一显示设备的处理器还被配置为：从第二显示设备接收对象。
在第三方面，本发明的一些实施例提供了一种将对象从多屏幕交互系统的第一显示设备转移到第二显示设备的方法，包括：提供第一显示设备和第二显示设备；在第一显示设备上示出对象；接收对象处的包括平移向量的输入手势；确定平移向量的投射；基于平移向量在第一显示设备上平移对象；检测对象与第一显示设备上的第一活动区域的相交；将对象从第一显示设备转移到与第一活动区域相关联的第二显示设备。
在一些实施例中，平移向量还可以包括输入速度向量，并且确定平移向量的投射还可以包括确定平移速度向量。
在一些实施例中，平移向量还可以包括输入加速度向量，并且确定平移向量的投射还可以包括确定平移加速度向量。
在一些实施例中，该方法还可以包括：确定对象的动量；基于动量来平移对象并且随着对象平移而减小对象动量。
在一些实施例中，该方法还可以包括：对象还包括：音频内容和视频内容；第一显示设备和第二显示设备还包括音频设备；示出对象还包括示出视频内容并在显示设备的音频设备上播放音频内容；将对象从第一显示设备转移到第二显示设备还包括将音频内容的播放从第一显示设备转移到第二显示设备。
在一些实施例中，该方法还可以包括：对象还包括状态。
在一些实施例中，该方法还可以包括：第一显示设备和第二显示设备处于网络通信，并且将对象从第一显示设备转移到第二显示设备还包括序列化(serialize)对象、使用网络通信将序列化的对象转移到第二显示设备、并将对象物化(materialize)到第二显示设备处的存储器中。
在第四方面，本发明的一些实施例提供了一种将对象从多屏幕交互系统的第一显示设备转移到第二显示设备的系统，包括：第一显示设备，包括显示器、处理器、存储器、用户输入设备；第二显示设备，包括显示器、处理器、存储器、用户输入设备；其中第一显示设备的存储器包括对象；第一显示设备和第二显示设备处于网络通信；对象被示出在第一用户设备的显示器上；第一显示设备的处理器可操作以：基于来自用户输入设备的用户输入来确定线投射；检测线投射与活动区域之间的相交；平移正在显示器上示出的对象；序列化对象；使用网络通信将序列化的对象传送到第二显示设备；第二显示设备的处理器可操作以：使用网络通信接收序列化的对象；将对象从序列化的对象物化到存储器中。
在一些实施例中，第一显示设备的处理器还可以可操作以：确定输入速度向量；确定平移速度向量；确定输入加速度向量；确定平移加速度向量；确定对象动量；基于平移速度向量、平移加速度向量和对象动量来平移对象。
在一些实施例中，在该系统中，对象还可以包括音频内容和视频内容；第一显示设备和第二显示设备还可以包括音频设备；可以基于视频内容在第一显示设备上示出对象；可以基于音频内容在第一显示设备的音频设备上播放对象；序列化对象可以包括序列化音频内容和视频内容。
在一些实施例中，在该系统中，对象还可以包括状态。
附图说明
提供下面描述的附图是出于说明而非限制本文描述的实施例的各种示例的方面和特征的目的。将认识到的是，为了图示的简单和清楚起见，在认为适当的情况下，附图标记可以在附图中重复以指示相应或相似的元件或步骤。
现在将参考附图详细描述本发明的优选实施例，其中：
图1是根据示例实施例的多个显示设备和服务器的系统图；
图2是根据示例实施例的显示设备的系统图；
图3是根据示例实施例的显示设备的软件组件图；
图4A是根据示例实施例的用于多屏幕交互的第一显示设备的用户界面，该用户界面具有对象；
图4B是根据示例实施例的第一显示设备的用户界面，该用户界面具有对象、响应用户输入；
图4C是根据示例实施例的第一显示设备的用户界面，其中对象与活动区域相交；
图4D是根据示例实施例的第一显示设备的用户界面，其中对象已经与第二显示设备相关联；
图4E是根据示例实施例的与图4C中的第一显示设备的活动区域相关联的第二显示设备的用户界面；
图5A是根据示例实施例的第一显示设备的用户界面，该用户界面具有对象、响应用户输入；
图5B是根据示例实施例的第一显示设备的用户界面，其中对象不与活动区域相交；
图6A是根据示例实施例的用于触摸交互的第一显示设备的用户界面；
图6B是根据示例实施例的用于触摸交互的第一显示设备的用户界面；
图7是根据示例实施例的用于将对象从第一显示设备转移到第二显示设备的系统图；
图8是图示根据示例实施例的在显示设备上进行多屏幕交互的方法的流程图；
图9是图示根据示例实施例的用于将对象从第一显示设备转移到第二显示设备的方法的流程图；
图10A是根据示例实施例的对象的软件组件图；
图10B是根据示例实施例的对象的序列化表示；
图11A是根据示例实施例的在显示设备的屏幕上的对象平移的图表示；
图11B是根据示例实施例的基于在显示设备的屏幕上的用户输入的速度的对象平移的图表示；
图11C是根据示例实施例的基于在显示设备的屏幕上的用户输入的加速度的对象平移的图表示；
图12是根据示例实施例的具有多个相关联对象的用户界面；
图13是根据示例实施例的具有多个相关联对象的用户界面，该多个相关联对象具有不同观众内容。
具体实施方式
本文描述的各种实施例一般而言涉及用于与媒体对象进行多屏幕交互的方法(以及被配置为实现方法的相关联系统)。
组织一般可以使用具有多个屏幕的交互系统。本文公开的多屏幕交互系统和方法可以被用于执行包括市场营销演示的演示，包括教室演讲的教育演示，或者在各自具有本发明中定义的多个显示设备中的显示设备的多个用户之间的协作工作。演示可以是指由以教育者、教师或领导者的身份发挥作用的单个个人分发和讨论的一系列媒体内容项目。
本文公开的多屏幕交互系统和方法还可以被用于执行参与者之间的交互或协作工作，包括但不限于，包含供参与者从事的问题集或测验的交互式讲座、由参与者在编辑或修改在参与者之间共享的媒体内容项目中进行的协作工作，或每个参与者编辑或修改他们自己的媒体内容本地副本的协作工作。在参与者编辑或修改媒体内容的本地副本的情况下，修改可以被本地存储或远程存储。然后，参与者可以在多屏幕交互系统中与教师或其他参与者共享对媒体内容的修改。
首先参考图1，其图示了多个显示设备102a、102b和102c的系统图100。例如，示出了三个显示设备，但是将认识到的是，可以存在少至两个显示设备或者非常大数量的(例如，数百或数千个)显示设备。多个显示设备通过网络104互连。网络104可以是TCP/IP交换网络、LAN网络、WAN网络或互联网。显示设备到网络104的连接可以通过诸如以太网、火线(Firewire)、蓝牙(Bluetooth)、无线(802.11等)、调制解调器或数字订户线连接之类的连接技术来提供。
服务器106可以包括数据库服务器、应用服务器、内容递送网络或本领域中已知的任何其它基于互联网的软件递送技术中的至少一种。服务器106可以操作数据库软件，诸如MySQL、MongoDB或Postgres。服务器106可以操作应用服务器，诸如Apache Tomcat、Glassfish、Oracle WebLogic等。
系统100可以被实现为软件程序代码，并且通过任何已知的手段递送到多个显示设备和服务器。
参考图2，其图示了显示设备200的系统图。显示设备200可以具有显示屏(或简称为屏幕)202、扬声器204、处理器206、输入设备208、网络设备210和存储器(易失性和非易失性二者)212。显示屏202可以是LCD、CRT、LED、OLED或等离子体屏幕。屏幕202和输入设备208可以例如通过使用电容式触摸显示系统来组合，该电容式触摸显示系统使用一个或多个参与者手指以及可选地使用触控笔。在以下中可以找到表面触摸感测系统和方法的附加描述：2013年3月3日提交的美国专利No.9,582,116“Systems and methods for sensing andtracking radiation blocking objects on a surface”、2013年8月27日提交的美国专利No.9,453,726“Systems and methods for sensing and tracking radiation blockingobjects on a surface”、2012年12月2日提交的美国专利No.9,395,185“Modularposition sensing systems and methods”、2011年12月16日提交的美国专利No.8,969,822“Two-dimensional and three-dimensional position sensing systems andsensors therefor”、2012年12月2日提交的美国专利No.9,395,185“Modular positionsensing systems and methods”、2011年12月16日提交的美国专利No.8,969,769“Two-dimensional position sensing systems and sensors therefor”、2013年3月25日提交的美国专利No.8,928,873“Sensors,systems and methods for position sensing”以及2011年3月18日提交的美国专利No.8,405,824“Sensors,systems and methods forposition sensing”。屏幕202可以向用户提供图像内容回放或视频内容回放。连接到处理器的扬声器204可以向参与者提供音频内容的回放。处理器206可以是任何已知的处理器，例如使用IntelTM x86或x86_64体系架构的处理器、ARMTM微处理器、QualcommTMSnapdragonTM或由虚拟化环境提供的处理器。输入设备可以是鼠标、键盘、控制器、触摸屏、眼睛焦点跟踪设备、轨迹板、运动感测加速度计、轨迹球、麦克风等。显示设备200可以是诸如移动电话之类的移动设备、平板设备、台式计算机、膝上型计算机、可穿戴计算机(诸如GoogleTM Glass)、虚拟现实设备(诸如SonyTM Playstation VRTM或OculusTM RiftTM)或任何其它合适的设备。
参考图3，其图示了显示设备的软件组件图。显示设备300可以具有显示模块302、输入模块304、网络模块306、物理模块308、对象模块310和音频模块312。
显示模块302可以负责绘制用户查看的用户界面，并且负责在屏幕上绘制(或渲染)与显示设备相关联的对象。
输入模块304可以负责接收来自用户输入设备(诸如如鼠标之类的定点设备、诸如电容式LCD触摸屏之类的触敏屏幕输入设备，或由麦克风接收的来自用户的口头命令)的用户输入。
网络模块306可以负责与位于远程的服务器或其它显示设备通信。当显示设备与链接到另一个对象的媒体对象相关联时，网络模块可以负责同步或异步地管理连接。
物理模块308可以操作以确定向量，诸如从用户输入确定的用户输入向量，例如，物理模块可以能够基于由用户输入设备输入的一系列点来确定输入的结果向量。可以确定其它向量，包括基于用户输入向量的对象平移向量、对象速度向量或对象加速度向量。物理模块可以接收多维输入，诸如来自移动设备中的多个加速度计的输入，并且物理模块可以确定三维空间中的向量。物理模块308还可以确定对象在它们平移时的行为，例如确定与其它对象或壁的相交、确定对象在显示设备上的动量或确定对象在其与另一个对象或壁相交时的结果动量。物理模块可以提供用户输入向量。
对象模块310可以存储对象特性、编辑对象特性、存储对象元数据、编辑和更新对象元数据。对象模块可以提供应用编程(API)接口，以供其它模块创建、读取、更新或删除对象特性、对象元数据和对象。
音频模块312可以支持对象中音频内容的回放。
参考图4A，其图示了用于多屏幕交互的第一显示设备的用户界面400。用户界面可以包括多个活动区域402a和402b，以及对象404。
活动区域402a和402b的尺寸和形状可以配置，例如它们可以是方形、矩形或圆形。活动区域也可以被配置为。虽然示出了两个活动区域402a和402b，但是在用户界面400中可以存在多于两个活动区域。活动区域可以被用户配置以指定该区域的目标显示设备。可以基于例如从目标显示设备接收到的视频会议馈送的位置和尺寸来自动进行配置。在示例中，一组用户可以具有活动的视频会议，其中每个用户看到来自每个其他用户的视频馈送，并且视频馈送的每个边界框可以自动用作显示设备上的活动区域，用户可以向该活动区域“投掷”对象以将其发送到目标用户的显示设备。
用户界面400可以可选地一次显示零个对象、一个对象或多于一个对象。诸如对象404之类的对象将在下面的图10A处被更详细地描述。
参考图4B，其图示了可以响应用户输入的第一显示设备的用户界面420。用户接合输入设备，并选择第一点，然后在选择事件的持续时间内跟踪输入的点，直到选择被释放为止(下面在图6A-图6B中进一步解释)。如果第一点在对象424的边界内，那么用户界面420将通过平移对象来响应用户输入。
从用户输入确定的线可以被用于确定到屏幕边缘的投射线422。可以沿着投射线422平移对象424。
可选地，在选择事件的持续时间内，对象可以移动到用户光标的当前点或触摸输入点。以这种方式，对象可以看起来跟随用户光标或手指输入，直到选择事件结束。
参考图4C，其图示了第一显示设备的用户界面440，其中表示图4B中的对象的对象442平移并与和第二显示设备相关联的活动区域444相交。相交由活动区域444和对象边界442中的每一个的重叠定义。
参考图4D，其图示了第一显示设备的用户界面460，其中来自图4C的对象不再显示在屏幕462上，已经与第二显示设备相关联。可选地，对象可以被配置为与多个显示设备相关联，并且可以在对象已经附加地与第二显示设备相关联之后保持显示在第一显示设备上。这样的对象配置可以允许链接的对象同时且同步地显示在第一显示设备和第二显示设备上。
参考图4E，其图示了与图4C的活动区域444相关联的第二显示设备的用户界面480。对象482显示在第二显示设备的屏幕484上。对象482与第二显示设备的关联可以触发对象482的内容的回放。例如，一旦对象与第二显示设备相关联，音频内容或视频内容就可以开始回放，或者可以显示图像内容。
参考图5A，其图示了第一显示设备的用户界面500。用户界面具有活动区域502a和502b、对象504和基于用户输入的线投射506。这个图中的线投射506不与任一活动区域502a或502b相交。
参考图5B，其图示了第一显示设备的用户界面550，其中对象552已经被平移并且不与活动区域552a或552b相交。
参考图6A和图6B，其图示了响应用户输入选择的用户界面600。该选择可以基于在第一点处的用户输入事件(例如，当用户按下鼠标上的按钮、键盘上的按钮时或者当用户将他们的手指施加到触摸界面时的“鼠标按下”)开始。可以使一系列点完成的第二点可以基于用户输入事件(例如，当用户释放鼠标上的按钮时、当用户从触摸界面上移除他们的手指或触控笔时的“鼠标抬起”)。
可选地，选择线606、656包括在中的第一点和第二点。
可选地，选择线606、656包括一系列点，这一系列点开始于第一点604、654并且结束于第二点608、658。从第一点到第二点的该选择线可以是基本上笔直的606，或者可以是弯曲的656。
可选地，在“鼠标按下”事件之后但在“鼠标抬起”事件之前，对象可以根据最近的光标点(或者如果使用触摸界面的话是触摸点)来平移。以这种方式，对象可以沿着选择线606、656跟随用户手指或光标。
投射线可以形成通过选择线606、656中的一系列点的线性回归而形成的笔直投射线(在本文中也称为投射向量或平移向量)610、660。投射线可以开始于选择线的第二点。投射线610、660结束于显示设备屏幕的边缘上的点612、662。图6A示出了与活动区域602a相交的投射线610。图6B示出了不与活动区域652a相交的投射线660。
可选地，投射线可以是弯曲的投射线(在本文中也称为平移向量)。在这种情况下，回归可以是多项式、指数式、对数式或用于执行这种拟合的任何其它数学模型。
可选地，基于选择线606、656，可以通过找到选择线的一阶导数来确定输入速度向量。沿着平移向量的对象的平移可以基于输入速度向量。例如，基于用户的输入，对象可以沿着选择线以与用户输入的速度成比例的速度行进。
可选地，基于选择线606、656，可以通过找到选择线的二阶导数来确定输入加速度向量。沿着平移向量的对象的平移可以基于输入的加速度向量。例如，基于用户的输入，对象可以沿着选择线以与用户输入的速度成比例的加速度行进。
参考图7，其图示了用于将对象从第一显示设备转移到第二显示设备的系统700。系统700包括三个显示设备702a、702b和702c，以及在显示设备702b上的两个活动区域704a和704b。可以存在少至两个显示设备，但是可以存在比图示的三个显示设备更多的显示设备，或者甚至数百或数千个显示设备。活动区域704a与显示设备702a相关联，并且活动区域704b与显示设备702c相关联。与显示设备702b相关联的对象(未示出)可以通过提供将对象平移到活动区域704a上的用户输入而被转移到显示设备702a。类似地，与显示设备702b相关联的对象可以通过提供将对象平移到活动区域704b上的用户输入而被转移到显示设备702c。
参考图8，其图示了流程图800，该流程图800图示了在显示设备上进行多屏幕交互的方法。在802处，提供多个显示设备，如本文所公开的。可以在单个教室、多个教室、或者甚至地理上分布的多个教室中提供显示设备。显示设备的用户可以包括老师、学生、经理、主管、员工或与他人交互的任何个人。
在804处，在与第一设备相关联的第一显示器上示出对象。对象可以由用户创建、从另一个用户接收、自动创建、由远程服务器提供等。对象被显示在第一显示设备的屏幕上。对象可以具有如本文所述的内容，并且对象在显示设备上的显示可以涉及适合于内容的图像的显示、视频的回放、音频的回放或媒体回放。回放可以自动开始。
在806处，显示设备接收构成一系列点的用户输入，这一系列点包括表示选择线的开始的第一点。第一点可以与“鼠标按下”事件对应，在“鼠标按下”事件中鼠标按钮被按下，或者在触摸界面上用户手指或触控笔开始与表面接触。一系列点还可以包括第二点，该第二点与“鼠标抬起”事件对应，在鼠标抬起”事件中鼠标按钮被释放，或者在触摸界面上用户手指或触控笔完成与表面的接触。输入手势可以包括基本是直线的选择线，或者选择线可以是曲线。在上面的图6A-图6B中更详细地描述了选择线。
可选地，对象可以在“鼠标按下”事件之后并且在“鼠标抬起”事件之前平移，以沿着选择线跟随用户的光标或手指/触控笔。
在808处，可以在一系列点中的第一点和第二点之间确定选择线(或选择向量)。这可以基于这两个点近似选择线。
可选地，在808处确定的选择线可以仅仅是从用户的输入手势接收到的一系列点。
在810处，可以基于选择线来确定投射线(或投射向量)。投射线的确定在上面的图6A-图6B中更详细地讨论。可以仅基于第一点和第二点来确定投射线。可以基于一系列点来确定投射线，并且可以基于点的回归来确定投射线。
可选地，在“鼠标按下”事件之后并且在“鼠标抬起”事件之前，806-814可以迭代地应用于一系列点中的每个点。
在812处，沿着投射线平移对象。对象被显示在具有x和y坐标的点处。平移可以涉及将对象显示点迭代地改变为投射线上的连续点，并且在平移发生时更新对象的显示。
这种平移可以被动画化，并且对象可以跨屏幕基本平滑地平移。可选地，平移可以不被动画化，并且对象可以简单地消失并重新出现，而平移在屏幕上不可见。
平移可以类似于向屏幕的不同区域(包括活动区域)“投掷”对象。
在814处，对象的位置和维度被用于确定对象与活动区域之间是否存在相交。相交被定义为对象的区域与活动区域的重叠。如果没有相交，那么对象的平移可以继续。
在816处，在存在对象与活动区域的相交的情况下，对象可以与第二显示设备相关联。这种关联可以涉及更新对象元数据以指定对第二显示设备的新引用。这可以由对象跟踪对唯一地识别显示设备的显示设备id的引用来实现。
可选地，该关联可以替代地指引用对象的显示设备处的关联。这可以由显示设备跟踪对唯一地识别对象的对象id的引用来实现。
可选地，对象可以具有对显示设备id的引用，并且显示设备可以具有对对象id的引用。显示设备id唯一地识别相关联的显示设备，并且对象id唯一地识别对象。
可选地，对象可以被序列化(即，将第一显示设备的存储器中的对象转化成文本或二进制串，该文本或二进制串被格式化以使得其状态被保留)。在第二显示设备接收到序列化的对象后，对象可以被物化(即，从文本或二进制串转化到第二显示设备的存储器中，使得其状态被保留)。
可选地，可以对服务器进行API调用以触发对象与第二显示设备的关联。
可选地，在对象与屏幕边缘或另一个对象相交的情况下，显示设备可以更改对象的方向并“反弹”。在两个对象相交的情况下，对象可以基于计算出的每个对象的动量以及碰撞的动量守恒来确定结果方向和速度。
参考图9，其图示了用于将对象从第一显示设备转移到第二显示设备的方法的流程图900。900中公开的方法可操作以将具有内容的对象从一个显示设备转移到另一个显示设备。
在902处，提供第一显示设备和第二显示设备。这些显示设备可以共同位于会议室或教室中并由两个或更多个人使用，或者可以与至少两个用户一起分布到多于一个位置。
在904处，在第一显示设备上显示对象。对象可以涉及如本文所公开的包括音频、视频或图像内容的媒体。显示或示出对象可以意味着发起媒体的回放。
在906处，所显示的对象接收包括一系列点的用户输入手势，第一点在显示器上的对象内。对象响应于用户输入动作。当用户绘制选择线时，可以迭代地执行步骤906-914。
在908处，对象可以基于来自用户输入手势的一系列点来确定选择向量。如本文所公开的，这个选择向量可以是第一点和第二点，第一点表示用户输入的开始，而第二点表示用户输入的结束。选择向量可以可替代地是第一点、第二点和一系列点，并且可以是基本上笔直的或弯曲的。
在910处，对象可以确定选择向量的投射向量。如图6A-图6B中所描述的，投射可以基于一系列点的线性回归。
在912处，对象可以基于投射向量在第一显示设备上平移。这种平移可以涉及将对象的点(基于x和y坐标)移动到投射线上的连续点。
在914处，对象可以检测是否已存在屏幕上的对象与活动区域的相交。这种相交被定义为对象的区域与活动区域的重叠。在对象与屏幕的边缘或另一个对象相交的情况下，它可以更改其方向并“反弹”。在两个对象相交的情况下，对象可以基于计算出的每个对象的动量以及碰撞的动量守恒来确定结果方向和速度。
在916处，如果对象与活动区域相交，那么对象可以转移到与活动区域相关联的第二显示设备。这可以涉及通过网络来转移对象的序列化副本，以及在第二显示设备处的物化。
可选地，转移可以涉及服务器发起对象到第二显示设备的转移。
参考图10A，是对象的软件组件图1000。对象可以具有包括视频内容1002、音频内容1004、图像内容1006、对象元数据1010(在本文中也称为特性或对象特性)、观众标准1012、状态1008、与一个或多个显示设备的关联(或引用)1014以及程序代码1016的内容(在本文中也称为媒体)。对象可以包括多个媒体内容项目和多个对象元数据。对象可以包括教育信息，诸如幻灯片、音乐作品、可用于共享编辑的媒体等。对象可以包括媒体的组合。媒体的组合可以从单个对象同时回放。具有多于一个对象的显示设备可以一次同时从多于一个对象进行回放。对象可以包括可以存储在显示设备的存储器中并且由显示设备的处理器执行的指令(或程序代码)1016。对象可以具有描述其在显示设备处的功能的程序代码1016，例如，程序代码可以使交互式测试能够从一个显示设备发送到另一个显示设备。对象可以具有当在显示设备处该对象与另一类型的对象一起被显示时使特定交互发生的程序代码1016。
媒体可以包括文本内容(未示出)、视频内容1002、图像内容1006、音频内容1004、动画内容、音乐符号内容、教育内容(例如测验)或任何其它内容中的任何一种。媒体内容可以以不同的形式存储在对象中，该不同的形式包括二进制数据表示、基于向量的表示或任何其它数据存储表示。对象的媒体可以存储在对象的实例中，或者可以通过对远程服务器的引用而被引用。在媒体可以是对远程服务器的引用的情况下，可以从服务器流式传输内容。
对象可以具有对一个或多个其它对象(未示出)的引用，并且通过对其它对象的引用，可以被链接在一起。对象的这种链接可以允许在一个显示设备上进行的改变跨多个显示设备被同步地应用。对象还可以具有对一个或多个显示设备的引用，这可以允许在多个显示设备上同步回放内容(例如，视频内容)的递送。音频和视频内容可以从链接的对象流式传输到另一个链接的对象。
参考图10B，其图示了对象的序列化表示1050。序列化表示1050可以是JSON(示出)、YAML、XML或任何合适标记语言的形式。序列化表示可以包括(例如视频内容、图像内容或音频内容的)二进制数据表示。1050中的序列化示例示出了各种元数据、观众标准、状态和内容。当转移对象时，序列化表示可被第二显示设备读取，便得可以以编程方式物化对象，使得在第一显示设备和第二显示设备之间保留对象状态。
参考图11A-图11C，其图示了在显示设备的屏幕上的对象平移1100、1130、1160的图表示。在图11A中，对象可以以不是由用户确定的固定且恒定的速度在屏幕上平移。在图11B中，对象可以以基于用户输入确定的恒定速度在屏幕上平移。观察到，图11B的斜率更高。在图11C中，对象可以以基于用户输入的加速度确定的增加的速度在屏幕上平移。
参考图12，其图示了具有多个相关联的对象1208、1210和1212的用户界面1200。这些对象可以已经基于用户的决定而被关联(或链接)，或者它们可以被自动关联。显示设备1202a、1202b和1202c各自示出了链接的对象。对象1208、1210和1212的显示因此可以具有相同的内容。例如，当在图12中显示笑脸时，链接的内容可以包括视频内容、音频内容等，并且所有三个显示设备上的回放可以基本上同步。
可以以去中心化的方式执行关联或链接，其中每个显示设备处的每个对象实例可以具有对另一个显示设备上的至少一个其它对象实例的引用。在图12中，对象实例1208具有对对象实例1212的引用1204a，对象实例1212具有对对象实例1210的引用1204c，并且对象实例1210具有对对象实例1208的对象引用1204b。这些引用可以是双向的，使得对象实例维护引用其自身的对象的列表。
可选地，关联或链接可以由服务器以集中方式执行，并且可以使用服务器上的API创建、读取、更新或销毁引用或关联。
参考图13，其图示了具有多个相关联对象1300的用户界面，该多个相关联对象1300具有不同观众内容。第一显示设备1302a示出第一对象1306，第二显示设备1302b示出第二对象1308，并且第三显示设备1302c示出第三对象1310。对象1306、1308和1310可以彼此关联或链接。第一显示设备1302a可以具有基于诸如年龄、教育水平、地理位置等人口统计信息的相关联的第一观众简档。类似地，显示设备1302b和1302c各自可以尊敬地具有第二观众简档和第三观众简档，第一观众简档、第二观众简档和第三观众简档各自是唯一的。对象1306响应于显示设备1302a的观众简档，并且基于第一观众简档显示内容。对象1308响应于显示设备1302b的观众简档，并且基于第二观众简档显示内容。对象1310响应于显示设备1302c的观众简档，并且基于第三观众简档显示内容。对象的观众标准可以描述针对给定的观众简档要在显示设备上显示的内容。
将认识到的是，阐述了许多具体细节以便提供对本文描述的示例实施例的透彻理解。但是，本领域普通技术人员将理解的是，可以在没有这些具体细节的情况下实践本文描述的实施例。在其它情况下，未详细描述众所周知的方法、过程和组件，以免模糊本文描述的实施例。此外，本描述和附图不应被视为以任何方式限制本文描述的实施例的范围，而仅仅是描述本文描述的各种实施例的实施方式。
应当注意的是，当在本文中使用时，诸如“基本上”、“大约”和“近似”之类的程度术语是指被修饰的术语的合理偏差量，使得最终结果不会显著改变。这些程度术语应当被解释为如果被修饰的术语的偏差将不会否定其修饰的术语的含义则包括这个偏差。
此外，如本文中所使用的，措词“和/或”旨在表示包含性的或。即，例如，“X和/或Y”旨在意味着X或Y或两者。作为另一个示例，“X、Y和/或Z”旨在意味着X或Y或Z或其任何组合。
本文描述的系统和方法的实施例可以以硬件或软件或两者的组合来实现。这些实施例可以以在可编程计算机上执行的计算机程序实现，每个计算机包括至少一个处理器、数据存储系统(包括易失性存储器或非易失性存储器或其它数据存储元件或其组合)以及至少一个通信接口。例如但不加限制，可编程计算机(以下称为计算设备)可以是服务器、网络设备、嵌入式设备、计算机扩展模块、个人计算机、膝上型计算机、个人数据助理、蜂窝电话、智能电话设备、平板计算机、无线设备或能够被配置为执行本文描述的方法的任何其它计算设备。
在一些实施例中，通信接口可以是网络通信接口。在其中元素被组合的实施例中，通信接口可以是软件通信接口，诸如用于进程间通信(IPC)的那些接口。在还有其它实施例中，可以存在被实现为硬件、软件及其组合的通信接口的组合。
程序代码可以被应用于输入数据，以执行本文描述的功能并生成输出信息。以已知方式将输出信息应用于一个或多个输出设备。
可以以高级过程或面向对象的编程和/或脚本语言或两者来实现每个程序，以与计算机系统通信。但是，如果期望，那么可以用汇编语言或机器语言来实现程序。在任何情况下，语言都可以是编译或解释的语言。每个这样的计算机程序可以被存储在可由通用或专用可编程计算机读取的存储介质或设备(例如，ROM、磁盘、光盘)上，用于当存储介质或设备被计算机读取时配置和操作计算机以执行本文描述的过程。系统的实施例也可以被认为被实现为配置有计算机程序的非暂态计算机可读存储介质，其中如此配置的存储介质使计算机以特定且预定义的方式操作，以执行本文描述的功能。
此外，所描述的实施例的系统、处理和方法能够分布在包括计算机可读介质的计算机程序产品中，该计算机可读介质承载用于一个或多个处理器的计算机可用指令。介质可以以各种形式提供，包括一个或多个盘、致密盘、带、芯片、有线传输、卫星传输、互联网传输或下载、磁和电子存储介质、数字和模拟信号等。计算机可用指令也可以采用各种形式，包括编译和未编译的代码。
本文仅通过示例的方式描述了各种实施例。在不脱离本发明的精神和范围的情况下，可以对这些示例实施例进行各种修改和变化，本发明的精神和范围仅由所附权利要求限制。而且，在附图所示的各种用户界面中，将理解的是，所图示的用户界面文本和控件仅作为示例提供，并不意味着限制。其它合适的用户界面元素可以是可能的。

Claims (25)

1.一种用于多显示器交互的方法，包括：
-提供多个显示设备，所述显示设备包括：
-显示器
-输入设备，
-处理器，以及
-存储器；
-在与第一显示设备相关联的第一显示器上示出对象；
-接收开始于对象上的第一点并结束于第二点的输入手势；
-确定第一点和第二点之间的选择线；
-基于选择线来确定投射线；
-沿着投射线平移对象，以及
-如果对象与多个活动区域中的第一活动区域相交，那么将对象与对应于第一活动区域的第二显示设备相关联，并且在第二显示器上示出对象。
2.如权利要求1所述的方法，还包括：
-确定第一点和第二点之间的输入速度向量，并且基于输入速度向量来平移对象。
3.如权利要求2所述的方法，还包括：
-确定第一点和第二点之间的输入加速度向量，并且基于输入加速度向量来平移对象。
4.如权利要求3所述的方法，还包括：
-基于对象质量和速度来确定第二点处的对象动量；
-以对象动量沿着投射线平移对象，并且随着对象平移而减小对象动量。
5.如权利要求4所述的方法，其中
-每个显示设备还包括音频设备；
-对象包括音频内容和视频内容；以及
-示出对象还包括
-在显示设备上示出视频内容，以及
-在音频设备上播放音频内容。
6.如权利要求5所述的方法，还包括
-修改与第一显示设备相关联的对象。
7.如权利要求5所述的方法，还包括
-修改与第二显示设备相关联的对象；
-接收开始于对象上的第三点并结束于第四点的第二输入手势；
-确定第三点和第四点之间的第二选择线；
-基于第二选择线来确定第二投射线；
-沿着第二投射线平移对象；
-如果对象与多个活动区域中的第二活动区域相交，那么将对象与对应于第二活动区域的第一显示设备相关联，并且在第一显示器上示出对象。
8.如权利要求5所述的方法，还包括
-与对象相关联的交互字段包括多个选项；
-接收与所述多个选项中的选择对应的第二输入手势；
-基于选择来修改交互字段；并且
-将对象与第一显示设备相关联。
9.如权利要求7所述的方法，其中
-第一显示设备包括第一观众信息，
-第二显示设备包括第二观众信息，
-对象包括第一观众内容和第二观众内容，
-示出对象还包括
-基于第一观众信息在第一显示器上示出第一观众内容；
-基于第二观众信息在第二显示器上示出第二观众内容。
10.一种多屏幕交互系统，包括：
-对象；
-多个显示设备，每个显示设备包括：
-存储对象的存储器，
-显示器
-处理器，以及
-接收输入手势的输入设备；
-其中
-第一显示设备的显示器示出对象，
-第一显示设备的处理器被配置为：
-从输入设备接收与显示器上的点处的手势对应的多个点：
-所述多个点中的第一点与手势的发起对应，
-所述多个点中的第二点与手势的完成对应，
-确定从第一点到第二点形成的选择向量，
-基于选择向量来确定投射向量，
-沿着投射向量平移对象；
-确定对象是否与多个活动区域中的第一活动区域相交，并且如果是，那么将对象发送到与第一活动区域对应的第二显示设备；
-第二显示设备的处理器被配置为：
-从第一显示设备接收对象；以及
-将对象存储在第二显示设备的存储器中；以及
-指示第二显示设备的显示器示出对象。
11.如权利要求10所述的系统，还包括：
-所述多个显示设备中的每个显示设备还包括音频设备；
-对象还包括视频内容和音频内容；
-所述多个显示设备中的每个显示设备的处理器还被配置为：
-在显示器上示出视频内容；
-在音频设备上播放音频内容。
12.如权利要求11所述的系统，还包括：
-所述多个显示设备中的第一显示设备的处理器还被配置为：
-修改对象。
13.如权利要求12所述的系统，还包括：
-所述多个显示设备中的第二显示设备的处理器还被配置为：
-修改对象。
14.如权利要求13所述的系统，还包括：
-所述多个显示设备中的第二显示设备的处理器还被配置为：
-将对象发送到第一显示设备；
-所述多个显示设备中的第一显示设备的处理器还被配置为：
-从第二显示设备接收对象。
15.一种将对象从多屏幕交互系统的第一显示设备转移到第二显示设备的方法，包括：
-提供第一显示设备和第二显示设备；
-在第一显示设备上示出对象；
-接收包括一系列点的输入手势；
-基于所述一系列点来确定选择向量；
-确定选择向量的投射向量；
-基于投射向量在第一显示设备上平移对象；
-检测对象与第一显示设备上的第一活动区域的相交；
-将对象从第一显示设备转移到与第一活动区域相关联的第二显示设备。
16.如权利要求15所述的方法，其中投射向量还包括输入速度向量，并且基于平移向量来确定投射向量还包括基于选择向量来确定平移速度向量。
17.如权利要求16所述的方法，其中平移向量还包括输入加速度向量，并且确定平移向量的投射向量还包括基于选择向量来确定平移加速度向量。
18.如权利要求17所述的方法，还包括：
-确定对象的动量；
-基于动量来平移对象，并且随着对象平移而减小对象动量。
19.如权利要求18所述的方法，还包括：
-对象还包括：音频内容和视频内容；
-第一显示设备和第二显示设备还包括音频设备；
-示出对象还包括示出视频内容并在显示设备的音频设备上播放音频内容；
-将对象从第一显示设备转移到第二显示设备还包括将音频内容的播放从第一显示设备转移到第二显示设备。
20.如权利要求19所述的方法，还包括：
-对象还包括状态。
21.如权利要求20所述的方法，还包括：
-第一显示设备和第二显示设备处于网络通信，并且将对象从第一显示设备转移到第二显示设备还包括序列化对象、使用网络通信将序列化的对象转移到第二显示设备以及将对象物化到第二显示设备处的存储器中。
22.一种多屏幕交互系统，包括：
-第一显示设备，包括：
-显示器，
-处理器，
-存储器，
-用户输入设备；
-第二显示设备，包括
-显示器
-处理器，
-存储器，
-用户输入设备；
-其中
-第一显示设备的存储器包括对象；
-第一显示设备和第二显示设备处于网络通信；
-对象在第一用户设备的显示器上被示出；
-第一显示设备的处理器可操作以：
-基于来自用户输入设备的用户输入来确定投射线；
-沿着投射线平移正在显示器上示出的对象；
-检测对象与活动区域之间的相交；
-序列化对象；
-使用网络通信将序列化的对象传送到第二显示设备；
-第二显示设备的处理器可操作以：
-使用网络通信接收序列化的对象；
-将对象从序列化的对象物化到存储器中。
23.如权利要求22所述的系统，其中第一显示设备的处理器还可操作以：
-确定输入速度向量；
-确定平移速度向量；
-确定输入加速度向量；
-确定平移加速度向量；
-确定对象动量；
-基于平移速度向量、平移加速度向量和对象动量来平移对象。
24.如权利要求23所述的系统，其中
-对象还包括音频内容和视频内容；
-第一显示设备和第二显示设备还包括音频设备；
-基于视频内容在第一显示设备上示出对象；
-基于音频内容在第一显示设备的音频设备上播放对象；
-序列化对象包括序列化音频内容和视频内容。
25.如权利要求24所述的系统，其中：
-对象还包括状态。
CN201980035384.1A 2018-03-27 2019-03-26 用于多屏幕显示和交互的系统和方法 Pending CN112384972A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862648414P 2018-03-27 2018-03-27
US62/648,414 2018-03-27
PCT/CA2019/050372 WO2019183726A1 (en) 2018-03-27 2019-03-26 Systems and methods for multi-screen display and interaction

Publications (1)

Publication Number Publication Date
CN112384972A true CN112384972A (zh) 2021-02-19

Family

ID=68059440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980035384.1A Pending CN112384972A (zh) 2018-03-27 2019-03-26 用于多屏幕显示和交互的系统和方法

Country Status (9)

Country Link
US (1) US11216076B2 (zh)
JP (1) JP2021519482A (zh)
KR (1) KR20210024991A (zh)
CN (1) CN112384972A (zh)
AU (1) AU2019243683A1 (zh)
CA (1) CA3095323A1 (zh)
DE (1) DE112019001554T5 (zh)
GB (1) GB2587095B (zh)
WO (1) WO2019183726A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111381791B (zh) * 2020-03-03 2023-03-21 安徽文香科技有限公司 一种交互系统、方法、设备和存储介质
CN111352603A (zh) * 2020-03-11 2020-06-30 北京文香信息技术有限公司 一种分屏显示方法、装置、终端及存储介质
US11689695B1 (en) 2022-12-15 2023-06-27 Northern Trust Corporation Computing technologies for screensharing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309632A1 (en) * 2007-06-13 2008-12-18 Apple Inc. Pinch-throw and translation gestures
CN102147704A (zh) * 2010-02-25 2011-08-10 微软公司 多屏幕对象保持并换页手势
CN102770839A (zh) * 2010-02-25 2012-11-07 微软公司 多屏幕捏合装袋手势
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
JP2014512060A (ja) * 2011-04-20 2014-05-19 コーニンクレッカ フィリップス エヌ ヴェ ジェスチャーに基づく要素又はアイテムの制御
CN103823627A (zh) * 2012-11-19 2014-05-28 三星电子株式会社 在移动终端中的屏幕显示方法和使用该方法的移动终端
US20150077365A1 (en) * 2013-09-13 2015-03-19 Ricoh Company, Ltd. System, information processing apparatus, and image display method
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
WO2017098525A1 (en) * 2015-12-09 2017-06-15 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8046701B2 (en) * 2003-08-07 2011-10-25 Fuji Xerox Co., Ltd. Peer to peer gesture based modular presentation system
KR20120006976A (ko) * 2009-02-04 2012-01-19 베냐민 피루쯔 가사비안 데이타입력시스템
US9317899B2 (en) * 2012-01-13 2016-04-19 Sony Corporation Information processing apparatus and information processing method, and computer program
TWI637312B (zh) * 2012-09-19 2018-10-01 三星電子股份有限公司 用於在透明顯示裝置顯示資訊的方法、顯示裝置及電腦可讀記錄媒體
JP6271960B2 (ja) * 2012-11-26 2018-01-31 キヤノン株式会社 情報処理システム
DE102013007250A1 (de) * 2013-04-26 2014-10-30 Inodyn Newmedia Gmbh Verfahren zur Gestensteuerung
KR101647734B1 (ko) * 2014-07-22 2016-08-23 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10452195B2 (en) * 2014-12-30 2019-10-22 Samsung Electronics Co., Ltd. Electronic system with gesture calibration mechanism and method of operation thereof
KR20170004702A (ko) * 2015-07-03 2017-01-11 엘지전자 주식회사 디스플레이 장치 및 제어 방법
US9788204B2 (en) * 2015-10-31 2017-10-10 Verizon Patent And Licensing Inc. User authentication systems and methods
US10867452B2 (en) * 2016-03-25 2020-12-15 Mental Canvas LLC System and methods for conversion of 2D assets into 3D graphical scenes
KR20180020517A (ko) * 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기
TWI729030B (zh) * 2016-08-29 2021-06-01 日商半導體能源研究所股份有限公司 顯示裝置及控制程式
DE102017010425A1 (de) * 2017-11-12 2019-05-16 Wirtgen Gmbh Selbstfahrende Baumaschine und Verfahren zum Steuern einer selbstfahrenden Baumaschine

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080309632A1 (en) * 2007-06-13 2008-12-18 Apple Inc. Pinch-throw and translation gestures
US20140152604A1 (en) * 2007-06-13 2014-06-05 Apple Inc. Pinch-throw and translation gestures
CN102147704A (zh) * 2010-02-25 2011-08-10 微软公司 多屏幕对象保持并换页手势
CN102770839A (zh) * 2010-02-25 2012-11-07 微软公司 多屏幕捏合装袋手势
JP2014512060A (ja) * 2011-04-20 2014-05-19 コーニンクレッカ フィリップス エヌ ヴェ ジェスチャーに基づく要素又はアイテムの制御
US20140055400A1 (en) * 2011-05-23 2014-02-27 Haworth, Inc. Digital workspace ergonomics apparatuses, methods and systems
CN103823627A (zh) * 2012-11-19 2014-05-28 三星电子株式会社 在移动终端中的屏幕显示方法和使用该方法的移动终端
US20150077365A1 (en) * 2013-09-13 2015-03-19 Ricoh Company, Ltd. System, information processing apparatus, and image display method
KR101714207B1 (ko) * 2015-09-02 2017-03-08 엘지전자 주식회사 이동 단말기 및 그의 제어 방법
WO2017098525A1 (en) * 2015-12-09 2017-06-15 Smartron India Private Limited A system and method for controlling miracast content with hand gestures and audio commands

Also Published As

Publication number Publication date
GB202015492D0 (en) 2020-11-11
JP2021519482A (ja) 2021-08-10
GB2587095B (en) 2023-02-01
DE112019001554T5 (de) 2021-01-14
KR20210024991A (ko) 2021-03-08
WO2019183726A1 (en) 2019-10-03
CA3095323A1 (en) 2019-10-03
US11216076B2 (en) 2022-01-04
GB2587095A (en) 2021-03-17
US20210208686A1 (en) 2021-07-08
AU2019243683A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US10596478B2 (en) Head-mounted display for navigating a virtual environment
US10403050B1 (en) Multi-user virtual and augmented reality tracking systems
US9656168B1 (en) Head-mounted display for navigating a virtual environment
US20210042012A1 (en) Interactive presentation controls
US11216076B2 (en) Systems and methods for multi-screen interaction
TWI622026B (zh) Interactive teaching system
US11969666B2 (en) Head-mounted display for navigating virtual and augmented reality
Gumienny et al. Tele-board: Enabling efficient collaboration in digital design spaces
US20240127546A1 (en) Overlay Placement For Virtual Reality And Augmented Reality
JP2014102664A (ja) コンテンツ作成・記録・再生システム
US11262885B1 (en) Multi-gesture context chaining
WO2016053311A1 (en) Artifact projection
US9513776B2 (en) Providing wireless control of a visual aid based on movement detection
KR20200137594A (ko) 모바일 장치 및 모바일 장치의 제어 방법
Devi et al. Development of interactive fashion design support system: Using IDS (interactive display on any surface)-A case study
Sommool A Gesture-based Presentation System for Smart Classroom using Kinect

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210219

WD01 Invention patent application deemed withdrawn after publication