CN113498029B - 交互式广播 - Google Patents

交互式广播 Download PDF

Info

Publication number
CN113498029B
CN113498029B CN202011275996.9A CN202011275996A CN113498029B CN 113498029 B CN113498029 B CN 113498029B CN 202011275996 A CN202011275996 A CN 202011275996A CN 113498029 B CN113498029 B CN 113498029B
Authority
CN
China
Prior art keywords
receiving devices
screen
software application
screen receiving
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011275996.9A
Other languages
English (en)
Other versions
CN113498029A (zh
Inventor
刘炜
郭进
董诗楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Diteng Co ltd
Original Assignee
Diteng Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diteng Co ltd filed Critical Diteng Co ltd
Publication of CN113498029A publication Critical patent/CN113498029A/zh
Application granted granted Critical
Publication of CN113498029B publication Critical patent/CN113498029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/06—Selective distribution of broadcast services, e.g. multimedia broadcast multicast service [MBMS]; Services to user groups; One-way selective calling services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H04L65/4046—Arrangements for multi-party communication, e.g. for conferences with distributed floor control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种系统通过访问屏幕发送设备上的软件应用程序的远程屏幕接收设备来控制电话会议系统中的电子设备。通过点对点专用无线网络进行访问。在远程屏幕接收设备上复制软件应用程序。该软件允许远程屏幕接收设备的用户同时操纵或使用一个或多个公共软件应用程序。在无需屏幕发送设备应用软件应用程序锁定的情况下发生并发操纵或使用。

Description

交互式广播
相关申请的交叉引用
本申请要求2020年3月19日提交的名称为“交互式广播(InteractiveBroadcast)”的美国临时申请第62/991,837号的优先权的权益，其通过引用合并于本文。
技术领域
本专利申请涉及应用程序软件，并且具体地涉及支持不受约束的并发交互的交互式系统。
背景技术
软件应用程序通常允许参与者在通常为单个用户服务的系统上进行交互。单用户应用程序为这些用户提供服务，并以仅允许用户查看他或她自己的交互的模式运行。多用户应用程序允许本地和远程用户查看他们在一个系统上的交互。通常，由于交互时间和处理每个参与者输入的延迟，所以响应时间很长。
在一些多用户应用程序中，不能确保或调解交互的一致性。此外，远程操作的输出会导致显著的屏幕转换延迟，尤其是当视口窗口在设备之间变化或从远程设备访问不同的应用程序时更是如此。
发明内容
为了解决上述问题，本申请旨在提供一种在电话会议系统中控制电子设备的计算机实现的方法，包括：访问用机器可执行指令编码的非易失性机器可读介质，其中，执行所述机器可执行指令，以便：提供对在屏幕发送设备上的软件应用程序的访问；通过多个远程屏幕接收设备经由点对点专用无线网络访问所述软件应用程序；向所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备分配优先级，使得确定所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备何时控制所述屏幕发送设备和控制所述屏幕发送设备的频度，并确定何时向所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备发送消息；当由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的本地操作与由所述屏幕发送设备向所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备传播的命令冲突时，从所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备向所述屏幕发送设备自动发送状态差异；以及通过恢复所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备的所述本地操作并丢弃由于由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的所述本地操作而引起的改变，使所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备返回先前状态；其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发地操作软件应用程序，而无需所述屏幕发送设备施加软件应用程序锁定。
在一个示例中，所述屏幕发送设备可以是电话会议系统的整体组成部件。
在另一示例中，所述用户可以通过队列并发地操作所述软件应用程序。
在另一示例中，计算机实现的方法还可以包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的所述软件应用程序。
在另一示例中，所述屏幕接收设备可以实施推测执行。
在另一示例中，所述队列可以以先进先出协议进行操作。
在另一示例中，所述点对点专用无线网络可以具有约10米至约50 米的传输范围。
在另一示例中，所述软件应用程序的多个接口可以驻留在所述屏幕发送设备的显示器上的前台和后台中。
在另一示例中，对所述软件应用程序的多个接口的访问可以不改变显示器和关联视口上的位置顺序。
在另一示例中，可以基于定时和预先分配的优先级来调和所述多个远程屏幕接收设备之间的冲突。
根据另一方面，本申请还提供了一种在电话会议系统中控制电子设备的方法，包括：提供对在屏幕发送设备上的软件应用程序的访问；通过多个远程屏幕接收设备经由网络来访问所述软件应用程序；通过设备配置文件向所述多个远程屏幕接收设备中的每一个分配设备访问权限，使得确定所述多个远程屏幕接收设备中的每一个何时控制所述屏幕发送设备和控制所述屏幕发送设备的频度，并确定分别何时向所述多个远程屏幕接收设备发送消息；当由所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备执行的本地命令与由所述屏幕发送设备传播的命令冲突时，从所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备向所述屏幕发送设备自动发送状态差异；以及通过处理由相机捕获的伸出的手指的图像与存储在所述电子设备的存储器中的多个图像的比较，来检测所述伸出的手指，其中所述检测还包括通过以下操作来预测由四个坐标限定的边界框，所述边界框用于提取由所述相机捕获的伸出的手指的图像：生成所述边界框的预测的对象分数；确定所述对象分数是否超过预定阈值；以及通过连续地执行多个卷积层直到达到预定误差为止，提取所述伸出的手指的图像的特征，以进行识别；响应于所述识别，在所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备处执行所述本地命令；通过恢复在所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备处的所述本地命令并丢弃由于由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的所述本地命令而引起的改变，使所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备返回先前状态；其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发地操作所述软件应用程序，而无需所述屏幕发送设备施加软件应用程序锁定。
在一个示例中，所述屏幕发送设备可以是电话会议系统的整体组成部件。
在另一示例中，所述用户可以通过队列并发地操控所述软件应用程序。
在另一示例中，所述方法还可以包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的软件应用程序。
在另一示例中，所述屏幕接收设备可以经由推测执行进行操作。
在另一示例中，所述队列可以以先进先出协议进行操作。
在另一示例中，所述网络可以包括具有约10米至约50米的传输范围的点对点专用无线网络。
在另一示例中，所述软件应用程序的多个接口可以驻留在所述屏幕发送设备的显示器上的前台和后台中。
在另一示例中，对所述软件应用程序的多个接口的访问可以不改变显示器和关联视口上的位置顺序。
在另一示例中，可以基于定时和预先分配的优先级来调和所述多个远程屏幕接收设备之间的冲突。
附图说明
图1是软件应用程序共享架构。
图2是软件应用程序共享过程。
图3示出了无线连接到屏幕接收设备的屏幕发送设备。
图4是在软件应用程序共享架构中使用的非接触式交互过程。
图5是示例性屏幕接收设备。
图6是替代软件应用程序共享架构。
图7是基于视觉的手部和手臂手势识别过程。
图8示出了虚拟交互区域。
图9示出了指向用手指位置的检测和标记。
图10示出了指向用手指位置的检测和标记。
图11示出了示例性非接触式致动菜单。
图12示出了仿真计算机悬停。
图13示出了移动示例性菜单项的仿真滑动动作。
图14示出了对示例性菜单选项的仿真激活或点击。
图15示出了在仿真白板或可选背景上的绘制功能。
图16示出了仿真的激光指示功能。
图17示出了示例性唤醒手势。
图18示出了选择性地缩小了交钥匙非接触式用户界面系统的带通或虚拟交互区域的自动过滤功能的输出。
图19示出了示例性的手臂手势。
图20示出了对增加了交钥匙非接触式用户界面系统的带通或虚拟交互区域的自动过滤功能的自动修改的输出。
图21示出了四分之一臂手势。
图22示出了交钥匙非接触式用户界面系统。
具体实施方式
交互式广播系统和过程(称为一个或多个系统)在协调和验证交互时最大化发送设备和接收设备上的交互的响应性。系统通过在本地设备和远程设备上运行代理系统来调解不一致，代理系统协调驻留在发送设备上并在接收设备上复制的活跃和/或不活跃软件应用程序。发送设备对来自接收设备上的复制的软件应用程序的请求-响应交换进行响应，以提供对软件应用程序的访问并确保分布式控制。
在一些系统中，通信是局部的，这意味着一个或多个屏幕发送设备与电话会议系统统一，并且一个或多个屏幕接收设备通过专用的短距离无线网络(例如，在约10米至约50米的范围内传输的网络)。它不需要可公共访问的连接。在这些系统中，无线网络不断向附近的屏幕接收设备广播无线电信号，屏幕接收设备会自动与一个屏幕发送设备配对。屏幕接收设备可以显示和访问驻留在屏幕发送设备中的软件应用程序，而无需改变在屏幕发送设备上呈现的和由屏幕发送设备呈现的后台和前台显示顺序。
一些系统在主节点和复制的节点之间提供屏幕镜像，其允许远程用户查看来自本地用户及远程和/或移动用户的不同内容和/或其他内容。这意味着用户可以通过访问由一个或多个屏幕发送设备管理和服务的活跃和不活跃软件应用程序(也称为应用程序)来访问由电话会议系统促进的会议的不同方面和内容。当远程或移动用户与驻留在屏幕发送设备的后台的不同方面的软件进行交互时，会议可以集中于在屏幕发送设备的前台中本地显示的方面。不同的软件或关联的用户界面可能不会在屏幕发送设备上本地显示。因此，远程和移动用户可以访问不同的软件应用程序，无论它们是活跃的和/或它们的界面呈现在屏幕发送设备的显示器上的前台中，还是非活跃的和/或它们的界面呈现在屏幕发送设备的后台中。软件应用程序由屏幕发送设备管理，而不会中断或改变本地显示的视口以及在屏幕发送节点上本地发生的协作。
在一些系统中，内容和应用程序共享是通过点对点专用和/或加密网络连接进行的，从而确保数据永远不会暴露给访问公共可访问网络的中间设备、入侵者或其他人和实体。屏幕发送设备和屏幕共享设备可能被限制在较小的物理区域，例如会议室或会面室，这些区域通常服务于诸如商务会议和会面的单个事件。
在操作中，所述系统有利于用户在任何事件同时且自由地共享输入，从而促进信息的自然流动。所述系统提供类似的用户界面，以促进协作工作和交互式响应。一些协议共享避免了显示锁定事件和软件应用程序级锁定事件，其中当用户在本地或远程与显示器和/或软件应用程序进行交互时，其通过锁定显示器和/或软件应用程序来防止发生冲突。通过在屏幕接收设备和屏幕发送设备处复制软件应用程序并执行控制协议，每个用户可以随时在本地或远程查看、使用和/或操纵任何显示器、软件应用程序、控件和/或公共视口，并以同步间隔将这些变化传播到其他设备，就像它们正在操作单个用户设备一样。
虽然一些系统通过轮流方式操作，这些系统通过串行执行(例如，由定时控制)为多个用户提供服务；替代系统不受串行执行的限制，因为冲突是由时序控制和优先级分配来调解的。在一些替代系统中，屏幕接收设备通过在经由推测执行而知道是否需要任务之前执行该任务(例如，在后台中执行在屏幕接收设备上的软件应用命令)来优化性能，从而防止在知道需要该任务之后由于执行任务而导致的延迟。如果确定不需要这些任务，则可以还原由于它们的执行而引起的任何变化，并丢弃从它们中流出的中间结果。
如图1或图3所示，每个屏幕发送设备302和屏幕接收设备304或节点可以将软件应用程序或副本及其状态信息保留在操作缓冲器102中。系统还包括记录本地操作的本地队列104、无线发送器106、无线接收器 108和记录远程操作的远程队列110。每个屏幕发送设备还维护用于存储本地和远程操作对象以及更新应用程序状态的交互的系统数据库112。
在一些系统中，变化以粒度级别传播。当发生重叠的或相关的动作或命令时，状态差异在执行每个本地操作时得出，并以同步间隔自动发送到控制屏幕发送设备302。当发生冲突时，一些系统基于定时(例如，首先接收的命令通过先进先出协议或FIFO队列来控制)或者根据在控制屏幕发送设备处建立的分配的优先级，在控制屏幕发送设备302上调解差异。分配的优先级可以由用户通过用户门户(例如Web门户)预先定义或分配，该用户门户通过用户和/或存储在系统数据库112中的设备配置文件来分配设备和/或用户访问权限和/或限制，其中当请求不一致的命令或操作时，也会建立优先次序(precedence)。
不同优先级的使用提供了一种避免许多不同类型的潜在冲突、冲撞和破坏的手段。在一些系统上，分配的优先级可以确定一设备可以控制另一台设备的时间、持续时间和/或频率，并且在替代系统中，允许为消息和/或命令分配优先级，这些优先级确定了多久和/或何时可以将消息发送到接收设备。
在操作中，在每个屏幕发送设备和屏幕接收设备上执行运行控制协议的代理。关于图1至图3，在复制的节点(屏幕接收设备304)上复现在主节点(屏幕发送设备302)上操作的交互应用程序。当通过活跃的屏幕接收设备304的软件应用程序发生交互或命令(称为交互对象)时，软件代理在202处捕获交互，并在204处将该对象存储在本地队列104 或双端队列中，作为状态改变事件候选对象。队列104是存储在存储器中的多元素数据结构，在该存储器中，按照插入对象的顺序(例如，FIFO) 或基于其他因素(例如分配给插入对象的优先级指定)从一端或两端移除对象。当在204处将状态改变事件候选对象存储在本地队列中时，代理(经由控制协议114)在206处(经由其发送器106)将经由状态改变事件候选对象请求的交互或命令发送至控制屏幕发送设备302(主节点)，它由接收器108接收并存储在屏幕发送设备的远程队列110中。如果在 208处受用户权限和/或设备的访问权限授权，则该交互或控制在210处在控制屏幕发送设备302处执行、被存储在系统数据库112中，并在212 处并发传播到每个屏幕接收设备304(复制的节点)，以实现跨功能控制。改变由接收器108接收并存储在屏幕接收设备304的远程队列110的每一个中。在屏幕接收设备304处，这些改变将各个缓冲器102中的每个更新为反映控制屏幕发送设备302的状态改变的控制屏幕发送设备302 的当前状态。
一些屏幕接收设备304基于授予的权限来查看、控制和/或修改特定软件应用程序。在一些系统中，在存储在屏幕发送设备系统数据库112 中的用户和/或设备配置文件中建立许可。一组规则可以管理是否允许用户访问一些系统中的一个或多个软件应用程序，通常建立用户和/或设备在使用系统维护访问特权时必须遵守的规则。授权可以由系统管理员设置，并由门户基于用户标识和验证进行验证。在一些系统中，对通过复制节点(屏幕接收设备304)进行的主节点(屏幕发送设备302)的访问不会改变由主节点渲染的视口顺序。因此，当在屏幕发送设备302的后台呈现的软件应用程序或其用户界面中或在屏幕发送设备302的不活跃应用程序中请求命令、交互和/或状态改变时，可以在后台在屏幕发送设备302上执行操作，而无需一旦执行操作，就改变呈现在屏幕发送设备 302上的该软件应用或其界面的位置顺序和位置，或者改变屏幕发送设备302上的活跃/不活跃状态。由于授予屏幕接收设备304的远程位置和背景控制，可以在不对屏幕发送设备302执行频繁的视口切换的情况下发生改变。关于图3，当应用程序“A”分别被屏幕接收设备DTEN1 304、 DTEN2304和DTEN3304访问时，在屏幕发送设备302的后台中保留软件应用程序“B”和“C”，而应用程序“A”仍保留在屏幕发送设备 302的前台中。通常，视口包括在屏幕发送设备的显示器610附近对本地用户可见的软件应用程序或其用户界面的视图或显示。
在一些系统中，屏幕接收设备304直接访问屏幕发送设备302上的软件应用程序。在替代系统中，对软件应用程序的访问是由在(远程) 复制节点(屏幕接收设备304)处的复制软件应用程序通过推测执行进行的，然后基于在主节点(屏幕发送设备302)上收到的时间顺序以及在用户和/或设备配置文件中授予的授权和许可，在主节点(屏幕发送设备302)处进行发送、调和和同步。该替代系统减少了在屏幕发送设备 302处对所访问的软件应用程序的重复修改，这是因为在屏幕发送设备302处执行之前对多个修改进行了调和，并传播到了屏幕接收设备304。
在所公开的系统中，屏幕接收设备302启动与屏幕发送设备302的接触，以利用驻留在屏幕发送设备302上的应用程序软件。当设备向网络上的设备提供对软件或其他服务的访问时，利用屏幕发送设备302上的软件应用程序的设备可以用作屏幕发送设备302。此外，当设备利用由其他设备提供服务的软件应用程序时，向屏幕接收设备304提供对软件应用程序的访问的设备可以用作屏幕接收设备304。
在一些系统中，非接触用户界面提供了自然而直观的技术，该技术使所有用户能够与屏幕发送设备302和屏幕接收设备304通信。所述系统使用户能够控制这些设备而无需手持设备或手持键盘。所述系统可立即被访问，并且一些系统提供手势消息控制关联的视觉提示。所述系统采用手势识别和上肢识别，可以实现多种形式的自然人际交流。
在系统处于交互状态的情况下，屏幕发送设备302和/或屏幕接收设备304上的非接触用户界面识别预定数量的模仿自然通信的捕获手势，如图4所示。例如，在402和404处，在屏幕发送设备302和/或屏幕接收设备304上的相机在虚拟交互区域中检测并捕获诸如从握成拳头的手举起一根手指的手势。当在406处被识别时，在408处，非接触用户界面使设备302和/或304上的消息中心呈现消息，并且当在410处在预定时间间隔内发生移动时，在412处，手指移动使消息中心626执行该消息。消息的执行包括与消息相关联或链接到消息的功能的执行，例如期望动作的执行或软件应用程序的控制。消息可以是选项列表，用户从中可以从软件应用程序中进行选择，从而使远程设备执行期望的动作(例如执行)，例如启动命令或使软件应用程序执行功能。在示例性系统中，手势是由系统识别的导致呈现消息的输入，并且手势的移动导致屏幕发送设备302执行和/或发送消息。
与一些系统不同，手势识别并非仅响应于移动(例如，手、手指或身体移动)而发生。相反，存在静态识别事件，例如对握成拳头的手和伸出的手指进行独特的手形识别，以及导致识别引起执行消息的移动和/ 或移动轨迹的动态手形识别事件。在这两个识别事件中，一些系统都会提供反馈。响应于成功的静态识别事件，呈现可以通过手势移动执行的消息(例如，动态识别事件)。响应于成功的动态识别，发生消息执行，诸如与消息相关联的动作的执行(例如，致动程序、信息的发送和/或等等)。
在一些系统中，在屏幕发送设备和/或屏幕接收设备处识别出固定数量的静态和/或动态手势；在其他系统中，识别多个手势。一些手势可以由用户定制，例如在名为“手势控制系统(Gesture Control Systems)”的附录A中描述的系统，其通过引用并入本文。在这些系统中，将反馈提供给用户，以在与用户进行交互的屏幕发送设备302和/或屏幕接收设备304处确认识别出的交互的正确性。当未识别出静态和/或动态手势(例如，不是存储在存储器中的识别词典的一部分的手势)时，屏幕发送设备302和/或屏幕接收设备304可以防止或禁止实施一个或多个预定动作或任务。例如，如果未识别出，则可能会阻止所需的动作。
为了提高响应性，系统的一些功能在成功的动态识别事件发生之前在后台加载动态手势形状识别事件软件应用程序。在这些系统中，当识别事件的执行开始时，系统开始加载动态执行功能。如果识别事件失败或终止，则系统终止动态识别事件软件应用程序的加载并等待捕获另一个手势，该应用程序呈现动态执行功能。如果静态识别事件成功并且动态识别事件完成，则系统中的功能立即完成交互执行。如果动态识别事件已终止或未完成，则系统终止或暂停交互的执行，直到成功的识别事件发生为止。
在一些系统中，用于控制应用程序的词典依赖于代替或除了识别之外的移动。诸如肢体的移动或位置的预定义手势例如经由替代的识别事件来执行命令。屏幕发送设备和/或屏幕接收设备仅需要单个相机622。在替代系统中，使用两个或更多相机622来提高检测的准确性以及相应手势移动和/或轨迹的测量。
图6是可以执行上述以及图1-5中所示的过程流程、功能和系统的框图。所述系统包括处理器单元或图形处理器单元602，诸如存储器604 的非临时性介质(其内容可由一个或多个处理器和/或图形处理器602访问)、专用网络606、系统数据库608、显示器610、麦克风阵列612、扬声器616、音频放大器614、音频接口620、一个或多个相机622、接近度传感器624、发送器642、接收器640、消息中心626和I/O接口618。 I/O接口618连接设备以及本地和/或复制的例如在屏幕发送设备302和/ 或屏幕接收设备304上的远程软件应用程序。存储器604存储指令，这些指令在由处理器602执行时使系统提供与交互式广播和控制相关联的一些或全部功能。存储器604存储指令，这些指令在由处理器602执行时使系统自动呈现支持交互式广播和识别事件(例如，经由识别引擎 628)、本地队列630、远程队列632、缓冲器634、软件应用程序636和复制的软件应用程序638的功能和硬件。在又一个替代系统中，通过云存储完全或部分地提供了非临时性介质提供的功能。术语云存储旨在广泛地包含使数据可以通过网络远程维护、管理和备份并被提供给用户的硬件和软件。在所述系统中，云存储设备提供了对系统资源的无处不在的访问，可以通过专用网络快速进行配置。云存储允许共享资源以实现一致性服务。
所公开的存储器604和/或存储装置可以保留用于以非暂时性计算机代码实现上述功能的可执行指令的有序列表。机器可读介质可以选择性地是电子、磁性、光学、电磁、红外或半导体介质，但不限于此。机器可读介质的示例的非详尽列表包括：便携式磁盘或光盘，易失性存储器(例如随机存取存储器(RAM))，只读存储器(ROM)，可擦可编程只读存储器(EPROM或闪存)或数据库管理系统。存储器604可以包括单个设备或可以布置在一个或多个专用存储器设备上或布置在处理器或其他类似设备上的多个设备。术语“引擎”旨在广泛地包括执行或支持诸如静态与动态事件和过程之类的事件的处理器或程序的一部分。当说功能、步骤等“响应”或“响应于”另一个功能或步骤等而发生时，这些功能或步骤必然由于另一个功能或步骤等而发生。不足以限定一个功能或动作仅跟随另一个功能或动作或在另一个功能或动作之后发生。术语“基本上”或“大约”涵盖在很大程度上但不一定全部是指定范围的范围。它涵盖了几乎所有微不足道的量，例如所披露的值和/或给定值或范围的百分之五到百分之十的范围内的变化。
替代系统不限于上述特定硬件和过程。本文说明性地公开的系统可以在缺少本文未具体公开的任何元件(包括硬件和/或软件)的情况下适当地实践。它们可能在没有这些元件的情况下运行。此外，本文描述的许多系统的每个中描述的各种元件相对于所描述的各个元件被认为是可分割的，而不是整体上不可分割的。换句话说，替代系统涵盖本文描述的元件的任何变型和组合，并且可以在没有描述的各种元件的情况下进行制造或使用(例如，它们可以在没有一个或多个所公开的元件的情况下运行)。
交互式广播系统和过程在协调和验证交互的同时，最大化发送设备 302和接收设备304上的交互的响应性。所述系统通过在本地和远程设备上运行代理系统来调解不一致，代理系统协调驻留在发送设备302上并在接收设备304上复制的活跃和/或非活跃的应用程序。发送设备对来自接收设备上复制的软件应用程序的请求-响应交换进行响应，以提供内容共享和分布式控制。
系统提供主节点与复制节点之间的屏幕镜像，从而允许远程用户查看来自本地用户以及远程和/或移动用户的不同和/或其他内容。所述系统允许用户通过访问由一个或多个屏幕发送设备302管理和服务的活跃和不活跃的软件应用程序，来访问会议的不同方面和内容。软件应用程序由屏幕发送设备302管理，而不更改或中断由屏幕发送节点提供的本地显示以及在屏幕发送节点上发生的协作。在一些系统中，通信是局部的，这意味着一个或多个屏幕发送设备302和一个或多个屏幕接收设备 304通过短距离无线连接(例如通过与一个或多个屏幕发送设备302统一的信标)进行通信。信标提供本地WIFI和/或蓝牙连接，不需要像互联网这样的公共访问连接。在这些系统中，屏幕发送设备302与屏幕接收设备304共享资源、内容和应用程序软件。
本公开的主题尤其还可以涉及以下方面(这些方面以数字表示)：
1.一种在电话会议系统中控制电子设备的计算机实现的方法，包括：
提供对在屏幕发送设备上的软件应用程序的访问；
通过多个远程屏幕接收设备经由点对点专用无线网络访问所述软件应用程序；
其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发操作所述软件，而无需所述屏幕发送设备应用软件应用程序锁定。
2.根据方面1所述的计算机实现的方法，其中所述屏幕发送设备是电话会议系统的统一部件。
3.根据1至2中任一方面所述的计算机实现的方法，其中所述用户通过队列并发操作所述软件。
4.根据方面3所述的计算机实现的方法，还包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的所述软件应用程序。
5.根据方面3所述的计算机实现的方法，其中所述屏幕接收设备实施推测执行。
6.根据方面5所述的计算机实现的方法，其中所述队列以先进先出协议进行操作。
7.根据1至6中任一方面所述的计算机实现的方法，其中所述点对点专用无线网络具有约10米至约50米的传输范围。
8.根据方面1至7中任一方面所述的计算机实现的方法，其中所述软件应用程序的界面驻留在所述屏幕发送设备的显示器上的前台和后台中。
9.根据第1至8方面中任一项所述的计算机实现的方法，其中对所述软件应用程序的接口的访问不改变显示器和关联视口上的位置顺序。
10.根据第 1至9方面 中任一项所述的计算机实现的方法，其中基于定时和预先分配的优先级来调和所述多个远程屏幕接收设备之间的冲突。
11.一种在电话会议系统中控制电子设备的方法，包括：
提供对在屏幕发送设备上的软件应用程序的访问；
通过多个远程屏幕接收设备经由点对点专用无线网络来访问所述软件应用程序；
当所述电子设备处于待机状态时，在相机的虚拟检测范围内检测用户的存在；
当检测到用户的存在时，将所述电子设备转换为交互状态；以及
当由以下各操作确定检测到的来自所述用户的手势对应于存储在存储器中的预定义手势时，将所述设备保持在交互状态：
通过处理由所述相机捕获的伸出的手指的图像与存储在所述电子设备的存储器中的多个图像的比较来检测伸出的手指；
由于检测到伸出的手指而在所述电子设备的显示器上呈现消息；以及
由于检测到伸出的手指移动而发送所述消息；
其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发操作所述软件，而无需所述屏幕发送设备应用软件应用程序锁定。
12.根据方面11所述的方法，其中所述屏幕发送设备是电话会议系统的单元部分，并且所述方法还包括：响应于手臂姿势的检测来发送所述消息。
13.根据11至12中任一方面所述的方法，其中所述用户通过队列和物理手臂手势并发操作所述软件。
14.根据方面13所述的方法，还包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的所述软件应用程序。
15.根据方面13所述的方法，其中所述屏幕接收设备经由猜测器，并且所述软件包括用于响应于所述物理手臂手势的检测而禁止要执行的多个任务的指令。
16.根据方面15所述的方法，其中所述队列以先进先出协议进行操作。
17.根据11至16中任一方面所述的方法，其中所述点对点专用无线网络具有约10至约50米的传输范围。
18.根据11至17中任一方面所述的方法，其中到所述软件应用程序的接口驻留在所述屏幕发送设备的显示器上的前台和后台中。
19.根据11至18中任一方面所述的方法，其中对所述软件应用程序的接口的访问不改变显示器和关联视口上的位置顺序。
20.根据11至19中任一方面所述的方法，其中基于定时和预先分配的优先级来调和多个远程屏幕接收设备之间的冲突。
通过参考附图和详细描述，其他系统、方法、特征和优点对于本领域技术人员将是或将变得清楚。所有这样的附加系统、方法、特征和优点旨在包括在本说明书内、包括在在本公开的范围内、并由所附权利要求书保护。
附录A：
一种计算机实现的系统在没有与用户进行物理接触和/或射频通信的情况下控制电子设备。当电子设备处于待机状态时，系统在相机的虚拟检测范围内检测用户的存在，并在检测到用户时将电子设备转换为交互状态。当检测到的手势对应于预定义手势时，系统通过处理伸出的手指的图像与存储在电子设备的存储器中的多个图像的比较来保持交互状态。系统由于检测到伸出的手指而呈现消息，并由于其移动而发送消息。
手势控制系统
本附录涉及基于视觉的界面。
基于视觉的界面是很难实现的隐形工具。手和肢体的移动并不总是被捕获，不能总能表达想法。一些基于视觉的界面非常复杂。与物理设备不同，一些接口是违反直觉的，不提供反馈。其他则容易受到假阴性的影响(例如，对随机移动和无意移动的识别)。此外，因为手势命令容易因文化差异而引起困惑，所以一些基于视觉的界面使用专用的手势命令，使许多基于视觉的界面无法与软件应用程序进行通信并控制软件应用程序。
交钥匙非接触式用户界面和过程(称为非接触式系统/界面或多个系统)提供了一种自然而直观的技术，使所有用户几乎无需培训即可与远程设备进行通信。该系统使用户能够控制计算机和其他设备，而无需手持按钮激活的设备或键盘。该系统是可立即访问的，且一些系统提供手势消息关联的视觉提示，从而减轻了用户回忆手势和轨迹关联的精神负担。这些系统模仿用户彼此通信的方式，进一步减少了与远程系统通信所需的回忆。利用手势识别和上肢识别，该系统可以实现多种形式的自然人际交流，而无需考虑文化背景。该系统使具有或没有身体能力的所有文化背景的用户都能在无菌的非接触式环境中进行交流。辅助技术非常强大，可以访问许多知识领域。
图7是示出提供消息反馈的非接触式界面的一些功能的流程图。术语消息广义上旨在包含响应于检测事件和/或识别事件由计算机、服务器或其他电子或光学设备以电子或光学方式传输到目的地的信息单元。如图7或图20中所示，可选的接近度或光学传感器1634检测存在，并且在一些软件应用程序中，在动作702处在没有与传感器物理接触的情况下测量或估计虚拟交互区域中一个或多个用户(例如，目标)的距离。例如，当发生移动或相对于所测量或估计的室温的温度差分别超过预编程的阈值时，作为在一些系统中的一个或多个相机1616的统一部件及在其他系统中的独立相机1616的统一部件的无源红外和/或移动传感器检测一个或多个用户的存在。系统从待机状态(例如，休眠状态)转变为交互状态(例如，活跃状态)。在一些系统中，转换是实时发生的(例如，以检测发生的相同速率唤醒，没有延迟)，而在其他系统中则是近实时发生的。在一些系统中，通过在后台加载应用程序软件，使延迟最小化。在这些系统中，后台加载改善了系统响应能力，消除了一些用户认为缓慢且迟滞因此对于商业目的而言是不切实际的移动和等待操作状态。
一些系统在动作704处呈现可选的输出协助，例如显示器1606上的视觉指示器，例如，指示在进一步的交互发生之前用户(例如人类用户)如何与系统交互。在虚拟交互区域中检测到用户的存在会触发一条或多条消息或一个或多个可视提示，这些提示解释或建议特定输入或动作如何发起消息及其执行，例如预定义手势(例如，从握拳的手伸出的手指、手臂位置和/或其移动)分别如何呈现消息及/或它们各自的移动如何导致消息的执行(例如，发送)。在替代系统中，不使用可选的输出协助，并且通过将系统保持在待机状态(例如，休眠状态)直到启用交互状态(例如，活跃状态)为止，来节省电力。
在系统处于交互状态的情况下，在动作706处，系统识别模仿自然通信的预定数量的捕获手势。参考图7和图22，当在动作708处被识别时，在动作710处，诸如在相机1616捕获的虚拟交互区域中从握拳的手举起一根手指的手势使消息中心1618呈现消息，并且如果在动作712 处检测到手指的移动，则在动作714处使消息中心1618执行消息。消息的执行旨在广泛地包括与消息相关联或链接到消息的功能的执行，例如期望动作的执行。消息可以是用户从中进行选择的选项的列表，其使远程设备执行期望的动作(例如，执行)，诸如执行命令、呈现内容、执行程序、激活跳转链接、将信息或数据发送到目的地和/或等，这些信息共同地和单独地包含消息的执行。在此系统中，手势是系统识别的导致消息的呈现的输入，而手势的移动导致消息的执行和/或发送。在一些使用情况下，循环(例如，选择然后执行)重复进行，因为每次识别都会导致另一呈现和执行。
应当理解，与一些系统不同，手势识别并非仅响应于移动(例如，手、手指或身体移动)而发生。相反，存在静态识别事件，例如对握成拳头的手和伸出的手指进行独特的手形识别，以及导致识别引起执行消息的移动和/或移动轨迹的动态手形识别事件。在两个识别事件中，都提供反馈。响应于成功的静态识别事件，呈现可以通过手势移动执行的消息(例如，动态识别事件)。响应于成功的动态识别，发生消息执行，诸如与消息相关联的动作的执行(例如，致动程序、信息的发送和/或等等)。
在一些系统中，仅识别固定数量的静态和/或动态手势；在其他系统中，识别多个手势。一些手势可以由用户定制。在这些系统中，反馈被提供给用户以确认所识别的交互的正确性。在手势词汇上训练本文描述的算法(例如，经由软件指令实现的算法)。当未识别出静态和/或动态手势(例如，不是识别词典的一部分的手势)时，软件可以阻止或禁止实施一个或多个预定动作或任务。例如，如果未识别到握拳的手举起手指或用户的四分之一臂抬起，则可以阻止期望的动作。
为了提高响应性，系统的一些可选功能在成功的动态手形识别事件发生之前在后台加载动态手形识别事件软件应用程序。在这些系统中，当开始执行静态识别事件时，系统开始加载动态执行功能。如果静态识别事件失败或终止，则系统终止呈现动态执行功能的动态手形识别事件软件应用程序的加载，并等待捕获另一个手势。如果静态识别事件成功并且动态识别事件完成，则系统中的功能将没有迟延地完成消息执行。如果动态识别事件终止或未完成，则系统终止或暂停消息执行，直到成功的动态手形识别事件发生为止。
在一些系统中，用于控制应用程序的词典依赖于上肢和/或肢体移动，代替手形识别或作为手形识别的补充。诸如四分之一臂的移动或位置(例如，诸如处于抬起或预定位置)的预定义手势例如经由替代识别事件来执行命令。
每个公开的系统仅需要单个相机1616。在替代系统中，使用两个或多个相机1616(例如，多相机系统)来改善检测(例如，相应的手和/ 或肢体手势检测)、相应的手和/或肢体识别以及相应的手和/或肢体的移动和/或轨迹的测量的准确性。手形和/或身体检测描述了手形和/或身体部位何时处于相机视图的虚拟交互区域中。手形和/或身体部位识别基于捕获的图像与机器学习图像的接近程度。通过两个或更多个算法(例如本文描述的两个或更多个机器学习算法)来处理学习的图像。跟踪描述了系统通过对行为的本地化识别来逐帧跟踪手形和/或身体部位的移动的能力，例如通过一种或多种跟踪算法处理的细粒度动作。
图8示出了虚拟交互区域，其中接近度检测器1634检测到用户指向系统，其被示为由硬件/计算机显示器(均由附图标记1606标识)呈现的屏幕。在图8的系统中，相机1616具有虚拟检测范围(例如，大约一百二十度)和虚拟检测距离(例如，大约二十英尺)，其被统称为虚拟交互区域。如图9和图10最佳所示，当用户指向相机1616或屏幕1606 上的预定指定区域(如用包围示例性的用户手部的圆圈所突出显示的) 时，系统会检测并标记手指位置。
在系统级别，系统从单个或多个相机1616接收原始视频流，原始视频流由机器学习和跟踪算法处理。在一些应用中，当系统在可变光照条件下处理许多手形、肤色和手尺寸时，检测可以解决一系列复杂的事件。在图8至图10中，检测到被显示为示例性手指指点的有用手势(即，具有消息或命令关联的手势)。在这些示例性使用情况中，使用手指指点手势是因为手指的伸出发生在时间较短的时间段内，是自然的身体移动、需要最小的肌肉张力、并且在所公开的系统中，与用户发起通信在认知上相关联。示例性过程检测手指指向预定屏幕位置，例如在预定时间段 (例如，以秒为单位)内与屏幕上的预定绝对位置相关联的位置。该识别从检测到的手指伸出的移动或从握拳的手伸出的手指移动了规定的时间段开始，由示例性函数处理，例如，
[x，y)＝find_finger(图像)
图像：相机拍摄的单个帧(x，y)：手指位置的坐标
手势→位置→应用程序
一旦确定了手指的位置，就从相机1616捕获的静态图像中测量用户与系统之间的距离。通过这些值，发生识别和跟踪引擎1628的跟踪。此外，移动使系统执行手势发起的消息。在一些系统中，执行或执行水平可以响应于手势的位置改变、与检测到的轨迹的关联、计算出的速度 (例如，变换至幅度)和/或检测到的移动方向(例如，统称为所描述的度量)而发生，其中可以由其与之通信的应用程序软件来确定所述手势。
例如，当用户指点屏幕1606时，所描述的任何度量单独或组合可以以在屏幕1606上显示的消息的形式呈现对系统用户可用的选项列表，其可以任何形式呈现，包括如图11所示的示例性菜单。菜单可以包括单选按钮(radio buttons)、切换按钮、滑块等，其中用户手指从握拳的手伸出的平移移动允许用户像鼠标悬停一样进行悬停选择，如图12最佳所示。当用户与对象或屏幕区域进行交互(但不一定要尝试激活)时，发生选择。当用户从对象沿预定方向移动，例如沿高于开始位置的基本上垂直的方向移动时触发激活，如图14中菜单对象的移动所示。在示例性应用中，菜单选择和可调参数向用户提供与应用程序软件进行交互和配置应用程序软件的灵活性，并且在一些使用系统中，还提供了配置非接触式系统的灵活性，从而使系统用户可以以用户舒适(in a come as you are format)方式适应，而无需面部或语音输入。
应用程序软件是广泛地旨在涵盖为特定目的而创建的软件的术语。它是最终用户直接使用的程序或程序集合。尽管系统软件包括以基本等级与计算机交互的低级程序(例如，操作系统软件)，但应用程序软件位于系统软件之上、与之交互、并包括旨在帮助执行一项或多项特定任务的性能的软件，例如，数据库程序、文字处理器、绘图程序和/或电子表格。
当用户在预定方向上移动她/他的手或手指时，例如当在对象上方时如图13所示向左移动她/他的手时，仿真滑动或滚动动作并将其显示在屏幕上。在仿真选择窗口的情境中(例如，在图形用户界面中，选择窗口是系统或应用程序软件显示的用于征求用户输入的窗口)，当用户面对屏幕1606时，在用户移动她/他的握拳的手并且将伸出的手指点左侧的情况下，选择窗口将向左移动；且在用户移动她/他的握拳的手并且将伸出的手指点右侧(未示出)的情况下，选择窗口将向右移动。
在一些应用中，在固定区域中(例如，在预定义和受限的虚拟交互区域内)从一个位置到下一位置的转换对应于屏幕1606上的相对移动。在这里，指向用手指表示指向设备，其中所选择的对象的移动与指向用手指的移动相关联，但与指向用手指的精确位置无关。例如，如果用户取消了对象选择(此处为窗口选择)，然后在与用户上次位置不同的位置重新参与，则对象的位置不会改变，这是因为未检测到指向用手指的移动。当用户在选择后再次移动其手指时，所选择的对象将移动以反映指向用手指的移动。在一些替代系统中，相对指向模式不同于绝对指向模式，绝对指向模式与相对指向模式一同启用或作为其补充，这是因为在绝对指向模式下虚拟交互区域内的手指指向的精确位置始终与预定义的屏幕上位置相关联。
在一些系统中，菜单和项目选择被改变，从而激活状态、激活程序和/或激活程序特征。通过使从握拳的手伸出的手指(在本公开中称为手指或指向用手指)相对于最后检测到的手势位置、所选择的对象或相对于指定相机在预定方向上移动(例如，分别为向上或向下、基本顺治移动)来发生激活和停用。例如，相对于用户手指的最后检测位置或指定相机1616的位置向上移动指向用手指仿真对检测设备的按钮(例如，点击启用功能的鼠标按钮)的点击或做出选择，如图14所示。相对于用户的伸出的手指最后检测位置或指定相机的位置向下移动伸出的手指会取消选择，和/或在一些用例中引起可能是菜单的消息消失。在一些系统中，致动和/或取消选择之前是悬停选择。在这些系统中，指向用手指的移动会根据移动的预先指定的方向分别执行由悬停选择所选择的对象或菜单的功能的致动和/或取消选择。
除了视觉反馈之外或作为视觉反馈的补充，一些系统提供非视觉反馈以确认对用户输入的识别或朝向完成期望任务的进展或使状态或任务停用。反馈可以包括物理反馈，例如经由通过周围表面传递的振动间接传递给用户的触觉反馈和/或通过音频接口1614、音频放大器1612和扬声器1610呈现的听觉反馈。
在一些系统中，也可以在不使用数据手套、方向传感器或直接记录移动和绘图角度的任何其他系留设备的情况下呈现非接触式绘图。所公开的系统减少了绘制和突出显示程序功能的设置时间和交互时间。所公开系统的被动和无声感测允许用户生成绘图和图像、与它们交互以及突出显示绘图、图像和文本。例如，在演示模式下，所公开的系统向用户提供软件的不间断使用(禁用其他计划任务和/或软件)，这里是通过选择使用户能够在屏幕上绘画的绘画模式来激活的绘画软件。屏幕仿真如图15所示的白板或在替代系统中用户选择的画布背景(未示出)。当由可经由菜单呈现的手势消息来致动时，用户经由非接触式界面使用他们的手指来生成绘图，而无需与屏幕或绘图设备进行直接或间接的物理接触。在这种模式下，将手指指在预定位置处保持预定时间段(例如像悬停那样)以示例性手势消息组合在显示消息后启动绘图模式，并启动握拳的手和指向用手指的形状所示的光标，从而可以画线和/或将注释添加到显示的输出。
替代的手势消息启动突出显示模式，该模式使用户能够通过手指指向来仿真激光指示器。如图16所示，在突出显示模式下，用户可以仿真单色光的相干光束的产生，以通常在在屏幕1606上呈现演示期间引起用户的注意而示出或不示出手形光标。替代手势消息会启动导致消息传递和选择的其他模式，而不是将手势链接到命令。
因为交互空间可以包括处于不同姿势的多个用户和/或参与者(例如，一些用户和/或参与者可能站立，其他用户和/或参与者可能坐着等等)，所以一些系统通过过滤手臂手势识别来区分预期用户的交互与其他用户的交互(例如，将其过滤掉)。例如，当用户如图17所示完全将她/他的手伸到其头上方时，系统从待机状态转换为交互状态(如在检测过程中发生)，从而允许用户控制系统，并在虚拟交互区域中区分该用户的有用手势与其他人的手势。例如，系统可以在小组讨论期间向主持人授予所用系统的独占控制权。在一些系统中，手臂手势识别导致相机放大并保持仅聚焦在该用户(例如主持人)上，如图18所示，有效地阻止或过滤其他人(例如小组成员)控制系统，直到控制被释放为止。它会自动减少系统的光学带通(例如，传递主持人的图像，但阻止小组成员的图像)。在一些系统中，通过重复如图19和图20所示的手臂手势命令来释放控制，或者在预定的非活动时间段(例如，若干分钟、若干秒等)后自动释放控制，这两者都会导致系统恢复到原始的交互操作状态，并使相机 1616返回到更宽的视角。这有效地增加了系统的光学通带(例如，传递主持人和小组成员的图像)。
手臂手势命令(例如，与四分之一臂手势相关联的命令)可以与突出的识别特征(例如，地标特征)相关联，该突出的识别特征发生在用户将她/他的手从静止的水平位置举起至完全伸展或基本竖直的位置时。在一些系统中，一个或多个手臂手势命令与虚拟水平线(如图21所示) 和伸出的手臂之间形成的角度相关联，顶点位于用户的肘部处或肘部附近。在该系统中，当用户的手臂完全伸出并与虚拟水平线形成第一预定角度(例如基本垂直的角度)时，可以关联、检测和/或执行第一命令。当用户的手臂与虚拟水平线形成第二预定角度(例如，图21中所示的大致四十五度的角度)时，可以关联、检测和/或执行第二命令。并且，当用户的手臂与虚拟水平线形成第三预定角度(例如大致为零度的角度) 时，关联、检测和/或执行第三命令。在替代系统中，多个检测到的预定手臂手势角度表示并执行多个不同的手臂手势命令(例如执行包含发送的消息)，并且可以在其他系统中执行任何其他选择的命令(例如，第一命令可以做出选择，第二命令可以执行或引起选择的发送等)。在一些系统中，用户的手臂抬起会在没有手指移动的情况下引起执行消息，就像指向用手指的移动会引起执行消息一样。
在本文描述的系统中，一种或多种机器学习算法检测、分类和跟踪与系统交互的手势并训练相应分类器。示例性机器学习算法训练手势分类器1626以检测易于遮挡的图像对象，例如手的关节。在三个维度上对检测进行三角测量(例如，三维三角测量)以呈现手的多个视图。基于对由一个或多个相机捕获的视频图像中所示的手的多个视图的重复训练，机器学习算法训练手势分类器1626，在处理系统的视频时该手势分类器检测手关键点并标记移动中的手的捕获并提供置信度分数。相同类型的第二机器学习算法检测、分类和跟踪在视频图像中捕获的肢体移动，例如手臂移动，用于通过使用本文描述的相同算法训练识别肢体关键点检测的其他手势分类器1626(例如，第二手势分类器)。在一些系统中，本公开中描述的处理是实时发生的。术语“实时”旨在广泛地涵盖以与接收数据相同的速率处理信息的系统，从而使它们能够作为本文所述的自动驾驶和非接触式界面来指导或控制过程。
所公开的系统不是依靠单一类型的机器学习算法来检测和分类手和肢体的识别和移动，而是并行使用第二种(不同的)机器学习算法(不同于第一类的机器学习算法)来处理捕获的视频图像，以提高系统识别的准确性和速度。在该系统中，第三分类器1626使用维度和簇作为锚框来预测包围视频图像中示出的期望的身体和手部的边界框，以预测手部手势和肢体手势识别。系统为每个边界框预测四个坐标(例如，跟踪的每个手部手势和肢体手势)。应用语言回归，可以生成预测的对象分数。当边界框的对象分数超过预定阈值时，通过特征提取器使用连续的3x3 和1x1卷积层(例如，示例性机器学习算法中的53个卷积层)处理视频图像来执行特征提取，直到达到预定的均方误差为止。使用由一个或多个相机1616捕获的全视频图像，使用多尺度处理来训练第二种类型的手势分类器1626中的每一个，以呈现更加训练有素的手势分类器，该手势分类器提供训练预测和置信度分数。一旦经过训练后，手势分类器将通过处理视频图像来实时处理捕获的视频。
在操作中，视频图像中捕获的手势的提取特征由各种类型的分类器 1626处理，并且由处理器1602选择具有最高置信度分数的识别。在其他系统中，使用增强配置，其中串行组合分类器1626以减少残留误差。然后通过跟踪引擎1628比较分类后手势的逐帧比较，用于跟踪分类后的手部或上肢的位置和移动。在一些系统中，与学习到的后台模型进行比较，以有效地计算手部和/或肢体移动及其轨迹。在一些替代系统中也可以计算速度。为了提高系统精度，在跟踪时间段内以周期性的时间间隔重复进行机器学习检测。在一些系统中，在从该对象的确认位置或新的位置重新接合跟踪引擎1628之前，系统在预定的时间段内(例如每五到十秒)重新发现对象(例如，执行全新的定位/检测过程)。响应于静态和/或动态识别(例如，轨迹识别)，通过将消息/命令与先前存储在数据仓库1622中的消息/命令进行交叉参考来识别手势消息关联、手势命令关联、轨迹消息关联和/或轨迹命令关联，此后使远程设备(接收设备) 呈现消息、执行消息(例如其发送)或执行命令。
图22是非接触式用户界面的框图，该非接触式用户界面可以执行上述以及图7至图21中所示的处理流程、功能和系统。所述系统包括处理器单元或图形处理器单元1602、诸如存储器1604(其内容可由一个或多个处理器和/或图形处理器1602访问)的非暂时性介质、公共/专用网络1634、数据仓库1622、显示器1606、麦克风阵列1608、扬声器1610、音频放大器1612、音频接口1614、一个或多个相机1616、接近传感器 1634、消息中心1618和I/O接口1620。I/O接口1620连接设备和本地和/或远程应用程序，例如附加的本地和/或远程监控的相机1616。存储器1604存储指令，这些指令在由处理器1602执行时使得系统呈现与基于视觉的消息传递和控制相关联的功能的一部分或全部。存储器1604 存储指令，这些指令在由处理器1602执行时使得系统自动提供功能和硬件，所述功能和硬件支持静态和动态识别事件(例如，识别引擎)1624、消息中心1618、手势分类器1626、跟踪引擎1628、机器学习算法1630 和一个或多个基于手部手势、手臂手势的应用程序软件1632。例如在替代系统中，一些功能可以由OpenPose和Yolov3以及CSRT跟踪软件提供。在又一个替代的非接触式系统中，通过云存储提供了非暂时性介质提供的功能。术语“云存储”旨在广泛地包含使数据能够通过网络(通常是公共可用的分布式网络，如互联网)被远程维护、管理和备份并供用户使用的硬件和软件。在这种非接触式系统中，云存储提供了对系统资源的无处不在的访问，包括检测、识别和跟踪以及可以通过公共网络快速提供的更高级别的服务。云存储允许共享资源，以在许多位置的许多非接触式系统之间实现一致性服务，并提供规模经济。
所公开的存储器1604和/或存储装置可以保留用于以非暂时性计算机代码实现上述功能的可执行指令的有序列表。机器可读介质可以选择性地是但不限于电子、磁性、光学、电磁、红外或半导体介质。机器可读介质的示例的非详尽列表包括：便携式磁盘或光盘，易失性存储器(例如随机存取存储器(RAM))，只读存储器(ROM)，可擦可编程只读存储器(EPROM或闪存)或数据库管理系统。存储器1604可以包括能够布置在一个或多个专用存储器设备上或布置在处理器或其他类似设备上的单个设备或多个设备。术语“引擎”旨在广泛地包括执行或支持诸如静态和动态识别事件和过程之类的事件的处理器或程序的一部分。当说功能、步骤等“响应”或“响应于”另一个功能或步骤等而发生时，这些功能或步骤必然由于另一个功能或步骤等而发生。不足以限定该功能或动作只能跟随另一功能或动作，或只能在另一功能或动作之后发生。
替代系统不限于上述特定硬件和机器学习算法。可以使用其他合适的硬件和机器学习算法。此外，系统不限于物理静态系统。而是，这些系统可以在移动设备中使用，并且可以在分布式网络上运行。本文说明性地公开的系统可以在不存在本文未具体公开的任何元件(包括硬件和/ 或软件)的情况下适当地实践。它们可能在没有这些元件的情况下运行。此外，本文描述的许多系统的每个中描述的各种元件相对于所描述的各个元件被认为是可分割的，而不是整体上不可分割的。换句话说，替代系统涵盖本文描述的元件的任何变型和组合，并且可以在没有描述的各种元件的情况下进行制造或使用(例如，它们可以在没有这些元件的情况下运行)。
交钥匙的非接触式用户界面和过程提供了一种自然、简便的通信方式，并且在一些情况下控制了远程设备，而无需与远程设备进行物理或射频接触。该系统使用户能够通过动态指向、手部移动和手臂方向来与计算机和其他设备进行交互并控制计算机和其他设备。该系统使用多种机器学习算法来提高并实现高识别精度，并使用跟踪软件以在提供消息和/或其他形式的反馈的同时识别各种指向手指和手部的轨迹。该系统使用一个或多个相机1616来获取手势。该系统支持多种形式的自然人际交流，从而使所有具有各种身体能力的用户都可以在无菌环境中访问和共享信息。此外，该系统对手势消息关联的使用使该系统适用于许多不同的软件应用程序，这是因为每个手势消息关联都可以针对不同的文化背景进行自定义，从而使系统易于理解、使用并适应不同的应用领域。该技术是鲁棒的并且可以在许多应用中使用，并且例如可以是商业系统、医疗系统和娱乐系统的一部分。
本公开的主题尤其还可以涉及以下方面(这些方面通过数字来引用)：
1.一种在没有与电子设备的物理接触和射频通信的情况下控制电子设备的计算机实现的方法，包括：
当所述电子设备处于待机状态时，在相机的虚拟检测范围内检测用户的存在；
当检测到用户的存在时，将所述电子设备转换为交互状态；以及
当通过以下步骤确定检测到的来自用户的手势对应于存储在存储器中的预定义手势时，将所述设备保持在交互状态：
通过处理由所述相机捕获的伸出的手指的图像与存储在所述电子设备的存储器中的多个图像的比较来检测伸出的手指；
由于检测到伸出的手指而在所述电子设备的显示器上呈现消息；以及
由于检测到伸出的手指移动而发送该消息。
2.根据方面1所述的计算机实现的方法，还包括在所述待机状态下显示一个或多个视觉提示，其中所述一个或多个视觉提示包括所述预定义手势的图像。
3.根据方面2所述的计算机实现的方法，其中所述一个或多个视觉提示对所述图像沿着所述虚拟检测范围内的轨迹的移动加以指示，该移动导致所述消息的发送。
4.根据方面1至2中任一项所述的计算机实现的方法，其中存储在所述存储器中的预定义手势包括存储在所述存储器中的且引起消息的呈现的手势消息关联。
5.根据方面1至4中任一项所述的计算机实现的方法，还包括：由于所识别的预定义手势的移动，将所述设备保持在交互状态。
6.根据方面1至5中任一项所述的计算机实现的方法，还包括响应于手臂手势的检测而发送该消息。
7.根据方面6所述的计算机实现的方法，其中所述手臂手势包括用户的四分之一臂移动到第一位置。
8.根据方面7所述的计算机实现的方法，其中将用户的四分之一臂移动到所述第一位置导致发送第二消息。
9.根据方面8所述的计算机实现的方法，其中将用户的四分之一臂移动到第二位置导致发送与所述第二消息不同的第三消息。
10.一种电子设备，包括：
显示器；
与所述显示器通信的处理器；以及
存储在非暂时性存储器中的计算机程序，所述计算机程序由所述处理器执行以引起通过指令实施动作，以便：
当所述电子设备处于待机状态时，在相机的虚拟检测范围内检测用户的存在；
当检测到用户的存在时，将所述电子设备转换为交互状态；
通过处理由所述相机捕获的伸出的手指的图像与存储在所述电子设备的所述非暂时性存储器中的多个图像的比较来检测伸出的手指；
由于检测到伸出的手指而在所述电子设备的所述显示器上呈现消息；以及
由于检测到伸出的手指移动而发送该消息。
11.根据方面10所述的电子设备，其中由于伸出的手指沿着预定轨迹移动而发送该消息。
12.根据方面10至11中任一项所述的电子设备，还包括用于在检测到的手势不对应于伸出的手指时，禁止响应于对手势的检测而执行任务的指令。
13.根据方面10至12中任一项所述的电子设备，还包括用于在识别出的手势移动不对应于所存储的轨迹路径时，禁止响应于对手势的检测而执行任务的指令。
14.根据方面10至13中任一项所述的电子设备，还包括用于响应于检测到与四分之一臂的移动不对应的手势而禁止执行任务的指令。
15.根据方面10至14中任一项所述的电子设备，其中所述非暂时性存储器驻留在云存储设备中。
16.根据方面10至16中任一项所述的电子设备，还包括用于对跟踪所述伸出的手指的移动的图像执行逐帧比较的指令。
17.根据方面10至17中任一项所述的电子设备，还包括通过执行三维三角测量来检测所述伸出的手指的存在的指令。
18.根据方面17所述的电子设备，还包括通过引起经由四个坐标呈现对边界框的预测来检测所述伸出的手指的存在的指令。
19.根据方面10至18中任一项所述的电子设备，还包括响应于手臂手势的检测而导致发送消息的指令。
20.根据方面19所述的电子设备，其中所述手臂手势包括用户的手臂到第一位置的移动。
通过参考附图和详细描述，其他系统、方法、特征和优点对于本领域技术人员将是或将变得清楚。所有这样的附加系统、方法、特征和优点旨在包括在本说明书内、包括在本公开的范围内、并由以下实施例保护。
实施例
1.一种在没有与电子设备的物理接触和射频通信的情况下控制电子设备的计算机实现的方法，包括：
当所述电子设备处于待机状态时，在相机的虚拟检测范围内检测用户的存在；
当检测到用户的存在时，将所述电子设备转换为交互状态；以及
当通过以下步骤确定检测到的来自用户的手势对应于存储在存储器中的预定义手势时，将所述设备保持在交互状态：
通过处理由所述相机捕获的伸出的手指的图像与存储在所述电子设备的所述存储器中的多个图像的比较来检测伸出的手指；
由于检测到伸出的手指而在所述电子设备的显示器上呈现消息；以及
由于检测到伸出的手指的移动而发送所述消息。
2.根据实施例1所述的计算机实现的方法，还包括在所述待机状态下显示一个或多个视觉提示，其中所述一个或多个视觉提示包括所述预定义手势的图像。
3.根据实施例2所述的计算机实现的方法，其中所述一个或多个视觉提示对所述图像沿着所述虚拟检测范围内的轨迹的移动加以指示，所述移动引起所述消息的发送。
4.根据实施例1所述的计算机实现的方法，其中存储在所述存储器中的预定义手势包括存储在所述存储器中的且引起在所述显示器上呈现所述消息的手势消息关联。
5.根据实施例1所述的计算机实现的方法，还包括检测所识别的预定义手势的移动，并且由于检测到所识别的预定义手势的移动而使所述设备保持在交互状态。
6.根据实施例1所述的计算机实现的方法，还包括响应于手臂手势的检测而发送所述消息。
7.根据实施例6所述的计算机实现的方法，其中所述手臂手势包括用户的四分之一臂到第一位置的移动。
8.根据实施例7所述的计算机实现的方法，其中响应于在所述第一位置中检测到四分之一臂的移动，用户的四分之一臂到所述第一位置的移动引起发送第二消息。
9.根据实施例8所述的计算机实现的方法，其中响应于在所述第二位置中检测到四分之一臂的移动，用户的四分之一臂到所述第二位置的移动引起发送不同于所述第二消息的第三消息。
10.一种电子设备，包括：
显示器；
与所述显示器通信的处理器；以及
存储在非暂时性存储器中的计算机程序，所述计算机程序由所述处理器执行以通过指令来实施动作，以便：
当电子设备处于待机状态时，在相机的虚拟检测范围内检测用户的存在；
当检测到用户的存在时，将所述电子设备转换为交互状态；
通过处理由所述相机捕获的伸出的手指的图像与存储在所述电子设备的所述非暂时性存储器中的多个图像的比较来检测伸出的手指；
由于检测到伸出的手指而在所述电子设备的所述显示器上呈现消息；以及
通过检测伸出的手指的移动来发送消息。
11.根据实施例10所述的电子设备，其中由于伸出的手指沿着预定轨迹移动而发生对所述消息的发送。
12.根据实施例10所述的电子设备，还包括用于在识别出的手势不对应于伸出的手指时禁止响应于对手势的检测而执行任务的指令。
13.根据实施例10所述的电子设备，还包括用于在识别出的手势移动不对应于所存储的轨迹路径时禁止响应于对手势的检测而执行任务的指令。
14.根据实施例10所述的电子设备，还包括用于禁止响应于检测到不对应于四分之一臂移动的手势而执行任务的指令。
15.根据实施例10所述的电子设备，其中所述非暂时性存储器驻留在云存储设备中。
16.根据实施例10所述的电子设备，还包括用于对跟踪所述伸出的手指的移动的图像执行逐帧比较的指令。
17.根据实施例10所述的电子设备，还包括通过执行三维三角测量来检测所述伸出的手指的存在的指令。
18.根据实施例17所述的电子设备，还包括通过使得经由四个坐标呈现对边界框的预测来检测伸出的手指的存在的指令。
19.根据实施例10所述的电子设备，还包括响应于手臂手势的检测而引起发送所述消息的指令。
20.根据实施例19所述的电子设备，其中所述手臂手势包括用户的手臂到第一位置的移动。

Claims (20)

1.一种在电话会议系统中控制电子设备的计算机实现的方法，包括：
访问用机器可执行指令编码的非易失性机器可读介质，其中，执行所述机器可执行指令，以便：
提供对在屏幕发送设备上的软件应用程序的访问；
通过多个远程屏幕接收设备经由点对点专用无线网络访问所述软件应用程序；
向所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备分配优先级，使得确定所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备何时控制所述屏幕发送设备和控制所述屏幕发送设备的频度，并确定何时向所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备发送消息；
当由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的本地操作与由所述屏幕发送设备向所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备传播的命令冲突时，从所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备向所述屏幕发送设备自动发送状态差异；以及
通过恢复所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备的所述本地操作并丢弃由于由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的所述本地操作而引起的改变，使所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备返回先前状态；
其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发地操作软件应用程序，而无需所述屏幕发送设备施加软件应用程序锁定。
2.根据权利要求1所述的计算机实现的方法，其中所述屏幕发送设备是电话会议系统的整体组成部件。
3.根据权利要求1所述的计算机实现的方法，其中所述用户通过队列并发地操作所述软件应用程序。
4.根据权利要求3所述的计算机实现的方法，还包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的所述软件应用程序。
5.根据权利要求3所述的计算机实现的方法，其中所述屏幕接收设备实施推测执行。
6.根据权利要求5所述的计算机实现的方法，其中所述队列以先进先出协议进行操作。
7.根据权利要求1所述的计算机实现的方法，其中所述点对点专用无线网络具有约10米至约50米的传输范围。
8.根据权利要求1所述的计算机实现的方法，其中所述软件应用程序的多个接口驻留在所述屏幕发送设备的显示器上的前台和后台中。
9.根据权利要求1所述的计算机实现的方法，其中对所述软件应用程序的多个接口的访问不改变显示器和关联视口上的位置顺序。
10.根据权利要求1所述的计算机实现的方法，其中基于定时和预先分配的优先级来调和所述多个远程屏幕接收设备之间的冲突。
11.一种在电话会议系统中控制电子设备的方法，包括：
提供对在屏幕发送设备上的软件应用程序的访问；
通过多个远程屏幕接收设备经由网络来访问所述软件应用程序；
通过设备配置文件向所述多个远程屏幕接收设备中的每一个分配设备访问权限，使得确定所述多个远程屏幕接收设备中的每一个何时控制所述屏幕发送设备和控制所述屏幕发送设备的频度，并确定分别何时向所述多个远程屏幕接收设备发送消息；
当由所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备执行的本地命令与由所述屏幕发送设备传播的命令冲突时，从所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备向所述屏幕发送设备自动发送状态差异；以及
通过处理由相机捕获的伸出的手指的图像与存储在所述电子设备的存储器中的多个图像的比较，来检测所述伸出的手指，其中所述检测还包括通过以下操作来预测由四个坐标限定的边界框，所述边界框用于提取由所述相机捕获的伸出的手指的图像：
生成所述边界框的预测的对象分数；
确定所述对象分数是否超过预定阈值；以及
通过连续地执行多个卷积层直到达到预定误差为止，提取所述伸出的手指的图像的特征，以进行识别；
响应于所述识别，在所述多个远程屏幕接收设备中的至少一个远程屏幕接收设备处执行所述本地命令；
通过恢复在所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备处的所述本地命令并丢弃由于由所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备执行的所述本地命令而引起的改变，使所述多个远程屏幕接收设备中的所述至少一个远程屏幕接收设备返回先前状态；
其中在所述多个远程屏幕接收设备上复制所述软件应用程序，从而允许所述多个远程屏幕接收设备的多个用户并发地操作所述软件应用程序，而无需所述屏幕发送设备施加软件应用程序锁定。
12.根据权利要求11所述的方法，其中所述屏幕发送设备是电话会议系统的整体组成部件。
13.根据权利要求11所述的方法，其中所述用户通过队列并发地操控所述软件应用程序。
14.根据权利要求13所述的方法，还包括：以同步间隔将变化传播到在所述多个远程屏幕接收设备上复制的软件应用程序。
15.根据权利要求13所述的方法，其中所述屏幕接收设备经由推测执行进行操作。
16.根据权利要求15所述的方法，其中所述队列以先进先出协议进行操作。
17.根据权利要求11所述的方法，其中所述网络包括具有约10米至约50米的传输范围的点对点专用无线网络。
18.根据权利要求11所述的方法，其中所述软件应用程序的多个接口驻留在所述屏幕发送设备的显示器上的前台和后台中。
19.根据权利要求11所述的方法，其中对所述软件应用程序的多个接口的访问不改变显示器和关联视口上的位置顺序。
20.根据权利要求11所述的方法，其中基于定时和预先分配的优先级来调和所述多个远程屏幕接收设备之间的冲突。
CN202011275996.9A 2020-03-19 2020-11-13 交互式广播 Active CN113498029B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062991837P 2020-03-19 2020-03-19
US62/991,837 2020-03-19
US16/997,345 2020-08-19
US16/997,345 US11388209B2 (en) 2020-03-19 2020-08-19 Interactive broadcast

Publications (2)

Publication Number Publication Date
CN113498029A CN113498029A (zh) 2021-10-12
CN113498029B true CN113498029B (zh) 2023-03-21

Family

ID=77748467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011275996.9A Active CN113498029B (zh) 2020-03-19 2020-11-13 交互式广播

Country Status (2)

Country Link
US (1) US11388209B2 (zh)
CN (1) CN113498029B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11689695B1 (en) * 2022-12-15 2023-06-27 Northern Trust Corporation Computing technologies for screensharing

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769810B1 (en) * 2007-04-26 2010-08-03 Adobe Systems Incorporated Method and system for collaborative editing
US8788589B2 (en) * 2007-10-12 2014-07-22 Watchitoo, Inc. System and method for coordinating simultaneous edits of shared digital data
DE202011110880U1 (de) * 2010-04-12 2017-01-20 Google Inc. Kollaborative Cursors in einem gehosteten Textverarbeitungsprogramm
US10013137B2 (en) * 2010-08-31 2018-07-03 Datapath Limited System and method for unlimited multi-user computer desktop environment
US9304662B2 (en) * 2011-08-25 2016-04-05 Vmware, Inc. User interface virtualization techniques
US9053079B2 (en) * 2011-12-12 2015-06-09 Microsoft Technology Licensing, Llc Techniques to manage collaborative documents
US10051406B2 (en) * 2012-02-15 2018-08-14 Maxlinear, Inc. Method and system for broadband near-field communication (BNC) utilizing full spectrum capture (FSC) supporting concurrent charging and communication
US20140269389A1 (en) * 2013-03-14 2014-09-18 Microchip Technology Incorporated System and Method for Determining an Angle of Arrival in a Wireless Network
WO2014201876A1 (zh) * 2013-06-17 2014-12-24 华为技术有限公司 屏幕分享方法和相关设备及通信系统
US9612730B2 (en) * 2014-01-13 2017-04-04 Cisco Technology, Inc. Viewing different window content with different attendees in desktop sharing
DE112016003352T5 (de) * 2015-07-24 2018-04-12 Max Andaker Reibungslose Benutzeroberfläche für virtuelle Kollaboration, Kommunikation und Cloud-Computing
WO2017068926A1 (ja) * 2015-10-21 2017-04-27 ソニー株式会社 情報処理装置及びその制御方法、並びにコンピュータ・プログラム
US9918042B2 (en) * 2016-04-29 2018-03-13 Getgo, Inc. Performing electronic conferencing operations using electronic portals at different locations
CN109885236B (zh) * 2019-02-25 2021-06-25 电科云(北京)科技有限公司 基于移动设备实现与远程系统桌面进行交互式操作的方法
US11543888B2 (en) * 2019-06-27 2023-01-03 Google Llc Intent detection with a computing device

Also Published As

Publication number Publication date
US11388209B2 (en) 2022-07-12
US20210297467A1 (en) 2021-09-23
CN113498029A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
US11580711B2 (en) Systems and methods for controlling virtual scene perspective via physical touch input
US11561519B2 (en) Systems and methods of gestural interaction in a pervasive computing environment
US11188145B2 (en) Gesture control systems
CN102541256B (zh) 具有视觉反馈的位置知晓姿势作为输入方法
CN104246661B (zh) 使用手势与装置交互
CN104410883B (zh) 一种移动可穿戴非接触式交互系统与方法
EP3800532B1 (en) Automated monitoring of a scene
US10540543B2 (en) Human-computer-interaction through scene space monitoring
KR20120123330A (ko) 프리젠테이션을 위한 카메라 탐색
CN106796789A (zh) 与话音参考点的协同言语交互
US20120229509A1 (en) System and method for user interaction
KR20150116897A (ko) Ｎｕｉ 관여의 검출
JP2018510537A (ja) サーベイランス
US11188154B2 (en) Context dependent projection of holographic objects
DK180961B1 (en) Camera and visitor user interfaces
JP7279646B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10444852B2 (en) Method and apparatus for monitoring in a monitoring space
CN107111363B (zh) 用于监视的方法、装置和系统
CN113498029B (zh) 交互式广播
US9958946B2 (en) Switching input rails without a release command in a natural user interface
CN113497912A (zh) 通过语音和视频定位的自动取景
CN107422856A (zh) 用于机器处理用户命令的方法、装置和存储介质
WO2023235647A1 (en) Extend the game controller functionality with virtual buttons using hand tracking
Shree et al. A Virtual Assistor for Impaired People by using Gestures and Voice
KR102586144B1 (ko) 딥러닝을 이용한 손 움직임 추적방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant