CN109493962A - 用于装备的高效姿势控制的方法和系统 - Google Patents

用于装备的高效姿势控制的方法和系统 Download PDF

Info

Publication number
CN109493962A
CN109493962A CN201811051618.5A CN201811051618A CN109493962A CN 109493962 A CN109493962 A CN 109493962A CN 201811051618 A CN201811051618 A CN 201811051618A CN 109493962 A CN109493962 A CN 109493962A
Authority
CN
China
Prior art keywords
posture
attitude sensor
computer based
display
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811051618.5A
Other languages
English (en)
Inventor
G·M·斯帕拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bako SA
Original Assignee
Bako SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bako SA filed Critical Bako SA
Publication of CN109493962A publication Critical patent/CN109493962A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Abstract

描述了用于通过使用姿势来控制装备的方法和系统。可存在各种类型的装备，诸如显示器、电子地控制的机械设备、电子通信设备或者例如房间中的光照或音频音量。通过选择例如有限一组姿势(它也可以是用户易于执行的)和有限量的方法步骤，本发明可以减少假肯定和假否定并可向用户提供高效的工作方式。

Description

用于装备的高效姿势控制的方法和系统
技术领域
本发明涉及用于使用姿势经由基于显示器的用户界面进行交互的方法、系 统和设备。本发明具体涉及其中需要极端清洁、消毒、无菌、或避免生物危害 的环境，诸如外科手术室或无尘室。
背景技术
操作者能够使用诸如姿势等无接触交互来控制他/她的环境中的特征的可 能性可以是有利的或甚至是必要的。
在卫生保健领域，对于一些应用而言，保持无菌条件可以是重要的。在例 如最小侵入式外科手术期间，外科医生的主要信息源由内窥镜视频流给出，示 出在显示器上。因而，外科医生和他/她的助手持续查看这一显示器。有时，他 们必须切换到另一视频源，例如示出超声图像或查看CT(计算机断层扫描) 图像。另外，手术团队可能必须调整手术室的灯光、手术室中播放的音乐、或 改变病床的位置。
操纵外科工具或接触患者的外科医生和他们的助手必须待在所谓的“无菌 区”中，即他们不能接触任何非无菌物体，以避免污染患者的风险。他们甚至 不应使他们的手退出无菌区，甚至不应在半空中，即他们应当待在无菌或消毒 区内。因而，这些手术室人员没有一者能与外科显示器或与手术室中的其他设 备(灯、音乐、床位置、电话呼叫，等等)交互。他们必须请求位于无菌区外 部的非无菌操作者来执行此类动作。如果手术室人员可自己执行此类操作而不 必离开无菌区，则将是更高效的。
姿势控制显示器是本领域已知的，然而，在手术室中使用的姿势控制显示 系统将必须履行以上要求并且同时对于操作者而言是用户友好的。例如，重要 的是使得手的任意移动被认为是对显示器的实际输入姿势(假肯定)或实际姿 势未被识别(假否定)的风险最小化。
美国专利申请US20160216768A1描述了一种用于姿势控制医疗系统的方 法，其中提供了指示姿势控制模式的开始和结束的开始和停止姿势。
发明内容
本发明的目标是提供一种用于使用姿势经由基于显示器的用户界面进行 交互的方法、系统和设备。另外，一目标可以是改进人机交互(诸如无接触人 机交互)的可用性和直观性并使该系统成为能用的产品。另一目标可以是降低 人机系统(诸如脱手人机系统)中必需的交互步骤的数目。又一目标可以是改 进对操作者的反馈的质量或相关性。
本发明具体涉及其中需要极端清洁或消毒或无菌或避免污染的环境，诸如 外科手术室、无尘室或生物危害室。本发明的实施例可克服上述缺点中的一者 或多者。即使本发明的示例性实施例参考了卫生保健环境，但各方法步骤和对 应系统也提供了与其他领域内(例如，在半导体加工无尘室、USP 797无尘室、 或用于将危险生物试剂隔离在封闭实验室设施中的生物封存)的姿势控制一起 工作的用户友好且安全的方式。
本发明包括启用例如经由基于显示器的用户界面的无接触交互的解决方 案，考虑以下特征中的任一者、一些或全部：
·该系统尤其使用小姿势(有限范围姿势，诸如在100cm的距离内)来工 作，使得操作者(优选地单单是他/她的手)可避免离开消毒、无菌或无污染区 域。
·该系统可以与示出在显示器上的图形用户界面(GUI)一起工作：显示 器可以是操作者(例如，外科医生)的主信息源并且是逻辑交互点。
·GUI可以是非侵入式的，以减少或避免隐藏操作者的工具，诸如内窥镜 视频流。
·GUI可被设计成通用的，即用于控制超出显示器本身的异类功能性。
·姿势和GUI可以为了效率而设计，使得触发动作的努力的程度或数目可 被降低，例如降至最小。
·交互可按假肯定或假否定的风险能被降低(例如降至最小)的方式来设 计。
在本发明的一个实施例中，提供了一种用于通过使用姿势来控制基于计算 机的系统的方法；基于计算机的系统可包括控制器、至少一个基于计算机的目 标应用、以及姿势传感器(它可由基于计算机的姿势传感器应用来控制)。基 于计算机的姿势传感器应用可以例如在处理器和易失性和/或非易失性存储器 的控制下在计算机系统上运行。控制器可以与基于计算机的目标应用和基于计 算机的姿势传感器应用相连接。该方法可包括处于激活模式的基于计算机的姿 势传感器应用允许姿势传感器接收n个任意输入姿势的步骤，其中n可以至少 是1。姿势传感器随后可接收该至少一个任意输入姿势并将所述至少一个任意 输入姿势转发给控制器，控制器可指令该至少一个基于计算机的目标应用根据 该至少一个任意输入姿势进行适配，并且控制器可向基于计算机的姿势传感器 应用自动指派空闲模式。空闲模式可以如下模式：在该模式中，一姿势可被识 别以将该空闲模式带入到激活模式，但没有其他姿势将被识别。
这具有增加用户控制并最小化假肯定的风险的优点，尤其是对于在进入空 闲模式之前控制器只允许一个输入姿势或有限数目的姿势的情形。
作为补充或替换，该方法可包括基于计算机的系统在基于计算机的姿势传 感器应用的每一模式变化之后提供反馈，所述反馈是视觉或听觉或触觉或这三 者的任何组合。
这具有在过程期间向操作者给出反馈以通知该系统处于哪一状态的优点。 具体而言，反馈可以向操作者提供与姿势是否已被正确地标识有关的信息(避 免假肯定或假否定)。
作为补充或替换，该方法可包括基于计算机的系统具有带显示区域和菜单 选项的显示器，并且基于计算机的系统可以例如在显示器的一部分中(诸如在 显示区域的边缘处)输出菜单选项。
这具有使操作者易于与菜单交互并进入菜单的优点，因为它们处于易于找 到的已知位置，尤其是在每一显示器边缘具有一个菜单的情形中。另外，菜单 没有遮挡显示器中心中的重要内容。有限数目的选择可以允许用户快速选择选 项和/或用心记住他/她想要选择哪一者。专用姿势可允许选择各选项而无需使 用鼠标或其他光标类指点系统，由此要移动来启用一选项的距离是最小的。
作为补充或替换，该方法可包括基于计算机的系统具有示出滑动标尺或一 组离散有序选择的显示器以及用于识别所执行的姿势的装置，使得基于计算机 的系统可以发起在一个方向上沿该滑动标尺或通过该组离散有序选择的移动。 这可通过用于这一操作的专用姿势来达成。这一姿势可包括移动(例如，由基 于计算机的系统识别为从第一点移至同一方向上的第二点的所执行的移动姿 势)。在基于计算机的系统继续解析通过所述标尺或选择时，姿势移动停止 并保持在第二点处。另外，移动姿势跨越第一和第二点之间的距离的速度可以 与解析的速度成比例。
这具有提供“虚拟操纵杆”功能的优点，其中不必将姿势装置(例如，操 作者手)的物理位置确切地映射到显示器上的点，但保持水平指示符在所指示 的方向上移动。通过简单地适配用于识别或执行姿势的装置的位置，解析速度 可被更改。
作为补充或替换，该方法可包括基于计算机的系统被适配成识别姿势或具 有用于执行姿势的装置和用于识别此类姿势的装置，并且姿势传感器具有有效 检测域，使得如果姿势被识别出或者用于执行姿势的装置被感测到在毗邻有效 检测域或显示器的边界(例如，距有效检测域的边界在视野区域或有效区域范 围的0到20％内)，则基于计算机的系统可以提供专用反馈，由此所述反馈可 以是视觉或听觉或触觉或这三者的任何组合。
这具有它可帮助用户变得知悉系统输入边界的优点。
作为补充或替换，该方法可包括该系统与包括以下任一者的设备或功能相 连接或协作：显示器、联网系统、计算机程序产品、房间光照、音频音量、电 气家具或电子通信设备，以使得控制器可以指令目标应用适配以上提及的设备 或功能中的任一者的任何设置。
因而，该系统不一定被限于例如显示设置控制，而是还控制连接到该系统 的其他特征，例如与操作者的房间中的设备相关(诸如房间光照、机动化家具、 电子通信设备，等等)。
在本发明的另一实施例中，提供了一种可包括用户界面、姿势传感器、计 算单元(包括诸如CPU和/或GPU等处理器)以及易失性存储器(诸如RAM) 和/或非易失性存储器的基于计算机的姿势控制系统，计算单元运行或执行控 制器、基于计算机的姿势传感器应用和至少一个基于计算机的目标应用。姿势 传感器可由基于计算机的姿势传感器应用来控制，并且基于计算机的姿势传感 器应用可连接到控制器或与控制器协作，并且控制器可连接到至少一个基于计 算机的目标应用或与基于计算机的目标应用协作。另外，用户界面可以是基于 显示器的。基于计算机的姿势传感器应用和至少一个基于计算机的目标应用在处理器和易失性和/或非易失性存储器的控制下在计算机系统上运行。
作为补充或替换，基于计算机的系统可包括位于显示器外壳的下边界的水 平之上或之处的姿势传感器。
在显示器被放置成使得其上三部分在与操作者的眼睛处于同一水平上，并 且操作者正在使用他/她的上来执行姿势的情形中，这具有优点，并且如果姿 势传感器被放置在显示器外壳的下边界处，则姿势传感器的视野将最优地放置 成用于接收操作者的姿势。
作为补充或替换，基于计算机的系统可包括或利用作为“张开手”的“空 闲姿势”、作为“握住手”的“激活姿势”、作为“大拇指向上”的“确认姿 势”、作为“大拇指向下”的“取消姿势”、作为“滑动”的“输入姿势”中 的任一者。
作为补充或替换，基于计算机的系统可包括或利用记录姿势并将该姿势传 递给姿势传感器应用的设备。该设备可包括用于当被持在手中并移动以创建姿 势时记录设备的加速度的加速度计。该设备可包括通信装置，诸如到无菌区外 部的计算机系统的无线或有线连接。无线连接可以是例如射频、红外、近场、 光学、超声连接。该设备可被配置成被清洁并消毒，并可包含经由非侵入式电 磁充电系统来充电的电池。
附图说明
图1示出了包括用于姿势控制的基于显示器的用户界面的本发明的实施例 的框图。
图2示出了包括联网环境的本发明的实施例的框图。
图3示出了包括联网环境的本发明的实施例的框图。
图4示出了包括联网环境的本发明的实施例的框图。
图5a)到e)示出了在本发明的实施例中使用的姿势的示例。
图6示出了本发明的实施例的流程图。
图7a)到b)示出了本发明的实施例中的菜单选项。
具体实施方式
定义
“计算单元”可以是具有计算能力和可任选地网络能力的电子设备。它可 以管理或者运行可控制显示内容或显示设置或者显示器以外的设备的设置和 功能的“应用”(例如；作为计算机程序产品)。计算单元通常将是基于计算 机的。计算机可以是独立的或者计算单元可被嵌入在另一设备中。计算单元通 常将包括处理器和易失性及非易失性存储器以及输入/输出端口，诸如至少一 个串行端口、通信接口、和输入设备(诸如鼠标指针和键盘)。
“应用”可以是用于执行在计算机中实现的任务或一组任务的指令集。指 令可包括在计算单元中的各组件的不同部分之间移动数据，例如在计算机的不 同部分之间(诸如在存储器和CPU或GPU之间)。“目标应用”是由姿势控 制的系统来控制的应用。目标应用可以是在计算机系统上运行(例如，在处理 器的控制下)的计算机程序。当在处理器上执行时，“目标应用”可包括改变 “显示器”或“房间设备”的设置。
“显示器”可以是按视觉形式呈现信息的电子设备。它可以用若干技术中 的任一者来实现，诸如例如阴极射线管或固定格式显示器(诸如，LCD(液晶 显示器)、LED(发光二极管)、OLED(有机LED)、PDP(等离子显示器 面板)，等等)。显示器具有可在其中显示内容和/或用户界面的显示区域。
“房间设备”可以是房间中或操作者的位置中(尤其是无菌环境中)的任 意设备。例如，它可以是显示器、联网系统、计算机程序产品、无线电、磁带 录音机、cd播放器、无线扬声器、房间光照设备、机动化床、电话设备，等等。 房间设备可通过线缆或无线、通过本地部署的局域网或通过全局网络(例如， 通过因特网)来连接到计算单元。
“姿势”可以是身体或身体部位(诸如人的肢体)的形状、姿态或移动， 因此姿势可以是作为语音或话音通信(诸如发言)的替换或补充的可见身体动 作或形状传达可由基于计算机的系统识别的通信的通信形式。虽然姿势可包括 手、脸、或其他身体部位的移动，例如人移动他/她的手，但根据本发明，它 还包括使用其他人体部位(诸如他/她的声带)或产生EEG(脑电图)信号并 识别EEG(脑电图)信号的模式。每一有意姿势应当具有区别特征，使得一个 有意姿势可由基于计算机的系统识别并与另一者区分开。有意姿势可由附加设 备执行，然而，优选地不将附加设备带入受保护(例如，无菌)环境。可被使 用的任何附加的合适设备应当优选地完全包封并且适于在受保护(例如，无菌) 环境所需的水平上消毒。如果它包含电池，则电池应当经由非侵入式电磁充电 系统来充电并且不应需要从无菌环境移除。该设备可包括加速度计以识别并记 录操作者的手或肢体的移动来创建姿势。它可包括用于通信的装置，诸如有线 或无线通信装置、近场通信装置、光学或RF通信装置，等等。
交替参考左手或右手来示出和描述了以下实施例中描述的“姿势”，但这 只是出于解说的目的。本发明不限于此，但根据操作者的选择或上文所示的其 他手段，每一姿势可以用左手或右手来执行
“姿势传感器”可以是动作或电磁波或辐射传感器，诸如例如视觉相机(例 如，数码相机或者红外或紫外相机)或者眼跟踪器或脑传感器(诸如EEG(脑 电图)传感器)或者扫描线传感器(诸如扫描CCD线传感器)或者深度相机 (诸如飞行时间相机(TOF相机)或立体相机系统)。姿势传感器可以记录不 同姿势或一组姿势，并且它可由在计算机系统上运行(例如，在处理器的控制 下)的“姿势传感器应用”来控制。姿势传感器应用可以在分开的独立计算机 设备上运行或者可被嵌入在姿势传感器内或外部计算单元中。姿势传感器和姿势传感器应用可一起被称为“姿势传感器系统”。
“菜单”是显示器的显示区域上的一组菜单选项的可见表示。每一菜单选 项可具有一个或多个子级中的零个或更多个子菜单。如果菜单选项没有子菜 单，则输入信号(诸如姿势)可立即激活一功能。
实施例
图1示出了包括可经由视频线缆2连接到包含计算单元10的计算机系统 的显示器1的本发明的实施例。显示器可具有可任选地嵌入在显示器外壳中的 姿势传感器13，例如深度相机(诸如数码相机、飞行时间相机或立体相机系统)。 姿势传感器13还可附连到显示器外壳(未示出)上，或置于显示器外壳旁边， 例如作为独立设备。姿势传感器可经由有线连接器(诸如USB(通用串行总线) 连接器12)或无线连接(例如，RF、红外、超声、或光学通信装置)连接到计 算单元10。计算单元10可进一步包括诸如GPU(图形处理单元)3之类的处理器、诸如CPU(通用处理单元)4之类的处理器、以及诸如非易失性存储器 (例如，RAM(随机存取存储器)5和/或例如非易失性存储器)之类的存储器。 GPU或CPU 4可以运行(即执行)应用，例如音乐控制应用8和/或外部灯控 制应用6。CPU 4可以执行可能与GPU一起操作的应用9，例如CT(计算机断 层扫描)图像浏览工具。外部灯控制6可使用线缆(诸如USB线缆)或使用无 线连接7与计算工具相连接。“外部”应用8和9可位于计算单元中并由计算 单元执行(如在此所示出的)，或经由网络连接来远程执行。
姿势传感器13和姿势传感器应用14(作为在包括计算单元10的计算机系 统中实现的应用)可被称为姿势传感器系统。姿势传感器13可以接收姿势， 并且姿势传感器应用14随后将接收到的姿势请求转发给控制器15，控制器15 进而指令相关目标应用相应地进行适配。
姿势传感器系统可以采用或被指派给不同模式，例如，“锁定模式”、“中 间锁定模式”、“空闲模式”、“活跃模式”以及“输入模式”。姿势传感器 系统将对姿势作出反应的方式取决于该系统当前采用或指派给哪一模式。对每 一模式的采用可由CPU 4(可任选地GPU 3和RAM 5，它们驻留在计算单元 10中)中实现的控制器15来控制。控制器15可以经由(在计算机系统上执行 的)姿势传感器应用14与姿势传感器13通信。
图2示出了包括可经由线缆21或无线连接来连接到网络视频编码器/解码 器22的显示器20的本发明的实施例。编码器/解码器22可经由光纤23连接到 例如计算单元26。
显示器可具有嵌入在显示器外壳中的姿势传感器38，例如深度相机(诸如 数码相机、TOF相机或立体相机系统)。姿势传感器38还可附连到显示器外 壳(未示出)上，或置于显示器外壳旁边。姿势传感器38可以是独立设备。 姿势传感器38可使用有线连接器(诸如USB连接器27)或无线连接(诸如光 学、红外、紫外、超声或RF通信装置)连接到编码器/解码器22。计算单元 22可包括诸如CPU 24之类的处理器和诸如RAM 25之类的易失性存储器以及 可任选地非易失性存储器。处理器(例如，CPU 24)可以运行(例如，执行) 若干应用，诸如房间光照29(例如，手术室灯)、数据库30(例如，PACS数 据库)、云服务应用31(例如，网络视频编码器/解码器管理系统)、机动化 装备(例如，机动化床32)、音乐流传输装备33、电话34或连接到系统35 的任何其他远程控制的设备。
图3示出了包括具有嵌入在显示器40中的计算单元43的显示器40的本 发明的另一实施例。计算单元43可包括诸如CPU 41之类的处理器和易失性存 储器RAM 42以及可任选地非易失性存储器。处理器(例如，CPU 24)可以运 行若干应用，诸如房间光照46(例如，手术室灯)、数据库47(例如，PACS 数据库)、云服务应用48(例如，网络视频编码器/解码器管理系统)、机动 化装备(例如，机动化床49)、音乐流传输装备50、电话51或连接到系统52的任何其他远程控制的设备。
图4示出了包括具有嵌入在显示器60中的计算单元66的显示器60的本 发明的另一实施例。计算单元66可包括诸如CPU 61之类的处理器和诸如RAM 62之类的非易失性存储器以及可任选地非易失性存储器，并且它可经由光纤 65或者其他有线或无线通信装置连接到网络视频编码器/解码器63。编码器/解 码器62可经由光纤65或者其他有线或无线通信装置连接到网络视频编码器/ 解码器管理系统64。管理系统64可连接到在计算机系统上运行的若干应用或 与其协作，诸如因位置而异的光照应用69(例如，手术室灯)、数据库应用 70(例如，PACS数据库)，或连接到机动化装备，例如机动化床71、音乐流 传输装备72、电话73或连接到系统74的任何其他远程控制的设备。应用69 到74可由诸如管理系统64中的CPU之类的处理器控制(例如，由处理器执行)。
对于需要无菌环境的卫生保健应用，优选的是执行姿势而不必将附加设备 带入无菌区。然而，这不是本发明的限制，它可使用附加设备来提供该姿势来 实现。合适的设备应当优选地完全包封并且适于在无菌室所需的水平上消毒。 如果它包含电池，则这些电池应当经由非侵入式电磁充电系统来菜单。该设备 可包括加速度计以识别和记录姿势的移动。它可包括用于通信的装置，诸如有 线或无线通信装置。
图5a)到d)示出了本发明的实施例的使用操作者的一只或两只手的姿势。 本发明的系统中包括的姿势的数目优选地保持有限，以使得操作者简单地记住 并正确地执行姿势。姿势是从操作者的角度示出的，该操作者正在查看他/她 的手，并且手被放置在操作者和姿势传感器之间。
可以存在“空闲姿势”，例如如图5a中的张开手。如果姿势传感器系统 处于“锁定模式”并且接收到“空闲姿势”，则它可采用解锁或“空闲模式”， 其中它准备好接收和解释来自操作者的姿势。然而，优选地，当在空闲模式中 时，需要进一步姿势来将状态带入激活模式。可以存在“激活姿势”，例如如 图5b)中的握住手。“激活姿势”可将姿势传感器系统置于“活跃模式”中， 其中它准备好接收“输入姿势”。“输入姿势”可以是图5c中解说为握住手从 左向右移动的“滑动”。滑动的若干方向是可能的。因而，序列“空闲姿势”、 “激活姿势”以及“输入姿势”可以分别用图5a)、b)以及c)中的姿势序列“张 开手”、“握住手”以及“滑动”来实现。可存在“确认姿势”和“取消姿势”， 例如分别在图5d)和e)中的“大拇指向上”和“大拇指向下”。这些姿势可被 用来确认或取消正在进行的操作。
上述姿势对操作者而言易于在物理上组合成一个连续移动。与例如位于显 示区域的边界处的菜单选项一起，操作者可以通过作出移动(诸如从显示器边 界处抓住它并将其带到显示器的中心)来激活菜单选项的功能。发明人发现， 在测试人员试验期间，此类工作流被感知为具有符合人体工程学和直观的优 点。
在本发明的一个实施例中，姿势传感器系统被配置成使得它将只接受一个 “输入姿势”并且随后将自动返回到“空闲模式”。如果操作者想要执行另一 姿势，他/她必须作出“激活姿势”或“空闲姿势”并随后在此再次“激活姿 势”以使该系统准备好用于“输入姿势”。这一工作流具有如下优点：当在空 闲模式中或者在激活模式中已识别出输入姿势之后，操作者没有使得一个或多 个无意姿势意外地解释成一个或多个“输入姿势”的风险。另选地，给定类似 优点，在它自动返回“空闲模式”之前，姿势传感器系统可以接受预定义数目 的有意姿势。
在每一/预定义数目的“输入姿势”之间，操作者可以作出“空闲姿势” 随后作出“激活姿势”以再次使该系统准备好用于一个或多个“输入姿势”。 该系统可在接收到预定“输入姿势”之后自动返回“空闲模式”。与针对确认 姿势传感器系统的当前状态的每一步骤的系统反馈相组合，操作者可以维持对 该过程的完全控制和概览。
图6示出了包括由操作者给到基于显示器的系统(它可以与本发明的系统 实施例中的任一者联用)的姿势交互序列的本发明的实施例的流程图。最初， 存在显示区域80，并且姿势传感器系统处于锁定模式，这可通过屏幕具有“锁 定反馈边界”来确认。可以使用其他确认手段，例如音频、光学或触觉反馈。
专用姿势(诸如“解锁姿势”或“空闲姿势”81)的执行和识别将姿势传 感器系统改成“空闲模式”，这可在显示区域82中示出“空闲反馈边界”102 来确认。可以使用其他确认手段，例如音频、光学或触觉反馈。菜单(在此具 有菜单选项107、108和109)可在空闲模式中变得可见，例如在显示器上或通 过其他手段。一般而言，可能的菜单选项的数目没有限制。然而，每显示器边 缘一个以上菜单选项可使得通过执行和识别姿势来选择菜单选项更复杂。
如果在时间t 112期间没有给出进一步输入(例如，姿势传感器没有看到 手)，则一个选项是姿势传感器系统可自动去往“中间锁定模式”，这可通过 经由路径89示出显示区域90来确认。可以使用其他确认手段，例如音频、光 学或触觉反馈。操作者随后可具有通过进一步姿势(诸如通过示出他的手，例 如在“空闲姿势”100中)返回到先前菜单(在这一情形中，示出显示区域82 的空闲模式)的可能性。到达“中间锁定模式”的这一超时可以从任何模式来 访问(但在这一示例中，只针对具有显示区域82的空闲模式示出)。在姿势 传感器系统处于“中间锁定模式”时，用户可再次避免给出输入(例如，通过 不向姿势传感器示出他/她的手)达时间t 142，随后姿势传感器系统可进入初 始“锁定模式”，这可如显示区域80可见所示地被确认。可以使用其他确认 手段，例如音频、光学或触觉反馈。
为了准备姿势传感器系统来接收输入姿势，诸如“空闲姿势”136之类的 专用姿势可被执行且可由姿势传感器系统识别。姿势传感器系统随后可由激活 姿势84置于“活跃模式”，这可通过“活跃反馈边界”104出现在显示区域 85上来被确认。可以使用其他确认手段，例如音频、光学或触觉反馈。操作者 现在可通过作出诸如在与从菜单所位于的屏幕边缘到中间(例如，从左到右来 选择菜单107)相对应的方向上的滑动之类的专用姿势136来选择菜单选项。 与所选择的应用相关的子菜单可显现，操作者可(使用姿势或修改姿势)从中 选择值，例如通过暂停使用“空闲姿势”136移动水平指示符。操作者随后可 在通过确认姿势“大拇指向上”110选择当前水平值或通过取消姿势“大拇指 向下”111取消操作之间进行选择。如果操作者选择确认姿势，例如“大拇指 向上”110，姿势传感器系统可识别该姿势并且显示系统可以提供确认反馈106 (或可以使用其他光学、音频或触觉反馈的手段)，或另选地，显示系统仅仅 执行所请求的菜单选项的动作。在这一情形中，没有示出反馈106。在所请求 的动作已被实现之后，该系统自动返回到136“空闲模式”82。如果操作者选 择取消该操作，例如使用“大拇指向下姿势”111，则该系统将返回“空闲模 式”82而不实现该菜单选项。
在本发明的另一实施例中，如果该菜单选项没有子菜单，例如它是视频， 则该菜单选项可在滑动姿势由姿势传感器系统识别并且该菜单选项被它激活 之后立即实现。例如，如果菜单选项107包括视频，则操作者通过作出姿势以 经由“滑动”86将它带到显示器的中心来激活它。该视频随后可立即被显示在 显示区域上，并且该系统可自动返回到“空闲模式”82。对于卫生保健应用， 归因于其频繁使用来使视频切换可容易地访问可以是有利的。对视频内容的菜 单选项可以是所显示的缩略图，包括静态图像或示出实际视频流。这可促进操 作者的操作规程。
在本发明的另一实施例中，显示系统和姿势传感器系统可被适配成在自动 实现与姿势相对应的命令之前接收一个以上姿势作为预定数目的姿势。这具有 降低假肯定的风险的优点，即将操作者的无意移动注册为输入姿势。操作者知 悉该系统正在预期多少姿势并且可相应地进行。然而，发明人发现在自动进入 空闲模式之前只允许一个姿势显著地降低了假肯定的风险并帮助操作者降低 压力(例如，他/她将提供无意姿势的较少焦虑)并维持控制。输入姿势本身 可以是任意形状和形式。
显示区域83解说了在姿势被定位成靠近边缘(例如，距边缘10％，即在 具有姿势传感器的视野的区域的10％的边缘区域内)的情况下可发生什么。 (在一般情形中，这可意味着操作者输入正在接近检测装置的极限。)“邻近 度反馈边界”103可警告操作者他/她将要移出姿势传感器的可检测域。可以使 用其他警告手段，例如音频、光学或触觉反馈。这一警告模式83可以从任何 非锁定模式激活。该情形可通过将手(或其他姿势装置)进一步从边缘移开来 解决，并且姿势传感器系统可例如回到“空闲模式”。
存在显示系统可在操作者执行姿势时如何向他/她给出反馈的各种替换方 式。图6指的是在显示区域中覆盖在已示出在显示器上的内容的“反馈边界”。 可存在附连到显示器外壳或放置在显示器外壳旁边的其他视觉布置，诸如发光 二极管或其他光源。另选地，该系统可以提供听觉信号或提供触觉反馈，例如 气压变化的形式。
图7a)和7b)解说了在激活菜单选项时本发明的实施例。
图7a)示出了其中四个菜单选项121、122、123和124可见的显示区域120。 操作者可通过在垂直方向上执行诸如滑动姿势139之类的专用姿势来激活菜单 选项122。菜单选项122可具有一个或多个子菜单(如新菜单)，例如菜单选 项126和127可显现。菜单选项126(例如，包含滑动标尺)可通过“将它带 到显示器中心”来激活，即通过作出从左到右的滑动姿势140。滑动标尺128 随后可显现为具有当前水平指示符129，如在图7b)中看到的。另选地，在子菜 单选项(在此是滑动标尺128)被显示时，菜单选项121、126和127可被变暗 或完全隐藏(未示出)。
操作者可通过提供进一步姿势(诸如从初始位置130并向上至点131的滑 动姿势(因而，该姿势将在与水平指示符的移动相同的方向上))来沿滑动标 尺128向上移动水平指示符129。姿势与水平指示符129之间的关系可以是“虚 拟操纵杆”特性，即只要手(或其他姿势装置)保持在距离132处，水平指示 符129就将继续移动。操作者可例如通过在水平指示符129正在移动时在进行 中增加或降低距离132来增加或降低水平指示符移动速度。当水平指示符129 被定位在所需值处时，操作者可以提供“空闲姿势”141以停止移动(与图6 中的135相比)。
另选地，如果操作者将(仍然握住的)手移回水平130(但没有进一步移 动)，则水平指示符的速度将被降低。如果操作者去到水平130之下，则水平 指示符129将开始在相反方向上移动。当最终达到水平指示符的想要的值时， 操作者以“空闲姿势”141张开他/她的手并且移动停止。水平指示符还可在它 达到标尺末端时停止。操作者可再次握住他/她的手以进一步移动滑块，或者 作出“确认姿势”(诸如图5d)中的“大拇指向上”)。“确认姿势”确认应 当使用水平指示符的当前位置。(与图6中的110和111相比。)菜单选项还 可包括可被转动的离散值“传送带”，直至“空闲姿势”被提供用于在某一值 处停止。这可适用于例如解析通过特定数目的PACS(图片存档和通信系统) 数据文件。
“虚拟操纵杆”特性给出用于各姿势装置(例如，操作者手)不被用作“指 点设备”来移动屏幕上的光标的可能性。发明人发现，姿势装置(例如，手) 与显示屏上的光标之间的一对一对应关系难以管理，因为移动必须精确。“虚 拟操纵杆”工作方式向操作者提供了更多自由度来执行姿势，而不损害正确读 数。
参考本发明的各实施例描述的基于计算机的系统或方法可包括服务器、显 示设备、后端设备、渲染设备、流传输设备，例如每一者可任选地能够显示图 像和视频并提供选择菜单。这些基于计算机的系统和方法可由独立数字处理设 备执行或可被嵌入在另一设备中。此类设备或方法可以使用处理器(即数字处 理引擎)来实现各功能。处理引擎优选地具有处理能力，诸如由一个或多个微 处理器、FPGA、或中央处理单元(CPU)和/或图形处理单元(GPU)提供的 处理能力，并且可以被适配成通过利用软件(即，一个或多个计算机程序)编 程来实现相应功能。对基于计算机的系统和方法以及软件的引用可涵盖以能由 处理器直接或间接执行的任何语言(经由经编译或解释性语言，诸如Java或 Python)编写的任何类型的程序。本发明的任何方法的实现可以由逻辑电路、 电子硬件、处理器或电路执行或辅助，其可以包括任何种类的逻辑或模拟电路， 集成到任何程度，并且不限于通用处理器、数字信号处理器、ASIC、FPGA、 分立组件或晶体管逻辑门等。
此类设备可以具有存储器(诸如非易失性存储器、非瞬态计算机可读介质、 RAM和/或ROM)、操作系统、可任选地显示器(诸如固定格式显示器)、用 于数据输入设备(诸如键盘)的端口、指点设备(诸如“鼠标”)、用于与其 他设备通信的串行或并行端口、连接到任何网络的网卡和连接。
软件可被实现在计算机程序产品中，该计算机程序产品被适配成在软件被 加载到控制器上并且在一个或多个处理引擎(诸如微处理器、ASIC的处理引 擎、FPGA的处理引擎等)上执行时执行下列功能：用于与本发明的任何实施 例一起使用的设备可以包含能够以计算机软件的形式运行一个或多个计算机 应用的计算机系统。
本发明的实施例的方法可以由一个或多个计算机应用程序(诸如目标应用 或姿势传感器应用)来执行，该一个或多个计算机应用程序通过被加载到存储 器中来在计算机系统上运行并且在诸如由美国微软公司提供的WindowsTM、USA、Linux、Android等操作系统上运行或与之相关联地运行。计算机系统可 以包括主存储器，优选为随机存取存储器(RAM)，并且还可以包括非瞬态硬 盘驱动器和/或可移除非瞬态存储器和/或非瞬态固态存储器。非瞬态可移动存 储器可以是由合适的读取器读取并写入的诸如紧凑盘(CD-ROM或DVD-ROM) 之类的光盘、磁带。可移动非瞬态存储器可以是其中存储有计算机软件和/或数据的计算机可读介质。非易失性存储记忆体可被用于存储在计算机系统断电的 情况下不会丢失的持久信息。应用程序可使用信息并将其存储在非易失性存储 器中。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如例如微处理器、ASIC、FPGA等) 上执行时执行本发明的方法以及所附权利要求的方法的任何功能，例如：
执行用于通过使用姿势来控制基于计算机的系统的方法，该基于计算机的 系统包括控制器、至少一个基于计算机的目标应用、以及由可采用不同模式的 基于计算机的姿势传感器应用控制的姿势传感器，控制器与该至少一个基于计 算机的目标应用和该基于计算机的姿势传感器应用相连接或协作。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
执行基于计算机的姿势传感器应用，它可被置于激活模式，从而允许姿势 传感器接收n个任意输入姿势，其中n至少是1，和/或
姿势传感器接收n个任意输入姿势，基于计算机的姿势传感器应用将该至 少一个输入姿势转发给控制器，和/或
控制器指令该至少一个基于计算机的目标应用根据该至少一个输入姿势 来进行适配，控制器将空闲模式自动指派给基于计算机的姿势传感器应用。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
如果基于计算机的姿势传感器应用处于激活模式，则姿势传感器在基于计 算机的姿势传感器应用进入空闲模式之前只需接收一个输入姿势。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
在基于计算机的姿势传感器应用的每一模式变化之后提供反馈，所述反馈 是视觉或听觉或触觉或这三者的任何组合。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
基于计算机的系统包括具有显示区域和菜单选项的显示器，并且在显示区 域的边缘处输出菜单选项，和/或
在显示区域的每一边缘输出一个菜单选项。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
基于计算机的系统包括示出滑动标尺或一组离散有序选择的显示器以及 用于识别所执行的姿势的装置，进一步包括通过识别出移动姿势来发起在一个 方向上沿该滑动标尺或通过该组离散有序选择的移动，该姿势的移动是从第一 点移至同一方向上的第二点，随后识别出该姿势在解析通过所述标尺或选择继 续时保持静止在第二点处，或者
第一和第二点之间的距离与水平指示符的移动速度相关。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
传感器具有有效检测域，并且如果所执行的姿势被感测到在毗邻有效检测 域或显示器的边界的区域内(该区域是有效检测域的区域的0到20％)，则该 系统提供专用反馈，所述反馈可以是视觉或听觉或触觉或这三者的任何组合。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
该系统与包括以下任一者的设备或功能相连接或协作：显示器、联网系统、 计算机程序产品、房间光照、音频音量、电气家具或电子通信设备，并且该方 法包括控制器指令目标应用适配以上提及的设备或功能中的任一者的任何设 置。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
在基于计算机的姿势传感器应用的每一模式变化之后提供反馈，所述反馈 是视觉或听觉或触觉或这三者的任何组合。
体现在计算机程序产品中的软件被适配成在软件被加载到相应的一个或 多个设备上并且在一个或多个处理引擎(诸如微处理器、ASIC、FPGA等)上 执行时执行以下功能：
设备以下姿势中的任一者：作为“张开手”的“空闲姿势”、作为“握住 手”的“激活姿势”、作为“大拇指向上”的“确认姿势”、作为“大拇指向 下”的“取消姿势”、作为“滑动”的“输入姿势”。
上述软件中的任一者可被实现为已被编译用于服务器或网络节点中的任 一者中的处理引擎的计算机程序产品，或者以在虚拟机(诸如Java虚拟机)上 运行的解释语言(诸如Java)编写。计算机程序产品可被储存在非瞬态信号存 储介质上，诸如光盘(CD-ROM或DVD-ROM)、数字磁带、磁盘、固态存储 器(诸如USB闪存存储器)、ROM等。

Claims (16)

1.一种用于通过使用姿势来控制基于计算机的系统的方法，所述基于计算机的系统包括控制器、至少一个基于计算机的目标应用、以及由能采用不同模式的基于计算机的姿势传感器应用控制的姿势传感器，所述控制器与所述至少一个基于计算机的目标应用和所述基于计算机的姿势传感器应用相连接或协作，所述方法包括以下步骤：所述基于计算机的姿势传感器应用处于激活模式中，从而允许所述姿势传感器接收n个任意输入姿势，其中n至少是1，所述姿势传感器接收所述n个任意输入姿势，所述基于计算机的姿势传感器应用将所述至少一个输入姿势转发给所述控制器，所述控制器指令所述至少一个基于计算机的目标应用根据所述至少一个输入姿势来进行适配，所述控制器将空闲模式自动指派给所述基于计算机的姿势传感器应用。
2.如权利要求1所述的方法，其特征在于，如果所述基于计算机的姿势传感器应用处于激活模式，则所述姿势传感器在所述基于计算机的姿势传感器应用进入空闲模式之前只需接收一个输入姿势。
3.如权利要求1所述的方法，其特征在于，包括在所述基于计算机的姿势传感器应用的每一模式变化之后提供反馈，所述反馈是视觉或听觉或触觉或这三者的任何组合。
4.如权利要求1所述的方法，其特征在于，所述基于计算机的系统包括具有显示区域和菜单选项的显示器，所述方法包括在所述显示区域的边缘处输出所述菜单选项。
5.如权利要求4所述的方法，其特征在于，包括在所述显示区域的每一边缘处输出一个菜单选项。
6.如权利要求1所述的方法，其特征在于，所述基于计算机的系统包括示出滑动标尺或一组离散有序选择的显示器以及用于识别所执行的姿势的装置，所述方法包括通过识别出移动姿势来发起在一个方向上沿所述滑动标尺或通过所述一组离散有序选择的移动，所述姿势的移动是从第一点移至同一方向上的第二点，随后识别出所述姿势在解析通过所述标尺或选择继续时保持静止在所述第二点处。
7.如权利要求6所述的方法，其特征在于，所述第一点和所述第二点之间的距离与水平指示符的移动速度相关。
8.如权利要求1所述的方法，其特征在于，所述传感器具有有效检测域，并且如果所执行的姿势被感测到在毗邻所述有效检测域的边界的区域内，所述区域是所述有效检测域的区域的0到20％，则所述系统提供专用反馈，所述反馈是视觉或听觉或触觉或这三者的任何组合。
9.如权利要求1所述的方法，其特征在于，所述系统与包括以下任一者的设备或功能相连接或协作：显示器、联网系统、计算机程序产品、房间光照、音频音量、电气家具或电子通信设备，并且所述方法包括控制器指令所述目标应用适配以上提及的设备或功能中的任一者的任何设置。
10.一种具有用户界面、姿势传感器、计算单元的姿势控制的系统，所述计算单元包括执行控制器、基于计算机的姿势传感器应用以及至少一个基于计算机的目标应用的处理器，所述姿势传感器由所述基于计算机的姿势传感器应用控制，所述基于计算机的姿势传感器应用连接到所述控制器或与其协作，所述控制器连接到所述至少一个基于计算机的目标应用或与其协作，所述基于计算机的姿势传感器应用被配置成具有激活模式，从而允许所述姿势传感器接收n个任意输入姿势，其中n至少是1，所述姿势传感器被配置成接收所述n个任意输入姿势，所述基于计算机的姿势传感器应用被配置成将所述至少一个输入姿势转发给所述控制器，所述控制器被配置成指令所述至少一个基于计算机的目标应用根据所述至少一个输入姿势来进行适配，所述控制器被配置成将空闲模式自动指派给所述基于计算机的姿势传感器应用。
11.如权利要求10所述的姿势控制的系统，其特征在于，所述用户界面是基于显示器的。
12.如权利要求11所述的姿势控制的系统，其特征在于，所述姿势传感器被定位在显示器外壳的下边界上或在所述下边界的水平处。
13.如权利要求10或12所述的姿势控制的系统，其特征在于，当所述基于计算机的姿势传感器应用处于激活模式时，所述姿势传感器在所述基于计算机的姿势传感器应用进入空闲模式之前只需接收一个输入姿势。
14.如权利要求10-12中的任一项所述的姿势控制的系统，其特征在于，包括用于在所述基于计算机的姿势传感器应用的每一模式变化之后提供反馈的装置，所述用于提供反馈的装置是视觉或听觉或触觉或这三者的任何组合。
15.如权利要求13所述的姿势控制的系统，其特征在于，包括用于在所述基于计算机的姿势传感器应用的每一模式变化之后提供反馈的装置，所述用于提供反馈的装置是视觉或听觉或触觉或这三者的任何组合。
16.如权利要求11所述的系统，其特征在于，所述系统被适配成识别以下姿势中的任一者：作为“张开手”的“空闲姿势”、作为“握住手”的“激活姿势”、作为“大拇指向上”的“确认姿势”、作为“大拇指向下”的“取消姿势”、作为“滑动”的“输入姿势”。
CN201811051618.5A 2017-09-11 2018-09-10 用于装备的高效姿势控制的方法和系统 Pending CN109493962A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17190482.4A EP3454177B1 (en) 2017-09-11 2017-09-11 Method and system for efficient gesture control of equipment
EP17190482.4 2017-09-11

Publications (1)

Publication Number Publication Date
CN109493962A true CN109493962A (zh) 2019-03-19

Family

ID=59895082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811051618.5A Pending CN109493962A (zh) 2017-09-11 2018-09-10 用于装备的高效姿势控制的方法和系统

Country Status (3)

Country Link
US (1) US20190079589A1 (zh)
EP (1) EP3454177B1 (zh)
CN (1) CN109493962A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
EP3948498A4 (en) * 2019-03-28 2022-12-28 Ghsp, Inc. INTERACTIVE KITCHEN DISPLAY
EP3948725A4 (en) * 2019-03-28 2022-06-29 Dematic Corp. Touchless confirmation for pick and put system and method
EP4031956A1 (en) * 2019-09-20 2022-07-27 InterDigital CE Patent Holdings, SAS Device and method for hand-based user interaction in vr and ar environments

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
CN103201790A (zh) * 2010-11-22 2013-07-10 Lg电子株式会社 多媒体设备中使用语音和姿势的控制方法及其多媒体设备
US20130227464A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Screen change method of touch screen portable terminal and apparatus therefor
CN103314391A (zh) * 2011-01-05 2013-09-18 索弗特凯耐提克软件公司 基于自然姿势的用户接口方法及系统
US20130271397A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Rapid gesture re-engagement
US20140043230A1 (en) * 2008-01-14 2014-02-13 Primesense Ltd. Three-Dimensional User Interface Session Control
US9304674B1 (en) * 2013-12-18 2016-04-05 Amazon Technologies, Inc. Depth-based display navigation
US20160216768A1 (en) * 2015-01-28 2016-07-28 Medtronic, Inc. Systems and methods for mitigating gesture input error

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US10146301B1 (en) * 2015-03-26 2018-12-04 Amazon Technologies, Inc. Rendering rich media content based on head position information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20140043230A1 (en) * 2008-01-14 2014-02-13 Primesense Ltd. Three-Dimensional User Interface Session Control
CN103201790A (zh) * 2010-11-22 2013-07-10 Lg电子株式会社 多媒体设备中使用语音和姿势的控制方法及其多媒体设备
CN103314391A (zh) * 2011-01-05 2013-09-18 索弗特凯耐提克软件公司 基于自然姿势的用户接口方法及系统
US20130227464A1 (en) * 2012-02-24 2013-08-29 Samsung Electronics Co., Ltd. Screen change method of touch screen portable terminal and apparatus therefor
US20130271397A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Rapid gesture re-engagement
US9304674B1 (en) * 2013-12-18 2016-04-05 Amazon Technologies, Inc. Depth-based display navigation
US20160216768A1 (en) * 2015-01-28 2016-07-28 Medtronic, Inc. Systems and methods for mitigating gesture input error

Also Published As

Publication number Publication date
US20190079589A1 (en) 2019-03-14
EP3454177A1 (en) 2019-03-13
EP3454177B1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
CN109493962A (zh) 用于装备的高效姿势控制的方法和系统
CN108735290B (zh) 医疗成像设备和用于支持使用医疗成像设备的人的方法
O'Hara et al. Touchless interaction in surgery
US20220147150A1 (en) Method and system for interacting with medical information
EP3109783B1 (en) Context-aware user interface for integrated operating room
Jacob et al. Context-based hand gesture recognition for the operating room
US7212109B2 (en) Hygienic input device for medical information systems
US20080018598A1 (en) Hands-free computer access for medical and dentistry applications
Strickland et al. Using a depth-sensing infrared camera system to access and manipulate medical imaging from within the sterile operating field
CN104714638A (zh) 医疗技术控制器
US10290373B2 (en) Patient couch with a control system and method for controlling the patient couch
US9398937B2 (en) Operating room environment
US10269453B2 (en) Method and apparatus for providing medical information
Park et al. Gesture-controlled interface for contactless control of various computer programs with a hooking-based keyboard and mouse-mapping technique in the operating room
JP2014529135A (ja) 医療機器用の非接触式遠隔制御システム及び方法
US20140313172A1 (en) Surgical instrument input device organization systems and associated methods
Manolova System for touchless interaction with medical images in surgery using Leap Motion
WO2021214069A1 (en) Microscope system and corresponding system, method and computer program for a microscope system
US20220113809A1 (en) Simultaneous gesture-based actuation of a medical facility
US20230076716A1 (en) Multi-device gesture control
Wegter Optimization of user interaction with DICOM in the Operation Room of a hospital
GB2533394A (en) Method and system for generating a control signal for a medical device
Hsieh Touchless gesture recognition system for imaging controls in sterile environment
O'Hara et al. Touchless Interaction in Surgery Touchless interaction with medical images lets surgeons maintain sterility during surgical procedures.
Westwood A Virtual Interface for Interactions with 3D Models of the Human Body

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination