CN114730220A - 控制输入设备处的手存在感测 - Google Patents

控制输入设备处的手存在感测 Download PDF

Info

Publication number
CN114730220A
CN114730220A CN202080078788.1A CN202080078788A CN114730220A CN 114730220 A CN114730220 A CN 114730220A CN 202080078788 A CN202080078788 A CN 202080078788A CN 114730220 A CN114730220 A CN 114730220A
Authority
CN
China
Prior art keywords
hand
handle
input device
control input
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080078788.1A
Other languages
English (en)
Inventor
L·N·弗纳
J·W·亨普希尔
B·罗伯塔克
A·苏雷什
C·N·伯格
H-H·廖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114730220A publication Critical patent/CN114730220A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0338Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of limited linear or angular displacement of an operating part of the device from a neutral position, e.g. isotonic or isometric joysticks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

实施方式涉及控制输入设备处的手存在感测。在一些实施方式中,控制输入设备包括基部构件、耦接到基部构件并被配置为在手柄的握持部分处被手动接触并由用户的手在一个或多个自由度中移动的手柄、被配置为检测手柄在一个或多个自由度中的方位或取向的一个或多个控制输入传感器,以及耦接到基部构件的存在传感器。存在传感器具有感测场,并且感测场的至少一部分位于手柄附近。

Description

控制输入设备处的手存在感测
相关申请的交叉引用
本申请要求于2019年10月8日提交的标题为HAND PRESENCE SENSING AT CONTROLINPUT DEVICE的美国临时专利申请No.62/912,536的优先权,其全部内容通过引用并入本文。
背景技术
控制输入设备允许用户控制各种类型的机构和器械的功能。例如,远程操作外科手术设备可以使用各种类型的医疗器械来执行微创外科手术程序,这减少对患者的健康组织的损害。医疗器械可以连接到操纵器设备,诸如可以被控制以执行外科手术程序的操纵器臂。可以在一个或多个控制输入设备处向操作员提供对操纵器设备处的医疗器械的控制,该一个或多个控制输入设备可以在操作员终端或操作员站处。操纵器设备的致动器可以由控制输入设备控制以引起与患者外科手术部位相互作用的操纵器设备处的医疗器械、相机或其他末端执行器的运动或发动其另一功能。在一些示例中,操作员站处的控制输入设备可以由操作员在一个或多个自由度中物理操纵,以控制末端执行器与控制设备的操纵相协调地移动,例如,在操作部位处在对应的自由度中移动。
在许多情况下,希望控制系统具有检测操作控制输入设备的用户的存在的能力。例如,这允许当检测到用户正要操作控制输入设备时启用操纵器设备的用户控制,并且当没有检测到用户存在时安全地禁用操纵器设备的用户控制。在一些控制系统中,可以使用一个或多个存在传感器来检测用户的存在。例如,一些系统包括操作员终端,在该操作员终端处使用控制输入设备并且该操作员终端包括视频输出设备。当头部被定位以查看视频输出设备时,光学检测器可以检测到操作员的头部的存在。然而,这种检测并不能直接指示用户的手是否准备好使用控制输入设备。此外,一些控制输入设备具有用于用户的手的结构和/或握持件,这可能导致难以直接感测操作控制输入设备的用户的手的存在。例如,在控制输入设备上旋转夹钳握持件可以提供夹紧运动,并且它们可以围绕控制设备的一个或多个轴线旋转,这可能导致操作员的手采用各种配置。在一些情况下,在一种或多种这样的配置中操作的手的存在可能不容易被传感器检测到。
发明内容
本申请的实施方式涉及控制输入设备处的手存在感测。在一些实施方式中,控制输入设备包括:基部构件;手柄,其耦接到基部构件并且被配置为在手柄的握持部分处被手动接触并由用户的手在一个或多个自由度中移动;一个或多个控制输入传感器,其被配置为检测手柄在一个或多个自由度中的方位和/或取向;以及存在传感器,其耦接到基部构件。存在传感器具有感测场,并且感测场的至少一部分位于手柄附近。
描述了控制输入设备的各种实施方式和示例。例如,在一些实施方式中,存在传感器被配置为检测由存在传感器的感测场中的手的存在而被定向为穿过空间到达存在传感器的电磁辐射或超声波。在一些实施方式中,存在传感器位于手柄的在控制输入设备的操作期间未被手接触的表面上。在一些实施方式中,感测场的该部分位于在操作手柄之前手在朝向手柄移动时的接近路径中。在一些实施方式中,手柄在感测场的外部。
在一些实施方式中,感测场被成形为或大致为在远离存在传感器的方向上宽度增加的锥体。在一些实施方式中,感测场具有相对于手柄的中心轴线固定的空间方位,该中心轴线在手柄的远端和近端之间延伸。在一些实施方式中,手柄至少部分地延伸到感测场中。在一些实施方式中,感测场至少部分地位于手柄的端部的前面。
在一些实施方式中,存在传感器是第一存在传感器,感测场是位于手柄的第一侧处的第一感测场,并且控制输入设备进一步包括第二存在传感器,该第二存在传感器耦接到基部构件并且被配置为检测由第二存在传感器的第二感测场中的手的存在而被定向为穿过空间到达第二存在传感器的第二电磁辐射。第二感测场在手柄附近并且位于手柄的与第一侧相对的第二侧。例如,第一侧可以是与手柄的中心轴线相交的竖直平面的第一侧,并且第二侧可以是竖直平面的第二侧。
在一些实施方式中,由存在传感器生成的信号包括参数,并且该参数包括对应于感测场中的对象与存在传感器之间的可变距离的值。在一些实施方式中,存在传感器包括电磁传感器,该电磁传感器包括发射器和检测器,发射器被配置为在感测场中发射第一电磁信号,并且检测器被配置为检测从感测场中的手反射的第一电磁信号。在一些实施方式中,存在传感器包括光学飞行时间传感器,该光学飞行时间传感器生成信号,该信号包括对应于感测场中的手和存在传感器之间的可变距离的值。在一些实施方式中,存在传感器包括热电堆传感器或热成像相机,该热电堆传感器或热成像相机包括检测器,该检测器被配置为检测由感测场中的手发射的红外辐射。也可以使用其他类型的传感器,例如超声传感器等。
在一些实施方式中,手柄的部分包括手柄远端、与手柄远端相对的手柄近端以及限定在手柄远端和手柄近端之间的中心轴线。手柄远端比手柄近端更靠近手。基部构件的基部部分包括基部远端和与基部远端相对的基部近端,基部部分平行或大致平行于手柄的部分的中心轴线延伸。存在传感器位于比基部近端更靠近手柄远端的基部远端上。
在一些实施方式中,手柄包括在手柄的远端和近端之间沿着手柄的中心轴线延伸的中心部分,并且手柄包括从中心部分延伸的两个握持构件。两个握持构件各自被配置为由手的对应的手指握持,并且中心部分被配置为在握持手柄期间定位在手的至少两个手指之间。感测场被配置为覆盖包括触摸两个握持构件中的任一个的手的一个或多个手指的区域。在一些实施方式中,一个或多个自由度包括滚转自由度,其中手柄相对于基部构件绕手柄的中心轴线在滚转自由度中可旋转,并且感测场被配置为在手握持手柄时在手柄在滚转自由度中的所有取向下包括手的至少一部分。在各种实施方式中,基部构件可选地机械接地或机械不接地。
在一些实施方式中,控制输入设备包括手柄,该手柄被配置为在手柄的握持部分处被手动接触并且由用户的手在一个或多个自由度中移动。手柄包括沿着手柄的中心轴线延伸的中心部分,并且中心部分被配置为在由手握持手柄期间定位在手的至少两个手指之间。一个或多个控制输入传感器被配置为检测手柄在一个或多个自由度中的方位或取向,并且存在传感器耦接到手柄的在手附近的远端。存在传感器被配置为检测由存在传感器的感测场中的手的存在而被定向为穿过空间到达存在传感器的电磁辐射或超声波,并且感测场位于手柄附近。
描述了该控制输入设备的各种实施方式和示例。例如,在一些实施方式中,手柄被配置为使得在手握持手柄的握持部分时,手的手掌不与手柄接触。在一些实施方式中,存在传感器被配置为通过存在传感器的感测场中的手的手掌的存在来检测电磁辐射或超声波。在一些实施方式中,由存在传感器生成的信号包括参数,并且该参数包括对应于检测到的手和存在传感器之间的可变距离的值。在进一步的示例中,参数包括对应于感测场中的手相对于存在传感器的运动方向或感测场中的手的速度的值。在一些示例中,该值被提供给处理器并且可用于确定手是否正在操作控制输入设备。在各种实施方式中,感测场位于手在操作手柄之前朝向手柄移动时的接近路径中,手柄定位在感测场的外部,和/或感测场至少部分地定位在手柄的端部的前面。在一些实施方式中,感测场被成形为或大致为在远离存在传感器的方向上宽度增加的锥体,并且感测场具有相对于手柄的中心轴线固定的空间方位,该中心轴线在手柄的远端和近端之间延伸。存在传感器可以包括:电磁传感器,其包括被配置为在感测场中发射第一电磁信号的发射器和被配置为检测从在感测场中的手反射的第一电磁信号的检测器;热电堆传感器,其包括被配置为检测由感测场中的手发射的红外辐射的检测器;和/或热成像相机,其包括被配置为检测由感测场中的手发射的红外辐射的检测器。
在一些实施方式中,一种方法包括激活非控制模式,在该非控制模式中,控制输入设备的手柄由用户在一个或多个自由度中手动可移动,而不会可移动地控制例如对应于控制输入设备的操纵器设备,该操纵器设备与控制输入设备通信。在非控制模式中,在存在传感器的感测场中感测用户的手相对于手柄的存在。感测场的一部分位于手柄附近。响应于感测到手的存在,激活控制输入设备的控制模式,在该控制模式中,手柄由用户在一个或多个自由度中可移动以可移动地控制操纵器设备。在该方法的一些实施方式中,存在传感器被配置为检测由存在传感器的感测场中的手的存在而被定向为穿过空间到达存在传感器的电磁辐射或超声波。在一些实施方式中,感测手的存在包括感测当手在接触和操作手柄之前处于感测场中时手朝向手柄的接近。
在该方法的一些实施方式中,感测手朝向手柄的接近包括确定手相对于手柄的运动方向以及确定运动方向是否朝向手柄。在一些实施方式中,该方法进一步包括确定手相对于手柄的速度以及确定手的速度满足(例如,小于)阈值速度,并且响应于手的速度满足阈值速度而执行控制模式的激活。在一些实施方式中,该方法进一步包括响应于感测到手不再操作手柄的指示而激活非控制模式。在各种实施方式中,该指示包括感测到手在距手柄的阈值距离之外,和/或感测到手在相对于(例如,远离)手柄的特定方向上移动。在该方法的一些实施方式中,只有响应于感测到手的存在以及由包括控制输入设备的系统的一个或多个其他存在检测设备感测到用户的存在两者才执行激活控制模式,并且一个或多个其他存在检测设备包括控制输入设备的握持传感器和/或系统的头部存在传感器。
在一些实施方式中,该方法进一步包括,在处于控制模式时,确定手相对于控制输入设备的参考位置的方位,以及基于手的方位,确定要在控制输入设备上输出的力的一个或多个特性,该力的一个或多个特性包括在控制输入设备上输出的最大力幅度、在控制输入设备上输出的力幅度的增益和/或控制输入设备上的力幅度增加的速率。在一些实施方式中,该方法进一步包括,在处于控制模式时,确定手相对于控制输入设备的参考位置的方位,以及基于该方位,调整控制输入设备的安全特征,调整安全特征包括:改变在用以检测用户对控制输入设备的主动使用的控制输入设备的运动式样、加速度或方向的检测中所使用的参数,和/或通过使用耦接到控制输入设备的机构的一个或多个力输出设备,物理限制控制输入设备在一个或多个自由度中的速度。
在一些实施方式中,该方法进一步包括,在控制模式中,确定手相对于控制输入设备的参考位置的方位,以及基于该方位,确定控制输入设备的一个或多个其他存在传感器的检测参数;其他存在传感器与执行手的存在的感测的手存在感测系统独立且分离,并且检测参数包括感测的阈值、感测的范围和/或感测的持续时间。在一些实施方式中,该方法进一步包括,在控制模式中,由控制输入设备的一个或多个其他存在传感器检测用户的存在,以及基于由一个或多个其他存在传感器检测到的用户的存在,确定手存在感测系统的一个或多个检测参数,该其他存在传感器与执行手的存在的感测的手存在感测系统独立且分离,并且手存在感测系统的一个或多个检测参数包括感测的阈值、感测的范围和/或感测的持续时间。
在一些实施方式中,一种方法包括激活控制模式,在该控制模式中,控制输入设备的手柄由用户在一个或多个自由度中手动可移动,以可移动地控制与控制输入设备通信的操纵器设备。该方法包括:在控制模式中,在存在传感器的感测场中感测用户的手相对于手柄的存在,感测场的一部分位于手柄附近;以及响应于感测到手的存在,激活非控制模式,在该非控制模式中,手柄由用户在一个或多个自由度中可移动,而不会可移动地控制操纵器设备。在一些实施方式中,感测到手的存在的改变包括感测到手在距手柄的阈值距离之外,和/或感测到手在远离手柄的方向上移动。在一些实施方式中,该方法进一步包括:在激活控制模式之前,感测存在传感器的感测场中的手的存在;以及由包括控制输入设备的系统的一个或多个其他存在检测设备来感测用户的存在,其他存在检测设备包括控制输入设备的握持件和/或系统的头部存在传感器,并且只有响应于感测到手的存在以及由一个或多个其他存在检测设备感测到用户的存在才执行激活控制模式。
在一些实施方式中,控制输入设备包括:手柄装置,其用于在手柄装置的握持部分处被手动接触并且用于由用户的手在一个或多个自由度中移动;用于感测手柄装置在一个或多个自由度中的方位或取向的装置;以及用于在手柄装置附近和外部的感测场中检测手的装置。在一些实施方式中,用于检测的装置包括用于检测由在用于检测的装置的感测场中的手的存在而被定向为穿过空间到达用于检测的装置的电磁辐射或超声波的装置。在一些实施方式中,控制输入设备进一步包括用于将手柄装置耦接到机械接地的基部装置。在一些实施方式中,用于检测的装置位于手柄装置的在手附近的远端处。在一些实施方式中,用于检测的装置位于基部装置的基部部分的远端处,并且基部部分大致平行于手柄装置的中心轴线延伸。
附图说明
图1是根据一些实施方式的可以与本文公开的一个或多个特征一起使用的远程操作系统的示例实施方式的图解说明;
图2是根据一些实施方式的如图1所示的示例用户控制系统的前视图;
图3是根据一些实施方式的可以包括本文描述的一个或多个特征的控制输入设备的示例部分的透视图;
图4是根据一些实施方式的包括存在感测系统的示例实施方式的控制输入设备的示例部分的透视图;
图5和图6分别是根据一些实施方式的图4的示例控制输入设备的俯视图和侧视图;
图7是根据一些实施方式的图4的示例控制输入设备的侧视图,其中存在传感器位于手柄的远端;
图8是根据一些实施方式的图4的控制输入设备的示例部分的侧视图,其中存在传感器位于手柄的基部构件端部;
图9是示出根据一些实施方式的检测用户的手的存在以操作控制输入设备的示例方法的流程图;
图10是示出根据一些实施方式的基于存在传感器数据来确定和/或调整存在感测特征和/或其他系统特征的示例方法的流程图;并且
图11是可以用于本文描述的一个或多个实施方式的示例控制系统的框图。
具体实施方式
本文描述的一个或多个实施方式涉及具有手存在感测系统的控制输入设备。手存在感测系统被配置为感测操作控制输入设备的手和/或定位成临近控制输入设备的手的存在。在一些实施方式中,控制输入设备包括手柄,该手柄被配置为在手柄的握持部分处被手动接触并且由用户的手在一个或多个自由度中移动。存在感测系统包括耦接到手柄和/或耦接到基部构件(其耦接到手柄)的一个或多个存在传感器。每个存在传感器具有感测场,并且感测场的部分位于手柄附近。在一些示例中,检测到感测场中的用户的手和/或检测到手操作手柄,致使系统进入控制模式,在控制模式中,控制输入设备可以控制操纵器设备的功能。
在各种实施方式中,存在传感器被配置为检测由传感器的感测场中的手的存在而被定向为穿过空间到达存在传感器的电磁辐射或超声波。在一些示例中,感测场的部分可以位于手柄的接近区域中,例如在操作手柄之前由朝向手柄移动的手移入的区域。手柄可以在感测场的外部,和/或手柄可以延伸到感测场中。感测场可以至少部分地定位在手柄的端部的前面。多个存在传感器可以各自提供感测场,例如在手柄的中心轴线的不同侧上。存在传感器可以是各种类型中的任何一种,包括电磁传感器(例如,飞行时间传感器)、热传感器(例如,热电堆传感器或热成像相机,其可操作以检测感测场中的手发射的红外辐射)、超声传感器等。
本文描述的特征提供了具有若干优点的控制输入设备。在一些现有系统中,缺少用户的手正在控制用户输入设备的肯定指示可能导致以下情况:其中操纵器设备由于对应的控制输入设备的移动而移动,但是控制输入设备移动是计划外的。例如,为了避免对操纵器设备的意外操纵,即使用户正在查看在其上示出有操纵器设备的图像的显示屏,只有在用户的手被正确定位以控制控制输入设备的情况下才启用控制输入设备对操纵器设备的控制。此外,如果控制输入设备上的马达被用于为用户提供触觉反馈,则可能存在以下情况:其中如果用户的手没有在控制输入设备上正确握持,则触觉反馈可能将控制输入设备推离用户的手。本文描述的特征提供了对控制输入设备上的用户的手或临近控制输入设备的用户的手的稳健检测,因此允许受控操纵器系统比不提供这种手存在检测的系统更安全地进入控制模式。
此外,在一些实施方式中,描述的控制输入设备可以通过使用非接触式传感器提供用户的手在控制输入设备的附近并且手的任何部分不接触控制设备表面的检测。这种非接触式传感器可以比许多类型的接触式传感器更可靠地感测手的存在。例如,这种附近检测允许对某些类型的控制输入设备进行更稳健的手检测,这些类型的控制输入设备不是使用与手的手掌直接接触而是与用户的指尖或其他手部分接触来操作的(例如,如果手包围控制输入设备周围的空间区域)。所描述的特征允许在操作这种控制输入设备时可靠地检测手的存在。特征还允许系统结合其他存在感测系统(例如,感测用户的头部或其他用户身体部分)来使用所描述的存在感测系统,以提供更稳健的用户存在检测。多个感测特征的这种使用可以允许更容易和更快速地检测用户存在于正确操作输入设备的方位。
此外,附近检测允许系统更稳健地确定进入或退出控制模式。例如,在控制输入设备附近检测到用户的手会警告系统用户想要握持控制输入设备手柄的意图。在一些实施方式中,可以检测手移动的方向,并且该检测到的手移动的方向允许进一步检测和确定用户意图。如果用户的手不在所定义的控制输入设备附近,或者当检测到手在相对于控制输入设备的方向(例如,在远离控制输入设备的方向)上移动时,手附近或手移动的方向的检测可以用于退出控制模式或不进入控制模式,视情况而定。
因此,存在感测系统的特征可以基于手运动来确定临近控制输入设备的手移动是否是偶然的或无意的。例如,如果没有临近控制输入设备检测到用户的手,则控制输入设备的偶然运动(例如,因为控制输入设备被用户的手以外的对象碰撞)可以被检测到并被忽略。此外,系统软件可以使用手检测信息来做出有关系统操作状态的决策,并在必要时通知可以触发动作(例如,系统操作状态改变)的安全算法。基于手运动检测到的用户意图可以提供用于显示的用户界面的特征、系统的其他功能、安全特征、省电特征等。例如,如果检测到使用控制输入设备的用户意图,则用户界面(和/或其他系统部件)可以从未通电或低功率状态被启动。
本文描述的各种实施方式是紧凑的、稳健的和廉价的。使用各种描述的特征,系统确定进入和退出控制模式变得更加容易、可靠和稳健。
本文使用的术语“中心”、“平行”、“垂直”、“对齐”或以度、赫兹或其他单位为单位的特定测量值不需要精确并且可以包括典型的工程公差。本文中的一些实施方式可以在它们在三维空间中的状态方面涉及各种对象。如本文所用,术语“方位”是指对象或对象的部分在三维空间中的位置(例如,沿笛卡尔X、Y、Z坐标的三个平移自由度)。如本文所用,术语“取向”是指对象或对象的部分的旋转放置(三个旋转自由度——例如,围绕笛卡尔X、Y和Z轴的滚转、俯仰和偏航)。如本文所用,术语“姿势”是指对象或对象的部分在至少一个平移自由度中的方位,以及该对象或对象的部分在至少一个旋转自由度中的取向(最多六个总自由度)。
如本文所提及的,机械接地的单元或设备在大型工作环境(例如,操作区域或房间)中的可能方位和取向运动受到限制。而且,这种单元运动学地耦接到地(例如,由控制台、支撑件或附接在地的其他对象机械地支撑)。如本文所用,术语“近侧”是指靠近(或更靠近)机械接地的元件,并且术语“远侧”是指远离(或更远离)机械接地的元件。
如本文所用,术语“手指”是指手的任何指,例如拇指、食指、中指、无名指或小指。
图1是可以与本文公开的一个或多个特征一起使用的示例远程操作外科手术系统100的图解说明。其他类型的控制系统或其他系统可以用于涉及所述特征的其他实施方式中。远程操作外科手术系统100包括用户控制系统(例如,外科医生的控制台)102和操纵器系统104。
在该示例中,用户控制系统(例如,外科医生的控制台)102包括查看器213(图2中所示),其中在使用系统100的操作程序期间显示工作部位的图像。例如,图像可以由显示设备(诸如一个或多个显示屏)显示,以在外科手术程序期间描绘外科手术部位。提供支撑件110,用户112(例如,操作员,诸如外科医生)可以将前臂搁置在支撑件110上,同时握持两个控制输入设备210和212(如图2所示),每只手中一个。控制输入设备可以定位在工作空间114中,工作空间114设置成向内超过支撑件110。当使用用户控制系统102时,用户112可以坐在控制系统102前面的椅子中,将用户的头部/眼睛定位在查看器的前面,并且握持控制输入设备210和212,每只手中一个,同时将前臂搁置在支撑件110上。下面参考图2描述附加示例细节。
远程操作系统100还可以包括可以由用户控制系统102控制的操纵器系统104。例如,操纵器系统104可以是或包括操纵器设备。在所示的一些实施方式中,在外科手术程序期间,操纵器系统104可以定位成靠近手术台工作部位上的患者以进行外科手术(或靠近其他到其他类型的工作部位),在该工作部位中其可以保持静止直到特定的外科手术程序或程序阶段完成。
操纵器系统104可以包括一个或多个操纵器臂组件120。在一些示例中,臂组件120可以包括可旋转地彼此耦接的多个连杆。臂组件的部分可以用马达致动并围绕旋转轴线感测。在一些示例中,臂组件120中的一个或多个可以被配置为保持图像捕获设备,例如内窥镜122,其可以提供外科手术部位的部分的所捕获的图像。在一些实施方式中,所捕获的图像可以被传输到用户控制系统102的查看器和/或被传输到一个或多个其他显示器,例如耦接到操纵器系统104的显示器124。
在一些示例中,臂组件120中的一个或多个可以各自包括外科手术器械126。每个外科手术器械126可以包括外科手术末端执行器,例如用于治疗患者的组织。可以为末端执行器提供由例如相关联的臂组件的连杆构件的旋转、末端执行器机构的线性运动等所提供的自由度。臂组件中的部件可以用作力传输机构以接收远程操作伺服致动力并将接收到的力重定向以操作末端执行器的部件。末端执行器可以包括一个或多个马达或其他致动器,它们操作末端执行器的相关联的特征,诸如末端执行器的俯仰、偏航和/或滚转、打开钳口或移动末端执行器的刀片、输出通过连接管运输的材料(例如液体或其他流体)、吸力和/或多种其他末端执行器功能中的任何一种。末端执行器机构可以包括柔性元件、铰接的“蛇形”臂、可操纵的导向管、导管、手术刀或切割刀片、电外科手术元件(例如,单极或双极电子器械)、谐波切割器、剪刀、镊子、牵开器、扩张器、夹具、烧灼工具、针、针驱动器、吻合器、钻头、探针、内窥镜、光源、导向器、测量设备、血管密封器、腹腔镜工具或其他尖端、机构或设备。外科手术操纵器臂的一个示例是由加利福尼亚州桑尼维尔(Sunnyvale,California)的直观外科手术操作公司(Intuitive Surgical,Inc.)商业化的外科手术系统中的da
Figure BDA0003640272530000101
外科手术系统器械操纵器臂。
在该示例中,可以响应于对应的控制输入设备的操纵(例如在用户控制系统102处由用户112对控制输入设备210和212(图2所示)的操纵)而致使臂组件120移动和铰接外科手术器械126。这种布置允许用户112通过微创外科手术孔在内部外科手术部位处引导外科手术程序。例如,耦接到臂组件120的一个或多个致动器可以响应从用户控制系统102接收的控制信号而输出力以致使臂组件的连杆或其他部分在特定的自由度中移动。例如,臂和末端执行器在一个或多个自由度中的移动可以对应于由用户对相关联的控制输入设备手柄在一个或多个自由度中的移动。用户控制系统102可以在具有操纵器系统104的房间(例如,手术室)内使用,或者可以定位在离操纵器系统102更远的位置,例如在与操纵器系统不同的位置处。
远程操作系统100的一些实施方式可以提供不同的操作模式。在一些示例中,在远程操作系统100的非控制模式(例如,安全模式)中,操纵器系统104的受控运动与处于断开配置的用户控制系统102的控制输入设备断开,使得控制输入设备的移动和其他操纵不会致使操纵器系统104的运动。在远程操作系统的控制模式(例如,跟随模式,其中一个或多个操纵器器械或其他设备跟随对应的控制输入设备)中,操纵器系统104的运动可以由用户控制系统102的控制输入设备210和212控制,使得控制输入设备的移动和其他操纵致使操纵器系统104的运动(例如在外科手术程序期间)。
一些实施方式可以是或包括远程操作医疗系统,诸如由加利福尼亚州桑尼维尔(Sunnyvale,California)的直观外科手术操作公司(Intuitive Surgical,Inc.)商业化的da
Figure BDA0003640272530000111
外科手术系统(例如,型号IS3000或IS4000,销售为da Vinci
Figure BDA0003640272530000112
或da Vinci
Figure BDA0003640272530000113
外科手术系统)。然而,本文公开的特征可以以各种方式实施,包括在实施方式中经由电子控制信号至少部分地由计算机控制、经由直接物理操纵手动控制等。da
Figure BDA0003640272530000114
外科手术系统上的实施方式仅是示例性的并且不应被视为限制本文所公开的特征的范围。例如,在工作部位处具有操纵器设备的不同类型的远程操作系统可以利用本文所描述的致动受控特征。其他非远程操作系统也可以使用一个或多个描述的特征,例如各种类型的控制系统和设备、外围设备等。
在一些实施方式中,受控操纵器设备可以是设备的虚拟表示,例如呈现在由耦接到远程操作系统100的计算设备提供的图形模拟中。例如,用户可以操纵用户控制系统102的控制输入设备210和212来控制模拟的虚拟空间中的末端执行器的显示表示,类似地就好像末端执行器是耦接到物理操纵器设备的物理对象。
图2是如上文针对图1所描述的示例用户控制系统102的前视图。用户控制系统102包括查看器213,其中可以在使用远程操作系统100的程序期间显示工作部位的图像。例如,可以在外科手术程序期间显示描绘外科手术部位的图像。查看器213可以定位在查看凹部211内,用户可以在查看凹部中定位他或她的头部以查看由查看器213显示的图像。当使用用户控制系统102时,用户112可以坐在用户控制系统前面的椅子中并将他或她的头部定位在凹部211内,使得他或她的眼睛定位在查看器213的前面。
在一些实施方式中,一个或多个用户存在传感器214可以定位在用户控制系统102的一个或多个位置以检测位于用户控制系统102旁边或临近用户控制系统102的用户的存在。在该示例中,用户存在传感器214可以感测用户的头部在凹部211内的存在。例如,电磁传感器(例如,光学传感器)可用于存在传感器。在一些示例中,光学传感器可以包括发射器216和检测器218。发射器216从凹部211的一侧发射红外或其他波长光的光束,并且检测器218在凹部的另一侧上检测该光束。如果光束与检测器的检测中断,例如由于用户的头部阻挡光束,则系统确定用户的头部在凹部内并且用户处于使用用户控制系统102的控制输入设备的适当方位。可以在各种实施方式中使用附加或可替代类型的存在传感器。
提供两个控制输入设备210和212以用于用户操纵。在一些实施方式中,每个控制输入设备210和212可以被配置为控制运动并且使操纵器系统104的相关联的臂组件120起作用。例如,控制输入设备210或212可以在多个自由度中移动,以在对应的自由度中移动操纵器系统104的对应的末端执行器。在一些实施方式中,控制输入设备是可以在所有六个笛卡尔自由度中移动的手动输入设备。
控制输入设备210和212定位在工作空间114中,向内超过支撑件110。例如,用户112可以在握持两个控制输入设备210、212时搁置前臂,其中每只手握持一个控制输入设备。用户还将他或她的头部定位在查看凹部211内,以在操纵控制输入设备210和212时如上所述地查看查看器213。下面描述可以用作控制输入设备210和212的输入设备的部分的各种示例。
用户控制系统102的一些实施方式可以包括定位在控制输入设备210和212下方的一个或多个脚控件220。脚控件220在用户坐在用户控制系统102处时可以由用户的脚压下、滑动和/或以其他方式操纵以向远程操作系统输入各种命令。
图3是控制输入设备的示例控制器部分300的透视图,其可以包括本文所描述的一个或多个特征。在一些实施方式中,控制输入设备可以是系统的一部分,在该系统中,经由控制输入设备提供的用户输入被用于控制一个或多个可控设备功能。例如,该系统可以是远程操作系统,其中控制输入设备是或被包含于控制操纵器设备(例如,从设备)的主设备。例如,控制器部分300可以用作输入控制设备的一部分,该输入控制设备是如上面参考图1和图2所描述的控制输入设备210或212,或者部分300可以被包括在不同的控制设备中。在一些实施方式中,控制器部分300包括一个或多个万向节机构。
控制器部分300包括由用户接触以操纵控制输入设备的手柄302。在该示例中,手柄302包括两个握持件,每个握持构件包括手指环304和握持构件306(握持构件306a和306b)。两个握持构件306定位在手柄302的中心部分303的相对侧上,并且握持构件306可以被用户的手指抓握、保持或以其他方式接触。每个手指环304附接到相应握持构件306并且可以用于将用户的手指固定到相关联的握持构件306。在该示例中,手指接触件305可以连接或形成在握持构件306a和306b的未连接端部,以提供接触用户的手指的表面。用户还可以在抓握握持构件306时接触手柄302的其他部分。
每个握持构件306和手指环304可以在相关联的自由度308(例如,308a和308b)中移动。在一些示例中,握持构件306a和306b各自在相应旋转耦接装置处耦接到手柄302的中心部分303,从而允许握持构件分别围绕握持轴线307a和307b相对于中心部分303旋转移动。每个握持构件306a和306b可以分别围绕轴线307a在相关联的自由度308a中和围绕轴线307b在相关联的自由度308b中移动,例如,通过用户接触握持构件。例如,在一些实施方式中,握持构件306a和306b可以同时以夹钳类型的移动(例如,朝向或远离彼此)而移动。在各种实施方式中,可以提供单个握持构件306和手指环304,或者在自由度308中仅可以移动握持构件306中的一个而另一个握持构件306可以参照手柄302被固定。例如,握持构件306a和306b在它们的自由度中的方位可以控制末端执行器或其部件的对应的旋转方位。
一个或多个握持传感器(未示出)可以耦接到手柄302和/或控制器部分300的其他部件,并且可以检测握持构件306a和306b在它们的自由度308中的方位。握持传感器可以向远程操作系统100的一个或多个控制电路发送描述感测到的方位和/或运动的信号。在一些模式或实施方式中,控制电路可以将控制信号提供到操纵器设备,例如操纵器系统104。例如,握持构件306a和306b在自由度308a和308b中的方位可以用于控制操纵器系统104的末端执行器的各种自由度中的任何一个,本文描述了其一些示例。
控制器300的各种实施方式可以提供一个或多个主动致动器(例如,马达、音圈等)以在自由度308中在握持构件306上输出主动力。例如,传感器和/或致动器可以被容纳在中心部分303或外壳309中并且通过传输装置耦接到握持构件306。一些实施方式可以在握持构件306和手柄302的中心部分303之间提供一个或多个被动致动器(例如制动器)或弹簧,以在握持的特定方向上提供阻力(例如,在自由度308中在朝向彼此的方向上的移动)。
手柄302另外提供有围绕限定在手柄302的第一端部和第二端部之间的滚转轴线312的旋转自由度310。在该示例中,滚转轴线312是纵向轴线,其大致沿着手柄302的中心部分303的中心延伸。手柄302可以相对于控制器部分300的基部构件(诸如包括外壳309的基部构件)围绕轴线312旋转。例如,用户可以将握持构件306和中心部分303作为单个单元围绕轴线312相对于外壳309旋转,以提供对操纵器设备(诸如操纵器系统104的末端执行器或操纵器系统的其他元件)的控制。
一个或多个控制输入传感器(未示出)可以耦接到手柄302以检测手柄302在旋转自由度310中的取向。例如,传感器可以向远程操作系统100的控制电路发送描述取向的信号,该远程操作系统100可以与上述类似地向操纵器系统104提供控制信号。例如,手柄302在自由度310中的旋转可以控制操纵器系统104的末端执行器的特定自由度,该自由度不同于由握持构件306的自由度308控制的操纵器自由度。
控制器部分300的一些实施方式可以提供一个或多个致动器以在旋转自由度310中在手柄302(包括握持构件306和手指环304)上输出力。例如,传感器和/或致动器可以被容纳在外壳309中并且通过延伸穿过手柄302的中心部分303的轴耦接到手柄302。
在各种实施方式中,手柄302可以提供有附加自由度。例如,可以在肘形连杆324和连杆326之间的旋转耦接装置处向手柄302提供围绕偏航轴线322的旋转自由度320,其中肘形连杆324耦接到手柄302(例如,在外壳309处)。在该示例中,偏航轴线322与滚转轴线312相交并正交。例如,偏航轴线322可以类似于图2中所示的轴线232。可以类似地提供附加自由度。例如,连杆326可以是肘形的并且可以在连杆326的另一端部和另一个连杆(未示出)之间提供旋转耦接装置。围绕轴线330的旋转自由度328可以在旋转耦接装置处提供到手柄302。例如,轴线330可以类似于图2中所示的轴线230。在一些示例中,控制器部分300可以允许手柄302在用户控制系统102的工作空间114内以多个自由度移动,例如包括三个旋转自由度和三个平移自由度的六个自由度。一个或多个附加自由度可以由相关联的控制输入传感器感测和/或由致动器(马达等)致动,类似于上文针对自由度308和310所描述的,传感器和致动器耦接到部分300。在各种实施方式中,传感器可以感测手柄在一个自由度中的方位,或者感测手柄在一个自由度中的取向,或者感测手柄在多个自由度中的方位和取向。例如,平移自由度中的方位和旋转自由度中的取向可以由相关联的控制输入传感器的一个或多个控制输入传感器感测。在一些示例中,平移自由度中的方位和/或旋转自由度中的取向可以从耦接到手柄302的部件(联动装置的连杆)的旋转(例如,如由旋转传感器感测的)中得出。一些实施方式可以包括可以直接感测耦接到手柄302的一个或多个部件的平移运动的线性传感器。在一些实施方式中,手柄302的每个附加自由度可以控制操纵器系统104的末端执行器的不同操纵器自由度(或其他运动)。
在示例实施方式中,手柄302机械接地,即由运动学链支撑在空间中,该运动学链具有在机械接地(诸如地板、墙壁或天花板)处静止的端部。例如,外壳309可以耦接到机械联动装置,该机械联动装置耦接到地或对象(该对象连接到地),从而为手控制器部分300的使用提供稳定的平台。例如,接地机械联动装置可以连接到基部构件,例如通过一个或多个旋转耦接装置、球接头或其他耦接装置(包括线性接头)。机械联动装置可以为手柄302提供六个或更多个自由度。在一些实施方式中,联动装置中的一个或多个连杆可以包括连杆324和326。
在一些示例中,基部构件可以耦接到串联运动学链,串联运动学链的近端机械接地。运动学链可以包括多个构件或连杆,这些构件或连杆可旋转地耦接到链的一个或多个其他构件或连杆,例如通过旋转耦接装置或线性耦接装置。链的旋转轴线可以由传感器和/或致动器感测和/或驱动。一些实施方式可以提供运动学链的附加致动的和/或感测到的运动,例如围绕纵向延伸穿过一个或多个构件的轴线。在一些实施方式中,运动学链的多个构件形成允许手柄302围绕链的旋转轴线旋转的万向节机构。在一些实施方式中,手柄302还可以在运动学链允许的至少三个线性自由度中平移。
在各种实施方式中,各种运动学链、联动装置、万向节机构、柔性结构或这些中的两个或更多个的组合可以与机械接地的手控制器一起使用,以向手控制器提供一个或多个自由度。这种实施方式的一些示例在专利号US 6,714,839B2中进行了描述,该专利通过引用并入本文。
在所描述的示例中,手柄302包括一个或多个控制开关350,例如,其耦接到中心部分303或耦接到中心部分303内的机构。例如,两个控制开关350可以定位在轴线312的相对侧上,和/或可以提供附加控制开关。在一些示例中,控制开关350具有可以平行于轴线312滑动的部分,例如如用户的手指所定向的,或者可以按下控制开关部分。在一些实施方式中,控制开关350可以移动到各种方位以提供特定的命令信号,例如以选择控制台和/或控制输入设备的功能、选项或模式(例如,如本文所描述的控制模式或非控制模式),以命令从设备或与控制输入设备通信的其他系统等。在一些实施方式中,控制开关350中的一个或多个可以实施为按钮(例如,在诸如垂直于轴线312的方向或其他方向上被按下)、旋转拨盘、垂直于轴线312移动的开关或其他类型的输入控件。控制开关350可以使用电磁传感器、机械开关、磁传感器或其他类型的传感器来检测开关的方位。
手柄302还包括手存在感测系统,该手存在感测系统包括一个或多个存在传感器,该存在传感器可以检测操作手柄的用户的手的存在、检测用户的手接近或离开手柄、检测手接近或离开手柄以及操作手柄的用户手的存在等。下面关于图4至图8描述了存在传感器的各种实施方式。
本文描述的一个或多个特征可以与其他类型的控制输入设备一起使用。例如,控制器部分300可以是机械不接地的控制输入设备或者是其一部分,该机械不接地的控制输入设备在空间中自由移动并且与地断开。如本文所用,机械不接地的控制输入设备是指在工作环境(例如,操作区域或房间)中相对于可能的方位和取向运动不受约束的控制输入设备。此外,这样的控制设备在运动学上与地分离,例如不由控制台、支撑件或附接到地的其他对象机械地支撑。在一些实施方式中,机械不接地的控制设备可以与一个或多个相关联的部件(诸如控制处理器、数据源、传感器、电源等)进行栓系(tethered)连接或非栓系连接。例如,控制设备可以被栓系,例如经由缆线或丝物理地连接到这些部件,或者不被栓系,例如不被物理地连接到此类部件并且经由无线通信信号与这些部件通信。
在一些示例中,类似于手柄302的一个或多个手柄和/或握持构件306可以耦接到佩戴在用户的手上并且不接地的机构,从而允许用户在空间中自由地移动握持件。在一些示例中,握持件相对于彼此和/或相对于手柄的其他部分的方位可以通过将握持件耦接在一起并限制它们相对于彼此的运动的机构来感测。一些实施方式可以使用用户的手佩戴的手套结构。此外,一些实施方式可以使用耦接到其他结构的传感器来感测空间内的握持件,例如使用可以检测3D空间中的运动的视频相机或其他传感器。不接地的控制输入设备的一些示例在专利号US 8,543,240 B2(2010年9月21日提交)和US 8,521,331 B2(2008年11月13日提交)中进行了描述,这两个专利均通过整体引用并入本文。
图4是包括存在感测系统的示例实施方式的控制输入设备的控制器部分400的示例实施方式的透视图。图5是控制器部分400的俯视平面图,并且图6是控制器部分400的侧视图。
在一些实施方式中,控制器部分400可以实施为上面关于图3描述的控制部分300,或者可以被包括在不同的输入控制设备中。
控制器部分400包括耦接到基部构件408的手柄402(以横截面示出),手柄402可以类似于针对图3描述的手柄302和外壳309。
手柄402包括第一端部(近端)404、与第一端部相对的第二端部(远端)405以及限定在第一端部和第二端部之间的中心轴线412。中心部分407可以在近端404和远端405之间延伸。手柄402(例如,滚转构件)可以相对于基部构件408以滚转自由度413围绕中心轴线412旋转。在一些实施方式中,手柄402可以包括握持构件406,类似于图3的握持构件306,握持构件406旋转地耦接到沿着中心轴线412延伸的中心部分407。类似于针对图3所描述的,中心部分407被配置为在手握持手柄期间被定位在手的至少两个手指之间。一个或多个控制输入传感器(例如,滚转传感器)可以耦接到控制器部分400并检测手柄402围绕轴线412的滚转(旋转)取向。滚转传感器可以将描述感测到的取向和/或运动的信号发送到远程操作系统100的控制电路。在一些模式或实施方式中,控制电路可以向操纵器系统104提供控制信号。在一些实施方式中,致动器(例如,马达)可以用于驱动手柄402围绕中心轴线412的旋转。
基部构件408旋转地耦接到手柄402,允许手柄402相对于基部构件408围绕轴线412旋转。基部构件408可以具有各种形状并且可以包括各种配置中的部分或延伸部。在示例实施方式中,基部构件408机械地耦接到地,使得手柄402例如经由一个或多个连杆(例如如上所描述的连杆324和326)机械地接地。在其他实施方式中,基部构件408机械不接地。
在图4的示例中,基部构件408包括第一基部部分420、第二基部部分421和第三基部部分422。第一基部部分420可旋转地耦接到手柄402。第二基部部分421从第一基部部分420延伸。在各种实施方式中,第二基部部分421如图所示大致正交于手柄402的中心轴线412延伸,或者可以相对于中心轴线412以其他角度延伸。第三基部部分422从第二基部部分延伸。在各种实施方式中,第三基部部分422可以大致平行于手柄402的中心轴线412延伸,或者可以相对于中心轴线412以其他角度延伸。例如,平行部分422的远端(例如,部分)424可以旋转地耦接到另一个基部构件,类似于针对图3所描述的。
控制器部分400包括耦接到基部构件408的平行部分422的存在感测系统430。存在感测系统430包括一个或多个存在感测器,其感测空间中的一个或多个感测场中的对象。本文中,“感测场”可以包括多个单独的感测场,例如每个单独的感测场由多个传感器中的对应的一个提供。在一些实施方式中,存在感测系统430的(一个或多个)传感器检测感测场中的对象的存在。例如,传感器可以检测由传感器的感测场中对象(诸如手)的存在而被定向为穿过空间到达传感器的电磁辐射(或超声波,如下所描述)。响应于检测到对象,存在传感器生成一个或多个信号,这些信号被发送到用于控制输入设备的控制电路。例如,在一些实施方式中,信号可以包括参数,例如指示检测到对象的值和/或对应于对象(例如,手)和存在传感器(或其他参考位置)之间的可变距离的值。参数还可以或替代地指示其他特性,例如对象的速度。
在图4的示例中,存在传感器440和442(如下所描述)被使用并且被定位在平行于中心轴线412延伸的平行部分422的远端(例如,部分)424处。例如,远端424可以比平行部分422的近端(例如,部分)425更靠近远端405。在一些实施方式中,存在感测系统430可以包括在控制器部分400的一个或多个其他位置处的一个或多个可选传感器。在一些示例中,一个或多个可选传感器450定位在手柄402的远端405处,如下面关于图7所描述的。在一些实施方式中,一个或多个传感器460定位在基部构件408的基部部分420上,如下面关于图8所描述的。
在一些实施方式中,(一个或多个)存在传感器使用穿过空间的直接线性查看来检测手,使得手的至少一部分应该在到传感器的线性查看路径中不受阻碍以允许检测。存在传感器被放置成使得手柄402和控制器部分400的部件不会阻碍感测场。因此,传感器440、442、450和460的示例放置位置提供了不受阻碍的感测场,以在控制输入设备的其操作期间检测手的至少一部分,和/或检测临近手柄402的手。在这个示例中,存在传感器也被放置成使得随着手接近手柄(用于检测手接近或附近)以及当手处于操作手柄的方位时(用于检测操作方位中的手存在)手必须被定位在感测场内。
在一些实施方式中,如图4的示例所示,传感器440和442分别提供被定向到临近手柄402的不同空间区域的两个单独的感测场432和434(例如,视场)。在该示例中,感测场432被定向到在中心轴线412的第一侧(例如,在手柄402的中心部分407和握持构件406的第一侧)上的空间区域,并且感测场434被定向到在中心轴线412的第二侧(例如,在中心部分407和握持构件406的第二侧)上的不同空间区域。例如,不同侧可以是延伸穿过中心轴线412的竖直平面的不同侧。例如,竖直平面可以参考图4或图6在竖直方向上取向。在一些实施方式中,相对于定位在远端405的一侧上的用户,第一侧可以是延伸穿过中心轴线412和中心部分407的竖直平面的左侧,并且第二侧可以是延伸穿过中心轴线412和中心部分407的竖直平面的右侧。
由定位在平行部分422上的传感器440和442提供的如上所描述的分别定位在中心轴线412的左侧和右侧的感测场432和434的示例在图5中示出。在该示例中,感测场不重叠,并且中心轴线412在感测场432和434之间延伸而不进入感测场或与任一个感测场相交。
附加地或可替代地,感测场432和434可以从用户的视角至少部分地定位在手柄402的前面,例如在手柄402的远端405和用户之间。例如,如图5所示,感测场432和434被定为到中心轴线412的两侧并且部分地定位在远端405的前面,使得感测场432和434的中心轴线436和438分别在手柄402的远端405的前面。
在一些实施方式中,如图6所示,感测场432和434至少部分地定位在延伸经过手柄402的端部的空间区域中。例如,感测场432和434可以相对于用户至少部分地定位在手柄402的远端405的前面(例如,如图5所示,到轴线412的任一侧或两侧)。
在一些实施方式中,传感器440可以提供感测场432并且传感器442可以提供感测场434。在一些实施方式中,单个传感器可以提供多个单独的感测场,例如感测场432和434和/或附加感测场。在一些实施方式中,感测场可以是多个单独的感测场的组合。在所示的实施方式中,存在感测系统的传感器(包括传感器432和434)不位于在控制输入设备的操作期间被手接触的手柄的表面上,它们也不感测用户与手柄的这种接触表面的这种接触。
操作手柄402的手的手指可以如图所示接触握持构件406,使得操作手存在于感测场432和434中的至少一个中。例如,感测场被定位成使得响应于手的一个或多个手指触摸两个握持构件中的任一个而将手包括在感测场中。
(一个或多个)感测场被配置为响应于手的一个或多个手指触摸两个握持构件406中的任一个而包括手的至少一部分。因此,图4至图6的示例中,感测场432和434在中心轴线412的两侧上的方位允许这些场在手操作控制输入设备时感测用户的手的部分。在一些实施方式中,如果在操作期间手的手指(或一个或多个手指的部分)在感测场432和434之外,则可以感测更靠近手腕的手部分(例如,手的手掌部分的一侧)。
在一些实施方式中,传感器的左右放置可以提供比居中以直接指向远端405或直接在远端405前面(例如,相交轴线412)的传感器更稳健的感测。例如,居中传感器的一些实施方式的缺点是在一些手握持配置中,居中感测场可能位于用户手指之间的间隙中并且错失手的检测。左右放置允许传感器检测到握持机构406的两侧的区域,例如而不检测远端405。在一些实施方式中,可以使用指向远端405的单个传感器,例如如果传感器的感测场足够宽以在各种可能的手握持配置中检测手。
在一些实施方式中,如图4至图6所示,当手在操作手柄之前朝向手柄移动时,感测场的至少一部分位于手的接近区域或路径中。例如,随着手以用户意图操作手柄而接近手柄,手进入感测场中的一个或多个。在一些实施方式中,感测场具有取向和/或尺寸,使得可以在特定指定区域之内和之外感测(例如在如本文所描述的指定阈值距离之内或大于指定阈值距离来感测)对象(诸如手)。
感测场432和434的取向、尺寸和/或形状可以基于用于检测用户手的存在的传感器440和442的类型。下面描述可以用于传感器440和442的传感器类型的一些示例。
在一些实施方式中,每个感测场432和434可以成形为锥体。例如,感测场432可以在传感器440处具有特定宽度并且在远离传感器440的方向上宽度增加,并且类似的感测场434可以由传感器442提供。本文中,术语“锥体”或“锥体的”是指大致锥体形状,其不需要精确的锥体几何形状,例如在锥体感测场中可以包括制造公差、干涉图案、由于诸如手柄402的障碍物引起的翘曲或其他容差。此外,该术语可以指具有圆形横截面的锥体,以及或可替代地具有其他形状的横截面,例如椭圆形、卵形、矩形、正方形、三角形等。在一些实施方式中,每个感测场432和434可以成形为圆柱体、矩形或其他形状。每个锥体具有由相关联的传感器440或442的感测范围限制的深度和体积。在一些实施方式中,感测场形状可以制成更宽或更窄,例如如适当地覆盖手柄402的远端405附近和/或与手柄402的远端405相交的区域。在一些实施方式中,感测场可以被限制为特定尺寸,例如深度和/或体积,其可以小于传感器的传感器能力。例如,可以将深度限制为距传感器的特定距离,在该距离处传感器可以检测到其感测场中的对象。在一些示例中,感测场可以被限制(例如在深度和/或体积上)成使得控制输入设备的其他部分或部件(或包括控制输入设备的系统的部件)不会潜在地被错误地检测为手。
在一些实施方式中,感测场432和434可以部分重叠。例如,在图5的替代实施方式中,感测场432和434可以在手柄402的远端405的前面重叠,使得中心轴线412延伸穿过感测场432和434两者。
在一些实施方式中,手柄402在感测场432和434附近并且在感测场432和434外部(例如,在其之外)。在一些示例中,手柄402不存在于并且不延伸到感测场中。对于检测从感测场中的对象反射的电磁辐射信号的某些类型的传感器,在感测场外部的手柄仅允许存在于感测场中的新对象反射信号。
在一些实施方式中,手柄402的一部分可以延伸到存在感测系统的一个或多个感测场中,例如延伸到感测场432和434中,使得手柄402与感测场中的一个或多个相交。例如,手柄402的远端405可以延伸到感测场432和434中的一个或两个中。对于某些类型的传感器,由手柄402的部件引起的反射信号可以被标准化,使得这种手柄部件402被忽略,并且由飞行时间传感器检测位于感测场内的新对象。
感测场432和434具有相对于手柄402的中心轴线412固定(例如相对于手柄402的空间方位固定)的空间方位。在一些示例中,发射感测场432和434的传感器440和442定位在基部构件408的平行部分422上,该平行部分422相对于中心轴线412固定。因此,感测场432和434可以相对于中心轴线412感测这些空间区域,而不管手柄402的中心轴线412在空间中的方位如何,并且不管手柄402在其自由度中的移动。例如,如果手柄402可以在与另一个连杆(类似于图3中的轴线322)的旋转耦接装置处围绕轴线435旋转,则感测场432和434与手柄402一起围绕轴线435旋转。手柄402也可以围绕中心轴线412旋转,并且该旋转相对于中心轴线412、感测场432和434以及基部构件408。
每个单独的传感器440和442的感测场的尺寸(例如,体积和/或深度)通常是被限制的。与当使用单个传感器的感测场时相比,使用两个感测场432和434允许存在感测系统430的感测场延伸到更大的总尺寸(例如,大体积和/或更大范围)。该实施方式中的总感测场被延伸以覆盖手柄402的中心轴线412的两侧上的区域。
在一些实施方式中,感测场432和/或434的部分可以例如通过选择发射感测场的传感器的特定设置而被阻挡或在尺寸或维度上进行调整。在一些实施方式中,传感器440和442中的一个或多个可以被物理掩蔽以阻挡传感器的经标准化的感测场的部分被感测。例如,这可以防止传感器检测到要被忽略的对象,诸如握持构件406或手柄402的其他部件。
在使用多个感测场的一些实施方式中,如在使用感测场432和434的图4的示例中,手(或其他对象)可以在感测场中的一个感测场中被检测到并且在另外(一个或多个)感测场中可能不会被检测到。在一些实施方式中,如果在一个感测场中检测到手并且不在另一个感测场中检测到手,则进行检测,例如对象的检测被认为已经发生。在其他实施方式中,手的检测需要在两个(或所有)感测场中检测到手。
存在感测系统对手的检测可以在手接触控制输入设备时发生,例如在手操作控制输入设备期间,和/或可以在手不接触控制输入设备时发生,例如在手接近或离开控制输入设备时。在一些实施方式中,存在感测系统可以执行多种类型的手检测,例如手接近控制输入设备的第一类型的检测,以及手在可以由手操作控制输入设备的操作方位中的第二类型的检测。
在图4至图6的配置中的感测场432和434的一个优点是这些场被取向成使得用户的手随着手接近手柄402例如以操作手柄而进入和/或定位在一个或两个感测场内。因此,存在感测系统430可以在手已经接触手柄402(包括接触握持件406或中心部分407)之前和/或在手已经释放与手柄402的接触之后检测到手的存在。在一些实施方式中,感测系统430可以在手接触控制输入设备部分400的任何部分之前(或之后)检测到手。例如,系统可以使用非接触式手检测来启用控制输入设备的特定相关联的功能(例如,为特定系统上电)、跟踪手以确定手的轨迹并预测与手柄的接触等,其中一些示例如下所描述。
如图4至图6所示的感测场432和434的配置还或替代地感测操作手柄402的手的存在。例如,在手抓握两个握持构件406时,手延伸到手柄402两侧和前面的一个或两个感测场432和434中。这种感测场配置可以与系统的任何控制输入设备一起使用,而无需针对由左手或右手操作手柄402进行改变,因为中心轴线412的左侧和右侧都被感测到(例如,手的存在可以在中心轴线412的特定侧更容易检测到,该特定侧取决于左手还是右手操作手柄402)。手的检测发生在手柄402围绕中心轴线412的任何旋转方位处,因为手的一部分延伸到手柄402的一侧或两侧中,其中感测场432和434存在于任何这样的旋转方位处。此外,如图6所示,感测场432和434的一部分在手柄402的远端405下方延伸,从而允许传感器440和442感测用户的手的(一个或多个)手指(例如拇指),用户的手可以在手柄402围绕中心轴线412的若干方位中在中心轴线412下方延伸。
与接触式传感器或检测在手柄表面上或非常临近手柄表面的存在的传感器相比,所描述的实施方式的(一个或多个)感测场是有利的,因为当手的手指在手柄402的操作期间被抬离握持构件406(例如,手指环内)时、当手指在操作期间改变方位时(例如,使得只有指尖或其他手指部分接触手柄),和/或当手指改变方位并将手柄402围绕轴线412旋转到不在传感器的感测范围内的旋转方位时,前者传感器可能不会检测到手。例如,在一些控制系统实施方式中,用户可以调整手的手指以获得抓握方位,该握持方位致使控制输入设备将其方位和取向匹配到受控操纵器设备(诸如器械末端执行器)。接触式传感器必须感测手柄402的大表面积上的许多表面以感测这种不同的手方位,并且这样的传感器可能无法检测一些手方位。因此,用户可能仍在控制操纵器设备并希望保持在控制输入设备和操纵器设备之间的控制模式中,但是具有这种接触式传感器的系统在刚刚描述的情况下可能不会感测到用户的接触并且可能停用控制模式。
在一些实施方式中,来自多个传感器和/或感测场(诸如感测场432和434)的检测可以组合使用以检测用户的手。例如,从多个传感器检测到的测量的距离和/或速度可以在各种实施方式中用于检测。在第一示例实施方式中,可以使用描述检测到的感测场中的对象(例如手)的方位的方位值(例如,距离值)。例如,如果两个传感器440和442都测量到满足阈值的检测到的对象的距离值(例如,在距参考位置的低于距离阈值的距离处检测到对象),则认为检测到手,否则没有检测到手。在不同的实施方式中,如果测量的距离值之一满足阈值,则认为检测到手,否则认为没有检测到手。在一些实施方式中,可以使用不同的距离阈值。例如,更靠近手柄的第一距离阈值可以用于检测手正在接触和/或操作手柄,并且比第一距离阈值更远离手柄的第二距离阈值可以用于检测附近存在手,例如检测未接触手柄的手和/或检测手是否可能接近或离开手柄等。在一些示例中,附近存在的检测可以用于警告系统手可能快要操作手柄、激活系统的其他相关联的功能等,下面描述其中的一些示例。
在附加示例实施方式中,可以使用由传感器感测到的对象的速度。例如,如果两个传感器440和442都感测到手并且两个传感器都测量到满足(例如,低于)速度阈值的手的速度,则认为检测到手,否则认为没有检测到手。在不同的实施方式中,如果两个传感器都感测到手并且测量的速度值之一满足阈值,则认为检测到手,否则认为没有检测到手。
在附加示例实施方式中,可以使用由传感器感测到的对象的方位(例如,距离)和速度的组合。例如,如果两个传感器440和442都测量到满足距离阈值的距离和满足速度阈值的速度,则认为检测到手,否则没有检测到手。在不同的实施方式中,如果两个传感器都测量到满足距离阈值的距离或满足速度阈值的速度,则认为检测到手,否则没有检测到手。在不同的实施方式中,如果测量的距离值之一满足距离阈值并且速度值之一满足速度阈值,则认为检测到手,否则没有检测到手。可以使用其他变体和排列。在一些实施方式中,可以使用多于两个的传感器和/或感测场,从而允许使用传感器或感测场的全部或子集进行的距离和/或速度检测(相对于阈值)的附加组合来确定是否认为检测到手。
在使用多个(例如,两个)感测场的一些实施方式中,对象(例如,手)可以在感测场中的一个感测场中被检测到并且在另一个感测场中没有检测到。在一些实施方式中,手的检测需要在控制输入设备的多个(或所有)感测场中检测到手。在其他实施方式中,如果在一个感测场中检测到手并且在另一个感测场中没有检测到手,则认为检测已经发生。例如,在一些实施方式中,由于相对于传感器场相对于手柄的放置的不同手姿势,只有感测场中的一个感测场可以能够检测到手。在一些示例中,在右手控制输入设备上,右传感器(例如,图5的传感器442)可以检测到右手,并且左传感器(例如,图5的传感器440)可能不会检测到右手,对于左手控制输入设备的情况相反。如果仅由一个特定传感器(例如,右手控制输入设备上的右传感器,或左手控制输入设备上的左传感器)检测到对象,则这样的系统可以被配置为指示手检测已经发生。
在一些实施方式中,可以提供附加传感器(例如,每个控制输入设备上的两个或更多个右传感器442和两个或更多个左传感器440)。在某些示例中,两个右传感器都必须感测到手,才能将其视为手检测。这允许检测中的冗余和传感器故障检测。
传感器440和442位于基部构件408的平行部分422上,并且不在手柄402的远端405上,从而允许传感器电子装置在基部构件408上更容易被容纳、供电和/或通信(例如,经由物理连接器和/或电线),而不是在较小手柄402的旋转端部上。
在各种实施方式中,可以使用各种类型的传感器440和442,例如在感测场中感测对象的非接触式传感器。在某些实施方式中,这些传感器可以提供比接触式传感器更稳健的感测,例如无论手是否戴手套或湿/干,它们都可以感测手,并且它们更能耐受附近的电场、磁场或能量输出。
在各种实施方式中,传感器440和442可以感测由场中的对象反射的能量(例如,光学飞行时间、反射激光或超声传感器)、感测由传感器场中的对象辐射的能量(例如,在红外光谱中的热能),或感测其他物理量(例如,物理压力、电容改变等)。能量或其他物理量可以被直接检测(例如,成像相机)或通过其引起的效应间接检测(例如,热电堆传感器)。
例如,在一些实施方式中,可以使用电磁传感器(例如,光学传感器、红外传感器等),其能够检测各种波长范围的电磁辐射中的任一种,包括可见光、红外光等。在一些示例中,电磁传感器包括在感测场中发射电磁信号的发射器和检测从感测场中的对象反射的电磁信号(或其一部分)的检测器。例如,传感器440和442可以是光学飞行时间传感器,其通过基于电磁信号的发射与已经被对象反射后到传感器的电磁信号的返回之间的测量时间差异来测量对象的方位来检测对象,该方位是传感器和传感器的感测场中的对象之间的距离。由于飞行时间传感器可以检测手到传感器的距离,因此系统可以通过不断确定感测到的对象的距离来确定手的移动方向。通过这种方式,传感器可以检测到手是在接近手柄402还是在远离手柄402移动。在一些实施方式中,该检测可以用于确定用户是否意图操作控制输入设备,例如,朝向手柄的接近方向指示这种意图。在一些实施方式中,如果确定用户不意图操作控制输入设备,则不向一些系统部件供电(例如,显示器不提供视觉输出、马达不通电等),直到经由检测到的手朝向手柄的方向而检测到这种意图。
此外,在一些实施方式中,还可以确定检测到的对象的速度。在一些示例中,可以基于检测到的对象的方位(例如,到参考位置的距离)随时间的差异(指示对象随时间移动的距离)来确定速度。例如,速度可以用于确定用户意图操作控制输入设备。在一些示例中,检测到的对象的方向由所确定的速度指示,例如,正速度指示对象正在远离控制输入设备移动,并且负速度指示朝向控制输入设备移动。例如,如果检测到的对象正在快速远离移动(例如,超过速度阈值的大的正的所确定的速度),则系统可以基于速度确定退出控制模式,而无论对象距控制输入设备或传感器的方位(例如,距离)如何。如果检测到的对象缓慢远离移动(例如,小于速度阈值的小的正的所确定的速度),则对象的方位(例如,距离)也可以用于确定是否退出控制模式(例如,到手柄参考位置的距离阈值之外的方位可以导致退出控制模式)。在一些示例中,较快的速度可以指示较强的用户意图,和/或可以用于确定是否继续监测手的方位以确定这样的用户意图。例如,如果检测到对象(例如,手)的较慢速度并且手距参考位置有阈值距离(例如,距检测手的传感器、距手柄或距另一个参考位置的阈值距离),则在确定用户意图操作控制输入设备之前,系统可以等待并感测与对象方位或速度相关的更多数据。
在一些实施方式中,可以使用一个或多个热电堆传感器。热电堆传感器包括检测器,该检测器检测由位于传感器的相关联的感测场中的对象发射的红外辐射。传感器根据其感测场中不同温度的对象的存在来检测热改变,例如温差改变。由手发射的红外辐射通常比可能位于感测场中的其他对象或部件(例如,在一些实施方式中的手柄的部分)强得多(更暖)。在一些实施方式中,可以辐射更大热量(诸如来自手的最低热量估计的阈值范围内的热量)的手柄部分可以定位在感测场的外部。
热电堆传感器的感测场可以是锥体或与上述类似的其他形状。热电堆传感器可以放置在手柄402、基部构件408和/或其他附接连杆上的任何各种位置。例如,一个或多个热电堆传感器可以位于存在传感器的任何位置并提供图4至图8所示的感测场。
在一些实施方式中,传感器440和/或442是热成像相机(例如,热图相机)。例如,热成像相机可以感测来自位于相机的感测场中的较暖温度的红外辐射,并基于感测到的辐射提供数据,这些数据可以处理成二维(2D)图像。因此,热成像相机检测到位于热成像相机的感测场中的身体部分(诸如手)的存在。在一些实施方式中,热成像相机的感测场被定向到涵盖图4至图6所示的感测场432和434的区域上方。在一些实施方式中,手柄402的一个或多个部件(诸如手柄的远端405)可以位于热成像相机的感测场中。例如,来自这些部件的热量可以被系统忽略,并且从位于感测场中的对象(诸如手)发射的热量通过通常更大而可区分。在一些实施方式中,检测到的不是系统的部件并且被检测到发射低于阈值热量(如与手相关联)的对象作为不是手的对象被忽略。一个或多个热成像相机可以位于存在传感器的任何位置,并提供图4至图8中所示的感测场。
热成像相机可以感测和存储感测场的连续帧或捕获的图像,从而允许相机感测所感测到的对象随时间的运动方向。通过分析这样的连续帧,系统可以确定手是朝向手柄402移动还是远离手柄402移动。此外,在一些实施方式中,也可以确定检测到的对象的速度(其可以包括移动方向),类似于上面针对飞行时间传感器所描述的。
在一些实施方式中,红外传感器可以在其感测场中在对象处发射红外光束,并检测从感测场中的对象的表面反射的光束以检测对象。在一些实施方式中,电磁传感器可以检测反射的电磁辐射的光束的幅度以确定反射光束的表面到传感器的距离(例如,幅度越大,到对象的距离越小)。
在一些实施方式中,可以在存在感测系统中使用一个或多个超声传感器。超声传感器发射超声波,该超声波到达对象并从对象反射。传感器接收反射波,并且从传感器到对象的距离基于波的传播时间来确定。在一些实施方式中,超声传感器可以检测反射的声脉冲的幅度以指示传感器元件距传感器或传感器阵列的距离(反射幅度越低,距离越长)。超声传感器可以位于本文图4至图8中描述的控制输入设备上的任何方位处。在一些实施方式中,与光学飞行时间传感器相比,超声传感器可以具有较大的、不太明确定义的感测场,使得单个传感器可以用于感测手柄402周围的用以检测用户存在的感测场,例如包括图4至图6中所示的感测场432和434的感测场。
在一些实施方式中,可以使用一个或多个接触式传感器,当手物理接触传感器或物理连接到传感器的表面时,其检测用户的手的存在。例如,可以使用电容式或电阻式传感器,当手接触传感器时(或当手非常临近传感器时,例如对于电容式传感器),电容式或电阻式传感器分别测量控制输入设备上的电容或电阻改变。某些类型的接触式传感器可以检测来自手的能量(例如,仅在接触范围内感测的红外传感器)。在一些示例中,接触式传感器可以定位成尽可能靠近远端405,和/或可以位于控制器部分400的握持构件406的部分上。在一些实施方式中,可以在控制器部分400的部分周围提供电容式环形传感器。例如,环形传感器可以沿着在基部构件408的基部部分420周围的弯曲表面延伸,例如临近传感器460。当手非常临近环时,例如当手的手指接触握持构件406时,这种环形传感器感测电容的改变。
在一些实施方式中,存在感测系统的一个或多个传感器可以对检测信号执行处理并将处理后的信号提供给系统的控制电路(例如,处理器)。例如,感测系统可以随时间检测手或其他对象的方位,并确定对象相对于参考位置的方向,和/或确定对象的速度,并将描述方向和/或速度的参数或值发送到控制电路。
本文所描述的传感器中的一个或多个传感器可以使用包括例如感测元件、信号调节器、模数转换器(ADC)、计算感测到的特性(例如,对于热电堆传感器,感测到的对象温度)的数学引擎等的集成电路传感器来实施。
图7是控制输入设备的控制器部分400的侧视图,包括存在感测系统的示例实施方式,其中存在感测器位于手柄的远端。在该示例中,如图4所示的存在传感器450被提供在手柄402的远端405处。
传感器450在感测场702中感测对象。在一些实施方式中,如图7的示例所示,相对于操作手柄402的用户的视角,感测场702被定向(例如,远离手柄402)到至少部分地在手柄402的远端405前面的空间区域。在一些实施方式中,传感器450在感测场702内检测手掌的部分或手的其他非手指部分。在一些实施方式中,传感器450检测正在操作手柄的手指和/或手的其他部分,例如其中手指接触握持构件406(图7中以虚线示出的示例)。在一些实施方式中,传感器450可以检测手朝向手柄412的接近,例如感测场702延伸超出远端405到远端405前面的空间区域,类似于上文针对其他实施方式所描述的。
在各种实施方式中,感测场702可以被定向在延伸通过中心轴线的水平面的一侧上,例如在如图7所示的这样的水平面之上,并且中心轴线412在感测场702之下延伸而不进入感测场或与感测场相交。在一些实施方式中,感测场702可以在这样的水平面下方延伸,或者感测场702可以与这样的水平面相交。
在一些实施方式中,感测场702可以参考图5所示的视图沿中心轴线412居中。例如,感测场702可以被正交于上面所描述的水平面延伸穿过中心轴线412的竖直面一分为二。在一些实施方式中,感测场702可以至少部分地被定向到竖直面的一侧(例如,左侧或右侧),参考图5中所示的视图。例如,定向的一侧是在操作控制输入设备时预期手掌或手的其他部分始终处于的区域。在一些实施方式中,左方向或右方向可以适应控制输入设备的左手使用或右手使用之一,其中在竖直面的一侧上更可靠地感测到操作手。
来自传感器450的感测场702的深度(由线704指示)可以基于所使用的传感器的类型。它充分延伸以检测正在操作控制输入设备的手的部分,例如,在该示例中,手指与握持构件406接合。在一些实施方式中,感测场432和/或434的部分可以例如通过选择传感器450的特定设置来阻挡或在尺寸或维度上进行调整。
由于传感器450定位在手柄402的远端405上,使得传感器450随着手柄绕轴线412旋转,所以感测场702具有相对于手柄402固定并且相对于基部构件408改变的方位。
在一些实施方式中,可以在远端405处提供多个传感器。例如,类似于图5中所示的传感器440和442,在传感器450的大致位置中的两个传感器可以在轴线412的左侧和右侧上提供左感测场和右感测场。
传感器450可以是各种类型的传感器中的任何一种,类似于上面关于图4所描述的。例如,传感器450可以是电磁飞行时间传感器、热电堆传感器、热成像相机、红外传感器、超声传感器等。
在一些实施方式中,感测场702可以成形为锥体。例如,感测场可以在传感器450处具有特定宽度并且在远离传感器450的方向上在宽度上延长。在一些实施方式中,感测场702可以成形为圆柱体、矩形或与上面所描述类似的其他形状。在一些实施方式中,可以将锥体形状制成更宽或更窄。
在一些实施方式中,手柄402在感测场702的外部,例如,手柄402不延伸到感测场中。在一些实施方式中,手柄402的一部分可以延伸到感测场702中,例如使得手柄402的一部分与感测场相交。对于某些类型的传感器,由手柄402的此类部件引起的反射信号可以被标准化,使得此类手柄部件被忽略并且传感器450检测位于感测场内的新对象。
图7的配置中的感测场702可以被取向为使得用户的手随着手接近手柄402(例如以操作手柄)而进入感测场。因此,存在感测系统430可以在手接触手柄402(包括接触握持件406或中心部分407)之前检测到手的存在。在一些实施方式中,感测系统430可以在手接触控制器部分400的任何部分之前检测到手。
感测场702的配置有效地感测操作手柄402的手的存在。例如,在手抓握两个握持构件406时,手的一个或多个部分(诸如手掌)存在于感测场702中。该感测场配置可以与系统的控制输入设备一起使用,而无需针对左手或右手操作手柄402而进行改变。手的检测发生在手柄围绕轴线412的任何旋转方位,因为手的一部分在任何这样的旋转方位延伸到感测场702中。
与接触式传感器或检测在手柄表面上或非常临近手柄表面的存在的传感器相比,所描述的实施方式的(一个或多个)感测场是有利的,因为在各种操作条件下,前者传感器可能不会检测到手,类似于如上所述。
图8是控制输入设备的控制器部分400的侧视图,包括存在感测系统的示例实施方式,其中一个或多个存在传感器位于控制器部分的手柄402的基部构件端部。
在该示例中,传感器460(也如图4所示)被提供在手柄402的基部构件408的基部部分420处。例如,传感器460可以位于或临近基部部分420的一侧(该侧临近手柄402的近端404),从而允许传感器460提供涵盖手柄402的至少一部分的感测场。在该示例中,传感器460参考图8的视图被放置在基部部分420的顶部上。在一些实施方式中,传感器460可以放置在基部部分的不同侧上,例如在基部部分420的底部处或基部部分420的不同侧。
传感器460在感测场802中感测对象。在一些实施方式中,如图8的示例中所示,参考图8的视图,感测场802被定向(例如,朝向操作手)到位于与手柄402的中心轴线412相交的水平面之上的空间区域。中心轴线412在感测场802下方延伸而不与感测场802相交。在一些实施方式中,传感器460检测在感测场802内的手指和/或手的其他部分。在一些实施方式中,传感器460检测操作手柄的手的部分,例如检测接触一个或多个握持构件406的手指(图8中虚线所示的示例)。在一些实施方式中,传感器460可以检测手朝向手柄402的接近,例如感测场802延伸超出远端405到近端405前面的空间区域和/或到中心轴线412的左侧和右侧,类似于上文针对其他实施方式所描述的。
在一些实施方式中,感测场802可以在这样的水平面之下延伸,例如,使用放置在基部部分420的顶侧上的传感器460来在下部或向下定向场(参考图8的视图),和/或者通过使用放置在基部部分420的底侧、左侧或右侧或边缘上的传感器。这种下部感测场可以检测下部区域中的手指,例如接触或临近图8所示的下部握持构件406的手指(例如拇指)。在一些实施方式中,感测场802可以参考图5所示的视图沿中心轴线412居中。例如,感测场802可以被正交于上面所描述的水平面延伸穿过中心轴线412的竖直面一分为二。在一些实施方式中,感测场802可以至少部分地被定向到竖直面的一侧(例如,左侧或右侧),参考图5中所示的视图。例如,定向的一侧可以是在操作控制输入设备时预期手掌或手的其他部分始终处于的区域。在一些实施方式中,左方向或右方向可以适应控制输入设备的左手使用或右手使用之一,其中在竖直面的一侧上更可靠地感测到操作手。
来自传感器450的感测场802的深度(由线804指示)可以基于所使用的传感器的类型。它充分延伸以检测正在操作控制输入设备的手的部分,例如,在该示例中,其中手指与握持构件406接合。在一些实施方式中,感测场802的部分可以例如通过选择传感器460的特定设置来阻挡或在尺寸或维度上进行调整。
感测场802具有相对于手柄402的中心轴线412固定的空间方位。因此,感测场802可以感测相对于中心轴线412的相同空间区域,而不管手柄402的中心轴线412在空间中的方位如何。手柄402围绕中心轴线412的旋转取向相对于传感器460改变并且可以致使手柄402和操作手柄402的手的不同部分存在于感测场802内。感测场802可以制得足够的尺寸和宽度使得手的一部分总是存在于感测场802内,而不管手柄402围绕中心轴线412的旋转取向如何。
在一些实施方式中,可以在基部部分420上提供多个传感器。例如,与图5中所示的传感器440和442类似,在传感器460的大致位置中的两个传感器可以在轴线412的左侧和右侧上提供左感测场和右感测场。在一些实施方式中,传感器可以被提供在基部部分420周围的多个位置以覆盖不同的空间区域,每个空间区域包括手柄402的不同部分。
传感器460可以是多种类型的传感器中的任何一种,类似于上面关于图4所描述的。例如,传感器450可以是电磁飞行时间传感器、热电堆传感器、热成像相机、超声传感器、红外传感器等。
在一些实施方式中,感测场802可以成形为锥体。例如,感测场可以在传感器460处具有特定宽度并且在远离传感器460的方向上在宽度上延长。在一些实施方式中,感测场802可以成形为圆柱体、矩形或与上面所描述类似的其他形状。在一些实施方式中,可以将锥体形状制成更宽或更窄。在一些实施方式中,感测场802(和/或针对图7描述的感测场702)的一部分可以例如通过以下方式来阻挡或在尺寸或维度上进行调整:选择发射感测场的传感器的特定设置,和/或物理掩蔽传感器460的一部分以阻挡传感器的标准感测场的部分被感测到。例如,这可以防止传感器460检测到要被忽略的对象,诸如握持构件406或手柄402的其他部件。
在一些实施方式中,手柄402的一部分可以延伸到感测场802中,例如使得手柄402的一部分与感测场相交。例如,握持构件406的一部分可以延伸到感测场802中,如图8所示。对于某些类型的传感器,由手柄402的此类部件引起的反射信号可以被感测并标准化,使得此类手柄部件被忽略并且传感器460检测位于感测场内的新对象。
图8的配置中的感测场802可以被取向为使得用户的手随着手接近手柄402(例如以操作手柄)而进入感测场。因此,存在感测系统430可以在手接触手柄402(包括接触握持件406或中心部分407)之前检测到手的存在。在一些实施方式中,感测系统430可以在手接触控制器部分400的任何部分之前检测到手。
感测场802的配置有效地感测操作手柄402的手的存在。例如,在手抓握两个握持构件406时,手的一个或多个部分延伸到感测场802中。这种感测场配置可以与系统的控制输入设备一起使用,而无需针对左手或右手操作手柄402进行改变。
控制系统的每个控制输入设备可以包括本文描述的任何实施方式的其自己的存在感测系统,允许每个控制输入设备基于存在检测独立于其他控制器来激活和停用控制模式。
与接触式传感器或检测在手柄表面上或非常临近手柄表面的存在的传感器相比,所描述的实施方式的(一个或多个)感测场是有利的,因为在各种操作条件下,前者传感器可能不会检测到手,类似于如上所述。
图9是示出在一些实施方式中检测操作控制输入设备的用户的手的存在的示例方法的流程图。方法900可以例如由控制系统(例如示例远程操作系统)执行,其中控制输入设备被包括在控制操纵器设备的系统(例如图1的操纵器系统104)中。在一些实施方式中,控制输入设备是用户控制系统(例如图1的用户控制系统102)的部件。控制输入设备可以是或包括例如控制输入设备210或212的一部分300或400,或如本文所描述的另一个控制输入设备。在一些实施方式中,该方法可以由耦接到控制输入设备的控制器电路部件来执行。在一些示例中,控制器可以包括一个或多个处理器,例如微处理器或其他控制电路,下面参考图11描述其中的一些示例。
为了解释的目的,在方法900中提及单个控制输入设备。其他实施方式可以关于其他类型的系统使用具有本文描述的一个或多个特征的控制输入设备,该其他类型的系统例如非远程操作系统、没有物理操纵器设备和/或没有与物理操纵器设备交互的物理对象的虚拟环境(例如医学模拟)等。多个控制输入设备(例如图2的控制输入设备210和212)可以如方法900中所描述类似地处理。
在框902中,控制系统(例如,远程操作系统100)的非控制模式被激活。非控制模式也可以被认为是“安全模式”,其中如果控制输入设备被用户操纵,则控制输入设备不被启用向受控设备(诸如操纵器系统104)提供控制信号。因此,例如,对于非控制模式,操纵器系统与控制输入设备断开,例如操纵器系统不被控制输入设备控制。例如,控制输入设备210和212可以由用户在非控制模式中操纵,这不会致使操纵器系统104的元件的任何受控运动。
在框904中,确定是否在控制输入设备的手存在感测系统(例如,如上所描述的存在感测系统430)的(一个或多个)感测场中检测到对象。例如,对象可以是在控制输入设备的手存在感测系统的(一个或多个)感测场中检测到的操作员手。这种检测可以指示用户可能准备好开始使用控制输入设备,例如以控制操纵器设备。该对象也可以被系统的其他传感系统检测到。在一些实施方式中,手存在感测系统可以能够例如基于对象的感测到的温度的幅度在温度范围内来检测对象是手还是不同的对象。在这些情况中的一些中,如果对象未被检测为手,则可以忽略它。在一些实施方式中,手存在传感器的感测场内的检测到的对象被认为是手。
在一些实施方式中,如果对象被检测到在特定感测范围内,例如在距与控制输入设备相关联的参考位置的阈值距离内,则认为对象被手存在感测系统检测到(例如检测到用户手的存在,使得执行下面的框918)。例如,参考位置可以是控制输入设备的手柄(例如,手柄402)上的位置、手存在感测系统的一个或多个传感器的位置、手指握持件的表面、两个手柄表面之间的定义点等。在一些实施方式中,手存在感测系统可以在其感测场中检测对象,但是出于方法900的目的,该对象将被忽略(例如,不能作为手存在检测),除非其在到参考位置的特定距离内。
如果没有检测到对象,则该方法可以返回到框902以继续控制输入设备的非控制模式。如果已经检测到对象,则该方法可以继续到框906,其中可以确定检测到的对象的移动方向(如果合适)。例如,如果存在感测系统430包括飞行时间传感器、热成像相机或如上所描述的其他类型的传感器,则可以随时间跟踪检测到的对象的运动,并且从感测到的数据确定移动方向。在一些实施方式中,检测到的对象的方向可以在该方法中使用的方向参数(例如,以信号形式发送到控制电路的方向参数)中指示。在一些实施方式中,检测到的对象的速度可以如上所描述确定(其可以包括移动方向和/或移动幅度/速率)。在一些实施方式中,出于方法900的目的,速度可以用于确定是否忽略对象,除非其满足特定的速度阈值(例如,具有高于或可替代地低于阈值的速度)。在一些实施方式中,在确定是否检测到用户存在时,速度可以用于确定是否使用检测到的对象的方位(例如,到控制输入设备的距离),与上面所描述的类似。例如,远离控制输入设备的快速度可以指示不需要对象方位,而远离控制输入设备的慢速度可以指示检查对象方位以帮助确定用户意图。
在一些实施方式中,计时器可以用于为连续时间段提供时间限制,在该连续时间段中,控制系统接受检测到用户的手操作控制输入设备手柄并激活控制模式。例如,可以在框904中检测到对象之后启动计时器。一些实施方式可以基于其他或附加条件或在方法900的其他阶段启动计时器。
在框908中,确定检测到的对象的移动是否在相对于控制输入设备的手柄的一个或多个第一指定方向上。(一个或多个)第一指定方向用于指示潜在的用户意图。例如,指定方向可以是朝向手柄(或手柄上的参考位置),使得对象和手柄之间的距离减小。这样的移动方向可以指示用户可能意图移动他或她的手来抓握控制输入设备。例如,可以基于描述对象最近几个方位的获取的传感器数据来估计对象移动的向量,并且如果该向量在阈值方向范围内,则认为其朝向手柄移动。在一些实施方式中可以使用其他第一指定方向,例如,朝向手柄的特定输入控件的方向等。
如果确定对象未在相对于手柄的指定方向(例如,朝向手柄)上移动,则该方法可以继续到框909,在框909中确定是否重新开始检测过程。例如,如果在如上所描述的框904之后检测到对象后启动计时器,则核查是否发生超时,例如,时间段已经到期,这指示重新开始该过程。在一些示例中,超时时段可以在3秒到10秒的范围内。在一些实施方式中,如果确定对象的方向是指示用户不立即使用手柄的意图的第二指定方向,则可以重新开始检测过程。例如,第二指定方向可以在特定阈值方向范围内远离手柄(例如,在远离手柄上的参考位置的方向上移动,使得增加它们之间的距离)。在一些实施方式中,可以基于随时间检测从传感器到对象的距离(例如通过多次测量)来确定对象的方向。在一些实施方式中,检测到的对象的所确定的速度可以用于帮助确定用户立即使用手柄的意图,例如如果其具有高于速度阈值的速度。
在一些实施方式中,如果对象离开存在感测系统的(一个或多个)感测场,则可以重新开始检测过程。如果确定重新开始检测过程,则该方法返回框902。否则,该方法返回框906以继续确定对象的方向,例如确定其移动是否朝向手柄改变方向。
如果在框908中确定对象正朝向手柄移动,则该方法继续到框910,在框910中激活一个或多个系统功能。例如,在非控制模式期间,控制系统的一个或多个图形用户界面(GUI)可能已关闭并且未显示在系统的显示设备(例如,显示屏、增强现实显示器、虚拟现实显示器等)上。可以在框910中激活这样的显示设备,使得显示GUI的显示对象或特征。在一些实施方式中,GUI的特征或对象在非控制模式中可能已经处于暗淡状态,并且在框910中从先前的暗淡状态变亮。在一些实施方式中,激活的功能可以包括向系统的一个或多个部件(诸如提供力反馈和/或重力补偿的控制输入设备的马达、被配置为移动臂和/或器械的操纵器设备的马达、用于查看操作部位的相机、用于照亮器械和/或操作部位的灯、操纵器器械功能(例如,抽吸、冲洗、能量等)等)供电。在一些实施方式中,激活的功能可以包括将手柄移动到控制输入设备的工作空间中的特定起始方位,例如经由马达对经连接的联动装置的控制。在一些示例实施方式中,激活的功能可以包括经由马达的控制将控制系统的所有或部分其他部件移动到起始方位。这样的部件可以包括显示设备(例如,屏幕、查看器等)、脚踏板、座椅等。该方法继续到框912。
在框912中,确定是否已经在控制输入设备的操作方位中检测到对象(例如,用户的手)(例如,“操作检测”)。例如,手存在感测系统可以检测用户的手指和/或手掌是否在允许手以意图方式操作控制输入设备的方位中或足够靠近该方位。在一些实施方式中,检测手是否在特定方位处,诸如在特定参考位置(例如,手柄的表面上的或邻近手柄的表面(例如握持构件406的表面)的位置,或存在感测系统的传感器的位置)的阈值距离内。如在图4至图8的示例中,手存在感测系统可以检测所检测到的手的部分是否位于或临近感测系统的(一个或多个)感测场内的特定位置,例如手的手掌部分是否在远端405的前面的方位中、手指是否定位成抵靠握持构件406等。在一些实施方式中,如果感测场的阈值量或百分比被手占据,或者在一些实施方式中,如果感测场内的一个或多个特定位置被手占据,则认为手在操作方位中。在一些实施方式中,如果在手存在感测系统的(一个或多个)感测场内的任何地方(例如临近手柄、接触手柄等)检测到手,则认为手在操作方位中。在一些实施方式中,如果如上所描述在框904中核查特定距离,则框912的阈值距离可以不同于框904的特定距离(例如,更小,因此检测到手更靠近手柄)。在一些实施方式中,控制输入设备上的多个单独的传感器的多个感测场可以用于确定是否已发生对象检测,例如如上面关于图4所描述的。
如果没有检测到手在操作方位中,则该方法继续到框914,在框914中确定是否应该重新开始检测过程,类似于上面关于框909所描述的。例如,确定是否发生超时,或者检测到的对象是否正在远离手柄移动。如果要重新开始检测过程,则该方法返回到框902以继续非控制模式。否则,该方法返回框910以继续激活系统功能。
如果在框912中检测到手在操作方位中,则该方法可以继续到框916,在框916中确定系统是否已经附加检测到用户存在于控制输入设备和/或控制系统的操作方位中。例如,以上参考图2描述的存在传感器214可以检测用户的头部存在于用户控制系统102的查看凹部211中,这指示用户对控制输入设备210和212的意图使用。在一些实施方式中,用户需要将握持构件406移动到握持构件的自由度中的特定方位,例如以匹配要由控制输入设备控制的操纵器器械的方位或取向(并且提供其他安全特征)。在一些实施方式中,可以使用其他或附加存在传感器来感测用户存在。这种附加存在检测充当在激活控制模式之前检测用户的附加核查或保障。在一些实施方式中,如果利用这样的附加感测,则可以降低系统用来检测用户和激活控制模式的一个或多个阈值,以允许更容易满足存在要求。例如,由存在感测系统430和/或存在传感器214使用的对象检测的阈值可以放宽(例如,感测到的信号的幅度、待验证检测时间等),从而允许更快地确认用户存在。一些实施方式可以省略框916。
如果在框916中确定没有附加检测到用户,则该方法继续到框914以针对检测过程的重新开始进行核查,如上所述。如果在框916中确定了用户的附加检测(或未实施附加检测),则该方法继续到框918。
在框918中,系统的控制模式被激活。控制模式允许控制输入设备的操纵以控制受控操纵器设备的功能。例如,在远程操作系统中,控制输入设备的操纵在控制模式中可以控制操纵器设备的对应的运动、输出功能(热、电等的输出)和/或其他功能,诸如在空间中移动末端执行器、张开末端执行器的钳口、从末端执行器输出热或其他能量等。在一些实施方式中,可以针对由控制输入设备控制的操纵器设备的对应的部件激活控制模式。
在一些实施方式中,来自系统的一个或多个部件的反馈输出可以向用户指示控制模式是激活的并且控制输入设备现在控制操纵器设备,例如操纵器系统104。在一些实施方式中,输出可以包括来自显示设备的视觉输出、来自音频设备的音频输出、来自马达的控制输入设备上的力输出等。该方法继续到框920。
在框920中,确定用户是否已经停止操作控制输入设备。该确定可以在各种实施方式中以多种方式进行。在一些实施方式中,存在感测系统430检测到手的存在改变,并且系统认为这种改变指示用户已经停止操作控制输入设备。在一些示例中,用户正在停止控制输入设备的操作的指示可以包括释放用户的手对控制输入设备的手柄的触摸或握持。系统可以基于来自手存在感测系统430的传感器信号来检测用户的对手柄的触摸或握持的释放。
在一些示例实施方式中,停止操作的指示可以是手(或手的一部分)移出存在感测系统的(一个或多个)感测场,使得存在感测系统430不再检测到手(或手的一部分)。在另一个示例中,该指示可以是在距控制输入设备的参考位置(例如,诸如手柄或手存在传感系统的传感器上的位置的参考位置)的阈值距离或半径之外的位置中检测手(或其部分)。在另一个示例中,该指示可以是检测到用户的手在相对于手柄或控制输入设备的参考位置的特定方向上的移动,例如在远离手柄或远离参考位置的方向上(例如,在远离手柄上的参考位置的矢量方向的阈值范围内)的移动。这些指示和/或其他指示的组合可以用作用户已经停止操作控制输入设备的确定。
此外,系统的其他存在传感器(或其他类型的传感器)可以用于检测用户停止操作。例如,图2的存在传感器214可以感测用户的头部是否已经从查看方位移开。在一些实施方式中,如果系统的任何存在传感器不再检测到用户的存在,则确定用户已经停止操作控制输入设备。在一些实施方式中,操纵器设备的动作(例如,从定义的操作区域或工作部位移开外科手术器械)可以用于指示用户已经停止操作。
如果没有检测到控制输入设备的用户操作的停止,则该方法继续到框922以继续提供控制系统的控制模式,并且该方法返回到框920以继续针对用户已经停止操作控制输入设备的指示进行核查。如果在框920中检测到用户已经停止操作控制输入设备,则该方法返回框902以激活系统的非控制模式。例如,基于检测到用户不再操作控制输入设备,将操纵器设备104的控制与控制输入设备断开。在框902和随后的框处,该方法可以针对用户操作控制输入设备进行核查,如上所述。
在一些实施方式中,系统可以在检测到用户已经停止操作控制输入设备后进入附加或替代状态(例如,在框920处)。例如,在失去对用户的手的检测后,可以激活控制模式的保持或暂停,使得如果在阈值时间段内再次检测到手,则可以比从框902重新开始检测过程时更容易地重新进入控制模式(例如,具有如上所描述的较低阈值)。在一些实施方式中,在失去对用户的手的检测后,可以进入系统的省电模式,并且当再次检测到手时,可以退出省电模式。
在各种实施方式中,可以在做出致使系统激活控制模式和/或激活非控制模式的合格检测之后提供时间延迟。例如,时间延迟延迟控制模式和/或非控制模式的激活。在一些示例中,在框916中确定应该激活控制模式后(例如,在检测到手存在和其他用户存在后),系统在控制模式被激活之前等待1秒(或2秒等)的延迟。在确定激活非控制模式之后可以提供类似的延迟,使得延迟非控制模式的激活。
在一些实施方式中,当在框920处失去对用户的手的检测后,该过程可以返回框910以激活(和/或停用)一个或多个系统功能,例如系统的特定输入控件、设置和/或输入可以激活。这样的系统功能的示例可以包括用户控制系统的扶手上的输入设备(例如,扶手110上的扶手触摸屏)变为激活的并且接收用户输入,或者用于控制查看设备或显示设备的方位的手柄或开关变为激活的并接收用户输入。在一些实施方式中,在控制输入设备处检测用户手存在期间(例如,在框920处),在控制输入设备的操纵期间未使用的这些功能和其他功能可以被禁止或停用(例如,用于控制这些功能的输入可以被忽略)。如果不再检测到用户的手存在,则可以激活这些功能。在一些实施方式中,检测到存在的(一个或多个)特定手可以被利用以确定激活了哪些控件。例如,如果仅将用户的左手从控制输入设备移开,使得不再检测到手的存在,则左手可访问的特定输入控件和/或功能被激活,但不激活仅右手可访问的输入控件和/或功能,因为在不同的控制输入设备上仍然检测到右手的存在。
在一些实施方式中,可以使用多个控制输入设备,例如每个控制设备由用户的相应手同时操纵。在一个示例中,如图2所示,可以使用多个控制输入设备210和212。在这些实施方式中的一些实施方式中,控制输入设备中的每个具有运动范围,使得第一控制输入设备可以定位在第二控制输入设备的存在感测系统的感测场内(例如,如本文所描述)。在一些实施方式中,这种定位可以致使第二控制输入设备的存在感测系统对第一控制输入设备的假阳性检测,例如错误地检测到存在操作第二控制输入设备的用户手。为了减少这种假阳性检测的发生,每个控制输入设备在其工作空间中的方位和/或取向可以由耦接到控制输入设备的控制块(例如,图11的控制块1110)跟踪。例如,检测控制输入设备的方位的设备传感器(例如,检测运动学链的连杆的相对方位或取向的传感器)可以用于确定控制输入设备的这些方位和取向。
在这些实施方式中的一些实施方式中,如果在方法900中(例如,在框904和/或框912中)执行对象的检测,则系统核查另外(一个或多个)控制输入设备的(一个或多个)当前方位和/或取向,以确定检测到的对象是否是存在感测系统已感测到的控制输入设备。如果确定已经感测到控制输入设备,则忽略对象的检测,例如,将其视为好像没有检测到对象。如果确定没有感测到控制输入设备,则系统检查检测到的对象,如上面针对方法900所描述的。在一些实施方式中,可以检查来自其他传感器(例如头部存在传感器214)的信号作为指示是否要忽略检测到的对象的另一个因素。例如,如果传感器214检测到用户的头部,则可以确认并且不忽略对象的检测。
在一些其他实施方式中,如果如上所描述确定控制输入设备是检测到的对象,则确认并且不忽略对象的检测,但是用于致使控制模式被激活(在框918中)的一个或多个其他参数或阈值可以变得更紧或更严格,因此提供更严格的条件(和更必然的检测)来检测用户存在。例如,可以为其他存在传感器(例如,头部存在传感器214)分配更靠近的阈值距离或更小的感测场以确定用户存在的检测。在另一个示例中,可以需要将握持构件406定位在较小的方位范围中以匹配受控操纵器器械的方位或取向,以便允许控制模式被激活。下面参考图10描述基于存在检测来设置或调整检测参数或其他存在系统特征的其他示例。
各种实施方式可以使用本文公开的方法的不同部分。例如,一些实施方式可以在没有其他框的情况下执行框902、904、910、918、920和922;一些实施方式可以在没有其他框的情况下执行框902、904、910、912、918、920和922;一些实施方式可以在没有框904的情况下执行一个或多个框,等等。
在本文公开的方法中描述的框可以以与所示不同的顺序和/或在适当时与其他框同时(部分或完全)执行。一些框可以针对数据中的一部分被执行,并且然后例如针对数据中的另一部分被再次执行。并非所有描述的框都需要在各种实施方式中执行。在一些实施方式中,框在方法中可以被多次执行,以不同的顺序执行,和/或以不同的时间执行。例如,框904、908、912和/或916可以顺序地、至少部分地同时或以不同的顺序执行。
在另一示例实施方式中,一种方法包括响应于检测到用户的手存在而激活控制模式,以及响应于检测到不存在用户的手存在而激活非控制模式。在一些实施方式中,控制模式只有响应于检测到用户的手的存在和由包括控制输入设备的控制系统的一个或多个其他存在检测设备检测到用户的存在两者才被激活。例如,其他存在检测设备可以包括头部存在传感器(例如,如图2所示)、已经移动到特定方位的控制输入设备的一个或多个握持件等。
图10是示出根据一些实施方式的基于存在传感器数据来确定和/或调整存在感测特征和/或其他系统特征的示例方法1000的流程图。在一些实施方式中,方法1000可以在也执行图9的方法900的系统中执行,或者替代地,方法1000(或方法1000的各个框或部分)可以与具有适当存在感测的其他方法或系统一起执行。
例如,方法1000可以针对控制系统执行,例如示例远程操作系统或其中控制输入设备被包括在控制操纵器设备的系统中的其他控制系统。在一些实施方式中,控制输入设备是用户控制系统(例如图1的用户控制系统102)的部件。例如,控制输入设备可以是控制输入设备210或212的部分300或400,或如本文所描述的另一个控制输入设备。在一些实施方式中,方法1000可以由耦接到控制输入设备的电路部件来执行。在一些示例中,控制器可以包括一个或多个处理器,例如微处理器或其他控制电路,下面参考图11描述其中的一些示例。为了解释的目的,在方法1000中提及单个控制输入设备。其他实施方式可以关于其他类型的系统使用具有本文描述的一个或多个特征的控制输入设备,该其他类型的系统例如非远程操作系统、没有物理操纵器设备和/或没有与物理操纵器设备交互的物理对象的虚拟环境(例如医学模拟)等。多个控制输入设备(例如图2的控制输入设备210和212)可以如方法1000中所描述被类似地处理。
在框1002中,控制系统(例如,远程操作系统100)的控制模式是激活的。控制模式可以类似于参考图9和图11所描述的,例如其中随着控制输入设备被用户操纵,控制输入设备能够向受控设备(诸如操纵器系统104)提供控制信号的模式。例如,控制输入设备210和212可以在控制模式是激活时由用户操纵,这致使操纵器系统104的元件的对应的运动和/或操纵器系统104的其他功能的改变。
在框1004中,手被手存在感测系统检测到并且手的方位被确定。例如,该方位可以是手相对于控制输入设备的参考位置的距离,如本文所描述确定的。在一些示例中,可以在如本文的各种实施方式中描述的一个或多个感测场中(例如在控制输入设备的参考位置的阈值距离内,和/或满足被认为是允许激活控制模式的手检测的其他条件)检测手,如本文所述。手的距离可以被确定为手(或其部分)与参考位置之间的距离,参考位置可以是手柄的端部、传感器、手指握持件或其他位置等。对于各种传感器类型和实施方式中的任一种,可以如本文所描述确定距离或其他方位。在一些实施方式中,手的移动和移动方向也可以在框1004中确定,类似于如上所述。
在框1006中,可以基于在框1004中确定的手方位来确定控制输入设备上输出的力的特性,并且适当地输出具有这种特性的力。输出力包括由一个或多个致动器(例如马达)在控制输入设备的一个或多个自由度中输出的力。例如,所确定的力特性可以包括控制输入设备上的最大力(力极限)。在一些实施方式中,如果检测到手远离控制输入设备的参考位置超过阈值距离,则最大力可以设置为比在检测到手在比阈值距离更靠近的距离处的情况更小的幅度。在一些示例中,该阈值距离可以独立于(例如,小于)上述存在感测阈值距离。在一些示例中,最大力可以基于检测到的手的不同距离被逐渐调整到多个幅度中的任何一个,或者可以基于阈值距离设置为两个可能的幅度中的一个,等等。在一些实施方式中,如果检测到手在手存在感测范围的较长距离处,则与更靠近控制输入设备的距离处的手位置相比,更不确定用户是否意图继续操作控制输入设备。因此,为了安全,控制输入设备上的力被减小,例如,使得如果通过手存在感测系统检测到用户正在使用控制输入设备但用户没有抓握控制输入设备,则控制输入设备不会被力移动得远离用户太多。
在附加示例中,所确定的力特性可以包括基于在框1004中确定的手方位的输出力的幅度或增益。例如,在控制输入设备上输出的所有力的幅度可以减少特定百分比,该百分比基于感测到的手的距离(或大于特定距离阈值的手的距离)。力斜升速率(例如,力增加到特定幅度的速率)可以类似地基于在框1004中确定的手距离。所描述的力特性中的任何一个或多个都可以在各种实施方式中在框1006中确定和使用。
在框1008中,控制输入设备的安全特征基于框1004中确定的手方位进行调整。安全特征的一些示例包括检测控制输入设备在其自由度中的一个或多个中的运动、加速度、方向改变等的特定式样(pattern)(例如,序列)的技术。式样可以指示用户是正在主动控制还是不主动控制控制输入设备(例如,控制输入设备自行移动或“浮动”将与式样不匹配,将不以特定的自由度移动等)。在框1008中对此类安全特征的调整可以包括例如基于检测到的手的方位(例如,距离)来改变技术的参数(例如,阈值或极限)。例如,与较短的感测到的手的距离(例如,低于阈值距离)相比,如果在较长的距离(例如,大于阈值距离)处感测到手,则可以改变参数以要求检测控制输入设备的较短的移动、较高的加速度和/或较多或较大的方向改变,以便检测将继续激活控制模式的控制输入设备的主动用户控制。这反映了在较长的感测到的手的距离处用户意图的不确定性,使得提供了增加的安全测量。
安全特征的另一示例包括控制输入设备在一个或多个自由度中的速度极限。例如,可以通过控制耦接到控制输入设备的一个或多个力输出设备(例如,制动器、马达等)来物理地降低速度,以施加力来减慢控制输入设备在相关联的自由度中的最大允许速度。在一些示例中,控制系统可以监测控制输入设备的速度并且可以命令与控制输入设备的速度成比例的输出马达扭矩以在速度高于阈值时减慢控制输入设备的运动。控制器和马达因此可以为控制输入设备提供阻尼以减慢其速度。例如,如果在较长距离(例如,大于阈值距离)处感测到手,则与较短的感测到的手的距离(例如,低于阈值距离)相比,可以降低最大速度。一些实施方式可以在确定安全特征调整时使用感测到的手的方向和/或速度,例如基于方向是朝向还是远离控制输入设备。
在框1010中,基于框1004中确定的手方位来确定控制系统(例如,远程操作系统的控制台)的其他(一个或多个)存在传感器的一个或多个检测参数。其他存在传感器与如本文所描述的感测用户的手的存在的手存在感测系统独立且分开。其他存在传感器可以包括例如检测用户的头部的图2的头部存在传感器214和/或其他存在传感器(例如,身体检测传感器、足部检测传感器等)。确定此类其他存在传感器的检测参数可以包括例如确定感测的一个或多个阈值、感测的范围和/或感测的持续时间。
例如,如果手存在感测系统检测到手的方位,例如在特定范围内(例如,距控制输入设备的距离超过阈值距离),则与当感测到手的较短距离时(例如,在特定范围之外或低于阈值距离)相比,将头部存在传感器214的检测设置成更紧或更严格的(一个或多个)范围和/或(一个或多个)阈值。与使用更松的范围和/或阈值的感测相比,更紧的范围和/或阈值致使头部存在传感器在更严格的条件下(例如,具有较小的容差)经由用户的头部来检测用户存在(例如当头部更靠近头部存在传感器或在相对于头部存在传感器的更精确的位置内时),和/或被感测更长的持续时间(时间段)。这可以允许其他存在传感器提供更必然的用户检测,例如以当手存在感测系统可能以较低确定性检测到用户存在时(例如当用户的手离控制输入设备较远和/或看起来可能与控制输入设备断开时)进行补偿。在一些实施方式中可以使用用于手感测的多个距离阈值,例如以基于相对于阈值的检测到的手的方位来设置其他(一个或多个)存在传感器的检测参数的各种相关联的值。
在框1012中,手存在感测系统的一个或多个检测参数基于控制系统(例如,远程操作系统100的用户控制系统102)的其他(一个或多个)存在传感器的检测来确定。如在框1010中,其他(一个或多个)存在传感器可以包括例如图2的头部存在传感器214和/或其他存在传感器。例如,可以确定另一个存在传感器是否在定义特定存在范围的一个或多个阈值内检测到用户。在一些示例中,特定存在范围可以靠近于其他存在传感器的界限,例如在感测范围的极限的特定距离范围内的检测,或在至指示检测的阈值的特定距离范围内的检测。例如,可以在特定存在范围内检测用户的头部,该存在范围处于有资格进行存在检测的位置范围的极限内。在一些实施方式中,可以将特定存在范围指定为由阈值定义的距离范围或方位范围。
响应于其他(一个或多个)存在传感器的特定存在范围内的用户检测,为手存在感测系统设置或调整一个或多个检测参数。手存在系统的这种检测参数可以包括例如感测的界限,例如感测的阈值、范围、方向、速度和/或持续时间。在一些示例中,当与感测到的头部的方位在存在范围之外(例如,低于距头部存在传感器的参考位置的阈值距离)时相比,如果感测到的用户的头部的方位在特定存在范围内(例如,距头部存在传感器的参考位置的距离大于阈值距离),则可以将手存在感测系统设置成一个或多个更紧/更严格的感测范围和/或阈值。
更紧的感测范围和/或阈值致使手存在传感系统在更严格的条件下(例如,具有较小的容差)经由用户的手来检测用户存在。例如,与当在特定存在范围之外检测到用户的头部(或其他感测到的用户存在)时使用更松的范围和/或阈值进行感测相比,更严格的条件可以包括手更靠近控制输入设备、在更直接朝向控制输入设备的方向上移动、具有更低速度(例如,在特定方向上)和/或被感测更长的持续时间(时间段)。例如,这允许手存在感测系统在其他存在检测器可能以较低确定性检测到用户存在时提供更必然的用户检测。在一些实施方式中可以使用其他存在传感器的多个阈值,例如以基于相对于阈值检测到的用户存在来设置手存在感测系统的检测参数的各种值。
在一些实施方式中,上述框1006、1008、1010和/或1012中的任何一个或多个可以使用检测到的对象的替代或附加特性来确定在这些框中描述的存在感测特征。例如,检测到的手的所确定的移动方向和/或手的所确定的速度可以用于确定框1006的输出力(例如,如果方向远离控制输入设备,则通过减小输出力幅度)、框1008的安全特征,和框1010和/或1012的存在检测参数。在各种实施方式中,感测到的手的姿势(例如,感测到的手在空间中的取向和方位)可以用于确定框1006、1008、1010和/或1012中的任何一个中的存在感测特征;例如,特定姿势可以与在框1006、1008、1010和/或1012中确定的特定力或检测参数相关联。
各种实施方式可以使用本文公开的方法的不同部分。例如,各种实施方式可以执行一组框1006、1008、1010或1012中的任何一个或多个框,而不执行该组的一个或多个其他框。在一些示例中,一个实施方式可以仅执行框1002、1004和1006;另一个实施方式可以仅执行框1002、1004和1008;另一个实施方式可以仅执行框1002、1004和1010;并且另一个实施方式可以仅执行框1002、1004和1012。
在本文公开的方法中描述的框可以以与所示不同的顺序和/或在适当时与其他框同时(部分或完全)执行。一些框可以针对数据中的一部分被执行,并且然后例如针对数据中的另一部分被再次执行。并非所有描述的框都需要在各种实施方式中执行。在一些实施方式中,在方法中,框可以被多次执行、以不同的顺序执行,和/或在不同的时间执行。
图11是可以与本文描述的一个或多个特征一起使用的示例控制系统1100的框图。系统1100包括主设备1102,用户可以操纵主设备1102以便控制与主设备1102通信的从设备1104。在一些实施方式中,主设备1102可以是或可以被包括于图1的用户控制系统102。在一些实施方式中,从设备1104可以是或可以被包括于图1的操纵器系统104。更一般地,主设备1102可以是任何类型的设备,包括可以由用户物理操纵的控制输入设备(例如,包括控制输入设备的部分300或400)。主设备1102生成指示一个或多个控制输入设备在其自由度中的方位、状态和/或改变的控制信号C1至Cx。主设备1102还可以生成控制指示用户选择物理按钮和其他操纵的控制信号(未示出)到控制块1110。主设备1102还可以生成控制信号到控制块1110,该控制信号包括与一个或多个用户存在感测系统(例如,如本文所描述的,主设备1102的头部存在感测系统和/或手存在感测系统)对用户存在的检测相关联的检测数据(例如,手检测的指示;包括检测到的对象的距离、方向和/或速度的检测参数等)。
控制块1110可以被包括在主设备1102中、在从设备1104中或在分开的设备中,例如主设备1102和从设备1104之间的中间设备。在一些实施方式中,控制块1110可以分布在这些设备中的多个之间。控制块1110接收控制信号Cl至Cx并生成被发送到从设备1104的致动信号Al至Ay。控制块1110还可以从从设备1104接收指示各种从部件(例如,操纵器臂元件)的方位、取向、状态和/或改变的传感器信号B1至By。控制块1110可以包括通用部件,诸如处理器1112、存储器1114以及分别与主设备1102和从设备1104通信的接口硬件1116和1118。处理器1112可以执行程序代码并且控制系统1100的基本操作(包括与感测本文描述的开关机构相关的功能),并且可以包括各种类型的一个或多个处理器(包括微处理器、专用集成电路(ASIC)和其他电子电路)。存储器1114可以存储由处理器执行的指令并且可以包括任何合适的处理器可读存储介质,例如随机存取存储器(RAM)、只读存储器(ROM)、电可擦只读存储器(EEPROM)、闪存等。各种其他输入和输出设备也可以耦接到控制块1110,例如(一个或多个)显示器1120(诸如用户控制系统102的查看器213和/或图2的显示器124)。一个或多个其他存在传感器1122(例如图2的头部存在传感器214和本文描述的手存在传感器系统)可以向控制块1110提供指示检测到用户存在和/或与这种检测相关的参数的信号。
在该示例中,控制块1110包括模式控制模块1140、控制模式模块1150和非控制模式模块1160。其他实施方式可以使用其他模块,例如力输出控制模块、传感器输入信号模块等。在一些实施方式中,模块1140、1150和1160可以使用处理器1112和存储器1114(例如存储在存储器1114和/或连接到控制块1110的其他存储器或存储设备中的程序指令)来实施。
模式控制模块1140可以检测用户何时发动系统的控制模式和非控制模式,例如通过用户选择控制、感测用户在用户控制系统或控制输入设备处的存在、感测控制输入设备的所需的操纵等。模式控制模块可以基于一个或多个控制信号C1至Cx来设置控制块1110的控制模式或非控制模式。
在一些实施方式中,控制模式模块1150可以用于控制控制块1110的控制模式。控制模式模块1150可以接收控制信号C1到Cx并且可以生成致动信号A1到Ay,致动信号A1到Ay控制从设备1104的致动器并致使其跟随主设备1102的移动,例如使得从设备1104的移动对应于主设备1102的移动的映射。控制模式模块1150还可以使用输出到(一个或多个)致动器的一个或多个控制信号D1到Dx来用于控制主设备1102的控制输入设备上的力,例如输出在控制输入设备的一个或多个部件(例如,握持构件)上的力,该致动器用于将力施加到部件,例如,施加到控制输入设备的握持构件、施加在控制输入设备的旋转自由度中、施加到耦接到控制输入设备的臂连杆上等。在一些示例中,控制信号D1到Dx可以用于提供力反馈、重力补偿等。
在一些实施方式中,非控制模式模块1160可以用于控制系统1100的非控制模式。在非控制模式中,主设备1102在一个或多个自由度中的移动,或主设备1102的其他操纵,对从设备1104的一个或多个部件的移动没有影响。在一些实施方式中,非控制模式可以包括控制块1110的一个或多个其他操作模式,例如选择模式,在选择模式中,控制输入设备在其自由度中的一个或多个中的移动和/或控制输入设备的控制开关的选择可以控制所显示的选项的选择,例如在由显示器1120和/或其他显示设备显示的图形用户界面中。查看模式可以允许控制输入设备的移动控制从相机或者相机的移动所提供的显示,该相机可以不被包括在从设备1104中。非控制模式模块1160可以使用控制信号C1到Cx来控制这种元件(例如,光标、视图等),并且控制信号D1到Dx可以由非控制模式模块确定以致使在这种非控制模式期间在控制输入设备上输出力,例如以向用户指示在这种模式期间发生的交互或事件。
本文描述的一些实施方式(例如方法900和/或1000)可以至少部分地通过计算机程序指令或可以在计算机上执行的代码来实施。例如,代码可以由一个或多个数字处理器(例如,微处理器或其他处理电路系统)实施。指令可以被存储在包括非暂时性计算机可读介质(例如,存储介质)的计算机程序产品上,其中计算机可读介质可以包括磁性、光学、电磁或半导体存储介质,该存储介质包括半导体或固态存储器、磁带、可移除计算机软盘、随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬磁盘、光盘、存储器卡、固态存储器驱动器等。介质可以是或被包括于服务器或连接到网络(诸如互联网)的提供数据和可执行指令的下载的其他设备中。可替代地,实施方式可以以硬件(逻辑门等),或硬件和软件的组合进行。示例硬件可以是可编程处理器(例如现场可编程门阵列(FPGA)、复杂可编程逻辑设备)、通用处理器、图形处理器、专用集成电路(ASIC)等。
本公开中描述的功能块、操作、特征、方法、设备和系统可以集成或划分为系统、设备和功能块的不同组合。
尽管已经根据所示示例描述了本实施方式,但是实施方式可以有变体,并且这些变体在本公开的精神和范围内。因此,在不脱离所附权利要求的精神和范围的情况下,可以进行许多修改。

Claims (39)

1.一种控制输入设备,其包括:
基部构件;
手柄,其耦接到所述基部构件并被配置为在所述手柄的握持部分处被手动接触并由用户的手在一个或多个自由度中移动;
一个或多个控制输入传感器,其被配置为检测所述手柄在所述一个或多个自由度中的方位或取向;以及
存在传感器,其耦接到所述基部构件,所述存在传感器具有感测场,并且所述感测场的至少一部分位于所述手柄附近。
2.根据权利要求1所述的控制输入设备,其中所述存在传感器被配置为检测由所述存在传感器的所述感测场中的所述手的存在而被定向为穿过空间到达所述存在传感器的电磁辐射或超声波。
3.根据权利要求1所述的控制输入设备,其中所述存在传感器位于所述手柄的在所述控制输入设备的操作期间未被所述手接触的表面上。
4.根据权利要求1所述的控制输入设备,其中所述手柄在所述感测场的外部。
5.根据权利要求1所述的控制输入设备,其中所述手柄至少部分地延伸到所述感测场中。
6.根据权利要求1所述的控制输入设备,其中所述感测场的所述部分位于在操作所述手柄之前的所述手朝向所述手柄的接近路径中。
7.根据权利要求1所述的控制输入设备,其中所述感测场被成形为或大致为在远离所述存在传感器的方向上宽度增加的锥体。
8.根据权利要求1至7中任一项所述的控制输入设备,其中所述感测场至少部分地位于所述手柄的端部的前面。
9.根据权利要求1至7中任一项所述的控制输入设备,其中:
所述存在传感器为第一存在传感器,并且所述感测场为位于所述手柄的第一侧的第一感测场;
所述控制输入设备进一步包括耦接到所述基部构件的第二存在传感器;
所述第二存在传感器被配置为检测由所述第二存在传感器的第二感测场中的所述手的存在而被定向为穿过空间到达所述第二存在传感器的第二电磁辐射;并且
所述第二感测场在所述手柄附近且位于所述手柄的与所述第一侧相对的第二侧。
10.根据权利要求1至7中任一项所述的控制输入设备,其中:
由所述存在传感器生成的信号包括参数;并且
所述参数包括对应于所述感测场中的对象与所述存在传感器之间的可变距离的值。
11.根据权利要求1至7中任一项所述的控制输入设备,其中:
所述存在传感器包括电磁传感器;
所述存在传感器包括发射器和检测器;
所述发射器被配置为在所述感测场中发射第一电磁信号;并且
所述检测器被配置为检测从所述感测场中的所述手反射的所述第一电磁信号。
12.根据权利要求11所述的控制输入设备,其中所述存在传感器进一步包括光学飞行时间传感器,所述光学飞行时间传感器生成信号,所述信号包括对应于所述感测场中的所述手和所述存在传感器之间的可变距离的值。
13.根据权利要求1至7中任一项所述的控制输入设备,其中:
所述存在传感器包括热电堆传感器或热成像相机;并且
所述热电堆传感器或所述热成像相机包括检测器,所述检测器被配置为检测由所述感测场中的所述手发射的红外辐射。
14.根据权利要求1至7中任一项所述的控制输入设备,其中:
所述手柄的部分包括手柄远端、与所述手柄远端相对的手柄近端以及限定在所述手柄远端和所述手柄近端之间的中心轴线;
所述手柄远端比所述手柄近端更靠近所述手;
所述基部构件的基部部分包括基部远端和与所述基部远端相对的基部近端;
所述基部部分平行或大致平行于所述手柄的所述部分的所述中心轴线延伸;并且
所述存在传感器位于比所述基部近端更靠近所述手柄远端的所述基部远端上。
15.根据权利要求1至7中任一项所述的控制输入设备,其中:
所述手柄包括在所述手柄的远端和近端之间沿着所述手柄的中心轴线延伸的中心部分;
所述手柄包括从所述中心部分延伸的两个握持构件;
所述两个握持构件各自被配置为由所述手的对应的手指握持;
所述中心部分被配置为在由所述手握持所述手柄期间定位在所述手的至少两个手指之间;并且
所述感测场被配置为覆盖包括触摸所述两个握持构件中的任一个的所述手的一个或多个手指的区域。
16.根据权利要求15所述的控制输入设备,其中:
所述一个或多个自由度包括滚转自由度;
所述手柄相对于所述基部构件绕所述手柄的所述中心轴线在所述滚转自由度中可旋转;并且
所述感测场被配置为在所述手握持所述手柄时在所述手柄在所述滚转自由度中的所有取向下包括所述手的至少一部分。
17.根据权利要求1至7中任一项所述的控制输入设备,其中所述基部构件机械接地。
18.根据权利要求1至7中任一项所述的控制输入设备,其中所述基部构件机械不接地。
19.一种控制输入设备,其包括:
手柄,其被配置为在所述手柄的握持部分处被手动接触并且由用户的手在一个或多个自由度中移动,其中所述手柄包括沿着所述手柄的中心轴线延伸的中心部分,并且其中所述中心部分被配置为在由所述手握持所述手柄期间被定位在所述手的至少两个手指之间;
一个或多个控制输入传感器,其被配置为检测所述手柄在所述一个或多个自由度中的方位或取向;以及
存在传感器,其耦接到所述手柄的在所述手附近的远端,其中所述存在传感器被配置为检测由所述存在传感器的感测场中的所述手的存在而被定向为穿过空间到达所述存在传感器的电磁辐射或超声波,并且其中所述感测场位于所述手柄附近。
20.根据权利要求19所述的控制输入设备,其中:
所述手柄被配置为使得在所述手握持所述手柄的所述握持部分时,所述手的手掌不与所述手柄接触;并且
所述存在传感器被配置为检测由所述存在传感器的所述感测场中的所述手的所述手掌的存在而被定向为穿过空间到达所述存在传感器的所述电磁辐射或所述超声波。
21.根据权利要求19所述的控制输入设备,其中所述感测场位于在操作所述手柄之前的所述手朝向所述手柄的接近路径中。
22.根据权利要求19所述的控制输入设备,其中所述手柄定位在所述感测场的外部。
23.根据权利要求19所述的控制输入设备,其中:
由所述存在传感器生成的信号包括参数;
其中所述参数包括对应于所述感测场中的所述手与所述存在传感器之间的可变距离的值;并且
所述值被提供给处理器并且可用于确定所述手是否正在操作所述控制输入设备。
24.根据权利要求19所述的控制输入设备,其中:
由所述存在传感器生成的信号包括参数;
所述参数包括对应于所述感测场中的所述手相对于所述存在传感器的运动方向或所述感测场中的所述手的速度的值;并且
所述值被提供给处理器并且可用于确定所述手是否正在操作所述控制输入设备。
25.根据权利要求19至24中任一项所述的控制输入设备,其中所述感测场至少部分地位于所述手柄的端部的前面。
26.根据权利要求19至24中任一项所述的控制输入设备,其中:
所述感测场被成形为或大致为在远离所述存在传感器的方向上宽度增加的锥体;并且
所述感测场具有相对于所述手柄的中心轴线固定的空间方位,所述中心轴线在所述手柄的远端和近端之间延伸。
27.根据权利要求19至24中任一项所述的控制输入设备,其中:
所述存在传感器包括电磁传感器、热电堆传感器或热成像相机中的至少一个;
所述电磁传感器包括发射器和检测器,所述发射器被配置为在所述感测场中发射第一电磁信号,并且所述检测器被配置为检测从所述感测场中的所述手反射的所述第一电磁信号;
所述热电堆传感器包括检测器,所述检测器被配置为检测由所述感测场中的所述手发射的红外辐射;并且
所述热成像相机包括检测器,所述检测器被配置为检测由所述感测场中的所述手发射的所述红外辐射。
28.一种方法,其包括:
激活非控制模式,在所述非控制模式中,控制输入设备的手柄由用户在一个或多个自由度中手动可移动,而不会可移动地控制与所述控制输入设备通信的操纵器设备;
在所述非控制模式中,在存在传感器的感测场中感测用户的手相对于所述手柄的存在,所述感测场的一部分位于所述手柄附近;以及
响应于感测到所述手的所述存在,激活所述控制输入设备的控制模式,在所述控制模式中,所述手柄由所述用户在所述一个或多个自由度中可移动以可移动地控制所述操纵器设备。
29.根据权利要求28所述的方法,其中感测所述手的所述存在包括在所述手接触和操作所述手柄之前处于所述感测场中时,感测所述手朝向所述手柄的接近。
30.根据权利要求29所述的方法,其中感测所述手朝向所述手柄的所述接近包括:
确定所述手相对于所述手柄的运动方向;以及
确定所述运动方向是否朝向所述手柄。
31.根据权利要求28至30中任一项所述的方法,其中:
所述方法进一步包括:
确定所述手相对于所述手柄的速度,以及
确定所述手的所述速度满足阈值速度;并且
响应于所述手的所述速度满足所述阈值速度而执行所述控制模式的所述激活。
32.根据权利要求28至30中任一项所述的方法,其中:
所述方法进一步包括响应于感测到所述手不再操作所述手柄的指示而激活所述非控制模式;并且
所述指示包括以下各项中的至少一个:感测到所述手在距所述手柄的阈值距离之外,或感测到所述手在相对于所述手柄的特定方向上移动。
33.根据权利要求28至30中任一项所述的方法,其中:
只有响应于感测到所述手的所述存在并且由包括所述控制输入设备的系统的一个或多个其他存在检测设备感测到所述用户的存在才执行激活所述控制模式;并且
所述一个或多个其他存在检测设备包括以下各项中的至少一个:所述控制输入设备的握持传感器或所述系统的头部存在传感器。
34.根据权利要求28至30中任一项所述的方法,其中:
所述方法进一步包括在所述控制模式中时:
确定在所述控制模式中时所述手相对于所述控制输入设备的参考位置的方位,以及
基于所述手的所述方位,确定要在所述控制输入设备上输出的力的一个或多个特性;并且
所述力的一个或多个特性包括以下各项中的至少一个:在所述控制输入设备上输出的最大力幅度、在所述控制输入设备上输出的力幅度的增益,或所述控制输入设备上的所述力幅度增加的速率。
35.根据权利要求28至30中任一项所述的方法,其中:
所述方法进一步包括在所述控制模式中时:
确定所述手相对于所述控制输入设备的参考位置的方位,以及
基于所述方位,调整所述控制输入设备的安全特征;并且
调整所述安全特征包括以下各项中的至少一个:
改变在用以检测所述用户对所述控制输入设备的主动使用的所述控制输入设备的运动式样、加速度或方向的检测中所使用的参数,或者
通过使用耦接到所述控制输入设备的机构的一个或多个力输出设备,物理限制所述控制输入设备在一个或多个自由度中的速度。
36.根据权利要求28至30中任一项所述的方法,其中:
所述方法进一步包括:
由所述控制输入设备的一个或多个其他存在传感器检测所述用户的存在;以及
基于由所述一个或多个其他存在传感器检测到的所述用户的存在来确定手存在感测系统的一个或多个检测参数;
所述其他存在传感器与执行所述手的所述存在的所述感测的所述手存在感测系统独立且分离;并且
所述手存在感测系统的所述一个或多个检测参数包括以下各项中的一个或多个:感测的阈值、感测的范围或感测的持续时间。
37.一种方法,其包括:
激活控制模式,在所述控制模式中,控制输入设备的手柄由用户在一个或多个自由度中手动可移动,以可移动地控制与所述控制输入设备通信的操纵器设备;
在控制模式中,在存在传感器的感测场中感测所述用户的手相对于所述手柄的存在的改变,所述感测场的一部分位于所述手柄附近;以及
响应于感测到所述手的存在的所述改变,激活非控制模式,在所述非控制模式中,所述手柄由所述用户在所述一个或多个自由度中可移动,而不会可移动地控制所述操纵器设备。
38.根据权利要求37所述的方法,其中感测到所述手的存在的所述改变包括以下各项中的至少一个:
感测到所述手在距所述手柄的阈值距离之外;或
感测到所述手在远离所述手柄的方向上移动。
39.根据权利要求37所述的方法,其中:
所述方法进一步包括在激活所述控制模式之前:
感测所述存在传感器的所述感测场中的所述手的所述存在,以及
由包括所述控制输入设备的系统的一个或多个其他存在检测设备来感测所述用户的存在;
其中:
只有响应于感测到所述手的所述存在并且由所述一个或多个其他存在检测设备感测到所述用户的所述存在才执行激活所述控制模式;并且
所述一个或多个其他存在检测设备包括以下各项中的至少一个:所述控制输入设备的握持件或所述系统的头部存在传感器。
CN202080078788.1A 2019-10-08 2020-10-07 控制输入设备处的手存在感测 Pending CN114730220A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962912536P 2019-10-08 2019-10-08
US62/912,536 2019-10-08
PCT/US2020/054558 WO2021071933A1 (en) 2019-10-08 2020-10-07 Hand presence sensing at control input device

Publications (1)

Publication Number Publication Date
CN114730220A true CN114730220A (zh) 2022-07-08

Family

ID=73030225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080078788.1A Pending CN114730220A (zh) 2019-10-08 2020-10-07 控制输入设备处的手存在感测

Country Status (4)

Country Link
US (1) US20220382364A1 (zh)
EP (1) EP4042263A1 (zh)
CN (1) CN114730220A (zh)
WO (1) WO2021071933A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537219B2 (en) 2018-08-07 2022-12-27 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230010350A1 (en) * 2018-02-02 2023-01-12 Covidien Lp Robotic surgical systems with user engagement monitoring
US11933827B2 (en) 2020-11-04 2024-03-19 Intuitive Surgical Operations, Inc. Capacitive sensing of hand presence at control input device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714839B2 (en) 1998-12-08 2004-03-30 Intuitive Surgical, Inc. Master having redundant degrees of freedom
US10532466B2 (en) * 2008-08-22 2020-01-14 Titan Medical Inc. Robotic hand controller
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8543240B2 (en) 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
CN103890667B (zh) * 2011-10-21 2017-02-15 谷歌公司 用户友好、网络连接的学习型恒温器及相关系统和方法
US10317989B2 (en) * 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
WO2018056894A1 (en) * 2016-09-21 2018-03-29 Unitech Mechatronics Pte Ltd Thermopile array sensor for motion tracking and its application
CA3045462A1 (en) * 2016-11-29 2018-06-07 Virtual Incision Corporation User controller with user presence detection and related systems and methods
EP3709924A4 (en) * 2017-11-15 2021-12-15 Intuitive Surgical Operations, Inc. MASTER CONTROL DEVICE AND ASSOCIATED PROCESSES

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537219B2 (en) 2018-08-07 2022-12-27 The Research Foundation For The State University Of New York Feedback input apparatus and method for use thereof

Also Published As

Publication number Publication date
EP4042263A1 (en) 2022-08-17
US20220382364A1 (en) 2022-12-01
WO2021071933A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US20230301738A1 (en) Master control device and methods therefor
US20220382364A1 (en) Hand presence sensing at control input device
CN114126528B (zh) 用于外科机器人臂操纵的接近传感器
US11980435B2 (en) User interface device having grip linkages
US20200275985A1 (en) Master control device with multi-finger grip and methods therefor
KR102549816B1 (ko) 디바이스의 안전한 동작을 위한 시스템 및 방법
CN111050686A (zh) 手术机器人系统的摄像机控制
US11896331B2 (en) Detection of user touch on controller handle
US11278361B2 (en) Sensors for touch-free control of surgical robotic systems
US20230302650A1 (en) Detection and mitigation of predicted collisions of objects with user control system
JP7427815B2 (ja) グリップリンクを有するユーザインターフェース装置
US11933827B2 (en) Capacitive sensing of hand presence at control input device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination