CN104335139B - 手势控制 - Google Patents
手势控制 Download PDFInfo
- Publication number
- CN104335139B CN104335139B CN201380024498.9A CN201380024498A CN104335139B CN 104335139 B CN104335139 B CN 104335139B CN 201380024498 A CN201380024498 A CN 201380024498A CN 104335139 B CN104335139 B CN 104335139B
- Authority
- CN
- China
- Prior art keywords
- sensing equipment
- arm
- shape sensing
- clothes
- optic shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 239000013307 optical fiber Substances 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 32
- 230000004075 alteration Effects 0.000 claims description 11
- 238000001356 surgical procedure Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims description 2
- 230000037237 body shape Effects 0.000 claims 1
- 230000036541 health Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 description 8
- 239000000835 fiber Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000000523 sample Substances 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001802 infusion Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002679 ablation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 239000003365 glass fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000013308 plastic optical fiber Substances 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Professional, Industrial, Or Sporting Protective Garments (AREA)
Abstract
本发明涉及用于检测手势的设备、系统以及方法。所述设备、系统以及方法使用用于跟踪并监测使用者的光学形状感测设备。其允许对不同环境中的人员的无阻碍的、鲁棒的跟踪。所述设备、系统以及方法在健康护理机构中是特别有用的。
Description
技术领域
本发明涉及手势控制系统和方法。本发明特别涉及用于在健康护理机构中使用的手势控制系统和方法。
背景技术
与计算机进行交互能够以多种方式完成，包括使用鼠标或键盘。然而，在一些情况下，优选使用免接触式控制单元。这样的控制系统能够是语音控制的系统，但是语音控制不总是足够准确和精确的。本发明的发明人已经认识到改进的控制系统和方法是有益的，并且因此设计了本发明。
发明内容
用于使用操作者手势来控制成像系统和其他医疗设备的系统的鲁棒性取决于传感器数据的体积和传感器的类型。当前的手势控制方法具有缺点，例如基于摄像机的系统需要视线，并且基于超声的系统仅对于短距离是有用的。另一个限制因素是对于大多数传感器方法而言，难以跟踪例如操作者的整个手臂。
本发明提出不用于其他方案的一种利用跟踪操作者的四肢(例如手臂、头、手、手指)的光学形状感测来使能的衣服或任何光学形状感测使能的设备，优选与系统相结合，其中，模式识别方案应用于评估所记录的用于实时事件检测的手势。
实现一种控制系统应是有利的，其中，免接触式控制允许对诸如计算机的设备的精确的和鲁棒的输入。
总体上，本发明优选单独地或以任何组合寻求缓和、减轻或消除上述缺点中的一个或多个。具体地，提供解决现有技术中的上述问题或其他问题的方法可以被看作是本发明的目标。
为了更好地解决这些关心问题中的一个或多个，在本发明的第一方面中，提出一种由要被监测的诸如健康护理人员的人员穿着的衣服，所述衣服包括附着到衣服并且遍布所述衣服延伸的光学形状感测设备，使得衣服的部分的形状改变和/或移动被反映为光学形状感测设备的形状改变，其中，所述光学形状感测设备被缝合在衣服内或被附着到衣服，以便监测运动。
通过利用具有嵌入衣服或附着到衣服的可跟踪的形状感测设备，消除了基于摄像机的系统需要视线和基于超声的系统仅对短距离有用的缺点。另一个被克服的限制因素是对于大多数传感器方法难以跟踪例如操作者的整个手臂。通过本发明，能够跟踪整个手臂。这允许更精确的手势识别。而且，预期手势命令可以包括手臂的更多部分的移动，例如通过上臂与下臂和/或手的组合。衣服允许以鲁棒的方式监测穿着该衣服的人员。衣服提供对穿着该衣服的人员的移动模式的识别的可能性，从而允许该人员以免接触式的方式与仪器进行交互。
使用衣服或器械能够控制一系列仪器，包括但不限于成像系统(例如允许穿着者改变或操纵正在显示的图像)、外科手术器械(例如导管或介入探针或外科手术探针或机器人或用于造影剂的注射器)、正显示在屏幕上的数据集或外科医生可以希望以简单而直观的方式操作、无需接触设备来将其控制的任何其他器械或仪器。以下将给出更多的范例。
本发明还可以包括音频和/或视觉和/或触觉反馈，以确认手势解读和命令执行。而且，系统、衣服、器械以及方法可以采用模式开关，以在介入期间对手势控制状态的打开和关闭进行切换。也可以在执行所识别的命令之前使用确认步骤。
当在健康护理机构中，特别是在外科手术环境中使用所述衣服时，所述衣服提供直观的控制、以及由于与临床工作人员处理查看工作站的交互被减少的改进的工作流程。当前可以想象的是，所述系统非常适合于在医学成像中的范例，所述在医学成像中的范例总体上包括由手势控制的图像浏览器。这能够是例如预先记录的预介入成像，所述预介入成像包括但不限于患者正在经受或计划经受的外科手术或其他医疗程序的CT成像、MR成像、X射线成像、超声成像或实时X射线图像、实时MR-图像、实时CT图像、实时超声图像。
在一实施例中，光学形状感测设备包括柔性体，所述柔性体具有相对于设备的长度比较小的横截面，光学形状感测设备被配置为相对于基准确定柔性体的形状，形状感测设备被配置为基于其对于跟踪柔性体的移动和/或当前形状的配置来收集信息。当光学形状感测设备包括柔性体时，光学形状感测设备能够跟随穿着所述衣服人员移动，同时具有增加的强度。
有利地，光学形状感测设备被集成在衣服的部分中，所述衣服的部分对应于穿着所述衣服的人员的四肢。如上所述，预期将光学形状感测设备集成在四肢中是特别有用的，这是因为它们对有目的地移动是最有效的。四肢包括手臂、头、手和/或一个或多个手指。单独跟踪人员的躯干可能得到对应于给定的命令或事件的非故意的移动模式的检测。组合躯干和一个或多个四肢的移动模式识别提供更宽范围的组合，所述更宽范围的组合允许定义更多的命令或事件。跟踪至少一个四肢允许对要被控制的设备的直观控制。
在一实施例中，所述衣服是外科手术服，并且光学形状感测设备被定位在外科手术服的一只衣袖中。将光学形状感测设备集成在外科手术服中使用的衣服中是特别有用的，这是因为在这样的环境中，减少接触以保持无菌的要求非常高。消除外科医生与任何仪器之间的接触减少例如由于对仪器的不充分地清洁的污染风险。
有利地，所述衣服可以包括连接器，所述连接器用于将光学形状感测设备连接到控制计算设备，所述控制计算设备基于来自光学形状感测设备的位置信息来生成手势事件。所述衣服有利地用于生成针对计算设备(例如用于在外科手术环境中使用的成像设备)的命令或指令。
第二方面涉及一种包括光学形状感测设备的外科手术器械，所述光学形状感测设备被设置在外科手术器械之内，并且被配置为相对于基准确定外科手术器械的形状和/或位置，光学形状感测设备被配置为基于其对于程序期间的配置收集信息。可以基于被跟踪的医疗设备(例如手术器械，其包括但不限于形状感测使能的导管)的检测手法来检测手势(例如，如果医生执行特定的动作，所述手术器械能够用于触发输注)。范例能够是通过180度的顺时针旋转或者通过应用模式识别可检测的快速移动。以这种关系的光学形状感测设备也可以是光学位置感测设备。
有利地，外科手术器械可以是包括导管和/或导丝的柔性器械。
在一实施例中，外科手术器械可以包括连接器，用于连接到控制计算设备，所述控制计算设备基于来自光学形状感测设备的位置信息生成手势事件。外科手术器械可以直接连接到执行手势模式识别的控制计算设备或者根据本发明的第一方面连接到衣服，使得用于模式识别的系统将针对外科手术器械所记录的模式与使用衣服所检测的模式相关联。
本发明的第三方面涉及一种手势模式识别系统，所述手势模式识别系统包括由要被监测的人穿着的衣服，所述衣服包括：光学形状感测设备，其附着于所述衣服并且遍布所述衣服延伸，使得所述衣服的部分的形状改变和/或移动被反映为光学形状感测设备的形状改变，其中，光学形状感测设备被缝合在衣服内或被附着到衣服，以便监测运动；形状手势模式识别系统，其接收来自光学形状感测设备的信号，并且形状手势模式识别系统基于来自光学形状感测设备的信号生成手势事件。光学形状感测设备允许跟踪穿着所述衣服的人员的移动，并且如果/当该人员想要发出命令或指令到诸如图像显示设备的计算设备时，系统作为一个整体可以然后用于监测。系统提供对移动的准确和鲁棒的监测而没有视线的限制。
本发明的第四方面涉及一种手势模式识别系统，所述手势模式识别系统包括外科手术器械，所述外科手术器械包括光学形状感测设备，所述光学形状感测设备被设置在外科手术器械之内，并且被配置为相对于基准确定外科手术器械的形状和/或位置，光学形状感测设备被连接到形状手势模式识别系统，以基于来自与对于程序期间的器械配置有关的光学形状感测设备的信号来收集信息，形状手势模式识别系统基于信号创建手势事件。光学形状感测设备用于监测外科手术器械的移动。操作外科手术器械的人员可以想要发出命令来创建手势事件。作为范例，如果医生执行特定动作，例如通过180度的顺时针方向旋转或通过使用根据应用模式识别的系统可检测的快速移动，形状感测使能的导管能够用于触发输注。
本发明的第五方面涉及一种用于控制包括具有光学形状感测设备的对象的形状手势模式识别系统的方法，其中，形状手势模式识别系统被配置为相对于基准来确定对象的形状和/或位置，所述方法包括以下步骤：检测对象的手势模式，确定对象的手势模式是否对应于被识别的手势的集合中的一个，如果手势模式被识别，则基于所识别的手势生成手势事件，并且基于手势事件操作设备。所述方法允许对穿着具有光学形状感测设备的衣服的人员进行监测。所述方法提供对穿着所述衣服的人员的移动模式的识别，其中，所述人员被允许以免接触式的方式与仪器进行交互。所述方法可以有利地与关于本发明的其他方面提到的设备和系统结合使用。
有利地，对象是衣服，并且光学形状感测设备被集成或附着到所述衣服，所述方法然后可以包括检测穿着所述衣服的人员的手势模式。所述手势模式用于生成手势事件，所述手势事件反过来用于控制设备。所述设备能够是如其他地方所述的成像设备。
有利地，当对象是包括设置在外科手术器械之内并且被配置为相对于基准来确定外科手术器械的形状和/或位置的光学形状感测设备的外科手术器械时，光学形状感测设备可以被配置为基于其对于程序期间的配置来收集信息。当将所述方法应用于外科手术器械时，所述方法允许器械的操作者发出免接触式命令。所述命令可以涉及形状感测使能的导管，以经由实施导管触发输注。
有利地，检测手势模式可以包括检测分立的事件和/或定量的度量，所述度量包括速度和/或加速度。通过应用分立的事件，例如检测以特定方式的手臂移动或手的移动模式，所述方法允许对通常不是操作者正常行为的部分的移动进行定义。同样的方法应用于对定量的度量的检测。
有利地，检测分立的事件可以包括检测穿着对象的人员的四肢的运动。如所提到的，所述方法可以有利地集中于四肢或若干四肢(例如手臂、腿、手、手指、头或它们的组合)的移动。
在所有上述方面中，可以对光学形状感测设备应用以下内容。
有利地，光学形状感测设备可以包括光纤，所述光纤具有纤维布拉格光栅(FBG)和/或用于感测纤维中的应力的瑞利散射询问设置中的至少一种。一条或多条光纤的使用允许设备是柔性的。可以预见其它合适的材料或结构。
有利地，光学形状感测设备通过包括具有更高数目的具有光学应力传感器的光纤的区域来包括更高灵敏度的区域。例如，光学形状感测设备可以具有一个区域，其中存在一个数目的具有光学应力传感器的光纤，在另一个区域中，存在另一数目的具有光学应力传感器的光纤，并且因此可以建立具有更高灵敏度的区域。更高的灵敏度可以有助于实现对设备的位置的确定的更好的分辨率。其可以有利地具有：具有一根光纤的一个区域，，所述一根光纤具有定义具有第一灵敏度的区域的光学应力传感器；以及具有四根光纤的另一个区域，所述四根光纤具有定义具有比第一灵敏度更高的第二灵敏度的区域的光学应力传感器。
有利地，光学形状感测设备可以包括螺旋形状、指环形状、直线形状或弯曲线形状和/或环形形状中的一种或多种。不同的设计提供不同的效果，例如，更好地拟合到特定器官和/或肿瘤，并且特定的选择可以取决于想要进行的临床应用。
总体上，本发明的各个方面可以在本发明的范围之内以任何可能的方式组合和耦合。本发明的这些和其它方面、特征和/或优点参考下文描述的实施例将是明显的并且得到阐明。
附图说明
参考附图，仅通过范例的方式对本发明的实施例进行描述，其中
图1是本发明中使用的原理的示意图，
图2是健康护理环境的示意图，
图3是包括外科手术器械的系统的示意图，
图4是包括衣服的系统的示意图，并且
图5是根据本发明的方法的步骤的示意图。
具体实施方式
由于诸如对于保持无菌很重要的免接触式控制、直观控制、改进的工作流程等，因此手势控制在医疗市场正得到关注。然而，手势控制的鲁棒性取决于传感器数据的量以及传感器的类型：例如，基于摄像机的系统经受视线的问题。也就是说，摄像机必须具有对被跟踪的对象(例如人员的手臂或手)的无阻碍的视野。基于超声的系统仅对短距离应用是有用的。对于大多数传感器方法难以跟踪例如操作者的整个手臂。
图1示意性地图示了本发明中使用的一种原理，其中光纤被用作光学形状感测设备。在实践中，光纤20可以是任何类型的适合于光学跟踪细长设备的光纤。光纤20的范例包括但不限于：如本领域已知的结合沿纤维长度被集成的纤维布拉格光栅的阵列的柔性光学透明玻璃或塑料纤维，以及如本领域已知的具有沿纤维长度出现的在其光学折射率中的自然变化的柔性光学透明玻璃或塑料纤维(例如，基于瑞利散射的光纤)。光纤20可以是单芯纤维或优选地可以是多芯纤维。
整体上，图1示意性地图示了用于光学频域反射的系统10的原理，所述光学频域反射使用可调谐的光源30和纤维光学干涉仪。光源30的输出穿过分离器40，所述分离器40指导信号的部分进入基准手臂50，并且指导信号的剩余部分进入样本手臂60，所述样本手臂60照亮并接收在区域70处反射的光线。
在单色光源的波长扫过并且基准手臂和样本手臂的路径长度保持恒定的同时，利用平方律光探测器80检测从基准手臂返回的信号与样本手臂返回的信号之间的相干。通过采样的探测器信号的离散傅里叶变换(DFT)获得轴向反射率概况(A线)。
在实践中，细长设备20可以是任何类型的适合于为了光学跟踪细长设备的目的将光纤嵌入其中的设备。细长设备20的范例包括但不限于任何类型的内窥镜、导管以及导丝。细长设备20还可以被嵌入或附着于衣服。
在实践中，光学询问控制台30(包括光源)可以是任何在结构上被配置为用于将光线传送到光纤20或60并从光纤20或60接收反射光线的设备或系统。在一个实施例中，光学询问控制台30采用本领域中已知的光学傅立叶域反射计或其他适当的电子器件/设备。
图2示意性地图示了由要被监测的健康护理人员穿着的衣服100。衣服100包括光学形状感测设备110，所述光学形状感测设备110附着于衣服100并且遍布衣服100延伸，使得衣服100的部分的形状改变和/或移动被反映为光学形状感测设备110的形状改变，其中，光学形状感测设备110被缝合在衣服100内或附着到衣服100，以便监测运动。这允许使用衣服100对人员进行无阻碍的监测，从而使对特定移动模式的检测成为可能。在图2中，衣服100是外科手术衣，并且光学形状观测设备110被定位在外科手术衣的一只衣袖中。
当被包含在诸如衣服织物的柔性底物中时，纤维光学形状感测110能够用于跟踪穿着感测使能的衣服的操作者的手势。如果形状传感器被嵌入在例如操作围裙的手臂袖套中，能够在没有任何传感器限制(例如视线或操作区域大小)下跟踪整个手臂。
光学形状感测(OSS)的相对准确度甚至在大于三米的延长的系绳长度上对于手势控制和移动模式识别也是足够好的，其允许足够的缆线长度来连接衣服100。衣服100可以经由操作台120连接到仪器或直接连接到控制系统。优选地，连接是经由缆线130，这是因为当使用无线连接时可能涉及风险，但这不排除衣服100或者光学形状感测设备110也可以被无线连接。
特别是与更多的已建立的飞行时间(TOF)技术相比，光学形状感测的另一优点是即使小的变形也能够被跟踪。这是特别重要的，因为基于TOF的手势控制的一个当前的问题是不得不执行大的移动以进行控制，所述控制在操作室中是难以接受的。这在操作场所中不总是令人满意的。
光学形状感测设备110包括柔性体，所述柔性体具有相对于设备的长度比较小的横截面，并且光学形状感测设备110被配置为相对于基准来确定柔性体的形状，形状感测设备110被配置为基于其对于柔性体的跟踪移动和/或当前形状的配置来收集信息。其也可能经由图1中图示的布置。
也能够基于被跟踪的医疗设备的检测手法来检测手势。例如，如果医生执行特定动作，例如通过180度的顺时针旋转或通过应用模式识别方法可检测的快速移动，则形状感测使能的导管能够用于触发输注。图3是包括光学形状感测设备210的外科手术器械200的示意图，所述光学形状感测设备210被设置在外科手术器械200之内，并且被配置为相对于基准来确定外科手术器械200的形状和/或位置，光学形状感测设备200被配置为基于其对于程序期间的配置来收集信息。
在有利的实施例中，外科手术器械200是柔性器械，其包括导管和/或导丝。这样的器械通常由外科医生使用，并且能够控制器械的功能而不必松开器械的附加特征是对操作时的安全性的改进。
当利用衣服100时，外科手术器械200还包括连接器，用于连接到控制计算设备230，所述控制计算设备230基于来自光学形状感测设备的位置信息生成手势事件。优选地，器械200经由缆线240连接到系统。
对于安全性的其他改进，约束系统使得形状感测210能够用于识别目的是可能的：例如，只有当介入性心脏病医师的被跟踪的手握住被跟踪的消融导管的末端时，消融程序才能够被激活，而所有其他人员接触导管不能够激活它。
图4示意性地图示了手势模式识别系统300，所述手势模式识别系统300包括由要被监测的人穿着的衣服310，衣服310包括光学形状感测设备320，其附着到衣服310并且遍布衣服310延伸，使得衣服310的部分的形状改变和/或移动被反映为光学形状感测设备320的形状改变，其中，光学形状感测设备320被缝合衣服310内或附着到衣服310，以便监测运动，形状手势模式识别系统300包括从光学形状感测设备320接收信号的处理器330，并且形状手势模式识别系统300基于来自光学形状感测设备320的信号生成手势事件。
所述系统特别适合于在外科手术室环境中使用。光学形状感测设备320允许对穿着衣服310的人员的移动的跟踪，并且如果/当所述人员希望发出对诸如图像显示设备的计算设备的命令或指令时，那么系统作为一个整体可以用于监测。系统300提供对移动的准确和鲁棒的监测而没有视线的限制。
参考图3，可以定义类似的系统，其中，使用包括光学形状感测设备210的外科手术器械200，所述光学形状感测设备210被设置在外科手术器械200之内，并且被配置为相对于基准来确定外科手术器械200的形状和/或位置。光学形状感测210设备然后被连接240到形状手势模式识别系统中的处理器230，以基于与来自对于程序期间的器械200的配置有关的光学形状感测设备210的信号来收集信息，形状手势模式识别系统基于信号来创建手势事件。使用系统的人员然后可以向模式识别系统发出命令，以便操作仪器或诸如图像查看系统的外部系统中的其他功能。
图5示意性地图示了用于控制手势模式识别系统的方法400的步骤，所述手势模式识别系统包括具有光学形状感测设备的对象，其中，形状手势模式识别系统被配置为相对于基准来确定对象的形状和/或位置，所述方法包括以下步骤：检测410对象的手势模式，确定420对象的手势模式是否对应于已识别的手势的集合中的一个，如果手势模式被识别，则基于已识别的手势来生成手势事件，并且基于手势事件来操作430设备。
所述方法可以与衣服310结合使用，并且光学形状感测设备320然后被集成或附着到衣服310，所述方法然后还可以包括检测穿着所述衣服的人员的手势模式。
备选地，所述方法400可以与外科手术器械200结合使用，所述外科手术器械200包括光学形状感测设备210，所述光学形状感测设备210被设置在外科手术器械之内，并且被配置为相对于基准来确定外科手术器械的形状和/或位置，光学形状感测设备被配置为基于其对于程序期间的配置来收集信息。
本文描述的所有实施例还可以包括用于启动手势控制的其他步骤或设备。这能够是，例如用于检测想要进行的命令何时由穿着所述衣服或操作所述器械的人员发出的语音识别系统。其允许改进的安全性，这是因为所述系统或所述方法将不会被错误地解读为与作为实际命令的命令无关的移动。
尽管已经在附图和前面的描述中详细图示和描述了本发明，但是这样的图示和描述应当被认为是图示性或范例性的，而非限制性的。本发明不限于所公开的实施例。本领域技术人员通过研究附图、公开内容以及权利要求，在实践所要求保护的发明时能够理解和实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。尽管在互不相同的从属权利要求中记载的特定措施，但是这并不指示不能有效地使用这些措施的组合。计算机程序可以被存储和/或分布在合适的介质上，诸如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以以其他形式被分布，诸如经由互联网或其他有线或无线的通信系统。在权利要求中的任何附图标记都不应被解释为对范围的限制。
Claims (14)
1.一种由要被监测的人员穿着的衣服(100、310)，所述衣服包括：
光学形状感测设备(110、320)，其被集成在所述衣服(100、310)的至少一部分中并且遍布所述衣服(100、310)的至少一部分延伸，使得所述衣服(100、310)的所述部分的形状改变和/或移动被反映为所述光学形状感测设备(110、320)的形状改变，
其中，所述光学形状感测设备(110、320)被集成在所述衣服(100、310)中，以便监测运动；
其中，所述光学形状感测设备(110、320)包括(i)光纤基准手臂、(ii)光纤样本手臂和(iii)柔性体，所述光纤基准手臂用于接收从单色光源输出的光信号通过分离器的部分，所述光纤样本手臂用于接收所述光信号的剩余部分，其中，所述样本手臂照亮并接收在所述样本手臂的末端区域处反射的光线，所述柔性体具有相对于所述光学形状感测设备的长度比较小的横截面，并且
其中，所述光学形状感测设备(110、320)被配置为基于从所述基准手臂返回的所述光信号的部分与从所述样本手臂返回的所述光信号的剩余部分之间的相干确定相对于基准的所述柔性体的形状，所述相干是在所述单色光源的波长扫过并且所述基准手臂和所述样本手臂的路径长度保持恒定的同时利用平方律光探测器检测到的，并且所述光学形状感测设备(110、320)还被配置为基于其对于跟踪所述柔性体的移动和/或当前形状的配置来收集信息。
2.根据权利要求1所述的衣服(100、310)，其中，所述光学形状感测设备(110、320)被集成在所述衣服(100、310)的部分中，所述部分对应于穿着所述衣服(100、310)的人员的四肢。
3.根据权利要求1所述的衣服(100、310)，其中，所述衣服(100、310)是外科手术服(100)，并且所述光学形状感测设备(110、320)被定位在所述外科手术服(100)的一只衣袖中。
4.根据权利要求1所述的衣服(100、310)，还包括连接器，所述连接器用于将所述光学形状感测设备(110、320)连接到控制计算设备，所述控制计算设备基于来自所述光学形状感测设备的位置信息来生成手势事件。
5.一种外科手术器械(200)，包括：
光学形状感测设备(210)，所述光学形状感测设备(210)被设置在所述外科手术器械(200)之内，
其中，所述光学形状感测设备(210)包括(i)光纤基准手臂、(ii)光纤样本手臂和(iii)柔性体，所述光纤基准手臂用于接收从单色光源输出的光信号通过分离器的部分，所述光纤样本手臂用于接收所述光信号的剩余部分，其中，所述样本手臂照亮并接收在所述样本手臂的末端区域处反射的光线，所述柔性体具有相对于所述光学形状感测设备的长度比较小的横截面，并且
其中，所述光学形状感测设备(210)被配置为基于从所述基准手臂返回的所述光信号的部分与从所述样本手臂返回的所述光信号的剩余部分之间的相干确定相对于基准的所述外科手术器械(200)的形状和/或位置，所述相干是在所述单色光源的波长扫过并且所述基准手臂和所述样本手臂的路径长度保持恒定的同时利用平方律光探测器检测到的，并且所述光学形状感测设备(210)还被配置为基于其在程序期间的配置来收集信息。
6.根据权利要求5所述的外科手术器械(200)，其中，所述外科手术器械(200)为包括导管和/或导丝的柔性器械。
7.根据权利要求5所述的外科手术器械(200)，还包括连接器，所述连接器用于连接到控制计算设备，所述控制计算设备基于来自所述光学形状感测设备的位置信息来生成手势事件。
8.一种形状手势模式识别系统(300)，包括：
由要被监测的人穿着的衣服(310)，所述衣服(310)包括：
光学形状感测设备，其被集成在所述衣服(310)的至少一部分中并且遍布所述衣服(310)的至少一部分延伸，使得所述衣服(310)的所述部分的形状改变和/或移动被反映为所述光学形状感测设备的形状改变，其中，所述光学形状感测设备被集成在所述衣服(310)中，以便监测运动，以及
处理器，其接收来自所述光学形状感测设备的信号，并且基于来自所述光学形状感测设备的信号来生成手势事件；
其中，所述光学形状感测设备(320)包括(i)光纤基准手臂、(ii)光纤样本手臂和(iii)柔性体，所述光纤基准手臂用于接收从单色光源输出的光信号通过分离器的部分，所述光纤样本手臂用于接收所述光信号的剩余部分，其中，所述样本手臂照亮并接收在所述样本手臂的末端区域处反射的光线，所述柔性体具有相对于所述光学形状感测设备的长度比较小的横截面，并且
其中，所述光学形状感测设备(320)被配置为基于从所述基准手臂返回的所述光信号的部分与从所述样本手臂返回的所述光信号的剩余部分之间的相干确定相对于基准的所述柔性体的形状，所述相干是在所述单色光源的波长扫过并且所述基准手臂和所述样本手臂的路径长度保持恒定的同时利用平方律光探测器检测到的，并且所述光学形状感测设备(320)还被配置为基于其对于跟踪所述柔性体的移动和/或当前形状的配置来收集信息。
9.一种形状手势模式识别系统，包括：
外科手术器械(200)，其包括光学形状感测设备(210)，所述光学形状感测设备(210)被设置在所述外科手术器械(200)之内，
其中，所述光学形状感测设备(210)包括(i)光纤基准手臂、(ii)光纤样本手臂和(iii)柔性体，所述光纤基准手臂用于接收从单色光源输出的光信号通过分离器的部分，所述光纤样本手臂用于接收所述光信号的剩余部分，其中，所述样本手臂照亮并接收在所述样本手臂的末端区域处反射的光线，所述柔性体具有相对于所述光学形状感测设备的长度比较小的横截面，
其中，所述光学形状感测设备(210)被配置为基于从所述基准手臂返回的所述光信号的部分与从所述样本手臂返回的所述光信号的剩余部分之间的相干确定相对于基准的所述外科手术器械(200)的形状和/或位置，所述相干是在所述单色光源的波长扫过并且所述基准手臂和所述样本手臂的路径长度保持恒定的同时利用平方律光探测器检测到的，并且
其中，所述光学形状感测设备(210)被连接到所述形状手势模式识别系统中的处理器(230)，以基于来自所述光学形状感测设备(210)的与程序期间的所述器械(200)的配置有关的信号来收集信息，所述形状手势模式识别系统基于所述来自所述光学形状感测设备(210)的信号来创建手势事件。
10.一种用于控制形状手势模式识别系统的方法(400)，所述形状手势模式识别系统包括具有光学形状感测设备(210、320)的对象(200、310)，所述方法包括：
经由所述形状手势模式识别系统检测(410)所述对象(200、310)的手势模式，其中，所述光学形状感测设备(210、320)包括(i)光纤基准手臂、(ii)光纤样本手臂和(iii)柔性体，所述光纤基准手臂用于接收从单色光源输出的光信号通过分离器的部分，所述光纤样本手臂用于接收所述光信号的剩余部分，其中，所述样本手臂照亮并接收在所述样本手臂的末端区域处反射的光线，所述柔性体具有相对于所述光学形状感测设备的长度比较小的横截面，并且其中，所述光学形状感测设备(210、320)被配置为基于从所述基准手臂返回的所述光信号的部分与从所述样本手臂返回的所述光信号的剩余部分之间的相干确定相对于基准的所述对象(200、310)的形状和/或位置，所述相干是在所述单色光源的波长扫过并且所述基准手臂和所述样本手臂的路径长度保持恒定的同时利用平方律光探测器检测到的；
确定(420)所述对象的所述手势模式是否对应于已识别的手势的集合中的一个，如果所述手势模式被识别，则基于所述已识别的手势来生成手势事件；并且
基于所述手势事件来操作(430)设备。
11.根据权利要求10所述的方法(400)，其中，所述对象是衣服(100、310)，并且所述光学形状感测设备被集成或附着到所述衣服(100、310)，所述方法包括检测穿着所述衣服(100、310)的人员的手势模式。
12.根据权利要求10所述的方法(400)，其中，所述对象是包括光学形状感测设备(210)的外科手术器械(200)，所述光学形状感测设备(210)被设置在所述外科手术器械(200)之内，并且被配置为确定相对于基准的所述外科手术器械(200)的形状和/或位置，所述光学形状感测设备(210)被配置为基于其在程序期间的配置来收集信息。
13.根据权利要求10所述的方法(400)，其中，检测所述手势模式包括检测分立的事件和/或定量的度量，所述度量包括速度和/或加速度。
14.根据权利要求13所述的方法(400)，其中，检测分立的事件包括检测穿着所述对象的人员的四肢的运动。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261645097P | 2012-05-10 | 2012-05-10 | |
| US61/645,097 | 2012-05-10 | ||
| PCT/IB2013/053479 WO2013168056A1 (en) | 2012-05-10 | 2013-05-02 | Gesture control |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104335139A CN104335139A (zh) | 2015-02-04 |
| CN104335139B true CN104335139B (zh) | 2017-07-28 |
Family
ID=48670625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380024498.9A Expired - Fee Related CN104335139B (zh) | 2012-05-10 | 2013-05-02 | 手势控制 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9483122B2 (zh) |
| EP (1) | EP2847651A1 (zh) |
| JP (1) | JP2015525303A (zh) |
| CN (1) | CN104335139B (zh) |
| WO (1) | WO2013168056A1 (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107072738A (zh) * | 2014-09-30 | 2017-08-18 | 皇家飞利浦有限公司 | 利用光学形状感测光纤触发 |
| US10613637B2 (en) * | 2015-01-28 | 2020-04-07 | Medtronic, Inc. | Systems and methods for mitigating gesture input error |
| US11347316B2 (en) | 2015-01-28 | 2022-05-31 | Medtronic, Inc. | Systems and methods for mitigating gesture input error |
| CN105125155A (zh) * | 2015-06-25 | 2015-12-09 | 云南电网有限责任公司电力科学研究院 | 一种基于手势控制内窥镜光纤的方法 |
| CN104970754B (zh) * | 2015-06-25 | 2016-09-28 | 云南电网有限责任公司电力科学研究院 | 一种基于Kinect传感器手势控制内窥镜光纤的方法 |
| RU2717751C2 (ru) * | 2015-07-30 | 2020-03-25 | Конинклейке Филипс Н.В. | Лазерный датчик для обнаружения нескольких параметров |
| US10852475B2 (en) * | 2015-08-19 | 2020-12-01 | United States Of America, As Represented By The Secretary Of The Navy | Flexible light guide film for electronic activation and control |
| DE102015114520A1 (de) * | 2015-08-31 | 2017-03-02 | Hans Heidolph Gmbh & Co. Kg | Laborgerät |
| EP3350670B1 (en) | 2015-09-16 | 2024-01-10 | Koninklijke Philips N.V. | Medical system using optical shape sensing fiber for triggering an event |
| AU2016343813A1 (en) * | 2015-10-29 | 2018-05-10 | Sharp Fluidics Llc | Systems and methods for data capture in an operating room |
| CN107728817A (zh) * | 2017-11-29 | 2018-02-23 | 哈尔滨拓博科技有限公司 | 基于手势控制的空中鼠标控制系统 |
| CN111989026B (zh) * | 2018-04-19 | 2024-08-30 | 富士胶片株式会社 | 内窥镜装置、内窥镜装置的工作方法及记录介质 |
| US10739857B2 (en) * | 2018-04-21 | 2020-08-11 | Dale Kazdan | Wearable tracking computer |
| US10663290B1 (en) | 2019-03-08 | 2020-05-26 | Sensuron Llc | Dynamic fiber optic shape sensing |
| EP4134974A1 (en) | 2021-08-12 | 2023-02-15 | Koninklijke Philips N.V. | Dynamic care assistance mechanism |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5668573A (en) * | 1992-09-25 | 1997-09-16 | Sextant Avionique | Management method for a man-machine interaction system |
| CN103079478A (zh) * | 2010-08-23 | 2013-05-01 | 皇家飞利浦电子股份有限公司 | 用于医疗流程的标测系统和方法 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE77164T1 (de) * | 1985-08-19 | 1992-06-15 | Jaron Z Lanier | Apparat zur eingabe und behandlung von computerdaten. |
| US6437771B1 (en) * | 1995-01-18 | 2002-08-20 | Immersion Corporation | Force feedback device including flexure member between actuator and user object |
| US5731804A (en) * | 1995-01-18 | 1998-03-24 | Immersion Human Interface Corp. | Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems |
| US5825982A (en) | 1995-09-15 | 1998-10-20 | Wright; James | Head cursor control interface for an automated endoscope system for optimal positioning |
| CA2200117A1 (en) * | 1997-03-17 | 1998-09-17 | Lee Danisch | Topological and motion measuring tool |
| WO1998041815A1 (en) * | 1997-03-17 | 1998-09-24 | Canadian Space Agency | Topological and motion measuring tool |
| US7747312B2 (en) | 2000-01-04 | 2010-06-29 | George Mason Intellectual Properties, Inc. | System and method for automatic shape registration and instrument tracking |
| US6498652B1 (en) * | 2000-02-08 | 2002-12-24 | Deepak Varshneya | Fiber optic monitor using interferometry for detecting vital signs of a patient |
| US6816266B2 (en) * | 2000-02-08 | 2004-11-09 | Deepak Varshneya | Fiber optic interferometric vital sign monitor for use in magnetic resonance imaging, confined care facilities and in-hospital |
| US7366645B2 (en) * | 2002-05-06 | 2008-04-29 | Jezekiel Ben-Arie | Method of recognition of human motion, vector sequences and speech |
| DE10244553B3 (de) * | 2002-09-25 | 2004-02-05 | Robert Bosch Gmbh | Interferometrische Messeinrichtung |
| US7727117B2 (en) * | 2002-12-04 | 2010-06-01 | Ialabs-Ca, Llc | Method and apparatus for operatively controlling a virtual reality scenario with a physically demanding interface |
| EP1700192B1 (en) * | 2003-12-23 | 2009-09-30 | Nokia Corporation | Method and apparatus for entering data with an eight way input device |
| US20060013523A1 (en) * | 2004-07-16 | 2006-01-19 | Luna Innovations Incorporated | Fiber optic position and shape sensing device and method relating thereto |
| US7492367B2 (en) * | 2005-03-10 | 2009-02-17 | Motus Corporation | Apparatus, system and method for interpreting and reproducing physical motion |
| US20090066641A1 (en) * | 2005-03-10 | 2009-03-12 | Motus Corporation | Methods and Systems for Interpretation and Processing of Data Streams |
| JP4554476B2 (ja) | 2005-08-30 | 2010-09-29 | 財団法人電力中央研究所 | 生体活動監視方法と、これに用いる光ファイバ式平板状体センサ |
| US7810504B2 (en) * | 2005-12-28 | 2010-10-12 | Depuy Products, Inc. | System and method for wearable user interface in computer assisted surgery |
| WO2008042219A2 (en) | 2006-09-29 | 2008-04-10 | Nellcor Puritan Bennett Llc | User interface and identification in a medical device systems and methods |
| US20090054067A1 (en) * | 2007-08-23 | 2009-02-26 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for gesture-based command and control of targets in wireless network |
| US20100013767A1 (en) * | 2008-07-18 | 2010-01-21 | Wei Gu | Methods for Controlling Computers and Devices |
| JP5433883B2 (ja) * | 2009-04-06 | 2014-03-05 | 学校法人 創価大学 | 光ファイバセンサ及びこれを備えた検出装置 |
| CN102109902A (zh) * | 2009-12-28 | 2011-06-29 | 鸿富锦精密工业（深圳）有限公司 | 基于手势识别的输入装置 |
| JP5770207B2 (ja) * | 2010-01-14 | 2015-08-26 | コーニンクレッカ フィリップス エヌ ヴェ | リアルタイム位置追跡のための医療スコープ用可撓性インサート |
| CN103607948A (zh) * | 2011-01-27 | 2014-02-26 | 皇家飞利浦电子股份有限公司 | 用于临床使用期间的光学形状感测校准的模板 |
| RU2594814C2 (ru) * | 2011-01-27 | 2016-08-20 | Конинклейке Филипс Электроникс Н.В. | Интеграция оптоволоконного определения формы в интервенционную среду |
| BR112013018983A2 (pt) * | 2011-01-27 | 2017-11-07 | Koninl Philips Electronics Nv | instrumento médico, sistema para calibração de um instrumento médico e método |
| WO2012147028A1 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Guided delivery of prosthetic valve |
| EP2717771B1 (en) * | 2011-06-10 | 2018-10-03 | Koninklijke Philips N.V. | Optical fiber sensing for determining real time changes in applicator geometry for interventional therapy |
| IN2014CN03975A (zh) * | 2011-11-07 | 2015-09-04 | Koninkl Philips Nv | |
| US9304018B2 (en) * | 2013-11-05 | 2016-04-05 | Intuitive Surgical Operations, Inc. | Body shape, position, and posture recognition suit with multi-core optical shape sensing fiber |
-
2013
- 2013-05-02 US US14/398,497 patent/US9483122B2/en not_active Expired - Fee Related
- 2013-05-02 EP EP13730647.8A patent/EP2847651A1/en not_active Withdrawn
- 2013-05-02 WO PCT/IB2013/053479 patent/WO2013168056A1/en active Application Filing
- 2013-05-02 JP JP2015510917A patent/JP2015525303A/ja active Pending
- 2013-05-02 CN CN201380024498.9A patent/CN104335139B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5668573A (en) * | 1992-09-25 | 1997-09-16 | Sextant Avionique | Management method for a man-machine interaction system |
| CN103079478A (zh) * | 2010-08-23 | 2013-05-01 | 皇家飞利浦电子股份有限公司 | 用于医疗流程的标测系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9483122B2 (en) | 2016-11-01 |
| EP2847651A1 (en) | 2015-03-18 |
| WO2013168056A1 (en) | 2013-11-14 |
| US20150109196A1 (en) | 2015-04-23 |
| JP2015525303A (ja) | 2015-09-03 |
| CN104335139A (zh) | 2015-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104335139B (zh) | 手势控制 | |
| CN109567954B (zh) | 图像引导程序的工作流程辅助系统及方法 | |
| US11911011B2 (en) | Endolumenal object sizing | |
| KR102643758B1 (ko) | 생검 장치 및 시스템 | |
| US20220039876A1 (en) | Sensored surgical tool and surgical intraoperative tracking and imaging system incorporating same | |
| US11191593B2 (en) | Triggering with optical shape sensing fiber | |
| CA2983780C (en) | Surgical imaging sensor and display unit, and surgical navigation system associated therewith | |
| JP4500913B2 (ja) | ロケーションを同定するための方法及び装置 | |
| JP2018537155A (ja) | 患者の体内における内視鏡の位置を追跡するための装置及び方法 | |
| US20180028088A1 (en) | Systems and methods for medical procedure monitoring | |
| JP2017529914A (ja) | 整形外科用ナビゲーションのための形状検知 | |
| FR2908628A1 (fr) | Procede et systeme de pilotage d'un instrument medical | |
| EP2524289A1 (en) | Controlling and/or operating a medical device by means of a light pointer | |
| JP2019213879A (ja) | 最小侵襲性のインターベンションのための形状センスされるロボット超音波 | |
| CN106061349A (zh) | 用于测量组织区域的装置和方法 | |
| CN108024783A (zh) | 用于脉管表征的装置 | |
| CN109715054A (zh) | 与体外图像中的仪器相关的图像对象的可视化 | |
| US20210186648A1 (en) | Surgical shape sensing fiber optic apparatus and method thereof | |
| CN103889259A (zh) | 用于医疗介入的体表反馈 | |
| JP2014507987A (ja) | 内視鏡の相対的追跡に対する光感知 | |
| CN108778135B (zh) | 多模态x射线成像中的光学相机选择 | |
| KR20130121521A (ko) | 환부 및 수술도구의 트랙킹 방법 | |
| JP7048484B2 (ja) | 医療システム | |
| WO2021161515A1 (ja) | 長尺状医療用デバイスの位置検出システムおよび方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170728 Termination date: 20180502 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |