CN102282527B - 无手动指示器系统 - Google Patents

无手动指示器系统 Download PDF

Info

Publication number
CN102282527B
CN102282527B CN200980154807.8A CN200980154807A CN102282527B CN 102282527 B CN102282527 B CN 102282527B CN 200980154807 A CN200980154807 A CN 200980154807A CN 102282527 B CN102282527 B CN 102282527B
Authority
CN
China
Prior art keywords
motion
motion detection
cursor
target
tracking means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200980154807.8A
Other languages
English (en)
Other versions
CN102282527A (zh
Inventor
C·M·施拉赫塔
R·V·帕特尔
A·L·特雷霍斯
M·D·纳什
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
London Health Sciences Centre Research Inc
Original Assignee
London Health Sciences Centre Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by London Health Sciences Centre Research Inc filed Critical London Health Sciences Centre Research Inc
Publication of CN102282527A publication Critical patent/CN102282527A/zh
Application granted granted Critical
Publication of CN102282527B publication Critical patent/CN102282527B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Abstract

本发明涉及一种用于控制光标在一个或多个显示设备上的运动的无手动系统。包括可跟踪标记和一个或多个加速计和陀螺仪的跟踪设备用于跟踪所述标记相对于感兴趣的目标的位置和加速度。处理装置处理来自跟踪设备的运动信号以确定操作者的监视器上的光标的位置，其还可以在多个监视器上显示。跟踪设备可以由操作者戴上，优选地戴在操作者头上。操作者的头部运动确定光标的运动。

Description

无手动指示器系统
技术领域
本发明涉及一种用于控制光标在一个或多个显示设备上移动的新颖性系统、方法和设备。具体地，本发明涉及用于控制指示器在一个或多个显示设备上移动的新颖性无手动系统、方法和设备。更具体地，本发明涉及用于操作者在他或她的监视器上控制指示器以及指示器在一个或多个监视器上显示的情况下的无手动指示器系统、方法和设备。
背景技术
一些不同类型的定向设备允许基于手动用户输入指向显示的图像上的所选目标。这样的指示器设备的实例包括传统的键盘和诸如鼠标的定向设备或传统的激光指示器。绝大多数输入设备需要某种程度的手的灵活性。身体残疾的用户(例如，没有手的用户或临时或永久丧失运动技能的用户)可能很困难来操作传统的键盘或定向设备。
用户还可能由于同时执行另外的任务而遭遇难题，例如医生对病人动手术而其他人开车或操作机器。
在许多外科手术期间，外科医生(指导者)由助手(受训者)和/或外科住院医生(其也进行培训)陪伴。手术本身需要指导者以及受训者紧密配合来工作以及处于经常联系中。在先进的微创外科手术(腹腔镜或机器人辅助外科手术)期间，在一些视频监视器上观测手术部位同时经由小的切口进行手术。典型地，在这些手术期间，指导者和受训助手可能均双手占有外科器械。此外，双方均可能有在上面显示手术图像的自己的操作监视器。迄今为止，在指导期间，指导者将不得不放下他或她的器械之一而通过手指或其他机械指示器指向受训者的监视器以提供指导。一些人为此而采用激光指示器，允许指导者不用放下手中器械，但是这仍然需要指导者离开自己的监视器而指向受训者的监视器。这是耗时的、失去方向感，甚至潜在是不舒适的实践。
允许无手动控制显示的图像的已知类型的定向设备包括语音-文本转换器。还存在各种类型的头部跟踪技术，其基于用户头部运动而控制显示的图像。
Zhang等的“Human-computer interaction system based on nosetracking(L.Jacko(Ed.)，Human Computer Interaction，Part III，HCII 2007，LNCS 4552，第769-778页，2007年)和Gorodnichy等(Image and VisionComputing，第22卷，第931-942页，2004年)引入跟踪系统，其允许用户通过其鼻子来控制指示器。这种类型的技术使用校准相机和图像处理来实时识别鼻子的位置。这些是基于特征识别的无手动系统，可以与语音识别组合。
类似地，Atienza等(Image Processing and Communications，第6卷，No.3-4，第47-60页，2001年)描述了基于跟踪面部特征的无手动接口。
Felzer等(SIGACCESS newsletter，88，第19-28页，2007年6月)介绍了无手动控制来帮助残疾人。无手动指示器控制系统允许通过基于肌肉的接口来控制计算机监视器上的指示器，该接口包括绑在前额上的带子。
市场上可获得的用于无手动指示器控制的系统包括SmartNavTM系统。该系统使用红外(IR)光来跟踪反射点的位置。使用IR光的问题是其使用易受眩光的影响(J.Hargrave-Wright，″Improvements inhands-free access to computers，″Joint Information Systems Committee(JISC)Technology and Standards Watch，Report#TSW 02-06，October2002.Available：http://www.jisc.ac.uk～media～documents/techwatch/ tsw～O2)。
其他的无手动指示器控制系统包括MadentrcTM所有的HeadmouseExtremeTM和Tracker ProTM。另外的系统Boost TracerTM使用陀螺仪来检测头部运动并控制计算机监视器上的指示器。
Jayaraman等还描述了使用相机来跟踪放在外科医生面罩上的标记的位置的无手动指示器(Scientific Session of the Society of AmericanGastrointestinal and Endoscopic Surgeons(SAGES)，Philadelphia，PA，USA，Abstract#19547，P236，April 9-12，2008)。该系统说明了若干困难，包括：对目标部位处的指示器的准确定位、图像质量和大小的退化、和所需设备的棘手和复杂的安装。
现有技术的指示器系统的不足如下：手持激光指示器系统是笨重的，只能用于一次指向一个监视器；没有用于外科训练的其他市场可用的系统；为了远程合作开发的指示器系统需要使用手或手指来激活；大部分无手动系统为残疾人而设计，需要一定肌肉的运动或图像处理来识别用户面部上的某些特征，由于外科医生带有面罩、眼部护具和头灯从而没有露出面部特征以进行跟踪，所以该无手动系统对于外科应用不切实可行；虽然在外科训练中精度是非常重要的，但是基于陀螺仪或加速计的系统具有较低的分辨率，以及以低速来控制；基于红外光的系统易受眩光或在处于光源的视场的其他物体上出现的反射的影响，将导致潜在重大错误；当前没有可用的系统组合标记跟踪技术与惯性传感器；以及没有系统解决速度相关运动控制提供低速的准确指示器控制和高速的大指示器位移的问题。
此外，没有上述无手动设备适用于诸如视频辅助可操作的手术(例如腹腔镜外科和机器人辅助外科)期间的具体的情况，其中外科医生的手被占用来操作手术工具，以及外科医生和受训者可使用不同的监视器来进行指导。
因此，需要一种系统、设备和方法来提供对显示设备上的光标(例如在监视器上的指示器)的无手动控制，来克服现有技术的缺陷。还需要无手动指示器，其提供准确跟踪和快速移动指示器穿越监视器的场的能力。此外，无手动指示器必须不易受到来自外科环境中的其他设备的干扰，例如其他光以及眩光。
发明内容
现在已经开发出用于提供一个或多个显示设备上的光标的精准运动的新颖性系统、设备和方法。
在本发明的一个方面，提供了一种用于控制光标相对于一个或多个显示设备上显示的目标的运动的系统，其特征在于，所述系统包括：a.跟踪装置，用于跟踪操作者相对于所述目标的运动，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据；b.处理装置，用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据，其中所述链接的数据用于控制所述光标相对于所述一个或多个显示设备上的目标的运动。
在本发明的另外的方面，提供一种在用于控制光标相对于一个或多个显示设备上显示的目标的运动的系统中由操作者使用的跟踪设备，其特征在于，所述跟踪设备包括跟踪装置，适于跟踪所述操作者相对于目标的运动，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据。
在本发明另外的方面，提供一种用于控制光标相对于在一个或多个显示设备上的目标的运动的方法，其特征在于，所述方法包括以下步骤：a.提供跟踪装置，其用于跟踪操作者相对于所述目标的运动，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据；b.使用处理装置，其用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据，其中所述链接的数据用于控制所述光标相对于所述目标的运动；以及c.显示所述光标相对于所述一个或多个显示设备上的所述目标的运动。
在此描述的至少一些方面的一个或多个优点包括：(1)提供无手动控制显示设备上的对象(例如指示器)的系统，(2)提供对各种速度的对象的较高跟踪精度的系统，(3)不易受外界干扰影响的系统，(4)小型的易安装的系统，(5)不导致由于增加对象而造成图像分辨率的损失的系统，(6)不需要个人计算机或膝上型计算机的系统。
附图说明
图1例示了用于将可跟踪的标记与相应于多于一个显示设备的指示器链接的系统。
图2例示了合并之前在图1中示出的覆盖系统的远程监护系统。
图3例示了用于显示视频图像和在其上覆盖指示器的闭环系统。
图4例示了可称为加速计/陀螺仪(A/G)信号和视频信号的备选的合并。
图5例示了可称为A/G和视频信号的可协做合并。
图6例示了跟踪误差的估计。
具体实施方式
概述
本发明涉及用于控制光标相对于一个或多个显示设备上显示的目标的运动的系统、设备和方法。该目标可以是例如，在显示设备上显示的图像的感兴趣的区域。在本发明的一个方面，提供了其运动和位置需要被控制的光标的无手动控制器。
光标包括任何针对显示设备的计算机化参考点，包括例如，文本光标、指针、交叉丝、点、箭头、平面指示器、三角或中空圆圈。此外，光标的属性可以是可调整的，包括例如方向、大小、颜色和形状。光标还可以是可为各个运动和调整独立激活的多个光标。
在本发明的一个方面，提供了一种用于控制光标相对于一个或多个显示设备上显示的目标的运动的系统。该系统包括跟踪装置，其跟踪操作者相对于所述目标的运动。所述跟踪装置可操作为基于所述运动生成运动检测数据。还提供处理装置，用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据。所述链接的数据用于控制所述光标相对于所述一个或多个显示设备上的目标的运动。
在本发明的另外的方面，可以提供一个或多个光标。在此描述的所述系统可以是多个这样的系统，其每个可操作为按照需要控制一个光标或多个光标。可以提供一个或多个跟踪装置和一个或多个处理装置，其中每个跟踪装置和/或每个处理装置可以被配置为控制一个或多个光标的运动。可以提供所述一个或多个跟踪装置来跟踪一个或多个操作者的运动。
在本发明另外的方面，提供了一种无手动激活的视频指示器或对运动和位置需要被控制的任意其他视频显示的光标的无手动控制器的系统，其中所述视频指示器或光标可以同时显示在一个或多个显示设备上(例如在活动空间可用的视频监视器或投影显示器)，以及可以使用多个身体运动由操作者准确控制。
本发明可以用于指导或引导受训者(例如医科学生、住院医生和同伴)，其中指导者由于同时执行另外的任务而遭遇问题。遇到问题的指导者的实例可以包括进行手术的医生、开车的人、操作机械的指导者或身体残疾的指导者。
本发明还可以用于在多任务情境中指向以及选择显示设备上的目标，其中用户需要使用他/她的手来操作设备，与此同时还指向目标。非限制性的实例包括打计算机游戏和游戏应用。可控制光标相对于目标的运动。用户使得标记相对于目标移动，以及跟踪装置从所述标记生成运动检测数据。将运动检测数据链接到来自所述目标的信号数据(例如目标的图像)，以显示所述目标和光标。
下面的说明和实例将本发明的应用集中在外科训练情境中，然而本领域技术人员应该理解，本发明的这些和其他备选的实现作为本发明的自然的扩展。
为了最好地示出本发明，假定使用体态(更具体地操作者的头部姿势)来控制光标的运动，因为在例如典型的外科情境中操作者的双手被占用时这能够实现该设备的最佳使用。头部姿势可以包括例如点头、摇头和/或从左到右旋转，反之亦然。
作为实例使用典型的外科情境，光标可以显示在手术室中的所有显示设备(例如显示来自内诊镜的图像的监视器)的视频图像上，允许可能双手被占用执行外科手术的指导者/操作者在手术期间通过指向病人的重要的解剖特征(目标)来提供指导，其图像也显示在显示装置上。
然而，应该理解本发明可实现为跟踪器，用于除了头部姿势之外的其他操作模式中，例如包括眨眼、踏脚、肩部运动等。
在另外的方面，本发明还可用于使用无手动装置在虚拟环境中控制光标。因此，根据一个方面，本发明可用于在操作者/指导者位于距离受训者相当远的地方但可以提供与受训者处于相同房间的可获得的类似的训练的情况下提供训练或指导。本发明的该方面的实例包括远程监护或远程手术。
在本发明的另外的方面，提供用于控制光标相对于目标的运动的系统作为到典型的计算机系统的接口。因此，可以提供本发明的系统作为小型的易安装的设备。因此不需要个人计算机或膝上型计算机来实施本发明的系统。
此外，使用本发明可允许诸如外科环境中的腹腔镜或内诊镜的相机、或与计算机附接的视频相机、或能够采集目标的图像的任意其他相机来维持其分辨率并提供目标的实时图像。可以通过将光标覆盖在目标图像上而将光标与目标图像链接。换而言之，没有由于增加无手动指示器造成的分辨率的损失，以及本发明的系统对外科相机的信号不增加任何延时。
跟踪装置
根据本发明，在其一个方面，操作者/指导者可以使用适于由操作者穿戴的设备，例如戴在操作者头上，包括一个或多个标记(有源的和/或无源的)和/或惯性传感器(加速计和/或陀螺仪)，其与下面将更详细描述的系统组合来工作。本发明可以使用多个不同的感测模式以确保准确和最佳跟踪指导者的头部运动而不管速度如何。
本发明相对于现有技术的一个益处是，操作者的运动指引视频光标而非物理对象或指示器，意味着指引的视频光标可以同时出现在链接于捕获目标的视频图像的相机的所有监视器上。通过简单移动他或她的头，操作者可以移动视频光标并指向感兴趣的图像以提供无手动指导。这比当前可用的系统更符合人体工学以及更有效，因为操作者不再需要将他或她的视线离开自己的监视器来例如指导受训者。
跟踪设备可包括戴在指导者身体的任意适当部分(例如操作者的头部)上的一个或多个跟踪装置。跟踪装置的一个或多个组件可以是头带、帽子或附接于传统的头灯或口罩(例如外科口罩)的夹具的形式。可戴式跟踪装置还可以放置于眼镜或头部耳机或耳机上。可选地，一个或多个跟踪装置以平衡其重量以增加舒适性和可戴性的方式处于可戴式组件上。可选地，跟踪装置的部分可放置于可戴部分以及通过有线或无线链接到不在该可戴部分上的跟踪设备的其他部分。这可有助于减少可戴部分的重量。
跟踪装置可包括一个或多个组件。
跟踪设备的一个组件可以是一个或多个可跟踪标记，例如为一个或多个反射点和/或一个或多个嵌入式有源标记。有源标记可结合检测标记的位置的装置(例如一个或多个基于视频的跟踪相机)来使用。有源标记可结合窄波长调制光源和检测装置来使用，由于可减少来自例如可在手术室中出现的其他光或眩光的潜在干扰将是有益方面。可提供一个或多个有源标记，用于最大化至少一个标记对于检测器是可见的可能性。运动信息还可使用一个或多个典型的红外相机或其他类似技术来提供。使用标记可确保不管处于指导者面部的装备(例如面罩、护目镜或其他光)，跟踪系统总有固定的标记来追踪。
跟踪设备的其他组件可以是一个或多个加速计和/或一个或多个陀螺仪，来提供关于运动检测和跟踪设备的速度以及相应的操作者的头的信息。使用加速计和陀螺仪(其中陀螺仪提供角加速度而加速计提供线性加速度)通常对于本领域技术人员是已知的。在本发明的情境中，加速计和/或陀螺仪可使本发明的系统能够感测运动的方向和速度，其可使得指示器系统较之现有技术中的指示器系统以相对高的精度和分辨率显示光标。此外，加速计和陀螺仪通常不受遮挡视线或光噪音(反射或眩光)的影响、
跟踪装置的另外的组件可以是无线收发器(在无线单元的情况下)和电源，来提供与处理装置的无线通信。可选地，跟踪装置可使用有线收发器系统与处理装置关联。有线和无线收发器系统以及用于无线收发器的电源对于本领域技术人员是已知的。
跟踪装置的两个主要的输出信号可以由加速计/陀螺仪(A/G)组合以及基于视频的跟踪相机来提供。为了光标控制，其自己可使用加速计，其自己可使用陀螺仪，或可一起使用两者。当附接于指导者头部时，例如每个传感器能够独立测量头部的加速度。他们可一起提供所有自由度(或基于使用的组件的所希望的许多自由度)的加速度信息。来自A/G的输出可以是电压(Vout)，与这些信号成比例，例如结果，不管运动的方向可测量加速度，该运动可包括旋转头、左右运动、前向/后向运动或上下运动。可选地，可提供硬件或软件滤波器来过滤出震动和其他小的头部运动以增加准确度。
可使用非线性弹道方案来将惯性传感器和视觉传感器两者的运动映射为光标的本地监视器坐标的二维位移。为了配置弹道特征，相应的弹道曲线的形状可以被配置以及可选地经由本发明的用户接口来存储。曲线上的节点可以被增加、去除或被配置以配置想要的特征。
跟踪装置还可包括一个或多个相机，其可跟踪(例如附接于指导者头部的)一个或多个标记的位置。每个相机可处于固定位置，从而转换标记的运动。分析来自相机或其他传感器的视频信号，能够在二维下确定标记的位置。可由一个或多个三维显示设备和虚拟环境提供三维成像。如果使用立体或其他“测距”相机，则可以支持三维定位。可提供两个或更多个标记的使用以通过单个或立体相机来实现三维跟踪。还可以提供多自由度的惯性传感器来实现三维跟踪。相机可以设置有滤波器，例如红外通滤波器，该滤波器过滤出不与标记对应的光以快速检测红外标记的运动，并在计算上便于有效的阈值分割和blob检测算法。
可替换地，标记离相机的距离可以通过测量其外观尺寸来确定。当标记靠近时它可显得更大，而当标记远离时，它可显得较小。
不管使用何种方法，标记的位置可定义运动检测数据，其可以是其相对于相机的三维坐标的函数：θT(x，y，z)。
处理装置
可以提供处理装置来解释由通过跟踪装置提供的各种输入所提供的信息。
图3示出了用于显示图像以及在其上覆盖光标的闭环无手动系统。处理装置11可包括控制硬件，其本身可包括输入/输出(I/O)装置13和/或接口装置27。I/O 13或接口装置27可包括能够处理从跟踪装置接收的运动检测数据的中央处理装置。
中央处理装置还可包括用于获得从目标采集的至少一个信号的装置。例如，信号可以是图像信号，以及中央处理装置可包括接收来自诸如例如视频相机17(例如外科内诊镜)的成像装置的图像的、通常称为帧抓收器的装置。
处理装置11还可包括与一个或多个监视器21关联的输出装置。输出装置可包括图像覆盖装置19，其可操作为链接运动检测数据和从目标采集的至少一个信号。输出装置还可包括接口装置，用于将处理装置与一个或多个监视器21关联。因此目标图像可以显示在监视器21上，其上覆盖有光标位置信息。因此，当用户移动标记时，运动检测数据可以覆盖在显示设备上以提供相对于目标图像的运动。
在一个实施例中，覆盖的图像可以通过将视频覆盖板(例如MatroxTMVioTM板)合并到控制系统中来提供。视频板可实时流出来自相机的视频而不影响图像的分辨率以及不产生任何显著的时延。视频板还可在视频图像之上实时覆盖光标的图像。也可以预想覆盖两个图像的其他方法。
处理装置11可接收来自跟踪装置的信息，其可用于确定显示设备(监视器)上的光标的运动和位置。用户23可查看监视器21上的光标的位置以及根据光标移动的方向来调整其头部位置直到它停止移动。
通过融合来自不同传感器的信息，可以获得对用户23的头部运动的最准确、健壮和可靠的估计，以及用其来指引在视频监视器21上的光标的运动。处理装置11可使用来自标记的运动检测数据作为一个输入，以相对于监视器21定向光标。当操作者跨越相机或其他传感器移动其头时，可校准光标位置。此外，由于一个或多个加速计和一个或多个陀螺仪可以包括在跟踪设备15中，可以调整光标的运动以使用对于高速和低速是最优的控制方案来关联头部运动的速度。例如，低速头部运动可以与精准光标方位关联，而高速头部运动可以与监视器区域之上的光标快速运动关联。在现有技术中没有描述这种精细/粗略控制和定位方法，而其可以在训练或计算机游戏情境中具有巨大的优点。
图1例示了用于将可跟踪标记链接到与多于一个监视器相应的光标的系统，其中视频相机用于生成在监视器上显示的目标的图像。可以使用本领域技术人员已知的装置来在监视器25、31上提供光标。如上所述的跟踪设备15可由操作者戴上，以及可以提供也如上所述的相应的处理装置11来跟踪所述跟踪设备15的运动。仅通过移动头，指导者可以指引图像29上的光标，并提供无手动指导。这种激励的方法比现有的方法更符合人体工学，因为指导者不再需要其视线离开自己的监视器31。
图2例示了合并之前例示的图1中的光标覆盖系统的远程监护系统。除了将视频输出到指导者的监视器31，还可以包括发射器33，用于与覆盖到处于受训者参与的位置的远程接收器37的光标一起发射视频图像35。
处理装置可使用A/G或视频信号来控制监视器上或三维虚拟环境中的光标的运动。然而，当控制监视器上或虚拟环境中的光标的运动时，本发明还可使这两种运动信号能够使用以进行彼此补偿。可以通过下面更详细描述的选项来实现这两种信号的集成，但是本发明不限于这些集成选项。控制系统可以经常监控这两种信号，以及基于单独使用每个信号或一起使用这两种信号来比较可达到的精度。然而，本发明不限于A/G和视频信号。如果使用其他信号(不是A/G和视频信号)，该其他信号可以以如下更详细描述的相同方式来组合。
有多个选择来合并A/G和视频信号。此外，这些控制循环中的一些可以根据需要组合在一起。
图4例示了可以称为A/G和视频信号的备选的合并的实例。如果来自A/G信号39的加速度高于41给定的关键值或阈值71，该A/G信号可用于移动光标43。该加速度可以进行二次积分45以获得位置信息，以及当这是用于控制光标的位置的信号时光标可相对快速地移动。如果加速度信号低于47给定的关键值或阈值71，则来自相机的跟踪标记49的信息可用于调整光标位置51。在这种情况下，光标可使用屏幕上的较高的分辨率以相对低的速度移动，从而可以准确放置光标。输入信号39、49两者可以被过滤53、55，以及在需要时可以使用加权函数57、59来修改这些信号。加权函数57、59和用于加速度的关键值或阈值71可以根据经验来确定，以及可以设置为固定值、函数、模糊表达式或其组合。他们还可以依据系统的性能来实时(即自适应地)调整。
图5例示了称为A/G和视频信号的可协做合并的实例。A/G 39和视频信号49可以在任何时间以这种方式组合。加速度39可以积分一次61以确定光标移动的速度，而光标需要移动的方向通过来自基于图像的跟踪系统的位置信息49来确定。速度信息还可以与光标运动的步长相关：当来自A/G的速度信号减少时，光标移过屏幕的光标的步长可以变得更小，反之亦然。
跟踪和处理装置还可以用于自评估，或重新校准以估计通过信号可如何满意跟踪运动。
图6例示了跟踪误差的估计。来自A/G信号39的加速度可以积分两次63以获得位置信号。可以从来自基于图像的跟踪系统49的位置信息67中减去合成信号以获得误差测量69。这种估计可以用于评估感测的信息的保真度。如果误差69太高，则其可以指示一个或两个信号没有被适当地跟踪，以及可需要重新校准。
本领域技术人员可以理解，还可以使用组合A/G和视频信号的任意其他功能性方法。
在本发明的一个方面，可以初始根据经验确定关键值或阈值，以及之后使用优化技术(例如旨在最小化图6中所示的最大跟踪误差的极大极小值优化)或使用学习策略(例如神经网络、强化学习、模糊神经系统等)细化。
使用任意上述方法，可以可选地过滤这两种信号以取出与诊断和噪声相关的高频信号。此外，在任何可能的故障情况下，如果没有所述信号之一，可以专用另一个信号作为方向信息和速度的唯一提供者。例如，在标记被遮挡的情况下，加速度信息可以积分一次以获得速度以及再次积分以获得位置。可如上所述使用这两个信号以移动光标，尽管典型地当精度不能像理想情况一样高时这需要使用来仅作为临时测量。
本发明的另外的实现可以包括语音识别装置。例如，除了通过单个用户使用的控制系统功能，当多于一个外科专家示范外科技术时可使用语音识别。任何用户可提供语音命令来操作光标的一个或单个功能。例如，用于各个外科专家的每个的光标可以由当时说话的外科专家启动以及控制。这还可以用于视频游戏应用，其中基于语音提示在游戏者之间切换光标控制。可在远程链路上发生这样的应用，其中每个用户(外科医生/游戏者)配备有麦克风，可选地有扬声器或头部耳机，用于提供语音命令。
用于控制系统功能的语音识别可包括语音激活功能，例如显示/隐藏光标；分配光标颜色、形状、大小等；锁定/解锁光标位置；和/或激活/去活/改变在此描述的任何功能。
还可以提供锁定功能。例如，光标可以被锁定到显示的图像的特定特征。当用户或相机移动时，光标可以保持锁定到该特征。当显示的图像移动时，于是与该特征一起移动光标。如果需要，诸如图形处理单元(GPU)的处理器可提供来处理图像以及保持实时跟踪。
本发明的其他修改和变形也是可能的。可相信上述修改和变形落入由所附权利要求限定的本发明的精神和范围中。

Claims (27)

1.一种用于控制光标相对于一个或多个显示设备上显示的目标的运动的系统，其特征在于，所述系统包括：
a.跟踪装置，用于跟踪操作者相对于所述目标的运动，所述跟踪装置包括两个或更多个不同的运动检测模块，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据；
b.处理装置，能够选择性地链接仅来自一个运动检测模块的运动检测数据或链接来自所述两个或更多个不同运动检测模块的运动检测数据的组合，以及用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据，其中所述链接的数据用于控制所述光标相对于所述一个或多个显示设备上的目标的运动。
2.如权利要求1所述的系统，其特征在于，所述跟踪装置包括可由所述操作者移动的一个或多个可跟踪的标记和可操作为跟踪所述一个或多个标记的运动的一个或多个相机。
3.如权利要求2所述的系统，其特征在于，所述一个或多个标记中的每个从包括反射点和激活的标记的组中选择。
4.如权利要求1所述的系统，其特征在于，所述跟踪装置包括一个或多个陀螺仪。
5.如权利要求1所述的系统，其特征在于，所述跟踪装置包括一个或多个加速计。
6.如权利要求2所述的系统，其特征在于，所述跟踪装置还包括一个或多个加速计和一个或多个陀螺仪。
7.如权利要求1所述的系统，其特征在于，所述两个或更多个不同运动检测模块包括加速计、陀螺仪和相机。
8.如权利要求1所述的系统，其特征在于，从所述目标采集的信号包括通过视频相机获取的所述目标的图像。
9.如权利要求1所述的系统，其特征在于，所述系统还包括所述一个或多个显示设备。
10.如权利要求1所述的系统，其特征在于，所述系统还包括无线装置来提供所述跟踪装置、所述处理装置和所述一个或多个显示设备之间的无线通信。
11.如权利要求1所述的系统，其特征在于，所述光标用做选择或指向所述一个或多个显示设备上的所述目标的装置。
12.如权利要求1所述的系统，其特征在于，所述系统还包括发射器和接收器，所述发射器可操作为将所述链接的数据发射到所述接收器以控制所述光标相对于链接到所述接收器的一个或多个显示设备上的所述目标的运动。
13.如权利要求1所述的系统，其特征在于，所述系统还包括语音识别装置，其中所述操作者可通过一个或多个语音命令控制所述系统的一个或多个功能。
14.如权利要求13所述的系统，其特征在于，所述语音识别装置使一个或多个额外的操作者能够提供语音命令以使得多个操作者能够相对于一个或多个目标控制一个或多个光标。
15.如权利要求1所述的系统，其特征在于，所述系统可操作为在三维下跟踪所述操作者的运动。
16.如权利要求15所述的系统，其特征在于，所述系统可操作为提供链接的数据以控制所述光标相对于一个或多个三维的显示设备上的所述目标的运动。
17.如权利要求15所述的系统，其特征在于，所述系统还包括虚拟环境，以及其中所述系统可操作为提供链接的数据，用于控制所述光标相对于在所述虚拟的环境中的所述目标的运动。
18.如权利要求1所述的系统，其特征在于，所述跟踪装置包括处理器，用于生成所述运动检测数据。
19.如权利要求18所述的系统，其特征在于，使用弹道方案以通过将所述操作者的运动映射为二维位移来生成所述运动检测数据。
20.如权利要求6所述的系统，其特征在于，所述处理装置基于所述一个或多个加速计和一个或多个陀螺仪的所述运动检测数据实施精细/粗略控制。
21.一种用于控制光标相对于一个或多个显示设备上的目标的运动的方法，其特征在于，所述方法包括以下步骤：
a.提供跟踪装置，其用于跟踪操作者相对于所述目标的运动，所述跟踪装置包括两个或更多个不同的运动检测模块，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据；
b.使用处理装置，其用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据，所述处理装置能够选择性地链接仅来自一个运动检测模块的运动检测数据或链接来自所述两个或更多个不同运动检测模块的运动检测数据的组合，其中所述链接的数据用于控制所述光标相对于所述目标的运动；以及
c.显示所述光标相对于所述一个或多个显示设备上的所述目标的运动。
22.如权利要求21所述的方法，其特征在于，所述跟踪装置包括可由所述操作者移动的一个或多个可跟踪标记和可操作为跟踪所述一个或多个标记的运动的一个或多个相机。
23.如权利要求22所述的方法，其特征在于，所述一个或多个标记的每个从包括反射点和激活的标记的组中选择。
24.如权利要求21所述的方法，其特征在于，所述跟踪装置包括一个或多个陀螺仪。
25.如权利要求21所述的方法，其特征在于，所述跟踪装置包括一个或多个加速计。
26.如权利要求21所述的方法，其特征在于，所述跟踪装置包括一个或多个陀螺仪和一个或多个加速计。
27.一种用于相对于在一个或多个显示设备上显示的一个或多个目标的图像控制指示器的运动的无手动训练设备，其特征在于，所述无手动训练设备包括：
a.无手动跟踪装置，适于由一个或多个训练者的体态相对于所述一个或多个目标的图像进行移动，所述跟踪装置包括两个或更多个不同的运动检测模块，所述跟踪装置可操作为生成由所述操作者的运动确定的运动检测数据；
b.处理装置，能够选择性地链接仅来自一个运动检测模块的运动检测数据或链接来自所述两个或更多个不同运动检测模块的运动检测数据的组合，以及用于链接所述运动检测数据和从所述目标采集的至少一个信号以生成链接的数据，其中所述链接的数据用于控制光标相对于所述一个或多个显示设备上的目标的运动。
CN200980154807.8A 2008-11-21 2009-11-20 无手动指示器系统 Expired - Fee Related CN102282527B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11667508P 2008-11-21 2008-11-21
US61/116,675 2008-11-21
PCT/CA2009/001667 WO2010057304A1 (en) 2008-11-21 2009-11-20 Hands-free pointer system

Publications (2)

Publication Number Publication Date
CN102282527A CN102282527A (zh) 2011-12-14
CN102282527B true CN102282527B (zh) 2014-07-02

Family

ID=42197785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980154807.8A Expired - Fee Related CN102282527B (zh) 2008-11-21 2009-11-20 无手动指示器系统

Country Status (5)

Country Link
US (2) US9798381B2 (zh)
EP (1) EP2368168B1 (zh)
CN (1) CN102282527B (zh)
CA (1) CA2747814C (zh)
WO (1) WO2010057304A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569411T3 (es) 2006-05-19 2016-05-10 The Queen's Medical Center Sistema de seguimiento de movimiento para imágenes adaptativas en tiempo real y espectroscopia
ES2768033T3 (es) * 2010-12-22 2020-06-19 Zspace Inc Seguimiento tridimensional de un dispositivo de control del usuario en un volumen
US9606209B2 (en) 2011-08-26 2017-03-28 Kineticor, Inc. Methods, systems, and devices for intra-scan motion correction
CN103207734B (zh) * 2012-01-11 2018-03-20 深圳富泰宏精密工业有限公司 电子装置解锁系统及方法
US9035878B1 (en) 2012-02-29 2015-05-19 Google Inc. Input system
US8643951B1 (en) 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
CN103699209A (zh) * 2012-09-27 2014-04-02 联想(北京)有限公司 一种输入设备
US9717461B2 (en) 2013-01-24 2017-08-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9305365B2 (en) 2013-01-24 2016-04-05 Kineticor, Inc. Systems, devices, and methods for tracking moving targets
US10327708B2 (en) 2013-01-24 2019-06-25 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
CN105392423B (zh) 2013-02-01 2018-08-17 凯内蒂科尔股份有限公司 生物医学成像中的实时适应性运动补偿的运动追踪系统
CN103543843A (zh) * 2013-10-09 2014-01-29 中国科学院深圳先进技术研究院 基于加速度传感器的人机接口设备及人机交互方法
US9083860B2 (en) 2013-10-09 2015-07-14 Motorola Solutions, Inc. Method of and apparatus for automatically controlling operation of a user-mounted recording device based on user motion and event context
US10338776B2 (en) 2013-12-06 2019-07-02 Telefonaktiebolaget Lm Ericsson (Publ) Optical head mounted display, television portal module and methods for controlling graphical user interface
US10004462B2 (en) 2014-03-24 2018-06-26 Kineticor, Inc. Systems, methods, and devices for removing prospective motion correction from medical imaging scans
JP6291355B2 (ja) * 2014-05-30 2018-03-14 Hoya株式会社 電子内視鏡システム及びこれに用いる頭部ジェスチャ検出型遠隔操作装置
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US9846522B2 (en) 2014-07-23 2017-12-19 Microsoft Technology Licensing, Llc Alignable user interface
US9943247B2 (en) 2015-07-28 2018-04-17 The University Of Hawai'i Systems, devices, and methods for detecting false movements for motion correction during a medical imaging scan
WO2017091479A1 (en) 2015-11-23 2017-06-01 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
US10429935B2 (en) 2016-02-08 2019-10-01 Comcast Cable Communications, Llc Tremor correction for gesture recognition
CN105807915A (zh) * 2016-02-24 2016-07-27 北京小鸟看看科技有限公司 虚拟鼠标的控制方法、控制装置以及头戴显示设备
JP2017163180A (ja) * 2016-03-07 2017-09-14 富士通株式会社 ずれ判定プログラム、ずれ判定方法、及び、情報処理装置
US20170374333A1 (en) * 2016-06-27 2017-12-28 Wieden + Kennedy, Inc. Real-time motion capture and projection system
US9992487B1 (en) * 2016-08-10 2018-06-05 Integrity Applications Incorporated Stereoscopic viewer
CN107506041A (zh) * 2017-09-11 2017-12-22 武汉大学 一种基于运动传感器的可穿戴式鼠标控制方法
US10814491B2 (en) 2017-10-06 2020-10-27 Synaptive Medical (Barbados) Inc. Wireless hands-free pointer system
KR101862359B1 (ko) 2017-12-28 2018-06-29 (주)휴톰 수술 시뮬레이션 정보 생성방법 및 프로그램
CN108182695B (zh) * 2017-12-29 2021-10-29 纳恩博（北京）科技有限公司 目标跟踪模型训练方法及装置、电子设备和存储介质
JP7325173B2 (ja) * 2018-10-06 2023-08-14 シスメックス株式会社 手術支援ロボットの遠隔支援方法、および遠隔支援システム
US11265487B2 (en) 2019-06-05 2022-03-01 Mediatek Inc. Camera view synthesis on head-mounted display for virtual reality and augmented reality
US20230410435A1 (en) * 2022-06-20 2023-12-21 International Business Machines Corporation Contextual positioning in virtual space

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165614A (zh) * 2006-10-17 2008-04-23 三洋电机株式会社 输入显示装置、显示控制方法以及控制程序

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714841B1 (en) * 1995-09-15 2004-03-30 Computer Motion, Inc. Head cursor control interface for an automated endoscope system for optimal positioning
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
US6215471B1 (en) * 1998-04-28 2001-04-10 Deluca Michael Joseph Vision pointer method and apparatus
US6285902B1 (en) * 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US6753847B2 (en) * 2002-01-25 2004-06-22 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US7113169B2 (en) * 2002-03-18 2006-09-26 The United States Of America As Represented By The Secretary Of The Air Force Apparatus and method for a multiple-user interface to interactive information displays
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
DE10333543A1 (de) * 2003-07-23 2005-02-24 Siemens Ag Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
US7613478B2 (en) * 2004-03-15 2009-11-03 General Electric Company Method and system for portability of clinical images using a high-quality display and portable device
WO2007059477A2 (en) * 2005-11-11 2007-05-24 The Uab Research Foundation Virtual patient simulator
ES2359430T3 (es) * 2006-04-27 2011-05-23 Mobiter Dicta Oy Procedimiento, sistema y dispositivo para la conversión de la voz.
US20080211768A1 (en) * 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device
US8374673B2 (en) * 2007-01-25 2013-02-12 Warsaw Orthopedic, Inc. Integrated surgical navigational and neuromonitoring system having automated surgical assistance and control
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
TWI334559B (en) * 2007-08-28 2010-12-11 Ind Tech Res Inst Interactive pointing device
US9265589B2 (en) * 2007-11-06 2016-02-23 Medtronic Navigation, Inc. System and method for navigated drill guide
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US20090292178A1 (en) * 2008-05-21 2009-11-26 Qualcomm Incorporated System and method of monitoring users during an interactive activity
US20100013764A1 (en) * 2008-07-18 2010-01-21 Wei Gu Devices for Controlling Computers and Devices
US8237601B2 (en) * 2008-10-14 2012-08-07 Sonosite, Inc. Remote control device
US8050891B2 (en) * 2008-10-17 2011-11-01 Zeemote Technology Inc. Sensor mapping

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101165614A (zh) * 2006-10-17 2008-04-23 三洋电机株式会社 输入显示装置、显示控制方法以及控制程序

Also Published As

Publication number Publication date
WO2010057304A8 (en) 2011-08-04
US20180067548A1 (en) 2018-03-08
EP2368168B1 (en) 2018-07-11
WO2010057304A1 (en) 2010-05-27
CN102282527A (zh) 2011-12-14
US9798381B2 (en) 2017-10-24
CA2747814C (en) 2021-08-31
EP2368168A4 (en) 2014-10-15
EP2368168A1 (en) 2011-09-28
US20120032882A1 (en) 2012-02-09
CA2747814A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
CN102282527B (zh) 无手动指示器系统
JP6751456B2 (ja) ロボット外科手術システムで使用するための拡張現実ナビゲーションシステムおよびその使用方法
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
Barfield et al. Basic concepts in wearable computers and augmented reality
US20180012416A1 (en) Surgeon head-mounted display apparatuses
CN110647237A (zh) 在人工现实环境中基于手势的内容共享
Welch History: The use of the kalman filter for human motion tracking in virtual reality
US20120293506A1 (en) Avatar-Based Virtual Collaborative Assistance
Bigdelou et al. An adaptive solution for intra-operative gesture-based human-machine interaction
CN107182200A (zh) 微创手术导航系统
US20100110264A1 (en) Image projection system
AU2021256457A1 (en) System and method for augmented reality data interaction for ultrasound imaging
AU2008329571A1 (en) A system and method for providing remote indication
Whitton et al. Stepping-driven locomotion interfaces
WO2020082181A1 (en) Precise teleguidance of humans
US20230078919A1 (en) Extended reality systems for visualizing and controlling operating room equipment
Ciger et al. Evaluation of gaze tracking technology for social interaction in virtual environments
Ward et al. The WhaSP: a wireless hands-free surgical pointer for minimally invasive surgery
Zhou et al. The study of using eye movements to control the laparoscope under a haptically-enabled laparoscopic surgery simulation environment
Barfield et al. Issues in the design and use of wearable computers
Herholz et al. Libgaze: Real-time gaze-tracking of freely moving observers for wall-sized displays
EP4272679A1 (en) Technique for determining a visualization based on an estimated surgeon pose
US20230341932A1 (en) Two-way communication between head-mounted display and electroanatomic system
US20210256719A1 (en) Method and system for providing surgical site measurement
Bianchi Exploration of augmented reality technology for surgical training simulators

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140702

Termination date: 20211120

CF01 Termination of patent right due to non-payment of annual fee