CN109481016B - 以患者面部作为触摸板用户界面 - Google Patents

以患者面部作为触摸板用户界面 Download PDF

Info

Publication number
CN109481016B
CN109481016B CN201811068953.6A CN201811068953A CN109481016B CN 109481016 B CN109481016 B CN 109481016B CN 201811068953 A CN201811068953 A CN 201811068953A CN 109481016 B CN109481016 B CN 109481016B
Authority
CN
China
Prior art keywords
patient
face
coordinate system
image
anatomical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811068953.6A
Other languages
English (en)
Other versions
CN109481016A (zh
Inventor
M.因戈尔
O.因巴尔
A.佐阿比
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of CN109481016A publication Critical patent/CN109481016A/zh
Application granted granted Critical
Publication of CN109481016B publication Critical patent/CN109481016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24—Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Abstract

本发明题为“以患者面部作为触摸板用户界面”。本发明提供了一种配准患者面部并使用患者面部作为触摸板界面的方法。该方法包括以下步骤：采集患者面部的三维解剖图像，并在第一坐标系中标识患者面部上的预定义位置处的多个解剖点并将至少一个函数分配到至少一个预定义位置，在患者面部上的相应预定义位置处接收第二坐标系中的多个位置，通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系，触发对应于至少一个所分配的函数的命令并将该命令传送至电子装置。本发明描述了一种用于通过该方法配准患者面部的系统。

Description

以患者面部作为触摸板用户界面
发明内容
在一个方面，本发明涉及一种用于配准患者面部并使用患者面部作为触摸板用户界面的方法。该方法包括采集患者面部的三维解剖图像，在第一坐标系中标识对应于患者面部上的相应预定义位置的多个解剖点，并将至少一个函数分配给至少一个预定义位置。该方法还包括在患者面部上的相应预定义位置处接收第二坐标系中的多个位置，并通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系。该方法还包括触发对应于至少一个所分配的函数的命令，并将命令传送至电子装置。
在一个方面，本发明涉及一种用于配准患者面部并使用患者面部作为触摸板用户界面的系统。该系统包括：配准工具，其包括位置跟踪系统的位置传感器，该位置传感器被配置成通过将配准工具定位在患者面部上的相应预定义位置处来采集第二坐标系中的多个位置；以及处理器。处理器被配置成在患者面部的三维解剖图像中标识对应于第一坐标系中的相应预定义位置的多个解剖点，并将至少一个函数分配给患者面部上的至少一个预定义位置。处理器还被配置成接收在第二坐标系中测量的多个位置，并通过使患者面部上的位置与相应解剖点之间相关联来配准第一坐标系和第二坐标系。处理器还被配置成检索对应于至少一个所分配的函数的命令。
附图说明
当结合附图阅读本发明的实施方案的以下具体实施方式时，能更好地理解具体实施方式。出于举例说明的目的，附图中示出的为目前优选的实施方案。然而应当理解，本发明不限于所示的精确布置方式和工具。在附图中：
图1为根据本发明的实施方案的外科系统的示意图。
图2为示意性地示出根据本发明的实施方案的用于配准患者面部与磁位置跟踪系统的坐标系并使用患者面部作为用户界面来控制设备的方法的流程图。
图3为在图2所示的配准方法中使用的患者面部的三维计算机断层摄影图像的示意图。
图4为用作用户界面以控制设备的患者面部的示意图。
具体实施方式
本公开整体涉及利用患者的面部作为用户界面来促进配准设备的可用性的方法。
如本文所用，术语“配准”是指用于确定身体部位与例如由术前计算机断层摄影(CT)扫描构建的三维(3D)计算机图像之间的空间关系的过程。外科导航系统用于指导医生在医学规程中的移动。
在某些医学规程中，诸如耳鼻喉(ENT)外科手术，可将相关器官的解剖图像与位置跟踪系统的坐标系配准。使用配准，可以将配备有位置传感器的外科工具导航至所治疗的器官，并且可将其可视化覆盖在解剖图像上。原则上，可使用配备位置跟踪系统的位置传感器的外部配准工具进行术前配准。此工具可施用到患者面部上的预选部位(例如，前额和两个脸颊的中心)。然后，可基于在预选部位处的组织的测量位置，将解剖图像配准到位置跟踪系统的坐标系。
计算机断层摄影成像系统和位置跟踪系统在本领域中是已知的。用于配准医学图像的方法描述于例如美国专利6,560,354和美国专利申请15/674,380中，以上专利以引用方式并入本文，如同充分阐述了一样。美国专利6,560,354描述了使用点和表面的加权组合将图像配准到物理空间的装置和方法。将通过X射线计算机断层摄影拍摄的患者图像配准到在患者的身体上获得的物理测量结果。患者身体的不同部位被赋予不同的数字权重；例如，如果认为骨测量结果比皮肤测量结果更准确，则骨可被赋予比皮肤更高的权重。权重在迭代配准过程中用于确定刚体变换函数。
美国专利申请15/674,380描述了一种用于耳鼻喉(ENT)配准的方法和装置。该方法包括接收受检者的头部的体素的计算机断层摄影(CT)图像，并且分析该图像以标识图像中受检者的眼睛的相应位置，从而限定连接相应位置的第一线段。该方法还包括标识覆盖头部的骨部分、位于平行于第一线段的第二线段上以及位于正交于第一线段的第三线段上的体素子集。激活被配置成测量受检者的头部上的位置的磁跟踪系统，并且将在系统中操作的探头定位成靠近骨部分，以测量覆盖骨部分的头部表面的位置。形成位置与体素子集之间的对应，以及响应于该对应生成在CT图像与磁跟踪系统之间的配准。
医生，如耳鼻喉(ENT)医生，通常在没有护士辅助的情况下执行医学规程。例如，在ENT标测和配准过程的情况下，ENT医生在无菌环境中执行规程，并且由他自己/她自己进行洗涤和消毒。因此，医生在规程期间取下手套以执行配准和触摸鼠标或键盘很不方便。然而，医生仍然需要使用计算机并且通常单独使用该设备。因此，医生需要一种改善的系统，以便当护士不在手术室中时在规程期间使用计算机。
本发明提出的系统利用患者的面部作为触摸板用户界面。例如，在ENT配准过程中，医生(经过洗涤和消毒)不需要取下手套来操作鼠标或键盘。相反，医生可以将患者的面部以及头部的其它部位用作触摸板界面。
系统描述
图1为根据本发明的实施方案的外科系统100的示意图。系统100包括磁位置跟踪系统，该磁位置跟踪系统被配置成跟踪患者101的头部中的一个或多个位置传感器(未示出)的位置。磁位置跟踪系统包括磁场发生器104和一个或多个位置传感器。位置传感器响应于所感测到的来自场发生器的外部磁场而生成位置信号，并且使得处理装置102在位置跟踪系统的坐标系中映射每个传感器的位置，如本文所述。
位置系统的方法是本领域已知的，并且描述于美国专利5,391,199、6,690,963、6,484,118、6,239,724、6,618,612和6,632,089；国际专利公布WO 96/05768；以及美国专利申请公布2002/0065455、2003/0120150和2004/0068178中，这些专利均以引用方式并入本文，如同充分阐述了一样。位置系统100包括定位垫103，该定位垫包括固定到框架105上的多个场发生器104。参见图1，垫103包括五个场发生器104，但也可使用任何其它合适数量的场发生器104。垫103包括放置在患者101的头部下方的枕头106，使得发生器104定位在患者外部的固定已知位置处。系统100还包括控制台108，该控制台包括驱动电路(未示出)，该驱动电路被配置成驱动具有合适信号的场发生器104，以便在头部107周围的预定义工作空间中生成磁场。
在一个实施方案中，系统100包括配准工具。配准工具112可为手持式标识笔。标识笔112可被系统100用于将磁跟踪系统的坐标系与预采集的计算机化断层摄影(CT)图像的坐标系配准。配准工具112被配置成采集位置测量结果。
在一个实施方案中，处理器102为通用计算机，其包括合适的前端电路和接口电路，这些电路用于经由缆线109从外部源接收数据以及从标识笔112的位置传感器接收测量结果，并且用于控制系统100的其它部件。控制台108还包括输入装置113和屏幕显示器114，该屏幕显示器被配置成显示数据。
医生110可将标识笔112放置到患者头部107上的预定义位置。每个预定义位置为面部115的一部分。预定义位置可以是面部的四等分或象限中的任何一个：右上象限、左上象限、右下象限或左下象限，或任何其它合适的可标识部分。图4示出了患者面部115的示例性预定义位置。
在一个实施方案中，处理装置102接收使用外部CT系统(未示出)获得的计算机化断层摄影(CT)图像111。
处理装置102可使用图像111将患者面部115的表面图像投射到输入装置113上或投射到屏幕显示器114上以辅助医生和/或用作用户界面。处理装置102可区分CT图像111的不同部分。处理装置102可使用任何合适的标准或技术诸如亨氏单位(HU)来标识鼻部或眼部。处理装置102可分析CT图像111以进行标识，并且可限定面部的不同部分。面部的不同部分可为如图3所示的象限201、202、203和204。
在一个实施方案中，当放置在患者面部上的预定义位置时，标识笔112被配置成在磁位置跟踪系统的坐标系中生成表示该预定义位置的位置信号。处理装置102存储在象限201、202、203和204中的每一者中的预定义位置处采集的位置信号或点。最小的点数可以分别为20、20、12和12。然而，最小的点数可以小于或大于这些值中的任一个，并且对于所有象限可以是相同的或不同的值。
在一个实施方案中，处理装置102被配置成计算患者头部上的每个预定义位置的两个坐标—CT系统的坐标系中的“解剖点”，以及位置跟踪系统的坐标系中的“位置”。解剖点由预定义位置处标识笔112的位置测量结果得出，并且表示磁位置跟踪系统的坐标系中该位置处的面部部分的坐标。解剖点表示如在CT图像111中标识的面部部分的坐标。
在一个实施方案中，处理装置102被配置成使图像111中预定义位置的解剖点和位置相关联，以便将CT图像与位置跟踪系统的坐标系配准。
图2为根据本文所公开的实施方案的用于将患者的面部与磁跟踪系统的坐标系配准作为用户界面来控制设备的示例性方法的步骤的流程图。图3为在图2所示的配准方法中使用的患者面部的3D CT图像的示意图。如图2所示，该方法可包括采集患者面部图像和/或在显示屏上显示图像的步骤S1。图像可以是三维(3D)超声图像、CT图像、MRI图像或通过本领域已知的任何其它成像技术获得的图像。
在步骤S2中，处理装置102使用图像处理软件分析如图3所示的患者面部111的3DCT图像，并且在图像上找到最高点192。通常，最高点对应于患者的鼻尖。
在步骤S3中，处理装置102找到患者眼睛的中心190和191，如图3所示。用于找到眼睛中心的方法在本领域中是已知的，并且例如在第6届国际人工智能与专家系统的工业和工程应用会议论文集中发表的名称为“Locating the Eyes of the Patient”，1993年，第507-517页的文章中进行了描述，该文章以引用方式并入本文，如同充分阐述了一样。也可使用其它用于找到眼睛中心的方法。
在步骤S4中，处理装置102可使用在步骤S2和S3中所采集的值通过图像处理软件分析3D图像111的表面，以描绘所采集的图像中的十字形(┼)内的体素。十字形包括作为十字(┼)的垂直线194(图3)的患者鼻梁。为了确定垂直线的体素，处理器从在步骤S2中确定的鼻尖(最高点)开始，通过找到表面图像111中位于鼻尖192附近和垂直上方的局部极大值来找到鼻梁的其它体素，即鼻子的骨部分。处理器迭代地继续该过程以找到对应于十字形的完整垂直线194的体素。为了找到与十字形的水平线193对应的体素，处理器选择如下体素，其为连接患者眼睛中心的线上方的预设垂直距离，如步骤S3所示。在一个实施方案中，预设距离为眼睛中心线上方5cm，但在其它实施方案中，该距离可大于或小于5cm。选择预设距离，使得水平线的体素覆盖患者前额的骨部分。处理装置102在连接步骤S3中所找到的两个眼睛中心的线上方绘制线193。处理装置绘制与线193正交并穿过患者面部的图像上的最高点的线194。通常，体素的垂直线和水平线都超过一个体素宽。如图3所示，两条线将面部图像分成四个象限201(右上象限)、202(左上象限)、203(右下象限)和204(左下象限)。
在图像分析步骤S4中，处理装置102可使用在步骤S2和S3中采集的值来分析在步骤S1中生成的3D图像111。处理装置可生成包括3D图像111的一组体素的四个子集。子集中的每个子集对应于四个象限201(右上象限)、202(左上象限)、203(右下象限)和204(左下象限)中的相应象限。
在步骤S5中，处理装置102可定义命令并将函数分配给患者面部上的每个象限，如图4所示。命令可以是在医学规程期间使用的任何命令。命令可以是在配准期间使用的命令或与配准相关的命令。例如，在配准过程中触摸患者面部上的右下象限可能与“是”函数相关联，而在配准过程中触摸左下象限可能与“否”函数相关联。医生可触摸患者的前额以“重新进行”配准。所分配的函数可存储在数据库中，并且可以通过处理装置诸如计算机执行的逻辑指令或命令的形式实现。数据库可以是配准表的形式。也可以使用其它命令。例如，通用命令“菜单”可用于打开附加命令。“撤消”可用于逆转先前的操作。“显示”/“隐藏”可用于显示或隐藏内容，例如，图像。命令可以是用于放大3D CT图像、退出应用程序或打印屏幕的命令。
在步骤6中，医生110可将包括位置传感器的标识笔112放置在患者面部的每个象限中的预定义位置处，以采集位置跟踪系统的坐标系中的位置。在一个实施方案中，预定义位置可包括如下四个点：患者鼻尖下方的点、患者面部眼睛附近的左侧和右侧以及眼睛之间的点。然而，少于四个点，例如，两个点，可足以生成配准。
在步骤S7中，处理装置102可使用迭代最近点(ICP)算法使步骤S6中采集的点与步骤S4中生成的体素的子集相关联。所述算法使用体素的子集作为点的参考集，并且使用在步骤S6中采集的位置作为点的源集。在执行相关联时，处理装置102可在CT的坐标系与位置跟踪系统的坐标系之间配准。处理装置102可检查在步骤S7中执行的配准是否足够准确，即，与由ICP算法生成的成本函数相关联的误差是否足够小，例如低于预设阈值。如果条件返回为正，则在屏幕114上提供通知，通知医生110她/他可停止采集点。该通知还可以建议医生110诸如通过触摸预定义位置并使处理器将这些位置标记在CT图像上和/或通过测量这些位置之间的距离来执行配准的验证。如果条件返回为负，或者如果验证失败，则医生继续用标识笔112采集点。
在步骤S8中，医生110可通过在患者面部的任何一个象限中应用配备有位置传感器的工具来触发命令。该工具可被定位在象限的相同位置中达到一段限定时间以触发命令，例如2-3秒。该工具可具有通过单击位置传感器来触发命令的能力。响应于触发，命令或函数可被传送到处理装置，该处理装置可以是计算机。
图4为在一个实施方案中用作用户界面以控制设备的患者面部的示意图。如图4所示，患者的面部可被分成虚拟区域，诸如象限，其中为特定虚拟区域或象限分配特定的用户定义的参数，或函数。每个函数对应于可由处理装置102检索和执行的命令。
例如，为了指示医生是否接受本发明提出的配准，医生可通过触摸患者的右下象限203来输入“是”，或者通过触摸患者的左下象限204来输入“否”。医生可以按压患者前额的右上象限201或左上象限202以“重新进行”配准。在一个实施方案中，处理装置102被配置成标识患者面部的每个象限，其对应于具体分配的函数。
在一个实施方案中，患者面部可根据需要被分成尽可能多的虚拟部分，以适应医生的需要并提供作为用户界面的功能。
在对患者进行外科手术或任何其它医学规程之前执行配准过程。配准过程通常在非无菌环境中进行，但也可在无菌环境中进行。医学规程可以在无菌环境中进行，但根据环境(例如手术室、办公室或诊所)而具有不同的无菌水平。在医学规程期间，医生110可使用医疗工具112或外科装置触摸患者面部115，该外科装置包括位置跟踪系统的附加位置传感器。由于CT图像已经与位置跟踪系统配准，医生110可将医疗工具112施用到患者面部115上的预定义位置以使用计算机执行某些动作。医疗工具可以是用于面部配准的标识笔，或在医学规程期间使用的任何其它工具。根据使用工具的规程或环境的类型，医疗工具可为无菌的或非无菌的。
在一个实施方案中，处理装置102被配置成使用合适的成像技术接收一个或多个图像，并将这些解剖图像与如本文所述的坐标系配准。例如，合适的成像技术可以是超声、荧光透视或磁共振成像(MRI)。
为了简单和清楚起见，图1仅示出了与本发明所公开的技术有关的元件。系统100可包括附加模块和元件，所述附加模块和元件与本发明所公开的技术不直接相关，因此这些附加模块和元件从图1极其描述中被有意地省略。
处理装置102还可控制根据本文所述的实施方案的系统100的其它部件。处理装置102优选地在软件和/或硬件中被编程以执行系统所需的功能。处理装置102可在存储器中存储软件的数据。软件可通过网络以电子形式下载到处理装置102，或者可提供在诸如光学、磁性或其它非易失性存储器介质的有形介质上。另选地，处理装置102的一些或全部功能可由专用或可编程数字硬件部件执行。
因此，已经描述了能够利用患者面部作为用户界面来促进配准设备的可用性的系统和方法。因此，本发明的系统有利于在专门规程(例如，ENT配准规程)期间设备的可用性，使得医生可以在不取下手套和没有护士帮助的情况下操作设备。
本发明的系统有利于在各种医学规程诸如ENT配准期间当护士不在场时，在无菌环境中使用的专用设备对于所述规程的可用性。医生可利用患者的面部作为用户界面来操作设备，这使得医生能够在规程中克服护士不在场的情况。
应当理解，基于本文的公开内容，许多变型都是可能的。虽然在上文以特定组合描述了特征和元件，但是每个特征或元件可独自使用而无需其他特征和元件，或者在具有或不具有其他特征和元件的情况下以各种组合使用每个特征或元件。
所提供的方法包括在通用计算机、处理器或处理器核心中的具体实施。以举例的方式，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)和/或状态机。可通过使用处理的硬件描述语言(HDL)指令和包括网络表的其它中间数据的结果(此类指令能够被存储在计算机可读介质上)配置制造过程来制造此类处理器。这种处理的结果可以是掩码作品(maskwork)，其随后在半导体制造过程中用于制造能实施本文所述的方法的处理器。
本文提供的方法或流程图可在并入非暂态计算机可读存储介质中的计算机程序、软件或固件中实施，以用于由通用计算机或处理器执行。非暂态计算机可读存储介质的示例包括ROM、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移动盘的磁介质、磁光介质和诸如CD-ROM盘的光学介质，以及数字通用光盘(DVD)。
本文的说明中所用的某些术语仅为了方便起见且并非限制性的。词汇“右”、“左”、“上”和“下”指定附图中的方向，以此作为参照。除非另外特别说明，否则如在权利要求书中和说明书的对应部分中所用的词汇“一个(a)”和“一(one)”被定义为包括所引用的项目中的一个或多个。这些术语包括以上专门提及的词汇、它们的派生词以及具有类似含义的词汇。短语“至少一个”后接两个或更多个项目的列表，诸如“A、B或C”意指A、B或C中任何单独的一个，以及它们的任何组合。
本文的另外的实施方案可通过用来自本文的任何一个或多个其它实施方案的一种或多种元素补充实施方案，和/或用来自本文的一个或多个其它实施方案的一种或多种元素取代一种实施方案中的一种或多种元素而构成。
因此，应当理解，本发明不局限于所公开的特定实施方案，但是本发明旨在涵盖符合本发明的实质和范围的所有修改，如所附权利要求书、以上描述中所定义；和/或附图中所示。

Claims (16)

1.一种方法，包括：
采集患者面部的三维解剖图像，并由处理器在第一坐标系中标识对应于所述患者面部上的相应预定义位置的多个解剖点；
由所述处理器将至少一个函数分配到所述患者面部上的至少一个预定义位置；
由所述处理器从包括位置传感器的配准工具接收在所述患者面部上的相应预定义位置处的第二坐标系中的多个位置；
由所述处理器通过使所述患者面部上的位置与相应解剖点之间相关联来配准所述第一坐标系和所述第二坐标系；
触发对应于所分配的所述至少一个函数的命令，其中触发所述命令包括用包括位置传感器的外科工具触碰所述患者面部上的至少一个预定义位置；以及
将所述命令传送至电子装置。
2.根据权利要求1所述的方法，其中所述三维解剖图像包括计算机断层摄影图像。
3.根据权利要求1所述的方法，其中所述标识的步骤还包括确定所述三维解剖图像处的预定义位置。
4.根据权利要求3所述的方法，其中所述确定的步骤包括找到所述三维解剖图像处的最高点。
5.根据权利要求4所述的方法，其中所述确定的步骤还包括找到所述三维解剖图像处的左眼和右眼中的每只眼的中心。
6.根据权利要求5所述的方法，其中所述确定的步骤还包括通过第一正交线和第二正交线将患者面部的三维解剖图像分成象限，其中所述第一正交线高于且平行于连接所述右眼的中心和所述左眼的中心的线，并且所述第二正交线穿过所述三维解剖图像的最高点。
7.根据权利要求1所述的方法，其中所述多个解剖点包括在所述至少一个预定义位置中的每个预定义位置处的至少两个点。
8.根据权利要求1所述的方法，其中所述至少一个预定义位置选自：所述患者面部的左上象限、右上象限、左下象限和右下象限。
9.根据权利要求1所述的方法，其中接收所述多个位置包括从配准工具接收所述位置，所述配准工具包括位置传感器。
10.根据权利要求1所述的方法，其中接收所述多个位置包括通过用三维扫描仪扫描所述患者面部而接收所述位置。
11.根据权利要求1所述的方法，其中所述电子装置为计算机。
12.一种系统，包括：
配准工具，所述配准工具包括位置跟踪系统的位置传感器，所述位置传感器被配置成通过将所述配准工具定位在患者面部上的相应预定义位置处来采集第二坐标系中的多个位置；
外科工具，其包括位置传感器，且被配置成通过触碰所述患者面部上的至少一个预定义位置来触发命令；以及
处理器，所述处理器被配置成：
在所述患者面部的三维解剖图像中标识对应于第一坐标系中的相应预定义位置的多个解剖点；
将至少一个函数分配给所述患者面部上的至少一个预定义位置；
接收在所述第二坐标系中测量的多个位置；
通过使所述患者面部上的位置与相应解剖点之间相关联来配准所述第一坐标系和所述第二坐标系；并且
检索对应于所分配的所述至少一个函数的命令。
13.根据权利要求12所述的系统，其中所述三维解剖图像包括计算机断层摄影图像。
14.根据权利要求12所述的系统，其中所述三维解剖图像包括三维扫描。
15.根据权利要求12所述的系统，其中所述处理器被进一步配置成确定在所述三维解剖图像处的预定义位置，其中所述确定的步骤包括：
找到所述三维解剖图像处的最高点；
找到所述三维解剖图像处的左眼和右眼中的每只眼的中心；以及
通过第一正交线和第二正交线将患者面部的三维解剖图像分成象限，其中所述第一正交线高于且平行于连接所述右眼的中心和所述左眼的中心的线，并且所述第二正交线穿过所述三维解剖图像的最高点。
16.根据权利要求12所述的系统，其中所述至少一个预定义位置选自：所述患者面部的左上象限、右上象限、左下象限和右下象限。
CN201811068953.6A 2017-09-13 2018-09-13 以患者面部作为触摸板用户界面 Active CN109481016B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/703418 2017-09-13
US15/703,418 US10452263B2 (en) 2017-09-13 2017-09-13 Patient face as touchpad user interface

Publications (2)

Publication Number Publication Date
CN109481016A CN109481016A (zh) 2019-03-19
CN109481016B true CN109481016B (zh) 2024-01-02

Family

ID=63579083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811068953.6A Active CN109481016B (zh) 2017-09-13 2018-09-13 以患者面部作为触摸板用户界面

Country Status (7)

Country Link
US (1) US10452263B2 (zh)
EP (1) EP3457406B1 (zh)
JP (1) JP7330677B2 (zh)
CN (1) CN109481016B (zh)
AU (1) AU2018229470A1 (zh)
CA (1) CA3017166A1 (zh)
IL (1) IL261727B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527002B2 (en) * 2019-12-05 2022-12-13 Biosense Webster (Israel) Ltd. Registration of an image with a tracking system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
CN104704531A (zh) * 2012-10-12 2015-06-10 皇家飞利浦有限公司 用于访问对象的面部的数据的系统

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
ES2210662T3 (es) 1994-08-19 2004-07-01 Biosense, Inc. Sistemas medicos de diagnosis, de tratamiento y de imagen.
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
US6618612B1 (en) 1996-02-15 2003-09-09 Biosense, Inc. Independently positionable transducers for location system
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6560354B1 (en) 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
US6632089B2 (en) 1999-11-30 2003-10-14 Orametrix, Inc. Orthodontic treatment planning with user-specified simulation of tooth movement
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
JP3711038B2 (ja) 2001-06-15 2005-10-26 バブコック日立株式会社 頭蓋骨スーパーインポーズ方法と装置
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
EP3087922B1 (en) * 2010-12-30 2020-02-12 St. Jude Medical International Holding S.à r.l. System for registration of images captured by an imaging system in a coordinate system of a medical device navigation system
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
CA2858578A1 (en) * 2011-12-19 2013-06-27 Howard L. Shackelford Anatomical orientation system
US8908904B2 (en) * 2011-12-28 2014-12-09 Samsung Electrônica da Amazônia Ltda. Method and system for make-up simulation on portable devices having digital cameras
CN105378616A (zh) * 2013-04-12 2016-03-02 爱康尼克斯公司 虚拟触摸屏
CN105658167B (zh) 2013-08-23 2018-05-04 斯瑞克欧洲控股I公司 用来对用于手术导航的坐标转换进行确定的计算机实现技术
EP3102996B1 (en) 2014-02-06 2019-12-04 Sony Corporation Device and method for detecting gestures on the skin
JP6327931B2 (ja) * 2014-05-02 2018-05-23 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US20160042557A1 (en) * 2014-08-08 2016-02-11 Asustek Computer Inc. Method of applying virtual makeup, virtual makeup electronic system, and electronic device having virtual makeup electronic system
GB201501157D0 (en) 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
CA2973479C (en) * 2015-07-21 2019-02-26 Synaptive Medical (Barbados) Inc. System and method for mapping navigation space to patient space in a medical procedure
US10849688B2 (en) * 2016-03-02 2020-12-01 Truinject Corp. Sensory enhanced environments for injection aid and social training
US10152786B2 (en) * 2016-10-11 2018-12-11 Biosense Webster (Israel) Ltd. Registration of a magnetic tracking system with an imaging device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620535A (zh) * 2011-06-13 2014-03-05 西铁城控股株式会社 信息输入装置
CN104704531A (zh) * 2012-10-12 2015-06-10 皇家飞利浦有限公司 用于访问对象的面部的数据的系统

Also Published As

Publication number Publication date
CN109481016A (zh) 2019-03-19
US20190076197A1 (en) 2019-03-14
IL261727A (en) 2019-02-28
US10452263B2 (en) 2019-10-22
JP7330677B2 (ja) 2023-08-22
IL261727B (en) 2022-02-01
JP2019055182A (ja) 2019-04-11
EP3457406A1 (en) 2019-03-20
AU2018229470A1 (en) 2019-03-28
EP3457406B1 (en) 2022-03-09
CA3017166A1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
CN108720862B (zh) 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系
NL2014772B1 (en) A lumbar navigation method, a lumbar navigation system and a computer program product.
JP6643362B2 (ja) ロボット手術中に更新された患者画像を供給するための方法および装置
US10314658B2 (en) Registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue
CN105520716B (zh) 荧光镜图像的实时模拟
WO2004069036A2 (en) Computer-assisted knee replacement apparatus and method
WO2019110135A1 (en) Augmented reality assistance in medical procedure preparation
CN109481016B (zh) 以患者面部作为触摸板用户界面
EP3292835B1 (en) Ent image registration
US20020118867A1 (en) Method and apparatus for matching at least one visualized medical measured result with at least one further dataset containing spatial information
CN114732518A (zh) 用于单个图像配准更新的系统和方法
US11816821B2 (en) Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant