CN111374688B - 用于校正医学扫描的系统和方法 - Google Patents

用于校正医学扫描的系统和方法 Download PDF

Info

Publication number
CN111374688B
CN111374688B CN201911381276.8A CN201911381276A CN111374688B CN 111374688 B CN111374688 B CN 111374688B CN 201911381276 A CN201911381276 A CN 201911381276A CN 111374688 B CN111374688 B CN 111374688B
Authority
CN
China
Prior art keywords
tissue
medical
medical scan
tissue type
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911381276.8A
Other languages
English (en)
Other versions
CN111374688A (zh
Inventor
A.戈瓦里
V.格莱纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of CN111374688A publication Critical patent/CN111374688A/zh
Application granted granted Critical
Publication of CN111374688B publication Critical patent/CN111374688B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/24Surgical instruments, devices or methods, e.g. tourniquets for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/501Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
    • A61B6/582Calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Abstract

本发明题为“用于校正医学扫描的系统和方法”。在一个实施方案中,医学扫描校正系统包括医疗器械,该医疗器械具有远端和设置在远端处的图像传感器,并且被配置成插入活体受检者的身体部分中,以及控制器,该控制器用于将身体部分的医学扫描与医疗器械的坐标系配准,该医学扫描包括初始组织类型指示,呈现第一图像,该第一图像包括基于医学扫描的初始组织类型指示和身体部分的表示以及医疗器械的表示,呈现由图像传感器捕获的身体部分的一部分的第二图像,并且响应于身体部分的该部分的第二图像中组织的形貌与组织的初始组织类型指示之间的比较来更新医学扫描以修改与组织相关联的组织类型指示。

Description

用于校正医学扫描的系统和方法
相关申请信息
本申请要求2018年12月28日提交的美国临时专利申请62/785,941的优先权,其公开内容据此以引入方式并入本文。
技术领域
本发明涉及医学扫描,并且具体地但并非排他性地涉及校正医学扫描。
背景技术
通过引入的方式,在其他应用中,医疗器械可用于脑外科手术或窦扩张中。在窦扩张中,医疗器械可经由鼻腔穿过各种窦腔插入。在脑外科手术中,医疗工具可经由鼻腔和窦腔插入,而不是打开颅骨以移除肿瘤。
分割的计算机断层摄影(CT)图像可有助于医疗器械在此类医疗规程期间的导航。在生成CT图像之后,CT图像的要素通常可被自动分割。分割通常通过将CT图像中的Hounsfield单位值的范围分配到不同类型的物质来操作,例如,骨的一个范围和软组织的一个范围。然而,分割中有时存在错误。
医学扫描的分割和校正是本领域已知的。例如,Pereira等人的美国专利公布2013/0266198描述了使用磁共振(MR)图像(诸如,MR超快TE(UTE)图像、Dixon MR图像以及使用其他MR成像方法获得的MR图像)生成衰减校正图以用于重建正电子发射断层摄影(PET)的方法。
Blumfield等人的美国专利公布2013/0077840描述了在CT研究中自动分割人类椎体图像的方法。开发该方法是为了能够在针对其他临床原因进行的CT研究中自动检测骨质疏松症。
授予Kalvin的美国专利6,016,333描述了一种用于改善由以低功率运行的CT扫描仪生成的嘈杂CT图像的质量的系统和方法。通过恢复关键的定量图像信息来减少图像噪声。
发明内容
根据本公开的实施方案,提供了一种医学扫描校正系统,该医学扫描校正系统包括医疗器械,该医疗器械具有远端和设置在远端处并且被配置成被插入活体受检者的身体部分中的图像传感器、被配置成跟踪该医疗器械在身体部分中的器械方位的方位传感器、显示器、以及被配置成将身体部分的医学扫描与医疗器械的坐标系配准的控制器,该医学扫描包括身体部分的多个初始组织类型指示,向显示器呈现第一图像,该第一图像包括基于医学扫描的多个初始组织类型指示和身体部分的表示以及设置在身体部分中所跟踪的器械方位处的医疗器械的表示,向显示器呈现由图像传感器在所跟踪的器械方位处捕获的身体部分的一部分的第二图像,并且响应于身体部分的该部分的第二图像中的组织的形貌和组织的初始组织类型指示之间的比较,更新医学扫描以修改与该组织相关联的组织类型指示。
另外,根据本公开的一个实施方案,系统包括操作控件,该操作控件被配置成接收用户输入以更新医学扫描,从而从组织的初始组织类型指示修改与组织相关联的组织类型指示。
还根据本公开的实施方案,控制器被配置成响应于所跟踪的器械方位而在医学扫描中找到组织。
另外,根据本公开的实施方案,控制器被配置成向显示器呈现组织的初始组织类型指示的文本指示。
此外,根据本公开的实施方案,控制器被配置成强调第一图像中的组织。
另外,根据本公开的实施方案,多个初始组织类型指示为医学扫描中的放射密度水平。
另外,根据本公开的实施方案,控制器被配置成更新医学扫描以将医学扫描中最初用组织的初始组织类型指示分类的身体部分的所有组织重新分类为组织的经修改的组织类型指示。
另外,根据本发明的实施方案,多个初始组织类型指示为医学扫描中的放射密度水平。
此外,根据本公开的实施方案,控制器被配置成响应于组织的初始组织类型指示的放射密度水平与组织的经修改的组织类型指示的放射密度水平之间的比例变化而成比例地更新医学扫描中的所有放射密度水平。
另外,根据本公开的一个实施方案,控制器被配置成响应于由来自多个初始组织类型指示中的不同初始组织类型指示的至少两个组织类型指示更新所确认的比例变化而更新医学扫描中的所有放射密度水平。
另外,根据本公开的实施方案,控制器被配置成响应于所跟踪的器械方位和最初在医学扫描中被分类为组织的初始组织类型指示的组织而输出关于医疗器械接近组织的警告。
根据本公开的另一个实施方案,还提供了一种医学扫描校正方法,该方法包括跟踪医疗器械在活体受检者的身体部分中的器械方位,该医疗器械具有远端和设置在该远端处的图像传感器,将身体部分的医学扫描与医疗器械的坐标系配准,该医学扫描包括身体部分的多个初始组织类型指示,向显示器呈现第一图像,该第一图像包括基于医学扫描的多个初始组织类型指示和身体部分的表示以及设置在身体部分中所跟踪的器械方位处的医疗器械的表示,向显示器呈现由图像传感器在所跟踪的器械方位处捕获的身体部分的一部分的第二图像,以及响应于身体部分的该部分的第二图像中的组织的形貌和组织的初始组织类型指示之间的比较,更新医学扫描以修改与组织相关联的组织类型指示。
另外,根据本公开的实施方案,该方法包括接收用户输入以更新医学扫描,从而从组织的初始组织类型指示来修改与组织相关联的组织类型指示。
此外,根据本公开的实施方案,该方法包括响应于所跟踪的器械方位而在医学扫描中找到组织。
另外,根据本公开的实施方案,该方法包括向显示器呈现对组织的初始组织类型指示的文本指示。
另外,根据本公开的实施方案,该方法包括强调第一图像中的组织。
另外,根据本发明的实施方案,多个初始组织类型指示为医学扫描中的放射密度水平。
此外,根据本公开的实施方案,该方法包括更新医学扫描以将医学扫描中最初用组织的初始类型指示分类的身体部分的所有组织重新分类为组织的经修改的组织类型指示。
另外,根据本公开的实施方案,多个初始组织类型指示为医学扫描中的放射密度水平。
另外,根据本公开的实施方案,该方法包括响应于组织的初始组织类型指示的放射密度水平与组织的经修改的组织类型指示的放射密度水平之间的比例变化而成比例地更新医学扫描中的所有放射密度水平。
另外,根据本公开的实施方案,该方法包括响应于由来自多个初始组织类型指示中的不同初始组织类型指示的至少两个组织类型指示更新所确认的比例变化而更新医学扫描中的所有放射密度水平。
此外,根据本公开的实施方案,该方法包括响应于所跟踪的器械方位和最初在医学扫描中被分类为组织的初始组织类型指示的组织而输出关于医疗器械邻近组织的警告。
根据本公开的另一个实施方案,还提供了一种软件产品,该软件产品包括存储有程序指令的非暂态性计算机可读介质,该指令在由中央处理单元(CPU)读取时,致使CPU将活体受检者的身体部分的医学扫描与被配置成插入身体部分中的医疗器械的坐标系配准,该医学扫描包括身体部分的多个初始组织类型指示,向显示器呈现第一图像,该第一图像包括基于医学扫描的多个初始组织类型指示和身体部分的表示以及设置在医疗器械在身体部分中的所跟踪的器械方位处的医疗器械的表示,向显示器呈现由医疗器械的图像传感器在所跟踪的方位处捕获的身体部分的一部分的第二图像,并且响应于身体部分的该部分的第二图像中组织的形貌和组织的初始组织类型指示之间的比较,更新医学扫描以修改与组织相关联的组织类型指示。
附图说明
结合图阅读下述详细说明将理解本发明,其中:
图1为根据本发明的实施方案的医疗系统的示意图;
图2为根据本发明的实施方案的用于医疗系统中的磁场辐射组件的示意图;
图3A为示例性医疗器械的示意性横截面侧视图;
图3B为图3B的医疗器械的示意性横截面前视图;
图3C为根据本发明的实施方案的示出与图3A和图3B的医疗器械有关的矢量的示意图;
图4为根据本发明的实施方案的包括在操作图1的医疗系统时实施的示例性步骤的流程图和算法;
图5为根据本发明的实施方案的在流程图和算法的实施期间使用的屏幕的示意图;
图6为包括用于图1的医疗系统中的方法中的示例性步骤的流程图和算法;
图7为用户界面屏幕的示意图,该用户界面屏幕包括医学扫描的图像和由图像传感器捕获的图像;
图8为图7的用户界面屏幕的示意图,其示出了医学扫描的另一部分的图像、由图像传感器捕获的不同图像以及警告;
图9为图8的用户界面屏幕的示意图,其示出了重新分类下拉列表;
图10为在对组织重新分类之后图8的用户界面屏幕的示意图;
图11和图12为图8的医学扫描的其他部分在多组织重新分类之后的图像的示意图;并且
图13为包括根据本发明的实施方案的图1的医疗系统的操作方法中的示例性步骤的流程图。
具体实施方式
概述
如前所述,在产生医学扫描诸如CT图像之后,通常可自动对医学扫描的要素进行分割,以帮助医师观察。分割可通过将CT图像中的Hounsfield单位值或其他合适的测量分配给不同类型的物质(例如,骨或软组织)来操作。然而,分割中有时存在错误。
分割中的错误可能是由于医学扫描处理中的错误或扫描中的错误所致。医学扫描中的人工制品也可存在例如基于与扫描相关的因素诸如导致入射辐射在扫描期间散射的牙科植入物,并且从而导致物质(例如,骨或软组织)被不正确地分类。
不正确分割的医学扫描可导致医师的诊断不佳或不正确。在使用不正确分割的医学扫描来辅助医疗工具在身体部分的医疗手术期间导航的情况下,医疗器械的导航可受到阻碍,并且在一些情况下,医疗器械可损伤敏感组织。例如,如果医师在医疗器械太靠近敏感组织或对敏感组织施加过多力时被跟踪系统警告,则医生可采取适当的谨慎措施。然而,如果医学扫描被不正确分割,则可不会发生适当的警告,因为跟踪系统不会基于不正确的医学扫描分割将近侧组织识别为敏感组织。在其他情况下,当接近医疗器械的组织在本质上不敏感时,可发出关于邻近敏感组织的警告。
本发明的实施方案允许医师基于由设置在身体部分内的医疗器械上的图像传感器捕获的实时图像与身体部分的分割医学扫描的图像的比较来更新医学扫描。
由医疗器械捕获的实时图像和分割医学扫描的图像通常一起显示在显示屏上。分割医学扫描的图像使用颜色方案(例如,灰度)指示不同的初始组织类型(例如,骨、软组织、软骨和血液)或物质类型(例如,水或空气)。例如,空气可以是黑色的或接近黑色的,并且骨可以是白色的或灰白色的。将医疗器械的表示(例如,使用医疗器械的箭头或示意图)叠加在分割医学扫描的图像上,以示出医疗器械的当前方位。
当前包括在由医疗器械的图像传感器捕获的实时图像中的组织基于医疗器械的跟踪方位在医学扫描中被识别。可在医学扫描的图像中强调所识别的组织。可使用边框、箭头、格式的改变或任何其他合适的突出显示方法来强调组织。除此之外或另选地,所识别的组织的组织类型指示可作为文本消息(例如,“骨”、“软组织”、“Hounsfield单位值600”等)呈现在显示屏上。
由医师将包括在实时图像中的组织与包括在医学扫描的图像中的所强调组织的组织类型指示(例如,灰度值)进行比较可显示所强调组织的初始组织类型指示不正确。然后,医师可使用用户界面工具诸如下拉列表或通过输入校正的灰度值或Hounsfield单位值来修改所强调组织的组织类型指示。
然后在医学扫描和显示在显示屏上的医学扫描的图像中更新组织的组织类型指示。
在一些实施方案中,可针对具有相同初始组织类型指示的所有组织来更新组织类型指示,因为可假设相同的误差在整个医学扫描期间自身传播。以举例的方式,如果组织的Hounsfield单位值最初为300并且现在被修改为600,则现在将具有初始Hounsfield单位值300的医学扫描中所有组织的Hounsfield单位值修改为600。在一些实施方案中,医学扫描中的所有初始组织类型指示可根据从初始组织类型指示到所强调组织的经修改的组织类型指示的值(例如,灰度值或Hounsfield单位值)的比例变化而成比例地更新。以举例的方式,如果组织的Hounsfield单位值最初为300并且现在被修改为600(即,其加倍),则医学扫描中的组织的所有Hounsfield单位值加倍。
在一些实施方案中,包括在实时图像中的组织与包括在医学扫描中的组织的组织类型指示(例如,灰度值)的比较可以自动或半自动方式进行。可将包括在实时图像中的组织与组织图像库中的其他标记的组织图像进行比较,以识别组织的组织类型。除此之外或另选地,机器学习技术也可用于识别组织的组织类型。然后可将所识别的组织类型与医学扫描中所包括的组织的初始组织类型指示进行比较。如果所识别的组织类型不同于初始组织类型指示,则初始组织类型指示可自动更新为所识别的组织类型,或者可输出消息至显示屏,以通知医师在实时图像中观察到的组织的组织类型与医学扫描中所包括的组织的初始组织类型指示不相关。然后,医师可选择根据所识别的组织类型来批准或拒绝更新初始组织类型指示。
医学扫描的分割的校正可作为医师正在身体部分中导航医疗器械的医疗规程的一部分执行,并且注意到医学扫描的图像中包括的初始组织类型指示不对应于医疗器械的图像传感器所捕获的实时图像中所包括的组织的图像。当发出不正确的警告时(例如,当医疗器械实际上邻近骨时,医疗器械太靠近敏感组织),或者当其本该邻近时(例如,医疗器械太靠近视神经并且没有发出警告),系统可将医师的注意力吸引到不正确的分割中。
在一些情况下,医学扫描的分割的校正可由医师在医学扫描中注意医师想要进一步调查的人工制品来发起。医师将医疗器械插入身体部分中以调查与人工制品的区域相关联的组织的实际组织类型,并且然后基于实时图像中识别的实际组织类型继续更新医学扫描。
系统描述
以引用方式并入本文的文献将被视作本申请的整体部分,不同的是,就任何术语在这些并入文件中以与本说明书中明确或隐含地作出的定义矛盾的方式定义而言,应仅考虑本说明书中的定义。
现在转到附图,根据本发明的实施方案,现在参考图1,其为医疗系统20的示意图,并且参考图2,其为用于系统20中的磁场辐射组件24的示意图。医疗系统20通常在对患者22的鼻窦或另一个身体部分(诸如大脑)的侵入式和/或探索手术期间使用。
对于该手术,可例如通过将磁场辐射组件24固定到患者所坐(或躺着)的椅子25(或床)上而将组件24定位在患者22的头部后面和/或周围。图示示例中的磁场辐射组件24包括固定在马蹄形框架中的五个磁场辐射器26,该框架被定位在患者22下面或周围,使得磁场辐射器26围绕患者22的头部。另选地,可使用呈以各种不同配置的更小或更大数量的辐射器26。磁场辐射器26被配置成将相应频率下的交变磁场辐射到邻近磁场辐射组件24并且包括患者22的头部的区域30中。交变磁场在方位传感器32和方位传感器36中诱导信号。方位传感器32被示出为设置在医疗器械28上,以便跟踪医疗器械28在身体部分中的方位。仅以举例的方式,医疗器械28可包括下列中的任何一者或多者:用于插入身体部分中的探头、内窥镜、和/或外科工具诸如ENT工具、抽吸工具、微创器或剃刀。
医疗器械28可附接到机器人臂40并由其保持,该机器人臂被配置成操纵医疗器械28。机器人臂40包括被配置成控制机器人臂40的移动并操纵医疗器械28的多个机器人关节。在一些实施方案中,医疗器械28可由医师54或助理保持。
方位传感器36被示出为设置在患者22上(例如,在患者22的前额或任何其他合适的身体部分上)以便跟踪患者22的方位(例如,跟踪患者22的头部的方位)。
每个方位传感器32、36通常包括一组三个正交线圈,并且信号可由控制器38分析以导出方位传感器32、36相对于磁场辐射组件24的位置和取向。应当理解,可针对区域30内的方位传感器的基本上任何定位来确定方位传感器32、36的位置和取向。虽然方位传感器32、36在本文中被描述为磁方位传感器,但医疗器械28和患者22的方位可使用任何合适的方位感测技术来计算,例如但不限于电、超声、光学、惯性或本领域已知的任何其他合适类型。
如下文更详细地描述,方位传感器32附连到医疗器械28,并且传感器32的位置和取向的确定使得能够跟踪医疗器械28的远端34(或其他位置)的位置和取向,该医疗器械可以可逆地插入患者22(活体受检者)的身体部分中。当医疗器械28为刚性医疗器械时,方位传感器32通常可设置在医疗器械28的任何合适的部分(例如,医疗器械28的远端34或近端52)上并且/或者设置在保持医疗器械28的机器人臂40上。如果医疗器械28的远端34是柔性的,则方位传感器32通常设置在医疗器械28的远端34上,以便准确地跟踪医疗器械28的远端34的移动。
类似地,方位传感器36的位置和取向的确定使得能够跟踪患者22的身体部分(例如,头部)的位置和取向。方位传感器36在图1中被示出为设置在患者22的前额上。方位传感器36可设置在患者22的任何其他合适的身体部分上,以便跟踪患者22的方位/移动。
使用磁场辐射器(诸如磁场辐射器26)跟踪插入患者中的实体的系统在Govari等人的美国专利公布2016/0007842中有所描述,该专利以引用的方式并入本文。此外,由Biosense Webster(33Technology Drive,Irvine,CA 92618USA)生产的系统使用与本文所述的跟踪系统类似的跟踪系统在受磁场辐照的区域中找到线圈的位置和取向。
机器人臂40通常具有其自身的机器人坐标系。机器人坐标系与磁场辐射器26的磁坐标系配准,和/或反之亦然。机器人坐标系与磁坐标系的配准可例如通过将机器人臂40或附接到机器人臂40的医疗器械28移动到磁场辐射器26已知的一个或多个位置,例如移动到磁场辐射组件24上的位置或移动到方位传感器36或移动到患者22上的一个或多个其他已知位置来执行。一旦已执行机器人坐标系与磁坐标系的配准,磁坐标系中的位置就能够被平移到机器人坐标系,以便正确地操纵机器人臂40。
包括辐射器26的系统20的元件可由控制器38控制,该控制器包括与一个或多个存储器通信的处理单元。通常,元件可通过缆线连接到控制器38,例如,辐射器26可通过缆线58连接到控制器38。另选地或除此之外,元件可以无线方式耦接到控制器38。控制器38可安装在控制台50中,该控制台包括操作控件51,该操作控件通常包括小键盘和/或指向装置诸如鼠标或轨迹球。控制台50还连接到医疗系统20的其他元件,诸如医疗器械28的近端52。医师54利用操作控件51与控制器38交互,同时执行手术,并且控制器38可将系统20产生的结果呈现在显示屏56上。在图1中,显示屏56正在显示先前CT扫描(或其他合适的扫描)的各种视图59,其可用作医师54将医疗器械28引导在身体部分中的辅助。显示屏56还示出由医疗器械28捕获的图像61。
在实施过程中,控制器38的这些功能中的一些或全部可组合在单个物理部件中,或者另选地,使用多个物理部件来实现。这些物理部件可包括硬连线装置或可编程装置,或这两者的组合。在一些实施方案中,处理电路的功能中的至少一些功能可由可编程处理器在合适软件的控制下实施。该软件可通过例如网络以电子形式下载到装置。另选地或除此之外,该软件可以储存在有形的非暂态计算机可读存储介质中,诸如光学、磁或电子存储器。
医疗系统20可任选地包括镜片清洁装置63,该镜片清洁装置被配置成当内窥镜被包括在医疗器械28中时清洁内窥镜的镜片。镜片清洁装置63可包括用于将水喷雾到镜片上的喷水喷雾器,或用合适的材料(例如但不限于一块纱布)擦拭镜片的擦拭器。镜片清洁装置63可设置在机器人臂40上。另选地或除此之外,镜片清洁装置63可被实现为医疗器械28的一部分,例如具有喷射喷雾,该喷射喷雾可在医疗器械28从身体部分移除时被启用。
图3A-C、图4、图5将医疗器械28描述为刚性医疗器械,并且将方位传感器32描述为可固定到医疗器械28的任何合适部分的可移动方位传感器,并且因此方位传感器32的位置最初不指示医疗器械28的远端34,直到执行合适的校准。在一些实施方案中,医疗系统20可在方位传感器32与医疗器械28成一整体并且/或者方位传感器32相对于医疗器械28的远端34的位置已知的情况下实现。在其他实施方案中,方位传感器32可设置在机器人臂40上,并且在这种情况下,方位传感器32的位置最初不指示医疗器械28的远端34,直到执行合适的校准。
根据本发明的一个实施方案,图3A为医疗器械28的示意性横截面侧视图,图3B为医疗器械28的示意性横截面前视图,并且图3C为示出与医疗器械28有关的矢量的示意图。在对医疗器械28的以下描述中,假定医疗器械28包括具有纵向对称轴线62的刚性圆柱体60。在图3A和图3B中,医疗器械28已被绘制在一组xyz正交轴上,其中纵向对称轴线62限定z轴。为清楚起见,在图3A和图3B中,医疗器械28的xyz轴从圆柱体60移位地绘制。
方位传感器32通过传感器保持器64固定到圆柱体60,该传感器保持器通常由塑料形成,以便完全封装方位传感器32。如本文所述,来自方位传感器32的响应于与方位传感器32交互的磁场而生成的信号用于确定方位传感器32的位置和取向。可将传送来自方位传感器32的信号的导线连接到医疗器械28的近端52,并且从近端52连接到控制台50。导线在图3A和图3B中未示出。
假定方位传感器32具有传感器方向70,通常但不一定是方位传感器32的内部对称轴线的方向,并且本文所提及的取向测量传感器方向相对于由磁场辐射器26(图2)限定的参照系的取向。方位传感器32的传感器方向70在图3A和图3C中示意性地示出为箭头。
传感器保持器64被生产成具有孔68,该孔被成形为具有基本上与圆柱体60的直径相同但足够不同的直径,使得保持器64和圆柱体60之间存在滑动配合。当制备保持器64时,孔68的中心被制备成与方位传感器32相距已知距离A。A的典型值为0.5cm,但A可小于或大于该值。可构造一系列传感器保持器,其具有孔,这些孔的尺寸被设定成具有不同直径的医疗器械。此外,由于被包括在保持器64中,因此孔68的中心相对于传感器方向70具有已知的取向θ。因此,如图3C所示,从方位传感器32到孔68的中心存在已知的位移矢量(A,θ),本文也称为矢量V。
孔68具有对称轴线69,该对称轴线通常正交于矢量V,并且由于其在生产保持器64时形成,其相对于矢量V具有已知的方向φ(图3C)。
还如下文所述,在操作系统20时,传感器保持器64的孔68滑动到圆柱体60上,并且当保持器64靠近近端52时,保持器64固定到圆柱体60。应当理解,在将圆柱体60滑动在孔68内时,轴线69和62是重合的,并且也与方向φ重合。保持器64包括具有头部的固定螺钉72,该头部可由医师54(图1)抓握。使用该头部,医师54能够用手拧紧该固定螺钉,以将保持器64沿圆柱体60固定在期望位置处。假定从传感器32的中心到远端34的距离为距离B。与距离A不同,当传感器保持器64固定到圆柱体60时,距离B是未知的,但如下文在系统20的操作中所述,控制器38能够计算距离B。
图3A还示出了设置在医疗器械28上或嵌入其中的力传感器35。力传感器35被配置成提供指示由医疗器械28施加在身体部分上的力的信号。多于一个力传感器35可沿医疗器械28设置在不同的侧向位置处,以提供医疗器械28上的不同位置处力读数。其公开内容以引用方式并入本文中的美国专利申请公开2007/0100332和2009/0093806描述了使用嵌入导管的力传感器感测导管远端头和体腔内的组织之间的接触压力的方法。此外,BiosenseWebster(33Technology Drive,Irvine,CA 92618USA)生产的 系统包括适用于医疗系统20的力传感器。
医疗器械28还包括设置在远端34处的图像传感器37。图像传感器37可包括具有磁传感器的激光测距仪、具有激光测距仪的摄像机或超声传感器。
根据本发明的一个实施方案,图4为包括在医疗系统20的操作中实施的示例性步骤的流程图,并且图5为在流程图的实施期间显示屏56的示意图。流程图的步骤也由图1、图2、图3A、图3B和图3C示出。
在初始步骤100中,通过计算机断层摄影术(CT)(在本文中以举例的方式被假定为荧光CT)扫描患者22的头部,并且通过控制器38采集来自扫描的CT数据。患者22的CT扫描可独立于流程图中对应于医疗规程的其余步骤的实施来执行。通常,步骤100可在医疗规程的以下步骤的若干天之前来执行。在一些实施方案中,任何其他合适的医学扫描可补充或替代CT扫描。
在第一手术步骤102中,将辐射组件24安装在患者22的头部下面或后面。然后操作辐射器26,并且在配准步骤104中,将辐射器26的参照系与受检者头部的参照系配准。该配准通常通过本领域已知的任何方法,例如通过将磁场传感器线圈诸如方位传感器36或此类线圈的分组放置在相对于患者22的外部特征的一个或多个已知位置和取向,以及与保持辐射器26的磁场辐射组件24一起来执行。一般来讲,在该步骤中,控制器38被配置成相对于身体部分的至少一个给定位置(例如,患者22的外部特征)来配准CT数据(或其他医学扫描)。
在初始显示步骤106中,控制器38使用在步骤100中接收到的CT数据来生成患者22的外部特征的表示150(本文也称为图像150)。CT数据为具有亨氏单位(HU)的体素的形式,并且患者22的外部特征的图像150由体素值及其HU值生成。图像150通常为灰度图像。灰度的值从黑色到白色可与对应体素的Hounsfield单位(HU)相关。
HU值为放射密度值,并且如本领域已知的,除了空气和水的值(其按定义分别为-1000和0)之外,任何其他物质或物种(如致密骨)的Hounsfield单位的值尤其取决于用于产生本文所提及的CT扫描的辐照X射线的光谱。继而,X射线的光谱取决于许多因素,包括施加到X射线发生器的电势(以kV计),以及发生器的阳极的组成。为清楚起见,在本公开中,特定物质或物种的Hounsfield单位值如下表I中给出。
物种/物质 Hounsfield单位
空气 -1000
软组织 -300至-100
脂肪 -50
0
血液 +30至+45
致密骨 +3000
表I
然而,表I中给出的特定物种(除空气和水之外)的HU的数值应理解为纯粹是示例性的,并且本领域的普通技术人员将能够根据用于生成本文所提及的CT图像的物种和X射线机来修改这些示例性值,而无需过度实验。通常,HU值和灰度值之间的平移被编码到DICOM(医学数字成像和通信)文件中,该文件是来自给定CT机器的CT扫描输出。
控制器38在显示屏56上显示图像150,并且图5示意性地示出了显示在显示屏56上的图像150。
HU值还提供在CT图像中不同位置处的不同组织类型(例如,骨、软组织、脂肪、血液)的指示。将CT扫描与医疗系统20配准可使得能够基于医疗器械28的位置处体素的HU值来识别医疗器械28附近的解剖特征。例如,软组织可基于在远端34的位置处的CT扫描中的HU值而被识别为位于医疗器械28的远端34处。另选地,可基于远端34附近的HU值来在CT扫描中识别致密骨。可从CT扫描的分析中自动(使用图像分析技术)或手动(由经过训练的操作者或放射科医师)识别其他解剖特征。然后可以将所识别的解剖特征与医疗系统20配准,以便在医疗规程期间使用。因此,当将医疗器械28插入身体部分中时,可将不同的解剖特征识别为靠近医疗器械28的远端34或另一个位置。可控制医疗器械28以避免基于解剖特征的灵敏度对解剖特征施加过大的力。例如,光学神经可在CT扫描中自动地或通过放射科医生来识别,并且然后在医疗规程期间与医疗系统20配准以供使用。可控制医疗器械28以避免当医疗器械28处于视神经的位置时对视神经施加过大的力。参考图6更详细地描述了这些特征。
在操作步骤108中,医师将传感器保持器64的孔68滑动到医疗器械28的刚性圆柱体60上,并且然后医师54使用固定螺钉72将传感器保持器锁定在医疗器械28的近端52附近的适当位置。一旦将保持器64锁定在适当位置,就将机器人臂40设定成允许由医师54手动移动机器人臂40的松弛模式。医师54使医疗器械28的远端34接触患者22的外部特征的选择区域,例如患者的鼻部的侧面处的区域。
远端34的定位将传感器保持器64及其封装的方位传感器32引入区域30中,使得控制器38能够计算方位传感器32的位置和取向。一旦控制器38已执行该计算,其通常在图像150附近将表示传感器方向70的图标152引入到显示屏56上。根据由传感器信号确定的方位传感器32在图像150和磁场辐射器26的共同参照系内的位置和取向,将图标152定位并取向在显示屏56上。
由于医师54正在操控医疗器械28的事实,医师54意识到传感器32的实际位置和取向。图标152的位置和取向与方位传感器32的实际位置和取向的比较可向医师54提供正确操作医疗系统20的确认。
在校准步骤110中,医师54通常通过使用控件51来通知控制器38:医疗器械28的远端34与患者22的外部特征接触。在接收到通知时,控制器38对方位传感器32的已知位置执行两个平移。第一平移对应于矢量V(A,θ)(图3C),使得控制器38沿由θ限定的方向将方位传感器32的位置平移值A至轴线62上的点P(图3A)。在图5中绘制对应于点P的点P',以示出第一平移的终止。通常,在屏幕56上不绘制点P'。
从点P,控制器38在对应于方向φ的方向上执行第二平移。由于轴线69和62是重合的,因此第二平移在对应于沿轴线62平移的方向上。控制器38使用图像150的数据通过由图像数据确定在沿轴线69的方向φ上移动的P点与患者22的外表面相接的位置来确定第二平移的实际长度。当存在如图像中所测量的至少预先确定的辐射强度变化时(例如,图像数据的亨氏单位的值的变化),发生与外表面的相接。变化的合适值为200-500亨氏单位。假定该相接在轴线62上的点Q处。点Q在距点P的现在已知的距离B处,并且因此第二平移对应于矢量(B,φ)(本文也称为矢量W,并且在图3C中示出)。
应当理解,虽然点Q的方位的计算使用CT图像数据,但是由于图像150与患者22的实际外部特征配准,因此点Q与患者22的实际外部点相对应。
在校准步骤结束时,控制器38从屏幕56删除图标152,并且将图标154定位在图像150上对应于点Q的位置处,图标154的位置和取向与远端34的实际位置和取向的比较向医师54提供正确完成校准步骤的确认。
校准步骤的两个平移的总和V+W是由控制器38存储的矢量。
在继续跟踪步骤112中,控制器38将步骤110中存储的矢量添加到方位传感器32的位置,以便确定远端34的位置。远端34的取向对应于方向φ,该方向也由控制器38在跟踪方位传感器32时确定。因此,控制器38能够通过确定方位传感器32的位置和取向来计算远端34的位置和取向。控制器38可将对应于远端34的位置和取向的图标定位在显示屏56上。在一些实施方案中,如果远端34在患者22内,则图像150的可使图标模糊的外部特征呈现为至少部分透明的。远端34相对于患者22的解剖特征的位置可基于远端34相对于配准图像上的坐标计算的位置而导出。以上述方式,可通过观察捕获的CT或其他图像中的图标的移动,将医疗器械28的远端34引导到患者22的身体部分中至期望的位置。
在一些实施方案中,医疗器械28的远端34可由机器人臂40基于合适的路径查找算法自动引导到身体部分中。参考Gliner等人的美国公布的专利申请2017/0056112A1描述了一种示例性算法,该专利申请以引用方式并入本文。
现在参考图6,其为包括用于图1的医疗系统20中的方法中的示例性步骤的流程图200。还参考图1。
如上文结合图4所述,CT扫描的HU值提供在CT图像中不同位置处的不同组织类型(例如,骨、软组织、脂肪、血液)或其他物质(例如,水或空气)的指示。将CT扫描与医疗系统20配准可使得能够基于医疗器械28的位置处体素的HU值来识别医疗器械28附近的解剖特征。例如,软组织可基于在远端34的位置处的CT扫描中的HU值来识别为位于医疗器械28的远端34处。另选地,可基于远端34附近的HU值来在CT扫描中识别致密骨。可从CT扫描的分析中自动(使用图像分析技术)或手动(由经过训练的操作者或放射科医师)识别其他解剖特征。然后可以将所识别的解剖特征与医疗系统20配准,以便在医疗规程期间使用。例如,光学神经可在CT扫描中自动地或由放射科医生识别,并且然后与医疗系统20配准。可控制医疗器械28以避免当医疗器械28处于视神经的位置时对视神经施加过大的力。
方位传感器32被配置成跟踪医疗器械28在身体部分中的器械方位(方框202)。方位传感器36被配置成在将医疗器械28插入身体部分中期间跟踪身体部分的身体方位(方框204)。力传感器35(图3A)被配置成检测由医疗器械28施加到身体部分的力(方框206)。
控制器38被配置成响应于器械方位和身体方位来计算医疗器械28相对于身体部分的位置(方框208)。
控制器38被配置成基于医学扫描的配准和器械方位来识别解剖特征位于医疗器械28的计算位置处(方框210)。例如,控制器38识别CT扫描中对应于医疗器械28的计算位置的位置。CT扫描的位置可包括解剖特征。解剖特征可以是在下面的步骤212中识别的组织类型。除此之外或另选地,解剖特征可以是在CT扫描中自动(例如,使用图像分析)或由放射科医生识别的器官或神经或其他特征,并且然后在医疗规程之前与医疗系统20配准。
控制器38被配置成基于解剖特征的图像的放射密度(例如,HU值)来识别解剖特征的组织类型(例如,骨、软组织、血液、脂肪)(方框212)。除此之外或另选地,控制器38被配置成基于在医疗规程之前与医疗系统20配准的解剖特征的识别来识别解剖特征(例如,视神经或脑)的识别(方框212)。
控制器38被配置成设定用于施加到解剖特征上的允许的力水平(方框214)。在一些实施方案中,控制器38被配置成基于解剖特征的已知或估计的灵敏度和/或重要性来设定用于施加到解剖特征的允许的力水平。例如,视神经可比另一神经更重要。在一些实施方案中,控制器38被配置成基于解剖特征的组织类型的灵敏度和/或重要性来设定用于施加到解剖特征的允许的力水平。例如,软组织比硬骨更敏感。在一些实施方案中,控制器38被配置成基于解剖特征的图像的放射密度(例如,HU值)来设定用于施加到解剖特征的允许的力水平。仅以举例的方式,对于围绕眼睛轨道的组织,允许的力水平可被设定为2克力(gmf),对于视神经,允许的力水平可被设定为小于1gmf,对于鼻骨,允许的力水平可被设定为30gmf,其中1gmf相当于1克质量在标准重力下的重量。
控制器38被配置成将所检测到的由医疗器械28施加的力与在计算位置处施加到解剖特征的允许的力水平进行比较(方框216)。如果医疗器械28包括多个力传感器35,则可对来自力传感器35的读数取平均值。除此之外或另选地,来自不同力传感器35的读数可由控制器38单独处理,其中控制器38将每个相应力传感器35的位置处检测到的力与邻近相应力传感器35中的每一个的解剖特征的允许的力水平进行比较。
控制器38被配置成响应于所检测到的由医疗器械28在计算位置处施加的力大于允许的力水平,将控制命令发送到机器人臂40或切断机器人臂的功率,以松开机器人臂40的多个机器人关节中的至少一个机器人关节的刚度(方框218)。松弛模式甚至可导致机器人臂40放下医疗器械28,但如果仍存在对机器人臂40的致动器的反馈,则这与有创伤的风险相比是可接受的。在一些实施方案中,控制器38被配置成响应于所检测到的由医疗器械28在计算位置处施加的力大于允许的力水平而将控制命令发送到机器人臂40以放下医疗器械28。
参考图6所述的上述方法可适当地适于当医疗器械28太靠近敏感组织时向显示屏56(图1)输出警告。敏感组织可由医师54或系统管理员预定义。被认为太靠近敏感组织的定义也可由医师54或系统管理员预定义,并且对于不同的敏感组织,距离可能不同。
现在参考图7,其为用户界面屏幕300的示意图,该用户界面屏幕包括分割医学扫描的图像302和由用于图1的医疗系统20中的医疗器械28的图像传感器37捕获的图像304。医学扫描可以是CT扫描或任何其他合适的扫描,例如但不限于MRI扫描。
由医疗器械28捕获的图像304(图1)和分割医学扫描的图像302一起显示在显示屏56上(图1)。分割医学扫描的图像302使用颜色方案(例如,灰度)指示不同的初始组织类型(例如,骨、软组织、软骨、血液)或物质类型(例如,水或空气)。例如,空气可以是黑色的或接近黑色的,并且骨可以是白色的或灰白色的。医疗器械28的表示306(例如,使用医疗器械的箭头或示意图)叠加在分割医学扫描的图像302上,以示出医疗器械28的当前方位。
现在参考图8,其为图7的用户界面屏幕300的示意图,其示出了医学扫描的另一部分的图像308、由图像传感器37(图1)捕获的不同图像310和警告312。图像308示出具有对应组织类型指示的不同组织314。组织类型指示基于用于填充图像308中所示的组织314的灰度值来区分。组织314中的一个(组织314-1)使用边界316来强调,以指示组织314-1对应于当前由图像传感器37捕获并显示在图像310中的组织。除此之外或另选地,可使用箭头、格式的改变或任何其他合适的强调方法来强调组织314-1。
基于医疗器械28(图1)与组织314-1的接近,如图像308上的表示306所示,并且基于根据医学扫描中的组织314-1的组织类型指示将组织314-1初始分类为敏感组织,控制器38可被配置成在用户界面屏幕300上输出医疗器械28太靠近组织314-1的警告312(例如,医疗器械28太靠近软组织)。
医疗器械28与组织314-1的接近可由控制器38基于医疗器械28的所跟踪的方位和医学扫描中的各种组织314的位置来计算,该医学扫描与医疗器械28的坐标系配准。
由医师54(图1)将包括在图像310中的组织与包括在医学扫描的图像308中的所强调组织314-1的组织类型指示(例如,灰度值)进行比较可显示所强调组织314-1的初始组织类型指示不正确。
用户界面屏幕300包括下拉列表318,该下拉列表可用于校正组织314-1的初始组织类型指示。
现在参考图9,其为图8的用户界面屏幕300的示意图,其示出了重新分类下拉列表318。然后,医师54可从下拉列表318中选择正确的组织类型,或通过将校正的灰度值或Hounsfield单位值输入合适的输入字段中来选择正确的组织类型。在图9的示例中,组织314-1的初始分类从“软组织”变为“软骨”。
现在参考图10,其为在组织314-1的重新分类后图8的用户界面屏幕300的示意图。图10示出了组织314-1的灰度值已减轻,以反映从软组织到软骨的变化。除了示出图像308中的组织314-1的组织类型指示的变化之外,还在医学扫描的数据中更新组织314-1的组织类型指示。
现在参考图11和图12,其为图8的医学扫描的其他组织在多组织重新分类之后的图像308的示意图。
在一些实施方案中,可针对与组织314-1具有相同初始组织类型指示的所有组织314来更新组织类型指示,因为可假设相同的误差在整个医学扫描期间自身传播。以举例的方式,如果组织314-1的Hounsfield单位值最初为300并且现在被修改为600,则现在将具有初始Hounsfield单位值300的医学扫描中的所有组织314的Hounsfield单位值修改为600。图11示出,当组织314-1的组织类型指示被更新时,具有与组织314-1相同的初始组织类型指示的组织314-2也在图像308(以及在医学扫描数据)中被更新。
在一些实施方案中,医学扫描中的所有初始组织类型指示可根据从初始组织类型指示到组织314-1的经修改的组织类型指示的值(例如,灰度值或Hounsfield单位值)的比例变化而成比例地更新。以举例的方式,如果组织314-1的Hounsfield单位值最初为300并且现在被修改为600(即,其加倍),则医学扫描中的组织314的所有Hounsfield单位值加倍。图12示出了图像308的所有组织314的所有灰度值已减轻。
现在参考图13,其为示出包括根据本发明的实施方案的图1的医疗系统20的操作方法中的示例性步骤的流程图400。还参考图1和图8。
控制器38被配置成将身体部分的医学扫描与医疗器械28的坐标系配准(方框402)。已结合图4和图5更详细地描述了配准。医学扫描包括身体部分的多个初始组织类型指示。初始组织类型指示可为医学扫描中的放射密度水平(例如,Hounsfield单位值)、或灰度值、或组织类型的任何其他合适的指示,例如但限于组织类型名称,例如,骨或软组织。
控制器38被配置成向显示屏56呈现图像308,该图像包括:基于医学扫描的初始组织类型指示和身体部分的表示;以及设置在所跟踪的器械方位处(由方位传感器32或任何其他合适的传感器和/或跟踪系统跟踪)的医疗器械28的表示306(方框404)。
控制器38被配置成向显示屏56呈现由身体部分的一部分的图像传感器37(图3A)在所跟踪的器械方位处捕获的图像310(方框406)。图像308和图像310通常在用户界面屏幕56上,例如显示在显示屏300上同时显示。
控制器38被配置成基于图像传感器37的光学配置或其他已知特征,响应于医疗器械28的所跟踪的器械方位和从图像传感器37到组织314-1的距离而在医学扫描中找到组织314-1(方框408)。医疗器械28还可包括测距仪,以确定图像传感器37和组织314-1之间的距离。
控制器38被配置成例如使用边界316来强调(方框410)图像308中的组织314-1。
在一些实施方案中,控制器38被配置成响应于所跟踪的器械方位和根据组织314-1的初始组织类型指示(例如,敏感组织)在医学扫描中初始被分类的组织314-1而将关于医疗器械28邻近组织314-1的警告312输出到显示屏56(方框412)。
在一些实施方案中,控制器38被配置成向显示屏56呈现组织314-1的初始组织类型指示的文本指示(例如,“软组织”或“骨”等)(方框414)。除了方框412的步骤之外或代替该方框的步骤,可执行方框414的步骤。
在一些实施方案中,操作控件51(图1)被配置成接收用户输入以更新医学扫描,从而从组织314-1的初始组织类型修改与组织314-1相关联的组织类型指示(方框416)。可使用下拉列表318来便于用户输入,由此医师54从下拉列表318中选择新的组织类型。另选地,医师54可输入(或选择)组织314-1的新灰度值或Hounsfield单位值。本文仅以举例的方式使用Hounsfield单位,并且可使用任何合适的放射密度单位。
在一些实施方案中,包括在图像310中的组织与包括在医学扫描中的组织314-1的组织类型指示(例如,灰度值)的比较可以自动或半自动方式进行。控制器38可被配置成将包括在图像310中的组织与组织图像库中的其他组织图像进行比较,以识别图像310中的组织的组织类型。除此之外或另选地,控制器38还可使用机器学习技术来识别包括在图像310中的组织的组织类型。然后可将所识别的组织类型与医学扫描中所包括的组织314-1的初始组织类型指示进行比较。如果所识别的组织类型不同于初始组织类型指示,则控制器38可将初始组织类型指示自动更新到所识别的组织类型,或者控制器38可向显示屏56输出消息,以通知医师54在图像310中观察到的组织的组织类型与医学疗扫描中所包括的组织314-1的初始组织类型指示不同。然后,医师54可选择批准或拒绝将初始组织类型指示更新为所识别的组织类型。
响应于身体部分的部分的图像310中的组织的形貌与组织314-1的初始组织类型指示之间的比较(手动、自动或半自动),控制器38被配置成更新(方框418)医学扫描以修改与组织314-1相关联的组织类型指示(至由医师54或控制器38选择或由医师54批准的组织类型指示)。
在一些实施方案中,控制器38被配置成更新医学扫描以将医学扫描中最初用组织314-1的初始组织类型指示分类的身体部分中的所有组织314重新分类为组织314-1的修改的组织类型指示。以举例的方式,如果组织314-1的Hounsfield单位值最初为300并且现在被修改为600,则现在将具有初始Hounsfield单位值300的医学扫描中的所有组织314的Hounsfield单位值修改为600。
在一些实施方案中,控制器38被配置成响应于组织314-1的初始组织类型指示的放射密度水平与组织314-1的经修改的组织类型指示的放射密度水平之间的比例变化而成比例地更新医学扫描中的所有放射密度水平。以举例的方式,如果组织314-1的Hounsfield单位值最初为300并且现在被修改为600(即,其加倍),则医学扫描中的组织314的所有Hounsfield单位值加倍。在其他实施方案中,控制器38被配置成响应于由来自多个初始组织类型指示中的不同初始组织类型指示的至少两个组织类型指示更新所确认的比例变化而更新医学扫描中的所有放射密度水平。例如,如果组织314-1的Hounsfield单位值最初为300并且现在被修改为600(即,其加倍)并且另一个组织314的Hounsfield单位值最初为400并且现在被修改为800(即,其加倍),则医学扫描中的组织314的所有Hounsfield单位将基于对第一更新的比例(例如,倍增)的确认而加倍。
为清晰起见,在独立实施方案的上下文中描述的本发明的各种特征部,也可在单个实施方案中组合提供。相反地,为简明起见,本发明的各种特征部在单个实施方案的上下文中进行描述,也可单独地或以任何合适的子组合形式提供。
上述实施方案以举例的方式被引用,并且本发明不受上文具体示出和描述的内容的限制。相反,本发明的范围包括上述各种特征部的组合和子组合以及它们的变型和修改,本领域的技术人员在阅读上述说明时应当想到该变型和修改,并且该变型和修改并未在现有技术中公开。

Claims (23)

1.一种医学扫描校正系统,包括:
医疗器械,所述医疗器械具有远端和设置在所述远端处的图像传感器,并且被配置成插入活体受检者的身体部分中;
方位传感器,所述方位传感器被配置成跟踪所述医疗器械在所述身体部分中的器械方位;
显示器;和
控制器,所述控制器被配置成:
将所述身体部分的医学扫描与所述医疗器械的坐标系配准,所述医学扫描包括所述身体部分的多个初始组织类型指示;
向所述显示器呈现第一图像,所述第一图像包括:基于所述医学扫描的所述多个初始组织类型指示和所述身体部分的表示;以及设置在所述身体部分中的所跟踪的所述器械方位处的所述医疗器械的表示;
向所述显示器呈现由所述图像传感器在所跟踪的所述器械方位处捕获的所述身体部分的一部分的第二图像;以及
响应于所述身体部分的所述部分的所述第二图像中的组织的形貌与所述组织的初始组织类型指示之间的比较,更新所述医学扫描以修改与所述组织相关联的所述组织类型指示。
2.根据权利要求1所述的系统,还包括操作控件,所述操作控件被配置成接收用户输入以更新所述医学扫描,从而从所述组织的所述初始组织类型指示修改与所述组织相关联的所述组织类型指示。
3.根据权利要求1所述的系统,其中所述控制器被配置成响应于所跟踪的所述器械方位而在所述医学扫描中找到所述组织。
4.根据权利要求1所述的系统,其中所述控制器被配置成向所述显示器呈现所述组织的所述初始组织类型指示的文本指示。
5.根据权利要求1所述的系统,其中所述控制器被配置成强调所述第一图像中的所述组织。
6.根据权利要求1所述的系统,其中所述多个初始组织类型指示为所述医学扫描中的放射密度水平。
7.根据权利要求1所述的系统,其中所述控制器被配置成更新所述医学扫描以将所述医学扫描中最初用所述组织的所述初始组织类型指示分类的所述身体部分的所有组织重新分类为所述组织的经修改的组织类型指示。
8.根据权利要求7所述的系统,其中所述多个初始组织类型指示为所述医学扫描中的放射密度水平。
9.根据权利要求8所述的系统,其中所述控制器被配置成响应于所述组织的所述初始组织类型指示的所述放射密度水平与所述组织的所述经修改的组织类型指示的所述放射密度水平之间的比例变化而成比例地更新所述医学扫描中的所有所述放射密度水平。
10.根据权利要求8所述的系统,其中所述控制器被配置成响应于由来自所述多个初始组织类型指示中的不同初始组织类型指示的至少两个组织类型指示更新所确认的比例变化而更新所述医学扫描中的所有所述放射密度水平。
11.根据权利要求1所述的系统,其中所述控制器被配置成响应于所跟踪的所述器械方位和根据所述组织的所述初始组织类型指示在所述医学扫描中初始分类的所述组织而输出关于所述医疗器械接近所述组织的警告。
12.一种医学扫描校正方法,包括:
跟踪医疗器械在活体受检者的身体部分中的器械方位,所述医疗器械具有远端和设置在所述远端处的图像传感器;
将所述身体部分的医学扫描与所述医疗器械的坐标系配准,所述医学扫描包括所述身体部分的多个初始组织类型指示;
向显示器呈现第一图像,所述第一图像包括:基于所述医学扫描的所述多个初始组织类型指示和所述身体部分的表示;以及设置在所述身体部分中的所跟踪的所述器械方位处的所述医疗器械的表示;
向所述显示器呈现由所述图像传感器在所跟踪的所述器械方位处捕获的所述身体部分的一部分的第二图像;以及
响应于所述身体部分的所述部分的所述第二图像中的组织的形貌与所述组织的初始组织类型指示之间的比较,更新所述医学扫描以修改与所述组织相关联的所述组织类型指示。
13.根据权利要求12所述的方法,还包括接收用户输入以更新所述医学扫描,从而从所述组织的所述初始组织类型指示修改与所述组织相关联的所述组织类型指示。
14.根据权利要求12所述的方法,还包括响应于所跟踪的所述器械方位而在所述医学扫描中找到所述组织。
15.根据权利要求12所述的方法,还包括向所述显示器呈现所述组织的所述初始组织类型指示的文本指示。
16.根据权利要求12所述的方法,还包括强调所述第一图像中的所述组织。
17.根据权利要求12所述的方法,其中所述多个初始组织类型指示为所述医学扫描中的放射密度水平。
18.根据权利要求12所述的方法,还包括更新所述医学扫描以将所述医学扫描中最初用所述组织的所述初始组织类型指示分类的所述身体部分的所有组织重新分类为所述组织的经修改的组织类型指示。
19.根据权利要求18所述的方法,其中所述多个初始组织类型指示为所述医学扫描中的放射密度水平。
20.根据权利要求19所述的方法,还包括响应于所述组织的所述初始组织类型指示的所述放射密度水平与所述组织的所述经修改的组织类型指示的所述放射密度水平之间的比例变化而成比例地更新所述医学扫描中的所有所述放射密度水平。
21.根据权利要求19所述的方法,还包括响应于由来自所述多个初始组织类型指示中的不同初始组织类型指示的至少两个组织类型指示更新所确认的比例变化而更新所述医学扫描中的所有所述放射密度水平。
22.根据权利要求12所述的方法,还包括响应于所跟踪的所述器械方位和根据所述组织的所述初始组织类型指示在所述医学扫描中初始分类的所述组织而输出关于所述医疗器械接近所述组织的警告。
23.一种其中存储有程序指令的非暂态计算机可读介质,所述指令在由中央处理单元(CPU)读取时,致使所述CPU:
将活体受检者的身体部分的医学扫描与医疗器械的坐标系配准,所述医疗器械被配置成插入所述身体部分中,所述医学扫描包括所述身体部分的多个初始组织类型指示;
向显示器呈现第一图像,所述第一图像包括:基于所述医学扫描的所述多个初始组织类型指示和所述身体部分的表示;以及设置在所述医疗器械在所述身体部分中的所跟踪的器械方位处的所述医疗器械的表示;
向所述显示器呈现由所述医疗器械的图像传感器在所跟踪的所述器械方位处捕获的所述身体部分的一部分的第二图像;以及
响应于所述身体部分的所述部分的所述第二图像中的组织的形貌与所述组织的初始组织类型指示之间的比较,更新所述医学扫描以修改与所述组织相关联的所述组织类型指示。
CN201911381276.8A 2018-12-28 2019-12-27 用于校正医学扫描的系统和方法 Active CN111374688B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862785941P 2018-12-28 2018-12-28
US62/785941 2018-12-28
US16/536,693 US11107213B2 (en) 2018-12-28 2019-08-09 Correcting medical scans
US16/536693 2019-08-09

Publications (2)

Publication Number Publication Date
CN111374688A CN111374688A (zh) 2020-07-07
CN111374688B true CN111374688B (zh) 2023-11-28

Family

ID=68965842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911381276.8A Active CN111374688B (zh) 2018-12-28 2019-12-27 用于校正医学扫描的系统和方法

Country Status (5)

Country Link
US (1) US11107213B2 (zh)
EP (1) EP3673854B1 (zh)
JP (1) JP7408377B2 (zh)
CN (1) CN111374688B (zh)
IL (1) IL270532B2 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3618005A1 (en) * 2018-08-30 2020-03-04 Koninklijke Philips N.V. Image processing system and method
US20220039806A1 (en) * 2020-08-10 2022-02-10 Kunnskap Medical, LLC Endoscopic system with component control
EP4301264A2 (en) * 2021-03-02 2024-01-10 Gyrus ACMI, Inc. d/b/a Olympus Surgical Technologies America Tissue therapy energy delivery using optical imaging
US20230100698A1 (en) * 2021-09-29 2023-03-30 Cilag Gmbh International Methods for Controlling Cooperative Surgical Instruments

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140992A (ja) * 1994-11-22 1996-06-04 Toru Hayakawa 手術器具の位置表示装置
US6135946A (en) * 1997-06-23 2000-10-24 U.S. Philips Corporation Method and system for image-guided interventional endoscopic procedures
CN102481115A (zh) * 2009-06-05 2012-05-30 皇家飞利浦电子股份有限公司 用于集成式活检和治疗的系统和方法
JP2013223792A (ja) * 2013-07-05 2013-10-31 Canon Inc 画像処理装置、画像処理方法
WO2013175472A2 (en) * 2012-05-21 2013-11-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN108113693A (zh) * 2016-11-28 2018-06-05 韦伯斯特生物官能(以色列)有限公司 计算机断层摄影图像校正

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6109270A (en) * 1997-02-04 2000-08-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Multimodality instrument for tissue characterization
US6016333A (en) 1998-05-15 2000-01-18 International Business Machines Corporation System and method for improving the quality of images produced by CT scanners operating on low power
US7158692B2 (en) * 2001-10-15 2007-01-02 Insightful Corporation System and method for mining quantitive information from medical images
US7904145B2 (en) * 2004-03-23 2011-03-08 Dune Medical Devices Ltd. Clean margin assessment tool
JP2006320427A (ja) * 2005-05-17 2006-11-30 Hitachi Medical Corp 内視鏡手術支援システム
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US8162935B2 (en) 2005-10-27 2012-04-24 St. Jude Medical, Atrial Fibrillation Division, Inc. Systems and methods for electrode contact assessment
US8357152B2 (en) 2007-10-08 2013-01-22 Biosense Webster (Israel), Ltd. Catheter with pressure sensing
US8195271B2 (en) 2007-11-06 2012-06-05 Siemens Aktiengesellschaft Method and system for performing ablation to treat ventricular tachycardia
JP5457764B2 (ja) * 2009-09-02 2014-04-02 株式会社東芝 医用画像処理装置
US8891848B2 (en) 2011-06-14 2014-11-18 Radnostics, LLC Automated vertebral body image segmentation for medical screening
US9135695B2 (en) 2012-04-04 2015-09-15 Siemens Aktiengesellschaft Method for creating attenuation correction maps for PET image reconstruction
AU2014231343B2 (en) 2013-03-15 2019-01-24 Synaptive Medical Inc. Intramodal synchronization of surgical data
AU2014231342B2 (en) * 2013-03-15 2018-03-29 Synaptive Medical Inc. Surgical imaging systems
JP6514213B2 (ja) * 2014-01-02 2019-05-15 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 超音波ナビゲーション/組織特徴づけの組み合わせ
CN105992996B (zh) * 2014-04-04 2019-11-26 外科手术室公司 外科手术环境中的动态和交互式导航
US10772489B2 (en) 2014-07-09 2020-09-15 Acclarent, Inc. Guidewire navigation for sinuplasty
US10188465B2 (en) 2015-08-26 2019-01-29 Biosense Webster (Israel) Ltd. Automatic ENT surgery preplanning using a backtracking maze problem solution
US20170079553A1 (en) * 2015-09-21 2017-03-23 Biosense Webster (Israel) Ltd. Adding a Tracking Sensor to a Rigid Tool
WO2017060755A1 (en) * 2015-10-07 2017-04-13 Synaptive Medical (Barbados) Inc. Improved methods and apparatus for cortical stimulation mapping during surgical procedures
US20170312032A1 (en) * 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
US11026747B2 (en) * 2017-04-25 2021-06-08 Biosense Webster (Israel) Ltd. Endoscopic view of invasive procedures in narrow passages

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140992A (ja) * 1994-11-22 1996-06-04 Toru Hayakawa 手術器具の位置表示装置
US6135946A (en) * 1997-06-23 2000-10-24 U.S. Philips Corporation Method and system for image-guided interventional endoscopic procedures
CN102481115A (zh) * 2009-06-05 2012-05-30 皇家飞利浦电子股份有限公司 用于集成式活检和治疗的系统和方法
CN103648361A (zh) * 2011-05-13 2014-03-19 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
WO2013175472A2 (en) * 2012-05-21 2013-11-28 Sync-Rx, Ltd. Co-use of endoluminal data and extraluminal imaging
JP2013223792A (ja) * 2013-07-05 2013-10-31 Canon Inc 画像処理装置、画像処理方法
CN108113693A (zh) * 2016-11-28 2018-06-05 韦伯斯特生物官能(以色列)有限公司 计算机断层摄影图像校正

Also Published As

Publication number Publication date
EP3673854A1 (en) 2020-07-01
EP3673854B1 (en) 2021-06-30
CN111374688A (zh) 2020-07-07
JP2020108756A (ja) 2020-07-16
IL270532B2 (en) 2023-03-01
US20200211181A1 (en) 2020-07-02
JP7408377B2 (ja) 2024-01-05
IL270532A (en) 2020-06-30
IL270532B (en) 2022-11-01
US11107213B2 (en) 2021-08-31

Similar Documents

Publication Publication Date Title
CN111374688B (zh) 用于校正医学扫描的系统和方法
JP6671432B2 (ja) 患者装着式の針ガイドの位置合わせおよび動き補償
US8725235B2 (en) Method for planning a surgical procedure
US9002076B2 (en) Method and apparatus for optimal trajectory planning
US8150497B2 (en) System for navigating a planned procedure within a body
US8150498B2 (en) System for identification of anatomical landmarks
EP3298968B1 (en) Method for identification of anatomical landmarks
US20050027193A1 (en) Method for automatically merging a 2D fluoroscopic C-arm image with a preoperative 3D image with one-time use of navigation markers
CN107809955B (zh) 经由感兴趣界标的自动检测在x射线成像中进行实时准直和roi过滤器定位
US20230329521A1 (en) Automatic probe reinsertion
US11497566B2 (en) Loose mode for robot
JP7366127B2 (ja) 植え込みリード抜去のための画像ガイダンス
KR20170057141A (ko) Ct 이미지를 위한 국소 적용 투명성
AU2017258923A1 (en) Computerized tomography image correction
WO2021130572A1 (en) 3d pathfinder visualization
CN116847799A (zh) 用于导航脊柱手术的增强现实脊柱棒规划和弯曲的计算机实现方法
WO2011083412A1 (en) Biopsy planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant