CN114007538A - 基于深度学习的规划组织消融的方法 - Google Patents
基于深度学习的规划组织消融的方法 Download PDFInfo
- Publication number
- CN114007538A CN114007538A CN202080043589.7A CN202080043589A CN114007538A CN 114007538 A CN114007538 A CN 114007538A CN 202080043589 A CN202080043589 A CN 202080043589A CN 114007538 A CN114007538 A CN 114007538A
- Authority
- CN
- China
- Prior art keywords
- region
- image
- patient
- estimated
- ablation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002679 ablation Methods 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000013135 deep learning Methods 0.000 title description 2
- 238000001356 surgical procedure Methods 0.000 claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 51
- 210000003484 anatomy Anatomy 0.000 claims abstract description 21
- 230000002980 postoperative effect Effects 0.000 claims abstract description 21
- 238000011282 treatment Methods 0.000 claims description 46
- 206010028980 Neoplasm Diseases 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 12
- 230000007170 pathology Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 210000004185 liver Anatomy 0.000 claims description 4
- 210000001519 tissue Anatomy 0.000 description 71
- 238000002059 diagnostic imaging Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 3
- 238000000315 cryotherapy Methods 0.000 description 3
- 238000004520 electroporation Methods 0.000 description 3
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 3
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000002600 positron emission tomography Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000002583 angiography Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012623 in vivo measurement Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 230000009401 metastasis Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 206010020843 Hyperthermia Diseases 0.000 description 1
- 206010046798 Uterine leiomyoma Diseases 0.000 description 1
- 238000010317 ablation therapy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 210000005003 heart tissue Anatomy 0.000 description 1
- 230000036031 hyperthermia Effects 0.000 description 1
- 230000002631 hypothermal effect Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 201000010260 leiomyoma Diseases 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/02—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/1815—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using microwaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
- A61B2018/00577—Ablation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Otolaryngology (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Robotics (AREA)
- Electromagnetism (AREA)
- Urology & Nephrology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Plasma & Fusion (AREA)
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及一种用于规划旨在消融患者(30)目标解剖部位(31)的组织(32)的外科手术的方法(100)和设备。基于目标解剖部位的术前图像(50)和规划参数(P)组,通过神经网络生成模拟图像(51),该神经网络预先已用学习元素训练,这些学习元素分别对应于用于消融另一患者目标解剖部位的组织的类似外科手术。每个学习元素包括患者目标解剖部位的术前图像(50)、用于该患者的外科手术的规划参数(P),以及外科手术后该患者目标解剖部位的术后图像(52)。可以在模拟图像(51)中对估计的消融区域(34)进行分割,以便与术前图像(50)中待治疗的分割区域(33)进行比较。
Description
发明领域
本发明属于微创组织消融医疗手术领域。具体地,本发明涉及一种用于规划旨在消融患者目标解剖部位的组织的外科手术的方法和设备。
现有技术
为了准备旨在消融患者目标解剖部位(例如肺部、肾脏或肝脏)的组织(例如肿瘤)的外科手术,执业医生通常基于术前图像来规划手术。术前图像例如通过计算机断层扫描(或CT扫描)、磁共振成像(MRI)、超声、正电子发射断层扫描(PET或PET扫描)等获得。
组织的消融可通过各种方法进行:通过高温或低温(射频、微波、冷冻疗法)、激光、电穿孔、聚焦超声等。此外,各种类型的医疗器械可用于消融治疗(针、探针、电极等)。
通常,旨在用特定的医疗器械消融患者目标解剖部位的组织的外科手术的规划是基于所述器械的制造商提供的医疗器械数据,该患者例如可能患有肝细胞癌或转移瘤。例如,对于适合于用针中循环的电流破坏组织细胞的特定消融针,所述针的制造商指示对于不同的治疗参数(如施加的电功率、治疗持续时间等)可能获得的消融区的尺寸、形式和相对于针末端的位置。
然而,对于特定的治疗参数组,制造商指示的消融区是根据体外测量确定的,它并不总是对应于使用相同治疗参数的患者体内实际获得的消融区。
某些组织消融规划方法也基于建模来模拟外科手术的结果。例如,基于待消融组织的性质(例如基于肿瘤的表型),可估计组织内的热扩散或电导率等特性以模拟消融的结果。根据另一个实例,消融的结果是通过考虑位于待消融组织内或附近的血管的冷却效应来估计的。然后可基于所设想的模型对医疗器械制造商的数据进行校正。
然而,这样的方法仍然常常是不精确的,因为这些建模受到本领域技术人员认为重要的某些因素的选择的限制。此外,这些方法有时需要将医疗工具插入患者目标解剖部位以测量组织的某些特性(例如插入电极以测量组织的电阻抗)。
另外,在外科手术需要同时或连续进行几次治疗,并可能使用几个不同的针的情况下,常规的规划方法认为获得的消融区域对应于针对每个针和每次治疗分别估计的消融区的结合。现在,情况并非总是如此。事实上,实施几次治疗的事实会对每次治疗获得的消融区产生影响。另外,这些常规的方法通常认为针对具有特定治疗参数组的特定针所获得的消融区总是完全相同的。同样,那只是一种不完美的估计。事实上,所获得的消融区不仅取决于针和所使用的治疗参数,还取决于患者解剖结构的具体特性。
专利申请US2018/0028261A1公开了一种用于协助执业医生确定肿瘤消融区域的方法。该方法包括获取患者解剖结构的术前医疗图像的步骤,其中肿瘤必须被消融。在术前图像上对肿瘤进行分割,并通过机器学习算法对图像进行分析,以确定术前医疗图像上的消融区域。
该文件认为对全部肿瘤进行消融通常是不合乎事实的,因此最好是适当地选择待消融的肿瘤部分。肿瘤中血管最丰富的部分是风险最大的部分,应该优先消融。专利申请US2018/0028261A1中公开的方法提出绘制肿瘤中存在的血管图,以识别肿瘤中应优先消融的部分。该文件中描述的方法的目的是优化几个相同消融区的定位,以部分但最佳地“覆盖”肿瘤。
然而,该文件并没有解决这样一个问题,即由于患者固有的某些参数,针对特定治疗参数组的估计的消融区可能与实际获得的消融区不同。相反,在该文件公开的方法中,针对给定的治疗参数组和给定的消融器械,估计的消融区总是相同的。在该文件公开的方法中,使用了几个完全相同的消融器械,估计的消融区域对应于针对每个器械分别估计的消融区域的结合。
因此,仍然需要一种规划消融患者目标解剖部位的组织的方法,该方法可以简单和准确地估计在特定的治疗参数下将实际获得的消融区域。
发明概述
本发明的目的是通过提出一种解决方案来弥补现有技术的全部或部分缺点,特别是上述那些缺点,该解决方案使得可以准确地估计在特定患者的特定手术期间将获得的消融区域。
为此,根据第一方面,本发明提出了一种规划旨在消融患者目标解剖部位的组织的外科手术的方法,。该方法包括以下步骤:
获取目标解剖部位的术前图像,
确定规划参数组,
生成模拟图像,其中表示估计的消融区域,所述模拟图像是基于术前图像、规划参数和神经网络生成的,所述神经网络预先已用多个学习元素进行过训练,每个学习元素分别对应于另一患者目标解剖部位的类似组织消融外科手术,每个学习元素包括所述另一患者目标解剖部位的术前图像、用于该另一患者的所述外科手术的规划参数,以及外科手术后该另一患者目标解剖部位的术后图像,所述模拟图像使得可以观察外科手术后可能获得的结果。
因此,神经网络的学习元素对应于由术前图像、规划参数组和术后图像形成的数据三元组。
术前和术后图像例如通过医疗成像设备获得,例如通过计算机断层扫描、磁共振、超声、三维旋转血管造影、正电子发射断层扫描等。术前图像是在进行消融外科手术前获得的。术后图像是在进行消融外科手术后获得的。
在神经网络的学习阶段,对于每个学习元素,神经网络学习特定术前图像并具有特定规划参数的术后图像上实际获得的消融区域是什么。因此,对神经网络进行训练以从特定的术前图像和特定的规划参数组中准确估计实际获得的消融区域。由此估计的消融区域在计算机生成的图像上表示。
这些规定使得可以考虑患者目标解剖部位的医疗图像中所包含的所有信息,以进行消融区域的预测。因此,在根据本发明的方法中,与现有技术的常规方法相反,消融区域的预测是特定于给定患者的。
与神经网络的某些学习元素相关联的一些外科手术可能需要使用几种医疗器械。因此,该神经网络能够通过分析相关联的术后图像,来学习手术期间使用几种医疗器械的事实对所获得结果的影响。
在根据本发明的方法中,没有必要对患者进行体内测量。因此,可以在外科手术的上游进行规划。这使得可以为执业医生提供更多的时间来准备手术。
在特定的实施方案中,本发明还可包括以下一个或多个特征,其单独采用或根据所有技术上可能的组合采用。
在特定的实施方案中,该方法包括对模拟图像上估计的消融区域进行分割。对估计的消融区域进行分割,使得可以明确所述消融区域的尺寸,例如,将其与术前图像上识别的待治疗区域进行比较。
在特定的实施方案中,该方法还包括通过将称为“X射线密度值”的值与模拟图像上表示的估计的消融区域的每个体素相关联来确定消融手术的组织反应,该值表示对应于所述体素的组织的X射线密度。在确定组织反应的优选实施方案中,术前图像是通过计算机断层扫描(或CT扫描)获得的。
“体素”一词是由“体积”和“元素”两个词的合并和缩约而形成的。体素相当于三维数字图像上的像素。在所使用的图像是二维的情况下,术语体素可用术语像素代替。体素使得可以存储色度信息,并且如果有必要,还可存储数字图像的基本部分的其它信息。
“X射线密度”理解为意指电磁辐射,特别是X射线,相对无法通过特定材料。消融区域的体素与低X射线密度值越相关联,对应于所述体素的消融区域的部分破坏的越多。因此,“消融手术的组织反应”理解为表示待治疗组织每个部分已消融的比例。例如,X射线密度值高于预定第一阈值的消融区域的体素对应于已破坏至少50%的待治疗组织部分(对应于相对低的治疗的组织反应)。根据另一个实例,X射线密度值低于预定第二阈值的消融区域的体素对应于已破坏超过90%的待治疗组织部分(对应于相对强的治疗的组织反应)。因此可以基于模拟图像映射组织对治疗的估计反应。
在特定的实施方案中,对估计的消融区域进行分割,使得所述消融区域的每个体素与高于预定阈值的X射线密度值相关联。
在特定的实施方案中,该方法还包括检查对于估计的消融区域的轮廓的每个点,该点处的X射线密度值在垂直于所述轮廓方向上的梯度高于预定阈值。
这样的规定尤其可以检查消融区域的轮廓是否清晰。消融区域的轮廓标志着治疗区域和未治疗组织之间的界限。这个轮廓的清晰度表示消融的质量。
在特定的实施方案中,该方法还包括将对应于外科手术旨在消融的组织的待治疗区域的术前图像进行分割,以及将模拟图像上估计的消融区域与术前图像上的待治疗区域进行比较。
这些规定尤其可以检查估计的消融区域是否以足够的余量覆盖了待治疗区域而余量不会太大。这尤其可以检查所设想的规划参数是否有效。
在特定的实施方案中,该方法还包括对有效性条件的检查,如果估计的消融区域的轮廓完全包围待治疗区域的轮廓,并且如果对于估计的消融区域的轮廓的每个点,该点与待治疗区域的轮廓之间的最小距离位于预定值范围内,则满足该有效性条件。
在特定的实施方案中,当对有效性条件的检查是是否定的时(也就是说,如果不满足有效性条件),该方法包括确定估计的消融区域满足有效性条件的新的规划参数组。
在特定的实施方案中,该方法还包括确定满足有效性条件的几个新的规划参数组的步骤,以及从新的规划参数组中识别最佳规划参数组,对于该最佳规划参数组,估计的消融区域呈现最小尺寸。
在特定的实施方案中,目标解剖部位是肝脏。
在特定的实施方案中,待消融组织是肿瘤。
在特定的实施方案中,规划参数包括来自以下元素中的一个或多个元素:
病理类型,
治疗类型,
用于治疗的医疗器械类型,
用于治疗的医疗器械位置和/或取向,
医疗器械特有的治疗参数,
在外科手术中要进行的一些治疗。
根据第二方面,本发明涉及一种计算机程序产品,其包括程序代码指令组,当它们由一个或多个处理器执行时,配置所述一个或多个处理器以使用神经网络生成模拟图像,在该模拟图像上有表示估计的消融区域,该估计的消融区域一方面来自包括待消融组织的患者目标解剖部位的术前图像,另一方面来自规划参数。该神经网络适于预先用多个学习元素进行训练,每个学习元素分别对应于另一患者目标解剖部位的类似组织消融外科手术,每个学习元素包括所述另一患者目标解剖部位的术前图像、用于该另一患者的所述外科手术的规划参数,以及外科手术后该另一患者目标解剖部位的术后图像。
根据第三方面,本发明涉及一种用于规划旨在消融患者目标解剖部位的组织的外科手术的设备。该设备包括控制单元,该控制单元配置为基于所述目标解剖部位的术前图像、规划参数组和神经网络生成模拟图像。该神经网络适于预先用多个学习元素进行训练,每个学习元素分别与另一患者目标解剖部位的类似组织消融外科手术相关联。每个学习元素包括所述另一患者目标解剖部位的术前图像、用于该另一患者的所述外科手术的规划参数,以及外科手术后该另一患者目标解剖部位的术后图像。
在特定的实施方案中,本发明还可包括以下一个或多个特征,其单独采用或根据所有技术上可能的组合采用。
在特定的实施方案中,规划设备的控制单元进一步配置为对模拟图像上表示的估计的消融区域进行分割。
在特定的实施方案中,规划设备的控制单元进一步配置为将称为“X射线密度值”的值与模拟图像上表示的估计的消融区域的每个体素相关联,该值表示对应于所述体素的组织的X射线密度。
在特定的实施方案中,控制单元配置为对估计的消融区域进行分割,使得所述估计的消融区域的每个体素与高于预定阈值的X射线密度值相关联。
在特定的实施方案中,控制单元配置为检查对于估计的消融区域的轮廓的每个点,该点处的X射线密度值在垂直于所述轮廓方向上的梯度高于预定阈值。
在特定的实施方案中,控制单元进一步配置为在术前图像上将对应于外科手术旨在消融的组织的待治疗区域进行分割,并将模拟图像上表示的估计的消融区域与待治疗区域进行比较。
在特定的实施方案中,控制单元进一步配置为检查有效性条件,如果估计的消融区域的轮廓完全包围待治疗区域的轮廓,并且如果对于估计的消融区域的轮廓的每个点,该点与待治疗区域的轮廓之间的最小距离位于预定值范围内,则满足该有效性条件。
在特定的实施方案中,控制单元进一步配置为确定满足有效性条件的一个或多个新的规划参数组,并从这些新的规划参数组中识别最佳规划参数组,对于该最佳规划参数组,估计的消融区域呈现最小尺寸。
附图说明
通过阅读以下作为非限制性实例给出的描述并参考图1至10将更好地理解本发明,图1至图10表示:
[图1]根据本发明的用于规划外科手术的设备的示意图。
[图2]包含待消融组织的患者目标解剖部位的术前图像的示意图。
[图3]由规划设备生成的模拟图像的示意图,在该图像上已对估计的消融区域进行分割。
[图4]患者目标解剖部位的术后图像的示意图,在消融所述目标解剖部位的组织的外科手术后,在术后图像上已对消融区域进行分割。
[图5]一种用于规划手术的方法的主要步骤的示意图,该手术旨在消融患者目标解剖部位的组织。
[图6]患者目标解剖部位的术前图像的示意图,在该图像上已对待治疗的区域进行分割。
[图7]根据本发明的规划方法的一个特定实施方案的示意图。
[图8]根据本发明的规划方法的另一个特定实施方案的示意图。
[图9]训练神经网络以实施根据本发明的规划方法的图示。
[图10]由神经网络生成模拟图像以实施根据本发明的规划方法的图示。
在这些图中,各图中完全相同的附图标记表示相同或相似的元素。为了清楚起见,除非另有规定,所表示的元素不一定按相同的比例。
本发明实施方案的详细描述
图1示意性地表示了用于规划旨在消融患者目标解剖部位的组织的外科手术的设备10。
在下文的描述中,通过非限制性实例描述的情况是目标解剖部位是肝脏,以及待消融组织是肿瘤。然而,应该注意的是,本发明还适用于必须消融的其它类型的组织,如皮肤病变、静脉、神经、心脏组织、食道组织或甚至子宫纤维瘤。此外,本发明还适用于其它目标解剖部位,例如,肾脏、肺部等。
规划设备10包括控制单元11,该控制单元包括一个或多个处理器和存储工具12(磁性硬盘、电子存储器、光盘等),在该储工具中以一组程序代码指令的形式存储计算机程序产品,执行该组程序代码指令以实现外科手术规划方法的至少一部分步骤。可选地或此外,控制单元包括一个或多个可编程逻辑电路(FGPA、PLD等),和/或一个或多个定制集成电路(ASIC),和/或分立电子元器件组等,适合于实施所述规划方法的步骤。
换句话说,控制单元11对应于规划设备20的工具,这些工具通过软件(特定的计算机程序产品)和/或硬件(FPGA、PLD、ASIC、分立电子元器件等)配置来实施规划方法的步骤。
规划设备10还可包括图形界面13,允许用户向设备10提供规划参数和/或显示由设备10产生的图像或数据。在图1中考虑和说明的实例中,图形界面13对应于触摸屏。然而,该图形界面还可以使用其它设备产生,如键盘、鼠标、屏幕等。
规划设备10使用规划参数组和患者30的目标解剖部位的术前图像作为输入数据。规划设备10实施机器学习算法以从这些输入数据生成模拟图像,在该模拟图像上表示估计的消融区域。在下文的描述中,通过实例和非限制性的方式认为所用的机器学习算法是神经网络。
规划参数表明例如待治疗的病理类型(例如肝细胞癌或转移瘤)、用于消融的治疗类型(射频、微波、激光、电穿孔、冷冻疗法等)、进行治疗的医疗器械类型、治疗时医疗器械的位置和取向、治疗参数(持续时间、功率等)。规划参数由准备外科手术的执业医生在图形界面13上指示。
术前图像由医疗成像设备20获得,例如通过计算机断层扫描、磁共振、超声、三维旋转血管造影、正电子发射断层扫描等。待消融组织和目标解剖部位在术前图像上是可见的。医疗成像设备20可为与规划设备10不同的设备。然而,没有什么可以阻止规划设备20和医疗成像设备20一起形成同一个物理实体。在规划设备20和医疗成像设备20不同的情况下,术前图像可传输至规划设备10。例如,将术前图像数字化,然后通过无线通信工具传输至规划设备10。根据另一个实例,数字化术前图像可通过USB(通用串行总线)类型的外围设备提供给规划设备10。
神经网络预先用学习元素进行训练,每个学习元素分别对应于先前为另一患者进行的目标解剖部位的类似组织消融外科手术。每个学习元素包括所述另一患者目标解剖部位的术前图像、用于该另一患者的外科手术的规划参数,以及外科手术后该另一患者目标解剖部位的术后图像。换句话说,神经网络是通过“学习”特定术前图像并具有特定规划参数的术后图像上实际获得的消融区域是什么来训练的。
应该注意的是,没有什么可以阻止神经网络的学习元素对应于对与已计划外科手术的患者相同的患者进行的过去的外科手术(因此不应从严格意义上理解术语“另一患者”)。
优选地,神经网络的学习元素的术前医疗图像与用作输入数据以规划外科手术的术前医疗图像是相同类型的。
用于形成学习元素或用作规划方法的输入的医疗图像可对应于由医疗成像设备20直接获得的图像。然而,没有什么可以阻止这种医疗图像只对应于由医疗成像设备20获得的图像的一部分。换句话说,例如可以设想重构医疗成像设备20获得的图像以向神经网络提供主要表示患者目标解剖部位或表示待治疗组织所在的所述目标解剖部位的一部分的医疗图像。
图2示意性地表示了包括待消融组织32的目标解剖部位31的术前图像50。这样的术前图像50对应于例如用作输入数据以规划外科手术的术前图像。根据另一个实例,这样的术前图像50可属于用于训练神经网络的学习元素。
图3示意性地表示由规划设备10生成的模拟图像51,在该模拟图像上已经对估计的消融区域34进行了分割。在图3中考虑和说明的实例中,模拟图像51是通过规划设备10将图2中表示的术前图像50作为输入数据生成的。
图4示意性地表示在消融了组织32的外科手术后的目标解剖部位31的术后图像52。这样的术后图像52可与图1的术前图像50结合使用,以形成用于训练神经网络的学习元素。在图4中表示的术后图像52上,在外科手术后实际获得的消融区域35已经分割。然而,对外科手术后实际获得的消融区域35进行这种分割对于能够用于形成神经网络的学习元素的术后图像52来说并不是必需的。此外,优选不要对用于形成神经网络的学习元素的图像进行分割。
对图像进行分割有不同的方法。“分割”理解为意指图像处理操作,其目的是根据预定标准定义图像上的区域或轮廓。这些方法认为是本领域技术人员已知的。通过对估计或实际获得的消融区域进行分割,可以确定所述消融区域的尺寸。
图5示意性地表示用于规划旨在消融患者30的目标解剖部位31的组织32的外科手术的方法100的主要步骤。
规划方法100包括以下步骤:
获取101目标解剖部位31的术前图像50,
确定102规划参数组,
通过将术前图像50和规划参数作为输入并通过使用预先训练的神经网络生成103模拟图像51,
对由神经网络生成的模拟图像51上表示的估计的消融区域34进行分割104。
术前图像的获取步骤101例如由执业医生使用参照图1描述的成像设备20来实施。
规划参数组的确定步骤102例如由执业医生通过参照图1描述的规划设备10的图形界面13,输入与要进行的外科手术有关的参数(病理类型、治疗类型、使用的医疗器械类型、医疗器械的位置和取向、治疗参数等)来实现。然而,没有什么可以阻止自动确定这些参数中的一些。例如,医疗器械的最佳位置和取向可通过学习算法自动确定。
模拟图像51的生成103和估计的消融区域34的分割104的步骤例如由规划设备10的控制单元11中实施的神经网络来实施。
如果执业医生使用已作为输入数据提供给规划方法100的规划参数,则生成的模拟图像51允许执业医生观察他或她在外科手术后可能获得的结果。
与对应于待消融组织的待治疗区域相比,估计的消融区域34可具有更大或更小的尺寸。
应该注意的是,对模拟图像51上表示的估计的消融区域34进行分割的步骤104是可选的,因为它对本发明并不是必需的。值得注意的是,在没有对所述估计的消融区域34进行分割的情况下,消融区域可由执业医生在模拟图像51上识别。
图6示意性地表示对应于图2的术前图像50的术前图像50’,在该术前图像50’上将对应于待消融组织32的待治疗区域33进行了分割。比较估计的消融区域34的尺寸和待治疗区域33的尺寸是有利的。事实上,这里最好检查待治疗区域是否被治疗充分覆盖,同时最小化消融区域的尺寸,以避免破坏不构成待治疗区域一部分的健康组织的最大部分。
图7示意性地表示根据本发明的规划方法100的一个特定实施方案的主要步骤。除了前面参照图5描述的步骤外,图7所示的特定实施方案包括以下步骤:
将对应于外科手术旨在消融的组织32的待治疗区域33的术前图像50进行分割105,
将模拟图像上表示的估计的消融区域34与待治疗区域33进行比较106,
对有效性条件的检查107。
例如,如果估计的消融区域34的轮廓完全包围待治疗区域33的轮廓,并且如果对于估计的消融区域34的轮廓的每个点,该点与待治疗区域33的轮廓之间的最小距离位于预定值范围内,则该有效性条件得到证实。例如,预定值范围对应于5到10毫米之间的值。然而,可设想其它的有效性条件并且仅构成本发明的变体。
当对有效性条件的检查107是否定的时,执业医生可以决定修改规划参数并运行另一次模拟。
根据另一个实例,并如图7所示,该方法100可包括通过规划设备10自动确定估计的消融区域34满足有效性条件的新的规划参数组的步骤108。,确定步骤108例如通过常规的优化方法和规划数据空间的探索来进行的。
图8表示根据本发明的规划方法100的另一个特定实施方案。在这个特定实施方案中,规划方法100包括确定几个新的规划参数组的步骤109。如图8所示,对于每个新的规划参数组,都要执行模拟图像的生成103、估计的消融区域的分割104、待治疗区域和估计的消融区域之间的比较106以及对有效性条件的检查107等步骤。该方法100接下来包括从符合有效性条件的新的规划参数组中识别最佳规划参数组的步骤110。例如,最佳规划参数组对应于在符合有效性条件的同时估计的消融区域34呈现最小尺寸的规划参数。因此,这就可以在外科手术中使消融的健康组织的数量最小化。
应该注意的是,在图8中,确定新的规划参数组,然后并行验证。然而,没有什么可以阻止新的规划参数组一个接一个地迭代确定。如果有必要,新的规划参数组可根据先前确定的另一个新的规划参数组和/或根据执业医生最初选择的规划参数来确定新的规划参数组。
可以设想不同的方法来确定和分割由神经网络生成的模拟图像51上的估计的消融区域。
根据第一种方法,估计的消融区域由二进制图像表示,该图像叠加在术前图像50上以形成生成的图像51。在这种情况下,二元图像中位于估计的消融区域外的每个体素都与零值相关联,并且位于估计的消融区域内的每个体素都与固定的非零值相关联。值为非零的体素以特定的颜色出现在二元图像上。另一方面,值为零的体素是透明的,当它叠加在术前图像上时,对生成的图像没有影响。简而言之,在所用图像为二维的情况下,术语体素可用术语像素代替。
根据第二种方法,根据解剖部位31对消融手术的组织反应在模拟图像51上分割估计的消融区域。为此,神经网络通过将称为“X射线密度值”的值与模拟图像51上表示的估计的消融区域34的每个体素相关联来确定组织对消融手术的反应,该值表示对应于所述体素的组织的X射线密度。
X射线密度表示电磁辐射(例如由医疗成像设备20产生的X射线)的相对不能穿过患者目标解剖部位31的组织(应该注意的是,由成像设备发射的X射线的目的不是为了消融肿瘤,并且这里讨论的“X射线密度值”与放疗参数无关)。由神经网络在模拟图像51上表示的消融区域通常对应于坏死区域,,该区域在图像上呈现出比患者目标解剖部位中未消融部分更低的X射线密度值。消融区域的体素与低X射线密度值越相关联,对应于所述体素的消融区域的部分破坏的越多。因此,“消融手术的组织反应”理解为意指待治疗组织的每个部分已消融的比例。例如,X射线密度值高于预定第一阈值的消融区域的体素对应于已破坏至少50%的待治疗组织部分。根据另一个实例,X射线密度值低于预定第二阈值的消融区域的体素对应于已破坏超过90%的待治疗组织部分。因此,可以从模拟图像中映射组织对治疗的估计反应。
然后,例如可对估计的消融区域34进行分割104,使得所述估计的消融区域的每个体素与高于预定阈值的X射线密度值相关联。这样就可以确保位于消融区域分割轮廓内的任何组织已破坏超过一定的期望比例(例如超过90%)。
与体素相关联的X射线密度值例如基于霍恩斯菲尔德尺度来定义。
在特定的实施方案中,规划方法100包括以下步骤:检查对于估计的消融区域34的轮廓的每个点,在该点处的X射线密度值在垂直于所述轮廓方向上的梯度高于预定阈值。该梯度表示在垂直于轮廓的方向上考虑的点处的X射线密度值的可变性(“垂直于轮廓的方向”理解为与通过考虑的点的轮廓的切线成直角的方向)。这种规定尤其可以检查消融区域的轮廓是否清晰。消融区域的轮廓标志着治疗区域和未治疗组织之间的界限。这个轮廓的清晰度表示消融的质量。在估计的消融区域34的轮廓点处,梯度越高,消融区域和未消融的健康组织之间的X射线密度值的变化越大。
有时可在表示消融区域的医疗图像上观察到围绕消融区域的呈小厚度环状的白色形式。这个环的存在与否可表示消融的质量。通过计算估计的消融区域34的每个点的梯度,并将此梯度与预定阈值进行比较,可以提高对消融质量的估计的可靠性(例如,如果梯度在轮廓的所有点都高于阈值,即使肉眼不能直接看到医疗图像上的白环,也可认为消融质量良好)。
在优选的实施方案中,神经网络是卷积神经网络。卷积神经网络特别适合图像识别。这样的神经网络40在图9和图10中示意性地表示。该神经网络40包括几层人工神经元。有处理神经元,其通过卷积函数处理图像的有限部分,还有输出池化神经元。处理层的输出集使得可以重建中间图像,该图像将作为下一层的基础。神经网络40还包括完全连接层41,其连接到前面层的所有输出,以及预测层42,在该层的输出处生成模拟图像51。尤其是预测层42使得可以为模拟图像51的每个体素分配X射线密度值。
图9示意性地说明了神经网络40的训练阶段(或学习阶段)。神经网络用学习元素进行训练,每个学习元素分别对应于患者目标解剖部位的组织消融外科手术。每个学习元素包括患者目标解剖部位的术前图像50,用于该患者的外科手术的规划参数P,以及外科手术后该患者目标解剖部位的术后图像52。
在可能的规划参数P中,可举出以下几个:
病理类型ρ:例如,病理可为肝细胞癌或转移瘤。特定的病理类型可与参数ρ的特定值相关联。
治疗类型τ:组织的消融例如可通过微波、射频、冷冻疗法、电穿孔、激光、聚焦超声等进行。特定的治疗类型可与参数τ的特定值相关联。
医疗器械位置的坐标x、y、z(例如针尖的位置):它们可由预先确定的参考框架(例如术前图像的参考框架)来表示。
表示医疗器械在所考虑的参考框架中的取向(例如针的取向)的角度α、β、γ。
医疗器械的类型λ:特定的医疗器械类型(型号、制造商等)可与参数λ的特定值相关联。
治疗参数ε:基于治疗类型,可定义不同的治疗参数,例如,治疗功率或持续时间。
当用几种医疗器械同时进行治疗时,规划参数P可写成P=[ρ1,τ1,x1,y1,z1,α1,β1,γ1,λ1,ε1,…,ρN,τN,xN,yN,zN,αN,βN,γN,λN,εN],其中N表示治疗次数。
在训练期间,对于每个学习元素,神经网络40为每个神经元确定一组权重和偏差,使得可以基于术前图像50和规划参数P获得与术后图像52尽可能相似的模拟图像51。
神经网络40通过使用损失函数将模拟图像51上的估计的消融区域34与术后图像52的真实消融区域进行比较,然后使用损失函数计算整体成本函数。然后优化过程寻找使该整体成本函数最小化的权重和偏差参数。该优化过程可迭代进行。
优选地,学习元素对应于过去的涵盖所有病症和所有设想的治疗的手术。
图10示意性地说明了神经网络40在患者目标解剖部位进行组织消融手术的规划阶段。神经网络40接收所述患者目标解剖部位的术前图像50和执业医生设想的规划参数P作为输入。该神经网络选择描述目标组织及其附近的可能改变消融区域的术前图像50的特征。然后由神经网络生成表示估计的消融区域的模拟图像51。然后可以将模拟图像51上表示的估计的消融区域与术前图像50'上表示的待治疗区域进行比较。如果估计的消融区域不令人满意(例如,如果它没有覆盖所有待治疗区域,或者如果它以过多的余量覆盖),可由执业医生定义或可由规划设备10自动定义新的规划参数。然后可以确定规划参数组,以获得令人满意的估计的消融区域。这些参数随后将在外科手术当天使用。规划参数例如可用于配置在医疗手术中协助执业医生的医疗机器人。一些参数,尤其是那些与医疗器械的位置和取向有关的参数,如果有必要,将能够使用用于规划外科手术的术前图像50和外科手术中获得的术中图像之间的重新对齐来调整。
应该注意的是,根据本发明的规划方法100不包括对患者的任何手术步骤。它实际上是一种规划方法100,而按期规划的外科手术是在规划方法100之后进行的,可能是几天之后。另外,神经网络的训练阶段是在对其他患者进行外科手术之后进行的。这些外科手术不应视为构成神经网络训练阶段的一部分。
还应注意的是,神经网络40可把可见已经部分消融的组织的图像作为输入,以定义需要应用以完成消融的额外治疗。因此,对于必须连续进行几次治疗的手术,就可以多次重复根据本发明的方法以每次改善最初规划的治疗。
上面的描述清楚地说明,通过其各种特征及其优点,本发明实现了为其设定的目标。特别地,将患者目标解剖部位的医疗图像中包含的所有信息都考虑在内来进行消融区域的预测。因此,对消融区域的预测完全是针对给定患者的。此外,神经网络能够学习在手术中使用几种医疗器械的影响,以便更准确地估计在这种情况下获得的消融区域是什么。此外,根据本发明的规划方法不需要对患者进行体内测量,这使得可以在外科手术的上游进行规划,以便为执业医生提供更多的时间来准备手术。对治疗的组织反应的估计使得可以更准确地预测消融结果。
Claims (21)
1.一种用于规划旨在消融患者(30)目标解剖部位(31)的组织(32)的外科手术的方法(100),所述方法(100)包括:
获取(101)所述目标解剖部位(31)的术前图像(50),
确定(102)规划参数(P)组,
其特征在于,所述方法(100)包括:
生成(103)模拟图像(51),其中表示估计的消融区域(34),所述模拟图像是基于所述术前图像(50)、所述规划参数(P)和神经网络(40)生成的,所述神经网络预先已用多个学习元素进行过训练,每个学习元素分别对应于另一患者目标解剖部位的类似组织消融外科手术,每个学习元素包括所述另一患者目标解剖部位的术前图像(50)、用于该另一患者的所述外科手术的规划参数(P),以及外科手术后该另一患者目标解剖部位的术后图像(52),所述模拟图像(51)使得可以观察外科手术后可能获得的结果。
2.如权利要求1所述的方法(100),其特征在于,所述方法还包括对模拟图像(51)上表示的估计的消融区域(34)进行分割(104)。
3.如权利要求2所述的方法(100),其特征在于,所述方法还包括通过将称为“X射线密度值”的值与模拟图像(51)上表示的估计的消融区域(34)的每个体素相关联来确定消融手术的组织反应,该值表示对应于所述体素的组织的X射线密度。
4.如权利要求3所述的方法(100),其特征在于,对估计的消融区域(34)进行分割(104),使得所述估计的消融区域(34)的每个体素与高于预定阈值的X射线密度值相关联。
5.如权利要求3和4中任一项所述的方法(100),其特征在于,所述方法还包括检查对于估计的消融区域(34)的轮廓的每个点,该点处的X射线密度值在垂直于所述轮廓方向上的梯度高于预定阈值。
6.如权利要求2至5中任一项所述的方法(100),其特征在于,所述方法还包括:
将对应于外科手术旨在消融的组织(32)的待治疗区域(33)的术前图像(50)进行分割(105),
将模拟图像上估计的消融区域(34)与待治疗区域(33)进行比较(106)。
7.如权利要求6所述的方法(100),其特征在于,所述方法(100)还包括对有效性条件的检查(107),如果估计的消融区域(34)的轮廓完全包围待治疗区域(33)的轮廓,并且如果对于估计的消融区域(34)的轮廓的每个点,该点与待治疗区域(33)的轮廓之间的最小距离位于预定值范围内,则满足该有效性条件。
8.如权利要求7所述的方法(100),其特征在于,当对有效性条件的检查(107)是否定的时,所述方法(100)包括确定(108)估计的消融区域(34)满足有效性条件的新的规划参数组。
9.如权利要求7所述的方法(100),其特征在于,所述方法(100)包括确定(109)满足有效性条件的几个新的规划参数组的步骤,以及从新的规划参数组中识别(110)最佳规划参数组的步骤,对于该最佳规划参数组,估计的消融区域(34)呈现最小尺寸。
10.如权利要求1至9中任一项所述的方法(100),其特征在于,目标解剖部位是肝脏。
11.如权利要求1至10中任一项所述的方法(100),其特征在于,待消融组织是肿瘤。
12.如权利要求1至11中任一项所述的方法(100),其特征在于,规划参数(P)包括来自以下元素中的一个或多个元素:
病理类型,
治疗类型,
用于治疗的医疗器械类型,
用于治疗的医疗器械位置和/或取向,
特定于医疗器械的治疗参数,
在外科手术中要进行的一些治疗。
13.一种计算机程序产品,其特征在于,其包括程序代码指令组,当它们由一个或多个处理器执行时,配置所述一个或多个处理器以使用神经网络(40)一方面通过包括待消融组织(32)的患者(30)目标解剖部位(31)的术前图像(50),另一方面通过规划参数(P)来生成模拟图像(51),在该模拟图像上表示估计的消融区域(34),所述神经网络适于预先用多个学习元素进行训练,每个学习元素分别对应于另一患者目标解剖部位的类似组织消融外科手术,每个学习元素包括所述另一患者目标解剖部位的术前图像(50)、用于该另一患者的所述外科手术的规划参数(P),以及外科手术后该另一患者目标解剖部位的术后图像(52)。
14.一种用于规划旨在消融患者(30)目标解剖部位(31)的组织(32)的外科手术的设备(10),所述设备(10)的特征在于其包括控制单元(11),该控制单元配置为:
基于所述目标解剖部位的术前图像(50)、规划参数(P)组和神经网络(40)生成模拟图像(51),所述神经网络适于预先用多个学习元素进行训练,每个学习元素分别与另一患者目标解剖部位的类似组织消融外科手术相关联,每个学习元素包括所述另一患者目标解剖部位的术前图像(50)、用于该另一患者的所述外科手术的规划参数(P),以及外科手术后该另一患者目标解剖部位的术后图像(52)。
15.如权利要求14所述的设备(10),其特征在于,所述控制单元(11)进一步配置为对模拟图像(51)上表示的估计的消融区域(34)进行分割。
16.如权利要求15所述的设备(10),其特征在于,所述控制单元(11)进一步配置为将称为“X射线密度值”的值与模拟图像(51)上表示的估计的消融区域(34)的每个体素相关联,该值表示对应于所述体素的组织的X射线密度。
17.如权利要求16所述的设备(10),其特征在于,所述控制单元(11)配置为对估计的消融区域(34)进行分割,使得所述估计的消融区域(34)的每个体素与高于预定阈值的X射线密度值相关联。
18.如权利要求16和17中任一项所述的设备(10),其特征在于,所述控制单元(11)配置为检查对于估计的消融区域(34)的轮廓的每个点,该点处的X射线密度值在垂直于所述轮廓方向上的梯度高于预定阈值。
19.如权利要求14至18中的一项所述的设备(10),其特征在于,所述控制单元(11)进一步配置为在术前图像(50)上将对应于外科手术旨在消融的组织(32)的待治疗区域(33)进行分割,并将模拟图像(51)上表示的估计的消融区域(34)与待治疗区域(33)进行比较。
20.如权利要求19所述的设备(10),其特征在于,所述控制单元(11)进一步配置为检查有效性条件,如果估计的消融区域(34)的轮廓完全包围待治疗区域(33)的轮廓,并且如果对于估计的消融区域(34)的轮廓的每个点,该点与待治疗区域(33)的轮廓之间的最小距离位于预定值范围内,则满足该有效性条件。
21.如权利要求20所述的设备(10),其特征在于,所述控制单元(11)进一步配置为确定满足有效性条件的一个或多个新的规划参数组,并从这些新的规划参数组中识别最佳规划参数组,对于该最佳规划参数组,估计的消融区域(34)呈现最小尺寸。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FRFR1907000 | 2019-06-27 | ||
FR1907000A FR3095332B1 (fr) | 2019-06-27 | 2019-06-27 | Méthode de planification d’une ablation de tissus basée sur l’apprentissage profond |
PCT/EP2020/067777 WO2020260433A1 (fr) | 2019-06-27 | 2020-06-25 | Méthode de planification d'une ablation de tissus basée sur l'apprentissage profond |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114007538A true CN114007538A (zh) | 2022-02-01 |
CN114007538B CN114007538B (zh) | 2024-03-29 |
Family
ID=67957128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080043589.7A Active CN114007538B (zh) | 2019-06-27 | 2020-06-25 | 基于深度学习的规划组织消融的方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20220233242A1 (zh) |
EP (1) | EP3965684A1 (zh) |
JP (1) | JP7455862B2 (zh) |
KR (1) | KR20220026534A (zh) |
CN (1) | CN114007538B (zh) |
CA (1) | CA3138208A1 (zh) |
FR (1) | FR3095332B1 (zh) |
IL (1) | IL289162A (zh) |
WO (1) | WO2020260433A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210038314A1 (en) * | 2019-08-11 | 2021-02-11 | phenoMapper, LLC | Method and System for Personalized Treatment Planning in Ablation of Cancerous Tissue |
FR3128051A1 (fr) * | 2021-10-07 | 2023-04-14 | Quantum Surgical | Dispositif pour la prédiction d’un type de traitement optimal pour l’ablation percutanée d’une lésion |
CN115147022B (zh) * | 2022-09-05 | 2022-12-02 | 中国科学院地质与地球物理研究所 | 一种复杂山区长大线状工程的工程地质区划方法及系统 |
WO2024059693A2 (en) * | 2022-09-14 | 2024-03-21 | Mayo Foundation For Medical Education And Research | Generating synthetic medical images, feature data for training image segmentation, and inpainted medical images using generative models |
FR3143313A1 (fr) * | 2022-12-16 | 2024-06-21 | Quantum Surgical | Dispositif d’assistance à la planification d’une intervention mini-invasive sur un os |
FR3143314A1 (fr) * | 2022-12-16 | 2024-06-21 | Quantum Surgical | Dispositif d’assistance à la planification d’une intervention mini-invasive |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5464013A (en) * | 1984-05-25 | 1995-11-07 | Lemelson; Jerome H. | Medical scanning and treatment system and method |
CN101859341A (zh) * | 2009-04-13 | 2010-10-13 | 盛林 | 影像引导消融治疗手术规划装置 |
CN102428495A (zh) * | 2009-05-05 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 对成像数据的置信度的自动评估 |
CN105636541A (zh) * | 2013-03-15 | 2016-06-01 | 圣纳普医疗(巴巴多斯)公司 | 用于微创疗法的规划、导航和模拟系统及方法 |
WO2016088075A1 (en) * | 2014-12-04 | 2016-06-09 | Koninklijke Philips N.V. | Shape based initialization and qa of progressive auto-planning |
CN107049475A (zh) * | 2017-04-19 | 2017-08-18 | 纪建松 | 肝癌局部消融方法及系统 |
CN107441637A (zh) * | 2017-08-30 | 2017-12-08 | 南方医科大学 | 调强放疗计划中三维剂量分布的预测方法及其应用 |
CN107545137A (zh) * | 2017-08-16 | 2018-01-05 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗计划智能优化方法 |
US20180028261A1 (en) * | 2015-02-17 | 2018-02-01 | Koninklijke Philips N.V. | Device and method for assisting in tissue ablation |
CN109077804A (zh) * | 2018-08-19 | 2018-12-25 | 天津大学 | 一种基于ct图像的微波消融治疗计划方法 |
CN109166613A (zh) * | 2018-08-20 | 2019-01-08 | 北京东方瑞云科技有限公司 | 基于机器学习的放射治疗计划评估系统及方法 |
US20190159823A1 (en) * | 2017-11-28 | 2019-05-30 | Metal Industries Research & Development Centre | Pre-surgical planning apparatus and pre-surgical planning method |
CN109843377A (zh) * | 2016-09-07 | 2019-06-04 | 医科达有限公司 | 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070053491A1 (en) * | 2005-09-07 | 2007-03-08 | Eastman Kodak Company | Adaptive radiation therapy method with target detection |
US20090238434A1 (en) * | 2008-03-24 | 2009-09-24 | Gilbert Feke | Method for reproducing the spatial orientation of an immobilized subject in a multi-modal imaging system |
US20070092864A1 (en) * | 2005-09-30 | 2007-04-26 | The University Of Iowa Research Foundation | Treatment planning methods, devices and systems |
US9747684B2 (en) * | 2007-01-24 | 2017-08-29 | Koninklijke Philips N.V. | RF ablation planner |
US8267927B2 (en) * | 2007-01-24 | 2012-09-18 | Koninklijke Philips Electronics N.V. | Advanced ablation planning |
US20080287783A1 (en) * | 2007-05-16 | 2008-11-20 | General Electric Company | System and method of tracking delivery of an imaging probe |
EP2736436B1 (en) | 2011-07-28 | 2019-05-29 | Koninklijke Philips N.V. | Ablation planning system |
US9277956B2 (en) | 2011-11-09 | 2016-03-08 | Siemens Medical Solutions Usa, Inc. | System for automatic medical ablation control |
SG10201707562PA (en) | 2013-03-15 | 2017-11-29 | Synaptive Medical Barbados Inc | Intramodal synchronization of surgical data |
US20150093007A1 (en) * | 2013-09-30 | 2015-04-02 | Median Technologies | System and method for the classification of measurable lesions in images of the chest |
WO2019118640A1 (en) * | 2017-12-13 | 2019-06-20 | Washington University | System and method for determining segments for ablation |
-
2019
- 2019-06-27 FR FR1907000A patent/FR3095332B1/fr active Active
-
2020
- 2020-06-25 JP JP2021564245A patent/JP7455862B2/ja active Active
- 2020-06-25 US US17/597,042 patent/US20220233242A1/en active Pending
- 2020-06-25 CA CA3138208A patent/CA3138208A1/en active Pending
- 2020-06-25 WO PCT/EP2020/067777 patent/WO2020260433A1/fr unknown
- 2020-06-25 KR KR1020217041779A patent/KR20220026534A/ko unknown
- 2020-06-25 EP EP20733842.7A patent/EP3965684A1/fr active Pending
- 2020-06-25 CN CN202080043589.7A patent/CN114007538B/zh active Active
-
2021
- 2021-12-20 IL IL289162A patent/IL289162A/en unknown
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5464013A (en) * | 1984-05-25 | 1995-11-07 | Lemelson; Jerome H. | Medical scanning and treatment system and method |
CN101859341A (zh) * | 2009-04-13 | 2010-10-13 | 盛林 | 影像引导消融治疗手术规划装置 |
CN102428495A (zh) * | 2009-05-05 | 2012-04-25 | 皇家飞利浦电子股份有限公司 | 对成像数据的置信度的自动评估 |
CN105636541A (zh) * | 2013-03-15 | 2016-06-01 | 圣纳普医疗(巴巴多斯)公司 | 用于微创疗法的规划、导航和模拟系统及方法 |
WO2016088075A1 (en) * | 2014-12-04 | 2016-06-09 | Koninklijke Philips N.V. | Shape based initialization and qa of progressive auto-planning |
US20180028261A1 (en) * | 2015-02-17 | 2018-02-01 | Koninklijke Philips N.V. | Device and method for assisting in tissue ablation |
CN109843377A (zh) * | 2016-09-07 | 2019-06-04 | 医科达有限公司 | 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法 |
CN107049475A (zh) * | 2017-04-19 | 2017-08-18 | 纪建松 | 肝癌局部消融方法及系统 |
CN107545137A (zh) * | 2017-08-16 | 2018-01-05 | 强深智能医疗科技(昆山)有限公司 | 肿瘤放射治疗计划智能优化方法 |
CN107441637A (zh) * | 2017-08-30 | 2017-12-08 | 南方医科大学 | 调强放疗计划中三维剂量分布的预测方法及其应用 |
US20190159823A1 (en) * | 2017-11-28 | 2019-05-30 | Metal Industries Research & Development Centre | Pre-surgical planning apparatus and pre-surgical planning method |
CN109077804A (zh) * | 2018-08-19 | 2018-12-25 | 天津大学 | 一种基于ct图像的微波消融治疗计划方法 |
CN109166613A (zh) * | 2018-08-20 | 2019-01-08 | 北京东方瑞云科技有限公司 | 基于机器学习的放射治疗计划评估系统及方法 |
Non-Patent Citations (1)
Title |
---|
DANIEL JARETT: ""Applications and limitations of machine learning in radiation oncology"", 《BR J RADIOL》, pages 1 - 18 * |
Also Published As
Publication number | Publication date |
---|---|
CA3138208A1 (en) | 2020-12-30 |
EP3965684A1 (fr) | 2022-03-16 |
FR3095332A1 (fr) | 2020-10-30 |
JP2022537875A (ja) | 2022-08-31 |
IL289162A (en) | 2022-02-01 |
CN114007538B (zh) | 2024-03-29 |
WO2020260433A1 (fr) | 2020-12-30 |
KR20220026534A (ko) | 2022-03-04 |
FR3095332B1 (fr) | 2023-07-21 |
JP7455862B2 (ja) | 2024-03-26 |
US20220233242A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114007538B (zh) | 基于深度学习的规划组织消融的方法 | |
CN107038728B (zh) | 基于迭代重建的轮廓自动化确定 | |
Essert et al. | Automatic computation of electrode trajectories for deep brain stimulation: a hybrid symbolic and numerical approach | |
US7817836B2 (en) | Methods for volumetric contouring with expert guidance | |
CN105451817B (zh) | 用于自动估计自适应辐射治疗重新规划的效用的方法和系统 | |
US20090074264A1 (en) | data representation for rtp | |
CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
Schumann et al. | Fast automatic path proposal computation for hepatic needle placement | |
US9508144B2 (en) | Determining an anatomical atlas | |
EP3788596B1 (en) | Lower to higher resolution image fusion | |
JP2009545394A (ja) | 生物学に導かれた適応的な治療計画 | |
Park et al. | Spatially weighted mutual information image registration for image guided radiation therapy | |
CN115590623B (zh) | 穿刺路径规划系统 | |
WO2012094445A1 (en) | System and method for treatment planning of organ disease at the functional and anatomical levels | |
Wittenstein et al. | Automatic image segmentation based on synthetic tissue model for delineating organs at risk in spinal metastasis treatment planning | |
JP2020512096A (ja) | 3次元超音波体積内の関心オブジェクトを視覚化する少なくとも1つの最終2次元画像の決定 | |
EP3457942B1 (en) | Verifying a position of an interventional device | |
Boettger et al. | Radiation therapy planning and simulation with magnetic resonance images | |
EP3483836A1 (en) | Calibration of image-registration based tracking procedures | |
US20240122653A1 (en) | Parametric contour map visualization for needle guide system | |
EP4083914A1 (en) | Image processing device and method | |
CN118043901A (zh) | 用于放射消融治疗区域靶向和引导的方法和装置 | |
Kuhn et al. | Multimodality medical image analysis for diagnosis and treatment planning: The COVIRA Project (Computer VIsion in RAdiology) | |
Liamsuwan et al. | CTScanTool, a semi-automated organ segmentation tool for radiotherapy treatment planning | |
CN116919584A (zh) | 一种穿刺路径规划方法、系统、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |