CN113993475A - 通过图像分析来预测病变复发的方法 - Google Patents
通过图像分析来预测病变复发的方法 Download PDFInfo
- Publication number
- CN113993475A CN113993475A CN202180003922.6A CN202180003922A CN113993475A CN 113993475 A CN113993475 A CN 113993475A CN 202180003922 A CN202180003922 A CN 202180003922A CN 113993475 A CN113993475 A CN 113993475A
- Authority
- CN
- China
- Prior art keywords
- post
- ablation
- image
- operative
- target anatomy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000010191 image analysis Methods 0.000 title description 2
- 210000003484 anatomy Anatomy 0.000 claims abstract description 76
- 230000002980 postoperative effect Effects 0.000 claims abstract description 45
- 238000011282 treatment Methods 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000011156 evaluation Methods 0.000 claims abstract description 26
- 238000010801 machine learning Methods 0.000 claims abstract description 10
- 238000002679 ablation Methods 0.000 claims description 177
- 238000001356 surgical procedure Methods 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 4
- 230000011218 segmentation Effects 0.000 description 19
- 210000004027 cell Anatomy 0.000 description 17
- 238000012360 testing method Methods 0.000 description 9
- 210000004185 liver Anatomy 0.000 description 8
- 238000010200 validation analysis Methods 0.000 description 6
- 238000011298 ablation treatment Methods 0.000 description 4
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000003734 kidney Anatomy 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 206010027476 Metastases Diseases 0.000 description 1
- 238000010317 ablation therapy Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000002308 calcification Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000000315 cryotherapy Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004520 electroporation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009401 metastasis Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001338 necrotic effect Effects 0.000 description 1
- 238000011205 postoperative examination Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/02—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/02—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques
- A61B18/0206—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by cooling, e.g. cryogenic techniques ultrasonic, e.g. for destroying tissue or enhancing freezing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
- A61B18/14—Probes or electrodes therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/1815—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using microwaves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/18—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves
- A61B18/20—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by applying electromagnetic radiation, e.g. microwaves using laser
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
- A61N7/00—Ultrasound therapy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
- A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Otolaryngology (AREA)
- Optics & Photonics (AREA)
- High Energy & Nuclear Physics (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Fuzzy Systems (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
Abstract
本发明涉及一种对个体(110)的目标解剖结构(130)的部分(160)进行消融的治疗后评估方法,所述目标解剖结构包括至少一个病变(165)。所述治疗后评估方法具体地包括以下步骤:根据对个体的目标解剖结构的一对术前(170)和术后医疗图像的分析,使用基于神经网络的机器学习方法,自动评估个体的目标解剖结构的病变复发的风险;所述方法事先在所谓的训练阶段针对包含多个个体相同解剖结构的多对医疗图像的数据库进行训练,所述数据库中每一对医疗图像都与所述病人的目标解剖结构的病变的复发状态相关联。本发明还涉及一种电子设备(150),其包括处理器和存储该评估方法的指令的计算机存储器。
Description
发明技术领域
本发明的领域是评价医疗干预的领域。
本发明更具体地涉及一种治疗后评估已消融病变复发的风险的方法。
本发明特别适用于通过预测病变(如肿瘤或转移瘤)的复发风险来评估微创医疗干预。这样的微创医疗干预对应于例如病变(例如肝、肺、肾或任何其他器官中的肿瘤)的经皮消融。经皮消融通常包括使用图像来引导一个或多个针头插入并穿透皮肤,以接触并破坏病变。
现有技术描述
现有技术公开了用于评估干预的有效性和用于预测病变复发的风险的技术。
例如,这种技术包括在对病变进行消融后,确定消融区覆盖病变的程度。通过比较消融区的体积和病变的体积,可以确定消融边缘。在实践中,一般建议消融边缘至少为5mm。
为了确定这些边缘,一般在计划干预时确定病变的体积,并与消融区的体积进行比较,消融区由操作者在至少一张术后图像上进行分割。
主要的缺点是消融区的体积通常确定得不准确,常常在某种程度上取决于进行分割的操作者。此外,术后图像的质量往往很差,从而导致在分割中引入不确定因素。因此,消融边缘和病变复发的风险之间的相关性很难建立。
为了改进现有技术的技术,已知的是使用自动分割消融区的方法。
这一技术描述于例如,Zhang等人在2019年9月发表科学出版物,题为"Detectionand Monitoring of Thermal Lesions Induced by Microwave Ablation UsingUltrasound Imaging and Convolutional Neural Networks"。该出版物中描述的分割方法,使得有可能通过分割术前超声图像和术后超声图像来计算消融区的边缘。
然而,该出版物中描述的分割方法并不能预测复发的风险,因为消融区的自动分割的准确性很低。首先,该分割方法受限于消融区图像的子采样矩阵,其尺寸是固定的,一般等于4mm2,因此该方法的使用仅限于小尺寸的区域。此外,为了设置子采样矩阵的位置,必须知道消融区的位置,在术前和术后图像的子采样矩阵内没有恒定的参考点时,该方法很难使用。最后,由于二维超声图像的性质和质量,目标解剖结构可能难以确定,使得该区域的分割不准确,特别是导致不正确的观测,即分割后的消融区并不涵盖要消融的病变。
此外,自动分割方法对于同质区域(也就是说,例如对于骨骼、血管或病变,或当图像包含已知数量的区域时)给出一致的结果。对消融区来说,得到的分割结果是不一致的,因为消融区是非常复杂的区域,一般由各种材料组成,如气体、坏死细胞、健康细胞、残留的对比剂产品、钙化物等。此外,分割一般是在通常模糊且对比度差的医疗图像上进行的,因此很难自动分割图像。
目前没有一种系统能够同时满足所有的需求,特别是提供一种技术,使其有可能精细地评估以前消融的病变的复发风险,特别是基于不清楚和/或对比度差的医疗图像,而不需要有经验的操作者的干预。
发明概述
本发明的目的是纠正上述现有技术的全部或部分缺点。
为此,本发明的目标是对个体的目标部分解剖结构的部分进行消融的治疗后评估的方法,所述目标解剖结构包括至少一个病变,目标解剖结构的消融部分被称为消融区。
消融是经皮的或微创的,这通常包括将至少一根针插入并穿透皮肤,以到达和破坏病变。可以采用多种消融技术:射频、微波、电穿孔、激光、冷冻疗法、超声波等。
目标解剖结构可能是肝脏、肺、肾或任何其他容易发生病变的器官。
根据本发明,治疗后评估方法包括以下步骤:
-获取个体的目标解剖结构的术后医疗图像;
-重新调整术后图像和手术治疗前获得的个体目标解剖结构的医疗图像,称为术前医疗图像,重新调整的术前医疗图像和重新调整的术后医疗图像构成一对个体的目标解剖结构的医疗图像;
-使用基于神经网络的机器学习方法评估个体的目标解剖结构的病变的复发风险,分析个体目标解剖结构的一对医疗图像,所述机器学习方法事先在所谓的训练阶段针对包含一组病人的相同目标解剖结构的多对医疗图像的数据库进行训练,所述数据库中每一对医疗图像与所述病人目标解剖结构的病变的复发状态相关联。
因此,通过对特定解剖结构(例如肝脏,当要治疗的解剖结构是肝脏时)的成对医疗图像进行非常大规模的分析,就可以根据以前的临床数据预测病变复发的风险。这种分析使得有可能确定对要消融的病变的复发风险的更精确的估计,而不需要有经验的操作者在场。因此,根据本发明的治疗后评估方法可为医务人员提供对应用于个体的更好治疗看法,使他们能够评估在复发风险很大的情况下进行附加治疗的必要性。
一般在术后检查日观察到复发时,复发状态被称为阳性值;或者在术后检查日没有观察到复发时被称为阴性值。
其部分的复发风险一般采取在0到1之间的概率的形式。
有利的是,在治疗后的预定日期评估复发风险,当复发状态为阳性时,数据库中的每一对医疗图像也与复发日期相关联。
该日期可以是例如,消融治疗后1个月、3个月、6个月、1年、2年、5年,甚至10年。
术语“术前医疗图像”被理解为指在消融治疗前获得的医疗图像,而术语“术后医疗图像”被理解为指在消融治疗后获得的医疗图像。
在本发明的一些特定实施方案中,数据库中的所有或一些训练图像对在重新调整后,围绕包括至少一个病变的消融区进行裁剪,这些图像被裁剪在一个预定尺寸的共同框架内,被裁剪的图像对中的消融区的中心集在共同框架内形成一个不同点的星座。
因此,通过在共同框架内分配消融区的位置,有可能减少机器学习方法的预测误差。如果所有的消融区都在共同框架中的同一位置,机器学习方法将主要考虑在这个特定位置有消融区的图像对,因此,如果消融区在其他位置,将导致预测错误。
在本发明的一些特定实施方案中,对于数据库中所有事先裁剪过的医疗图像对,所述图像中包含的个体身体部分被分成多个单一尺寸的基本单元,在由消融区划定的人体部分和图像中包含的个体身体部分的其余部分之间,基本单元的数量被分成两个几乎相等的部分。
换句话说,在由消融区划定的人体部分和数据库中成对的剪裁图像所包含的个体身体部分的其余部分之间,基本单元的数量被分成两个几乎相等的部分。
应该强调的是,对应于消融区的基本单元和对应于非消融区的基本单元之间的等值分布,可以在一个图像的层次上分析,也可以在所有图像的层次上进行全局分析。
在二维图像的背景下这些基本单元通常被称为像素,在三维图像的背景下这些基本单元通常被称为体素。
几乎相等的部分将被理解为,当两组基本单元由相同数量的基本单元组成时,或当两组基本单元的数量之差例如低于两组基本单元数量的5%时。
在本发明的一些特定实施方案中,成对的医疗图像的数据库包含至少一对没有消融区的图像。
因此,机器学习方法是通过至少有一对没有进行消融的图像来进行最佳训练的。
在本发明的一些特定实施方案中,治疗后评估方法还包括当复发风险大于预定的阈值时确定附加的消融掩膜的步骤。
因此,为了改善复发的风险,利用治疗后评估方法,估计出一个治疗建议。应该强调的是,这个附加的治疗建议是没有约束力的,医务人员可能会也可能不会遵循。
应该强调的是,附加的消融掩膜是在附加治疗期间要消融的区域的显示。当复发风险大于阈值(例如0.5)时,一般在有下列操作之后就会产生消融掩膜:
-对术前图像和术后图像中的病变和消融区分别进行了检测和分割;
-确定了至少一个复发的位置。
此外,检测和分割可自动或由操作者手动进行。
在本发明的一些特定实施方案中,确定附加的消融掩膜的步骤包括分割个体的目标解剖结构的术后图像中的消融区的子步骤。
分割可以自动进行,也可以由操作者手动进行。应该强调的是,消融区一般都是事先在图像中检测到的,其中至少有一个操作者指出了它在图像中的位置。
在本发明的一些特定实施方案中,确定附加的消融掩膜的步骤包括检测个体的目标解剖结构的术后图像中的消融区的子步骤。
在本发明的一些特定实施方案中,确定附加的消融掩膜的步骤包括检测个体目标解剖结构的术前图像中的病变的子步骤。
因此,分割可以围绕医疗图像中检测到的病变进行。
在本发明的一些特定实施方案中,确定附加的消融掩膜的步骤包括这样一个子步骤,即将复发的位置确定为选自以下列表中至少一个风险预测因素的函数:
-消融区和病变之间的消融边缘,
-病变的质心与消融区的质心之间的距离,
-相对于周围健康组织,消融区边缘的规则性和清晰度,
-病变的体积与消融区的体积之比,
-病变相对于目标解剖结构中心的位置。
在本发明的一些特定实施方案中,医疗图像是三维图像。
应该强调的是,例如,三维图像可以对应于沿预定轴线以总体上有规律的时间间隔拍摄的二维图像的集合。
在本发明的一些特定实施方案中,使用第一图像采集技术获取每个术前图像,使用第二图像采集技术获取每个术后图像,所述第一技术和第二技术相同或不同。
在本发明的一些特定实施方案中,治疗后评估方法还包括这样一个步骤,即提出一个医疗仪器到由附加消融掩膜定义的消融区目标点的轨迹。
应该强调的是,这个提出轨迹的步骤,也可以称为规划轨迹的步骤,是在附加的治疗之前,特别是在对个体采取任何医疗行动之前进行。还应强调的是,这个轨迹是没有约束力的,医务人员可能会也可能不会遵循。
在本发明的一些特定实施方案中,治疗后评估方法还包括帮助操作者遵循医疗仪器的规划轨迹的步骤。
在本发明的一些特定实施方案中,规划轨迹和/或引导指示实时地显示在增强现实设备的屏幕上。
本发明还涉及一种电子设备,该设备包括处理器和存储根据上述任何一种实施方案的方法的指令的计算机存储器。
这种电子设备可以是例如,控制设备、导航系统、机器人设备或增强现实设备。控制设备尤其可以是存在于手术室的计算机,或远程服务器。
换句话说,本发明涉及一种电子设备,该设备包括处理器和计算机存储器,该计算机存储器存储了对个体的目标解剖结构的部分进行消融的治疗后评估方法的指令,所述目标解剖结构包括至少一个病变,目标解剖结构的消融部分被称为消融区,将该处理器配置为在执行指令时便于:
-获取个体的目标解剖结构的术后医疗图像,包括全部或部分消融区;
-重新调整术后图像和手术治疗前获得的个体目标解剖结构的医疗图像(称为术前医疗图像),重新调整的术前医疗图像和重新调整的术后医疗图像构成一对个体的目标解剖结构的医疗图像;
-使用基于神经网络的机器学习方法评估个体的目标解剖结构病变的复发风险,分析个体目标解剖结构的一对医疗图像,所述机器学习方法事先在所谓的训练阶段针对包含一组病人的相同目标解剖结构的多对医疗图像的数据库进行训练,所述数据库中每一对医疗图像与所述病人的目标解剖结构的病变的复发状态相关联。
在本发明的一些特定实施方案中,配置该处理器以便在术后的预定日期评估复发风险,当复发状态为阳性时,数据库中的每一对医疗图像也与复发日期相关联。
在本发明的一些特定实施方案中,在重新调整后,进一步配置处理器,以便围绕所有或一些训练图像对的术后图像中包含的消融区裁剪数据库中的所有或一些图像对,这些图像被裁剪在一个预定尺寸的共同框架内,被裁剪的图像对中的消融区的中心集形成共同框架内的不同点的星座。
在本发明的一些特定实施方案中,对于数据库中所有事先裁剪过的医疗图像对,进一步配置处理器以将图像中包含的个体身体部分分成多个单一尺寸的基本单元,在由消融区划定的人体部分和图像中包含的个体身体部分的其余部分之间,基本单元的数量被分成两个几乎相等的部分。
在本发明的一些特定实施方案中,成对医疗图像的数据库包含至少一对没有消融区的图像。
在本发明的一些特定实施方案中,进一步配置处理器,以便当复发风险大于预定的阈值时,确定附加的消融掩膜。
在本发明的一些特定实施方案中,进一步配置处理器,以便在确定附加的消融掩膜时,检测个体的目标解剖结构的术后图像中的消融区。
在本发明的一些特定实施方案中,进一步配置处理器,以便在确定附加的消融掩膜时,分割个体的目标解剖结构的术后图像中的消融区。
在本发明的一些特定实施方案中,进一步配置处理器,以便在确定附加的消融掩膜时,检测个体的目标解剖结构的术前图像中的病变。
在本发明的一些特定实施方案中,进一步配置处理器,以便在确定附加的消融掩膜时,分割个体的目标解剖结构的术前图像中的病变。
在本发明的一些特定实施方案中,当确定附加的消融掩膜时,进一步配置处理器,以便将复发的位置确定为选自以下列表中至少一个风险预测因素的函数:
-消融区和病变之间的消融边缘,
-病变的质心与消融区的质心之间的距离,
-相对于周围健康组织,消融区边缘的规则性和清晰度,
-病变的体积与消融区的体积之比,
-病变相对于目标解剖结构中心的位置。
在本发明的一些特定实施方案中,医疗图像是三维图像。
在本发明的一些特定实施方案中,使用第一图像采集技术获得每个术前图像,使用第二图像采集技术获得每个术后图像,所述第一技术和第二技术相同或不同。
附图简述
本发明的其他优点、目的和特定特征将从以下对构成本发明主题的设备和方法的至少一个特定实施方案的非限制性描述中变得明显,并参考附图,其中:
-图1是医疗干预的示意图。
-图2是图1中的医疗干预的治疗后评估方法的概述。
-图3是三维医疗图像的实例,其中突出显示了消融区,该图像被用于图2所示的方法。
-图4是四幅医疗图像的实例,每幅图像都包含一个由操作者手动划定的消融掩膜和一个由图2所示方法的神经网络预测的消融掩膜。
-图5是医疗图像的一个实例,其中在图2所示方法的一个步骤中,病变和消融区被自动分割。
-图6显示了一个附加消融的实例,可能由图2所示的方法提出。
发明详述
本描述不受限制,一个实施方案的每个特征都能够以有利的方式与任何其他实施方案的任何其他特征相结合。
从现在起,要注意的是,这些图不是按比例制作的。
一个特定实施方案的实例
图1是医疗干预的示意图,其中躺在桌子115上的个体110正在接受医疗仪器120的治疗。在本发明的非限制性实例中,医疗干预对应于通过医疗仪器120(在本例中是一根半刚性针)对目标解剖结构130(在本例中是个体110的肝)中的病变165进行消融。在这种情况下,医疗干预是一种经皮手术,在此过程中,个体110的身体没有开刀。
操作者140对医疗仪器120的操作,可以有利地通过引导装置来引导,在本发明的非限制性实例中,引导装置是增强现实设备,如操作者140佩戴的头盔150。医疗仪器120也可以与机器人医疗设备125相关联。
头盔150包括半透明的屏幕155,使操作者能够正常看到。图像以叠加形式显示在屏幕155上以便显示标记,从而有可能指导操作者140操作具有图像的医疗仪器120,以便通过消融治疗在目标解剖结构130中确定的病变165周围的区域160,称为消融区。具体地,标记可以包括一个消融掩膜,该掩膜在手术前获得的目标解剖结构130的医疗图像170上被事先估计。该医疗图像170在下文中被称为术前医疗图像170。
当手术完成后,使用用于消融的治疗后评估的方法200对手术治疗进行评估,如图2的概述所示,其指令存储在通过电缆或无线技术连接到头盔155的电子控制设备181中的计算机存储器180中。治疗后评估方法200,其指令由电子控制设备181的计算机处理器182处理,具体地使得其可以确定与病变相关的复发风险,以验证手术期间进行的外科治疗是否足够,或者是否更适合继续治疗,例如通过进行附加的消融。
应该强调的是,电子装置181可以有利地集成到头盔150中。
治疗后评估方法200包括获取目标解剖结构130的术后医疗图像的第一步骤210。
应该强调的是,术前和术后的医疗图像优选用计算机断层扫描获得。作为一种替代,它们可以用磁共振成像仪获取。
用于获取术前医疗图像和术后医疗图像的技术优选为相似的,甚至是相同的。
换句话说,有利地,用于获取术前和术后医疗图像的技术与用于获取机器学习方法的训练数据库中的医疗图像的技术相同。
然而,用于获取术后医疗图像的技术,可能与用于获取术前医疗图像的技术不同。
在这种情况下,有利地,用于获取术前和术后医疗图像的技术与用于获取机器学习方法的训练数据库中的医疗图像的技术相同。
在本发明的非限制性实例中,有利地,术前和术后的医疗图像是以三维方式获取的图像。在实践中,以三维方式获取的每个医疗图像通常对应于一组二维医疗图像,每个图像对应于沿着预定的轴线以固定的时间间隔拍摄的目标解剖结构130的一个截面。目标解剖结构的三维表征可以从这个二维医疗图像的集合中重建出来。因此,术语三维图像将被理解为指医疗图像的集合和三维表征。术语体素将被理解为与三维图像的分辨率有关的一个基本单元。
作为一种选择,术前和术后的医疗图像都是各自以二维方式获取。那么与二维图像的分辨率有关的基本单元通常被称为像素。
术前和术后的医疗图像是包含整个目标解剖结构的图像,或在预定的框架内围绕消融区裁剪的图像。在三维图像中,围绕消融区的框架对应于一个立方体。另一方面,在二维图像中,该框架对应于一个正方形。
围绕消融区的框架,也被称为"边界框",可以在操作者的操作之后围绕消融区自动生成。例如,这样的操作可以对应于这样的事实:操作者指出了在术后医疗图像中属于消融区的一个点,随后围绕这个点生成框架。举例来说,在对小病变进行微创消融治疗的情况下,也就是说,例如对于级别为最大直径为5cm+/-10%的病变,甚至优选最大直径为3cm+/-10%的病变,立方体的每个边缘或正方形的每个边测量值为5-10cm。
图3是三维医疗图像300的图示,其中消融区310被框架320所包围。框架320是立方体的,在分别沿矢状图、沿轴向图和沿冠状图的截面图340、350和360上对应于正方形330。
在图2所示方法200的第二步220中,将术后医疗图像与术前医疗图像170重新调整。为寻找两个医疗图像的解剖点之间的匹配而进行的重新调整,是使用本领域技术人员已知的方法进行的。重新调整可以刚性地进行,也就是说,图像中的所有点都以相同的方式进行变换,或者非刚性地进行,也就是说,图像中的每个点都可以有特定的变换。
两个重新调整的术前和术后图像形成个体110的目标解剖结构130的一对医疗图像。
在第三步230中,通过神经网络(一种机器学习方法)分析目标解剖结构130的一对医疗图像,以便自动评估与消融治疗有关的复发风险。
为此,在初步训练阶段290,神经网络已经事先针对一组患者的相同目标解剖结构(因此在本例中是肝脏)的成对医疗图像的数据库进行了训练。每对医疗图像包括具有与目标解剖结构130相同的功能的术前图像和术后图像。
有利的是,个体110的目标解剖结构130的一对医疗图像,是使用与神经网络的训练数据库中成对的医疗图像相同的技术获得的。换句话说,术前医疗图像是用第一医疗成像技术获取的,术后医疗图像是用第二医疗成像技术获取的,第二医疗成像技术可能与第一医疗成像技术相同或不同。对于同一类型的医疗图像,即术前医疗图像和/或术后医疗图像,使用相同的技术(可能有不同的参数),通过减少与不同的医疗成像技术相关的偏差,可以改善神经网络获得的结果。
当个体110的目标解剖结构130的医疗图像被裁剪时,有利地,这些医疗图像的立方体或正方形的尺寸与用于训练神经网络的立方体或正方形的尺寸相同。
为了训练神经网络,数据库中的每一对医疗图像都与该人的肝脏病变的复发状态相关联,该状态表明是否发生了复发,可能与复发日期有关。应该强调的是,通常这几对医疗图像中的每一个都来自于不同的人。
通常,训练神经网络的阶段290分几个步骤进行:
-训练步骤291;
-验证步骤292;
-测试步骤293。
因此,成对的医疗图像数据库被划分为三个数据库,分别包含不同的医疗图像对。这三个数据库分别被称为训练数据库、验证数据库和测试数据库。在本发明的非限制性实例中,医疗图像数据库中60-98%的成对医疗图像被分组到训练数据库,1-20%被分组到验证数据库,以及1-20%被分组到测试数据库。这些百分比通常与医疗图像数据库中的图像数量有关,在此以说明方式给出。
训练神经网络的阶段290的前两个步骤291和292是主要步骤,可以重复数次。第三个测试步骤就其部分而言是可选的。
在训练阶段290的第一步291中,从训练数据库的成对医疗图像中确定神经网络的每个神经元的权重W和偏差b。
应该强调的是,有利地,训练数据库可以包含没有消融区的图像对。
此外,数据库中的图像集优选包含的属于消融区的体素与属于非消融区的体素一样多。这个比例是根据操作者手动确定的体素的分类来计算的。
换句话说,对于数据库中的所有裁剪过的医疗图像对,图像中包含的个体身体部分被分成多个单一尺寸的基本单元,在由消融区划定的人体部分和图像中包含的个体身体部分的其余部分之间,基本单元的数量被分成几乎相等的两部分。
几乎相等的部分将被理解为,当两组基本单元由相同数量的基本单元组成时,或当两组基本单元的数量之差例如低于两组基本单元数量的5%时。
此外,在一些重新调整的医疗图像对中,有利地,消融区的位置可以以随机方式相对于图像中心随机移动,以避免向神经网络引入偏差,神经网络会认识到消融区主要是框架中心的区域。具体来说,在消融区周围有一些医疗图像被操作者错误地框选。因此,有利地,一个有界的随机变量被添加到框架的位置,以限制这种将病变定位在框架中心的偏差。
训练阶段290的第二步292使得有可能从验证数据库中的成对医疗图像中验证事先为神经网络的每个神经元确定的权重W和偏差b,从而验证神经网络的结果,特别是预测误差,也就是说,通过分别将验证数据库中的每对医疗图像(即使用神经网络获得的复发风险)与和这对医疗图像相关联的复发状态进行比较。
如果第二步结束时预测误差过大,则再次实施训练291和验证292步骤,以便通过重复使用相同的医疗图像对来重新训练神经网络,以完善每个神经元的权重W和偏差b的值。
作为一种选择,在重新训练神经网络的过程中,第一步291通过考虑对训练数据库中的医疗图像对和验证数据库中的一些医疗图像对进行训练来对医疗图像进行重新取样。然后,验证数据库中其余的医疗图像对被用来验证在第一个重新训练步骤结束时获得的权重W和偏差b。
应该强调的是,神经网络可以根据需要重新训练多次,直到预测误差可以接受,即小于预定值。
当训练阶段290的两个步骤291和292至少实施一次时,神经网络的最终性能可以在可能的第三测试步骤293中用测试数据库中的成对医疗图像进行测试。这些医疗图像对与训练数据库和验证数据库中的医疗图像对不同,使得有可能验证神经网络(如为每个神经元配置的参数W和b),使得有可能在神经网络有可能面对的所有情况下准确预测复发的风险。然而,与验证步骤292不同,这个可能的第三测试步骤293不会导致神经网络的新的训练循环。
应该强调的是,在测试步骤293中使用的图像通常是精心挑选的,以涵盖目标解剖结构中消融区的各种位置和尺寸,以便最佳地测试神经网络的预测能力。
与手术治疗相关的复发风险的预测是通过神经网络直接获得的,该神经网络事先已针对医疗图像对的数据库进行了训练,每个图像都与复发状态相关联。
例如,当消融后的一定时期内病变没有复发时,相关联的复发状态等于0(阴性状态);或当消融后的一定时期内病变复发时,相关联的复发状态等于1(阳性状态)。与复发状态的评估相关联的时期优选为6个月。然而,在复发状态为阳性时,也可以通过关联复发日期来评估消融后不同日期的复发状态。例如,神经网络也可以被训练成在消融后每6个月或消融后1个月、3个月、6个月、1年、2年、5年或10年预测与一对医疗图像相关联的复发状态。
通常,病变复发的风险值采取0和1之间的概率形式。
如果复发风险的值大于预定的阈值,也就是说,复发可能在给定的时期内发生,则可由治疗后评估方法200通过评估附加的消融掩膜提出附加的治疗,该消融掩膜是在治疗后评估方法200的第四步240中评估的。这种附加的、非约束性的治疗例如对应于在消融边缘小于给定值(例如5mm)的区域进行附加的消融。
生成附加消融掩膜的步骤240一般包括五个子步骤,在图2中编号为241至245。
在子步骤241中,在个体110的目标解剖结构130的术前医疗图像中检测病变165。这种检测可以自动进行,也可以由操作者手动进行。
在子步骤242中,基于对第二数据库的医疗图像的学习,由第二神经网络在目标解剖结构的至少一个病变周围生成消融掩膜。在这个第二数据库中,大多数医疗图像包含一个消融区,该消融区是事先在表现出肝脏病变的病人身上检测和分割的。
图4示出了该第二数据库中的四幅医疗图像400。每个医疗图像400都由操作者手动注释,该操作者划定了一个消融区410。神经网络生成了一个消融掩膜420。
应该强调的是,对于第二数据库中的每个医疗图像,有利地,消融区由至少两个操作者手动确定,以提高训练的相关性,从而提高第二神经网络获得的分析结果的相关性。具体来说,操作者可能难以划定消融区,特别是当图像的对比度很差时,如图4中的图像400。因此,使用几个操作者对医疗图像进行注释,就有可能改善对消融区的识别。因此,在本发明的非限制性实例中,与一对重新调整的术前和术后医疗图像相关联的消融区相当于操作者建议的消融区的结合。作为另一个实例,与医疗图像相关联的消融区可以对应于操作者建议的消融区的交集、共识或裁决。此外,神经网络还被训练成将医疗图像的体素分类为消融区或非消融区。
作为一种选择,可以使用一个专家注释者在医疗图像中划定消融区来进行训练。操作者的经验对于第二个神经网络能够得出界限分明的消融区非常重要。
还应强调的是,为了限制第二神经网络的训练偏差,第二数据库可以具有与第一数据库相同的优点,具体而言,它可以包含没有消融区的图像,消融区的位置不是系统地位于图像的中心,而且该数据库中的图像集包含的消融区的体素与图像中可见的解剖部分的非消融区的体素一样多。
从个体目标解剖结构130的术后医疗图像中,第二神经网络将每个体素分类为消融区或非消融区。这种预测可以采取叠加在目标解剖结构130的一对医疗图像上的消融掩膜的形式。消融掩膜通常被重新调整为属于由第二神经网络预测的消融区的体素。应该强调的是,在二维图像的背景下,消融掩膜一般由一个区域或一个轮廓线划定。
在子步骤243中,病变165在个体110的目标解剖结构130的术前医疗图像上被自动分割。作为一种选择,分割是由操作者手动进行的。
使用本领域技术人员已知的方法对病变进行自动分割。例如,使用基于图像直方图的方法进行分割,例如大津方法(Otsu method),或使用深度学习方法。
该分割子步骤243在图5中示出,该图显示了术前医疗图像500,其中基于深度学习方法进行自动分割,以确定病变510和消融区520的三维位置。使用与之前使用的两个神经网络不同的第三个神经网络,可以得到一个同等的结果。
然后,在子步骤244中,在事先建立的病变分割和消融掩膜之间确定消融边缘。消融边缘对应于最小的边缘,即在病变的分割和消融掩膜之间指示的最小距离。换句话说,消融边缘相当于在病变的一个点和消融区的一个点之间计算出的最小距离,并且是针对病变的所有点计算的。
确定消融边缘,可以确保消融区真正覆盖病变。
图6示出了对有复发风险的病变600进行消融术后,进行附加消融的实例。治疗后评估方法200已经确定了在病变600和消融区610之间的消融边缘605不足的区域,并且已经生成了附加的消融掩膜620。应该强调的是,附加的消融掩膜620是在试图尽可能地限制消融区的情况下生成的。然后可以在掩膜620中进一步定义消融针所要达到的目标点630。
在子步骤245中,通过将计算出的消融边缘和与复发状态相关联并存储在数据库中的消融边缘参考值进行比较,可以进一步评估对复发位置的预测。例如,当消融边缘大于或等于5mm时,复发的风险被认为是低的,甚至是零。
另外或者作为一种选择,可以使用除消融边缘以外的复发风险预测因素。复发的位置可以通过对这些不同预测因素的全部或部分加权来评估。
举例来说,复发风险的预测因素可以是:
-病变表面或部分病变表面与消融区之间的距离;
-病变的质心和消融区的质心之间的距离;
-病变表面或部分病变表面与消融区之间的距离,以及病变质心与消融区质心之间的距离,同时考虑到有关解剖结构的囊状物的接近程度,特别是在囊下病变的情况下;
-相对于周围健康组织,消融区边缘的规则性;
-相对于周围健康组织,消融区边缘的清晰度;
-病变的体积与消融区的体积之比;
-病变在目标解剖结构中的位置。
质量中心的参考值取决于消融边缘。如果消融边缘等于10mm,消融边缘的参考值为5mm,则病变的质心与消融区的质心之间的距离应小于或等于5mm。
方法200还可以包括步骤250,其规划由与消融掩膜或附加消融掩膜相关联的医疗仪器120遵循的轨迹,以便在引导医疗仪器120的步骤260中引导操作者沿着规划的轨迹操作医疗仪器120。
题为"自动规划医疗干预轨迹的方法(Méthode de planification automatiqued'une trajectoire pour une intervention médicale)"的法国专利申请No.1914780中,描述了规划方法的一个实例。
应该强调的是,在本发明的非限制性实例中,引导是可视化的,涉及在头盔150的屏幕155上显示规划轨迹和/或引导指示。
作为一种选择,医疗仪器120可以通过为医疗仪器120提供位置和方向信息的导航系统来引导。这可能涉及使用与这种导航系统相联接的机器人设备进行机械引导。
应该强调的是,步骤230至260可以重复进行,直到复发的风险为零或几乎为零,或直到消融边缘足够。
Claims (15)
1.一种对个体(110)的目标解剖结构(130)的部分的消融进行治疗后评估的方法(200),所述目标解剖结构包括至少一个病变(165、510、600),目标解剖结构的消融部分被称为消融区(160),其特征在于,所述治疗后评估方法包括以下步骤:
-获取(210)个体的目标解剖结构的术后医疗图像,包括全部或部分消融区;
-重新调整(220)术后图像和手术治疗前获得的个体目标解剖结构的医疗图像(170、500),称为术前医疗图像,重新调整的术前医疗图像和重新调整的术后医疗图像构成一对个体的目标解剖结构的医疗图像;
-使用基于神经网络的机器学习方法评估个体的目标解剖结构病变的复发风险,分析个体目标解剖结构的一对医疗图像,所述机器学习方法事先在所谓的训练阶段(290)针对包含一组病人的相同目标解剖结构的多对医疗图像(300、400)的数据库进行训练,所述数据库中每一对医疗图像与所述病人的目标解剖结构的病变的复发状态相关联。
2.如权利要求2所述的治疗后评估方法,其中在治疗后的预定日期评估复发风险,当复发状态为阳性时,数据库中的每一对医疗图像也与复发日期相关联。
3.如前述权利要求中任一项所述的治疗后评估方法,其中在重新调整后,围绕所有或一些训练图像对的术后图像中包含的消融区裁剪数据库中的所有或一些图像对,这些图像被裁剪在一个预定尺寸的共同框架内,被裁剪的图像对中的消融区的中心集在共同框架内形成一个不同点的星座。
4.如前述权利要求所述的治疗后评估方法,其中对于数据库中所有事先裁剪过的医疗图像对,所述图像中包含的个体身体部分被分成多个单一尺寸的基本单元,在由消融区划定的人体部分和图像中包含的个体身体部分的其余部分之间,基本单元的数量被分成两个几乎相等的部分。
5.如前述权利要求中任一项所述的治疗后评估方法,其中所述成对医疗图像的数据库包含至少一对没有消融区的图像。
6.如前述权利要求中任一项所述的治疗后评估方法,还包括当复发风险大于预定的阈值时确定附加的消融掩膜的步骤。
7.如权利要求6所述的治疗后评估方法,其中确定附加的消融掩膜的步骤包括检测个体的目标解剖结构的术后图像中的消融区的子步骤。
8.如权利要求6-7中任一项所述的治疗后评估方法,其中确定附加的消融掩膜的步骤包括分割个体的目标解剖结构的术后图像中的消融区的子步骤。
9.如权利要求6-8中任一项所述的治疗后评估方法,其中确定附加消融掩膜的步骤包括检测个体的目标解剖结构的术前图像中的病变的子步骤。
10.如权利要求6-9中任一项所述的治疗后评估方法,其中确定附加消融掩膜的步骤包括分割个体的目标解剖结构的术前图像中的病变的子步骤。
11.如权利要求6-9中任一项所述的治疗后评估方法,其中确定附加的消融掩膜的步骤包括这样一个子步骤,即将复发的位置确定为选自以下列表中至少一个风险预测因素的函数:
-消融区和病变之间的消融边缘,
-病变的质心与消融区的质心之间的距离,
-相对于周围健康组织,消融区边缘的规则性和清晰度,
-病变的体积与消融区的体积之比,
-病变相对于目标解剖结构中心的位置。
12.如前述权利要求中任一项所述的治疗后评估方法,其中所述医疗图像是三维图像。
13.如前述权利要求中任一项所述的治疗后评估方法,其中使用第一图像采集技术获得每个术前图像,以及使用第二图像采集技术获得每个术后图像,所述第一技术和第二技术相同或不同。
14.一种电子设备(150),包括处理器和存储有前述权利要求中任一项所述的治疗后评估方法的指令的计算机存储器。
15.如前述权利要求所述的电子设备,能够是控制设备、导航系统、机器人设备或增强现实设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2005338A FR3110764B1 (fr) | 2020-05-20 | 2020-05-20 | Méthode de prédiction de la récidive d’une lésion par analyse d’images |
FR2005338 | 2020-05-20 | ||
PCT/FR2021/050906 WO2021234304A1 (fr) | 2020-05-20 | 2021-05-20 | Méthode de prédiction de la récidive d'une lésion par analyse d'images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113993475A true CN113993475A (zh) | 2022-01-28 |
Family
ID=73793239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180003922.6A Pending CN113993475A (zh) | 2020-05-20 | 2021-05-20 | 通过图像分析来预测病变复发的方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20230172535A1 (zh) |
EP (1) | EP4154262A1 (zh) |
JP (1) | JP2023525967A (zh) |
KR (1) | KR20230013042A (zh) |
CN (1) | CN113993475A (zh) |
CA (1) | CA3178587A1 (zh) |
FR (1) | FR3110764B1 (zh) |
IL (1) | IL298315A (zh) |
WO (1) | WO2021234304A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115966309A (zh) * | 2023-03-17 | 2023-04-14 | 杭州堃博生物科技有限公司 | 复发位置预测方法、装置、非易失性存储介质及电子设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101689220A (zh) * | 2007-04-05 | 2010-03-31 | 奥利安实验室有限公司 | 用于治疗、诊断和预测医学病症发生的系统和方法 |
CN105828709A (zh) * | 2014-01-03 | 2016-08-03 | Mc10股份有限公司 | 包括流量感测的导管或导丝装置及其使用 |
CN106408610A (zh) * | 2015-04-16 | 2017-02-15 | 西门子公司 | 用边缘空间深度神经网络进行解剖对象检测的方法和系统 |
CN107049475A (zh) * | 2017-04-19 | 2017-08-18 | 纪建松 | 肝癌局部消融方法及系统 |
CN107208132A (zh) * | 2014-09-15 | 2017-09-26 | 克里夫顿生命科学有限责任公司 | 用于诊断胃肠胰神经内分泌瘤的组合物、方法和试剂盒 |
CN107624192A (zh) * | 2015-05-11 | 2018-01-23 | 西门子公司 | 通过内窥镜组织分化的外科引导和术中病理的系统和方法 |
CN108922602A (zh) * | 2018-05-28 | 2018-11-30 | 中山大学附属第六医院 | 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法 |
CN109996508A (zh) * | 2016-11-11 | 2019-07-09 | 直观外科手术操作公司 | 带有基于患者健康记录的器械控制的远程操作手术系统 |
CN110111892A (zh) * | 2019-04-29 | 2019-08-09 | 杭州电子科技大学 | 一种nsclc患者术后短期复发转移风险评估系统 |
CN110189824A (zh) * | 2019-06-04 | 2019-08-30 | 冯骥良 | 原发性肝癌根治切除术的预后情况分组方法、装置和系统 |
CN110198680A (zh) * | 2016-11-16 | 2019-09-03 | 纳维斯国际有限公司 | 消融有效性估计器 |
CN110251122A (zh) * | 2019-06-13 | 2019-09-20 | 南方医科大学顺德医院(佛山市顺德区第一人民医院) | 一种冠心病风险指数的无损检测系统及方法 |
CN110782474A (zh) * | 2019-11-04 | 2020-02-11 | 中国人民解放军总医院 | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 |
CN111128328A (zh) * | 2019-10-25 | 2020-05-08 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 鼻咽癌结构化影像报告及数据处理系统和方法 |
-
2020
- 2020-05-20 FR FR2005338A patent/FR3110764B1/fr active Active
-
2021
- 2021-05-20 EP EP21733487.9A patent/EP4154262A1/fr active Pending
- 2021-05-20 CA CA3178587A patent/CA3178587A1/fr active Pending
- 2021-05-20 JP JP2022564079A patent/JP2023525967A/ja active Pending
- 2021-05-20 CN CN202180003922.6A patent/CN113993475A/zh active Pending
- 2021-05-20 IL IL298315A patent/IL298315A/en unknown
- 2021-05-20 KR KR1020227042539A patent/KR20230013042A/ko unknown
- 2021-05-20 US US17/925,752 patent/US20230172535A1/en active Pending
- 2021-05-20 WO PCT/FR2021/050906 patent/WO2021234304A1/fr unknown
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101689220A (zh) * | 2007-04-05 | 2010-03-31 | 奥利安实验室有限公司 | 用于治疗、诊断和预测医学病症发生的系统和方法 |
CN105828709A (zh) * | 2014-01-03 | 2016-08-03 | Mc10股份有限公司 | 包括流量感测的导管或导丝装置及其使用 |
CN107208132A (zh) * | 2014-09-15 | 2017-09-26 | 克里夫顿生命科学有限责任公司 | 用于诊断胃肠胰神经内分泌瘤的组合物、方法和试剂盒 |
CN106408610A (zh) * | 2015-04-16 | 2017-02-15 | 西门子公司 | 用边缘空间深度神经网络进行解剖对象检测的方法和系统 |
CN107624192A (zh) * | 2015-05-11 | 2018-01-23 | 西门子公司 | 通过内窥镜组织分化的外科引导和术中病理的系统和方法 |
CN109996508A (zh) * | 2016-11-11 | 2019-07-09 | 直观外科手术操作公司 | 带有基于患者健康记录的器械控制的远程操作手术系统 |
CN110198680A (zh) * | 2016-11-16 | 2019-09-03 | 纳维斯国际有限公司 | 消融有效性估计器 |
CN107049475A (zh) * | 2017-04-19 | 2017-08-18 | 纪建松 | 肝癌局部消融方法及系统 |
CN108922602A (zh) * | 2018-05-28 | 2018-11-30 | 中山大学附属第六医院 | 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法 |
CN110111892A (zh) * | 2019-04-29 | 2019-08-09 | 杭州电子科技大学 | 一种nsclc患者术后短期复发转移风险评估系统 |
CN110189824A (zh) * | 2019-06-04 | 2019-08-30 | 冯骥良 | 原发性肝癌根治切除术的预后情况分组方法、装置和系统 |
CN110251122A (zh) * | 2019-06-13 | 2019-09-20 | 南方医科大学顺德医院(佛山市顺德区第一人民医院) | 一种冠心病风险指数的无损检测系统及方法 |
CN111128328A (zh) * | 2019-10-25 | 2020-05-08 | 中山大学肿瘤防治中心(中山大学附属肿瘤医院、中山大学肿瘤研究所) | 鼻咽癌结构化影像报告及数据处理系统和方法 |
CN110782474A (zh) * | 2019-11-04 | 2020-02-11 | 中国人民解放军总医院 | 基于深度学习的预测消融术后肝脏肿瘤形态变化的方法 |
Non-Patent Citations (2)
Title |
---|
JAN EGGER: ""Interactive Volumetry Of Liver Ablation Zones"", 《SCIENTIFIC REPORTS》, vol. 5, no. 1, pages 1 - 18, XP055772148, DOI: 10.1038/srep15373 * |
MENGKE WANG: ""Detection and Monitoring of Microwave Ablation by Ultrasound Imaging Based on Convolutional Neural Network"", 《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》, vol. 24, no. 4, pages 1 - 3, XP033859364, DOI: 10.1109/IUS46767.2020.9251480 * |
Also Published As
Publication number | Publication date |
---|---|
CA3178587A1 (fr) | 2021-11-25 |
US20230172535A1 (en) | 2023-06-08 |
WO2021234304A1 (fr) | 2021-11-25 |
JP2023525967A (ja) | 2023-06-20 |
KR20230013042A (ko) | 2023-01-26 |
FR3110764B1 (fr) | 2024-05-10 |
EP4154262A1 (fr) | 2023-03-29 |
FR3110764A1 (fr) | 2021-11-26 |
IL298315A (en) | 2023-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240096508A1 (en) | Systems and methods for using generic anatomy models in surgical planning | |
US11380084B2 (en) | System and method for surgical guidance and intra-operative pathology through endo-microscopic tissue differentiation | |
JP7483271B2 (ja) | テンプレート化されターゲット化されたバイオプシと処置のためのガイダンス及びトラッキングシステム | |
US10098566B2 (en) | System and method for lung visualization using ultrasound | |
US20230025480A1 (en) | System And Method For A Tracked Procedure | |
EP1880673B1 (en) | Method of quantifying organ dynamic behavior, device, method of predicting organ position, device, radiation irradiating method, device and organ abnormality detecting device | |
EP3608870A1 (en) | Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure | |
US11908584B2 (en) | Methods and systems for modeling a necrotized tissue volume in an ablation procedure | |
CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
CN108428233B (zh) | 基于知识的自动图像分割 | |
EP3788596B1 (en) | Lower to higher resolution image fusion | |
US11883219B2 (en) | Artificial intelligence intra-operative surgical guidance system and method of use | |
US20230177681A1 (en) | Method for determining an ablation region based on deep learning | |
CN115590623B (zh) | 穿刺路径规划系统 | |
CN110049715A (zh) | 用于显示患者的内脏的设备及相关联的显示方法 | |
CN113993475A (zh) | 通过图像分析来预测病变复发的方法 | |
Fontanella et al. | Diffusion models for counterfactual generation and anomaly detection in brain images | |
He et al. | Preoperative path planning algorithm for lung puncture biopsy based on path constraint and multidimensional space distance optimization | |
CN115886999A (zh) | 一种基于仿真虚拟技术的手术引导方法、装置和控制系统 | |
Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
Alzubaidi et al. | Toward the detection of abnormal chest radiographs the way radiologists do it | |
Gerolami et al. | An End-to-End Solution for Automatic Contouring of Tumor Region in Intraoperative Images of Breast Lumpectomy | |
Wang et al. | Respiratory motion tracking of the thoracoabdominal surface based on defect-aware point cloud registration | |
WO2023114470A1 (en) | Augmented and mixed reality incorporating pathology results in surgical settings | |
CN116889464A (zh) | 用于自动规划微创热消融的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |