CN112330603B - 基于软组织表面形变估计组织内部目标运动的系统与方法 - Google Patents
基于软组织表面形变估计组织内部目标运动的系统与方法 Download PDFInfo
- Publication number
- CN112330603B CN112330603B CN202011118867.9A CN202011118867A CN112330603B CN 112330603 B CN112330603 B CN 112330603B CN 202011118867 A CN202011118867 A CN 202011118867A CN 112330603 B CN112330603 B CN 112330603B
- Authority
- CN
- China
- Prior art keywords
- ref
- soft tissue
- target
- deformation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
- A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Surgery (AREA)
- Human Computer Interaction (AREA)
- Heart & Thoracic Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于软组织表面形变估计组织内部目标运动的系统和方法,所述系统由获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元组成。所述方法包括:获取单元获取软组织的实测影像(Ii),表面提取单元从Ii中提取软组织实测表面(fi);参考输入单元获取软组织参考影像(Iref),表面提取单元、目标位置提取单元从Iref中分别提取软组织参考表面(fref)、目标参考位置(tref);特征计算单元计算fi相对于fref的形变特征(Ψi),目标运动估计单元结合Ψi与tref对目标的运动位移进行估计。通过本发明,克服了现有技术中估计目标运动的时效性问题,同时能够降低图像质量对估计的准确性影响。
Description
技术领域
本发明属于运动估计的技术领域,具体地涉及基于软组织表面形变估计组织内部目标运动的系统与方法。
背景技术
目标运动估计是医学图像处理领域的一个重要研究方向。在医学图像中,软组织内的目标易因呼吸而产生自主运动,或受到脏器位移、形变的影响而发生位置的改变。在如穿刺活检、实时跟踪放射治疗的临床应用中,会给治疗准确性带来风险;在成像领域,会造成目标区域的边缘模糊或伪影。因此,对目标的运动信号进行估计具有显著的应用价值。在临床应用环境中,它可以降低治疗的不确定性;在快速成像领域,该方法有助于去除目标区域伪影或模糊现象。
对软组织内部目标进行运动估计的传统方法是基于配准的技术方案,其核心是获得最优的形变向量场,以描述软组织内部每一个体素的位移,从而估计目标的位移。具体可以包括基于灰度的形变配准、结合生物力学模型的形变配准方法。
基于形变配准的方法是以三维(three-dimension,3D)图像(记为V0)为基准。在运动估计的过程中,应用X光成像技术快速获得目标组织的二维(two-dimension,2D)投影图像(记为Ip)。以Ip为参考,通过对V0形变产生新的3D图像(记为V1),直至V1的投影图像I1与Ip达到最佳匹配时,对应的V1中即包含目标的运动位移信息。该方法中的“最佳匹配”通常是基于图像灰度的衡量准则,容易受到灰度变化及噪声的影响。配准所需的优化迭代过程花费的时间通常也限制了运动估计的快速性。结合生物力学模型的配准则是将形态学、材料分析、解剖结构的组织弹性等知识融入配准的过程,增加配准的边界条件限制,提升配准的准确性,在这个过程中,对解剖结构的生物力学特性的准确描述是难点。
发明内容
本发明要解决的技术问题是,克服现有技术的不足,提供了一种基于软组织表面形变估计组织内部目标运动的系统,包括:获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元。
获取单元,用于获取软组织的实测影像;参考输入单元,用于输入软组织的参考影像;表面提取单元,用于对所述软组织的实测影像、参考影像进行软组织表面提取;目标位置提取单元,用于对所述软组织的参考影像提取目标的参考位置;特征计算单元,用于计算软组织在实测影像中的表面相对于参考影像中的表面的形变特征;目标运动估计单元,用于对所述形变特征、目标的参考位置进行计算,输出目标的运动位移估计。
本发明的另一个目的是提供一种基于软组织表面形变估计组织内部目标运动的方法,通过以下步骤实现:
S1:参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref。
在本发明的至少一个实施例中,所述“医学影像设备”包括:计算机断层扫描图像(computed tomography,CT)、锥形束CT(cone-beam computed tomography,CBCT)、超声。
在本发明的至少一个实施例中,在影像拍摄前,向目标区域植入标记物,再采用医学影像设备拍摄软组织影像。
S2:目标位置提取单元从Iref中识别、计算、输出目标的参考位置(记为tref)。
S3:表面提取单元从Iref中提取软组织表面(记为fref)。
在本发明的至少一个实施例中,所述“提取软组织表面”的方法包括:应用自适应阈值分割、全卷积神经网络模型的边缘自动识别算法
S4:获取单元采用医学影像设备拍摄软组织的实测影像(记为Ii)。
在本发明的至少一个实施例中,所述“医学影像”包括:CT、CBCT、超声。
S5:表面提取单元从Ii中提取软组织表面(记为fi)。
S6:特征计算单元计算、输出fi相对于fref的形变特征(记为Ψi)。
(1)建模:建立一个全卷积神经网络模型(记为FCN),FCN的输入层是2个表面数据,隐含层包括{l1,…,lN-1},输出层是lN。lN输出的是2个表面数据的形变向量场(记为φk)。
(2)采集训练数据:使用医学成像设备采集多组软组织影像Ik,从Ik中提取软组织的变化表面fk(k=1,2,…,n),任取{fk|k=1,…,n}中的一个表面为参考表面(记为fref),其余为变化表面,共同组成训练样本对{(fk,fref)|k=1,…,n且k≠ref}。
在本发明的至少一个实施例中,所述“医学成像设备”包括四维(four-dimension,4D)CT、4D CBCT、三维超声。从采集到的影像中,直接勾画或者采用自动阈值分割、神经网络识别软组织表面。
(3)训练优化FCN:将{(fk,fref)|k=1,…,n且k≠ref}输入FCN,采用无监督学习进行模型的迭代优化,损失函数设置为φk作用于fref产生的表面(φk·fref)与fk的差距,当损失函数达到最优时,优化结束。
在本发明的至少一个实施例中,衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最小距离之和。
若kj=1,则Mj仅由输入层和输出层(l1)构成。
在本发明的至少一个实施例中,所述优选为训练完成的FCN中的卷积层,因为卷积层是神经网络模型中的特征提取层。但是本领域内的技术人员无需创造性劳动即可想到,可以将FCN中除卷积层外的其他层纳入构建的模型M中,增加由此构成的特征计算单元内的神经网络模型(M)个数。因此,类似的技术方案并未超出本发明的保护范畴。
步骤S7所述的“目标运动估计模型(m)”的设计方法是:
(1)数据采集:采用医学影像设备拍摄多组软组织影像Ip,从Ip中识别、计算软组织表面fp与目标位置tp,其中p=1,2,…,n′。
在本发明的至少一个实施例中,所述“医学成像设备”包括4D CT、三维超声。使用4D CT扫描得到软组织在一个呼吸周期内,均匀采样的10个3D CT图像。每个3D CT图像均包含软组织表面与目标的3D影像。或者通过向软组织的目标区域植入标记物,应用3D超声技术拍摄软组织的表面变化及标记物的位移。在获取到的影像中,直接勾画,或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
(2)计算形变特征Ψp,构成训练数据:在采集到的{(fp,tp)|p=1,2,…,n′}中,任取一组为参考样本,记为(fref,tref),其余为变化样本{(fp,tp)|p=1,2,…,n′且p≠ref},将{(fp,fref)|p=1,2,…,n′且p≠ref}输入特征计算单元,生成形变特征Ψp。该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p=1,2,…,n′且p≠ref}。
在本发明的至少一个实施例中,所述“目标运动估计模型(m)”包括:神经网络模型、全卷积神经网络模型、线性模型、支持向量机模型。
本发明提供一种基于软组织表面形变估计组织内部目标运动的系统与方法。该系统与方法的有益效果在于:现有技术依靠形变配准方法估计目标的位移,配准的过程是通过反复计算求得最优解的过程,这个过程增加了对目标位移估计的时间延迟;另一方面,配准的最优解往往是以形变后图像与对照图像的灰度相似性作为衡量标准的,这就决定了现有技术对目标位移估计的准确性会受到图像灰度差异、低对比度、噪声等影响。不同于现有技术,本发明提供的解决方案是将形变特征与目标位移进行拟合,不包含反复计算的过程,因而可以保证估计的时效性;另一方面,本发明中提及的形变特征仅仅是关于软组织表面的形变,与现有技术将整幅图作为配准对象不同,本发明仅关注表面轮廓的形变,因而降低了图像质量对精度的影响。因此,本发明能够在目标位移估计的准确性与时效性上同时给予保障,与现有技术相比具有较为显著的优势。
附图说明
图1是一种基于软组织表面形变估计组织内部目标运动的系统的示意图。
图2是一种基于软组织表面形变估计组织内部目标运动的方法的流程图。
图3是特征计算单元中多个神经网络模型的设计方法示意图。
图4是目标运动估计模型的方法示意图。
具体实施方式
本发明结合附图和实施例作进一步的说明。
实施例1
一种基于软组织表面形变估计组织内部目标运动的系统,如图1所示,包括:获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元。其中,获取单元,用于获取软组织的实测影像Ii;参考输入单元,用于输入软组织的参考影像Iref;表面提取单元,用于对所述软组织的实测影像Ii、参考影像Iref进行软组织表面提取,所提取的表面分别表示为fi、fref;目标位置提取单元,用于对所述软组织的参考影像Iref提取目标的参考位置tref;特征计算单元,用于计算软组织在实测影像中的表面fi相对于参考影像中的表面fref的形变特征(记为Ψi);目标运动估计单元,用于对所述形变特征Ψi、目标的参考位置tref进行计算,输出目标的运动位移估计
实施例2
一种基于软组织表面形变估计组织内部目标运动的方法,如图2所示,通过以下步骤实现:
S1:参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref。
在本发明的至少一个实施例中,所述“医学影像设备”包括:CT、CBCT、超声。
在本发明的至少一个实施例中,在影像拍摄前,向目标区域植入标记物,再采用医学影像设备拍摄软组织影像。
S2:目标位置提取单元从Iref中识别、计算、输出目标的参考位置(记为tref)。
S3:表面提取单元从Iref中提取软组织表面(记为fref)。
在本发明的至少一个实施例中,所述“提取软组织表面”的方法包括:应用自适应阈值分割、全卷积神经网络模型的边缘自动识别算法
S4:获取单元采用医学影像设备拍摄软组织的实测影像(记为Ii)。
在本发明的至少一个实施例中,所述“医学影像”包括:CT、CBCT、超声。
S5:表面提取单元从Ii中提取软组织表面(记为fi)。
S6:特征计算单元计算、输出fi相对于fref的形变特征(记为Ψi)。
(1)建模:建立一个全卷积神经网络模型(记为FCN),FCN的输入层是2个表面数据,隐含层包括{l1,…,lN-1},输出层是lN。lN输出的是2个表面数据的形变向量场φk。
(2)采集训练数据:使用医学成像设备采集多组软组织影像Ik,从Ik中提取软组织的变化表面fk(k=1,2,…,n),任取{fk|k=1,…,n}中的一个表面为参考表面(记为fref),其余为变化表面,共同组成训练样本对{(fk,fref)|k=1,…,n且k≠ref}。
在本发明的至少一个实施例中,所述“医学成像设备”包括4D CT、4D CBCT、三维超声。从采集到的影像中,直接勾画或者采用自动阈值分割、神经网络识别软组织表面。
(3)训练优化FCN:在图3所示实施例中,将{(fk,fref)|k=1,…,n且k≠ref}输入FCN,采用无监督学习进行模型的迭代优化,损失函数设置为φk作用于fref产生的表面(φk·fref)与fk的差距,当损失函数达到最优时,优化结束。
在本发明的至少一个实施例中,衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最小距离之和。
(4)构建在图3所示实施例中,即将训练完成的FCN中的所有层构建N个神经网络模型M={Mj|j=1,…,N}。每个Mj的输入层与FCN一致,是2个表面数据(fk,fref),输出层是lj,隐含层由{l1,…,lj-1}依次排序构成。
当j=1时,M1仅由输入层和输出层(l1)构成。
步骤S7所述的“目标运动估计模型(m)”的设计方法是:
(1)数据采集:采用医学影像设备拍摄多组软组织影像Ip,从Ip中识别、计算软组织表面fp与目标位置tp,其中p=1,2,…,n′。
在本发明的至少一个实施例中,所述“医学成像设备”包括4D CT、三维超声。使用4D CT扫描得到软组织在一个呼吸周期内,均匀采样的10个3D CT图像。每个3D CT图像均包含软组织表面与目标的3D影像。或者通过向软组织的目标区域植入标记物,应用3D超声技术拍摄软组织的表面变化及标记物的位移。在获取到的影像中,直接勾画,或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
(2)计算形变特征Ψp,构成训练数据:在采集到的{(fp,tp)|p=1,2,…,n′}中,任取一组为参考样本,记为(fref,tref),其余为变化样本{(fp,tp)|p=1,2,…,n′且p≠ref},将{(fp,fref)|p=1,2,…,n′且p≠ref}输入特征计算单元,生成形变特征Ψp。该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p=1,2,…,n′且p≠ref}。
在本发明的至少一个实施例中,所述“目标运动估计模型(m)”包括:神经网络模型、全卷积神经网络模型、线性模型、支持向量机模型。
本发明实现目标位移估计的技术方案核心是拟合,即以数学表达式关联目标位移与软组织表面的形变特征。由于数学表达式给出估计值的速度仅与计算机自身的计算速度有关,因此本发明能够保证估计的时效性。导致软组织内部目标运动的源头在于软组织的形变,最明显的形变是其表面的变化,因此,本发明提供的解决方案中,将描述软组织表面形变的特征作为关联对象,形变特征的提取则通过重建神经网络的隐含层输出实现,该神经网络的功能是实现实测表面与参考表面的匹配,而为了避免图像灰度的影响,匹配的对象采用从图像中提取的表面轮廓。
Claims (8)
1.一种基于软组织表面形变估计组织内部目标运动的方法,其特征在于,通过以下步骤实现:
S1:参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref;
S2:目标位置提取单元从Iref中识别、计算、输出目标的参考位置,记为tref;
S3:表面提取单元从Iref中提取软组织表面,记为fref;所述的提取软组织表面的方法包括:应用自适应阈值分割、全卷积神经网络模型的边缘自动识别算法;
S4:获取单元采用医学影像设备拍摄软组织的实测影像,记为Ii;
S5:表面提取单元从Ii中提取软组织表面,记为fi;
S6:特征计算单元计算、输出fi相对于fref的形变特征,记为Ψi,
(1)建模:建立一个全卷积神经网络模型,记为FCN,FCN的输入层是2个表面数据,隐含层包括{l1,…,lN-1},输出层是lN,lN输出的是2个表面数据的形变向量场,记为φk;
(2)采集训练数据:使用医学成像设备采集多组软组织影像Ik,从Ik中提取软组织的变化表面fk,其中k=1,2,…,n,任取{fk|k=1,…,n}中的一个表面为参考表面,记为fref,其余为变化表面,共同组成训练样本对{(fk,fref)|k=1,…,n且k≠ref};
(3)训练优化FCN:将{(fk,fref)|k=1,…,n且k≠ref}输入FCN,采用无监督学习进行模型的迭代优化,损失函数设置为φk作用于fref产生的表面(φk·fref)与fk的差距,当损失函数达到最优时,优化结束;衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最小距离之和;
2.根据权利要求1所述的方法,其特征在于,步骤S1和S4所述的医学影像设备,包括:计算机断层扫描图像、锥形束CT、超声,步骤S1在影像拍摄前,向目标区域植入标记物,再采用医学影像设备拍摄软组织影像。
3.根据权利要求1所述的方法,其特征在于,步骤(2)所述医学成像设备包括四维CT、4DCBCT、三维超声,从采集到的影像中,直接勾画或者采用自动阈值分割、神经网络识别软组织表面。
5.根据权利要求1所述的方法,其特征在于,步骤S7所述的目标运动估计模型m的设计方法是:
(1)数据采集:采用医学影像设备拍摄多组软组织影像Ip,从Ip中识别、计算软组织表面fp与目标位置tp,其中p=1,2,…,n′;
(2)计算形变特征Ψp,构成训练数据:在采集到的{(fp,tp)|p=1,2,…,n′}中,任取一组为参考样本,记为(fref,tref),其余为变化样本{(fp,tp)|p=1,2,…,n′且p≠ref},将{(fp,fref)|p=1,2,…,n′且p≠ref}输入特征计算单元,生成形变特征Ψp,该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p=1,2,…,n′且p≠ref};
6.根据权利要求5所述的方法,其特征在于,步骤(1)所述的医学影像设备包括4D CT、三维超声,使用4D CT扫描得到软组织在一个呼吸周期内,均匀采样的10个3D CT图像,每个3D CT图像均包含软组织表面与目标的3D影像,或者通过向软组织的目标区域植入标记物,应用3D超声技术拍摄软组织的表面变化及标记物的位移,在获取到的影像中,直接勾画,或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
7.根据权利要求5所述的方法,其特征在于,步骤(3)所述的目标运动估计模型m包括:神经网络模型、全卷积神经网络模型、线性模型、支持向量机模型。
8.一种基于软组织表面形变估计组织内部目标运动的系统,所述系统用于实现权利要求1-7任一所述基于软组织表面形变估计组织内部目标运动的方法,其特征在于,所述系统由获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元组成;其中获取单元,用于获取软组织的实测影像;参考输入单元,用于输入软组织的参考影像;表面提取单元,用于对所述软组织的实测影像、参考影像进行软组织表面提取;目标位置提取单元,用于对所述软组织的参考影像提取目标的参考位置;特征计算单元,用于计算软组织在实测影像中的表面相对于参考影像中的表面的形变特征;目标运动估计单元,用于对所述形变特征、目标的参考位置进行计算,输出目标的运动位移估计。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118867.9A CN112330603B (zh) | 2020-10-19 | 2020-10-19 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
PCT/CN2021/080052 WO2021213053A1 (zh) | 2020-10-19 | 2021-03-10 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
US17/571,562 US20220130048A1 (en) | 2020-10-19 | 2022-01-10 | System and method for estimating motion of target inside tissue based on surface deformation of soft tissue |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011118867.9A CN112330603B (zh) | 2020-10-19 | 2020-10-19 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112330603A CN112330603A (zh) | 2021-02-05 |
CN112330603B true CN112330603B (zh) | 2023-04-18 |
Family
ID=74314357
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011118867.9A Active CN112330603B (zh) | 2020-10-19 | 2020-10-19 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220130048A1 (zh) |
CN (1) | CN112330603B (zh) |
WO (1) | WO2021213053A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330603B (zh) * | 2020-10-19 | 2023-04-18 | 浙江省肿瘤医院 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054503A1 (ja) * | 2018-09-13 | 2020-03-19 | 国立大学法人京都大学 | 機械学習装置、推定装置、プログラム及び学習済みモデル |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7713205B2 (en) * | 2005-06-29 | 2010-05-11 | Accuray Incorporated | Dynamic tracking of soft tissue targets with ultrasound images, without using fiducial markers |
US20120209146A1 (en) * | 2009-11-05 | 2012-08-16 | National University Corporation Nagoya Institute Of Technology | Soft tissue elasticity distribution measurement method and soft tissue elasticity distribution measurement device |
AU2011207294A1 (en) * | 2010-01-22 | 2012-07-26 | Vanderbilt University | System and method for correcting data for deformations during image-guided procedures |
CN102949240B (zh) * | 2011-08-26 | 2014-11-26 | 高欣 | 一种影像导航肺部介入手术系统 |
CN103295234B (zh) * | 2013-05-17 | 2016-01-06 | 上海大图医疗科技有限公司 | 基于形变表面模型的医学图像分割系统及方法 |
CN103530884A (zh) * | 2013-10-21 | 2014-01-22 | 山东师范大学 | 基于边缘保护多尺度形变配准的图像引导自适应算法 |
CN104318553B (zh) * | 2014-10-15 | 2017-07-14 | 北京理工大学 | 基于自适应表面形变模型的ct图像肝脏分割方法 |
JP6626344B2 (ja) * | 2015-09-29 | 2019-12-25 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
CN106420055A (zh) * | 2016-02-15 | 2017-02-22 | 复旦大学 | 一种基于无线传输的脑组织变形矫正系统 |
CN108459286A (zh) * | 2017-02-20 | 2018-08-28 | 冯原 | 基于磁共振成像的体内软组织力学特性测试方法及装置 |
US10699410B2 (en) * | 2017-08-17 | 2020-06-30 | Siemes Healthcare GmbH | Automatic change detection in medical images |
JP7037136B2 (ja) * | 2017-08-18 | 2022-03-16 | 国立大学法人電気通信大学 | 生体内運動追跡装置、生体内運動追跡装置の作動方法およびプログラム |
US10636142B2 (en) * | 2018-04-20 | 2020-04-28 | Siemens Healthcare Gmbh | Real-time and accurate soft tissue deformation prediction |
US10842445B2 (en) * | 2018-11-08 | 2020-11-24 | General Electric Company | System and method for unsupervised deep learning for deformable image registration |
US10733745B2 (en) * | 2019-01-07 | 2020-08-04 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video |
CN112330603B (zh) * | 2020-10-19 | 2023-04-18 | 浙江省肿瘤医院 | 基于软组织表面形变估计组织内部目标运动的系统与方法 |
-
2020
- 2020-10-19 CN CN202011118867.9A patent/CN112330603B/zh active Active
-
2021
- 2021-03-10 WO PCT/CN2021/080052 patent/WO2021213053A1/zh active Application Filing
-
2022
- 2022-01-10 US US17/571,562 patent/US20220130048A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020054503A1 (ja) * | 2018-09-13 | 2020-03-19 | 国立大学法人京都大学 | 機械学習装置、推定装置、プログラム及び学習済みモデル |
Also Published As
Publication number | Publication date |
---|---|
CN112330603A (zh) | 2021-02-05 |
WO2021213053A1 (zh) | 2021-10-28 |
US20220130048A1 (en) | 2022-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
CN109408653B (zh) | 基于多特征检索和形变的人体发型生成方法 | |
CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
WO2006121164A1 (ja) | 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置 | |
CN111105424A (zh) | 淋巴结自动勾画方法及装置 | |
US9659390B2 (en) | Tomosynthesis reconstruction with rib suppression | |
CN109509193B (zh) | 一种基于高精度配准的肝脏ct图谱分割方法及系统 | |
CN112598649B (zh) | 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 | |
CN113327225B (zh) | 用于提供气道信息的方法 | |
Tun et al. | Feature extraction and classification of lung cancer nodule using image processing techniques | |
CN111932495B (zh) | 一种医学图像检测方法、装置及存储介质 | |
CN114270397A (zh) | 使用电特性断层成像确定流体和组织体积估计的系统和方法 | |
CN112330603B (zh) | 基于软组织表面形变估计组织内部目标运动的系统与方法 | |
CN110223331B (zh) | 一种大脑mr医学图像配准方法 | |
CN111640097A (zh) | 皮肤镜图像识别方法及设备 | |
CN111179373A (zh) | 医学图像去骨模型构建方法与骨信息去除方法 | |
Klinder et al. | Lobar fissure detection using line enhancing filters | |
Ataei et al. | Low dose ct denoising using dilated residual learning with perceptual loss and structural dissimilarity | |
CN116168097A (zh) | 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质 | |
CN115880358A (zh) | 定位模型的构建方法、影像标志点的定位方法及电子设备 | |
CN115222878A (zh) | 一种应用于肺支气管镜手术机器人的场景重建方法 | |
CN114298986A (zh) | 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统 | |
CN112967295A (zh) | 一种基于残差网络和注意力机制的图像处理方法及系统 | |
Malode | New approach of statistical analysis for lung disease diagnosis using microscopy images | |
Paul et al. | Computer-Aided Diagnosis Using Hybrid Technique for Fastened and Accurate Analysis of Tuberculosis Detection with Adaboost and Learning Vector Quantization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |