CN112330603A - 基于软组织表面形变估计组织内部目标运动的系统与方法 - Google Patents

基于软组织表面形变估计组织内部目标运动的系统与方法 Download PDF

Info

Publication number
CN112330603A
CN112330603A CN202011118867.9A CN202011118867A CN112330603A CN 112330603 A CN112330603 A CN 112330603A CN 202011118867 A CN202011118867 A CN 202011118867A CN 112330603 A CN112330603 A CN 112330603A
Authority
CN
China
Prior art keywords
ref
soft tissue
target
deformation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011118867.9A
Other languages
English (en)
Other versions
CN112330603B (zh
Inventor
张婕
白雪
单国平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cancer Hospital
Original Assignee
Zhejiang Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cancer Hospital filed Critical Zhejiang Cancer Hospital
Priority to CN202011118867.9A priority Critical patent/CN112330603B/zh
Publication of CN112330603A publication Critical patent/CN112330603A/zh
Priority to PCT/CN2021/080052 priority patent/WO2021213053A1/zh
Priority to US17/571,562 priority patent/US20220130048A1/en
Application granted granted Critical
Publication of CN112330603B publication Critical patent/CN112330603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于软组织表面形变估计组织内部目标运动的系统和方法，所述系统由获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元组成。所述方法包括：获取单元获取软组织的实测影像(Ii)，表面提取单元从Ii中提取软组织实测表面(fi)；参考输入单元获取软组织参考影像(Iref)，表面提取单元、目标位置提取单元从Iref中分别提取软组织参考表面(fref)、目标参考位置(tref)；特征计算单元计算fi相对于fref的形变特征(Ψi)，目标运动估计单元结合Ψi与tref对目标的运动位移进行估计。通过本发明，克服了现有技术中估计目标运动的时效性问题，同时能够降低图像质量对估计的准确性影响。

Description

基于软组织表面形变估计组织内部目标运动的系统与方法
技术领域
本发明属于运动估计的技术领域，具体地涉及基于软组织表面形变估计组织内部目标 运动的系统与方法。
背景技术
目标运动估计是医学图像处理领域的一个重要研究方向。在医学图像中，软组织内的 目标易因呼吸而产生自主运动，或受到脏器位移、形变的影响而发生位置的改变。在如穿刺 活检、实时跟踪放射治疗的临床应用中，会给治疗准确性带来风险；在成像领域，会造成目 标区域的边缘模糊或伪影。因此，对目标的运动信号进行估计具有显著的应用价值。在临床 应用环境中，它可以降低治疗的不确定性；在快速成像领域，该方法有助于去除目标区域伪 影或模糊现象。
对软组织内部目标进行运动估计的传统方法是基于配准的技术方案，其核心是获得最 优的形变向量场，以描述软组织内部每一个体素的位移，从而估计目标的位移。具体可以包 括基于灰度的形变配准、结合生物力学模型的形变配准方法。
基于形变配准的方法是以三维(three-dimension,3D)图像(记为V0)为基准。在运动 估计的过程中，应用X光成像技术快速获得目标组织的二维(two-dimension,2D)投影图像 (记为Ip)。以Ip为参考，通过对V0形变产生新的3D图像(记为V1)，直至V1的投影图像 I1与Ip达到最佳匹配时，对应的V1中即包含目标的运动位移信息。该方法中的“最佳匹配” 通常是基于图像灰度的衡量准则，容易受到灰度变化及噪声的影响。配准所需的优化迭代过 程花费的时间通常也限制了运动估计的快速性。结合生物力学模型的配准则是将形态学、材料分析、解剖结构的组织弹性等知识融入配准的过程，增加配准的边界条件限制，提升配准的准确性，在这个过程中，对解剖结构的生物力学特性的准确描述是难点。
发明内容
本发明要解决的技术问题是，克服现有技术的不足，提供了一种基于软组织表面形变 估计组织内部目标运动的系统，包括：获取单元、参考输入单元、2个表面提取单元、目标 位置提取单元、特征计算单元、目标运动估计单元。
获取单元，用于获取软组织的实测影像；参考输入单元，用于输入软组织的参考影像； 表面提取单元，用于对所述软组织的实测影像、参考影像进行软组织表面提取；目标位置提 取单元，用于对所述软组织的参考影像提取目标的参考位置；特征计算单元，用于计算软组 织在实测影像中的表面相对于参考影像中的表面的形变特征；目标运动估计单元，用于对所 述形变特征、目标的参考位置进行计算，输出目标的运动位移估计。
本发明的另一个目的是提供一种基于软组织表面形变估计组织内部目标运动的方法， 通过以下步骤实现：
S1：参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref。
在本发明的至少一个实施例中，所述“医学影像设备”包括：计算机断层扫描图像(computed tomography,CT)、锥形束CT(cone-beam computed tomography,CBCT)、超声。
在本发明的至少一个实施例中，在影像拍摄前，向目标区域植入标记物，再采用医学 影像设备拍摄软组织影像。
S2：目标位置提取单元从Iref中识别、计算、输出目标的参考位置(记为tref)。
S3：表面提取单元从Iref中提取软组织表面(记为fref)。
在本发明的至少一个实施例中，所述“提取软组织表面”的方法包括：应用自适应阈 值分割、全卷积神经网络模型的边缘自动识别算法
S4：获取单元采用医学影像设备拍摄软组织的实测影像(记为Ii)。
在本发明的至少一个实施例中，所述“医学影像”包括：CT、CBCT、超声。
S5：表面提取单元从Ii中提取软组织表面(记为fi)。
S6：特征计算单元计算、输出fi相对于fref的形变特征(记为Ψi)。
在本发明的至少一个实施例中，所述“计算、输出fi相对于fref的形变特征”的方法是： 将fi、fref输入
Figure BDA0002731306840000021
个神经网络模型
Figure BDA0002731306840000022
这
Figure BDA0002731306840000023
个模型的输出结果共同构成形变 特征
Figure BDA0002731306840000024
S7：Ψi、tref输入目标运动估计单元，单元中的目标运动估计模型(m)对Ψi、tref进行 计算，输出目标的运动估计(记为
Figure BDA0002731306840000025
)。
步骤S6所述“特征计算单元”中的“
Figure BDA0002731306840000026
个神经网络模型
Figure BDA0002731306840000027
”的设计方法是：
(1)建模：建立一个全卷积神经网络模型(记为FCN)，FCN的输入层是2个表面数据，隐含层包括{l1,…,lN-1}，输出层是lN。lN输出的是2个表面数据的形变向量场(记为φk)。
(2)采集训练数据：使用医学成像设备采集多组软组织影像Ik，从Ik中提取软组织的 变化表面fk(k＝1,2,…,n)，任取{fk|k＝1,…,n}中的一个表面为参考表面(记为fref)，其余 为变化表面，共同组成训练样本对{(fk,fref)|k＝1,…,n且k≠ref}。
在本发明的至少一个实施例中，所述“医学成像设备”包括四维(four-dimension,4D) CT、4D CBCT、三维超声。从采集到的影像中，直接勾画或者采用自动阈值分割、神经网络 识别软组织表面。
(3)训练优化FCN：将{(fk,fref)|k＝1,…,n且k≠ref}输入FCN，采用无监督学习进行模型的迭代优化，损失函数设置为φk作用于fref产生的表面(φk·fref)与fk的差距，当损失 函数达到最优时，优化结束。
在本发明的至少一个实施例中，衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最 小距离之和。
(4)构建
Figure BDA0002731306840000034
在训练完成的FCN的层结构{l1,…,lN}中，取其中的
Figure BDA0002731306840000035
层
Figure BDA0002731306840000036
分别作为
Figure BDA0002731306840000037
个Mj的输出层，输入层与FCN一致，均为2个表面数据，每个Mj的隐含层由
Figure BDA0002731306840000038
依次排序构成。
若kj＝1，则Mj仅由输入层和输出层(l1)构成。
在本发明的至少一个实施例中，所述
Figure BDA0002731306840000039
优选为训 练完成的FCN中的卷积层，因为卷积层是神经网络模型中的特征提取层。但是本领域内的技 术人员无需创造性劳动即可想到，可以将FCN中除卷积层外的其他层纳入构建的模型M中， 增加由此构成的特征计算单元内的神经网络模型(M)个数。因此，类似的技术方案并未超 出本发明的保护范畴。
步骤S7所述的“目标运动估计模型(m)”的设计方法是：
(1)数据采集：采用医学影像设备拍摄多组软组织影像Ip，从Ip中识别、计算软组织表面fp与目标位置tp，其中p＝1,2,…,n′。
在本发明的至少一个实施例中，所述“医学成像设备”包括4D CT、三维超声。使用4D CT扫描得到软组织在一个呼吸周期内，均匀采样的10个3D CT图像。每个3D CT图像 均包含软组织表面与目标的3D影像。或者通过向软组织的目标区域植入标记物，应用3D超 声技术拍摄软组织的表面变化及标记物的位移。在获取到的影像中，直接勾画，或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
(2)计算形变特征Ψp，构成训练数据：在采集到的{(fp,tp)|p＝1,2,…,n′}中，任取一 组为参考样本，记为(fref,tref)，其余为变化样本{(fp,tp)|p＝1,2,…,n′且p≠ref}，将{(fp,fref)|p＝1,2,…,n′且p≠ref}输入特征计算单元，生成形变特征Ψp。该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p＝1,2,…,n′且p≠ref}。
(3)拟合目标运动估计模型(m)：该模型的输入数据是tref、Ψp，输出是对于目标位移的估计(记为
Figure BDA0002731306840000041
)，通过迭代优化，使得模型输出的
Figure BDA0002731306840000042
与其真实值tp间的差距达到最小。
在本发明的至少一个实施例中，所述“模型输出的
Figure BDA0002731306840000043
与其真实值tp间的差距”用
Figure BDA0002731306840000044
与tp间的欧几里得距离衡量。
在本发明的至少一个实施例中，所述“目标运动估计模型(m)”包括：神经网络模型、 全卷积神经网络模型、线性模型、支持向量机模型。
本发明提供一种基于软组织表面形变估计组织内部目标运动的系统与方法。该系统与 方法的有益效果在于：现有技术依靠形变配准方法估计目标的位移，配准的过程是通过反复 计算求得最优解的过程，这个过程增加了对目标位移估计的时间延迟；另一方面，配准的最 优解往往是以形变后图像与对照图像的灰度相似性作为衡量标准的，这就决定了现有技术对 目标位移估计的准确性会受到图像灰度差异、低对比度、噪声等影响。不同于现有技术，本 发明提供的解决方案是将形变特征与目标位移进行拟合，不包含反复计算的过程，因而可以 保证估计的时效性；另一方面，本发明中提及的形变特征仅仅是关于软组织表面的形变，与 现有技术将整幅图作为配准对象不同，本发明仅关注表面轮廓的形变，因而降低了图像质量 对精度的影响。因此，本发明能够在目标位移估计的准确性与时效性上同时给予保障，与现 有技术相比具有较为显著的优势。
附图说明
图1是一种基于软组织表面形变估计组织内部目标运动的系统的示意图。
图2是一种基于软组织表面形变估计组织内部目标运动的方法的流程图。
图3是特征计算单元中多个神经网络模型的设计方法示意图。
图4是目标运动估计模型的方法示意图。
具体实施方式
本发明结合附图和实施例作进一步的说明。
实施例1
一种基于软组织表面形变估计组织内部目标运动的系统，如图1所示，包括：获取单 元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元。其中，获取单元，用于获取软组织的实测影像Ii；参考输入单元，用于输入软组织的参考影像Iref；表面提取单元，用于对所述软组织的实测影像Ii、参考影像Iref进行软组织表面提取，所提取的表面分别表示为fi、fref；目标位置提取单元，用于对所述软组织的参考影像Iref提取目标的参考位置tref；特征计算单元，用于计算软组织在实测影像中的表面fi相对 于参考影像中的表面fref的形变特征(记为Ψi)；目标运动估计单元，用于对所述形变特征Ψi、 目标的参考位置tref进行计算，输出目标的运动位移估计
Figure BDA0002731306840000051
实施例2
一种基于软组织表面形变估计组织内部目标运动的方法，如图2所示，通过以下步骤 实现：
S1：参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref。
在本发明的至少一个实施例中，所述“医学影像设备”包括：CT、CBCT、超声。
在本发明的至少一个实施例中，在影像拍摄前，向目标区域植入标记物，再采用医学 影像设备拍摄软组织影像。
S2：目标位置提取单元从Iref中识别、计算、输出目标的参考位置(记为tref)。
S3：表面提取单元从Iref中提取软组织表面(记为fref)。
在本发明的至少一个实施例中，所述“提取软组织表面”的方法包括：应用自适应阈 值分割、全卷积神经网络模型的边缘自动识别算法
S4：获取单元采用医学影像设备拍摄软组织的实测影像(记为Ii)。
在本发明的至少一个实施例中，所述“医学影像”包括：CT、CBCT、超声。
S5：表面提取单元从Ii中提取软组织表面(记为fi)。
S6：特征计算单元计算、输出fi相对于fref的形变特征(记为Ψi)。
在本发明的至少一个实施例中，所述“计算、输出fi相对于fref的形变特征”的方法是： 将fi、fref输入
Figure BDA0002731306840000052
个神经网络模型
Figure BDA0002731306840000053
这
Figure BDA0002731306840000054
个模型的输出结果共同构成形变 特征
Figure BDA0002731306840000055
S7：Ψi、tref输入目标运动估计单元，单元中的目标运动估计模型(m)对Ψi、tref进行 计算，输出目标的运动估计(记为
Figure BDA0002731306840000056
)
步骤S6所述“特征计算单元”中的“
Figure BDA0002731306840000057
个神经网络模型
Figure BDA0002731306840000058
”的设计方法如下：
(1)建模：建立一个全卷积神经网络模型(记为FCN)，FCN的输入层是2个表面数据，隐含层包括{l1,…,lN-1}，输出层是lN。lN输出的是2个表面数据的形变向量场φk。
(2)采集训练数据：使用医学成像设备采集多组软组织影像Ik，从Ik中提取软组织的 变化表面fk(k＝1,2,…,n)，任取{fk|k＝1,…,n}中的一个表面为参考表面(记为fref)，其余 为变化表面，共同组成训练样本对{(fk,fref)|k＝1,…,n且k≠ref}。
在本发明的至少一个实施例中，所述“医学成像设备”包括4D CT、4D CBCT、三维超声。从采集到的影像中，直接勾画或者采用自动阈值分割、神经网络识别软组织表面。
(3)训练优化FCN：在图3所示实施例中，将{(fk,fref)|k＝1,…,n且k≠ref}输入FCN， 采用无监督学习进行模型的迭代优化，损失函数设置为φk作用于fref产生的表面(φk·fref)与 fk的差距，当损失函数达到最优时，优化结束。
在本发明的至少一个实施例中，衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最 小距离之和。
(4)构建
Figure BDA0002731306840000064
在图3所示实施例中，
Figure BDA0002731306840000065
即将训练完成的FCN中的所有层构建N个神经网络模型M＝{Mj|j＝1,…,N}。每个Mj的输入层与FCN一致， 是2个表面数据(fk,fref)，输出层是lj，隐含层由{l1,…,lj-1}依次排序构成。
当j＝1时，M1仅由输入层和输出层(l1)构成。
步骤S7所述的“目标运动估计模型(m)”的设计方法是：
(1)数据采集：采用医学影像设备拍摄多组软组织影像Ip，从Ip中识别、计算软组织表面fp与目标位置tp，其中p＝1,2,…,n′。
在本发明的至少一个实施例中，所述“医学成像设备”包括4D CT、三维超声。使用4D CT扫描得到软组织在一个呼吸周期内，均匀采样的10个3D CT图像。每个3D CT图像 均包含软组织表面与目标的3D影像。或者通过向软组织的目标区域植入标记物，应用3D超 声技术拍摄软组织的表面变化及标记物的位移。在获取到的影像中，直接勾画，或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
(2)计算形变特征Ψp，构成训练数据：在采集到的{(fp,tp)|p＝1,2,…,n′}中，任取一 组为参考样本，记为(fref,tref)，其余为变化样本{(fp,tp)|p＝1,2,…,n′且p≠ref}，将 {(fp,fref)|p＝1,2,…,n′且p≠ref}输入特征计算单元，生成形变特征Ψp。该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p＝1,2,…,n′且p≠ref}。
(3)拟合目标运动估计模型(m)：在图4所示的实施例中，该模型的输入数据是tref、Ψp，输出是对于目标位移的估计(记为
Figure BDA0002731306840000071
)，通过迭代优化，使得模型输出的
Figure BDA0002731306840000072
与其真实值tp间的差距达到最小。
在本发明的至少一个实施例中，所述“模型输出的
Figure BDA0002731306840000073
与其真实值tp间的差距”用
Figure BDA0002731306840000074
与tp间的欧几里得距离衡量。
在本发明的至少一个实施例中，所述“目标运动估计模型(m)”包括：神经网络模型、 全卷积神经网络模型、线性模型、支持向量机模型。
本发明实现目标位移估计的技术方案核心是拟合，即以数学表达式关联目标位移与软 组织表面的形变特征。由于数学表达式给出估计值的速度仅与计算机自身的计算速度有关， 因此本发明能够保证估计的时效性。导致软组织内部目标运动的源头在于软组织的形变，最 明显的形变是其表面的变化，因此，本发明提供的解决方案中，将描述软组织表面形变的特 征作为关联对象，形变特征的提取则通过重建神经网络的隐含层输出实现，该神经网络的功 能是实现实测表面与参考表面的匹配，而为了避免图像灰度的影响，匹配的对象采用从图像 中提取的表面轮廓。

Claims (10)

1.一种基于软组织表面形变估计组织内部目标运动的系统，其特征在于，所述系统由获取单元、参考输入单元、2个表面提取单元、目标位置提取单元、特征计算单元、目标运动估计单元组成。
2.根据权利要求1所述的一种基于软组织表面形变估计组织内部目标运动的系统，其特征在于，获取单元，用于获取软组织的实测影像；参考输入单元，用于输入软组织的参考影像；表面提取单元，用于对所述软组织的实测影像、参考影像进行软组织表面提取；目标位置提取单元，用于对所述软组织的参考影像提取目标的参考位置；特征计算单元，用于计算软组织在实测影像中的表面相对于参考影像中的表面的形变特征；目标运动估计单元，用于对所述形变特征、目标的参考位置进行计算，输出目标的运动位移估计。
3.一种基于软组织表面形变估计组织内部目标运动的方法，其特征在于，通过以下步骤实现：
S1：参考输入单元采用医学影像设备拍摄软组织影像作为参考影像Iref；
S2：目标位置提取单元从Iref中识别、计算、输出目标的参考位置(记为tref)；
S3：表面提取单元从Iref中提取软组织表面(记为fref)；所述的提取软组织表面的方法包括：应用自适应阈值分割、全卷积神经网络模型的边缘自动识别算法；
S4：获取单元采用医学影像设备拍摄软组织的实测影像(记为Ii)；
S5：表面提取单元从Ii中提取软组织表面(记为fi)；
S6：特征计算单元计算、输出fi相对于fref的形变特征(记为Ψi)，
所述计算、输出fi相对于fref的形变特征的方法是：将fi、fref输入
Figure FDA0002731306830000011
个神经网络模型
Figure FDA0002731306830000012
这
Figure FDA0002731306830000013
个模型的输出结果共同构成形变特征
Figure FDA0002731306830000014
S7：Ψi、tref输入目标运动估计单元，单元中的目标运动估计模型(m)对Ψi、tref进行计算，输出目标的运动估计(记为
Figure FDA0002731306830000015
)。
4.根据权利要求3所述的方法，其特征在于，步骤S1和S4所述的医学影像设备，包括：计算机断层扫描图像、锥形束CT、超声，步骤S1在影像拍摄前，向目标区域植入标记物，再采用医学影像设备拍摄软组织影像。
5.根据权利要求3所述的方法，其特征在于，步骤S6所述特征计算单元中的
Figure RE-FDA0002856196870000016
个神经网络模型
Figure RE-FDA0002856196870000017
”的设计方法是：
(1)建模：建立一个全卷积神经网络模型(记为FCN)，FCN的输入层是2个表面数据，隐含层包括{l1,…,lN-1}，输出层是lN。lN输出的是2个表面数据的形变向量场(记为φk)；
(2)采集训练数据：使用医学成像设备采集多组软组织影像Ik，从Ik中提取软组织的变化表面fk(k＝1,2,…,n)，任取{fk|k＝1,…,n}中的一个表面为参考表面(记为fref)，其余为变化表面，共同组成训练样本对{(fk,fref)|k＝1,…,n且k≠ref}；
(3)训练优化FCN：将{(fk,fref)|k＝1,…,n且k≠ref}输入FCN，采用无监督学习进行模型的迭代优化，损失函数设置为φk作用于fref产生的表面(φk·fref)与fk的差距，当损失函数达到最优时，优化结束；所述衡量φk·fref与fk差距的指标是φk·fref中各点到fk的最小距离之和；
(4)构建
Figure RE-FDA0002856196870000021
在训练完成的FCN的层结构{l1,…,lN}中，取其中的
Figure RE-FDA0002856196870000022
层
Figure RE-FDA0002856196870000023
分别作为
Figure RE-FDA0002856196870000024
个Mj的输出层，输入层与FCN一致，均为2个表面数据，每个Mj的隐含层由
Figure RE-FDA0002856196870000025
依次排序构成。
6.根据权利要求5所述的方法，其特征在于，步骤(2)所述医学成像设备包括四维CT、4DCBCT、三维超声，从采集到的影像中，直接勾画或者采用自动阈值分割、神经网络识别软组织表面。
7.根据权利要求5所述的方法，其特征在于，步骤(4)中，若kj＝1，则Mj仅由输入层和输出层(l1)构成，所述
Figure FDA0002731306830000029
选为训练完成的FCN中的卷积层。
8.根据权利要求3所述的方法，其特征在于，步骤S7所述的的目标运动估计模型(m)的设计方法是：
(1)数据采集：采用医学影像设备拍摄多组软组织影像Ip，从Ip中识别、计算软组织表面fp与目标位置tp，其中p＝1,2,…,n′；
(2)计算形变特征Ψp，构成训练数据：在采集到的{(fp,tp)|p＝1,2,…,n′}中，任取一组为参考样本，记为(fref,tref)，其余为变化样本{(fp,tp)|p＝1,2,…,n′且p≠ref}，将{(fp,fref)|p＝1,2,…,n′且p≠ref}输入特征计算单元，生成形变特征Ψp。该形变特征与tp、tref共同构成训练数据{(Ψp,tp,tref)|p＝1,2,…,n′且p≠ref}；
(3)拟合目标运动估计模型(m)：该模型的输入数据是tref、Ψp，输出是对于目标位移的估计(记为
Figure FDA0002731306830000031
)，通过迭代优化，使得模型输出的
Figure FDA0002731306830000032
与其真实值tp间的差距达到最小，所述的模型输出的
Figure FDA0002731306830000033
与其真实值tp间的差距用
Figure FDA0002731306830000034
与tp间的欧几里得距离衡量。
9.根据权利要求8所述的方法，其特征在于，步骤(1)所述的医学成像设备包括4D CT、三维超声，使用4D CT扫描得到软组织在一个呼吸周期内，均匀采样的10个3D CT图像，每个3D CT图像均包含软组织表面与目标的3D影像，或者通过向软组织的目标区域植入标记物，应用3D超声技术拍摄软组织的表面变化及标记物的位移，在获取到的影像中，直接勾画，或者采用自动阈值分割、神经网络模型识别软组织表面与目标位置。
10.根据权利要求8所述的方法，其特征在于，步骤(3)所述的目标运动估计模型(m)包括：神经网络模型、全卷积神经网络模型、线性模型、支持向量机模型。
CN202011118867.9A 2020-10-19 2020-10-19 基于软组织表面形变估计组织内部目标运动的系统与方法 Active CN112330603B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011118867.9A CN112330603B (zh) 2020-10-19 2020-10-19 基于软组织表面形变估计组织内部目标运动的系统与方法
PCT/CN2021/080052 WO2021213053A1 (zh) 2020-10-19 2021-03-10 基于软组织表面形变估计组织内部目标运动的系统与方法
US17/571,562 US20220130048A1 (en) 2020-10-19 2022-01-10 System and method for estimating motion of target inside tissue based on surface deformation of soft tissue

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011118867.9A CN112330603B (zh) 2020-10-19 2020-10-19 基于软组织表面形变估计组织内部目标运动的系统与方法

Publications (2)

Publication Number Publication Date
CN112330603A true CN112330603A (zh) 2021-02-05
CN112330603B CN112330603B (zh) 2023-04-18

Family

ID=74314357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011118867.9A Active CN112330603B (zh) 2020-10-19 2020-10-19 基于软组织表面形变估计组织内部目标运动的系统与方法

Country Status (3)

Country Link
US (1) US20220130048A1 (zh)
CN (1) CN112330603B (zh)
WO (1) WO2021213053A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213053A1 (zh) * 2020-10-19 2021-10-28 浙江省肿瘤医院 基于软组织表面形变估计组织内部目标运动的系统与方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252886A (zh) * 2005-06-29 2008-08-27 艾可瑞公司 不用基准标记而用超声波图像对软组织目标的动态跟踪
US20120209146A1 (en) * 2009-11-05 2012-08-16 National University Corporation Nagoya Institute Of Technology Soft tissue elasticity distribution measurement method and soft tissue elasticity distribution measurement device
CN102949240A (zh) * 2011-08-26 2013-03-06 高欣 一种影像导航肺部介入手术系统
CN106420055A (zh) * 2016-02-15 2017-02-22 复旦大学 一种基于无线传输的脑组织变形矫正系统
CN108459286A (zh) * 2017-02-20 2018-08-28 冯原 基于磁共振成像的体内软组织力学特性测试方法及装置
WO2020054503A1 (ja) * 2018-09-13 2020-03-19 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295234B (zh) * 2013-05-17 2016-01-06 上海大图医疗科技有限公司 基于形变表面模型的医学图像分割系统及方法
CN103530884A (zh) * 2013-10-21 2014-01-22 山东师范大学 基于边缘保护多尺度形变配准的图像引导自适应算法
CN104318553B (zh) * 2014-10-15 2017-07-14 北京理工大学 基于自适应表面形变模型的ct图像肝脏分割方法
US10733745B2 (en) * 2019-01-07 2020-08-04 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for deriving a three-dimensional (3D) textured surface from endoscopic video
CN112330603B (zh) * 2020-10-19 2023-04-18 浙江省肿瘤医院 基于软组织表面形变估计组织内部目标运动的系统与方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101252886A (zh) * 2005-06-29 2008-08-27 艾可瑞公司 不用基准标记而用超声波图像对软组织目标的动态跟踪
US20120209146A1 (en) * 2009-11-05 2012-08-16 National University Corporation Nagoya Institute Of Technology Soft tissue elasticity distribution measurement method and soft tissue elasticity distribution measurement device
CN102949240A (zh) * 2011-08-26 2013-03-06 高欣 一种影像导航肺部介入手术系统
CN106420055A (zh) * 2016-02-15 2017-02-22 复旦大学 一种基于无线传输的脑组织变形矫正系统
CN108459286A (zh) * 2017-02-20 2018-08-28 冯原 基于磁共振成像的体内软组织力学特性测试方法及装置
WO2020054503A1 (ja) * 2018-09-13 2020-03-19 国立大学法人京都大学 機械学習装置、推定装置、プログラム及び学習済みモデル

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAMOMILLA, V.；ET AL: "《Soft tissue displacement over pelvic anatomical landmarks during 3-D hip movements》", 《JOURNAL OF BIOMECHANICS》 *
肖洪波，等: "《基于超声引导下的软组织内靶点运动预测模型》", 《青海大学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213053A1 (zh) * 2020-10-19 2021-10-28 浙江省肿瘤医院 基于软组织表面形变估计组织内部目标运动的系统与方法

Also Published As

Publication number Publication date
CN112330603B (zh) 2023-04-18
WO2021213053A1 (zh) 2021-10-28
US20220130048A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11514573B2 (en) Estimating object thickness with neural networks
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
WO2006121164A1 (ja) 臓器動態の定量化方法、装置、臓器位置の予測方法、装置、放射線照射方法、装置及び臓器異常検出装置
US9111174B2 (en) Machine learnng techniques for pectoral muscle equalization and segmentation in digital mammograms
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
Zheng et al. Scaled, patient-specific 3D vertebral model reconstruction based on 2D lateral fluoroscopy
Tun et al. Feature extraction and classification of lung cancer nodule using image processing techniques
Teixeira et al. Generating synthetic x-ray images of a person from the surface geometry
CN113327225A (zh) 用于提供气道信息的方法
CN112330603B (zh) 基于软组织表面形变估计组织内部目标运动的系统与方法
JP5364009B2 (ja) 画像生成装置、画像生成方法、及びそのプログラム
CN113870331A (zh) 一种基于深度学习的胸部ct与x光实时配准算法
CN111179373B (zh) 医学图像去骨模型构建方法与骨信息去除方法
CN115880358A (zh) 定位模型的构建方法、影像标志点的定位方法及电子设备
CN116168097A (zh) 构建cbct勾画模型和勾画cbct图像的方法、装置、设备及介质
US11837352B2 (en) Body representations
CN115222878A (zh) 一种应用于肺支气管镜手术机器人的场景重建方法
CN114298986A (zh) 一种基于多视点无序x光片的胸腔骨骼三维构建方法及系统
CN111640127B (zh) 一种用于骨科的精准临床诊断导航方法
JP6501569B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Van Houtte et al. A deep learning approach to horse bone segmentation from digitally reconstructed radiographs
CN116012526B (zh) 一种基于二维影像的三维ct影像病灶重建方法
CN117274772B (zh) 一种椎骨旋转估计模型的训练方法
Hong et al. Automatic segmentation and registration of lung surfaces in temporal chest CT scans
Meng et al. Weighted local mutual information for 2D-3D registration in vascular interventions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant