CN114913385A - 一种多模态影像数据分析方法和系统 - Google Patents

一种多模态影像数据分析方法和系统 Download PDF

Info

Publication number
CN114913385A
CN114913385A CN202210758595.1A CN202210758595A CN114913385A CN 114913385 A CN114913385 A CN 114913385A CN 202210758595 A CN202210758595 A CN 202210758595A CN 114913385 A CN114913385 A CN 114913385A
Authority
CN
China
Prior art keywords
image data
candidate region
input
image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210758595.1A
Other languages
English (en)
Inventor
李林法
谢玮宜
庞伟强
易贺庆
何林阳
龙斌
叶挺
宋金龄
王运
靳水
施伟军
任晋忠
吴红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Cancer Hospital
Original Assignee
Zhejiang Cancer Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Cancer Hospital filed Critical Zhejiang Cancer Hospital
Priority to CN202210758595.1A priority Critical patent/CN114913385A/zh
Publication of CN114913385A publication Critical patent/CN114913385A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种多模态影像数据分析方法和系统，所述方法通过基于目标的候选区域分割来充分利用多角度的具有时序性的图像数据，在利用第一PET图像数据的同时和CT图像数据发生先于神经网络模型使用前的第一次融合。本发明提高了多模态分析效率；最终能够实现高维海量影像数据的分析、建模、快速分割、精确配准和高质量可视化，挖掘多源信息的内在关联性，实现多层次信息的有效融合。

Description

一种多模态影像数据分析方法和系统
【技术领域】
本发明属于影像数据分析领域，尤其涉及一种多模态影像数据分析方法和系统。
【背景技术】
目前，医学影像技术已经由传统单一普通X线加血管造影检查形成包括UI、CT、CR、DR、MRI、PET、PET-CT、数字减影血管造影以及PACS等多种技术组成的医学影像学体系；单模态的医疗成像设备，例如：正电子发射型计算机断层扫描(Positron Emission ComputedTomography，PET)成像设备、计算机X线断层扫描(Computed Tomography，CT)成像设备以及磁共振(Magnetic Resonance，MR)成像设备等对不同疾病和病灶部位的辅助诊断方面各有优势，患者往往需要在不同科室完成多次不同成像设备的检查，才能获得较为全面的检查结果；
我国影像需求增长远高于影像医生增长比，导致医生产能负荷重、患者看病难等问题。而基于影像大数据的智能分析应用能部分替代医生工作，提高影像分析效率，核医学PET-CT影像不同于传统的CT、超声等影像，需要既有解剖结构影像的基础，又需要有代谢分子影像的基础。因此判读存在较大范围的随意性，影响判读分析的准确性。因此，运用信息技术提取、归纳PET/CT医学专家先验知识，形成较为统一的定量测度标准，有利于PET/CT影像医师的整体诊断水平的提高。
多模态分子影像分析技术，是一种多模态分子影像技术，针对该技术的发展目前正处于初期阶段，研究多集中在对现有神经网络技术的利用，没有从系统层面寻求效率提升解决方案。也就是说，现有技术在进行多模态分析时往往忽略了对PET图像中多角度图像的利用而集中在神经网络模型的利用上，而实际上，直接选择一个PET图像进行利用显然会丢失大量的扫描图像信息，而将这些图像用于三维重建则一方面会带来大量的训练复杂度，另一方面，对PET扫描设备也提出了旋转角度改进的要求，本发明通过基于目标的候选区域分割来充分利用多角度具有时序性的图像数据，在利用第一PET图像数据的同时和CT图像数据发生先于神经网络模型使用前的第一次融合，降低了后续神经网络的训练和计算开销，提高了多模态分析效率；最终能够实现高维海量影像数据的分析、建模、快速分割、精确配准和高质量可视化，挖掘多源信息的内在关联性，实现多层次信息的有效融合。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种多模态影像数据分析方法和系统，所述方法包含：
步骤S1：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
步骤S2：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
步骤S3：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；
步骤S4：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
步骤S5：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果。
进一步的，所述神经网络模型为卷积神经网络模型。
进一步的，所述神经网络模型为基于U-net的双输入通道模型。
进一步的，每个通道分别用于处理一个模态的图像数据。
进一步的，所述第一影像数据为PET扫描数据，第二影像数据为CT扫描数据。
一种多模态影像数据分析系统，所述系统包含：
获取模块：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
数据处理模块：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
最小差值模块：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；
输入确定模块：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
神经网络模块：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果。
进一步的，所述神经网络模块基于卷积神经网络模型。
一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的多模态影像数据分析方法。
一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的多模态影像数据分析方法。
一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的多模态影像数据分析方法。
本发明的有益效果包括：
(1)通过基于目标的候选区域分割来充分利用多角度具有时序性的图像数据，在利用第一PET图像数据的同时，使得第一PET图像数据和CT图像数据发生先于神经网络模型使用前的一次特征融合，降低了后续神经网络的训练和计算开销，提高了多模态分析效率；(2)通过最小差值时间定位为图像数据融合提供了对标基准，将具有小角度差异的第一图像数据进行迭代融合，能够通过一次扫描尽可能多的发现目标以及发现目标数量，提高了分析效率；
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1为本发明的多模态影像数据分析方法示意图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定通过
如附图1所示，本发明提出一种多模态影像数据分析方法，所述方法包括如下步骤：
步骤S1：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
优选的：所述第一影像数据为PET扫描数据，第二影像数据为CT扫描数据，所述第一影像数据、第二影像数据和同一个用户关联；第二影像数据对应的时间点和第一影像数据对应时间段或者时间点重合；所述不同角度之间的角度差值较小；
步骤S2：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
所述基于第一影像数据获取一个或者多个第一候选区域集合序列，具体为：针对影像帧集合序列中的每个集合依次获取其对应的候选区域集合，每个候选区域集合中包括一个或多个不同角度的和一个或者多个目标关联的候选区域集合；将这些候选区域集合按照时间顺序排列就构成候选区域集合序列；将候选区域集合序列按照其关联的目标整理以形成和每个目标关联的第一候选区域集合序列；此时对于每个目标来说，其对应第一候选区域集合序列中包含多个按照时间顺序排列的候选区域集合，而每个候选区域集合中则包括多个和同一个目标关联的不同角度的候选区域图像数据；在进行多模态分析时往往忽略了对PET图像中多角度图像的利用而集中在神经网络模型的利用上，而实际上，直接选择一个PET图像进行利用显然会丢失大量的扫描图像信息，而将这些图像用于三维重建则一方面会带来大量的训练复杂度，另一方面，对PET扫描设备也提出了旋转角度改进的要求，本发明通过基于目标的候选区域分割来充分利用多角度具有时序性的图像数据，在利用第一PET图像数据的同时和CT图像数据发生先于神经网络模型使用前的第一次融合，降低了后续神经网络的训练和计算开销，提高了多模态分析效率；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
从所述第二影像数据中选择一个影像帧，具体为：从第二影像数据包含的影像帧中选择影像数据差异性最大的影像帧作为所选择的影像帧；差异性为每个像素点的像素值和均值的差异程度等；当然也可以直接随机选取一个影像帧、获取时间点位于中间的影像帧等；
所述针对影像帧集合序列中的每个集合依次获取其对应的候选区域集合，具体为：对于影像帧集合中的每个图像帧，利用体素点聚类对图像帧进行候选区域划分；同一体素点类对应同一候选区域，将影像帧集合序列中的所有影像帧集合均处理完毕后就构成候选区域集合序列；
所述将候选区域集合序列按照其关联的目标整理以形成和每个目标关联的第一候选区域集合序列，具体为：将不同集合中针对同一个目标的候选区域放入和所述目标对应的候选区域集合；将候选区域集合按照时间排列构成和每个目标关联的第一候选区域集合序列；每个集合中对应同一个目标不同角度的图像数据；
优选的：所述目标可以是结节、肿瘤等待进一步分析的对象；
可替换的：基于图像帧的连通性对图像帧进行划分，去除非目标区域后得到和一个或者多个候选区域；将不同集合中针对同一个目标的候选区域放入和所述目标对应的候选区域集合中以构成和所述目标对应的第一候选区域集合；将候选区域集合按照时间排列构成和每个目标关联的第一候选区域集合序列；
所述基于第二影像数据获取第二候选区域集合，具体为：根据从第二影像数据中选择的图像帧的连通域信息对图像帧进行划分，得到和目标对应的候选区域构成的第二候选区域集合；
步骤S3：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；将其按照时间顺序排列就构成了第一候选区域集合序列；
所述针对每个目标TGk计算最小差值时间，具体包括如下步骤：
步骤S3A1：设PITt,Aw(x,y)＝CI(x-x0,y-y0)；其中：PITt,Aw(x,y)是第一候选区域集合中t时刻Aw角度的候选区域的图像数据；CI(x,y)是第二候选区域集合中候选区域的图像数据；(x0,y0)是相对位移量；
步骤S3A2：对PITt,w(x,y)和CI(x,y)分别进行傅里叶变换，得到FPt,Aw(u,v)和FC(u,v)；两者之间存在关系
Figure BDA0003720362540000051
步骤S3A3：求第一候选区域集合中t时刻Aw角度的候选区域图像数据和第二候选区域的图像数据之间的相位差BSub；
Figure BDA0003720362540000052
其中：FC*(u,v)是FC(u,v)的复共轭函数；
步骤S3A4:对相位差进行傅里叶反变换得到(x0,y0)；也即是，在(x,y)处形成的脉冲函数的峰值位置为相对位移量(x0,y0)；
步骤S3A5：根据下式(4)计算缩放因子σAw；
PITt,Aw(x,y)＝CI[σAw(xcosAw+ysinAw)-x0，σAw(-xsinAw+ycosAw)-y0] (4)
步骤S3A6:确定总缩放因子σA；
Figure BDA0003720362540000053
Figure BDA0003720362540000054
其中：SIZ1k,Aw,t是第t时刻Aw角度针对目标TGk的第一候选区域尺寸；SIZ2k是针对目标k的第二候选区域尺寸；
步骤S3A7：将总缩放因子最小者对应的时间点作为最小差值时间；
所述基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；具体包括如下步骤：
步骤S3B1：按照角度递增的方式从最小差值候选区域集合中获取一个未处理候选区域PITt,Aw(x,y)及其角度Aw；
步骤S3B2：基于所述未处理候选区域PITt,Aw(x,y)计算映射候选区域MPITt,w(x,y)；
MPITt,w(x,y)＝PITt,Aw[σ1Aw(xcos(Aw+1-Aw)+ysin(Aw+1-Aw))，σ1Aw(-xsin(Aw+1-Aw)+ycos(Aw+1-Aw))]；(7)
其中：
Figure BDA0003720362540000055
步骤S3B3：若存在相对当前未处理候选区域的下一未处理候选区域，则融合映射候选区域和下一未处理候选区域
Figure BDA0003720362540000057
以得到更新后的下一未处理候选区域
Figure BDA0003720362540000058
并进入下一步骤；否则，进入步骤S3B5；
Figure BDA0003720362540000056
步骤S3B4：用更新后的下一未处理候选区域替换下一未处理候选区域；返回步骤S3B1；
步骤S3B5：将映射候选区域MPITt,w(x,y)作为待输入第一候选区域；
步骤S4：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
可替换的：将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置关系和尺寸比例关系构建成新的第一输入图像数据；
当然也可以分开处理每个目标对应的待输入第一候选区和第二候选区域，将其分别输入神经网络模型来进行分类；
步骤S5：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果；
可替换的：从第一输入图像数据中提取第一特征，从第二输入图像数据提取第二特征，将第一特征和第二特征输入神经网络模型以得到分类结果；
优选的：所述神经网络模型为基于U-net的双输入通道模型；每个通道分别用于输入一个模态的图像数据；
优选的：在神经网络模型中使用4次核为2*2步幅为2的最大值池化操作将输入图像数据的分辨率降为原来的1/8或1/16，用于提取具有高度表达力的特征；
优选的：每次池化操作之前，使用3*3的卷积核对输入图像或池化后的特征图卷积两次，每次卷积后都使用ReLU函数对卷积结果进行激活；
基于相同的发明构思，本发明提供一种多模态影像数据分析系统；所述系统包括：
获取模块：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
数据处理模块：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
最小差值模块：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；
输入确定模块：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
神经网络模块：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果。
术语“数据处理装置”、“数据处理系统”、“用户设备”或“计算设备”包涵用于处理数据的所有种类的装置、设备和机器，举例包括可编程处理器、计算机、片上系统、或者上述中的多个或其组合。所述装置能够包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件，所述装置还可以包括代码，创建用于所述计算机程序的执行环境，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行环境、虚拟机或上述一个或多个的组合的代码。该装置和执行环境可以实现各种不同计算模型基础设施，诸如web服务、分布式计算、和网格计算基础设施。
计算机程序(也被称为程序、软件、软件应用、脚本或代码)能够以编程语言的任何形式来撰写，包括汇编或解释语言、说明或过程性语言，且其可以以任何形式部署，包括作为单机程序或者作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不必与文件系统中的文件相对应。程序能够存储在保持其他程序或数据(例如存储在标记语言文档中的一个或多个脚本)的文件的一部分中，在专用于所述程序的单个文件中，或者在多个协同文件中(例如，存储一个或多个模块、子例程或代码部分的文件)。计算机程序可以部署为在一个计算机上或位于一个站点或跨多个站点分布且由通信网络互连的多个计算机上执行。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种多模态影像数据分析方法，其特征在于，包括：
步骤S1：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
步骤S2：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
步骤S3：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；
步骤S4：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
步骤S5：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果。
2.根据权利要求1所述的多模态影像数据分析方法，其特征在于，所述神经网络模型为卷积神经网络模型。
3.根据权利要求2所述的多模态影像数据分析方法，其特征在于，所述神经网络模型为基于U-net的双输入通道模型。
4.根据权利要求3所述的多模态影像数据分析方法，其特征在于，每个通道分别用于处理一个模态的图像数据。
5.根据权利要求4所述的多模态影像数据分析方法，其特征在于，所述第一影像数据为PET扫描数据，第二影像数据为CT扫描数据。
6.一种多模态影像数据分析系统，其特征在于，所述系统包含：
获取模块：获取多模态影像数据；所述多模态影像数据包括第一影像数据和第二影像数据；所述第一影像数据包括影像帧集合序列；所述影像帧集合序列包括一个或多个按照时间排列的影像帧集合；一个影像帧集合对应一个时间段或一个时间点的不同角度的影像帧；所述第二影像数据包括一个或者多个对应不同时间点的影像帧；
数据处理模块：基于第一影像数据获取一个或者多个第一候选区域集合序列；基于第二影像数据获取第二候选区域集合；候选区域和目标相对应；
基于第二影像数据获取一个或者多个第二候选区域；具体为：从所述第二影像数据中选择一个影像帧，获取和所述影像帧对应的一个或多个候选区域,其中每个候选区域和一个目标相对应；
最小差值模块：针对每个目标TGk计算最小差值时间，所述最小差值时间对应的第一图像数据和第二图像数据相对于同一个目标的相对变化量最小；将最小差值时间对应的第一候选区域集合作为最小差值候选区域集合；基于最小差值候选区域集合中的每个第一候选区域计算待输入第一候选区域；所有目标对应的待输入第一候选区域组合成待输入第一候选区域集合；
输入确定模块：将第二图像数据中所选择的影像帧作为第二输入图像数据；将待输入第一候选区域集合中的每个待输入第一候选区域按照其对应目标在第二输入图像数据中的相对位置构建成新的第一输入图像数据；
神经网络模块：将新的第一输入图像数据和第二输入图像数据输入神经网络模型中以得到分类结果。
7.根据权利要求6所述的多模态影像数据分析系统，其特征在于，所述神经网络模块基于卷积神经网络模型。
8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-5中任一项所述的多模态影像数据分析方法。
9.一种计算机可读存储介质，其特征在于，包括程序，当其在计算机上运行时，使得计算机执行如权利要求1-5中任一项所述的多模态影像数据分析方法。
10.一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现如权利要求1-5中任一项所述的多模态影像数据分析方法。
CN202210758595.1A 2022-06-29 2022-06-29 一种多模态影像数据分析方法和系统 Withdrawn CN114913385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210758595.1A CN114913385A (zh) 2022-06-29 2022-06-29 一种多模态影像数据分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210758595.1A CN114913385A (zh) 2022-06-29 2022-06-29 一种多模态影像数据分析方法和系统

Publications (1)

Publication Number Publication Date
CN114913385A true CN114913385A (zh) 2022-08-16

Family

ID=82771943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210758595.1A Withdrawn CN114913385A (zh) 2022-06-29 2022-06-29 一种多模态影像数据分析方法和系统

Country Status (1)

Country Link
CN (1) CN114913385A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116370848A (zh) * 2023-06-07 2023-07-04 浙江省肿瘤医院 放射治疗的摆位方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116370848A (zh) * 2023-06-07 2023-07-04 浙江省肿瘤医院 放射治疗的摆位方法及系统
CN116370848B (zh) * 2023-06-07 2023-09-01 浙江省肿瘤医院 放射治疗的摆位方法及系统

Similar Documents

Publication Publication Date Title
Zhang et al. Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization
Khan et al. Deep neural architectures for medical image semantic segmentation
Sirazitdinov et al. Deep neural network ensemble for pneumonia localization from a large-scale chest x-ray database
Mazurowski et al. Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI
Yousef et al. A holistic overview of deep learning approach in medical imaging
Wang et al. EANet: Iterative edge attention network for medical image segmentation
US10304198B2 (en) Automatic medical image retrieval
US11941812B2 (en) Diagnosis support apparatus and X-ray CT apparatus
Penso et al. Automated left and right ventricular chamber segmentation in cardiac magnetic resonance images using dense fully convolutional neural network
JP2022533686A (ja) Ｃｔ画像の椎骨位置決め方法、装置、機器及び媒体
US20190311228A1 (en) Cross-modality image synthesis
US20120033865A1 (en) Quantification of medical image data
US20150023575A1 (en) Anatomy Aware Articulated Registration for Image Segmentation
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
US11449210B2 (en) Method for providing an image base on a reconstructed image group and an apparatus using the same
Li et al. Automatic fetal brain extraction from 2D in utero fetal MRI slices using deep neural network
Amirrajab et al. Label-informed cardiac magnetic resonance image synthesis through conditional generative adversarial networks
JP6981940B2 (ja) 画像診断支援装置、方法及びプログラム
Chen et al. Deep learning based unpaired image-to-image translation applications for medical physics: a systematic review
Srinivas et al. Segmentation of multi-modal MRI brain tumor sub-regions using deep learning
Zhu et al. FCN based label correction for multi-atlas guided organ segmentation
Li et al. Automatic quantification of epicardial adipose tissue volume
CN111223158B (zh) 心脏冠脉图像的伪影校正方法和可读存储介质
Wu et al. DMs-MAFM+ EfficientNet: a hybrid model for predicting dysthyroid optic neuropathy
CN114913385A (zh) 一种多模态影像数据分析方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220816

WW01 Invention patent application withdrawn after publication