CN114757890A - 医学图像处理方法、装置、设备和存储介质 - Google Patents

医学图像处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114757890A
CN114757890A CN202210290577.5A CN202210290577A CN114757890A CN 114757890 A CN114757890 A CN 114757890A CN 202210290577 A CN202210290577 A CN 202210290577A CN 114757890 A CN114757890 A CN 114757890A
Authority
CN
China
Prior art keywords
region
interest
surface sampling
modal
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210290577.5A
Other languages
English (en)
Inventor
王乾
庄梓旭
陈黎云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN202210290577.5A priority Critical patent/CN114757890A/zh
Publication of CN114757890A publication Critical patent/CN114757890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种医学图像处理方法、装置、设备和存储介质。所述方法包括：利用待处理医学图像提取出感兴趣区域的表面采样点；根据感兴趣区域的表面采样点构建感兴趣区域图表示；提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定所述感兴趣区域的分级。采用本方法能够将表面采样点的多个模态特征进行融合，构造能够有效表示感兴趣区域的目标融合特征。基于融合后的有效特征对感兴趣区域进行分析能够提高感兴趣区域的分级准确度。

Description

医学图像处理方法、装置、设备和存储介质
技术领域
本申请涉及医学图像处理技术领域，特别是涉及一种医学图像处理方法、装置、设备和存储介质。
背景技术
膝关节骨性关节炎(Osteoarthritis，OA)是人类最常见的关节疾病之一。全球约有2.4亿人患有膝关节OA。如果未对其进行及时的治疗，膝关节OA将随着患者年龄加重并最终导致患者残疾。因此，膝关节OA的早期筛查与精确诊断具有极为重要的临床价值。临床检查是膝关节OA早筛的重要手段。膝关节的临床检查通常使用X射线、计算机断层扫描(Computed Tomography,CT)或磁共振成像(Magnetic Resonance Imaging,MRI)等非侵入式成像技术。其中，MRI由于无放射性、软组织成像效果好等优点，成为了膝关节OA诊断的金标准。标准的膝关节临床检查使用MRI设备扫描患者矢状面(Sagittal Plane)、冠状面(Coronal Plane)和横断面(Transverse Plane))三个视角/扫描方位的多个影像切片。同时，不同视角使用不同的MRI模态，包括T1、T2和PD。因此膝关节临床检查会给出多视角、多模态的厚层MRI影像。
目前，基于多视角多模态的MRI影像的临床检查通常使用传统的深度学习技术对膝关节临床MRI进行分类，而膝关节中的软骨是附着在关节骨表面薄而弯曲的结构，在MRI影像中占据极少的比例，使用传统深度学习方法处理会引入大量无关的背景信息，且传统深度学习方法多针对2D自然图像，在3D医学影像中的表现较差。这些困难使得现有深度学习方法难以提取膝关节OA相关的有效特征，取得令人满意的诊断准确度。
基于此，如何提供一种基于多视角多模态的MRI影像对膝关节OA进行准确分析的方法成为当下医疗领域亟待解决的问题。
发明内容
本申请提供一种医学图像处理方法、装置、设备和存储介质，能够基于多视角多模态的MRI影像对膝关节OA进行分析，提高了膝关节OA的分级精度。
第一方面，本申请提供了一种医学图像处理方法。该方法包括：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
在其中一个实施例中，医学图像处理方法还包括：获取待处理医学图像的不同视角的模态图像；根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点；利用待处理医学图像提取出感兴趣区域的表面采样点，包括：对待处理医学图像进行分割处理，得到分割图像；根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
在其中一个实施例中，根据感兴趣区域的表面采样点构建感兴趣区域图表示，包括：根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵；获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵；根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵；根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
在其中一个实施例中，对待处理医学图像进行分割处理，得到分割图像，包括：对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
在其中一个实施例中，获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵，包括：以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
在其中一个实施例中，提取感兴趣区域图表示中每个表面采样点对应的多个模态特征，包括：对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
在其中一个实施例中，对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征，包括：将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
第二方面，本申请还提供了一种医学图像处理装置。该装置包括：
第一提取模块，用于从待处理医学图像的分割图像中提取出感兴趣区域的表面采样点；
构建模块，用于根据感兴趣区域的表面采样点构建感兴趣区域图表示；
第二提取模块，用于提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
融合模块，用于对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域图的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
本申请提供一种医学图像处理方法、装置、设备和存储介质，可以提取出感兴趣区域的表面采样点，基于表面采样点构建感兴趣区域的图表示，然后提取出图表示中每个采样点的多个模态特征，并对表面采样点的多个模态特征进行融合，根据融合后的特征对感兴趣区域进行分析或分级，得到分析或分级结果。可见，本申请考虑到感兴趣区域在不同视角不同模态下的关联性，将表面采样点的多个模态特征进行融合，从而构造了能够有效表示感兴趣区域的目标融合特征，并基于融合后的有效特征对感兴趣区域进行分析或分级，从而提高了对感兴趣区域分析或分级的准确度。而且，本申请基于有效特征对感兴趣区域进行分析，可以避免传统对待处理医学图像进行分析的方法存在因无关背景信息的引入导致分析结果精度较低的问题。
附图说明
图1为一个实施例中医学图像处理方法的应用环境图；
图2为一个实施例中医学图像处理方法的流程示意图；
图3为一个实施例中膝关节的MRI影像图；
图4为一个实施例中医学图像处理方法的另一流程示意图；
图5为一个实施例中膝关节的不同视角的模态图像；
图6为一个实施例中医学图像处理方法的另一流程示意图；
图7为一个实施例中医学图像处理方法的另一流程示意图；
图8为一个实施例中医学图像处理方法的另一流程示意图；
图9为一个实施例中医学图像处理装置的结构框图；
图10为一个实施例中医学图像处理装置的另一结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
膝关节OA是人类最常见的关节疾病之一。全球约有2.4亿人患有膝关节OA。如果未对其进行及时的治疗，膝关节OA将随着患者年龄加重并最终导致患者残疾。因此，膝关节OA的早期筛查与精确分级具有极为重要的临床价值。临床检查是膝关节OA早筛的重要手段。膝关节的临床检查通常使用X射线、计算机断层扫描(Computed Tomography，CT)或磁共振成像(Magnetic Resonance Imaging，MRI)等非侵入式成像技术。其中，MRI由于无放射性、软组织成像效果好等优点，成为了膝关节OA诊断或分级的金标准。标准的膝关节临床检查使用MRI设备扫描患者矢状位、冠状位和横断面三个视角的多个影像切片。同时，不同视角使用不同的MRI模态，包括T1加权、T2加权和PD模态。因此膝关节OA的临床检查会给出多视角、多模态的厚层MRI影像。可以理解的，本申请实施例中仅示意性给出以上三种序列。在其他实施例中，MRI的模态可包括T1加权、T2加权等常规序列，或者包括液体反转恢复(fluidattenuated inversion recovery，FLAIR)、短时间反转恢复(short T1 inversionrecovery，STIR)等反转序列，又或者包括弥散加权成像(diffusion weighted imaging，DWI)、灌注加权成像(perfusion weighted imaging，PWI)、磁敏感加权成像(susceptibility weighted imaging，SWI)、弥散张量成像(diffusion tensor imaging，DTI)以及磁共振波谱等中的一种或多种的组合。
可选的，T1松弛可表示纵向磁化强度(Mz)的恢复，Mz在弛豫过程中呈指数增长，施加90°RF脉冲时的Mz越高，横向信号越大。T1弛豫的发生是因为旋转核与周围环境(即晶格，lattice)之间有能量交换，引起up状态和down状态的原子核数量发生改变，重新恢复到未加B1的平衡状态时的数量分布，因此Mz会恢复到M0,而T1也称为自旋-晶格弛豫时间。对应的，T1加权(T1WI)能够突出组织T1弛豫(纵向弛豫)差别。
可选的，T2衰减是施加90°RF脉冲后横向磁化强度(Mxy)的衰减。90°RF脉冲后的时间越长，Mxy衰减越大，横向信号越小，Mxy在弛豫过程中呈指数衰减，其时间常数为T2。可选的，T2也称为自旋-自旋弛豫时间。对应的，T2加权(T2WI)能够突出组织T2弛豫(横向弛豫)差别。
可选的，PD/质子密度加权像(proton density weighted image，PdWI)主要反映的是组织问质子密度弛豫时的差别。
目前，基于多视角多模态的MRI影像的临床检查通常使用传统的深度学习技术对膝关节OA临床MRI进行分类。近年来，基于深度学习的计算机辅助分级(Computer-aideddiagnosis,CAD)技术在医学影像智能分级中有着许多成功的应用。这些方法大多是由自然图像领域延伸而来。在膝关节OA分级方面，深度学习CAD方法可归纳为两大类：第一、基于单一视角与模态的膝关节MRI影像的OA分级；第二、基于多视角多模态膝关节MRI图像融合的OA分级。
其中，基于单一视角与模态的膝关节MRI影像的OA分级方法又可细分为体数据(Volume)级、图层(Slice)级和图块(Patch)级的方法。其中，体数据(Volume)级的方法使用针对3D数据的深度学习方法，将病人整个MRI影像作为深度学习网络的输入，对网络进行训练。然而该方法的训练标注小，容易引入大量无关背景，因此网络训练的效果较差；图层(Slice)级的方法以3DMRI影像中的单个2D图层(Slice)作为输入，然而该方法同样会引入大量的无关背景，但由于训练的标注量上升，且该方法可以使用自然图像中训练出的权重作为初始参数，因此可以取得较好的训练效果；图块(Patch)级的方法依赖关节骨分割图谱采样膝盖骨表面的图块，并使用2D深度学习方法进行训练。该方法在一定程度上减少了无关背景，也可以取得较好的训练效果。但是，基于单一视角与模态的膝关节MRI影像所能提供的膝关节OA的特征较为有限，从而使得膝关节OA的分级精度较低。
其中，基于多视角多模态膝关节MRI图像融合的OA分级方法，由于不同视角与模态的膝关节MRI影像的层厚、层数、视野范围(Field-of-view，FOV)等属性具有差异，因此无法直接表示为多通道3D图像，或将其插值为同样形状的3D图像矩阵。因此，目前的基于多视角多模态膝关节MRI图像融合的OA分级方法都先将膝关节MRI每个视角的影像都视为独立的病例：使用于单视角分级相似的方法，通过分别训练针对不同视角膝关节MRI影像的OA分级模型，给出不同视角的特征值，再通过融合同一病例多视角的特征值给出最终的分级结果。但是该方法将每个视角独立化，同一病灶在不同视角下的关联性被破坏，使得最后融合出的病灶特征并不准确，从而导致病灶的准确描述与定位难以实现，进而使得膝关节OA的分级精度较低。
基于此，本申请提供一种医学图像处理方法、装置、设备和存储介质，能够基于多视角多模态的MRI影像对膝关节OA进行准确分析或分级，提高膝关节OA的分级准确性和精度。
本申请实施例提供的医学图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与扫描设备104进行通信。数据存储系统可以存储终端102需要处理的数据。数据存储系统可以集成在终端102上，也可以放在云上或其他网络服务器上。扫描设备104用于对包含某种形态组织的结构进行扫描，得到该形态组织结构的医学图像；终端102用于对扫描设备104扫描得到的医学图像进行分析或分级，并得到分析或分级结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑等。扫描设备104可以是X射线设备、CT设备MRI设备等。
在一个实施例中，如图2所示，提供了一种医学图像处理方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤；
S201、利用待处理医学图像提取出感兴趣区域的表面采样点。
其中，待处理医学图像为包含某种形态组织结构的医学图像，例如，待处理医学图像可以是膝关节MRI影像；感兴趣区域为待处理医学图像中形态组织结构的病灶部分；感兴趣区域的表面采样点为感兴趣区域在三维空间中的表面的采样点，例如，可以是膝关节骨表面的采样点。
具体实现中，终端可以先从图像扫描设备(比如MRI扫描设备)上获取待处理医学图像，再对待处理医学图像进行图像处理(比如，分割处理)，并从中提取出待处理医学图像中的感兴趣区域的图像，再进一步的对感兴趣区域的图像中包含的形态组织结构或病灶部分结构的表面进行点采样，得到感兴趣区域的表面采样点。
S202、根据感兴趣区域的表面采样点构建感兴趣区域图表示。
其中，感兴趣区域图表示为一种图数据结构，该图数据结构可以包括感兴趣区域中所有的表面采样点的坐标、表面采样点对应的不同视角的图块数据、相邻表面采样点之间的关系。需要指出的，本申请实施例中的感兴趣区域图表示(Graph Representation)也可称为感兴趣区域图表征、感兴趣区域图形化表征、感兴趣区域图形化表示等。
具体实现中，终端获取到感兴趣区域的表面采样点时，可以进一步的确定各表面采样点的坐标，获取各表面采样点对应的不同视角的图块数据，以及分析相邻的表面采样点之间的关系，进而根据感兴趣区域中所有的表面采样点的坐标、所有的表面采样点对应的不同视角的图块数据、相邻表面采样点之间的关系构建感兴趣区域图表示，便于之后对感兴趣区域进行特征存储或特征提取时使用。
S203、提取感兴趣区域图表示中每个表面采样点对应的多个模态特征。
其中，每个表面采样点对应的多个模态特征可以包括T1、T2和PD三个模态的特征。具体实现中，由于感兴趣区域图表示中包括感兴趣区域中所有表面采样点对应的不同视角的图块数据，所以可以进一步的基于对每个表面采样点对应的多个图块数据进行特征提取或分析，得到每个表面采样点对应的多个模态特征，比如，得到每个表面采样点对应的T1模态特征、T2模态特征和PD模态特征。可选的，终端可以采用卷积神经网络(ConvolutionalNeural Network，CNN)提取感兴趣区域图表示中每个表面采样点的多个模态特征。
S204、对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
具体实现中，可以使用融合网络或转换网络(比如深度学习模型中的Transformer模型)对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，从而得到感兴趣区域的目标融合特征。
一种可能的实现方式中，可以直接对所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征。
一种可能的实现方式中，可以先对每一表面采样点对应的多个模态特征进行融合，得到每一表面采样点对应的融合特征，然后再对所有表面采样点对应的融合特征进行融合，得到感兴趣区域的目标融合特征。
在得到感兴趣区域的目标融合特征后，可以基于目标融合特征，采用图卷积神经网络(Graph Convolutional Network,GCN)对感兴趣区域进行损伤程度分级，确定感兴趣区域的损伤程度分级。感兴趣区域的损伤程度分级可以衡量损伤程度、病灶等级等。具体的，本实施例考虑到临床分级所需精度远低于WORMS量表的精度，因此，可以将WORMS量表中的相近分类进行合并，将损伤程度分为0级损伤、1级损伤以及2级损伤。其中，0级损伤表示感兴趣区域无损伤，对应于WORMS评分中的0级和1级；1级损伤表示感兴趣区域轻度损伤，对应于WORMS评分中的2级、3级和4级；2级损伤表示感兴趣区域严重损伤，对应于WORMS评分中的5级和6级。例如，如图3所示，图3为膝关节的MRI影像图，图3a为膝关节软骨0级损伤示意图，图3b为膝关节软骨1级损伤示意图，图3c为膝关节软骨2级损伤示意图。
在得到感兴趣区域的目标融合特征后，还可以基于目标融合特征，采用类激活视图(Classification Activation Mapping,CAM)对感兴趣区域进行病灶位置分级，确定感兴趣区域的病灶位置分级。感兴趣区域的病灶位置分级可以表征病灶在感兴趣区域中的位置。
一种可能的实现方式中，根据目标融合特征对感兴趣区域进行分析或分级时可以仅对感兴趣区域进行损伤程度分级，此时，损伤程度即为感兴趣区域的分析/分级结果。
一种可能的实现方式中，根据目标融合特征对感兴趣区域进行分析或分级时可以仅对感兴趣区域进行病灶位置分级，此时，病灶位置即为感兴趣区域的分析/分级结果。
一种可能的实现方式中，根据目标融合特征对感兴趣区域进行分析或分级时可以同时对感兴趣区域进行损伤程度分级和病灶位置确定，此时，损伤程度和病灶位置即为感兴趣区域的分析/分级结果。
本申请实施例提供的医学图像处理方法可以提取出感兴趣区域的表面采样点，基于表面采样点构建感兴趣区域的图表示，然后提取出图表示中每个采样点的多个模态特征，并对表面采样点的多个模态特征进行融合，根据融合后的特征对感兴趣区域进行分析或分级，得到分析或分级结果。可见，本申请考虑到感兴趣区域在不同视角不同模态下的关联性，将表面采样点的多个模态特征进行融合，从而构造了能够有效表示感兴趣区域的目标融合特征，并基于融合后的有效特征对感兴趣区域进行分析或分级，从而提高了对感兴趣区域分析或分级的准确度。而且，本申请基于有效特征对感兴趣区域进行分析，可以避免传统对待处理医学图像进行分析的方法存在因无关背景信息的引入导致分析结果精度较低的问题。
在本申请的另一实施例中，提供了一种利用待处理医学图像提取出感兴趣区域的表面采样点的方法，具体包括如图4所示的步骤：
S401、获取待处理医学图像的不同视角的模态图像。
其中，待处理医学图像的不同视角的模态图像，包括：待处理医学图像的矢状面的T1模态图像、待处理医学图像的矢状面的T2模态图像、待处理医学图像的冠状面的PD模态图像、待处理医学图像的横断面的PD模态图像。例如，如图5所示，图5为膝关节的不同视角的模态图像，图5a为膝关节矢状位视角的T1模态图像，图5b为膝关节矢状位视角的T2模态图像，图5c为膝关节冠状位视角的PD模态图像，图5d为膝关节横断面视角的PD模态图像。
具体实现中，磁共振成像设备可以基于矢状面、冠状面和横断面三个视角/扫描方位对形态组织结构或病灶结构进行磁共振成像，从而获取到感兴趣区域三个视角共四个模态的MRI影像，即为待处理医学图像的不同视角的模态图像。终端可以通过连接磁共振成像设备，并从其上获取待处理医学图像的不同视角的模态图像。
S402、根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点。
由于不同视角的模态图像处于不同视野范围(Field of view，FOV)，因此不同视角的模态图像中的形态组织结构处于不同的空间位置，因此，当终端获取到不同视角的模态图像时，可以进一步的根据各视角的模态图像在物理空间的位置信息，将不同视角的模态图像进行切面的交叉处理，得到不同视角的模态图像之间的交叉面，进而得到不同视角的模态图像之间的交叉点。
S403、对待处理医学图像进行分割处理，得到分割图像。
具体实现中，终端可以采用任一图像分割算法或网络对待处理医学图像进行分割处理，实现从待处理医学图像中分割出感兴趣区域的图像。可选的，终端可以使用U-Net网络对待处理医学图像进行语义分割，将待处理医学图像中的无关背景剔除，将感兴趣区域提取出来，从而得到待处理医学图像的分割图像。
需要说明的是，进行分割处理的待处理医学图像为待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像，即可以对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
S404、根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
具体实现中，终端可以沿着分割图像中的感兴趣区域的表面对交叉点进行采样，从而剔除与感兴趣区域无关的背景区域；可选的，终端还可以基于分割图像的语义信息，从交叉点中提取出位于物理空间中的感兴趣区域表面上的交叉点，即为感兴趣区域的表面采样点。
本申请实施例提供了基于待处理医学图像的不同视角的模态图像提取感兴趣区域的表面采样点的方法，具体是先获取待处理医学图像的三个视角共四个模态的模态图像，并根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点。然后对待处理医学图像进行分割处理，分割出待处理医学图像中的感兴趣区域，最后从交叉点中提取出位于物理空间中的感兴趣区域表面上的交叉点，即为感兴趣区域的表面采样点。可见，本申请可以基于仅包含感兴趣区域的分割图像从待处理医学图像的不同视角的模态图像之间的交叉点中提取出感兴趣区域的表面采样点，避免了无关信息的引入，保证了采集的感兴趣区域的表面采样点的准确性。进一步的，基于准确的表面采样点进行感兴趣区域的分析或分级，提高了感兴趣区域的分级准确度。
前文所述的实施例中介绍了根据感兴趣区域的表面采样点构建感兴趣区域图表示的方案。在本申请的另一实施例中，可以基于感兴趣区域的表面采样点的顶点坐标矩阵、图像块矩阵和邻接矩阵构建感兴趣区域图表示。例如，前文涉及的“根据感兴趣区域的表面采样点构建感兴趣区域图表示”，具体包括如图6所示的步骤：
S601、根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵。
具体实现中，采集每个表面采样点的坐标信息，将所有坐标信息集合为一个矩阵，构建出一个包含所有表面采样点在物理空间的坐标的矩阵，即为感兴趣区域对应的顶点坐标矩阵。
S602、获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
具体实现中，基于待处理医学图像的不同视角的模态图像，将不同视角的模态图像中，包含任一表面采样点的图像块提取出来，即为该表面采样点对应的多个视角的图像块数据。将所有表面采样点的图像块数据集合为一个矩阵，即为感兴趣区域对应的图像块矩阵。比如，一个表面采样点对应矢状面T1的图像块数据、矢状面T2的图像块数据、冠状面PD的图像块数据和横断面PD的图像块数据。其中，每个表面采样点对应的多个视角的图像块数据可以为2*2的图像块，可以为3*3的图像块，也可以为4*4的图像块，本申请对此不做限制。
一种可能的实现方式中，可以以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。此时，当表面采样点位于图像块的中心位置时，每个表面采样点对应的多个视角的图像块数据为3*3的图像块，5*5的图像块，7*7的图像块等边长为奇数的图像块。
S603、根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵。
其中，每一表面采样点对应的邻接矩阵可以表示每一表面采样点和该表面采样点的相邻表面采样点之间的关系；感兴趣区域对应的邻接矩阵可以表示所有相邻表面采样点之间的关系。
具体实现中，可以先确定任一表面采样点的多个相邻表面采样点，然后基于该表面采样点以及该表面采样点对应的多个相邻表面采样点构建该表面采样点对应的邻接矩阵。将所有表面采样点的邻接矩阵集合为一个矩阵，从而得到感兴趣区域对应的邻接矩阵。
S604、根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
具体实现中，终端可以将感兴趣区域的顶点坐标矩阵、图像块矩阵和邻接矩阵集合为一个数据集，即构成一种图数据结构，从而得到感兴趣区域图表示。
本申请实施例提供了基于感兴趣区域的顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示的方法，具体的，基于所有表面采样点的坐标构建感兴趣区域的顶点坐标矩阵，基于所有表面采样点对应的多个视角的图像块数据构建感兴趣区域的图像块数据，基于相邻表面采样点之间的关系构建感兴趣区域的邻接矩阵，基于感兴趣区域的顶点坐标矩阵、图像块矩阵和邻接矩阵构建包含上述所有矩阵的感兴趣区域图表示。可见感兴趣区域图表示包含了每一表面采样点的位置、相邻表面采样点以及和相邻表面采样点之间的关系等数据，从而使得基于该感兴趣区域图表示提取得到的每个表面采样点的多个模态特征更为准确。进一步的，基于准确的模态特征对感兴趣区域进行分析或分级，得到的分析或分级结果也更为准确。
前文所述的实施例中介绍了提取每一表面采样点对应的多个模态特征的方案。在本申请的另一实施例中，可以基于每一表面采样点的图像块数据提取多个模态特征。例如，前文涉及的“提取感兴趣区域图表示中每个表面采样点对应的多个模态特征”，具体包括：
对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
具体实现中，可以先提取出感兴趣区域图表示中，感兴趣区域的图像块数据中的每一表面采样点的图像块数据，然后采用特征提取网络(比如，CNN网络)分别对每一表面采样点对应的多个视角的图像块数据进行特征提取，从而得到每个表面采样点对应的多个模态特征。
本申请实施例提供了基于每一表面采样点的图像块数据提取多个模态特征的方法，具体是从每一表面采样点对应的多个视角的图像块数据提取出每个表面采样点对应的多个模态特征。可见，本申请实施例可以基于构建完成的感兴趣区域图表示进行每一表面采样点的不同模态特征的提取，使得整个模态特征的提取过程简单且便捷。
前文所述的实施例中介绍了对所有表面采样点的多个模态特征进行融合，得到感兴趣区域的目标融合特征的方案。在本申请的另一实施例中，可以对所有表面采样点的多个模态特征依次进行局部融合和全局融合，从而得到感兴趣区域的目标融合特征。例如，前文涉及的“对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征”，具体包括如图7所示的步骤：
S701、将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征。
其中，局部融合特征为每个表面采样点对应的不同视角不同模态的图像的特征经过融合后的特征。
具体实现中，当终端对每个表面采样点对应的多个模态特征进行融合时，可以先将每个表面采样点对应的每个视角的模态特征转化为一维向量，再使用融合网络将每个表面采样点对应的一维向量进行融合，得到融合后的一维向量，即该融合后的一维向量可以表示局部融合特征。本实施例将每个表面采样点对应的多个模态特征进行融合，实现了对感兴趣区域的局部特征融合，该局部融合特征可以有效且准确的反应感兴趣区域的信息，进而可以提高后续基于该局部融合特征进行分析时的分析准确性。
S702、将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
具体实现中，终端可以先采用融合网络或转换网络(比如Transformer网络)对每个表面采样点对应的多个模态特征进行融合，得到每一表面采样点对应的融合特征，即为局部融合特征。然后仍采用融合网络或转换网络(比如Transformer网络)对所有表面采样点对应的局部融合特征进行融合，得到感兴趣区域对应的融合特征，即为目标融合特征。需要说明的是，当终端在对所有表面采样点对应的局部融合特征进行融合时，可以将感兴趣区域图表示对应的顶点坐标矩阵、邻接矩阵和图像块矩阵，一起输入至融合网络或转换网络中进行特征融合，得到目标融合特征，使目标融合特征可以反应各表面采样点之间的关联关系，进而提高后期基于目标融合特征进行分析的分析准确性。另外，终端在对所有表面采样点对应的局部融合特征进行融合时，可以具体将所有表面采样点对应的局部融合特征进行图卷积计算，最终通过全局池化层得到目标融合特征。
本申请实施例提供了对所有表面采样点的多个模态特征进行两次融合，得到目标融合特征的方法，具体的，先对每个表面采样点对应的多个模态特征进行融合，得到每一表面采样点对应的局部融合特征，然后对所有表面采样点对应的局部融合特征进行融合，得到感兴趣区域对应的目标融合特征。可见，本申请实施例考虑到感兴趣区域在不同视角不同模态下的关联性，将表面采样点的多个模态特征进行融合，从而构造了能够有效表示感兴趣区域的目标融合特征。进一步的，基于该有效特征对感兴趣区域进行分析或分级，提高了感兴趣区域的分析或分级准确度。而且，本申请基于有效特征对感兴趣区域进行分析，可以避免传统对待处理医学图像进行分析的方法存在因无关背景信息的引入导致分析结果精度较低的问题。
参考图8，图8为本申请实施例提供的医学图像处理方法的另一流程示意图。以感兴趣区域为膝关节为例，则本申请实施例提供的医学图像处理方法可以包括以下步骤：
S801、获取多视角多模态的膝关节MRI影像。其中，多视角多模态包括矢状位T1、矢状位T2、冠状位PD以及横断面PD。
S802、使用U-Net网络从矢状位T2的膝关节MRI影像中分割出膝关节图谱。
S803、将多视角多模态的膝关节MRI影像映射至物理空间中，得到各视角的视场角(Field of View,FOV)。
S804、基于各视角的FOV确定多视角多模态的膝关节MRI影像之间的交叉面。
S805、基于多视角多模态的膝关节MRI影像之间的交叉面确定多视角多模态的膝关节MRI影像之间的交叉点。
S806、基于膝关节图谱，从多视角多模态的膝关节MRI影像之间的交叉点中提取出膝关节顶点(即膝关节的表面采样点)。
S807、基于所有膝关节顶点构建包含多视角图块(即多视角图像块数据)、顶点坐标和邻接矩阵的膝关节图表示。
S808、分别对每一顶点的多视角图块进行特征提取，得到每个顶点对应的多个模态特征。
S809、采用Transformer网络将每个顶点对应的多个模态特征进行融合，得到局部融合特征。
S810、根据膝关节图表示中的顶点坐标和邻接矩阵对所有顶点对应的局部融合特征进行融合，得到膝关节对应的目标融合特征。
S811、基于目标融合特征对膝关节进行分析或分级，得到分析或分级结果。
S812、基于膝关节的分析或分级结果确定膝关节OA的损伤程度对应的等级或膝关节的定位位置。
需要说明的是，图8中的各步骤与前述实施例中各步骤相对应，图中仅是简略示出了每个步骤的主要含义。图8中V0、V1、V2、V3，表示膝关节图表示中的每个膝关节顶点，图8中V0、V1、V2、V3之间的连线表示膝关节图表示中的相邻膝关节顶点之间的邻接关系，图8中V0、V1、V2、V3构成的示意图表示膝关节图表示，该图中仅是展示出了四个膝关节顶点以作示意，并不对膝关节顶点数量的限定。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的医学图像处理方法的医学图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个医学图像处理装置实施例中的具体限定可以参见上文中对于医学图像处理方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种医学图像处理装置，包括：第一提取模块、构建模块、第二提取模块和融合模块，其中：
第一提取模块901，用于从待处理医学图像的分割图像中提取出感兴趣区域的表面采样点；
构建模块902，用于根据感兴趣区域的表面采样点构建感兴趣区域图表示；
第二提取模块903，用于提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
融合模块904，用于对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域图的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
在一个实施例中，在上述实施例的基础上，如图10所示，医学图像处理装置还包括确定模块905：获取待处理医学图像的不同视角的模态图像；根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点；利用待处理医学图像提取出感兴趣区域的表面采样点，包括：对待处理医学图像进行分割处理，得到分割图像；根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
在一个实施例中，在上述实施例的基础上，构建模块902，具体用于根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵；获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵；根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵；根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
在一个实施例中，在上述实施例的基础上，对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
在一个实施例中，在上述实施例的基础上，以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
在一个实施例中，在上述实施例的基础上，对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
在一个实施例中，在上述实施例的基础上，融合模块904，具体用于将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
上述医学图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的计算机设备进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取待处理医学图像的不同视角的模态图像；根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点；利用待处理医学图像提取出感兴趣区域的表面采样点，包括：对待处理医学图像进行分割处理，得到分割图像；根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵；获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵；根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵；根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待处理医学图像的不同视角的模态图像；根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点；利用待处理医学图像提取出感兴趣区域的表面采样点，包括：对待处理医学图像进行分割处理，得到分割图像；根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵；获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵；根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵；根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据感兴趣区域的表面采样点构建感兴趣区域图表示；
提取感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到感兴趣区域的目标融合特征；目标融合特征能够用于确定感兴趣区域的分级。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取待处理医学图像的不同视角的模态图像；根据不同视角的模态图像在物理空间的位置信息，确定不同视角的模态图像之间的交叉点；利用待处理医学图像提取出感兴趣区域的表面采样点，包括：对待处理医学图像进行分割处理，得到分割图像；根据交叉点从分割图像中提取出感兴趣区域的表面采样点。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据每个表面采样点的坐标信息构建感兴趣区域对应的顶点坐标矩阵；获取每个表面采样点对应的多个视角的图像块数据，得到感兴趣区域对应的图像块矩阵；根据表面采样点之间的相邻关系，得到感兴趣区域对应的邻接矩阵；根据顶点坐标矩阵、图像块矩阵和邻接矩阵，构建感兴趣区域图表示。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对待处理医学图像的矢状面的T1模态图像或待处理医学图像的矢状面的T2模态图像进行感兴趣区的分割处理，得到分割图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：以每个表面采样点为中心，从待处理医学图像的不同视角的模态图像中提取每个表面采样点对应的不同视角的图像块数据，得到感兴趣区域对应的图像块矩阵。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；将所有表面采样点对应的局部融合特征进行融合，得到目标融合特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种医学图像处理方法，其特征在于，所述方法包括：
利用待处理医学图像提取出感兴趣区域的表面采样点；
根据所述感兴趣区域的表面采样点构建感兴趣区域图表示；
提取所述感兴趣区域图表示中每个表面采样点对应的多个模态特征；
对所述感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到所述感兴趣区域的目标融合特征；所述目标融合特征能够用于确定所述感兴趣区域的分级。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述待处理医学图像的不同视角的模态图像；
根据所述不同视角的模态图像在物理空间的位置信息，确定所述不同视角的模态图像之间的交叉点；
所述利用待处理医学图像提取出感兴趣区域的表面采样点，包括：
对所述待处理医学图像进行分割处理，得到分割图像；
根据所述交叉点从所述分割图像中提取出感兴趣区域的表面采样点。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述感兴趣区域的表面采样点构建感兴趣区域图表示，包括：
根据每个所述表面采样点的坐标信息构建所述感兴趣区域对应的顶点坐标矩阵；
获取每个所述表面采样点对应的多个视角的图像块数据，得到所述感兴趣区域对应的图像块矩阵；
根据表面采样点之间的相邻关系，得到所述感兴趣区域对应的邻接矩阵；
根据所述顶点坐标矩阵、所述图像块矩阵和所述邻接矩阵，构建所述感兴趣区域图表示。
4.根据权利要求2所述的方法，其特征在于，所述对所述待处理医学图像进行分割处理，得到分割图像，包括：
对所述待处理医学图像的矢状面的T1模态图像或所述待处理医学图像的矢状面的T2模态图像进行所述感兴趣区的分割处理，得到所述分割图像。
5.根据权利要求3所述的方法，其特征在于，所述获取每个所述表面采样点对应的多个视角的图像块数据，得到所述感兴趣区域对应的图像块矩阵，包括：
以每个所述表面采样点为中心，从所述待处理医学图像的不同视角的模态图像中提取每个所述表面采样点对应的不同视角的图像块数据，得到所述感兴趣区域对应的图像块矩阵。
6.根据权利要求3所述的方法，其特征在于，所述提取所述感兴趣区域图表示中每个表面采样点对应的多个模态特征，包括：
对所述感兴趣区域图表示中的每个表面采样点对应的多个视角的图像块数据进行特征提取，得到每个表面采样点对应的多个模态特征。
7.根据权利要求1所述的方法，其特征在于，所述对所述感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到所述感兴趣区域的目标融合特征，包括：
将所述每个表面采样点对应的多个模态特征进行融合，得到局部融合特征；
将所有表面采样点对应的局部融合特征进行融合，得到所述目标融合特征。
8.一种医学图像处理装置，其特征在于，所述装置包括：
第一提取模块，用于从待处理医学图像的分割图像中提取出感兴趣区域的表面采样点；
构建模块，用于根据所述感兴趣区域的表面采样点构建感兴趣区域图表示；
第二提取模块，用于提取所述感兴趣区域图表示中每个表面采样点对应的多个模态特征；
融合模块，用于对所述感兴趣区域图表示中所有表面采样点对应的多个模态特征进行融合，得到所述感兴趣区域的目标融合特征；所述目标融合特征能够用于确定所述感兴趣区域的分级。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210290577.5A 2022-03-23 2022-03-23 医学图像处理方法、装置、设备和存储介质 Pending CN114757890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210290577.5A CN114757890A (zh) 2022-03-23 2022-03-23 医学图像处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210290577.5A CN114757890A (zh) 2022-03-23 2022-03-23 医学图像处理方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114757890A true CN114757890A (zh) 2022-07-15

Family

ID=82328048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210290577.5A Pending CN114757890A (zh) 2022-03-23 2022-03-23 医学图像处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114757890A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129141A (zh) * 2023-01-13 2023-05-16 腾讯科技（深圳）有限公司 医学数据处理方法、装置、设备、介质和计算机程序产品

Similar Documents

Publication Publication Date Title
US8355553B2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model
Oghli et al. Automatic fetal biometry prediction using a novel deep convolutional network architecture
CN110458813A (zh) 图像区域定位方法、装置和医学图像处理设备
Putra et al. Enhanced skin condition prediction through machine learning using dynamic training and testing augmentation
Zabihollahy et al. Fully automated segmentation of left ventricular scar from 3D late gadolinium enhancement magnetic resonance imaging using a cascaded multi‐planar U‐Net (CMPU‐Net)
CN101027692B (zh) 用于基于滑降的簇的对象表征的系统和方法
CN108846829B (zh) 病变部位识别装置、计算机装置及可读存储介质
Bhadoria et al. Comparison of segmentation tools for multiple modalities in medical imaging
Wang et al. Study on automatic detection and classification of breast nodule using deep convolutional neural network system
Ni et al. Segmentation of ultrasound image sequences by combing a novel deep siamese network with a deformable contour model
Płotka et al. Deep learning fetal ultrasound video model match human observers in biometric measurements
Yang et al. Hybrid attention for automatic segmentation of whole fetal head in prenatal ultrasound volumes
Fripp et al. Automatic segmentation of articular cartilage in magnetic resonance images of the knee
Zabihollahy et al. Fully automated segmentation of left ventricular myocardium from 3D late gadolinium enhancement magnetic resonance images using a U-net convolutional neural network-based model
CN113192031B (zh) 血管分析方法、装置、计算机设备和存储介质
Wang et al. TransFusionNet: Semantic and spatial features fusion framework for liver tumor and vessel segmentation under JetsonTX2
CN114757890A (zh) 医学图像处理方法、装置、设备和存储介质
Nanthagopal et al. A region-based segmentation of tumour from brain CT images using nonlinear support vector machine classifier
Cairone et al. Robustness of radiomics features to varying segmentation algorithms in magnetic resonance images
Lecesne et al. Segmentation of cardiac infarction in delayed-enhancement MRI using probability map and transformers-based neural networks
CN116129184A (zh) 多期相病灶分类方法、装置、设备及可读存储介质
Ruff et al. Volume estimation from sparse planar images using deformable models
Binaghi et al. Collection and fuzzy estimation of truth labels in glial tumour segmentation studies
CN114723723A (zh) 医学影像处理方法、计算机设备和存储介质
Mani Deep learning models for semantic multi-modal medical image segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination