CN115035375A - 一种用于对胸部ct图像进行特征提取的方法和相关产品 - Google Patents

一种用于对胸部ct图像进行特征提取的方法和相关产品 Download PDF

Info

Publication number
CN115035375A
CN115035375A CN202210635543.5A CN202210635543A CN115035375A CN 115035375 A CN115035375 A CN 115035375A CN 202210635543 A CN202210635543 A CN 202210635543A CN 115035375 A CN115035375 A CN 115035375A
Authority
CN
China
Prior art keywords
image
feature
fusion
chest
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210635543.5A
Other languages
English (en)
Inventor
雷娜
王振常
任玉雪
陈伟
金连宝
魏璇
吕晗
李维
吴伯阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhituo Vision Technology Co ltd
Dalian University of Technology
Capital Normal University
Beijing Friendship Hospital
Original Assignee
Beijing Zhituo Vision Technology Co ltd
Dalian University of Technology
Capital Normal University
Beijing Friendship Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhituo Vision Technology Co ltd, Dalian University of Technology, Capital Normal University, Beijing Friendship Hospital filed Critical Beijing Zhituo Vision Technology Co ltd
Priority to CN202210635543.5A priority Critical patent/CN115035375A/zh
Publication of CN115035375A publication Critical patent/CN115035375A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/64—Analysis of geometric attributes of convexity or concavity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本公开涉及一种用于对胸部CT图像进行特征提取的方法和相关产品。所述方法包括：获取待执行特征提取的胸部CT图像并且基于所述胸部CT图像至少获取其特征信息；将所述胸部CT图像和所述特征信息输入至用于执行特征提取操作的特征提取模块；利用所述特征提取模块分别对所述胸部CT图像和所述特征信息执行特征提取操作，以获得二者对应的中间特征；将所述对应的中间特征输入至用于执行特征融合操作的融合模块；以及利用所述融合模块对所述对应的中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。利用本公开的方案，可以获得胸部CT图像中更全面、更丰富的特征信息，以便于后续进一步的研究。

Description

一种用于对胸部CT图像进行特征提取的方法和相关产品
技术领域
本公开一般地涉及图像处理技术领域。更具体地，本公开涉及一种用于对胸部CT图像进行特征提取的方法、设备以及计算机可读存储介质。
背景技术
病灶区域中包含有助于临床诊断的信息，因此对病灶区域的图像特征的提取显得尤为重要。目前，通常是将病灶区域的图像输入至网络模型，使其经过逐步下采样而尺寸逐步变小，以提取病灶区域的图像的特征。然而，前述提取的特征并没有进行深度融合，会存在特征信息缺失的问题。因此，如何深度融合图像的特征成为亟需解决的技术问题。
发明内容
为了至少部分地解决背景技术中提到的技术问题，本公开的方案提供了一种用于对胸部CT图像进行特征提取的方案。利用本公开的方案，可以对多种图像数据类型进行深度融合，以使得提取的特征包含更丰富的信息，从而避免信息缺失。为此，本公开在如下的多个方面提供解决方案。
在第一方面，本公开提供一种用于对胸部CT图像进行特征提取的方法，包括：获取待执行特征提取的胸部CT图像并且基于所述胸部CT图像至少获取其特征信息；将所述胸部CT图像和所述特征信息输入至用于执行特征提取操作的特征提取模块；利用所述特征提取模块分别对所述胸部CT图像和所述特征信息执行特征提取操作，以获得二者对应的中间特征；将所述对应的中间特征输入至用于执行特征融合操作的融合模块；以及利用所述融合模块对所述对应的中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。
在一个实施例中，其中所述特征信息包括所述胸部CT图像中肺部病灶区域的特征信息，并且所述肺部病灶区域的特征信息至少包括高斯曲率、平均曲率和/或里奇曲率。
在另一个实施例中，其中所述特征提取模块包括多个卷积层和多个池化层，利用所述特征提取模块分别对所述胸部CT图像和所述特征信息执行特征提取操作，以获得二者对应的中间特征包括：利用所述特征提取模块中的多个所述卷积层和多个所述池化层对所述胸部CT图像执行多次特征提取操作，以获得多个第一中间特征；以及利用所述特征提取模块中的多个所述卷积层和多个所述池化层对所述特征信息执行多次特征提取操作，以获得多个第二中间特征。
在又一个实施例中，其中所述融合模块包括多个，利用所述融合模块对所述对应的中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征包括：从所述多个第一中间特征和所述多个第二中间特征中分别选择多个第一目标中间特征和多个第二目标中间特征；以及利用多个所述融合模块对所述多个第一目标中间特征和所述多个第二目标中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。
在又一个实施例中，其中利用多个所述融合模块对所述多个第一目标中间特征和所述多个第二目标中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征包括：利用多个所述融合模块依次对相应第一目标中间特征、相应第二目标中间特征执行特征融合操作来获取相应融合结果，并且将所述相应融合结果输入至下一个融合模块；利用下一个融合模块对上一个融合模块的融合结果、相应第一目标中间特征、相应第二目标中间特征执行下一次特征融合操作，直至获得最后一个融合模块的融合结果；以及将所述最后一个融合模块的融合结果作为胸部CT图像的最终特征。
在又一个实施例中，其中所述特征融合操作包括相加、相减、相乘以及取最大值操作。
在又一个实施例中，所述方法还包括：基于所述胸部CT图像获取其影像信息；以及将所述影像信息与所述最后一个融合模块的融合结果进行拼接，以获得胸部CT图像的最终特征。
在又一个实施例中，其中所述影像信息至少包括所述胸部CT图像中与肌肉和腹部脂肪相关的影像信息、与椎体骨质相关的影像信息以及与肝脏、心血管和甲状腺相关的影像信息。
在第二方面，本公开还提供一种用于对胸部CT图像进行特征提取的设备，包括：处理器；以及存储器，其存储有用于对胸部CT图像进行特征提取的程序指令，当所述程序指令由所述处理器执行时，使得所述设备前述多个实施例。
在第三方面，本公开还提供一种计算机可读存储介质，其上存储有用于对胸部CT图像进行特征提取的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述多个实施例。
通过本公开的方案，通过对胸部CT图像以及基于胸部CT图像获取的特征信息执行特征提取操作来获得各自对应的中间特征，进而使用多个融合模块来各自对应的中间特征进行融合，以将其进行深度融合。基于此，可以获得更加丰富的特征信息，从而避免信息缺失。进一步地，本公开实施例还融合了胸部CT图像的影像信息，以获得更加全面的信息，以便于后续的研究能够作出准确的评价。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分其中：
图1是示出根据本公开实施例的用于对胸部CT图像进行特征提取的方法的示例性流程框图；
图2是示出根据本公开实施例的利用特征提取模块分别对胸部CT图像和特征信息执行特征提取操作的示例性结构框图；
图3是示出根据本公开实施例的利用融合模块对对应的中间特征执行特征融合操作的示例性结构框图；
图4是示出根据本公开实施例的用于对胸部CT图像进行特征提取的整体的示例性结构框图；以及
图5是示出根据本公开实施例的用于对胸部CT图像进行特征提取的设备的框图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本公开为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本公开的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1是示出根据本公开实施例的用于对胸部CT图像进行特征提取的方法100的示例性流程框图。如图1中所示，在步骤S102处，获取待执行特征提取的胸部CT图像并且基于所述胸部CT图像至少获取其特征信息。在一个实施例中，前述胸部CT图像可以例如肺炎患者的胸部CT图像，并且该胸部CT图像可以是通过例如电子计算机断层扫描(ComputedTomography，“CT”)技术或设备来获取。前述特征信息可以包括胸部CT 图像中肺部病灶区域的特征信息，并且肺部病灶区域的特征信息至少包括高斯曲率、平均曲率和/或里奇曲率。也就是说，该特征信息是针对肺部病灶区域计算其高斯曲率、平均曲率和/或里奇曲率所获得的特征信息。
在一个实现场景中，首先可以基于胸部CT图像中的肺部病灶区域生成由多个顶点连接而成的二维网格或者四面体网格，进而基于前述二维网格或者四面体网格来确定肺部病灶区域的高斯曲率、平均曲率和/或里奇曲率。对于高斯曲率而言，其等于2π减去原始未切开的封闭网格顶点处与其相邻网格对应的角度。假设将高斯曲率记为k，则
Figure RE-GDA0003796324950000041
其中θi表示网格顶点与其相邻网格对应的角度，n表示该网格顶点的相邻网格的个数。对于平均曲率来说，假设肺部病灶区域为函数F，并且顶点x所在的等值面的法向量为
Figure RE-GDA0003796324950000044
则可以将顶点x处的平均曲率K定义为
Figure RE-GDA0003796324950000042
Figure RE-GDA0003796324950000043
对于里奇曲率而言，首先可以定义四面体网格中的顶点邻接的边的权值F(e)，并将其表示为：
Figure RE-GDA0003796324950000051
其中，ωe表示边e的权值，
Figure RE-GDA0003796324950000052
和
Figure RE-GDA0003796324950000053
分别表示顶点v1和v2处的权重，
Figure RE-GDA0003796324950000054
表示所有与顶点v1邻接的边(不包括边e)，
Figure RE-GDA0003796324950000055
表示所有与顶点v2邻接的边(不包括边e)。进一步地，可以定义其共边的权重ωe，并将其表示为：
Figure RE-GDA0003796324950000056
结合上述公式(1)和公式(2)可以获得四面体网格中的顶点邻接的边的权值F(e)。基于前述获得的权重F(e)，进一步地根据如下公式可以获得每个顶点处的里奇曲率Ric：
Figure RE-GDA0003796324950000057
在上述公式(3)中，ev表示与顶点v相邻接的边，ev～v表示所有与顶点v相邻的边，deg(v)可以表示ev的个数，也即点v相邻的边的个数。此外，还可以基于上述公式(1)和公式(2)计算分别计算顶点处相互正交的三个轴(即 x轴、y轴、z轴)上的权重，将该三个轴的权重作为里奇曲率值。前述三个轴重可以表示三维张量的张量数据。由此，里奇曲率值可以被表示为三维张量。
基于上述获得的特征信息(包括高斯曲率、平均曲率和/或里奇曲率)，在步骤S104处，将胸部CT图像和特征信息输入至用于执行特征提取操作的特征提取模块。在一些实施例中，该特征提取模块可以包括多个卷积层和多个池化层。接着，在步骤S106处，利用特征提取模块分别对胸部CT 图像和特征信息执行特征提取操作，以获得二者对应的中间特征。具体地，可以利用特征提取模块中的多个卷积层和多个池化层对胸部CT图像执行多次特征提取操作，以获得多个第一中间特征以及利用特征提取模块中的多个卷积层和多个池化层对特征信息执行多次特征提取操作，以获得多个第二中间特征。稍后将结合图2详细描述。
在获得对应的中间特征后，在步骤S108处，将对应的中间特征输入至用于执行特征融合操作的融合模块。在一个实施例中，前述融合模块可以例如是多因子融合结构(Multifactorial Fusion Struct，“MFS”)模块，并且融合模块可以包括多个。进一步地，在步骤S110处，利用融合模块对对应的中间特征执行特征融合操作，以获得胸部CT图像的最终特征。在实现场景中，首先可以从多个第一中间特征和多个第二中间特征中分别选择多个第一目标中间特征和多个第二目标中间特征，接着利用多个融合模块对多个第一目标中间特征和多个第二目标中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。具体来说，首先利用多个融合模块依次对相应第一目标中间特征、相应第二目标中间特征执行特征融合操作来获取相应融合结果，并且将相应融合结果输入至下一个融合模块。接着，利用下一个融合模块对上一个融合模块的融合结果、相应第一目标中间特征、相应第二目标中间特征执行下一次特征融合操作，直至获得最后一个融合模块的融合结果，并且将最后一个融合模块的融合结果作为胸部CT图像的最终特征。在一个实施例中，前述特征融合操作可以包括但不仅限于相加、相减、相乘以及取最大值操作。稍后将结合图3详细描述。
结合上述描述可知，本公开实施例通过将胸部CT图像以及基于胸部 CT图像提取的例如高斯曲率、平均曲率和/或里奇曲率等特征信息输入至特征提取模块进行特征提取操作，并且获得各自对应的多个中间特征。进一步地，从各自对应的多个中间特征中提取的多个目标特征，并且利用多个融合模块来对多个目标特征执行例如相加、相减、相乘以及取最大值操作，以对以获得胸部CT图像的最终特征。基于本公开实施例，通过将多种图像数据类型各自对应的多个目标特征进行深度融合，使得获得的前述最终特征能够包含更加丰富的信息，从而避免信息缺失。
图2是示出根据本公开实施例的利用特征提取模块分别对胸部CT图像和特征信息执行特征提取操作的示例性结构框图。需要理解的是，图2 是上述图1中方法100的步骤S104的一个具体实施例，因此上述关于图1 所作的描述同样适用于图2。
如图2中所示，将胸部CT图像201和特征信息(如图中示出的高斯曲率202、平均曲率203和里奇曲率204)输入至特征提取模块205进行特征提取，可以获得其各自对应的多个中间特征。在一个实施例中，由于前述胸部CT图像201大小不统一，因此特征提取模块可以采用滑动窗口 (尺寸大小可以为64*64*64)，由此胸部CT图像201的尺寸大小为 64*64*64。对于高斯曲率202和平均曲率203来说，由于二者为体数据，并且与胸部CT图像201的尺寸大小一致，因此在实施场景中，可以将高斯曲率202和平均曲率203进行叠加，视为尺寸大小为64*64*64的二维张量数据，进而输入至特征提取模块205中。对于里奇曲率204而言，其可以表示为三维张量，其尺寸大小可以为64*64*3。
如前所述，上述特征提取模块205可以包括多个卷积层和多个池化层，经由多个卷积层和多个池化层可以获得胸部CT图像201和特征信息(如图中示出的高斯曲率202、平均曲率203和里奇曲率204)各自对应的多个中间特征。例如图中进一步示出，将胸部CT图像201输入至特征提取模块205执行特征提取操作，获得其对应的多个第一中间特征206。将高斯曲率202和平均曲率203叠加形成的二维张量数据输入至特征提取模块 205执行特征提取操作，获得其对应的多个第二中间特征207。类似地，将里奇曲率204输入至特征提取模块205执行特征提取操作，获得其对应的多个第二中间特征208。在实现场景中，前述对胸部CT图像和各个特征信息执行的特征提取操作之间是相互独立的。
基于上述的特征提取操作，可以获得胸部CT图像和特征信息各自对应的中间特征。根据前文知，通过从各自对应的中间特征中选出各自的目标特征，进而使用多个融合模块对多个目标特征执行特征融合操作，能够获得胸部CT图像的最终特征。下面将结合图3详细描述前述特征融合操作。
图3是示出根据本公开实施例的利用融合模块对对应的中间特征执行特征融合操作的示例性结构框图。需要理解的是，图3是上述图1中方法 100的步骤S110的一个具体实施例，因此上述关于图1所作的描述同样适用于图3。
如图3中所示，本公开实施例可以包括多个融合模块，该融合模块可以例如是MFS模块301。如前所述，通过利用多个融合模块依次对相应第一目标中间特征、相应第二目标中间特征执行特征融合操作，并且将融合结果输入至下一个融合模块。接着，利用下一个融合模块基于上一个融合模块的融合结果、相应第一目标中间特征、相应第二目标中间特征执行下一次特征融合操作，直至获得最后一个融合模块的融合结果，即可获得胸部CT图像的最终特征。也就是说，除第一个融合模块以外，其他融合模块的输入均包括上一个融合模块的融合结果以及相应的第一目标中间特征和第二目标中间特征。
在一个示例性场景中，假设从胸部CT图像对应的多个第一中间特征中选出多个第一目标中间特征302，从高斯曲率和平均曲率对应的多个第二中间特征中选出多个第二目标中间特征303以及从里奇曲率对应的多个第二中间特征中选出多个第二目标中间特征304。在该场景下，首先经由第一个MFS模块301对相应第一目标中间特征302-1、相应第二目标中间特征303-1和相应第一目标中间特征304-1执行特征融合操作，以获得第一个MFS模块301对应的融合结果。接着，将第一个MFS模块301对应的融合结果输入至第二个MFS模块301，进而经由第二个MFS模块301 基于上一个融合模块(也即第一个MFS模块301)的融合结果、相应第一目标中间特征302-2、相应第二目标中间特征303-2和相应第一目标中间特征304-2执行特征融合操作，以获得第二个MFS模块301对应的融合结果。类似地，经由第三个MFS模块301基于第二个MFS模块301的融合结果、相应第一目标中间特征302-3、相应第二目标中间特征303-3和相应第一目标中间特征304-3执行特征融合操作，以获得第三个MFS模块 301对应的融合结果。经由第四个MFS模块301基于第三个MFS模块301 的融合结果、相应第一目标中间特征302-4、相应第二目标中间特征303-4 和相应第一目标中间特征304-4执行特征融合操作，以获得第四个MFS 模块301对应的融合结果。
在本公开实例中，上述MFS模块可以包括全连接层。在使用MFS模块执行特征融合操作中，第一个MFS模块是对相应第一目标中间特征和相应第二目标中间特征执行相加、相减、相乘以及取最大值操作，并将前述各个操作对应的结果进行融合(例如图中虚线框内所示)，从而获得第一个MFS模块的融合结果。对于其他MFS模块而言，其均是对上一个 MFS模块的融合结果、相应第一目标中间特征和相应第二目标中间特征执行相加、相减、相乘以及取最大值操作，并将前述各个操作对应的结果进行融合，以获得相应融合结果。以第四个MFS模块301为例，该第四个 MFS模块301分别基于第三个MFS模块301的融合结果、相应第一目标中间特征302-4、相应第二目标中间特征303-4和相应第一目标中间特征 304-4执行相加(图中“+”符号所示)、相减(图中“-”符号所示)、相乘(图中“×”符号所示)以及取最大值操作(图中“max”符号所示)，将各个操作对应的结果进行融合(例如拼接)获得第四个MFS模块301 对应的融合结果。假设第四个MFS模块是最后一个，则其对应的融合结果305即为胸部CT图像的最终特征。
在一个实施例中，本公开还可以基于胸部CT图像获取其影像信息，并且将影像信息与最后一个融合模块的融合结果进行拼接，从而将拼接后的结果作为胸部CT图像的最终特征。在一些实施例中，前述影像信息可以包括但不仅限于胸部CT图像中与肌肉和腹部脂肪相关的影像信息(例如脂肪的面积)、与椎体骨质相关的影像信息(例如骨密度)以及与肝脏、心血管和甲状腺相关的影像信息(例如肝脏CT值、甲状腺密度等)。基于此，能够获取胸部CT图像中更加全面的信息，有利于在后续的进一步研究中作出准确的评价。
在一个实施场景中，可以通过例如定量计算体层摄影技术 (QuantitativeComputed Tomography，“QCT”)来上述的多种影像信息。例如将胸部CT图像的DICOM数据导入QCT中，测量感兴趣区(例如取自腰1-2椎间盘水平)。通过应用QCT体质成分测量功能，以腹壁肌外缘区分皮下脂肪及腹腔内脂肪，腹腔内脂肪的识别避开腹腔脏器及血管。进接着，通过手动勾画腹壁肌肉边缘确定腹壁肌肉感兴趣区，进而分别定量记录腹壁肌肉、皮下脂肪及腹腔内脂肪的面积数据。进一步地，通过以第一腰椎(L1)和第二腰椎(L2)处松质骨密度的绝对值的平均值作为评价骨质疏松症的标准，通过分别定量记录骨密度绝对值的连续变量数据，并记录对应的定性数据(例如当骨密度绝对值>120mg/cm3，属于正常范围；当骨密度绝对值处于80～120mg/cm3，属于低骨量；当骨密度绝对值<80 mg/cm3，属于骨质疏松)。
对于例如肺炎患者的胸部CT图像，可以测量腰1-2椎间盘层面肝脏 CT值。具体地，按Couinaud八段法，避开肝内血管、胆管及韧带，在所示各肝段的中心划定直径为1cm的感兴趣区，记录其CT值，并且取各肝段的平均CT值作为腰1-2椎间盘层面内的肝脏CT值(HU)。还可以测量腰1-2椎间盘层面脾脏CT值，并记录对应的脂肪肝程度分级(肝/脾CT 比值处于0.7～1.0之间，为轻度脂肪肝；比值处于0.5～0.7之间，为中度脂肪肝；比值≤0.5，为重度脂肪肝)。
在一些实施例中，还可以从胸部CT图像中截取心脏四腔的中部层面的横断面DICOM图像，并将其导入ITK-SNAP软件。在ITK-SNAP软件上手动勾画心脏边缘，可以自动测量感兴趣区体积，并记录四腔中心层面的心脏体积(mm3)。此外，通过采用冠脉血管狭窄分析AI软件及Agatston 积分系统来标记冠脉各分支钙化区域，并且将阈值设定为130HU，可以自动得出左主干、左前降支、回旋支及右冠状动脉的钙化积分并计算总钙化积分。类似地，可以获得主动脉钙化积分。另外，通过从胸部CT图像中选取甲状腺显示的最大横截面，并且以直径为1cm划定感兴趣区，分别测量峡部及双侧叶CT值，并取其平均CT值作为甲状腺密度的测量结果 (HU)。进一步地，通过截取甲状腺显示的最大横断面DICOM图像，并将其导入ITK-SNAP软件，通过在ITK-SNAP软件上手动勾画甲状腺边缘，从而自动测量感兴趣区体积，并记录甲状腺体积(mm3)。也即，本公开实施例的上述影像信息可以包括腹壁肌肉、皮下脂肪及腹腔内脂肪的面积数据、骨密度绝对值、肝脏CT值、主动脉钙化积分、甲状腺密度以及密度等。可以理解，前述影像信息通常为实数数据，可以将其量纲归一化、平铺后与上述最后一个融合模块的融合结果进行拼接，以获得胸部 CT图像的最终特征。
图4是示出根据本公开实施例的用于对胸部CT图像进行特征提取的整体的示例性结构框图。如图4中所示，将胸部CT图像401(也即上述图2中所示出的胸部CT图像201)、高斯曲率和平均曲率叠加后的二维张量数据402以及里奇曲率403(也即上述图2中所示出的里奇曲率204) 输入特征提取模块中，经由特征提取模块执行特征提取操作。其中，高斯曲率、平均曲率和里奇曲率可以基于胸部CT图像获取，具体可参考上述图1所描述的内容，本公开在此不再赘述。如前所述，前述特征提取模块可以包括多个卷积层和多个池化层，并且每个卷积层可以包括卷积、 BatchNormalization以及Relu。作为示例，可以采用10个卷积层和4个池化层。
图中进一步示出，胸部CT图像401、高斯曲率和平均曲率叠加后的二维张量数据402以及里奇曲率403经由特征提取模块执行特征提取，可以分别获得对应的多个第一中间特征404、多个第二中间特征405以及多个第二中间特征406。接着，从前述多个第一中间特征和第二中间特征选取多个目标中间特征，并将其输入至MFS模块407中进行融合，以获得胸部CT图像的最终特征。在一个示例性场景中，假设从多个第一中间特征404选取第一中间特征404-1至第一中间特征404-5，从多个第二中间特征405选取第二中间特征405-1至第二中间特征405-5以及从多个第二中间特征406选取第二中间特征406-1至第二中间特征406-5。在实施场景中，目标中间特征的选取可以基于残差模块的层数来确定。在获取目标特征后，可以利用多个MFS模块407来对其进行融合。
例如首先利用第一个MFS模块407来对第一中间特征404-1、第二中间特征405-1以及第二中间特征406-1进行融合(包括执行相加、相减、相乘以及取最大值操作)，获得对应的融合结果。接着，将第一个MFS 模块407的融合结果输入至第二个MFS模块407，进而由第二个MFS模块407基于第一个MFS模块407的融合结果、第一中间特征404-2、第二中间特征405-2以及第二中间特征406-2进行融合，并将融合结果输入至下一个MFS模块407。直至获得最后一个MFS模块(图中所示为第五个 MFS模块)的融合结果408，并将最后一个MFS模块的融合结果作为胸部CT图像的最终特征。具体可以参考上述图3所描述的内容，本公开在此不再赘述。
在一些实施例中，还可以将影像信息(例如腹壁肌肉、皮下脂肪及腹腔内脂肪的面积数据、骨密度绝对值、肝脏CT值、主动脉钙化积分、甲状腺密度以及密度等)409与融合结果408进行拼接，以获得胸部CT图像的最终特征。该最终特征可以用于后续的进一步研究(例如分类或者回归)，以获得准确的评价。
图5是示出根据本公开实施例的用于对胸部CT图像进行特征提取的设备500的框图。可以理解的是，实现本公开方案的设备可以是单一的设备(例如计算设备)或包括各种外围设备的多功能设备。
如图5中所示，本公开的设备可以包括中央处理器或中央处理单元 (“CPU”)511，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备500还可以包括大容量存储器512和只读存储器(“ROM”)513，其中大容量存储器512可以配置用于存储各类数据，包括各种与待执行特征提取的胸部CT图像、算法数据、中间结果和运行设备500所需要的各种程序。ROM 513可以配置成存储对于设备500的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。
可选地，设备500还可以包括其他的硬件平台或组件，例如示出的张量处理单元(“TPU”)514、图形处理单元(“GPU”)515、现场可编程门阵列(“FPGA”)516和机器学习单元(“MLU”)517。可以理解的是，尽管在设备500中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备500可以仅包括CPU、相关存储设备和接口设备来实现本公开的用于对胸部CT图像进行特征提取的方法。
在一些实施例中，为了便于数据与外部网络的传递和交互，本公开的设备500还包括通信接口518，从而可以通过该通信接口518连接到局域网/无线局域网(“LAN/WLAN”)505，进而可以通过该LAN/WLAN连接到本地服务器506或连接到因特网(“Internet”)507。替代地或附加地，本公开的设备500还可以通过通信接口518基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代(“3G”)、第4代(“4G”) 或第5代(“5G”)的无线通信技术。在一些应用场景中，本公开的设备 500还可以根据需要访问外部网络的服务器508和数据库509，以便获得各种已知的图像模型、数据和模块，并且可以远程地存储各种数据，例如用于呈现胸部CT图像、特征信息以及对胸部CT图像、特征信息执行特征提取获得的多个中间特征的各类数据或指令。
设备500的外围设备可以包括显示装置502、输入装置503和数据传输接口504。在一个实施例中，显示装置502可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本公开的显示对胸部CT 图像、特征信息的特征提取过程、特征融合过程或者最终特征进行语音提示和/或图像视频显示。输入装置503可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收胸部CT图像、特征信息或者影像信息的输入和/或用户指令。数据传输接口504可以包括例如串行接口、并行接口或通用串行总线接口(“USB”)、小型计算机系统接口(“SCSI”)、串行ATA、火线(“FireWire”)、PCIExpress 和高清多媒体接口(“HDMI”)等，其配置用于与其他设备或系统的数据传输和交互。根据本公开的方案，该数据传输接口504可以接收来自于 CT设备的待执行特征提取的胸部CT图像，并且向设备500传送包括胸部 CT图像、特征信息或者影像信息或各种其他类型的数据或结果。
本公开的设备500的上述CPU 511、大容量存储器512、ROM 513、 TPU 514、GPU515、FPGA 516、MLU 517和通信接口518可以通过总线 519相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线519，CPU 511可以控制设备500中的其他硬件组件及其外围设备。
以上结合图5描述了可以用于执行本公开的用于对胸部CT图像进行特征提取的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本公开的实现方式和实现实体并不受其限制，而是可以在不偏离本公开的精神下做出改变。
根据上述结合附图的描述，本领域技术人员也可以理解本公开的实施例还可以通过软件程序来实现。由此本公开还提供了一种计算机程序产品。该计算机程序产品可以用于实现本公开结合附图l-4所描述的用于对胸部 CT图像进行特征提取的方法。
应当注意，尽管在附图中以特定顺序描述了本公开方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
应当理解，当本公开的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本公开的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本公开说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本公开。如在本公开说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本公开说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
虽然本公开的实施方式如上，但所述内容只是为便于理解本公开而采用的实施例，并非用以限定本公开的范围和应用场景。任何本公开所述技术领域内的技术人员，在不脱离本公开所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本公开的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于对胸部CT图像进行特征提取的方法，包括：
获取待执行特征提取的胸部CT图像并且基于所述胸部CT图像至少获取其特征信息；
将所述胸部CT图像和所述特征信息输入至用于执行特征提取操作的特征提取模块；
利用所述特征提取模块分别对所述胸部CT图像和所述特征信息执行特征提取操作，以获得二者对应的中间特征；
将所述对应的中间特征输入至用于执行特征融合操作的融合模块；以及
利用所述融合模块对所述对应的中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。
2.根据权利要求1所述的方法，其中所述特征信息包括所述胸部CT图像中肺部病灶区域的特征信息，并且所述肺部病灶区域的特征信息至少包括高斯曲率、平均曲率和/或里奇曲率。
3.根据权利要求2所述的方法，其中所述特征提取模块包括多个卷积层和多个池化层，利用所述特征提取模块分别对所述胸部CT图像和所述特征信息执行特征提取操作，以获得二者对应的中间特征包括：
利用所述特征提取模块中的多个所述卷积层和多个所述池化层对所述胸部CT图像执行多次特征提取操作，以获得多个第一中间特征；以及
利用所述特征提取模块中的多个所述卷积层和多个所述池化层对所述特征信息执行多次特征提取操作，以获得多个第二中间特征。
4.根据权利要求3所述的方法，其中所述融合模块包括多个，利用所述融合模块对所述对应的中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征包括：
从所述多个第一中间特征和所述多个第二中间特征中分别选择多个第一目标中间特征和多个第二目标中间特征；以及
利用多个所述融合模块对所述多个第一目标中间特征和所述多个第二目标中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征。
5.根据权利要求4所述的方法，其中利用多个所述融合模块对所述多个第一目标中间特征和所述多个第二目标中间特征执行所述特征融合操作，以获得所述胸部CT图像的最终特征包括：
利用多个所述融合模块依次对相应第一目标中间特征、相应第二目标中间特征执行特征融合操作来获取相应融合结果，并且将所述相应融合结果输入至下一个融合模块；
利用下一个融合模块对上一个融合模块的融合结果、相应第一目标中间特征、相应第二目标中间特征执行下一次特征融合操作，直至获得最后一个融合模块的融合结果；以及
将所述最后一个融合模块的融合结果作为胸部CT图像的最终特征。
6.根据权利要求5所述的方法，其中所述特征融合操作包括相加、相减、相乘以及取最大值操作。
7.根据权利要求5所述的方法，还包括：
基于所述胸部CT图像获取其影像信息；以及
将所述影像信息与所述最后一个融合模块的融合结果进行拼接，以获得胸部CT图像的最终特征。
8.根据权利要求7所述的方法，其中所述影像信息至少包括所述胸部CT图像中与肌肉和腹部脂肪相关的影像信息、与椎体骨质相关的影像信息以及与肝脏、心血管和甲状腺相关的影像信息。
9.一种用于对胸部CT图像进行特征提取的设备，包括：
处理器；以及
存储器，其存储有用于对胸部CT图像进行特征提取的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现根据权利要求1-8任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有用于对胸部CT图像进行特征提取的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现根据权利要求1-8任意一项所述的方法。
CN202210635543.5A 2022-06-06 2022-06-06 一种用于对胸部ct图像进行特征提取的方法和相关产品 Pending CN115035375A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210635543.5A CN115035375A (zh) 2022-06-06 2022-06-06 一种用于对胸部ct图像进行特征提取的方法和相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210635543.5A CN115035375A (zh) 2022-06-06 2022-06-06 一种用于对胸部ct图像进行特征提取的方法和相关产品

Publications (1)

Publication Number Publication Date
CN115035375A true CN115035375A (zh) 2022-09-09

Family

ID=83123501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210635543.5A Pending CN115035375A (zh) 2022-06-06 2022-06-06 一种用于对胸部ct图像进行特征提取的方法和相关产品

Country Status (1)

Country Link
CN (1) CN115035375A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233626A (zh) * 2023-05-05 2023-06-06 荣耀终端有限公司 图像处理方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233626A (zh) * 2023-05-05 2023-06-06 荣耀终端有限公司 图像处理方法、装置及电子设备
CN116233626B (zh) * 2023-05-05 2023-09-15 荣耀终端有限公司 图像处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107492099B (zh) 医学图像分析方法、医学图像分析系统以及存储介质
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN107123112B (zh) 血流状态分析系统及方法
RU2571523C2 (ru) Вероятностная оптимизация сегментации, основанной на модели
CN106887000B (zh) 医学图像的网格化处理方法及其系统
CN110414631B (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
CN106573150B (zh) 图像中血管结构的遮盖
CN104573309A (zh) 用于计算机辅助诊断的设备和方法
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
de Albuquerque et al. Fast fully automatic heart fat segmentation in computed tomography datasets
US20210271914A1 (en) Image processing apparatus, image processing method, and program
CN115578404A (zh) 一种基于深度学习的肝脏肿瘤图像增强和分割的方法
CN111105475B (zh) 一种基于正交角度x光的骨骼三维重建方法
CN115035375A (zh) 一种用于对胸部ct图像进行特征提取的方法和相关产品
CN112381822B (zh) 一种用于处理肺部病灶区图像的方法和相关产品
Davamani et al. Biomedical image segmentation by deep learning methods
CN112381824B (zh) 一种对图像的几何特征进行提取的方法和相关产品
Sun et al. Building a patient-specific model using transfer learning for four-dimensional cone beam computed tomography augmentation
CN112750110A (zh) 基于神经网络对肺部病灶区进行评估的评估系统和相关产品
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN114119447A (zh) 肺结节多属性分类模型的构建方法、系统、介质及装置
CN110992312A (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN112884706B (zh) 一种基于神经网络模型的图像评估系统和相关产品
CN115841476A (zh) 肝癌患者生存期预测方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination