CN115187579A - 一种图像类别判定方法、装置及电子设备 - Google Patents

一种图像类别判定方法、装置及电子设备 Download PDF

Info

Publication number
CN115187579A
CN115187579A CN202210964636.2A CN202210964636A CN115187579A CN 115187579 A CN115187579 A CN 115187579A CN 202210964636 A CN202210964636 A CN 202210964636A CN 115187579 A CN115187579 A CN 115187579A
Authority
CN
China
Prior art keywords
image
focus
features
detail
global image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210964636.2A
Other languages
English (en)
Other versions
CN115187579B (zh
Inventor
鄂有君
吴日城
朱思仰
丁佳
吕晨翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Yizhun Intelligent Technology Co ltd
Original Assignee
Beijing Yizhun Medical AI Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yizhun Medical AI Co Ltd filed Critical Beijing Yizhun Medical AI Co Ltd
Priority to CN202210964636.2A priority Critical patent/CN115187579B/zh
Publication of CN115187579A publication Critical patent/CN115187579A/zh
Application granted granted Critical
Publication of CN115187579B publication Critical patent/CN115187579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种图像类别判定方法、装置及电子设备；所述方法包括：获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；将所述全局图像特征和所述病灶细节特征进行特征融合；对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。本申请提供的图像类别判定方法可以有效提高影像中肺磨玻璃结节和磨玻璃肺炎的判定准确率。

Description

一种图像类别判定方法、装置及电子设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像类别判定方法、装置及电子设备。
背景技术
胸部CT(电子计算机断层扫描，Computer Tomography)检查是体检筛选肺部疾病的主要手段，其中磨玻璃肺炎在早期的病毒性肺炎中尤为常见，比如最近流行的新冠肺炎。但是从影像表现的角度来说，肺磨玻璃结节和磨玻璃肺炎存在同影异病的现象。因此，目前对胸部CT影像上的肺磨玻璃肺结节和磨玻璃肺炎的鉴别方法存在准确率不高的问题。
因此，有必要设计一种能够准确鉴别肺磨玻璃结节和磨玻璃肺炎的图像鉴别方案。
发明内容
本申请实施例提供一种图像类别判定方法、装置及电子设备，可以提高胸部CT影像上的肺磨玻璃肺结节和磨玻璃肺炎的鉴别准确率。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种图像类别判定方法，包括：
获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；
将所述全局图像特征和所述病灶细节特征进行特征融合；
对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
在上述方案中，所述获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征，包括：
基于第一残差网络对所述胸部影像进行N次下采样特征提取，得到所述胸部影像的N个不同大小的全局图像特征；
基于第二残差网络对所述病灶区域进行N次下采样特征提取，得到所述病灶区域的N个不同大小的病灶细节特征。
在上述方案中，所述将所述全局图像特征和所述病灶细节特征进行特征融合，包括：
基于所述全局图像特征与所述病灶细节特征，得到病灶细节加权特征。
在上述方案中，所述基于所述全局图像特征与所述病灶细节特征，得到病灶细节加权特征，包括：
基于所述全局图像特征与所述病灶细节特征，得到权重矩阵；
将所述权重矩阵和所述病灶细节特征进行矩阵乘法计算，得到病灶细节加权特征。
在上述方案中，所述对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别，包括：
将所述融合后的特征进行拼接后输入全连接层进行运算，得到所述病灶区域的预测类别的概率。
在上述方案中，所述基于所述全局图像特征与所述病灶细节特征，得到权重矩阵，包括：
将所述病灶细节特征进行维度重组得到二维张量表示的病灶细节矩阵；
将所述全局图像特征进行维度重组得到二维张量表示的全局图像矩阵；
将所述全局图像矩阵进行矩阵转置后与所述病灶细节矩阵进行矩阵乘法运算，得到中间结果矩阵；
将所述中间结果矩阵进行softmax归一化，得到权重矩阵。
在上述方案中，所述病灶区域的预测类别的概率，包括：
确定所述病灶区域属于第一疾病类型的第一概率、所述病灶区域属于第二疾病类型的第二概率、所述病灶区域既不属于第一疾病类型也不属于第二疾病类型的第三概率；
基于所述第一概率、所述第二概率和所述第三概率中最大概率值，确定所述病灶区域的预测类别。
第二方面，本申请实施例提供一种图像类别判定装置，所述图像类别判定装置包括：
特征提取模块，用于获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；
特征融合模块，用于将所述全局图像特征和所述病灶细节特征进行特征融合；
类别判定模块，用于对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
第三方面，本申请实施例提供一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例提供的图像类别判定方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行本申请实施例提供的图像类别判定方法。
本申请实施例提供的图像类别判定方法，获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；将所述全局图像特征和所述病灶细节特征进行特征融合；对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。本申请的图像类别判定通过结合胸部影像的全局图像特征和病灶区域的病灶细节特征，并将两个特征高效融合，避免采用直接使用特征拼接的方法使输入的信息无法最大化利用；同时结合两个特征，确定病灶区域的类别的方法，有效提高了肺磨玻璃结节和磨玻璃肺炎的鉴别准确率。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的图像类别判定方法的一种可选处理流程示意图；
图2是本申请实施例提供的肺磨玻璃结节的CT影像图和磨玻璃肺炎的CT影像图；
图3是本申请实施例提供的第一残差网络模型的一种可选结构示意图；
图4是本申请实施例提供的图像类别判定模型的一种可选结构示意图；
图5是本申请实施例提供的图像类别判定装置的另一种可选结构示意图；
图6是本申请实施例提供的一种可选电子设备示意性框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
在以下的描述中，所涉及的术语“第一\第二”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的针对相关技术存在的技术方案进行说明：
1、目前的检测模型通常是基于胸部CT影像的病灶区域的分割图像进行检测，而肺磨玻璃结节的CT影像和磨玻璃肺炎的CT影像具有类似的密度形态，容易混淆，如图1所示，图1左图示出了肺磨玻璃结节的CT影像，图1右图示出了磨玻璃肺炎的CT影像。这类检测方法由于没有考虑到胸部CT影像的全图信息，会导致肺磨玻璃结节和磨玻璃肺炎的鉴别存在准确率不高的现象。
2、虽然获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征，并将两种特征结合起来对图像进行预测，会使肺磨玻璃结节和磨玻璃肺炎的鉴别准确率相比之前的方法有较大的提升。但是如何结合这两者的信息，却在现有技术中没有很好的模型设计，若只是将两者的特征进行拼接操作后放入神经网络中进行分析，则无法将输入的信息最大化利用起来。
针对上述方法中存在的问题，本申请实施例提供了一种图像类别判定方法、装置及电子设备，能够基于胸部影像的全局图像以及病灶区域的病灶细节特征进行高效融合，并且基于融合后的特征对病灶区域进行类别判定，有效提高了肺磨玻璃结节和磨玻璃肺炎的鉴别的效率和准确率。
下面将介绍本申请实施例提供的一种图像类别判定方法，参见图2，图2是本申请实施例提供的图像类别判定方法的一种可选处理流程示意图，下面将结合图2示出的步骤S101-S103进行说明。
步骤S101，获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征。
在一些实施例中，将获取胸部影像的全局图像特征的残差网络表示为第一残差网络。第一残差网络中可以包括N个残差单元，每个残差单元可以通过下采样进行特征提取，可以基于第一残差网络对胸部影像进行N次下采样提取，得到胸部影像的N个不同大小的全局图像特征，如果选择resnet-18的网络结构，这里N可以取4，其中，下采样操作由卷积池化操作以及激活函数运算堆叠而成。如图3所示，图3示出了第一残差网络的结构。在图3中，第一残差网络包括四个残差单元，分别是第一残差单元、第二残差单元、第三残差单元和第四残差单元。原始图像大小为64*64*64(像素)，经过第一残差单元，输出32*32*32(像素)大小的特征图；经过第二残差单元，输出16*16*16(像素)大小的特征图；经过第三残差单元，输出8*8*8(像素)大小的特征图；经过第四残差单元，输出4*4*4(像素)大小的特征图。其中，卷积核为3*3(像素)，每个残差单元计算完毕，都会得到一张特征图，且每经过一个残差单元，特征图大小都会缩小一倍。
在一些实施例中，可以将获取病灶区域病灶细节特征的残差网络表示为第二残差网络。可以基于第二残差网络对病灶区域进行N次下采样特征提取，得到病灶区域的N个不同大小的病灶细节特征。这里，第二残差网络的结构可以与第一残差网络的结构相同，也可以不同，N可以同样取4。同第一残差网络相同，输入第二残差网络的图像大小为64*64*64(像素)，经过第一残差单元，输出32*32*32(像素)大小的特征图；经过第二残差单元，输出16*16*16(像素)大小的特征图；经过第三残差单元，输出8*8*8(像素)大小的特征图；经过第四残差单元，输出4*4*4(像素)大小的特征图。其中，第二残差网络中每个残差单元的卷积核的数量、卷积核大小以及卷积层数，可以与图3中第一残差网络完全相同，也可以不同。第二残差网络的输入图像为检测模型对胸部影像进行检出生成的病灶区域所在的感兴趣区域的割切图像。
步骤S102，将所述全局图像特征和所述病灶细节特征进行特征融合。
在一些实施例中，将第一残差网络每次下采样得到的全局图像特征和第二残差网络每次下采样得到的病灶细节特征进行特征融合，可以基于XCA算法(互协方差注意力算法，Cross-Covariance Attention)进行对应的特征融合。以第一次下采样为例，将第一残差网络第一次下采样得到的全局图像特征和第二残差网络第一次下采样得到的病灶细节特征进行特征融合的具体过程如下所示：
步骤1，将第一残差网络在第一次下采样得到的四维张量表示的全局图像特征进行维度重组，得到二维张量表示的全局图像特征；将第二残差网络在第一次下采样得到的四维张量表示的病灶细节特征进行维度重组，得到二维张量表示的病灶细节特征。
步骤2，将二维张量表示的全局图像特征进行矩阵转置运算后与二维张量表示的病灶细节特征在转置后进行矩阵乘法运算之后，得到中间结果矩阵，再对中间结果矩阵进行softmax归一化运算，得到二维张量的权重矩阵，如公式(1)所示：
Figure BDA0003792548330000071
Figure BDA0003792548330000072
在公式(1)中，K表示的是第一残差网络在第一次下采样得到的四维张量表示的全局图像特征，Q表示的是第二残差网络在第一次下采样得到的四维张量表示的病灶细节特征，
Figure BDA0003792548330000073
表示的是二维张量表示的全局图像特征，
Figure BDA0003792548330000074
表示的是二维张量表示的病灶细节特征，τ表示的是超参数，这里可以取1；N表示的是特征图的像素个数；dk表示全局图像特征的维度，dq表示病灶细节特征的维度。
步骤3，将上述得到的权重矩阵与病灶细节特征进行矩阵乘法计算，得到第一次下采样后的第一病灶细节加权特征。
将二维张量表示的权重矩阵与二维张量表示的病灶细节特征进行矩阵乘法，再将结果进行维度重组，得到四维张量表示的融合后的第一病灶细节加权特征。
分别按照上述的步骤1-步骤3，得到第一残差网络第二次下采样得到的全局图像特征和第二残差网络第二次下采样得到的病灶细节特征进行特征融合后的第二病灶细节加权特征；第一残差网络第三次下采样得到的全局图像特征和第二残差网络第三次下采样得到的病灶细节特征进行特征融合后的第三病灶细节加权特征；第一残差网络第四次下采样得到的全局图像特征和第二残差网络第四次下采样得到的病灶细节特征进行特征融合后的第四病灶细节加权特征。
基于上述方法将全局图像特征和病灶细节特征进行融合的方法，算法复杂度较小，计算效率较高且节省内存。
步骤S103，对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
在一些实施例中，可以将上述得到的第一病灶细节加权特征、第二病灶细节加权特征、第三病灶细节加权特征以及第四病灶细节加权特征进行拼接，然后输入全连接层进行运算，得到病灶区域的预测类别的概率。
其中，病灶区域的预测类别的输出结果可以包括三个类别的概率，分别是病灶区域属于第一疾病类型的第一概率，即肺磨玻璃结节的概率；病灶区域属于第二疾病类型的第二概率，即磨玻璃肺炎的概率，病灶区域既不属于第一疾病类型也不属于第二疾病类型的第三概率，即既不属于肺磨玻璃结节也不属于磨玻璃肺炎的概率。基于第一概率、第二概率和第三概率中的概率最大值，确定病灶区域的预测类别。
作为示例，若病灶区域的预测类别的输出结果为(0.001，0.998，0.001)，则病灶区域的类别判定为磨玻璃肺炎。
病灶区域的预测类别的输出结果也可以包括两个类别的概率，分别是病灶区域属于第一疾病类型的第一概率，即肺磨玻璃结节的概率；病灶区域属于第二疾病类型的第二概率，即磨玻璃肺炎的概率，基于第一概率、第二概率和第三概率中的最大值，确定病灶区域的预测类别。
作为示例，若病灶区域的预测类别的输出结果为(0.002，0.998)，则病灶区域的类别判定为磨玻璃肺炎。
通过结合胸部影像的全局图像特征和病灶区域的病灶细节特征，并将两者有效融合，有效地提高了肺磨玻璃结节和磨玻璃肺炎的鉴别的效率和准确率。
下面说明本申请实施例提供的图像类别判定模型的工作流程。参见图4，图4是本申请实施例提供的图像类别判定模型的一种可选结构示意图。
在一些实施例中，训练图像类别判定的模型过程中输入模型中的图像分为两类：胸部影像以及病灶区域影像。
其中，若在模型训练时，病灶区域影像包括两类图像，分别是胸部影像中肺磨玻璃结节的病灶区域图像，以及胸部影像中磨玻璃肺炎的病灶区域图像时，模型的输出是二分类结果，分别是病灶区域属于第一疾病类型的第一概率，即肺磨玻璃结节的概率；病灶区域属于第二疾病类型的第二概率，即磨玻璃肺炎的概率。基于第一概率、第二概率和第三概率中的最大值，确定病灶区域的预测类别。
若在模型训练时，病灶区域影像包括三类图像，分别是胸部影像中肺磨玻璃结节的病灶区域图像，胸部影像中磨玻璃肺炎的病灶区域图像，以及胸部影响中除非磨玻璃结节和磨玻璃肺炎的其他区域图像时，模型的输出是三分类结果，分别是病灶区域属于第一疾病类型的第一概率，即肺磨玻璃结节的概率；病灶区域属于第二疾病类型的第二概率，即磨玻璃肺炎的概率，病灶区域既不属于第一疾病类型也不属于第二疾病类型的第三概率，即既不属于肺磨玻璃结节也不属于磨玻璃肺炎的概率。基于第一概率、第二概率和第三概率中的概率最大值，确定病灶区域的预测类别。
在一些实施例中，第一残差网络中的每个残差单元分别对胸部影像进行下采样特征提取，第二残差网络中的每个残差单元分别对病灶区域影像进行下采样特征提取。第一残差网络每次下采样后得到的全局特征提取会通过特征融合的模块与第二残差网络中对应的每次下采样得到的病灶细节特征进行特征融合，得到每次特征提取后的融合后的特征。然后将所有下采样得到的融合后的特征通过特征拼接后的特征图，再通过全连接的网络层进行类别确定。
其中，在进行特征融合时，可以选择XCA算法将第一残差网络和第二残差网络对应的下采样得到的特征图进行结合，得到一组新的特征图。
图5为本申请实施例提供的图像类别判定装置的一种可选结构示意图，图像类别判定500包括特征提取模块501、特征融合模块502和类别判定模块503。其中，
特征提取模块501，用于获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；
特征融合模块502，用于将所述全局图像特征和所述病灶细节特征进行特征融合；
类别判定模块503，用于对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
在一些实施例中，特征提取模块501还用于：基于第一残差网络对所述胸部影像进行N次下采样特征提取，得到所述胸部影像的N个不同大小的全局图像特征；基于第二残差网络对所述病灶区域进行N次下采样特征提取，得到所述病灶区域的N个不同大小的病灶细节特征。
在一些实施例中，特征融合模块502还用于：基于所述全局图像特征与所述病灶细节特征，得到病灶细节加权特征。
在一些实施例中，特征融合模块502还用于：基于所述全局图像特征与所述病灶细节特征，得到权重矩阵；将所述权重矩阵和所述病灶细节特征进行矩阵乘法计算，得到病灶细节加权特征。
在一些实施例中，特征融合模块502还用于：将所述病灶细节特征进行维度重组得到二维张量表示的病灶细节矩阵；将所述全局图像特征进行维度重组得到二维张量表示的全局图像矩阵；将所述全局图像矩阵进行矩阵转置后与所述病灶细节矩阵进行矩阵乘法运算，得到中间结果矩阵；将所述中间结果矩阵进行softmax归一化，得到权重矩阵。
在一些实施例中，类别判定模块503还用于：将所述融合后的特征进行拼接后输入全连接层进行运算，得到所述病灶区域的预测类别的概率。
在一些实施例中，类别判定模块503还用于：确定所述病灶区域属于第一疾病类型的第一概率、所述病灶区域属于第二疾病类型的第二概率、所述病灶区域既不属于第一疾病类型也不属于第二疾病类型的第三概率；基于所述第一概率、所述第二概率和所述第三概率中最大概率值，确定所述病灶区域的预测类别。
需要说明的是，本申请实施例的图像类别判定装置与上述图像类别判定方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本申请实施例提供的图像类别判定装置中未尽的技术细节，可以根据图1至图4中任一附图的说明而理解。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备600用于实施本公开实施例的图像类别判定方法。在一些可选实施例中，电子设备600可以通过运行计算机程序来实现本申请实施例提供的计数检测方法，例如，计算机程序可以是操作系统中的软件模块；可以是本地(Native)应用程序(Application，APP)，即需要在操作系统中安装才能运行的程序；也可以是小程序，即只需要下载到浏览器环境中就可以运行的程序；还可以是能够嵌入至任意APP中的小程序。总而言之，上述计算机程序可以是任意形式的应用程序、模块或插件。
在实际应用中，电子设备600可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，其中，云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。电子设备600可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能电视、智能手表等，但并不局限于此。
电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备、车载终端和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如图像类别判定方法。例如，在一些可选实施例中，图像类别判定方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些可选实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的图像类别判定方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为图像类别判定方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本申请实施例提供的图像类别判定方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
应理解，在本申请的各种实施例中，各实施过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (10)

1.一种图像类别判定方法，其特征在于，所述方法包括：
获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；
将所述全局图像特征和所述病灶细节特征进行特征融合；
对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
2.根据权利要求1所述的方法，其特征在于，所述获取胸部CT影像的全局图像特征，以及病灶区域的病灶细节特征，包括：
基于第一残差网络对所述胸部影像进行N次下采样特征提取，得到所述胸部影像的N个不同大小的全局图像特征；
基于第二残差网络对所述病灶区域进行N次下采样特征提取，得到所述病灶区域的N个不同大小的病灶细节特征。
3.根据权利要求1所述的方法，其特征在于，所述将所述全局图像特征和所述病灶细节特征进行特征融合，包括：
基于所述全局图像特征与所述病灶细节特征，得到病灶细节加权特征。
4.根据权利要求3所述的方法，其特征在于，所述基于所述全局图像特征与所述病灶细节特征，得到病灶细节加权特征，包括：
基于所述全局图像特征与所述病灶细节特征，得到权重矩阵；
将所述权重矩阵和所述病灶细节特征进行矩阵乘法计算，得到病灶细节加权特征。
5.根据权利要求1所述的方法，其特征在于，所述对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别，包括：
将所述融合后的特征进行拼接后输入全连接层进行运算，得到所述病灶区域的预测类别的概率。
6.根据权利要求4所述的方法，其特征在于，所述基于所述全局图像特征与所述病灶细节特征，得到权重矩阵，包括：
将所述病灶细节特征进行维度重组得到二维张量表示的病灶细节矩阵；
将所述全局图像特征进行维度重组得到二维张量表示的全局图像矩阵；
将所述全局图像矩阵进行矩阵转置后与所述病灶细节矩阵进行矩阵乘法运算，得到中间结果矩阵；
将所述中间结果矩阵进行softmax归一化，得到权重矩阵。
7.根据权利要求5所述的方法，其特征在于，所述病灶区域的预测类别的概率，包括：
确定所述病灶区域属于第一疾病类型的第一概率、所述病灶区域属于第二疾病类型的第二概率、所述病灶区域既不属于第一疾病类型也不属于第二疾病类型的第三概率；
基于所述第一概率、所述第二概率和所述第三概率中最大概率值，确定所述病灶区域的预测类别。
8.一种图像类别判定装置，其特征在于，所述装置包括：
特征提取模块，用于获取胸部影像的全局图像特征，以及病灶区域的病灶细节特征；
特征融合模块，用于将所述全局图像特征和所述病灶细节特征进行特征融合；
类别判定模块，用于对融合后的特征进行拼接，基于拼接后的特征确定所述病灶区域的类别。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质包括一组计算机可执行指令，当所述指令被执行时用于执行权利要求1-7任一项所述的图像类别判定方法。
CN202210964636.2A 2022-08-11 2022-08-11 一种图像类别判定方法、装置及电子设备 Active CN115187579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964636.2A CN115187579B (zh) 2022-08-11 2022-08-11 一种图像类别判定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964636.2A CN115187579B (zh) 2022-08-11 2022-08-11 一种图像类别判定方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN115187579A true CN115187579A (zh) 2022-10-14
CN115187579B CN115187579B (zh) 2023-05-02

Family

ID=83524373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964636.2A Active CN115187579B (zh) 2022-08-11 2022-08-11 一种图像类别判定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115187579B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统
CN110889826A (zh) * 2019-10-30 2020-03-17 平安科技（深圳）有限公司 眼部oct图像病灶区域的分割方法、装置及终端设备
CN113052186A (zh) * 2021-03-17 2021-06-29 华中科技大学同济医学院附属协和医院 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统
CN113850796A (zh) * 2021-10-12 2021-12-28 Oppo广东移动通信有限公司 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN114067389A (zh) * 2021-10-19 2022-02-18 中国科学院深圳先进技术研究院 一种面部表情的分类方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889826A (zh) * 2019-10-30 2020-03-17 平安科技（深圳）有限公司 眼部oct图像病灶区域的分割方法、装置及终端设备
CN110852368A (zh) * 2019-11-05 2020-02-28 南京邮电大学 全局与局部特征嵌入及图文融合的情感分析方法与系统
CN113052186A (zh) * 2021-03-17 2021-06-29 华中科技大学同济医学院附属协和医院 一种基于影像学的新冠肺炎诊断和病情追踪方法及系统
CN113850796A (zh) * 2021-10-12 2021-12-28 Oppo广东移动通信有限公司 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
CN114067389A (zh) * 2021-10-19 2022-02-18 中国科学院深圳先进技术研究院 一种面部表情的分类方法和电子设备

Also Published As

Publication number Publication date
CN115187579B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN110852447B (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
Kim et al. GAN-based anomaly detection in imbalance problems
WO2022037541A1 (zh) 图像处理模型训练方法、装置、设备及存储介质
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
WO2021218471A1 (zh) 一种用于图像处理的神经网络以及相关设备
CN112270686B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN112288572B (zh) 业务数据处理方法及计算机设备
CN112348081A (zh) 用于图像分类的迁移学习方法、相关装置及存储介质
WO2023231753A1 (zh) 一种神经网络的训练方法、数据的处理方法以及设备
CN112669143A (zh) 基于关联网络的风险评估方法、装置、设备以及存储介质
He et al. Pointinst3d: Segmenting 3d instances by points
WO2022100607A1 (zh) 一种神经网络结构确定方法及其装置
CN113609345B (zh) 目标对象关联方法和装置、计算设备以及存储介质
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
TWI810993B (zh) 模型產生裝置及方法
CN115187579B (zh) 一种图像类别判定方法、装置及电子设备
TWI776718B (zh) 匹配篩選方法及電子設備和電腦可讀儲存介質
CN116188478A (zh) 图像分割方法、装置、电子设备及存储介质
CN116030290A (zh) 在设备上检测数字对象并且生成对象掩膜
Li et al. Fpfnet: image steganalysis model based on adaptive residual extraction and feature pyramid fusion
CN114240935B (zh) 一种空频域特征融合的医学影像特征识别方法及装置
Wang et al. vHeat: Building Vision Models upon Heat Conduction
CN115661465A (zh) 图像的多标签分割方法、装置、计算机设备及存储介质
CN115631498A (zh) 一种文本位置确定方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 3011, 2nd Floor, Building A, No. 1092 Jiangnan Road, Nanmingshan Street, Liandu District, Lishui City, Zhejiang Province, 323000

Patentee after: Zhejiang Yizhun Intelligent Technology Co.,Ltd.

Address before: No. 1202-1203, 12 / F, block a, Zhizhen building, No. 7, Zhichun Road, Haidian District, Beijing 100083

Patentee before: Beijing Yizhun Intelligent Technology Co.,Ltd.

CP03 Change of name, title or address