CN116934754B - 基于图神经网络的肝脏影像识别方法及装置 - Google Patents
基于图神经网络的肝脏影像识别方法及装置 Download PDFInfo
- Publication number
- CN116934754B CN116934754B CN202311197432.1A CN202311197432A CN116934754B CN 116934754 B CN116934754 B CN 116934754B CN 202311197432 A CN202311197432 A CN 202311197432A CN 116934754 B CN116934754 B CN 116934754B
- Authority
- CN
- China
- Prior art keywords
- super
- fusion
- image
- edge
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004185 liver Anatomy 0.000 title claims abstract description 103
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 79
- 230000003902 lesion Effects 0.000 claims abstract description 66
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000013178 mathematical model Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000007499 fusion processing Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 17
- 230000007246 mechanism Effects 0.000 claims description 17
- 238000010276 construction Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000035945 sensitivity Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 239000013598 vector Substances 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010011732 Cyst Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000031513 cyst Diseases 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000019423 liver disease Diseases 0.000 description 1
- 210000005228 liver tissue Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000007863 steatosis Effects 0.000 description 1
- 231100000240 steatosis hepatitis Toxicity 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图神经网络的肝脏影像识别方法及装置，涉及医疗影像分析技术领域，包括获取第一信息和第二信息；根据预设的多模态注意力数学模型对第一信息进行融合处理得到融合特征集；根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理构建得到图数据表示集；根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；根据肝脏影像识别模型对第二信息进行识别处理得到识别结果。通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建图数据表示集，使得图神经网络能够更好地捕捉肝脏影像的结构和特征信息，增强对潜在病变区域的敏感性。
Description
技术领域
本发明涉及医疗影像分析技术领域，具体而言，涉及一种基于图神经网络的肝脏影像识别方法及装置。
背景技术
在当今医学影像领域，影像识别技术在疾病诊断和治疗规划中扮演着越来越重要的角色。肝脏影像识别作为其中的一部分，在肝脏疾病的早期检测、病变类型分类、病变位置标定等方面具有重要意义。但肝脏影像识别仍存在挑战，肝脏影像的多模态数据、异构性病变和大规模数据处理增加了难度。现有的肝脏影像分析和识别主要采用手工规则方法。这些方法使用基于人工设计的规则和逻辑来处理肝脏影像，通过设定阈值和形状特征来检测肝脏病变，从而确定病变的位置和大小。但是由于肝脏影像的复杂性和多样性，设计合适的规则和特征往往是困难的，导致识别的准确性和鲁棒性不足。
基于上述现有技术的缺点，现亟需一种基于图神经网络的肝脏影像识别方法及装置。
发明内容
本发明的目的在于提供一种基于图神经网络的肝脏影像识别方法及系统，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
一方面，本申请提供了一种基于图神经网络的肝脏影像识别方法，包括：
获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；
根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集；
根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；
根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；
根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度。
另一方面，本申请还提供了一种基于图神经网络的肝脏影像识别装置，包括：
获取模块，用于获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；
融合模块，用于根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集；
映射模块，用于根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；
构建模块，用于根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；
识别模块，用于根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度。
本发明的有益效果为：
本发明通过多模态注意力数学模型对不同病变类型下的多模态影像数据集进行融合，引入注意力机制对每个模态的输入图像进行卷积提取处理，得到融合特征集，这种融合方式能够综合利用不同模态图像的特点，提高对肝脏影像信息的全面性和准确性。通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建图数据表示集，使得图神经网络能够更好地捕捉肝脏影像的结构和特征信息，增强对潜在病变区域的敏感性。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于图神经网络的肝脏影像识别方法流程示意图;
图2为本发明实施例中所述的基于图神经网络的肝脏影像识别装置结构示意图。
图中标记：1、获取模块；2、融合模块；21、第一提取单元；22、第一检测单元；23、第一分配单元；24、第一融合单元；3、映射模块；31、第一分割单元；311、第二分割单元；312、第二检测单元；313、第二计算单元；314、第一合并单元；32、第一构建单元；33、第二构建单元；34、第一计算单元；35、第三构建单元；4、构建模块；41、第三计算单元；42、第一处理单元；43、第四构建单元；5、识别模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1
本实施例提供了一种基于图神经网络的肝脏影像识别方法。
参见图1，图中示出了本方法包括步骤S100、步骤S200、步骤S300、步骤S400和步骤S500。
步骤S100、获取第一信息和第二信息，第一信息为至少两种病变类型下的多模态影像数据集，第二信息为待识别患者的肝脏影像数据。
可以理解的是，本步骤中第一信息是由至少两种不同病变类型下的多模态影像数据集组成，这些数据集可能包含来自不同影像设备的肝脏图像，如CT和MRI等。这些多模态影像数据集能够提供丰富的图像信息，涵盖了肝脏不同结构和病变类型的特征。第二信息是指待识别的患者的肝脏影像数据，通常是CT或MRI等影像。这些待识别的患者影像是需要进行病变类型和位置标定的目标，也是本发明中要进行识别处理的输入数据。
步骤S200、根据预设的多模态注意力数学模型对第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型。
可以理解的是，本步骤首先根据预设的多模态注意力数学模型，对不同模态的影像数据赋予不同的权重。这些权重反映了每个模态在肝脏影像识别中的重要程度，能够根据实际情况灵活地调整。通过这种注意力机制，我们能够更加关注那些对于肝脏影像分析和病变检测更有帮助的模态信息，提高了模型的敏感性和准确性。随后，对每个模态的输入图像进行卷积提取处理，利用卷积神经网络等深度学习技术从图像中提取特征。这些特征能够捕捉到图像中的局部和全局信息，包括肝脏的解剖结构和病变的形态等特征。最终将不同模态的特征融合成一个统一的融合特征集。这样的融合特征集综合了多种模态的信息，具有更高的表征能力，有助于提升肝脏影像识别模型的性能和稳定性。需要说明的是，步骤S200包括步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210、根据第一信息中每种模态的图像进行特征提取得到模态特征集。
可以理解的是，本步骤针对每个模态的图像数据，利用卷积神经网络等深度学习技术进行特征提取。卷积神经网络可以有效地从图像中学习到具有表征能力的特征，这些特征能够捕捉到图像中的局部和全局信息，包括肝脏的解剖结构和病变的形态等特征。
步骤S220、根据模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果。
可以理解的是，本步骤对不同模态的肝脏影像数据进行相似度计算，以衡量它们在特征表示上的相似程度。需要说明的是，步骤S220包括步骤S221、步骤S222和步骤S223。
步骤S221、对模态特征集进行归一化处理。
可以理解的是针对每个模态的特征集，我们需要对其进行归一化处理。归一化可以将不同模态的特征数据缩放到相同的范围，使得它们在相似度计算中具有一致的重要性。
步骤S222、计算模态权重。
针对模态特征集中的每个模态，根据模态的特点和对应任务的重要性给予不同的权重。例如，在识别某种病变类型时，CT和MRI可能在不同程度上对病变区域的描述有所贡献。优选地，本实施例中通过一些先验知识或者数据分析的方式，给予每个模态不同的权重值。
步骤S223、加权余弦相似度计算。
在计算相似度时，我们将考虑每个模态的权重，以反映其在相似度计算中的重要性。通过对每个模态进行加权余弦相似度计算，可以得到每对模态之间的相似度值。涉及公式如下:
;
其中，Weighted Cosine Similarity为加权余弦相似度，表示计算得到的相似度值；n为模态特征集中的模态个数；i为模态的索引值；第i个模态的特征向量；/>为权重集中的第i个权重。
步骤S230、根据模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集。
步骤S240、根据权重集对模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集。
可以理解的是，通过相似度检测得到相似度矩阵，该矩阵记录了每对模态之间的相似度值，能够反映不同模态之间的关系和差异性。接着，引入注意力向量并利用Softmax函数对相似度矩阵进行处理，计算每个模态的注意力权重。具体计算公式如下：
；
其中，为相似度矩阵；A为注意力向量；i和j为模态的索引值；N为特征集中的特征总数；/>为第i个模态的注意力权重；/>表示相似度矩阵/>中第i行第i列的元素；为第i个模态与第j个模态之间的相似度。通过这样计算后注意力向量A中每个元素都表示对应模态的特征贡献度，且所有元素之和为1。最后，根据注意力向量A对模态特征集进行加权融合。对于每个模态的特征，我们将其与对应注意力权重相乘，然后将所有加权后的特征进行累加得到融合特征。具体计算公式如下：
；
其中，i为模态的索引值；N为特征集中的特征总数；为融合特征；/>为模态特征集；/>为第i个模态的注意力权重。使用注意力机制权重分配方法能够自动学习每个模态的特征贡献度，并根据模态之间的相似度和差异性来调整权重。这样的处理方式能够更好地结合每个模态的特征信息，使得在融合过程中更加关注重要的特征，提高网络对肝脏影像中不同区域的表征能力。同时，该方法避免了手动设定权重的繁琐过程，使得网络的构建更加自动化和灵活。
步骤S300、根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集。
可以理解的是，本步骤将多通道图像转化为图的形式，每个超像素块都被视为图中的一个节点，而超像素块之间的空间关系和模态特征将被用于构建图的边，从而形成了图数据表示集。这个过程能够更好地捕捉图像中不同区域的信息，并在后续的图神经网络中进行更加准确和细粒度的分析和识别。需要说明的是，步骤S300包括步骤S310、步骤S320、步骤S330、步骤S340和步骤S340。
步骤S310、基于超像素分割算法对融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果。
可以理解的是，本步骤中超像素块是对图像进行更高级别的区域划分，能够将相邻的像素点组合成更大的块，从而减少图像中的冗余信息。采用超像素分割可以将图像转换为一组更加紧凑和代表性的区域块，有助于提取更具有区分度的特征，从而提高肝脏影像识别的性能。超像素分割可能会导致一些不完整的边缘或过度分割的情况，因此在边缘融合的过程中，采用形态学操作、边缘连接算法等技术，将相邻的超像素块的边缘合并，形成更加平滑和准确的超像素块边界。需要说明的是，步骤S310包括步骤S311、步骤S312、步骤S313和步骤S314。
步骤S311、基于超像素分割算法对融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，初步分割结果包括肝脏结构和病变区域的图像。
可以理解的是，本步骤针对多模态影像数据集中的每个通道图像（例如肝脏CT和MRI影像）进行基于聚类的超像素分割可以充分利用不同模态图像的特点，从而更好地捕捉肝脏结构和病变区域的特征。对于肝脏CT影像，CT图像的像素值反映了不同组织在X射线吸收方面的差异。由于肝脏组织和病变区域在CT图像中具有不同的密度，使用基于灰度值的聚类方法对CT图像进行分割。在聚类过程中，将相似灰度值的像素点划分为一个超像素块，从而有效地分离肝脏结构和病变区域。而对于肝脏MRI影像，MRI图像反映了组织在磁场中的信号强度。MRI图像中的不同序列（如T1加权和T2加权图像）对应不同的组织对比度。因此采用基于序列和纹理特征的聚类方法对MRI图像进行分割。在聚类过程中，将具有相似序列和纹理特征的像素点划分为一个超像素块，以更好地区分肝脏结构和病变区域。同时，对于肝脏CT和MRI影像的聚类分割，还需结合空间信息，使得超像素块能够更好地捕捉图像中的结构和形态特征。具体地，在聚类分割过程中，通过考虑像素点之间的空间关系，将相邻的像素点优先划分到同一个超像素块中，以保持图像的连续性。通过针对肝脏CT和MRI影像分别采用不同的聚类方法，结合像素值、序列、纹理和空间信息，可以有效地将图像中的肝脏结构和病变区域进行分割，并生成具有代表性和连续性的超像素块。
步骤S312、根据初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合。
优选地，本步骤采用改进的Canny边缘检测算法。Canny边缘检测是一种经典的边缘检测方法，它能够在图像中准确地找到边缘点，并以亮度变化最大的位置标记这些边缘点。本实施例中根据肝脏CT和MRI影像的特点，对Canny算法进行调整，以提高对肝脏结构和病变区域的边缘检测效果。首先，Canny算法中有两个重要的参数，即高斯滤波的标准差和边缘梯度阈值，本步骤根据肝脏影像的特点调整这些参数。具体地，肝脏影像通常具有较高的噪声水平，因此可以适当增大高斯滤波的标准差以平滑图像；同时根据肝脏影像的灰度变化情况，调整边缘梯度阈值，使得能够更准确地检测出肝脏结构和病变区域的边缘。其次，在超像素分割的步骤中，已经将图像划分为多个超像素块。这些超像素块包含了图像中的一些结构信息，可以利用这些超像素块的边缘信息来引导Canny边缘检测，具体地，可以将超像素块的边缘点作为Canny算法的输入，并设置一个合适的梯度阈值，以使得Canny算法更倾向于检测这些边缘点。
步骤S313、将边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果。
可以理解的是，由于图像噪声、超像素块大小等因素的影响，提取的边缘点可能存在一定的不确定性和错误。因此，在本步骤中，需要对每个超像素块的边缘进行置信度计算，以确定哪些边缘是较为可信的，从而在后续的步骤中更好地利用这些边缘信息。边缘置信度计算包括边缘强度计算、边缘连通性计算和超像素块内一致性计算。边缘强度，即边缘点的像素值梯度或亮度变化程度。边缘强度较大的边缘点通常更加清晰和准确，因此可以给予较高的置信度。边缘连通性是指对于每个超像素块的边缘，检测其是否连通到相邻超像素块的边缘。如果边缘在整个图像中具有较好的连通性，那么该边缘也更具有可信度。超像素块内一致性是指对于每个超像素块内的边缘点，检测它们之间是否存在一致的方向和排列。如果超像素块内的边缘点呈现一定的规律性，那么该超像素块的边缘也更可信。
步骤S314、根据边缘置信度计算结果对边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据超像素块融合结果构建得到节点集合。
需要说明的是，步骤S314包括步骤S3141、步骤S3142和步骤S3143。
步骤S3141、对每个超像素块的边缘点赋予一个权重，权重值根据边缘置信度来确定。边缘置信度越高的边缘点，其权重值越大，表示其在融合过程中的重要性更高。
步骤S3142、对于重叠的超像素块，对它们之间的边缘进行加权平均处理。这样可以保留更多可信的边缘信息，并减少因重叠而引入的不确定性。
步骤S3143、融合结果中的每个超像素块边缘是在相应通道中置信度高的边缘的组合。因此，在加权合并过程中，选择保留每个通道中置信度最高的边缘，以确保融合结果的可靠性和准确性。
步骤S320、根据超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合。
步骤S330、根据超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合。
步骤S340、根据超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合。
步骤S350、根据节点集合、边集合和边权重集合构建得到图数据表示集。
可以理解的是，图数据表示集合由节点集合和边集合组成，其中节点集合对应着超像素块融合结果中的肝脏结构和病变区域的简化图像块，而边集合表示了超像素块之间的空间关系和模态特征。边权重集合则为边集合中的每条边赋予了相似度值，用于描述超像素块之间的相似程度。通过这样的图数据表示，能够更全面地捕捉肝脏影像的特征信息，充分利用超像素块之间的关联性和相似性，从而提高肝脏影像的识别准确性和鲁棒性。
步骤S400、根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型。
可以理解的是，图神经网络具有更好的图结构建模能力，能够有效地捕捉图中节点和边的信息，实现节点之间的信息传递和特征融合。在本步骤中，将图数据表示集输入到预设的图神经网络数学模型中，通过图神经网络的计算和优化，逐步更新网络参数，从而使得网络能够更好地理解和表示肝脏影像的特征。通过不断的训练和优化，图神经网络会逐渐学习到更准确的特征表征方式，使得肝脏影像的识别性能得到提升。最终经过训练和优化，得到一个完整的肝脏影像识别模型。需要说明的是，步骤S400包括步骤S410、步骤S420和步骤S430。
步骤S410、根据图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息。
可以理解的是，核密度估计是一种用于估计概率密度函数的非参数统计方法，用于描述随机变量的概率分布。在本实施例中，我们将其应用于图数据表示集中的超像素块，以估计每个超像素块的概率密度分布，从而衡量其在图像中的重要性。具体而言，对于每个超像素块，首先计算其周围一定距离范围内的其他超像素块与之的距离，并根据这些距离计算出每个超像素块的核密度值。核密度值可以视为一个度量超像素块重要性的指标，较大的核密度值表示该超像素块在图像中更为显著和重要。通过自适应核密度估计能够获取每个超像素块的核密度信息，即每个超像素块在图像中的重要性程度。
步骤S420、根据核密度信息对图数据表示集中的特征进行特征加权处理，得到加权数据集。
可以理解的是，本步骤对于图数据表示集中的每个超像素块，将其特征与对应的核密度值进行相乘，得到加权后的特征。这样做的目的是强化重要超像素块的特征表达，使其在后续的图神经网络训练过程中能够更为突出地影响模型的学习和表示能力。通过特征加权处理得到的加权数据集，其中每个超像素块的特征都经过了调整和加强。这样的加权数据集在图神经网络的训练中能够更好地引导模型学习到重要区域的特征，并且在后续的识别过程中有助于提高模型对肝脏影像的识别准确性和鲁棒性。
步骤S430、根据预设的图神经网络数学模型和加权数据集，采用基于概率图的传播方式并将核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。
可以理解的是，本步骤将加权数据集中的每个超像素块视为图神经网络中的节点，将图数据表示集中的边视为图神经网络中的边。然后，通过基于概率图的传播方式，从密度最大的超像素块（种子节点）开始，逐步向其他节点传播信息。在传播过程中，每个节点将根据其邻居节点的特征和边权重来更新自己的特征表示。这样的迭代传播过程可以在图数据表示集中传递信息，并且根据边权重和节点的特征贡献度来影响信息传播的方向和强度。通过迭代传播，每个节点的特征表示将不断更新和优化，逐渐学习到图数据表示集中的复杂结构和特征信息。最终得到了一个经过训练和优化的肝脏影像识别模型，它能够综合考虑多模态影像数据集中不同模态的特征贡献度，并根据超像素块之间的空间关系和模态特征进行信息传播，从而实现对肝脏影像的准确识别和分析。这样的图神经网络模型具有很好的拟合能力和表征能力，能够有效地利用多模态影像数据中的信息，提高对肝脏影像进行识别和分析的精度和鲁棒性。同时，采用基于概率图的传播方式和核密度信息作为初始种子节点，使得模型的训练过程更加稳定和高效。
步骤S500、根据肝脏影像识别模型对第二信息进行识别处理得到识别结果，识别结果包括病变类型、病变位置标定和可信度。
可以理解的是，本步骤通过肝脏影像识别模型，能够判断待识别患者肝脏影像中出现的病变类型，例如肿瘤、囊肿、脂肪变性等。根据模型训练时的多模态影像数据集，模型能够将患者的影像与各种病变类型进行对比，并确定最匹配的病变类型。除了识别病变类型，肝脏影像识别模型还能够在图像中准确地标定病变的位置。这意味着模型能够识别出病变在肝脏中的具体位置和范围，对医生在诊断和治疗过程中提供重要的参考信息。识别结果还包括对每个病变类型和位置的可信度评估。模型会给出一个表示置信程度的数值，反映了识别结果的准确性和可靠性。医生可以根据可信度来判断识别结果的可信程度，并在需要时进行进一步的确认和核实。通过肝脏影像识别模型，可以高效地对患者的影像数据进行自动化分析和识别，从而快速准确地获取病变类型和位置信息，并为医生提供诊断参考。这种自动化识别过程不仅节省了医生的时间和精力，还大大提高了肝脏影像识别的准确性和效率。
实施例2
如图2所示，本实施例提供了一种基于图神经网络的肝脏影像识别装置，装置包括：
获取模块1，用于获取第一信息和第二信息，第一信息为至少两种病变类型下的多模态影像数据集，第二信息为待识别患者的肝脏影像数据。
融合模块2，用于根据预设的多模态注意力数学模型对第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型。
映射模块3，用于根据融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集。
构建模块4，用于根据图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型。
识别模块5，用于根据肝脏影像识别模型对第二信息进行识别处理得到识别结果，识别结果包括病变类型、病变位置标定和可信度。
在本发明公开的一种具体实施方式中，融合模块2包括：
第一提取单元21，用于根据第一信息中每种模态的图像进行特征提取得到模态特征集。
第一检测单元22，用于根据模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果。
第一分配单元23，用于根据模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集。
第一融合单元24，用于根据权重集对模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集。
在本发明公开的一种具体实施方式中，映射模块3包括：
第一分割单元31，基于超像素分割算法对融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果。
第一构建单元32，用于根据超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合。
第二构建单元33，用于根据超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合。
第一计算单元34，用于根据超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合。
第三构建单元35，用于根据节点集合、边集合和边权重集合构建得到图数据表示集。
在本发明公开的一种具体实施方式中，第一分割单元31包括：
第二分割单元311，基于超像素分割算法对融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，初步分割结果包括肝脏结构和病变区域的图像。
第二检测单元312，用于根据初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合。
第二计算单元313，用于将边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果。
第一合并单元314，用于根据边缘置信度计算结果对边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据超像素块融合结果构建得到节点集合。
在本发明公开的一种具体实施方式中，构建模块4包括：
第三计算单元41，用于根据图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息。
第一处理单元42，用于根据核密度信息对图数据表示集中的特征进行特征加权处理，得到加权数据集。
第四构建单元43，用于根据预设的图神经网络数学模型和加权数据集，采用基于概率图的传播方式并将核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (4)
1.一种基于图神经网络的肝脏影像识别方法，其特征在于，包括：
获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；
根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型；
根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；
根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；
根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度；
其中,根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，包括：
根据所述第一信息中每种模态的图像进行特征提取得到模态特征集；
根据所述模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果；
根据所述模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集；
根据所述权重集对所述模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集；
其中,根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集，包括：
基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果；
根据所述超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合；
根据所述超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合；
根据所述超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合；
根据所述节点集合、边集合和所述边权重集合构建得到图数据表示集；
其中,基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果，包括：
基于超像素分割算法对所述融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，所述初步分割结果包括肝脏结构和病变区域的图像；
根据所述初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合；
将所述边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果；
根据所述边缘置信度计算结果对所述边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据所述超像素块融合结果构建得到节点集合。
2.根据权利要求1所述的基于图神经网络的肝脏影像识别方法，其特征在于,根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型，包括：
根据所述图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息；
根据所述核密度信息对所述图数据表示集中的特征进行特征加权处理，得到加权数据集；
根据预设的图神经网络数学模型和所述加权数据集，采用基于概率图的传播方式并将所述核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。
3.一种基于图神经网络的肝脏影像识别装置，其特征在于，包括：
获取模块，用于获取第一信息和第二信息，所述第一信息为至少两种病变类型下的多模态影像数据集，所述第二信息为待识别患者的肝脏影像数据；
融合模块，用于根据预设的多模态注意力数学模型对所述第一信息进行融合，通过引入注意力机制对每个模态的输入图像进行卷积提取处理得到融合特征集，其中所述多模态注意力数学模型为通过对不同模态的影像数据自动赋予不同的权重，引入注意力机制对重要的模态信息进行关注并利用卷积神经网络对每个模态的输入图像进行特征提取与融合的模型；
映射模块，用于根据所述融合特征集进行特征映射，通过将多通道图像进行超像素分割处理并基于超像素块之间的空间关系和模态特征构建得到图数据表示集；
构建模块，用于根据所述图数据表示集和预设的图神经网络数学模型进行训练和优化，构建得到肝脏影像识别模型；
识别模块，用于根据所述肝脏影像识别模型对所述第二信息进行识别处理得到识别结果，所述识别结果包括病变类型、病变位置标定和可信度；
其中,所述融合模块包括：
第一提取单元，用于根据所述第一信息中每种模态的图像进行特征提取得到模态特征集；
第一检测单元，用于根据所述模态特征集中相同病变类型下的所有模态特征进行相似度检测得到相似度检测结果；
第一分配单元，用于根据所述模态特征集和相似度检测结果，引入注意力机制，通过学习每个模态的特征贡献度进行权重分配处理得到权重集；
第一融合单元，用于根据所述权重集对所述模态特征集中相同病变类型下的各个模态特征进行加权融合处理得到融合特征集；
其中,所述映射模块包括：
第一分割单元，基于超像素分割算法对所述融合特征集中各通道图像进行分割处理和边缘融合得到超像素块融合结果；
第一构建单元，用于根据所述超像素块融合结果中肝脏结构和病变区域的简化图像块构建得到节点集合；
第二构建单元，用于根据所述超像素块融合结果中超像素块间的空间关系和模态特征构建得到边集合；
第一计算单元，用于根据所述超像素块融合结果中超像素块的灰度值、纹理特征和位置信息进行相似度计算得到边权重集合；
第三构建单元，用于根据所述节点集合、边集合和所述边权重集合构建得到图数据表示集；
其中,所述第一分割单元包括：
第二分割单元，基于超像素分割算法对所述融合特征集中各通道图像进行分割处理，将图像划分为多个超像素块得到初步分割结果，所述初步分割结果包括肝脏结构和病变区域的图像；
第二检测单元，用于根据所述初步分割结果中同种类型下的每个通道图像的所有超像素块进行边缘检测得到边缘集合；
第二计算单元，用于将所述边缘集合中每个超像素块的边缘进行置信度计算得到边缘置信度计算结果；
第一合并单元，用于根据所述边缘置信度计算结果对所述边缘集合进行加权合并处理，通过保留每个通道中置信度高的超像素块边缘得到超像素块融合结果，并根据所述超像素块融合结果构建得到节点集合。
4.根据权利要求3所述的基于图神经网络的肝脏影像识别装置，其特征在于,所述构建模块包括：
第三计算单元，用于根据所述图数据表示集进行自适应核密度估计，计算得到每个超像素块的核密度信息；
第一处理单元，用于根据所述核密度信息对所述图数据表示集中的特征进行特征加权处理，得到加权数据集；
第四构建单元，用于根据预设的图神经网络数学模型和所述加权数据集，采用基于概率图的传播方式并将所述核密度信息中密度最大的超像素块作为种子节点进行迭代传播，构建得到肝脏影像识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311197432.1A CN116934754B (zh) | 2023-09-18 | 2023-09-18 | 基于图神经网络的肝脏影像识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311197432.1A CN116934754B (zh) | 2023-09-18 | 2023-09-18 | 基于图神经网络的肝脏影像识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116934754A CN116934754A (zh) | 2023-10-24 |
| CN116934754B true CN116934754B (zh) | 2023-12-01 |
Family
ID=88388259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311197432.1A Active CN116934754B (zh) | 2023-09-18 | 2023-09-18 | 基于图神经网络的肝脏影像识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116934754B (zh) |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110503649A (zh) * | 2019-07-05 | 2019-11-26 | 陕西科技大学 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
| CN112347970A (zh) * | 2020-11-18 | 2021-02-09 | 江苏海洋大学 | 一种基于图卷积神经网络的遥感影像地物识别方法 |
| EP3812926A1 (en) * | 2020-01-15 | 2021-04-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Multimodal content processing method, apparatus, device and storage medium |
| CN113223028A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于mr和ct的多模态肝脏肿瘤分割方法 |
| CN113313164A (zh) * | 2021-05-27 | 2021-08-27 | 复旦大学附属肿瘤医院 | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 |
| CN113591629A (zh) * | 2021-07-16 | 2021-11-02 | 深圳职业技术学院 | 一种手指三模态融合识别方法、系统、设备及存储介质 |
| WO2021233112A1 (zh) * | 2020-05-20 | 2021-11-25 | 腾讯科技（深圳）有限公司 | 基于多模态机器学习的翻译方法、装置、设备及存储介质 |
| CN113723255A (zh) * | 2021-08-24 | 2021-11-30 | 中国地质大学（武汉） | 一种高光谱影像分类方法和存储介质 |
| CN114266726A (zh) * | 2021-11-22 | 2022-04-01 | 中国科学院深圳先进技术研究院 | 一种医学图像分割方法、系统、终端以及存储介质 |
| CN114581773A (zh) * | 2022-02-28 | 2022-06-03 | 西安电子科技大学 | 基于图卷积网络的多模态遥感数据分类方法 |
| WO2023036159A1 (en) * | 2021-09-07 | 2023-03-16 | Huawei Technologies Co., Ltd. | Methods and devices for audio visual event localization based on dual perspective networks |
| CN115984555A (zh) * | 2022-12-13 | 2023-04-18 | 哈尔滨医科大学附属第一医院 | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 |
| CN116128898A (zh) * | 2023-02-17 | 2023-05-16 | 重庆邮电大学 | 一种基于Transformer双分支模型的皮肤病变图像分割方法 |
| CN116468995A (zh) * | 2022-07-21 | 2023-07-21 | 西北工业大学深圳研究院 | 一种联合slic超像素和图注意力网络的声呐图像分类方法 |
| CN116524369A (zh) * | 2023-04-18 | 2023-08-01 | 中国地质大学（武汉） | 遥感影像分割模型构建方法、装置及遥感影像解译方法 |
| CN116543227A (zh) * | 2023-05-22 | 2023-08-04 | 北京数慧时空信息技术有限公司 | 基于图卷积网络的遥感图像场景分类方法 |
| WO2023159073A1 (en) * | 2022-02-15 | 2023-08-24 | Currus Ai Inc. | Methods and systems of sensor fusion in cooperative perception systems |
| CN116645579A (zh) * | 2023-05-22 | 2023-08-25 | 广东工业大学 | 一种基于异质图注意力机制的特征融合方法 |
| CN116664954A (zh) * | 2023-06-30 | 2023-08-29 | 西安电子科技大学 | 基于图卷积与卷积融合的高光谱地物分类方法 |
| CN116703744A (zh) * | 2023-04-18 | 2023-09-05 | 二十一世纪空间技术应用股份有限公司 | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 |
| CN116740419A (zh) * | 2023-05-22 | 2023-09-12 | 广东工业大学 | 一种基于图调控网络的目标检测方法 |
| CN116740418A (zh) * | 2023-05-22 | 2023-09-12 | 广东工业大学 | 一种基于图重构网络的目标检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017165538A1 (en) * | 2016-03-22 | 2017-09-28 | Uru, Inc. | Apparatus, systems, and methods for integrating digital media content into other digital media content |
| US11328172B2 (en) * | 2020-08-24 | 2022-05-10 | Huawei Technologies Co. Ltd. | Method for fine-grained sketch-based scene image retrieval |
| US11688061B2 (en) * | 2020-11-20 | 2023-06-27 | International Business Machines Corporation | Interpretation of whole-slide images in digital pathology |
| US20230230408A1 (en) * | 2022-01-14 | 2023-07-20 | Nielsen Consumer Llc | Methods, systems, articles of manufacture, and apparatus for decoding images |
| US20230252644A1 (en) * | 2022-02-08 | 2023-08-10 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for unsupervised superpixel-driven instance segmentation of remote sensing image |
-
2023
- 2023-09-18 CN CN202311197432.1A patent/CN116934754B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244434A1 (zh) * | 2019-06-03 | 2020-12-10 | 腾讯科技（深圳）有限公司 | 面部表情的识别方法、装置、电子设备及存储介质 |
| CN110503649A (zh) * | 2019-07-05 | 2019-11-26 | 陕西科技大学 | 一种基于空间多尺度U-net与超像素修正的肝脏分割方法 |
| EP3812926A1 (en) * | 2020-01-15 | 2021-04-28 | Beijing Baidu Netcom Science Technology Co., Ltd. | Multimodal content processing method, apparatus, device and storage medium |
| WO2021233112A1 (zh) * | 2020-05-20 | 2021-11-25 | 腾讯科技（深圳）有限公司 | 基于多模态机器学习的翻译方法、装置、设备及存储介质 |
| CN112347970A (zh) * | 2020-11-18 | 2021-02-09 | 江苏海洋大学 | 一种基于图卷积神经网络的遥感影像地物识别方法 |
| CN113223028A (zh) * | 2021-05-07 | 2021-08-06 | 西安智诊智能科技有限公司 | 一种基于mr和ct的多模态肝脏肿瘤分割方法 |
| CN113313164A (zh) * | 2021-05-27 | 2021-08-27 | 复旦大学附属肿瘤医院 | 一种基于超像素分割与图卷积的数字病理图像分类方法及系统 |
| CN113591629A (zh) * | 2021-07-16 | 2021-11-02 | 深圳职业技术学院 | 一种手指三模态融合识别方法、系统、设备及存储介质 |
| CN113723255A (zh) * | 2021-08-24 | 2021-11-30 | 中国地质大学（武汉） | 一种高光谱影像分类方法和存储介质 |
| WO2023036159A1 (en) * | 2021-09-07 | 2023-03-16 | Huawei Technologies Co., Ltd. | Methods and devices for audio visual event localization based on dual perspective networks |
| CN114266726A (zh) * | 2021-11-22 | 2022-04-01 | 中国科学院深圳先进技术研究院 | 一种医学图像分割方法、系统、终端以及存储介质 |
| WO2023159073A1 (en) * | 2022-02-15 | 2023-08-24 | Currus Ai Inc. | Methods and systems of sensor fusion in cooperative perception systems |
| CN114581773A (zh) * | 2022-02-28 | 2022-06-03 | 西安电子科技大学 | 基于图卷积网络的多模态遥感数据分类方法 |
| CN116468995A (zh) * | 2022-07-21 | 2023-07-21 | 西北工业大学深圳研究院 | 一种联合slic超像素和图注意力网络的声呐图像分类方法 |
| CN115984555A (zh) * | 2022-12-13 | 2023-04-18 | 哈尔滨医科大学附属第一医院 | 一种基于深度自编码器构图的冠状动脉狭窄识别方法 |
| CN116128898A (zh) * | 2023-02-17 | 2023-05-16 | 重庆邮电大学 | 一种基于Transformer双分支模型的皮肤病变图像分割方法 |
| CN116524369A (zh) * | 2023-04-18 | 2023-08-01 | 中国地质大学（武汉） | 遥感影像分割模型构建方法、装置及遥感影像解译方法 |
| CN116703744A (zh) * | 2023-04-18 | 2023-09-05 | 二十一世纪空间技术应用股份有限公司 | 一种基于卷积神经网络的遥感影像匀光匀色方法和装置 |
| CN116543227A (zh) * | 2023-05-22 | 2023-08-04 | 北京数慧时空信息技术有限公司 | 基于图卷积网络的遥感图像场景分类方法 |
| CN116645579A (zh) * | 2023-05-22 | 2023-08-25 | 广东工业大学 | 一种基于异质图注意力机制的特征融合方法 |
| CN116740419A (zh) * | 2023-05-22 | 2023-09-12 | 广东工业大学 | 一种基于图调控网络的目标检测方法 |
| CN116740418A (zh) * | 2023-05-22 | 2023-09-12 | 广东工业大学 | 一种基于图重构网络的目标检测方法 |
| CN116664954A (zh) * | 2023-06-30 | 2023-08-29 | 西安电子科技大学 | 基于图卷积与卷积融合的高光谱地物分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| Weighted Feature Fusion of Convolutional Neural Network and Graph Attention Network for Hyperspectral Image Classification;Yanni Dong等;《IEEE Transactions on Image Processing》;第31卷;1559-1572 * |
| 图卷积神经网络及其在图像识别领域的应用综述;李文静等;《计算机工程与应用》;第1-26页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116934754A (zh) | 2023-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wadhwa et al. | A review on brain tumor segmentation of MRI images | |
| CN106682435B (zh) | 一种多模型融合自动检测医学图像中病变的系统及方法 | |
| US10176408B2 (en) | Systems and methods for analyzing pathologies utilizing quantitative imaging | |
| El-Baz et al. | 3D shape analysis for early diagnosis of malignant lung nodules | |
| US7876938B2 (en) | System and method for whole body landmark detection, segmentation and change quantification in digital images | |
| US6125194A (en) | Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing | |
| TWI496112B (zh) | 細胞影像分割方法以及核質比評估方法 | |
| US9230320B2 (en) | Computer aided diagnostic system incorporating shape analysis for diagnosing malignant lung nodules | |
| US8175351B2 (en) | Computer-aided detection and classification of suspicious masses in breast imagery | |
| JP5851160B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
| El-Baz et al. | Three-dimensional shape analysis using spherical harmonics for early assessment of detected lung nodules | |
| Ashwin et al. | Efficient and reliable lung nodule detection using a neural network based computer aided diagnosis system | |
| Shakibapour et al. | An unsupervised metaheuristic search approach for segmentation and volume measurement of pulmonary nodules in lung CT scans | |
| CN112614133B (zh) | 一种无锚点框的三维肺结节检测模型训练方法及装置 | |
| Rani et al. | Superpixel with nanoscale imaging and boosted deep convolutional neural network concept for lung tumor classification | |
| US20230005140A1 (en) | Automated detection of tumors based on image processing | |
| CN112308846A (zh) | 血管分割方法、装置及电子设备 | |
| Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
| Wang | Automatic and optimal segmentation of the left ventricle in cardiac magnetic resonance images independent of the training sets | |
| Shan et al. | Lung cancer diagnosis based on an ann optimized by improved teo algorithm | |
| Faisal et al. | Computer assisted diagnostic system in tumor radiography | |
| CN103839048A (zh) | 基于低秩分解的胃部ct图像淋巴结识别系统和方法 | |
| CN116934754B (zh) | 基于图神经网络的肝脏影像识别方法及装置 | |
| Gordon et al. | Evaluation of uterine cervix segmentations using ground truth from multiple experts | |
| Wieclawek | 3D marker-controlled watershed for kidney segmentation in clinical CT exams |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |