CN115171882B - 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统 - Google Patents

一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统 Download PDF

Info

Publication number
CN115171882B
CN115171882B CN202210803112.5A CN202210803112A CN115171882B CN 115171882 B CN115171882 B CN 115171882B CN 202210803112 A CN202210803112 A CN 202210803112A CN 115171882 B CN115171882 B CN 115171882B
Authority
CN
China
Prior art keywords
hidden layer
image
enhancement
data set
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210803112.5A
Other languages
English (en)
Other versions
CN115171882A (zh
Inventor
罗雪琪
林荣佳
林森林
何伟骅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202210803112.5A priority Critical patent/CN115171882B/zh
Publication of CN115171882A publication Critical patent/CN115171882A/zh
Application granted granted Critical
Publication of CN115171882B publication Critical patent/CN115171882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法及系统，该方法包括：获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure DDA0003735082540000011
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure DDA0003735082540000012
若预测
Figure DDA0003735082540000013
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。本发明提出基于多先验嵌入的Y型网络的智能医学辅助诊断方法及系统解决传统启发式规则的方法处理医学图像精度低，而深度学习技术缺乏可解释性技术问题。

Description

一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法及 系统
技术领域
本发明涉及医学图像技术领域，具体涉及基于多先验嵌入的Y型网络的智能医学辅助诊断方法及系统。
背景技术
在医学图像分析领域中，临床的医学数据本身蕴藏着宝贵的先验知识，医生可以凭借丰富的临床经验识别病变。但是面对多样的病例和大量的医学数据，这对医生的要求很高，需要耗费大量的时间和精力，也存在着漏诊的可能性。由于人工智能算法在医学图像分析领域取得的巨大成功，研究人员尝试结合深度学习的算法来辅助医生诊断。但是，深度学习技术属于黑盒问题，缺乏可解释性，因此没有充足的证据证明先验有利于模型精准度的提升。
以直肠癌为例，作为第二大致命癌症和第三大常见恶性肿瘤，高达22％-28％息肉漏检率会致使生存率大幅度降低。由于直肠息肉的异质性和多样性(如边界对比度、形状、大小、厚度)、内部伪影(如水流、残留物)和成像退化(如颜色扭曲、镜面反射)，这使得直肠息肉识别和分割成为了一种具有挑战性的难题。早期研究工作大多是通过挖掘手工提取特征(如颜色、形状、纹理和超像素)的方式来识别和分割结肠息肉。然而，单纯手工特征设计表征异质性息肉的能力有限，它们的精度通常较低。相比之下，以数据驱动的深度学习技术可以更好地学习这些隐式的表征，进而获得更高的精准度。但由于这种端对端的学习缺乏可解释性，使得深度学习技术在临床医学上无法广泛地推广应用。
发明内容
本发明的目的在于克服现有技术的缺点和不足，提出基于多先验嵌入的Y型网络的智能医学辅助诊断方法及系统，解决传统启发式规则的方法处理医学图像精度低，而深度学习技术缺乏可解释性技术问题
为此，本发明的公开了一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法，包括：获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000021
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000022
Figure BDA0003735082520000023
若预测
Figure BDA0003735082520000024
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
优选地，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000025
获得隐层Z2之前，还包括：将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000026
转换关系为：
Figure BDA0003735082520000027
αi为对应增强子图Xi的权重。
优选地，所述图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000028
转换关系为：
Figure BDA0003735082520000029
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000210
和对比增强ψ；
将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000211
将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA00037350825200000212
之前还包括：
所述隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z可以表示为：Z＝CONCAT(Z1+Z2)。
优选地，若预测
Figure BDA00037350825200000213
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA00037350825200000214
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA00037350825200000215
直至达到收敛条件；
损失函数可以表示为：
Figure BDA00037350825200000216
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA00037350825200000217
优选地，所述根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA00037350825200000218
获得隐层Z2；具体包括：
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)；
将增强数据集
Figure BDA0003735082520000031
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2；隐层表示Z2的表示为：
Figure BDA0003735082520000032
第二方面，提供了一种基于多先验嵌入的Y型网络的智能医学辅助诊断系统，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000033
获得
隐层Z2；
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000034
判定模块，若预测
Figure BDA0003735082520000035
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
优选地，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000036
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000037
转换关系为：
Figure BDA0003735082520000038
αi为对应增强子图Xi的权重。
优选地，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000039
转换关系为：
Figure BDA00037350825200000310
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000311
和对比增强ψ；
所述纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
所述颜色增强器
Figure BDA00037350825200000312
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000313
所述对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，判定模块，若预测
Figure BDA0003735082520000041
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA0003735082520000042
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA0003735082520000043
直至达到收敛条件；
损失函数可以表示为：
Figure BDA0003735082520000044
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000045
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000046
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000047
Figure BDA0003735082520000048
若预测
Figure BDA0003735082520000049
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，标示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于基于多先验嵌入的多分支网络的智能医学辅助诊断方法的流程图；
图2为本发明基于多先验嵌入的多分支网络的智能医学辅助诊断系统的架构图的模型结构框图；
图3为本发明增强器内部细节实现图；
图4为本发明编码器E1和编码器E2与解码器D的跳跃连接图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一种该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明的公开了一种基于神经网络的电阻点焊质量在线评估方法，参见图1-4，包括：步骤S100，获取待处理图像；
收集数据集，筛选出含有病灶且清晰度可以辨别的的数据，得到原图数据集{X}n＝1,2,3,...,N和对应的标签集{Y}n＝1,2,3,...,N,并将其处理成规定的尺寸大小。
步骤S200，根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)。
步骤S300，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000051
获得隐层Z2；
将增强数据集
Figure BDA0003735082520000052
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2.；隐层表示Z2的表示为：
Figure BDA0003735082520000053
步骤S400，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000054
步骤S500，若预测
Figure BDA0003735082520000055
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复步骤S200-步骤400。
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000061
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000062
Figure BDA0003735082520000063
若预测
Figure BDA0003735082520000064
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
优选地，步骤S300，根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000065
获得隐层Z2之前，还包括：步骤210，将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000066
转换关系为：
Figure BDA0003735082520000067
αi为对应增强子图Xi的权重。
使用者可以根据任务需要，增加所需的先验增强器。通过多个先验增强器的增强，我们可以将原图数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000068
优选地，步骤210，图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000069
转换关系为：
Figure BDA00037350825200000610
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000611
和对比增强ψ；
步骤211，将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
步骤212，将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000612
步骤213，将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，步骤S400，将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA00037350825200000613
之前还包括：
步骤310，隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z可以表示为：Z＝CONCAT(Z1+Z2)。
对应地，编码器E1和编码器E2和解码器D之间通过跳跃连接相连，即编码映射和解码映射对应尺寸相连接，如图3表示。
优选地，步骤S500，若预测
Figure BDA0003735082520000071
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复步骤S200-步骤400，具体包括：
步骤S510，计算预测
Figure BDA0003735082520000072
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA0003735082520000073
直至达到收敛条件；
步骤S520，损失函数可以表示为：
Figure BDA0003735082520000074
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000075
第二方面，提供了一种基于多先验嵌入的Y型网络的智能医学辅助诊断系统，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)。
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000076
获得
隐层Z2；将增强数据集
Figure BDA0003735082520000077
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2.；隐层表示Z2的表示为：
Figure BDA0003735082520000078
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000079
判定模块，若预测
Figure BDA00037350825200000710
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
搭建网络模型，设置超参。
需要先构建模型模型，如图2所示，其中包含主分支中的编码器E1，辅助分支的编码器E2和合并分支解码器D的搭建，可以是基于卷积神经网络(Convolutional NeuralNetwork)、Transformer框架或者两者融合设计框架，默认以ResNet(Residual Network)为基础骨架。选择合适的优化器，默认使用Adam优化器。设置迭代轮数Epoch和学习率Lr。
本发明通过获取待处理图像；根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000081
获得隐层Z2；将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure BDA0003735082520000082
Figure BDA0003735082520000083
若预测
Figure BDA0003735082520000084
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，一个基于多先验嵌入的Y型网络能在原有主分支的基础上使用辅助分支对模型进行补充，使得模型能够学习到更多有显著的增强特征，进而提高精准度。先验增强模块可以根据使用者的任务需要模块化地增加所需先验特征器，且主分支、辅助分支和合并分支可以使用基于CNN和transformer等网络架构的设计和拓展。这大大地提高了模型的可移植性和泛化性。
优选地，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure BDA0003735082520000085
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000086
转换关系为：
Figure BDA0003735082520000087
αi为对应增强子图Xi的权重。
优选地，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure BDA0003735082520000088
转换关系为：
Figure BDA0003735082520000089
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure BDA00037350825200000810
和对比增强ψ；
所述纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
所述颜色增强器
Figure BDA00037350825200000811
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure BDA00037350825200000812
所述对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
优选地，判定模块，若预测
Figure BDA00037350825200000813
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure BDA00037350825200000814
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure BDA00037350825200000815
直至达到收敛条件；
损失函数可以表示为：
Figure BDA0003735082520000091
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure BDA0003735082520000092
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于多先验嵌入的Y型网络的智能医学辅助诊断方法，包括：
获取待处理图像；
根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_1
转换关系为：
Figure QLYQS_2
αi为对应增强子图Xi的权重；
所述图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_3
转换关系为：
Figure QLYQS_4
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure QLYQS_5
和对比增强ψ；
将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure QLYQS_6
将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)；
根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure QLYQS_7
获得隐层Z2；
所述根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure QLYQS_8
获得隐层Z2；具体包括：
将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)；
将增强数据集
Figure QLYQS_9
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2；隐层表示Z2的表示为：
Figure QLYQS_10
所述隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z表示为：Z＝CONCAT(Z1+Z2)；
将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure QLYQS_11
Figure QLYQS_12
若预测
Figure QLYQS_13
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
2.根据权利要求1所述的基于多先验嵌入的Y型网络的智能医学辅助诊断方法，所述若预测
Figure QLYQS_14
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure QLYQS_15
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure QLYQS_16
直至达到收敛条件；
损失函数表示为：
Figure QLYQS_17
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure QLYQS_18
3.一种基于多先验嵌入的Y型网络的智能医学辅助诊断系统，包括：
输入模块，用于获取待处理图像；
编码器E1，用于根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；
数据增强模块，用于将图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_19
转换关系为：
Figure QLYQS_20
αi为对应增强子图Xi的权重；
图片增强模块，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_21
转换关系为：
Figure QLYQS_22
αi为对应增强子图Xi的权重具体包括：
三种增强操作，即纹理增强φ、颜色增强
Figure QLYQS_23
和对比增强ψ；
将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure QLYQS_24
将图像处理得到对比增强图片X3，它们的转换关系如下式：X3＝ψ(X)；
编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure QLYQS_25
获得隐层Z2；所述根据图像的数据集{X}n＝1,2,3,...,N获得隐层Z1；根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure QLYQS_26
获得隐层Z2；具体包括：将原图数据集{X}n＝1,2,3,...,N作为主分支的输入，使用编码器E1来学习和提取特征，并得到隐层表示Z1；隐层表示Z1的表示为：Z1＝E1(X)；将增强数据集
Figure QLYQS_27
作为辅助分支的输入，使用编码器E2来学习和提取特征，并得到隐层表示Z2；隐层表示Z2的表示为：
Figure QLYQS_28
融合模块，用于将所述隐层Z1和所述隐层Z2融合成的隐层Z，隐层Z表示为：Z＝CONCAT(Z1+Z2)；
解码器D，用于将根据所述隐层Z1和所述隐层Z2融合成的隐层Z再推理成预测
Figure QLYQS_29
Figure QLYQS_30
判定模块，若预测
Figure QLYQS_31
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤。
4.根据权利要求3所述的基于多先验嵌入的Y型网络的智能医学辅助诊断系统，编码器E2，用于根据图像数据集{X}n＝1,2,3,...,N的增强数据集
Figure QLYQS_32
获得隐层Z2之前，还包括：多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_33
转换关系为：
Figure QLYQS_34
αi为对应增强子图Xi的权重。
5.根据权利要求4所述的基于多先验嵌入的Y型网络的智能医学辅助诊断系统，所述多个先验增强器的增强，用于图像数据集{X}n＝1,2,3,...,N生成增强数据集
Figure QLYQS_35
转换关系为：
Figure QLYQS_36
αi为对应增强子图Xi的权重具体包括：
先验增强模块Γ包括三种增强操作，即纹理增强φ、颜色增强
Figure QLYQS_37
和对比增强ψ；
纹理增强器φ，用于将图像处理得到纹理增强图片X1，它们的转换关系如下式：X1＝φ(X)；
颜色增强器
Figure QLYQS_38
用于将图像处理得到颜色增强图片X2，它们的转换关系如下式：
Figure QLYQS_39
对比增强器ψ，得到纹理对比图片X3，它们的转换关系如下式：X3＝ψ(X)。
6.根据权利要求3所述的基于多先验嵌入的Y型网络的智能医学辅助诊断系统，所述判定模块，若预测
Figure QLYQS_40
和标签{Y}n＝1,2,3,...,N的误差满足预设条件时，则停止，否则重复上述图像推理步骤，具体包括：
计算预测
Figure QLYQS_41
和标签{Y}n＝1,2,3,...,N的误差，然后经过反向传播优化网络
Figure QLYQS_42
直至达到收敛条件；
损失函数表示为：
Figure QLYQS_43
其中θ为网络可训练参数，Ω(w)为正则项，且
Figure QLYQS_44
CN202210803112.5A 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统 Active CN115171882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210803112.5A CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210803112.5A CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统

Publications (2)

Publication Number Publication Date
CN115171882A CN115171882A (zh) 2022-10-11
CN115171882B true CN115171882B (zh) 2023-06-02

Family

ID=83492327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210803112.5A Active CN115171882B (zh) 2022-07-07 2022-07-07 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统

Country Status (1)

Country Link
CN (1) CN115171882B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146993A (zh) * 2018-09-11 2019-01-04 广东工业大学 一种医学图像融合方法及系统
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472676A (zh) * 2019-08-05 2019-11-19 首都医科大学附属北京朝阳医院 基于深度神经网络的胃早癌组织学图像分类系统
CN118710571A (zh) * 2020-02-19 2024-09-27 华为技术有限公司 图像增强方法以及图像增强装置
CN112163994B (zh) * 2020-09-01 2022-07-01 重庆邮电大学 一种基于卷积神经网络的多尺度医学图像融合方法
CN113450328B (zh) * 2021-06-29 2022-10-14 汕头大学 基于改进神经网络的医学图像关键点检测方法及系统
CN114283104A (zh) * 2021-12-29 2022-04-05 中国科学院西安光学精密机械研究所 一种基于y型金字塔网络的多谱段图像融合方法
CN114708189A (zh) * 2022-02-24 2022-07-05 中北大学 基于深度学习的多能x射线图像融合方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146993A (zh) * 2018-09-11 2019-01-04 广东工业大学 一种医学图像融合方法及系统
CN109360171A (zh) * 2018-10-26 2019-02-19 北京理工大学 一种基于神经网络的视频图像实时去模糊方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于超声同步观测辅助技术的CT成像系统设计及图像融合;林森林，徐圣兵，方桂标，陈广诚，欧阳翼;数学建模及其应用;第8卷(第1期);第14-21页 *

Also Published As

Publication number Publication date
CN115171882A (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN110706246B (zh) 一种血管图像分割方法、装置、电子设备和存储介质
Mu et al. An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms
US20230230241A1 (en) System and method for detecting lung abnormalities
CN112348908A (zh) 用于医学成像中分段的基于形状的生成对抗网络
CN111723817B (zh) 一种肺结节辅助检测方法
KR102179586B1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
KR102179584B1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
CN117253611B (zh) 基于多模态知识蒸馏的癌症智能早期筛查方法及系统
KR102150647B1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
CN115423754A (zh) 一种图像分类方法、装置、设备及存储介质
CN117911418B (zh) 基于改进yolo算法的病灶检测方法、系统及存储介质
CN117392125B (zh) 基于深度卷积神经网络的乳腺超声图像分析方法和系统
CN113362360B (zh) 基于流体速度场的超声颈动脉斑块分割方法
CN115171882B (zh) 一种基于多先验嵌入的y型网络的智能医学辅助诊断方法及系统
CN117746045A (zh) 一种Transformer和卷积融合的医学图像分割方法及系统
Kaur et al. Deep CNN-based method for segmenting lung fields in digital chest radiographs
CN113052857A (zh) 一种基于CovSegNet的肺部病变图像分割方法
Li et al. A pathology image segmentation framework based on deblurring and region proxy in medical decision-making system
CN112802040B (zh) 一种基于边缘感知的x光片气胸分割及评估方法
KR102212966B1 (ko) 개별 레이어의 예상 실행시간이 표시되는 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
KR102179588B1 (ko) 의료영상 판독을 위한 인공지능 기반의 클라우드 플랫폼 시스템
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
CN117437514B (zh) 一种基于CycleGan的阴道镜图像模态转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant