CN117036910B - 一种基于多视图及信息瓶颈的医学图像训练方法 - Google Patents

一种基于多视图及信息瓶颈的医学图像训练方法 Download PDF

Info

Publication number
CN117036910B
CN117036910B CN202311264129.9A CN202311264129A CN117036910B CN 117036910 B CN117036910 B CN 117036910B CN 202311264129 A CN202311264129 A CN 202311264129A CN 117036910 B CN117036910 B CN 117036910B
Authority
CN
China
Prior art keywords
data
image
client
formula
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311264129.9A
Other languages
English (en)
Other versions
CN117036910A (zh
Inventor
杨飞
孙宸远
高埂
何云飞
肖风丽
孟丽
张志强
陈润泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Qianshou Medical Technology Co ltd
Original Assignee
Hefei Qianshou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Qianshou Medical Technology Co ltd filed Critical Hefei Qianshou Medical Technology Co ltd
Priority to CN202311264129.9A priority Critical patent/CN117036910B/zh
Publication of CN117036910A publication Critical patent/CN117036910A/zh
Application granted granted Critical
Publication of CN117036910B publication Critical patent/CN117036910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及医学图像处理技术领域，公开了一种基于多视图及信息瓶颈的医学图像训练方法，所述客户端对医用图像的获取以及处理进行图像训练，该训练包括以下步骤：步骤1，图像转换，由数据服务器将预处理后的图像传输至客户端中；步骤2，数据优化，客户端对从服务器传输的图像数据进行分析，对获取的图像数据经过损失函数对数据降低噪声信息；步骤3，输出结果预测；步骤4，加密传输；步骤5，更新客户端模型；采用对应的方式在使用时可以实现相对堆单一图像的转让，使得起适应更多设备的所以的数据格式，并且经过改方式的转化使得起训练效率高，训练成本降低，同时使用时降低训练模型的误差。

Description

一种基于多视图及信息瓶颈的医学图像训练方法
技术领域
本发明涉及医学图像处理技术领域，公开了一种基于多视图及信息瓶颈的医学图像训练方法。
背景技术
近年来，随着图像分类、图像分割等深度学习技术的发展，人工智能在医学领域得到广泛应用，例如，通过将神经网络与皮肤病诊断相结合，即皮肤病智能诊断，是当前皮肤病领域提升诊断效率和准确性的新趋势。人工智能辅助诊断的准确率在于深度学习的训练效果，深度学习模型训练效果的上限在于数据集，通过使用大规模医学图像进行训练的智能诊断系统已成为研究热点。通常情况下，大规模数据从多个医院或者科研单位获取，由于涉及患者隐私问题，医疗数据通常被储存在分布式设备中，无法直接提取出来统一训练，联邦学习被广泛用于处理这种情况。然而，在联邦学习中，分布式设备的异构性和数据分布的不均衡往往会出现以下几个问题：
问题1：单个数据源图像视图种类少，大部分临床医学图像为RGB视图，格式单一，无法学习到更多的特征；
问题2：输入图像的特征向量维度过高导致数据处理复杂度高、模型训练效率低、训练时间长导致训练成本高；
问题3：鲁棒性不够好，比如有节点恶意发送错误的梯度给服务器，会让训练的模型变差。
发明内容
现有技术中针对医学图像采用的格式单一，特征少同时处理数据复杂度高等问题。
本发明提出的一种基于多视图及信息瓶颈的医学图像训练方法及其加工方法，解决了医学图像采用的格式单一，特征少同时处理数据复杂度高等问题。
本发明提出的一种基于多视图及信息瓶颈的医学图像训练方法，包括客户端与数据服务器，其中客户端与数据服务器建立网络数据连接，数据服务器端接收医用图像数据获取终端产生的图像，再对图像进行预处理将获取的基础数据转化为RGB格式，所述客户端对医用图像的获取以及处理进行图像训练，该训练方法包括以下步骤：
步骤1，图像转换，由数据服务器将预处理后的图像传输至客户端中，将图像基础数据分别转换为HSL视图和YCbCr视图；
步骤2，数据优化，客户端对从服务器传输的图像数据进行分析，对获取的图像数据经过损失函数对数据降低噪声信息；
步骤3，输出结果预测，基于数据软投票，确定客户端模型最终输出概率；
步骤4，加密传输，由客户端与数据服务器之间由同态加密算法建立基础数据转换，数据服务器基于同态加密的加权平均对收到的数据进行安全聚合；
步骤5，更新客户端模型，数据服务器完成安全聚合操作后，将聚合后的结果发送给各客户端，各客户端对收到的梯度进行解密，并使用解密后的梯度结果更新各自的模型参数。
优选的，其中，步骤1的图像由RGB医学图像数据转换为HSL视图的计算方式为：
HSL：HSL通过公式（1）-公式（3）表示：
；
（1）
（2）
（3）
其中，R,G,B为RGB格式图像所对应的三个通道的参数值,范围均是0-255；r,g,b为R,G,B的百分比；
MAX为r,g,b中的最大值，MIN为r,g,b中的最小值；H,S,L分别为从R,G,B计算而来的HSL格式图像的三通道数值。
优选的，其中，步骤1的图像由RGB医学图像数据转换为YCbCr视图的计算方式其中Y用公式（4）表示，Cr用公式（5）表示，Cb用公式（6）表示：
YCbCr：
（4）
（5）
（6）
其中，Y,Cr,Cb分别是从R,G,B计算而来的YCbCr格式图像的三通道数值。
优选的，其中，步骤2采用的数据优化分析方法选用信息瓶颈理论；
其中，信息瓶颈理论选用用公式（7）表示：
（7）
其中，是信息瓶颈，/>是网络的参数（要优化的东西），/>是拉格朗日乘子；是神经网络最终预测输出结果Y和中间隐层特征信息Z的互信息，/>是输入的图像标签X和中间隐层特征信息Z的互信息。
优选的，其中，步骤2采用的数据优化分析方法选用希尔伯特独立性准则，并辅助计算模型该计算模型为：
设有输入的特征X和真实值标签Y，通过HSIC计算他们之间的损失如下公式（8），核函数公式（9）表示：
（8）
（9）
H为公式（10）表示：
（10）
其中，为单位矩阵。
HSIC的核函数计算公式还如下公式（11）表示：
（11）
其中，HSIC为希尔伯特独立性准则的缩写，N为每批次处理数据量，和/>都为核矩阵，/>以及/>为核矩阵/>中的元素。
优选的，其中，步骤3中客户端模型的最终输出概率计算采用如下计算：
（12）
其中，为输入数据，/>为神经网络对RGB图像的预测结果，/>为神经网络对HSL图像的预测结果,/>为神经网络对YCbCr图像的预测结果。
本发明的有益效果：
本申请采用对应的方式在使用时可以实现相对堆单一图像的转让，使得起适应更多设备的所以的数据格式，并且经过改方式的转化使得起训练效率高，训练成本降低，同时使用时降低训练模型的误差。
实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1：一种基于多视图及信息瓶颈的医学图像训练方法，包括客户端与数据服务器，其中客户端与数据服务器建立网络数据连接，数据服务器端接收医用图像数据获取终端产生的图像，再对图像进行预处理将获取的基础数据转化为RGB格式，所述客户端对医用图像的获取以及处理进行图像训练，该训练包括以下步骤：
步骤1，图像转换，由数据服务器将预处理后的图像传输至客户端中，将图像基础数据分别转换为HSL视图和YCbCr视图；
其中，步骤1的图像由RGB医学图像数据转换为HSL视图的计算方式为：
HSL通过公式（1）-公式（3）表示：
；
（1）
（2）
（3）
其中，R,G,B为RGB格式图像所对应的三个通道的参数值,范围均是0-255；r,g,b为R,G,B的百分比；
MAX为r,g,b中的最大值，MIN为r,g,b中的最小值；H,S,L分别为从R,G,B计算而来的HSL格式图像的三通道数值。
其中，步骤1的图像由RGB医学图像数据转换为YCbCr视图的计算方式为：
YCbCr：
（4）
（5）
（6）
其中，Y,Cr,Cb分别是从R,G,B计算而来的YCbCr格式图像的三通道数值。
步骤2，数据优化，客户端对从服务器传输的图像数据进行分析，对获取的图像数据经过损失函数对数据降低噪声信息；
其中，步骤2采用的数据优化分析方法选用信息瓶颈理论；
其中，信息瓶颈理论选用以下公式：
（7）
其中，是信息瓶颈，/>是网络的参数（要优化的东西），/>是拉格朗日乘子；是神经网络最终预测输出结果Y和中间隐层特征信息Z的互信息，/>是输入的图像标签X和中间隐层特征信息Z的互信息。
优选的，其中，步骤2采用的数据优化分析方法选用希尔伯特独立性准则，并辅助计算模型该计算模型为：
步骤3，输出结果预测，基于数据软投票，确定客户端模型最终输出概率；
其中，步骤3中客户端模型的最终输出概率计算采用如下计算：
（12）
其中，为输入数据，/>为神经网络对RGB图像的预测结果，/>为神经网络对HSL图像的预测结果,/>为神经网络对YCbCr图像的预测结果。
步骤4，加密传输，由客户端与数据服务器之间由同态加密算法建立基础数据转换，数据服务器基于同态加密的加权平均对收到的数据进行安全聚合。
步骤5，更新客户端模型，数据服务器完成安全聚合操作后，将聚合后的结果发送给各客户端，各客户端对收到的梯度进行解密，并使用解密后的梯度结果更新各自的模型参数。
其中，由信息瓶颈理论得到相应的多级隐藏层语义捕捉，在客户端的神经网络训练过程中，考虑到多层网络信息传播过程中信息损失的问题，模型可能在学习过程中受到不良信息或者隐藏层的干扰，进而在错误的方向偏离学习的目标，信息瓶颈理论是一种信息论的方法，旨在寻找输入数据与输出数据之间最重要的信息，其核心思想是在保留最重要信息的同时最小化输入数据与输出数据之间的信息损失。
实施例2：一种基于多视图及信息瓶颈的医学图像训练方法，包括客户端与数据服务器，其中客户端与数据服务器建立网络数据连接，数据服务器端接收医用图像数据获取终端产生的图像，再对图像进行预处理将获取的基础数据转化为RGB格式，所述客户端对医用图像的获取以及处理进行图像训练，该训练包括以下步骤：
步骤1，图像转换，由数据服务器将预处理后的图像传输至客户端中，将图像基础数据分别转换为HSL视图和YCbCr视图；
其中，步骤1的图像由RGB医学图像数据转换为HSL视图的计算方式为：
HSL通过公式（1）-公式（3）表示：
；
（1）
（2）
（3）
其中，R,G,B为RGB格式图像所对应的三个通道的参数值,范围均是0-255；r,g,b为R,G,B的百分比；
MAX为r,g,b中的最大值，MIN为r,g,b中的最小值；H,S,L分别为从R,G,B计算而来的HSL格式图像的三通道数值。
其中，步骤1的图像由RGB医学图像数据转换为YCbCr视图的计算方式为：
YCbCr：
（4）
（5）
（6）
其中，Y,Cr,Cb分别是从R,G,B计算而来的YCbCr格式图像的三通道数值。
步骤2，数据优化，客户端对从服务器传输的图像数据进行分析，对获取的图像数据经过损失函数对数据降低噪声信息；
其中，步骤2采用的数据优化分析方法选用希尔伯特独立性准则，并辅助计算模型该计算模型为：
设有输入的特征X和真实值标签Y，通过HSIC计算他们之间的损失如下：通过HSIC计算他们之间的损失如下公式（8），核函数公式（9）表示：
（8）
（9）
H为公式（10）表示：
（10）
其中，为单位矩阵。
HSIC的核函数计算公式还如下公式（11）表示：
（11）
其中，HSIC为希尔伯特独立性准则的缩写，N为每批次处理数据量，和/>都为核矩阵，/>以及/>为核矩阵/>中的元素。
步骤3，输出结果预测，基于数据软投票，确定客户端模型最终输出概率；
其中，步骤3中客户端模型的最终输出概率计算采用如下计算：
（12）
其中，为输入数据，/>为神经网络对RGB图像的预测结果，/>为神经网络对HSL图像的预测结果,/>为神经网络对YCbCr图像的预测结果。
步骤4，加密传输，由客户端与数据服务器之间由同态加密算法建立基础数据转换，数据服务器基于同态加密的加权平均对收到的数据进行安全聚合。
步骤5，更新客户端模型，数据服务器完成安全聚合操作后，将聚合后的结果发送给各客户端，各客户端对收到的梯度进行解密，并使用解密后的梯度结果更新各自的模型参数。
其中，该方法在采用希尔伯特独立性准则替代互信息作为损失函数用于辅助模型学习，以捕捉神经网络各层之间的依赖，并且压缩其中的噪声信息，有效约束信息聚合的纯洁性。
实验说明:
为了验证本发明提出的在联邦学习中基于多视图及信息瓶颈的医学图像训练方法 (MCC) 的有效性，我们使用 ResNet-50 、DensNet-169、Inception-v4、ConvNeXt-B 四种 经典的卷积神经网络(CNN)在一个色素减退性病 (HD)数据集和公开的ISIC2018 数 据集上进行了实验。这四种CNN 分别在使用 MCC 和不使用MCC 下进行训练，然后使 用相同的测试集对生成的模型进行测试，测试指标包括准确率 (Accuracy)、精确率(Precision)、召回率(Recall) 和 F1值(F1-score)。
为了保证实验的公平性，所有 CNN的训练和测试都在同一实验环境中进行，超参数也保持一致。实验中使用的深度学习框架是 Pytorch(版本1. 10.2),显卡型号是NVIDIAGeForce RTX3090Ti。超参数设置为：优化器类型，SGD;学习率，0.01;每批次训练数据量，32;训练轮数，100。为了丰富数据集和提高模型的鲁棒性，在数据预处理阶段使用了随机剪切和镜像翻转数据增强方法。
测试结果如表1所示。从表中可以看出，在HD 数据集上， ResNet-50、DensNet-169、Inception-v4 和 ConvNeXt-B 在使用 MCC 框架后，各项指标都有不同程度的提高。四种 CNN 的准确率分别提高了3.06%、9.54%、6.10%和0.77%。精确率分别提高了4.9%、8.85%、8.17%和1.82%;召回率分别提高了3.79%、9.38%、5.77%和0.91%; F1 值分别提高了4.15%、9.58%、7.37%和1.56%。在ISIC2018 数据集上，ResNet-50、DensNet-169、Inception-v4 和 ConvNeXt-B 在使用MCC 后，各项指标也有不同程度的提升。四种 CNN的准确率分别提高了2.05%、5.62%、1.39%和2.06%。精确率分别提高了3.3%、8.28%、0.22%和1.17%;召回率分别提高了1.99%、7.49%、3.36%和2.33%; F1 值分别提高了3.1%、8.03%、2.72%和2.42%。
MCC对每个CNN性能的改善程度各不相同，这主要是由于不同CNN 学习到的特征存在差异。如果MCC能帮助CNN 学习到CNN 本身学习不到的特征较多，那么 CNN的性能就会大幅提高，反之，则性能提升就不明显。总的来说，通过加入MCC,CNN的性能可以得到提升，这表明了本发明的有效性。表1示出使用HD Dataset数据库和ISIC2018 Dataset数据库通过不同的网络模型进行训练的结果。
表1训练性能结果
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (3)

1.一种基于多视图及信息瓶颈的医学图像训练方法，包括客户端与数据服务器，其中客户端与数据服务器建立网络数据连接，数据服务器端接收医用图像数据获取终端产生的图像，再对图像进行预处理将获取的基础数据转化为RGB格式，其特征在于，所述客户端对医用图像的获取以及处理进行图像训练，该训练方法包括以下步骤：
步骤1，图像转换，由数据服务器将预处理后的图像传输至客户端中，将图像基础数据分别转换为HSL视图和YCbCr视图；
步骤2，数据优化，客户端对从服务器传输的图像数据进行分析，对获取的图像数据经过损失函数对数据降低噪声信息，步骤2采用的数据优化分析方法选用希尔伯特独立性准则；
步骤3，输出结果预测，基于数据软投票，确定客户端模型最终输出概率；
步骤3中客户端模型的最终输出概率计算采用如下计算：
（12）
其中，为输入数据，/>为神经网络对RGB图像的预测结果，/>为神经网络对HSL图像的预测结果,/>为神经网络对YCbCr图像的预测结果；
步骤4，加密传输，由客户端与数据服务器之间由同态加密算法建立基础数据转换，数据服务器基于同态加密的加权平均对收到的数据进行安全聚合；
步骤5，更新客户端模型，数据服务器完成安全聚合操作后，将聚合后的结果发送给各客户端，各客户端对收到的梯度进行解密，并使用解密后的梯度结果更新各自的模型参数；
其中，步骤1的图像由RGB医学图像数据转换为HSL视图的计算方式为：
HSL通过公式（1）-公式（3）表示：
；
（1）
（2）
（3）
其中，R,G,B为RGB格式图像所对应的三个通道的参数值,范围均是0-255；r,g,b为R,G,B的百分比, 公式（1）中的mod为取余数的运算符；
MAX为r,g,b中的最大值，MIN为r,g,b中的最小值；H,S,L分别为从R,G,B计算而来的HSL格式图像的三通道数值；
其中，步骤2采用的数据优化分析方法选用信息瓶颈理论；
其中，信息瓶颈理论选用公式（7）表示：
（7）
其中，是信息瓶颈，/>是网络的参数，/>是拉格朗日乘子；/>是神经网络最终预测输出结果Y和中间隐层特征信息Z的互信息，/>是输入的图像标签X和中间隐层特征信息Z的互信息。
2.根据权利要求1所述的一种基于多视图及信息瓶颈的医学图像训练方法，其特征在于，其中，步骤1的图像由RGB医学图像数据转换为YCbCr视图的计算方式其中Y用公式（4）表示，Cr用公式（5）表示，Cb用公式（6）表示：
YCbCr：
（4）
（5）
（6）
其中，Y,Cr,Cb分别是从R,G,B计算而来的YCbCr格式图像的三通道数值。
3.根据权利要求1所述的一种基于多视图及信息瓶颈的医学图像训练方法，其特征在于，其中，步骤2采用的数据优化分析方法选用希尔伯特独立性准则，并辅助计算模型该计算模型为：
设有输入的特征X和真实值标签Y，通过HSIC计算他们之间的损失如下公式（8），核函数公式（9）表示：
（8）
（9）
核函数属于实数范围的N维矩阵,H用公式（10）表示：
（10）
其中，为N维单位矩阵，H为属于实数范围的N维矩阵；
HSIC的核函数计算公式还如下公式（11）表示：
（11）
其中，HSIC为希尔伯特独立性准则的缩写，N为每批次处理数据量，和/>都为核矩阵，/>以及/>为核矩阵/>中的元素。
CN202311264129.9A 2023-09-28 2023-09-28 一种基于多视图及信息瓶颈的医学图像训练方法 Active CN117036910B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311264129.9A CN117036910B (zh) 2023-09-28 2023-09-28 一种基于多视图及信息瓶颈的医学图像训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311264129.9A CN117036910B (zh) 2023-09-28 2023-09-28 一种基于多视图及信息瓶颈的医学图像训练方法

Publications (2)

Publication Number Publication Date
CN117036910A CN117036910A (zh) 2023-11-10
CN117036910B true CN117036910B (zh) 2024-01-12

Family

ID=88641273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311264129.9A Active CN117036910B (zh) 2023-09-28 2023-09-28 一种基于多视图及信息瓶颈的医学图像训练方法

Country Status (1)

Country Link
CN (1) CN117036910B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116502A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 模型训练方法、数据处理方法、装置、客户端及存储介质
CN114691911A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于信息瓶颈变分蒸馏的跨视角地理图像检索方法
CN115187571A (zh) * 2022-07-27 2022-10-14 吉林大学 一种基于奖励函数引入先验知识的医学图像分割方法
CN116129235A (zh) * 2023-04-14 2023-05-16 英瑞云医疗科技(烟台)有限公司 一种脑梗ct到mri常规序列的医学图像跨模态合成方法
CN116386853A (zh) * 2023-04-10 2023-07-04 南京邮电大学 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016207875A1 (en) * 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
US10706557B2 (en) * 2018-09-07 2020-07-07 Volvo Car Corporation Methods and systems for providing fast semantic proposals for image and video annotation
EP4105815A1 (en) * 2021-06-14 2022-12-21 Onfido Ltd Signal based machine learning fraud detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116502A1 (zh) * 2020-12-01 2022-06-09 平安科技（深圳）有限公司 模型训练方法、数据处理方法、装置、客户端及存储介质
CN114691911A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于信息瓶颈变分蒸馏的跨视角地理图像检索方法
CN115187571A (zh) * 2022-07-27 2022-10-14 吉林大学 一种基于奖励函数引入先验知识的医学图像分割方法
CN116386853A (zh) * 2023-04-10 2023-07-04 南京邮电大学 面向智慧医疗的深度可分离卷积双重聚合联邦学习方法
CN116129235A (zh) * 2023-04-14 2023-05-16 英瑞云医疗科技(烟台)有限公司 一种脑梗ct到mri常规序列的医学图像跨模态合成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于秘密分享和梯度选择的高效安全联邦学习;董业;侯炜;陈小军;曾帅;;计算机研究与发展(第10期);全文 *

Also Published As

Publication number Publication date
CN117036910A (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
Yu et al. Deep-learning-empowered breast cancer auxiliary diagnosis for 5GB remote E-health
US20230039182A1 (en) Method, apparatus, computer device, storage medium, and program product for processing data
CN106934042B (zh) 一种知识图谱表示系统及其实施方法
Rehman et al. A novel chaos-based privacy-preserving deep learning model for cancer diagnosis
CN113469236B (zh) 一种自我标签学习的深度聚类图像识别系统及方法
CN112420187B (zh) 一种基于迁移联邦学习的医疗疾病分析方法
CN111539491B (zh) 基于深度学习与注意力机制的多发性结节分类系统和方法
CN115563650A (zh) 基于联邦学习实现医疗数据的隐私保护系统
CN112765370B (zh) 知识图谱的实体对齐方法、装置、计算机设备和存储介质
CN114333064B (zh) 基于多维原型重构增强学习的小样本行为识别方法及系统
CN113821668A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN116664930A (zh) 基于自监督对比学习的个性化联邦学习图像分类方法及系统
CN116386899A (zh) 基于图学习的药物疾病关联关系预测方法及相关设备
CN111726472B (zh) 一种基于加密算法的图像抗干扰方法
CN112950480A (zh) 一种融合多感受野和密集残差注意的超分辨率重建方法
CN113705604A (zh) 僵尸网络流量分类检测方法、装置、电子设备及存储介质
CN112580502A (zh) 基于sicnn的低质量视频人脸识别方法
CN110414431B (zh) 基于弹性上下文关系损失函数的人脸识别方法及系统
CN114093507B (zh) 边缘计算网络中基于对比学习的皮肤病智能分类方法
CN116825259B (zh) 一种基于物联网的医疗数据管理方法
CN117036910B (zh) 一种基于多视图及信息瓶颈的医学图像训练方法
CN116433679A (zh) 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法
CN115481415A (zh) 基于纵向联邦学习的通信成本优化方法、系统、设备及介质
CN115861292A (zh) 基于ct图像二维投影及深度学习的肺结核传染性判别方法
CN115348198A (zh) 基于特征检索的未知加密协议识别分类方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant