CN111462097A - 基于联邦学习的图像处理方法、装置、设备及存储介质 - Google Patents

基于联邦学习的图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111462097A
CN111462097A CN202010260497.6A CN202010260497A CN111462097A CN 111462097 A CN111462097 A CN 111462097A CN 202010260497 A CN202010260497 A CN 202010260497A CN 111462097 A CN111462097 A CN 111462097A
Authority
CN
China
Prior art keywords
feature
lung
attention
image
pneumonia
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010260497.6A
Other languages
English (en)
Inventor
李月
蔡杭
魏征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010260497.6A priority Critical patent/CN111462097A/zh
Publication of CN111462097A publication Critical patent/CN111462097A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了提供的一种基于联邦学习的图像处理方法、装置、设备及存储介质，所述方法包括：获取肺部图像的注意力特征；基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述联邦病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。本发明可以提升确定或者分析肺炎等级的效率和准确率。

Description

基于联邦学习的图像处理方法、装置、设备及存储介质
技术领域
本发明涉及金融科技领域和人工智能技术领域，尤其涉及一种基于联邦学习的图像处理方法、装置、设备及存储介质。
背景技术
肺炎是世界上常见的传染病之一。在治疗肺炎时，确定肺炎病原后，通常需要先确定肺炎等级，然后根据肺炎等级确定不同的治疗措施。现有技术中确定肺炎等级的方式大多依靠医生的人眼判断，然而，肺炎病例通常呈阶段性爆发增长，且单个医院的医生数量和能力有限，会影响肺炎等级确定的效率和准确率，因此，肺炎等级确定的手段有待进一步提升。
发明内容
本发明的主要目的在于提供一种基于联邦学习的图像处理方法、装置、设备及存储介质，旨在提升确定肺炎等级的效率和准确率。
为实现上述目的，第一方面，本发明提供一种基于联邦学习的图像处理方法，包括：
获取肺部图像的注意力特征；
基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述联邦病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
进一步地，所述获取肺部图像的注意力特征和基于联邦学习的病灶区域检测模型之前，所述方法还包括：
对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征；
基于所述样本肺部图像和所述样本注意力特征，构建本地训练样本集；
基于所述本地训练样本集训练本地模型，并将本地模型参数发送给协调端，所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数；
接收所述协调端发送的联合模型参数对所述本地模型继续迭代训练，并在模型收敛时，得到所述联邦病灶区域检测模型。
可选地，所述区域范围通过所述肺炎区域的第一体积表示，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级，包括：
根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积；
基于所述第一体积和所述第二体积的比值所处阈值区间，确定所述肺部图像的肺炎等级。
可选地，所述根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积之前，所述方法还包括：
确定所述肺部图像的层数、扫描层厚以及层间距；
所述根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积，包括：
根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积；
根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积。
可选地，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级，包括：
提取所述肺炎区域的病变特征；
基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的肺炎等级。
可选地，所述获取肺部图像的注意力特征，包括：
对肺部图像进行特征提取处理，得到所述肺部图像的图像特征；
对所述图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；
对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；
基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，所述肺部图像的注意力特征由各所述特征点的注意力特征构成。
可选地，所述基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，包括：
基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；
分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；
将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到各所述特征点的注意力特征。
第二方面，本发明还提供一种基于联邦学习的图像处理装置，包括：
获取模块，用于获取肺部图像的注意力特征；
处理模块，用于基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
确定模块，用于基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
进一步地，所述装置还包括：构建模块和发送模块。
所述处理模块，还用于对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征；
所述构建模块，用于基于所述样本肺部图像和所述样本注意力特征，构建本地训练样本集；
所述发送模块，用于基于所述本地训练样本集训练本地模型，并将本地模型参数发送给协调端，所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数；
所述确定模块，还用于接收所述协调端发送的联合模型参数对所述本地模型继续迭代训练，并在模型收敛时，得到所述联邦病灶区域检测模型。
可选地，所述区域范围通过所述肺炎区域的第一体积表示，所述确定单元包括：
第一确定单元，用于根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积；
第二确定单元，用于基于所述第一体积和所述第二体积的比值所处阈值区间，确定所述肺部图像的肺炎等级。
可选地，所述第一确定单元，具体用于确定所述肺部图像的层数、扫描层厚以及层间距；
根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积；
根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积。
可选地，所述确定模块，具体用于提取所述肺炎区域的病变特征；
基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的肺炎等级。
可选地，所述获取模块包括：
处理单元，用于对肺部图像进行特征提取处理，得到所述肺部图像的图像特征；
所述处理单元，还用于对所述图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；
所述处理单元，还用于对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；
获取单元，用于基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，所述注意力特征矩阵由各所述特征点的注意力特征构成。
可选地，所述获取单元，具体用于基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；
分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；
将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到各所述特征点的注意力特征。
第三方面，本发明还提出一种基于联邦学习的图像处理设备，所述病灶区域检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的病灶区域检测程序，所述基于联邦学习的图像处理程序被所述处理器执行所述的基于联邦学习的图像处理方法的步骤。
第四方面，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于联邦学习的图像处理程序，所述基于联邦学习的图像处理程序被处理器执行时实现所述的基于联邦学习的图像处理方法的步骤。
本发明提供的一种基于联邦学习的图像处理方法、装置、设备及存储介质，在获取肺部图像的注意力特征后；可以基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；并可以基于所述肺炎区域的区域范围，自动确定所述肺部图像的肺炎等级，从而可以对肺部图像进行肺炎等级的定性分析，发挥辅助作用，可以提升确定或者分析肺炎等级的效率。此外，由于结合注意力特征能够可以降低除肺炎特征以外特征的影响，且联邦病灶区域检测模型可以实现在保护各个医院病人隐私的前提下，联合使用多个医疗资源，从而可以提升确定或者分析肺炎等级的准确率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明基于联邦学习的图像处理方法第一实施例的流程示意图；
图3为本发明实施例的一种肺叶分割方法的网络结构示意图；
图4为本发明实施例的一种基于联邦学习的图像处理的步骤S10的流程图；
图5示出根据本发明实施例的一种基于联邦学习的图像处理方法中步骤 S14的流程图
图6本发明基于联邦学习的图像处理装置较佳实施例的功能示意图模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
需要说明的是，本发明实施例提供的基于联邦学习的图像处理方法可以用于提升确定肺炎等级的效率和准确率，该方法的执行主体可以是任意的基于联邦学习的图像处理装置，例如，基于联邦学习的图像处理方法可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，在此不做具体限制。
如图1所示，该基于联邦学习的图像处理设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005 可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对基于联邦学习的图像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦学习的图像处理程序。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持基于联邦学习的图像处理程序以及其它软件或程序的运行。
在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的基于联邦学习的图像处理程序，并执行本发明实施例的基于联邦学习的图像处理方法。
基于上述的结构，提出基于联邦学习的图像处理方法的各个实施例。
参照图2，图2为本发明基于联邦学习的图像处理方法第一实施例的流程示意图。
S10：获取肺部图像的注意力特征；
S20：基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述联邦病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
S30：基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
在一些可能的实施方式中，本发明实施例的肺部图像可以直接通过拍摄 CT(Computed Tomography，计算机断层影像)得到，或者也可以通过其他电子设备传输得到。本发明实施例中，获取的肺部图像可以为三个视角下的肺部图像，三个视角包括矢状面视角、冠状面视角以及横断面视角。对应的，在每个视角下可以得到多个断层图像，即为肺部图像，同时同一视角下的肺部图像可以构造形成三维肺部图像。例如，可以将同一视角下的多层图像进行堆叠，得到三维肺部图像，或者也可以执行线性拟合或者曲面拟合，得到三维肺部图像。
下述实施例中，肺部图像可以为任意视角下的任意层的肺部图像，本发明实施例对此不作具体限定。
另外，在对肺部图像进行肺叶分割处理，得到肺叶分割图像的过程中时，得到的肺叶分割图像可以包括：左肺部图像以及右肺部图像中的至少一种。左肺部图像包括：左上叶和左下叶；右肺部图像，包括：右上叶、右中叶、右下叶，即肺叶分割图像为五种肺叶中任意一个或多个肺叶分别对应的肺叶图像，本发明实施例可以通过肺叶分割处理分别得到五个肺叶的分割图像。
在一些可能的实施方式中，对肺部图像进行肺叶分割处理，得到肺叶分割图像，包括：步骤1：获取肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征；步骤2：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正；步骤3：利用校正后的肺叶裂隙特征对所述肺部图像进行分割。
步骤1：获取肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。
在一些可能的实施方式中，可以通过特征提取处理的方式，提取不同视角下的肺部图像的肺叶裂隙特征。肺叶裂隙特征是用于执行肺部图像中的各肺叶区域的分割处理的特征，例如肺叶裂隙特征可以用于确定肺叶之间的裂隙面的位置，实现肺叶分割。
本发明实施例可以分别对矢状面、冠状面以及横断面视角下的肺部图像执行特征提取处理，得到相应视角下的肺部图像的裂隙特征，即可以分别得到肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。本发明实施例中，各视角下的肺叶裂隙特征可以表示为矩阵或者向量的形式，肺叶裂隙特征可以表示相应视角下的肺部图像在各像素点处的特征值。
在一些可能的实施方式中，可以通过特征提取神经网络执行肺部图像的裂隙特征的特征提取处理。例如可以对神经网络训练，实现神经网络对肺部图像的肺叶裂隙特征的精确提取，并通过得到的特征执行肺叶分割。在肺叶分割的精度超过精度阈值的情况下，表示该神经网络得到的肺叶裂隙特征的精确度满足要求，此时可以将神经网络中执行分割的网络层去掉，保留的网络部分即可以作为本发明实施例的特征提取神经网络。其中，特征提取神经网络可以为卷积神经网络，如可以为残差网络、金字塔特征网络、U网络，上述仅为示例性说明，不作为本发明的具体限定。
步骤2：利用所述矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正。
在一些可能的实施方式中，在得到三个视角下的肺叶裂隙特征的情况下，可以利用其中两个视角下的肺叶裂隙特征对第三个视角下的肺叶裂隙特征进行校正，提高第三个视角下的肺叶裂隙特征的精确度。
在一个示例中，本发明实施例可以利用冠状面和横断面视角下的肺叶裂隙特征，对矢状面视角下的肺叶裂隙特征进行校正。在其他实施例中，也可以通过三种视角的肺叶裂隙特征中任意两种肺叶裂隙特征校正另一肺叶裂隙特征。为了方便描述，下述实施例中通过第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正进行描述。其中第一肺叶裂隙特征、第二肺叶裂隙特征以及第三肺叶裂隙特征与本发明实施例的三个视角下的肺叶裂隙特征分别对应。
在一些可能的实施方式中，可以采用映射的方式将第一肺叶裂隙特征和第二肺叶裂隙特征转换到第三肺叶裂隙特征的视角下，并利用映射得到的两个肺叶裂隙特征与第三肺叶裂隙特征执行特征融合，得到校正后的肺叶裂隙特征。
步骤3：利用校正后的肺叶裂隙特征对所述肺部图像进行分割。
在一些可能的实施方式中，可以直接通过校正后的肺叶裂隙特征执行肺叶分割，得到肺叶裂隙的分割结果。或者，在其他实施方式中，也可以将校正后的肺叶裂隙特征与第三肺叶裂隙特征执行特征融合处理，基于融合结果执行肺叶分割，得到肺叶裂隙的分割结果。其中，分割结果可以包括识别出的肺部图像中的各个分区对应的位置信息。例如，肺部图像可以包括五个肺叶区域，分别为右上叶、右中叶、右下叶、左上叶和左下叶，得到分割结果中可以包括上述五个肺叶在肺部图像中分别所在的位置信息。本发明实施例可以通过掩码特征的方式表示分割结果，也就是说，本发明实施例得到的分割结果可以是表示为掩码形式的特征，例如，本发明实施例可以为上述五个肺叶区域分别分配唯一对应的掩码值，如1、2、3、4和5，每个掩码值形成的区域即为相应的肺叶所在的位置区域。上述掩码值仅为示例性说明，在其他实施例中也可以配置其他的掩码值。
基于上述实施例，可以充分融合三个视角下的肺叶裂隙特征，提高校正后的裂隙特征的信息含量以及准确度，进而提高肺叶分割结果的精确度。
为了详细的说明本发明实施例，下面分别对本发明实施例的各过程进行说明。
本发明实施例中，所述获取肺部图像在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征的方法为：
获得在矢状面、冠状面以及横断面下的多序列肺部图像；分别对所述矢状面、冠状面以及横断面下的多序列肺部图像进行肺叶裂隙特征提取，得到在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。
本发明实施例可以首先获取三个视角下的多序列肺部图像，如上述实施例所述，可以通过CT成像的方式采集肺部图像在不同视角下的多层肺部图像 (多序列图像)，通过每个视角下的多层肺部图像均可以得到三维形式的肺部图像。
在得到三个视角下的多序列肺部图像的情况下，可以对各肺部图像执行特征提取处理，例如通过上述特征提取神经网络对各视角下的肺部图像执行特征提取处理，得到三个视角下的每个图像的肺叶裂隙特征，如在矢状面下的肺叶裂隙特征、在冠状面下的肺叶裂隙特征以及在横断面下的肺叶裂隙特征。其中，由于每个视角下可以包括多个肺部图像，本发明实施例可以通过多个特征提取神经网络并行的执行该多个肺部图像的特征提取处理，提高特征提取效率。
图3示出根据本发明实施例的一种肺叶分割方法的网络结构示意图。如图3所示，本发明实施例执行特征提取处理的网络可以为U网络(U-net)，也可以为其他的能够执行特征提取的卷积神经网络。
在得到各个视角下的肺部图像的肺叶裂隙特征的情况下，可以利用矢状面、冠状面以及横断面下任意二个的肺叶裂隙特征对第三个肺叶裂隙特征进行校正，该过程可以包括：
将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角；利用映射后的所述任意二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正。
为了描述方便，下述以第一肺叶裂隙特征和第二肺叶裂隙特征对第三肺叶裂隙特征进行校正为例进行说明。
由于在不同视角下，提取的肺叶裂隙特征不同，本发明实施例可以将三个视角下的肺叶裂隙特征映射转换到一个视角下。其中，所述将所述任意二个的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角的方法为：将所述矢状面、冠状面以及横断面任意二个的多序列肺部图像的肺叶裂隙特征映射到所述对第三个肺叶裂隙特征所在视角。也就是说，可以将第一肺叶裂隙特征和第二肺叶裂隙特征映射转换到第三肺叶裂隙特征所在的视角。其中，通过视角的映射转换，可以使得映射后得到的肺叶裂隙特征中融合映射之前视角的特征信息。
如上述实施例所述，本发明实施例在每个视角下可以得到多个肺部图像，该多个肺部图像对应的具有多个肺叶裂隙特征。肺叶裂隙特征中各特征值与相应的肺部图像各像素点一一对应。
本发明实施例可以根据一个视角下的多个肺部图像形成的三维立肺部图像，确定将该视角转换到另一视角时肺部图像中各像素点之间位置映射关系，如某一像素点从第一视角的第一位置切换到第二视角的第二位置，此时，该第一视角下的第一位置对应的特征值被映射到第二位置。通过上述实施例，可以实现不同视角下各肺部图像的肺叶裂隙特征之间的映射转换。
在一些可能的实施方式中，在将三个视角的肺叶裂隙特征映射到相同的视角下的情况下，可以利用映射后的两个肺叶裂隙特征对第三肺叶裂隙特征执行校正处理，提高第三肺叶裂隙特征的信息含量和精确度。
本发明实施例中，所述利用映射后的所述任二个的肺叶裂隙特征对所述第三个肺叶裂隙特征进行校正的方法为：
分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征；根据所述第一融合特征和所述第二融合特征得到校正后的所述第三个肺叶裂隙特征。
本发明实施例可以将第一肺叶裂隙特征映射后的特征称为第一映射特征，以及将第二肺叶裂隙特征映射后的特征称为第二映射特征。在得到第一映射特征和第二映射特征的情况下，可以执行第一映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第一融合特征，以及执行第二映射特征和第三肺叶裂隙特征之间的空间注意力特征融合，得到第二融合特征。
其中，所述分别利用映射后的所述任意二个的肺叶裂隙特征以及所述第三个肺叶裂隙特征进行空间注意力特征融合，得到第一融合特征和第二融合特征的方法为：
分别将所述任意二个的肺叶裂隙特征与所述第三个肺叶裂隙特征进行连接，得到第一连接特征和第二连接特征；对所述第一连接特征进行第一卷积操作得到第一卷积特征，以及对所述第二连接特征进行第一卷积操作得到第二卷积特征；对所述第一卷积特征进行第二卷积操作得到第一注意力系数，以及对所述第二卷积特征进行第二卷积操作得到第二注意力系数；利用第一卷积特征和第一注意力系数得到所述第一融合特征，以及利用第二卷积特征和第二注意力系数得到所述第二融合特征。
在一些可能的实施方式中，如图3所示，可以通过空间注意力机制的网络模块执行上述空间注意力特征融合处理本发明实施例考虑到肺叶裂隙特征在不同位置上的重要性不同，采用了空间注意力机制。其中，可以通过空间注意力神经网络(attention)实现基于注意力机制的卷积处理，得到的融合特征中进一步突出了重要的特征。在该空间注意力神经网络的训练过程中可以自适应的学到空间特征每个位置的重要性，形成与每个位置的特征对象的注意力系数，例如该系数可以表示[0,1]区间的系数值，系数越大说明相应位置的特征越重要。
在执行空间注意力融合处理的过程中，可以首先对第一映射特征和第三肺叶裂隙特征执行连接处理得到第一连接特征，对第二映射特征和第三肺叶裂隙特征执行连接处理得到第二连接特征，上述连接处理可以为在通道方向上进行连接(concatenate)。本发明实施例中，第一映射特征、第二映射特征以及第三肺叶裂隙特征的尺度均可以标识为(C/2，H，W)，其中C表示各特征的通道数，H表示特征的高度，W表示特征的宽度。对应的，通过连接处理得到的第一连接特征和第二连接特征的尺度可以表示为(C，H，W)。
在得到第一连接特征和第二连接特征的情况下，可以分别对各第一连接特征和第二连接特征执行第一卷积操作，如利用卷积层A通过3*3的卷积核执行该第一卷积操作，而后还可以执行批归一化(bn)以及激活函数(relu) 处理，得到与第一连接特征对应的第一卷积特征，以及与第二连接特征对应的第二卷积特征。该第一卷积特征和第二卷积特征的尺度可以表示为(C/2，H，W)，通过第一卷积操作可以减少特征图中的参数，减少了后续的计算成本。
在一些可能的实施方式中，在得到第一卷积特征和第二卷积特征的情况下，可以分别对第一卷积特征和第二卷积特征执行第二卷积操作以及sigmoid 函数处理，分别得到对应的第一注意力系数和第二注意力系数。其中第一注意力系数可以表示第一卷积特征各个元素的特征的重要程度，以及第二注意力系数可以表示第二卷积特征中元素的特征的重要程度。
如图3所示，针对第一卷积特征或者第二卷积特征，均可以采用两个卷积层B和C执行该第二卷积操作，其中卷积层B通过1*1的卷积核处理后，执行批归一化(bn)以及激活函数(relu)处理，得到第一中间特征，该第一中间特征图的尺度可以表示为(C/8，H，W)，而后通过第二个卷积层C对该第一中间特征图执行1*1卷积核的卷积操作，得到(1，H，W)的第二中间特征图。进一步可以对该第二中间特征图使用sigmoid函数执行激活函数处理，得到第一卷积特征或者第二局演技特征对应的注意力系数，注意力系数的系数值可以为[0,1]范围内的数值。
通过上述第二卷积操作可以对第一连接特征和第二连接特征执行降维处理，得到单通道的注意力系数。
在一些可能的实施方式中，在得到第一卷积特征对应的第一注意力系数以及第二卷积特征对应的第二注意力系数的情况下，可以对第一卷积特征和第一注意力系数执行乘积处理，并将乘积结果与第一卷积特征相加，得到第一融合特征。以及对第二卷积特征和第二注意力系数矩阵执行乘积处理，并将乘积结果与第二卷积特征相加得到第二融合特征。其中，乘积处理(mul) 可以为对应元素相乘，以及特征相加(add)可以为对应元素相加。通过上述方式可以将实现三个视角下特征的有效融合。
或者，在另一些实施方式中，也可以利用所述第一卷积特征与所述第一注意力系数相乘的特征与所述第一卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第一融合特征；以及利用所述第二卷积特征与所述第二注意力系数相乘的特征与所述第二卷积特征相加，并对相加得到的特征进行若干卷积操作得到所述第二融合特征。通过该方式可以进一步提高融合特征的精确度，以及提高融合的信息含量。
在得到第一融合特征以及第二融合特征的情况下，可以利用第一融合特征和第二融合特征得到校正后的第三肺叶裂隙特征。
在一些可能的实施方式中，由于第一融合特征和第二融合特征中分别包括三个视角下的特征信息，因此可以直接通过将第一融合特征和第二融合特征进行连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。或者，也可以将第一融合特征、第二融合特征以及第三肺叶裂隙特征连接，并对连接后的特征执行第三卷积操作，得到校正后的第三肺叶裂隙特征。
其中，该第三卷积操作可以包括分组卷积处理。通过第三卷积操作可以进一步实现每个特征中的特征信息的进一步融合。如图3所示，本发明实施例的第三卷积操作可以包括分组卷积D(depth wise conv)，其中分组卷积可以加快卷积速度，同时提高卷积特征的精度。
在通过第三卷积操作得到校正后的第三肺叶裂隙特征的情况下，可以利用校正后的肺叶裂隙特征对所述肺部图像进行分割。本发明实施例可以利用卷积的方式得到校正后的肺叶裂隙特征对应的分割结果。如图3所示，本发明实施例可以将校正后的肺叶裂隙特征输入到卷积层E中，通过1*1的卷积核执行标准卷积，得到肺部图像的分割结果。如上述实施例所述，该分割结果中可以表示肺部图像中的五个肺叶分别所在的位置区域。如图3所示，肺部图像中各肺叶区域通过深浅填充色的方式进行区分。
基于上述配置，本发明实施例提供的基于多视角下的肺叶分割方法可以以解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的技术问题。
如上述实施例所述本发明实施例可以通过神经网络实现，如图3所示，本发明实施例执行多视角下的肺叶分割方法的神经网络可以包括特征提取神经网络、空间注意力神经网络以及分割网络(包括卷积层D和E)。
本发明实施例可以包括三个特征提取神经网络，分别用于提取不同视角下的肺叶裂隙特征。其中，可以将三个特征提取网络称为第一分支网络、第二分支网络和第三分支网络。其中，本发明实施例的三个分支网络的结构完全相同，每个分支网络的输入图像各不相同。例如矢状面的肺部图像样本输入到第一分支网络、冠状面的肺部图像样本输入到第二分支网络，以及横断面的肺部图像样本输入到第三分支网络，用以分别执行各视角下的肺部图像样本的特征提取处理。
具体的，本发明实施例中，训练所述特征提取神经网络的过程，包括：
获取矢状面下、冠状面下以及横断面下的训练样本，所述训练样本为带有标记肺叶裂隙特征的肺部图像样本；利用所述第一分支网络对矢状面下的肺部图像样本执行特征提取，得到第一预测肺叶裂隙特征；利用所述第二分支网络对冠状面下的肺部图像样本执行特征提取，得到第二预测肺叶裂隙特征；利用所述第三分支网络对横断面下的肺部图像样本执行特征提取，得到第三预测肺叶裂隙特征；分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失，并利用所述网络损失调整所述第一分支网络、所述第二分支网络和所述第三分支网络的参数。
如上述实施例所述，分别利用第一分支网络、第二分支网络和第三分支网络执行矢状面、冠状面以及横断面视角下的肺部图像样本的特征提取处理，进而可以对应的得到预测的特征，即第一预测肺叶裂隙特征、第二预测肺叶裂隙特征和第三预测肺叶裂隙特征。
在得到各预测的肺叶裂隙特征的情况下，可以分别利用所述第一预测肺叶裂隙特征、第二预测肺叶裂隙特征以及第三预测肺叶裂隙特征与对应的标记肺叶裂隙特征得到所述第一分支网络、所述第二分支网络和所述第三分支网络的网络损失。例如，本发明实施例的损失函数可以为对数损失函数，通过第一预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第一分支网络的网络损失，通过第二预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第二分支网络的网络损失，以及通过第三预测肺叶裂隙特征和标记的真实肺叶裂隙特征，可以得到第三分支网络的网络损失。
在得到各分支网络的网络损失的情况下，可以根据各网络的网络损失的调整第一分支网络、所述第二分支网络和所述第三分支网络的参数，直至满足终止条件。其中，本发明实施例可以利用所述第一分支网络、所述第二分支网络和所述第三分支网络中任一分支的网络损失分别同时调整所述第一分支网络、所述第二分支网络和所述第三分的网络参数，如卷积参数等。从而可以使得任一视角下网络参数与其余两个视角下的特征相关，可以提高提取的肺叶裂隙特征与其余两个视角下的肺叶裂隙特征的相关性以及实现各视角下的肺叶裂隙特征的初步融合。
另外，特征提取神经网络的训练终止条件为各个分支网络的网络损失均小于第一损失阈值，此时表明特征提取神经网络的各分支网络均能够精确的提取相应视角下的肺部图像的肺叶裂隙特征。
在训练完成特征提取神经网络的情况下，可以利用特征提取神经网络、空间注意力神经网络以及分割网络同时进行训练，并利用分割网络输出的分割结果与标记的肺叶裂隙特征中对应的标记结果，确定整个神经网络的网络损失。并利用整个神经网络的网络损失进一步反馈调节特征提取神经网络、空间注意力神经网络以及分割网络的网络参数，直至整个神经网络的网络损失小于第二损失阈值。本发明实施例中的第一损失阈值大于或者等于第二损失阈值，从而可以提高网络的网络精度。
在应用本发明实施例的神经网络执行基于多视角下的肺叶分割时，可以将同一肺部的不同视角下肺部图像分别对应的输入至三个分支网络中，最终通过这个神经网络得到最终的肺部图像的分割结果。
综上所述，本发明实施例提供的肺叶分割方法，可以对多视角特征信息进行融合，执行肺部图像的肺叶分割，解决没有充分利用其他视角的信息对肺叶进行分割，造成信息丢失，不能准确的分割肺叶的问题。
在得到肺部图像对应的肺叶分割图像的情况下，可以对肺叶分割图像进行病灶预测，即确定肺叶分割图像中是否存在预设的病灶，本发明实施例病灶的类型可以根据需求设定，例如可以为肺结节、肺癌中的至少一种，或者也可以为其他类型，本发明对此不作具体限定。在此需要说明的是，肺叶分割图像可以是肺部图像总任意肺叶对应图像，本发明实施例可以检测任意肺叶的病灶区域。
在得到肺部图像的情况下，S10，所述获取肺部图像的注意力特征的具体方式可以为：首先获得肺部图像的图像特征，在得到肺部图像的图像特征的情况下，可以利用该图像特征得到肺部图像的注意力特征矩阵。其中，该图像特征可以通过对肺部图像执行特征提取处理获得。其中，可以通过残差网络、金字塔特征提取网络、或者其他卷积神经网络执行肺部图像的卷积操作，得到肺部图像的图像特征。该图像特征以矩阵或向量的形式表示。且可以对所述肺部图像的图像特征执行卷积处理，得到肺部图像的注意力特征。
图4示出根据本发明实施例的一种基于联邦学习的图像处理的步骤S10 的流程图。其中，所述肺部图像的图像特征执行卷积处理，得到注意力特征矩阵，包括：
S11：对肺部图像进行特征提取处理，得到所述肺部图像的图像特征；
S12：对肺部图像的图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；
S13：对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；
S14：基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，所述肺部图像的注意力特征由各所述特征点的注意力特征构成。
本发明实施例中，步骤S12和S13可以同时执行，也可以分别执行，对该两个步骤的顺序不作具体限定。
通过步骤S12可以对图像特征执行第一卷积处理，获得多个基准注意力特征，其中，可以利用第一卷积核对图像特征执行特征方向上的卷积处理，得到预设个数的基准注意力特征。其中预设个数可以为预先设置的数值，如 16、32等，本领域技术人员可以根据需求自行设定。得到的基准注意力特征中的元素为与图像特征中各特征点对应的基准注意力。即通过第一卷积处理可以获得针对每个特征点的基准注意力，该基准注意力可以为特征向量形式。并且，获得的各基准注意力特征的长度与图像特征的长度相同，以及所述基准注意力特征的宽度与图像特征的宽度相同。
其中，本发明实施例所述的各特征点可以为肺叶分割图像的像素点，第一卷积核可以为1*1的卷积核，但不作为本发明的具体限定。
步骤S13中，可以通过第一卷积处理，得到多个基准注意力特征，每个基准注意力特征都可以包括与图像特征中各特征点对应的基准注意力，并且得到的各基准注意力特征不同。而且基准注意力特征的长度与图像特征内相应特征点的长度相同，以及所述基准注意力特征内的宽度与图像特征内相应特征点的宽度相同，即基准注意力特征的特征点对应的基准注意力与图像特征中的各特征点的特征值一一对应。例如，对于某个维度为a×b×c的图像特征，各基准注意力特征的维度为a×b×1。
另外，通过步骤S13可以对图像特征执行第二卷积处理，获得注意力系数矩阵，其中，可以利用第二卷积核对图像特征执行卷积处理，得到注意力系数矩阵，该注意力系数矩阵中的元素为与图像特征的各特征点对应的基准注意力系数。并且，基准注意力系数矩阵内各特征点对应的注意力系数的通道数与基准注意力特征的数量相同。即基准注意力系数矩阵内的各元素可以表示与对应的特征点对应的多个基准注意力系数，该基准注意力系数的数量与基准注意力特征的数量相同。也就是针对特征点的每个基准注意力都可以对应相应的基准注意力系数。
其中，第二卷积核可以为1*1的卷积核，本发明实施例对此不进行具体限定。本发明实施例中的第一卷积核和第二卷积核可以为不同的卷积核。
在步骤S13中，通过对图像特征进行第二卷积处理得到的注意力系数矩阵中，各注意力系数矩阵内的元素分别为针对不同的特征点的多个注意力系数。即，通过第二卷积处理，可以得到表示各特征点的注意力系数的注意力系数矩阵，每个注意力系数矩阵都可以包括与图像特征中各特征点对应的注意力系数。并且得到的注意力系数矩阵的长度与图像特征的长度相同，所述注意力系数矩阵的宽度与图像特征的宽度相同，得到的注意力系数矩阵可以表示为a×b×n，其中n为基准注意力特征的数量。
在获得注意力系数矩阵和基准注意力特征之后，即可以根据获得的两个类型的特征矩阵执行步骤S14。
其中，本发明实施例中，所述基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，包括：将所述图像特征中各特征点对应的特征向量与基准注意力特征中相同特征点的第一注意力相乘，得到针对基准注意力特征中每个特征点的第一乘积；将针对基准注意力特征中每个特征点的第一乘积加和，获得与基准注意力特征对应的基准特征向量。
其中，在得到基准注意力特征之后，则可以将基准注意力特征与图像特征中相应特征点对应的向量值进行乘积，得到针对该基准注意力特征的该特征点的第一乘积。例如，图像特征A可以表示为[a1,b1,c1],一个基准注意力特征B可以表示为[a2,b2,c2]，另一个基准注意力特征C可以表示为[a3,b3,c3]。则步骤S23可以分别得到针对基准注意力特征B的三个特征点的第一乘积，即为a1*a2，b1*b2和c1*c2，以及针对基准注意力特征C的三个特征点的第一乘积，即为a1*a3，b1*b3以及c1*c3。同理可以获得针对每个基准注意力特征的各特征点的第一乘积值。
进一步地，可以将针对基准注意力特征中每个特征点的第一乘积加和，获得与基准注意力特征对应的基准特征向量。即，在获得一个基准注意力特征中各相同特征点的第一乘积值之后，可以将各特征点的第一乘积加和得到基准特征向量。例如，针对基准注意力特征B，则可以得到加和向量为a1*a2， b1*b2和c1*c2的加和值，即得到针对基准注意力特征B的基准特征向量 a1*a2+b1*b2+c1*c2同样，可以得到针对基准注意力特征C的基准特征向量 a1*a3+b1*b3+c1*c3。依次类推，可以得到每个基准注意力特征的基准特征向量。
本发明实施例的上述配置中，并不需要针对每个特征点运算与其他特征点之间的关联性，构建关于每个特征点的关联张量，大大提高了运算速度，以及减小了运算资源的耗费。
另外，在获得注意力系数矩阵之后，可以通过步骤S23获取各特征点的注意力特征。图5示出根据本发明实施例的一种基于联邦学习的图像处理方法中步骤S14的流程图，其中，所述基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，可以包括：
S141：基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；
S142：分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对每个基准特征向量的乘积矩阵；
S143：将针对各注意力系数矩阵的乘积矩阵中相同特征点的乘积值相加，得到该特征点的注意力特征。
在得到每个基准注意力特征对应的基准特征向量之后，即可以将基准特征向量分别与步骤S13的得到的注意力系数矩阵相乘，得到与基准特征向量对应的乘积矩阵。其中，可以将相同特征点对应的基准注意力和注意力系数相乘，由于注意力系数矩阵中的每个元素可以包括一个特征点的多个注意力系数，并且，每个特征点的注意力系数的数量与基准注意力特征的数量相同，因此，可以获得一一对应的注意力系数与基准注意力特征的乘积，因此，在乘积之后，可以获得每个特征点的注意力系数与基准注意力的多个乘积值。因此，通过上述即可以获得针对每个基准注意力向量对应的乘积矩阵，该乘积矩阵中包括每个特征点的上述多个乘积值。
在得到各基准注意力向量的乘积矩阵之后，即可以将各乘积矩阵中对应特征点的乘积值相加，得到针对该特征点的注意力特征。如上所述，每个乘积矩阵中可以包括各特征点对应的注意力系数与基准注意力的乘积值，因此可以将各乘积矩阵中相同点的对应注意力系数的乘积值相加，得到针对该特征点的注意力特征，从而获得每个特征点的注意力特征。由各特征点获得的注意力特征可以构成注意力特征矩阵。根据上述实施例，即可以获得肺叶分割图像中各特征点的注意力，本发明实施例的上述处理过程中，通过得到的注意力系数矩阵与基准注意力向量进行相乘，并进行简单的加和运算即得到最终的各特征点的注意力，该过程相对于现有技术中的运算过程减小了运算量。
本发明实施例步骤S10可以通过注意力机制的神经网络实现，该神经网络可以为经过训练能够满足精度需求的网络结构，可以包括执行上述第一卷积核第二卷积处理的卷积模块，以及执行上述相乘和相加处理的运算模块。可以在实现全局关联性的情况下(即确定各特征点的注意力的情况下)，减少资源的消耗，能够以显著更少的资源完成目前使用注意力模块学习全局相关性的任务；并且，能够在显著更大的输入上学习全局相关性。
在得到肺部图像的各特征点的注意力特征的情况下，可以利用该注意力特征执行肺炎区域检测。其中，本发明实施例可以直接通过各特征点形成的注意力特征矩阵的特征处理，得到肺炎区域，或者也可以对该注意力矩阵进行优化之后，再执行步骤S30。例如，优化处理可以包括将所述图像特征和由各特征点对应的注意力特征构成的注意力特征矩阵输入至残差模块进行加和处理，得到优化的注意力特征矩阵，所述优化的注意力特征矩阵内的元素为针对各特征点的优化注意力。即可以将注意力特征矩阵与原始输入数据对应的图像特征进行加和处理，得到优化的注意力矩阵。
本发明实施例中得到的注意力特征矩阵中的特征信息突出了肺炎区域的特征，因此在通过注意力特征矩阵执行肺炎区域预测时，可以提高预测的准确度。同理，通过优化的注意力矩阵执行等级预测可以进一步融合肺部图像的特征，从而进一步提高肺炎区域的检测和等级预测的精度。如上述实施例所述，本发明实现了可以利用注意力特征矩阵或者优化后的注意力特征矩阵执行肺部图像的肺炎等级预测。下述以注意力特征矩阵为例进行说明，通过优化的注意力矩阵执行等级预测的过程不作重复说明。
具体而言，本发明的实施例，S20，所述基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域的具体方式可以为：直接将所述注意力特征输入到联邦病灶区域检测模型，通过所述联邦病灶区域检测模型可以检测出所述待测肺部图像的肺炎区域。所述联邦病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；由于结合注意力特征可以降低除肺炎特征以外特征的影响，且联邦病灶区域检测模型可以实现在保护各个医院病人隐私的前提下，联合使用多个医疗资源，从而可以提升确定或者分析肺炎等级的准确率。
本发明实施例，在S10之前，预先训练得到联邦病灶区域检测模型的过程可以为：对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征；基于所述样本肺部图像和所述样本注意力特征，构建本地训练样本集；基于所述本地训练样本集训练本地模型，并将本地模型参数发送给协调端，所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数；接收所述协调端发送的联合模型参数对所述本地模型继续迭代训练，并在模型收敛时，得到所述联邦病灶区域检测模型。
其中，对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征的具体过程同S10，本发明实施例在此不做限定。所述协调端可以为终端也可以为服务端，所述多个数据端可以为设置在各个医疗机构的终端，如可以为设置在为疾病中心、医院、诊所、体检中心的终端，所述服务端可以为中心可信端，通过分发公钥或私钥的方式使得各个数据端发送加密后的模型参数，以保证模型参数或者用户传输的安全性，具体地加密算法可以为同态加密算法。所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数的方式，可以为对多个数据端上传的本地模型参数进行加权平均处理，然后将加权平均处理后的模型参数，作为联合模型参数，协调端在得到联合模型参数，可以检测设置在协调端的待训练模型是否处于收敛状态，若检测到处于未收敛状态，则将联合模型参数发送给各个数据端对所述本地模型继续迭代训练，若确定处于收敛状态，则将联合模型参数做为最终的模型参数下发给各个数据端并通知各个数据端训练结束，使得各个数据端根据最终的模型参数得到所述联邦病灶区域检测模型。
需要说明的是，协调端可以基于损失值、训练时长、或者训练次数，判断模型是否处于收敛状态。所述损失值可以为最新的联合模型参数与上一次的联合模型参数的差值，若基于损失值判断模型是否处于收敛状态，在损失值小于预设损失阈值时，如预设损失阈值为0.001，或0.00001，则确定模型处于收敛状态，否则，确定模型处于为收敛状态。若基于训练次数判断模型是否处于收敛状态，在训练次数小于预设次数阈值时，如预设次数阈值为1000 次，或10000次，则确定模型处于收敛状态，否则，确定模型处于为收敛状态。
对于本发明实施例，所述区域范围通过所述肺炎区域的第一体积表示 S30，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级，包括：根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积；基于所述第一体积和所述第二体积的比值所处阈值区间，确定所述肺部图像的肺炎等级。
其中，病灶累积在肺泡或者肺间质的统称肺炎；病灶累计在支气管的就称为支气管肺炎。肺炎等级的等级划分方式可以实际情况进行划分，如可以将肺炎等级划分为轻度级别、中度级别、或者重度级别，可以划分为早期级别、进展级别，重症级别，也可以划分为早期级别、进展级别，重症级别、恢复级别不同的级别对应不同的阈值区间，例如，早期级别对应的阈值区间为[0-0.4.5]，进展阶段对应的阈值区间为[0.4.5-0.8]，重症级别对应的阈值区间为[0.8-1]，当计算的比值为0.7时，确定为肺炎等级为进展级别。所述肺部区域的第二体积可以为肺部区域的总体积，即通过肺炎区域占肺部区域的比例，来确定所述肺部图像的肺炎等级。
需要说明的是，所述根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积，包括：确定所述肺部图像的层数、扫描层厚以及层间距；根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积；根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积。
在本发明的实施例中，所述根据所述肺炎区域、所述层数、扫描层厚以及层间距确定所述第一体积的方法，包括：对所述肺炎区域进行网格化处理，得到所述肺炎区域的第一网格化面积；根据所述第一网格化面积、所述层数、所述扫描层厚以及所述层间距得到所述肺炎区域的第一体积。
在本发明的实施例中，根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积的方法，包括：对所述肺部区域进行网格化处理，得到所述肺部区域的第二网格化面积；根据所述第二网格化面积、所述层数、所述扫描层厚以及所述层间距得到所述肺部区域的第二体积。
具体地，所述对所述肺炎区域进行网格化处理，得到所述肺炎区域的第一网格化面积包括：确定所述肺炎区域边缘；在所述肺炎区域内进行网格绘制，当所述网格接触到所述边缘时，细化所述网格，所述网格的数量达到设定数量后停止细化，计算所述肺炎区域的所有网格面积之和得到所述肺炎区域的第一网格面积。更具体地，可以分别确定所述每层肺炎区域边缘；分别在所述每层每层肺炎区域内确定一个第一规格形状；步骤2：所述第一规格形状向所述每层每层肺炎区域边缘延伸；步骤3：当所述规格形状的若干设定点接触到所述每层肺炎区域边缘时，所述第一规格形状停止延伸，并在所述规格形状外生成第二规格形状；依次按照步骤2和3进行生成，直到规格形状的数量到达所述设定数量后，计算所有规格形状的面积，得到所述每层肺炎区域的第一网格面积；其中，所述规格形状、所述第二规格形状以及设定数量对应的规格形状面积依次减少。
具体地，所述对所述肺部区域进行网格化处理，得到所述肺炎区域的第二网格化面积包括：确定所述肺部区域边缘；在所述肺炎区域内进行网格绘制，当所述网格接触到所述边缘时，细化所述网格，所述网格的数量达到设定数量后停止细化，计算所述肺部区域的所有网格面积之和得到所述肺部区域的第二网格面积。更具体地，可以分别确定所述每层肺部区域边缘；分别在所述每层每层肺部区域内确定一个第一规格形状；步骤2：所述第一规格形状向所述每层肺部区域边缘延伸；步骤3：当所述规格形状的若干设定点接触到所述每层肺部区域边缘时，所述第一规格形状停止延伸，并在所述规格形状外生成第二规格形状；依次按照步骤2和3进行生成，直到规格形状的数量到达所述设定数量后，计算所有规格形状的面积，得到所述每层肺部区域的第二网格面积；其中，所述规格形状、所述第二规格形状以及设定数量对应的规格形状面积依次减少。
在本发明的实施例中，所述第一规格形状在所述肺气肿区域或所述小气道病变区域的几何中心处。所述规格形状为圆形、椭圆形、矩形、正方形中的任何一种或几种。
在本发明的实施例中，所述根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积的具体过程可以包括：利用每个相邻两层肺炎对应的第一网格面积，以及层间距和层厚，得到相邻两层肺炎形成的子体积，利用全部相邻的两层肺炎形成的子体积之和得到肺炎区域的第一体积。其中，可以将相邻的两层满足肺炎形成的结构体看作棱台，棱台的上下两个底面的面积为肺炎对应的网格面积，棱台的高可以通过层间距和层厚确定，例如层数为N，第一层和第二层肺气肿形成的棱台的高可以为层厚X2与层间距之间的加和值，其余相邻两层肺炎形成的棱台的高可以是层厚与层间距之间的加和值。基于上下两个底面积以及高可以确定相邻层形成的肺炎的子体积。继而可以利用各子体积的加和值得到肺炎的第二体积。也就是说，由于肺炎可能存在多处，所述肺炎区域的第一体积为所有肺气肿的总体积。
在本发明的实施例中，所述根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积，包括：利用每个肺部区域对应的第二网格面积，以及层间距和层厚，得到相邻肺部区域形成的子体积，利用全部相邻的两层肺部区域形成的子体积之和得到肺部区域的第二体积。其中，可以将相邻的两层满足肺区域形成的结构体看作棱台，棱台的上下两个底面的面积为肺部区域对应的网格面积，棱台的高可以通过层间距和层厚确定，例如层数为N，第一层和第二层肺部区域形成的棱台的高可以为层厚*2与层间距之间的加和值，其余相邻两层肺部区域形成的棱台的高可以是层厚与层间距之间的加和值。基于上下两个底面积以及高可以确定相邻层形成的肺部区域的子体积。继而可以利用各子体积的加和值得到肺部区域的第二体积。也就是说，由于肺部区域可能存在多处，所述肺部区域的第二体积为所有肺部区域的总体积。
在本发明实施例中，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级的包括：提取所述肺炎区域的病变特征；基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的肺炎等级。
其中，不同病原导致不同类型的肺炎，其中，导致病人患上肺炎的病原可以有病毒、细菌、衣原体、支原体等。肺炎类型可以分为支气管肺炎、大叶性肺炎、球形肺炎、间质性肺炎。因此，可以根据化验数据，确定肺炎类型，也可以根据肺部图像和化验数据，确定肺炎类型。具体地，可以通过基于神经网络预先训练的特征提取模型，对肺部图像进行特征提取得到，第一特征向量，对化验数据进行筛选，得到第二特征向量，然后通过神经网络的全连接层计算第一特征向量和第二特征向量的联合特征向量，然后将联合特征向量输入到基于神经网络预先训练的分类模型，并根据分类结果，确定肺部图像对应的肺炎类型，所述分类模型是通过已确诊病例的特征向量和患有肺炎类型进行训练得到。
此外，肺炎在不同时期或者在不同等级的病变特征和病变范围不同，例如，针对于新冠病毒肺炎，早期的病变特征为：局部呈现、且以斑片状、亚段或节段性分布为主、在胸膜下分布，磨玻璃密度伴或不伴小叶间隔增厚；进展期的病变特征增多、范围扩大，累及多个肺叶；部分病灶变密实，GGO 与实变影或条索影共存；少数出现少量胸腔积液；重症期的病变特征为：双肺漫性病变，少数呈“白肺”表现；实变影为主，合并磨玻璃密度，多伴条索影；空气支气管征。恢复期的病变特征为：由肺部不张和肺泡积液造成肺内气体消失，肺组织呈现实质性改变，大量的渗出物填塞于肺泡腔内，肺泡腔内气体减少或消失。因此，在确定肺部图像对应的肺炎为新冠肺炎后，可以基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的新冠肺炎是早期、进展期还是重症期，通过结合区域范围和病变特征，可以进一步提升肺炎等级确定的准确率。
此外，此外本发明实施例还提出一种基于联邦学习的图像处理装置，参照图6，所述基于联邦学习的图像处理装置包括：
获取模块10，用于获取肺部图像的注意力特征；
处理模块20，用于基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
确定模块30，用于提取所述肺炎区域的病变特征；并基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
进一步地，所述装置还包括：构建模块和发送模块。
所述处理模块20，还用于对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征；
所述构建模块，用于基于所述样本肺部图像和所述样本注意力特征，构建本地训练样本集；
所述发送模块，用于基于所述本地训练样本集训练本地模型，并将本地模型参数发送给协调端，所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数；
所述确定模块30，还用于接收所述协调端发送的联合模型参数对所述本地模型继续迭代训练，并在模型收敛时，得到所述联邦病灶区域检测模型。
可选地，所述区域范围通过所述肺炎区域的第一体积表示，所述确定单元包括：
第一确定单元，用于根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积；
第二确定单元，用于基于所述第一体积和所述第二体积的比值所处阈值区间，确定所述肺部图像的肺炎等级。
可选地，所述第一确定单元，具体用于确定所述肺部图像的层数、扫描层厚以及层间距；
根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积；
根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积。
可选地，所述确定模块30，具体用于基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的肺炎等级。
可选地，所述获取模块10包括：
处理单元，用于对肺部图像进行特征提取处理，得到所述肺部图像的图像特征；
所述处理单元，还用于对所述图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；
所述处理单元，还用于对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；
获取单元，用于基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，所述注意力特征矩阵由各所述特征点的注意力特征构成。
可选地，所述获取单元，具体用于基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；
分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；
将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到各所述特征点的注意力特征。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有基于联邦学习的图像处理程序，所述基于联邦学习的图像处理程序被处理器执行时实现如下所述的基于联邦学习的图像处理方法的步骤。
本发明基于联邦学习的图像处理设备和计算机可读存储介质的各实施例，均可参照本发明基于联邦学习的图像处理方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于联邦学习的图像处理方法，其特征在于，包括：
获取肺部图像的注意力特征；
基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述联邦病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
2.根据权利要求1所述的方法，其特征在于，所述获取肺部图像的注意力特征和基于联邦学习的病灶区域检测模型之前，所述方法还包括：
对已勾画病灶区域的样本肺部图像进行卷积处理，得到所述样本肺部图像对应的样本注意力特征；
基于所述样本肺部图像和所述样本注意力特征，构建本地训练样本集；
基于所述本地训练样本集训练本地模型，并将本地模型参数发送给协调端，所述协调端用于对多个数据端上传的本地模型参数进行联合处理，得到联合模型参数；
接收所述协调端发送的联合模型参数对所述本地模型继续迭代训练，并在模型收敛时，得到所述联邦病灶区域检测模型。
3.根据权利要求1所述的方法，其特征在于，所述区域范围通过所述肺炎区域的第一体积表示，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级，包括：
根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积；
基于所述第一体积和所述第二体积的比值所处阈值区间，确定所述肺部图像的肺炎等级。
4.根据权利要求3所述的方法，其特征在于，所述根据所述肺部图像确定所述肺炎区域的第一体积以及肺部区域的第二体积，包括：
确定所述肺部图像的层数、扫描层厚以及层间距；
根据所述肺炎区域以及所述层数、扫描层厚以及层间距确定所述第一体积；
根据所述肺部区域以及所述层数、扫描层厚以及层间距确定所述第二体积。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级，包括：
提取所述肺炎区域的病变特征；
基于所述肺炎区域的区域范围和病变特征，确定所述肺部图像的肺炎等级。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述获取肺部图像的注意力特征，包括：
对肺部图像进行特征提取处理，得到所述肺部图像的图像特征；
对所述图像特征进行第一卷积处理，获得多个基准注意力特征，所述基准注意力特征中的元素为与所述图像特征中各特征点对应的基准注意力；
对所述图像特征进行第二卷积处理，获得注意力系数矩阵，所述注意力系数矩阵中的元素为与所述图像特征内各所述特征点对应的基准注意力系数，并且所述注意力系数矩阵的通道数与所述基准注意力特征的数量相同；
基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，所述肺部图像的注意力特征由各所述特征点的注意力特征构成。
7.根据权利要求6所述的方法，其特征在于，所述基于所述图像特征、各所述基准注意力特征和所述注意力系数矩阵，得到各所述特征点的注意力特征，包括：
基于所述图像特征与各所述基准注意力特征，获得与各基准注意力特征对应的基准特征向量，所述基准特征向量由所述图像特征和所述基准注意力特征中对应元素的乘积之和得到；
分别利用各所述基准特征向量与注意力系数矩阵相乘，得到针对各个基准特征向量的乘积矩阵；
将针对各基准特征向量的乘积矩阵中相同特征点的乘积值相加，得到各所述特征点的注意力特征。
8.一种基于联邦学习的图像处理装置，其特征在于，所述基于联邦学习的图像处理装置包括：
获取模块，用于获取肺部图像的注意力特征；
处理模块，用于基于所述注意力特征和联邦病灶区域检测模型，得到所述待测肺部图像的肺炎区域，所述病灶区域检测模型为基于多个数据端执行联邦学习训练流程得到的；
确定模块，用于基于所述肺炎区域的区域范围，确定所述肺部图像的肺炎等级。
9.一种基于联邦学习的图像处理设备，其特征在于，所述基于联邦学习的图像处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的图像处理程序，所述基于联邦学习的图像处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于联邦学习的图像处理程序，所述基于联邦学习的图像处理程序被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的图像处理方法的步骤。
CN202010260497.6A 2020-04-03 2020-04-03 基于联邦学习的图像处理方法、装置、设备及存储介质 Pending CN111462097A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010260497.6A CN111462097A (zh) 2020-04-03 2020-04-03 基于联邦学习的图像处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010260497.6A CN111462097A (zh) 2020-04-03 2020-04-03 基于联邦学习的图像处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111462097A true CN111462097A (zh) 2020-07-28

Family

ID=71685918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010260497.6A Pending CN111462097A (zh) 2020-04-03 2020-04-03 基于联邦学习的图像处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111462097A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862075A (zh) * 2020-07-30 2020-10-30 西南医科大学 一种基于深度学习的肺部图像分析系统及其分析方法
CN112598630A (zh) * 2020-12-16 2021-04-02 深圳前海微众银行股份有限公司 肺结节检测方法、设备、介质及计算机程序产品
CN112686385A (zh) * 2021-01-07 2021-04-20 中国人民解放军国防科技大学 面向多站点三维影像的联邦深度学习方法及系统
CN112950443A (zh) * 2021-02-05 2021-06-11 深圳市镜玩科技有限公司 基于图像贴纸的自适应隐私保护方法、系统、设备及介质
CN113326939A (zh) * 2021-06-21 2021-08-31 商汤国际私人有限公司 网络训练、行人重识别方法及装置、电子设备和存储介质
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN116502732A (zh) * 2023-06-29 2023-07-28 杭州金智塔科技有限公司 基于可信执行环境的联邦学习方法以及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN108982557A (zh) * 2018-07-23 2018-12-11 浙江省肿瘤医院 放射生物学实验用放射性肺炎ct定量检测方法
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109635926A (zh) * 2018-11-30 2019-04-16 深圳市商汤科技有限公司 用于神经网络的注意力特征获取方法、装置及存储介质
CN109887607A (zh) * 2019-02-28 2019-06-14 刘纪君 支原体肺炎实时分析装置和方法
CN110444263A (zh) * 2019-08-21 2019-11-12 深圳前海微众银行股份有限公司 基于联邦学习的疾病数据处理方法、装置、设备及介质
CN110570390A (zh) * 2019-07-22 2019-12-13 无锡北邮感知技术产业研究院有限公司 一种图像检测方法及装置
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108615237A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种肺部图像处理方法及图像处理设备
CN108982557A (zh) * 2018-07-23 2018-12-11 浙江省肿瘤医院 放射生物学实验用放射性肺炎ct定量检测方法
CN109559300A (zh) * 2018-11-19 2019-04-02 上海商汤智能科技有限公司 图像处理方法、电子设备及计算机可读存储介质
CN109635926A (zh) * 2018-11-30 2019-04-16 深圳市商汤科技有限公司 用于神经网络的注意力特征获取方法、装置及存储介质
CN109887607A (zh) * 2019-02-28 2019-06-14 刘纪君 支原体肺炎实时分析装置和方法
CN110570390A (zh) * 2019-07-22 2019-12-13 无锡北邮感知技术产业研究院有限公司 一种图像检测方法及装置
CN110444263A (zh) * 2019-08-21 2019-11-12 深圳前海微众银行股份有限公司 基于联邦学习的疾病数据处理方法、装置、设备及介质
CN110930373A (zh) * 2019-11-06 2020-03-27 天津大学 一种基于神经网络的肺炎识别装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862075A (zh) * 2020-07-30 2020-10-30 西南医科大学 一种基于深度学习的肺部图像分析系统及其分析方法
CN112598630A (zh) * 2020-12-16 2021-04-02 深圳前海微众银行股份有限公司 肺结节检测方法、设备、介质及计算机程序产品
CN112686385A (zh) * 2021-01-07 2021-04-20 中国人民解放军国防科技大学 面向多站点三维影像的联邦深度学习方法及系统
CN112686385B (zh) * 2021-01-07 2023-03-07 中国人民解放军国防科技大学 面向多站点三维影像的联邦深度学习方法及系统
CN112950443A (zh) * 2021-02-05 2021-06-11 深圳市镜玩科技有限公司 基于图像贴纸的自适应隐私保护方法、系统、设备及介质
CN112950443B (zh) * 2021-02-05 2023-11-24 深圳市镜玩科技有限公司 基于图像贴纸的自适应隐私保护方法、系统、设备及介质
CN113326939A (zh) * 2021-06-21 2021-08-31 商汤国际私人有限公司 网络训练、行人重识别方法及装置、电子设备和存储介质
CN114792315A (zh) * 2022-06-22 2022-07-26 浙江太美医疗科技股份有限公司 医学图像视觉模型训练方法和装置、电子设备和存储介质
CN116502732A (zh) * 2023-06-29 2023-07-28 杭州金智塔科技有限公司 基于可信执行环境的联邦学习方法以及系统
CN116502732B (zh) * 2023-06-29 2023-10-20 杭州金智塔科技有限公司 基于可信执行环境的联邦学习方法以及系统

Similar Documents

Publication Publication Date Title
CN111462097A (zh) 基于联邦学习的图像处理方法、装置、设备及存储介质
JP7297081B2 (ja) 画像分類方法、画像分類装置、医療用電子機器、画像分類機器、及びコンピュータプログラム
CN110222787B (zh) 多尺度目标检测方法、装置、计算机设备及存储介质
CN108537784A (zh) 一种基于深度学习的ct图肺结节检测方法
CN108615237A (zh) 一种肺部图像处理方法及图像处理设备
CN111583220B (zh) 影像数据检测方法和装置
KR20200095504A (ko) 추골 골절을 식별하기 위한 3차원 의료 이미지 분석 방법 및 시스템
CN108648192A (zh) 一种检测结节的方法及装置
WO2023087636A1 (zh) 异常检测方法及装置、电子设备、存储介质和计算机程序产品
CN105701493B (zh) 基于阶层图形的图像提取以及前景估测的方法和系统
CN114998320B (zh) 视觉显著性检测的方法、系统、电子装置和存储介质
CN116703901B (zh) 肺部医学ct影像分割及分类装置及设备
CN111429446A (zh) 肺图像处理方法、装置、设备及存储介质
CN113362314B (zh) 医学图像识别方法、识别模型训练方法及装置
CN111429447A (zh) 病灶区域检测方法、装置、设备及存储介质
CN115423806B (zh) 一种基于多尺度跨路径特征融合的乳腺肿块检测方法
CN109671055A (zh) 肺结节检测方法及装置
CN111292343B (zh) 一种基于多视角下的肺叶分割方法和装置
TW202347251A (zh) 影像檢測方法、裝置、設備和儲存介質
KR20200099633A (ko) 영상의 질감 분석 방법 및 컴퓨터 프로그램
CN114332182B (zh) 基于多特征约束的sar图像配准方法、设备和介质
CN111275673A (zh) 肺叶提取方法、装置及存储介质
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
JP2011095921A (ja) 画像処理装置、画像処理方法及びプログラム
CN110570417B (zh) 肺结节分类装置及图像处理设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination