CN111695616A - 基于多模态数据的病灶分类方法及相关产品 - Google Patents

基于多模态数据的病灶分类方法及相关产品 Download PDF

Info

Publication number
CN111695616A
CN111695616A CN202010482182.6A CN202010482182A CN111695616A CN 111695616 A CN111695616 A CN 111695616A CN 202010482182 A CN202010482182 A CN 202010482182A CN 111695616 A CN111695616 A CN 111695616A
Authority
CN
China
Prior art keywords
medical image
network
feature map
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010482182.6A
Other languages
English (en)
Inventor
王瑞
范栋轶
王关政
王立龙
吕传峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010482182.6A priority Critical patent/CN111695616A/zh
Priority to PCT/CN2020/099532 priority patent/WO2021114636A1/zh
Publication of CN111695616A publication Critical patent/CN111695616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能中的神经网络技术领域，具体公开了一种基于多模态数据的病灶分类方法及相关产品，包括：获取第一医学图像和第二医学图像，第一医学图像和第二医学图像为同一部位在不同成像模式下得到的医学图像，且第一医学图像的空间复杂度大于第二医学图像；通过第一网络对第一医学图像进行特征提取，得到第一特征图；通过第二网络对所述第一医学图像进行特征提取，得到第二特征图；通过第三网络对第二医学图像进行特征提取，得到第三特征图；根据第一特征图、第二特征图以及第三特征图进行分类，得到该部位对应的病灶。本申请实施例有利于提高分类精度。本申请还涉及区块链技术，本申请还可应用于智慧医疗领域中，从而推动智慧城市的建设。

Description

基于多模态数据的病灶分类方法及相关产品
技术领域
本申请涉及神经网络技术领域，具体涉及一种基于多模态数据的病灶分类方法及相关产品。
背景技术
随着人工智能的发展，神经网络应用的范围越来越广泛。使用神经网络进行图像分类已经成为人们生活的一部分。例如，使用预先训练好的神经网络对监控视频中的人物识别或者对核磁共振图像中肿瘤识别。
虽然神经网络对图像分类有着不错的表现。但是，目前的神经网络通常都是通过加深网络结构，对同一模态的图像进行特征提取和分析，以获取该图像的深层特征。对于图像分类来说，每次分类任务可能存在多个模态下的待分类图像，但是，在实际分类过程中只利用一个模态下的待分类图像进行图像分类。例如，在进行病灶分类的过程中，可以使用灰度医学图像或彩色医学图像进行病灶分类。因此，在进行病灶分类的过程中，使用的图像数据比较单一，导致分类精度比较低。
发明内容
本申请实施例提供了一种基于多模态数据的病灶分类方法及相关产品，使用多模态下的图像数据进行图像分类，提高分类精度。
第一方面，本申请实施例提供一种基于多模态数据的病灶分类方法，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：
获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
第二方面，本申请实施例提供一种基于多模态数据的病灶分类装置，所述病灶分类装置通过神经网络执行病灶分类过程，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述病灶分类装置包括：
获取单元，用于获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
特征提取单元，用于通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
特征提取单元，还用于通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
特征提取单元，还用于通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
分类单元，用于根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
第三方面，本申请实施例提供一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，在本申请实施方式中，通过第一网络提取空间复杂度比较高的第一医学图像进行深层特征的提取，得到第一特征图；同时使用第二网络对第一医学图像进行浅层特征提取，得到第二特征图；然后，使用第三网络对空间复杂度较低的第二医学图像进行浅层特征提取，得到第三特征图；最后，将第一特征图、第二特征图以及第三特征图进行融合之后，进行病灶分类，从而综合各个模态下的图像数据进行病灶分类，进而提高了分类的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于多模态数据的病灶分类方法的流程示意图；
图2为本申请实施例提供的一种神经网络训练方法的流程示意图；
图3为本申请实施例提供的另一种基于多模态数据的病灶分类方法的流程示意图；
图4为本申请实施例提供的另一种基于多模态数据的病灶分类方法的流程示意图；
图5为本申请实施例提供的一种神经网络的结构示意图
图6为本申请实施例提供的一种病灶分类装置的结构示意图；
图7为本申请实施例提供的一种病灶分类装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请中的基于多模态数据的病灶分类装置可以包括智能手机(如Android手机、iOS手机，等等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile InternetDevices，简称：MID)或穿戴式设备等。在实际应用中，上述病灶分类装置还可以包括：智能车载终端、计算机设备等等。
参阅图1，图1为本申请实施例提供的一种基于多模态数据的病灶分类方法的流程示意图。其中，该方法通过神经网络执行，该神经网络是预先训练好的，后面详细叙述对该神经网络的训练过程，在此不做过多描述。所述神经网络包括第一网络、第二网络和第三网络，所述第一网络的深度大于所述第二网络和所述第三网络。该方法应用于病灶分类装置。本实施例方法包括但不限于以下步骤：
101：病灶分类装置获取第一医学图像和第二医学图像。
其中，该第一医学图像和该第二医学图像为同一部位在不同成像模式下得到的医学图像，且该第一医学图像的空间复杂度大于该第二医学图像，即第一医学图像包含更多的细节信息，需要通过深度神经网络来提取该第一医学图像的特征。其中，该空间复杂度也可以理解为医学图像所占的存储空间。
示例性的，该第一医学图像可以是通过彩色多普勒成像、向量血流成像得到的超声图像(彩色图像)，该第二医学图像可以是通过传统超声成像得到的超声图像(灰度图像)。
102：病灶分类装置通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图。
即通过第一网络(深度网络)提取该第一医学图像的深层特征，得到该第一特征图。
具体来说，可通过该第一网络的多个通道对第一医学图像进行特征提取，得到多个子特征图，将多个子特征图进行合并(例如，加权处理)得到该第一特征图。
103：病灶分类装置通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图。
即通过第二网络(浅层网络)提取该第一医学图像的浅层特征，得到该第二特征图。即在对第一医学图像进行深层特征提取的同时，还对该第一医学图像进行浅层特征提取，从而还获取到了该第一医学图像的浅层特征，进而可以获取该第一医学图像的更多细节信息，提高后续进行病灶分类的精确度。
104：病灶分类装置通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图。
即通过第三网络(浅层网络)提取该第二医学图像的浅层特征，得到第三特征图。其中，该第三网络和第二网络可以是相同的网络，也可是不同的网络。本申请对此不做限定。
需要说明的是，在通过多个通道提取第三特征图的情况下，由于该第二医学图像的空间复杂度比较低，例如，灰度图像。因此，需要将该第二医学图像进行复制，得到与每个通道对应的输入数据，
105：病灶分类装置根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
可选的，病灶分类装置可对该第一特征图、第二特征图以及第三特征图进行拼接，即concat操作，得到目标特征图；然后，根据该目标特征图进行病灶分类，得到该部位对应的病灶，即根据该目标特征图确定落入各个病灶的概率，将概率最大对应的病灶作为该部位对应的病灶。
可选的，病灶分类装置可以基于该第一特征图进行病灶分类，得到第一分类概率，即该第一特征图落入各个病灶的分类概率；并对第二特征图进行病灶分类，得到第二分类概率；对第三特征图进行病灶分类，得到第三分类概率；然后，获取该第一分类概率、第二分类概率以及第三分类概率的平均值，即平均分类概率；根据该平均分类概率，确定该部位对应的病灶，即将分类概率中最大值对应的病灶作为该部位对应的病灶。
可以看出，在本申请实施方式中，通过第一网络提取空间复杂度比较高的第一医学图像进行深层特征的提取，得到第一特征图；同时使用第二网络对第一医学图像进行浅层特征提取，得到第二特征图；然后，使用第三网络对空间复杂度较低的第二医学图像进行浅层特征提取，得到第三特征图；最后，将第一特征图、第二特征图以及第三特征图进行融合，得到目标特征图；并将该目标特征图与各个病灶图像模板进行匹配，确定落入各个病灶的概率，实现病灶分类，从而综合各个模态下的图像数据进行病灶分类，进而提高了分类的精度。
在一些可能的实施方式中，该第一网络包括两个第一子网络、第二网络包括两个第二子网络，该两个第一子网络可以为结构相同的子网络，也可以为结构不同的子网络，本申请对此不做限定。同样，两个第二子网络可以为结构相同的子网络，也可以为结构不同的子网络，本申请对此也不做限定。此外，每个第一子网络的网络深度大于每个第二子网络的网络深度。因此，通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图的实现过程可以包括：通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；对所述第一子特征图和所述第二子特征图进行拼接，即concat操作，得到目标子特征图；将所述目标子特征图输入到第二个第一子网络，得到第一特征图。
可以看出，在本实施方式中，将第二子网络提取到的浅层特征与第一子网络提取到的深层特征进行拼接，从而通过第二个第一子网络提取到的第一特征图(深层特征)会包含该第一医学图像中的更多细节信息，进而提高后续进行病灶分类的精度。
在一些可能的实施方式中，在获取第一医学图像和第二医学图像之后，还可获取该第一医学图像的第一亮度和第二医学图像的第二亮度；在该第一亮度和/或第二亮度小于阈值的情况下，对该第一医学图像和/或第二医学图像进行增强处理，即在该第一亮度小于阈值的情况下，则会对该第一医学图像进行增强处理，在该第二亮度小于阈值的情况下，则会对该第二医学图像进行增强处理。并将增强处理后的第一医学图像和/或第二医学图像作为上述的第一医学图像和/或第二医学图像。即当医学图像的亮度小于阈值的情况下，则对医学图像进行增强处理，并将增强处理后的医学图像作为后续进行特征提取的医学图像。
下面以对第一医学图像为例详细说明增强过程，对第二医学图像的增强过程与对第一医学图像进行增强类似，不再叙述。
具体地，对第一医学图像中的每个像素点进行高频方向分解，分别得到每个像素点在水平方向上的第一分量、在竖直方向上的第二分量以及在对角方向上的第三分量，其中，对每个像素点进行高频方向分解实质上为求取每个像素点的海森(Hessian)矩阵，即分别求取每个像素点在水平方向上的二阶偏微分、竖直方向上的二阶偏微分、对角方向上的混合偏微分，将水平方向上的二阶偏微分作为每个像素点的第一分量、竖直方向上的二阶偏微分作为第二分量以及对角方向上的混合偏微分作为第三分量，其中求偏微分的过程为现有技术，不再叙述；然后，将该第一医学图像中的所有像素点在水平方向上的第一分量对应组成第一分量图像、在竖直方向上的第二分量对应组成第二分量图像以及在对角方向上的第三分量对应组成第三分量图像；对该第一分量图像、第二分量图像以及第三分量图像进行锐化处理，得到锐化后的第一分量图像、第二分量图像以及第三分量图像；最后，将该锐化后的第一分量图像、第二分量图像以及第三分量图像与该第一医学图像进行像素叠加，得到增强后的第一医学图像。
可以看出，在本实施方式中，在医学图像亮度较低的情况下，对医学图像进行增强处理，以便增强医学图像的细节信息，从而便于后续进行特征提取时，可以提取到更多的细节信息，进而提高病灶分类的精度。
在一些可能的实施方式中，该第一医学图像和第二医学图像可以是存储在区块链中的，且该第一医学图像和第二医学图像可以存储在该区块链中的相同节点，也可以存储在不同的节点，本申请对此不做限定。因此，需要先获取该区块链的访问权限，然后，从该区块链中获取该第一医学图像和第二医学图像；另外，还可以将进行病灶分类后的该第一医学图像和该第二医学图像存储在该区块链中，以便保证医学图像存储的安全性，防止他人篡改图像。
在一些可能的实施方式中，本申请还可以应用于智慧医疗，比如，对病人拍摄医学图像后(如X光图像)，则可以基于本申请的病灶分类方法自动对该病人进行病灶分类，确定该病人所患疾病，无需医师基于该医学图像进行人工诊断，进而释放了医师资源，有利于推动智慧城市的建设。
参阅图2，图2为本申请实施例提供的一种神经网络训练方法的流程示意图。本实施例方法包括但不限于以下步骤：
201：获取图像样本对。
其中，该图像样本对包括第一图像样本和第二图像样本，该第一图像样本与该第二图像样本为同一部位在不同成像模式下得到的图像，且该第一图像样本的空间复杂度大于该第二图像样本。
其中，该图像样本对具有标签信息，即该部位对应的实际病灶。
202：通过所述第一网络对所述第一图像样本进行特征提取，得到第四特征图。
203：通过所述第二网络对所述第一图像样本进行特征提取，得到第五特征图。
204：通过所述第二网络对所述第二图像样本进行特征提取，得到第六特征图。
205：对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图。
206：根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失。
根据特征图进行分类，得到预测结果，根据该预测结果与该标签信息确定损失。
207：根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值。
对该第一损失、第二损失和第三损失进行加权处理，得到目标损失，基于该目标损失以及梯度下降法调整该神经网络的网络参数的参数值。其中，该目标损失可以通过公式(1)表示：
Loss＝k1*Loss1+k2*Loss2+k3*Loss3； (1)
其中，Loss为目标损失，Loss1为第一损失、Loss2为第二损失、Loss3为第三损失，k1、k2、k3为预设的权重系数。
可以看出，在本申请实施方式中，通过第一网络提取空间复杂度比较高的第一医学图像进行深层特征的提取，得到第一特征图；同时使用第二网络对第一医学图像进行浅层特征提取，得到第二特征图；然后，使用第三网络对空间复杂度较低的第二医学图像进行浅层特征提取，得到第三特征图；最后，将第一特征图、第二特征图以及第三特征图进行融合之后，进行病灶分类，从而综合各个模态下的图像数据进行病灶分类，进而提高了分类的精度。
参阅图3，图3为本申请实施例提供的另一种基于多模态数据的病灶分类方法的流程示意图。该方法应用于病灶分类装置。该实施例中与图1、图2所示的实施例相同的内容，此处不再重复描述。本实施例的方法包括但不限于以下步骤：
301：病灶分类装置获取图像样本对。
其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本。
302：病灶分类装置通过第一网络对所述第一图像样本进行特征提取，得到第四特征图。
303：病灶分类装置通过第二网络对所述第一图像样本进行特征提取，得到第五特征图。
304：病灶分类装置通过第二网络对所述第二图像样本进行特征提取，得到第六特征图。
305：病灶分类装置对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图。
306：病灶分类装置根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失。
307：病灶分类装置根据所述第一损失、所述第二损失和所述第三损失，调整神经网络的网络参数的参数值，得到训练好的神经网络。
该神经网络包括第一网络、第二网络和第三网络。
308：病灶分类装置获取第一医学图像和第二医学图像。
其中，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像。
309：病灶分类装置通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图。
310：病灶分类装置通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图。
311：病灶分类装置通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图。
312：病灶分类装置根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
可以看出，在本申请实施方式中，通过第一网络提取空间复杂度比较高的第一医学图像进行深层特征的提取，得到第一特征图；同时使用第二网络对第一医学图像进行浅层特征提取，得到第二特征图；然后，使用第三网络对空间复杂度较低的第二医学图像进行浅层特征提取，得到第三特征图；最后，将第一特征图、第二特征图以及第三特征图进行融合之后，进行病灶分类，从而综合各个模态下的图像数据进行病灶分类，进而提高了分类的精度。
参阅图4，图4为本申请实施例提供的另一种基于多模态数据的病灶分类方法的流程示意图。该方法应用于病灶分类装置。该实施例中与图1、图2以及图3所示的实施例相同的内容，此处不再重复描述。本实施例的方法包括但不限于以下步骤：
401：病灶分类装置获取图像样本对。
其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本。
402：病灶分类装置通过第一网络对所述第一图像样本进行特征提取，得到第四特征图。
403：病灶分类装置通过第二网络对所述第一图像样本进行特征提取，得到第五特征图。
404：病灶分类装置通过第二网络对所述第二图像样本进行特征提取，得到第六特征图。
405：病灶分类装置对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图。
406：病灶分类装置根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失。
407：病灶分类装置根据所述第一损失、所述第二损失和所述第三损失，调整神经网络的网络参数的参数值，得到训练好的神经网络。
该神经网络包括第一网络、第二网络和第三网络。
408：病灶分类装置获取第一医学图像和第二医学图像。
其中，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像。
409：病灶分类装置获取所述第一医学图像的第一亮度和所述第二医学图像的第二亮度。
410：在所述第一亮度和/或所述第二亮度小于阈值的情况下，病灶分类装置对所述第一医学图像和/或所述第二医学图像进行增强处理，将增强处理后的第一医学图像和/或第二医学图像作为所述第一医学图像和/或所述第二医学图像。
411：病灶分类装置通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图。
412：病灶分类装置通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图。
413：病灶分类装置通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图。
414：病灶分类装置根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
可以看出，在本申请实施方式中，通过第一网络提取空间复杂度比较高的第一医学图像进行深层特征的提取，得到第一特征图；同时使用第二网络对第一医学图像进行浅层特征提取，得到第二特征图；然后，使用第三网络对空间复杂度较低的第二医学图像进行浅层特征提取，得到第三特征图；最后，将第一特征图、第二特征图以及第三特征图进行融合之后，进行病灶分类，从而综合各个模态下的图像数据进行病灶分类，进而提高了分类的精度。
参阅图5，图5为本申请实施提供的一种神经网络的结构示意图。上述的病灶分类方法应用于该神经网络。
如图5所示，该神经网络包括第一网络、第二网络和第三网络，其中，该第一网络包括两个第一子网络，该第二网络包括两个第二子网络，该第二网络和第三网络可以为相同的网络结构，也可以为不同的网络结构。具体地，该第一网络可以由backbone网络构成。该第二网络包括多个卷积层和池化层。
具体地，该第一个第一子网络用于对该第一医学图像进行特征提取，得到第一子特征图；
第一个第二子网络用于对该第一医学图像进行特征提取，得到第二子特征图，并将该第一子特征图和该第二子特征图进行拼接，得到目标子特征图；
第二个第一子网络用于对目标子特征图进行特征提取，得到第一特征图；
第二个第二子网络用于对该第二子特征图进行特征提取，得到第二特征图；
第三网络用于对该第二医学图像进行特征提取，得到第三特征图；
最后，通过该神经网络对该第一特征图、第二特征图以及第三特征图进行拼接，得到目标特征图。
参阅图6，图6为本申请实施例提供的一种病灶分类装置的结构示意图。如图6所示，病灶分类装置600包括处理器、存储器、通信接口以及一个或多个程序，且上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行以下步骤的指令：
获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
在一些可能的实施方式中，在第一网络包括两个第一子网络，所述第二网络包括两个第二子网络，所述通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图方面，上述程序具体用于执行以下步骤的指令：
通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；
通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；
对所述第一子特征图和所述第二子特征图进行拼接，得到目标子特征图；
将所述目标子特征图输入到第二个第一子网络，得到第一特征图。
在一些可能的实施方式中，在根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶方面，上述程序具体用于执行以下步骤的指令：
对所述第一特征图、所述第二特征图以及所述第三特征图进行拼接，得到目标特征图；
根据所述目标特征图进行分类，得到所述部位对应的病灶。
在一些可能的实施方式中，在根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶方面，上述程序具体用于执行以下步骤的指令：
对所述第一特征图进行分类，得到第一分类概率；
对所述第二特征图进行分类，得到第二分类概率；
对所述第三特征图进行分类，得到第三分类概率；
根据所述第一分类概率、所述第二分类概率以及所述第三分类概率，得到平均分类概率；
根据所述平均分类概率，得到所述部位对应的病灶。
在一些可能的实施方式中，获取第一医学图像和第二医学图像之后，上述程序还用于执行以下步骤的指令：
获取所述第一医学图像的第一亮度和所述第二医学图像的第二亮度；
在所述第一亮度小于阈值的情况下，对所述第一医学图像进行增强处理，将增强处理后的第一医学图像作为所述第一医学图像；
在所述第二亮度小于所述阈值的情况下，对所述第二医学图像进行增强处理，将增强处理后的第二医学图像作为所述第二医学图像。
在一些可能的实施方式中，在获取第一医学图像和第二医学图像之前，上述程序还用于执行以下步骤的指令：
获取图像样本对，其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本；
通过所述第一网络对所述第一图像样本进行特征提取，得到第四特征图；
通过所述第二网络对所述第一图像样本进行特征提取，得到第五特征图；
通过所述第二网络对所述第二图像样本进行特征提取，得到第六特征图；
对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图；
根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失；
根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值。
在一些可能的实施方式中，在根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值方面，上述程序具体用于执行以下步骤的指令：
对所述第一损失、所述第二损失和所述第三损失进行加权处理，得到目标损失；
根据所述目标损失调整所述神经网络的网络参数的参数值。
参阅图7，图7本申请实施例提供的一种病灶分类装置的功能单元组成框图。病灶分类装置700包括：获取单元710、特征提取单元720、分类单元730，其中：
获取单元710，获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
特征提取单元720，用于通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
特征提取单元720，用于通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
特征提取单元720，用于通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
分类单元730，用于根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
在一些可能的实施方式中，在第一网络包括两个第一子网络，所述第二网络包括两个第二子网络，所述通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图方面，特征提取单元720，具体用于：
通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；
通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；
对所述第一子特征图和所述第二子特征图进行拼接，得到目标子特征图；
将所述目标子特征图输入到第二个第一子网络，得到第一特征图。
在一些可能的实施方式中，在根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶方面，分类单元730，具体用于：
对所述第一特征图、所述第二特征图以及所述第三特征图进行拼接，得到目标特征图；
根据所述目标特征图进行分类，得到所述部位对应的病灶。
在一些可能的实施方式中，在根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶方面，分类单元730，具体用于：
对所述第一特征图进行分类，得到第一分类概率；
对所述第二特征图进行分类，得到第二分类概率；
对所述第三特征图进行分类，得到第三分类概率；
根据所述第一分类概率、所述第二分类概率以及所述第三分类概率，得到平均分类概率；
根据所述平均分类概率，得到所述部位对应的病灶。
在一些可能的实施方式中，病灶分类装置还包括增强单元740，获取第一医学图像和第二医学图像之后，增强单元740，用于：
获取所述第一医学图像的第一亮度和所述第二医学图像的第二亮度；
在所述第一亮度小于阈值的情况下，对所述第一医学图像进行增强处理，将增强处理后的第一医学图像作为所述第一医学图像；
在所述第二亮度小于所述阈值的情况下，对所述第二医学图像进行增强处理，将增强处理后的第二医学图像作为所述第二医学图像。
在一些可能的实施方式中，病灶分类装置还包括训练单元750，在获取第一医学图像和第二医学图像之前，训练单元750，用于：
获取图像样本对，其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本；
通过所述第一网络对所述第一图像样本进行特征提取，得到第四特征图；
通过所述第二网络对所述第一图像样本进行特征提取，得到第五特征图；
通过所述第二网络对所述第二图像样本进行特征提取，得到第六特征图；
对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图；
根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失；
根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值。
在一些可能的实施方式中，在根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值方面，训练单元750，具体用于：
对所述第一损失、所述第二损失和所述第三损失进行加权处理，得到目标损失；
根据所述目标损失调整所述神经网络的网络参数的参数值。
本申请实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种基于多模态数据的病灶分类方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种基于多模态数据的病灶分类方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于多模态数据的病灶分类方法，其特征在于，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：
获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
2.根据权利要求1所述的方法，其特征在于，所述第一网络包括两个第一子网络，所述第二网络包括两个第二子网络，所述通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图，包括：
通过第一个第一子网络对所述第一医学图像进行特征提取，得到第一子特征图；
通过第一个第二子网络对所述第一医学图像进行特征提取，得到第二子特征图；
对所述第一子特征图和所述第二子特征图进行拼接，得到目标子特征图；
将所述目标子特征图输入到第二个第一子网络，得到第一特征图。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶，包括：
对所述第一特征图、所述第二特征图以及所述第三特征图进行拼接，得到目标特征图；
根据所述目标特征图进行分类，得到所述部位对应的病灶。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶，包括：
对所述第一特征图进行分类，得到第一分类概率；
对所述第二特征图进行分类，得到第二分类概率；
对所述第三特征图进行分类，得到第三分类概率；
根据所述第一分类概率、所述第二分类概率以及所述第三分类概率，得到平均分类概率；
根据所述平均分类概率，得到所述部位对应的病灶。
5.根据权利要求1所述的方法，其特征在于，在获取第一医学图像和第二医学图像之后，所述方法还包括：
获取所述第一医学图像的第一亮度和所述第二医学图像的第二亮度；
在所述第一亮度小于阈值的情况下，对所述第一医学图像进行增强处理，将增强处理后的第一医学图像作为所述第一医学图像；
在所述第二亮度小于所述阈值的情况下，对所述第二医学图像进行增强处理，将增强处理后的第二医学图像作为所述第二医学图像。
6.根据权利要求1所述的方法，其特征在于，在获取第一医学图像和第二医学图像之前，所述方法还包括：
获取图像样本对，其中，所述图像样本对包括第一图像样本和第二图像样本，所述第一图像样本与所述第二图像样本为同一部位在不同成像模式下得到的图像，且所述第一图像样本的空间复杂度大于所述第二图像样本；
通过所述第一网络对所述第一图像样本进行特征提取，得到第四特征图；
通过所述第二网络对所述第一图像样本进行特征提取，得到第五特征图；
通过所述第二网络对所述第二图像样本进行特征提取，得到第六特征图；
对所述第四特征图、所述第五特征图以及所述第六特征图进行拼接，得到第七特征图；
根据所述第四特征图得到第一损失，根据所述第六特征图得到第二损失，根据所述第七特征图得到第三损失；
根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值。
7.根据权利要求6所述的方法，其特征在于，所述根据所述第一损失、所述第二损失和所述第三损失，调整所述神经网络的网络参数的参数值，包括：
对所述第一损失、所述第二损失和所述第三损失进行加权处理，得到目标损失；
根据所述目标损失调整所述神经网络的网络参数的参数值。
8.一种基于多模态数据的病灶分类装置，其特征在于，所述病灶分类装置通过神经网络执行病灶分类过程，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述病灶分类装置包括：
获取单元，用于获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；
特征提取单元，用于通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；
特征提取单元，还用于通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；
特征提取单元，还用于通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；
分类单元，用于根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。
9.一种电子设备，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行权利要求1-7任一项方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
CN202010482182.6A 2020-05-29 2020-05-29 基于多模态数据的病灶分类方法及相关产品 Pending CN111695616A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010482182.6A CN111695616A (zh) 2020-05-29 2020-05-29 基于多模态数据的病灶分类方法及相关产品
PCT/CN2020/099532 WO2021114636A1 (zh) 2020-05-29 2020-06-30 基于多模态数据的病灶分类方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010482182.6A CN111695616A (zh) 2020-05-29 2020-05-29 基于多模态数据的病灶分类方法及相关产品

Publications (1)

Publication Number Publication Date
CN111695616A true CN111695616A (zh) 2020-09-22

Family

ID=72479116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010482182.6A Pending CN111695616A (zh) 2020-05-29 2020-05-29 基于多模态数据的病灶分类方法及相关产品

Country Status (2)

Country Link
CN (1) CN111695616A (zh)
WO (1) WO2021114636A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240887A (zh) * 2021-12-17 2022-03-25 深圳市铱硙医疗科技有限公司 一种基于脑部多模态图像的处理方法与系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113723461B (zh) * 2021-08-02 2023-05-23 逸超科技(武汉)有限公司 超声设备及超声图像分析方法
CN114820592B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 图像处理装置、电子设备及介质
CN117058435B (zh) * 2022-06-30 2024-05-17 深圳开立生物医疗科技股份有限公司 一种检查部位识别方法、装置及电子设备和存储介质
CN117174257B (zh) * 2023-11-03 2024-02-27 福建自贸试验区厦门片区Manteia数据科技有限公司 医疗影像的处理装置、电子设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412383A (zh) * 2015-07-31 2017-02-15 阿里巴巴集团控股有限公司 视频图像的处理方法和装置
CN109559799A (zh) * 2018-10-12 2019-04-02 华南理工大学 医学图像语义描述方法、描述模型的构建方法及该模型
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110443286A (zh) * 2019-07-18 2019-11-12 广州华多网络科技有限公司 神经网络模型的训练方法、图像识别方法以及装置
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7983486B2 (en) * 2007-08-29 2011-07-19 Seiko Epson Corporation Method and apparatus for automatic image categorization using image texture
CN107563983B (zh) * 2017-09-28 2020-09-01 上海联影医疗科技有限公司 图像处理方法以及医学成像设备
CN108257134B (zh) * 2017-12-21 2022-08-23 深圳大学 基于深度学习的鼻咽癌病灶自动分割方法和系统
CN108335734A (zh) * 2018-02-07 2018-07-27 深圳安泰创新科技股份有限公司 临床图像记录方法、装置及计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412383A (zh) * 2015-07-31 2017-02-15 阿里巴巴集团控股有限公司 视频图像的处理方法和装置
CN109559799A (zh) * 2018-10-12 2019-04-02 华南理工大学 医学图像语义描述方法、描述模型的构建方法及该模型
CN109584246A (zh) * 2018-11-16 2019-04-05 成都信息工程大学 基于多尺度特征金字塔的dcm心肌诊疗放射影像分割方法
CN110443286A (zh) * 2019-07-18 2019-11-12 广州华多网络科技有限公司 神经网络模型的训练方法、图像识别方法以及装置
CN111161349A (zh) * 2019-12-12 2020-05-15 中国科学院深圳先进技术研究院 物体姿态估计方法、装置与设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHIEN-YAO WANG ET AL.: "CSPNet: A New Backbone that can Enhance Learning Capability of CNN", ARXIV, 27 November 2019 (2019-11-27), pages 1 - 14 *
FAN ZHANG ET AL.: "Multi-modal deep learning model for auxiliary diagnosis of Alzheimer\'s disease", NEUROCOMPUTING, vol. 361, 16 July 2019 (2019-07-16), pages 185 - 195, XP085797183, DOI: 10.1016/j.neucom.2019.04.093 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114240887A (zh) * 2021-12-17 2022-03-25 深圳市铱硙医疗科技有限公司 一种基于脑部多模态图像的处理方法与系统
CN114240887B (zh) * 2021-12-17 2022-08-23 深圳市医未医疗科技有限公司 一种基于脑部多模态图像的处理方法与系统

Also Published As

Publication number Publication date
WO2021114636A1 (zh) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111695616A (zh) 基于多模态数据的病灶分类方法及相关产品
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
KR102222796B1 (ko) 디지털 조직병리학 및 현미해부
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN110276411B (zh) 图像分类方法、装置、设备、存储介质和医疗电子设备
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
Isasi et al. Melanomas non-invasive diagnosis application based on the ABCD rule and pattern recognition image processing algorithms
CN112017185B (zh) 病灶分割方法、装置及存储介质
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN111209916A (zh) 病灶识别方法及系统、识别设备
CN112464809A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111275784A (zh) 生成图像的方法和装置
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
CN111325107B (zh) 检测模型训练方法、装置、电子设备和可读存储介质
CA3072108A1 (en) Few-shot learning based image recognition of whole slide image at tissue level
WO2023221697A1 (zh) 图像识别模型的训练方法、装置、设备、介质
CN115620384B (zh) 模型训练方法、眼底图像预测方法及装置
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN115239675A (zh) 分类模型的训练方法、图像分类方法和装置、设备及介质
CN116797554A (zh) 图像处理方法以及装置
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
CN115170401A (zh) 图像补全方法、装置、设备及存储介质
CN111597944B (zh) 活体检测方法、装置、计算机设备及存储介质
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination