CN112036506A - 图像识别方法及相关装置、设备 - Google Patents

图像识别方法及相关装置、设备 Download PDF

Info

Publication number
CN112036506A
CN112036506A CN202011018760.7A CN202011018760A CN112036506A CN 112036506 A CN112036506 A CN 112036506A CN 202011018760 A CN202011018760 A CN 202011018760A CN 112036506 A CN112036506 A CN 112036506A
Authority
CN
China
Prior art keywords
image
identified
network
medical
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011018760.7A
Other languages
English (en)
Inventor
陈翼男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202011018760.7A priority Critical patent/CN112036506A/zh
Publication of CN112036506A publication Critical patent/CN112036506A/zh
Priority to PCT/CN2021/106479 priority patent/WO2022062590A1/zh
Priority to TW110131345A priority patent/TW202221568A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请公开了一种图像识别方法及相关装置、设备，其中，图像识别方法包括：获取多个待识别医学图像；分别提取每一待识别医学图像的风格特征表示；对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。上述方案，能够提高图像识别的效率和准确性。

Description

图像识别方法及相关装置、设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像识别方法及相关装置、设备。
背景技术
CT(Computed Tomography，计算机断层扫描)和MRI(Magnetic ResonanceImaging，核磁共振扫描)等医学图像在临床具有重要意义。为了使医学图像应用于临床，一般需要扫描得到至少一种扫描图像类别的医学图像。以与肝脏相关的临床为例，扫描图像类别往往包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期等等，此外，扫描图像类别还可以包含与扫描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像等等。
目前，在扫描过程中，通常需要放射科医师鉴别扫描得到的医学图像的扫描图像类别，以确保获取所需要的医学图像；或者，在住院或门诊诊疗时，通常需要医生对扫描得到的医学图像进行识别，判断每一医学图像的扫描图像类别，再进行阅片。然而，上述通过人工识别医学图像的扫描图像类别的方式，效率较低，且易受主观影响而难以确保准确性。故此，如何提高图像识别的效率和准确性成为亟待解决的问题。
发明内容
本申请提供一种图像识别方法及相关装置、设备。
本申请第一方面提供了一种图像识别方法，包括：获取多个待识别医学图像；分别提取每一待识别医学图像的风格特征表示；对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
因此，通过获取多个待识别医学图像，并提取每一待识别医学图像的风格特征表示，从而对多个待识别医学图像的风格特征表示进行分类处理，故能够在分类处理时，考虑多个待识别医学图像在各自风格特征上的差异，进而能够提高识别得到的扫描图像类别的准确性，且由于能够对多个待识别医学图像的风格特征表示进行分类处理，并得到每一待识别医学图像的扫描图像类别，故能够一次得到多个待识别医学图像的扫描图像类别，从而能够提高图像识别的效率，故此，上述方案能够提高图像识别的效率和准确性。
其中，对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别包括：将多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示；对最终风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
因此，在对多个待识别医学图像的风格特征表示进行分类处理时，将多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示，故最终风格特征表示能够表示每一待识别医学图像的风格特征表示与其他待识别医学图像的风格特征表示之间的差异，故利用最终风格特征表示进行分类处理能够提高识别得到的扫描图像类别的准确性。
其中，对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别之后，图像识别方法还包括以下至少一者：将多个待识别医学图像按照其扫描图像类别进行排序；将按照扫描图像类别进行排序后的至少一个待识别医学图像进行同屏显示；若待识别医学图像的扫描图像类别存在重复，则输出第一预警信息，以提示扫描人员；若多个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，则输出第二预警信息，以提示扫描人员；若待识别医学图像的扫描图像类别的分类置信度小于预设置信度阈值，则输出第三预警信息，以提示扫描人员。
因此，在确定得到每一待识别医学图像所属的扫描图像类别之后，执行将至少一个待识别医学图像按照其扫描图像类别进行排序，能够提高医生阅片的便捷性；将按照扫描图像类别进行排序后的至少一个待识别医学图像进行同屏显示，能够免去医生翻阅待识别医学图像时来回对照，从而能够提高医生阅片的效率；在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员，在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员，在待识别医学图像的扫描图像类别的分类置信度小于预设置信度阈值时，输出第三预警信息，以提示扫描人员，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
其中，分别提取每一待识别医学图像的风格特征表示之前，还包括：对每一待识别医学图像进行预处理，其中，预处理包括以下至少一种：将待识别医学图像的图像尺寸调整至预设尺寸，将待识别医学图像的图像强度归一化至预设范围。
因此，在提取风格特征表示之前，对每一目标区域的图像数据进行预处理，且预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围，故能够有利于提高后续图像识别的准确性。
其中，图像识别方法还包括：分别提取每一待识别医学图像的内容特征表示；对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
因此，通过提取每一待识别医学图像的内容特征表示，并对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，能够在得到每一待识别医学图像的扫描图像类别的同时，确定其中的病灶区域，故能够有利于提高整体阅片效能，同时能够有利于消除病灶对扫描图像类别识别带来的干扰，从而能够提高图像识别的准确性。
其中，对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域包括：将多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示；对最终内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
因此，将多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示，能够有利于使最终内容特征表示补偿单一待识别医学图像中可能存在的病灶不明显或运动干扰产生的伪影等问题，从而在利用最终内容特征表示进行病灶识别时，能够提高病灶识别的准确性。
其中，图像识别方法还包括：提示当前显示的待识别医学图像的病灶区域。
因此，通过提示当前显示的待识别医学图像的病灶区域，能够提升医生阅片体验。
其中，第二融合处理的操作包括以下任一者：将多个待识别医学图像的内容特征表示进行拼接处理；将多个待识别医学图像的内容特征表示进行相加处理；其中，最终内容特征表示和多个待识别医学图像的内容特征表示的维度相同。
因此，通过将多个待识别医学图像的内容特征表示进行拼接处理，或者将多个待识别医学图像的内容特征表示进行相加处理中的任一者，得到最终内容特征表示，且最终内容特征表示和多个待识别医学图像的内容特征表示的维度相同，能够通过多种方式得到最终内容特征表示，从而能够提高图像识别的鲁棒性。
其中，分别提取每一待识别医学图像的风格特征表示，包括：利用识别网络的风格编码子网络分别提取每一待识别医学图像的风格特征表示；对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别，包括：利用识别网络的分类处理子网络对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别；分别提取每一待识别医学图像的内容特征表示，包括：利用识别网络的内容编码子网络分别提取每一待识别医学图像的内容特征表示；对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，包括：利用识别网络的区域分割子网络对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
因此，利用识别网络的风格编码子网络分别提取每一待识别医学图像的风格特征表示，利用识别网络的分类处理子网络对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别，利用识别网络的内容编码子网络分别提取每一待识别医学图像的内容特征表示，利用识别网络的区域分割子网络对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，能够利用识别网络执行风格特征表示的提取、分类处理、内容特征表示的提取以及病灶识别等任务，故能够有利于提高图像识别的效率。
其中，分别提取每一待识别医学图像的风格特征表示之前，图像识别方法还包括：获取多个样本医学图像，其中，多个样本医学图像标注有其真实扫描图像类别和真实病灶区域；利用风格编码子网络分别提取每一样本医学图像的样本风格特征表示，并利用内容编码子网络分别提取每一样本医学图像的样本内容特征表示；利用分类处理子网络对多个样本医学图像的样本风格特征表示进行分类处理，得到每一样本医学图像的预测扫描图像类别，并利用区域分割子网络对多个样本医学图像的样本内容特征表示进行病灶识别，得到每一样本医学图像中的预测病灶区域；利用真实扫描图像类别和预测扫描图像类别的差异，调整风格编码子网络和分类处理子网络的网络参数，以及利用真实病灶区域和预测病灶区域的差异，调整内容编码子网络和区域分割子网络的网络参数。
因此，在对风格编码子网络和分类处理子网络进行训练的同时，加入对内容编码子网络和区域分割子网络的训练，从而能够在提高区域分割子网络的病灶识别能力的同时，提高内容编码子网络对于病灶相关的内容特征的获取度，进而能够有利于使得风格编码子网络不响应与病灶相关的特征，使后续分类时不受病灶相关特征的影响，故能够提高图像识别的鲁棒性。
其中，图像识别方法还包括：获取每一样本医学图像的样本风格特征表示的样本数据分布情况；利用样本数据分布情况之间的差异，调整风格编码子网络的网络参数。
因此，在训练过程中，同时获取样本数据分布情况，并利用样本数据分布情况之间的差异，调整风格编码子网络的网络参数，故能够有利于使后续提取到风格特征表示之间相互独立，从而能够有利于提高识别到的扫描图像类别的准确性。
其中，图像识别方法还包括：利用一样本风格特征表示和一内容特征表示，构建得到与样本风格特征表示对应的重建图像；利用重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异，调整风格编码子网络和内容编码子网络的网络参数。
因此，在训练过程中，同时利用一样本风格特征表示和一内容特征表示，构建得到与样本风格特征表示对应的重建图像，并利用重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异，调整风格编码子网络和内容编码子网络的网络参数，从而能够使风格编码子网络尽可能地提取到完整准确的风格特征，而内容编码子网络尽可能地提取到完整准确的风格特征，进而能够有利于提高后续扫描图像类别以及病灶识别的准确性。
其中，风格编码子网络包括：顺序连接的下采样层和全局池化层；和/或，内容编码子网络包括以下任一者：顺序连接的下采样层和残差块、顺序连接的卷积层和池化层。
因此，通过将风格编码子网络设置为包括顺序连接的下采样层和全局池化层，能够有利于在简化网络结构的同时便于网络训练；通过将内容编码子网络设置为包括以下任一者：顺序连接的下采样层和残差块、顺序连接的卷积层和池化层，能够有利于在简化网络结构的同时便于网络训练。
本申请第二方面提供了一种图像识别装置，包括图像获取模块、风格提取模块和分类处理模块，图像获取模块用于获取多个待识别医学图像；风格提取模块用于分别提取每一待识别医学图像的风格特征表示；分类处理模块用于对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像识别方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像识别方法。
上述方案，通过获取多个待识别医学图像，并提取每一待识别医学图像的风格特征表示，从而对多个待识别医学图像的风格特征表示进行分类处理，故能够在分类处理时，考虑多个待识别医学图像在各自风格特征上的差异，进而能够提高识别得到的扫描图像类别的准确性，且由于能够对多个待识别医学图像的风格特征表示进行分类处理，并得到每一待识别医学图像的扫描图像类别，故能够一次得到多个待识别医学图像的扫描图像类别，从而能够提高图像识别的效率，故此，上述方案能够提高图像识别的效率和准确性。
附图说明
图1是本申请图像识别方法一实施例的流程示意图；
图2是训练识别网络一实施例的流程示意图；
图3是训练识别网络一实施例的状态示意图；
图4是本申请图像识别装置一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像识别方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取多个待识别医学图像。
待识别医学图像可以包括CT图像、MR图像，在此不做限定。在一个具体的实施场景中，待识别医学图像可以是对腹部、胸部等区域进行扫描得到的，具体可以根据实际应用情况而设置，在此不做限定。例如，当肝脏、脾脏、肾脏为需要诊疗的脏器时，可以对腹部进行扫描，得到待识别医学图像；或者，当心脏、肺为需要诊疗的脏器时，可以对胸部进行扫描，得到待识别医学图像，其他情况可以以此类推，在此不再一一举例。在另一个具体的实施场景中，扫描方式可以是平扫、增强扫描等方式，在此不做限定。在又一个具体的实施场景中，待识别医学图像可以是三维图像，在此不做限定。在又一具体的实施场景中，多个待识别医学图像可以对同一对象扫描得到的。
步骤S12：分别提取每一待识别医学图像的风格特征表示。
风格特征表示用于描述待识别医学图像的风格，例如，待识别医学图像中所表示的注射进血管中的造影剂的强化程度。以肝脏为例，不同扫描图像类别的待识别医学图像中肝脏的静脉、门脉等血管造影剂强化程度各不相同，其中，扫描图像类别为动脉早期的待识别医学图像中门静脉尚未增强，扫描图像类别为动脉晚期的待识别医学图像中门静脉已被增强，扫描图像类别为门脉期的待识别医学图像中门静脉已充分增强且肝脏血管已被前向性血流增强、肝脏软细胞组织在标记物下已达到峰值，扫描图像类别为延迟期的待识别医学图像中门脉和动脉处于增强状态并弱于门脉期、且肝脏软细胞组织处于增强状态并弱于门脉期，其他扫描图像类别在此不再一一举例。
在一个实施场景中，风格特征表示具体可以由一矢量表示，矢量的大小可以根据实际情况进行设置，例如，可以将矢量的大小设置为8比特，在此不做限定。
在一个实施场景中，为了提高风格特征表示提取的便利性，可以预先训练一识别网络，且识别网络中包含一风格编码子网络，并利用识别网络的风格编码子网络分别提取每一待识别医学图像的风格特征表示。在一个具体的实施场景中，为了简化网络结构，风格编码子网络可以包括顺序连接的下采样层和全局池化层，从而待识别医学图像经过下采样处理之后，再利用全局池化层进行池化处理，得到风格特征表示。
在一个实施场景中，为了提高后续图像识别的准确性，在对待识别医学图像的风格特征表示进行提取之前，还可以对每一待识别医学图像进行预处理，具体地，预处理可以包括将待识别医学图像的图像尺寸调整至预设尺寸(例如，32*256*256)。或者，预处理还可以包括将待识别医学图像的图像强度归一化至预设范围(例如，0至1的范围)，在一个具体的实施场景中，可以采用灰度累积分布函数下预设比例(例如，99.9％)对应的灰度值作为归一化的钳位值，从而能够加强待识别医学图像的对比度，有利于提升后续图像识别的准确性。
步骤S13：对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
扫描图像类别具体可以根据实际情况进行设置。例如，仍以对肝脏进行扫描得到的待识别医学图像为例，扫描图像类别可以包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期；或者，扫描图像类别还可以包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像。具体地，动脉早期可以表示门静脉尚未增强，动脉晚期可以表示门静脉已被增强，门脉期可以表示门静脉已充分增强且肝脏血管已被前向性血流增强、肝脏软细胞组织在标记物下已达到峰值，延迟期可以表示门脉和动脉处于增强状态并弱于门脉期、且肝脏软细胞组织处于增强状态并弱于门脉期，其他扫描图像类别在此不再一一举例。当待识别医学图像为对其他脏器扫描得到的医学图像时，可以以此类推，在此不再一一举例。
由于属于不同扫描图像类别的待识别医学图像各自的风格特征表示存在差异，故对其各自的风格特征表示进行分类处理，能够得到每一待识别医学图像的扫描图像类别。在一个实施场景中，为了提高分类处理的便利性，上述识别网络中还包括分类处理子网络，从而可以利用分类处理子网络对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别，进而只需分类处理子网络对风格特征表示进行分类处理即可得到待识别医学图像分别所属的扫描图像类别，故此能够提高分类处理的便利性。在一个具体的实施场景中，为了简化网络结构，分类处理子网络可以包括顺序连接的全连接层和softmax层，在此不做限定。
在一个实施场景中，为了提高图像识别准确性，还可以将多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示，并对最终风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。具体地，第一融合处理的操作可以是将多个待识别医学图像的风格特征表示进行首尾拼接，从而得到最终风格特征表示；或者，第一融合处理的操作还可以是将多个待识别医学图像的风格特征表示进行堆叠处理，从而得到最终风格特征表示，在此不做限定。通过将多个待识别医学图像的风格特征表示进行第一融合处理而得到的最终风格特征表示，能够表示每一待识别医学图像的风格特征表示与其他待识别医学图像的风格特征表示之间的差异，故利用最终风格特征表示进行分类处理能够提高识别得到的扫描图像类别的准确性。
在一个实施场景中，为了提高阅片效能，以及扫描图像类别识别的准确性，还可以提取每一待识别医学图像的内容特征表示，并对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，故能够在得到每一待识别医学图像的扫描图像类别的同时，确定其中的病灶区域，故能够有利于提高整体阅片效能，同时能够有利于消除病灶对扫描图像类别识别带来的干扰，从而能够提高图像识别的准确性。内容特征表示待识别医学图像中的内容，例如，待识别医学图像中器脏的解剖特征。仍以肝脏为例，内容特征表示可以描述肝脏及其毗邻器脏(如，脾脏、肾脏)之间的生理位置关系、肝脏的外形特征、质地(如，软、硬等)特征、成分(如，含水、含脂等)特征等等，在此不做限定。此外，病灶可以包括肿瘤、血栓、结节等，具体可以根据实际情况进行设置，在此不做限定。
在一个具体的实施场景中，为了提高提取内容特征表示的便利性，识别网络中还可以包括一内容编码子网络，从而可以利用识别网络的内容编码子网络分别提取每一待识别医学图像的内容特征表示。具体地，为了简化网络结构，内容编码子网络可以采用顺序连接的下采样层和残差块(resblock)，残差块的数量可以根据实际情况进行设置，通过设置残差块可以提升网络深度，从而可以提高提取得到的内容特征表示的深度；或者，内容编码子网络还可以采用顺序连接的卷积层和池化层，卷积层和池化层的组数可以根据实际情况进行设置，例如，可以采用一组顺序连接的卷积层和池化层、两组顺序连接的卷积层和池化层、三组顺序连接的卷积层和池化层等等，在此不做限定。
在另一个具体的实施场景中，为了提高病灶识别的便利性，识别网络中还可以包括一区域分割子网络，从而利用识别网络的区域分割子网络对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。具体地，区域分割子网络可以采用Unet、Vnet等，在此不做限定。此外，病灶区域可以包括包围病灶的区域，例如，病灶的轮廓等等，在此不做限定。
在又一个具体的实施场景中，内容特征表示可以由一张量来表示，例如，可以通过一低分辨率的张量来表示内容特征表示，在此不做限定。
在又一个具体的实施场景中，为了提高病灶识别的准确性，还可以将多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示，并对最终内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，故能够有利于使最终内容特征表示补偿单一待识别医学图像中可能存在的病灶不明显或运动干扰产生的伪影等问题，从而在利用最终内容特征表示进行病灶识别时，能够提高病灶识别的准确性。具体地，第二融合处理具体可以是将多个待识别医学图像的内容特征表示进行拼接(concatenate)处理以实现对内容特征表示的融合处理，具体可以视为张量的串联运算；或者，也可以是将多个待识别医学图像的内容特征表示进行相加(add)处理以实现对内容特征表示的融合处理，具体可以视为张量的求和运算；或者，还可以将多个待识别医学图像的内容特征表示进行堆叠，再利用诸如1*1的卷积核对堆叠后的内容特征表示进行卷积运算，以实现对内容特征表示的融合处理；或者，还可以将多个待识别医学图像的内容特征表示进行加权处理，在此不做限定。此外，最终内容特征表示和多个待识别医学图像的内容特征表示的维度相同。
在又一个具体的实施场景中，为了提升医生体验，还可以在得到待识别医学图像中的病灶区域之后，提示当前显示的待识别医学图像的病灶区域。例如，可以采用预设线条(如，加粗线、点划线、双实线等)和/或预设颜色(如，黄色、红色、绿色等)表示病灶区域；或者，还可以采用预设符号(例如，指向病灶区域的箭头等)表示病灶区域，具体可以根据实际情况进行设置，在此不做限定。
在又一个具体的实施场景中，可以将上述经训练的识别网络设置于影像后处理工作站、摄片工作站、计算机辅助阅片系统等，从而能够实现对待识别医学图像的自动识别，提高识别效率。
在一个实施场景中，至少一个待识别医学图像为对同一对象扫描得到的，故为了便于医生阅片，在得到每一待识别医学图像所属的扫描图像类别之后，还可以将至少一个待识别医学图像按照其扫描图像类别进行排序，例如，可以按照T1加权反相成像、T1加权同相成像、造影前平扫、动脉早期、动脉晚期、门脉期、延迟期、T2加权成像、扩散加权成像、表面扩散系数成像的预设顺序进行排序，此外，预设顺序还可以根据医生习惯进行设置，在此不做限定，从而能够提高医生阅片的便捷性。
在另一个实施场景中，为了进一步提高阅片的便捷性，还可以将按照扫描图像类别进行排序后的至少一个待识别医学图像进行同屏显示，例如，待识别医学图像的数量为5个，则可以在5个显示窗口中分别显示待识别医学图像。故此，能够降低医生翻阅多个待识别医学图像来回对照的时间，提升阅片效率。
在又一个实施场景中，至少一个待识别医学图像为对同一对象扫描得到的，故为了在扫描过程中进行质量控制，在得到每一待识别医学图像所属的扫描图像类别之后，还可以判断待识别医学图像的扫描图像类别是否存在重复，并在存在重复时，输出第一预警信息，以提示扫描人员。例如，若存在两张扫描图像类别均为“延迟期”的待识别医学图像，则可以认为扫描过程中存在扫描质量不合规的情况，故为了提示扫描人员，可以输出第一预警信息，具体地，可以输出预警原因(如，存在扫描图像类别重复的待识别医学图像等)。或者，在得到每一待识别医学图像所属的扫描图像类别之后，还可以判断至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，并在不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员。例如，预设扫描图像类别为“门脉期”，若至少一个待识别医学图像中不存在扫描图像类别为“门脉期”的图像，则可以认为扫描过程中存在扫描质量不合规的情况，故为了提示扫描人员，可以输出第二预警信息，具体地，可以输出预警原因(如，待识别医学图像中不存在门脉期图像等)。或者，在得到每一待识别医学图像所属的扫描图像类别之后，还可以判断待识别医学图像的扫描图像类别的分类置信度是否小于预设置信度阈值，并在待识别医学图像的扫描图像类别的分类置信度小于预设置信度阈值时，输出第三预警信息，以提示扫描人员。具体地，分类置信度可以是分类处理子网络在进行分类处理时预测得到的。例如，分类处理子网络在进行分类处理时，预测得到每个待识别医学图像的扫描图像类别和对应的分类置信度，若扫描图像类别为“门脉期”的待识别医学图像的分类置信度(如，20％)低于预设置信度阈值(如，90％)，则可以认为扫描图像类别为“门脉期”的待识别医学图像的图像质量不合规，故为了提示扫描人员，可以输出第三预警信息，具体地，可以输出预警原因(如，待识别医学图像可能存在扫描质量不佳的问题)。故此，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
上述方案，通过获取多个待识别医学图像，并提取每一待识别医学图像的风格特征表示，从而对多个待识别医学图像的风格特征表示进行分类处理，故能够在分类处理时，考虑多个待识别医学图像在各自风格特征上的差异，进而能够提高识别得到的扫描图像类别的准确性，且由于能够对多个待识别医学图像的风格特征表示进行分类处理，并得到每一待识别医学图像的扫描图像类别，故能够一次得到多个待识别医学图像的扫描图像类别，从而能够提高图像识别的效率，故此，上述方案能够提高图像识别的效率和准确性。
请参阅图2，图2是训练识别网络一实施例的流程示意图。具体而言，识别网络包括前述实施例中的内容编码子网络、风格编码子网络、分类处理子网络和区域分割子网络，具体过程如下：
步骤S21：获取多个样本医学图像，其中，多个样本医学图像标注有其真实扫描图像类别和真实病灶区域。
一次训练过程中所使用的多个样本医学图像可以是对同一对象扫描得到的。例如，某次训练所采用的样本医学图像可以是对对象A扫描得到的，另一次训练所采用的样本医学图像可以是对对象B扫描得到的。
样本医学图像也可以包括CT图像、MR图像，在此不做限定。具体可以参阅前述实施例中的待识别医学图像，在此不再赘述。
样本医学图像所标注的真实扫描图像类别和真实病灶区域可以是临床医生、影像科医生等具有医学影像知识的人员标注的。扫描图像类别具体可以根据实际情况进行设置，例如，样本医学图像是对肝脏进行扫描得到的，则扫描图像类别具体可以包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期；或者，扫描图像类别还可以包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像，具体可以参阅前述实施例中的相关步骤，在此不再赘述。当样本医学图像是对其他脏器扫描得到时，可以以此类推，在此不再一一举例。真实病灶区域可以采用多边形进行标注，例如，可以采用多边形标注病灶轮廓等，在此不做限定。
请结合参阅图3，图3是训练识别网络一实施例的状态示意图。如图3所示，在一次训练过程中，可以获取样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n，其中，n的数值可以根据实际情况进行设置，例如，当扫描图像类别包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时，n的数值可以设置为小于或等于5的整数，例如，5、4、3等等；或者，当扫描图像类别包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像时，n的数值可以设置为小于或等于5的整数，例如，5、4、3等等；或者，当扫描图像类别既包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像，也包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时，n的数值可以设置为小于或等于10的整数，例如，10、9、8等等，具体可以根据实际情况进行设置，在此不做限定。
步骤S22：利用风格编码子网络分别提取每一样本医学图像的样本风格特征表示，并利用内容编码子网络分别提取每一样本医学图像的样本内容特征表示。
风格编码子网络和内容编码子网络的网络结构具体可以参阅前述实施例中的相关步骤，在此不再赘述。请结合参阅图3，样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n在经过风格编码子网络进行风格特征提取之后，可以分别得到样本风格特征表示1、样本风格特征表示2、样本风格特征表示3、……、样本风格特征表示n；经过内容编码子网络进行内容特征提取之后，可以分别得到样本内容特征表示1、样本内容特征表示2、样本内容特征表示3、……、样本内容特征表示n。样本风格特征表示和样本内容特征表示具体可以参考前述实施例中的风格特征表示、内容特征表示，在此不再赘述。
步骤S23：利用分类处理子网络对多个样本医学图像的样本风格特征表示进行分类处理，得到每一样本医学图像的预测扫描图像类别，并利用区域分割子网络对多个样本医学图像的样本内容特征表示进行病灶识别，得到每一样本医学图像中的预测病灶区域。
在一个实施场景中，可以对多个样本医学图像的样本风格特征表示进行拼接处理，得到最终样本风格特征表示，并利用分类处理子网络对最终样本风格特征表示进行分类处理，得到每一样本医学图像的预测扫描图像类别，从而最终样本风格特征表示能够表示每一样本医学图像的样本风格特征表示与其他样本医学图像的样本风格特征表示之间的差异，故利用分类处理子网络对最终样本风格特征表示进行分类处理时，能够提高分类处理的准确性。
如图3所示，在利用分类处理子网络对样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n的样本风格特征表示进行分类处理时，可以将上述样本医学图像的样本风格特征进行拼接处理(或堆叠处理等其他处理方式，具体可以参阅前述公开实施例，在此不再赘述)，得到最终样本风格特征表示，从而利用分类处理子网络对最终样本风格特征表示进行分类处理，得到样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n的预测扫描图像类别。
在一个实施场景中，可以将多个样本医学图像的样本内容特征表示进行融合处理，得到最终样本内容特征表示，并利用区域分割子网络对最终样本内容特征表示进行病灶识别，得到每一样本医学图像中的预测病灶区域，从而能够有利于使最终样本内容特征表示补偿单一样本医学图像中可能存在的病灶不明显或运动干扰产生的伪影等问题，从而在利用区域分割子网络对最终样本内容特征表示进行病灶识别时，能够提高病灶识别的准确性。具体地，上述融合处理的操作可以包括以下任一者：将多个样本医学图像的样本内容特征表示进行拼接处理，利用至少一个卷积层对多个样本医学图像的样本内容特征表示进行特征提取，且最终样本内容特征表示和多个样本医学图像的内容特征表示的维度相同。具体可以参阅前述实施例中的相关步骤，在此不再赘述。
如图3所示，在利用区域分割子网络对样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n的样本内容特征表示进行病灶识别时，可以将上述样本医学图像的样本内容特征表示进行融合处理(如，拼接处理、相加处理等，具体可以参阅前述公开实施例，在此不再赘述)，得到最终样本内容特征表示，从而利用区域分割子网络对最终样本内容特征表示进行病灶识别，得到样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n中的预测病灶区域。
步骤S24：利用真实扫描图像类别和预测扫描图像类别的差异，调整风格编码子网络和分类处理子网络的网络参数，以及利用真实病灶区域和预测病灶区域的差异，调整内容编码子网络和区域分割子网络的网络参数。
在一个实施场景中，可以利用真实扫描图像类别和预测扫描图像类别，计算得到风格编码子网络和分类处理子网络的第一损失值，并利用第一损失值调整风格编码子网络和分类处理子网络的网络参数。在一个具体的实施场景中，可以采用交叉熵损失(crossentropy loss)或者softmax逻辑损失(logistic softmax loss)等来计算第一损失值，在此不做限定。
在一个实施场景中，可以利用真实病灶区域和预测病灶区域，计算得到内容编码子网络和区域分割子网络的第二损失值，并利用第二损失值调整内容编码子网络和区域分割子网络的网络参数。在一个具体的实施场景中，可以采用二分类交叉熵损失(binarycross-entropy loss)或者dice系数损失来计算第二损失值，在此不做限定。具体地，dice系数损失是一种集合相似度度量函数，通常用于计算两个样本的相似度(范围为0～1)，具体可以采用下式进行计算：
Figure BDA0002699983240000171
上式中，lossdice表示以dice系数损失计算得到的第二损失值，X表示真实病灶区域，Y表示预测病灶区域，X∩Y表示真实病灶区域与预测病灶区域的交集。
在一个实施场景中，为了提高扫描图像类别识别的准确性，还可以在训练过程中，获取每一样本医学图像的样本风格特征表示的样本数据分布情况，并利用样本数据分布情况之间的差异，调整风格编码子网络的网络参数，进而能够有利于使得后续提取到的风格特征表示之间相互独立，故能够有利于提高识别到的扫描图像类别的准确性。具体地，可以在训练过程中，采用KL散度度量样本数据分布情况之间的差异，并将其作为第三损失值，以此来约束风格特征表示的分布。KL散度(Kullback–Leibler divergence)，又称相对熵(relative entropy)，是描述两个概率分布P和Q差异的一种方法，具体可以采用下式进行计算：
Figure BDA0002699983240000181
上式中，μ(X)和λ(X)分别表示两个样本风格特征表示的样本数据分布情况，Eμ表示其中一个样本风格特征表示的概率分布期望，μ(x)和λ(x)分别表示两个样本风格特征表示中的元素x在各自样本数据分布情况中的分布概率。在一个具体的实施场景中，可以采用高斯分布函数获取样本风格特征表示的样本数据分布情况，从而通过上述训练，能够使风格编码子网络后续提取得到的风格特征表示为中心相同且各向异性的高斯分布，进而故能够有利于提高识别到的扫描图像类别的准确性。
在一个实施场景中，为了能够使风格编码子网络尽可能地提取到完整准确的风格特征，而内容编码子网络尽可能地提取到完整准确的风格特征，还可以利用一样本风格特征表示和一样本内容特征表示，构建得到与样本风格特征表示对应的重建图像，并利用重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异，调整风格编码子网络和内容编码子网络的网络参数，从而能够在训练过程中使重建图像与对应的样本医学图像尽可能地相同，进而能够使风格编码子网络尽可能地提取到完整准确的风格特征，而内容编码子网络尽可能地提取到完整准确的风格特征，故此能够有利于提高后续扫描图像类别以及病灶识别的准确性，具体地，可以将重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异作为第四损失值。在一个具体的实施场景中，可以利用每一样本医学图像的样本风格特征表示和样本内容特征表示，得到对应样本医学图像的域内重建图像，并利用每一样本医学图像及其域内重建图像的差异，调整风格编码子网络和内容编码子网络的网络参数，从而确保分解得到的样本内容特征表示和样本风格特征表示能够稳定重建其自身，防止中途变异。在另一个具体的实施场景中，还可以利用每一样本医学图像的样本风格特征表示和任一其他样本医学图像的样本内容特征表示(或最终样本内容特征表示)，得到对应样本医学图像的跨域重建图像，并利用每一样本医学图像及其跨域重建图像的差异，调整风格编码子网络和内容编码子网络的网络参数，从而确保提取得到的内容特征表示是医学图像之间真正彼此重合的基础特征集。具体地，在训练过程中，可以利用生成器实现重建，利用鉴别器鉴定重建图像是真实的样本医学图像还是重建得到的图像，故可以采用生成对抗损失(Generative Adversarial Networks loss，GAN loss)来度量上述跨域重建的损失值，以及L1范数损失来度量上述域内重建的损失值，具体在此不再赘述。
如图3所示，在进行图像重建时，可以将样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n分别对应的样本内容特征表示1、样本内容特征表示2、样本内容特征表示3、……、样本内容特征表示n进行融合处理，得到最终样本内容特征表示，并分别将样本医学图像1、样本医学图像2、样本医学图像3、……、样本医学图像n对应的样本风格特征表示1、样本风格特征表示2、样本风格特征表示3、……、样本风格特征表示n与最终样本内容特征表示进行重建，得到重建图像1、重建图像2、重建图像3、……、重建图像n，从而实现域内重建，并采用L1范数损失来度量上述域内重建的损失值。此外，还可以采用样本医学图像1对应的样本风格特征表示1与其他样本医学图像(即样本医学图像2～n)对应的样本内容特征表示进行跨域重建，其他样本医学图像以此类推，并采用生成对抗损失(GANloss)来度量上述跨域重建的损失值。
在一个实施场景中，还可以同时计算上述第一损失值、第二损失值、第三损失值和第四损失值，并根据这些损失值来对识别网络的网络参数进行调整，以提高内容编码子网络对于病灶相关的内容特征的获取度，使风格编码子网络不响应与病灶相关的特征，提高图像识别的鲁棒性，并使得后续提取到的风格特征表示之间相互独立，且使风格编码子网络能够提取到完整准确的风格特征表示，内容编码子网络能够提取到完整准确的内容特征表示，从而提高图像识别的准确性。
区别于前述实施例，在对风格编码子网络和分类处理子网络进行训练的同时，加入对内容编码子网络和区域分割子网络的训练，从而能够在提高区域分割子网络的病灶识别能力的同时，提高内容编码子网络对于病灶相关的内容特征的获取度，进而能够有利于使得风格编码子网络不响应与病灶相关的特征，使后续分类时不受病灶相关特征的影响，故能够提高图像识别的鲁棒性。
请参阅图4，图4是本申请图像识别装置40一实施例的框架示意图。图像识别装置40包括图像获取模块41、风格提取模块42和分类处理模块43，图像获取模块41用于获取多个待识别医学图像；风格提取模块42用于分别提取每一待识别医学图像的风格特征表示；分类处理模块43用于对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
上述方案，通过获取多个待识别医学图像，并提取每一待识别医学图像的风格特征表示，从而对多个待识别医学图像的风格特征表示进行分类处理，故能够在分类处理时，考虑多个待识别医学图像在各自风格特征上的差异，进而能够提高识别得到的扫描图像类别的准确性，且由于能够对多个待识别医学图像的风格特征表示进行分类处理，并得到每一待识别医学图像的扫描图像类别，故能够一次得到多个待识别医学图像的扫描图像类别，从而能够提高图像识别的效率，故此，上述方案能够提高图像识别的效率和准确性。
在一些实施例中，分类处理模块43包括第一融合处理子模块，用于将多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示，分类处理模块43包括分类处理子模块，用于对最终风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别。
区别于前述实施例，在对多个待识别医学图像的风格特征表示进行分类处理时，将多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示，故最终风格特征表示能够表示每一待识别医学图像的风格特征表示与其他待识别医学图像的风格特征表示之间的差异，故利用最终风格特征表示进行分类处理能够提高识别得到的扫描图像类别的准确性。
在一些实施例中，图像识别装置40还包括图像排除模块，用于将多个待识别医学图像按照其扫描图像类别进行排序，图像识别装置40还包括图像显示模块，用于将按照扫描图像类别进行排序后的至少一个待识别医学图像进行同屏显示，图像识别装置40还包括第一预警模块，用于在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员，图像识别装置40还包括第二预警模块，用于在多个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员，图像识别装置40还包括第三预警模块，用于在所述待识别医学图像的扫描图像类别的分类置信度小于预设置信度阈值时，输出第三预警信息，提示扫描人员。
区别于前述实施例，在确定得到每一待识别医学图像所属的扫描图像类别之后，执行将至少一个待识别医学图像按照其扫描图像类别进行排序，能够提高医生阅片的便捷性；将按照扫描图像类别进行排序后的至少一个待识别医学图像进行同屏显示，能够免去医生翻阅待识别医学图像时来回对照，从而能够提高医生阅片的效率；在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员，在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
在一些实施例中，图像识别装置40还包括预处理模块，用于对每一待识别医学图像进行预处理，其中，预处理包括以下至少一种：将待识别医学图像的图像尺寸调整至预设尺寸，将待识别医学图像的图像强度归一化至预设范围。
区别于前述实施例，在提取风格特征表示之前，对每一目标区域的图像数据进行预处理，且预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围，故能够有利于提高后续图像识别的准确性。
在一些实施例中，图像识别装置40还包括内容提取模块，用于分别提取每一待识别医学图像的内容特征表示，图像识别装置40还包括病灶识别模块，用于对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
区别于前述实施例，通过提取每一待识别医学图像的内容特征表示，并对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，能够在得到每一待识别医学图像的扫描图像类别的同时，确定其中的病灶区域，故能够有利于提高整体阅片效能，同时能够有利于消除病灶对扫描图像类别识别带来的干扰，从而能够提高图像识别的准确性。
在一些实施例中，病灶识别模块包括融合处理子模块，用于将多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示，病灶识别模块包括病灶识别子模块，用于对最终内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
区别于前述实施例，将多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示，能够有利于使最终内容特征表示补偿单一待识别医学图像中可能存在的病灶不明显或运动干扰产生的伪影等问题，从而在利用最终内容特征表示进行病灶识别时，能够提高病灶识别的准确性。
在一些实施例中，病灶识别模块还包括病灶提示子模块，用于提示当前显示的待识别医学图像的病灶区域。
区别于前述实施例，通过提示当前显示的待识别医学图像的病灶区域，能够提升医生阅片体验。
在一些实施例中，第二融合处理子模块具体用于执行以下任一者：将多个待识别医学图像的内容特征表示进行拼接处理；将多个待识别医学图像的内容特征表示进行相加处理；其中，最终内容特征表示和多个待识别医学图像的内容特征表示的维度相同。
区别于前述实施例，通过将多个待识别医学图像的内容特征表示进行拼接处理，或者将多个待识别医学图像的内容特征表示进行相加处理中的任一者，得到最终内容特征表示，且最终内容特征表示和多个待识别医学图像的内容特征表示的维度相同，能够通过多种方式得到最终内容特征表示，从而能够提高图像识别的鲁棒性。
在一些实施例中，风格提取模块42具体用于利用识别网络的风格编码子网络分别提取每一待识别医学图像的风格特征表示，分类处理模块43具体用于利用识别网络的分类处理子网络对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别，内容提取模块具体用于利用识别网络的内容编码子网络分别提取每一待识别医学图像的内容特征表示，病灶识别模块具体用于利用识别网络的区域分割子网络对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域。
区别于前述实施例，利用识别网络的风格编码子网络分别提取每一待识别医学图像的风格特征表示，利用识别网络的分类处理子网络对多个待识别医学图像的风格特征表示进行分类处理，得到每一待识别医学图像的扫描图像类别，利用识别网络的内容编码子网络分别提取每一待识别医学图像的内容特征表示，利用识别网络的区域分割子网络对多个待识别医学图像的内容特征表示进行病灶识别，得到每一待识别医学图像中的病灶区域，能够利用识别网络执行风格特征表示的提取、分类处理、内容特征表示的提取以及病灶识别等任务，故能够有利于提高图像识别的效率。
在一些实施例中，图像识别装置40还包括样本获取模块，用于获取多个样本医学图像，其中，多个样本医学图像标注有其真实扫描图像类别和真实病灶区域，图像识别装置40还包括特征提取模块，用于利用风格编码子网络分别提取每一样本医学图像的样本风格特征表示，并利用内容编码子网络分别提取每一样本医学图像的样本内容特征表示，图像识别装置40还包括识别处理模块，用于利用分类处理子网络对多个样本医学图像的样本风格特征表示进行分类处理，得到每一样本医学图像的预测扫描图像类别，并利用区域分割子网络对多个样本医学图像的样本内容特征表示进行病灶识别，得到每一样本医学图像中的预测病灶区域，图像识别装置40还包括第一调整模块，用于利用真实扫描类别和预测扫描类别的差异，调整风格编码子网络和分类处理子网络的网络参数，以及利用真实病灶区域和预测病灶区域的差异，调整内容编码子网络和区域分割子网络的网络参数。
区别于前述实施例，在对风格编码子网络和分类处理子网络进行训练的同时，加入对内容编码子网络和区域分割子网络的训练，从而能够在提高区域分割子网络的病灶识别能力的同时，提高内容编码子网络对于病灶相关的内容特征的获取度，进而能够有利于使得风格编码子网络不响应与病灶相关的特征，使后续分类时不受病灶相关特征的影响，故能够提高图像识别的鲁棒性。
在一些实施例中，图像识别装置40还包括分布获取模块，用于获取每一样本医学图像的样本风格特征表示的样本数据分布情况，图像识别装置40还包括第二调整模块，用于利用样本数据分布情况之间的差异，调整风格编码子网络的网络参数。
区别于前述实施例，在训练过程中，同时获取样本数据分布情况，并利用样本数据分布情况之间的差异，调整风格编码子网络的网络参数，故能够有利于使后续提取到风格特征表示之间相互独立，从而能够有利于提高识别到的扫描图像类别的准确性。
在一些实施例中，图像识别装置40还包括图像重建模块，用于利用一样本风格特征表示和一内容特征表示，构建得到与样本风格特征表示对应的重建图像，图像识别装置40还包括第三调整模块，用于利用重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异，调整风格编码子网络和内容编码子网络的网络参数。
区别于前述实施例，在训练过程中，同时利用一样本风格特征表示和一内容特征表示，构建得到与样本风格特征表示对应的重建图像，并利用重建图像与对应的样本风格特征表示所属的样本医学图像之间的差异，调整风格编码子网络和内容编码子网络的网络参数，从而能够使风格编码子网络尽可能地提取到完整准确的风格特征，而内容编码子网络尽可能地提取到完整准确的风格特征，进而能够有利于提高后续扫描图像类别以及病灶识别的准确性。
在一些实施例中，风格编码子网络包括：顺序连接的下采样层和全局池化层；和/或，内容编码子网络包括以下任一者：顺序连接的下采样层和残差块、顺序连接的卷积层和池化层。
区别于前述实施例，通过将风格编码子网络设置为包括顺序连接的下采样层和全局池化层，能够有利于在简化网络结构的同时便于网络训练；通过将内容编码子网络设置为包括以下任一者：顺序连接的下采样层和残差块、顺序连接的卷积层和池化层，能够有利于在简化网络结构的同时便于网络训练。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一图像识别方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一图像识别方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，能够提高图像识别的效率和准确性。
请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一图像识别方法实施例的步骤。
上述方案，能够提高图像识别的效率和准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (15)

1.一种图像识别方法，其特征在于，包括：
获取多个待识别医学图像；
分别提取每一所述待识别医学图像的风格特征表示；
对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别。
2.根据权利要求1所述的图像识别方法，其特征在于，所述对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别包括：
将所述多个待识别医学图像的风格特征表示进行第一融合处理，得到最终风格特征表示；
对所述最终风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别。
3.根据权利要求1或2所述的图像识别方法，其特征在于，所述对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别之后，所述图像识别方法还包括以下至少一者：
将所述多个待识别医学图像按照其扫描图像类别进行排序；
将按照扫描图像类别进行排序后的至少一个所述待识别医学图像进行同屏显示；
若所述待识别医学图像的扫描图像类别存在重复，则输出第一预警信息，以提示扫描人员；
若所述多个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，则输出第二预警信息，以提示扫描人员；
若所述待识别医学图像的扫描图像类别的分类置信度小于预设置信度阈值，则输出第三预警信息，以提示扫描人员。
4.根据权利要求1至3任一项所述的图像识别方法，其特征在于，所述分别提取每一所述待识别医学图像的风格特征表示之前，所述方法还包括：
对每一所述待识别医学图像进行预处理，其中，所述预处理包括以下至少一种：将所述待识别医学图像的图像尺寸调整至预设尺寸，将所述待识别医学图像的图像强度归一化至预设范围。
5.根据权利要求1至4任一项所述的图像识别方法，其特征在于，所述方法还包括：
分别提取每一所述待识别医学图像的内容特征表示；
对所述多个待识别医学图像的内容特征表示进行病灶识别，得到每一所述待识别医学图像中的病灶区域。
6.根据权利要求5所述的图像识别方法，其特征在于，所述对所述多个待识别医学图像的内容特征表示进行病灶识别，得到每一所述待识别医学图像中的病灶区域包括：
将所述多个待识别医学图像的内容特征表示进行第二融合处理，得到最终内容特征表示；
对所述最终内容特征表示进行病灶识别，得到每一所述待识别医学图像中的病灶区域；
和/或，所述方法还包括：
提示当前显示的所述待识别医学图像的病灶区域。
7.根据权利要求6所述的图像识别方法，其特征在于，所述第二融合处理的操作包括以下任一者：
将所述多个待识别医学图像的内容特征表示进行拼接处理；
将所述多个待识别医学图像的内容特征表示进行相加处理；
其中，所述最终内容特征表示和所述多个待识别医学图像的内容特征表示的维度相同。
8.根据权利要求5至7任一项所述的图像识别方法，其特征在于，所述分别提取每一所述待识别医学图像的风格特征表示，包括：
利用识别网络的风格编码子网络分别提取每一所述待识别医学图像的风格特征表示；
所述对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别，包括：
利用所述识别网络的分类处理子网络对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别；
所述分别提取每一所述待识别医学图像的内容特征表示，包括：
利用所述识别网络的内容编码子网络分别提取每一所述待识别医学图像的内容特征表示；
所述对所述多个待识别医学图像的内容特征表示进行病灶识别，得到每一所述待识别医学图像中的病灶区域，包括：
利用所述识别网络的区域分割子网络对所述多个待识别医学图像的内容特征表示进行病灶识别，得到每一所述待识别医学图像中的病灶区域。
9.根据权利要求8所述的图像识别方法，其特征在于，所述分别提取每一所述待识别医学图像的风格特征表示之前，所述图像识别方法还包括：
获取多个样本医学图像，其中，所述多个样本医学图像标注有其真实扫描图像类别和真实病灶区域；
利用所述风格编码子网络分别提取每一所述样本医学图像的样本风格特征表示，并利用所述内容编码子网络分别提取每一所述样本医学图像的样本内容特征表示；
利用所述分类处理子网络对所述多个样本医学图像的样本风格特征表示进行分类处理，得到每一所述样本医学图像的预测扫描图像类别，并利用所述区域分割子网络对所述多个样本医学图像的样本内容特征表示进行病灶识别，得到每一所述样本医学图像中的预测病灶区域；
利用所述真实扫描图像类别和所述预测扫描图像类别的差异，调整所述风格编码子网络和所述分类处理子网络的网络参数，以及利用所述真实病灶区域和所述预测病灶区域的差异，调整所述内容编码子网络和所述区域分割子网络的网络参数。
10.根据权利要求9所述的图像识别方法，其特征在于，所述图像识别方法还包括：
获取每一所述样本医学图像的样本风格特征表示的样本数据分布情况；
利用所述样本数据分布情况之间的差异，调整所述风格编码子网络的网络参数。
11.根据权利要求9所述的图像识别方法，其特征在于，所述图像识别方法还包括：
利用一所述样本风格特征表示和一所述内容特征表示，构建得到与所述样本风格特征表示对应的重建图像；
利用所述重建图像与对应的所述样本风格特征表示所属的所述样本医学图像之间的差异，调整所述风格编码子网络和所述内容编码子网络的网络参数。
12.根据权利要求8所述的图像识别方法，其特征在于，所述风格编码子网络包括：顺序连接的下采样层和全局池化层；
和/或，所述内容编码子网络包括以下任一者：顺序连接的下采样层和残差块、顺序连接的卷积层和池化层。
13.一种图像识别装置，其特征在于，包括：
图像获取模块，用于获取多个待识别医学图像；
风格提取模块，用于分别提取每一所述待识别医学图像的风格特征表示；
分类处理模块，用于对所述多个待识别医学图像的风格特征表示进行分类处理，得到每一所述待识别医学图像的扫描图像类别。
14.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至12任一项所述的图像识别方法。
15.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至12任一项所述的图像识别方法。
CN202011018760.7A 2020-09-24 2020-09-24 图像识别方法及相关装置、设备 Withdrawn CN112036506A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011018760.7A CN112036506A (zh) 2020-09-24 2020-09-24 图像识别方法及相关装置、设备
PCT/CN2021/106479 WO2022062590A1 (zh) 2020-09-24 2021-07-15 图像识别方法及装置、设备、存储介质和程序
TW110131345A TW202221568A (zh) 2020-09-24 2021-08-24 圖像識別方法、電子設備、電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011018760.7A CN112036506A (zh) 2020-09-24 2020-09-24 图像识别方法及相关装置、设备

Publications (1)

Publication Number Publication Date
CN112036506A true CN112036506A (zh) 2020-12-04

Family

ID=73574303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011018760.7A Withdrawn CN112036506A (zh) 2020-09-24 2020-09-24 图像识别方法及相关装置、设备

Country Status (3)

Country Link
CN (1) CN112036506A (zh)
TW (1) TW202221568A (zh)
WO (1) WO2022062590A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516757A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN113516758A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
WO2022062590A1 (zh) * 2020-09-24 2022-03-31 上海商汤智能科技有限公司 图像识别方法及装置、设备、存储介质和程序
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN115294110A (zh) * 2022-09-30 2022-11-04 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质
CN117351197A (zh) * 2023-12-04 2024-01-05 北京联影智能影像技术研究院 图像分割方法、装置、计算机设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447966A (zh) * 2018-10-26 2019-03-08 科大讯飞股份有限公司 医学图像的病灶定位识别方法、装置、设备及存储介质
CN110504029B (zh) * 2019-08-29 2022-08-19 腾讯医疗健康(深圳)有限公司 一种医学图像处理方法、医学图像识别方法及装置
CN111340083A (zh) * 2020-02-20 2020-06-26 京东方科技集团股份有限公司 医学图像的处理方法、装置、设备及存储介质
CN112036506A (zh) * 2020-09-24 2020-12-04 上海商汤智能科技有限公司 图像识别方法及相关装置、设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022062590A1 (zh) * 2020-09-24 2022-03-31 上海商汤智能科技有限公司 图像识别方法及装置、设备、存储介质和程序
CN113516757A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN113516758A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN115294110A (zh) * 2022-09-30 2022-11-04 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质
CN115294110B (zh) * 2022-09-30 2023-01-06 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质
CN117351197A (zh) * 2023-12-04 2024-01-05 北京联影智能影像技术研究院 图像分割方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
TW202221568A (zh) 2022-06-01
WO2022062590A1 (zh) 2022-03-31

Similar Documents

Publication Publication Date Title
Kazeminia et al. GANs for medical image analysis
CN111507381B (zh) 图像识别方法及相关装置、设备
CN112036506A (zh) 图像识别方法及相关装置、设备
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
WO2022121100A1 (zh) 一种基于darts网络的多模态医学图像融合方法
CN110945564B (zh) 基于混合上下文cnn模型的医学图像分割
CN111815735B (zh) 一种人体组织自适应的ct重建方法及重建系统
Xia et al. Recovering from missing data in population imaging–Cardiac MR image imputation via conditional generative adversarial nets
Singh et al. Medical image generation using generative adversarial networks
CN112329844A (zh) 图像目标分类方法及相关装置、设备、存储介质
Mooij et al. Automatic segmentation of prostate zones
CN116630463A (zh) 一种基于多任务学习的增强ct图像生成方法和系统
Baumgartner et al. Fully convolutional networks in medical imaging: applications to image enhancement and recognition
Sander et al. Autoencoding low-resolution MRI for semantically smooth interpolation of anisotropic MRI
Zhang et al. Harmonizing pathological and normal pixels for pseudo-healthy synthesis
CN115861175A (zh) 医疗影像质量监控方法、装置、电子设备和存储介质
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
Kascenas et al. Anomaly detection via context and local feature matching
CA3104607A1 (en) Contrast-agent-free medical diagnostic imaging
CN115294110B (zh) 扫描期的识别方法、装置、电子设备和存储介质
US20240153089A1 (en) Systems and methods for processing real-time cardiac mri images
WO2024113170A1 (zh) 基于循环生成对抗网络的医学图像跨模态合成方法及装置
Jog Image Synthesis in Magnetic Resonance Neuroimaging
Tang Quantitative Imaging Biomarkers: Combining Data-Centric Deep Learning with Anatomical Context
WO2023089589A1 (en) A contrast enhancing agent for diagnostic imaging methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40033017

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201204