CN111507381A - 图像识别方法及相关装置、设备 - Google Patents

图像识别方法及相关装置、设备 Download PDF

Info

Publication number
CN111507381A
CN111507381A CN202010246970.5A CN202010246970A CN111507381A CN 111507381 A CN111507381 A CN 111507381A CN 202010246970 A CN202010246970 A CN 202010246970A CN 111507381 A CN111507381 A CN 111507381A
Authority
CN
China
Prior art keywords
image
medical image
identified
feature representation
representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010246970.5A
Other languages
English (en)
Other versions
CN111507381B (zh
Inventor
叶宇翔
陈翼男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN202010246970.5A priority Critical patent/CN111507381B/zh
Publication of CN111507381A publication Critical patent/CN111507381A/zh
Priority to KR1020227004540A priority patent/KR20220031695A/ko
Priority to PCT/CN2021/078748 priority patent/WO2021196955A1/zh
Priority to JP2021577453A priority patent/JP2022539162A/ja
Priority to TW110109423A priority patent/TWI776426B/zh
Application granted granted Critical
Publication of CN111507381B publication Critical patent/CN111507381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Hardware Redundancy (AREA)

Abstract

本申请公开了一种图像识别方法及相关装置、设备，其中，图像识别方法包括：获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域；分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别。上述方案，能够提高图像识别的效率和准确性。

Description

图像识别方法及相关装置、设备
技术领域
本申请涉及人工智能技术领域，特别是涉及一种图像识别方法及相关装置、设备。
背景技术
CT(Computed Tomography，计算机断层扫描)和MRI(Magnetic ResonanceImaging，核磁共振扫描)等医学图像在临床具有重要意义。为了使医学图像应用于临床，一般需要扫描得到至少一种扫描图像类别的医学图像。以与肝脏相关的临床为例，扫描图像类别往往包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期等等，此外，扫描图像类别还可以包含与扫描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像等等。
目前，在扫描过程中，通常需要放射科医师鉴别扫描得到的医学图像的扫描图像类别，以确保获取所需要的医学图像；或者，在住院或门诊诊疗时，通常需要医生对扫描得到的医学图像进行识别，判断每一医学图像的扫描图像类别，再进行阅片。然而，上述通过人工识别医学图像的扫描图像类别的方式，效率较低，且易受主观影响而难以确保准确性。故此，如何提高图像识别的效率和准确性成为亟待解决的问题。
发明内容
本申请提供一种图像识别方法及相关装置、设备。
本申请第一方面提供了一种图像识别方法，包括：获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域；分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别。
因此，通过获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域，从而分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，能够排除其他脏器的干扰，有利于提高识别准确性，并将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，进而每一待识别医学图像的个体特征表示和全局特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性，且通过特征表示来进行图像识别，能够免于人工参与，故能够提高图像识别的效率。
其中，将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示包括：将至少一个待识别医学图像的个体特征表示进行全局池化处理，得到全局特征表示。
因此，通过将至少一个待识别医学图像的个体特征表示进行全局池化处理，能够快速方便地得到全局特征表示，故能够有利于提高后续图像识别的效率。
其中，将至少一个待识别医学图像的个体特征表示进行全局池化处理，得到全局特征表示包括：将至少一个待识别医学图像的个体特征表示进行全局最大池化处理，得到第一全局特征表示；以及，将至少一个待识别医学图像的个体特征表示进行全局平均池化处理，得到第二全局特征表示；将第一全局特征表示和第二全局特征表示进行拼接处理，得到全局特征表示。
因此，通过将至少一个待识别医学图像的个体特征表示进行全局最大池化处理，得到第一全局特征表示，并将至少一个待识别医学图像的个体特征表示进行全局平均池化处理，得到第二全局特征表示，从而将第一全局特征表示和第二全局特征表示进行拼接处理，得到全局特征表示，故能够有利于后续准确地表示每一待识别医学图像与其他待识别医学图像之间的差异，从而能够有利于提高后续图像识别的准确性。
其中，利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别包括：利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示，利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别。
因此，利用每一待识别医学图像的个体特征表示和全局特征表示所得到的最终特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性。
其中，利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示包括：分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理，得到待识别医学图像对应的最终特征表示。
因此，通过分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理，能够快速得到待识别医学图像对应的最终特征表示，故能够有利于提高后续图像识别的效率。
其中，分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示包括：利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示包括：利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，并利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示；利用每个待识别医学特征的最终特征表达，确定每一待识别医学图像所属的扫描图像类别，包括：利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类，得到每一待识别医学图像所属的扫描图像类别。
因此，通过利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，并利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，利用每一待识别医学图像的个体特征表示和全体特征表示，得到每一待识别医学图像的最终特征表示，从而利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类，得到每一待识别医学图像所属的扫描图像类别，故能够通过识别网络最终获得待识别医学图像所属的扫描图像类别，从而能够进一步提高图像识别的效率。
其中，识别网络是利用样本医学图像训练得到的，每次训练识别网络所使用的样本医学图像数量不固定。
因此，每次训练识别网络采用的样本医学图像的数量并不固定，能够随机化样本医学图像的数量，从而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时，也能够准确地进行图像识别，进而能够提高图像识别准确性。
其中，特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层；和/或，识别网络包括预设数量个特征提取子网络；利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示包括：将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示。
因此，特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层，故通过稠密卷积块的连接策略，即每一卷积层下的特征与下一层紧密拼接，并传递后后面的每一层，能够有效的缓解梯度消失问题，且加强特征传播以及特征复用，并能够极大地减少参数数量；而将识别网络设置为包括预设数量个特征提取子网络，并将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示，能够将至少一个目标区域的图像数据的特征提取操作并行处理，故能够有利于提高图像识别的效率。
其中，分别确定每个待识别医学图像中与目标脏器对应的目标区域包括：利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息；利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域。
因此，利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息，故不仅能够考虑所需识别的目标脏器，还能够考虑周边毗邻脏器，从而利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域，能够确保在经手术治疗等情况下脏器形态发生改变时，也能够定位得到目标脏器对应的目标区域，故能够提高图像识别的鲁棒性。
其中，待识别医学图像为三维图像，利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息之前，方法还包括：将每一待识别医学图像沿冠状面进行划分，得到多个三维子图像；将每一子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像；利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息包括：利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测，得到第一位置信息和第二位置信息。
因此，在待识别医学图像为三维图像时，将每一待识别医学图像沿冠状面进行划分，得到多个三维子图像，并将每一子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像，从而利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测，得到第一位置信息和第二位置信息，能够进一步提高目标脏器对应的目标区域定位的准确性。
其中，目标脏器为肝脏，毗邻脏器包括肾脏、脾脏中的至少一者；和/或，第一位置信息包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸，第二位置信息至少包括毗邻脏器对应区域的至少一个顶点位置。
因此，将目标脏器设置为肝脏，毗邻脏器设置为包括肾脏、脾脏中的至少一者，能够有利于定位得到肝脏对应的目标区域；将第一位置信息设置为包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸，第二位置信息设置为至少包括毗邻脏器对应区域的至少一个顶点位置，能够有利于精确地定位目标脏器对应的目标区域。
其中，利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别之后，方法还包括以下至少一者：将至少一个待识别医学图像按照其扫描图像类别进行排序；若待识别医学图像的扫描图像类别存在重复，则输出第一预警信息，以提示扫描人员；若至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，则输出第二预警信息，以提示扫描人员。
因此，在确定得到每一待识别医学图像所属的扫描图像类别之后，执行将至少一个待识别医学图像按照其扫描图像类别进行排序，能够提高医生阅片的便捷性；在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员，在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
其中，分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示之前，方法还包括：对每一目标区域的图像数据进行预处理，其中，预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围。
因此，在特征提取之前，对每一目标区域的图像数据进行预处理，且预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围，故能够有利于提高后续图像识别的准确性。
本申请第二方面提供了一种图像识别装置，包括：区域获取模块、特征提取模块、融合处理模块和类别确定模块，区域获取模块用于获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域；特征提取模块用于分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；融合处理模块用于将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；类别确定模块用于利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别。
本申请第三方面提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的图像识别方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述第一方面中的图像识别方法。
上述方案，通过获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域，从而分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，能够排除其他脏器的干扰，有利于提高识别准确性，并将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，进而每一待识别医学图像的个体特征表示和全局特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性，且通过特征表示来进行图像识别，能够免于人工参与，故能够提高图像识别的效率。
附图说明
图1是本申请图像识别方法一实施例的流程示意图；
图2是确定待识别医学图像所属的扫描图像类别过程的状态示意图；
图3是图1中步骤S11一实施例的流程示意图；
图4是本申请图像识别装置一实施例的框架示意图；
图5是本申请电子设备一实施例的框架示意图；
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请图像识别方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域。
待识别医学图像可以包括CT图像、MR图像，在此不做限定。在一个具体的实施场景中，待识别医学图像可以是对腹部、胸部等区域进行扫描得到的，具体可以根据实际应用情况而设置，在此不做限定。例如，当肝脏、脾脏、肾脏为需要诊疗的目标脏器时，可以对腹部进行扫描，得到待识别医学图像；或者，当心脏、肺为需要诊疗的目标脏器时，可以对胸部进行扫描，得到待识别医学图像，其他情况可以以此类推，在此不再一一举例。在另一个具体的实施场景中，扫描方式可以是平扫、增强扫描等方式，在此不做限定。在又一个具体的实施场景中，待识别医学图像可以是三维图像，待识别医学图像中目标脏器对应的目标区域可以是三维区域，在此不做限定。
目标脏器可以根据实际应用而设置，例如，当医生需要判断肝脏是否产生病变以及病变程度等时，目标脏器可以是肝脏；或者，当医生需要判断肾脏是否产生病变以及病变程度时，目标脏器可以是肾脏，其他情况可以根据实际应用而进行设置，在此不再一一举例。在一个实施场景中，可以预先训练一用于对目标脏器进行检测的脏器检测网络，从而可以直接利用脏器检测网络对每一待识别医学图像进行检测，得到对应的目标区域。
步骤S12：分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示。
在一个实施场景中，为了提高后续图像识别的准确性，在对目标区域的图像数据进行特征提取之前，还可以对每一目标区域的图像数据进行预处理，具体地，预处理可以包括将目标区域的图像尺寸调整至预设尺寸(例如，32*256*256)。或者，预处理还可以包括将目标区域的图像强度归一化至预设范围(例如，0至1的范围)，在一个具体的实施场景中，可以采用灰度累积分布函数下预设比例(例如，99.9％)对应的灰度值作为归一化的钳位值，从而能够加强目标区域的图像数据的对比度，有利于提升后续图像识别的准确性。
在一个实施场景中，为了提升特征提取的便利性，还可以预先训练一识别网络，识别网络可以包括用于特征提取的特征提取子网络，从而可以利用特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示。
在一个具体的实施场景中，特征提取子网络包括至少一组顺序连接的稠密卷积块(Dense Block)和池化层，稠密卷积块中每一层卷积下特征与下一层进行紧密拼接，并且传递后后面的每一层，从而使得特征和梯度的传递更加有效。具体地，特征提取子网络可以包括三组顺序连接的稠密卷积块和池化层，其中，除最后一组所包含的池化层为自适应池化外，其他组所包含的池化层为最大池化；此外，特征提取子网络还可以包括一组、两组、四组等其他数量组顺序连接的稠密卷积块(Dense Block)和池化层，在此不做限定。
在另一个具体的实施场景中，识别网络中具体可以包括预设数量个特征提取子网络，从而可以将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示，进而能够将每一目标区域的图像数据的特征提取操作并行处理，故能够提高特征提取的效率，能够有利于提高后续图像识别的效率，此外，预设数量可以大于或等于扫描图像类别的种类，例如，当扫描图像类别包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时，预设数量可以设置为大于或等于5的整数，例如，5、6、7等等，在此不做限定；或者，当扫描图像类别包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像时，预设数量可以设置为大于或等于5的整数，例如，5、6、7等等，在此不做限定；或者，当扫描图像类别既包括与描参数有关的T1加权反相成像、T1加权同相成像、T2加权成像、扩散加权成像、表面扩散系数成像，也包括与时序有关的造影前平扫、动脉早期、动脉晚期、门脉期、延迟期时，预设数量可以设置为大于或等于10的整数，例如，10、11、12等等。具体地，动脉早期可以表示门静脉尚未增强，动脉晚期可以表示门静脉已被增强，门脉期可以表示门静脉已充分增强且肝脏血管已被前向性血流增强、肝脏软细胞组织在标记物下已达到峰值，延迟期可以表示门脉和动脉处于增强状态并弱于门脉期、且肝脏软细胞组织处于增强状态并弱于门脉期，其他扫描图像类别在此不再一一举例。
请结合参阅图2，图2是确定待识别医学图像所属的扫描图像类别过程的状态示意图，如图2所示，以不同灰度填充的矩形框分别表示待识别医学图像1至待识别医学图像n中目标脏器对应的目标区域的图像数据提取到的个体特征表示1、个体特征表示2、个体特征表示3、……、个体特征表示n。
步骤S13：将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示。
在一个实施场景中，识别网络中还可以包括融合模块，从而可以利用融合模块将至少一个待识别医学图像的个体特征表示进行融合，进而得到全局特征表示。
在另一个实施场景中，可以将至少一个待识别医学图像的个体特征表示进行全局池化处理，得到全局特征表示。具体地，可以将至少一个待识别医学图像的个体特征表示进行全局最大池化(Global Max Pooling，GMP)处理，得到第一全局特征表示，并将至少一个待识别医学图像的个体特征表示进行全局平均池化(Global Average Pooling，GAP)处理，得到第二全局特征表示，从而将第一特征表示和第二特征表示进行拼接处理，得到全局特征表示。请继续结合参阅图2，可以将个体特征表示1、个体特征表示2、个体特征表示3、……、个体特征表示n分别进行全局最大池化和全局平均池化，得到第一全局特征表示(图2中斜线填充矩形框)和第二全局特征表示(图2中网格线填充矩形框)，并将第一全局特征表示和第二全局特征表示进行拼接处理，得到全局特征表示。
步骤S14：利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别。
具体地，可以利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示，再利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别，从而最终特征表示不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，进而在利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性。为了得到每个待识别医学图像的最终特征表示，在一个具体的实施场景中，可以利用识别网络中的融合模块利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示。在另一个具体的实施场景中，还可以将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理，得到待识别医学图像对应的最终特征表示。请结合参阅图2，如图2所示，以斜线填充矩形框表示的第一全体业主表示和以网格线填充矩形框表示的第二全体特征表示分别和以不同灰度填充矩形框表示的个体特征表示进行拼接处理，可以得到对应每一待识别医学图像的最终特征表示。
在一个实施场景中，识别网络中还可以包括分类子网络，从而可以利用分类子网络对每一待识别医学图像的最终特征表示进行预测分类，得到每一待识别医学图像所属的扫描图像类别。在一个具体的实施场景中，分类子网络中可以包括全连接层和softmax层，从而可以利用全连接层对每一待识别医学图像的最终特征表示进行特征连接，并利用softmax层进行概率归一化，得到每一待识别医学图像属于各个扫描图像类别的概率值，故可以将最大概率值对应的扫描图像类别作为待识别医学图像所属的扫描图像类别。
在一个具体的实施场景中，包含上述特征提取子网络、融合模块和分类子网络的识别网络可以是利用样本医学图像训练得到的。具体地，可以利用特征提取子网络对每一样本医学图像中标注的目标区域的图像数据进行特征提取，得到每个样本医学图像的个体特征表示，并利用融合模块将至少一个样本医学图像的个体特征表示进行融合，得到全局特征表示，利用每一样本医学图像的个体特征表示和全局特征表示，得到每一样本医学图像的最终特征表示，再利用分类子网络对每一样本医学图像的最终特征表示进行预测分类，得到每一样本医学图像所属的预测扫描图像类别，并利用每一样本医学图像的预测扫描图像类别和标注的真实扫描图像类别，确定识别网络的损失值(如交叉熵损失值)，最后利用损失值对识别网络的参数进行调整，以实现对识别网络的训练，具体可以采用随机梯度下降(Stochastic Gradient Descent，SGD)对参数进行调整。此外，为了提高识别网络的鲁棒性，每次训练识别网络所使用的样本医学图像数量可以不固定。具体而言，每次训练识别网络所使用的样本医学图像可以是属于同一对象的，且每次训练识别网络所使用的样本医学图像所属的扫描图像类别的种数可以不固定。例如，某一次训练识别网络所采用的样本医学图像属于T1加权反相成像、T1加权同相成像、T2加权成像，另一次训练识别网络所采用的样本医学图像属于扩散加权成像、表面扩散系数成像，具体可以根据实际应用情况进行设置，在此不再一一举例，从而能够随机化样本医学图像的数量，进而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时，也能够准确地进行图像识别，进而能够提高识别网络的鲁棒性。此外，为了使识别结果不受统计学差异影响，还可以设置训练集和验证集，且从具有不同脏器损伤类型的对象中按照预设比例(如3：1)进行随机选择，分别作为训练集和验证集。
在另一个具体的实施场景中，可以将上述经训练的识别网络设置于影像后处理工作站、摄片工作站、计算机辅助阅片系统等，从而能够实现对待识别医学图像的自动识别，提高识别效率。
在又一个具体的实施场景中，在验证阶段，可以将在一次扫描过程中属于同一对象的全部待识别医学图像在一次识别过程中，进行全部识别，从而能够对识别网络的性能进行全面验证；在应用阶段，可以将在一次扫描过程中属于同一对象的全部待识别医学图像在一次识别过程中，进行全部识别，从而能够考虑每一待识别医学图像与其他所有待识别医学图像之间的差异，进而能够有利于提高识别的准确性。
在一个实施场景中，至少一个待识别医学图像为对同一对象扫描得到的，故为了便于医生阅片，在得到每一待识别医学图像所属的扫描图像类别之后，还可以将至少一个待识别医学图像按照其扫描图像类别进行排序，例如，可以按照T1加权反相成像、T1加权同相成像、造影前平扫、动脉早期、动脉晚期、门脉期、延迟期、T2加权成像、扩散加权成像、表面扩散系数成像的预设顺序进行排序，此外，预设顺序还可以根据医生习惯进行设置，在此不做限定，从而能够提高医生阅片的便捷性，此外，为了进一步提高阅片的便捷性，还可以将排序后的至少一个待识别医学图像在与待识别医学图像的数量对应的窗口中予以显示，例如，待识别医学图像的数量为5个，则可以在5个显示窗口中分别显示待识别医学图像。故此，能够降低医生翻阅多个待识别医学图像来回对照的时间，提升阅片效率。
在另一个实施场景中，至少一个待识别医学图像为对同一对象扫描得到的，故为了在扫描过程中进行质量控制，在得到每一待识别医学图像所属的扫描图像类别之后，还可以判断待识别医学图像的扫描图像类别是否存在重复，并在存在重复时，输出第一预警信息，以提示扫描人员。例如，若存在两张扫描图像类别均为“延迟期”的待识别医学图像，则可以认为扫描过程中存在扫描质量不合规的情况，故为了提示扫描人员，可以输出第一预警消息，具体地，可以输出预警原因(如，存在扫描图像类别重复的待识别医学图像等)。或者，在得到每一待识别医学图像所属的扫描图像类别之后，还可以判断至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，并在不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员。例如，预设扫描图像类别为“门脉期”，若至少一个待识别医学图像中不存在扫描图像类别为“门脉期”的图像，则可以认为扫描过程中存在扫描质量不合规的情况，故为了提示扫描人员，可以输出第二预警消息，具体地，可以输出预警原因(如，待识别医学图像中不存在门脉期图像等)。故此，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
上述方案，通过获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域，从而分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，能够排除其他脏器的干扰，有利于提高识别准确性，并将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，进而每一待识别医学图像的个体特征表示和全局特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性，且通过特征表示来进行图像识别，能够免于人工参与，故能够提高图像识别的效率。
请参阅图3，图3是图1中步骤S11一实施例的流程示意图。具体地，图3是确定每个待识别医学图像中与目标脏器对应的目标区域一实施例的流程示意图，具体可以包括如下步骤：
步骤S111：利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息。
在一个实施场景中，脏器检测网络的骨干网络可以采用efficient net，在其他实施场景中，脏器检测网络的骨干网络还可以采用其他网络，在此不做限定。目标脏器可以根据实际情况进行设定，例如，目标脏器可以是肝脏，目标脏器的毗邻脏器可以包括肾脏、脾脏中的至少一者。
在一个实施场景中，目标脏器的第一位置信息可以包括目标脏器对应区域的至少一组对角顶点位置(例如，位置坐标)和对应区域的尺寸(例如，长度、宽度等)，第二位置信息至少可以包括毗邻脏器对应区域的至少一个顶点位置(例如，位置坐标)。
在一个实施场景中，待识别医学图像可以是三维图像，为了更加准确地确定目标脏器对应的目标区域，可以将每一待识别医学图像沿冠状面进行划分，得到多个三维子图像，并将每一子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像，从而后续能够基于投影得到的多个二维子图像进行识别检测，具体地，可以利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测，得到第一位置信息和第二位置信息，从而能够在目标脏器大小异常或经手术干预后目标脏器的形态产生变化时，能够准确地确定其第一位置信息和目标脏器的毗邻脏器的第二位置信息。例如，目标脏器为肝脏时，当存在肝脏大小异常或经过手术干预后肝脏形态产生变化(如部分缺失)时，肝顶和肝尖的位置并不能稳定体现，故通过对冠状面上的多个二维子图像进行脏器检测，可以结合多个二维子图像上的检测结果，得到肝脏的第一位置信息和肾脏、脾脏等的第二位置信息，从而能够有效避免肝尖、肝顶位置不稳定而可能带来的检测误差。
步骤S112：利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域。
通过目标脏器的第一位置信息和其毗邻脏器的第二位置信息，能够考虑目标脏器和毗邻脏器在解剖结构上的地理相关性，故利用第一位置信息和第二位置信息，能够准确地确定目标脏器对应的目标区域。例如，以目标脏器是肝脏为例，第一位置信息可以包括肝脏对应区域的左上、左下顶点、对应区域的高度、宽度，第二位置信息可以包括脾脏、肾脏等毗邻脏器对应区域的右下顶点，故根据第一位置信息和第二位置信息在待识别医学图像上进行裁剪，可以得到肝脏对应的目标区域。其他场景可以以此类推，在此不再一一举例。
区别于前述实施例，利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息，故不仅能够考虑所需识别的目标脏器，还能够考虑周边毗邻脏器，从而利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域，能够确保在经手术治疗等情况下脏器形态发生改变时，也能够定位得到目标脏器对应的目标区域，故能够提高图像识别的鲁棒性。
请参阅图4，图4是本申请图像识别装置40一实施例的框架示意图。图像识别装置40包括区域获取模块41、特征提取模块42、融合处理模块43和类别确定模块44，区域获取模块41用于获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域；特征提取模42用于分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；融合处理模块43用于将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；类别确定模块44用于利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别。
上述方案，通过获取至少一个扫描得到的待识别医学图像，并分别确定每个待识别医学图像中与目标脏器对应的目标区域，从而分别对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，能够排除其他脏器的干扰，有利于提高识别准确性，并将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，进而每一待识别医学图像的个体特征表示和全局特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每一待识别医学图像的个体特征表示和全局特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性，且通过特征表示来进行图像识别，能够免于人工参与，故能够提高图像识别的效率。
在一些实施例中，融合处理模块43具体用于将至少一个待识别医学图像的个体特征表示进行全局池化处理，得到全局特征表示。
区别于前述实施例，通过将至少一个待识别医学图像的个体特征表示进行全局池化处理，能够快速方便地得到全局特征表示，故能够有利于提高后续图像识别的效率。
在一些实施例中，融合处理模块43包括第一池化子模块，用于将至少一个待识别医学图像的个体特征表示进行全局最大池化处理，得到第一全局特征表示，融合处理模块43包括第二池化子模块，用于将至少一个待识别医学图像的个体特征表示进行全局平均池化处理，得到第二全局特征表示，融合处理模块43包括拼接处理子模块，用于将第一全局特征表示和第二全局特征表示进行拼接处理，得到全局特征表示。
区别于前述实施例，通过将至少一个待识别医学图像的个体特征表示进行全局最大池化处理，得到第一全局特征表示，并将至少一个待识别医学图像的个体特征表示进行全局平均池化处理，得到第二全局特征表示，从而将第一全局特征表示和第二全局特征表示进行拼接处理，得到全局特征表示，故能够有利于后续准确地表示每一待识别医学图像与其他待识别医学图像之间的差异，从而能够有利于提高后续图像识别的准确性。
在一些实施例中，类别确定模块44包括特征处理子模块和类别确定子模块，特征处理子模块用于利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示，类别确定子模块用于利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别。
区别于前述实施例，利用每一待识别医学图像的个体特征表示和全局特征表示所得到的最终特征表示，不仅能够表示待识别医学图像自身的特征，还能够表示其他待识别医学图像的差异，从而在利用每个待识别医学图像的最终特征表示，确定每一待识别医学图像所属的扫描图像类别时，能够提高图像识别的准确性。
在一些实施例中，特征处理子模块具体用于分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理，得到待识别医学图像对应的最终特征表示。
区别于前述实施例，通过分别将每一待识别医学图像的个体特征表示和全体特征表示进行拼接处理，能够快速得到待识别医学图像对应的最终特征表示，故能够有利于提高后续图像识别的效率。
在一些实施例中，特征提取模块42具体用于利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，融合处理模块43具体用于利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，特征处理子模块具体用于采用识别网络的融合模块利用每一待识别医学图像的个体特征表示和全局特征表示，得到每一待识别医学图像的最终特征表示，类别确定子模块具体用于利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类，得到每一待识别医学图像所属的扫描图像类别。
区别于前述实施例，通过利用识别网络的特征提取子网络对每一目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示，并利用识别网络的融合模块将至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，利用每一待识别医学图像的个体特征表示和全体特征表示，得到每一待识别医学图像的最终特征表示，从而利用识别网络的分类子网络对每一待识别医学图像的最终特征表示进行预测分类，得到每一待识别医学图像所属的扫描图像类别，故能够通过识别网络最终获得待识别医学图像所属的扫描图像类别，从而能够进一步提高图像识别的效率。
在一些实施例中，识别网络是利用样本医学图像训练得到的，每次训练识别网络所使用的样本医学图像数量不固定。
区别于前述实施例，每次训练识别网络采用的样本医学图像的数量并不固定，能够随机化样本医学图像的数量，从而能够有利于在不同机构不同扫描协议下扫描图像类别有所缺失时，也能够准确地进行图像识别，进而能够提高图像识别准确性。
在一些实施例中，特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层；和/或，识别网络包括预设数量个特征提取子网络，特征提取模块42具体用于将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示。
区别于前述实施例，特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层，故通过稠密卷积块的连接策略，即每一卷积层下的特征与下一层紧密拼接，并传递后后面的每一层，能够有效的缓解梯度消失问题，且加强特征传播以及特征复用，并能够极大地减少参数数量；而将识别网络设置为包括预设数量个特征提取子网络，并将每一目标区域的图像数据分别输入对应一个特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示，能够将至少一个目标区域的图像数据的特征提取操作并行处理，故能够有利于提高图像识别的效率。
在一些实施例中，区域获取模块41包括脏器检测子模块，用于利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器第一位置信息和目标脏器的毗邻脏器的第二位置信息，区域获取模块41包括区域确定子模块，用于利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域。
区别于前述实施例，利用脏器检测网络分别对至少一个待识别医学图像进行检测，得到目标脏器的第一位置信息和目标脏器的毗邻脏器的第二位置信息，故不仅能够考虑所需识别的目标脏器，还能够考虑周边毗邻脏器，从而利用第一位置信息和第二位置信息，确定目标脏器对应的目标区域，能够确保在经手术治疗等情况下脏器形态发生改变时，也能够定位得到目标脏器对应的目标区域，故能够提高图像识别的鲁棒性。
在一些实施例中，待识别医学图像为三维图像，区域获取模块41还包括图像划分子模块，用于将每一待识别医学图像沿冠状面进行划分，得到多个三维子图像，区域获取模块41还包括图像投影子模块，用于将每一子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像，脏器检测子模块具体用于利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测，得到第一位置信息和第二位置信息。
区别于前述实施例，在待识别医学图像为三维图像时，将每一待识别医学图像沿冠状面进行划分，得到多个三维子图像，并将每一子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像，从而利用脏器检测网络对至少一个待识别医学图像对应的二维子图像进行检测，得到第一位置信息和第二位置信息，能够进一步提高目标脏器对应的目标区域定位的准确性。
在一些实施例中，目标脏器为肝脏，毗邻脏器包括肾脏、脾脏中的至少一者；和/或，第一位置信息包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸，第二位置信息至少包括毗邻脏器对应区域的至少一个顶点位置。
区别于前述实施例，将目标脏器设置为肝脏，毗邻脏器设置为包括肾脏、脾脏中的至少一者，能够有利于定位得到肝脏对应的目标区域；将第一位置信息设置为包括目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸，第二位置信息设置为至少包括毗邻脏器对应区域的至少一个顶点位置，能够有利于精确地定位目标脏器对应的目标区域。
在一些实施例中，图像识别装置40还包括图像排序模块，用于将至少一个待识别医学图像按照其扫描图像类别进行排序；图像识别装置40还包括第一输出模块，用于在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员；图像识别装置40还包括第二输出模块，用于在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员。
区别于前述实施例，在确定得到每一待识别医学图像所属的扫描图像类别之后，执行将至少一个待识别医学图像按照其扫描图像类别进行排序，能够提高医生阅片的便捷性；在待识别医学图像的扫描图像类别存在重复时，输出第一预警信息，以提示扫描人员，在至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别时，输出第二预警信息，以提示扫描人员，能够在扫描过程中实现图像质控，以在与实际相悖时，能够及时纠错，避免病人二次挂号。
在一些实施例中，图像识别装置40还包括预处理模块，用于对每一目标区域的图像数据进行预处理，其中，预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围。
区别于前述实施例，在特征提取之前，对每一目标区域的图像数据进行预处理，且预处理包括以下至少一种：将目标区域的图像尺寸调整至预设尺寸，将目标区域的图像强度归一化至预设范围，故能够有利于提高后续图像识别的准确性。
请参阅图5，图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一图像识别方法实施例的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一图像识别方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，能够提高图像识别的效率和准确性。
请参阅图6，图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601，程序指令601用于实现上述任一图像识别方法实施例的步骤。
上述方案，能够提高图像识别的效率和准确性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种图像识别方法，其特征在于，包括：
获取至少一个扫描得到的待识别医学图像，并分别确定每个所述待识别医学图像中与目标脏器对应的目标区域；
分别对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；
将所述至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；
利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，确定每一所述待识别医学图像所属的扫描图像类别。
2.根据权利要求1所述的图像识别方法，其特征在于，所述将所述至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示包括：
将所述至少一个待识别医学图像的个体特征表示进行全局池化处理，得到所述全局特征表示。
3.根据权利要求2所述的图像识别方法，其特征在于，所述将所述至少一个待识别医学图像的个体特征表示进行全局池化处理，得到所述全局特征表示包括：
将所述至少一个待识别医学图像的个体特征表示进行全局最大池化处理，得到第一全局特征表示；以及，
将所述至少一个待识别医学图像的个体特征表示进行全局平均池化处理，得到第二全局特征表示；
将所述第一全局特征表示和所述第二全局特征表示进行拼接处理，得到所述全局特征表示。
4.根据权利要求1所述的图像识别方法，其特征在于，所述利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，确定所述待识别医学图像所属的扫描图像类别包括：
利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，得到每一所述待识别医学图像的最终特征表示；
利用每个所述待识别医学特征的最终特征表示，确定每一所述待识别医学图像所属的扫描图像类别。
5.根据权利要求4所述的图像识别方法，其特征在于，所述利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，得到每一所述待识别医学图像的最终特征表示包括：
分别将每一所述待识别医学图像的个体特征表示和所述全体特征表示进行拼接处理，得到所述待识别医学图像对应的最终特征表示。
6.根据权利要求4所述的图像识别方法，其特征在于，所述分别对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示包括：
利用识别网络的特征提取子网络对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；
所述将所述至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，得到每一所述待识别医学图像的最终特征表示包括：
利用所述识别网络的融合模块将所述至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示，并利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，得到每一所述待识别医学图像的最终特征表示；
所述利用每个所述待识别医学特征的最终特征表示，确定每一所述待识别医学图像所属的扫描图像类别，包括：
利用所述识别网络的分类子网络对每一所述待识别医学图像的最终特征表示进行预测分类，得到每一所述待识别医学图像所属的扫描图像类别。
7.根据权利要求6所述的图像识别方法，其特征在于，所述识别网络是利用样本医学图像训练得到的，每次训练所述识别网络所使用的所述样本医学图像数量不固定。
8.根据权利要求6或7所述的图像识别方法，其特征在于，所述特征提取子网络包括至少一组顺序连接的稠密卷积块和池化层；
和/或，所述识别网络包括预设数量个特征提取子网络；所述利用识别网络的特征提取子网络对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示包括：
将每一所述目标区域的图像数据分别输入对应一个所述特征提取子网络进行特征提取，得到每个待识别医学图像的个体特征表示。
9.根据权利要求1至8所述的图像识别方法，其特征在于，所述分别确定每个所述待识别医学图像中与目标脏器对应的目标区域包括：
利用脏器检测网络分别对所述至少一个待识别医学图像进行检测，得到所述目标脏器第一位置信息和所述目标脏器的毗邻脏器的第二位置信息；
利用所述第一位置信息和所述第二位置信息，确定所述目标脏器对应的目标区域。
10.根据权利要求9所述的图像识别方法，其特征在于，所述待识别医学图像为三维图像，所述利用脏器检测网络分别对所述至少一个待识别医学图像进行检测，得到所述目标脏器第一位置信息和所述目标脏器的毗邻脏器的第二位置信息之前，所述方法还包括：
将每一所述待识别医学图像沿冠状面进行划分，得到多个三维子图像；
将每一所述子图像沿垂直于冠状面的方向进行投影，得到对应的二维子图像；
所述利用脏器检测网络分别对所述至少一个待识别医学图像进行检测，得到所述目标脏器第一位置信息和所述目标脏器的毗邻脏器的第二位置信息包括：
利用所述脏器检测网络对所述至少一个待识别医学图像对应的所述二维子图像进行检测，得到所述第一位置信息和所述第二位置信息。
11.根据权利要求9或10所述的图像识别方法，其特征在于，所述目标脏器为肝脏，所述毗邻脏器包括肾脏、脾脏中的至少一者；
和/或，所述第一位置信息包括所述目标脏器对应区域的至少一组对角顶点位置和对应区域的尺寸，所述第二位置信息至少包括所述毗邻脏器对应区域的至少一个顶点位置。
12.根据权利要求1至11任一项所述的图像识别方法，其特征在于，所述利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，确定每一所述待识别医学图像所属的扫描图像类别之后，所述方法还包括以下至少一者：
将所述至少一个待识别医学图像按照其扫描图像类别进行排序；
若所述待识别医学图像的扫描图像类别存在重复，则输出第一预警信息，以提示扫描人员；
若所述至少一个待识别医学图像的扫描图像类别中不存在预设扫描图像类别，则输出第二预警信息，以提示扫描人员。
13.根据权利要求1至12任一项所述的图像识别方法，其特征在于，所述分别对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示之前，所述方法还包括：
对每一所述目标区域的图像数据进行预处理，其中，所述预处理包括以下至少一种：将所述目标区域的图像尺寸调整至预设尺寸，将所述目标区域的图像强度归一化至预设范围。
14.一种图像识别装置，其特征在于，包括：
区域获取模块，用于获取至少一个扫描得到的待识别医学图像，并分别确定每个所述待识别医学图像中与目标脏器对应的目标区域；
特征提取模块，用于分别对每一所述目标区域的图像数据进行特征提取，得到每个待识别医学图像的个体特征表示；
融合处理模块，用于将所述至少一个待识别医学图像的个体特征表示进行融合，得到全局特征表示；
类别确定模块，用于利用每一所述待识别医学图像的个体特征表示和所述全局特征表示，确定每一所述待识别医学图像所属的扫描图像类别。
15.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至13任一项所述的图像识别方法。
16.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至13任一项所述的图像识别方法。
CN202010246970.5A 2020-03-31 2020-03-31 图像识别方法及相关装置、设备 Active CN111507381B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010246970.5A CN111507381B (zh) 2020-03-31 2020-03-31 图像识别方法及相关装置、设备
KR1020227004540A KR20220031695A (ko) 2020-03-31 2021-03-02 이미지 인식 방법 및 관련 장치, 기기
PCT/CN2021/078748 WO2021196955A1 (zh) 2020-03-31 2021-03-02 图像识别方法及相关装置、设备
JP2021577453A JP2022539162A (ja) 2020-03-31 2021-03-02 画像識別方法およびその関連装置、機器
TW110109423A TWI776426B (zh) 2020-03-31 2021-03-16 圖像識別方法、電子設備和電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246970.5A CN111507381B (zh) 2020-03-31 2020-03-31 图像识别方法及相关装置、设备

Publications (2)

Publication Number Publication Date
CN111507381A true CN111507381A (zh) 2020-08-07
CN111507381B CN111507381B (zh) 2024-04-02

Family

ID=71874107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246970.5A Active CN111507381B (zh) 2020-03-31 2020-03-31 图像识别方法及相关装置、设备

Country Status (5)

Country Link
JP (1) JP2022539162A (zh)
KR (1) KR20220031695A (zh)
CN (1) CN111507381B (zh)
TW (1) TWI776426B (zh)
WO (1) WO2021196955A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN112464701A (zh) * 2020-08-26 2021-03-09 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN113065017A (zh) * 2021-03-30 2021-07-02 上海商汤智能科技有限公司 医学图像显示方法及相关装置、设备、存储介质
CN113362314A (zh) * 2021-06-18 2021-09-07 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113361637A (zh) * 2021-06-30 2021-09-07 杭州东方通信软件技术有限公司 基站机房的安全隐患识别方法及装置
WO2021196955A1 (zh) * 2020-03-31 2021-10-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN113516758A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN114154512A (zh) * 2021-12-09 2022-03-08 京东科技信息技术有限公司 小样本学习处理方法、装置、设备及存储介质
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN115294110A (zh) * 2022-09-30 2022-11-04 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082772B (zh) * 2022-07-19 2022-11-11 小米汽车科技有限公司 地点识别方法、装置、车辆、存储介质及芯片

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN107590809A (zh) * 2017-06-30 2018-01-16 上海联影医疗科技有限公司 肺分割方法及医学成像系统
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
US20190237186A1 (en) * 2014-04-02 2019-08-01 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for classifying kidneys
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110503642A (zh) * 2019-08-23 2019-11-26 强联智创（北京）科技有限公司 一种基于dsa图像的定位方法及系统
CN110570483A (zh) * 2019-08-08 2019-12-13 上海联影智能医疗科技有限公司 扫描方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6027546B2 (ja) * 2011-12-21 2016-11-16 株式会社日立製作所 医用画像診断装置及び医用画像診断装置を用いた位相決定方法
KR20150002284A (ko) * 2013-06-28 2015-01-07 삼성전자주식회사 병변 검출 장치 및 방법
US10269114B2 (en) * 2015-06-12 2019-04-23 International Business Machines Corporation Methods and systems for automatically scoring diagnoses associated with clinical images
KR20200066732A (ko) * 2017-11-30 2020-06-10 난토믹스, 엘엘씨 딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출
JP2021516108A (ja) * 2018-03-08 2021-07-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 機械学習ベースの血管イメージングにおける決定フォーカスの分解及びステアリング
CN110335259B (zh) * 2019-06-25 2021-08-31 腾讯科技（深圳）有限公司 一种医学影像识别方法、装置和存储介质
CN110675940A (zh) * 2019-08-01 2020-01-10 平安科技（深圳）有限公司 病理图像标注方法、装置、计算机设备及存储介质
CN110852987B (zh) * 2019-09-24 2022-04-22 西安交通大学 基于深形态学的血管斑块检测方法、设备及存储介质
CN110752028A (zh) * 2019-10-21 2020-02-04 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备以及存储介质
CN110866897B (zh) * 2019-10-30 2022-10-14 上海联影智能医疗科技有限公司 一种图像检测方法及计算机可读存储介质
CN111507381B (zh) * 2020-03-31 2024-04-02 上海商汤智能科技有限公司 图像识别方法及相关装置、设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190237186A1 (en) * 2014-04-02 2019-08-01 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for classifying kidneys
CN106204587A (zh) * 2016-05-27 2016-12-07 孔德兴 基于深度卷积神经网络和区域竞争模型的多器官分割方法
CN107590809A (zh) * 2017-06-30 2018-01-16 上海联影医疗科技有限公司 肺分割方法及医学成像系统
CN109492529A (zh) * 2018-10-08 2019-03-19 中国矿业大学 一种多尺度特征提取及全局特征融合的人脸表情识别方法
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110570483A (zh) * 2019-08-08 2019-12-13 上海联影智能医疗科技有限公司 扫描方法、装置、计算机设备和存储介质
CN110503642A (zh) * 2019-08-23 2019-11-26 强联智创（北京）科技有限公司 一种基于dsa图像的定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LONGJIAO ZHAO 等: "Local Features Augmenting for Better Image Retrieval", 2017 INTERNATIONAL CONFERENCE ON DIGITAL IMAGE COMPUTING: TECHNIQUES AND APPLICATIONS (DICTA), 21 December 2017 (2017-12-21) *
刘航 等: "基于注意力机制的遥感图像分割模型", pages 6 - 7 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196955A1 (zh) * 2020-03-31 2021-10-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112464701B (zh) * 2020-08-26 2023-06-30 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112464701A (zh) * 2020-08-26 2021-03-09 北京交通大学 基于轻量化特征融合ssd的人员是否佩戴口罩检测方法
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
WO2022095258A1 (zh) * 2020-11-03 2022-05-12 上海商汤智能科技有限公司 图像目标分类方法、装置、设备、存储介质及程序
CN112633086A (zh) * 2020-12-09 2021-04-09 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN112633086B (zh) * 2020-12-09 2024-01-26 西安电子科技大学 基于多任务EfficientDet的近红外行人监测方法、系统、介质、设备
CN113065017A (zh) * 2021-03-30 2021-07-02 上海商汤智能科技有限公司 医学图像显示方法及相关装置、设备、存储介质
CN113362314A (zh) * 2021-06-18 2021-09-07 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113362314B (zh) * 2021-06-18 2022-10-18 北京百度网讯科技有限公司 医学图像识别方法、识别模型训练方法及装置
CN113361637A (zh) * 2021-06-30 2021-09-07 杭州东方通信软件技术有限公司 基站机房的安全隐患识别方法及装置
CN113516758A (zh) * 2021-07-07 2021-10-19 上海商汤智能科技有限公司 图像显示方法及相关装置和电子设备、存储介质
CN114154512A (zh) * 2021-12-09 2022-03-08 京东科技信息技术有限公司 小样本学习处理方法、装置、设备及存储介质
CN114663715A (zh) * 2022-05-26 2022-06-24 浙江太美医疗科技股份有限公司 医学图像质控、分类模型训练方法、装置及计算机设备
CN115294110B (zh) * 2022-09-30 2023-01-06 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质
CN115294110A (zh) * 2022-09-30 2022-11-04 杭州太美星程医药科技有限公司 扫描期的识别方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
TW202139208A (zh) 2021-10-16
KR20220031695A (ko) 2022-03-11
JP2022539162A (ja) 2022-09-07
TWI776426B (zh) 2022-09-01
WO2021196955A1 (zh) 2021-10-07
CN111507381B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111507381B (zh) 图像识别方法及相关装置、设备
US11423603B2 (en) Apparatus and method for producing three-dimensional models from magnetic resonance imaging
Lin et al. Computer-aided kidney segmentation on abdominal CT images
EP3608871B1 (en) Plane selection using localizer images
Mattes et al. Nonrigid multimodality image registration
CN111160367B (zh) 图像分类方法、装置、计算机设备和可读存储介质
US8837789B2 (en) Systems, methods, apparatuses, and computer program products for computer aided lung nodule detection in chest tomosynthesis images
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
EP2189942A2 (en) Method and system for registering a medical image
EP3457356B1 (en) Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm
CN111696083B (zh) 一种图像处理方法、装置、电子设备及存储介质
US9269165B2 (en) Rib enhancement in radiographic images
JPWO2007026598A1 (ja) 医用画像処理装置
EP3268931A1 (en) Method and apparatus for assessing image registration
CN112036506A (zh) 图像识别方法及相关装置、设备
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
WO2019169403A1 (en) Neural network classification of osteolysis and synovitis near metal implants
CN112329844A (zh) 图像目标分类方法及相关装置、设备、存储介质
US8306354B2 (en) Image processing apparatus, method, and program
CN114565554A (zh) 一种基于超声冠状面图像的x光图像配准方法及装置
CN108596900B (zh) 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备
CN113348485A (zh) 异常检测方法、异常检测程序、异常检测装置、服务器装置以及信息处理方法
Štern et al. Segmentation of vertebral bodies in CT and MR images based on 3D deterministic models
CN114334097A (zh) 基于医学图像上病灶进展的自动评估方法及相关产品
US20220076421A1 (en) Method for identifying bone images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40032333

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant