CN114612373A - 一种图像识别方法及服务器 - Google Patents

一种图像识别方法及服务器 Download PDF

Info

Publication number
CN114612373A
CN114612373A CN202011449127.3A CN202011449127A CN114612373A CN 114612373 A CN114612373 A CN 114612373A CN 202011449127 A CN202011449127 A CN 202011449127A CN 114612373 A CN114612373 A CN 114612373A
Authority
CN
China
Prior art keywords
network
convolution
historical
brain
pet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011449127.3A
Other languages
English (en)
Inventor
徐俊
单敏柱
谌小仲
赵林
李立宁
赵丹
李沈郢
刘杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisino Corp
Original Assignee
Aisino Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisino Corp filed Critical Aisino Corp
Priority to CN202011449127.3A priority Critical patent/CN114612373A/zh
Publication of CN114612373A publication Critical patent/CN114612373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Nuclear Medicine (AREA)

Abstract

本发明实施例提供了一种图像识别方法及服务器，该方法和服务器能够解决现有技术中使用开源架构的网络模型来进行疾病诊断的准确性较差的问题。其中，图像识别方法包括：获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络；当接收到新的PET图像时，基于疾病诊断模型对新的PET图像进行识别，并输出诊断结果。

Description

一种图像识别方法及服务器
技术领域
本发明涉及深度学习领域，尤其涉及一种图像识别方法及服务器。
背景技术
脑部正电子发射型计算机断层显像(positron emission tomography，PET)，简称脑部PET，是反映脑部病变的基因、分子、代谢及功能状态的显像。其工作原理是利用正电子核素标记葡萄糖等人体代谢物作为显像剂，通过病灶对显像剂的摄取来反映其代谢变化，从而为临床提供疾病的生物代谢信息。
目前，深度学习技术在医学领域的应用十分广泛。例如，基于深度学习技术训练出可用于对脑部PET图像进行分析的深度模型，从而辅助疾病诊断。但是现有技术中，通常采用的开源结构的网络模型，没有针对性设计网络架构，因此现有的开源结构的网络模型在进行脑部疾病检测时准确性较差。
可见，提出一种针对脑部疾病诊断的深度模型十分必要。
发明内容
本发明实施例提供一种图像识别方法及服务器，该方法和服务器能够解决现有技术中使用开源架构的网络模型来进行疾病诊断的准确性较差的问题。
第一方面，本发明实施例提供了一种图像识别方法，所述方法包括：
获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，所述历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，所述病变区域与脑部疾病的类型相关，所述深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，所述第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，所述至少两个第二卷积网络中每个第二卷积网络穿插设置于所述第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，所述全连接网络与所述第一卷积网络连接且用于根据所述第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化；
当接收到新的PET图像时，所述服务器基于所述疾病诊断模型对所述新的PET图像进行识别，并输出诊断结果。
本发明实施例中，预先构建的深度学习网络中，第一卷积网络可以认为是现有的网络结构，第二卷积网络可以认为是新增的网络结构，由于第二卷积网络内部包含至少三个并行且卷积核大小各不相同的链式结构，那么将第二卷积网络穿插设置于第一卷积网络中不同深度的卷积层之间时，第二卷积网络可以将第一卷积网络中某一卷积层输出的特征图作为输入，并且基于不同大小的卷积核进行多个维度的特征提取，同时将融合后的多维度特征又重新输出到第一卷积网络中的另一卷积层中继续进行特征提取，使得第一卷积网络能够提取到尽可能多的特征信息。该方法中通过在第一卷积网络中穿插设置不同架构的第二卷积网络，使得提取到的特征信息更为丰富，从而提高了疾病诊断模型识别的准确性。
可选的，所述第一卷积网络中每间隔两个卷积层进行一次跳转连接，其中，所述跳转连接用于指示依次连接的四个卷积层中首层卷积层的输出与尾层卷积层的输入相连接。
本发明实施例中，第一卷积网络中每间隔两个卷积层可以进行一次跳转连接，使得低层次的特征与高层次的特征进行结合，从而进一步提升疾病诊断模型识别的准确性。
可选的，获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型包括：
针对各个类型的脑部疾病的历史PET图像进行标注，其中，标注内容至包括脑部疾病的类型，患者的性别、患者的年龄以及患者是否具有家族病史；
针对已标注的各个类型的历史PET图像进行预处理操作，所述预处理操作包括：灰度化处理、裁剪处理以及直方图均衡化处理；
根据经预处理后的各个类型的历史PET图像对所述深度学习网络进行训练。
本发明实施例中，首先，可以获取各个类型的脑部疾病的PET图像，然后对PET图像进行标注，标注的内容不限于脑部疾病的类型、患者的性别、患者的年龄以及患者是否具有家族史等。其次，针对标注完成PET图像进行预处理操作，例如，灰度化处理、裁剪处理以及直方图均匀化处理，使得训练得到的疾病诊断模型具有较好的性能。
可选的，还包括：
对预设处理后的各个类型的历史PET图像进行数据增强处理，所述数据增强处理包括水平与垂直翻转、模糊变化处理以及噪声处理，所述经数据增强处理后得到的PET图像与历史PET图像共同用于对所述深度学习网络进行训练。
本发明实施例中，在对历史PET图像进行预处理之后，还可以对历史PET图像进行数据增强处理，例如，水平与垂直翻转、模糊变化处理以及噪声处理等，并且将经数据增强处理所得到的PET图像与历史PET图像一起共同作为预先构建的深度学习模型的训练样本，从而可以提升最终得到的疾病诊断模型的性能。
可选的，还包括：
若确定所述诊断结果的置信度低于预设阈值，则输出提示信息，所述提示信息用于提醒用户需人工确认所述新的PET图像所表征的脑部疾病的类型；
接收用户输入的所述脑部疾病的类型，并将所述脑部疾病的类型以及所述新的PET图像对原始的所述疾病诊断模型进行更新。
本发明实施例中，若疾病诊断模型所输出的诊断结果的置信度较低，则表明此时疾病诊断模型无法较为准确的判断出新的PET图像所表征的脑部疾病的类型，此时可以输出提示消息由专业医生来判断新的PET图像所表征的脑部疾病的实际类型，并将确定的实际类型与该PET图像作为原始疾病诊断模型的训练样本，从而对原始疾病诊断模型进行更新，以不断提升疾病诊断模型的识别准确性。
第二方面，本发明实施例提供了一种服务器，所述服务器包括：
训练单元，用于获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，所述历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，所述病变区域与脑部疾病的类型相关，所述深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，所述第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，所述至少两个第二卷积网络中每个第二卷积网络穿插设置于所述第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，所述全连接网络与所述第一卷积网络连接且用于根据所述第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化；
诊断单元，用于接收到新的PET图像时，基于所述疾病诊断模型对所述新的PET图像进行识别，并输出诊断结果。
可选的，所述第一卷积网络中每间隔两个卷积层进行一次跳转连接，其中，所述跳转连接用于指示依次连接的四个卷积层中首层卷积层的输出与尾层卷积层的输入相连接。
可选的，所述训练单元具体用于：
针对各个类型的脑部疾病的历史PET图像进行标注，其中，标注内容至包括脑部疾病的类型，患者的性别、患者的年龄以及患者是否具有家族病史；
针对已标注的各个类型的历史PET图像进行预处理操作，所述预处理操作包括：灰度化处理、裁剪处理以及直方图均衡化处理；
根据经预处理后的各个类型的历史PET图像对所述深度学习网络进行训练。
可选的，所述服务器还包括：
数据增强单元，用于对预设处理后的各个类型的历史PET图像进行数据增强处理，所述数据增强处理包括水平与垂直翻转、模糊变化处理以及噪声处理，所述经数据增强处理后得到的PET图像与历史PET图像共同用于对所述深度学习网络进行训练。
可选的，所述服务器还包括：
输出单元，用于当确定所述诊断结果的置信度低于预设阈值，则输出提示信息，所述提示信息用于提醒用户需人工确认所述新的PET图像所表征的脑部疾病的类型；
更新单元，用于接收用户输入的所述脑部疾病的类型，并将所述脑部疾病的类型以及所述新的PET图像对原始的所述疾病诊断模型进行更新。
第三方面，本发明实施例提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序是实现如第一方面实施例所述方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述方法的步骤。
附图说明
图1为本发明实施例提供的一种图像识别的方法的流程示意图；
图2为本发明实施例提供的一种深度学习网络的架构示意图；
图3为本发明实施例提供的一种深度学习模型的架构示意图；
图4为本发明实施例提供的一种第二卷积网络的架构示意图；
图5为本发明实施例提供的一种第二卷积网络的架构示意图；
图6为本发明实施例提供的一种第二卷积网络的架构示意图；
图7为本发明实施例提供的一种第二卷积网络的架构示意图；
图8为本发明实施例提供的一种深度学习网络的架构示意图；
图9为本发明实施例提供的一种服务器的结构示意图；
图10为本发明实施例提供的一种服务器的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
现有技术中，往往采用开源结构的网络模型并结合PET图像进行脑部疾病的诊断，但是并没有根据PET图像所表征的脑部疾病的实际特征来设计网络结构，从而导致现有的开源结构的网络模型在进行脑部疾病检测时准确性较差。
鉴于此，本发明实施例中提供了一种图像识别方法，该方法中通过在第一卷积网络中穿插设置不同架构的第二卷积网络，使得提取到的特征信息更为丰富，从而可以提高所获得的疾病诊断模型的识别准确性。
下面结合附图对本发明实施例提供的技术方案进行介绍。请参见图1，本发明提供了一种图像识别方法，该方法的流程描述如下：
步骤101：获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型；
其中，历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，病变区域与脑部疾病的类型相关，深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，至少两个第二卷积网络中每个第二卷积网络穿插设置于第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，全连接网络与第一卷积网络连接且用于根据第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化。
本发明实施例中，常见的脑部疾病包括：脑肿瘤、阿尔兹海默症、脑梗以及帕金森等。并且不同类型的脑部疾病所对应的病变区域也不相同。例如，脑梗可能由脑部中任一区域病变所导致，帕金森可能由脑中双侧顶颞、双侧顶叶以及双侧额叶病变所导致，阿尔兹海默症可能由小脑和脑垂体病变所导致。为了对不同类型的脑部疾病进行诊断，那么就需要获取不同类型的脑部疾病的医学影像。
作为一种可能的实施方式，可以获取各个类型的脑部疾病的历史PET图像。该历史PET图像可以反映脑部中的病变区域与非病变区域对被标记的代谢物的摄取程度。例如，被标记的代谢物可以是葡萄糖，此处不对被标记的代谢物的类型进行特别限制。
在获取到各个类型的脑部疾病的历史PET图像之后，可以基于该历史图像对预先构建的深度学习网络进行训练，从而获得疾病诊断模型。例如，可以在服务器进行训练。
具体的，首先可以针对各个类型的脑部疾病的历史PET图像进行标注，标注的内容不仅包括PET图像所表征的脑部疾病的类型，还可以包括患者的其他信息，例如，患者的年龄、患者的性别以及患者是否具有家族病史。在此基础上，可以针对已标注完成PET图像进行一系列的预处理操作，从而保证后续深度学习网络在训练过程中能够尽快收敛。
例如，考虑到所获取的历史PET图像中，可能部分是彩色的，而部分是黑白的，因此可以对全部的历史PET图像实施预处理操作一，即将不同颜色的历史PET图像均进行灰度化处理，既保证了用于训练的PET图像在颜色上的一致性，又可以减少训练过程中的计算量，提高深度学习网络的收敛速度。
考虑到所获得历史PET图像中可能包括除脑部区域以外的其他区域(例如，颈部区域)，那么在训练过程中非脑部区域会对脑部区域造成干扰，因此可以对历史PET图像实施预处理操作二，即对历史PET图像中与脑部区域无关的信息进行裁剪，并将全部历史PET图像统一裁剪至预设尺寸。既保证了用于训练的历史PET图像仅包含关键的脑部区域，又使得历史PET图像被统一至较为适合的尺寸，有利于提高所获得的疾病诊断模型的准确性，同时也可以提高训练时的收敛速度。
应理解，该预设尺寸不宜过小，否则将无法提取到有效的特征信息，不利于深度学习网络的训练；反之该预设尺寸也不宜过大，否则将导致提取特征信息时所需的计算量较大，从而对用于训练深度学习网络的硬件设备的性能要求大大提升。
考虑到所获取的历史PET图像中存在较暗区域与较亮区域，而上述两个类型的区域均不利于进行特征提取，因此可以对历史PET图像实施预处理操作三，即对历史PET图像进行直方图均衡化处理，从而增强图像中的较暗区域的细节特征以及较亮部分的细节特征，有利于提高所获得的疾病诊断模型的性能。
具体的，可以获取历史PET图像中全部像素点的像素值，并确定出最小值与最大值，然后使其映射值0-255之间。例如，历史PET图像的像素值为0-100，然后按照(255-0)/(100-0)＝2.55倍的比例进行放大，即历史PET图像中每个像素点的像素值均乘以2.55。
在对已标注完成的历史PET图像进行预处理之后，就可以将历史PET图像划分为训练集与测试集，然后对预选构建的深度学习网络进行训练，以获得疾病诊断模型。例如，训练集与测试集之比为8:2，此处不对训练集与测试集的具体数量进行特别限制。
在一些实施例中，考虑到训练所获得的疾病诊断模型的性能通常与训练样本的数量正相关，即在一定的范围内，训练样本的数量越多，那么所得到的疾病诊断模型的性能也越好。若在对预先构建的深度学习网络进行训练时，所获取的历史PET图像较为有限，那么则会直接影响疾病诊断模型的性能。因此，本发明实施例中，可以在经预处理的PET图像的基础上，进行数据增强处理，从而扩大训练样本数量，进一步提升疾病诊断模型的性能。
作为一种可能的实施方式，服务器可以针对预处理后的各个类型的历史PET图像进行数据增强处理。例如，数据增强处理包括水平与垂直翻转、模糊处理以及添加随机噪声等。那么对于现有的一定数量的历史PET图像而言，每张历史PET图像都可以分别进行上述数据增强处理，从而可以基于现有的历史PET图像生成大量新的PET图像。并将经数据增强处理所生成的PET图像与历史PET共同用于对深度学习网络进行训练，从而提升疾病诊断模型的性能。
考虑到与不同类型的脑部疾病相对应的脑部区域病变后相较于病变前对于代谢物的摄取程度可能会增多，也可能减少。例如，若患者为脑肿瘤，那么脑肿瘤相对应的脑部区域在病变后所摄取的代谢物的量会出现较大的增长；若患者是阿尔兹海默症，那么阿尔兹海默症相对应的脑部区域在病变后所摄取的代谢物的量会大大减少。因此，通过被标记的代谢物在脑中各个区域的分布情况可以判断出脑部疾病的类型。由于大脑中各个区域是不规则的，那么各个区域所摄取被标记的代谢物后，被标记的代谢物在大脑中各个区域的分布也是不规则的。
请参见图2，然而现有开源结构的网络主要由第一卷积网络201以及全连接网络202构成，第一卷积网络201主要分为输入层(Input)，卷积层(conv)，池化层(pool)。全连接网络202包括全连接层(fc 1000)以及分类器(fc N)。第一卷积网络201中用于进行特征提取的卷积层(conv)都是使用固定尺寸的卷积核，例如，尺寸为3*3卷积核，从而导致特征提取的效果较差，使得训练所得的疾病诊断模型的识别准确性也较差。
因此，本发明实施例中，可以在现有开源结构网络上进行改进。即在现有开源网络的基础上加入能够提取不同维度特征的网络结构，使得能够提取到更为丰富的特征信息，以提高所获得的疾病诊断模型的识别性能。
作为一种可能的实施方式，请参见图3，深度学习网络不仅包括多层基于M个卷积核的第一卷积网络201以及与第一卷积网络201连接的全连接网络202，卷积核的数量M可以随网络深度而变化，例如，随着网络深度的变化，M可以从初始值64依次增长为128、256以及512，此处不对M的初始值以及随网络深度变化而增长的倍数进行特别限制。同时还引入了至少两个第二卷积网络203。每个第二卷积网络203可以认为是穿插设置于第一卷积网络201中不同深度的卷积层之间。第一卷积网络201可以用于对各个类型的脑部疾病的病变区域与非病变区域进行特征提取，而第二卷积网络203可以将第一卷积网络中某一卷积层输出的特征图作为输入，并进行多个维度的特征提取及融合后，又重新输出到第一卷积网络201中的另一卷积层中，使得第一卷积网络201能够提取到尽可能多的特征信息。然后通过全连接网络202分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出。
具体的，请参见图4-7，每个第二卷积网络203内部包含有至少三个并行且卷积核大小各不相同的链式结构，且每个链式结构中所包含的卷积层数是可变的。例如，如图4所示，每个链式结构均只包含一个卷积层，而图5中，按照从左到右的顺序，第一链式结构包含了一个卷积层，第二链式结构包含了两个卷积层，第三链式结构包含了三个卷积层。通常情况下，卷积层数不同，可以认为所提取到的特性信息不相同。同理，图6在图5的基础上进一步增加了各个链式结构的卷积层数，图7在图5的基础上进一步增加了并行的链式结构的数量。应理解，第二卷积网络203内部网络结构越复杂，所能提取到的特征信息也就越丰富。因此，针对穿插设置于第一卷积网络201中不同深度的卷积层之间的第二卷积网络203，可以随着网络深度的增加，采用更为复杂的内部结构，以提取到更为丰富的特征信息。下面以图4为例进行说明，对第二卷积网络203的结构进行介绍。
图4中包括三个并行的链式结构，每一个链式结构都包含有一个卷积层(conv)，并且每个卷积层所使用的卷积核的尺寸均不相同，例如，卷积核的尺寸分别为1*1、3*3以及5*5，这就意味着当将图4所示的第二卷积网络203穿插到第一卷积网络201中时，该第二卷积网络203可以将第一卷积层201中某个卷积层输出的特征图像(相对于第二卷积203而言，该特征图像是输入Input)分别通过不同尺寸的卷积核(1*1、3*3以及5*5)进行特征提取，即实现提取不同维度的特征信息，并且将三条链式结构各自所提取的特征进行融合(Filterconcat)，从而输出至第一卷积网络201中的另一卷积层中，以便于该卷积层可以在融合后的特征图像的基础上继续进行特征提取。
进一步的，本发明实施例中，还可以在第一卷积网络201进行特征提取的过程中，将低层次的特征与高层次的进行特征结合，从而进一步提升疾病诊断模型识别的准确性。
作为一种可能的实施方式，请参见图8，第一卷积网络201中每间隔两个卷积层便进行一次跳转连接。考虑到第一卷积网络201中穿插设置有第二卷积网络203，因此，在进行跳转连接时，也可以将每个第二卷积网络203看作是一个卷积层。
以依次连接的四个卷积层(第一卷积层、第二卷积层、第三卷积层以及第四卷积层)为例，通常情况下，第一卷积层的输出连接第二卷积层的输入，第二卷积层的输出连接第三卷积层的输入，第三卷积层的输出连接第四卷积层的输入。那么可以认为第一卷积层输出的特征为低层次特征，第三卷积层输出的特征为高层次特征，因此可以将第一卷积层的输出也连接到第四卷积层的输入，即第四卷积层输入既包括了第一卷积层的输出，也包括了第三卷积层的输出。那么对于第四卷积层而言，在融合了低层次特征与高层次特征的特征图像上进行特征提取，有利于提取到更为丰富的特征信息，从而可以提升疾病诊断模型的识别准确性。
步骤102：当接收到新的PET图像时，基于疾病诊断模型对新的PET图像进行识别，并输出诊断结果。
本发明实施例中，当预先构建的深度学习模型完成训练后，便可以得到针对不同类型脑部疾病的疾病诊断模型，从而可以利用该疾病诊断模型对新获取的PET图像所表征的脑部疾病的类型进行判断。
作为一种可能的实施方式，当接收到新的PET图像时，服务器可以利用已训练的疾病诊断模型对该新的PET图像进行识别，从而输出诊断结果。
在一些实施例中，若疾病诊断模型所输出的诊断结果的置信度较低，则表明此时疾病诊断模型无法较为准确的判断出新的PET图像所表征的脑部疾病的类型，此时可以由专业医生来判断该新的PET图像所表征的脑部疾病类型，并且可以将该PET图像作为现有的疾病诊断模型的训练样本，对疾病诊断模型进行更新，以不断提升疾病诊断模型的识别准确性。
作为一种可能的实施方式，当服务器确定现有疾病诊断模型输出的诊断结果的置信度低于预设阈值时，可以向输出提示信息，该提示信息用于提醒用户需要人工确定当前PET图像所表征的脑部疾病的类型。用户根据服务器的提示消息为当前PET图像输出类型信息后，可以将该PET图像以及脑部疾病的实际类型对现有的疾病诊断模型进行更新训练。
请参见图9，基于同一发明构思，本发明实施例提供了一种服务器，该服务器包括：训练单元301与诊断单元302。
训练单元301，用于获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，病变区域与脑部疾病的类型相关，深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，至少两个第二卷积网络中每个第二卷积网络穿插设置于第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，全连接网络与第一卷积网络连接且用于根据第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化；
诊断单元302，用于接收到新的PET图像时，基于疾病诊断模型对新的PET图像进行识别，并输出诊断结果。
可选的，第一卷积网络中每间隔两个卷积层进行一次跳转连接，其中，所述跳转连接用于指示依次连接的四个卷积层中首层卷积层的输出与尾层卷积层的输入相连接。
可选的，训练单元301具体用于：
针对各个类型的脑部疾病的历史PET图像进行标注，其中，标注内容至包括脑部疾病的类型，患者的性别、患者的年龄以及患者是否具有家族病史；
针对已标注的各个类型的历史PET图像进行预处理操作，预处理操作包括：灰度化处理、裁剪处理以及直方图均衡化处理；
根据经预处理后的各个类型的历史PET图像对深度学习网络进行训练。
可选的，服务器还包括：
数据增强单元，用于对预设处理后的各个类型的历史PET图像进行数据增强处理，数据增强处理包括水平与垂直翻转、模糊变化处理以及噪声处理，经数据增强处理后得到的PET图像与历史PET图像共同用于对深度学习网络进行训练。
可选的，服务器还包括：
输出单元，用于当确定诊断结果的置信度低于预设阈值，则输出提示信息，提示信息用于提醒用户需人工确认新的PET图像所表征的脑部疾病的类型；
更新单元，用于接收用户输入的脑部疾病的类型，并将脑部疾病的类型以及新的PET图像对原始的疾病诊断模型进行更新。
请参见图10，基于同一发明构思，本发明实施例提供了一种服务器，该服务器包括至少一个处理器401，处理器401用于执行存储器中存储的计算机程序，实现本发明实施例提供的如图1所示的图像识别的方法的步骤。
可选的，处理器401具体可以是中央处理器、特定ASIC，可以是一个或多个用于控制程序执行的集成电路。
可选的，该服务器还可以包括与至少一个处理器401连接的存储器402，存储器402可以包括ROM、RAM和磁盘存储器。存储器402用于存储处理器401运行时所需的数据，即存储有可被至少一个处理器401执行的指令，至少一个处理器401通过执行存储器402存储的指令，执行如图1所示的方法。其中，存储器402的数量为一个或多个。其中，存储器402在图10中一并示出，但需要知道的是存储器402不是必选的功能模块，因此在图10中以虚线示出。
其中，训练单元301与诊断单元302所对应的实体设备均可以是前述的处理器401。该服务器可以用于执行图1所示的实施例提供的方法。因此关于该服务器中各功能模块所能够实现的功能，可参考图1所示的实施例中的相应描述，不多赘述。
本发明实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如图1所述的方法。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种图像识别方法，其特征在于，所述方法包括：
获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，所述历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，所述病变区域与脑部疾病的类型相关，所述深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，所述第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，所述至少两个第二卷积网络中每个第二卷积网络穿插设置于所述第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，所述全连接网络与所述第一卷积网络连接且用于根据所述第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化；
当接收到新的PET图像时，基于所述疾病诊断模型对所述新的PET图像进行识别，并输出诊断结果。
2.如权利要求1所述的方法，其特征在于，所述第一卷积网络中每间隔两个卷积层进行一次跳转连接，其中，所述跳转连接用于指示依次连接的四个卷积层中首层卷积层的输出与尾层卷积层的输入相连接。
3.如权利要求1所述的方法，其特征在于，获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型包括：
针对各个类型的脑部疾病的历史PET图像进行标注，其中，标注内容至包括脑部疾病的类型，患者的性别、患者的年龄以及患者是否具有家族病史；
针对已标注的各个类型的历史PET图像进行预处理操作，所述预处理操作包括：灰度化处理、裁剪处理以及直方图均衡化处理；
根据经预处理后的各个类型的历史PET图像对所述深度学习网络进行训练。
4.如权利要求3所述的方法，其特征在于，还包括：
对预设处理后的各个类型的历史PET图像进行数据增强处理，所述数据增强处理包括水平与垂直翻转、模糊变化处理以及噪声处理，所述经数据增强处理后得到的PET图像与历史PET图像共同用于对所述深度学习网络进行训练。
5.如权利要求1所述的方法，其特征在于，还包括：
若确定所述诊断结果的置信度低于预设阈值，则输出提示信息，所述提示信息用于提醒用户需人工确认所述新的PET图像所表征的脑部疾病的类型；
接收用户输入的所述脑部疾病的类型，并将所述脑部疾病的类型以及所述新的PET图像对原始的所述疾病诊断模型进行更新。
6.一种服务器，其特征在于，所述服务器包括：
训练单元，用于获取各个类型的脑部疾病的历史正电子发射型计算机断层显像PET图像，并基于所述历史PET图像对预先构建的深度学习网络进行训练，获得疾病诊断模型，其中，所述历史PET图像用于指示脑部中病变区域与非病变区域对被标记的代谢物的摄取程度，所述病变区域与脑部疾病的类型相关，所述深度学习网络包括：多层基于M个卷积核的第一卷积网络、至少两个第二卷积网络以及全连接网络，所述第一卷积网络用于对各个类型的脑部疾病所对应的病变区域与非病变区域进行特征提取，所述至少两个第二卷积网络中每个第二卷积网络穿插设置于所述第一卷积网络中不同深度的卷积层之间，每个第二卷积网络内部包括至少三个并行且卷积核大小各不相同的链式结构，且每个第二卷积网络用于将一卷积层输出的特征图进行多个维度的特征提取并将所提取的特征进行融合后输出至另一卷积层，所述全连接网络与所述第一卷积网络连接且用于根据所述第一卷积网络提取的特征分别确定出各个类型的脑部疾病的置信度，并将置信度最高的类型作为分类结果进行输出；M为不小于1的正整数且随网络深度变化；
诊断单元，用于接收到新的PET图像时，基于所述疾病诊断模型对所述新的PET图像进行识别，并输出诊断结果。
7.如权利要求6所述的服务器，其特征在于，所述第一卷积网络中每间隔两个卷积层进行一次跳转连接，其中，所述跳转连接用于指示依次连接的四个卷积层中首层卷积层的输出与尾层卷积层的输入相连接。
8.如权利要求6所述的服务器，其特征在于，所述训练单元具用于：
针对各个类型的脑部疾病的历史PET图像进行标注，其中，标注内容至包括脑部疾病的类型，患者的性别、患者的年龄以及患者是否具有家族病史；
针对已标注的各个类型的历史PET图像进行预处理操作，所述预处理操作包括：灰度化处理、裁剪处理以及直方图均衡化处理；
根据经预处理后的各个类型的历史PET图像对所述深度学习模块进行训练。
9.一种服务器，其特征在于，所述服务器包括至少一个处理器以及与所述至少一个处理器连接的存储器，所述至少一个处理器用于执行存储器中存储的计算机程序时实现如权利要求1-5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行是实现如权利要求1-5任一项所述方法的步骤。
CN202011449127.3A 2020-12-09 2020-12-09 一种图像识别方法及服务器 Pending CN114612373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011449127.3A CN114612373A (zh) 2020-12-09 2020-12-09 一种图像识别方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011449127.3A CN114612373A (zh) 2020-12-09 2020-12-09 一种图像识别方法及服务器

Publications (1)

Publication Number Publication Date
CN114612373A true CN114612373A (zh) 2022-06-10

Family

ID=81857112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011449127.3A Pending CN114612373A (zh) 2020-12-09 2020-12-09 一种图像识别方法及服务器

Country Status (1)

Country Link
CN (1) CN114612373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578370A (zh) * 2022-10-28 2023-01-06 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置
CN115578370B (zh) * 2022-10-28 2023-05-09 深圳市铱硙医疗科技有限公司 一种基于脑影像的代谢区域异常检测方法及装置

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN109741346B (zh) 感兴趣区域提取方法、装置、设备及存储介质
CN112102266B (zh) 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN107563434B (zh) 一种基于三维卷积神经网络的脑部mri图像分类方法、装置
JP2020518915A (ja) 自動眼底画像分析用のシステムおよび方法
WO2021114130A1 (zh) 一种无监督自适应乳腺病变分割方法
KR101996475B1 (ko) 암 영역 검출의 유효성 평가 장치
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
US11769594B2 (en) Deep learning model learning device and method for cancer region
CN113298830B (zh) 一种基于自监督的急性颅内ich区域图像分割方法
CN112991346B (zh) 用于医学图像分析的学习网络的训练方法和训练系统
CN111950595A (zh) 肝脏病灶图像处理方法、系统、存储介质、程序、终端
CN114332132A (zh) 图像分割方法、装置和计算机设备
CN117095815A (zh) 基于磁共振图像和病理全景扫描切片预测带有同源重组缺陷的前列腺癌患者的系统
CN114693671A (zh) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
Gheorghiță et al. Improving robustness of automatic cardiac function quantification from cine magnetic resonance imaging using synthetic image data
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN114612373A (zh) 一种图像识别方法及服务器
CN113706451A (zh) 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质
Delmoral et al. Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
WO2022227193A1 (zh) 肝脏区域分割方法、装置、电子设备及存储介质
CN112529002B (zh) 舌体图片分类方法、装置、计算机设备及存储介质
CN114649092A (zh) 基于半监督学习和多尺度特征融合的辅助诊断方法及装置
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination