CN110751627B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110751627B
CN110751627B CN201910886148.2A CN201910886148A CN110751627B CN 110751627 B CN110751627 B CN 110751627B CN 201910886148 A CN201910886148 A CN 201910886148A CN 110751627 B CN110751627 B CN 110751627B
Authority
CN
China
Prior art keywords
neural network
network model
image
processing
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910886148.2A
Other languages
English (en)
Other versions
CN110751627A (zh
Inventor
刘钦
吴迪嘉
张敏清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201910886148.2A priority Critical patent/CN110751627B/zh
Priority to PCT/CN2019/129636 priority patent/WO2020135812A1/en
Priority to US16/729,302 priority patent/US11367181B2/en
Publication of CN110751627A publication Critical patent/CN110751627A/zh
Priority to US17/806,269 priority patent/US11735322B2/en
Application granted granted Critical
Publication of CN110751627B publication Critical patent/CN110751627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请涉及一种图像处理方法、装置、计算机设备和存储介质。所述方法包括：获取医学图像；将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理。采用本方法能够得到医学图像在至少两种不同层面上的处理结果，即可以实现对图像进行多任务的处理。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及医学图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
图像处理指用计算机对图像进行分析，以达到所需结果的过程，一般指对数字图像进行处理的过程，在对数字图像进行处理时，可以通过相机、摄像机、扫描仪等设备对物体进行拍摄，得到包括物体的数字图像，然后对该图像进行分割、匹配、分类等处理，得到最终的结果。
相关技术中在对图像进行处理时，一般是将图像输入至一个训练好的网络模型中去处理，通过该模型对图像的处理，就可以得到相应的处理结果。
然而上述技术中的网络模型一般只能针对图像进行单一任务的处理，难以保证对图像进行多任务的处理。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，该方法包括：
获取医学图像；
将上述医学图像输入至预设的神经网络模型中，得到上述医学图像在图像层面的处理结果和上述医学图像在像素层面的处理结果；上述预设的神经网络模型用于对上述医学图像进行至少两种不同功能层面的处理。
一种图像处理装置，该装置包括：
获取模块，用于获取医学图像；
图像处理模块，用于将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取医学图像；
将上述医学图像输入至预设的神经网络模型中，得到上述医学图像在图像层面的处理结果和上述医学图像在像素层面的处理结果；上述预设的神经网络模型用于对上述医学图像进行至少两种不同功能层面的处理。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取医学图像；
将上述医学图像输入至预设的神经网络模型中，得到上述医学图像在图像层面的处理结果和上述医学图像在像素层面的处理结果；上述预设的神经网络模型用于对上述医学图像进行至少两种不同功能层面的处理。
上述图像处理方法、装置、计算机设备和存储介质，通过获取医学图像，并将该医学图像输入至预设的神经网络模型中进行处理，得到该医学图像在图像层面的处理结果和在像素层面的处理结果，该预设的神经网络模型用于对医学图像进行至少两种不同功能层面的处理。在该方法中，由于预设的神经网络模型可以对医学图像进行至少两种不同功能层面上的处理，相比于现有技术中的网络模型只能针对图像进行单一任务的处理，该方法可以得到医学图像在至少两种不同层面上的处理结果，即可以实现对图像进行多任务的处理，因此该方法可以保证对图像进行多任务处理。
附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中图像处理方法的流程示意图；
图3为另一个实施例中图像处理方法的流程示意图；
图4a为另一个实施例中图像处理方法的流程示意图；
图4b为另一个实施例中三个神经网络模型处理的全过程示意图；
图5为另一个实施例中三个神经网络模型的具体处理过程示例图；
图6为另一个实施例中图像处理方法的流程示意图；
图7为一个实施例中图像处理装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像处理方法，可以应用于计算机设备，该计算机设备可以是控制终端，例如笔记本电脑、台式电脑、工业电脑等，其内部结构图可以如图1所示。该计算机设备可以和扫描设备连接，以对扫描设备采集的数据进行处理，扫描设备可以是CT设备、PET设备、MR设备、PET-CT设备、PET-MR设备等等。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
需要说明的是，本申请实施例的执行主体可以是图像处理装置，也可以是计算机设备，下述实施例以计算机设备为执行主体进行说明。
在一个实施例中，提供了一种图像处理方法，本实施例涉及的是如何利用神经网络模型对医学图像进行处理，得到医学图像在不同层面上的处理结果的具体过程。如图2所示，该方法可以包括以下步骤：
S202，获取医学图像。
其中，这里的医学图像可以是人体的医学图像，也可以是动物的医学图像，当然也可以是植物的医学图像等等；如果是人体或动物的医学图像，可以是人体或动物某些部位的医学图像，也可以是人体或动物整体的医学图像。医学图像在这里可以是一维图像、二维图像、三维图像等，本实施例主要使用的是二维图像或者三维图像。
具体的，在对待检测对象进行检查时，可以通过对扫描设备采集的扫描数据进行图像重建和校正，就可以得到待检测对象的医学图像，或者，待检测对象的医学图像也可以预先重建和校正好，存储在计算机设备中，当需要对其进行处理时，直接从计算机设备的存储器中读取医学图像。又或者，计算机设备也可以从外部设备中获取医学图像，比如，将待检测对象的医学图像存储在云端，当需要进行处理操作时，计算机设备从云端获取该待检测对象的医学图像。本实施例对获取待检测对象的医学图像的获取方式不做限定。
S204，将医学图像输入至预设的神经网络模型中，得到医学图像在图像层面的处理结果和医学图像在像素层面的处理结果；预设的神经网络模型用于对医学图像进行至少两种不同功能层面的处理。
其中，预设的神经网络模型可以是预先训练好的CNN(Convolutional NeuralNetwork，卷积神经网络)模型、FCN(Fully Convolutional Networks，全卷积网络)模型、FPN(feature pyramid networks，特征金字塔)模型、SegNet模型、DeepLab模型、Mask-RCNN模型、U-Net模型、V-Net模型等等，本实施例对此不作具体限定。另外，这里预设的神经网络模型可以由两部分不同的神经网络模型构成，也可以由三部分不同的神经网络模型构成，当然也可以由四部分不同的神经网络模型构成，或者其他更多部分的神经网络模型构成，这里不同的神经网络可以实现不同功能层面的处理，这里只要每部分神经网络模型可以实现不同的功能，且能进行结合即可，本实施例对此也不作具体限定。
其次，这里医学图像在图像层面的处理过程可以认为类似于对图像整体进行二值判断的过程，包括全局图像层面上图像检测、图像分类、图像定位、图像回归等等，示例地，例如检测图像上是否存在某种器官、图像是否存在人或动物等等，图像属于灰度图像、彩色图像、黑白图像中的哪一类图像等等；通过图像层面的处理过程，可以得到图像在图像层面的结果。
另外，这里医学图像在像素层面的处理过程可以认为类似于对图像上的每个像素进行二值判断的过程，包括像素层面的图像分割、图像定位、图像分类、图像回归等等，示例地，例如将图像上的某个器官分割出来，检测图像属于哪种动物或植物，在图像上定位某个位置等等；通过对图像进行像素层面的处理，可以得到图像在像素层面的结果。
具体的，计算机设备在得到医学图像之后，可以将该医学图像输入至预设的神经网络模型中进行处理，该预设的神经网络模型可以对医学图像进行至少两种不同功能层面的处理，通过该神经网络模型，就可以得到该医学图像在图像层面的处理结果和该医学图像在像素层面的处理结果。其中，对于得到图像层面的处理结果和像素层面的处理结果的顺序，可以是先得到图像层面的处理结果，再得到像素层面的处理结果，也可以是先得到像素层面的处理结果，再得到图像层面的处理结果，也可以是同时得到，本实施例对此不作具体限定。
上述图像处理方法中，通过获取医学图像，并将该医学图像输入至预设的神经网络模型中进行处理，得到该医学图像在图像层面的处理结果和在像素层面的处理结果，该预设的神经网络模型用于对医学图像进行至少两种不同功能层面的处理。在该方法中，由于预设的神经网络模型可以对医学图像进行至少两种不同功能层面上的处理，相比于现有技术中的网络模型只能针对图像进行单一任务的处理，该方法可以得到医学图像在至少两种不同层面上的处理结果，即可以实现对图像进行多任务的处理，因此该方法可以保证对图像进行多任务处理。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是当预设的神经网络模型包括第一神经网络模型和第二神经网络模型时，如何对医学图像进行处理，得到医学图像在图像层面和像素层面的处理结果的具体过程。在上述实施例的基础上，如图3所示，上述S204可以包括以下步骤：
S302，将医学图像输入至第一神经网络模型中进行降采样卷积处理，得到医学图像的降采样特征图；第一神经网络模型用于对医学图像进行图像层面处理。
其中，这里第一神经网络模型可以是由降采样卷积层构成的神经网络模型，其可以包括一层降采样卷积层，还可以包括多层降采样卷积层，例如，可以包括两层降采样卷积层、三层降采样卷积层等。如果第一神经网络模型包括多层降采样卷积层，那么每个降采样卷积层都会有对应的输入和输出，各个降采样卷积层的输入都是上一层降采样卷积层的输出，其中，第一层降采样卷积层的输入是原始医学图像。另外，这里降采样特征图的尺寸一般小于等于医学图像的尺寸，一般都是以2-n进行缩小，假设降采样卷积层的层数为n，那么原始输入医学图像的尺寸必须要大于等于2n。
具体的，计算机设备在对医学图像进行处理时，可以预先对医学图像进行预处理，可以将医学图像先处理成和该医学图像尺寸相同的特征图，之后再对该预处理后的特征图进行降采样卷积处理，得到降采样特征图。当然这里如果是多层降采样卷积层，那么每层降采样卷积层输出的都可以称为降采样特征图。另外，这里第一神经网络模型主要实现对医学图像进行图像层面的处理。
S304，对降采样特征图进行图像处理，确定医学图像在图像层面的一级处理结果。
具体的，这里的图像处理可以是在第一神经网络模型后面在加上一层全连接层，或者分类器，或者回归器，对最后一层降采样卷积层输出的降采样特征图进行全局分类或回归处理，得到医学图像在全局上的处理结果，称为医学图像在图像层面的一级处理结果。
S306，将降采样特征图输入至第二神经网络模型中进行升采样卷积处理，得到升采样特征图；第二神经网络模型用于对医学图像进行像素层面处理。
其中，这里第二神经网络模型可以是由升采样卷积层构成的神经网络模型，其可以包括一层升采样卷积层，还可以包括多层升采样卷积层，例如，可以包括两层升采样卷积层、三层升采样卷积层等。如果第二神经网络模型包括多层升采样卷积层，那么每个升采样卷积层都会有对应的输入和输出，各个升采样卷积层的输入都是上一层升采样卷积层的输出，其中，第一层升采样卷积层的输入是第一神经网络模型最后一层降采样卷积层的输出。另外，这里升采样特征图的尺寸一般大于等于第一神经网络模型最后一层降采样卷积层输出的降采样特征图的尺寸，一般都是以2n进行放大，假设升采样卷积层的层数为n，那么最后一层升采样卷积层输出的图像尺寸为大于等于2n的数。
具体的，计算机设备在得到第一神经网络模型最后一层降采样卷积层的降采样特征图之后，可以将该降采样特征图输入至第二神经网络模型中进行升采样卷积处理，就可以得到升采样处理后的特征图，记为升采样特征图。当然这里如果是多层升采样卷积层，那么每层升采样卷积层输出的都可以称为升采样特征图。另外，这里第二神经网络模型主要实现对医学图像进行像素层面的处理。
S308，将降采样特征图和升采样特征图进行拼接，并对拼接后的特征图进行图像处理，确定医学图像在像素层面的处理结果。
其中，这里的拼接是指将已得到的特征图(包括降采样特征图和升采样特征图)进行新的结构组合的过程，在拼接时，一般是将尺寸相同的特征图进行拼接，例如，第一神经网络模型某一层有128个通道的特征图，第二神经网络模型某一层也有128个通道和上述128个通道的特征图尺寸相同的特征图，那么将这两个层拼接之后，就可以得到256个通道的特征图。另外，这里的图像处理也可以是和上述S304的图像处理手段相同。
具体的，这里的图像处理也可以是在第二神经网络模型后面在加上一层全连接层，或者分类器，或者回归器，对最后一层升采样卷积层输出的升采样特征图进行全局分类或回归处理，得到医学图像在像素层面上的处理结果。
本实施例提供的图像处理方法，当预设的神经网络模型包括第一神经网络模型和第二神经网络模型时，可以将医学图像输入第一神经网络模型进行降采样卷积处理，得到降采样特征图，并对该降采样特征图进行处理得到图像层面的一级处理结果，同时可以将降采样特征图输入至第二神经网络模型中进行升采样卷积处理，得到升采样特征图，并对该升采样特征图进行处理，得到像素层面的处理结果。在本实施例中，由于该预设的神经网络可以同时输出两种不同功能层面的处理结果，因此，本实施例的方法可以实现多任务的并行处理，且可以输出多任务中每个任务的结果。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是当预设的神经网络模型还包括第三神经网络模型时，如何对第二神经网络模型得到的升采样特征图进行处理，得到图像层面的二级处理结果的具体过程。在上述实施例的基础上，如图4a所示，该方法还可以包括以下步骤：
S402，将降采样特征图和升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图；第三神经网络模型为对医学图像进行图像层面处理的模型；降采样特征图和升采样特征图为不同尺度的特征图。
其中，这里的第三神经网络模型可以是由降采样卷积层构成的神经网络模型，其可以包括一层降采样卷积层，还可以包括多层降采样卷积层，例如，可以包括两层降采样卷积层等。如果第三神经网络模型包括多层降采样卷积层，那么每个降采样卷积层都会有对应的输入和输出，各个降采样卷积层的输入都是上一层降采样卷积层的输出，其中，第一层降采样卷积层的输入是各个不同尺度的降采样特征图和升采样特征图。另外，这里降采样卷积处理之后得到的尺寸相同的特征图的尺寸可以小于等于第一神经网络模型和第二神经网络模型中图像的最小尺寸。
具体的，计算机设备在得到第一神经网络模型各层输出的降采样特征图，以及得到第二神经网络模型各层输出的升采样特征图之后，可以将两者中相同尺寸的降采样特征图和升采样特征图进行拼接后输入第三神经网络模型，也可以不拼接直接输入第三神经网络模型，在第三神经网络模型中进行降采样卷积处理之后，将输入的降采样特征图和升采样特征图都处理成各尺寸相同的特征图，这里第三神经网络模型主要对图像进行图像层面的处理。
S404，对各尺寸相同的特征图进行图像处理，确定医学图像在图像层面的二级处理结果；二级处理结果的图像精度高于一级处理结果的图像精度。
具体的，这里的图像处理可以是在第三神经网络模型后面在加上一层全连接层，或者分类器，或者回归器，对第三神经网络模型最后一层降采样卷积层输出的各尺寸相同的特征图进行全局分类或回归处理，得到医学图像在全局上的处理结果，称为医学图像在图像层面的二级处理结果。由于这里在进行图像处理时，针对的是各个尺度不同的降采样特征图和升采样特征图，即对各尺度不同的降采样特征图和升采样特征图进行了特征融合处理，因此，第三神经网络模型最后输出的图像层面的二级处理结果的图像精度会更高，即会高于一级处理结果的图像精度，因此，也更适合更复杂的图像处理场景。
需要说明的是，参见图4b所示，提供了一种三个神经网络模型处理的全过程示意图，其中，第一神经网络模型输出任务1，第二神经网络模型输出任务2，第三神经网络模型输出任务3，任务1和任务3均是图像层面的分类或回归任务，任务2是像素层面的分类或回归任务，虽然第一神经网络模型和第三神经网络模型均用于全局图像上的分类或者回归，但二者的处理的任务有差异，第一神经网络模型缺少低尺寸和高尺寸的特征图融合，因而仅适用于简单的全局图像上的任务，比如输入骨龄片的骨化中心是否出现等；第三神经网络模型则充分融合了由第二神经网络模型采集的不同尺寸的特征图融合信息，因而适用于更复杂，更有挑战性的任务，比如输入骨龄片的骨龄值等。另外，从多任务学习的角度来看，不同的任务对应不同的损失函数，最终模型的损失函数可以为三部分损失函数的损失值的线性组合，以实现多任务学习，另外，这里损失函数的选取可根据具体的任务决定，本实施例对此不作具体限定。
本实施例提供的图像处理方法，当预设的神经网络模型还包括第三神经网络模型时，可以将第一神经网络模型输出的降采样特征图和第二神经网络输出的升采样特征图输入至第三神经网络模型进行降采样卷积处理，得到各尺寸相同的特征图，并对该各个尺寸相同的特征图进行图像处理，就可以得到图像层面的二级处理结果。在本实施例中，由于进行图像处理时，针对的是各个尺度不同的降采样特征图和升采样特征图，即对各尺度不同的降采样特征图和升采样特征图进行了特征融合处理，因此，第三神经网络模型最后输出的图像层面的二级处理结果的图像精度会更高，即会高于一级处理结果的图像精度，因此，本实施例的方法也更适合更复杂的图像处理场景。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是当第一神经网络模型包括至少一层降采样卷积层时，如何对医学图像进行处理，得到医学图像的降采样特征图的一种可能的实施方式。在上述实施例的基础上，上述S302可以包括以下步骤：
将医学图像输入至第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图；上述各降采样卷积层对应的降采样特征图的尺寸不大于医学图像的尺寸。
其中，在本实施例中，降采样卷积层可以是一层，也可以是多层，如果是多层，各层降采样卷积层的结构为自上而下。
具体的，参见图5所示，提供了一种三个神经网络模型的具体处理过程示例图，本实施例以图5中第一神经网络模型包括三层降采样卷积层为例进行过程说明，即第一神经网络模型包括第一层降采样卷积层、第二层降采样卷积层和第三层降采样卷积层。首先可以将医学图像输入至第一层降采样卷积层中进行降采样卷积处理，得到第一降采样特征图，该第一降采样特征图的尺寸可以和医学图像的尺寸相同，即该第一层降采样卷积层的处理可以认为是对原始图像进行的预处理，示例地，该第一层降采样卷积层使用的卷积核尺寸可以是3*3，卷积步长可以为1，卷积扩充也可以为1，当然卷积核的尺寸、卷积步长、卷积扩充也可以是其他值，只要能保证第一降采样特征图的尺寸和原始医学图像(即这里的医学图像)的尺寸相同即可。在得到第一降采样特征图之后，可以将该第一降采样特征图输入至第二层降采样卷积层中进行降采样卷积处理，得到第二降采样特征图，该第二降采样特征图的尺寸小于第一降采样特征图的尺寸，一般第二降采样特征图的尺寸在各个维度上均为第一降采样特征图的尺寸在相应维度上的一半，示例地，该第二层降采样卷积层使用的卷积核尺寸可以是2*2，卷积步长可以为2，卷积扩充也可以为0，当然卷积核的尺寸、卷积步长、卷积扩充也可以是其他值，只要能保证第二降采样特征图的尺寸为第一降采样特征图的尺寸的一半即可。在得到第二降采样特征图之后，可以将该第二降采样特征图输入至第三层降采样卷积层中进行降采样卷积处理，得到第三降采样特征图，该第三降采样特征图的尺寸小于第二降采样特征图的尺寸，该第三层降采样卷积层使用的卷积核尺寸、卷及步长、卷积扩充可以和第二层降采样卷积层的相同，也可以不同，这个可以根据实际情况而定，本实施例对此不作具体限定。在得到第三层降采样特征图之后，可以将其输入全连接层或者分类器、回归器等，从而就可以实现对图像进行全局图像层面上的分类或回归，得到图像在图像层面的处理结果。
示例地，以二维图像为例，假设原始医学图像的尺寸为128*128，该原始医学图像在经过上述三层降采样卷积层处理之后得到的图像尺寸大小分别为：第一降采样特征图的尺寸为128*128，第二降采样特征图的尺寸为64*64，第三降采样特征图的尺寸为32*32。
本实施例提供的医学图像处理方法，当第一神经网络模型包括至少一层降采样卷积层时，将医学图像输入至第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图，其中，各降采样卷积层对应的降采样特征图的尺寸不大于医学图像的尺寸。在本实施例中，由于可以利用各层降采样卷积层对图像进行降采样处理，从而可以实现对图像在全局图像层面上的分类或回归。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是当第二神经网络模型包括至少一层升采样卷积层时，如何对降采样特征图进行处理，得到升采样特征图的一种可能的实施方式。在上述实施例的基础上，上述S306可以包括以下步骤：
将第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，上述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和医学图像的尺寸相同。
其中，在本实施例中，升采样卷积层可以是一层，也可以是多层，如果是多层，各层升采样卷积层的结构为自下而上。
具体的，继续参见图5所示，本实施例继续以第一神经网络模型包括三层降采样卷积层、且第二神经网络模型包括两层升采样卷积层为例进行过程说明，即第二神经网络模型包括第一层升采样卷积层和第二层升采样卷积层。首先可以将第一神经网络模型最后一层降采样卷积层输出的降采样特征图(即第三降采样特征图)，输入第二神经网络模型的第一层升采样卷积层中进行升采样卷积处理，得到第一升采样特征图，该第一升采样特征图的尺寸可以和第二降采样特征图的尺寸相同，在得到第一升采样特征图之后，可以将第一升采样特征图和第二降采样特征图进行特征拼接后，即将拼接后的特征图输入至第二层升采样卷积层中进行升采样卷积处理，得到第二升采样特征图，该第二升采样特征图的尺寸可以和第一降采样特征图的尺寸相同。在这里，各层升采样卷积层使用的卷积核尺寸、卷及步长、卷积扩充可以根据实际情况而定，本实施例对此不作具体限定。
在得到各层升采样卷积层对应的升采样特征图和各层降采样卷积层对应的降采样特征图之后，可选的，可以将上述第一神经网络模型第一层降采样卷积层得到的降采样特征图和上述第二神经网络模型最后一层升采样卷积层得到的升采样特征图进行拼接，并对拼接后的特征图进行图像处理。在该步骤中，继续以上述第一神经网络模型包括三层降采样卷积层和第二神经网络模型包括两层升采样卷积层为例，这里可以是将第一降采样特征图和第二升采样特征图进行特征拼接，这里的第一降采样特征图的尺寸和第二升采样特征图的尺寸相同，然后将拼接后的特征图输入至全连接层或者分类器、回归器等，从而就可以实现对图像进行像素图像层面上的分类或回归，得到图像在像素层面的处理结果。
示例地，以二维图像为例，假设原始医学图像的尺寸为128*128，该原始医学图像在经过上述三层降采样卷积层处理之后得到的第三降采样特征图的尺寸为32*32，那么在经过各层升采样卷积层之后得到图像尺寸分别为：第一升采样特征图的尺寸为64*64，第二升采样特征图的尺寸为128*128。由于第一升采样特征图的尺寸和第二降采样特征图的尺寸相同，因此两者可以进行特征拼接，同样的，由于第二升采样特征图的尺寸和第一降采样特征图的尺寸相同，因此该两者也可以进行特征拼接。
本实施例提供的医学图像处理方法，当第二神经网络模型包括至少一层升采样卷积层时，将第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，上述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和医学图像的尺寸相同。在本实施例中，由于可以利用各层升采样卷积层对降采样特征图进行升采样处理，从而可以实现对图像在像素图像层面上的分类或回归。
在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是当第三神经网络模型包括两层降采样卷积层时，如何将降采样特征图和升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图的一种可能的实施方式。在上述实施例的基础上，如图6所示，上述S402可以包括以下步骤：
S602，将各降采样卷积层对应的降采样特征图分别和各升采样卷积层对应的升采样特征图进行拼接后，输入至第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图。
其中，各个降采样卷积层得到的降采样特征图分别是不同尺度的降采样特征图，即每层降采样卷积层得到的降采样特征图的尺寸是相同的，但是不同层的降采样特征图的尺寸是不同的，同样的，各个升采样卷积层得到升采样特征图也分别是不同尺度的升采样特征图，即每层升采样卷积层得到的升采样特征图的尺寸是相同的，但是不同层的升采样特征图的尺寸是不同的。在得到各不同尺度的降采样特征图和各不同尺度的升采样特征图之后，可以将各个不同尺度的降采样特征图和升采样特征图分别进行拼接，在拼接时，可以是将各尺寸相同的降采样特征图和各尺寸相同的升采样特征图分别进行拼接。
具体的，可以继续参见图5所示，可以将第一神经网络模型最后一层降采样卷积层输出的降采样特征图，以及将各尺寸相同的降采样特征图和升采样特征图拼接后的特征图，一起输入至第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，这样就可以得到各降采样后尺寸相同的特征图。这里各降采样后尺寸相同的特征图指的是将各个不同尺度的特征图分别进行降采样后得到的特征图。另外，这里各层降采样卷积层使用的卷积核尺寸、卷及步长、卷积扩充可以根据实际情况而定，可以和第一神经网络模型的相同，也可以不同，本实施例对此不作具体限定。
示例地，继续以二维图像为例，假设原始医学图像的尺寸为128*128，该原始医学图像在经过第一神经网络模型的三层降采样卷积层处理之后得到的图像尺寸大小分别为：第一降采样特征图的尺寸为128*128，第二降采样特征图的尺寸为64*64，第三降采样特征图的尺寸为32*32，将该第三降采样特征图输入至第二神经网络模型中，在经过第二神经网络模型的各层升采样卷积层之后得到图像尺寸分别为：第一升采样特征图的尺寸为64*64，第二升采样特征图的尺寸为128*128，在这里，可以将第一降采样特征图和第二升采样特征图进行拼接，得到第一拼接特征图，将第二降采样特征图和第一升采样特征图进行拼接，得到第二拼接特征图，最后可以将第一拼接特征图、第二拼接特征图以及第三降采样特征图一起输入至第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，将所有输入的图像全部处理成尺寸相同的特征图。
S604，将各降采样后尺寸相同的特征图进行特征拼接后，输入至第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。
具体的，在得到各降采样后尺寸相同的特征图之后，可以将该各降采样后尺寸相同的特征图进行特征拼接，然后将拼接后的图像输入至第三神经网络模型的第二层降采样卷积层中进行降通道处理，该步骤可以是采用和第一神经网络模型中第一层降采样卷积层相同的卷积操作，通过该卷积操作，就可以将本步骤中拼接后的特征图的通道数降低，但不改变图像尺寸，即可以得到各降通道后尺寸相同的特征图。通过该步骤，就可以实现对图像层面的分类或回归。
示例地，假设输入512个通道的尺寸相同的特征图，在经过该步降通道操作之后，可以变成64个通道的尺寸相同的特征图，该步骤也可以称为瓶颈(bottleneck)操作，目的是可以减少网络模型的大小。
本实施例提供的图像处理方法，当第三神经网络模型包括两层降采样卷积层时，可以将各降采样卷积层对应的降采样特征图分别和各升采样卷积层对应的升采样特征图进行拼接后，输入至第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图，并将各降采样后尺寸相同的特征图进行特征拼接后，输入至第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。在本实施例中，由于输入的是不同尺度的特征图，因此本实施例得到的图像层面的处理结果的精度更高，也更适合更复杂的场景；另外，由于本实施例还可以进行降通道操作，从而可以减少网络模型的大小。
应该理解的是，虽然图2、3、4a、6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3、4a、6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种图像处理装置，包括：获取模块10和图像处理模块11，其中：
获取模块10，用于获取医学图像；
图像处理模块11，用于将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理。
本实施例提供的图像处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在另一个实施例中，上述预设的神经网络模型包括第一神经网络模型和第二神经网络模型，上述图像处理模块11可以包括：第一卷积处理单元、一级图像处理单元、第二卷积处理单元和像素处理单元，其中：
第一卷积处理单元，用于将所述医学图像输入至所述第一神经网络模型中进行降采样卷积处理，得到所述医学图像的降采样特征图；所述第一神经网络模型用于对所述医学图像进行图像层面处理；
一级图像处理单元，用于对所述降采样特征图进行图像处理，确定所述医学图像在图像层面的一级处理结果；
第二卷积处理单元，用于将所述降采样特征图输入至所述第二神经网络模型中进行升采样卷积处理，得到升采样特征图；所述第二神经网络模型用于对所述医学图像进行像素层面处理；
像素处理单元，用于将所述降采样特征图和所述升采样特征图进行拼接，并对拼接后的特征图进行图像处理，确定所述医学图像在像素层面的处理结果。
在另一个实施例中，提供了另一种图像处理装置，当上述预设的神经网络模型包括第三神经网络模型，在上述实施例的基础上，上述装置还可以包括：
第三卷积处理单元和二级图像处理单元，其中：
第三卷积处理单元，用于将所述降采样特征图和所述升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图；所述第三神经网络模型为对所述医学图像进行图像层面处理的模型；所述降采样特征图和所述升采样特征图为不同尺度的特征图；
二级图像处理单元，用于对各所述尺寸相同的特征图进行图像处理，确定所述医学图像在图像层面的二级处理结果；所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
在另一个实施例中，上述第一神经网络模型包括至少一层降采样卷积层，上述第一卷积处理单元，还用于将所述医学图像输入至所述第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图；所述各降采样卷积层对应的降采样特征图的尺寸不大于所述医学图像的尺寸。
在另一个实施例中，上述第二神经网络模型包括至少一层升采样卷积层，上述第二卷积处理单元，还用于将所述第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至所述第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和所述医学图像的尺寸相同。
在另一个实施例中，上述第三神经网络模型包括两层降采样卷积层，上述第三卷积处理单元，还用于将所述各降采样卷积层对应的降采样特征图分别和所述各升采样卷积层对应的升采样特征图进行拼接后，输入至所述第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图；将各所述降采样后尺寸相同的特征图进行特征拼接后，输入至所述第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。
在另一个实施例中，上述像素处理单元，还用于将所述第一神经网络模型第一层降采样卷积层得到的降采样特征图和所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图进行拼接，并对拼接后的特征图进行图像处理。
本实施例提供的图像处理装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取医学图像；
将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述医学图像输入至所述第一神经网络模型中进行降采样卷积处理，得到所述医学图像的降采样特征图；所述第一神经网络模型用于对所述医学图像进行图像层面处理；
对所述降采样特征图进行图像处理，确定所述医学图像在图像层面的一级处理结果；
将所述降采样特征图输入至所述第二神经网络模型中进行升采样卷积处理，得到升采样特征图；所述第二神经网络模型用于对所述医学图像进行像素层面处理；
将所述降采样特征图和所述升采样特征图进行拼接，并对拼接后的特征图进行图像处理，确定所述医学图像在像素层面的处理结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述降采样特征图和所述升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图；所述第三神经网络模型为对所述医学图像进行图像层面处理的模型；所述降采样特征图和所述升采样特征图为不同尺度的特征图；
对各所述尺寸相同的特征图进行图像处理，确定所述医学图像在图像层面的二级处理结果；所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述医学图像输入至所述第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图；所述各降采样卷积层对应的降采样特征图的尺寸不大于所述医学图像的尺寸。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至所述第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和所述医学图像的尺寸相同。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述各降采样卷积层对应的降采样特征图分别和所述各升采样卷积层对应的升采样特征图进行拼接后，输入至所述第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图；
将各所述降采样后尺寸相同的特征图进行特征拼接后，输入至所述第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述第一神经网络模型第一层降采样卷积层得到的降采样特征图和所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图进行拼接，并对拼接后的特征图进行图像处理。
在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取医学图像；
将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述医学图像输入至所述第一神经网络模型中进行降采样卷积处理，得到所述医学图像的降采样特征图；所述第一神经网络模型用于对所述医学图像进行图像层面处理；
对所述降采样特征图进行图像处理，确定所述医学图像在图像层面的一级处理结果；
将所述降采样特征图输入至所述第二神经网络模型中进行升采样卷积处理，得到升采样特征图；所述第二神经网络模型用于对所述医学图像进行像素层面处理；
将所述降采样特征图和所述升采样特征图进行拼接，并对拼接后的特征图进行图像处理，确定所述医学图像在像素层面的处理结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述降采样特征图和所述升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图；所述第三神经网络模型为对所述医学图像进行图像层面处理的模型；所述降采样特征图和所述升采样特征图为不同尺度的特征图；
对各所述尺寸相同的特征图进行图像处理，确定所述医学图像在图像层面的二级处理结果；所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述医学图像输入至所述第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图；所述各降采样卷积层对应的降采样特征图的尺寸不大于所述医学图像的尺寸。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至所述第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和所述医学图像的尺寸相同。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述各降采样卷积层对应的降采样特征图分别和所述各升采样卷积层对应的升采样特征图进行拼接后，输入至所述第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图；
将各所述降采样后尺寸相同的特征图进行特征拼接后，输入至所述第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述第一神经网络模型第一层降采样卷积层得到的降采样特征图和所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图进行拼接，并对拼接后的特征图进行图像处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取医学图像；
将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理；
所述预设的神经网络模型包括第一神经网络模型、第二神经网络模型和第三神经网络模型；所述第一神经网络模型用于对输入的所述医学图像进行降采样卷积处理，得到所述医学图像的降采样特征图，并用于对所述医学图像进行图像层面处理，输出所述医学图像在图像层面的一级处理结果；所述第二神经网络模型用于对输入的所述降采样特征图进行升采样卷积处理，得到升采样特征图，并用于对所述医学图像进行像素层面处理，输出所述医学图像在像素层面的处理结果；所述第三神经网络模型用于对输入的所述降采样特征图和所述升采样特征图进行降采样卷积处理，得到各尺寸相同的特征图，并用于对所述医学图像进行图像层面处理，输出所述医学图像在图像层面的二级处理结果，其中所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
2.根据权利要求1所述的方法，其特征在于，所述将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果，包括：
将所述医学图像输入至所述第一神经网络模型中进行降采样卷积处理，得到所述医学图像的降采样特征图；
对所述降采样特征图进行图像处理，确定所述医学图像在图像层面的一级处理结果；
将所述降采样特征图输入至所述第二神经网络模型中进行升采样卷积处理，得到升采样特征图；
将所述降采样特征图和所述升采样特征图进行拼接，并对拼接后的特征图进行图像处理，确定所述医学图像在像素层面的处理结果。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述降采样特征图和所述升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图；所述第三神经网络模型为对所述医学图像进行图像层面处理的模型；所述降采样特征图和所述升采样特征图为不同尺度的特征图；
对各所述尺寸相同的特征图进行图像处理，确定所述医学图像在图像层面的二级处理结果；所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
4.根据权利要求3所述的方法，其特征在于，所述第一神经网络模型包括至少一层降采样卷积层，所述将所述医学图像输入至所述第一神经网络模型中进行降采样卷积处理，得到所述医学图像的降采样特征图，包括：
将所述医学图像输入至所述第一神经网络模型的至少一层降采样卷积层中进行降采样卷积处理，得到各降采样卷积层对应的降采样特征图；所述各降采样卷积层对应的降采样特征图的尺寸不大于所述医学图像的尺寸。
5.根据权利要求4所述的方法，其特征在于，所述第二神经网络模型包括至少一层升采样卷积层，所述将所述降采样特征图输入至所述第二神经网络模型中进行升采样卷积处理，得到升采样特征图，包括：
将所述第一神经网络模型最后一层降采样卷积层得到的降采样特征图，输入至所述第二神经网络模型的至少一层升采样卷积层中进行升采样卷积处理，得到各升采样卷积层对应的升采样特征图，所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图的尺寸和所述医学图像的尺寸相同。
6.根据权利要求5所述的方法，其特征在于，所述第三神经网络模型包括两层降采样卷积层，所述将所述降采样特征图和所述升采样特征图输入至第三神经网络模型中进行降采样卷积处理，得到各尺寸相同的特征图，包括：
将所述各降采样卷积层对应的降采样特征图分别和所述各升采样卷积层对应的升采样特征图进行拼接后，输入至所述第三神经网络模型的第一层降采样卷积层中进行降采样卷积处理，得到各降采样后尺寸相同的特征图；
将各所述降采样后尺寸相同的特征图进行特征拼接后，输入至所述第三神经网络模型的第二层降采样卷积层中进行降通道处理，得到各降通道后尺寸相同的特征图。
7.根据权利要求5所述的方法，其特征在于，所述将所述降采样特征图和所述升采样特征图进行拼接，并对拼接后的特征图进行图像处理，包括：
将所述第一神经网络模型第一层降采样卷积层得到的降采样特征图和所述第二神经网络模型最后一层升采样卷积层得到的升采样特征图进行拼接，并对拼接后的特征图进行图像处理。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取医学图像；
图像处理模块，用于将所述医学图像输入至预设的神经网络模型中，得到所述医学图像在图像层面的处理结果和所述医学图像在像素层面的处理结果；所述预设的神经网络模型用于对所述医学图像进行至少两种不同功能层面的处理；
其中所述预设的神经网络模型包括第一神经网络模型、第二神经网络模型和第三神经网络模型；所述第一神经网络模型用于对输入的所述医学图像进行降采样卷积处理，得到所述医学图像的降采样特征图，并用于对所述医学图像进行图像层面处理，输出所述医学图像在图像层面的一级处理结果；所述第二神经网络模型用于对输入的所述降采样特征图进行升采样卷积处理，得到升采样特征图，并用于对所述医学图像进行像素层面处理，输出所述医学图像在像素层面的处理结果；所述第三神经网络模型用于对输入的所述降采样特征图和所述升采样特征图进行降采样卷积处理，得到各尺寸相同的特征图，并用于对所述医学图像进行图像层面处理，输出所述医学图像在图像层面的二级处理结果，其中所述二级处理结果的图像精度高于所述一级处理结果的图像精度。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201910886148.2A 2018-12-29 2019-09-19 图像处理方法、装置、计算机设备和存储介质 Active CN110751627B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910886148.2A CN110751627B (zh) 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备和存储介质
PCT/CN2019/129636 WO2020135812A1 (en) 2018-12-29 2019-12-28 Systems and methods for ossification center detection and bone age assessment
US16/729,302 US11367181B2 (en) 2018-12-29 2019-12-28 Systems and methods for ossification center detection and bone age assessment
US17/806,269 US11735322B2 (en) 2018-12-29 2022-06-09 Systems and methods for ossification center detection and bone age assessment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910886148.2A CN110751627B (zh) 2019-09-19 2019-09-19 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110751627A CN110751627A (zh) 2020-02-04
CN110751627B true CN110751627B (zh) 2024-01-26

Family

ID=69276747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910886148.2A Active CN110751627B (zh) 2018-12-29 2019-09-19 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110751627B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180338740A1 (en) * 2017-05-24 2018-11-29 Perkinelmer Health Sciences, Inc. Systems and methods for automated analysis of heterotopic ossification in 3d images
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
US20190005360A1 (en) * 2017-07-01 2019-01-03 Algolux Inc. Method and apparatus for joint image processing and perception
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109754403A (zh) * 2018-11-29 2019-05-14 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及系统
CN109949223A (zh) * 2019-02-25 2019-06-28 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180338740A1 (en) * 2017-05-24 2018-11-29 Perkinelmer Health Sciences, Inc. Systems and methods for automated analysis of heterotopic ossification in 3d images
US20190005360A1 (en) * 2017-07-01 2019-01-03 Algolux Inc. Method and apparatus for joint image processing and perception
CN109035252A (zh) * 2018-06-29 2018-12-18 山东财经大学 一种面向医学图像分割的超像素方法
CN109271992A (zh) * 2018-09-26 2019-01-25 上海联影智能医疗科技有限公司 一种医学图像处理方法、系统、装置和计算机可读存储介质
CN109754403A (zh) * 2018-11-29 2019-05-14 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及系统
CN109741260A (zh) * 2018-12-29 2019-05-10 天津大学 一种基于深度反投影网络的高效超分辨率方法
CN109949223A (zh) * 2019-02-25 2019-06-28 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110120033A (zh) * 2019-04-12 2019-08-13 天津大学 基于改进的U-Net神经网络三维脑肿瘤图像分割方法

Also Published As

Publication number Publication date
CN110751627A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN109978756B (zh) 目标检测方法、系统、装置、存储介质和计算机设备
EP3349153B1 (en) Convolutional neural network (cnn) processing method and apparatus
CN107967669B (zh) 图片处理的方法、装置、计算机设备及存储介质
CN111192356B (zh) 感兴趣区域的显示方法、装置、设备和存储介质
CN111079632A (zh) 文本检测模型的训练方法、装置、计算机设备和存储介质
CN111161269B (zh) 图像分割方法、计算机设备和可读存储介质
CN110517186B (zh) 消除发票印章的方法、装置、存储介质和计算机设备
KR20210095936A (ko) 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체
CN110210519B (zh) 分类方法、计算机设备和存储介质
CN109815931B (zh) 一种视频物体识别的方法、装置、设备以及存储介质
CN111028212B (zh) 关键点检测方法、装置、计算机设备和存储介质
CN111583184A (zh) 图像分析方法、网络、计算机设备和存储介质
CN113935943A (zh) 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质
CN111583264B (zh) 图像分割网络的训练方法、图像分割方法和存储介质
CN110751627B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115797547A (zh) 图像建模方法、计算机设备和存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN111899263B (zh) 图像分割方法、装置、计算机设备及存储介质
CN111881729B (zh) 基于热成像的活体流向甄别方法、装置、设备及存储介质
CN111488933B (zh) 图像分类方法、网络、计算机设备和存储介质
CN112614205B (zh) 图像重建方法及装置
CN116659520B (zh) 基于仿生偏振视觉增强的匹配定位方法、装置和设备
CN116416328A (zh) 图像重建方法、装置、计算机设备和存储介质
CN111179166B (zh) 图像处理方法、装置、设备及计算机可读存储介质
KR102640081B1 (ko) 시선 예측 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant