CN110796652A

CN110796652A - 图像处理方法、计算机设备和存储介质

Info

Publication number: CN110796652A
Application number: CN201911042735.XA
Authority: CN
Inventors: 聂建龙; 曹晓欢; 薛忠
Original assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Current assignee: Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2020-02-14
Anticipated expiration: 2039-10-30
Also published as: CN110796652B

Abstract

本申请涉及一种图像处理方法、计算机设备和存储介质。所述方法包括：获取待处理的医学图像和相关配置参数，相关配置参数包括处理医学图像的计算机设备的可使用内存和/或最大时间消耗值；根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值；将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块；将至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到医学图像的处理结果。采用本方法能够提高运行速度，降低运算耗时。

Description

图像处理方法、计算机设备和存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、计算机设备和存储介质。

背景技术

随着人工智能热潮的兴起，以深度学习为代表的机器学习算法被广泛应用于自然语言识别、自然图像分割等领域。

近来，深度学习也应用于医学影像的处理与分析，与常见的自然图像相比，医学影像(如CT、MRI)具有数据维度高，信息量大的特点，在利用医学影像进行深度学习的过程中，高维的医学影像会占用更多的显存，同时也会使运算过程更加耗时。因此在深度学习相关算法的研发过程中，提出了将图像数据进行分块，然后将分好的图像块输入至神经网络，最后将各个图像块的结果进行拼接得到图像完整的处理结果。

然而上述技术在利用神经网络对医学图像进行处理时，存在耗时较长的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够降低神经网络耗时的图像处理方法、计算机设备和存储介质。

一种图像处理方法，该方法包括：

获取待处理的医学图像和相关配置参数，相关配置参数包括处理医学图像的计算机设备的可使用内存和/或最大时间消耗值；

根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值；

将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块；

将至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到医学图像的处理结果。

在其中一个实施例中，该方法还包括：

根据医学图像的尺寸和神经网络模型确定内存模型；和/或，

根据医学图像的尺寸和神经网络模型确定耗时模型；和/或，

根据医学图像的尺寸和神经网络模型以及可使用内存和/或最大时间消耗值确定缺省模型。

在其中一个实施例中，上述根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值，包括：

根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定至少一个图像块尺寸的候选值；

获取选择的目标模型，目标模型为内存模型和耗时模型以及缺省模型中的任意一个；

将至少一个图像块尺寸的候选值输入目标模型中，对目标模型进行最优值求解处理，得到目标模型的最优值，并将目标模型的最优值对应的图像块尺寸的候选值确定为图像块尺寸的目标值。

在其中一个实施例中，若目标模型为内存模型，则根据所述医学图像的尺寸和神经网络模型确定内存模型，包括：

获取多个不同的图像块尺寸，以及神经网络模型处理各种尺寸的图像块所需的内存消耗；

对多个不同的图像块尺寸和各种尺寸的图像块所需的内存消耗进行数据处理，建立图像块尺寸和内存消耗之间的对应关系，得到内存模型。

在其中一个实施例中，若目标模型为耗时模型，则根据医学图像的尺寸和神经网络模型确定耗时模型，包括：

获取多个不同的图像块尺寸、以及神经网络模型处理各种尺寸的图像块所需的时间消耗；

对多个不同的图像块尺寸和各种尺寸的图像块所需的时间消耗进行数据处理，建立图像块尺寸和时间消耗之间的对应关系，得到耗时模型。

在其中一个实施例中，若目标模型为缺省模型，则根据医学图像的尺寸和神经网络模型以及可使用内存和/或最大时间消耗值确定缺省模型，包括：

获取医学图像按照不同的图像块尺寸进行分割后的图像块数量；

对图像块数量和耗时模型以及内存模型进行综合处理，并结合可使用内存和/或最大时间消耗值，确定缺省模型。

在其中一个实施例中，上述将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块，包括：

获取医学图像中的关键特征部分，得到关键特征图像；

将关键特征图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。

在其中一个实施例中，上述内存消耗包括图像块尺寸在神经网络模型中占用的内存消耗和/或神经网络模型在计算时的临时内存消耗。

一种图像处理装置，该装置包括：

获取模块，用于获取待处理的医学图像和相关配置参数，所述相关配置参数包括处理所述医学图像的计算机设备的可使用内存和/或最大时间消耗值；

确定模块，用于根据所述医学图像的尺寸和所述可使用内存和/或所述最大时间消耗值确定图像块尺寸的目标值；

分块模块，用于将所述医学图像按照所述图像块尺寸的目标值进行分块，得到至少一个图像块；

处理模块，用于将所述至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到所述医学图像的处理结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待处理的医学图像和相关配置参数，所述相关配置参数包括处理所述医学图像的计算机设备的可使用内存和/或最大时间消耗值；

根据所述医学图像的尺寸和所述可使用内存和/或所述最大时间消耗值确定图像块尺寸的目标值；

将所述医学图像按照所述图像块尺寸的目标值进行分块，得到至少一个图像块；

将所述至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到所述医学图像的处理结果。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述图像处理方法、装置、计算机设备和存储介质，通过获取待处理的医学图像和相关配置参数，根据医学图像的尺寸和配置参数中的计算机设备可使用内存和/或最大时间消耗值确定图像块尺寸的目标值，将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块，并将至少一个图像块输入至神经网络，以及将各图像块的输出结果组合得到医学图像的处理结果。在该方法中，由于图像块尺寸的目标值是综合考虑了图像的尺寸和计算机设备的可使用内存以及最大时间消耗值得到的，即图像块尺寸的目标值是从数据本身得到的值，因此，得到的图像块尺寸的目标值是最优的，也是最有效的，从而在利用该最优的图像块尺寸的目标值对整个图像进行分块，并采用神经网络对各图像块处理时，可以有效提高神经网络对整个图像的处理速度，进而可以降低整个图像通过神经网络的耗时时间。

附图说明

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中图像处理方法的流程示意图；

图3a为另一个实施例中图像处理方法的流程示意图；

图3b为另一个实施例的图像处理方法中内存模型的示意图；

图4a为另一个实施例中图像处理方法的流程示意图；

图4b为另一个实施例的图像处理方法中耗时模型的示意图；

图5为另一个实施例中图像处理方法的流程示意图；

图6为另一个实施例中图像处理方法的流程示意图；

图7为另一个实施例中图像处理方法的流程示意图；

图8为另一个实施例中图像处理方法的流程示意图；

图9为一个实施例中图像处理装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

随着人工智能热潮的兴起，以深度学习为代表的机器学习算法被广泛应用于自然语言识别、自然图像分割等领域，近来，深度学习也应用于医学影像的处理与分析，与常见的自然图像相比，医学影像(如CT、MRI、PET等)具有数据维度高，信息量大的特点，所以在深度学习的使用过程中，高维影像也会占用更多的显存，运算也会更加耗时。深度神经网络是深度学习算法中的一个重要分支，它主要通过搭建多层的人工神经网络，同时利用大量的数据进行训练以更新各个人工神经元之间的连接参数；因为医学图像有着数据量大的特点，如果一次性输入整个图像，在神经网络计算的过程中，容易带来较高的瞬时负载并同时占用大量的内存，因此深度神经网络算法的研发过程中，网络的输入可以将数据进行分块输入，最后将各个数据块的结果进行拼接从而得到完整数据的最终结果。在实际使用过程中，同一个数据根据数据块大小不同，被切分得到的数据块数量也是不同的，同时，输入神经网络的整个图像大小也无法固定，因此就需要一种有效的深度学习部署方法，结合当前数据的大小寻找最优的数据分块策略，以自适应地获得数据块大小使得整个数据通过网络的时间最小，提升现有基于深度学习方法在实际使用中的运算效率。

目前对深度神经网络算法的加速方式主要集中两个方面：核心算法设计和计算流程优化两个两面。例如第一类，通过模型压缩，减小模型的大小，从而减少部分运算以提高算法速度，这一类方法代表的技术手段有剪枝策略等，而剪枝策略是在不严重影响算法最终效果的前提下去除网络结构中不重要的连接，从而有效减少模型中的计算量；第二类，在不损失算法的性能的条件下通过优化网络结构来获取新的网络结构，从而达到加速的目的，这一类方法主要将目标放在了网络结构的设计上，常用的方法有利用小的卷积核替代大的卷积核、增加旁路分支、后移降采样层、采用新式卷积操作等；第三类，在硬件层面上控制数据的流向，通过减少在硬件层面上的数据读取操作，降低硬件之间的交互次数从而达到耗时的减少。上述第一类和第二类方案主要在算法的设计上进行以减少核心算法本身的计算量从而达到加速的目的，第三类方案主要是减少数据读取方面来减少算法的整体运行时间，是一种计算流上的优化，可见，上述几类方法并没有数据本身这个角度出发，在实际使用过程中还是会存在运行速度慢，导致耗时较长的问题，本申请实施例提供一种图像处理方法、装置、计算机设备和存储介质，旨在解决上述技术存在的问题。

本申请实施例提供的图像处理方法，可以应用于计算机设备，该计算机设备的内部结构图可以如图1所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

需要说明的是，本申请实施例的执行主体可以是图像处理装置，也可以是计算机设备，下述实施例以计算机设备为执行主体进行说明。

在一个实施例中，提供了一种图像处理方法，本实施例涉及的是如何通过医学图像的尺寸和计算机设备的可使用内存以及最大时间消耗值确定图像块尺寸的目标值，并利用该目标值对图像进行分块处理的具体过程。如图2所示，该方法可以包括以下步骤：

S202，获取待处理的医学图像和相关配置参数，相关配置参数包括处理医学图像的计算机设备的可使用内存和/或最大时间消耗值。

其中，待处理的医学图像可以是针对待处理对象得到的医学图像，该待处理对象可以是儿童、老人、成人(非儿童且非老人)等，当然也可以是动物，不过本实施例中是以待处理对象为人类进行说明的；这里的待处理的医学图像可以是一个图像，也可以是多个图像；另外，待处理的医学图像可以是一维图像、二维图像、三维图像等，本实施例主要使用的是三维图像。其次，获取待处理的医学图像的方式可以包括：通过对扫描设备采集到的待处理对象的数据进行图像重建和校正，从而得到待处理的医学图像，该扫描设备可以是MR设备(Magnetic Resonance，磁共振)、CT设备(Computed Tomography，电子计算机断层扫描)、PET设备(Positron Emission Computed Tomography，正电子发射型计算机断层显像)、PET-CT设备、PET-MR设备等等；或者，待处理的医学图像也可以预先重建和校正好，存储在计算机设备中，当需要对其进行处理时，直接从计算机设备的存储器中读取该待处理的医学图像；又或者，计算机设备也可以从外部设备中获取待处理的医学图像，比如，将待处理的医学图像存储在云端，当需要进行处理操作时，计算机设备从云端获取该待处理的医学图像。本实施例对获取待处理的医学图像的获取方式不做限定。

另外，相关配置参数在这里可以是对计算机设备进行配置的一些相关参数，可以包括计算机设备的可使用内存、最大时间消耗值等，当然还可以包括其他配置参数。由于计算机设备的内存资源是有限的，同时神经网络计算运行也是有耗时需求的，因此，在处理图像之前，计算机设备可以为处理过程预先分配内存资源和设置耗时需求，即这里的可使用内存和最大时间消耗值，这里可使用内存可以是计算机设备的全部内存，也可以是计算机设备的部分内存，此外，可使用内存可以指物理内存、运行内存等等。

具体的，计算机设备可以通过以上手段获取到待处理的医学图像，同时也可以通过尺寸测量方法等得到待处理的医学图像的尺寸，在处理图像之前，用户可以手动或自动对计算机设备的相关参数进行配置，配置好之后计算机设备就可以使用了。另外，这里医学图像的尺寸可以是一维大小、二维大小、三维大小，本实施中主要使用的是三维大小的整数。

S204，根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值。

其中，图像块尺寸的目标值在这里指的是将上述医学图像进行分块处理时，分成的图像块大小的最优值；图像块尺寸的目标值可以是一维的值、二维的值或者三维的值，本实施例中主要使用的是三维的值；同时，图像块尺寸一般可以为小数和整数，本实施例中主要使用的是整数。另外，在确定图像块尺寸的目标值时，可以是根据医学图像的尺寸和可使用内存确定的，还可以是根据医学图像的尺寸和最大时间消耗值确定的，当然还可以是根据医学图像的尺寸和可使用内存以及最大时间消耗值总体来确定的。

具体的，计算机设备可以通过将医学图像按照不同的图像块尺寸进行分块，并对不同的图像块尺寸和可使用内存和/或最大时间消耗值进行分析处理，得到图像块尺寸的目标值。

S206，将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。

具体的，假设医学图像为三维图像，其尺寸为[W,H,D],图像块尺寸的目标值为[x,y,z]，将医学图像分块的过程中，每个维度的移动步长可以为[dW,dH,dD]，为了确保图像中所有的数据都会通过网络，即使在分块的过程中，最后某块不满足设定的图像块尺寸的目标值，也会自动通过填补操作转化为设定的尺寸，通过将医学图像按照图像块尺寸的目标值进行分块，就可以得到各相同尺寸的图像块，这里可以得到的图像块数量可以是一个，也可以是多个，不过本实施主要指的是得到多个图像块，图像块数量N的计算公式可以参见下述公式(1)所示：

S208，将至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到医学图像的处理结果。

其中，神经网络模型可以是分割模型、分类模型、检测模型等等，神经网络模型可以包括卷积神经网络模型等模型，当然也可以包括其他网络模型。

具体的，计算机设备在得到各个划分好的图像块之后，可以将各个图像块依次输入神经网络模型，得到每个图像块对应的输出结果，最后将每个图像块对应的输出结果组合起来就可以得到整个医学图像的处理结果。

上述图像处理方法中，通过获取待处理的医学图像和相关配置参数，根据医学图像的尺寸和配置参数中的计算机设备可使用内存和/或最大时间消耗值确定图像块尺寸的目标值，将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块，并将至少一个图像块输入至神经网络，以及将各图像块的输出结果组合得到医学图像的处理结果。在该方法中，由于图像块尺寸的目标值是综合考虑了图像的尺寸和计算机设备的可使用内存以及最大时间消耗值得到的，即图像块尺寸的目标值是从数据本身得到的值，因此，得到的图像块尺寸的目标值是最优的，也是最有效的，从而在利用该最优的图像块尺寸的目标值对整个图像进行分块，并采用神经网络对各图像块处理时，可以有效提高神经网络对整个图像的处理速度，进而可以降低整个图像通过神经网络的耗时时间。

在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是如何根据医学图像的尺寸和神经网络以及可使用内存和最大时间消耗值，确定内存模型、耗时模型、缺省模型的具体过程。在上述实施例的基础上，上述方法还可以包括以下步骤A-步骤C中的任意一步或多步：

步骤A，根据医学图像的尺寸和神经网络模型确定内存模型。

在本实施例中，由于计算机的内存和显存都是有限的，而且也要保证其他程序的运行，因此网络模型运行的过程中不能占用过多的内存和显存，特别是在内存和显存相对较小的机器上，图像块尺寸过大会导致网络模型所对应的算法崩溃。可选的，本步骤中的内存消耗包括图像块尺寸在神经网络模型中占用的内存消耗、显存消耗和/或神经网络模型在计算时的临时内存消耗、显存消耗，多种内存和显存消耗的总和与数据块大小呈正相关，本步骤的目的就是获取图像块尺寸和内存消耗之间的关系，建立内存模型。在本步骤中，可选的，可以利用图3a所示的内存模型确定方法，如图3a所示，该内存模型的确定方法可以包括以下步骤S302和S304：

S302，获取多个不同的图像块尺寸，以及神经网络模型处理各种尺寸的图像块所需的内存消耗。

S304，对多个不同的图像块尺寸和各种尺寸的图像块所需的内存消耗进行数据处理，建立图像块尺寸和内存消耗之间的对应关系，得到内存模型。

具体的，以医学图像为三维图像为例，对于一个三维医学图像，可以按照不同的图像块尺寸[x,y,z]对该医学图像进行分块，将每个图像块输入神经网络模型，计算该图像块通过网络的内存消耗，重复多次之后可得该尺寸的图像块通过神经网络模型的平均内存消耗，按照此方法可以获得不同图像块尺寸与其通过神经网络模型的内存消耗，在利用这些数据建立模型的过程中，可能也会产生一些干扰数据，那么可以先对这些数据进行预处理，例如数据去噪处理等，然后再通过数据拟合方法、分析方法、Excel表格处理方法等，对预处理后的数据进行处理，就可以得到图像块尺寸和内存消耗之间的对应关系，该对应关系可以认为就是内存模型。

示例地，将医学图像按照不同的图像块尺寸进行分块，得到图像块尺寸和图像块数量以及每个图像块的平均内存消耗的值可以参见下表1所示：

表1

表1中的数据并未完全示出，利用表1的数据，可以建立图像块尺寸和内存消耗之间的关系，该对应关系可以采用下述公式(2)表示：

m＝g(x,y,z) (2)

公式(2)中的m表示内存消耗，g()表示m和[x,y,z]之间的关系，利用表1的数据得到图像块尺寸和内存消耗之间的关系图可以参见图3b所示，图3b只是一种示意，不影响实施例的实质。

步骤B，根据医学图像的尺寸和神经网络模型确定耗时模型。

在本实施例中，由于不同图像块尺寸含有不同的数据量，而网络模型一旦固定，在相同的环境下其计算能力固定的，那么大的数据通过网络的时间必然耗时更多；反之，小的数据块耗时也会相应的少些，但两者之间的关系并不是线性的，本步骤的目的就是获取两者之间的关系，建立耗时模型。在本步骤中，可选的，可以利用图4a所示的耗时模型确定方法，如图4a所示，该耗时模型的确定方法可以包括以下步骤S402和S404：

S402，获取多个不同的图像块尺寸、以及神经网络模型处理各种尺寸的图像块所需的时间消耗。

S404，对多个不同的图像块尺寸和各种尺寸的图像块所需的时间消耗进行数据处理，建立图像块尺寸和时间消耗之间的对应关系，得到耗时模型。

具体的，继续以医学图像为三维图像为例，对于一个三维医学图像，可以按照不同的图像块尺寸[x,y,z]对该医学图像进行分块，将每个图像块输入神经网络模型，计算该图像块通过网络的时间，重复多次之后就可以得到该尺寸的图像块通过神经网络模型的平均时间，按照此方法就可以获得不同图像块尺寸与其通过神经网络模型的时间，那么可以通过数据拟合方法、分析方法、Excel表格处理方法等，得到图像块尺寸和时间消耗之间的对应关系，该对应关系可以认为就是耗时模型。

示例地，将医学图像按照不同的图像块尺寸进行分块，得到图像块尺寸和图像块数量以及每个图像块的平均内存消耗的值可以参见下表2所示：

表2

表2中的数据也并未完全示出，利用表2的数据，可以建立的关系，该对应关系可以采用下述公式(3)表示：

t＝f(x,y,z) (3)

公式(3)中的t表示内存消耗，f()表示t和[x,y,z]之间的关系，利用表2的数据得到图像块尺寸和时间消耗之间的关系图可以参见图4b所示，图4b只是一种示意，不影响实施例的实质。

步骤C，根据医学图像的尺寸和神经网络模型以及可使用内存和/或最大时间消耗值确定缺省模型。

在本实施例中，由于图像块的大小同时影响着通过图像块通过神经网络的时间和内存消耗的大小，因此分割出来的图像块越大，通过神经网络的时间就越长且占据的内存也越多，但与此同时，图像块越大，整个医学图像分割出来的图像块数量就相应的变少了，此时，整个医学图像通过神经网络的时间与分割出来的图像块尺寸就不是线性关系了，当获得了数据块尺寸与时间消耗、数据块尺寸与内存消耗这两个关系时，就可以结合相关的约束条件构建我们所需要的缺省模型。在本步骤中，可选的，可以利用图5所示的缺省模型确定方法，如图5所示，该缺省模型的确定方法可以包括以下步骤S502和S504：

S502，获取医学图像按照不同的图像块尺寸进行分割后的图像块数量。

S504，对图像块数量和耗时模型以及内存模型进行综合处理，并结合可使用内存和/或最大时间消耗值，确定缺省模型。

具体的，继续以医学图像为三维图像为例，对于一个三维医学图像，可以按照不同的图像块尺寸[x,y,z]对该医学图像进行分块，分块之后就可以得到同一个图像块尺寸下的图像块数量，由于图像块尺寸不同，因此将同一个三维图像进行分块后得到的图像块数量可能也是不同的，在这里可以将图像块数量和上述内存模型得到的关系式以及上述耗时模型得到的关系式进行乘法运算，就可以得到整个图像的总体时间和内存消耗，按照此方法可以得到不同图像块数量下的总体时间和内存消耗；由于可使用内存和最大时间消耗值都是有限的，因此可以利用可使用内存对内存模型建立约束条件，同样利用最大时间消耗值对耗时模型建立约束条件，并将对整个图像的总体时间和内存消耗进行最小值求解的关系，以及加上两个约束条件作为缺省模型，缺省模型的表达式可以参见下述公式(4)所示：

公式(4)中，minmize可以认为是进行最小值求解，T可以认为是整个图像的总体时间和内存消耗，t_set是最大时间消耗值，m_set是可使用内存。

本实施例提供的图像处理方法，可以通过不同的图像块尺寸和各尺寸图像块通过神经网络模型的内存消耗确定内存模型，通过不同的图像块尺寸和各尺寸图像块通过神经网络模型的时间消耗确定耗时模型，通过医学图像按照不同的图像块尺寸分割的图像块数量和神经网络模型以及可使用内存和/或最大时间消耗值确定缺省模型。在本实施例中，由于可以通过不同的图像块尺寸和神经网络模型建立内存模型和耗时模型，以及加上可使用内存和最大时间消耗值建立缺省模型，这样可以为后续为图像分块提供一个分割基础，并通过模型选取出合适的图像块尺寸。

在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是如何根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值的具体过程。在上述实施例的基础上，如图6所示，上述S204可以包括以下步骤：

S602，根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定至少一个图像块尺寸的候选值。

具体的，由于不同的图像块尺寸通过神经网络模型时的内存消耗都是不同的，因此可以将可使用内存作为最大值，将不同图像块尺寸通过神经网络模型的内存消耗和可使用内存作对比，将小于可使用内存的内存消耗对应的图像块尺寸列举出来，得到内存消耗下对应的图像块尺寸的可能值；同样，由于不同的图像块尺寸(即不同尺寸的图像块)通过神经网络模型时的时间都是不同的，因此可以将最大时间消耗值作为最大值，将不同图像块尺寸通过神经网络模型的时间和最大时间消耗值作对比，将小于最大时间消耗值的时间对应的图像块尺寸列举出来，得到时间消耗下对应的图像块尺寸的可能值；之后，可以将内存消耗下对应的图像块尺寸的可能值和时间消耗下对应的图像块尺寸的可能值进行结合，选出两类可能值中重复的可能值，并将这些重复的可能值作为缺省模型对应的图像块尺寸的候选值。这里的图像块尺寸的候选值可以是一个，也可以是多个，本实施例中一般都是多个。

S604，获取选择的目标模型，目标模型为内存模型和耗时模型以及缺省模型中的任意一个。

具体的，在上述将内存模型、耗时模型、缺省模型三个模型建立好之后，可以将这三个模型存储在计算机设备中，并提供给用户进行选择，在需要对医学图像处理时，用户可以在提供的显示界面上选择使用哪种模型进行处理，用户选择的模型即为目标模型，一般一次只会选择一个模型作为目标模型。

需要说明的是，如果目标模型为内存模型或耗时模型，那么上述S602和S604的步骤可以对调，即可以先选择目标模型，再计算候选值，这样的话只需要计算内存模型或耗时模型各自对应的一个约束条件，从而可以更快速地得到图像块尺寸的候选值，节省一部分时间。当然，这里一般只有在线计算图像块的候选值且图像块的候选值比较少的时候比较有意义，在离线计算图像块的候选值且图像块的候选值比较多时，一般也不会节省时间。

S606，将至少一个图像块尺寸的候选值输入所述目标模型中，对目标模型进行最优值求解处理，得到目标模型的最优值，并将目标模型的最优值对应的图像块尺寸的候选值确定为图像块尺寸的目标值。

其中，这里的最优值求解可以是最小值求解，当然也可以是其他求解方法。

具体的，计算机设备在得到各图像块尺寸的候选值以及使用的目标模型之后，可以将各图像块尺寸的候选值分别输入至目标模型中，得到各图像块尺寸对应的结果值，并将各结果值进行比较，从中得到最优结果值，并将最优结果值对应的图像块尺寸的候选值作为图像块尺寸的目标值。另外，若目标模型是耗时模型，那么此时只考虑耗时约束条件，不考虑内存约束条件，这里的结果值可以是各图像块尺寸的候选值对应的时间消耗；若目标模型是内存模型，那么此时只考虑内存约束条件，不考虑耗时约束条件，这里的结果值可以是各图像块尺寸的候选值对应的内存消耗；若目标模型是缺省模型，那么此时需要综合考虑内存约束条件和耗时约束条件，这里的结果值可以是各图像块尺寸的候选值对应的总体时间和内存消耗。

本实施例提供的图像处理方法，根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定至少一个图像块尺寸的候选值；获取选择的目标模型，目标模型为内存模型和耗时模型以及缺省模型中的任意一个；将至少一个图像块尺寸的候选值输入目标模型中，对目标模型进行最优值求解处理，得到目标模型的最优值，并将目标模型的最优值对应的图像块尺寸的候选值确定为图像块尺寸的目标值。在本实施例中，由于通过三类不同的模型都可以确定图像块尺寸的目标值，这样在采用该目标值对医学图像进行分块，并对分块后的医学图像进行处理时，得到的结果精度不会降低，且还会有效降低计算的耗时，提高运算的速度。

在另一个实施例中，提供了另一种图像处理方法，本实施例涉及的是如何根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定图像块尺寸的目标值的具体过程。在上述实施例的基础上，如图7所示，上述S206可以包括以下步骤：

S702，获取医学图像中的关键特征部分，得到关键特征图像。

S704，将关键特征图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。

具体的，计算机设备可以预先人为或者自动判断出医学图像上的关键特征部分和冗余部分，然后利用图像处理相关技术将冗余部分剔除掉，得到医学图像的关键特征部分，记为关键特征图像，然后按照关键特征图像的尺寸和目标模型对应的约束条件，计算得到该关键特征图像对应的图像块尺寸的目标值，并将关键特征图像按照这里得到的图像块尺寸的目标值进行分块，得到一个或多个图像块。

本实施例提供的图像处理方法，通过获取医学图像中的关键特征部分，得到关键特征图像，并将关键特征图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。在本实施例中，由于可以对医学图像进行提纯得到关键特征图像，因此在后续对医学图像处理时只需要对关键特征图像进行分块，那么分块得到的图像块数量就会小于原本的医学图像分成的图像块数量，因此输入神经网络模型的数据量就会减少，从而就可以更进一步地提高运行速度，进而更进一步地降低整体耗时。

为了便于对本申请实施例的方案进行更加清楚地解释，下面以一个具体的实施例进行说明，如图8所示，该方法可以包括以下步骤：

S801，获取待处理的医学图像、计算机设备的可使用内存、最大时间消耗值、选择的目标模型。

S802，根据待处理的医学图像的尺寸和可使用内存以及最大时间消耗值计算各图像块尺寸的候选值。

S803，若目标模型是缺省模型，则将各图像块尺寸的候选值输入至缺省模型，并对缺省模型求最优解。

S804，若目标模型是耗时模型，则将各图像块尺寸的候选值输入至耗时模型，并对耗时模型求最优解。

S805，若目标模型是内存模型，则将各图像块尺寸的候选值输入至内存模型，并对内存模型求最优解。

S806，选取目标模型的最优值对应的图像块尺寸的候选值作为图像块尺寸的目标值。

S807，将医学图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。

S808，将至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到医学图像的处理结果。

应该理解的是，虽然图2、3a、4a、5-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、3a、4a、5-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种图像处理装置，包括：获取模块10、确定模块11、分块模块12和处理模块13，其中：

获取模块10，用于获取待处理的医学图像和相关配置参数，所述相关配置参数包括处理所述医学图像的计算机设备的可使用内存和/或最大时间消耗值；

确定模块11，用于根据所述医学图像的尺寸和所述可使用内存和/或所述最大时间消耗值确定图像块尺寸的目标值；

分块模块12，用于将所述医学图像按照所述图像块尺寸的目标值进行分块，得到至少一个图像块；

处理模块13，用于将所述至少一个图像块依次输入至神经网络模型，并将各个图像块对应的输出结果进行组合，得到所述医学图像的处理结果。

关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。

在另一个实施例中，提供了另一种图像处理装置，该装置还可以包括：第一模型确定模块、第二模型确定模块和第三模型确定模块，其中：

第一模型确定模块，用于根据医学图像的尺寸和神经网络模型确定内存模型；和/或，

第二模型确定模块，用于根据医学图像的尺寸和神经网络模型确定耗时模型；和/或，

第三模型确定模块，用于根据医学图像的尺寸和神经网络模型以及可使用内存和/或最大时间消耗值确定缺省模型。

可选的，第一模型确定模块，还用于获取多个不同的图像块尺寸，以及神经网络模型处理各种尺寸的图像块所需的内存消耗；对多个不同的图像块尺寸和各种尺寸的图像块所需的内存消耗进行数据处理，建立图像块尺寸和内存消耗之间的对应关系，得到内存模型。

可选的，上述内存消耗包括图像块尺寸在神经网络模型中占用的内存消耗和/或神经网络模型在计算时的临时内存消耗。

可选的，第二模型确定模块，还用于获取多个不同的图像块尺寸、以及神经网络模型处理各种尺寸的图像块所需的时间消耗；对多个不同的图像块尺寸和各种尺寸的图像块所需的时间消耗进行数据处理，建立图像块尺寸和时间消耗之间的对应关系，得到耗时模型。

可选的，第三模型确定模块，还用于获取医学图像按照不同的图像块尺寸进行分割后的图像块数量；对图像块数量和耗时模型以及内存模型进行综合处理，并结合可使用内存和/或最大时间消耗值，确定缺省模型。

在另一个实施例中，上述确定模块11可以包括：确定单元、获取单元和求解单元，其中：

确定单元，用于根据医学图像的尺寸和可使用内存和/或最大时间消耗值确定至少一个图像块尺寸的候选值；

获取单元，用于获取选择的目标模型，目标模型为内存模型和耗时模型以及缺省模型中的任意一个；

求解单元，用于将至少一个图像块尺寸的候选值输入目标模型中，对目标模型进行最优值求解处理，得到目标模型的最优值，并将目标模型的最优值对应的图像块尺寸的候选值确定为图像块尺寸的目标值。

在另一个实施例中，上述分块模块12可以包括：关键部分获取单元和分块单元，其中：

关键部分获取单元，用于获取医学图像中的关键特征部分，得到关键特征图像；

分块单元，用于将关键特征图像按照图像块尺寸的目标值进行分块，得到至少一个图像块。

上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据医学图像的尺寸和神经网络模型确定内存模型；和/或，

根据医学图像的尺寸和神经网络模型确定耗时模型；和/或，

获取医学图像中的关键特征部分，得到关键特征图像；

在一个实施例中，上述内存消耗包括图像块尺寸在神经网络模型中占用的内存消耗和/或神经网络模型在计算时的临时内存消耗。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据医学图像的尺寸和神经网络模型确定内存模型；和/或，

根据医学图像的尺寸和神经网络模型确定耗时模型；和/或，

获取医学图像中的关键特征部分，得到关键特征图像；

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种图像处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述医学图像的尺寸和所述神经网络模型确定内存模型；和/或，

根据所述医学图像的尺寸和所述神经网络模型确定耗时模型；和/或，

根据所述医学图像的尺寸和所述神经网络模型以及所述可使用内存和/或所述最大时间消耗值确定缺省模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述医学图像的尺寸和所述可使用内存和/或所述最大时间消耗值确定图像块尺寸的目标值，包括：

根据所述医学图像的尺寸和所述可使用内存和/或所述最大时间消耗值确定至少一个图像块尺寸的候选值；

获取选择的目标模型，所述目标模型为所述内存模型和所述耗时模型以及所述缺省模型中的任意一个；

将所述至少一个图像块尺寸的候选值输入所述目标模型中，对所述目标模型进行最优值求解处理，得到所述目标模型的最优值，并将所述目标模型的最优值对应的图像块尺寸的候选值确定为图像块尺寸的目标值。

4.根据权利要求2或3所述的方法，其特征在于，若所述目标模型为内存模型，则所述根据所述医学图像的尺寸和所述神经网络模型确定内存模型，包括：

获取多个不同的图像块尺寸，以及所述神经网络模型处理各种尺寸的图像块所需的内存消耗；

对所述多个不同的图像块尺寸和所述各种尺寸的图像块所需的内存消耗进行数据处理，建立图像块尺寸和内存消耗之间的对应关系，得到所述内存模型。

5.根据权利要求4所述的方法，其特征在于，若所述目标模型为耗时模型，则所述根据所述医学图像的尺寸和所述神经网络模型确定耗时模型，包括：

获取多个不同的图像块尺寸、以及所述神经网络模型处理各种尺寸的图像块所需的时间消耗；

对所述多个不同的图像块尺寸和所述各种尺寸的图像块所需的时间消耗进行数据处理，建立图像块尺寸和时间消耗之间的对应关系，得到所述耗时模型。

6.根据权利要求5所述的方法，其特征在于，若所述目标模型为缺省模型，则所述根据所述医学图像的尺寸和所述神经网络模型以及所述可使用内存和/或所述最大时间消耗值确定缺省模型，包括：

获取所述医学图像按照所述不同的图像块尺寸进行分割后的图像块数量；

对所述图像块数量和所述耗时模型以及所述内存模型进行综合处理，并结合所述可使用内存和/或所述最大时间消耗值，确定所述缺省模型。

7.根据权利要求1所述的方法，其特征在于，所述将所述医学图像按照所述图像块尺寸的目标值进行分块，得到至少一个图像块，包括：

获取所述医学图像中的关键特征部分，得到关键特征图像；

将所述关键特征图像按照所述图像块尺寸的目标值进行分块，得到至少一个图像块。

8.根据权利要求5或6所述的方法，其特征在于，所述内存消耗包括所述图像块尺寸在所述神经网络模型中占用的内存消耗和/或所述神经网络模型在计算时的临时内存消耗。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。