CN111739025B - 一种图像处理方法、装置、终端及存储介质 - Google Patents

Abstract

本发明提供了一种图像处理方法、装置、终端及存储介质，该方法包括：获取待处理图像的第一特征图；根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图；基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。本发明在对图像进行处理时，能够提升图像处理速度慢、提升实例分割的精度，以及提升分割结果准确性。

Description

一种图像处理方法、装置、终端及存储介质

技术领域

本发明属于图像处理领域，特别是涉及一种图像处理方法、装置、终端及存储介质。

背景技术

目前的对象检测方法可以包括物体检测方法，主要是识别出图片中对象的类别和位置，但是，这个识别方法不够精细。因此，提出了实例分割方法，实例分割方法可以识别出图片中对象的类别、位置以及轮廓，能够将图片中的物体像素进行区分，是比物体检测方法更加精细化的图像检测方法。

传统的实例分割方法的网络结构大体可以分为基于检测结果的结构和不基于检测结果的结构。

其中，基于检测结果的结构在进行检测时，一般先进行物体检测，再在物体检测的基础上对物体框内的像素进行语义分割，从而确定物体的轮廓。但是，这类方法受限于物体检测结果的准确程度，并且在速度上会有很大的劣势。

而不基于检测结果的结构在进行检测时，一般是先生成物体的语义特征图，再基于训练好的语义特征图(关联有已知物体对象的信息)进行聚类，从而对单个物体进行区分，找到图片中物体的轮廓以及位置，形成单个物体的像素表示。但是，这类方法受限于语义特征图的准确度，并且后处理较为复杂，因此在速度和精度上均有不足。

那么结合上述基于检测结果的结构以及不基于检测结果的结构在对图像进行实例分割的过程可以看出，相关技术中在对图像进行实例分割时，普遍存在着图像处理速度慢、实例分割的精度差以及分割结果准确性低的问题。

发明内容

有鉴于此，本发明提供一种图像处理方法、装置、终端及存储介质，以便解决相关技术中在对图像进行实例分割时，所存在的图像处理速度慢、实例分割的精度差以及分割结果准确性低的问题。

依据本发明实施例的第一方面，提供了一种图像处理方法，该方法可以包括：

获取待处理图像的第一特征图；

根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图；

基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。

依据本发明实施例的第二方面，提供了一种图像处理装置，该装置可以包括：

获取模块，用于获取待处理图像的第一特征图；

确定模块，用于根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

生成模块，用于针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图；

分割模块，用于基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。

依据本发明实施例的第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法的步骤。

依据本发明实施例的第四方面，提供了一种终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。

在本发明实施例中，可以获取待处理图像的第一特征图；并根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图，从而后续在对特征图进行处理来得到实例分割结果的过程中，也只需要对存在目标对象的子区域图像的第一子特征图进行处理，而无需对待处理图像中每个子区域图像进行特征识别处理，从而为实例分割过程引入目标对象存在区域的先验信息，使得本发明实施例的图像处理方法可以将注意力集中在存在目标对象的子区域图像内，而无需对待处理图像的每个子区域图像都进行图像处理，减少了密集预测，降低了计算量，提升了图像处理速度；此外，在对存在目标对象的子图像区域对应的第一子特征图进行处理时，本发明实施例可以对不同子区域图像的不同第一子特征图分别生成卷积神经网络参数，并采用相应子区域图像对应的卷积神经网络参数来对相应子区域图像的第一子特征图进行处理，使得针对不同子区域图像进行网络处理时的卷积神经网络参数可以差异化，达到针对不同图像区域的特征进行自适应地调整卷积神经网络参数的效果，从而提升本发明实施例的方法的网络结构的图像处理性能；而且，通过对不同子区域图像的第一子特征图分别生成卷积神经网络参数，进而采用各卷积神经网络参数对相应的第一子特征图分别进行处理，能够自适应对不同区域中差异较大的对象物体进行识别，从而缓解传统技术中因同一张图片存在不同区域内对象物体的形状、大小等差异性大而导致对象实例的分割边界较为粗糙，不够精细的问题，因此，本发明实施例的方法可以提升实例分割的精度和准确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是本发明一个实施例提供的一种图像处理方法的步骤流程图；

图2是本发明另一个实施例提供的一种图像处理方法的步骤流程图；

图3是本发明实施例提供的一种图像处理装置的框图；

图4是本发明实施例提供的一种终端结构的框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

图1是本发明实施例提供的一种图像处理方法的步骤流程图，如图1所示，该方法可以包括：

步骤101，获取待处理图像的第一特征图；

其中，可以对待处理图像进行初步特征提取，来获取初步特征图，即第一特征图。也可以直接从外部获取输入的该待处理图像的第一特征图。

可选地，在执行步骤101时，可以将所述待处理图像划分为多个子区域图像；将所述待处理图像输入初步特征提取网络进行初步特征提取，获取分别对应于所述多个子区域图像的多个第一子特征图，其中，所述第一特征图包括所述多个第一子特征图；其中，所述初步特征提取网络用于对输入图像提取初步特征。

例如，可以将待处理图像，其中，该待处理图像带有网格信息(即由该待处理图像所划分为的多个子区域图像，例如图2中预定义的KxK个预定义子区域)输入到上述初步特征提取网络进行初步特征提取，从而可以生成与该待处理图像尺寸相同的WxHxC的第一特征图(即图2中WxHxC的输入特征图)，且该第一特征图是由对应于所述多个子区域图像的多个第一子特征图所构成的(即图2中输入特征图的每个方格图)。

在本发明实施例中，可以将所述待处理图像划分为多个子区域图像；将所述待处理图像输入初步特征提取网络进行初步特征提取，获取分别对应于所述多个子区域图像的多个第一子特征图，从而可以有效的利用该多个第一子特征图所表达的信息来确定待处理图像中存在目标对象的子区域图像，继而后续只对存在目标对象的子区域图像的第一子特征图进行处理，大幅降低了运算量。

可选地，在将所述待处理图像划分为多个子区域图像时，可以对所述待处理图像在长度方向和宽度方向各均分为K份，生成多个子区域图像，其中，K≥2。

在一个示例中，例如待处理图像为50*50的图像，K的取值为5，可以对待处理图像在长度方向和宽度方向分别等分为5份，从而将待处理图像划分为25个10*10的子区域图像。

在本发明实施例中，通过对所述待处理图像在长度方向和宽度方向各均分为K份，来生成多个子区域图像，并利用生成的多个子区域图像的划分信息(即长度方向和宽度方向各均分为K份)，来对待处理图像进行初步特征提取，使得不同子区域图像的长度相同，不同子区域图像的宽度也相同，即不同子区域图像的尺寸相同，那么对于各个子区域图像所获取的各个第一子特征图，能够合理的表达出各个子区域图像的初步特征信息，后续利用第一子特征图进行预测时，不会因为不同第一子特征图的尺寸差异而导致图像分割准确度低的问题。

步骤102，根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

其中，待处理图像可以划分为多个区域，即多个子区域图像，那么本步骤的对应于待处理图像的第一特征图则可以包括对应上述不同子区域图像的多个第一子特征图，本步骤则需要从该多个第一子特征图中识别出存在目标对象的子区域图像所对应的第一子特征图。

由于待处理图像中存在目标对象的子区域图像可以是一个或多个，因此，本步骤所确定的第一子特征图为至少一个。

其中，由于一张待处理图像中并不是每个图像区域(即子区域图像)都存在对象，那么如果每个图像区域都参与本发明实施例的图像处理进行实例分割，则会大幅增加数据计算量，降低处理效率，因此，本步骤中可以对该待处理图像中存在目标对象的图像区域来获取特征图(即第一子特征图)。其中，该待处理图像中存在目标对象的图像区域可以是一个或多个，因此，上述存在目标对象的图像区域为至少一个，而针对每个存在目标对象的图像区域都可以提取一张第一子特征图，因此，上述确定的第一子特征图也是至少一个。此外，存在目标对象的不同图像区域之间不存在重叠区域，即每张第一子特征图在待处理图像中都对应一个图像区域，且不同第一子特征图对应的图像区域不重叠。

本步骤中所提及的目标对象是需要进行实例分割的某个对象。

可选地，在执行上述步骤102时，可以采用所述初步特征提取网络，识别与所述多个子区域图像分别对应的所述多个第一子特征图中，与存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

其中，所述初步特征提取网络可以包括全连接层以及预测层，所述初步特征提取网络还用于识别所述待处理图像中的每个子区域图像是否包括所述目标对象。

具体而言，在将待处理图像输入至初步特征提取网络后所生成的第一特征图可以理解为一张概率图，该概率图(由多个第一子特征图构成)表达了每个子区域图像是前景对象的概率、是背景对象的概率，以及每个子区域图像是哪个类型的对象，从而可以利用该概率图中各个第一子特征图所表达的各个子区域图像对应的概率信息，来确定哪个子区域图像是包括目标对象的区域，从而找到存在目标对象的至少一个子区域图像的至少一个第一子特征图。

例如，如图2所示，本发明实施例的初步特征提取网络可以从图2的输入特征图中识别出包括目标对象的灰色的子区域，其中，每个子区域的尺寸可以为：

例如为10*10。

显然，使用本发明实施例的方法可以大大减小运算量，将处理对象的维度从WxHxC降到存在目标对象的子区域进行运算。

在本发明实施例中，针对实例分割场景中存在的待处理图像内仅有一部分区域存在目标对象的问题，本发明实施例所提出的方法能够采用初步特征提取网络，从待处理图像的第一特征图中，识别出存在目标对象的至少一个子区域图像所对应的至少一个第一子特征图，相当于确定了待处理图像中含有目标对象的区域图像，从而为后续密集预测引入先验，从而大大减少密集预测所需要的计算量，由于实际场景中往往待处理图像中的很多区域不存在目标对象，因此可以忽略大部分的区域从而减少计算量，使得网络能够对区域自适应调整，使得本发明实施例的网络可以更高效运行。并且，本发明实施例的方法可以仅针对存在目标对象的第一子特征图进行预测，从而避免了传统方法中针对图像中不存在目标对象的区域进行实例分割的大量冗余运算，能够达到减少计算量并提升运算效率的效果。

步骤103，针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图；

例如步骤102中所确定的存在目标对象的图像区域(即子区域图像)为两个，即识别到存在目标对象的两个第一子特征图，例如对应图像区域1的特征图1-1和对应图像区域2的特征图1-2。

以对特征图1-1的处理过程进行举例，本步骤中，可以基于特征图1-1中的特征信息来生成与特征图1-1匹配的卷积神经网络参数1，然后，采用卷积神经网络参数1对特征图1-1进行处理(处理方式则取决于该卷积神经网络参数1所处的网络层对输入的特征图的处理方式，例如该网络层为卷积层，则该卷积神经网络参数1可以作为该卷积层的卷积核，因此，该特征图1-1输入到该卷积层后，该卷积层采用该卷积核对该特征图1-1进行卷积操作)，生成对应图像区域1的特征图2-1(即与特征图1-1对应的第二子特征图)。

同理，按照对特征图1-1的上述列举的处理方式，还可以对特征图1-2进行类似原理的处理，从而生成对应图像区域2的特征图2-2。

可选地，在执行步骤103时，可以针对所述至少一个第一子特征图中的每个第一子特征图，分别进行卷积操作，生成与各第一特征图匹配的各卷积神经网络参数；采用所述各卷积神经网络参数分别对所述各第一子特征图进行卷积操作，生成各第二子特征图。

其中，本发明实施例的神经网络还可以包括区域性生成不同卷积神经网络参数并对存在目标对象的第一子特征图进行处理的卷积神经网络，该卷积神经网络可以包括卷积层(例如卷积层1)，本发明实施例的神经网络经过训练收敛后，可以对该卷积神经网络的卷积层的卷积核进行初始化，那么本步骤中卷积层1可以接收到步骤102所确定的存在目标对象的至少一个第一子特征图(例如上述举例的，对应图像区域1的特征图1-1和对应图像区域2的特征图1-2)，可以采用该卷积神经网络的卷积层的初始化的卷积核(例如卷积核1)对特征图1-1和特征图1-2分别进行卷积操作，由于卷积操作前后，图像的尺寸不变，只是图像数据发生变化，因此，相当于该卷积层1可以对输入的每张第一子特征图分别进行卷积运算，生成尺寸和各第一子特征图相同的各第三子特征图(例如对特征图1-1进行卷积操作，生成特征图3-1，对特征图1-2进行卷积操作，生成特征图3-2)，该第三子特征图即为生成的与各第一子特征图匹配的卷积神经网络参数(即图2中对每个灰色的子区域分别生成个性化定制对应的卷积核)，该卷积神经网络参数可以理解为一个与第一子特征图大小相同的权重表。由于步骤102所确定得到的每张第一子特征图都会输入该卷积神经网络，因此，可以输出多张分别与各个第一子特征图匹配的多个第三子特征图，这里将每个第三子特征图中的特征值作为相应的第一子特征图再次进行卷积运算时的卷积核2(即卷积神经网络参数)。

然后，可以采用与特征图1-1对应的卷积神经网络参数(即上述特征图3-1)作为卷积层的新的卷积神经网络参数，并采用该卷积层来对特征图1-1进行卷积操作，从而生成与特征图1-1对应的特征图2-1(即第二子特征图)。同理，可以生成与特征图1-2对应的特征图2-2(即第二子特征图)。

例如图2中，可以使用各个子区域的卷积核来在对应子区域(即步骤102确定的上述第一子特征图)进行卷积操作，来生成各个第一子特征图的第二子特征图。由于每张第一子特征图在待处理图像中都对应一个10*10的图像区域(即子区域图像)，因此，本步骤可以对待处理图像中存在目标对象的各个图像区域，生成各个第二子特征图。

相比于传统技术中，对待处理图像中各个区域的图像，使用相同的卷积核进行密集的卷积计算，得到用于区分物体像素点的特征图的方案，本发明实施例的方法则可以通过仅对存在目标对象的各个子区域图像的各个第一子特征图进行卷积操作，来生成与不同子区域图像分别匹配的不同卷积神经网络参数，相当于每个存在目标对象的第一子特征图对应的卷积神经网络参数是基于该存在目标对象的图像区域的第一子特征图中的特征信息进行确定的，而非与该实际处理的待处理图像的对象特征无关的预设权重参数，使得该待处理图像中存在目标对象的不同子区域图像对应的不同第一子特征图，所分别对应的卷积神经网络参数也会差异化，从而能够利用不同图像区域的初步特征，生成相应的卷积神经网络参数，并采用该卷积神经网络参数来处理对应图像区域的初步特征，使用这种方法能够自适应对存在目标对象的上述不同图像区域中差异较大的物体对象的实例分割，从而能够缓解现实生活中存在的不同图像区域内物体对象，在形状、大小差异性大的情况下对例如形状、大小较小的对象分割的边界较为模糊，不够精细的问题。例如待处理图像包括形状、大小差异大的不同对象，而传统技术中对不同区域图像采用相同的卷积神经网络参数进行处理进行实例分割，从而使得形状、尺寸较小的对象所分割的边界比较粗糙，不够精细。那么由于本发明实施例中用于对各个第一子特征图进行处理的卷积神经网络参数，是基于各个第一子特征图的实际特征信息进行实时生成的，从而能够针对不同图像区域的特征自适应地调整本发明实施例的神经网络的卷积神经网络参数以提升网络的性能。

而且，本发明实施例中，由于可以根据不同图像区域内的初步特征，生成自适应的卷积神经网络参数，并采用相应的卷积神经网络参数来对各个存在目标对象的图像区域的第一子特征图进行卷积运算，从而可以针对不同图像区域内的尺度和特征差异性大的对象物体进行适合其尺度和特征大小的对象预测，从而使得网络对不同的输入图像在处理时更加鲁棒，并提升网络的性能。

步骤104，基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。

以上述举例继续说明，则可以基于特征图2-1和特征图2-2，来对待处理图像进行目标对象的实例分割，从而生成目标对象的实例分割结果(即包括类别-这里为目标对象的类别，目标对象的位置和目标对象的轮廓)。

可选地，在执行步骤104时，可以将所述各第二子特征图输入目标分割网络进行目标对象的实例分割，生成所述目标对象的实例分割结果，其中，所述目标分割网络包括至少一个全连接层，所述目标分割网络用于实例分割。

也就是说，本发明实施例的神经网络还可以包括目标分割网络，该目标分割网络用于实例分割，可以将例如特征图2-1和特征图2-2输入到该目标分割网络进行目标对象的实例分割，从而生成目标对象的实例分割结果。

在本发明实施例中，可以将所述各第二子特征图输入目标分割网络进行目标对象的实例分割，生成所述目标对象的实例分割结果，从而提升了实例分割结果的精度、准确度，并降低了运算量。

在本发明实施例中，可以获取待处理图像的第一特征图；并根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图，从而后续在对特征图进行处理来得到实例分割结果的过程中，也只需要对存在目标对象的子区域图像的第一子特征图进行处理，而无需对待处理图像中每个子区域图像进行特征识别处理，从而为实例分割过程引入目标对象存在区域的先验信息，使得本发明实施例的图像处理方法可以将注意力集中在存在目标对象的子区域图像内，而无需对待处理图像的每个子区域图像都进行图像处理，减少了密集预测，降低了计算量，提升了图像处理速度；此外，在对存在目标对象的子图像区域对应的第一子特征图进行处理时，本发明实施例可以对不同子区域图像的不同第一子特征图分别生成卷积神经网络参数，并采用相应子区域图像对应的卷积神经网络参数来对相应子区域图像的第一子特征图进行处理，使得针对不同子区域图像进行网络处理时的卷积神经网络参数可以差异化，达到针对不同图像区域的特征进行自适应地调整卷积神经网络参数的效果，从而提升本发明实施例的方法的网络结构的图像处理性能；而且，通过对不同子区域图像的第一子特征图分别生成卷积神经网络参数，进而采用各卷积神经网络参数对相应的第一子特征图分别进行处理，能够自适应对不同区域中差异较大的对象物体进行识别，从而缓解传统技术中因同一张图片存在不同区域内对象物体的形状、大小等差异性大而导致对象实例的分割边界较为粗糙，不够精细的问题，因此，本发明实施例的方法可以提升实例分割的精度和准确度。

此外，在一个实施例中，本发明实施例的上述图像处理方法可以由本发明预先训练后收敛的实例分割网络来实现，该实例分割网络的网络结构可以是已有的网络结构。

综上所述，借助于本发明实施例的上述图像处理方法可以使用预定义输入区域进行判断的初步特征提取网络，来识别输入图像中含有目标对象的子区域图像的第一子特征图，从而为后续密集预测引入先验，大大减小后续运算量；此外，针对存在目标对象的子区域图像进行预测，生成各子区域图像的卷积神经网络参数，从而使得对不同子区域图像生成相应的卷积神经网络参数能够更加鲁棒地处理对应子区域图像的初步特征。

图3是本发明实施例提供的一种图像处理装置的框图，如图3所示，该装置200包括：

获取模块201，用于获取待处理图像的第一特征图；

确定模块202，用于根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

生成模块203，用于针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图；

分割模块204，用于基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。

可选地，所述获取模块201包括：

划分子模块，用于将所述待处理图像划分为多个子区域图像；

提取子模块，用于将所述待处理图像输入初步特征提取网络进行初步特征提取，获取分别对应于所述多个子区域图像的多个第一子特征图，其中，所述第一特征图包括所述多个第一子特征图；

其中，所述初步特征提取网络用于对输入图像提取初步特征。

可选地，所述确定模块202包括：

识别子模块，用于采用所述初步特征提取网络，识别与所述多个子区域图像对应的所述多个第一子特征图中，与存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

其中，所述初步特征提取网络包括全连接层以及预测层，所述初步特征提取网络还用于识别所述待处理图像中的每个子区域图像是否包括所述目标对象。

可选地，所述划分子模块，还用于对所述待处理图像在长度方向和宽度方向各均分为K份，生成多个子区域图像，其中，K≥2。

可选地，所述生成模块203包括：

第一生成子模块，用于针对所述至少一个第一子特征图中的每个第一子特征图，分别进行卷积操作，生成与各第一特征图匹配的各卷积神经网络参数；

第二生成子模块，用于采用所述各卷积神经网络参数分别对所述各第一子特征图进行卷积操作，生成各第二子特征图。

可选地，所述分割模块204包括：

分割子模块，用于将所述各第二子特征图输入目标分割网络进行目标对象的实例分割，生成所述目标对象的实例分割结果，其中，所述目标分割网络包括至少一个全连接层，所述目标分割网络用于实例分割。

在本发明实施例中，可以获取待处理图像的第一特征图；并根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图，从而后续在对特征图进行处理来得到实例分割结果的过程中，也只需要对存在目标对象的子区域图像的第一子特征图进行处理，而无需对待处理图像中每个子区域图像进行特征识别处理，从而为实例分割过程引入目标对象存在区域的先验信息，使得本发明实施例的图像处理方法可以将注意力集中在存在目标对象的子区域图像内，而无需对待处理图像的每个子区域图像都进行图像处理，减少了密集预测，降低了计算量，提升了图像处理速度；此外，在对存在目标对象的子图像区域对应的第一子特征图进行处理时，本发明实施例可以对不同子区域图像的不同第一子特征图分别生成卷积神经网络参数，并采用相应子区域图像对应的卷积神经网络参数来对相应子区域图像的第一子特征图进行处理，使得针对不同子区域图像进行网络处理时的卷积神经网络参数可以差异化，达到针对不同图像区域的特征进行自适应地调整卷积神经网络参数的效果，从而提升本发明实施例的方法的网络结构的图像处理性能；而且，通过对不同子区域图像的第一子特征图分别生成卷积神经网络参数，进而采用各卷积神经网络参数对相应的第一子特征图分别进行处理，能够自适应对不同区域中差异较大的对象物体进行识别，从而缓解传统技术中因同一张图片存在不同区域内对象物体的形状、大小等差异性大而导致对象实例的分割边界较为粗糙，不够精细的问题，因此，本发明实施例的方法可以提升实例分割的精度和准确度。

另外，本发明实施例还提供一种终端，如图4所示，该终端600包括处理器620，存储器610以及存储在存储器610上并可在处理上运行的计算机程序，该计算机程序被处理器620执行时实现上述实施例所述的图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，可以为只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。

在此提供的图像处理方法不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造具有本发明方案的系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据获取方法中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像的第一特征图，包括：将所述待处理图像划分为多个子区域图像；将所述待处理图像输入初步特征提取网络进行初步特征提取，获取分别对应于所述多个子区域图像的多个第一子特征图，其中，所述第一特征图包括所述多个第一子特征图；

根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图，所述卷积神经网络参数是根据所述各第一子特征图的实际特征信息实时生成的；

基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果。

2.根据权利要求1所述的方法，其特征在于，所述初步特征提取网络用于对输入图像提取初步特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图，包括：

采用所述初步特征提取网络，识别与所述多个子区域图像对应的所述多个第一子特征图中，与存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

其中，所述初步特征提取网络包括全连接层以及预测层，所述初步特征提取网络还用于识别所述待处理图像中的每个子区域图像是否包括所述目标对象。

4.根据权利要求2所述的方法，其特征在于，所述将所述待处理图像划分为多个子区域图像，包括：

对所述待处理图像在长度方向和宽度方向各均分为K份，生成多个子区域图像，其中，K≥2。

5.根据权利要求1所述的方法，其特征在于，所述针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图，包括：

针对所述至少一个第一子特征图中的每个第一子特征图，分别进行卷积操作，生成与各第一特征图匹配的各卷积神经网络参数；

采用所述各卷积神经网络参数分别对所述各第一子特征图进行卷积操作，生成各第二子特征图。

6.根据权利要求1所述的方法，其特征在于，所述基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果，包括：

将所述各第二子特征图输入目标分割网络进行目标对象的实例分割，生成所述目标对象的实例分割结果，其中，所述目标分割网络包括至少一个全连接层，所述目标分割网络用于实例分割。

7.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理图像的第一特征图；

确定模块，用于根据所述第一特征图，确定所述待处理图像中存在目标对象的至少一个子区域图像对应的至少一个第一子特征图；

生成模块，用于针对所述至少一个第一子特征图中的每个第一子特征图，生成与各第一子特征图匹配的卷积神经网络参数，以及，采用所述卷积神经网络参数对所述各第一子特征图进行处理，生成各第二子特征图，所述卷积神经网络参数是根据所述各第一子特征图的实际特征信息实时生成的；

分割模块，用于基于所述各第二子特征图，对所述待处理图像进行目标对象的实例分割，生成所述目标对象的实例分割结果；

所述获取模块包括：

划分子模块，用于将所述待处理图像划分为多个子区域图像；

提取子模块，用于将所述待处理图像输入初步特征提取网络进行初步特征提取，获取分别对应于所述多个子区域图像的多个第一子特征图，其中，所述第一特征图包括所述多个第一子特征图。

8.根据权利要求7所述的装置，其特征在于，所述初步特征提取网络用于对输入图像提取初步特征。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。

10.一种终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的图像处理方法的步骤。