CN108876791A - 图像处理方法、装置和系统及存储介质 - Google Patents

Abstract

本发明实施例提供一种图像处理方法、装置和系统以及存储介质。该图像处理方法包括：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。通过上述图像处理方法，可以基于面积区分感兴趣的重要对象以及不重要的对象，使得从多个目标对象中自动识别和提取重要对象成为可能。

Description

图像处理方法、装置和系统及存储介质

技术领域

本发明涉及图像处理领域，更具体地涉及一种图像处理方法、装置和系统以及存储介质。

背景技术

在一些区分前景(即目标对象所在部分)和背景的图像分割应用中，并不会对检测出的目标对象进行取舍。下面以人形抠像为例进行说明。人形抠像系统在业界已有广泛的应用，例如在直播、美图、视频制作等场景。现有的人形抠像系统往往只会单独把图片或视频中的人体部分分割出来，但并不会区分每个人体的位置和大小。在较为复杂的场景(例如商场、闹市等)之下，人们往往希望屏蔽掉背景中的无关人体，仅保留重要的“主角”。现有的人形抠像技术已经很难满足用户的这种需求，业界也迫切希望找到合适的技术方案。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种图像处理方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种图像处理方法。该图像处理方法包括：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。

示例性地，检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，确定筛选出的对象候选区域为前景区域包括：检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；计算筛选出的对象候选区域的覆盖区域；对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，在基于新的概率矩阵对待处理图像进行图像分割之后，方法还包括：基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，检测待处理图像中的目标对象，以获得初始概率矩阵包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，方法还包括：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，根据对象候选区域的面积对至少一个对象候选区域进行筛选包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

根据本发明另一方面，提供了一种图像处理装置，包括：图像获取模块，用于获取待处理图像；对象检测模块，用于检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；区域筛选模块，用于根据对象候选区域的面积对所述至少一个对象候选区域进行筛选；以及区域确定模块，用于确定筛选出的对象候选区域为前景区域。

示例性地，对象检测模块包括：特征提取子模块，用于利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；第一输入子模块，用于将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；第二输入子模块，用于将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；第三输入子模块，用于将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；第四输入子模块，用于将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及面积计算子模块，用于对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，区域确定模块包括：初始矩阵获得子模块，用于检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；区域计算子模块，用于计算筛选出的对象候选区域的覆盖区域；新矩阵获得子模块，用于对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及分割子模块，用于基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，图像处理装置还包括：抠像模块，用于在分割模块基于新的概率矩阵对待处理图像进行图像分割之后，基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，初始矩阵获得子模块包括：第一输入单元，用于将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及第二输入单元，用于对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，图像处理装置还包括：样本获取模块，用于获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及训练模块，用于利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，区域筛选模块包括：选择子模块，用于从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及区域确定子模块，用于确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，选择子模块包括：排序单元，用于根据面积的大小对至少一个对象候选区域进行排序；当前区域确定单元，用于确定面积第二大的对象候选区域为当前候选区域；第一面积比计算单元，用于计算当前候选区域与面积最大的对象候选区域之间的面积比；以及判断单元，用于判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并启动面积比计算单元，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，选择子模块包括：第二面积比计算单元，用于分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及区域选择单元，用于根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

根据本发明另一方面，提供了一种图像处理系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。

示例性地，所述计算机程序指令被所述处理器运行时所用于执行的检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积的步骤包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，所述计算机程序指令被所述处理器运行时所用于执行的确定筛选出的对象候选区域为前景区域的步骤包括：检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；计算筛选出的对象候选区域的覆盖区域；对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，在所述计算机程序指令被所述处理器运行时所用于执行的基于新的概率矩阵对待处理图像进行图像分割的步骤之后，所述计算机程序指令被所述处理器运行时还用于执行以下步骤：基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，所述计算机程序指令被所述处理器运行时所用于执行的检测待处理图像中的目标对象，以获得初始概率矩阵的步骤包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，所述计算机程序指令被所述处理器运行时还用于执行以下步骤：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，所述计算机程序指令被所述处理器运行时所用于执行的根据对象候选区域的面积对至少一个对象候选区域进行筛选的步骤包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，所述计算机程序指令被所述处理器运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，所述计算机程序指令被所述处理器运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。

示例性地，所述程序指令在运行时所用于执行的检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积的步骤包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，所述程序指令在运行时所用于执行的确定筛选出的对象候选区域为前景区域的步骤包括：检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；计算筛选出的对象候选区域的覆盖区域；对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，在所述程序指令在运行时所用于执行的基于新的概率矩阵对待处理图像进行图像分割的步骤之后，所述程序指令在运行时还用于执行以下步骤：基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，所述程序指令在运行时用于执行的检测待处理图像中的目标对象，以获得初始概率矩阵的步骤包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，所述程序指令在运行时还用于执行以下步骤：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，所述程序指令在运行时所用于执行的根据对象候选区域的面积对至少一个对象候选区域进行筛选的步骤包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，所述程序指令在运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，所述程序指令在运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

根据本发明实施例的图像处理方法、装置和系统以及存储介质，可以确定目标对象的对象候选区域的位置和面积，根据面积对对象候选区域进行筛选。通过这种图像处理方法可以区分感兴趣的重要对象以及不重要的对象。通过一定的后处理手段，可以进一步去除待处理图像中较小的不重要对象，并保留较大的重要对象。因此，本发明实施例提供的图像处理方法使得从多个目标对象中自动识别和提取重要对象成为可能，可以很好地应用于各种图像分割领域。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出用于实现根据本发明实施例的图像处理方法和装置的示例电子设备的示意性框图；

图2示出根据本发明一个实施例的图像处理方法的示意性流程图；

图3示出根据本发明一个实施例的图像处理模型的结构示意图；

图4示出根据本发明一个实施例的确定筛选出的对象候选区域为前景区域的步骤的示意性流程图；

图5示出根据本发明一个实施例的筛选对象候选区域的流程示意图；

图6示出了根据本发明一个实施例的图像处理装置的示意性框图；以及

图7示出了根据本发明一个实施例的图像处理系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

为了解决上文所述的问题，本发明实施例提供一种图像处理方法、装置和系统以及存储介质。本发明实施例提供的图像处理方法能够区分图像中不重要的对象以及重要的对象，使得在后续进行图像分割或进一步的抠像时，能够保留感兴趣的重要对象。本发明实施例提供的图像处理方法可以应用于任何需要区分目标对象和背景的应用中，包括但不限于本文所述的抠像应用。

首先，参照图1来描述用于实现根据本发明实施例的图像处理方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述图像采集装置110可以采集图像(包括视频帧)，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是摄像头。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集待处理图像，并将采集的图像发送给电子设备100。

示例性地，用于实现根据本发明实施例的图像处理方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

下面，将参考图2描述根据本发明实施例的图像处理方法。图2示出根据本发明一个实施例的图像处理方法200的示意性流程图。如图2所示，图像处理方法200包括以下步骤。

在步骤S210，获取待处理图像。

待处理图像可以是任何合适的包含目标对象的图像。待处理图像可以是图像采集装置采集到的原始图像，也可以是对原始图像进行预处理之后获得的图像。待处理图像可以是静态图像，也可以是视频流中的视频帧。

待处理图像可以由客户端设备(诸如包括摄像头的移动终端)发送到电子设备100以由电子设备100的处理器102进行图像处理，也可以由电子设备100包括的图像采集装置110采集并传送到处理器102进行图像处理。

在步骤S220，检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，每个对象候选区域用于指示对应的目标对象所在的位置。

目标对象可以是任何物体，例如人、汽车、建筑等等。在本文的描述中，主要以人形抠像为例描述本发明，然而这并非对本发明的限制，本发明实施例提供的图像处理方法和装置可以适用于其他物体的抠像应用。

对象候选区域可以是矩形框，此时对象候选区域的面积是指矩形框的面积，该矩形框可以示例性地用其四个顶点的坐标表示。对象候选区域用于指示目标对象所在的位置。例如，在人形抠像应用中，如果待处理图像中包含四个不同的人，则可以获得四个或更多个矩形框，分别框中这四个人。可以理解，对于同一个人来说，可能检测获得不止一个矩形框。

步骤S230，根据对象候选区域的面积对至少一个对象候选区域进行筛选。

根据对象候选区域的面积大小进行筛选。例如，可以将面积大于一定阈值的对象候选区域保留下来，将其他对象候选区域排除。又例如，可以将面积最大的对象候选区域以及与面积最大的对象候选区域之间的面积比大于一定阈值的对象候选区域保留下来，将其他对象候选区域排除。通过筛选，可以保留面积较大的目标对象，排除面积较小的目标对象。面积较大的目标对象通常是有价值、有意义的主体。例如，在直播领域，进行直播的用户由于距离镜头较近，往往占据最大面积，其他无关人士的面积则较小。

在步骤S240，确定筛选出的对象候选区域为前景区域。

筛选出的对象候选区域为与感兴趣的目标对象(如上文所述的“主角”人体)相关的区域，可以将这些区域视为前景，将其余部分视为背景。在抠像应用中，可以将前景部分提取出来，背景部分屏蔽。这样，可以仅突出面积较大的重要对象，排除面积较小的不重要对象。

根据本发明实施例的图像处理方法，可以确定目标对象的对象候选区域的位置和面积，根据面积对对象候选区域进行筛选。通过这种图像处理方法可以区分感兴趣的重要对象以及不重要的对象。通过一定的后处理手段，可以进一步去除待处理图像中较小的不重要对象，并保留较大的重要对象。因此，本发明实施例提供的图像处理方法使得从多个目标对象中自动识别和提取重要对象成为可能，可以很好地应用于各种图像分割领域。例如，将上述图像处理方法应用于抠像领域，可以实现智能化的抠像，更好地满足用户需求，提升用户体验。

示例性地，根据本发明实施例的图像处理方法可以在具有存储器和处理器的设备、装置或者系统中实现。

根据本发明实施例的图像处理方法可以部署在图像采集端处，例如，可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。

替代地，根据本发明实施例的图像处理方法还可以分布地部署在服务器端(或云端)和客户端处。例如，可以在客户端获取待处理图像，客户端将获取的图像传送给服务器端(或云端)，由服务器端(或云端)进行图像处理。

根据本发明实施例，步骤S220可以包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

图3示出根据本发明一个实施例的图像处理模型的结构示意图。所述图像处理模型可以包括本文所述的第一卷积神经网络、区域建议网络(Region Proposal Network,RPN)、第二卷积神经网络、感兴趣区域池化(ROIpooling)网络、基于区域的卷积神经网络(Regions with Convolution Neural Network,RCNN)和第三卷积神经网络等。可以理解的是，本文为了方便描述，将图像处理模型划分为第一卷积神经网络、RPN、第二卷积神经网络等部分，然而，第一卷积神经网络、RPN、第二卷积神经网络等部分可以仅是属于一个完整网络模型中的一些层。例如，ROIpooling网络可以是图像处理模型这一网络模型中的ROIpooling层。

第一卷积神经网络的部分结构可以采用类似VGG-Net和Mobile-Net等神经网络模型的网络结构实现。VGG-Net等神经网络模型一般分为很多层，每层包括诸多卷积和池化操作。下面为方便描述，将VGG-Net等神经网络模型中的第i层模型命名为fm-i。

示例性地，第一卷积神经网络可以包括类似VGG-Net等神经网络模型中的fm-1、fm-2、fm-3和fm-4这四层模型的网络结构。在图3中，第一卷积神经网络包括的网络结构同样用fm-1、fm-2、fm-3和fm-4表示。

第二卷积神经网络可以包括类似VGG-Net等神经网络模型中的fm-5这一层模型的网络结构。在本文描述的图像处理模型中，在fm-4层处外接一个RPN，fm-4层输出的结果作为RPN的输入。同时，如图3所示，fm-4层还连接到fm-5层，其输出的结果也作为fm-5层的输入。

fm-{1,2,3,4,5}这五层模型中包括的是一些卷积层、池化层等，主要用于提取图像特征。上述五层模型分别输出一些特征图，并将输出的特征图输入到与其连接的下一层模型中。每层输出的特征图尺寸均为上一层输出的特征图的1/4，即每层输出的特征图的长和宽均为上一层输出的特征图的长和宽的1/2。本文将fm-4层输出的图像特征图称为第一图像特征图，fm-5层输出的图像特征图称为第二图像特征图。可以理解，“第一”、“第二”仅用于区分，并不包含顺序等其他含义。另外，第一图像特征图的数目以及第二图像特征图的数目均可以根据需要而定。

RPN的作用是根据第一图像特征图预测一些潜在的包含目标对象的预测框(Bounding Box)，即本文所述的初始候选区域(Region Proposals)。RPN输出与每个初始候选区域相关的区域信息，该区域信息可以包括初始候选区域的位置信息，例如顶点坐标。示例性地，与每个初始候选区域相关的区域信息还可以包括初始候选区域属于前景和属于背景的置信度，一般用分数(score)表示。

fm-5层后面连接ROIpooling网络。RPN输出的与初始候选区域相关的区域信息和fm-5层输出的第二图像特征图均输入到ROIpooling网络中。ROIpooling网络的作用是抠出每个预测框对应的特征图块，也就是获得与每个初始候选区域对应的区域特征图(proposal feature maps)。

ROIpooling网络后面连接RCNN。RCNN的作用是进行细致的框定位和分类，以更准确地确定包含目标对象的预测框。RCNN可以包括全连接层、softmax层等。RCNN输出与若干对象候选区域相关的区域信息，该区域信息可以包括对象候选区域的位置信息，例如顶点坐标。

与fm-4层相比，fm-5层提取的特征是更高层次的特征。通过在fm-5层而非fm-4层后面使用ROIpooling操作，可以合理利用fm-5的高层语义特征图来更准确地区分前景和背景，以提升分割精度。

图4示出根据本发明一个实施例的确定筛选出的对象候选区域为前景区域的步骤(步骤S240)的示意性流程图。根据本实施例，步骤S240可以包括以下步骤。

在步骤S242，检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度。

可以采用任何合适的目标检测方法检测待处理图像中的目标对象，判断待处理图像中的每个像素是否属于目标对象，获得初始概率矩阵。例如，可以采用Faster-RCNN方法检测待处理图像中的目标对象，获得初始概率矩阵。初始概率矩阵的大小与待处理图像的大小一致，初始概率矩阵中的元素与待处理图像中的像素一一对应。示例性地，可以用1表示像素属于目标对象，即属于前景，反之，用0表示像素属于背景。这样，初始概率矩阵中的每个元素可以是在[0,1]范围内的任一数值。初始概率矩阵中的元素的值越接近1，代表对应像素属于目标对象的概率越大。

在步骤S244，计算筛选出的对象候选区域的覆盖区域。

筛选出的对象候选区域可以是很多区域，不同对象候选区域之间可能出现重叠。因此，可以首先计算所有筛选出的对象候选区域在整个待处理图像中所覆盖的区域，再进行前景和背景的分割。

在步骤S246，对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵。

例如，假设排除筛选出的对象候选区域的覆盖区域(可以理解为感兴趣的目标对象所占的区域)之后，剩余的区域为A，则可以将A这部分区域中的像素对应的元素的值全部设为0，以表示区域A全部为背景。

在步骤S248，基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

可以根据新的概率矩阵中指示的置信度区分前景和背景。在一个示例中，在步骤S248之后，图像处理方法200还可以包括：基于图像分割结果对待处理图像进行抠像。可以将前景区域(其包含目标对象)从待处理图像中提取出来，将剩余的背景屏蔽，以突出显示用户感兴趣的对象。这种方式提取出的前景区域基本保留其在待处理图像中的像素信息。在一个示例中，还可以将图像分割结果输出。例如，可以分别采用不同颜色标示前景和背景，获得一张语义分割图，并显示该语义分割图以供用户查看。

图4所示的各步骤的执行顺序并不局限于图中所示的顺序，其可以根据需要变化。例如，步骤S244可以在步骤S242之前或与其同时执行。

根据本发明实施例，第一卷积神经网络可以包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，步骤S242可以包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

返回参考图3，第一卷积神经网络包括fm-1、fm-2、fm-3和fm-4这四层模型，其中fm-2、fm-3和fm-4为第一卷积神经网络的子网络{C₁,C₂,C₃}。fm-2、fm-3和fm-4这三层模型依次连接，上一层模型的输出作为下一层模型的输入。第三卷积神经网络包括图3所示的Score-2、Score-3、Score-4和Score-5这四层模型，即第三卷积神经网络的子网络{N₁,N₂,N₃,N₄}。Score-2、Score-3、Score-4和Score-5这四层模型主要包括卷积层、池化层等，执行一些卷积、池化。等操作。Score-2、Score-3、Score-4和Score-5这四层模型也是依次连接的。

如图3所示，Score-2、Score-3、Score-4和Score-5分别与fm-2、fm-3、fm-4和fm-5对应。fm-5层输出的第二图像特征图输入到Score-5进行处理。Score-5输出的结果和初始概率矩阵的形式类似，只是大小比初始概率矩阵小一些。fm-4层输出的第一图像特征图以及Score-5层输出的结果均输入到Score-4层中，Score层可以对fm-4层以及Score-5层的输出进行一些诸如求和之类的处理，综合上两层输出的信息获得新的矩阵，该矩阵和初始概率矩阵的形式类似，大小比Score-5层输出的矩阵大，比初始概率矩阵小。Score-2和Score-3层执行与Score-4类似的处理，不再一一赘述。Score-2层的输出即为上述初始概率矩阵(Seg)。

以上结合图3描述的第三卷积神经网络的网络结构及其工作方式仅是示例而非对本发明的限制，第三卷积神经网络可以具有其他的网络结构及工作方式。示例性地，第三卷积神经网络可以包括其他数目的子网络，例如，可以仅采用Score-4和Score-5对第一图像特征图和第二图像特征图进行处理以获得初始概率矩阵。

根据本发明实施例，图像处理方法200还可以包括：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

标注数据(ground truth)可以是人工标注好的。例如，标注数据可以指示样本图像中各像素的类别，属于目标对象和背景的像素可以用不同颜色表示以进行区分。

样本图像和标注数据可以由远程设备(诸如存储有训练数据集的服务器)发送到电子设备100以由电子设备100的处理器102进行训练，也可以由电子设备100包括的数据获取装置获取并传送到处理器102进行训练。

在对图像处理模型进行训练的过程中，可以采用反向传播算法调整图像处理模型中采用的参数(或说权值)，直到训练收敛，以获得训练好的图像处理模型。

根据本发明实施例，步骤S230可以包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

如上文所述，可以将面积最大的对象候选区域以及与面积最大的对象候选区域之间的面积比大于一定阈值的对象候选区域保留下来，将其他对象候选区域排除。面积最大的对象候选区域一般为感兴趣的主要对象，将其他对象与该对象作比较，如果不够大，说明属于无关对象，将这样的无关对象排除。这种方式实现简单，运算速度快，同时这种方式可以保证面积最大的对象能够被保留下来。

根据本发明实施例，从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

图5示出根据本发明一个实施例的筛选对象候选区域的流程示意图。在图5中，用B表示至少一个对象候选区域(图5中描述为框)，用T表示排序后的至少一个对象候选区域，用Ty表示保留的对象候选区域(在图5的示例中，将面积最大的对象候选区域算作保留的对象候选区域)。筛选对象候选区域的流程如下：

1.对所有的框B＝{B1,B2,…,Bn}的面积进行排序，得到一个面积递减的框序列T＝{T1,T2,…,Tn}。

2.首先保留框T1,计算T2和T1之间的面积比R。如果R>0.5，则保留T2,并继续计算T3与T1之间的面积比。反之则终止算法。计算Ti与T1之间的面积比并判断面积比是否大于预设阈值(R大于0.5则将i加1)这样的步骤可以重复执行，直至Ti与T1之间的面积比不大于0.5为止。

3.得到所有保留下来的框Ty＝{T1,…,Tm}(m≤n)。随后，如上所述，可以计算Ty的覆盖区域Y，将在覆盖区域Y之外的像素的预测值(初始概率矩阵中的元素)设置为背景预测值(例如0)，其他预测值不变。

在图5中，预设阈值为0.5，这是经过测试确定的一个比较合适的值，其仅是示例而非对本发明的限制，预设阈值可以根据需要设定为任何合适的值。由于在比较复杂的场所(如闹市)，主要对象少，无关人士多，因此可以首先进行排序。在找到与最大的对象候选区域之间的面积比小于预设阈值的对象候选区域之后，无需再计算剩余的对象候选区域与面积最大的对象候选区域之间的面积比，直接将它们排除即可。这种方式在无关对象多的情况下可以节省计算量，加快图像处理速度。

根据本发明实施例，从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域可以包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

可以不对框B＝{B1,B2,…,Bn}进行排序，直接计算{B2,…,Bn}中的每个框与B1之间的面积比，并直接从所有框中选择面积比大于预设阈值的框即可。这种方式在无关对象少的情况下计算量也不大，同样可以实现快速的图像处理。

根据本发明另一方面，提供一种图像处理装置。图6示出了根据本发明一个实施例的图像处理装置600的示意性框图。

如图6所示，根据本发明实施例的图像处理装置600包括图像获取模块610、对象检测模块620、区域筛选模块630和区域确定模块640。所述各个模块可分别执行上文中结合图2-5描述的图像处理方法的各个步骤/功能。以下仅对该图像处理装置600的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

图像获取模块610用于获取待处理图像。图像获取模块610可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

对象检测模块620用于检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置。对象检测模块620可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

区域筛选模块630用于根据对象候选区域的面积对至少一个对象候选区域进行筛选。区域筛选模块630可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

区域确定模块640用于确定筛选出的对象候选区域为前景区域。区域确定模块640可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。

示例性地，对象检测模块620包括：特征提取子模块，用于利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；第一输入子模块，用于将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；第二输入子模块，用于将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；第三输入子模块，用于将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；第四输入子模块，用于将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及面积计算子模块，用于对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，区域确定模块包括：初始矩阵获得子模块(未示出)，用于检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；区域计算子模块(未示出)，用于计算筛选出的对象候选区域的覆盖区域；新矩阵获得子模块(未示出)，用于对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及分割子模块(未示出)，用于基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，图像处理装置600还包括：抠像模块(未示出)，用于在分割模块基于新的概率矩阵对待处理图像进行图像分割之后，基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，初始矩阵获得子模块包括：第一输入单元，用于将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及第二输入单元，用于对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，图像处理装置600还包括：样本获取模块(未示出)，用于获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及训练模块(未示出)，用于利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，区域筛选模块630包括：选择子模块，用于从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及区域确定子模块，用于确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，选择子模块包括：排序单元，用于根据面积的大小对至少一个对象候选区域进行排序；当前区域确定单元，用于确定面积第二大的对象候选区域为当前候选区域；第一面积比计算单元，用于计算当前候选区域与面积最大的对象候选区域之间的面积比；以及判断单元，用于判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并启动面积比计算单元，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，选择子模块包括：第二面积比计算单元，用于分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及区域选择单元，用于根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

图7示出了根据本发明一个实施例的图像处理系统700的示意性框图。图像处理系统700包括图像采集装置710、存储装置720、以及处理器730。

图像采集装置710用于采集待处理图像。图像采集装置710是可选的，图像处理系统700可以不包括图像采集装置710。在这种情况下，可以利用其他图像采集装置采集待检测图像，并将采集的图像发送给图像处理系统700。

所述存储装置720存储用于实现根据本发明实施例的图像处理方法中的相应步骤的计算机程序指令。

所述处理器730用于运行所述存储装置720中存储的计算机程序指令，以执行根据本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置600中的图像获取模块610、对象检测模块620、区域筛选模块630和区域确定模块640。

在一个实施例中，所述计算机程序指令被所述处理器730运行时用于执行以下步骤：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积的步骤包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的确定筛选出的对象候选区域为前景区域的步骤包括：检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；计算筛选出的对象候选区域的覆盖区域；对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，在所述计算机程序指令被所述处理器730运行时所用于执行的基于新的概率矩阵对待处理图像进行图像分割的步骤之后，所述计算机程序指令被所述处理器730运行时还用于执行以下步骤：基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，所述计算机程序指令被所述处理器730运行时所用于执行的检测待处理图像中的目标对象，以获得初始概率矩阵的步骤包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，所述计算机程序指令被所述处理器730运行时还用于执行以下步骤：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的根据对象候选区域的面积对至少一个对象候选区域进行筛选的步骤包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，所述计算机程序指令被所述处理器730运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的图像处理方法的相应步骤，并且用于实现根据本发明实施例的图像处理装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

在一个实施例中，所述程序指令在被计算机或处理器运行时可以使得计算机或处理器实现根据本发明实施例的图像处理装置的各个功能模块，并且/或者可以执行根据本发明实施例的图像处理方法。

在一个实施例中，所述程序指令在运行时用于执行以下步骤：获取待处理图像；检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积，其中，对象候选区域用于指示对应的目标对象所在的位置；根据对象候选区域的面积对至少一个对象候选区域进行筛选；以及确定筛选出的对象候选区域为前景区域。

示例性地，所述程序指令在运行时所用于执行的检测待处理图像中的目标对象，以确定至少一个对象候选区域以及对象候选区域的面积的步骤包括：利用第一卷积神经网络提取待处理图像的特征，以获得第一图像特征图；将第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；将第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；将第二图像特征图和与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与多个初始候选区域分别对应的区域特征图；将所有区域特征图输入基于区域的卷积神经网络，以获得与至少一个对象候选区域分别相关的区域信息；以及对于至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

示例性地，所述程序指令在运行时所用于执行的确定筛选出的对象候选区域为前景区域的步骤包括：检测待处理图像中的目标对象，以获得初始概率矩阵，其中，初始概率矩阵中的每个元素的值代表待处理图像中的对应像素属于目标对象的置信度；计算筛选出的对象候选区域的覆盖区域；对于初始概率矩阵，保留与待处理图像中的覆盖区域对应的元素的值，并将与待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及基于新的概率矩阵对待处理图像进行图像分割以确定前景区域。

示例性地，在所述程序指令在运行时所用于执行的基于新的概率矩阵对待处理图像进行图像分割的步骤之后，所述程序指令在运行时还用于执行以下步骤：基于图像分割结果对待处理图像进行抠像。

示例性地，第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，子网络{C₁,……C_n}按照正向的编号顺序依次连接，所述程序指令在运行时用于执行的检测待处理图像中的目标对象，以获得初始概率矩阵的步骤包括：将第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，第三卷积神经网络还包括与子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及对于第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的初始概率矩阵。

示例性地，所述程序指令在运行时还用于执行以下步骤：获取样本图像和标注数据，其中，标注数据用于指示样本图像中的目标对象的位置；以及利用样本图像和标注数据对图像处理模型进行训练，其中，图像处理模型包括第一卷积神经网络、区域建议网络、第二卷积神经网络、感兴趣区域池化网络和基于区域的卷积神经网络。

示例性地，所述程序指令在运行时所用于执行的根据对象候选区域的面积对至少一个对象候选区域进行筛选的步骤包括：从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及确定面积最大的对象候选区域以及所选择的对象候选区域为筛选出的对象候选区域。

示例性地，所述程序指令在运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：步骤a：根据面积的大小对至少一个对象候选区域进行排序；步骤b：确定面积第二大的对象候选区域为当前候选区域；步骤c：计算当前候选区域与面积最大的对象候选区域之间的面积比；以及步骤d：判断面积比是否大于预设阈值，如果是，则保留当前候选区域，将当前候选区域更新为排在当前候选区域之后的对象候选区域并返回步骤c，否则确定保留的所有对象候选区域为所选择的对象候选区域。

示例性地，所述程序指令在运行时所用于执行的从至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域的步骤包括：分别计算至少一个对象候选区域中除面积最大的对象候选区域之外的每个对象候选区域与面积最大的对象候选区域之间的面积比；以及根据所计算的面积比选择与面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

根据本发明实施例的图像处理系统中的各模块可以通过根据本发明实施例的实施图像处理的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的图像处理装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，包括：

获取待处理图像；

检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及所述对象候选区域的面积，其中，所述对象候选区域用于指示对应的目标对象所在的位置；

根据所述对象候选区域的面积对所述至少一个对象候选区域进行筛选；以及

确定筛选出的对象候选区域为前景区域。

2.如权利要求1所述的方法，其中，所述检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及所述对象候选区域的面积包括：

利用第一卷积神经网络提取所述待处理图像的特征，以获得第一图像特征图；

将所述第一图像特征图输入区域建议网络，以获得与多个初始候选区域分别相关的区域信息；

将所述第一图像特征图输入第二卷积神经网络，以获得第二图像特征图；

将所述第二图像特征图和所述与多个初始候选区域分别相关的区域信息输入感兴趣区域池化网络，以获得与所述多个初始候选区域分别对应的区域特征图；

将所有区域特征图输入基于区域的卷积神经网络，以获得与所述至少一个对象候选区域分别相关的区域信息；以及

对于所述至少一个对象候选区域中的每一个，根据与该对象候选区域相关的区域信息计算该对象候选区域的面积。

3.如权利要求1所述的方法，其中，所述根据所述对象候选区域的面积对所述至少一个对象候选区域进行筛选包括：

从所述至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域；以及

确定所述面积最大的对象候选区域以及所选择的对象候选区域为所述筛选出的对象候选区域。

4.如权利要求3所述的方法，其中，所述从所述至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域包括：

步骤a：根据面积的大小对所述至少一个对象候选区域进行排序；

步骤b：确定面积第二大的对象候选区域为当前候选区域；

步骤c：计算所述当前候选区域与所述面积最大的对象候选区域之间的面积比；以及

步骤d：判断所述面积比是否大于预设阈值，如果是，则保留所述当前候选区域，将所述当前候选区域更新为排在所述当前候选区域之后的对象候选区域并返回所述步骤c，否则确定保留的所有对象候选区域为所述所选择的对象候选区域。

5.如权利要求3所述的方法，其中，所述从所述至少一个对象候选区域中选择与面积最大的对象候选区域之间的面积比满足预设要求的对象候选区域包括：

分别计算所述至少一个对象候选区域中除所述面积最大的对象候选区域之外的每个对象候选区域与所述面积最大的对象候选区域之间的面积比；以及

根据所计算的面积比选择与所述面积最大的对象候选区域之间的面积比大于预设阈值的对象候选区域。

6.如权利要求1或2所述的方法，其中，所述确定筛选出的对象候选区域为前景区域包括：

检测所述待处理图像中的目标对象，以获得初始概率矩阵，其中，所述初始概率矩阵中的每个元素的值代表所述待处理图像中的对应像素属于目标对象的置信度；

计算所述筛选出的对象候选区域的覆盖区域；

对于所述初始概率矩阵，保留与所述待处理图像中的所述覆盖区域对应的元素的值，并将与所述待处理图像中的其他区域对应的元素的值设置为用于指示对应像素属于背景的预设值，以获得新的概率矩阵；以及

基于所述新的概率矩阵对所述待处理图像进行图像分割以确定前景区域。

7.如权利要求6所述的方法，其中，在所述基于所述新的概率矩阵对所述待处理图像进行图像分割之后，所述方法还包括：

基于图像分割结果对所述待处理图像进行抠像。

8.如引用权利要求2的权利要求6所述的方法，其中，所述第一卷积神经网络包括至少一个子网络{C₁,……C_n}，其中，n≥1，在n≥2的情况下，所述子网络{C₁,……C_n}按照正向的编号顺序依次连接，

所述检测所述待处理图像中的目标对象，以获得初始概率矩阵包括：

将所述第二图像特征图输入第三卷积神经网络中的子网络N_n+1，其中，所述第三卷积神经网络还包括与所述子网络{C₁,……C_n}一一对应的子网络{N₁,……N_n}，在n≥2的情况下，所述子网络{N₁,……N_n}按照反向的编号顺序依次连接；以及

对于所述第一卷积神经网络中的每个子网络，将该子网络输出的特征图输入所述第三卷积神经网络中的、与该子网络对应的子网络，以获得由子网络N₁输出的所述初始概率矩阵。

9.如权利要求2所述的方法，其中，所述方法还包括：

获取样本图像和标注数据，其中，所述标注数据用于指示所述样本图像中的目标对象的位置；以及

利用所述样本图像和所述标注数据对图像处理模型进行训练，其中，所述图像处理模型包括所述第一卷积神经网络、所述区域建议网络、所述第二卷积神经网络、所述感兴趣区域池化网络和所述基于区域的卷积神经网络。

10.一种图像处理装置，包括：

图像获取模块，用于获取待处理图像；

对象检测模块，用于检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及所述对象候选区域的面积，其中，所述对象候选区域用于指示对应的目标对象所在的位置；

区域筛选模块，用于根据所述对象候选区域的面积对所述至少一个对象候选区域进行筛选；以及

区域确定模块，用于确定筛选出的对象候选区域为前景区域。

11.一种图像处理系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行以下步骤：

获取待处理图像；

检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及所述对象候选区域的面积，其中，所述对象候选区域用于指示对应的目标对象所在的位置；

根据所述对象候选区域的面积对所述至少一个对象候选区域进行筛选；以及

确定筛选出的对象候选区域为前景区域。

12.一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行以下步骤：

获取待处理图像；

检测所述待处理图像中的目标对象，以确定至少一个对象候选区域以及所述对象候选区域的面积，其中，所述对象候选区域用于指示对应的目标对象所在的位置；

根据所述对象候选区域的面积对所述至少一个对象候选区域进行筛选；以及

确定筛选出的对象候选区域为前景区域。