CN112183543B - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、设备及存储介质，涉及计算机视觉和深度学习技术领域。具体实现方案为根据待处理图像的目标对象，生成所述待处理图像的热度图；根据所述热度图，对所述待处理图像进行至少两次裁剪，得到至少两个子图像。可实现通过图像处理操作得到多个包含目标对象的子图像，提供了一种能够有效提高图像识别技术精度的图像处理方法。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及计算机视觉和深度学习技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。

背景技术

图像识别技术是通过机器学习的手段提取图像的特征，通过提取的特征来区分不同图像的技术。图像识别技术广泛应用于各类计算机视觉任务中，如植物分类、菜品识别、地标识别等。在图像识别任务中，为了提高识别任务的精度，往往会对待识别的图像进行图像预处理操作，如进行图像降噪处理等。但是现有的图像预处理操作对提高图像识别技术的精度影响不大，亟需一种能够有效提高图像识别技术精度的图像预处理方法。

发明内容

本公开提供了一种图像处理方法、装置、设备及存储介质。

根据本公开的一方面，提供了一种图像处理方法，包括：

根据待处理图像的目标对象，生成所述待处理图像的热度图；

根据所述热度图，对所述待处理图像进行至少两次裁剪，得到至少两个子图像。

根据本公开的第二方面，提供了一种图像处理装置，包括：

热度图生成模块，用于根据待处理图像的目标对象，生成所述待处理图像的热度图；

图像裁剪模块，用于根据所述热度图，对所述待处理图像进行至少两次裁剪，得到至少两个子图像。

根据本公开的第三方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任一实施例的图像处理方法。

根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质。计算机指令用于使计算机执行本申请任一实施例的图像处理方法。

根据本申请的技术解决了现有的图像预处理操作对提高图像识别技术的精度影响不大的问题，提供了一种能够有效提高图像识别技术精度的图像预处理方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1A是根据本申请实施例提供的一种图像处理方法的流程图；

图1B-1C是根据本申请实施例提供的待处理图像及其热度图；

图1D是根据本申请实施例提供的裁剪后的子图像的效果图；

图1E是根据现有多样本随机裁剪技术对待处理图像裁剪后的子图像的效果图；

图2A是根据本申请实施例提供的另一种图像处理方法的流程图；

图2B是根据本申请实施例为热度图构建的等概率曲线的效果图；

图3是根据本申请实施例提供的再一种图像处理方法的流程图；

图4是根据本申请实施例提供的一种图像处理装置的结果示意图；

图5是用来实现本申请实施例的图像处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1A是根据本申请实施例提供的一种图像处理方法的流程图；图1B-1C是根据本申请实施例提供的待处理图像及其热度图；图1D是根据本申请实施例提供的裁剪后的子图像的效果图。本实施例适用于在进行目标对象任务预测之前，对待处理图像进行图像预处理的情况。该实施例可以由电子设备中配置的图像处理装置来执行，该装置可以采用软件和/或硬件来实现。如图1A-1C所示，该方法包括：

S101，根据待处理图像的目标对象，生成待处理图像的热度图。

其中，所谓待处理图像可以是当前需要进行图像处理的图像。可选的，待处理图像中包含的任何对象都可以作为目标对象，可以根据实际需求(如后续预测任务)，从待处理图像中确定当前的目标对象。例如，图1B示出的鸟停留在树枝上的图像，即为本申请实施例的待处理图像。该待处理图像中包含的树枝、树叶和鸟都可以做作为目标对象，假设对该待处理图像执行的预测任务是预测图像中鸟的种类，则此时本实施例可以是将该待处理图像中的鸟作为目标对象。

本申请实施例中待处理图像的热度图可以是将待处理图像的各个部分用表示热度的颜色来展示目标对象位于待处理图像各区域的概率。可选的，表示热度的颜色可以是系统默认的，也可以是用户自定义的。例如，热度从高概率到低概率对应的颜色依次为：红色、橙色、黄色、绿色和蓝色等。还可以是通过灰度变化值来表示，如灰度值越高(即越接近白色)，则表征热度越高。可选的，本申请实施例的热度图可以反应待处理图像中，目标对象的位置、形状、大小等信息。

可选的，由于本申请实施例中的热度图是表征目标对象位于待处理图像各区域的热度概率。所以对于待处理图像来说，选择的目标对象不同，对应生成的热度图也不同。例如，对于图1B所示的待处理图像，目标对象为树叶和目标对象为鸟，对应生成的热度图中高热度概率对应的区域是不同的。所以在本申请实施例中，需要根据待处理图像的目标对象，来生成待处理图像的热度图。具体的生成方式有很多，例如，方式一、采用神经网络来生成，具体的，可以是针对不同的目标对象，采用预先训练好的该目标对象对应的热度图生成网络，来生成待处理图像的热度图。方式二、采用热度图算法来生成，具体的，可以是在待处理图像中选择出目标对象所在区域(如可以是用户手动框选，还可以是系统自动识别并框选目标对象)，调用热度图生成算法，基于选择出的目标对象的所在区域，来生成待处理图像的热度图。方式三、采用热度图生成工具来生成，具体的，可以是将待处理图像导入到已有的热度图生成工具中，并在其配置界面上选择目标对象，此时该工具就会自动生成待处理图像的热度图等。可选的，本申请实施例还可以采用其他方式来根据待处理图像的目标对象，来生成待处理图像的热度图，对此本实施例不进行限定。

示例性的，对于图1B所示的待处理图像，当该待处理图像中的目标对象为鸟时，本步骤生成的热度图如图1C所示。其中，该图1C是在图1B的基础上，叠加了一层用灰度颜色表征的热度信息，背景灰度值高的区域(即亮度值高的区域，如曲线10所在区域)对应的目标对象热度概率高于背景灰度值低的区域。

S102，根据热度图，对待处理图像进行至少两次裁剪，得到至少两个子图像。

可选的，在本申请实施例中，根据S101生成的热度图，需要对待处理图像进行多次裁剪，如可以是对待处理图像进行多样本随机裁剪(multi-crop)。具体的，对待处理图像进行多次裁剪的方法有很多，例如，方式一、可以是根据该热度图选择目标对象热度概率大于热度阈值的图像区域(如图1C所示的曲线10所在区域)，在该区域中选择至少两个点位作为中心点，按照预设的裁剪尺寸对待处理图像进行至少两次裁剪，每一次裁剪操作后即可得到一个子图像。可选的，在选择中心点时可以是在热度概率大于热度阈值的图像区域中任随机选择至少两个点，还可以是选择预设位置(如中心位置和边缘位置)的至少两个点。方式二、还可以是根据热度图，建立生成等概率曲线，再基于等概率曲线，选择至少两个待裁剪的中心点，对待处理图像进行至少两次裁剪，每次裁剪后即可得到一个子图像。可选的，本申请实施例还可以采用其他方式来根据热度图对待处理图像进行至少两次裁剪，得到至少两个子图像，对此本实施例不进行限定。

需要说明的是，采用本申请实施例的方案，基于热度图对待处理图像进行多次裁剪后，得到的每一个子图像中几乎都包含有待处理图像中的目标对象。能够实现将一个待处理图像扩充为多个子图像，且每个子图像中几乎都包含目标对象，所以采用本申请实施例得到的多个子图像进行后续的图像处理操作，如进行后续的图像目标识别操作，可以通过多个包含目标对象的子图像，更为精准的确定识别结果，极大的提高了图像识别的精度。

示例性的，图1D是采用本申请实施例的方案，基于热度图对图1B所示的待处理图像进行9次裁剪后，得到的9个子图像，由图1D可知，每个子图像中都包含全部或大部分的目标对象鸟。图1E是采用现有多样本随机裁剪技术对图1B所示的待处理图像进行6次裁剪后的，得到的6个子图像。由图1E可知，6张图像中只有2张图像包含了目标对象鸟，且都只包含鸟的部分区域，剩余子图像中几乎没有目标对象鸟。若分别采用图1D所示的各子图像和图1E所示的各子图像进行鸟的类别识别，必定图1D的各子图像对应的识别结果更为精准。

本申请实施例的技术方案，通过待处理图像中的目标对象，生成待处理图像的热度图，根据该热度图对待处理图像进行多次裁剪，得到多个子图像。本申请实施例的技术方案，基于热度图来对待处理图像进行多次裁剪，使得裁剪后的各子图像中几乎都包含目标对象。不但扩充了数据样本，还保证了扩充样本的质量，采用这些子图像执行识别任务，可有效提高图像识别精度。解决了现有的图像预处理操作对提高图像识别技术的精度影响不大的问题，提供了一种能够有效提高图像识别技术精度的图像预处理方法。

进一步的，在本申请实施例中，若通过神经网络来生成待处理图像的热度图，则根据待处理图像的目标对象，生成待处理图像的热度图时，可以根据待处理图像的目标对象，确定目标对象对应的热度图生成网络；通过热度图生成网络对待处理图像进行处理，得到待处理图像的热度图。具体的，对于同一个对待处理图像，其目标对象的不同，对应生成的热度图也不同，所以当本实施例采用神经网络来生成待处理图像的热度图时，需要准确选择出目标对象对应的热度图生成网络。例如，可以是预先针对多种不同的目标对象，训练各目标对象对应的热度图生成网络，在执行本步骤的操作时，可以是选择待处理图像的目标对象对应的热度图生成网络。将待处理图像输入到该热度图生成网络中，该热度图生成网络就会基于训练阶段更新的网络参数，对待处理图像进行处理，得到该目标对象作为高热度概率区域的热度图。本申请实施例可根据目标对象的不同，选择不同的热度图生成网络来生成对应的热度图，提高了待处理图像热度图生成的准确性。例如，相对于本申请的实施例的方案，如果采用统一的热度图生成网络来生成图1B所示的待处理图像的热度图，就会导致目标对象为鸟和目标对象为树叶时生成的热度图是一样的，无法准确体现鸟或树叶在待处理图像中对应的高热度概率的区域，进而影响后续子图像裁剪的准确性。

图2A是根据本申请实施例提供的另一种图像处理方法的流程图；图2B是根据本申请实施例为热度图构建的等概率曲线的效果图。本实施例在上述实施例的基础上，给出了根据热度图，对待处理图像进行至少两次裁剪，得到至少两个子图像的具体情况介绍。如图2A-2B所示，该方法包括：

S201，根据待处理图像的目标对象，生成待处理图像的热度图。

S202，为热度图建立等概率曲线。

其中，热度图的等概率曲线可以是对热度图中热度概率相等或相近的位置点进行曲线拟合，得到的闭合曲线。

可选的，在本申请实施例中，为热度图建立等概率曲线的方式有很多，例如，方式一、采用曲线拟合网络来生成，具体的，将热度图输入到预先训练好的曲线拟合网络中，该曲线拟合网络即可基于网络训练时更新的网络参数，对输入的热度图进行分析，生成并输出标注有多条等概率曲线的热度图。方式二、调用曲线拟合算法来生成，具体的，可以是读取热度图中各位置点对应的热度概率值，然后调用曲线拟合算法，结合各位置点的热度概率值，将相同或相近热度概率的位置点的位置坐标进行曲线拟合，得到多条等概率曲线，并将得到的多条等概率曲线绘制在热度图上。方式三、根据预设热度概率范围，将热度图划分为至少两个热度区域；对至少两个热度区域进行曲线拟合，得到至少两条等概率曲线。具体的，不同的热度概率对应不同的颜色，该方式三可以是按照热度概率(即热度图颜色)的变化，预先设置至少两个热度概率范围，再按照该预设热度概率范围，将热度图划分为至少两个区域。例如，预先将90％-100％作为第一热度概率范围，将80％-90％作为第二热度概率范围，将70％-80％作为第三热度概率范围；依次类推，最后将0％-50％作为第六热度概率范围；此时可以将S201生成的热度图中热度概率在90％-100％之间的区域作为第一热度区域，将热度概率在80％-90％之间的区域，作为第二热度区域，将热度概率在70％-80％之间的区域，作为第三热度区域；依次类推，最后将热度概率在0％-50％之间的区域，作为第六热度区域。在划分出至少两个热度区域后，针对每一个热度区域，对该热度区域内的所有位置点进行闭合曲线拟合，得到该热度区域对应的等概率曲线。本申请实施例可以优选方式三来为热度图建立等概率曲线，该方式相比于前两种方式的好处是，可以根据热度图的实际热度概率分布，以及需要的等概率曲线的条数等因素，调整预设热度概率范围，进而调整生成的等概率曲线的密度，提高了等概率曲线构建的灵活性和准确性。

需要说明的是，本申请实施例除了上述三种可实施方式外，还可以采用其他任意方式为热度图建立等概率曲线，对此不进行限定。

示例性的，图2B是本申请实施例为图1C所示的热度图生成的等概率曲线，其中，图2B中的6条白色闭合曲线21代表生成的6条等概率曲线，每条白色曲线上的各位置点对应的热度概率可以近似认为是一致的。

S203，根据等概率曲线，对待处理图像进行至少两次裁剪，得到至少两个子图像。

可选的，本申请实施例是基于S202建立的等概率曲线，来对待处理图像进行多次裁剪，具体的裁剪方式有很多，例如，方式一、针对每一条等概率曲线，确定该等概率曲线围成的闭合区域的中心位置，在待处理图像上，以该中心位置为中心点，按照预设裁剪框尺寸，进行一次裁剪，得到该等概率曲线对应的子图像。方式二、根据待裁剪次数，从等概率曲线中确定目标曲线；根据目标曲线上的预设点位和裁剪框尺寸，对待处理图像进行至少两次裁剪。具体的，该方式并不一定使用建立好的所有等概率曲线，而是根据待裁剪次数，从建立的所有等概率曲线中选择需要使用的等概率曲线作为目标曲线，例如，可以是根据裁剪次数和目标曲线之间的数量关系，按照热度概率从高到低的顺序从建立的所有等概率曲线中，选择需要使用的目标曲线。例如，假设目标曲线的数量为裁剪次数的1/3，当待裁剪次数为9次数时，目标曲线的数量为3个，此时可以是选择热度概率排名靠前的三条等概率曲线作为目标曲线。在确定出目标曲线后，可以是根据每条目标曲线上的预设点位(其中，该预设点位可以是预先设置好的固定点位，还可以是随机确定的点位)，在各目标曲线上找到对应的预设点位，并分别以各预设点位为中心，采用预设裁剪框尺寸，对待处理图像进行多次裁剪，得到多个子图像。本申请实施例可以优选方式二来对待处理图像进行裁剪，这样设置的好处是，根据等概率曲线中的高热度概率的曲线进行裁剪，极大的提高了裁剪后的子图像中包含目标对象的概率。

本申请实施例的技术方案，通过待处理图像中的目标对象，生成待处理图像的热度图，为该热度图构建等概率曲线，并基于建立的等概率曲线，来对待处理图像进行多次裁剪，得到多个包含目标对象的子图像。本申请实施例通过生成等概率曲线，来对待处理图像进行裁剪，极大的提高了裁剪后的图像中包含目标对象的概率。保证了图像处理后扩充的子图像的质量，从而更有效的提高了图像识别精度。

可选的，本申请实施例是对待处理图像进行多次裁剪，但是在图像识别技术中，输入的子图像越多，相对应的识别速度就会受到影响。所以本申请实施例需要衡量多方面的因素来确定待裁剪次数。优选的，可以根据任务预测的精度要求和/或速度要求，确定待裁剪次数。具体的，可以是根据任务预测精度的要求，选择满足该预测精度的情况下，至少需要的图像数量，将其作为待裁剪次数。还可以是根据预测任务的速度要求，选择满足该速度要求的情况下，最多可以处理的图像数量，将其作为待裁剪次数；还可以是兼顾任务预测的精度要求和速度要求，选择既满足精度要求，又满足速度要求时，需要的图像数量，并将其作为待裁剪次数。本申请实施例这样设置的好处是，兼顾后续图像预测任务的精度和/或速度要求来决定图像处理过程中的待裁剪次数，如，若需要追求更高的预测精度，则可以适当的增加待裁剪次数；若追求执行速度，则可以在保证预测精度的前提下，适当的减少待裁剪次数。能够根据实际情况灵活调整待裁剪次数，在保证图像预测准确度的前提下，更好的满足了图像预测任务的速度要求。

图3是根据本申请实施例提供的再一种图像处理方法的流程图，本实施例在上述各实施例的基础上，给出了得到至少两个子图像之后的后续操作介绍，如图3所示，该方法包括：

S301，根据待处理图像的目标对象，生成待处理图像的热度图。

S302，根据热度图，对待处理图像进行至少两次裁剪，得到至少两个子图像。

其中，每个子图像中几乎都包含目标对象。

S303，根据至少两个子图像，对目标对象进行任务预测。

可选的，本申请实施例对目标对象进行任务预测可以是基于图像识别技术，对目标对象进行相关任务的预测，例如，进行目标对象的识别和目标对象的分类等。除此之外，还可以是对目标对象进行其他任务预测，对此本实施例不进行限定。

具体的，本实施例可以是调用目标对象的任务预测算法，对至少两个子图像进行处理，来实现对目标对象的任务预测；还可以是采用预先训练好的任务预测网络来执行预测任务，例如，可以是将S302裁剪后的至少两个子图像输入到预先训练好的任务预测网络中，此时任务预测网络会对输入的每个子图像进行预测处理，得到各子图像对应的预测结果，进而对各子图像对应的预测结果进行融合处理(例如，对各子图像的预测结果进行均值处理)，得到最终的任务预测结果。由于本申请实施例的各子图像中几乎都包含有目标对象，所以预测结果更为准确。

可选的，在本申请实施例中，若S301是通过热度图生成网络来生成待处理图像的热度图，且本步骤是通过任务预测网络进行任务预测，则此时本申请实施例可以为目标对象训练一个同时包含热度图生成网络和任务预测网络的机器学习模型，此时，在生成待处理图像的热度图时，直接将该机器学习模型中的热度图生成网络作为目标对象对应的热度图生成网络来使用，以实现通过一个机器学习模型来生成热度图，以及进行图像预测任务。例如，在机器学习模型中，热度图生成网络和任务预测网络是并行的两个网络，可以先将待处理图像输入到机器学习模型中，机器学习模型中的热度图生成网络和任务预测网络会同时工作，第一次只获取热度图生成网络生成的热度图，再基于该热度图，对待处理图像进行多次裁剪操作，最后将多次裁剪操作得到的各子图像再次输入到机器学习模型中，此时虽然热度图生成网络和任务预测网络依旧同步对输入的各子图像进行处理，但第二次只获取任务预测网络输出的各预测结果，并对各预测结果进行融合处理，得到最终的预测结果。

本申请实施例的技术方案，通过生成待处理图像的热度图，并基于该热度图将待处理图像裁剪为包含目标对象的多个子图像，并基于裁剪得到的多个子图像对目标对象进行任务预测。本申请实施例的方案，裁剪后的各子图像中几乎都包含有目标对象，不但扩充了图像预测任务的样本数量，还保证了样本质量，基于该图像处理结果来进行后续的图像预测任务，极大的提高了图像任务预测效果。

可选的，在本申请实施例中，裁剪得到的各子图像中不但包含目标对象，还包括：环境信息。其中，该环境信息可以是目标对象周围的环境信息，例如，对于图1B所示的待处理图像，目标对象为鸟，环境信息可以包括鸟周围的树枝和树叶等。也就是说，本申请实施例在基于热度图裁剪待处理图像时，并非只裁剪目标对象所在的区域，还保留了裁剪对象周围的环境信息。相应的，此时本申请实施例根据至少两个子图像，对目标对象进行任务预测，包括：根据至少两个子图像中包含的目标对象和环境信息，对目标对象进行任务预测。具体的，此时本申请实施例在对目标对象进行任务预测时，不但分析目标对象的相关信息，还考虑到目标对象周围的环境信息，将两者结合来进行目标对象的任务预测。例如，可以是先根据目标对象的信息进行任务预测，若初步的预测结果不唯一，此时可以再结合目标对象的环境信息，从初步的预测结果中确定最终的识别结果。还可以是任务预测网络就是采用目标对象信息和环境信息进行预测任务训练的，此时将各子图像输入到任务预测网络后，任务预测网络就会基于各子图像中的目标对象和环境信息进行预测。本申请实施例结合各子图像中的目标对象和环境信息，来进行任务预测，能够进一步提高预测结果的准确性。例如，若本申请实施例要对图像中的鸟的种类进行识别，且不同种类的两种鸟的外观极为相似，但是两者的生活环境不同，一个生活在树上，另一个生活在海上。如果只裁剪鸟所在位置的图像进行预测，就无法准确预测这只鸟属于哪种类型。而本申请实施例裁剪的子图像中不但包含鸟的信息，还包括环境信息，此时可以通过环境信息判断该鸟是在树枝上，还是在海边，进而准确确定鸟的类型。

图4是根据本申请实施例提供的一种图像处理装置的结果示意图。本实施例适用于在进行目标对象任务预测之前，对待处理图像进行图像预处理的情况。该装置可实现本申请任意实施例的图像处理方法。该装置400具体包括如下：

热度图生成模块401，用于根据待处理图像的目标对象，生成所述待处理图像的热度图；

图像裁剪模块402，用于根据所述热度图，对所述待处理图像进行至少两次裁剪，得到至少两个子图像。

本申请实施例的技术方案，通过待处理图像中的目标对象，生成待处理图像的热度图，根据该热度图对待处理图像进行多次裁剪，得到多个子图像。本申请实施例的技术方案，基于热度图来对待处理图像进行多次裁剪，使得裁剪后的各子图像中几乎都包含目标对象。不但扩充了数据样本，还保证了扩充样本的质量，采用这些子图像执行识别任务，可有效提高图像识别精度。解决了现有的图像预处理操作对提高图像识别技术的精度影响不大的问题，提供了一种能够有效提高图像识别技术精度的图像预处理方法。

进一步的，所述图像裁剪模块402包括：

概率曲线建立单元，用于为所述热度图建立等概率曲线；

图像裁剪单元，用于根据所述等概率曲线，对所述待处理图像进行至少两次裁剪，得到至少两个子图像。

进一步的，所述概率曲线建立单元具体用于：

根据预设热度概率范围，将所述热度图划分为至少两个热度区域；

对所述至少两个热度区域进行曲线拟合，得到至少两条等概率曲线。

进一步的，所述图像裁剪单元具体用于：

根据待裁剪次数，从所述等概率曲线中确定目标曲线；

根据所述目标曲线上的预设点位和裁剪框尺寸，对所述待处理图像进行至少两次裁剪。

进一步的，所述图像裁剪模块402还包括：

裁剪次数确定单元，用于根据任务预测的精度要求和/或速度要求，确定待裁剪次数。

进一步的，所述热度图生成模块401包括：

网络确定单元，用于根据待处理图像的目标对象，确定所述目标对象对应的热度图生成网络；

热度图生成单元，用于通过所述热度图生成网络对所述待处理图像进行处理，得到所述待处理图像的热度图。

进一步的，所述装置还包括：

任务预测模块，用于根据所述至少两个子图像，对所述目标对象进行任务预测。

进一步的，所述子图像中还包括：环境信息；

相应的，所述任务预测模块还具体用于：

根据所述至少两个子图像中包含的目标对象和环境信息，对所述目标对象进行任务预测。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图5所示，是用来实现本申请实施例的图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的图像处理方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理方法对应的程序指令/模块(例如，附图4所示的热度图生成模块401、和图像裁剪模块402)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的图像处理方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据实现图像处理方法的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至实现图像处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实现图像处理方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与实现图像处理方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，通过待处理图像中的目标对象，生成待处理图像的热度图，根据该热度图对待处理图像进行多次裁剪，得到多个子图像。本申请实施例的技术方案，基于热度图来对待处理图像进行多次裁剪，使得裁剪后的各子图像中几乎都包含目标对象。不但扩充了数据样本，还保证了扩充样本的质量，采用这些子图像执行识别任务，可有效提高图像识别精度。解决了现有的图像预处理操作对提高图像识别技术的精度影响不大的问题，提供了一种能够有效提高图像识别技术精度的图像预处理方法。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (14)

1.一种图像处理方法，包括：

根据待处理图像的目标对象，生成所述待处理图像的热度图；其中，所述热度图是将所述待处理图像的各个部分用表示热度的颜色来展示所述目标对象位于待处理图像各区域的概率；

为所述热度图建立等概率曲线；

根据裁剪次数和目标曲线之间的数量关系，按照热度概率从高到低的顺序从建立的所有等概率曲线中，选择需要使用的目标曲线；

根据所述目标曲线上的预设点位和裁剪框尺寸，对所述待处理图像进行至少两次裁剪。

2.根据权利要求1所述的方法，其中，为所述热度图建立等概率曲线，包括：

根据预设热度概率范围，将所述热度图划分为至少两个热度区域；

对所述至少两个热度区域进行曲线拟合，得到至少两条等概率曲线。

3.根据权利要求1所述的方法，还包括：

根据任务预测的精度要求和/或速度要求，确定待裁剪次数。

4.根据权利要求1所述的方法，其中，根据待处理图像的目标对象，生成所述待处理图像的热度图，包括：

根据待处理图像的目标对象，确定所述目标对象对应的热度图生成网络；

通过所述热度图生成网络对所述待处理图像进行处理，得到所述待处理图像的热度图。

5.根据权利要求1所述的方法，还包括：

根据所述至少两个子图像，对所述目标对象进行任务预测。

6.根据权利要求5所述的方法，其中，所述子图像中还包括：环境信息；

相应的，根据所述至少两个子图像，对所述目标对象进行任务预测，包括：

根据所述至少两个子图像中包含的目标对象和环境信息，对所述目标对象进行任务预测。

7.一种图像处理装置，包括：

热度图生成模块，用于根据待处理图像的目标对象，生成所述待处理图像的热度图；其中，所述热度图是将所述待处理图像的各个部分用表示热度的颜色来展示所述目标对象位于待处理图像各区域的概率；

图像裁剪模块，包括：

概率曲线建立单元，用于为所述热度图建立等概率曲线；

图像裁剪单元，用于根据裁剪次数和目标曲线之间的数量关系，按照热度概率从高到低的顺序从建立的所有等概率曲线中，选择需要使用的目标曲线；根据所述目标曲线上的预设点位和裁剪框尺寸，对所述待处理图像进行至少两次裁剪。

8.根据权利要求7所述的装置，其中，所述概率曲线建立单元具体用于：

根据预设热度概率范围，将所述热度图划分为至少两个热度区域；

对所述至少两个热度区域进行曲线拟合，得到至少两条等概率曲线。

9.根据权利要求7所述的装置，其中，所述图像裁剪模块还包括：

裁剪次数确定单元，用于根据任务预测的精度要求和/或速度要求，确定待裁剪次数。

10.根据权利要求7所述的装置，其中，所述热度图生成模块包括：

网络确定单元，用于根据待处理图像的目标对象，确定所述目标对象对应的热度图生成网络；

热度图生成单元，用于通过所述热度图生成网络对所述待处理图像进行处理，得到所述待处理图像的热度图。

11.根据权利要求7所述的装置，还包括：

任务预测模块，用于根据所述至少两个子图像，对所述目标对象进行任务预测。

12.根据权利要求11所述的装置，其中，所述子图像中还包括：环境信息；

相应的，所述任务预测模块还具体用于：

根据所述至少两个子图像中包含的目标对象和环境信息，对所述目标对象进行任务预测。

13. 一种电子设备，其中，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的图像处理方法。

14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的图像处理方法。