CN110414514A - 图像处理方法及装置 - Google Patents

Abstract

本公开实施例提供一种图像处理方法及装置，根据当前图像帧中目标对象的关键点的位置，确定第一区域，将第一区域放大预设倍数，得到第二区域，根据第二区域，确定下一图像帧中关键点的预测位置，根据当前图像帧中的关键点的位置和下一图像帧中的关键点的预测位置，确定下一图像帧中关键点的准确位置。该过程中，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，使得下一图像帧的关键的位置依赖于当前图像帧的关键点，而非对每个图像帧单独进行处理，进而使得能够准确确定出下一图像帧的关键点的准确位置，因此可以实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

Description

图像处理方法及装置

技术领域

本公开实施例涉及视频处理技术领域，尤其涉及一种图像处理方法及装置。

背景技术

随着技术的不断发展，越来越多的用户将生活中的趣事、见闻等拍摄视频，并将视频上传到网络上，供其他用户点击和观看。

通常情况下，用户将拍摄的视频上传到网络上时，希望将视频中一些比较隐私的内容，如标志(logo)、车辆的车牌等进行遮挡以保护隐私。以遮挡车牌为例，用户上传视频之前，基于图像分割的方法等对视频中车辆的车牌进行遮挡。该方法中，从视频的每帧图像中分割出车辆所在的区域，再从车辆所在的区域中提取出车牌，进而使用贴纸等对车牌的四个关键点形成的矩形框进行覆盖，从而达到遮挡车牌的目的。之后，用户将车牌被遮挡的视频上传至网络。

然而，实际中，视频中的车辆处于运动状态，上述基于图像分隔的方法遮挡车牌的过程中，由于需要对每一帧图像中的车牌进行图像分割，使得处理后的视频中遮挡区域晃动明显，稳定性差。

发明内容

本公开实施例提供一种图像处理方法及装置，实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

第一方面，本公开实施例提供一种图像处理方法，包括：

基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；

将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；

在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；

基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；

基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

第二方面，本公开实施例提供一种图像处理装置，包括：

第一确定模块，用于基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；

放大模块，用于将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；

预测模块，用于在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；

第二确定模块，用于基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；

处理模块，用于基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

第三方面，本发明实施例提供一种电子设备，处理器以及存储器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时使得所述电子设备实现如上第一方面或第一方面的各种可行的实现方式所述的方法。

第四方面，本发明实施例提供一种存储介质，所述存储介质中存储有指令，所述指令在电子设备上运行时，使得所述电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。

第五方面，本发明实施例提供一种计算机程序产品，所述计算机程序产品在电子设备上运行时，使得电子设备执行如上第一方面或第一方面的各种可行的实现方式所述的方法。

本公开实施例提供的图像处理方法及装置，根据当前图像帧中目标对象的关键点的位置，确定第一区域，将第一区域放大预设倍数，得到第二区域，根据第二区域，确定下一图像帧中关键点的预测位置，根据当前图像帧中的关键点的位置和下一图像帧中的关键点的预测位置，确定下一图像帧中关键点的准确位置，当前图像帧和下一图像帧是图像帧序列中相邻的两个图像帧，图像帧序列是对视频进行分帧处理得到，当前图像帧中的关键点与下一图像帧中的关键点是一一对应的。该过程中，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，使得下一图像帧的关键的位置依赖于当前图像帧的关键点，而非对每个图像帧单独进行处理，进而使得能够准确确定出下一图像帧的关键点的准确位置，因此可以实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的图像处理方法的运行环境示意图；

图2是本公开实施例提供的一种图像处理方法的流程图；

图3是本公开实施例提供的另一种图像处理方法的流程图；

图4是本公开实施例提供的图像处理方法中当前图像帧和下一图像帧的示意图；

图5为本公开实施例提供的一种图像处理装置的结构示意图；

图6为本公开实施例提供的另一种图像处理装置的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

将视频上传到网络之前，用户希望某些隐私，如车牌号等被遮挡。基于图像分割的方法中，针对视频的每一图像帧，从该图像帧中分割出车辆所在的区域，再从车辆所在的区域中提取出车牌的位置，进而使用贴纸等对车牌位置进行覆盖，以达到遮挡车牌的目的。

然而，实际中，视频中的车辆处于运动状态，上述基于图像分隔的方法遮挡车牌的过程中，由于对每一帧图像中的车牌进行图像分割，使得处理后的视频中遮挡区域晃动明显，稳定性差。

有鉴于此，本公开实施例提供一种图像处理方法及装置，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，得到目标对象的关键点在下一图像帧中的准确位置，从而根据目标对象的关键点的准确位置确定出目标对象所在的区域，并对该区域进行遮挡，实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

图1是本公开实施例提供的图像处理方法的运行环境示意图。请参照图1，电子设备10与服务器20建立网络连接，电子设备10具有视频拍摄能力。用户利用电子设备10拍摄视频，将该视频上传到服务器20之前，通过关键点跟踪，实现对视频中的目标对象的遮挡；或者，用户利用电子设备10拍摄视频，将该视频上传到服务器20，由服务器20对利用本公开实施例所述的图像处理方法，对视频中的目标对象进行遮挡后，再将视频发布，供其他用户点击和观看。电子设备10例如可以是用户的电脑、笔记本、手机等，本公开实施例并不限制。服务器20例如可以是各个视频分享平台的服务器20。

下面，在上述图1的基础上，对本公开实施例所述的图像处理方法进行详细说明。示例性的，请参见图2。

图2是本公开实施例提供的一种图像处理方法的流程图。本实施例从电子设备交互的角度，对本公开实施例所述的图像处理方法进行详细说明，本实施例包括：

在框101，基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域。

在一些实施例中，第一区域可以是包含当前图像帧中目标对象的所有关键点的最小区域。

示例性的，一段视频可以通过分帧处理等，得到一个图像帧序列，该图像帧序列中的相邻的两个图像帧中，在前的图像帧称之为当前图像帧或在前图像帧，在后的图像帧称之为下一图像帧后在后图像帧。也就是说，本公开实施例中，当前图像帧和下一图像帧是相对的，并不是绝对的。例如，一段1分钟的视频包含1500个图像帧，分别为第1图像帧、第2图像帧……第1500图像帧，则当第1图像帧为当前图像帧时，第2图像帧为下一图像帧，当第2图像帧为当前图像帧时，第3图像帧为下一图像帧。

针对当前图像帧，根据该图像帧中的目标对象的位置，确定出一个区域，以下称之为第一区域。目标对象例如为用户期望遮挡的对象，如车辆的车牌、logo等。以目标对象为车牌为例，则车牌的关键点为该车牌的4个顶点，第一区域为包含该4个顶点的矩形框，例如，第一区域为该4个顶点形成的矩形框。

在框102，将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域。

预设倍数可以是预先设置的，例如为1.2倍、1.4倍、1.5倍等。以预设倍数为1.5倍为例，本框中，在当前图像帧中，将第一区域的长和宽分别增加，得到第二区域，该第二区域的面积是第一区域的面积的1.5倍，且该第二区域包含第一区域。如此一来，该第二区域占据当前图像帧中较大的区域，使得该第二区域一定包含目标对象的关键点。

在框103，在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置。

其中，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧。

示例性的，当前图像帧和下一图像帧例如为分辨率相同的图像帧，举例来说，当前图像帧为640×480的图像，则下一图像帧同样为680×480的图像。将第二区域投影到下一图像帧中，相当于在下一图像帧中划分出一个第二区域。在该第二区域中提取目标对象的关键点，则目标对象的关键点的位置代表了该关键的预测位置。

在框104，基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置。

示例性的，当前图像帧中关键点的位置是准确的，而预测出的预测位置可能不准确，因此，需要根据当前图像帧中关键点的位置，以及下一图像帧中关键点的预测位置，确定目标对象的关键点在下一图像帧中的准确位置。

在框105，基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

示例性的，在确定出目标对象的关键点的准确位置之后，就可以根据各关键点的准确位置，得到目标对象所在的区域，进而对该区域进行遮挡。

本公开实施例提供的图像处理方法，根据当前图像帧中目标对象的关键点的位置，确定第一区域，将第一区域放大预设倍数，得到第二区域，根据第二区域，确定下一图像帧中关键点的预测位置，根据当前图像帧中的关键点的位置和下一图像帧中的关键点的预测位置，确定下一图像帧中关键点的准确位置，当前图像帧和下一图像帧是图像帧序列中相邻的两个图像帧，图像帧序列是对视频进行分帧处理得到，当前图像帧中的关键点与下一图像帧中的关键点是一一对应的。该过程中，通过根据当前图像帧的关键点，跟踪下一图像帧中的关键点，使得下一图像帧的关键的位置依赖于当前图像帧的关键点，而非对每个图像帧单独进行处理，进而使得能够准确确定出下一图像帧的关键点的准确位置，因此可以实现减少遮挡区域的晃动、提高遮挡区域的稳定性的目的。

图3是本公开实施例提供的另一种图像处理方法的流程图，本实施例包括：

在框201，从当前图像帧中检测出目标载体，所述目标载体上承载所述目标对象。

示例性的，再将一段视频上传到网络上之前，将该段视频进行分帧处理，得到图像帧序列。之后，从当前图像帧中检测出目标载体。该当前图像帧可以是分帧处理后的原始图像帧，也可以是对原始图像帧进行预处理后的图像帧，预处理包括旋转、裁切、灰度处理等。

从当前图像帧中检测出目标载体的过程中，可以利用预设模型对当前图像帧中的目标载体进行检测。其中，预设模型可以是通过机器学习等方式训练得到的。以目标载体为车辆为例，训练预设模型的过程中，首先，获取一定数量的车辆图片，并对每张图片上的车辆进行标注得到训练样本；然后，将训练样本输入至预先设定的模型，使得模型对图片上的车辆进行检测，并根据检测结果不断修改模型的参数，当模型能够准确检测预设比例的训练样本时，停止训练，得到本公开实施例所述的预设模型。

需要说明的是，该训练过程为一种示例性的训练方法，本公开实施例并不限制，也可以采用其他的训练方式得到预设模型。

在框202，确定所述目标载体的方向是否为使所述目标对象在所述当前图像帧中可见的预设方向，若目标载体的方向是预设方向，则执行框203；若目标载体的方向不是预设方向，则结束。

示例性的，一段视频中，由于目标载体是运行的，而目标对象承载在目标载体上，只有在目标对象能够被用户可见的情况下，才需要遮挡目标对象，而目标对象是否为用户可见，是由目标载体的方向决定的。因此，对于图像帧序列中包含目标载体的图像帧，需要判断该目标载体的方向，若目标载体的方向为预设方向，则执行203从目标载体上检测出目标对象；否则，若目标载体的方向不是预设方向，说明该目标载体上的目标对象是用户看不见的，无需对该图像帧进行本公开所述的方法的处理，结束。

以目标载体为车辆为例，则车辆的方向包括但不限于正向、正向倾斜、横向、后向、后向倾斜等，则当车辆的方向为横向时，车辆的车牌对用户不可见；当车辆的方向为正向、正向倾斜、后向、后向倾斜等时，车辆的车牌对用户可见。检测目标载体的方向的过程中，可以利用分类模型对目标载体的方向进行检测识别。其中，分类模型可以是预先训练好的模型。训练分类模型的过程中，首先，获取一定数量的车辆图片，并对各图片上的车辆的方向进行标注，标注方向包括正向、正向倾斜、横向、后向、后向倾斜等；之后，将标注后的图片作为训练样本输入模型，使得模型对图片上车辆的方向进行检测，并根据检测结果不断修正模型的参数，直到模型能够准确检测出预设比例的训练样本时，停止训练，从而得到本公开实施例所述的分类模型。

需要说明的是，该训练过程为一种示例性的训练方法，本公开实施例并不限制，也可以采用其他的训练方式得到分类模型。

在框203、响应于所述目标载体的方向为所述预设方向，从所述目标载体上检测所述目标对象。

在框204，根据所述目标对象，从所述当前图像帧中确定出所述目标对象的关键点的位置，并根据该位置确定第一区域。

示例性的，目标对象为车牌，则目标对象的关键点为车牌的四个顶点，分别确定各顶点在当前图像帧中的位置。

需要说明的是，本公开实施例中，当前图像帧包括两种情况：情况一、当前图像为图像帧序列中首个包含目标对象的图像帧，或者，当前图像帧的前一个或多个图像帧不包含目标对象；情况二、当前图像帧的前一个或多个图像帧包含目标对象。

以一段1分钟的视频为例，该段视频包含运动的目标载体，如车辆，车辆上承载目标对象，如车牌。需要对车牌进行遮挡时，将该段视频进行分帧处理，得到1500个图像帧，该1500个图像帧中，有的图像帧中包含目标对象，有的图像帧中不包含目标对象，不包含目标对象的图像帧又包括包含目标载体、但目标载体上的目标对象对用户不可见的图像帧、不包含目标载体的图像帧等。假设该1500个图像帧依次为第1图像帧、第2图像帧……第1500图像帧，则该1500个图像帧中满足上述情况一的图像帧，即首个包含目标对象的图像帧、前一个或多个图像帧不包含目标对象的图像帧作为当前图像帧时，需要执行框201～203，即先从当前图像帧中检测出目标载体，再从目标载体上检测出目标对象，最终根据目标对象的位置确定出目标对象的关键点；而对于满足上述情况二的图像帧，当该些图像帧作为当前图像帧时，无需执行框201～203，而是将该图像帧中，根据本公开实施例所述的图像处理方法确定出的准确位置，作为该图像帧中目标对象的关键点的位置，并根据该位置确定第一区域。

例如，第1帧图像为包含目标对象的图像帧，则当前图像帧为第1帧图像，若第2帧图像以及之后的每帧图像均包含目标对象，则当当前图像帧为第1帧图像时，第2帧图像为下一图像帧；之后，第2帧图像为当前图像帧，第3帧图像为下一图像帧……。但是，仅对第1帧图像执行框201～203；而其他图像帧作为当前图像帧时，将该图像帧中，根据本公开实施例所述的图像处理方法确定出的准确位置，作为该图像帧中目标对象的关键点的位置，并根据该位置确定第一区域。

再如，1500个图像帧中，第1图像帧～第100图像帧中的各图像帧均不包含目标对象，而第101图像帧包含目标对象，则对第101图像帧执行上述的框201～203。

又如，第1图像帧～第100图像帧包含目标对象，而第101～200图像帧不包含目标对象，第201图像帧～第1500图像帧包含目标对象，则需要对第1图像帧、第201图像帧均执行框201～203，而对第2图像帧～第100图像帧、第202图像帧～第1500图像帧，无需执行上述的框201～203。

在框205，将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域。

示例性的，将第一区域放大1.2倍、1.4倍、1.5倍等，得到第二区域，使得该第二区域投影到下一图像帧上时，目标对象能够落入该第二区域。图4是本公开实施例提供的图像处理方法中当前图像帧和下一图像帧的示意图。请参照图4，图中车辆上，实线矩形框为第一区域，虚线矩形框为第二区域，第一区域包含车牌，第二区域包含第一区域，即第二区域除了包含车牌外，还包括车牌周边区域。图4中，第一区域内的黑色点即为关键点。

在框206，在下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置。

示例性的，针对下一图像帧，在第二区域内提取目标对象的关键点，得到目标对象的各关键点在下一图像帧中的预测位置。

207、确定所述当前图像帧中的关键点所构成的第一图形的第一面积。

208、确定所述下一图像帧中关键点的预测位置构成的第二图形的第二面积。

示例性的，计算下一图像帧中的各关键点的预测位置形成的第二图像的第二面积。

209、根据所述第一图形的第一面积、所述第二图形的第二面积和第三图形的第三面积，确定第一比值。

其中，第三图形是所述第一图形和所述第二图形的交叠区域，所述第一比值＝所述第三面积/(第一面积+第二面积)。

请参照图4，图4中的(a)为当前图像帧，当前图像帧中的关键点均位于第一区域内，该些关键点依次连接形成第一图像，该第一图像具有第一面积；图4中的(b)为下一图像帧中的各关键点的预测位置形成的第二图像的第二面积，将该两个图像帧对齐时，由于车辆是移动的，车辆的位置发生了变化，进而导致车牌的位置发生变化，使得第一图像和第二图像不完全吻合，而是有一部分的交叠区域，该交叠区域形成的图形即为第三图形。

210、根据所述第一比值，确定第一权值。

其中，所述第一权值是对所述第一比值求幂得到的。

示例性的，对第一比值求6次方，得到第一权值。

211、根据所述第一权值确定第二权值。

示例性的，将1与所述第一权值相减，得到第二权值。

212、基于所述第一权值、所述第二权值、所述当前图像帧中所述关键点的坐标和所述下一图像帧中所述关键点的坐标，确定所述下一帧中所述关键点的准确位置。

示例性的，当前图像帧中的关键点与下一图像帧中的关键点是一一对应的，对于任意一个关键点，以下称之为目标关键点，将所述当前图像帧中的目标关键点的坐标与所述第一权值相乘，得到第一乘积；将所述下一图像帧中的目标关键点的坐标与所述第二权值相乘，得到第二乘积；将所述第一乘积和所述第二乘积求和，得到所述下一图像帧中所述目标关键点的准确位置对应的坐标。

继续以目标对象为车牌为例，车牌至少具有4个关键点，该4个关键点分别是车牌的4个顶点。假设目标关键点为左上角的关键点，坐标包括横坐标和纵坐标，则在确定左上角的关键点的准确位置时，先确定当前图像帧中的目标关键点的横坐标与第一权值的乘积，得到第一乘积；再确定下一图像帧中的目标关键点的横坐标与第二权值的乘积，得到第二乘积；最后根据第一乘积和第二乘积，确定下一图像帧中目标关键点的横坐标。确定目标关键点的纵坐标的过程与确定横坐标的过程类似。最终，可以根据横坐标和纵坐标，确定出目标关键点的准确位置。

213、根据下一图像帧中关键点的准确位置，遮挡下一图像帧中的目标对象。

另外，上述实施例中，在根据所述第二区域，确定下一图像帧中目标对象的关键点的预测位置时，需要先判断所述下一图像帧中是否包含所述目标对象，只有在下一图像帧包含所述目标对象时，才根据所述第二区域，确定下一图像帧中所述目标对象的关键点的预测位置。

示例性的，可以预先设置一个概率模型，将该下一图像帧输入至概率模型，若该概率模型的输出的概率大于预设概率，则说明下一图像帧包含目标对象，否则，说明该下一图像帧不包含目标对象。

下述为本公开装置实施例，可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节，请参照本公开方法实施例。

图5为本公开实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以通过软件和/或硬件的方式实现。如图5所示，该图像处理装置100包括：

第一确定模块11，用于基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；

放大模块12，用于将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；

预测模块13，用于在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；

第二确定模块14，用于基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；

处理模块15，用于基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

一种可行的设计中，第二确定模块14，用于确定所述当前图像帧中的关键点所构成的第一图形的第一面积；确定所述下一图像帧中关键点的预测位置构成的第二图形的第二面积；根据所述第一图形的第一面积、所述第二图形的第二面积和第三图形的第三面积，确定第一比值，所述第三图形是所述第一图形和所述第二图形的交叠区域；根据所述第一比值，确定第一权值；根据所述第一权值确定第二权值；基于所述第一权值、所述第二权值、所述当前图像帧中所述关键点的坐标和所述下一图像帧中所述关键点的坐标，确定所述下一帧中所述关键点的准确位置。

一种可行的设计中，所述第一确定模块11，在根据当前图像帧中目标对象的关键点的位置，确定第一区域之前，还用于从所述当前图像帧中检测出目标载体，所述目标载体上承载所述目标对象，确定所述目标载体的方向是否为使所述目标对象在所述当前图像帧中可见的预设方向，响应于所述目标载体的方向为所述预设方向，从所述目标载体上检测所述目标对象，根据所述目标对象，从所述当前图像帧中确定出所述目标对象的关键点的位置。

一种可行的设计中，所述当前图像帧和所述下一图像帧的分辨率相同。

一种可行的设计中，所述目标对象包括车牌。

一种可行的设计中，所述第一区域是包含所述当前图像帧中目标对象的所有关键点的最小区域。

本公开实施例提供的图像处理装置，其实现原理和技术可参见上述方法实施例，在此不再赘述。

图6为本公开实施例提供的另一种图像处理装置的结构示意图。如图6所示，该图像处理装置200包括：

至少一个处理器21和存储器22；

所述存储器22存储计算机执行指令；

所述至少一个处理器21执行所述存储器22存储的计算机执行指令，使得所述至少一个处理器21执行如上所述的图像处理方法。

处理器21的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

可选地，该图像处理装置200还包括通信部件23。其中，处理器21、存储器22以及通信部件23可以通过总线24连接。

本公开实施例还提供一种存储介质，所述存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的图像处理方法。

本公开实施例还提供一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得电子设备执行如上述图像处理方法。

在上述的实施例中，应该理解到，所描述的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本公开各个实施例所述方法的部分框。

应理解，上述处理器可以是中央处理单元(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的框可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(industry standard architecture，ISA)总线、外部设备互连(peripheral component，PCI)总线或扩展工业标准体系结构(extendedIndustry standard architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本公开附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(application specific integrated circuits，ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于终端或服务器中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分框可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的框；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (9)

1.一种图像处理方法，其特征在于，包括：

基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；

将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；

在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；

基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；

基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置，包括：

确定所述当前图像帧中的关键点所构成的第一图形的第一面积；

确定所述下一图像帧中关键点的预测位置构成的第二图形的第二面积；

根据所述第一图形的第一面积、所述第二图形的第二面积和第三图形的第三面积，确定第一比值，所述第三图形是所述第一图形和所述第二图形的交叠区域；

根据所述第一比值，确定第一权值；

根据所述第一权值确定第二权值；

基于所述第一权值、所述第二权值、所述当前图像帧中所述关键点的坐标和所述下一图像帧中所述关键点的坐标，确定所述下一帧中所述关键点的准确位置。

3.根据权利要求1或2所述的方法，其特征在于，所述基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域之前，还包括：

从所述当前图像帧中检测出目标载体，所述目标载体上承载所述目标对象；

确定所述目标载体的方向是否为使所述目标对象在所述当前图像帧中可见的预设方向；

响应于所述目标载体的方向为所述预设方向，从所述目标载体上检测所述目标对象；

根据所述目标对象，从所述当前图像帧中确定出所述目标对象的关键点的位置。

4.根据权利要求1～3任一项所述的方法，其特征在于，所述当前图像帧和所述下一图像帧的分辨率相同。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述目标对象包括车牌。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述第一区域是包含所述当前图像帧中目标对象的所有关键点的最小区域。

7.一种图像处理装置，其特征在于，包括：

第一确定模块，用于基于视频中的当前图像帧中目标对象的关键点的位置，确定第一区域，所述第一区域是包含所述当前图像帧中目标对象的关键点的区域；

放大模块，用于将所述第一区域扩展预设倍数，以得到包含所述第一区域的第二区域；

预测模块，用于在所述视频中的下一图像帧的所述第二区域内，确定所述下一图像帧中所述关键点的预测位置，所述下一图像帧是所述视频的图像帧序列中与所述当前图像帧相邻的图像帧；

第二确定模块，用于基于所述当前图像帧中的关键点的位置和所述下一图像帧中的关键点的预测位置，确定所述下一图像帧中所述关键点的准确位置；

处理模块，用于基于所述下一图像帧中关键点的准确位置，遮挡所述下一图像帧中的目标对象。

8.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序在被所述处理器执行时使得所述电子设备实现如权利要求1-6任一项所述的方法。

9.一种存储介质，其特征在于，所述存储介质中存储有指令，所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6任一项所述的方法。