CN110992395A - 图像训练样本的生成方法及装置、运动跟踪方法及装置 - Google Patents

Abstract

本公开关于图像训练样本的生成方法及装置、运动跟踪方法及装置，属于图像处理技术领域，图像训练样本的生成方法包括：获取原始图像和原始图像中跟踪对象的区域，对原始图像进行运动模糊处理，得到运动模糊图像，确定原始图像中每个像素点到该区域的最短距离，按照像素点到该区域的最短距离和像素点的模糊程度负相关的规则，对原始图像和运动模糊图像中的像素点进行合成处理，得到图像训练样本。这样，可使图像训练样本中跟踪对象所在区域的模糊程度最高、离跟踪对象越远的区域模糊程度越低，比较接近真实场景下采集的图像中跟踪对象的运动特征，因此，以这样的图像样训练本训练得到的运动跟踪模型对跟踪对象的检出率较高，不易丢失跟踪对象。

Description

图像训练样本的生成方法及装置、运动跟踪方法及装置

技术领域

本公开涉及图像处理技术领域，尤其涉及图像训练样本的生成方法及装置、运动跟踪方法及装置。

背景技术

对象跟踪，一般是指在获取的图像中确定跟踪对象的所在区域的过程，图1示出了跟踪对象为手时的跟踪示意图，图中用矩形框出了手的所在区域。

实际应用中，当跟踪对象快速运动时，对跟踪对象采集的图像会出现比较严重的运动模糊现象。以跟踪对象为手为例，图2示出了手在快速运动时采集的手部图像的示意图，图像中的手出现了很大程度的变形，此时，很难确定图2中手的所在区域，也就跟踪不到手。为此，相关技术中，对手部比较清晰的原始图像进行运动模糊处理，得到运动模糊图像，将运动模糊图像加入到图像样本中来训练运动跟踪模型，以使运动跟踪模型适应跟踪对象出现运动模糊的情况，从而提升运动跟踪模型对跟踪对象的检出率。然而，发明人发现，当跟踪对象的运动速度比较快时，图像中只有跟踪对象的所在区域会出现运动模糊的现象，其它区域并不会出现运动模糊的现象，参见图3。而相关技术中运动模糊处理是对图像统一地进行运动模糊处理，所以最终得到的运动模糊图像中所有区域的运动模糊情况是一样的，参见图4，因此，运动模糊图像并不符合真实场景中跟踪对象的运动模糊特点，利用运动模糊图像作为部分图像样本所训练的运动跟踪模型仍然容易丢失手。对其它跟踪对象的跟踪也存在着类似的问题。

发明内容

本公开提供一种图像训练样本的生成方法及装置、一种运动跟踪方法及装置，以至少解决相关技术中存在的易丢失跟踪对象的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像训练样本的生成方法，包括：

获取原始图像和所述原始图像中跟踪对象的区域；

对所述原始图像进行运动模糊处理，得到运动模糊图像；以及确定所述原始图像中每个像素点到所述区域的最短距离，其中，若该像素点落入所述区域，则所述最短距离为预设值；

按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，得到图像训练样本。

可选地，按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，包括：

对所述原始图像中的每个像素点，根据该像素点到所述区域的最短距离确定该像素点的原始权重，所述最短距离和所述原始权重正相关，所述原始权重用于表征该像素点的原始像素值在合成处理中占的比重；

将用于表示权重和的指定值与所述原始权重的差值，确定为该像素点的模糊权重，所述模糊权重用于表征该像素点的模糊像素值在合成处理中占的比重，所述模糊像素值是指该像素点在所述运动模糊图像中的像素值；

根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值。

可选地，根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值，包括：

根据以下公式确定该像素点的合成像素值：

dst＝α*src1+β*src2+γ；

其中，dst表示该像素点的合成像素值，α表示所述原始权重，src1表示所述原始像素值，β表示所述模糊权重，src2表示所述模糊像素值，γ为调节因子，根据设定的所述图像训练样本中像素点的平均像素值或最大像素值确定。

根据本公开实施例的第二方面，提供一种运动跟踪方法，包括：

获取图像序列；

按照图像采集顺序，将所述图像序列中的每个图像输入到建立的第一运动跟踪模型中，得到第一跟踪信息，所述第一跟踪信息至少包括用于表示所述图像中跟踪对象的模糊程度的模糊指示信息；

若根据所述模糊指示信息所述确定所述图像中跟踪对象的模糊程度高于预设模糊程度，则将所述图像输入到第二运动跟踪模型中，得到第二跟踪信息，所述第二运动跟踪模型是利用上述任一图像训练样本生成方法生成的图像训练样本训练得到的；

输出所述第二跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，还包括：

若根据所述模糊指示信息确定所述图像中跟踪对象的模糊程度不高于所述预设模糊程度，则输出所述第一跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，将所述图像输入到任一运动跟踪模型中之前，还包括：

根据所述图像的相邻图像中跟踪对象的跟踪结果，确定所述图像中跟踪对象的跟踪区域，所述相邻图像的图像采集时刻早于所述图像的图像采集时刻；

截取所述跟踪区域内的图像作为所述任一运动跟踪模型的输入。

可选地，根据所述图像的相邻图像中跟踪对象的跟踪结果，确定所述图像中跟踪对象的跟踪区域，包括：

若确定在N个连续的相邻图像中未跟踪到所述跟踪对象，则将所述图像的指定区域作为所述图像中跟踪对象的跟踪区域，N为大于零的整数；

若确定在N个连续的相邻图像中跟踪到所述跟踪对象，则对最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，得到所述图像中跟踪对象的跟踪区域。

可选地，对最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，包括：

若所述任一运动跟踪模型为所述第一运动跟踪模型，则按照第一放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大；

若所述任一运动跟踪模型为所述第二运动跟踪模型，则按照第二放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，所述第二放大倍数大于所述第一放大倍数。

根据本公开实施例的第三方面，提供一种图像训练样本的生成装置，包括：

获取模块，被配置为执行获取原始图像和所述原始图像中跟踪对象的区域；

处理模块，被配置为执行对所述原始图像进行运动模糊处理，得到运动模糊图像；以及确定所述原始图像中每个像素点到所述区域的最短距离，其中，若该像素点落入所述区域，则所述最短距离为预设值；

合成模块，被配置为执行按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，得到图像训练样本。

可选地，所述合成模块具体被配置为执行：

对所述原始图像中的每个像素点，根据该像素点到所述区域的最短距离确定该像素点的原始权重，所述最短距离和所述原始权重正相关，所述原始权重用于表征该像素点的原始像素值在合成处理中占的比重；

将用于表示权重和的指定值与所述原始权重的差值，确定为该像素点的模糊权重，所述模糊权重用于表征该像素点的模糊像素值在合成处理中占的比重，所述模糊像素值是指该像素点在所述运动模糊图像中的像素值；

根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值。

可选地，所述合成模块具体被配置为执行：

根据以下公式确定该像素点的合成像素值：

dst＝α*src1+β*src2+γ；

其中，dst表示该像素点的合成像素值，α表示所述原始权重，src1表示所述原始像素值，β表示所述模糊权重，src2表示所述模糊像素值，γ为调节因子，根据设定的所述图像训练样本中像素点的平均像素值或最大像素值确定。

根据本公开实施例的第四方面，提供一种运动跟踪装置，包括：

获取模块，被配置为执行获取图像序列；

跟踪模块，被配置为执行按照图像采集顺序，将所述图像序列中的每个图像输入到建立的第一运动跟踪模型中，得到第一跟踪信息，所述第一跟踪信息至少包括用于表示所述图像中跟踪对象的模糊程度的模糊指示信息；若根据所述模糊指示信息所述确定所述图像中跟踪对象的模糊程度高于预设模糊程度，则将所述图像输入到第二运动跟踪模型中，得到第二跟踪信息，所述第二运动跟踪模型是利用采用上述任一图像训练样本生成方法生成的图像训练样本训练得到的；

输出模块，被配置为执行输出所述第二跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，所述输出模块还被配置为执行：

若根据所述模糊指示信息确定所述图像中跟踪对象的模糊程度不高于所述预设模糊程度，则输出所述第一跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，所述跟踪模块还被配置为执行：

在将所述图像输入到任一运动跟踪模型中之前，根据所述图像的相邻图像中跟踪对象的跟踪结果，确定所述图像中跟踪对象的跟踪区域，所述相邻图像的图像采集时刻早于所述图像的图像采集时刻；

截取所述跟踪区域内的图像作为所述任一运动跟踪模型的输入。

可选地，所述跟踪模块具体被配置为执行：

若确定在N个连续的相邻图像中未跟踪到所述跟踪对象，则将所述图像的指定区域作为所述图像中跟踪对象的跟踪区域，N为大于零的整数；

若确定在N个连续的相邻图像中跟踪到所述跟踪对象，则对最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，得到所述图像中跟踪对象的跟踪区域。

可选地，所述跟踪模块具体被配置为执行：

若所述任一运动跟踪模型为所述第一运动跟踪模型，则按照第一放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大；

若所述任一运动跟踪模型为所述第二运动跟踪模型，则按照第二放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，所述第二放大倍数大于所述第一放大倍数。

根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一方法。

根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，该程序产品在被计算机调用执行时，可以使得计算机执行上述任一方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

获取原始图像和原始图像中跟踪对象的区域，对原始图像进行运动模糊处理，得到运动模糊图像，并确定原始图像中每个像素点到该区域的最短距离，其中，若该像素点落入原始图像中跟踪对象的区域，则最短距离为预设值，进而按照像素点到该区域的最短距离和像素点的模糊程度负相关的规则，对原始图像和运动模糊图像中的像素点进行合成处理，得到图像训练样本，这样，可使合成处理后得到的图像训练样本中跟踪对象所在区域的模糊程度最高、离跟踪对象越远的区域模糊程度越低，即，最终得到的图像训练样本中跟踪对象的运动特征比较接近真实场景下采集到的图像中跟踪对象的运动特征，因此，以这样的图像训练样本训练得到的运动跟踪模型对跟踪对象的检出率较高，也更不易丢失跟踪对象。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种手的跟踪示意图。

图2是根据一示例性实施例示出的一种手在快速运动时采集的手部图像的示意图。

图3是根据一示例性实施例示出的一种真实场景下手在快速运动时采集的手部图像的示意图。

图4是根据一示例性实施例示出的一种运动模糊图像的示意图。

图5是根据一示例性实施例示出的一种图像训练样本的生成方法的流程图。

图6是根据一示例性实施例示出的一种通过卷积神经网络获得的跟踪对象的区域示意图。

图7是根据一示例性实施例示出的一种跟踪对象为手时图像中各像素点到手的最短距离的示意图。

图8是根据一示例性实施例示出的一种对原始图像和运动模糊图像中的像素点进行合成处理的方法的流程图。

图9是根据一示例性实施例示出的一种合成图像的示意图。

图10是根据一示例性实施例示出的一种建立第一运动跟踪模型的方法的流程图。

图11是根据一示例性实施例示出的一种建立第二运动跟踪模型的方法的流程图。

图12是根据一示例性实施例示出的一种运动跟踪方法的应用场景图。

图13是根据一示例性实施例示出的一种运动跟踪方法的流程图。

图14是根据一示例性实施例示出的又一种运动跟踪方法的流程图。

图15是根据一示例性实施例示出的一种图像训练样本的生成装置的框图。

图16是根据一示例性实施例示出的一种运动跟踪装置的框图。

图17是根据一示例性实施例示出的一种用于实现本公开中图像训练样本的生成方法和/或运动跟踪方法的电子设备的结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的目标，而不是用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的方法和装置的例子。

为了便于理解本公开，本公开涉及的技术术语中：

原始图像，是指在真实场景下对跟踪对象进行图像采集所得到的图像，本公开中原始图像中跟踪对象的模糊程度低于预设模糊程度，即，本公开中原始图像中的跟踪对象的是比较清晰的。

运动模糊图像，是指对原始图像进行运动模糊处理后得到的图像，一般运动模糊图像中跟踪对象的模糊程度高于预设模糊程度。并且，运动模糊处理不会改变原始图像中的像素点个数，因此，模糊图像中的像素点与原始图像中的像素点是一一对应的。

图5是根据一示例性实施例示出的一种图像训练样本的生成方法的流程图，该方法用于电子设备中，该方法的流程图包括以下步骤。

S501：获取原始图像和原始图像中跟踪对象的区域。

其中，原始图像中跟踪对象的区域可以是原始图像中跟踪对象的轮廓(一般不为矩形)，也可以是原始图像中跟踪对象的所在区域(一般为矩形)。

具体实施时，原始图像中跟踪对象的区域可以通过人工标注的方式获得，也可以通过一个对跟踪对象进行分割的卷积神经网络获得，图6是根据一示例性实施例示出的一种通过卷积神经网络获得的跟踪对象的区域示意图，图6中的跟踪对象为手。

S502：对原始图像进行运动模糊处理，得到运动模糊图像。

其中，对原始图像进行运动模糊处理到的模糊程度等于最终得到的图像训练样本中跟踪对象需要达到的模糊程度，并且，最终得到的图像训练样本中跟踪对象需要达到的模糊程度由技术人员预先设定。

具体实施时，可采用高斯滤波器来对原始图像进行运动模糊处理，从而得到运动模糊图像。

S503：确定原始图像中每个像素点到跟踪对象的区域的最短距离，其中，若该像素点落入跟踪对象的区域，则最短距离为预设值。

其中，预设值小于原始图像中未落入跟踪对象的区域中的任一像素点到该区域的最短距离，即，预设值在各最短距离中最小，预设值的取值如零。

具体实施时，对原始图像中未落入跟踪对象的区域的每个像素点，可计算该像素点到跟踪对象的区域中各轮廓像素点之间的距离。

假设该像素点在原始图像中的坐标为(x1，y1)，原始图像中跟踪对象的区域中某轮廓像素点的坐标为(x2，y2)，则该像素点到该轮廓像素点之间的距离为：

该像素点到跟踪对象的区域中各轮廓像素点之间的最短距离即为该像素点到跟踪对象的区域的最短距离。图7是根据一示例性实施例示出的一种跟踪对象为手时图像中各像素点到手的最短距离的示意图。

S504：按照像素点到跟踪对象的区域的最短距离和像素点的模糊程度负相关的规则，对原始图像和运动模糊图像中的像素点进行合成处理，得到图像训练样本。

其中，像素点到跟踪对象的区域的最短距离和像素点的模糊程度负相关是指像素点到跟踪对象的区域的最短距离越小，像素点的模糊程度越高；像素点到跟踪对象的区域的最短距离越大，像素点的模糊程度越低。

图8是根据一示例性实施例示出的一种对原始图像和运动模糊图像中的像素点进行合成处理的方法的流程图，该方法用于电子设备中，该方法的流程图包括以下步骤。

S801：根据原始图像中的每个像素点到跟踪对象的区域的最短距离确定该像素点的原始权重，其中，最短距离和原始权重正相关。

这里，原始权重用于表征该像素点的原始像素值在合成处理中占的比重，最短距离和原始权重正相关是指最短距离越小，原始权重越大；最短距离越大，原始权重越小。

具体实施时，可以根据以下公式确定该像素点的原始权重α：

α＝d/D；

其中，d为该像素点到跟踪对象的区域的最短距离；D可取原始图像中各像素点到跟踪对象的区域的最短距离中的最大值。

需要说明的是，此处仅为举例，并不构成对本公开中根据原始图像中的每个像素点到跟踪对象的区域的最短距离确定该像素点的原始权重的限定。

S802：将用于表示权重和的指定值与原始权重的差值，确定为该像素点的模糊权重，其中，模糊像素值是指该像素点在运动模糊图像中的像素值。

这里，模糊权重用于表征该像素点的模糊像素值在合成处理中占的比重。

假设表示权重和的指定值为1，则该像素点的模糊权重β为：

β＝1-α。

S803：根据原始像素值、原始权重、模糊像素值以及模糊权重，确定该像素点的合成像素值。

比如，根据以下公式对该像素点的原始像素值和模糊像素值进行合成：

dst＝α*src1+β*src2+γ；

其中，dst表示该像素点的合成像素值，src1表示该像素点的原始像素值，src2表示该像素点的模糊像素值，γ为调节因子，根据设定的图像训练样本中像素点的平均像素值或最大像素值确定。

需要说明的是，γ影响的是图像训练样本中像素点的平均像素值或最大像素值，并不会影响图像训练样本中像素点的模糊程度。

图9是根据一示例性实施例示出的一种合成图像的示意图，图中的跟踪对象为手，可以看出合成图像中手的运动特征与真实场景下采集到的手的图像非常接近，因此，以合成图像训练运动跟踪模型可提升运动跟踪模型的检出率，提升运动跟踪模型的跟踪性能。

需要说明的是，上述流程中，S502和S503之间没有严格的顺序关系。

图10是根据一示例性实施例示出的一种建立第一运动跟踪模型的方法的流程图，该方法的流程图包括以下步骤。

S1001：获取第一图像样本。

其中，第一图像样本属于原始图像。

S1002：以第一图像样本为输入、第一图像样本的标注信息为输出，对第一预设网络模型进行训练。

其中，第一预设网络模型如卷积神经网络模型，第一图像样本的标注信息可包括跟踪对象在第一图像样本中的区域信息和用于表示第一图像样本中跟踪对象的模糊程度的模糊指示信息。

具体实施时，将第一图像样本输入到第一预设网络模型中，可得到第一预设网络模型的输出结果，根据第一预设网络模型的输出结果和第一图像样本的标注信息可确定第一损失值，进而根据损失值利用梯度下降算法调整第一预设网络模型的参数，使第一预设网络模型的输出结果逐渐逼近第一图像样本的标注信息，减小第一损失值。

S1003：将训练后的第一预设网络模型作为第一运动跟踪模型。

确定上述第一损失值小于第一预设损失值时，结束训练。

图11是根据一示例性实施例示出的一种建立第二运动跟踪模型的方法的流程图，该方法的流程图包括以下步骤。

S1101：获取第二图像样本。

其中，第二图像样本是采用上述图像训练样本的生成方法生成的。

S1102：以第二图像样本为输入、第二图像样本的标注信息为输出，对第二预设网络模型进行训练。

其中，第二预设网络模型如卷积神经网络模型，第二图像样本的标注信息包括跟踪对象在第二图像样本中的区域信息。

具体实施时，将第二图像样本输入到第二预设网络模型中，可得到第二预设网络模型的输出结果，根据第二预设网络模型的输出结果和第二图像样本的标注信息确定第二损失值，进而根据损失值利用梯度下降算法调整第二预设网络模型的参数，使第二预设网络模型的输出结果逐渐逼近第二图像样本的标注信息，减小第二损失值。

S1103：将训练后的第二预设网络模型作为第二运动跟踪模型。

确定上述第二损失值小于第二预设损失值时，结束训练。

本公开实施例还提供一种运动跟踪方法，该方法可应用于所有需要对跟踪对象进行跟踪的场景，如车辆跟踪、人物跟踪、手部跟踪等。

图12是根据一示例性实施例示出的一种运动跟踪方法的应用场景图，包括图像采集装置和电子设备，其中：

图像采集装置，如摄像头，可以内置于电子设备中，也可以外接于电子设备，用于对跟踪对象实时地进行图像采集，并将采集的图像序列发送给电子设备。

电子设备，如手机、电脑、服务器等，用于接收图像采集装置发送的图像序列，按照图像采集顺序，将图像序列中的每个图像输入到第一运动跟踪模型中，得到第一跟踪信息，其中，第一跟踪信息至少包括用于表示该图像中跟踪对象的模糊程度的模糊指示信息，若根据模糊指示信息确定该图像中跟踪对象的模糊程度高于预设模糊程度，则可将该图像输入到第二运动跟踪模型中，得到第二跟踪信息，进而输出第二跟踪信息中包含的该图像中跟踪对象的区域信息。

本公开实施例中，获取到图像序列后，采用第一运动跟踪模型对图像序列中每个图像中的跟踪对象进行追踪，得到第一追踪信息，若根据第一追踪信息确定该图像的模糊程度高于预设模糊程度，则将该图像输入到第二运动跟踪模型中，得到第二跟踪信息，由于第二运动跟踪模型是采用图5所示的图像训练样本的生成方法所生成的图像训练样本建立的，更适用于跟踪跟踪对象由于快速运动而发生运动模糊的情况，因此，在根据第一追踪信息确定该图像的模糊程度高于预设模糊程度时，使用第二运动跟踪模型对该图像中的跟踪对象进行跟踪，可提高跟踪对象的检出率，输出的第二跟踪信息中跟踪对象的区域信息也更准确。

图13是根据一示例性实施例示出的一种运动跟踪方法的流程图，如图12所示，该方法用于电子设备中，该方法的流程图包括以下步骤。

S1301：获取图像序列。

S1302：按照图像采集顺序，将图像序列中的每个图像输入到第一运动跟踪模型中，得到第一跟踪信息，第一跟踪信息包括用于指示该图像中跟踪对象的模糊程度的模糊指示信息。

其中，第一运动跟踪模型是采用图10所示的流程建立的。

S1303：根据模糊指示信息，判断该图像中跟踪对象的模糊程度是否不高于预设模糊程度，若是，则进入S1304；否则，进入S1305。

比如，模糊指示信息是位于0-1之间的数值，若该数值不大于0.5，则确定该图像中跟踪对象的模糊程度不高于预设模糊程度；若该数值大于预设值如0.5，则确定该图像中跟踪对象的模糊程度高于预设模糊程度。

S1304：输出第一跟踪信息中包含的该图像中跟踪对象的区域信息。

具体实施时，跟踪对象的区域一般为矩形，因此，输出的跟踪对象的区域信息可用(x1，y1，w1，h1)表示，其中，x1、y1分别为矩形中心位置的横坐标和纵坐标，w1为矩形的宽，h1为矩形的高。

S1305：将该图像输入到第二运动跟踪模型中，得到第二跟踪信息。

其中，第二运动跟踪模型是采用图11所示的流程建立的。

S1306：输出第二跟踪信息中包含的该图像中跟踪对象的区域信息。

具体实施时，跟踪对象的区域一般为矩形，因此，输出的跟踪对象的区域信息可用(x2，y2，w2，h2)表示，其中，x2、y2分别为矩形中心位置的横坐标和纵坐标，w2为矩形的宽，h2为矩形的高。

具体实施时，图像中跟踪对象的区域只占一部分，如果可预先确定图像中跟踪对象可能在的区域，以该区域作为图像中跟踪对象的跟踪区域，则可在提高检出率的同时提升跟踪速度。

图14是根据一示例性实施例示出的又一种运动跟踪方法的流程图，如图12所示，该方法用于电子设备中，该方法的流程图包括以下步骤。

S1401：获取图像序列。

S1402：按照图像采集顺序，确定第一跟踪模型在图像序列中每个图像中的跟踪区域。

具体实施时，可根据该图像的相邻图像中跟踪对象的跟踪结果，确定该图像中跟踪对象的跟踪区域，其中，相邻图像的图像采集时刻早于该图像的图像采集时刻。另外，相邻图像可以是图像序列中与该图像紧挨着的若干幅连续图像；当图像采集频率足够高时，相邻图像也可以是图像序列中与该图像间隔一张或两张的若干幅连续图像。

可选地，若确定在N个连续的相邻图像中均未跟踪到跟踪对象，则可将该图像作为可能的初次采集到跟踪对象的图像，此时，可将该图像的指定区域作为该图像中跟踪对象的跟踪区域，N为大于零的整数。

以跟踪对象是手为例，手一般会位于图像高度方向上三分之一到三分之二的区域，故可将该区域作为指定区域。

考虑到图像的采集频率比较高，相邻图像中跟踪对象的所在区域一般不会发生太大变化，因此，若在相邻图像中跟踪到跟踪对象，可对最近一次跟踪到的相邻图像中跟踪对象的区域进行放大，得到该图像中跟踪对象的跟踪区域。

即，若确定在N个连续的相邻图像中跟踪到跟踪对象，则可按照第一放大倍数对最近一次跟踪到的相邻图像中跟踪对象的区域进行放大，进而将放大后的区域作为第一跟踪模型对该图像中跟踪对象的跟踪区域。

S1403：截取该跟踪区域内的图像输入到第一运动跟踪模型中，得到图像的第一跟踪信息，第一跟踪信息包括用于指示该图像中跟踪对象的模糊程度的模糊指示信息。

其中，第一运动跟踪模型是采用图10所示的流程建立的。

S1404：根据模糊指示信息，判断该图像中跟踪对象的模糊程度是否不高于预设模糊程度，若是，则进入S1405；否则，进入S1406。

S1405：输出第一跟踪信息中包含的该图像中跟踪对象的区域信息。

S1406：确定第二运动跟踪模型在该图像中的跟踪区域。

具体实施时，若确定在N个连续的相邻图像中未跟踪到跟踪对象，则可将该图像作为可能的初次采集到跟踪对象的图像，此时，可将该图像的指定区域作为该图像中跟踪对象的跟踪区域，N为大于零的整数。

也就是说，该种情况下第一运动跟踪模型和第二运动跟踪模型在该图像中的跟踪区域是相同的。

考虑到第一运动跟踪模型所跟踪的跟踪对象的运动速度较慢、第二运动跟踪模型所跟踪的跟踪对象的运动速度较快，第二运动跟踪模型所跟踪的跟踪对象的运动范围会比较大，因此，当确定在N个连续的相邻图像中跟踪到跟踪对象时，可为第二运动跟踪模型在图像中确定一个比较大的跟踪区域。

具体实施时，若确定在N个连续的相邻图像中跟踪到跟踪对象，则可按照第二放大倍数对最近一次跟踪到的相邻图像中跟踪对象的区域进行放大，得到第二运动跟踪模型对该图像中跟踪对象的跟踪区域，其中，第二放大倍数大于第一放大倍数。

这样，分别为第一运动跟踪模型和第二运动跟踪模型确定跟踪区域，每个运动跟踪模型的跟踪区域都比较合适，便于每个运动跟踪模型快速地跟踪到跟踪对象，提升整体追踪速度。

S1407：截取该跟踪区域内的图像输入到第二运动跟踪模型中，得到图像的第二跟踪信息。

其中，第二运动跟踪模型是采用图11所示的流程建立的。

S1408：输出第二跟踪信息中包含的该图像中跟踪对象的区域信息。

下面以跟踪对象是手为例对本公开的内容进行介绍。

具体实施时，对获取的图像序列，按照图像采集顺序将图像序列中的每个图像输入到第一运动跟踪模型中，得到该图像的第一跟踪信息，第一跟踪信息至少包含用于指示该图像中手模糊程度的模糊指示信息，若根据模糊指示信息确定该图像中手的模糊程度不高于预设模糊程度，则输出第一跟踪信息中包含的该图像中手的区域信息；若根据模糊指示信息确定该图像中手的模糊程度高于预设模糊程度，则说明第一运动跟踪模型输出的手的区域信息不准确，进一步地，可将该图像输入到第二运动跟踪模型中，得到该图像的第二跟踪信息，进而输出第二跟踪信息中包含的该图像中手的区域信息。

这样，在一次手的跟踪过程中，先用第一运动跟踪模型对手进行跟踪，如果手因为快速运动产生了模糊，再使用第二运动跟踪模型对手进行跟踪，因为第一运动跟踪模型对出现模糊的手的检出率较高，如果图像中存在手，则可跟踪到手的位置，而不会丢失手，后续，当手不再因为快速运动而产生模糊时，继续使用第二运动跟踪模型对手进行跟踪，因此，可实现不丢失快速运动的手的效果。

当本公开实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。

具体的，图15是根据一示例性实施例示出的一种图像训练样本的生成装置的框图，该装置包括获取模块1501，处理模块1502和合成模块1503。

获取模块1501，被配置为执行获取原始图像和所述原始图像中跟踪对象的区域；

处理模块1502，被配置为执行对所述原始图像进行运动模糊处理，得到运动模糊图像；以及确定所述原始图像中每个像素点到所述区域的最短距离，其中，若该像素点落入所述区域，则所述最短距离为预设值；

合成模块1503，被配置为执行按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，得到图像训练样本。

可选地，所述合成模块1503具体被配置为执行：

对所述原始图像中的每个像素点，根据该像素点到所述区域的最短距离确定该像素点的原始权重，所述最短距离和所述原始权重正相关，所述原始权重用于表征该像素点的原始像素值在合成处理中占的比重；

将用于表示权重和的指定值与所述原始权重的差值，确定为该像素点的模糊权重，所述模糊权重用于表征该像素点的模糊像素值在合成处理中占的比重，所述模糊像素值是指该像素点在所述运动模糊图像中的像素值；

根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值。

可选地，所述合成模块1503具体被配置为执行：

根据以下公式确定该像素点的合成像素值：

dst＝α*src1+β*src2+γ；

其中，dst表示该像素点的合成像素值，α表示所述原始权重，src1表示所述原始像素值，β表示所述模糊权重，src2表示所述模糊像素值，γ为调节因子，根据设定的所述图像训练样本中像素点的平均像素值或最大像素值确定。

图16是根据一示例性实施例示出的一种运动跟踪装置的框图，该装置包括获取模块1601、跟踪模块1602和输出模块1603。

获取模块1601，被配置为执行获取图像序列；

跟踪模块1602，被配置为执行按照图像采集顺序，将所述图像序列中的每个图像输入到建立的第一运动跟踪模型中，得到第一跟踪信息，所述第一跟踪信息至少包括用于表示所述图像中跟踪对象的模糊程度的模糊指示信息；若根据所述模糊指示信息所述确定所述图像中跟踪对象的模糊程度高于预设模糊程度，则将所述图像输入到第二运动跟踪模型中，得到第二跟踪信息，所述第二运动跟踪模型是采用上述任一图像训练样本的生成方法生成的图像训练样本训练得到的；

输出模块1603，被配置为执行输出所述第二跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，所述输出模块1603还被配置为执行：

若根据所述模糊指示信息确定所述图像中跟踪对象的模糊程度不高于所述预设模糊程度，则输出所述第一跟踪信息中包含的所述图像中跟踪对象的区域信息。

可选地，所述跟踪模块1602还被配置为执行：

在将所述图像输入到任一运动跟踪模型中之前，根据所述图像的相邻图像中跟踪对象的跟踪结果，确定所述图像中跟踪对象的跟踪区域，所述相邻图像的图像采集时刻早于所述图像的图像采集时刻；

截取所述跟踪区域内的图像作为所述任一运动跟踪模型的输入。

可选地，所述跟踪模块1602具体被配置为执行：

若确定在N个连续的相邻图像中未跟踪到所述跟踪对象，则将所述图像的指定区域作为所述图像中跟踪对象的跟踪区域，N为大于零的整数；

若确定在N个连续的相邻图像中跟踪到所述跟踪对象，则对最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，得到所述图像中跟踪对象的跟踪区域。

可选地，所述跟踪模块1602具体被配置为执行：

若所述任一运动跟踪模型为所述第一运动跟踪模型，则按照第一放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大；

若所述任一运动跟踪模型为所述第二运动跟踪模型，则按照第二放大倍数对所述最近一次跟踪到的所述相邻图像中所述跟踪对象的区域进行放大，所述第二放大倍数大于所述第一放大倍数。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图17是根据一示例性实施例示出的一种电子设备的结构示意图，该电子设备包括收发器1701以及处理器1702等物理器件，其中，处理器1702可以是一个中央处理单元(central processing unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1701用于电子设备和其他设备进行数据收发。

该电子设备还可以包括存储器1703用于存储处理器1702执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1703可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1703也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1703是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1703可以是上述存储器的组合。

本公开实施例中不限定上述处理器1702、存储器1703以及收发器1701之间的具体连接介质。本公开实施例在图17中仅以存储器1703、处理器1702以及收发器1701之间通过总线1704连接为例进行说明，总线在图17中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器1702可以是专用硬件或运行软件的处理器，当处理器1702可以运行软件时，处理器1702读取存储器1703存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的任一图像训练样本的生成方法和/或运动跟踪方法。

本公开实施例还提供了一种计算机可读存储介质，存储为执行上述处理器所需执行的计算机可执行指令，其包含用于执行上述处理器所需执行的程序。

在一些可能的实施方式中，本公开提供的图像训练样本的生成方法或运动跟踪方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的该方法中的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本公开的实施方式的用于对象跟踪的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向目标的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。

显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

Claims (10)

1.一种图像训练样本的生成方法，其特征在于，包括：

获取原始图像和所述原始图像中跟踪对象的区域；

对所述原始图像进行运动模糊处理，得到运动模糊图像；以及确定所述原始图像中每个像素点到所述区域的最短距离，其中，若该像素点落入所述区域，则所述最短距离为预设值；

按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，得到图像训练样本。

2.根据权利要求1所述的方法，其特征在于，按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，包括：

对所述原始图像中的每个像素点，根据该像素点到所述区域的最短距离确定该像素点的原始权重，所述最短距离和所述原始权重正相关，所述原始权重用于表征该像素点的原始像素值在合成处理中占的比重；

将用于表示权重和的指定值与所述原始权重的差值，确定为该像素点的模糊权重，所述模糊权重用于表征该像素点的模糊像素值在合成处理中占的比重，所述模糊像素值是指该像素点在所述运动模糊图像中的像素值；

根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值。

3.根据权利要求2所述的方法，其特征在于，根据所述原始像素值、所述原始权重、所述模糊像素值以及所述模糊权重，确定该像素点的合成像素值，包括：

根据以下公式确定该像素点的合成像素值：

dst＝α*src1+β*src2+γ；

其中，dst表示该像素点的合成像素值，α表示所述原始权重，src1表示所述原始像素值，β表示所述模糊权重，src2表示所述模糊像素值，γ为调节因子，根据设定的所述图像训练样本中像素点的平均像素值或最大像素值确定。

4.一种运动跟踪方法，其特征在于，包括：

获取图像序列；

按照图像采集顺序，将所述图像序列中的每个图像输入到建立的第一运动跟踪模型中，得到第一跟踪信息，所述第一跟踪信息至少包括用于表示所述图像中跟踪对象的模糊程度的模糊指示信息；

若根据所述模糊指示信息所述确定所述图像中跟踪对象的模糊程度高于预设模糊程度，则将所述图像输入到第二运动跟踪模型中，得到第二跟踪信息，所述第二运动跟踪模型是利用采用权利要求1-3任一所述的方法生成的图像训练样本训练得到的；

输出所述第二跟踪信息中包含的所述图像中跟踪对象的区域信息。

5.根据权利要求4所述的方法，其特征在于，还包括：

若根据所述模糊指示信息确定所述图像中跟踪对象的模糊程度不高于所述预设模糊程度，则输出所述第一跟踪信息中包含的所述图像中跟踪对象的区域信息。

6.根据权利要求4或5所述的方法，其特征在于，将所述图像输入到任一运动跟踪模型中之前，还包括：

根据所述图像的相邻图像中跟踪对象的跟踪结果，确定所述图像中跟踪对象的跟踪区域，所述相邻图像的图像采集时刻早于所述图像的图像采集时刻；

截取所述跟踪区域内的图像作为所述任一运动跟踪模型的输入。

7.一种图像训练样本的生成装置，其特征在于，包括：

获取模块，被配置为执行获取原始图像和所述原始图像中跟踪对象的区域；

处理模块，被配置为执行对所述原始图像进行运动模糊处理，得到运动模糊图像；以及确定所述原始图像中每个像素点到所述区域的最短距离，其中，若该像素点落入所述区域，则所述最短距离为预设值；

合成模块，被配置为执行按照像素点到所述区域的最短距离和像素点的模糊程度负相关的规则，对所述原始图像和所述运动模糊图像中的像素点进行合成处理，得到图像训练样本。

8.一种运动跟踪装置，其特征在于，包括：

获取模块，被配置为执行获取图像序列；

跟踪模块，被配置为执行按照图像采集顺序，将所述图像序列中的每个图像输入到建立的第一运动跟踪模型中，得到第一跟踪信息，所述第一跟踪信息至少包括用于表示所述图像中跟踪对象的模糊程度的模糊指示信息；若根据所述模糊指示信息所述确定所述图像中跟踪对象的模糊程度高于预设模糊程度，则将所述图像输入到第二运动跟踪模型中，得到第二跟踪信息，所述第二运动跟踪模型是利用采用权利要求1-3任一所述的方法生成的图像训练样本训练得到的；

输出模块，被配置为执行输出所述第二跟踪信息中包含的所述图像中跟踪对象的区域信息。

9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，所述至少一个处理器能够执行如权利要求1至6任一所述的方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1至6任一所述的方法。

Images