CN106683120A - 追踪并覆盖动态贴纸的图像处理方法 - Google Patents

Abstract

本发明公开了追踪并覆盖动态贴纸的图像处理方法，步骤包括选择追踪物、初始化图像、追踪处理、动态贴纸和保存处理结果；本发明解决了追踪效果不好，受环境影响大，移植到手机端时速度缓慢等问题。

Description

追踪并覆盖动态贴纸的图像处理方法

技术领域

本发明涉及手机拍摄、视频领域，更具体的说，其涉及用于追踪并覆盖动态贴纸的图像处理方法。

背景技术

手机拍摄、视频中对追踪物体的动态定位处理一直是个热点，目前仍然存在各种问题，包括：追踪效果不好，受环境影响大，移植到手机端时速度缓慢，应用场景不明确等问题。

发明内容

本发明的目的在于提供追踪并覆盖动态贴纸的图像处理方法，解决如何让用户高效方便的视频及手机拍摄时，进行追踪物体的动态定位。

为了解决上述技术问题，本发明的技术方案如下：

追踪并覆盖动态贴纸的图像处理方法，具体步骤如下：

101)选择追踪物步骤：选取视频或使用摄像机镜头进行拍摄，并确定具体需要追踪的物体；

102)初始化图像步骤：在步骤101)之后，对图像进行数据分析，初始化参数；

103)追踪处理步骤：在步骤102)后，读取下一帧图像数据，根据追踪处理规则对画面中的追踪物体进行新位置的确定，所述跟踪规则包括dsst和meanshift两种对追踪物体的定位，并结合两者结果确定最佳追踪物体的新位置；所述dsst和meanshift是定位方法的名称；

104)动态贴纸步骤：在步骤103)中，对追踪物体选择性的覆盖上动态贴纸，提高标识度；

105)保存处理结果步骤：在步骤104)后，对处理后的视频或停止拍摄的视频进行存储。

进一步的，所述dsst定位包括位置评估、尺度评估和模型更新；所述dsst定位中图像定义为patch，上一帧的图片信息中位置为P_t-1，尺度为S_t-1，位置模型为和尺度模型为得到的追踪物质新位置为P_t和新尺度为S_t，更新位置模型为和更新尺度模型为所述t为迭代次数。

进一步的，所述位置评估，首先参照追踪物体在前一帧的位置，在当前帧中按照前一帧目标尺度2倍大小提取一个样本Z_trans，再利用Z_trans和 根据如下公式(1)得到y_trans，y_trans为公式求得的相应位置，最后由max(y_trans)即最大的相应位置，由此得到目标最终的新的位置P_t；

其中F^-1指离散傅里叶反变换，B指的是当前帧的模型特征，A^l指的是滤波操作后的模型的某一维的特征，Z^l指的是图片patch的模型的某一维的特征，d指的是特征的维度，λ参数是为了防止分母为0。

进一步的，所述尺度评估，首先以追踪物体当前新位置为中心，提取33种不同尺度的样本Z_scale，再利用Z_scale和根据公式(1)把相应的参数代入得到y_scale，y_scale为相应的尺度，由max(y_scale)即最大的追踪物体的尺度，由此得到追踪物体准确的尺度S_t；所述模型更新包括更新位置模型、更新尺度模型和提取样本。

进一步的，所述meanshift定位采用循环重复迭代，来获取追踪物体更新后的位置和更新后的尺度；所述meanshift定位方式中追踪物体初始模型初始位置y₀，以及尺寸S₀，更新后的位置为y_t，更新后的尺度为h_t，更新前的位置y_t-1，更新前的尺度为h_t-1，迭代次数为t；所述迭代次数的范围为达到如下条件(||y_t-y_t-1||²<ε并且|h_t-h_t-1|<ξ)或者t>maxIter就终止，其中ε和ξ为事先定义的参数，maxIter为变量定义为15。

进一步的，所述追踪物体模型用描述具体位置和尺度的值，具体位置为y，尺度的值为h，用以下公式(2)来获得；

其中C_h指的是归一化方程，N为选中跟踪区域像素，K指的是核函数采用Epannechnikov核函数，a，b指的是初始框的宽高，b(xi)指的是像素值在直方图中的位置，u指的是直方图bin数量的index，直方图bin为颜色直方图将颜色空间划分为若干小的颜色区间，index是素组里的第几项；δ指的是Kroneckerdelta函数即克罗内克函数，y¹,y²，x_i ¹,x_i ²分别指迭代目标的位置和目标初始的位置；所述C_h归一化方程如下公式(3)

进一步的，所述更新后的位置y_t采用如下公式(4)获取权重w_i，再由公式(5)进行迭代得到追踪物体更新后的位置，

其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型，指的是物体位置，和表示的两个分量；y¹指的是物体新的另一个位置，和表示y¹的两个分量,h₀为h的实例化的尺度的值。

进一步的，所述更新后的尺度h_t通过公式(6)来获取，

其中G为权重值的总和，h₀、h₁为尺度h_t的两个实例化表示，g(x)＝-k′(x)是k(x)的导数，所述k(x)是一种核函数。

本发明相比现有技术优点在于：

1.本发明追踪效果较业界水平有明显提升，精准度高，画质清晰。

2.在手机端运行速度流畅，超过real-time的标准，每秒处理25帧。

3.追踪过程中，附着各种动态贴纸的特效，视觉效果新颖，对追踪物质的标记清晰。

4.追踪效果好，受环境影响小，移植到手机端时速度快，应用场景明确。

附图说明

图1为本发明追踪并覆盖动态贴纸的图像处理方法的处理流程图；

图2为本发明追踪并覆盖动态贴纸的图像处理方法的追踪效果的精度对比图；

图3为本发明追踪并覆盖动态贴纸的图像处理方法的追踪效果的覆盖率对比图。

具体实施方式

下面结合附图和具体实施方式对本发明进一步说明。

如图1所示，追踪并覆盖动态贴纸的图像处理方法，具体步骤如下：

101)选择追踪物步骤：打开手机，选取已拍摄的视频或调用摄像机镜头进行拍摄，并确定所要具体追踪的物体。

102)初始化图像步骤：在步骤101)之后，对图像进行数据分析，初始化参数，不同的两个追踪物体的定位方法，初始化的参数也会有所区别，整体上是对所要追踪物体在图像中的位置数据。

103)追踪处理步骤：在步骤102)后，读取下一帧图像数据，根据追踪处理规则对画面中的追踪物体进行新位置的确定，所述跟踪规则包括dsst和meanshift两种对追踪物体的定位，所述dsst和meanshift是定位方法的名称，并结合两者结果来确定最终追踪物体的新位置。

104)动态贴纸步骤：在步骤103)中，对追踪物体选择性的覆盖上动态贴纸，可以借此提高标识度，并且将贴纸的设计问题交由专业的设计师进行设计，可以紧跟当下的热点，贴图，表情包等进行自由的选择，大大增加可玩性。

105)保存处理结果步骤：在步骤104)后，对处理后的视频或停止拍摄的视频进行存储。

在步骤103)中，所述dsst定位包括位置评估、尺度评估和模型更新。所述dsst定位中图像定义为patch，上一帧的图片信息中位置为P_t-1，尺度为S_t-1，位置模型为和尺度模型为得到的追踪物质新位置为P_t和尺度为S_t，更新位置模型为和尺度模型为迭代次数为t。所述位置评估，首先参照追踪物体在前一帧的位置，在当前帧中按照前一帧目标尺度2倍大小提取一个样本Z_trans，再利用Z_trans和根据如下公式(1)得到y_trans，y_trans为公式求得的相应位置，最后由max(y_trans)即最大的相应位置，得到目标新的位置P_t；

其中F^-1指离散傅里叶反变换，B指的是当前帧的模型特征，A^l指的是滤波操作后的模型的某一维的特征，Z^l指的是图片patch的模型的某一维的特征，λ是为了防止分母为0，是一个很小的值，可忽略不计。

所述尺度评估，首先以追踪物体当前新位置为中心，提取33种不同尺度的样本Z_scale，再利用Z_scale和根据如上公式(1)把相应的参数代入得出y_scale，y_scale为相应的尺度，由max(y_scale)即最大的追踪物体的尺度，由此得到追踪物体准确的尺度S_t。所述模型更新包括更新位置模型和更新尺度模型和提取样本f_trans和f_scale。

所述另一种跟踪规则处理为meanshift定位采用循环重复迭代，来获取追踪物体更新后的位置和更新后的尺度。所述meanshift定位方式中追踪物体初始模型初始位置y₀，以及尺寸S₀，更新后的位置为y_t，更新后的尺度为h_t，迭代次数为t，这里的t不指帧数，而是迭代次数，表示第t次迭代计算。所述迭代次数的范围为达到如下条件(||y_t-y_t-1||²<ε并且|h_t-h_t-1|<ξ)或者t>maxIter就终止，其中ε和ξ为事先定义的极小值，maxIter定义为15。

所述追踪物体模型用描述具体位置和尺度的值，具体位置为y，尺度的值为h，用以下公式(2)来具体获得

其中C_h指的是归一化方程，K指的是核函数采用Epannechnikov核函数，a，b指的是初始框的宽高，b(xi)指的是像素值在直方图中的位置，u指的是直方图bin数量的index，其中直方图bin为计算颜色直方图将颜色空间划分为若干小的颜色区间，index是素组里的第几项，比如index为0表示数组的第一项；δ指的是Kronecker delta函数即克罗内克函数，y¹,y²，x_i ¹,x_i ²分别指迭代目标的位置和目标初始的位置。以上数据指代说明包括对meanshift定位方式涉及到的所有公式。所述C_h归一化方程如下公式(3)

所述更新后的位置为y_t，要先采用如下公式(4)获取权重w_i，再由公式(5)进行迭代得到追踪物体更新后的位置，

其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型，指的是物体位置，和表示的两个分量；y₁指的是物体新的另一个位置，和表示y¹的两个分量,h₀为h的实例化的尺度的值。

所述更新后的尺度为h_t通过公式(6)来获取，

其中G为权重值的总和，h₀、h₁为尺度h_t的两个实例化表示，g(x)＝-k′(x)is thederivative of k(x)，也就是g(x)＝-k′(x)是k(x)的导数，所述k(x)是isotropic kernel一种核函数。

根据两种追踪处理规则，进行比较后获取最佳的一个结果，本方法追踪效果较业界水平有明显提升，对比效果如图2所示，对比方法在VOT(一个专门用来检测追踪效果的数据库)上的检测结果，以追踪结果和给定标准值直接的中心距离作为参考标准，和现下其他的追踪方法进行的对比结果。横轴表示的检测结果和标准结果之间的距离，纵轴表示精度，0.8即表示有80％的追踪结果正确。如图3所示，对比方法在VOT(一个专门用来检测追踪效果的数据库)上的检测结果，以算法追踪结果和标准结果的追踪框的重复率作为参考标准，与当下其他算法的对比结果图。横轴表示检测结果和标准结果之间检测框的覆盖率，纵轴表示精度。从两张图可以看出，采用本方法后，无论从精度还是覆盖率上看，都有明显的优势。在手机端运行速度流畅，超过real-time为即时的标准(每秒处理25帧)处理效果。在进行追踪过程中，附着各种动态贴纸的特效，视觉效果更加新颖，标识作用更加显著，可玩性大大增加，推广性也极大的有了保证。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (8)

1.追踪并覆盖动态贴纸的图像处理方法，其特征在于，具体步骤如下：

101)选择追踪物步骤：选取视频或使用摄像机镜头进行拍摄，并确定具体需要追踪的物体；

102)初始化图像步骤：在步骤101)之后，对图像进行数据分析，初始化参数；

103)追踪处理步骤：在步骤102)后，读取下一帧图像数据，根据追踪处理规则对画面中的追踪物体进行新位置的确定，所述跟踪规则包括dsst和meanshift两种对追踪物体的定位，并结合两者结果确定最佳追踪物体的新位置；所述dsst和meanshift是定位方法的名称；

104)动态贴纸步骤：在步骤103)中，对追踪物体选择性的覆盖上动态贴纸，提高标识度；

105)保存处理结果步骤：在步骤104)后，对处理后的视频或停止拍摄的视频进行存储。

2.根据权利要求1所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述dsst定位包括位置评估、尺度评估和模型更新；所述dsst定位中图像定义为patch，上一帧的图片信息中位置为P_t-1，尺度为S_t-1，位置模型为 和尺度模型为得到的追踪物质新位置为P_t和新尺度为S_t，更新位置模型为和更新尺度模型为所述t为迭代次数。

3.根据权利要求2所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述位置评估，首先参照追踪物体在前一帧的位置，在当前帧中按照前一帧目标尺度2倍大小提取一个样本Z_trans，再利用Z_trans和根据如下公式(1)得到y_trans，y_trans为公式求得的相应位置，最后由max(y_trans)即最大的相应位置，由此得到目标最终的新的位置P_t；

其中F^-1指离散傅里叶反变换，B指的是当前帧的模型特征，A^l指的是滤波操作后的模型的某一维的特征，Z^l指的是图片patch的模型的某一维的特征，d指的是特征的维度，λ参数是为了防止分母为0。

4.根据权利要求2所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述尺度评估，首先以追踪物体当前新位置为中心，提取33种不同尺度的样本Z_scale，再利用Z_scale和根据公式(1)把相应的参数代入得到y_scale，y_scale为相应的尺度，由max(y_scale)即最大的追踪物体的尺度，由此得到追踪物体准确的尺度S_t；所述模型更新包括更新位置模型、更新尺度模型和提取样本。

5.根据权利要求1所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述meanshift定位采用循环重复迭代，来获取追踪物体更新后的位置和更新后的尺度；所述meanshift定位方式中追踪物体初始模型初始位置y₀，以及尺寸S₀，更新后的位置为y_t，更新后的尺度为h_t，更新前的位置y_t-1，更新前的尺度为h_t-1，迭代次数为t；所述迭代次数的范围为达到如下条件(||y_t-y_t-1||²<ε并且|h_t-h_t-1|<ξ)或者t>maxIter就终止，其中ε和ξ为事先定义的参数，maxIter为变量定义为15。

6.根据权利要求5所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述追踪物体模型用描述具体位置和尺度的值，具体位置为y，尺度的值为h，用以下公式(2)来获得；

其中C_h指的是归一化方程，N为选中跟踪区域像素，K指的是核函数采用Epannechnikov核函数，a，b指的是初始框的宽高，b(xi)指的是像素值在直方图中的位置，u指的是直方图bin数量的index，直方图bin为颜色直方图将颜色空间划分为若干小的颜色区间，index是素组里的第几项；δ指的是Kroneckerdelta函数即克罗内克函数，y¹,y²，x_i ¹,x_i ²分别指迭代目标的位置和目标初始的位置；所述C_h归一化方程如下公式(3)

7.根据权利要求6所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述更新后的位置y_t采用如下公式(4)获取权重w_i，再由公式(5)进行迭代得到追踪物体更新后的位置，

其中和分别指权x和y方向上的权重值,为对应u的追踪物体初始模型，指的是物体位置，和表示的两个分量；y¹指的是物体新的另一个位置，和表示y¹的两个分量,h₀为h的实例化的尺度的值。

8.根据权利要求7所述的追踪并覆盖动态贴纸的图像处理方法，其特征在于，所述更新后的尺度h_t通过公式(6)来获取，

其中G为权重值的总和，h₀、h₁为尺度h_t的两个实例化表示，g(x)＝-k′(x)是k(x)的导数，所述k(x)是一种核函数。