CN114187326A - 图像处理方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法、装置、电子设备和可读存储介质，属于电子技术领域。其中，所述方法包括：在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；获取第一关键点在第一帧图像中的第一位置信息；以及，获取第一关键点在第一帧图像中的第一特征信息；第一关键点为N个关键点中的一个；在第一视频的第二帧图像中，确定第二位置信息，第一位置信息与第二位置信息匹配；基于第二位置信息，在第二帧图像中确定第三位置信息，第三位置信息对应的第二关键点的第二特征信息，与第一特征信息匹配；根据第一位置信息和第三位置信息，确定第一关键点的移动轨迹。

Description

图像处理方法、装置、电子设备和可读存储介质

技术领域

本申请属于电子技术领域，具体涉及一种图像处理方法、装置、电子设备和可读存储介质。

背景技术

目前，各种短视频平台层出不穷，短视频用户越来越多，因此，视频创作的应用场景也逐渐普遍。

通常，用户在拍摄视频后，或者在网络上下载视频后，需要对视频进行处理，以作为待发表的短视频。例如，将视频中的某个物体进行遮挡处理；又如，将视频中的某个人物进行替换处理。从而，基于一定的后期处理，可以作为用户创作的视频，发表在平台中。而在现有技术中，若用户想要遮挡或者替换某个对象，则需要对视频中的每帧图像，进行处理，以将所选的元素，覆盖至每帧图像对应的预设位置。

可见，在现有技术中，若想要对视频中的某个对象进行遮挡或者替换处理，则用户需要对视频中的大量帧进行手动处理，从而导致用户操作繁琐。

发明内容

本申请实施例的目的是提供一种图像处理方法，能够解决在现有技术中，若想要对视频中的某个对象进行遮挡或者替换处理，则用户需要对视频中的大量帧进行手动处理，从而导致用户操作繁琐的问题。

第一方面，本申请实施例提供了一种图像处理方法，该方法包括：在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息；所述第一关键点为所述N个关键点中的一个；在所述第一视频的第二帧图像中，确定第二位置信息，所述第一位置信息与所述第二位置信息匹配；基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，所述第三位置信息对应的第二关键点的第二特征信息，与所述第一特征信息匹配；根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：第一确定模块，用于在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；获取模块，用于获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息；所述第一关键点为所述N个关键点中的一个；第二确定模块，用于在所述第一视频的第二帧图像中，确定第二位置信息，所述第一位置信息与所述第二位置信息匹配；第三确定模块，用于基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，所述第三位置信息对应的第二关键点的第二特征信息，与所述第一特征信息匹配；第四确定模块，用于根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

这样，在本申请的实施例中，对于第一视频，用户可在任意帧图像中，通过预设输入，选择第一对象，作为待处理的对象。从而，基于用户输入，在第一帧图像中获取第一对象，并在第一帧图像中，确定第一对象所在区域的N个关键点，以用于表示第一对象的形状、面积等特征。进一步地，针对于每一个关键点(以第一关键点为例)，首先获取第一关键点在第一帧图像中的第一位置信息和第一特征信息，然后，在第一视频中的第二帧图像中，确定与第一位置信息匹配的第二位置信息，并以第二位置信息为参考位置，确定第三位置信息，在确定第三位置信息的过程中，可以基于第一特征信息与任意位置信息上的关键点的特征信息进行匹配，直至某位置信息上的关键点的特征信息与第一特征信息匹配，从而将该位置信息确定为第三位置信息，即认为是第一关键点在第二帧图像中的位置信息。最终，基于第一位置信息和第三位置信息，确定第一关键点的移动轨迹。可见，在本申请实施例中，提供了一种用于获取第一对象移动轨迹的方法，当用户对第一对象进行替换或者遮挡处理时，后台可直接基于获取第一对象的移动轨迹，在第一视频中的多帧图像中进行自动处理，无需用户手动操作，从而简化用户操作。

附图说明

图1是本申请实施例的图像处理方法的流程图；

图2是本申请实施例的电子设备的界面示意图；

图3和图4是本申请实施例的图像处理方法的说明示意图；

图5是本申请实施例的图像处理装置的框图；

图6是本申请实施例的电子设备的硬件结构示意图之一；

图7是本申请实施例的电子设备的硬件结构示意图之二。

具体实施方式

下面将结合本申请实施例的附图，对本申请实施例的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。

图1示出了本申请一个实施例的图像处理方法的流程图，该方法应用于电子设备，包括：

步骤110：在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数。

在该步骤中，第一对象可以是用户通过第一输入在第一视频中选择的第一对象。

第一输入包括用户在屏幕上进行的触摸输入，不限于点击、滑动、拖动等输入；第一输入还可以是用户的隔空输入，手势动作、脸部动作等，第一输入还包括用户在设备上对实体按键的输入，不限于按动等输入。而且，第一输入包括一个或者多个输入，其中，多个输入可以是连续的，也可以是间断的。

应用场景如，在本实施例提供的图2所示的用户交互界面中，用户点击“视频加载”控件，从而显示相册或者其它自定义目录，以使得用户可以在相册或者其它自定义目录下，选择任意视频，作为第一视频。进一步地，在图2所示界面的左侧区域，显示第一视频。其中，首先显示第一视频的首帧图像，从而用户在首帧图像中，选择第一对象。

可选地，第一帧图像为第一视频的首帧图像。可选地，第一帧图像还可以是第一视频的其它帧图像。

可参考地，用户通过本实施例交互界面中提供的“区域选择”工具，选择第一对象，以使第一对象位于“区域选择”工具所划区域内。

可参考地，用户点击第一对象，从而利用图像识别技术，识别用户所选的第一对象。

可参考地，用户在第一对象的轮廓上，或者在轮廓所围成的区域内，选择几个像素点。

例如，在第一对象属于平面类型的情况下，如第一对象为环境中的某个物体的平面表面，用户可以根据第一对象的形状，选择像素点。具体地，第一对象为矩形，则可以选择四个像素点，四个像素点分别位于矩形的四个角；具体地，第一对象为任意多边形，则按照多边形的形状进行选择像素点的个数，选择的像素点分别对应多边形的顶点。

又如，在第一对象属于曲面类型的情况下，如第一对象为环境中的某个物体的曲面表面，用户可以在第一对象所在区域中选择像素点。具体地，第一对象为球面，则可以在该球面的轮廓内选择多个像素点。

从而，基于用户所选的第一对象，在第一帧图像中确定第一对象，进一步在第一帧图像中确定N个关键点，N个关键点用于描述第一对象的形状、面积等特征。

可选地，N个关键点均匀分布于第一对象所在区域。

可参考地，在第一对象属于平面类型的情况下，因平面图形结构简单，在第一对象所在区域的每个边角处，确定一个关键点。

可参考地，在第一对象属于曲面类型的情况下，因曲面图形结构复杂，在第一对象所在区域内，密集地确定多个关键点。

其中，关键点可以是图像中的像素点。

可参考地，针对前述方案中，用户选择的多个像素点，进行适当地增减，或者保持不变，以作为关键点。

可选地，在初步确定关键点后，展示给用户当前确定的关键点，用户可基于第一对象的特征等，手动添加关键点，以最终确定第一对象的所有关键点。

例如，第一对象为手背，用户可针对手背的经络处，手动添加一些关键点，以使得本申请可以对经络进行移动轨迹的跟踪。

步骤120：获取第一关键点在第一帧图像中的第一位置信息；以及，获取第一关键点在第一帧图像中的第一特征信息；第一关键点为N个关键点中的一个。

在本实施例中，第一关键点为N个关键点中的一个，基于本实施例，可对每个关键点进行位置信息和特征信息的获取，从而实现对每个关键点的移动轨迹的跟踪。

可选地，第一位置信息可以是第一坐标信息。

可选地，在该步骤中，由特征提取backbone(神经网络的基础结构，用于提取图像特征)网络提取一个维度为n(n＝512)的特征向量，该特征向量表征了图像特征信息。对应地，针对第一关键点，提取的特征向量记作f1＝N，用于表示第一关键点在第一帧图像中的第一特征信息。

第一特征信息包括：像素内红绿蓝三个通道的颜色特征、通过hog特征提取关键点的Hog特征、通过深度神经网络如resnet50提取浅层特征等中任一种。

步骤130：在第一视频的第二帧图像中，确定第二位置信息，第一位置信息与第二位置信息匹配。

在该步骤中，第一帧图像与第二帧图像为不同的帧图像。这里分别对第一帧图像和第二帧图像进行分析，以用于跟踪：第一对象由第一帧图像至第二帧图像所形成的移动轨迹。

因此，首先在第二帧图像中，确定第二位置信息。

可选地，第一位置信息可以是第二坐标信息。

其中，第一位置信息与第二位置信息匹配，可以是第一坐标信息和第二坐标信息相同。需要说明的是，第一坐标信息和第二坐标信息位于同一坐标系中，该坐标系是基于用于显示第一视频的界面所建立的。

步骤140：基于第二位置信息，在第二帧图像中确定第三位置信息，第三位置信息对应的第二关键点的第二特征信息，与第一特征信息匹配。

在该步骤中，可以以第二位置信息为中心，在指定范围内，按照一定的规律算法，寻找与第一特征信息匹配的第二特征信息、所对应的关键点所在的位置信息。

可选地，第一特征信息与第二特征信息匹配，即第一特征信息与第二特征信息的相似度，相比于第一特征信息与指定范围内其它关键点的特征信息的相似度，是最高的。

可选地，在第二帧图像中，针对位置信息对应的关键点，提取的特征向量记作f2＝N，用于表示该关键点在第二帧图像中的特征信息。

可选地，利用余弦相似性公式：

计算得到用于表示相似度的值，得到的值越接近“1”，表示二者相似度越高。

其中，相似度的获取，涉及到检测模型，检测模型为使用深度学习训练出来的相似度判断网络。

可选地，指定范围为：r＝10个像素。

步骤150：根据第一位置信息和第三位置信息，确定第一关键点的移动轨迹。

在该步骤中，将第一位置信息和第三位置信息连接起来，即形成第一关键点的移动轨迹。

可参考地，在图2所示的界面中，在第一视频下方显示各个关键点的移动轨迹。

其中，在图2中，任意关键点的移动轨迹，由各个帧图像得到，如图中的1～6帧图像得到，进一步地，用户可在显示的移动轨迹中，基于本实施例提供的调节范围，调节任意关键点在每一帧对应的位置信息。

这样，在本申请的实施例中，对于第一视频，用户可在任意帧图像中，通过预设输入，选择第一对象，作为待处理的对象。从而，基于用户输入，在第一帧图像中获取第一对象，并在第一帧图像中，确定第一对象所在区域的N个关键点，以用于表示第一对象的形状、面积等特征。进一步地，针对于每一个关键点(以第一关键点为例)，首先获取第一关键点在第一帧图像中的第一位置信息和第一特征信息，然后，在第一视频中的第二帧图像中，确定与第一位置信息匹配的第二位置信息，并以第二位置信息为参考位置，确定第三位置信息，在确定第三位置信息的过程中，可以基于第一特征信息与任意位置信息上的关键点的特征信息进行匹配，直至某位置信息上的关键点的特征信息与第一特征信息匹配，从而将该位置信息确定为第三位置信息，即认为是第一关键点在第二帧图像中的位置信息。最终，基于第一位置信息和第三位置信息，确定第一关键点的移动轨迹。可见，在本申请实施例中，提供了一种用于获取第一对象移动轨迹的方法，当用户对第一对象进行替换或者遮挡处理时，后台可直接基于获取第一对象的移动轨迹，在第一视频中的多帧图像中进行自动处理，无需用户手动操作，从而简化用户操作。

在本申请另一个实施例的图像处理方法的流程中，N≧3；步骤120，包括：

子步骤A1：将N个关键点中，每三个相邻的关键点，通过两两连线构建为一个三角形。

参见图3，以图中的“手背”为第一对象，进行移动轨迹的跟踪。

首先，对第一对象进行建模。建模的方式为：针对第一对象所在区域，进行区域的框定，框定的区域需覆盖第一对象所在的大部分区域；然后，在区域内，标定一些关键点(如图3左侧所示)，并通过将相邻的关键点连接成为三角形，以完成对关键点的三角化过程(如图3右侧所示)。

子步骤A2：根据第一关键点所在的三角形，获取第一关键点在第一帧图像中的第一位置信息；以及，获取第一关键点在第一帧图像中的第一特征信息。

在该步骤中，将经过三角化之后的所有关键点，组成一个图G。其中，V用于表示关键点集合，V∈{V_i＝(x,y,z)∈R³}。

进一步地，获取用于表示关键点之间连接关系的邻接矩阵A＝{a_ij,i.j∈V}。其中，当两个关键点之间有连接关系时，a_ij＝1；当两个关键点之间没有连接关系时，a_ij＝0。

进一步地，分别计算每个关键点的度

其中，关键点的度即为连接其它关键点的个数。

基于以上关键点的相关参数，可以在所建模型中，得到各个关键点之间的位置关系，从而基于所得到的的位置关系，得到第一关键点的第一位置信息。

可选地，x_t用于表示第一关键点在t帧(对应为第一帧图像)时，对应的特征向量，而x_t所代表的不仅是第一特征信息，同时还代表基于建模得到的第一位置信息。

需要说明的是，本实施例的第一位置信息和第一特征信息均是基于所建模型得到的，因此与上述涉及到的参数有关，从而基于本实施例得到的一位置信息和第一特征信息，可以在其它帧图像中，结合在该帧中所建的模型，确定该帧的位置信息和特征信息，更多详细的解释可参见以下实施例。

在本实施例中，对第一对象所在区域的N个关键点，通过三角化的方式进行建模，以获取任意关键点(如第一关键点)在模型中的第一位置信息，从而使得各个关键点的位置信息不再依赖于图像本身作为参考物，而是基于各个关键点的位置信息，互相作为参照物，进而使得获取的位置信息更加精确。同时，位置信息对应的关键点的特征信息，也融合入模型中，更有利于通过模型，来匹配特征信息，从而使得匹配结果更加精确。

在本申请另一个实施例的图像处理方法的流程中，步骤140，包括：

子步骤B1：根据第一关键点所在的三角形，在第二帧图像中确定与第二位置信息相关联的第四位置信息。

子步骤B2：根据第四位置信息，在第二帧图像中确定与第四位置信息相关联的第五位置信息。

子步骤B3：在第四位置信息与第五位置信息匹配的情况下，确定第四位置信息或者第五位置信息为第三位置信息。

在本实施例中，第四位置信息和第五位置信息均为通过计算预测出来的位置信息，为了精确得到最终的位置信息，步骤B2可以是重复进行的，即以预测的位置消息作为输入，继续预测，直至输出的位置信息，与输入的位置信息是匹配(可以是相同或者接近)，则将最终输出的位置信息作为确定的第三位置信息。

进一步地，可以是连续多次输出与输入的位置信息匹配的情况下，确定第三位置信息。

在本实施例中，结合上一实施例中提供的建模方式，首先将第一帧图像中的各个关键点的位置信息，复制至第二帧图像中，以作为初始的位置信息，然后基于多次迭代，最终找到每个关键点在第二帧图像中的位置信息，从而可以得到每个关键点基于这两帧图像形成的移动轨迹。

在本申请另一个实施例的图像处理方法的流程中，步骤140，包括：

子步骤C1：根据第一关键点所在的三角形，确定第一关键点连接的关键点的个数，以及第一关键点的邻接矩阵，并得到第一关键点的拉普拉斯矩阵。

子步骤C2：通过正交分解，得到第一关键点的拉普拉斯矩阵的特征值和特征向量。

子步骤C3：根据第一关键点的拉普拉斯矩阵的特征值和特征向量，得到第一关键点的特征向量。

子步骤C4：根据第一关键点的特征向量，得到匹配的第二关键点的特征向量。

子步骤C5：根据第二关键点的特征向量，确定第二关键点的第三位置信息。

在本实施例中，通过三角化建模，生成以下公式：

公式二：L＝D-A；

公式三：L＝UΛU^T；

公式四：

公式五：

在上述几个公式中，L为图G的拉普拉斯矩阵，其计算过程为图G的关键点的度减去其邻接矩阵(如公式二所示)；进一步地，通过正交分解获得L的特征值Λ和特征向量U(如公式三所示)。然后，根据图网络中的每个关键点，能够观察到附近关键点的个数，可以获取不同的图像感受野，即可以选择不同的K值进行网络的训练(如公式四所示)。x_t+1为输入的第一关键点的特征向量，θ_K为待优化的参数，y_t+1为第一关键点经过公式四之后计算得到的特征向量。最后，通过公式五对特征向量y_t+1进行一个线性激活和回归函数获得关键点在t+1时刻(对应为第二帧图像)的位置回归点

即为在t+1帧(对应为第二帧图像)时，第一关键点的第三位置信息。

需要说明的是，在本实施例中，公式二中的L，是基于所有关键点得到的，对应地，公式三中得到的L的特征值Λ和特征向量U，对应地，也是所有关键点。而公式四和公式五是针对一个关键点而言的，因此，在本实施例中，可将公式二和公式三中的某个关键点的相关参数，输入至公式四和公式五中，以得到与该关键点相关的结果。从而，重复以上过程，可以得到所有关键点的相关结果。

在上述公式二～公式五的计算过程中，对于x_t+1，即t+1帧时对应的输入的计算方式为，首先通过特征提取函数f提取t帧(对应第一帧图像)对应的第一关键点的特征向量f(P_t)作为固定值，即，x_t+1＝_t；接着在P_t周围随机采样一个点P_t+1，计算其特征向量f(P_t+1)，将两个特征向量进行融合获得x_t+1＝[f(Pt+1),f(Pt)]。

进一步地，通过计算特征向量的差异迭代优化θ_K和回归函数σ的参数，确定

其中的计算方式为：

可选地，优化方式包括：

无标注数据集优化：即通过公式六所对应的特征误差，从t帧获得t+1帧的图G的所有关键点的位置信息。在优化过程中，可以先固定θ_K＝I(即为单位矩阵)，训练一个多层感知机σ，使得其输出维度为3，输入维度为y_t+1对应的维度；当迭代到最低不再降低时，固定多层感知机σ的参数，迭代优化θ_K，直至达到最小值。

有标注数据集优化：对于有标注的数据集，将公式六改为：

即，将t帧的P点的特征向量改为t+1帧的P点的特征向量，其中，

为标注结果。对于标注数据的获取，可以通过三维建模的方式获得图G中每一帧的关键点的三维坐标，从而获得真值。

在本实施例中，基于对所有关键点进行三角化的建模方式，首先将第一帧图像中的各个关键点的位置信息，复制至第二帧图像中，以作为初始的位置信息，然后利用本实施例提供的迭代、优化等计算公式，最终找到每个关键点在第二帧图像中的位置信息，从而使得所确定的位置信息具有较高的精确度。

需要说明的是，以上提供的三角化的建模方式，以用于实现对关键点的移动轨迹的跟踪，因曲面类型对象的关键点的数量较多，因此更多地适用于曲面类型对象的跟踪。

在本申请另一个实施例的图像处理方法中，第一帧图像对应在第一视频中的时间信息早于，第二帧图像对应在第一视频中的时间信息；且第一帧图像与第二帧图像为相邻的两帧图像。

在本实施例中，可针对第一帧图像以后的每一帧图像，依次确定每个关键点的位置信息，从而获取每个关键点在第一视频中的移动轨迹。

其中，针对每帧图像，以相邻的上一帧图像作为参考，计算位置信息。

例如，针对第二帧图像，以相邻的第一帧图像作为参考，计算位置信息。

参见图4，分别示出了不同时刻下的图G的迭代结果，从而可以获得每个关键点的移动轨迹。

在本实施例中，基于对每帧图像的每个关键点的位置信息的确定，可以获取第一对象的各个关键点的移动轨迹，从而实现对第一对象的轨迹跟踪，以便于对第一对象进行遮挡处理、替换处理等。

在本申请另一个实施例的图像处理方法的流程中，若在第二帧图像中，获取到的第三位置信息对应的关键点的第二特征信息，与第一特征的信息的相似度小于第一阈值，则认为跟踪失败。在这种情况下，可持续进行下一帧的检测，若连续多帧图像中，跟踪失败的图像所占的比例大于第二阈值，则直接输出提示消息，以提示用户重新选择待跟踪的对象；若连续多帧图像中，跟踪失败的图像所占的比例小于或者等于第二阈值，且比例大于第三阈值，则继续跟踪，同时可以输出提示消息，以提示用户此段跟踪可能存在遮挡等问题，导致部分帧跟踪失败。

在本申请另一个实施例的图像处理方法的流程中，步骤150，包括：

子步骤D1：基于第一帧图像与第二帧图像之间产生的校正信息，对第三位置信息进行校正，得到第六位置信息。

可选地，校正信息可以是由第二帧图像相对于第一帧图像产生的相对位置变化而得来的单应性变化矩阵。

子步骤D2：根据第一位置信息和第六位置信息，确定第一关键点的移动轨迹。

在本实施例中，通过计算不同帧之间的对应点之间的单应性变化矩阵，获得一系列视频帧之间的变化关系，再根据相邻帧之间的单应性矩阵，对每个关键点的移动轨迹进行透视校正。

进一步地，校正之后，生成第一视频的一个模板，该模板上传后，可直接用于更多用户对第一对象进行替换、遮挡的处理，无需重复在第一视频跟踪第一对象的移动轨迹。

在本实施例中，在基于计算得到第一关键点，在第二帧图像的第三位置信息的基础上，考虑到因拍摄过程中一些因素导致的图像偏离等现象，会产生校正信息，从而需要基于校正信息，对第三位置信息进行透视校正，以获取到第六位置信息，进而基于第六位置信息，确定第一关键点的移动轨迹，使得移动轨迹更加真实。

在本申请另一个实施例的图像处理方法的流程中，在接收用户对第一对象的输入的情况下，还可以接收对增强现实(Augmented Reality，简称AR)素材的输入，以在成功跟踪第一对象的移动轨迹之后，按照移动轨迹，将第一对象替换为所选的AR素材。

在本申请另一个实施例的图像处理方法的流程中，将第一对象替换为所选的AR素材的过程中，针对第一对象和AR素材，结合AR素材的几何特征和移动轨迹的几何特征，进行对应的匹配和透视校正，从而使得校正之后的轨迹点和AR素材的每一帧一一匹配。

在本申请另一个实施例的图像处理方法的流程中，使用泊松融合等后处理方式对AR素材和第一视频中的光照进行后处理融合，使得AR素材能和视频整体基调想符合；使用一欧元滤波等方法对整条轨迹进行滤波，保证视频帧之间的AR素材的平稳性；最终输出替换了视频内容的渲染视频。

在本申请中，采用跟踪算法，以在第一视频中的每一帧图像中，找到同一关键点的位置。可选地，采用SiamFC++网络或者基于光流的跟踪等算法，使得本申请得以实现。

在本申请另一个实施例的图像处理方法中，本方法亦可和云端服务器功能相结合。对于一些视频，如广告、动画等，在上传视频的过程中，可由上传者选择使用服务器的资源进行推荐点位的生成，从而视频会被上传至服务器后，可自动生成某对象的移动轨迹中的各个点位。进一步地，用户在加载这类视频时，服务器会在视频库中进行检索，如果该视频为服务器上已上传的视频，则会自动将推荐的点位下发至用户，用户可直接进行移动轨迹的调整、AR素材的选择等操作。

综上，现有的视频编辑软件在影视制作的后期编辑上通常需要大量的人工操作，并且需要较为专业的知识，对遮挡的检测和处理能力也较差；同时非专业的创作者更喜欢在移动终端(如手机)上进行操作，而在移动终端上进行影视后期作品AR特效的叠加、替换等目前还是一个难点。在本申请中，通过对使用场景进行分类，将跟踪方法与遮挡检测相融合，并且叠加少量的用户交互的方式，从而在移动终端上提供了一种简单易用的视频后期融合方法，能够实现快速将AR元素放置在视频中的合适位置，从而便于用户自由地改变视频内容中的元素，进而达到简化用户操作的目的。在实际应用中，基于本申请，利用联网功能，可以为用户提供一些高价值视频(如广告)，以便于用户对视频进行画像等动态内容自由替换，从而实现了视频内嵌广告的动态替换效果，以将广告和用户的兴趣动态融合，进而形成更加有效的广告素材投放。

可见，本申请提供了一种在移动终端上进行编辑的整套编辑框架，使得AR元素与视频编辑相结合，以达到对视频内容进行后期处理和加工的目的。其中，使用跟踪、遮挡检测等方法减少用户的参与，能够自动检测遮挡，同时结合用户的标注能够有效提升视频编辑的效果。另外，本申请结合云端服务器的功能，大幅降低视频编辑的用户使用门槛，进一步减少用户的操作，使得在视频后期替换视频内容变得简单，而AR素材的使用也大大提高了产品的可玩性，对视频创作者来说更有吸引力。

本申请实施例提供的图像处理方法，执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例，说明本申请实施例提供的图像处理装置。

图5示出了本申请另一个实施例的图像处理装置的框图，该装置包括：

第一确定模块10，用于在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；

获取模块20，用于获取第一关键点在第一帧图像中的第一位置信息；以及，获取第一关键点在第一帧图像中的第一特征信息；第一关键点为N个关键点中的一个；

第二确定模块30，用于在第一视频的第二帧图像中，确定第二位置信息，第一位置信息与第二位置信息匹配；

第三确定模块40，用于基于第二位置信息，在第二帧图像中确定第三位置信息，第三位置信息对应的第二关键点的第二特征信息，与第一特征信息匹配；

第四确定模块50，用于根据第一位置信息和第三位置信息，确定第一关键点的移动轨迹。

这样，在本申请的实施例中，对于第一视频，用户可在任意帧图像中，通过预设输入，选择第一对象，作为待处理的对象。从而，基于用户输入，在第一帧图像中获取第一对象，并在第一帧图像中，确定第一对象所在区域的N个关键点，以用于表示第一对象的形状、面积等特征。进一步地，针对于每一个关键点(以第一关键点为例)，首先获取第一关键点在第一帧图像中的第一位置信息和第一特征信息，然后，在第一视频中的第二帧图像中，确定与第一位置信息匹配的第二位置信息，并以第二位置信息为参考位置，确定第三位置信息，在确定第三位置信息的过程中，可以基于第一特征信息与任意位置信息上的关键点的特征信息进行匹配，直至某位置信息上的关键点的特征信息与第一特征信息匹配，从而将该位置信息确定为第三位置信息，即认为是第一关键点在第二帧图像中的位置信息。最终，基于第一位置信息和第三位置信息，确定第一关键点的移动轨迹。可见，在本申请实施例中，提供了一种用于获取第一对象移动轨迹的方法，当用户对第一对象进行替换或者遮挡处理时，后台可直接基于获取第一对象的移动轨迹，在第一视频中的多帧图像中进行自动处理，无需用户手动操作，从而简化用户操作。

可选地，N≧3；获取模块20，包括：

构建单元，用于将N个关键点中，每三个相邻的关键点，通过两两连线构建为一个三角形；

获取单元，用于根据第一关键点所在的三角形，获取第一关键点在第一帧图像中的第一位置信息；以及，获取第一关键点在第一帧图像中的第一特征信息。

可选地，第三确定模块40，包括：

第一确定单元，用于根据第一关键点所在的三角形，在第二帧图像中确定与第二位置信息相关联的第四位置信息；

第二确定单元，用于根据第四位置信息，在第二帧图像中确定与第四位置信息相关联的第五位置信息；

第三确定单元，用于在第四位置信息与第五位置信息匹配的情况下，确定第四位置信息或者第五位置信息为第三位置信息。

可选地，第三确定模块40，包括：

第四确定单元，用于根据第一关键点所在的三角形，确定第一关键点连接的关键点的个数，以及第一关键点的邻接矩阵，并得到第一关键点的拉普拉斯矩阵；

第一得到单元，用于通过正交分解，得到第一关键点的拉普拉斯矩阵的特征值和特征向量；

第二得到单元，用于根据第一关键点的拉普拉斯矩阵的特征值和特征向量，得到第一关键点的特征向量；

第三得到单元，用于根据第一关键点的特征向量，得到匹配的第二关键点的特征向量；

第五确定单元，用于根据第二关键点的特征向量，确定第二关键点的第三位置信息。

可选地，第四确定模块50，包括：

校正单元，用于基于第一帧图像与第二帧图像之间产生的校正信息，对第三位置信息进行校正，得到第六位置信息；

第六确定单元，用于根据第一位置信息和第六位置信息，确定第一关键点的移动轨迹。

本申请实施例中的图像处理装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例的图像处理装置可以为具有动作系统的装置。该动作系统可以为安卓(Android)动作系统，可以为ios动作系统，还可以为其他可能的动作系统，本申请实施例不作具体限定。

本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种电子设备100，包括处理器101，存储器102，存储在存储器102上并可在所述处理器101上运行的程序或指令，该程序或指令被处理器101执行时实现上述任一图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例的电子设备包括上述所述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，用于在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息；所述第一关键点为所述N个关键点中的一个；在所述第一视频的第二帧图像中，确定第二位置信息，所述第一位置信息与所述第二位置信息匹配；基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，所述第三位置信息对应的第二关键点的第二特征信息，与所述第一特征信息匹配；根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹。

这样，在本申请的实施例中，对于第一视频，用户可在任意帧图像中，通过预设输入，选择第一对象，作为待处理的对象。从而，基于用户输入，在第一帧图像中获取第一对象，并在第一帧图像中，确定第一对象所在区域的N个关键点，以用于表示第一对象的形状、面积等特征。进一步地，针对于每一个关键点(以第一关键点为例)，首先获取第一关键点在第一帧图像中的第一位置信息和第一特征信息，然后，在第一视频中的第二帧图像中，确定与第一位置信息匹配的第二位置信息，并以第二位置信息为参考位置，确定第三位置信息，在确定第三位置信息的过程中，可以基于第一特征信息与任意位置信息上的关键点的特征信息进行匹配，直至某位置信息上的关键点的特征信息与第一特征信息匹配，从而将该位置信息确定为第三位置信息，即认为是第一关键点在第二帧图像中的位置信息。最终，基于第一位置信息和第三位置信息，确定第一关键点的移动轨迹。可见，在本申请实施例中，提供了一种用于获取第一对象移动轨迹的方法，当用户对第一对象进行替换或者遮挡处理时，后台可直接基于获取第一对象的移动轨迹，在第一视频中的多帧图像中进行自动处理，无需用户手动操作，从而简化用户操作。

可选地，N≧3；处理器1010，还用于将所述N个关键点中，每三个相邻的关键点，通过两两连线构建为一个三角形；根据所述第一关键点所在的三角形，获取所述第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息。

可选地，处理器1010，还用于根据所述第一关键点所在的三角形，在所述第二帧图像中确定与所述第二位置信息相关联的第四位置信息；根据所述第四位置信息，在所述第二帧图像中确定与所述第四位置信息相关联的第五位置信息；在所述第四位置信息与所述第五位置信息匹配的情况下，确定所述第四位置信息或者所述第五位置信息为所述第三位置信息。

可选地，处理器1010，还用于根据所述第一关键点所在的三角形，确定所述第一关键点连接的关键点的个数，以及所述第一关键点的邻接矩阵，并得到所述第一关键点的拉普拉斯矩阵；通过正交分解，得到所述第一关键点的拉普拉斯矩阵的特征值和特征向量；根据所述第一关键点的拉普拉斯矩阵的特征值和特征向量，得到所述第一关键点的特征向量；根据所述第一关键点的特征向量，得到匹配的所述第二关键点的特征向量；根据所述第二关键点的特征向量，确定所述第二关键点的所述第三位置信息。

可选地，处理器1010，还用于基于所述第一帧图像与所述第二帧图像之间产生的校正信息，对所述第三位置信息进行校正，得到第六位置信息；根据所述第一位置信息和所述第六位置信息，确定所述第一关键点的移动轨迹。

本申请提供了一种在移动终端进行编辑的整套编辑框架，使得AR元素与视频编辑相结合，以达到对视频内容进行后期处理和加工的目的。其中，使用跟踪、遮挡检测等方法减少用户的参与，能够自动检测遮挡，同时结合用户的标注能够有效提升视频编辑的效果。另外，本申请结合云端服务器的功能，大幅降低视频编辑的用户使用门槛，进一步减少用户的操作，使得在视频后期替换视频内容变得简单，而AR素材的使用也大大提高了产品的可玩性，对视频创作者来说更有吸引力。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频图像捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频图像的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、动作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和动作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理动作系统、用户页面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器x09可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选的，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；

获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息；所述第一关键点为所述N个关键点中的一个；

在所述第一视频的第二帧图像中，确定第二位置信息，所述第一位置信息与所述第二位置信息匹配；

基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，所述第三位置信息对应的第二关键点的第二特征信息，与所述第一特征信息匹配；

根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹。

2.根据权利要求1所述的方法，其特征在于，N≧3；所述获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息，包括：

将所述N个关键点中，每三个相邻的关键点，通过两两连线构建为一个三角形；

根据所述第一关键点所在的三角形，获取所述第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，包括：

根据所述第一关键点所在的三角形，在所述第二帧图像中确定与所述第二位置信息相关联的第四位置信息；

根据所述第四位置信息，在所述第二帧图像中确定与所述第四位置信息相关联的第五位置信息；

在所述第四位置信息与所述第五位置信息匹配的情况下，确定所述第四位置信息或者所述第五位置信息为所述第三位置信息。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，包括：

根据所述第一关键点所在的三角形，确定所述第一关键点连接的关键点的个数，以及所述第一关键点的邻接矩阵，并得到所述第一关键点的拉普拉斯矩阵；

通过正交分解，得到所述第一关键点的拉普拉斯矩阵的特征值和特征向量；

根据所述第一关键点的拉普拉斯矩阵的特征值和特征向量，得到所述第一关键点的特征向量；

根据所述第一关键点的特征向量，得到匹配的所述第二关键点的特征向量；

根据所述第二关键点的特征向量，确定所述第二关键点的所述第三位置信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹，包括：

基于所述第一帧图像与所述第二帧图像之间产生的校正信息，对所述第三位置信息进行校正，得到第六位置信息；

根据所述第一位置信息和所述第六位置信息，确定所述第一关键点的移动轨迹。

6.一种图像处理装置，其特征在于，所述装置包括：

第一确定模块，用于在第一视频的第一帧图像中确定第一对象所在区域的N个关键点，N为正整数；

获取模块，用于获取第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息；所述第一关键点为所述N个关键点中的一个；

第二确定模块，用于在所述第一视频的第二帧图像中，确定第二位置信息，所述第一位置信息与所述第二位置信息匹配；

第三确定模块，用于基于所述第二位置信息，在所述第二帧图像中确定第三位置信息，所述第三位置信息对应的第二关键点的第二特征信息，与所述第一特征信息匹配；

第四确定模块，用于根据所述第一位置信息和所述第三位置信息，确定所述第一关键点的移动轨迹。

7.根据权利要求6所述的装置，其特征在于，N≧3；所述获取模块，包括：

构建单元，用于将所述N个关键点中，每三个相邻的关键点，通过两两连线构建为一个三角形；

获取单元，用于根据所述第一关键点所在的三角形，获取所述第一关键点在所述第一帧图像中的第一位置信息；以及，获取所述第一关键点在所述第一帧图像中的第一特征信息。

8.根据权利要求7所述的装置，其特征在于，所述第三确定模块，包括：

第一确定单元，用于根据所述第一关键点所在的三角形，在所述第二帧图像中确定与所述第二位置信息相关联的第四位置信息；

第二确定单元，用于根据所述第四位置信息，在所述第二帧图像中确定与所述第四位置信息相关联的第五位置信息；

第三确定单元，用于在所述第四位置信息与所述第五位置信息匹配的情况下，确定所述第四位置信息或者所述第五位置信息为所述第三位置信息。

9.根据权利要求8所述的装置，其特征在于，所述第三确定模块，包括：

第四确定单元，用于根据所述第一关键点所在的三角形，确定所述第一关键点连接的关键点的个数，以及所述第一关键点的邻接矩阵，并得到所述第一关键点的拉普拉斯矩阵；

第一得到单元，用于通过正交分解，得到所述第一关键点的拉普拉斯矩阵的特征值和特征向量；

第二得到单元，用于根据所述第一关键点的拉普拉斯矩阵的特征值和特征向量，得到所述第一关键点的特征向量；

第三得到单元，用于根据所述第一关键点的特征向量，得到匹配的所述第二关键点的特征向量；

第五确定单元，用于根据所述第二关键点的特征向量，确定所述第二关键点的所述第三位置信息。

10.根据权利要求6所述的装置，其特征在于，所述第四确定模块，包括：

校正单元，用于基于所述第一帧图像与所述第二帧图像之间产生的校正信息，对所述第三位置信息进行校正，得到第六位置信息；

第六确定单元，用于根据所述第一位置信息和所述第六位置信息，确定所述第一关键点的移动轨迹。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1～5任一项所述的图像处理方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1～5任一项所述的图像处理方法的步骤。

Images