CN114639053A - 基于色彩和谐的平面追踪取代方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种基于色彩和谐的平面追踪取代方法、装置、设备及介质。本申请应用于平面追踪取代技术领域，其包括：获取替代平面图中取代物的端点坐标；根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据端点坐标集、初始端点坐标以及取代物的端点坐标对取代物进行单应性转换以得到输入图集；根据端点坐标集及初始端点坐标对目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据色泽参考图集、输入图集以及预设的色彩和谐模型得到色彩和谐图集；根据色彩和谐图集、端点坐标集以及初始端点坐标对待取代物进行取代。本申请实施例可提高平面追踪的效果。

Description

基于色彩和谐的平面追踪取代方法、装置、设备及介质

技术领域

本发明实施例涉及平面追踪取代技术领域，尤其涉及一种基于色彩和谐的平面追踪取代方法、装置、设备及介质。

背景技术

现有的平面追踪取代方法大都是给定追踪目标物的中心位置或者四个角的端点位置，视频帧中的后续每一帧均能使用追踪取代算法持续追踪该中心位置或四个角的端点位置在视频画面中的位置，从而使用取代物替换画面中的目标物，但由于取代物通常来自单一图片且色泽固定，取代后在视频中会显得很突兀，缺少真实感，使得平面追踪取代的效果不佳。

发明内容

本发明实施例提供了一种基于色彩和谐的平面追踪取代方法、装置、设备及介质，旨在解决现有平面追踪取代效果不佳的问题。

第一方面，本发明实施例提供了一种基于色彩和谐的平面追踪取代方法，其包括：

获取替代平面图中已标记的取代物的端点坐标；

根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；

根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；

根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；

根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

进一步地，将与目标视频帧相对应的第一帧图片上的待取代物的初始端点坐标作为当前端点坐标；将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标；将所述待取代物的端点坐标作为所述当前端点坐标，并返回执行所述将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标的步骤，直至求出与所述目标视频帧相对应的所有帧图片上的待取代物的端点坐标为止；将除去所述初始端点坐标的所有所述待取代物的端点坐标作为端点坐标集。

进一步地，根据所述初始端点坐标及所述取代物的端点坐标计算单应矩阵；根据所述端点坐标集及所述取代物的端点坐标计算单应矩阵子集，其中，所述单应矩阵子集包括多个单应矩阵，所述多个单应矩阵与所述端点坐标集中多个端点坐标相对应；将所述单应矩阵及所述单应矩阵子集作为单应矩阵集。

进一步地，根据所述单应矩阵对所述替代平面图上的取代物进行单应性转换以得到输入图；根据所述单应矩阵子集对所述替代平面图上的取代物进行单应性转换以得到输入图子集，并将所述输入图及所述输入图子集作为输入图集。

进一步地，根据所述初始端点坐标对与所述目标视频帧相对应的第一帧图片上的待取代物进行切割以得到色泽参考图；根据所述端点坐标集对与所述目标视频帧相对应的除去第一帧图片的剩余帧图片上的取代物进行切割以得到色泽参考图子集，并将所述色泽参考图子集及所述色泽参考图作为色泽参考图集。

进一步地，通过预设的色彩和谐模型分别提取所述色泽参考图集及所述输入图集中的色彩特征集及取代物特征集；将所述色彩特征集及所述取代物特征集进行色彩融合以得到色彩和谐图集。

进一步地，根据所述端点坐标集中的任一端点坐标获取与所述色彩和谐图集相对应的掩膜图集；根据所述掩膜图集的第一区域获取所述色彩和谐图集中的取代物区域；根据所述掩膜图集的第二区域获取所述目标视频帧中除去所述待取代物后的保持区域；将所述取代物区域及所述保持区域进行叠加以对所述目标视频帧图片上的待取代物进行取代。

第二方面，本发明实施例还提供了一种基于色彩和谐的平面追踪取代装置，其包括：

获取单元，用于获取替代平面图中已标记的取代物的端点坐标；

计算单元，用于根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；

转换单元，用于根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；

切割单元，用于根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；

取代单元，用于根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

本发明实施例提供了一种基于色彩和谐的平面追踪取代方法、装置、设备及介质。其中，所述方法包括：获取替代平面图中已标记的取代物的端点坐标；根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。本发明实施例的技术方案，先根据单应矩阵集对替代平面图上的取代物进行单应性转换以得到输入图集，再根据色泽参考图集、输入图集以及预设的色彩和谐模型得到色彩和谐图集，最后根据色彩和谐图集、端点坐标集以及初始端点坐标对目标视频帧图片上的待取代物进行取代，从而可减少取代后视频的突兀感，增加真实感，提高平面追踪的效果。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于色彩和谐的平面追踪取代方法的流程示意图；

图2为本发明实施例提供的一种基于色彩和谐的平面追踪取代装置的示意性框图；以及

图3为本发明实施例提供的一种计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

请参阅图1，图1是本发明实施例提供的基于色彩和谐的平面追踪取代方法的流程示意图。本发明实施例的基于色彩和谐的平面追踪取代方法可应用于终端上，例如智能手机、手提电脑、台式电脑、笔记本电脑等智能终端设备，通过安装于所述终端上的软件例如命名为视频编辑软件的应用程序来实现所述基于色彩和谐的平面追踪取代方法，从而可减少取代后视频的突兀感，增加真实感，提高平面追踪的效果。下面对所述基于色彩和谐的平面追踪取代方法进行详细说明。如图1所示，该方法包括以下步骤S100-S140。

S100、获取替代平面图中已标记的取代物的端点坐标。

在本发明实施例中，视频编辑软件对目标视频帧中的待取代物进行取代之前，首先需要相关人员在替代平面图中手动标记出取代物的端点坐标，其中，所述端点坐标包括左上端点坐标、左下端点坐标、右上端点坐标以及右下端点坐标，可理解地，所述左上端点坐标、左下端点坐标、右上端点坐标以及右下端点坐标为所述取代物四个角的端点坐标；之后获取替代平面图中已标记的取代物的端点坐标以便后续使用。

S110、根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集。

在本发明实施例中，获取替代平面图中已标记的取代物的端点坐标之后，将与目标视频帧相对应的第一帧图片上的待取代物的初始端点坐标作为当前端点坐标，可理解地，所述目标视频帧包括多帧图片，其中，第一帧图片上的待取代物的初始端点坐标为相关人员手动标记的，以供视频编辑软件使用；将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标，其中，所述预设平面追踪算法为李洋论文中提出的平面目标跟踪算法；将所述待取代物的端点坐标作为所述当前端点坐标，并返回执行所述将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标的步骤，直至求出与所述目标视频帧相对应的所有帧图片上的待取代物的端点坐标为止；最后将除去所述初始端点坐标的所有所述待取代物的端点坐标作为端点坐标集。可理解地，所述初始端点坐标包括初始左上端点坐标、初始左下端点坐标、初始右上端点坐标以及初始右下端点坐标四个点的坐标，所述端点坐标集包括多个左上端点坐标、多个左下端点坐标、多个右上端点坐标以及多个右下端点坐标。在实际应用中，在确定端点坐标集之后，会先根据所述初始端点坐标及所述取代物的端点坐标计算单应矩阵，可理解地，是根据目标视频中第一帧图片上的四个初始端点坐标及与之相对应的所述取代物的四个端点坐标计算出单应矩阵；计算出单应矩阵之后，再根据所述端点坐标集及所述取代物的端点坐标计算单应矩阵子集，其中，所述单应矩阵子集包括多个单应矩阵，所述多个单应矩阵与所述端点坐标集中多个端点坐标相对应，可理解地，是根据目标视频帧中除去第一帧图片之外的每一帧图片上的四个端点坐标及与之相对应的所述取代物的四个端点坐标计算出单应矩阵子集；将所述单应矩阵及所述单应矩阵子集作为单应矩阵集。需要说明的是，单应矩阵为Homography Matrix，在本发明实施例中，通过HomographyMatrix可对替代平面图上的取代物的位姿进行进行矫正，从而使得取代后目标视频更加真实。

S120、根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集。

在本发明实施例中，根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集之后，会先根据所述单应矩阵对所述替代平面图上的取代物进行单应性转换以得到输入图；再根据所述单应矩阵子集对所述替代平面图上的取代物进行单应性转换以得到输入图子集，并将所述输入图及所述输入图子集作为输入图集，其中，所述输入图子集包括多个输入图，所述多个输入图与所述多个单应矩阵相对应。具体地，是将所述替代平面图上的取代物的四个端点坐标之间的所有点的坐标分别与所述单应矩阵及所述单应矩阵子集相乘，以求出所述替代平面图上的取代物在所述目标视频每一帧中的位置从而得到输入图集。需要说明的是，在本发明实施例中，将单应性转换后的输入图集输入预设的色彩和谐模型可得到较好的色彩和谐图集。

S130、根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集。

在本发明实施例中，对所述替代平面图上的取代物进行单应性转换以得到输入图集之后，根据所述初始端点坐标对与所述目标视频帧相对应的第一帧图片上的待取代物进行切割以得到色泽参考图；根据所述端点坐标集对与所述目标视频帧相对应的除去第一帧图片的剩余帧图片上的取代物进行切割以得到色泽参考图子集，并将所述色泽参考图子集及所述色泽参考图作为色泽参考图集。可理解地，所述色泽参考图子集包括多幅色泽参考图。对所述目标视频帧图片上的待取代物进行切割得到色泽参考图集之后，通过预设的色彩和谐模型分别提取所述色泽参考图集及所述输入图集中的色彩特征集及取代物特征集，其中，所述预设的色彩和谐模型为SSH色彩和谐模型，所述色彩特征集为所述色泽参考图中的背景颜色集，所述取代物特征集为所述输入图集中取代物的结构特征集；将所述色彩特征集及所述取代物特征集进行色彩融合以得到色彩和谐图集。需要说明的是，在本发明实施例中，通过SSH色彩和谐模型对所述输入图集的色彩进行改变生成所述色彩和谐图集，以使取代物对所述目标视频帧图片上的待取代物进行取代后色彩更加真实自然。

S140、根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

在本发明实施例中，根据所述端点坐标集获取与所述色彩和谐图集相对应的掩膜图集，其中，所述掩膜图集为mask图集，其包括多个掩膜图；根据所述掩膜图集及所述色彩和谐图集对所述目标视频帧图片上的待取代物进行取代。具体地，根据与所述掩膜图集中的掩膜图相对应的第一区域获取所述色彩和谐图集中色彩和谐图的取代物区域，其中，所述第一区域为白色区域；根据与所述掩膜图集中的掩模图相对应的第二区域获取所述目标视频帧中除去所述待取代物后的保持区域，其中，所述第二区域为黑色区域；将所述取代物区域及所述保持区域进行叠加以对所述目标视频帧图片上的待取代物进行取代。

图2是本发明实施例提供的一种基于色彩和谐的平面追踪取代装置200的示意性框图。如图2所示，对应于以上基于色彩和谐的平面追踪取代方法，本发明还提供一种基于色彩和谐的平面追踪取代装置200。该基于色彩和谐的平面追踪取代装置200包括用于执行上述基于色彩和谐的平面追踪取代方法的单元，该装置可以被配置于终端中。具体地，请参阅图2，该基于色彩和谐的平面追踪取代装置200包括获取单元201、计算单元202、转换单元203、切割单元204以及取代单元205。

其中，所述获取单元201用于获取替代平面图中已标记的取代物的端点坐标；所述计算单元202用于根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；所述转换单元203用于根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；所述切割单元204用于根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；所述取代单元205用于根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

在某些实施例，例如本实施例中，所述计算单元202包括第一作为单元2021、输入单元2022、返回执行单元2023、第二作为单元2024、第一计算子单元2025、第二计算子单元2026以及第三作为单元2027。

其中，所述第一作为单元2021用于将与目标视频帧相对应的第一帧图片上的待取代物的初始端点坐标作为当前端点坐标；所述输入单元2022用于将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标；所述返回执行单元2023用于将所述待取代物的端点坐标作为所述当前端点坐标，并返回执行所述将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标的步骤，直至求出与所述目标视频帧相对应的所有帧图片上的待取代物的端点坐标为止；所述第二作为单元2024用于将除去所述初始端点坐标的所有所述待取代物的端点坐标作为端点坐标集；所述第一计算子单元2025用于根据所述初始端点坐标及所述取代物的端点坐标计算单应矩阵；所述第二计算子单元2026用于根据所述端点坐标集及所述取代物的端点坐标计算单应矩阵子集，其中，所述单应矩阵子集包括多个单应矩阵，所述多个单应矩阵与所述端点坐标集中多个端点坐标相对应；所述第三作为单元2027用于将所述单应矩阵及所述单应矩阵子集作为单应矩阵集。

在某些实施例，例如本实施例中，所述转换单元203包括第一转换子单元2031及第二转换子单元2032。

其中，所述第一转换子单元2031用于根据所述单应矩阵对所述替代平面图上的取代物进行单应性转换以得到输入图；所述第二转换子单元2032用于根据所述单应矩阵子集对所述替代平面图上的取代物进行单应性转换以得到输入图子集，并将所述输入图及所述输入图子集作为输入图集。

在某些实施例，例如本实施例中，所述切割单元204包括第一切割子单元2041、第二切割子单元2042、提取单元2043以及融合单元2044。

其中，所述第一切割子单元2041用于根据所述初始端点坐标对与所述目标视频帧相对应的第一帧图片上的待取代物进行切割以得到色泽参考图；所述第二切割子单元2042用于根据所述端点坐标集对与所述目标视频帧相对应的除去第一帧图片的剩余帧图片上的取代物进行切割以得到色泽参考图子集，并将所述色泽参考图子集及所述色泽参考图作为色泽参考图集；所述提取单元2043用于通过预设的色彩和谐模型分别提取所述色泽参考图集及所述输入图集中的色彩特征集及取代物特征集；所述融合单元2044用于将所述色彩特征集及所述取代物特征集进行色彩融合以得到色彩和谐图集。

本发明实施例的基于色彩和谐的平面追踪取代装置200的具体实现方式与上述基于色彩和谐的平面追踪取代方法相对应，在此不再赘述。

上述基于色彩和谐的平面追踪取代装置可以实现为一种计算机程序的形式，该计算机程序可以在如图3所示的计算机设备上运行。

请参阅图3，图3是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300为终端，终端可以是智能手机、台式电脑、手提电脑、平板电脑等具有通信功能的电子设备。

参阅图3，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。

该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于色彩和谐的平面追踪取代方法。

该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。

该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于色彩和谐的平面追踪取代方法。

该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取替代平面图中已标记的取代物的端点坐标；根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

在某些实施例，例如本实施例中，处理器302在实现所述根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集步骤时，具体实现如下步骤：将与目标视频帧相对应的第一帧图片上的待取代物的初始端点坐标作为当前端点坐标；将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标；将所述待取代物的端点坐标作为所述当前端点坐标，并返回执行所述将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标的步骤，直至求出与所述目标视频帧相对应的所有帧图片上的待取代物的端点坐标为止；将除去所述初始端点坐标的所有所述待取代物的端点坐标作为端点坐标集。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集步骤时，具体实现如下步骤：根据所述初始端点坐标及所述取代物的端点坐标计算单应矩阵；根据所述端点坐标集及所述取代物的端点坐标计算单应矩阵子集，其中，所述单应矩阵子集包括多个单应矩阵，所述多个单应矩阵与所述端点坐标集中多个端点坐标相对应；将所述单应矩阵及所述单应矩阵子集作为单应矩阵集。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集步骤时，具体实现如下步骤：根据所述单应矩阵对所述替代平面图上的取代物进行单应性转换以得到输入图；根据所述单应矩阵子集对所述替代平面图上的取代物进行单应性转换以得到输入图子集，并将所述输入图及所述输入图子集作为输入图集。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集步骤时，具体实现如下步骤：根据所述初始端点坐标对与所述目标视频帧相对应的第一帧图片上的待取代物进行切割以得到色泽参考图；根据所述端点坐标集对与所述目标视频帧相对应的除去第一帧图片的剩余帧图片上的取代物进行切割以得到色泽参考图子集，并将所述色泽参考图子集及所述色泽参考图作为色泽参考图集。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集步骤时，具体实现如下步骤：通过预设的色彩和谐模型分别提取所述色泽参考图集及所述输入图集中的色彩特征集及取代物特征集；将所述色彩特征集及所述取代物特征集进行色彩融合以得到色彩和谐图集。

在某些实施例，例如本实施例中，处理器302在实现所述根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代步骤时，具体实现如下步骤：根据所述端点坐标集获取与所述色彩和谐图集相对应的掩膜图集；根据所述掩膜图集及所述色彩和谐图集对所述目标视频帧图片上的待取代物进行取代。

应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述基于色彩和谐的平面追踪取代方法的实施例的流程步骤。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或取代，这些修改或取代都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于色彩和谐的平面追踪取代方法，其特征在于，包括：

获取替代平面图中已标记的取代物的端点坐标；

根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；

根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；

根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；

根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

2.根据权利要求1所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，包括：

将与目标视频帧相对应的第一帧图片上的待取代物的初始端点坐标作为当前端点坐标；

将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标；

将所述待取代物的端点坐标作为所述当前端点坐标，并返回执行所述将所述当前端点坐标输入预设平面追踪算法以得到与目标视频帧相对应的下一帧图片上的待取代物的端点坐标的步骤，直至求出与所述目标视频帧相对应的所有帧图片上的待取代物的端点坐标为止；

将除去所述初始端点坐标的所有所述待取代物的端点坐标作为端点坐标集。

3.根据权利要求2所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集，包括：

根据所述初始端点坐标及所述取代物的端点坐标计算单应矩阵；

根据所述端点坐标集及所述取代物的端点坐标计算单应矩阵子集，其中，所述单应矩阵子集包括多个单应矩阵，所述多个单应矩阵与所述端点坐标集中多个端点坐标相对应；

将所述单应矩阵及所述单应矩阵子集作为单应矩阵集。

4.根据权利要求3所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集，包括：

根据所述单应矩阵对所述替代平面图上的取代物进行单应性转换以得到输入图；

根据所述单应矩阵子集对所述替代平面图上的取代物进行单应性转换以得到输入图子集，并将所述输入图及所述输入图子集作为输入图集。

5.根据权利要求4所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，包括：

根据所述初始端点坐标对与所述目标视频帧相对应的第一帧图片上的待取代物进行切割以得到色泽参考图；

根据所述端点坐标集对与所述目标视频帧相对应的除去第一帧图片的剩余帧图片上的取代物进行切割以得到色泽参考图子集，并将所述色泽参考图子集及所述色泽参考图作为色泽参考图集。

6.根据权利要求5所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集，包括：

通过预设的色彩和谐模型分别提取所述色泽参考图集及所述输入图集中的色彩特征集及取代物特征集；

将所述色彩特征集及所述取代物特征集进行色彩融合以得到色彩和谐图集。

7.根据权利要求6所述的基于色彩和谐的平面追踪取代方法，其特征在于，所述根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代，包括：

根据所述端点坐标集获取与所述色彩和谐图集相对应的掩膜图集；

根据所述掩膜图集及所述色彩和谐图集对所述目标视频帧图片上的待取代物进行取代。

8.一种基于色彩和谐的平面追踪取代装置，其特征在于，包括：

获取单元，用于获取替代平面图中已标记的取代物的端点坐标；

计算单元，用于根据目标视频帧中第一帧图片上的待取代物的初始端点坐标及预设平面追踪算法确定端点坐标集，并根据所述端点坐标集、所述初始端点坐标以及所述取代物的端点坐标计算单应矩阵集；

转换单元，用于根据所述单应矩阵集对所述替代平面图上的取代物进行单应性转换以得到输入图集；

切割单元，用于根据所述端点坐标集及所述初始端点坐标对所述目标视频帧图片上的待取代物进行切割以得到色泽参考图集，并根据所述色泽参考图集、所述输入图集以及预设的色彩和谐模型得到色彩和谐图集；

取代单元，用于根据所述色彩和谐图集、所述端点坐标集以及所述初始端点坐标对所述目标视频帧图片上的待取代物进行取代。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于色彩和谐的平面追踪取代方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现如权利要求1-7中任一项所述的基于色彩和谐的平面追踪取代方法。

Images