CN111787227A - 基于跟踪拍摄的风格迁移方法及装置 - Google Patents

Abstract

本申请提供一种基于跟踪拍摄的风格迁移方法及装置，基于跟踪拍摄的风格迁移方法包括：确定目标跟踪对象；根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；发送所述实时风格迁移画面至用户终端，以使所述用户终端显示所述实时风格迁移画面。本申请基于跟踪拍摄的风格迁移方法及装置，通过对跟踪拍摄画面进行实时风格迁移，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

Description

基于跟踪拍摄的风格迁移方法及装置

技术领域

本申请涉及视觉处理技术领域，具体而言，涉及一种基于跟踪拍摄的风格迁移方法及装置。

背景技术

跟踪拍摄是指摄像设备始终跟随运动中的被摄主体，随时拍下被摄主体的影像的拍摄方式。跟踪拍摄能够通过相对稳定的画框和被摄主体的不可预测的运动，将其动作、神态和性格特点较充分地表现出来，是一种较为方便，且拍摄效果较好的拍摄方式。

手持云台相机是一种常见的可采用跟踪拍摄方式的摄像设备，目前，通过手持云台相机进行跟踪拍摄得到的跟踪拍摄影像普遍比较单一，无法直接获得不同风格或效果的跟踪拍摄影像，因而难以满足用户对拍摄影像的风格或效果的需求。

发明内容

本申请实施例的目的在于提供一种基于跟踪拍摄的风格迁移方法及装置，通过对跟踪拍摄画面进行实时风格迁移，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

第一方面，本申请实施例提供了一种基于跟踪拍摄的风格迁移方法，包括：

确定目标跟踪对象；

根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；

对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

发送所述实时风格迁移画面至用户终端，以使所述用户终端显示所述实时风格迁移画面。

在上述实现过程中，本申请实施例的基于跟踪拍摄的风格迁移方法，在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面后，通过对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，并发送实时风格迁移画面至用户终端，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

进一步地，在所述确定目标跟踪对象之前，所述方法还包括：

获取初始拍摄画面；

发送所述初始拍摄画面至用户终端，以使所述用户终端显示所述初始拍摄画面；

接收所述用户终端发送的用户输入信息；

所述确定目标跟踪对象，包括：

根据所述用户输入信息，确定目标跟踪对象。

在上述实现过程中，该方法通过发送初始拍摄画面至用户终端，接收用户终端发送的用户输入信息，根据用户输入信息，确定目标跟踪对象，使得本申请实施例的基于跟踪拍摄的风格迁移方法能让用户通过用户终端对目标跟踪对象进行选择，进而对用户选择的目标跟踪对象进行跟踪拍摄，进而得到对应的实时风格迁移画面，通过此种方式可增强跟踪拍摄的灵活度及用户体验。

进一步地，在所述获取初始拍摄画面之后，所述根据所述用户输入信息，确定目标跟踪对象之前，所述方法还包括：

根据预设的卷积神经网络模型对所述初始拍摄画面进行分析，得到所述初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息；

所述根据所述用户输入信息，确定目标跟踪对象，包括：

根据所述用户输入信息和所述初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，确定目标跟踪对象。

在上述实现过程中，该方法通过预设的卷积神经网络模型先得到初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，进而在确定目标跟踪对象时，根据用户输入信息结合初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，可以更为准确、有效地确定目标跟踪对象。

进一步地，所述目标跟踪对象处于所述跟踪拍摄画面的中心位置；

所述根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面，包括：

获取当前拍摄图像；

根据所述当前拍摄图像，获得所述目标跟踪对象的中心位置变化信息及尺度变化信息；

根据所述目标跟踪对象的中心位置变化信息及尺度变化信息调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面。

在上述实现过程中，该方法在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面时，通过当前拍摄图像获得目标跟踪对象的中心位置变化信息及尺度变化信息，调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，较好地保障目标跟踪对象处于跟踪拍摄画面的中心位置，提高了跟踪拍摄的精准度，同时，也能有效地减少目标跟踪对象发生剧烈形变，进而较好地保障对目标跟踪对象的跟踪拍摄的效果。

进一步地，所述根据所述当前拍摄图像，获得所述目标跟踪对象的中心位置变化信息及尺度变化信息，包括：

根据所述当前拍摄图像及预设的孪生全卷积网络模型，获得孪生模板图像及搜索区域特征图；

根据所述预设的孪生全卷积网络模型对所述搜索区域特征图进行卷积处理，得到对应的响应图；

根据所述响应图中峰值的位置信息估计得到所述目标跟踪对象的中心位置变化信息；

根据所述当前拍摄图像、预设的目标检测网络模型及所述当前拍摄图像的目标语义分割信息，获得所述目标跟踪对象的尺度变化信息。

在上述实现过程中，该方法通过上述方式可以较为准确、可靠地获得目标跟踪对象的中心位置变化信息及尺度变化信息，进而可以提高对目标跟踪对象的跟踪拍摄的效果。

进一步地，所述对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，包括：

调低所述跟踪拍摄画面的跟踪拍摄图像的图像分辨率；

对处理后的跟踪拍摄图像及风格模板图像进行局部特征和全局特征的提取，构建得到对应的仿射双边网格；

根据预设的高分辨率网络模型对处理后的跟踪拍摄图像进行切分；

利用所述仿射双边网格作用于切分后的跟踪拍摄图像，并利用三线性插值调高切分后的跟踪拍摄图像的图像分辨率，得到实时风格迁移画面。

在上述实现过程中，该方法通过上述方式大大地减少了对跟踪拍摄画面进行风格迁移的时间，可以极为快速地得到风格迁移画面，从而达到对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面的效果，较好地保障用户的用户终端可实时地获得风格迁移后的跟踪拍摄影像。

进一步地，所述对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，包括：

根据所述跟踪拍摄画面的当前场景，确定风格迁移推荐模板；

根据所述跟踪拍摄画面及所述风格迁移推荐模板，得到风格迁移推荐画面；

发送所述风格迁移推荐模板及所述风格迁移推荐画面至用户终端，以使所述用户终端显示所述风格迁移推荐模板及所述风格迁移推荐画面；

接收所述用户终端发送的用户确认信息；

根据所述用户确认信息对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面。

在上述实现过程中，该方法通过跟踪拍摄画面的当前场景，发送风格迁移推荐模板及风格迁移推荐画面至用户终端，根据用户终端发送的用户确认信息对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，使得本申请实施例的基于跟踪拍摄的风格迁移方法能根据用户选择的风格迁移类型，得到对应的实时风格迁移画面，通过此种方式增强了风格迁移的灵活度及用户体验，从而可以进一步满足用户对拍摄影像的风格或效果的需求。

第二方面，本申请实施例提供了一种基于跟踪拍摄的风格迁移装置，包括：

确定模块，用于确定目标跟踪对象；

跟踪拍摄模块，用于根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；

风格迁移模块，用于对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

发送模块，用于发送所述实时风格迁移画面至用户终端，以使所述用户终端显示所述实时风格迁移画面。

在上述实现过程中，本申请实施例的基于跟踪拍摄的风格迁移装置，在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面后，通过对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，并发送实时风格迁移画面至用户终端，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

第三方面，本申请实施例提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于跟踪拍摄的风格迁移方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于跟踪拍摄的风格迁移方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例一提供的基于跟踪拍摄的风格迁移方法的第一流程示意图；

图2为本申请实施例一提供的基于跟踪拍摄的风格迁移方法的第二流程示意图；

图3为本申请实施例一提供的步骤S150的流程示意图；

图4为本申请实施例一提供的步骤S160的流程示意图；

图5为本申请实施例二提供的基于跟踪拍摄的风格迁移装置的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

手持云台相机是一种常见的可采用跟踪拍摄方式的摄像设备，目前，通过手持云台相机进行跟踪拍摄得到的跟踪拍摄影像普遍比较单一，无法直接获得不同风格或效果的跟踪拍摄影像，因而难以满足用户对拍摄影像的风格或效果的需求。

针对上述现有技术中的问题，本申请提供了一种基于跟踪拍摄的风格迁移方法及装置，通过对跟踪拍摄画面进行实时风格迁移，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

实施例一

参见图1，图1为本申请实施例提供的基于跟踪拍摄的风格迁移方法的第一流程示意图。本申请实施例中下述的基于跟踪拍摄的风格迁移方法可应用于手持云台相机或手持DV机。

本申请实施例主要以基于跟踪拍摄的风格迁移方法应用于手持云台相机进行相关解释说明。本申请实施例中的手持云台相机与用户终端通讯连接，用户终端可以是手机或平板电脑。

本申请实施例的基于跟踪拍摄的风格迁移方法，包括如下步骤：

步骤S140，确定目标跟踪对象。

在本实施例中，目标跟踪对象通常是可运动的被摄主体，可运动的被摄主体通常可以是人、宠物或车辆等等。

可选地，目标跟踪对象可以是手持云台相机根据当前拍摄画面进行确定，例如，手持云台相机的当前拍摄画面主要包含的可运动的被摄主体为用户，则可根据当前拍摄画面确定目标跟踪对象为用户。

可选地，目标跟踪对象也可以是用户通过手持云台相机预先设定的。

步骤S150，根据目标跟踪对象调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面。

在本实施例中，摄像部件即为手持云台相机的摄像部件。摄像部件的拍摄参数可以是手持云台相机的摄像部件的拍摄焦距、拍摄画面的分辨率及拍摄位姿等常规拍摄参数中的至少一种。

可选地，在根据目标跟踪对象调整摄像部件的拍摄参数时，可根据目标跟踪对象在当前拍摄画面的位置及画面占比来调整摄像部件的拍摄参数。

跟踪拍摄画面可以是跟踪拍摄图像或跟踪拍摄视频。

步骤S160，对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面。

在本实施例中，在对跟踪拍摄画面进行实时风格迁移时，可根据跟踪拍摄画面的场景智能地确定风格迁移的类型，进而根据确定的风格迁移的类型对跟踪拍摄画面进行实时风格迁移；在对跟踪拍摄画面进行实时风格迁移时，风格迁移的类型也可以是用户预先设定的。

可选地，在对跟踪拍摄画面进行实时风格迁移时，可以是对跟踪拍摄画面的全画面进行风格迁移；也可以是仅对跟踪拍摄画面的前景(即目标跟踪对象)或背景进行风格迁移；也可以是对跟踪拍摄画面的前景(即目标跟踪对象)或背景分别进行不同类型的风格迁移。

步骤S170，发送实时风格迁移画面至用户终端，以使用户终端显示实时风格迁移画面。

在本实施例中，用户终端可显示接收到的实时风格迁移画面，获得风格迁移后的跟踪拍摄影像。

本申请实施例的基于跟踪拍摄的风格迁移方法，在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面后，通过对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，并发送实时风格迁移画面至用户终端，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

在手持云台相机跟踪拍摄之前，有时用户通过手持云台相机预先设定目标跟踪对象并不太方便，尤其是手持云台相机的当前拍摄画面较为杂乱时，为了能让用户通过用户终端对目标跟踪对象进行选择，以便于用户确定目标跟踪对象，本申请实施例提供一种可能的实施方式，参见图2，图2为本申请实施例提供的基于跟踪拍摄的风格迁移方法的第二流程示意图，本申请实施例的基于跟踪拍摄的风格迁移方法，在步骤S140，确定目标跟踪对象之前，还可以包括如下步骤：

步骤S110，获取初始拍摄画面；

步骤S120，发送初始拍摄画面至用户终端，以使用户终端显示初始拍摄画面；

步骤S130，接收用户终端发送的用户输入信息；

在确定目标跟踪对象时，根据用户输入信息，确定目标跟踪对象。

初始拍摄画面可以是初始拍摄图像。用户终端可通过预定的程序显示接收到的初始拍摄画面，进而用户可通过用户终端选择目标跟踪对象，例如，用户可通过在用户终端的触摸屏幕上进行点选以选择目标跟踪对象，在此情况下，用户输入信息可以是用户在用户终端的触摸屏幕上的点选位置。

在上述过程中，该方法通过发送初始拍摄画面至用户终端，接收用户终端发送的用户输入信息，根据用户输入信息，确定目标跟踪对象，使得本申请实施例的基于跟踪拍摄的风格迁移方法能让用户通过用户终端对目标跟踪对象进行选择，进而对用户选择的目标跟踪对象进行跟踪拍摄，进而得到对应的实时风格迁移画面，通过此种方式可增强跟踪拍摄的灵活度及用户体验。

可选地，在获取初始拍摄画面之后，根据用户输入信息，确定目标跟踪对象之前，本申请实施例的基于跟踪拍摄的风格迁移方法，还可以包括如下步骤：

根据预设的卷积神经网络模型对初始拍摄画面进行分析，得到初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息；

在根据所述用户输入信息，确定目标跟踪对象时，根据用户输入信息和初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，确定目标跟踪对象。

预设的卷积神经网络模型是预先训练好的模型，其用于对初始拍摄画面进行分析，得到初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息。

在上述过程中，该方法通过预设的卷积神经网络模型先得到初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，进而在确定目标跟踪对象时，根据用户输入信息结合初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，可以更为准确、有效地确定目标跟踪对象。

在手持云台相机对目标跟踪对象进行跟踪拍摄时，目标跟踪对象处于跟踪拍摄画面的中心位置，为了较好地保障目标跟踪对象处于跟踪拍摄画面的中心位置，本申请实施例提供一种可能的实施方式，参见图3，图3为本申请实施例提供的步骤S150的流程示意图，本申请实施例的基于跟踪拍摄的风格迁移方法，步骤S150，根据目标跟踪对象调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面，可包括如下步骤：

步骤S151，获取当前拍摄图像；

步骤S152，根据当前拍摄图像，获得目标跟踪对象的中心位置变化信息及尺度变化信息；

步骤S153，根据目标跟踪对象的中心位置变化信息及尺度变化信息调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面。

可以理解地，目标跟踪对象的中心位置变化信息即目标跟踪对象的中心位置的变化情况，例如，目标跟踪对象的中心位置变化信息可以是目标跟踪对象的中心位置的偏移信息。目标跟踪对象的尺度变化信息可以是目标跟踪对象的画面占比的变化信息。

在上述过程中，该方法在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面时，通过当前拍摄图像获得目标跟踪对象的中心位置变化信息及尺度变化信息，调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，较好地保障目标跟踪对象处于跟踪拍摄画面的中心位置，提高了跟踪拍摄的精准度，同时，也能有效地减少目标跟踪对象发生剧烈形变，进而较好地保障对目标跟踪对象的跟踪拍摄的效果。

可选地，在步骤S152，根据当前拍摄图像，获得目标跟踪对象的中心位置变化信息及尺度变化信息时，可：

根据当前拍摄图像及预设的孪生全卷积网络模型，获得孪生模板图像及搜索区域特征图；

根据预设的孪生全卷积网络模型对搜索区域特征图进行卷积处理，得到对应的响应图；

根据响应图中峰值的位置信息估计得到目标跟踪对象的中心位置变化信息；

根据当前拍摄图像、预设的目标检测网络模型及当前拍摄图像的目标语义分割信息，获得目标跟踪对象的尺度变化信息。

预设的孪生全卷积网络模型及预设的目标检测网络模型均是预先训练好的模型。

孪生模板图像即为当前拍摄图像上一帧的图像，搜索区域特征图即基于孪生模板图像的搜索区域，在当前拍摄图像的搜索区域的特征图。

当前拍摄图像的目标语义分割信息也即目标跟踪对象在当前拍摄图像的语义分割信息。

在上述过程中，该方法通过上述方式可以较为准确、可靠地获得目标跟踪对象的中心位置变化信息及尺度变化信息，进而可以提高对目标跟踪对象的跟踪拍摄的效果。

参见图4，图4为本申请实施例提供的步骤S160的流程示意图。

作为一种可选的实施方式，本申请实施例的基于跟踪拍摄的风格迁移方法，步骤S160，对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，可包括如下步骤：

步骤S161，调低跟踪拍摄画面的跟踪拍摄图像的图像分辨率；

步骤S162，对处理后的跟踪拍摄图像及风格模板图像进行局部特征和全局特征的提取，构建得到对应的仿射双边网格；

步骤S163，根据预设的高分辨率网络模型对处理后的跟踪拍摄图像进行切分；

步骤S164，利用仿射双边网格作用于切分后的跟踪拍摄图像，并利用三线性插值调高切分后的跟踪拍摄图像的图像分辨率，得到实时风格迁移画面。

在上述过程中，该方法通过上述方式大大地减少了对跟踪拍摄画面进行风格迁移的时间，可以极为快速地得到风格迁移画面，从而达到对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面的效果，较好地保障用户的用户终端可实时地获得风格迁移后的跟踪拍摄影像。

作为一种可选的实施方式，在对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面时，可：

根据跟踪拍摄画面的当前场景，确定风格迁移推荐模板；

根据跟踪拍摄画面及风格迁移推荐模板，得到风格迁移推荐画面；

发送风格迁移推荐模板及风格迁移推荐画面至用户终端，以使用户终端显示风格迁移推荐模板及风格迁移推荐画面；

接收用户终端发送的用户确认信息；

根据用户确认信息对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面。

通常，根据跟踪拍摄画面的当前场景确定的风格迁移推荐模板为多个。

用户终端可通过预定的程序显示接收到的风格迁移推荐模板及风格迁移推荐画面，进而用户可通过用户终端选择风格迁移推荐模板或风格迁移推荐画面。

用户确认信息可以是用户选择的风格迁移推荐模板或风格迁移推荐画面。

在上述实现过程中，该方法通过跟踪拍摄画面的当前场景，发送风格迁移推荐模板及风格迁移推荐画面至用户终端，根据用户终端发送的用户确认信息对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，使得本申请实施例的基于跟踪拍摄的风格迁移方法能根据用户选择的风格迁移类型，得到对应的实时风格迁移画面，通过此种方式增强了风格迁移的灵活度及用户体验，从而可以进一步满足用户对拍摄影像的风格或效果的需求。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种基于跟踪拍摄的风格迁移装置。

参见图5，图5为本申请实施例提供的基于跟踪拍摄的风格迁移装置的结构框图。

本申请实施例的基于跟踪拍摄的风格迁移装置，包括：

确定模块210，用于确定目标跟踪对象；

跟踪拍摄模块220，用于根据目标跟踪对象调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；

风格迁移模块230，用于对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

发送模块240，用于发送实时风格迁移画面至用户终端，以使用户终端显示实时风格迁移画面。

本申请实施例的基于跟踪拍摄的风格迁移装置，在对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面后，通过对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，并发送实时风格迁移画面至用户终端，使得用户的用户终端可直接获得风格迁移后的跟踪拍摄影像，避免跟踪拍摄得到的跟踪拍摄影像单一，从而可以更好地满足用户对拍摄影像的风格或效果的需求。

作为一种可选的实施方式，本申请实施例的基于跟踪拍摄的风格迁移装置，还可包括：

获取模块，用于获取初始拍摄画面；

发送模块，用于发送初始拍摄画面至用户终端，以使用户终端显示初始拍摄画面；

接收模块，用于接收用户终端发送的用户输入信息；

上述确定模块210，可具体用于根据用户输入信息，确定目标跟踪对象。

可选地，本申请实施例的基于跟踪拍摄的风格迁移装置，还可包括：

画面分析模块，用于根据预设的卷积神经网络模型对初始拍摄画面进行分析，得到初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息；

上述确定模块210，可具体用于根据用户输入信息和初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，确定目标跟踪对象。

作为一种可选的实施方式，跟踪拍摄模块220，可具体用于：

获取当前拍摄图像；

根据当前拍摄图像，获得目标跟踪对象的中心位置变化信息及尺度变化信息；

根据目标跟踪对象的中心位置变化信息及尺度变化信息调整摄像部件的拍摄参数，对目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面。

可选地，跟踪拍摄模块220在根据当前拍摄图像，获得目标跟踪对象的中心位置变化信息及尺度变化信息时，可：

根据当前拍摄图像及预设的孪生全卷积网络模型，获得孪生模板图像及搜索区域特征图；

根据预设的孪生全卷积网络模型对搜索区域特征图进行卷积处理，得到对应的响应图；

根据响应图中峰值的位置信息估计得到目标跟踪对象的中心位置变化信息；

根据当前拍摄图像、预设的目标检测网络模型及当前拍摄图像的目标语义分割信息，获得目标跟踪对象的尺度变化信息。

作为一种可选的实施方式，风格迁移模块230，可具体用于：

调低跟踪拍摄画面的跟踪拍摄图像的图像分辨率；

对处理后的跟踪拍摄图像及风格模板图像进行局部特征和全局特征的提取，构建得到对应的仿射双边网格；

根据预设的高分辨率网络模型对处理后的跟踪拍摄图像进行切分；

利用仿射双边网格作用于切分后的跟踪拍摄图像，并利用三线性插值调高切分后的跟踪拍摄图像的图像分辨率，得到实时风格迁移画面。

作为一种可选的实施方式，风格迁移模块230，可具体用于：

根据跟踪拍摄画面的当前场景，确定风格迁移推荐模板；

根据跟踪拍摄画面及风格迁移推荐模板，得到风格迁移推荐画面；

根据用户确认信息对跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

上述发送模块，还可用于发送风格迁移推荐模板及风格迁移推荐画面至用户终端，以使用户终端显示风格迁移推荐模板及风格迁移推荐画面；

上述接收模块，还可用于接收用户终端发送的用户确认信息。

上述的基于跟踪拍摄的风格迁移装置可实施上述实施例一的基于跟踪拍摄的风格迁移方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。

本申请实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。

实施例三

本申请实施例提供一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于跟踪拍摄的风格迁移方法。

可选地，上述电子设备可以是手持云台相机或手持DV机。

另外，本申请实施例还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于跟踪拍摄的风格迁移方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于跟踪拍摄的风格迁移方法，其特征在于，包括：

确定目标跟踪对象；

根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；

对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

发送所述实时风格迁移画面至用户终端，以使所述用户终端显示所述实时风格迁移画面。

2.根据权利要求1所述的基于跟踪拍摄的风格迁移方法，其特征在于，在所述确定目标跟踪对象之前，所述方法还包括：

获取初始拍摄画面；

发送所述初始拍摄画面至用户终端，以使所述用户终端显示所述初始拍摄画面；

接收所述用户终端发送的用户输入信息；

所述确定目标跟踪对象，包括：

根据所述用户输入信息，确定目标跟踪对象。

3.根据权利要求2所述的基于跟踪拍摄的风格迁移方法，其特征在于，在所述获取初始拍摄画面之后，所述根据所述用户输入信息，确定目标跟踪对象之前，所述方法还包括：

根据预设的卷积神经网络模型对所述初始拍摄画面进行分析，得到所述初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息；

所述根据所述用户输入信息，确定目标跟踪对象，包括：

根据所述用户输入信息和所述初始拍摄画面中各拍摄对象的位置信息、尺度信息及画面占比信息，确定目标跟踪对象。

4.根据权利要求1所述的基于跟踪拍摄的风格迁移方法，其特征在于，所述目标跟踪对象处于所述跟踪拍摄画面的中心位置；

所述根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面，包括：

获取当前拍摄图像；

根据所述当前拍摄图像，获得所述目标跟踪对象的中心位置变化信息及尺度变化信息；

根据所述目标跟踪对象的中心位置变化信息及尺度变化信息调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面。

5.根据权利要求4所述的基于跟踪拍摄的风格迁移方法，其特征在于，所述根据所述当前拍摄图像，获得所述目标跟踪对象的中心位置变化信息及尺度变化信息，包括：

根据所述当前拍摄图像及预设的孪生全卷积网络模型，获得孪生模板图像及搜索区域特征图；

根据所述预设的孪生全卷积网络模型对所述搜索区域特征图进行卷积处理，得到对应的响应图；

根据所述响应图中峰值的位置信息估计得到所述目标跟踪对象的中心位置变化信息；

根据所述当前拍摄图像、预设的目标检测网络模型及所述当前拍摄图像的目标语义分割信息，获得所述目标跟踪对象的尺度变化信息。

6.根据权利要求1所述的基于跟踪拍摄的风格迁移方法，其特征在于，所述对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，包括：

调低所述跟踪拍摄画面的跟踪拍摄图像的图像分辨率；

对处理后的跟踪拍摄图像及风格模板图像进行局部特征和全局特征的提取，构建得到对应的仿射双边网格；

根据预设的高分辨率网络模型对处理后的跟踪拍摄图像进行切分；

利用所述仿射双边网格作用于切分后的跟踪拍摄图像，并利用三线性插值调高切分后的跟踪拍摄图像的图像分辨率，得到实时风格迁移画面。

7.根据权利要求1所述的基于跟踪拍摄的风格迁移方法，其特征在于，所述对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面，包括：

根据所述跟踪拍摄画面的当前场景，确定风格迁移推荐模板；

根据所述跟踪拍摄画面及所述风格迁移推荐模板，得到风格迁移推荐画面；

发送所述风格迁移推荐模板及所述风格迁移推荐画面至用户终端，以使所述用户终端显示所述风格迁移推荐模板及所述风格迁移推荐画面；

接收所述用户终端发送的用户确认信息；

根据所述用户确认信息对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面。

8.一种基于跟踪拍摄的风格迁移装置，其特征在于，包括：

确定模块，用于确定目标跟踪对象；

跟踪拍摄模块，用于根据所述目标跟踪对象调整摄像部件的拍摄参数，对所述目标跟踪对象进行跟踪拍摄，得到跟踪拍摄画面；

风格迁移模块，用于对所述跟踪拍摄画面进行实时风格迁移，得到实时风格迁移画面；

发送模块，用于发送所述实时风格迁移画面至用户终端，以使所述用户终端显示所述实时风格迁移画面。

9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至7中任一项所述的基于跟踪拍摄的风格迁移方法。

10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于跟踪拍摄的风格迁移方法。

Images