CN114816190A - 视频跟踪处理方法、装置、电子设备及存储介质 - Google Patents

视频跟踪处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114816190A
CN114816190A CN202210254616.6A CN202210254616A CN114816190A CN 114816190 A CN114816190 A CN 114816190A CN 202210254616 A CN202210254616 A CN 202210254616A CN 114816190 A CN114816190 A CN 114816190A
Authority
CN
China
Prior art keywords
tracking
video
preset
target
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210254616.6A
Other languages
English (en)
Other versions
CN114816190B (zh
Inventor
马银建
俞志云
郑乃光
洪嘉慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210254616.6A priority Critical patent/CN114816190B/zh
Publication of CN114816190A publication Critical patent/CN114816190A/zh
Application granted granted Critical
Publication of CN114816190B publication Critical patent/CN114816190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本公开关于一种视频跟踪处理方法、装置、电子设备及存储介质，该方法包括在预设编辑页面，展示预设跟踪视频，预设跟踪视频为添加有预设跟踪素材的预设视频；响应于基于预设跟踪视频中目标关键帧触发的预设跟踪素材的移动指令，获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹；响应于视频播放指令，基于目标跟踪轨迹，播放预设跟踪视频对应的目标跟踪视频，目标跟踪轨迹为基于原始跟踪轨迹和素材偏移信息生成的轨迹。利用本公开实施例可以大大提升视频跟踪处理的便利性和效率，且可以减少一些重复编辑操作带来的系统资源浪费的情况，大大提升了视频跟踪过程中的设备性能。

Description

视频跟踪处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种视频跟踪处理方法、装置、电子设备及存储介质。
背景技术
随着计算机视觉技术的发展和电子设备的普及，利用电子设备进行视频等多媒体资源的编辑处理也越来越普及，且为了更好的满足用户需求，各种视频编辑功能也层出不穷。
相关技术中，在视频编辑过程中，可以结合贴图等素材对视频中的对象进行跟踪编辑，但相关技术中，在跟踪处理后，若用户对跟踪视频的效果不满意，需要重新调整跟踪素材的情况下，跟踪属性会丢失，用户需要重新进行跟踪编辑，导致整个跟踪处理过程操作复杂，也带来一些不必要的系统资源浪费，造成设备性能下降和视频跟踪处理效率低等问题。
发明内容
本公开提供一种视频跟踪处理方法、装置、电子设备及存储介质，以至少解决相关技术中视频跟踪处理操作繁琐，效率较低，且存在系统资源浪费和系统性能浪费等问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频跟踪处理方法，包括：
在预设编辑页面，展示预设跟踪视频，所述预设跟踪视频为添加有预设跟踪素材的预设视频；
响应于基于所述预设跟踪视频中目标关键帧触发的所述预设跟踪素材的移动指令，获取所述移动指令对应的素材偏移信息和所述预设跟踪素材对应的原始跟踪轨迹；
响应于视频播放指令，基于目标跟踪轨迹，播放所述预设跟踪视频对应的目标跟踪视频，所述目标跟踪轨迹为基于所述原始跟踪轨迹和所述素材偏移信息生成的轨迹。
在一个可选的实施例中，在所述目标关键帧包括多个关键帧的情况下，所述素材偏移信息包括与所述多个关键帧对应的多个偏移信息；所述方法还包括：
获取所述多个关键帧中相邻关键帧对间的时间差；
基于所述相邻关键帧对对应的偏移信息和所述时间差，生成所述相邻关键帧对间的目标子轨迹；
基于所述多个关键帧中相邻关键帧对间的目标子轨迹，生成所述目标跟踪轨迹。
在一个可选的实施例中，所述方法还包括：
响应于基于任一关键帧触发的关键帧调整指令，确定包括所述关键帧调整指令对应的关键帧的目标相邻关键帧对；
获取所述目标相邻关键帧对间的时间差；
基于所述目标相邻关键帧对间的时间差和所述目标相邻关键帧对对应的偏移信息，更新所述目标跟踪轨迹。
在一个可选的实施例中，在所述在预设编辑页面，展示预设跟踪视频之前，所述方法还包括：
响应于视频编辑指令，显示所述预设编辑页面，所述预设编辑页面包括所述预设视频；
响应于素材添加指令，在所述预设视频对应的预览区域添加预设素材；
响应于针对所述预设素材的跟踪指令，在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息；
响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象，所述当前视频帧为所述预设视频中展示在所述预览区域的视频帧；
基于所述预设跟踪素材、所述目标跟踪对象和所述预设视频，生成所述预设跟踪视频；
其中，所述预设跟踪素材为所述预设素材，所述预设跟踪视频为所述视频跟踪确认指令对应跟踪模式下的跟踪视频。
在一个可选的实施例中，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为目标跟踪模式的情况下，所述目标跟踪模式对应的选择状态信息为选中状态，在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息之后，所述方法还包括：
在所述预览区域展示目标选择框，所述目标选择框用于框出跟踪对象；
所述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象包括：
在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
将所述当前视频帧中所述目标选择框所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为遮挡跟踪模式的情况下，所述遮挡跟踪模式对应的选择状态信息为选中状态，所述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象包括：
在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
将所述当前视频帧中所述预设跟踪素材所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，所述基于所述预设跟踪素材、所述目标跟踪对象和所述预设视频，生成所述预设跟踪视频包括：
确定所述目标跟踪对象在所述预设视频中的运动轨迹；
基于所述运动轨迹，确定所述原始跟踪轨迹；
基于所述原始跟踪轨迹、所述预设跟踪素材和所述预设视频，生成所述预设跟踪视频。
在一个可选的实施例中，所述确定所述目标跟踪对象在所述预设视频中的运动轨迹包括：
基于预设坐标转换信息，确定所述目标跟踪对象在原始视频帧中的原始位置信息，所述原始视频帧为所述预设视频对应的原始视频中与所述当前视频帧对应的视频帧，所述预设坐标转换信息表征所述预设视频对应的画面坐标系与所述原始视频对应的原始坐标系间的转换关系；
从所述原始视频中，获取预设数量个关联视频帧；
对所述预设数量个关联视频帧和所述原始视频帧进行跟踪检测，得到所述目标跟踪对象的原始运动轨迹；
基于所述预设坐标转换信息，对所述原始运动轨迹进行坐标转换，得到所述运动轨迹。
在一个可选的实施例中，在所述预设视频与所述原始视频的视频时长不一致的情况下，所述方法还包括：
基于预设时长变更信息，确定所述当前视频帧在所述原始视频帧中对应的所述原始视频帧；
所述基于所述预设坐标转换信息，对所述原始运动轨迹进行坐标转换，得到所述运动轨迹包括：
基于所述预设坐标转换信息和所述预设时长变更信息，将所述原始运动轨迹转换成所述运动轨迹。
在一个可选的实施例中，所述方法还包括：
响应于视频跟踪确认指令，在所述预设编辑页面展示所述预设跟踪视频对应的生成进度信息，以及在所述预览区域，实时展示已生成的跟踪视频。
在一个可选的实施例中，所述预设跟踪视频对应跟踪模式为目标跟踪模式，所述预设编辑页面还包括所述预设跟踪素材的素材轨道；
在所述在预设编辑页面，展示预设跟踪视频之后，所述方法还包括：
响应于基于所述素材轨道触发的选中指令，在所述预设跟踪视频对应的预览区域，展示所述预设跟踪素材和所述预设跟踪素材对应的目标跟踪对象间的指引线。
根据本公开实施例的第二方面，提供一种视频跟踪处理装置，包括：
预设跟踪视频展示模块，被配置为执行在预设编辑页面，展示预设跟踪视频，所述预设跟踪视频为添加有预设跟踪素材的预设视频；
信息获取模块，被配置为执行响应于基于所述预设跟踪视频中目标关键帧触发的所述预设跟踪素材的移动指令，获取所述移动指令对应的素材偏移信息和所述预设跟踪素材对应的原始跟踪轨迹；
目标跟踪视频播放模块，被配置为执行响应于视频播放指令，基于目标跟踪轨迹，播放所述预设跟踪视频对应的目标跟踪视频，所述目标跟踪轨迹为基于所述原始跟踪轨迹和所述素材偏移信息生成的轨迹。
在一个可选的实施例中，在所述目标关键帧包括多个关键帧的情况下，所述素材偏移信息包括与所述多个关键帧对应的多个偏移信息；所述装置还包括：
第一时间差获取模块，被配置为执行获取所述多个关键帧中相邻关键帧对间的时间差；
目标子轨迹生成模块，被配置为执行基于所述相邻关键帧对对应的偏移信息和所述时间差，生成所述相邻关键帧对间的目标子轨迹；
目标跟踪轨迹生成模块，被配置为执行基于所述多个关键帧中相邻关键帧对间的目标子轨迹，生成所述目标跟踪轨迹。
在一个可选的实施例中，所述装置还包括：
目标相邻关键帧对确定模块，被配置为执行响应于基于任一关键帧触发的关键帧调整指令，确定包括所述关键帧调整指令对应的关键帧的目标相邻关键帧对；
第二时间差获取模块，被配置为执行获取所述目标相邻关键帧对间的时间差；
目标跟踪轨迹模块更新，被配置为执行基于所述目标相邻关键帧对间的时间差和所述目标相邻关键帧对对应的偏移信息，更新所述目标跟踪轨迹。
在一个可选的实施例中，在所述在预设编辑页面，展示预设跟踪视频之前，所述装置还包括：
预设编辑页面显示模块，被配置为执行响应于视频编辑指令，显示所述预设编辑页面，所述预设编辑页面包括所述预设视频；
预设素材添加模块，被配置为执行响应于素材添加指令，在所述预设视频对应的预览区域添加预设素材；
跟踪确认信息展示模块，被配置为执行响应于针对所述预设素材的跟踪指令，在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息；
目标跟踪对象确定模块，被配置为执行响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象，所述当前视频帧为所述预设视频中展示在所述预览区域的视频帧；
预设跟踪视频生成模块，被配置为执行基于所述预设跟踪素材、所述目标跟踪对象和所述预设视频，生成所述预设跟踪视频；
其中，所述预设跟踪素材为所述预设素材，所述预设跟踪视频为所述视频跟踪确认指令对应跟踪模式下的跟踪视频。
在一个可选的实施例中，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为目标跟踪模式的情况下，所述目标跟踪模式对应的选择状态信息为选中状态，所述装置还包括：
目标选择框展示模块，被配置为执行在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息之后，在所述预览区域展示目标选择框，所述目标选择框用于框出跟踪对象；
所述目标跟踪对象确定模块包括：
第一视频跟踪确认指令触发单元，被配置为执行在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
第一目标跟踪对象确定单元，被配置为执行将所述当前视频帧中所述目标选择框所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为遮挡跟踪模式的情况下，所述遮挡跟踪模式对应的选择状态信息为选中状态，所述目标跟踪对象确定模块包括：
第二视频跟踪确认指令触发单元，被配置为执行在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
第二目标跟踪对象确定单元，被配置为执行将所述当前视频帧中所述预设跟踪素材所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，所述预设跟踪视频生成模块包括：
运动轨迹确定单元，被配置为执行确定所述目标跟踪对象在所述预设视频中的运动轨迹；
原始跟踪轨迹确定单元，被配置为执行基于所述运动轨迹，确定所述原始跟踪轨迹；
预设跟踪视频生成单元，被配置为执行基于所述原始跟踪轨迹、所述预设跟踪素材和所述预设视频，生成所述预设跟踪视频。
在一个可选的实施例中，所述运动轨迹确定单元包括：
原始位置信息确定单元，被配置为执行基于预设坐标转换信息，确定所述目标跟踪对象在原始视频帧中的原始位置信息，所述原始视频帧为所述预设视频对应的原始视频中与所述当前视频帧对应的视频帧，所述预设坐标转换信息表征所述预设视频对应的画面坐标系与所述原始视频对应的原始坐标系间的转换关系；
关联视频帧获取单元，被配置为执行从所述原始视频中，获取预设数量个关联视频帧；
跟踪检测单元，被配置为执行对所述预设数量个关联视频帧和所述原始视频帧进行跟踪检测，得到所述目标跟踪对象的原始运动轨迹；
坐标转换单元，被配置为执行基于所述预设坐标转换信息，对所述原始运动轨迹进行坐标转换，得到所述运动轨迹。
在一个可选的实施例中，在所述预设视频与所述原始视频的视频时长不一致的情况下，所述装置还包括：
原始视频帧确定单元，被配置为执行基于预设时长变更信息，确定所述当前视频帧在所述原始视频帧中对应的所述原始视频帧；
所述坐标转换单元还被配置为执行基于所述预设坐标转换信息和所述预设时长变更信息，将所述原始运动轨迹转换成所述运动轨迹。
在一个可选的实施例中，所述装置还包括：
数据展示模块，被配置为执行响应于视频跟踪确认指令，在所述预设编辑页面展示所述预设跟踪视频对应的生成进度信息，以及在所述预览区域，实时展示已生成的跟踪视频。
在一个可选的实施例中，所述预设跟踪视频对应跟踪模式为目标跟踪模式，所述预设编辑页面还包括所述预设跟踪素材的素材轨道；所述装置还包括：
指引线展示模块，被配置为执行在所述在预设编辑页面，展示预设跟踪视频之后，响应于基于所述素材轨道触发的选中指令，在所述预设跟踪视频对应的预览区域，展示所述预设跟踪素材和所述预设跟踪素材对应的目标跟踪对象间的指引线。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一项所述方法。
根据本公开实施例的第五方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面中任一项所述方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在结合预设跟踪素材对预设视频进行跟踪处理，得到预设跟踪素材的情况下，可以响应于基于预设跟踪视频中目标关键帧触发的预设跟踪素材的移动指令，获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹，且在视频播放指令触发的情况下，可以基于原始跟踪轨迹和素材偏移信息生成的目标跟踪轨迹，展示进行素材移动微调后的目标跟踪视频，进而可以在无需重新进行素材添加等跟踪编辑的情况下，实现对跟踪后视频的调整，可以大大提升视频跟踪处理的便利性和效率，且可以减少一些重复编辑操作带来的系统资源浪费的情况，大大提升了视频跟踪过程中的设备性能。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种视频跟踪处理方法的流程图；
图2是根据一示例性实施例提供的一种展示有预设跟踪视频的预设编辑页面；
图3是根据一示例性实施例示出的一种生成预设跟踪视频的流程图；
图4是根据一示例性实施例提供的一种预设素材添加前后的预设编辑页面的示意图；
图5是根据一示例性实施例提供的一种展示至少两种跟踪模式对应的跟踪确认信息的预设编辑页面的示意图；
图6是根据一示例性实施例示出的一种基于预设跟踪素材、目标跟踪对象和预设视频，生成预设跟踪视频的流程图；
图7是根据一示例性实施例示出的一种确定目标跟踪对象在预设视频中的运动轨迹的流程图；
图8是根据一示例性实施例提供的一种展示生成进度信息和已生成跟踪视频的预设编辑页面的示意图；
图9是根据一示例性实施例提供的一种展示有跟踪操作界面的预设编辑页面；
图10是根据一示例性实施例提供的一种对预设跟踪视频进行跟踪调整过程中的预设编辑页面的示意图；
图11是根据一示例性实施例示出的一种生成目标跟踪轨迹的流程图；
图12是根据一示例性实施例示出的一种视频跟踪处理装置框图；
图13是根据一示例性实施例示出的一种用于视频跟踪处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本公开实施例提供一种视频跟踪处理方法，该视频跟踪处理方法可以应用于终端。可选的，上述终端可以为智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备，也可以为运行于上述电子设备的软体，例如应用程序等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
请参阅图1，图1是根据一示例性实施例示出的一种视频跟踪处理方法的流程图，该视频跟踪处理方法可以用于终端中，包括以下步骤。
在步骤S101中，在预设编辑页面，展示预设跟踪视频。
在一个具体的实施例中，上述预设跟踪视频可以为添加有预设跟踪素材的预设视频。可选的，预设跟踪素材为贴纸、文字等多媒体资源。
在一个具体的实施例中，如图2所示，图2是根据一示例性实施例提供的一种展示有预设跟踪视频的预设编辑页面。其中，201对应的区域可以为预览区域，预览区域可以用于展示编辑过程中的视频，202对应的轨道可以为视频轨道，视频轨道展示有预设视频中的每一视频帧。203对应的轨道可以为素材轨道，素材轨道可以用于展示与预设视频中每一帧视频帧对应的预设跟踪素材，预设跟踪素材可以为帽子贴纸。
在一个可选的实施例中，在预设编辑页面，展示预设跟踪视频之前，上述方法还可以包括：生成预设跟踪视频的步骤。具体的，如图3所示，生成预设跟踪视频的步骤可以包括：
在步骤S301中，响应于视频编辑指令，显示预设编辑页面。
在实际应用中，用户可以在初始编辑页面通过选中某一待编辑视频，以触发视频编辑指令，可选的，初始状态下(即还未进行编辑的情况下)，预设编辑页面中可展示有上述预设视频(预设编辑页面包括预设视频)，具体的，预设视频可以为基于预设编辑页面对应的预设展示尺寸对原始视频(即原始的待编辑视频)进行缩放处理后的视频。
在一个具体的实施例中，上述预设视频可以展示在预设编辑页面的预览区域。可选的，用户可以结合实际需求，对预设视频进行变换处理更新，相应的，后续可以结合变化更新后的视频进行视频跟踪处理。可选的，变换处理包括缩放、裁剪、旋转、倒放等。
在步骤S303中，响应于素材添加指令，在预设视频对应的预览区域添加预设素材。
在一个可选的实施例中，上述预设编辑页面可以设置有素材添加控件，相应的，可以基于素材添加控件触发上述素材添加指令，并将素材添加指令对应的素材作为预设素材，添加到预览区域。具体的，上述预设素材可以为贴纸、文字等多媒体资源。
在一个可选的实施例中，在添加预设素材的情况下，可以在预设编辑页面展示该预设素材对应的素材轨道。在一个具体的实施例中，如图4所示，图4是根据一示例性实施例提供的一种预设素材添加前后的预设编辑页面的示意图。其中，图4a为展示有预设视频的预设编辑页面，可选的，可以结合图4a中的贴纸控件(一种素材添加控件)，触发素材添加指令，进一步的，结合图4b所示，图4b为添加有预设素材后的预设编辑页面。
在步骤S305中，响应于针对预设素材的跟踪指令，在预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息。
在一个具体的实施例中，预设编辑页面可以设置跟踪设置控件；可选的，可以在选中预设素材对应的素材轨道的情况下，通过点击跟踪设置控件等方式，触发上述跟踪指令。可选的，在上述跟踪指令触发的情况下，预设素材可以为预设跟踪素材。
在一个具体的实施例中，上述至少两种跟踪模式可以包括：目标跟踪模式和遮挡跟踪模式。其中，目标跟踪模式可以为基于预设跟踪素材跟踪目标跟踪对象的跟踪模式；遮挡跟踪模式可以为基于预设跟踪素材跟踪目标跟踪对象，且预设跟踪素材和目标跟踪对象所在位置重叠的跟踪模式。可选的，在任一跟踪模式被选中的情况下，还可以在页面中展示相应的操作提示文本信息，或者在用户首次使用某种跟踪模式的情况下，可以在页面中展示相应的操作提示视频，以便用户清楚的掌握相应模式的编辑方式。
在一个具体的实施例中，上述至少两种跟踪模式对应的跟踪确认信息可以包括预设跟踪启动信息和至少两种跟踪模式各自对应的选择状态信息；具体的，选择状态信息可以表征对应的跟踪模式是否被选中，具体的，选择状态信息可以包括选中状态和非选中状态。
在一个具体的实施例中，如图5所示，图5是根据一示例性实施例提供的一种展示至少两种跟踪模式对应的跟踪确认信息的预设编辑页面的示意图。具体的，结合图5所示，可以通过加粗相应的文字并在选中状态对应的跟踪模式下设置预设选中标识(图5中的短横线)的方式来区分选中状态和非选中状态的选择状态信息；具体的，图5中“开始跟踪”对应的控件可以为预设跟踪启动信息；具体的，图5a所示对应的预设编辑页面可以为遮挡跟踪模式被选中情况下的预设编辑页面，图5b所示对应的预设编辑页面可以为目标跟踪模式被选中情况下的预设编辑页面。
在步骤S307中，响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定预设跟踪素材对应的目标跟踪对象。
在一个具体的实施例中，上述当前视频帧可以为预设视频中展示在预览区域的视频帧。
在一个可选的实施例中，在目标跟踪模式对应的选择状态信息为选中状态的情况下，可以通过点击预设跟踪启动信息等方式，触发上述视频跟踪确认指令，相应的，在预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息之后，上述方法还可以包括：
在预览区域展示目标选择框。
相应的，上述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定预设跟踪素材对应的目标跟踪对象可以包括：
在检测到针对预设跟踪启动信息的预设启动操作的情况下，触发视频跟踪确认指令；
将当前视频帧中目标选择框所在区域的对象作为目标跟踪对象。
在一个具体的实施例中，目标选择框可以用于框出跟踪对象；具体的，结合图5b所示，501对应的信息可以为目标选择框，可选的，可以结合501中的圆圈来调整目标选择框的位置信息，以及可以结合501中的两个箭头控件对目标选择框进行尺寸形状的调整。
在一个可选的实施例中，假设需要控制帽子贴纸(预设跟踪素材)跟踪小猫头部(目标跟踪对象)，相应的，可以将目标选择框定位到小猫头部，并将帽子贴纸移动到小猫头部的上方位置。
在一个具体的实施例中，预设启动操作可以包括但不限于点击预设跟踪启动信息的操作。
上述实施例中，结合至少两种跟踪模式对应的选择状态信息，可以有效识别跟踪模式的选择，并在选中目标跟踪模式的情况下，结合目标选择框可以快速精准的进行跟踪对象的选择，提升目标跟踪的处理效率和精准性。
在一个可选的实施例中，在遮挡跟踪模式对应的选择状态信息为选中状态的情况下，可以通过点击预设跟踪启动信息等方式，触发上述视频跟踪确认指令，相应的，上述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定预设跟踪素材对应的目标跟踪对象包括：在检测到针对预设跟踪启动信息的预设启动操作的情况下，触发视频跟踪确认指令；将当前视频帧中预设跟踪素材所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，假设需要控制帽子贴纸(预设跟踪素材)跟踪小猫脸部(目标跟踪对象)，相应的，可以将帽子贴纸移动到小猫脸部，接着，可以通过点击预设跟踪启动信息等方式，触发上述视频跟踪确认指令。
上述实施例中，结合至少两种跟踪模式对应的选择状态信息，可以有效识别跟踪模式的选择，并在选中遮挡跟踪模式的情况下，无需设置目标选择框，直接结合预设跟踪素材快速精准的进行跟踪对象的选择，可以有效提升遮挡跟踪的处理效率和精准性。
在步骤S309中，基于预设跟踪素材、目标跟踪对象和预设视频，生成预设跟踪视频；
在一个具体的实施例中，上述预设跟踪视频可以为视频跟踪确认指令对应跟踪模式下的跟踪视频。
在一个可选的实施例中，如图6所示，上述基于预设跟踪素材、目标跟踪对象和预设视频，生成预设跟踪视频可以包括以下步骤：
在步骤S601中，确定目标跟踪对象在预设视频中的运动轨迹；
在步骤S603中，基于运动轨迹，确定原始跟踪轨迹；
在步骤S605中，基于原始跟踪轨迹、预设跟踪素材和预设视频，生成预设跟踪视频。
在实际应用中，由于页面本身的视频展示尺寸要求，或者变换处理的编辑需求，上述预设视频相对于原始视频的坐标系发生了变化，相应的，如图7所示，上述确定目标跟踪对象在预设视频中的运动轨迹可以包括以下步骤：
在步骤S701中，基于预设坐标转换信息，确定目标跟踪对象在原始视频帧中的原始位置信息。
在步骤S703中，从原始视频中，获取预设数量个关联视频帧；
在步骤S705中，对预设数量个关联视频帧和原始视频帧进行跟踪检测，得到目标跟踪对象的原始运动轨迹；
在步骤S707中，基于预设坐标转换信息，对原始运动轨迹进行坐标转换，得到运动轨迹。
在一个具体的实施例中，上述原始视频帧为预设视频对应的原始视频中与当前视频帧对应的视频帧，可选的，在原始视频和预设视频的视频时长一致的情况下，可以确定当前视频帧在预设视频中对应的时间信息，并基于该时间信息，将原始视频中该时间信息对应的视频帧作为上述原始视频帧。
在一个具体的实施例中，上述预设坐标转换信息表征预设视频对应的画面坐标系与原始视频对应的原始坐标系间的转换关系；可选的，预设坐标转换信息可以为基于预设视频对应的缩放信息和/或变换处理信息进行坐标标定变换得到的。可选的，基于预设坐标转换信息，可以将目标跟踪对象在当前视频帧中的位置信息转换为目标跟踪对象在原始视频帧中的位置信息。
在一个可选的实施例中，预设数量可以结合实际应用进行设置，可选的，也可以结合当前终端的设备性能来确定预设数量，具体的，设备性能越好，预设数量越大，反之设备性能越差，预设数量越小。
在一个具体的实施例中，结合预设的目标跟踪检测网络来对预设数量个关联视频帧和原始视频帧进行跟踪检测，具体的，目标跟踪检测网络可以检测出目标跟踪对象在预设数量个关联视频帧和原始视频帧中的位置信息，接着，结合预设数量个关联视频帧和原始视频帧在原始视频中的时序信息和上述检测出的位置信息，拟合出目标跟踪对象在原始视频中的原始运动轨迹。接着，可以结合预设坐标转换信息，对原始运动轨迹进行坐标转换，得到目标跟踪对象在预设视频中的运动轨迹。
上述实施例中，结合预设坐标转换信息，定位出目标跟踪对象在原始视频的原始视频帧中的位置信息，进而可以结合原始视频中的视频帧，跟踪检测出目标跟踪对象的原始运动轨迹，有效保证检测出的原始运动轨迹的准确性，接着，结合原始运动轨迹确定出目标跟踪对象在预设视频中的运动轨迹，可以大大提升跟踪到的运动轨迹的准确性，进而可以有效提升后续的跟踪效果。
在一个具体的实施例中，在遮挡跟踪模式下，上述基于运动轨迹，确定原始跟踪轨迹可以包括将目标跟踪对象的运动轨迹作为原始跟踪轨迹。
在一个具体的实施例中，在目标跟踪模式下，上述基于运动轨迹，确定原始跟踪轨迹可以包括基于目标跟踪对象和预设跟踪素材间的相对位置信息，以及运动轨迹，生成原始跟踪轨迹。
进一步的，在确定原始跟踪轨迹的情况下，基于原始跟踪轨迹、预设跟踪素材和预设视频，生成预设跟踪视频。
上述实施例中，结合目标跟踪对象在预设视频中的运动轨迹，来确定预设跟踪素材在预设视频中的原始跟踪轨迹，可以结合原始跟踪轨迹、预设跟踪素材和预设视频，快速准确的进行跟踪视频的生成，大大提升跟踪到的运动轨迹的准确性，进而可以有效提升后续的跟踪效果。
在一个可选的实施例中，若在视频编辑过程中，截掉原始视频中的部分视频，或者对原始视频进行了变速处理，会导致预设视频与原始视频的视频时长不一致，相应的，在预设视频与原始视频的视频时长不一致的情况下，上述方法还可以包括：
基于预设时长变更信息，确定当前视频帧在原始视频帧中对应的原始视频帧；
在一个可选的实施例中，在截掉原始视频中的部分视频的场景中，预设时长变更信息可以包括视频截取信息，具体的，视频截取信息可以包括截掉的部分视频在原始视频中对应的时间段信息，相应的，可以该视频截取信息和当前视频帧在预设视频中的时间信息，确定出当前视频帧在原始视频中对应的时间信息，进而可以结合当前视频帧在原始视频中对应的时间信息，确定出上述原始视频帧。
在一个可选的实施例中，在对原始视频进行了变速处理的场景中，预设时长变更信息可以包括变速信息，具体的，变速信息可以包括变速比例，相应的，可以该变速信息和当前视频帧在预设视频中的时间信息，确定出当前视频帧在原始视频中对应的时间信息，进而可以结合当前视频帧在原始视频中对应的时间信息，确定出上述原始视频帧。
可选的，在预设视频与原始视频的视频时长不一致的情况下，上述基于预设坐标转换信息，对原始运动轨迹进行坐标转换，得到运动轨迹可以包括：基于预设坐标转换信息和预设时长变更信息，将原始运动轨迹转换成运动轨迹。
可选的，可以先结合预设坐标转换信息，将原始运动轨迹转换成在预设视频对应画面坐标系下的初始运动轨迹，并结合预设时长变更信息，将初始运动轨迹转换成上述目标跟踪对象在预设视频中的运动轨迹。
可选的，在预设时长变更信息包括视频截取信息的情况下，可以结合该视频截取信息，从初始运动轨迹中截掉对应的轨迹，得到上述目标跟踪对象在预设视频中的运动轨迹。
可选的，在预设时长变更信息包括变速信息的情况下，可以结合该变速信息，对初始运动轨迹进行相应的缩放，得到上述目标跟踪对象在预设视频中的运动轨迹。
上述实施例中，在预设视频和原始视频的视频时长不一致的情况下，结合预设时长变更信息，来进行原始视频中目标跟踪对象的定位跟踪，以及目标跟踪对象的轨迹变换，可以有效提升跟踪到的运动轨迹的准确性，进而可以有效提升后续的跟踪效果。
在一个可选的实施例中，上述方法还可以包括：
响应于视频跟踪确认指令，在预设编辑页面展示预设跟踪视频对应的生成进度信息，以及在预览区域，实时展示已生成的跟踪视频。
在一个具体的实施例中，如图8所示，图8是根据一示例性实施例提供的一种展示生成进度信息和已生成跟踪视频的预设编辑页面的示意图。
上述实施例中，在视频跟踪确认指令触发的情况下，可以在生成预设跟踪视频的过程中，展示预设跟踪视频对应的生成进度信息，让用户及时掌握跟踪处理进度，且在预览区域，实时展示已生成的跟踪视频，可以让用户一边等待一边快速预览检查跟踪效果，有效节省后续单独的检查时间，提升视频跟踪处理的效率。
在一个可选的实施例中，在生成好预设跟踪视频，在预设编辑页面展示预设跟踪视频的同时，还可以展示跟踪操作界面，具体的，该跟踪操作界面可以用于重置预设跟踪视频(即清除所有的跟踪效果)，也可以用于增加新的跟踪信息。
在一个具体的实施例中，如图9所示，图9是根据一示例性实施例提供的一种展示有跟踪操作界面的预设编辑页面。可选的，该跟踪操作界面可以通过弹窗的方式展示在预设编辑页面。其中，“重置”对应的控件可以触发对预设跟踪视频的重置处理，可选的，若基于“重置”对应的控件触发了重置指令，可以结合底部弹窗询问“重置将清除所有的跟踪效果，是否重置？”的信息，可选的，用户二次确认后，可以清除所有的跟踪效果。具体的，“重新跟踪”对应的控件可以用于触发新增跟踪指令，相应的，可以重新添加跟踪素材，并进行跟踪设置。
上述实施例中，在触发针对预设素材的跟踪指令的情况下，通过在预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息，可以让用户灵活的进行不同跟踪模式的跟踪编辑，进而可以更好的满足用户需求，大大提升视频跟踪处理的灵活性和便利性。
在步骤S103中，响应于基于预设跟踪视频中目标关键帧触发的预设跟踪素材的移动指令，获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹；
在一个可选的实施例中，目标关键帧可以预设跟踪视频中所包含的预设跟踪素材被移动的视频帧。可选的，预设编辑页面可以设置关键帧选择控件，可选的，基于该关键帧选择控件，可以选择相应的目标关键帧，进而可以针对该目标关键帧进行素材移动调整，以实现跟踪效果的调整。具体的，素材偏移信息可以为移动后的预设跟踪素材相对于该预设跟踪素材移动前的位置偏移信息。
在一个具体的实施例中，如图10所示，图10是根据一示例性实施例提供的一种对预设跟踪视频进行跟踪调整过程中的预设编辑页面的示意图。其中，1001对应的控件可以为关键帧选择控件。可选的，在选中某一关键帧的情况下，可以在该关键帧对应的素材轨道上展示预设标识(图10中的菱形)，以便用户直观清楚的了解当前移动的素材。
在步骤S105中，响应于视频播放指令，基于目标跟踪轨迹，播放预设跟踪视频对应的目标跟踪视频。
在一个具体的实施例中，上述目标跟踪轨迹可以为基于原始跟踪轨迹和素材偏移信息生成的轨迹。可选的，可以在获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹的情况下，生成目标跟踪轨迹；也可以在视频播放指令触发的情况下，生成目标跟踪轨迹。
在一个具体的实施例中，在进行素材调整之后，可以点击播放按钮，以触发上述视频播放指令，相应的，可以播放预设跟踪素材沿目标跟踪轨迹移动的目标跟踪视频。
在一个具体的实施例中，上述目标关键帧可以包括一个或多个关键帧。可选的，关键帧的数量也可以由用户结合实际需求进行设置，也可以结合设备性能给出相应的数量提示。在一个具体的实施例中，在目标关键帧包括一个关键帧的情况下，可以结合该关键帧对应的素材偏移信息对原始跟踪轨迹进行整体平移，得到目标跟踪轨迹。
在一个可选的实施例中，以帽子(贴纸)跟踪视频中小猫头部的跟踪场景为例，可选的，若预设跟踪视频中，帽子贴纸遮住小猫头部过多了，可选的，可以选中一个关键帧，并在选中该关键帧的情况下，通过将帽子贴纸上移一定距离的方式，触发上述移动指令，相应的，帽子贴纸上移的距离信息可以作为素材偏移信息，并结合该素材偏移信息对原始跟踪轨迹进行整体平移，得到目标跟踪轨迹。
在另一可选的实施例中，在目标关键帧包括多个关键帧的情况下，上述素材偏移信息包括与多个关键帧对应的多个偏移信息；相应的，上述方法还可以包括：生成目标跟踪轨迹的步骤，具体的，如图11所示，生成目标跟踪轨迹可以包括以下步骤：
在步骤S1101中，获取多个关键帧中相邻关键帧对间的时间差；
在步骤S1103中，基于相邻关键帧对对应的偏移信息和时间差，生成相邻关键帧对间的目标子轨迹；
在步骤S1105中，基于多个关键帧中相邻关键帧对间的目标子轨迹，生成目标跟踪轨迹。
在一个具体的实施例中，在基于相邻关键帧对对应的偏移信息和时间差，生成相邻关键帧对间的目标子轨迹过程中，可以结合加权平均法，拟合出初始子轨迹，并结合贝塞尔曲线对初始子轨迹进行平滑处理，以得到目标子轨迹。接着，可以将多个目标子轨迹进行拼接，得到上述目标跟踪轨迹。
在一个可选的实施例中，假设预设跟踪视频为以一个帽子(贴纸)追逐视频中小猫头部的跟踪视频，在该预设跟踪视频的基础上，需要制作出当小猫受到惊吓，帽子飞起后落下的效果，相应的，该场景下可以设置多个关键帧，可选的，假设设置3个关键帧(按照时序信息依次为关键帧1、关键帧2和关键帧3)，且关键帧1对应的偏移信息为(a，b)、关键帧2对应的偏移信息为(a+c，b+d)和关键帧3对应的偏移信息为(a，b)，可选的，关键帧2可以为作为帽子飞起后的最高点，相应的，该关键帧2对应的偏移信息可以大于其他两个关键帧对应的偏移信息。具体的，可以分别获取关键帧1和关键帧2所对应的相邻关键帧对间的第一时间差、关键帧2和关键帧3所对应的相邻关键帧对间的第二时间差、以及关键帧2和关键帧3所对应的相邻关键帧对间的第三时间差；可选的，以关键帧1和关键帧2所对应的相邻关键帧对间的目标子轨迹为例，可以结合关键帧1对应的偏移信息(a，b)和关键帧2对应的偏移信息(a+c，b+d)，以及上述第一时间差拟合出关键帧1和关键帧2所对应的相邻关键帧对的目标子轨迹。具体的，关键帧1和关键帧2所对应的相邻关键帧对的目标子轨迹中每一点(t时刻对应的预设素材轨迹)对应的横坐标可以为(x+a+(c/T)＊t)，纵坐标可以为：(y+b+(d/T)＊t)，其中，T表示第一时间差。
上述实施例中，在目标关键帧包括多个关键帧的情况下，结合相邻关键帧对对应的偏移信息和时间差，拟合出相邻关键帧对间的目标子轨迹，然后，再结合多个关键帧中相邻关键帧对间的目标子轨迹，构建目标跟踪轨迹，可以实现跟踪后的轨迹调整，在提升生成的目标跟踪轨迹的平滑性的基础上，更好的满足了用户对跟踪效果的不同需求。
在一个可选的实施例中，用户可以根据跟踪效果，进行关键帧位置调整，进而可以使得最终的跟踪轨迹更平滑，跟踪效果更符合用户需求，相应的，上述方法还可以包括：
响应于基于任一关键帧触发的关键帧调整指令，确定包括关键帧调整指令对应的关键帧的目标相邻关键帧对；
获取目标相邻关键帧对间的时间差；
基于目标相邻关键帧对间的时间差和目标相邻关键帧对对应的偏移信息，更新目标跟踪轨迹。
在一个具体的实施例中，结合图10所示，可以通过控制预设标识在素材轨道中的移动，触发相应的关键帧调整指令。相应的，在任一关键帧调整的情况下，可以重新获取包括调整的关键帧的目标相邻关键帧对，进而可以重新获取相应的时间差，以重新拟合出目标跟踪轨迹。
上述实施例中，通过提供关键帧调整功能，可以更好的让用户根据跟踪效果，进行跟踪调整，进而可以使得最终的跟踪轨迹更平滑，跟踪效果更符合用户需求。
在一个可选的实施例中，在预设跟踪视频对应跟踪模式为目标跟踪模式的情况下，在预设编辑页面，展示预设跟踪视频之后，上述方法还可以包括：
响应于基于预设跟踪素材对应的素材轨道触发的选中指令，在预设跟踪视频对应的预览区域，展示预设跟踪素材和预设跟踪素材对应的目标跟踪对象间的指引线。
在一个具体的实施例中，可以通过点击素材轨道等方式触发上述选中指令。上述指引线可以连接预设跟踪素材的中心和目标跟踪对象的中心。在一个具体的实施例中，如图10所示，1002对应的虚线可以为指引线。可选的，在用户调整预设跟踪素材的过程中，上述指引线可以实现更新调整，以便用户直观的了解理解素材位置调整对跟踪结果的影响。
上述实施例中，在预设跟踪素材对应的素材轨道选中的情况下，通过在预设跟踪素材和目标跟踪对象间展示指引线，可以帮助用户清楚直观的了解预设跟踪素材跟踪的对象，进而可以更好提升用户体验。
由以上本说明书实施例提供的技术方案可见，本说明书中在结合预设跟踪素材对预设视频进行跟踪处理，得到预设跟踪素材的情况下，可以响应于基于预设跟踪视频中目标关键帧触发的预设跟踪素材的移动指令，获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹，且在视频播放指令触发的情况下，可以基于原始跟踪轨迹和素材偏移信息生成的目标跟踪轨迹，展示进行素材移动微调后的目标跟踪视频，进而可以在无需重新进行素材添加等跟踪编辑的情况下，实现对跟踪后视频的调整，可以大大提升视频跟踪处理的便利性和效率，且可以减少一些重复编辑操作带来的系统资源浪费的情况，大大提升了视频跟踪过程中的设备性能。
图12是根据一示例性实施例示出的一种视频跟踪处理装置框图。参照图12，该装置包括：
预设跟踪视频展示模块1210，被配置为执行在预设编辑页面，展示预设跟踪视频，预设跟踪视频为添加有预设跟踪素材的预设视频；
信息获取模块1220，被配置为执行响应于基于预设跟踪视频中目标关键帧触发的预设跟踪素材的移动指令，获取移动指令对应的素材偏移信息和预设跟踪素材对应的原始跟踪轨迹；
目标跟踪视频播放模块1230，被配置为执行响应于视频播放指令，基于目标跟踪轨迹，播放预设跟踪视频对应的目标跟踪视频，目标跟踪轨迹为基于原始跟踪轨迹和素材偏移信息生成的轨迹。
在一个可选的实施例中，在目标关键帧包括多个关键帧的情况下，素材偏移信息包括与多个关键帧对应的多个偏移信息；上述装置还包括：
第一时间差获取模块，被配置为执行获取多个关键帧中相邻关键帧对间的时间差；
目标子轨迹生成模块，被配置为执行基于相邻关键帧对对应的偏移信息和时间差，生成相邻关键帧对间的目标子轨迹；
目标跟踪轨迹生成模块，被配置为执行基于多个关键帧中相邻关键帧对间的目标子轨迹，生成目标跟踪轨迹。
在一个可选的实施例中，上述装置还包括：
目标相邻关键帧对确定模块，被配置为执行响应于基于任一关键帧触发的关键帧调整指令，确定包括关键帧调整指令对应的关键帧的目标相邻关键帧对；
第二时间差获取模块，被配置为执行获取目标相邻关键帧对间的时间差；
目标跟踪轨迹模块更新，被配置为执行基于目标相邻关键帧对间的时间差和目标相邻关键帧对对应的偏移信息，更新目标跟踪轨迹。
在一个可选的实施例中，在预设编辑页面，展示预设跟踪视频之前，上述装置还包括：
预设编辑页面显示模块，被配置为执行响应于视频编辑指令，显示预设编辑页面，预设编辑页面包括预设视频；
预设素材添加模块，被配置为执行响应于素材添加指令，在预设视频对应的预览区域添加预设素材；
跟踪确认信息展示模块，被配置为执行响应于针对预设素材的跟踪指令，在预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息；
目标跟踪对象确定模块，被配置为执行响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定预设跟踪素材对应的目标跟踪对象，当前视频帧为预设视频中展示在预览区域的视频帧；
预设跟踪视频生成模块，被配置为执行基于预设跟踪素材、目标跟踪对象和预设视频，生成预设跟踪视频；
其中，预设跟踪素材为预设素材，预设跟踪视频为视频跟踪确认指令对应跟踪模式下的跟踪视频。
在一个可选的实施例中，至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和至少两种跟踪模式各自对应的选择状态信息；
在视频跟踪确认指令对应跟踪模式为目标跟踪模式的情况下，目标跟踪模式对应的选择状态信息为选中状态，上述装置还包括：
目标选择框展示模块，被配置为执行在预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息之后，在预览区域展示目标选择框，目标选择框用于框出跟踪对象；
目标跟踪对象确定模块包括：
第一视频跟踪确认指令触发单元，被配置为执行在检测到针对预设跟踪启动信息的预设启动操作的情况下，触发视频跟踪确认指令；
第一目标跟踪对象确定单元，被配置为执行将当前视频帧中目标选择框所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和至少两种跟踪模式各自对应的选择状态信息；
在视频跟踪确认指令对应跟踪模式为遮挡跟踪模式的情况下，遮挡跟踪模式对应的选择状态信息为选中状态，目标跟踪对象确定模块包括：
第二视频跟踪确认指令触发单元，被配置为执行在检测到针对预设跟踪启动信息的预设启动操作的情况下，触发视频跟踪确认指令；
第二目标跟踪对象确定单元，被配置为执行将当前视频帧中预设跟踪素材所在区域的对象作为目标跟踪对象。
在一个可选的实施例中，预设跟踪视频生成模块包括：
运动轨迹确定单元，被配置为执行确定目标跟踪对象在预设视频中的运动轨迹；
原始跟踪轨迹确定单元，被配置为执行基于运动轨迹，确定原始跟踪轨迹；
预设跟踪视频生成单元，被配置为执行基于原始跟踪轨迹、预设跟踪素材和预设视频，生成预设跟踪视频。
在一个可选的实施例中，运动轨迹确定单元包括：
原始位置信息确定单元，被配置为执行基于预设坐标转换信息，确定目标跟踪对象在原始视频帧中的原始位置信息，原始视频帧为预设视频对应的原始视频中与当前视频帧对应的视频帧，预设坐标转换信息表征预设视频对应的画面坐标系与原始视频对应的原始坐标系间的转换关系；
关联视频帧获取单元，被配置为执行从原始视频中，获取预设数量个关联视频帧；
跟踪检测单元，被配置为执行对预设数量个关联视频帧和原始视频帧进行跟踪检测，得到目标跟踪对象的原始运动轨迹；
坐标转换单元，被配置为执行基于预设坐标转换信息，对原始运动轨迹进行坐标转换，得到运动轨迹。
在一个可选的实施例中，在预设视频与原始视频的视频时长不一致的情况下，上述装置还包括：
原始视频帧确定单元，被配置为执行基于预设时长变更信息，确定当前视频帧在原始视频帧中对应的原始视频帧；
坐标转换单元还被配置为执行基于预设坐标转换信息和预设时长变更信息，将原始运动轨迹转换成运动轨迹。
在一个可选的实施例中，上述装置还包括：
数据展示模块，被配置为执行响应于视频跟踪确认指令，在预设编辑页面展示预设跟踪视频对应的生成进度信息，以及在预览区域，实时展示已生成的跟踪视频。
在一个可选的实施例中，预设跟踪视频对应跟踪模式为目标跟踪模式，预设编辑页面还包括预设跟踪素材的素材轨道；上述装置还包括：
指引线展示模块，被配置为执行在预设编辑页面，展示预设跟踪视频之后，响应于基于素材轨道触发的选中指令，在预设跟踪视频对应的预览区域，展示预设跟踪素材和预设跟踪素材对应的目标跟踪对象间的指引线。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13是根据一示例性实施例示出的一种用于视频跟踪处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频跟踪处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的视频跟踪处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的视频跟踪处理方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的视频跟踪处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种视频跟踪处理方法，其特征在于，包括：
在预设编辑页面，展示预设跟踪视频，所述预设跟踪视频为添加有预设跟踪素材的预设视频；
响应于基于所述预设跟踪视频中目标关键帧触发的所述预设跟踪素材的移动指令，获取所述移动指令对应的素材偏移信息和所述预设跟踪素材对应的原始跟踪轨迹；
响应于视频播放指令，基于目标跟踪轨迹，播放所述预设跟踪视频对应的目标跟踪视频，所述目标跟踪轨迹为基于所述原始跟踪轨迹和所述素材偏移信息生成的轨迹。
2.根据权利要求1所述的视频跟踪处理方法，其特征在于，在所述目标关键帧包括多个关键帧的情况下，所述素材偏移信息包括与所述多个关键帧对应的多个偏移信息；所述方法还包括：
获取所述多个关键帧中相邻关键帧对间的时间差；
基于所述相邻关键帧对对应的偏移信息和所述时间差，生成所述相邻关键帧对间的目标子轨迹；
基于所述多个关键帧中相邻关键帧对间的目标子轨迹，生成所述目标跟踪轨迹。
3.根据权利要求2所述的视频跟踪处理方法，其特征在于，所述方法还包括：
响应于基于任一关键帧触发的关键帧调整指令，确定包括所述关键帧调整指令对应的关键帧的目标相邻关键帧对；
获取所述目标相邻关键帧对间的时间差；
基于所述目标相邻关键帧对间的时间差和所述目标相邻关键帧对对应的偏移信息，更新所述目标跟踪轨迹。
4.根据权利要求1至3任一所述的视频跟踪处理方法，其特征在于，在所述在预设编辑页面，展示预设跟踪视频之前，所述方法还包括：
响应于视频编辑指令，显示所述预设编辑页面，所述预设编辑页面包括所述预设视频；
响应于素材添加指令，在所述预设视频对应的预览区域添加预设素材；
响应于针对所述预设素材的跟踪指令，在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息；
响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象，所述当前视频帧为所述预设视频中展示在所述预览区域的视频帧；
基于所述预设跟踪素材、所述目标跟踪对象和所述预设视频，生成所述预设跟踪视频；
其中，所述预设跟踪素材为所述预设素材，所述预设跟踪视频为所述视频跟踪确认指令对应跟踪模式下的跟踪视频。
5.根据权利要求4所述的视频跟踪处理方法，其特征在于，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为目标跟踪模式的情况下，所述目标跟踪模式对应的选择状态信息为选中状态，在所述预设编辑页面展示至少两种跟踪模式对应的跟踪确认信息之后，所述方法还包括：
在所述预览区域展示目标选择框，所述目标选择框用于框出跟踪对象；
所述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象包括：
在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
将所述当前视频帧中所述目标选择框所在区域的对象作为目标跟踪对象。
6.根据权利要求4所述的视频跟踪处理方法，其特征在于，所述至少两种跟踪模式对应的跟踪确认信息包括预设跟踪启动信息和所述至少两种跟踪模式各自对应的选择状态信息；
在所述视频跟踪确认指令对应跟踪模式为遮挡跟踪模式的情况下，所述遮挡跟踪模式对应的选择状态信息为选中状态，所述响应于基于任一跟踪模式对应的跟踪确认信息触发的视频跟踪确认指令，在当前视频帧中，确定所述预设跟踪素材对应的目标跟踪对象包括：
在检测到针对所述预设跟踪启动信息的预设启动操作的情况下，触发所述视频跟踪确认指令；
将所述当前视频帧中所述预设跟踪素材所在区域的对象作为目标跟踪对象。
7.一种视频跟踪处理装置，其特征在于，包括：
预设跟踪视频展示模块，被配置为执行在预设编辑页面，展示预设跟踪视频，所述预设跟踪视频为添加有预设跟踪素材的预设视频；
信息获取模块，被配置为执行响应于基于所述预设跟踪视频中目标关键帧触发的所述预设跟踪素材的移动指令，获取所述移动指令对应的素材偏移信息和所述预设跟踪素材对应的原始跟踪轨迹；
目标跟踪视频播放模块，被配置为执行响应于视频播放指令，基于目标跟踪轨迹，播放所述预设跟踪视频对应的目标跟踪视频，所述目标跟踪轨迹为基于所述原始跟踪轨迹和所述素材偏移信息生成的轨迹。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的视频跟踪处理方法。
9.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的视频跟踪处理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至6中任一项所述的视频跟踪处理方法。
CN202210254616.6A 2022-03-15 2022-03-15 视频跟踪处理方法、装置、电子设备及存储介质 Active CN114816190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210254616.6A CN114816190B (zh) 2022-03-15 2022-03-15 视频跟踪处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210254616.6A CN114816190B (zh) 2022-03-15 2022-03-15 视频跟踪处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114816190A true CN114816190A (zh) 2022-07-29
CN114816190B CN114816190B (zh) 2024-05-17

Family

ID=82529664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210254616.6A Active CN114816190B (zh) 2022-03-15 2022-03-15 视频跟踪处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114816190B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074639A (zh) * 2023-01-17 2023-05-05 北京达佳互联信息技术有限公司 图像生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120313A1 (en) * 2011-11-15 2013-05-16 Sony Corporation Information processing apparatus, information processing method, and program
CN106358069A (zh) * 2016-10-31 2017-01-25 维沃移动通信有限公司 一种视频数据处理方法及移动终端
CN112311966A (zh) * 2020-11-13 2021-02-02 深圳市前海手绘科技文化有限公司 一种短视频中动态镜头制作的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120313A1 (en) * 2011-11-15 2013-05-16 Sony Corporation Information processing apparatus, information processing method, and program
CN106358069A (zh) * 2016-10-31 2017-01-25 维沃移动通信有限公司 一种视频数据处理方法及移动终端
CN112311966A (zh) * 2020-11-13 2021-02-02 深圳市前海手绘科技文化有限公司 一种短视频中动态镜头制作的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聚族映像: "剪映教程 | 巧用关键帧制作跟踪效果（实战技巧）", 《《HTTPS://WWW.BILIBILI.COM/VIDEO/BV1SL4Y18729/?SPM_ID_FROM=333.337.SEARCH-CARD.ALL.CLICK》》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116074639A (zh) * 2023-01-17 2023-05-05 北京达佳互联信息技术有限公司 图像生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114816190B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
JP7286684B2 (ja) 顔に基づく特殊効果発生方法、装置および電子機器
CN103576848B (zh) 手势操作方法和手势操作装置
CN113452941B (zh) 视频生成方法、装置、电子设备及存储介质
US20220078358A1 (en) System for automatic video reframing
CN110636365B (zh) 视频字符添加方法、装置、电子设备及存储介质
EP3677322A1 (en) Virtual scene display method and device, and storage medium
JP7395070B1 (ja) ビデオ処理方法及び装置、電子設備及びコンピュータ読み取り可能な記憶媒体
CN114520877A (zh) 视频录制方法、装置和电子设备
WO2022002151A1 (zh) 一种移动目标行为分析的实现方法、装置及电子设备
US11941728B2 (en) Previewing method and apparatus for effect application, and device, and storage medium
CN112954201B (zh) 拍摄控制方法、装置和电子设备
CN110572717A (zh) 视频编辑方法和装置
CN114816190B (zh) 视频跟踪处理方法、装置、电子设备及存储介质
CN114302009A (zh) 视频处理方法、装置、电子设备及介质
US7844901B1 (en) Circular timeline for video trimming
WO2019218622A1 (zh) 元素控制方法、装置、设备及存储介质
CN115049574A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN115729544A (zh) 桌面组件生成方法、装置、电子设备和可读存储介质
CN115237293A (zh) 图片编辑方法、装置、设备及存储介质
CN113873319A (zh) 视频处理方法、装置、电子设备及存储介质
CN114357554A (zh) 模型的渲染方法、渲染装置、终端、服务器和存储介质
CN114650370A (zh) 图像拍摄方法、装置、电子设备及可读存储介质
JPH10187759A (ja) 動画アンカー表示、選択、設定装置および動画アンカーを用いた動画ハイパーメディア装置と動画提供システム
CN114025237A (zh) 视频生成方法、装置和电子设备
CN114173178B (zh) 视频播放方法、视频播放装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant