CN110309721A - 视频处理方法、终端和存储介质 - Google Patents

视频处理方法、终端和存储介质 Download PDF

Info

Publication number
CN110309721A
CN110309721A CN201910472462.6A CN201910472462A CN110309721A CN 110309721 A CN110309721 A CN 110309721A CN 201910472462 A CN201910472462 A CN 201910472462A CN 110309721 A CN110309721 A CN 110309721A
Authority
CN
China
Prior art keywords
image
background image
adjacent images
background
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910472462.6A
Other languages
English (en)
Other versions
CN110309721B (zh
Inventor
马春洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910472462.6A priority Critical patent/CN110309721B/zh
Publication of CN110309721A publication Critical patent/CN110309721A/zh
Application granted granted Critical
Publication of CN110309721B publication Critical patent/CN110309721B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种视频处理方法、终端和存储介质，该方法包括：在待处理视频中提取图像序列；在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对关键点在相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；根据背景图像的移动信息和预设全景图像，替换图像的背景图像，根据替换背景图像后的图像序列，合成替换背景图像后的视频。本实施例中根据前后相邻的图像中的背景图像的移动信息替代终端的移动信息，根据终端的移动信息将预设全景信息替换图像中的背景图像，进而在保证了在没有借助其他设备的前提下，保证了合成视频不具有违和感。

Description

视频处理方法、终端和存储介质
技术领域
本申请涉及视频处理技术领域，尤其涉及一种视频处理方法、终端和存储介质。
背景技术
全景图像和传统图像相比，具有连贯性、多线性、多角度、临场感、大空间、高交互等优点。全景图像可提供更丰富的视觉信息、强烈沉浸感，带给用户更真实和有趣味的视觉体验。目前，很多用户均会采用具有拍摄功能的终端拍摄视频。例如，用户的自拍视频中，视频中的前景图像为用户，背景图像可以为风景等图像。若将全景图像替换自拍视频中的背景图像，则可以给用户带来丰富和新颖的视觉体验和趣味性。
拍摄视频时，终端大多沿着不同的轨迹移动。现有技术中为了降低全景图像替换视频中的背景图像带来的违和感，通常会依据终端中设置的重力传感器和加速度传感器等确定终端的移动信息，进而根据移动信息将全景图像替换背景图像。但这种方式依赖于其他设备，如重力传感器、加速度传感器等，适用范围小。
发明内容
本申请提供一种视频处理方法、终端和存储介质，能够在不借助其他设备的前提下，将全景图像替换视频中的背景图像。
本申请的第一方面提供一种视频处理方法，包括：
在待处理视频中提取图像序列，所述图像序列包括：按照时间顺序排列的多个图像，所述图像序列中相邻的两个图像的背景图像中包括匹配的关键点对；
在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；
根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；
根据所述替换背景图像后的图像序列，合成替换背景图像后的视频。
可选的，所述背景图像的移动信息包括：所述背景图像的旋转角度序列；所述根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息，包括：
根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标和深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离；
根据在所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及所述图像序列中的每个图像在水平方向上、竖直方向的尺寸、所述待处理视频的拍摄视角，获取在所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；
根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，获取所述背景图像的旋转角度序列。
可选的，所述获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，包括：
根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标，获取每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值；
根据每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值，以及每对所述关键点在所述相邻的两个图像中的深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
可选的，所述背景图像的旋转角度序列包括：所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；所述根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，包括：
将所述预设全景图像投影至球体表面；
以球体中心为视角，根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，在预设全景图像中获取所述相邻的两个图像对应的目标全景图像，所述相邻的两个图像对应的目标全景图像相对于所述球体中心的视角的旋转视角，与所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同；
将所述目标全景图像替换所述相邻的两个图像中前一个图像或后一个图像的背景图像。
可选的，所述方法还包括：
对所述图像序列中的每个图像的像素块进行分类，获取所述每个图像的前景图像和前景掩码图，所述前景掩码图用于表征所述前景图像中的像素块和图像坐标的对应关系，每个所述图像的前景图像中的像素块均属于每个所述图像的前景图像；
所述将目标全景图像替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列，包括：
在所述相邻的两个图像对应的目标全景图像中，抠出所述相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块；
将所述相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至所述目标全景图像中抠出所述前景掩码图对应的像素块中，获取替换背景图像后的图像序列。
可选的，所述匹配的多对关键点为：匹配的多对像素块，所述在相邻的两个图像的背景图像中获取匹配的多对关键点之前，还包括：
对所述图像序列中的每个图像的像素块进行分类，获取每个所述图像的背景图像，每个所述图像的背景图像中的像素块均属于每个所述图像的背景图像；
获取所述每个图像的每个像素块的深度值；
根据所述每个图像的每个像素块的像素坐标，获取所述每个图像的背景图像对应的像素块的深度值。
可选的，所述在相邻的两个图像的背景图像中获取匹配的多对关键点之前，还包括：
在所述图像序列中的每个图像的背景图像中获取多个候选关键点；
并对相邻的两个图像的背景图像中的关键点进行特征匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
本申请的第二方面提供一种终端，包括：
视频处理模块，用于在待处理视频中提取图像序列，所述图像序列包括：按照时间顺序排列的多个图像，所述图像序列中相邻的两个图像的背景图像中包括匹配的关键点对；
图像处理模块，用于在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；根据所述替换背景图像后的图像序列，合成替换背景图像后的视频。
可选的，所述背景图像的移动信息包括：所述背景图像的旋转角度序列。
可选的，图像处理模块，具体用于根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标和深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离；根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及所述图像序列中的每个图像在水平方向上、竖直方向的尺寸、所述待处理视频的拍摄视角，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，获取所述背景图像的旋转角度序列。
可选的，图像处理模块，具体用于根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标，获取每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值；根据每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值，以及每对所述关键点在所述相邻的两个图像中的深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
可选的，所述背景图像的旋转角度序列包括：所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度。
可选的，图像处理模块，具体用于将所述预设全景图像投影至球体表面；以球体中心为视角，根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，在预设全景图像中获取所述相邻的两个图像对应的目标全景图像，所述相邻的两个图像对应的目标全景图像相对于所述球体中心的视角的旋转视角，与所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同；将所述目标全景图像替换所述相邻的两个图像中前一个图像或后一个图像的背景图像。
可选的，图像处理模块，还用于对所述图像序列中的每个图像的像素块进行分类，获取所述每个图像的前景图像和前景掩码图，所述前景掩码图用于表征所述前景图像中的像素块和图像坐标的对应关系，每个所述图像的前景图像中的像素块均属于每个所述图像的前景图像。
可选的，图像处理模块，还具体用于在所述相邻的两个图像对应的目标全景图像中，抠出所述相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块；将所述相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至所述目标全景图像中抠出所述前景掩码图对应的像素块中，获取替换背景图像后的图像序列。
可选的，图像处理模块，还用于对所述图像序列中的每个图像的像素块进行分类，获取每个所述图像的背景图像，每个所述图像的背景图像中的像素块均属于每个所述图像的背景图像；获取所述每个图像的每个像素块的深度值；根据所述每个图像的每个像素块的像素坐标，获取所述每个图像的背景图像对应的像素块的深度值。
可选的，图像处理模块，还用于在所述图像序列中的每个图像的背景图像中获取多个候选关键点；并对相邻的两个图像的背景图像中的关键点进行特征匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
本申请的第三方面提供一种终端，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述终端执行上述视频处理方法。
本申请的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现上述视频处理方法。
本申请提供一种视频处理方法、终端和存储介质，该方法根据前后相邻的图像中的背景图像的移动信息替代终端的移动信息，根据终端的移动信息将预设全景信息替换图像中的背景图像，进而在保证了在没有借助其他设备的前提下，保证了合成视频不具有违和感。
附图说明
图1为本申请提供的视频处理方法的流程示意图一；
图2为本申请提供的视频处理方法的流程示意图二；
图3为本申请提供的预设全景图像投影至球体表面的示意图；
图4为本申请提供的终端的结构示意图一；
图5为本申请提供的终端的结构示意图二。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请的实施例，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了更为清楚地说明本申请中的视频处理方法，下述对现有技术中的全景图像替换视频中的背景图像的方法进行说明。
应理解，本申请中获取视频的设备可以为具有拍摄功能的终端。本申请中的终端包括但不选限于为移动终端或固定终端。移动终端设备包括但不限于手机、个人数字助理(Personal Digital Assistant，简称：PDA)、平板电脑、便携设备(例如，便携式计算机、袖珍式计算机或手持式计算机)等。固定终端包括但不限于台式计算机、影音设备、智能电视等。
视频中的背景图像为单幅图像，而一幅完整的全景图像通常由多个单幅图像拼接在一起形成，能够为用户提供真实和有趣味的视觉体验。现有技术中，将全景图像替换视频中的背景图像，以增加视频的趣味性。但通常的做法是直接将预设的全景图像直接对视频中的背景图像进行替换，由于终端在拍摄视频的过程中，经常会沿着不规则的轨迹移动，若不考虑终端的移动直接对背景图像进行替换，则替换后的全景图像会与视频中的前景图像存在违和感。例如，前景图像为用户，用户在全景图像中的位置过高或过低等。
为了避免上述违和感，现有技术还通常会依据终端中设置的重力传感器和加速度传感器等设备确定终端的移动信息，根据移动信息将全景图像替换背景图像。但这种方式对于未设置上述传感器的终端则不适用。
为了解决上述问题，本申请提供了一种视频处理方法，根据视频中的图像中的像素块的信息，获取终端的移动信息，以达到在不借助其他设备的前提下，将全景图像替换视频中的背景图像。应理解，本申请中的视频处理方法的执行主体可以为拍摄视频的终端，也可以为其他视频处理装置，该视频处理装置用于获取终端拍摄的视频，对视频进行处理后，可以将处理后的视频发送给终端。下述均以视频处理方法的执行主体为终端对本申请提供的视频处理方法进行说明。
图1为本申请提供的视频处理方法的流程示意图一。如图1所示，本实施例提供的视频处理方法可以包括：
S101，在待处理视频中提取图像序列，图像序列包括：按照时间顺序排列的多个图像，图像序列中相邻的两个图像的背景图像中包括匹配的关键点对。
待处理视频是由多帧图像组合而成的。本实施例中可以从待处理视频中提取多个图像，获取图像序列。其中，图像序列中的多个图像是按照时间顺序排列的。
本实施例中可以对待处理视频进行截帧，获取图像序列。可选的，截帧的方式可以为逐帧截帧、周期性截帧或每秒截N帧等。其中，逐帧截帧为根据形成视频的多帧图像的时间顺序获取每一帧图像，对应的，图像序列里包括待处理视频对应的每一帧图像。周期性截帧为在待处理图像中，每隔相同的时间获取一帧图像，例如，图像序列里包括待处理视频1s、2s、3s等周期性获取的多帧图像。每秒截N帧为在待处理图像中每秒内获取N帧图像，应理解，每秒的视频对应有多帧图像。
应理解，待处理视频为包含有前景图像和背景图像的视频。例如，自拍视频，其中，自拍视频中的前景图像为用户，背景图像可以为室内外风景等。本实施例中可以按照上述任一种截帧方式获取图像序列，其中，图像序列中相邻的两个图像的背景图像中包括匹配的关键点对。其中，关键点对中包括：在相邻的两个图像中，每个图像的背景图像中的一个关键点，该两个关键点形成一个关键点对。匹配的关键点指的是该两个关键点为匹配的关键点。
S102，在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对关键点在相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息。
本实施例中可以对图像序列中的每个图像的像素块进行分类，获取每个图像的背景图像。其中，每个图像的背景图像中的像素块均属于每个图像的背景图像。分类模型可以基于神经网络、向量机、贝叶斯等方法获取。
可选的，本实施例中的分类模型可以为语义分割模型，其中，语义分割模型可以用于表征像素块的像素特征和像素块属于背景图像的对应关系。本实施例中，可以将图像序列输入至语义分割模型中，以使语义分割模型对图像序列中的每个图像的像素块进行语义分割，获取每个图像的背景图像。通俗来讲，语义分割模型可以根据图像中的每个像素块的像素特征对像素块进行分类，将像素块特征与背景图像对应的像素块的特征相同或相似的像素块，作为背景图像对应的像素块，进而获取图像序列中的每个图像的背景图像。
由于视频中背景图像的移动可以表征终端的移动，因此本实施例中根据图像序列中的每个图像的背景图像的移动信息，确定终端的移动信息。由于多个图像中的背景图像是相对静止的，因此本实施例中可以在获取图像序列中的每个图像的背景图像后，对相邻的两个图像的背景图像中的关键点进行提取和匹配，进而根据相邻的两个图像的背景图像的匹配的关键点的信息，获取背景图像的移动信息。应理解，其中匹配的多对关键点即为匹配的多对像素块，匹配的像素块可以看作是在不同图像中的具有相同特征的同一像素块。本实施例中对于图像序列中任意两个相邻的图像均进行背景图像中的关键点的提取和匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
示例性的，本实施例可以在图像序列中的每个图像的背景图像中获取多个候选关键点，并对相邻的两个图像的背景图像中的关键点进行特征匹配，进而获取相邻的两个图像的背景图像中匹配的多对关键点。
可选的，本实施例中可以采用尺度不变特征转换(Scale-invariant featuretransform，SIFT)算法、加速尺度不变特征(Speeded Up Robust Features，SURF)算法、FAST特征点检测算法、二进制独立基本特征(Binary Robust Independent ElementaryFeatures，BRIEF)算法、或结合FAST特征点检测算法和二进制独立基本特征算法的ORB(Oriented FAST and Rotated BRIEF)算法等，对图像序列中的相邻的两个图像的背景图像中的关键点进行提取和匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
本实施例中为了获取背景图像的移动信息，需要对相邻的两个图像的背景图像中获取匹配的多对关键点的信息进行分析，其中多对关键点的信息包括关键点在相邻的两个图像中的图像坐标和深度值。应理解，关键点为图像中的像素块，像素块在图像中的图像坐标可以在图像中直接获取。应理解，关键点的深度值指存储像素块所用的位数，也用于量度图像的色彩分辨率。
可选的，本实施例中采用深度模型，获取多对关键点在图像中的深度值，或者采用其他现有获取深度值的方式获取多对关键点在图像中的深度值。其中，深度模型也可以是基于神经网络、向量机、贝叶斯等方法获取。深度模型用于表征像素块的像素特征和深度值的对应关系，即将图像输入至该深度模型中，即可获取该图像中每个像素块的深度值。本实施例中对如何获取深度模型的方法不做赘述。
下述对本实施例中采用深度模型获取多对关键点在图像中的深度值的两种可选的方式进行说明。
其中，第一种可以实现的方式为：在对相邻两个图像的背景图像中的关键点进行匹配后，采用深度模型获取每个图像的背景图像中的每个像素块的深度值，进而根据匹配的多对关键点，获取多对关键点的深度值。其中，相邻两个图像的背景图像中的多对关键点的深度值，即为本实施例中的相邻的两个图像中的多对关键点的深度值。
第二种可以实现的方式为：采用深度模型获取，获取图像序列中的每个图像中每个像素块的深度值，在对相邻两个图像的背景图像中的关键点进行匹配后，根据匹配的多对关键点，获取多对关键点的深度值。该可以实现的方式与第一种方式的不同点在于：获取多对关键点的深度值的对象不同。
具体的，第一种方式是在获取图像序列中的每个图像的背景图像后，对背景图像中的像素块进行深度值的计算，而第二种方式是获取图像序列后，对图像序列中的每个图像中的像素块进行深度值的计算。其中，第二方式相较于第一种方式，由于进行深度值计算的对象具有更广的深度参考范围，即有前景图像和背景图像，能够获取更为准确的深度值。采用以上两种方式均可以达到本实施例中的目的，只是相较而言第二种方式具有更高的准确性。
在获取多对关键点在相邻的两个图像中的图像坐标和深度值后，本实施例中根据多对关键点在相邻的两个图像中的图像坐标和深度值，可以获取相邻的两个图像中后一个图像相较于前一个图像的移动信息，即背景的移动信息。
可选的，本实施例中可以根据每对关键点的图像坐标和深度值，获取每对关键点在水平方向、竖直方向以及深度方向上的旋转距离。其中，深度方向为关键点相对于图像中的第一像素块的距离，第一像素块为深度值为0的像素块。本实施例中可以根据每对关键点在水平方向、竖直方向以及深度方向上的旋转距离获取每对关键点的旋转角度，该旋转角度为在空间中的旋转角度。例如，以相邻的两个图像中前一个图像中的一个关键点的图像坐标和深度值为原点建立三维坐标系，根据每对关键点在水平方向、竖直方向以及深度方向上的旋转距离，获取相对于原点的旋转距离，进而获取相对于原点在空间上的旋转角度。本实施例中可以将相邻的两个图像的背景图像中匹配的多对关键点的旋转角度的均值，作为相邻的两个图像的背景图像的旋转角度。应理解，本实施例中的背景图像的移动信息可以为该旋转角度。对应的，对于每相邻两个图像，均可以获取后一个图像中的背景图像相对于前一个图像中的背景图像的旋转角度。
S103，根据背景图像的移动信息和预设全景图像，替换相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列。
本实施例中预先存储有多个全景图像，该全景图像可以为预先制作的风景类全景图像或其他类型的全景图像。本实施例中的预设全景图像可以为在对视频进行处理前用户自定义的全景图像。可选的，终端可以显示预先存储的多个全景图像供用户进行选择，用户选择的全景图像即为本实施例中的预设全景图像。
由于预设全景图像为360度全景图像，因此本实施例中可以根据背景图像的移动信息，将预设全景图像替换相邻的两个图像中前一个图像或后一个图像的背景图像。可选的，可以设置预设全景图像中的0度所在的平面。根据上述获取的背景图像的旋转角度，以0度所在的平面在预设全景图像中获取与旋转角度具有相同角度的目标全景图像，并将该目标全景图像替换相邻的两个图像中前一个图像或后一个图像的背景图像。
对应的，对于每相邻两个图像，均可以根据旋转角度获取目标全景图像，因此可以将目标全景图像替换对应的相邻两个图像中的前一个图像或后一个图像的背景图像，即对图像序列中除最后一个图像之外的其他图像均进行替换，或者对图像序列中除第一个图像之外的其他图像均进行替换，获取替换背景图像后的图像序列。
S104，根据替换背景图像后的图像序列，合成替换背景图像后的视频。
替换背景图像后的图像序列中的图像也是按照时间顺序排列的。本实施例中，可以采用基于BSD开源的跨平台计算机视觉库opencv或Matlab等方式，将多个替换背景图像后、按照时间顺序排列的图像合成视频，得到合成替换背景图像后的视频。
本实施例中提供的视频处理方法包括：在待处理视频中获取图像序列，图像序列包括：按照时间顺序从待处理视频中提取的多个图像；在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对关键点在相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；根据背景图像的移动信息和预设全景图像，替换相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；根据替换背景图像后的图像序列，合成替换背景图像后的视频。本实施例中根据前后相邻的图像中的背景图像的移动信息替代终端的移动信息，根据终端的移动信息将预设全景信息替换图像中的背景图像，进而在保证了在没有借助其他设备的前提下，保证了合成视频不具有违和感。
下述实施例对上述中获取背景图像的移动信息，以及如何根据背景图像的移动信息和预设全景图像对背景图像进行替换进行详细说明。下面首先结合图2对本申请提供的视频处理方法进行进一步说明。图2为本申请提供的视频处理方法的流程示意图二。如图2所示，本实施例提供的视频处理方法可以包括：
S201，在待处理视频中提取图像序列。
S202，对图像序列中的每个图像的像素块进行分类，获取每个图像的背景图像、前景图像和前景掩码图。
本实施例中，可以采用分类模型对图像序列中的每个图像的像素块进行分类，获取每个图像的背景图像、前景图像和前景掩码图。应理解，分类获取的背景图像中包括的像素块均属于背景图像，同理的，前景图像中包括的像素块均属于前景图像。
可选的，分类模型可以为语义分割模型。本实施例中采用语义分割模型，可以对图像序列中的每个图像的像素块进行语义分割，获取每个图像的背景图像、前景图像和前景掩码图。上述实施例中对采用语义分割模型获取每个图像的背景图像进行了说明。同理的，语义分割模型还用于表征像素块的像素特征和像素块属于前景图像的对应关系，即将图像输入至语义分割模型后，可以同时确定该图像的前景图像和背景图像。通俗来说，语义分割模型可以用于根据输入图像的每个像素块的像素特征，以及属于前景图像的像素块特征和属于背景图像的像素块特征，对图像属于前景和背景的区域进行划分，属于前景的像素块的组合即为前景图像，属于背景的像素块的组合即为背景图像。
本实施例中的前景掩码图用于表征前景图像中的像素块和图像坐标的对应关系。可选的，在获取前景图像后，可以建立前景图像与前景图像对应的像素块的图像坐标的对应关系，即为前景掩码图。
S203，在相邻的两个图像的背景图像中获取匹配的多对关键点。
S204，根据每对关键点在相邻的两个图像中的图像横坐标、图像纵坐标和深度值，获取在相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
本实施例中对于每相邻的两个图像的背景图像中的多对关键点的处理方式相同，下述均以图像序列中的第i个图像和第i+1个图像为相邻的两个图像进行说明。
示例性的，第i个图像和第i+1个图像中匹配的多对关键点分别为{(k1i，k1i+1)、(k2i，k2i+1)……},其中一个括号里面代表匹配的一对关键点，其中k1i代表在第i个图像中的第一个关键点，k1i+1代表在第i+1个图像中的第一个关键点，以此类推。其中，第i个图像中的关键点k1i，k2i等对应的深度值分别为d1i，d2i……，同理的，第i个图像中的关键点k1i，k2i等对应的深度值分别为d1i，d2i……。
可选的，本实施例中可以根据每对关键点在相邻的两个图像中的图像横坐标、图像纵坐标，获取每对关键点在相邻的两个图像中的图像横坐标差值和图像纵坐标差值。其中，图像横坐标差值和图像纵坐标差值分别可以表示相邻两个图像中的背景图像在水平方向上、竖直方向上的移动距离。
根据每对关键点在相邻的两个图像中的图像横坐标差值和图像纵坐标差值，以及每对关键点在相邻的两个图像中的深度值，获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。可选的，本实施例中，采用关键点对应的深度值，分别对关键点的图像横坐标差值和图像纵坐标差值进行加权处理，分别获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
示例性的，本实施例可以采用下述公式一获取第i+1个图像中背景图像相对于第i个图像中背景图像，在水平方向上的旋转距离Dxi。
其中，j表示第i个图像和第i+1个图像中匹配有j对关键点；Djx表示第i个图像和第i+1个图像中第j对匹配的关键点的图像横坐标的差值；dj表示深度值。可选的，dj可以为第i个图像中第j个关键点的深度值，或者第i+1个图像中第j个关键点的深度值，或者为第j个关键点在第i个图像和第i+1个图像中深度值的均值。
本实施例可以采用下述公式二获取第i+1个图像中背景图像相对于第i个图像中背景图像，在竖直方向上的旋转距离Dyi。
其中，Djx表示第i个图像和第i+1个图像中第j对匹配的关键点的图像纵坐标的差值；dj可以与上述公式一中的dj相等。
S205，根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及图像序列中的每个图像在水平方向上、竖直方向的尺寸、待处理视频的拍摄视角，获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度。
本实施例中的背景图像的移动信息包括：背景图像的旋转角度序列。其中，背景图像的旋转角度序列是由相邻两个图像的背景图像在水平方向上、竖直方向上的旋转角度组成的。其中，相邻两个图像的背景图像在水平方向上、竖直方向上的旋转角度即为相邻两个图像的背景图像在水平方向上的旋转角度和在竖直方向上的旋转角度。
可选的，本实施例中可以根据背景图像在水平方向上的旋转距离、每个图像在水平方向的尺寸和待处理视频的拍摄视角，获取背景图像在水平方向上的旋转角度。以及，根据背景图像在竖直方向上的旋转距离、每个图像在竖直方向的尺寸和待处理视频的拍摄视角，获取背景图像在竖直方向上的旋转角度。
应理解，本实施例中的每个图像在水平方向上的尺寸和竖直方向的尺寸是相同的。图像在水平方向上的尺寸、在竖直方向的尺寸，以及待处理视频的拍摄视角均是预先获取的预设参数，该预设参数与终端中设置的拍摄装置有关。
本实施例中可以采用下述公式三获取第i+1个图像中背景图像相对于第i个图像中背景图像，在水平方向上的移动角度Rxi。
其中，R表示待处理视频的拍摄视角；W表示图像在水平方向上的尺寸。
本实施例中可以采用下述公式四获取第i+1个图像中背景图像相对于第i个图像中背景图像，在竖直方向上的移动角度Ryi。
其中，H表示图像在竖直方向上的尺寸。
S206，根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，获取背景图像的旋转角度序列。
依据上述步骤S204-S205中的实施方式，可以获取图像序列中的相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度。本实施例中的背景图像的移动信息包括：背景图像的旋转角度序列。将相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，按照图像序列中的图像顺序进行排列，即可获取背景图像的旋转角度序列。
示例性的，图像序列中有3个图像，分别为图像1、图像2和图像3。若图像2中的背景图像相对于图像1中的背景图像在水平方向上、竖直方向上的旋转角度分别为(α1，β1)，图像3中的背景图像相对于图像2中的背景图像在水平方向上、竖直方向上的旋转角度分别为(α2，β2)，则对应的背景图像的旋转角度序列则为{(α1，β1)、(α2，β2)}。
S207，将预设全景图像投影至球体表面。
图3为本申请提供的预设全景图像投影至球体表面的示意图。由于预设全景图像为360度的图像，因此预设全景图像投影至球体表面后可以完全覆盖该球体。
S208，以球体中心为视角，根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，在预设全景图像中获取相邻的两个图像中目标全景图像，相邻的两个图像对应的目标全景图像相对于球体中心的视角的旋转视角，与相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同。
如图3所示，以球体中心为圆心，预先建立三维坐标系。其中，为了使得获取的目标全景图像与图像序列中的图像具有相同的尺寸，本实施例中设置预设扫描角，该扫描角不变。例如，图3中的矩形区域为获取的目标全景图像对应的视角，其具有与图像序列中的图像相同的尺寸。应理解，矩形区域为获取的目标全景图像对应的视角，指的是目标全景图像是通过矩形区域所在的视角看向预设全景图像的。其中，虚线1和虚线2、虚线3和虚线4、虚线1和虚线3，以及虚线2和虚线4之间的夹角均不变，其构成了扫描角。
可选的，背景图像的旋转角度序列包括：相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度。本实施例中，本实施例中可以以球体中心为视角，根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，对预设全景图像进行视角采样(即相对于球体中心的视角进行旋转视角的采样)，获取相邻的两个图像对应的目标全景图像。应理解，相邻的两个图像对应的目标全景图像相对于球体中心的视角的旋转视角，与相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同。该种情况下，可以使得根据预设全景图像确定的目标全景图像在替换背景图像后不具有违和感。
S209，在相邻的两个图像对应的目标全景图像中，抠出相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块。
本实施例中的目标全景图像与图像序列中的图像具有相同的尺寸。由于前景掩码图表征的是图像中的前景图像与图像坐标的对应关系，因此可以根据前景掩码图，在相邻的两个图像对应的目标全景图像中，抠出相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块。
可选的，前景掩码图可以为相邻的两个图像中前一个图像或后一个图像的中的前景图像对应的前景掩码图。本实施例中可以根据最终目标全景图像替换的图像的不同，对使用的该前景掩码图进行相应的处理。例如，本实施例中最终目标全景图像替换的是相邻的两个图像中前一个图像，则在相邻的两个图像对应的目标全景图像中，抠出相邻的两个图像中前一个图像的前景掩码图对应的像素块。
S210，将相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至目标全景图像中抠出前景掩码图对应的像素块中，获取替换背景图像后的图像序列。
由于上述步骤中已根据语义分割模型，获取每个图像的前景图像，因此在对全景图像中对应的前景区域的像素块进行扣除后，可以将相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至目标全景图像中抠出前景掩码图对应的像素块中，得到替换背景图像后图像。
应理解，本实施例中对每相邻的两个图像均进行同样的处理方式，可以得到多个替换背景图像后图像，进而获取替换背景图像后的图像序列。
S211，根据替换背景图像后的图像序列，合成替换背景图像后的视频。
本实施例中的S201、S203和S211中的实施方式可以参照上述实施例中的S101、S102和S104中的相关描述，在此不做赘述。
本实施例中，通过根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及图像序列中的每个图像在水平方向上、竖直方向的尺寸、待处理视频的拍摄视角，获取背景图像在水平方向上、竖直方向上的旋转角度，进而根据旋转角度在预设全景图像中获取目标全景图像，据此将目标全景图像替换的背景图像不存在违和感。
图4为本申请提供的终端的结构示意图一。如图4所示，该终端400包括：视频处理模块401和图像处理模块402。
视频处理模块401，用于在待处理视频中提取图像序列，图像序列包括：按照时间顺序排列的多个图像，图像序列中相邻的两个图像的背景图像中包括匹配的关键点对。
图像处理模块402，用于在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对关键点在相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；根据背景图像的移动信息和预设全景图像，替换相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；根据替换背景图像后的图像序列，合成替换背景图像后的视频。
本实施例提供的终端与上述视频处理方法实现的原理和技术效果类似，在此不作赘述。
可选的，背景图像的移动信息包括：背景图像的旋转角度序列。
可选的，图像处理模块402，具体用于根据每对关键点在相邻的两个图像中的图像横坐标、图像纵坐标和深度值，获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离；根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及图像序列中的每个图像在水平方向上、竖直方向的尺寸、待处理视频的拍摄视角，获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，获取背景图像的旋转角度序列。
可选的，图像处理模块402，具体用于根据每对关键点在相邻的两个图像中的图像横坐标、图像纵坐标，获取每对关键点在相邻的两个图像中的图像横坐标差值和图像纵坐标差值；根据每对关键点在相邻的两个图像中的图像横坐标差值和图像纵坐标差值，以及每对关键点在相邻的两个图像中的深度值，获取相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
可选的，背景图像的旋转角度序列包括：相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度。
可选的，图像处理模块402，具体用于将预设全景图像投影至球体表面；以球体中心为视角，根据相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，在预设全景图像中获取相邻的两个图像对应的目标全景图像，相邻的两个图像对应的目标全景图像相对于球体中心的视角的旋转视角，与相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同；将目标全景图像替换相邻的两个图像中前一个图像或后一个图像的背景图像。
可选的，图像处理模块402，还用于对图像序列中的每个图像的像素块进行分类，获取每个图像的前景图像和前景掩码图，前景掩码图用于表征前景图像中的像素块和图像坐标的对应关系，每个图像的前景图像中的像素块均属于每个图像的前景图像。
可选的，图像处理模块402，还具体用于在相邻的两个图像对应的目标全景图像中，抠出相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块；将相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至目标全景图像中抠出前景掩码图对应的像素块中，获取替换背景图像后的图像序列。
可选的，图像处理模块402，还用于对图像序列中的每个图像的像素块进行分类，获取每个图像的背景图像，每个图像的背景图像中的像素块均属于每个图像的背景图像；获取每个图像的每个像素块的深度值；根据每个图像的每个像素块的像素坐标，获取每个图像的背景图像对应的像素块的深度值。
可选的，图像处理模块402，还用于在图像序列中的每个图像的背景图像中获取多个候选关键点；并对相邻的两个图像的背景图像中的关键点进行特征匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
图5为本申请提供的终端的结构示意图二。如图5所示，该终端500包括：存储器501和至少一个处理器502。
存储器501，用于存储程序指令。
处理器502，用于在程序指令被执行时实现本实施例中的视频处理方法，具体实现原理可参见上述实施例，本实施例此处不再赘述。
该终端500还可以包括及输入/输出接口503。
输入/输出接口503可以包括独立的输出接口和输入接口，也可以为集成输入和输出的集成接口。其中，输出接口用于输出数据，输入接口用于获取输入的数据。
本申请还提供一种可读存储介质，可读存储介质中存储有执行指令，当终端的至少一个处理器执行该执行指令时，当计算机执行指令被处理器执行时，实现上述实施例中的视频处理方法。
本申请还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。终端的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得终端实施上述的各种实施方式提供的视频处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述终端的实施例中，应理解，处理模块可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种视频处理方法，其特征在于，包括：
在待处理视频中提取图像序列，所述图像序列包括：按照时间顺序排列的多个图像，所述图像序列中相邻的两个图像的背景图像中包括匹配的关键点对；
在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；
根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；
根据所述替换背景图像后的图像序列，合成替换背景图像后的视频。
2.根据权利要求1所述的方法，其特征在于，所述背景图像的移动信息包括：所述背景图像的旋转角度序列；所述根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息，包括：
根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标和深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离；
根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，以及所述图像序列中的每个图像在水平方向上、竖直方向的尺寸、所述待处理视频的拍摄视角，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；
根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，获取所述背景图像的旋转角度序列。
3.根据权利要求2所述的方法，其特征在于，所述获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离，包括：
根据每对所述关键点在所述相邻的两个图像中的图像横坐标、图像纵坐标，获取每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值；
根据每对所述关键点在所述相邻的两个图像中的图像横坐标差值和图像纵坐标差值，以及每对所述关键点在所述相邻的两个图像中的深度值，获取所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转距离。
4.根据权利要求2或3所述的方法，其特征在于，所述背景图像的旋转角度序列包括：所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度；所述根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，包括：
将所述预设全景图像投影至球体表面；
以球体中心为视角，根据所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度，在预设全景图像中获取所述相邻的两个图像对应的目标全景图像，所述相邻的两个图像对应的目标全景图像相对于所述球体中心的视角的旋转视角，与所述相邻的两个图像中背景图像在水平方向上、竖直方向上的旋转角度相同；
将所述目标全景图像替换所述相邻的两个图像中前一个图像或后一个图像的背景图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
对所述图像序列中的每个图像的像素块进行分类，获取所述每个图像的前景图像和前景掩码图，所述前景掩码图用于表征所述前景图像中的像素块和图像坐标的对应关系，每个所述图像的前景图像中的像素块均属于每个所述图像的前景图像；
所述获取替换背景图像后的图像序列，包括：
在所述相邻的两个图像对应的目标全景图像中，抠出所述相邻的两个图像中前一个图像或后一个图像的前景掩码图对应的像素块；
将所述相邻的两个图像中前一个图像或后一个图像的前景图像，叠加至所述目标全景图像中抠出所述前景掩码图对应的像素块中，获取替换背景图像后的图像序列。
6.根据权利要求1所述的方法，其特征在于，所述匹配的多对关键点为：匹配的多对像素块，所述在相邻的两个图像的背景图像中获取匹配的多对关键点之前，还包括：
对所述图像序列中的每个图像的像素块进行分类，获取每个所述图像的背景图像，每个所述图像的背景图像中的像素块均属于每个所述图像的背景图像；
获取所述每个图像的每个像素块的深度值；
根据所述每个图像的每个像素块的像素坐标，获取所述每个图像的背景图像对应的像素块的深度值。
7.根据权利要求1所述的方法，其特征在于，所述在相邻的两个图像的背景图像中获取匹配的多对关键点之前，还包括：
在所述图像序列中的每个图像的背景图像中获取多个候选关键点；
并对相邻的两个图像的背景图像中的关键点进行特征匹配，获取相邻的两个图像的背景图像中匹配的多对关键点。
8.一种终端，其特征在于，包括：
视频处理模块，用于在待处理视频中获取图像序列，所述图像序列包括：按照时间顺序从所述待处理视频中提取的多个图像；
图像处理模块，用于在相邻的两个图像的背景图像中获取匹配的多对关键点，并根据多对所述关键点在所述相邻的两个图像中的图像坐标和深度值，确定背景图像的移动信息；根据所述背景图像的移动信息和预设全景图像，替换所述相邻的两个图像中前一个图像或后一个图像的背景图像，获取替换背景图像后的图像序列；根据所述替换背景图像后的图像序列，合成替换背景图像后的视频。
9.一种终端，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述终端执行权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，当所述计算机执行指令被处理器执行时，实现权利要求1-7任一项所述的方法。
CN201910472462.6A 2019-05-31 2019-05-31 视频处理方法、终端和存储介质 Active CN110309721B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910472462.6A CN110309721B (zh) 2019-05-31 2019-05-31 视频处理方法、终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472462.6A CN110309721B (zh) 2019-05-31 2019-05-31 视频处理方法、终端和存储介质

Publications (2)

Publication Number Publication Date
CN110309721A true CN110309721A (zh) 2019-10-08
CN110309721B CN110309721B (zh) 2021-06-29

Family

ID=68075746

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472462.6A Active CN110309721B (zh) 2019-05-31 2019-05-31 视频处理方法、终端和存储介质

Country Status (1)

Country Link
CN (1) CN110309721B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062314A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像选取方法、装置、计算机可读存储介质及电子设备
CN112995491A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN115002359A (zh) * 2022-05-23 2022-09-02 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204567A (zh) * 2016-07-05 2016-12-07 华南理工大学 一种自然背景视频抠图方法
CN107820001A (zh) * 2016-09-14 2018-03-20 豪威科技股份有限公司 使用基于特征的重影去除的阵列照相机图像组合
CN108124109A (zh) * 2017-11-22 2018-06-05 上海掌门科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN108234825A (zh) * 2018-01-12 2018-06-29 广州市百果园信息技术有限公司 视频处理方法及计算机存储介质、终端
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
US20180262714A1 (en) * 2017-03-10 2018-09-13 Apple Inc. Systems and Methods for Perspective Shifting in Video Conferencing Session
CN109102459A (zh) * 2018-08-03 2018-12-28 清华大学 一种对视频中的背景画面的扩充方法和设备
CN109525786A (zh) * 2018-12-26 2019-03-26 北京旷视科技有限公司 视频处理方法、装置、终端设备及存储介质
CN109697689A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 存储介质、电子设备、视频合成方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106204567A (zh) * 2016-07-05 2016-12-07 华南理工大学 一种自然背景视频抠图方法
CN107820001A (zh) * 2016-09-14 2018-03-20 豪威科技股份有限公司 使用基于特征的重影去除的阵列照相机图像组合
US20180262714A1 (en) * 2017-03-10 2018-09-13 Apple Inc. Systems and Methods for Perspective Shifting in Video Conferencing Session
CN109697689A (zh) * 2017-10-23 2019-04-30 北京京东尚科信息技术有限公司 存储介质、电子设备、视频合成方法及装置
CN108124109A (zh) * 2017-11-22 2018-06-05 上海掌门科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN108234825A (zh) * 2018-01-12 2018-06-29 广州市百果园信息技术有限公司 视频处理方法及计算机存储介质、终端
CN108520223A (zh) * 2018-04-02 2018-09-11 广州华多网络科技有限公司 视频图像的分割方法、分割装置、存储介质和终端设备
CN109102459A (zh) * 2018-08-03 2018-12-28 清华大学 一种对视频中的背景画面的扩充方法和设备
CN109525786A (zh) * 2018-12-26 2019-03-26 北京旷视科技有限公司 视频处理方法、装置、终端设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
EDIRLEI SOARES DE LIMA 等: "Video-based interactive storytelling using real-time video compositing techniques", 《MULTIMEDIA TOOLS&APPLICATIONS》 *
杨松: "针对手持设备拍摄视频的背景替换", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062314A (zh) * 2019-12-13 2020-04-24 腾讯科技（深圳）有限公司 图像选取方法、装置、计算机可读存储介质及电子设备
CN112995491A (zh) * 2019-12-13 2021-06-18 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN112995491B (zh) * 2019-12-13 2022-09-16 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN115002359A (zh) * 2022-05-23 2022-09-02 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110309721B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
JP7453470B2 (ja) ３次元再構成及び関連インタラクション、測定方法及び関連装置、機器
RU2617557C1 (ru) Способ воздействия на виртуальные объекты дополненной реальности
US11398044B2 (en) Method for face modeling and related products
CN108898567A (zh) 图像降噪方法、装置及系统
Zhuang et al. Acdnet: Adaptively combined dilated convolution for monocular panorama depth estimation
WO2018014601A1 (zh) 方位跟踪方法、实现增强现实的方法及相关装置、设备
CN113822977A (zh) 图像渲染方法、装置、设备以及存储介质
CN110381268B (zh) 生成视频的方法，装置，存储介质及电子设备
CN107346414B (zh) 行人属性识别方法和装置
Maugey et al. Saliency-based navigation in omnidirectional image
JP2022550948A (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
CN110309721A (zh) 视频处理方法、终端和存储介质
CN109035334A (zh) 位姿的确定方法和装置、存储介质及电子装置
CN110288534B (zh) 图像处理方法、装置、电子设备以及存储介质
CN112995678B (zh) 一种视频运动补偿方法、装置及计算机设备
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN112927349A (zh) 三维虚拟特效的生成方法、装置、计算机设备及存储介质
CN109063776A (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
WO2022267402A1 (zh) 图像处理方法、装置、设备以及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
Fu et al. Image stitching techniques applied to plane or 3-D models: a review
Rao et al. Omnilayout: Room layout reconstruction from indoor spherical panoramas
CN117197405A (zh) 三维物体的增强现实方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant