CN111294644A - 视频拼接方法、装置、电子设备及计算机存储介质 - Google Patents

视频拼接方法、装置、电子设备及计算机存储介质 Download PDF

Info

Publication number
CN111294644A
CN111294644A CN201811496469.3A CN201811496469A CN111294644A CN 111294644 A CN111294644 A CN 111294644A CN 201811496469 A CN201811496469 A CN 201811496469A CN 111294644 A CN111294644 A CN 111294644A
Authority
CN
China
Prior art keywords
image
deformation
video
determining
ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811496469.3A
Other languages
English (en)
Other versions
CN111294644B (zh
Inventor
邓朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201811496469.3A priority Critical patent/CN111294644B/zh
Priority to PCT/CN2019/119616 priority patent/WO2020114251A1/zh
Priority to EP19892144.7A priority patent/EP3893513A4/en
Publication of CN111294644A publication Critical patent/CN111294644A/zh
Priority to US17/184,258 priority patent/US11972580B2/en
Application granted granted Critical
Publication of CN111294644B publication Critical patent/CN111294644B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及视频处理领域，公开了一种视频拼接方法、装置、电子设备及计算机可读存储介质，其中，视频拼接方法包括：检测第一图像与第二图像之间的相似度，第一图像为第一待拼接视频的最后一帧图像，第二图像为第二待拼接视频的首帧图像；接着，如果相似度满足预设条件，则确定第一图像相对于所述第二图像的运动向量；接着，根据运动向量，确定第一图像与第二图像之间的至少一个补偿帧，并基于至少一个补偿帧拼接第一图像与所述第二图像，以拼接第一待拼接视频与第二待拼接视频。本申请实施例的方法，能够实时、高效地对衔接处发生的抖动进行平滑补偿，使得多段视频之间可以平滑过渡，有效减少多段视频拼接后的图像抖动或图像跳变的发生。

Description

视频拼接方法、装置、电子设备及计算机存储介质
技术领域
本申请涉及视频处理技术领域，具体而言，本申请涉及一种视频拼接 方法、装置、电子设备及计算机存储介质。
背景技术
随着流量费用的降低，用户发表拍摄的视频的成本也随之降低，于是 有很多用户将拍摄的视频上传到相应的视频平台。若用户进行的是非线性 的视频拍摄，即在同一地点拍摄了多个前后取景相似的视频片段，且只是 拍摄时间不同，则在完成拍摄以后，将该多个前后取景相似的视频片段上 传到相应的视频平台前，往往会对该多个视片段进行拼接，随后将拼接后 的视频上传到相应的视频平台。
然而，在拼接两段取景相似的视频片段时，由于拍摄者的智能终端位 置可能发生轻微改变，导致两段视频衔接处发生抖动，极大降低用户观看 体验。
传统的视频拼接往往是基于视频插帧的方法，例如将30FPS(Frames Per Second，每秒传输帧数)的视频通过插帧补偿生成60FPS的视频，且 主要用于单个视频内容内的插帧，但是对于非线性的视频拍摄，在对两段 视频进行拼接时，由于其前后帧的关系存在不确定性，因而不能完全满足 插帧的条件。此外，传统的视频插帧方法，通常运算量比较大、运行时间 比较长，其使用场景偏向于传统的视频后处理；如果将其应用于移动设备 端，则需要移动设备中的硬件能够支持该功能，但是目前只有极少数的硬 件厂商支持了此类功能，而且算法较为固定，导致对移动设备及使用场景 有较多的限制。另外，即使将传统的视频插帧方法应用于移动设备端，也 会因为移动设备的计算能力有限，导致很难做到实时处理，造成实时性较 差、需要用户等待等情况的发生。因此，亟需一种在移动设备端对非线性的视频拍摄进行拼接的方法。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术 方案：
第一方面，提供了一种视频拼接方法，包括：
检测第一图像与第二图像之间的相似度，第一图像为第一待拼接视频 的最后一帧图像，第二图像为第二待拼接视频的首帧图像；
如果所述相似度满足预设条件，则确定第一图像相对于第二图像的运 动向量；
根据运动向量，确定第一图像与第二图像之间的至少一个补偿帧，并 基于至少一个补偿帧拼接第一图像与第二图像，以拼接第一待拼接视频与 第二待拼接视频。
在一种实现方式中，相似度满足预设条件，包括：
相似度不小于预设相似度阈值。
在另一种实现方式中，检测第一图像与第二图像之间的相似度，包括：
确定第一图像的第一灰度直方图与第二图像的第二灰度直方图；
根据第一灰度直方图中各个灰度的权重、第一灰度直方图中各个灰度 对应的像素个数及第二灰度直方图中各个灰度对应的像素个数，确定第一 图像与第二图像之间的相似度。
在另一种实现方式中，确定第一图像相对于第二图像的运动向量，包 括：
基于预设形变比率，对第一图像与第二图像分别进行横向形变与纵向 形变；
根据横向形变后的第一图像相对于横向形变后的第二图像的水平移 动距离，确定第一图像在水平方向上的第一运动距离；
根据纵向形变后的第一图像相对于纵向形变后的第二图像的垂直移 动距离，确定第一图像在垂直方向上的第二运动距离；
根据第一运动距离、第二运动距离以及预设形变比率，确定运动向量。
在另一种实现方式中，预设形变比率包括横向形变比率与纵向形变比 率，基于预设形变比率，对第一图像与第二图像分别进行横向形变与纵向 形变，包括：
根据横向形变比率对第一图像与第二图像分别进行横向形变，得到相 应的第一横向形变图像与第二横向形变图像，第一横向形变图像与第二横 向形变图像在水平方向上平行且两端对齐；
根据纵向形变比率对第一图像与第二图像分别进行纵向形变，得到相 应的第一纵向形变图像与第二纵向形变图像，第一纵向形变图像与第二纵 向形变图像在垂直方向上平行且两端对齐。
在另一种实现方式中，根据横向形变后的第一图像相对于横向形变后 的第二图像的水平移动距离，确定第一图像在水平方向上的第一运动距离， 包括：
将第一横向形变图像相对于第二横向形变图像在水平方向上移动多 次，共移动X个像素点，X为正整数，并计算每次移动后的第一横向形变 图像与第二横向形变图像之间在垂直方向上的相对应部分的第一差异值；
确定各个第一差异值中的最小值，并将该最小值对应的第一差异值记 作第一目标差异值；
将与第一目标差异值相对应的移动的像素点总数，确定为第一图像在 水平方向上的第一运动距离。
在另一种实现方式中，根据纵向形变后的第一图像相对于纵向形变后 的第二图像的移动，确定第一图像在垂直方向上的第二运动距离，包括：
将第一纵向形变图像相对于第二纵向形变图像在垂直方向上移动多 次，共移动Y个像素点，Y为正整数，并计算每次移动后的第一纵向形变 图像与第二纵向形变图像之间在水平方向上的相对应部分的第二差异值；
确定各个第二差异值中的最小值，并将该最小值对应的第二差异值记 作第二目标差异值；
将与第二目标差异值相对应的移动的像素点总数，确定为第一图像在 垂直方向上的第二运动距离。
在另一种实现方式中，根据第一运动距离、第二运动距离以及预设形 变比率，确定运动向量，包括：
计算第一运动距离与横向形变比率的第一比值；
计算第二运动距离与纵向形变比率的第二比值；
根据第一比值与第二比值，确定运动向量。
在另一种实现方式中，在预定的补偿时长的任一补偿时间区间上，根 据运动向量，确定第一图像与第二图像之间的补偿帧，包括：
确定在任一补偿时间区间上的第一预设参数；
计算第一预设参数与第二图像间的第一乘积；
计算第二预设参数与第三图像之间的第二乘积，第二预设参数为预设 数值与第一预设参数间的差值，第三图像为根据运动向量运动后的第一图 像与第二图像之间的重叠部分；
根据第一乘积与第二乘积确定相应的图像帧，并渲染图像帧，得到补 偿帧。
第二方面，提供了一种视频拼接装置，包括：
检测模块，用于检测第一图像与第二图像之间的相似度，第一图像为 第一待拼接视频的最后一帧图像，第二图像为第二待拼接视频的首帧图像；
确定模块，用于当相似度满足预设条件时，确定第一图像相对于第二 图像的运动向量；
拼接模块，用于根据运动向量，确定第一图像与第二图像之间的至少 一个补偿帧，并基于至少一个补偿帧拼接第一图像与第二图像，以拼接第 一待拼接视频与第二待拼接视频。
在一种实现方式中，相似度满足预设条件包括：相似度不小于预设相 似度阈值。
在另一种实现方式中，检测模块具体用于确定第一图像的第一灰度直 方图与第二图像的第二灰度直方图；以及用于根据第一灰度直方图中各个 灰度的权重、第一灰度直方图中各个灰度对应的像素个数及第二灰度直方 图中各个灰度对应的像素个数，确定第一图像与第二图像之间的相似度。
在另一种实现方式中，确定模块包括形变子模块、第一确定子模块、 第二确定子模块与第三确定子模块；
形变子模块，用于基于预设形变比率，对第一图像与第二图像分别进 行横向形变与纵向形变；
第一确定子模块，用于根据横向形变后的第一图像相对于横向形变后 的第二图像的水平移动距离，确定第一图像在水平方向上的第一运动距离；
第二确定子模块，用于根据纵向形变后的第一图像相对于纵向形变后 的第二图像的垂直移动距离，确定第一图像在垂直方向上的第二运动距离；
第三确定子模块，用于根据第一运动距离、第二运动距离以及预设形 变比率，确定运动向量。
在另一种实现方式中，预设形变比率包括横向形变比率与纵向形变比 率，基于预设形变比率，形变子模块包括第一形变单元与第二形变单元；
第一形变单元，用于根据横向形变比率对第一图像与第二图像分别进 行横向形变，得到相应的第一横向形变图像与第二横向形变图像，第一横 向形变图像与第二横向形变图像在水平方向上平行且两端对齐；
第二形变单元，用于根据纵向形变比率对第一图像与第二图像分别进 行纵向形变，得到相应的第一纵向形变图像与第二纵向形变图像，第一纵 向形变图像与第二纵向形变图像在垂直方向上平行且两端对齐。
在另一种实现方式中，第一形变单元具体用于将第一横向形变图像相 对于第二横向形变图像在水平方向上移动多次，共移动X个像素点，X为 正整数，并计算每次移动后的第一横向形变图像与第二横向形变图像之间 在垂直方向上的相对应部分的第一差异值；以及用于确定各个第一差异值 中的最小值，并将该最小值对应的第一差异值记作第一目标差异值；以及 用于将与第一目标差异值相对应的移动的像素点总数，确定为第一图像在 水平方向上的第一运动距离。
在另一种实现方式中，第二形变单元具体用于将第一纵向形变图像相 对于第二纵向形变图像在垂直方向上移动多次，共移动Y个像素点，Y为 正整数，并计算每次移动后的第一纵向形变图像与第二纵向形变图像之间 在水平方向上的相对应部分的第二差异值；以及用于确定各个第二差异值 中的最小值，并将该最小值对应的第二差异值记作第二目标差异值；以及 用于将与第二目标差异值相对应的移动的像素点总数，确定为第一图像在 垂直方向上的第二运动距离。
在另一种实现方式中，第三确定子模块包括第一计算单元、第二计算 单元与确定单元；
第一计算单元，用于计算第一运动距离与横向形变比率的第一比值；
第二计算单元，用于计算第二运动距离与纵向形变比率的第二比值；
确定单元，用于根据第一比值与第二比值，确定运动向量。
在另一种实现方式中，拼接模块包括第四确定子模块、第一计算子模 块、第二计算子模块及处理子模块；
第四确定子模块，用于确定在任一补偿时间区间上的第一预设参数；
第一计算子模块，用于计算第一预设参数与第二图像间的第一乘积；
第二计算子模块，用于计算第二预设参数与第三图像之间的第二乘积， 第二预设参数为预设数值与第一预设参数间的差值，第三图像为根据运动 向量运动后的第一图像与第二图像之间的重叠部分；
处理子模块，用于根据第一乘积与第二乘积确定相应的图像帧，并渲 染图像帧，得到补偿帧。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述 的视频拼接方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上 存储有计算机程序，该程序被处理器执行时实现上述的视频拼接方法。
本申请实施例提供的视频拼接方法，通过确定满足预设相似性条件的 第一图像相对于第二图像的运动向量，以及根据运动向量，确定第一图像 与第二图像之间的至少一个补偿帧，并基于至少一个补偿帧拼接第一图像 与第二图像，提供了一种能够在移动设备端对非线性的视频拍摄片段进行 拼接的方法，不仅可以在移动设备端实时、高效地对多段视频进行拼接， 高质地对衔接处发生的抖动进行平滑补偿，使得多段视频之间可以平滑过渡，确保用户上传的视频更加平滑，有效减少多段视频拼接后的图像抖动 或图像跳变等情况的发生，极大提升用户的视频拼接、发布及观看体验， 而且能够覆盖安卓、苹果等操作系统的终端设备，无需终端设备中特定硬 件的支撑，避免了对硬件厂商的依赖，解决了传统视频插帧方法对移动设 备及使用场景的限制。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面 的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描 述中将变得明显和容易理解，其中：
图1为本申请一个实施例的视频拼接方法的流程示意图；
图2为本申请一个实施例的使用场景的示意图；
图3为本申请一个实施例的图像形变及运动过程的示意图；
图4为本申请一个实施例的差异值曲线示意图；
图5为本申请一个实施例的运动向量的示意图；
图6为本申请一个实施例的第一图像过渡为第二图像的示意图；
图7为本申请又一实施例的视频拼接装置的基本结构示意图；
图8为本申请又一实施例的视频拼接装置的详细结构示意图；
图9为本申请另一实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其 中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似 功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本 申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式 “一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是， 本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操 作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整 数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件 被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或 者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线 连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出 项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本 申请实施方式作进一步地详细描述。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如 何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结 合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将 结合附图，对本申请的实施例进行描述。
本申请一个实施例提供了一种视频拼接方法，如图1所示，包括：
步骤S110，检测第一图像与第二图像之间的相似度，第一图像为第 一待拼接视频的最后一帧图像，第二图像为第二待拼接视频的首帧图像。
具体地，本申请实施例的视频拼接方法，主要适应于待拼接视频片段 的前后帧相似(例如满足预设相似度条件)的情况，其中，图2为本申请 实施例的使用场景的示意图。若前后帧的差异过大，则无法进行后续的运 动向量估计与插帧补偿，因此，在预处理阶段，需要对前后帧进行相似性 评价，保证拼接算法的运行意义。
进一步地，在具体应用中，可以使用相似性估计方法，对前后帧进行 相似性评价，例如检测第一待拼接视频的最后一帧图像与第二待拼接视频 的首帧图像之间的相似度是否满足预设条件，如果满足预设条件，则可以 继续进行本申请实施的视频拼接方法中的后续步骤(即步骤S120与步骤 S130)，进行多个视频的平滑拼接。换言之，当用户需要拼接A段视频 与B段视频时，若A段视频的尾帧与B段视频的首帧是强关联的，则可 使用本申请实施的方法，进行防抖动插帧补偿，使得A段视频与B段视 频之间可以平滑过渡，从而有效过滤不符合拼接条件的使用场景。
步骤S120，如果相似度满足预设条件，则确定第一图像相对于第二 图像的运动向量。
具体地，当第一图像与第二图像之间满足预设相似度条件时，确定第 一图像相对于第二图像的运动向量，即估计第一图像与第二图像之间的运 动轨迹，例如运动距离与运动方向等，从而奠定后续对第一待拼接视频与 第二待拼接视频进行平滑拼接的必要基础。
步骤S130，根据运动向量，确定第一图像与第二图像之间的至少一 个补偿帧，并基于至少一个补偿帧拼接第一图像与第二图像，以拼接第一 待拼接视频与第二待拼接视频。
具体地，在确定出第一图像相对于第二图像的运动向量之后，可以根 据该确定出的运动向量，确定第一图像与第二图像之间的至少一个补偿帧， 并根据该至少一个补偿帧对第一图像进行演化补偿，使得可以由第一图像 慢慢地平滑过渡为第二图像，实现第一图像与第二图像的拼接，从而拼接 第一待拼接视频与第二待拼接视频。
本申请实施例提供的视频拼接方法，与现有技术相比，通过确定满足 预设条件的第一图像相对于第二图像的运动向量，以及根据运动向量，确 定第一图像与第二图像之间的至少一个补偿帧，并基于至少一个补偿帧拼 接第一图像与第二图像，提供了一种能够在移动设备端对非线性的视频拍 摄片段进行拼接的方法，不仅可以在移动设备端实时、高效地对多段视频 进行拼接，高质地对衔接处发生的抖动进行平滑补偿，使得多段视频之间可以平滑过渡，有效减少多段视频拼接后的图像抖动或图像跳变等情况的 发生，极大提升用户的视频拼接、发布及观看体验；而且能够覆盖安卓、 苹果等操作系统的终端设备，无需终端设备中特定硬件的支撑，避免了对 硬件厂商的依赖，解决了传统视频插帧方法对移动设备及使用场景的限制。
本申请实施例提供了另一种可能的实现方式，其中，相似度满足预设 条件，包括：相似度不小于预设相似度阈值。
检测第一图像与第二图像之间的相似度，包括：
确定第一图像的第一灰度直方图与第二图像的第二灰度直方图；
根据第一灰度直方图中各个灰度的权重、第一灰度直方图中各个灰度 对应的像素个数及第二灰度直方图中各个灰度对应的像素个数，确定第一 图像与所述第二图像之间的相似度。
具体地，假如第一待拼接视频为A视频，且第一待拼接视频的尾帧图 像为Ia，第二待拼接视频为B视频，且第二待拼接视频的首帧图像为Ib， 则在检测第一图像与第二图像之间的相似度是否满足预设条件时，可以通 过确定Ia与Ib之间的相似度，并检测该相似度是否不小于(即大于或等于) 预设相似度阈值，来确定Ia与Ib之间的相似度是否满足预设条件。其中， 如果Ia与Ib之间的相似度不小于预设相似度阈值，则确定Ia与Ib之间的 相似度满足预设条件，可以继续进行后续的其它操作步骤，否则不满足预 设条件，不能进行后续的其它操作步骤。
进一步地，可以根据Ia与Ib分别对应的灰度直方图Ha(即上述的第 一灰度直方图)与Hb(即上述的第二灰度直方图)，来确定Ia与Ib之间 的相似度，其中，可以根据Ia的灰度直方图Ha中各个灰度的权重、Ha中 各个灰度对应的像素个数及Hb中各个灰度对应的像素个数，确定Ia与Ib之间的相似度。
下面通过具体示例对确定第一图像与第二图像之间的相似度进行介 绍：
第一步：确定Ia的灰度直方图Ha与Ib的灰度直方图Hb。
具体地，Ha与Hb的灰度的分布范围均为[0,255]，表示亮度从深到浅， 对应图像中的颜色为从黑到白，即白色为255，黑色为0。其中，灰度直 方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率。 灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数， 反映了图像中某种灰度出现的频率。
第二步：计算Ha中各个灰度的权重(记作εi，i的取值范围为0至255)。
具体地，可以通过如下公式来计算Ha中各个灰度的权重εi：
Figure BDA0001897015710000101
其中，上式中的
Figure BDA0001897015710000102
表示Ia中具有灰度值i的像素的个数，
Figure BDA0001897015710000103
表示Ia中各种灰度值的像素的总数。
进一步地，本申请实施例使用灰度直方图的相似程度对Ia与Ib之间的 相似程度进行评价，本实施例中将Ia作为参考图像，其灰度分布越多的区 域，代表图像的主要信息的分布越集中在此区域，本实施例利用此信息， 确定每个灰度范围的权重，保障视频拼接方法的稳定性。
第三步：评价Ia与Ib之间的相似度，其中，相似度记作Si。
具体地，可以通过如下公式来计算Ia与Ib之间的相似度：
Figure BDA0001897015710000111
其中，上式为归一化后的相似度计算公式，上式中的
Figure BDA0001897015710000112
表示Ib中具有 灰度值i的像素的个数，Si值越大代表相似程度越高。
进一步地，可以将计算得到的相似度值Si与预设相似度阈值(例如 0.87)进行比较，如果Si不小于预设相似度阈值，则确定Ia与Ib之间满足 预设相似度条件。
对于本实现方式，通过对前后帧进行相似性评价，确保了拼接算法的 运行意义，有效过滤不符合使用条件的拼接场景。
本申请实施例提供了另一种可能的实现方式，步骤S120(确定第一 图像相对于第二图像的运动向量)具体包括：
基于预设形变比率，对第一图像与第二图像分别进行横向形变与纵向 形变；
根据横向形变后的第一图像相对于横向形变后的第二图像的水平移 动距离，确定第一图像在水平方向上的第一运动距离；
根据纵向形变后的第一图像相对于纵向形变后的第二图像的垂直移 动距离，确定第一图像在垂直方向上的第二运动距离；
根据第一运动距离、第二运动距离以及预设形变比率，确定运动向量。
具体地，本申请实施例假定第二图像是固定不变的，只对第一图像进 行运动，相当于第二图像是由第一图像运动而来的，故需要计算第一图像 的运动向量。
进一步地，在计算第一图像的运动向量前，需要先根据预设形变比率 对第一图像与第二图像分别进行横向形变与纵向形变。其中，预设形变比 率包括横向形变比率与纵向形变比率，横向形变比率与纵向形变比率相同 或者不相同。
进一步地，可以根据横向形变比率对第一图像与第二图像分别进行横 向形变，得到相应的第一横向形变图像与第二横向形变图像。其中，由于 第一图像与第二图像是由同一终端设备拍摄的相同背景的视频中的图像， 所以第一图像的原始横向高度与第二图像的原始横向高度相同，第一图像 的原始纵向高度与第二图像的原始纵向高度相同，于是第一横向形变图像 的宽度与第二横向形变图像的宽度相同，第一横向形变图像的高度与第二 横向形变图像的高度相同。
进一步地，为便于计算后续计算第一横向形变图像相对于第二横向形 变图像在水平方向上的移动距离，可以将得到的第一横向形变图像与第二 横向形变图像，以在水平方向上平行且两端对齐的方式放置，如图3中的 第(1)部分所示。
进一步地，可以根据纵向形变比率对第一图像与第二图像分别进行纵 向形变，得到相应的第一纵向形变图像与第二纵向形变图像。其中，由于 第一图像与第二图像是由同一终端设备拍摄的相同背景的视频中的图像， 所以第一图像的原始横向高度与第二图像的原始横向高度相同，第一图像 的原始纵向高度与第二图像的原始纵向高度相同，于是第一纵向形变图像 的宽度与第二纵向形变图像的宽度相同，第一纵向形变图像的高度与第二 纵向形变图像的高度相同。
进一步地，为便于计算后续计算第一纵向形变图像相对于第二纵向形 变图像在垂直方向上的移动距离，可以将得到的第一纵向形变图像与第二 纵向形变图像，以在垂直方向上平行且两端对齐的方式放置，如图3中的 第(1)部分所示。
进一步地，在根据横向形变后的第一图像相对于横向形变后的第二图 像的水平移动距离，确定第一图像在水平方向上的第一运动距离的过程中， 可以将第一横向形变图像相对于第二横向形变图像在水平方向上移动多 次，共移动X个像素点，X为正整数，并计算每次移动后的第一横向形变 图像与第二横向形变图像之间在垂直方向上的相对应部分的第一差异值。 其中，上述的X个像素点为在水平方向上移动后的第一横向形变图像与第二横向形变图像之间，在垂直方向上不存在相对应部分的情况下，第一横 向形变图像总共移动的像素点数。上述在水平方向上的移动可以为水平左 移，也可以为水平右移，本申请实施例不对其做限制。下面以水平左移为 例，对其进行介绍，如下所示：
在一种情况下，若将第一横向形变图像相对于第二横向形变图像在水 平方向上依次左移，且每次均移动m个像素点，1≤m≤X，即每次左移 m个像素点(例如第一次移动1个像素点，第二次移动是在第一次移动的 基础上再移动1个像素点，第三次移动是在第二次移动的基础上再移动1 个像素点等等)，所有移动次数的总和为X个像素点，则每移动一次第一 横向形变图像，就计算一次差异值，即计算一次移动后的第一横向形变图 像与第二横向形变图像之间在垂直方向上的相对应部分的差异值。假如总 共移动了L次，则总共计算得到L个差异值，其中，每次计算得到的差异 值相同或不同。另外，本段涉及到的差异值均指第一差异值。
在另一种情况下，若将第一横向形变图像相对于第二横向形变图像在 水平方向上依次左移，且每次移动的像素点数不固定(例如第一次移动1 个像素点，第二次移动是在第一次移动的基础上再移动2个像素点，第三 次移动是在第二次移动的基础上再移动4个像素点等等)，即每次移动的 像素点数是动态改变的，所有移动次数的总和为X个像素点，则每移动一 次第一横向形变图像，就计算一次差异值，即计算一次移动后的第一横向 形变图像与第二横向形变图像之间在垂直方向上的相对应部分的差异值。 假如总共移动了Q次，则总共计算得到Q个差异值，其中，每次计算得 到的差异值相同或不同。另外，本段涉及到的差异值均指第一差异值。
其中，图3中的第(2)部分给出了第一横向形变图像相对于第二横 向形变图像水平左移的示意图。
进一步地，在计算得到每次移动后的第一横向形变图像与第二横向形 变图像之间在垂直方向上的相对应部分的多个第一差异值后，确定各个第 一差异值中的最小值，并将该最小值对应的第一差异值记作第一目标差异 值，即从多个差异值中确定取值最小的差异值，并将该取值最小的差异值 确定为第一目标差异值。
进一步地，在确定出第一目标差异值之后，确定该第一目标差异值所 对应的移动的像素点总数，并将该像素点总数确定为第一图像在水平方向 上的第一运动距离。假如第一次移动1个像素点，第二次移动是在第一次 移动的基础上再移动2个像素点，第三次移动是在第二次移动的基础上再 移动4个像素点等等，总共移动了X个像素点，且确定出的第一目标差异 值为第三移动后的第一横向形变图像与第二横向形变图像之间在垂直方 向上的相对应部分的差异值，则该第一目标差异值所对应的移动的像素点 总数为7，即前三次移动的像素点总数，从而得到第一图像在水平方向上 的第一运动距离为7个像素点。
进一步地，在根据纵向形变后的第一图像相对于纵向形变后的第二图 像的水平移动距离，确定第一图像在垂直方向上的第一运动距离的过程中， 可以将第一纵向形变图像相对于第二纵向形变图像在垂直方向上移动多 次，共移动Y个像素点，Y为正整数，并计算每次移动后的第一纵向形变 图像与第二纵向形变图像之间在水平方向上的相对应部分的第二差异值。 其中，上述的Y个像素点为在垂直方向上移动后的第一横向形变图像与第二横向形变图像之间，在水平方向上不存在相对应部分的情况下，第一纵 向形变图像总共移动的像素点数。上述在垂直方向上的移动可以为垂直向 下，也可以为垂直向上，本申请实施例不对其做限制。下面以垂直向上为 例，对其进行介绍，如下所示：
在一种情况下，若将第一纵向形变图像相对于第二纵向形变图像在垂 直方向上依次上移，且每次均移动n个像素点，1≤n≤X，即每次上移n 个像素点(例如第一次移动1个像素点，第二次移动是在第一次移动的基 础上再移动1个像素点，第三次移动是在第二次移动的基础上再移动1个 像素点等等)，所有移动次数的总和为Y个像素点，则每移动一次第一纵 向形变图像，就计算一次差异值，即计算一次移动后的第一纵向形变图像 与第二纵向形变图像之间在水平方向上的相对应部分的差异值。假如总共 移动了R次，则总共计算得到R个差异值，其中，每次计算得到的差异 值相同或不同。另外，本段涉及到的差异值均指第二差异值。
在另一种情况下，若将第一纵向形变图像相对于第二纵向形变图像在 垂直方向上依次上移，且每次移动的像素点数不固定(例如第一次移动1 个像素点，第二次移动是在第一次移动的基础上再移动2个像素点，第三 次移动是在第二次移动的基础上再移动4个像素点等等)，即每次移动的 像素点数是动态改变的，所有移动次数的总和为Y个像素点，则每移动一 次第一纵向形变图像，就计算一次差异值，即计算一次移动后的第一纵向 形变图像与第二纵向形变图像之间在水平方向上的相对应部分的差异值。 假如总共移动了P次，则总共计算得到P个差异值，其中，每次计算得到 的差异值相同或不同。另外，本段涉及到的差异值均指第二差异值。
其中，图3中的第(3)部分给出了第一纵向形变图像相对于第二纵 向形变图像垂直上移的示意图。
进一步地，在计算得到每次移动后的第一纵向形变图像与第二纵向形 变图像之间在水平方向上的相对应部分的多个第二差异值后，确定各个第 二差异值中的最小值，并将该最小值对应的第二差异值记作第二目标差异 值，即从多个差异值中确定取值最小的差异值，并将该取值最小的差异值 确定为第二目标差异值。
进一步地，在确定出第二目标差异值之后，确定该第二目标差异值所 对应的移动的像素点总数，并将该像素点总数确定为第一图像在垂直方向 上的第二运动距离。假如第一次移动1个像素点，第二次移动是在第一次 移动的基础上再移动2个像素点，第三次移动是在第二次移动的基础上再 移动4个像素点等等，总共移动了Y个像素点，且确定出的第二目标差异 值为第三移动后的第一纵向形变图像与第二纵向形变图像之间在水平方 向上的相对应部分的差异值，则该第二目标差异值所对应的移动的像素点 总数为7，即前三次移动的像素点总数，从而得到第一图像在垂直方向上 的第二运动距离为7个像素点。
进一步地，在得到上述的第一运动距离与第二运动距离后，根据第一 运动距离、第二运动距离以及预设形变比率，确定运动向量。其中，在确 定运行向量的过程中，由于第一运动距离与第二距离都是根据形变后的第 一图像计算得到的，所以在计算运动向量时，需要对第一运动距离与第二 运动距离分别根据相应的形变比率进行反方向的调整。其中，第一运动距 离的反方向调整为：计算第一运动距离与横向形变比率的第一比值，第二 运动距离的反方向调整为：计算第二运动距离与纵向形变比率的第二比值。 其中，第一比值即为根据横向形变比率反方向调整后的第一运动距离，第 二比值即为根据纵向形变比率反方向调整后的第二运动距离。
进一步地了，在得到第一比值与第二比值后，可以根据第一比值与第 二比值，确定运动向量。例如运动向量为第一比值的方向向量与第二比值 的方向向量的和。
下面给出本实现方式中计算运动向量的一种可行方式：
假如第一图像为图像A，第二图像为图像B，第一图像与第二图像的 横向形变比率为
Figure BDA0001897015710000161
第一图像与第二图像的纵向形变比率为
Figure BDA0001897015710000162
第一横向 形变图像为
Figure BDA0001897015710000163
第二横向形变图像为
Figure BDA0001897015710000164
第一纵向形变图像为
Figure BDA0001897015710000165
第二纵向形变图像为
Figure BDA0001897015710000166
则第一横向形变图像在水平方向上 左移m个点后，第一横向形变图像与第二横向形变图像之间在垂直方向上 的相对应部分的第一差异值，可以根据如下公式计算得到：
Figure BDA0001897015710000167
其中，上式中的width表示第一图像与第二图像横向形变后的宽度，
Figure RE-GDA0001964094940000168
表示第一横向形变图像在水平方向上左移m个点后，与 第二横向形变图像之间在垂直方向上的相对应部分，
Figure RE-GDA0001964094940000169
表示第二横向形变与在水平方向上左移m个点的第一横向形变图像之间在 垂直方向上的相对应部分，diffm表示第一横向形变图像在水平方向上左移 m个点后得到的第一差异值。
类似地，第一纵向形变图像在垂直方向上移n个点后，第一纵向形变图 像与第二纵向形变图像之间在水平方向上的相对应部分的第二差异值，可 以根据如下公式计算得到：
Figure BDA0001897015710000171
其中，上式中的height表示第一图像与第二图像纵向形变后的高度，
Figure BDA0001897015710000172
表示第一纵向形变图像在垂直方向上移n个点后，与第 二纵向形变图像之间在水平方向上的相对应部分，
Figure BDA0001897015710000173
表示第二纵向形变与在垂直方向上移n个点的第一纵向形变图像之间在水 平方向上的相对应部分，diffn表示第一纵向形变图像在垂直方向上移n个 点后得到的第二差异值。
进一步地，在具体情况中，还可以将得到的多个第一差异值分别表示 在直角坐标系中，并将多个第一差异值依次连线，构成一条曲线，该曲线 中的极小值即为第一目标差异值。类似地，也可以将得到的多个第二差异 值分别表示在直角坐标系中，并将多个第二差异值依次连线，构成一条曲 线，该曲线中的极小值即为第二目标差异值。如图4所示。
进一步地，第一图像的运动向量可以通过下式计算得到：
Figure BDA0001897015710000174
其中，上式中的
Figure BDA0001897015710000175
表示第一图像的运动向量，
Figure BDA0001897015710000176
表示第一运动距离 与横向形变比率的第一比值，
Figure BDA0001897015710000177
表示第二运动距离与纵向形变比率的第 二比值。
Figure BDA0001897015710000178
向量所指的方向即为第一图像的运动方向，其角度记为θ，其长度 为运动距离，即
Figure BDA0001897015710000179
如图5所示。
需要注意的是，形变比率将直接影响到运动向量的估计精度，在实际应 用中，如果横向形变比率为1，则横向宽度保持原始宽度不变，如果纵向高 度变为高度10，则纵向形变比率
Figure BDA00018970157100001710
原始高度。其中，图像的原始宽度 与原始高度是图像本身的属性，即给出一帧图像后就可以获知其原始宽度与 原始高度。另外，在通过上式(3)与(4)估算差异值时，采用相对距离， 即两个形变后的图像之间的差值之和，能够提高运算速度。
本申请实施例提供了另一种可能的实现方式，其中，在根据运动向量， 确定第一图像与第二图像之间的至少一个补偿帧时，可以在预定的补偿时 长的任一补偿时间区间上，根据运动向量，确定第一图像与第二图像之间 的补偿帧。
具体地，在获得第一图像的运动方向与运动距离后，便可以对第一图 像进行演化补偿。其中，具体的补偿策略为：首先确定在任一补偿时间区 间上的第一预设参数；接着计算第一预设参数与第二图像间的第一乘积； 接着计算第二预设参数与第三图像之间的第二乘积，该第二预设参数为预 设数值与第一预设参数间的差值，其中，第三图像为根据运动向量运动后 的第一图像与第二图像之间的重叠部分；接着根据第一乘积与第二乘积确定相应的图像帧，并渲染图像帧，得到补偿帧。
其中，通过上述方式可以在预定的补偿时长的多个补偿时间区间上， 得到对应的多个补偿帧，从而基于该多个补偿帧拼接第一图像与第二图像， 以拼接第一待拼接视频与第二待拼接视频。
进一步地，给出本实现方式中计算确定补偿帧的一种可行方式：
Figure BDA0001897015710000181
α∝T
其中，上式中的α为上述的第一预设参数，T为上述的预定的补偿时长， α正比于时间参数T，
Figure BDA0001897015710000182
表示根据运动向量运动后的第一图像与第二图像 之间的重叠部分，
Figure BDA0001897015710000183
表示第二图像，在式(6)中预设数值为1，Iinterpolation表 示计算得到的补偿帧。
换言之，T每取一个数值，α就对应取一个值，从而可以得到一个相应的 图像补偿帧Iinterpolation。其中，计算出的补偿帧有多个，而且补偿帧的个数 与时间参数T的取值密切相关。
进一步地，在得到多个补偿帧后，可以利用终端设备的GPU(Graphics ProcessingUnit，图形处理器)对得到的多个补偿帧进行渲染，实现第二图像 与运动后的第一图像的融合，即当补偿帧结束后，即可由第一图像过渡为第 二图像，如图6所示。另外，本步骤的方法无需全局的信息，因此在算法上 是可并行的，在移动设备端均可与渲染结合，实现实时的渲染以及编码。
本申请实施例提供的方法，可以利用移动设备端GPU渲染合成的优势， 对两段视频之间的抖动进行平滑补偿，使两段视频之间可以平滑过渡，不同 于传统的模板类转场特效，本实施例的方法有着更强的适应性，同时使用 GPU对算法进行加速，其抖动的补偿是实时的，对用户造成的影响较小，能 够最大限度的保障用户的使用体验。
另外，本申请实施例提供的方法，移动设备端设计，从快速性以及补偿 准确性出发，并利用了移动设备端的GPU对算法进行加速。(1)在性能上， 选择使用可并行的算法，加快计算速度，并结合GPU渲染，实现实时拼接的 效果。(2)在准确性上，针对非线性的视频拍摄拼接进行优化定制，减少多 段视频拼接后的图像抖动，提供更好的视频拼接以及发布体验。(3)在适用 性上，本方法覆盖Android(安卓)移动设备端以及iOS(苹果)移动设备端，能够尽量覆盖多数用户。
本申请再一实施例提供了一种视频拼接装置，其结构示意图如图7所 示，该装置70可以包括检测模块71、确定模块72与拼接模块73，其中，
检测模块71用于检测第一图像与第二图像之间的相似度，第一图像 为第一待拼接视频的最后一帧图像，第二图像为第二待拼接视频的首帧图 像；
确定模块72用于当相似度满足预设条件时，确定第一图像相对于第 二图像的运动向量；
拼接模块73用于根据运动向量，确定第一图像与第二图像之间的至 少一个补偿帧，并基于至少一个补偿帧拼接第一图像与第二图像，以拼接 第一待拼接视频与第二待拼接视频。
具体地，图8为本申请再一实施例提供的一种视频拼接处理装置的详 细结构示意图，该装置80可以包括检测模块81、确定模块82与拼接模 块83。其中，图8中的检测模块81所实现的功能与图7中的检测模块71 相同，图8中的确定模块82所实现的功能与图7中的确定模块72相同， 图8中的拼接模块83所实现的功能与图7中的拼接模块73相同，在此不 再赘述。下面对图8所示的视频拼接装置进行详细介绍：
其中，相似度满足预设条件，包括：相似度不小于预设相似度阈值。
在一种实现方式中，检测模块81具体用于确定第一图像的第一灰度 直方图与第二图像的第二灰度直方图；以及用于根据第一灰度直方图中各 个灰度的权重、第一灰度直方图中各个灰度对应的像素个数及第二灰度直 方图中各个灰度对应的像素个数，确定第一图像与第二图像之间的相似度。
在另一种实现方式中，确定模块82包括形变子模块821、第一确定 子模块822、第二确定子模块823与第三确定子模块824；
形变子模块821用于基于预设形变比率，对第一图像与第二图像分别 进行横向形变与纵向形变；
第一确定子模块822用于根据横向形变后的第一图像相对于横向形 变后的第二图像的水平移动距离，确定第一图像在水平方向上的第一运动 距离；
第二确定子模块823用于根据纵向形变后的第一图像相对于纵向形 变后的第二图像的垂直移动距离，确定第一图像在垂直方向上的第二运动 距离；
第三确定子模块824用于根据第一运动距离、第二运动距离以及预设 形变比率，确定运动向量。
在另一种实现方式中，预设形变比率包括横向形变比率与纵向形变比 率，形变子模块821包括第一形变单元8211与第二形变单元8212；其中，
第一形变单元8211用于根据横向形变比率对第一图像与第二图像分 别进行横向形变，得到相应的第一横向形变图像与第二横向形变图像，第 一横向形变图像与第二横向形变图像在水平方向上平行且两端对齐；
第二形变单元8212用于根据纵向形变比率对第一图像与第二图像分 别进行纵向形变，得到相应的第一纵向形变图像与第二纵向形变图像，第 一纵向形变图像与第二纵向形变图像在垂直方向上平行且两端对齐。
在另一种实现方式中，第一形变单元8211具体用于将第一横向形变 图像相对于第二横向形变图像在水平方向上移动多次，共移动X个像素点， X为正整数，并计算每次移动后的第一横向形变图像与第二横向形变图像 之间在垂直方向上的相对应部分的第一差异值；以及用于确定各个第一差 异值中的最小值，并将该最小值对应的第一差异值记作第一目标差异值； 以及用于将与第一目标差异值相对应的移动的像素点总数，确定为第一图像在水平方向上的第一运动距离。
在另一种实现方式中，第二形变单元8212具体用于将第一纵向形变 图像相对于第二纵向形变图像在垂直方向上移动多次，共移动Y个像素点， Y为正整数，并计算每次移动后的第一纵向形变图像与第二纵向形变图像 之间在水平方向上的相对应部分的第二差异值；以及用于确定各个第二差 异值中的最小值，并将该最小值对应的第二差异值记作第二目标差异值； 以及用于将与第二目标差异值相对应的移动的像素点总数，确定为第一图像在垂直方向上的第二运动距离。
在另一种实现方式中，第三确定子模块824包括第一计算单元8241、 第二计算单元8242与确定单元8243；
第一计算单元8241用于计算第一运动距离与横向形变比率的第一比 值；
第二计算单元8242用于计算第二运动距离与纵向形变比率的第二比 值；
确定单元8243用于根据第一比值与第二比值，确定运动向量。
在另一种实现方式中，拼接模块83包括第四确定子模块831、第一 计算子模块832、第二计算子模块833及处理子模块834；
第四确定子模块831用于确定在任一补偿时间区间上的第一预设参 数；
第一计算子模块832用于计算第一预设参数与第二图像间的第一乘 积；
第二计算子模块833用于计算第二预设参数与第三图像之间的第二 乘积，第二预设参数为预设数值与第一预设参数间的差值，第三图像为根 据运动向量运动后的第一图像与第二图像之间的重叠部分；
处理子模块834用于根据第一乘积与第二乘积确定相应的图像帧，并 渲染图像帧，得到补偿帧。
本申请实施例提供的装置，与现有技术相比，通过确定满足预设相似 性条件的第一图像相对于第二图像的运动向量，以及根据运动向量，确定 第一图像与第二图像之间的至少一个补偿帧，并基于至少一个补偿帧拼接 第一图像与第二图像，提供了一种能够在移动设备端对非线性的视频拍摄 片段进行拼接的方法，不仅能够在移动设备端可以实时、高效地对多段视 频进行拼接，高质地对衔接处发生的抖动进行平滑补偿，使得多段视频之间可以平滑过渡，确保用户上传的视频更加平滑，有效减少多段视频拼接 后的图像抖动或图像跳变等情况的发生，从而极大提升用户的视频拼接、 发布及观看体验，而且能够覆盖安卓、苹果等操作系统的终端设备，无需 终端设备中特定硬件的支撑，避免了对硬件厂商的依赖，解决了传统视频 插帧方法对移动设备及使用场景的限制。
本申请另一实施例提供了一种电子设备，如图9所示，图9所示的电 子设备900包括：处理器901和存储器903。其中，处理器901和存储器 903相连，如通过总线902相连。进一步地，电子设备900还可以包括收 发器904。需要说明的是，实际应用中收发器904不限于一个，该电子设 备900的结构并不构成对本申请实施例的限定。
其中，处理器901应用于本申请实施例中，用于实现图7或图8所示 的检测模块、确定模块及拼接模块的功能。
处理器901可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他 可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实 现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电 路。处理器901也可以是实现计算功能的组合，例如包含一个或多个微处 理器组合，DSP和微处理器的组合等。
总线902可包括一通路，在上述组件之间传送信息。总线902可以是 PCI总线或EISA总线等。总线902可以分为地址总线、数据总线、控制 总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总 线或一种类型的总线。
存储器903可以是ROM或可存储静态信息和指令的其他类型的静态 存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也 可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、 激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁 存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程 序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器903用于存储执行本申请方案的应用程序代码，并由处理器 901来控制执行。处理器901用于执行存储器903中存储的应用程序代码， 以实现图7或图8所示实施例提供的视频拼接装置的动作。
本申请实施例提供的电子设备，包括存储器、处理器及存储在存储器 上并可在处理器上运行的计算机程序，处理器执行程序时，与现有技术相 比，可实现：通过确定满足预设条件的第一图像相对于第二图像的运动向 量，以及根据运动向量，确定第一图像与第二图像之间的至少一个补偿帧， 并基于至少一个补偿帧拼接第一图像与第二图像，提供了一种能够在移动 设备端对非线性的视频拍摄片段进行拼接的方法，不仅可以在移动设备端实时、高效地对多段视频进行拼接，高质地对衔接处发生的抖动进行平滑 补偿，使得多段视频之间可以平滑过渡，确保用户上传的视频更加平滑， 有效减少多段视频拼接后的图像抖动或图像跳变等情况的发生，极大提升 用户的视频拼接、发布及观看体验，而且能够覆盖安卓、苹果等操作系统 的终端设备，无需终端设备中特定硬件的支撑，避免了对硬件厂商的依赖， 解决了传统视频插帧方法对移动设备及使用场景的限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介 质上存储有计算机程序，该程序被处理器执行时实现实施例一所示的方法。 与现有技术相比，通过确定满足预设条件的第一图像相对于第二图像的运 动向量，以及根据运动向量，确定第一图像与第二图像之间的至少一个补 偿帧，并基于至少一个补偿帧拼接第一图像与第二图像，提供了一种能够 在移动设备端对非线性的视频拍摄片段进行拼接的方法，不仅可以在移动 设备端实时、高效地对多段视频进行拼接，高质地对衔接处发生的抖动进 行平滑补偿，使得多段视频之间可以平滑过渡，确保用户上传的视频更加 平滑，有效减少多段视频拼接后的图像抖动或图像跳变等情况的发生，极 大提升用户的视频拼接、发布及观看体验，而且能够覆盖安卓、苹果等操 作系统的终端设备，无需终端设备中特定硬件的支撑，避免了对硬件厂商 的依赖，解决了传统视频插帧方法对移动设备及使用场景的限制。
本申请实施例提供的计算机可读存储介质适用于上述方法的任一实 施例。在此不再赘述。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次 显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文 中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他 的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步 骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成， 而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替 地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的 普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进 和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种视频拼接方法，其特征在于，包括：
检测第一图像与第二图像之间的相似度，所述第一图像为第一待拼接视频的最后一帧图像，所述第二图像为第二待拼接视频的首帧图像；
如果所述相似度满足预设条件，则确定所述第一图像相对于所述第二图像的运动向量；
根据所述运动向量，确定所述第一图像与所述第二图像之间的至少一个补偿帧，并基于所述至少一个补偿帧拼接所述第一图像与所述第二图像，以拼接所述第一待拼接视频与所述第二待拼接视频。
2.根据权利要求1所述的方法，其特征在于，所述相似度满足预设条件，包括：
所述相似度不小于预设相似度阈值。
3.根据权利要求1所述的方法，其特征在于，所述检测第一图像与第二图像之间的相似度，包括：
确定第一图像的第一灰度直方图与第二图像的第二灰度直方图；
根据第一灰度直方图中各个灰度的权重、第一灰度直方图中各个灰度对应的像素个数及第二灰度直方图中各个灰度对应的像素个数，确定所述第一图像与所述第二图像之间的相似度。
4.根据权利要求1所述的方法，其特征在于，所述确定所述第一图像相对于所述第二图像的运动向量，包括：
基于预设形变比率，对所述第一图像与所述第二图像分别进行横向形变与纵向形变；
根据横向形变后的第一图像相对于横向形变后的第二图像的水平移动距离，确定所述第一图像在水平方向上的第一运动距离；
根据纵向形变后的第一图像相对于纵向形变后的第二图像的垂直移动距离，确定所述第一图像在垂直方向上的第二运动距离；
根据所述第一运动距离、所述第二运动距离以及所述预设形变比率，确定所述运动向量。
5.根据权利要求4所述的方法，其特征在于，预设形变比率包括横向形变比率与纵向形变比率，所述基于预设形变比率，对所述第一图像与所述第二图像分别进行横向形变与纵向形变，包括：
根据横向形变比率对所述第一图像与所述第二图像分别进行横向形变，得到相应的第一横向形变图像与第二横向形变图像，所述第一横向形变图像与所述第二横向形变图像在水平方向上平行且两端对齐；
根据纵向形变比率对所述第一图像与所述第二图像分别进行纵向形变，得到相应的第一纵向形变图像与第二纵向形变图像，所述第一纵向形变图像与所述第二纵向形变图像在垂直方向上平行且两端对齐。
6.根据权利要求5所述的方法，其特征在于，所述根据横向形变后的第一图像相对于横向形变后的第二图像的水平移动距离，确定所述第一图像在水平方向上的第一运动距离，包括：
将第一横向形变图像相对于第二横向形变图像在水平方向上移动多次，共移动X个像素点，X为正整数，并计算每次移动后的第一横向形变图像与第二横向形变图像之间在垂直方向上的相对应部分的第一差异值；
确定各个第一差异值中的最小值，并将该最小值对应的第一差异值记作第一目标差异值；
将与所述第一目标差异值相对应的移动的像素点总数，确定为所述第一图像在水平方向上的第一运动距离。
7.根据权利要求5所述的方法，其特征在于，所述根据纵向形变后的第一图像相对于纵向形变后的第二图像的移动，确定所述第一图像在垂直方向上的第二运动距离，包括：
将第一纵向形变图像相对于第二纵向形变图像在垂直方向上移动多次，共移动Y个像素点，Y为正整数，并计算每次移动后的第一纵向形变图像与第二纵向形变图像之间在水平方向上的相对应部分的第二差异值；
确定各个第二差异值中的最小值，并将该最小值对应的第二差异值记作第二目标差异值；
将与所述第二目标差异值相对应的移动的像素点总数，确定为所述第一图像在垂直方向上的第二运动距离。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述根据所述第一运动距离、所述第二运动距离以及所述预设形变比率，确定所述运动向量，包括：
计算第一运动距离与横向形变比率的第一比值；
计算第二运动距离与纵向形变比率的第二比值；
根据所述第一比值与所述第二比值，确定所述运动向量。
9.根据权利要求1所述的方法，其特征在于，在预定的补偿时长的任一补偿时间区间上，根据所述运动向量，确定所述第一图像与所述第二图像之间的补偿帧，包括：
确定在任一补偿时间区间上的第一预设参数；
计算第一预设参数与所述第二图像间的第一乘积；
计算第二预设参数与第三图像之间的第二乘积，所述第二预设参数为预设数值与所述第一预设参数间的差值，所述第三图像为根据所述运动向量运动后的第一图像与第二图像之间的重叠部分；
根据所述第一乘积与所述第二乘积确定相应的图像帧，并渲染所述图像帧，得到所述补偿帧。
10.一种视频拼接装置，其特征在于，包括：
检测模块，用于检测第一图像与第二图像之间的相似度，所述第一图像为第一待拼接视频的最后一帧图像，所述第二图像为第二待拼接视频的首帧图像；
确定模块，用于当所述相似度满足预设条件时，确定所述第一图像相对于所述第二图像的运动向量；
拼接模块，用于根据所述运动向量，确定所述第一图像与所述第二图像之间的至少一个补偿帧，并基于所述至少一个补偿帧拼接所述第一图像与所述第二图像，以拼接所述第一待拼接视频与所述第二待拼接视频。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9任一项所述的视频拼接方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-9任一项所述的视频拼接方法。
CN201811496469.3A 2018-12-07 2018-12-07 视频拼接方法、装置、电子设备及计算机可读存储介质 Active CN111294644B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811496469.3A CN111294644B (zh) 2018-12-07 2018-12-07 视频拼接方法、装置、电子设备及计算机可读存储介质
PCT/CN2019/119616 WO2020114251A1 (zh) 2018-12-07 2019-11-20 视频拼接方法、装置、电子设备及计算机存储介质
EP19892144.7A EP3893513A4 (en) 2018-12-07 2019-11-20 METHOD AND APPARATUS FOR CONNECTING VIDEO, ELECTRONIC DEVICE, AND COMPUTER STORAGE MEDIA
US17/184,258 US11972580B2 (en) 2018-12-07 2021-02-24 Video stitching method and apparatus, electronic device, and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811496469.3A CN111294644B (zh) 2018-12-07 2018-12-07 视频拼接方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111294644A true CN111294644A (zh) 2020-06-16
CN111294644B CN111294644B (zh) 2021-06-25

Family

ID=70975171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811496469.3A Active CN111294644B (zh) 2018-12-07 2018-12-07 视频拼接方法、装置、电子设备及计算机可读存储介质

Country Status (4)

Country Link
US (1) US11972580B2 (zh)
EP (1) EP3893513A4 (zh)
CN (1) CN111294644B (zh)
WO (1) WO2020114251A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970562A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN111970559A (zh) * 2020-07-09 2020-11-20 北京百度网讯科技有限公司 视频获取方法、装置、电子设备及存储介质
CN112200739A (zh) * 2020-09-30 2021-01-08 北京大米科技有限公司 一种视频处理的方法、装置、可读存储介质和电子设备
CN112819694A (zh) * 2021-01-18 2021-05-18 中国工商银行股份有限公司 一种视频图像拼接方法及装置
CN113254700A (zh) * 2021-06-03 2021-08-13 北京有竹居网络技术有限公司 交互视频编辑方法、装置、计算机设备及存储介质
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN113901267A (zh) * 2021-10-18 2022-01-07 深圳追一科技有限公司 动作视频的生成方法、装置、设备及介质
CN114040179A (zh) * 2021-10-20 2022-02-11 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置
CN114125324A (zh) * 2021-11-08 2022-03-01 北京百度网讯科技有限公司 一种视频拼接方法、装置、电子设备及存储介质
CN114495855A (zh) * 2022-01-24 2022-05-13 海宁奕斯伟集成电路设计有限公司 视频数据转换电路、方法及显示设备
WO2022148319A1 (zh) * 2021-01-05 2022-07-14 华为技术有限公司 视频切换方法、装置、存储介质及设备
CN114979758A (zh) * 2021-02-26 2022-08-30 影石创新科技股份有限公司 视频拼接方法、装置、计算机设备和存储介质
WO2022193090A1 (zh) * 2021-03-15 2022-09-22 深圳市大疆创新科技有限公司 视频处理方法、电子设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123726A1 (en) * 2001-12-27 2003-07-03 Lg Electronics Inc. Scene change detection apparatus
CN101304490A (zh) * 2008-06-20 2008-11-12 北京六维世纪网络技术有限公司 一种拼合视频的方法和装置
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
CN104240224A (zh) * 2013-06-20 2014-12-24 富泰华工业（深圳）有限公司 视频分析系统及方法
CN104396269A (zh) * 2012-04-27 2015-03-04 阿尔卡特朗讯公司 动态插播过渡
US20150155009A1 (en) * 2013-12-03 2015-06-04 Nokia Corporation Method and apparatus for media capture device position estimate- assisted splicing of media
US9215459B2 (en) * 2012-01-11 2015-12-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image capturing apparatus, and program
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN106657816A (zh) * 2016-11-07 2017-05-10 湖南源信光电科技有限公司 一种基于orb算法的图像配准和图像融合并行的多路视频快速拼接算法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665450B1 (en) * 2000-09-08 2003-12-16 Avid Technology, Inc. Interpolation of a sequence of images using motion analysis
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
CN103582901A (zh) * 2010-12-29 2014-02-12 汤姆逊许可公司 生成运动合成数据的方法和生成运动合成数据的设备
WO2012101542A1 (en) * 2011-01-28 2012-08-02 Koninklijke Philips Electronics N.V. Motion vector based comparison of moving objects
JP2016059015A (ja) * 2014-09-12 2016-04-21 株式会社東芝 画像出力装置
CN105893920B (zh) * 2015-01-26 2019-12-27 阿里巴巴集团控股有限公司 一种人脸活体检测方法和装置
US9635307B1 (en) * 2015-12-18 2017-04-25 Amazon Technologies, Inc. Preview streaming of video data
US10185877B2 (en) * 2016-07-08 2019-01-22 Huawei Technologies Co., Ltd. Systems, processes and devices for occlusion detection for video-based object tracking
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
US10332242B2 (en) * 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video
US11153465B2 (en) * 2017-06-21 2021-10-19 Dell Products L.P. System and method of processing video of a tileable wall
CN107958442A (zh) * 2017-12-07 2018-04-24 中国科学院自动化研究所 多幅显微图像拼接中的灰度校正方法及装置
US10600157B2 (en) * 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030123726A1 (en) * 2001-12-27 2003-07-03 Lg Electronics Inc. Scene change detection apparatus
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
CN101304490A (zh) * 2008-06-20 2008-11-12 北京六维世纪网络技术有限公司 一种拼合视频的方法和装置
CN102157009A (zh) * 2011-05-24 2011-08-17 中国科学院自动化研究所 基于运动捕获数据的三维人体骨架运动编辑方法
US9215459B2 (en) * 2012-01-11 2015-12-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image capturing apparatus, and program
CN104396269A (zh) * 2012-04-27 2015-03-04 阿尔卡特朗讯公司 动态插播过渡
CN104240224A (zh) * 2013-06-20 2014-12-24 富泰华工业（深圳）有限公司 视频分析系统及方法
CN103501415A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种基于重叠部分结构变形的视频实时拼接方法
US20150155009A1 (en) * 2013-12-03 2015-06-04 Nokia Corporation Method and apparatus for media capture device position estimate- assisted splicing of media
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN106331480A (zh) * 2016-08-22 2017-01-11 北京交通大学 基于图像拼接的视频稳像方法
CN106657816A (zh) * 2016-11-07 2017-05-10 湖南源信光电科技有限公司 一种基于orb算法的图像配准和图像融合并行的多路视频快速拼接算法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111970559A (zh) * 2020-07-09 2020-11-20 北京百度网讯科技有限公司 视频获取方法、装置、电子设备及存储介质
CN111970559B (zh) * 2020-07-09 2022-07-22 北京百度网讯科技有限公司 视频获取方法、装置、电子设备及存储介质
CN111970562A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
WO2022037331A1 (zh) * 2020-08-17 2022-02-24 Oppo广东移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备
CN112200739A (zh) * 2020-09-30 2021-01-08 北京大米科技有限公司 一种视频处理的方法、装置、可读存储介质和电子设备
WO2022148319A1 (zh) * 2021-01-05 2022-07-14 华为技术有限公司 视频切换方法、装置、存储介质及设备
CN112819694A (zh) * 2021-01-18 2021-05-18 中国工商银行股份有限公司 一种视频图像拼接方法及装置
CN114979758B (zh) * 2021-02-26 2023-03-21 影石创新科技股份有限公司 视频拼接方法、装置、计算机设备和存储介质
WO2022179554A1 (zh) * 2021-02-26 2022-09-01 影石创新科技股份有限公司 视频拼接方法、装置、计算机设备和存储介质
CN114979758A (zh) * 2021-02-26 2022-08-30 影石创新科技股份有限公司 视频拼接方法、装置、计算机设备和存储介质
WO2022193090A1 (zh) * 2021-03-15 2022-09-22 深圳市大疆创新科技有限公司 视频处理方法、电子设备及计算机可读存储介质
CN113269086A (zh) * 2021-05-24 2021-08-17 苏州睿东科技开发有限公司 一种vlog剪辑方法和剪辑系统
CN113254700A (zh) * 2021-06-03 2021-08-13 北京有竹居网络技术有限公司 交互视频编辑方法、装置、计算机设备及存储介质
CN113254700B (zh) * 2021-06-03 2024-03-05 北京有竹居网络技术有限公司 交互视频编辑方法、装置、计算机设备及存储介质
CN113901267A (zh) * 2021-10-18 2022-01-07 深圳追一科技有限公司 动作视频的生成方法、装置、设备及介质
CN114040179A (zh) * 2021-10-20 2022-02-11 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置
CN114040179B (zh) * 2021-10-20 2023-06-06 重庆紫光华山智安科技有限公司 一种图像的处理方法及装置
CN114125324A (zh) * 2021-11-08 2022-03-01 北京百度网讯科技有限公司 一种视频拼接方法、装置、电子设备及存储介质
CN114125324B (zh) * 2021-11-08 2024-02-06 北京百度网讯科技有限公司 一种视频拼接方法、装置、电子设备及存储介质
CN114495855A (zh) * 2022-01-24 2022-05-13 海宁奕斯伟集成电路设计有限公司 视频数据转换电路、方法及显示设备
CN114495855B (zh) * 2022-01-24 2023-08-04 海宁奕斯伟集成电路设计有限公司 视频数据转换电路、方法及显示设备

Also Published As

Publication number Publication date
US11972580B2 (en) 2024-04-30
EP3893513A1 (en) 2021-10-13
EP3893513A4 (en) 2022-01-26
CN111294644B (zh) 2021-06-25
WO2020114251A1 (zh) 2020-06-11
US20210183013A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
CN111294644B (zh) 视频拼接方法、装置、电子设备及计算机可读存储介质
US10600157B2 (en) Motion blur simulation
CN106331480B (zh) 基于图像拼接的视频稳像方法
US10404917B2 (en) One-pass video stabilization
US20190297263A1 (en) Generic platform video image stabilization
US9558543B2 (en) Image fusion method and image processing apparatus
US9148622B2 (en) Halo reduction in frame-rate-conversion using hybrid bi-directional motion vectors for occlusion/disocclusion detection
US10984583B2 (en) Reconstructing views of real world 3D scenes
CN100421455C (zh) 一种视频电子防抖的方法
US9338355B2 (en) Image capturing apparatus, control method thereof, and storage medium
WO2020143191A1 (en) Image frame prediction method, image frame prediction apparatus and head display apparatus
US9118840B2 (en) Image processing apparatus which calculates motion vectors between images shot under different exposure conditions, image processing method, and computer readable medium
US20130063571A1 (en) Image processing apparatus and image processing method
CN102256061B (zh) 一种二维三维混合的视频稳定方法
US10306210B2 (en) Image processing apparatus and image capturing apparatus
US8194141B2 (en) Method and apparatus for producing sharp frames with less blur
CN110786000A (zh) 曝光调整方法和装置
CN104754180A (zh) 降低视频画面抖动的方法与装置
US8644555B2 (en) Device and method for detecting movement of object
CN102668572B (zh) 用于立体数字电影中的最佳运动再现的方法和装置
Shimano et al. Video temporal super-resolution based on self-similarity
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113014817B (zh) 高清高帧视频的获取方法、装置及电子设备
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
EP2656310B1 (en) Method for producing a panoramic image and implementation apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024226

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant