CN106210560A - 基于流形的视频拼接方法 - Google Patents

基于流形的视频拼接方法 Download PDF

Info

Publication number
CN106210560A
CN106210560A CN201610560636.0A CN201610560636A CN106210560A CN 106210560 A CN106210560 A CN 106210560A CN 201610560636 A CN201610560636 A CN 201610560636A CN 106210560 A CN106210560 A CN 106210560A
Authority
CN
China
Prior art keywords
image
manifold
splicing
camera
bar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610560636.0A
Other languages
English (en)
Inventor
刘贵全
叶剑鸣
印金汝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Bi Song Data Technology Co Ltd
Original Assignee
Hefei Bi Song Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Bi Song Data Technology Co Ltd filed Critical Hefei Bi Song Data Technology Co Ltd
Priority to CN201610560636.0A priority Critical patent/CN106210560A/zh
Publication of CN106210560A publication Critical patent/CN106210560A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种基于流形的视频拼接方法,具体包括以下步骤:(1)条图的切割和粘贴;(2)流形拼接的实现;(3)全景图融合。对于手持设备拍摄视频的拼接,针对手持设备运动不规则的情况,本发明采用了基于流形的拼接方案,该方案可以适应于各种相机运动,而无需事先对相机的运动有所限制。由于相机的运动、物体表面的反射率和点光源等原因,在相机拍摄视频的过程中,相同场景在不同帧上的亮度和色彩很多时候是不相同的。这样在把不同的帧拼接的时候,会有明显的拼接痕迹。本发明对基于流形的视频拼接方案,图像融合等模块做了讨论与分析,这几个模块对全景图的生成和显示效果起着很重要的影响。

Description

基于流形的视频拼接方法
技术领域
本发明涉及一种视频拼接方法,尤其涉及基于流形的视频拼接方法。
背景技术
随着电子设备的发展,越来越多的用户会利用手机、平板电脑等电子设备拍摄视频。通常情况下,用户会将所拍摄的多个视频拼接成一个视频。例如,将播放时长为t1的视频Video1和播放时长为t2的视频Video2,拼接成一个播放时长为t1+t2的新视频。
视频拼接是指根据拍摄的一小段场景视频,拼接成大视野的全景图像。手持设备拍摄视频时,往往摄像机运动带来的模糊和重影,图像质量没有相机静态拍摄的质量好。并且由于拍摄过程中,摄像机的姿态参数变化比较随机,视频帧间的视角变换有时比较剧烈,会严重影响后期视频的拼接质量。这些因素在视频拼接中都需要考虑到。
本发明将介绍基于流形的视频拼接模块。基于流形的图像拼接方法是借助于条式相机的原理。该相机拍摄的图像为细条纹图。当该相机沿着景物一侧横向扫描拍摄时,将拍摄的一组条形图合成一幅大的图像。由于条式相机应用范围小很难得到,一次一般用普通的相机来代替。从普通相机采集的图像帧序列中的每帧提取一条图像,然后对齐拼接成一幅大的全景图。
流形是现代数学中描述复杂对象的基本概念。简要的讲,流形就是将局部简单的面片粘合起来形成复杂的形状。当前的拼接算法都是基于把所有的图像投影到一个预先设定的单个流形上:平面通常用于相机平移运动的情况,圆柱面用于相机平摇的情况,球面用于相机的平摇和俯仰运动的情况。不同的拼接模型用于不同的相机运动,对于更为一般的相机运动,譬如相机的前向运动产生的图像使用传统的拼接方法无法进行拼接。
发明内容
本发明的目的是为了解决现有技术中存在的缺点,而提出的一种基于流形的视频拼接方法。
基于流形的视频拼接方法,具体包括以下步骤:
(1)条图的切割和粘贴:通过从源图像剪切条图然后把它们粘贴起来从而合成全景图;条图的形状以及宽度都取决于图像的运动;在选取条图以后,对其进行变形从而使得它们的光流平行且幅值相等;
(2)流形拼接的实现:将对齐好的图像合成一副全景图有很多种方法,在这些情况中图像的对齐几乎是完美的,从而可以使用所有的重叠图像来生成全景图;用重叠区域来生产全景图的常用方法是用平均法,但是当图像对齐的精度不够的时候,平均法会导致模糊现象,仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法,这种选择方案能够最小化对齐误差产生的影响;最合理的选择是选取每幅图像的中心区域作为条图,这种选择方案对应着Vonoroi网格;使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差;Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等;由于镜头扭曲效应是一个径向效应,垂直于接缝的特征将在接缝上产生相同的扭曲变形,这样在对齐的时候就无需考虑镜头的扭曲效应;
(3)全景图融合:图像亮度的变化通常是由相机的自动增益控制引起的,由于亮度的不同,不同图像的区域拼接在一起的时候会有一个明显的拼接接缝,需要用图像融合的方法来消除该接缝,从而生成无缝全景图;常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等,本发明采用加权平均法。
优选地,步骤(3)中所述的加权平均法具体为在重叠部分由前一幅图像慢慢过渡到第二幅图像,即将图像重叠区域的像素值按一定的权值相加合成新的图像。
与现有技术相比,本发明的有益效果是:
1、对于手持设备拍摄视频的拼接,针对手持设备运动不规则的情况,本发明采用了基于流形的拼接方案,该方案可以适应于各种相机运动,而无需事先对相机的运动有所限制。
2、由于相机的运动、物体表面的反射率和点光源等原因,在相机拍摄视频的过程中,相同场景在不同帧上的亮度和色彩很多时候是不相同的。这样在把不同的帧拼接的时候,会有明显的拼接痕迹。为了消除拼接痕迹,实现自然的过度,本发明采用了加权平均的融合防范来实现图像的融合。
3、本发明对基于流形的视频拼接方案,图像融合等模块做了讨论与分析,这几个模块对全景图的生成和显示效果起着很重要的影响。最后给出了部分场景的视频拼接图,可以看出,对于静态场景拍摄的视频,本发明的视频拼接方案能构建出高质量的拼接图。
附图说明
图1为相机平移运动时的条图形状;
图2为条图与光流的关系图;
图3为拼接的全景图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
参考图1-3,本发明基于自适应流形拼接的方法把每帧图像的一块细条图像投影到流形上,该流形的形状根据相机的运动进行动态的变化。为了保证拼接后的图像无变形,所选择的流形必须具有下列特征:在将图像投影到流形上后,光流矢量必须是近似一致的,即光流矢量相互平行且幅值相等。该光流的典型情形是图像的平移运动,这时流形是平面。当相机做平摇运动时,流形是一个竖直的圆柱面,图像中心的竖直图像条的光流是近似一致的。
当一个相机在普通的场景中运动是,光流是不一致的,并且和场景的深度有关。这种场景的一个拼接方案是使用狭缝相机或者线阵相机。这种相机可以看作一维的传感器阵列,通过扫过整个场景,然后把扫描得到的一维图像狭缝合成一幅大的图像。
线阵相机的图像处理过程可以看作多透视投影模型:每个细条的投影变换都是透视变换,不同的细条可能来自不同的投影中心。因此在细条的方向,投影是透视变换的;而在相机前进的方向,投影是平行的。在平行投影下是没有视差的,因为在合成图像上的光流是一致的。
流形拼接是处理一个标准透视相机平滑运动所拍摄的视频帧序列。流形拼接技术近似相同路径上线阵相机的拼接。这种近似是通过把每幅图像窄细条重新投影到一个动态的流形上,从而光流能够近似一致,即光流平行且具有相等的幅值。动态流形和重投影矩阵都是隐式计算得到的。
拼接图像中的每个区域都是取自该区域具有最高分辨率的拍摄图像。假设相机运动是纯旋转或者纯平移运动,当相机运动同时含有旋转和平移时,可以通过旋转变换把旋转运动抵消。
基于流形的拼接方法是通过在图像中提取窄带条形图像,然后把这些窄带拼接成一幅大的全景图,这些窄带必须满足下列条件:
①窄带条图的宽度必须和相机的运动成正比;
②窄带条图必须经过变形后贴到全景图上,在变形后必须保证它们的光流是平行于全景图构建的方向,并且光流的幅值相等;
③为了避免全局的尺度变化,每个窄带条图都包含一个支撑特征,即使经过变形该特征也能保持不变;
④建议该特征垂直于光流,从而能够是虚拟一维传感器阵列收集到的信息最大化。
当前大部分的拼接系统都是针对整幅图像或者视频帧的拼接。引入整帧图像会给图像拼接带来一些困难:
①由于镜头失真、运动视差、物体的运动等因素,将整帧图像精确的对齐是不可能的。在图像拼接的时候会带来一些“鬼影”或者模糊;
②这对拼接流形的确定带来了困难。例如,如果所有的图像都对齐到某个参考图像上,那么不同的参考图像将会构成不同的拼接图。在将图像投影到圆柱面的情况,必须保证相机是纯左右旋转的。
为了克服以上的这些困难,本发明采用基于窄带条图的拼接方案。采用最简单的条图,即竖直条图,对应相机的左右平移和旋转,从每幅图像中提取竖直条图,然后将条图对齐合成一幅全景图。当光流是竖直方向时,采用竖直条图是无用的,因为这时条图和光流的方向平行,没有图像区域切割条图。最佳的拼接方案是让条图的方向与光流的方向垂直。
确定条图的形状的最简单的例子是相机的纯平移运动产生的图像。在相机纯平移运动的情况下,图像的运动可以通过一个发散的光流来表示,该光流从发散焦点开始发散,相机的视场则是图像平面上的一个圆圈。最佳的条图将是中心位于发散焦点并且通过相机视场的一个最长的圆弧段,它是视场中垂直于光流的最长曲线。
垂直于光流的扫描条图的定义在某些情况下是非常简单的:
①在侧向的图像运动中,最佳条图是竖直的;
②当相机做前向运动形成图像放缩时,最佳条图是一个圆;
③当相机做平移运动时,最佳条图是圆弧。
通过从源图像剪切条图然后把它们粘贴起来从而合成全景图。条图的形状以及宽度都取决于图像的运动。在选取条图以后,应该对其进行变形从而使得它们的光流平行且幅值相等。
基于流形的视频拼接方法,具体包括以下步骤:
(1)条图的切割和粘贴:通过从源图像剪切条图然后把它们粘贴起来从而合成全景图。条图的形状以及宽度都取决于图像的运动;在选取条图以后,应该对其进行变形从而使得它们的光流平行且幅值相等。
(2)流形拼接的实现:将对齐好的图像合成一副全景图有很多种方法,在这些情况中图像的对齐几乎是完美的,从而可以使用所有的重叠图像来生成全景图;用重叠区域来生产全景图的常用方法是用平均法,但是当图像对齐的精度不够的时候,平均法会导致模糊现象,仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法,这种选择方案能够最小化对齐误差产生的影响;最合理的选择是选取每幅图像的中心区域作为条图,这样选择有两个主要原因:①图像中心的对齐精度一般要比边缘部分的高;②图像中心区域的扭曲形变小。这种选择方案对应着Vonoroi网格。使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差。Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等。由于镜头扭曲效应是一个径向效应,垂直于接缝的特征将在接缝上产生相同的扭曲变形,这样在对齐的时候就无需考虑镜头的扭曲效应。
(3)全景图融合:图像亮度的变化通常是由相机的自动增益控制引起的,由于亮度的不同,不同图像的区域拼接在一起的时候会有一个明显的拼接接缝,需要用图像融合的方法来消除该接缝,从而生成无缝全景图。常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等,本发明采用加权平均法。加权平均法的主要思想是:在重叠部分由前一幅图像慢慢过渡到第二幅图像,即将图像重叠区域的像素值按一定的权值相加合成新的图像。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (2)

1.基于流形的视频拼接方法,其特征在于,具体包括以下步骤:
(1)条图的切割和粘贴:通过从源图像剪切条图然后把它们粘贴起来从而合成全景图;条图的形状以及宽度都取决于图像的运动;在选取条图以后,对其进行变形从而使得它们的光流平行且幅值相等;
(2)流形拼接的实现:将对齐好的图像合成一副全景图有很多种方法,在这些情况中图像的对齐几乎是完美的,从而可以使用所有的重叠图像来生成全景图;用重叠区域来生产全景图的常用方法是用平均法,但是当图像对齐的精度不够的时候,平均法会导致模糊现象,仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法,这种选择方案能够最小化对齐误差产生的影响;最合理的选择是选取每幅图像的中心区域作为条图,这种选择方案对应着Vonoroi网格;使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差;Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等;由于镜头扭曲效应是一个径向效应,垂直于接缝的特征将在接缝上产生相同的扭曲变形,这样在对齐的时候就无需考虑镜头的扭曲效应;
(3)全景图融合:图像亮度的变化通常是由相机的自动增益控制引起的,由于亮度的不同,不同图像的区域拼接在一起的时候会有一个明显的拼接接缝,需要用图像融合的方法来消除该接缝,从而生成无缝全景图;常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等,本发明采用加权平均法。
2.根据权利要求1所述的基于流形的视频拼接方法,其特征在于,步骤(3)中所述的加权平均法具体为在重叠部分由前一幅图像慢慢过渡到第二幅图像,即将图像重叠区域的像素值按一定的权值相加合成新的图像。
CN201610560636.0A 2016-07-17 2016-07-17 基于流形的视频拼接方法 Pending CN106210560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610560636.0A CN106210560A (zh) 2016-07-17 2016-07-17 基于流形的视频拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610560636.0A CN106210560A (zh) 2016-07-17 2016-07-17 基于流形的视频拼接方法

Publications (1)

Publication Number Publication Date
CN106210560A true CN106210560A (zh) 2016-12-07

Family

ID=57474813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610560636.0A Pending CN106210560A (zh) 2016-07-17 2016-07-17 基于流形的视频拼接方法

Country Status (1)

Country Link
CN (1) CN106210560A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233154A (zh) * 2020-11-02 2021-01-15 影石创新科技股份有限公司 拼接图像的色差消除方法、装置、设备和可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310975A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
US20120133639A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
CN102831628A (zh) * 2012-07-02 2012-12-19 中国科学院计算技术研究所 用于更新动态场景的Voronoi图的方法及设备
CN103093447A (zh) * 2013-01-18 2013-05-08 南京大学 一种计算机图片集中图片剪切拼接方法
CN104166580A (zh) * 2014-08-18 2014-11-26 西北工业大学 基于参考帧变换及拼接尺寸自适应的同步在线拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310975A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
CN101606389A (zh) * 2007-01-08 2009-12-16 汤姆森特许公司 用于视频流拼接的方法及装置
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US20120133639A1 (en) * 2010-11-30 2012-05-31 Microsoft Corporation Strip panorama
CN102831628A (zh) * 2012-07-02 2012-12-19 中国科学院计算技术研究所 用于更新动态场景的Voronoi图的方法及设备
CN103093447A (zh) * 2013-01-18 2013-05-08 南京大学 一种计算机图片集中图片剪切拼接方法
CN104166580A (zh) * 2014-08-18 2014-11-26 西北工业大学 基于参考帧变换及拼接尺寸自适应的同步在线拼接方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
于涵等: "基于Voronoi图无人机影像快速拼接方法研究", 《地理空间信息》 *
刘丽芳: "内窥镜图像拼接", 《中国优秀硕士学位论文-信息科技辑》 *
李佳等: "基于条形图的全景图像拼接", 《哈尔滨师范大学自然科学学报》 *
李烁等: "顾及有效区域的Voronoi图的正射影像拼接", 《测绘科学技术学报》 *
陈桂兰: "基于自适应流形的图像拼接", 《哈尔滨师范大学自然科学学报》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233154A (zh) * 2020-11-02 2021-01-15 影石创新科技股份有限公司 拼接图像的色差消除方法、装置、设备和可读存储介质

Similar Documents

Publication Publication Date Title
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN113382168B (zh) 用于存储成像数据的重叠区以产生优化拼接图像的设备及方法
US8928729B2 (en) Systems and methods for converting video
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US20070248260A1 (en) Supporting a 3D presentation
CN101146231A (zh) 根据多视角视频流生成全景视频的方法
CN201523430U (zh) 一种全景视频监控系统
US20160191891A1 (en) Video capturing and formatting system
CN102075694A (zh) 用于视频制作、后期制作和显示适应的立体编辑
JPH06194758A (ja) 奥行画像形成方法及び装置
JP2009124685A (ja) 複数のビデオを結合してリアルタイムで表示する方法及びシステム
JPH05210181A (ja) 電子補間によるインテグラル写真記録再生方法及び装置
EP1843581A2 (en) Video processing and display
CN106454138A (zh) 一种变焦全景摄像头
CN109361912A (zh) 用于立体视觉图像捕获的多层相机装置
CN106023073A (zh) 一种图像拼接系统
CN109428987A (zh) 一种头戴式全景360度立体摄像装置及摄像处理方法
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
WO2014119965A1 (ko) 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라
Ikeda et al. Calibration method for an omnidirectional multicamera system
CN106210560A (zh) 基于流形的视频拼接方法
CN109710061B (zh) 影像的动感反馈系统和动感反馈方法
CN108205236B (zh) 全景摄像机及其镜头
US9602708B2 (en) Rectified stereoscopic 3D panoramic picture

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication