CN106878628A - 一种通过摄像头进行视频拼接的方法 - Google Patents

一种通过摄像头进行视频拼接的方法 Download PDF

Info

Publication number
CN106878628A
CN106878628A CN201710102300.4A CN201710102300A CN106878628A CN 106878628 A CN106878628 A CN 106878628A CN 201710102300 A CN201710102300 A CN 201710102300A CN 106878628 A CN106878628 A CN 106878628A
Authority
CN
China
Prior art keywords
image
video
splicing
carried out
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710102300.4A
Other languages
English (en)
Inventor
候子怡
张国飞
杨立卯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Digital Power Polytron Technologies Inc
Original Assignee
Zhuhai Digital Power Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Digital Power Polytron Technologies Inc filed Critical Zhuhai Digital Power Polytron Technologies Inc
Priority to CN201710102300.4A priority Critical patent/CN106878628A/zh
Publication of CN106878628A publication Critical patent/CN106878628A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种通过摄像头进行视频拼接的方法，包括以下步骤：S10,视频图像采集；S20,选择是否需要进行图像标定，是则转步骤S30，否则转步骤S40；S30,进行图像标定；S40,图像进行畸变校正；S50,图像匹配；S60,图像融合；S70,增益补偿；S80,视频图像输出。本发明将两个摄像头内的视频拼接起来不仅扩大了摄像头的观察角度，而且拍摄下来的视频便于观看。

Description

一种通过摄像头进行视频拼接的方法
技术领域
本发明涉及一种视频拼接方法，特别是一种通过摄像头进行视频拼接的方法。
背景技术
传统摄像头的观察角度过于狭小，为了观察到更加广阔的范围，通常的解决办法是使摄像头来回转动或者在不同的方向均安上摄像头，如果是摄像头来回转动的话，容易漏拍一些重要的细节；如果是在不同的方向均安上摄像头，这样虽然不会漏拍，但是由于视频分散在多个摄像头内，不方便观看。
发明内容
为解决上述问题，本发明的目的在于提供一种能将2个摄像头内的视频拼接起来的视频拼接方法。
本发明解决其问题所采用的技术方案是：一种通过摄像头进行视频拼接的方法，包括以下步骤：
S10，视频图像采集；
S20，选择是否需要进行图像标定，是则转步骤S30，否则转步骤S40；
S30，进行图像标定；
S40，图像进行畸变校正；
S50，图像匹配；
S60，图像融合；
S70，增益补偿；
S80，视频图像输出。
具体而言，步骤S40包括以下步骤：
S31，图像特征提取；
S32，图像特征匹配；
S33，计算图像的单应矩阵。
具体而言，图像标定指采用棋盘法确定摄像头的畸变参数并换算成相应的单应矩阵，便于后期的图像拼接以及图像的校正。
具体而言，图像特征提取是指提取个图像的SIFT特征检测点。SIFT特征在旋转和尺度变化时是不变的，所以可以处理具有变化的方向和大小的图像。
具体而言，图像特征匹配是指使用一种改进的k-d树查询方法Best-bin-firstsearch进行搜索，得到图像之间的特征粗匹配。
具体而言，计算图像的单应矩阵是指使用随机抽样一致性算法RANSAC来估计图像变换参数，得到单应矩阵。
具体而言，图像匹配是指根据已有的单应矩阵将图像通过双线性插值的方法投影到参考平面。
具体而言，图像融合是指在图像的重叠区域使用多带融合以消除拼缝，首先建立具有多分辨率信息的图像金字塔，将待融合的匹配图像采样为不同尺度下的带通层图像，继而对各带通层图像进行线性加权融合得到拼接融合之后的带通层图像，最后对拼接融合后的各带通层图像相加得到最终的融合图像。
具体而言，增益补偿是指考虑到摄像头之间的光照强度区别，会出现图像间整体亮度不同的问题，需要对重叠区域进行光度增益补偿，所有重叠像素的增益归一化强度误差的和的误差函数为其中，R(i，j)表示图像i和图像j之间的重叠区域，Nij＝|R(i，j)|是重叠区域的像素数量，gi，gj是增益，表示图像i在图像i和图像j之间的重叠区域的像素值和的平均，σN和σg分别是归一化强度误差和增益的标准误差，取σN＝10.0(I∈{0...255})，σg＝0.1，令函数e对g的偏导等于零，求出每个图像的增益补偿系数gi，最后对每个图像进行增益补偿，从而消除光度偏差。
具体而言，图像进行畸变校正是指根据计算出来的单应矩阵对图像进行校正。
上述视频拼接方法是将两个摄像头内的视频拼接起来，两个摄像头采用同型号的，可以尽量减少两摄像头之间的输出差异。两个摄像头的位置可以横着排也可以竖着排。横着排是将两个摄像头的图像水平拼接，用来扩大水平方向视角。竖着排是将两个摄像头的图像上下拼接，用来扩大竖直方向视角。该视频拼接方法用于多个摄像头内的视频拼接的时候有两个方法，第一，先将其中两个摄像头内的视频拼接，再将拼接好的视频与其它摄像头内的视频拼接；第二，先将各个摄像头内的视频两两拼接，再将拼接好的视频两两拼接。
本发明的有益效果是：本发明是一种通过摄像头进行视频拼接的方法，本发明将两个摄像头内的视频拼接起来不仅扩大了摄像头的观察角度，而且拍摄下来的视频便于观看；由于在摄像头参数没有变化的情况下只需要进行一次图像标定，因此本发明在图像标定功能之前先选择是否需要进行图像标定，可以有效避免重复进行图像标定，提高系统的反应速度，降低系统的运行压力。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明的方法流程图。
具体实施方式
图1是本发明的方法流程图，如图1所示，一种通过摄像头进行视频拼接的方法，包括以下步骤：
S10，视频图像采集；
S20，选择是否需要进行图像标定，是则转步骤S30，否则转步骤S40；
S30，进行图像标定；
S40，图像进行畸变校正；
S50，图像匹配；
S60，图像融合；
S70，增益补偿；
S80，视频图像输出。
具体而言，步骤S40包括以下步骤：
S31，图像特征提取；
S32，图像特征匹配；
S33，计算图像的单应矩阵。
优选的，本发明的图像标定指采用棋盘法确定摄像头的畸变参数并换算成相应的单应矩阵，便于后期的图像拼接以及图像的校正。图像特征提取是指提取个图像的SIFT特征检测点。SIFT特征在旋转和尺度变化时是不变的，所以可以处理具有变化的方向和大小的图像。图像特征匹配是指使用一种改进的k-d树查询方法Best-bin-firstsearch进行搜索，得到图像之间的特征粗匹配。计算图像的单应矩阵是指使用随机抽样一致性算法RANSAC来估计图像变换参数，得到单应矩阵。图像匹配是指根据已有的单应矩阵将图像通过双线性插值的方法投影到参考平面。图像融合是指在图像的重叠区域使用多带融合以消除拼缝，首先建立具有多分辨率信息的图像金字塔，将待融合的匹配图像采样为不同尺度下的带通层图像，继而对各带通层图像进行线性加权融合得到拼接融合之后的带通层图像，最后对拼接融合后的各带通层图像相加得到最终的融合图像。
优选的，本发明的增益补偿是指考虑到摄像头之间的光照强度区别，会出现图像间整体亮度不同的问题，需要对重叠区域进行光度增益补偿，所有重叠像素的增益归一化强度误差的和的误差函数为其中，R(i，j)表示图像i和图像j之间的重叠区域，Nij＝|R(i，j)|是重叠区域的像素数量，gi，gj是增益，表示图像i在图像i和图像j之间的重叠区域的像素值和的平均，σN和σg分别是归一化强度误差和增益的标准误差，取σN＝10.0(I∈{0...255})，σg＝0.1，令函数e对g的偏导等于零，求出每个图像的增益补偿系数gi，最后对每个图像进行增益补偿，从而消除光度偏差。图像进行畸变校正是指根据计算出来的单应矩阵对图像进行校正。
优选的，本发明的视频拼接方法是将两个摄像头内的视频拼接起来，两个摄像头采用同型号的，可以尽量减少两摄像头之间的输出差异。两个摄像头的位置可以横着排也可以竖着排。横着排是将两个摄像头的图像水平拼接，用来扩大水平方向视角。竖着排是将两个摄像头的图像上下拼接，用来扩大竖直方向视角。该视频拼接方法用于多个摄像头内的视频拼接的时候有两个方法，第一，先将其中两个摄像头内的视频拼接，再将拼接好的视频与其它摄像头内的视频拼接；第二，先将各个摄像头内的视频两两拼接，再将拼接好的视频两两拼接。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (10)

1.一种通过摄像头进行视频拼接的方法，其特征在于，包括以下步骤：
S10，视频图像采集；
S20，选择是否需要进行图像标定，是则转步骤S30，否则转步骤S40；
S30，进行图像标定；
S40，图像进行畸变校正；
S50，图像匹配；
S60，图像融合；
S70，增益补偿；
S80，视频图像输出。
2.根据权利要求1所述的一种通过摄像头进行视频拼接的方法，其特征在于，步骤S40包括以下步骤：
S31，图像特征提取；
S32，图像特征匹配；
S33，计算图像的单应矩阵。
3.根据权利要求1或2任一所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像标定指采用棋盘法确定摄像头的畸变参数并换算成相应的单应矩阵，便于后期的图像拼接以及图像的校正。
4.根据权利要求2所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像特征提取是指提取个图像的SIFT特征检测点。SIFT特征在旋转和尺度变化时是不变的，所以可以处理具有变化的方向和大小的图像。
5.根据权利要求2所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像特征匹配是指使用一种改进的k-d树查询方法Best-bin-first search进行搜索，得到图像之间的特征粗匹配。
6.根据权利要求2所述的一种通过摄像头进行视频拼接的方法，其特征在于：计算图像的单应矩阵是指使用随机抽样一致性算法RANSAC来估计图像变换参数，得到单应矩阵。
7.根据权利要求6所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像匹配是指根据已有的单应矩阵将图像通过双线性插值的方法投影到参考平面。
8.根据权利要求1所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像融合是指在图像的重叠区域使用多带融合以消除拼缝，首先建立具有多分辨率信息的图像金字塔，将待融合的匹配图像采样为不同尺度下的带通层图像，继而对各带通层图像进行线性加权融合得到拼接融合之后的带通层图像，最后对拼接融合后的各带通层图像相加得到最终的融合图像。
9.根据权利要求1所述的一种通过摄像头进行视频拼接的方法，其特征在于：增益补偿是指考虑到摄像头之间的光照强度区别，会出现图像间整体亮度不同的问题，需要对重叠区域进行光度增益补偿，所有重叠像素的增益归一化强度误差的和的误差函数为其中，R(i，j)表示图像i和图像j之间的重叠区域，Nij＝|R(i，j)|是重叠区域的像素数量，gi，gi是增益，表示图像i在图像i和图像j之间的重叠区域的像素值和的平均，σN和σg分别是归一化强度误差和增益的标准误差，取σN＝10.0(I∈{0...255})，σg＝0.1，令函数e对g的偏导等于零，求出每个图像的增益补偿系数gi，最后对每个图像进行增益补偿，从而消除光度偏差。
10.根据权利要求3所述的一种通过摄像头进行视频拼接的方法，其特征在于：图像进行畸变校正是指根据计算出来的单应矩阵对图像进行校正。
CN201710102300.4A 2017-02-23 2017-02-23 一种通过摄像头进行视频拼接的方法 Pending CN106878628A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710102300.4A CN106878628A (zh) 2017-02-23 2017-02-23 一种通过摄像头进行视频拼接的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710102300.4A CN106878628A (zh) 2017-02-23 2017-02-23 一种通过摄像头进行视频拼接的方法

Publications (1)

Publication Number Publication Date
CN106878628A true CN106878628A (zh) 2017-06-20

Family

ID=59168570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710102300.4A Pending CN106878628A (zh) 2017-02-23 2017-02-23 一种通过摄像头进行视频拼接的方法

Country Status (1)

Country Link
CN (1) CN106878628A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063932A (zh) * 2017-11-10 2018-05-22 广州极飞科技有限公司 一种光度标定的方法及装置
CN108965805A (zh) * 2018-07-10 2018-12-07 深圳市巨龙创视科技有限公司 一种基于嵌入式深度学习算法的拼接联动系统
CN109978765A (zh) * 2019-03-11 2019-07-05 上海保隆汽车科技股份有限公司 全景图像亮度校正方法和拼接方法及其装置
CN113938617A (zh) * 2021-09-06 2022-01-14 杭州联吉技术有限公司 一种多路视频显示方法、设备、网络摄像机及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581637A (en) * 1994-12-09 1996-12-03 Xerox Corporation System for registering component image tiles in a camera-based scanner device transcribing scene images
CN103448634A (zh) * 2012-05-31 2013-12-18 通用汽车环球科技运作有限责任公司 与图像裁剪叠加的动态参考
CN104299215A (zh) * 2014-10-11 2015-01-21 中国兵器工业第二O二研究所 一种特征点标定和匹配的图像拼接方法
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接系统与方法
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5581637A (en) * 1994-12-09 1996-12-03 Xerox Corporation System for registering component image tiles in a camera-based scanner device transcribing scene images
CN103448634A (zh) * 2012-05-31 2013-12-18 通用汽车环球科技运作有限责任公司 与图像裁剪叠加的动态参考
CN104299215A (zh) * 2014-10-11 2015-01-21 中国兵器工业第二O二研究所 一种特征点标定和匹配的图像拼接方法
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接系统与方法
CN106339981A (zh) * 2016-08-25 2017-01-18 安徽协创物联网技术有限公司 一种全景拼接方法
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108063932A (zh) * 2017-11-10 2018-05-22 广州极飞科技有限公司 一种光度标定的方法及装置
CN108965805A (zh) * 2018-07-10 2018-12-07 深圳市巨龙创视科技有限公司 一种基于嵌入式深度学习算法的拼接联动系统
CN109978765A (zh) * 2019-03-11 2019-07-05 上海保隆汽车科技股份有限公司 全景图像亮度校正方法和拼接方法及其装置
CN113938617A (zh) * 2021-09-06 2022-01-14 杭州联吉技术有限公司 一种多路视频显示方法、设备、网络摄像机及存储介质

Similar Documents

Publication Publication Date Title
CN111080724B (zh) 一种红外和可见光的融合方法
CN106886979B (zh) 一种图像拼接装置及图像拼接方法
Hu et al. Exposure stacks of live scenes with hand-held cameras
CN101431617B (zh) 用于合并视频以实时显示的方法和系统
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN101673395B (zh) 图像拼接方法及装置
CN109064404A (zh) 一种基于多相机标定的全景拼接方法、全景拼接系统
CN103198487B (zh) 一种用于视频监控系统中的自动定标方法
CN102074001B (zh) 一种文本图像的拼接方法及系统
JP2019149809A (ja) 撮像装置のモデリングおよび校正のためのシステムおよびその方法
CN104299215B (zh) 一种特征点标定和匹配的图像拼接方法
CN106878628A (zh) 一种通过摄像头进行视频拼接的方法
EP2221764A1 (en) Method of creating a composite image
US20070031063A1 (en) Method and apparatus for generating a composite image from a set of images
CN109087244A (zh) 一种全景图像拼接方法、智能终端及存储介质
CN106357976A (zh) 一种全方位全景图像生成的方法和装置
CN106447602A (zh) 一种图像拼接方法及装置
US11436791B2 (en) Methods and systems for acquiring svBRDF measurements
US11270415B2 (en) Image inpainting with geometric and photometric transformations
CN102982524B (zh) 玉米果穗有序图像的拼接方法
Kiku et al. Simultaneous capturing of RGB and additional band images using hybrid color filter array
CN104392416A (zh) 一种运动场景的视频拼接方法
CN110322485A (zh) 一种异构多相机成像系统的快速图像配准方法
US11393076B2 (en) Blurring panoramic image blurring method, terminal and computer readable storage medium
CN106023073A (zh) 一种图像拼接系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620