CN105450945A - 一种视频全景生成方法及并行计算系统 - Google Patents

一种视频全景生成方法及并行计算系统 Download PDF

Info

Publication number
CN105450945A
CN105450945A CN201510780661.5A CN201510780661A CN105450945A CN 105450945 A CN105450945 A CN 105450945A CN 201510780661 A CN201510780661 A CN 201510780661A CN 105450945 A CN105450945 A CN 105450945A
Authority
CN
China
Prior art keywords
video
video data
panorama
data
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510780661.5A
Other languages
English (en)
Inventor
裴继红
孙凯
杨烜
谢维信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201510780661.5A priority Critical patent/CN105450945A/zh
Publication of CN105450945A publication Critical patent/CN105450945A/zh
Priority to PCT/CN2016/085685 priority patent/WO2017080206A1/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明适用于安防监控领域，提供了一种视频全景生成方法，步骤包括：步骤A，进行独立的视频数据采集；步骤B，对每一路独立的视频数据进行投影变换，获取相对应的变换视频数据；步骤C，对所述变换视频数据进行图像融合，获取融合视频数据；步骤D，对所述融合视频数据进行数据重组，获取重组视频数据；步骤E，对所述重组视频数据进行全景显示。本发明将传统的视频全景生成过程，用分布式并行计算的方式去实现，如视频采集、投影变换、视频融合、显示等，能适用于当生成全景的视频源增加或减少的情况，解决多路视频源不能实时生成全景的问题。

Description

一种视频全景生成方法及并行计算系统
技术领域
本发明属于视频图像处理领域，尤其涉及一种视频全景生成方法及并行计算系统。
背景技术
传统的全景生成方法，一般采用1台处理机对多路视频数据进行采集，然后对每路视频做投影变换、视频图像融合，最后生成一个大视野范围的全景视频并显示。在整个过程中，由于采集、处理、显示这几个步骤都非常耗计算机资源，当生成全景所需的视频路数增多时，特别是视频源为高分辨率时，难以实现多路视频的全景生成的实时性，
发明内容
本发明所要解决的技术问题在于提供一种视频全景生成方法及并行计算系统，旨在解决现有技术在生成全景时所述视频路数增多时，难以实现多路视频的全景生成的实时性的问题。
本发明是这样实现的，一种视频全景生成方法，步骤包括：
步骤A，进行独立的视频数据采集；
步骤B，对每一路独立的视频数据进行投影变换，获取相对应的变换视频数据；
步骤C，对所述变换视频数据进行图像融合，获取融合视频数据；
步骤D，对所述融合视频数据进行数据重组，获取重组视频数据；
步骤E，对所述重组视频数据进行全景显示。
进一步地，步骤A具体包括：调用全景视野范围内的所有网络摄像机，每一台网络摄像机进行独立的视频数据采集。
进一步地，步骤B具体包括：将全景视野范围内的网络摄像机进行标定，通过匹配好的4对匹配点计算投影变换矩阵，每一路标定好的网络摄像机获取相应的投影变换矩阵；
根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换，获取相对应的变换视频数据。
进一步地，步骤C具体包括：对所述变换视频数据进行加权融合处理，获取融合视频数据。
进一步地，步骤D具体包括：按照需显示的电视墙的分块显示屏的数量对每路融合图像数据进行分块再重组，获取重组视频数据；每一分块显示屏对应一路所述重组视频数据。
本发明还提供了一种视频全景并行计算系统，包括：
若干视频采集单元，用于进行独立的视频数据采集；
若干投影融合单元，用于对所述视频数据进行投影变换和图像融合，获取融合视频数据；
若干数据重组单元，用于对所述融合视频数据进行数据重组，获取重组视频数据；
显示单元，包括若干显示屏，所述显示屏组成显示墙，用于接收所述重组视频数据并进行显示。
进一步地，所述视频采集单元与所述投影融合单元一一对应；
每一视频采集单元进行独立的视频数据采集后发送给对应的投影融合单元，投影融合单元接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理，获取融合视频数据。
进一步地，所述数据重组单元与所述显示屏一一对应；
每一数据重组单元，接收对应显示屏视野范围内的融合视频数据进行叠加组合，并传递至对应的显示屏直接显示。
本发明与现有技术相比，有益效果在于：本发明将传统的视频全景生成过程，用分布式并行计算的方式去实现，如视频采集、投影变换、视频融合、显示等，能适用于当生成全景的视频源增加或减少的情况，解决多路视频源不能实时生成全景的问题。
附图说明
图1是本发明实施例提供的一种视频全景生成方法的流程图。
图2、图3是本发明实施例提供的单路视频的投影变换示意图
图4是本发明实施例提供的一路独立视频数据的分块示意图。
图5是本发明实施例提供的一种视频全景示意图。
图6是本发明实施例提供的一种视频全景并行计算系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明实施例提供的一种视频全景生成方法，步骤包括：
S1，视频采集：调用全景视野范围内的所有网络摄像机，进行独立的视频数据采集。
S2，投影变换：通过匹配好的4对匹配点计算出投影变换矩阵，所述投影变换矩阵为3x3的矩阵，全景视野中的网络摄像机标定完后，每一路网络摄像机获取相应的投影变换矩阵，根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换，获取相对应的变换视频数据。如图2、图3所示，假设全景视野由1、2、3、4四部分组成，其中一路网络摄像机投影变换到全景视野内，如图2中所示的不规则四边形区域，为了减少运算量，投影变换只取不规则四边形最大外接矩形区域内的投影变换运算。最大外接矩阵区域的投影变换图像定义为ProjImg。
S3，图像融合：多路视频数据在统一坐标系统下做投影变换，会存在两路或多路视频投影后有部分重叠的情况，在这种情况下，需要对每一路网络摄像机投影变换后的变换视频数据做加权融合处理，加权融合处理是对投影变换后的变换视频数据中图像的每个像素点乘以一个小于等于1的权值系数，这里定义一个融合系数模板MergeMask，大小与投影变换图像ProjImg大小相等。融合系数模板的计算用渐入渐出的方法可以计算得出，这里不再详述。图像融合过程转变为两矩阵对应元素相乘的运算，运算实现可采用GPU并行处理的方式加速。
S4，数据重组：投影变换、融合后的视频图像数据，可能处于电视墙上几块显示屏的交接处，所以无法把这路视频直接显示在某一块显示屏上，并且这种投影变换后的视频数据也不适合外界访问和存储。这里采用的方法是按电视墙的分块显示屏来对每路视频数据进行分块再重组，确保每个显示屏对应一路视频。如图4，把摄像机A的视频分为了四块，分别对应到电视墙上的4个显示屏。
S5，全景显示：把分块、重组后的每路视频数据显示到电视墙上对应的显示屏上，整个电视墙的视频内容就组成了一个分辨率不损失的实时全景视频。
本发明还提供了如图5所示的一种视频全景并行计算系统，包括：
若干视频采集单元1，用于进行独立的视频数据采集。具体的，每一视频采集单元1包括一网络摄像机。
若干投影融合单元2，用于对所述视频数据进行投影变换和图像融合，获取融合视频数据；
若干数据重组单元3，用于对所述融合视频数据进行数据重组，获取重组视频数据；
显示单元4，包括若干显示屏，所述显示屏组成显示墙，用于接收所述重组视频数据并进行显示。
进一步地，视频采集单元1与投影融合单元2一一对应；
每一视频采集单元1进行独立的视频数据采集后发送给对应的投影融合单元2，投影融合单元2接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理，获取融合视频数据。
进一步地，数据重组单元3与显示屏一一对应；
每一数据重组单元3，接收对应显示屏视野范围内的融合视频数据进行叠加组合，并传递至对应的显示屏直接显示。
全景并行计算系统主要包括四部分，分别为：视频采集单元1、投影融合单元2、数据重组单元3、显示单元4。在本实施例中，全景视野内有5摄像机，分别以摄像机A、摄像机B、……、摄像机E来表示，显示单元4的电视墙由6块显示屏组成时，分别用显示屏41、显示屏42、……、显示屏46来表示，如图5和图6所示。此时系统需要5个投影融合单元2，每个摄像机对应一个投影融合单元2，每个投影融合单元2对接收到的视频数据进行区域投影变换、融合加权、数据分块等处理；全景显示的电视墙由6块显示屏组成，所以需要6个视频数据重组单元3，每个数据重组单元3从投影融合单元2接收对应显示屏视野范围内的视频数据，进行叠加组合并传递给对应的显示屏直接显示。如图6所示，显示屏43上有数据有C、D、E三个摄像机的部分数据，所以对应的数据重组单元33只需要接收这三个摄像机上对应的块数据并对其叠加。在摄像机数目增加时，只需要增加对应的投影融合单元，当显示电视墙的显示屏数目增加时，只需要增加相应的数据重组单元3。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频全景生成方法，其特征在于，所述视频全景生成方法步骤包括：
步骤A，进行独立的视频数据采集；
步骤B，对每一路独立的视频数据进行投影变换，获取相对应的变换视频数据；
步骤C，对所述变换视频数据进行图像融合，获取融合视频数据；
步骤D，对所述融合视频数据进行数据重组，获取重组视频数据；
步骤E，对所述重组视频数据进行全景显示。
2.如权利要求1所述的视频全景生成方法，其特征在于，步骤A具体包括：调用全景视野范围内的所有网络摄像机，每一台网络摄像机进行独立的视频数据采集。
3.如权利要求2所述的视频全景生成方法，其特征在于，步骤B具体包括：将全景视野范围内的网络摄像机进行标定，通过匹配好的4对匹配点计算投影变换矩阵，每一路标定好的网络摄像机获取相应的投影变换矩阵；
根据所述投影变换矩阵对每一路标定好的网络摄像机采集的视频数据进行投影变换，获取相对应的变换视频数据。
4.如权利要求1所述的视频全景生成方法，其特征在于，步骤C具体包括：对所述变换视频数据进行加权融合处理，获取融合视频数据。
5.如权利要求1所述的视频全景生成方法，其特征在于，步骤D具体包括：按照需显示的电视墙的分块显示屏的数量对每路融合图像数据进行分块再重组，获取重组视频数据；每一分块显示屏对应一路所述重组视频数据。
6.一种视频全景并行计算系统，其特征在于，所述视频全景并行计算系统包括：
若干视频采集单元，用于进行独立的视频数据采集；
若干投影融合单元，用于对所述视频数据进行投影变换和图像融合，获取融合视频数据；
若干数据重组单元，用于对所述融合视频数据进行数据重组，获取重组视频数据；
显示单元，包括若干显示屏，所述显示屏组成显示墙，用于接收所述重组视频数据并进行显示。
7.如权利要求6所述的视频全景并行计算系统，其特征在于，所述视频采集单元与所述投影融合单元一一对应；
每一视频采集单元进行独立的视频数据采集后发送给对应的投影融合单元，投影融合单元接收对应的视频数据进行包括区域投影变换、融合加权和数据分块的处理，获取融合视频数据。
8.如权利要求6所述的视频全景并行计算系统，其特征在于，所述数据重组单元与所述显示屏一一对应；
每一数据重组单元，接收对应显示屏视野范围内的融合视频数据进行叠加组合，并传递至对应的显示屏直接显示。
CN201510780661.5A 2015-11-13 2015-11-13 一种视频全景生成方法及并行计算系统 Pending CN105450945A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510780661.5A CN105450945A (zh) 2015-11-13 2015-11-13 一种视频全景生成方法及并行计算系统
PCT/CN2016/085685 WO2017080206A1 (zh) 2015-11-13 2016-06-14 一种视频全景生成方法及并行计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510780661.5A CN105450945A (zh) 2015-11-13 2015-11-13 一种视频全景生成方法及并行计算系统

Publications (1)

Publication Number Publication Date
CN105450945A true CN105450945A (zh) 2016-03-30

Family

ID=55560676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510780661.5A Pending CN105450945A (zh) 2015-11-13 2015-11-13 一种视频全景生成方法及并行计算系统

Country Status (2)

Country Link
CN (1) CN105450945A (zh)
WO (1) WO2017080206A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080206A1 (zh) * 2015-11-13 2017-05-18 深圳大学 一种视频全景生成方法及并行计算系统
WO2017101278A1 (zh) * 2015-12-14 2017-06-22 深圳大学 分布式视频全景显示系统
CN108989826A (zh) * 2017-06-05 2018-12-11 上海交通大学 视频资源的处理方法及装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107566757A (zh) * 2017-08-25 2018-01-09 包谦 一种全景视频的制作方法
CN112235649A (zh) * 2020-10-16 2021-01-15 广州星洛科技有限公司 一种分布式全景融合系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN101931772A (zh) * 2010-08-19 2010-12-29 深圳大学 一种全景视频融合方法、系统及视频处理设备
CN103095990A (zh) * 2012-12-18 2013-05-08 武汉烽火众智数字技术有限责任公司 具有分布式图像采集单元的超高清摄像机
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接系统及拼接方法
CN104639911A (zh) * 2015-02-09 2015-05-20 浙江宇视科技有限公司 一种全景视频拼接方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194851A1 (en) * 2009-02-03 2010-08-05 Aricent Inc. Panorama image stitching
CN101626513A (zh) * 2009-07-23 2010-01-13 深圳大学 全景视频生成方法及系统
CN105450945A (zh) * 2015-11-13 2016-03-30 深圳大学 一种视频全景生成方法及并行计算系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060215930A1 (en) * 2005-03-25 2006-09-28 Fujitsu Limited Panorama image generation program, panorama image generation apparatus, and panorama image generation method
CN101931772A (zh) * 2010-08-19 2010-12-29 深圳大学 一种全景视频融合方法、系统及视频处理设备
CN103095990A (zh) * 2012-12-18 2013-05-08 武汉烽火众智数字技术有限责任公司 具有分布式图像采集单元的超高清摄像机
CN103905741A (zh) * 2014-03-19 2014-07-02 合肥安达电子有限责任公司 超高清全景视频实时生成与多通道同步播放系统
CN103856727A (zh) * 2014-03-24 2014-06-11 北京工业大学 一种多路实时视频拼接处理系统
CN103985254A (zh) * 2014-05-29 2014-08-13 四川川大智胜软件股份有限公司 一种用于大场景交通监视的多视点视频融合及交通参数采集方法
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接系统及拼接方法
CN104639911A (zh) * 2015-02-09 2015-05-20 浙江宇视科技有限公司 一种全景视频拼接方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017080206A1 (zh) * 2015-11-13 2017-05-18 深圳大学 一种视频全景生成方法及并行计算系统
WO2017101278A1 (zh) * 2015-12-14 2017-06-22 深圳大学 分布式视频全景显示系统
US10334166B2 (en) 2015-12-14 2019-06-25 Shenzhen University Distributed video panoramic display system
CN108989826A (zh) * 2017-06-05 2018-12-11 上海交通大学 视频资源的处理方法及装置

Also Published As

Publication number Publication date
WO2017080206A1 (zh) 2017-05-18

Similar Documents

Publication Publication Date Title
US10595004B2 (en) Electronic device for generating 360-degree three-dimensional image and method therefor
CN105450945A (zh) 一种视频全景生成方法及并行计算系统
CN107451952B (zh) 一种全景视频的拼接融合方法、设备以及系统
CN111698463A (zh) 使用神经网络进行视图合成
CN104641633A (zh) 用于组合来自多个深度相机的数据的系统和方法
US20180198970A1 (en) High dynamic range imaging using camera arrays
CN103248855B (zh) 基于固定机位的课程录制系统、视频处理装置和录课方法
JP7010952B2 (ja) 投影画像構築方法及び装置
CN106339194B (zh) 一种用于多设备之间的显示效果的动态调整方法及系统
CN111935425B (zh) 视频降噪方法、装置、电子设备及计算机可读介质
US10650488B2 (en) Apparatus, method, and computer program code for producing composite image
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
DE102019215387A1 (de) Zirkularfischaugenkameraarrayberichtigung
CN109889765A (zh) 视频处理方法、视频处理装置和会议系统
CN112308809B (zh) 一种图像合成方法、装置、计算机设备及存储介质
CN103577133B (zh) 超高清信息显示系统及其显示方法
CN103945103A (zh) 基于柱面的多平面二次投影消除全景摄像机图像畸变的方法
Liao et al. Gpu parallel computing of spherical panorama video stitching
CN102905138A (zh) 一种视频高分辨率重建的方法
Gutenko et al. Remote volume rendering pipeline for mHealth applications
US20150131922A1 (en) Method for removing noise of image signal and image processing device using the same
CN202904553U (zh) 超高清信息显示系统
CN106327456B (zh) 遥感图像信息缺失重建方法及装置
Liu et al. Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system
JP5782911B2 (ja) 三次元画像処理装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160330

RJ01 Rejection of invention patent application after publication