CN107451952A - 一种全景视频的拼接融合方法、设备以及系统 - Google Patents
一种全景视频的拼接融合方法、设备以及系统 Download PDFInfo
- Publication number
- CN107451952A CN107451952A CN201710660347.2A CN201710660347A CN107451952A CN 107451952 A CN107451952 A CN 107451952A CN 201710660347 A CN201710660347 A CN 201710660347A CN 107451952 A CN107451952 A CN 107451952A
- Authority
- CN
- China
- Prior art keywords
- view data
- gradual change
- image
- light stream
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000005267 amalgamation Methods 0.000 title claims abstract description 17
- 230000008859 change Effects 0.000 claims abstract description 90
- 230000004927 fusion Effects 0.000 claims abstract description 81
- 230000005540 biological transmission Effects 0.000 claims abstract description 3
- 230000006870 function Effects 0.000 claims description 84
- 238000005070 sampling Methods 0.000 claims description 37
- 230000009466 transformation Effects 0.000 claims description 27
- 230000001131 transforming effect Effects 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000012546 transfer Methods 0.000 claims description 15
- 238000003860 storage Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 8
- 230000000007 visual effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000011017 operating method Methods 0.000 description 4
- 239000000047 product Substances 0.000 description 4
- 208000003164 Diplopia Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000155 melt Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供一种全景视频的拼接融合方法、设备、计算机可读存储介质以及系统，涉及视频处理技术领域。所述系统包括：全景摄像设备以及全景视频的拼接融合设备，其中，全景视频的拼接融合设备，用于获取全景摄像设备传送的图像数据，对图像数据进行预处理，得到相邻的图像数据之间的光流，根据图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，消除渐变融合产生的形变，得到全景视频。通过本发明的技术方案，制作得到了全景序列帧，实现了在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。
Description
技术领域
本发明属于视频处理技术领域，尤其涉及一种全景视频的拼接融合方法、全景视频的拼接融合设备、计算机设备、计算机可读存储介质以及全景视频的拼接融合系统。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着视觉图像技术和视频采集技术的发展，视频获取已经从获取普通视角的视频，发展到广角视频，进一步发展到水平方向360度、垂直方向180度的全景视频。为了获取全景图像，需要使用两个或两个以上的镜头组成的全景相机拍摄多个方向的图像，再将两个或两个以上镜头拍摄的多个方向的图像拼接为全景图像。现有技术中，制作全景视频主要是基于如下两种技术：
1、基于标定模板技术制作全景视频
图1为现有技术中基于标定模板制作全景视频的示意图，请参阅图1，在基于标定模板技术中，首先需要搜索相邻序列帧重合区内的特征点对，利用特征点对估算出相机的内参与相对位置关系，然后将图像重投影到统一的成像空间上，对重合区进行融合处理后，得到全景序列帧。
在基于标定模板的方式中，由于在估算相机参数时利用了标定图像重合区内的特征点对关系，而这些特征点对关系与标定时的深度有关，在不同的深度上进行标定模板最后估算出的相机参数不同。因此，利用标定模板拼接融合全景图时，如果拍摄对象的深度与标定模本的深度不一致，拼接处就会出现接缝或重影。而且，标定深度与拍摄深度差异越大，拼接处的接缝或重影就越明显。因此，单纯基于拼接模板的全景视频制作通常只适用于比较小的深度范围。
2、基于光流插值视角技术制作全景视频
图2为现有技术中基于光流插值视角技术制作全景视频的示意图，请参阅图2，在基于光流插值视角的全景视频制作方式中，需要将相邻相机校正平行，这样相邻相机成像之间的光流就与拍摄对象的深度相关。在计算得到拍摄内容的深度后，结合图像的颜色信息，就可以重建出全景序列帧。
以右眼成像为例，如图3所示，实际相机分别为IK、IL，经过相应相机，切线方向E、G表示理想的成像光线。但是，位于E、G之间的视角没有相机，则通过视角插值的方式，结合光流计算沿F与虚拟相机之间的成像光线，依次可以得到所有成像光线上的像素信息。
以相邻相机图像上的pi、pj点为例，基于光流插值视角投影的计算方式，在最终全景图上的位置p′与光流相关。即p′＝F(pi,fij)＝＝F′(pi,fij)，其中fij、fji分别表示相机i、j之间的前向、后向光流。单个相机上的点pi映射到全景图上p′上，即：
p→p′
这种正向映射方式，在全景图上容易出现点的缺失，为了防止这种现象，通常会将pi周边的几个点映射过去。最终将全景图p′位置上的多个点融合为一个点，逐点操作，形成最终的全景序列帧。
因此，在基于光流插值得到所有视角的方式中，相邻序列帧之间的光流与拍摄内容相关，光流需要逐帧计算。通过光流插值新视角时，还需要逐像素映射、融合，最终合成新的全景序列帧。相对标定模板制作全景视频而言，基于光流插值视角的方式，逐帧逐点计算融合，计算量非常大。
因此，如何提供一种新的全景视频制作方案，其能够解决上述技术问题是本领域亟待解决的技术难题。
发明内容
有鉴于此，本发明提供了一种全景视频的拼接融合方法、全景视频的拼接融合设备、计算机设备、计算机可读存储介质以及全景视频的拼接融合系统，通过将需要插值视角之间的内容，利用光流进行渐变融合得到无接缝、虚影的内容，同时，基于插值视角的方式，抽样得到单个点到全景图上正确点的位置信息，最后利用这种抽样的点映射关系，将渐变融合得到的图像拉伸到正确的成像点上，制作得到全景序列帧，实现了在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。
为实现上述目的，本发明提供技术方案如下：
根据本发明的第一方面，提出了一种全景视频的拼接融合方法，包括：
获取待处理的图像数据；
对所述图像数据进行预处理，得到相邻的图像数据之间的光流；
根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格；
根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
在本发明的优选实施方式中，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格包括：
根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据；
对所述图像数据进行取样并映射，得到映射网格。
在本发明的优选实施方式中，根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据包括：
设相邻的图像数据分别为前向图像、后向图像，相邻的图像数据之间的光流为前向光流、后向光流；
选取前向图像与后向图像的重合区域中的任意一点，称为当前点；
获取预先设定的前向图像颜色权重变换函数以及前向图像位置变换函数；
获取预先设定的后向图像颜色权重变换函数以及后向图像位置变换函数；
获取所述前向图像在所述当前点的RGB值，所述后向图像在所述当前点的RGB值；
根据所述前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数、后向图像位置变换函数、前向图像在所述当前点的RGB值以及后向图像在所述当前点的RGB值确定所述当前点在渐变融合之后的图像数据中的RGB值；
遍历所述前向图像与后向图像的重合区域，得到渐变融合之后的图像数据。
在本发明的优选实施方式中，对所述图像数据进行取样并映射，得到映射网格包括：
对所述图像数据进行取样，得到取样结果；
根据所述取样结果生成抽样网格；
获取预先设定的映射关系；
根据所述映射关系将所述抽样网格进行映射，得到映射网格。
在本发明的优选实施方式中，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频包括：将渐变融合之后的图像数据根据所述抽样网格与映射网格进行映射，得到所述图像信息对应的全景视频。
根据本发明的第二方面，提出了一种全景视频的拼接融合设备，包括：
图像数据获取装置，用于获取待处理的图像数据；
图像预处理装置，用于对所述图像数据进行预处理，得到相邻的图像数据之间的光流；
图像取样融合装置，用于根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格；
图像数据拉伸装置，用于根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
根据本发明的第三方面，提出了一种全景视频的拼接融合系统，所述系统包括全景摄像设备以及全景视频的拼接融合设备，其中，所述全景视频的拼接融合设备，用于获取所述全景摄像设备传送的图像数据，对所述图像数据进行预处理，得到相邻的图像数据之间的光流，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
根据本发明的第四方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种全景视频的拼接融合方法。
根据本发明的第五方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有执行一种全景视频的拼接融合方法。
由以上技术方案可见，本发明提供了一种全景视频的拼接融合方法、全景视频的拼接融合设备、计算机设备、计算机可读存储介质以及全景视频的拼接融合系统，通过将需要插值视角之间的内容，利用光流进行渐变融合得到无接缝、虚影的内容，同时，基于插值视角的方式，抽样得到单个点到全景图上正确点的位置信息，最后利用这种抽样的点映射关系，将渐变融合得到的图像拉伸到正确的成像点上，制作得到全景序列帧，实现了在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了现有技术中基于标定模板制作全景视频的示意图；
图2示出了现有技术中基于光流插值视角技术制作全景视频的示意图；
图3示出了左、右眼成像示意图；
图4示出了本发明一种全景视频的拼接融合系统的示意图；
图5示出了本发明一种全景视频的拼接融合设备的结构示意图；
图6示出了本发明一种全景视频的拼接融合方法的流程示意图；
图7示出了图6中的步骤S103的流程示意图；
图8示出了图7中步骤S201的流程示意图；
图9示出了图7中步骤S202的流程示意图；
图10示出了本发明一具体实施例中全景视频的拼接融合方法的流程示意图；
图11示出了本发明一具体实施例中的图像渐变融合示意图；
图12示出了本发明另一具体实施例中的图像渐变融合示意图；
图13、图14为本发明一具体实施例中的相邻的待处理的图像数据示意图；
图15为本发明一具体实施例中将相邻的待处理的图像数据按照位置对应后的示意图；
图16为本发明一具体实施例中将相邻的待处理的图像数据不利用光流直接融合后得到的示意图；
图17为本发明一具体实施例中将相邻的待处理的图像数据重合区利用光流融合后得到的示意图；
图18为本发明一具体实施例中将相邻的待处理的图像数据按照映射关系拉伸平滑后得到的示意图；
图19为本发明中渐变融合图上的(x”，y”)点与最终全景图图上(x’，y’)点之间的关系示意图；
图20为渐变融合形变示意图以及拉伸平滑后形变示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
虽然本发明提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者更少的操作步骤或模块单元。在逻辑性上不存在必要因果关系的步骤或结构中，这些步骤的执行顺序或装置的模块结构不限于本发明实施例或附图所示的执行顺序或模块结构。所述的方法或模块结构的在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法或模块结构进行顺序执行或者并行执行。
下面首先解释本发明的术语。
虚拟现实(VR)：利用物理设备产生虚拟图像、声音及其他感觉，令人感觉在一个如同真实的环境中的计算机技术。
全景视频：一种用摄像机进行全方位360度拍摄，可随意调节视角(上下左右)观看的视频。
光流：运动物体在图像之间像素运动的瞬时速度。
图像拼接融合：利用图像间的相对信息，将多张图像融合为一张图像的技术。
通常情况下，在基于标定模板制作全景视频中，只有当拍摄素材的内容与标定的模板处于相似的深度下时，制作出的全景序列帧在重合区才没有明显的接缝或重影。通常情况下，标定深度约为3～4m，当拍摄内容的比较近时，重合区就存在明显的重影，拍摄时有很明确的安全深度范围。
相对的，基于光流插值得到所有视角的方式，只要计算出正确的光流(存在完整重合区；光流计算正确)，都可以制作出全景视频。光流插值视角方式，拍摄的适用深度范围大，但是这种方式计算量大，且存在画面清晰度损失。
基于此，本发明提出了一种全景视频的拼接融合系统，请参阅图4，该全景视频的拼接融合系统包括全景摄像设备100以及全景视频的拼接融合设备200。
其中，全景摄像设备100可为现有技术中的摄像设备。示例性的，全景摄像设备100可由多个视频采集设备(如包括摄像头和采集卡的相机)进行视频采集而得到，视频采集设备可实时将所采集的图像数据发送至全景视频的拼接融合设备200。为了保证全景视频的清晰度，优选的，图像数据为高清图像数据。
所述全景视频的拼接融合设备200，用于获取所述全景摄像设备100传送的图像数据，对所述图像数据进行预处理，得到相邻的图像数据之间的光流，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
图5示出了本发明一种全景视频的拼接融合设备的结构示意图，在本发明中，全景视频拼接融合设备可由软件和/或硬件实现，示例性的，本实施例中的全景视频的拼接融合设备具体可为计算机等终端，全景视频的拼接融合设备中包含中央处理器(CentralProcessing Unit，CPU)和图形处理器(Graphics ProcessingUnit，GPU)(又称显卡)。在CPU端和GPU端均设置有多个缓冲区，用以支持本发明实施例中涉及到的处理方式。此外，在CPU端和GPU端可均设置一个结果缓冲区，用于存放全景视频图像。
请参阅图5，在本发明中全景视频的拼接融合设备200包括：
图像数据获取装置201，用于获取待处理的图像数据；
图像预处理装置202，用于对所述图像数据进行预处理，得到相邻的图像数据之间的光流。
在本发明中，预处理包括对所述图像数据进行颜色校正以及平行校正，得到校正后的图像数据，计算校正后的相邻的图像数据之间的光流。具体的，对所述图像数据进行颜色校正的目的是为了消除全景摄像设备100中不同的摄像设备之间的RGB差异，平行校正的目的是为了消除不同照片之间的垂直视差，得到水平视角的图像数据。相邻的图像数据在具体的实施例中可分别称为前向图像、后向图像，图像数据之间的光流称为前向光流、后向光流。
图像取样融合装置203，用于根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格。
在本发明的一种实施方式中，图像取样融合装置203用于执行渐变融合以及映射过程，具体的：
渐变融合具体为：根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据。
在本发明的一种实施方式中，如图11所示，首先设相邻的图像数据分别为前向图像、后向图像，相邻的图像数据之间的光流为前向光流、后向光流。在图11中，前向图像用I0表示，后向图像用I1表示，前向光流为f01，表示图I0到图I1之间的光流，后向光流为f01，表示图I0到图I1之间的光流。
选取前向图像与后向图像的重合区域中的任意一点，称为当前点，在图11所示的具体实施例中，当前点诸如为P。
获取预先设定的前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数以及后向图像位置变换函数。在具体实施例中，Fα0为前向图像颜色权重变换函数、Fα1后向图像颜色权重变换函数、Ff0前向图像位置变换函数、Ff1后向图像位置变换函数。
获取所述前向图像在所述当前点的RGB值，所述后向图像在所述当前点的RGB值。在具体实施例中，I0p为前向图像在p点的RGB值，I1p为后向图像在p点的RGB值。
根据所述前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数、后向图像位置变换函数、前向图像在所述当前点的RGB值以及后向图像在所述当前点的RGB值确定所述当前点在渐变融合之后的图像数据中的RGB值。
遍历所述前向图像与后向图像的重合区域，得到渐变融合之后的图像数据。
在本发明的一种实施方式中，如图11所示，重合区靠近I0左边界内容将与I0保持一致，重合区靠近I1右边界内容将于I1保持一致，这样最终融合得到重合区图像将在边界两侧保持一致性。通过缓慢渐变方式实现整个重合区的一致性，得到无接缝、重影的重合区内容。
记重合区位置中的当前点为p，I0在p的值为I0p，则最终重合区的值可以表示为：
函数Fα0、Fα1、Ff0、Ff1分别表示I0、I1颜色权重变换函数以及I0、I1上位置变换函数。当位置p靠近I0左边界时，Fα0趋近于1，且Ff0趋近于0，同时Fα1趋近于0；同理，当p靠近I1右边界时，Fα0趋近于0，同时Fα1趋近于1，Ff1趋近于0；在中心区域，只需要保证这样就可以实现重合区无接缝、重影。
在上述实施例中，本发明并未限定函数Fα0、Fα1、Ff0、Ff1的具体表达式，这些预先设定的函数仅需满足当位置p靠近I0左边界时，Fα0趋近于1，且Ff0趋近于0，同时Fα1趋近于0；同理，当p靠近I1右边界时，Fα0趋近于0，同时Fα1趋近于1，Ff1趋近于0；在中心区域，只需要保证即可。
映射过程包括：对所述图像数据进行取样并映射，得到映射网格。具体是，对所述图像数据进行取样，得到取样结果；根据所述取样结果生成抽样网格；获取预先设定的映射关系；根据所述映射关系将所述抽样网格进行映射，得到映射网格。
根据该映射关系，即可根据取样结果由抽样网格映射得到映射网格，可将抽样网格与映射网格的对应关系进行存储，作为后续图像拉伸的模板。
图像数据拉伸装置204，用于根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。也即，将渐变融合之后的图像数据根据所述抽样网格与映射网格的对应关系进行映射，得到所述图像信息对应的全景视频，拉伸平滑消除渐变融合产生的形变。由于既进行了渐变融合，又根据存储的对应关系进行映射，极大缩小了计算量。
在本发明的其他实施方式中，还可以直接将渐变融合之后的图像数据根据其他方式进行拉伸平滑，消除或减弱位置形变，得到无重影、形变的全景视频，由于进行了渐变融合，这样的计算量也比现有技术中基于光流插值视角技术制作全景视频的计算量小。
抽样与拉伸平滑目的是确定渐变融合图上的(x”，y”)点与最终全景图上(x’，y’)点之间的关系，通过对应关系，将图像进行拉伸平滑，消除或减小渐变融合产生的图像内容形变。如图19所示，在图19中，左边的图是渐变融合图，中间的图是原始图，右边的图是最终全景图。
如上即是本发明设计的一种模板制作与光流插值视角相结合的全景视频拼接融合系统以及设备，在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。本发明基于时间-空间一致性的光流优化策略，利用优化后的光流重算拼接重合区的内容，使重合区基本无接缝或重影，计算量相对较小，可适用于较大的深度范围。在实际操作中，可以依据渐变融合效果，确定光流的计算方法及精度。
在介绍了本发明示例性实施方式的全景视频拼接融合系统以及设备之后，接下来，参考附图对本发明示例性实施方式的方法进行介绍。该方法的实施可以参见上述整体的实施，重复之处不再赘述。
图6示出了本发明一种全景视频的拼接融合方法的流程示意图，该方法可以由全景视频拼接融合设备200执行，其中该设备可由软件和/或硬件实现。示例性的，本实施例中的全景视频的拼接融合设备具体可为计算机等终端，全景视频的拼接融合设备中包含中央处理器(Central Processing Unit，CPU)和图形处理器(Graphics ProcessingUnit，GPU)(又称显卡)。在CPU端和GPU端均设置有多个缓冲区，用以支持本发明实施例中涉及到的处理方式。此外，在CPU端和GPU端可均设置一个结果缓冲区，用于存放全景视频图像。
请参阅图6，所述方法包括：
S101：获取待处理的图像数据。在本发明中，图像数据可由全景摄像设备来提供，全景摄像设备100可为现有技术中的摄像设备。示例性的，全景摄像设备100可由多个视频采集设备(如包括摄像头和采集卡的相机)进行视频采集而得到。为了保证全景视频的清晰度，优选的，图像数据为高清图像数据。
S102：对所述图像数据进行预处理，得到相邻的图像数据之间的光流。在本发明中，预处理包括对所述图像数据进行颜色校正以及平行校正，得到校正后的图像数据，计算校正后的相邻的图像数据之间的光流。具体的，对所述图像数据进行颜色校正的目的是为了消除全景摄像设备100中不同的摄像设备之间的RGB差异，平行校正的目的是为了消除不同照片之间的垂直视差，得到水平视角的图像数据。相邻的图像数据在具体的实施例中可分别称为前向图像、后向图像，图像数据之间的光流称为前向光流、后向光流。
S103：根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格；
S104：根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
图7示出了图6中的步骤S103的流程示意图，请参阅图7，步骤S103包括：
S201：根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据；
S202：对所述图像数据进行取样并映射，得到映射网格。
图8示出了图7中步骤S201的流程示意图，请参阅图8，步骤S201包括：
S301：设相邻的图像数据分别为前向图像、后向图像，相邻的图像数据之间的光流为前向光流、后向光流。如图11所示，前向图像用I0表示，后向图像用I1表示，前向光流为f01，表示图I0到图I1之间的光流，后向光流为f01，表示图I0到图I1之间的光流。
S302：选取前向图像与后向图像的重合区域中的任意一点，称为当前点。在图11所示的具体实施例中，当前点诸如为P。
S303：获取预先设定的前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数以及后向图像位置变换函数。在具体实施例中，Fα0为前向图像颜色权重变换函数、Fα1后向图像颜色权重变换函数、Ff0前向图像位置变换函数、Ff1后向图像位置变换函数。
S304：获取所述前向图像在所述当前点的RGB值，所述后向图像在所述当前点的RGB值。在具体实施例中，I0p为前向图像在p点的RGB值，I1p为后向图像在p点的RGB值。
S305：根据所述前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数、后向图像位置变换函数、前向图像在所述当前点的RGB值以及后向图像在所述当前点的RGB值确定所述当前点在渐变融合之后的图像数据中的RGB值；
S306：遍历所述前向图像与后向图像的重合区域，得到渐变融合之后的图像数据。
在本发明的一种实施方式中，如图11所示，重合区靠近I0左边界内容将与I0保持一致，重合区靠近I1右边界内容将于I1保持一致，这样最终融合得到重合区图像将在边界两侧保持一致性。通过缓慢渐变方式实现整个重合区的一致性，得到无接缝、重影的重合区内容。
记重合区位置中的当前点为p，I0在p的值为I0p，则最终重合区的值可以表示为：
函数Fα0、Fα1、Ff0、Ff1分别表示I0、I1颜色权重变换函数以及I0、I1上位置变换函数。当位置p靠近I0左边界时，Fα0趋近于1，且Ff0趋近于0，同时Fα1趋近于0；同理，当p靠近I1右边界时，Fα0趋近于0，同时Fα1趋近于1，Ff1趋近于0；在中心区域，只需要保证这样就可以实现重合区无接缝、重影。
在上述实施例中，本发明并未限定函数Fα0、Fα1、Ff0、Ff1的具体表达式，这些预先设定的函数仅需满足当位置p靠近I0左边界时，Fα0趋近于1，且Ff0趋近于0，同时Fα1趋近于0；同理，当p靠近I1右边界时，Fα0趋近于0，同时Fα1趋近于1，Ff1趋近于0；在中心区域，只需要保证即可。
图9示出了图7中步骤S202的流程示意图，请参阅图9，该步骤包括：
S401：对所述图像数据进行取样，得到取样结果；
S402：根据所述取样结果生成抽样网格；
S403：获取预先设定的映射关系；
S404：根据所述映射关系将所述抽样网格进行映射，得到映射网格。
根据该映射关系，即可根据取样结果由抽样网格映射得到映射网格，可将抽样网格与映射网格的对应关系进行存储，作为后续图像拉伸的模板。
步骤S101中，将渐变融合之后的图像数据根据所述抽样网格与映射网格进行映射，得到所述图像信息对应的全景视频。由于既进行了渐变融合，又根据存储的对应关系进行映射，极大缩小了计算量。
通过步骤S201得到的重合区信息是逆向的计算方式，即渐变融合图上的p″点(区分光流插值视角全景图上的p′点)映射到单个相机上的p点。即：
p″→p
这种融合方式计算快，但是，这种融合方式得到的重合区并不是正确的视角成像所得。为了使成像点处在插值的视角上，通过步骤S202利用光流计算抽样点从单个相机p点映射到插值视角的全景图上p′的位置信息。得到抽样的网格信息。那么通过如下的位置变换关系，可以将重合区内容拉伸到正确的成像位置上。
p″→p→p′
在本发明的其他实施方式中，还可以直接将渐变融合之后的图像数据根据其他方式进行平滑，消除或减弱位置形变，得到无重影、形变的全景视频，由于进行了渐变融合，这样的计算量也比现有技术中基于光流插值视角技术制作全景视频的计算量小。
例如在图20所示的渐变融合形变示意图以及拉伸平滑后形变示意图中，在窄重合区情况下，渐变融合实际是将左、右两侧位置关系衔接对应起来，重合区存在的形变还可以通过在扩展区域进行拉伸平滑减弱，达到人眼不可分别的程度。
如上即是本发明设计的一种模板制作与光流插值视角相结合的全景视频拼接融合方法，在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。本发明基于时间-空间一致性的光流优化策略，利用优化后的光流重算拼接重合区的内容，使重合区基本无接缝或重影，计算量相对较小，可适用于较大的深度范围。在实际操作中，可以依据渐变融合效果，确定光流的计算方法及精度。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的全景视频拼接融合方法。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述的全景视频拼接融合方法的计算机程序。
下面结合具体的实施例，详细介绍本发明的技术方案。图10示出了本发明一具体实施例中全景视频的拼接融合方法的流程示意图，图12示出了本发发明一具体实施例中的图像渐变融合示意图，请参阅图10、图12，在该实施例中，前向图像用I0表示，后向图像用I1表示，前向光流为f01，表示图I0到图I1之间的光流，后向光流为f01，表示图I0到图I1之间的光流。在图12中，光流值具体格式为f01(x,y)＝(a,b)，即重合区I0部分(x,y)点，对应着重合区I1部分的(x+a,y+b)点。在该实施例中使用了规则重合区形状。
在该实施例中，Ff0(f10)表示对光流值的变换函数，即将(a,b)变换为值(c，d)，Ff1(f01)类似。表示取重合区I0上(x+c,y+d)的颜色值，这里p对应的位置(x,y)。表示的是对I0上像素点(x+c，y+d)颜色值(r，g，b)的权重函数。即颜色从(r，g，b)变换为(r’，g’，b’)。Fα1类似。
以一种方式实例化公式：
I(x,y)＝(1-α)*I0((x,y)+α*f01)+α*I1((x,y)+(1-α)*f01)
α＝x/width
如果只考虑水平光流，可以再次简化为沿x方向上计算：
I(x)＝(1-α)*I0(x+α*f01)+α*I1(x+(1-α)*f01)
以图12中的P1、P2、P3分别举例，重合区最终对应的颜色值的计算过程。假设width＝100，则：
P1：α＝x＝0时，公式退化为I(0)＝I0(0)，P1取I0上对应的颜色值
P2：x＝25,a＝0.25，假设，f01＝4.7,f10＝-4.5，则公式表示为：
I(25)＝0.75*I0(25+0.25*4.7)+0.25*I1(25-0.75*4.5)
≈0.75*I0(26)+0.25*I1(22)
重合区x＝25处的颜色RGB值，取自I0上x＝26处的RGB值，以及I1上x＝22处的RGB值，按照0.75与0.25的权重计算得到。
P3：x＝width,α＝1时，公式退化为I(100)＝I1(100)，P1取I1上对应的颜色值。
如上，这样最终融合得到的图中，左侧内容贴近I0，右侧内容贴近I1，中间是从I0到I1的平缓过渡。
下面以具体的图像数据进行举例说明。图13、图14为相邻的待处理的图像数据，按照位置对应起来后如图15所示，可以看到，重合区部分存在明显虚影。不利用光流直接融合后得到的图如图16所示，重合区利用光流融合后得到的图如图17所示，按照映射关系拉伸后得到的图如图18所示。由此可见，本发明通过逆向计算的方式得到融合后的图像，之后基于正确的位置映射关系，将融合的图像拉伸到正确的成像位置上。在保证了拼接无重影的基础上，由于不需要逐点映射融合计算，计算效率更高。
本发明的技术关键点和欲保护点包括：
a.基于光流渐变融合的方式。
b.在a基础上，基于光流插值视角抽样网格点或其他方式，拉伸平滑融合图像的处理方式。
应当注意，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然本发明提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本发明可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。
Claims (10)
1.一种全景视频的拼接融合方法，其特征在于，所述方法包括：
获取待处理的图像数据；
对所述图像数据进行预处理，得到相邻的图像数据之间的光流；
根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格；
根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
2.根据权利要求1所述的方法，其特征在于，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格包括：
根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据；
对所述图像数据进行取样并映射，得到映射网格。
3.根据权利要求1所述的方法，其特征在于，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格包括：
对所述图像数据进行取样并映射，得到映射网格；
根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据。
4.根据权利要求2或3任意一项所述的方法，其特征在于，根据所述图像数据以及相邻的图像数据之间的光流进行渐变融合，得到渐变融合之后的图像数据包括：
设相邻的图像数据分别为前向图像、后向图像，相邻的图像数据之间的光流为前向光流、后向光流；
选取前向图像与后向图像的重合区域中的任意一点，称为当前点；
获取预先设定的前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数以及后向图像位置变换函数；
获取所述前向图像在所述当前点的RGB值，所述后向图像在所述当前点的RGB值；
根据所述前向图像颜色权重变换函数、前向图像位置变换函数、后向图像颜色权重变换函数、后向图像位置变换函数、前向图像在所述当前点的RGB值以及后向图像在所述当前点的RGB值确定所述当前点在渐变融合之后的图像数据中的RGB值；
遍历所述前向图像与后向图像的重合区域，得到渐变融合之后的图像数据。
5.根据权利要求2或3任意一项所述的方法，其特征在于，对所述图像数据进行取样并映射，得到映射网格包括：
对所述图像数据进行取样，得到取样结果；
根据所述取样结果生成抽样网格；
获取预先设定的映射关系；
根据所述映射关系将所述抽样网格进行映射，得到映射网格。
6.根据权利要求5任意一项所述的方法，其特征在于，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频包括：
将渐变融合之后的图像数据根据所述抽样网格与映射网格进行映射，得到所述图像信息对应的全景视频。
7.一种全景视频的拼接融合设备，其特征在于，所述设备包括：
图像数据获取装置，用于获取待处理的图像数据；
图像预处理装置，用于对所述图像数据进行预处理，得到相邻的图像数据之间的光流；
图像取样融合装置，用于根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格；
图像数据拉伸装置，用于根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
8.一种全景视频的拼接融合系统，其特征在于，所述系统包括全景摄像设备以及全景视频的拼接融合设备，
其中，所述全景视频的拼接融合设备，用于获取所述全景摄像设备传送的图像数据，对所述图像数据进行预处理，得到相邻的图像数据之间的光流，根据所述图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，得到全景视频。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至6任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660347.2A CN107451952B (zh) | 2017-08-04 | 2017-08-04 | 一种全景视频的拼接融合方法、设备以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710660347.2A CN107451952B (zh) | 2017-08-04 | 2017-08-04 | 一种全景视频的拼接融合方法、设备以及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107451952A true CN107451952A (zh) | 2017-12-08 |
| CN107451952B CN107451952B (zh) | 2020-11-03 |
Family
ID=60490774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710660347.2A Active CN107451952B (zh) | 2017-08-04 | 2017-08-04 | 一种全景视频的拼接融合方法、设备以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107451952B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108399629A (zh) * | 2018-02-05 | 2018-08-14 | 西南交通大学 | 一种人工复眼相机的图像阵列光流估计方法 |
| CN108833785A (zh) * | 2018-07-03 | 2018-11-16 | 清华-伯克利深圳学院筹备办公室 | 多视角图像的融合方法、装置、计算机设备和存储介质 |
| CN108986183A (zh) * | 2018-07-18 | 2018-12-11 | 合肥亿图网络科技有限公司 | 一种全景地图的制作方法 |
| CN108989751A (zh) * | 2018-07-17 | 2018-12-11 | 上海交通大学 | 一种基于光流的视频拼接方法 |
| CN110648281A (zh) * | 2019-09-23 | 2020-01-03 | 华南农业大学 | 田间全景图生成方法、装置、系统、服务器及存储介质 |
| CN111402136A (zh) * | 2020-03-19 | 2020-07-10 | 贝壳技术有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN112672131A (zh) * | 2020-12-07 | 2021-04-16 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
| CN113469880A (zh) * | 2021-05-28 | 2021-10-01 | 北京迈格威科技有限公司 | 图像拼接方法及装置、存储介质及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN103236160A (zh) * | 2013-04-07 | 2013-08-07 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测系统 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN104463859A (zh) * | 2014-11-28 | 2015-03-25 | 中国航天时代电子公司 | 一种基于跟踪指定点的实时视频拼接方法 |
| CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
| CN105931186A (zh) * | 2016-04-26 | 2016-09-07 | 电子科技大学 | 基于相机自动标定和颜色校正的全景视频拼接系统与方法 |
-
2017
- 2017-08-04 CN CN201710660347.2A patent/CN107451952B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101146231A (zh) * | 2007-07-03 | 2008-03-19 | 浙江大学 | 根据多视角视频流生成全景视频的方法 |
| CN103236160A (zh) * | 2013-04-07 | 2013-08-07 | 水木路拓科技(北京)有限公司 | 基于视频图像处理技术的路网交通状态监测系统 |
| CN103745449A (zh) * | 2013-12-24 | 2014-04-23 | 南京理工大学 | 一种搜跟系统中航拍视频的快速自动拼接技术 |
| CN104463859A (zh) * | 2014-11-28 | 2015-03-25 | 中国航天时代电子公司 | 一种基于跟踪指定点的实时视频拼接方法 |
| CN105611181A (zh) * | 2016-03-30 | 2016-05-25 | 努比亚技术有限公司 | 多帧拍摄图像合成装置和方法 |
| CN105931186A (zh) * | 2016-04-26 | 2016-09-07 | 电子科技大学 | 基于相机自动标定和颜色校正的全景视频拼接系统与方法 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108307200B (zh) * | 2018-01-31 | 2020-06-09 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108399629B (zh) * | 2018-02-05 | 2020-06-02 | 西南交通大学 | 一种人工复眼相机的图像阵列光流估计方法 |
| CN108399629A (zh) * | 2018-02-05 | 2018-08-14 | 西南交通大学 | 一种人工复眼相机的图像阵列光流估计方法 |
| CN108833785A (zh) * | 2018-07-03 | 2018-11-16 | 清华-伯克利深圳学院筹备办公室 | 多视角图像的融合方法、装置、计算机设备和存储介质 |
| CN108833785B (zh) * | 2018-07-03 | 2020-07-03 | 清华-伯克利深圳学院筹备办公室 | 多视角图像的融合方法、装置、计算机设备和存储介质 |
| CN108989751A (zh) * | 2018-07-17 | 2018-12-11 | 上海交通大学 | 一种基于光流的视频拼接方法 |
| CN108989751B (zh) * | 2018-07-17 | 2020-07-14 | 上海交通大学 | 一种基于光流的视频拼接方法 |
| CN108986183A (zh) * | 2018-07-18 | 2018-12-11 | 合肥亿图网络科技有限公司 | 一种全景地图的制作方法 |
| CN108986183B (zh) * | 2018-07-18 | 2022-12-27 | 合肥亿图网络科技有限公司 | 一种全景地图的制作方法 |
| CN110648281A (zh) * | 2019-09-23 | 2020-01-03 | 华南农业大学 | 田间全景图生成方法、装置、系统、服务器及存储介质 |
| CN110648281B (zh) * | 2019-09-23 | 2021-03-16 | 华南农业大学 | 田间全景图生成方法、装置、系统、服务器及存储介质 |
| CN111402136A (zh) * | 2020-03-19 | 2020-07-10 | 贝壳技术有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN111402136B (zh) * | 2020-03-19 | 2023-12-15 | 如你所视(北京)科技有限公司 | 全景图生成方法、装置、计算机可读存储介质及电子设备 |
| CN112672131A (zh) * | 2020-12-07 | 2021-04-16 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
| CN112672131B (zh) * | 2020-12-07 | 2024-02-06 | 聚好看科技股份有限公司 | 一种全景视频图像显示方法及显示设备 |
| CN113469880A (zh) * | 2021-05-28 | 2021-10-01 | 北京迈格威科技有限公司 | 图像拼接方法及装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107451952B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107451952A (zh) | 一种全景视频的拼接融合方法、设备以及系统 | |
| US11350073B2 (en) | Disparity image stitching and visualization method based on multiple pairs of binocular cameras | |
| US20220044356A1 (en) | Large-field-angle image real-time stitching method based on calibration | |
| US11178428B2 (en) | Image splicing method and apparatus, and storage medium | |
| JP6273163B2 (ja) | 立体パノラマ | |
| US8217990B2 (en) | Stereoscopic picture generating apparatus | |
| KR20080065889A (ko) | 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법 | |
| WO2012153447A1 (ja) | 画像処理装置、映像処理方法、プログラム、集積回路 | |
| CN107734268A (zh) | 一种结构保持的宽基线视频拼接方法 | |
| CN106981078A (zh) | 视线校正方法、装置、智能会议终端及存储介质 | |
| CN106791623A (zh) | 一种全景视频拼接方法及装置 | |
| TW201520973A (zh) | 三維立體模型之建立方法和裝置 | |
| CN111047709B (zh) | 一种双目视觉裸眼3d图像生成方法 | |
| CN104618648A (zh) | 一种全景视频拼接系统及拼接方法 | |
| CN104599317A (zh) | 一种实现3d扫描建模功能的移动终端及方法 | |
| CN112509106A (zh) | 文档图片展平方法、装置以及设备 | |
| CN108205822B (zh) | 贴图方法及装置 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| CN114926612A (zh) | 空中全景图像处理与沉浸式显示系统 | |
| CN108765292A (zh) | 基于空间三角面片拟合的图像拼接方法 | |
| CN116152442B (zh) | 一种三维点云模型生成方法及装置 | |
| US20140347352A1 (en) | Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images | |
| CN109087250B (zh) | 基于规则边界约束的图像拼接方法 | |
| EP2595393B1 (en) | Rectified stereoscopic 3d panoramic picture | |
| US11758101B2 (en) | Restoration of the FOV of images for stereoscopic rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A panoramic video splicing and fusion method, device, and system Granted publication date: 20201103 Pledgee: Zhongguancun Beijing technology financing Company limited by guarantee Pledgor: LIGHT CHASER HUMAN ANIMATION DESIGN (BEIJING) CO.,LTD. Registration number: Y2024990000076 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |