CN115409707A - 一种基于全景视频拼接的图像融合方法及系统 - Google Patents
一种基于全景视频拼接的图像融合方法及系统 Download PDFInfo
- Publication number
- CN115409707A CN115409707A CN202211031747.4A CN202211031747A CN115409707A CN 115409707 A CN115409707 A CN 115409707A CN 202211031747 A CN202211031747 A CN 202211031747A CN 115409707 A CN115409707 A CN 115409707A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- panoramic
- panoramic video
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 97
- 230000004927 fusion Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000005484 gravity Effects 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 41
- 238000006073 displacement reaction Methods 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000006698 induction Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 10
- 238000007526 fusion splicing Methods 0.000 abstract description 9
- 238000012937 correction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 238000013075 data extraction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种基于全景视频拼接的图像融合方法与系统，其中，所述方法应用于图像融合系统，所述系统与图像采集装置和水平重力感应模块通信连接，方法包括：进行全景视频图像采集，获取全景视频图像信息；投影映射到同一平面内，获取平面映射影像数据；采集获取所述图像采集装置的空间水平位置信息；结合时序信息，对重合区域进行流场估计，获取流场估计信息；对平面映射影像数据校准，获取平面全景影像配准信息；基于呈像单元，进行影像显示。解决全景视频图像的融合拼接方案不合理，导致图像融合信息不可靠技术问题，达到智能优化全景视频图像的融合拼接方案，精准快速生成全景视频拼接的图像融合信息，还原图像融合信息真实性技术效果。
Description
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于全景视频拼接的图像融合方法及系统。
背景技术
全景视频拼接图像可以用更宽阔的视野观察、记录影像信息，但是，现阶段全景视频拼接技术因不能准确判断画面中移动的物体，无法应对由于大视角导致的物体拉伸扭曲变形，容易形成重影与明显拼缝，无法保证拼接生成的图像信息的真实性，全景相机庞大笨重且造价成本高，不便于进行大规模的推广使用，亟需融合拼接方案，对全景视频拼接图像进行优化。
现有技术中存在全景视频图像的融合拼接方案不合理，导致图像融合信息不可靠的技术问题。
发明内容
本申请通过提供了一种基于全景视频拼接的图像融合方法及系统，解决了全景视频图像的融合拼接方案不合理，导致图像融合信息不可靠的技术问题，达到了智能优化全景视频图像的融合拼接方案，精准快速生成全景视频拼接的图像融合信息，还原图像融合信息真实性的技术效果。
鉴于上述问题，本申请提供了一种基于全景视频拼接的图像融合方法及系统。
第一方面，本申请提供了一种基于全景视频拼接的图像融合方法，其中，所述方法应用于一种基于全景视频拼接的图像融合系统，所述系统与图像采集装置和水平重力感应模块通信连接，所述方法包括：通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
第二方面，本申请提供了一种基于全景视频拼接的图像融合系统，其中，所述系统与图像采集装置和水平重力感应模块通信连接，所述系统包括：数据获取单元，所述数据获取单元用于通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；投影映射单元，所述投影映射单元用于对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；采集获取单元，所述采集获取单元用于通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；计算评估单元，所述计算评估单元用于基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；数据校准单元，所述数据校准单元用于通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；影像显示单元，所述影像显示单元用于基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了通过图像采集装置，进行全景视频图像采集，获取全景视频图像信息；进行投影映射到同一平面内，获取平面映射影像数据；通过水平重力感应模块，采集获取图像采集装置的空间水平位置信息；基于全景视频图像信息的时序信息，结合空间水平位置信息，对平面映射影像数据的重合区域进行流场估计，获取流场估计信息；对平面映射影像数据进行校准，获取平面全景影像配准信息；基于图像采集装置的呈像单元，对平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。本申请实施例达到了智能优化全景视频图像的融合拼接方案，精准快速生成全景视频拼接的图像融合信息，还原图像融合信息真实性的技术效果。
附图说明
图1为本申请一种基于全景视频拼接的图像融合方法的流程示意图；
图2为本申请一种基于全景视频拼接的图像融合方法的获取平面映射影像数据的流程示意图；
图3为本申请一种基于全景视频拼接的图像融合方法的获取流场估计信息的流程示意图；
图4为本申请一种基于全景视频拼接的图像融合方法的获取平面全景影像信息的流程示意图；
图5为本申请一种基于全景视频拼接的图像融合系统的结构示意图。
附图标记说明：数据获取单元11，投影映射单元12，采集获取单元13，计算评估单元14，数据校准单元15，影像显示单元16。
具体实施方式
本申请通过提供了一种基于全景视频拼接的图像融合方法及系统，解决了全景视频图像的融合拼接方案不合理，导致图像融合信息不可靠的技术问题，达到了智能优化全景视频图像的融合拼接方案，精准快速生成全景视频拼接的图像融合信息，还原图像融合信息真实性的技术效果。
实施例一
如图1所示，本申请提供了一种基于全景视频拼接的图像融合方法，其中，所述方法应用于一种基于全景视频拼接的图像融合系统，所述系统与图像采集装置和水平重力感应模块通信连接，所述方法包括：
S100：通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；
S200：对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；
具体而言，所述图像采集装置可以是摄像头、监控或其他图像信息采集装置，不对所述图像采集装置的型号或其他参数信息进行具体限定，通过所述图像采集装置进行全景视频图像采集，获取所述全景视频图像信息，所述全景视频图像信息包括但不限于影像数据、所述影像数据对应的时序信息，对所述全景视频图像信息进行投影映射，所述投影映射为通过影像数据的关联相似性进行的影像投影，所述平面的长度信息与宽度信息在初始阶段不进行据图限定，在进行数据输出过程需要对长度数据与宽度数据进行修剪，修剪标准结合最小宽度与最小长度进行确定，使得所述平面的影像数据与呈像单元的影像显示信息适配，将投影结果对应的影像信息确定为所述平面映射影像数据，为后续数据处理提供数据支持。
进一步的，如图2所示，所述对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据，步骤S200包括：
S210：对视频图像进行影像提取，获取全景信息影像集；
进一步的，所述对视频图像进行影像提取，获取全景信息影像集，步骤S210包括：
S211：基于图像采集装置，确定图像信息的像素点量；
S212：通过所述像素点量，获得视频信息量数据；
S213：基于所述视频信息量数据，结合图像采集装置的图像采集频率，获取视频提取频率；
S214：通过所述视频提取频率，对所述视频图像进行影像提取的过程进行控制，提取获取全景信息影像集。
具体而言，基于图像采集装置的镜头的数据采集分别率信息，确定图像信息的像素点量；通过所述像素点量，进行数据量确定，获得视频信息量数据；基于所述视频信息量数据，结合图像采集装置的图像采集频率，一般的，人眼无法以超过60fps的速度分辨，高的分辨分辨率可以提高图像信息的真实性，获取视频提取频率；通过所述视频提取频率，对所述视频图像进行影像提取的过程进行控制，进一步保证了数据信息的完整性，将数据提取结果确定为所述全景信息影像集，在结合图像采集角度，优化采集频率，进一步保证了影像提取过程数据的完整性，从技术角度，为进行数据分析处理提供数据支持。
S220：通过所述全景信息影像集，基于图像的重叠与关联，进行影像信息投影映射，获取全景映射影像；
S230：通过所述全景映射影像，结合图像采集装置图像采集特征进行修正，获取平面映射影像数据。
具体而言，对视频图像进行影像提取，对影像提取结果进行数据整理，构建全景信息影像集；通过所述全景信息影像集，基于图像的重叠与关联，确定影响信息的相似度，通过相似度结果，进行影像信息投影映射，获取全景映射影像；通过所述全景映射影像，所述图像采集装置图像采集特征包括采集所述图像采集装置的镜头的特征参数，具体的，在进行数据采集过程，镜头的边角位置的影像可能会失真变形，结合图像采集装置图像采集特征进行修正，将所述修正结果确定为平面映射影像数据，有效的保证了所述平面映射影像数据的可靠度与稳定性。
S300：通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；
S400：基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；
具体而言，所述水平重力感应模块基于压电效应，通过测量内部一片重物重力正交两个方向分力的数值，判别水平方向，一般的，所述图像融合系统默认重力感应的中心为水平放置，通过所述水平重力感应模块，对所述图像采集装置的空间位置相关信息进行采集，有效保证数据的可靠性，将采集所得的空间位置相关信息定义为空间水平位置信息，所述空间水平位置信息可以判断装置图像采集过程装置的水平信息的变化状态，进一步确定采集图像采集装置与空间图像角度位置关系，为修正图像采集空间位置信息变化导致的图像失真提供数据支持。
具体而言，所述全景视频图像信息的时序信息对应视频信息的采集时间，也就是说，采集全景视频信息，存在信息采集的先后，需要对照采集时间与所述空间水平位置信息的变化，对所述平面映射影像数据的重合区域进行流场估计，所述流场主要从光流角度进行分析估计，估计光流的目的是为图像帧中的每一个像素点赋予一个运动向量。从整幅图像进行分析，光流估计的过程就是建立一个包含所有运动向量的运动场，所述图像采集装置在进行全景视频信息采集过程中，是运动的，场景中运动物体的分割难以实现，若图像采集装置的拍摄角度、环境光照不均，或是背景颜色相近等情况发生时，均会对图像中运动物体的分割带来极大的困难，基于光流角度进行分析估计，计算场景中运动的稀疏光流，可以容易地识别出运动大小或方向存在不同的区域，所述区域也就是标注的特定的运动区域，由此可以分割出运动物体，将所述流场估计结果信息确定为流场估计信息，为进行图像信息处理提供技术理论基础，所述方案为优选所得，可以进一步保证所述流场估计信息的可靠度。
进一步的，如图3所示，所述基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息，步骤S400包括：
S410：通过图像采集装置的图像采集频率，对所述全景视频图像信息的图像采集时间进行整合，获取所述全景视频图像信息的时序信息；
S420：通过所述时序信息与所述空间水平位置信息的对应，进行关联映射，确定空间位置时序对照信息；
S430：基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息。
具体而言，通过图像采集装置的图像采集频率，对所述全景视频图像信息的图像采集时间进行整合，所述整合从采集时间角度对所述全景视频图像信息的时序信息进行对应确定；通过所述时序信息与所述空间水平位置信息的对应，对所述全景视频图像信息的映射进行关联映射，所述关联映射简单来说就是时间上进行标记映射，将所述关联映射结果确定为空间位置时序对照信息；基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，所述重合区域的数据信息需要进行拼接，结合图像信息采集的时序信息对影像拼接过程进行优化，获取流场估计信息，为进一步分析数据信息内部参数特征提供技术支持，为深度挖掘分析处理数据提供数据支持。
进一步的，所述基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息，步骤S430包括：
S431：在所述全景视频图像信息进行投影映射到同一平面内阶段，确定所述平面映射影像数据的重合区域；
S432：通过所述图像采集装置的内置位移传感模块，确定所述图像采集装置的位移量与位移方向；
S433：基于流场估计对所述位移量与所述位移方向进行分析，获取位移流场分析信息；
S434：对所述重合区域进行影像比拟，结合所述位移流场分析信息，获取流场估计信息。
具体而言，在所述全景视频图像信息进行投影映射到同一平面内阶段，确定所述平面映射影像数据的重合区域，所述重合区域是所述平面映射影像数据中的进行拼接过程，需要结合所述图像采集装置的内置位移传感模块中的数据信息进行优化的，具体的，通过所述图像采集装置的内置位移传感模块，确定所述图像采集装置的位移量与位移方向，所述位移方向是三维单位矢量；基于流场估计对所述位移量与所述位移方向进行分析，计算场景中运动的稀疏光流，所述稀疏光流区别于致密光流，在对影像数据的部分像素的运动向量进行分析，对应为稀疏光流；在对影像数据的所有像素进行分析，对应为稠密光流，将所述计算结果确定为位移流场分析信息，所述位移流场分析信息从光与像的角度对数据信息进行优化，进一步提高影像信息的真实性；对所述重合区域进行影像比拟，所述影像比拟简单来说就是通过多组存在相似的影像，进行参数分析，确定参数的特征变化，对应的，所述位移流场分析信息与所述参数的特征变化相关，通过参数特征变化分析，确定参数特征结果，所述参数特征结果信息定义为流场估计信息，通过所述参数特征结果进一步提高影像数据信息的真实性，为还原所述全景视频图像信息对应的实景信息提供技术支持。
S500：通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；
S600：基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
具体而言，通过所述流场估计信息对所述平面映射影像数据进行校准，所述校准可以优化所述平面映射影像数据的影像拼接方案，进行优化调整，基于所述流场估计信息标注的特定的运动区域，进一步分割出运动物体，对所述平面映射影像数据的重叠区域影像数据进行对照优化，将所述对照优化结果确定为平面全景影像配准信息，通过所述图像采集装置的呈像单元，确定呈像单元的呈像特征与所述呈像单元的分辨率，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示，获取所述平面全景影像配准信息并进行显示，实现影像信息的智能融合处理与输出，保证了全景视频拼接的图像融合方案的完整性，为便捷、智能提供全景影响提供技术支持。
进一步的，如图4所示，本申请还包括：
S610：通过SURF算法对所述平面全景影像配准信息的融合区域进行特征提取，获取SURF特征提取信息；
S620：基于所述SURF特征提取信息，确定主方向并生成特征向量；
S630：通过SURF自动标定方法，结合所述主方向、所述特征向量与所述SURF特征提取信息，对所述平面全景影像配准信息的融合区域进行特征点标定，获取特征点标定匹配信息；
S640：通过所述特征点标定匹配信息对所述平面全景影像配准信息进行校正，获取平面全景影像信息。
具体而言，通过SURF算法对所述平面全景影像配准信息的融合区域进行特征提取，所述SURF算法是一种尺度不变特征变化算法，可以的特征信息进行快速处理，获取SURF特征提取信息；基于所述SURF特征提取信息，在SURF算法特征处理过程，确定主方向并生成特征向量；通过SURF自动标定方法，结合所述主方向、所述特征向量与所述SURF特征提取信息，对所述平面全景影像配准信息的融合区域进行特征点标定，简单来说就是从多帧图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，获取特征点标定匹配信息；通过所述特征点标定匹配信息对所述平面全景影像配准信息进行校正，将所述校正结果确定为平面全景影像信息，结合SURF算法，获得平面全景影像信息，为精准快速生成全景视频拼接的图像融合信息提供技术支持，提高帧与帧之间的流畅度的技术效果。
综上所述，本申请所提供的一种基于全景视频拼接的图像融合方法及系统具有如下技术效果：
1.由于采用了通过图像采集装置，进行全景视频图像采集，获取全景视频图像信息；进行投影映射到同一平面内，获取平面映射影像数据；通过水平重力感应模块，采集获取图像采集装置的空间水平位置信息；基于全景视频图像信息的时序信息，结合空间水平位置信息，对平面映射影像数据的重合区域进行流场估计，获取流场估计信息；对平面映射影像数据进行校准，获取平面全景影像配准信息；基于图像采集装置的呈像单元，对平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。本申请通过提供了一种基于全景视频拼接的图像融合方法及系统，达到了智能优化全景视频图像的融合拼接方案，精准快速生成全景视频拼接的图像融合信息，还原图像融合信息真实性的技术效果。
2.由于采用了在全景视频图像信息进行投影映射到同一平面内阶段，确定平面映射影像数据的重合区域；通过图像采集装置的内置位移传感模块，确定图像采集装置的位移量与位移方向；基于流场估计对位移量与位移方向进行分析，获取位移流场分析信息；对重合区域进行影像比拟，结合位移流场分析信息，获取流场估计信息，进一步提高影像数据信息的真实性，为还原全景视频图像信息对应的实景信息提供技术支持。
3.由于采用了通过SURF算法对平面全景影像配准信息的融合区域进行特征提取，获取SURF特征提取信息；基于SURF特征提取信息，确定主方向并生成特征向量；通过SURF自动标定方法，结合主方向、特征向量与SURF特征提取信息，对平面全景影像配准信息的融合区域进行特征点标定，获取特征点标定匹配信息；通过特征点标定匹配信息对平面全景影像配准信息进行校正，结合SURF算法，获取平面全景影像信息，为精准快速生成全景视频拼接的图像融合信息提供技术支持，提高帧与帧之间的流畅度的技术效果。
实施例二
基于与前述实施例中一种基于全景视频拼接的图像融合方法相同的发明构思，如图5所示，本申请提供了一种基于全景视频拼接的图像融合系统，其中，所述系统与图像采集装置和水平重力感应模块通信连接，所述系统包括：
数据获取单元11，所述数据获取单元11用于通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；
投影映射单元12，所述投影映射单元12用于对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；
采集获取单元13，所述采集获取单元13用于通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；
计算评估单元14，所述计算评估单元14用于基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；
数据校准单元15，所述数据校准单元15用于通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；
影像显示单元16，所述影像显示单元16用于基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
进一步的，所述系统包括：
影像提取单元，所述影像提取单元用于对视频图像进行影像提取，获取全景信息影像集；
投影映射单元，所述投影映射单元用于通过所述全景信息影像集，基于图像的重叠与关联，进行影像信息投影映射，获取全景映射影像；
特征修正单元，所述特征修正单元用于通过所述全景映射影像，结合图像采集装置图像采集特征进行修正，获取平面映射影像数据。
进一步的，所述系统包括：
采集确定单元，所述采集确定单元用于基于图像采集装置，确定图像信息的像素点量；
数据获得单元，所述数据获得单元用于通过所述像素点量，获得视频信息量数据；
修正提取单元，所述修正提取单元用于基于所述视频信息量数据，结合图像采集装置的图像采集频率，获取视频提取频率；
数据提取单元，所述数据提取单元用于通过所述视频提取频率，对所述视频图像进行影像提取的过程进行控制，提取获取全景信息影像集。
进一步的，所述系统包括：
数据整合单元，所述数据整合单元用于通过图像采集装置的图像采集频率，对所述全景视频图像信息的图像采集时间进行整合，获取所述全景视频图像信息的时序信息；
关联映射单元，所述关联映射单元用于通过所述时序信息与所述空间水平位置信息的对应，进行关联映射，确定空间位置时序对照信息；
数据处理单元，所述数据处理单元用于基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息。
进一步的，所述系统包括：
投影映射单元，所述投影映射单元用于在所述全景视频图像信息进行投影映射到同一平面内阶段，确定所述平面映射影像数据的重合区域；
分析确定单元，所述分析确定单元用于通过所述图像采集装置的内置位移传感模块，确定所述图像采集装置的位移量与位移方向；
数据分析单元，所述数据分析单元用于基于流场估计对所述位移量与所述位移方向进行分析，获取位移流场分析信息；
信息比拟单元，所述信息比拟单元用于对所述重合区域进行影像比拟，结合所述位移流场分析信息，获取流场估计信息。
进一步的，所述系统包括：
特征提取单元，所述特征提取单元用于通过SURF算法对所述平面全景影像配准信息的融合区域进行特征提取，获取SURF特征提取信息；
参数生成单元，所述参数生成单元用于基于所述SURF特征提取信息，确定主方向并生成特征向量；
特征标定单元，所述特征标定单元用于通过SURF自动标定方法，结合所述主方向、所述特征向量与所述SURF特征提取信息，对所述平面全景影像配准信息的融合区域进行特征点标定，获取特征点标定匹配信息；
信息校正单元，所述信息校正单元用于通过所述特征点标定匹配信息对所述平面全景影像配准信息进行校正，获取平面全景影像信息。
本说明书和附图仅仅是本申请的示例性说明，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。
Claims (7)
1.一种基于全景视频拼接的图像融合方法，其特征在于，所述方法应用于一种基于全景视频拼接的图像融合系统，所述系统与图像采集装置和水平重力感应模块通信连接，所述方法包括：
通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；
对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；
通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；
基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；
通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；
基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
2.如权利要求1所述的方法，其特征在于，所述对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据，所述方法包括：
对视频图像进行影像提取，获取全景信息影像集；
通过所述全景信息影像集，基于图像的重叠与关联，进行影像信息投影映射，获取全景映射影像；
通过所述全景映射影像，结合图像采集装置图像采集特征进行修正，获取平面映射影像数据。
3.如权利要求2所述的方法，其特征在于，所述对视频图像进行影像提取，获取全景信息影像集，所述方法包括：
基于图像采集装置，确定图像信息的像素点量；
通过所述像素点量，获得视频信息量数据；
基于所述视频信息量数据，结合图像采集装置的图像采集频率，获取视频提取频率；
通过所述视频提取频率，对所述视频图像进行影像提取的过程进行控制，提取获取全景信息影像集。
4.如权利要求1所述的方法，其特征在于，所述基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息，所述方法包括：
通过图像采集装置的图像采集频率，对所述全景视频图像信息的图像采集时间进行整合，获取所述全景视频图像信息的时序信息；
通过所述时序信息与所述空间水平位置信息的对应，进行关联映射，确定空间位置时序对照信息；
基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息。
5.如权利要求4所述的方法，其特征在于，所述基于所述空间位置时序对照信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息，所述方法包括：
在所述全景视频图像信息进行投影映射到同一平面内阶段，确定所述平面映射影像数据的重合区域；
通过所述图像采集装置的内置位移传感模块，确定所述图像采集装置的位移量与位移方向；
基于流场估计对所述位移量与所述位移方向进行分析，获取位移流场分析信息；
对所述重合区域进行影像比拟，结合所述位移流场分析信息，获取流场估计信息。
6.如权利要求1所述的方法，其特征在于，所述方法还包括：
通过SURF算法对所述平面全景影像配准信息的融合区域进行特征提取，获取SURF特征提取信息；
基于所述SURF特征提取信息，确定主方向并生成特征向量；
通过SURF自动标定方法，结合所述主方向、所述特征向量与所述SURF特征提取信息，对所述平面全景影像配准信息的融合区域进行特征点标定，获取特征点标定匹配信息；
通过所述特征点标定匹配信息对所述平面全景影像配准信息进行校正，获取平面全景影像信息。
7.一种基于全景视频拼接的图像融合系统，其特征在于，所述系统与图像采集装置和水平重力感应模块通信连接，所述系统包括：
数据获取单元，所述数据获取单元用于通过所述图像采集装置，进行全景视频图像采集，获取全景视频图像信息；
投影映射单元，所述投影映射单元用于对所述全景视频图像信息进行投影映射到同一平面内，获取平面映射影像数据；
采集获取单元，所述采集获取单元用于通过所述水平重力感应模块，采集获取所述图像采集装置的空间水平位置信息；
计算评估单元，所述计算评估单元用于基于所述全景视频图像信息的时序信息，结合所述空间水平位置信息，对所述平面映射影像数据的重合区域进行流场估计，获取流场估计信息；
数据校准单元，所述数据校准单元用于通过所述流场估计信息对所述平面映射影像数据进行校准，获取平面全景影像配准信息；
影像显示单元，所述影像显示单元用于基于所述图像采集装置的呈像单元，对所述平面全景影像配准信息进行全景视频拼接融合图像进行影像显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211031747.4A CN115409707A (zh) | 2022-08-26 | 2022-08-26 | 一种基于全景视频拼接的图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211031747.4A CN115409707A (zh) | 2022-08-26 | 2022-08-26 | 一种基于全景视频拼接的图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115409707A true CN115409707A (zh) | 2022-11-29 |
Family
ID=84162639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211031747.4A Pending CN115409707A (zh) | 2022-08-26 | 2022-08-26 | 一种基于全景视频拼接的图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115409707A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567166A (zh) * | 2023-07-07 | 2023-08-08 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
-
2022
- 2022-08-26 CN CN202211031747.4A patent/CN115409707A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116567166A (zh) * | 2023-07-07 | 2023-08-08 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
| CN116567166B (zh) * | 2023-07-07 | 2023-10-17 | 广东省电信规划设计院有限公司 | 一种视频融合方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10437065B2 (en) | IPD correction and reprojection for accurate mixed reality object placement | |
| US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
| US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
| US7616885B2 (en) | Single lens auto focus system for stereo image generation and method thereof | |
| WO2020007320A1 (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
| WO2016164166A1 (en) | Automated generation of panning shots | |
| CN112396073A (zh) | 基于双目图像的模型训练方法、装置及数据处理设备 | |
| KR20120051308A (ko) | 3ｄ 입체감을 개선하고 시청 피로를 저감하는 방법 및 장치 | |
| CN113129241B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| CN108958469B (zh) | 一种基于增强现实的在虚拟世界增加超链接的方法 | |
| CN109525786B (zh) | 视频处理方法、装置、终端设备及存储介质 | |
| CN112509125A (zh) | 一种基于人工标志物和立体视觉的三维重建方法 | |
| CN102997891A (zh) | 场景深度的测量装置和方法 | |
| CN112771843A (zh) | 信息处理方法、装置和成像系统 | |
| CN111696044B (zh) | 一种大场景动态视觉观测方法及装置 | |
| CN114910052A (zh) | 一种基于摄像头的测距方法、控制方法、装置和电子设备 | |
| CN110717593B (zh) | 神经网络训练、移动信息测量、关键帧检测的方法及装置 | |
| CN115409707A (zh) | 一种基于全景视频拼接的图像融合方法及系统 | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| CN110120012A (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| KR101578029B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
| KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| CN116132610A (zh) | 一种综采面视频拼接方法及系统 | |
| CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |