CN109146827A - 一种用于视频融合中的图像处理方法和装置 - Google Patents

一种用于视频融合中的图像处理方法和装置 Download PDF

Info

Publication number
CN109146827A
CN109146827A CN201810974148.3A CN201810974148A CN109146827A CN 109146827 A CN109146827 A CN 109146827A CN 201810974148 A CN201810974148 A CN 201810974148A CN 109146827 A CN109146827 A CN 109146827A
Authority
CN
China
Prior art keywords
key frame
frame images
image
fused
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810974148.3A
Other languages
English (en)
Inventor
王志纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Jingzhang Technology Co Ltd
Original Assignee
Hefei Jingzhang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Jingzhang Technology Co Ltd filed Critical Hefei Jingzhang Technology Co Ltd
Priority to CN201810974148.3A priority Critical patent/CN109146827A/zh
Publication of CN109146827A publication Critical patent/CN109146827A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Circuits (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种用于视频融合的图像处理方法和装置。其中，图像处理方法包括：分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；针对任意一关键帧图像组，对其中的多个关键帧图像进行平均，得到平均背景图像；针对任意一关键帧图像组，根据与关键帧图像组对应的平均背景图像对关键帧图像进行前景检测，得到前景图像；根据待融合视频的时间轴，分别融合各个待融合视频中的背景图像和前景图像。通过从待融合视频中提取关键帧图像，并将关键帧中的背景图像和前景图像分离开来，根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像分别融合，实现了待视频内容的深度融合。

Description

一种用于视频融合中的图像处理方法和装置
技术领域
本发明涉及人工智能领域，特别涉及一种用于视频融合的图像处理方法和装置。
背景技术
视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
但是，现有的视频融合技术中所用到的素材，都需要人工或者使用单独的工具从视频帧图像中裁剪得到，工作效率低下。
发明内容
本发明要解决,现有技术中视频融合技术中所用到的素材，都需要人工或者使用单独的工具从视频帧图像中裁剪，工作效率低下的技术问题。
为了解决上述技术问题，本发明的技术方案具体包括：
分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像；
针对任意一关键帧图像组，对其中的多个关键帧图像进行平均，得到平均背景图像；
针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像；
根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
优选的，所述针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像，包括：
针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸；
利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
优选的，所述利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像之后，还包括：
对前景图像进行顶帽变换得到二值图像；
依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域；
将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
优选的，所述根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像，包括：
根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
在上述实施例的基础上，还提供了一种用于视频融合的图像处理装置，具体包括：
提取模块，用于分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像；
第一处理模块，用于针对任意一关键帧图像组，对其中的多个关键帧图像进行平均运算，得到平均背景图像；
第二处理模块，针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像；
融合模块，用于根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
优选的，图像缩小单元，用于针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸；
利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
优选的，顶帽变换模块，用于对前景图像进行顶帽变换得到二值图像；
区域筛选模块，用于依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域；
区域映射模块，用于将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
优选的，融合模块还包括：
素材融合单元，用于根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
采用上述技术方案，通过从待融合视频中提取关键帧图像，并将关键帧中的背景图像和前景图像分离开来，根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像分别融合，实现了待视频内容的深度融合。
附图说明
图1为本实施例中所述的一种用于视频融合的图像处理方法流程示意图；
图2为本实施例中所述的一种用于视频融合的图像处理装置结构。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
图1为本发明实施例一提供的一种用于视频融合的图像处理方法的流程图，该方法可以由一种用于视频融合的图像处理装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在是智能设备中。
其中，视频融合技术可以分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。
如图1所示，本实施例通过的方法具体包括如下步骤：
S110、分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像。
其中，所述待融合视频由关键帧图像和前后参考帧图像。其中，关键帧图像是帧间压缩编码的最重要帧，其是一幅完整的画面；前后参考帧图像即用来参考前面和后面两帧的数据加上本帧的变化而得出本帧的数据。
本实施例中，会将各待融合视频中的关键帧图像提取出来，并基于关键帧图像实现视频融合的过程。
S120、针对任意一关键帧图像组，对其中的多个关键帧图像进行平均，得到平均背景图像。
本实施例中，所述平均背景图像作为待融合视频中全部关键帧图像中背景图像的表示，可以通过对关键帧图像中各像素点的像素值作平均运算，得到各像素点的均值。
S130、针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像。
其中，前景图像与背景图像都是相对的概念。以高速公路为例：有时我们对高速公路上来来往往的汽车感兴趣，这时汽车是前景图像，而路面以及周围的环境是背景图像；有时我们仅仅对闯入高速公路的行人感兴趣，这时闯入者是前景图像，而包括汽车之类的其他东西又成了背景图像。
本实施例中可以通过多种前景检测方法完成前景检测，例如可是通过单高斯模型(SingleGaussian)、混合高斯模型(Mixture of Gaussian model)或自组织背景检测(SOBS-Self-organization background subtraction)等方法实现。
S140、根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
时间轴用于依据时间顺序，讲一方面或多方面的事件串联起来，形成相对完整的视频记录体系。本实施例中，会根据时间帧将待融合视频中的背景图像和前景图像分别进行融合。
实施例二
在实施例一的基础上，本实施例对前景图像进行顶帽变换，准确的确定出待融合素材的位置。具体的，本实施例通过的方法具体包括如下步骤：
S210、分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像。
S220、针对任意一关键帧图像组，对其中的多个关键帧图像进行平均，得到平均背景图像。
S230、针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸。
S240、利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
S250、对前景图像进行顶帽变换得到二值图像。
S260、依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域。
S270、将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
S280、根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
实施例三
图2为本发明实施例三提供的一种寻找视频融合装置的结构示意图，具体包括：提取模块310、第一处理模块320、第二处理模块330和融合模块340。
提取模块310，用于分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像；
第一处理模块320，用于针对任意一关键帧图像组，对其中的多个关键帧图像进行平均运算，得到平均背景图像；
第二处理模块330，针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像；
融合模块340，用于根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
在上述实施例的基础上，所述第二处理模块330包括：
图像缩小单元，用于针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸；
利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
在上述实施例的基础上，图像处理装置还包括：
顶帽变换模块，用于对前景图像进行顶帽变换得到二值图像；
区域筛选模块，用于依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域；
区域映射模块，用于将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
在上述实施例的基础上，所述融合模块340还包括：
素材融合单元，用于根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

Claims (8)

1.一种用于视频融合的图像处理方法，其特征在于：
分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像；
针对任意一关键帧图像组，对其中的多个关键帧图像进行平均，得到平均背景图像；
针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像；
根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像，包括：
针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸；
利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像之后，还包括：
对前景图像进行顶帽变换得到二值图像；
依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域；
将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
4.根据权利要求3所述的图像处理方法，其特征在于，所述根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像，包括：
根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
5.一种用于视频融合的图像处理装置，其特征在于：
提取模块，用于分别从至少两个待融合视频中提取关键帧图像，得到与待融合视频分别对应的至少两组关键帧图像组；其中，每组关键帧图像组中包括多帧关键帧图像；
第一处理模块，用于针对任意一关键帧图像组，对其中的多个关键帧图像进行平均运算，得到平均背景图像；
第二处理模块，针对任意一关键帧图像组，根据与关键帧图像组对应的所述平均背景图像对关键帧图像进行前景检测，得到前景图像；
融合模块，用于根据待融合视频的时间轴，分别融合各个所述待融合视频中的背景图像和前景图像。
6.根据权利要求5所述的图像处理装置，其特征在于，所述第二处理模块包括：
图像缩小单元，用于针对任意关键帧图像组，分别缩小关键帧图像组的平均背景图像和关键帧图像的尺寸；
利用关键帧图像组中的多帧关键帧图像分别与所述平均背景图像作差运算，得到多帧前景图像。
7.根据权利要求6所述的图像处理装置，其特征在于，还包括：
顶帽变换模块，用于对前景图像进行顶帽变换得到二值图像；
区域筛选模块，用于依据设定的灰度方差阈值和面积阈值，在二值图像中筛选符合条件的八连通区域；
区域映射模块，用于将筛选到的八连通区域映射到缩小前的前景图像中，得到前景图像中待融合素材的位置。
8.根据权利要求7所述的图像处理装置，其特征在于，融合模块还包括：
素材融合单元，用于根据待融合视频的时间轴和所述待融合素材的位置，分别融合各个所述待融合视频中的背景图像和待融合素材。
CN201810974148.3A 2018-08-24 2018-08-24 一种用于视频融合中的图像处理方法和装置 Withdrawn CN109146827A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810974148.3A CN109146827A (zh) 2018-08-24 2018-08-24 一种用于视频融合中的图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810974148.3A CN109146827A (zh) 2018-08-24 2018-08-24 一种用于视频融合中的图像处理方法和装置

Publications (1)

Publication Number Publication Date
CN109146827A true CN109146827A (zh) 2019-01-04

Family

ID=64827827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810974148.3A Withdrawn CN109146827A (zh) 2018-08-24 2018-08-24 一种用于视频融合中的图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN109146827A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置及存储介质
CN112348967A (zh) * 2020-10-29 2021-02-09 国网浙江省电力有限公司 一种电力设备三维模型与实时视频无缝融合的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290425A (zh) * 2019-07-29 2019-09-27 腾讯科技（深圳）有限公司 一种视频处理方法、装置及存储介质
CN112348967A (zh) * 2020-10-29 2021-02-09 国网浙江省电力有限公司 一种电力设备三维模型与实时视频无缝融合的方法

Similar Documents

Publication Publication Date Title
WO2018006825A1 (zh) 视频编码方法和装置
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN112241960B (zh) 一种基于深度信息的抠图方法及系统
CN106778730B (zh) 一种用于快速生成ocr训练样本的自适应方法及系统
CN106127799B (zh) 一种对于三维视频的视觉注意力检测方法
US10970824B2 (en) Method and apparatus for removing turbid objects in an image
JP6546611B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN106447718B (zh) 一种2d转3d深度估计方法
Kuo et al. Depth estimation from a monocular view of the outdoors
CN109146827A (zh) 一种用于视频融合中的图像处理方法和装置
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN105046670A (zh) 一种图像去雨方法及系统
US7920717B2 (en) Pixel extraction and replacement
KR20010024435A (ko) 정지 영상 생성 방법 및 장치
CN106778789B (zh) 一种多视点图像中的快速目标提取方法
CN111526417A (zh) 一种视频图像传输方法及传输系统
CN112529773B (zh) Qpd图像后处理方法及qpd相机
CN102289795A (zh) 基于融合思想的视频时空联合增强方法
CN106097259B (zh) 一种基于透射率优化技术的雾天图像快速重建方法
An et al. Object segmentation using stereo images
CN113873144B (zh) 图像抓拍方法、图像抓拍装置及计算机可读存储介质
CN112669346B (zh) 一种路面突发状况确定方法及装置
Huang et al. Image dehazing in disproportionate haze distributions
CN110580687B (zh) 一种提升生成对抗网络空洞填充质量的数据预处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190104

WW01 Invention patent application withdrawn after publication