CN103327304B - 一种基于聚集机理的花卉生长关键帧提取系统 - Google Patents

Abstract

一种基于聚集机理的花卉生长关键帧提取系统，给相关研究人员提供一种视频数据小，花卉生长细节信息丰富，整段视频播放中流畅、自然，压缩比较高的花卉生长过程的监测平台；该系统包括：PC机，图像采集模块，核心算法模块，关键帧判决模块，数据查询分析模块，视频合成模块，视频预览模块；通过图像的采集、模式选择及相关参数设置、关键帧提取算法运行、视频合成等环节最终实现对花卉生长过程中的图像进行关键帧提取，并将提取出的关键帧合成表征花卉生长过程的关键帧视频。

Description

一种基于聚集机理的花卉生长关键帧提取系统

技术领域

本发明涉及一种基于聚集机理的花卉生长关键帧提取系统，给相关研究人员提供一种视频数据小，花卉生长细节信息丰富，整段视频播放流畅、自然，压缩比较高的花卉生长过程的监测平台。

背景技术

花卉植物形态和生长可视化仿真是虚拟植物研究中极具挑战性的课题，为了逼真的模拟花朵开放的过程，首先需要对真实的花朵开放过程有正确的认识。而植物生长的过程一般是缓慢的，花卉生长过程原始视频数据量大，冗余信息多。为了给相关研究人员提供视频数据小的，压缩比比较高的花卉生长过程的监测视频，同时还保证视频内花卉生长细节信息丰富，整段视频播放中流畅、自然，将视频关键帧提取技术应用于监测花卉生长状态，可以更加有效提取出涵盖大量重要信息的花卉生长视频，视频流畅真实，呈现花卉快速动态的绽开过程，帮助研究人员更准确的分析花卉生长运动形态和研究其规律。

发明内容

本发明设计了一种基于聚集机理的花卉生长关键帧提取系统，包括PC机、图像采集模块，核心算法模块，关键帧判决模块，数据查询分析模块，视频合成模块，视频预览模块；

其中所述图像采集模块包括遮光纸箱、HD-3000微软高清网络摄像头和直流LED灯，用于对花卉生长过程进行拍摄，采集花卉生长图像；所述核心算法模块是在PC机上对所述图像采集模块拍摄完毕的图像，编程实现基于聚集机理的花卉生长关键帧提取算法，得到各帧聚集差值的向量；所述关键帧判决模块给出了两种不同的判决模式：关键帧数模式以及阈值模式，两种不同的模式决定了选取关键帧所用参数的不同；所述数据查询分析模块是通过开发数据浏览器，对经所述关键帧判决模块判决后的模式及所述核心算法模块计算得到的各参数进行保存与图形化分析；所述视频合成模块对所述关键帧判决模块中分析出的关键帧，按照设定的帧率以及视频的宽、高合成为关键帧视频；所述视频预览模块为实验人员呈现关键帧视频播放效果；

所述基于聚集机理的关键帧提取算法其特征在于：对所述图像采集模块采集的花卉生长过程原始视频序列进行初步提取，得到用于关键帧分析的帧集合F_N＝{f₁，f₂，...f_N}，下标N为视频帧的序号；使用RGB颜色通道相关性算法，对每两帧进行计算，得到当前帧对于前一帧的相关性值ρ′_n，将其与阈值τ_ρ做比较，得出相关性差值d_ρ；使用颜色直方图算法，对每两帧进行计算，得到当前帧对于前一帧的直方图差值H′_n，将其与阈值τ_H做比较，得出直方图差值d_H；使用惯性矩算法，对每两帧进行计算，得到当前帧对于前一帧的惯性矩差值μ_n，将其与阈值τ_μ做比较，得出惯性矩差值d_μ；根据一定的权重，按照公式d_ρHμ＝w_ρd_ρ+w_Hd_H+w_μd_μ得出当前帧对于前一帧的聚集差值d_ρHμ，其中w_ρ、w_H和w_μ分别为相关性差值d_ρ、直方图差值d_H、惯性矩差值d_μ的权重系数；使用冒泡排序法，将各帧聚集差值d_ρHμ按降序排序，统计其下标存入下标数组I，I中包含有N-1个下标值；提取I中前M个数值所代表的关键帧，并将选取出的I中的数值按升序排列，将这M个关键帧合成关键帧视频；

本发明具有如下功能：

通过图像的采集、模式选择及相关参数设置、关键帧提取算法运行、视频合成等环节最终实现对花卉生长过程中的图像进行关键帧提取，并将提取出的关键帧合成表征花卉生长过程的关键帧视频；

本发明的目的是：给研究花卉生长过程的相关人员提供一种视频数据小，花卉生长细节信息丰富，整段视频播放流畅、自然，压缩比较高的花卉生长过程的监测平台。

附图说明

附图1：花卉生长关键帧提取视频监测平台架构图

附图2：系统功能模块图

附图3：基于聚集机理的花卉生长关键帧提取算法流程图

附图4：阈值模式工作流程图

具体实施方式

针对花卉生长过程原始视频数据量大，冗余信息多，花卉生长过程缓慢，需要时间长等特点，为研究花卉生长过程的相关人员设计了一种视频数据小，花卉生长细节信息丰富，整段视频播放中流畅、自然，压缩比较高的一种基于聚集机理的花卉生长关键帧提取系统，如附图1所示。使用该系统要求具有硬件环境：PC机一台、处理器为T23001.66GHz、内存1.24G以上、操作系统WinXP，软件开发环境：MicrosoftVisualStudio2008Professional、OpenCV2.0；基于聚集机理的花卉生长关键帧提取系统包括：图像采集模块，核心算法模块，关键帧判决模块，数据查询分析模块，视频合成模块，视频预览模块，如附图2所示。

图像采集模块包括遮光纸箱、HD-3000微软高清网络摄像头一只、直流LED灯一个，用于对花卉生长过程进行拍摄，由于花卉的开放时间长短不一，如果对所有花卉的盛开过程采用全程拍摄将占用电脑硬盘空间过大，又会使得后期的计算过程时间冗长；可以采用等时间间隔的拍摄方法，该时间间隔可根据不同花卉的开放速度进行人工调节，由此采集到的图像作为花卉生长过程的原始图像；核心算法模块是在PC机上对所述图像采集模块拍摄完毕的图像，编程实现基于聚集机理的花卉生长关键帧提取算法，得到各帧聚集差值的向量，将其用于关键帧判决模块中，对于最终关键帧的取舍起着决定性作用；关键帧判决模块给出了两种不同的判决模式：关键帧数模式以及阈值模式，两种不同的模式决定了选取关键帧所用参数的不同，生成关键帧视频速度不同；数据查询分析模块是通过开发数据浏览器，对经所述关键帧判决模块判决后的模式及所述核心算法模块计算得到的各参数进行保存与图形化分析；视频合成模块对所述关键帧判决模块中分析出的关键帧，按照设定的帧率以及视频的宽、高合成为关键帧视频；视频预览模块为实验人员提供随时可观看的关键帧视频，观察视频预览效果；

在基于聚集机理的花卉生长关键帧提取系统中，基于聚集机理的花卉生长关键帧提取算法是系统的核心，关键帧提取算法流程图如附图3所示；

具体算法步骤描述如下：

1)对原始视频序列进行初步提取(由于一般视频为25帧/秒，为减轻计算量，可根据视频情况进行等间隔提取)，得到用于关键帧分析的帧集合F_N＝{f₁，f₂，...f_N}，下标N为视频帧的序号；

2)使用RGB颜色通道相关性算法，对每两帧进行计算，得到当前帧对于前一帧的相关性值ρ′_n，将其与阈值τ_ρ做比较，得出相关性差值d_ρ；

3)使用颜色直方图算法，对每两帧进行计算，得到当前帧对于前一帧的直方图差值H′_n，将其与阈值τ_H做比较，得出直方图差值d_H；

4)使用惯性矩算法，对每两帧进行计算，得到当前帧对于前一帧的惯性矩差值μ′_n，将其与阈值τ_μ做比较，得出惯性矩差值d_μ；

5)根据一定的权重，按照公式d_ρHμ＝w_ρd_ρ+w_Hd_H+w_μd_μ得出当前帧对于前一帧的聚集差值d_ρHμ，其中w_ρ、w_H和w_μ分别为相关性差值d_ρ、直方图差值d_H、惯性矩差值d_μ的权重系数；

6)使用冒泡排序法，将各帧的d_ρHμ值按降序排序，统计其下标存入下标数组I，I中包含有N-1个下标值；

7)提取I中前M个数值所代表的关键帧，并将选取出的I中的数值按升序排列，最终将这M个关键帧合成关键帧视频。

上述为系统默认的关键帧提取算法即关键帧判决模块中的关键帧数模式，阈值模式在拍摄花卉生长视频帧的同时进行关键帧算法的计算，这里需要引入一个参数即用于判别是否为关键帧的聚集阈值τ，阈值模式工作流程如附图4所示；

具体工作流程描述如下：

1)获取第一帧f₁及第二帧f₂图像；

2)计算f₁与f₂之间的聚集差值d_ρHμ；

3)将d_ρHμ与τ比较，若大于阈值则f₂作为关键帧被保存，若小于等于阈值则f₂作为普通视频帧被删除；

4)等待T秒，拍摄下一帧图像f₃值，重复2)、3)；

5)全部拍摄过程结束后，将保存下来的关键帧合成关键帧视频。

技术效果

本发明根据研究花卉生长过程的相关工作人员的实际需求出发，针对原始花卉生长过程视频数据量大，冗余信息多，花卉生长过程缓慢的，需要时间长，而传统花卉生长视频合成方法合成的视频冗余大、不够流畅自然等特点，提出一种基于聚集机理的花卉生长关键帧提取系统，系统提供了一种视频数据小，花卉生长细节信息丰富，整段视频播放中流畅、自然，压缩比较高的花卉生长过程的监测平台，给相关研究人员的科研工作带来帮助。

Claims (1)

1.一种基于聚集机理的花卉生长关键帧提取系统，其特征在于：

所述一种基于聚集机理的花卉生长关键帧提取系统包括PC机、图像采集模块，核心算法模块，关键帧判决模块，数据查询分析模块，视频合成模块，视频预览模块；

其中所述图像采集模块包括遮光纸箱、HD-3000微软高清网络摄像头和直流LED灯，用于对花卉生长过程进行拍摄，采集花卉生长图像；

所述核心算法模块是在PC机上对所述图像采集模块拍摄完毕的图像，编程实现基于聚集机理的花卉生长关键帧提取算法，得到各帧聚集差值的向量；所述关键帧判决模块给出了两种不同的判决模式：关键帧数模式以及阈值模式，两种不同的模式决定了选取关键帧所用参数的不同；

其中所述关键帧数模式是对所述图像采集模块采集的花卉生长过程原始视频序列进行初步提取，得到用于关键帧分析的帧集合F_N＝{f₁，f₂，...f_N}，下标N为视频帧的序号；使用RGB颜色通道相关性算法，对每两帧进行计算，得到当前帧对于前一帧的相关性值ρ′_n，将其与阈值τ_ρ作比较，得出相关性差值d_ρ；使用颜色直方图算法，对每两帧进行计算，得到当前帧对于前一帧的直方图差值H′_n，将其与阈值τ_H作比较，得出直方图差值d_H；使用惯性矩算法，对每两帧进行计算，得到当前帧对于前一帧的惯性矩差值μ′_n，将其与阈值τ_μ作比较，得出惯性矩差值d_μ；按照公式d_ρHμ＝w_ρd_ρ+w_Hd_H+w_μd_μ得出当前帧对于前一帧的聚集差值d_ρHμ，其中w_ρ、w_H和w_μ分别为相关性差值d_ρ、直方图差值d_H、惯性矩差值d_μ的权重系数；使用冒泡排序法，将各帧d_ρHμ的数值按降序排序，统计其下标存入下标数组I，I中包含有N-1个下标值；提取I中前M个数值所代表的关键帧，并将选取出的I中的数值按升序排列，将这M个关键帧合成关键帧视频；

所述阈值模式是：1)获取第一帧f₁及第二帧f₂图像；2)计算f₁与f₂之间的聚集差值d_ρHμ；3)将d_ρHμ与τ比较，若大于阈值则f₂作为关键帧被保存，若小于等于阈值则f₂作为普通视频帧被删除；4)等待T秒，拍摄下一帧图像f₃值，重复2)、3)；5)全部拍摄过程结束后，将保存下来的关键帧合成关键帧视频；所述数据查询分析模块是通过开发数据浏览器，对经所述关键帧判决模块判决后的模式及所述核心算法模块计算得到的各参数进行保存与图形化分析；

所述视频合成模块对所述关键帧判决模块中分析出的关键帧，按照设定的帧率以及视频的宽、高合成为关键帧视频；

所述视频预览模块为实验人员呈现关键帧视频播放效果。