CN106960418A - 视频图像中雨雪去除的算法 - Google Patents
视频图像中雨雪去除的算法 Download PDFInfo
- Publication number
- CN106960418A CN106960418A CN201610029954.4A CN201610029954A CN106960418A CN 106960418 A CN106960418 A CN 106960418A CN 201610029954 A CN201610029954 A CN 201610029954A CN 106960418 A CN106960418 A CN 106960418A
- Authority
- CN
- China
- Prior art keywords
- sleet
- algorithm
- video
- ycbcr
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 10
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000001627 detrimental effect Effects 0.000 abstract description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000007123 defense Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G06T5/77—
Abstract
本发明为视频图像中雨雪去除的算法，属于视频图像处理领域。由于雨雪恶劣天气的影响，模糊的图像视频会给我们带来不利的影响，造成不可预计的后果，该发明旨在不影响处理效果的基础上，提高视频中雨雪的处理速度，最大程度的降低雨雪天气对视频图像的影响，给我们的生活带来有利的保障。本算法基于YCbCr色彩空间，将RGB色彩空间进行转换后，进行多次迭代，根据Y，Cb，Cr值的变化大小来辨别该区域是否有雨，将有雨区域的像素用无雨区域的像素值取代后，恢复视频图像到常规的RGB色彩空间。由于目前市面上绝大多数视频监控摄像头所输出的原始数据均为YCbCr格式，若将本算法移植到摄像头硬件端，可以省去YCbCr与RGB相互转换的运算时间，能够广泛的应用到市面上的各大摄像头，给人们生活带来便利。
Description
【技术领域】
本发明属于视频图像处理领域，具体来说，是视频图像中雨雪处理的算法。
【背景技术】
现今社会是互联网+的时代，随着影像技术的发展，人们获取各种视觉信息的主要手段来自图片与视频图像，而计算机技术，图像处理技术，无线网络技术等的快速发展，使视频监控系统发生了翻天覆地的变化，慢慢的进入到人们的日常行为生活中。视频监控系统得以广泛的应用于工业控制，医疗建筑，智能交通，军事国防等领域，方便了人们的日常生活，学习，工作。室外恶劣天气雨雪的出现，严重影响了视频监控系统进行目标的追踪，物体的识别，特征的提取，造成视频图像的模糊，于军事国防上，则会情报有误，影响战略部署，于工业控制中，则会造成对整个产品制造的错误判断，而造成巨大的经济损失，同样，由于雨雪恶劣天气的影响，模糊的图像视频会给我们带来不利的影响，造成不可预计的后果，尤其是在车牌识别，导航等方面的应用，因此，必须对雨雪影响的视频图像进行复原，最大程度的降低雨雪天气对视频图像的影响，提高系统的稳定性，确保良好的工作，给我们的生活带来有利的保证。
关于视频图像雨雪的去除起步很晚，但已经吸引了大量的学者进行研究，目前主要多集中于雨滴的去除，主要为以下几种方法：K.Miyake等人按一般的惯性思维将雨滴作为图像的噪点进行去噪处理，而雨滴不同于噪声，有其独特的特点，具有连贯性，动态特征，因而图像不能得到较好的恢复；Wan-Joo Park等人对静态雨滴的亮度进行研究，发现在曝光时间极短的情况下，雨滴亮度很高，对背景没有太大影响，可作为盐噪声去处理，但这种方法局限性太大；K.Gray等人等人对雨滴的亮度特性进行研究，发现在图像中被雨滴覆盖的像素点的亮度较高，而同一个像素点在连续几帧里被雨滴覆盖的可能性很小，所以采用连续几帧帧差法进行处理后，取得的效果较好，但背景易被忽略；X.Zhang等人对雨滴与背景的RGB颜色进行分析，采用K-means聚类的方法检测雨滴然后滤波后去除；Brewer等人将雨线的大小特征列入考虑，在动态小雨的情况下有较好的处理效果，但大雨情况下无明显变化；Bossu等人利用直方图统计出雨线的基本方向，然后将偏离基本方向的雨线作为虚警去掉，此方法需要雨线的特性明显；Barnum等人将雨滴的大小，方向，形状等同时考虑进行高斯建模，然后进行频 域变换对图像进行恢复。
【发明内容】
针对目前一些研究人员做的关于视频图像中去雨雪的方法，本发明中算法的主要目的就是在不牺牲处理效果的基础上，提高处理的速度，并且能够更好的适用于目前市面上大多数监控摄像头。
【附图说明】
附 图【1】是本专利对于图像中去除雨雪算法的流程说明图。
【具体实施方案】
本发明提供的视频图像雨雪去除方法有以下一些步骤：
S1：对原始视频图像序列进行线性转换，建立视频帧的YCbCr色彩空间模型；
S2：对S1中获取的视频帧YCbCr数据进行多次迭代帧差法运算；
S3：对S2中帧差法中每一帧与前一帧的变化数据设定阈值进行比较，根据Y的变化区分变化像素点，根据Cb及Cr的变化区分运动物体和雨雪；
S4：对于S3中检测出的雨雪像素点复原至前一帧该点数据，经过多帧迭代提高处理效果
S5：将S4中得出的YCbCr数据经过线性运算转换为RGB色彩空间图像
针对步骤S1，所采用的转换公式为：
针对步骤S3，Y表现的是像素点的亮度属性，而Cb和Cr表现的是像素点的色度属性。对于由雨经过的点，其表现出的特性为Y变化较大，而Cb和Cr值变化很小；而对于有其他明显的运动物体经过的点，其表现出的特性为Y可能变化较大，而Cb和Cr值变化很大；对于其他点，其Y、Cb、Cr值变化可以忽略不计。因此根据Y值和Cb、Cr值的变化就可以有效的区分雨滴、动态物体和未变化区域。
针对步骤S4，为了提高大雨环境下的运算效果，这里在步骤S3的基础上，采用5帧迭代的算法。
针对步骤S5，所采用的转换公式为：
与其他已发表的算法的对比(基于Intel Xeon X5550CPU，主频2.67Ghz，内存6G的计算机上对各算法进行多次测试，帧分辨率为1920＊1080)：
| 算法 | 本方法 | 帧差法 | HSV | k-means |
| 平均时耗(40帧) | 61.43s | 15.78s | 606.29s | 404.59s |
| 是否支持动态背景 | 是 | 否 | 是 | 是 |
| 大雨环境处理效果 | 较好 | 一般 | 较好 | 一般 |
Claims (7)
1.一种视频图像中雨雪去除的算法，其特征在于，该方法包括如下步骤：
S1：对原始视频图像序列进行线性转换，建立视频帧的YCbCr色彩空间模型；
S2：对S1中获取的视频帧YCbCr数据进行多次迭代帧差法运算；
S3：对S2中帧差法中每一帧与前一帧的变化数据设定阈值进行比较，根据Y的变化区分变化像素点，根据Cb及Cr的变化区分运动物体和雨雪；
S4：对于S3中检测出的雨雪像素点复原至前一帧该点数据，经过多帧迭代提高去除效果
S5：将S4中得出的YCbCr数据经过线性运算转换为RGB色彩空间图像 。
2.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S1中原始视频图像序列应包括RGB颜色模型。
3.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S1中所采用的转换公式不局限为：同时包含其他RGB转换成YCbCr及RGB转换成YUV的公式。
4.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S3中的Y值变化的阈值应该包括任何正数，Cb值及Cr值变化的阈值应该包括任何实数。
5.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S4中的多帧迭代应该包括任何自然数。
6.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S5中所采用的转换公式不局限为：同时包含其他YCbCr转换成RGB及YUV转换成RGB的公式。
7.根据权利要求1中所述的视频中雨雪去除的算法，其特征在于，S4中的雨雪像素点复原方法为直接采用前一帧数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610029954.4A CN106960418A (zh) | 2016-01-11 | 2016-01-11 | 视频图像中雨雪去除的算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610029954.4A CN106960418A (zh) | 2016-01-11 | 2016-01-11 | 视频图像中雨雪去除的算法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106960418A true CN106960418A (zh) | 2017-07-18 |
Family
ID=59480765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610029954.4A Pending CN106960418A (zh) | 2016-01-11 | 2016-01-11 | 视频图像中雨雪去除的算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106960418A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359593A (zh) * | 2018-10-17 | 2019-02-19 | 安徽超远信息技术有限公司 | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 |
| CN112672209A (zh) * | 2020-12-14 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 视频编辑方法和视频编辑装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102122345A (zh) * | 2011-02-22 | 2011-07-13 | 上海大学 | 基于手部运动变化的指势判别方法 |
| CN102186089A (zh) * | 2011-04-19 | 2011-09-14 | 南京航空航天大学 | 单分量视频图像雨场去除方法 |
| CN104021527A (zh) * | 2014-06-10 | 2014-09-03 | 北京邮电大学 | 一种图像中雨雪的去除方法 |
| US20140348378A1 (en) * | 2013-05-21 | 2014-11-27 | Peking University Founder Group Co., Ltd. | Method and apparatus for detecting traffic video information |
| CN104978718A (zh) * | 2015-06-12 | 2015-10-14 | 中国科学院深圳先进技术研究院 | 一种基于图像熵的视频雨滴去除方法及系统 |
-
2016
- 2016-01-11 CN CN201610029954.4A patent/CN106960418A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102122345A (zh) * | 2011-02-22 | 2011-07-13 | 上海大学 | 基于手部运动变化的指势判别方法 |
| CN102186089A (zh) * | 2011-04-19 | 2011-09-14 | 南京航空航天大学 | 单分量视频图像雨场去除方法 |
| US20140348378A1 (en) * | 2013-05-21 | 2014-11-27 | Peking University Founder Group Co., Ltd. | Method and apparatus for detecting traffic video information |
| CN104021527A (zh) * | 2014-06-10 | 2014-09-03 | 北京邮电大学 | 一种图像中雨雪的去除方法 |
| CN104978718A (zh) * | 2015-06-12 | 2015-10-14 | 中国科学院深圳先进技术研究院 | 一种基于图像熵的视频雨滴去除方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵学静: "《雪天气退化图像复原方法研究》", 《万方》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109359593A (zh) * | 2018-10-17 | 2019-02-19 | 安徽超远信息技术有限公司 | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 |
| CN109359593B (zh) * | 2018-10-17 | 2020-07-31 | 安徽超远信息技术有限公司 | 一种基于图像局部栅格的雨雪环境画面模糊监测预警方法 |
| CN112672209A (zh) * | 2020-12-14 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 视频编辑方法和视频编辑装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
| CN109740478B (zh) | 车辆检测及识别方法、装置、计算机设备及可读存储介质 | |
| Fan et al. | Homomorphic filtering based illumination normalization method for face recognition | |
| CN107358258B (zh) | 基于nsct双cnn通道和选择性注意机制的sar图像目标分类 | |
| WO2016159199A1 (en) | Method for re-identification of objects | |
| CN112036455B (zh) | 一种图像识别方法、智能终端和存储介质 | |
| CN108280409B (zh) | 一种基于多特征融合的大空间视频烟雾检测方法 | |
| CN110751037A (zh) | 车身颜色识别的方法及终端设备 | |
| CN107527370B (zh) | 一种基于camshift的目标跟踪方法 | |
| Zhou et al. | A robust object tracking algorithm based on SURF | |
| CN110599516A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
| WO2014205787A1 (zh) | 一种基于混合图像模板的车辆检测方法 | |
| Zhu et al. | Face detection method based on multi-feature fusion in YC b C r color space | |
| Jang et al. | Object classification using CNN for video traffic detection system | |
| Jwaid et al. | Study and analysis of copy-move & splicing image forgery detection techniques | |
| CN106960418A (zh) | 视频图像中雨雪去除的算法 | |
| Lowry et al. | Unsupervised online learning of condition-invariant images for place recognition | |
| CN108875572B (zh) | 基于背景抑制的行人重识别方法 | |
| Özyurt et al. | A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function | |
| Lu et al. | Clustering based road detection method | |
| CN112801020B (zh) | 基于背景灰度化的行人再识别方法及系统 | |
| CN110555792B (zh) | 基于归一化直方图综合特征向量的图像篡改盲检测方法 | |
| CN113177917A (zh) | 一种抓拍图像优选方法、系统、设备及介质 | |
| Huang et al. | Boosting scheme for detecting region duplication forgery in digital images | |
| Ye et al. | Real-time TV logo detection based on color and HOG features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| DD01 | Delivery of document by public notice |
Addressee: An Henan Document name: Notification to Make Rectification |
|
| DD01 | Delivery of document by public notice |
Addressee: An Henan Document name: Notification of Passing Preliminary Examination of the Application for Invention |
|
| PB01 | Publication | ||
| PB01 | Publication | ||
| DD01 | Delivery of document by public notice | ||
| DD01 | Delivery of document by public notice |
Addressee: An Henan Document name: Notification of Publication of the Application for Invention |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170718 |