CN112950484B - 一种对摄影影像进行颜色污染祛除的方法 - Google Patents

一种对摄影影像进行颜色污染祛除的方法 Download PDF

Info

Publication number
CN112950484B
CN112950484B CN201911277721.6A CN201911277721A CN112950484B CN 112950484 B CN112950484 B CN 112950484B CN 201911277721 A CN201911277721 A CN 201911277721A CN 112950484 B CN112950484 B CN 112950484B
Authority
CN
China
Prior art keywords
image
background
calculating
shot
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911277721.6A
Other languages
English (en)
Other versions
CN112950484A (zh
Inventor
陈益栋
张晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingyi Shanghai Biotechnology Co ltd
Original Assignee
Mingyi Shanghai Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingyi Shanghai Biotechnology Co ltd filed Critical Mingyi Shanghai Biotechnology Co ltd
Priority to CN201911277721.6A priority Critical patent/CN112950484B/zh
Publication of CN112950484A publication Critical patent/CN112950484A/zh
Application granted granted Critical
Publication of CN112950484B publication Critical patent/CN112950484B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

一种对摄影影像进行颜色污染祛除的方法,包括如下步骤:S100、深度学习阶段:对算法进行深度训练,学习不同环境下对各种背景图片YUV数值的甄别、提炼、统计、归类并存储;并作为参考背景影像;S200、拍摄影像的图像识别和分割阶段:对拍摄的影像进行特殊目标以及背景的识别和划分,一副影像会划分成多个目标和背景区块;背景区域划分后,再做整形处理,得到像素为N×M矩形的背景区块;S300、参考背景影像的甄选阶段:选择与拍摄影像的背景最为相近的参考背景影像;S400、计算背景颜色污染的分量,计算各个分量对应平均值的加权差,通过加权差值对拍摄影像的每个像素进行修正;S500、最终影像的后处理:将图像分割祛除颗粒污染导致的块效应的消除。

Description

一种对摄影影像进行颜色污染祛除的方法
技术领域
本发明涉及图像、视频等影像处理技术,特别是涉及一种对摄影影像进行颜色污染祛除的方法。
背景技术
通常拍摄的照片或录制的视频都会进行数字化处理以及储存,数字化之后,一个像素一般会分成多个分量,根据不同颜色空间,会有不同的表达方式。比如RGB、YUV等。
实际的拍照、摄影中,图像或影像质量受到当时环境的影响巨大。空气中有各种各样的杂质或污染,比如水汽、尘埃、沙尘或雾霾等,当这些杂质或污染达到一定程度的时候,就会造成影像的质量显著下降,使得图片或视频的亮度降低、对比度下降等。比如,空气中的水汽会造成影像的泛白;严重的雾霾,会使得影像变得暗黄。同理,水中的颗粒、杂质以及污染会使水质以及水的颜色发生变化,从而损害水下的摄影质量。
空气或水中的杂质、尘埃等污染物对照片或视频影像的损伤,实际原因是这些污染物改变了被拍摄目标原本的反射光线强度和方向,最终改变了影像中每一个像素点的RGB或YUV的值。形成了漫反射,产生了光污染,最终导致拍摄影像的质量下降。
发明内容
有鉴于现有技术的上述缺陷,本发明所要解决的技术问题是提供一种对摄影影像进行颜色污染祛除的方法,其能有效祛除空气中的水汽、尘埃、雾霾等以及水中的杂质、颗粒等污染对拍摄影像质量的影响。
为实现上述目的,本发明提供了一种对摄影影像进行颜色污染祛除的方法,包括如下步骤:
S100、深度学习阶段:主要是对算法进行深度训练,学习不同环境下(包括不同时间、不同气候、不同气象等)各种背景图片(天空、草地、湖水、海水、森林等)特征;采用基于色彩特征的索引技术或基于纹理的图像分类技术,对影像进行甄别、提炼、统计、归类并存储;并作为参考背景影像;
S200、拍摄影像的图像识别和分割阶段:根据不同的影像场景,可以采用自适应阈值分割、边缘分割或直方图分割等方法,对拍摄的影像进行特殊目标以及背景的识别和划分,识别出影像中的人物、建筑、树木、标牌等特殊目标以及较大颗粒的污染目标,一副影像会划分成多个特殊目标和背景目标;背景目标划分后,需做整形处理,处理方法为边缘像素填充法,根据填充方向,取相反方向的x(2-5)个像素取平均,得到完整的矩形影像背景目标,填充示意图如图3a-图3b所示。
填充方式采用均值法,均值法就是取竖直或水平或竖直加上水平方向相邻2至3个像素平均值来填充空隙,处理公式如下:
Figure GDA0004230727310000021
S300、参考背景影像的甄选阶段:此阶段甄选参考背景影像,选择与拍摄影像的背景最为相近的参考背景影像,选择方法:
S310、计算拍摄影像和参考背景影像的相似度(SSIM),主要从亮度、色度、对比度等方面来度量,相似度阈值范围达到70%以上。
S320、计算拍摄影像背景与参考背景影像之间的PSNR,两幅影像之间的PSNR值达到一定的阈值范围之内;此阈值可以根据需求设定,越小效果越好。阈值的选取可以设定一个初始值,而后采取自适应策略,得到最佳的效果。
S330、上面两个条件都满足,则背景影像即可选为参考背景影像。在进行S310、S320两个步骤之前,需要对拍摄影像的背景目标进行结构归一化处理,可以归一化到M×M’(其中M,M’为2的整数次幂)像素大小图像,把背景图像分割成多个N×N(N为8,16,32等2的整数次幂数)大小的区块;并进行FDCT变换,后续所有的处理都是基于变换之后的系数。变换公式如下:
Figure GDA0004230727310000031
其中:u,v,x,y=0,1,2,…,N-1;
Figure GDA0004230727310000032
S400、颜色污染分量的计算:
S410、计算参考背景影像每个区块的亮度和色度等各个分量的平均值;
S420、计算拍摄影像每个区块的亮度、色度等各个分量的平均值;
S430、分别计算亮度和色度等各个分量对应平均值的差值权重;此差值权重可以理解为是由于污染造成的差值;其中拍摄影像背景区块在参考背景中的参考区块,可以设定一定的范围,参见图4为一个4×4区块的参考范围,范围值为2;在此范围之内,计算出差值权重最小值,即为此区块的差值权重。而后计算出拍摄影像背景目标所有区块的差值权重,最后计算出整个背景的差值权重
Figure GDA0004230727310000041
归一化到±0.2之内。
S440、祛除拍摄图像的颗粒污染物,并做填充处理,填充方式如图3a-图3b所示;
S450、以S430的差值权重对拍摄影像的相应分量再进行加权和归一化处理,最后得到处理后的影像,处理公式如下:
Figure GDA0004230727310000042
S500、影像的后处理:此阶段主要是图像分割导致的边界效果的消除。首先比较两个相邻区块的边界两侧的像素差值在一定阈值之内,否则可以采用均值法等来调整该边界两侧的像素分量以减少像素分量所对应的差值。
经过实测,本发明对YUV的色彩空间十分有效。
本发明的有益效果是:本发明能够有效祛除、矫正影像中由于水汽、尘埃、雾霾等以及水中的杂质、颗粒等造成的颜色污染,从而降低它们对拍摄影像质量的影响,以获得较高质量的影像,且计算量偏低、计算速度快,适合在摄影时进行实时矫正。
附图说明
图1是影像祛除颜色污染的流程图。
图2是影像祛图像分割的流程图。
图3a是影像像素填充示意图。
图3b是背景目标像素填充示意图。
图4是计算拍摄影像背景和参考背景差值时区块计算比较范围示意图。
图5是未祛除颜色污染的图像示意图。
图6是将背景影像分割为数个长方形或方形区域的示意图(特殊目标未祛除)。
图7是参考背景影像示意图。
图8是图5中影像的处理后得到的最终影像示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的描述中,需要理解的是,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1-图8所示,本实施例的影像祛除颜色污染的方法,包括参考背景影像的学习,拍摄影像的图像识别和分割,参考背景影像的选取,颜色污染分量的计算以及拍摄影像颜色分量的去污染和后处理;
参考背景影像的学习包括计算并记录影像的动态范围和均值,影像亮度和各个色度分量的分布。经过统计建模,理解并记忆不同环境下背景影像的特征值;
参考背景影像的选取,整幅影像越简单越好,纯蓝的天空、碧绿的草地以及蔚蓝的海水等都可以作为参考背景影像。参考背景影像不可以受到颜色污染,为预先采用的标准影像。
如图2所示,拍摄的影像首先进行图像识别和图像的分割。图像识别主要是识别出图像中的特殊目标,例如人物、动物、单颗的植物、标牌、建筑物、水中的鱼类以及颗粒污染物等等,影像的背景也作为一种目标的特例。而后根据图像识别的结构进行图像分割,分割出背景目标。分割出背景目标后,需要对背景进行一定的后处理,包括填充处理以及外形处理。填充处理主要是对背景中一些缺失的填充,例如天空背景中有一块云朵被扣掉了,那么就需要采用均值法把云朵的空隙填补回来;
均值法就是取竖直或水平或竖直加上水平方向相邻2至3个像素平均值来填充空隙。如图3a至图3b所示:
图3a至图3b通过以下方法转换:
Figure GDA0004230727310000061
外形边缘处理,主要是对背景目标的整形,将背景目标整形为矩形区块,便于后续算法处理。
参见图5,其颜色受到水、空气、杂质等作用被污染,使得背景不真实、昏沉。在使用时,首先将图5中的鱼、底部的青苔、石头以及水中悬浮的颗粒污染物等特殊目标识别出来,然后将识别出来的特殊目标从图5中抠出,再根据抠出部分附近的颜色对抠出的部分进行填充,从而获得背景影像目标。
然后将图5的背景影像分割为N×N大小的区块,参见图6中的黄框。
计算参考背景影像、拍摄背景影像各个分量的差值范围,变化范围是否在预设值内,如果在预设值内,则进入下一步;
计算拍摄影像背景与参考背景影像之间的PSNR,两幅影像之间的PSNR值达到一定的范围之内即可将此参考背景影像作为拍摄影像的参考背景影像;
图7为经过计算选中的参考背景影像。
然后计算图5与参考背景影像之间的颜色污染分量,主要是计算背景影像的亮度和色度等各个分量与拍摄影像的亮度、色度等各个分量的平均值差值权重;然后以此差值权重对拍摄影像进行的每个像素的分量再进行加权处理,最后得到处理后的影像。最后将图像分割导致的边界效果的消除,可以将每个区块的边界与与之附近2-5个像素进行渐变或羽化处理,从而使得每个边界融入其附近的像素中。如图8所示为处理后得到的最终影像。
本发明未详述之处,均为本领域技术人员的公知技术。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此,凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案,皆应在由权利要求书所确定的保护范围内。

Claims (5)

1.一种对摄影影像进行颜色污染祛除的方法,其特征在于,包括如下步骤:
S100、深度学习阶段:对算法进行深度训练,学习不同环境下对各种背景图片YUV数值的甄别、提炼、统计、归类并存储;并作为参考背景影像;
S200、拍摄影像的图像识别和分割阶段:对拍摄的影像进行特殊目标以及背景目标的识别和划分,一副影像会划分成多个特殊目标和一个背景目标;对于背景目标划分后,需做整形处理,得到完整的背景目标;
S300、参考背景影像的甄选阶段:选择与拍摄影像的背景目标最为相近的参考背景影像;
S400、计算颜色污染的分量,计算背景目标各个分量对应的差值权重,并以此差值权重对拍摄影像的每个像素进行修正;
S500、最终影像的后处理:将图像分割祛除颗粒污染目标导致的边界效应的消除;
S200中的整形处理为将抠出特殊目标后在背景区块上留下的空白区域进行填充,然后将背景目标分割为N×N大小的矩形区块;
填充方式采用均值法,均值法就是取竖直或水平或竖直加上水平方向相邻2至5个像素平均值来填充空隙,处理公式如下:
Figure FDA0004230727300000011
S400中还包括:
S410、计算参考背景影像各个区块的亮度和色度分量的平均值;
S420、计算拍摄影像背景目标各个区块的亮度、色度分量的平均值;
S430、计算两幅背景图像亮度和色度各个分量对应的差值权重;此差值权重理解为是由于污染造成的差值;其中拍摄影像背景区块在参考背景中的参考区块,设定一定的范围,在此范围之内,计算出差值权重最小值,即为此区块的差值权重;而后计算出拍摄影像背景目标所有区块的差值权重,最后计算出整个背景的差值权重e归一化到±0.2之内;
S440、祛除拍摄影像中的颗粒污染物目标,并做填充处理;
S450、以此差值权重对拍摄影像的每个像素的分量再进行加权和归一化处理,最后得到处理后的影像;处理公式如下:
Figure FDA0004230727300000021
2.如权利要求1所述的方法,其特征在于,S100中的特殊目标包括影像中的人物、建筑、树木、标牌以及污染颗粒;背景目标包括海洋、天空、森林、阳光、沙滩。
3.如权利要求1所述的方法,其特征在于,S300中参考背景影像的选择方法,包括:
S310、计算拍摄影像的背景目标和参考背景影像各个分量的差值范围,两幅影像的差值范围之差达到一定阈值范围之内;
S320、计算拍摄影像背景目标与参考背景影像之间的PSNR,两幅影像之间的PSNR值达到一定的阈值范围之内;
S330、上面两个条件都满足,则背景影像即可选为参考背景影像。
4.如权利要求1所述的方法,其特征在于,S450中加权处理为将拍影像每个像素做加权处理并归一化到一定范围。
5.如权利要求3所述的方法,其特征在于,在进行S310、S320两个步骤之前,需要对拍摄影像的背景目标进行结构归一化处理,归一化到M×M’像素大小图像,其中M,M’为2的整数次幂,把背景图像分割成多个N×N大小的区块;并进行FDCT变换,后续所有的处理都是基于变换之后的系数;变换公式如下:
Figure FDA0004230727300000031
其中:u,v,x,y=0,1,2,…,N-1;
Figure FDA0004230727300000032
CN201911277721.6A 2019-12-11 2019-12-11 一种对摄影影像进行颜色污染祛除的方法 Active CN112950484B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911277721.6A CN112950484B (zh) 2019-12-11 2019-12-11 一种对摄影影像进行颜色污染祛除的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911277721.6A CN112950484B (zh) 2019-12-11 2019-12-11 一种对摄影影像进行颜色污染祛除的方法

Publications (2)

Publication Number Publication Date
CN112950484A CN112950484A (zh) 2021-06-11
CN112950484B true CN112950484B (zh) 2023-06-16

Family

ID=76234360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911277721.6A Active CN112950484B (zh) 2019-12-11 2019-12-11 一种对摄影影像进行颜色污染祛除的方法

Country Status (1)

Country Link
CN (1) CN112950484B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114392964B (zh) * 2021-12-24 2023-03-14 西南交通大学 一种智能化脏污程度判断的绝缘子冲洗系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098462A (zh) * 2007-07-12 2008-01-02 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
CN101325715A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 亮度补偿方法和装置及编码和解码图像的方法和装置
CN101710985A (zh) * 2009-12-11 2010-05-19 哈尔滨工业大学 一种用于图像编码的图像亮度补偿方法
CN105957004A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于图割优化的全景影像修补方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10064678C1 (de) * 2000-12-22 2002-07-11 Kappa Opto Electronics Gmbh Verfahren zur Signalverbesserung in einer mit einer digitalen Farbvideokamera aufgenommenen Bilderfolge
WO2008119480A2 (en) * 2007-03-31 2008-10-09 Sony Deutschland Gmbh Noise reduction method and unit for an image frame
KR101340518B1 (ko) * 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
CN101808200B (zh) * 2010-03-16 2011-12-21 浙江大学 一种基于感兴趣区域的相机测光方法
CN101859440A (zh) * 2010-05-31 2010-10-13 浙江捷尚视觉科技有限公司 基于块的运动区域检测方法
CN103544505B (zh) * 2013-07-31 2016-12-28 天津大学 面向无人机航拍图像的船只识别系统及方法
CN104299220B (zh) * 2014-07-10 2017-05-31 上海大学 一种对Kinect深度图像中的空洞进行实时填充的方法
CN108122206A (zh) * 2016-11-29 2018-06-05 深圳市中兴微电子技术有限公司 一种低照度图像降噪方法及装置
CN108257101B (zh) * 2018-01-16 2021-10-19 上海海洋大学 一种基于最优复原参数的水下图像增强方法
CN109712093B (zh) * 2018-12-21 2020-12-15 中国电子科技集团公司第三研究所 一种基于海天背景的图像颜色还原方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101325715A (zh) * 2007-06-11 2008-12-17 三星电子株式会社 亮度补偿方法和装置及编码和解码图像的方法和装置
CN101098462A (zh) * 2007-07-12 2008-01-02 上海交通大学 结合色度偏差和亮度偏差的视频运动目标检测方法
CN101710985A (zh) * 2009-12-11 2010-05-19 哈尔滨工业大学 一种用于图像编码的图像亮度补偿方法
CN105957004A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于图割优化的全景影像修补方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭继昌 等.《中国图象图形学报》.2017,第第22卷卷(第第3期期),第273-287页. *

Also Published As

Publication number Publication date
CN112950484A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
Park et al. Single image dehazing with image entropy and information fidelity
US20050175253A1 (en) Method for producing cloud free and cloud-shadow free images
US9916644B1 (en) Ghost artifact removal system and method
CN104639845B (zh) 高动态范围图像产生方法以及使用该方法的装置
CN111145105B (zh) 一种图像快速去雾方法、装置、终端及存储介质
CN108564021B (zh) 一种基于数码相片提取荒漠植被盖度的方法
CN113298810A (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN112950484B (zh) 一种对摄影影像进行颜色污染祛除的方法
Mei et al. Single image dehazing using dark channel fusion and haze density weight
CN109272475A (zh) 一种快速有效修复与强化水下图像颜色的方法
CN109345479B (zh) 一种视频监控数据的实时预处理方法及存储介质
CN114037641A (zh) 一种低照度图像增强方法、装置、设备及介质
CN112435184B (zh) 一种基于Retinex和四元数的雾霾天图像识别方法
CN104299234B (zh) 视频数据中雨场去除的方法和系统
CN111598800B (zh) 基于空间域同态滤波和暗通道先验的单幅图像去雾方法
CN105741248B (zh) 一种消除图像阴霾的方法
CN107424134A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111311509A (zh) 一种非正常曝光图像自适应校正方法
CN108830834B (zh) 一种爬索机器人视频缺陷信息自动提取方法
CN113256533B (zh) 基于msrcr的自适应低照度图像增强方法及系统
CN113436097B (zh) 一种视频抠图方法、装置、存储介质和设备
Kaur et al. Haze removal in remote sensing images for improved data analysis and extraction
CN112419187A (zh) 一种图像处理方法、装置及设备
CN112070081A (zh) 一种基于高清视频的智能化车牌识别方法
WO2022246663A1 (zh) 图像处理方法、设备、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant