CN105913385B - 雾霾图像的清晰化方法、系统和图像处理装置 - Google Patents
雾霾图像的清晰化方法、系统和图像处理装置 Download PDFInfo
- Publication number
- CN105913385B CN105913385B CN201610200313.0A CN201610200313A CN105913385B CN 105913385 B CN105913385 B CN 105913385B CN 201610200313 A CN201610200313 A CN 201610200313A CN 105913385 B CN105913385 B CN 105913385B
- Authority
- CN
- China
- Prior art keywords
- image
- haze
- sharpening
- dark
- bright
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000005352 clarification Methods 0.000 title claims abstract description 12
- 230000002708 enhancing effect Effects 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 20
- 239000003595 mist Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 241000208340 Araliaceae Species 0.000 description 8
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 8
- 235000003140 Panax quinquefolius Nutrition 0.000 description 8
- 235000008434 ginseng Nutrition 0.000 description 8
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明提供一种雾霾图像的清晰化方法、系统和图像处理装置，其中，方法包括：对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G图像通道和B通道图像；根据R通道图像、G通道图像和B通道图像中的相同像素点的最小灰度值生成暗图，同时，根据R通道图像、G通道图像和B通道图像中的相同像素点的最大灰度值生成亮图；对暗图和亮图进行对比度增强处理；将经过对比度增强处理的暗图和亮图合并为第一参考图像；对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；将第一参考图像和第二参考图像进行合并处理，以完成雾霾图像的清晰化处理。通过本发明技术方案，在提高图像清晰化的同时，保留了图像背景和细节,进而提升用户的使用体验。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种雾霾图像的清晰化方法、一种雾霾图像的清晰化系统和一种图像处理装置。
背景技术
相关技术中，雾霾天气严重影响人们的生活质量，尤其是行车过程中，导航设备在采集路况图像提示给司机用户的过程中，雾霾天气严重影响成像质量，因此，低清晰度的雾霾图像同样严重影响司机用户的行车安全。
相关技术中，对雾霾图像的清晰化处理方法大致分为两种：一种是提高对比度的增强方法，一种是基于物理模型的图像复原方法。但是，传统的提高对比度的方法会造成图像背景和细节丢失，基于物理模型的图像复原方法经常出现块效应，不适用于实时系统。
因此，如何设计一种实时的、高还原度的雾霾图像的清晰化方案成为亟待解决的技术问题。
发明内容
本发明正是基于上述技术问题至少之一，提出了一种新的雾霾图像的清晰化方案，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
有鉴于此，本发明提出了一种雾霾图像的清晰化方法，包括：对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G图像通道和B通道图像；根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；对所述暗图和所述亮图进行对比度增强处理；将经过对比度增强处理的暗图和亮图合并为第一参考图像；对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理。
在该技术方案中，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
具体地，待清晰化的雾霾图像的每个像素点都是由RGB加成的，通过分通道处理获得R通道图像、G通道图像和B通道图像，例如，一个雾霾图像的像素点值为(150，120，160)，则对应于暗图而言，该点的灰度值为120，则对应于亮图而言，该点的灰度值为160。
而在将亮图和暗图合并处理的过程中，根据去雾霾等级指令确定亮图和暗图的权重比例，例如，去雾霾等级包括由轻度去雾霾至重度去雾霾的多个等级，分别为零级、一级、二级、三级和四级，用户选择去雾霾等级为二级，预设权重比例为2:3，则合并得到的第一参考图像的灰度值为120×(2/5)+160×(3/5)＝144，同时，对待清晰化的雾霾图像进行平滑处理，如采用拉普拉斯算法、归一化算法、高斯算法、中值算法和双边算法等，以生成第二参考图像，将锐化的第一参考图像和平滑处理的第二参考图像进行合并处理，以生成对比度增强且保留了图像细节和背景的去雾霾图像。
在上述技术方案中，优选地，所述对所述暗图和所述亮图进行对比度增强处理，具体包括以下步骤：根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理。
在该技术方案中，通过形成待清晰化的雾霾图像的亮图和暗图，并分别进行特征值提取和填充，进一步地增强了暗图和亮图的锐化效果。
在上述任一项技术方案中，优选地，所述对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，具体包括以下步骤：对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
在该技术方案中，通过对待清晰化的雾霾图像进行拉普拉斯变化处理，生成了平滑的第二参考图像，有利于保留图像的背景和细节部分，提高了清晰化处理的视觉效果。
在上述任一项技术方案中，优选地，在所述对待清晰化的雾霾图像进行分通道处理前，还包括：在获取用户的去雾霾指令后，检测路况图像的对比度；判断所述路况图像的对比度是否小于或等于预设对比度；在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
在该技术方案中，通过判断路况图像的对比度是否小于或等于预设对比度，实现了一种自动触发雾霾图像的清晰化的技术方案，也即在路况图像的对比度较差的情况下，才确定路况图像为雾霾图像，以进行清晰化处理，降低了功耗损失。
在上述任一项技术方案中，优选地，在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；根据用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示用户是否更新所述去雾霾等级指令。
在该技术方案中，通过根据预设频率(例如30帧/秒)实时更新路况图像，提升了成像画面的稳定性，同时降低了功耗损失，另外，通过按照预设时间间隔(例如5分钟的时间间隔)提示用户更新去雾霾等级指令，可以及时修正去雾霾算法，例如，用户输入满意当前去雾霾效果，则系统继续采用当前的去雾霾等级指令进行清晰化处理，如用户输入不满意当前去雾霾效果，则系统继续提示用户是否提高或降低去雾霾等级，以进一步地提升用户的使用体验。
根据本发明第二方面，还提出了一种雾霾图像的清晰化系统，包括：图像处理单元，用于对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G图像通道和B通道图像；所述图像处理单元还用于：根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；所述雾霾图像的清晰化系统还包括：对比度增强单元，用于对所述暗图和所述亮图进行对比度增强处理；合并单元，用于将经过对比度增强处理的暗图和亮图合并为第一参考图像；平滑单元，用于对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；所述合并单元还用于：将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理。
在该技术方案中，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
具体地，待清晰化的雾霾图像的每个像素点都是由RGB加成的，通过分通道处理获得R通道图像、G通道图像和B通道图像，例如，一个雾霾图像的像素点值为(150，120，160)，则对应于暗图而言，该点的灰度值为120，则对应于亮图而言，该点的灰度值为160。
而在将亮图和暗图合并处理的过程中，根据去雾霾等级指令确定亮图和暗图的权重比例，例如，去雾霾等级包括由轻度去雾霾至重度去雾霾的多个等级，分别为零级、一级、二级、三级和四级，用户选择去雾霾等级为二级，预设权重比例为2:3，则合并得到的第一参考图像的灰度值为120×(2/5)+160×(3/5)＝144，同时，对待清晰化的雾霾图像进行平滑处理，如采用拉普拉斯算法、归一化算法、高斯算法、中值算法和双边算法等，以生成第二参考图像，将锐化的第一参考图像和平滑处理的第二参考图像进行合并处理，以生成对比度增强且保留了图像细节和背景的去雾霾图像。
在上述技术方案中，优选地，还包括：所述对比度增强单元具体用于：根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理。
在该技术方案中，通过形成待清晰化的雾霾图像的亮图和暗图，并分别进行特征值提取和填充，进一步地增强了暗图和亮图的锐化效果。
在上述任一项技术方案中，优选地，所述平滑单元具体用于：对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
在该技术方案中，通过对待清晰化的雾霾图像进行拉普拉斯变化处理，生成了平滑的第二参考图像，有利于保留图像的背景和细节部分，提高了清晰化处理的视觉效果。
在上述任一项技术方案中，优选地，还包括：检测单元，用于在获取用户的去雾霾指令后，检测路况图像的对比度；判断单元，用于判断所述路况图像的对比度是否小于或等于预设对比度；确定单元，用于在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
在该技术方案中，通过判断路况图像的对比度是否小于或等于预设对比度，实现了一种自动触发雾霾图像的清晰化的技术方案，也即在路况图像的对比度较差的情况下，才确定路况图像为雾霾图像，以进行清晰化处理，降低了功耗损失。
在上述任一项技术方案中，优选地，还包括：更新单元，用于在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；所述图像处理单元还用于：根据所述用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；所述雾霾图像的清晰化系统还包括：提示单元，用于在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示所述用户是否更新所述去雾霾等级指令。
在该技术方案中，通过根据预设频率(例如30帧/秒)实时更新路况图像，提升了成像画面的稳定性，同时降低了功耗损失，另外，通过按照预设时间间隔(例如5分钟的时间间隔)提示用户更新去雾霾等级指令，可以及时修正去雾霾算法，例如，用户输入满意当前去雾霾效果，则系统继续采用当前的去雾霾等级指令进行清晰化处理，如用户输入不满意当前去雾霾效果，则系统继续提示用户是否提高或降低去雾霾等级，以进一步地提升用户的使用体验。
根据本发明第三方面，还提出了一种图像处理装置，包括图像处理模块，包括如上述任一项技术方案所述的雾霾图像的清晰化系统；显示模块，连接至所述图像处理模块，用于将经过所述图像处理模块清晰化处理的雾霾图像提示给用户。因此，该图像处理装置具有和上述任一项技术方案所述的雾霾图像的清晰化系统相同的技术效果，在此不再赘述。
通过以上技术方案，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
附图说明
图1示出了根据本发明的一个实施例的雾霾图像的清晰化方法的示意流程图；
图2示出了根据本发明的实施例的雾霾图像的清晰化系统的示意框图；
图3示出了根据本发明的实施例的图像处理装置的示意框图；
图4示出了根据本发明的另一个实施例的雾霾图像的清晰化方法的示意流程图；
图5示出了未经过清晰化处理的雾霾图像的示意图；
图6示出了根据本发明的实施例的经过清晰化处理的雾霾图像的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用第三方不同于在此描述的第三方方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了根据本发明的实施例的雾霾图像的清晰化方法的示意流程图。
如图1所示，根据本发明的实施例的雾霾图像的清晰化方法，包括：步骤102，对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G图像通道和B通道图像；步骤104，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；步骤106，对所述暗图和所述亮图进行对比度增强处理；步骤108，将经过对比度增强处理的暗图和亮图合并为第一参考图像；步骤110，对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；步骤112，将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理。
在该技术方案中，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
具体地，待清晰化的雾霾图像的每个像素点都是由RGB加成的，通过分通道处理获得R通道图像、G通道图像和B通道图像，例如，一个雾霾图像的像素点值为(150，120，160)，则对应于暗图而言，该点的灰度值为120，则对应于亮图而言，该点的灰度值为160。
而在将亮图和暗图合并处理的过程中，根据去雾霾等级指令确定亮图和暗图的权重比例，例如，去雾霾等级包括由轻度去雾霾至重度去雾霾的多个等级，分别为零级、一级、二级、三级和四级，用户选择去雾霾等级为二级，预设权重比例为2:3，则合并得到的第一参考图像的灰度值为120×(2/5)+160×(3/5)＝144，同时，对待清晰化的雾霾图像进行平滑处理，如采用拉普拉斯算法、归一化算法、高斯算法、中值算法和双边算法等，以生成第二参考图像，将锐化的第一参考图像和平滑处理的第二参考图像进行合并处理，以生成对比度增强且保留了图像细节和背景的去雾霾图像。
在上述技术方案中，优选地，所述对所述暗图和所述亮图进行对比度增强处理，具体包括以下步骤：根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理。
在该技术方案中，通过形成待清晰化的雾霾图像的亮图和暗图，并分别进行特征值提取和填充，进一步地增强了暗图和亮图的锐化效果。
在上述任一项技术方案中，优选地，所述对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，具体包括以下步骤：对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
在该技术方案中，通过对待清晰化的雾霾图像进行拉普拉斯变化处理，生成了平滑的第二参考图像，有利于保留图像的背景和细节部分，提高了清晰化处理的视觉效果。
在上述任一项技术方案中，优选地，在所述对待清晰化的雾霾图像进行分通道处理前，还包括：在获取用户的去雾霾指令后，检测路况图像的对比度；判断所述路况图像的对比度是否小于或等于预设对比度；在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
在该技术方案中，通过判断路况图像的对比度是否小于或等于预设对比度，实现了一种自动触发雾霾图像的清晰化的技术方案，也即在路况图像的对比度较差的情况下，才确定路况图像为雾霾图像，以进行清晰化处理，降低了功耗损失。
在上述任一项技术方案中，优选地，在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；根据用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示用户是否更新所述去雾霾等级指令。
在该技术方案中，通过根据预设频率(例如30帧/秒)实时更新路况图像，提升了成像画面的稳定性，同时降低了功耗损失，另外，通过按照预设时间间隔(例如5分钟的时间间隔)提示用户更新去雾霾等级指令，可以及时修正去雾霾算法，例如，用户输入满意当前去雾霾效果，则系统继续采用当前的去雾霾等级指令进行清晰化处理，如用户输入不满意当前去雾霾效果，则系统继续提示用户是否提高或降低去雾霾等级，以进一步地提升用户的使用体验,辅助驾驶减少交通事故。
图2示出了根据本发明的实施例的雾霾图像的清晰化系统的示意框图。
如图2所示，根据本发明的实施例的雾霾图像的清晰化系统200，包括：图像处理单元202，用于对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G图像通道和B通道图像；所述图像处理单元202还用于：根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；所述雾霾图像的清晰化系统200还包括：对比度增强单元204，用于对所述暗图和所述亮图进行对比度增强处理；合并单元206，用于将经过对比度增强处理的暗图和亮图合并为第一参考图像；平滑单元208，用于对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；所述合并单元206还用于：将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理。
在该技术方案中，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
具体地，待清晰化的雾霾图像的每个像素点都是由RGB加成的，通过分通道处理获得R通道图像、G通道图像和B通道图像，例如，一个雾霾图像的像素点值为(150，120，160)，则对应于暗图而言，该点的灰度值为120，则对应于亮图而言，该点的灰度值为160。
而在将亮图和暗图合并处理的过程中，根据去雾霾等级指令确定亮图和暗图的权重比例，例如，去雾霾等级包括由轻度去雾霾至重度去雾霾的多个等级，分别为零级、一级、二级、三级和四级，用户选择去雾霾等级为二级，预设权重比例为2:3，则合并得到的第一参考图像的灰度值为120×(2/5)+160×(3/5)＝144，同时，对待清晰化的雾霾图像进行平滑处理，如采用拉普拉斯算法、归一化算法、高斯算法、中值算法和双边算法等，以生成第二参考图像，将锐化的第一参考图像和平滑处理的第二参考图像进行合并处理，以生成对比度增强且保留了图像细节和背景的去雾霾图像。
在上述技术方案中，优选地，所述对比度增强单元204具体用于：根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理。
在该技术方案中，通过形成待清晰化的雾霾图像的亮图和暗图，并分别进行特征值提取和填充，进一步地增强了暗图和亮图的锐化效果。
在上述任一项技术方案中，优选地，所述平滑单元208具体用于：对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
在该技术方案中，通过对待清晰化的雾霾图像进行拉普拉斯变化处理，生成了平滑的第二参考图像，有利于保留图像的背景和细节部分，提高了清晰化处理的视觉效果。
在上述任一项技术方案中，优选地，还包括：检测单元212，用于在获取用户的去雾霾指令后，检测路况图像的对比度；判断单元214，用于判断所述路况图像的对比度是否小于或等于预设对比度；确定单元216，用于在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
在该技术方案中，通过判断路况图像的对比度是否小于或等于预设对比度，实现了一种自动触发雾霾图像的清晰化的技术方案，也即在路况图像的对比度较差的情况下，才确定路况图像为雾霾图像，以进行清晰化处理，降低了功耗损失。
在上述任一项技术方案中，优选地，还包括：更新单元218，用于在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；所述图像处理单元202还用于：根据所述用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；所述雾霾图像的清晰化系统200还包括：提示单元220，用于在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示所述用户是否更新所述去雾霾等级指令。
在该技术方案中，通过根据预设频率(例如30帧/秒)实时更新路况图像，提升了成像画面的稳定性，同时降低了功耗损失，另外，通过按照预设时间间隔(例如5分钟的时间间隔)提示用户更新去雾霾等级指令，可以及时修正去雾霾算法，例如，用户输入满意当前去雾霾效果，则系统继续采用当前的去雾霾等级指令进行清晰化处理，如用户输入不满意当前去雾霾效果，则系统继续提示用户是否提高或降低去雾霾等级，以进一步地提升用户的使用体验。
图3示出了根据本发明的实施例的图像处理装置的示意框图。
如图3所示，根据本发明的实施例的图像处理装置300，包括图像处理模块302，包括如上述任一项技术方案所述的雾霾图像的清晰化系统200；显示模块304，连接至所述图像处理模块302，用于将经过所述图像处理模块清晰化处理的雾霾图像提示给用户。因此，该图像处理装置300具有和上述任一项技术方案所述的雾霾图像的清晰化系统200相同的技术效果，在此不再赘述。
其中，上述显示模块304的具体实施方式包括移动终端的显示屏、导航仪的显示屏、投影仪和虚拟现实穿戴设备等。
下面结合图4、图5和图6对根据本发明的实施例的雾霾图像的清晰化方案进行具体说明。
如图4所示，根据本发明的实施例的雾霾图像的清晰化方案包括：步骤402，获取用户的去雾霾等级指令和路况图像的预设采集频率，并保存；步骤404，启动摄像头等图像采集装置，并解析路况信息的对比度；步骤406，判断对比度是否小于或等于预设对比度，若是，则执行步骤408，若否，则结束；步骤408，根据预设频率对路况图像进行更新，并确定为待清晰化的雾霾图像，根据去雾霾等级指令对雾霾图像进行处理；步骤410，根据预设时间间隔提示用户是否更新去雾霾等级指令，若是，则执行步骤412，若否，则执行步骤414；步骤412，根据更新后的去雾霾等级指令对雾霾图像进行清晰化处理；步骤414，继续对雾霾图像进行清晰化处理至停车为止。
下面给出去雾霾处理算法的一种具体实施方式：
(1)Step1：对原图像R(待清晰化的雾霾图像)进行分通道处理，以生成R通道图像、G通道图像和B通道图像。
(2)Step2：对步骤1中的3张单通道图像进行整体运算，将各张图像对应位置的最小值赋值给一张新图像，以生成暗图A，包括：
Image A＝Min(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y)为分通道图像上(x，y)坐标点处的灰度值，width：A图像宽度，height：A图像高度。
(3)Step3：对step1中的3张单通道图像进行整体运算，将各张图像对应位置的最大值赋值给一张新图像(亮图B)，包括：
Image B＝Max(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y)为分通道图像上(x，y)坐标点处的灰度值，width：B图像宽度，height：B图像高度。
(4)Step4：对step2和step3中的暗图A和亮图B进行连通区域提取(即对整张图像进行遍历，将灰度值相近的区域连接在一起，形成一个个的小区域)，包括：
Image A’＝Blob(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):A图像上(x，y)坐标点处的灰度值，width：A图像宽度，height：A图像高度。
同理，Image B’＝Blob(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):B图像上(x，y)坐标点处的灰度值，width：B图像宽度，height：B图像高度。
(5)Step5：对step4中的各个小区域进行最小最大值运算，得到图像A_1，B_1，包括：
Image A_1＝MaxMin(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):A’图像上(x，y)坐标点处的灰度值，width：A’图像宽度，height：A’图像高度。
Image B_1＝MaxMin(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):B’图像上(x，y)坐标点处的灰度值，width：B’图像宽度，height：B’图像高度。
(6)Step6：用暗图A的各区域最小值替换对应小区域的所有像素点。
Image A_2＝Replase(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):A_1图像上(x，y)坐标点处的灰度值，width：A_1图像宽度，height：A_1图像高度。
(7)Step7：用亮图B的各区域最大值替换对应小区域的所有像素点。
Image B_2＝Replase(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):B_1图像上(x，y)坐标点处的灰度值，width：B_1图像宽度，height：B_1图像高度。
(8)Step8：将step6和step7处理后的亮图B_2和暗图A_2进行融合得到高对比度图像C。
Image C＝Merge(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):A_2、B_2图像上对应像素点(x，y)处的灰度值，width：C图像宽度，height：C图像高度。
(9)Step9：对原图像R进行拉普拉斯滤波，得到平滑图像D，包括：
Image D＝Laplace(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):原图像R上对应像素点(x，y)处的灰度值，width：R图像宽度，height：R图像高度。
(10)Step10：将高对比度图像C和平滑图像D进行融合，得到最终处理结果图像M，包括：
Image M＝Merge(f(x，y))；x属于[0，width]区间，y属于[0，height]区间，f(x，y):C、D图像上对应像素点(x，y)处的灰度值，width：M图像宽度，height：M图像高度。
如图5所示，待清晰化的雾霾图像上有四个重要的路况对象，车辆502、车辆504、车辆506和路标标识508，上述四个路况对象在雾霾图像中边界模糊，司机用户很难辨识路况对象的距离信息、车牌内容和指示信息等，严重影响了导航视图的视觉效果。
如图6所示，根据本发明的去雾霾算法对雾霾图像进行处理后，上述四个路况对象为车辆602、车辆604、车辆606和路标标识608，分别对应于图5中的车辆502、车辆504、车辆506和路标标识508，显而易见，不仅增强了图像的对比度，而且高度还原了路况图像的细节信息和背景信息，增强了用户的视觉体验。
以上结合附图详细说明了本发明的技术方案，考虑到相关技术中如何设计一种实时的、高还原度的雾霾图像的清晰化方案技术问题。本发明提出了一种新的雾霾图像的清晰化方案，通过对待清晰化的雾霾图像进行分通道处理，并通过对比度增强处理生成第一参考图像，同时，对待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，将第一参考图像和第二参考图像合并，以生成清晰化的雾霾图像，在增强图像对比度的同时，保留了图像的背景和细节，提高了图像的真实性，进而提升了用户的视觉体验。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种雾霾图像的清晰化方法，其特征在于，包括：
对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G通道图像和B通道图像；
根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；
对所述暗图和所述亮图进行对比度增强处理；
将经过对比度增强处理的暗图和亮图合并为第一参考图像；
对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；
将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理；
所述对所述暗图和所述亮图进行对比度增强处理，具体包括以下步骤：
根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；
对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；
以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理；
所述对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像，具体包括以下步骤：
对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
2.根据权利要求1所述的雾霾图像的清晰化方法，其特征在于，在所述对待清晰化的雾霾图像进行分通道处理前，还包括：
在获取用户的去雾霾指令后，检测路况图像的对比度；
判断所述路况图像的对比度是否小于或等于预设对比度；
在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
3.根据权利要求2所述的雾霾图像的清晰化方法，其特征在于，还包括：
在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；
根据所述用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；
在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示所述用户是否更新所述去雾霾等级指令。
4.一种雾霾图像的清晰化系统，其特征在于，包括：
图像处理单元，用于对待清晰化的雾霾图像进行分通道处理，以生成R通道图像，G通道图像和B通道图像；
所述图像处理单元还用于：根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最小灰度值生成所述待清晰化的雾霾图像的暗图，同时，根据所述R通道图像、所述G通道图像和所述B通道图像中的相同像素点的最大灰度值生成所述待清晰化的雾霾图像的亮图；
对比度增强单元，用于对所述暗图和所述亮图进行对比度增强处理；
合并单元，用于将经过对比度增强处理的暗图和亮图合并为第一参考图像；
平滑单元，用于对所述待清晰化的雾霾图像进行平滑处理，以生成第二参考图像；
所述合并单元还用于：将所述第一参考图像和所述第二参考图像进行合并处理，以完成所述雾霾图像的清晰化处理；
所述对比度增强单元具体用于：根据所述暗图的灰度值分布情况对所述暗图进行连通区域提取，以生成至少一个暗图连通区域，同时，根据所述亮图的灰度值分布情况对所述亮图进行连通区域提取，以生成至少一个亮图连通区域；
对任一所述暗图连通区域进行特征值提取，所述特征值为任一所述暗图连通区域的最小灰度值，同时，对任一所述亮图连通区域进行特征值提取，所述特征值为任一所述亮图连通区域的最大灰度值；
以所述最小灰度值填充对应的暗图连通区域，以生成暗图参考图像，同时，以所述最大灰度值填充对应的亮图填充区域，以生成亮图参考图像，以完成对所述暗图和所述亮图的对比度增强处理；
所述平滑单元具体用于：对所述待清晰化的雾霾图像进行拉普拉斯变换处理，以生成所述第二参考图像。
5.根据权利要求4所述的雾霾图像的清晰化系统，其特征在于，还包括：
检测单元，用于在获取用户的去雾霾指令后，检测路况图像的对比度；
判断单元，用于判断所述路况图像的对比度是否小于或等于预设对比度；
确定单元，用于在判定所述路况图像的对比度小于或等于所述预设对比度时，确定所述路况图像为所述待清晰化的雾霾图像。
6.根据权利要求5所述的雾霾图像的清晰化系统，其特征在于，还包括：
更新单元，用于在确定所述路况图像为所述待清晰化的雾霾图像后，根据预设频率实时更新所述路况图像；
所述图像处理单元还用于：根据所述用户设置的去雾霾等级指令对所述雾霾图像进行清晰化处理；
所述雾霾图像的清晰化系统还包括：
提示单元，用于在对所述雾霾图像进行清晰化处理的过程中，按照预设时间间隔提示所述用户是否更新所述去雾霾等级指令。
7.一种图像处理装置，其特征在于，包括：
图像处理模块，包括如权利要求4至6中任一项所述的雾霾图像的清晰化系统；
显示模块，连接至所述图像处理模块，用于将经过所述图像处理模块清晰化处理的雾霾图像提示给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610200313.0A CN105913385B (zh) | 2016-03-31 | 2016-03-31 | 雾霾图像的清晰化方法、系统和图像处理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610200313.0A CN105913385B (zh) | 2016-03-31 | 2016-03-31 | 雾霾图像的清晰化方法、系统和图像处理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105913385A CN105913385A (zh) | 2016-08-31 |
| CN105913385B true CN105913385B (zh) | 2018-12-25 |
Family
ID=56744669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610200313.0A Expired - Fee Related CN105913385B (zh) | 2016-03-31 | 2016-03-31 | 雾霾图像的清晰化方法、系统和图像处理装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105913385B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709893B (zh) * | 2016-12-28 | 2019-11-08 | 西北大学 | 一种全天时雾霾图像清晰化恢复方法 |
| CN106898020B (zh) * | 2017-02-23 | 2020-09-22 | 江苏长天智远交通科技有限公司 | 基于视频处理的监控图像对比度异常识别方法及系统 |
| CN107277705A (zh) * | 2017-06-06 | 2017-10-20 | 余姚德诚科技咨询有限公司 | 盆形电喇叭控制平台 |
| US11301974B2 (en) * | 2019-05-27 | 2022-04-12 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN111915501B (zh) * | 2020-01-17 | 2022-07-15 | 杭州瞳创医疗科技有限公司 | 一种眼底图像的亮度均衡方法 |
| CN112950217A (zh) * | 2021-03-03 | 2021-06-11 | 广东便捷神科技股份有限公司 | 一种无人零售的交易风险控制方法 |
| CN114615484B (zh) * | 2022-03-08 | 2022-11-01 | 常山县亿思达电子有限公司 | 一种基于视网膜监视的视域跟踪定位系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020920A (zh) * | 2013-01-10 | 2013-04-03 | 厦门大学 | 一种低照度图像增强方法 |
| CN103049888A (zh) * | 2012-12-07 | 2013-04-17 | 西安电子科技大学 | 基于暗原色结合大气散射光的图像/视频去雾方法 |
| CN103578084A (zh) * | 2013-12-09 | 2014-02-12 | 西安电子科技大学 | 基于亮通道滤波的彩色图像增强方法 |
| CN103914813A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 彩色雾霾图像去雾与光照补偿的复原方法 |
| CN104881879A (zh) * | 2015-06-15 | 2015-09-02 | 北京航空航天大学 | 一种基于暗通道先验的遥感图像雾霾仿真方法 |
| CN105046666A (zh) * | 2015-07-24 | 2015-11-11 | 中国科学技术大学 | 一种基于暗原色先验的交通视频实时去雾的方法 |
-
2016
- 2016-03-31 CN CN201610200313.0A patent/CN105913385B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049888A (zh) * | 2012-12-07 | 2013-04-17 | 西安电子科技大学 | 基于暗原色结合大气散射光的图像/视频去雾方法 |
| CN103020920A (zh) * | 2013-01-10 | 2013-04-03 | 厦门大学 | 一种低照度图像增强方法 |
| CN103578084A (zh) * | 2013-12-09 | 2014-02-12 | 西安电子科技大学 | 基于亮通道滤波的彩色图像增强方法 |
| CN103914813A (zh) * | 2014-04-10 | 2014-07-09 | 西安电子科技大学 | 彩色雾霾图像去雾与光照补偿的复原方法 |
| CN104881879A (zh) * | 2015-06-15 | 2015-09-02 | 北京航空航天大学 | 一种基于暗通道先验的遥感图像雾霾仿真方法 |
| CN105046666A (zh) * | 2015-07-24 | 2015-11-11 | 中国科学技术大学 | 一种基于暗原色先验的交通视频实时去雾的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105913385A (zh) | 2016-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105913385B (zh) | 雾霾图像的清晰化方法、系统和图像处理装置 | |
| CN106296612B (zh) | 一种图像质量评价和天气状况引导的分级式监控视频清晰化系统及方法 | |
| CN103955905B (zh) | 基于快速小波变换和加权图像融合的单幅图像去雾方法 | |
| CN105023256B (zh) | 一种图像去雾方法及系统 | |
| CN107945149B (zh) | 增强IHS-Curvelet变换融合可见光和红外图像的汽车抗晕光方法 | |
| CN104794697B (zh) | 一种基于暗原色先验的图像去雾方法 | |
| CN103337061B (zh) | 一种基于多次引导滤波的图像去雨雪方法 | |
| CN103049888A (zh) | 基于暗原色结合大气散射光的图像/视频去雾方法 | |
| CN105488793B (zh) | 图像显示方法以及图像处理方法 | |
| CN102855617B (zh) | 自适应图像处理方法及系统 | |
| CN106682646A (zh) | 一种车道线的识别方法及装置 | |
| CN102938057B (zh) | 一种车辆阴影消除方法及装置 | |
| CN103679656A (zh) | 一种图像自动锐化方法 | |
| CN106709893A (zh) | 一种全天时雾霾图像清晰化恢复方法 | |
| CN104732211B (zh) | 一种基于自适应阈值的交通标志检测方法 | |
| CN104346776A (zh) | 基于Retinex理论的非线性图像增强方法及其系统 | |
| CN104809700B (zh) | 一种基于亮通道的低照度视频实时增强方法 | |
| CN107451966A (zh) | 一种采用灰度图引导滤波实现的实时视频去雾方法 | |
| CN103745433A (zh) | 一种用于车辆安全辅助视频图像处理方法 | |
| CN104021527A (zh) | 一种图像中雨雪的去除方法 | |
| CN103455985A (zh) | 基于Hessian结构分析的道路裂缝增强方法 | |
| CN103763460B (zh) | 一种图像锐化方法 | |
| CN103208107A (zh) | 终端、图像的修复方法和装置 | |
| CN107977941A (zh) | 一种明亮区域色彩保真及对比度增强的图像去雾方法 | |
| CN103226809A (zh) | 图像除雾装置和图像除雾方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181225 |