CN104471613B - 用于复原经气候现象被损坏的图像的装置及方法 - Google Patents
用于复原经气候现象被损坏的图像的装置及方法 Download PDFInfo
- Publication number
- CN104471613B CN104471613B CN201280072257.7A CN201280072257A CN104471613B CN 104471613 B CN104471613 B CN 104471613B CN 201280072257 A CN201280072257 A CN 201280072257A CN 104471613 B CN104471613 B CN 104471613B
- Authority
- CN
- China
- Prior art keywords
- image
- damage
- restoration
- interest region
- detecting element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000001771 impaired effect Effects 0.000 title abstract description 28
- 238000011084 recovery Methods 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 239000004576 sand Substances 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 17
- 230000003321 amplification Effects 0.000 description 12
- 238000003199 nucleic acid amplification method Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000009365 direct transmission Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 208000031481 Pathologic Constriction Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000036262 stenosis Effects 0.000 description 1
- 208000037804 stenosis Diseases 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及一种用于复原经气候现象被损坏的图像的装置及方法，所述装置包括：输入单元，输入图像；损坏图像检测单元，在所述输入的图像中，检测出因气候现象的损坏图像；损坏图像复原单元，将所述损坏图像复原；以及输出单元，输出所述复原的图像，且，所述损坏图像复原单元，可将所述损坏图像的对比度(contrast)和颜色(color)中的至少一个进行复原处理。
Description
技术领域
本发明涉及一种用于执行迷雾、黄沙等气候环境中拍摄的损坏图像的复原技术。
本发明作为韩国知识经济部产业源泉技术开发项目一贯所执行的研究被导出，以下为具体的研究信息。
技术背景
日常生活中，在迷雾、黄沙等气候现象发生的地方，事物的轮廓模糊且颜色改变，从而与一般情况相比较时，可识别的距离十分短。
如上所述，在可视距离十分短的情况下，行使十分不便，在车辆、航天、船舶等所有交通手段中事故的发生率加大。
在这种情况下拍摄图像时，与人直接用眼观察相比，不能较好地对准焦点，且由于动态区域较少使可视距离更短。
迷雾、黄沙等气候现象发生的地方中的事物的颜色受到迷雾、黄沙等气候环境的影响，与一般情况相比较时，事物的颜色改变，由此，较难准确地识别事物。
在迷雾、黄沙等气候环境中，在拍摄物体的图像不能客观地写照被拍摄的物体，因此，可判断已被损坏，并称其为损坏图像。
图1是用于说明迷雾状况下将相机输入过程进行建模的示例图。
相机的传感器101可通过光源103在对象102中反射的光(Direct Transmission)来生成图像(image)。
例如，该图像在迷雾104笼罩的气候状态下可能被损坏。
相机的传感器101中，不仅是光源103，光源103在由空气微粒子构成的迷雾104中被反射的光也可能被输入。
即，相机的传感器101同时接收所输入的直接传输(Direct Transmission)和反射传输(Reflect Transmission)，从而造成损坏图像。
由于经迷雾、黄沙等气候环境被损坏的图像，是经空气中的微粒子反射的光量与拍摄物体中反射的光量一同被输入而形成，因此，图像内可视距离变短，且颜色浑浊，较难对图像进行识别和确认。
当建筑物外部设置的监测相机及车辆用相机等在气候环境变化的露天地方拍摄图像时，由于迷雾、黄沙等气候环境被损坏，不能进行正常地拍摄图像。由此，监测相机及车辆用相机等用途的所有功能不能得到使用。
即，由于损坏图像，不能正常地运作相机设置的主要目的，同时不能较好地使用以一般图像为基准运作的抖动补正、动作感应、车辆冲突防止、车道识别等多种功能。
目前，经迷雾、黄沙等气候环境损坏的图像的识别及检测部分没有被考虑或是没有很好地被体现，由于其不是自动功能而是须用户选择地使用的技术，具局限性，因此，与监测相机一样，用户不经常调整时不能被使用。
根据拍摄图像的环境及状况等，复原后的结果可能会有变化。根据迷雾、黄沙等气候环境的强度、周围光源的配置及强度等，可能会出现复原结果比使用技术前更差的情况。
用于复原损坏图像的现有一般图像处理技术较难体现实时监测等功能。
当使用现有技术来复原损坏图像时，须针对一张图像反复操作使用复杂的算法，需要数秒至数分钟的长久时间。由此，实时图像录像作为必须用途不能被使用。
当使用现有技术来复原损坏图像时，需要适用技术的多个硬件。与损坏图像相似的一般图像所需的技术，或是需要损坏图像的多种角度的技术，多种露出中被损坏的图像所需的技术等，在处理一张图像复原时，除了输入的图像之外还需要其他所需的信息技术，因此需要更多的时间和更多的硬件。
发明内容
技术方案
根据本发明的一个实施例的图像复原装置，包括：输入单元，输入图像；损坏图像检测单元，在所述输入的图像中，检测出因气候现象的损坏图像；损坏图像复原单元，将所述损坏图像复原；以及输出单元，输出所述复原的图像，且，所述损坏图像复原单元，可将所述损坏图像的对比度(contrast)和颜色(color)中的至少一个进行复原处理。
根据本发明的一个实施例的图像复原方法，包括以下步骤：从输入单元接收图像；在损坏图像检测单元中确认所述输入的图像的亮度值分布及边缘成分中的至少一个，从而在所述输入的图像中检测出所述损坏图像；在损坏图像复原单元中，将所述损坏图像复原；以及从输出单元输出所述复原的图像，且其中，将所述损坏图像复原的步骤，包括将所述损坏图像的对比度(contrast)和颜色(color)中的至少一个复原处理。
技术效果
根据本发明的一个实施例，可判断输入的图像的状态，当为经迷雾、黄沙等气候环境被损坏的图像时，将其复原，从而可增加图像内的可视距离。
根据本发明的一个实施例，由于将经迷雾、黄沙等气候环境被损坏的图像的对比度和颜色复原，因此，与气候环境无关可获取准确的图像。
根据本发明的一个实施例，与气候环境无关可获取准确的图像，实现获取图像的主要目的，由此，可引导附加的其他功能的正常运作。
附图说明
图1是用于说明迷雾状况下将相机输入过程进行建模的示例图。
图2是用于说明根据本发明的一个实施例的图像复原装置的内部结构的框图。
图3是用于说明一般图像与迷雾图像差异的示图。
图4是示出根据气候环境的强度被损坏的图像的特征的示图。
图5是用于说明在输入的图像中选择兴趣区域，来检测因气候环境被损坏的图像的实施例的示图。
图6是用于说明有关对比度的图像处理的特征的示图。
图7是用于说明有关颜色的图像处理的特征的示图。
图8是用于说明根据本发明的一个实施例的图像复原装置将损坏图像复原的实施例。
图9是用于说明根据本发明的一个实施例的图像复原方法的流程图。
具体实施方式
以下，参照附图，对本方明的优选实施例进行详细地说明
在本发明的说明中，有关已知功能或结构的具体说明，当判断为会使本发明的要素模糊不清，省略该详细说明。此外，本说明中所使用的技术用语(terminology)，作为用于适当表现本发明的优选实施例，其可根据用户、管理者的意图或本发明所属范围的贯例而有所不同。因此，有关本发明的定义应以本说明书的整个内容为依据。该附图中示出的相同的参照符号表示相同的部件。
图2是用于说明根据本发明的一个实施例的图像复原装置200的内部结构的框图。
损坏图像是由于迷雾、黄沙等气候现象，图像内可视距离变短的图像，可视距离较短的图像，其图像内事物的形体较难清楚地区分，且颜色浑浊，较难正确地识别。
根据本发明的一个实施例的图像复原装置200，涉及一种将因迷雾、黄沙等气候现象被损坏的图像找出并将其复原的技术思想。因迷雾、黄沙等气候现象被损坏的图像，其对比度较低，颜色浑浊，可视距离较短，由此较难识别图像。
根据本发明的一个实施例的图像复原装置200可将该损坏图像复原，从而获得可视距离(Visibility)较高的准确图像。其可适用于所有的相机应用技术。此外，与气候现象无关，可维持动作感应、抖动补正等相机中其他应用技术的功能。
为了将损坏图像复原，根据本发明的一个实施例的图像复原装置200可包括输入单元210、损坏图像检测单元220、损坏图像复原单元230、和输出单元240。
根据本发明的一个实施例的输入单元210从拍摄装置接收拍摄的图像。
然后，根据本发明的一个实施例的损坏图像检测单元220可从所述输入的图像中，检测出因气候现象被损坏的图像。
根据本发明的一个方面的损坏图像检测单元220可确认所述输入的图像的平均亮度值、标准偏差、空中散射光、亮度值分布及边缘成分等多种信息中的至少一个以上，从所述输入的图像中检测出所述损坏图像。也就是说，根据本发明的一个方面的损坏图像检测单元220可确认所述输入的图像的平均亮度值、标准偏差、空中散射光、色差信号向量大小、亮度值分布、和边缘成分等，从而可判断图像是否被损坏。
上述信息中的空中散射光值，可通过["使用基于人类视觉模式的价值函数来增强经迷雾退化的图像(Enhancement of Image Degraded by Fog Using Cost FunctionBased on Human Visual Mode)",D.Kim,IEEE 2008]中所使用的使空中散射光估计方式实时适用的修正的[数学式1]被求出。[数学式1]中使用的理想图像(Ideal Image)是指使用图像所有的再现范围，并具有平均值(最大值-最小值)为2的均匀分布的图像。
[数学式1]
I：输入图像
Ideal：理想图像
即，根据本发明的另一个方面的损坏图像检测单元220，可确认所述输入的图像的成分，且当满足所述确认的成分各自的临界值的至少一个以上条件时，从所述输入的图像中检测出所述损坏图像。
例如，当所述输入的图像中，特定图像的边缘成分中一定阈值以上的值的个数为边缘成分个数的阈值以下范围时，根据本发明的另一个方面的损坏图像检测单元220可将所述特定图像检测为损坏图像。
根据本发明的另一个方面的损坏图像检测单元220，在所述输入的图像中确认特定图像的上述条件，当脱离设定的阈值范围时，可将所述特定图像检测为损坏图像。
当所述输入的图像中，以向量范围为基准图像的色差信号向量大小为临界值以下时，根据本发明的又另一个方面的损坏图像检测单元220可将所述特定图像检测为损坏图像。
根据本发明的又另一个方面的损坏图像检测单元220，确认预先设定的兴趣区域，并在所述输入的图像中，判断相当于所述兴趣区域的特定图像是否损坏，当所述特定图像被损坏时，可将所述特定图像检测为损坏图像。
当所述输入的图像中特定图像的平均亮度值为设定阈值以上范围时，根据本发明的又另一个方面的损坏图像检测单元220可将所述特定图像检测为损坏图像。
当所述输入的图像中特定图像的平均偏差值包含在设定阈值范围中时，根据本发明的又另一个方面的损坏图像检测单元220可将所述特定图像检测为损坏图像。
当所述输入的图像中特定图像的空中散射光值为设定阈值范围以上时，根据本发明的又另一个方面的损坏图像检测单元220可将所述特定图像检测为损坏图像。
以下，通过经迷雾被损坏的图像，来说明正常图像和损坏图像。
图3是用于说明一般图像与迷雾图像差异的示图。
图3中示出没有受到气候状态影响的一般图像301和经迷雾被损坏的损坏图像303。
一般图像301的直方图302示出直方图分布均匀，颜色鲜明，但相反，因迷雾的损坏图像303的直方图304示出直方图分布不均匀，颜色浑浊。
此外，可以确定，直方图304与直方图302相比，分布于较窄的范围内。
再参照图2，根据本发明的一个实施例的损坏图像复原单元230可将所述损坏图像复原。
例如，由于损坏图像复原单元230可将损坏图像的对比度和颜色中的至少一个图像处理，因此，可复原所述损坏图像。
根据本发明的一个实施例的损坏图像复原单元230可将损坏图像的亮度值重新分布，用来将损坏图像的较低对比度复原。
相对来说该方法仅需要较小的硬件，速度较快，并可将对比度充分地复原。此外，为了重新分布，根据本发明的一个实施例的损坏图像复原单元230可通过将所述损坏图像的亮度值分布延伸(Stretching)和直方图均衡化(Histogram Equalization)中的至少一个重新设置，来复原所述损坏图像。
例如，根据本发明的另一个方面的损坏图像复原单元230可将所述损坏图像的亮度值分布扩展至一定比例以上，来将所述损坏图像复原。
如图2中所述的，损坏图像303的直方图304具有分布不均匀且幅度较窄的特征。由于该较窄的幅度扩展至一定比例以上，因此，可将所述损坏图像303复原。
即，根据本发明的又另一个方面的损坏图像复原单元230可将所述损坏图像的亮度值分布延伸(Stretching)或执行直方图均衡化(Histogram Equalization)，来复原所述损坏图像303。
根据本发明的又另一个方面的损坏图像复原单元230可基于气候环境的建模，除去经所述气候环境的效果部分，从而将所述损坏图像复原。
也就是说，将光源在由空气微粒子构成的迷雾中所反射的光(ReflectTransmission)判断为经所述气候环境的效果部分，并从所述损坏图像中除去该反射传输(Reflect Transmission)，从而将所述损坏图像复原。
根据本发明的另一个方面的损坏图像复原单元230，可针对损坏图像执行气候环境效果去除及原来颜色的增幅，用来将浑浊的颜色复原。
具体来说，根据本发明的另一个方面的损坏图像复原单元230，为了除去气候环境效果，可利用迷雾、黄沙等气候环境的建模，来除去经气候环境的效果部分。然后，根据本发明的另一个方面的损坏图像复原单元230可通过强化经气候环境被弱化的颜色成分，从而将整个图像的颜色成分复原。
根努本发明的又另一个方面的损坏图像复原单元230可将所述损坏图像的各颜色成分增幅至一定比例以上，从而将所述损坏图像复原。
上述通过去除气候环境效果及增幅来处理颜色的技术，其作为独立的步骤，可由用户来决定使用与否。此外，气候环境效果除去中所使用的建模方式，可以是将现有论文方式进行修正从而来实时运用。
颜色成分增幅方式，可以是将颜色信号中适当的增益相乘从而来增幅。
根据本发明的又另一个方面的损坏图像复原单元230可将所述损坏图像的对比度复原处理，并在对比度(contrast)复原处理之后执行颜色(color)复原处理。
因气候现象被损坏的图像，其对比度较低，且颜色浑浊。可利用其将整个复原过程分为对比度复原、和颜色复原，从而按顺序地将损坏图像复原。
根据本发明的损坏图像复原单元230可在对比度处理过程中，类似损坏图像，将集中在狭窄区域的亮度分布重新分布至较宽区域。由此，增加图像的对比度，且图像的可视距离增加。
根据本发明的损坏图像复原单元230可在颜色复原过程中，从损坏图像的失真的颜色成分中除去气候环境影响并强化。即，分析输入图像的色成分，从而除去气候环境影响，并将颜色信号增幅，从而可复原图像的颜色成分。通过颜色成分复原，可明显增加图像的可视距离。
在图像复原中将对比度和颜色按顺序地进行复原与一次性将对比度和颜色复原相比，具有优势。由于其在经过各步骤后适用最优化的水平，来执行复原，因此，根据多样化图像的图像复原效果起伏不大，可获得准确的图像。
根据本发明的一个实施例的损坏图像复原单元230为了将损坏图像复原，可同时处理对比度复原和颜色复原。在R,G,B各信道适用对比度复原方法，由此，无须附加的颜色处理步骤，可简单地将对比度和颜色复原。
例如，根据本发明的一个实施例的损坏图像复原单元230，可通过各颜色成分延伸(Stretching)和直方图均衡化(Histogram Equalization)中的至少一个，来将图像的对比度和颜色同时复原。
根据本发明的又另一个方面，损坏图像复原单元230可确认所述检测的损坏图像的损坏强度，并基于所述确认的损坏强度，来决定所述损坏图像的复原水平，考虑所述决定的复原水平，来将所述损坏图像复原。
根据本发明的又另一个方面的损坏图像复原230，当预先设定的兴趣区域的图像复原时，所述损坏图像复原单元将复原前的图像与复原后的图像，根据从所述预先设定的兴趣区域的边界面的距离来调整比例，从而进行复原，使复原图像的边界面更柔和。
即，根据本发明的损坏图像复原单元230，可基于检测因气候现象被损坏的图像所获得的图像的信息，适用与损坏强度相对应的水平来进行复原。其与损坏强度无关适用相同水平的技术相比，则更具优势。
根据用户的便利性，可不使用自动水平调整功能，自动水平调整后，可根据用户的喜好来添加水平调整。
当没有经气候现象被损坏的图像检测系统时，用户可在气候损坏时直接调节该功能。此外，由于每个图像被损坏的强度不同，用户须直接调整适合于其的功能强度，因此十分不便。
根据本发明的图像复原装置200可在多种视点下分析输入的图像，从而来判别经气候现象被损坏的图像，且当为损坏图像时，掌握损坏图像的强度。由此，可实现所提出的技术的自动水平调整及气候变化警告及提示系统的使用。
然后，根据本发明的一个实施例的输出单元240可输出所述复原的图像。
图4是示出根据气候环境的强度被损坏的图像的特征的示图。
位于图4左侧列的图像411、412、413示出没有经气候环境被损坏的图像411；和显示出所述图像411的边缘成分的图像412；以及用于分析直方图的图像413。
位于图4的中间列的图像421、422、423示出经气候环境被损坏的损坏图像421；和显示出所述损坏图像421的边缘成分的图像422；以及用于分析直方图的图像423。
位于图4的右侧列的图像431、432、433示出经混浊气候环境被损坏的损坏图像431；和显示出所述损坏图像431的边缘成分的图像432；以及用于分析直方图的图像433。
位于图4的中间行的图像412、422、432示出各图像411、421、431中适用3X3Kirsch过滤所获得的边缘图像。由此可获知气候现象越恶劣，图像的边缘越少。
图4的下行示出各图像的直方图分析图像413、423、433。由此可获知气候现象越恶劣，图像的直方图分布不均匀的程度越严重。
根据本发明的一个实施例的损坏图像检测单元120，可利用输入的图像的信息[数学式2]，来区分迷雾、黄沙等气候环境图像与一般图像。
[数学式2]
在此，“Fog On”是以各条件的AND演算结果值来区别迷雾、黄沙等图像的结果；“Condition 1,2,…,N”是区别迷雾、黄沙等图像所需要的条件，输入图像的信息；“Threshold of Condition 1,2,…,N”是区别迷雾、黄沙等图像的条件的临界值。“Condition”中可使用图像的平均亮度值、标准偏差、空中散射光、色差信号向量大小、亮度值分布及边缘成分等。
图5是用于说明根据本发明的一个实施例的损坏图像检测单元，在输入的图像中选择兴趣区域，来检测因气候环境被损坏的图像的实施例的示图。
根据本发明的一个实施例的损坏图像检测单元，在输入的图像501中，确认预先设定的兴趣区域502，并判断相当于兴趣区域502的特定图像是否损坏，当所述特定图像被损坏时，将所述特定图像检测为损坏图像。
迷雾、黄沙等气候现象并不是一直覆盖图像的整个区域出现的，图像中体现敏感反应的重要兴趣区域502可根据用户而有所不同。此外，与针对整个区域来检测出部分出现的气候现象来执行复原相比，设定兴趣区域502并针对该区域进行检测来执行复原可更具优势。
当气候现象没有覆盖整个图像，或是看不到均匀分布时，较难正确地检测出整个图像501内位于部分的气候现象及气候现象的强度。由此，不能较好地将损坏图像复原。当设定兴趣区域502时，可正确的检测出区域内发生的气候现象及气候现象的强度。此外，基于此可正确地针对兴趣区域进行复原。
在针对图像501内的兴趣区域502进行检测并复原时，区域的边界面显露在图像501中，其在区域501内位于部分的气候现象复原时较不自然，对此可通过缓冲区域503来自然地表现。缓冲区域503可根据原图像和复原的图像位置，使用阿尔法混合方法，来调整比例进行混合。由此可自然地将兴趣区域502复原。缓冲区域503的大小可由用户决定。
图6是用于说明有关对比度的图像处理的特征的图表600。
如附图符号601中所示，在具迷雾、黄沙等气候现象的图像中，直方图中亮度值极端化地聚集在狭窄区域。
根据本发明的图像复原装置，通过提出的对照复原处理，将极端化聚集在狭窄区域的亮度值如附图符号602所示重新分布至较宽的特定区域，由此来增加对比度，从而可增加图像内的可视距离。
目标动态范围(Target Dynamic Range)是对比度将被复原的图像的动态区域(Dynamic Range)，与迷雾、黄沙等气候现象的图像相比，具有较宽的动态区域。
上限水平(Upper Limit Level)是对比度将被复原的图像的亮度值的上限。由此进行限制，使将被复原的图像不会过度饱和。
下限水平(Lower Limit Level)是对比度将被复原的图像的亮度值的下限。由此进行限制，使将被复原的图像不会过度黑暗。
根据本发明的图像复原装置可根据经气候现象被损坏的强度自动来设定上限水平(Upper Limit Level)和下限水平(Lower Limit Level)。
此外，根据本发明的图像复原装置在对比度复原处理过程中，可在预先设定的目标动态范围(Target Dynamic Range)下，将延伸(Streching)及直方图均衡化(HistogramEqualization)技术用于再分布过程。
图7是用于说明有关颜色的图像处理的特征的示图。
图7是利用向量范围示出颜色处理(Color Processing)技术的特征的图表700。
根据本发明的一个实施例的损坏图像检测单元，当所述输入的图像中特定图像的色差信号向量大小为临界值以下时，可将所述特定图像检测为损坏图像。
受到迷雾、黄沙等气候现象影响的损坏图像，由于各颜色成分因气候环境效果被遮挡变得更弱，色差信号向量较小。因此，将其增幅来复原图像的色成分。
受到迷雾、黄沙等气候现象影响的图像，如图1的模型所示，由于经微粒子的反射光被输入至图像，相比一般的图像颜色成分较弱。因此，较难对该图像内的事物的颜色进行正确的识别和认知，使该图像的可视距离变短。
根据本发明的一个实施例的损坏图像复原单元，可将迷雾、黄沙等气候现象效果除去，并将变弱的颜色信号增幅。
根据本发明的一个实施例的损坏图像复原单元，可利用数学式3至数学式6，将气候想象效果去除。该方法是["具迷雾或模糊场景的道路的可见性增强(VisibilityEnhancement for Roads with Foggy or Hazy Scenes),"R.Tan,IEEE 2007]中被提出的技术。但在数学式4中，为了实时处理被修正。
将颜色信号增幅的方法是通过将颜色信号向量大小相乘的方式等来进行增幅。
根据本发明的一个实施里的损坏图像复原单元，可将气候现象效果去除，并互相独立地运作将变弱的颜色信号增幅，并根据气候现象的强度和用户的喜好被选择性使用。
[数学式3]
O_C(r，g，b)＝(I_C(r，g，b)-C(r，g，b)_Gain*Y*Gamma_C(r，g，b))*Depth
[数学式4]
Gamma_C(r，g，b)＝(C(r，g，b)_max-C(r，g，b)_min)/((MAX(R+G+B)-MIN(R+G+B)-MIN(R+G+B))
[数学式5]
Depth＝Y_MAX/(Y_MAX-Y)
[数学式6]
Y＝0.257＊(i_R/Gamma_R)+0.504＊(i_G/Gamma_G)+0.098＊(i_B/Gamma_B)
图8是用于说明根据本发明的一个实施例的图像复原装置将损坏图像复原的实施例。
如图8中所示出的，迷雾、黄沙等气候环境中被损坏的图像801、803经本发明的一个实施例的图像复原装置可重新设置成复原的图像802、804。
在此，根据本发明的一个实施例，可判断图像的状态，当为经迷雾、黄沙等气候环境被损坏的图像时，将其复原，从而可增加图像内可视距离。
此外，根据本发明的一个实施例，由于将经迷雾、黄沙等气候环境被损坏的图像的对比度和颜色复原，因此，与气候环境无关，可准确地获得图像。
此外，根据本发明的一个实施例，与气候环境无关可准确地获得图像从而实现获取图像的主要目的，由此，可引导附加的其他功能的正常运作。
图9是用于说明根据本发明的一个实施例的图像复原方法的流程图。
根据本发明的一个实施例的图像复原方法：在步骤901中，接收输入的图像；在步骤902中，将所述输入的图像的亮度值分布及边缘成分中的至少一个，从而在所述输入的图像中检测出损坏图像。
根据本发明的一个实施例的图像复原方法：在步骤903中，将所述损坏图像复原，并在步骤904中，通过输出单元来输出所述复原的图像。
根据本发明的一个实施例的图像复原方法，可将所述损坏图像的对比度(contrast)和颜色(color)中的至少一个进行复原处理，来复原所述损坏图像。
例如，根据本发明的一个实施里的图像复原方法，为了复原所述损坏图像，可将所述损坏图像的亮度值分布扩展至一定比例以上，从而来将所述损坏图像复原。
通过其他实例，根据本发明的一个实施例的图像复原方法，可通过将所述损坏图像的亮度值分布延伸(Stretching)和直方图均衡化(Histogram Equalization)中的至少一个重新设置，来复原所述损坏图像。
通过其他实例，根据本发明的一个实施例的图像复原方法，可基于气候环境的建模，去除经所述气候环境的效果部分，来将所述损坏图像复原。
通过其他实例，根据本发明的一个实施例的图像复原方法，可将所述损坏图像的各颜色成分增幅至一定比例以上，来将所述损坏图像复原。
根据一个实施例的图像复原方法，可通过多种计算机手段以可执行的程序指令形态被记录在计算机可读媒体中。该媒体计算机可读媒体可包括独立的或结合的程序指令、数据文件、数据结构等。媒体和程序指令可为了本发明被专门设计和创建，或为计算机软件技术人员熟知而应用。计算机可读媒体的例子包括：磁媒体(magnetic media)，如硬盘、软盘和磁带；光学媒体(optical media)，如CD ROM、DVD；磁光媒体(magneto-opticalmedia)，如光盘(floptical disk)；和专门配置为存储和执行程序指令的硬件装置，如只读存储器(ROM)、随机存取存储器(RAM)等。程序指令的例子，既包括由编译器产生的机器代码，也包括使用解释程序并可通过计算机被执行的高级语言代码。为执行本发明的运作，所述硬件装置可被配置为以一个以上软件模来运作，反之亦然。
如上所示，本发明虽然已参照有限的实施例和附图进行了说明，但是本发明并不局限于所述实施例，在本发明所属领域中具备通常知识的人均可以从此记载中进行各种修改和变形。
因此，本发明的范围不受说明的实施例的局限或定义，而是由后附的权利要求范围以及权利要求范围等同内容定义。
Claims (15)
1.一种图像复原装置，包括：
输入单元，输入图像；
损坏图像检测单元，在所述输入图像中，检测出因气候现象的损坏图像；
损坏图像复原单元，将所述损坏图像复原，来生成最终复原图像；以及
输出单元，输出所述最终复原图像，且
所述损坏图像检测单元在所述损坏图像内设置兴趣区域，且
所述损坏图像复原单元，将所述损坏图像内的所述兴趣区域的对比度和颜色中的至少一个进行复原处理，来生成复原后图像，且
所述兴趣区域的图像复原时，将所述损坏图像与复原后图像，根据所述兴趣区域的边界面的距离来调整比例，混合地复原所述最终复原图像的边界面，且
在所述兴趣区域内设置缓冲区域，根据所述缓冲区域的边界面的距离来调整所述损坏图像及所述复原后图像的比例并混合，生成所述最终复原图像。
2.如权利要求1所述的图像复原装置，其中，所述损坏图像检测单元，确认所述输入图像的亮度值分布及边缘成分中的至少一个，并在所述输入图像中检测出所述损坏图像。
3.如权利要求1所述的图像复原装置，其中，所述损坏图像检测单元，确认所述输入图像的成分，且当满足所述成分各自的阈值的至少一个以上条件时，从所述输入的图像中检测出所述损坏图像。
4.如权利要求3所述的图像复原装置，其中，当所述输入图像中特定图像的边缘成分中设定阈值以上的值的个数为边缘成分个数的阈值以下范围时，所述损坏图像检测单元将所述特定图像检测为损坏图像。
5.如权利要求3所述的图像复原装置，其中，当所述输入图像中特定图像的亮度值分布为设定阈值以下范围时，所述损坏图像检测单元将所述特定图像检测为损坏图像。
6.如权利要求3所述的图像复原装置，其中，当所述输入图像中特定图像的平均亮度值为设定阈值以上范围时，所述损坏图像检测单元将所述特定图像检测为损坏图像。
7.如权利要求3所述的图像复原装置，其中，当所述输入图像中特定图像的平均偏差值包含在设定阈值范围中时，所述损坏图像检测单元将所述特定图像检测为损坏图像。
8.如权利要求3所述的图像复原装置，其中，当所述输入图像中特定图像的空中散射光值为设定阈值范围以上时，所述损坏图像检测单元将所述特定图像检测为损坏图像。
9.如权利要求2所述的图像复原装置，其中，当所述输入图像中特定图像的颜色信号向量大小为设定阈值以下时，所述损坏图像检测单元，将所述特定图像检测为损坏图像。
10.如权利要求1所述的图像复原装置，其中，所述损坏图像复原单元，通过将所述兴趣区域的亮度值分布延伸和直方图均衡化中的至少一个重新设置，来生成所述复原后图像。
11.如权利要求1所述的图像复原装置，其中，所述损坏图像复原单元，基于气候环境建模，去除所述兴趣区域内的所述气候环境的效果部分，来生成所述复原后图像。
12.如权利要求1所述的图像复原装置，其中，所述损坏图像复原单元，通过各颜色成分延伸和直方图均衡化中的至少一个，来将图像的对比度和颜色同时复原。
13.如权利要求1所述的图像复原装置，其中，所述损坏图像复原单元，将所述兴趣区域的对比度复原处理，并在所述复原处理后，执行颜色复原处理。
14.如权利要求1所述的图像复原装置，其中，所述损坏图像复原单元，确认所述兴趣区域的损坏强度，并基于所述损坏强度，来决定所述兴趣区域的复原水平，考虑所述决定的复原水平，来将所述兴趣区域复原。
15.一种图像复原方法，包括以下步骤：
从输入单元接收输入图像；
在损坏图像检测单元中确认所述输入图像的亮度值分布及边缘成分中的至少一个，从而在所述输入图像中检测出所述损坏图像；
在损坏图像复原单元中，复原所述损坏图像，来生成最终复原图像；以及
从输出单元输出所述最终复原图像，且
检测所述损坏图像的步骤，包括在所述损坏图像内设置兴趣区域，且
其中，将所述损坏图像复原的步骤，包括将所述损坏图像内的所述兴趣区域的对比度和颜色中的至少一个复原处理，来生成复原后图像；及
所述兴趣区域的图像复原时，将损坏图像与复原后图像，根据所述兴趣区域的边界面的距离来调整比例，混合地复原所述最终复原图像的边界面，且在所述兴趣区域内设置缓冲区域，根据所述缓冲区域的边界面的距离来调整比例并混合，来生成所述最终复原图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120035092A KR101341243B1 (ko) | 2012-04-04 | 2012-04-04 | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 |
| KR10-2012-0035092 | 2012-04-04 | ||
| PCT/KR2012/003825 WO2013151208A1 (ko) | 2012-04-04 | 2012-05-16 | 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104471613A CN104471613A (zh) | 2015-03-25 |
| CN104471613B true CN104471613B (zh) | 2018-01-19 |
Family
ID=49300674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280072257.7A Active CN104471613B (zh) | 2012-04-04 | 2012-05-16 | 用于复原经气候现象被损坏的图像的装置及方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9589337B2 (zh) |
| KR (1) | KR101341243B1 (zh) |
| CN (1) | CN104471613B (zh) |
| WO (1) | WO2013151208A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102207939B1 (ko) * | 2014-03-27 | 2021-01-26 | 한화테크윈 주식회사 | 안개 제거 시스템 및 안개 제거 방법 |
| US10248846B2 (en) * | 2014-07-24 | 2019-04-02 | Sony Interactive Entertainment Inc. | Information processing device |
| KR102390918B1 (ko) * | 2015-05-08 | 2022-04-26 | 한화테크윈 주식회사 | 안개 제거 시스템 |
| US20170034459A1 (en) * | 2015-07-30 | 2017-02-02 | Motorola Mobility Llc | Electronic Device with Image Correction System and Methods Therefor |
| KR102432585B1 (ko) * | 2021-12-27 | 2022-08-17 | 충북대학교 산학협력단 | 내부 관측을 위한 이미지 처리 시스템 및 그 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1753489A (zh) * | 2005-10-28 | 2006-03-29 | 沈阳理工大学 | 抗雾干扰摄像系统 |
| CN101888536A (zh) * | 2010-06-17 | 2010-11-17 | 沈阳理工大学 | 抗雨干扰图像采集系统 |
| CN102202163A (zh) * | 2011-05-13 | 2011-09-28 | 成都西图科技有限公司 | 一种监控视频的自适应增强方法及其装置 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5982386A (en) * | 1996-04-02 | 1999-11-09 | Dainippon Screen Mfg. Co., Ltd. | Image boundary correction by fractal processing |
| KR20010069800A (ko) * | 2001-05-11 | 2001-07-25 | 노일환 | 촬상시스템의 영상 재구성장치 |
| US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
| US8073286B2 (en) * | 2006-08-09 | 2011-12-06 | DigitalOptics Corporation Europe Limited | Detection and correction of flash artifacts from airborne particulates |
| JP2005176076A (ja) * | 2003-12-12 | 2005-06-30 | Toshiba Corp | カメラ監視システムおよびその監視制御方法 |
| WO2006109398A1 (ja) * | 2005-03-15 | 2006-10-19 | Omron Corporation | 画像処理装置および方法、プログラム、並びに記録媒体 |
| JP2007251719A (ja) * | 2006-03-17 | 2007-09-27 | Hitachi Kokusai Electric Inc | 気象データに連動したカメラシステム |
| US7693629B2 (en) * | 2006-11-14 | 2010-04-06 | Denso Corporation | Onboard fog determining apparatus |
| US8396324B2 (en) * | 2008-08-18 | 2013-03-12 | Samsung Techwin Co., Ltd. | Image processing method and apparatus for correcting distortion caused by air particles as in fog |
| US8111943B2 (en) * | 2009-04-15 | 2012-02-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Smart image enhancement process |
| CN101901473B (zh) * | 2009-05-31 | 2012-07-18 | 汉王科技股份有限公司 | 单帧图像自适应去雾增强方法 |
| JP4807439B2 (ja) * | 2009-06-15 | 2011-11-02 | 株式会社デンソー | 霧画像復元装置及び運転支援システム |
| KR101578426B1 (ko) * | 2009-06-16 | 2015-12-17 | 엘지전자 주식회사 | 신호 처리 장치 및 그 방법 |
| KR101605770B1 (ko) * | 2009-07-28 | 2016-03-23 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| TWI423166B (zh) * | 2009-12-04 | 2014-01-11 | Huper Lab Co Ltd | 判斷輸入影像是否為霧化影像之方法、判斷輸入影像的霧級數之方法及霧化影像濾清方法 |
| US9205810B2 (en) * | 2010-03-04 | 2015-12-08 | Valeo Schalter Und Sensoren Gmbh | Method of fog and raindrop detection on a windscreen and driving assistance device |
-
2012
- 2012-04-04 KR KR1020120035092A patent/KR101341243B1/ko active IP Right Grant
- 2012-05-16 WO PCT/KR2012/003825 patent/WO2013151208A1/ko active Application Filing
- 2012-05-16 CN CN201280072257.7A patent/CN104471613B/zh active Active
- 2012-05-16 US US14/390,766 patent/US9589337B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1753489A (zh) * | 2005-10-28 | 2006-03-29 | 沈阳理工大学 | 抗雾干扰摄像系统 |
| CN101888536A (zh) * | 2010-06-17 | 2010-11-17 | 沈阳理工大学 | 抗雨干扰图像采集系统 |
| CN102202163A (zh) * | 2011-05-13 | 2011-09-28 | 成都西图科技有限公司 | 一种监控视频的自适应增强方法及其装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于双色大气散射模型的视程障碍类天气现象识别;胡树贞等;《经济发展方式转变与自主创新——第十二届中国科学技术协会年会》;20101101;第2卷;第1-6页 * |
| 智能交通中的视频图像增强技术分析;杨惠君等;《第五届中国只能交通年会暨第六届国际节能与新能源汽车创新发展论坛优秀论文集》;20091201;第307-313页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104471613A (zh) | 2015-03-25 |
| US20150043818A1 (en) | 2015-02-12 |
| US9589337B2 (en) | 2017-03-07 |
| KR101341243B1 (ko) | 2013-12-12 |
| KR20130112594A (ko) | 2013-10-14 |
| WO2013151208A1 (ko) | 2013-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Galdran et al. | Enhanced variational image dehazing | |
| CN104471613B (zh) | 用于复原经气候现象被损坏的图像的装置及方法 | |
| Huang et al. | An efficient visibility enhancement algorithm for road scenes captured by intelligent transportation systems | |
| CN110929566B (zh) | 基于可见光和近红外双目摄像头的人脸活体检测方法 | |
| US8180173B2 (en) | Flash artifact eye defect correction in blurred images using anisotropic blurring | |
| US8294794B2 (en) | Shadow removal in an image captured by a vehicle-based camera for clear path detection | |
| US8319854B2 (en) | Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel | |
| JP4323097B2 (ja) | サンプルイメージ中のエラーを検出する方法およびシステム | |
| CN105719234A (zh) | 用于人脸区域的自动去油光方法、系统及拍摄终端 | |
| CN103914813A (zh) | 彩色雾霾图像去雾与光照补偿的复原方法 | |
| CN107451966A (zh) | 一种采用灰度图引导滤波实现的实时视频去雾方法 | |
| CN103729828B (zh) | 视频去雨方法 | |
| CN104899844A (zh) | 一种图像去雾方法及装置 | |
| US11514582B2 (en) | Method and device for image analysis | |
| CN107392087A (zh) | 一种图像处理方法与装置 | |
| CN107730487A (zh) | 一种图像检测方法及装置 | |
| CN105631825B (zh) | 基于滚动导向的图像去雾方法 | |
| CN105430352B (zh) | 一种视频监控图像的处理方法 | |
| Jiwani et al. | Single image fog removal using depth estimation based on blur estimation | |
| CN107343154A (zh) | 一种确定摄像装置的曝光参数的方法、装置和系统 | |
| CN104168402A (zh) | 一种视频帧图像去雾方法及装置 | |
| Pillai et al. | Detecting tail lights for analyzing traffic during night using image processing techniques | |
| CN110688979A (zh) | 违法车辆追踪方法及装置 | |
| TWI630818B (zh) | Dynamic image feature enhancement method and system | |
| CN108288041A (zh) | 一种行人目标错检去除的预处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |