JP2017138647A - Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium - Google Patents

Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium Download PDF

Info

Publication number
JP2017138647A
JP2017138647A JP2016017016A JP2016017016A JP2017138647A JP 2017138647 A JP2017138647 A JP 2017138647A JP 2016017016 A JP2016017016 A JP 2016017016A JP 2016017016 A JP2016017016 A JP 2016017016A JP 2017138647 A JP2017138647 A JP 2017138647A
Authority
JP
Japan
Prior art keywords
image
region
dark channel
value
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016017016A
Other languages
Japanese (ja)
Inventor
俊樹 藤野
Toshiki FUJINO
俊樹 藤野
善隆 豊田
Yoshitaka Toyoda
善隆 豊田
康平 栗原
Kohei Kurihara
康平 栗原
的場　成浩
Norihiro Matoba
成浩 的場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016017016A priority Critical patent/JP2017138647A/en
Publication of JP2017138647A publication Critical patent/JP2017138647A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To improve the visibility of an image while suppressing the excessive emphasis of an empty area and a backlight area.SOLUTION: An image processing device 1 includes: an airglow correction part 20 which generates an airglow correction image Dfrom an input image D; an empty area calculation part 30 which calculates an empty area as an emphasis suppression area from the input image D; a dark channel generation part 40 which outputs the minimum pixel value within a local area in the airglow correction image Das a first dark channel value Dof each pixel; a dark channel correction part 50 which generates a second dark channel value Dof each pixel by correcting the first dark channel value in the empty area; a transmittance calculation part 60 which calculates a transmittance Din each pixel of the input image Dfrom the second dark channel value D; and a haze removal image generation part 70 which generates a haze removal image Dby performing processing for removing a haze component from each pixel of the input image Dby using the transmittance D.SELECTED DRAWING: Figure 1

Description

本発明は、入力画像（入力画像データ）から霞を除去する処理を行うことにより霞除去画像（補正画像データ）を生成する画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体に関する。   The present invention relates to an image processing apparatus, an image processing method, a video photographing apparatus, a video recording / reproducing apparatus, and a program for generating a wrinkle-removed image (corrected image data) by performing processing for removing wrinkles from an input image (input image data). And a recording medium.

カメラ撮影によって得られた撮像画像の鮮明さを低下させる要因として、霞、霧、靄、雪、煙、スモッグ、及び粉塵などのような浮遊粒子がある。本出願では、このような浮遊粒子を総称して「霞（Ｈａｚｅ）」という。霞が存在する環境において被写体（物体）をカメラ撮影して得られた入力画像としての撮像画像では、霞の濃度が増すほどコントラストが低下して、被写体の判別性及び視認性が低下する。このような霞による画質低下を改善するため、撮像画像から霞を除去して霞除去画像（霞フリー画像）の画像データ（補正画像データ）を生成する霞補正技術が提案されている。このような霞補正技術としては、ダークチャネルプライア（Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ）に基づく方法が知られている。ダークチャネルプライアは、屋外自然画像の局所領域内の複数の色チャネル（赤（Ｒ）チャネル、緑（Ｇ）チャネル、及び青（Ｂ）チャネル）における光強度を色チャネルごとに調べた場合、複数の色チャネルの内の少なくとも１つの色チャネルの局所領域内における光強度（画素値）の最小値は、非常に小さい値（一般には、０に近い値）であるという法則である。また、複数の色チャネル（すなわち、Ｒチャネル、Ｇチャネル、及びＢチャネル）の局所領域内における光強度の最小値（すなわち、Ｒチャネルの最小値、Ｇチャネルの最小値、及びＢチャネルの最小値）の内の、最も小さい値をダークチャネル（Ｄａｒｋ Ｃｈａｎｎｅｌ）又はダークチャネル値と言う。ダークチャネルプライアによれば、カメラ撮影によって生成された入力画像としての撮像画像（撮像画像データ）から局所領域ごとのダークチャネル値を計算することで、撮像画像における複数の画素の透過度（透過率）からなるマップ（透過度マップ）を推定することができる。そして、推定された透過度マップを用いて、撮像画像から霞除去画像を生成するための画像処理を行うことができる。   There are suspended particles such as haze, fog, haze, snow, smoke, smog, and dust as factors that reduce the sharpness of a captured image obtained by camera photography. In this application, such suspended particles are collectively referred to as “Haze”. In a captured image as an input image obtained by photographing a subject (object) with a camera in an environment where there is a wrinkle, the contrast decreases as the wrinkle density increases, and subject discrimination and visibility deteriorate. In order to improve such a deterioration in image quality due to wrinkles, a wrinkle correction technique for removing wrinkles from a captured image and generating image data (corrected image data) of a wrinkle-removed image (a wrinkle free image) has been proposed. As such a wrinkle correction technique, a method based on a dark channel prior is known. The dark channel prior is obtained when the light intensity in a plurality of color channels (red (R) channel, green (G) channel, and blue (B) channel)) in the local region of the outdoor natural image is examined for each color channel. The minimum value of the light intensity (pixel value) in the local region of at least one of the color channels is a very small value (generally a value close to 0). In addition, the minimum value of light intensity (that is, the minimum value of the R channel, the minimum value of the G channel, and the minimum value of the B channel) in the local region of the plurality of color channels (that is, the R channel, the G channel, and the B channel) ) Is the dark channel (Dark Channel) or dark channel value. According to the dark channel prior, by calculating a dark channel value for each local region from a captured image (captured image data) as an input image generated by camera photographing, the transmittance (transmittance) of a plurality of pixels in the captured image is calculated. ) Can be estimated. Then, image processing for generating a wrinkle removal image from the captured image can be performed using the estimated transparency map.

例えば、特許文献１では、入力画像の複数の色チャネルの画素値であるＲ画素値、Ｇ画素値、Ｂ画素値を、大気光のＲ画素値、Ｇ画素値、Ｂ画素値でそれぞれ割ることで、入力画像が補正される。その後、補正された入力画像についてのダークチャネル値を使い、入力画像における霞の密度が推定され、推定された霞の密度から、粗い精度の透過率が求められ、また、ソフトマッティングと呼ばれる手法を用いて細かい精度の透過率が求められる。その後、求められた透過率を使って画像から霞を除去する処理が行われる。   For example, in Patent Document 1, R pixel values, G pixel values, and B pixel values, which are pixel values of a plurality of color channels of an input image, are divided by the R pixel value, the G pixel value, and the B pixel value of atmospheric light, respectively. Thus, the input image is corrected. After that, the dark channel value of the corrected input image is used to estimate the density of wrinkles in the input image, and the transmittance of coarse accuracy is obtained from the estimated wrinkle density, and a method called soft matting is used. The transmittance with fine accuracy is required. Thereafter, processing for removing wrinkles from the image is performed using the obtained transmittance.

特開２０１２−２２１２３７号公報（例えば、段落００１１から００２３）JP 2012-212237 A (for example, paragraphs 0011 to 0023)

上記のように、ダークチャネル値は、Ｒチャネル、Ｇチャネル、及びＢチャネルの局所領域内における画素値（光強度）の最小値の内の、最も小さい値であるため、従来の装置では、撮像画像においてコントラストが低く、白みを帯びている領域が、霞によってコントラストが低下している領域であるのか、又は、本来的にコントラストが低い領域（例えば、空領域又は逆光領域）を撮影しているのか、を区別することはできない。このため、撮像画像においてコントラストが低く、白みを帯びている領域である空領域又は逆光領域を、濃い霞が存在する領域であると誤って判断（誤認識）し、霞が存在しない空領域又は逆光領域に霞除去処理を施し、空領域又は逆光領域が過強調されるという課題があった。   As described above, the dark channel value is the smallest value among the minimum values of the pixel values (light intensity) in the local region of the R channel, the G channel, and the B channel. Take a picture of whether the contrast is low and white in the image is the area where the contrast is reduced by wrinkles, or where the contrast is inherently low (for example, the sky area or the backlight area) It is not possible to distinguish between them. For this reason, a sky area or a backlight area, which is a white area with low contrast in the captured image, is erroneously determined (misrecognized) as an area where dark wrinkles exist, and a sky area where no wrinkles exist Alternatively, there has been a problem that the haze removal process is performed on the backlight region, and the sky region or the backlight region is overemphasized.

本発明は、上記課題を解決するためになされたものであり、空領域又は逆光領域の過強調を抑制しつつ、画像の視認性を改善することができる画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体を提供することを目的とする。   The present invention has been made to solve the above-described problem, and is capable of improving the visibility of an image while suppressing overemphasis of an empty area or a backlight area, and an image processing method, video shooting, and the like. An object is to provide an apparatus, a video recording / reproducing apparatus, a program, and a recording medium.

本発明の一態様に係る画像処理装置は、大気光画素値を取得する大気光画素値取得部と、前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する大気光補正部と、前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する領域算出部と、前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するダークチャネル生成部と、前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記ダークチャネル生成部から出力された前記第１のダークチャネル値から第２のダークチャネル値を生成するダークチャネル補正部と、前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する透過率算出部と、前記透過率を用いて前記入力画像の各画素から霞成分を除去する処理を行うことによって、前記入力画像から霞除去画像を生成する霞除去画像生成部とを備えたことを特徴とする。   An image processing apparatus according to an aspect of the present invention includes an atmospheric light pixel value acquisition unit that acquires an atmospheric light pixel value, and corrects the input image using the atmospheric light pixel value, thereby correcting the atmospheric light from the input image. An atmospheric light correction unit that generates an image; an area calculation unit that calculates an enhancement suppression region that is at least one of a sky region estimated from the input image and a sky region that is estimated to be a region where backlight exists; and A dark channel generation unit that outputs a minimum pixel value in the local region in the atmospheric light correction image as a first dark channel value for the pixel of interest in the local region; and the first dark channel in the enhancement suppression region By correcting the value, a dark channel compensation that generates a second dark channel value from the first dark channel value output from the dark channel generation unit. A transmittance calculating unit that calculates a transmittance at each pixel of the input image from the second dark channel value, and a process of removing a wrinkle component from each pixel of the input image using the transmittance Thus, a wrinkle removal image generating unit that generates a wrinkle removal image from the input image is provided.

本発明の他の態様に係る画像処理方法は、大気光画素値を取得するステップと、前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成するステップと、前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出するステップと、前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するステップと、前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成するステップと、前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出するステップと、前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成するステップとを有することを特徴とする。   An image processing method according to another aspect of the present invention generates an atmospheric light correction image from the input image by obtaining an atmospheric light pixel value and correcting the input image using the atmospheric light pixel value. A step of calculating an enhancement suppression region that is at least one of a sky region estimated as sky from the input image and a backlight region estimated as a region where backlight exists, and in a local region in the atmospheric light correction image And outputting the first dark channel value as the first dark channel value for the target pixel in the local region, and correcting the first dark channel value in the enhancement suppression region. Generating a second dark channel value from the first dark channel value in the step of outputting a channel value; and the second dark channel value. Calculating the transmittance at each pixel of the input image from the channel value, and correcting the wrinkle-removed image from the input image by performing correction for removing the wrinkle component from each pixel of the input image using the transmittance. And generating.

本発明によれば、空領域又は逆光領域における第１のダークチャネル値を補正することによって第２のダークチャネル値を生成し、第２のダークチャネル値から透過率を算出し、この透過率を用いて入力画像の各画素から霞成分を除去する補正を行うことによって、空領域又は逆光領域の強調を抑制しつつ、画像の視認性を改善することができる。   According to the present invention, the second dark channel value is generated by correcting the first dark channel value in the sky region or the backlight region, and the transmittance is calculated from the second dark channel value. By using the correction to remove the haze component from each pixel of the input image, it is possible to improve the visibility of the image while suppressing the enhancement of the sky region or the backlight region.

本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。1 is a block diagram schematically showing a configuration of an image processing apparatus according to Embodiment 1 of the present invention. ダークチャネル値と補正係数の関係のグラフの一例を示す図である。It is a figure which shows an example of the graph of the relationship between a dark channel value and a correction coefficient. ダークチャネル値と補正係数の関係のグラフの他の例を示す図である。It is a figure which shows the other example of the graph of the relationship between a dark channel value and a correction coefficient. 本発明の実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。It is a block diagram which shows schematically the structure of the image processing apparatus which concerns on Embodiment 2 of this invention. 本発明の実施の形態３に係る画像処理方法を示すフローチャートである。It is a flowchart which shows the image processing method which concerns on Embodiment 3 of this invention. 本発明の実施の形態４に係る画像処理装置を示すハードウェア構成図である。It is a hardware block diagram which shows the image processing apparatus which concerns on Embodiment 4 of this invention. 実施の形態１又は２に係る画像処理装置が画像処理部として適用された映像撮影装置の構成を概略的に示すブロック図である。It is a block diagram which shows roughly the structure of the video imaging device with which the image processing apparatus which concerns on Embodiment 1 or 2 was applied as an image processing part. 実施の形態１又は２に係る画像処理装置が画像処理部として適用された映像記録再生装置の構成を概略的に示すブロック図である。3 is a block diagram schematically showing a configuration of a video recording / reproducing apparatus to which the image processing apparatus according to Embodiment 1 or 2 is applied as an image processing unit. FIG.

《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る画像処理装置１の構成を概略的に示すブロック図である。実施の形態１に係る画像処理装置１は、例えば、カメラ撮影によって生成された撮像画像である入力画像（入力画像データ）ＤＩＮから、霞を除去する処理を行うことによって、霞除去画像（霞フリー画像）としての補正画像（補正画像データ）ＤＯＵＴを生成する。画像処理装置１は、本発明の実施の形態に係る画像処理方法（実施の形態３）を実施することができる装置である。 << 1 >> Embodiment 1
<< 1-1 >> Configuration FIG. 1 is a block diagram schematically showing a configuration of an image processing apparatus 1 according to Embodiment 1 of the present invention. The image processing apparatus 1 according to Embodiment 1 performs, for example, a process of removing wrinkles from an input image (input image data) DIN that is a captured image generated by camera shooting, thereby removing a wrinkle removal image (画像A corrected image (corrected image data) D OUT as a free image is generated. The image processing apparatus 1 is an apparatus that can perform the image processing method (Embodiment 3) according to the embodiment of the present invention.

図１に示されるように、実施の形態１に係る画像処理装置１は、大気光画素値Ａを取得（例えば、入力画像ＤＩＮから算出）する大気光画素値取得部１０と、大気光画素値取得部１０で取得された大気光画素値Ａを用いて入力画像ＤＩＮを補正することによって、大気光補正画像（大気光補正画像データ）Ｄ２０を生成する大気光補正部２０と、入力画像ＤＩＮから空と推定される空領域（例えば、屋外自然画像における空）を示す空領域画像（空領域画像データ）Ｄ３０を算出する領域算出部としての空領域算出部３０とを備えている。 As shown in FIG. 1, the image processing apparatus 1 according to the first embodiment, it obtains the atmospheric optical pixel value A (e.g., calculated from the input image D IN) and Airglow pixel value acquiring unit 10 that, Airglow pixel by correcting the input image D iN using atmospheric light pixel value a obtained by the value obtaining unit 10, an atmospheric light correcting unit 20 for generating atmospheric exposure compensation image (airglow corrected image data) D 20, input A sky region calculation unit 30 as a region calculation unit that calculates a sky region image (sky region image data) D 30 indicating a sky region estimated from the image D IN (for example, a sky in an outdoor natural image). Yes.

また、画像処理装置１は、大気光補正部２０によって生成された大気光補正画像（大気光補正画像データ）Ｄ２０における局所領域内での最小画素値を、この局所領域内の注目画素についての第１のダークチャネル値Ｄ４０として出力する最小画素値算出部としてのダークチャネル生成部４０を備えている。画像の座標（ｉ，ｊ）の注目画素の第１のダークチャネル値Ｄ４０は、Ｄｒｋ０（ｉ，ｊ）と表記される。ｉは、１画面の水平方向の座標を示す正の整数であり、ｊは、画面の垂直方向の座標を示す正の整数である。一般に、第１のダークチャネル値Ｄ４０は、局所領域の位置を変えて、画像ＤＩＮの全域（全画素）について生成される。 In addition, the image processing apparatus 1 calculates the minimum pixel value in the local area in the atmospheric light correction image (atmospheric light correction image data) D 20 generated by the atmospheric light correction unit 20 for the target pixel in the local area. and a dark channel generation unit 40 as the minimum pixel value calculating unit for outputting as the first dark channel value D 40. The first dark channel value D 40 of the pixel of interest coordinates of the image (i, j) is denoted as Drk0 (i, j). i is a positive integer indicating the horizontal coordinate of one screen, and j is a positive integer indicating the vertical coordinate of the screen. In general, the first dark channel value D 40 is generated for the entire region (all pixels) of the image D IN by changing the position of the local region.

さらに、画像処理装置１は、空領域Ｄ３０における第１のダークチャネル値Ｄ４０（Ｄｒｋ０（ｉ，ｊ））を補正することによって、ダークチャネル生成部４０から出力された第１のダークチャネル値Ｄ４０（Ｄｒｋ０（ｉ，ｊ））から第２のダークチャネル値Ｄ５０（Ｄｒｋ１（ｉ，ｊ））を生成するダークチャネル補正部５０を備えている。画像の座標（ｉ，ｊ）の画素の第１のダークチャネル値Ｄ４０は、Ｄｒｋ０（ｉ，ｊ）と表記される。補正されたダークチャネル値Ｄ５０は、画像の座標（ｉ，ｊ）の画素のダークチャネル値について、Ｄｒｋ１（ｉ，ｊ）とも表記される。一般に、第２のダークチャネル値Ｄ５０は、画像ＤＩＮの全域（全画素）について生成される。 Furthermore, the image processing apparatus 1 corrects the first dark channel value D 40 (Drk0 (i, j)) in the sky region D 30 to thereby output the first dark channel value output from the dark channel generation unit 40. A dark channel correction unit 50 that generates a second dark channel value D 50 (Drk1 (i, j)) from D 40 (Drk0 (i, j)) is provided. The first dark channel value D 40 of the pixel coordinates of the image (i, j) is denoted as Drk0 (i, j). Corrected dark channel value D 50, the image of coordinates (i, j) for the dark channel value of the pixel of, Drk1 (i, j) with the notation. In general, the second dark channel value D 50 is generated for the entire area of the image D IN (all pixels).

さらにまた、画像処理装置１は、第２のダークチャネル値Ｄ５０（Ｄｒｋ１（ｉ，ｊ））から入力画像ＤＩＮの各画素における透過率Ｄ６０（Ｔｒｋ（ｉ，ｊ））を算出する透過率算出部６０と、透過率Ｔｒｋ（ｉ，ｊ）を用いて入力画像ＤＩＮの各画素から霞成分を除去する補正を行うことによって、入力画像ＤＩＮから霞除去画像ＤＯＵＴ（Ｊ（ｉ，ｊ））を生成する霞除去画像生成部７０とを備えている。 Furthermore, the image processing apparatus 1 calculates the transmittance D60 (Trk (i, j)) at each pixel of the input image D IN from the second dark channel value D 50 (Drk1 (i, j)). a calculating unit 60, the transmittance Trk (i, j) by performing the correction for removing haze components from the pixels of the input image D iN using, haze from the input image D iN removed image D OUT (J (i, j)) and a wrinkle removal image generation unit 70.

遠方にある被写体（物体）をカメラ撮影する場合に、カメラ撮影によって得られた画像において、大気光の影響を受けて被写体が白くかすんで見える場合がある。大気光とは、大気中に浮遊する粒子（霞）による散乱光を示す。   When a subject (object) located far away is photographed with a camera, in the image obtained by the camera photographing, the subject may appear white and hazy due to the influence of atmospheric light. Atmospheric light refers to light scattered by particles (霞) suspended in the atmosphere.

霞が存在する入力画像は、物体からの直接光と、この物体の周りの大気光とを合わせた画像であるとみなすことができる。このことは、次式（１）で表される。

Figure 2017138647
An input image in which wrinkles are present can be regarded as an image in which direct light from an object and atmospheric light around the object are combined. This is expressed by the following equation (1).
Figure 2017138647

Ｉ（ｉ，ｊ）は、実際のカメラ撮影（観察）によって得られた入力画像ＤＩＮにおける、座標（ｉ，ｊ）の画素の光強度（画素値）を示す。Ｊ（ｉ，ｊ）は、実際のカメラ撮影によって得られた入力画像ＤＩＮにおける、物体からの直接光の座標（ｉ，ｊ）の画素の光強度（画素値）を示す。式（１）からわかるように、Ｊ（ｉ，ｊ）は、霞が除去された霞除去画像における座標（ｉ，ｊ）の画素の光強度を示す。Ｔｒｎ（ｉ，ｊ）は、座標（ｉ，ｊ）の画素における透過率（透過度）を示し、０＜Ｔｒｎ（ｉ，ｊ）＜１である。Ａは、霞によって分散した大気光の光強度を示す大気光画素値である。 I (i, j) is the input image D IN obtained by the actual camera imaging (observation), indicating coordinates (i, j) intensity (pixel value) of the pixel of. J (i, j) is the input image D IN obtained by the actual camera imaging, showing the light intensity of the pixels of the direct light coordinates from the object (i, j) (the pixel value). As can be seen from Equation (1), J (i, j) represents the light intensity of the pixel at the coordinates (i, j) in the wrinkle-removed image from which wrinkles have been removed. Trn (i, j) indicates the transmittance (transmittance) of the pixel at the coordinate (i, j), and 0 <Trn (i, j) <1. A is an atmospheric light pixel value indicating the light intensity of the atmospheric light dispersed by the eyelids.

大気光を求めるときに、撮像画像（原画像）である入力画像ＤＩＮから輝度が一番高い画素を大気光とみなす方法がある。しかし、入力画像ＤＩＮから輝度が一番高い画素を選択すると、入力画像ＤＩＮ中の白い物体を大気光と誤って認識（誤判断）する可能性がある。そこで、入力画像ＤＩＮ中の白い物体を大気光と誤って認識しないようにするために、パッチ（部分領域）ごとの画素値の最小値を用いる方法がある。この方法では、パッチごとの画素値の最小値を用いる場合には、霞だけが存在する画像のパッチごとの画素値の最小値を取得することができる。次に、そのパッチごとの画素値の最小値を取得した画像の中で、輝度の高いパッチを選択し、そのパッチに対応する入力画像の領域において、輝度の最も高い画素の輝度値を大気光とする。ただし、大気光の求め方は、これらの方法に限定されない。 When determining atmospheric light, there is a method regarded as Airglow the highest pixel luminance from the input image D IN a captured image (original image). However, choosing the highest pixel luminance from the input image D IN, which may erroneously recognize the atmosphere light white object in the input image D IN (misjudgment). In order to prevent a white object in the input image DIN from being erroneously recognized as atmospheric light, there is a method of using the minimum pixel value for each patch (partial region). In this method, when the minimum pixel value for each patch is used, it is possible to acquire the minimum pixel value for each patch of an image in which only wrinkles exist. Next, a patch having a high luminance is selected from the images obtained with the minimum pixel values for each patch, and the luminance value of the pixel having the highest luminance in the area of the input image corresponding to the patch is selected as the atmospheric light. And However, how to obtain atmospheric light is not limited to these methods.

大気光画素値取得部１０は、入力画像ＤＩＮを受け取り、入力画像ＤＩＮから大気光画素値Ａを算出する。大気光画素値取得部１０は、例えば、入力画像ＤＩＮの１画面の全体に対し１つの大気光画素値Ａを求める。入力画像ＤＩＮの画素値のうち、大気中の粒子による散乱光により得られる成分が大気光画素値Ａである。大気光画素値Ａとして、上記した部分領域ごとの画素値の最小値を用いることができる。なお、大気光画素値Ａの求め方は、入力画像ＤＩＮから求めるこの方法に限られたものではない。例えば、ユーザの入力操作によって、大気光画素値Ａをある値に設定してもよい。 Airglow pixel value acquiring unit 10 receives an input image D IN, calculates the atmospheric optical pixel value A from the input image D IN. Airglow pixel value acquiring unit 10, for example, determining one of the atmospheric optical pixel value A for the whole of one screen of input image D IN. Of the pixel values of the input image DIN, the component obtained by the scattered light from the particles in the atmosphere is the atmospheric light pixel value A. As the atmospheric light pixel value A, the minimum pixel value for each partial area described above can be used. Note that the method of obtaining the atmospheric light pixel value A is not limited to this method of obtaining from the input image DIN . For example, the atmospheric light pixel value A may be set to a certain value by a user input operation.

大気光補正部２０は、入力画像ＤＩＮと大気光画素値取得部１０で取得された大気光画素値Ａとを受け取り、入力画像ＤＩＮの各画素値を大気光画素値Ａで割った値を画素値とする大気光補正画像（大気光補正画像データ）Ｄ２０を出力する。この割り算は、チャネルごとに行われる。例えば、入力画像がＲチャネル、Ｇチャネル、Ｂチャネルの３チャネルから成るＲＧＢ画像である場合、入力画像ＤＩＮの各画素において、各画素のＲ画素値を大気光画素値ＡのＲ画素値で割り、各画素のＧ画素値を大気光画素値のＧ画素値で割り、各画素のＢ画素値を大気光画素値のＢ画素値で割る。また、入力画像ＤＩＮが輝度値である１チャネルから成るＹ（輝度信号）画像の場合、入力画像ＤＩＮの各画素のＹ画素値を大気光画素値ＡとしてのＹ画素値で割る。 The atmospheric light correction unit 20 receives the input image DIN and the atmospheric light pixel value A acquired by the atmospheric light pixel value acquisition unit 10, and values obtained by dividing each pixel value of the input image DIN by the atmospheric light pixel value A atmospheric exposure compensation image to pixel values and outputs the (atmospheric light corrected image data) D 20. This division is performed for each channel. For example, when the input image is an RGB image composed of three channels of R channel, G channel, and B channel, the R pixel value of each pixel is the R pixel value of the atmospheric light pixel value A in each pixel of the input image DIN. The G pixel value of each pixel is divided by the G pixel value of the atmospheric light pixel value, and the B pixel value of each pixel is divided by the B pixel value of the atmospheric light pixel value. Also, if the input image D IN is composed of one channel is a luminance value Y (luminance signal) image, dividing the Y pixel value of each pixel of the input image D IN with Y pixel value of the atmospheric optical pixel value A.

領域算出部としての空領域算出部３０は、入力画像ＤＩＮを受け取り、入力画像ＤＩＮの中から、空と推定される領域である空領域を算出（決定）する。空領域算出部３０は、入力画像ＤＩＮの中から、色が薄く（例えば、色が基準値より薄い）、コントラストが低い（例えば、コントラストが基準値より低い）領域を空領域と推定（決定）することができる。空領域は、過強調を回避するために強調が抑制されるべき領域である強調抑制領域の一例である。また、空領域算出部３０は、入力画像ＤＩＮの中のエッジが少ない（例えば、エッジが基準値より少ない）領域を空領域と判別（決定）してもよい。さらにまた、空領域算出部３０は、入力画像ＤＩＮの中からコントラストが低い領域を空領域と推定（決定）してもよい。また、空領域算出部３０は、入力画像ＤＩＮの中から、隣接する画素間の輝度値の差が小さい領域を空領域と推定（決定）してもよい。空領域を算出（決定）する際に空領域算出部３０が行う画像の走査は、画像の１画面に対応する表示領域を、左上から右下に向けて走査してもよいし、画像の１画面に対応する表示領域をラインごとに区切って走査してもよい。空領域算出部は、空と推定された空領域と、空領域以外の領域とを区別する値（情報）を持つ画像を出力する。 Check area calculation unit 30 as the area calculating unit receives the input image D IN, from the input image D IN, calculates the air area which is an area that is estimated to empty (decision) to. The sky region calculation unit 30 estimates (determines) a region of light color (for example, the color is lighter than the reference value) and low contrast (for example, the contrast is lower than the reference value) as the sky region from the input image DIN. )can do. The sky region is an example of an emphasis suppression region that is a region where emphasis should be suppressed in order to avoid overemphasis. Further, the free area calculating unit 30, an edge in the input image D IN is small (e.g., an edge is less than the reference value) region may be empty region and the discrimination (decision) a. Furthermore, the sky region calculation unit 30 may estimate (determine) a region having a low contrast from the input image DIN as a sky region. Further, the sky area calculation unit 30 may estimate (determine) an area having a small difference in luminance value between adjacent pixels from the input image DIN as an empty area. The scanning of the image performed by the sky region calculation unit 30 when calculating (determining) the sky region may be performed by scanning the display region corresponding to one screen of the image from the upper left to the lower right. The display area corresponding to the screen may be scanned while being divided for each line. The sky region calculation unit outputs an image having a value (information) that distinguishes a sky region estimated to be sky and a region other than the sky region.

ダークチャネル生成部４０は、大気光補正部２０から出力された大気光補正画像Ｄ２０を受け取り、大気光補正画像Ｄ２０の画素ごとに、それぞれの画素を中心とする局所領域（例えば、矩形の領域）に基づき第１のダークチャネル値Ｄ４０（すなわち、Ｄｒｋ０（ｉ，ｊ））を求める。局所領域は、例えば、注目画素を中心としたｉ方向（画面の水平方向）に３画素でｊ方向（画面の垂直方向）に３画素（３画素×３画素）の正方形であってもよいし、ｉ方向にｍ画素でｊ方向にｎ画素の長方形でもよく（ｍは正の整数であり、ｎは正の整数である）、また、四角形以外の領域であってもよい。また、注目画素は、必ずしも局所領域の中心（中央）の画素である必要はなく、中心以外の位置の画素であってもよい。 Dark channel generation unit 40 receives the atmospheric optical correction image D 20 outputted from the atmospheric optical correcting section 20, for each pixel of Airglow corrected image D 20, the local region around the respective pixel (e.g., rectangular The first dark channel value D 40 (that is, Drk0 (i, j)) is obtained based on the region. For example, the local region may be a square of 3 pixels in the i direction (horizontal direction of the screen) and 3 pixels (3 pixels × 3 pixels) in the j direction (vertical direction of the screen) with the target pixel as the center. A rectangle of m pixels in the i direction and n pixels in the j direction may be used (m is a positive integer, and n is a positive integer), or may be a region other than a rectangle. Further, the target pixel does not necessarily have to be the pixel at the center (center) of the local region, and may be a pixel at a position other than the center.

注目画素のダークチャネル値とは、注目画素を含む局所領域内の全ての画素のチャネル値（画素値）の内の最小値をいう。Ｒチャネル、Ｇチャネル、Ｂチャネルの３チャネルから成るＲＧＢ画像の場合、注目画素のダークチャネル値は、注目画素を含む局所領域内の全ての画素の画素値であるＲ画素値、Ｇ画素値、Ｂ画素値の内の最小値となる。輝度値１チャネルから成るＹ画像の場合は、注目画素のダークチャネル値は、その画素を含む局所領域内の全ての画素の輝度（Ｙ画素値）の内の最小値となる。なお、入力画像ＤＩＮは、ＲＧＢ画像又はＹ画像とは異なるチャネルで構成される画像であってもよい。ダークチャネル値の算出式は、以下の式（２）の通りである。

Figure 2017138647
The dark channel value of the target pixel refers to the minimum value among the channel values (pixel values) of all the pixels in the local region including the target pixel. In the case of an RGB image composed of three channels of R channel, G channel, and B channel, the dark channel value of the target pixel is the R pixel value, the G pixel value, which is the pixel value of all the pixels in the local region including the target pixel, This is the minimum value among the B pixel values. In the case of a Y image having a luminance value of one channel, the dark channel value of the pixel of interest is the minimum value among the luminances (Y pixel values) of all the pixels in the local region including that pixel. Note that the input image DIN may be an image composed of a channel different from that of the RGB image or the Y image. The calculation formula of the dark channel value is as the following formula (2).
Figure 2017138647

ここで、Ｄｒｋ（ｉ，ｊ）は、座標（ｉ，ｊ）の注目画素のダークチャネル値である。Ωは、座標（ｉ，ｊ）の注目画素を含む（例えば、中心とする）矩形の局所領域である。Ｉｍｉｎ（ｉ，ｊ）は、Ｒ画素値、Ｇ画素値、Ｂ画素値（すなわち、Ｒ，Ｇ，Ｂ成分）の内の最小値である。 Here, Drk (i, j) is the dark channel value of the pixel of interest at coordinates (i, j). Ω is a rectangular local region including (for example, centered) the pixel of interest at coordinates (i, j). I min (i, j) is the minimum value among the R pixel value, the G pixel value, and the B pixel value (that is, the R, G, and B components).

ダークチャネル生成部４０は、注目画素を含む局所領域においてダークチャネル値（第１のダークチャネル値）を求める計算を、局所領域の位置を変えて画像の全域について行い、計算によって得られた複数のダークチャネル値Ｄｒｋ（ｉ，ｊ）を複数の第１のダークチャネル値Ｄｒｋ０（ｉ，ｊ）として出力する。１画面の全画素についての第１のダークチャネル値は、ダークチャネルマップとも言われる。   The dark channel generation unit 40 performs calculation for obtaining the dark channel value (first dark channel value) in the local region including the target pixel for the entire area of the image while changing the position of the local region. The dark channel value Drk (i, j) is output as a plurality of first dark channel values Drk0 (i, j). The first dark channel value for all pixels of one screen is also referred to as a dark channel map.

図２は、第１のダークチャネル値と空領域における補正係数Ｋ（ｘ）の関係のグラフの一例を示す図である。ｘは、第１のダークチャンネル値である。ダークチャネル補正部５０は、ダークチャネル生成部４０から出力される各画素の第１のダークチャネル値と、空領域算出部３０から出力される、空領域と空領域以外の領域を識別する値を持つ画像を受け取る。ダークチャネル補正部５０は、空領域以外の領域の第１のダークチャネル値は、補正をせずにそのままの値で第２のダークチャネル値として出力する。ダークチャネル補正部５０は、空領域に関しては、第１のダークチャネル値に補正処理を掛ける補正処理を施す。補正係数は、図２に示されるように、第１のダークチャネル値が０から値ｄ０の範囲では、空領域の第１のダークチャネル値が高いほど、小さくなる係数とすることができる。空領域では、霞の濃い領域と同様に、第１のダークチャネル値が高くなる。しかし、空領域については、空領域であるから第１のダークチャネル値が高いのか、霞が濃いから第１のダークチャネル値が高いのかを区別できない。そこで、空領域については、霞除去のための処理が過度になされないようにするために、第１のダークチャネル値に補正係数Ｋ（ｘ）を掛けて、第１のダークチャネル値よりも値の小さい第２のダークチャネル値を生成する処理（補正）が行われる。また、図２では、第１のダークチャネル値が値ｄ０を超えた場合には、補正係数Ｋ（ｘ）は一定値である。   FIG. 2 is a diagram illustrating an example of a graph of the relationship between the first dark channel value and the correction coefficient K (x) in the sky region. x is the first dark channel value. The dark channel correction unit 50 outputs a first dark channel value of each pixel output from the dark channel generation unit 40 and a value that identifies the sky region and a region other than the sky region output from the sky region calculation unit 30. Receive the image you have. The dark channel correction unit 50 outputs the first dark channel value of the region other than the sky region as the second dark channel value as it is without correction. The dark channel correction unit 50 performs a correction process for applying a correction process to the first dark channel value for the sky region. As shown in FIG. 2, the correction coefficient can be a coefficient that decreases as the first dark channel value in the sky region increases in the range where the first dark channel value ranges from 0 to the value d0. In the sky region, the first dark channel value is high as in the dark region. However, since the sky region is an empty region, it cannot be distinguished whether the first dark channel value is high or whether the first dark channel value is high because of darkness. Therefore, for the sky region, the first dark channel value is multiplied by the correction coefficient K (x) so as not to excessively perform the process for removing wrinkles, and the value is larger than the first dark channel value. A process (correction) for generating a second dark channel value having a small value is performed. In FIG. 2, when the first dark channel value exceeds the value d0, the correction coefficient K (x) is a constant value.

図３は、第１のダークチャネル値と空領域における補正係数Ｋ（ｘ）の関係のグラフの他の例を示す図である。図３に示されるように、補正係数Ｋ（ｘ）が、ダークチャネル値がある値ｄ１までの間では、第１の傾きＡ１で減少させ、値ｄ１から値ｄ２までの間では、第２の傾きＡ２で減少させ、値ｄ２からｄ３の範囲内では、第３の傾きＡ３で減少させる（又は一定値とする）ようにしてもよい。値ｄ１、ｄ２、ｄ３は、第１のダークチャネル値の平均値から算出してもよい。   FIG. 3 is a diagram illustrating another example of a graph of the relationship between the first dark channel value and the correction coefficient K (x) in the sky region. As shown in FIG. 3, the correction coefficient K (x) decreases with the first slope A1 between the dark channel value and a certain value d1, and between the value d1 and the value d2, the second coefficient The value may be decreased by the inclination A2, and may be decreased by the third inclination A3 (or set to a constant value) within the range of the values d2 to d3. The values d1, d2, and d3 may be calculated from the average value of the first dark channel values.

一般に、屋外自然画像である風景画像においては、観測点からシーンまでの距離は、画像の中の上部に向かうほど、増加する傾向にあると考えられる。また、光は霞の中を通過する距離が長いほど、水滴と衝突する回数（頻度）が高くなるので、透過率は小さくなると考えられる。したがって、透過率は、画像の中の上部に向かうほど上方向に減少する傾向にあると考えられる。この傾向を用いて、空領域の補正を行うときに、水平走査ラインの垂直走査方向の位置が、上であるほど、第１のダークチャネル値をより高くする補正を行って、第２のダークチャネル値を生成するようにしてもよい。   In general, in a landscape image that is an outdoor natural image, the distance from an observation point to a scene is considered to tend to increase toward the top of the image. In addition, the longer the distance that light passes through the cage, the higher the number of times (frequency) it collides with the water droplets, so the transmittance is considered to be smaller. Therefore, it is considered that the transmittance tends to decrease in the upward direction toward the upper part in the image. Using this tendency, when the sky region is corrected, correction is performed such that the higher the position of the horizontal scanning line in the vertical scanning direction is, the higher the first dark channel value is. A channel value may be generated.

透過率算出部６０は、ダークチャネル補正部５０から出力された、画素ごとに算出されたダークチャネル値を受け取り、画素ごとに透過率Ｔｒｎ（ｉ，ｊ）を算出する。透過率Ｔｒｎ（ｉ，ｊ）は、大気光が霞を通過する割合を示す。透過率が１００である領域は、霞を含んでいない領域である。透過率が０である領域は、霞が濃い領域となる。透過率を推定するために、局所領域の最小値であるダークチャネル値（第２のダークチャネル値）を用いる。   The transmittance calculation unit 60 receives the dark channel value calculated for each pixel output from the dark channel correction unit 50, and calculates the transmittance Trn (i, j) for each pixel. The transmittance Trn (i, j) indicates the rate at which atmospheric light passes through the ridge. The region where the transmittance is 100 is a region that does not include wrinkles. A region where the transmittance is 0 is a region where the wrinkles are dark. In order to estimate the transmittance, the dark channel value (second dark channel value) that is the minimum value of the local region is used.

透過率Ｔｒｎ（ｉ，ｊ）は、ダークチャネル値Ｄｒｋ（ｉ，ｊ）を含む、次式（３）を用いて算出することができる。

Figure 2017138647
The transmittance Trn (i, j) can be calculated using the following equation (3) including the dark channel value Drk (i, j).
Figure 2017138647

ここで、ωは、霞除去の強さを制御するために予め与えられたパラメータである。人間は、霞によってある程度の遠近感を知覚する。したがって、完全に霞が取り除かれた画像は、不自然に見え、奥行き感も失われる。そこで、式（３）に、霞除去の強さを制御するパラメータωを用いている。Ａ０は、大気光画素値であり、例えば、大気光画素値ＡのＲ成分、Ｇ成分、Ｂ成分の平均値である。 Here, ω is a parameter given in advance to control the strength of wrinkle removal. Humans perceive a certain degree of perspective by the trap. Therefore, an image from which wrinkles are completely removed looks unnatural and loses a sense of depth. Therefore, the parameter ω that controls the strength of the wrinkle removal is used in the expression (3). A 0 is an atmospheric light pixel value, for example, an average value of the R component, G component, and B component of the atmospheric light pixel value A.

霞除去画像生成部７０は、入力画像ＤＩＮ（すなわち、Ｉ（ｉ，ｊ））と、大気光画素値取得部１０から取得された大気光画素値Ａと、透過率算出部６０により算出された透過率Ｔｒｎ（ｉ，ｊ）とから、以下の式（４）による計算を行うことによって、画素ごとに霞を除去した画像である霞除去画像（補正画像）を求める。

Figure 2017138647
The haze removal image generation unit 70 is calculated by the input image D IN (that is, I (i, j)), the atmospheric light pixel value A acquired from the atmospheric light pixel value acquisition unit 10, and the transmittance calculation unit 60. The wrinkle-removed image (corrected image), which is an image obtained by removing wrinkles for each pixel, is obtained from the transmittance Trn (i, j) by performing calculation according to the following equation (4).
Figure 2017138647

《１−２》効果
実施の形態１に係る画像処理装置１においては、ダークチャネル補正部５０は、空領域算出部３０によって算出された空領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値を補正して得られた値）と、空領域以外の領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値のそのままの値）とを決定し、空領域算出部３０によって算出された空領域における透過率Ｔｒｎ（ｉ，ｊ）と、空領域以外の領域における透過率Ｔｒｎ（ｉ，ｊ）とを画素ごとに算出する。これにより、空領域を濃い霞と誤認識した結果、空領域のコントラストを過強調することを抑制することができる。 << 1-2 >> Effect In the image processing apparatus 1 according to the first embodiment, the dark channel correction unit 50 uses the second dark channel used to calculate the transmittance in the sky region calculated by the sky region calculation unit 30. A value (for example, a value obtained by correcting the first dark channel value) and a second dark channel value (for example, the first dark channel value) used for calculating the transmittance in a region other than the sky region. The transmittance Trn (i, j) in the sky region calculated by the sky region calculation unit 30 and the transmittance Trn (i, j) in the region other than the sky region for each pixel. calculate. As a result, it is possible to suppress over-emphasis on the contrast of the sky region as a result of erroneously recognizing the sky region as a dark haze.

また、空領域は、階調の変化がなだらかであり、コントラスト補正によって信号を増幅すると偽の輪郭などが生じやすいこともある。空領域における第１のダークチャネル値に補正処理を施すことで、この偽輪郭の発生を抑制することができる。   In the sky region, the change in gradation is gentle, and if the signal is amplified by contrast correction, a false contour or the like is likely to occur. By performing the correction process on the first dark channel value in the sky region, the occurrence of this false contour can be suppressed.

《２》実施の形態２
《２−１》構成
図４は、本発明の実施の形態２に係る画像処理装置２の構成を概略的に示すブロック図である。図４において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る画像処理装置２は、領域検出部としての空領域算出部３０に代えて、逆光領域算出部８０を備えている点、及び、ダークチャネル補正部が、逆光領域と逆光領域以外の領域との間で、第１のダークチャネル値の補正方法を変えている点において、実施の形態１に係る画像処理装置１と相違する。以下の説明では、実施の形態１との相違点を中心に説明する。 << 2 >> Embodiment 2
<< 2-1 >> Configuration FIG. 4 is a block diagram schematically showing the configuration of the image processing apparatus 2 according to Embodiment 2 of the present invention. 4, components that are the same as or correspond to the components shown in FIG. 1 are assigned the same reference numerals as those shown in FIG. The image processing apparatus 2 according to Embodiment 2 includes a backlight region calculation unit 80 instead of the sky region calculation unit 30 serving as a region detection unit, and the dark channel correction unit includes a backlight region and a backlight region. This is different from the image processing apparatus 1 according to the first embodiment in that the correction method of the first dark channel value is changed between other regions. In the following description, differences from the first embodiment will be mainly described.

逆光領域算出部８０は、入力画像ＤＩＮから逆光が存在する領域と推定される逆光領域を算出する。逆光とは、被写体の背後からカメラに向かって光源の光が差している状態をいう。逆光領域は、白飛びしている領域である。白飛びとは、屋外自然画像における太陽及びその近傍の雲などの明るい部分の階調が失われ真っ白になっている様子である。逆光領域の有無は、画像の輝度ヒストグラムから判断可能である。例えば、輝度を横軸とし、頻度（その輝度を持つ画素の個数）を縦軸とした輝度ヒストグラムにおいて、ピーク状の最大値が存在する場合には、逆光領域が存在すると判定することができる。ダークチャネル生成部４０と、逆光領域算出部より出力された空領域のダークチャネル値を補正するダークチャネル補正部５０と、透過率算出部６０と、霞除去画像生成部７０を備えている。実施の形態２に係る画像処理装置２は、実施の形態１の空領域算出部３０を逆光領域算出部８０に変更したものであり、それ以外の部分は、実施の形態１と同様の構成となる。   The backlight region calculation unit 80 calculates a backlight region estimated as a region where backlight exists from the input image DIN. Backlight refers to a state in which light from a light source is directed toward the camera from behind the subject. The backlight region is a region where whiteout occurs. The whiteout is a state in which the gradation of bright portions such as the sun and nearby clouds in the outdoor natural image is lost and the image is completely white. The presence or absence of a backlight region can be determined from the luminance histogram of the image. For example, in a luminance histogram in which the horizontal axis represents luminance and the vertical axis represents frequency (the number of pixels having the luminance), it can be determined that a backlight region exists when a peak-like maximum value exists. A dark channel generation unit 40, a dark channel correction unit 50 that corrects the dark channel value of the sky region output from the backlight region calculation unit, a transmittance calculation unit 60, and a wrinkle removal image generation unit 70 are provided. The image processing apparatus 2 according to the second embodiment is obtained by changing the sky region calculation unit 30 of the first embodiment to a backlight region calculation unit 80, and other parts are the same as those in the first embodiment. Become.

《２−２》効果
実施の形態２に係る画像処理装置２においては、ダークチャネル補正部５０は、逆光領域算出部８０によって算出された逆光領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値を補正して得られた値）と、逆光領域以外の領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値のそのままの値）とを決定し、逆光領域算出部８０によって算出された逆光領域における透過率Ｔｒｎ（ｉ，ｊ）と、逆光領域以外の領域における透過率Ｔｒｎ（ｉ，ｊ）とを画素ごとに算出する。これにより、逆光領域を濃い霞と誤認識した結果、逆光領域のコントラストを過強調することを抑制することができる。 << 2-2 >> Effect In the image processing apparatus 2 according to the second embodiment, the dark channel correction unit 50 uses the second dark channel used for calculating the transmittance in the backlight region calculated by the backlight region calculation unit 80. A value (for example, a value obtained by correcting the first dark channel value) and a second dark channel value (for example, the first dark channel value) used for calculating the transmittance in a region other than the backlight region. The transmittance Trn (i, j) in the backlight region calculated by the backlight region calculation unit 80 and the transmittance Trn (i, j) in regions other than the backlight region are calculated for each pixel. calculate. As a result, it is possible to suppress over-enhancement of the contrast of the backlight region as a result of erroneously recognizing the backlight region as a dark mist.

また、逆光領域は、階調の変化がなだらかであり、コントラスト補正によって信号を増幅すると偽の輪郭などが生じやすいこともある。逆光領域における第１のダークチャネル値に補正処理を施すことで、この偽輪郭の発生を抑制することができる。   Further, the backlight region has a gentle gradation change, and if a signal is amplified by contrast correction, a false contour or the like may easily occur. By performing the correction process on the first dark channel value in the backlight region, the generation of the false contour can be suppressed.

《２−３》変形例
なお、実施の形態２に係る画像処理装置２は、実施の形態１における空領域算出部３０をさらに備え、ダークチャネル補正部５０が、空領域では空領域の補正係数を用いた補正処理を行い、逆光領域では逆光領域の補正係数を用いた補正処理を行ってもよい。逆光領域が空領域と重複する場合には、いずれかの補正処理（例えば、逆光領域におけ補正処理）を優先して行えばよい。 << 2-3 >> Modifications Note that the image processing apparatus 2 according to the second embodiment further includes the sky region calculation unit 30 in the first embodiment, and the dark channel correction unit 50 has a sky region correction coefficient in the sky region. May be performed, and correction processing using a correction coefficient of the backlight region may be performed in the backlight region. When the backlight region overlaps with the sky region, any correction processing (for example, correction processing in the backlight region) may be performed with priority.

《３》実施の形態３
図５は、実施の形態３に係る画像処理方法を示すフローチャートである。図５に示される画像処理方法は、処理装置（例えば、処理回路、又は、メモリとこのメモリに記憶されているプログラムを実行するプロセッサ）によって実行される。実施の形態３に係る画像処理方法は、実施の形態１又は２に係る画像処理装置１又は２によって実行可能である。図５に示されるステップＳ１１の処理は、図１に示される大気光画素値取得部１０の処理と同じであり、ステップＳ１２の処理は、図１に示される大気光補正部２０の処理と同じであり、ステップＳ１３の処理は、図１に示される空領域算出部３０又は図４に示される逆光領域算出部８０の処理と同じである。また、ステップＳ１４の処理は、図１に示されるダークチャネル生成部４０の処理と同じであり、ステップＳ１５の処理は、図１又は図４に示されるダークチャネル補正部５０の処理と同じである。また、ステップＳ１６の処理は、図１に示される透過率算出部６０の処理と同じであり、ステップＳ１７の処理は、図１に示される霞除去画像生成部７０の処理と同じである。 << 3 >> Embodiment 3
FIG. 5 is a flowchart showing an image processing method according to the third embodiment. The image processing method shown in FIG. 5 is executed by a processing device (for example, a processing circuit or a processor that executes a memory and a program stored in the memory). The image processing method according to the third embodiment can be executed by the image processing apparatus 1 or 2 according to the first or second embodiment. The process of step S11 shown in FIG. 5 is the same as the process of the atmospheric light pixel value acquisition unit 10 shown in FIG. 1, and the process of step S12 is the same as the process of the atmospheric light correction unit 20 shown in FIG. The process of step S13 is the same as the process of the sky area calculation unit 30 shown in FIG. 1 or the backlight area calculation unit 80 shown in FIG. Further, the process of step S14 is the same as the process of the dark channel generation unit 40 shown in FIG. 1, and the process of step S15 is the same as the process of the dark channel correction unit 50 shown in FIG. 1 or FIG. . Further, the process of step S16 is the same as the process of the transmittance calculating unit 60 shown in FIG. 1, and the process of step S17 is the same as the process of the wrinkle removal image generating unit 70 shown in FIG.

以上に説明したように、実施の形態３に係る画像処理方法によれば、入力画像ＤＩＮに基づく画像から、霞を除去する処理を行うことにより、霞フリー画像の画像データとしての霞除去画像ＤＯＵＴを生成することができる。また、空領域又は逆光領域のコントラストの過強調を抑制することができる。また、偽輪郭の発生を抑制することができる。 As described above, according to the image processing method according to the third embodiment, by performing the process of removing the wrinkles from the image based on the input image DIN , the wrinkle removal image as the image data of the wrinkle-free image D OUT can be generated. In addition, over-enhancement of contrast in the sky region or the backlight region can be suppressed. Moreover, generation | occurrence | production of a false contour can be suppressed.

《４》実施の形態４
図６は、本発明の実施の形態４に係る画像処理装置を示すハードウェア構成図である。実施の形態６に係る画像処理装置は、実施の形態１及び２に係る画像処理装置１及び２を実現することができる。実施の形態４に係る画像処理装置（処理装置９０）は、図６に示されるように、集積回路などの処理回路から構成され得る。また、処理装置９０は、メモリ９１と、メモリ９１に格納されているプログラムを実行することができるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９２とから構成され得る。また、処理装置９０は、半導体メモリなどから構成されるフレームメモリ９３を備えてもよい。ＣＰＵ９２は、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とも称される。メモリ９１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、などの、不揮発性又は揮発性の半導体メモリ、或いは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などである。 << 4 >> Embodiment 4
FIG. 6 is a hardware configuration diagram showing an image processing apparatus according to Embodiment 4 of the present invention. The image processing apparatus according to the sixth embodiment can realize the image processing apparatuses 1 and 2 according to the first and second embodiments. As shown in FIG. 6, the image processing apparatus (processing apparatus 90) according to the fourth embodiment can be configured by a processing circuit such as an integrated circuit. In addition, the processing device 90 can be configured by a memory 91 and a CPU (Central Processing Unit) 92 that can execute a program stored in the memory 91. Further, the processing device 90 may include a frame memory 93 including a semiconductor memory. The CPU 92 is also referred to as a central processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor). The memory 91 is, for example, a non-volatile or volatile semiconductor memory such as a RAM (Random Access Memory), a ROM (Read Only Memory), a flash memory, or a magnetic disk, a flexible disk, an optical disk, a compact disk, a DVD ( Digital Versatile Disc).

実施の形態１及び２に係る画像処理装置１及び２における各構成の機能は、処理装置９０によって実現され得る。画像処理装置１及び２における各構成の機能は、処理装置９０、すなわち、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現され得る。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ９１に格納される。ＣＰＵ９２は、メモリ９１に記憶されたプログラムを読み出して実行することにより、実施の形態１及び２に係る画像処理装置１及び２における各構成の機能を実現する。上記以外の点については、実施の形態４は、実施の形態１又は２と同様である。   The functions of the components in the image processing apparatuses 1 and 2 according to the first and second embodiments can be realized by the processing apparatus 90. The functions of the components in the image processing apparatuses 1 and 2 can be realized by the processing apparatus 90, that is, software, firmware, or a combination of software and firmware. Software and firmware are described as programs and stored in the memory 91. The CPU 92 implements the functions of the components in the image processing apparatuses 1 and 2 according to the first and second embodiments by reading and executing the program stored in the memory 91. Regarding points other than those described above, the fourth embodiment is the same as the first or second embodiment.

《５》変形例
上記実施の形態１及び２に係る画像処理装置は、例えば、ビデオカメラのような映像撮影装置に適用可能である。図７は、本発明の実施の形態１又は２に係る画像処理装置が画像処理部７２として適用された映像撮影装置の構成を概略的に示すブロック図である。実施の形態１又は２に係る画像処理装置が適用された映像撮影装置は、カメラ撮影によって入力画像ＤＩＮを生成する撮像部７１と、実施の形態１又は２に係る画像処理装置と同じ構成及び機能を有する画像処理部７２とを備える。このような映像撮影装置は、霞画像を撮影した場合であっても、霞除去画像ＤＯＵＴをリアルタイムに出力することができる。 << 5 >> Modified Examples The image processing apparatus according to the first and second embodiments can be applied to a video photographing apparatus such as a video camera. FIG. 7 is a block diagram schematically showing a configuration of a video imaging apparatus to which the image processing apparatus according to Embodiment 1 or 2 of the present invention is applied as the image processing unit 72. Image photographing apparatus an image processing apparatus according to the first or second embodiment is applied includes an imaging unit 71 for generating an input image D IN by camera imaging, the image processing apparatus the same configuration and the according to the first or second embodiment And an image processing unit 72 having a function. Such a video photographing apparatus can output the wrinkle removal image D OUT in real time even when a haze image is taken.

また、上記実施の形態１及び２に係る画像処理装置は、映像記録再生装置（例えば、ハードディスクレコーダ及び光ディスクレコーダなど）に適用可能である。図８は、本発明の実施の形態１又は２に係る画像処理装置が画像処理部８２として適用された映像記録再生装置の構成を概略的に示すブロック図である。実施の形態１又は２に係る画像処理装置が適用された映像記録再生装置は、画像データを情報記録媒体８３に記録し、情報記録媒体８３に記録されている画像データを画像処理装置としての画像処理部８２に入力される入力画像ＤＩＮとして出力する記録再生部８１と、この記録再生部８１から出力された入力画像ＤＩＮに画像処理を施して霞除去画像ＤＯＵＴを生成する画像処理部８２とを備える。この画像処理部８２は、実施の形態１又は２に係る画像処理装置と同じ構成及び機能を有する。このような映像記録再生装置は、霞画像が情報記録媒体８３に記録されている場合であっても、再生時に霞除去画像ＤＯＵＴを出力することができる。 The image processing apparatuses according to the first and second embodiments can be applied to video recording / reproducing apparatuses (for example, hard disk recorders and optical disk recorders). FIG. 8 is a block diagram schematically showing the configuration of a video recording / reproducing apparatus to which the image processing apparatus according to Embodiment 1 or 2 of the present invention is applied as the image processing unit 82. The video recording / playback apparatus to which the image processing apparatus according to Embodiment 1 or 2 is applied records image data on the information recording medium 83, and uses the image data recorded on the information recording medium 83 as an image processing apparatus. a recording and reproducing unit 81 and output as an input image D iN inputted to the processing unit 82, an image processing unit for generating a mist removing image D OUT by performing image processing on the input image D iN outputted from the recording and reproducing unit 81 82. The image processing unit 82 has the same configuration and function as the image processing apparatus according to the first or second embodiment. Such a video recording / reproducing apparatus can output the wrinkle-removed image D OUT during reproduction even when the haze image is recorded on the information recording medium 83.

さらに、本発明は、上記実施の形態１又は２に係る画像処理装置における処理（又は、実施の形態３に係る画像処理方法）をコンピュータに実行させるためのプログラム、及び、このプログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。   Furthermore, the present invention provides a program for causing a computer to execute processing in the image processing apparatus according to the first or second embodiment (or an image processing method according to the third embodiment), and a computer recording the program A readable recording medium can be included.

１，２ 画像処理装置、 １０ 大気光画素値取得部、 ２０ 大気光補正部、 ３０ 空領域算出部（領域算出部）、 ４０ ダークチャネル生成部（最小画素算出部）、 ５０ ダークチャネル補正部、 ６０ 透過率算出部、 ７０ 霞除去画像生成部、 ８０ 逆光領域算出部（領域算出部）。
1, 2 image processing devices, 10 atmospheric light pixel value acquisition unit, 20 atmospheric light correction unit, 30 sky region calculation unit (region calculation unit), 40 dark channel generation unit (minimum pixel calculation unit), 50 dark channel correction unit, 60 transmittance calculation unit, 70 haze removal image generation unit, 80 backlight region calculation unit (region calculation unit).

Claims (9)

大気光画素値を取得する大気光画素値取得部と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する大気光補正部と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する領域算出部と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するダークチャネル生成部と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記ダークチャネル生成部から出力された前記第１のダークチャネル値から第２のダークチャネル値を生成するダークチャネル補正部と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する処理を行うことによって、前記入力画像から霞除去画像を生成する霞除去画像生成部と
を備えたことを特徴とする画像処理装置。 An atmospheric light pixel value acquisition unit for acquiring an atmospheric light pixel value;
An atmospheric light correction unit that generates an atmospheric light correction image from the input image by correcting the input image using the atmospheric light pixel value;
An area calculation unit that calculates an enhancement suppression area that is at least one of a sky area estimated from the input image and a backlight area estimated as an area where the backlight exists; and
A dark channel generation unit that outputs a minimum pixel value in a local region in the atmospheric light correction image as a first dark channel value for a target pixel in the local region;
A dark channel correction unit that generates a second dark channel value from the first dark channel value output from the dark channel generation unit by correcting the first dark channel value in the enhancement suppression region;
A transmittance calculating unit that calculates the transmittance of each pixel of the input image from the second dark channel value;
An image processing comprising: a wrinkle removal image generating unit that generates a wrinkle removal image from the input image by performing a process of removing a wrinkle component from each pixel of the input image using the transmittance. apparatus. 前記ダークチャネル補正部は、前記強調抑制領域における前記第１のダークチャネル値を補正し、前記強調抑制領域以外の領域における前記第１のダークチャネル値を補正しないことによって、前記第２のダークチャネル値を生成することを特徴とする請求項１に記載の画像処理装置。   The dark channel correction unit corrects the first dark channel value in the enhancement suppression region and does not correct the first dark channel value in a region other than the enhancement suppression region. The image processing apparatus according to claim 1, wherein a value is generated. 前記領域算出部は、前記入力画像における色、コントラスト、及びエッジの内の少なくとも１つに基づいて、前記強調抑制領域としての前記空領域を算出する空領域算出部を含む
ことを特徴とする請求項１又は２に記載の画像処理装置。 The region calculation unit includes a sky region calculation unit that calculates the sky region as the enhancement suppression region based on at least one of color, contrast, and edge in the input image. Item 3. The image processing apparatus according to Item 1 or 2. 前記領域算出部は、前記入力画像における輝度ヒストグラムに基づいて、前記強調抑制領域としての前記逆光領域を算出する逆光領域算出部を含む
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 The said area | region calculation part contains the backlight area | region calculation part which calculates the said backlight area | region as said emphasis suppression area | region based on the brightness | luminance histogram in the said input image. Any one of Claim 1 to 3 characterized by the above-mentioned. The image processing apparatus described. 大気光画素値を取得するステップと、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成するステップと、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出するステップと、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するステップと、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成するステップと、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出するステップと、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成するステップと
を有することを特徴とする画像処理方法。 Obtaining an atmospheric light pixel value;
Generating an atmospheric light corrected image from the input image by correcting the input image using the atmospheric light pixel value;
Calculating an enhancement suppression region that is at least one of a sky region estimated from the input image and a backlight region estimated to be a region where backlight exists; and
Outputting a minimum pixel value in the local region in the atmospheric light correction image as a first dark channel value for the pixel of interest in the local region;
Generating a second dark channel value from the first dark channel value in the step of outputting the first dark channel value by correcting the first dark channel value in the enhancement suppression region;
Calculating the transmittance at each pixel of the input image from the second dark channel value;
An image processing method comprising: generating a wrinkle-removed image from the input image by performing correction for removing a wrinkle component from each pixel of the input image using the transmittance. 請求項１から４のいずれか１項に記載の画像処理装置である画像処理部と、
前記画像処理部に入力される入力画像を生成する撮像部と、
を備えることを特徴とする映像撮影装置。 An image processing unit that is the image processing apparatus according to claim 1;
An imaging unit that generates an input image to be input to the image processing unit;
A video photographing apparatus comprising: 請求項１から４のいずれか１項に記載の画像処理装置である画像処理部と、
情報記録媒体に記録されている画像データを前記画像処理部に入力される入力画像として出力する記録再生部と、
を備えることを特徴とする映像記録再生装置。 An image processing unit that is the image processing apparatus according to claim 1;
A recording / reproducing unit that outputs image data recorded on an information recording medium as an input image input to the image processing unit;
A video recording / reproducing apparatus comprising: コンピュータに、
大気光画素値を取得する処理と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する処理と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する処理と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力する処理と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成する処理と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する処理と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成する処理と
を実行させるためのプログラム。 On the computer,
Processing to obtain atmospheric light pixel values;
Processing to generate an atmospheric light correction image from the input image by correcting the input image using the atmospheric light pixel value;
A process of calculating an enhancement suppression region that is at least one of a sky region estimated from the input image and a backlight region estimated to be a region where backlight exists; and
A process of outputting a minimum pixel value in the local region in the atmospheric light correction image as a first dark channel value for a target pixel in the local region;
Processing to generate a second dark channel value from the first dark channel value in the step of outputting the first dark channel value by correcting the first dark channel value in the enhancement suppression region;
A process of calculating the transmittance at each pixel of the input image from the second dark channel value;
A program for executing a process of generating a wrinkle-removed image from the input image by performing correction for removing a wrinkle component from each pixel of the input image using the transmittance. コンピュータに、
大気光画素値を取得する処理と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する処理と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する処理と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力する処理と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成する処理と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する処理と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成する処理と
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
On the computer,
Processing to obtain atmospheric light pixel values;
Processing to generate an atmospheric light correction image from the input image by correcting the input image using the atmospheric light pixel value;
A process of calculating an enhancement suppression region that is at least one of a sky region estimated from the input image and a backlight region estimated to be a region where backlight exists; and
A process of outputting a minimum pixel value in the local region in the atmospheric light correction image as a first dark channel value for a target pixel in the local region;
Processing to generate a second dark channel value from the first dark channel value in the step of outputting the first dark channel value by correcting the first dark channel value in the enhancement suppression region;
A process of calculating the transmittance at each pixel of the input image from the second dark channel value;
A computer-readable recording in which a program for executing processing for generating a wrinkle-removed image from the input image by performing correction for removing a wrinkle component from each pixel of the input image using the transmittance Medium.
JP2016017016A 2016-02-01 2016-02-01 Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium Pending JP2017138647A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016017016A JP2017138647A (en) 2016-02-01 2016-02-01 Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016017016A JP2017138647A (en) 2016-02-01 2016-02-01 Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium

Publications (1)

Publication Number Publication Date
JP2017138647A true JP2017138647A (en) 2017-08-10

Family

ID=59564986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016017016A Pending JP2017138647A (en) 2016-02-01 2016-02-01 Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium

Country Status (1)

Country Link
JP (1) JP2017138647A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190091900A (en) * 2018-01-30 2019-08-07 한국기술교육대학교 산학협력단 Image processing apparatus for dehazing
CN110211067A (en) * 2019-05-27 2019-09-06 哈尔滨工程大学 One kind being used for UUV Layer Near The Sea Surface visible images defogging method
CN110929722A (en) * 2019-11-04 2020-03-27 浙江农林大学 Tree detection method based on whole tree image
CN111091501A (en) * 2018-10-24 2020-05-01 天津工业大学 Parameter estimation method of atmosphere scattering defogging model
CN111311502A (en) * 2019-09-04 2020-06-19 中国科学院合肥物质科学研究院 Method for processing foggy day image by using bidirectional weighted fusion
CN111598777A (en) * 2020-05-13 2020-08-28 上海眼控科技股份有限公司 Sky cloud image processing method, computer device and readable storage medium
CN111738959A (en) * 2020-06-30 2020-10-02 福州大学 FPGA-based real-time demisting method for video image
EP3745348A1 (en) 2019-05-27 2020-12-02 Canon Kabushiki Kaisha Image processing for removing fog or haze in images
CN114881896A (en) * 2022-07-12 2022-08-09 广东欧谱曼迪科技有限公司 Endoscope image real-time defogging method and device, electronic equipment and storage medium
CN116309607A (en) * 2023-05-25 2023-06-23 山东航宇游艇发展有限公司 Ship type intelligent water rescue platform based on machine vision
CN116630349A (en) * 2023-07-25 2023-08-22 山东爱福地生物股份有限公司 Straw returning area rapid segmentation method based on high-resolution remote sensing image

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102016838B1 (en) * 2018-01-30 2019-08-30 한국기술교육대학교 산학협력단 Image processing apparatus for dehazing
KR20190091900A (en) * 2018-01-30 2019-08-07 한국기술교육대학교 산학협력단 Image processing apparatus for dehazing
CN111091501A (en) * 2018-10-24 2020-05-01 天津工业大学 Parameter estimation method of atmosphere scattering defogging model
EP3745348A1 (en) 2019-05-27 2020-12-02 Canon Kabushiki Kaisha Image processing for removing fog or haze in images
CN110211067A (en) * 2019-05-27 2019-09-06 哈尔滨工程大学 One kind being used for UUV Layer Near The Sea Surface visible images defogging method
US11301974B2 (en) 2019-05-27 2022-04-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image capturing apparatus, and storage medium
CN111311502A (en) * 2019-09-04 2020-06-19 中国科学院合肥物质科学研究院 Method for processing foggy day image by using bidirectional weighted fusion
CN110929722A (en) * 2019-11-04 2020-03-27 浙江农林大学 Tree detection method based on whole tree image
CN111598777A (en) * 2020-05-13 2020-08-28 上海眼控科技股份有限公司 Sky cloud image processing method, computer device and readable storage medium
CN111738959B (en) * 2020-06-30 2022-08-19 福州大学 Real-time defogging method for video image based on FPGA
CN111738959A (en) * 2020-06-30 2020-10-02 福州大学 FPGA-based real-time demisting method for video image
CN114881896A (en) * 2022-07-12 2022-08-09 广东欧谱曼迪科技有限公司 Endoscope image real-time defogging method and device, electronic equipment and storage medium
CN114881896B (en) * 2022-07-12 2022-10-04 广东欧谱曼迪科技有限公司 Endoscope image real-time defogging method and device, electronic equipment and storage medium
CN116309607A (en) * 2023-05-25 2023-06-23 山东航宇游艇发展有限公司 Ship type intelligent water rescue platform based on machine vision
CN116309607B (en) * 2023-05-25 2023-07-28 山东航宇游艇发展有限公司 Ship type intelligent water rescue platform based on machine vision
CN116630349A (en) * 2023-07-25 2023-08-22 山东爱福地生物股份有限公司 Straw returning area rapid segmentation method based on high-resolution remote sensing image
CN116630349B (en) * 2023-07-25 2023-10-20 山东爱福地生物股份有限公司 Straw returning area rapid segmentation method based on high-resolution remote sensing image

Similar Documents

Publication Publication Date Title
JP2017138647A (en) Image processing device, image processing method, video photographing apparatus, video recording reproduction apparatus, program and recording medium
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US10672134B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program
US20200043225A1 (en) Image processing apparatus and control method thereof
JP7369175B2 (en) Image processing device and its control method and program
US8391597B2 (en) Image capturing apparatus, method for capturing image, and program
JP6579868B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP6559229B2 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP6352547B2 (en) Image processing apparatus and image processing method
US20200389573A1 (en) Image processing system, image processing method and storage medium
JP6613697B2 (en) Image processing apparatus, program, and recording medium
US11301974B2 (en) Image processing apparatus, image processing method, image capturing apparatus, and storage medium
US9762805B2 (en) Image processing apparatus performing tone correction process and method, and image capturing apparatus performing tone correction process
KR102346752B1 (en) Image processing system and image processing method
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
JP6556033B2 (en) Image processing apparatus, image processing method, and program
US11334966B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2020195127A (en) Image processing device, image processing method, imaging apparatus, program, and storage medium
JP2008147714A (en) Image processor and image processing method
JP2017182668A (en) Data processor, imaging device, and data processing method
JP6324192B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
JP5099164B2 (en) Image processing method, image processing program, image processing apparatus, and imaging apparatus
JP5367140B2 (en) White balance control device, imaging device using the same, and white balance control method
JP2021082937A (en) Image processing device, image processing method, and program
JP2016213575A (en) Image processing system and control method of the same