JP2017010114A - Image correction device, image correction method, and computer program - Google Patents
Image correction device, image correction method, and computer program Download PDFInfo
- Publication number
- JP2017010114A JP2017010114A JP2015122073A JP2015122073A JP2017010114A JP 2017010114 A JP2017010114 A JP 2017010114A JP 2015122073 A JP2015122073 A JP 2015122073A JP 2015122073 A JP2015122073 A JP 2015122073A JP 2017010114 A JP2017010114 A JP 2017010114A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- correction
- target pixel
- correction target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003702 image correction Methods 0.000 title claims description 22
- 238000000034 method Methods 0.000 title claims description 22
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000012937 correction Methods 0.000 claims abstract description 91
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 10
- 208000003443 Unconsciousness Diseases 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像を補正する技術に関する。 The present invention relates to a technique for correcting an image.
デジタルカメラの撮像素子は、メインレンズによって結像される像を記録する。撮像素子が各画素において一度に受光できる光量の範囲は予め決まっている。そのため、撮像素子が取得できる範囲を超えた光量が撮像素子に入光した場合、生成される画像の一部の輝度値がオーバーフローしてしまう。このような現象は“白とび”と呼ばれる。色深度が符号なし8ビットの画像では、白とびが発生した画素の輝度値は最大値の255になってしまう。本来なら255以上の値で表されるべき画像の情報が、全て255になってしまうために表現できなくなってしまう。逆に、極端に少ない光量しか撮像素子に入光しない場合、生成される画像の一部の輝度値がゼロとなってしまう。このような現象は“黒潰れ”と呼ばれる。
このように、撮像素子が一度に取得できる光量には、予め定められた範囲がある。このことが、ダイナミックレンジの広い画像を取得する際の妨げとなっている。ダイナミックレンジを広くした画像を取得するための方法として、非特許文献1に記載された技術や、非特許文献2に記載された技術がある。
The image sensor of the digital camera records an image formed by the main lens. The range of the amount of light that can be received by the image sensor at each pixel is determined in advance. Therefore, when the amount of light exceeding the range that can be acquired by the image sensor enters the image sensor, the luminance value of a part of the generated image overflows. Such a phenomenon is called “white jump”. In an 8-bit image with an unsigned color depth, the luminance value of a pixel in which overexposure occurs is the maximum value of 255. Originally, the information of the image that should be represented by a value of 255 or more is all 255, so that it cannot be expressed. On the other hand, when only an extremely small amount of light enters the image sensor, the luminance value of a part of the generated image becomes zero. Such a phenomenon is called “black crushing”.
As described above, there is a predetermined range in the amount of light that can be acquired by the image sensor at one time. This is a hindrance when acquiring an image with a wide dynamic range. As a method for acquiring an image with a wide dynamic range, there are a technique described in Non-Patent Document 1 and a technique described in Non-Patent Document 2.
しかしながら、非特許文献1に記載された技術では、一つのシーンに対してレンズ絞りを変えながら複数枚の撮像を行う必要がある。そのため、動的なシーンに用いることができないという問題があった。
また、非特許文献2に記載された技術では、LCoSを用いた可変露光カメラによって、画素単位で露光を制御することが可能となっている。そのため、ダイナミックレンジがより広い画像(HDR:High Dynamic Range)画像を一度の撮像で生成することが可能である。しかしながら、カメラではない特殊なデバイスを用いる必要があるため、利便性に欠ける。
上記事情に鑑み、本発明は、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することを可能とする技術の提供を目的とする。
However, in the technique described in Non-Patent Document 1, it is necessary to capture a plurality of images while changing the lens aperture for one scene. Therefore, there is a problem that it cannot be used for a dynamic scene.
In the technique described in Non-Patent Document 2, it is possible to control exposure on a pixel basis by a variable exposure camera using LCoS. Therefore, an image having a wider dynamic range (HDR: High Dynamic Range) can be generated by one imaging. However, since it is necessary to use a special device that is not a camera, it is not convenient.
In view of the above circumstances, an object of the present invention is to provide a technique that enables an image having a wider dynamic range to be generated by a simpler apparatus.
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得部と、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に1又は複数取得する代替画素取得部と、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、を備える画像補正装置である。 One aspect of the present invention is an image acquisition unit that acquires a light field image having a plurality of element images in which the same subject is imaged, and a region where the luminance value is biased in each element image A correction target pixel detection unit that detects a correction target pixel that satisfies a condition indicating that the correction target pixel is included, and a pixel that is included in an element image different from the correction target pixel and that is reflected in the correction target pixel; An alternative pixel acquisition unit that acquires one or more alternative pixels that are pixels in which the same subject is captured, and corrects the luminance value of the correction target pixel based on the luminance value of the alternative pixel. And a correction unit.
本発明の一態様は、上記の画像補正装置であって、前記代替画素取得部は、前記代替画素のうち、前記条件を満たさない代替画素のみを取得する。 One aspect of the present invention is the above-described image correction apparatus, wherein the substitute pixel acquisition unit acquires only substitute pixels that do not satisfy the condition among the substitute pixels.
本発明の一態様は、同一の被写体が撮像された複数の要素画像を有するライトフィールド画像を取得する画像取得ステップと、前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に1又は複数取得する代替画素取得ステップと、前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、を有する画像補正方法である。 One aspect of the present invention is an image acquisition step of acquiring a light field image having a plurality of element images in which the same subject is imaged, and a region where the luminance value is biased in each element image A correction target pixel detecting step for detecting a correction target pixel that satisfies a condition indicating that the correction target pixel is included, and a pixel that is included in an element image different from the correction target pixel, and that is reflected in the correction target pixel; An alternative pixel acquisition step of acquiring one or a plurality of alternative pixels, which are pixels in which the same subject is captured, for each correction target pixel, and correcting the luminance value of the correction target pixel based on the luminance value of the alternative pixel And a correction step.
本発明の一態様は、上記の画像補正装置としてコンピュータを機能させるためのコンピュータプログラムである。 One embodiment of the present invention is a computer program for causing a computer to function as the above-described image correction apparatus.
本発明により、ダイナミックレンジがより広い画像を、より簡易な装置によって生成することが可能となる。 According to the present invention, an image having a wider dynamic range can be generated by a simpler apparatus.
図1は、画像補正装置10の機能構成を示す概略ブロック図である。画像補正装置10は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備える。画像補正装置10のCPUは、画像補正装置10のメモリに予め記憶されている画像補正プログラムを実行する。CPUが画像補正プログラムを実行することによって、画像補正装置10は、画像取得部101、マイクロレンズ画像取得部102、補正対象画素検出部103、代替画素取得部104及び補正部105を備える装置として機能する。なお、画像補正装置10の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。画像補正プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。画像補正プログラムは、電気通信回線を介して送信されてもよい。 FIG. 1 is a schematic block diagram illustrating a functional configuration of the image correction apparatus 10. The image correction apparatus 10 includes a CPU (Central Processing Unit), a memory, an auxiliary storage device, and the like connected by a bus. The CPU of the image correction apparatus 10 executes an image correction program stored in advance in the memory of the image correction apparatus 10. When the CPU executes the image correction program, the image correction apparatus 10 functions as an apparatus including the image acquisition unit 101, the microlens image acquisition unit 102, the correction target pixel detection unit 103, the alternative pixel acquisition unit 104, and the correction unit 105. To do. Note that all or part of the functions of the image correction apparatus 10 may be realized using hardware such as an application specific integrated circuit (ASIC), a programmable logic device (PLD), or a field programmable gate array (FPGA). . The image correction program may be recorded on a computer-readable recording medium. The computer-readable recording medium is, for example, a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in the computer system. The image correction program may be transmitted via a telecommunication line.
画像取得部101は、ライトフィールド画像を入力する。ライトフィールド画像は、同一の被写体を僅かに異なる視点で撮像された複数の画像(以下「要素画像」という。)を、視点の位置に応じて配置することによって形成される画像である。ライトフィールド画像は、例えば平行に並べられたカメラアレイを用いて撮影された多視点画像群を並べることによって形成されてもよい。また、ライトフィールド画像は、例えばプレノプティックカメラによって撮像されてもよい。プレノプティックカメラは、メインレンズと撮像素子との間にマイクロレンズアレイを有するカメラである。プレノプティックカメラで撮像された場合、マイクロレンズアレイを構成する一つ一つのマイクロレンズに応じて撮像された画像が要素画像である。この場合、要素画像はマイクロレンズ画像と呼ばれることもある。以下の説明では、画像取得部101は、プレノプティックカメラによって撮像されたライトフィールド画像を取得することを想定して説明する。 The image acquisition unit 101 inputs a light field image. The light field image is an image formed by arranging a plurality of images (hereinafter referred to as “element images”) obtained by capturing the same subject from slightly different viewpoints according to the position of the viewpoint. The light field image may be formed by, for example, arranging a multi-viewpoint image group photographed using a camera array arranged in parallel. The light field image may be captured by a plenoptic camera, for example. A plenoptic camera is a camera having a microlens array between a main lens and an imaging device. When imaged with a plenoptic camera, an image imaged according to each microlens constituting the microlens array is an element image. In this case, the element image may be called a microlens image. In the following description, it is assumed that the image acquisition unit 101 acquires a light field image captured by a plenoptic camera.
マイクロレンズ画像取得部102は、画像取得部101によって入力されたライトフィールド画像から、複数のマイクロレンズ画像を取得する。マイクロレンズ画像取得部102は、取得されたマイクロレンズ画像毎に独立した画像座標系を設定する。 The microlens image acquisition unit 102 acquires a plurality of microlens images from the light field image input by the image acquisition unit 101. The microlens image acquisition unit 102 sets an independent image coordinate system for each acquired microlens image.
補正対象画素検出部103は、各マイクロレンズ画像の各画素において、輝度値が補正対象となる所定の条件を満たしているか否か判定する。所定の条件とは、ダイナミックレンジの影響により、そのマイクロレンズ画像において輝度値が偏ってしまっている領域の画素であることを示す条件である。所定の条件は、例えば、白とびと呼ばれる現象が生じていることを示す条件や、黒潰れと呼ばれる現象が生じていることを示す条件である。 The correction target pixel detection unit 103 determines whether or not the luminance value satisfies a predetermined condition to be corrected in each pixel of each microlens image. The predetermined condition is a condition indicating a pixel in a region where the luminance value is biased in the microlens image due to the influence of the dynamic range. The predetermined condition is, for example, a condition indicating that a phenomenon called overexposure occurs, or a condition indicating that a phenomenon called blackout occurs.
より具体的には、所定の条件は、例えば各画素の輝度値が第1閾値以上の値又は第2閾値以下の値であることである。この場合、第1閾値は第2閾値よりも大きい値である。画素の輝度値が例えば0〜255の値を取り得る場合、第1閾値は“250”、第2閾値は“5”であってもよい。第1閾値及び第2閾値は動的に変化してもよい。例えばマイクロレンズ画像毎に輝度値の統計値(例えば偏差)に基づいて輝度値が偏っていると認められる領域の輝度値が閾値として設定されてもよい。 More specifically, the predetermined condition is, for example, that the luminance value of each pixel is a value equal to or higher than the first threshold value or a value equal to or lower than the second threshold value. In this case, the first threshold value is larger than the second threshold value. When the luminance value of the pixel can take a value of, for example, 0 to 255, the first threshold value may be “250” and the second threshold value may be “5”. The first threshold and the second threshold may change dynamically. For example, the luminance value of an area where the luminance value is recognized to be biased based on a statistical value (for example, deviation) of the luminance value for each microlens image may be set as the threshold value.
所定の条件の他の具体例として、周波数成分に関する条件がある。例えば、マイクロレンズ画像において周波数成分が所定の閾値よりも低い領域の画素であることが所定の条件であってもよい。このように周波数成分が低い領域は、白とび又は黒潰れによって輝度変化の乏しい領域になっている可能性があるためである。 As another specific example of the predetermined condition, there is a condition regarding a frequency component. For example, the predetermined condition may be a pixel in a region where the frequency component is lower than a predetermined threshold in the microlens image. This is because the region with a low frequency component may be a region where the luminance change is poor due to overexposure or blackout.
補正対象画素検出部103は、所定の条件を満たした画素を、補正対象画素として検出する。補正対象画素検出部103は、このように補正対象画素を検出する処理を、全てのマイクロレンズ画像に対して実行する。 The correction target pixel detection unit 103 detects a pixel that satisfies a predetermined condition as a correction target pixel. The correction target pixel detection unit 103 performs the process of detecting the correction target pixel in this way on all the microlens images.
代替画素取得部104は、補正対象画素検出部103によって検出された補正対象画素毎に、1又は複数の代替画素を取得する。代替画素は、補正対象画素とは異なるマイクロレンズ画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素である。ライトフィールド画像では、各マイクロレンズ画像は、近隣に配置された他のマイクロレンズ画像との間で、互いに重複した範囲の被写体の画像を有している。そのため、複数のマイクロレンズ画像についてステレオマッチングを行うことによって、同一の被写体が写っている画素(以下「代替画素」という。)を示す情報を取得することが可能である。なお、ステレオマッチング処理にはどのような手法が適用されてもよい。 The replacement pixel acquisition unit 104 acquires one or a plurality of replacement pixels for each correction target pixel detected by the correction target pixel detection unit 103. The substitute pixel is a pixel included in a microlens image different from the correction target pixel, and is a pixel in which the same subject as the subject shown in the correction target pixel is shown. In the light field image, each microlens image has an image of the subject in an overlapping range with another microlens image arranged in the vicinity. Therefore, by performing stereo matching on a plurality of microlens images, it is possible to acquire information indicating pixels (hereinafter referred to as “alternative pixels”) in which the same subject is captured. Note that any method may be applied to the stereo matching process.
なお、厳密には各代替画素にはそれぞれ異なる方向の光線が集光している。しかしながら、各マイクロレンズ画像は非常に密に配置されているため、各マイクロレンズ画像の代替画素に関する光線はほぼ同一であると仮定できる。そのため、もしも同一の透過率をもつレンズを介した場合、各代替画素は同じ輝度値を持つと仮定できる。 Strictly speaking, light beams in different directions are collected on each substitute pixel. However, since each microlens image is very densely arranged, it can be assumed that the light rays for the alternative pixels of each microlens image are substantially the same. Therefore, if the lenses having the same transmittance are used, it can be assumed that the alternative pixels have the same luminance value.
補正部105は、補正対象画素の輝度値を代替画素の輝度値に基づいて補正する。例えば、補正部105は、補正対象画素の輝度値を、代替画素の輝度値に置き換えることによって補正してもよい。例えば、補正部105は、補正対象画素の輝度値を以下のような式1に基づいて補正してもよい。 The correction unit 105 corrects the luminance value of the correction target pixel based on the luminance value of the alternative pixel. For example, the correction unit 105 may perform correction by replacing the luminance value of the correction target pixel with the luminance value of the alternative pixel. For example, the correction unit 105 may correct the luminance value of the correction target pixel based on Equation 1 below.
P=P1×a+P2×b ・・・(式1)
a+b=1 ・・・(式2)
P:補正後の輝度値
P1:補正対象画素の補正前の輝度値
P2:代替画素の輝度値
a:補正対象画素の輝度値に対する重み
b:代替画素の輝度値に対する重み
P = P1 * a + P2 * b (Formula 1)
a + b = 1 (Formula 2)
P: luminance value after correction P1: luminance value before correction of the correction target pixel P2: luminance value of the alternative pixel a: weight for the luminance value of the correction target pixel b: weight for the luminance value of the alternative pixel
このような処理によって、ダイナミックレンジが適切ではないために白とび又は黒潰れしてしまった画素の輝度値が、より適切なダイナミックレンジで取得された輝度値に補正される。補正部105は、補正対象画素検出部103によって検出された全ての補正対象画素に対して補正処理を行うことによって、ライトフィールド画像に対してHDR処理を実行する。 By such processing, the luminance value of the pixel that is overexposed or blacked out because the dynamic range is not appropriate is corrected to the luminance value acquired in a more appropriate dynamic range. The correction unit 105 performs HDR processing on the light field image by performing correction processing on all the correction target pixels detected by the correction target pixel detection unit 103.
補正部105が実行する補正処理に関してさらに説明する。プレノプティックカメラによって撮像が行われる際、各マイクロレンズの端領域では、観測される光量が中心に比べて少ない。各マイクロレンズの端領域では、中心付近の領域よりも暗い輝度で画像が観測されている。そのため、マイクロレンズ画像の中心付近で白とびが発生していたとしても、代替画素が他のマイクロレンズ画像の端領域の画素として検出されていれば、白とびしていない画素の輝度値を用いて補正できる。 The correction process executed by the correction unit 105 will be further described. When imaging is performed with a plenoptic camera, the amount of light observed in the end region of each microlens is less than in the center. In the end region of each microlens, an image is observed with a darker brightness than the region near the center. For this reason, even if whiteout occurs near the center of the microlens image, if the alternative pixel is detected as a pixel in the end region of another microlens image, the luminance value of the pixel that is not overexposed is used. Can be corrected.
図2〜図5は、補正処理の具体例を示す図である。図2は、平面の被写体モデルを示す。図3は、白とびや黒つぶれが生じることなく得られたマイクロレンズ画像の具体例を示す図である。図4は、白とびの補正の具体例を示す図である。図5は、黒潰れの補正の具体例を示す図である。 2 to 5 are diagrams illustrating specific examples of the correction process. FIG. 2 shows a planar subject model. FIG. 3 is a diagram illustrating a specific example of a microlens image obtained without whiteout or blackout. FIG. 4 is a diagram showing a specific example of over-exposure correction. FIG. 5 is a diagram illustrating a specific example of blackout correction.
図3には、2つのマイクロレンズ画像20(20−1及び20−2)が示されている。マイクロレンズ画像20−1には、被写体モデルのうち“あいう”が写っている。マイクロレンズ画像20−2には、被写体モデルのうち“あいうえ”が写っている。マイクロレンズ画像20−1の画素211には、文字“あ”の左上部分が写っている。マイクロレンズ画像20−2において、マイクロレンズ画像20−1の画素211に写っている被写体と同じ被写体が写っている画素は、画素212である。そのため、もしマイクロレンズ画像20−1の画素211が補正対象画素であった場合、マイクロレンズ画像20−2の画素212は代替画素の一つである。実際には、画素211に写っている被写体と同じ被写体が写っている画素を有するマイクロレンズ画像20は3つ以上存在する場合もある。そのため、代替画素は一つとは限られない。 In FIG. 3, two microlens images 20 (20-1 and 20-2) are shown. In the microlens image 20-1, “something” of the subject model is shown. In the microlens image 20-2, “Aiue” of the subject model is shown. In the pixel 211 of the microlens image 20-1, the upper left portion of the character “A” is shown. In the microlens image 20-2, a pixel in which the same subject as that in the pixel 211 of the microlens image 20-1 is shown is a pixel 212. Therefore, if the pixel 211 of the microlens image 20-1 is a correction target pixel, the pixel 212 of the microlens image 20-2 is one of the alternative pixels. Actually, there may be three or more microlens images 20 having pixels in which the same subject as the subject in the pixel 211 is shown. Therefore, the number of alternative pixels is not limited to one.
図4には、2つのマイクロレンズ画像20(20−3及び20−4)が示されている。マイクロレンズ画像20−3は、被写体モデルとマイクロレンズとの相対的な位置関係が図3におけるマイクロレンズ画像20−1と同じである。マイクロレンズ画像20−4は、被写体モデルとマイクロレンズとの相対的な位置関係が図3におけるマイクロレンズ画像20−2と同じである。そのため、マイクロレンズ画像20−3には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像20−4には、被写体モデルのうち“あいうえ”が本来なら写っているはずである。しかしながら、マイクロレンズ画像20−3及びマイクロレンズ画像20−4では白とびが発生してしまっているため、写るべき文字が写っていない。マイクロレンズ画像20−3では、白とびが原因で“あ”が写っていない。マイクロレンズ画像20−4では、白とびが原因で“うえ”が写っていない。ただし、マイクロレンズ画像20−3で写っていない“あ”は、マイクロレンズ画像20−4においてはケラレによる光量低下により写っている。そのため、マイクロレンズ画像20−3において“あ”が表されているべき領域221の画素(補正対象画素)を、マイクロレンズ画像20−4において“あ”が表されている領域222の画素(代替画素)を用いて補正することによって、マイクロレンズ画像20−3において“あ”の文字を復元することができる。マイクロレンズ画像20−4における“うえ”についても同様である。 In FIG. 4, two microlens images 20 (20-3 and 20-4) are shown. In the microlens image 20-3, the relative positional relationship between the subject model and the microlens is the same as the microlens image 20-1 in FIG. In the microlens image 20-4, the relative positional relationship between the subject model and the microlens is the same as the microlens image 20-2 in FIG. Therefore, in the microlens image 20-3, “That” out of the subject model should be reflected. Similarly, in the microlens image 20-4, “Aiue” of the subject model should be originally captured. However, in the microlens image 20-3 and the microlens image 20-4, the overexposure has occurred, and thus the characters to be captured are not captured. In the microlens image 20-3, “A” is not shown due to overexposure. In the microlens image 20-4, “up” is not shown due to overexposure. However, “A” that is not shown in the microlens image 20-3 is shown in the microlens image 20-4 due to a decrease in the amount of light due to vignetting. Therefore, the pixel (correction target pixel) in the region 221 where “A” should be represented in the microlens image 20-3 is replaced with the pixel (substitute) in the region 222 where “A” is represented in the microlens image 20-4. The character “A” can be restored in the microlens image 20-3. The same applies to “up” in the microlens image 20-4.
図5には、2つのマイクロレンズ画像20(20−5及び20−6)が示されている。マイクロレンズ画像20−5は、被写体モデルとマイクロレンズとの相対的な位置関係が図3におけるマイクロレンズ画像20−1と同じである。マイクロレンズ画像20−6は、被写体モデルとマイクロレンズとの相対的な位置関係が図3におけるマイクロレンズ画像20−2と同じである。そのため、マイクロレンズ画像20−5には、被写体モデルのうち“あいう”が本来なら写っているはずである。同様に、マイクロレンズ画像20−6には、被写体モデルのうち“あいうえ”が本来なら写っているはずである。しかしながら、マイクロレンズ画像20−5及びマイクロレンズ画像20−6では黒潰れが発生してしまっているため、写るべき文字が写っていない。マイクロレンズ画像20−5では、黒潰れが原因で“う”が写っていない。マイクロレンズ画像20−6では、黒潰れが原因で“あ”が写っていない。ただし、マイクロレンズ画像20−5で写っていない“う”は、マイクロレンズ画像20−6においては比較的光量が高くなるマイクロレンズ中央部分に写っている。そのため、マイクロレンズ画像20−5において“う”が表されているべき領域231の画素(補正対象画素)を、マイクロレンズ画像20−6において“う”が表されている領域232の画素(代替画素)を用いて補正することによって、マイクロレンズ画像20−5において“う”の文字を復元することができる。マイクロレンズ画像20−6における“あ”についても同様である。 In FIG. 5, two microlens images 20 (20-5 and 20-6) are shown. In the microlens image 20-5, the relative positional relationship between the subject model and the microlens is the same as the microlens image 20-1 in FIG. In the microlens image 20-6, the relative positional relationship between the subject model and the microlens is the same as the microlens image 20-2 in FIG. For this reason, in the microlens image 20-5, “That” of the subject model should be reflected. Similarly, in the microlens image 20-6, “Aiue” of the subject model should be originally captured. However, in the microlens image 20-5 and the microlens image 20-6, black crushing has occurred, and thus characters to be captured are not captured. In the microlens image 20-5, “U” is not captured due to black crushing. In the microlens image 20-6, “A” is not shown due to black crushing. However, “U” that is not shown in the microlens image 20-5 is shown in the center portion of the microlens where the light amount is relatively high in the microlens image 20-6. Therefore, the pixel (correction target pixel) in the region 231 where “U” should be represented in the microlens image 20-5 is replaced with the pixel (substitute) in the region 232 in which “U” is represented in the microlens image 20-6. The character “U” can be restored in the microlens image 20-5. The same applies to “A” in the microlens image 20-6.
なお、本実施形態では単純な輝度値の置き換えなどの補正によってハイダイナミックレンジ画像を生成しているが、トーンマッピング等のヒストグラムを用いる方法によってハイダイナミックレンジ画像が生成されてもよい。 In the present embodiment, the high dynamic range image is generated by correction such as simple luminance value replacement, but the high dynamic range image may be generated by a method using a histogram such as tone mapping.
図6は、画像補正装置10の処理の流れを示すフローチャートである。まず、画像取得部101が処理対象となるライトフィールド画像を取得する(ステップS101)。次に、マイクロレンズ画像取得部102は、画像取得部101によって取得された処理対象となるライトフィールド画像から、処理対象となるマイクロレンズ画像を抽出する(ステップS102)。次に、補正対象画素検出部103は、処理対象となるマイクロレンズ画像に含まれる画素の中から、補正対象画素を検出する(ステップS103)。次に、代替画素取得部104は、補正対象画素検出部103によって検出された補正対象画素毎に1又は複数の代替画素を検出する(ステップS104)。補正部105は、補正対象画素の輝度値を、代替画素の輝度値に基づいて補正することによってHDR処理を実行する(ステップS105)。補正部105は、補正処理が行われたライトフィールド画像を出力する。 FIG. 6 is a flowchart showing a process flow of the image correction apparatus 10. First, the image acquisition unit 101 acquires a light field image to be processed (step S101). Next, the microlens image acquisition unit 102 extracts a microlens image to be processed from the light field image to be processed acquired by the image acquisition unit 101 (step S102). Next, the correction target pixel detection unit 103 detects a correction target pixel from pixels included in the microlens image to be processed (step S103). Next, the alternative pixel acquisition unit 104 detects one or a plurality of alternative pixels for each correction target pixel detected by the correction target pixel detection unit 103 (step S104). The correcting unit 105 executes the HDR process by correcting the luminance value of the correction target pixel based on the luminance value of the alternative pixel (step S105). The correction unit 105 outputs the light field image that has been subjected to the correction process.
このように構成された画像補正装置10では、ダイナミックレンジがより広い画像をより簡易な装置によって生成することが可能となる。このような効果について詳細に説明する。 In the image correction apparatus 10 configured as described above, an image having a wider dynamic range can be generated by a simpler apparatus. Such an effect will be described in detail.
画像補正装置10では、一枚のライトフィールド画像を用いてHDR処理を実行することができる。そのため、動的なシーンが撮影されたライトフィールド画像に対してもHDR処理を実行することが可能である。 In the image correction apparatus 10, HDR processing can be executed using a single light field image. Therefore, it is possible to execute the HDR process on the light field image in which a dynamic scene is captured.
また、画像補正装置10では、通常のライトフィールド画像に対してHDR処理を実行することができる。そのため、LCoS等の特殊な装置を必要としない。 Further, the image correction apparatus 10 can execute the HDR process on a normal light field image. Therefore, a special device such as LCoS is not required.
また、画像補正装置10による補正処理が行われたライトフィールド画像を用いて再構築画像を生成することによって、ダイナミックレンジがより広い画像を簡易な装置によって生成することが可能となる。すなわち、補正処理が行われたライトフィールド画像を用いて再構築画像を生成する際には、特殊な装置は必要ではなく、ライトフィールド画像から再構築画像を生成できる通常の装置があればよい。なお、再構築画像とは、1つの撮像用レンズ(メインレンズ)によって結像された場合の被写体を表す画像である。 Further, by generating a reconstructed image using a light field image that has been subjected to correction processing by the image correction device 10, it is possible to generate an image with a wider dynamic range with a simple device. That is, when a reconstructed image is generated using a light field image that has been subjected to correction processing, a special device is not necessary, and a normal device that can generate a reconstructed image from a light field image may be used. Note that the reconstructed image is an image representing a subject when imaged by one imaging lens (main lens).
(変形例)
画像取得部101が取得するライトフィールド画像は、複数の異なる透過率を有したマイクロレンズを有したプレノプティックカメラを用いて撮像された画像であってもよい。このように撮像されたライトフィールド画像では、マイクロレンズ画像どうしの明るさは異なっている。そのため、より明確に被写体が撮影された代替画素を取得することが可能となる。なお、この場合のステレオマッチングに用いられる対応評価指標は、輝度の変化に頑健なNomalized Cross Correlation(NCC)であってもよいし、これに類する他の方法であってもよい。
(Modification)
The light field image acquired by the image acquisition unit 101 may be an image captured using a plenoptic camera having a plurality of microlenses having different transmittances. In the light field image thus captured, the brightness of the microlens images is different. Therefore, it is possible to acquire a substitute pixel in which the subject is photographed more clearly. Note that the correspondence evaluation index used for stereo matching in this case may be Normalized Cross Correlation (NCC) that is robust to changes in luminance, or other similar methods.
補正部105は、ケラレ効果を利用して補正処理を実行してもよい。この場合、画像取得部101は、ライトフィールド画像に加えてさらに、そのライトフィールド画像を撮像したプレノプティックカメラ固有のケラレパラメータを取得する。ケラレパラメータは、例えばケラレキャリブレーションを行うことによって、予め取得される。ケラレキャリブレーションでは、プレノプティックカメラによる被写体の撮影が行われる前に、白い紙や壁などの輝度が均一のものが撮影される。このような処理によって、プレノプティックカメラ毎に固有であるケラレのパラメータが事前に推定される。画像取得部101は、補正処理が行われるよりも前の時点で、ケラレパラメータを取得する。 The correction unit 105 may perform correction processing using the vignetting effect. In this case, in addition to the light field image, the image acquisition unit 101 acquires vignetting parameters specific to the plenoptic camera that captured the light field image. The vignetting parameter is acquired in advance, for example, by performing vignetting calibration. In vignetting calibration, a white paper or a wall with uniform brightness is photographed before the subject is photographed by the plenoptic camera. By such processing, vignetting parameters unique to each plenoptic camera are estimated in advance. The image acquisition unit 101 acquires vignetting parameters at a time before the correction process is performed.
補正部105は、補正処理を行う際に、代替画素の輝度値に対してケラレパラ-メタに基づいて得られる重み(スケール)をかけあわせてもよい。このように構成されることによって、より自然な輝度値を有したライトフィールド画像を生成することが可能となる。 The correction unit 105 may multiply the luminance value of the alternative pixel by a weight (scale) obtained based on the vignetting parameter when performing the correction process. With this configuration, it is possible to generate a light field image having a more natural luminance value.
代替画素取得部104は、補正対象画素とは異なる要素画像に含まれる画素であって、補正対象画素に写っている被写体と同じ被写体が写っている画素のうち、補正対象画素の条件を満たさない画素のみを取得してもよい。このように構成されることによって、白とびや黒潰れが生じている画素を代替画素として取得することを抑止できる。そのため、被写体がより明確に写っている代替画素のみに基づいて補正を行うことによってより質の高いハイダイナミックレンジ画像を取得する事が可能となる。 The substitute pixel acquisition unit 104 is a pixel included in an element image different from the correction target pixel, and does not satisfy the condition of the correction target pixel among pixels including the same subject as the subject in the correction target pixel. Only pixels may be acquired. With such a configuration, it is possible to suppress acquisition of a pixel in which overexposure or blackout occurs as an alternative pixel. Therefore, it is possible to acquire a higher quality high dynamic range image by performing correction based only on the alternative pixels in which the subject is clearly shown.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
10…画像補正装置, 101…画像取得部, 102…マイクロレンズ画像取得部, 103…補正対象画素検出部, 104…代替画素取得部, 105…補正部, 20…マイクロレンズ画像 DESCRIPTION OF SYMBOLS 10 ... Image correction apparatus, 101 ... Image acquisition part, 102 ... Micro lens image acquisition part, 103 ... Correction object pixel detection part, 104 ... Alternative pixel acquisition part, 105 ... Correction part, 20 ... Micro lens image
Claims (4)
前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出部と、
前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に1又は複数取得する代替画素取得部と、
前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正部と、
を備える画像補正装置。 An image acquisition unit for acquiring a light field image having a plurality of element images obtained by imaging the same subject;
A correction target pixel detection unit that detects a correction target pixel that satisfies a condition indicating that the element image is a pixel in a region where the luminance value is biased in the element image;
One or a plurality of alternative pixels, which are pixels included in an element image different from the correction target pixel and are the same subject as the subject shown in the correction target pixel, are acquired for each correction target pixel An alternative pixel acquisition unit,
A correction unit that corrects the luminance value of the correction target pixel based on the luminance value of the substitute pixel; and
An image correction apparatus comprising:
前記要素画像毎に、その要素画像において輝度値が偏ってしまっている領域の画素であることを示す条件を満たす補正対象画素を検出する補正対象画素検出ステップと、
前記補正対象画素とは異なる要素画像に含まれる画素であって、前記補正対象画素に写っている被写体と同じ被写体が写っている画素である代替画素を、前記補正対象画素毎に1又は複数取得する代替画素取得ステップと、
前記補正対象画素の輝度値を、前記代替画素の輝度値に基づいて補正する補正ステップと、
を有する画像補正方法。 An image acquisition step of acquiring a light field image having a plurality of element images obtained by imaging the same subject;
For each element image, a correction target pixel detection step for detecting a correction target pixel that satisfies a condition indicating that it is a pixel in a region where the luminance value is biased in the element image;
One or a plurality of alternative pixels, which are pixels included in an element image different from the correction target pixel and are the same subject as the subject shown in the correction target pixel, are acquired for each correction target pixel An alternative pixel acquisition step,
A correction step of correcting the luminance value of the correction target pixel based on the luminance value of the substitute pixel;
An image correction method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015122073A JP2017010114A (en) | 2015-06-17 | 2015-06-17 | Image correction device, image correction method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015122073A JP2017010114A (en) | 2015-06-17 | 2015-06-17 | Image correction device, image correction method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017010114A true JP2017010114A (en) | 2017-01-12 |
Family
ID=57763513
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015122073A Pending JP2017010114A (en) | 2015-06-17 | 2015-06-17 | Image correction device, image correction method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017010114A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014103475A (en) * | 2012-11-19 | 2014-06-05 | Canon Inc | Image processing method, image processing program, image processing apparatus and imaging apparatus |
-
2015
- 2015-06-17 JP JP2015122073A patent/JP2017010114A/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014103475A (en) * | 2012-11-19 | 2014-06-05 | Canon Inc | Image processing method, image processing program, image processing apparatus and imaging apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111028189B (en) | Image processing method, device, storage medium and electronic equipment | |
US10771697B2 (en) | Still image stabilization/optical image stabilization synchronization in multi-camera image capture | |
CN107077725B (en) | Data processing apparatus, imaging apparatus, and data processing method | |
WO2019105154A1 (en) | Image processing method, apparatus and device | |
US9681026B2 (en) | System and method for lens shading compensation | |
US9699387B2 (en) | Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program | |
JP6833415B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2010199985A (en) | Image processing apparatus, image processing method, and program | |
US10972676B2 (en) | Image processing method and electronic device capable of optimizing hdr image by using depth information | |
US9667882B2 (en) | Image processing apparatus, image-pickup apparatus, image processing method, non-transitory computer-readable storage medium for generating synthesized image data | |
JP2004222231A (en) | Image processing apparatus and image processing program | |
JP6412386B2 (en) | Image processing apparatus, control method therefor, program, and recording medium | |
CN102422321A (en) | Imaging device and image restoration method | |
JP6516510B2 (en) | Image processing apparatus, imaging apparatus, image processing method, image processing program, and storage medium | |
JP2017147568A (en) | Image processing apparatus, imaging apparatus, control method, and program | |
JP6348883B2 (en) | Image capturing apparatus, image capturing method, and computer program | |
JP6362070B2 (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
US20150187054A1 (en) | Image Processing Apparatus, Image Processing Method, and Image Processing Program | |
CN116055907A (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2004222233A (en) | Image processing apparatus and image processing program | |
JP2017010114A (en) | Image correction device, image correction method, and computer program | |
JP2019075716A (en) | Image processing device, image processing method, and program | |
JP2012231406A (en) | Image processor and image processing method | |
JP6556033B2 (en) | Image processing apparatus, image processing method, and program | |
JP2004222232A (en) | Image processor and image processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170626 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20181218 |