JP2015065635A - Imaging apparatus, and method for color correction of captured image - Google Patents
Imaging apparatus, and method for color correction of captured image Download PDFInfo
- Publication number
- JP2015065635A JP2015065635A JP2014073329A JP2014073329A JP2015065635A JP 2015065635 A JP2015065635 A JP 2015065635A JP 2014073329 A JP2014073329 A JP 2014073329A JP 2014073329 A JP2014073329 A JP 2014073329A JP 2015065635 A JP2015065635 A JP 2015065635A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- color
- saturated
- defocus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、例えば静止画像を撮像する静止画像撮像装置または動画像を撮像する動画像撮像装置等に設けて好適な撮像装置および撮像方法に関する。特に、撮像画像の輝度が一定値以上高くなることで発色が薄くなる箇所を良好に発色させた撮像画像を得ることを可能とした撮像装置および撮像画像の色補正方法に関する。 The present invention relates to an imaging apparatus and an imaging method that are suitable for use in, for example, a still image imaging apparatus that captures still images or a moving image imaging apparatus that captures moving images. In particular, the present invention relates to an image pickup apparatus and a color correction method for a picked-up image that can obtain a picked-up image in which a portion where the color is lightened by increasing the luminance of the picked-up image more than a certain value.
デジタルカメラ装置等の撮像装置において、撮像画像中の一定値以上の高い輝度を示す撮像箇所の色が、輝度を上げて撮像しているにもかかわらず、発色が薄くなる現象が知られている。この現象は、例えば発光ダイオード（ＬＥＤ）等の、輝度が高い点灯物を撮像した際に多く現れる現象である。 In an imaging device such as a digital camera device, a phenomenon is known in which the color of an imaging portion showing a high luminance of a certain value or higher in a captured image becomes light even though the luminance is increased and the image is captured. . This phenomenon is a phenomenon that frequently appears when a bright object such as a light emitting diode (LED) is imaged.
特許文献１（特開平５−７３３６号公報）には、撮像画像のダイナミックレンジを拡大可能な撮像装置が開示されている。この撮像装置の場合、露光時間を変えて複数回撮像した画像を合成する。これにより、撮像画像のダイナミックレンジを見かけ上、拡大している。 Patent Document 1 (Japanese Patent Laid-Open No. 5-7336) discloses an imaging apparatus capable of expanding the dynamic range of a captured image. In the case of this imaging apparatus, images captured multiple times with different exposure times are combined. Thereby, the dynamic range of the captured image is apparently enlarged.
ここで、例えば周囲が暗い状態で、撮像画像全体の一部にＬＥＤ等の点灯物が存在する被写体を撮像することを考える。この場合、多くの撮像光を取り込むべくアイリスが大きく開口される。これにより、全体の輝度が上がるため、全体的に明るい撮像画像が得られる。 Here, for example, suppose that an image of a subject in which a lighting object such as an LED exists in a part of the entire captured image in a dark state is taken. In this case, the iris is greatly opened to capture a large amount of imaging light. Thereby, since the whole brightness | luminance rises, a captured image bright overall is obtained.
しかし、全体の輝度が上がることで、元々輝度が高いＬＥＤ等の点灯物の部分的な撮像箇所の輝度がさらに上がる。このため、ＬＥＤ等の点灯物の部分的な撮像箇所の発色が、さらに薄くなる問題を生ずる。 However, when the overall brightness is increased, the brightness of a part of an imaged portion of a lighting object such as an LED having a high brightness is further increased. For this reason, there arises a problem that the color development at a partial imaging location of a lighting object such as an LED is further thinned.
なお、アイリスを絞ることで、ＬＥＤ等の点灯物の部分的な撮像箇所の発色を良好とすることができるが、撮像画像全体が暗くなる不都合を生ずる。さらに、撮像画像全体が暗くなると、撮像信号を増幅する増幅器の利得が大きな利得に変更され、ノイズの多い撮像画像となる。このため、アイリスを絞ることで、ＬＥＤ等の点灯物の部分的な撮像箇所の発色を良好とできても、結果的にノイズの多い撮像画像しか得られないこととなる。 It should be noted that, by narrowing down the iris, it is possible to improve the coloration of a partial imaged portion of a lighting object such as an LED, but there is a disadvantage that the entire captured image becomes dark. Furthermore, when the entire captured image becomes dark, the gain of the amplifier that amplifies the captured image signal is changed to a large gain, resulting in a captured image with much noise. For this reason, by narrowing down the iris, even if it is possible to achieve good color development at a partial imaging location of a lighting object such as an LED, only a captured image with a lot of noise is obtained as a result.
また、特許文献１に開示されている撮像装置の場合、撮像画像全体の明るさと、部分的に明るい撮像箇所の明るさの差が想定する以上に大きい場合、部分的に明るい撮像箇所の色は、再現困難となる問題がある。 In the case of the imaging device disclosed in Patent Document 1, when the difference between the brightness of the entire captured image and the brightness of the partially bright imaging location is larger than expected, the color of the partially bright imaging location is There is a problem that is difficult to reproduce.
本発明は、上述の課題に鑑みてなされたものであり、輝度が一定値以上高くなることで発色が薄くなる箇所を良好に発色させた撮像画像を得ることを可能とした撮像装置および撮像画像の色補正方法の提供を目的とする。 The present invention has been made in view of the above-described problems, and an imaging apparatus and a captured image that can obtain a captured image in which a portion where the color is lightened by increasing the luminance by a certain value or more is favorably obtained The purpose is to provide a color correction method.
上述した課題を解決するための手段として、本発明は、被写体にフォーカスが合っているフォーカス画像、および被写体にフォーカスが合っていないデフォーカス画像を撮像する撮像部と、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出部と、デフォーカス画像から飽和画素に対応する色を検出する色検出部と、フォーカス画像の飽和画素を、検出された色の画素に補正する色補正部とを有する。 As means for solving the above-described problems, the present invention provides an imaging unit that captures a focused image in which a subject is focused and a defocused image in which the subject is not focused, and a luminance state that is saturated from the focused image. A saturated pixel detection unit that detects a saturated pixel, a color detection unit that detects a color corresponding to the saturated pixel from the defocused image, and a color that corrects the saturated pixel of the focus image to a pixel of the detected color And a correction unit.
上述した課題を解決するための手段として、本発明は、撮像制御部が、被写体にフォーカスが合っているフォーカス画像と、被写体にフォーカスが合っていないデフォーカス画像を撮像するように撮像部を制御する撮像制御工程と、飽和画素検出部が、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出工程と、色検出部が、デフォーカス画像から飽和画素に対応する色を検出する色検出工程と、色補正部が、フォーカス画像の飽和画素を、検出された色の画素に補正する色補正工程とを有する。 As a means for solving the above-described problem, the present invention controls the imaging unit so that the imaging control unit captures a focused image in which the subject is focused and a defocused image in which the subject is not focused. An imaging control step, a saturated pixel detection unit detects a saturated pixel in which the luminance is saturated from the focus image, and a color detection unit selects a color corresponding to the saturated pixel from the defocused image. The color detection process to detect and the color correction part have a color correction process which correct | amends the saturation pixel of a focus image to the pixel of the detected color.
本発明は、輝度が一定値以上高くなることで発色が薄くなる箇所を、良好に発色させた撮像画像を得ることができる。 According to the present invention, it is possible to obtain a picked-up image in which a portion where the color is lightened by increasing the luminance by a certain value or more is favorably colored.
以下、添付図面を参照して、本発明の実施の形態となる撮像装置を詳細に説明する。 Hereinafter, an imaging device according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
（第１の実施の形態）
図１に、本発明の第１の実施の形態となる撮像装置のブロック図を示す。この図１は、撮像装置の要部を概略的に示した図である。この図１に示すように第１の実施の形態の撮像装置は、撮像レンズ１、レンズ駆動機構２、アイリス機構３、イメージセンサ４、相関二重サンプリング回路（ＣＤＳ）５、およびアナログ可変増幅器６を有している。また、撮像装置は、信号処理部７、ＲＡＭ８、ＲＯＭ９、およびＣＰＵ１０を有している。ＲＡＭは、「Random Access Memory」の略記である。ＲＯＭは、「Read Only Memory」の略記である。ＣＰＵは、「Central Processing Unit」の略記である。
(First embodiment)
FIG. 1 shows a block diagram of an image pickup apparatus according to the first embodiment of the present invention. FIG. 1 is a diagram schematically illustrating a main part of the imaging apparatus. As shown in FIG. 1, the imaging apparatus of the first embodiment includes an imaging lens 1, a lens driving mechanism 2, an iris mechanism 3, an image sensor 4, a correlated double sampling circuit (CDS) 5, and an analog variable amplifier 6. have. The imaging apparatus also includes a signal processing unit 7, a RAM 8, a ROM 9, and a CPU 10. RAM is an abbreviation for “Random Access Memory”. ROM is an abbreviation for “Read Only Memory”. CPU is an abbreviation for “Central Processing Unit”.
レンズ駆動機構２は、撮像レンズ１を、図１中点線で示す光軸方向に沿って移動させることで、被写体に焦点を合わせるフォーカス制御、被写体に対して焦点が合わない状態とするデフォーカス制御、拡大制御および縮小制御等を行う。アイリス機構３は、イメージセンサ４に入射させる撮像光の光量を制御する。 The lens driving mechanism 2 moves the imaging lens 1 along the optical axis direction indicated by the dotted line in FIG. 1 to thereby focus control that focuses the subject and defocus control that causes the subject to be out of focus. Enlargement control and reduction control are performed. The iris mechanism 3 controls the amount of imaging light incident on the image sensor 4.
イメージセンサ４としては、ＣＣＤイメージセンサが設けられている。なお、ＣＣＤイメージセンサの代わりに、ＣＭＯＳイメージセンサを設けてもよい。ＣＣＤは、「Charge Coupled Device」の略記である。また、ＣＭＯＳは、「Complementary Metal-Oxide Semiconductor」の略記である。イメージセンサ４は、レンズ駆動機構２の制御に対応して、被写体のフォーカスが合ったフォーカス画像、および被写体にフォーカスが合っていないデフォーカス画像を撮像する。イメージセンサ４は、撮像部の一例として機能する。 As the image sensor 4, a CCD image sensor is provided. A CMOS image sensor may be provided instead of the CCD image sensor. CCD is an abbreviation for “Charge Coupled Device”. CMOS is an abbreviation for “Complementary Metal-Oxide Semiconductor”. The image sensor 4 captures a focused image in which the subject is focused and a defocused image in which the subject is not focused in response to the control of the lens driving mechanism 2. The image sensor 4 functions as an example of an imaging unit.
相関二重サンプリング回路（ＣＤＳ）５は、イメージセンサ４で撮像された撮像画像の撮像信号から各種ノイズを除去する。アナログ可変増幅器６は、ノイズが除去された撮像信号を、可変制御された利得で増幅して出力する。信号処理部７は、増幅された撮像信号に所定の信号処理を施して、図示しない後段の回路に供給する。 The correlated double sampling circuit (CDS) 5 removes various noises from the image signal of the captured image captured by the image sensor 4. The analog variable amplifier 6 amplifies the imaging signal from which noise has been removed with a gain that is variably controlled and outputs the amplified signal. The signal processing unit 7 performs predetermined signal processing on the amplified image pickup signal, and supplies it to a subsequent circuit (not shown).
ＲＡＭ８は、信号処理部７およびＣＰＵ１０等の、いわゆるワークテーブルとなっている。輝度レベルが飽和している箇所の色再現補正処理をソフトウェアで実行する場合、その画像処理プログラムは、例えばＲＯＭ９に記憶される。 The RAM 8 is a so-called work table such as the signal processing unit 7 and the CPU 10. In the case where the color reproduction correction process of the portion where the luminance level is saturated is executed by software, the image processing program is stored in, for example, the ROM 9.
図２に、本発明の第１の実施の形態となる撮像装置の機能ブロック図を示す。図２に示すように、撮像装置は、撮像部２１、飽和画素検出部２２、色補正部２３、および色検出部２４の各機能を有する。色検出部２４は、選択部３１、色変化画素検出部３２、および補正対象検出部３３の各機能を有する。 FIG. 2 shows a functional block diagram of the imaging apparatus according to the first embodiment of the present invention. As illustrated in FIG. 2, the imaging apparatus has functions of an imaging unit 21, a saturated pixel detection unit 22, a color correction unit 23, and a color detection unit 24. The color detection unit 24 has functions of a selection unit 31, a color change pixel detection unit 32, and a correction target detection unit 33.
飽和画素検出部２２は、フォーカス画像から輝度が飽和状態となっている飽和画素を検出する。色検出部２４は、デフォーカス画像から飽和画素に対応する色を検出する。色補正部２３は、フォーカス画像の飽和画素を、検出された色の画素に補正する。また、色検出部２４の選択部３１は、複数のデフォーカス画像同士を比較して、比較元のデフォーカス画像に対する色の変化が他のデフォーカス画像より大きいデフォーカス画像を選択する。例えば、選択部３１は、色の変化が最も大きいデフォーカス画像を選択する。選択部３１が、色の変化が所定の閾値より大きいデフォーカス画像のうちいずれか１つを選択してもよい。また、選択部３１が、色の変化が所定の閾値より大きく、かつ、色の変化が最も大きいデフォーカス画像を選択してもよい。色検出部２４の色変化画素検出部３２は、フォーカス画像と選択されたデフォーカス画像とを比較し、色が変化している色変化画素を検出する。色検出部２４の補正対象検出部３３は、飽和画素のうち、色変化画素となっている画素を表す補正対象画素を検出する。 The saturated pixel detection unit 22 detects a saturated pixel whose luminance is saturated from the focus image. The color detection unit 24 detects a color corresponding to the saturated pixel from the defocused image. The color correction unit 23 corrects the saturated pixels of the focus image to the detected color pixels. In addition, the selection unit 31 of the color detection unit 24 compares a plurality of defocus images, and selects a defocus image in which the color change with respect to the comparison source defocus image is larger than other defocus images. For example, the selection unit 31 selects a defocus image with the largest color change. The selection unit 31 may select any one of the defocus images whose color change is larger than a predetermined threshold. Further, the selection unit 31 may select a defocus image in which the color change is larger than a predetermined threshold and the color change is the largest. The color change pixel detection unit 32 of the color detection unit 24 compares the focus image with the selected defocus image, and detects a color change pixel whose color has changed. The correction target detection unit 33 of the color detection unit 24 detects a correction target pixel representing a pixel that is a color change pixel among the saturated pixels.
このような実施の形態の撮像装置の各機能は、全てをハードウェアで実現してもよいし、全てをソフトウェアで実現してもよい。または、一部をハードウェアで実現し、残りをソフトウェアで実現してもよい。あくまでも一例であるが、以下に説明する実施の形態の場合、撮像部２１を図１に示すイメージセンサ４でハードウェアとして実現している。また、飽和画素検出部２２〜色検出部２４、および選択部３１〜補正対象検出部３３は、ＲＯＭ９に記憶されている画像処理プログラムをＣＰＵ１０が実行することで、ソフトウェアとして実現している。 All the functions of the imaging apparatus according to the embodiment may be realized by hardware, or may be realized by software. Alternatively, a part may be realized by hardware and the rest may be realized by software. In the embodiment described below, the imaging unit 21 is realized as hardware by the image sensor 4 illustrated in FIG. 1. The saturated pixel detection unit 22 to the color detection unit 24 and the selection unit 31 to the correction target detection unit 33 are realized as software by the CPU 10 executing the image processing program stored in the ROM 9.
図３は、ＣＰＵ１０における色再現補正処理の流れを示すフローチャートである。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図３のフローチャートに示す処理を開始する。なお、撮像開始操作が指定されたタイミングとは、例えばユーザによりシャッターボタンが操作されたタイミング、または、タイマで計時される所定の時刻となった際に自動的に撮像制御を行う自動シャッターの撮像タイミング等である。 FIG. 3 is a flowchart showing the flow of color reproduction correction processing in the CPU 10. The CPU 10 starts the processing shown in the flowchart of FIG. 3 according to the image processing program stored in the ROM 9 at the timing when the still image capturing start operation is designated. The timing at which the imaging start operation is designated is, for example, the timing at which the shutter button is operated by the user, or the automatic shutter imaging that automatically performs imaging control when a predetermined time measured by a timer is reached. Timing.
ステップＳ１では、ＣＰＵ１０が、フォーカスを合焦状態とするようにレンズ駆動機構２を制御し、イメージセンサ４から合焦画像（フォーカス画像）を取得する。このフォーカス画像は、相関二重サンプリング回路５によりノイズ除去され、アナログ可変増幅器６により増幅され、信号処理部７に供給される。ＣＰＵ１０は、ステップＳ２において、信号処理部７に供給されたフォーカス画像をＲＡＭ８に一時的に記憶制御する。また、ＣＰＵ１０は、フォーカス画像の色相および彩度の情報を検出し、ＲＡＭ８に一時的に記憶制御する。 In step S <b> 1, the CPU 10 controls the lens driving mechanism 2 so as to bring the focus into a focused state, and acquires a focused image (focus image) from the image sensor 4. The focus image is denoised by the correlated double sampling circuit 5, amplified by the analog variable amplifier 6, and supplied to the signal processing unit 7. In step S <b> 2, the CPU 10 temporarily stores and controls the focus image supplied to the signal processing unit 7 in the RAM 8. Further, the CPU 10 detects the hue and saturation information of the focus image, and temporarily stores and controls the information in the RAM 8.
次に、ＣＰＵ１０は、ステップＳ３において、フォーカスが合焦状態となっている位置から徐々にデフォーカスの度合いが大きくなるように、所定移動距離分ずつ、撮像レンズ１を移動させるように、レンズ駆動機構２を制御する。また、ＣＰＵ１０は、所定移動距離分ずつ、撮像レンズ１を移動させる毎にイメージセンサ４で得られたデフォーカス画像を、それぞれＲＡＭ８に一時的に記憶制御する。そして、ＣＰＵ１０は、ステップＳ４において、各デフォーカス画像の色相および彩度を検出し、ＲＡＭ８に一時的に記憶制御する。 Next, in step S3, the CPU 10 drives the lens so as to move the imaging lens 1 by a predetermined movement distance so that the degree of defocusing gradually increases from the position where the focus is in focus. The mechanism 2 is controlled. Further, the CPU 10 temporarily stores and controls the defocused images obtained by the image sensor 4 in the RAM 8 each time the imaging lens 1 is moved by a predetermined moving distance. In step S4, the CPU 10 detects the hue and saturation of each defocused image, and temporarily stores and controls them in the RAM 8.
すなわち、実施の形態の撮像装置が、例えば６０ｆｐｓ（フレーム/秒）で撮像画像をエンコード処理する場合、ＣＰＵ１０は、６フレームの間でフォーカス位置をフルレンジ動作させるように、レンズ駆動機構２を制御する。また、ＣＰＵ１０は、６フレーム分の画面全体の色相および彩度の情報を取得する。 That is, when the imaging apparatus of the embodiment encodes a captured image at, for example, 60 fps (frames / second), the CPU 10 controls the lens driving mechanism 2 so that the focus position is operated in a full range between 6 frames. . Further, the CPU 10 acquires information on the hue and saturation of the entire screen for six frames.
次に、ＣＰＵ１０は、ステップＳ５において、例えば１枚のフォーカス画像およびそれぞれデフォーカスの度合いが異なる５枚のデフォーカス画像の、計６枚の撮像画像がＲＡＭ８に記憶されたか否か（取得されたか否か）を判別する。ＣＰＵ１０は、６枚分の撮像画像が取得されていない場合（ステップＳ５：Ｎｏ）、ステップＳ３に処理を戻し、撮像画像の取得枚数が６枚となるまで、上述のデフォーカス画像の取得を継続して行う。なお、この例では、撮像画像の取得枚数を６枚としたが、これは一例である。２枚、３枚、９枚等の設計等により定めた所定の枚数でよい。 Next, in step S5, the CPU 10 determines whether or not a total of six captured images of, for example, one focused image and five defocused images with different degrees of defocusing are stored in the RAM 8 (obtained). Or not). If the six captured images have not been acquired (step S5: No), the CPU 10 returns the process to step S3 and continues acquiring the above-described defocused image until the number of acquired captured images reaches six. And do it. In this example, the number of captured images acquired is six, but this is only an example. It may be a predetermined number determined by design such as 2, 3, 9, etc.
次に、ＣＰＵ１０は、６枚分の撮像画像が取得済みの場合（ステップＳ５：Ｙｅｓ）、ステップＳ６において、隣接するフレームの撮像画像の色相および彩度を比較し、最も変化がある最変化画像を選択する。具体的には、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、フォーカス画像および最初に取得されたデフォーカス画像の色相および彩度を比較する。次に、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、最初に取得されたデフォーカス画像および２番目に取得されたデフォーカス画像の色相および彩度を比較する。次に、ＣＰＵ１０は、ＲＡＭ８に記憶されている撮像画像のうち、２番目に取得されたデフォーカス画像および３番目に取得されたデフォーカス画像の色相および彩度を比較する。このようにＣＰＵ１０は、隣接するフレームの撮像画像の色相および彩度を比較する動作を、ＲＡＭ８に記憶されている撮像画像の枚数に対応する回数分、繰り返し実行する。 Next, when six captured images have been acquired (step S5: Yes), the CPU 10 compares the hue and saturation of the captured images of adjacent frames in step S6, and is the most changed image with the most changes. Select. Specifically, the CPU 10 compares the hue and saturation of the focus image and the first acquired defocus image among the captured images stored in the RAM 8. Next, the CPU 10 compares the hue and saturation of the first acquired defocused image and the second acquired defocused image among the captured images stored in the RAM 8. Next, the CPU 10 compares the hue and saturation of the second acquired defocus image and the third acquired defocus image among the captured images stored in the RAM 8. As described above, the CPU 10 repeatedly performs the operation of comparing the hue and saturation of the captured images of adjacent frames by the number of times corresponding to the number of captured images stored in the RAM 8.
図４の（ａ）〜(ｆ)の符号を付した各図は、ＲＡＭ８に記憶された６枚の撮像画像の例を示している。図４の（ａ）の符号を付した図は、フォーカス画像の一例を示している。図４の（ｂ）の符号を付した図は、１枚目のデフォーカス画像の一例を示している。また、図４の（ｃ）〜(ｆ)の符号を付した図は、それぞれ２枚目のデフォーカス画像〜５枚目のデフォーカス画像の一例を示している。図４の（ｂ）〜(ｆ)の符号を付した各図を見比べてわかるように、（ｂ）〜(ｆ)の符号を付した各図は、徐々にデフォーカスの度合いが大きくなる図となっている。 Each figure attached with the reference numerals (a) to (f) in FIG. 4 shows an example of six captured images stored in the RAM 8. The figure which attached | subjected the code | symbol of (a) of FIG. 4 has shown an example of the focus image. The figure which attached | subjected the code | symbol of (b) of FIG. 4 has shown an example of the 1st defocus image. Also, the diagrams with the reference numerals (c) to (f) in FIG. 4 show examples of the second defocus image to the fifth defocus image, respectively. As can be seen by comparing the drawings with the symbols (b) to (f) in FIG. 4, the diagrams with the symbols (b) to (f) gradually increase the degree of defocus. It has become.
また、図４の（ａ）〜(ｆ)の符号を付した各図に示す電源ボタン１５からは、機器内部に設けられたＬＥＤ（発光ダイオード）からの光が、電源マークに模られた透明部材を介して機器外部に出射している。このため、電源ボタン１５は、高輝度で発光するボタンとなっている。この高輝度で発光する電源ボタン１５は、フォーカスが合った状態で撮像すると、輝度レベルが飽和状態となり、白色に発光するボタンとして撮像される。 Moreover, from the power button 15 shown in each drawing with the reference numerals (a) to (f) in FIG. 4, light from an LED (light emitting diode) provided inside the device is transparent imitated by a power mark. The light is emitted to the outside of the device through the member. For this reason, the power button 15 is a button that emits light with high luminance. When the power button 15 that emits light with high luminance is imaged in a focused state, the luminance level is saturated and the image is captured as a button that emits white light.
しかし、図４の（ｂ）〜(ｆ)の符号を付した各図に示すように、徐々にデフォーカスしながら撮像すると、画像全体が徐々に、ぼやけた画像となるが、輝度レベルが飽和状態となっていた電源ボタン１５の色は、本来の色が再現されて表示されるようになる。この例で説明すると、図４の（ａ）〜（ｃ）の符号を付した各図では、電源ボタン１５の色は、白色または白色に近い色で表示される。しかし、徐々にデフォーカスしながら撮像すると、図４の（ｄ）〜(ｆ)の符号を付した各図では、電源ボタン１５の色が、徐々に電源ボタン１５本来の色である黄緑色で表示されるようになる。 However, as shown in FIGS. 4B to 4F, when the image is taken while gradually defocusing, the entire image gradually becomes blurred, but the luminance level is saturated. The color of the power button 15 in the state is displayed with the original color reproduced. In this example, the power button 15 is displayed in white or a color close to white in each of the drawings labeled (a) to (c) in FIG. However, when images are taken while gradually defocusing, the power button 15 color gradually changes to yellow green, which is the original color of the power button 15, in each of the drawings labeled (d) to (f) in FIG. It will be displayed.
この図４に示す例の場合、ＣＰＵ１０は、ステップＳ６において、最初に、図４の（ａ）の符号を付したフォーカス画像の色相および彩度と、図４の（ｂ）の符号を付した１枚目のデフォーカス画像の色相および彩度とを比較する。また、ＣＰＵ１０は、図４の（ｂ）の符号を付した１枚目のデフォーカス画像の色相および彩度と、図４の（ｃ）の符号を付した２枚目のデフォーカス画像の色相および彩度とを比較する。ＣＰＵ１０は、このような比較処理を繰り返し実行制御する。そして、ＣＰＵ１０は、最後に、図４の（ｅ）の符号を付した４枚目のデフォーカス画像の色相および彩度と、図４の（ｆ）の符号を付した５枚目のデフォーカス画像の色相および彩度とを比較する。そして、ＣＰＵ１０は、隣接するフレームの撮像画像の色相および彩度を比較し、最も変化がある最変化画像（彩度が変化した色相がある画像）を選択する。 In the case of the example shown in FIG. 4, in step S <b> 6, the CPU 10 first assigns the hue and saturation of the focus image to which the reference numeral (a) in FIG. 4 is attached and the reference numeral (b) in FIG. 4. The hue and saturation of the first defocus image are compared. Further, the CPU 10 performs the hue and saturation of the first defocused image with the symbol (b) in FIG. 4 and the hue of the second defocused image with the symbol (c) in FIG. And compare saturation. The CPU 10 repeatedly executes such comparison processing. Finally, the CPU 10 determines the hue and saturation of the fourth defocus image with the symbol (e) in FIG. 4 and the fifth defocus with the symbol (f) in FIG. Compare the hue and saturation of the image. Then, the CPU 10 compares the hue and saturation of the captured images of the adjacent frames, and selects the most changed image having the greatest change (the image having the hue having the changed saturation).
次に、ステップＳ７において、ＣＰＵ１０は、フォーカス画像で赤（Ｒ），緑（Ｇ），青（Ｂ）の各値が、全て所定値以上の画素を検出する。例えば、ＲＧＢの各画素値が８ビットで、白色の際には、ＲＧＢの各画素値がそれぞれ２５５となる場合、ＣＰＵ１０は、ステップＳ７において、ＲＧＢの各画素値がそれぞれ２３０以上の画素を検出する（第１条件）。 Next, in step S <b> 7, the CPU 10 detects pixels whose red (R), green (G), and blue (B) values are all equal to or greater than a predetermined value in the focus image. For example, when each pixel value of RGB is 8 bits and each pixel value of RGB is 255 when it is white, the CPU 10 detects pixels whose RGB pixel values are 230 or more in step S7. (First condition).
次に、ＣＰＵ１０は、ステップＳ８において、フォーカス画像と、ステップＳ６で選択した最変化画像とを比較し、最変化画像の各画素のうち、フォーカス画像の各画素と比較して、明度が下がり、かつ、彩度が上がった画素を検出する（第２条件）。 Next, in step S8, the CPU 10 compares the focus image with the most changed image selected in step S6, and the brightness decreases compared to each pixel of the focus image among the pixels of the most changed image. In addition, a pixel with increased saturation is detected (second condition).
次に、ＣＰＵ１０は、ステップＳ９において、上述の第１条件および第２条件を満たす画素を検出する。すなわち、第１条件を満たす画素とは、輝度レベルが飽和状態（または飽和に近い状態）となっており、本来の色が発色されていない可能性の高い画素である。また、第２の条件である、明度が下がり、かつ、彩度が上がった画素とは、デフォーカスにより、輝度レベルが下がることで、本来の色を発色するようになった画素である。このため、第１の条件および第２の条件を満たす画素を検出することで、フォーカス画像において、本来の色を発色していない画素（補正対象画素）を検出することができる。図４の例で説明すると、電源ボタン１５の発光箇所に対応する画素（＝電源マークに模られた透明部材に対応する画素）を検出することができる。 Next, CPU10 detects the pixel which satisfy | fills the above-mentioned 1st condition and 2nd condition in step S9. In other words, a pixel that satisfies the first condition is a pixel whose luminance level is in a saturated state (or a state close to saturation) and is likely to have no original color. In addition, the second condition, which is a pixel whose brightness is lowered and whose saturation is increased, is a pixel which has developed its original color due to a decrease in luminance level due to defocusing. Therefore, by detecting pixels that satisfy the first condition and the second condition, it is possible to detect pixels (correction target pixels) that do not develop the original color in the focus image. If it demonstrates in the example of FIG. 4, the pixel (= pixel corresponding to the transparent member imitated by the power mark) corresponding to the light emission location of the power button 15 is detectable.
次に、ＣＰＵ１０は、ステップＳ１０において、フォーカス画像の補正対象画素の色を、最変化画像の補正対象画素に対応する画素の色に変更する。すなわち、図４の例で説明すると、ＣＰＵ１０は、フォーカス画像の電源ボタン１５の電源マークに模られた透明部材に対応する画素の色を、例えば図４の（ｆ）の符号の図の電源ボタン１５の画素の色に変更する。これにより、図５の（ａ）の符号の図に示すように、輝度レベルが飽和状態となることで、フォーカス画像上において白色に表示されていた電源ボタン１５の色を、図５の（ｂ）の符号の図に示すように、電源ボタン１５本来の色（例えば黄緑色）で表示することができる。 Next, in step S10, the CPU 10 changes the color of the correction target pixel of the focus image to the color of the pixel corresponding to the correction target pixel of the most changed image. That is, in the example of FIG. 4, the CPU 10 changes the color of the pixel corresponding to the transparent member imitated by the power mark of the power button 15 of the focus image, for example, the power button in the diagram of FIG. Change to the color of 15 pixels. As a result, as shown in the diagram of the reference numeral (a) in FIG. 5, when the luminance level is saturated, the color of the power button 15 displayed in white on the focus image is changed to (b) in FIG. 5. ), The power button 15 can be displayed in the original color (for example, yellow green).
以上の説明から明らかなように、本発明の第１の実施の形態となる撮像装置は、ＣＰＵ１０が、イメージセンサ４を介して、フォーカス画像、および複数のデフォーカス画像を取得する。また、ＣＰＵ１０は、フォーカス画像から輝度が飽和状態となっている補正対象画素を検出すると共に、各デフォーカス画像から補正対象画素に対応する色を検出する。 As is clear from the above description, in the imaging apparatus according to the first embodiment of the present invention, the CPU 10 acquires a focus image and a plurality of defocus images via the image sensor 4. Further, the CPU 10 detects a correction target pixel whose luminance is saturated from the focus image, and detects a color corresponding to the correction target pixel from each defocus image.
具体的には、補正対象画素を検出する場合、ＣＰＵ１０は、各デフォーカス画像同士を比較して、色の変化が大きいデフォーカス画像を選択してフォーカス画像と比較し、色が変化している色変化画素を検出する。ＣＰＵ１０は、フォーカス画像の飽和画素のうち、色変化画素となっている画素を補正対象画素として検出する。そして、フォーカス画像の補正対象画素の色を、各デフォーカス画像から検出された補正対象画素に対応する画素の色に補正する。 Specifically, when detecting the correction target pixel, the CPU 10 compares the defocus images with each other, selects a defocus image with a large color change, compares it with the focus image, and changes the color. Color change pixels are detected. CPU10 detects the pixel which is a color change pixel among the saturation pixels of a focus image as a correction object pixel. Then, the color of the correction target pixel of the focus image is corrected to the color of the pixel corresponding to the correction target pixel detected from each defocus image.
これにより、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。このため、例えば鉄道の車掌用カメラに表示される車側灯の色、および機器のランプ等を、本来の明るくかつ鮮やかな色で表示することができる。 As a result, it is possible to obtain a captured image (focus image) in which a portion that is bright overall and has high luminance is colored with the original color of the portion. For this reason, for example, the color of the vehicle side lamp displayed on the railway conductor camera and the lamp of the device can be displayed in the original bright and vivid color.
単に点灯物の飽和した色を濃くするだけであれば、アイリス機構３を絞り、イメージセンサ４に対する入射光量を少なくする方法が簡単である。しかし、アイリス機構３を絞ると、色検出の間にノイズが増加する。また、輝度系が変化して、アイリス機構３を戻したときに映像が変化する不都合を生ずる。さらに、アイリス機構３を絞ることで、アナログ可変増幅器６の利得が上がるため、輝度レベルが飽和状態のままとなり、点灯物等の色が濃くならない等の不都合を生ずる。 If the saturated color of the lighting object is simply darkened, a method of reducing the iris mechanism 3 and reducing the amount of incident light on the image sensor 4 is simple. However, if the iris mechanism 3 is reduced, noise increases during color detection. In addition, the luminance system changes, causing a disadvantage that the image changes when the iris mechanism 3 is returned. Further, by narrowing down the iris mechanism 3, the gain of the analog variable amplifier 6 is increased, so that the brightness level remains in a saturated state and the inconvenience such as the color of the lighting object does not become dark.
この実施の形態の撮像装置のようにデフォーカスしていくと、点灯物以外のほとんどの部分の明度が下がり、高輝度で発光している部分の光が分散して、点灯物本来の色が表示されるようになる。また、元々白色の箇所、および輝度が低い箇所は、デフォーカス制御しても、ほとんど色は変わらない。これは、アイリス機構３を絞る場合と原理的に似ている。 When defocusing is performed as in the imaging device of this embodiment, the brightness of most parts other than the lighting object decreases, the light of the part emitting light with high brightness is dispersed, and the original color of the lighting object is It will be displayed. Further, the color of the originally white portion and the portion having low luminance is hardly changed even when the defocus control is performed. This is similar in principle to the case where the iris mechanism 3 is narrowed down.
しかし、アイリス機構３を絞ると、明るさが大きく変わるのに対し、上述のデフォーカス制御では、フルレンジ動作させてもそれほど明るさは変わらない。このため、実施の形態の撮像装置は、上述のアイリス機構３を絞った場合の不都合を防止したうえで、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。 However, when the iris mechanism 3 is throttled, the brightness changes greatly, but in the above-described defocus control, the brightness does not change so much even if the full range operation is performed. For this reason, the image pickup apparatus of the embodiment prevents inconvenience when the iris mechanism 3 described above is narrowed down, and also picks up an image that is colored in the original color even in a bright and high-luminance portion as a whole. An image (focus image) can be obtained.
（第２の実施の形態）
次に、本発明の第２の実施の形態となる撮像装置の説明をする。この第２の実施の形態の撮像装置は、デフォーカス制御を行っても輝度レベルが飽和状態となっている画素の色を、近辺の不飽和画素から近似するものである。なお、この第２の実施の形態と上述の第１の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の部分の説明のみ行い、重複した説明は省略する。
(Second Embodiment)
Next, an image pickup apparatus according to the second embodiment of the present invention will be described. The image pickup apparatus according to the second embodiment approximates the color of a pixel whose luminance level is saturated even when defocus control is performed from an unsaturated pixel in the vicinity. The second embodiment is different from the first embodiment only in this point. For this reason, only the differences between the two will be described below, and redundant descriptions will be omitted.
図６のフローチャートに、第２の実施の形態の撮像装置のＣＰＵ１０における色再現補正処理の流れを示す。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図６のフローチャートに示す処理を開始する。 The flowchart of FIG. 6 shows the flow of color reproduction correction processing in the CPU 10 of the imaging apparatus according to the second embodiment. The CPU 10 starts the processing shown in the flowchart of FIG. 6 according to the image processing program stored in the ROM 9 at the timing when the still image capturing start operation is designated.
ステップＳ２１では、ＣＰＵ１０が、フォーカスを合焦状態とするようにレンズ駆動機構２を制御し、イメージセンサ４からフォーカス画像を取得し、輝度レベルが飽和状態となっている画素（領域）を検出する。 In step S <b> 21, the CPU 10 controls the lens driving mechanism 2 so as to bring the focus into focus, acquires a focus image from the image sensor 4, and detects a pixel (region) in which the luminance level is saturated. .
ステップＳ２２では、ＣＰＵ１０が、上述のようにデフォーカス制御を行い、デフォーカス画像を取得する。そして、ＣＰＵ１０は、ステップＳ２３において、輝度レベルが飽和状態となっている画素が、取得したデフォーカス画像において不飽和状態となったか否かを判別する。なお、ステップＳ２３において、輝度レベルが飽和状態となっている画素が、依然として飽和状態となっている場合、ステップＳ２２に処理を戻し、再度デフォーカス制御を行ってもよい。この場合、デフォーカス制御および飽和状態の有無の検出を所定回数、繰り返し行うこととなる。 In step S22, the CPU 10 performs defocus control as described above, and acquires a defocused image. In step S <b> 23, the CPU 10 determines whether or not the pixel whose luminance level is saturated is unsaturated in the acquired defocus image. In step S23, when the pixel whose luminance level is saturated is still saturated, the processing may be returned to step S22 and the defocus control may be performed again. In this case, defocus control and detection of the presence / absence of a saturated state are repeatedly performed a predetermined number of times.
図７の（ａ）〜(ｄ)の符号を付した各図は、それぞれイメージセンサ４の１ライン分の輝度レベルの一例を示している。横軸が１ラインの各画素位置（順に読み出される時間）を、縦軸が各画素値を示している。図７の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。図７の（ｂ）の符号を付した図は、フォーカス画像の一部の画素（飽和領域Ａ）が、２５０の輝度レベルで飽和状態となっていることを示す図である。 Each of FIGS. 7A to 7D with reference numerals indicates an example of the luminance level for one line of the image sensor 4. The horizontal axis represents each pixel position of one line (time to be read in order), and the vertical axis represents each pixel value. The figure attached with the symbol (a) in FIG. 7 shows the original luminance level of the focus image. FIG. 7B is a diagram showing that some pixels (saturation region A) of the focus image are saturated at a luminance level of 250.
また、図７の（ｃ）の符号を付した図は、デフォーカス制御を行うことで、デフォーカス画像における飽和領域Ａの飽和状態が解消されたことを示す図である。また、図７（ｄ）は、アイリス機構３を絞り、イメージセンサ４に対する入射光量を削減することで、飽和領域Ａの飽和状態が解消されたことを示す図である。 7 is a diagram showing that the saturation state of the saturation region A in the defocused image has been eliminated by performing the defocus control. FIG. 7D is a diagram showing that the saturation state of the saturation region A has been eliminated by restricting the iris mechanism 3 and reducing the amount of light incident on the image sensor 4.
ＣＰＵ１０は、ステップＳ２３において、デフォーカス画像における輝度レベルが飽和状態となっていた飽和領域Ａが、図７の符号（ｃ）の図のように不飽和状態となったか否かを判別する。ＣＰＵ１０は、飽和領域Ａが飽和しなくなったものと判別した場合は、処理をステップＳ２４に進める（ステップＳ２３：Ｙｅｓ）。これに対して、ＣＰＵ１０は、飽和領域Ａが飽和状態のままであると判別した場合は、処理をステップＳ２７に進める（ステップＳ２３：Ｎｏ）。 In step S23, the CPU 10 determines whether or not the saturated region A in which the luminance level in the defocused image is in a saturated state has become an unsaturated state as illustrated in a diagram (c) in FIG. If the CPU 10 determines that the saturation region A is no longer saturated, the process proceeds to step S24 (step S23: Yes). On the other hand, if the CPU 10 determines that the saturation region A remains in the saturated state, the process proceeds to step S27 (step S23: No).
すなわち、図８の（ａ）〜(ｄ)の符号を付した各図は、それぞれイメージセンサ４の１ライン分の輝度レベルの一例を示しており、図８の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。図８の（ｂ）の符号を付した図は、フォーカス画像の一部の画素（飽和領域Ａ）が、２５０の輝度レベルで飽和状態となっていることを示す図である。また、図８の（ｃ）の符号を付した図は、デフォーカス制御を行うことで得られたデフォーカス画像の飽和領域Ａの飽和状態が解消されていないことを示す図である。また、図８（ｄ）は、アイリス機構３を絞り、イメージセンサ４に対する入射光量を削減しても、飽和領域Ａの飽和状態が解消されていないことを示す図である。ＣＰＵ１０は、図８の（ｃ）の符号を付した図のように、デフォーカス制御を行っても、飽和領域Ａの飽和状態が解消されていないものと判別した場合に、ステップＳ２３からステップＳ２７に処理を進める。 That is, each figure attached with the reference numerals (a) to (d) in FIG. 8 shows an example of the luminance level for one line of the image sensor 4, and is attached with the reference numeral (a) in FIG. The figure shows the original luminance level of the focus image. FIG. 8B is a diagram showing that some pixels (saturated region A) of the focus image are saturated at a luminance level of 250. 8 is a diagram showing that the saturation state of the saturation region A of the defocus image obtained by performing the defocus control is not eliminated. FIG. 8D is a diagram showing that the saturation state of the saturation region A is not eliminated even if the iris mechanism 3 is stopped and the amount of incident light on the image sensor 4 is reduced. When the CPU 10 determines that the saturation state of the saturation region A has not been eliminated even if the defocus control is performed, as shown in the diagram with the reference numeral (c) in FIG. 8, the CPU 10 performs steps S23 to S27. Proceed with the process.
ＣＰＵ１０は、飽和領域Ａが飽和しなくなったものと判別することで処理をステップＳ２４に進めると、飽和領域Ａの飽和が解消されたデフォーカス画像から、飽和領域Ａに相当する各画素の画素値を検出し、処理をステップＳ２５に進める。ステップＳ２５では、ＣＰＵ１０が、検出したＲＧＢの各画素値のうち、最も値の大きい画素値を、飽和レベルに近い不飽和レベルとすると共に、他の画素の画素値を、元のＲＧＢの画素値の比率を維持する値とする。 When the CPU 10 determines that the saturation region A is no longer saturated and proceeds to step S24, the CPU 10 determines the pixel value of each pixel corresponding to the saturation region A from the defocused image in which the saturation of the saturation region A is eliminated. Is detected, and the process proceeds to step S25. In step S25, the CPU 10 sets the pixel value having the largest value among the detected RGB pixel values to the unsaturated level close to the saturation level, and sets the pixel values of the other pixels to the original RGB pixel values. A value that maintains the ratio of.
例えば、飽和レベルとなる画素値が２５０で、検出したＲＧＢの各画素値が２００、２１０、２２０であった場合、ＣＰＵ１０は演算を行い、最も値の大きい画素値であるＢの画素値を、飽和レベル２５０に近い不飽和レベル２３０の値とする。また、ＣＰＵ１０は演算を行い、Ｒの画素値およびＧの画素値を、元の画素値の比率を維持するように、それぞれ２１０，２２０の画素値とする（ＲＧＢ＝２１０，２２０，２３０）。 For example, when the pixel value that becomes the saturation level is 250 and the detected RGB pixel values are 200, 210, and 220, the CPU 10 performs an operation, and calculates the B pixel value that is the largest pixel value, The value of the unsaturation level 230 close to the saturation level 250 is used. Further, the CPU 10 performs an operation, and sets the R pixel value and the G pixel value to the pixel values of 210 and 220, respectively, so as to maintain the ratio of the original pixel values (RGB = 210, 220, 230).
ＣＰＵ１０は、このように演算した各画素値を補間画素値（補正画素値）とし、ステップＳ２６において、フォーカス画像の飽和領域Ａの画素値を、演算した補間画素値（補正画素値）に置き換える。これにより、第１の実施の形態の撮像装置と同様に、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。 The CPU 10 sets each pixel value calculated in this way as an interpolation pixel value (correction pixel value), and replaces the pixel value in the saturation area A of the focus image with the calculated interpolation pixel value (correction pixel value) in step S26. As a result, similarly to the imaging apparatus of the first embodiment, it is possible to obtain a captured image (focus image) in which a portion that is bright overall and has high luminance is colored with the original color of the portion.
一方、ＣＰＵ１０は、デフォーカス制御を行っても飽和領域Ａが飽和したままである場合、処理をステップＳ２７に進め、飽和領域Ａから所定の画素分離れた複数の点の画素の画素値をそれぞれ検出する。換言すると、ステップＳ２７では、ＣＰＵ１０が、飽和領域Ａの近傍の不飽和領域の複数の点の画素(近傍不飽和画素)の画素値をそれぞれ検出する。そして、ＣＰＵ１０は、処理をステップＳ２８に進め、各点の画素値から飽和領域Ａの画素値の比率を演算する。 On the other hand, if the saturated region A remains saturated even after performing defocus control, the CPU 10 advances the process to step S27, and sets pixel values of pixels at a plurality of points separated from the saturated region A by a predetermined number of pixels. To detect. In other words, in step S27, the CPU 10 detects pixel values of pixels at a plurality of points (neighboring unsaturated pixels) in the unsaturated region near the saturated region A, respectively. Then, the CPU 10 advances the processing to step S28, and calculates the ratio of the pixel value in the saturation region A from the pixel value at each point.
具体的に説明すると、図９の（ａ）の符号を付した図は、フォーカス画像の本来の輝度レベルを示している。これに対して、図９の（ｂ）の符号を付した図は、デフォーカス制御を行っても、デフォーカス画像の飽和領域Ａが飽和したままの状態で残っていることを示している。この場合、ＣＰＵ１０は、ステップＳ２７において、飽和領域Ａから所定の画素分離れた不飽和領域における、図１０に示す点ａのＲＧＢの各画素値、および点ｂのＲＧＢの各画素値を検出する。すなわち、図１０に示す点ｃは、飽和領域ＡのＲＧＢの各画素値を示している。図１０に示す点ｂは、飽和領域Ａの点ｃから所定の画素分離れた位置におけるＲＧＢの各画素値を示している。図１０に示す点ａは、不飽和領域の点ｂから、さらに所定の画素分離れた位置におけるＲＧＢの各画素値を示している。 More specifically, the diagram with the symbol (a) in FIG. 9 shows the original luminance level of the focus image. On the other hand, the diagram with the symbol (b) in FIG. 9 shows that the saturated region A of the defocused image remains saturated even when the defocus control is performed. In this case, in step S27, the CPU 10 detects the RGB pixel values of the point a and the RGB pixel values of the point b shown in FIG. 10 in the unsaturated region separated by a predetermined pixel from the saturated region A. . That is, the point c shown in FIG. 10 indicates each RGB pixel value in the saturated region A. A point b illustrated in FIG. 10 indicates each RGB pixel value at a position separated by a predetermined pixel from the point c in the saturated region A. A point a shown in FIG. 10 indicates each pixel value of RGB at a position further separated by a predetermined pixel from the point b in the unsaturated region.
ＣＰＵ１０は、ステップＳ２７およびステップＳ２８において、点ａにおけるＲＧＢの各画素値Ｒａ，Ｇａ，Ｂａ、および点ｂにおけるＲＧＢの各画素値Ｒｂ，Ｇｂ，Ｂｂから、点ｃにおける各画素値Ｒｃ，Ｇｃ，Ｂｃの比率(＝飽和領域Ａの各画素の画素値の比率)を予測演算する。 In steps S27 and S28, the CPU 10 determines the pixel values Rc, Gc, Gb at the point c from the RGB pixel values Ra, Ga, Ba at the point a and the RGB pixel values Rb, Gb, Bb at the point b. Bc ratio (= ratio of pixel values of each pixel in the saturation region A) is predicted and calculated.
この予測演算により算出された点ｃにおける各画素値Ｒｃ，Ｇｃ，Ｂｃの比率が「３００：１００：２００」であったとすると、ＣＰＵ１０は、ステップＳ２５において、一番大きな画素値のＲｃの画素の画素値を２３０の画素値とする。これと共に、ＣＰＵ１０は、上述の「３００：１００：２００」の比率を維持すべく、Ｇｃの画素値として７７の値を算出し、Ｂｃの画素値として１５５の値を算出する。そして、ＣＰＵ１０は、ステップＳ２６において、フォーカス画像の飽和領域Ａの各画素の画素値を、このように算出したＲｃ，Ｇｃ，Ｂｃの２３０，７７，１５５の画素値である補正画素値に置き換える。 Assuming that the ratio of the pixel values Rc, Gc, Bc at the point c calculated by this prediction calculation is “300: 100: 200”, the CPU 10 determines the pixel of Rc having the largest pixel value in step S25. The pixel value is 230. At the same time, the CPU 10 calculates a value of 77 as the pixel value of Gc and a value of 155 as the pixel value of Bc in order to maintain the above-mentioned ratio of “300: 100: 200”. In step S26, the CPU 10 replaces the pixel value of each pixel in the saturation region A of the focus image with the corrected pixel value that is the pixel values of Rc, Gc, and Bc 230, 77, and 155 thus calculated.
これにより、デフォーカス制御を行うことで、依然として飽和領域が残っている場合でも、この飽和領域の各画素の画素値を、飽和領域近傍の不飽和領域の近傍不飽和画素で近似した画素の補正画素値に置換することができる。このため、第１の実施の形態の撮像装置と同様に、全体的に明るく、かつ、高輝度の箇所でもその箇所本来の色で発色させた撮像画像（フォーカス画像）を得ることができる。 As a result, even if the saturation region still remains by performing defocus control, the pixel value of each pixel in this saturation region is approximated by the unsaturated pixel near the unsaturated region near the saturation region. It can be replaced with a pixel value. For this reason, as with the imaging device of the first embodiment, it is possible to obtain a captured image (focus image) in which a color that is bright overall and colored in a high-luminance location with the original color.
（第３の実施の形態）
次に、本発明の第３の実施の形態となる撮像装置の説明をする。この第３の実施の形態の撮像装置は、フォーカス画像（合焦画像）の飽和領域Ａの各画素を、各デフォーカス画像から選択した、より正確な画素（本来の色の画素）で補正可能としたものである。なお、この第３の実施の形態と上述の各実施の形態とでは、この点のみが異なる。このため、以下、差異の部分の説明のみ行い、重複した説明は省略する。
(Third embodiment)
Next, an image pickup apparatus according to a third embodiment of the present invention will be described. The image pickup apparatus according to the third embodiment can correct each pixel in the saturation region A of the focus image (focused image) with a more accurate pixel (original color pixel) selected from each defocus image. It is what. This third embodiment is different from the above-described embodiments only in this point. For this reason, only the difference portion will be described below, and a duplicate description will be omitted.
図１１のフローチャートに、第３の実施の形態の撮像装置のＣＰＵ１０における色再現補正処理の流れを示す。ＣＰＵ１０は、静止画像の撮像開始操作が指定されたタイミングで、ＲＯＭ９に記憶されている画像処理プログラムに従って、図１１のフローチャートに示す処理を開始する。 The flowchart of FIG. 11 shows the flow of color reproduction correction processing in the CPU 10 of the imaging apparatus according to the third embodiment. The CPU 10 starts the processing shown in the flowchart of FIG. 11 according to the image processing program stored in the ROM 9 at the timing when the still image capturing start operation is designated.
図１１のフローチャートにおいて、ステップＳ１〜ステップＳ７では、上述のようにＣＰＵ１０が、合焦画像（フォーカス画像）および複数枚のデフォーカス画像を取得する。そして、隣接するフレームの撮像画像と比較して、色相および彩度に最も変化がある最変化画像を選択する。また、合焦画像（フォーカス画像）の画素で、飽和状態となっている画素（ＲＧＢの各画素値が所定値以上の画素（第１条件））を検出する。これにより、処理は、ステップＳ３１に進む。 In the flowchart of FIG. 11, in steps S1 to S7, as described above, the CPU 10 acquires a focused image (focus image) and a plurality of defocused images. Then, the most change image having the most change in hue and saturation is selected as compared with the captured image of the adjacent frame. In addition, a pixel that is in a saturated state (a pixel in which each pixel value of RGB is equal to or greater than a predetermined value (first condition)) is detected from the pixels of the focused image (focus image). Thereby, a process progresses to step S31.
ステップＳ３１では、ＣＰＵ１０が、最変化画像中の第１条件に対応する第１の検出画素と、最変化画像の前フレーム（フレームａ）画像中の第１条件に対応する第２の検出画素とを比較する。 In step S31, the CPU 10 includes a first detection pixel corresponding to the first condition in the most changed image and a second detection pixel corresponding to the first condition in the previous frame (frame a) image of the most changed image. Compare
具体的には、図１２において、（ａ）の符号を付した図は、合焦画像（フォーカス画像）を示している。また、図１２の（ｂ）〜（ｆ）の符号を付した図は、デフォーカス画像を示している。この例は、デフォーカス画像として、第１〜第５のデフォーカス画像が順に取得された例である。また、図１２の（ｅ）の符号を付した図に示す第４のデフォーカス画像が、最変化画像として選択された例である。また、図１２の（ａ）の符号を付した図に示す、点線の四角で囲って示す３つの○は、フォーカス画像中における飽和画素を示している。さらに、図１２の（ｂ）〜（ｆ）の符号を付した図に示す３つの○は、フォーカス画像中における飽和画素と同じ位置の画素を示している。 Specifically, in FIG. 12, the figure with the symbol (a) shows a focused image (focus image). Moreover, the figure which attached | subjected the code | symbol of (b)-(f) of FIG. 12 has shown the defocused image. In this example, the first to fifth defocus images are acquired in order as the defocus image. In addition, the fourth defocus image shown in the drawing with the symbol (e) in FIG. 12 is an example selected as the most changed image. In addition, three circles surrounded by a dotted square in the drawing with the reference numeral (a) in FIG. 12 indicate saturated pixels in the focus image. Further, the three circles shown in the drawings with the symbols (b) to (f) in FIG. 12 indicate pixels at the same position as the saturated pixels in the focus image.
この図１２を用いてステップＳ３１の処理を説明すると、ＣＰＵ１０は、図１２の（ｅ）の符号を付した図に示す最変化画像中の、合焦画像の飽和画素と同じ位置の第１の検出画素と、図１２の（ｄ）の符号を付した図に示すフレームａの画像中の、合焦画像の飽和画素と同じ位置の第２の検出画素とを比較する。ＣＰＵ１０は、ステップＳ３２において、比較の結果、最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別する。 The processing in step S31 will be described with reference to FIG. 12. The CPU 10 determines the first position at the same position as the saturated pixel of the focused image in the most changed image shown in FIG. The detection pixel is compared with the second detection pixel at the same position as the saturated pixel of the focused image in the image of the frame a shown in FIG. As a result of the comparison, in step S32, the CPU 10 determines whether there is a pixel having greatly different RGB pixel values between the first detection pixel in the most changed image and the second detection pixel in the frame a. Determine whether or not.
ここで、図１４に、デフォーカスの度合いに応じて発生する色の広がりを模式的に示す。図１４の（ａ）の符号を付した図は、飽和状態となっている合焦画像（フォーカス画像）の各領域の画素を示している。図１４の（ｂ）の符号を付した図は、図１２の（ｂ）の符号を付した図に示す第１のデフォーカス画像の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｃ）の符号を付した図は、図１２の（ｃ）の符号を付した図に示す第２のデフォーカス画像（フレームｂ）の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｄ）の符号を付した図は、図１２の（ｄ）の符号を付した図に示す第３のデフォーカス画像（フレームａ）の、デフォーカスの度合いに応じた色の広がりを示している。図１４の（ｅ）の符号を付した図は、図１２の（ｅ）の符号を付した図に示す第４のデフォーカス画像（最変化画像）の、デフォーカスの度合いに応じた色の広がりを示している。なお、図１４の（ｂ）〜（ｅ）の各符号を付した各図中における、それぞれ二点鎖線で示す円は、飽和状態となっている合焦画像の隣接する２つの領域を示している。 Here, FIG. 14 schematically shows the spread of color that occurs according to the degree of defocus. The figure attached with the reference numeral (a) in FIG. 14 shows the pixels in each area of the focused image (focus image) in a saturated state. The figure attached with the reference numeral (b) in FIG. 14 shows the spread of color according to the degree of defocusing of the first defocused image shown in the figure attached with the reference numeral (b) in FIG. . The figure attached with the reference numeral (c) in FIG. 14 shows the color spread according to the degree of defocusing of the second defocused image (frame b) shown in the figure attached with the reference numeral (c) in FIG. Is shown. The figure attached with the reference numeral (d) in FIG. 14 shows the spread of color according to the degree of defocusing of the third defocused image (frame a) shown in the figure attached with the reference numeral (d) in FIG. Is shown. The figure attached with the reference numeral (e) in FIG. 14 shows the color of the fourth defocused image (most changed image) shown in the figure attached with the reference numeral (e) in FIG. 12 according to the degree of defocus. It shows the spread. In addition, in each figure which attached | subjected each code | symbol of (b)-(e) of FIG. 14, the circle shown with a dashed-two dotted line shows two adjacent areas | regions of the focused image which is in a saturated state, respectively. Yes.
図１４の（ｂ）〜（ｅ）の各符号を付した図からわかるように、デフォーカスの度合いが大きくなるに連れ、各飽和画素に対応する色の広がりが大きくなる。そして、各飽和画素の色の広がりが大きくなるに連れ、隣接する各画素の広がった各色同士の重なり合う範囲が徐々に広くなる。このため、現在フレームよりも前フレームの方が、色同士の重なり合う範囲が狭い。従って、現在フレームと前フレームの同画素同士を比較すると、前フレームから現在フレームにかけて、色同士の重なり合いが広がった範囲を検出できる。ステップＳ３１およびステップＳ３２においては、このように色同士が重なり合う範囲が変化する最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素とを比較し、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別している。 As can be seen from FIGS. 14B to 14E, the spread of the color corresponding to each saturated pixel increases as the degree of defocus increases. As the color spread of each saturated pixel increases, the overlapping range of the spread colors of adjacent pixels gradually increases. For this reason, the overlapping range of colors is narrower in the previous frame than in the current frame. Therefore, when the same pixels in the current frame and the previous frame are compared with each other, it is possible to detect a range in which the overlap of colors spreads from the previous frame to the current frame. In step S31 and step S32, the first detection pixel in the most changed image in which the overlapping range of colors changes in this way is compared with the second detection pixel in frame a, and each pixel value of RGB is compared. It is determined whether or not there is a pixel that greatly differs.
次に、ＲＧＢの各画素値が大きく異なる画素が存在しないものと判別した場合（ステップＳ３２：Ｎｏ）、ＣＰＵ１０は、処理を上述のステップＳ８に進める。ＣＰＵ１０は、ステップＳ８に処理を進めると、フォーカス画像と、ステップＳ６で選択した最変化画像とを比較し、最変化画像の各画素のうち、フォーカス画像の各画素と比較して、明度が下がり、かつ、彩度が上がった画素を検出する（第２条件）。 Next, when it is determined that there is no pixel having greatly different RGB pixel values (step S32: No), the CPU 10 advances the process to step S8 described above. When the process proceeds to step S8, the CPU 10 compares the focus image with the most changed image selected in step S6, and the brightness decreases compared with each pixel of the focus image among the pixels of the most changed image. In addition, pixels with increased saturation are detected (second condition).
次に、ＣＰＵ１０は、ステップＳ９において、上述の第１条件および第２条件を満たす画素を検出する。すなわち、第１条件を満たす画素とは、輝度レベルが飽和状態（または飽和に近い状態）となっており、本来の色が発色されていない可能性の高い画素である。また、第２の条件である、明度が下がり、かつ、彩度が上がった画素とは、デフォーカスにより、輝度レベルが下がることで、本来の色を発色するようになった画素である。このため、第１の条件および第２の条件を満たす画素を検出することで、フォーカス画像において、本来の色を発色していない画素（補正対象画素）を検出することができる。図４の例で説明すると、電源ボタン１５の発光箇所に対応する画素（＝電源マークに模られた透明部材に対応する画素）を検出することができる。 Next, CPU10 detects the pixel which satisfy | fills the above-mentioned 1st condition and 2nd condition in step S9. In other words, a pixel that satisfies the first condition is a pixel whose luminance level is in a saturated state (or a state close to saturation) and is likely to have no original color. In addition, the second condition, which is a pixel whose brightness is lowered and whose saturation is increased, is a pixel which has developed its original color due to a decrease in luminance level due to defocusing. Therefore, by detecting pixels that satisfy the first condition and the second condition, it is possible to detect pixels (correction target pixels) that do not develop the original color in the focus image. If it demonstrates in the example of FIG. 4, the pixel (= pixel corresponding to the transparent member imitated by the power mark) corresponding to the light emission location of the power button 15 is detectable.
次に、ＣＰＵ１０は、ステップＳ１０において、フォーカス画像の補正対象画素の色を、最変化画像の補正対象画素に対応する画素の色に変更する。すなわち、図４の例で説明すると、ＣＰＵ１０は、フォーカス画像の電源ボタン１５の電源マークに模られた透明部材に対応する画素の色を、例えば図４の（ｆ）の符号の図の電源ボタン１５の画素の色に変更する。これにより、図５の（ａ）の符号の図に示すように、輝度レベルが飽和状態となることで、フォーカス画像上において白色に表示されていた電源ボタン１５の色を、図５の（ｂ）の符号の図に示すように、電源ボタン１５本来の色（例えば黄緑色）で表示することができる。 Next, in step S10, the CPU 10 changes the color of the correction target pixel of the focus image to the color of the pixel corresponding to the correction target pixel of the most changed image. That is, in the example of FIG. 4, the CPU 10 changes the color of the pixel corresponding to the transparent member imitated by the power mark of the power button 15 of the focus image, for example, the power button in the diagram of FIG. Change to the color of 15 pixels. As a result, as shown in the diagram of the reference numeral (a) in FIG. 5, when the luminance level is saturated, the color of the power button 15 displayed in white on the focus image is changed to (b) in FIG. 5. ), The power button 15 can be displayed in the original color (for example, yellow green).
次に、ステップＳ３２において、最変化画像中の第１の検出画素と、フレームａ中の第２の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するものと判別した場合（ステップＳ３２：Ｙｅｓ）、ＣＰＵ１０は、処理をステップＳ３３に進める。ステップＳ３３では、ＣＰＵ１０が、図１２の（ｄ）の符号を付した図、および図１４の（ｄ）の符号を付した図の斜線の領域に示すように、フレームａの、ＲＧＢの各画素値が大きく異なる画素を第３の検出画素とする。図１４の（ｄ）の符号を付した図において、点線の円は、図１４の（ｅ）の符号を付した図に示す最変化画像の色の広がりの範囲を示している。この最変化画像の色の広がりの範囲と、第３のデフォーカス画像の色の広がりの範囲とを見比べてわかるように、最変化画像の色の広がりの範囲と、第３のデフォーカス画像の色の広がりの範囲との差の領域に対応する画素が、ＲＧＢの各画素値が大きく異なる第３の検出画素として検出される。また、ＣＰＵ１０は、図１２の（ｃ）の符号を付した図に示す、最変化画像の前々フレームであるフレームｂ中における、第３の検出画素と同位置の画素を第４の検出画素とする。そして、ＣＰＵ１０は、第３の検出画素と第４の検出画素を比較し、ステップＳ３４において、比較の結果、第３の検出画素と第４の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在するか否かを判別する。 Next, in step S32, when it is determined that there is a pixel having greatly different RGB pixel values between the first detection pixel in the most changed image and the second detection pixel in the frame a. (Step S32: Yes), CPU10 advances a process to step S33. In step S33, as shown in the hatched area in FIG. 12, the CPU 10 adds the reference numeral (d) and the reference numeral (d) in FIG. A pixel having a greatly different value is taken as a third detection pixel. In the figure attached with the reference numeral (d) in FIG. 14, a dotted circle indicates the range of color spread of the most changed image shown in the figure attached with the reference numeral (e) in FIG. As can be seen by comparing the color spread range of the most changed image with the color spread range of the third defocus image, the color spread range of the most changed image and the third defocus image A pixel corresponding to a difference area from the color spread range is detected as a third detection pixel in which each of the RGB pixel values is greatly different. In addition, the CPU 10 determines that the fourth detection pixel is a pixel at the same position as the third detection pixel in the frame b that is the previous frame of the most changed image shown in the diagram with the reference numeral (c) in FIG. And Then, the CPU 10 compares the third detection pixel and the fourth detection pixel, and in step S34, as a result of the comparison, each pixel value of RGB is between the third detection pixel and the fourth detection pixel. It is determined whether or not there is a greatly different pixel.
ＲＧＢの各画素値が大きく異なる画素が存在するものと判別した場合（ステップＳ３４：Ｙｅｓ）、ＣＰＵ１０は、処理をステップＳ３５に進める。ステップＳ３５では、ＣＰＵ１０が、例えば図１２の（ｃ）の符号を付した図、および図１４の（ｃ）の符号を付した図の斜線で示す領域のように、ＲＧＢの各画素値が大きく異なる画素を第５の検出画素とする。なお、図１４の（ｃ）の符号を付した図において、点線の円は、図１４の（ｄ）の符号を付した図に示す第３のデフォーカス画像の色の広がりの範囲を示している。この第３のデフォーカス画像の色の広がりの範囲と、第２のデフォーカス画像の色の広がりの範囲とを見比べてわかるように、第３のデフォーカス画像の色の広がりの範囲と、第２のデフォーカス画像の色の広がりの範囲との差の領域に対応する画素が、ＲＧＢの各画素値が大きく異なる第５の検出画素として検出される。ＣＰＵ１０は、図１２の（ａ）および（ｂ）の符号を付した図に示すように、合焦画像の第５の検出画素と同位置の画素に、フレームｂの前フレーム（第１のフォーカス画像）の同位置の画素の値を当て嵌めて、ステップＳ３６に処理を進める。 When it is determined that there is a pixel having greatly different RGB pixel values (step S34: Yes), the CPU 10 advances the process to step S35. In step S35, each pixel value of RGB is increased by the CPU 10 as indicated by the hatched area in the diagram denoted by (c) in FIG. 12 and the diagram denoted by (c) in FIG. A different pixel is set as a fifth detection pixel. In FIG. 14C, the dotted circle indicates the range of color spread of the third defocus image shown in FIG. 14D. Yes. As can be seen by comparing the color spread range of the third defocus image with the color spread range of the second defocus image, the color spread range of the third defocus image, A pixel corresponding to a difference area from the color spread range of the second defocus image is detected as a fifth detection pixel in which each pixel value of RGB is greatly different. As shown in FIGS. 12A and 12B, the CPU 10 sets the previous frame (first focus) of the frame b to the pixel at the same position as the fifth detection pixel of the focused image. The value of the pixel at the same position of (image) is applied, and the process proceeds to step S36.
すなわち、各デフォーカス画像は、デフォーカスの度合いが大きくなるほど、色同士が重なり合う範囲が大きくなる。反対に、合焦画像に対して時間的に近い時間に撮像されたデフォーカス画像ほど、色同士が重なり合う範囲が小さいため、各位置の画素が正しい色で発色している可能性が高い。このため、ＣＰＵ１０は、第３の検出画素と第４の検出画素との間における、ＲＧＢの各画素値が大きく異なる第５の検出画素と同位置の合焦画像の画素を、色同士の重なりが少なく、本来の色が発色している可能性の高い第１のデフォーカス画像の第５の検出画素と同位置の画素で補正する（色の正確性を重視）。これにより、不正確な色で補正される可能性のある、合焦画像の第５の検出画素と同位置の画素を、正確な画素（本来の色の画素）で補正できる。 That is, in each defocused image, the greater the degree of defocus, the greater the range in which colors overlap. On the other hand, the defocused image captured at a time closer to the focused image has a smaller possibility that the color overlaps with each other because the range where the colors overlap is smaller. For this reason, the CPU 10 overlaps the pixels of the focused image at the same position as the fifth detection pixel in which the RGB pixel values differ greatly between the third detection pixel and the fourth detection pixel. Correction is performed with a pixel at the same position as the fifth detection pixel of the first defocused image with a small possibility that the original color is likely to be developed (emphasis on color accuracy). Thereby, a pixel at the same position as the fifth detection pixel of the focused image, which may be corrected with an inaccurate color, can be corrected with an accurate pixel (original color pixel).
次に、ステップＳ３６では、ＣＰＵ１０が、図１２の（ａ）および（ｃ）の符号を付した図に示すように、合焦画像の第５の検出画素と同位置の画素以外の画素に、フレームｂ（第２のデフォーカス画像）の同位置の画素の値を当て嵌めて、処理をステップＳ３７に進める。すなわち、フレームｂ（第２のデフォーカス画像）の第５の検出画素と同位置の画素以外の画素は、第５の検出画素とは異なり、ＲＧＢの各画素値が大きく異なる画素ではない。ただ、第５の検出画素に近い画素である。また、各デフォーカス画像の発色の濃さは、デフォーカス画像の度合いが大きくなるに連れ、徐々に濃くなる傾向にある。このため、ＣＰＵ１０は、第５の検出画素に近い位置の画素に対応する合焦画像の画素を補正処理する場合、第５の検出画素に対応する画素を選択した第１のフォーカス画像に隣接する第２のフォーカス画像（フレームｂ）から、第５の検出画素と同位置の画素以外の画素を選択し、対応する合焦画像の画素に当て嵌める。これにより、色の濃さと正確性を共に備えた画素で補正処理を行うことができる。 Next, in step S36, as shown in the figure with the reference numerals (a) and (c) in FIG. 12, the CPU 10 adds pixels other than the pixel at the same position as the fifth detection pixel of the focused image. The value of the pixel at the same position in the frame b (second defocus image) is applied, and the process proceeds to step S37. That is, unlike the fifth detection pixel, the pixels other than the pixel at the same position as the fifth detection pixel of the frame b (second defocused image) are not pixels having greatly different RGB pixel values. However, the pixel is close to the fifth detection pixel. Further, the color depth of each defocus image tends to gradually increase as the degree of the defocus image increases. Therefore, when correcting the pixel of the focused image corresponding to the pixel at a position close to the fifth detection pixel, the CPU 10 is adjacent to the first focus image in which the pixel corresponding to the fifth detection pixel is selected. From the second focus image (frame b), a pixel other than the pixel at the same position as the fifth detection pixel is selected and applied to the corresponding focused image pixel. As a result, correction processing can be performed with pixels having both color density and accuracy.
次に、ステップＳ３７では、ＣＰＵ１０が、図１２の（ａ）および（ｅ）の符号を付した図に示すように、合焦画像の第１の条件の画素中の第３の検出画素（第３のデフォーカス画像）と同位置の画素以外の画素に、最変化画像の値を当て嵌める。すなわち、合焦画像の各画素において、「第５の検出画素に対応する位置の画素」と、「第３の検出画素と同位置の画素以外の画素」との位置は、離れている。このため、ＣＰＵ１０は、発色の濃さを優先し、合焦画像の第３の検出画素と同位置の画素以外の画素に、最変化画像の値、そのものを用いて処理を行う。これにより、図１１のフローチャートの処理が終了する。 Next, in step S37, as shown in the figure with the reference numerals (a) and (e) in FIG. 12, the CPU 10 detects the third detection pixel (the first detection pixel in the first condition pixel of the focused image. 3), the value of the most changed image is applied to pixels other than the pixel at the same position as the defocused image 3). That is, in each pixel of the focused image, the positions of “a pixel at a position corresponding to the fifth detection pixel” and “a pixel other than the pixel at the same position as the third detection pixel” are separated from each other. For this reason, the CPU 10 gives priority to the darkness of color development, and performs processing using the value of the most changed image itself for the pixels other than the pixel at the same position as the third detection pixel of the focused image. Thereby, the process of the flowchart of FIG. 11 is completed.
一方、ステップＳ３４において、第３の検出画素と第４の検出画素との間に、ＲＧＢの各画素値が大きく異なる画素が存在しないものと判別した場合（ステップＳ３４：Ｎｏ）、ＣＰＵ１０は、処理をステップＳ３８に進める。ステップＳ３８では、ＣＰＵ１０が、図１３の（ａ）および（ｃ）の符号を付した図に示すように、合焦画像の第３の検出画素と同位置の画素に、フレームｂ（第２のデフォーカス画像）の同位置の画素の値を当て嵌めて、処理をステップＳ３９に進める。これにより、補正する画素の色の濃さと正確性を兼ね備えた補正処理を行うことができる。 On the other hand, when it is determined in step S34 that there is no pixel having a significantly different RGB pixel value between the third detection pixel and the fourth detection pixel (step S34: No), the CPU 10 performs processing. Advances to step S38. In step S38, the CPU 10 places the frame b (second frame) on the pixel at the same position as the third detection pixel of the focused image, as shown in the diagrams with the reference numerals (a) and (c) in FIG. The value of the pixel at the same position in the defocused image) is applied, and the process proceeds to step S39. As a result, it is possible to perform a correction process having both the darkness and accuracy of the pixel to be corrected.
ステップＳ３９では、ＣＰＵ１０が、図１３の（ａ）および（ｅ）の符号を付した図に示すように、合焦画像の第１の条件の画素中の第３の検出画素と同位置の画素以外の画素に、最変化画像の同位置の画素の値を当て嵌める。すなわち、この場合、ＣＰＵ１０は、発色の濃さを優先し、合焦画像の第３の検出画素と同位置の画素以外の画素に、最変化画像の値、そのものを用いて処理を行い、図１１のフローチャートの処理が終了する。これにより、発色性を優先した補正を行うことができる。 In step S39, the CPU 10 is a pixel at the same position as the third detection pixel in the pixels of the first condition of the focused image, as shown in the diagrams with the reference numerals (a) and (e) in FIG. The value of the pixel at the same position in the most changed image is applied to the other pixels. That is, in this case, the CPU 10 gives priority to the darkness of color development, and performs processing using the value of the most changed image itself on the pixels other than the pixel at the same position as the third detection pixel of the focused image. 11 is completed. Thereby, it is possible to perform correction giving priority to color development.
以上の説明から明らかなように、第３の実施の形態となる撮像装置は、隣接するフレームのデフォーカス画像の色相および彩度に最も変化があるデフォーカス画像（最変化画像）を検出する。合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なる画素の有無を検出する（ステップＳ３２）。 As is apparent from the above description, the imaging apparatus according to the third embodiment detects a defocused image (the most changed image) in which the hue and saturation of the defocused image in the adjacent frame are most varied. Each pixel value of RGB is between the pixel of the most changed image at the same position as the correction target pixel of the focused image and the pixel at the same position of the correction target pixel of the defocus image of the previous frame of the most changed image. The presence or absence of a greatly different pixel is detected (step S32).
画素値が大きく異なる画素が存在する場合、画素値が大きく異なる画素と、最変化画像の前々フレームのデフォーカス画像の同位置の画素とを比較し、ＲＧＢの各画素値が大きく異なる画素の有無を検出する（ステップＳ３４）。 If there are pixels with greatly different pixel values, compare the pixels with greatly different pixel values with the pixels at the same position in the defocused image in the previous frame of the most changed image. The presence or absence is detected (step S34).
画素値が大きく異なる画素が存在する場合、画素値が大きく異なる画素と同位置の合焦画像の画素を、画素値が大きく異なる画素が存在するデフォーカス画像の前フレームのデフォーカス画像の、画素値が大きく異なる画素と同位置の画素で補正する（ステップＳ３５：正確性を優先）。なお、「画素値が大きく異なる画素が存在するデフォーカス画像の前フレーム」の概念は、１フレーム前のデフォーカス画像でもよいし、複数フレーム前のデフォーカス画像でもよいものと理解されたい。 If there is a pixel with a significantly different pixel value, the pixel of the focused image at the same position as the pixel with the greatly different pixel value is the pixel of the defocused image in the previous frame of the defocused image with a pixel with a significantly different pixel value. Correction is performed using a pixel at the same position as a pixel having a greatly different value (step S35: accuracy is given priority). It should be understood that the concept of “the previous frame of a defocus image in which pixels having greatly different pixel values exist” may be a defocus image one frame before or a defocus image before a plurality of frames.
また、各デフォーカス画像間で画素値が大きく異なる画素に近い位置の画素と同位置となる合焦画像の補正対象画素に対しては、画素値が大きく異なる画素が存在するデフォーカス画像の同位置の画素で補正する（ステップＳ３６：正確性および発色性を共に備えた画素を選択）。 In addition, with respect to the correction target pixel of the focused image that is in the same position as a pixel that is close to a pixel having a pixel value that differs greatly between the defocused images, the same defocused image in which a pixel with a greatly different pixel value exists Correction is performed with the pixel at the position (step S36: a pixel having both accuracy and color developability is selected).
また、各デフォーカス画像間で画素値が大きく異なる画素から遠い位置の画素と同位置となる合焦画像の補正対象画素に対しては、隣接するフレームのデフォーカス画像の色相および彩度に最も変化があるデフォーカス画像（最変化画像）の同位置の画素で補正する（発色性を優先：ステップＳ３７）。 In addition, with respect to the correction target pixel of the focused image that is in the same position as a pixel far from a pixel whose pixel value differs greatly between the defocused images, the hue and saturation of the defocused image of the adjacent frame are the most. Correction is performed with the pixel at the same position of the defocused image (the most changed image) having a change (priority of color development: step S37).
また、画素値が大きく異なる画素が存在しない場合、合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なるものと判別された画素と同位置の画素となる、最変化画像の前々フレームのデフォーカス画像の画素で、合焦画像の同位置の画素を補正する（ステップＳ３８：正確性および発色性を共に備えた画素を選択）。 In addition, when there is no pixel having a greatly different pixel value, the pixel of the most changed image at the same position as the correction target pixel of the focused image and the same position as the correction target pixel of the defocus image of the previous frame of the most changed image The pixel of the defocused image in the previous frame of the most changed image and the same position of the in-focus image, which is the pixel at the same position as the pixel determined to be significantly different from each other in RGB (Step S38: Select a pixel having both accuracy and color development).
また、合焦画像の補正対象画素と同位置となる最変化画像の画素と、最変化画像の前フレームのデフォーカス画像の、補正対象画素と同位置の画素との間で、ＲＧＢの各画素値が大きく異なるものと判別された画素以外の画素と同位置の、最変化画像の画素を用いて、合焦画像の同位置の画素を補正する（ステップＳ３９：発色性を優先）。 In addition, each pixel of RGB between the pixel of the most changed image at the same position as the correction target pixel of the focused image and the pixel at the same position of the correction target pixel of the defocus image of the previous frame of the most changed image The pixel at the same position of the focused image is corrected using the pixel of the most changed image at the same position as the pixel other than the pixel determined to have a significantly different value (step S39: coloring is prioritized).
これにより、各デフォーカス画像の中から、最適な画素（正確性を優先した画素、発色性を優先した画素等）を選択的に用いて、合焦画像の補正対象画素の補正を行うことができる。このため、合焦画像の補正対象画素を、より正確な色で表示できる他、上述の各実施の形態と同様の効果を得ることができる。 Thereby, the correction target pixel of the focused image can be corrected by selectively using an optimum pixel (a pixel giving priority to accuracy, a pixel giving priority to color development, etc.) from each defocused image. it can. For this reason, the correction target pixel of the focused image can be displayed in a more accurate color, and the same effects as those of the above-described embodiments can be obtained.
上述の各実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。各実施の形態および各実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Each above-mentioned embodiment is shown as an example and is not intending limiting the range of the present invention. Each of the novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. Each embodiment and modifications of each embodiment are included in the scope and gist of the invention, and are also included in the invention described in the claims and the equivalents thereof.
１ 撮像レンズ
２ レンズ駆動機構
３ アイリス機構
４ イメージセンサ
５ 相関二重サンプリング回路（ＣＤＳ）
６ アナログ可変増幅器
７ 信号処理部
８ ＲＡＭ
９ ＲＯＭ
１０ ＣＰＵ
１５ 電源ボタン
２１ 撮像部
２２ 飽和画素検出部
２３ 色補正部
２４ 色検出部
３１ 選択部
３２ 色変化画素検出部
３３ 補正対象検出部
DESCRIPTION OF SYMBOLS 1 Imaging lens 2 Lens drive mechanism 3 Iris mechanism 4 Image sensor 5 Correlated double sampling circuit (CDS)
6 Analog variable amplifier 7 Signal processor 8 RAM
9 ROM
10 CPU
DESCRIPTION OF SYMBOLS 15 Power button 21 Imaging part 22 Saturation pixel detection part 23 Color correction part 24 Color detection part 31 Selection part 32 Color change pixel detection part 33 Correction object detection part
Claims (8)
前記フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出部と、
前記デフォーカス画像から飽和画素に対応する色を検出する色検出部と、
前記フォーカス画像の飽和画素を、前記検出された色の画素に補正する色補正部と
を有する撮像装置。 An imaging unit that captures a focused image in which the subject is focused, and a defocused image in which the subject is not focused;
A saturated pixel detection unit that detects a saturated pixel in which brightness is saturated from the focus image;
A color detection unit for detecting a color corresponding to a saturated pixel from the defocused image;
An image pickup apparatus comprising: a color correction unit that corrects saturated pixels of the focus image to pixels of the detected color.
複数の前記デフォーカス画像同士を比較して、比較元のデフォーカス画像に対する色の変化が他のデフォーカス画像より大きいデフォーカス画像を選択する選択部と、
前記フォーカス画像と選択されたデフォーカス画像とを比較し、色が変化している色変化画素を検出する色変化画素検出部と、
前記飽和画素のうち、前記色変化画素となっている画素を表す補正対象画素を検出する補正対象検出部とを備え、
前記色補正部は、前記フォーカス画像の前記補正対象画素の色を、選択されたデフォーカス画像の前記補正対象画素に対応する画素の色に補正すること
を特徴とする請求項１に記載の撮像装置。 The color detection unit
A selection unit that compares a plurality of the defocus images and selects a defocus image whose color change with respect to the defocus image of the comparison source is larger than other defocus images;
A color change pixel detection unit that compares the focus image with the selected defocus image and detects a color change pixel whose color has changed;
A correction target detection unit that detects a correction target pixel representing a pixel that is the color change pixel among the saturated pixels;
The imaging according to claim 1, wherein the color correction unit corrects the color of the correction target pixel of the focus image to a color of a pixel corresponding to the correction target pixel of the selected defocus image. apparatus.
前記飽和画素に対応する画素の不飽和が検出された場合、前記色検出部は、前記不飽和が検出された前記デフォーカス画像における、前記飽和画素に対応する画素の色を検出し、前記色補正部は、前記検出した画素の色に、前記フォーカス画像の前記飽和画素を補正し、前記デフォーカスを所定回数繰り返しても、前記飽和画素に対応する画素が飽和状態である場合、前記色検出部は、前記飽和画素の近傍の不飽和画素から前記飽和画素に対応する色の画素を生成し、前記色補正部は、前記生成した画素の色に、前記フォーカス画像の前記飽和画素を補正すること
を特徴とする請求項１に記載の撮像装置。 When the saturated pixel exists, the saturated pixel detection unit acquires a defocused image defocused by a predetermined amount from the imaging unit, and each time each defocused image is obtained, the saturated pixel detection unit corresponds to the saturated pixel. Detects the saturation of the defocused image pixels,
When unsaturation of a pixel corresponding to the saturated pixel is detected, the color detection unit detects a color of the pixel corresponding to the saturated pixel in the defocus image where the unsaturation is detected, and the color The correction unit corrects the saturated pixel of the focus image to the color of the detected pixel, and the color detection is performed when the pixel corresponding to the saturated pixel is saturated even when the defocus is repeated a predetermined number of times. The unit generates a pixel of a color corresponding to the saturated pixel from the unsaturated pixel in the vicinity of the saturated pixel, and the color correction unit corrects the saturated pixel of the focus image to the color of the generated pixel. The imaging apparatus according to claim 1, wherein:
前記色補正部は、前記設定された各予測値で前記フォーカス画像の前記飽和画素の色を補正すること
を特徴とする請求項３に記載の撮像装置。 The color detection unit calculates a predicted value of a ratio of red, blue, and green pixel values of the saturated pixel from red, blue, and green pixel values of unsaturated pixels in the vicinity of the saturated pixel, and Among the predicted values of red, blue, and green of saturated pixels, the predicted value having the largest value is set to a predetermined unsaturated value close to the saturated value, and other predicted values are set to the ratio of the pixel values. Set to the value you want to keep,
The imaging apparatus according to claim 3, wherein the color correction unit corrects the color of the saturated pixel of the focus image with the set prediction values.
前記撮像部から取得したフォーカス画像の前記飽和画素と同位置となる前記最変化画像の画素と、前記最変化画像の前フレームのデフォーカス画像の、前記飽和画素と同位置の画素との間で、各画素値が大きく異なる画素の有無を検出する第１の検出部と、
前記第１の検出部で検出された画素値が大きく異なる画素と、前記最変化画像の前々フレームのデフォーカス画像の同位置の画素とを比較し、各画素値が大きく異なる画素の有無を検出する第２の検出部と、をさらに備え、
前記色補正部は、前記第２の検出部で検出された画素値が大きく異なる画素と同位置の、前記フォーカス画像の画素を、前記第２の検出部で検出された画素値が大きく異なる画素が存在するデフォーカス画像よりも前のフレームのデフォーカス画像の、前記画素値が大きく異なる画素と同位置の画素で補正すること
を特徴とする請求項１に記載の撮像装置。 A most changed image detecting unit for detecting a most changed image in which each pixel value of a defocus image of an adjacent frame acquired from the imaging unit has the most change;
Between the pixel of the most changed image at the same position as the saturated pixel of the focus image acquired from the imaging unit and the pixel at the same position of the defocused image of the previous frame of the most changed image. A first detection unit for detecting the presence or absence of a pixel having greatly different pixel values;
The pixel having a greatly different pixel value detected by the first detection unit is compared with the pixel at the same position in the defocused image of the frame immediately before the most changed image, and the presence or absence of a pixel having a greatly different pixel value is determined. A second detection unit for detecting,
The color correction unit is configured such that a pixel of the focus image at the same position as a pixel having a pixel value greatly different from the pixel value detected by the second detection unit is a pixel having a pixel value greatly different from the pixel value detected by the second detection unit. The image pickup apparatus according to claim 1, wherein correction is performed using a pixel at the same position as a pixel having a greatly different pixel value in a defocus image in a frame prior to a defocus image in which a pixel exists.
を特徴とする請求項５に記載の撮像装置。 The color correction unit includes the second detection unit for the saturated pixel of the focus image that is in the same position as a pixel close to a pixel whose pixel value detected by the second detection unit is significantly different. Correction is performed with a pixel at the same position in the defocused image where there is a pixel with a greatly different pixel value detected in step 2, and the same position as a pixel at a position far from a pixel with a greatly different pixel value detected by the second detection unit. The imaging apparatus according to claim 5, wherein the saturated pixel of the focus image is corrected by a pixel at the same position of the most changed image.
を特徴とする請求項５または請求項６に記載の撮像装置。 When the second detection unit does not detect a pixel having a greatly different pixel value, the color correction unit includes a pixel of the most changed image at the same position as the saturated pixel of the focus image, and a front of the most changed image. In the defocused image of the frame, the most change is the pixel at the same position as the pixel determined by the first detection unit as having a pixel value greatly different from the saturated pixel and the pixel at the same position. The pixel at the same position of the focus image is corrected with the pixel of the defocus image in the frame before the image, the pixel of the most changed image at the same position as the saturated pixel of the focus image, and the most changed image In the defocus image of the previous frame of the image, between the saturated pixel and the pixel at the same position, at the same position as the pixel other than the pixel determined by the second detection unit to be largely different from each other, The most changing picture Using the pixel, the image pickup apparatus according to claim 5 or claim 6, wherein the correcting the pixel of the same position of the focused image.
飽和画素検出部が、前記フォーカス画像から輝度が飽和状態となっている飽和画素を検出する飽和画素検出工程と、
色検出部が、前記デフォーカス画像から飽和画素に対応する色を検出する色検出工程と、
色補正部が、前記フォーカス画像の飽和画素を、前記検出された色の画素に補正する色補正工程と
を有する撮像画像の色補正方法。 An imaging control step in which the imaging control unit controls the imaging unit so as to capture a focused image in which the subject is focused and a defocused image in which the subject is not focused;
A saturated pixel detection step for detecting a saturated pixel in which luminance is saturated from the focus image;
A color detection step in which a color detection unit detects a color corresponding to a saturated pixel from the defocused image;
A color correction method for a captured image, comprising: a color correction step in which a color correction unit corrects a saturated pixel of the focus image to a pixel of the detected color.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014073329A JP6206299B2 (en) | 2013-08-29 | 2014-03-31 | Imaging device and color correction method for captured image |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013178595 | 2013-08-29 | ||
| JP2013178595 | 2013-08-29 | ||
| JP2014073329A JP6206299B2 (en) | 2013-08-29 | 2014-03-31 | Imaging device and color correction method for captured image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015065635A true JP2015065635A (en) | 2015-04-09 |
| JP6206299B2 JP6206299B2 (en) | 2017-10-04 |
Family
ID=52833143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014073329A Active JP6206299B2 (en) | 2013-08-29 | 2014-03-31 | Imaging device and color correction method for captured image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6206299B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105812761A (en) * | 2015-08-03 | 2016-07-27 | 维沃移动通信有限公司 | Image color reduction method and terminal |
| JP2017121834A (en) * | 2016-01-05 | 2017-07-13 | 株式会社京三製作所 | Determination device, car side lamp lighting detection device and car side lamp lighting detection system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004289383A (en) * | 2003-03-20 | 2004-10-14 | Seiko Epson Corp | Image pickup device, image data generating device, image data processor, and image data processing program |
| JP2006180210A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Imaging apparatus and method, and program |
| JP2009201094A (en) * | 2008-01-22 | 2009-09-03 | Ricoh Co Ltd | Imaging apparatus and imaging method |
| WO2010116922A1 (en) * | 2009-04-07 | 2010-10-14 | コニカミノルタオプト株式会社 | Image input device |
| JP2011109496A (en) * | 2009-11-19 | 2011-06-02 | Nikon Corp | Imaging apparatus |
| JP2013098805A (en) * | 2011-11-01 | 2013-05-20 | Clarion Co Ltd | Image processing apparatus, imaging apparatus and image processing program |
-
2014
- 2014-03-31 JP JP2014073329A patent/JP6206299B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004289383A (en) * | 2003-03-20 | 2004-10-14 | Seiko Epson Corp | Image pickup device, image data generating device, image data processor, and image data processing program |
| JP2006180210A (en) * | 2004-12-22 | 2006-07-06 | Sony Corp | Imaging apparatus and method, and program |
| JP2009201094A (en) * | 2008-01-22 | 2009-09-03 | Ricoh Co Ltd | Imaging apparatus and imaging method |
| WO2010116922A1 (en) * | 2009-04-07 | 2010-10-14 | コニカミノルタオプト株式会社 | Image input device |
| JP2011109496A (en) * | 2009-11-19 | 2011-06-02 | Nikon Corp | Imaging apparatus |
| JP2013098805A (en) * | 2011-11-01 | 2013-05-20 | Clarion Co Ltd | Image processing apparatus, imaging apparatus and image processing program |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105812761A (en) * | 2015-08-03 | 2016-07-27 | 维沃移动通信有限公司 | Image color reduction method and terminal |
| CN105812761B (en) * | 2015-08-03 | 2018-05-11 | 维沃移动通信有限公司 | The restoring method and terminal of a kind of color of image |
| JP2017121834A (en) * | 2016-01-05 | 2017-07-13 | 株式会社京三製作所 | Determination device, car side lamp lighting detection device and car side lamp lighting detection system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6206299B2 (en) | 2017-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6202860B2 (en) | Imaging apparatus and imaging method | |
| US8471953B2 (en) | Electronic camera that adjusts the distance from an optical lens to an imaging surface | |
| JP2006287323A (en) | Imaging apparatus | |
| JP4305327B2 (en) | Imaging apparatus, white balance control method, and white balance control program | |
| JP2010016664A (en) | Imaging apparatus | |
| JP2005223898A (en) | Image processing method and imaging apparatus | |
| JP2010219606A (en) | Device and method for white balance adjustment | |
| US9979876B2 (en) | Imaging apparatus, imaging method, and storage medium | |
| JP2008070611A (en) | Imaging apparatus, exposure condition adjustment method and program | |
| JPWO2015083684A1 (en) | IMAGING DEVICE AND IMAGING DEVICE OPERATING METHOD | |
| JP6206299B2 (en) | Imaging device and color correction method for captured image | |
| US9922410B2 (en) | Image processing apparatus and image processing method | |
| JP6550827B2 (en) | Image processing apparatus, image processing method and program | |
| JP2012248992A (en) | Digital camera | |
| JP6808482B2 (en) | Image processing equipment, image processing methods, and programs | |
| US11290654B2 (en) | Image capturing apparatus, light emission control apparatus, image capturing method, and light emission control method | |
| JP6552165B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP2014023057A (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP2005109999A (en) | White balance adjustment method and camera | |
| JP6515469B2 (en) | Imaging device, imaging method and program | |
| JP6486051B2 (en) | LIGHT EMITTING CONTROL DEVICE, ITS CONTROL METHOD, CONTROL PROGRAM, AND IMAGING DEVICE | |
| JP6701299B2 (en) | Image processing apparatus and image processing method | |
| JP2018186363A (en) | Imaging apparatus | |
| US20220321764A1 (en) | Illumination control device, imaging device, and storage medium | |
| JP6935969B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170315 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6206299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |