JP2005167465A - Digital camera and imaging method of digital camera - Google Patents

Digital camera and imaging method of digital camera Download PDF

Info

Publication number
JP2005167465A
JP2005167465A JP2003401346A JP2003401346A JP2005167465A JP 2005167465 A JP2005167465 A JP 2005167465A JP 2003401346 A JP2003401346 A JP 2003401346A JP 2003401346 A JP2003401346 A JP 2003401346A JP 2005167465 A JP2005167465 A JP 2005167465A
Authority
JP
Japan
Prior art keywords
light
color
digital camera
region
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003401346A
Other languages
Japanese (ja)
Other versions
JP4335648B2 (en
Inventor
Kenji Saito
謙二 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003401346A priority Critical patent/JP4335648B2/en
Publication of JP2005167465A publication Critical patent/JP2005167465A/en
Application granted granted Critical
Publication of JP4335648B2 publication Critical patent/JP4335648B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera capable of preventing the occurrence of the saturation of colors in an object image and to provide an imaging method of the digital camera. <P>SOLUTION: A microcomputer 40 detects a high saturation region wherein the saturation of colors of the object image denoted by color image information acquired by a CCD 24 is higher than a prescribed degree and adjusts a luminous quantity made incident into a light receiving region of the CCD 24 by partially adjusting the transmissivity of an LCD 23 so that the quantity of light made incident into the region corresponding to the high saturation region in the light receiving region by the CCD 24 is reduced. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、デジタルカメラ及びデジタルカメラの撮像方法に係り、特に、被写体像を示す画像情報をカラーで取得することのできる撮像手段を備えたデジタルカメラ及び当該デジタルカメラの撮像方法に関する。   The present invention relates to a digital camera and an imaging method of the digital camera, and more particularly, to a digital camera including an imaging unit that can acquire image information indicating a subject image in color and an imaging method of the digital camera.

近年、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージ・センサ等の撮像素子の高解像度化に伴い、デジタル電子スチルカメラやデジタルビデオカメラ等のデジタルカメラの需要が急増している。なお、この種のデジタルカメラでは、色再現性を重視する場合、R(赤),G(緑),B(青)の原色フィルタを用いたCCDを用いるのが一般的である。   In recent years, the demand for digital cameras such as digital electronic still cameras and digital video cameras has been increasing rapidly with the increase in resolution of imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor) image sensors. In this type of digital camera, when color reproducibility is important, a CCD using primary color filters of R (red), G (green), and B (blue) is generally used.

ところで、CCDは、銀塩を用いた写真フイルムに比較してダイナミックレンジが狭いため、撮影画面内に照明器具や太陽等の高輝度の被写体が存在する場合、高輝度領域と他の領域との輝度差が大きくなり、適正な露出設定を行うことができない。これは、高輝度領域以外の領域に応じて露出を設定した場合は高輝度領域のCCD出力信号が飽和してしまうし、逆に、高輝度領域に応じて露出を設定した場合には他の領域が暗くなってしまうからである。   By the way, the CCD has a narrow dynamic range compared to a photographic film using silver salt. Therefore, when a high-luminance object such as a luminaire or the sun exists in the shooting screen, the high-luminance area and other areas The brightness difference becomes large and proper exposure cannot be set. This is because the CCD output signal in the high brightness area is saturated when the exposure is set according to the area other than the high brightness area, and conversely, when the exposure is set according to the high brightness area, This is because the area becomes dark.

この問題を解決するために、特許文献1には、測光用の受光手段と当該受光手段に対する入射光量を制限する減光手段を備えると共に、上記受光手段の受光領域における受光量が所定値以上である領域への入射光量を制限するように上記減光手段を制御する技術が開示されている。
特開平7−120309号公報
In order to solve this problem, Patent Document 1 includes a light-receiving unit for photometry and a light-reducing unit that limits the amount of light incident on the light-receiving unit. A technique for controlling the dimming means so as to limit the amount of light incident on a certain region is disclosed.
Japanese Patent Laid-Open No. 7-120309

ところで、デジタルカメラで濃度の高い色の被写体を撮影した場合にも、色に関して同様の現象が発生する場合がある。例えば、真っ赤な薔薇を撮影した場合、花の色の飽和度が非常に高いときにはR,G,Bの分光特性のバランスによってはCCD出力信号の赤色が飽和してしまう場合があり、この現象を信号処理によって対策することはできない、という問題点があった。   By the way, even when a high density subject is photographed with a digital camera, a similar phenomenon may occur with respect to color. For example, when a bright red rose is photographed, the red color of the CCD output signal may be saturated depending on the balance of the spectral characteristics of R, G, B when the saturation of the flower color is very high. There was a problem that countermeasures could not be taken by signal processing.

また、上記特許文献1に係る技術では、露出を適正に設定することはできるものの、被写体の色の濃度については何ら考慮されておらず、被写体像における色の飽和の発生を防ぐことはできない、という問題点があった。   Further, in the technique according to Patent Document 1, although the exposure can be set appropriately, no consideration is given to the color density of the subject, and the occurrence of color saturation in the subject image cannot be prevented. There was a problem.

本発明は上記問題点を解消するためになされたものであり、被写体像における色の飽和の発生を防止することのできるデジタルカメラ及びデジタルカメラの撮像方法を提供することを目的とする。   The present invention has been made to solve the above problems, and an object thereof is to provide a digital camera and an imaging method for the digital camera that can prevent color saturation in a subject image.

上記目的を達成するために、請求項1記載のデジタルカメラは、被写体からの光を受光して被写体像を示すカラー画像情報を取得する撮像手段と、前記被写体からの光の透過率を部分的に変化させることにより前記撮像手段の受光領域に入射する光量を調整する光量調整手段と、前記カラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出する検出手段と、前記撮像手段による受光領域のうち、前記検出手段により検出された高飽和度領域に対応する領域に入射する光量が低減するように前記光量調整手段を制御する制御手段と、を備えている。   In order to achieve the above object, a digital camera according to claim 1 is an image capturing unit that receives light from a subject and acquires color image information indicating a subject image, and partially transmits light from the subject. A light amount adjusting unit that adjusts the amount of light incident on the light receiving region of the image pickup unit, and a detection that detects a high saturation region in which the color saturation of the subject image indicated by the color image information is higher than a predetermined degree And a control means for controlling the light amount adjusting means so as to reduce the amount of light incident on the region corresponding to the high saturation region detected by the detecting means, among the light receiving areas by the imaging means. Yes.

請求項1に記載のデジタルカメラによれば、撮像手段によって被写体からの光が受光されて被写体像を示すカラー画像情報が取得される。なお、上記撮像手段には、CCD、CMOSイメージ・センサ等の固体撮像素子が含まれる。   According to the digital camera of the first aspect, the light from the subject is received by the imaging unit, and the color image information indicating the subject image is acquired. Note that the imaging means includes a solid-state imaging device such as a CCD or a CMOS image sensor.

ここで、本発明のデジタルカメラには、前記被写体からの光の透過率を部分的に変化させることにより前記撮像手段の受光領域に入射する光量を調整する光量調整手段が備えられており、本発明では、前記カラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域が検出手段により検出され、前記撮像手段による受光領域のうち、前記検出手段により検出された高飽和度領域に対応する領域に入射する光量が低減するように前記光量調整手段が制御手段によって制御される。   Here, the digital camera of the present invention is provided with a light amount adjusting means for adjusting the light amount incident on the light receiving area of the imaging means by partially changing the transmittance of light from the subject. In the invention, a high saturation region in which the saturation of the color of the subject image indicated by the color image information is higher than a predetermined degree is detected by the detection unit, and among the light receiving regions by the imaging unit, the high level detected by the detection unit is detected. The light quantity adjusting means is controlled by the control means so that the light quantity incident on the area corresponding to the saturation degree area is reduced.

このように、請求項1に記載のデジタルカメラによれば、撮像手段により取得されたカラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出し、前記撮像手段による受光領域のうち、前記高飽和度領域に対応する領域に入射する光量が低減するように前記撮像手段の受光領域に入射する光量を調整しているので、カラー画像情報に対する信号処理を伴うことなく、すなわち回路規模の増大を招くことなく、被写体像における色の飽和の発生を防止することができる。   As described above, according to the digital camera of claim 1, a high saturation region in which the saturation of the color of the subject image indicated by the color image information acquired by the imaging unit is higher than a predetermined degree is detected, and the imaging is performed. The amount of light incident on the light receiving area of the imaging means is adjusted so as to reduce the amount of light incident on the area corresponding to the high saturation area in the light receiving area by the means, and therefore, signal processing for color image information is involved. Without saturation, that is, without increasing the circuit scale, it is possible to prevent color saturation in the subject image.

ところで、撮像手段により取得されるカラー画像情報は、通常、R,G,Bの各原色毎に濃度レベルを示すものとして取得される。   By the way, the color image information acquired by the imaging means is normally acquired as indicating the density level for each of R, G, and B primary colors.

そこで、本発明の前記検出手段は、請求項2に記載の発明のように、前記カラー画像情報により示される各原色毎の濃度レベルの少なくとも1つが所定レベルより高い領域を前記高飽和度領域として検出することが好ましい。これにより、本発明の高飽和度領域を、複雑な演算等を要することなく、簡易に検出することができる。   Therefore, as in the invention described in claim 2, the detection means of the present invention uses, as the high saturation region, a region where at least one of the density levels for each primary color indicated by the color image information is higher than a predetermined level. It is preferable to detect. As a result, the high saturation region of the present invention can be easily detected without requiring complicated calculations.

また、本発明の前記光量調整手段は、請求項3に記載の発明のように、前記撮像手段により取得されるカラー画像情報によって示される被写体像を構成する各画素と同配列でかつ同数の画素を有する液晶ディスプレイとすることが好ましい。これによって、撮像手段の受光領域に入射される光量を被写体像の画素毎に調整することが可能となり、高飽和度領域と他の領域との間の境界領域において画素単位で光量調整の度合を切り替えることができるため、不自然な位置で被写体像の明るさが変化してしまう事態の発生を回避することができる。   Further, as in the invention according to claim 3, the light amount adjusting means of the present invention has the same arrangement and the same number of pixels as the pixels constituting the subject image indicated by the color image information acquired by the imaging means. It is preferable to use a liquid crystal display having This makes it possible to adjust the amount of light incident on the light receiving area of the imaging means for each pixel of the subject image, and to adjust the amount of light intensity in units of pixels in the boundary area between the high saturation area and other areas. Since switching is possible, it is possible to avoid the occurrence of a situation in which the brightness of the subject image changes at an unnatural position.

更に、本発明は、請求項4に記載の発明のように、前記撮像手段により取得されたカラー画像情報に対し、各原色毎に濃度レベルを調整することによって色合いを調整する色調整手段を更に備えると共に、前記制御手段は、更に、前記光量調整手段による光量の調整量に応じて前記カラー画像情報における前記高飽和度領域に対応する領域の画素情報を調整するように前記色調整手段を制御することが好ましい。   Furthermore, as in the invention described in claim 4, the present invention further includes a color adjusting unit that adjusts a hue by adjusting a density level for each primary color with respect to the color image information acquired by the imaging unit. The control means further controls the color adjustment means so as to adjust pixel information of an area corresponding to the high saturation area in the color image information in accordance with an adjustment amount of the light quantity by the light quantity adjustment means. It is preferable to do.

すなわち、デジタルカメラには、一般に、ユーザによる色合いの好み等に対応するために、本発明に係る色調整手段が備えられている。そこで、本発明では、当該色調整手段を利用して、撮像手段に対する入射光量の調整量に応じたカラー画像情報の調整を行うようにしており、当該カラー画像情報の調整のための手段を新たに設けることなく、簡易かつ低コストでカラー画像情報の調整を行うことができる。   That is, the digital camera is generally provided with a color adjusting unit according to the present invention in order to cope with a user's preference for color tone. Therefore, in the present invention, the color image information is adjusted according to the adjustment amount of the incident light quantity with respect to the imaging means by using the color adjustment means, and a new means for adjusting the color image information is provided. Therefore, the color image information can be adjusted easily and at a low cost.

一方、上記目的を達成するために、請求項5記載のデジタルカメラの撮像方法は、被写体からの光を受光して被写体像を示すカラー画像情報を取得する撮像手段を備えたデジタルカメラの撮像方法であって、前記カラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出し、前記撮像手段による受光領域のうち、前記高飽和度領域に対応する領域に入射する光量が低減するように前記撮像手段の受光領域に入射する光量を調整するものである。   On the other hand, in order to achieve the above object, an imaging method of a digital camera according to claim 5 is an imaging method of a digital camera provided with imaging means for receiving light from a subject and acquiring color image information indicating a subject image. And detecting a high saturation region where the saturation of the color of the subject image indicated by the color image information is higher than a predetermined degree, and in a region corresponding to the high saturation region among the light receiving regions by the imaging means. The amount of light incident on the light receiving area of the imaging means is adjusted so that the amount of incident light is reduced.

従って、請求項5に記載の発明によれば、デジタルカメラに対して請求項1に記載の発明と同様に作用させることができるので、請求項1記載の発明と同様に、カラー画像情報に対する信号処理を伴うことなく、すなわち回路規模の増大を招くことなく、被写体像における色の飽和の発生を防止することができる。   Therefore, according to the fifth aspect of the invention, the digital camera can be operated in the same manner as the first aspect of the invention, so that the signal for the color image information is the same as the first aspect of the invention. The generation of color saturation in the subject image can be prevented without processing, that is, without increasing the circuit scale.

本発明に係るデジタルカメラ及びデジタルカメラの撮像方法によれば、撮像手段により取得されたカラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出し、前記撮像手段による受光領域のうち、前記高飽和度領域に対応する領域に入射する光量が低減するように前記撮像手段の受光領域に入射する光量を調整しているので、カラー画像情報に対する信号処理を伴うことなく、すなわち回路規模の増大を招くことなく、被写体像における色の飽和の発生を防止することができる、という効果が得られる。   According to the digital camera and the imaging method of the digital camera according to the present invention, a high saturation region in which the saturation of the color of the subject image indicated by the color image information acquired by the imaging unit is higher than a predetermined degree is detected, and the imaging is performed. The amount of light incident on the light receiving area of the imaging means is adjusted so as to reduce the amount of light incident on the area corresponding to the high saturation area in the light receiving area by the means, and therefore, signal processing for color image information is involved. In other words, it is possible to prevent the occurrence of color saturation in the subject image without increasing the circuit scale.

以下、図面を参照して、本発明を実施するための最良の形態について詳細に説明する。   The best mode for carrying out the present invention will be described below in detail with reference to the drawings.

〔第1の実施の形態〕
まず、図1を参照して、本実施の形態に係るデジタルカメラ10の外観上の構成を説明する。
[First Embodiment]
First, an external configuration of the digital camera 10 according to the present embodiment will be described with reference to FIG.

デジタルカメラ10の正面には、被写体像を結像させるためのレンズ21と、撮影時に必要に応じて被写体に照射する光を発するストロボ44と、撮影する被写体の構図を決定するために用いられるファインダ20と、が備えられている。また、デジタルカメラ10の上面には、撮影を実行する際に押圧操作されるレリーズボタン(所謂シャッター)56Aと、電源スイッチ56Bと、が備えられている。   In front of the digital camera 10, a lens 21 for forming a subject image, a strobe 44 that emits light to irradiate the subject when necessary, and a viewfinder used to determine the composition of the subject to be photographed. 20 is provided. Further, on the upper surface of the digital camera 10, a release button (so-called shutter) 56A that is pressed when performing shooting and a power switch 56B are provided.

なお、本実施の形態に係るデジタルカメラ10のレリーズボタン56Aは、中間位置まで押下される状態(以下、「半押し状態」という。)と、当該中間位置を超えた最終押下位置まで押下される状態(以下、「全押し状態」という。)と、の2段階の押圧操作が検出可能に構成されている。   Note that the release button 56A of the digital camera 10 according to the present embodiment is pressed down to an intermediate position (hereinafter referred to as “half-pressed state”) and to a final pressed position beyond the intermediate position. A two-stage pressing operation of a state (hereinafter referred to as a “fully pressed state”) can be detected.

そして、デジタルカメラ10では、レリーズボタン56Aを半押し状態にすることによりAE(Automatic Exposure、自動露出)機能が働いて露出状態(シャッタースピード、絞りの状態)が設定された後、AF(Auto Focus、自動合焦)機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光(撮影)が行われる。   In the digital camera 10, the release button 56A is pressed halfway to activate the AE (Automatic Exposure) function to set the exposure state (shutter speed, aperture state), and then AF (Auto Focus). , Automatic focusing) function is performed to control focusing, and then exposure (photographing) is performed when the button is fully pressed.

一方、デジタルカメラ10の背面には、前述のファインダ20の接眼部と、撮影された被写体像やメニュー画面等を表示するための液晶ディスプレイ(以下、「LCD」という。)38と、が備えられている。   On the other hand, on the back surface of the digital camera 10, an eyepiece of the finder 20 described above and a liquid crystal display (hereinafter referred to as “LCD”) 38 for displaying a photographed subject image, a menu screen, and the like are provided. It has been.

また、デジタルカメラ10の背面には、撮影を行うモードである撮影モード及び被写体像をLCD38により再生するモードである再生モードの何れかのモードに設定する際にスライド操作されるモード切替スイッチ56Cと、十字カーソルボタン56Dと、撮影時にストロボ44を強制的に発光させるモードである強制発光モードを設定する際に押圧操作される強制発光スイッチ56Eと、が更に備えられている。   Also, on the back of the digital camera 10, a mode changeover switch 56C that is slid to be set to any one of a photographing mode that is a photographing mode and a reproduction mode that is a mode for reproducing a subject image by the LCD 38, Further, a cross cursor button 56D and a forced light emission switch 56E that is pressed when setting the forced light emission mode, which is a mode for forcibly causing the flash 44 to emit light at the time of shooting, are further provided.

なお、十字カーソルボタン56Dは、LCD38の表示領域における上・下・左・右の4方向の移動方向を示す4つの矢印キーを含んで構成されている。   The cross-cursor button 56D includes four arrow keys that indicate four moving directions of up, down, left, and right in the display area of the LCD 38.

次に、図2を参照して、本実施の形態に係るデジタルカメラ10の電気系の構成を説明する。   Next, the configuration of the electrical system of the digital camera 10 according to the present embodiment will be described with reference to FIG.

デジタルカメラ10は、前述のレンズ21を含んで構成された光学ユニット22と、レンズ21の光軸後方に配設されたLCD23及び電荷結合素子(以下、「CCD」という。)24と、入力されたアナログ信号に対して各種のアナログ信号処理を行うアナログ信号処理部26と、を含んで構成されている。   The digital camera 10 receives an optical unit 22 including the lens 21 described above, an LCD 23 and a charge coupled device (hereinafter referred to as “CCD”) 24 disposed behind the optical axis of the lens 21. And an analog signal processing unit 26 that performs various analog signal processing on the analog signal.

なお、LCD23は、被写体からの光束の透過率を部分的に変化させることによりCCD24の受光領域に入射する光量を調整するためのものであり、光学ユニット22とCCD24との間のCCD24の近傍に配置されている。   The LCD 23 is for adjusting the amount of light incident on the light receiving area of the CCD 24 by partially changing the transmittance of the light flux from the subject, and is located in the vicinity of the CCD 24 between the optical unit 22 and the CCD 24. Has been placed.

また、CCD24は、各受光素子の受光面上にR,G,Bの各色の色フィルタが所定の配列に従って設けられている。ここで、上記所定の配列としては、図3(A)に示すベイヤー配列、図3(B)に示すGストライプR/B完全市松配列、図3(C)に示すハニカム配列を例示することができる。   The CCD 24 is provided with color filters of R, G, and B in accordance with a predetermined arrangement on the light receiving surface of each light receiving element. Here, examples of the predetermined arrangement include the Bayer arrangement shown in FIG. 3A, the G stripe R / B complete checkered arrangement shown in FIG. 3B, and the honeycomb arrangement shown in FIG. it can.

なお、これらの色フィルタ配列では、何れもGの色フィルタの数がR及びBに対して2倍とされており、何れの色フィルタ配列のものを適用した場合であっても、CCD24からは、R及びBの各アナログ信号については時系列でかつ間欠的に出力される。従って、何れの色フィルタ配列においても、周辺の画素のアナログ信号により、間欠したR及びBのアナログ信号を補間して生成する信号処理(所謂、同時化処理)が行われる。   In each of these color filter arrays, the number of G color filters is doubled with respect to R and B, and even if any color filter array is applied, the CCD 24 , R and B analog signals are output in time series and intermittently. Therefore, in any color filter array, signal processing (so-called synchronization processing) is performed by interpolating and generating intermittent R and B analog signals with analog signals of peripheral pixels.

また、何れの色フィルタ配列においても、CCD24における互いに隣接する4つの受光素子群により得られたアナログ信号によって被写体像における1画素を表現することになる。なお、本実施の形態では、色フィルタがベイヤー配列とされたCCDをCCD24として採用している。   In any color filter array, one pixel in the subject image is represented by analog signals obtained by the four light receiving element groups adjacent to each other in the CCD 24. In the present embodiment, a CCD having color filters arranged in a Bayer array is used as the CCD 24.

一方、LCD23は、CCD24から出力されたアナログ信号によって示される被写体像を構成する各画素と同配列でかつ同数の画素(以下、「液晶画素」という。)を有するものとされており、各液晶画素がCCD24における上記4つの受光素子群に1対1で対応するように、LCD23の配設位置が調整されている。   On the other hand, the LCD 23 has the same arrangement and the same number of pixels (hereinafter referred to as “liquid crystal pixels”) as the respective pixels constituting the subject image indicated by the analog signal output from the CCD 24. The arrangement position of the LCD 23 is adjusted so that the pixels correspond to the four light receiving element groups in the CCD 24 on a one-to-one basis.

また、本実施の形態に係るLCD23はTFT(Thin Film Transistor;薄膜トランジスタ)型のものであり、各液晶画素を透過した光束が、各液晶画素に対応する受光素子群に各々入射される。   The LCD 23 according to the present embodiment is of a TFT (Thin Film Transistor) type, and a light beam transmitted through each liquid crystal pixel is incident on a light receiving element group corresponding to each liquid crystal pixel.

ここで、各液晶画素には各々異なる電圧を印加することができるように構成されており、これによって、各液晶画素毎に光束の透過率を変化させることができる。   Here, each liquid crystal pixel is configured to be able to apply a different voltage, whereby the light flux transmittance can be changed for each liquid crystal pixel.

すなわち、LCDの動作方式には、液晶の旋光性を利用するツイステッド・ネマティック方式(以下、「TN方式」という。)や、2色性の色素を液晶に混入して配向させるゲスト・ホスト方式(以下、「GS方式」という。)等がある。そして、TN方式及びGS方式における液晶に印加する電圧と液晶の透過率との関係は、一例として図4(A)及び図4(B)に示すようなものとなる。同図に示すように、何れの方式においても、液晶に印加する電圧を変化させることにより液晶の透過率を変化させることができる。なお、TN方式の方がGS方式より光の透過率の変化幅が大きく、高いコントラストを得ることができる。このため、本実施の形態では、TN型のLCDをLCD23として採用している。   That is, as an operation method of the LCD, a twisted nematic method (hereinafter referred to as “TN method”) using the optical rotation of the liquid crystal, or a guest / host method in which a dichroic dye is mixed and aligned in the liquid crystal ( Hereinafter, it is referred to as “GS method”). The relationship between the voltage applied to the liquid crystal and the transmittance of the liquid crystal in the TN mode and the GS mode is as shown in FIGS. 4A and 4B as an example. As shown in the figure, in any method, the transmittance of the liquid crystal can be changed by changing the voltage applied to the liquid crystal. Note that the TN method has a larger change width of the light transmittance than the GS method, and a high contrast can be obtained. For this reason, in the present embodiment, a TN type LCD is adopted as the LCD 23.

一方、図2に示すように、デジタルカメラ10は、入力されたアナログ信号をデジタルデータに変換するアナログ/デジタル変換器(以下、「ADC」という。)28と、入力されたデジタルデータに対して各種のデジタル信号処理を行うデジタル信号処理部30と、を含んで構成されている。   On the other hand, as shown in FIG. 2, the digital camera 10 includes an analog / digital converter (hereinafter referred to as “ADC”) 28 that converts an input analog signal into digital data, and an input digital data. And a digital signal processing unit 30 that performs various types of digital signal processing.

なお、デジタル信号処理部30は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ48の所定領域に直接記憶させる制御も行う。   The digital signal processing unit 30 has a built-in line buffer having a predetermined capacity, and also performs control to directly store the input digital data in a predetermined area of the memory 48 described later.

CCD24の出力端はアナログ信号処理部26の入力端に、アナログ信号処理部26の出力端はADC28の入力端に、ADC28の出力端はデジタル信号処理部30の入力端に、各々接続されている。従って、CCD24から出力された被写体像を示すアナログ信号はアナログ信号処理部26によって所定のアナログ信号処理が施され、ADC28によってデジタル画像データに変換された後にデジタル信号処理部30に入力される。   The output terminal of the CCD 24 is connected to the input terminal of the analog signal processing unit 26, the output terminal of the analog signal processing unit 26 is connected to the input terminal of the ADC 28, and the output terminal of the ADC 28 is connected to the input terminal of the digital signal processing unit 30. . Accordingly, the analog signal indicating the subject image output from the CCD 24 is subjected to predetermined analog signal processing by the analog signal processing unit 26, converted into digital image data by the ADC 28, and then input to the digital signal processing unit 30.

一方、デジタルカメラ10は、デジタルカメラ10全体の動作を司るマイクロコンピュータ40と、撮影により得られたデジタル画像データ等を記憶するメモリ48と、を含んで構成されている。なお、マイクロコンピュータ40には、CCD24における各液晶画素に印加する電圧と透過率の関係を示す電圧対透過率テーブル(一例として、図4(A)参照。)や各種プログラム等が予め記憶された不揮発性のメモリ40Aが内蔵されている。   On the other hand, the digital camera 10 includes a microcomputer 40 that controls the operation of the entire digital camera 10 and a memory 48 that stores digital image data and the like obtained by photographing. The microcomputer 40 stores in advance a voltage-to-transmittance table (see FIG. 4A as an example) that shows the relationship between the voltage applied to each liquid crystal pixel in the CCD 24 and the transmittance, and various programs. A nonvolatile memory 40A is incorporated.

また、デジタルカメラ10は、可搬型の記録メディア52が着脱可能に構成されており、記録メディア52が装着された状態でデジタル信号処理部30により当該記録メディア52がアクセスできる構成となっている。   Further, the digital camera 10 is configured such that a portable recording medium 52 is detachable, and the recording medium 52 can be accessed by the digital signal processing unit 30 with the recording medium 52 mounted.

なお、本実施の形態のデジタルカメラ10では、メモリ48としてVRAM(Video RAM)が用いられ、記録メディア52としてスマートメディア(Smart Media(R))が用いられている。   In the digital camera 10 according to the present embodiment, a VRAM (Video RAM) is used as the memory 48 and a smart media (Smart Media®) is used as the recording medium 52.

また、デジタルカメラ10には、デジタル画像データに対する圧縮処理及び伸張処理を行う圧縮・伸張処理部54が備えられている。   Further, the digital camera 10 includes a compression / decompression processing unit 54 that performs compression processing and decompression processing on digital image data.

更に、デジタルカメラ10には、入力されたデジタルデータをアナログ信号に変換するデジタル/アナログ変換器(以下、「DAC」という。)60が備えられており、デジタル信号処理部30と協働して、LCD38に表示させる画像を示す映像信号(本実施の形態では、NTSC信号。)を生成し、不図示のビデオ出力端子からビデオ出力として出力することができる。   Further, the digital camera 10 is provided with a digital / analog converter (hereinafter referred to as “DAC”) 60 that converts input digital data into an analog signal, and cooperates with the digital signal processing unit 30. A video signal indicating an image to be displayed on the LCD 38 (in this embodiment, an NTSC signal) can be generated and output as a video output from a video output terminal (not shown).

一方、デジタルカメラ10には、主としてCCD24を駆動させるためのタイミング信号を生成してCCD24に供給するタイミングジェネレータ32が備えられており、CCD24の駆動はマイクロコンピュータ40によりタイミングジェネレータ32を介して制御される。   On the other hand, the digital camera 10 includes a timing generator 32 that mainly generates a timing signal for driving the CCD 24 and supplies the timing signal to the CCD 24, and the driving of the CCD 24 is controlled by the microcomputer 40 via the timing generator 32. The

また、マイクロコンピュータ40はモータ駆動部62の入力端に接続され、モータ駆動部62の出力端は光学ユニット22に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータに接続されている。   The microcomputer 40 is connected to the input end of the motor drive unit 62, and the output end of the motor drive unit 62 is connected to the focus adjustment motor, zoom motor, and aperture drive motor provided in the optical unit 22.

本実施の形態に係るレンズ21は複数枚のレンズを有し、焦点距離の変更(変倍)が可能なズームレンズとして構成されており、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれるものであり、焦点調整モータ、ズームモータ及び絞り駆動モータは各々マイクロコンピュータ40の制御下でモータ駆動部62から供給された駆動信号によって駆動される。   The lens 21 according to the present embodiment has a plurality of lenses, is configured as a zoom lens that can change (magnify) the focal length, and includes a lens driving mechanism (not shown). The lens drive mechanism includes the focus adjustment motor, the zoom motor, and the aperture drive motor. The focus adjustment motor, the zoom motor, and the aperture drive motor are supplied from the motor drive unit 62 under the control of the microcomputer 40, respectively. Driven by a drive signal.

マイクロコンピュータ40は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット22に含まれるレンズ21の焦点距離を変化させる。   When changing the optical zoom magnification, the microcomputer 40 controls the zoom motor to change the focal length of the lens 21 included in the optical unit 22.

また、マイクロコンピュータ40は、CCD24による撮像によって得られた画像のコントラストが最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ10では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂TTL(Through The Lens)方式を採用している。   Further, the microcomputer 40 performs focus control by driving and controlling the focus adjustment motor so that the contrast of an image obtained by imaging by the CCD 24 is maximized. In other words, the digital camera 10 according to the present embodiment employs a so-called TTL (Through The Lens) method in which the lens position is set so that the contrast of the read image is maximized as the focus control. .

また、マイクロコンピュータ40は、LCD23及びストロボ44にも接続されており、LCD23における各液晶画素の透過率を液晶画素毎に変化させることができると共に、ストロボ44の発光制御を行うことができる。   The microcomputer 40 is also connected to the LCD 23 and the strobe 44, and can change the transmittance of each liquid crystal pixel in the LCD 23 for each liquid crystal pixel and can control the light emission of the strobe 44.

更に、前述のレリーズボタン56A、電源スイッチ56B、モード切替スイッチ56C、十字カーソルボタン56D、及び強制発光スイッチ56E(同図では、「操作部56」と総称。)はマイクロコンピュータ40に接続されており、マイクロコンピュータ40は、これらの操作部56に対する操作状態を常時把握できる。   Further, the release button 56A, the power switch 56B, the mode changeover switch 56C, the cross cursor button 56D, and the forced light emission switch 56E (generically referred to as “operation unit 56” in the figure) are connected to the microcomputer 40. The microcomputer 40 can always grasp the operation state of the operation unit 56.

次に、本実施の形態に係るデジタルカメラ10の撮影モード時における全体的な動作について簡単に説明する。   Next, the overall operation of the digital camera 10 according to the present embodiment in the shooting mode will be briefly described.

まず、CCD24によって被写体像の撮像を行い、当該被写体像を示すR,G,B毎のアナログ信号をアナログ信号処理部26に順次出力する。アナログ信号処理部26は、CCD24から入力されたアナログ信号に対して相関二重サンプリング処理等のアナログ信号処理を施した後にADC28に順次出力する。   First, a subject image is picked up by the CCD 24, and analog signals for R, G, and B indicating the subject image are sequentially output to the analog signal processing unit 26. The analog signal processing unit 26 performs analog signal processing such as correlated double sampling processing on the analog signal input from the CCD 24 and sequentially outputs the analog signal to the ADC 28.

ADC28は、アナログ信号処理部26から入力されたR,G,B毎のアナログ信号を各々12ビットのR,G,Bの信号(デジタル画像データ)に変換してデジタル信号処理部30に順次出力する。デジタル信号処理部30は、内蔵しているラインバッファにADC28から順次入力されるデジタル画像データを蓄積して一旦メモリ48の所定領域に直接格納する。   The ADC 28 converts the R, G, and B analog signals input from the analog signal processing unit 26 into 12-bit R, G, and B signals (digital image data) and sequentially outputs them to the digital signal processing unit 30. To do. The digital signal processing unit 30 accumulates digital image data sequentially input from the ADC 28 in a built-in line buffer and temporarily stores the digital image data directly in a predetermined area of the memory 48.

メモリ48の所定領域に格納されたデジタル画像データは、マイクロコンピュータ40による制御に応じてデジタル信号処理部30により読み出され、所定の物理量に応じたデジタルゲインをR,G,B毎にかけることでホワイトバランス調整を行い、R,G,B毎で各画素毎に予め設定されたデジタルゲインをかけることで色合いの調整を行う(以下、「色調整処理」という。)と共に、シャープネス処理を行って8ビットのデジタル画像データを生成する。   Digital image data stored in a predetermined area of the memory 48 is read out by the digital signal processing unit 30 in accordance with control by the microcomputer 40, and a digital gain corresponding to a predetermined physical quantity is applied to each of R, G, and B. The white balance is adjusted by adjusting the color tone by applying a digital gain preset for each pixel for each of R, G, and B (hereinafter referred to as “color adjustment processing”) and sharpness processing is performed. To generate 8-bit digital image data.

そして、デジタル信号処理部30は、生成した8ビットのデジタル画像データに対しYC信号処理を施して輝度信号Yと色差信号Cr(=R−Y)、Cb(=B−Y)(以下、「YC信号」という。)を生成し、YC信号をメモリ48の上記所定領域とは異なる領域に格納する。   Then, the digital signal processing unit 30 performs YC signal processing on the generated 8-bit digital image data to perform luminance signal Y and color difference signals Cr (= R−Y), Cb (= B−Y) (hereinafter, “ YC signal ") is generated, and the YC signal is stored in an area different from the predetermined area of the memory 48.

なお、LCD38は、CCD24による連続的な撮像によって得られた動画像(スルー画像)を表示してファインダとして使用することができるものとして構成されており、LCD38をファインダとして使用する場合には、生成したYC信号を画像信号として順次LCD38に供給する。これによってLCD38にスルー画像が表示されることになる。   The LCD 38 is configured to display a moving image (through image) obtained by continuous imaging by the CCD 24 and can be used as a finder. When the LCD 38 is used as a finder, the LCD 38 is generated. The YC signals thus obtained are sequentially supplied to the LCD 38 as image signals. As a result, a through image is displayed on the LCD 38.

ここで、レリーズボタン56Aがユーザによって半押し状態とされた場合、前述のようにAE機能が働いて露出状態が設定された後、AF機能が働いて合焦制御され、その後、引き続き全押し状態とされた場合、この時点でメモリ48に格納されているYC信号を、圧縮・伸張処理部54によって所定の圧縮形式(本実施の形態では、JPEG形式)で圧縮した後に記録メディア52に記録する。   Here, when the release button 56A is half-pressed by the user, after the AE function is activated and the exposure state is set as described above, the AF function is activated and focus control is performed, and then the fully-pressed state is continued. In this case, the YC signal stored in the memory 48 at this time is compressed in a predetermined compression format (in this embodiment, JPEG format) by the compression / expansion processing unit 54 and then recorded on the recording medium 52. .

ところで、デジタルカメラ10では、CCD24による撮像時において、被写体像における色の飽和度の高い高飽和度領域に対応するCCD24の受光領域に入射する光束の光量が低減されるように調整する色飽和調整処理が実行される。以下、図5を参照して、当該色飽和調整処理について説明する。なお、図5は、CCD24による撮像時において所定期間(本実施の形態では、0.1秒)毎にマイクロコンピュータ40において実行される色飽和調整処理プログラムの処理の流れを示すフローチャートであり、該プログラムはメモリ40Aに予め記憶されている。   By the way, in the digital camera 10, when the image is captured by the CCD 24, color saturation adjustment is performed so that the amount of light flux incident on the light receiving region of the CCD 24 corresponding to the high saturation region where the color saturation of the subject image is high is reduced. Processing is executed. Hereinafter, the color saturation adjustment process will be described with reference to FIG. FIG. 5 is a flowchart showing a processing flow of a color saturation adjustment processing program executed in the microcomputer 40 every predetermined period (0.1 seconds in the present embodiment) during imaging by the CCD 24. The program is stored in advance in the memory 40A.

同図のステップ100では、この時点で生成されている8ビットのR,G,Bのデジタル画像データから、当該デジタル画像データにより示される被写体像を縦方向及び横方向に各々所定数の分割領域(本実施の形態では、縦方向及び横方向の双方に対して100分割した合計10000分割領域)に分割したときの1つの分割領域(以下、「処理対象領域」という。)に対応する全ての画素データをデジタル信号処理部30から取得し、R,G,B毎の画素データの積算値を算出する。   In step 100 of the figure, from the 8-bit R, G, B digital image data generated at this time, a subject image indicated by the digital image data is divided into a predetermined number of divided areas in the vertical and horizontal directions, respectively. (In the present embodiment, all the areas corresponding to one divided area (hereinafter referred to as “process target area”) when divided into 100 divided in total in the vertical direction and the horizontal direction are divided into 100 divided areas). Pixel data is acquired from the digital signal processing unit 30, and an integrated value of the pixel data for each of R, G, and B is calculated.

次のステップ102では、算出したR,G,B毎の積算値のうち、予め定められた第1閾値を超えるものが存在するか否かを判定し、肯定判定となった場合は処理対象領域に色の飽和が生じる可能性が高いものと判断してステップ104に移行する。   In the next step 102, it is determined whether or not there is a calculated integrated value for each of R, G, and B that exceeds a predetermined first threshold value. It is determined that there is a high possibility that color saturation will occur, and the routine proceeds to step 104.

なお、本実施の形態では、上記第1閾値として、上記画素データの取り得る最大値(本実施の形態では、255)に対して処理対象領域に含まれる画素数を乗算して得られた値(各積算値の取り得る最大値)に、所定値(本実施の形態では、0.9)を乗算して得られた値を適用している。すなわち、本実施の形態では、上記第1閾値として、各積算値の取り得る最大値の90%の値を適用している。   In the present embodiment, as the first threshold, a value obtained by multiplying the maximum value (255 in the present embodiment) that can be taken by the pixel data by the number of pixels included in the processing target region. A value obtained by multiplying (the maximum value that each integrated value can take) by a predetermined value (0.9 in this embodiment) is applied. That is, in the present embodiment, a value that is 90% of the maximum value that each integrated value can take is applied as the first threshold value.

ステップ104では、第1閾値を超えた積算値の大きさに応じて、処理対象領域に対応するLCD23の液晶画素の透過率を算出する。なお、本実施の形態では、当該透過率を、第1閾値を超えた積算値が1つである場合は、当該積算値が大きくなるほど透過率が低くなるように算出し、第1閾値を超えた積算値が複数ある場合は、最大の積算値が大きくなるほど透過率が低くなるように算出する。   In step 104, the transmittance of the liquid crystal pixels of the LCD 23 corresponding to the processing target area is calculated according to the magnitude of the integrated value exceeding the first threshold. In the present embodiment, when there is one integrated value that exceeds the first threshold, the transmittance is calculated such that the transmittance decreases as the integrated value increases, and exceeds the first threshold. When there are a plurality of integrated values, the transmittance is calculated to be lower as the maximum integrated value increases.

次のステップ106では、メモリ40Aに記憶されている電圧対透過率テーブルを参照することにより、上記ステップ104において算出した透過率に対応する印加電圧を特定し、当該印加電圧が処理対象領域に対応する液晶画素に印加されるようにするためのLCD制御信号をLCD23に出力する。これによって、処理対象領域に対応するCCD24の受光領域に入射される光が上記ステップ104において算出した透過率に応じて減光され、処理対象領域における色の飽和の発生を防止することができる。   In the next step 106, an applied voltage corresponding to the transmittance calculated in step 104 is specified by referring to the voltage vs. transmittance table stored in the memory 40A, and the applied voltage corresponds to the processing target region. An LCD control signal for applying to the liquid crystal pixel is output to the LCD 23. As a result, the light incident on the light receiving area of the CCD 24 corresponding to the processing target area is dimmed according to the transmittance calculated in step 104, and color saturation in the processing target area can be prevented.

次のステップ108では、上記ステップ104において算出した透過率に応じて、デジタル信号処理部30において行われる色調整処理で、処理対象領域に対応する領域に対して用いられるデジタルゲインを調整し、その後にステップ116に移行する。上記ステップ108の処理により、LCD23による減光に応じたデジタル画像データの値の低減に対処することができる。   In the next step 108, the digital gain used for the region corresponding to the processing target region is adjusted in the color adjustment processing performed in the digital signal processing unit 30 according to the transmittance calculated in step 104, and then The process proceeds to step 116. By the processing in step 108, it is possible to cope with a reduction in the value of the digital image data in accordance with the light attenuation by the LCD 23.

なお、本実施の形態では、上記デジタルゲインを、この時点でユーザの好み等に応じて設定されているデジタルゲインに対し、上記透過率の逆数(例えば、透過率が80%であれば1.25(=1/0.8))を乗算した値となるように設定する。   In the present embodiment, the digital gain is the reciprocal of the transmittance (for example, if the transmittance is 80% with respect to the digital gain set in accordance with the user's preference etc. at this time). 25 (= 1 / 0.8)).

一方、上記ステップ102において否定判定となった場合、すなわち、上記ステップ100において算出したR,G,B毎の積算値には第1閾値を超えたものが存在しない場合にはステップ110に移行し、上記R,G,B毎の全ての積算値が予め定められた第2閾値以下であるか否かを判定し、肯定判定となった場合はステップ112に移行する。   On the other hand, if a negative determination is made in step 102, that is, if there is no integrated value for each of R, G, and B calculated in step 100 that exceeds the first threshold, the process proceeds to step 110. Then, it is determined whether or not all the integrated values for each of R, G, and B are equal to or less than a predetermined second threshold value. If the determination is affirmative, the process proceeds to step 112.

なお、本実施の形態では、上記第2閾値として、上記画素データの取り得る最大値(本実施の形態では、255)に対して処理対象領域に含まれる画素数を乗算して得られた値(各積算値の取り得る最大値)に、上記第1閾値の算出に適用した所定値(本実施の形態では、0.9)より小さな所定値(本実施の形態では、0.1)を乗算して得られた値を適用している。すなわち、本実施の形態では、上記第2閾値として、各積算値の取り得る最大値の10%の値を適用している。   In the present embodiment, as the second threshold value, a value obtained by multiplying the maximum value (255 in the present embodiment) that can be taken by the pixel data by the number of pixels included in the processing target area. A predetermined value (0.1 in the present embodiment) smaller than the predetermined value (0.9 in the present embodiment) applied to the calculation of the first threshold value is set as (the maximum value that each integrated value can take). The value obtained by multiplication is applied. That is, in this embodiment, a value that is 10% of the maximum value that each integrated value can take is applied as the second threshold value.

ステップ112では、LCD23の処理対象領域に対応する液晶画素がオフされる、すなわち、全透過(透過率100%)となるようにするためのLCD制御信号をLCD23に出力する。これにより、処理対象領域に対応するCCD24の受光領域に入射される光がLCD23によって減光されている場合の当該減光が解除され、処理対象領域に対応するCCD24の受光領域におけるダイナミック・レンジの不要な低減を解除することができる。   In step 112, the LCD control signal for turning off the liquid crystal pixels corresponding to the processing target area of the LCD 23, that is, the total transmission (transmittance 100%) is output to the LCD 23. Thereby, the light attenuation when the light incident on the light receiving area of the CCD 24 corresponding to the processing target area is attenuated by the LCD 23 is canceled, and the dynamic range of the light receiving area of the CCD 24 corresponding to the processing target area is canceled. Unnecessary reduction can be canceled.

次のステップ114では、デジタル信号処理部30において行われる色調整処理で、処理対象領域に対応する領域に対して用いられるデジタルゲインを予め設定されていたものに復帰させ、その後にステップ116に移行する。   In the next step 114, the digital gain used for the region corresponding to the processing target region is returned to the preset one in the color adjustment processing performed in the digital signal processing unit 30, and then the process proceeds to step 116. To do.

一方、上記ステップ110において否定判定となった場合、すなわち、上記ステップ100において算出したR,G,B毎の全ての積算値が予め定められた第2閾値以下ではない場合には上記ステップ112及びステップ114の処理を実行することなくステップ116に移行する。   On the other hand, if a negative determination is made in step 110, that is, if all integrated values for R, G, and B calculated in step 100 are not less than or equal to a predetermined second threshold value, steps 112 and The process proceeds to step 116 without executing the process of step 114.

ステップ116では、上記ステップ100において想定した全ての分割領域(本実施の形態では、10000分割領域)について上記ステップ100〜ステップ114の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ100に戻り、肯定判定となった時点で本色飽和調整処理プログラムを終了する。なお、上記ステップ100〜ステップ116の繰り返し処理を実行する際にマイクロコンピュータ40は、それまでに処理対象としなかった分割領域を処理対象領域として適用する。   In step 116, it is determined whether or not the processing in steps 100 to 114 has been completed for all the divided regions assumed in step 100 (10000 divided regions in the present embodiment), and a negative determination is made. Returns to step 100, and when the determination is affirmative, the color saturation adjustment processing program is terminated. Note that when executing the repetitive processing of Step 100 to Step 116, the microcomputer 40 applies the divided areas that have not been processed as the processing target areas so far.

以上詳細に説明したように、本実施の形態では、CCD24により取得されたカラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出し、CCD24による受光領域のうち、上記高飽和度領域に対応する領域に入射する光量が低減するようにCCD24の受光領域に入射する光量を調整しているので、カラー画像情報に対する信号処理を伴うことなく、すなわち回路規模の増大を招くことなく、被写体像における色の飽和の発生を防止することができる。   As described above in detail, in the present embodiment, a high saturation area where the saturation of the color of the subject image indicated by the color image information acquired by the CCD 24 is higher than a predetermined degree is detected, and the light receiving area of the CCD 24 is detected. Of these, the amount of light incident on the light receiving region of the CCD 24 is adjusted so that the amount of light incident on the region corresponding to the high saturation region is reduced. The occurrence of color saturation in the subject image can be prevented without causing an increase.

また、本実施の形態では、上記カラー画像情報により示される各原色毎の濃度レベルの少なくとも1つが所定レベルより高い領域を上記高飽和度領域として検出しているので、当該高飽和度領域を、複雑な演算等を要することなく簡易に検出することができる。   In the present embodiment, since the region where at least one of the density levels for each primary color indicated by the color image information is higher than a predetermined level is detected as the high saturation region, the high saturation region is It is possible to easily detect without requiring complicated calculation.

更に、本実施の形態では、CCD24により取得されたカラー画像情報に対し、各原色毎に濃度レベルを調整することによって色合いを調整するデジタル信号処理部30を備えると共に、LCD23による光量の調整量に応じて上記カラー画像情報における上記高飽和度領域に対応する領域の画素情報を調整するようにデジタル信号処理部30を制御しているので、デジタルカメラに一般に備えられているデジタル信号処理部30を利用して、CCD24に対する入射光量の調整量に応じたカラー画像情報の調整を行うことができ、当該カラー画像情報の調整のための手段を新たに設けることなく、簡易かつ低コストでカラー画像情報の調整を行うことができる。   Further, in the present embodiment, a digital signal processing unit 30 that adjusts the hue by adjusting the density level for each primary color with respect to the color image information acquired by the CCD 24 is provided, and the amount of light adjustment by the LCD 23 is adjusted. Accordingly, since the digital signal processing unit 30 is controlled so as to adjust the pixel information of the region corresponding to the high saturation region in the color image information, the digital signal processing unit 30 generally provided in a digital camera is used. The color image information can be adjusted according to the amount of adjustment of the incident light quantity with respect to the CCD 24, and the color image information can be easily and inexpensively provided without newly providing means for adjusting the color image information. Adjustments can be made.

なお、本実施の形態では、被写体像の画素と同配列で同数の画素を有するLCDを本発明の光量調整手段として適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、上記色飽和調整処理プログラムのステップ100の処理において想定した分割領域と同配列で同数の画素を有するものを適用する形態とすることもできる。この場合は、LCD23を本実施の形態より低コストなものとすることができ、この結果として、デジタルカメラ10を低コスト化することができる。   In the present embodiment, the case where an LCD having the same array and the same number of pixels as the subject image pixels is applied as the light amount adjusting means of the present invention has been described, but the present invention is not limited to this. For example, a configuration may be adopted in which the same area and the same number of pixels as the divided areas assumed in the processing of step 100 of the color saturation adjustment processing program are applied. In this case, the LCD 23 can be made lower in cost than the present embodiment, and as a result, the cost of the digital camera 10 can be reduced.

〔第2の実施の形態〕
上記第1の実施の形態では、複数の画素により構成された分割領域毎に色飽和の調整を実行する場合の形態について説明したが、本第2の実施の形態では、各画素単位で色飽和の調整を実行する場合の形態について説明する。なお、本形態に係るデジタルカメラ10の構成は、上記第1の実施の形態と同様であるので、ここでの説明は省略する。また、本形態に係るデジタルカメラ10の撮影モード時における全体的な動作も上記第1の実施の形態と同様であるので、ここでの説明は省略する。
[Second Embodiment]
In the first embodiment, the description has been given of the case where the color saturation adjustment is performed for each divided region constituted by a plurality of pixels, but in the second embodiment, the color saturation is performed in units of each pixel. A description will be given of a case where the adjustment is executed. Note that the configuration of the digital camera 10 according to the present embodiment is the same as that of the first embodiment, and a description thereof will be omitted here. In addition, since the overall operation of the digital camera 10 according to the present embodiment in the shooting mode is the same as that of the first embodiment, description thereof is omitted here.

以下、図6を参照して、本第2の実施の形態に係る色飽和調整処理について説明する。なお、図6は、CCD24による撮像時において所定期間(本実施の形態では、0.1秒)毎にマイクロコンピュータ40において実行される色飽和調整処理プログラムの処理の流れを示すフローチャートであり、該プログラムはメモリ40Aに予め記憶されている。   Hereinafter, the color saturation adjustment processing according to the second embodiment will be described with reference to FIG. FIG. 6 is a flowchart showing the processing flow of the color saturation adjustment processing program executed in the microcomputer 40 every predetermined period (0.1 seconds in the present embodiment) at the time of imaging by the CCD 24. The program is stored in advance in the memory 40A.

同図のステップ200では、この時点で生成されている8ビットのR,G,Bのデジタル画像データから被写体像における1画素分の画素データをデジタル信号処理部30から取得し、当該画素データのうち、予め定められた第3閾値を超えるものが存在するか否かを判定して、肯定判定となった場合は当該画素(以下、「処理対象画素」という。)に色の飽和が生じる可能性が高いものと判断してステップ202に移行する。   In step 200 of the figure, pixel data for one pixel in the subject image is acquired from the digital signal processing unit 30 from the 8-bit R, G, B digital image data generated at this time, and the pixel data Among these, if it is determined whether there is a pixel exceeding a predetermined third threshold and the determination is affirmative, color saturation may occur in the pixel (hereinafter referred to as “processing target pixel”). The process proceeds to step 202 when it is determined that the characteristics are high.

なお、本実施の形態では、上記第3閾値として、上記画素データの取り得る最大値(本実施の形態では、255)に所定値(本実施の形態では、0.9)を乗算して得られた値を適用している。すなわち、本実施の形態では、上記第3閾値として、各画素データの取り得る最大値の90%の値を適用している。   In the present embodiment, the third threshold value is obtained by multiplying the maximum value (255 in the present embodiment) that can be taken by the pixel data by a predetermined value (0.9 in the present embodiment). The specified value is applied. That is, in this embodiment, 90% of the maximum value that each pixel data can take is applied as the third threshold value.

ステップ202では、第3閾値を超えた画素データの大きさに応じて、処理対象画素に対応するLCD23の液晶画素の透過率を算出する。なお、本実施の形態では、当該透過率を、第3閾値を超えた画素データが1つである場合は、当該画素データが大きくなるほど透過率が低くなるように算出し、第3閾値を超えた画素データが複数ある場合は、これらの内の最大の画素データが大きくなるほど透過率が低くなるように算出する。   In step 202, the transmittance of the liquid crystal pixel of the LCD 23 corresponding to the processing target pixel is calculated according to the size of the pixel data exceeding the third threshold. In the present embodiment, when there is one piece of pixel data that exceeds the third threshold, the transmittance is calculated so that the transmittance decreases as the pixel data increases, and exceeds the third threshold. If there is a plurality of pixel data, the transmittance is calculated to be lower as the maximum pixel data among them becomes larger.

次のステップ204では、メモリ40Aに記憶されている電圧対透過率テーブルを参照することにより、上記ステップ202において算出した透過率に対応する印加電圧を特定し、当該印加電圧が処理対象画素に対応する液晶画素に印加されるようにするためのLCD制御信号をLCD23に出力する。これによって、処理対象画素に対応するCCD24の受光領域に入射される光が上記ステップ202において算出した透過率に応じて減光され、処理対象画素における色の飽和の発生を防止することができる。   In the next step 204, an applied voltage corresponding to the transmittance calculated in step 202 is specified by referring to the voltage versus transmittance table stored in the memory 40A, and the applied voltage corresponds to the processing target pixel. An LCD control signal for applying to the liquid crystal pixel is output to the LCD 23. As a result, light incident on the light receiving region of the CCD 24 corresponding to the processing target pixel is attenuated according to the transmittance calculated in step 202, and color saturation in the processing target pixel can be prevented.

次のステップ206では、上記ステップ202において算出した透過率に応じて、デジタル信号処理部30において行われる色調整処理で、処理対象画素に対応する画素に対して用いられるデジタルゲインを調整し、その後にステップ214に移行する。上記ステップ206の処理により、LCD23による減光に応じたデジタル画像データの値の低減に対処することができる。   In the next step 206, the digital gain used for the pixel corresponding to the pixel to be processed is adjusted in the color adjustment process performed in the digital signal processing unit 30 according to the transmittance calculated in the above step 202, and then The process proceeds to step 214. By the processing in step 206, it is possible to cope with a reduction in the value of the digital image data corresponding to the light reduction by the LCD 23.

なお、本実施の形態では、上記デジタルゲインを、この時点でユーザの好み等に応じて設定されているデジタルゲインに対し、上記透過率の逆数(例えば、透過率が80%であれば1.25(=1/0.8))を乗算した値となるように設定する。   In the present embodiment, the digital gain is the reciprocal of the transmittance (for example, if the transmittance is 80% with respect to the digital gain set in accordance with the user's preference etc. at this time). 25 (= 1 / 0.8)).

一方、上記ステップ200において否定判定となった場合、すなわち、処理対象画素の画素データには第3閾値を超えたものが存在しない場合にはステップ208に移行し、処理対象画素の全ての画素データが予め定められた第4閾値以下であるか否かを判定し、肯定判定となった場合はステップ210に移行する。   On the other hand, if the determination in step 200 is negative, that is, if there is no pixel data of the processing target pixel that exceeds the third threshold value, the process proceeds to step 208, and all the pixel data of the processing target pixel is displayed. Is less than or equal to a predetermined fourth threshold value. If the determination is affirmative, the process proceeds to step 210.

なお、本実施の形態では、上記第4閾値として、上記画素データの取り得る最大値(本実施の形態では、255)に、上記第3閾値の算出に適用した所定値(本実施の形態では、0.9)より小さな所定値(本実施の形態では、0.1)を乗算して得られた値を適用している。すなわち、本実施の形態では、上記第4閾値として、画素データの取り得る最大値の10%の値を適用している。   In the present embodiment, as the fourth threshold value, a maximum value (255 in the present embodiment) that the pixel data can take is set to a predetermined value (in the present embodiment) applied to the calculation of the third threshold value. , 0.9), a value obtained by multiplication by a predetermined value (0.1 in this embodiment) is applied. That is, in the present embodiment, a value that is 10% of the maximum value that the pixel data can take is applied as the fourth threshold value.

ステップ210では、LCD23の処理対象画素に対応する液晶画素がオフされる、すなわち、全透過(透過率100%)となるようにするためのLCD制御信号をLCD23に出力する。これにより、処理対象画素に対応するCCD24の受光領域に入射される光がLCD23によって減光されている場合の当該減光が解除され、処理対象画素に対応するCCD24の受光領域におけるダイナミック・レンジの不要な低減を解除することができる。   In step 210, the LCD control signal for turning off the liquid crystal pixel corresponding to the pixel to be processed of the LCD 23, that is, the total transmission (transmittance 100%) is output to the LCD 23. As a result, the light attenuation when the light incident on the light receiving region of the CCD 24 corresponding to the processing target pixel is attenuated by the LCD 23 is canceled, and the dynamic range in the light receiving region of the CCD 24 corresponding to the processing target pixel is canceled. Unnecessary reduction can be canceled.

次のステップ212では、デジタル信号処理部30において行われる色調整処理で、処理対象画素に対応する画素に対して用いられるデジタルゲインを予め設定されていたものに復帰させ、その後にステップ214に移行する。   In the next step 212, the digital gain used for the pixel corresponding to the pixel to be processed in the color adjustment process performed in the digital signal processing unit 30 is restored to the preset one, and then the process proceeds to step 214. To do.

一方、上記ステップ208において否定判定となった場合、すなわち、上記ステップ200において取得したR,G,B毎の全ての画素データが予め定められた第4閾値以下ではない場合には上記ステップ210及びステップ212の処理を実行することなくステップ214に移行する。   On the other hand, if a negative determination is made in step 208, that is, if all pixel data for each of R, G, and B acquired in step 200 is not less than or equal to a predetermined fourth threshold value, the steps 210 and The process proceeds to step 214 without executing the process of step 212.

ステップ214では、被写体像の全ての画素について上記ステップ200〜ステップ212の処理が終了したか否かを判定し、否定判定となった場合は上記ステップ200に戻り、肯定判定となった時点で本色飽和調整処理プログラムを終了する。なお、上記ステップ200〜ステップ214の繰り返し処理を実行する際にマイクロコンピュータ40は、それまでに処理対象としなかった画素を処理対象画素として適用する。   In step 214, it is determined whether or not the processing in steps 200 to 212 has been completed for all the pixels of the subject image. The saturation adjustment processing program is terminated. Note that when executing the repetitive processing of Step 200 to Step 214 described above, the microcomputer 40 applies pixels that have not been processed so far as processing pixels.

以上詳細に説明したように、本実施の形態では、上記第1の実施の形態による効果に加え、本発明の光量調整手段として、CCD24により取得されるカラー画像情報によって示される被写体像を構成する各画素と同配列でかつ同数の画素を有するLCDを適用すると共に、CCD24の受光領域に入射される光量を被写体像の画素毎に調整しているので、高飽和度領域と他の領域との間の境界領域において画素単位で光量調整の度合を切り替えることができるため、不自然な位置で被写体像の明るさが変化してしまう事態の発生を回避することができる。   As described above in detail, in the present embodiment, in addition to the effects of the first embodiment, a subject image indicated by the color image information acquired by the CCD 24 is configured as the light amount adjusting means of the present invention. Since an LCD having the same array and the same number of pixels as each pixel is applied and the amount of light incident on the light receiving area of the CCD 24 is adjusted for each pixel of the subject image, the high saturation area and the other areas Since the degree of light amount adjustment can be switched in units of pixels in the boundary region between them, it is possible to avoid a situation in which the brightness of the subject image changes at an unnatural position.

なお、上記各実施の形態では、LCD23による減光に応じたデジタル画像データの調整を、色調整処理で用いるデジタルゲインを調整することにより行う場合について説明したが、本発明はこれに限定されるものではなく、例えば、ホワイトバランス調整で用いるデジタルゲインを調整することにより行う形態とすることもできる。この場合も、上記各実施の形態と同様の効果を奏することができる。   In each of the above embodiments, the case where the adjustment of the digital image data corresponding to the dimming by the LCD 23 is described by adjusting the digital gain used in the color adjustment processing, but the present invention is limited to this. For example, it may be configured by adjusting a digital gain used in white balance adjustment. Also in this case, the same effects as those of the above embodiments can be obtained.

また、上記各実施の形態に係るデジタルカメラ10の構成(図1〜図3参照。)は一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。   Further, the configuration of the digital camera 10 according to each of the above-described embodiments (see FIGS. 1 to 3) is an example, and it is needless to say that the configuration can be appropriately changed without departing from the gist of the present invention.

更に、上記各実施の形態において説明した色飽和調整処理プログラム(図5、図6参照。)の処理の流れも一例であり、本発明の主旨を逸脱しない範囲内において適宜変更可能であることは言うまでもない。   Furthermore, the processing flow of the color saturation adjustment processing program (see FIGS. 5 and 6) described in each of the above embodiments is also an example, and can be appropriately changed without departing from the gist of the present invention. Needless to say.

実施の形態に係るデジタルカメラ10の外観を示す外観図である。It is an external view which shows the external appearance of the digital camera 10 which concerns on embodiment. デジタルカメラ10の電気系の構成を示すブロック図である。2 is a block diagram showing a configuration of an electric system of the digital camera 10. FIG. 実施の形態に係るCCD24の受光素子の受光面上に設けられたR、G、B各色の色フィルタの配列例を示す概略図である。It is the schematic which shows the example of an arrangement | sequence of the color filter of R, G, B each color provided on the light-receiving surface of the light receiving element of CCD24 which concerns on embodiment. (A)はTN方式における液晶に印加する電圧と液晶の透過率との関係を示すグラフであり、(B)はGS方式における液晶に印加する電圧と液晶の透過率との関係を示すグラフである。(A) is a graph showing the relationship between the voltage applied to the liquid crystal in the TN mode and the transmittance of the liquid crystal, and (B) is a graph showing the relationship between the voltage applied to the liquid crystal in the GS mode and the transmittance of the liquid crystal. is there. 第1の実施の形態に係る色飽和調整処理プログラムの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the color saturation adjustment processing program which concerns on 1st Embodiment. 第2の実施の形態に係る色飽和調整処理プログラムの処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of the color saturation adjustment processing program which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

10 デジタルカメラ
23 LCD(光量調整手段)
24 CCD(撮像手段)
30 デジタル信号処理部(色調整手段)
38 LCD
40 マイクロコンピュータ(検出手段、制御手段)
10 Digital camera 23 LCD (light quantity adjustment means)
24 CCD (imaging means)
30 Digital signal processor (color adjustment means)
38 LCD
40 Microcomputer (detection means, control means)

Claims (5)

被写体からの光を受光して被写体像を示すカラー画像情報を取得する撮像手段と、
前記被写体からの光の透過率を部分的に変化させることにより前記撮像手段の受光領域に入射する光量を調整する光量調整手段と、
前記カラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出する検出手段と、
前記撮像手段による受光領域のうち、前記検出手段により検出された高飽和度領域に対応する領域に入射する光量が低減するように前記光量調整手段を制御する制御手段と、
を備えたデジタルカメラ。
Imaging means for receiving light from a subject and obtaining color image information indicating a subject image;
A light amount adjusting unit that adjusts a light amount incident on a light receiving region of the imaging unit by partially changing a transmittance of light from the subject;
Detecting means for detecting a high saturation region in which the saturation of the color of the subject image indicated by the color image information is higher than a predetermined degree;
Control means for controlling the light amount adjusting means so as to reduce the amount of light incident on the region corresponding to the high saturation area detected by the detection means among the light receiving areas by the imaging means;
Digital camera equipped with.
前記検出手段は、前記カラー画像情報により示される各原色毎の濃度レベルの少なくとも1つが所定レベルより高い領域を前記高飽和度領域として検出する
請求項1記載のデジタルカメラ。
The digital camera according to claim 1, wherein the detection unit detects, as the high saturation region, a region in which at least one of density levels for each primary color indicated by the color image information is higher than a predetermined level.
前記光量調整手段を、前記撮像手段により取得されるカラー画像情報によって示される被写体像を構成する各画素と同配列でかつ同数の画素を有する液晶ディスプレイとした
請求項1又は請求項2記載のデジタルカメラ。
3. The digital display according to claim 1, wherein the light amount adjusting unit is a liquid crystal display having the same array and the same number of pixels as each of the pixels constituting the subject image indicated by the color image information acquired by the imaging unit. camera.
前記撮像手段により取得されたカラー画像情報に対し、各原色毎に濃度レベルを調整することによって色合いを調整する色調整手段を更に備えると共に、
前記制御手段は、更に、前記光量調整手段による光量の調整量に応じて前記カラー画像情報における前記高飽和度領域に対応する領域の画素情報を調整するように前記色調整手段を制御する
請求項1乃至請求項3の何れか1項記載のデジタルカメラ。
The color image information acquired by the imaging unit further includes a color adjustment unit that adjusts the hue by adjusting the density level for each primary color, and
The control means further controls the color adjustment means to adjust pixel information of an area corresponding to the high saturation area in the color image information in accordance with an adjustment amount of light quantity by the light quantity adjustment means. The digital camera according to any one of claims 1 to 3.
被写体からの光を受光して被写体像を示すカラー画像情報を取得する撮像手段を備えたデジタルカメラの撮像方法であって、
前記カラー画像情報により示される被写体像の色の飽和度が所定度合より高い高飽和度領域を検出し、
前記撮像手段による受光領域のうち、前記高飽和度領域に対応する領域に入射する光量が低減するように前記撮像手段の受光領域に入射する光量を調整する
デジタルカメラの撮像方法。
An imaging method for a digital camera comprising imaging means for receiving light from a subject and acquiring color image information indicating a subject image,
Detecting a high saturation region in which the saturation of the color of the subject image indicated by the color image information is higher than a predetermined degree;
An imaging method for a digital camera, wherein the amount of light incident on the light receiving region of the imaging unit is adjusted so that the amount of light incident on the region corresponding to the high saturation region of the light receiving region by the imaging unit is reduced.
JP2003401346A 2003-12-01 2003-12-01 Digital camera and imaging method of digital camera Expired - Fee Related JP4335648B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003401346A JP4335648B2 (en) 2003-12-01 2003-12-01 Digital camera and imaging method of digital camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003401346A JP4335648B2 (en) 2003-12-01 2003-12-01 Digital camera and imaging method of digital camera

Publications (2)

Publication Number Publication Date
JP2005167465A true JP2005167465A (en) 2005-06-23
JP4335648B2 JP4335648B2 (en) 2009-09-30

Family

ID=34725309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003401346A Expired - Fee Related JP4335648B2 (en) 2003-12-01 2003-12-01 Digital camera and imaging method of digital camera

Country Status (1)

Country Link
JP (1) JP4335648B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206405A (en) * 2006-02-02 2007-08-16 Fujifilm Corp Auxiliary light irradiation device for photographing apparatus
JP2010258828A (en) * 2009-04-24 2010-11-11 Sony Corp Solid-state image pickup element, method for driving the same, and camera system
WO2015178534A1 (en) * 2014-05-21 2015-11-26 (주)엠시스 Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality
WO2015178536A1 (en) * 2014-05-21 2015-11-26 (주)엠시스 Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality
KR101613433B1 (en) 2015-11-25 2016-04-20 (주)엠시스 Apparatus and method for improving picture quality of digital photographing device
KR101613434B1 (en) 2015-11-25 2016-04-20 (주)엠시스 Apparatus and method for improving picture quality of digital photographing device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007206405A (en) * 2006-02-02 2007-08-16 Fujifilm Corp Auxiliary light irradiation device for photographing apparatus
JP2010258828A (en) * 2009-04-24 2010-11-11 Sony Corp Solid-state image pickup element, method for driving the same, and camera system
WO2015178534A1 (en) * 2014-05-21 2015-11-26 (주)엠시스 Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality
WO2015178536A1 (en) * 2014-05-21 2015-11-26 (주)엠시스 Apparatus for improving image quality, digital photography apparatus having same, and method for improving image quality
KR101592409B1 (en) * 2014-05-21 2016-02-05 (주)엠시스 Picture quality enhancement apparatus, digital photographing apparatus with the same and picture quality enhancement method thereof
KR101592407B1 (en) * 2014-05-21 2016-02-05 (주)엠시스 Picture quality enhancement apparatus, digital photographing apparatus with the same and picture quality enhancement method thereof
KR101613433B1 (en) 2015-11-25 2016-04-20 (주)엠시스 Apparatus and method for improving picture quality of digital photographing device
KR101613434B1 (en) 2015-11-25 2016-04-20 (주)엠시스 Apparatus and method for improving picture quality of digital photographing device

Also Published As

Publication number Publication date
JP4335648B2 (en) 2009-09-30

Similar Documents

Publication Publication Date Title
JP3551123B2 (en) Electronic camera
JP4155280B2 (en) Imaging device
TW201515466A (en) Control device, control method, and electronic device
JP2007135140A (en) Imaging apparatus
JP2005269373A (en) Video signal processing system, and electronic video apparatus
JP2010074634A (en) Imaging device and method of the same
JP2008053931A (en) Imaging apparatus
JP5138521B2 (en) Imaging apparatus and imaging method
JP2006108759A (en) Imaging apparatus
US20060197866A1 (en) Image taking apparatus
JP2003018445A (en) Imaging apparatus
JP2006217505A (en) Photographing device
JP4335648B2 (en) Digital camera and imaging method of digital camera
JP2010068046A (en) Imaging apparatus
JP2004180151A (en) Digital camera
JP2005347928A (en) Imaging controller, solid-state imaging apparatus, and imaging method
JP2008160190A (en) Imaging apparatus, and method thereof
JP2006293082A (en) Imaging apparatus
JP5191251B2 (en) Imaging device
JP2007028546A (en) Imaging apparatus
JP4869801B2 (en) Imaging device
JP2005109999A (en) White balance adjustment method and camera
JP2008124793A (en) Imaging apparatus, and imaging method
JP3918985B2 (en) Digital camera
JP2003287674A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060529

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees