JP2006033519A - Image pickup device - Google Patents
Image pickup device Download PDFInfo
- Publication number
- JP2006033519A JP2006033519A JP2004210707A JP2004210707A JP2006033519A JP 2006033519 A JP2006033519 A JP 2006033519A JP 2004210707 A JP2004210707 A JP 2004210707A JP 2004210707 A JP2004210707 A JP 2004210707A JP 2006033519 A JP2006033519 A JP 2006033519A
- Authority
- JP
- Japan
- Prior art keywords
- region
- correction value
- image data
- face area
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000035945 sensitivity Effects 0.000 claims abstract description 146
- 238000003384 imaging method Methods 0.000 claims description 32
- 230000007423 decrease Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006866 deterioration Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 55
- 230000000875 corresponding effect Effects 0.000 description 39
- 238000000605 extraction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 101100112673 Rattus norvegicus Ccnd2 gene Proteins 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は撮像装置に係り、特に、デジタルカメラ等の撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly to an imaging apparatus such as a digital camera.
従来、撮像装置、特にデジタルカメラにおける感度の調整方法としては、シャッタスピードと絞りの大きさを調整する方法、及び撮像素子であるCCDから出力されるアナログ信号をデジタル信号に変換するアナログ/デジタルアンプの補正値を調整する方法が知られている。また、デジタル値に変換された画像データを補正することによって、感度を更に調整する方法も知られている(例えば、特許文献1参照)。 Conventionally, as an adjustment method of sensitivity in an imaging apparatus, particularly a digital camera, a method of adjusting a shutter speed and a diaphragm size, and an analog / digital amplifier that converts an analog signal output from a CCD as an imaging element into a digital signal A method for adjusting the correction value is known. Also known is a method of further adjusting sensitivity by correcting image data converted into a digital value (see, for example, Patent Document 1).
特許文献1の技術では、シャッタスピードと絞りの大きさを調整することによって感度を調整するとともに、撮影によって得られた被写体画像全体の画像データを補正することによって感度を一律に調整している。この画像データの補正による感度の調整時には、被写体画像全体の画像データについて、絞りに依存する感度補正精度の低下を抑制するための補正値を用いて被写体画像全体の感度を補正している。
In the technique of
また、撮影によって得られた被写体画像の画像データを補正することによって感度を更に調整するときに、被写体画像全体の画像データについて、被写体画像全体の輝度に応じた補正を行うことによって被写体画像全体の感度を調整する技術も知られている。具体的には、低照度下では感度を増すように被写体画像全体を調整し、高照度下では感度を下げるように被写体画像全体を調整している。このため、絞りの精度誤差による感度補正精度の低下を抑制することができる。
しかしながら、上記従来技術では、被写体画像全体の輝度に基づいて、被写体画像全体の感度を一律に調整している。このため、被写体画像の中に特に注視される人物の顔領域が含まれる場合であっても、感度が被写体画像全体で一律に調整されるため、顔領域の感度の調整が適切に行われず、顔領域の画質劣化を引き起こす場合があった。 However, in the above prior art, the sensitivity of the entire subject image is uniformly adjusted based on the luminance of the entire subject image. For this reason, even if the subject image includes the face area of the person to be particularly watched, the sensitivity is uniformly adjusted in the entire subject image, so the sensitivity of the face area is not adjusted appropriately, In some cases, the image quality of the face area was degraded.
本発明は上記問題点を解消するためになされたもので、被写体画像に含まれる人物の顔領域の感度を適切に調整する撮像装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an imaging apparatus that appropriately adjusts the sensitivity of a human face area included in a subject image.
上記目的を達成するために第1の発明の撮像装置は、被写体を撮影して被写体画像の画像データを出力する撮像手段と、前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、抽出された前記顔領域の輝度を算出する算出手段と、前記輝度が高くなるほど感度が低くなるように補正する補正値を演算する演算手段と、前記補正値に基づいて、前記画像データの顔領域に対応する画像データを補正することによって、前記顔領域の感度を調整する調整手段と、を備えている。 In order to achieve the above object, an image pickup apparatus according to a first aspect of the present invention includes an image pickup means for shooting a subject and outputting image data of the subject image, and extracting a human face area in the subject image based on the image data. Based on the correction value, an extraction means for calculating, a calculation means for calculating the luminance of the extracted face region, a calculation means for calculating a correction value for correcting so that the sensitivity decreases as the luminance increases. Adjusting means for adjusting the sensitivity of the face area by correcting the image data corresponding to the face area of the image data.
第1の発明の撮像装置の撮像手段は、被写体を撮影して被写体画像の画像データを出力する。抽出手段は、撮像手段から出力された画像データに基づいて、被写体画像に含まれる人物の顔領域を抽出し、算出手段は、抽出手段によって抽出された顔領域の輝度を算出する。演算手段は、算出手段によって算出された顔領域の輝度に基づいて、輝度が高くなるほど感度が低くなるように補正するための補正値を演算する。調整手段は、演算手段によって演算された補正値に基づいて、顔領域に対応する画像データを補正することによって、顔領域の感度を調整する。このように、本発明では、画像データの内の顔領域に対応する画像データを、顔領域の輝度に基づいて演算した補正値に基づいて補正しているので、被写体画像に含まれる人物の顔領域の感度を適切に調整することができる。 The image pickup means of the image pickup apparatus of the first invention shoots a subject and outputs image data of the subject image. The extracting means extracts a human face area included in the subject image based on the image data output from the imaging means, and the calculating means calculates the luminance of the face area extracted by the extracting means. The calculating means calculates a correction value for correcting the sensitivity so that the sensitivity decreases as the brightness increases, based on the brightness of the face area calculated by the calculating means. The adjusting means adjusts the sensitivity of the face area by correcting the image data corresponding to the face area based on the correction value calculated by the calculating means. As described above, according to the present invention, the image data corresponding to the face area in the image data is corrected based on the correction value calculated based on the brightness of the face area. Therefore, the human face included in the subject image is corrected. The sensitivity of the area can be adjusted appropriately.
また、顔領域の輝度が高くなるほど感度が低くなるように補正するための補正値を演算して、該補正値に基づいて顔領域の感度を調整するので、例えば、ストロボ発光下における顔領域の白飛び等を抑制することができる。また、言い換えると、補正値は、輝度が低くなるほど感度が高くなるように演算されるので、該補正値に基づいて顔領域の感度を調整することで、例えば、低照度下でストロボ発光無しの状態で撮影を行った場合であっても顔領域の感度の低下を抑制することができ、顔領域の感度を適切に調整することができる。 In addition, the correction value for correcting the sensitivity so that the sensitivity decreases as the brightness of the face region increases, and the sensitivity of the face region is adjusted based on the correction value. It is possible to suppress overexposure. In other words, the correction value is calculated so that the sensitivity increases as the luminance decreases. Therefore, by adjusting the sensitivity of the face area based on the correction value, for example, there is no flash emission under low illuminance. Even when shooting is performed in a state, it is possible to suppress a decrease in the sensitivity of the face area, and to appropriately adjust the sensitivity of the face area.
前記調整手段は、ホワイトバランスを補正するための基準補正値を前記補正値に基づいて調整した調整値に応じて前記顔領域に対応する画像データを補正することによって、前記顔領域の感度の調整とともに、ホワイトバランスを調整することができる。 The adjustment means adjusts the sensitivity of the face area by correcting image data corresponding to the face area in accordance with an adjustment value obtained by adjusting a reference correction value for correcting white balance based on the correction value. At the same time, the white balance can be adjusted.
ホワイトバランスを補正するための基準補正値を補正値に基づいて調整した調整値によって顔領域に対応する画像データを補正することによって、顔領域に対応する画像データについて、顔領域の感度の調整と、ホワイトバランスの調整の双方を行うことができる。 By correcting the image data corresponding to the face area by adjusting the reference correction value for correcting the white balance based on the correction value, the sensitivity of the face area can be adjusted for the image data corresponding to the face area. Both white balance adjustments can be performed.
第2の発明の撮像装置は、被写体を撮影して被写体画像の画像データを出力する撮像手段と、前記画像データに基づいて被写体画像の中の人物の顔領域及び顔領域に含まれる眼鏡領域を抽出する抽出手段と、抽出された前記眼鏡領域の輝度及び抽出された前記顔領域の眼鏡領域以外の領域の輝度各々を算出する算出手段と、前記眼鏡領域の輝度及び前記眼鏡領域以外の領域の輝度各々が高くなるほど感度が低くなるように補正する眼鏡領域用補正値及び眼鏡領域以外の領域用補正値各々を演算する演算手段と、前記眼鏡領域用補正値に基づいて、前記画像データの眼鏡領域に対応する画像データを補正すると共に、前記眼鏡領域以外の領域用補正値に基づいて前記画像データの前記顔領域の眼鏡領域以外の領域に対応する画像データを補正することによって、前記眼鏡領域及び前記顔領域の眼鏡領域以外の領域各々の感度を調整する調整手段と、を備えている。 An imaging device according to a second aspect of the present invention is an imaging unit that captures an image of a subject and outputs image data of the subject image, and a face region of a person in the subject image and a spectacle region included in the face region based on the image data. Extracting means for extracting; calculating means for calculating the luminance of the extracted spectacle region and the luminance of the extracted region other than the spectacle region; and the luminance of the spectacle region and the region other than the spectacle region. The calculation means for calculating the correction value for the spectacle region and the correction value for the region other than the spectacle region, each of which is corrected so that the sensitivity decreases as the luminance increases, and the spectacles of the image data based on the correction value for the spectacle region The image data corresponding to the region is corrected, and the image data corresponding to the region other than the spectacle region of the face region of the image data is corrected based on the correction value for the region other than the spectacle region. It by, a, and adjusting means for adjusting the area of each of the sensitivity of the other spectacles region of the eyeglass region and the face region.
第2の発明の撮像装置の撮像手段は、被写体を撮影することによって被写体画像の画像データを出力する。抽出手段は、撮像手段から出力された画像データに基づいて、被写体画像に含まれる人物の顔領域、及び顔領域に含まれる眼鏡領域を抽出する。算出手段は、抽出手段によって抽出された顔領域に含まれる眼鏡領域の輝度と、顔領域の眼鏡領域以外の領域の輝度各々を算出する。演算手段は、算出手段によって算出された眼鏡領域の輝度、及び顔領域の眼鏡領域以外の領域の輝度各々に基づいて、輝度が高くなるほど感度が低くなるように補正するための眼鏡領域用補正値及び眼鏡領域以外の領域用補正値各々を演算する。すなわち、言い換えると、輝度が低くなるほど感度が高くなるように補正するための眼鏡領域用補正値及び眼鏡領域以外の領域用補正値各々を演算することもできる。調整手段は、演算手段によって演算された眼鏡領域用補正値に基づいて、顔領域の眼鏡領域に対応する画像データを補正することによって、顔領域の眼鏡領域の感度を調整する。また、調整手段は、顔領域の眼鏡領域以外の領域用補正値に基づいて、顔領域の眼鏡領域以外の領域に対応する画像データを補正することによって、顔領域の眼鏡領域以外の領域の感度を調整する。 The imaging means of the imaging apparatus of the second invention outputs image data of a subject image by photographing the subject. The extracting unit extracts a face area of a person included in the subject image and a spectacle area included in the face area based on the image data output from the imaging unit. The calculating means calculates the brightness of the eyeglass region included in the face area extracted by the extracting means and the brightness of the area other than the eyeglass area of the face area. The calculation means corrects the spectacle region correction value so that the higher the luminance is, the lower the sensitivity is based on the luminance of the spectacle region calculated by the calculating means and the luminance of the region other than the spectacle region of the face region. Each of the correction values for the area other than the eyeglass area is calculated. In other words, the spectacle region correction value and the region correction value other than the spectacle region for correcting the sensitivity so that the sensitivity increases as the luminance decreases can be calculated. The adjusting unit adjusts the sensitivity of the spectacle region of the face region by correcting the image data corresponding to the spectacle region of the face region based on the correction value for the spectacle region calculated by the calculating unit. The adjustment means corrects the image data corresponding to the region other than the spectacle region of the face region based on the correction value for the region other than the spectacle region of the face region, thereby adjusting the sensitivity of the region other than the spectacle region of the face region. Adjust.
このように、第2の発明の撮像装置では、画像データの内の顔領域に含まれる眼鏡領域に対応する画像データ、及び顔領域の眼鏡領域以外の領域に対応する画像データ各々を、眼鏡領域及び眼鏡領域以外の領域各々の輝度に基づいて演算した眼鏡領域用補正値及び眼鏡領域以外の領域用補正値各々に基づいて補正することができる。従って、被写体画像に含まれる顔領域に含まれる眼鏡領域と、顔領域の眼鏡領域以外の領域各々の感度を適切に調整することができる。 As described above, in the imaging device of the second invention, the image data corresponding to the spectacle region included in the face region of the image data and the image data corresponding to the region other than the spectacle region of the face region are each stored in the spectacle region. The correction can be performed based on the correction value for the spectacle region calculated based on the luminance of each region other than the spectacle region and the correction value for the region other than the spectacle region. Therefore, it is possible to appropriately adjust the sensitivities of the spectacle region included in the face region included in the subject image and the region other than the spectacle region of the face region.
また、第3の発明の撮像装置では、被写体を撮影して被写体画像の画像データを出力する撮像手段と、前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、抽出された前記顔領域を複数のエリアに分割したときの前記エリア各々の輝度を算出する算出手段と、前記輝度が高くなるほど感度が低くなるように補正する補正値を前記エリア各々について演算する演算手段と、前記エリア各々の補正値に基づいて、前記各エリア毎に画像データを補正することによって、前記顔領域のエリア各々の撮影感度を調整する調整手段と、を備えている。 In the imaging device according to the third aspect of the present invention, an imaging unit that shoots a subject and outputs image data of the subject image, an extraction unit that extracts a human face area in the subject image based on the image data, Calculation means for calculating the brightness of each area when the extracted face area is divided into a plurality of areas, and an operation for calculating a correction value for each area so as to reduce the sensitivity as the brightness increases And adjusting means for adjusting the photographing sensitivity of each area of the face region by correcting the image data for each area based on the correction value of each area.
第3の発明の撮像装置の抽出手段は、撮像手段によって被写体画像の画像データが出力されると、出力された画像データに基づいて、被写体画像の中の人物の顔領域を抽出する。算出手段は、抽出手段によって抽出された顔領域を複数のエリアに分割し、分割したエリア各々の輝度を算出する。演算手段は、輝度が高くなるほど感度が低くなるように各エリアの感度を調整するための補正値を、算出手段によって算出されたエリア各々の輝度に基づいて演算する。また、演算手段は、逆に輝度が低くなるほど感度が高くなるように各エリアの感度を調整するための補正値を演算することもできる。調整手段は、エリア各々の補正値に基づいて各エリアに対応する画像データ各々を補正することによって、顔領域のエリア各々の撮影感度を調整する。 When the image data of the subject image is output by the imaging unit, the extraction unit of the image pickup apparatus of the third invention extracts a human face area in the subject image based on the output image data. The calculation means divides the face area extracted by the extraction means into a plurality of areas, and calculates the luminance of each of the divided areas. The calculation means calculates a correction value for adjusting the sensitivity of each area so that the sensitivity becomes lower as the luminance becomes higher, based on the brightness of each area calculated by the calculation means. The computing means can also compute a correction value for adjusting the sensitivity of each area so that the sensitivity increases as the luminance decreases. The adjusting means adjusts the photographing sensitivity of each area of the face region by correcting each image data corresponding to each area based on the correction value of each area.
このように、顔領域を複数のエリアに分割して分割したエリア毎に算出した輝度に基づいて算出された各エリア毎の補正値に応じて、顔領域の複数のエリア各々の感度を調整するので、顔領域の感度を詳細に調整することができる。 In this way, the sensitivity of each of the plurality of areas of the face region is adjusted according to the correction value for each area calculated based on the luminance calculated for each divided area obtained by dividing the face region into a plurality of areas. Therefore, the sensitivity of the face area can be adjusted in detail.
第4の発明の撮像装置は、ズーム機能を備えた撮像用レンズを含み、被写体を撮影して被写体画像の画像データを出力する撮像手段と、前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、前記被写体画像の中の人物までの距離を検出する検出手段と、検出された前記距離に基づいて、該距離が大きくなるほど感度が大きくなるように補正する補正値を演算する演算手段と、前記補正値に基づいて、前記画像データの顔領域に対応する画像データを補正することによって、前記顔領域の感度を調整する調整手段と、を備えている。 An image pickup apparatus according to a fourth aspect of the invention includes an image pickup lens having a zoom function, picks up an image of a subject and outputs image data of the subject image, and a person in the subject image based on the image data. Extraction means for extracting a face area, detection means for detecting a distance to a person in the subject image, and a correction value for correcting so that the sensitivity increases as the distance increases based on the detected distance. And an adjusting means for adjusting the sensitivity of the face area by correcting the image data corresponding to the face area of the image data based on the correction value.
第4の発明の撮像装置の撮像手段は、ズーム機能を備えた撮像用レンズを含み、被写体を撮影して被写体画像の画像データを出力する。抽出手段は、撮像手段から出力された画像データに基づいて、被写体画像の中の人物の顔領域を抽出する。検出手段によって被写体画像の中の人物までの距離が検出されると、演算手段は、検出された被写体画像の中の人物までの距離に基づいて、距離が大きくなるほど感度が大きくなるように感度を調整するための補正値を演算する。調整手段は、演算手段によって演算された補正値に基づいて、顔領域に対応する画像データを補正することによって、顔領域の感度を調整する。このように、被写体画像に含まれる人物までの距離に基づいて、被写体画像の中の人物の顔領域の感度を調整することができるので、簡易な構成で容易に被写体画像の人物の顔領域の感度を調整することができる。 The image pickup means of the image pickup apparatus according to the fourth aspect of the invention includes an image pickup lens having a zoom function, and picks up a subject and outputs image data of the subject image. The extraction unit extracts a face area of a person in the subject image based on the image data output from the imaging unit. When the distance to the person in the subject image is detected by the detection means, the calculation means increases the sensitivity so that the sensitivity increases as the distance increases based on the distance to the person in the detected subject image. A correction value for adjustment is calculated. The adjusting means adjusts the sensitivity of the face area by correcting the image data corresponding to the face area based on the correction value calculated by the calculating means. As described above, since the sensitivity of the face area of the person in the subject image can be adjusted based on the distance to the person included in the subject image, the human face area of the subject image can be easily adjusted with a simple configuration. Sensitivity can be adjusted.
ズーム倍率を検知する検知手段を更に備え、前記検出手段は、抽出された前記顔領域のサイズ、及び前記被写体画像のサイズを算出するとともに、該顔領域のサイズ、該被写体画像のサイズ、及び検知されたズーム倍率に基づいた演算によって、前記被写体画像の中の人物までの距離を検出することができる。 Detection means for detecting a zoom magnification is further provided, and the detection means calculates the size of the extracted face area and the size of the subject image, and the size of the face area, the size of the subject image, and detection. The distance to the person in the subject image can be detected by the calculation based on the zoom magnification.
検出手段は、抽出手段によって抽出された被写体画像の中の顔領域のサイズ及び被写体画像のサイズ各々を算出し、算出した顔領域のサイズ、被写体画像のサイズ、及び検知手段によって検知されたズーム倍率に基づいた演算によって、撮像装置から被写体画像の中の人物までの距離を検出することができる。 The detection means calculates the size of the face area and the size of the subject image in the subject image extracted by the extraction means, and calculates the size of the face area, the size of the subject image, and the zoom magnification detected by the detection means. By the calculation based on the above, it is possible to detect the distance from the imaging device to the person in the subject image.
上記に示したように、第1の発明乃至第4の発明の撮像装置は、被写体画像の中の人物の顔領域に対応する画像データを、顔領域の輝度または人物と撮像装置との距離に基づいて演算した補正値に基づいて補正することによって顔領域の感度を調整するので、被写体画像に含まれる人物の顔領域を適切に調整することができる、という効果を有する。 As described above, the imaging apparatus according to the first to fourth aspects of the present invention uses the image data corresponding to the face area of the person in the subject image as the brightness of the face area or the distance between the person and the imaging apparatus. Since the sensitivity of the face area is adjusted by performing correction based on the correction value calculated based on the correction value, the face area of the person included in the subject image can be adjusted appropriately.
以下、本発明をデジタルカメラに適用した実施の形態を図面に基づき説明する。 Embodiments in which the present invention is applied to a digital camera will be described below with reference to the drawings.
図1(A)に示すように、本発明の撮像装置としてのデジタルカメラ10の正面には、低照度の場合に発光されるストロボ12と、撮影される被写体像からの光が入射するファインダー窓14と、被写体像を結像させるための光学ユニット16と、が設けられている。また、デジタルカメラ10の側面には、撮影によって得られた画像データをデジタルデータとして記憶する可搬型の記録メディア18(図2参照、図1では省略)を装着可能なスロット20が設けられている。
As shown in FIG. 1 (A), a
なお、光学ユニット16は、沈胴式の光学レンズであり、撮影時以外は、デジタルカメラ10本体の筐体22内に沈胴されており、撮影時には、光軸方向に伸縮可能な鏡筒16Aが伸長されて、図1(A)に示すように筐体22の外部に現れるようになっている。また、この光学ユニット16は、鏡筒16A内に、撮影レンズ40、フォーカスレンズ42、及び絞り・シャッタ機構44を含んでいる(図2参照)。撮影レンズ40は、1枚又は複数枚のレンズで構成された単一の焦点距離(固定焦点)のレンズでも良いし、ズームレンズや望遠/広角の二焦点切替式レンズの如く焦点距離可変のものでもよい。
The
一方、デジタルカメラ10の背面には、図1(B)に示すように、撮影によって得られた被写体画像、各種メニュー、及びパラメータ等を表示するLCD24、ファインダー窓14から入射した光が図示を省略した光学部材を介して案内され、撮影する被写体像の構図を決定する際に撮影者によって覗かれるファインダー接眼部26、及び撮影倍率をアップ又はダウンしたり、LCD24に表示されたメニュー画面から所望のメニュー項目又はズーム倍率の設定や各種パラメータ等を選択する際に撮影者によって操作される十字ボタン28が設けられている。
On the other hand, on the back of the
更に、デジタルカメラ10の上面には、デジタルカメラ10の各部への電源電力の供給/供給停止の切り替えを行う電源スイッチ30、撮影の指示入力のために撮影者によって押圧操作されるシャッタスイッチ(所謂レリーズスイッチ)32、及び撮影モードを選択する際に撮影者によって回転操作されるモードダイヤル34が設けられている。レリーズスイッチ32は、中間位置まで押下される状態(以下、「半押し状態」という。)、及び当該中間位置を超えた最終押下位置まで押下される状態(以下、「全押し状態」という。)の2段階の押圧操作が可能に構成されている。詳細は後述するがデジタルカメラ10では、レリーズボタン32を半押し状態にすることによりAE(AutomaticExposure、自動露出)機能が働いて露出状態(シャッタースピード、及び絞りの状態)が設定された後、AF(Auto Focus、自動合焦)機能が働いて合焦制御されるとともに、AWB補正値(ホワイトバランスを補正するための基準補正値)の演算、及び詳細を後述する感度を調整するための補正値が設定されると共に、感度及びホワイトバランスの双方を調整するための調整値の演算が行われる。その後、引き続き全押し状態にすると露光(撮影)が行われる。なお、ホワイトバランスを調整するための基準補正値の演算は、上記のように自動で行っても良いが、手動又は半自動で行うことができる。
Further, on the upper surface of the
次に本実施の形態に係るデジタルカメラ10の構成を説明する。
Next, the configuration of the
図2に示すように、デジタルカメラ10は、光学ユニット16の光軸後方に配置されたCCD(Charge Coupled Device)50、CDS回路52、アナログ/デジタル変換器(以下、「A/D変換器」と称す)54、CCD駆動信号発生部56、モータドライバ58、ストロボ制御部13、及びデジタルカメラ10の全体的な動作を司る主制御部60を備えている。
As shown in FIG. 2, the
CDS回路52は、CCD50から読み出された被写体像を示す出力信号を相関二重サンプリング(CDS:Correlated Double Sampling)処理すると共にR、G、Bの各色信号に色分解処理して各色信号の信号レベルの調整を行う。A/D変換器54は、CDS回路52により処理されたアナログ信号をデジタル信号に変換する。CCD駆動信号発生部56は、CCD50を駆動するためのタイミング信号を生成する。モータドライバ58は、光学ユニット16に含まれる撮影レンズ40を移動(鏡筒の伸縮)させるためのズームモータ、フォーカスレンズ42を移動させるためのAF(Auto Focus)モータ、及び絞り・シャッタ機構44を駆動するアイリスシャッタモータの各モータを駆動する。モータドライバ58は、更に、撮影レンズ40のズーム位置を検知するための検知センサ58Aを含んでいる。ストロボ制御部13は、ストロボ12発光を制御する。主制御部60は、デジタルカメラ10の全体的な動作を司る。
The
主制御部60は、画像入力制御部62、画像信号処理回路64、VRAM66、表示制御部68、圧縮伸長処理回路70、メディア制御部72、AF検出回路74、AE(Auto Exposure)・AWB(Auto WhitWBalance)検出回路76、感度調整部90、SDRAM(Synchronous Dynamic Random Access Memory)78、EEPROM(Electrically Erasable Programmable Read Only Memory)80、及びCPU82が、バス84により相互に接続されている。また、CPU82は、CCD駆動信号発生部56、モータドライバ58と接続されている。さらに、CPU82は、十字ボタン28、電源スイッチ30、シャッタスイッチ32、及びモードダイヤル34と接続されている。
The
画像入力制御部62は、A/D変換器54によるデジタル変換後のデジタル信号を被写体を表す被写体画像の画像データとして入力する。画像信号処理回路64は、入力された画像データに対して所定のデジタル信号処理を行う。VRAM66は、LCD24に表示する画像データを格納する。表示制御部68は、VRAM66に格納された画像データに基づく画像を表示するようにLCD24の表示を制御する。圧縮伸長処理回路70は、入力された画像データを圧縮・伸長する。メディア制御部72は、スロット20に装填された記録メディア18に対して各種情報を読み書きする。AF検出回路74は、入力された画像データに基づいて最適な焦点位置を検出する。AE・AWB検出回路76は、入力された画像データに基づいて最適な露出及びホワイトバランスを調整する。感度調整部90は、入力された被写体画像の画像データに基づいて感度を調整する(詳細後述)。SDRAM78は、ワークメモリとして用いられる。EEPROM80は、各種プログラムやパラメータ等の情報が予め記憶されている。CPU82は、上記各部を制御する。
The image
なお、一般に、CCD50には、シャッターゲートを介してシャッタードレインが設けられており、シャッターゲートをシャッターゲートパルスによって駆動することにより、蓄積した信号電荷をシャッタードレインに掃き出すことができる。すなわち、CCD50は、シャッターゲートパルスによって各センサに蓄積される電荷の蓄積時間(シャッタスピード)を制御する、所謂電子シャッター機能を有しており、絞り・シャッタ機構44のシャッタ機能の代わりにこの電子シャッター機能を用いるようにしてもよい。
In general, the
次に、上記実施の形態に係るデジタルカメラ10の作用を説明する。
Next, the operation of the
図3には、CPU82で実行される処理ルーチンを示した。電源スイッチ30によりデジタルカメラ10に電源が投入されるとステップ100へ進み、シャッタスイッチ32が半押し状態になったと判断されると、ステップ102へ進む。ステップ102では、被写体画像1フレーム分のR、G、B信号を積算した積算値に基づいて被写体輝度(撮影EV)を求め、この撮影EVに基づいて露光制御値として絞り値とシャッタースピードと
を決定する、AE制御が行なわれる。
FIG. 3 shows a processing routine executed by the
次のステップ104では、被写体輝度(撮影EV)と、R/G、B/Gといった色情報とを用いて光源種を判別し、光源の色温度に関わらずに、白い被写体が白く色再現されるようにホワイトバランスを調整するためのデジタルゲイン(以下、基準補正値という)を定める。 In the next step 104, the light source type is determined using the subject brightness (photographing EV) and color information such as R / G and B / G, and a white subject is reproduced in white regardless of the color temperature of the light source. Thus, a digital gain (hereinafter referred to as a reference correction value) for adjusting the white balance is determined.
なお、上記ステップ102及びステップ104の処理は、本実施の形態では、CCD50から取得される画像データに基づいて行う場合を説明するが、周知の測光センサやAF投光/受光センサからなる測距センサ等を用いて行うようにしてもよい。
In the present embodiment, the processing of
次のステップ106では、画像データに基づいて感度を調整するための補正値を設定するとともに、上記ステップ104で設定された基準補正値を感度を調整するための補正値に基づいて調整した、感度及びホワイトバランスの双方を調整するための調整値を算出する調整値算出処理が実行される(詳細後述)。
In the
次のステップ108では、シャッタスイッチ32が全押し状態であるか否かを判別し、否定された場合には、上記ステップ100へ戻り、肯定されるとステップ110へ進み、撮影処理が行なわれた後に本ルーチンを終了する。撮影処理は、上記ステップ102で決定した絞り値になるように絞り・シャッタ機構44を駆動し、CCD50から被写体画像の画像データが、CDS52及びA/D変換器54を介して主制御部60に入力される。主制御部60では、入力された画像データに対して、上記ステップ106で調整された顔領域の調整値及び被写体画像の顔領域以外の領域の調整値各々に基づいて、顔領域及び被写体画像の顔領域以外の領域に対応する画像データ各々を補正することによって、顔領域のホワイトバランスの調整とともに、感度の調整を行ない、被写体画像の顔領域以外の領域のホワイトバランスの調整とともに感度の調整を行う。感度及びホワイトバランスが調整された画像データは、更にガンマ処理及びシャープネス処理等の所定の処理が行なわれ、圧縮伸長処理回路70で圧縮処理が行なわれた後、メディア制御部72を介して、記録メディア18に記録される。
In the
次にステップ106の調整値算出処理について図4を用いて説明する。
Next, the adjustment value calculation process in
ステップ200では、得られた画像データに基づいて被写体画像の中の人物の顔領域を抽出する顔領域抽出処理が実行される。ステップ200の処理は、例えば、顔領域を認識するための輪郭情報テンプレートをEEPROM80に予め記憶し、被写体画像から人物の顔領域の輪郭を抽出して抽出した輪郭と、輪郭情報テンプレートとを比較することによって、顔領域を抽出する。
In
次のステップ202では、上記ステップ200で抽出した顔領域に対応する画像データに基づいて、顔領域の輝度Nを算出する輝度算出処理が実行される。
In the
ここで、本実施の形態のデジタルカメラ10では、予めEEPROM80に、顔領域の感度を調整するための輝度のしきい値V1、しきい値V1より高いしきい値V2が予め記憶されると共に、3種類の補正値G1、G2、及びG3各々が記憶されている。なお、補正値G1は、輝度がしきい値V1より低いときに補正値G2より感度が高くなるように補正するための補正値である。補正値G2は、輝度がしきい値V1からV2の範囲内にあるときに、補正値G3より感度が高くなるように補正するための補正値である。補正値G3は、輝度がしきい値V3以上のときに感度を補正するための補正値である。
Here, in the
次のステップ204では、上記ステップ202で算出した輝度Nが予め定めたしきい値V1より低い値か否かを判別し、肯定されるとステップ206で、顔領域の補正値として補正値G1を設定する。
In the
一方、上記ステップ204で否定されると、ステップ208において輝度Nがしきい値V2より低いか否かを判断する。ステップ208で肯定されると、ステップ210で補正値G2を設定する。一方、ステップ208で否定されると、ステップ212で補正値G3を設定する。
On the other hand, if the result in
上記ステップ204乃至ステップ212の処理によって、顔領域の輝度が高くなるほど感度が低くなるように補正する補正値が、顔領域の輝度に応じて設定される。
Through the processes in
次にステップ214では、被写体画像の顔領域以外の領域に、感度調整不要を示す情報G0を設定する。
Next, in
次にステップ216では、上記ステップ104のAWB調整処理によって調整された、ホワイトバランスを補正するための基準補正値を読込み、次のステップ218において、各領域毎の感度及びホワイトバランスの双方を調整するための調整値を算出した後に、本ルーチンを終了する。ステップ218の処理では、具体的には、ホワイトバランスを補正するための基準補正値と、設定された顔領域の補正値とを乗算することによって顔領域の調整値を算出する。また、写体画像の顔領域以外の領域については、感度調整不要を示す情報G0が設定されているので、ホワイトバランスを補正するための基準補正値を変更することなく被写体画像の顔領域以外の領域の調整値とする。
Next, in
このように、上記ステップ200乃至ステップ218の処理が実行されることによって、被写体画像の中の人物の顔領域を抽出して輝度を算出し、算出した輝度に基づいて顔領域の感度を調整するための補正値を算出するとともに、ホワイトバランスを補正するための基準補正値を補正値に基づいて調整した調整値を算出することができる。このステップ200乃至ステップ218の処理、すなわちステップ106の調整値算出処理によって算出された、顔領域の感度及びホワイトバランスの双方を調整するための調整値が算出された後に、上述のように、ステップ110において撮影処理が実行されると、被写体画像の顔領域以外の領域のホワイトバランスを調整することが出来るとともに、顔領域の感度及びホワイトバランスを調整することができる。
As described above, by executing the processing from
以上説明したように、本実施の形態のデジタルカメラ10では、被写体画像の中の人物の顔領域の感度を調整するための補正値を求めることができる。また、更に、ホワイトバランスを調整するための基準補正値を、顔領域の補正値に基づいて調整して、顔領域の感度及びホワイトバランスを調整するための調整値を算出することができる。また、シャッタスイッチ32が全押し状態となったときに実行される撮影処理において、シャッタスイッチ32の半押し状態のときに算出した顔領域の調整値に基づいて、CCD50から入力された画像データの顔領域に対応する画像データを補正するとともに、被写体画像の顔領域以外の領域の調整値に基づいて、画像データの被写体画像の顔領域以外の領域に対応する画像データを補正することができるので、被写体画像の顔領域以外の領域のホワイトバランスを調整するとともに、顔領域のホワイトバランスの調整と感度の調整とを行うことができる。
As described above, in the
従って、被写体画像に含まれる人物の顔領域の感度を適切に調整することができ、画質劣化を抑制することができる。 Therefore, it is possible to appropriately adjust the sensitivity of the face area of the person included in the subject image, and to suppress image quality deterioration.
また、顔領域の輝度が高くなる程感度を低下させるように、顔領域の感度を調整しているので、例えば、ストロボ12の発光下における撮影処理が実行された場合であっても、顔領域の白飛びを防ぐことができる。
In addition, since the sensitivity of the face area is adjusted so that the sensitivity decreases as the brightness of the face area increases, for example, even when a shooting process is performed under the light emission of the
なお、本実施の形態では、3段階に感度を調整する例について説明したが4段階以上または連続的に感度を調整するようにしてもよい。また、顔領域の補正値を算出する式を用いて補正値を演算してもよい。 In the present embodiment, an example in which the sensitivity is adjusted in three steps has been described, but the sensitivity may be adjusted in four steps or more or continuously. Further, the correction value may be calculated using an expression for calculating the correction value of the face area.
[第2の実施の形態]
上記実施の形態では、被写体画像から顔領域を抽出し、顔領域の補正値を算出して、画像データの顔領域に対応する画像データを補正することによって、顔領域の感度を調整する場合を説明したが、本実施の形態では、顔領域に含まれる眼鏡領域及び眼鏡領域以外の領域各々の補正値を算出して、各領域の感度を調整する場合を説明する。
[Second Embodiment]
In the above embodiment, a case where the face area is extracted from the subject image, the correction value of the face area is calculated, and the sensitivity of the face area is adjusted by correcting the image data corresponding to the face area of the image data. As described above, in the present embodiment, a case will be described in which the correction value of each of the spectacle region included in the face region and the region other than the spectacle region is calculated and the sensitivity of each region is adjusted.
なお、本実施の形態は、上記第1の実施の形態と略同様の構成のため、同一部分には同一符号を付与して詳細な説明を省略する。 Since the present embodiment has substantially the same configuration as that of the first embodiment, the same reference numerals are given to the same parts and detailed description thereof is omitted.
本実施の形態では、上記ステップ106(図3参照)の調整値算出処理では、図5に示す処理ルーチンが実行されて、ステップ300へ進み、得られた画像データに基づいて被写体画像の中の人物の顔領域を抽出する顔領域抽出処理が実行される。 In the present embodiment, in the adjustment value calculation process in step 106 (see FIG. 3), the processing routine shown in FIG. 5 is executed, and the process proceeds to step 300. Based on the obtained image data, Face area extraction processing for extracting a person's face area is executed.
次にステップ302では、上記ステップ300で抽出した顔領域の中の眼鏡領域を抽出する。ステップ302の処理は、例えば、眼鏡領域を認識するための輪郭情報テンプレートをEEPROM80に記憶し、被写体画像から人物の顔領域の眼鏡領域の輪郭を抽出して抽出した輪郭と、該輪郭情報テンプレートとを比較することによって、眼鏡領域を抽出する。
Next, in
次のステップ304では、上記ステップ302で抽出した眼鏡領域の輝度Mを算出する輝度算出処理が実行される。ステップ304の処理は、上記ステップ202の処理と略同様に、抽出した眼鏡領域に対応する画像データに基づいて算出する。
In the
ここで、本実施の形態のデジタルカメラ10では、予めEEPROM80に、眼鏡領域の感度を調整するための輝度のしきい値V1g、及び輝度V1より高いしきい値V2g、が予め記憶されると共に、3種類の補正値A1g、A2g、及びA3g各々が記憶されている。なお、補正値A1gは、輝度がしきい値V1gより小さいときに補正値A2gより感度が高くなるように補正するための補正値である。また、補正値A2gは、輝度がしきい値V1gからV2gの範囲内にあるときに、補正値A3gより感度が高くなるように補正するための補正値である。また、補正値A3gは、輝度がしきい値V2gより大きいときに感度を補正するための補正値である。
Here, in the
次のステップ306では、上記ステップ304で算出した輝度Mが予め定めたしきい値V1gより低い値か否かを判別し、肯定されるとステップ308で眼鏡領域の補正値として補正値A1gを設定する。
In the
一方、上記ステップ306で否定されると、ステップ310において、輝度Mがしきい値V2gより低いか否かを判断する。ステップ208で肯定されると、ステップ312で補正値A2gを設定する。上記ステップ310で否定されると、ステップ314で補正値A3gを設定する。
On the other hand, if the result in
上記ステップ306乃至ステップ314の処理によって、眼鏡領域の輝度が高くなるほど感度が低くなるように補正する補正値が、眼鏡領域の輝度に応じて設定される。
Through the processing in
次にステップ316では、上記ステップ304と略同様に、上記ステップ302で抽出した眼鏡領域以外の領域の輝度Oを算出する。ここで、本実施の形態のデジタルカメラ10では、更に、EEPROM80に、眼鏡領域以外の領域の感度を調整するための輝度のしきい値として、しきい値V1f、及びしきい値V1fより高いしきい値V2f、が予め記憶されると共に、3種類の補正値A1f、A2f、及びA3fが記憶されている。なお、補正値A1fは、補正値A2fより感度が高くなるように補正するための補正値であり、補正値A2fは、補正値A3fより感度が高くなるように補正するための補正値である。
Next, in
次のステップ318では、上記ステップ316で算出した眼鏡領域以外の領域の輝度Oが予め定めたしきい値V1fより低い値か否かを判別し、肯定されるとステップ320で眼鏡領域以外の領域の補正値として補正値A1fを設定する。
In the
一方、上記ステップ318で否定されると、ステップ322において、輝度Oがしきい値V2gより低いか否かを判断する。ステップ318で肯定されると、ステップ320で補正値A2fを設定する。上記ステップ322で否定されると、ステップ326で補正値A3fを設定する。
On the other hand, if the result in
上記ステップ316乃至ステップ326の処理によって、眼鏡領域以外の領域の輝度が高くなるほど感度が低くなるように補正する補正値が、顔領域の眼鏡領域以外の領域の輝度に応じて設定される。
Through the processing in
次のステップ327では、被写体画像の顔領域以外の領域に、感度調整不要を示す情報G0を設定する。
In the
次のステップ328では、上記ステップ104のAWB調整処理によって調整された、ホワイトバランスを補正するための基準補正値を読込み、次のステップ330において、ステップ328で読込んだホワイトバランスを調整するための基準補正値と、上記ステップ306乃至ステップ314の処理によって設定した眼鏡領域の補正値とを乗算することによって、眼鏡領域の調整値を算出する。また、基準補正値と、顔領域の眼鏡領域以外の領域の補正値とを乗算することによって、顔領域の眼鏡領域以外の領域の調整値を算出する。被写体画像の顔領域以外の領域については、感度調整不要を示す情報G0が設定されているので、基準補正値を変更せずに調整値とする。
In the
このように、上記ステップ300乃至ステップ330の処理が実行されて、被写体画像の人物の顔領域内の眼鏡領域、顔領域内の眼鏡領域以外の領域、及び被写体画像の顔領域以外の領域各々の調整値が算出された後に、シャッタスイッチ32が全押し状態となると、上記第1の実施例で説明したステップ110の処理と略同様に撮影処理が実行される。本実施の形態では、撮影処理が実行されると、算出した顔領域内の眼鏡領域、顔領域内の眼鏡領域以外の領域、及び被写体画像の顔領域以外の領域各々の調整値に基づいて、撮影によって得られた被写体画像の画像データの顔領域に含まれる眼鏡領域、顔領域内の眼鏡領域以外の領域、及び被写体画像の顔領域以外の領域各々に対応する画像データ各々を補正する。このため、被写体画像の顔領域以外のホワイトバランスを調整することができるとともに、顔領域内の眼鏡領域及び顔領域内の眼鏡領域以外の領域各々の感度及びホワイトバランスを調整することができる。
In this way, the processing of
以上説明したように、第2の実施の形態のデジタルカメラ10では、被写体画像の中の人物の顔領域に含まれる眼鏡領域の感度を調整するための補正値、及び顔領域の眼鏡領域以外の領域の感度を調整するための補正値各々を求めることができる。従って、顔領域に含まれる眼鏡領域及び顔領域の眼鏡領域以外の領域各々の感度を調整するための補正値を、各眼鏡領域及び眼鏡領域以外の領域毎に求めることができる。また、更に、ホワイトバランスを調整するための基準補正値を、眼鏡領域及び眼鏡領域以外の領域各々の補正値に基づいて調整することによって、顔領域の眼鏡領域及び顔領域の眼鏡領域以外の領域各々の感度及びホワイトバランスの双方を調整するための調整値を算出することができる。
As described above, in the
また、更に、撮影処理時に、顔領域内の眼鏡領域及び顔領域内の眼鏡領域以外の領域各々の調整値に基づいて、CCD50から入力された画像データの顔領域に含まれる眼鏡領域、及び顔領域の眼鏡領域以外の領域各々に対応する画像データを補正することができるので、顔領域内の眼鏡領域及び顔領域内の眼鏡領域以外の領域毎に、感度及びホワイトバランスを調整することができる。また、顔領域以外の領域に対応する画像データのホワイトバランスを調整することもできる。
Further, during the photographing process, the spectacle region included in the face region of the image data input from the
従って、被写体画像に含まれる顔領域内の眼鏡領域、及び顔領域内の眼鏡領域以外の領域各々について、各領域の輝度に応じて感度を適切に調整することができる。 Therefore, it is possible to appropriately adjust the sensitivity of the eyeglass region in the face region and the region other than the eyeglass region in the face region included in the subject image according to the luminance of each region.
[第3の実施の形態]
上記実施の形態では、被写体画像から顔領域を抽出、または、顔領域の眼鏡領域及び顔領域の眼鏡領域以外の領域を抽出し、抽出した各領域各々の補正値を算出して、撮影によって得られた画像データの各領域に対応する画像データを補正することによって、各領域の感度を調整する場合を説明したが、本実施の形態では、被写体画像から抽出した顔領域を複数のエリアに分割して各エリア毎に補正値を算出して、顔領域の感度を分割したエリア毎に調整する場合を説明する。
[Third Embodiment]
In the above embodiment, a face region is extracted from the subject image, or a region other than the spectacle region of the face region and the spectacle region of the face region is extracted, and a correction value for each of the extracted regions is calculated and obtained by photographing. Although the case where the sensitivity of each area is adjusted by correcting the image data corresponding to each area of the obtained image data has been described, in this embodiment, the face area extracted from the subject image is divided into a plurality of areas. A case will be described in which the correction value is calculated for each area and the sensitivity of the face area is adjusted for each divided area.
なお、本実施の形態は、上記第1の実施の形態と略同様の構成のため、同一部分には同一符号を付与して詳細な説明を省略する。 Since the present embodiment has a configuration substantially similar to that of the first embodiment, the same portions are denoted by the same reference numerals and detailed description thereof is omitted.
本実施の形態では、上記第1の実施の形態で説明した調整値算出処理(図3、ステップ106参照。)において、図6に示す処理ルーチンが実行されて、ステップ400へ進み、上記ステップ200の処理と同様に、被写体画像の中の人物の顔領域を抽出する顔領域抽出処理が実行される。 In the present embodiment, in the adjustment value calculation process (see FIG. 3, step 106) described in the first embodiment, the processing routine shown in FIG. Similar to the above process, a face area extraction process for extracting the face area of a person in the subject image is executed.
次にステップ402では、上記ステップ400で抽出した顔領域を複数エリアに分割する分割処理を実行する。ステップ402の処理は、例えば、領域を分割するための分割数を予め定めておいて、抽出した領域が該分割数となるように分割するようにすればよい。また、その他の方法として、予め被写体画像を複数のエリアに分割し、抽出した顔領域に対応する予め分割したエリアを特定することによって、顔領域を複数エリアに分割するようにしてもよい。
Next, in
次のステップ404では、上記ステップ402で分割したエリアの内の1つのエリアの輝度Pを算出する輝度算出処理が実行される。
In the
ここで、本実施の形態のデジタルカメラ10では、予めEEPROM80に、顔領域の感度を調整するための輝度のしきい値Vin1、及びしきい値Vin1より高いしきい値Vin2が予め記憶されると共に、2種類の補正値Gin1、及びGin2各々が予め記憶されている。なお、補正値Gin1は、輝度Pがしきい値Vin1より低いときに補正値Gin2より感度が高くなるように補正するための補正値である。また、補正値Gin2は、輝度Pがしきい値Vin1からVin2の範囲内にあるときに、感度を補正するための補正値である。
Here, in the
次のステップ406では、上記ステップ404で算出した輝度Pがしきい値Vin1より低い値か否かを判別し、肯定されるとステップ408で顔領域に含まれる上記ステップ404で算出したエリアに対応する補正値として補正値Gin1を設定する。
In the
一方、上記ステップ406で否定されると、ステップ410において輝度Pがしきい値Vin2より低いか否かを判断する。ステップ410で肯定されると、ステップ412で補正値Gin2を設定する。ステップ410で否定されると、ステップ414で感度調整不要を示す情報G0を設定する。
On the other hand, if the result in
次のステップ416では、上記ステップ404で分割した顔領域に含まれる複数エリアの全てのエリアについて、補正値を設定した場合には、ステップ418へ進み、未設定のエリアがある場合には、上記ステップ404へ戻る。
In the
次のステップ416では、上記ステップ402の処理と略同様に、被写体画像の顔領域以外の領域を複数エリアに分割する分割処理を実行する。
In the
次のステップ420では、上記ステップ418で分割した各エリアの内の1つのエリアの輝度Qを算出する輝度算出処理が実行される。
In the
ここで、本実施の形態のデジタルカメラ10では、予めEEPROM80に更に被写体画像の顔領域以外の領域の感度を調整するための輝度のしきい値Vout1、及びしきい値Vout1より高いしきい値Vout2、が予め記憶されると共に、2種類の補正値Gout1、及びGout2が記憶されている。なお、補正値Gin1は、輝度Qがしきい値Vout1より低いときに補正値Gin2より感度が高くなるように補正するための補正値である。また、補正値Gin2は、輝度Qがしきい値Vout1より高くVout2より低いときに補正するための補正値である。
Here, in the
次のステップ422では、上記ステップ420で算出した輝度Qがしきい値Vout1より低い値か否かを判別し、肯定されるとステップ424で被写体画像の顔領域以外の領域に含まれる上記ステップ420で算出したエリアに対応する補正値として補正値Gout1を設定する。
In the
一方、上記ステップ422で否定されると、ステップ426において、輝度Qがしきい値Vout2より低いか否かを判断する。ステップ426で肯定されると、ステップ428で補正値Gout2を設定する。ステップ426で否定されると、ステップ430で感度調整不要を示す情報G0を設定する。
On the other hand, if the result in
次のステップ432では、上記ステップ418で分割した被写体画像の顔領域以外の領域に含まれる複数エリアの全てのエリアについて、補正値を設定した場合には、ステップ434へ進み、未設定のエリアがある場合には、上記ステップ420へ戻る。
In the
次のステップ434では、上記ステップ104のAWB調整処理によって調整された、ホワイトバランスを補正するための基準補正値を読込み、次のステップ436において、顔領域のエリア各々、及び被写体画像の顔領域以外の領域のエリア各々の調整値を算出した後に、本ルーチンを終了する。具体的には、ステップ436の処理は、ホワイトバランスを調整するための基準補正値と、上記ステップ404乃至ステップ414の処理によって設定した顔領域を複数エリアに分割した各エリア各々に対応する補正値とを乗算することによって、顔領域の各エリアの感度及びホワイトバランスを調整するための調整値を算出する。同様に、上記ステップ420乃至ステップ430の処理によって設定した被写体画像の顔領域以外の領域を複数エリアに分割した各エリア各々に対応する補正値と、基準補正値とを乗算することによって、被写体画像の顔領域以外の各エリアの調整値を算出する。
In the
上記ステップ400乃至ステップ436の処理が実行された後に、更にシャッタスイッチ32が全押し状態となると、上記第1の実施例で説明したステップ110の処理と略同様に撮影処理が実行される。
If the
本実施の形態の撮影処理では、顔領域の複数エリア各々、及び被写体画像の顔領域以外の領域の複数エリア各々の調整値に基づいて、撮影によって得られた画像データの顔領域の複数エリア各々、及び被写体画像の顔領域以外の領域の複数エリア各々に対応する画像データ各々を補正することによって、被写体画像の人物の顔領域内を複数エリアに分割したエリア各々、及び被写体画像の顔領域以外の領域を複数エリアに分割したエリア各々の感度及びホワイトバランスの調整を行う。 In the shooting processing of the present embodiment, each of the plurality of areas of the face area of the image data obtained by shooting based on the adjustment values of each of the plurality of areas of the face area and each of the plurality of areas other than the face area of the subject image. And by correcting each of the image data corresponding to each of the plurality of areas other than the face area of the subject image, each area obtained by dividing the human face area of the subject image into a plurality of areas and other than the face area of the subject image The sensitivity and white balance of each area obtained by dividing this area into a plurality of areas are adjusted.
以上説明したように、第3の実施の形態のデジタルカメラ10では、被写体画像の中の人物の顔領域を複数のエリアに分割し、各エリア毎に対応する画像データの感度を調整するための補正値を求めることができる。また、被写体画像の顔領域以外の領域についても複数のエリアに分割し、各エリア毎に対応する画像データの感度を調整するための補正値を求めることができる。このため、第1の実施の形態及び第2の実施の形態に比べて、更に、詳細に顔領域の感度の補正値を定めることができる。
As described above, in the
また、更に、ホワイトバランスを調整するための基準補正値を各エリアの補正値に基づいて調整することによって、顔領域及び被写体画像の顔領域以外の領域各々に含まれるエリア各々に対応する感度及びホワイトバランスの双方を調整するための調整値を算出することができる。 Further, by adjusting the reference correction value for adjusting the white balance based on the correction value of each area, the sensitivity corresponding to each of the areas included in the face area and the area other than the face area of the subject image, and An adjustment value for adjusting both of the white balance can be calculated.
また、撮影処理において、被写体画像の人物の顔領域内を複数エリアに分割したエリア各々、及び被写体画像の顔領域以外の領域を複数エリアに分割したエリア各々の調整値に基づいて、撮影によって得られた画像データの、顔領域内を複数エリアに分割したエリア各々に対応する画像データ、及び被写体画像の顔領域以外の領域を複数エリアに分割したエリア各々に対応する画像データ各々を補正することができる。このため、顔領域内及び被写体画像の顔領域以外の領域各々の感度及びホワイトバランスを、各領域の分割されたエリア毎に詳細に調整することができる。 Also, in the shooting process, obtained by shooting based on the adjustment values of each area obtained by dividing the human face area of the subject image into a plurality of areas and each area obtained by dividing the area other than the face area of the subject image into a plurality of areas. Correcting the image data corresponding to each area obtained by dividing the face area into a plurality of areas and the image data corresponding to each area obtained by dividing the area other than the face area of the subject image into a plurality of areas. Can do. Therefore, the sensitivity and white balance of each area other than the face area and the face area of the subject image can be adjusted in detail for each divided area of each area.
なお、本実施の形態では、被写体画像の顔領域及び被写体画像の顔領域以外の領域を複数エリアに分割して各エリア毎の補正値を算出する場合を説明したが、更に顔領域に含まれる眼鏡領域を抽出して、眼鏡領域を複数エリアに分割するとともに、顔領域内の眼鏡領域以外の領域を複数エリアに分割し、分割したエリア毎に補正値を算出するようにしてもよい。このようにすれば、更に詳細に被写体画像の人物の顔領域の感度を調整することができる。 In the present embodiment, the case where the face area of the subject image and the area other than the face area of the subject image are divided into a plurality of areas and the correction value for each area is calculated has been described. The spectacle region may be extracted to divide the spectacle region into a plurality of areas, and the region other than the spectacle region in the face region may be divided into a plurality of areas, and a correction value may be calculated for each divided area. In this way, the sensitivity of the face area of the person in the subject image can be adjusted in more detail.
[第4の実施の形態]
上記実施の形態では、顔領域、顔領域の眼鏡領域及び顔領域の眼鏡領域以外の領域、または顔領域を複数エリア分割した各エリアの輝度に基づいて各領域または各領域の各エリア毎の補正値を算出する場合を説明したが、本実施の形態では、被写体画像中の人物までの距離に基づいて、各領域の補正値を算出する場合を説明する。
[Fourth Embodiment]
In the above embodiment, correction for each area or each area of each area based on the brightness of the face area, the spectacle area of the face area, the area other than the spectacle area of the face area, or each area obtained by dividing the face area into a plurality of areas. Although the case where the value is calculated has been described, in the present embodiment, the case where the correction value of each region is calculated based on the distance to the person in the subject image will be described.
なお、本実施の形態は、上記第1の実施の形態と略同様の構成のため、同一部分には同一符号を付与して詳細な説明を省略する。 Since the present embodiment has substantially the same configuration as that of the first embodiment, the same parts are denoted by the same reference numerals and detailed description thereof is omitted.
本実施の形態では、上記第1の実施の形態で説明した調整値算出処理(図3、ステップ106参照。)において、図7に示す処理ルーチンが実行されて、ステップ500へ進み、上記ステップ200の処理と同様に被写体画像の中の人物の顔領域を抽出する顔領域抽出処理が実行される。 In the present embodiment, in the adjustment value calculation processing (see FIG. 3, step 106) described in the first embodiment, the processing routine shown in FIG. Similar to the above process, a face area extracting process for extracting a person's face area in the subject image is executed.
次のステップ502では、顔領域と被写体画像の顔領域以外の領域の面積比を算出する。次のステップ504では、検知センサ58Aによって検知されたズーム位置を読み取ることによって、ズーム倍率を読み取るズーム倍率読取処理が実行される。
In the
次にステップ506では、デジタルカメラ10と被写体画像中の人物との距離dを算出する距離d算出処理が実行される。ステップ506の処理では、上記ステップ502で算出した顔領域と被写体画像の顔領域以外の領域との面積比と、上記ステップ504で読み取ったズーム倍率とに基づいて、デジタルカメラ10と被写体画像中の人物との距離dを算出する。距離dの算出は、例えば、予め顔の面積比及びズーム倍率と、デジタルカメラ10から被写体画像中の人物までの距離と、の関係を示すルックアップテーブルを予めEEPROM80に記憶し、該ルックアップテーブルに基づいて、距離dを算出するようにすればよい。また、距離dを算出するための演算式を用いても良い。
Next, in
ここで、本実施の形態のデジタルカメラ10では、予めEEPROM80に、顔領域の感度を調整するための距離のしきい値として、しきい値d1と、しきい値d1より大きいしきい値d2が予め記憶されると共に、3種類の補正値A1、A2、及びA3が記憶されている。なお、補正値A3は、距離dがしきい値d1より小さいときに補正値A2より感度が高くなるように補正するための補正値である。また、補正値A2は、距離dがしきい値d1からd2の範囲内にあるときに補正値A1より感度が高くなるように補正するための補正値である。また補正値A3は、距離dがしきい値d2より大きいときに感度を補正するための補正値である。
Here, in the
次のステップ508では、上記ステップ506で算出した距離dがしきい値d1より小さい値か否かを判別し、肯定されるとステップ510で顔領域の補正値として補正値A1を設定する。
In the
一方、上記ステップ508で否定されると、ステップ512において、距離dがしきい値d2より小さいか否かを判断する。ステップ512で肯定されると、ステップ514で、顔領域の補正値として補正値A2を設定する。
On the other hand, if the result in
一方、ステップ512で否定されると、ステップ516で補正値A3を設定する。
On the other hand, if the result is NO in
次のステップ518では、上記ステップ104のAWB調整処理によって調整された、ホワイトバランスを補正するための基準補正値を読込み、次のステップ520において、顔領域の感度とホワイトバランスを調整するための調整値を算出した後に、本ルーチンを終了する。ステップ520の処理は、上記ステップ518で取得したホワイトバランスを調整するための基準補正値と、上記ステップ506乃至ステップ516の処理によって設定した顔領域の補正値とを乗算することによって、顔領域の感度及びホワイトバランスの双方を調整するための調整値を算出する。
In the
上記ステップ500乃至ステップ520の処理が実行されて、顔領域の調整値が算出された後に、更にシャッタスイッチ32が全押し状態となると、上記第1の実施例で説明したステップ110の処理と略同様に撮影処理が実行される。
After the processing from
本実施の形態の撮影処理では、算出した顔領域の調整値に基づいて、CCD50から入力された画像データの顔領域に対応する画像データを補正することによって、被写体画像の人物の顔領域の感度及びホワイトバランスの双方を調整する。
In the photographing process of the present embodiment, the sensitivity of the human face area of the subject image is corrected by correcting the image data corresponding to the face area of the image data input from the
以上説明したように、第4の実施の形態のデジタルカメラ10では、被写体画像中の人物の顔領域を抽出し、顔領域と被写体画像の顔領域以外の領域との面積比と、ズーム倍率と、からデジタルカメラ10と被写体画像中の人物との距離dを算出し、距離dに基づいて被写体画像の人物の顔領域に対応する画像データの感度を調整するための補正値を求める。このように、被写体画像に含まれる人物との距離に基づいて、被写体画像に含まれる人物の顔領域の感度を調整する補正値を求めることができるので、容易に顔領域の感度を調整する補正値を求めることができる。
As described above, in the
なお、本実施の形態では、デジタルカメラ10と被写体画像中の人物との距離dは、顔領域と被写体画像の顔領域以外の領域との面積比、及び設定されたズーム倍率に基づいて算出する場合を説明したが、デジタルカメラ10に、デジタルカメラ10と被写体の人物との間の距離を検出するための測距センサを設けて、該測距センサによって検出された信号に基づいて、デジタルカメラ10と被写体画像の中の人物との距離を求めるようにしてもよい。
In the present embodiment, the distance d between the
10 デジタルカメラ
15 撮像部
58A 検知センサ
60 主制御部
90 感度調整部
DESCRIPTION OF
Claims (6)
前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、
抽出された前記顔領域の輝度を算出する算出手段と、
前記輝度が高くなるほど感度が低くなるように補正する補正値を演算する演算手段と、
前記補正値に基づいて、前記画像データの顔領域に対応する画像データを補正することによって、前記顔領域の感度を調整する調整手段と、
を備えた撮像装置。 Imaging means for photographing a subject and outputting image data of the subject image;
Extracting means for extracting a human face area in the subject image based on the image data;
Calculating means for calculating the luminance of the extracted face area;
A calculation means for calculating a correction value for correction so that the sensitivity decreases as the luminance increases;
Adjusting means for adjusting the sensitivity of the face area by correcting image data corresponding to the face area of the image data based on the correction value;
An imaging apparatus comprising:
前記画像データに基づいて被写体画像の中の人物の顔領域及び顔領域に含まれる眼鏡領域を抽出する抽出手段と、
抽出された前記眼鏡領域の輝度及び抽出された前記顔領域の眼鏡領域以外の領域の輝度各々を算出する算出手段と、
前記眼鏡領域の輝度及び前記眼鏡領域以外の領域の輝度各々が高くなるほど感度が低くなるように補正する眼鏡領域用補正値及び眼鏡領域以外の領域用補正値各々を演算する演算手段と、
前記眼鏡領域用補正値に基づいて、前記画像データの眼鏡領域に対応する画像データを補正すると共に、前記眼鏡領域以外の領域用補正値に基づいて前記画像データの前記顔領域の眼鏡領域以外の領域に対応する画像データを補正することによって、前記眼鏡領域及び前記顔領域の眼鏡領域以外の領域各々の感度を調整する調整手段と、
を備えた撮像装置。 Imaging means for photographing a subject and outputting image data of the subject image;
Extracting means for extracting a face area of a person in the subject image and a spectacle area included in the face area based on the image data;
Calculating means for calculating the luminance of the extracted spectacle region and the luminance of the extracted region other than the spectacle region;
Calculating means for calculating a correction value for a spectacle region and a correction value for a region other than the spectacle region, which are corrected so that the sensitivity decreases as the luminance of the spectacle region and the luminance of a region other than the spectacle region increase,
Based on the correction value for the spectacle region, the image data corresponding to the spectacle region of the image data is corrected, and based on the correction value for the region other than the spectacle region, the image data other than the spectacle region of the face region Adjusting means for adjusting the sensitivity of each region other than the spectacle region of the spectacle region and the face region by correcting image data corresponding to the region;
An imaging apparatus comprising:
前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、
抽出された前記顔領域を複数のエリアに分割したときの前記エリア各々の輝度を算出する算出手段と、
前記輝度が高くなるほど感度が低くなるように補正する補正値を前記エリア各々について演算する演算手段と、
前記エリア各々の補正値に基づいて、前記各エリア毎に画像データを補正することによって、前記顔領域のエリア各々の撮影感度を調整する調整手段と、
を備えた撮像装置。 Imaging means for photographing a subject and outputting image data of the subject image;
Extracting means for extracting a human face area in the subject image based on the image data;
Calculating means for calculating the luminance of each of the areas when the extracted face area is divided into a plurality of areas;
A calculation means for calculating a correction value for correcting each of the areas so that the sensitivity decreases as the luminance increases;
Adjusting means for adjusting the photographing sensitivity of each area of the face region by correcting image data for each area based on the correction value of each area;
An imaging apparatus comprising:
前記画像データに基づいて被写体画像の中の人物の顔領域を抽出する抽出手段と、
前記被写体画像の中の人物までの距離を検出する検出手段と、
検出された前記距離に基づいて、該距離が大きくなるほど感度が大きくなるように補正する補正値を演算する演算手段と、
前記補正値に基づいて、前記画像データの顔領域に対応する画像データを補正することによって、前記顔領域の感度を調整する調整手段と、
を備えた撮像装置。 An imaging unit that includes an imaging lens having a zoom function, shoots a subject, and outputs image data of the subject image;
Extracting means for extracting a human face area in the subject image based on the image data;
Detecting means for detecting a distance to a person in the subject image;
Based on the detected distance, a calculation means for calculating a correction value for correcting so that the sensitivity increases as the distance increases;
Adjusting means for adjusting the sensitivity of the face area by correcting image data corresponding to the face area of the image data based on the correction value;
An imaging apparatus comprising:
前記検出手段は、抽出された前記顔領域のサイズ、及び前記被写体画像のサイズを算出するとともに、該顔領域のサイズ、該被写体画像のサイズ、及び検知されたズーム倍率に基づいた演算によって、前記被写体画像の中の人物までの距離を検出する請求項5に記載の撮像装置。 It further comprises detection means for detecting the zoom magnification,
The detection means calculates the size of the extracted face area and the size of the subject image, and performs the calculation based on the size of the face area, the size of the subject image, and the detected zoom magnification. The imaging apparatus according to claim 5, wherein a distance to a person in the subject image is detected.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004210707A JP4381910B2 (en) | 2004-07-16 | 2004-07-16 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004210707A JP4381910B2 (en) | 2004-07-16 | 2004-07-16 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006033519A true JP2006033519A (en) | 2006-02-02 |
JP4381910B2 JP4381910B2 (en) | 2009-12-09 |
Family
ID=35899317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004210707A Expired - Fee Related JP4381910B2 (en) | 2004-07-16 | 2004-07-16 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4381910B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221284A (en) * | 2006-02-15 | 2007-08-30 | Fujifilm Corp | Photographing apparatus and method, and program |
JP2008092175A (en) * | 2006-09-29 | 2008-04-17 | Fujifilm Corp | Photographing device and exposure control method |
JP2009027259A (en) * | 2007-07-17 | 2009-02-05 | Fujifilm Corp | Auto white balance correction value calculating device, method and program, and imaging device |
JP2011188186A (en) * | 2010-03-08 | 2011-09-22 | Aof Imaging Technology Ltd | Device for calculating white balance gain |
JP2012186860A (en) * | 2012-06-18 | 2012-09-27 | Canon Inc | Imaging device, method of controlling the same, and program |
US8284272B2 (en) | 2008-02-28 | 2012-10-09 | Sanyo Electric Co., Ltd. | Electronic camera |
JP2016195423A (en) * | 2016-06-28 | 2016-11-17 | 株式会社ニコン | Imaging apparatus |
JP2018033156A (en) * | 2017-10-05 | 2018-03-01 | 株式会社ニコン | Image processing apparatus and imaging apparatus |
-
2004
- 2004-07-16 JP JP2004210707A patent/JP4381910B2/en not_active Expired - Fee Related
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221284A (en) * | 2006-02-15 | 2007-08-30 | Fujifilm Corp | Photographing apparatus and method, and program |
JP4510768B2 (en) * | 2006-02-15 | 2010-07-28 | 富士フイルム株式会社 | Imaging apparatus and method, and program |
US7801436B2 (en) | 2006-02-15 | 2010-09-21 | Fujifilm Corporation | Photography apparatus, photography method, and photography program |
US7924343B2 (en) | 2006-09-29 | 2011-04-12 | Fujifilm Corporation | Photographing apparatus and exposure control method |
JP2008092175A (en) * | 2006-09-29 | 2008-04-17 | Fujifilm Corp | Photographing device and exposure control method |
JP4702635B2 (en) * | 2007-07-17 | 2011-06-15 | 富士フイルム株式会社 | AUTO WHITE BALANCE CORRECTION VALUE CALCULATION DEVICE, METHOD, PROGRAM, AND IMAGING DEVICE |
JP2009027259A (en) * | 2007-07-17 | 2009-02-05 | Fujifilm Corp | Auto white balance correction value calculating device, method and program, and imaging device |
US8045014B2 (en) | 2007-07-17 | 2011-10-25 | Fujifilm Corporation | Auto white balance correction value calculation device, method, program, and image pickup device |
US8520091B2 (en) | 2007-07-17 | 2013-08-27 | Fujifilm Corporation | Auto white balance correction value calculation device, method, program, and image pickup device |
US8284272B2 (en) | 2008-02-28 | 2012-10-09 | Sanyo Electric Co., Ltd. | Electronic camera |
JP2011188186A (en) * | 2010-03-08 | 2011-09-22 | Aof Imaging Technology Ltd | Device for calculating white balance gain |
JP2012186860A (en) * | 2012-06-18 | 2012-09-27 | Canon Inc | Imaging device, method of controlling the same, and program |
JP2016195423A (en) * | 2016-06-28 | 2016-11-17 | 株式会社ニコン | Imaging apparatus |
JP2018033156A (en) * | 2017-10-05 | 2018-03-01 | 株式会社ニコン | Image processing apparatus and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP4381910B2 (en) | 2009-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006060678A (en) | Imaging apparatus | |
US9794473B2 (en) | Imaging device, imaging device body, and lens barrel | |
US20140071318A1 (en) | Imaging apparatus | |
US10175451B2 (en) | Imaging apparatus and focus adjustment method | |
JP2003307669A (en) | Camera | |
JP4348118B2 (en) | Solid-state imaging device and imaging device | |
JP4614143B2 (en) | Imaging apparatus and program thereof | |
JP6467190B2 (en) | EXPOSURE CONTROL DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
US20090290859A1 (en) | Image pickup device and method of correcting camera shake of the image pickup device | |
US10271029B2 (en) | Image pickup apparatus and method of controlling an image pickup apparatus | |
US9274402B2 (en) | Imaging device that executes auto focus control by referring to distance image data regarding a depth of a region | |
JP4381910B2 (en) | Imaging device | |
JP2007057974A (en) | Photographing device | |
JP4816337B2 (en) | Image correction apparatus, camera, and image correction program | |
US20140293064A1 (en) | Image pickup apparatus | |
JP4046276B2 (en) | Digital camera | |
JP2006217249A (en) | Electronic camera, electronic camera system and program | |
JP2015050733A (en) | Exposure control apparatus, exposure control method, control program, and imaging apparatus | |
JP3510063B2 (en) | Exposure control device for still video camera | |
JP4496051B2 (en) | Imaging device | |
JP2006229627A (en) | Digital camera | |
JP5245644B2 (en) | Exposure calculator | |
JP4779383B2 (en) | Digital camera | |
JP6799411B2 (en) | Focus detection device and method, and imaging device | |
JP6590585B2 (en) | Imaging apparatus and exposure control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070201 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20070201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090916 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121002 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131002 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |