JP2000244930A - デジタルカメラおよび画像信号処理用記憶媒体 - Google Patents

デジタルカメラおよび画像信号処理用記憶媒体

Info

Publication number
JP2000244930A
JP2000244930A JP11041451A JP4145199A JP2000244930A JP 2000244930 A JP2000244930 A JP 2000244930A JP 11041451 A JP11041451 A JP 11041451A JP 4145199 A JP4145199 A JP 4145199A JP 2000244930 A JP2000244930 A JP 2000244930A
Authority
JP
Japan
Prior art keywords
white balance
lens
fine adjustment
image
adjustment coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11041451A
Other languages
English (en)
Other versions
JP4337161B2 (ja
Inventor
Morihiro Takagi
盛宏 高木
Masahisa Suzuki
政央 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP04145199A priority Critical patent/JP4337161B2/ja
Publication of JP2000244930A publication Critical patent/JP2000244930A/ja
Application granted granted Critical
Publication of JP4337161B2 publication Critical patent/JP4337161B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】撮影レンズの瞳位置あるいは絞り値変更後のホ
ワイトバランス調整誤差による色かぶり現象を十分に抑
制する。 【解決手段】CCD26は撮影レンズを通過する被写体
像を撮像し、画像処理回路29はCCD26から出力さ
れる画像データに対してγ補正、ホワイトバランスなど
の画像前処理を行う。CPU21は、あらかじめ格納さ
れているホワイトバランス微調整係数を交換レンズ90
の焦点距離および絞り値に基づいて読み出し、この係数
に基づいてプリセットホワイトバランス調整値を補正す
る。画像処理回路29におけるホワイトバランス調整回
路103は、補正後のホワイトバランス調整値でCCD
26から出力される画像データに対してホワイトバラン
ス調整を行なう。ホワイトバランス調整後のデータは、
γ補正後にフォーマット処理されたのち圧縮回路33で
圧縮される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、被写体を電子的に
圧縮した画像データとして記憶するデジタルカメラおよ
び画像信号処理プログラムが格納された記憶媒体に関す
る。
【0002】
【従来の技術】従来から、撮影レンズを通過する被写体
像がクイックリターンミラーによって導かれるファイン
ダ装置と、クイックリターンミラーの後段に配置され被
写体像を撮像して画像データを出力するCCDのような
撮像装置と、撮像装置から出力される画像データに対し
てホワイトバランスやγ補正などの画像処理を施す画像
処理回路と、画像処理後のデータをJPEGなどの方式
で圧縮してフラッシュメモリなどの記憶媒体に記憶する
圧縮回路と、画像処理後のデータを表示するモニタとを
備えるデジタルスチルカメラが知られている。画像処理
回路では、撮像装置から出力される画像データに基づい
て、あらかじめ定めたアルゴリズムによりホワイトバラ
ンス調整用のRゲインやBゲイン、あるいはγ補正用の
階調カーブなどのパラメータを算出する。また、JPE
G方式で圧縮するために画像データをそれぞれ16×8
の輝度データYとそれぞれ8×8の色差データCr,C
bに変換する。
【0003】
【発明が解決しようとする課題】このような従来のデジ
タルスチルカメラの撮像装置では、あらかじめ決定した
ホワイトバランス調整係数を用いてホワイトバランス調
整を行なうようにしているので、そのホワイトバランス
調整係数の調整不良が生じると色かぶり画像が発生する
おそれがある。一般に、画素数を増やすために所定の面
積にたくさんの画素を収めたCCDは、一画素あたりの
面積が小さいのでCCD上にオンチップマイクロレンズ
を形成して集光率を高めている。このようなCCDで
は、マイクロレンズを通してフォトダイオードが受光す
る光のR、GおよびB成分の強さがマイクロレンズに入
射される角度により変化する。このため、撮影レンズを
通過した光をCCDに導いて光電変換するデジタルスチ
ルカメラでは、撮影レンズの瞳位置や絞り値によってC
CD上のマイクロレンズへの入射角が変化するので、受
光される光のR、G、B成分の強さが変化してホワイト
バランス調整不良が生じやすい。とくに、200万画素
を超えるような高画質タイプのデジタルカメラで問題と
なりやすい。また、撮影レンズの収差によってホワイト
バランス調整が微妙に影響を受けることもある。
【0004】本発明の目的は、撮影レンズの瞳位置や絞
り値の変化などで生じるホワイトバランス調整誤差によ
る色かぶり現象を十分に抑制できるようにしたデジタル
カメラを提供することにある。また本発明の他の目的
は、撮影レンズの瞳位置や絞り値などの変化で生じたホ
ワイトバランス調整誤差による色かぶり現象を十分に抑
制できるような信号処理を行なうプログラムを格納した
記憶媒体を提供することにある。
【0005】
【課題を解決するための手段】一実施の形態を示す図1
〜図3を参照して本発明を説明する。 (1)請求項1の発明は、撮影レンズ90を通過する被
写体像を撮像して画像データを出力する撮像装置26
と、撮像装置26から出力される画像データに対してホ
ワイトバランス調整を行うホワイトバランス調整回路1
03とを備えたデジタルカメラに適用される。そして、
ホワイトバランス調整回路103は、撮影レンズ90の
光学特性が変更されるのに応じ、その光学特性に基づい
たホワイトバランス調整を行うことにより上述した目的
を達成する。 (2)請求項2の発明は、撮影レンズ90を通過する被
写体像を撮像して画像データを出力する撮像装置26
と、撮像装置26から出力される画像データに対してホ
ワイトバランス調整値に基づいてホワイトバランス調整
を行うホワイトバランス調整回路103とを備えたデジ
タルカメラに適用される。そして、撮影レンズ90の瞳
位置および絞り値の少なくとも一方を含むレンズ撮影条
件に基づいてホワイトバランス微調整係数を設定するホ
ワイトバランス微調整係数設定手段21と、ホワイトバ
ランス微調整係数設定手段21で設定されたホワイトバ
ランス微調整係数を用い、あらかじめ決定したホワイト
バランス調整値に対し微調整を行うホワイトバランス微
調整演算手段21とを備えることにより上述した目的を
達成する。 (3)請求項3の発明は、請求項2に記載のデジタルカ
メラにおいて、ホワイトバランス微調整係数設定手段2
1は、あらかじめホワイトバランス調整値を決定したと
きの撮影レンズ90の瞳位置および絞り値の少なくとも
一方を含むレンズ撮影条件と、撮影時の撮影レンズ90
の瞳位置および絞り値の少なくとも一方を含むレンズ撮
影条件とに基づいてホワイトバランス微調整係数を設定
することを特徴とする。 (4)請求項4の発明は、請求項2または3に記載のデ
ジタルカメラにおいて、ホワイトバランス微調整係数設
定手段21は、撮影レンズ90の瞳位置および絞り値の
少なくとも一方を含むレンズ撮影条件に対応して記憶し
たホワイトバランス微調整係数を、撮影時の撮影レンズ
90の瞳位置および絞り値の少なくとも一方を含むレン
ズ撮影条件に基づいて読み出すことを特徴とする。 (5)請求項5の発明は、請求項2〜4のいずれかに記
載のデジタルカメラにおいて、ホワイトバランス微調整
係数設定手段21は、撮像装置26のマイクロレンズへ
入射する被写体光の入射角度に依存したホワイトバラン
ス微調整係数を設定することを特徴とする。 (6)請求項6の発明による画像信号処理用記憶媒体
は、撮影レンズ90の瞳位置および絞り値の少なくとも
一方を含むレンズ撮影条件に基づいてホワイトバランス
微調整係数を設定するホワイトバランス微調整係数設定
処理と、あらかじめ決定されたホワイトバランス調整値
をホワイトバランス微調整係数により微調整するホワイ
トバランス微調整演算処理と、撮像装置26で撮像され
た画像データに対して、微調整演算処理で微調整された
ホワイトバランス調整値に基づいてホワイトバランス調
整を施すホワイトバランス調整処理とを行うプログラム
を格納し、このプログラムを実行することにより上述し
た目的を達成する。 (7)請求項7の発明による画像信号処理用記憶媒体
は、撮影レンズ90の瞳位置および絞り値の少なくとも
一方を含むレンズ撮影条件に基づいてホワイトバランス
微調整係数を設定するホワイトバランス微調整係数設定
処理と、撮像装置26で撮像されてホワイトバランス調
整された後の画像データに対して、ホワイトバランス微
調係数に基づいてホワイトバランス微調整を行うホワイ
トバランス微調整処理とを行うプログラムを格納し、こ
のプログラムを実行することにより上述した目的を達成
する。 (8)請求項8の発明は、請求項6または7に記載の画
像信号処理用記憶媒体において、ホワイトバランス微調
整係数設定処理は、撮影レンズ90の瞳位置および絞り
値の少なくとも一方を含むレンズ撮影条件に対応して記
憶したホワイトバランス微調整係数を、画像を撮影した
時の撮影レンズ90の瞳位置および絞り値の少なくとも
一方を含むレンズ撮影条件に基づいて読み出してホワイ
トバランス微調整係数の設定を行うことを特徴とする。
【0006】なお、本発明の構成を説明する上記課題を
解決するための手段の項では、本発明を分かり易くする
ために実施の形態の図を用いたが、これにより本発明が
実施の形態に限定されるものではない。
【0007】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図1に示すように、この実施の形
態による一眼レフデジタルスチルカメラは、カメラ本体
70と、カメラ本体70に着脱されるファインダ装置8
0と、レンズ91と絞り92を内蔵してカメラ本体70
に着脱される交換ズームレンズ90とを備える。被写体
光は交換レンズ90を通ってカメラ本体70に入射し、
レリーズ前は点線で示す位置にあるクイックリターンミ
ラー71でファインダ装置80に導かれてファインダマ
ット81に結像するとともに、焦点検出装置36にも結
像する。ファインダーマット81上の被写体像はさらに
ペンタプリズム82で接眼レンズ83に導かれる。ま
た、レリーズ前に、プリズム84と結像レンズ85を通
って被写体像がホワイトバランスセンサ86に入射し
て、被写体像の色温度を検出する。レリーズ後はクイッ
クリターンミラー71が実線で示す位置に回動し、被写
体光はシャッタ72を介して撮像装置73上に結像す
る。
【0008】図2は本発明によるデジタルカメラの一実
施の形態の回路を示すブロック図である。CPU21に
はレリーズ釦に連動する半押しスイッチ22と全押しス
イッチ23から半押し信号と全押し信号がそれぞれ入力
される。半押しスイッチ22が操作されて半押し信号が
入力されると、CPU21からの指令により焦点検出装
置36が交換レンズ90の焦点検出状態を検出し、交換
レンズ90に入射する被写体光が撮像装置73上で結像
するようにレンズ91を合焦位置へ駆動する。また、タ
イミングジェネレータ24とドライバ25を介して撮像
装置73のCCD26が駆動制御される。そして、タイ
ミングジェネレータ24によりアナログ処理回路27と
A/D変換回路28の動作タイミングが制御される。
【0009】半押しスイッチ22のオン操作に引続いて
全押しスイッチ23がオン操作されるとクイックリター
ンミラー71が上方に回動し、交換レンズ90からの被
写体光はCCD26の受光面上で結像し、CCD26に
は被写体像の明るさに応じた信号電荷が蓄積される。C
CD26に蓄積された信号電荷はドライバ25により吐
き出され、AGC回路やCDS回路などを含むアナログ
信号処理回路27に入力される。アナログ信号処理回路
27でアナログ画像信号に対してゲインコントロール、
雑音除去等のアナログ処理が施された後、A/D変換回
路28によってデジタル信号に変換される。デジタル変
換された信号はたとえばASICとして構成される画像
処理回路29に導かれ、そこでホワイトバランス調整、
輪郭補償、ガンマ補正等の画像前処理が行われる。
【0010】画像前処理が行なわれた画像データに対し
てはさらに、JPEG圧縮のためのフォーマット処理
(画像後処理)が行なわれ、その後、その画像データは
バッファメモリ30に一時的に格納される。
【0011】バッファメモリ30に記憶された画像デー
タは、表示画像作成回路31により表示用の画像データ
に処理され、LCD等の外部モニタ32に撮影結果とし
て表示される。また、バッファメモリ30に記憶された
画像データは、圧縮回路33によりJPEG方式で所定
の比率にデータ圧縮を受け、フラッシュメモリ等の記憶
媒体(PCカード)34に記録される。
【0012】図3は上述したように動作するデジタルカ
メラにおける画像処理回路29の詳細を示すブロック図
である。図3はCCD26からの画像データに対してラ
インごとに信号処理するライン処理回路100であり、
上述した画像前処理を行う。このライン処理回路100
は、A/D変換回路28から出力される12ビットの
R、G、B信号に対して後述する各種の信号処理を行な
うものであり、デジタルクランプ回路101と、ゲイン
回路102と、ホワイトバランス回路103と、黒レベ
ル回路104と、γ補正回路105とを有する。
【0013】A/D変換回路28から出力される12ビ
ットのR,G,B信号は、CCD26の出力に対して1
ラインごとに点順次で、欠陥のある画素(そのアドレス
があらかじめ特定されてレジスタにセットされている)
からのデータを補正したのちデジタルクランプ回路10
1に入力される。デジタルクランプ回路101は、CC
D26の出力に対して1ラインごとに点順次で、オプテ
ィカルブラックとして使用する複数の画素データの加重
平均をそのラインの各画素データから減算する。
【0014】ゲイン回路102はホワイトバランス調整
用ゲインを設定する。本実施の形態によるホワイトバラ
ンス調整は、あらかじめ白基準となる被写体を撮像し
て、その画像データに基づいてホワイトバランス調整用
ゲインを算出するプリセット処理と、プリセットしたホ
ワイトバランス調整用ゲインに対して補正を行う微調整
処理とに分けられる。ゲイン回路102は、後述するプ
リセット処理により記憶されているホワイトバランス調
整値を読み出して、微調整処理が必要と判定すれば読み
出した調整値に対して補正を行い、不要と判定すれば補
正をしないでホワイトバランス調整用ゲインをホワイト
バランス回路103に設定する。
【0015】−プリセット処理− 図2のホワイトバランス検出処理回路35は、色温度セ
ンサであるホワイトバランスセンサ35A(図1のホワ
イトバランスセンサ86)と、ホワイトバランスセンサ
35Aからのアナログ信号をデジタル信号とするA/D
変換回路35Bと、デジタル色温度信号に基づいてホワ
イトバランス調整信号を生成するCPU35Cとを含
む。ホワイトバランスセンサ35Aはたとえば赤色Rと
青色Bと緑色Gとにそれぞれ感度を有する複数の光電変
換素子からなり、被写界全体の光像を受光する。CPU
35Cは、複数の光電変換素子の出力に基づいてRゲイ
ンとBゲインを以下に説明する手順で求める。
【0016】プリセット処理は、ホワイトバランス調整
値を決定するために白い被写体を撮像して行う。そし
て、撮像された全領域の画像データの中から、たとえ
ば、焦点検出装置36が焦点検出を行うエリアを中心と
した512×512の領域の画像データを抽出して、R
信号用のホワイトバランス調整用ゲインRgainとB信号
用のホワイトバランス調整用ゲインBgainをたとえば、
次式(1)、(2)により算出する。このとき、512
×512の画素領域上に、たとえば、図4に示すように
カラーフィルタが配置されている場合、R、G、B信号
の平均値を(3)〜(5)式で算出し、(1)、(2)
式に示すように、G信号の平均値GaveとR信号の平均
値Raveとの比およびG信号の平均値GaveとB信号の平
均値Baveとの比からホワイトバランス調整用ゲインRg
ainとBgainを算出する。
【0017】
【数1】 Rgain=Gave/Rave (1) Bgain=Gave/Bave (2) ただし、Rave=Rsum/Rpixel数 (3) Gave=Gsum/Gpixel数 (4) Bave=Bsum/Bpixel数 (5)
【0018】算出されたこれらのゲインRgainとBgain
は、レンズ情報入力部38から入力される交換レンズ9
0の焦点距離と露出演算で得られた絞り値とともに、プ
リセットホワイトバランス調整値としてCPU21のレ
ジスタに格納される。このような平均値方式によると、
画像データのR、G、Bの各信号の階調の平均値を求め
たことになり、経験的にホワイトバランスの調整結果
(全体的なホワイトバランス)が良好となる。すなわ
ち、画面の平均色温度を白に近づけるようにホワイトバ
ランス調整用のRゲインやBゲインなどの調整値を算出
し、このホワイトバランス調整値に基づいたホワイトバ
ランス調整を行う。
【0019】レンズ情報入力部38から入力されるレン
ズ情報は、交換レンズ90の焦点距離(瞳位置)に関す
るものであり、レンズの焦点距離は図示しないズームス
イッチからの信号により変更され、レンズ内蔵のズーム
エンコーダからの信号によりレンズの焦点距離を認識で
きる。
【0020】−微調整処理− 図5(a)、(b)は、交換レンズ90に入射する平行
光が絞り92を介してCCD26に入射する様子を示す
図である。図5(a)に示すように、一般の交換レンズ
90は、絞り92の設定値を大きくして絞り込むと射出
瞳Paが小さくなり、レンズ91の開口角Aaが狭くな
る。このとき、CCD26に入射される光の入射角Ia
はほとんど変化しないので、CCD26から出力される
R、G、B信号レベルの変化も少ない。
【0021】ところが、図5(b)に示すように絞り9
2の設定値を開放に近づけると射出瞳Pbが大きくな
り、開口角Abが大きくなる。そして、開口角Abの広
がりに応じてCCD26に入射される光の入射角Ibが
変化する。CCD26上に形成されたマイクロレンズの
透過損失が入射角に対して波長依存性をもつとき、ある
いは、CCD26上に図4のように形成されたカラーフ
ィルタの特性が入射角に応じて変化するときは、CCD
26から出力されるR、G、B信号レベルがそれぞれ変
化する。
【0022】したがって、撮影時の交換レンズ90の絞
り値が、プリセットホワイトバランス調整値をCPU2
1のレジスタに格納したときの絞り値と異なるときは、
ホワイトバランス微調整処理が必要になる。すなわち、
絞り92の設定値に応じてCCD26上のマイクロレン
ズおよびカラーフィルタを透過する光のR、G、B成分
の強さが変化するので、変化した分を補正するためにホ
ワイトバランス微調整処理を行う。
【0023】また、交換レンズ90の焦点距離が変わる
と射出瞳の位置が異なるので、この場合もプリセットホ
ワイトバランス調整係数の補正が必要となる。以上説明
したように、ホワイトバランス微調整処理は、レンズ情
報入力部38から入力される交換レンズ90の焦点距離
および露出演算で得られた絞り値に基づいて、プリセッ
トホワイトバランス調整値を補正してホワイトバランス
調整用ゲインを決定する。
【0024】ホワイトバランス微調整処理は次のように
行われる。まず、上述したプリセット処理によりCPU
21のレジスタにあらかじめ格納されているホワイトバ
ランス調整値、およびそのホワイトバランス調整値を決
定したときの交換レンズ90の焦点距離と絞り値を読み
出す。読み出した交換レンズ90の焦点距離と絞り値
を、装着されている交換レンズ90の焦点距離および絞
り値と比較する。両者が一致すると判定されたときは、
読み出したホワイトバランス調整用ゲインをそのままホ
ワイトバランス回路103に設定する。一方、両者が一
致しないと判定されたときは、交換レンズ90の焦点距
離および絞り値に基づいて、あらかじめCPU21のレ
ジスタ内に格納されているホワイトバランス微調整係数
を読み出してプリセットホワイトバランス調整値を補正
する。
【0025】図6(a)は、カメラ本体70に装着される
交換レンズ90の絞り値に対するCCD26から出力さ
れる信号量の変化例を表すグラフであり、図6(b)はそ
の数値をまとめた表である。このデータは、交換レンズ
90の絞り値を変化させてもCCD26が載置される位
置の輝度が一定になるように交換レンズ90への入射光
量を調節して測定したもので、たとえば、焦点検出を行
うエリアを中心とした領域に対応するCCD26の出力
を示したものである。そして、図6(a)のグラフの縦軸
は、絞り値=F8のときにCCD26から出力される値
で基準化して表している。図の例では、交換レンズ90
の絞り92を開放側にすると信号量が減り、その減少量
は光のR、G、B成分により異なる。すなわち、絞り値
がF8より大きいときは各信号量に変化がないが、F
5.6以下ではR、G、Bの信号量がそれぞれ変化する
のでR信号用ホワイトバランス微調整係数rRgainとB
信号用ホワイトバランス微調整係数rBgainを次式
(6)、(7)を用いて算出する。
【0026】
【数2】 rRgain=(PR−XR)・XG/PG (6) rBgain=(PB−XB)・XG/PG (7) ただし、PRはプリセット時の絞り値におけるR成分の
信号量(%)、XRは撮影時の絞り値におけるR成分の信
号量(%)、XGは撮影時の絞り値におけるG成分の信号
量(%)、PGはプリセット時の絞り値におけるG成分の
信号量(%)、PBはプリセット時の絞り値におけるB成
分の信号量(%)、XBは撮影時の絞り値におけるB成分
の信号量(%)である。
【0027】たとえば、ホワイトバランス調整値をプリ
セットした時の絞り値がF8で、撮影時の絞り値がF
1.4の場合のR成分のホワイトバランス微調整係数r
Rgainは、上式(6)と図6(b)より24と求めら
れる。したがって、R成分のプリセットホワイトバラン
ス調整値Rgainを24%高く設定するように補正する。
同様に、B成分のホワイトバランス微調整係数rBgain
は上式(7)と図6(b)より20と求められるので、B成
分のプリセットホワイトバランス調整値Bgainを20%
高く設定するように補正する。補正後のホワイトバラン
ス調整用ゲインは、R成分がRgain×rRgain、B成分
がBgain×rBgainと表すことができる。
【0028】図6(c)は、カメラ本体70に装着される
交換レンズ90の射出瞳の位置に対するCCD26から
出力される信号量の変化の例を表すグラフであり、図6
(d)はその数値をまとめた表である。このデータは、交
換レンズ90の瞳位置を変化させてもCCD26が載置
される位置の輝度が一定になるように交換レンズ90へ
の入射光量を調節して測定したもので、たとえば、焦点
検出を行うエリアを中心とした領域に対応するCCD2
6の出力を示したものである。そして、図6(c)のグラ
フの縦軸は、CCD26の周辺部から出力される信号量
とCCD26の中央部から出力される信号量との比をと
って表している。図の例では、交換ズームレンズ90の
焦点距離を変えると射出瞳の位置が変わり、射出瞳位置
が短くなるとCCD26の中央部に対するCCD26の
周辺部から出力される信号量の比が小さくなる。そし
て、信号量の減少比はR、G、B成分により異なる。す
なわち、射出瞳位置が90mm以上のときは信号量の減
少比の変化がみられないが、85mm以下ではR、G、
Bの信号量の減少比が変化するのでホワイトバランス微
調整係数を次式(8)、(9)を用いて算出する。
【0029】
【数3】 r'Rgain=(P'R−X'R)・X'G/P'G (8) r'Bgain=(P'B−X'B)・X'G/P'G (9) ただし、P'Rはプリセット時の瞳位置において、CCD
26の中央部に対するCCD26の周辺部から出力され
るR成分の信号量の比(%)、X'Rは撮影時の瞳位置にお
いて、CCD26の中央部に対するCCD26の周辺部
から出力されるR成分の信号量の比(%)、X'Gは撮影時
の瞳位置において、CCD26の中央部に対するCCD
26の周辺部から出力されるG成分の信号量の比(%)、
P'Gはプリセット時の瞳位置において、CCD26の中
央部に対するCCD26の周辺部から出力されるG成分
の信号量の比(%)、P'Bはプリセット時の瞳位置におい
て、CCD26の中央部に対するCCD26の周辺部か
ら出力されるB成分の信号量の比(%)、X'Bは撮影時の
瞳位置において、CCD26の中央部に対するCCD2
6の周辺部から出力されるB成分の信号量の比(%)であ
る。補正後のホワイトバランス調整用ゲインは、R成分
がRgain×r'Rgain、B成分がBgain×r'Bgainと表
すことができる。
【0030】ゲイン回路102は、上述したように決定
したホワイトバランス調整用ゲインを、CCD26から
出力されるR,G,B信号の各々に対して1ラインごと
に点順次で、ホワイトバランス調整を行うようにホワイ
トバランス回路103に設定する。絞り値に基づいて補
正したホワイトバランス調整用ゲイン(Rgain×rRgai
n、Bgain×rBgain)を用いてホワイトバランス調整を
行うときは、CCD26から出力される全データに対し
てホワイトバランス調整を行うようにする。
【0031】また、射出瞳の位置に基づいて補正したホ
ワイトバランス調整用ゲインによるホワイトバランス調
整は次のようにして行う。CCD26の周辺部から出力
される画像データについては補正したホワイトバランス
調整用ゲイン(Rgain×r'Rgain、Bgain×r'Bgain)
を用いてホワイトバランス調整を行う。CCD26のそ
の他の部分から出力される画像データについては、プリ
セットホワイトバランス調整用ゲイン(Rgain、Bgain)
を用いてホワイトバランス調整を行う。CCD26の周
辺部とは、CCD26上の撮像面において、レンズ91
の光軸を中心とした所定の円の外側部分とする。
【0032】さらにまた、上述した絞り値に基づいたホ
ワイトバランス調整用ゲインの補正と瞳位置に基づいた
ホワイトバランス調整用ゲインの補正とを同時に行うと
きは、上式(6)と(8)、上式(7)と(9)をそれぞれかけ
合わせてホワイトバランス微調整用係数を算出し、ホワ
イトバランス調整用ゲインを補正する。
【0033】そして、ホワイトバランス調整用ゲインを
設定するとき、使用されるCCD26のばらつきを補正
するためにあらかじめ用意されている所定の補正値によ
る補正も合わせて行う。これらの補正には、G信号に対
する感度のばらつき補正とR,B信号に対する感度比の
ばらつき補正とがある。したがって、ホワイトバランス
調整用ゲインは、R成分については(1)式×(6)式×
(8)式×(G信号に対する感度比のばらつき補正)、B成
分については(2)式×(7)式×(9)式×(G信号に対す
る感度比のばらつき補正)となる。
【0034】ホワイトバランス回路103は、ゲイン回
路102で設定されたホワイトバランス調整用ゲインで
あるRゲインとBゲインをR,B信号にかけ合わせる。
黒レベル回路104は、CCD26の出力に対して1ラ
インごとに点順次で、あらかじめ決定されてCPU21
のレジスタに格納されている値をR,G,B信号に対し
て加算する。γ補正回路105は、CCD26の出力に
対して1ラインごとに点順次で、階調ルックアップテー
ブルを用いてγ補正を行なう。
【0035】次に、図7を参照して焦点検出装置36の
構成およびこの焦点検出装置36による焦点検出動作の
原理について説明する。焦点検出装置36は、赤外光カ
ットフィルタ700、視野マスク900、フィールドレ
ンズ300、開口マスク400、再結像レンズ501お
よび502、そしてイメージセンサ310などで構成さ
れる。領域800はレンズ91(図1)の射出瞳であ
る。また、領域801、802は、開口マスク400に
穿設される開口部401、402をフィールドレンズ3
00によって領域800上に逆投影した像の存在する領
域である。なお、赤外光カットフィルタ700の位置は
視野マスク900の右側でも左側でも構わない。領域8
01、802を介して入射した光束は、撮像装置等価面
600上で焦点を結んだ後、赤外光カットフィルタ70
0、視野マスク900、フィールドレンズ300、開口
部401、402および再結像レンズ501、502を
通りイメージセンサアレイ310a、310b上に結像
する。
【0036】これらイメージセンサアレイ310a、3
10b上に結像した一対の被写体像は、レンズ91が撮
像装置等価面600よりも前(被写体側)に被写体の鮮
鋭像を結ぶいわゆる前ピン状態では互いに近づき、逆に
撮像装置等価面600よりも後に被写体の鮮鋭像を結ぶ
いわゆる後ピン状態では互いに遠ざかる。そして、イメ
ージセンサアレイ310a、310b上に結像した被写
体像が所定の間隔となるときに被写体の鮮鋭像は撮像装
置等価面600上に位置する。したがってこの一対の被
写体像をイメージセンサアレイ310a、310bで光
電変換して電気信号に換え、これらの信号を演算処理し
て一対の被写体像の相対距離を求めることによりレンズ
91の焦点調節状態、つまりレンズ91により鮮鋭な像
が形成される位置が、撮像装置等価面600に対してど
の方向にどれだけ離れているか、つまりずれ量が求めら
れる。図7において焦点検出領域は、イメージセンサア
レイ310a、310bが再結像レンズ501、502
によって逆投影されて、撮像装置等価面600の近傍で
重なった部分に相当する。こうして上記撮影画面内の焦
点検出領域について焦点を検出する。
【0037】焦点検出装置36は焦点検出領域の焦点を
検出したのち、この焦点検出データによりレンズ91を
合焦位置へ駆動する。なお、焦点検出装置36で選択さ
れた領域を中心とした512×512の画像データを利
用して、前述したプリセットホワイトバランス調整値R
gainとBgainを算出する。
【0038】このように構成されたデジタルスチルカメ
ラの動作について説明する。図8は、半押しスイッチで
起動されるプログラムを示すフローチャートである。図
8において、半押しスイッチ22が操作されるとステッ
プS20で測光装置37により被写体の輝度を測定して
露出演算し、焦点検出装置36により焦点検出領域の焦
点調節状態を検出する。ステップS21Aにおいて、レ
ンズ情報入力部38から出力されている交換レンズ90
の焦点距離および露出演算で得られた絞り値に基づい
て、上述したようにホワイトバランス微調整係数を決定
する。続いて、CPU21のレジスタ内に格納されてい
るホワイトバランス調整値をホワイトバランス微調整係
数を用いて補正する(ステップS21B)。ステップS
22において全押しスイッチ23が操作されたと判断さ
れると、クイックリターンミラーが跳ね上がり、図8に
示す撮影シーケンスのプログラムが実行される。ステッ
プS23では、CCD26の各画素が受光信号を蓄積
し、蓄積終了後、全画素の蓄積電荷を順次に読み出す。
ステップS24において、読み出された画像データはア
ナログ信号処理回路27で処理された後、A/D変換回
路28でデジタル画像データに変換され、画像処理回路
29に入力される。次にステップS25に進み、上述し
たホワイトバランス調整、γ階調補正、JPEGフォー
マット化処理などが画像処理回路29で行なわれる。画
像処理が終了するとステップS26に進み、画像処理後
の画像データをいったんバッファメモリ30に記憶す
る。ステップS27において、バッファメモリ30から
画像データを読み込んでJPEG圧縮回路33でデータ
を圧縮する。ステップS28では、圧縮した画像データ
をPCカード34に記憶する。
【0039】この実施の形態の作用効果について説明す
る。 (1)あらかじめ決定したプリセットホワイトバランス
調整値であるRゲインおよびBゲインを、プリセットホ
ワイトバランス調整値を決定した時の交換レンズ90の
焦点距離と絞り値とともに記憶するようにした。そし
て、撮影時にプリセットホワイトバランス調整値ととも
にその焦点距離と絞り値を読み出し、装着されている交
換レンズ90の焦点距離と絞り値と比較して、これらの
値が一致しているときはプリセットホワイトバランス調
整値を用いてホワイトバランス調整を行う。異なってい
るときは交換レンズ90の焦点距離と絞り値に基づい
て、あらかじめCPU21内に格納されているホワイト
バランス微調整係数を読み出してプリセットホワイトバ
ランス調整値を補正する。したがって、異なる焦点距離
や絞り値で撮影する場合において、あらかじめ決定され
ているプリセットホワイトバランス調整値の調整不良が
発生しても、色かぶり画像が発生することが防止され
る。
【0040】上述したホワイトバランス微調整係数は、
ホワイトバランスに影響が出ない範囲内において交換レ
ンズ90の焦点距離のみ、あるいは絞り値のみに基づい
て決めてもよい。
【0041】また、ホワイトバランス微調整係数は、交
換レンズ90の種類ごとに、レンズの光学特性データに
基づいた補正情報としてCPU21内に格納するように
すれば、撮影画面の周辺部にレンズの収差によるホワイ
トバランスの調整不良が発生する場合にも、このレンズ
収差に対する補正をホワイトバランス微調整係数に含め
て行うことができる。この結果、格納された補正情報に
基づいてプリセットホワイトバランス調整値を補正する
ことができるので、焦点距離および絞り値に対する補正
とレンズ収差に対する補正を同時に行うことができる。
すなわち、同一の焦点距離と絞り値であっても装着され
る交換レンズ90ごとにホワイトバランス微調整係数を
異なる値とするのが好ましい。
【0042】以上の発明の実施の形態ではデジタルスチ
ルカメラについて説明したが、ライン処理回路100を
ソフトウエハエアの形態でCD−ROMやフロッピデイ
スクなどの記憶媒体に画像処理プログラムとして格納
し、パソコンで画像処理する際に使用することもでき
る。この場合、CCD26で撮像してデジタル化された
画像データを大容量の画像データ用記憶媒体に記憶し、
この記憶媒体をパソコンにセットして画像データを取込
んだ上で、上記画像処理プログラムにより上述のような
ライン処理を行うようにする。たとえば、図3におい
て、黒レベル回路104の出力データを生データとして
PCカード34に記憶し、そのPCカード34をパソコ
ンにセットして生データの画像処理を行なうことができ
る。
【0043】上述したようにパソコン上で画像処理する
際、上記画像データ用記憶媒体に記憶された画像データ
が既にホワイトバランス調整を施されている場合には、
ホワイトバランス微調整処理だけを行なうようにプログ
ラムを作成する。この場合、上記画像データ用記憶媒体
には、交換レンズ90の焦点距離と絞り値も合わせて記
憶しておき、上記パソコン上で画像処理を行う際にホワ
イトバランス微調整処理を行うための情報として使用す
る。一方、上記画像データ用記憶媒体に記憶された画像
データがホワイトバランス調整を施されていない場合に
は、ホワイトバランス調整処理とホワイトバランス微調
整処理を行なうようにプログラムを作成する。その場
合、画像データ用記憶媒体にはCCD26からの撮像デ
ータとホワイトバランスセンサ35Aで検出した被写体
の色温度情報もしくは、この色温度情報に基づいて算出
されたプリセットホワイトバランス調整値、さらに上述
した交換レンズ90の焦点距離と絞り値も合せて記憶し
ておき、これらのデータに基づいたホワイトバランス調
整処理を行なう。
【0044】以上の説明では、一眼レフデジタルスチル
カメラについて説明したが、レンズに絞りを設けている
場合は、レンズ交換ができないデジタルスチルカメラ、
動画像も取込めるデジタルビデオカメラにも本発明を適
用できる。
【0045】特許請求の範囲における各構成要素と、発
明の実施の形態における各構成要素との対応について説
明すると、交換ズームレンズ90が撮影レンズに、CP
U21がホワイトバランス微調整係数設定手段とホワイ
トバランス微調整演算手段にそれぞれ対応する。
【0046】
【発明の効果】以上詳細に説明したように本発明では、
撮影レンズの光学特性が変更されるのに応じてその光学
特性に基づいたホワイトバランス調整を行うようにし、
たとえば、あらかじめ決定したホワイトバランス調整値
に対して撮影レンズの瞳位置および絞り値の少なくとも
一方を含むレンズ撮影条件に基づいて微調整を施すこと
によりホワイトバランス微調整を行うようにした。この
結果、あらかじめホワイトバランス調整値を決定したと
きの撮影レンズの撮影条件が、撮影時に変更されること
により生じるホワイトバランス調整誤差による色かぶり
現象を十分に抑制することができる。また、同様な処理
を記憶した記憶媒体を用いてパソコン上で画像処理を行
うことにより、上述した処理と同様に色かぶり現象を十
分に抑制することができる。
【図面の簡単な説明】
【図1】一眼レフデジタルスチルカメラの一実施の形態
の構成を示す図
【図2】一眼レフデジタルスチルカメラの信号処理系統
の一実施の形態を示すブロック図
【図3】図2に示した信号処理系統のうちライン処理を
行なう回路を説明するブロック図
【図4】CCD上に設けられたカラーフィルタの配列を
示す図
【図5】撮影レンズに入射する平行光が絞りを介してC
CDに入射する様子を示す図
【図6】(a)交換レンズの絞り値に対するCCDから
出力される信号量の変化を表すグラフ、(b)上記の数
値例を示す図、(c)交換レンズの射出瞳の位置に対す
るCCDの中央部から出力される信号量と周辺部から出
力される信号量との比を表すグラフ、(d)上記の数値
例を示す図
【図7】焦点検出装置を説明する図
【図8】半押しスイッチで起動されるプログラムを示す
フローチャート
【符号の説明】
21…CPU、22…半押しスイッチ、23…全押しス
イッチ、26…CCD、29…画像処理回路、33…J
PEG圧縮回路、35…ホワイトバランス検出処理回
路、35A…ホワイトバランスセンサ、36…焦点検出
装置、37…測光装置、38…レンズ情報入力部、73
…CCD、90…交換レンズ、91…撮影レンズ、92
…絞り、100…ライン処理回路、102…ゲイン回
路、103…ホワイトバランス回路、PaおよびPb…
射出瞳、AaおよびBb…開口角、IaおよびIb…入
射角
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C065 AA03 BB02 BB11 BB12 BB23 CC01 DD02 EE01 EE02 EE06 EE13 EE16 FF02 FF03 GG15 GG17 GG18 GG30 GG32 GG49 5C066 AA01 BA13 BA17 CA05 CA13 EA03 EA14 EC05 GA01 GB01 KA12 KE09 KE19 KM02 KM05 KM13 LA02

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】撮影レンズを通過する被写体像を撮像して
    画像データを出力する撮像装置と、前記撮像装置から出
    力される画像データに対してホワイトバランス調整を行
    うホワイトバランス調整回路とを備えたデジタルカメラ
    において、 前記ホワイトバランス調整回路は、前記撮影レンズの光
    学特性が変更されるのに応じ、その光学特性に基づいた
    ホワイトバランス調整を行うことを特徴とするデジタル
    カメラ。
  2. 【請求項2】撮影レンズを通過する被写体像を撮像して
    画像データを出力する撮像装置と、前記撮像装置から出
    力される画像データに対してホワイトバランス調整値に
    基づいてホワイトバランス調整を行うホワイトバランス
    調整回路とを備えたデジタルカメラにおいて、 前記撮影レンズの瞳位置および絞り値の少なくとも一方
    を含むレンズ撮影条件に基づいてホワイトバランス微調
    整係数を設定するホワイトバランス微調整係数設定手段
    と、 前記ホワイトバランス微調整係数設定手段で設定された
    ホワイトバランス微調整係数を用い、あらかじめ決定し
    たホワイトバランス調整値に対し微調整を行うホワイト
    バランス微調整演算手段とを備えることを特徴とするデ
    ジタルカメラ。
  3. 【請求項3】請求項2に記載のデジタルカメラにおい
    て、 前記ホワイトバランス微調整係数設定手段は、あらかじ
    め前記ホワイトバランス調整値を決定したときの前記撮
    影レンズの瞳位置および絞り値の少なくとも一方を含む
    レンズ撮影条件と、撮影時の前記撮影レンズの瞳位置お
    よび絞り値の少なくとも一方を含むレンズ撮影条件とに
    基づいてホワイトバランス微調整係数を設定することを
    特徴とするデジタルカメラ。
  4. 【請求項4】請求項2または3に記載のデジタルカメラ
    において、 前記ホワイトバランス微調整係数設定手段は、前記撮影
    レンズの瞳位置および絞り値の少なくとも一方を含むレ
    ンズ撮影条件に対応して記憶したホワイトバランス微調
    整係数を、撮影時の前記撮影レンズの瞳位置および絞り
    値の少なくとも一方を含むレンズ撮影条件に基づいて読
    み出すことを特徴とするデジタルカメラ。
  5. 【請求項5】請求項2〜4のいずれかに記載のデジタル
    カメラにおいて、 前記ホワイトバランス微調整係数設定手段は、前記撮像
    装置のマイクロレンズへ入射する被写体光の入射角度に
    依存したホワイトバランス微調整係数を設定することを
    特徴とするデジタルカメラ。
  6. 【請求項6】撮影レンズの瞳位置および絞り値の少なく
    とも一方を含むレンズ撮影条件に基づいてホワイトバラ
    ンス微調整係数を設定するホワイトバランス微調整係数
    設定処理と、 あらかじめ決定されたホワイトバランス調整値を前記ホ
    ワイトバランス微調整係数により微調整するホワイトバ
    ランス微調整演算処理と、 撮像装置で撮像された画像データに対して、前記微調整
    演算処理で微調整されたホワイトバランス調整値に基づ
    いてホワイトバランス調整を施すホワイトバランス調整
    処理とを行うプログラムが格納されていることを特徴と
    する画像信号処理用記憶媒体。
  7. 【請求項7】撮影レンズの瞳位置および絞り値の少なく
    とも一方を含むレンズ撮影条件に基づいてホワイトバラ
    ンス微調整係数を設定するホワイトバランス微調整係数
    設定処理と、 撮像装置で撮像されてホワイトバランス調整された後の
    画像データに対して、前記ホワイトバランス微調係数に
    基づいてホワイトバランス微調整を行うホワイトバラン
    ス微調整処理とを行うプログラムが格納されていること
    を特徴とする画像信号処理用記憶媒体。
  8. 【請求項8】請求項6または7に記載の画像信号処理用
    記憶媒体において、 前記ホワイトバランス微調整係数設定処理は、前記撮影
    レンズの瞳位置および絞り値の少なくとも一方を含むレ
    ンズ撮影条件に対応して記憶したホワイトバランス微調
    整係数を、前記画像を撮影した時の前記撮影レンズの瞳
    位置および絞り値の少なくとも一方を含むレンズ撮影条
    件に基づいて読み出してホワイトバランス微調整係数の
    設定を行うことを特徴とする画像信号処理用記憶媒体。
JP04145199A 1999-02-19 1999-02-19 デジタルカメラおよびコンピュータ読み取り可能な記録媒体 Expired - Lifetime JP4337161B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04145199A JP4337161B2 (ja) 1999-02-19 1999-02-19 デジタルカメラおよびコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04145199A JP4337161B2 (ja) 1999-02-19 1999-02-19 デジタルカメラおよびコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2000244930A true JP2000244930A (ja) 2000-09-08
JP4337161B2 JP4337161B2 (ja) 2009-09-30

Family

ID=12608756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04145199A Expired - Lifetime JP4337161B2 (ja) 1999-02-19 1999-02-19 デジタルカメラおよびコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP4337161B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025339A (ja) * 2004-07-09 2006-01-26 Canon Inc 撮像装置及び撮像方法
US7148928B2 (en) 2001-09-05 2006-12-12 Minolta Co., Ltd. Camera body and interchangeable lens of a digital camera with image-dependent color compensation
US7494293B2 (en) 2005-01-05 2009-02-24 Hoya Corporation Digital single-lens reflex camera
US7580061B2 (en) 2004-01-26 2009-08-25 Olympus Corporation Image sensing apparatus which determines white balance correction information before photographing
JP2009206906A (ja) * 2008-02-28 2009-09-10 Sanyo Electric Co Ltd 電子カメラ
US8284272B2 (en) 2008-02-28 2012-10-09 Sanyo Electric Co., Ltd. Electronic camera
WO2012176557A1 (ja) * 2011-06-22 2012-12-27 株式会社日立国際電気 テレビジョンカメラ装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6041561B2 (ja) 2012-07-19 2016-12-07 キヤノン株式会社 画像処理装置およびその制御方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148928B2 (en) 2001-09-05 2006-12-12 Minolta Co., Ltd. Camera body and interchangeable lens of a digital camera with image-dependent color compensation
US7580061B2 (en) 2004-01-26 2009-08-25 Olympus Corporation Image sensing apparatus which determines white balance correction information before photographing
CN101202929B (zh) * 2004-01-26 2010-09-15 奥林巴斯株式会社 摄像装置
CN1649418B (zh) * 2004-01-26 2011-04-20 奥林巴斯株式会社 摄像装置
JP2006025339A (ja) * 2004-07-09 2006-01-26 Canon Inc 撮像装置及び撮像方法
JP4666964B2 (ja) * 2004-07-09 2011-04-06 キヤノン株式会社 撮像装置及び撮像方法
US7494293B2 (en) 2005-01-05 2009-02-24 Hoya Corporation Digital single-lens reflex camera
JP2009206906A (ja) * 2008-02-28 2009-09-10 Sanyo Electric Co Ltd 電子カメラ
US8284272B2 (en) 2008-02-28 2012-10-09 Sanyo Electric Co., Ltd. Electronic camera
WO2012176557A1 (ja) * 2011-06-22 2012-12-27 株式会社日立国際電気 テレビジョンカメラ装置
US8860842B2 (en) 2011-06-22 2014-10-14 Hitachi Kokusai Electric, Inc. Television camera

Also Published As

Publication number Publication date
JP4337161B2 (ja) 2009-09-30

Similar Documents

Publication Publication Date Title
JP4973273B2 (ja) デジタルカメラ
JP4687492B2 (ja) カメラ、撮像方法、露出演算装置およびプログラム
JP4366768B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP4487342B2 (ja) デジタルカメラ
JP4337161B2 (ja) デジタルカメラおよびコンピュータ読み取り可能な記録媒体
JP5178396B2 (ja) 撮像装置
JP2000069488A (ja) デジタルカメラおよび画像信号処理用記憶媒体
JP4106774B2 (ja) デジタルカメラ
JP4816337B2 (ja) 画像補正装置、カメラ及び画像補正プログラム
JP4793141B2 (ja) 画像補正装置、カメラ及び画像補正用プログラム
JP2000156874A (ja) デジタルカメラ
JP2000333076A (ja) デジタルカメラにおけるフレア成分除去方法
JP2004159051A (ja) 手ぶれ補正装置及び撮像装置
JP5440585B2 (ja) デジタルカメラ
JP4816363B2 (ja) 補正要否判定装置、カメラ及び補正要否判定プログラム
JP5597942B2 (ja) 電子カメラ
JP2001136546A (ja) 電子カメラ
JP4281134B2 (ja) デジタルカメラ
JP5076265B2 (ja) 電子カメラ
JP2018013794A (ja) 撮像装置
JP2002287013A (ja) 自動焦点装置及び合焦方法、プログラム
JP2007306064A (ja) 撮像装置
JP4816400B2 (ja) カメラ及び画像補正装置
JP4905225B2 (ja) 撮像装置
JP2006325067A (ja) 撮像装置、撮像装置の制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080905

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090622

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150710

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150710

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150710

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term