JP2003224863A - ホワイトバランス制御方法及びデジタルカメラ - Google Patents

ホワイトバランス制御方法及びデジタルカメラ

Info

Publication number
JP2003224863A
JP2003224863A JP2002020739A JP2002020739A JP2003224863A JP 2003224863 A JP2003224863 A JP 2003224863A JP 2002020739 A JP2002020739 A JP 2002020739A JP 2002020739 A JP2002020739 A JP 2002020739A JP 2003224863 A JP2003224863 A JP 2003224863A
Authority
JP
Japan
Prior art keywords
value
light source
color
white balance
control value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002020739A
Other languages
English (en)
Other versions
JP3903093B2 (ja
Inventor
Manabu Hyodo
学 兵藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002020739A priority Critical patent/JP3903093B2/ja
Publication of JP2003224863A publication Critical patent/JP2003224863A/ja
Application granted granted Critical
Publication of JP3903093B2 publication Critical patent/JP3903093B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【課題】 ストロボが発光されない状態の撮影でも適正
にホワイトバランス制御を行うことができるホワイトバ
ランス制御方法及びデジタルカメラを提供する。 【解決手段】 ストロボ発光しない場合には、デーライ
ト光用のホワイトバランスゲインを掛けたR,G,Bの
積算値から色分布を求めて環境光源の色に関する評価値
Fc()を求める(ステップS12〜S22)。環境光
源の輝度に関する評価値Fy()を求め(ステップS1
0,S24)、これらの評価値から環境光源の評価値H
jを求める(ステップS26)。所定閾値以上のHj
ら、デーライト光と環境光源とを混合した混合光源の色
が白色となるようにホワイトバランス制御するためのホ
ワイトバランスゲインを算出し、このゲインが、デーラ
イト光用のホワイトバランスゲインとの間の値で、かつ
環境光源に適した値となるように調整される(ステップ
S30,S32)。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はホワイトバランス制
御方法及びデジタルカメラに係り、特に、ストロボ光を
発光しないで撮像する場合に、光源に応じて適正なホワ
イトバランス制御を行うためのホワイトバランス制御方
法及びデジタルカメラに関する。
【0002】
【従来の技術】従来より、デジタルカメラでは、光源の
色温度に関わらず、白い被写体が白く色再現されるよう
にホワイトバランスを調整することが行われている。例
えば、特許第3110896号には、撮像画像のR,
G,Bの各信号のばらつきが一定となるように各信号を
補正し、補正した信号に対してホワイトバランス調整す
る技術が記載されている。
【0003】また、特開平9−322191号公報に
は、ストロボが発光しない状態で予備露光することによ
り外光の色温度情報を取得してホワイトバランス制御値
を決定し、これと予め定めたストロボ光のホワイトバラ
ンス制御値との比例配分からストロボ発光時のホワイト
バランス制御値を決定し、本露光の際に、この制御値に
従ってストロボ発光時のホワイトバランスを制御する装
置が記載されている。
【0004】
【発明が解決しようとする課題】しかしながら、上記従
来技術では、被写体の明るさを考慮せずに光源を特定し
ているため、正確に光源を特定できない場合がある、と
いう問題があった。
【0005】また、特開平9−322191号公報に記
載された技術では、予備露光でストロボが発光しない場
合の色温度情報を検出するため、撮像素子であるCCD
から信号が読み出されるときに光の影響で発生するスミ
アの影響により、ストロボ光が発光しない場合の色温度
を正確に検出できない場合がある、という問題があっ
た。これを解決するためには、例えば本露光の時だけで
なく予備露光の時もスミアの影響をなくすためのメカニ
カルシャッタを作動させる必要があるため、撮像シーケ
ンスが複雑になる、という問題がある。
【0006】また、緑色をした木の葉のように、無彩色
を含まない有彩色の被写体を撮影した場合には、光源の
色を正確に検出することができず、撮影した画像から得
られた色情報から光源の色を検出し、該検出した光源の
色に応じたホワイトバランス制御を行うと、被写体の補
色に色回りしてしまうカラーフェリアが起こり、この場
合は緑色の木の葉が枯れたような色になってしまう、と
いった問題もある。
【0007】本発明は、上記事実を考慮してなされたも
のであり、ストロボ発光されない様態での撮影において
適正にホワイトバランス制御を行うことができるホワイ
トバランス制御方法及びデジタルカメラを提供すること
を目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の発明は、被写体を撮像したときの撮
像画像の輝度レベルを検出するステップと、ストロボ光
が発光されない状態での前記撮像画像の画像データにデ
ーライト光を基準光源として該基準光源の色が予め定め
た所定色となるようにホワイトバランス制御を行うため
の基準制御値を乗算するステップと、前記撮像画像を複
数のエリアに分割し、各エリアに属する前記基準制御値
が乗算された画像データから各々色情報を取得するステ
ップと、取得したエリアごとの色情報に基づいて、各エ
リアの色分布を検出するステップと、検出した前記輝度
レベル及び前記色分布に基づいて環境光源を定めるステ
ップと、前記環境光源の色が前記所定色となるようにホ
ワイトバランス制御を行うための制御値を算出するステ
ップと、前記制御値が、前記制御値と前記基準制御値と
の間の値で、かつ前記環境光源に適した値となるよう
に、前記制御値を調整するステップと、を含むことを特
徴とする。
【0009】この発明によれば、被写体を撮像したとき
の撮像画像の輝度レベルを検出する。輝度レベルは、例
えば撮像画像のR,G,Bの各色データから求めること
ができるが、専用のセンサで検出してもよい。
【0010】ストロボ光が発光されない状態での撮像画
像の画像データに、デーライト(晴れ)光を基準光源と
して該基準光源の色が予め定めた所定色、例えば白色と
なるようにホワイトバランス制御を行うための基準制御
値を乗算する。すなわち、撮像画像の画像データを、デ
ーライト光を光源とした場合のホワイトバランス制御が
施された画像データに補正する。
【0011】そして、撮像画像を複数のエリアに分割
し、各エリアに属する基準制御値が乗算された画像デー
タから各々色情報を取得する。色情報は、例えばエリア
内のR、G、B信号の比R/G、B/Gとすることがで
きる。
【0012】この取得したエリアごとの色情報に基づい
て、各エリアの色分布を検出する。色分布は、例えば各
エリアを予め定めた複数の環境光源に対応した色分布の
範囲を示す検出枠に当てはめ、各々の検出枠に当てはま
るエリアの個数を求めることにより得ることができる。
検出枠は、例えばR/Gの範囲とB/Gの範囲とによっ
て定められた枠とすることができる。
【0013】次に、検出した輝度レベル及び色分布に基
づいて環境光源を定める。色分布は、基準制御値が乗算
された画像データから取得された色情報から求められて
いるため、環境光源を定めることができる。環境光源と
は、撮影時の周囲の光源をいい、例えば蛍光灯、電球等
の光源をいう。環境光源は、例えば予め定めた複数の環
境光源の各々に対応して設けられた所定式によって算出
された環境光源らしさの度合いを表す評価値に基づいて
定めることができる。所定式は、例えば輝度レベルや、
色分布、すなわち各検出枠に当てはまるエリアの個数等
から環境光源らしさの度合いを表す評価値を算出する式
によって定めることができる。
【0014】このように、色分布だけでなく輝度レベル
を考慮して環境光源を定めるため、環境光源を正確に定
めることができる。また、色分布は、ストロボ光が発光
されない状態での本撮影による撮像画像の画像データか
ら求めることができ、撮像シーケンスを複雑にすること
なく環境光源を正確に定めることができる。
【0015】そして、環境光源の色が所定色となるよう
にホワイトバランス制御を行うための制御値を算出す
る。この制御値は、例えば請求項2にも記載したよう
に、予め定めた複数の環境光源の各々に対応して設けら
れた所定式によって算出された環境光源らしさの度合い
を表す評価値が、予め定めた所定閾値以上であるか否か
を判別するステップと、前記所定閾値以上の評価値に各
々対応した対応制御値を算出するステップと、前記所定
閾値以上の評価値を重みとした前記対応制御値の加重平
均値を前記制御値として算出するステップと、によって
算出することができる。
【0016】すなわち、環境光源らしさの度合いを表す
評価値が所定閾値以上のものが環境光源である確率が高
いと判断し、所定閾値以上であると判断された環境光源
の各々に対応する対応制御値を求め、これらの加重平均
値を制御値とする。これにより、バランスよく制御値を
定めることができる。
【0017】そして、最終的な制御値は、この制御値と
基準制御値との間の値で、かつ環境光源に適した値とな
るように調整される。この調整の度合いは、カラーフェ
リアの発生を抑制するための実験等から得られた経験値
によって定められる。このように、環境光源に適した値
となるように制御値が調整されるため、適正にホワイト
バランス制御することができる。なお、制御値の調整
は、環境光源の種類に拘わらず一律に調整してもよい
し、環境光源の種類に応じて個別に調整してもよい。
【0018】上記のホワイトバランス制御方法は、請求
項3に記載したように、ストロボ光を発光可能なデジタ
ルカメラにおいて、被写体を撮像したときの撮像画像の
輝度レベルを検出する輝度レベル検出手段と、前記スト
ロボ光が発光されない状態での前記撮像画像の画像デー
タに、前記デーライト光を基準光源として該基準光源の
色が予め定めた所定色となるようにホワイトバランス制
御を行うための基準制御値を乗算する乗算手段と、前記
撮像画像を複数のエリアに分割し、各エリアに属する前
記基準制御値が乗算された画像データから各々色情報を
取得する取得手段と、取得したエリアごとの色情報に基
づいて、各エリアの色分布を検出する色分布検出手段
と、検出した前記輝度レベル及び前記色分布に基づいて
環境光源を定める設定手段と、前記環境光源の色が前記
所定色となるようにホワイトバランス制御を行うための
制御値を算出する算出手段と、前記制御値が、前記制御
値と前記基準制御値との間の値で、かつ前記環境光源に
適した値となるように、前記制御値を調整する調整手段
と、を含むことを特徴とするデジタルカメラにより実現
できる。
【0019】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例について詳細に説明する。
【0020】図1は本発明に係るデジタルカメラの背面
図であり、図2はカメラ上面に設けられたモードダイヤ
ルの平面図である。
【0021】図2に示すようにモードダイヤル1は、ダ
イヤル上のアイコン1A〜1FがマークMに合うように
回転させることにより、複数段階の露出で撮影する連写
/ブラケティングモード、絞りやシャッタースピードを
各々設定可能なマニュアル撮影モード、様々な被写体の
撮影に適したオート撮影モード、人物を撮影する場合に
適した人物モード、風景を撮影する場合に適した風景モ
ード、及び夜景を撮影する場合に適した夜景モード等の
撮影モードに設定できるようになっている。なお、図2
上では、風景モードが設定されている。
【0022】また、これらの撮影モードの他に、絞り及
びシャッタスピードの組み合わせを選択できるP(プロ
グラム)モード、絞りを選択でき、シャッタースピード
が自動的に選択されるA(絞り優先)モード、シャッタ
ースピードを選択でき、絞りが自動的に選択されるS
(シャッタースピード優先)モード等の撮影モードを設
定することができる。さらに、各撮影モードについて、
自動的にストロボ発光するオートモード、人物を撮影し
た場合に赤目になるのを軽減するための赤目軽減モー
ド、ストロボ光を強制発光させるストロボ強制発光モー
ド、ストロボ光を発光すると共にシャッタースピードを
長めにして人物と夜景とをバランスよく撮影するための
スローシンクロモード等のストロボモードを設定するこ
とができる。
【0023】また、モードダイヤル1の中央には、半押
し時にONするスイッチS1と、全押し時にONするス
イッチS2とを有するシャッタボタン2が設けられてい
る。
【0024】このデジタルカメラの背面には、図1に示
すようにファインダ接眼部3、シフトキー4、表示キー
5、撮影モード/再生モード切替えレバー6、キャンセ
ルキー7、実行キー8、マルチファンクションの十字キ
ー9、及び液晶モニタ52が設けられている。
【0025】図3は、図1に示したデジタルカメラの内
部構成を示すブロック図である。
【0026】同図において、撮影レンズ10及び絞り1
2を介して固体撮像素子(CCD)14の受光面に結像
された被写体像は、各センサで光の入射光量に応じた量
の信号電荷に変換される。このようにして蓄積された信
号電荷は、CCD駆動回路16から加えられるリードゲ
ートパルスによってシフトレジスタに読み出され、レジ
スタ転送パルスによって信号電荷に応じた電圧信号とし
て順次読み出される。尚、このCCD14は、蓄積した
信号電荷をシャッタゲートパルスによって掃き出すこと
ができ、これにより電荷の蓄積時間(シャッタスピー
ド)を制御する、いわゆる電子シャッタ機能を有してい
る。
【0027】CCD14から順次読み出された電圧信号
は、相関二重サンプリング回路(CDS回路)18に加
えられ、ここで各画素ごとのR、G、B信号がサンプリ
ングホールドされ、A/D変換器20に加えられる。A
/D変換器20は、CDS回路18から順次加えられる
R、G、B信号を例えば10ビット(0〜1023)の
デジタルのR、G、B信号に変換して出力する。尚、C
CD駆動回路16、CDS回路18及びA/D変換器2
0は、タイミング発生回路(TG)22から加えられる
タイミング信号によって同期して駆動されるようになっ
ている。
【0028】A/D変換器20から出力されたR、G、
B信号は、一旦メモリ24に格納され、その後、メモリ
24に格納されたR、G、B信号は、デジタル信号処理
回路26に加えられる。デジタル信号処理回路26は、
同時化回路28、ホワイトバランス調整回路30、ガン
マ補正回路32、YC信号作成回路34、及びメモリ3
6から構成されている。
【0029】同時化回路28は、メモリ24から読み出
された点順次のR、G、B信号を同時式に変換し、R、
G、B信号を同時にホワイトバランス調整回路30に出
力する。ホワイトバランス調整回路30は、R、G、B
信号のデジタル値をそれぞれ増減するための乗算器30
R、30G、30Bから構成されており、R、G、B信
号は、それぞれ乗算器30R、30G、30Bに加えら
れる。
【0030】乗算器30R、30G、30Bの他の入力
には、中央処理装置(CPU)38からホワイトバラン
ス制御するためのホワイトバランス補正値(ゲイン値)
Rg、Gg、Bgが加えられており、乗算器30R、3
0G、30Bはそれぞれ2入力を乗算し、この乗算によ
ってホワイトバランス調整されたR’、G’、B’信号
をガンマ補正回路32に出力する。尚、CPU38から
ホワイトバランス調整回路30に加えられるホワイトバ
ランス補正値Rg、Gg、Bgの詳細については後述す
る。
【0031】ガンマ補正回路32は、ホワイトバランス
調整されたR’、G’、B’信号が所望のガンマ特性と
なるように入出力特性を変更し、また、10ビットの信
号が8ビットの信号となるように変更し、YC信号作成
回路34に出力する。YC信号作成回路34は、ガンマ
補正されたR、G、B信号から輝度信号Yとクロマ信号
Cr、Cbとを作成する。これらの輝度信号Yとクロマ
信号Cr、Cb(YC信号)は、メモリ24と同じメモ
リ空間のメモリ36に格納される。
【0032】ここで、メモリ36内のYC信号を読み出
し、液晶モニタ52に出力することにより動画又は静止
画を液晶モニタ52に表示させることができる。また、
撮影後のYC信号は、圧縮/伸長回路54によって所定
のフォーマットに圧縮されたのち、記録部56にてメモ
リカードなどの記録媒体に記録される。更に、再生モー
ド時にはメモリカードなどに記録されている画像データ
が圧縮/伸長回路54によって伸長処理された後、液晶
モニタ52に出力され、液晶モニタ52に再生画像が表
示されるようになっている。
【0033】CPU38は、図1に示したモードダイヤ
ル1、シャッタボタン2等を含むカメラ操作部40から
の入力に基づいて各回路を統括制御するとともに、オー
トフォーカス、自動露光制御、オートホワイトバランス
等の制御を行う。このオートフォーカス制御は、例えば
G信号の高周波成分が最大になるように撮影レンズ10
を移動させるコントラストAFであり、シャッタボタン
2の半押し時にG信号の高周波成分が最大になるように
駆動部42を介して撮影レンズ10を合焦位置に移動さ
せる。
【0034】また、CPU38には、EV値などの各種
データを記憶するためのメモリ39、ストロボ光を発光
するためのストロボ46が接続されており、これらを制
御する。
【0035】また、自動露光制御では、図4に示すよう
に予め決めた露出〜にて最大4回R、G、B信号を
取り込み、これらのR、G、B信号を積算した積算値に
基づいて被写体輝度(撮影EV値)を求める。これは、
シャッタボタン2の半押し時に実行される。なお、撮影
EV値を求める処理は、本発明の輝度レベル検出手段に
相当する。
【0036】次に、上記撮影EV値の測定の詳細につい
て説明する。
【0037】図5に示すように、1画面を複数のエリア
(8×8)に分割し、各分割エリアごとにR、G、B信
号から求めた輝度信号を積算し、その積算値に基づいて
各分割エリアのEV値(EVi)を求める。続いて、図
5に示すように撮影モードに対応して各分割エリアのE
V値に重み付けを行い、画面全体のEV’値を次式によ
って算出する。
【0038】
【数1】
【0039】但し、iは、分割エリアの各々を示す添え
字であり、上記の場合、0〜63の値を取り得る。N
は、分割エリア数を示し、上記の場合は8×8=64で
ある。ΔEVisoは、所定の感度(例えばISO20
0)を基準としてEV値補正量であり、感度が変更され
ても、EV’が一定となるように調整するための値であ
る。Wiは、各分割エリアごとの重み係数であり、例え
ば図5に示すように中央重点測光方式の重み係数を用い
る。
【0040】上記のように算出したEV’に対し、更
に、次式に示すように撮影モードに応じた露出補正ΔE
Vを行って撮影EV値を求める。求めた撮影EV値は、
メモリ39に記憶される。
【0041】EV=EV’−ΔEV …(2) なお、ΔEVは、例えば、人物モードの場合にはΔEV
=0、風景モード、夜景モードの場合にはΔEV=0.
3とする。
【0042】上記のようにして求めた撮影EV値に基づ
いて撮影時の絞り値とシャッタスピードを最終的に決定
する。
【0043】そして、シャッタボタンの全押し時に前記
決定した絞り値になるように絞り駆動部44を介して絞
り12を駆動し、また、決定したシャッタスピードとな
るように電子シャッタによって電荷の蓄積時間を制御す
る。
【0044】次に、図6に示すフローチャートを参照し
ながらオートホワイトバランス制御方法について説明す
る。
【0045】図6に示したホワイトバランス制御は、撮
影モードが夜景モード以外の場合で、かつストロボ発光
しないと判断した場合に実行される。
【0046】まず、EV値や撮影モード及びストロボモ
ードからストロボ発光するか否かが判断され、ストロボ
発光される場合は、周知の方法により通常のストロボ発
光時のホワイトバランス制御を行うためのホワイトバラ
ンス補正値Rg、Gg、Bgが設定され、ホワイトバラ
ンス調整回路30に加えられる。
【0047】撮影モードが夜景モードの場合で、かつス
トロボ発光しないと判断された場合には、周知の方法に
よりデーライト光を光源としたストロボ発光しない場合
に適したホワイトバランス制御を行うためのホワイトバ
ランス補正値Rg、Gg、Bgが設定され、ホワイトバ
ランス調整回路30に加えられる。
【0048】そして、撮影モードが夜景モード以外で、
かつストロボ発光しないと判断した場合には、CPU3
8は、シャッタボタンの半押し時に求めた撮影EV値を
メモリ39から読み込む(ステップS10)。
【0049】次に、シャッタボタンの全押し時にストロ
ボ発光なしで撮像された画像のR、G、B信号は一旦メ
モリ24に格納されているが、この1画面を複数のエリ
ア(例えば8×8)に分割し、各分割エリアごとにR、
G、B信号の色別の積算値を積算回路48によって求め
る(ステップS12)。
【0050】R,G,B信号の積算値Rt,Gt,Bt
は、積算回路48とCPU38との間に設けられた乗算
器(乗算手段)50R、50G、50Bに出力され、乗
算器50R、50G、50Bによって予め定められた基
準WB(ホワイトバランス)ゲイン値(基準制御値)R
d,Gd、Bdが掛けられる(ステップS14)。な
お、基準WBゲイン値Rd,Gd、Bdは、予めメモリ
39に記憶されている。
【0051】基準WBゲイン値Rd,Gd,Bdが掛け
られたR,G,B信号の積算値Rt’,Gt’,Bt’
は、CPU38に入力される。
【0052】この基準WBゲイン値Rd,Gd,Bd
は、天気が晴れの場合のように、光源がデーライト光の
場合にホワイトバランスが適正となるように調整するた
めのゲイン値である。
【0053】そして、CPU38は、入力されたR信号
の積算値Rt’とG信号の積算値Gt’との比Rt’/
Gt’、及びB信号の積算値とG信号の積算値との比B
t’/Gt’を求める(ステップS16)。なお、この
処理は、本発明の取得手段に相当する。
【0054】上記のようにして各分割エリアごとに求め
られるRt’/Gt’、Bt’/Gt’は、その分割エ
リアが、図7に示すグラフ上に表された検出枠のうち
の、どの検出枠内に入るかを判別するために使用され
る。なお、図7における各検出枠は、環境光源などの色
分布の範囲を規定するものである。
【0055】図7に示すように、検出枠には、青空検出
枠、日陰−曇り検出枠、昼光色(の蛍光灯)検出枠、緑
検出枠、昼白色(の蛍光灯)検出枠、晴れ検出枠、タン
グステン電球検出枠があり、日陰−曇り検出枠は、日陰
−曇り検出枠CLD1〜CLD4を含み、昼光色検出枠
は、昼光色検出枠EXD1〜EXD4を含み、昼白色検
出枠は、昼白色検出枠EXN1〜EXN4を含み、タン
グステン電球検出枠は、タングステン電球検出枠TNG
1−1〜TNG1−4,TNG2−1〜TNG2−4、
TNG3を含んでいる。
【0056】そして、CPU38は、Rt’/Gt’=
X’、Bt’/Gt’=Y’として、各分割エリアごと
に求められたRt’/Gt’、Bt’/Gt’で表され
る(Xi’、Yi’)が、これらの検出枠のうちの、どの
検出枠内に入るかを判別し、その個数をカウントする
(ステップS18)。このとき、日陰−曇り検出枠内の
個数は、分割エリアのEV値が所定値以下のものについ
てのみカウントし、青空検出枠内の個数は、EV値が所
定値以上のものだけについてカウントする。なお、この
処理は、本発明の色分布検出手段に相当する。
【0057】次に、各検出枠内に存在する(Xi’、
i’)の平均値(Xaj’Yaj’)を求める(ステッ
プS20)。ここで、jは、各検出枠の各々を示す添え
字である。なお、平均値でなく、重心値でもよい。
【0058】次に、各検出枠に対応して設けられたメン
バシップ関数により、色に関する光源らしさ(日陰−曇
りらしさ等)を表す評価値Fc()を算出する(ステッ
プS22)。メンバシップ関数は、検出枠内の個数を変
数として色に関する光源らしさを表す評価値Fc()を
出力する関数である。すなわち、評価値が高ければ、そ
の検出枠に対応する光源(環境光源)の可能性が高くな
る。
【0059】Fc(CLD1)〜Fc(CLD4)は、
図8に示すように、日陰−曇り検出枠内に入る分割エリ
アの個数を変数とした日陰−曇りらしさを表すメンバシ
ップ関数の値である。
【0060】Fc(SKY)は、図9に示すように、青
空検出枠内に入る分割エリアの個数を変数とした青空ら
しさを表すメンバシップ関数の値である。同様に、Fc
(GRN)は、図9に示すように、緑検出枠内に入る分
割エリアの個数を変数とした緑らしさを表すメンバシッ
プ関数の値である。
【0061】Fc(EXD1)〜Fc(EXD4)は、
図10に示すように、昼光色検出枠内に入る分割エリア
の個数を変数とした昼光色の蛍光灯らしさを表すメンバ
シップ関数である。Fc(EXN1)〜Fc(EXN
4)、Fc(TNG1−1)〜Fc(TNG3)は、図
10に示したFc(EXD1)〜Fc(EXD4)と同
様であり、Fc(EXN1)〜Fc(EXN4)は、昼
白色検出枠内に入る分割エリアの個数を変数とした昼白
色の蛍光灯らしさを表すメンバシップ関数の値であり、
Fc(TNG1−1)〜Fc(TNG3)は、タングス
テン電球検出枠内に入る分割エリアの個数を変数とした
昼白色の蛍光灯らしさを表すメンバシップ関数の値であ
る。
【0062】Fc(DAY)は、晴れ検出枠内に入る分
割エリアの個数を変数とした晴れらしさを表すメンバシ
ップ関数の値であり、このメンバシップ関数は、図10
に示す蛍光灯らしさを表すメンバシップ関数と同様であ
る。
【0063】次に、各検出枠に対応して設けられたメン
バシップ関数により、輝度に関する光源らしさ(屋内ら
しさ、屋外らしさ)を表す評価値Fy()を算出する
(ステップS24)。メンバシップ関数は、ステップS
10で取得したEV値を変数として輝度に関する光源ら
しさを表す評価値を出力する関数である。
【0064】Fy(屋外らしさDAY)は、図11に示
すように、EV値を変数としたデーライトの屋外らしさ
を表すメンバシップ関数の値である。
【0065】Fy(屋外らしさCLD)は、図12に示
すように、EV値を変数とした日陰又は曇りの屋外らし
さを表すメンバシップ関数の値である。
【0066】Fy(屋内らしさEXD)、Fy(屋内ら
しさEXN)、Fy(屋内らしさTNG)は、図13に
示すように、それぞれEV値を変数とした昼光色の蛍光
灯の屋内らしさ又は昼白色の蛍光灯の屋内らしさ又はタ
ングステン電球の屋内らしさを表すメンバシップ関数の
値である。
【0067】次に、色に関する光源らしさを表す評価値
及び輝度に関する評価値を表す評価値から各検出枠につ
いて総合的な光源らしさの評価値Hjを求める(ステッ
プS26)。なお、撮影モードが風景モードの場合に
は、H1〜H8、H22についてのみ行う。これは、風景モ
ードの場合は、通常屋外で撮影されるが、屋外の場合に
光源がタングステン電球等である場合は考えられないか
らである。
【0068】評価値H1〜H22は、以下の式によって求
められる。
【0069】 H1(日陰−曇りらしさの評価値)=Fc(CLD1)×Fy(屋外らしさ) ×Fc(SKY) …(3) H2(日陰−曇りらしさの評価値)=Fc(CLD2)×Fy(屋外らしさ) ×Fc(SKY) …(4) H3(日陰−曇りらしさの評価値)=Fc(CLD3)×Fy(屋外らしさ) …(5) H4(日陰−曇りらしさの評価値)=Fc(CLD4)×Fy(屋外らしさ) …(6) H5(昼光色の蛍光灯らしさの評価値)=Fc(EXD1)×Fy(屋内らし さEXD) …(7) H6(昼光色の蛍光灯らしさの評価値)=Fc(EXD2)×Fy(屋内らし さEXD) …(8) H7(昼光色の蛍光灯らしさの評価値)=Fc(EXD3)×Fy(屋内らし さEXD) …(9) H8(昼光色の蛍光灯らしさの評価値)=Fc(EXD4)×Fy(屋内らし さEXD) …(10) H9(昼白色の蛍光灯らしさの評価値)=Fc(EXN1)×Fy(屋内らし さEXN) …(11) H10(昼白色の蛍光灯らしさの評価値)=Fc(EXN2)×Fy(屋内らし さEXN) …(12) H11(昼白色の蛍光灯らしさの評価値)=Fc(EXN3)×Fy(屋内らし さEXN)×Fc(GRN) …(13) H12(昼光色の蛍光灯らしさの評価値)=Fc(EXN4)×Fy(屋内らし さEXN)×Fc(GRN) …(14) H13(タングステン電球らしさの評価値)=Fc(TNG1−1)×Fy(屋 内らしさTNG) …(15) H14(タングステン電球らしさの評価値)=Fc(TNG1−2)×Fy(屋 内らしさTNG) …(16) H15(タングステン電球らしさの評価値)=Fc(TNG1−3)×Fy(屋 内らしさTNG) …(17) H16(タングステン電球らしさの評価値)=Fc(TNG1−4)×Fy(屋 内らしさTNG) …(18) H17(タングステン電球らしさの評価値)=Fc(TNG2−1)×Fy(屋 内らしさTNG) …(19) H18(タングステン電球らしさの評価値)=Fc(TNG2−2)×Fy(屋 内らしさTNG) …(20) H19(タングステン電球らしさの評価値)=Fc(TNG2−3)×Fy(屋 内らしさTNG) …(21) H20(タングステン電球らしさの評価値)=Fc(TNG2−4)×Fy(屋 内らしさTNG) …(22) H21(タングステン電球らしさの評価値)=Fc(TNG3)×Fy(屋内ら しさTNG) …(23) H22(晴れらしさの評価値)=Fc(DAY)×Fy(屋外らしさDAY) …(24) ここで、0≦Fc()、Fy()≦1であるため、0≦
j≦1である。なお、Fc(SKY)、Fc(GR
N)は、図9に示すように、青空検出枠又は緑検出枠内
に入る分割エリアの個数が多い程、日陰−曇りらしさ又
は昼白色検出枠の評価値を下げる方向に作用する値をと
る。
【0070】また、Fy(屋内らしさ)は、図13に示
すように、EV値が高い程、それらの検出枠の評価値を
下げる方向に作用する値をとる。このように、光源らし
さの評価値Hjは、色分布だけでなく輝度も考慮して決
定されるため、適正に光源を特定することが可能とな
る。例えば、蛍光灯が点灯した室内と室外とで同じ色の
被写体を撮影した場合に、色分布のみで光源を特定した
場合には、光源の特定を誤ってしまい、カラーフェリア
が発生してしまう場合がある。
【0071】しかしながら、本実施の形態では、輝度が
低い場合、すなわち室内で撮影されたような場合には、
Fy(室内らしさ)が高くなり、輝度が高い場合、すな
わち室外で撮影されたような場合には、Fy(室内らし
さ)が低くなるため、光源を正確に特定することがで
き、カラーフェリアが発生するのを防ぐことができる。
【0072】そして、上記のように各検出枠に対応した
光源らしさの評価値が算出されると、これらの評価値の
うち予め定めた所定閾値以上の(例えば0.4以上)か
否かを判別する(ステップS28)。そして、評価値が
所定閾値以上のものが存在する場合には、評価値が所定
閾値以上のものを環境光源の候補として選択する。な
お、この処理は、本発明の設定手段に相当する。
【0073】次に、選択された環境光源の各々につい
て、以下の式に従って環境光源の色が白色となるように
ホワイトバランス制御を行うための制御値(ゲイン値)
R、GB、GGを算出する(ステップS30)。なお、
この処理は、本発明の算出手段に相当する。
【0074】 GR={Σ(grj×Hj)/ΣHj}×{Σ(Gj×Hj)/ΣHj} …(25) GB={Σ(gbj×Hj)/ΣHj}×{Σ(Gj×Hj)/ΣHj} …(26) GG=Σ(Gj×Hj)/ΣHj …(27) ここで、上記(25)〜(27)式は、評価値が所定閾
値以上のものについて算出され、例えば所定閾値以上の
評価値がH11〜H14である場合には、H11〜H 14の光源
についてgrj,gbjが算出され、算出されたgrj
gbj、H11〜H 14を用いて各Σ内の計算が行われる。
また、grj,gbjは、各検出枠における光源の色を所
定色とするために必要なゲインであり、次式で示され
る。
【0075】 grj=Xd/Xaj’×Txj …(28) gbj=Yd/Yaj’×Tyj …(29) ここで、Xd=Rd/Gd、Yd=Bd/Gdである。
また、Txj、Tyjは、基準WBゲイン値が掛けられて
いない元の画像データのR,G,Bの積算値について求
めたXi、Yiの平均値をXaj(=Xaj’/Xd)、Y
j(=Yaj’/Yd)とした場合における、Xaj
Yajの目標値であり、所定色に対応する。すなわち、
grj,gbjは、元の画像データのR,G,Bの積算値
についてXaj、Yajを求めた場合に、このXaj、Y
jで示される光源(環境光源)の色を所定色とするた
めに必要なゲインである。なお、Txj、Tyjは、例え
ば1である。
【0076】従って、上記(25)、(26)式の第1
項は、評価値Hjを重みとしたgrj,gbjはの加重平
均値をそれぞれ表している。また、第2項は、明るさを
補正するための項であり、Gjは次式で表される。
【0077】 Gj=gj×(露出補正ゲイン/128) …(30) ここで、gjは、光源が晴れの場合に適したホワイトバ
ランス制御を行うために必要なG(グリーン)のゲイン
である。露出補正ゲインは、以下の表のようになる。
【0078】
【表1】
【0079】このように明るさを補正するのは、ストロ
ボ光が発光しない場合は周囲の光源だけであるため、明
るさが足りなくなる場合があるためである。
【0080】なお、晴れ検出枠の評価値H22が所定閾値
以上であるとして選択されている場合には、gr22=X
d、gb22=Ydとする。
【0081】このようにして、環境光源の色を所定色に
するための制御値GR、GB、GGが算出されると、これ
らの制御値が、基準WBゲイン値との間の値で、かつ環
境光源に適した値となるように、環境光源に応じて調整
される(ステップS32)。なお、この処理は、本発明
の調整手段に相当する。調整後の制御値は、ホワイトバ
ランス補正値Rg、Gg、Bgとして表され、次式によ
り得られる。
【0082】 Rg=(GR−Rd)×Hmax×Lj+Rd …(31) Gg=(GG−Gd)×Hmax×Lj+Gd …(32) Bg=(GB−Bd)×Hmax×Lj+Bd …(33) ここで、Hmaxは、Hjの最大値であり、Hmaxに対応す
る光源を撮影時の光源として特定することができる。例
えばHmaxがH5であれば、光源は、昼光色の蛍光灯であ
ると判断することができる。また、Ljはローワードコ
レクション係数であり、各光源に対応して予め定められ
た値であり、各々の光源下での撮影においてホワイトバ
ランスが適正となるように実験等によって決定された値
である。ローワードコレクション係数は、予めメモリ3
9に記憶されている。なお、Ljは光源に拘わらず固定
値としてもよい。
【0083】また、0≦Lj≦1であり、Lj=0の場合
は、Rg=Rd、Gg=Gd、Bg=Bdとなり、基準
WBゲイン値でのホワイトバランス制御が行われる。ま
た、Lj=1及びHmax=1の場合には、Rg=GR、G
g=GG、Bg=GGとなる。このように、ホワイトバラ
ンス補正値Rg、Gg、Bgは、基準WBゲイン値から
環境光源の色を所定色にするための制御値GR、GB、G
Gとの間の値で、かつHmaxで特定された環境光源に適し
たホワイトバランス制御を行うことができる値となる。
【0084】このように算出されたホワイトバランス補
正値Rg、Gg、Bgは、ホワイトバランス調整回路3
0へ出力され、元の画像データのR、G、Bの各信号が
ホワイトバランス調整される(ステップS34)。補正
後の信号をR’、G’、B’とすると、R’、G’、
B’は、次式で表される。
【0085】R’=Rg×R …(34) G’=Gg×G …(35) B’=Bg×B …(36) 一方、所定閾値以上の評価値Hjが1つもない場合に
は、ホワイトバランス補正値Rg、Gg、Bgをそれぞ
れRd、Gd、Bdに設定して(ステップS36)、ホ
ワイトバランス調整を行う(ステップS34)。
【0086】このように、本実施形態では、環境光源の
色だけでなくEV値をも考慮して環境光源を定めるた
め、環境光源を正確に定めることができる。また、環境
光源の色は、本撮影での撮像画像の画像データから求め
ているため、撮像シーケンスを複雑にすることなく環境
光源を正確に定めることができる。
【0087】そして、ホワイトバランス補正値Rg、G
g、Bgは、基準WBゲイン値から環境光源の色を所定
色にするための制御値GR、GB、GGとの間の値で、か
つHm axで特定された環境光源に適したホワイトバラン
ス制御を行うことができる値となるため、各々の環境光
源に対して適正にホワイトバランス制御することがで
き、カラーフェリアの発生を抑えることができる。
【0088】
【発明の効果】以上説明したように本発明によれば、ホ
ワイトバランス制御のための制御値が、この制御値と基
準制御値との間の値で、かつ環境光源に適した値となる
ように、環境光源に応じて調整されるため、ストロボが
発光されない状態での撮影でも適正にホワイトバランス
制御を行うことができると共に、カラーフェリアの発生
を抑えることができる、という効果を有する。
【図面の簡単な説明】
【図1】 本発明に係るデジタルカメラの背面図であ
る。
【図2】 デジタルカメラの上面に設けられたモードダ
イヤルの平面図である。
【図3】 デジタルカメラの内部構成を示すブロック図
である。
【図4】 EV値の求め方について説明するための図で
ある。
【図5】 測光方式について説明するための図である。
【図6】 ホワイトバランス制御方法のフローチャート
である。
【図7】 光源の色分布の範囲としての検出枠を示すグ
ラフである。
【図8】 日陰−曇りらしさを表すメンバシップ関数を
示すグラフである。
【図9】 青空のメンバシップ関数を示すグラフであ
る。
【図10】 蛍光灯らしさ等を表すメンバシップ関数を
示すグラフである。
【図11】 デーライトの屋外らしさを表すメンバシッ
プ関数を示すグラフである。
【図12】 屋外らしさを表すメンバシップ関数を示す
グラフである。
【図13】 屋内らしさを表すメンバシップ関数を示す
グラフである。
【符号の説明】
10 撮影レンズ 16 駆動回路 18 CDS回路 20 A/D変換器 24 メモリ 26 デジタル信号処理回路 28 同時化回路 30 ホワイトバランス調整回路 30R、30G、30B 乗算器 32 ガンマ補正回路 34 YC信号作成回路 36 メモリ 39 メモリ 40 カメラ操作部 42 駆動部 44 絞り駆動部 48 積算回路 50R、50G、50B 乗算器
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C065 AA01 AA03 BB02 BB41 CC02 CC03 CC08 CC09 DD02 DD17 EE12 GG15 GG18 GG24 GG27 GG32 5C066 AA01 BA01 CA05 EA15 GA01 GA02 GA05 GB02 HA03 JA01 KA12 KD01 KD06 KE09 KM02 KM13 LA02

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像したときの撮像画像の輝度
    レベルを検出するステップと、 ストロボ光が発光されない状態での前記撮像画像の画像
    データに、デーライト光を基準光源として該基準光源の
    色が予め定めた所定色となるようにホワイトバランス制
    御を行うための基準制御値を乗算するステップと、 前記撮像画像を複数のエリアに分割し、各エリアに属す
    る前記基準制御値が乗算された画像データから各々色情
    報を取得するステップと、 取得したエリアごとの色情報に基づいて、各エリアの色
    分布を検出するステップと、 検出した前記輝度レベル及び前記色分布に基づいて環境
    光源を定めるステップと、 前記環境光源の色が前記所定色となるようにホワイトバ
    ランス制御を行うための制御値を算出するステップと、 前記制御値が、前記制御値と前記基準制御値との間の値
    で、かつ前記環境光源に適した値となるように、前記制
    御値を調整するステップと、 を含むことを特徴とするホワイトバランス制御方法。
  2. 【請求項2】 前記制御値を算出するステップは、 予め定めた複数の環境光源の各々に対応して設けられた
    所定式によって算出された環境光源らしさの度合いを表
    す評価値が、予め定めた所定閾値以上であるか否かを判
    別するステップと、 前記所定閾値以上の評価値に各々対応した対応制御値を
    算出するステップと、 前記所定閾値以上の評価値を重みとした前記対応制御値
    の加重平均値を前記制御値として算出するステップと、 を含むことを特徴とする請求項1記載のホワイトバラン
    ス制御方法。
  3. 【請求項3】 被写体を撮像したときの撮像画像の輝度
    レベルを検出する輝度レベル検出手段と、 ストロボ光が発光されない状態での前記撮像画像の画像
    データに、デーライト光を基準光源として該基準光源の
    色が予め定めた所定色となるようにホワイトバランス制
    御を行うための基準制御値を乗算する乗算手段と、 前記撮像画像を複数のエリアに分割し、各エリアに属す
    る前記基準制御値が乗算された画像データから各々色情
    報を取得する取得手段と、 取得したエリアごとの色情報に基づいて、各エリアの色
    分布を検出する色分布検出手段と、 検出した前記輝度レベル及び前記色分布に基づいて環境
    光源を定める設定手段と、 前記環境光源の色が前記所定色となるようにホワイトバ
    ランス制御を行うための制御値を算出する算出手段と、 前記制御値が、前記制御値と前記基準制御値との間の値
    で、かつ前記環境光源に適した値となるように、前記制
    御値を調整する調整手段と、 を含むことを特徴とするデジタルカメラ。
JP2002020739A 2002-01-29 2002-01-29 ホワイトバランス制御方法及びデジタルカメラ Expired - Fee Related JP3903093B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002020739A JP3903093B2 (ja) 2002-01-29 2002-01-29 ホワイトバランス制御方法及びデジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002020739A JP3903093B2 (ja) 2002-01-29 2002-01-29 ホワイトバランス制御方法及びデジタルカメラ

Publications (2)

Publication Number Publication Date
JP2003224863A true JP2003224863A (ja) 2003-08-08
JP3903093B2 JP3903093B2 (ja) 2007-04-11

Family

ID=27744157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002020739A Expired - Fee Related JP3903093B2 (ja) 2002-01-29 2002-01-29 ホワイトバランス制御方法及びデジタルカメラ

Country Status (1)

Country Link
JP (1) JP3903093B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009075185A1 (ja) * 2007-12-11 2009-06-18 Olympus Corporation ホワイトバランス調整装置及びホワイトバランス調整方法
US7643068B2 (en) 2005-02-09 2010-01-05 Fujifilm Corporation White balance control method, white balance control apparatus and image-taking apparatus
CN107959842A (zh) * 2017-12-25 2018-04-24 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322191A (ja) * 1996-03-29 1997-12-12 Ricoh Co Ltd 画像入力装置
JPH10150671A (ja) * 1996-11-18 1998-06-02 Konica Corp スチルビデオカメラのホワイトバランス調整装置
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2000156874A (ja) * 1998-11-19 2000-06-06 Nikon Corp デジタルカメラ
JP2000224608A (ja) * 1999-02-02 2000-08-11 Fuji Photo Film Co Ltd オートホワイトバランス制御方法
JP2000299876A (ja) * 1999-04-12 2000-10-24 Fuji Photo Film Co Ltd デジタルカメラ及びオートホワイトバランス制御方法
JP2001095008A (ja) * 1999-09-17 2001-04-06 Fuji Photo Film Co Ltd 撮像装置及びホワイトバランス調整方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322191A (ja) * 1996-03-29 1997-12-12 Ricoh Co Ltd 画像入力装置
JPH10150671A (ja) * 1996-11-18 1998-06-02 Konica Corp スチルビデオカメラのホワイトバランス調整装置
JP2000092509A (ja) * 1998-09-11 2000-03-31 Eastman Kodak Japan Ltd オートホワイトバランス装置
JP2000156874A (ja) * 1998-11-19 2000-06-06 Nikon Corp デジタルカメラ
JP2000224608A (ja) * 1999-02-02 2000-08-11 Fuji Photo Film Co Ltd オートホワイトバランス制御方法
JP2000299876A (ja) * 1999-04-12 2000-10-24 Fuji Photo Film Co Ltd デジタルカメラ及びオートホワイトバランス制御方法
JP2001095008A (ja) * 1999-09-17 2001-04-06 Fuji Photo Film Co Ltd 撮像装置及びホワイトバランス調整方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643068B2 (en) 2005-02-09 2010-01-05 Fujifilm Corporation White balance control method, white balance control apparatus and image-taking apparatus
WO2009075185A1 (ja) * 2007-12-11 2009-06-18 Olympus Corporation ホワイトバランス調整装置及びホワイトバランス調整方法
JP2009147440A (ja) * 2007-12-11 2009-07-02 Olympus Corp ホワイトバランス調整装置及びホワイトバランス調整方法
US8111302B2 (en) 2007-12-11 2012-02-07 Olympus Corporation White balance control apparatus and method
CN107959842A (zh) * 2017-12-25 2018-04-24 广东欧珀移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备
CN107959842B (zh) * 2017-12-25 2019-06-07 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和计算机设备

Also Published As

Publication number Publication date
JP3903093B2 (ja) 2007-04-11

Similar Documents

Publication Publication Date Title
JP4679685B2 (ja) デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ
JP3849834B2 (ja) オートホワイトバランス制御方法
JP2017022610A (ja) 画像処理装置、画像処理方法
US8228423B2 (en) Imaging apparatus and method for controlling flash emission
JP3896438B2 (ja) デジタルカメラ及びオートホワイトバランス制御方法
JP4717720B2 (ja) 画像処理装置および方法並びにプログラム
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
JP4158029B2 (ja) ホワイトバランス調整方法および電子カメラ
JP2004297650A (ja) ホワイトバランスの制御方法及びデジタルカメラ
JP5048599B2 (ja) 撮像装置
JP2001189890A (ja) ディジタルカメラ
JP2002218495A (ja) ホワイトバランス制御方法及び電子カメラ
JP4043928B2 (ja) デジタルカメラ
JP4385240B2 (ja) デジタルカメラのオートホワイトバランス制御方法及びデジタルカメラ
JP2009033386A (ja) 撮影装置及び撮影方法
JP3903095B2 (ja) ホワイトバランス制御方法及びデジタルカメラ
JP3903093B2 (ja) ホワイトバランス制御方法及びデジタルカメラ
JP3958700B2 (ja) デジタルカメラ
JP3903094B2 (ja) ホワイトバランス制御方法及びデジタルカメラ
JP4277258B2 (ja) ホワイトバランス制御方法及び撮像装置
JP2004349930A (ja) デジタルカメラ
KR101589493B1 (ko) 플래시를 이용한 화이트 밸런스 조정 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2002218478A (ja) デジタルカメラのオートホワイトバランス制御方法及びデジタルカメラ
JP2005260738A (ja) 撮像装置及びその露出制御方法
JP3701172B2 (ja) カメラの露出制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061019

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061227

R150 Certificate of patent or registration of utility model

Ref document number: 3903093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140119

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees