JP2004172817A - ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ - Google Patents

ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ Download PDF

Info

Publication number
JP2004172817A
JP2004172817A JP2002334852A JP2002334852A JP2004172817A JP 2004172817 A JP2004172817 A JP 2004172817A JP 2002334852 A JP2002334852 A JP 2002334852A JP 2002334852 A JP2002334852 A JP 2002334852A JP 2004172817 A JP2004172817 A JP 2004172817A
Authority
JP
Japan
Prior art keywords
white balance
histogram
balance processing
processing
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002334852A
Other languages
English (en)
Other versions
JP4090851B2 (ja
Inventor
Hisatsugu Suekane
久嗣 末兼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002334852A priority Critical patent/JP4090851B2/ja
Priority to US10/620,118 priority patent/US7525697B2/en
Priority to CN 03125574 priority patent/CN1232128C/zh
Publication of JP2004172817A publication Critical patent/JP2004172817A/ja
Application granted granted Critical
Publication of JP4090851B2 publication Critical patent/JP4090851B2/ja
Priority to US12/406,514 priority patent/US8199372B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

【課題】精度よく好みの色合いのホワイトバランス値を容易に調整できるようにした、ホワイトバランス処理装置及びその処理方法並びにそれを用いたデジタルカメラを提供する。
【解決手段】撮影画像信号についてホワイトバランス処理を行うホワイトバランス処理部5と、ホワイトバランス処理部によりホワイトバランス処理がなされた撮影画像信号に基づいて、画面全体の撮影画像信号と画面内に設定されたヒストグラムターゲット領域の撮影画像信号とに分けて、RGB各色別のヒストグラム処理を行うヒストグラム検出部13と、ヒストグラム検出部による画面全体に関するヒストグラムとヒストグラムターゲット領域のヒストグラムとを比較可能に表示するモニタ15とを備え、ホワイトバランスの具体的状態を客観的に判断し、高精度のホワイトバランス値を容易に調整設定できるようにホワイトバランス処理装置を構成する。
【選択図】 図3

Description

【0001】
【発明の属する技術分野】
この発明は、撮影画像のホワイトバランス(WB)を客観的に容易に確認し、調整設定できるようにしたホワイトバランス処理装置、その処理方法、その処理方法を実行するためのプログラム並びにそれらを用いたデジタルカメラに関する。
【0002】
【従来の技術】
【特許文献1】特開平11−355784号公報
【特許文献2】特開2002−185972号公報
【0003】
デジタルカメラ等の撮像装置では、撮影画像の記録にあたりホワイトバランス調整が必須である。このホワイトバランス調整の手法としては、オートホワイトバランス、プリセットホワイトバランス、ワンタッチホワイトバランス、マニュアルホワイトバランスなどの手法がある。
【0004】
最も多く使われる手法は、オートホワイトバランス(AWB)で、この手法は、取り込まれた撮影画像を撮像装置内部で解析して、最適なホワイトバランス値を算出し、算出されたホワイトバランス値で、その撮影画像にホワイトバランス処理をするものである。しかしながら、ホワイトバランス調整は、色の具合の調整であって、極めて主観的な要素が強いので、オートホワイトバランスによる理論的に正しい値が必ずしも好まれるとは限らない。
【0005】
そこで、プリセットホワイトバランス調整と呼ばれる手法があり、この手法は、予め撮像装置に工場出荷時などにおいて記憶させておいたホワイトバランス値、例えば蛍光灯、白熱電球、屋外の光源などに対応したホワイトバランス値の中から、撮影者により指定されたホワイトバランス値でホワイトバランス処理を行うものである。
【0006】
また、ワンタッチホワイトバランス調整と呼ばれる手法があり、この手法は、撮影前に撮影環境下で白被写体で予備撮影を行ってホワイトバランス値を設定しておき、その設定されたホワイトバランス値で、撮影画像にホワイトバランス処理を行うものである。
【0007】
しかし、これらのプリセットホワイトバランスやワンタッチホワイトバランスでも、必ずしも好みの色あいに設定できるとは限らない。そこで、ホワイトバランス処理に関する先行技術としては、特開平11−355784号公報(特許文献1)には、オートホワイトバランス調整モードと、撮影者が任意のマニュアルで色温度情報に基づいて調整できるマニュアルホワイトバランス調整モードとを選択可能にしたデジタルカメラについて開示がなされている。
【0008】
更に、特開2002−185972号公報(特許文献2)には、デジタルカメラの画像表示用LCDモニタに表示される画像に無彩色の領域を識別可能に表示させ、その画像を確認しながら適正なホワイトバランスを設定できるようにしたデジタルカメラについて開示がなされている。
【0009】
【発明が解決しようとする課題】
ところで、デジタルカメラの背面に設けられるLCDモニタはサイズが小さく、また屋外での使用時には太陽光の反射もある。したがって、上記特許文献2に開示されているように、LCDモニタに表示される画像を見ながら、撮影画像のホワイトバランス条件を設定するのは、精度に欠ける。また、LCD自体の発色にも個体差等もあるので、上記公報開示のようなLCDモニタの表示画像にたよって、ホワイトバランスの確認や補正値を設定するのは、精度のよい手法であるとは言えないという問題点がある。また上記特許文献1に開示されているように、色温度情報に基づいてマニュアルで調整するホワイトバランス調整では、ホワイトバランスの具体的な状態の把握が困難であるという問題点がある。
【0010】
本発明は、従来のホワイトバランス調整手法における上記問題点を解消するためになされたもので、精度よく好みの色合いのホワイトバランス値を客観的に容易に調整設定できるようにした、ホワイトバランス処理装置及び処理方法並びにそれを用いたデジタルカメラを提供することを目的とする。
【0011】
【課題を解決するための手段】
上記問題点を解決するため、請求項1に係る発明は、撮影画像信号についてホワイトバランス処理を行うホワイトバランス処理手段と、該ホワイトバランス処理手段によりホワイトバランス処理がなされた前記撮影画像信号に基づいて、色成分別のヒストグラム処理を行う色ヒストグラム処理手段と、該色ヒストグラム処理手段による色成分別のヒストグラムを表示する表示手段とを備えてホワイトバランス処理装置を構成するものである。
【0012】
請求項2に係る発明は、請求項1に係るホワイトバランス処理装置において、前記色ヒストグラム処理手段は、画面全体の前記撮影画像信号と画面内に設定された特定領域部分の前記撮影画像信号とに分けて、色成分別のヒストグラム処理を行うことを特徴とするものである。
【0013】
請求項3に係る発明は、請求項2に係るホワイトバランス処理装置において、前記表示手段は、色成分別に、前記色ヒストグラム処理手段による前記画面全体に関するヒストグラムと特定領域部分に関するヒストグラムとを比較可能に表示することを特徴とするものである。
【0014】
請求項4に係る発明は、請求項1〜3のいずれか1項に係るホワイトバランス処理装置において、ホワイトバランスを設定するための設定画面を前記表示手段に表示するときに、前記表示手段に前記色成分別のヒストグラムを表示するように制御する表示制御手段を備えたことを特徴とするものである。
【0015】
請求項5に係る発明は、請求項1〜4のいずれか1項に係るホワイトバランス処理装置において、前記表示手段は、前記ホワイトバランス処理手段のホワイトバランスの調整条件に関する情報を合わせて表示することを特徴とするものである。
【0016】
請求項6に係る発明は、請求項5に係るホワイトバランス処理装置において、前記ホワイトバランスの調整条件に関する情報は、選択可能なホワイトバランスのモードの種類を示す情報であることを特徴とするものである。
【0017】
請求項7に係る発明は、請求項5に係るホワイトバランス処理装置において、前記ホワイトバランスの調整条件に関する情報は、前記ヒストグラム処理された特定の色成分についての比率に関する情報であることを特徴とするものである。
【0018】
請求項8に係る発明は、請求項1〜7のいずれか1項に係るホワイトバランス処理装置において、前記表示手段は、更に前記撮影画像信号に基づく撮影画像を合わせて表示することを特徴とするものである。
【0019】
請求項9に係る発明は、請求項8に係るホワイトバランス処理装置において、前記表示手段は、更に前記撮影画像にホワイトバランス検出領域を表示することを特徴とするものである。
【0020】
請求項10に係る発明は、請求項1〜9のいずれか1項に係るホワイトバランス処理装置において、前記色ヒストグラム処理手段は、RGBの3つの色成分別にヒストグラム処理を行うことを特徴とするものである。
【0021】
請求項11に係る発明は、請求項1〜10のいずれか1項に係るホワイトバランス処理装置を搭載してデジタルカメラを構成するものである。
【0022】
請求項12に係る発明は、撮影画像信号についてホワイトバランス処理を行い、前記ホワイトバランス処理がなされた前記撮影画像信号に基づいて色成分別のヒストグラム処理を行ない、前記色成分別のヒストグラムを前記撮影画像信号に基づく撮影画像と共に表示するようにしてホワイトバランス処理方法を構成するものである。
【0023】
請求項13に係る発明は、請求項12に係るホワイトバランス処理を実行するようにプログラムを構成するものである。
【0024】
【発明の実施の形態】
次に、実施の形態について説明する。図1は、本発明に係るホワイトバランス処理装置及びその処理方法の第1の実施の形態を適用したデジタルカメラを示す概略ブロック構成図である。図1において、1は被写体像を結像をさせるレンズ、2は入射被写体像を電気信号に変換するCCD等の撮像素子、3は撮像素子2からの撮像信号の利得を制御しA/D変換するAGC・A/D変換回路、4はホワイトバランス処理部5を含む信号処理回路、6は撮影画像データからホワイトバランス値を検出するホワイトバランス値検出部、7は工場出荷時に予め設定されたプリセットホワイトバランス値を記憶している、フラッシュメモリやEEPROMなどの不揮発性メモリからなるプリセットホワイトバランス値記憶部、8は後述のワンタッチホワイトバランス値設定処理で取得したワンタッチホワイトバランス値を記憶しているRAMからなるワンタッチホワイトバランス値記憶部、9はホワイトバランス値検出部6で検出されたオートホワイトバランス値(AWB値)、又はプリセットホワイトバランス値記憶部7に記憶されているプリセットホワイトバランス値、又はワンタッチホワイトバランス値記憶部8に記憶されているワンタッチホワイトバランス値を補正するホワイトバランス補正部、10はプリセットホワイトバランス値とホワイトバランス処理部で検出されたオートホワイトバランス値(AWB値)とワンタッチホワイトバランス値を、ホワイトバランス補正部9に切り替え入力するためのホワイトバランス入力切替スイッチであり、また、11はワンタッチホワイトバランス値のワンタッチホワイトバランス値記憶部8への入力のON/OFFを制御するワンタッチホワイトバランス入力スイッチである。
【0025】
また、12はホワイトバランス補正部9で補正されたホワイトバランス値により、ホワイトバランス処理部5でホワイトバランス処理された画像データを記憶する画像メモリ、13は画像メモリ12から読み出した画像データを用いてRGB各色別の輝度分布ヒストグラムを検出するヒストグラム検出部、14は画像メモリ12に記憶されている画像データ及びヒストグラム検出部で検出されたRGB各色別ヒストグラムをモニタ15に表示するための表示回路、16は画像メモリ12から読み出した画像データを圧縮処理する圧縮処理回路、17は圧縮処理された画像データを、メモリカードなどのメディア18に記録したり、メディア18から画像データを読み出すための記録・読み出し部、19はメディア18から読み出した画像データを伸長処理する伸長処理回路である。また、20は各構成部を制御するためのCPU、21はCPU20に対して各種入力を行う操作入力部であり、該操作入力部21においては、オート、プリセット、ワンタッチの各ホワイトバランスモードの切り替え、ホワイトバランス値設定、ホワイトバランス補正及びワンタッチホワイトバランス値設定等の各処理動作メニューの選択指示などが行えるようになっている。
【0026】
次に、このように構成されている実施の形態を適用したデジタルカメラにおけるホワイトバランス処理動作について説明する。まず、本発明に係るホワイトバランス処理の基本動作を、従来のホワイトバランス処理と対比しながら説明する。従来のホワイトバランス値の設定は、先にも述べたように、図2に示すように、モニタにスルー画を表示すると共に、該スルー画表示画面上に、オート、晴天、曇天、蛍光灯、電球、ワンタッチ等のホワイトバランスモード設定メニューの表示を行って、ユーザがモニタ上のスルー画を観察しながら、上記ホワイトバランスモード設定メニューから適切と思われるホワイトバランスモードを選択設定するようにしている。
【0027】
この従来の設定方式は、スルー画を観察しながらの判断であるから、モニタの小さな画面では見ずらく判断が困難であり、また屋外ではモニタ面の反射により表示画面が見ずらく、またモニタ自体に色がついているので、実際の色とのずれが発生しているなどの欠点があるものである。
【0028】
これに対し、本発明においては、ホワイトバランスモード設定時に、モニタにスルー画を表示すると共に、スルー画像のRGB各色別のヒストグラム(輝度分布)を作成し、モニタ画面上に表示するようにする。そして、ユーザはヒストグラム表示をみながら、RGB各色別の色分布を客観的に判断し、最適なホワイトバランス値を設定できるようにするものであり、これにより、従来のホワイトバランス設定の欠点を解消することができる。
【0029】
すなわち、図3の(A)に示すように、モニタに表示したスルー画上に、スルー画全体から取得したRGB各色別のヒストグラムを表示させ、更にスルー画の画面中央の2重四角マークで示すヒストグラムターゲットにおけるRGB各色別の輝度分布(ヒストグラム)を算出して、画面全体のヒストグラム上に黒領域で表示する。図3の(A)は、ホワイトバランスモード設定メニューとして晴天を選択した場合の画面全体のヒストグラムとヒストグラムターゲット領域の輝度分布を示し、ターゲット領域のRの輝度分布のピークが低い方にずれ、Bの輝度分布のピークが高い方へずれていて、これによりスルー画のターゲット領域の色合いが客観的に青みがかっていることが判断でき、ヒストグラムターゲット領域の被写体が白色の場合には、実際の色温度より低い色温度の不適切なホワイトバランス値の設定を行っていることがわかる。
【0030】
一方、図3の(B)は、ホワイトバランスモード設定メニューとして曇天を選択した場合の画面全体のヒストグラムとヒストグラムターゲットの輝度分布を示し、ターゲット領域のRの輝度分布のピークが高い方にずれ、Bの輝度分布のピークが低い方へずれ、これによりスルー画のターゲット領域の色合いが赤みがかっていることを客観的に判断でき、ヒストグラムターゲット領域の被写体が白色の場合には、実際の色温度より高い色温度の不適切なホワイトバランス値の設定を行っていることがわかる。
【0031】
これに対し、図3の(C)は、ホワイトバランスモード設定メニューとしてオートを選択した場合の画面全体のヒストグラムとヒストグラムターゲット領域の輝度分布を示し、ターゲット領域の各色輝度分布のピークが同じ位置に集中していて、これにより適切なホワイトバランス値の設定が行われていることを、客観的に確認することができる。なお、ここでは、ホワイトバランスモード設定メニューとしてオートを選択したときに、適正なホワイトバランス値の設定が行われていることを示したが、他のホワイトバランスモード設定メニュー、例えば蛍光灯を選択したときに、図3の(C)に示すように、その白色被写体に対するターゲット領域の各色輝度分布のピークが同位置に集中した場合には、その時点で選択設定したホワイトバランスモード設定メニューである蛍光灯が適正なホワイトバランスモードとなる。
【0032】
次に、本実施の形態におけるホワイトバランス処理動作について説明する。ユーザが行えるホワイトバランス処理動作を大別すると、ホワイトバランス値設定処理動作、ホワイトバランス値補正動作及びワンタッチホワイトバランス値設定処理動作の3つの処理動作に分けることができる。まず、ホワイトバランス値設定処理動作を、図4に示すフローチャートに基づいて説明する。このホワイトバランス値設定処理動作を行うため、操作入力部21によりホワイトバランス値設定の指示を行い、そのメニューを開くと、まずモニタ15にホワイトバランス値設定画面が表示される(ステップS1)。この場合、図5に示すように、モニタ15にスルー画が表示され、画面右側にホワイトバランスモードメニューを表示し、ヒストグラム検出部13で検出されたスルー画の画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラムが画面左側に表示される。次に、ユーザの十字キーの操作の受け付けを行い(ステップS2)、十字キーが入っていると、ユーザはホワイトバランスモードを、オートWB、晴天、曇天、蛍光灯、電球、ワンタッチの順で、選択し設定する(ステップS3)。なお、十字キーの判定ステップS1で十字キーが操作されていない場合は、オートホワイトバランスモードがデフォルトで設定されているので、次に述べるオートホワイトバランスの選択判定ステップS4へ移行する。
【0033】
ホワイトバランスモードとしてオートホワイトバランスが選択されている場合(ステップS4)は、スルー画よりホワイトバランス値検出部6でホワイトバランス値を検出し出力する(ステップS5)。オートホワイトバランス以外の、晴天、曇天、蛍光灯、電球のプリセットホワイトバランスモードを選択設定している場合は(ステップS6)、工場出荷時にプリセットホワイトバランス値記憶部7に調整記憶しておいたプリセットホワイトバランス値を読み出す(ステップS7)。ワンタッチホワイトバランスモードを選択設定している場合は、事前にユーザがワンタッチホワイトバランス値設定処理動作で取得しワンタッチホワイトバランス値記憶部8に記憶させていたワンタッチホワイトバランス値を読み出す(ステップS8)。
【0034】
次に、上記のような各ホワイトバランスモードの設定により選択されたオートホワイトバランス値、プリセットホワイトバランス値及びワンタッチホワイトバランス値のいずれかは、微調整を行うため(後で詳述する)、ホワイトバランス補正部9に入力され、上記選択設定されたホワイトバランス値の補正が行われる(ステップS9)。次いで、この補正されたホワイトバランス値を用いて、CCD撮像素子2から得られた撮影画像データに対して、ホワイトバランス処理部5でホワイトバランス処理を施す(ステップS10)。
【0035】
そして、ホワイトバランス処理を施した画像データを画像メモリ12に格納し、格納された画像データを読み出して、撮影画像としてモニタ15に表示する(ステップS11)。それと同時に、画像メモリ12に格納されている画像データに対して、ヒストグラム検出部13において、画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラム検出を行い、得られたRGB各色別のヒストグラムを、モニタ15に表示されている撮影画像上に合わせて表示する(ステップS12)。以上の動作ステップが、ユーザによりメニュー画面上でOKキーが押されるまで繰り返される(ステップS13)。モニタ上に表示されるヒストグラムに基づいて最適なホワイトバランス値の選択設定が確認されると、OKキーが押され、ホワイトバランス値の設定動作が終了し、モニタ15上のホワイトバランスモードメニューやヒストグラムの表示を消して、通常のスルー画表示に戻す(ステップS14)。
【0036】
このように、ホワイトバランス値の設定動作においては、ホワイトバランス値設定画面上に表示させたRGB各色別のヒストグラムを参照しながら、具体的にホワイトバランス状態を把握することができ、高精度のホワイトバランス値の設定を行うことができる。
【0037】
次に、先に述べたホワイトバランス補正部9で行われるホワイトバランス補正処理動作を、図6のフローチャートに基づいて説明する。ユーザがこのホワイトバランス値の微調整処理を行うため、操作入力部21からホワイトバランス補正処理動作を指定して、そのメニューを開くと、モニタ15にホワイトバランス補正画面が表示される(ステップS21)。この場合、図7に示すように、先に述べた図4に示したホワイトバランス値設定動作で選択設定されたホワイトバランス値で、ホワイトバランス処理されたスルー画が表示され、画面右側には青から赤に亘って移動できるゲイン調整つまみからなるホワイトバランス補正メニューが表示され、画面左側には、ヒストグラム検出部13で検出されたスルー画の画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラムが表示される。
【0038】
次に、ユーザの十字キー操作に基づいて(ステップS22)、ホワイトバランス補正値の変更調整を行う(ステップS23)。このホワイトバランス補正値の変更調整は、ユーザがモニタ表示画面上のRGB各色別のヒストグラムを参照しながら、ゲイン調整つまみを上下操作して、青及び赤のゲイン調整をして行う。すなわち、青みを強くするときには、ゲイン調整つまみを青側へ上方に向かってスライドさせ、青ゲインをアップさせ赤ゲインをダウンさせることにより青みを強調させる補正値を設定する。一方、赤みを強調するときには、ゲイン調整つまみを赤側へ下方に向かってスライドさせ、青ゲインをダウンさせ赤ゲインをアップさせることにより赤みを強調させる補正値を設定する。そして、このようにしてユーザが設定したホワイトバランス補正値を用いて、ホワイトバランス補正部9において、先に図4に示したホワイトバランス値設定動作で選択設定されているホワイトバランス値(オート、プリセット、ワンタッチホワイトバランス値)を補正する(ステップS24)。なお、上記十字キー判定ステップS21で、十字キーが操作されない場合は、上記ホワイトバランス補正ステップS24へ移行する。
【0039】
その後の動作は、先に図4に示したホワイトバランス値設定動作と同様にして、まず上記のようにして得られたホワイトバランス補正値を用いて、CCD撮像素子2から得られた撮影画像データに対して、ホワイトバランス処理部5でホワイトバランス処理を施す(ステップS25)。そして、ホワイトバランス処理を施した画像データを画像メモリ12に格納し、格納された画像データを読み出して、撮影画像としてモニタ15に表示する(ステップS26)。それと同時に、画像メモリ12に格納されている画像データに対して、ヒストグラム検出部13において、画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラム検出を行い、得られたRGB各色別のヒストグラムを、モニタ15に表示されている撮影画像上に合わせて表示する(ステップS27)。以上の動作ステップが、ユーザによりメニュー画面上でOKキーが押されるまで繰り返される(ステップS28)。そして、モニタ上に表示されるヒストグラムを見ながら最適なホワイトバランス補正値の設定が確認されると、OKキーが押され、ホワイトバランス値補正動作が終了する(ステップS29)。
【0040】
このように、ホワイトバランス補正値の設定動作においても、ホワイトバランス補正値設定画面上に表示させたRGB各色別のヒストグラムを参照しながら、ホワイトバランス補正メニュー(ゲイン調整つまみ)を調整設定するようにしているので、ヒストグラム表示による客観的な判断を行いながら高精度のホワイトバランス補正値を設定することができる。
【0041】
次に、ワンタッチホワイトバランス値の設定処理動作について、図8のフローチャートに基づいて説明する。オートホワイトバランス値あるいはプリセットホワイトバランス値は、カメラが自動的に測定した値あるいはカメラの工場出荷時に調整設定された値であるが、このワンタッチホワイトバランス値は、撮影を行っている場の光源を用いて白い被写体、例えば紙等を撮影して、モニタ表示面上の撮影画像が白くなるようにユーザがホワイトバランス値を調整設定するものである。
【0042】
すなわち、まずユーザがワンタッチホワイトバランス値の設定を行うために、ワンタッチホワイトバランス値設定処理動作を指示して設定メニューを開くと、モニタ15にワンタッチホワイトバランス値設定画面が表示される(ステップS31)。この場合、図9に示すように、白い紙を撮影したスルー画がモニタに表示され、画面左側には、このスルー画の画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラムが表示され、画面右下には“設定→OK”のワンタッチ設定メニューが表示される。次いで、OKキーが押されると(ステップS32)、新たなワンタッチホワイトバランス値の設定動作に入り、CCD撮像信号により、ホワイトバランス検出部6において、モニタ15が表示している白い紙を撮影した撮像画面が白くなるようなホワイトバランス値を検出する(ステップS33)。その検出したホワイトバランス値を、その場のワンタッチホワイトバランス値としてワンタッチホワイトバランス値記憶部8に記憶する(ステップS34)。次いで、ワンタッチホワイトバランス値記憶部8に記憶されているワンタッチホワイトバランス値を読み出して、ホワイトバランス補正部9で、ユーザの設定した補正値(ゲイン値)を用いて、ホワイトバランス補正値を設定する(ステップS35)。
【0043】
なお、上記OKキーの判定ステップS31において、OKキーが押されない場合は、記憶済みのワンタッチホワイトバランス値を用いて(ステップS36)、その記憶済みワンタッチホワイトバランス値に対して、同様にホワイトバランス補正部9で、ユーザの設定した補正値を用いて補正を行う。そして、上記のようにして得られたワンタッチホワイトバランス補正値を用いて、CCD撮像素子2から得られた撮影画像データに対して、ホワイトバランス処理部5でホワイトバランス処理を施す(ステップS37)。ホワイトバランス処理を施した画像データを画像メモリ12に格納し、格納された画像データを読み出して、撮影画像としてモニタ15に表示する(ステップS38)。それと同時に、画像メモリ12に格納されている画像データに対して、ヒストグラム検出部13において、画面全体及びヒストグラムターゲット領域のRGB各色別のヒストグラム検出を行い、得られたRGB各色別のヒストグラムを、モニタ15に表示されている撮影画像上に合わせて表示する(ステップS39)。以上の動作ステップが終了キー(例えば十字キーの左側など)が押されるまで繰り返される(ステップS40)。そして、モニタ上に表示されているヒストグラムに基づいて最適なワンタッチホワイトバランス値の設定が確認されると、終了キーが押され、ワンタッチホワイトバランス値の設定動作が終了する(ステップS41)。
【0044】
このように、ワンタッチホワイトバランス値の設定に際しても、ワンタッチホワイトバランス値設定画面上に表示された白い紙の撮影画面が白くなるようにホワイトバランス値を設定するときに、同様に表示されているRGB各色別のヒストグラムを参照しながら客観的に適正であることを確認することができる。
【0045】
上記実施の形態に係る動作説明では、RGB各色別のヒストグラム表示を、ホワイトバランス値設定、ホワイトバランス補正値設定あるいはワンタッチホワイトバランス値設定に用いて、適正なホワイトバランス値あるいはホワイトバランス補正値を求めるようにした手法について説明したが、上記ヒストグラム表示は、通常の撮影時にも用いることができる。この通常撮影の場合には、RGB各色別のヒストグラムは必要とせず、図10に示すように、輝度分布のヒストグラムを表示するだけでよく、この輝度分布のヒストグラムは露出調整に用いることができる。
【0046】
なお、上記実施の形態の説明において、各色成分別のヒストグラムとして、RGB3原色の各色別のヒストグラムを検出して表示するようにしたものを示したが、表示する各色成分別のヒストグラムとしてはRGB3原色に限らず、例えば3原色中G成分はホワイトバランス値の設定において寄与度が低いので、省略して、R,B成分のみのヒストグラム(輝度分布)を検出して表示するようにしてもよい。また、補色系のCy(シアン),Mg(マゼンタ),Ye(イエロー)の3色成分のヒストグラムを検出して表示するようにしてもよく、更には色相成分Cb,Cr に関するヒストグラムを作成して表示するようにしてもよい。
【0047】
また、上記実施の形態においては、ホワイトバランス値設定画面あるいはホワイトバランス補正値設定画面の全画面及び画面中央に設定したヒストグラムターゲット領域のヒストグラムを表示させるようにしたものを示したが、画面中央領域に固定的に設定したヒストグラムターゲット領域は、移動できるようにすることもできる。例えば、図11に示すように、ヒストグラムターゲットを画面上方の青空部分に設定した場合には、ヒストグラムターゲット領域の輝度分布は青の輝度が高く、赤と緑は低輝度になり、これにより青空部分の鮮やかさを確認することが可能となる。なお、ヒストグラムターゲットの移動は、例えば、ヒストグラムターゲット表示ボタンと十字キーを同時に操作させて行うようにすればよい。
【0048】
また、上記実施の形態では、CPUの制御に基づく各部の動作によって本発明の各機能が達成されることについて説明した。一方、図4,6,8の各フローチャートにより説明されるようなホワイトバランス処理や表示処理の機能は、専らCPUがデジタルカメラに内蔵された不図示のEEPROM等の不揮発性メモリに予め記憶されたプログラムに従って達成することも可能である。CPUがこのプログラムに従って本発明の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能を実現する場合には、このプログラム自体及びそのプログラムを記憶した記憶媒体が、本発明を構成することになる。なお、このプログラムは、外部より記録媒体として、あるいは通信形式でデジタルカメラ等の撮像装置に供給することも可能である。
【0049】
また、上記実施の形態では、デジタルカメラへの適用を例として説明してきたが、本発明は携帯電話等のカメラ部に適用してもよいのは当然である。
【0050】
以上実施の形態について説明を行ったが、本発明の特徴とする構成並びにその構成に基づく効果の一例をまとめて示すと、次の通りである。
【0051】
本発明の第1の特徴とする構成は、請求項1に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、ホワイトバランス処理がなされた撮影画像信号に基づいて色成分別のヒストグラム処理を行って、得られた色成分別のヒストグラムを表示手段に表示するようにしているので、ホワイトバランスの具体的状態を容易に把握することができ、精度のよいホワイトバランス値を容易に調整設定することが可能となる。
【0052】
また、第2の特徴とする構成は、請求項2に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、画面全体と特定領域部分とに分けて色成分別のヒストグラム処理を行うようにしているので、全体部と検出部となる特定領域部分の色成分別のヒストグラム比較を容易に行うことができる。
【0053】
また、第3の特徴とする構成は、請求項3に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、画面全体に関するヒストグラムと特定領域部分に関するヒストグラムとを色成分別に比較可能に表示するようにしているので、画面全体に関するヒストグラムと特定領域部分のヒストグラムの比較が、より一層容易になる。
【0054】
また、第4の特徴とする構成は、請求項4に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、ホワイトバランスの設定画面を表示したときに色成分別のヒストグラムを合わせて表示するようにしているので、ホワイトバランスの設定画面と色成分別のヒストグラムの対比が容易になる。
【0055】
また、第5の特徴とする構成は、請求項5に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、色成分別のヒストグラムとホワイトバランスの調整条件に関する情報を合わせて表示するようにしているので、ホワイトバランスの具体的な状態と調整条件との対比を容易に行うことができる。
【0056】
また、第6の特徴とする構成は、請求項6に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、色成分別のヒストグラムと選択可能なホワイトバランスのモードの種類を示す情報とを合わせて表示するようにしているので、ヒストグラムを見ながら選択できるホワイトバランスのモード選択を容易に行うことができる。
【0057】
また、第7の特徴とする構成は、請求項7に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、色成分別のヒストグラムと、ヒストグラム処理された特定の色成分についての比率に関する情報とを合わせて表示するようにしているので、ホワイトバランスにおける色成分別の設定を容易に行うことができる。
【0058】
また、第8の特徴とする構成は、請求項8に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、色成分別のヒストグラムと撮影画像信号に基づく撮影画像を合わせて表示するようにしているので、撮影画像と色成分別のヒストグラムの対比ができ、ホワイトバランスの適否等の判断を更に容易に行うことができる。
【0059】
また、第9の特徴とする構成は、請求項9に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、色成分別のヒストグラムと合わせて表示される撮影画像にホワイトバランス検出領域を表示するようにしているので、ホワイトバランス検出領域の確認を容易に行うことができる。
【0060】
また、第10の特徴とする構成は、請求項10に記載したホワイトバランス処理装置の構成であり、このように構成されたホワイトバランス処理装置においては、最も一般的な色成分であるRGBの3つの色成分別にヒストグラム処理を行って表示するようにしているので、ホワイトバランスの具体的な状態の把握が一層容易になる。
【0061】
また、第11の特徴とする構成は、請求項11に記載したデジタルカメラの構成であり、このように構成されたデジタルカメラにおいては、上記のように構成されたホワイトバランス処理装置を備えているので、ホワイトバランス性能を向上させたデジタルカメラを実現することができる。
【0062】
また、第12の特徴とする構成は、請求項12に記載したホワイトバランス処理方法の構成であり、このように構成されたホワイトバランス処理方法においては、色成分別のヒストグラムを撮影画像と共に表示するようにしているので、撮影画像と色成分別のヒストグラムの対比ができ、ホワイトバランスの適否等の判断を容易に行いながらホワイトバランス処理を実行することができる。
【0063】
また、第13の特徴とする構成は、請求項13に記載したプログラムの構成であり、このように構成されたプログラムによれば、上記第12の特徴とするホワイトバランス処理をソフト的に達成することができる。
【0064】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、ホワイトバランス処理がなされた撮影画像信号に基づいて色成分別のヒストグラム処理を行い、得られた色成分別のヒストグラムを表示手段に表示するようにしているので、ホワイトバランスの具体的な状態を客観的に容易に把握することができ、ホワイトバランス値の設定や補正を高精度で適確に行うことが可能となる。
【図面の簡単な説明】
【図1】本発明に係るホワイトバランス処理装置の実施の形態を適用したジデタルカメラの構成を示すブロック図である。
【図2】本発明に係るホワイトバランス処理の基本手法を説明するため対比して示す、従来のホワイトバランス処理手法の説明図である。
【図3】本発明に係るホワイトバランス処理の基本手法を説明するための説明図である。
【図4】図1に示した実施の形態におけるホワイトバランス値の設定動作を説明するためのフローチャートである。
【図5】図4に示したフローチャートの動作を説明するための説明図である。
【図6】図1に示した実施の形態におけるホワイトバランス補正値の設定動作を説明するためのフローチャートである。
【図7】図6に示したフローチャートの動作を説明するための説明図である。
【図8】図1に示した実施の形態におけるワンタッチホワイトバランス値の設定動作を説明するためのフローチャートである。
【図9】図8に示したフローチャートの動作を説明するための説明図である。
【図10】ヒストグラム表示を露出調整に用いる態様を示す説明図である。
【図11】ヒストグラム表示におけるヒストグラムターゲット領域を移動できるようにした態様を示す説明図である。
【符号の説明】
1 レンズ
2 撮像素子
3 AGC・A/D変換回路
4 信号処理回路
5 ホワイトバランス処理部
6 ホワイトバランス検出部
7 プリセットホワイトバランス値記憶部
8 ワンタッチホワイトバランス値記憶部
9 ホワイトバランス補正部
10 ホワイトバランス入力切替スイッチ
11 ワンタッチホワイトバランス入力スイッチ
12 画像メモリ
13 ヒストグラム検出部
14 表示回路
15 モニタ
16 圧縮回路
17 記録読み出し回路
18 メディア
19 伸長回路
20 CPU
21 操作入力部

Claims (13)

  1. 撮影画像信号についてホワイトバランス処理を行うホワイトバランス処理手段と、該ホワイトバランス処理手段によりホワイトバランス処理がなされた前記撮影画像信号に基づいて、色成分別のヒストグラム処理を行う色ヒストグラム処理手段と、該色ヒストグラム処理手段による色成分別のヒストグラムを表示する表示手段とを備えたことを特徴とするホワイトバランス処理装置。
  2. 前記色ヒストグラム処理手段は、画面全体の前記撮影画像信号と画面内に設定された特定領域部分の前記撮影画像信号とに分けて、色成分別のヒストグラム処理を行うことを特徴とする請求項1に係るホワイトバランス処理装置。
  3. 前記表示手段は、色成分別に、前記色ヒストグラム処理手段による前記画面全体に関するヒストグラムと特定領域部分に関するヒストグラムとを比較可能に表示することを特徴とする請求項2に係るホワイトバランス処理装置。
  4. ホワイトバランスを設定するための設定画面を前記表示手段に表示するときに、前記表示手段に前記色成分別のヒストグラムを表示するように制御する表示制御手段を備えたことを特徴とする請求項1〜3のいずれか1項に係るホワイトバランス処理装置。
  5. 前記表示手段は、前記ホワイトバランス処理手段のホワイトバランスの調整条件に関する情報を合わせて表示することを特徴とする請求項1〜4のいずれか1項に係るホワイトバランス処理装置。
  6. 前記ホワイトバランスの調整条件に関する情報は、選択可能なホワイトバランスのモードの種類を示す情報であることを特徴とする請求項5に係るホワイトバランス処理装置。
  7. 前記ホワイトバランスの調整条件に関する情報は、前記ヒストグラム処理された特定の色成分についての比率に関する情報であることを特徴とする請求項5に係るホワイトバランス処理装置。
  8. 前記表示手段は、更に前記撮影画像信号に基づく撮影画像を合わせて表示することを特徴とする請求項1〜7のいずれか1項に係るホワイトバランス処理装置。
  9. 前記表示手段は、更に前記撮影画像にホワイトバランス検出領域を表示することを特徴とする請求項8に係るホワイトバランス処理装置。
  10. 前記色ヒストグラム処理手段は、RGBの3つの色成分別にヒストグラム処理を行うことを特徴とする請求項1〜9のいずれか1項に係るホワイトバランス処理装置。
  11. 請求項1〜10のいずれか1項に係るホワイトバランス処理装置を搭載したことを特徴とするデジタルカメラ。
  12. 撮影画像信号についてホワイトバランス処理を行い、前記ホワイトバランス処理がなされた前記撮影画像信号に基づいて色成分別のヒストグラム処理を行ない、前記色成分別のヒストグラムを前記撮影画像信号に基づく撮影画像と共に表示することを特徴とするホワイトバランス処理方法。
  13. 請求項12に係るホワイトバランス処理方法を実行するためのプログラム。
JP2002334852A 2002-07-15 2002-11-19 ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ Expired - Fee Related JP4090851B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002334852A JP4090851B2 (ja) 2002-11-19 2002-11-19 ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ
US10/620,118 US7525697B2 (en) 2002-07-15 2003-07-15 White balance processing apparatus and processing method thereof
CN 03125574 CN1232128C (zh) 2002-11-19 2003-09-19 白色平衡处理装置、白色平衡处理方法及数字照相机
US12/406,514 US8199372B2 (en) 2002-07-15 2009-03-18 White balance processing apparatus and processing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002334852A JP4090851B2 (ja) 2002-11-19 2002-11-19 ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ

Publications (2)

Publication Number Publication Date
JP2004172817A true JP2004172817A (ja) 2004-06-17
JP4090851B2 JP4090851B2 (ja) 2008-05-28

Family

ID=32699128

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002334852A Expired - Fee Related JP4090851B2 (ja) 2002-07-15 2002-11-19 ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ

Country Status (2)

Country Link
JP (1) JP4090851B2 (ja)
CN (1) CN1232128C (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086886A (ja) * 2004-09-16 2006-03-30 Ricoh Co Ltd 撮像システム
JP2006166132A (ja) * 2004-12-08 2006-06-22 Samsung Techwin Co Ltd カメラ及び輝度分布表示方法
WO2006103880A1 (ja) * 2005-03-29 2006-10-05 Konica Minolta Photo Imaging, Inc. 撮像装置
JP2007116589A (ja) * 2005-10-24 2007-05-10 Ricoh Co Ltd 画像処理装置およびその制御方法
JP2007335985A (ja) * 2006-06-12 2007-12-27 Olympus Imaging Corp 電子撮像装置及び電子撮像方法
JP2008028949A (ja) * 2006-07-25 2008-02-07 Canon Inc 撮像装置及び撮像方法
JP2009177674A (ja) * 2008-01-28 2009-08-06 Nikon Corp デジタルカメラ
JP2009267518A (ja) * 2008-04-22 2009-11-12 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに撮像装置
JP2010056621A (ja) * 2008-08-26 2010-03-11 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2010193007A (ja) * 2009-02-16 2010-09-02 Canon Inc 撮像装置
JP2011146957A (ja) * 2010-01-15 2011-07-28 Casio Computer Co Ltd 撮像装置、その制御方法およびプログラム
KR101167243B1 (ko) * 2005-04-29 2012-07-23 삼성전자주식회사 효과적으로 히스토그램을 디스플레이하기 위한 디지털 영상처리 장치의 제어 방법, 및 이 방법을 사용한 디지털 영상처리 장치
JP2015040966A (ja) * 2013-08-21 2015-03-02 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US9712756B2 (en) 2013-08-21 2017-07-18 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US9912927B2 (en) 2013-11-08 2018-03-06 Nubia Technology Co., Ltd. Method for adjusting white balance and device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4413258B2 (ja) * 2005-12-06 2010-02-10 パナソニック株式会社 デジタルカメラ、カメラボディ、カメラシステム、デジタルカメラの制御方法
JP6302554B2 (ja) * 2014-07-08 2018-03-28 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9307215B1 (en) * 2014-12-19 2016-04-05 Omnivision Technologies, Inc. Automatic white balance methods and systems for electronic cameras
CN106101680B (zh) * 2015-05-06 2018-12-25 小米科技有限责任公司 拍摄参数设置方法及装置
CN110891142A (zh) * 2019-10-15 2020-03-17 深圳酷派技术有限公司 一种夜景模式确定方法、装置、存储介质及终端

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006086886A (ja) * 2004-09-16 2006-03-30 Ricoh Co Ltd 撮像システム
JP4488508B2 (ja) * 2004-09-16 2010-06-23 株式会社リコー 撮像システム
JP4541859B2 (ja) * 2004-12-08 2010-09-08 サムスン・デジタル・イメージング・カンパニー・リミテッド カメラ及び輝度分布表示方法
JP2006166132A (ja) * 2004-12-08 2006-06-22 Samsung Techwin Co Ltd カメラ及び輝度分布表示方法
WO2006103880A1 (ja) * 2005-03-29 2006-10-05 Konica Minolta Photo Imaging, Inc. 撮像装置
KR101167243B1 (ko) * 2005-04-29 2012-07-23 삼성전자주식회사 효과적으로 히스토그램을 디스플레이하기 위한 디지털 영상처리 장치의 제어 방법, 및 이 방법을 사용한 디지털 영상처리 장치
JP2007116589A (ja) * 2005-10-24 2007-05-10 Ricoh Co Ltd 画像処理装置およびその制御方法
JP4684078B2 (ja) * 2005-10-24 2011-05-18 株式会社リコー 画像処理装置およびその制御方法
JP2007335985A (ja) * 2006-06-12 2007-12-27 Olympus Imaging Corp 電子撮像装置及び電子撮像方法
US8035697B2 (en) 2006-06-12 2011-10-11 Olympus Imaging Corp. Electronic imaging apparatus and method
JP2008028949A (ja) * 2006-07-25 2008-02-07 Canon Inc 撮像装置及び撮像方法
JP2009177674A (ja) * 2008-01-28 2009-08-06 Nikon Corp デジタルカメラ
JP2009267518A (ja) * 2008-04-22 2009-11-12 Sanyo Electric Co Ltd 画像処理装置及び画像処理方法並びに撮像装置
JP2010056621A (ja) * 2008-08-26 2010-03-11 Nikon Corp 画像処理装置、電子カメラおよび画像処理プログラム
JP2010193007A (ja) * 2009-02-16 2010-09-02 Canon Inc 撮像装置
JP2011146957A (ja) * 2010-01-15 2011-07-28 Casio Computer Co Ltd 撮像装置、その制御方法およびプログラム
JP2015040966A (ja) * 2013-08-21 2015-03-02 キヤノン株式会社 表示制御装置及びその制御方法、プログラム、並びに記憶媒体
US9712756B2 (en) 2013-08-21 2017-07-18 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US10003753B2 (en) 2013-08-21 2018-06-19 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US10313604B2 (en) 2013-08-21 2019-06-04 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US10506173B2 (en) 2013-08-21 2019-12-10 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US9912927B2 (en) 2013-11-08 2018-03-06 Nubia Technology Co., Ltd. Method for adjusting white balance and device

Also Published As

Publication number Publication date
JP4090851B2 (ja) 2008-05-28
CN1503575A (zh) 2004-06-09
CN1232128C (zh) 2005-12-14

Similar Documents

Publication Publication Date Title
US8199372B2 (en) White balance processing apparatus and processing method thereof
JP4090851B2 (ja) ホワイトバランス処理装置、ホワイトバランス処理方法及びデジタルカメラ
US7417671B2 (en) Image processing system capable of providing color correction
JP4028358B2 (ja) 撮像装置、表示制御方法、プログラム及び記録媒体
EP1100262B1 (en) Imaging device and method
US7626615B2 (en) Printer system and image processing system having image correcting function
US8830349B2 (en) Image capturing apparatus, image capturing method, and program
US20090027515A1 (en) Image pickup apparatus
JP4956581B2 (ja) 撮像装置、撮像装置のホワイトバランス処理方法、プログラム、及び記録媒体
US20040212691A1 (en) Automatic white balance adjusting method
JP5553230B2 (ja) 撮像装置および撮像処理方法
US7769289B2 (en) Camera and strobe device
US8149294B2 (en) Image capturing device which sets color conversion parameters based on an image sensor and separate light sensor
JP2006081037A (ja) 撮像装置
JP5211926B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
US20030108337A1 (en) Electronic instrument
JP5247900B2 (ja) 画像センサ補償
JP4332413B2 (ja) 撮像装置、撮像装置のホワイトバランス処理方法、撮像システムのホワイトバランス処理方法、プログラム、及び記憶媒体
JP2005064630A (ja) 撮像装置
JP4069690B2 (ja) 画像処理装置および電子カメラ
JP2005109999A (ja) ホワイトバランス調整方法およびカメラ
JP2002185972A (ja) 撮像装置
JP2007116589A (ja) 画像処理装置およびその制御方法
JP2012010238A (ja) 撮像装置
JPH11168747A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees