JP2003283922A - 電子カメラ - Google Patents

電子カメラ

Info

Publication number
JP2003283922A
JP2003283922A JP2002077652A JP2002077652A JP2003283922A JP 2003283922 A JP2003283922 A JP 2003283922A JP 2002077652 A JP2002077652 A JP 2002077652A JP 2002077652 A JP2002077652 A JP 2002077652A JP 2003283922 A JP2003283922 A JP 2003283922A
Authority
JP
Japan
Prior art keywords
data
image
light distribution
lens
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002077652A
Other languages
English (en)
Other versions
JP4053321B2 (ja
Inventor
Naoki Fujii
尚樹 藤井
Keiji Kunishige
恵二 国重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2002077652A priority Critical patent/JP4053321B2/ja
Publication of JP2003283922A publication Critical patent/JP2003283922A/ja
Application granted granted Critical
Publication of JP4053321B2 publication Critical patent/JP4053321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】ストロボ撮影画像において被写体距離や焦点距
離が変化しても常に良好な画質が得られる電子カメラを
提供する。 【解決手段】フラッシュメモリ14にはストロボ笠の配
光特性のみでなく、撮影レンズ周辺光量落ち特性、被写
体距離配光特性、焦点距離配光特性、ツインストロボの
各配光特性、撮影レンズ光軸と撮像素子位置特性に係わ
る補正用データテーブルが格納されている。撮影レンズ
部4で撮影され撮像素子5上に結像して得られた画像信
号は撮像処理部8でベイヤーデータ化されてDRAM1
1に格納される。画像処理部9はCPU6の制御の下
に、DRAM11からベイヤーデータを1画素ごとに読
み出し、フラッシュメモリ14からストロボ笠配光特性
や他の特性テーブルを読み出し、1画素ごとの配光係数
に、撮影レンズ部4の制御データから得られる被写体距
離及び焦点距離配と上記テーブルとから算出した1画素
ごとの感度補正係数を乗算した後、γ補正等を行って画
像データを生成する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ストロボ撮影画像
において変化する配光特性に応じて画素の感度を補正す
ることにより被写体距離や焦点距離が変化しても常に良
好な画質が得られる電子カメラに関する。
【0002】
【従来の技術】従来より、レンズと撮像素子を用いて被
写体を撮像し、その撮像した被写体の画像情報を記録し
て保存する各種の機器や装置が知られている。上記一方
のレンズは、被写体を撮像素子上に結像する役割を担う
が、このレンズの性能を左右する要素はさまざまで、例
えばレンズの解像度や中心と周辺の色収差の問題などが
ある。他方の撮像素子は、レンズを通して入ってきた光
を受けて、この光の強度を電気信号に変換する役割を担
うが、ほとんどの機器や装置では、撮像素子としてCC
Dを採用している。
【0003】図11は、そのようなCCD(Charge Coup
led Device)の構成を模式的に示す図である。同図に示
すようにCCD1は、多数の画素(ピクセル)2が縦横
に連続して配置されて構成される。この画素2が撮像素
子の最小単位である。それぞれの画素2の上には赤
(R)、緑(G)、青(B)など色の付いたフィルタ
(以下、カラー・フィルタという)が装着されている。
このようにカラー・フィルタを装着することによって、
ある画素2が、CCD1上に結像した光の画像のどのよ
うな色にどの程度反応をしているかの情報を得ることが
できる。
【0004】ただし、1つの画素2には一つのカラー・
フィルタしか装着できない。そこで、最終的なカラー画
像のデータは周りにある他の画素2の情報をもとに計算
により導き出す。例えば、同図の左から3列目、上から
3行目のRのカラー・フィルタが装着された画素2−r
について考えてみる。もし、このRの画素2−rがほと
んど反応せずに周辺のGの画素が大きく反応したとする
と、Rの画素2−rのところは緑色に近い映像があると
判断する。これをすべての画素について計算することに
よって被写体のカラー画像を復元することができる。上
記のようなカラー・フィルタの配列をベイヤー(Bay
er)配列といい、このようなベイヤー配列からなる撮
像データの画素1個毎のデータをベイヤーデータと言っ
ている。
【0005】ところで、このようなレンズと撮像素子を
用いて被写体を撮像し、その撮像した被写体の画像情報
を記録して保存する機器の例として、例えば特開平6−
303426号公報に見られる撮像装置が提案されてい
る。この撮像装置の例では、レンズと撮像素子を用いて
撮像した被写体の画像情報に、光源の照明ムラなどの配
光特性に応じた補正を施して、そのような光源の照明ム
ラなどの配光特性によって生じる画像の劣化を低減させ
る技術が開示されている。
【0006】上記の公報に見られる技術は、原稿等をC
CDラインセンサ等によって読み取る装置に係わる技術
であるから被写体距離や焦点距離は一定である。したが
って配光特性に応じた補正を行う場合、上記のように一
定の被写体距離や焦点距離に対応する配光特性を記憶し
ておき、単にこの配光特性に応じた補正を行うだけで良
い。
【0007】したがって、技術的にも処理は比較的容易
であり採用し易い技術であるが、他方では、被写体距離
や焦点距離が一定であるという分野に用途が限定される
技術でもある。
【0008】
【発明が解決しようとする課題】ところで、上記同様に
レンズと撮像素子を用いて被写体を撮像する機器の一つ
として電子カメラがある。そして、上記同様に電子カメ
ラも、その配光特性に光源の照射ムラなどがあると、画
像に明るさのムラなどが生じて画像が劣化する。したが
って、そのような配光特性に応じた補正を行う必要があ
る。
【0009】ところが、電子カメラは、被写体距離や焦
点距離等が変化するから、それに応じて配光特性も容易
に変化する。また、この変化する配光特性には各種の要
素が含まれている。したがって、被写体距離や焦点距離
が一定である場合における補正方法では容易に対処でき
ない。
【0010】本発明の課題は、上記従来の実情に鑑み、
ストロボ撮影画像において被写体距離や焦点距離が変化
しても常に良好な画質が得られる電子カメラを提供する
ことである。
【0011】
【課題を解決するための手段】本発明の電子カメラは、
レンズにより結像された被写体像を光電変換して画像デ
ータを得る撮像手段と、被写体に向けて発光を行うスト
ロボ手段と、を有する電子カメラであって、上記ストロ
ボ手段の被写体に対する配光特性を示す配光特性データ
に被写体距離及び焦点距離に係る情報のうち少なくとも
1つの情報を加味した配光特性データに基づいて、上記
撮像手段により得られた上記画像データの感度を、該画
像データに基づく画像を複数の領域に分割した分割領域
毎に補正する感度補正手段を備えて構成される。
【0012】上記感度補正手段は、例えば請求項2記載
のように、上記配光特性データに対し、上記レンズによ
る結像の上記レンズに起因する周辺光量低下の特性を示
すレンズ特性データを更に加味して上記画像データの感
度を補正するように構成される。
【0013】また、上記レンズ特性データは、例えば請
求項3記載のように、絞りに係る情報を更に加味してな
るものであるように構成され、また、例えば請求項4記
載のように、上記レンズの光軸と上記撮像手段における
上記撮像素子の中心とのずれに係る情報を更に加味して
なるものであるように構成される。
【0014】また、上記感度補正手段は、例えば請求項
5記載のように、上記ストロボ手段による発光を伴って
撮像された画像データをデータAとし、上記ストロボ手
段による発光を伴わずに撮像された同一態様の被写体の
画像データをデータBとし、上記データAから上記デー
タBを減算して得られる画像データをデータCとして、
該データCに対して感度補正を成し、該感度補正を成し
た上記データCに上記データBを加算して最終画像デー
タとするように構成される。
【0015】上記画像データは、例えば請求項6記載の
ように、CCD撮像素子出力のベイヤー配列を成す撮像
データの画素1個ごとのデータである。
【0016】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら説明する。図1は、一実施の形態におけ
る電子カメラの構成を示すブロック図である。同図に示
すように電子カメラ3は、撮影レンズ部4、撮像素子
5、電子カメラ3全体を制御するCPU6、このCPU
6にバス7を介して接続された撮像処理部8、画像処理
部9、圧縮伸張部10、DRAM11、AF/AE部1
2、LCD表示部13、CPU6の入出力ポートに直接
接続されたフラッシュメモリ14、操作部15、ストロ
ボ部16、上記撮影レンズ部4のズーム用レンズ17を
摺動駆動するズーム駆動モータ駆動回路18、絞り19
を駆動する絞り駆動モータ駆動回路20、フォーカス用
レンズ21を摺動駆動するフォーカス駆動モータ駆動回
路22等を備えている。また、圧縮伸張部10には外部
から着脱自在なメモリカード23が接続されている。
【0017】撮影レンズ部4は、被写体の映像を撮像素
子5の上に結像させる。撮像素子5は例えばCCD(Ch
arge Coupled Device )であり、撮影レンズ部4により
撮像素子5上に結像している被写体像を光電変換してそ
の被写体像の画像を示す電気信号を撮像処理部8に出力
する。
【0018】撮像処理部8は、撮像素子5を駆動させる
制御を行なうと共に、撮像素子5から出力される電気信
号に対し、ノイズ成分を低減させるCDS(Correlated
Double Sampling)や、信号レベルを安定化させるAG
C(Automatic Gain Control)などの処理を施した後、
アナログ信号である上記の電気信号をアナログ/デジタ
ル(AD)変換し、このデジタル変換された被写体像の
画像データをバス7に出力する。
【0019】CPU6は、上記のデジタル画像データ
(以下、単に画像データという)をDRAM11に格納
する。このCPU6は、中央演算処理部であり、フラッ
シュメモリ14に格納されている制御プログラムに従っ
て、DRAM11の所定の領域をワークエリアとして使
用しながら、この電子カメラ全体の動作を制御する。
【0020】また、CPU6は、ズーム用レンズ17の
レンズ位置またはレンズ位置に対応するステッピングモ
ータのステップ数に基づいて焦点距離を算出し、例えば
後述するAF/AE部12で得られる合焦点位置から被
写体距離を算出する。画像処理部9は、DRAM11に
格納されている画像データから画像をLCD表示部13
に再生表示するとき、又はその画像データを圧縮伸張部
10を介してメモリカード23に記録するとき、あるい
はメモリカード23に記録されている画像データから画
像を圧縮伸張部10を介してLCD表示部13に再生表
示するときに、その前処理として、明暗・彩度・色合い
などを補正するγ補正、色処理、WB(ホワイトバラン
ス)補正等をその画像データに対して施す処理を行う。
【0021】また、画像処理部9は、トリミングされた
画像の部分を原画像のサイズと同じサイズにリサイズす
る処理や、CPU6から送られてくる配光特性データや
レンズ特性データに基づいて、上記の画像データに対し
1画素毎に感度補正の処理などを行なう。
【0022】圧縮伸張部10は、画像処理部9から出力
される画像データを圧縮してメモリカード23に格納
し、また、メモリカード23から読み出した圧縮画像デ
ータを伸張して画像処理部9に出力し又はバス7を介し
てLCD表示分13に出力する。
【0023】DRAM11は、撮像処理部8から出力さ
れた画像データを1画面分格納するフレームメモリとし
て、また圧縮伸張部10による画像データ圧縮・伸張処
理における処理中の画像データの一時記憶用として、更
にはCPU6による演算処理や制御処理の実行のための
ワークエリアとして、それぞれ使用される。
【0024】AF/AE部12は、自動焦点調節部と自
動露出調節部とから成る。自動焦点調節部は撮像した画
像データからコントラスト情報を検出し、このコントラ
スト情報に基づいて焦点を自動的に調節する。自動露出
調節部は被写体から入る光量に応じて露出を自動的に調
節する。
【0025】LCD表示部13は、LCD表示装置とこ
のLCD表示装置を駆動するLCDドライバから成る。
LCD表示装置は、LCD(Liquid Crystal Display)
素子を有しており、LCDドライバによって駆動され、
DRAM11又はメモリカード23に保持されている画
像データに基づく画像を表示する。
【0026】フラッシュメモリ14は、電気的に書き換
え可能なROMであり、プログラム領域とデータ領域を
備えている。プログラム領域には、CPU6により実行
される制御プログラムがこの電子カメラの製造時におい
て予め格納されており、データ領域には、配光特性やレ
ンズ特性に係わる各種のデータや特性テーブルが、同じ
くこの電子カメラの製造時において予め格納されてい
る。
【0027】操作部15は、この電子カメラ3を使用す
る使用者が各種の指示をこの電子カメラ3に与えるため
に操作されるスイッチ群を備えており、特には図示しな
いが例えば、電子カメラ3の動作モードを設定するため
に操作されるモードボタン、撮像レンズ部4で撮像され
ている画像の記録を指示するレリーズボタンやズーム用
レンズ17をテレ(Tele)側またはワイド(Wid
e)側に移動させて焦点距離を変化させるズームを指示
するズームボタンを備えている。
【0028】また、更に操作部15には、各種設定を行
なうための画面であるメニュー表示をLCD表示部13
に表示させるメニューボタン、入力した内容を設定内容
として確定させるためのOKボタン、LCD表示部19
に表示させた各種のカーソルの位置を縦横に移動させる
ために操作される十字ボタン等が設けられている。
【0029】ストロボ部16は、テレ(Tele)用と
ワイド(Wide)用の2つのストロボを備えており、
操作部15からの入力指示により、CPU6にタイミン
グを制御されて、いずれか一つ又は2つ同時に発光す
る。図2は、上記のフラッシュメモリ14のデータ領域
に格納されているデータ構成を模式的に示す図である。
同図に示すように、フラッシュメモリ14のデータ領域
に格納されているデータは、1)ストロボ笠配光特性を
示すデータ、2)撮影レンズ周辺光量落ち特性を示すデ
ータ、3)被写体距離配光特性を示すデータ、4)焦点
距離配光特性を示すデータ、5)ツインストロボ配光特
性を示すデータ、6)撮影レンズ光軸と撮像素子位置特
性を示すデータ、及び7)その他となっている。その他
のデータには絞りデータなどが含まれている。
【0030】図3(a),(b) は、上記1)の「ストロボ笠
配光特性を示すデータ」について説明する図である。同
図(a) は水平方向の配光特性を示しており、縦軸に光量
を示し、横軸にストロボ笠配光の中心軸27を中心とす
る光の広がり範囲を示している。この図(a) に示す配光
特性Hは、配光の中心軸27の光量aを100%とし
て、その水平方向周囲の光量減衰度を示している。
【0031】これにより、図1に示す撮影レンズ部4の
レンズ光軸と撮像素子5の中心と且つ被写体面の中心と
が一致しているとしたときにおいて、撮像素子5上に結
像する画像の中心の光量を100%としたとき、撮像素
子5上において画像の中心から水平方向に並ぶ個々の画
素の受ける光量を割り出すことができる。
【0032】そして、この図(a) に示す水平方向の光量
減衰度では、配光特性Hに示すように、Wide端での
撮影時には中心の光量aから図の左方向へh1まで、図
の右方向へh4まで、図に示すような曲線を描いて光量
が減衰し、これが撮像素子5w上に結像する画像の明る
さに反映する。
【0033】また、Tele端での撮影時には、同じ曲
線を描いて中心の光量aから図の左方向へh2まで、図
の右方向へh3まで光量が減衰し、これが撮像素子5t
上に結像する画像の明るさに反映する。そして、同図
(b) は垂直方向の配光特性を示しており、横軸に光量を
示し縦軸にストロボ笠配光の中心軸27を中心とする光
の広がり範囲を示している。この図(b) に示す配光特性
Pは、配光の中心軸27の光量aを100%として、そ
の垂直方向周囲の光量減衰度を示している。
【0034】これにより、図1に示す撮影レンズ部4の
レンズ光軸と撮像素子5の中心と且つ被写体面の中心と
が一致しているとしたときにおいて、撮像素子5上に結
像する画像の中心の光量を100%としたとき、撮像素
子5上において画像の中心から垂直方向に並ぶ個々の画
素の受ける光量を割り出すことができる。
【0035】この、垂直方向の光量減衰度では、同図
(b) の配光特性Pに示すように、Wide端での撮影時
には中心の光量aから図の上方向へp1まで、図の下方
向へp4まで、図に示すような曲線を描いて光量が減衰
し、これが撮像素子5w上に結像する画像の明るさに反
映する。
【0036】また、Tele端での撮影時には、同じ曲
線を描いて中心の光量aから図の上方向へp2まで、図
の下方向へp3まで光量が減衰し、これが撮像素子5t
上に結像する画像の明るさに反映する。また、水平方向
と垂直方向の中間部分の方向の光量の減衰量について
は、それぞれ配光特性Hと配光特性Pを結ぶ曲面のデー
タとして得られる。
【0037】尚、同図(a),(b) では、配光特性の広がり
範囲に合わせて図示しているため撮像素子5wと撮像素
子5tの大きさが異なるが、実際は同一の撮像素子5を
示している。このようなストロボ笠の配光特性データ
は、同図(a),(b) に示す配光特性H及び配光特性Pで示
す曲線並びにそれらの曲線間を結ぶ曲面の、撮像素子5
の各画素(図11の画素2を参照)の位置に対応する感
度補正用データとしてテーブル化されて、フラッシュメ
モリ14の所定の領域に予め格納されている。
【0038】図4(a),(b) は、2)の「撮影レンズ周辺
光量落ち特性を示すデータ」について説明する図であ
る。同図(a),(b) は、いずれも横軸にレンズの中心から
周辺までの範囲を示し、縦軸にレンズを透過して集光さ
れる光量を示している。同図(a) はTele端撮影時の
撮影レンズ周辺光量落ちを示し、同図(b) はWide端
撮影時の撮影レンズ周辺光量落ちを示している。
【0039】同図(a),(b) に示す曲線C1、C2、C3
及びC4は、それぞれ点bを中心にして紙面奥行き方向
に回転させて形成される曲面の4半分の断面を示してい
る。したがって、以下、上記の曲線C1、C2、C3及
びC4を、曲面C1、C2、C3及びC4という。これ
は、あたかも撮像素子5上に浅い酒盃をかぶせた形状
(同図(a) の場合)又は茶碗をかぶせた形状(同図(b)
の場合)の曲面を示すものであり、撮影レンズ周辺光量
落ち特性は、このような曲面を描いて光量が減衰する特
性を有している。
【0040】そして、同図(a) に示すように、Tele
端撮影時では、絞りを絞り込んだときでは、曲面C1の
頂点である中心の光量bから曲面C1の円周c−1まで
光量が減衰する。また、絞りを開放したときでは、曲面
C1の頂点と同一の頂点を有する曲面C2の頂点の光量
bから、曲面C1よりも減衰度が大きい曲面C2に沿っ
て、その円周c−2まで光量が減衰する。
【0041】また、同図(b) に示すように、Wide端
撮影時では、絞りを絞り込んだときでは、曲面C3の頂
点である中心の光量bから曲面C3の円周c−3まで光
量が減衰する。そして絞りを開放したときでは、曲面C
3の頂点と同一の頂点を有する曲面C4の頂点の光量b
から、曲面C3よりも減衰度が大きい曲面C4に沿っ
て、その円周c−4まで光量が減衰する。
【0042】このように同図(a),(b) いずれの場合も、
絞りを絞り込んだときと開放したときとでは、光量減衰
度は異なり、絞り開放時のほうが絞り込んだときよりも
減衰度が大きい。このような撮影レンズ周辺光量落ちの
特性データも、同図(a),(b) に示す光量落ち特性C1、
C2、C3及びC4で示す曲面の、撮像素子5の各画素
の位置に対応する感度補正用データとしてテーブル化さ
れて、フラッシュメモリ14の所定の領域に予め格納さ
れている。
【0043】図5(a) 〜(e) は、3)の「被写体距離配
光特性を示すデータ」について説明する図であり、同図
(a) は遠近2つ被写体に対するストロボ光の配光と撮影
レンズ部及び撮像素子との関係を模式的に示す斜視図、
同図(b) は近距離の被写体に対するストロボ光の水平方
向の配光特性D1を示し、同図(c) は垂直方向の配光特
性D2を示している。また、同図(d) は遠距離の被写体
に対するストロボ光の水平方向の配光特性D3を示し、
同図(e) は垂直方向の配光特性D4を示している。
【0044】尚、同図(b) 及び(d) は、同図(a) に示す
ストロボ25の発光の、ストロボ笠26による配光の中
心軸27と近距離被写体面28a又は遠距離被写体面2
8bと交わる交点を含む垂直面から左右への配光特性を
示しており、同図(c) 及び(e) は、同じく配光の中心軸
27と近距離被写体面28a又は遠距離被写体面28b
と交わる交点を含む水平面から上下への配光特性を示し
ている。
【0045】したがって、ストロボ笠26の配光特性の
同図(b) 及び同図(d) に示す配光の中心軸27と被写体
面との交点を含む垂直面は、撮影レンズ部4のレンズ軸
29と一致(ストロボ25が撮影レンズ部4の真上にあ
る場合)しているが、同図(c) 及び同図(e) に示す配光
の中心軸27と被写体面との交点を含む水平面は、同図
(a) に示すように、近距離被写体面28aに対しては上
方にずれ、遠距離被写体面28bに対しては下方にずれ
ることになる。
【0046】但し、ストロボ光の光軸と撮影レンズの光
軸が水平方向(カメラ左右方向)では一致し、垂直方向
(カメラ上下方向)では、ずれるように、ストロボの配
置がレイアウトされ、かつ、所定の距離において、垂直
方向でストロボ光軸とレンズ光軸が交差するようストロ
ボ光軸を傾けている、ことが前提である。
【0047】すなわち、撮影レンズ部4のレンズ軸29
つまり撮像素子5の中心に対して、近距離被写体の場合
は同図(c) に示すように配光特性D2は上方に移動し、
遠距離被写体に対しては同図(e) に示すように配光特性
D4は下方に移動する。このような、被写体距離に応じ
たストロボの配光特性を示すデータも、撮像素子5の各
画素の位置に対応する感度補正用データとしてテーブル
化されて、フラッシュメモリ14の所定の領域に予め格
納されている。
【0048】図6(a) 〜(f) は、4)の「焦点距離配光
特性を示すデータ」について説明する図であり、同図
(a) はTele端撮影時の被写体に対するストロボ光の
配光と撮影レンズ部及び撮像素子との関係を模式的に示
す斜視図、同図(b) はその被写体に対するストロボ光の
水平方向の配光特性E1を示し、同図(c) は垂直方向の
配光特性E2を示している。
【0049】また、同図(d) はWide端撮影時の被写
体に対するストロボ光の配光と撮影レンズ部及び撮像素
子との関係を模式的に示す斜視図であり、同図(e) はそ
の被写体に対するストロボ光の水平方向の配光特性E3
を示し、同図(f) は垂直方向の配光特性E4を示してい
る。
【0050】尚、同図(a) 〜(f) に示す例では、ストロ
ボ25の発光のストロボ笠26による配光の中心軸は、
いずれも被写体面31又は32のほぼ中心と交わるよう
な配置となっており、撮影レンズ部4のレンズ軸29も
被写体面31又は32のほぼ中心と交わるような配置と
なっている。
【0051】同図(a) に示すように、Tele端におけ
る撮影では、被写体面31の範囲は狭められており、被
写体面31全体がストロボ光の配光範囲33の光量の多
い中心部に集中する。したがって、同図(b) に示す水平
方向の配光特性E1や同図(c) に示す垂直方向の配光特
性E2に見られるように、撮像素子5上に形成される被
写体像の中心から周辺部までの光量の減衰度は緩やかで
ある。
【0052】他方、同図(d) に示すWide端における
撮影では、同図(a) の場合と同一距離で、被写体面32
のみが広がる形となり、被写体面32の周辺部は、スト
ロボ光の配光範囲33の中心から端部近傍まで広がって
配置される。したがって、同図(e) に示す水平方向の配
光特性E3や同図(f) に示す垂直方向の配光特性E4に
見られるように、撮像素子5上に形成される被写体像の
中心から周辺部までの光量の減衰度の落差は大きくな
る。
【0053】このような、Tele端又はWide端に
対応する焦点距離の変化に応じた配光特性に係わるデー
タも、撮像素子5の各画素の位置に対応する感度補正用
データとしてテーブル化されて、フラッシュメモリ14
の所定の領域に予め格納されている。
【0054】図7(a),(b) は、5)の「ツインストロボ
配光特性を示すデータ」について説明する図であり、同
図(a) は配光範囲が広角のストロボAの配光曲線を示す
図、同図(b) は配光範囲が狭角のストロボBの配光曲線
を示す図である。同図(a) に示すストロボAは、120
度の広い配光角を持っており、配光曲線F1の有効距離
内にある被写体面35の中心部36における光量を10
0%とすると配光角の端部37における光量は50%で
ある。
【0055】また、同図(b) に示すストロボBは、30
度の狭い配光角を持っている。この場合も、配光曲線F
2の有効距離内にある被写体面38の中心部39におけ
る光量を100%とすると配光角の端部41における光
量は50%である。いずれの場合も配光角の中心36又
は39から配光角の端部37又は41まで100%〜5
0%の範囲で光量は順次減衰する。
【0056】このような、2種類のストロボの、それぞ
れの配光特性に応じたデータも、撮像素子5の各画素の
位置に対応する感度補正用データとしてテーブル化され
て、フラッシュメモリ14の所定の領域に予め格納され
ている。図8(a) 〜(f) は、6)の「撮影レンズ光軸と
撮像素子位置特性を示すデータ」について説明する図で
ある。同図(a) は工場の組み立て時において、撮影レン
ズ部4の有効撮影範囲42の中心(レンズ軸29)に撮
像素子5の中心5aが一致している配置状態を模式的に
示す図である。同図(b) は、その場合の撮像素子5の結
像面5´上の水平方向の光量特性G1を示し、同図(c)
は同じく撮像素子5の結像面5´上の垂直方向の光量特
性G2を示している。同図(b),(c) において、いずれも
撮像素子5の中心5aから四方周辺部にかけて点対称に
光量が減衰することを示している。
【0057】また、同図(d) は、工場の組み立て時にお
いて、撮影レンズ部4の有効撮影範囲42の中心(レン
ズ軸29)に対して撮像素子5の中心5aが位置ずれし
た配置となっている状態を模式的に示す図である。同図
(e) は、その場合の撮像素子5の結像面5´上の水平方
向の光量特性G3を示し、同図(f) は同じく撮像素子5
の結像面5´上の垂直方向の光量特性G4を示してい
る。同図(b),(c) の光量特性G3及びG4において、い
ずれも撮像素子5の中心5aから四方周辺部にかけての
光量減衰特性が、上記位置ずれしている分だけ偏りを見
せている。
【0058】上記の図8(a),(b),(c) の場合は、図4
(a),(b) に示した「撮影レンズ周辺光量落ち特性を示す
データ」そのままであるので、図4(a),(b) に示した
「撮影レンズ周辺光量落ち特性を示すデータ」を補正す
る必要は無いが、図8(d),(e),(f) の場合は、同図(e),
(f) に示す光量特性G3及びG4を用いて図4(a),(b)
に示した「撮影レンズ周辺光量落ち特性を示すデータ」
を補正する必要がある。
【0059】これらの「撮影レンズ光軸と撮像素子位置
特性を示すデータ」も、撮像素子5の各画素の位置に対
応する感度補正用データとしてテーブル化されて、フラ
ッシュメモリ14の所定の領域に予め格納されている。
これにより、工場組み立て時に、撮影レンズ部4の有効
撮影範囲42において撮像素子5に位置にずれが生じた
配置の構成となった場合でも、上記の感度補正用データ
を用いて補正することによって、他の組み立て品と全く
同様に、良質な撮像画像の得られる機能を備えた良品と
して出荷することができる。
【0060】図9(a),(b) は、上記構成における電子カ
メラ3による撮影画像の補正処理を説明するフローチャ
ートである。先ず、同図(a) に示すように、電子カメラ
3による被写体の撮影が行われる(S1)。この撮影に
よって撮影レンズ部4を通過した光が撮像素子5上に結
像する。
【0061】この結像に基づいて、撮像素子5からは結
像した撮影画像の光量に応じた各画素の電気信号が撮像
処理部8に出力される。撮像処理部8では、図1で述べ
た処理が施される。そしてこの撮影画像の画像データは
ベイヤーデータとしてDRAM11に格納される(S
2)。
【0062】このDRAM11に格納されたベイヤーデ
ータには、画像処理部9により、同図(b) に示す感度補
正処理が施される(S3)。同図(b) に示すように、上
記S3での感度補正処理が先ず開始されると(S30
1)、先ずDRAM11から1画素が読み出される(S
302)。この処理では、最初の処理周期ではベイヤー
データの最初の1画素が読み出され、次回の処理周期か
らは次に続く1画素が順次読み出される。
【0063】次に、フラッシュメモリ14から配光係数
が読み出される(S303)。この処理では、図3(a),
(b) に示した「ストロボ笠配光特性を示すデータ」で説
明した感度補正用データテーブルから、現在読み出し中
の1画素に対応するデータが、その1画素に対する配光
係数として読み出される。
【0064】続いて、各種情報を取得する(S30
4)。この処理では、図4乃至図8に示した「撮影レン
ズ周辺光量落ち特性を示すデータ」、「被写体距離配光
特性を示すデータ」、「焦点距離配光特性を示すデー
タ」、「ツインストロボ配光特性を示すデータ」、「撮
影レンズ光軸と撮像素子位置特性を示すデータ」でそれ
ぞれ説明した各感度補正用データテーブルから、現在読
み出し中の1画素に対応する被写体距離や焦点距離、絞
りの情報に応じたデータが、その1画素に対する感度補
正係数として読み出される。
【0065】これらの感度補正係数の値を上記配光係数
に適宜に加味して最終的な配光係数を生成する(S30
5)。この生成された配光係数を、現在読み出されてい
る1画素の画素データに乗算する(S306)。これに
より、読み出されている1画素の、ストロボ笠配光特性
に応じた配光補正と共に、撮影レンズ周辺光量落ち特
性、被写体距離配光特性、焦点距離配光特性、ツインス
トロボの各配光特性、撮影レンズ光軸と撮像素子位置特
性に係わる補正が行われる。
【0066】この補正後の1画素は、DRAM11に戻
される(307)。すなわちDRAM11の所定の位置
に書き込まれる。この書き込みは、上書きでもよく、他
の新しい領域に置き換えるようにしてもよい。続いて、
ベイヤーデータの全ての画素について処理が終了してい
るか否かを判別し(S308)、まだ終了していなけれ
ば(S308がN)、S302に戻って、S302〜S
308の処理を繰り返す。これにより、やがてベイヤー
データの全ての画素について感度補正を伴った配光補正
の処理が終了して、S308の判別で「Y」となって処
理が終了する(309)。これにより、すべての1画素
ごとに感度補正を伴った配光補正の処理が施されたベイ
ヤーデータがDRAM11に生成される。そして、同図
(a) のS4の処理に進む。
【0067】S4では、画像処理部9は、上記感度・配
光補正後のベイヤーデータに、更にγ補正、色処理、ホ
ワイトバランス補正等の画像処理を行って、表示装置に
直ちに表示できる形式の画像データを生成する。S5で
は、画像処理部9は、上記画像データを例えば圧縮伸張
部10を介してメモリカード23等の記録装置に記録す
る。あるいはLCD表示部13に表示する。そして、こ
の撮影の処理を終了する(S6)。
【0068】このように、図3で説明したストロボ発光
の配光特性データに、図4で説明した撮像レンズ周辺光
量落ち特性を単に加味して補正するだけでなく、その図
4から図7までで説明した被写体距離や焦点距離の変化
による配光特性の変化や、Tele用及びWide用の
ツインストロボ配光特性、その他の撮影条件に基づく種
々の特性、あるいは図8で説明した工場出荷時から固定
されている特性等をも加味して補正した配光特性データ
を用いて画素ごとの感度を補正するので、ストロボ撮影
画像において被写体距離や焦点距離が変化しても常に良
好な撮影画質が得られ、これにより電子カメラの信頼性
が向上する。
【0069】また、配光特性の変化による出来上がり画
像の劣化の心配が無いので、ストロボ傘を小型化するこ
とができ、したがって、電子カメラの小型化が促進さ
れ、これにより電子カメラの使い勝手が向上して便利で
ある。ところで、例えば人物等を主たる被写体とし、風
景等の遠景を背景にした早朝や薄暮の中での撮影では、
ストロボを焚くと主たる被写体の人物のみが浮き立って
添景の背景が霞んでしまい、ストロボを用いないと人物
も背景も同程度に写るが、背景の中に人物が埋没して人
物が引き立たない、という場合がある。
【0070】このような場合に、ストロボの光量を落と
し気味にして背景が霞まないようにして撮影し、この撮
影画像の配光部分つまり人物の映像部分の画像データの
みを切り分け、この切り分けた人物の映像部分の画像デ
ータに上述した感度・配光特性の補正を行ってから、切
り分けてある背景データと一体化させるようにすると、
早朝や薄暮の中での撮影でも、主たる被写体の人物とそ
の背景とがともに明瞭な撮影画像が得られる。
【0071】図10は、上記の主たる被写体を背景から
切り分けて補正する機能を更に強化して行う例を示す処
理のフローチャートである。この処理では、先ず主たる
被写体を同一態様に固定させ、カメラも三脚等で固定し
てから行う。同図において、先ず、ストロボを焚いて撮
影する(S1001)。これにより主たる被写体である
人物を主体に配光された撮影画像データが得られる。
【0072】次に、ストロボを焚かずに撮影する(S1
002)。これにより、背景中に人物が埋没した撮影画
像データが得られる。続いて、上記ストロボを焚いて
撮影したときの配光係数を演算する(S1003)。こ
の処理は、図9(b) で説明したS302〜S305の処
理と同一の処理である。
【0073】次に、撮影画像データから撮影画像デー
タを減算したデータの各画素ごとに上記演算で得られ
ている配光係数を積算し、得られた画像データに撮影画
像データを加算する(S1004)。これにより、ス
トロボの発光により浮き出すように撮影され、且つ感度
・配光特性で補正された人物像の画像データと、ストロ
ボ無しで明瞭に撮影された背景の画像データとが合体さ
れる。
【0074】この後、上記合体画像データに画像処理を
行って(S1005)、これを記録し(S1006)、
処理を終了する。上記S1005とS1006の処理
は、図9(a) に示したS4とS5の処理と同一の処理で
ある。このような撮影方法によって、上述した主たる被
写体を背景から切り分けて感度・配光の補正を行う場合
の本発明の機能が更に強化される。
【0075】尚、撮像素子のカラー・フィルタには前述
したR、G、Bの3色で構成する原色系と、R、G、B
の補色であるシアン(Cy)、マゼンタ(Mg)、黄色
(Ye)にGを加えた4色で構成する補色系の2方式が
あるが、上述した各種の配光特性で画素の感度を補正す
る処理は、いずれの方式にも適用できる。
【0076】また、ストロボ笠の配光特性データに、そ
の他の特性を加味して配光特性を生成しているが、各種
特性を加味した配光係数をテーブルとして記憶しておい
てもいよい。更に、1画素ずつ感度を補正しているが、
複数画素単位でまとめて感度を補正するように構成して
もよい。
【0077】
【発明の効果】以上詳細に説明したように、本発明によ
れば、ストロボ発光の配光特性データに、単に撮像レン
ズ周辺光量落ち特性を加味して補正するだけでなく、被
写体距離や焦点距離の変化による配光特性の変化分をも
加味して補正した配光特性データを用いて画素ごとの感
度を補正するので、ストロボ撮影画像において被写体距
離や焦点距離が変化しても常に良好な撮影画質が得ら
れ、これにより電子カメラの信頼性が向上する。
【0078】また、配光特性の変化による出来上がり画
像の劣化の心配が無いので、ストロボ傘を小型化するこ
とができ、したがって、電子カメラの小型化が促進さ
れ、これにより電子カメラの使い勝手が向上して便利で
ある。
【図面の簡単な説明】
【図1】一実施の形態における電子カメラの構成を示す
ブロック図である。
【図2】一実施の形態における電子カメラのフラッシュ
メモリのデータ領域に格納されているデータ構成を模式
的に示す図である。
【図3】(a),(b) はフラッシュメモリ内の「ストロボ笠
配光特性を示すデータ」について説明する図である。
【図4】(a),(b) はフラッシュメモリ内の「撮影レンズ
周辺光量落ち特性を示すデータ」について説明する図で
ある。
【図5】(a) 〜(e) はフラッシュメモリ内の「被写体距
離配光特性を示すデータ」について説明する図である。
【図6】(a) 〜(f) はフラッシュメモリ内の「焦点距離
配光特性を示すデータ」について説明する図である。
【図7】(a),(b) はフラッシュメモリ内の「ツインスト
ロボ配光特性を示すデータ」について説明する図であ
る。
【図8】(a) 〜(f) はフラッシュメモリ内の「撮影レン
ズ光軸と撮像素子位置特性を示すデータ」について説明
する図である。
【図9】(a),(b) は本発明の電子カメラによる撮影画像
の補正処理を説明するフローチャートである。
【図10】主たる被写体を背景から切り分けて補正する
機能を更に強化して行う例を示す処理のフローチャート
である。
【図11】CCD(Charge Coupled Device)の構成を模
式的に示す図である。
【符号の説明】
1 CCD 2、2−r 画素(ピクセル) 3 電子カメラ 4 撮影レンズ部 5 撮像素子 5a 撮像素子中心 5´ 撮像素子結像面 6 CPU 7 バス 8 撮像処理部 9 画像処理部 10 圧縮伸張部 11 DRAM 12 AF/AE部 13 LCD表示部 14 フラッシュメモリ 15 操作部 16 ストロボ部 17 ズーム用レンズ 18 ズーム駆動モータ駆動回路 19 絞り 20 絞り駆動モータ駆動回路 21 フォーカス用レンズ 22 フォーカス駆動モータ駆動回路 23 メモリカード 25 ストロボ 26 ストロボ笠 27 ストロボ配光中心軸 28a 近距離被写体面 28b 遠距離被写体面 29 レンズ軸 31、32 被写体面 33 ストロボ光配光範囲 35、38 被写体面 36、39 配光角中心部 37、41 配光角端部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H002 CD00 DB02 DB14 DB24 DB31 EB00 EB11 EB13 EB14 FB22 FB24 FB32 FB37 FB38 GA31 GA35 JA07 2H053 AA00 AA05 AD00 DA03 5C022 AA13 AB02 AB15 AB20 AB22 AB66 AC03 AC26 AC42 AC74 5C065 AA03 BB02 BB12 BB41 BB48 CC01 DD02 EE06 EE07 GG12 GG15 GG18 GG30 GG31

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 レンズにより結像された被写体像を光電
    変換して画像データを得る撮像手段と、被写体に向けて
    発光を行うストロボ手段と、を有する電子カメラであっ
    て、 上記ストロボ手段の被写体に対する配光特性を示す配光
    特性データに被写体距離及び焦点距離に係る情報のうち
    少なくとも1つの情報を加味した配光特性データに基づ
    いて、前記撮像手段により得られた前記画像データの感
    度を、該画像データに基づく画像を複数の領域に分割し
    た分割領域毎に補正する感度補正手段を備えたことを特
    徴とする電子カメラ。
  2. 【請求項2】 前記感度補正手段は、前記配光特性デー
    タに対し、前記レンズによる結像の前記レンズに起因す
    る周辺光量低下の特性を示すレンズ特性データを更に加
    味して前記画像データの感度を補正することを特徴とす
    る請求項1記載の電子カメラ。
  3. 【請求項3】 前記レンズ特性データは、絞りに係る情
    報を更に加味してなるものであることを特徴とする請求
    項2記載の電子カメラ。
  4. 【請求項4】 前記レンズ特性データは、前記レンズの
    光軸と前記撮像手段における前記撮像素子の中心とのず
    れに係る情報を更に加味してなるものであることを特徴
    とする請求項2又は3記載の電子カメラ。
  5. 【請求項5】 前記感度補正手段は、前記ストロボ手段
    による発光を伴って撮像された画像データをデータAと
    し、前記ストロボ手段による発光を伴わずに撮像された
    同一態様の被写体の画像データをデータBとし、前記デ
    ータAから前記データBを減算して得られる画像データ
    をデータCとして、該データCに対して感度補正を成
    し、該感度補正を成した前記データCに前記データBを
    加算して最終画像データとすることを特徴とする請求項
    1、2、3又は4記載の電子カメラ。
  6. 【請求項6】 前記画像データは、CCD撮像素子出力
    のベイヤー配列を成す撮像データの画素1個ごとのデー
    タであることを特徴とする請求項1、2又は5記載の電
    子カメラ。
JP2002077652A 2002-03-20 2002-03-20 電子カメラ Expired - Fee Related JP4053321B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002077652A JP4053321B2 (ja) 2002-03-20 2002-03-20 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002077652A JP4053321B2 (ja) 2002-03-20 2002-03-20 電子カメラ

Publications (2)

Publication Number Publication Date
JP2003283922A true JP2003283922A (ja) 2003-10-03
JP4053321B2 JP4053321B2 (ja) 2008-02-27

Family

ID=29228049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002077652A Expired - Fee Related JP4053321B2 (ja) 2002-03-20 2002-03-20 電子カメラ

Country Status (1)

Country Link
JP (1) JP4053321B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530375A2 (en) * 2003-11-06 2005-05-11 OmniVision Technologies, Inc. Lens correction using processed yuv data
KR100682975B1 (ko) 2004-11-01 2007-02-15 한국전자통신연구원 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라
EP1950979A1 (en) 2007-01-25 2008-07-30 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
WO2009116652A1 (en) * 2008-03-21 2009-09-24 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
US7702235B2 (en) 2007-01-25 2010-04-20 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
WO2012086139A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 撮像装置および画像データ形成方法
JP2013059082A (ja) * 2012-10-31 2013-03-28 Canon Inc 撮像装置及びその制御方法
JP2015053683A (ja) * 2007-01-09 2015-03-19 カプソ・ビジョン・インコーポレイテッドCapso Vision, Inc. カプセルカメラにおける製造ばらつき及び設計的不完全性を補正する方法
JP2015220607A (ja) * 2014-05-16 2015-12-07 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US10005682B1 (en) 2009-10-02 2018-06-26 Tersano Inc. Holding tank-less water ozonating system

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1530375A3 (en) * 2003-11-06 2008-03-26 OmniVision Technologies, Inc. Lens correction using processed yuv data
EP1530375A2 (en) * 2003-11-06 2005-05-11 OmniVision Technologies, Inc. Lens correction using processed yuv data
KR100682975B1 (ko) 2004-11-01 2007-02-15 한국전자통신연구원 디지털 카메라 시스템의 비네팅 현상 제거 방법 및 이를적용한 디지털 카메라
JP2015053683A (ja) * 2007-01-09 2015-03-19 カプソ・ビジョン・インコーポレイテッドCapso Vision, Inc. カプセルカメラにおける製造ばらつき及び設計的不完全性を補正する方法
US7702235B2 (en) 2007-01-25 2010-04-20 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
US8009978B2 (en) 2007-01-25 2011-08-30 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
EP1950979A1 (en) 2007-01-25 2008-07-30 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
US8306412B2 (en) 2007-01-25 2012-11-06 Research In Motion Limited Handheld electronic device and camera providing flash compensation of images, and associated method
US8693862B2 (en) 2007-01-25 2014-04-08 Blackberry Limited Handheld electronic device and camera providing flash compensation of images, and associated method
JP2009232118A (ja) * 2008-03-21 2009-10-08 Canon Inc 撮像装置及びその制御方法
WO2009116652A1 (en) * 2008-03-21 2009-09-24 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
KR101211960B1 (ko) * 2008-03-21 2012-12-27 캐논 가부시끼가이샤 촬상장치 및 그 제어 방법
US9338365B2 (en) 2008-03-21 2016-05-10 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor
US8885071B2 (en) 2008-03-21 2014-11-11 Canon Kabushiki Kaisha Image pickup apparatus and control method for flash distribution
US10005682B1 (en) 2009-10-02 2018-06-26 Tersano Inc. Holding tank-less water ozonating system
WO2012086139A1 (ja) * 2010-12-22 2012-06-28 パナソニック株式会社 撮像装置および画像データ形成方法
JP2012134794A (ja) * 2010-12-22 2012-07-12 Panasonic Corp 撮像装置及び画像データ形成方法
JP2013059082A (ja) * 2012-10-31 2013-03-28 Canon Inc 撮像装置及びその制御方法
JP2015220607A (ja) * 2014-05-16 2015-12-07 株式会社リコー 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
JP4053321B2 (ja) 2008-02-27

Similar Documents

Publication Publication Date Title
JP3480446B2 (ja) デジタルカメラ
JP3680827B2 (ja) デジタルカメラ
JP3551123B2 (ja) 電子カメラ
JP5642433B2 (ja) 撮像装置及び画像処理方法
US20100026835A1 (en) Image sensing apparatus and method for controlling the same
JP2006121612A (ja) 撮像装置
US6710801B1 (en) Image taking and processing device for a digital camera and method for processing image data
JP3912404B2 (ja) 撮像装置
JP5219268B2 (ja) 撮像装置およびフラッシュの制御方法
JP4265029B2 (ja) 画像取り込み装置および交換レンズ
JP4053321B2 (ja) 電子カメラ
JP2003018445A (ja) 画像撮像装置
JP4993670B2 (ja) 撮像装置及びその制御方法
US9912873B2 (en) Image pickup apparatus equipped with display section and method of controlling the same
JP5157597B2 (ja) 交換レンズ式デジタルカメラ、仮想撮影画像生成方法および仮想撮影画像表示方法
JP4475118B2 (ja) カメラ装置、ホワイトバランスブラケティング撮影方法
JP2006157342A (ja) カメラモジュール
JP2005109999A (ja) ホワイトバランス調整方法およびカメラ
JP4875399B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP5597942B2 (ja) 電子カメラ
JP4881113B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および記憶媒体
JP2004304695A (ja) ホワイトバランス調整方法
JP2006295774A (ja) 撮像装置、撮像装置の制御方法および、デジタルカメラ用画像処理プログラム
JP2012227744A (ja) 撮像装置
JP2017225036A (ja) 撮像装置及び画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees