JP2003283924A - 撮像装置、画像処理システム、撮像方法、及びプログラム - Google Patents

撮像装置、画像処理システム、撮像方法、及びプログラム

Info

Publication number
JP2003283924A
JP2003283924A JP2002087216A JP2002087216A JP2003283924A JP 2003283924 A JP2003283924 A JP 2003283924A JP 2002087216 A JP2002087216 A JP 2002087216A JP 2002087216 A JP2002087216 A JP 2002087216A JP 2003283924 A JP2003283924 A JP 2003283924A
Authority
JP
Japan
Prior art keywords
image
strobe
unit
subject
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002087216A
Other languages
English (en)
Other versions
JP3828822B2 (ja
Inventor
Masahiko Sugimoto
雅彦 杉本
Koichi Sakamoto
浩一 坂本
Koji Fukuda
浩司 福田
Atsuhiko Ishihara
淳彦 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2002087216A priority Critical patent/JP3828822B2/ja
Publication of JP2003283924A publication Critical patent/JP2003283924A/ja
Application granted granted Critical
Publication of JP3828822B2 publication Critical patent/JP3828822B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 ストロボの発光強度が不足しても、画像の明
るさを適切に補正する撮像装置を提供する。 【解決手段】 デジタルカメラ10は、ストロボ36が
発光した状態で被写体の画像を取得する撮像部20と、
画像が取得されたときのストロボ36の発光強度を判断
するストロボ判断部18とを備える。また、ストロボ3
6を発光させるための電荷を蓄積するコンデンサ16を
更に備え、ストロボ判断部18は、ストロボ36が発光
する前のコンデンサ16の電圧に基づいて、発光強度を
判断してもよい。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮像装置、画像処
理システム、撮像方法、及びプログラムに関する。特に
本発明は、被写体の画像を取得したときのストロボの発
光強度を判断する撮像装置に関する。
【0002】
【従来の技術】従来、デジタルカメラなどの撮像装置に
おいて、ユーザの作画意図を反映した画像を取得するた
めに、取得した画像に自動補正を行うものが提案されて
いる。特開平2−85834号公報には、ストロボ固有
の色温度情報をストロボから取得し、取得した色温度情
報に応じて撮像信号のホワイトバランスを調整する電子
スチルカメラが開示されている。また、特開2000−
236556号公報には、撮像した画像に、ストロボの
フラット発光の色温度に応じた色温度補正を行う撮像装
置が開示されている。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
画像処理装置は、ストロボの発光強度が不足した場合
に、取得した画像の明るさを補正することは出来なかっ
た。
【0004】そこで本発明は、上記の課題を解決するこ
とのできる撮像装置、画像処理システム、撮像方法、及
びプログラムを提供することを目的とする。この目的は
特許請求の範囲における独立項に記載の特徴の組み合わ
せにより達成される。また従属項は本発明の更なる有利
な具体例を規定する。
【0005】
【課題を解決するための手段】即ち、本発明の第1の形
態によると、被写体を撮像する撮像装置は、ストロボが
発光した状態で被写体の画像を取得する撮像部と、画像
が取得されたときのストロボの発光強度を判断するスト
ロボ判断部とを備える。
【0006】発光強度に基づいて、画像の明るさを補正
する明るさ補正部を更に備えてもよい。また、被写体ま
での距離を測定する測距部を更に備え、明るさ補正部
は、測定された距離に更に基づいて、画像の明るさを補
正してもよい。
【0007】ストロボが発光するための電力を供給する
バッテリを更に備え、ストロボ判断部は、ストロボが発
光する前のバッテリの充電量に基づいて、発光強度を判
断してもよい。また、ストロボを発光させるための電荷
を蓄積するコンデンサを更に備え、ストロボ判断部は、
ストロボが発光する前のコンデンサの電圧に基づいて、
発光強度を判断してもよい。
【0008】ストロボ判断部は、ストロボが発光した後
の電圧に更に基づいて発光強度を判断してもよい。ま
た、被写体の明るさを測定する測光部を更に備え、スト
ロボ判断部は、ストロボが発光していないときの被写体
の明るさと、ストロボが発光したときの被写体の明るさ
とに基づいて、発光強度を判断してもよい。
【0009】本発明の第2の形態によると、被写体の画
像を撮像する撮像装置と、画像に対して画像処理を行う
画像処理装置とを備える画像処理システムは、撮像装置
が、ストロボが発光した状態で画像を取得する撮像部
と、画像が取得されたときのストロボの発光強度を判断
するストロボ判断部と、判断された発光強度と画像とを
関連づけて画像処理装置に送信する送信部とを有する。
【0010】画像処理装置は、発光強度と画像とを受信
する受信部と、発光強度に基づいて画像の明るさを補正
する明るさ補正部とを有してもよい。また、受信部は、
画像が取得されたときの撮像装置と被写体との距離を示
す被写体距離を更に受信し、明るさ補正部は、被写体距
離と発光強度とに基づいて画像の明るさを補正してもよ
い。
【0011】本発明の第3の形態によると、被写体を撮
像する撮像方法は、ストロボが発光した状態で被写体の
画像を取得するステップと、画像が取得されたときのス
トロボの発光強度を判断するステップとを備える。
【0012】本発明の第4の形態によると、被写体を撮
像する撮像装置用のプログラムは、撮像装置を、ストロ
ボが発光した状態で被写体の画像を取得する撮像手段、
画像が取得されたときのストロボの発光強度を判断する
ストロボ判断手段として機能させる。
【0013】なお上記の発明の概要は、本発明の必要な
特徴の全てを列挙したものではなく、これらの特徴群の
サブコンビネーションも又発明となりうる。
【0014】
【発明の実施の形態】以下、発明の実施の形態を通じて
本発明を説明するが、以下の実施形態はクレームにかか
る発明を限定するものではなく、又実施形態の中で説明
されている特徴の組み合わせの全てが発明の解決手段に
必須であるとは限らない。
【0015】図1は、本発明の一実施形態に係る画像処
理システム500の一例を示す。画像処理システム50
0は、デジタルカメラ10、プリンタ200、及びパー
ソナルコンピュータ400を備える。デジタルカメラ1
0、プリンタ200、及びパーソナルコンピュータ40
0は、互いにデータ伝送路を介してデータの送受信を行
う。データ伝送路は、例えば、IEEE1394、US
B等の有線通信媒体や、IrDA、ブルートゥース、無
線LAN等の無線通信媒体である。データ伝送路は、有
線通信媒体及び無線通信媒体を複数用いたネットワーク
網、例えばインターネット網であってもよい。また、デ
ジタルカメラ10、プリンタ200、及びパーソナルコ
ンピュータ400間のデータの受け渡しは、リムーバブ
ルメディア等の記録媒体を用いてもよい。
【0016】なお、デジタルカメラ10は、本発明の撮
像装置の一例である。デジタルカメラ10は、静止画を
撮影するデジタルスチルカメラであってもよく、動画を
撮影するデジタルビデオカメラであってもよい。また、
プリンタ200及びパーソナルコンピュータ400は、
本発明の画像処理装置の一例である。本発明の画像処理
装置は、デジタルカメラで撮影した画像の画質等を自動
調整して印刷するラボ用印刷装置であってもよい。
【0017】デジタルカメラ10は、被写体の距離や明
るさに基づいて決定したオート撮像条件、又はユーザの
設定に基づいたマニュアル撮像条件で被写体の画像を撮
像する。デジタルカメラ10は、撮像条件がストロボを
発光するという条件である場合、画像が撮像されたとき
のストロボの発光強度を判断する。そして、デジタルカ
メラ10は、撮像した画像と判断した発光強度とを対応
付けてプリンタ200又はパーソナルコンピュータ40
0に送信する。デジタルカメラ10は、更に画像が取得
されたときのデジタルカメラ10から被写体までの距離
を測定して、取得した画像に対応付けてプリンタ200
又はパーソナルコンピュータ400に送信してもよい。
【0018】プリンタ200又はパーソナルコンピュー
タ400は、デジタルカメラ10から、互いに対応づけ
られた画像及び発光強度を受信する。プリンタ200又
はパーソナルコンピュータ400は、画像が取得された
ときの被写体までの距離を更に取得してもよい。そし
て、プリンタ200又はパーソナルコンピュータ400
は、画像に対応付けられた発光強度に基づいて、画像の
明るさを補正する。そして、プリンタ200又はパーソ
ナルコンピュータ400は、明るさを補正した画像を出
力する。即ち、プリンタ200は画像を印刷し、パーソ
ナルコンピュータ400は、画像をモニタに表示する。
【0019】なお、デジタルカメラ10は、判断した発
光強度に基づいて、画像を補正してもよい。この場合、
プリンタ200又はパーソナルコンピュータ400は、
デジタルカメラ10から受信する画像の明るさを補正し
なくてもよい。
【0020】図2は、本実施形態に係るデジタルカメラ
10の機能構成の一例を示す。図2において、実線によ
る矢印は、画像データの流れ、測定データの流れ、又は
電力供給の向きを示し、点線による矢印は、制御信号の
流れを示す。デジタルカメラ10は、所定の電圧が印加
されると発光するストロボ36、ストロボ36が発光し
たときに被写体の画像を取得する撮像部20、画像が取
得されたときのストロボ36の発光強度を判断するスト
ロボ判断部18、発光強度に基づいて画像の明るさを補
正する明るさ補正部142、画像をプリンタ200又は
パーソナルコンピュータ400に送信する送信部13
2、ストロボ36に所定の電圧を印加するために電荷を
蓄積するコンデンサ16、コンデンサ16への電荷の供
給(充電)及び電荷の放出(放電)を制御する充放電制
御部17、ストロボ36が発光するための電力をコンデ
ンサ16を介して供給するバッテリ12、被写体の明る
さを測定する測光部14、及びデジタルカメラ10から
被写体までの距離を測定する測距部15を有する。
【0021】バッテリ12は、充放電制御部17の制御
に基づいて、コンデンサ16に電流を供給する。コンデ
ンサ16は、充放電制御部17の制御に基づいて、バッ
テリ12から電流の供給を受け、電荷を蓄積する。ここ
で、レリーズスイッチの半押しなどのユーザ操作が行わ
れると、測光部14は、被写体の明るさを測定し、測距
部15は、デジタルカメラ10から被写体までの距離を
測定する。そして、撮像系CPUは、測定された被写体
の明るさ及び距離に基づいて、ストロボ36の発光条件
及び撮像部20の撮像条件を決定する。
【0022】続いて、レリーズスイッチの全押し等のユ
ーザ操作が行われると、先ず、ストロボ判断部18は、
バッテリ12の充電量、及びコンデンサ16の電圧を参
照する。充放電制御部17は、撮像系CPUが決定した
発光条件でストロボ36を発光させるべく、コンデンサ
16の放電を制御する。コンデンサ16は、充放電制御
部17の制御に基づいて、蓄積した電荷を放出し、スト
ロボ36に電圧を印加する。そして、ストロボ36は、
コンデンサ16から印加された電圧に応じた強度で発光
する。充放電制御部17は、一回の撮像につき、コンデ
ンサ16が蓄積した電荷をパルス電流として放出するこ
とによって、ストロボ36をパルス状に複数回発光させ
てもよい。撮像部20は、ストロボ36が発光したタイ
ミングに合わせて、被写体の画像を取得する。
【0023】ストロボ判断部18は、バッテリ12、コ
ンデンサ16、及び測光部14からの情報に基づいて、
ストロボ36が発光した発光強度を判断する。具体的に
は、ストロボ判断部18は、ストロボ36が発光する前
のバッテリ12の充電量に基づいて、ストロボ36の発
光強度を判断する。例えば、バッテリ12の充電量が予
め定められた基準値よりも少ない場合、ストロボ判断部
18は、ストロボ36の発光強度が不足していたと判断
する。これにより、ストロボ判断部18は、バッテリ1
2の充電量不足が引き起こす、コンデンサ16の充電不
足、ストロボ36への印加電圧不足、そしてストロボ3
6の発光強度不足を判断することができる。
【0024】ストロボ判断部18は、ストロボ36が発
光する前のコンデンサ16の電圧に基づいて、ストロボ
36の発光強度を判断してもよい。例えば、ストロボ3
6が発光する直前のコンデンサ16の電圧が所定の値よ
りも低い場合、ストロボ判断部18は、ストロボ36の
発光強度が不足していたと判断する。これにより、スト
ロボ判断部18は、例えば連写モード時に、コンデンサ
16の充電が間に合わなかった場合のコンデンサ16の
電圧不足が、ストロボ36へ印加する電圧不足を引き起
こすことを判断し、これに伴うストロボ36の発光強度
不足を判断することができる。
【0025】ストロボ判断部18は、ストロボ36が発
光した後のコンデンサ16の電圧に更に基づいて、スト
ロボ36の発光強度を判断してもよい。これにより、ス
トロボ判断部18は、ストロボ36の発光強度を、より
精度よく判断することができる。例えば、ストロボ36
が発光する前後のコンデンサ16の電圧降下量が予め定
められた基準値よりも小さい場合、ストロボ判断部18
は、ストロボ36の発光強度が不足していたと判断す
る。具体的には、ストロボ判断部18は、ストロボ36
が発光する前のコンデンサ16の電圧と、ストロボ36
が発光した後のコンデンサ16の電圧とを比較すること
によってコンデンサ16が放出した電荷量を判断する。
そして、ストロボ判断部18は、コンデンサ16が放出
した電荷量から、ストロボ36に印加された電圧を判断
し、ストロボ36の発光強度を判断することができる。
【0026】ストロボ判断部18は、ストロボ36が発
光していないときの被写体の明るさと、ストロボ36が
発光しているときの被写体の明るさとに基づいて、スト
ロボ36の発光強度を判断してもよい。例えば、ストロ
ボ36が発光する直前の被写体の明るさと、ストロボ3
6が発光して被写体の画像を取得した時の被写体の明る
さとの差が、予め定められた基準値よりも小さい場合、
ストロボ判断部18は、ストロボ36の発光強度が不足
していたと判断する。
【0027】具体的には、測光部14は、レリーズスイ
ッチが半押しされたときに被写体の明るさを取得する。
そして、ストロボ36が発光して撮像部20が被写体の
画像を取得したときに被写体の明るさを再度取得する。
そして、ストロボ判断部18は、測光部14が少なくと
も2回取得した被写体の明るさを比較して、明るさの差
が予め定められた基準値よりも大きいか否かを判断す
る。ストロボ判断部18は、明るさの差が基準値よりも
小さい場合、ストロボ36の発光強度が不足していたと
判断する。測光部14は、撮像部20が取得した被写体
の画像データから、被写体の明るさを取得してもよい
し、独立した専用のセンサによって、被写体の明るさを
取得してもよい。
【0028】補正制御部144は、ストロボ判断部18
が判断した発光強度に基づいて、明るさ補正部142を
制御する。明るさ補正部142は、補正制御部144の
制御に基づいて、撮像部20が取得した画像の明るさを
補正する。例えば、ストロボ判断部18が、ストロボ3
6の発光強度が所定値よりも小さいと判断した場合、明
るさ補正部142は、補正制御部144の制御に基づい
て、撮像部20が取得した画像の輝度を上げる。
【0029】補正制御部144は、明るさ補正部142
に、測距部15が測定した被写体までの距離と、ストロ
ボ判断部18が判断したストロボ36の発光強度とに基
づいて、撮像部20が取得した画像の明るさを補正させ
てもよい。これにより、補正制御部144は、明るさ補
正部142が画像の明るさを補正する精度を高めること
が出来る。
【0030】例えば、測距部15が測定した被写体の距
離が予め定められた距離よりも遠い場合は、補正制御部
144は、被写体の距離がストロボ36の効果が及ばな
い程度に遠い距離であると判断する。この場合、補正制
御部144は、ストロボ判断部18がストロボ36の発
光強度が不足していたと判断しても、画像の明るさを補
正しないように明るさ補正部142を制御してもよい。
【0031】デジタルカメラ10は、補正制御部144
及び明るさ補正部142を有しなくてもよい。この場
合、撮像部20は取得した画像を、ストロボ判断部18
はストロボ発光強度を、測距部15は測定した距離を、
それぞれ送信部132に出力する。そして、送信部13
2は、画像、ストロボ発光強度、及び被写体の距離をそ
れぞれ関連づけて、プリンタ200又はパーソナルコン
ピュータ400に送信する。
【0032】図3は、本実施形態に係るプリンタ200
及びパーソナルコンピュータ400の機能構成の一例を
示す。プリンタ200及びパーソナルコンピュータ40
0は、図2における送信部132が送信した画像、スト
ロボ発光強度、及び被写体の距離を受信する受信部20
2、画像受信部202が受信した画像の明るさを補正す
る明るさ補正部204、受信部202が受信したストロ
ボ発光情報及び被写体の距離に基づいて、明るさ補正部
204が画像に行う明るさの補正を制御する補正制御部
208、及び明るさ補正部204が明るさを補正した画
像を出力する出力部206とを有する。
【0033】プリンタ200又はパーソナルコンピュー
タ400が画像の明るさを補正する場合の明るさ補正部
204及び補正制御部208の動作は、図1において説
明した、デジタルカメラ10が画像を補正する場合の明
るさ補正部142及び補正制御部144の動作と同様で
あるので省略する。なお、プリンタ200にとって、画
像出力部206は、例えば印刷部である。また、パーソ
ナルコンピュータ400にとって、画像出力部206
は、例えばLCD等の表示部である。
【0034】以上のようなデジタルカメラ10及び画像
処理システム500によれば、ストロボ36の発光が不
十分な場合であっても、取得した画像の明るさを、スト
ロボ36が発光した発光強度に基づいて補正するので、
適切な明るさの画像を得ることができる。
【0035】図4は、本実施形態に係るデジタルカメラ
10の動作の一例をしめすフローチャートである。レリ
ーズスイッチの半押しなどのユーザ操作が行われると
(S100)、被写体の明るさ及び距離が取得される
(S102)。次に、被写体の明るさ及び距離に基づい
て、ストロボ発光の有無、ストロボを発光する場合の発
光条件、及び露出等の撮像条件が決定される(S10
4)。次に、S104において決定された条件がストロ
ボを発光する条件であるか否かを判断する(S10
6)。S106においてストロボを発光する条件でない
と判断された場合、レリーズスイッチの全押しなどのユ
ーザ操作が行われると(S130)、被写体の画像を取
得する(S132)。そして、取得した画像をプリンタ
などの外部装置に送信する(S134)。
【0036】S106において、撮像条件がストロボを
発光する条件である場合、まず、ストロボに電力を供給
するバッテリの充電量を参照する(S108)。そし
て、レリーズスイッチの全押し等のユーザの操作が行わ
れると(S110)、ストロボを発光させるために電荷
を蓄積するコンデンサの電圧を参照する(S112)。
次に、S104において決定された強度で発光すべく、
ストロボの発光を試み(S114)、略同一タイミング
で、被写体の画像を取得する(S116)。次に、取得
した画像の明るさから、ストロボを発光して画像を取得
したときの被写体の明るさを測定する(S118)。次
に、コンデンサの電圧を参照する(S122)。
【0037】そして、S108で参照したバッテリの充
電量と、S112及びS122で参照したコンデンサの
電圧と、S102及びS118で測定した被写体の明る
さとに基づいて、被写体の画像を取得したときのストロ
ボの発光強度を判断する(S124)。次に、S124
で判断されたストロボの発光強度に基づいて、画像の明
るさを補正する(S126)。具体的には、S126に
おいて、ストロボの発光強度が弱いほど、明るさの補正
を強くする。最後に、明るさが補正された画像を外部装
置に出力する(S128)。以上で本フローチャートは
終了する。
【0038】以上説明した撮像方法によれば、バッテリ
の充電量が不足している場合や、コンデンサの充電が間
に合わなかった場合にストロボの発光が不足しても、取
得した画像の明るさを適切に補正することができる。
【0039】図5は、本実施形態に係るパーソナルコン
ピュータ400のハードウェア構成の一例を示す。パー
ソナルコンピュータ400は、CPU700と、ROM
702と、RAM704と、通信インタフェース706
と、ハードディスクドライブ708と、データベースイ
ンタフェース710と、フロッピー(登録商標)ディス
クドライブ712と、CD−ROMドライブ714とを
備える。CPU700は、ROM702及びRAM70
4に格納されたプログラムに基づいて動作し、各部の制
御を行う。通信インタフェース706は、デジタルカメ
ラ10及びプリンタ200と通信する。データベースイ
ンタフェース710は、データベースへのデータの書
込、及びデータベースの内容の更新を行う。
【0040】フロッピーディスクドライブ712は、フ
ロッピーディスク720からデータ又はプログラムを読
み取り通信インタフェース706に提供する。CD−R
OMドライブ714は、CD−ROM722からデータ
又はプログラムを読み取り通信インタフェース706に
提供する。通信インタフェース706は、フロッピーデ
ィスクドライブ712又はCD−ROMドライブ714
から提供されたデータ又はプログラムを、デジタルカメ
ラ10又はプリンタ200に送信する。データベースイ
ンタフェース710は、各種データベース724と接続
してデータを送受信する。
【0041】デジタルカメラ10又はプリンタ200に
提供されるプログラムは、フロッピーディスク720又
はCD−ROM722等の記録媒体に格納されて利用者
によって提供される。記録媒体に格納されたプログラム
は圧縮されていても非圧縮であってもよい。プログラム
は記録媒体から読み出され、通信インタフェース706
を介して、デジタルカメラ10又はプリンタ200にイ
ンストールされ、デジタルカメラ10又はプリンタ20
0において実行される。
【0042】記録媒体に格納されて提供され、デジタル
カメラ10にインストールされるプログラムは、デジタ
ルカメラ10を、撮像手段、ストロボ判断手段、明るさ
補正手段、測距手段、蓄電手段、測光手段、送信手段と
して機能させる。
【0043】また、記録媒体に格納されて提供され、プ
リンタ200及び/又はパーソナルコンピュータ400
にインストールされるプログラムは、プリンタ200及
び/又はパーソナルコンピュータ400を、受信手段、
及び明るさ補正手段として機能させる。デジタルカメラ
10、プリンタ200、及びパーソナルコンピュータ4
00が機能する場合の動作は、図1から図4において説
明したデジタルカメラ10、プリンタ200、及びパー
ソナルコンピュータ400における、対応する部材の動
作と同一であるから、説明を省略する。
【0044】図5に示した記録媒体の一例としてのフロ
ッピーディスク720又はCD−ROM722には、本
出願で説明した実施形態におけるデジタルカメラ10、
プリンタ200又は、パーソナルコンピュータ400の
動作の一部又は全ての機能を格納することができる。
【0045】これらのプログラムは記録媒体から直接デ
ジタルカメラ10又はプリンタ200によって読み出さ
れて実行されても、デジタルカメラ10又はプリンタ2
00にインストールされた後にデジタルカメラ10又は
プリンタ200において実行されてもよい。更に、上記
プログラムは単一の記録媒体に格納されても複数の記録
媒体に格納されてもよい。また、符号化した形態で格納
されていてもよい。
【0046】記録媒体としては、フロッピーディスク、
CD−ROMの他にも、DVD、PD等の光学記録媒
体、MD等の光磁気記録媒体、テープ媒体、磁気記録媒
体、ICカードやミニチュアカードなどの半導体メモリ
等を用いることができる。また、専用通信ネットワーク
やインターネットに接続されたサーバシステムに設けた
ハードディスク又はRAM等の格納装置を記録媒体とし
て使用し、通信網を介してプログラムをデジタルカメラ
10又はプリンタ200に提供してもよい。
【0047】図6は、本実施形態に係る撮像装置の一例
であるデジタルカメラ10の構成を示す。デジタルカメ
ラ10は、撮像部20、撮像制御部40、システム制御
部60、表示部100、操作部110、格納部120、
外部接続部130、及び画像処理部140を備える。な
お、画像処理部140は、本発明に係る明るさ補正部の
一例である。外部接続部130は、本発明に係る送信部
の一例である。撮像系CPU50は、本発明に係るスト
ロボ判断部の一例である。
【0048】撮像部20は、撮影レンズ部22、絞り2
4、シャッタ26、光学LPF28、CCD30、撮像
信号処理部32、ファインダ34、及びストロボ36を
有する。
【0049】撮影レンズ部22は、被写体像を取り込ん
で処理を施す。撮影レンズ部22は、フォーカスレンズ
やズームレンズ等を含み、被写体像をCCD30の受光
面上に結像する。絞り24は、撮影レンズ部22を通過
した光を絞り、光学LPF28は、絞り24を通過した
光に含まれる所定の空間周波数よりも低い空間周波数の
光を通過させる。CCD30が含む各受光素子300
は、結像した被写体像の光量に応じ、電荷を蓄積する
(以下その電荷を「蓄積電荷」という)。
【0050】シャッタ26は、機械式シャッタであり、
撮影レンズ部22を通過した光をCCD30に露光する
か否かを制御する。また、デジタルカメラ10は、シャ
ッタ26に代えて電子シャッタ機能を有してもよい。電
子シャッタ機能を実現するために、CCD30の受光素
子300は、シャッタゲート及びシャッタドレインを有
する。シャッタゲートを駆動することにより、蓄積電荷
がシャッタドレインに掃き出される。シャッタゲートの
制御により、各受光素子300に電荷を蓄積する時間、
即ちシャッタスピードを制御できる。CCD30におい
て、蓄積電荷は、リードゲートパルスによってシフトレ
ジスタに読み出され、レジスタ転送パルスによって電圧
信号として順次読み出される。
【0051】撮像信号処理部32は、CCD30から出
力される被写体像を示す電圧信号、即ちアナログ信号を
R、G、B成分に色分解する。そして、撮像信号処理部
32は、R、G、B成分を調整することにより、被写体
像のホワイトバランスを調整する。撮像信号処理部32
は、被写体像のガンマ補正を行う。そして、撮像信号処
理部32は、R、G、B成分に分解されたアナログ信号
をA/D変換し、その結果得られた被写体像のデジタル
の画像データ(以下「デジタル画像データ」という)を
システム制御部60へ出力する。
【0052】ファインダ34は、表示手段を有してもよ
く、後述のメインCPU62等からの各種情報をファイ
ンダ34内に表示してもよい。ストロボ36は、コンデ
ンサに蓄えられたエネルギを放電する放電管37を有
し、放電管37にエネルギが供給されたとき放電管37
が発光することで機能する。
【0053】撮像制御部40は、ズーム駆動部42、フ
ォーカス駆動部44、絞り駆動部46、シャッタ駆動部
48、それらを制御する撮像系CPU50、測距センサ
52、及び測光センサ54を有する。ズーム駆動部4
2、フォーカス駆動部44、絞り駆動部46、及びシャ
ッタ駆動部48は、それぞれステッピングモータ等の駆
動手段を有し、撮像部20に含まれる機構部材を駆動す
る。
【0054】後述のレリーズスイッチ114の押下に応
じ、測距センサ52は被写体までの距離を測定し、測光
センサ54は被写体輝度を測定する。そして、測距セン
サ52及び測光センサ54は、測定された被写体までの
距離のデータ(以下単に「測距データ」という)及び被
写体輝度のデータ(以下単に「測光データ」という)
を、それぞれ撮像系CPU50に供給する。
【0055】撮像系CPU50は、ユーザから指示され
たズーム倍率等の撮影情報に基づき、ズーム駆動部42
及びフォーカス駆動部44を制御して撮影レンズ部22
のズーム倍率とピントの調整を行う。また、撮像系CP
U50は、測距センサ52から受け取った測距データに
基づいて、ズーム駆動部42及びフォーカス駆動部44
を制御してズーム倍率及びピントの調整を行ってもよ
い。
【0056】撮像系CPU50は、測光センサ54から
受け取った測光データに基づいて、絞り値及びシャッタ
スピードを決定する。決定された値に従い、絞り駆動部
46及びシャッタ駆動部48は、絞り24の絞り量及び
シャッタ26の開閉をそれぞれ制御する。
【0057】また、撮像系CPU50は、測光センサ5
4から受け取った測光データに基づいて、ストロボ36
の発光を制御し、同時に絞り24の絞り量を調整する。
ユーザが映像の取込を指示したとき、CCD30は電荷
蓄積を開始し、測光データから計算されたシャッタ時間
の経過後、蓄積電荷を撮像信号処理部32へ出力する。
【0058】システム制御部60は、メインCPU6
2、キャラクタ生成部84、タイマ86、及びクロック
発生器88を有する。メインCPU62は、デジタルカ
メラ10全体、特にシステム制御部60を制御する。メ
インCPU62は、シリアル通信等により、撮像系CP
U50との間で必要な情報の受け渡しをする。
【0059】クロック発生器88は、メインCPU62
の動作クロックを発生し、メインCPU62に供給す
る。また、クロック発生器88は、撮像系CPU50及
び表示部100の動作クロックを発生する。クロック発
生器88は、メインCPU62、撮像系CPU50、及
び表示部100に対してそれぞれ異なる周波数の動作ク
ロックを供給してもよい。
【0060】キャラクタ生成部84は、撮影日時、タイ
トル等の撮影画像に合成する文字情報や、図形情報を生
成する。タイマ86は、例えば電池等でバックアップさ
れ、常に時間をカウントし、当該カウント値に基づいて
撮影画像の撮影日時に関する情報等の時刻情報をメイン
CPU62に供給する。タイマ86は、蓄電池から供給
された電力により、デジタルカメラ本体の電源がオフで
ある場合にも時間をカウントするのが望ましい。また、
キャラクタ生成部84及びタイマ86は、メインCPU
62に併設されることが好ましい。
【0061】格納部120は、メモリ制御部64、不揮
発性メモリ66、及びメインメモリ68を有する。メモ
リ制御部64は、不揮発性メモリ66とメインメモリ6
8とを制御する。不揮発性メモリ66は、EEPROM
(電気的消去及びプログラム可能なROM)やFLAS
Hメモリ等で構成され、ユーザによる設定情報や出荷時
の調整値等、デジタルカメラ10の電源がオフの間も保
持すべきデータを格納する。不揮発性メモリ66は、メ
インCPU62のブートプログラムやシステムプログラ
ム等を格納してもよい。
【0062】メインメモリ68は、DRAMのように比
較的安価で容量の大きなメモリで構成されることが好ま
しい。メインメモリ68は、撮像部20から出力された
データを格納するフレームメモリとしての機能、各種プ
ログラムをロードするシステムメモリとしての機能、そ
の他ワークエリアとしての機能を有する。不揮発性メモ
リ66及びメインメモリ68は、システム制御部60内
外の各部とバス82を介してデータのやりとりを行う。
不揮発性メモリ66は、デジタル画像データを更に格納
してもよい。
【0063】画像処理部140は、YC処理部70、エ
ンコーダ72、及び圧縮伸張処理部78を有する。ま
た、外部接続部130は、オプション装置制御部74、
及び通信I/F部80を有する。
【0064】YC処理部70は、デジタル画像データに
YC変換を施し、輝度信号Y、並びに色差(クロマ)信
号B−Y及びR−Yを生成する。メインメモリ68は、
メモリ制御部64の制御に基づいて、輝度信号及び色差
信号を格納する。
【0065】圧縮伸張処理部78は、メインメモリ68
から順次輝度信号と色差信号を読み出して圧縮する。そ
して、オプション装置制御部74は、圧縮されたデジタ
ル画像データ(以下単に「圧縮データ」という)をオプ
ション装置76の一例であるメモリカードへ書き込む。
【0066】エンコーダ72は、輝度信号と色差信号
を、ビデオ信号(NTSCやPAL信号)に変換して端
子90から出力する。オプション装置76に記録された
圧縮データからビデオ信号を生成する場合、圧縮データ
は、まずオプション装置制御部74を介して圧縮伸張処
理部78へ与えられる。続いて、圧縮伸張処理部78で
必要な伸張処理が施されたデータはエンコーダ72によ
ってビデオ信号へ変換される。
【0067】オプション装置制御部74は、オプション
装置76が許容する信号仕様及びバス82のバス仕様に
従い、バス82とオプション装置76との間で必要な信
号の生成、論理変換、及び/又は電圧変換等を行う。デ
ジタルカメラ10は、オプション装置76として前述の
メモリカードの他に、例えばPCMCIA準拠の標準的
なI/Oカードをサポートしてもよい。その場合、オプ
ション装置制御部74は、PCMCIA用バス制御LS
I等で構成してもよい。
【0068】通信I/F部80は、デジタルカメラ10
がサポートする通信仕様、たとえばUSB、RS−23
2C、イーサネット(登録商標)等の仕様に応じたプロ
トコル変換等の制御を行う。通信I/F部80は、圧縮
データ又はデジタル画像データを、端子92を介してネ
ットワークを含む外部機器に出力してよい。通信I/F
部80は、必要に応じてドライバICを含み、外部機器
と端子92を介して通信する。通信I/F部80は、例
えばプリンタ、カラオケ機、ゲーム機等の外部機器との
間で独自のインタフェースによるデータ授受を行う構成
としてもよい。
【0069】表示部100は、LCDモニタ102、L
CDパネル104、モニタドライバ106、及びパネル
ドライバ108を有する。モニタドライバ106は、L
CDモニタ102を制御する。また、パネルドライバ1
08は、LCDパネル104を制御する。LCDモニタ
102は、例えば2インチ程度の大きさでカメラ背面に
設けられ、現在の撮影や再生のモード、撮影や再生のズ
ーム倍率、電池残量、日時、モード設定のための画面、
被写体画像等を表示する。LCDパネル104は例えば
小さな白黒LCDでカメラ上面に設けられ、画質(FI
NE/NORMAL/BASIC等)、ストロボ発光/
発光禁止、標準撮影可能枚数、画素数、電池容量/残量
等の情報を表示する。
【0070】操作部110は、パワースイッチ112、
レリーズスイッチ114、機能設定部116、及びズー
ムスイッチ118を有する。パワースイッチ112は、
ユーザの指示に基づいてデジタルカメラ10の電源をオ
ン/オフする。レリーズスイッチ114は、半押しと全
押しの二段階押し込み構造を有する。一例として、レリ
ーズスイッチ114が半押しされることにより、撮像制
御部40は、自動焦点調整及び自動露出調整を行い、全
押しされることにより、撮像部20は、被写体像を取り
込む。
【0071】機能設定部116は、例えば回転式のモー
ドダイヤルや十字キー等であって、「ファイルフォーマ
ット」、「特殊効果」、「印画」、「決定/保存」、
「表示切換」等の設定を受け付ける。ズームスイッチ1
18は、撮像部20が取得する被写体像のズーム倍率の
設定を受け付ける。
【0072】以上の構成による主な動作は以下のとおり
である。まずパワースイッチ112が押下され、デジタ
ルカメラ10の各部に電力が供給される。メインCPU
62は、機能設定部116の状態を読み込むことで、デ
ジタルカメラ10が撮影モードにあるか再生モードにあ
るかを判断する。
【0073】デジタルカメラ10が撮影モードの場合、
メインCPU62は、レリーズスイッチ114の半押し
状態を監視する。レリーズスイッチ114の半押し状態
が検出されたとき、撮像系CPU50は、測光センサ5
4及び測距センサ52からそれぞれ測光データと測距デ
ータを得る。撮像制御部40は、撮像系CPU50が得
た測光データ及び測距データに基づいて、撮像部20の
ピント、絞り等を調整する。調整が完了すると、LCD
モニタは、「スタンバイ」等の文字を表示してユーザに
その旨を伝える。
【0074】続いて、メインCPU62は、レリーズス
イッチ114の全押し状態を監視する。レリーズスイッ
チ114の全押し状態が検出されたとき、所定のシャッ
タ時間をおいてシャッタ26が閉じられ、CCD30の
蓄積電荷が撮像信号処理部32へ掃き出される。撮像信
号処理部32による処理の結果生成されたデジタル画像
データはバス82へ出力される。デジタル画像データは
一旦メインメモリ68へ格納され、この後YC処理部7
0と圧縮伸張処理部78で処理され、オプション装置制
御部74を経由してオプション装置76へ記録される。
記録されたデジタル画像データに基づく撮影画像は、フ
リーズされた状態でしばらくLCDモニタ102に表示
され、ユーザは撮影画像を確認することができる。以上
で一連の撮影動作が完了する。
【0075】一方、デジタルカメラ10が再生モードの
場合、メインCPU62は、メインメモリ68、不揮発
性メモリ66、及び/又はオプション装置76から撮影
した撮影画像を読み出し、これを表示部100のLCD
モニタ102へ表示する。
【0076】この状態でユーザが機能設定部116にて
「順送り」、「逆送り」を指示すると、メインCPU6
2は、メインメモリ68、不揮発性メモリ66、及び/
又はオプション装置76が格納した他の撮影画像を読み
出し、これを表示部100のLCDモニタ102へ表示
する。
【0077】以上、本発明を実施の形態を用いて説明し
たが、本発明の技術的範囲は上記実施形態に記載の範囲
には限定されない。上記実施形態に、多様な変更または
改良を加えることができる。そのような変更または改良
を加えた形態も本発明の技術的範囲に含まれ得ること
が、特許請求の範囲の記載から明らかである。
【0078】
【発明の効果】上記説明から明らかなように、本発明に
よれば、バッテリの充電量が不足している場合や、コン
デンサの充電が間に合わない場合にストロボの発光が不
足しても、取得された画像の明るさを、適切に補正する
撮像装置を提供することができる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係る画像処理システム
500の一例を示す図である。
【図2】 本実施形態に係るデジタルカメラ10の機能
構成の一例を示す図である。
【図3】 本実施形態に係るプリンタ200及びパーソ
ナルコンピュータ400の機能構成の一例を示す図であ
る。
【図4】 デジタルカメラ10の動作の一例を示す図で
ある。
【図5】 パーソナルコンピュータ400のハードウェ
ア構成の一例を示す図である。
【図6】 デジタルカメラ10の詳細な機能構成の一例
を示す図である。
【符号の説明】
10…デジタルカメラ 12…バッテリ 14…測光部 15…測距部 16…コンデンサ 17…充放電制御部 18…ストロボ判断部 20…撮像部 36…ストロボ 132…送信部 142…明るさ補正部 144…補正制御部 200…プリンタ 202…画像受信部 204…明るさ補正部 206…出力部 208…補正制御部 400…パーソナルコ
ンピュータ 720…フロッピーディスク 722…CD−ROM
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/243 G03B 3/00 A (72)発明者 福田 浩司 埼玉県朝霞市泉水3丁目11番46号 富士写 真フイルム株式会社内 (72)発明者 石原 淳彦 埼玉県朝霞市泉水3丁目11番46号 富士写 真フイルム株式会社内 Fターム(参考) 2H002 CD06 DB05 JA07 2H011 AA03 DA01 DA07 2H051 AA00 EB04 EB07 2H053 AD11 5C022 AB15 AB19 AC69

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像する撮像装置であって、 ストロボが発光した状態で前記被写体の画像を取得する
    撮像部と、 前記画像が取得されたときの前記ストロボの発光強度を
    判断するストロボ判断部とを備えることを特徴とする撮
    像装置。
  2. 【請求項2】 前記発光強度に基づいて、前記画像の明
    るさを補正する明るさ補正部を更に備えることを特徴と
    する請求項1に記載の撮像装置。
  3. 【請求項3】 前記被写体までの距離を測定する測距部
    を更に備え、 前記明るさ補正部は、前記距離に更に基づいて、前記画
    像の明るさを補正することを特徴とする請求項2に記載
    の撮像装置。
  4. 【請求項4】 前記ストロボが発光するための電力を供
    給するバッテリを更に備え、 前記ストロボ判断部は、前記ストロボが発光する前の前
    記バッテリの充電量に基づいて、前記発光強度を判断す
    ることを特徴とする請求項1に記載の撮像装置。
  5. 【請求項5】 前記ストロボを発光させるための電荷を
    蓄積するコンデンサを更に備え、 前記ストロボ判断部は、前記ストロボが発光する前の前
    記コンデンサの電圧に基づいて、前記発光強度を判断す
    ることを特徴とする請求項1に記載の撮像装置。
  6. 【請求項6】 前記ストロボ判断部は、前記ストロボが
    発光した後の前記電圧に更に基づいて前記発光強度を判
    断することを特徴とする請求項5に記載の撮像装置。
  7. 【請求項7】 前記被写体の明るさを測定する測光部を
    更に備え、 前記ストロボ判断部は、前記ストロボが発光していない
    ときの前記被写体の明るさと、前記ストロボが発光した
    ときの前記被写体の明るさとに基づいて、前記発光強度
    を判断することを特徴とする請求項1に記載の撮像装
    置。
  8. 【請求項8】 被写体の画像を撮像する撮像装置と、前
    記画像に対して画像処理を行う画像処理装置とを備える
    画像処理システムであって、 前記撮像装置は、 ストロボが発光した状態で前記画像を取得する撮像部
    と、 前記画像が取得されたときの前記ストロボの発光強度を
    判断するストロボ判断部と、 前記判断された発光強度と前記画像とを関連づけて前記
    画像処理装置に送信する送信部とを有することを特徴と
    する画像処理システム。
  9. 【請求項9】 前記画像処理装置は、前記発光強度と前
    記画像とを受信する受信部と、 前記発光強度に基づいて前記画像の明るさを補正する明
    るさ補正部とを有することを特徴とする請求項8に記載
    の画像処理システム。
  10. 【請求項10】 前記受信部は、前記画像が取得された
    ときの前記撮像装置と前記被写体との距離を示す被写体
    距離を更に受信し、 前記明るさ補正部は、前記被写体距離と前記発光強度と
    に基づいて前記画像の明るさを補正することを特徴とす
    る請求項9に記載の画像処理システム。
  11. 【請求項11】 被写体を撮像する撮像方法であって、 ストロボが発光した状態で前記被写体の画像を取得する
    ステップと、 前記画像が取得されたときの前記ストロボの発光強度を
    判断するステップとを備えることを特徴とする撮像方
    法。
  12. 【請求項12】 被写体を撮像する撮像装置用のプログ
    ラムであって、前記撮像装置を、 ストロボが発光した状態で前記被写体の画像を取得する
    撮像手段、前記画像が取得されたときの前記ストロボの
    発光強度を判断するストロボ判断手段として機能させる
    ことを特徴とするプログラム。
JP2002087216A 2002-03-26 2002-03-26 撮像装置、画像処理システム、撮像方法、及びプログラム Expired - Fee Related JP3828822B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002087216A JP3828822B2 (ja) 2002-03-26 2002-03-26 撮像装置、画像処理システム、撮像方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002087216A JP3828822B2 (ja) 2002-03-26 2002-03-26 撮像装置、画像処理システム、撮像方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2003283924A true JP2003283924A (ja) 2003-10-03
JP3828822B2 JP3828822B2 (ja) 2006-10-04

Family

ID=29233495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002087216A Expired - Fee Related JP3828822B2 (ja) 2002-03-26 2002-03-26 撮像装置、画像処理システム、撮像方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP3828822B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057485A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2020054444A (ja) * 2018-09-28 2020-04-09 株式会社Nttドコモ 口腔癌診断システム及び口腔癌診断プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057485A (ja) * 2014-09-10 2016-04-21 キヤノン株式会社 発光制御装置、その制御方法、および制御プログラム、並びに撮像装置
US10070029B2 (en) 2014-09-10 2018-09-04 Canon Kabushiki Kaisha Light emission control device including accumulator unit, method of controlling the same, and storage medium, as well as image pickup apparatus
JP2020054444A (ja) * 2018-09-28 2020-04-09 株式会社Nttドコモ 口腔癌診断システム及び口腔癌診断プログラム
JP7067743B2 (ja) 2018-09-28 2022-05-16 株式会社Nttドコモ 口腔癌診断システム及び口腔癌診断プログラム

Also Published As

Publication number Publication date
JP3828822B2 (ja) 2006-10-04

Similar Documents

Publication Publication Date Title
JP4275344B2 (ja) 撮像装置、撮像方法、及びプログラム
JP3914060B2 (ja) 合焦装置
JP2007243616A (ja) 露出制御方法及び撮像装置
JP3806038B2 (ja) 画像処理システム及び撮像装置
JP2003224767A (ja) 撮像装置、主要被写体位置決定方法、及びプログラム
JP2003179807A (ja) 撮像装置
JP2004157417A (ja) デジタルカメラ及びそのaf制御時の露出設定方法
JP4343468B2 (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP4202013B2 (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2003219217A (ja) 撮像装置、撮像方法、及びプログラム
JP4000413B2 (ja) 電子カメラ
JP3957147B2 (ja) 合焦装置
JP2003209737A (ja) 撮像装置
JP4130338B2 (ja) 画像処理システム、画像処理方法、撮像装置、及び画像処理装置
JP2003242504A (ja) 画像処理装置
JP3828822B2 (ja) 撮像装置、画像処理システム、撮像方法、及びプログラム
JP2003244626A (ja) 画像処理装置、画像処理システム、画像処理方法、及び撮像装置
JPH11298793A (ja) 撮像装置及び撮像方法
JP4246952B2 (ja) 画像処理システム、撮像装置、撮像方法、及びプログラム
JP2003069872A (ja) 撮像装置、画像出力装置、画像処理システム、画像出力方法、およびプログラム
JP2003111007A (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JPH11298908A (ja) デジタルカメラの画像処理方法
JP2003234998A (ja) 撮像装置、撮像方法、及びプログラム
JP2003234953A (ja) 撮像装置、撮像方法、及びプログラム
JP2003143538A (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、及び画像処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040304

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060707

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3828822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees