JP2010212764A - フラッシュ調光機能を備えたカメラ装置 - Google Patents

フラッシュ調光機能を備えたカメラ装置 Download PDF

Info

Publication number
JP2010212764A
JP2010212764A JP2009053671A JP2009053671A JP2010212764A JP 2010212764 A JP2010212764 A JP 2010212764A JP 2009053671 A JP2009053671 A JP 2009053671A JP 2009053671 A JP2009053671 A JP 2009053671A JP 2010212764 A JP2010212764 A JP 2010212764A
Authority
JP
Japan
Prior art keywords
flash
light
line
control unit
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009053671A
Other languages
English (en)
Other versions
JP5265416B2 (ja
Inventor
Takashi Hamada
敬 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009053671A priority Critical patent/JP5265416B2/ja
Publication of JP2010212764A publication Critical patent/JP2010212764A/ja
Application granted granted Critical
Publication of JP5265416B2 publication Critical patent/JP5265416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】定常光成分が多い場合であっても、フラッシュ光を高精度に調光することが可能なフラッシュ調光機能を備えたカメラを提供すること。
【解決手段】撮影シーンの定常光成分を算出し、この算出した定常光成分が所定の露光量を超える場合には、プリ発光時のフラッシュ光を有効に作用させる有効ライン数を減らすべく、シャッタ速を高速にし、定常光成分が所定の露光量以下の場合には、プリ発光時のフラッシュ光を有効に作用させる有効ライン数を増やすべく、シャッタ速を低速にする。さらに、AE処理結果、AF処理結果、顔検出結果に従って撮像領域中の基準ラインを設定し、この基準ラインに基づいて有効領域403を設定する。プリ発光露光時には、有効ライン数から設定される有効領域内の全てのラインにフラッシュ光が照射されるようにフラッシュ光の発光制御タイミングを制御する。
【選択図】図8

Description

本発明は、フラッシュ調光機能を備えたカメラ装置に関する。
従来、夜間や室内等の光量の少ないシーンや逆光シーンにおいて、光量の不足を補うためにフラッシュ装置を用いた撮影が行われることがある。このフラッシュ装置を用いた撮影では、フラッシュ撮影後に得られる画像の露光量が適正露光量となるようにフラッシュ装置の発光量を適切に制御する必要がある。この発光量の制御が一般に調光制御と呼ばれている。
調光制御の中で多く用いられている手法としてプリ発光を用いた調光制御(以下、この制御をプリ発光制御と記す)が知られている。プリ発光制御は、フラッシュ装置を発光させない状態で撮像素子から得られる定常光データとフラッシュ装置を少光量で発光させた状態で撮像素子から得られるプリ発光データとを本撮影前に取得し、これら定常光データとプリ発光データとを用いて本撮影時のフラッシュ装置の発光量を決定する方法である。このようなプリ発光制御については、例えば特許文献1において開示されている。
また、近年、デジタルカメラに用いられる撮像素子としてCMOSイメージセンサ(以下、単にCMOSセンサと記す)が用いられることがある。CMOSセンサは光電変換素子を含む画素が2次元に配列されてなり、各画素に蓄積された電荷を画素単位又はライン単位で読み出すことが可能である。例えば、特許文献2においては、各画素に蓄積された電荷をライン毎に読み出すことが可能な撮像素子の構成が開示されている。特許文献2等の、各画素に蓄積された電荷をライン毎に読み出す方式の場合には、露光の開始及び終了のタイミングがライン毎にずれることとなる。
このようなライン毎に電荷の読み出しを行う撮像素子を用いてプリ発光制御を実施する場合、フラッシュ光は瞬間光であるため、プリ発光時のシャッタ速によっては露光期間中にフラッシュ光が照射されないラインが発生する場合があり得る。このフラッシュ光が照射されないラインを無くすための手法として、撮像領域の全てのラインについての露光期間が一部で重なるように各ラインの露光期間を設定する手法が知られている。全てのラインの露光期間が重なる期間を設けるようにすることで、その期間中にフラッシュ光が照射されるようにすれば、フラッシュ光が照射されないラインを無くすことが可能となる。
特開2006−053493号公報 特開2007−228047号公報
上述のように、全てのラインの露光期間を重ねるようにするためには、各ラインの電荷の読み出しに必要な時間+重ねる時間分の露光期間が少なくとも必要となる。ここで、プリ発光データとしては瞬間のフラッシュ光量に対する蓄積データが必要である。したがって、プリ発光時に必要な露光期間は、フラッシュ発光時間分の露光期間だけあれば良い。さらに、撮影シーンにおいて定常光成分が多い場合には、測定誤差が大きくなり、正確にフラッシュ光量のデータを取得できない可能性がある。このため、プリ発光時の露光期間を短くすることが必要である。
フラッシュ光を照射するライン数を減らすことで、露光期間を短くして定常光成分を減少させることができ、また撮像素子の駆動モードを増やす必要もない。しかしながら、この場合、発光量の演算に使用できるライン数も減少してしまうので、情報量の不足により、フラッシュの調光精度が低下してしまうおそれがある。
本発明は、上記の事情に鑑みてなされたもので、定常光成分が多い場合であっても、フラッシュ光を高精度に調光することが可能なフラッシュ調光機能を備えたカメラを提供することを目的とする。
上記の目的を達成するために、本発明の第1の態様のフラッシュ調光機能を備えたカメラは、光電変換素子を含む複数の画素を2次元状に配置してなる撮像領域を有し、被写体からの光束を前記各画素で受光して受光量に応じた電荷を蓄積する撮像手段と、前記被写体を照明するために発光する発光手段と、前記被写体の情報を取得する被写体情報取得手段と、前記被写体の情報に応じて前記発光手段のプリ発光を有効に作用させる前記撮像領域内のライン数である有効ライン数を算出する有効ライン数算出手段と、前記有効ライン数に基づいて前記撮像領域内に有効領域を設定する設定手段と、前記撮像領域のライン単位で露光期間がずれるように、且つ前記撮像手段の有効領域の最初のラインに対応した露光期間の一部と前記有効領域の最後のラインに対応した露光期間の一部とが時間的に重なるように、前記撮像手段を制御する撮像制御手段と、前記有効領域の最初のラインに対応した露光期間の一部と前記有効領域の最後のラインに対応した露光期間の一部とが重なる期間において前記発光手段によるプリ発光を実行させる発光制御手段と、前記有効領域に対応した画素からの電荷に基づく画像から本発光時における前記発光手段の発光量を演算する発光量演算手段とを具備することを特徴とする。
本発明によれば、定常光成分が多い場合であっても、フラッシュ光を高精度に調光することが可能なフラッシュ調光機能を備えたカメラを提供することができる。
本発明の一実施形態に係るフラッシュ調光機能を備えたカメラ装置の構成を示すブロック図である。 カメラのフラッシュ撮影動作について示すフローチャートである。 本発明の一実施形態におけるフラッシュ調光制御処理の詳細について示すフローチャートである。 撮像素子からの信号の読み出し期間と露光期間とプリ発光タイミングとの関係について示す図である。 シャッタ速決定処理の詳細を示すフローチャートである。 有効領域設定処理の詳細を示したフローチャートの第1図である。 有効領域設定処理の詳細を示したフローチャートの第2図である。 ライン数変換の例を示す図である。 ライン数変換で得られたライン数情報がなしの場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が1の場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が3の場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が2で、顔領域にAF領域が内包されている場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が2で、AE領域に顔領域が内包されている場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が2で、AE領域の下部にAF領域が重なっている場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が2で、AE領域とAF領域が重なっていない場合の基準ラインの設定例を示した図である。 ライン数変換において得られたライン数情報が2で、顔領域を含む場合の基準ラインの設定例を示した図である。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本発明の一実施形態に係るフラッシュ調光機能を備えたカメラ装置の構成を示すブロック図である。ここで、図1のカメラ100には、外部フラッシュ装置200が着脱自在になされている。カメラ100に外部フラッシュ装置200が装着された場合には、カメラ100内のフラッシュ制御部121と外部フラッシュ装置200内の制御部201とが互いに通信自在に接続される。
図1に示すカメラ100は、撮影レンズ101と、レンズ制御部102と、絞り機構103と、絞り制御部104と、シャッタ105と、シャッタ制御部106と、撮像素子107と、撮像制御部108と、アナログ/デジタル(A/D)変換部109と、メモリ110と、画像処理部111と、露出処理部112と、AF処理部113と、外部メモリ114と、表示部115と、システム制御部116と、操作部117と、不揮発性メモリ118と、電源部119と、電源制御部120と、フラッシュ制御部121と、フラッシュ充電部122と、フラッシュ発光部123と、外部フラッシュ接続部124とを有している。
撮影レンズ101は、被写体の光学像を撮像素子107に集光させるための光学系である。この撮影レンズ101は、システム制御部116からの指示に応じて動作するレンズ制御部102によりその光軸方向に移動される。この動作により、撮影レンズ101のフォーカス状態等を変更することが可能である。絞り機構103は、撮影レンズ101を介して撮像素子107に入射する光束の入射量を調節する。この絞り機構103は、システム制御部116からの指示に応じて動作する絞り制御部104により開閉される。シャッタ105は、撮影レンズ101を介して入射する光束が撮像素子107に形成された撮像領域に入射しないように撮像領域を遮光するメカシャッタ機構である。このシャッタ105は、システム制御部116からの指示に応じて動作するシャッタ制御部106により開閉される。撮影時には、シャッタ105の開放時間を制御することで撮像素子107の露光期間を制御することが可能である。
撮像手段としての機能を有する撮像素子107は、ベイヤー配列のカラーフィルタが画素を構成する光電変換素子(フォトダイオード等)の前面に配置されてなる撮像領域を有する撮像素子である。この撮像素子107は、撮影レンズ101により集光された光を、各画素で受光して光電変換することで、光の量を電荷量に変換し、さらに電荷をアナログ電圧信号(画像信号)としてA/D変換部109へ出力する。ここで、本実施形態における撮像素子107は、CMOSイメージセンサであり、撮像領域を構成するライン単位で信号の読み出しが可能に構成されている。システム制御部116とともに撮像制御手段としての機能を有する撮像制御部108は、システム制御部116からの指示に応じて撮像素子107の動作制御を行う。
A/D変換部109は、撮像素子107から出力されるアナログの画像信号をデジタル画像信号(以降、画像データという)に変換する。メモリ110は、A/D変換部109において得られた画像データや、画像処理部111において処理された画像データ等の各種データが一時的に記憶される記憶部である。
画像処理部111は、メモリ110から読み出した画像データに対し、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を施す。さらに、画像処理部111は、記録のための画像の圧縮や圧縮された画像の伸張等も行う。
露出処理部112は、画像データを用いて被写体輝度(被写体を含む撮影シーンの明るさ)を算出する。被写体輝度を算出するためのデータは、専用の測光センサの出力であっても良い。AF処理部113は、画像データから高周波成分の信号を取り出してAF(Auto Focus)積算処理により合焦評価値を取得する。なお、AF処理部113は、専用のセンサを備えて撮影レンズ101の焦点ずれ量を求めることが可能な構成としても良い。
外部メモリ114は、例えばカメラ本体に着脱可能なメモリであり、画像処理部111において圧縮された画像データが記録される。なお、図1の例では画像データを記録するための記録媒体としてカメラ本体に着脱可能なメモリを示しているが、必ずしもカメラ本体に着脱可能なメモリを用いる必要はない。
表示部115は、例えば液晶ディスプレイ等の表示部であり、画像処理部111で処理された画像を表示する。
有効ライン数算出手段、設定手段、撮像制御手段、発光制御手段としての機能を有するシステム制御部116は、撮像制御部108やフラッシュ制御部121等のカメラ100の各種シーケンスを統括的に制御する。操作部117は、電源ボタン、レリーズボタン、各種入力キー等の操作部材である。ユーザにより操作部117の何れかの操作部材が操作されることにより、システム制御部116は、ユーザの操作に応じた各種シーケンスを実行する。電源ボタンは、当該デジタルカメラの電源のオンオフ指示を行うための操作部材である。電源ボタンが押されたときに、システム制御部116は、当該デジタルカメラの電源をオン又はオフする。レリーズボタンは、1stレリーズスイッチと2ndレリーズスイッチの2段スイッチを有して構成されている。レリーズボタンが半押しされて1stレリーズスイッチがオンされた場合に、システム制御部116は、AE処理やAF処理等の撮影準備シーケンスを行う。また、レリーズボタンが全押しされて2ndレリーズスイッチがオンされた場合に、システム制御部116は撮影シーケンスを実行して撮影を行う。ユーザは、例えば、表示部115において表示されるメニュー画面上で入力キーを用いて撮影時の撮影条件等を設定することが可能である。
不揮発性メモリ118は、カメラ100の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ118は、システム制御部116にて実行するプログラムも記憶している。システム制御部116は、不揮発性メモリ118に記憶されているプログラムに従い、また不揮発性メモリ118から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
電源部119は、カメラ100の各部の動作に必要な電力を供給するための、例えば2次電池等からなる電源である。電源制御部120は、電源部119を構成する電池の残量を検出する等の電源部119の制御を行う。
システム制御部116とともに発光制御手段としての機能を有するフラッシュ制御部121は、システム制御部116からの指示に応じてフラッシュ充電部122における充電動作及びフラッシュ発光部123における発光動作を制御する。フラッシュ充電部122は、フラッシュ発光部123の発光に必要なエネルギーを蓄積する。このフラッシュ充電部122は、フラッシュ発光部123の発光に必要なエネルギーを蓄積するためのコンデンサ等を備えて構成されている。フラッシュ発光部123は、フラッシュ制御部121からの発光指示を受けた場合に、フラッシュ充電部122のコンデンサに蓄積されたエネルギーを利用して発光する。このフラッシュ発光部123は、例えばキセノン(Xe)管等の発光管や反射傘を備えて構成されている。
外部フラッシュ接続部124は、カメラ100の本体に外部フラッシュ装置200を装着するための機構であり、内部にカメラ100のフラッシュ制御部121と外部フラッシュ装置200の制御部201とを通信可能に接続するための通信接点を備えている。
また、外部フラッシュ装置200は、制御部201と、不揮発性メモリ202と、電源部203と、電源制御部204と、フラッシュ充電部205と、フラッシュ発光部206と、カメラ接続部207とを有している。
制御部201は、カメラ100のフラッシュ制御部121の制御に従って、外部フラッシュ装置200の各種シーケンスを統括的に制御する。不揮発性メモリ202は、外部フラッシュ装置200の動作に必要な各種パラメータやプログラムを記憶している。
電源部203は、外部フラッシュ装置200の各部の動作に必要な電力を供給するための電源である。電源制御部204は、電源部203の制御を行う。
フラッシュ充電部205は、フラッシュ発光部206の発光に必要なエネルギーを蓄積する。一般に、外部フラッシュ装置はカメラに内蔵のフラッシュ装置よりも大光量の発光が可能に構成される。このため、フラッシュ充電部205のコンデンサもフラッシュ充電部122のコンデンサよりも大容量のものが用いられる。フラッシュ発光部206は、制御部201からの発光指示を受けた場合に、フラッシュ充電部205のコンデンサに蓄積されたエネルギーを利用して発光する。このフラッシュ発光部206も、例えばキセノン(Xe)管等の発光管や反射傘を備えて構成されている。
次に、図1に示すカメラ100のフラッシュ撮影動作について説明する。ここで、フラッシュ撮影動作は、後述するAE処理の結果から被写体輝度が所定レベルよりも暗い場合や、ユーザによってフラッシュ発光部206(外部フラッシュ装置200が装着されていない場合にはフラッシュ発光部123)を発光させるように設定された場合に行われるものとする。なお、図1に示すカメラ100はフラッシュ装置の発光を伴わない撮影を行うことも可能である。しかしながら、フラッシュ装置の発光を伴わない撮影動作は従来と同様であるのでここでは説明を省略する。
図2は、カメラ100のフラッシュ撮影動作について示すフローチャートである。ここで、図2の処理はシステム制御部116によって制御されるものである。
図2において、システム制御部116は、ユーザ操作によりカメラ100の電源がオンとなったか否かを判定している(ステップS1)。ステップS1の判定において、カメラ100の電源がオンとなるまで、システム制御部116はステップS1の判定を行いつつ待機する。ステップS1の判定においてカメラ100の電源がオンとなった場合に、システム制御部116は、カメラ100を撮影アイドル状態とする(ステップS2)。この撮影アイドル状態において、システム制御部116はスルー画表示(ライブビュー表示等ともいう)の制御を行う。即ち、システム制御部116は、撮像制御部108を介して撮像素子107を所定のフレームレートで動作させ、これによって撮像素子107を介して逐次得られる画像を表示部115に表示させる。また、撮影アイドル状態において、ユーザによってメニュー画面の表示指示がなされた場合に、システム制御部116は表示部115にメニュー画面を表示させる。このメニュー画面上でユーザはカメラ100の各種の設定を行うことができる。
カメラ100を撮影アイドル状態とした後、システム制御部116は、ユーザによりレリーズボタンが半押しされて1stレリーズスイッチがオンされたかを判定する(ステップS3)。ステップS3の判定において、1stレリーズスイッチがオンされるまで、システム制御部116は、繰り返しステップS3の判定を行う。一方、ステップS3の判定において、1stレリーズスイッチがオンされた場合に、システム制御部116は、AE処理及びAF処理を実行する(ステップS4)。AE処理において、システム制御部116は、露出処理部112において被写体輝度を算出させる。その後、システム制御部116は、露出処理部112において算出された被写体輝度と予め不揮発性メモリ118に記憶された絞り値とシャッタ速決定テーブルとから露出演算を行って、撮影時の撮像素子107の露光量(絞り値AVとシャッタ速TV)を算出する。さらに、システム制御部116は、AE処理の結果から、撮影画面内においてフラッシュの発光が必要な領域(撮影画面内の低輝度領域)を検出する。また、AF処理において、システム制御部116は、AF処理部113で得られるAF評価値から、撮像素子107に集光される被写体の像が最も鮮明になるようにレンズ制御部102を制御して撮影レンズ101のフォーカスを調整する。
次に、システム制御部116は、ユーザによりレリーズボタンが全押しされて2ndレリーズスイッチがオンされたかを判定する(ステップS5)。ステップS5の判定において、2ndレリーズスイッチがオンされるまで、システム制御部116は、繰り返しステップS5の判定を行う。一方、ステップS5の判定において、2ndレリーズスイッチがオンされた場合に、システム制御部116は、本撮影時におけるフラッシュ発光部206の発光量を決定するためのフラッシュ調光制御処理を行う(ステップS6)。このフラッシュ調光制御処理の詳細については後述する。
ステップS6において、本撮影時におけるフラッシュ発光部206の発光量を決定した後、システム制御部116は、フラッシュ制御部121を制御して、ステップS6で得られた発光量で外部フラッシュ装置200のフラッシュ発光部206を発光させる。さらに、システム制御部116は、絞り制御部104を制御して絞り機構103を駆動するとともに、シャッタ制御部106を制御してシャッタ105を駆動して撮影を行う(ステップS7)。なお、撮像素子107の感度については例えば被写体輝度に応じて設定する。
本撮影の後、システム制御部116は、撮影によって得られた画像データに対する画像処理を画像処理部111に行わせる(ステップS8)。最後に、システム制御部116は、画像処理部111において得られた圧縮画像データを外部メモリ114に記録させる(ステップS9)。その後に、システム制御部116は図2の処理を終了させる。
図3は、本発明の一実施形態におけるフラッシュ調光制御処理の詳細について示すフローチャートである。このフラッシュ調光制御処理においては、定常光下(外光のみ)の露光を行ったときに撮像素子107を介して得られる定常光データと、フラッシュ発光部206を少光量で発光させたときに撮像素子107を介して得られるプリ発光データとから本撮影時のフラッシュ発光部206の発光量(本発光量)を決定する。
図3において、システム制御部116は、定常光露光時の絞り値AVを算出する(ステップS11)。次に、システム制御部116は、定常光露光時の撮像素子107の感度値SVを算出する(ステップS12)。次に、システム制御部116は、定常光露光時のシャッタ速TVを算出する(ステップS13)。なお、定常光露光時のAV、SV、TVは例えば固定値を用いる。勿論、定常光露光時のAV、SV、TVを撮影条件に応じて可変としても良い。定常光露光時のAV、SV、TVが算出された後、システム制御部116は各算出された値に従って絞り制御部104、撮像制御部108、シャッタ制御部106を制御して定常光露光を実行し、定常光露光によって撮像素子107を介して得られる定常光データをメモリ110に記憶させる(ステップS14)。
定常光露光の後、システム制御部116は、プリ発光露光時の絞り値AVを算出する(ステップS15)。次に、システム制御部116は、プリ発光露光時の撮像素子107の感度値SVを算出する(ステップS16)。ここで、プリ発光露光時のAV、SVは例えば定常光露光時と同じ値を用いれば良い。
次に、システム制御部116は、プリ発光露光時のシャッタ速TVを算出する(ステップS17)。このプリ発光時のシャッタ速TVの算出手法について説明する。図4は、撮像素子107からの信号の読み出し期間と露光期間とプリ発光タイミングとの関係について示す図である。上述したように、本実施形態における撮像素子107は、ライン単位での信号の読み出しが可能なCMOSセンサを想定している。このような構成の場合、図4に示すように、撮像領域内のあるラインの信号が読み出された後、所定の遅れ時間を伴って次のラインの信号が読み出される。このように、CMOSセンサでは、各ラインの信号を同時に読み出すことができず、また信号の読み出し時間はライン毎に一定であるので、各ラインで露光期間を等しくするためには、信号の読み出し開始の遅れ時間分だけ露光開始のタイミングもライン毎にずらす必要がある。このため、シャッタ速TVによっては撮像領域内でフラッシュ光が照射されない領域が発生する。
例えば、撮像領域内の全ラインにフラッシュ光を有効に作用させるためには、撮像領域内の全ラインの露光期間が重なる期間が発生するようにシャッタ速TVを設定する。図4の例では、シャッタ速TV=Aの場合に全ラインの露光期間が重なる期間が発生する。この全ラインの露光期間が重なる期間中にフラッシュをプリ発光させることで撮像領域内の全ラインにフラッシュ光が照射される。
ここで、撮像領域内でフラッシュ光を有効に作用させるライン数(有効ライン数)を減少させることで、フラッシュ光の照射時に露光期間を重ねる必要のあるライン数が減少する。例えば、有効ライン数を全ラインの1/2とした場合、フラッシュ光の照射時に露光期間を重ねる必要のあるライン数も全ラインの1/2となる。この場合に、露光期間は、図示ハッチング部の期間のみとすれば良く、この期間で露光を行うためにはシャッタ速TVを1段高速(シャッタ速TV=A+1)にすれば良い。
同様に、有効ライン数を全ラインの1/4とした場合、フラッシュ光の照射時に露光期間を重ねる必要のあるライン数も全ラインの1/4となる。この場合の露光期間は、図4のTV=A+2のハッチング部の期間のみとすれば良く、この期間で露光を行うためにはシャッタ速TVを2段高速にすれば良い。さらに同様に有効ライン数を全ラインの1/8、1/16とする場合に対応してシャッタ速TVを3段、4段高速にする例を、図4のTV=A+3、A+4に示す。
なお、図4においてはシャッタ速TV=A+1、A+2、・・・、A+4の場合に、比較しやすいようにTV=Aの露光期間を重ねて示している。
一般に、定常光は撮像素子107の撮像領域に一定に照射されていると仮定することができる。このように仮定すると、露光期間を半分にすることで撮像素子107への定常光の入射時間も半分となり、その結果、撮像素子107を介して得られる画像における定常光成分の量を1EV分だけ減少させることが可能である。同様の考えにより、露光期間を半分、即ちシャッタ速TVを1段高速にする毎に、撮像素子107を介して得られる画像における定常光成分の量を1EVずつ減少させることが可能である。これによってプリ発光露光時における定常光の影響を低減することが可能である。ただし、フラッシュ光を照射させるライン数を少なくしすぎると、フラッシュ光を高精度に調光することが困難となる。
したがって、本実施形態では、プリ発光に先だって撮影シーン中の定常光成分を抽出し、定常光成分が少ない場合には、フラッシュ光の調光精度を重視してフラッシュ光を有効に作用させる有効ライン数を多くするべく、シャッタ速TVを低速とする。一方、定常光成分が多い場合には、フラッシュ光を有効に作用させる有効ライン数を少なくして定常光成分による誤差を減らすべく、シャッタ速TVを高速とする。ただし、有効ライン数を少なくする場合であっても、その少なくした有効ライン内にフラッシュ光を必要としている被写体が存在していないとフラッシュの調光結果が適正なものとはならない場合がある。このため、有効ライン内に被写体が存在するように設定することが望ましい。
図5は、上述の考え方に基づく、シャッタ速決定処理の詳細を示すフローチャートである。図5のシャッタ速決定処理は、図3のステップS17の「プリ発光露光用TV算出」の中の処理の一部を構成するものである。
図5において、システム制御部116は、まず、撮像素子107の撮像領域内の全ラインにフラッシュ光を有効に作用させるために必要なシャッタ速TV_All_Lineを算出する(ステップS31)。このシャッタ速TV_All_Lineは、各ラインの信号の読み出しに必要な時間+重ねる時間として算出される。シャッタ速TV_All_Lineの算出後、システム制御部116は、撮像素子107の撮像領域の全ラインにフラッシュ光を照射させた場合の輝度情報Pre_BVを以下の(式1)に従って算出する(ステップS32)。
Pre_BV=Pre_AV+TV_All_Line−Pre_SV (式1)
なお、(式1)におけるPre_AVは図3のステップS15で決定したプリ発光露光時の絞り値AVであり、Pre_SVは図3のステップS16で決定したプリ発光露光時の撮像素子107の感度値SVである。
次に、システム制御部116は、プリ発光露光時の露光量の基準値である基準BVを決定する(ステップS33)。この基準BVは任意の値を設定できる。本実施形態では、例えば基準BV=Pre_BVとする。基準BVをPre_BVとすることで、基準BVは適正露光時の輝度を示すものとなる。基準BVの決定後、システム制御部116は、定常光の輝度情報BV_Normalを取得する(ステップS34)。定常光の輝度情報BV_Normalは、例えば、定常光露光時に得られる画像の平均明るさから求めるようにしても良いし、AE時に得られる画像の平均明るさから求めるようにしても良い。
次に、システム制御部116は、以下の(式2)に従って適正露光に対する定常光成分の輝度超過分BV_Overを算出する(ステップS35)。
BV_Over=BV_Normal−基準BV=BV_Normal−Pre_BV (式2)
その後、システム制御部116は、BV_Overが0以下であるか否かを判定する(ステップS36)。ステップS36の判定において、BV_Overが0以下の場合には、プリ発光露光時の撮影シーンにおける定常光成分の量が適正露光量を超えていない。この場合には、撮像領域の全ラインにフラッシュ光を照射する露光を行っても定常光の影響が少ないと考えられる。したがって、フラッシュ光の調光精度を重視してシステム制御部116は、シャッタ速TVをTV_All_Lineとする(ステップS37)。一方、ステップS36の判定において、BV_Overが0を超えている場合には、プリ発光時露光時の撮影シーンにおける定常光成分の量が適正露光量を超えている。この場合に、撮像領域の全ラインにフラッシュ光を照射する露光を行うと、定常光の影響によって適正な調光結果が得られないおそれがある。したがって、システム制御部116はシャッタ速TVをTV_All_Lineよりも高速にして定常光成分が一定露光量となるようにする(ステップS38)。具体的には、シャッタ速TVを以下の(式3)に示す値とする。
TV=TV_All_Line+BV_Over (式3)
以下、図3の説明を続ける。図5のステップS37又はステップS38の後、システム制御部116は、フラッシュ光を有効に作用させる有効領域を設定する(ステップS18)。この有効領域の設定手法について以下に説明する。本実施形態においては、撮像領域内の被写体を含む領域中の所定のラインを基準ラインとし、この基準ラインを中心としてプリフラッシュ照射ライン数Flash_Pre_Line分のラインを含む領域を有効領域として設定する。
図6及び図7は、図3のステップS18における有効領域設定処理の詳細を示したフローチャートである。図6において、システム制御部116は、基準ラインを設定するために必要な情報をライン数に変換するライン変換処理を行う(ステップS41)。本実施形態では、以下に示す情報を用いて基準ラインを設定する。
(1)AF処理において合焦されている領域(AF領域とする)
(2)AE処理に基づいて演算される撮影画面内においてフラッシュの発光が必要な低輝度領域(AE領域とする)
(3)顔検出等の被写体認識技術によって識別される、撮影画面内において被写体が存在していると考えられる領域(顔領域とする)
これら(1)〜(3)の領域を撮像素子107のライン数に変換する。例えば、図8は、顔検出が行えた場合の変換例を示している。このような顔検出が行えた場合には、撮像素子107の撮像領域401中の顔の領域402を含むライン数Face_Line_Numを求める。AF合焦領域、AE領域についても同様の考え方でライン数AF_Line_Num、AE_Line_Numを求める。
次に、システム制御部116は、図5のステップS37又はS8において決定されたシャッタ速TVに従ってプリフラッシュ発光露光時にフラッシュ光を有効に作用させるべきプリフラッシュ照射ライン数Flash_Pre_Lineを算出する(ステップS42)。このプリフラッシュ照射ライン数Flash_Pre_Lineは以下の(式4)に従って算出される。
Flash_Pre_Line=(Exposure_Time−Flash_Control_Time)/Read_Time(切り上げ)
(式4)
ここで、(式4)のExposure_Timeは露光期間を示し、シャッタ速決定処理の際に決定されたシャッタ速TVを時間に換算したものである。また、Flash_Control_Timeはフラッシュ制御タイミングを示す。各ラインの露光期間は最低限、フラッシュ制御タイミングFlash_Control_Timeの期間分は重ねる必要がある。さらに、Read_Timeは各ラインの信号読み出しタイミングのずれ時間であり、各ラインの信号読み出し時間にほぼ等しい時間となる。このRead_Timeが経過する毎に各ラインの露光が順次終了して信号の読み出しが開始されることになる。このプリフラッシュ照射ライン数Flash_Pre_Line分の領域にフラッシュ光を照射することで、プリ発光露光時における定常光成分が一定露光量となる。
次に、システム制御部116は、Face_Line_Num、AE_Line_Num、AF_Line_Numの中で幾つのライン数情報が得られたかを判定する(ステップS43)。
ステップS43の判定において、ステップS41のライン数変換において得られたライン数情報がなし、即ちAF、AE、顔検出ともに不能であった場合に、システム制御部116は、図9に示すように、撮像領域401中の中央のラインを基準ラインとする(ステップS44)。これは、撮像領域401の中央部の被写体の存在確率が高いためである。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS45)。この場合、有効領域は図9の参照符号403で示すものとなる。
また、ステップS43の判定において、ステップS41のライン数変換において得られたライン数情報が1、即ちAF処理、AE処理、顔検出の何れか1つからしかライン数情報が得られなかった場合に、システム制御部116は、AF処理、AE処理、顔検出のうちで得られたライン数情報に対応した領域の中央部に相当するラインを基準ラインとする(ステップS46)。例えば、図10に示すように、AE処理のみ結果が得られた場合には、AE領域402aの中央部に相当するラインを基準ラインとする。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS47)。最終的なプリフラッシュ照射ライン数は、Face_Line_Num、AE_Line_Num、又はAF_Line_NumによらずにFlash_Pre_Lineとする。ライン数をFlash_Pre_Lineよりも多くしてしまうとプリ発光露光時に定常光成分が影響してしまい、ライン数をFlash_Pre_Lineよりも少なくしてしまうと一定の露光量が得られないためである。
また、ステップS43の判定において、ステップS41のライン数変換において得られたライン数情報が3、即ちAF処理、AE処理、顔検出の何れからもライン数情報が得られた場合に、システム制御部116は、図11に示すように、顔領域402bの中央部に相当するラインを基準ラインとする(ステップS48)。これは、顔領域402bの露出を所定(適正)とするためである。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数を、ステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS49)。
また、ステップS43の判定において、ステップS41のライン数変換において得られたライン数情報が2、即ちAF処理、AE処理、顔検出の何れか2つからしかライン数情報が得られなかった場合に、システム制御部116は、得られた2つのライン数情報にそれぞれ対応した領域の何れかが他方に内包されているか否かを判定する(ステップS50)。
ステップS50の判定において、領域が内包されている場合に、システム制御部116は、顔領域402bにAE領域402aが内包されているか、或いは顔領域402bにAF領域402cが内包されているかを判定する(ステップS51)。ステップS51の判定において、顔領域402bにAE領域402aが内包されているか、或いは顔領域402bにAF領域402cが内包されている場合に、システム制御部116は、顔領域402bの中央部に相当するラインを基準ラインとする(ステップS52)。図12は、顔領域402bにAF領域402cが内包されている例を示しており、このような場合には顔領域402bの中央部に相当するラインを基準ラインとする。これは、顔領域402bの露出を所定(適正)とするためである。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS53)。
また、ステップS51の判定において、顔領域402bにAE領域402a又はAF領域402cが内包されていない、即ちAE領域402a又はAF領域402cに顔領域402bが内包されている場合、或いはAE領域402aとAF領域402cの何れかが他方に内包されている場合に、システム制御部116は、小さい領域の中央部に相当するラインを基準ラインとする(ステップS54)。図13は、AE領域402aに顔領域402bが内包されている例を示しており、このような場合には小さい方、即ち顔領域402bの中央部に相当するラインを基準ラインとする。この場合には、顔領域402bの露光量が所定(適正)となる。これは、大きい方の領域の中央部に相当するラインを基準ラインとすると、小さい方の領域が有効領域に含まれにくくなる場合があるのを回避し、小さい方と大きい方の領域を有効領域に反映させやすくするためである。
その後、システム制御部116は、最終的なプリフラッシュ照射ライン数を、ステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS55)。
また、ステップS50の判定において、領域が内包されていない場合に、システム制御部116は、得られた2つのライン数情報がAE_Line_Num及びAF_Line_Numであるか否かを判定する(ステップS56)。ステップS56の判定において、得られた2つのライン数情報がAE_Line_Num及びAF_Line_Numである場合に、システム制御部116は、AE領域402aとAF領域402cの一部又は全部が重なっているか否かを判定する(ステップS57)。ステップS57の判定において、AE領域402aとAF領域402cの一部又は全部が重なっている場合に、システム制御部116は、AF領域402cに近い側のAE領域402aの端部に相当するラインを基準ラインとする(ステップS58)。図14は、AE領域402aの下部にAF領域402cが重なっている例を示しており、このような場合にはAE領域402aのAF領域402cに近い側の端、即ちAE領域402aの下端に相当するラインを基準ラインとする。これは、フラッシュ調光の面から言えば、AF領域402cよりもAE領域402aを重視すべきであるが、AE領域402aの近くにAF領域402cが存在しているということは、AE領域402aに関連した被写体が存在している可能性があるためである。即ち、基本的にはAE領域402a内の露光量を重視しつつ、AF領域402c内の被写体の露光量も考慮できるようにしている。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS59)。
また、ステップS57の判定において、AE領域402aとAF領域402cが全く重なっていない場合に、システム制御部116は、図15に示すように、AE領域402aの中央部に相当するラインを基準ラインとする(ステップS60)。これは、AF領域402c中の被写体がAE領域402aと関連のない被写体であると考えられるためである。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS61)。
また、ステップS56の判定において、得られた2つのライン数情報がAE_Line_Num及びAF_Line_Numでない場合、即ちFace_Line_Numを含む場合に、システム制御部116は、顔領域402bの中央部に相当するラインを基準ラインとする(ステップS62)。例えば、図16のような場合には顔領域402bの中央部に相当するラインを基準ラインとする。これは、顔領域402bの露出を所定(適正)とするためである。次に、システム制御部116は、最終的なプリフラッシュ照射ライン数をステップS42において算出されたプリフラッシュ照射ライン数Flash_Pre_Lineに決定する(ステップS63)。
ここで、図3の説明に戻る。以上のようにして有効領域403を設定した後、システム制御部116は図6及び図7の処理を終了する。その後、システム制御部116は各算出された値に従って絞り制御部104、撮像制御部108、シャッタ制御部106を制御してプリ発光露光を実行し、プリ発光露光によって撮像素子107を介して得られるプリ発光データをメモリ110に記憶させる(ステップS19)。ここで、本実施形態において、システム制御部116は、有効領域403内の全てのラインの露光期間が重なる期間中にフラッシュ光を発光するようにフラッシュ光の発光制御タイミングを設定してプリ発光露光を実行する。プリ発光露光の後、システム制御部116は、メモリ110に記憶されている定常光データのうちで、有効領域403に対応したラインのデータを取得する(ステップS20)。さらに、システム制御部116は、メモリ110に記憶されているプリ発光データのうちで、有効領域403に対応した対応したラインのデータを取得する(ステップS21)。
その後、システム制御部116は、取得した定常光データ及びプリ発光データをそれぞれ被写体輝度に変換する発光量演算用データ変換処理を露出処理部112に実行させる(ステップS22)。その後、システム制御部116は、定常光データから求められた被写体輝度及びプリ発光データから求められた被写体輝度のそれぞれにおいて発光量の演算に用いる発光エリアの判定を行う(ステップS23)。発光エリアは例えば被写体が存在する領域とする。被写体の検出については顔検出等の手法を用いることができる。発光エリアの判定後、システム制御部116は、プリ発光データから求められた被写体輝度と定常光データから求められた被写体輝度との差分から、撮影時におけるフラッシュ発光部206の発光量(本発光量)を演算する(ステップS24)。このようにしてフラッシュ調光制御が終了する。
以上説明したように、本実施形態によれば、撮影シーンの定常光成分を予測し、且つAE処理結果、AF処理結果、顔検出結果に従って撮像領域401中の被写体の状態を考慮して有効領域403を設定している。これにより、定常光成分が所定の露光量(例えば、適正露光量)を超えた場合であっても有効領域403を適切に設定して定常光成分が該所定の露光量を超えないようにするとともに、フラッシュ光の照射により、本撮影時に重要と考えられる被写体の露光量を適正なもとのすることが可能である。したがって、撮像素子107の駆動モードを変えることなく、フラッシュ光の調光精度を向上させることが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
100…カメラ、101…撮影レンズ、102…レンズ制御部、103…絞り機構、104…絞り制御部、105…シャッタ、106…シャッタ制御部、107…撮像素子、108…撮像制御部、109…アナログ/デジタル(A/D)変換部、110…メモリ、111…画像処理部、112…露出処理部、113…AF処理部、114…外部メモリ、115…表示部、116…システム制御部、117…操作部、118…不揮発性メモリ、119…電源部、120…電源制御部、121…フラッシュ制御部、122…フラッシュ充電部、123…フラッシュ発光部、124…外部フラッシュ接続部、131…フラッシュ発光部、200…外部フラッシュ装置、201…制御部、202…不揮発性メモリ、203…電源部、204…電源制御部、205…フラッシュ充電部、206…フラッシュ発光部、207…カメラ接続部

Claims (4)

  1. 光電変換素子を含む複数の画素を2次元状に配置してなる撮像領域を有し、被写体からの光束を前記各画素で受光して受光量に応じた電荷を蓄積する撮像手段と、
    前記被写体を照明するために発光する発光手段と、
    前記被写体の情報を取得する被写体情報取得手段と、
    前記被写体の情報に応じて前記発光手段のプリ発光を有効に作用させる前記撮像領域内のライン数である有効ライン数を算出する有効ライン数算出手段と、
    前記有効ライン数に基づいて前記撮像領域内に有効領域を設定する設定手段と、
    前記撮像領域のライン単位で露光期間がずれるように、且つ前記撮像手段の有効領域の最初のラインに対応した露光期間の一部と前記有効領域の最後のラインに対応した露光期間の一部とが時間的に重なるように、前記撮像手段を制御する撮像制御手段と、
    前記有効領域の最初のラインに対応した露光期間の一部と前記有効領域の最後のラインに対応した露光期間の一部とが重なる期間において前記発光手段によるプリ発光を実行させる発光制御手段と、
    前記有効領域に対応した画素からの電荷に基づく画像から本発光時における前記発光手段の発光量を演算する発光量演算手段と、
    を具備することを特徴とするフラッシュ調光機能を備えたカメラ装置。
  2. 前記被写体の情報は、撮影画面内のAF合焦位置を含むことを特徴とする請求項1に記載のフラッシュ調光機能を備えたカメラ装置。
  3. 前記被写体の情報は、撮影画面内の露出演算結果を含むことを特徴とする請求項1に記載のフラッシュ調光機能を備えたカメラ装置。
  4. 前記被写体の情報は、撮影画面内の顔検出位置を含むことを特徴とする請求項1に記載のフラッシュ調光機能を備えたカメラ装置。
JP2009053671A 2009-03-06 2009-03-06 フラッシュ調光機能を備えたカメラ装置 Active JP5265416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009053671A JP5265416B2 (ja) 2009-03-06 2009-03-06 フラッシュ調光機能を備えたカメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009053671A JP5265416B2 (ja) 2009-03-06 2009-03-06 フラッシュ調光機能を備えたカメラ装置

Publications (2)

Publication Number Publication Date
JP2010212764A true JP2010212764A (ja) 2010-09-24
JP5265416B2 JP5265416B2 (ja) 2013-08-14

Family

ID=42972542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009053671A Active JP5265416B2 (ja) 2009-03-06 2009-03-06 フラッシュ調光機能を備えたカメラ装置

Country Status (1)

Country Link
JP (1) JP5265416B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325388A (ja) * 1996-06-05 1997-12-16 Olympus Optical Co Ltd ストロボ発光量制御可能なカメラ
JP2007174217A (ja) * 2005-12-21 2007-07-05 Canon Inc 撮像装置及びその制御方法
JP2010087664A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置およびフラッシュの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325388A (ja) * 1996-06-05 1997-12-16 Olympus Optical Co Ltd ストロボ発光量制御可能なカメラ
JP2007174217A (ja) * 2005-12-21 2007-07-05 Canon Inc 撮像装置及びその制御方法
JP2010087664A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp 撮像装置およびフラッシュの制御方法

Also Published As

Publication number Publication date
JP5265416B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
US8150252B2 (en) Imaging apparatus and imaging apparatus control method
JP2008187615A (ja) 撮像素子、撮像装置、制御方法、及びプログラム
JP6017225B2 (ja) 撮像装置
JP2008070611A (ja) 撮像装置、露出条件調整方法及びプログラム
JP5597243B2 (ja) 撮像装置
JP4971190B2 (ja) Ledフラッシュ制御
JP2012147187A (ja) 撮像装置
JP2013020196A (ja) カメラ
JP2012156807A (ja) 撮像装置及びその制御方法
US10356326B2 (en) Camera
JP2009169282A (ja) 撮像装置及びそのプログラム
JP2006243372A (ja) カメラ
JP5791765B2 (ja) 撮像装置及びその制御方法
JP2013165318A (ja) 撮像装置
JP2008167299A (ja) 撮影装置及びそのプログラム
JP5208838B2 (ja) 撮像装置
JP2017216637A (ja) 撮像装置及び制御方法
JP5371539B2 (ja) 撮影装置
JP2010193286A (ja) フラッシュ調光機能を備えたカメラ装置
JP4869801B2 (ja) 撮影装置
JP7277284B2 (ja) 焦点調節装置および焦点調節方法
JP5265416B2 (ja) フラッシュ調光機能を備えたカメラ装置
JP2014230018A (ja) 撮影装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP5961058B2 (ja) 撮像装置及びその制御方法、画像処理装置及びその制御方法
JP2010282021A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130501

R151 Written notification of patent or utility model registration

Ref document number: 5265416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250