JP2004248050A - ビデオカメラ - Google Patents

ビデオカメラ Download PDF

Info

Publication number
JP2004248050A
JP2004248050A JP2003036823A JP2003036823A JP2004248050A JP 2004248050 A JP2004248050 A JP 2004248050A JP 2003036823 A JP2003036823 A JP 2003036823A JP 2003036823 A JP2003036823 A JP 2003036823A JP 2004248050 A JP2004248050 A JP 2004248050A
Authority
JP
Japan
Prior art keywords
focus
threshold
focus area
area
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003036823A
Other languages
English (en)
Inventor
Kazuhiko Arii
和彦 有井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003036823A priority Critical patent/JP2004248050A/ja
Publication of JP2004248050A publication Critical patent/JP2004248050A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【構成】被写界の光学像に対応する電荷は、イメージセンサ16の受光面の全体から周期的に読み出される。SDRAM34には、イメージセンサ16から読み出された電荷に基づくYUVデータが書き込まれる。LCD40には、SDRAM34に格納されたYUVデータに基づくスルー画像が表示される。シャッタボタン44が操作されると被写界の明るさが判別され、明るさが十分であれば、電荷をイメージセンサ16の受光面の中央エリアから読み出しかつSDRAM34へのYUVデータの書き込みを禁止する特定設定状態が有効化される。フォーカスは、特定設定状態が有効化された後にイメージセンサ16から読み出された電荷に基づいて調整される。フォーカス調整が完了すると、特定設定状態が解除される。
【効果】フォーカス調整の高速化とLCDを用いた被写界全体の確認が可能となる。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
この発明は、ビデオカメラに関し、特にたとえばイメージセンサから出力された画像信号(輝度信号)の高周波成分に基づいてフォーカスを調整する、ビデオカメラに関する。
【0002】
【従来技術】
イメージセンサから出力された画像信号に基づいてフォーカスを調整する場合、フォーカス調整に要する時間は画像信号の読み出し周期に依存する。したがって、イメージセンサの受光面のうち、フォーカスエリアを含む一部のエリアから画像信号を読み出すようにすれば、画像信号の読み出し周期が短縮され、フォーカス調整を短時間で終了することができる。
【0003】
なお、この種のオートフォーカスカメラの一例は、特許文献1に開示されている。
【0004】
【特許文献1】
特開平8−223465号公報
【0005】
【発明が解決しようとする課題】
しかし、受光面の一部からのみ画像信号を読み出すのでは、被写界の一部の画像しかモニタに表示できず、操作性が低下する。
【0006】
それゆえに、この発明の主たる目的は、フォーカス調整を高速化でき、かつ操作性の低下を抑制できる、ビデオカメラを提供することである。
【0007】
【課題を解決するための手段】
この発明に従うビデオカメラは、被写界の光学像に対応する電荷をイメージセンサの全体エリアから周期的に読み出し、読み出された電荷に基づく画像信号をメモリに書き込み、そしてメモリに格納された画像信号に基づく画像をモニタに表示するビデオカメラにおいて、被写界の明るさが十分であるとき電荷をイメージセンサの部分エリアから読み出しかつメモリへの画像信号の書き込みを禁止する特定設定状態を有効化する有効化手段、および特定設定状態が有効化された後にイメージセンサから読み出された電荷に基づいてフォーカスを調整する調整手段を備えることを特徴とする。
【0008】
【作用】
被写界の光学像に対応する電荷は、イメージセンサの全体エリアから周期的に読み出される。メモリには、イメージセンサから読み出された電荷に基づく画像信号が書き込まれる。モニタには、メモリに格納された画像信号に基づく画像が表示される。ただし、被写界の明るさが十分であれば、電荷をイメージセンサの部分エリアから読み出しかつメモリへの画像信号の書き込みを禁止する特定設定状態が有効化手段によって有効化される。フォーカスは、特定設定状態が有効化された後にイメージセンサから読み出された電荷に基づいて、調整手段によって調整される。
【0009】
電荷をイメージセンサの部分エリアから読み出すことによって、読み出し周期が短縮される。また、部分エリアから読み出された電荷に基づく画像信号のメモリへの書き込みを禁止することによって、モニタの表示は、被写界全体のスルー画像からフリーズ画像に移行する。読み出し周期が短縮されることで、フォーカス調整の高速化が可能となる。また、フリーズ画像ではあるものの、被写界全体の画像がモニタに表示されるため、操作性の低下を抑制できる。
【0010】
好ましくは、調整手段による調整が完了した後に、解除手段によって特定設定状態が解除される。これによって、電荷はイメージセンサの全体エリアから周期的に読み出され、読み出された電荷に基づく画像信号がメモリに書き込まれる。モニタの表示は、フリーズ画像から被写界のリアルタイム動画像に遷移する。
【0011】
なお、フォーカス調整の高速化が実現されるため、フリーズ画像が表示される時間は短く、オペレータに著しい不快感を与えることはない。
【0012】
好ましくは、被写界の明るさが十分であるか否かは、フォーカス調整操作に応答して、判別手段によって判別される。この場合、有効化手段は判別手段の判別結果が肯定的であるときに特定設定状態を有効化する。特定設定状態はフォーカス調整操作のようなオペレータの手動操作に起因して有効化されるため、オペレータの意図しないタイミングでモニタ表示がスルー画像からフリーズ画像に遷移することはない。
【0013】
【発明の効果】
この発明によれば、読み出し周期が短縮されることで、フォーカス調整の高速化が可能となる。また、フリーズ画像ではあるものの、被写界全体の画像がモニタに表示されるため、操作性の低下を抑制できる。
【0014】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【0015】
【実施例】
図1を参照して、この実施例のディジタルカメラ10は、フォーカスレンズ12および絞り機構14を含む。被写界の光学像は、これらの部材を介してCCD型のイメージセンサ16の受光面に入射される。受光面では、光電変換によって光学像に対応する電荷が生成される。
【0016】
LCD40が起動されると、スルー画像表示処理が実行される。まず、CPU24からTG(Timing Generator)18に対して、全体間引き読み出しが命令される。TG18は、1/30秒に1回の割合で垂直同期信号Vsyncを発生し、30fpsの周期でかつ間引き態様でイメージセンサ16から読み出す。イメージセンサ16からは、被写界の全体に対応する低解像度の生画像信号が1/30秒に1フレームの割合で出力される。
【0017】
CSD/AGC回路26は、イメージセンサ16から出力された各フレームの生画像信号に周知のノイズ除去およびレベル調整を施す。かかる処理が施された生画像信号はA/D変換器28によってディジタル信号である生画像データに変換され、変換された生画像データは信号処理回路28において色分離,白バランス調整,ガンマ補正,YUV変換などの一連の処理を施される。信号処理回路28からは、YUVデータが出力される。出力された各フレームのYUVデータは、メモリコントローラ32によってSDRAM34に書き込まれ、その後同じメモリコントローラ32によってSDRAM34から読み出される。読み出されたYUVデータはビデオエンコーダ38によってNTSC方式の複合画像信号に変換され、変換された複合画像信号はLCD40に与えられる。この結果、被写体のリアルタイム動画像(スルー画像)がLCD画面に表示される。
【0018】
信号処理回路30によって生成されたYUVデータのうち、Yデータは、AE/AF評価回路42にも入力される。AE/AF評価回路42は、入力されたYデータを1フレーム毎に積分して被写体の明るさの程度を表す輝度評価値Iy[i](i:0〜255のブロック番号)を算出するとともに、入力されたYデータの高域周波数成分を1フレーム毎に積分してフォーカスレンズ12の合焦の程度を表すフォーカス評価値Ih[j](j:0〜4のフォーカスエリア番号)を算出する。
【0019】
具体的には、AE/AF評価回路36は、図2に示すように被写界つまり画面を水平方向および垂直方向の各々において16分割し、分割された各々のブロックにラスタスキャン態様で“0”〜“255”のブロック番号を付与し、そしてYデータをブロック毎に積分することで256個の輝度評価値Iy[0]〜Iy[255]を算出する。AE/AF評価回路36はまた、被写界に5つのフォーカスエリアを割り当て、各々のフォーカスエリアに“0”〜“4”のフォーカスエリア番号を付与し、そしてYデータの高周波成分をフォーカスエリア毎に積分することでフォーカス評価値Ih[0]〜Ih[4]を算出する。
【0020】
なお、フォーカスエリア0は、被写界の略中央に位置する8ブロック“103”,“104”,“119”,“120”,“135”,“136”,“151”および“152”によって形成される。フォーカスエリア1は、被写界の左側に位置する8ブロック“99”,“100”,“115”,“116”,“131,“132”,“147”および“148”によって形成される。フォーカスエリア2は、被写界の右側に位置する8ブロック“107”,“108”,“123”,“124”,“139,“140”,“155”および“156”によって形成される。フォーカスエリア3は、被写界の下側に位置する8ブロック“182”〜“185”および“198”〜“201”によって形成される。フォーカスエリア4は、被写界の上側に位置する8ブロック“54”〜“57”および“70”〜“73”によって形成される。
【0021】
シャッタボタン44が半押しされると、ディジタルカメラ10の姿勢が傾斜センサ46の出力に基づいて判別される。これによって、ディジタルカメラ10が正立状態,右方向への90°傾斜状態および左方向への90°傾斜状態のいずれの状態にあるかが特定される。
【0022】
続いて、AE/AF回路42から出力された輝度評価値Iy[0]〜Iy[255]がCPU24によって取り込まれ、これに基づいて本露光用の最適露光期間Tsおよび最適絞り量Asが求められる。また、被写界の明るさに応じてイメージセンサ16の駆動方式が決定され、決定された駆動方式に適合するAF用露光期間が求められる。駆動方式として全体間引き読み出しが維持されるときはAF用露光期間Taf1が求められ、駆動方式が全体間引き読み出しから部分間引き読み出しに変更されたときはAF用露光期間Taf2が求められる。
【0023】
全体間引き読み出しでは、上述のように、イメージセンサ16の受光面全体が読み出しエリアとされ、電荷は30fpsの周期で間引き読み出しを施される。これに対して、部分間引き読み出しでは、イメージセンサ16の受光面のうち図2に示す中央エリアが読み出しエリアとされ、電荷は60fpsの周期で間引き読み出しを施される。なお、部分間引き読み出しでは、垂直同期信号Vsyncは1/60秒に1回の割合でTG18から出力される。
【0024】
さらに、図2に示すフォーカスエリア0〜4に割り当てられる閾値C[0]〜C[4]が、シーン選択キー48の選択状態と傾斜センサ46の出力とに基づいて決定する。シーン選択キー48によって選択できるシーンは、“ポートレートシーン”,“スポーツシーン”,“風景シーン”,“夕景シーン”、“夜景シーン”および“デフォルトシーン”の6つである。
【0025】
“ポートレートシーン”が選択された場合の閾値C[0]〜C[4]の設定状態を図3(A)〜図3(C)に示す。図3(A)に示す正立状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1],C[2]およびC[4]として設定され、そして閾値THdが閾値C[3]として設定される。図3(B)に示す左90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[2],C[3]およびC[4]として設定され、そして閾値THdが閾値C[1]として設定される。図3(C)に示す右90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1],C[3]およびC[4]として設定され、そして閾値THdが閾値C[2]として設定される。
【0026】
“スポーツシーン”が選択された場合の閾値C[0]〜C[4]の設定状態を図4(A)〜図4(C)に示す。図4(A)に示す正立状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1],C[2]およびC[4]として設定され、そして閾値THcが閾値C[3]として設定される。図4(B)に示す左90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[2],C[3]およびC[4]として設定され、そして閾値THcが閾値C[1]として設定される。図4(C)に示す右90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1],C[3]およびC[4]として設定され、そして閾値THcが閾値C[2]として設定される。
【0027】
“風景シーン”,“夕景シーン”または“夜景シーン”が選択された場合の閾値C[0]〜C[4]の設定状態を図5(A)〜図5(C)に示す。図5(A)に示す正立状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1]およびC[2]として設定され、閾値THcが閾値C[4]として設定され、そして閾値THdが閾値C[3]として設定される。図5(B)に示す左90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[3]およびC[4]として設定され、閾値THcが閾値C[2]として設定され、そして閾値THdが閾値C[1]として設定される。図5(C)に示す右90°傾斜状態では、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[3]およびC[4]として設定され、閾値THcが閾値C[1]として設定され、そして閾値THdが閾値C[2]として設定される。
【0028】
“デフォルトシーン”が選択された場合の閾値C[0]〜C[4]の設定状態を図6(A)〜図6(C)に示す。正立状態,左90°傾斜状態および右90°傾斜状態のいずれにおいても、閾値THaが閾値C[0]として設定され、閾値THbが閾値C[1],C[2],C[3]およびC[4]として設定される。
【0029】
なお、閾値THa,THb,THcおよびTHdの間では、THa<THb<THc<THdの関係が成立する。
【0030】
閾値C[0]〜C[4]の設定が完了すると、フォーカスドライバ22によってフォーカスレンズ12が光軸方向に段階的に移動し、各ステップで撮影された被写界のフォーカス評価値Ih[0]〜Ih[4]がCPU24によって取り込まれる。イメージセンサ16が全体間引き読み出し方式で駆動されるときは、1/30秒に1回の割合でフォーカス評価値Ih[0]〜Ih[4]がCPU24に取り込まれ、イメージセンサ16が部分間引き読み出し方式で駆動されるときは、1/60秒に1回の割合でフォーカス評価値Ih[0]〜Ih[4]がCPU24に取り込まれる。
【0031】
CPU24は、各ステップで取得されたフォーカス評価値Ih[0]〜Ih[4]に基づいて、フォーカスエリア0〜4のいずれか1つを有効フォーカスエリアZcとして決定する。なお、有効フォーカスエリア以外のフォーカスエリアを、“無効フォーカスエリア”と定義する。
【0032】
具体的には、各々のレンズ位置で取得されるフォーカス評価値Ih[0]〜Ih[4]のうち最大値がレジスタ値Ih[0]max〜Ih[4]maxとして退避され、最大値が得られたときのフォーカスレンズ12の位置情報fposがレジスタ値f[0]〜f[4]として退避される。
【0033】
退避されたレジスタ値Ih[0]max〜Ih[4]maxは、上述の閾値C[0]〜C[4]と比較される。そして、Ih[j]max>閾値C[j]の条件を満たすフォーカスエリアのうち、レジスタ値f[j]が最大のフォーカスエリアつまり合焦点が最も至近側のフォーカスエリアが、有効フォーカスエリアZcとして決定される。さらに、決定した有効フォーカスエリアZc内の被写体にフォーカスが合わせられる。
【0034】
たとえば、ポートレートシーンが選択され、かつ図7(A)に示すように人物Hm1が捉えられた状態で、シャッタボタン44が半押しされると、フォーカスエリア0が有効フォーカスエリアZcとして決定される。また、ポートレートシーンが選択され、図7(B)に示すように遠くに存在する人物Hm2と近くに存在する人物Hm3とが捉えられた状態で、シャッタボタン44が半押しされると、フォーカスエリア2が有効フォーカスエリアZcとして決定される。
【0035】
スポーツシーンが選択され、かつ図8に示すように遠くを走る人物Hm5および近くを走る人物Hm6が捉えられた状態で、シャッタボタン44が半押しされると、フォーカスエリア1が有効フォーカスエリアZcとして決定される。
【0036】
風景シーン,夕景シーンまたは夜景シーンが選択され、かつ図9に示すように遠くに存在する家Hsと近くに存在する人物Hm4とが捉えられた状態で、シャッタボタン44が半押しされると、フォーカスエリア2が有効フォーカスエリアZcとして決定される。
【0037】
有効フォーカスエリアZcが決定されると、CPU22は、有効フォーカスエリアZcを示す枠をLCD画面上に表示する。オペレータは、現在どのフォーカスエリアが有効フォーカスエリアZcとされているのかを視覚的に把握することができる。
【0038】
なお、イメージセンサ16が部分間引き読み出し方式で駆動される場合、SDRAM34に格納されたYUVデータの読み出しは継続されるものの、イメージセンサ16から出力された生画像信号に基づくYUVデータのSDRAM34への書き込みは中止される。これによって、LCD40の表示はスルー画像からフリーズ画像に遷移する。
【0039】
ただし、フォーカス評価値Ih[0]〜Ih[4]に基づいて有効フォーカスエリアZcが決定されると、イメージセンサ16の駆動方式が部分間引き読み出しから全体間引き読み出しに戻され、かつイメージセンサ16から出力された生画像信号に基づくYUVデータのSDRAM34への書き込みが再開される。これによって、LCD40の表示もまたフリーズ画像からスルー画像に戻される。
【0040】
シャッタボタン44の半押し状態が継続されると、被写界内を移動する主要被写体にフォーカスを合わせ続ける自動追尾処理が実行される。自動追尾動作は、次の要領で実行される。
【0041】
まず、輝度評価値Iy[0]〜Iy[255]がCPU24によって数フレームに1回の割合で取り込まれ、今回取り込まれた輝度評価値Iy[0]〜Iy[255]と前回取り込まれた輝度評価値(レジスタ値)Iy[0]’〜Iy[255]’との差分である輝度差ΔIy[0]〜ΔIy[255]が算出される。さらに、レジスタ値Iy[0]’〜Iy[255]’と輝度差ΔIy[0]〜ΔIy[255]とに基づいてブロック毎の輝度変化率E[0]〜E[255]が算出され、その後フォーカスエリア毎の輝度変化率Ef[0]〜Ef[4]が算出される。
【0042】
主要被写体が有効フォーカスエリアZcから別のフォーカスエリアに移動したかどうかは、算出された輝度変化率Ef[0]〜Ef[4]に基づいて判定される。つまり、被写体に動きが生じると輝度が変化するため、有効フォーカスエリアZc以外のフォーカスエリアの輝度変化率Ef[j]に着目して、主要被写体の移動判定が行われる。
【0043】
具体的には、フォーカスエリア0が有効フォーカスエリアZcであれば、無効フォーカスエリア1〜4のうち輝度変化率Ef[j]が最大のフォーカスエリアが予想移動先エリアZtとして決定される。さらに、フォーカスエリア0を挟んで予想移動先エリアZtと反対側に位置するフォーカスエリアが監視対象エリアZmとして決定される。また、予想移動先エリアZtの輝度変化率Ef[j]と比較される閾値Kが、ディジタルカメラ10の姿勢に応じて次の要領で決定される。なお、監視対象エリアZmの輝度変化率Ef[j]と比較される閾値Lは、固定値とされる。
【0044】
図10(A)および図10(B)を参照して、ディジタルカメラ10が正立状態であれば、フォーカスエリア0上に存在する主要被写体Prは、フォーカスエリア3または4よりもむしろフォーカスエリア1または2に向かって移動すると思われる。これに対して、ディジタルカメラ10が90°傾斜状態であれば、フォーカスエリア0上に存在する主要被写体Prは、フォーカスエリア1または2よりもむしろフォーカスエリア3または4に向かって移動すると思われる。このため、ディジタルカメラ10が正立状態であれば、フォースエリア1または2に割り当てられる閾値Kが、フォーカスエリア3または4に割り当てられる閾値Kよりも低く設定される。また、ディジタルカメラ10が90°傾斜状態であれば、フォースエリア3または4に割り当てる閾値Kが、フォーカスエリア1または2に割り当てられる閾値Kよりも低く設定される。
【0045】
一方、フォーカスエリア1〜4のいずれか1つが有効フォーカスエリアZcであれば、有効フォーカスエリアZcに近接する3つの無効フォーカスエリアが予想移動先エリアZtの候補として決定される。つまり、フォーカスエリア1または2が有効フォーカスエリアZcであればフォーカスエリア0,3および4が候補とされ、フォーカスエリア3または4が有効フォーカスエリアZcであればフォーカスエリア0,1および2が候補とされる。そして、候補とされた3つのフォーカスエリアのうち輝度変化率Ef[j]が最大のフォーカスエリアが予想移動先エリアZtとして決定される。
【0046】
なお、フォーカスエリア0を挟んで予想移動先エリアZtと反対側に位置するフォーカスエリアが監視対象エリアZmとして決定される点、および監視対象エリアZmの輝度変化率Ef[j]と比較される閾値Lが固定値とされる点は、上述と同じである。ただし、予想移動先エリアZtの輝度変化率Ef[j]と比較される閾値Kは、次の要領で決定される。
【0047】
図11(A)および図11(B)を参照して、ディジタルカメラ10が正立状態であれば、フォーカスエリア1上に存在する主要被写体Prは、フォーカスエリア0,3または4のいずれにも移動すると思われる。また、ディジタルカメラ10が90°傾斜状態であれば、フォーカスエリア3上に存在する主要被写体Prは、フォーカスエリア0,1または2のいずれにも移動すると思われる。
【0048】
一方、図12(A)および図12(B)を参照して、ディジタルカメラ10が正立状態であれば、フォーカスエリア4上に存在する主要被写体Prは、フォーカスエリア0よりもむしろフォーカスエリア1または2に向かって移動すると思われる。また、ディジタルカメラ10が90°傾斜状態であれば、フォーカスエリア1上に存在する主要被写体Prは、フォーカスエリア0よりもむしろフォーカスエリア3または4に向かって移動すると思われる。
【0049】
このため、主要被写体が被写界の右側または左側に配置されたフォーカスエリア上に存在する場合は、予想移動先エリアZtの候補とされた3つのフォーカスエリアの全てに低目の閾値Kが割り当てられる。一方、主要被写体が被写界の上側または下側に配置されたフォーカスエリア上に存在する場合は、予想移動先エリアZtの候補とされた3つのフォーカスエリアのうち、フォーカスエリア0に高目の閾値Kが割り当てられ、残りの2つのフォーカスエリアに低目の閾値Kが割り当てられる。
【0050】
移動判定にあたって、予想移動先エリアZtの輝度変化率Ef[j]が閾値K以上でかつ監視対象エリアZmの輝度変化率Ef[j]が閾値L未満であれば、主要被写体について“移動あり”と判定される。これに対して、予想移動先エリアZtの輝度変化率Ef[j]が閾値K未満であるか、予想移動先エリアZtの輝度変化率Ef[j]および監視対象エリアZmの輝度変化率Ef[j]がそれぞれ閾値Kおよび閾値L以上であれば、主要被写体について“移動なし”と判定される。
【0051】
なお、予想移動先エリアZtの輝度変化率Ef[j]が閾値K以上でかつ監視対象エリアZmの輝度変化率Ef[j]が閾値L以上であるときに“移動なし”と判定するのは、この変化がパンニングやチルティングによるものと思われるからである。
【0052】
ただし、主要被写体の移動速度が遅い場合は、主要被写体が予想移動先エリアZtに向かって移動しているにも関わらず、予想移動先エリアの輝度変化率Ef[j]が閾値Kに達しない可能性がある。このため、上述の移動判定で“移動なし”と判定されたときは、輝度変化率Ef[0]〜Ef[4]の積算値(レジスタ値)S[0]〜S[4]に基づいて主要被写体の移動の有無が判定される。
【0053】
具体的には、フォーカスエリア1〜4のいずれか1つが有効フォーカスエリアZcであれば、積算値S[0]が閾値Xとして設定される。また、フォーカスエリア0が有効フォーカスエリアZcであれば、ディジタルカメラ10の姿勢に応じて積算値S[1]〜S[4]のいずれか1つが閾値Xとして設定される。つまり、ディジタルカメラ10が正立状態であれば積算値S[1]およびS[2]のうち大きい数値が閾値Xとして設定され、ディジタルカメラ10が90°傾斜状態であれば積算値S[3]およびS[4]のうち大きい数値が閾値Xとして設定される。
【0054】
したがって、図10(A)に示すようにディジタルカメラ10が正立状態にありかつ主要被写体Prがフォーカスエリア0上に存在するときは、積算値S[1]またはS[2]が閾値Xとして設定される。また、図10(B)に示すようにディジタルカメラ10が傾斜状態にありかつ主要被写体Prがフォーカスエリア0上に存在するときは、積算値S[3]またはS[4]のうち大きい方が閾値Xとして設定される。一方、図11(A),図11(B),図12(A)または図12(B)に示すように主要被写体Prがフォーカスエリア0以外のフォーカスエリア上に存在するときは、フォーカスエリア0の積算値S[0]が閾値Xとして設定される。
【0055】
そして、閾値Xが閾値Lに満たなければ主要被写体について“移動なし”と判定され、閾値Xが閾値L以上であれば主要被写体について“移動あり”と判定される。
【0056】
“移動あり”との判定結果が得られると、有効フォーカスエリアZcが予想移動先エリアZtに変更され、変更された有効フォーカスエリアZc上でフォーカスが調整される。“移動なし”との判定結果が得られたときは、現時点の有効フォーカスエリアZcに設定が維持される。
【0057】
なお、以上のような自動追尾処理を行うとき、絞り機構14は絞りドライバ20によって開放される。これは、絞り機構14の開口部における光の回折の影響を軽減し、追尾精度を向上させるためである。
【0058】
シャッタボタン44が半押し状態から全押し状態に移行すると、最適絞り量Asおよび最適露光期間Tsが絞り機構14およびTG18にそれぞれに設定され、記録処理が実行される。まず、CPU24からTG18に対して1フレームの本露光および全画素読み出しが命令され、CPU24から信号処理回路30に対して圧縮処理が命令される。TG18は、最適露光期間Tsに従う本露光を実行し、本露光によって生成された全ての電荷つまり1フレーム分の高解像度生画像信号をイメージセンサ16から読み出す。
【0059】
読み出された生画像信号は、CDS/AGC回路26およびA/D変換器28を介して信号処理回路30に入力され、上述の一連の処理によってYUVデータに変換される。変換されたYUVデータは、メモリコントローラ32によってSDRAM34に書き込まれる。信号処理回路30はその後、メモリコントローラ32を通してSDRAM34からYUVデータを読み出し、読み出されたYUVデータにJPEG圧縮を施し、JPEG圧縮によって生成された圧縮画像データをファイル形式でメモリカード36に記録する。
【0060】
図13(A)〜図11(C)を参照して、自動追尾動作の一例を説明する。図13(A)に示すように、主要被写体Prがフォーカスエリア1上に存在しかつ有効フォーカスエリアZcがフォーカスエリア1に設定されている状態から、主要被写体Prが図13(B)および図13(C)に示すようにディジタルカメラ10に向かって被写界を横断し、かつ図13(A)の時点では被写界内に存在しなかった2次的被写体Seが、図13(B)の時点で被写界内に侵入し、図13(B)の時点で被写界から外れる場合を想定する。
【0061】
図13(A)の時点ではフォーカスエリア0が予想移動先エリアZtとされ、フォーカスエリア2が監視対象エリアZmとされる。そして、輝度変化率Ef[0]およびEf[2]と輝度変化率Ef[0]の積算値Xとに基づいて、主要被写体Prがフォーカスエリア0に移動したか否かが判断される。図13(B)の時点では、フォーカスエリア2が予想移動先エリアZtとされ、フォーカスエリア1が監視対象エリアZmとされる。そして、輝度変化率Ef[2]およびEf[1]と輝度変化率Ef[2]の積算値に基づいて、主要被写体Prがフォーカスエリア2に移動したか否かが判断される。
【0062】
このように、予想移動先エリアZtおよび監視対象エリアZmは主要被写体Prが移動したか否かを検知するための移動検知エリアとされ、予想移動先エリアZtおよび監視対象エリアZmの輝度変化率Ef[j]に基づいて主要被写体Prの移動の有無が判断される。したがって、移動の有無の判断が2次的主要被写体Seによって乱されることはない。
【0063】
モードキー50の操作によって自動追尾機能が有効化された状態でシャッタボタン44が半押しされたとき、CPU24は、図14〜図32に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ24aに記憶されている。
【0064】
図14を参照して、まずステップS1で傾斜センサ46を用いた姿勢検出処理を行う。これによって、ディジタルカメラ10が右方向への90°傾斜状態,左方向への90°傾斜状態および正立状態のいずれにあるのかが判別される。右方向への90°傾斜状態と判別されると姿勢係数SLPは“1”に設定され、左90°方向への傾斜状態と判別されると姿勢係数SLPは“2”に設定され、そして正立状態と判別されると姿勢係数SLPは“3”に設定される。
【0065】
続くステップS3では、AE/AF制御処理を実行する。このうち、AE制御処理によって最適露光期間Tsおよび最適絞り量Asが求められる。また、AF制御処理によってフォーカス調整が可能な被写界であるかどうかが判断され、判断結果が肯定的であれば、有効フォーカスエリアZcが決定されるとともに、決定された有効フォーカスエリアZc内の被写体にフォーカスが合わせられる。なお、フォーカス調整が可能であれば“Good”の判定結果が得られ、フォーカス調整が不可能であれば“NG”の判定結果が得られる。
【0066】
ステップS5ではAF制御処理によって得られた判定結果を判別し、ステップS7ではシャッタボタン44の半押し状態が継続しているかどうかを判別する。判定結果が“NG”であるとき、あるいは判定結果が“Good”であってもシャッタボタン34が半押し状態でなければ、ステップS25で本露光のために最適露光期間Tsおよび最適絞り量AsをTG18および絞り機構14に設定してから、処理を終了する。したがって、シャッタボタン34が半押し状態から全押し状態に移行したときは、ピントがあっているかどうかに関係なく記録処理が実行される。
【0067】
判定結果が“Good”でかつシャッタボタン44の半押し状態が継続されていれば、主要被写体の自動追尾を行うべく、ステップS9以降の処理を実行する。
【0068】
まずステップS9で、変数p,q,rおよびレジスタ値S[0]〜S[4]を“0”に設定する。ここで、変数pは、シャッタボタン44が半押しされてからYデータが安定するまでに要するフレーム数をカウントするための変数である。変数qは、輝度評価値Iy[0]〜Iy[255]の取り込み周期をカウントするための変数である。変数rは、輝度変化率Ef[0]〜Ef[4]の積算フレーム数をカウントするための変数である。レジスタ値S[0]〜S[4]はそれぞれ、輝度変化率Ef[0]〜Ef[4]の積算値である。
【0069】
ステップS11では、絞り機構14が開放状態であるか否かを判断する。YESと判断されたときはそのままステップS19に進むが、NOと判断されたときはステップS13〜S17の処理を経てステップS19に進む。
【0070】
ステップS13では、AE制御処理で求められた最適絞り量A(=As)をレジスタ値As’として退避させ、ステップS15では絞り機構14を開放状態とする。ステップS17では、AF用露光期間Taf1を算出し、算出されたAF用露光期間Taf1をTG18に設定する。
【0071】
ステップS19では垂直同期信号Vsyncの発生の有無を判別し、YESであればシャッタボタン44の半押し状態が維持されているかどうかをステップS25で判断する。半押し状態が解除されていれば、ステップS25の本露光設定を経て処理を終了する。
【0072】
シャッタボタン44の半押し状態が維持されていれば、ステップS25でAE/AF評価回路36から輝度評価値Iy[0]〜Iy[255]を取り込み、ステップS27で変数pが上限値P(=3)に達したか否かを判断する。変数pが未だ上限値Pに達していなければ、ステップS29で変数pをインクリメントし、ステップS31で現在の輝度評価値Iy[0]〜Iy[255]をレジスタ値Iy[0]’〜Iy[255]’として退避させてから、ステップS19に戻る。
【0073】
変数pが上限値Pに達すると、ステップS27からステップS33に進み、変数qが上限値Q(=3)に達したかどうかを判断する。変数qが未だ上限値Qに達していなければ、ステップS37で変数qをインクリメントしてからステップS19に戻る。変数qが上限値Qに達したときは、ステップS37で変数qを“0”に戻し、ステップS39で輝度変化検出処理を実行する。輝度変化検出処理によって、フォーカスエリア0〜4の輝度変化率Ef[0]〜Ef[4]が求められる。
【0074】
ステップS41では、第1移動判定処理を実行する。第1移動判定処理によって、予想移動先エリアZtおよび監視対象エリアZmが決定され、予想移動先エリアZtおよび監視対象エリアZmの輝度変化率Ef[j]に基づいて主要被写体の移動の有無が判定される。ステップS43では、第1移動判定処理の判定結果が“移動あり”および“移動なし”のいずれであるかを判断する。
【0075】
ここでNOと判断されたときは、ステップS45で第2移動判定処理を実行する。第2移動判定処理によって、輝度変化率Ef[0]〜Ef[4]が積算され、積算値S[0]〜S[4]に基づいて主要被写体の移動の有無が判定される。ステップS47では、第2移動判定処理の判定結果が“移動あり”および“移動なし”のいずれであるかを判断する。ここでNOと判断されたときは、主要被写体に移動は生じていないとみなし、そのままステップS19に戻る。
【0076】
これに対して、ステップS43およびS47のいずれか一方でYESと判断されたときは、ステップS49でAF再起動処理を実行する。AF再起動処理によって、有効フォーカスエリアZcが更新され、更新後の有効フォーカスエリアZcにおいてフォーカス調整が行われる。ステップS51ではレジスタ値S[0]〜S[4]を“0”に戻し、ステップS53では現在の輝度評価値Iy[i]をレジスタ値Iy[i]’として退避させる。退避処理が完了すると、ステップS19に戻る。
【0077】
図14に示すステップS1の姿勢検出処理は、図16に示すサブルーチンに従う。まずステップS61およびS63で、傾斜センサ46の出力に基づいてディジタルカメラ10の姿勢を判別する。傾斜センサ46の出力が“正立状態”を示していれば、ステップS61でYESと判断し、ステップS65で姿勢係数SLPを“3”に設定する。傾斜センサ46の出力が“右方向への90°傾斜状態”を示していれば、ステップS63でYESと判断し、ステップS67で姿勢係数SLPを“1”に設定する。傾斜センサ46の出力が“左方向への90°傾斜状態”を示していれば、ステップS63でNOと判断し、ステップS69で姿勢係数SLPを“2”に設定する。
【0078】
図14に示すステップS3のAE/AF制御処理は、図17〜図19に示すサブルーチンに従う。まずステップS71で、AE/AF評価回路42から256個の輝度評価値Iy[0]〜Iy[255]を取り込む。ステップS73では、取り込まれた輝度評価値Iy[0]〜Iy[255]に基づいて最適露光期間Tsを算出して、ステップS75では、算出された最適露光期間Tsをレジスタ値Ts’として退避させる。ステップS77では、取り込まれた輝度評価値Iy[0]〜Iy[255]に基づいて最適絞り量Asを算出し、絞りドライバ20を制御して絞り機構14に最適絞り量Asを設定する。なお、最適露光期間Tsおよび最適絞り量Asの算出は、現時点で有効化されている測光方式(多分割測光,中央重点測光,スポット測光など)に従って行われる。
【0079】
設定が完了すると、ステップS79で第1フリーズ処理を行う。これによって、イメージセンサ16の駆動方式が全体間引き読み出しおよび部分間引き読み出しのいずれか一方に決定される。つまり、被写界が明るければ全体間引き読み出しが維持され、被写界が暗ければ部分間引き読み出しが選択される。また、部分間引き読み出しが選択されたときは、メモリコントローラ32に対してデータ書き込みの中止が命令される。
【0080】
ステップS81では、閾値設定処理を実行する。これによって、閾値C[1]〜C[4]がフォーカスエリア0〜4に個別に割り当てられる。閾値C[1]〜C[4]の具体的な数値は、シーン選択キー48によって選択されたシーンとディジタルカメラ10の姿勢とに基づいて決定される。
【0081】
ステップS83ではフォーカスドライバ22を駆動してフォーカスレンズ12を無限位置に設定し、ステップS85ではフォーカス位置情報fposを無限位置に対応する“0”に設定する。続いて、ステップS87でレジスタ値Ih[0]max〜Ih[4]maxを“0”に設定し、ステップS89で垂直同期信号Vsyncの発生の有無を判別する。
【0082】
垂直同期信号Vsyncが発生したときは、ステップS91で変数jを“0”に設定し、ステップS93でAE/AF評価回路42からフォーカス評価値Ih[j]を取り込む。ステップS95では、取り込まれたフォーカス評価値Ih[j]をレジスタ値Ih[j]maxと比較する。ここでIh[j]<Ih[j]maxと判断されれば、そのままステップS101に進む。これに対して、Ih[j]≧Ih[j]maxと判断されれば、ステップS97でフォーカス評価値Ih[j]をレジスタ値Ih[i]maxとして設定し、ステップS99で現時点のフォーカス位置情報fposをレジスタ値f[j]として退避させ、その後ステップS101に進む。
【0083】
ステップS101では、変数jが“4”に達したかどうか判断する。変数jが“4”に達していなければ、ステップS103で変数jをインクリメントしてからステップS93に戻る。変数jが“4”に達すると、ステップS105でフォーカス位置情報fposを至近位置に対応する所定値NEARと比較する。ここでfpos<NEARであれば、フォーカスレンズ12は至近位置に到達していないとみなし、ステップS107でフォーカスレンズ12を1ステップ至近側に移動させるとともに、ステップS109でフォーカス位置情報fposをインクリメントする。ステップS109の処理が完了すると、ステップS99に戻る。
【0084】
以上のようなステップS89〜S109の処理の繰り返しによって、レジスタ値f[0]〜f[4]はそれぞれ、フォーカスエリア0〜4におけるフォーカスレンズ12の合焦位置を示す。
【0085】
フォーカスレンズ12が至近位置に達すると、ステップS105でYESと判断し、ステップS111で第2フリーズ処理を実行する。第2フリーズ処理によって、イメージセンサ16の駆動方式が全体間引き読み出しに戻される。
【0086】
ステップS113では、レジスタ値Ih[0]max〜レジスタ値Ih[4]maxを閾値C[0]〜C[4]とそれぞれ比較して、Ih[j]max≧C[j]の条件を満たすフォーカスエリアを検出する。ステップS115では、条件を満たすフォーカスエリアが検出されたかどうか判断し、判断結果に応じてステップS117およびステップS127のいずれか一方に進む。
【0087】
条件を満たすフォーカスエリアが検出されると、ステップS117で最適レジスタ値f[j]を特定する。具体的には、条件を満たすフォーカスエリアに対応するレジスタ値f[j]の中から、最も数値の大きいものつまり最も至近側のものを特定する。ステップS119では、最適レジスタ値f[j]に対応するフォーカスエリアを有効フォーカスエリアZcとして決定し、有効フォーカスエリアZcを示す枠をLCD40に表示する。ステップS121では最適レジスタ値f[j]をフォーカス位置情報fposとして復帰させ、ステップS123ではフォーカス位置情報fposが示す位置にフォーカスレンズ12を移動させ、そしてステップS125では判定結果“Good”を有効化する。
【0088】
一方、条件を満たすフォーカスエリアが検出されなければ、ステップS127で固定値をフォーカス位置情報fposに設定する。ステップS129ではフォーカス位置情報fposが示す位置にフォーカスレンズ12を移動させ、ステップS131では判定結果“NG”を有効化する。ステップS125またはS131の処理が完了すると、上階層のルーチンに復帰する。
【0089】
第1フリーズ処理は、図20に示すサブルーチンに従う。まずステップS141で、上述のステップS71で取得した輝度評価値Iy[0]〜Iy[255]に基づいて輝度レベルy_levelを算出する。算出方法は、現時点で有効化されている測光方式に従う。ステップS143では、上述のステップS73で算出された最適露光期間Ts,設定可能な最長露光期間TmaxおよびステップS141で算出された輝度レベルy_levelに基づいて、最長露光期間Tmaxに対応する輝度レベルy_level_maxを算出する。具体的には、数1の演算を実行する。
【0090】
【数1】
y_level_max=y_level×Tmax/Ts
ステップS145では、算出された輝度レベルy_level_maxを目標輝度レベルy_targetと比較する。y_level_max>y_targetであればステップS157で暗黒率night_ratioを“0”に設定し、y_level_max≦y_targetであればステップS159で暗黒率night_ratioを数2に従って算出する。
【0091】
【数2】
night_ratio=
100(1−y_level_max/y_target)
ステップS147またはS149の処理が完了すると、ステップS151で暗黒率night_ratioを閾値Bと比較する。そして、night_ratio>Bであれば、被写界は十分に明るいとみなし、ステップS163に進む。ステップS163では、現時点の駆動方式である全体間引き読み出しに適合するAF用露光期間Taf1を算出し、算出した露光期間Taf1をTG18に設定する。設定が完了すると、上階層のルーチンに復帰する。
【0092】
これに対して、night_ratio≦Bであれば、被写界の明るさは不十分であるとみなし、ステップS153で垂直同期信号Vsyncの発生を待つ。垂直同期信号Vsyncが発生すると、ステップS155でメモリコントローラ32にデータ書き込みの中止を命令する。メモリコントローラ32はデータ読み出しのみを行い、LCD40の表示はスルー画像からフリーズ画像(静止画像)に遷移する。ステップS157では部分間引き読み出しをTG18に命令し、ステップS159では垂直同期信号Vsyncの発生を待つ。垂直同期信号Vsyncが発生すると、ステップS161に進み、部分間引き読み出し方式に適合するAF用露光期間Taf2の算出と、算出した露光期間Taf2のTG18への設定とを行う。設定が完了すると、上階層のルーチンに復帰する。
【0093】
図17に示すステップS81の閾値設定処理は、図21に示すサブルーチンに従う。まずステップS171でシーン選択キー48の選択状態を検出し、ステップS173,S177およびS179でどのようなシーンが選択されているかを判別する。デフォルトシーンが選択されていれば、ステップS173からステップS175に進み、閾値C[0]として閾値THaを設定するとともに、閾値C[1]〜C[4]として閾値THbを設定する。ステップS175の処理が完了すると、上階層のルーチンに復帰する。
【0094】
ポートレートシーンが選択されていれば、ステップS177でYESと判断し、ステップS181で第1閾値決定処理を実行する。スポーツシーンが選択されていれば、ステップS179でYESと判断し、ステップS183で第2閾値決定処理を実行する。風景シーン,夕景シーンまたは夜景シーンが選択されていれば、ステップS179でNOと判断し、ステップS185で第3閾値決定処理を実行する。ステップS181,S183またはS185の処理が完了すると、上階層のルーチンに復帰する。
【0095】
ステップS181の第1閾値決定処理は、図22に示すサブルーチンに従う。まずステップS201およびS205で傾斜係数SLPを判別する。傾斜係数SLPが“1”であれば、ステップS201からステップS203に進み、閾値C[0]として閾値THaを設定し、閾値C[1],C[3]またはC[4]として閾値THbを設定し、そして閾値C[2]として閾値THdを設定する。傾斜係数SLPが“2”であれば、ステップS205からステップS207に進み、閾値C[0]として閾値THaを設定し、閾値C[2],C[3]またはC[4]として閾値THbを設定し、そして閾値C[1]として閾値THdを設定する。
【0096】
傾斜係数SLPが“3”であれば、ステップS205からステップS209に進み、閾値C[0]として閾値THaを設定し、閾値C[1],C[2]またはC[4]として閾値THbを設定し、そして閾値C[3]として閾値THdを設定する。ステップS203,S207またはS209の処理が完了すると、上階層のルーチンに復帰する。
【0097】
ステップS183の第2閾値決定処理は、図23に示すサブルーチンに従う。まずステップS211およびS215で傾斜係数SLPを判別する。傾斜係数SLPが“1”であれば、ステップS211からステップS213に進み、閾値C[0]として閾値THaを設定し、閾値C[1],C[3]またはC[4]として閾値THbを設定し、そして閾値C[2]として閾値THcを設定する。傾斜係数SLPが“2”であれば、ステップS215からステップS217に進み、閾値C[0]として閾値THaを設定し、閾値C[2],C[3]またはC[4]として閾値THbを設定し、そして閾値C[1]として閾値THcを設定する。
【0098】
傾斜係数SLPが“3”であれば、ステップS215からステップS219に進み、閾値C[0]として閾値THaを設定し、閾値C[1],C[2]またはC[4]として閾値THbを設定し、そして閾値C[3]として閾値THcを設定する。ステップS213,S217またはS219の処理が完了すると、上階層のルーチンに復帰する。
【0099】
ステップS185の第3閾値決定処理は、図24に示すサブルーチンに従う。まずステップS221およびS225で傾斜係数SLPを判別する。傾斜係数SLPが“1”であれば、ステップS221からステップS223に進み、閾値C[0]として閾値THaを設定し、閾値C[3]またはC[4]として閾値THbを設定し、閾値C[1]として閾値THcを設定し、そして閾値C[2]として閾値THdを設定する。傾斜係数SLPが“2”であれば、ステップS215からステップS217に進み、閾値C[0]として閾値THaを設定し、閾値C[3]またはC[4]として閾値THbを設定し、閾値C[1]として閾値THdを設定し、そして閾値C[2]として閾値THcを設定する。
【0100】
傾斜係数SLPが“3”であれば、ステップS215からステップS219に進み、閾値C[0]として閾値THaを設定し、閾値C[1]またはC[2]として閾値THbを設定し、閾値C[3]として閾値THdを設定し、そして閾値C[4]として閾値THcを設定する。ステップS223,S227またはS229の処理が完了すると、上階層のルーチンに復帰する。
【0101】
図19に示すステップS111の第2フリーズ処理は、図25に示すサブルーチンに従う。まずステップS231で、メモリコントローラ32がデータ書き込みを中止しているかどうかを判別する。ここでNOと判断されると、そのまま上階層のルーチンに復帰する。
【0102】
これに対して、YESと判断されると、ステップS233で全体間引き読み出しをTG18に命令する。垂直同期信号Vsyncが発生すると、ステップS235からステップS237に進み、全体間引き読み出しに適合するAF用露光期間Taf1の算出と、算出した露光期間Taf1のTG18への設定とを行う。垂直同期信号Vsyncが再度発生するとステップS239からステップS241に進み、データ書き込みの再開をメモリコントローラ32に命令する。データ書き込みの再開によって、LCD40の表示はフリーズ画像からスルー画像に遷移する。ステップS241の処理が完了すると、上階層のルーチンに復帰する。
【0103】
図15に示すステップS39の輝度変化検出処理は、図26に示すサブルーチンに従う。まずステップS251で、図14のステップS23で取り込まれた輝度評価値Iy[0]〜Iy[255]とその前に図15のステップS31で退避されたレジスタ値Iy[0]’〜Iy[255]’とに数3に従う演算を施し、各ブロックの輝度差ΔIy[0]〜Iy[255]を求める。
【0104】
【数3】
ΔIy[i]=|Iy[i]−Iy[i]’|
ただし、i=0〜255
ステップS253では、数3に従って算出された輝度差ΔIy[0]〜Iy[255]とレジスタ値Iy[0]’〜Iy[255]’とに数4に従う演算を施し、各ブロックの輝度変化率E[0]〜E[255]を算出する。
【0105】
【数4】
E[i]=(ΔIy[i]/Iy[i]’)×100
ただし、i=0〜255
ステップS255では、フォーカスエリア0に属するブロックの輝度変化率E[i]を平均して輝度変化率Ef[0]を求め、フォーカスエリア1に属するブロックの輝度変化率E[i]を平均して輝度変化率Ef[1]を求め、フォーカスエリア2に属するブロックの輝度変化率E[i]を平均して輝度変化率Ef[2]を求める。また、フォーカスエリア3に属するブロックの輝度変化率E[i]を平均して輝度変化率Ef[3]を求め、フォーカスエリア4に属するブロックの輝度変化率E[i]を平均して輝度変化率Ef[4]を求める。ステップS255の処理が完了すると、上階層のルーチンに復帰する。
【0106】
図15に示すステップS41の第1移動判定処理は、図27〜図28に示すサブルーチンに従う。まずステップS261で、有効フォーカスエリアZcの設定先がフォーカスエリア0であるか否かを判断する。YESと判断されたときはステップS263に進み、無効フォーカスエリア1〜4のうち輝度変化率Ef[j]が最大のフォーカスエリアを予想移動先エリアZtとして決定する。続くステップS265では、傾斜係数SLPを判別する。
【0107】
ここで傾斜係数SPLが“3”であれば、ディジタルカメラ10は正立状態にあるとみなし、ステップS267で閾値Kを決定する。具体的には、フォーカスエリア1または2の閾値Kを所定値kに決定し、フォーカスエリア3または4の閾値Kを所定値kの2倍の値に決定する。一方、傾斜係数SPLが“1”または“2”であれば、ディジタルカメラ10は90°傾斜状態にあるとみなし、ステップS269で閾値Kを決定する。具体的には、フォーカスエリア1または2の閾値Kを所定値kの2倍の値に決定し、フォーカスエリア3または4の閾値Kを所定値kに決定する。
【0108】
ステップS267またはS269の処理が完了するとステップS271に進み、予想移動先エリアZtの輝度変化率Ef[j]および閾値Kを互いに比較する。そして、Ef[j]<Kであれば、ステップS279で主要被写体について“移動なし”と判定し、上階層のルーチンに復帰する。これに対して、Ef[j]≧Kであれば、ステップS273で監視対象エリアZmを決定する。具体的には、フォーカスエリア1が予想移動先エリアZtであればフォーカスエリア2を監視対象エリアZmとし、フォーカスエリア2が予想移動先エリアZtであればフォーカスエリア1を監視対象エリアZmとする。また、フォーカスエリア3が予想移動先エリアZtであればフォーカスエリア4を監視対象エリアZmとし、フォーカスエリア4が予想移動先エリアZtであればフォーカスエリア3を監視対象エリアZmとする。
【0109】
ステップS275では、決定された監視対象エリアZmにおける輝度変化率Ef[j]を閾値Lと比較する。そして、Ef[j]<Lであれば、ステップS277で主要被写体について“移動あり”と判別する。これに対して、Ef[j]≧Lであれば、ステップS279で主要被写体について“移動なし”と判定する。ステップS277またはS279の処理が完了すると、上階層のルーチンに復帰する。
【0110】
ステップS261でNOと判断されたときは、ステップS281で予想移動先エリアZtの候補を決定する。具体的には、フォーカスエリア1または2が有効フォーカスエリアZcであれば、無効フォーカスエリア0,3および4を予想移動先エリアZtの候補とする。また、フォーカスエリア3または4が有効フォーカスエリアZcであれば、無効フォーカスエリア0,1および2を予想移動先エリアZtの候補とする。ステップS283では、決定された複数の候補のうち、輝度変化率E[j]が最大のフォーカスエリアを予想移動先エリアZtとして決定する。
【0111】
ステップS285では、傾斜係数SLPを判別する。そして、傾斜係数SLPが“3”であればステップS287に進み、傾斜SLPが“1”または“2”であればステップS289に進む。ステップS287では、有効フォーカスエリアZcの設定先を判別する。そして、有効フォーカスエリアZcがフォーカスエリア1または2に設定されていればステップS291で予想移動先エリアZtの候補の閾値Kを決定し、有効フォーカスエリアZcがフォーカスエリア3または4に設定されていればステップS293で予想移動先エリアZtの候補の閾値Kを決定する。
【0112】
ステップS289でも、ステップS287と同じ要領で有効フォーカスエリアの設定先を判別する。そして、有効フォーカスエリアZcがフォーカスエリア1または2に設定されていればステップS295で予想移動先エリアZtの候補の閾値Kを決定し、有効フォーカスエリアZcがフォーカスエリア3または4に設定されていればステップS297で予想移動先エリアZtの候補の閾値Kを決定する。
【0113】
ステップS291では、フォーカスエリア0,3または4の閾値Kを所定値kに決定する。ステップS293では、フォーカスエリア0の閾値Kを所定値kの2倍の値に決定し、フォーカスエリア1または2の閾値Kを所定値kに決定する。 ステップS295では、フォーカスエリア0の閾値Kを所定値kの2倍の値に決定し、フォーカスエリア3または4の閾値Kを所定値kに決定する。ステップS297では、フォーカスエリア0,1または2の閾値Kを所定値kに決定する。
【0114】
ステップS291〜S297の処理が完了すると、ステップS299〜S307の処理を実行するが、これらの処理は上述のステップS271〜S279と同様であるため、重複した説明を省略する。
【0115】
図15に示すステップS45の第2移動判定処理は、図29〜図31に示すサブルーチンに従う。まずステップS311で変化率積算処理を行う。変化率積算処理によって、フォーカスエリア0〜4のうち、有効フォーカスエリアZcおよびディジタルカメラ10の姿勢に応じて特定されるフォーカスエリアの輝度変化率Ef[j]が積算される。輝度変化率Ef[0]〜Ef[4]の積算結果は、レジスタ値S[0]〜S[4]として保持される。また、変化率積算処理によって、変数rがインクリメントされる。
【0116】
ステップS313では変数rが上限値Rに達したかどうかを判別し、変数rが上限値Rに達していなければ、ステップS339で“移動なし”の判定結果を有効化してから上階層のルーチンに復帰する。
【0117】
変数rが上限値Rに達したときは、ステップS315で変数rを“0”に戻し、ステップS317でフォーカスエリア0が有効フォーカスエリアZcであるかどうか判断する。フォーカスエリア1〜4のいずれか1つが有効フォーカスエリアZcであれば、ステップS319でレジスタ値S[0]を積算値Xとして設定する。一方、フォーカスエリア0が有効フォーカスエリアZcであれば、ステップS321に進み、姿勢係数SLPに基づいてディジタルカメラ10の姿勢を判別する。
【0118】
姿勢係数SLPが“3”であれば、ディジタルカメラ10は正立状態であるとみなし、ステップS329でレジスタ値S[1]およびS[2]を互いに比較する。そして、S[1]≧S[2]であればステップS331でレジスタ値S[1]を積算値Xとして設定し、S[1]<S[2]であればステップS333でレジスタ値S[2]を積算値Xとして設定する。
【0119】
これに対して、姿勢係数SLPが“1”または“2”であれば、ディジタルカメラ10は90°傾斜状態であるとみなし、ステップS325でレジスタ値S[3]およびS[4]を互いに比較する。そして、S[3]≧S[4]であればステップS325でレジスタ値S[3]を積算値Xとして設定し、S[3]<S[4]であればステップS327でレジスタ値S[4]を積算値Xとして設定する。
【0120】
積算値Xが確定すると、ステップS335でこの積算値Xを閾値Mとを比較する。そして、積算値Xが閾値M以上であればステップS337で“移動あり”の判定結果を有効化してから上階層のルーチンに復帰し、積算値Xが閾値M未満であればステップS339で“移動なし”の判定結果を有効化してから上階層のルーチンに復帰する。
【0121】
ステップS311の変化率積算処理は、図30〜図31に示すサブルーチンに従う。まずステップS341で有効フォーカスエリアZcの設定先を判別する。フォーカスエリア0が有効フォーカスエリアZcであれば、ステップS343で傾斜係数SLPを判別する。傾斜係数SLPが“3”のときはステップS345に進み、フォーカスエリア1の輝度変化率Ef[1]およびフォーカスエリア2の輝度変化率Ef[2]を個別に積算する。具体的には、数5に従う演算を実行する。
【0122】
【数5】
S[1]=S[1]+Ef[1]
S[2]=S[2]+Ef[2]
傾斜係数SLPが“1”または“2”のときはステップS347に進み、フォーカスエリア3の輝度変化率Ef[3]およびフォーカスエリア4の輝度変化率Ef[4]を個別に積算する。具体的には、数6に従う演算を実行する。
【0123】
【数6】
S[3]=S[3]+Ef[3]
S[4]=S[4]+Ef[4]
数5または数6の演算が完了すると、ステップS349で変数rをインクリメントしてから上階層のルーチンに復帰する。
【0124】
フォーカスエリア1〜4のいずれか1つが有効フォーカスエリアZcであれば、ステップS351で傾斜係数SLPを判別する。傾斜係数SLPが“3”のときは、ステップS355で有効フォーカスエリアZcの設定先を判別する。フォーカスエリア3または4が有効フォーカスエリアZcであればそのままステップS359に移行するが、フォーカスエリア1または2が有効フォーカスエリアZcであれば、ステップS357で数7に従ってフォーカスエリア0の輝度変化率Ef[0]を積算してからステップS349に移行する。
【0125】
【数7】
S[0]=S[0]+Ef[0]
また、傾斜係数SLPが“1”または“2”のときは、ステップS353で有効フォーカスエリアZcの設定先を判別する。フォーカスエリア1または2が有効フォーカスエリアZcであればそのままステップS349に移行するが、フォーカスエリア3または4が有効フォーカスエリアZcであれば、ステップS357を経てステップS349に移行する。
【0126】
図15に示すステップS49のAF再起動処理は、図32に示すサブルーチンに従う。まずステップS361で、有効フォーカスエリアZcを現在の予想移動先エリアZtに変更し、変更された有効フォーカスエリアZcを示す枠をLCD40に表示する。ステップS363では変更された有効フォーカスエリアZc内でフォーカス調整を行い、調整が完了すると、ステップS365で変数pを“0”に戻してから上階層のルーチンに復帰する。なお、ステップS363のフォーカス調整では、イメージセンサ14は全体間引き読み出しを施される。
【0127】
以上の説明から分かるように、被写界に配置されたフォーカスエリア0〜4の中からフォーカス調整に用いる有効フォーカスエリアZcを最初に決定するとき、フォーカスエリア0〜4でそれぞれ求められた最大フォーカス評価値Ih[0]max〜Ih[4]maxが、フォーカスエリア0〜4にそれぞれ割り当てられた閾値C[0]〜C[4]と比較される。ここで、閾値C[0]〜C[4]として設定される閾値THa,THb,THcまたはTHdの割り当て先は、傾斜センサ46の検知結果つまりカメラ姿勢に基づいてCPU24によって変更される。つまり、フォーカスエリア0〜4は、被写界の中心を基準に放射状に配置され、閾値THa,THb,THcまたはTHdの割り当て先はカメラ姿勢に応じて回転される。
【0128】
このように、閾値THa,THb,THcまたはTHdの割り当て先をカメラ姿勢に基づいて変更することで、カメラ姿勢に関係なくフォーカスを正確に調整することができる。また、フォーカスエリア0〜4は垂直方向および水平方向に3個ずつ配置され、傾斜センサ46はカメラ姿勢が正立状態および90°傾斜状態のいずれであるかを判別し、CPU24は閾値THa,THb,THcまたはTHdの割り当て先を90°回転させるため、傾斜センサ46が正立状態および90°傾斜状態しか判別できない低性能のものであっても、閾値THa,THb,THcまたはTHdの的確な割り当てが可能となる。
【0129】
また、被写界の光学像に対応する電荷は、イメージセンサ16の受光面の全体から周期的に読み出される。SDRAM34には、イメージセンサ16から読み出された電荷に基づくYUVデータが書き込まれる。LCD40には、SDRAM34に格納されたYUVデータに基づく画像が表示される。ただし、シャッタボタン44が操作されると、被写界の明るさが判別される。そして、明るさが十分であれば、電荷をイメージセンサ16の受光面の中央エリアから読み出しかつSDRAM34へのYUVデータの書き込みを禁止する特定設定状態が、CPU24によって有効化される。
【0130】
フォーカスは、特定設定状態が有効化された後にイメージセンサ16から読み出された電荷に基づいて調整される。フォーカス調整が完了すると、特定設定状態がCPU24によって解除される。これによって、電荷はイメージセンサ16の受光面全体から周期的に読み出され、読み出された電荷に基づくYUVデータがSDRAM34に書き込まれる。LCD40の表示は、フリーズ画像から被写界のリアルタイム動画像に遷移する。
【0131】
電荷をイメージセンサ16の中央エリアから読み出すことによって、読み出し周期が短縮される。また、中央エリアから読み出された電荷に基づくYUVデータのSDRAM34への書き込みを禁止することによって、LCD40の表示は、被写界全体のスルー画像からフリーズ画像に移行する。読み出し周期が短縮されることで、フォーカス調整の高速化が可能となる。また、フリーズ画像ではあるものの、被写界全体の画像がLCD34に表示されるため、操作性の低下を抑制できる。
【0132】
なお、フォーカス調整の高速化が実現されるため、フリーズ画像が表示される時間は短く、オペレータに著しい不快感を与えることはない。また、特定設定状態はオペレータの手動操作に起因して有効化されるため、オペレータの意図しないタイミングでモニタ表示がスルー画像からフリーズ画像に遷移することはない。
【0133】
シャッタボタン44の半押し状態が継続すると、主要被写体の自動追尾機能が起動する。このとき、CPU24は、フォーカスエリア0〜4のうち有効フォーカスエリアZc以外の複数の無効フォーカスエリアについて輝度変化率Ef[j]を個別に算出し、この複数の無効フォーカスエリアに存在する被写体の動きを評価する。CPU24はさらに、算出された輝度変化率Ef[j]と複数の無効フォーカスエリアにそれぞれ割り当てられた複数の閾値Kとに基づいて、主要被写体の移動の有無を判別する。主要被写体が移動すると、有効フォーカスエリアZcが変更される。フォーカスは、こうして変更される有効フォーカスエリアZcを基準に調整される。ここで、複数の閾値Kの各々が示す数値は、主要被写体の移動可能性が反映されるように、有効フォーカスエリアZcの位置に応じて変更される。
【0134】
具体的には、ディジタルカメラ10が正立状態にあるときにフォーカスエリア3または4が有効フォーカスエリアZcであれば、フォーカスエリア1または2の閾値Kがフォーカスエリア0の閾値よりも低く設定される。これは、主要被写体が被写界の中央上側または中央下側に位置する場合、この主要被写体は被写界の垂直方向よりもむしろ斜め方向に移動することを考慮したものである。
【0135】
また、ディジタルカメラ10が正立状態にあるときにフォーカスエリア1または2が有効フォーカスエリアZcであれば、フォーカスエリア0,3および4の閾値Kが互い同じ数値に設定される。これは、主要被写体が被写界の中央右側または中央左側に位置する場合、この主要被写体は被写界の水平方向および斜め方向のいずれにも移動する可能性があることを考慮したものである。
【0136】
さらに、ディジタルカメラ10が正立状態にあるときにフォーカスエリア0が有効フォーカスエリアであれば、フォーカスエリア1または2の閾値Kがフォーカスエリア3または4閾値よりも低く設定される。これは、主要被写体が被写界の中央に位置する場合、この主要被写体は被写界の垂直方向よりもむしろ水平方向に移動することを考慮したものである。
【0137】
このように、主要被写体の移動可能性を考慮して閾値Kの値を変更することによって、主要被写体が移動したかどうかの判別精度が向上し、フォーカスを主要被写体に確実に合わせることが可能となる。
【0138】
なお、この実施例では、フォーカス調整にあたってフォーカスレンズ12のみを光軸方向に移動させるようにしているが、これに代えて、イメージセンサ16のみ、あるいはフォーカスレンズ12およびイメージセンサ16の両方を光軸方向に移動させるようにしてもよい。
【0139】
また、この実施例では、シーン選択キー48の操作に応じて被写界を選択するようにしているが、被写界は自動で判別するようにしてもよい。
【0140】
さらに、この実施例の傾斜センサ46は正立状態,右90°傾斜状態および左90°傾斜状態のいずれかしか判別できないが、さらに高精度のものを用いるようにしてもよい。そうすれば、被写界の中心から放射状に延びる無数のフォーカスエリアを被写界に配置することで、閾値C[0]〜C[4]が示す数値の割り当てを小刻みに回転させることが可能となる。
【図面の簡単な説明】
【図1】この発明の一実施例を示すブロック図である。
【図2】画面上に形成されたフォーカスエリア0〜4および中央エリアの分布状態の一例を示す図解図である。
【図3】(A)はポートレートシーンが選択されたときの閾値C[0]〜C[4]の設定状態の一例を示す図解図であり、(B)はポートレートシーンが選択されたときの閾値C[0]〜C[4]の設定状態の他の一例を示す図解図であり、(C)はポートレートシーンが選択されたときの閾値C[0]〜C[4]の設定状態のその他の一例を示す図解図である。
【図4】(A)はスポーツシーンが選択されたときの閾値C[0]〜C[4]の設定状態の一例を示す図解図であり、(B)はスポーツシーンが選択されたときの閾値C[0]〜C[4]の設定状態の他の一例を示す図解図であり、(C)はスポーツシーンが選択されたときの閾値C[0]〜C[4]の設定状態のその他の一例を示す図解図である。
【図5】(A)は風景シーン,夕景シーンまたは夜景シーンが選択されたときの閾値C[0]〜C[4]の設定状態の一例を示す図解図であり、(B)は風景シーン,夕景シーンまたは夜景シーンが選択されたときの閾値C[0]〜C[4]の設定状態の他の一例を示す図解図であり、(C)は風景シーン,夕景シーンまたは夜景シーンが選択されたときの閾値C[0]〜C[4]の設定状態のその他の一例を示す図解図である。
【図6】(A)はデフォルトシーンが選択されたときの閾値C[0]〜C[4]の設定状態の一例を示す図解図であり、(B)はデフォルトシーンが選択されたときの閾値C[0]〜C[4]の設定状態の他の一例を示す図解図であり、(C)はデフォルトシーンが選択されたときの閾値C[0]〜C[4]の設定状態のその他の一例を示す図解図である。
【図7】(A)ポートレートシーンが選択された状態で撮影される被写界の一例を示す図解図であり、(B)はポートレートシーンが選択された状態で撮影される被写界の他の一例を示す図解図である。
【図8】スポーツシーンが選択された状態で撮影される被写界の一例を示す図解図である。
【図9】風景モード,夕景モードまたは夜景シーンが選択された状態で撮影される被写界の一例を示す図解図である。
【図10】(A)は主要被写体の追尾動作の一例を示す図解図であり、(B)は主要被写体の追尾動作の他の一例を示す図解図である。
【図11】(A)は主要被写体の追尾動作のその他の一例を示す図解図であり、(B)は主要被写体の追尾動作のさらにその他の一例を示す図解図である。
【図12】(A)は主要被写体の追尾動作の他の一例を示す図解図であり、(B)は主要被写体の追尾動作のその他の一例を示す図解図である。
【図13】(A)は主要被写体を追尾する一連の動作の一部を示す図解図であり、(B)は主要被写体を追尾する一連の動作の他の一部を示す図解図であり、(C)は主要被写体を追尾する一連の動作のその他の一部を示す図解図である。
【図14】図1実施例の動作の一部を示すフロー図である。
【図15】図1実施例の動作の他の一部を示すフロー図である。
【図16】図1実施例の動作のその他の一部を示すフロー図である。
【図17】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図18】図1実施例の動作の他の一部を示すフロー図である。
【図19】図1実施例の動作のその他の一部を示すフロー図である。
【図20】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図21】図1実施例の動作の他の一部を示すフロー図である。
【図22】図1実施例の動作のその他の一部を示すフロー図である。
【図23】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図24】図1実施例の動作の他の一部を示すフロー図である。
【図25】図1実施例の動作のその他の一部を示すフロー図である。
【図26】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図27】図1実施例の動作の他の一部を示すフロー図である。
【図28】図1実施例の動作のその他の一部を示すフロー図である。
【図29】図1実施例の動作のさらにその他の一部を示すフロー図である。
【図30】図1実施例の動作の他の一部を示すフロー図である。
【図31】図1実施例の動作のその他の一部を示すフロー図である。
【図32】図1実施例の動作のさらにその他の一部を示すフロー図である。
【符号の説明】
10…ディジタルカメラ
12…フォーカスレンズ
14…絞り機構
24…CPU
42…AE/AF評価回路
44…傾斜センサ
48…シーン選択キー

Claims (3)

  1. 被写界の光学像に対応する電荷をイメージセンサの全体エリアから周期的に読み出し、読み出された電荷に基づく画像信号をメモリに書き込み、そして前記メモリに格納された画像信号に基づく画像をモニタに表示するビデオカメラにおいて、
    前記被写界の明るさが十分であるとき前記電荷を前記イメージセンサの部分エリアから読み出しかつ前記メモリへの画像信号の書き込みを禁止する特定設定状態を有効化する有効化手段、および
    前記特定設定状態が有効化された後に前記イメージセンサから読み出された電荷に基づいてフォーカスを調整する調整手段を備えることを特徴とする、ビデオカメラ。
  2. 前記調整手段による調整が完了した後に前記特定設定状態を解除する解除手段をさらに備える、請求項1記載のビデオカメラ。
  3. フォーカス調整操作に応答して前記被写界の明るさが十分であるか否かを判別する判別手段をさらに備え、
    前記有効化手段は前記判別手段の判別結果が肯定的であるとき前記特定設定状態を有効化する、請求項1または2記載のビデオカメラ。
JP2003036823A 2003-02-14 2003-02-14 ビデオカメラ Pending JP2004248050A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003036823A JP2004248050A (ja) 2003-02-14 2003-02-14 ビデオカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003036823A JP2004248050A (ja) 2003-02-14 2003-02-14 ビデオカメラ

Publications (1)

Publication Number Publication Date
JP2004248050A true JP2004248050A (ja) 2004-09-02

Family

ID=33021810

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003036823A Pending JP2004248050A (ja) 2003-02-14 2003-02-14 ビデオカメラ

Country Status (1)

Country Link
JP (1) JP2004248050A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145622A (ja) * 2007-12-14 2009-07-02 Sanyo Electric Co Ltd 電子カメラ
JP2010224076A (ja) * 2009-03-23 2010-10-07 Nikon Corp 撮像装置
JP2019101320A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 焦点調節装置、その制御方法、およびプログラム、並びに撮像装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009145622A (ja) * 2007-12-14 2009-07-02 Sanyo Electric Co Ltd 電子カメラ
JP2010224076A (ja) * 2009-03-23 2010-10-07 Nikon Corp 撮像装置
JP2019101320A (ja) * 2017-12-06 2019-06-24 キヤノン株式会社 焦点調節装置、その制御方法、およびプログラム、並びに撮像装置
JP7066388B2 (ja) 2017-12-06 2022-05-13 キヤノン株式会社 焦点調節装置、その制御方法、およびプログラム、記憶媒体、並びに撮像装置

Similar Documents

Publication Publication Date Title
JP4518131B2 (ja) 撮像方法及び装置
US8199203B2 (en) Imaging apparatus and imaging method with face detection based on scene recognition results
JP4957943B2 (ja) 撮像装置及びそのプログラム
JP4819001B2 (ja) 撮影装置および方法並びにプログラム、画像処理装置および方法並びにプログラム
EP2148499B1 (en) Imaging apparatus and method
US8284300B2 (en) Electronic camera
US20080025604A1 (en) System for and method of taking image and computer program
US7796163B2 (en) System for and method of taking image based on objective body in a taken image
KR20100012822A (ko) 촬상 장치 및 촬상 방법
JP4818999B2 (ja) 撮影装置および方法並びにプログラム
JP5027580B2 (ja) 撮影装置および方法並びにプログラム
JP3949067B2 (ja) オートフォーカスカメラ
JP4565370B2 (ja) 電子カメラ及びオートフォーカス制御方法
JP3949000B2 (ja) オートフォーカスカメラ
JP3949066B2 (ja) オートフォーカスカメラ
JP2004248050A (ja) ビデオカメラ
JP5421682B2 (ja) 撮像装置および方法
JP3738231B2 (ja) カメラ
JP4275001B2 (ja) 電子カメラ
JP3588353B2 (ja) カメラ
JP2006039254A (ja) カメラ
JP3754390B2 (ja) カメラ
JP5065165B2 (ja) 電子カメラ
KR101442152B1 (ko) 사용자 적응형 영상 촬영 장치 및 그 제어 방법
JP3754391B2 (ja) カメラ

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080513