JP2009210832A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2009210832A
JP2009210832A JP2008054010A JP2008054010A JP2009210832A JP 2009210832 A JP2009210832 A JP 2009210832A JP 2008054010 A JP2008054010 A JP 2008054010A JP 2008054010 A JP2008054010 A JP 2008054010A JP 2009210832 A JP2009210832 A JP 2009210832A
Authority
JP
Japan
Prior art keywords
imaging
finder
imaging apparatus
optical system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2008054010A
Other languages
English (en)
Inventor
Yoichi Ito
洋一 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2008054010A priority Critical patent/JP2009210832A/ja
Publication of JP2009210832A publication Critical patent/JP2009210832A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Viewfinders (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影光学系と、それと異なる光軸を有するファインダ光学系とを有するデジタルカメラにおいて、ファインダ光学系を用いた撮影においてパララックスが発生する場合にも、所望のフレーミングを可能とすることを目的とする。
【解決手段】撮像素子とは異なる光軸を有する内蔵、又は取り外し可能なファインダ光学系と、撮像素子により撮像された撮像画像を表示する表示手段と、撮像素子から被写体までの距離を算出する測距手段とを有する撮像装置において、測距手段によって算出される撮影レンズの焦点距離と被写体までの距離から、撮像領域とファインダ光学系による観察領域とのずれ量であるパララックス量を算出するパララックス量算出手段と、パララックス量算出手段において算出されたパララックス量に基づいて、パララックス量を補正するためのガイダンスを行う撮影ガイド手段とを備える。
【選択図】図11

Description

本発明は、撮影光学系と、それと異なる光軸を有するファインダ光学系を有する撮像装置において、パララックスが生じた場合にも所望のフレーミングを可能とする撮像装置に関する。
撮影光学系と、それと異なる光軸を有するファインダ光学系(カメラ内蔵の光学ファインダもしくはアクセサリシューに取り付ける外部光学ファインダ)と、背面液晶モニタによるファインダ(ライブビュー)を有するデジタルカメラでは、電池の持ちを長くする、晴天時の屋外での撮影で背面液晶モニタの視認性が悪化する、視野を構図だけにして撮影に集中する、などの理由で、ライブビューではなく光学ファインダを用いて撮影を行われることがある。このような場合、ファインダ光学系で視認される範囲(観察領域)と、実際に撮影光学系で撮影される撮影範囲(撮像領域)との間の視差(パララックス)が発生するため、近距離もしくは近接撮影を行う場合に、撮影者が意図した撮影範囲と異なる範囲が撮影されてしまい、所望のフレーミングができないという問題がある。
そこで、パララックスを検出してこれを補正するための様々な技術が考えられ既に知られている。例えば、特許文献1、2、および3には、撮像素子の読み出し領域を変更して、光学ファインダの視野領域のみを記録する撮像装置が開示されている。特許文献4および5には、パララックス補正情報を画像と共に記録しておき、後で記録画像をトリミングする撮像装置が開示されている。特許文献6では、パララックス量より算出した観察領域と撮像領域とを液晶モニタ(LCD)に多重表示することで、パララックスを撮影者が視覚的に確認することができる撮像装置が開示されている。また、特許文献7には、写真フイルムに露光される撮影範囲と、LCD等の電子ファインダに表示される画像とのパララックス補正を簡単に行うことができるようにする目的で、液晶モニタ上のライブビュー画像にオンスクリーンディスプレイなどを用いてパララックス補正用の近距離補正マークを重ね合わせて表示し、これを点灯/消灯させる複合カメラが開示されている。
特開2004−354439号公報 特開2004−072189号公報 特開平08−304910号公報 特開平11−344746号公報 特開2003−209773号公報 特開2007−036982号公報 特開2000−275701号公報
しかしながら、従来の撮像素子の読み出し領域を変更して光学ファインダの視野領域のみを記録する技術は、撮像素子の読み出し領域の変更の結果、実際に撮影可能な画像サイズより小さな画像サイズとなってしまい、撮影者が所望する画像サイズの画像が得られず、パララックスが撮像素子の読み出し領域変更可能範囲を超えるとパララックスの補正が出来ないという問題がある。また、パララックス補正情報を画像と共に記録しておき、後で記録画像をトリミングする技術は、トリミングの結果、実際に撮影可能な画像サイズより小さな画像サイズとなってしまい、撮影者が所望する画像サイズの画像が得られないという問題がある。さらに、パララックス量をLCD上に表示する先行技術は、パララックス量を視覚的に確認することが出来るが、パララックスの補正方法、すなわちカメラを動かす方向や補正する量などは、撮影者の技量に左右されるという問題がある。
本発明は、上記問題点に鑑みてなされたもので、撮影光学系と、それと異なる光軸を有するファインダ光学系とを有するデジタルカメラにおいて、ファインダ光学系を用いて撮影する際、パララックスが生じた場合にも所望のフレーミングを提供することを目的とする。
上記課題を解決するため、本発明における撮像装置は、撮像素子とは異なる光軸を有する内蔵、又は取り外し可能なファインダ光学系と、撮像素子により撮像された撮像画像を表示する表示手段と、撮像素子から被写体までの距離を算出する測距手段とを有する撮像装置において、測距手段によって算出される撮影レンズの焦点距離と被写体までの距離から、撮像領域とファインダ光学系による観察領域とのずれ量であるパララックス量を算出するパララックス量算出手段と、パララックス量算出手段において算出されたパララックス量に基づいて、パララックス量を補正するためのガイダンスを行う撮影ガイド手段とを備えることを特徴とする。
表示手段は、ファインダ光学系による観察領域の視野率と撮像領域の視野率との視野率の差を補正ガイド枠として表示することを特徴とする。
表示手段は、観察領域のイメージ画像と撮像画像を多重表示することを特徴とする。
表示手段は、異なるフレームサイズを半透明のガイド枠にて表示することを特徴とする。
撮影ガイド手段は、表示手段にて表示された撮像画像上に補正方向の指示を表示することで案内することを特徴とする。
撮影ガイド手段は、音声、又はブザー音によって補正方向を案内することを特徴とする。
撮影ガイド手段は、ランプによる光を用いて視覚的に補正方向を案内することを特徴とする。
撮影ガイド手段は、振動の強弱によって補正方向を案内することを特徴とする。
さらに撮影ガイド手段の始動状況を制御する撮影ガイド開始手段を有することを特徴とする。
撮影ガイド開始手段は、シャッタボタンの状態を検知し、シャッタボタンの検知結果により、撮影ガイド手段を制御することを特徴とする。
撮影ガイド開始手段は、ファインダ光学系の使用状況を検知するファインダ使用検知手段を有し、ファインダ使用検知手段の検知結果によって撮影ガイド手段を制御することを特徴とする。
ファインダ使用検知手段は、表示手段が使用されているか否かを検知することを特徴とする。
ファインダ使用検知手段は、撮影者がファインダ光学系を覗き込んでいることをセンサ、又はスイッチによって検知することを特徴とする。
ファインダ使用検知手段は、ホットシューにファインダ光学系が取り付けられたことをセンサ、又はスイッチによって検知することを特徴とする。
ファインダ使用検知手段は、ホットシューの通信端子を監視し、通信を検知することを特徴とする。
ファインダ使用検知手段は、表示手段にてファインダ光学系を使用中の専用画面が表示されていることを検知することを特徴とする。
さらに、自動的に撮影を行う自動撮影手段を備えることを特徴とする。
本発明により、撮影光学系と、それと異なる光軸を有するファインダ光学系とを有するデジタルカメラにおいて、ファインダ光学系を用いた撮影においてパララックスが発生する場合にも、撮影者が視覚や聴覚にて確認しながら補正できるため、所望のフレーミングが可能となる。
以下、本発明の好適な実施形態につき詳細に説明する。
(実施形態1)
図1は、本発明の実施形態に係るデジタルカメラについて本体前面から見た構成を示す図である。デジタルカメラ本体39の前面には、ストラップ取り付け部1、解除ボタン2、モードダイヤル3、シャッタボタン4、AF窓5、電源ボタン6、ホットシュー7、フラッシュ8、アップダウンダイヤル9、マイク10、AF補助光11、レンズ12、AV出力端子13、USB端子14が配置されている。モードダイヤル3を切り替えることにより、様々な撮影モードを選択することができる。レンズ12は、沈胴式のズームレンズで構成されており、電源ボタン6によりカメラの電源が投入され、モードダイヤル3によりカメラのモードを「撮影モード」に設定することにより、デジタルカメラ39から繰り出される。
一方、図2は、本体背面から見た図である。デジタルカメラ本体39の背面には、液晶モニタ20、オートフォーカス/フラッシュランプ21、ADJ.ダイヤル22、ズーム(望遠)/拡大表示ボタン23、ズーム(広角)/サムネイル表示ボタン24、↑/フラッシュボタン25、→ボタン26、MENU/OKボタン27、再生ボタン28、←/クイックレビューボタン29、削除/セルフタイマーボタン30、↓/マクロボタン31、DISP.ボタン32、ストラップ取り付け部33、スピーカ34、電源(DC 入力)ケーブルカバー35、バッテリー/カードカバー36、解除レバー37、三脚ネジ穴(底面)38が配置されている。
バッテリー/カードカバー36を開けると、バッテリー挿入部とカード挿入部が設けられており、ここにバッテリーと記憶カードが装填される。再生ボタン28は、デジタルカメラ39のモードを「再生モード」へ指示するボタンとして機能する。撮影モード時に、このボタンが押されると、最後に撮った静止画が液晶モニタに表示される。
シャッタボタン4は、2段式のスイッチで構成されており、半押し操作と押し切り操作が可能であり、半押し操作により、自動露光/オートフォーカス(AE/AF)が作動し、押し切り操作により、オートホワイトバランス(AWB)が作動し撮影を実行する。液晶モニタ20は、カラー表示が可能な液晶ディスプレイで構成されており、再生モード時には撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザーインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてライブビュー画像が表示されて、画角確認用の電子ファインダとして利用される。
DISP.ボタン32は、液晶モニタ20のマークの表示/非表示を切り替えるなど、画面の表示状態の変更を指示するボタンとして機能する。撮影モード時、このボタンを1回押されるごとに、ヒストグラム表示→グリッドガイド表示→表示なし→液晶モニタ消灯(オフ)→通常のマーク表示→ヒストグラム表示→・・・と切り替えられ、再生モード時には、このボタンを1回押されるごとに、ヒストグラム表示→ハイライト表示→表示なし→通常のマーク表示→ヒストグラム表示→・・・と切り替えられる。また、このボタンは、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとしても機能する。
また、本実施形態におけるデジタルカメラでは、図3に示すようにホットシュー7に外部ファインダ70を取り付けることが可能である。ホットシュー7のアクセサリシュー部分の形状は規格化されており、様々なアクセサリを取り付けてシステム構成を拡張することが可能であり、デザイン上、カメラ寸法、およびコストの制約が最も少ない形態でもある。
図4は、本発明の実施形態に係るデジタルカメラのシステム構成について示す図である。全体の動作は、中央処理装置(CPU)40によって統括制御するように構成されており、モードダイヤル3、シャッタボタン4、電源ボタン6、アップダウンダイヤル9、ADJ.ダイヤル22、ズーム(望遠)/拡大表示ボタン23、ズーム(広角)/サムネイル表示ボタン24、↑/フラッシュボタン25、→ボタン26、MENU/OKボタン27、再生ボタン28、←/クイックレビューボタン29、削除/セルフタイマーボタン30、↓/マクロボタン31、DISP.ボタン32等の操作部から入力される操作信号に基づき、所定の制御プログラムに従って、デジタルカメラ全体が統括制御される。
バスを介してCPU40と接続されたフラッシュROM58には、CPU40が実行する制御プログラム90、制御に必要な各種データおよび各種デバイスのばらつきを生産工程にて調整したデータをカメラ調整データ91、ユーザー設定情報などのデジタルカメラの動作に関する各種設定情報等をカメラ設定データ92として格納されている。カメラ設定データ92は、デジタルカメラの各種設定情報を変更する度にデータの内容に変更が生じるが、制御プログラム90およびカメラ調整データ91通常では変更されない。
SDRAM54からなるメモリは、CPU40の演算作業用領域、画像データ、すなわち、Raw−RGB画像データ55、YUV画像データ56、圧縮伸張画像データ57等の一時記憶領域として利用される。
鏡胴ユニット100は、被写体の光学画像を取り込むズームレンズ101、フォーカスレンズ102、それらを制御するレンズ駆動部86、絞り83、それらを制御する絞り駆動部87、メカシャッタ84、メカシャッタ84を制御するシャッタ駆動部88からなる。レンズ駆動部86、絞り駆動部87、シャッタ駆動部88は、CPU40からの駆動指令により駆動制御される。デジタルカメラの電源がオン状態になると、制御プログラムはメモリ(SDRAM)54にロードされ、CPU40はロードされた制御プログラムに従い、装置各部の動作を制御するとともに制御に必要なデータ等を、一時的にメモリ(SDRAM)54に保存する。
フラッシュROM58は、書き換え可能な半不揮発性メモリであることから、記録されている制御プログラムや制御に必要な各種データ、ユーザー設定情報を変更することが可能であり、機能のバージョンアップが容易であるという特徴をもつ。
本実施形態のデジタルカメラは、前記電源ボタン6を撮影位置に合わせることで、撮影モードに設定され、撮影が可能になる。撮影モードに設定されることにより、レンズ101,102が前記カメラ本体39から繰り出され、撮影スタンバイ状態になる。この撮影モードの下、レンズ101,102を通過した被写体光は、絞り83を介して固体撮像素子の受光面に結像される。
固体撮像素子は、CCD85で構成されており、その受光面には、所定の配列構造(ベイヤー、Gストライプなど)で配列された赤(R)、緑(G)、青(B)のカラーフィルタを介して多数のフォトダイオード(受光素子)が二次元的に配置されている。レンズ101,102を通過した被写体光は、CCD85の各フォトダイオードによって受光され、入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、CPU40の制御のもとにタイミングジェネレータ(TG)89から与えられる駆動パルスに基づいて、信号電荷に応じた電圧信号(画像信号)として順次読み出され、アナログ処理部(CDS/AMP)42に加えられる。
アナログ処理部(CDS/AMP)42は、入力された画素ごとのRGB信号をサンプリングホールド(相関二重サンプリング処理)するとともに、増幅し、A/D変換器43に出力する。A/D変換器43は、アナログ処理部(CDS/AMP)42から出力されたアナログRGB信号をデジタルRGB信号に変換して出力し、このデジタルのRGB信号が、センサ入力制御部44を介し、Raw−RGB画像データ55としてメモリ(SDRAM)54に取り込まれる。
画像信号処理部46は、メモリ54に取り込まれたRaw−RGB画像データ55をCPU40の指令に従って処理し、輝度信号(Y信号)及び色差信号(Cr、Cb信号)へ変換し、YUV画像データを生成する。すなわち、この画像信号処理部46は、同時化回路(単板CCDのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路)、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、CPU40からの指令に従ってメモリ54を活用しながら、入力されたRGB信号を信号処理することにより、輝度信号および色差信号(輝度/色差信号)を生成する。
生成された輝度/色差信号は、YUV画像データ56としてメモリ(SDRAM)54に格納される。撮影画像を液晶モニタ20に出力する場合は、YUV画像データ56が、メモリ(SDRAM)54からOSDMIX部48に送られる。
OSDMIX部48は、入力されたYUV画像データ56の輝度/色差信号に文字や図形などのオンスクリーンディスプレイデータを重ね合わせて合成され、ビデオエンコーダ65および液晶モニタ信号処理部49に出力する。これにより、所要の撮影情報等が画像データに重ねて表示される。
ビデオエンコーダ65は、入力されたYUV画像データ56の輝度/色差信号を表示用のデジタル表示出力信号(たとえばNTSC方式のカラー複合映像信号)に変換し、D/A変換器66にてデジタル表示出力信号をアナログビデオ出力信号に変換する。
ビデオAMP67は、D/A変換器66から出力されたアナログビデオ信号を、75Ωインピーダンス変換し、テレビなどの外部表示機器と接続するためのAV出力端子13へ出力する。これにより、CCD85で撮像された画像がテレビなどの外部表示機器に表示される。
一方、液晶モニタ信号処理部49は、入力されたYUV画像データ56の輝度/色差信号を液晶モニタ20の入力信号形式であるRGB信号へ変換し、液晶モニタ20へ出力する。これにより、CCD85で撮像された画像が液晶モニタ20に表示される。
CCD85から画像信号を定期的に取り込み、その画像信号から生成される輝度/色差信号によってメモリ(SDRAM)54内のYUV画像データ56を定期的に書き換え、液晶モニタ20およびAV出力端子13に出力することにより、CCD85で撮像される画像がリアルタイムに表示される。撮影者は、この液晶モニタ20にリアルタイムに表示される画像(ライブビュー画像)を見ることにより、撮影画角を確認することができる。
撮影はシャッタボタン4の押下によって行なわれ、撮影に先立ち、画角を調整する必要があるときには、ズーム(望遠)/拡大表示ボタン23およびズーム(広角)/サムネイル表示ボタン24を操作し、ズームレンズ101をズーミングさせて画角を調整する。
シャッタボタン4が半押しされると、フォーカスオン信号がCPU40に入力され、CPU40はAE/AF処理を実施する。まず、センサ入力制御部44を介してCCD85から取り込まれた画像信号がAF検出部51、並びにAE/AWB検出部52に入力される。
AE/AWB検出部52は、1画面を複数のエリア(例えば、16×16)に分割し、分割エリアごとにR、G、B信号を積算する回路を含み、その積算値をCPU85に提供する。
CPU85は、AE/AWB検出部52から得た積算値に基づいて被写体の明るさ(被写体輝度)を検出し、撮影に適した露出値(撮影EV値)を算出する。そして、求めた撮影EV値と所定のプログラム線図から絞り値とシャッタスピードを決定し、これに従いCCD85の電子シャッタと絞り駆動部87を制御して適正な露光量を得る。
また、AE/AWB検出部52は、自動ホワイトバランス調整時、分割エリアごとにR、G、B信号の色別の平均積算値を算出し、その算出結果をCPU85に提供する。CPU85は、得られたRの積算値、Bの積算値、Gの積算値から分割エリアごとにR/GおよびB/Gの比を求め、求めたR/G、B/Gの値の、R/G、B/G色空間における分布等に基づいて、光源種判別を行う。
そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば、各比の値がおよそ1(つまり、1画面においてRGBの積算比率がR:G:B≒1:1:1)になるように、ホワイトバランス調整回路のR、G、B信号に対するゲイン値(ホワイトバランス補正値)を制御し、各色チャンネルの信号に補正をかける。
AF検出部51は、上記G信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、所定のフォーカスエリア(たとえば、画面中央部)内の信号を切り出すAFエリア抽出部およびAFエリア内の絶対値データを積算する積算部から構成されている。AF検出部51で求めた積算値のデータはCPU40に通知される。
CPU40は、レンズ駆動部86を制御してフォーカスレンズ122を移動させながら、複数のAF検出ポイントで焦点評価値(AF評価値)を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカスレンズ102が移動するように、レンズ駆動部86を制御する。
続いて、シャッタボタン4が押し切られると、CPU40にシャッタオン信号が入力され、CPU40は、撮影、記録処理を開始する。すなわち、CPU40は測光結果に基づき決定された絞り値に従い、絞り駆動部87を制御して絞り83を動かし、シャッタ速度値に従い、シャッタ駆動部88を制御してメカシャッタ84の開閉動作を制御してCCD85の露光時間を制御し、CCD85を適正な光量で露光する。
CCD85から出力された画像信号は、アナログ処理部(CDS/AMP)42、A/D変換器43、センサ入力制御部44を介してメモリ(SDRAM)54に取り込まれ、画像信号処理部46において輝度/色差信号に変換された後、YUV画像データ56としてメモリ(SDRAM)54に格納される。
メモリ(SDRAM)54に格納されたYUV画像データ56は、圧縮伸張処理部47に加えられ、所定の圧縮フォーマット(たとえばJPEG形式)に従って圧縮された後、再びメモリ(SDRAM)54に圧縮伸張画像データ57として格納され、所定の画像記録フォーマット(たとえばExif形式)の画像ファイルとされたのち、カード制御部50を介して記憶媒体カード69に記録される。
上記のようにして記憶カード69に記録された画像は、前記再生ボタン28が押されることにより、液晶モニタ20で再生表示される。すなわち、再生ボタン28の押下により、デジタルカメラの動作モードが再生モードに設定され、CPU40は、カード制御部50にコマンドを出力し、記憶カード69から最後に記録された画像ファイルを読み出させる。読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部47に加えられ、非圧縮の輝度/色差信号に伸張されたのち、OSDMIX部48および液晶モニタ信号処理部49を介して液晶モニタ20に出力されることにより、記憶カード69に記録されている画像が液晶モニタ20に再生表示される。
シャッタ音、操作音などの音声信号データはフラッシュROM58のカメラ調整データ91に格納されており、CPU40が音声信号処理部45を制御して、前記音声データを読み出し、音声信号処理部を介してオーディオCODEC61へ出力する。オーディオCODEC61は、入力された音声信号を増幅するマイクアンプや、前記スピーカ34を駆動するためのオーディオアンプを内蔵している。オーディオCODEC61には、ユーザーが音声信号を入力するマイク10、音声信号を出力するスピーカ34が接続されていて、マイク10により音声を電気信号に変換してメモリに記録し、この音声信号を読み出してスピーカ34から出力することができる。また、その他の機能、ないしは動作として、パソコンなどの外部機器とデジタルカメラとの間でUSB通信を行うには、USB端子14を介して外部機器と接続し、CPU40は、USB制御部59を制御することにより、USB通信を行うことが可能である。
上記デジタルカメラ39は、光学ファインダ70と鏡胴ユニット100を通したCCD85が別々に配置おり、光学ファインダ70の観察領域とCCD85の撮像領域との間の視差(パララックス)が発生することになる。
ここで、パララックス量の算出方法について、一例を示す。図5は、焦点距離と画角との関係を示す図である。レンズの第二主点からCCD撮像面まで光軸上の距離を焦点距離f、イメージサークルの半径をyとすると、両者の関係は次式で表される。
Figure 2009210832
フレーム対角長d=2yを考慮し、フレームサイズx(xはフレーム高さh、フレーム幅w、フレーム対角長d)に置き換えると、画角2θは次式で表される。
Figure 2009210832
例えば、CCDのフレームサイズが35mmフィルムサイズの場合、フレーム高さ24mm、フレーム幅36mm、フレーム対角長43.2mmとなり、鏡胴ユニット100のフォーカスレンズおよびズームレンズ位置により焦点距離が決定される。このときの焦点距離が50mmであった場合には、垂直画角27.0°、水平画角は39.6°、対角線画角46.7°となる。
また、図6は、被写体までの距離と画角との関係について示す図である。レンズの第二主点から被写体までの距離をL、被写体の撮影範囲z(zは垂直方向の撮影範囲の長さAh、水平方向の撮影範囲の長さAw、対角方向の撮影範囲の長さAd)とすると、数式2と同様に画角2θは次式で与えられる。
Figure 2009210832
前記式をzについて解くと次式となる。
Figure 2009210832
一例としてデジタルカメラ39に光学ファインダ70とCCD85および鏡胴ユニット100が図7に示すように配置される場合を考える。鏡胴ユニット100のレンズの画角が、35mmフィルムサイズ換算で焦点距離50mm場合、垂直画角27.0°、水平画角は39.6°、対角線画角46.7°となる。このとき、被写体までの距離L1が50cmの場合を考えると、水平方向の撮影範囲Awは前記式より、36.0cmとなり、垂直方向の撮影範囲Ahは、24.0cmとなる。また、光学ファインダ70とCCD85の水平方向の位置ずれ量Dw=5cmとすると、水平方向の撮像領域に対する観察領域のずれの割合(パララックス量)Pw、及びPhは、次式で求められる。
Figure 2009210832
Figure 2009210832
この場合のパララックス量は、13.9%という大きな比率となることがわかる。一方、被写体までの距離L2が5mの場合には、水平方向の撮影範囲の長さは、3.60mとなり、垂直方向の撮影範囲の長さは、2.40mとなる。この場合、水平方向のカメラの位置ずれ量Dw(5cm)のパララックス量は、水平方向の撮影範囲の長さ3.60mに対して、1.39%となり、パララックス量の値は相対的に小さい。すなわち、光学ファインダ70とCCD85の位置ずれの影響は、被写体までの距離によって異なり、被写体が近い場合には非常に大きな影響が出るが、遠方の被写体を撮影する場合にはほとんど無視できる。また、水平方向の位置ずれ量と同じく、垂直方向の位置ずれ量も同様に考えることができる。
観察領域と撮像領域との間の視差(パララックス)は、水平方向および垂直方向に上記式を用いて算出可能なパララックス量の分だけデジタルカメラ39を移動させることにより補正することができる。補正方向および補正量を検出するには動きベクトルを用いる。すなわち、動きベクトル検出部53において、ブロック・マッチング法によってメモリ54に記憶されたN枚のYUV画像データ56の動きベクトルを検出する。ブロック・マッチング法とは、画像を一定の大きさの小領域(ブロック)に分割し、各ブロックが前のフレームのどこに対応するかを探し、対応するブロックの位置の差を動きベクトルとするものである。
図8は、パララックス量を算出するためのフローチャートである。まず、CPU40によって動きベクトルを検出する基準となる基準画像P0が、メモリ54へ取り込まれているか判定が行われ(ステップS801)、取り込まれていれば、動きベクトルの検出を行う現画像Pkがメモリ54へ取り込まれる(ステップS803)。取り込んでいなければ、基準画像P0をメモリ54へ取り込んでから(ステップS802)、ステップS803へと進む。ここで、基準画像P0は、シャッタボタン4の半押し操作により、AE/AF処理された被写体距離およびレンズ焦点距離が決定された画像であり、図7に示す撮像領域201の画像である。次に、動きベクトル検出部53によって、図9に示すように画像をM×Mブロックに分割し、ブロック内の輝度情報を用いて、基準画像P0における注目点Bp0を中心とした矩形領域(参照ブロック)と、現画像Pkにおける矩形領域(候補ブロック)の間で対応する画素どうしの輝度差分をとり、それらの総和が求められる。(ステップS804)。M×Mブロックの範囲内(探索領域)で候補ブロックを動かしながら全て候補ブロックについて終了するまでステップS804は繰り返される(ステップS805)。続いて、探索領域の中で最も輝度差の総和が小さい候補ブロックBpkを算出し、その候補ブロックと参照ブロックとの位置のずれを動きベクトルとして、CPU40に通知する(ステップS806)。CPU40は、AE/AF処理の結果決定された合焦位置であるフォーカスレンズ位置を被写体位置として、被写体までの距離を算出し、この被写体までの距離とレンズ12の焦点距離より、数式4を用いて垂直方向の撮影範囲の長さAh、水平方向の撮影範囲の長さAwを求める(ステップS807)。次に、ステップS806により動きベクトル検出部53で求められたBpkとBp0の垂直方向および水平方向の移動ブロック数より現画像Pkの基準画像P0に対する移動方向および移動量が算出される(ステップS808)。1ブロックあたりの水平方向の移動量Mw、および垂直方向の移動量Mhは次式によって求められる。
Figure 2009210832
Figure 2009210832
求められた移動量に基づき、数式5、および6にてAw=Mw、Ah=Mhと置き換えることによってパララックス量が算出される(ステップS809)。
続いて、撮影ガイドについて説明する。図10は、図7で示す被写体までの距離がL1=50cmである場合の観察領域200と撮像領域201の関係を図示している。このように光学ファインダを通して見たときに、人物の顔が中央に来るようにフレーミングしていても、視差の影響により撮像領域は201のようになってしまう。そこで、本発明における実施形態では、図11に示すように近距離補正マーク204を表示するのみではなく、パララックスの補正方向を補正方向ガイド表示205のような矢印にて表示を行い、さらに、光学ファインダの観察領域の視野率(実像式光学ファインダの場合、一般的には80〜85%)と撮像領域の視野率(CCD85にて撮像している領域を全て液晶モニタ上に表示できていれば視野率100%)との間の視野率の差を補正ガイド枠206として液晶モニタ上に表示する。観察領域204と補正方向ガイド表示205は、撮影者によるデジタルカメラ39の垂直および水平方向の移動によるパララックス補正状況により表示位置を移動する。前記撮影ガイド表示によってパララックスを抑えるための方向を指示することにより、観察領域204と撮像領域201の垂直および水平方向のずれを視覚的に分かり易く確認することが可能となる。
図12は、本発明の実施形態に係るデジタルカメラの補正ガイド枠の設定画面である。これは、アクセサリシューに取り付ける外部光学ファインダの場合、光学ファインダの種類により視野率が異なるため、補正ガイド枠206の大きさを撮影者が補正する手段を提供する。また、図13に示すように、撮影ガイドのオンおよびオフをセットアップメニューにて設定でき、撮影状況や撮影者の判断により撮影ガイドが不要である場合には、撮影ガイドをオフにすることが可能である。図12および図13にて設定された情報は、デジタルカメラの動作に関する各種設定情報となるので、フラッシュROM58内のカメラ設定データ92として格納される。
Figure 2009210832
表1は、パララックス量より算出した観察領域と撮像領域のずれを、スピーカー34からの音声、および図11で示すような液晶モニタ上のオンスクリーンディスプレイデータの表示により、ずれを補正するための撮影ガイドの一例であり、図14は、その際の液晶モニタ上での表示例である。また、オーディオCODEC61およびスピーカ34を具備しておらず、圧電素子による発音体しか備えていない場合などには、ブザー音などによる音に置き換えることが可能である。
図15は、撮影ガイドを表示する際のフローを示す図である。まず、CPU40によって、撮影ガイドの設定有無が判定され(ステップS1501)、設定されていれば、光学ファインダが使用中か否かが判定される(ステップS1502)。本実施形態では液晶モニタが消灯されている場合に撮影者が光学ファインダを使用していると判断する。続いて、撮影ガイドを開始するか否かが判定される(ステップS1503)。本実施形態においてはシャッタボタン4が継続して半押しされているか否かで判断する。上記、ステップS1501からステップS1503までいずれか1ステップでもNG判定の場合には、そのまま終了となる。撮影ガイド開始の判断がなされた場合には、パララックス量が算出され(ステップS1504)、パララックスが存在するかどうかが判定される(ステップS1505)。そこで、パララックス量が0、もしくは閾値内に入っている場合には、そのまま終了となるが、パララックス量が特定の値以上の場合には、撮影ガイド処理が実行される(ステップS1506)。
図16は、撮影ガイド処理の手順を示す図である。まず、算出したパララックス量から観察領域200が、補正ガイド枠206内に属しているか求め、補正ガイド枠206内に属するための修正方向が算出される(ステップS1601)。算出結果から左右方向の修正の有無が判定され(ステップS1602)、左右方向の修正がなければ、上下方向の修正(ステップS1608)に進み、左右方向の修正があれば、その修正方向が、右方向か否かの判定がされる(ステップS1603)。右方向であれば、表1(a)にて示した右方向のガイドが実行される(ステップS1604)。一方、右方向でなければ、表1(b)にて示した左方向のガイドが実行される(ステップS1605)。撮影者は、ガイドに従ってカメラの向きを修正する。その後、変化した観察領域の位置から左右方向のずれが修正されたか否かが判定され(ステップS1606)、修正されたと判断されたところで、カメラの向き修正を止めさせるため、表1(e)にて示した修正完了ガイドが実行される(ステップS1607)。ここまでの処理によって、左右方向のパララックスが修正される。次に、上下方向の修正の有無が判定され(ステップS1608)、上下方向の修正がなければ、撮影可能であることを知らせるために表1(f)にて示した撮影可能ガイドが実行される(ステップS1614)。上下方向の修正があれば、その修正方向が上方向か否かが判定され(ステップS1609)、上方向であれば、表1(c)にて示した上方向のガイドが実行される(ステップS1610)。一方、上方向でなければ、表1(d)にて示した下方向のガイドが実行される(ステップS1611)。撮影者は、ガイドに従ってカメラの向きを修正する。上記修正により画像中における被写体の上下方向のパララックスが修正されるので、変化した観察領域の位置から上下方向のずれが修正されたか否かを判定し(ステップS1612)、修正されたと判断されれば、カメラの向きの修正を止めさせるため、表1(e)にて示した修正完了ガイドが実行される(ステップS1613)。上記一連の修正処理により、観察領域が撮像領域の中央に位置し、撮影可能となるので、表1(f)にて示した撮影可能ガイドが実行される(ステップS1614)。
(実施形態2)
前記実施形態については、音(音声)、および映像(液晶モニタ)にて示したが、本実施形態における撮影ガイドでは、図17のように光(ランプ)を利用して、撮影者にパララックスの修正方向を知らせる。例えばオートフォーカス/フラッシュランプ21の点灯・点滅状態により撮影ガイドを行えば、撮影者は光学ファインダを覗きながらランプの点灯状態を確認することが可能である。このため、前記実施形態において、撮影中に液晶モニタが点灯し、視野が明るくなってしまうといった問題を解消できる。本実施形態における手順については、図15、ならびに図16と同様であり、液晶モニタ上の表示の替わりとして、表1に相当する部分が以下の表2となる。また、バイブレータを備え、振動によって撮影者にパララックスが発生していることを知らせる手段も考えられる。
Figure 2009210832
(実施形態3)
本実施形態では、セットアップメニューに撮影ガイドを備え、ユーザーがメニューから撮影ガイドの表現方法を選択可能なものとする。図18は、撮影ガイドの選択画面の一例である。各設定項目の詳細については、次の表3に示す。また、撮影ガイドの方法として、光(ランプ)、音(音声)、映像(液晶モニタ)3つの実施形態について示したが、これらは単独であっても組み合わせても良い。例えば、音声および映像を組み合わせることにより、視覚および聴覚にてパララックスによるフレーミングのずれを確認し、カメラの撮影ガイドに従いカメラの位置を補正することで、パララックスによるフレーミングの失敗を防止することが出来る。
Figure 2009210832
(実施形態4)
また、前記実施形態においては、外部光学ファインダをアクセサリシューに取り付ける場合を想定し、ガイド枠の大きさを可変にしていた。しかしながら、カメラ内蔵の光学ファインダの場合には、ファインダの視野率は一意に定まるのでこの必要はなく、開発現場では多機種にわたって同じ制御プログラムを流用したいという要望があるため、本実施形態では、フラッシュROM内にガイド枠の大きさの設定値、ならびに調整値データを準備する。さらに自動撮影機能を付加することで、撮影可能ガイドと撮影者がシャッタボタンを押し切るまでの期間にフレーミングがずれてしまうことを防止することが可能となる。
図19は、本実施形態における処理手順を示す図である。ステップS1501からステップS1506までは図15と同様であり、ステップS1506後、撮影ガイド処理の結果が判定され(ステップS1907)、撮影可能でなければ、パララックスの補正処理を続行し、撮影可能と判断されれば、ユーザーがシャッタボタン4を押し切るのと同様に、自動的に撮影を行う(ステップS1908)。
(実施形態5)
本実施形態では、ユーザーが撮影ガイドの有無を切り替えることなく、パララックスがあった場合のみ、CPUが自動的に判断して、撮影ガイド処理を行う。図20は、CPU40が自動的に撮影ガイドの有無を判定して処理を遂行するフローを示したものであり、図15におけるステップS1501を削除することで実現できる。
(実施形態6)
図21は、光学ファインダを使用して撮影されているか否かをCPU40が自動的に判定できるよう構成した図である。例えば、カメラの接眼部に近接センサ等で構成する接眼センサ2101を備える。近接センサ2101はフォトダイオードとLEDを1組としてパッケージ化されている。LEDを照射し、その反射光をフォトダイオードにて受光し、フォトダイオードのアナログ出力をあるしきい値にて判別することで、物体が特定の距離に近づいたことを判定することが出来る。接眼検出センサ2101は、CPU40に接続し、CPU40によりセンサの出力値が読み出せる構成とする。これにより、デジタルカメラは撮影者が光学ファインダを覗いているか否かを判別することが出来るので、液晶モニタのオン/オフ制御および撮影ガイドの開始/停止制御を自動で行うことができ、さらにはカメラの省電力化にも繋げることができる。また、外部光学ファインダの装着をアクセサリ装着センサ2102にて検出する方法もある。これにより、カメラ内蔵の光学ファインダがなく、アクセサリシューに外部ファイダ70を取り付けて使用する際には、取り付けられたことを検知して、液晶モニタのオン/オフ制御および撮影ガイドの開始/停止制御を自動的に行うことができる。また、アクセサリシューの通信を探知して制御を行うことも可能である。さらに、光学ファインダで撮影しているか否かを、撮影者がDISP.ボタンで液晶モニタを図22に示すような光学ファインダ専用の画面に切り替えることにより、光学ファインダで撮影していると判断させることも可能である。
図23は、接眼検出センサを備えるデジタルカメラによる撮影ガイド実行のフローを示す図である。図15にて行われたステップS1501、およびステップS1502の替わりに、接眼検出センサの出力値を読み出し、撮影者がファインダを覗いているか否かの判別を行い(ステップS2300)、その結果、光学ファインダが使用中であれば撮影ガイド実行の処理へと進んでいく。
(実施形態7)
ところで、デジタルカメラは、CCD85の読み出し範囲を変更することでフレームサイズを変化させることが可能である。例えば、6×6判と同様の幅:高さの比率が1:1のスクエアフォーマット、35mm判と同様の幅:高さの比率が3:2のフォーマットとしての読み出し方法が考えられる。この場合、液晶モニタはテレビ信号のフレームサイズを考慮して幅:高さの比率が決められているため4:3となり、1:1のスクエアフォーマットは液晶モニタ上の一部を黒くするなどして表現することが可能である。しかしながら、光学ファインダは、デジタルカメラのフレームサイズ変更に応じて表示範囲が変化しないため、撮像領域より広い範囲の観察領域が見えることが考えられる。これを液晶モニタ上にて直感的に分かり易く表現するために、図24のように、ライブビュー上にスクエアフォーマットガイド枠207を半透明のオンスクリーンディスプレイとして構成し、観察領域を所望のフォーマットに合わせたライブビューに対して重ね合わせるようにすることで、パララックスの補正に加えてフレームサイズの変化の補正も可能となる。
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。
本発明の実施形態に係る撮像装置の前面における構成図である。 本発明の実施形態に係る撮像装置の背面における構成図である。 外部ファインダ取り付け例を示す図である。 本発明の実施形態に係る撮像装置のシステム構成を示す図である。 焦点距離fと画角2θの関係を示す図である。 被写体までの距離Lと画角2θとの関係を示す図である。 パララックス量の関係を模式的に示す図である。 パララックス量算出処理のフローチャート図である。 動きベクトル検出部の説明図である。 観察領域と撮像領域のずれを示す図である。 本発明の実施形態に係る液晶モニタでの表示例である。 補正ガイド枠設定画面を示す図である。 撮影ガイドの設定画面を示す図である。 本発明の実施形態に係る撮影ガイドを示す図である。 本発明の実施形態に係るフローチャート図である。 撮影ガイドの処理手順を示すフローチャート図である。 ランプによる撮影ガイドの概念図である。 撮影ガイド設定画面を示す図である。 本発明の実施形態に係るフローチャート図である。 本発明の実施形態に係るフローチャート図である。 光学ファインダ使用検知センサの概念図である。 光学ファインダ使用中の専用画面を示す図である。 本発明の実施形態に係るフローチャート図である。 スクエアフォーマットによる撮影ガイドの概念図である。
符号の説明
1 ストラップ取り付け部
2 解除ボタン
3 モードダイヤル
4 シャッタボタン
5 AF窓
6 電源ボタン
7 ホットシュー
8 フラッシュ
9 アップダウンダイヤル
10 マイク
11 AF補助光
12 レンズ
13 AV出力端子
14 USB端子
20 液晶モニタ
21 オートフォーカス/フラッシュランプ
22 ADJ.ダイヤル
23 ズーム(望遠)/拡大表示ボタン
24 ズーム(広角)/サムネイル表示ボタン
25 ↑/フラッシュボタン
26 →ボタン
27 MENU/OKボタン
28 再生ボタン
29 ←/クイックレビューボタン
30 削除/セルフタイマーボタン
31 ↓/マクロボタン
32 DISP.ボタン
33 ストラップ取り付け部
34 スピーカ
35 電源(DC入力)ケーブルカバー
36 バッテリー/カードカバー
37 解除レバー
38 三脚ネジ穴(底面)
39 デジタルカメラ
70 外部ファインダ

Claims (17)

  1. 撮像素子とは異なる光軸を有する内蔵、又は取り外し可能なファインダ光学系と、
    前記撮像素子により撮像された撮像画像を表示する表示手段と、
    前記撮像素子から被写体までの距離を算出する測距手段とを有する撮像装置において、
    前記測距手段によって算出される撮影レンズの焦点距離と被写体までの距離から、撮像領域と前記ファインダ光学系による観察領域とのずれ量であるパララックス量を算出するパララックス量算出手段と、
    前記パララックス量算出手段において算出されたパララックス量に基づいて、前記パララックス量を補正するためのガイダンスを行う撮影ガイド手段とを備えることを特徴とする撮像装置。
  2. 前記表示手段は、前記ファインダ光学系による観察領域の視野率と前記撮像領域の視野率との視野率の差を補正ガイド枠として表示することを特徴とする請求項1に記載の撮像装置。
  3. 前記表示手段は、前記観察領域のイメージ画像と前記撮像画像を多重表示することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記表示手段は、異なるフレームサイズを半透明のガイド枠にて表示することを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記撮影ガイド手段は、前記表示手段にて表示された撮像画像上に補正方向の指示を表示することで案内することを特徴とする1から4のいずれか1項に記載の撮像装置。
  6. 前記撮影ガイド手段は、音声、又はブザー音によって補正方向を案内することを特徴とする請求項1から5のいずれか1項に記載の撮像装置。
  7. 前記撮影ガイド手段は、ランプによる光を用いて視覚的に補正方向を案内することを特徴とする請求項1から6のいずれか1項に記載の撮像装置。
  8. 前記撮影ガイド手段は、振動の強弱によって補正方向を案内することを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. さらに前記撮影ガイド手段の始動状況を制御する撮影ガイド開始手段を有することを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
  10. 前記撮影ガイド開始手段は、シャッタボタンの状態を検知し、前記シャッタボタンの検知結果により、前記撮影ガイド手段を制御することを特徴とする請求項1から9のいずれか1項に記載の撮像装置。
  11. 前記撮影ガイド開始手段は、前記ファインダ光学系の使用状況を検知するファインダ使用検知手段を有し、
    前記ファインダ使用検知手段の検知結果によって前記撮影ガイド手段を制御することを特徴とする請求項1から10のいずれか1項に記載の撮像装置。
  12. 前記ファインダ使用検知手段は、前記表示手段が使用されているか否かを検知することを特徴とする請求項1から11のいずれか1項に記載の撮像装置。
  13. 前記ファインダ使用検知手段は、撮影者が前記ファインダ光学系を覗き込んでいることをセンサ、又はスイッチによって検知することを特徴とする請求項1から12のいずれか1項に記載の撮像装置。
  14. 前記ファインダ使用検知手段は、ホットシューに前記ファインダ光学系が取り付けられたことをセンサ、又はスイッチによって検知することを特徴とする請求項1から13のいずれか1項に記載の撮像装置。
  15. 前記ファインダ使用検知手段は、ホットシューの通信端子を監視し、通信を検知することを特徴とする請求項1から14のいずれか1項に記載の撮像装置。
  16. 前記ファインダ使用検知手段は、前記表示手段にて前記ファインダ光学系を使用中の専用画面が表示されていることを検知することを特徴とする請求項1から15のいずれか1項に記載の撮像装置。
  17. さらに、自動的に撮影を行う自動撮影手段を備えることを特徴とする請求項1から16のいずれか1項に記載の撮像装置。
JP2008054010A 2008-03-04 2008-03-04 撮像装置 Withdrawn JP2009210832A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008054010A JP2009210832A (ja) 2008-03-04 2008-03-04 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008054010A JP2009210832A (ja) 2008-03-04 2008-03-04 撮像装置

Publications (1)

Publication Number Publication Date
JP2009210832A true JP2009210832A (ja) 2009-09-17

Family

ID=41184053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008054010A Withdrawn JP2009210832A (ja) 2008-03-04 2008-03-04 撮像装置

Country Status (1)

Country Link
JP (1) JP2009210832A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002223A (ja) * 2012-06-15 2014-01-09 Canon Inc 音声信号処理装置、及びその制御方法
WO2015122566A1 (en) * 2014-02-17 2015-08-20 Lg Electronics Inc. Head mounted display device for displaying augmented reality image capture guide and control method for the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014002223A (ja) * 2012-06-15 2014-01-09 Canon Inc 音声信号処理装置、及びその制御方法
WO2015122566A1 (en) * 2014-02-17 2015-08-20 Lg Electronics Inc. Head mounted display device for displaying augmented reality image capture guide and control method for the same

Similar Documents

Publication Publication Date Title
JP4644883B2 (ja) 撮像装置
JP4406937B2 (ja) 撮影装置
US20110018970A1 (en) Compound-eye imaging apparatus
US7747158B2 (en) Photographing apparatus and focusing control method
US7769287B2 (en) Image taking apparatus and image taking method
TWI514847B (zh) 影像處理裝置、影像處理方法、及記錄媒體
TWI459126B (zh) 可產生廣角影像之影像處理裝置、影像處理方法及記錄媒體
JP2013013050A (ja) 撮像装置及びこの撮像装置を用いた表示方法
JP2009065577A (ja) 撮像装置および撮像方法
JP2005269562A (ja) 撮影装置
US8687047B2 (en) Compound-eye imaging apparatus
JP2008219428A (ja) 撮像装置
US20080024624A1 (en) Photographing apparatus and exposure control method
US7911527B2 (en) Focusing apparatus and focusing method
JP2011075675A (ja) 複眼撮像装置
JP2008028728A (ja) デジタルカメラ
JP2008109485A (ja) 撮像装置及び撮像制御方法
US20120008014A1 (en) Imaging apparatus, method for controlling imaging apparatus, and computer program product for controlling imaging apparatus
JP2007225897A (ja) 合焦位置決定装置及び方法
JP2004032524A (ja) デジタルカメラ
JP2012119756A (ja) 撮像装置およびホワイトバランス制御方法
JP2009210832A (ja) 撮像装置
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP5370662B2 (ja) 撮像装置
JP5054209B2 (ja) 撮影装置及び合焦制御方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20110510