JP2009139867A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2009139867A
JP2009139867A JP2007318899A JP2007318899A JP2009139867A JP 2009139867 A JP2009139867 A JP 2009139867A JP 2007318899 A JP2007318899 A JP 2007318899A JP 2007318899 A JP2007318899 A JP 2007318899A JP 2009139867 A JP2009139867 A JP 2009139867A
Authority
JP
Japan
Prior art keywords
lens
focus
unit
focus lens
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007318899A
Other languages
English (en)
Other versions
JP5070023B2 (ja
Inventor
Toshihiro Hamamura
俊宏 濱村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanwha Techwin Co Ltd
Original Assignee
Samsung Techwin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Techwin Co Ltd filed Critical Samsung Techwin Co Ltd
Priority to JP2007318899A priority Critical patent/JP5070023B2/ja
Priority to KR1020080123228A priority patent/KR101542743B1/ko
Publication of JP2009139867A publication Critical patent/JP2009139867A/ja
Application granted granted Critical
Publication of JP5070023B2 publication Critical patent/JP5070023B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/12Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets
    • G03B17/14Bodies with means for supporting objectives, supplementary lenses, filters, masks, or turrets interchangeably
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Lens Barrels (AREA)
  • Structure And Mechanism Of Cameras (AREA)

Abstract

【課題】 フォーカスレンズの駆動状態に関する情報をレンズ部から送信することで、レンズ側に対して駆動制御の制約を与えずにフォーカス制御を行うことが可能な撮像装置を提供すること。
【解決手段】本体部とレンズ部とが着脱可能である撮像装置であって、レンズ部は、被写体に合焦するためのフォーカスレンズと、本体部からの指示に基づいてフォーカスレンズの位置情報を連続的に取得するフォーカス位置取得部と、位置情報を本体部に送信する送信部と、を含み、本体部は、レンズ部にフォーカスレンズの位置情報の取得を指示するフォーカス位置取得指示部と、レンズ部から受信した複数の位置情報に基づいて被写体の合焦検出処理を行う合焦検出部と、を含むことを特徴とする、撮像装置が提供される。
【選択図】図1

Description

本発明は、撮像装置および撮像方法に関し、より詳細には、レンズ部が本体部から着脱可能である撮像装置および当該撮像装置における撮像方法に関する。
デジタル一眼レフカメラのように、電子マウント方式によってレンズ部が本体部から着脱可能であり、レンズ部を交換可能な撮像装置において、本体部からレンズ部に内蔵されたフォーカスレンズを移動するように制御して、自動的に被写体にフォーカスを合わせるオートフォーカス(AF)機能を用いて撮像動作を行う撮像装置がある。
オートフォーカス方式には、TTL(Through The Lens)位相差検出方式によるAFと、ビデオAFとがある。TTL位相差検出方式は、フォーカスレンズを固定した状態で被写体のピントのずれを検出し、ずれが少なくなうようにフォーカスレンズを駆動する方式である。一方ビデオAFは、フォーカスレンズを移動させながら被写体を撮像してコントラストのピーク位置を検出し、検出したピーク位置にフォーカスレンズを移動させることで被写体にピントを合わせる方式である。フォーカスレンズを駆動させるための技術として、例えば特許文献1、2が開示されている。
特開2000−131594号公報 特許第2791044号公報
しかし、特許文献1および2に記載の発明は、レンズ部側は同期を取るために送られてきた情報または信号に基づいてフォーカスレンズの駆動の制御を行う必要があるために、フォーカスレンズの駆動制御に対して制約を受ける。情報または信号の交信のタイミングに同期してフォーカスレンズの動作を制御したり、フォーカスレンズの状態を検出したりする方法も考えられるが、正確に同期を行うのが難しく、かつ交信するタイミングの自由性が損なわれる問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、レンズ部が本体部から着脱可能な撮像装置において、本体部からの指示に基づいてフォーカスレンズに関する情報をレンズ部から送信することで、レンズ側に対して駆動制御の制約を与えずにフォーカス制御を行うことが可能な、新規かつ改良された撮像装置および撮像方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、本体部とレンズ部とが着脱可能である撮像装置であって、レンズ部は、焦点調節を行うフォーカスレンズと、本体部からの指示に基づいてフォーカスレンズの位置情報を連続的に取得するフォーカス位置取得部と、位置情報を本体部に送信する送信部と、含み、本体部は、レンズ部にフォーカスレンズの位置情報の取得を指示するフォーカス位置取得指示部と、レンズ部から受信した複数の位置情報に基づいて、被写体の合焦検出を行う合焦検出部と、を含むことを特徴とする、撮像装置が提供される。
かかる構成によれば、フォーカスレンズは焦点調節を行い、フォーカス位置取得部は本体部からの指示に基づいてフォーカスレンズの位置情報を連続的に取得し、送信部はフォーカス位置取得部が取得した位置情報を本体部に送信する。そしてフォーカス位置取得指示部はレンズ部にフォーカスレンズの位置情報の取得を指示し、合焦検出部はレンズ部から受信した複数の位置情報に基づいて、被写体の合焦検出を行う。その結果、フォーカスレンズに関する情報をレンズ部から送信することで、レンズ側に対して駆動制御の制約を与えずにフォーカス制御を行うことができる。
フォーカス位置取得指示部は、レンズ部に対して同期信号を送信し、フォーカス位置取得部は、同期信号に同期したタイミングでフォーカスレンズの位置情報を取得してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、本体部と、焦点調節を行うフォーカスレンズを備えるレンズ部とが着脱可能である撮像装置における撮像方法であって、レンズ部にフォーカスレンズの位置情報の取得を指示するフォーカス位置取得指示ステップと、フォーカス位置取得指示ステップの指示に基づいて被写体に合焦するためのフォーカスレンズの位置情報を連続的に取得するフォーカス位置取得ステップと、位置情報を本体部に送信する送信ステップと、レンズ部から受信した複数の位置情報に基づいて、被写体の合焦検出を行う合焦検出ステップと、を含むことを特徴とする、撮像方法が提供される。
フォーカス位置取得指示ステップは、レンズ部に対して同期信号を送信し、フォーカス位置取得ステップは、同期信号に同期したタイミングでフォーカスレンズの位置情報を取得してもよい。
以上説明したように本発明によれば、レンズ部が本体部から着脱可能な撮像装置において、本体部からの指示に基づいてフォーカスレンズに関する情報をレンズ部から送信することで、レンズ側に対して駆動制御の制約を与えずにフォーカス制御を行うことが可能な、新規かつ改良された撮像装置および撮像方法を提供することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
まず、本発明の第1の実施形態にかかる撮像装置について説明する。図1は、本発明の一実施形態にかかる撮像装置100の構成について説明する説明図である。以下、図1を用いて本発明の一実施形態にかかる撮像装置100の構成について説明する。
図1に示したように、本発明の一実施形態にかかる撮像装置100は、本体部100aと、レンズ部100bと、を含んで構成される。撮像装置100は、本体部100aにレンズ部100bを接続し、本体部100aから撮像操作を実行することで被写体の撮像を行うものである。
レンズ部100bは、ズームレンズ102と、絞り104と、フォーカスレンズ106と、駆動装置102a、104a、106aと、I/F部142bと、レンズ制御部144と、ドライバ146と、を含んで構成される。また本体部100aは、CCDイメージセンサ108と、アンプ一体型のCDS(Correlated Double Sampling)回路110と、A/D変換器112と、画像入力コントローラ114と、画像信号処理部116と、LCD(Liquid Crystal Display)ドライバ122と、LCD124と、タイミングジェネレータ(TG)126と、制御部128と、操作部132と、メモリ134と、VRAM(Video Random Access Memory)136と、メディアコントローラ138と、記録メディア140と、I/F部142aと、を含んで構成される。
ズームレンズ102は、駆動装置102aによって光軸方向に前後して移動させることで焦点距離が連続的に変化するレンズであり、被写体の大きさを変化して撮影する。絞り104は、画像を撮影する際に、駆動装置104aによって、CCDイメージセンサ108に入ってくる光量の調節を行う。フォーカスレンズ106は、駆動装置106aによって光軸方向に前後して移動させることで被写体のピントを調節するものである。本実施形態では、フォーカスレンズ106を遠距離から近距離に駆動させながら、複数の露光制御を行うことで合焦評価値を得る。
本実施形態においては、ズームレンズ102およびフォーカスレンズ106は1枚のみ示しているが、ズームレンズ102の枚数は2枚以上であってもよく、フォーカスレンズ106の枚数も2枚以上であってもよい。
CCDイメージセンサ108は、ズームレンズ102、絞り104およびフォーカスレンズ106から入射された光を電気信号に変換するための素子である。本実施形態においては電子シャッタによって入射光を制御して、電気信号を取り出す時間を調節しているが、メカシャッタを用いて入射光を制御して、電気信号を取り出す時間を調節してもよい。
なお、本実施形態ではCCDイメージセンサ108を用いているが、本発明は係る例に限定されず、CCDイメージセンサの代わりにCMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いてもよく、またその他のイメージセンサを用いてもよい。CMOSイメージセンサは、CCDイメージセンサよりも高速に被写体の映像光を電気信号に変換できるので、被写体を撮影してから画像の圧縮処理を行うまでの時間を短縮することができる。
CDS回路110は、CCDイメージセンサ108から出力された電気信号の雑音を除去する、サンプリング回路の一種であるCDS回路と、雑音を除去した後に電気信号を増幅するアンプとが一体となった回路である。本実施形態ではCDS回路とアンプとが一体となった回路を用いて撮像装置100を構成しているが、CDS回路とアンプとを別々の回路で構成してもよい。
A/D変換器112は、CCDイメージセンサ108で生成された電気信号をデジタル信号に変換して、画像の生データを生成するものである。
画像入力コントローラ114は、A/D変換器で生成された画像の生データのメモリ134への入力を制御するものである。
画像信号処理部116は、CCDイメージセンサ108から得られる画像の生データに対して、光量のゲイン補正やホワイトバランスの調整を行うものである。画像信号処理部116は、本発明の露光データ取得部としての機能を有しており、撮影した画像の露光データを取得する。露光データには合焦評価値(AF評価値)やAE(Auto Exposure;自動露光)評価値を含んでおり、画像信号処理部116において合焦評価値やAE評価値の算出を行う。
圧縮処理部120は、画像信号処理部116で光量のゲイン補正やホワイトバランスの調整が行われた画像を、適切な形式の画像データに圧縮する圧縮処理を行う。画像の圧縮形式は可逆形式であっても非可逆形式であってもよい。適切な形式の例として、JPEG(Joint Photographic Experts Group)形式やJPEG2000形式に変換してもよい。
LCD124は、撮影操作を行う前のライブビュー表示や、撮像装置100の各種設定画面や、撮影した画像の表示等を行う。画像データや撮像装置100の各種情報のLCD124への表示は、LCDドライバ122を介して行われる。
タイミングジェネレータ126は、CCDイメージセンサ108にタイミング信号を入力する。タイミングジェネレータ126からのタイミング信号によりシャッタ速度が決定される。つまり、タイミングジェネレータ126からのタイミング信号によりCCDイメージセンサ108の駆動が制御され、CCDイメージセンサ108が駆動する時間内に被写体からの映像光を入射することで、画像データの基となる電気信号が生成される。
制御部128は、CCDイメージセンサ108やCDS回路110などに対して信号系の命令を行ったり、操作部132の操作に対する操作系の命令を行ったりする。本実施形態においては、制御部を1つだけ含んでいるが、信号系の命令と操作系の命令とを別々の制御部で(例えば、CPUとDSPに分けて)行うようにしてもよい。
操作部132は、撮像装置100の操作を行ったり、撮影時の各種の設定を行ったりするための部材が配置されている。操作部132に配置される部材には、電源ボタン、撮影モードや撮影ドライブモードの選択および効果パラメータの設定を行う十字キーおよび選択ボタン、被写体の撮影動作を開始するシャッタボタン等を含んでいてもよい。
メモリ134は、撮影した画像を一時的に記憶するものである。メモリ134は、複数の画像を記憶できるだけの記憶容量を有している。メモリ134への画像の読み書きは画像入力コントローラ114によって制御される。
VRAM136は、LCD124に表示する内容を保持するものであり、LCD124の解像度や最大発色数はVRAM136の容量に依存する。
記録メディア140は、画像記録部の一例であり、撮影した画像や圧縮処理部120で圧縮した画像を記録するものである。記録メディア140への入出力は、メディアコントローラ138によって制御される。記録メディア140には、フラッシュメモリにデータを記録するカード型の記憶装置であるメモリカードを用いることができる。
I/F部142a、142bは、本体部100aおよびレンズ部100bとの間の情報の授受を仲介するものである。I/F部142a、142bは、例えば本体部100aおよびレンズ部100bとの間でやり取りされる各種信号の授受を行うための電子接点であってもよい。
レンズ制御部144は、本体部100aからの命令に従ってズームレンズ102、絞り104、およびフォーカスレンズ106の駆動を制御したり、本体部100aに対してズームレンズ102、絞り104、およびフォーカスレンズ106の情報を送信したりするものである。ドライバ146は、レンズ制御部144からの制御命令に基づいて駆動装置102a、104a、106aに対してズームレンズ102、絞り104、およびフォーカスレンズ106を駆動するように制御を行うものである。
また、上述した制御部128は、適正AE算出部152と、同期信号生成部154と、フォーカス検出部156と、を含んで構成されている。
適正AE算出部152は、撮像装置100で自動露光を行い、EV(Exposure Value)値を取得する。取得したEV値に基づいて、適正な露光時間およびシャッタ速度の組が決まる。EV値は、絞り値がF1、シャッタ速度が1秒の時に適切な露出が得られる光量をEV=0とし、絞り値やシャッタ速度を変化させることでEV値が変化する。EV値は、Fを絞り値、Tをシャッタ速度として、EV=log(F/T)で求めることができる。従って、同じ絞り値ではシャッタ速度が高速になればなる程、EV値が上昇し、同じシャッタ速度では絞り値を大きくすればする程、EV値が上昇する。
同期信号生成部154は、フォーカスレンズ106の駆動中に、フォーカスレンズ106の位置を取得するための同期信号を生成するものである。生成した同期信号はI/F部142aを介してレンズ部100bに送られる。
フォーカス検出部156は、本発明の合焦検出部の一例であり、ビデオAFによって被写体にフォーカスが合っているフォーカスレンズ106の位置を検出するための処理を実行するものである。フォーカス検出部156では、被写体を露光して得られた画像のコントラストを評価した値(AF評価値。値が大きいほど被写体にフォーカスが合っているものである)を基に、被写体にフォーカスが合っているフォーカスレンズ106の位置を検出する。
以上、本発明の第1の実施形態にかかる撮像装置100の構成について説明した。次に、本発明の第1の実施形態にかかる撮像方法について説明する。
上述したように、オートフォーカスには、主にTTL位相差検出方式オートフォーカスと、ビデオオートフォーカスがある。TTL位相差検出方式オートフォーカスは、フォーカスレンズを動かさなくても、被写体のピントのずれを検出し、検出したずれに基づいてフォーカスレンズを移動させて被写体にフォーカスを合わせる方式である。一方ビデオオートフォーカスは、フォーカスレンズを移動させながら画像のコントラストのピーク位置を検出し、コントラストがピークにある位置をフォーカス位置として、フォーカス位置にフォーカスレンズを移動させることで被写体にフォーカスを合わせる方式である。
本実施形態では、ビデオオートフォーカスによって被写体にフォーカスを合わせる撮像装置における撮像方法について説明する。そして、本実施形態においては、本体部100aからレンズ部100bに対してフォーカスレンズ106の位置情報の取得を要求し、レンズ部100bは本体部100aからのフォーカスレンズ106の位置情報の取得要求に応答して、フォーカスレンズ106の位置情報を連続的に取得し、本体部100aに取得したフォーカスレンズ106の位置情報を送信する。そして、レンズ部100bから取得したフォーカスレンズ106の位置情報と、本体部100aで検出した撮像画像のコントラストとを紐付けて、被写体のフォーカス位置を検出することを特徴とする。
図2は、本発明の一実施形態にかかる撮像装置100において、本体部100aとレンズ部100bとの間でやり取りされる情報の一例について示す説明図である。本発明の一実施形態にかかる撮像装置100では、本体部100aとレンズ部100bとの間でやり取りされる情報は、シリアル・クロック信号、本体部100aからレンズ部100bへの送信信号、レンズ部100bから本体部100aへの受信信号、本体部100aからレンズ部100bへ送信開始を告知するCS信号、および本体部100aとレンズ部100bとの間の同期を取るための同期信号で構成されている。
本実施形態においては、本体部100aからレンズ部100bへの送信信号は、最初の1バイト目に送信内容を示す命令コードを、2バイト目以降に1バイト目のコードに応じたデータ群が続く。送信内容としては、例えばレンズ部100bに対するフォーカスレンズ106の駆動指示や、フォーカスレンズ106の位置情報取得指示等がある。本体部100aとレンズ部100bとの間の情報のやり取りは定期的に行われる。
本実施形態にかかる撮像装置100は、操作部132の操作によって電源が投入されると、CCDイメージセンサ108を制御して、一定の間隔で露光処理および画像データの読出しを行う。本実施形態では、上記一定の間隔は1/30秒とする。また、この一定の間隔のことを1フレームと称する。CCDイメージセンサ108を制御して読み出された画像データは、LCDドライバ122を介してLCD124にリアルタイム表示する。また、読み出した画像データから被写体の輝度値の算出を行う。画像データからの被写体の輝度値の算出方法は既知の技術であり、本発明の本質とは関係が無いので詳細な説明は割愛する。
撮像装置100を使用する撮影者は、操作部132に設けられたシャッタボタンを半押しすることで、撮像装置100にオートフォーカス動作を開始させる。シャッタボタンの半押し操作のことをS1操作とも称する。本実施形態においては、撮像装置100のシャッタボタンに対してS1操作を行うことで、(第1段階)フォーカスレンズ106を現在位置から最短距離端(近端)への移動、(第2段階)所定の等速度でフォーカスレンズ106を最短距離端から最遠距離端の方向へ移動しながら、画像データのコントラストのピークの検出、(第3段階)検出したピーク位置または所定の位置へのフォーカスレンズ106の移動、を順に行うことで、被写体に自動的にフォーカスを合わせるオートフォーカス処理を実行する。
以下、図面を参照しながら本発明の第1の実施形態にかかる撮像方法について説明する。図5〜図7は、本発明の第一実施形態にかかる撮像装置100におけるAF処理について説明する流れ図である。図5は、上記第1段階について説明する流れ図であり、図6は上記第2段階について説明する流れ図であり、図7は上記第3段階について説明する流れ図である。
まず図5を用いて本発明の一実施形態にかかる撮像方法の第1段階について説明する。シャッタボタンにS1操作が行われると、本体部100aの制御部128は、レンズ部100bに対してフォーカスレンズ106を近端へ駆動させる命令(近端駆動命令)を送信する(ステップS102)。
図8は、本発明の一実施形態にかかる撮像方法において、本体部100aとレンズ部100bとの間でやり取りされる情報の一例を示す説明図である。情報は全て16進数でやり取りされ、本実施形態においては、送信内容としてフォーカスレンズ106の駆動命令にA0hを割り当てている。そして、2バイト目以降にどのようにフォーカスレンズ106を駆動させるかについてのデータをそれぞれ割り当てており、2バイト目(Data1)にはどの位置にフォーカスレンズ106を駆動させるかについて、3バイト目(Data2)、4バイト目(Data3)、および5バイト目(Data4)にはどのようにフォーカスレンズ106を駆動させるかについて、それぞれ割り当てている。図8に示した例に従えば、フォーカスレンズ106への近端駆動命令は、制御部128から“A00001ffh”(ffは最高速で駆動することを示す)を送信することによって行われる。
制御部128からの命令は、I/F部142a、142bを介してレンズ制御部144で受信する(ステップS104)。命令を送信した制御部128は、レンズ部100bからの応答待ちのためのタイマをリセットし(ステップS106)、近端駆動命令を受信したレンズ制御部144は、その命令に従って、ドライバ146を介してフォーカスレンズ106の近端位置への駆動を開始する(ステップS108)。
フォーカスレンズ106の近端位置への駆動を開始すると、フォーカスレンズ106が近端位置に達したかどうかを検出する近端検出処理を定期的に実行する(ステップS110)。そして、近端検出処理を行ってフォーカスレンズ106が近端位置に到達したかどうかを判断する(ステップS112)。近端検出処理の結果、フォーカスレンズ106が近端位置に達していればフォーカスレンズ106の駆動処理を停止する(ステップS114)。
一方、本体部100aにおいては、上記ステップS106でレンズ部100bからの応答待ちのためのタイマをリセットした後に、所定の時間(例えば、5秒間)経過したかどうかを判断し(ステップS116)、所定の時間が経過してもレンズ部100bからフォーカスレンズ106が近端位置に到達したことを確認できなければ、予め定めたエラー処理を実行して(ステップS124)、処理を終了する。予め定めたエラー処理とは、例えばLCD124へのエラーメッセージの表示等である。一方、まだ所定の時間を経過していなければ、レンズ部100bとの間でフォーカスレンズ106の状態を取得するための交信を行う(ステップS118、S120)。
本実施形態においては、本体部100aはレンズ部100bとの間で、0.1秒間隔でフォーカスレンズ106の駆動が終了したかどうかを確認するフォーカスレンズ駆動終了確認命令の交信を行う。図8に示した例に従えば、制御部128からはフォーカスレンズ駆動終了確認命令として“A1h”をレンズ部100bに対して送信し、フォーカスレンズ駆動終了確認命令を受信したレンズ部100bは、フォーカスレンズ106の駆動が終了し、指定位置(つまり近端位置)に達していれば、レンズ制御部144から本体部100aに対して“A101h”を送信し、フォーカスレンズ106が近端位置にまだ達していなければ、レンズ制御部144から本体部100aに対して“A102h”を送信する。
レンズ制御部144からデータを受け取った制御部128は、データの内容を確認し、フォーカスレンズ106の駆動が終了したかどうかを判断する(ステップS122)。ステップS122における判断の結果、フォーカスレンズ106の駆動が終了していれば第1段階を完了して第2段階に進む。一方、ステップS122における判断の結果、フォーカスレンズ106の駆動が終了していなければ上記ステップS116に戻って、所定の時間が経過したかどうかの判断を行う。
また、レンズ部100bでは、本体部100aとの間でフォーカスレンズ106の状態の交信が終わると、ステップS110に戻って近端検出処理を実行する。上記ステップS112の判断においてフォーカスレンズ106が近端に到達していなければ、フォーカスレンズ106が近端に到達するまで一連の処理を繰り返す必要があるからである。
以上、図5を用いて本発明の一実施形態にかかる撮像方法の第1段階について説明した。次に図6を用いて本発明の一実施形態にかかる撮像方法の第2段階について説明する。
第2段階では、まず本体部100aの制御部128からレンズ部100bに対して、CCDイメージセンサ108の露光動作に同期した同期信号の送信を開始し(ステップS132)、さらに、制御部128からレンズ部100bに対して、フォーカスレンズ106を遠方側(∞端)に等速度で駆動するような∞端等速駆動命令を送信する(ステップS134)。レンズ部100bは、I/F部142bを介してレンズ制御部144で∞端等速駆動命令を受信し(ステップS136)、∞端等速駆動命令の受信に従ってフォーカスレンズ106を近端から∞端方向へ等速度で駆動する∞端等速駆動を開始する(ステップS138)。
本実施形態では、図8に示した例に従うと、上記ステップS134においては、制御部128からレンズ部100bに対して、∞端等速駆動命令として“A0000232h”を送信する。4バイト目の“32”は、フォーカスレンズ106を500PPSで駆動させることを表している。レンズ制御部144が∞端等速駆動命令として“A0000232h”を受信することで、レンズ制御部144はフォーカスレンズ106を500PPSで駆動させるように制御することができる。
レンズ制御部144はフォーカスレンズ106の∞端位置への駆動を開始すると、フォーカスレンズ106が∞端位置に達したかどうかを検出する∞端検出処理を定期的に実行する(ステップS140)。一方、フォーカスレンズ106の∞端位置への駆動が開始されると、本体部100aではCCDイメージセンサ108で露光した画像データについてのオートフォーカス評価値(AF評価値)を一定の間隔で取得する(ステップS142)。取得したオートフォーカス評価値は、取得した時間と紐付けてメモリ134に一時的に格納する。そして、上記ステップS132で制御部128から送信された同期信号の立ち上がりエッジのタイミングにおいて、当該タイミングにおけるフォーカスレンズ106の位置情報を取得する。本体部100aに対して取得したフォーカスレンズ106の位置状態についての交信を行う(ステップS144、ステップS146)。
その後、レンズ部100bでは、上記ステップS140における∞端検出処理を実行した結果、フォーカスレンズ106が∞端に到達しているかどうかを判断する(ステップS148)。フォーカスレンズ106が∞端に到達していればフォーカスレンズ106の駆動を停止する(ステップS150)。フォーカスレンズ106が∞端に到達していなければそのままフォーカスレンズ106の駆動を継続する。そして、∞端検出処理と並行して、レンズ制御部144は制御部128から送られる同期信号の立ち上がりエッジのタイミングにおいて、フォーカスレンズ106の位置情報を取得する(ステップS152)。本実施形態におけるフォーカスレンズ106の位置情報とは、フォーカスレンズ106の基準位置(例えば∞端)からの駆動の最小分解能(STEP)を単位とする値である。
一方で、本体部100aでは、上記ステップS144におけるフォーカスレンズ106の位置情報の交信の結果、制御部128でフォーカスレンズ106の駆動が終了したか、つまりフォーカスレンズ106が∞端に到達したかどうかを判断する(ステップS154)。フォーカスレンズ106の駆動が終了していなければ、レンズ部100bとの間でフォーカスレンズ106の位置情報の取得を行う(ステップS156、S158)。ステップS156で本体部100aが取得したフォーカスレンズ106の位置情報は、取得した時間と紐付けてメモリ134に一時的に格納する。
図3は、本発明の一実施形態にかかる、時間経過とフォーカスレンズ106の位置との関係の一例について、グラフで説明する説明図である。本実施形態においては、本体部100aからレンズ部100bに送られる同期信号が立ち上がった時点においてフォーカスレンズ106の位置情報を取得してレンズ部100bから本体部100aに送っている。その後、本体部100aでは被写体の露光処理が行われる。本実施形態では、露光時間の中央時点でのAF評価値を取得する。フォーカスレンズ106は等速で近端から∞端まで移動するので、AF評価値を取得した時刻が分かれば、当該取得時点でのフォーカスレンズ106の位置も把握可能である。同期信号が無い場合であっても、交信の開始タイミングで同期をとることが可能である。
このように、AF評価値と、等速で駆動されているフォーカスレンズ106の位置情報とを取得することで、フォーカスレンズ106の位置とAF評価値との時間的関係を把握することができる。
レンズ部100bからフォーカスレンズ106の位置情報を取得すると、続いて制御部128のフォーカス検出部156において、上記ステップ142で取得し、時間と紐付けてメモリ134に格納したAF評価値群から、AF評価値のピークが存在するかどうかを検出する(ステップS160)。本実施形態では、AF評価値の増減傾向によってピークを判断する。例えば、ある時間に取得したAF評価値が1つ前に取得したAF評価値と比較して増→増→減→減と推移していれば、AF評価値のピークが存在したものとみなす。例えば、AF評価値が1000、1050、1100、1070、1020と推移した場合にはAF評価値のピークが存在したと考えられるため、AF評価値のピークが存在したことを検出することができる。そして、フォーカス検出部156における検出の結果、AF評価値のピークが存在したかどうかを判断し(ステップS162)、ピークが存在していれば当該ピークの近傍に被写体にピントが合っている位置が存在すると判断し、第2段階を終了する。ピークが存在しなければ上記ステップS142に戻ってAF評価値の取得を継続する。
以上、図6を用いて本発明の一実施形態にかかる撮像方法の第2段階について説明した。次に図7を用いて本発明の一実施形態にかかる撮像方法の第3段階について説明する。
第3段階では、本体部100aの動作は、上記第2段階においてAF評価値のピークが検出できたか、AF評価値のピークが検出できずにフォーカスレンズ106が∞端まで駆動したかによって異なる。まず、上記第2段階においてAF評価値のピークが検出できた場合の動作について説明する。
上記第2段階においてAF評価値のピークが検出できた場合には、まず上記ステップ142で取得し、時間と紐付けてメモリ134に格納したAF評価値群から、ピークとみなした値(すなわち最大値)を有するAF評価値および前後の値を抽出する。前後の値の数としては例えば2つ抽出してもよく、この場合はピーク位置と前後2つの計5つのAF評価値をメモリ134から抽出する。
そして、抽出したそれぞれのAF評価値に対応するフォーカス位置の算出を行う(ステップS164)。本実施形態では、上述したように、露光期間の中心時点でのフォーカスレンズ106の位置を対応フォーカス位置とする。対応フォーカス位置の算出は、時間と紐付けてメモリ134に格納したフォーカスレンズ106の位置情報群を用いて算出する。上述のように、フォーカスレンズ106は等速で駆動を行っているので、時間と紐付けてメモリ134に格納したフォーカスレンズ106の位置情報群から、露光期間の中心時点でのフォーカスレンズ106の位置を算出することが可能である。
ステップS164でAF評価値に対応するフォーカス位置の算出が完了すると、続いて抽出したAF評価値および対応するフォーカス位置を用いて真のピーク位置を算出する(ステップS168)。図4は、本発明の一実施形態にかかる撮像方法において、真のピーク位置を検出する際の検出方法をグラフで説明する説明図である。本実施形態においては、図4に示したように、AF評価値の最大値および1つ後の値を結ぶ直線と、AF評価値の最大値の1つ前の値および2つ前の値を結ぶ直線とが交わる位置が、真のピーク位置であると判断する。
上記ステップS168で真のピーク位置を算出すると、続いて算出したピーク位置に対応するフォーカス位置にフォーカスレンズ106を駆動させる命令を本体部100aからレンズ部100bに対して送信する(ステップS168)。本実施形態においては、図8に示した例に従うと、制御部128からレンズ部100bに対して、フォーカス位置への駆動命令として“A002****FFh”(ここで“****”は上記ステップS168で算出したピーク位置)を送信する。
以上が上記第2段階においてAF評価値のピークが検出できた場合の本体部100aの動作である。一方、上記第2段階においてAF評価値のピークが検出できなかった場合には、フォーカスレンズ106を所定の位置まで駆動させる命令を本体部100aからレンズ部100bに対して送信する。本実施形態では、撮像装置100から被写体までの距離が2メートルであると判断して、所定の位置として被写体が2メートルの位置にある場合にピントが合うようにフォーカスレンズ106を駆動させる(ステップS170)。ステップS170でフォーカスレンズ106を駆動させる位置のことを「2メートル位置」と称する。本実施形態においては、図8に示した例に従うと、制御部128からレンズ部100bに対して、2メートル位置への駆動命令として“A00100C8FFh”(ここで“00C8”は2メートル位置に対応する値)を送信する。
上記ステップS168またはステップS170で送信された命令は、レンズ部100bのレンズ制御部144で受信する(ステップS172)。本体部100aからのフォーカスレンズ106の駆動命令を受信したレンズ制御部144は、指定された位置までフォーカスレンズ106の駆動を開始する(ステップS174)。
レンズ制御部144はフォーカスレンズ106の指定位置への駆動を開始すると、フォーカスレンズ106が指定位置に達したかどうかを検出する指定位置到達判定処理を定期的に実行する(ステップS176)。一方、本体部100aは、レンズ部100bとの間で、フォーカスレンズ106が指定位置に到達して駆動が終了したかどうかの交信を行う(ステップS178、S180)。本実施形態においては、本体部100aからフォーカスレンズ106の指定位置への駆動命令を送信すると、その後0.1秒毎に本体部100aとレンズ部100bとの間で交信を行う。図8に示した例に従えば、制御部128からはフォーカスレンズ駆動終了確認命令として“A1h”をレンズ部100bに対して送信し、フォーカスレンズ駆動終了確認命令を受信したレンズ部100bは、フォーカスレンズ106の駆動が終了し、指定位置(つまりピーク位置または2メートル位置)に達していれば、レンズ制御部144から本体部100aに対して“A101h”を送信し、フォーカスレンズ106が近端位置にまだ達していなければ、レンズ制御部144から本体部100aに対して“A102h”を送信する。
なお、上記第1段階のように、フォーカスレンズ106の指定位置への駆動命令を送信してから所定の時間(例えば、5秒間)経過したかどうかを判断し、所定の時間が経過してもレンズ部100bからフォーカスレンズ106が指定位置に到達したことを確認できなければ、予め定めたエラー処理(例えば、LCD124へのエラーメッセージの表示等)を実行して、処理を終了してもよい。
本体部100aでは、本体部100aとレンズ部100bとの間の交信の後、制御部128においてフォーカスレンズ106の指定位置への駆動が終了したかどうかを判断する(ステップS182)。フォーカスレンズ106の指定位置への駆動が終了していれば、第3段階は終了する。一方、フォーカスレンズ106の指定位置への駆動が終了していなければ、上記ステップS178に戻り本体部100aとレンズ部100bとの間の交信を継続する。
一方レンズ部100bでは、本体部100aとレンズ部100bとの間の交信の後、フォーカスレンズ106が指定位置に到達したかどうかを判断する(ステップS184)。ステップS184における判断の結果、フォーカスレンズ106が指定位置に到達していれば、フォーカスレンズ106の駆動を停止し(ステップS186)、処理を終了する。一方、フォーカスレンズ106がまだ指定位置に到達していない場合には、上記ステップS176に戻って指定位置到達判定処理を実行する。
制御部128は、レンズ部100bから“A101h”を受信できれば、オートフォーカス動作は完了したものとみなし、撮影者がシャッタボタンを全押しして撮像動作を実行するまで待機する。
以上、図7を用いて本発明の一実施形態にかかる撮像方法の第3段階について説明した。
以上説明したように、本発明の一実施形態にかかる撮像装置および撮像方法によれば、電子マウント方式によって本体部100aからレンズ部100bから着脱可能である撮像装置100において、レンズ部100bから本体部100aに定期的にフォーカスレンズ106の位置情報を送信し、本体部100aの内部にフォーカスレンズ106の位置情報を位置情報の取得時刻と紐付けて格納することで、本体部100aにおいてフォーカスレンズ106の状態を把握することが可能となる。本体部100aにおいてフォーカスレンズ106の状態を把握することが可能となることで、電子マウント方式によって本体部100aからレンズ部100bから着脱可能である撮像装置100においてビデオAFを実現することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、本体部100aで同期信号を生成してレンズ部100bに送信し、本体部100aからレンズ部100bに送信された同期信号の立ち上がりのタイミングで、レンズ制御部144はフォーカスレンズ106の位置情報を取得するように構成されたが、本発明はかかる例に限定されない。例えば、制御部128からレンズ部100bに対してフォーカスレンズ106の位置情報取得命令を送信し、位置情報取得命令を受信したレンズ制御部144は、予め定めた一定の間隔でフォーカスレンズ106の位置情報を取得して、本体部100aに取得した位置情報を送信してもよい。
本発明は、撮像装置および撮像方法に適用可能であり、より詳細には、レンズ部が本体部から着脱可能である撮像装置および当該撮像装置における撮像方法に適用可能である。
本発明の一実施形態にかかる撮像装置100の構成について説明する説明図である。 本体部100aとレンズ部100bとの間でやり取りされる情報の一例について示す説明図である。 本発明の一実施形態にかかる、時間経過とフォーカスレンズ106の位置との関係の一例について、グラフで説明する説明図である。 本発明の一実施形態にかかる撮像方法において、真のピーク位置を検出する際の検出方法をグラフで説明する説明図である。 本発明の第一実施形態にかかる撮像装置100におけるAF処理の第1段階について説明する流れ図である。 本発明の第一実施形態にかかる撮像装置100におけるAF処理の第2段階について説明する流れ図である。 本発明の第一実施形態にかかる撮像装置100におけるAF処理の第3段階について説明する流れ図である。 本発明の一実施形態にかかる撮像方法において、本体部100aとレンズ部100bとの間でやり取りされる情報の一例を示す説明図である。
符号の説明
100 撮像装置
100a 本体部
100b レンズ部
102 ズームレンズ
104 絞り
106 フォーカスレンズ
102a,104a,106a 駆動装置
108 CCDイメージセンサ
110 CDS回路
112 A/D変換器
114 画像入力コントローラ
116 画像信号処理部
120 圧縮処理部
122 LCDドライバ
124 LCD
126 タイミングジェネレータ
128 制御部
132 操作部
134 メモリ
136 VRAM
138 メディアコントローラ
140 記録メディア
142a,142b I/F部
144 レンズ制御部
146 ドライバ
152 適正AE算出部
154 同期信号生成部
156 フォーカス検出部

Claims (4)

  1. 本体部とレンズ部とが着脱可能である撮像装置であって、
    前記レンズ部は、
    焦点調節を行うフォーカスレンズと、
    前記本体部からの指示に基づいて前記フォーカスレンズの位置情報を連続的に取得するフォーカス位置取得部と、
    前記位置情報を前記本体部に送信する送信部と、
    を含み、前記本体部は、
    前記レンズ部に前記フォーカスレンズの位置情報の取得を指示するフォーカス位置取得指示部と、
    前記レンズ部から受信した複数の前記位置情報に基づいて、被写体の合焦検出を行う合焦検出部と、
    を含むことを特徴とする、撮像装置。
  2. 前記フォーカス位置取得指示部は、前記レンズ部に対して同期信号を送信し、
    前記フォーカス位置取得部は、前記同期信号に同期したタイミングで前記フォーカスレンズの位置情報を取得することを特徴とする、請求項1に記載の撮像装置。
  3. 本体部と、焦点調節を行うフォーカスレンズを備えるレンズ部とが着脱可能である撮像装置における撮像方法であって、
    前記レンズ部に前記フォーカスレンズの位置情報の取得を指示するフォーカス位置取得指示ステップと、
    前記フォーカス位置取得指示ステップの指示に基づいて被写体に合焦するための前記フォーカスレンズの位置情報を連続的に取得するフォーカス位置取得ステップと、
    前記位置情報を前記本体部に送信する送信ステップと、
    前記レンズ部から受信した複数の前記位置情報に基づいて、被写体の合焦検出を行う合焦検出ステップと、
    を含むことを特徴とする、撮像方法。
  4. 前記フォーカス位置取得指示ステップは、前記レンズ部に対して同期信号を送信し、
    前記フォーカス位置取得ステップは、前記同期信号に同期したタイミングで前記フォーカスレンズの位置情報を取得することを特徴とする、請求項3に記載の撮像方法。
JP2007318899A 2007-12-10 2007-12-10 撮像装置および撮像方法 Expired - Fee Related JP5070023B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007318899A JP5070023B2 (ja) 2007-12-10 2007-12-10 撮像装置および撮像方法
KR1020080123228A KR101542743B1 (ko) 2007-12-10 2008-12-05 촬상 장치 및 촬상 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318899A JP5070023B2 (ja) 2007-12-10 2007-12-10 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2009139867A true JP2009139867A (ja) 2009-06-25
JP5070023B2 JP5070023B2 (ja) 2012-11-07

Family

ID=40870491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318899A Expired - Fee Related JP5070023B2 (ja) 2007-12-10 2007-12-10 撮像装置および撮像方法

Country Status (2)

Country Link
JP (1) JP5070023B2 (ja)
KR (1) KR101542743B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199047A (ja) * 2008-01-22 2009-09-03 Canon Inc 撮像装置、およびレンズ装置
WO2011070757A1 (ja) * 2009-12-07 2011-06-16 パナソニック株式会社 撮像装置および撮像方法
US8890995B2 (en) 2011-04-15 2014-11-18 Panasonic Corporation Image pickup apparatus, semiconductor integrated circuit and image pickup method
JP2015049387A (ja) * 2013-09-02 2015-03-16 株式会社ニコン 交換レンズおよびカメラボディ
JP2016126299A (ja) * 2015-01-08 2016-07-11 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、プログラム、記憶媒体
JP2019012288A (ja) * 2018-10-03 2019-01-24 株式会社ニコン 交換レンズ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02210312A (ja) * 1989-02-09 1990-08-21 Canon Inc カメラシステム
JP2007310009A (ja) * 2006-05-16 2007-11-29 Olympus Imaging Corp デジタルカメラ及びカメラシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02210312A (ja) * 1989-02-09 1990-08-21 Canon Inc カメラシステム
JP2007310009A (ja) * 2006-05-16 2007-11-29 Olympus Imaging Corp デジタルカメラ及びカメラシステム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199047A (ja) * 2008-01-22 2009-09-03 Canon Inc 撮像装置、およびレンズ装置
WO2011070757A1 (ja) * 2009-12-07 2011-06-16 パナソニック株式会社 撮像装置および撮像方法
CN102308242A (zh) * 2009-12-07 2012-01-04 松下电器产业株式会社 摄像装置以及拍摄方法
US8412036B2 (en) 2009-12-07 2013-04-02 Panasonic Corporation Imaging apparatus and method of controlling the apparatus
CN102308242B (zh) * 2009-12-07 2014-08-20 松下电器产业株式会社 摄像装置以及拍摄方法
JP5588461B2 (ja) * 2009-12-07 2014-09-10 パナソニック株式会社 撮像装置および撮像方法
US8890995B2 (en) 2011-04-15 2014-11-18 Panasonic Corporation Image pickup apparatus, semiconductor integrated circuit and image pickup method
JP2015049387A (ja) * 2013-09-02 2015-03-16 株式会社ニコン 交換レンズおよびカメラボディ
JP2016126299A (ja) * 2015-01-08 2016-07-11 キヤノン株式会社 撮像装置及びその制御方法、撮像システム、プログラム、記憶媒体
JP2019012288A (ja) * 2018-10-03 2019-01-24 株式会社ニコン 交換レンズ

Also Published As

Publication number Publication date
JP5070023B2 (ja) 2012-11-07
KR101542743B1 (ko) 2015-08-07
KR20090060943A (ko) 2009-06-15

Similar Documents

Publication Publication Date Title
JP5322783B2 (ja) 撮像装置及び該撮像装置の制御方法
JP4137106B2 (ja) 撮像装置、レンズ装置および撮像システム
JP5171433B2 (ja) 撮像装置、およびレンズ装置
JP4533735B2 (ja) 立体画像撮影装置
KR20120047779A (ko) 촬상장치 및 악세사리, 그의 방법 및 시스템, 및 매체
JP5070023B2 (ja) 撮像装置および撮像方法
JP2008020710A (ja) 撮影装置、および焦点調整方法
JP2004077517A (ja) オートフォーカス機能付きカメラ
JP2011248159A (ja) 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
JP2007140278A (ja) デジタルカメラ、露出条件決定方法
JP2008054177A (ja) 撮像装置
JP2009088825A (ja) カメラシステムおよびカメラ本体
JP2008178062A (ja) カメラおよびカメラシステム
JP2008015097A (ja) 撮像装置及び撮像方法
JP2012168329A (ja) 交換レンズ
JP2010127995A (ja) 撮像装置及び撮像方法
JP5347315B2 (ja) 交換レンズ、カメラ本体、撮像装置
JP2005333542A (ja) 電子カメラおよび画像処理システム
JP2008072412A (ja) 撮影装置および方法並びにプログラム
JP2007274220A (ja) 撮像装置および撮像方法
JP2007110498A (ja) 複眼式撮影装置
JP4799247B2 (ja) 撮像装置および撮像方法
JP2020134546A (ja) 撮像装置、レンズ装置、カメラシステムおよび撮像装置の制御方法
JP2007104586A (ja) 複眼式撮影装置の非連動オート系処理装置
JP2010258654A (ja) 撮像装置及びカメラ本体

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090811

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5070023

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees