JP2004194157A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004194157A JP2004194157A JP2002361836A JP2002361836A JP2004194157A JP 2004194157 A JP2004194157 A JP 2004194157A JP 2002361836 A JP2002361836 A JP 2002361836A JP 2002361836 A JP2002361836 A JP 2002361836A JP 2004194157 A JP2004194157 A JP 2004194157A
- Authority
- JP
- Japan
- Prior art keywords
- angular velocity
- correction
- axis
- shake
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/686—Vibration or motion blur correction performed by mechanical compensation with a variable apex prism
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Adjustment Of Camera Lenses (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
Abstract
【課題】直交する２つの検出軸の角速度を検出する角速度検出手段を用いる場合に、その取り付けの制約を軽減させる。
【解決手段】角速度検出軸を直交させた形で２つの角速度センサ１、１'を１つのパッケージにまとめた角速度検出手段を用いるとともに、補正軸変換回路１１を設ける。補正軸変換回路１１において、入力された角速度信号「Ｘ」及び「Ｙ」に対し、補正信号「ｘ」及び「ｙ」を下記に示すベクトル変換演算にて行って、ベクトルの変換を行うことにより正確な揺れ補正が可能となる（θは揺れ検出軸と揺れ補正軸の傾き）。
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ
【選択図】 図１
【解決手段】角速度検出軸を直交させた形で２つの角速度センサ１、１'を１つのパッケージにまとめた角速度検出手段を用いるとともに、補正軸変換回路１１を設ける。補正軸変換回路１１において、入力された角速度信号「Ｘ」及び「Ｙ」に対し、補正信号「ｘ」及び「ｙ」を下記に示すベクトル変換演算にて行って、ベクトルの変換を行うことにより正確な揺れ補正が可能となる（θは揺れ検出軸と揺れ補正軸の傾き）。
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、手振れ等による画像の揺れを補正する機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
従来より、ビデオカメラ等の撮像装置では、オートエクスポージャ（ＡＥ）やオートフォーカス（ＡＦ）等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。
【０００３】
また、近年では、撮像装置の小型化や光学系の高倍率化に伴い、装置の振れ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置の振れ（手振れ）等により生じた撮影画像の揺れを補正する揺れ補正機能が種々提案されている。このような揺れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。
【０００４】
この種の揺れ補正機能を搭載した補正装置では、角速度センサからの情報を基に装置の振れを検出し、その検出結果を信号処理して揺れ補正信号を求め、当該揺れ補正信号に基づいて、手振れ等による撮影画像の揺れを光学的あるいは電気的に補正するようになされている。
【０００５】
【発明が解決しようとする課題】
ところで、近年の装置の小型化に伴って角速度センサの小型化も行われており、その一つして２つのセンサを１つのパッケージにまとめ、小型化を推し進める提案もなされている。
【０００６】
しかしながら、２つのセンサを１つのパッケージにまとめた場合、センサ自体の容積を小さくすることが可能な反面、取り付け位置の自由度の制約が生じてしまう。具体的には、２つの角速度検出軸（揺れ検出軸）が直交し配されているため、定められた平面上への取り付けが要求され、かつ、補正軸に対する検出軸の平行度をも精度を上げた取り付けが要求される。
【０００７】
図８にて上記課題を説明する。同図（ａ）の１００１が２つの角速度検出軸を有する角速度センサであり、１０１１及び１０１２がそれぞれ角速度検出軸である。
【０００８】
この角速度センサ１００１のレイアウトは、同図（ｂ）に示すように撮像光学系１５０の中心を結ぶ光軸１０４に対し、それぞれの角速度検出軸１０１１、１０１２が直交する必要があるため、光軸１０４に直交する平面１０２１に取り付ける必要がある。
【０００９】
また、具体的には図示しないが、画像の揺れを補正するための画像補正手段においても２つの検出軸１０１１、１０１２に対応した２つの補正軸を備えていることが一般的で、揺れ検出軸と揺れ補正軸を一致させて配置することも必要である。
【００１０】
このように角速度センサ１００１の取り付けについては２つの個々のセンサを配置するよりもレイアウトの自由度が制約されてしまうことは言うまでもない。
【００１１】
本発明は、上記のような点に鑑みてなされたものであり、直交する２つの検出軸の角速度を検出する角速度検出手段を用いる場合に、その取り付けの制約を軽減させることを目的とする。
【００１２】
【課題を解決するための手段】
本発明の撮像装置は、直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段と、上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する補正軸変換手段とを備えた点に特徴を有する。
【００１３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【００１４】
（第１の実施の形態）
図１に、第１の実施の形態の撮像装置の構成を示す。本実施の形態は、角速度信号を補正軸変換手段により角速度検出軸と揺れ補正軸の傾き分補正した後に揺れ補正処理を行う構成である。
【００１５】
図１において、１００１は直交する２軸の角速度検出軸を備えた角速度検出手段であり、例えば振動ジャイロ等の角速度センサからなる。この角速度検出手段１００１は角速度検出軸を直交させた形で２つの角速度センサ１、１'を１つのパッケージにまとめたものであり、カメラ等の揺れ補正機能付き撮像装置本体に２つの角速度検出軸が光軸に対し直交方向になるように取り付けられ、装置の振れを角速度として検出する。
【００１６】
２及び２'はＤＣカットフィルタであり、角速度センサ１、１'から出力される角速度信号の直流（ＤＣ）成分を遮断して、交流成分すなわち振動成分のみを通過させる。ＤＣカットフィルタ２、２'としては、所定の周波数帯域以下の信号を遮断するハイパスフィルタ（以下、ＨＰＦと示す）を用いても良い。
【００１７】
３及び３'は増幅器（アンプ）であり、ＤＣカットフィルタ２、２'から出力された角速度信号を適当な感度に増幅して出力する。
【００１８】
４及び４'はＡ／Ｄ変換器であり、増幅器３、３'から出力された角速度信号をアナログ信号からデジタル信号に変換して出力する。
【００１９】
１１は補正軸変換回路であり、詳細は後述するが、角速度検出手段１００１の検出軸と、画像補正手段１０補正軸のずれにより生じる誤差を補正する。
【００２０】
５及び５'はハイパスフィルタ（ＨＰＦ）であり、任意の周波数帯域でその特性を可変しえる機能を有しており、Ａ／Ｄ変換器４、４'から出力されたデジタルの角速度データに含まれる低周波成分を遮断して出力する。
【００２１】
６及び６'は積分器であり、任意の周波数帯域でその特性を可変しえる機能を有しており、ＨＰＦ５、５'から出力された角速度データを積分して、その積分結果を角変位データとして出力する。
【００２２】
７及び７'はパン・チルト判定回路であり、Ａ／Ｄ変換器４、４'から出力された角速度データ及び積分器６、６'から出力された角変位データに基づいて、パンニング・チルティングの判定を行って、角速度データ及び角変位データのレベルにより以下に述べるようなパンニング制御を行う。
【００２３】
すなわち、角速度データが所定のしきい値以上、或いは、角速度データが所定のしきい値より小さくても当該角速度データの積分結果である角変位データが所定のしきい値以上であるならば、パンニング或いはチルティング状態であると判定し、パンニング制御を行う。
【００２４】
このパンニング制御では、まず、ＨＰＦ５、５'の低域カットオフ周波数を高域側に変移させることにより、低域の周波数に対して画像補正手段１０、１０'の振れ補正系が応答しないように特性を変更する。次に、積分器６、６'の積分特性の時定数を値が小さくなる方向に変移させることにより、画像補正手段１０、１０'の振れ補正位置を移動範囲中心へと徐々にセンタリングさせる。これにより、積分器６、６'に蓄積された角変位データの値を基準値（振れを検出していない状態においてとり得る値）に徐々に近づけていく。
【００２５】
このようなパンニング制御を行っている間も角速度データ及び角変位データの検出は行われており、パンニング・チルティングが終了した場合（すなわち、角速度データ及び角変位データのそれぞれが所定のしきい値より小さい場合）には、ＨＰＦ５、５'の低域カットオフ周波数を低域側に変移させるとともに、積分器６、６'での積分演算に用いる時定数の値を大きくなる方向に変移させることにより振れ補正範囲を拡張する動作を行う。これにより、ＨＰＦ５、５'の低域カットオフ周波数及び積分器６の時定数の値がそれぞれ元の状態に戻され、パンニング制御から抜けることになる。
【００２６】
８及び８'はＤ／Ａ変換器であり、積分器６、６'から出力された角変位データをデジタル信号からアナログ信号に変換して出力する。
【００２７】
９及び９'は駆動回路であり、Ｄ／Ａ変換器８、８'から出力されたアナログの角変位信号に基づいて、後段の画像補正手段１０、１０'を揺れを抑制するように駆動する。
【００２８】
１０及び１０'は画像補正手段であり、例えば光学的光軸を変移させて振れを相殺する光学的補正手段が用いられる。この光学的補正手段は、例えば可変頂角プリズムを用いた光学的振れ補正系を有し、駆動回路９、９'からの駆動に従って、可変頂角プリズムの頂角を変えて撮像面への入射光の光軸を変移させることにより、撮影画像に生じる揺れを光学的に補正する。
【００２９】
図２は、図１に示した画像補正手段１０、１０'の一例を説明するための図である。同図に示す例では、特に可変頂角プリズム１００を用いるとともに、その駆動系としてボイス・コイル型のアクチュエータ１１０を用い、可変頂角プリズム１００の頂角変位をエンコーダ１２０で検出する。そして、その検出結果を駆動系のアクチュエータ１１０にフィードバックすることにより可変頂角プリズム１００の駆動量を制御するようになされた閉ループを構成する制御系としたものである。
【００３０】
まず、可変頂角プリズム１００について詳しく述べる。図７に示す可変頂角プリズム１００の構成において、１０１及び１０１’は互いに対向して配置された平面ガラス、１０２は透明な高屈折率（屈折率ｎ）の弾性体又は不活性液体からなる高屈折体、１０３は高屈折体１０２を外周より樹脂フィルム等にて弾力的に封止するための封止材である。高屈折体１０２を封止した封止材１０３は、平面ガラス１０１及び１０１’に挟持されている。なお、１０４は一方の平面ガラス１０１に直角に入射し、高屈折体１０２及び他方の平面ガラス１０１’を透過した光の光路を示したものである。
【００３１】
図２（ａ）は、一対の平面ガラス１０１及び１０１’が平行に保持されている状態を示したものである。この状態の場合、光路１０４は、一方の平面ガラス１０１に直角に入射し、高屈折体１０２を通り、他方の平面ガラス１０１’より直角に射出する。
【００３２】
それに対して、図２（ｂ）は、ボイス・コイル型のアクチュエータ１１０により、他方の平面ガラス１０１’が傾けられた状態を示したものである。これは、光学的光軸を変移させた状態にあたる。この状態では、一対の平面ガラス１０１及び１０１’と高屈折体１０２とで光学的なプリズムが形成される。したがって、一方の平面ガラス１０１に直角に入射した光は、他方の平面ガラス１０１’から射出されるときに、図２（ａ）に示した平行な状態での光路１０４に対して、その光路１０４’が変化する。
【００３３】
図２（ｂ）において、可変頂角プリズム１００の他方の平面ガラス１０１’を一方の平面ガラス１０１対して角度σだけ回動させたときの入射光束１０４’の通過状態を更に説明すると、一方の平面ガラス１０１に直角に入射してきた光束１０４’は、楔形プリズムと同様の原理により、角度φ＝（ｎ−ｌ）σだけ偏向されて出射する。つまり、入射光束１０４’の光軸は、角度φ分だけ偏心（偏向）される。なお、ここでの屈折率ｎは、ガラスの屈折率に近いものとする。
【００３４】
さらに、このような可変頂角プリズム１００を用いた場合の光軸の補正について図３を用いて説明する。図３において、１０１’−Ａは他方の平面ガラス１０１’が一方の平面ガラス１０１と平行な状態（図２（ａ）の状態）、１０１’−Ｂは他方の平面ガラス１０１’が一方の平面ガラス１０１に対して傾きを生じた状態（図２（ｂ）の状態）を示している。
【００３５】
また、１５０は撮像光学系、１６１は結像した光信号を光電変換して電気信号として出力するＣＣＤ等の撮像素子、１６２は撮像素子１６１から出力された電気信号を、例えばＮＴＳＣ等のビデオ信号に変換する信号処理回路、１６３はビデオ信号を記録する記録装置である。
【００３６】
図３に示すように、他方の平面ガラス１０１’が一方の平面ガラス１０１と平行にある状態１０１’−Ａの場合、光路１０４は、撮像光学系１５０を介して撮像素子１６１の結像面上に直線的に結ばれる。
【００３７】
それに対して、他方の平面ガラス１０１’が一方の平面ガラス１０１に対して傾きを生じている状態１０１’−Ｂの場合は、一対の平面ガラス１０１及び１０１’で形成される頂角が変えられることで、光路１０４’のように光路が変化させられる。変化した光路１０４’は、撮像光学系１５０を介して、状態１０１’−Ａの場合と同じ撮像素子１６１の結像面上に結ばれる。
【００３８】
このようにして、撮像装置の振れ等により生じる被写体の移動（光路のずれ）を光学的に補正することが可能となる。
【００３９】
次に、再び図２に説明を戻して、アクチュエータ１１０について説明する。動図に示すアクチュエータ１１０の構成において、１１１はヨーク、１１２はマグネット、１１３はコイル、１１４は駆動トルクを伝達するアームであり、これらの要素によって、コイル１１３に電流を流すことで可変頂角プリズム１００の頂角を可変し得るボイス・コイル型のアクチュエータが構成されている。
【００４０】
また、可変頂角プリズム１００の傾き（頂角の変位、すなわち角変位）を検出するための角変位エンコーダ１２０の構成において、１２１は可変頂角プリズム１００の角変位検出用のスリットであり、可変頂角プリズム１００の他方の平面ガラス１０１’と共にアクチュエータ１１０のアーム１１４を通じて回動し、その位置が変位するようになっている。１２２はスリット１２１の位置を検出する発光ダイオード、１２３はＰＳＤ（Position Sensing Detector ）であり、発光ダイオード１２２と共にスリット１２１の位置を検出する。これにより、可変頂角プリズム１００の頂角の変位が検出される。
【００４１】
次に、可変頂角プリズム１００を駆動制御する制御回路の基本的な構成及び動作について、図４のブロック図を用いて説明する。同図において、１３１はアンプである。１３２はアンプ１３１の出力に基づいてアクチュエータ１１０を駆動する駆動回路である。１３３は加算器であり、揺れ補正信号（角変位信号）１３４と、角変位エンコーダ１２０から出力される角変位信号１３５とを互いに逆極性で加算し、加算結果をアンプ１３１に出力する。
【００４２】
このような構成でなる制御系は、先に説明した構成により求められた揺れ補正信号１３４と、角変位エンコーダ１２０から出力される角変位信号１３５とが等しくなるように動作する。その結果として、揺れ補正信号１３４がエンコーダ１２０の出力１３５と一致するように可変頂角プリズム１００が駆動される。これにより、制御目標位置（頂角）に可変頂角プリズム１００が制御されるものである。
【００４３】
なお、図４においては説明の便宜上図示しなかったが、上述した可変頂角プリズム１００の駆動方向と直角の方向に、同様の機能を有する駆動回路、エンコーダ及び制御回路が存在し、光軸に対して上下左右の揺れ検出信号に応じて、上下左右の補正を可能にするものである。
【００４４】
次に、図５を参照して、補正軸変換回路１１における補正軸の変換演算について説明する。同図（ａ）において、２０１及び２０２に示す軸が揺れ補正系の補正軸であり、２つの軸が直角に配されている、これは先に説明した画像補正手段１０、１０'の配置に相当し、画像補正手段１０の配置に対し画像補正手段１０'の配置が９０ｄｅｇ面して配されていることを示している。
【００４５】
２１１及び２１２に示す軸は揺れ検出系すなわち角速度センサ１００１の検出軸であり、２つの軸が直角に配されている。
【００４６】
また、各軸は、揺れ検出量及び揺れ補正量を示すものとし、揺れ検出ベクトル＝揺れ補正ベクトルの関係にて揺れ補正が成立するものとする。
【００４７】
従来、揺れ検出軸と揺れ補正軸とは略一致するよう配されており、揺れ検出軸（ｙ）２１１にて検出された角速度信号は上記の処理をなされ揺れ補正軸（Ｙ）２０１を持つ画像補正手段１０にて補正される。
【００４８】
この揺れ検出軸と揺れ補正軸が同図に示すように角度θの傾きを持って装置に固定されている場合には、揺れ検出軸より得られた信号を従来と同等な信号処理のみで揺れ補正系を駆動してしまうと、ベクトルが一致していないために補正誤差を生じてしまうことは言うまでもない。
【００４９】
この補正誤差を相殺する目的で設けられたのが補正軸変換回路１１であり、入力された角速度信号「Ｘ」及び「Ｙ」に対し、補正信号「ｘ」及び「ｙ」を下記に示すベクトル変換演算にて行う。この演算処理により、ベクトルの変換が行われ、正確な揺れ補正が可能となる。
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ ・・・（１）
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ ・・・（２）
ただし、θは揺れ検出軸と揺れ補正軸の傾き
【００５０】
次に、同図（ｂ）にて上記の演算を具体的に説明すると、同図（ｂ）は同図（ａ）の一部３０１を拡大した図であり、上記説明と同様に検出軸が補正軸に対してθｄｅｇ傾いて取り付けられているものとする。
【００５１】
ここで、上下（ピッチ）方向の揺れＹ１が加わった状態を仮定すると、θｄｅｇ傾けられて取り付けられたジャイロセンサ１００１のピッチ方向の揺れ検出ベクトル（Ｐｙ１）は、
Ｐｙ１＝Ｙ１ｃｏｓθ
で表される。
【００５２】
同様に、ジャイロセンサ１００１の横（ヨー）方向の揺れ検出ベクトル（Ｙｙ１）は、
Ｙｙ１＝Ｙ１ｓｉｎθ
で表される。
【００５３】
検出されたこれらの揺れ量より揺れ補正量を求めるには、ピッチ方向の揺れ検出ベクトルにおけるＹ軸成分と、ヨー方向の揺れ検出ベクトルにおけるＹ軸成分との和を求めれば良い。
【００５４】
すなわち、ピッチ方向の揺れ検出ベクトルにおけるＹ軸成分Ｐｈ１は、
Ｐｈ１＝Ｐｙ１×ｃｏｓθ＝Ｙ１ｃｏｓ2θ
で表される。
【００５５】
また、ヨー方向の揺れ検出ベクトルにおけるＹ軸成分Ｙｈ１は、
Ｙｈ１＝Ｙｙ１×ｓｉｎθ＝Ｙ１ｓｉｎ2θ
で表される。
【００５６】
揺れ補正ベクトルは上記の和となることから、
となる。
【００５７】
上記式より、下記式が成り立つ。
【００５８】
同様にヨー方向の補正軸についても次式が求められる。
Ｘｈ１＝Ｘ１ｃｏｓθ−Ｘ１ｓｉｎθ
【００５９】
したがって、上記式（１）、（２）の演算を補正軸変換回路１１にて行うことにより、ジャイロセンサ１００１の揺れ検出軸と、画像補正手段１０揺れ補正軸のずれより生じる誤差を補正することが可能である。
【００６０】
なお、上記揺れ検出軸と揺れ補正軸のずれ角θの値は、機械的な角度を測定することにより得ることが可能であるが、その他にθの値の算出方法として、一方の補正軸に角速度αを加えた時に他方のジャイロセンサより検出される出力をβとすれば、
β＝αｓｉｎθ'
θ'：揺れ検出手段と揺れ補正手段のずれ角
という関係式より求めることも可能である。
【００６１】
さらに、ずれ角θの値は、補正軸変換回路１１内の記憶手段に記憶させておけばよい。
【００６２】
また、本実施の形態の説明における画像補正手段は、光学的な補正手段を用いて説明しているが、撮像素子の読み出しタイミングを変更することで撮像画の揺れ補正を行ういわゆる電子防振を用いた構成でも良い。
【００６３】
（第２の実施の形態）
図６に、第２の実施の形態の撮像装置の構成を示す。同図に示すように、補正軸変換回路１１を積分器６、６'の後段に配置している。補正軸変換回路１１の配置を積分器６、６'の後段とすることで、第１の実施の形態における配置と較べて、補正軸変換回路１１に要求される信号のダイナミックレンジが狭くて良いため、補正軸変換回路１１の扱うデータ長を短くすることが可能となる。これはパン・チルト判定回路７、７'の作用によるもので、先の説明で述べたようにパンニング制御に基づいてＨＰＦ５、５'の特性が変えられ、積分器６、６'に蓄積される値に制限が加えられるからである。したがって、図６に示す構成とすることにより補正軸変換回路１１の扱うデータ長を短くすることができ、しいては演算処理速度を向上させることが可能である。
【００６４】
（第３の実施の形態）
第３の実施の形態として、図７を参酌して、補正軸変換回路１１の演算を簡略した例を説明する。同図は補正軸変換回路１１の内部ブロック図を示したもので、３１１及び３１２は揺れ信号入力であり、所定倍された角速度信号が入力される。
【００６５】
３１３及び３１４は揺れ信号補正出力であり、第１の実施の形態で説明した軸補正後の出力を得る。
【００６６】
３０１はメモリ等の記憶手段である。３０２はルックアップ・テーブル（以下、ＬＵＴと示す）である。３０１は記憶手段であり、ルックアップ・テーブル内にあらかじめ納められているデータ配列の所定の番地を指し示すアドレス・データを記憶している。ＬＵＴ３０２は記憶手段３０１に記憶されているアドレス値に対応した番地のデータを出力する。なお、本実施の形態の場合、２列のデータ配列を備えており、その出力もデータ３０３及びデータ３０４の２つを同時に出力する。
【００６７】
さらには、上記データ配列はｓｉｎθ及びｃｏｓθの同じθを取ったときの値を対の列データとして納めている。例としては、下記の表に示すように各角度毎に異なったアドレスが割り振られており、それぞれデータ列１の正弦演算結果と、データ列２の余弦演算結果の値を持っている。
【００６８】
【表１】
【００６９】
図７に説明を戻して、３０３及び３０４は上記選択された余弦演算結果及び正弦演算結果の値を出力する。３２１〜３２４は乗算器、３２５は加算機、３２６は減算器であり、これらの構成より上記第１の実施の形態に示した式（１）及び式（２）の演算を実現することができる。
【００７０】
したがって、本実施の形態における構成は、ＬＵＴ３０２の参照アドレスを、メモリ３０１にあらかじめ記憶しておくことにより、ＬＵＴ３０２からは参照アドレスに対応する指定角度の正弦、余弦の値が演算することなく出力されるので、処理速度の向上に寄与する。
【００７１】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７２】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。そのプログラムコードの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネット等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００７３】
さらに、上記プログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００７５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００７６】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７７】
以下、本発明の実施態様の例を列挙する。
（実施態様１）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段と、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する補正軸変換手段とを備えたことを特徴とする撮像装置。
【００７８】
（実施態様２）上記補正軸変換手段は、上記変換の際に用いる値をテーブルを参照して取得する構成にしたことを特徴とする実施態様１に記載の撮像装置。
【００７９】
（実施態様３）上記補正軸変換手段は、上記２つの角速度信号又は上記２つの角速度信号をＸ、Ｙとし、上記角速度検出手段の検出軸と上記補正手段の補正軸の傾きをθとして、変換後の信号ｘ、ｙを、下式
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ
により変換することを特徴とする実施態様１に記載の撮像装置。
【００８０】
（実施態様４）上記補正手段は光学的補正手段であることを特徴とする実施態様１〜３のいずれか１項に記載の撮像装置。
【００８１】
（実施態様５）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段とを備えた撮像装置の揺れ補正方法であって、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する手順を有することを特徴とする揺れ補正方法。
【００８２】
（実施態様６）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段とを備えた撮像装置を制御するためのプログラムであって、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する処理を実行させることを特徴とするプログラム。
【００８３】
（実施態様７）実施態様６に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【００８４】
【発明の効果】
以上述べたように本発明によれば、直交する２つの検出軸の角速度を検出する角速度検出手段を用いる場合に、角速度検出手段の取り付け平面上において揺れ補正系との傾きが生じても、その補正を行うことができるので、取り付けの制約が軽減される。
【図面の簡単な説明】
【図１】第１の実施の形態の撮像装置の構成を示す図である。
【図２】画像補正手段の一例を説明するための図である。
【図３】可変頂角プリズムを用いた場合の光軸の補正について説明するための図である。
【図４】可変頂角プリズムを駆動制御する制御回路の基本的な構成を示す図である。
【図５】補正軸の変換演算について説明するための図である。
【図６】第２の実施の形態の撮像装置の構成を示す図である。
【図７】補正軸変換回路の一構成例を示す図である。
【図８】角速度検出センサの配置について説明するための図である。
【符号の説明】
１、１' 角速度センサ
２、２' ＤＣカットフィルタ
３、３' 増幅器（アンプ）
４、４' Ａ／Ｄ変換器
５、５' ハイパスフィルタ
６、６' 積分器
７、７' パン・チルト判定回路
８、８' Ｄ／Ａ変換器
９、９' 駆動回路
１０、１０' 画像補正手段
１１ 補正軸変換回路
【発明の属する技術分野】
本発明は、手振れ等による画像の揺れを補正する機能を備えた撮像装置に関する。
【０００２】
【従来の技術】
従来より、ビデオカメラ等の撮像装置では、オートエクスポージャ（ＡＥ）やオートフォーカス（ＡＦ）等の機能に見られるように、あらゆる点で自動化及び多機能化が図られ、良好な撮影が容易に行えるようになっている。
【０００３】
また、近年では、撮像装置の小型化や光学系の高倍率化に伴い、装置の振れ等が撮影画像の品位を低下させる大きな原因となっていることに着目し、このような装置の振れ（手振れ）等により生じた撮影画像の揺れを補正する揺れ補正機能が種々提案されている。このような揺れ補正機能を撮像装置に搭載することで、さらに良好な撮影が容易に行えるようになっている。
【０００４】
この種の揺れ補正機能を搭載した補正装置では、角速度センサからの情報を基に装置の振れを検出し、その検出結果を信号処理して揺れ補正信号を求め、当該揺れ補正信号に基づいて、手振れ等による撮影画像の揺れを光学的あるいは電気的に補正するようになされている。
【０００５】
【発明が解決しようとする課題】
ところで、近年の装置の小型化に伴って角速度センサの小型化も行われており、その一つして２つのセンサを１つのパッケージにまとめ、小型化を推し進める提案もなされている。
【０００６】
しかしながら、２つのセンサを１つのパッケージにまとめた場合、センサ自体の容積を小さくすることが可能な反面、取り付け位置の自由度の制約が生じてしまう。具体的には、２つの角速度検出軸（揺れ検出軸）が直交し配されているため、定められた平面上への取り付けが要求され、かつ、補正軸に対する検出軸の平行度をも精度を上げた取り付けが要求される。
【０００７】
図８にて上記課題を説明する。同図（ａ）の１００１が２つの角速度検出軸を有する角速度センサであり、１０１１及び１０１２がそれぞれ角速度検出軸である。
【０００８】
この角速度センサ１００１のレイアウトは、同図（ｂ）に示すように撮像光学系１５０の中心を結ぶ光軸１０４に対し、それぞれの角速度検出軸１０１１、１０１２が直交する必要があるため、光軸１０４に直交する平面１０２１に取り付ける必要がある。
【０００９】
また、具体的には図示しないが、画像の揺れを補正するための画像補正手段においても２つの検出軸１０１１、１０１２に対応した２つの補正軸を備えていることが一般的で、揺れ検出軸と揺れ補正軸を一致させて配置することも必要である。
【００１０】
このように角速度センサ１００１の取り付けについては２つの個々のセンサを配置するよりもレイアウトの自由度が制約されてしまうことは言うまでもない。
【００１１】
本発明は、上記のような点に鑑みてなされたものであり、直交する２つの検出軸の角速度を検出する角速度検出手段を用いる場合に、その取り付けの制約を軽減させることを目的とする。
【００１２】
【課題を解決するための手段】
本発明の撮像装置は、直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段と、上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する補正軸変換手段とを備えた点に特徴を有する。
【００１３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態を説明する。
【００１４】
（第１の実施の形態）
図１に、第１の実施の形態の撮像装置の構成を示す。本実施の形態は、角速度信号を補正軸変換手段により角速度検出軸と揺れ補正軸の傾き分補正した後に揺れ補正処理を行う構成である。
【００１５】
図１において、１００１は直交する２軸の角速度検出軸を備えた角速度検出手段であり、例えば振動ジャイロ等の角速度センサからなる。この角速度検出手段１００１は角速度検出軸を直交させた形で２つの角速度センサ１、１'を１つのパッケージにまとめたものであり、カメラ等の揺れ補正機能付き撮像装置本体に２つの角速度検出軸が光軸に対し直交方向になるように取り付けられ、装置の振れを角速度として検出する。
【００１６】
２及び２'はＤＣカットフィルタであり、角速度センサ１、１'から出力される角速度信号の直流（ＤＣ）成分を遮断して、交流成分すなわち振動成分のみを通過させる。ＤＣカットフィルタ２、２'としては、所定の周波数帯域以下の信号を遮断するハイパスフィルタ（以下、ＨＰＦと示す）を用いても良い。
【００１７】
３及び３'は増幅器（アンプ）であり、ＤＣカットフィルタ２、２'から出力された角速度信号を適当な感度に増幅して出力する。
【００１８】
４及び４'はＡ／Ｄ変換器であり、増幅器３、３'から出力された角速度信号をアナログ信号からデジタル信号に変換して出力する。
【００１９】
１１は補正軸変換回路であり、詳細は後述するが、角速度検出手段１００１の検出軸と、画像補正手段１０補正軸のずれにより生じる誤差を補正する。
【００２０】
５及び５'はハイパスフィルタ（ＨＰＦ）であり、任意の周波数帯域でその特性を可変しえる機能を有しており、Ａ／Ｄ変換器４、４'から出力されたデジタルの角速度データに含まれる低周波成分を遮断して出力する。
【００２１】
６及び６'は積分器であり、任意の周波数帯域でその特性を可変しえる機能を有しており、ＨＰＦ５、５'から出力された角速度データを積分して、その積分結果を角変位データとして出力する。
【００２２】
７及び７'はパン・チルト判定回路であり、Ａ／Ｄ変換器４、４'から出力された角速度データ及び積分器６、６'から出力された角変位データに基づいて、パンニング・チルティングの判定を行って、角速度データ及び角変位データのレベルにより以下に述べるようなパンニング制御を行う。
【００２３】
すなわち、角速度データが所定のしきい値以上、或いは、角速度データが所定のしきい値より小さくても当該角速度データの積分結果である角変位データが所定のしきい値以上であるならば、パンニング或いはチルティング状態であると判定し、パンニング制御を行う。
【００２４】
このパンニング制御では、まず、ＨＰＦ５、５'の低域カットオフ周波数を高域側に変移させることにより、低域の周波数に対して画像補正手段１０、１０'の振れ補正系が応答しないように特性を変更する。次に、積分器６、６'の積分特性の時定数を値が小さくなる方向に変移させることにより、画像補正手段１０、１０'の振れ補正位置を移動範囲中心へと徐々にセンタリングさせる。これにより、積分器６、６'に蓄積された角変位データの値を基準値（振れを検出していない状態においてとり得る値）に徐々に近づけていく。
【００２５】
このようなパンニング制御を行っている間も角速度データ及び角変位データの検出は行われており、パンニング・チルティングが終了した場合（すなわち、角速度データ及び角変位データのそれぞれが所定のしきい値より小さい場合）には、ＨＰＦ５、５'の低域カットオフ周波数を低域側に変移させるとともに、積分器６、６'での積分演算に用いる時定数の値を大きくなる方向に変移させることにより振れ補正範囲を拡張する動作を行う。これにより、ＨＰＦ５、５'の低域カットオフ周波数及び積分器６の時定数の値がそれぞれ元の状態に戻され、パンニング制御から抜けることになる。
【００２６】
８及び８'はＤ／Ａ変換器であり、積分器６、６'から出力された角変位データをデジタル信号からアナログ信号に変換して出力する。
【００２７】
９及び９'は駆動回路であり、Ｄ／Ａ変換器８、８'から出力されたアナログの角変位信号に基づいて、後段の画像補正手段１０、１０'を揺れを抑制するように駆動する。
【００２８】
１０及び１０'は画像補正手段であり、例えば光学的光軸を変移させて振れを相殺する光学的補正手段が用いられる。この光学的補正手段は、例えば可変頂角プリズムを用いた光学的振れ補正系を有し、駆動回路９、９'からの駆動に従って、可変頂角プリズムの頂角を変えて撮像面への入射光の光軸を変移させることにより、撮影画像に生じる揺れを光学的に補正する。
【００２９】
図２は、図１に示した画像補正手段１０、１０'の一例を説明するための図である。同図に示す例では、特に可変頂角プリズム１００を用いるとともに、その駆動系としてボイス・コイル型のアクチュエータ１１０を用い、可変頂角プリズム１００の頂角変位をエンコーダ１２０で検出する。そして、その検出結果を駆動系のアクチュエータ１１０にフィードバックすることにより可変頂角プリズム１００の駆動量を制御するようになされた閉ループを構成する制御系としたものである。
【００３０】
まず、可変頂角プリズム１００について詳しく述べる。図７に示す可変頂角プリズム１００の構成において、１０１及び１０１’は互いに対向して配置された平面ガラス、１０２は透明な高屈折率（屈折率ｎ）の弾性体又は不活性液体からなる高屈折体、１０３は高屈折体１０２を外周より樹脂フィルム等にて弾力的に封止するための封止材である。高屈折体１０２を封止した封止材１０３は、平面ガラス１０１及び１０１’に挟持されている。なお、１０４は一方の平面ガラス１０１に直角に入射し、高屈折体１０２及び他方の平面ガラス１０１’を透過した光の光路を示したものである。
【００３１】
図２（ａ）は、一対の平面ガラス１０１及び１０１’が平行に保持されている状態を示したものである。この状態の場合、光路１０４は、一方の平面ガラス１０１に直角に入射し、高屈折体１０２を通り、他方の平面ガラス１０１’より直角に射出する。
【００３２】
それに対して、図２（ｂ）は、ボイス・コイル型のアクチュエータ１１０により、他方の平面ガラス１０１’が傾けられた状態を示したものである。これは、光学的光軸を変移させた状態にあたる。この状態では、一対の平面ガラス１０１及び１０１’と高屈折体１０２とで光学的なプリズムが形成される。したがって、一方の平面ガラス１０１に直角に入射した光は、他方の平面ガラス１０１’から射出されるときに、図２（ａ）に示した平行な状態での光路１０４に対して、その光路１０４’が変化する。
【００３３】
図２（ｂ）において、可変頂角プリズム１００の他方の平面ガラス１０１’を一方の平面ガラス１０１対して角度σだけ回動させたときの入射光束１０４’の通過状態を更に説明すると、一方の平面ガラス１０１に直角に入射してきた光束１０４’は、楔形プリズムと同様の原理により、角度φ＝（ｎ−ｌ）σだけ偏向されて出射する。つまり、入射光束１０４’の光軸は、角度φ分だけ偏心（偏向）される。なお、ここでの屈折率ｎは、ガラスの屈折率に近いものとする。
【００３４】
さらに、このような可変頂角プリズム１００を用いた場合の光軸の補正について図３を用いて説明する。図３において、１０１’−Ａは他方の平面ガラス１０１’が一方の平面ガラス１０１と平行な状態（図２（ａ）の状態）、１０１’−Ｂは他方の平面ガラス１０１’が一方の平面ガラス１０１に対して傾きを生じた状態（図２（ｂ）の状態）を示している。
【００３５】
また、１５０は撮像光学系、１６１は結像した光信号を光電変換して電気信号として出力するＣＣＤ等の撮像素子、１６２は撮像素子１６１から出力された電気信号を、例えばＮＴＳＣ等のビデオ信号に変換する信号処理回路、１６３はビデオ信号を記録する記録装置である。
【００３６】
図３に示すように、他方の平面ガラス１０１’が一方の平面ガラス１０１と平行にある状態１０１’−Ａの場合、光路１０４は、撮像光学系１５０を介して撮像素子１６１の結像面上に直線的に結ばれる。
【００３７】
それに対して、他方の平面ガラス１０１’が一方の平面ガラス１０１に対して傾きを生じている状態１０１’−Ｂの場合は、一対の平面ガラス１０１及び１０１’で形成される頂角が変えられることで、光路１０４’のように光路が変化させられる。変化した光路１０４’は、撮像光学系１５０を介して、状態１０１’−Ａの場合と同じ撮像素子１６１の結像面上に結ばれる。
【００３８】
このようにして、撮像装置の振れ等により生じる被写体の移動（光路のずれ）を光学的に補正することが可能となる。
【００３９】
次に、再び図２に説明を戻して、アクチュエータ１１０について説明する。動図に示すアクチュエータ１１０の構成において、１１１はヨーク、１１２はマグネット、１１３はコイル、１１４は駆動トルクを伝達するアームであり、これらの要素によって、コイル１１３に電流を流すことで可変頂角プリズム１００の頂角を可変し得るボイス・コイル型のアクチュエータが構成されている。
【００４０】
また、可変頂角プリズム１００の傾き（頂角の変位、すなわち角変位）を検出するための角変位エンコーダ１２０の構成において、１２１は可変頂角プリズム１００の角変位検出用のスリットであり、可変頂角プリズム１００の他方の平面ガラス１０１’と共にアクチュエータ１１０のアーム１１４を通じて回動し、その位置が変位するようになっている。１２２はスリット１２１の位置を検出する発光ダイオード、１２３はＰＳＤ（Position Sensing Detector ）であり、発光ダイオード１２２と共にスリット１２１の位置を検出する。これにより、可変頂角プリズム１００の頂角の変位が検出される。
【００４１】
次に、可変頂角プリズム１００を駆動制御する制御回路の基本的な構成及び動作について、図４のブロック図を用いて説明する。同図において、１３１はアンプである。１３２はアンプ１３１の出力に基づいてアクチュエータ１１０を駆動する駆動回路である。１３３は加算器であり、揺れ補正信号（角変位信号）１３４と、角変位エンコーダ１２０から出力される角変位信号１３５とを互いに逆極性で加算し、加算結果をアンプ１３１に出力する。
【００４２】
このような構成でなる制御系は、先に説明した構成により求められた揺れ補正信号１３４と、角変位エンコーダ１２０から出力される角変位信号１３５とが等しくなるように動作する。その結果として、揺れ補正信号１３４がエンコーダ１２０の出力１３５と一致するように可変頂角プリズム１００が駆動される。これにより、制御目標位置（頂角）に可変頂角プリズム１００が制御されるものである。
【００４３】
なお、図４においては説明の便宜上図示しなかったが、上述した可変頂角プリズム１００の駆動方向と直角の方向に、同様の機能を有する駆動回路、エンコーダ及び制御回路が存在し、光軸に対して上下左右の揺れ検出信号に応じて、上下左右の補正を可能にするものである。
【００４４】
次に、図５を参照して、補正軸変換回路１１における補正軸の変換演算について説明する。同図（ａ）において、２０１及び２０２に示す軸が揺れ補正系の補正軸であり、２つの軸が直角に配されている、これは先に説明した画像補正手段１０、１０'の配置に相当し、画像補正手段１０の配置に対し画像補正手段１０'の配置が９０ｄｅｇ面して配されていることを示している。
【００４５】
２１１及び２１２に示す軸は揺れ検出系すなわち角速度センサ１００１の検出軸であり、２つの軸が直角に配されている。
【００４６】
また、各軸は、揺れ検出量及び揺れ補正量を示すものとし、揺れ検出ベクトル＝揺れ補正ベクトルの関係にて揺れ補正が成立するものとする。
【００４７】
従来、揺れ検出軸と揺れ補正軸とは略一致するよう配されており、揺れ検出軸（ｙ）２１１にて検出された角速度信号は上記の処理をなされ揺れ補正軸（Ｙ）２０１を持つ画像補正手段１０にて補正される。
【００４８】
この揺れ検出軸と揺れ補正軸が同図に示すように角度θの傾きを持って装置に固定されている場合には、揺れ検出軸より得られた信号を従来と同等な信号処理のみで揺れ補正系を駆動してしまうと、ベクトルが一致していないために補正誤差を生じてしまうことは言うまでもない。
【００４９】
この補正誤差を相殺する目的で設けられたのが補正軸変換回路１１であり、入力された角速度信号「Ｘ」及び「Ｙ」に対し、補正信号「ｘ」及び「ｙ」を下記に示すベクトル変換演算にて行う。この演算処理により、ベクトルの変換が行われ、正確な揺れ補正が可能となる。
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ ・・・（１）
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ ・・・（２）
ただし、θは揺れ検出軸と揺れ補正軸の傾き
【００５０】
次に、同図（ｂ）にて上記の演算を具体的に説明すると、同図（ｂ）は同図（ａ）の一部３０１を拡大した図であり、上記説明と同様に検出軸が補正軸に対してθｄｅｇ傾いて取り付けられているものとする。
【００５１】
ここで、上下（ピッチ）方向の揺れＹ１が加わった状態を仮定すると、θｄｅｇ傾けられて取り付けられたジャイロセンサ１００１のピッチ方向の揺れ検出ベクトル（Ｐｙ１）は、
Ｐｙ１＝Ｙ１ｃｏｓθ
で表される。
【００５２】
同様に、ジャイロセンサ１００１の横（ヨー）方向の揺れ検出ベクトル（Ｙｙ１）は、
Ｙｙ１＝Ｙ１ｓｉｎθ
で表される。
【００５３】
検出されたこれらの揺れ量より揺れ補正量を求めるには、ピッチ方向の揺れ検出ベクトルにおけるＹ軸成分と、ヨー方向の揺れ検出ベクトルにおけるＹ軸成分との和を求めれば良い。
【００５４】
すなわち、ピッチ方向の揺れ検出ベクトルにおけるＹ軸成分Ｐｈ１は、
Ｐｈ１＝Ｐｙ１×ｃｏｓθ＝Ｙ１ｃｏｓ2θ
で表される。
【００５５】
また、ヨー方向の揺れ検出ベクトルにおけるＹ軸成分Ｙｈ１は、
Ｙｈ１＝Ｙｙ１×ｓｉｎθ＝Ｙ１ｓｉｎ2θ
で表される。
【００５６】
揺れ補正ベクトルは上記の和となることから、
【００５７】
上記式より、下記式が成り立つ。
同様にヨー方向の補正軸についても次式が求められる。
Ｘｈ１＝Ｘ１ｃｏｓθ−Ｘ１ｓｉｎθ
【００５９】
したがって、上記式（１）、（２）の演算を補正軸変換回路１１にて行うことにより、ジャイロセンサ１００１の揺れ検出軸と、画像補正手段１０揺れ補正軸のずれより生じる誤差を補正することが可能である。
【００６０】
なお、上記揺れ検出軸と揺れ補正軸のずれ角θの値は、機械的な角度を測定することにより得ることが可能であるが、その他にθの値の算出方法として、一方の補正軸に角速度αを加えた時に他方のジャイロセンサより検出される出力をβとすれば、
β＝αｓｉｎθ'
θ'：揺れ検出手段と揺れ補正手段のずれ角
という関係式より求めることも可能である。
【００６１】
さらに、ずれ角θの値は、補正軸変換回路１１内の記憶手段に記憶させておけばよい。
【００６２】
また、本実施の形態の説明における画像補正手段は、光学的な補正手段を用いて説明しているが、撮像素子の読み出しタイミングを変更することで撮像画の揺れ補正を行ういわゆる電子防振を用いた構成でも良い。
【００６３】
（第２の実施の形態）
図６に、第２の実施の形態の撮像装置の構成を示す。同図に示すように、補正軸変換回路１１を積分器６、６'の後段に配置している。補正軸変換回路１１の配置を積分器６、６'の後段とすることで、第１の実施の形態における配置と較べて、補正軸変換回路１１に要求される信号のダイナミックレンジが狭くて良いため、補正軸変換回路１１の扱うデータ長を短くすることが可能となる。これはパン・チルト判定回路７、７'の作用によるもので、先の説明で述べたようにパンニング制御に基づいてＨＰＦ５、５'の特性が変えられ、積分器６、６'に蓄積される値に制限が加えられるからである。したがって、図６に示す構成とすることにより補正軸変換回路１１の扱うデータ長を短くすることができ、しいては演算処理速度を向上させることが可能である。
【００６４】
（第３の実施の形態）
第３の実施の形態として、図７を参酌して、補正軸変換回路１１の演算を簡略した例を説明する。同図は補正軸変換回路１１の内部ブロック図を示したもので、３１１及び３１２は揺れ信号入力であり、所定倍された角速度信号が入力される。
【００６５】
３１３及び３１４は揺れ信号補正出力であり、第１の実施の形態で説明した軸補正後の出力を得る。
【００６６】
３０１はメモリ等の記憶手段である。３０２はルックアップ・テーブル（以下、ＬＵＴと示す）である。３０１は記憶手段であり、ルックアップ・テーブル内にあらかじめ納められているデータ配列の所定の番地を指し示すアドレス・データを記憶している。ＬＵＴ３０２は記憶手段３０１に記憶されているアドレス値に対応した番地のデータを出力する。なお、本実施の形態の場合、２列のデータ配列を備えており、その出力もデータ３０３及びデータ３０４の２つを同時に出力する。
【００６７】
さらには、上記データ配列はｓｉｎθ及びｃｏｓθの同じθを取ったときの値を対の列データとして納めている。例としては、下記の表に示すように各角度毎に異なったアドレスが割り振られており、それぞれデータ列１の正弦演算結果と、データ列２の余弦演算結果の値を持っている。
【００６８】
【表１】
図７に説明を戻して、３０３及び３０４は上記選択された余弦演算結果及び正弦演算結果の値を出力する。３２１〜３２４は乗算器、３２５は加算機、３２６は減算器であり、これらの構成より上記第１の実施の形態に示した式（１）及び式（２）の演算を実現することができる。
【００７０】
したがって、本実施の形態における構成は、ＬＵＴ３０２の参照アドレスを、メモリ３０１にあらかじめ記憶しておくことにより、ＬＵＴ３０２からは参照アドレスに対応する指定角度の正弦、余弦の値が演算することなく出力されるので、処理速度の向上に寄与する。
【００７１】
（その他の実施の形態）
上述した実施の形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置或いはシステム内のコンピュータに対し、上記実施の形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ或いはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【００７２】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード自体は本発明を構成する。そのプログラムコードの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネット等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００７３】
さらに、上記プログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７４】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施の形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して上述の実施の形態の機能が実現される場合にもかかるプログラムコードは本発明の実施の形態に含まれることはいうまでもない。
【００７５】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施の形態の機能が実現される場合にも本発明に含まれることはいうまでもない。
【００７６】
なお、上記実施の形態において示した各部の形状及び構造は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００７７】
以下、本発明の実施態様の例を列挙する。
（実施態様１）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段と、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する補正軸変換手段とを備えたことを特徴とする撮像装置。
【００７８】
（実施態様２）上記補正軸変換手段は、上記変換の際に用いる値をテーブルを参照して取得する構成にしたことを特徴とする実施態様１に記載の撮像装置。
【００７９】
（実施態様３）上記補正軸変換手段は、上記２つの角速度信号又は上記２つの角速度信号をＸ、Ｙとし、上記角速度検出手段の検出軸と上記補正手段の補正軸の傾きをθとして、変換後の信号ｘ、ｙを、下式
ｘ＝Ｘｃｏｓθ＋Ｙｓｉｎθ
ｙ＝Ｙｃｏｓθ−Ｘｓｉｎθ
により変換することを特徴とする実施態様１に記載の撮像装置。
【００８０】
（実施態様４）上記補正手段は光学的補正手段であることを特徴とする実施態様１〜３のいずれか１項に記載の撮像装置。
【００８１】
（実施態様５）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段とを備えた撮像装置の揺れ補正方法であって、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する手順を有することを特徴とする揺れ補正方法。
【００８２】
（実施態様６）直交する２つの検出軸の角速度を検出する角速度検出手段と、上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段とを備えた撮像装置を制御するためのプログラムであって、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する処理を実行させることを特徴とするプログラム。
【００８３】
（実施態様７）実施態様６に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【００８４】
【発明の効果】
以上述べたように本発明によれば、直交する２つの検出軸の角速度を検出する角速度検出手段を用いる場合に、角速度検出手段の取り付け平面上において揺れ補正系との傾きが生じても、その補正を行うことができるので、取り付けの制約が軽減される。
【図面の簡単な説明】
【図１】第１の実施の形態の撮像装置の構成を示す図である。
【図２】画像補正手段の一例を説明するための図である。
【図３】可変頂角プリズムを用いた場合の光軸の補正について説明するための図である。
【図４】可変頂角プリズムを駆動制御する制御回路の基本的な構成を示す図である。
【図５】補正軸の変換演算について説明するための図である。
【図６】第２の実施の形態の撮像装置の構成を示す図である。
【図７】補正軸変換回路の一構成例を示す図である。
【図８】角速度検出センサの配置について説明するための図である。
【符号の説明】
１、１' 角速度センサ
２、２' ＤＣカットフィルタ
３、３' 増幅器（アンプ）
４、４' Ａ／Ｄ変換器
５、５' ハイパスフィルタ
６、６' 積分器
７、７' パン・チルト判定回路
８、８' Ｄ／Ａ変換器
９、９' 駆動回路
１０、１０' 画像補正手段
１１ 補正軸変換回路
Claims (1)
- 直交する２つの検出軸の角速度を検出する角速度検出手段と、
上記角速度検出手段により検出される角速度信号に基づく揺れ補正信号に応じて駆動する補正手段と、
上記角速度検出手段により得られる２つの角速度信号、又は、上記角速度検出手段により得られる２つの角速度信号に基づく２つの揺れ補正信号を、上記補正手段の補正軸に対応する値に変換する補正軸変換手段とを備えたことを特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361836A JP4307056B2 (ja) | 2002-12-13 | 2002-12-13 | 撮像装置、揺れ補正方法、及びプログラム |
| US10/733,425 US7460154B2 (en) | 2002-12-13 | 2003-12-10 | Vibration compensation apparatus using a coordinate conversion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002361836A JP4307056B2 (ja) | 2002-12-13 | 2002-12-13 | 撮像装置、揺れ補正方法、及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004194157A true JP2004194157A (ja) | 2004-07-08 |
| JP2004194157A5 JP2004194157A5 (ja) | 2006-02-02 |
| JP4307056B2 JP4307056B2 (ja) | 2009-08-05 |
Family
ID=32652588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002361836A Expired - Fee Related JP4307056B2 (ja) | 2002-12-13 | 2002-12-13 | 撮像装置、揺れ補正方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7460154B2 (ja) |
| JP (1) | JP4307056B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319528A (ja) * | 2005-05-11 | 2006-11-24 | Konica Minolta Photo Imaging Inc | 振れ補正機構付き撮像装置 |
| JP2010191316A (ja) * | 2009-02-20 | 2010-09-02 | Fujifilm Corp | 振れ検出センサ及び像振れ補正装置 |
| JP2011023987A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 撮像装置及び揺れ補正方法 |
| JP2012168420A (ja) * | 2011-02-16 | 2012-09-06 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014128017A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| JP2016099856A (ja) * | 2014-11-25 | 2016-05-30 | 株式会社Ｊｖｃケンウッド | ジンバル装置及びジンバル装置の制御方法 |
| KR20190001545A (ko) | 2017-06-27 | 2019-01-04 | 로무 가부시키가이샤 | 촬상 장치 및 그 캘리브레이션 방법 |
| US20200355910A1 (en) * | 2019-05-12 | 2020-11-12 | Optotune Consumer Ag | Tunable prism |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4410051B2 (ja) * | 2004-07-22 | 2010-02-03 | 本田技研工業株式会社 | 角速度計測装置および脚式移動ロボット |
| JP5242151B2 (ja) * | 2007-12-21 | 2013-07-24 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 振動補正制御回路及びそれを備えた撮像装置 |
| JP5237622B2 (ja) * | 2007-12-21 | 2013-07-17 | セミコンダクター・コンポーネンツ・インダストリーズ・リミテッド・ライアビリティ・カンパニー | 振動補正制御回路及びそれを備えた撮像装置 |
| JP2009156945A (ja) * | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 撮像装置の防振制御回路 |
| JP2009156946A (ja) * | 2007-12-25 | 2009-07-16 | Sanyo Electric Co Ltd | 撮像装置の防振制御回路 |
| DE102012000861A1 (de) | 2012-01-13 | 2013-07-18 | Carl Zeiss Sports Optics Gmbh | Wahrscheinlichkeitsbasierte Bestimmung eines Ansteuerungsmodus für eine Bildstabilisierungseinrichtung |
| DE102012200521A1 (de) | 2012-01-13 | 2013-07-18 | Carl Zeiss Meditec Ag | Optisches System zur Abbildung eines Objekts |
| DE102012200514A1 (de) * | 2012-01-13 | 2013-07-18 | Carl Zeiss Sports Optics Gmbh | Optisches System zur Abbildung eines Objekts sowie Verfahren für das optische System |
| DE102013200316A1 (de) | 2013-01-11 | 2014-07-17 | Carl Zeiss Sports Optics Gmbh | Optisches System zur Abbildung eines Objekts |
| DE102013200311B9 (de) | 2013-01-11 | 2022-05-19 | Carl Zeiss Ag | Optisches System zur Abbildung eines Objekts sowie Verfahren zum Betrieb des optischen Systems |
| DE102013200312A1 (de) | 2013-01-11 | 2014-07-17 | Carl Zeiss Sports Optics Gmbh | Optisches System zur Abbildung eines Objekts sowie Verfahren zum Betrieb des optischen Systems |
| DE102013200315B4 (de) | 2013-01-11 | 2022-04-28 | Carl Zeiss Ag | Optisches System zur Abbildung eines Objekts sowie Verfahren zum Betrieb des optischen Systems |
| US9595083B1 (en) | 2013-04-16 | 2017-03-14 | Lockheed Martin Corporation | Method and apparatus for image producing with predictions of future positions |
| CN112728339A (zh) * | 2017-04-21 | 2021-04-30 | 深圳市大疆灵眸科技有限公司 | 一种云台的控制方法以及云台 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5585875A (en) * | 1992-12-22 | 1996-12-17 | Nikon Corporation | Camera having anti-vibration function |
| JPH0795464A (ja) * | 1993-09-22 | 1995-04-07 | Canon Inc | 防振装置付カメラ |
| JPH07123317A (ja) * | 1993-10-21 | 1995-05-12 | Canon Inc | 防振機能付き撮影装置 |
| DE69423430T2 (de) * | 1993-12-02 | 2000-09-07 | Canon Kk | Vorrichtung zur Bildzitterkorrektur |
| JP3551465B2 (ja) | 1994-03-18 | 2004-08-04 | 株式会社ニコン | 調整装置、振れ補正カメラ、及び調整方法 |
| US5634145A (en) * | 1994-03-18 | 1997-05-27 | Nikon Corporation | Apparatus for inspecting blur correction camera, blur correction camera, and method of inspecting blur correction camera |
| US6343188B1 (en) * | 1995-03-02 | 2002-01-29 | Canon Kabushiki Kaisha | Vibration correction apparatus and optical device |
| US5664243A (en) * | 1995-06-08 | 1997-09-02 | Minolta Co., Ltd. | Camera |
| JP3745067B2 (ja) * | 1996-02-20 | 2006-02-15 | キヤノン株式会社 | 撮像装置及びその制御方法 |
-
2002
- 2002-12-13 JP JP2002361836A patent/JP4307056B2/ja not_active Expired - Fee Related
-
2003
- 2003-12-10 US US10/733,425 patent/US7460154B2/en active Active
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319528A (ja) * | 2005-05-11 | 2006-11-24 | Konica Minolta Photo Imaging Inc | 振れ補正機構付き撮像装置 |
| JP4639942B2 (ja) * | 2005-05-11 | 2011-02-23 | コニカミノルタオプト株式会社 | 振れ補正機構付き撮像装置 |
| JP2010191316A (ja) * | 2009-02-20 | 2010-09-02 | Fujifilm Corp | 振れ検出センサ及び像振れ補正装置 |
| JP2011023987A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 撮像装置及び揺れ補正方法 |
| JP2012168420A (ja) * | 2011-02-16 | 2012-09-06 | Canon Inc | 撮像装置およびその制御方法 |
| JP2014128017A (ja) * | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
| JP2016099856A (ja) * | 2014-11-25 | 2016-05-30 | 株式会社Ｊｖｃケンウッド | ジンバル装置及びジンバル装置の制御方法 |
| KR20190001545A (ko) | 2017-06-27 | 2019-01-04 | 로무 가부시키가이샤 | 촬상 장치 및 그 캘리브레이션 방법 |
| US10567628B2 (en) | 2017-06-27 | 2020-02-18 | Rohm Co., Ltd. | Imaging device and calibration method thereof |
| US20200355910A1 (en) * | 2019-05-12 | 2020-11-12 | Optotune Consumer Ag | Tunable prism |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040125213A1 (en) | 2004-07-01 |
| US7460154B2 (en) | 2008-12-02 |
| JP4307056B2 (ja) | 2009-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4307056B2 (ja) | 撮像装置、揺れ補正方法、及びプログラム | |
| JP6362556B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| JP6214316B2 (ja) | 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体 | |
| CN107257429A (zh) | 图像抖动校正设备及控制方法、光学设备和摄像设备 | |
| JP2006166202A (ja) | 光学装置及びデジタルカメラ | |
| JP2005003719A (ja) | 撮影装置 | |
| JP6500238B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
| JP2011023987A (ja) | 撮像装置及び揺れ補正方法 | |
| JP2018106038A (ja) | カメラの像ぶれを補正するように構成されたアクチュエータの駆動量を較正するための方法 | |
| KR20100134515A (ko) | 진동 보정 제어 회로 및 그것을 탑재하는 촬상 장치 | |
| JPH05199449A (ja) | 防振カメラ | |
| JPH10254007A (ja) | ぶれ防止装置およびこのぶれ防止装置を備えた撮像装置 | |
| JP4536855B2 (ja) | 防振装置、撮像装置、および、防振装置の制御方法 | |
| JP3402770B2 (ja) | 像安定化装置及び撮影装置 | |
| JP2006126712A (ja) | 手振れ補正システムおよび撮影装置 | |
| JP2006292845A (ja) | 撮像装置 | |
| JP2002207232A (ja) | 撮像装置の像ぶれ補正方法および装置 | |
| WO2012160613A1 (ja) | 振れ補正装置及び振れ補正方法 | |
| JP3135379B2 (ja) | 像ブレ補正装置 | |
| JPH0951469A (ja) | 撮像装置及び画像揺れの補正方法 | |
| JP2012163852A (ja) | ブレ補正装置及び光学機器 | |
| JP2000069353A (ja) | 手ぶれ検出装置および手ぶれ補正装置 | |
| JP2013182196A (ja) | ブレ補正装置及び光学機器 | |
| JP2000081646A (ja) | 手振れ補正機能付きカメラ | |
| JP2016080892A (ja) | 像ぶれ補正装置、焦点調節装置、制御ユニットおよび光学機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051208 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080528 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080801 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090421 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4307056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |