JP2006196965A - 光学機器 - Google Patents

光学機器 Download PDF

Info

Publication number
JP2006196965A
JP2006196965A JP2005003693A JP2005003693A JP2006196965A JP 2006196965 A JP2006196965 A JP 2006196965A JP 2005003693 A JP2005003693 A JP 2005003693A JP 2005003693 A JP2005003693 A JP 2005003693A JP 2006196965 A JP2006196965 A JP 2006196965A
Authority
JP
Japan
Prior art keywords
motion vector
zoom
image
optical apparatus
speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005003693A
Other languages
English (en)
Other versions
JP4636887B2 (ja
Inventor
Daisuke Ishikawa
大介 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005003693A priority Critical patent/JP4636887B2/ja
Priority to US11/322,621 priority patent/US8125542B2/en
Publication of JP2006196965A publication Critical patent/JP2006196965A/ja
Application granted granted Critical
Publication of JP4636887B2 publication Critical patent/JP4636887B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 ズーム中に検出された動きベクトルから、該ズームによる動きベクトル成分を除去した動きベクトル成分(例えば、光学機器の振れによる動きベクトル)を正確に求める。
【解決手段】 光学機器は、ズームが可能な撮像系1,2を介して得られた画像から第1の動きベクトル201を検出する検出手段7と、該ズームにより画像に生じる第2の動きベクトル202を記憶した記憶手段12と、第1の動きベクトルと第2の動きベクトルとの差分である第3の動きベクトル203を算出する算出手段8とを有する。
【選択図】 図1

Description

本発明は、ビデオカメラ等の光学機器において動きベクトルを用いて処理を行う処理装置に関するものである。
撮影された動画像のフレーム又はフィールド間の動きベクトルを検出し、撮影時に生じる手振れ等による像振れを補正したり、被写体が動体であるか否かを判別したり、画像圧縮に利用したりする技術が従来提案されている。
そのうち像振れ補正は、該動きベクトルの検出結果に基づいて、撮像素子からの画像のうち出力する画像領域をシフトさせたり、光学系の一部を光軸直交方向等に駆動したりして行う。
但し、光学ズームによって画角が変化したり電子ズームによって画像が拡大又は縮小したりする際には、その画角や画像の変化に伴う動きベクトルが発生するため、このズームによる動きベクトルが機器の振れによる動きベクトルとして誤検出されるおそれがある。
このため、特許文献1には、ズーム状態に応じて動きベクトルの検出エリアの位置や大きさを変更するとともに、該検出エリア中の複数の代表点に関して動きベクトルを検出し、これらの動きベクトルが所定の条件を満たす場合に、ズームによる動きベクトルではなく機器の振れによる動きベクトルであると推定して像振れ補正を行う技術が提案されている。これにより、ズーム機能を有する光学機器でも、動きベクトルを利用した像振れ補正を行うことができる。
特開平7−203280(段落0019〜0027、図6〜図10等)
しかしながら、上記特許文献1にて提案された技術においても、ズーム中における機器の振れによる動きベクトルの検出および像振れ補正を行うことはできない。すなわち、ズーム中に機器の振れが生じた場合、ズームによる動きベクトルと機器の振れによる動きベクトルとが加算された状態で検出されてしまうので、該検出された動きベクトルから機器の振れによる動きベクトルのみを抽出することはできない。
また、最近ではズーム動作が高速化する傾向にあるが、ズームによる動きベクトルがその検出エリアを越えるような大きさになると、動きベクトルの検出自体が不可能となってしまう。
本発明は、ズーム中に検出された動きベクトルから、該ズームによる動きベクトル成分を除去した動きベクトル成分(例えば、光学機器の振れによる動きベクトル)を正確に求めることができるようにした光学機器を提供することを目的とする。
1つの側面としての本発明の光学機器は、ズームが可能な撮像系を介して得られた画像から第1の動きベクトルを検出する検出手段と、該ズームにより該画像に生じる第2の動きベクトルを記憶した記憶手段と、第1の動きベクトルと第2の動きベクトルとの差分である第3の動きベクトルを算出する算出手段とを有する。
また、他の側面としての本発明の光学機器は、ズームが可能な撮像系を介して得られた画像から第1の動きベクトルを検出する検出手段と、該ズームにより該画像に生じる第2の動きベクトルの大きさが第1の動きベクトルの検出可能範囲を超えないようにズームの速度を制御する制御手段とを有する。
本発明によれば、ズーム中に検出された第1の動きベクトルから該ズームによる第2の動きベクトルを除去した動きベクトル(第3の動きベクトル)を得ることができる。第3の動きベクトルは、例えばズーム中における機器の振れによる動きベクトルやズーム中における被写体(動体)の動きによる動きベクトルである。したがって、ズーム中の像振れ補正や動体検出等を適正に行うことができる。
また、ズームによる第2の動きベクトルの大きさがズーム中に検出される第1の動きベクトルの検出可能範囲を超えないようにズーム速度を制御することにより、ズームによって第1の動きベクトルの検出が妨げられることをなくすることができる。したがって、第1の動きベクトルに基づく各種処理(例えば、上述した第3の動きベクトルの算出処理や該第3の動きベクトルに基づく処理)を適正に行うことができる。
以下、本発明の好ましい実施例について図面を参照しながら説明する。
図1には、本発明の実施例1であるビデオカメラやデジタルスチルカメラであって動画撮影機能を有する撮影装置(光学機器)の構成を示している。
図1に示す撮影装置において、1はズームレンズなどの光学素子を含む撮影光学系、2は該撮影光学系1により形成された被写体像を光電変換するCCDセンサやCMOSセンサなどからなる撮像素子(光電変換素子)2である。
7は該撮像素子2により取得された画像から動きベクトルを検出するベクトル検出部、5は撮影光学系1内のズームレンズ(図示せず)を駆動するズーム駆動部、6はズームレンズの位置(以下、ズーム位置という)を検出するズーム位置検出器、11はズーム位置に応じたズーム速度データを予め記憶しているズーム速度データテーブル、10はズーム速度データテーブル11に記憶されたズーム速度データに基づいてズーム駆動部5を制御するコントローラとしてのズーム制御部である。
さらに、12はズームレンズの移動による画角の変化(ズーム倍率の変化)、すなわちズームにより画像に生じる第2の動きベクトルであって、該ズームレンズの移動速度(以下、ズーム速度という)に応じたベクトルの量を予め記憶しているベクトル量テーブルである。
14は該ベクトル量テーブル12の値に応じた動きベクトルの画像上での検出エリアを記憶している検出エリアテーブル、13は該検出エリアテーブル14を参照して有効な複数の動きベクトル検出エリアを選択する検出エリア選択部、8はベクトル量テーブル12から読み出したズームによる第2の動きベクトルと、検出エリアにおいて検出された第1の動きベクトルとの差分である第3の動きベクトルを求めるベクトル演算部である。
また、9はベクトル演算部8によって演算された第3の動きベクトルに基づいて、撮影装置の手振れ等による像振れを補正する振れ補正部、3は撮像素子2からの出力信号(補正前画像)と振れ補正部9で生成された補正信号とに基づいて、像振れが抑制された(振れ補正された)映像信号(出力画像)を生成する信号処理回路、12は該信号処理回路3によって生成された映像信号を、半導体メモリ、光ディスク、磁気テープ等の記録媒体に記録する映像記録部である。
ここで、ベクトル検出部7について図2を用いて説明する。撮像素子2からの出力信号(輝度信号)は、フィルタ71を通過する。該フィルタ71は、該出力信号から動きベクトルの検出に適した空間周波数成分を抽出し、高域周波数成分を除去する。フィルタ71を通過した信号は、2値化部72によって所定の閾値を基準として2値化される。2値化部72により2値化された信号(以下、2値化画像という)は、1フィールド遅延した状態でフィールドメモリ76に一時的に記憶される。
相関演算部73は、フィールドメモリ76に記憶された前フィールドの2値化画像を1画素ずつ動かして、撮像素子2からフィルタ71および2値化部72を介して得られた現フィールドの2値化画像との間で、所定範囲において画素値が一致する面積が最も大きくなるような場所を検索する。実際の検出では、このような操作を、図3に示すように1フィールドの2値化画像(動きベクトルサーチエリア)101を複数に分割して得られた検出エリア102単位で行い、動きベクトル抽出部74は、連続した2つのフィールド画像(2値化画像)間で検出エリアごとに動きベクトルを抽出(算出)する。なお、動きベクトルの検出はフレーム画像間で行ってもよい。
動きベクトルの抽出(算出)方法例としては、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。
また、動きベクトル抽出の際に、図4のように、画像中心点103から外側の検出エリアほど動きベクトル量が大きく、検出エラーになる可能性が高くなる。このため、予めズーム(画角変化)による動きベクトル量を、図13に示すように検出エリアごとに記憶しておき、検出エラーになる検出エリアを事前に避けられるように、検出エリアテーブル14のデータをもとに検出エリア選択部13で各検出エリアの有効・無効を判定してもよい。
各検出エリアで得られた動きベクトルは、動きベクトル決定部75に与えられる。動きベクトル決定部75は、1フィールド間(連続した2つのフィールド画像間)に対して1つの動きベクトルを決定し、これを該1フィールド間を代表する動きベクトルとする。この動きベクトル決定部5での操作の例としては、1フィールド間の各検出エリアの動きベクトルをヒストグラム化して、中央値を1フィールド間の代表動きベクトルとして決定する方法などがある。
このベクトル検出部7で得られた第1の動きベクトルは、フィールド間の連続した画像の動きを表すため、単位時間あたりの移動量に比例した値となる。このため、この値をフィルタリング処理(1回又は複数回の積分などの処理)することによって、その後の処理に適合するように処理された第1の動きベクトルを決定することができる。
次に、ズームレンズ位置と焦点距離との関係について説明する。図5には、撮影光学系1に含まれるズームレンズの一般的な特性を示しており、縦軸は焦点距離、横軸はズーム位置を表している。ワイド(W)側ではズーム位置に対する焦点距離の変化率が小さく、テレ(T)側では逆に焦点距離の変化率が大きくなっている。
ズームによる動きベクトル(第2の動きベクトル)は、画角変化率によって決まる。例えば、図4に示すように、ワイド側からテレ側のズームでは画像中心点103から外側に向かう動きベクトル104が発生し、該動きベクトル104の大きさは、動きベクトルサーチエリア101内での検出エリア102の位置によって異なり、中心点103から外側にいくほど大きくなる。この場合、ズーム位置変化に対する画角変化が大きいテレ端付近では、検出エリア102よりも大きな動きベクトルが発生してしまう可能性があり、動きベクトルの検出が不可能(検出エラー)となってしまう。
そこで、本実施例では、ズーム位置に関わらずズームによる画角変化率を略一定にして、ズームによる動きベクトル(第2の動きベクトル)の値が検出エリア102の大きさを越えないようにズーム速度を制御する。これにより、ズーム中の振れ補正を確実に行えるようにしている。以下、この方法について述べる。
ズーム位置と焦点距離との関係は図5のようになることは前述した通りであるが、焦点距離の変化率は画角変化率に比例していると言えるので、図5のズーム特性に対する画角変化率は、図6のようになり、ズーム位置によって画角変化率が変化する。なお、図6の縦軸は画角変化率、横軸はズーム位置を表す。このためズーム操作によって、連続するフィールド画像間の動きベクトルの値も、それに応じて変化してしまう問題が発生する。
そこで、本実施例では、ズーム位置に関わらず画角変化率を略一定にするために、ズーム位置に応じてズーム速度を制御する。ここにいう「略一定」とは、厳密にいう一定のみならず、撮影光学系1の光学特性やズーム制御上の要因による若干の変動(本実施例では、振れ補正の結果に影響を与えない程度の変動)を有する場合を含む意味である。以下、この速度制御方法について説明する。
図7の縦軸はズーム速度、横軸はズーム位置を表している。図7中の曲線22は、本実施例のズーム速度制御を行わない場合のズーム位置とズーム速度との関係を示す。本実施例では、直線24で表される[焦点距離]= a(aは任意の整数)に関して曲線22と対称な曲線25を描くようにズーム位置(焦点距離)に対するズーム速度を制御する。
これにより、図8に示すように、ズーム位置に関わらず画角変化率が一定となるようにズーム速度が制御される。すなわち、図6に示したズーム特性によるズーム位置に対する画角変化率の変化が打ち消される。なお、図8の縦軸は画角変化率を、横軸はズーム位置を表す。
つまり、焦点距離(画角)の変化率が小さいワイド(W)側では高速にズーム動作させ、焦点距離(画角)の変化率が大きいテレ(T)側では低速でズーム動作させることにより、ズーム全域において画角変化率が一定になるようにしている。これにより、ズーム中の画角変化によって生じる動きベクトルの大きさは、ズーム全域において一定値として扱うことができる。
そして、この図7において曲線25で示したズーム速度の制御データは、ズーム速度データテーブル11に予め記憶される。ズーム制御部10は、ズーム位置検出器6で検出されたズーム位置データに基づいてズーム速度テーブル11を参照し、ズーム駆動部5を制御する。これにより、ズーム全域においてズーム位置に関わらず画角変化率が略一定となるようにズーム速度が制御される。
なお、本実施例では図示しないが、ズーム全域において画角変化率が略一定になるズームレンズの最低移動速度を示すズーム速度データテーブルを予め記憶しておき、使用者が選択したズーム速度レベルに応じて該最低速度データに係数を乗じることにより、出力されるズーム速度を求めるようにしてもよい。また、ズーム速度レベルに応じたズーム速度データテーブルを予め複数記憶させておき、使用者が選択したズーム速度レベルに対応するズーム速度データテーブルを使用してズーム速度を制御するようにしてもよい。
さらに、このようにズーム全域での画角変化率が略一定であっても、ズームレンズの移動により生じる各検出エリアでの第2の動きベクトルの値は、検出エリアごとに異なるので、該一定の画角変化率に対する各検出エリアでの第2の動きベクトルの値を示すデータを、予め図13に示すようなベクトル量テーブル12を用意しておく。
なお、本実施例では図示しないが、ズーム全域において画角変化率が一定になるズームレンズの最低移動速度を示すズーム速度データテーブルに対応したベクトル量データテーブルを予め記憶しておき、使用者が選択したズーム速度レベルに応じて該ベクトル量データに係数をかけることにより、実際のズームによる動きベクトル量を求めるようにしてもよい。また、ズーム速度レベルに応じたベクトル量データテーブルを予め複数記憶させておき、使用者が選択したズーム速度レベルに対応するベクトル量データテーブルを使用するようにしてもよい。
図12に示すように、ベクトル検出部6により検出される第1の動きベクトル201は、ズームによる第2の動きベクトル202と実際の撮像装置の振れによる動きベクトル(第3の動きベクトル)203とが加算されたものである。したがって、ベクトル演算部8において、この検出された第1の動きベクトル201から、ベクトル量テーブル12から読み出したズームによる第2の動きベクトル202を差し引く(すなわち、第1および第2のベクトル201,202の差分をとる)ことで、実際の撮像装置の振れによる第3の動きベクトル203を得ることができる。
そして、振れ補正部9は、ベクトル演算部8からの出力された補正信号としての第3の動きベクトル203を示す信号に基づいて、撮像素子2からの補正前画像のうち出力する領域を示す読み出し領域を変更し、その読み出し領域データを信号処理回路3に送る。信号処理回路3は撮像素子2からの補正前画像のうち読み出し領域データに対応する出力画像を出力する。これにより、ズーム中において発生した撮影装置の振れによる像振れが適正に補正された出力画像が得られる。
該出力画像は、不図示のディスプレイに表示されたり、映像記録部4を介して記録媒体に記録されたりする。
ズームレンズを駆動して画角を変化させることができる撮影光学系と、該撮影光学系に含まれるフォーカスレンズの駆動を制御するオートフォーカス機能を有する撮影装置においては、ズームレンズを高速に駆動した場合にフォーカスレンズの制御が不能となり(高速ズームに対してオートフォーカスが追従できず)、合焦を維持できない場合も考えられる。これは、ビデオカメラにおいては、画像の高周波成分を参照し、フォーカスレンズを駆動しながら該高周波成分が最大となる合焦位置を探索していくいわゆるコントラスト検出方式(TV−AF方式)によるフォーカス制御が行われるため、高速ズーム状態に対して該フォーカス制御が間に合わない場合が生ずるためである。
このような場合、たとえ実施例1で説明したようにズームレンズの移動を制御したとしても、合焦が得られないために動きベクトルの検出が不能となり、その結果、像振れ補正も不能となる。
そこで、本発明の実施例2では、撮像装置の振れにより発生する像振れを実施例1で説明した方法で補正しつつ、フォーカス制御が不能とならないようにズーム速度を制御する場合について説明する。
図9には、本実施例における撮影装置の構成を示している。本実施例の撮影装置において、前述した実施例1の撮影装置と共通する構成要素には実施例1と同符号を付してその説明に代える。
図9において、21は信号処理回路3の出力画像(振れ補正前の画像でも振れ補正後の画像でもよい)から、撮影光学系1の焦点状態に対応する高周波成分を抽出する焦点検出部である。また、22は該焦点検出部21からの高周波成分が最大となる合焦位置を探索するように、撮影光学系1内のフォーカスレンズの駆動を制御するフォーカス制御部である。23はフォーカス制御部22からの信号に応じてフォーカスレンズを駆動するアクチュエータ等を含むフォーカス駆動部である。
本実施例においても、基本的には、図8に示すようにズーム位置に関わらず画角変化率が一定となるようにズーム速度を制御する。但し、ズーム中におけるフォーカス制御が可能なズーム速度の限界(以下、フォーカス限界ズーム速度という)は、例えば図10に示すようにズーム位置に応じて変化する。すなわち、ワイド端からミドル位置まではフォーカス限界ズーム速度27は高い速度で一定であるが、テレ端に向かってフォーカス限界ズーム速度27が急激に低下する。
ここで、動きベクトルの抽出とフォーカス制御の両方が可能となるには、この図10に示したフォーカス限界ズーム速度27と実施例1において図7中に示した画角変化率を一定とするためのズーム制御速度25よりも小さい速度でズーム制御を行うことが必要条件となる。
この条件のもとで、実際のズーム制御を考慮すると、図11に示すズーム速度データ28が導き出せる。これにより、動きベクトルの検出が可能で、かつフォーカス制御が可能なズーミングが実現できる。なお、図10と図11において、縦軸がズーム速度で、横軸がズーム位置である。
上記のような方法で求められたズーム速度をズーム速度データテーブル11に予め記憶しておき、ズーム制御部10によりズーム位置検出器6で検出されたズーム位置データに基づいてズーム速度テーブル11を参照しズーム駆動部5を制御する。
なお、本実施例では図示しないが、上記のような方法で求められたズームレンズの最低移動速度を示すズーム速度データテーブルを予め記憶しておき、使用者が選択したズーム速度レベルに応じて該最低速度データに係数をかけることにより、出力されるズーム速度を求めるようにしてもよい。また、ズーム速度レベルに応じたズーム速度データテーブルを予め複数記憶させておき、使用者が選択したズーム速度レベルに対応するズーム速度データテーブルを使用してズーム速度を制御するようにしてもよい。
本実施例では、実施例1とは異なり、ズーム全域での画角変化率が一定ではない。このため、ズームレンズの移動により生じる各検出エリアでの第2の動きベクトルの値を画角変化率(又はズーム速度)に応じて求め、該求めた第2の動きベクトルのデータを予め図13に示すようなベクトル量テーブル12として記憶させておく。
なお、本実施例では図示しないが、ズームレンズの最低移動速度を示すズーム速度データテーブルに対応したベクトル量データテーブルを予め記憶しておき、使用者が選択したズーム速度レベルに応じて該ベクトル量データに係数をかけることにより、実際のズームによる動きベクトル量を求めるようにしてもよい。また、ズーム速度レベルに応じたベクトル量データテーブルを予め複数記憶させておき、使用者が選択したズーム速度レベルに対応するベクトル量データテーブルを使用するようにしてもよい。
実施例1と同様に、図12に示すように、ベクトル検出部6により検出される第1の動きベクトル201は、ズームによる第2の動きベクトル202と実際の撮像装置の振れによる動きベクトル(第3の動きベクトル)203とが加算されたものである。したがって、ベクトル演算部8において、この検出された第1の動きベクトル201から、ベクトル量テーブル12から読み出したズームによる第2の動きベクトル202を差し引く(すなわち、第1および第2のベクトル201,202の差分をとる)ことで、実際の撮像装置の振れによる第3の動きベクトル203を得ることができる。
そして、振れ補正部9は、ベクトル演算部8からの出力された補正信号としての第3の動きベクトル203を示す信号に基づいて、撮像素子2からの補正前画像のうち出力する領域を示す読み出し領域を変更し、その読み出し領域データを信号処理回路3に送る。信号処理回路3は撮像素子2からの補正前画像のうち読み出し領域データに対応する出力画像を出力する。これにより、ズーム中において発生した撮影装置の振れによる像振れが適正に補正された出力画像が得られる。
該出力画像は、不図示のディスプレイに表示されたり、映像記録部4を介して記録媒体に記録されたりする。
以上、撮像装置のズーム中における動きベクトルの検出方法および該動きベクトルに基づく像振れ補正処理について説明したが、本発明はこれに限定されるものではなく、その内容を逸脱しない範囲で様々な変更が可能である。
例えば、上記各実施例では、いわゆる電子防振機能を有する撮影装置について説明したが、光学防振機能を有する撮影装置にも本発明は適用可能である。光学防振方式には、光路内に設けられた可変頂角プリズムの頂角を変化させて通過光束を偏向させる方法や、撮像光学系内に設けられたシフトレンズを略光軸直交方向にシフトさせて通過光束を偏向させる方式がある。そして、第1および第2のベクトルの差分をとることで、実際の撮像装置の振れによる第3の動きベクトルを求め、該第3の動きベクトルに基づいて可変頂角プリズムやシフトレンズの駆動を制御することで、ズーム中における像振れが補正される。
さらに、上記各実施例では、レンズ一体型の撮影装置について説明したが、本発明はレンズ交換型の撮影装置(カメラ本体)や交換レンズにも適用できる。この場合、図1に示した構成要素のうち、撮像素子2からの信号の処理や動きベクトル演算および振れ補正に関わるものをカメラ本体側に設け、ズーム速度制御に関するものを交換レンズ側に設けてもよいし、動きベクトル演算および振れ補正に関わるものも交換レンズ側に設け、カメラ本体側の撮像素子からの画像を交換レンズ側に取り込んで処理するようにしてもよい。
また、上記各実施例においては、撮影光学系および撮像素子により構成される撮像系において、撮影光学系のズームレンズの移動により光学的なズームが可能である場合について説明したが、本発明は、信号処理回路を含む撮像系において、該信号処理回路における撮影画像の電子的な拡大・縮小処理による電子的なズームを行う場合にも適用することができる。
上記実施例1,2では、ズーム中における動きベクトルを用いた像振れ補正処理について説明したが、本発明によるズーム中における動きベクトル検出方法を用いて、被写体が動いているか否か(動体であるか否か)を判別することもできる。実施例1,2では、撮影装置の振れによる動きベクトル(第3の動きベクトル)を抽出したが、撮影装置に振れがない場合に同じ方法で第3の動きベクトルを抽出した場合、その第3の動きベクトルは被写体が動いたことにより発生したものである。
このようにして抽出した第3の動きベクトルを用いれば、被写体が動体であることを判別でき、動体に追従するような処理、例えばオートフォーカス制御を実現することができる。
上記実施例1,2では、ズーム中における動きベクトルを用いた像振れ補正処理について説明したが、本発明によるズーム中における動きベクトル検出方法を用いて、画像圧縮(MPEG)処理することもできる。検出した動きベクトルを用いて、その前後のフレームのエンコード結果の画像を部分的に移動する。この結果と元画像の差分をまず取り出し、取り出した差分情報はDCT圧縮される(離散コサイン変換)。DCT圧縮した結果に対し、量子化と呼ばれる処理を行うことで、高周波成分(画像上の細かい部分)を減らし、細かな部分は情報量も多いため、高周波成分を減らすことで情報量を大幅に減らすことができる。
本発明の実施例1である撮影装置の構成を示すシステムブロック図。 実施例1の撮影装置に設けられたベクトル検出部の構成を示すブロック図。 動きベクトルの検出エリアを示す概念図。 ズームによって発生する検出エリアごとの動きベクトルの例を示す概念図。 ズーム位置と焦点距離との関係を示すグラフ図。 ズーム位置と画角変化率との関係を示すグラフ図。 実施例1において、ズーム位置にかかわらず画角変化率が一定となるズーム速度データの例を示すデータデーブル図。 図7に示すがズーム速度データを用いてズーム制御した場合の画角変化率を示すグラフ図。 本発明の実施例2である撮影装置の構成を示すシステムブロック図。 本発明の実施例2において、フォーカス制御が可能な範囲でのズーム位置とズーム速度との関係を示すグラフ図。 実施例2において、フォーカス制御と動きベクトル検出とが可能なズーム速度データの例を示すデータテーブル図。 実施例1,2において、検出された第1の動きベクトルとズームによる第2の動きベクトルと撮影装置の振れによる第3の動きベクトルとの関係を示す概念図。 実施例1,2におけるベクトル量テーブルの例を示す概念図。
符号の説明
1 撮影光学系
2 撮像素子
3 信号処理回路
4 映像記録部
5 ズーム駆動部
6 ズーム位置検出器
7 ベクトル検出部
8 ベクトル演算部
9 振れ補正部
10 ズーム制御部
11 ズーム速度データテーブル
12 ベクトル量テーブル
13 検出エリア選択部
14 検出エリアテーブル
201 第1の動きベクトル
202 第2の動きベクトル
203 第3の動きベクトル

Claims (9)

  1. ズームが可能な撮像系を介して得られた画像から第1の動きベクトルを検出する検出手段と、
    前記ズームにより前記画像に生じる第2の動きベクトルを記憶した記憶手段と、
    前記第1の動きベクトルと前記第2の動きベクトルとの差分である第3の動きベクトルを算出する算出手段とを有することを特徴とする光学機器。
  2. ズーム動作によるズーム倍率の変化率が略一定であり、
    前記記憶手段は、該変化率に対応した前記第2の動きベクトルを記憶していることを特徴とする請求項1に記載の光学機器。
  3. ズーム動作によるズーム倍率の変化率が変化し、
    前記記憶手段は、該変化率に対応した前記第2の動きベクトルを記憶していることを特徴とする請求項1に記載の光学機器。
  4. 前記第2の動きベクトルの大きさが前記第1の動きベクトルの検出可能範囲を超えないように前記ズームの速度を制御する制御手段をさらに有することを特徴とする請求項1から3のいずれか1つに記載の光学機器。
  5. 前記撮像系のフォーカス制御が可能であり、
    前記制御手段は、前記ズーム中における前記フォーカス制御が実行可能な範囲で前記ズームの速度を制御することを特徴とする請求項4に記載の光学機器。
  6. 前記第3の動きベクトルに基づいて、前記ズーム中における該光学機器の振れによる画像の振れを抑制するための処理を行う処理手段をさらに有することを特徴とする請求項1から5のいずれか1つに記載の光学機器。
  7. 前記第3の動きベクトルに基づいて、前記ズーム中における被写体の動きを求めるための処理を行う処理手段をさらに有することを特徴とする請求項1から5のいずれか1つに又は2に記載の光学機器。
  8. 前記第3の動きベクトルを用いて、前記ズーム中における画像圧縮処理を行う処理手段を有することを特徴とする請求項1から5のいずれか1つに記載の光学機器。
  9. ズームが可能な撮像系を介して得られた画像から第1の動きベクトルを検出する検出手段と、
    前記ズームにより前記画像に生じる第2の動きベクトルの大きさが前記第1の動きベクトルの検出可能範囲を超えないように前記ズームを制御する制御手段とを有することを特徴とする光学機器。
JP2005003693A 2005-01-11 2005-01-11 光学機器 Expired - Fee Related JP4636887B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005003693A JP4636887B2 (ja) 2005-01-11 2005-01-11 光学機器
US11/322,621 US8125542B2 (en) 2005-01-11 2005-12-30 Imaging device using a first motion vector in an image that is obtained via an imaging system that can perform zooming and a second motion vector caused by performing zooming of the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005003693A JP4636887B2 (ja) 2005-01-11 2005-01-11 光学機器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010130191A Division JP2010231231A (ja) 2010-06-07 2010-06-07 光学機器

Publications (2)

Publication Number Publication Date
JP2006196965A true JP2006196965A (ja) 2006-07-27
JP4636887B2 JP4636887B2 (ja) 2011-02-23

Family

ID=36652839

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005003693A Expired - Fee Related JP4636887B2 (ja) 2005-01-11 2005-01-11 光学機器

Country Status (2)

Country Link
US (1) US8125542B2 (ja)
JP (1) JP4636887B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200737A (ja) * 2015-04-10 2016-12-01 キヤノン株式会社 レンズ装置及びそれを有する撮影システム
JP2017022574A (ja) * 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム
JP2019191515A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 撮像システム、レンズ装置、撮像装置、及びその制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101392732B1 (ko) * 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
JP5020805B2 (ja) * 2007-12-28 2012-09-05 キヤノン株式会社 撮像装置及びその制御方法
JP5423305B2 (ja) * 2008-10-16 2014-02-19 株式会社ニコン 画像評価装置及びカメラ
JP5521518B2 (ja) * 2009-12-01 2014-06-18 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP5948856B2 (ja) * 2011-12-21 2016-07-06 ソニー株式会社 撮像装置とオートフォーカス方法並びにプログラム
EP3165955B1 (en) 2014-07-02 2021-01-13 Sony Corporation Zoom control device, zoom control method, and program
EP3214833B1 (en) 2016-03-01 2018-02-28 Axis AB A method and device for controlling a camera capable of pan and tilt control
WO2018100885A1 (ja) * 2016-12-01 2018-06-07 ソニー株式会社 医療用観察装置、及び制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750773A (ja) * 1993-03-08 1995-02-21 Sony Electron Inc ビデオ圧縮処理用装置及び方法
JPH0795590A (ja) * 1993-09-17 1995-04-07 Sony Corp 映像信号処理装置、映像信号処理方法及び撮像装置
JPH11177876A (ja) * 1997-12-12 1999-07-02 Canon Inc 振れ補正装置、撮像装置、カメラユニットおよびレンズユニット
JP2004117489A (ja) * 2002-09-24 2004-04-15 Fuji Photo Optical Co Ltd レンズシステム
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600504B2 (ja) * 1991-01-25 1997-04-16 日本ビクター株式会社 動きベクトル検出回路
JPH05130484A (ja) * 1991-11-05 1993-05-25 Sanyo Electric Co Ltd 手ブレ補正機能付きビデオカメラの画角補正回路
US5835641A (en) * 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
US5712474A (en) * 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
JPH07203280A (ja) 1993-12-28 1995-08-04 Canon Inc 像ぶれ検出のための制御装置
US6577343B2 (en) * 1996-12-03 2003-06-10 Canon Kabushiki Kaisha Image pickup apparatus with lens control apparatus and focusing lens control
US6389168B2 (en) * 1998-10-13 2002-05-14 Hewlett Packard Co Object-based parsing and indexing of compressed video streams
JP4348821B2 (ja) * 2000-03-27 2009-10-21 ソニー株式会社 編集装置、編集方法
JP2002314868A (ja) * 2001-04-13 2002-10-25 Olympus Optical Co Ltd 撮像装置
US8073054B2 (en) * 2002-01-17 2011-12-06 Trident Microsystems (Far East) Ltd. Unit for and method of estimating a current motion vector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750773A (ja) * 1993-03-08 1995-02-21 Sony Electron Inc ビデオ圧縮処理用装置及び方法
JPH0795590A (ja) * 1993-09-17 1995-04-07 Sony Corp 映像信号処理装置、映像信号処理方法及び撮像装置
JPH11177876A (ja) * 1997-12-12 1999-07-02 Canon Inc 振れ補正装置、撮像装置、カメラユニットおよびレンズユニット
JP2004117489A (ja) * 2002-09-24 2004-04-15 Fuji Photo Optical Co Ltd レンズシステム
WO2004062270A1 (ja) * 2002-12-26 2004-07-22 Mitsubishi Denki Kabushiki Kaisha 画像処理装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016200737A (ja) * 2015-04-10 2016-12-01 キヤノン株式会社 レンズ装置及びそれを有する撮影システム
US10382697B2 (en) 2015-04-10 2019-08-13 Canon Kabushiki Kaisha Lens apparatus and image pickup system having the same
JP2017022574A (ja) * 2015-07-10 2017-01-26 株式会社東芝 補正情報出力装置、画像処理装置、補正情報出力方法、撮像制御システム及び移動体制御システム
JP2019191515A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 撮像システム、レンズ装置、撮像装置、及びその制御方法
JP7071204B2 (ja) 2018-04-27 2022-05-18 キヤノン株式会社 撮像システム、レンズ装置、撮像装置、及びその制御方法

Also Published As

Publication number Publication date
JP4636887B2 (ja) 2011-02-23
US20060152604A1 (en) 2006-07-13
US8125542B2 (en) 2012-02-28

Similar Documents

Publication Publication Date Title
JP4636887B2 (ja) 光学機器
US8319842B2 (en) Image capturing apparatus to prevent image blurring and control method therefor
JP4956401B2 (ja) 撮像装置及びその制御方法及びプログラム
EP2211306B1 (en) Imaging apparatus, subject tracking method and storage medium
KR101426095B1 (ko) 화상 처리 장치, 촬상 장치 및 화상 처리 방법
US7860387B2 (en) Imaging apparatus and control method therefor
JP2010147857A (ja) 撮像装置及び撮像方法及びプログラム及び媒体
JP2011139167A (ja) 撮像装置及び振れ補正方法
JP6674264B2 (ja) 像振れ検出装置及び方法、及び撮像装置
JP2007114466A (ja) 手ぶれ補正機能を有する撮影装置
JP2012058545A (ja) 撮像装置
JP2008160300A (ja) 画像処理装置及び撮像装置
KR20100013171A (ko) 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치
JP4125331B2 (ja) 撮像装置及びその制御方法
JP2000147371A (ja) 自動焦点検出装置
CN103458178A (zh) 成像设备,成像设备的控制方法和程序
JPH05300421A (ja) 自動焦点調節装置
JP2011135462A (ja) 撮像装置及びその制御方法
JP2006030972A (ja) 撮像装置及び撮像方法
JP4969349B2 (ja) 撮像装置及び撮像方法
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
JP2010231231A (ja) 光学機器
JP2006243609A (ja) オートフォーカス装置
JP4564884B2 (ja) レンズ装置及び撮影装置
JP5759162B2 (ja) 動きベクトル検出装置、動きベクトル検出方法及び補正装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101116

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4636887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees