JP2017161586A - 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 - Google Patents

像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2017161586A
JP2017161586A JP2016043368A JP2016043368A JP2017161586A JP 2017161586 A JP2017161586 A JP 2017161586A JP 2016043368 A JP2016043368 A JP 2016043368A JP 2016043368 A JP2016043368 A JP 2016043368A JP 2017161586 A JP2017161586 A JP 2017161586A
Authority
JP
Japan
Prior art keywords
subject
motion vector
size
detection frame
vector detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016043368A
Other languages
English (en)
Other versions
JP6700872B2 (ja
JP2017161586A5 (ja
Inventor
智成 阿部
Tomonari Abe
智成 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016043368A priority Critical patent/JP6700872B2/ja
Priority to US15/450,592 priority patent/US10142545B2/en
Publication of JP2017161586A publication Critical patent/JP2017161586A/ja
Publication of JP2017161586A5 publication Critical patent/JP2017161586A5/ja
Application granted granted Critical
Publication of JP6700872B2 publication Critical patent/JP6700872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】被写体が所定の大きさより小さい被写体である場合でも、被写体の像振れ補正に有利な像振れ補正装置を提供すること。
【解決手段】撮像手段から順次出力される複数の画像に設定される動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出手段(141)と、前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御手段(132)と、を有し、前記制御手段は、前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更することを特徴とする。
【選択図】 図1

Description

本発明は、像振れ補正装置に関し、特にユーザの流し撮り撮影の補助を行う像振れ補正装置に関する。
移動している被写体のスピード感を表現する撮影技術として流し撮りがある。流し撮りは、撮影者が被写体の動きに合わせてカメラをパンニングすることにより、移動している被写体を静止させて背景は流すことを目的とする。
ここで、流し撮り撮影においては撮影者が被写体の動きに合わせてパンニングをする必要があるが、パンニング速度が速すぎたり遅すぎたりすることで、被写体の移動速度とパンニング速度の間に差が発生してしまうと、被写体までぶれた画像になることも多い。このような問題に対し、ユーザの流し撮り撮影の補助を行う技術として、シフトレンズの移動により被写体の移動速度とパンニング速度の差を吸収する手法が提案されている。
特許文献1では、ジャイロセンサのブレ検出と画像の動きベクトルから被写体を検出し、検出された被写体を画像中央に位置させるための補正量を算出し、光軸シフトレンズの移動で補正して流し撮り撮影を行う構成が記載されている。
また、画像から動きベクトルを検出する技術として、連続して撮影された画像を比較することで動きベクトルを検出する手法が提案されている。特許文献2では、動きベクトルを検出するブロックマッチングの対象となる参照ブロックと候補ブロックをサーチエリア内で候補ブロックの位置をずらしながら画素値を比較していく手法が提案されている。
特開2006−317848号公報 特開平8−88855号公報
しかしながら、上述の特許文献に開示された従来技術では、被写体が所定の大きさより小さい被写体である場合、動きベクトル量を検出する参照ブロックが少ししか割り当たらないため、被写体に対する動きベクトルの信頼度が低くなってしまう。したがって、像振れ補正装置を用いて流し撮り撮影の補助を行う場合、被写体ブレの補正精度が低下し、被写体ブレを低減することができない場合があった。
そこで、本発明は、上記課題に鑑み、被写体が所定の大きさより小さい被写体である場合でも、被写体の像振れ補正に有利な像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体を提供することを目的とする。
本発明の一側面としての像振れ補正装置は、撮像手段から順次出力される複数の画像に設定される動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出手段と、前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御手段と、を有し、前記制御手段は、前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更することを特徴とする。
本発明によれば、被写体が所定の大きさより小さい被写体である場合でも、被写体の像振れ補正に有利な像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体を提供することができる。
本発明の実施形態に共通する撮像装置のブロック構成図である。 第1の実施形態による流し撮りアシスト処理を示すフローチャートである。 第1の実施形態による被写体動きベクトル量算出処理を示すフローチャートである。 第1の実施形態による被写体判定処理を示すフローチャートである。 第1の実施形態によるテンプレート枠変更処理を示すフローチャートである。 第2の実施形態によるテンプレート枠変更処理を示すフローチャートである。 第2の実施形態による被写体再検出処理を示すフローチャートである。 第3の実施形態による被写体動きベクトル量算出処理を示すフローチャートである。 被写体の角速度の算出方法を示す図である。 大きい被写体と小被写体とのヒストグラムの違いを示す図である。 縮小したテンプレート枠と小被写体のパンニング時の状態を示す図である。 低コントラストの被写体のヒストグラムを示す図である。 テンプレート枠のサイズを変更する方法を示す図である。 テンプレート枠の位置を変更する方法を示す図である。 テンプレート枠の配置を変更する方法を示す図である。 テンプレート枠の縮小とサーチエリアの関係を示す図である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
図1は本発明の好適な実施の形態に係る撮像装置(撮像システム)の構成図を示している。
なお、本実施例の撮像装置は、カメラ本体と、該カメラ本体に着脱可能な交換レンズ(撮影レンズユニット)と、から構成される。しかし、本発明はこれに限定されるものではなく、撮影レンズユニットとカメラ本体とが一体となったレンズ一体型の撮像装置にも適用可能である。
図1において、100は交換レンズ、120はカメラ本体である。
交換レンズ100は、撮影レンズユニット101(光学系)を有する。撮影レンズユニット101は、主撮像光学系102、焦点距離を変更可能なズームレンズ群103、撮像装置の振れによる光軸に対する像の振れを光軸と垂直方向に移動することにより光学的に補正するシフトレンズ群104を備える。ここで、以下、ズームレンズ群103およびシフトレンズ群104を、単にズームレンズおよびシフトレンズと呼ぶ。
また、交換レンズ100は、ズームレンズの位置を検出するズームエンコーダ105、シフトレンズの位置を検出する位置センサ106、撮像装置の振れを検出する角速度センサ(振れ検出手段)111などの検出系を有する。また、シフトレンズを駆動するドライバ114などの駆動系を有する。また、レンズ全体のシステムを制御する制御系としてのレンズシステム制御用マイクロコンピューター(以下、レンズマイコン)113を有する。その他に、角速度センサ111の出力を増幅するアンプ112、シフトレンズの位置センサ106の出力を増幅するアンプ115、カメラ本体120とのマウント接点部116などを備える。
レンズマイコン113は、手ブレ補正制御を行う手ブレ補正制御部117と、流し撮りアシスト用の制御を行う流し撮り制御部118を備える。
なお、本実施例では、手振れ補正制御部117と流し撮り制御部118はレンズマイコン113に設けられているが、本発明はこれに限定されずカメラ本体120(カメラマイコン)に設けられていてもよい。また、本実施例では、角速度センサ111およびアンプ112は交換レンズ100に設けられているが、本発明はこれに限定されずカメラ本体120に設けられていてもよい。
レンズマイコン113はその他にもフォーカスレンズ制御、絞り制御等も行うが、図の簡略化のためここでは省略している。
また、手ブレ補正のためには、例えば横方向と縦方向といった、直交する2軸に関して検出および補正を行うが、まったく同じ構成であるため、ここでは1軸分のみ記載している。
一方、カメラ本体120は、シャッター121と、CMOSセンサ等の撮像素子(撮像手段)122と、から構成される撮像系を有する。また、シャッター動作を行わせるためのシャッター駆動用モーター134、該モーター134を駆動するドライバ133などの駆動系を有する。また、アナログ信号処理回路(AFE)123、カメラ信号処理回路124などの信号処理系を有する。また、カメラ全体のシステムを制御する制御系としてのカメラシステム制御用マイクロコンピューター(以下、カメラマイコン)132を有する。また、電源スイッチ、レリーズスイッチ、流し撮りアシストモードにするかどうかの切り替えスイッチ等で構成されるカメラ操作スイッチ131(操作系)を有する。その他に、撮像素子122やアナログ信号処理回路123の動作タイミングを設定するタイミングジェネレータ125、一次記憶装置135を備える。一次記憶装置135は、例えばRAMのような揮発性装置であり、一時的なデータを記憶し、カメラマイコン132の作業用に使われる。
また、撮影した映像を記録するメモリカード171、カメラで撮影しようとしている画像をモニタし、また撮影した画像を表示する液晶パネル(以下、LCD)172、および交換レンズ100とのマウント接点部161を備える。レンズマイコン113とカメラマイコン132は、マウント接点部116および161を介して所定のタイミングでシリアル通信を行なう。
さらに、カメラ信号処理回路124は、動きベクトル検出部141、画像処理部142を備え、動きベクトル検出部(検出手段)141は、撮影した画像をもとにベクトル検出枠の動きベクトル量の算出を行う。具体的には、撮像素子122から順次出力される複数の画像に動きベクトル検出枠(以下、テンプレート枠ともいう)を設定し、該動きベクトル検出枠を分割した複数の領域(以下、ベクトル検出枠ともいう)から動きベクトルを検出する。
カメラマイコン(制御手段)132は、シャッターを制御するシャッター制御部151と、被写体の角速度を算出する被写体角速度算出部153と、被写体の動きベクトル量を検出する被写体動きベクトル量算出部154と、を備える。また、レンズマイコン113から出力される信号や、カメラ信号処理回路124から出力される信号や、操作スイッチ131から出力される信号などを取得する取得部(取得手段)132aを備える。なお、本実施例では、動きベクトル検出部141は、カメラマイコン132とは別部材に設けられているが、カメラマイコン132と一体的に構成するようにしてもよい。
さらに、カメラマイコン132は、取得部132a、シャッター制御部151、被写体角速度算出部153、被写体動きベクトル量算出部154などを制御するメイン制御部152を備える。
カメラマイコン132は、カメラ全体の制御を行うとともに、交換レンズ100と通信を行い像振れ補正の制御を行う。具体的に、動きベクトル検出部141により検出された動きベクトルのうち被写体および背景の動きベクトルを判定し、被写体の動きベクトルに基づいて像振れ補正制御を行う。特に、本実施例では、被写体の動きベクトルと、振れを検出する角速度センサ111からの出力と、に基づいて、被写体を追従するための像振れ補正制御を行う。
図1において、操作スイッチ131によりカメラの電源がONされると、その状態変化をカメラマイコン132が検出し、カメラマイコン132の制御によりカメラ本体120の各回路への電源供給および初期設定が行われる。また、交換レンズ100への電源供給が行われ、レンズマイコン113の制御により、交換レンズ100内の初期設定が行われる。そしてレンズマイコン113とカメラマイコン132との間で所定のタイミングで通信が開始される。この通信で、カメラからレンズへはカメラの状態、撮影設定等が、またレンズからカメラへはレンズの焦点距離情報、角速度情報等がそれぞれ必要なタイミングで送受信される。
流し撮りアシストモード設定が行われていない通常モード時、交換レンズ内では、角速度センサ111が手ブレ等によるカメラのブレを検出している。その検出結果を用いることで、手ブレ補正制御部117により、シフトレンズ104を駆動して手ブレ補正動作が行われる。
なお、本実施形態では、像振れ補正として、像振れ補正レンズ(シフトレンズ)104を光軸に垂直な面内で移動させる、いわゆる光学防振を用いている。しかし、本発明の像振れ補正は光学防振に限らず、撮像素子を光軸に垂直な面内で移動させることで振れ補正を行ってもよい。また、撮像素子が出力する各撮影フレームの切り出し位置を変更することで振れの影響を軽減させる電子防振を用いてもよい。さらに、それらの組み合わせで補正を行ってもよい。すなわち、像振れ補正を行うために駆動される光学素子は、像振れ補正レンズであってもよいし、撮像素子であってもよいし、その両方であってもよい。
まず、従来技術の問題点についてもう一度説明する。上述したように、被写体が所定の大きさより小さい被写体だと動きベクトル量を検出する参照ブロックが少ししか割り当たらないため、被写体に対する動きベクトルの信頼度が低くなってしまう。
例えば、図10のような状況を考える。図10(a)は、像面上の被写体が所定の大きさより大きい大被写体である場合を図示している。一方、図10(b)は、像面上の被写体が所定の大きさより小さい小被写体である場合を図示している。ここでは、動きベクトル量を検出する参照ブロックを「ベクトル検出枠」、ベクトル検出枠の塊を「テンプレート枠」と定義する。1003、1004は、7×5のベクトル検出枠1001を持つテンプレート枠1002を像面上の全面に配置していることを図示している。また、1005は1003、1006は1004の動きベクトル量の検出結果をヒストグラムにした例で、横軸が動きベクトル量、縦軸が同一の動きベクトル量の個数(以下、ベクトル個数)を図示している。なお、1005、1006は、図の簡略化のため、背景の動きベクトル量は省略し、被写体の動きベクトル量のみ図示している。
1005に示す通り、被写体が大きい場合は、被写体に割り当たるベクトル検出枠が多くなる。よって、被写体のベクトル個数を多く取得できるため、被写体の動きベクトル量の信頼度が高くなる。
一方、図10(b)の太線の枠で示す1007が動きベクトル量を検出したベクトル検出枠である。像面上の被写体が小さいため、被写体のベクトル個数を多く取得できない。そのため、被写体の動きベクトル量の信頼度が低くなってしまう。
そこで、ベクトル検出枠を単純に増やすことも考えられる。例えば、1004の7×5のベクトル検出枠を14×10などとし、ベクトル検出枠を増やすことで被写体のベクトル個数を多く取得する方法が考えられる。
しかしながら、ベクトル検出枠を増やすと動きベクトル量の算出処理に時間が掛かってしまう。そこで、テンプレート枠を縮小することも考えられる。しかしながら、流し撮り撮影においては撮影者が被写体の動きに合わせてパンニングをすることが考えられ、例えば、図11に示すようにテンプレート枠を縮小すると、被写体がテンプレート枠外となる可能性がある。
そこで、本発明の第1の実施形態では、被写体がテンプレート枠内となるように、テンプレート枠を変更し、被写体の動きベクトルの信頼度を高めることで、被写体ブレの補正精度を向上させるようにする。
<<流し撮りアシスト処理>>
まず、流し撮りアシストモードの撮影時におけるメイン制御部152の処理について、図2のフローチャートを用いて説明する。なお、本処理開始のタイミングに関しては、例えば、撮影者が流し撮りアシストモード設定にしてライブビューが開始され、カメラ操作スイッチ131にあるレリーズスイッチが半押しのタイミングで動作させたりすることが可能である。
S201で、メイン制御部152は、後述する被写体動きベクトル量算出部154に対し、算出開始要求を送信する。なお、被写体動きベクトル量算出部154は、算出開始要求を受信すると被写体動きベクトル量の算出を開始することとする。
S202で、メイン制御部152は、レリーズスイッチが全押しされたかどうかを検出している。S202で、全押しされたと判断した場合は、被写体動きベクトル量の取得のためS203へと進む。S202で、全押しされていないと判断した場合は、S202へと戻りレリーズスイッチが全押しされるまで繰り返し処理を行う。
S203で、メイン制御部152は、被写体動きベクトル量算出部154に対し、被写体動きベクトル量の取得要求を送信する。なお、被写体動きベクトル量算出部154は、被写体動きベクトル量の取得要求を受信するとメイン制御部152に対し、最新の被写体の動きベクトル量を動きベクトル結果として送信することとする。
S204で、メイン制御部152は、被写体動きベクトル量算出部154から受信した動きベクトル結果に対し、被写体の角速度の算出を被写体角速度算出部153に依頼する。
被写体角速度算出部153は、動きベクトル量が0になるように補正するためのシフトレンズの駆動量を算出する。
この被写体の角速度の算出方法を図9を用いて説明する。図9は被写体がt秒の間に点Aから点Bへ移動し、それに応じてセンサ上に結像した被写体像が点Cから点Dへと移動したことを示したものである。ここで、点Cと点Dとの距離をv[pixel]、焦点距離をf[mm]、センサの画素ピッチをp[μm/pixel]とした時、像面上の被写体の角速度ω[rad/sec]は以下の式で表わされる。
S205で、メイン制御部152は、シフトレンズの移動量をレンズマイコン113に送信し、シフトレンズ104の駆動を要求する。また、メイン制御部152は、ドライバ133に対し、シャッター121を開き、所定時間で閉じるように要求する。
このように、流し撮りアシストモードの撮影時において、像振れ補正装置(流し撮りアシスト装置)は、流し撮り撮影を行う際に、被写体の移動速度と撮影者のパンニング速度の差を吸収するように像振れ補正レンズ(シフトレンズ)を駆動させる。
S206で、メイン制御部152は、カメラ信号処理回路124に対し撮像素子122が露光した露光データを現像し、メモリカード171に記録するように要求し、処理を終了する。
<<被写体動きベクトル量算出処理>>
次に被写体動きベクトル量算出部154の被写体動きベクトル量算出処理について、図3のフローチャートを用いて説明する。なお、本処理開始のタイミングに関しては、前述したメイン制御部152からの算出開始要求を受信したタイミングで動作する。
S301で、被写体動きベクトル量算出部154は、後述する被写体判定処理を実行する。
S302で、被写体動きベクトル量算出部154は、被写体判定処理の結果が小さい被写体(以下、小被写体)であったか否かを判定する。具体的には、被写体判定処理の結果として取得した後述する小被写体フラグを参照する。なお、小被写体であった場合は、小被写体フラグにTRUEが設定され、小被写体でなかった場合は、小被写体フラグにFALSEが設定される。S302で、小被写体であると判定した場合は、小被写体に対し、テンプレート枠の変更をおこなうため、S303へと進む。S302で、小被写体ではないと判定した場合は、処理を終了する。
S303で、被写体動きベクトル量算出部154は、被写体の位置に応じてテンプレート枠を変更するテンプレート枠変更処理を実行する。テンプレート枠変更処理の詳しい内容については後述する。
本実施例では、S302で、被写体の大きさが所定の大きさより大きいと判定した場合(S302のNo)は処理が終了され、S303のテンプレート枠変更処理を行わないようにしている。換言すれば、S302で、被写体の大きさが所定の大きさより大きいと判定した場合、テンプレート枠を変更せず、S302で、被写体の大きさが所定の大きさより小さいと判定した場合、被写体の位置に応じてテンプレート枠を変更する。換言すれば、被写体動きベクトル量算出部154は、被写体の動きベクトルに基づいて被写体の大きさを判定し、該被写体の大きさおよび位置に応じてテンプレート枠を変更するように構成されている。
S304で、被写体動きベクトル量算出部154は、被写体検出に成功したか否かを判定する。具体的には、テンプレート枠変更処理の結果として取得した後述する被写体検出成功フラグを参照する。なお、被写体検出に成功した場合は、被写体検出成功フラグにTRUEが設定され、被写体検出に成功しなかった場合は、被写体検出成功フラグにFALSEが設定される。S304で、被写体検出に成功したと判定した場合は、処理を終了する。S304で、被写体検出に成功しなかったと判定した場合は、被写体検出に失敗したと判断し、被写体の再検索を実施するためにS301に戻る。
<<被写体判定処理>>
次に被写体動きベクトル量算出部154の小被写体であるか否かの判別する被写体判定処理について説明する。なお、本処理開始のタイミングに関しては、前述した被写体動きベクトル量算出処理から呼び出されたタイミングで動作する。
まず、小被写体であるか否かの判別方法について、図10、図12を用いて詳述する。
図10の1005、1006に示すように、被写体が大きい場合は、被写体のベクトル個数が多くなるため、被写体のベクトル個数がある閾値(以下、閾値α)以上の場合は小被写体ではないと判別できる。
一方、被写体のベクトル個数が閾値α未満の場合に小被写体であると判別すると、被写体が大きいにも関わらず、小被写体であると判別されるケースがある。
例えば、図12に示すような低コントラストの被写体の場合が考えられる。動きベクトル量を検出する処理はブロックマッチングなどを用いて行うため、低コントラストだと動きベクトル量を検出できずエラーとなり、被写体の動きベクトル量の一部が検出できないケースがある。その場合、被写体が大きいにも関わらず、図12の1201に示すように、被写体のベクトル個数が閾値αより小さい値となってしまう。そのため、被写体のベクトル個数が閾値α未満の場合に小被写体であると判別すると、被写体が大きいにも関わらず、小被写体であると判別される虞がある。
そこで、図12の1202に示すような、背景のベクトル個数を用いることとする。
被写体が大きい場合は、背景のベクトル個数が少なくなるため、背景のベクトル個数がある閾値(以下、閾値β)以上の場合は、小被写体であると判別することが可能である。図12を見て分かるように、低コントラストかつ大きい被写体の場合、背景のベクトル個数が閾値βより小さい値となる。そのため、被写体のベクトル個数のみならず、背景のベクトル個数を判定することにより、小被写体であるか否かをより正確に判別することができる。ここで、被写体と背景の動きベクトル量を判別する必要があるが、背景の動きベクトル量は撮像装置の動きベクトル量と同じになるため、背景の動きベクトル量の判別が可能である。具体的には、レンズマイコン113の角速度センサ111から撮像装置の動きベクトル量を取得し、ヒストグラムの動きベクトル量と比較することで、被写体と背景の動きベクトル量を判別することが可能である。
さらに、小被写体である場合、図10の1007に示すように被写体の動きベクトル量は固まって存在する。よって、被写体の動きベクトル量を検出したベクトル検出枠(以下、被写体ポイント)を調べ、被写体ポイントの範囲(以下、被写体範囲)がある範囲(以下、小被写体判定範囲)内であれば小被写体であると判別することとする。
具体的には、それぞれの被写体ポイントの中心位置(X,Y)の中から最小値(X,Y)と最大値(X,Y)を求め「サイズ(X,Y)=最大値(X,Y)−最小値(X,Y)」として求めたサイズ(X,Y)を被写体範囲とする。そして、被写体範囲のサイズ(X,Y)と予め規定した小被写体判定範囲のサイズ(X,Y)を比較し、小被写体判定範囲内であれば、小被写体であると判別することとする。また、被写体範囲の情報としてサイズ(X,Y)の他に、被写体範囲の中心位置(X,Y)を保持することとする。
次に、被写体判定処理について、図4のフローチャートを用いて説明する。
S401で、被写体動きベクトル量算出部154は、動きベクトル検出部141に対し、像面上の全体にテンプレート枠を配置するようにテンプレート枠の変更を要求する。
ここで、テンプレート枠は、図10と同様に7×5のベクトル検出枠を設定することにする。
S402で、被写体動きベクトル量算出部154は、動きベクトル検出部141からテンプレート枠に配置されたベクトル検出枠の動きベクトル量を取得し、ヒストグラムを作成する。ここで、ヒストグラムは、図10と同様に横軸が動きベクトル量で縦がベクトル個数となるヒストグラムを作成ことにする。また、前述した被写体と背景の動きベクトル量を判別する。
S403で、被写体動きベクトル量算出部154は、ヒストグラムから被写体のベクトル個数が閾値αより大きいか否かを判定する。S403で、閾値αに対して大きい、もしくは等しいと判定した場合は、被写体が大きいと判断し、S409へと進む。S403で、閾値αに対して小さいと判定した場合は、小被写体である可能性が高いので背景のベクトル個数を調べるため、S404へと進む。
S404で、被写体動きベクトル量算出部154は、ヒストグラムから背景のベクトル個数が閾値βより大きいか否かを判定する。S404で、閾値βに対して大きい、もしくは等しいと判定した場合は、小被写体である可能性が高いので被写体範囲の情報を生成するS405へと進む。すなわち、被写体の動きベクトルを検出した領域(ベクトル検出枠)の数が閾値α(第1の閾値)より小さく、かつ、背景の動きベクトルを検出した領域(ベクトル検出枠)の数が閾値β(第2の閾値)より大きい場合、小被写体である可能性が高いと判定する。一方、S404で、閾値βに対して小さいと判定した場合は、被写体が大きいと判断し、S408へと進む。
S405で、被写体動きベクトル量算出部154は、前述した被写体範囲の情報を生成する。ここでは、被写体ポイントを調べるのに使用する被写体の動きベクトル量は、閾値α未満の中でベクトル個数の一番多い被写体の動きベクトル量とする。
また、被写体範囲の情報は、後述するテンプレート枠変更処理でも使用するため、一次記憶装置135に被写体範囲の情報として保持することとする。
S406で、被写体動きベクトル量算出部154は、被写体範囲が小被写体判定範囲内か否かを判定する。具体的には、被写体範囲のサイズ(X,Y)と予め規定した小被写体判定範囲のサイズ(X,Y)を比較する。S406で、小被写体判定範囲内と判定した場合は、S407に進む。S406で、小被写体判定範囲内ではないと判定した場合は、S408に進む。
S407で、被写体動きベクトル量算出部154は、メイン制御部152から取得要求があった際の動きベクトル結果を一次記憶装置135に保持する。なお、後述するテンプレート枠変更処理で被写体の動きベクトルの信頼度を高めるが、現時点で確定している被写体の動きベクトル量を動きベクトル結果として保持することとする。また、保持する動きベクトル結果は、S405で被写体ポイントを調べるのに使用した被写体の動きベクトル量とする。
S410で、被写体動きベクトル量算出部154は、被写体判定処理の結果として、小被写体だと判断したため、小被写体フラグをTRUEに設定し処理を終了する。
S408、S409は、被写体が大きいと判断した場合の処理であり、S407と同様に動きベクトル結果を一次記憶装置135に保持する。
S408で、被写体動きベクトル量算出部154は、被写体が大きいが低コントラストだと判断し、閾値α未満の被写体のベクトル個数の中で一番多い被写体の動きベクトル量を動きベクトル結果として保持し、S411へと進む。
S409で、被写体動きベクトル量算出部154は、被写体が大きいと判断し、閾値α以上の被写体の動きベクトル量を動きベクトル結果として保持し、S411へと進む。
S411で、被写体動きベクトル量算出部154は、被写体判定処理の結果として、小被写体でないと判断したため、小被写体フラグをFALSEに設定し処理を終了する。
<<テンプレート枠変更処理>>
次に、被写体動きベクトル量算出部154のテンプレート枠の変更をおこなうテンプレート枠変更処理について説明する。なお、本処理開始のタイミングに関しては、前述した被写体動きベクトル量算出処理から呼び出されたタイミングで動作する。
まず、テンプレート枠のサイズを変更する方法について、図13を用いて詳述する。
図13(a)は、像面上のテンプレート枠を1002、1002’、1002’’の段階でテンプレート枠を縮小したところを図示している。図13(b)は、ヒストグラムであり、1304は1002、1305は1002’、1306は1002’’のヒストグラムを図示している。また、1306、1307は、被写体のベクトル個数の増加量を示す。
このように、テンプレート枠を縮小することで、被写体のベクトル個数を多く取得でき、被写体の動きベクトルの信頼度が高くなる。
次に、テンプレート枠の位置を変更する方法について、図14を用いて詳述する。図14においても、1002、1002’、1002’’の順で段階的に縮小したテンプレート枠を示している。また、1001、1001’、1001’’はそれぞれ、テンプレート枠1002、1002’、1002’’に対応するベクトル検出枠を示している。
前述したように流し撮り撮影においては撮影者が被写体の動きに合わせてパンニングをすることが考えられ、被写体がテンプレート枠外となる可能性がある。そこで、図14の1401、1402、1403に示すように、前述した被写体範囲の情報からの被写体範囲の中心位置(X,Y)を調べ、テンプレート枠の中心が被写体範囲の中心位置(X,Y)に来るようにテンプレート枠の位置を変更する。これにより、被写体がテンプレート枠外となることを防ぐことができる。
ここで、本実施例において、テンプレート枠の大きさを小さく変更する際は、図14に示すように、ベクトル検出枠の数(本実施例では、7×5)が変わらないように、ベクトル検出枠の大きさを小さくする。
次に、テンプレート枠変更処理について、図5のフローチャートを用いて説明する。
S501で、被写体動きベクトル量算出部154は、一次記憶装置135に保持されている被写体範囲の情報を取得する。
S502で、被写体動きベクトル量算出部154は、動きベクトル検出部141に対し、テンプレート枠を縮小するようにテンプレート枠の変更を要求する。ここでは、縮小率を1/2とするが、縮小率はこれに限られるものではなく、テンプレート枠の縮小率を1/3、1/4としても良い。また、前述した被写体範囲のサイズ(X,Y)となるような縮小率にしても良い。また、図15に示すように縮小率を変更したことにより、テンプレート枠を配置するスペースがある場合は、レンズマイコン113の角速度センサ111から撮像装置の動きベクトル量を取得し、パンニング方向に対してテンプレート枠の配置を変更しても良い。
S503で、被写体動きベクトル量算出部154は、S501で取得した被写体範囲の中心位置(X,Y)にテンプレート枠の中心位置(X,Y)を移動するように動きベクトル検出部141に要求する。すなわち、被写体動きベクトル量算出部154は、被写体の大きさが所定の大きさより小さい小被写体であると判定した場合に、テンプレート枠の大きさを小さく変更するとともに、テンプレート枠の中心位置を被写体の中心位置に近づけるように変更する。
S504で、被写体動きベクトル量算出部154は、動きベクトル検出部141からテンプレート枠に配置されたベクトル検出枠の動きベクトル量を取得し、ヒストグラムを作成する。
S505で、被写体動きベクトル量算出部154は、被写体のベクトル個数が増加したか否かを判定する。具体的に、被写体動きベクトル量算出部154は、テンプレート枠の大きさおよび中心位置を変更した後、被写体と背景の動きベクトルを判定し、被写体の動きベクトルを検出した領域(ベクトル検出枠)の数が増加したか否か判定する。S505で、増加したと判定した場合は、検出された動きベクトル結果を一次記憶装置135に保持するためS506へと進む。S505で、増加しなかったと判定した場合は、被写体の動きベクトル量を検出できなかったと判断し、S510へと進む。
S506で、被写体動きベクトル量算出部154は、S505で増加した被写体のベクトル個数に対する動きベクトル量を動きベクトル結果として保持する。
S507で、被写体動きベクトル量算出部154は、S506と同様に増加した動きベクトル量に対する被写体範囲の情報を生成し、一次記憶装置135に保持する。
S508で、被写体動きベクトル量算出部154は、ヒストグラムから被写体のベクトル個数が閾値αより大きいか否かを判定する。S508で、閾値αに対して大きい、もしくは等しいと判定した場合は、被写体検出に成功したと判断し、S509へと進む。S508で、閾値αに対して小さいと判定した場合は、テンプレート枠を縮小するために、S501へと戻る。具体的に、被写体動きベクトル量算出部154は、S501へ戻った後、S502およびS503で、テンプレート枠の大きさおよび中心位置を変更し、もう一度被写体と背景の動きベクトルを判定する。その後、S508で、被写体の動きベクトルを検出した領域(ベクトル検出枠)の数が閾値α(第1の閾値)よりも大きくなるまで、S501〜S507の処理を繰り返し行う。すなわち、被写体の動きベクトルを検出した領域(ベクトル検出枠)の数が閾値α(第1の閾値)よりも大きくなるまで、テンプレート枠の大きさを小さく変更するとともに、テンプレート枠の中心位置を被写体の中心位置に近づけるように変更する。
S509で、被写体動きベクトル量算出部154は、テンプレート枠変更の結果とし、被写体検出に成功したと判断したため、被写体検出成功フラグをTRUEに設定し処理を終了する。
S510で、被写体動きベクトル量算出部154は、テンプレート枠変更の結果とし、被写体検出に成功しなかったと判断したため、被写体検出成功フラグをFALSEに設定し処理を終了する。
このように、本発明によれば、被写体がテンプレート枠内に収まるようにテンプレート枠を変更し、被写体のベクトル個数を多く取得することで、被写体の動きベクトルの信頼度を高め、被写体ブレの補正精度を向上させることができる。
具体的に、本実施例によれば、小被写体と判断した場合に、小被写体の中心にくるようにテンプレート枠を段階的に縮小することで、被写体がテンプレート枠外になることを防止した。
これにより、被写体の動きベクトルの信頼度を高めることができ、流し撮りアシストモードの撮影時における被写体ブレの補正精度を向上させることを可能にした撮像装置を提供することができる。
しかし、本発明はこのような形態に限られるものではなく、例えば、被写体距離がある場合は、像面上の被写体の動きベクトル量が小さいため、被写体距離に応じてテンプレート枠の縮小率を変更しても良い。
また、本実施例では、小被写体と判断した場合に、被写体の大きさと位置に応じてテンプレート枠を変更する例について説明した。しかし、本発明はこれに限定されず、大被写体と判断した場合においても、被写体の大きさと位置に応じてテンプレート枠を変更するように構成することも可能である。例えば、大被写体と判断された場合に、上述したテンプレート枠の変更を行うことにより、より被写体の動きベクトルの信頼度を高めることができる。
また、本実施例では、流し撮り撮影の補助を行う場合に被写体の大きさと位置に応じてテンプレート枠を変更する例に説明したが、通常の手ブレ補正動作時においても被写体の大きさと位置に応じてテンプレート枠を変更するようにしてもよい。
第2の実施形態では、テンプレート枠を縮小した際に、被写体のベクトル個数が増加しなかった(被写体がテンプレート枠外となった)場合でも被写体の再検出を可能にした撮像装置について説明する。なお、本実施形態において撮像装置の構成は第1の実施形態(図1参照)と同様であるため、その説明を省略する。
まず、被写体再検出方法について、図11を用いて詳述する。
図11に示すように被写体がテンプレート枠外となる可能性があるが、流し撮り撮影において撮影者は被写体の動きに合わせてパンニングをしているため、被写体の移動方向はパンニング方向の±方向だと考えられる。よって、テンプレート枠をパンニング方向にシフトさせることで被写体を再検出する可能性が高い。具体的には、レンズマイコン113の角速度センサ111から撮像装置の動きベクトル量を取得し、パンニング方向(振れの方向)を調べる。そして、パンニングの±方向(振れの方向と平行な方向)にテンプレート枠をシフトさせながら被写体のベクトル個数の増加を調べることとする。
<<テンプレート枠変更処理>>
次に、第2の実施例における被写体動きベクトル量算出部154のテンプレート枠変更処理について、図6のフローチャートを用いて説明する。
S601〜S610は実施例1のS501〜S510と同じであるため、その説明を省略する。
S611で、被写体動きベクトル量算出部154は、S605で被写体のベクトル個数が増加していないと判定した場合に、角速度センサにより検出される振れの方向に応じてテンプレート枠の位置を移動させる被写体再検出処理を実行する。被写体再検出処理の詳しい内容については後述する。
S612で、被写体動きベクトル量算出部154は、被写体再検出に成功したか否かを判定する。具体的には、被写体再検出処理の結果として取得した後述する被写体再検出成功フラグを参照する。なお、被写体の再検出に成功した場合は、被写体再検出成功フラグにTRUEが設定され、被写体の再検出に成功しなかった場合は、被写体再検出成功フラグにFALSEが設定される。
<<被写体再検出処理>>
次に、被写体動きベクトル量算出部154の被写体再検出処理について、図7のフローチャートを用いて説明する。
S701で、被写体動きベクトル量算出部154は、テンプレート枠の位置をシフト前の位置として保持する。ここでは、テンプレート枠の中心位置(X,Y)を保持することとする。
S702で、被写体動きベクトル量算出部154は、レンズマイコン113の角速度センサ111から撮像装置の動きベクトル量を取得し、パンニング方向を調べ、テンプレート枠をシフトする方向を決定する。ここでは、右方向にパンニングしたとし、テンプレート枠のシフト方向を右方とする。
S703で、被写体動きベクトル量算出部154は、動きベクトル検出部141に対し、テンプレート枠をシフト方向に移動するように要求する。具体的に、被写体動きベクトル量算出部154は、角速度センサ111により検出される振れと平行な方向にテンプレート枠の中心位置を移動させる。ここでは、テンプレート枠の移動量をテンプレート枠のXサイズの1/2とするが、移動量はこれに限られるものではない。
S704で、被写体動きベクトル量算出部154は、動きベクトル検出部141からテンプレート枠に配置されたベクトル検出枠の動きベクトル量を取得し、ヒストグラムを作成する。
S705で、被写体動きベクトル量算出部154は、被写体のベクトル個数が増加したか否かを判定する。S705で、増加したと判定した場合は、被写体の再検出に成功したと判断しS711へと進む。S705で、増加しなかったと判定した場合は、被写体の再検出に失敗したと判断し、S706へと進む。
S706で、被写体動きベクトル量算出部154は、テンプレート枠が像面上の端まで移動したかどうかを判定する。S706で、像面上の端まで移動したと判定した場合は、S707へと進む。S706で、像面上の端まで移動しなかったと判定した場合は、テンプレート枠を更にシフトさせるため、S703へと戻る。
S707で、被写体動きベクトル量算出部154は、シフト方向がパンニング方向か否かを判定する。具体的には、±方向のテンプレート枠のシフト処理が完了したか否かを判定するための処理であり、シフト方向がパンニング方向であれば、パンニング方向と逆方向のシフト処理が完了していないこととなる。S707で、シフト方向がパンニング方向であると判定した場合は、逆方向のシフト処理が完了していないと判断し、S709へと進む。S707で、シフト方向がパンニング方向でないと判定した場合は、被写体の再検出に失敗したと判断し、S708へと進む。
S709で、被写体動きベクトル量算出部154は、テンプレート枠の位置を元の位置に戻すため、S701で保持していたシフト前位置を取得する。また、動きベクトル検出部141に対し、テンプレート枠をシフト前位置に移動するように要求する。
S710で、被写体動きベクトル量算出部154は、テンプレート枠のシフト方向をパンニング方向と逆方向し、S703へと戻る。ここでは、最初に右方向をシフト方向としたため、次はシフト方向を左方向とする。
S708で、被写体動きベクトル量算出部154は、被写体の再検出に失敗したと判断したため、被写体再検出成功フラグをFALSEに設定し処理を終了する。
S711で、被写体動きベクトル量算出部154は、被写体の再検出に成功したと判断したため、被写体再検出成功フラグをTRUEに設定し処理を終了する。
本実施例においても、実施例1と同様に、被写体がテンプレート枠内に収まるようにテンプレート枠を変更し、被写体のベクトル個数を多く取得することで、被写体の動きベクトルの信頼度を高め、被写体ブレの補正精度を向上させることができる。
加えて、本実施例によれば、テンプレート枠を縮小した際に、被写体がテンプレート枠外となった場合でも、テンプレート枠をパンニング方向またはパンニング方向と逆方向にシフトすることで、被写体の再検出を可能にした撮像装置を提供することができる。
第3の実施形態では、テンプレート枠の縮小と共にサーチエリアも縮小される撮像装置においても、被写体の動きベクトルの信頼度を高め、被写体ブレの補正精度を向上させることを可能にした撮像装置について説明する。
なお、本実施形態において撮像装置の構成は第1の実施形態(図1参照)と同様であるため、その説明を省略する。
まず、サーチエリアについて、図16を用いて詳述する。
図16(a)は、テンプレート枠を縮小する前のサーチエリア1601、ベクトル検出枠1603を図示している。
一方、図16(b)は、テンプレート枠を縮小した後のサーチエリア1602、ベクトル検出枠1604であり、テンプレート枠の縮小と共にサーチエリア1602も縮小していることを図示している。
また、被写体の速度及び撮影者のパンニング速度が一定であれば、被写体の動きベクトル量はテンプレート枠を縮小しても変化しないため、図16(a)と(b)には同一の動きベクトル量1605を図示している。
図16(a)の場合、動きベクトル量1605は、サーチエリア1601の範囲内となるため、動きベクトル量の検出が可能である。しかしながら、図16(b)の場合、動きベクトル量1605は、サーチエリア1602の範囲外となるため、動きベクトル量の検出ができずにエラーとなり、被写体の動きベクトル量が取得できなくなる。
このような撮像装置において、被写体の動きベクトル量が大きい場合にテンプレート枠を縮小すると、被写体の動きベクトル量が取得できないこととなる。
そこで、本実施例では小被写体の動きベクトル量が小さい(パンニング速度が被写体の速度に近い)と判断した場合のみ、ベクトル検出枠を縮小させることとする。
<<被写体動きベクトル量算出処理>>
次に、第3の実施例における被写体動きベクトル量算出部154の被写体動きベクトル量算出処理について、図8のフローチャートを用いて説明する。
S801、S802は実施例1のS301、S302と同じであるため、その説明を省略する。また、S805、S806は実施例1のS303、S304と同じであるため、その説明を省略する。
S803で、被写体動きベクトル量算出部154は、動きベクトル検出部141からテンプレート枠に配置されたベクトル検出枠の動きベクトル量を取得し、ヒストグラムを作成する。
S804で、被写体動きベクトル量算出部154は、被写体の動きベクトル量が±閾値θ未満か否かを判定する。なお、±閾値θは、被写体の動きベクトル量が±0近辺の値とする。
S804で、±閾値θ未満と判定した場合は、テンプレート枠を変更するため、S805へ進む。S804で、±閾値θ未満でないと判定した場合は、テンプレート枠を変更しないため、処理を終了する。すなわち、被写体井動きベクトル量算出部154は、S802で被写体の大きさが所定の大きさより小さい小被写体であると判定した場合、被写体の動きベクトルの大きさに基づいて、テンプレート枠の変更を行うか否かの判定を行う。ここで、被写体の動きベクトルの大きさが±閾値θ(所定値)よりも小さい場合にテンプレート枠の変更を行うと判定し、被写体の動きベクトルの大きさが±閾値θ(所定値)よりも大きい場合にテンプレート枠の変更を行わないと判定する。
本実施例においても、実施例1と同様に、被写体がテンプレート枠内に収まるようにテンプレート枠を変更し、被写体のベクトル個数を多く取得することで、被写体の動きベクトルの信頼度を高め、被写体ブレの補正精度を向上させることができる。
加えて、本実施例によれば、被写体の動きベクトル量に応じてテンプレート枠を縮小することで、被写体の動きベクトルの信頼度を高めることとした。
これにより、テンプレート枠の縮小と共にサーチエリアも縮小される撮像装置においても、流し撮りアシストモードの撮影時における被写体ブレの補正精度を向上させることを可能にした撮像装置を提供することができる。
しかし、本発明はこのような形態に限られるものではなく、過去数フレームのヒストグラムを作成し、被写体の動きベクトル量の平均値から±閾値θ未満か否かを判定しても良い。
また、被写体の動きベクトル量が小さいため、前述したテンプレート枠変更処理の縮小率を1/2など段階的に実施するのではなく、被写体範囲のサイズ(X,Y)となるように変更しても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム(すなわち、各実施例における各ステップが記述されたコンピュータで実行可能なプログラム)、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
132:カメラマイコン
141:動きベクトル検出部

Claims (13)

  1. 撮像手段から順次出力される複数の画像に動きベクトル検出枠を設定し、前記動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出手段と、
    前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御手段と、
    を有し、
    前記制御手段は、
    前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更する、
    ことを特徴とする像振れ補正装置。
  2. 前記制御手段は、
    前記被写体の大きさが所定の大きさより大きいと判定した場合、前記動きベクトル検出枠を変更せず、
    前記被写体の大きさが所定の大きさより小さいと判定した場合、前記被写体の位置に応じて前記動きベクトル検出枠を変更する、
    ことを特徴とする請求項1に記載の像振れ補正装置。
  3. 前記制御手段は、前記動きベクトルのうち被写体と背景の動きベクトルを判定し、
    前記被写体の動きベクトルを検出した前記領域の数が第1の閾値より小さく、かつ、前記背景の動きベクトルを検出した前記領域の数が第2の閾値より大きい場合に、前記被写体の大きさが所定の大きさより小さいと判定し、前記動きベクトル検出枠の大きさを小さく変更するとともに、前記動きベクトル検出枠の中心位置を前記被写体の中心位置に近づけるように変更する、
    ことを特徴とする請求項1または2に記載の像振れ補正装置。
  4. 前記制御手段は、前記動きベクトル検出枠の大きさおよび中心位置を変更した後、前記被写体と前記背景の動きベクトルを判定し、前記被写体の動きベクトルを検出した前記領域の数が前記第1の閾値よりも大きくなるまで、前記動きベクトル検出枠の大きさを小さく変更するとともに、前記動きベクトル検出枠の中心位置を前記被写体の中心位置に近づけるように変更することを特徴とする請求項3に記載の像振れ補正装置。
  5. 前記制御手段は、前記動きベクトル検出枠の大きさを小さく変更する際に、前記領域の数が変わらないように、前記領域の大きさを小さくすることを特徴とする請求項3または4に記載の像振れ補正装置。
  6. 振れを検出する振れ検出手段から出力される信号を取得する取得手段と、
    前記制御手段は、
    前記動きベクトル検出枠の大きさおよび中心位置を変更した後、前記被写体と前記背景の動きベクトルを判定し、前記被写体の動きベクトルを検出した前記領域の数が増加したか否か判定し、
    前記領域の数が増加していないと判定した場合に、前記振れ検出手段により検出される前記振れの方向に応じて前記動きベクトル検出枠の中心位置を移動させることを特徴とする請求項3ないし5のいずれか1項に記載の像振れ補正装置。
  7. 前記制御手段は、前記振れ検出手段により検出される前記振れと平行な方向に前記動きベクトル検出枠の中心位置を移動させることを特徴とする請求項6に記載の像振れ補正装置。
  8. 前記制御手段は、前記被写体の大きさが所定の大きさより小さいと判定した場合、前記被写体の動きベクトルの大きさに基づいて、前記変更を行うか否か判定することを特徴とする請求項1ないし7のいずれか1項に記載の像振れ補正装置。
  9. 前記制御手段は、前記被写体の動きベクトルの大きさが所定値よりも小さい場合に前記変更を行うことを特徴とする請求項8に記載の像振れ補正装置。
  10. 撮像手段と、
    請求項1ないし9のいずれか1項に記載の像振れ補正装置と、を備えた撮像装置。
  11. 撮像手段から順次出力される複数の画像に動きベクトル検出枠を設定し、前記動きベクトル検出枠を分割した複数の領域から動きベクトルを検出する検出ステップと、
    前記動きベクトルのうち被写体の動きベクトルを判定し、前記被写体の動きベクトルに基づいて像振れ補正制御を行う制御ステップと、
    を有し、
    前記制御ステップは、
    前記被写体の動きベクトルに基づいて前記被写体の大きさを判定し、前記被写体の大きさおよび位置に応じて前記動きベクトル検出枠を変更する、
    ことを特徴とする像振れ補正装置の制御方法。
  12. 請求項11に記載の制御方法の各ステップが記述されたコンピュータで実行可能なプログラム。
  13. コンピュータに、請求項11に記載の制御方法の各ステップを実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
JP2016043368A 2016-03-07 2016-03-07 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 Active JP6700872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016043368A JP6700872B2 (ja) 2016-03-07 2016-03-07 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US15/450,592 US10142545B2 (en) 2016-03-07 2017-03-06 Image stabilizing apparatus, its control method, image pickup apparatus, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043368A JP6700872B2 (ja) 2016-03-07 2016-03-07 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2017161586A true JP2017161586A (ja) 2017-09-14
JP2017161586A5 JP2017161586A5 (ja) 2019-03-28
JP6700872B2 JP6700872B2 (ja) 2020-05-27

Family

ID=59724448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043368A Active JP6700872B2 (ja) 2016-03-07 2016-03-07 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US10142545B2 (ja)
JP (1) JP6700872B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012292A (ja) * 2019-07-05 2021-02-04 キヤノン株式会社 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム
JP7414484B2 (ja) 2019-11-19 2024-01-16 キヤノン株式会社 光学機器、撮像装置および制御方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102423B2 (en) * 2016-06-30 2018-10-16 Snap Inc. Object modeling and replacement in a video stream
JP6821358B2 (ja) * 2016-08-31 2021-01-27 キヤノン株式会社 制御装置、撮像装置、レンズ装置、制御方法、プログラム、および、記憶媒体
JP6723173B2 (ja) * 2017-02-10 2020-07-15 富士フイルム株式会社 画像処理装置、方法およびプログラム
JP6936034B2 (ja) * 2017-03-31 2021-09-15 パナソニックi−PROセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
JP6940290B2 (ja) * 2017-03-31 2021-09-22 パナソニックi−PROセンシングソリューションズ株式会社 カメラ装置及び揺れ補正方法
US10643078B2 (en) * 2017-11-06 2020-05-05 Sensormatic Electronics, LLC Automatic camera ground plane calibration method and system
JP7327917B2 (ja) * 2018-09-14 2023-08-16 キヤノン株式会社 画像処理装置及び画像処理方法
TWI692731B (zh) * 2019-01-02 2020-05-01 瑞昱半導體股份有限公司 物件位置判斷電路
CN111416916B (zh) * 2019-01-04 2022-07-26 瑞昱半导体股份有限公司 物件位置判断电路
US11106912B1 (en) 2019-08-05 2021-08-31 Genetec Inc. Method and system for video content analysis
JP7477969B2 (ja) * 2019-12-25 2024-05-02 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN114339102B (zh) * 2020-09-29 2023-06-02 华为技术有限公司 一种录像方法及设备
CN112991446A (zh) 2021-03-10 2021-06-18 北京百度网讯科技有限公司 图像稳像方法、装置、路侧设备以及云控平台

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
US20090237516A1 (en) * 2008-02-20 2009-09-24 Aricent Inc. Method and system for intelligent and efficient camera motion estimation for video stabilization
JP2010114752A (ja) * 2008-11-07 2010-05-20 Canon Inc 撮像装置及び撮像方法及びプログラム
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP2015012480A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
CN106296742A (zh) * 2016-08-19 2017-01-04 华侨大学 一种结合特征点匹配的在线目标跟踪方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3627872B2 (ja) 1994-07-22 2005-03-09 ソニー株式会社 動きベクトル検出方法及び装置
JP2006317848A (ja) 2005-05-16 2006-11-24 Canon Inc 静止画撮像装置
KR100866230B1 (ko) * 2007-04-12 2008-10-30 삼성전자주식회사 파노라마 사진 촬영 방법
JP5272886B2 (ja) * 2009-05-14 2013-08-28 ソニー株式会社 動体検出装置と動体検出方法およびコンピュータ・プログラム
JP6727791B2 (ja) * 2015-11-05 2020-07-22 キヤノン株式会社 追尾制御装置および追尾制御方法、撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301984A (ja) * 2004-01-06 2005-10-27 Sony Corp 画像処理装置および方法、プログラム並びに記録媒体
US20090237516A1 (en) * 2008-02-20 2009-09-24 Aricent Inc. Method and system for intelligent and efficient camera motion estimation for video stabilization
JP2010114752A (ja) * 2008-11-07 2010-05-20 Canon Inc 撮像装置及び撮像方法及びプログラム
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP2015012480A (ja) * 2013-06-28 2015-01-19 キヤノン株式会社 画像処理装置及び画像処理方法
CN106296742A (zh) * 2016-08-19 2017-01-04 华侨大学 一种结合特征点匹配的在线目标跟踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021012292A (ja) * 2019-07-05 2021-02-04 キヤノン株式会社 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム
JP7269119B2 (ja) 2019-07-05 2023-05-08 キヤノン株式会社 像ブレ補正制御装置、カメラ本体、レンズユニット、像ブレ補正制御方法、及びプログラム
JP7414484B2 (ja) 2019-11-19 2024-01-16 キヤノン株式会社 光学機器、撮像装置および制御方法

Also Published As

Publication number Publication date
US20170257573A1 (en) 2017-09-07
JP6700872B2 (ja) 2020-05-27
US10142545B2 (en) 2018-11-27

Similar Documents

Publication Publication Date Title
JP6700872B2 (ja) 像振れ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
JP5335445B2 (ja) レンズ制御装置、光学機器およびレンズ制御方法
US10148889B2 (en) Image processing apparatus and control method thereof, image capturing apparatus and storage medium
JP6995561B2 (ja) 像ブレ補正装置およびその制御方法、撮像装置
CN107040711B (zh) 图像稳定设备及其控制方法
JP2017211487A (ja) 撮像装置及び自動焦点調節方法
JP6432038B2 (ja) 撮像装置
US9781346B2 (en) Image capturing control apparatus, image capturing apparatus and storage medium storing image capturing control program for driving a movable element when motion vectors have mutually different magnitudes
US20190132518A1 (en) Image processing apparatus, imaging apparatus and control method thereof
JP2011239131A (ja) 撮像装置
JP6465705B2 (ja) 動きベクトル検出装置、動体角速度算出装置、撮像装置およびレンズ装置
JP6700929B2 (ja) 動きベクトル検出装置、撮像装置、動きベクトル検出方法、プログラム、および、記憶媒体
JP2006332809A (ja) 撮像装置
JP2016118636A (ja) 撮像装置及びその制御方法
JP7002050B2 (ja) 撮像装置
WO2013069279A1 (ja) 撮像装置
JP6602089B2 (ja) 画像処理装置及びその制御方法
JP2019125933A (ja) 像振れ補正装置、撮像装置、像振れ補正装置の制御方法およびプログラム
JP6887858B2 (ja) 像ブレ補正装置、撮像装置および制御方法
JP2020118789A (ja) 撮像装置、撮像システム、撮像装置の制御方法、およびプログラム
JP2015102774A (ja) 撮像装置
JP2004037732A (ja) デジタルカメラ
JP7254555B2 (ja) 撮像装置および撮像装置の制御方法
WO2020012961A1 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6700872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151