JP2006054518A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2006054518A
JP2006054518A JP2004232762A JP2004232762A JP2006054518A JP 2006054518 A JP2006054518 A JP 2006054518A JP 2004232762 A JP2004232762 A JP 2004232762A JP 2004232762 A JP2004232762 A JP 2004232762A JP 2006054518 A JP2006054518 A JP 2006054518A
Authority
JP
Japan
Prior art keywords
image
imaging
unit
motion vector
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004232762A
Other languages
English (en)
Other versions
JP4869572B2 (ja
Inventor
Kazutoshi Usui
一利 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004232762A priority Critical patent/JP4869572B2/ja
Priority to US11/191,932 priority patent/US7760237B2/en
Publication of JP2006054518A publication Critical patent/JP2006054518A/ja
Application granted granted Critical
Publication of JP4869572B2 publication Critical patent/JP4869572B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

【課題】 ブレ補正にかかる時間を短縮しつつ、精度良くブレ補正を行うことができる撮像装置を提供する。
【解決手段】 被写体像を撮像素子面に結像させる撮影光学系と、撮影光学系における光軸のブレを検出するブレ検出部と、全露光時間を所定の分割数で分割して撮像を繰り返し行い、分割数の画像を生成する撮像部と、撮像部により生成された分割数の画像とブレ検出部により検出されたブレとに基づいて動きベクトルを求め、動きベクトルを基に分割数の画像を合成する合成部とを備える。
【選択図】 図1

Description

本発明は、ブレ補正機能を備えた撮像装置に関する。
従来より、撮影光学系における光軸のブレを補正するブレ補正装置や、そのようなブレ補正装置を備えた撮像装置などが知られている。これらの装置には、撮影光学系の一部と撮像素子(またはフィルム)とのいずれかを物理的に移動させることによりブレを補正するものがある。また、露光時間を分割して繰り返し撮像を行い、生成した分割数の画像を合成することでブレを補正するものがある(例えば、特許文献1参照)。
特許第3424666号公報
しかし、前述した撮影光学系の一部と撮像素子(またはフィルム)とのいずれかを物理的に移動させることによりブレを補正する装置では、ブレ補正に適した光学系およびその光学系を駆動する駆動部が必要であるため、装置が大型化、複雑化するという問題があった。
また、前述した露光時間を分割して繰り返し撮像を行い、生成した分割数の画像を合成することでブレを補正する装置では、合成を行う際の位置合わせなどに時間がかかるという問題があった。
本発明は、ブレ補正にかかる時間を短縮しつつ、精度良くブレ補正を行うことができる撮像装置を提供することを目的とする。
請求項1に記載の撮像装置は、被写体像を撮像素子面に結像させる撮影光学系と、前記撮影光学系における光軸のブレを検出するブレ検出部と、全露光時間を所定の分割数で分割して撮像を繰り返し行い、前記分割数の画像を生成する撮像部と、前記撮像部により生成された前記分割数の画像と前記ブレ検出部により検出された前記ブレとに基づいて動きベクトルを求め、前記動きベクトルを基に前記分割数の画像を合成する合成部とを備えたことを特徴とする。
請求項2に記載の撮像装置は、請求項1に記載の撮像装置において、前記合成部は、前記動きベクトルを基に走査範囲を決定し、前記走査範囲において前記画像のブロックマッチングを行って、前記分割数の画像を合成することを特徴とする。
請求項3に記載の撮像装置は、請求項2に記載の撮像装置において、前記合成部は、前記撮像部が撮像を繰り返し行う際の時間間隔に応じて、前記走査範囲の大きさを変更することを特徴とする。
請求項4に記載の撮像装置は、請求項1から請求項3のいずれか1項に記載の撮像装置において、前記全露光時間を示す値が、前記撮影光学系の焦点距離を示す値の逆数よりも大きいか否かを判定する判定部をさらに備え、
前記判定部が前記全露光時間を示す値が前記撮影光学系の焦点距離を示す値の逆数よりも大きいと判定すると、前記撮像部は前記分割数の画像を生成し、前記合成部は前記分割数の画像を合成することを特徴とする。
本発明によれば、ブレ補正にかかる時間を短縮しつつ、精度良くブレ補正を行うことができる。
以下、図面を用いて本発明を実施するための最良の形態について説明する。本実施形態では、本発明の撮像装置の一例として、電子カメラを用いて説明する。
本実施形態の電子カメラ100は、図1に示すように、ズームレンズである撮影レンズ1、CCD(Charge Coupled Device)2、CCD2を駆動するCCD駆動回路3、アナログ信号処理部4、DSP(Digital Signal Processor)5、ボディCPU6、バッファメモリ7、外部メモリ8、画像合成処理部9を備える。
撮影レンズ1はCCD2の撮像面に被写体像を結像し、CCD2は被写体像を画像信号に変換してアナログ信号処理部4に供給する。アナログ信号処理部4は、CCD2により光電変換された画像信号をサンプリングし、サンプリングした信号を所定のレベルに増幅した後、A/D変換してDSP5に供給する。DSP5は、CCD駆動回路3の制御および電子シャッタタイムの調整を行うとともに、アナログ信号処理部4から供給された信号に対してデジタルでの画像処理を行い、バッファメモリ7に供給する。バッファメモリ7は、DSP5において画像処理を施された画像を一時記憶し、必要に応じて外部メモリ8および画像合成処理部9に供給する。外部メモリ8は、メモリカードなどの外部メモリであり、画像合成処理部9は、後述する動きベクトルの検出および画像の合成を行う。また、ボディCPU6は、上述したDSP5およびバッファメモリ7と相互に接続され、DSP5およびバッファメモリ7を制御する。
また、電子カメラ100は、撮影レンズ1のズーム位置を検出するズームエンコーダ10、撮影距離の情報を検出する距離エンコーダ11、レンズCPU12、レンズCPU12内に設けられたブレ演算部13、角速度センサ14を備える。
角速度センサ14は、通常圧電振動式のセンサであり、コリオリ力をモニタすることによりブレの角速度検出を行う。また、角速度センサ14は、検出した角速度をA/Dダイナミックレンジに収まる程度に増幅処理し、A/D変換してレンズCPU12に供給する。なお、角速度センサ14は、高周波ノイズをカットするためにLPF(Low Pass Filter)を有する。ブレ演算部13は、上述したズームエンコーダ10、距離エンコーダ11、角速度センサ14の出力を取得し、ブレ量を演算する。
なお、レンズCPU12は、撮影レンズ1を制御するとともに、上述したボディCPU6と相互に接続される。
さらに、電子カメラ100は、本発明の特徴であるブレ補正を実行するためのユーザ操作を受け付けるブレ補正モードスイッチ15、撮影開始のユーザ操作を受け付けるレリーズボタン16を備える。ブレ補正モードスイッチ15、レリーズボタン16の状態は、ボディCPU16により検知される。
なお、撮影レンズ1は、請求項の「撮影光学系」に対応し、レンズCPU12、ブレ演算部13、角速度センサ14は、請求項の「ブレ検出部」に対応する。また、CCD2、CCD駆動回路3、DSP5、ボディCPU6は、請求項の「撮像部」に対応し、ボディCPU6、バッファメモリ7、画像合成処理部9は、請求項の「合成部」に対応する。
以下、撮影時の動作について、図2のフローチャートを用いて説明する。
なお、以下では、説明を簡単にするため、ピッチング方向のブレおよびその補正についてのみ説明する。ヨーイング方向についても同様の動作が行われる。また、本実施形態では、後述するように、露光時間を分割する。このときの分割数は、露光時間と焦点距離とに基づいて求められる。
まず、ボディCPU6は、レリーズボタン16が半押しされたか否かを判定する(ステップS1)。
レリーズボタン16が半押しされると、ボディCPU6は、撮影動作を開始し、ブレ補正モードスイッチ15がONされているか否かを判定する(ステップS2)。
ブレ補正モードスイッチ15がONされていない場合、ボディCPU6は、通常の撮影動作を行う。一方、ブレ補正モードスイッチ15がONされている場合、ボディCPU6は、レンズCPU12を介して角速度センサ14によるブレ検出を開始し、続いて、レリーズボタン16が全押しされたか否かを判定する(ステップS3)。
レリーズボタン16が全押しされていない場合、ボディCPU6は、ステップS1に戻る。一方、レリーズボタン16が全押しされると、ボディCPU6は、露光時間ETが焦点距離fの逆数(1/f)以上であるか否かを判定する(ステップS4)。なお、露光時間ETは、請求項の「全露光時間を示す値」に対応する。
一般に、通常の撮影においては、焦点距離fの逆数(1/f)の露光時間を越えると画像にブレが発生することが知られている。そのため、露光時間が焦点距離fの逆数(1/f)よりも長い場合には、ブレ補正を行う必要があり、露光時間が焦点距離fの逆数(1/f)よりも短い場合にはブレ補正を行う必要がないと判定することができる。
露光時間ETが焦点距離fの逆数(1/f)よりも長い場合(ステップS4Yes)、ボディCPU6は、分割数Nを求める(ステップS5)。分割数Nとは、前述した露光時間を分割する分割数であり、次式を用いて求められる。
N=ET/(1/f)・・・(式1)
ただし、ETは、露光時間(単位:秒)を示し、fは、35mmフィルム換算の焦点距離(単位:mm)を示す。
なお、整数部分を求める関数であるint( )を用いた{N−int(N)}≠0である場合、すなわち、分割数Nが整数にならない場合、前述した(式1)に代えて、次式を用いて分割数Nを求める。
N=int{ET/(1/f)}+1・・・(式1’)
(式1’)を用いて分割数Nを求めることにより、分割数Nが整数にならない場合に繰り上げ処理を行う。
ボディCPU6は、ボディCPU6内の不図示のメモリに予め記録されたプログラム線図に基づいて露光時間ETを求め、ズームエンコーダ10の出力に基づいて焦点距離fを求める。そして、ボディCPU6は、(式1)または(式1’)を用いて、分割数Nを求める。
そして、ボディCPU6は、後述する合成モードの処理を行う(ステップS6)。一方、露光時間ETが焦点距離fの逆数(1/f)よりも短い場合(ステップS4No)、ボディCPU6は、通常の撮影を行う(ステップS7)。通常の撮影については、公知技術と同様に行われるため、詳細な説明を省略する。
次に、ボディCPU6は、合成モードの処理(ステップS6)により生成された画像、または、通常の撮影(ステップS7)により生成された画像を、外部メモリ8に記憶し(ステップS8)、一連の処理を終了する。なお、外部メモリ8に記憶する画像が合成モードの処理(ステップS6)により生成された画像である場合、ボディCPU6は、画像のタグ情報(例えば、EXIF情報など)に、画像の合成を行ったことを記録する。
次に、本発明の特徴である合成モードの処理について、図3のフローチャートを用いて説明する。なお、ここでは、露光時間ET=1/50秒、焦点距離f=200mm(35mmフィルム換算)の場合を例に挙げて説明を行う。なお、分割数Nは、前述した(式1)により4となる。
まず、ボディCPU6は、1枚目の画像を取得する(ステップS11)。ボディCPU6は、CCD駆動回路3を介してCCD2を制御し、1/200(1/焦点距離)の露光時間で、1枚目の画像を取得し、アナログ信号処理部4、DSP5を介して、バッファメモリ7に取得した画像を記録する。なお、適正露光時間は1/50秒であるため、露光量は、適正露光の1/4にしかならない。したがって、取得した画像はアンダー露光の画像となる。
次に、ボディCPU6は、ステップS11で取得した画像について、動きベクトル検出窓を設定する(ステップS12)。動きベクトル検出窓とは、後述する動きベクトルの検出に用いる領域を示す。ボディCPU6は、予め定められた動き検出窓の候補領域のそれぞれについてコントラストを検出する。図4に、動き検出窓の候補領域を示す。図4のAはステップS11で取得した画像全体を示し、a〜eは動き検出窓の候補領域を示す。動き検出窓の候補領域a〜eは、図4に示すように画像aの左上、右上、中央、左下、右下
の5カ所に定められている。
ボディCPU6は、それぞれの動き検出窓の候補領域においてコントラストを検出し、検出したコントラストが所定値以上の検出窓は、信頼性が高いと判定して動き窓検出領域として設定する。一方、検出したコントラストが所定値未満の検出窓は、信頼性が低いと判定して動き窓検出領域として設定しない(すなわち、動きベクトルの検出に用いない)。以下では、動き検出窓の候補領域a〜eのうち、中央の動き検出窓の候補領域cのみが動き検出窓として設定されたものとして説明を行う。
次に、ボディCPU6は、ステップS11と同様に次の画像を取得する(ステップS13)。そして、取得した画像をアナログ信号処理部4、DSP5を介して、バッファメモリ7に記録する。
次に、ボディCPU6は、ステップS13で取得した画像について、動きベクトル検出窓を設定する(ステップS14)。ボディCPU6は、ステップS12で設定した動きベクトル検出窓の情報に、角速度センサ14から得られる情報を加味して、ステップS13で取得した画像について、動きベクトル検出窓を設定する。具体的」には、次式を用いる。
X2=X1+{Xomega(t2)−Xomega(t1)}・・・(式2)
ただし、X1は、ステップS12で設定した動きベクトル検出窓の中心X座標を示し、X2は、設定しようとしている動きベクトル検出窓の中心X座標を示す。また、Xomega(t2)、Xomega(t1)は、それぞれ時刻t2、t1における角速度センサ14の出力から得られたブレ量を示す。
ここで、角速度センサ14の出力について、図5を用いて説明する。図5の横軸は時刻tを示す。角速度センサ14は、図5中のAに示す角速度を検出する。図5Aにおいて、ωは、角速度センサ14により検出される角速度を示し、ω0は、角速度ωの低周波成分を示す。ブレ演算部13は、角速度センサ14の出力をブレ量に変換するために、ω0を基準として、角速度ωを積分する。そして、積分の結果が、図5中のBに示すブレ量Xomegaとなる。なお、Xomega(t)とは、時刻tにおけるブレ量を示す。
また、図5中のCに露光タイミングを示す。本実施形態では、前述したように、露光時間を4分割して撮影を行う。電子カメラ100は、図5Cに示すように、4回の露光タイミングで撮像を繰り返し行う。また、(式2)中の{Xomega(t2)−Xomega(t1)}は、時刻t2におけるブレ量と時刻t1におけるブレ量の差を示し、図5Bの矢印Dに相当する。
ボディCPU6は、Y方向についても同様の処理を行って中心Y座標を求める。そして、中心X座標および中心Y座標を中心として、所定の大きさの動き検出窓を設定する。
次に、ボディCPU6は、動きベクトルを求める(ステップS15)。ボディCPU6は、ステップS13で取得した画像のうち、ステップS12で設定した動きベクトル検出窓に対応する部分の画像を抜き出す。そして、ステップS11で取得した画像fn-1とステップS13で取得した画像fnとのブロックマッチングを行う。具体的には、ステップS11で取得した画像fn-1のうち、ステップS12で設定した動きベクトル検出窓の部分を中心として、ステップS13で取得した画像fnから抜き出した画像を規定のピクセル単位でX方向およびY方向に走査し、相関が最も大きくなる位置を求める。ボディCPU6は、次式を用いて相関が最も大きくなる位置を求める。
Figure 2006054518
(式3)において、fn(xi,yi)はnフィールドにおける(xi,yi)の値を示す。そして、dx、dyを変化させ、(式3)のDが最小となる位置を相関が最も大きい位置とし、dx、dyに基づいて、画像に基づく動きベクトルを求める。そして、画像に基づく動きベクトルと、角速度センサ14の出力に基づくベクトルとを加算して、合成に用いる動きベクトルを求める。
なお、走査範囲は、基本的に、動きベクトル検出窓の大きさに対して所定の倍率を乗じることにより決めるが、本実施形態では、角速度センサ14の出力に基づいて動きベクトル検出窓を設定しているため、従来よりも走査範囲を狭く設定することができる。さらに、露光時間間隔に応じて、走査範囲の大きさを変更する。露光時間間隔が長い場合には、走査範囲をより広くし、露光時間間隔が短い場合には、走査範囲をより狭くする。
次に、ボディCPU6は、ステップS15で求めた動きベクトルを基に画像合成処理部9において画像を合成する(ステップS16)。ボディCPU6は、バッファメモリ7から画像を読み出し、動きベクトルを基に重ね合わせて合成を行う。ただし、1枚目の画像に対して2枚目の画像が重なっていない部分は、輝度が落ちてしまうため、画像データを倍にする。そして、合成後の画像をバッファメモリ7に記憶する。
次に、ボディCPU6は、分割数N枚(ここでは4枚)の画像の取得が終了したか否かを判定する(ステップS17)。なお、画像の取得回数は、ボディCPU6内にカウンタを設けてカウントするようにすれば良い。分割数N枚の画像の取得が終了した場合(ステップS17Yes)、ボディCPU6は、図2のステップS8に進み、一連の処理を終了する。
一方、分割数N枚の画像の取得が終了していない場合(ステップS17No)、ボディCPU6は、ステップS13に戻り、次の画像の取得を行う。なお、ステップS14の動きベクトル検出窓の設定においては、(式2)に代えて、次式を用いる。
m=Xm-1+{Xomega(tm)−Xomega(tm-1)}・・・(式4)
ただし、(式4)中のmは、m枚目の画像を示す。すなわち、3枚目の画像の場合は、m=3となる。
さらに、ステップS16の画像の合成の際には、バッファメモリ7から前回合成した画像を読み出し、その画像に対して次の画像を合成する。
以上説明したように、本実施形態によれば、撮影光学系における光軸のブレを検出するとともに、全露光時間を所定の分割数で分割して撮像を繰り返し行い、分割数の画像を生成し、その分割数の画像と検出されたブレとに基づいて動きベクトルを求め、動きベクトルを基に分割数の画像を合成する。そのため、動きベクトルを短時間かつ正確に求めることができるので、ブレ補正にかかる時間を短縮しつつ、精度良くブレ補正を行うことができる。
また、本実施形態によれば、動きベクトルを基に走査範囲を決定し、決定した走査範囲においてブロックマッチングを行って、画像を合成する。そのため、走査範囲を不用に広くすることを回避し、ブレ補正にかかる時間を短縮することができる。
また、本実施形態によれば、撮像部が撮像を繰り返し行う際の時間間隔に応じて、走査範囲の大きさを変更する。すなわち、時間間隔に応じて発生すると考えられる誤差を考慮して走査範囲を変更することにより、誤検出を軽減することができるので、精度良くブレ補正を行うことができる。
また、本実施形態によれば、全露光時間を示す値が撮影光学系の焦点距離を示す値の逆数よりも大きいと判定すると、分割数の画像を生成してそれらの画像を合成する。そのため、分割数の画像の生成および合成が必要な場合にのみブレ補正を行い、必要ない場合には、余計なブレ補正を行ってしまうのを回避することができる。
なお、本実施形態において、動きベクトル検出窓を設定する際(図3ステップS12)に、予め定められた動き検出窓の候補領域a〜e(図4参照)から、コントラストに基づいて、動きベクトルの検出に用いる動きベクトル検出窓を設定する例を示したが、検出窓の大きさ、位置、数などはユーザ操作に応じて変更可能にしても良い。また、画像の特徴点を抽出して、その特徴点を含む領域を動きベクトル検出窓として設定しても良い。さらに、焦点検出に用いた領域を動きベクトル検出窓として設定するようにしても良い。
また、本実施形態において、動きベクトル検出窓を設定する際(図3ステップS12)に、すべての候補領域の信頼性が一様に低い場合には、コントラストの低い画像であると判断し、角速度センサ14の出力のみに応じて動きベクトルを求めるようにしても良い。また、縦縞などを含む周期的な画像に対して、ブロックマッチングを行った場合、相関の高い位置が何カ所か得られてしまい、結果として間違った動きベクトルを求めてしまうことがある。したがって、所定の相関が得られない場合には、角速度センサ14の出力のみに応じて動きベクトルを求めるようにしても良い。
また、本実施形態では、予め定められた分割数に達するまで処理を繰り返す例を示したが、合成画像の所定割合以上がダイナミックレンジを超えた場合には、処理を中断するようにしても良い。
また、本実施形態において、角速度センサ14の出力に基づいて、2枚目以降の画像の動きベクトル検出窓の位置を決定する例を示したが、1枚目と2枚目の同じ位置に動きベクトル検出窓を設定し、ステップS15において動きベクトルを求める際に、走査を行う方向または走査範囲を角速度センサ14の出力に基づいて制限するようにしても良い。
また、本実施形態では、角速度センサ14を備えてブレ検出を行う例を示したが、ほかのセンサ(例えば、加速度センサなど)を備えてブレ検出を行うようにしても良い。
また、本実施形態では、分割数Nを(式1)または(式1’)を用いて求める例を示したが、他の式を用いて求めるようにしても良いし、ユーザに指定させるようにしても良い。
また、本実施形態において、角速度センサ14の出力に基づいて、ブレ検出を行う際に、分割数の撮像の終了タイミングを基準としてブレを検出する例を示した(図4参照)が、ほかのタイミング(例えば、撮像の開始タイミング)を基準としても良い。
また、本実施形態において、画像を合成する際(図3ステップS16)に、1枚目の画像に対して2枚目の画像が重なっていない部分は、輝度が落ちてしまうため、画像データを倍にする例を示したが、重なっていない部分を破棄するようにしても良い。
また、本実施形態では、撮像装置の一例として電子カメラ100を用いて説明を行ったが、レンズ交換式の電子カメラに適用しても良いし、ビデオなどの撮像装置に本発明を応用しても良い。さらに、いわゆる撮影光学系における光軸のブレを補正する機能を備えた撮像装置が備える振動センサを用いて、本発明の処理を行うようにしても良い。
また、本実施形態において、電子カメラ100が行った画像合成の処理(図4のフローチャート参照)のすべてのステップまたは一部のステップをコンピュータで実現するようにしても良い。この場合、電子カメラ100などの撮像装置では、撮影光学系における光軸のブレを検出するとともに、全露光時間を所定の分割数で分割して撮像を繰り返し行い、コンピュータは、生成された分割数の画像と検出したブレを示す情報を取得するようにすれば良い。
本実施形態の電子カメラ100の機能ブロック図である。 本実施形態の電子カメラ100の動作を示すフローチャートである。 本実施形態の電子カメラ100の動作を示すフローチャートである。 動き検出窓の候補領域を示す図である。 角速度センサ14の出力について説明する図である。
符号の説明
1 撮影レンズ
2 CCD
3 CCD駆動回路
4 アナログ信号処理部
5 DSP
6 ボディCPU
7 バッファメモリ
8 外部メモリ
9 画像合成処理部
10 ズームエンコーダ
11 距離エンコーダ
12 レンズCPU
13 ブレ演算部
14 角速度センサ
15 ブレ補正モードスイッチ
16 レリーズボタン
100 電子カメラ

Claims (4)

  1. 被写体像を撮像素子面に結像させる撮影光学系と、
    前記撮影光学系における光軸のブレを検出するブレ検出部と、
    全露光時間を所定の分割数で分割して撮像を繰り返し行い、前記分割数の画像を生成する撮像部と、
    前記撮像部により生成された前記分割数の画像と前記ブレ検出部により検出された前記ブレとに基づいて動きベクトルを求め、前記動きベクトルを基に前記分割数の画像を合成する合成部と
    を備えたことを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記合成部は、前記動きベクトルを基に走査範囲を決定し、前記走査範囲において前記画像のブロックマッチングを行って、前記分割数の画像を合成する
    ことを特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、
    前記合成部は、前記撮像部が撮像を繰り返し行う際の時間間隔に応じて、前記走査範囲の大きさを変更する
    ことを特徴とする撮像装置。
  4. 請求項1から請求項3のいずれか1項に記載の撮像装置において、
    前記全露光時間を示す値が、前記撮影光学系の焦点距離を示す値の逆数よりも大きいか否かを判定する判定部をさらに備え、
    前記判定部が前記全露光時間を示す値が前記撮影光学系の焦点距離を示す値の逆数よりも大きいと判定すると、前記撮像部は前記分割数の画像を生成し、前記合成部は前記分割数の画像を合成する
    ことを特徴とする撮像装置。
JP2004232762A 2004-08-09 2004-08-09 撮像装置 Expired - Fee Related JP4869572B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004232762A JP4869572B2 (ja) 2004-08-09 2004-08-09 撮像装置
US11/191,932 US7760237B2 (en) 2004-08-09 2005-07-29 Imaging device having a blur-correction function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232762A JP4869572B2 (ja) 2004-08-09 2004-08-09 撮像装置

Publications (2)

Publication Number Publication Date
JP2006054518A true JP2006054518A (ja) 2006-02-23
JP4869572B2 JP4869572B2 (ja) 2012-02-08

Family

ID=35757003

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232762A Expired - Fee Related JP4869572B2 (ja) 2004-08-09 2004-08-09 撮像装置

Country Status (2)

Country Link
US (1) US7760237B2 (ja)
JP (1) JP4869572B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048152A (ja) * 2006-08-16 2008-02-28 Casio Comput Co Ltd 動画処理装置、動画撮影装置および動画撮影プログラム
JP2013197892A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
US10178312B2 (en) 2014-12-03 2019-01-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method to position images to position images

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP4689328B2 (ja) * 2005-04-14 2011-05-25 キヤノン株式会社 撮影システム
TWI271998B (en) * 2005-09-21 2007-01-21 Inventec Appliances Corp Image processing method and apparatus thereof
JP2008307184A (ja) * 2007-06-13 2008-12-25 Fujifilm Corp 画像処理装置および画像処理プログラム
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8253810B2 (en) * 2007-12-05 2012-08-28 Aptina Imaging Corporation Method, apparatus and system for image stabilization using a single pixel array
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
CN102148950B (zh) * 2010-02-05 2015-02-11 赛恩倍吉科技顾问(深圳)有限公司 影像摄取系统及方法
JP6124588B2 (ja) * 2012-12-27 2017-05-10 キヤノン株式会社 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体
JP6165052B2 (ja) * 2013-12-26 2017-07-19 キヤノン株式会社 振れ補正装置、それを有する撮像装置、振れ補正方法、およびプログラム
CN104580905A (zh) * 2014-12-31 2015-04-29 广东欧珀移动通信有限公司 一种拍照方法及终端
JP7013730B2 (ja) * 2017-08-29 2022-02-15 株式会社Jvcケンウッド 画像生成制御装置、画像生成制御方法、及び画像生成制御プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5712474A (en) * 1993-09-29 1998-01-27 Canon Kabushiki Kaisha Image processing apparatus for correcting blurring of an image photographed by a video camera
JPH08140087A (ja) 1994-11-08 1996-05-31 Sony Corp 動き検出方法及びその装置並びにカメラ一体型記録装置
JPH09149313A (ja) 1995-11-27 1997-06-06 Sanyo Electric Co Ltd 動きベクトル検出方法
US6097896A (en) * 1997-08-25 2000-08-01 Nikon Corporation Motion compensation system having motion detection signal correction
JP2000224470A (ja) * 1999-02-02 2000-08-11 Minolta Co Ltd カメラシステム
US6778210B1 (en) * 1999-07-15 2004-08-17 Olympus Optical Co., Ltd. Image pickup apparatus with blur compensation
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
JP3697129B2 (ja) * 2000-01-20 2005-09-21 キヤノン株式会社 撮像装置
JP3424666B2 (ja) 2000-09-29 2003-07-07 ミノルタ株式会社 デジタルカメラのカメラボディ、および、デジタルカメラのカメラボディを制御するためのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4989825B2 (ja) 2001-07-19 2012-08-01 オリンパス株式会社 撮像装置
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048152A (ja) * 2006-08-16 2008-02-28 Casio Comput Co Ltd 動画処理装置、動画撮影装置および動画撮影プログラム
JP2013197892A (ja) * 2012-03-19 2013-09-30 Fujitsu Ltd 被写体認識装置、被写体認識方法及び被写体認識用コンピュータプログラム
US10178312B2 (en) 2014-12-03 2019-01-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method to position images to position images

Also Published As

Publication number Publication date
JP4869572B2 (ja) 2012-02-08
US20060028554A1 (en) 2006-02-09
US7760237B2 (en) 2010-07-20

Similar Documents

Publication Publication Date Title
US7760237B2 (en) Imaging device having a blur-correction function
US7260270B2 (en) Image creating device and image creating method
JP5778998B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
US8379096B2 (en) Information processing apparatus and method for synthesizing corrected image data
JP5643563B2 (ja) 画像処理装置及びその制御方法
JP5532297B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US20100295954A1 (en) Image processing apparatus and image processing method
JP2007129587A (ja) 撮像装置、交換式レンズ装置、撮像制御方法、歪曲収差補正用データ処理方法、及びコンピュータプログラム
JP2018107526A (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム
JP5095519B2 (ja) 撮像装置及び撮像方法
US9247124B2 (en) Imaging apparatus, semiconductor integrated circuit, and imaging method
JP2006229868A (ja) 画像処理装置及び方法、動き検出装置及び方法
JP4953770B2 (ja) 撮像装置
US9383626B2 (en) Imaging apparatus, focus control method, and program
JP2006080844A (ja) 電子カメラ
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP2011114486A (ja) 撮像装置
US20090244275A1 (en) Compound eye photographing apparatus, control method therefor, and program
JP2019071522A (ja) 撮像装置および制御方法
JPWO2006043315A1 (ja) 撮像装置および撮像装置を備えた携帯機器
JP2006319784A (ja) 画像処理装置および撮像装置
JP2010187207A (ja) 画像合成装置、画像合成プログラム、および画像合成方法
JP2004229084A (ja) 手振れ補正装置、手振れ補正方法及び撮像装置
US20240022706A1 (en) Evaluation method of image blur correction capability of image capturing apparatus, image capturing apparatus, and recording medium
JP2008167322A (ja) 撮像装置、撮像方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090911

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100120

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100203

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100521

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111116

R150 Certificate of patent or registration of utility model

Ref document number: 4869572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees