JP2007150445A

JP2007150445A - 撮像装置

Info

Publication number: JP2007150445A
Application number: JP2005339046A
Authority: JP
Inventors: Hisamune Sato; 久統佐藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-11-24
Filing date: 2005-11-24
Publication date: 2007-06-14
Anticipated expiration: 2025-11-24
Also published as: JP4547325B2

Abstract

【課題】手ブレを効果的に補正しながら電力の消費量を少なくする。
【解決手段】静止画の画像データは手ブレ補正回路３２に入力され、手ブレ補正部３３の画像メモリ３３ａに記憶される。ベクトル検出処理部３４は、順次画像メモリ３３ａから２つの静止画を読み出して両者のトリミング枠内の特定画像の位置変動から手ブレを表すベクトルを検出する。このベクトルを相殺するように手ブレ補正部３３がトリミング枠の位置をずらして手ブレを補正する。前記ベクトルはベクトル格納メモリ３５に記憶され、ベクトル比較器３６にて新たに検出されるベクトルが既に検出されたベクトルと比較される。一致するベクトルが一定の周期で現れる場合には、この周期を手ブレ周期Ｔｃとする。切替スイッチ３７が切り替えられ、以後の手ブレ補正は手ブレ周期Ｔｃのベクトルに基づいて行われ、ベクトル検出処理部３４，ベクトル比較器３６の動作が停止される。
【選択図】図４

Description

本発明は、撮像装置に関し、更に詳しくは動画撮影での手ブレを補正する撮像装置に関するものである。

動画を撮影する撮像装置としては、ビデオカメラやムービーカメラ（デジタルカメラにビデオカメラ機能を付加したもの）、また動画モードを備えたデジタルカメラやカメラ付き携帯電話，カメラ付きＰＤＡなどが知られている。

このような撮像装置で動画撮影を行うと、撮像装置を保持している撮影者の手の振動が撮像装置に伝わって、いわゆる手ブレが発生して見苦しい動画が撮影される場合がある。このため、手ブレを防止する機能を備えた撮像装置が種々提案されている。例えば、特許文献１記載の撮像装置は、角速度センサによって検出された振動信号に基づいて光軸を可変して手ブレを光学的に補正する光学式手振れ補正機能を備えている。

また、例えば、特許文献２記載の撮像装置は、動画を構成する静止画内の特定画像について所定の静止画内での位置と次の静止画内での位置とを比較して両者間の変動量を検出し、この変動量を相殺するように静止画の入力位置に対する出力位置を変更することにより手ブレを補正している。
特開２０００−３３３０７２号公報特開平１−１０９９７０号公報

ところが、上記のような手ブレ補正を行う撮像装置は、常に手ブレの検出を行っているため、電力の消耗が激しいという問題がある。

本発明は、手ブレを効果的に補正しながら電力の消費量を少なくすることができる撮像装置を提供することを目的とする。

本発明の撮像装置は、静止画を連続撮影するとともに各静止画を一定サイズのトリミング枠で切り出したトリミング画像により動画を構成する撮像装置において、前記静止画を撮影順に記憶する画像記憶部と、この画像記憶部に記憶された第１の静止画のトリミング画像と第２の静止画のトリミング画像とに共通する特定画像を定め、各トリミング画像内での特定画像の位置を比較することにより特定画像の位置変動をベクトルとして検出するベクトル検出部と、前記ベクトルを相殺するように、前記第２の静止画内におけるトリミング画像の位置を移動することにより手ブレを補正する手ブレ補正部と、前記ベクトルを撮影時間順に記憶するベクトル記憶部と、このベクトル記憶部に記憶されたベクトルを互いに比較し、方向及び大きさがほぼ同じとみなされるベクトルがほぼ一定の時間間隔で現れる場合、前記時間間隔を手ブレ周期として検出する手ブレ周期検出部と、この手ブレ周期検出部が手ブレ周期を検出して以降は、前記ベクトル検出部及び手ブレ周期検出部の動作を停止するとともに前記手ブレ補正部がベクトル記憶部から手ブレ周期のベクトルを読み出して手ブレ補正を行うように制御する制御部とを設けたことを特徴とする。

本発明の撮像装置によれば、手ブレ周期検出部により手ブレ周期が検出された以降は、ベクトル検出部及び手ブレ周期検出部の動作を停止するとともに手ブレ周期のベクトルに基づいて手ブレ補正を行うので、手ブレを効果的に補正しながら電力の消費量を少なくすることができる。

本発明の第１実施形態を示す図１において、デジタルカメラ１０のカメラボディ１１の前面には、沈胴式のレンズ鏡胴１２が設けられている。レンズ鏡胴１２にはズームレンズである撮影レンズ１３が保持されている。デジタルカメラ１０の上面には、シャッタボタン１５と、操作ダイヤル１６とが設けられている。この操作ダイヤル１６は、電源スイッチのオン／オフと、スチル撮影モード／動画撮影モード／再生モード／設定モードの切り換えとを行う。なお、前記動画撮影モードは、静止画を３０フレーム／秒の速度で連続撮影することにより、例えば最長３分間の動画を記録することができる。

図２において、デジタルカメラ１０の背面には、液晶パネル２０が設けられている。液晶パネル２０は、スチル及び動画の各撮影モードでは、電子ビューファインダとして機能し、撮像されたスルー画をリアルタイムに表示する。また、再生モードでは、メモリカード１８に記憶されている静止画や動画の画像データを読み出して静止画や動画を再生表示する。更に、設定モードでは、各種設定画面を表示する。

前記メモリカード１８は、デジタルカメラ１０の側面に設けられたメモリカードスロット２３に着脱自在に装填される。撮影モードで得た画像データはこのメモリカード１８に記憶される。また、カーソルボタン２４は、各種の設定の切り換えや、液晶パネル２０に表示される各種処理確認画面上の操作に用いられる。決定ボタン２５は、カーソルボタン２４によって選択された処理を実行する。

デジタルカメラ１０の電気的構成を示す図３において、制御部２６は、ＲＯＭ２７に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ２８に読み出して実行する。制御部２６は、シャッタボタン１５，操作ダイヤル１６，カーソルボタン２４及び決定ボタン２５の操作により発生する操作信号に従ってデジタルカメラ１０の各部を制御する。

撮影レンズ１３の背後には、ＣＣＤイメージセンサ２９が設けられている。ＣＣＤイメージセンサ２９は、撮影レンズ１３を透過して形成される被写体光を撮像信号として光電変換する。

ＣＤＳ／ＡＭＰ回路３０は、相関二重サンプリング回路（ＣＤＳ）と、増幅器（ＡＭＰ）とからなる。ＣＤＳは、ＣＣＤイメージセンサ２９が出力した撮像信号からＲ，Ｇ，Ｂのアナログ画像信号を生成する。ＡＭＰは、前記Ｒ，Ｇ，Ｂのアナログ画像信号を増幅する。Ａ／Ｄ変換器３１は、ＣＤＳ／ＡＭＰ回路３０から出力されたアナログ画像信号をデジタル画像信号である画像データに変換する。

前記Ａ／Ｄ変換器３１から出力された静止画の画像データは、手ブレ補正回路３２に入力される。この手ブレ補正回路３２は、図４に示すように、手ブレ補正部３３，ベクトル検出処理部３４，ベクトル格納メモリ３５，ベクトル比較器３６及び切替スイッチ３７からなる。

前記手ブレ補正部３３は、内蔵する画像メモリ３３ａに、Ａ／Ｄ変換器３１から入力された静止画の画像データを撮影順に記憶してゆく。前記画像メモリ３３ａに記憶される静止画の数は例えば１０個とし、１０個を超えて新しい静止画が記憶されると、古いものから順次消去される。

前記ベクトル検出処理部３４は、まず、前記画像メモリ３３ａから最初（第１）の静止画４０を読み込み、図５に示すように、一定サイズのトリミング枠４０ａで囲まれた動画用の範囲に特定画像４０ｂを設定する（Ａ）。次に、第２の静止画４１を読み込み、前記特定画像４０ｂと同じ画像である特定画像４１ｂの位置が特定画像４０ｂの位置に対してどのように移動したか、その方向と大きさから撮影時刻Ｔ１におけるベクトルα１を求める（Ｂ）。

この時、切替スイッチ３７はベクトル検出処理部３４を手ブレ補正部３３に接続しており（図４に実線で示す）、前記ベクトルα１は、ベクトル検出処理部３４から手ブレ補正部３３に送られる。手ブレ補正部３３は、静止画４１におけるトリミング枠４１ａの位置をベクトルα１だけずらして新たなトリミング枠４２ａとした静止画４２を出力する（Ｃ）。これにより、静止画４１の手ブレが補正され、以下同様にして各静止画の手ブレが順次補正される。

前記ベクトルα１は、ベクトル検出処理部３４からベクトル格納メモリ３５に送られ、記憶される。そして、次の時刻Ｔ２におけるベクトルα２がベクトル検出処理部３４から出力されると、ベクトルα２はベクトル格納メモリ３５に記憶されるとともに、ベクトル比較器３６に入力される。そして、ベクトル比較器３６でベクトルα１とベクトルα２とが比較される。なお、上述したように、動画は静止画を３０フレーム／秒の速度で連続撮影するから、時刻Ｔ１と時刻Ｔ２との時間差は１／３０秒である。

次に、ベクトル検出処理部３４からベクトルα３が出力されると、このベクトルα３は、ベクトル格納メモリ３５に記憶されるとともに、ベクトル比較器３６に入力され、ベクトルα３がベクトルα１，α２と比較される。以下同様に、新しいベクトルαＮが、それ以前のベクトルα１〜αＮ−１と比較される。

前記比較の結果、例えば時刻Ｔ１のベクトルα１と時刻Ｔ９のベクトルα９とが一致し、時刻Ｔ２のベクトルα２と時刻Ｔ１０のベクトルα１０とが一致し、・・・、時刻Ｔ８のベクトルα８と時刻Ｔ１６のベクトルα１６とが一致するから、図６に示すように、時刻Ｔ１から時刻Ｔ８までを１周期とする手ブレ周期Ｔｃが検出される。

このように手ブレ周期Ｔｃが検出されると、この手ブレ周期Ｔｃの検出信号がベクトル比較器３６からデータバス４６を介して制御部２６に送られ、制御部２６は切替スイッチ３７を破線で示す位置に切り替え、手ブレ補正部３３との接続をベクトル検出処理部３４からベクトル格納メモリ３５に変更する。これにより、以後の手ブレ補正に用いられるベクトルは、ベクトル格納メモリ３５から手ブレ補正部３３に入力されるようになり、ベクトル検出処理部３４及びベクトル比較器３６の動作は停止される。この結果、手ブレ補正回路３２で消費される電力は大幅に減少し、デジタルカメラ１０の無駄な電力の消耗を防止できる。

手ブレ補正回路３２によって手ブレが補正された画像データは、データバス４６を介してＳＤＲＡＭ４８に一旦格納される。画像信号処理回路５０は、ＳＤＲＡＭ４８から読み出した画像データに対し、階調変換、ホワイトバランス補正、γ補正、ＹＣ変換処理などの各画像処理を施す。ＶＲＡＭ５１は、画像信号処理回路５０で各種画像処理が施された画像データを表示用画像データとして一時的に記憶する。ビデオエンコーダ５２は、ＶＲＡＭ５１に書き込まれた表示用画像データをコンポジット信号に変換し、液晶パネル２０にスルー画を表示させる。

圧縮伸長処理回路５３は、シャッタボタン１５の全押し操作により撮影が実行されたときに、画像信号処理回路５０で各種画像処理が施された画像データに対して、例えば、ＪＰＥＧ形式などの所定の圧縮形式で画像圧縮を施す。圧縮された画像データは、メディアコントローラ５４を経由して、メモリカード１８に記憶される。

このように構成されたデジタルカメラ１０の動作について、図７に示すフローチャートを参照して説明する。デジタルカメラ１０によって動画撮影を行うには、まず操作ダイヤル１６を操作してデジタルカメラ１０の電源を投入し、動画撮影モードを選択する（ステップ（以下ｓｔと記載する）１）。

シャッタボタン１５を押圧すると、動画撮影が開始される（ｓｔ２）。この動画撮影では、静止画が３０フレーム／秒で連続撮影される。撮影レンズ１３を透過して形成される被写体光は、ＣＣＤイメージセンサ２９により光電変換され撮像信号となる。この撮像信号は、ＣＤＳ／ＡＭＰ回路３０を経由してアナログの画像データとなり、更にＡ／Ｄ変換器３１でデジタルの画像データに変換される。

デジタル変換された静止画の画像データは手ブレ補正回路３２に入力され、一旦手ブレ補正部３３の画像メモリ３３ａに記憶される。ベクトル検出処理部３４は、順次画像メモリ３３ａから２つの静止画を読み出して両者のトリミング枠内の特定画像の位置変動から手ブレを表すベクトルを検出する（ｓｔ３）。このベクトルを相殺するように手ブレ補正部３３がトリミング枠の位置をずらすことにより手ブレを補正する（ｓｔ４）。

このように手ブレを補正しながら、検出されたベクトルはベクトル格納メモリ３５に記憶される。そして、ベクトル比較器３６にて、新たに検出されるベクトルが既に検出されたベクトルと比較される。一致するベクトルが一定の周期で現れる場合には、この周期を手ブレ周期Ｔｃとする（ｓｔ５）。

手ブレ周期Ｔｃが検出されると、制御部２６は切替スイッチ３７を切り替えて、ベクトル格納メモリ３５を手ブレ補正部３３に接続する。これにより、以後の手ブレ補正は、ベクトル格納メモリ３５から読み出される手ブレ周期Ｔｃのベクトルに基づいて行われる。また、これと同時に、制御部２６は、ベクトル検出処理部３４及びベクトル比較器３６の動作を停止する（ｓｔ６）。

これにより、手ブレ補正回路３２で消費される電力は大幅に減少し、デジタルカメラ１０の無駄な電力の消耗を防止できる。また、手ブレ周期Ｔｃが検出されない場合には、切替スイッチ３７は切り替えられず、ベクトル検出処理部３４によって検出されるベクトルに基づいて手ブレ補正部３３が手ブレ補正を行う（ｓｔ７）。

手ブレ補正回路３２によって手ブレが補正された静止画の画像データは、データバス４６を介してＳＤＲＡＭ４８に順次記録される。ＳＤＲＡＭ４８に記録された画像データは、画像信号処理回路５０により、階調変換、ホワイトバランス補正、γ補正、ＹＣ変換処理などの各種画像処理を施された後、表示用画像データはＶＲＡＭ５１に格納され、ビデオエンコーダ５２を介して液晶パネル２０にスルー画として表示される。

また、記録用画像データは、圧縮伸長処理回路５３により圧縮処理を施された後、メディアコントローラ５４を介してメモリカード１８に格納される。そして、動画撮影の時間、例えば３分が経過すると撮影動作が自動終了する（ｓｔ８）。

なお、ベクトルα１とベクトルα９とは、互いの方向と大きさが完全に一致しなくても、方向の差と大きさの差にそれぞれ許容範囲を設定し、各差が許容範囲に入れば、互いに一致するとみなす。また、方向と大きさが同じベクトルが現れる時間間隔が一定していない場合、そのばらつきが予め定めた許容範囲内に納まっていれば一定とみなし、複数の時間間隔を平均した値を手ブレ周期Ｔｃとする。

以上説明した実施形態では、手ブレ周期の検出を動画撮影を開始する都度行うようにしたが、手ブレ周期は、一般的には撮影者固有のものであるから、撮影者が同じであれば、常に同じ手ブレ周期とみなし、例えばデジタルカメラの電源をＯＮにする毎に手ブレ周期の検出を行うようにしてもよい。

また、上記実施形態は、デジタルカメラであったが、本発明はこれに限定されることなく、撮像装置としては、ビデオカメラやムービーカメラ、また動画モードを備えたカメラ付き携帯電話やカメラ付きＰＤＡなどでもよい。

デジタルカメラの前面側の斜視図である。デジタルカメラの背面側の斜視図である。デジタルカメラの電気的構成を示すブロック図である。手ブレ補正回路の構成を示すブロック図である。手ブレ補正の仕方を示す説明図である。手ブレ周期を示すグラフである。手ブレ補正に係る手順を示すフローチャートである。

符号の説明

１０デジタルカメラ
２６制御部
３２手ブレ補正回路
３３手ブレ補正部
３３ａ画像メモリ
３４ベクトル検出処理部
３５ベクトル値格納メモリ
３６ベクトル比較器
４０〜４２静止画
４０ａ〜４２ａブレ検出領域
Ｔｃ手ブレ周期

Claims

静止画を連続撮影するとともに各静止画を一定サイズのトリミング枠で切り出したトリミング画像により動画を構成する撮像装置において、
前記静止画を撮影順に記憶する画像記憶部と、
この画像記憶部に記憶された第１の静止画のトリミング画像と第２の静止画のトリミング画像とに共通する特定画像を定め、各トリミング画像内での特定画像の位置を比較することにより特定画像の位置変動をベクトルとして検出するベクトル検出部と、
前記ベクトルを相殺するように、前記第２の静止画内におけるトリミング画像の位置を移動することにより手ブレを補正する手ブレ補正部と、
前記ベクトルを撮影時間順に記憶するベクトル記憶部と、
このベクトル記憶部に記憶されたベクトルを互いに比較し、方向及び大きさがほぼ同じとみなされるベクトルがほぼ一定の時間間隔で現れる場合、前記時間間隔を手ブレ周期として検出する手ブレ周期検出部と、
この手ブレ周期検出部が手ブレ周期を検出して以降は、前記ベクトル検出部及び手ブレ周期検出部の動作を停止するとともに前記手ブレ補正部がベクトル記憶部から手ブレ周期のベクトルを読み出して手ブレ補正を行うように制御する制御部と
を設けたことを特徴とする撮像装置。