JP2006067291A - 撮像装置 - Google Patents

Abstract

【課題】多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる。
【解決手段】静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。
【選択図】 図１

Description

本発明は多画素を有する静止画／動画撮像装置の手ぶれ補正、特に電気的な補正方法に関する。

従来、主に静止画を撮像する静止画カメラ、俗にデジカメは、動画を主に撮像するカムコーダとは別物であった。両者に用いられる撮像センサの画素数や、前記静止画や動画を記録するための記録媒体は、両者で大きく異なっていた。

しかしカードメモリあるいは小型ハードディスク等の安価な大容量メモリや、高集積化された多画素化撮像センサの実現によって、両者の差が埋まりつつあるのが現状である。

前記多画素（数百万画素程度）センサを有するデジカメは、前述のように静止画と動画が撮像可能であるものの、前記カードメモリの容量不足等から、現状では高品質な前記動画像の長時間撮像は実現されていない。

また前記多画素センサからフレーム画像を出力するには多大な時間を必要とするため、前記静止画の連写速度や動画のフレームレート（ｆｐｓ）は低めである。

また前記多画素センサは、前記デジカメのモニタである液晶ディスプレー（ＬＣＤ）にリアルタイムで表示画像を出力する必要から、前記全画素を使用したフレーム画像ではなく、前記画素のうちの一部のみを使用した解像度の低い画像（以下低解像度画像）を出力する機能を有している。

前記低解像度画像は前述のように全画素を使用していないため、例えば秒間１５あるいは３０フレームの高速出力が可能である。これらは一部のＣＣＤ型センサで、既に実現されている。

また前記低解像度高速フレームレート画像は、前記動画像にも流用される事が有る。

前記多画素センサからの表示画像の出力は、一般には以下のような手順で行われていた。

まず撮像センサの代表的なＣＣＤ型センサでは、
１）ホトダイオードでの光電荷蓄積
２）垂直転送路への出力
３）垂直転送路内での垂直方向の電荷加算
４）水平転送路への出力
５）垂直加算された低解像度画像の取得
あるいはＣＭＯＳ型センサでは、
１）ホトダイオードでの光電荷蓄積
２）特定の垂直線の選択
３）特定画素の光信号の垂直信号線への出力
４）画素間引きされた低解像度画像の取得
である。

ＣＣＤ撮像センサにおける前記垂直転送路内での電荷加算には、光電荷増大、感度アップ（最低照度向上）、データ数減少、読出し回数減少、高速化という、一石二鳥の効果が有る。その為広く利用されている技術である。

一般に動画撮像の際には静止画のようにフラッシュが使用出来ないので、高い感度（低い最低照度）は、カムコーダの必要条件である。

また多画素センサからの高速な光情報の読出しは、ＣＭＯＳ撮像センサにおいても同様に問題となる。従って高いフレームレートが必要な動画撮像やＬＣＤの表示には、前述したようにもっぱら間引き読出しが使用されている。

また、前記撮像装置には、手ぶれ補正手段を備えているのが通常である。

前記手段は大別すると、光学式と電気式に分かれる。光学式とは加速度等を検出するセンサと光学系を駆動するアクチュエータとを有し、前記センサによって検出されたカメラのぶれ、加速度を、前記アクチュエータを駆動する事によって除去するものである。

また電気式とは、前記画像を検出する画像領域の外側にも有効な画素を有し、前記カメラのぶれによって前記センサ上で例え画像がぶれたとしても、前記ぶれた画像の前後から画像処理によって前記画像の相対的なぶれ（ずれ）を検出して補正し、前記画像間のぶれを目立たなくする方法である。

類似の処理は、実は人間の脳内でも行われている。

図１５は従来例である、電気的手ぶれ補正手段の動作シーケンスである。

撮像センサによってフレーム画像を取得し、低解像度画像を形成後、前フレームの低解像度画像を読み出し、両画像の相関比較を行い手ぶれ量を検出し、補正を行った後、現補正画像（動画像）を記録媒体に記録する。

また前記電気式手ぶれ補正方法は、前記画像の信号をＹ−Ｃ分離して一度輝度信号に変換してから行うと、精度良く行う事ができる。そのような例には、例えば特許文献１、特許文献２等が有る。
特開平２−２３３０７３号公報 特開平６−４６３１１号公報 特開平１０−１５５１００号公報

しかし、前述した従来の手ぶれ補正手段には、
１）光学式は新たな追加機構を必要とするため高価
２）電気式は画素領域、光学系が大きくなるため高価
３）電気式は間引いたフレーム画像を手ぶれ補正に使用するため、精度が不充分
４）電気式は静止画の長秒露光に対する手ぶれ補正が出来ない
という欠点が存在する。

光学式は、従来は前記撮像センサが高価であったため、前記センサのチップ面積を増大させる事のない比較的安価な手法であった。また用いる光学系も、前記電気式に比べると一段小さな口径で済むため、比較的安価な手法であった。

それに比べると電気式は、前記画像を撮像する画素領域の周囲に余分な画素を必要としたためチップ面積が増大し、前記センサが高価格化していた。

しかし前述したように半導体の微細化により前記センサや光学系の口径が小口径化した現在においては主客が逆転し、２）よりもむしろ１）の方が問題になりつつ有る。

また３）は、前述したように多画素からのフルフレーム画像の高速度読出しが現実上不可能であるため、間引き等の読出しによって前記動画像（低解像度画像）が形成されているのが通常である。

しかしこの出力された低解像度画像を用いて手ぶれ補正を行ったとしても、前記画素ピッチが粗いため、前記撮像された元のフルフレーム画像程度ほどには、正確に補正する事が出来ない。

また４）は、一般には光学式で補正するのが簡便である。

電気式ではフレーム画像蓄積中（光信号電荷蓄積中）にぶれるため、工夫をしない限り前記手ぶれの補正は出来ない。

本発明は、以上の点に着目して成されたもので、多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる撮像装置を提供することを目的とする。

本発明は上述した１）、３）、４）の欠点を除去するものである。

本発明は部品点数が増え、価格が上昇する光学式手ぶれ補正を採用しない。

本発明は、比較的多画素な撮像領域と、記憶手段と、画像処理手段と、記録手段とを用い、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う。

それにより手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から動画像となる低解像度画像を形成し、前記記録手段に記録を行う。

また本発明は、長秒露光の静止画の撮像を行う比較的多画素な撮像領域と、記憶手段と、画像処理手段と、記録手段とを用い、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う。

それにより手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から前記手ぶれを修正した画像を形成し、前記読み出された画像と共に画像処理を行い過渡的な画像を形成し、前記作成した過渡的な画像を改めて前記記憶手段に書き込みを行い、前記静止画の露光時間が終了した後に、前記記憶手段中に格納されている過渡的な画像を静止画として前記記録手段に記録を行う。

また動画像だけでなく、長秒露光の静止画像における手ぶれも、前記露光期間中を複数の期間に分け、その各々の期間でフレーム画像を取得し、前記複数のフレーム画像間で手ぶれ補正を行って全体の静止画像のフレームを作成する。

また単板式撮像装置等、各画素において輝度信号が欠けるような画素配列を有する撮像装置においては、前記フレーム画像から輝度信号に相当する成分を算出、それに対して前記手ぶれの評価、比較を行うのが適当である。

また本発明は先の公報、特許文献１、特許文献２とは、以下の点で異なっている。
１）本発明では特許文献１公報に記載の減算は行わない
２）同、警告を発しない
３）同、警告発生部を有しない
４）本発明では特許文献２公報に記載の輝度信号の高域成分を積分しない
５）同、積分回路を有しない
６）同、積分回路出力をオートフォーカス、オートアイリス、オートホワイトバランス制御に用いない

さらに説明すれば、本発明の技術内容は以下の構成を備えることにより前記課題を解決できた。

（１）静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。

本発明によれば、多画素を有する静止画／動画撮像装置の手ぶれ補正を、高性能、安価に行う事ができる。

以下本発明を実施するための最良の形態を、実施例により詳しく説明する。

図１に本発明の第一実施例である、スチルアンドムービーカメラの動画撮像シーケンスを示す。

また図２は、本第一実施例の電気回路のシステムブロック図である。

また図１０は、本第一実施例の画素部の構成を示す図である。

点線で囲まれた部分１０１は、単一の画素に相当する部分である。

本実施例の撮像センサは、ＣＭＯＳアクティブピクセル型のモノクロセンサであり、前記センサの撮像領域とは、画素数横１５３６列、縦１１５２行、計１７６９４７２個の画素を有する。このうち、横１２８０列、縦９６０行の大きさの領域が、動画像のフレーム領域に相当している。

１０２は光電変換手段であるホトダイオードであり、入射する光を電荷に変換する。

蓄積された光電荷は、転送ＭＯＳ１０３を開ける事で増幅アンプ１０４のゲートに転送される。前記転送された電荷は、その電荷量に応じて前記ＭＯＳ１０４の主電極を流れる電流を変調する。１０５は前記画素１０１をアドレッシングするための選択ＭＯＳであり、水平線１１０によって活性化される。

前記ＭＯＳ１０５が開くと、電源から流れ出た電流は前記ＭＯＳ１０４によって変調され、垂直線１０７に流れ出る。

このように前記垂直線には、３４．７μＳ（１／９６０＊３０＝３．４７＊１０＾（−５））毎に、各画素の光信号が出力される。また３３ｍＳ毎に、１フレームの画像信号が形成される（３０ｆｐｓ）。

１０６は前記ＭＯＳ１０４のゲートと、前記ホトダイオード１０２の電位を固定、リセットするためのリセットＭＯＳである。

前記単一の画素１０１は、このように１つのホトダイオード、４つのＭＯＳトランジスタからなる。

前記垂直線１０７は差動増幅器１１２に接続されており、公知のＣＤＳ動作によってまずアンプ１０４のリセット電位が−端子に取り込まれ、次いで前記光電荷に対応した電流が作り出す電位が＋端子に取り込まれる。

前記差動増幅器１１２によって両者の電位の差が取られ、前記電位の差を電圧として後段のＡＤコンバータ１１３に送る。前記各垂直線１０７毎に対応したカラム型ＡＤコンバータ１１３によって、前記アナログ信号電圧は、デジタル信号に変換される。前記変換されたデジタル信号は、８ビットのパラレル信号として端子１１４に出力される。

１１４は、前記８ビットのパラレル信号が出力される出力端子である。また前記出力端子１１４は、図示しない撮像センサの出力バッファに接続されている。

また１１１は、各水平線１０８、１０９、１１０を制御する水平シフトレジスタである。

図１０に示した本第一実施例のセンサは、前述したように各垂直線毎にＡＤコンバータを有するために、その動作は、非常に高速である。前記各ＡＤコンバータ１１３は、１秒間に９６０＊３０＝１８９００個のアナログ信号をデジタル化するだけで良いからである。

図２に示したセンサ２１は、図１０に示した画素部と前記出力バッファと、それらを制御する制御回路から成っている。２２は、前記出力バッファから各水平線／垂直線のデジタル化された８ビットの画素信号が時系列的にパラレル出力されるバスである。

２３は前記センサから出力される水平線１１５２本、垂直線１５３６本、計１７６９４７２個の８ビット画素情報を格納する、記憶手段である情報容量４ＭＢのフレームメモリである。

前記メモリ２３の容量は、１枚のフレーム画像が必要とする容量の２枚分（１．７７ＭＢ＊２＝３．５４ＭＢ）以上を確保している。

以下、図１を基にして、本実施例の動作を説明する。

モノクロセンサ２１によって撮像された１７６９４７２画素の現フレーム画像は、一旦フレームメモリ２３に書き込まれる。書き込む場所は、後述する前記メモリ２３中の不要になった画像が格納されている番地である。

画像処理手段である計算機２４は、前記フレームメモリ２３中に格納されている前フレーム画像を読出し、現在のフレーム画像との比較をパターンマッチング法によって行う。

パターンマッチング法とは、以下のような方法である。
Σ（Ｐｐ（ｘ＋α，ｙ＋β）−Ｐｌ（ｘ，ｙ））＜＝Ｖｔｈ ・・・（１）
ここでＰｐ（ｘ，ｙ）は画素座標（ｘ，ｙ）の画素の現在の光強度であり、Ｐｌ（ｘ，ｙ）は同じく一つ前のフレームの光強度である。またΣは、ｘの全ての領域（０から１５３５）とｙの全ての領域（０から１１５１）で取られる。ただし、相手の番地が前記領域から外れる時は（つまり、存在しない時は）、そのペアに関しては評価、加算されない。

αとβは、手ぶれを表すパラメータであり、左辺の量が最小となる値がその適当値である。
ｆ（ａ，ｂ）＝Σ（Ｐｐ（ｘ＋ａ，ｙ＋ｂ）−Ｐｌ（ｘ，ｙ）） ・・・（２）
ｆ（α，β）＝ｍｉｎｆ（ａ，ｂ） ・・・（３）
またパターンマッチング法では、前記左辺の値が予め決められた右辺の値Ｖｔｈよりも小さくならないと終了しない（パターンマッチングの由来）。

この（１）式が成立して、初めてパターンマッチングが得られたことになる。

計算機２４は、式（１）、（２）、（３）から手ぶれ量（α，β）を求める。

前記求めた手ぶれ量から、現フレーム画像を修正する。修正の方法は、
Ｐｐｎ（ｘ，ｙ）＝Ｐｐ（ｘ＋α，ｙ＋β） ・・・（４）
である。ここでＰｐｎは、修正後の各画素の光強度である。

修正されたフレーム画像は、前記フレームメモリ２３に書き込まれる。この時点で、前記メモリ２３中に書き込まれていた現フレーム画像は不要となる。この場所が、次のフレームでは、最初のフレーム画像が書き込まれる場所になる。

また書き込まれた修正画像は、次のフレームでは前記メモリ２３から読み出される前フレーム画像に相当するものとなる。

また、動画像のフレーム画像（低解像度画像）も、同様な方法で作成する。
Ｐｓ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋β） ・・・（５）
ここでＰｓは、画素数３２０＊２４０＝７６８００の低解像度画像であり、Ｐｐは前述の現在フレーム画像（フルフレーム画像）である。またｋは１２８０／３２０＝４の定数である。

本実施例では、前記低解像度画像の画素数は、前記フルフレーム画像のそれの１／１６以下になっている。

作成された低解像度画像は、記録手段であるカードメモリ２５に書き込まれる。

２６は前記バス２２やフレームメモリ２３、計算機２４、記録媒体２５、メインメモリ２７を制御するプロセッサである。前記プロセッサ２６は、本実施例のカメラ全体を支配するメインプロセッサである。

前記記録媒体２５中に格納されている動画像は、必要に応じて再生される。

本実施例によれば、撮像センサ全部の画素を用いて手ぶれ検出を行っているため、前記手ぶれ量の精密な検出が可能である。従って前記センサから出力されるフルフレーム画像（１２８０＊９６０）から作成した低解像度動画像（３２０＊２４０）は、手ぶれなく滑らかに連続再生する事ができる。

また本実施例に用いるセンサは、ＣＭＯＳ型に限らずＣＣＤ型、ＪＦＥＴ型等、公知の撮像センサでも良い。

また、本実施例に用いた高速なカラム型ＡＤコンバータ方式は、前記センサからフルフレーム画像の読出しを行う為に採用しているが、前記フルフレーム画像を読み出せる他の高速な読出し方法を用いても、勿論構わない。

また本実施例の計算機２４は、何も専用のハードウェアロジックやコプロセッサを用いなくとも、多少前記計算能力、画像処理能力には劣るものの、前記プロセッサ２６＋画像処理ソフトウェアでも実現する事ができる。

また本実施例で行ったパターンマッチング法による手ぶれ量の検出は、何もフレーム画像全体で行う必要はなく、例えば部分的な画像、前記フレーム画像中の任意の３あるいは５つの領域等を用いても可能である。

また、半導体集積回路（ＩＣ）の集積度が向上すれば、上記図２の撮像装置システムをより少ない数のＩＣ、典型的には１チップで実現可能となる。

本発明の第二実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図３に示す。

また図４は、本第二実施例の電気回路のシステムブロック図である。

撮像センサ４１は、画素数３０７２＊２３０４＝７０７７８８８を有する単板式カラーセンサである。前記センサには、カラーフィルタの画素Ｒ，Ｇ１，Ｇ２，Ｂ（１２１）が、公知の市松模様で繰り返し配列されている（図１１）。

センサ４１によって撮像されたフルフレーム画像は、記憶手段であるメインメモリ４７に一時的に書き込まれる。前記フルフレーム画像が書き込まれるメモリ位置は、毎回同じである。（上書き）計算機４３は、前記書き込まれたフレーム画像から、その重心の位置を計算する。

重心位置の計算方法とは、以下のような方法である。
Ｇｐｘ＝Σ（Ｐｐ（ｘ，ｙ）＊ｘ）／ΣＰｐ（ｘ，ｙ） ・・・（６）
Ｇｐｙ＝Σ（Ｐｐ（ｘ，ｙ）＊ｙ）／ΣＰｐ（ｘ，ｙ） ・・・（７）
ここでＧｐｘとはＧ画素の光強度の重心のｘ座標で、Ｇｐｙは同様にｙ座標である。

Ｐｐ（ｘ，ｙ）は、現在フレームの各画素の光強度である。またΣは、前記画素領域に存在するＧ１、Ｇ２画素の全てに対して取られる。

計算された重心位置（Ｇｐｘ，Ｇｐｙ）は、前記メモリ４７に書き込まれる。

また一つ前のフレーム（前フレーム）の重心位置も読み出され、両者は比較される。
α＝Ｇｐｘ−Ｇｌｘ ・・・（８）
β＝Ｇｐｙ−Ｇｌｙ ・・・（９）
ここでα、βは手ぶれ量であり、Ｇｌｘ、Ｇｌｙは、ひとフレーム前の重心位置である。

ここでＲ，Ｇ１，Ｇ２，Ｂは、２画素周期のカラー配列であるので、α，βが奇数の場合には、前記値を各々α−１、β−１の値に修正を行う。

また前記αやβの値が予め決められた値Ｖｔｈよりも大きい場合には、前記原因は手ぶれではないとして（例えばパンニング時）手ぶれ補正を行わない（α＝β＝０）。

修正された重心の位置は、前記重心位置（Ｇｐｘ，Ｇｐｙ）が格納されていたメモリ４７位置に上書きされる。

得られた手ぶれ量α，βを基にして、画像作成機４４は、以下の式
Ｐｓｇ１（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋β） ・・・（１０）
Ｐｓｇ２（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋１＋α，ｙ＊ｋ＋１＋β） ・・・（１１）
Ｐｓｒ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋α，ｙ＊ｋ＋１＋β） ・・・（１２）
Ｐｓｂ（ｘ，ｙ）＝Ｐｐ（ｘ＊ｋ＋１＋α，ｙ＊ｋ＋β） ・・・（１３）
Ｐｓｇ（ｘ，ｙ）＝（Ｐｓｇ１（ｘ，ｙ）＋Ｐｓｇ２（ｘ，ｙ））／２・・（１４）
で低解像度動画像を作成する。

ここでＰｓｇ１からＰｓｇｂまでは、前記市松フィルタに対応する各Ｒ，Ｇ１，Ｇ２，Ｂ画素の低解像度画像での光強度である。ここでｋ＝２５６０／６４０＝４の定数である。またＰｓｇは前記Ｐｓｇ１とＰｓｇ２から作成されるＧの光強度である。

本実施例では６４０＊４８０画素からなるＲ、Ｇ、Ｂプレーンを計３枚、記録媒体４５に書き込む。

本実施例によれば、前記手ぶれ量の検出は前記フルフレーム画像を用いて行われるので、精度よく行う事ができる。

また、前記各色プレーンの検出も、従来例のように低解像度画像から行われるのではなくフルフレーム画像から行われるので、偽色や混色の恐れのない、正確な色を得ることができる。

また、前記手ぶれの検出はパターンマッチング法ではなく重心検出法で行うので、フレームメモリが不要であり、その分簡単安価にシステムを構築する事ができる。

また本実施例に用いるカラーフィルタの配列は、何も前記市松模様に限ることはなく、デルタ配列等、公知のそれでよい。

また前記手ぶれ量の補正方法はα−１、β−１でなく、α＋１、β＋１等でも良い。

また前記低解像度画像の色の作成は、前記対応する１画素の光情報から行うのではなく、例えば下記に示すように、周囲の複数の光情報を用いても良い（加算または平均操作）。
Ｐｓｇ１（ｘ，ｙ）＝ΣＰｐ（ｘ＊ｋ＋α＋ｉ，ｙ＊ｋ＋β＋ｊ）／Σ１・・（１５）
ｉとｊは加算のためのパラメータであり、前記Σはｉ＝−２，０，２，ｊ＝−２，０，２の計９個の画素に対して和が取られる。

また本実施例に用いる動画像の画素数は、任意である。例えばＱＶＧＡの３２０＊２４０画素でもよい。また前記色プレーンの構成も任意で良い。例えば補色Ｙｅ，Ｍ，Ｃｙでも良い。また輝度と色差でもよい。

本発明の第三実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図５に示す。

また図６は、本第三実施例の電気回路のシステムブロック図である。

本実施例の撮像センサ６１は、画素数１２８０＊９６０の画素を有するモノクロセンサである。

本実施例では併進方向の手ぶれ補正だけでなく、回転方向の手ぶれの補正も行う。

フレーム画像は一時メモリ６７に書き込まれた後、前述のように重心の計算が行われる。

それとともに、回転に対して不変的ではない、回転可変量が計算される。本実施例では、それは下式に相当する量である。
Ｒｖ（θ）＝ΣＰｐ（ｘｇ＋ｕ，ｙｇ＋ｖ） ・・・（１６）
ｕ＝ｉｎｔ（ｒ＊ｃｏｓθ） ・・・（１７）
ｖ＝ｉｎｔ（ｒ＊ｓｉｎθ） ・・・（１８）
−ｗ＜＝ｒ＜＝ｗ ・・・（１９）
ここでＲｖ（θ）は回転可変量であり、（１６）式で定義される。

Ｐｐ（ｘ，ｙ）は現フレーム画像の、座標（ｘ，ｙ）に有る画素の光強度である。

（ｘｇ，ｙｇ）は現フレーム画像の重心の位置であり、ｕ，ｖは（１７）、（１８）式で定義される共変パラメータである。

またｉｎｔ（ｘ）関数は、変数ｘを整数化する関数である。

ｒは積算パラメータであり、Σはこのｒに対して和が取られる。前記パラメータｒは、フレーム画像の領域全体に渡る。ここでｗは、センサの列の数（１２８０）である。

式（１７）、（１８）が表現するのは、フレーム画像の行に対して角度θだけ傾いた直線である。

本実施例では、前記回転可変量Ｒｖ（θ）は、０．１度刻みでθ＝−５度〜＋５度の範囲で計算される。

このようにして計算機６３で計算された現フレームの重心（ｘｇ，ｙｇ）と回転可変量Ｒｖ（θ）が、メモリ６７に書き込まれる。

次いで前フレームの両計算値が読み出される。

まず重心の比較が行われ、現フレームの重心が前フレームの重心に対して合わせられる。

これにより手ぶれ量α，βは、以下のように求まる。
α＝ｘｇｐ−ｘｇｌ ・・・（２０）
β＝ｙｇｐ−ｙｇｌ ・・・（２１）
ここでｘｇｐは現在の重心座標ｘであり、ｘｇｌは前フレーム画像の重心座標ｘである。

また手ぶれ量の回転に相当する量φは、前回の回転可変量Ｒｖｌ（０）と現在の回転可変量Ｒｖｐ（θ）とを比較し、最も近い値をφとする。
｜Ｒｖｐ（φ）−Ｒｖｌ（０）｜＝ｍｉｎ（｜Ｒｖｐ（θ）−Ｒｖｌ（０）｜）・・（２２）
このようにして求められたα，β，φを用いて、前記現フレームの重心値と回転可変量を修正する。

また同様にして、低解像度画像Ｐｓ（ｘ，ｙ）を形成する。
Ｐｓ（ｘ，ｙ）＝Ｐｐ（ｕ，ｖ） ・・・（２３）
ｕ＝ｋ＊ｘ＋α＋ｉｎｔ（ｌ＊ｃｏｓφ−ｍ＊ｓｉｎφ） ・・・（２４）
ｖ＝ｋ＊ｙ＋β＋ｉｎｔ（ｌ＊ｓｉｎφ＋ｍ＊ｃｏｓφ） ・・・（２５）
ｌ＝（ｋ＊ｘ＋α）−ｘｇｐ ・・・（２６）
ｍ＝（ｋ＊ｙ＋β）−ｙｇｐ ・・・（２７）
ここでｋは＝２の定数である。

このようにして作成された低解像度動画像は、記録媒体６５に記録される。

本実施例によれば、併進だけでなく、回転の手ぶれをも補正することができる。

またその回転補正も０．１度刻みと精細なため、手ぶれを除去した動画像は、滑らかに繋がる画像となる。

また両フレーム比較に必要な情報量も重心位置と回転可変量だけであるので、前記メモリ６７の容量を最小にする事ができる。

本発明の第四実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図７に示す。

また図８は、本第四実施例の電気回路のシステムブロック図である。

本実施例は、第三実施例のように、併進と回転の手ぶれを補正する。

図７に示すように併進は重心を検出する事によって行う。また回転はパターンマッチング法によって行う。

他の実施例と同様に、センサ８１から出力されたフルフレーム画像は、フレームメモリ８３に書き込まれる。前記画像の重心位置が計算機８４によって計算され、同様にメモリ８７に書き込まれる。また一つ前のフレームの重心位置が読み出され、両者の比較が行われ、手ぶれ量の併進要素（先のα，βに相当）が検出される。

それに従って前記現フレームの重心位置が修正され、前記修正された重心位置は前記メモリ８７に上書きされる。

次いで現フレーム画像で、式（２０）、（２１）で表されたような画像位置の修正（重心補正）が行われる。この修正されたフレーム画像は、フレームメモリ８３に書き込まれる。

次いで前フレーム画像がフレームメモリ８３から読み出され、パターンマッチング法によって両者の画像の回転ずれ比較が行われる。このようにして検出された手ぶれ量の回転要素（先のφに相当）は、先の併進要素とともに低解像度画像の作成に利用される。

同様にして計算機８４によって作成された手ぶれ補正が行われた低解像度画像は、記録媒体８５に記録される。

本実施例によれば、第三実施例よりも更に高精度な両画像の回転位置合わせが可能であり、前記手ぶれの回転方向のずれ量をより高精度に補正する事ができる。

本発明の第五実施例である、スチルアンドムービーカメラの動画撮像シーケンスを図９に示す。

本実施例の電気回路のシステムブロックは、図２と同様である。

本実施例の撮像センサ２１はカラーセンサである。

バス２２に出力されたフレーム画像は、まずフレームメモリ２３に書き込まれる。

次に輝度信号作成の順である。輝度信号Ｙとは、以下に示すような信号である。
Ｙ＝Ｃｒ＊Ｐｒ＋Ｃｇ＊Ｐｇ＋Ｃｂ＊Ｐｂ ・・・（２８）
ここでＣｒ、Ｃｇ、Ｃｂは、前記センサ２１に用いられているカラーフィルタに固有な数値である。またＰｒ、Ｐｇ、Ｐｂは、各Ｒ、Ｇ、Ｂの画素に対応する光強度（色信号）である。

ところが式から分かるように、前記輝度信号Ｙの強度は、前記センサを構成する画素の色毎に不連続となる。これでは後の処理に支障を来たすので、以下の式を用いて前記色信号の修正、補間を行う。
Ｐ（ｘ，ｙ）＝ΣＰ（ｘ＋ｉ，ｙ＋ｊ）／Σ１ ・・・（２９）
ここでＰは、前述のＰｒ、Ｐｇ、Ｐｂの何れかである。またΣは、画素（ｘ，ｙ）から距離１だけ離れた正方形の領域内の各色の画素に対して取られる。またｉ，ｊは、この積算パラメータである。

このようにして補間されたＰｒ、Ｐｇ、Ｐｂから先の（２８）式を用いて輝度信号が作成され、メインメモリ２７に書き込まれる。

次に前フレームの輝度信号が読み出され、現在のフレームのそれと比較が行われる。この比較は、計算機２４によって行われる。

比較の方法は、他の実施例で開示した重心検出や回転検出、パターンマッチング法等である。

以上の手法を用いて検出した手ぶれ量を基に、まず前記輝度信号を修正する。

修正された輝度信号は、前記メモリ２７に書き込まれる。

また同様な方法で、前記計算機２４は低解像度画像を作成する。作成された低解像度画像は、記録媒体２５に記録される。

本実施例によれば、前記比較に単一の色信号（例えばＧ）を用いているのではなく、輝度信号Ｙを用いているので、より精密な画像の比較が可能であり、より正確な手ぶれ量の検出が可能である。

本発明の第六実施例である、スチルカメラの静止画撮像シーケンスを図１２に示す。

本実施例の電気回路のシステムブロックは、図２と同様である。

シャッターボタンが押され、長秒の静止画撮像がスタートすると、撮像センサ２１は０．３秒おきにフレーム画像を出力するようになる。この時間の長さは、手ぶれがひどくならい事を考慮して決められている。

前記フレーム画像はフレームメモリ２３の指定された場所に上書きされる。

次いで現フレームの重心が計算機２４によって計算され、その値がメモリ２７に書き込まれる。また前回の重心の値がメモリ２７から読み出され、両重心値が比較され、手ぶれ量が検出される。

検出された手ぶれ量に従って、前記現フレームの重心値が修正され、書き込まれる。

また前記現フレーム画像が補正され、前記補正された画像はメモリ２７に有る今までに撮像された全フレームを加算した結果である、全体画像と加算される。

加算された全体画像は、当然メモリ２７上の同じ場所に格納される。

この動作が前記静止画撮像期間（シャッタースピード）中繰り返され、前記期間が終了すると前記ループは終了し、その時に残っているメモリ２８中の画像（全体画像）が、記録媒体２５に静止画像として記録される。

本実施例によれば、動画像だけでなく、長秒の静止画像も手ぶれする事なく記録することができる。

前記手ぶれの補正には前記撮像センサが有する画素を全て使用しているので、前記補正を高精度に行う事ができる。

本発明の第七実施例である、スチルアンドムービーカメラの撮像センサの構成を、図１４に示す。

１４１はアクティブピクセルＣＭＯＳ型撮像センサチップであり、１４２は画素数１５００＊１１５０の画素領域、１４３は大きさ２０＊２０画素の前記画素領域中の特定な領域である。１４４は垂直信号線、１４５は信号処理回路、１４６は水平シフトレジスタである。また１４７は外部引き出し用の電極である。

前記５つの特定な領域１４３からは、前記領域の信号のみが非破壊で高速に読み出し可能となっている。

本第七実施例の動画像撮像シーケンスを図１３に示す。

センサ１４１がフレーム画像を撮像した後、前記フレーム画像の出力に先立って、前記特定な領域１４３の信号のみを高速に出力する。

前記領域の総画素数は、２０＊２０＊５＝５００であるので、全体のフレーム画像の画素数１２８０＊９６０＝１２２８８００のわずか０．０４％である。従ってその出力はかなり高速である（１フレームの４／１００００〜１２μｓ）。

フレームメモリに格納されている前フレームのフレーム画像が読み出され、前記特定の領域のみで比較が行われる。

前記比較はパターンマッチング法で行われるが、前記比較を行う領域が小さいため、この比較も高速に行う事ができる。

その結果得られた手ぶれ量を基にして、前記センサから画素数１２８０＊９６０の、修正されたフレーム画像を出力する。前記出力の方法とは、前記手ぶれ量の併進要素（α，β）だけ、前記センサ内に存在する信号処理回路１４５と水平シフトレジスタ１４６の番地をずらして出力する。

修正されたフレーム画像は、前記前フレーム画像が格納されていた場所に上書きされる。

またこの画像を基に低解像度画像が作成され、記録媒体に記録される。

本実施例によれば、前記手ぶれの補正の補正時間を最短にする事ができる。

本発明の第一実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図 第一実施例の電気回路のシステムブロック図 本発明の第二実施例である、スチルアンドムービーカメラの動画撮像シーケンスを示す図 第二実施例の電気回路のシステムブロック図 本発明の第三実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図 第三実施例の電気回路のシステムブロック図 本発明の第四実施例であるスチルアンドムービーカメラの動画撮像シーケンスを示す図 第四実施例の電気回路のシステムブロック図 本発明の第五実施例であるスチルアンドムービーカメラの動画撮像シーケンス示す図 第一実施例の画素部の構成を示す図 カラーフィルタの市松模様の配列を示す図 第六実施例であるスチルカメラの静止画撮像シーケンスを示す図 本第七実施例の動画像撮像シーケンスを示す図 第七実施例であるスチルアンドムービーカメラの撮像センサの構成を示す図 従来例である電気的手ぶれ補正手段の動作シーケンスを示す図

符号の説明

２１、４１、６１、８１ センサ
２２、４２、６２、８２ バス
２３ メモリ
２４、４３、６３、８４ 計算機
２５、４５、６５、８５ 記録媒体
２６、４６、６６、８６ プロセッサ
２７、４７、６７、８７ メモリ
４４、６４ 画像作成機
１０１ 画素
１０２ ホトダイオード
１０３、１０４、１０５、１０６ スイッチ
１０７ 垂直線
１０８、１０９、１１０ 水平線
１１１ 水平シフトレジスタ
１１２ アンプ
１１３ ＡＤコンバータ
１１４ 端子
１４１ センサ
１４２ 画素領域
１４３ 特定の領域
１４４ 垂直線
１４５ 回路
１４６ シフトレジスタ
１４７ 電極

Claims (14)

1. 静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも前記動画の撮像を行う比較的多画素な撮像領域と、前記領域から出力された動画のフレーム画像を記憶するための記憶手段と、前記画像を処理するための画像処理手段と、前記処理手段によって作成された動画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された前フレーム画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から低解像度画像を形成し、前記記録手段に記録する事を特徴とする撮像装置。
2. 請求項１に記載の比較的多画素な撮像領域とは、前記記録手段に記録する低解像度画像の画素数の、１６倍以上の画素数を有する事を特徴とする撮像装置。
3. 請求項１に記載の記憶手段の記憶容量は、前記フレーム画像の２枚分以上である事を特徴とする撮像装置。
4. 請求項１に記載の画像を代表する量とは、前記フレーム画像から抽出された画像の重心位置である事を特徴とする撮像装置。
5. 請求項１に記載の画像を代表する量とは、前記フレーム画像から抽出された画像の回転可変量である事を特徴とする撮像装置。
6. 請求項１に記載の画像を代表する量は、前記画像処理手段によって抽出された事を特徴とする撮像装置。
7. 請求項１に記載の比較は、パターンマッチング法で行われる事を特徴とする撮像装置。
8. 請求項１に記載の比較は、前記フレーム画像から輝度に相当する数値を算出して行われる事を特徴とする撮像装置。
9. 請求項１に記載の比較は、前記フレーム画像の一部の領域を用いて行われる事を特徴とする撮像装置。
10. 静止画と動画が撮像可能な撮像装置において、前記装置は少なくとも長秒露光の前記静止画の撮像を行う比較的多画素な撮像領域と、前記領域から時間分割されて出力された全体として１枚の静止画像を形成する複数枚のフレーム画像の少なくとも一部を記憶するための記憶手段と、前記フレーム画像を処理するための画像処理手段と、前記処理手段によって作成された前記静止画像を記録するための記録手段とを有し、前記撮像領域から出力された現フレーム画像あるいはそれを代表する量と、前記記憶手段から読み出された画像あるいはそれを代表する量とを用い前記処理手段において画像比較を行う事により手ぶれ量を検出し、前記検出された手ぶれ量を元にして前記現フレーム画像から前記手ぶれを修正した画像を形成し、前記読み出された画像と共に画像処理を行い過渡的な画像を形成し、前記作成した過渡的な画像を改めて前記記憶手段に書き込みを行い、前記静止画の露光時間が終了した後に、前記記憶手段中に格納されている過渡的な画像を前記記録手段に記録する事を特徴とする撮像装置。
11. 請求項１０に記載の長秒露光とは、前記露光時間が１／１５秒以上である事を特徴とする撮像装置。
12. 請求項１０に記載の時間分割された出力とは、１／３０秒以下の時間間隔で出力される事を特徴とする撮像装置。
13. 請求項１０に記載の複数枚のフレーム画像とは、前記露光時間を前記時間間隔で割った枚数を持つ事を特徴とする撮像装置。
14. 請求項１０に記載の画像処理とは、画像信号の加算、あるいは平均化処理である事を特徴とする撮像装置。

Images