JP2007053427A - 撮像装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】低照度での撮影であっても、手振れによる画像間の位置ずれを正確に検出して、手振れのない良好な画像を得ることを目的とする。
【解決手段】被写体を撮影する実画像撮影用の撮像素子１４ａとは別に、高感度な特性を有する位置ずれ検出用の撮像素子１４ｂを備える、この撮像素子１４ａ，１４ｂを同時に駆動して被写体の撮影を行う。その際に、撮像素子１４ｂから得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を位置ずれ検出部２８にて算出し、この位置ずれ量に基づいて、撮像素子１４ａから得られる画像データの位置を位置補正部２９にて補正する。これにより、低照度での撮影であっても、手振れによる画像間の位置ずれを正確に検出して、手振れのない良好な画像を得ることができる。
【選択図】 図４

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に撮影時の手振れを補正するための手振れ補正機能を備えた撮像装置と、この撮像装置に用いられる画像処理方法及びプログラムに関する。

近年、デジタルカメラでは、手ぶれを起こさない短い露光時間で連続撮影を行い、その連続撮影によって得られた複数枚の画像を重ね合わせることで、ブレのないノイズを抑えた鮮明な画像を得る方法が考えられている。

ここで、連続撮影における各フレームの間隔は短時間であっても、その間にカメラと被写体との間に位置ずれが生じる可能性がある。このため、連続撮影によって得られた各画像を重ね合わせて合成する場合には、このような位置ずれを補正して重ね合わせることが必要となる。

従来、手振れによる画像間の位置ずれを検出する方法として、時差をおいて撮影した２つの画像の相互相関をとることによって画像間の位置ずれを検出する方法が知られている（例えば、特許文献１参照）。
特開平１０−１７３９９２号公報

例えば、ストロボを使用できない場合、あるいは、ストロボを使用しても被写体がカメラから遠くてストロボ光が十分に届かない場合など、低照度で撮影された画像はＳＮ比が非常に低く、被写体の特徴点を抽出しづらい。このため、手振れによる画像間の位置ずれを正確に検出することができず、画像合成しても良好な画像が得られないといった問題がある。

本発明は前記のような点に鑑みなされたもので、低照度での撮影であっても、手振れによる画像間の位置ずれを正確に検出して、手振れのない良好な画像を得ることのできる撮像装置、画像処理方法及びプログラムを提供することを目的とする。

本発明の請求項１に係る撮像装置は、被写体を撮影する実画像撮影用の第１の撮像素子と、この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子と、前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う撮影手段と、この撮影手段による撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する位置ずれ検出手段と、この位置ずれ検出手段によって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する位置補正手段とを具備して構成される。

このような構成によれば、高感度な特性を有する第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量が算出され、この位置ずれ量に基づいて実画像撮影用の第１の撮像素子から得られる画像データの位置が補正される。これにより、低照度での撮影であっても、手振れによる画像間の位置ずれを正確に検出して、手振れのない良好な画像を得ることができる。

また、本発明の請求項２は、前記請求項１記載の撮像装置において、前記位置ずれ検出手段は、前記第２の撮像素子から連続的に得られる少なくとも２枚の画像データを比較して位置ずれ量を算出することを特徴とする。

このような構成によれば、第２の撮像素子から連続的に得られる少なくとも２枚の画像データを比較することで位置ずれ量が算出されて実画像の位置補正に適用される。

また、本発明の請求項３は、前記請求項１または２記載の撮像装置において、前記第１および第２の撮像素子のそれぞれから得られる画像データの相違を考慮して、前記位置ずれ検出手段によって得られた位置ずれ量を前記第１の撮像素子から得られる画像データの座標系に対応させる光学素子補正手段を備え、前記位置補正手段は、この光学素子補正手段による補正後の位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正することを特徴とする。

このような構成によれば、例えば第１の撮像素子と第２の撮像素子のサイズや画素数が異なるな場合でも、各撮像素子のそれぞれから得られる画像データの相違を考慮して位置ずれ量が補正されるので、その補正後の位置ずれ量を用いて実画像の位置を正しく補正することができる。

また、本発明の請求項４は、前記請求項１記載の撮像装置において、前記第１の撮像素子は、カラーフィルタを備えた撮像素子であり、前記第２の撮像素子は、カラーフィルタを備えないモノクロ撮影用の撮像素子であることを特徴とする。

このような構成によれば、カラーフィルタを備えた撮像素子を実画像撮影用として用いることで、実画像を高画質に撮影することができ、その一方で、カラーフィルタを備えない撮像素子を位置ずれ検出用として用いることで、低照度時でも高感度に画像を撮影して位置ずれを高精度に検出することができる。

また、本発明の請求項５は、前記請求項１記載の撮像装置において、前記第１の撮像素子は、可視光領域に感度を有し、前記第２の撮像素子は、可視光領域以外に感度を有することを特徴とする。

このような構成によれば、可視光領域に感度を有する撮像素子を実画像撮影用として用いることで、実画像を高画質に撮影することができ、その一方で、可視光領域以外に感度を有する撮像素子を位置ずれ検出用として用いることで、低照度時でも高感度に画像を撮影して位置ずれを高精度に検出することができる。

また、本発明の請求項６は、前記請求項１記載の撮像装置において、装置本体に設けられた第１の撮影レンズと、この第１の撮影レンズに並設された第２の撮影レンズとを備え、前記第１の撮像素子は前記第１の撮影レンズを介して入射される光を受け、前記第２の撮像素子は前記第２の撮影レンズを介して入射される光を受けることを特徴とする。

このような構成によれば、２つの撮影レンズを介して入射された光をそれぞれ第１および第２の撮像素子で受けることで、実画像撮影用と位置ずれ検出用の画像データを同時に作成することができる。

また、本発明の請求項７は、前記請求項１記載の撮像装置において、装置本体に設けられた１つの撮影レンズと、この撮影レンズを介して入射される光を第１の波長成分と第２の波長成分に分離する分離手段とを備え、前記第１の撮像素子は前記分離手段によって分離された第１の波長成分の光を受け、前記第２の撮像素子は前記分離手段によって分離された第２の波長成分の光を受けることを特徴とする。

このような構成によれば、１つの撮影レンズを介して入射される光を第１の波長成分と第２の波長成分に分離する分離手段を備え、第１の波長成分の光を第１の撮像素子で受け、第２の波長成分の光を第２の撮像素子で受けることで、実画像撮影用と位置ずれ検出用の画像データを同時に作成することができる。

また、本発明の請求項８は、前記請求項７記載の撮像装置は、前記分離手段は、前記撮影レンズを介して入射される光を可視光領域の波長成分と赤外光領域の波長成分に分離するものであり、前記第１の撮像素子は、可視光領域に感度を有し、前記第２の撮像素子は、赤外光領域に感度を有することを特徴とする。

このような構成によれば、１つの撮影レンズを介して入射される光が分離手段によって可視光領域の波長成分と赤外光領域の波長成分に分離されるので、赤外光領域に感度を有する撮像素子を位置ずれ検出用の第２の撮像素子として用いれば、高精度に位置ずれを検出することができる。

本発明の請求項９に係る画像処理方法は、被写体を撮影する実画像撮影用の第１の撮像素子と、この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子とを備えた撮像装置に用いられる画像処理方法であって、前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う第１のステップと、この第１のステップによる撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する第２のステップと、この第２のステップによって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する第３のステップとを備えたことを特徴とする。

このような画像処理方法によれば、前記各ステップに従った処理を実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明の請求項１０に係るプログラムは、被写体を撮影する実画像撮影用の第１の撮像素子と、この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子とを備えた撮像装置を制御するコンピュータによって実行されるプログラムであって、前記コンピュータに、前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う第１の機能と、この第１の機能による撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する第２の機能と、この第２の機能によって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する第３の機能とを実現させることを特徴とする。

したがって、コンピュータが前記各機能を実現するためのプログラムを実行することにより、前記請求項１記載の発明と同様の作用効果が奏せられる。

本発明によれば、実画像撮影用の撮像素子とは別に、高感度特性を有する撮像素子を位置ずれ検出用に用いて撮影を行うことにより、低照度での撮影であっても、手振れによる画像間の位置ずれを正確に検出して、手振れのない良好な画像を得ることができる。

以下、図面を参照して本発明の実施形態を説明する。

（第１の実施形態）
図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図である。

このデジタルカメラ１０の装置本体１１の上面には、シャッターキー１２が設けられている。このシャッターキー１２は、撮影タイミングを指示するための操作キーとして用いられる。

なお、この他に、特に図示しないが、例えば電源キーや、撮影モードと再生モードを切り替えるためのモードキー、撮影動作に関わる各種メニューを表示するためのメニューキーなどが装置本体の所定の箇所に設けられている。また、装置本体の背面には図示せぬ液晶画面が設けられており、撮影時に現在の撮影対象がスルー画像として表示され、再生時にはメモリに記録された画像が再生表示される。

ここで、装置本体１１の正面（被写体と対向する面）には、２つの撮影レンズ１３ａ，１３ｂが並設されている。一方の撮影レンズ１３ａは実画像撮影用であり、他方の撮影レンズ１３ｂは位置ずれ検出用であり、互いに近接して設けられている。

図２は第１の実施形態に係るデジタルカメラの撮影レンズと被写体との関係を示す図である。図中のＫａ，Ｋｂは撮影レンズ１３ａ，１３ｂの光軸、θａ，θｂは撮影レンズ１３ａ，１３ｂの画角を示している。また、１５は被写体である。実画像撮影用の撮影レンズ１３ａと位置ずれ検出用の撮影レンズ１３ｂは、それぞれに同じ画角、同じ倍率を有する。

図３は第１の実施形態に係るデジタルカメラの撮影レンズと撮像素子との関係を示す図である。図中の１４ａ，１４ｂは撮像素子である。

デジタルカメラ１０の装置本体１１内には、撮影レンズ１３ａ，１３ｂに対応させて２つの撮像素子１４ａ，１４ｂが内蔵されている。撮像素子１４ａ，１４ｂは、例えばＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）からなり、それぞれに撮影レンズ１３ａ，１３ｂを通して入力される被写体の各部位からの光を受光し、その光の強度に応じた電気信号を出力する。

撮像素子１４ａは実画像撮影用であり、撮影レンズ１３ａの光軸Ｋａ上に設けられている。この撮像素子１４ａは、実画像を得るために可視光線領域に感度を有し、その前面にベイヤー配列状にカラーフィルタが配置されている。なお、ＩＲ（赤外線）領域の光をカットするためのフィルタが配置される場合もある。

撮像素子１４ｂは位置ずれ検出用であり、撮影レンズ１３ｂの光軸Ｋｂ上に設けられている。この撮像素子１４ｂは、モノクロ撮像素子であって、カラーフィルタ、ＩＲカットフィルタ、ＵＶ（紫外線）カットフィルタ等のフィルタ類の配置はない。また、この撮像素子１４ｂは、微小な光も感知可能な高感度な特性を有し、低照度の撮影時でも被写体の外形の特徴等を鮮明に撮影することができる。この２つの撮像素子１４ａ，１４ｂは同じ画素サイズ、同じ画素数を有し、撮影時に同時に駆動される。

図４は同実施形態に係るデジタルカメラの回路構成を示すブロック図である。

デジタルカメラ１０は、実画像撮影用の撮像素子１４ａと位置ずれ検出用の撮像素子１４ｂを備えている。上述したように、撮像素子１４ａは、可視光領域に感度を有し、カラーフィルタを備えた光電変換素子である。撮像素子１４ｂは、可視光領域以外のＩＲ領域にも感度を有し、カラーフィルタ等を備えずに低照度時でも高感度撮影可能なモノクロの光電変換素子である。

タイミングジェネレータ（ＴＧ）２１は、この２つの撮像素子１４ａ，１４ｂの撮影タイミングをコントロールする。ＡＤコンバータ（ＡＤＣ）２２は、撮像素子１４ａから出力される電気信号をデジタルの画像データに変換する。メモリ２３は、実画像用のメモリであり、撮像素子１４ａからＡＤコンバータ２２を介して得られる画像データを実画像として１枚分記憶する。ＡＤコンバータ（ＡＤＣ）２４は、撮像素子１４ｂから出力される電気信号をデジタルの画像データに変換する。メモリ２５は、位置ずれ検出用のメモリであり、撮像素子１４ｂからＡＤコンバータ２４を介して得られる画像データを１枚分記憶する。

ＣＰＵ２６は、デジタルカメラ１０の動作制御を行うためのコンピュータであって、図示せぬＲＯＭ等に記憶されたプログラムを読み込むことにより、そのプログラムに記述された手順に従って各種処理を実行する。

このＣＰＵ２６には、画像生成部２７、位置ずれ検出部２８、位置補正部２９が設けられている。なお、これらは、ＣＰＵ２６によって実行される処理を機能的に示したものである。

画像生成部２７は、メモリ２５に記憶された画像データを元に位置ずれを算出しやすい画像を生成して、メモリ３１またはメモリ３２に記憶する。このメモリ３１，３２は共に位置ずれ検出のために用意されたメモリであり、ここでは連続撮影によって順次得られる複数枚の画像データのうち、１枚目の画像データが基準画像としてメモリ３１に記憶され、２枚目以降の画像データが順に１枚ずつ参照画像としてメモリ３２に記憶されるようになっている。

位置ずれ検出部２８は、メモリ３１に記憶された基準画像とメモリ３２に記憶された参照画像とを比較し、手振れによる画像間の位置ずれ量を算出する。位置補正部２９は、この位置ずれ検出部２８によって算出された位置ずれ量に基づいて、メモリ２３に記憶された画像データつまり実画像の位置を補正して、加算平均部３３に与える。

加算平均部３３は、連続撮影によって順次得られる画像データの各画素の輝度値を加算平均して１枚の合成画像を生成する部分であり、ここでは位置補正部２９によって位置補正された実画像を合成対象として加算平均を行い、その結果を後段のメモリ３４に記憶する。なお、１枚目の基準画像に相当する実画像については、そのままスルーしてメモリ３４に記憶され、２枚目以降の実画像がその基準画像の上に順に重ね合わせられていくものとする。

外部メモリ３５は、加算平均部３３によってメモリ３４内に作成された合成画像を手振れ補正後の撮影画像として記憶、保存しておくメモリである。なお、実際には、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等により圧縮処理されて外部メモリ３５に保存される。この外部メモリ３５としては、例えばフラッシュメモリなどが用いられる。

次に、同実施形態の動作を説明する。
なお、以下のフローチャートで示される処理は、マイクロコンピュータであるＣＰＵ２６が所定のプログラムを読み込むことにより実行される。

図５は同実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートであり、連続撮影によって得られた複数枚の画像データ（静止画）を位置合わせして合成することで、手振れを補正した画像を作成する場合の処理の流れが示されている。

まず、実画像撮影用の撮像素子１４ａの出力状況に応じて撮像素子１４ａに対するゲインおよび露光時間が設定される。なお、露光時間は撮影時に手振れが発生しても、撮影された画像が大きくぶれない程度の値に設定される。例えば、１２５ｍｓｅｃ以下が望ましい。位置ずれ検出用の撮像素子１４ｂに対しても同様の露光時間が設定されると共に、ＡＤＣ出力レンジに合致したゲインが設定される（ステップＡ１１）。

シャッターキー１２の押下操作により撮影が指示されると、前記ステップＡ１１で設定されたゲインおよび露光時間に従って撮像素子１４ａと撮像素子１４ｂが同じタイミングで駆動され、それぞれに対応したＡＤコンバータ２２，２３を介して１枚分の画像データがメモリ２３，２５に個別に記憶される（ステップＡ１２）。

メモリ２５に記憶された１枚目の画像データは、画像生成部２７によって位置ずれを算出しやすいように画像処理された後、基本画像としてメモリ３１に記憶される（ステップＡ１３）。一方、メモリ２３に記憶された１枚目の画像データは、位置補正処理および加算平均処理されずに、そのまま基本画像としてメモリ３４に記憶される（ステップＡ１４）。

次に、合成すべき既定枚数分の画像の処理が終了したか否かが判断される（ステップＡ１８）。既定枚数に達していなければ（ステップＡ１８のＮｏ）、ステップＡ１２に戻って２枚目以降の撮影が所定の時間間隔で連続して実行される。この場合、２枚目の撮影で撮像素子１４ａから得られた実画像データはメモリ２３に保持され、撮像素子１４ｂから得られた位置ずれ検出用の画像データはメモリ２５に記憶された後、画像生成部２７にて画像処理されてメモリ３２に参照画像として記憶される。このとき、メモリ３１には１枚目の画像データが基準画像として保持されている。

メモリ３１に記憶された基準画像とメモリ３２に記憶された参照画像は位置ずれ検出部２８に与えられ、その２つの画像データを用いて手振れによる画像間の位置ずれ量が算出される（ステップＡ１５）。

なお、位置ずれ量の算出方法としては、例えば特許文献１に開示されているような方法の他に、様々な方法がある。本発明では、これらの方法に特に限定されるものではなく、既知の方法にて位置ずれ量の算出を行うものとする。

この位置ずれ検出部２８によって得られた位置ずれ量は位置補正部２９に与えられる。位置補正部２９では、前記位置ずれ量に基づいて前記メモリ２３に保持されている２枚目の実画像の位置を基本画像に合致するように補正する（ステップＡ１６）。

この位置ずれ補正後の２枚目の実画像は加算平均部３３に与えられ、その実画像を構成する各画素の輝度値とメモリ３４に既に記憶されている基本画像の各画素の輝度値が加算平均される（ステップＡ１７）。

以下、同様にして既定枚数分の撮影が連続的に行われ、基本画像に対して２枚目以降に得られた実画像が位置ずれ補正されて順に加算平均処理され、その合成画像がメモリ３４に生成されることになる。

この加算平均処理について説明すると、一般に、同一点の信号の相関は高く、ｎ回加算すればｎ倍の値が得られる。一方、雑音は不規則雑音を想定すると、多数回平均（時間平均）により０となるので、ＳＮ比はＮ回の積算平均により、√ｎ倍向上する。したがって、複数回の撮像結果を合成することにより、実効的な露出時間が長くなり、出力が合成画像数のｎ倍となり、感度がｎ倍増加すると共に、画像のＳＮ比は、√ｎ倍向上することになる。

既定枚数分の画像の処理が終了すると（ステップＡ１８のＹｅｓ）、メモリ３４に生成された合成画像が手振れを補正した画像として外部メモリ３５に出力され、所定の方式で圧縮されて保存される（ステップＡ１９）。

このように、実画像撮影用の撮像素子１４ａとは別に、高感度特性を有する撮像素子１４ｂを用いて同時に撮影を行うことで、低照度での撮影であっても、撮像素子１４ｂから順次得られる画像データから被写体の特徴点を抽出して画像間の位置ずれ量を正確に算出することができる。よって、その位置ずれ量に基づいて、撮像素子１４ａから順次得られる実画像を位置合わせして重ね合わせることで、手振れ成分を補正した鮮明な画像を得ることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

前記第１の実施形態では、２組の光学系の画角および倍率が同じであり、また、これらの光学系に対応して設けられた２組の撮像素子のサイズおよび画素数も同じであった。しかしながら、図６および図７に示すように、必ずしも同じものを使用しなくとも実現できる。図６の例は、撮影レンズ１３ａ，１３ｂの倍率が異なり、撮像素子１４ａ，１４ｂのサイズおよび画素数が異なる場合を示している。図７の例は、さらに撮影レンズ１３ａ，１３ｂの画角が異なる場合を示している。

図８は第２の実施形態に係るデジタルカメラの回路構成を示すブロック図である。なお、図４（第１の実施形態）の構成と同一部分には同じ符号を付して、以下の説明は省略するものとする。

図８において、図４と異なる点はＣＰＵ２６に光学素子補正部３０が備えられていることである。この光学素子補正部３０は、実画像撮影用の撮像素子１４ａと位置ずれ検出用の撮像素子１４ｂのそれぞれから得られる画像データの相違を考慮して、位置ずれ検出部２８によって算出された位置ずれ量を撮像素子１４ａから得られる画像データの座標系に対応させる。

位置補正部２９では、この光学素子補正部３０による補正後の位置ずれ量を用いて、メモリ２３に記憶された画像データつまり実画像の位置を補正する。

次に、第２の実施形態としての動作について説明する。

なお、以下のフローチャートで示される処理は、マイクロコンピュータであるＣＰＵ２６が所定のプログラムを読み込むことにより実行される。

図９は第２の実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートであり、連続撮影によって得られた複数枚の画像データ（静止画）を位置合わせして合成することで、手振れを補正した画像を作成する場合の処理の流れが示されている。

基本的な処理の流れは、前記第１の実施形態における図５のフローチャートと同じであり、異なる点はステップＢ１６で光学素子処理が追加されていることである。

すなわち、まず、実画像撮影用の撮像素子１４ａの出力状況に応じて撮像素子１４ａに対するゲインおよび露光時間が設定されると共に、位置ずれ検出用の撮像素子１４ｂに対しても同様の露光時間が設定されると共に、ＡＤＣ出力レンジに合致したゲインが設定される（ステップＢ１１）。

シャッターキー１２の押下操作により撮影が指示されると、前記ステップＢ１１で設定されたゲインおよび露光時間に従って撮像素子１４ａと撮像素子１４ｂが同じタイミングで駆動され、それぞれに対応したＡＤコンバータ２２，２３を介して１枚分の画像データがメモリ２３，２５に個別に記憶される（ステップＢ１２）。

メモリ２５に記憶された１枚目の画像データは、画像生成部２７によって位置ずれを算出しやすいように画像処理された後、基本画像としてメモリ３１に記憶される（ステップＢ１３）。一方、メモリ２３に記憶された１枚目の画像データは、位置補正処理および加算平均処理されずに、そのまま基本画像としてメモリ３４に記憶される（ステップＢ１４）。

次に、合成すべき既定枚数分の画像の処理が終了したか否かが判断される（ステップＢ１９）。既定枚数に達していなければ（ステップＢ１９のＮｏ）、ステップＢ１２に戻って２枚目以降の撮影が所定の時間間隔で連続して実行される。この場合、２枚目の撮影で撮像素子１４ａから得られた実画像データはメモリ２３に保持され、撮像素子１４ｂから得られた位置ずれ検出用の画像データはメモリ２５に記憶された後、画像生成部２７にて画像処理されてメモリ３２に参照画像として記憶される。このとき、メモリ３１には１枚目の画像データが基準画像として保持されている。

メモリ３１に記憶された基準画像とメモリ３２に記憶された参照画像は位置ずれ検出部２８に与えられ、その２つの画像データを用いて手振れによる画像間の位置ずれ量が算出される（ステップＢ１５）。

ここで、第２の実施形態では、位置ずれ検出部２８によって算出された位置ずれ量が光学素子補正部３０に与えられる。撮像素子１４ａ，１４ｂのサイズおよび画素数が異なる場合には、撮像素子１４ａから得られる画像（画像Ａとする）と撮像素子１４ｂから得られる画像（画像Ｂとする）とで動きベクトルの画素単位の移動量が異なる。位置ずれ検出部２８では、この移動量の差に基づいて、画像Ｂから算出された位置ずれ量を画像Ａの座標系に合わせて補正する。撮影レンズ１３ａ，１３ｂの倍率や画角が異なる場合でも同様であり、その光学系の違いによって生じる画像Ａ，Ｂの動きベクトルの移動量の差に基づいて、前記位置ずれ量が画像Ａの座標系に合わせて補正されることになる（ステップＢ１６）。

このようにして補正された位置ずれ量は位置補正部２９に与えられる。位置補正部２９では、その補正後の位置ずれ量に基づいて前記メモリ２３に保持されている２枚目の実画像の位置を基本画像に合致するように補正する（ステップＢ１７）。

この位置ずれ補正後の２枚目の実画像は加算平均部３３に与えられ、その実画像を構成する各画素の輝度値とメモリ３４に既に記憶されている基本画像の各画素の輝度値が加算平均される（ステップＢ１８）。

以下、同様にして既定枚数分の撮影が連続的に行われ、基本画像に対して２枚目以降に得られた実画像が位置ずれ補正されて順に加算平均処理され、その合成画像がメモリ３４に生成されることになる。

既定枚数分の画像の処理が終了すると（ステップＢ１９のＹｅｓ）、メモリ３４に生成された合成画像が手振れを補正した画像として外部メモリ３５に出力され、所定の方式で圧縮されて保存される（ステップＢ２０）。

このように、実画像撮影用と位置ずれ検出用の光学系および撮像素子が異なる場合でも、位置ずれ検出用の撮像素子によって得られる画像間の位置ずれ量を実画像撮影用の撮像素子によって得られる画像の座標系に合わせて補正することにより、前記第１の実施形態と同様の効果を得ることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

前記第１および第２の実施形態では、実画像撮影用と位置ずれ検出用に撮影レンズ１３ａ，１３ｂが個別に設けられていた。これに対し、第３の実施形態では、図１０に示すように、光学系は撮影レンズ１３ａの１つであり、その撮影レンズ１３ａを通して入射される光をコールドミラー１６にて可視光と赤外光に分離する構成としている。

コールドミラー１６は撮影レンズ１３ａの光軸上に所定の角度に傾けた状態で設けられており、その光軸上の後段に位置ずれ検出用の撮像素子１４ｂが配設されている。また、コールドミラー１６の反射側に実画像撮影用の撮像素子１４ａが配設されている。

図１１はコールドミラー１６の反射特性を示す図であり、波長が４００〜７００ｎｍの可視光を反射し、７００ｎｍ以上の赤外光を通過させる特性を有する。

このような構成において、撮影時に撮影レンズ１３ａを通じて入射される光の可視光成分はコールドミラー１６にて反射されて撮像素子１４ａに与えられる。一方、赤外光成分はコールドミラー１６を通過して撮像素子１４ｂに与えられる。したがって、撮像素子１４ｂとして、赤外光領域に高感度特性を有する撮像素子を用いれば、低照度での撮影であっても、画像間の位置ずれ量を高精度に検出して、画像合成により手振れ補正した画像を得ることができる。

（応用例）
なお、前記第１および第２の実施形態では、静止画を撮影する例に説明したが、本発明の手法は動画の撮影でも適用可能である。

すなわち、静止画では、連続撮影によって得られた複数枚の画像を位置合わせてして重ね合わせることで、低照度時でのＳＮ比を向上させて手振れのない画像を得るようにした。しかし、画像合成を行わなくても、位置ずれ検出用の撮像素子から得られた画像間の位置ずれ量を実画像に適用してリアルタイムに出力する構成とすれば、動画像に対する手振れも同様に補正することが可能である。

その場合の画像処理を図１２に示す。この図１２のフローチャートに示される処理についても、マイクロコンピュータであるＣＰＵ２６が所定のプログラムを読み込むことにより実行される。なお、回路構成については特に図示しないが、前記第１の実施形態における図４の構成を例にすれば、画像合成の要素である加算平均部３３とメモリ３４を除くことで実現できる。

図４の構成を例にして、動画撮影時の処理を簡単に説明すると、２つの撮像素子１４ａ，１４ｂのゲインおよび露光時間が設定された後（ステップＣ１１）、シャッターキー１２の押下操作に伴い、撮影が開始される（ステップＣ１２）。

静止画撮影のときと同様に、撮像素子１４ａは実画像撮影用として用いられ、その撮像素子１４ａからフレーム単位で順次得られる各画像データはＡＤコンバータ２２を介してメモリ２３に記憶される。一方、撮像素子１４ｂは位置ずれ検出用として用いられ、その撮像素子１４ｂからフレーム単位で順次得られる各画像データはＡＤコンバータ２４を介してメモリ２５に記憶される。

ここで、メモリ２５に記憶される各画像データは、画像生成部２７にて画像処理された後、メモリ３１，３２に交互に記憶される（ステップＣ１３）。このメモリ３１，３２に記憶された２つの画像データが位置ずれ検出部２８に与えられて、その２つの画像データを用いて手振れによる画像間の位置ずれ量が算出される（ステップＣ１４）。そして、その位置ずれ量に基づいて、メモリ２３に記憶された実画像の位置が位置補正部２９にて補正される（ステップＣ１５）。

このように、撮像素子１４ｂから順次得られる位置ずれ検出用の各画像データを用いて位置ずれ量が算出され、撮像素子１４ａから順次得られる実画像撮影用の各画像データにリアルタイムで適用されて、手振れによる位置ずれが補正される。このような処理が例えばシャッターキー１２の再押下による動画撮影の終了指示があるまでの間、繰り返される。動画撮影の終了指示があると（ステップＣ１６のＹｅｓ）、位置補正された各画像からなる動画データが所定の方式で圧縮処理されて外部メモリ３５に保存される（ステップＣ１７）。

なお、このような動画撮影に対しても、前記第２の実施形態を適用可能である。すなわち、撮影レンズ１３ａ，１３ｂや撮像素子１４ａ，１４ｂがまったく同じものでなくとも、図８に示した光学素子補正部３０を備えることで対応することが可能である。

さらに、本発明は、デジタルカメラの他に、例えばカメラ付きの携帯電話機など、撮影機能を備えた電子機器であれば、これらのすべてに適用可能であり、同様の効果を得ることができる。

要するに、本発明は前記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

さらに、上述した実施形態において記載した手法は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）、半導体メモリなどの記録媒体に書き込んで各種装置に適用したり、そのプログラム自体をネットワーク等の伝送媒体により伝送して各種装置に適用することも可能である。本装置を実現するコンピュータは、記録媒体に記録されたプログラムあるいは伝送媒体を介して提供されたプログラムを読み込み、このプログラムによって動作が制御されることにより、上述した処理を実行する。

図１は本発明の第１の実施形態に係る撮像装置としてデジタルカメラを例にした場合の外観構成を示す図である。 図２は同実施形態に係るデジタルカメラの撮影レンズと被写体との関係を示す図である。 図３は同実施形態に係るデジタルカメラの撮影レンズと撮像素子との関係を示す図である。 図４は同実施形態に係るデジタルカメラの回路構成を示すブロック図である。 図５は同実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートである。 図６は本発明の第２の実施形態に係るデジタルカメラにおいて、実画像撮影用と位置ずれ検出用に異なる撮影レンズと撮像素子を用いた場合の一例を示す図である。 図７は同実施形態に係るデジタルカメラにおいて、実画像撮影用と位置ずれ検出用に異なる撮影レンズと撮像素子を用いた場合の別の例を示す図である。 図８は同実施形態に係るデジタルカメラの回路構成を示すブロック図である。 図９は同実施形態におけるデジタルカメラの画像処理の動作を示すフローチャートである。 図１０は本発明の第３の実施形態に係るデジタルカメラのコールドミラーを用いた撮像系の構成を示す図である。 図１１は同実施形態におけるデジタルカメラのコールドミラーの反射特性を示す図である。 図１２は本発明を動画撮影に適用した場合の画像処理の動作を示すフローチャートである。

符号の説明

１０…デジタルカメラ、１１…装置本体、１２…シャッターキー、１３ａ…実画像撮影用撮影レンズ、１３ｂ…位置ずれ検出用撮影レンズ、１４ａ…実画像撮影用撮像素子、１４ｂ…位置ずれ検出用撮像素子、１５…被写体、１６…コールドミラー、２１…タイミングジェネレータ（ＴＧ）、２２…ＡＤコンバータ（ＡＤＣ）、２３…メモリ、２４…ＡＤコンバータ（ＡＤＣ）、２５…メモリ、２６…ＣＰＵ、２７…画像生成部、２８…位置ずれ検出部、２９…位置補正部、３０…光学素子補正部、３１…メモリ、３２…メモリ、３３…加算平均部、３４…メモリ、３５…外部メモリ。

Claims (10)

1. 被写体を撮影する実画像撮影用の第１の撮像素子と、
   この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子と、
   前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う撮影手段と、
   この撮影手段による撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する位置ずれ検出手段と、
   この位置ずれ検出手段によって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する位置補正手段と
   を具備したことを特徴とする撮像装置。
2. 前記位置ずれ検出手段は、前記第２の撮像素子から連続的に得られる少なくとも２枚の画像データを比較して位置ずれ量を算出することを特徴とする請求項１記載の撮像装置。
3. 前記第１および第２の撮像素子のそれぞれから得られる画像データの相違を考慮して、前記位置ずれ検出手段によって得られた位置ずれ量を前記第１の撮像素子から得られる画像データの座標系に対応させる光学素子補正手段を備え、
   前記位置補正手段は、この光学素子補正手段による補正後の位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正することを特徴とする請求項１または２記載の撮像装置。
4. 前記第１の撮像素子は、カラーフィルタを備えた撮像素子であり、
   前記第２の撮像素子は、カラーフィルタを備えないモノクロ撮影用の撮像素子であることを特徴とする請求項１記載の撮像装置。
5. 前記第１の撮像素子は、可視光領域に感度を有し、
   前記第２の撮像素子は、可視光領域以外に感度を有することを特徴とする請求項１記載の撮像装置。
6. 装置本体に設けられた第１の撮影レンズと、
   この第１の撮影レンズに並設された第２の撮影レンズとを備え、
   前記第１の撮像素子は前記第１の撮影レンズを介して入射される光を受け、前記第２の撮像素子は前記第２の撮影レンズを介して入射される光を受けることを特徴とする請求項１記載の撮像装置。
7. 装置本体に設けられた１つの撮影レンズと、
   この撮影レンズを介して入射される光を第１の波長成分と第２の波長成分に分離する分離手段とを備え、
   前記第１の撮像素子は前記分離手段によって分離された第１の波長成分の光を受け、前記第２の撮像素子は前記分離手段によって分離された第２の波長成分の光を受けることを特徴とする請求項１記載の撮像装置。
8. 前記分離手段は、前記撮影レンズを介して入射される光を可視光領域の波長成分と赤外光領域の波長成分に分離するものであり、
   前記第１の撮像素子は、可視光領域に感度を有し、
   前記第２の撮像素子は、赤外光領域に感度を有することを特徴とする請求項７記載の撮像装置。
9. 被写体を撮影する実画像撮影用の第１の撮像素子と、この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子とを備えた撮像装置に用いられる画像処理方法であって、
   前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う第１のステップと、
   この第１のステップによる撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する第２のステップと、
   この第２のステップによって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する第３のステップと
   を備えたことを特徴とする画像処理方法。
10. 被写体を撮影する実画像撮影用の第１の撮像素子と、この第１の撮像素子よりも高感度な特性を有する位置ずれ検出用の第２の撮像素子とを備えた撮像装置を制御するコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記第１および第２の撮像素子を同時に駆動して被写体の撮影を行う第１の機能と、
    この第１の機能による撮影時に前記第２の撮像素子から得られる画像データを用いて撮影時の手振れによる画像間の位置ずれ量を算出する第２の機能と、
    この第２の機能によって得られた位置ずれ量に基づいて、前記第１の撮像素子から得られる画像データの位置を補正する第３の機能と
    を実現させることを特徴とするプログラム。

Images