JP2009164859A

JP2009164859A - 撮像装置及び撮像制御方法

Info

Publication number: JP2009164859A
Application number: JP2008000053A
Authority: JP
Inventors: Nobuaki Takeshita; 暢明武下
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-01-04
Filing date: 2008-01-04
Publication date: 2009-07-23
Also published as: US8098288B2; US20090174789A1

Abstract

【課題】高精度なブレ補正や動画像符号化を実現する。
【解決手段】カラーフィルタ３６を備えたＣＣＤ１８において３枚の画像を撮影するとともに、カラーフィルタを備えないＣＭＯＳ２１において１３枚の画像を撮影する。この１３枚のうち３枚はＣＣＤ１８の撮影と同タイミングで撮影を行う。ＣＣＤ２１の１３枚の画像データから、各画像間の動きベクトルデータを算出し、さらにこの動きベクトルデータを積算し、前撮影画像と本撮影画像との動きベクトルデータ、及び本撮影画像と後撮影画像との動きベクトルデータを算出する。これらの動きベクトルデータと前撮影画像、後撮影画像から本撮影画像の予測画像を生成し、予測画像と本撮影画像を重み付け平均して手ブレを低減した画像を合成する。
【選択図】図５

Description

本発明は撮像装置及び撮像制御方法に係り、特に２つの撮像素子で同時に撮像して画像データの画質を向上させる撮像装置及び撮像制御方法に関する。

デジタルカメラでの撮影において、複数の画像を連続して撮影し、これらの画像から動きベクトルを検出し、検出された動きベクトルを用いて画像の手ブレ補正を行う技術が知られている。

例えば特許文献１には、ブレ検出と、撮像のフレーム情報から得られる動きベクトル検出手段を備え、静止画、動画撮影に応じて２つの検出量を混合して算出し、画像補正を行う技術が記載されている。この技術によれば、特に静止画撮影の露光条件に応じたブレ補正を最適に行うことができる。
特開２００７−１９５７１号公報

しかしながら、特許文献１に記載の装置は、ブレ補正用に光学系の補正装置が必要になるという欠点があった。また、動きベクトルを算出する際に、通常の単板式の撮像素子を用いた場合は、暗い撮影シーンでのノイズの影響で、誤検出が発生する可能性があるという問題点があった。

本発明はこのような事情に鑑みてなされたもので、２つの撮像素子で同時に撮影を行うことにより、高精度なブレ補正や動画像符号化を実現する撮像装置及び撮像制御方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の撮像装置は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、前記第２の被写体光を受光する白黒撮像素子を有し、白黒の第２の画像信号を取得する第２の撮像手段と、前記第１の撮像手段によって所定の時間間隔で連続して撮影した複数の第１の画像信号であって、本撮影の画像信号を含む複数の第１の画像信号を取得する第１の画像取得手段と、前記第２の撮像手段によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得手段と、前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する手段と、前記本撮影の画像信号以外の１つ以上の第１の画像信号と前記動きベクトルとに基づいて本撮影の予測画像信号を生成する手段と、前記本撮影の画像信号と前記本撮影の予測画像信号とに基づいて画像を生成する画像生成手段と、を備えたことを特徴とする。

これにより、手ブレの影響のない、高画質な画像を得ることができる。

請求項２に示すように請求項１に記載の撮像装置において、前記第２の画像取得手段は、前記第１の撮像手段の撮影間隔より短い時間間隔で連続して撮影して前記複数の第２の画像信号を取得することを特徴とする。

これにより、正確な動きベクトル推定を行うことができる。

請求項３に示すように請求項１又は２に記載の撮像装置において、前記複数の第１の画像信号間の動きベクトルに基づいて前記本撮影の画像信号の手ブレを検出する手段を備え、前記画像生成手段は、前記本撮影の画像信号の手ブレを補正するように前記本撮影の画像信号と前記本撮影の予測画像信号とを所定の比率で重み付け平均して画像を生成することを特徴とする。

これにより、本撮影画像の手ブレを低減することができる。

前記目的を達成するために請求項４に記載の撮像装置は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、前記第２の被写体光を受光する白黒撮像素子を有し、白黒の第２の画像信号を取得する第２の撮像手段と、前記第１の撮像手段によって所定の時間間隔で連続して撮影した複数の第１の画像信号を取得する第１の画像取得手段と、前記第２の撮像手段によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得手段と、前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する手段と、前記動きベクトルを用いて前記複数の第１の画像信号を圧縮符号化する手段とを備えたことを特徴とする。

これにより、動きベクトル推定の精度を向上し、動画像の画質を向上させることができる。

請求項５に示すように請求項４に記載の撮像装置において、前記動きベクトルに基づいて移動する被写体を検出する手段を備え、前記第２の画像取得手段は、移動する被写体が検出されると前記第１の撮像手段の撮影間隔より短い時間間隔で連続して撮影して前記複数の第２の画像信号を取得することを特徴とする。

これにより、速く動く移動体があるときでも、正確に動きベクトルの推定を行うことができる。

請求項６に示すように請求項５に記載の撮像装置において、前記第２の撮像手段は、移動する被写体が検出されると撮影感度を上げることを特徴とする。

これにより、シャッタスピードを上げることができ、正確に動きベクトルの推定を行なうことができる。

前記目的を達成するために請求項７に記載の撮像制御方法は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、前記第２の被写体光を受光する白黒撮像素子により、白黒の第２の画像信号を取得する第２の撮像工程と、前記第１の撮像工程によって所定の時間間隔で連続して撮影した複数の第１の画像信号であって、本撮影の画像信号を含む複数の第１の画像信号を取得する第１の画像取得工程と、前記第２の撮像工程によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得工程と、前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する工程と、前記本撮影の画像信号以外の１つ以上の第１の画像信号と前記動きベクトルとに基づいて本撮影の予測画像信号を生成する工程と、前記本撮影の画像信号と前記本撮影の予測画像信号とに基づいて画像を生成する画像生成工程とを備えたことを特徴とする。

前記目的を達成するために請求項８に記載の撮像制御方法は、撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、前記第２の被写体光を受光する白黒撮像素子により、白黒の第２の画像信号を取得する第２の撮像工程と、前記第１の撮像工程によって所定の時間間隔で連続して撮影した複数の第１の画像信号を取得する第１の画像取得工程と、前記第２の撮像工程によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得工程と、前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する工程と、前記動きベクトルを用いて前記複数の第１の画像信号を圧縮符号化する工程とを備えたことを特徴とする。

本発明によれば、高精度なブレ補正や動画像符号化を実現する撮像装置及び撮像制御方法を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１は、本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。

同図に示すように、本実施の形態のデジタルカメラ１０は、ＣＰＵ１１、操作部１２、ズームレンズ用モータドライバ１３、フォーカスレンズ用モータドライバ１４、ズームレンズ１５、フォーカスレンズ１６、分光器１７、ＣＣＤ１８、第１のアナログ信号処理部１９、第１のＡ／Ｄ変換器２０、ＣＭＯＳ２１、第２のアナログ信号処理部２２、第２のＡ／Ｄ変換器２３、画像入力コントローラ２４、デジタル信号処理回路２５、圧縮伸張処理回路２６、表示回路２７、ＬＣＤモニタ２８、バス２９、ＡＥ検出回路３０、ＡＦ検出回路３１、ＲＯＭ３２、メモリ３３、メディアコントローラ３４、記録メディア３５、動きベクトル検出回路３７等を備えて構成される。

各部はＣＰＵ１１に制御されて動作し、ＣＰＵ１１は、操作部１２からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１０の各部を制御する。

ＲＯＭ３２にはＣＰＵ１１が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ１１は、ＲＯＭ３２に記録された制御プログラムをメモリ３３に読み出し、逐次実行することにより、デジタルカメラ１０の各部を制御する。

なお、このメモリ３３は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。

操作部１２は、シャッタボタンの他、電源スイッチや撮影モードダイヤル等のカメラの一般的な操作手段を含み、操作に応じた信号をＣＰＵ１１に出力する。図示しないシャッタボタンは、半押し時にＯＮしてフォーカスロック、測光等の撮影準備を行わせるスイッチＳ１と、全押し時にＯＮして画像の取り込みを行わせるスイッチＳ２とを有している。

ズームレンズ１５は、ズームレンズ用モータドライバ１３に駆動されて、フォーカスレンズ１６の光軸上を前後移動する。ＣＰＵ１１は、ズームレンズ用モータドライバ１３を介してズームレンズ１５の移動を制御し、ズーミングを行う。

フォーカスレンズ１６は、フォーカスレンズ用モータドライバ１４に駆動されて、ズームレンズ１５の光軸上を前後移動する。ＣＰＵ１１は、フォーカスレンズ用モータドライバ１４を介してフォーカスレンズ１６の移動を制御し、フォーカシングを行う。

分光部１７は、フォーカスレンズ１６の後段に配置されており、フォーカスレンズ１６を透過した被写体光を２等分割するプリズム等の光学部材である。

ＣＣＤ１８は、分光部１７により分割された被写体光の一方を受光する。ＣＣＤ１８は画面の１画素に対して１つの素子が対応している。図２（ａ）に示すように、その受光面には多数の受光素子が二次元的に配列されており、各受光素子に対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタ３６が所定の配列構造で配置されている。

また、分光部１７により分割されたもう一方の被写体光は、ＣＭＯＳ２１が受光する。ＣＭＯＳ２１は、ＣＣＤ１８と素子の数及び配列が同様に構成されており、ＣＣＤ１８と同じ被写体像を撮像することが可能であるが、図２（ｂ）に示すように、受光素子の表面にカラーフィルタが配置されていないところが異なっている。

このように、分光部１７により分割された被写体光は、カラーフィルタが配置されたＣＣＤ１８及びカラーフィルタのないＣＭＯＳ２１の受光面上に結像され、それぞれ各受光素子によって電気信号に変換される。

なお、ＣＣＤ１８及びＣＭＯＳ２１は、両方をＣＣＤ、又はＣＭＯＳを用いて構成してもよい。

また、画像信号の出力は、デジタルカメラ１０が撮影モードにセットされると開始される。すなわち、デジタルカメラ１０が撮影モードにセットされると、ＬＣＤモニタ２８にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。

ＣＣＤ１８から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、第１のアナログ信号処理部１９に取り込まれる。第１のアナログ信号処理部１９は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。この第１のアナログ信号処理部１９で所要の信号処理が施されたアナログの画像信号は、第１のＡ／Ｄ変換器２０に取り込まれる。

第１のＡ／Ｄ変換器２０は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。

第２のアナログ信号処理部２２、第２のＡ／Ｄ変換器２３は、第１のアナログ信号処理部１９、第１のＡ／Ｄ変換器２０と同様の内部構成となっている。ＣＭＯＳ２１から出力されるアナログの画像信号は、第２のアナログ信号処理部２２で所要の信号処理が施された後、第２のＡ／Ｄ変換器２３において所定ビットの階調幅を持ったデジタルの画像信号に変換される。ＣＭＯＳ２１にはカラーフィルタが配置されていないため、高速電子シャッタにより、ＣＣＤ１８よりも高フレームレートの画像取り込みが可能である。

画像入力コントローラ２４は、所定容量のラインバッファを内蔵しており、第１のＡ／Ｄ変換器２０や第２のＡ／Ｄ変換器２３から出力された１コマ分の画像信号を蓄積する。この画像入力コントローラ２４に蓄積された１コマ分の画像信号は、バス２９を介してメモリ３３に格納される。なお、メモリ３３には２コマ分以上の画像信号が蓄積可能であり、ＣＣＤ１８とＣＭＯＳ２１で同時に撮影した画像データをともに蓄積することができる。

バス２９には、上記ＣＰＵ１１、メモリ３３、画像入力コントローラ２４のほか、デジタル信号処理回路２５、圧縮伸張処理回路２６、表示回路２７、メディアコントローラ３４、ＡＥ検出回路３０、ＡＦ検出回路３１等が接続されており、これらはバス２９を介して互いに情報を送受信できるようにされている。

ＡＥ検出回路３０は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３３に格納された第１のＡ／Ｄ変換器２０の出力信号であるＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ１１は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びＣＣＤ１８側のシャッタスピードを決定する。さらに、カラーフィルタ３６による入射光の損失を考慮し、ＣＭＯＳ２１側のシャッタスピードを決定する。従って、ＣＭＯＳ２１側のシャッタスピードは、常にＣＣＤ１８側のシャッタスピードより速くなる。

ＡＦ検出回路３１は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３３に格納された第２のＡ／Ｄ変換器２３の出力信号を取り込み、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。このＡＦ検出回路３１は、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてＣＰＵ１１に出力する。ＣＰＵ１１は、ＡＦ制御時、このＡＦ検出回路３１から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１６を移動させることにより、主要被写体への焦点合わせを行う。

ＣＭＯＳ２１にはカラーフィルタがないため、可視光全域についてサンプリングが可能となる。したがって、カラーフィルタ３６を備えたＣＣＤ１８の出力信号を用いて焦点評価値を算出する場合よりも、暗いシーン等で精度よく合焦が可能となる。また、Ｓ／Ｎ比が向上し、ノイズの影響を受けにくくなる利点もある。

なお、ＡＦ検出回路３１は、第１のＡ／Ｄ変換器２０の出力値であるＲ、Ｇ、Ｂの画像信号に基づいて焦点評価値を算出してもよい。この場合は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、及び絶対値化処理部が必要となる。

デジタル信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。図３に示すように、デジタル信号処理回路２５は、積算値データからホワイトバランスゲイン調整用のゲイン値を算出するホワイトバランスゲイン算出回路４０と、Ｒ、Ｇ、Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整をゲイン算出回路４０で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ変換を行うガンマ補正回路４３とを備えている。デジタル信号処理回路２５は更に、ガンマ補正回路４３から出力されるＲＧＢの色信号を補間演算して各画素位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ、Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対して色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８と、積算値データを取り込んで光源種別を判定し、色差マトリクス回路４８に色差マトリクス選択信号を出力する光源種別判定回路４９とを備えている。

ＲＧＢ補間演算部４４は、撮像素子が３板色の撮像素子であれば不要であるが、本実施の形態で使用するＣＣＤ１８は単板式の固体撮像素子であり、各画素からは、Ｒ、Ｇ、Ｂのうちの一色の信号しか出力されないため、出力しない色、即ち、Ｒを出力する画素では、この画素位置においてＧ、Ｂの色信号がどの程度になるかを、周りの画素のＧ、Ｂ信号から補間演算により求めるものである。

光源種別判定回路４９は、撮像した一画面を例えば８×８＝６４の領域に分割し、各分割領域における信号電荷のΣＲ、ΣＧ、ΣＢの値を積算値から求め、ΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する。色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路４９が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス（Ｃ−ＭＴＸ）を、入力してくる色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ’、Ｃｂ’を出力する。

以上のように、デジタル信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの画像信号に所定の信号処理を施して、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

圧縮伸張処理回路２６は、ＣＰＵ１１からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

表示回路２７は、ＣＰＵ１１からの指令に従い、ＬＣＤモニタ２８への表示を制御する。

メディアコントローラ３４は、ＣＰＵ１１からの指令に従い、記録メディア３５に対してデータの読み／書きを制御する。なお、記録メディア３５は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

動きベクトル検出回路３７は、ＣＭＯＳ２１において撮影された複数の画像データ、即ちメモリ３３に格納された複数の第２のＡ／Ｄ変換器２３の出力信号を基に、パターンマッチングにより画像間の動きベクトルを算出する。

次に、図４を用いてデジタルカメラ１０の手ブレ補正撮影について説明する。図４は、デジタルカメラ１０の手ブレ補正撮影の動作を示すフローチャートである。

まず、操作部１２のシャッタボタンが半押しされると（ステップＳ１）、ＣＰＵ１１は、ＡＦ検出回路３１が算出する焦点評価値に基づいて主要被写体への焦点合わせを行うとともに、ＡＥ検出回路３０が算出した積算値に基づいて露出値を算出し、露出値から絞り値及びＣＣＤ１８側のシャッタスピード、及びＣＭＯＳ２１側のシャッタスピードを決定する（ステップＳ２）。

次に、シャッタボタンが全押しされると（ステップＳ３）、ＣＰＵ１１はＣＣＤ１８側のシャッタスピードが規定値より速いか否かを判定する（ステップＳ４）。シャッタスピードが規定値より速い場合は、手ブレが発生しにくいと判断し、ＣＣＤ１８を用いて通常の撮影処理を行う（ステップＳ１１）。

シャッタスピードが規定値より遅い場合は、手ブレの影響が大きくなると判断し、手ブレ補正撮影を行う。手ブレ補正撮影は、ＣＣＤ１８において連続して３枚の画像を撮影すると同時に、ＣＭＯＳ２１において連続撮影を行う（ステップＳ５、ステップＳ５’）。ここで、図５を用いてＣＣＤ１８とＣＭＯＳ２１の撮影の詳細について説明する。

図５に示す様に、手ブレ補正撮影においては、ＣＣＤ１８では、算出されたシャッタスピードに基づいて前撮影画像、本撮影画像、及び後撮影画像の３枚の画像を撮影する。この３枚の画像を撮影したタイミングをｔ０、ｔ６、ｔ１２とすると、ＣＭＯＳ２１では、ｔ０〜ｔ１２において、画像ｇ０〜画像ｇ１２の１２枚の画像を撮影する。ここで、時間ｔ０において画像ｇ０を、時間ｔ６において画像ｇ６を、時間ｔ１２において画像ｇ１２を撮影している。即ち、ＣＭＯＳ２１は、ＣＣＤ１８が３枚の画像を撮影すると同時に３枚の画像を撮影し、さらにそれらの各画像間に５枚の画像を撮影している。これらの撮影画像はメモリ３３に蓄積される。なお、ＣＣＤ１８とＣＭＯＳ２１ではシャッタスピードが異なるため、これらの露光時間は電子シャッタにより制御する。また、前述のように、ＣＣＤ１８側のシャッタスピードよりもＣＭＯＳ２１のシャッタスピードの方が速いため、ＣＭＯＳ２１で撮影した画像は手ブレの影響が少なくなっている。

次に、動きベクトル検出回路３７により、ＣＭＯＳ２１で撮影した各画像間の、動きベクトルの算出を行う（ステップＳ６）。図５に示すように、画像ｇ０と画像ｇ１から動きベクトルデータｖ０を、画像ｇ１と画像ｇ２から動きベクトルデータｖ１を、以下同様に、画像ｇ１１と画像ｇ１２から動きベクトルデータｖ１１を算出する。

このように算出した動きベクトルデータｖ１〜ｖ１１から、全体的な動きと局所的な動きを解析する（ステップＳ７）。全体的な動きは手ブレとみなし、局所的な動きは被写体の動きとみなして処理を行う。

フレーム毎の動きベクトルを解析した後、ＣＣＤ１８での撮影間隔に併せて動きベクトルを積算し（ステップＳ８）、予測画像を生成する（ステップＳ９）。即ち、動きベクトルデータｖ０〜ｖ５から積算動きベクトルデータｖｆを算出し、このｖｆとＣＣＤ１８で時間ｔ０で撮影された前撮影画像から、時間ｔ６で撮影された本撮影画像の予測画像１を生成する。また、動きベクトルデータｖ６〜ｖ１１から積算動きベクトルデータｖｂを算出し、このｖｂとＣＣＤ１８で時間ｔ１２で撮影された後撮影画像から、時間ｔ６で撮影された本撮影画像の予測画像２を生成する。このとき、被写体の動きとみなされた領域は、時間ｔ６で撮影された本撮影画像から参照する。

最後に、ＣＣＤ１８で時間ｔ６において撮影された本撮影画像と、予測画像１と予測画像２を用いて、重み付け平均を行い、手ブレ補正の画像を出力する（ステップＳ１０）。重み付けの比率については、算出した動きベクトルから手ブレの少ないタイミングを検出し、例えば時間ｔ０において手ブレが少ない場合は予測画像１の比率を高くし、時間ｔ１２において手ブレが少ない場合は予測画像２の比率を高くする。

このように、ＣＭＯＳ２１にカラーフィルタを設けないことにより、高感度撮影が可能となり、高速電子シャッタにより高フレームレートの画像取り込みが可能となる。動きベクトルのサンプリングも精度がよく、ノイズ耐性もあることから、手ブレによる動きと被写体自身の動きについて区別しやすくなる。したがって、本撮影画像前後から得られる予測画像の精度が上がり、手ブレの影響を低減した画像を得ることが可能となる。

本実施の形態においては、ＣＭＯＳ２１において、ＣＣＤ１８が撮影するタイミングの他に５枚の画像を撮影し、この５枚の画像から動きベクトルデータを算出したが、間に撮影を行うのは５枚に限定されるものではなく、何枚でもよい。枚数が多い方が正確な動きベクトルを推定することが可能であるが、動きベクトル算出処理に要する時間やメモリの容量等を鑑みて適宜決めればよい。また、シャッタスピードが遅いほど手ブレ量も大きくなると考えられるため、シャッタスピードが遅い場合に枚数を多くしてもよい。逆に、シャッタスピードが速い場合には手ブレ量も少ないと考えられるので、枚数を少なくしてもよい。また、ＣＭＯＳ２１の撮影感度をＣＣＤ１８より高く設定してもよい。ＣＭＯＳ２１の撮影感度を高くして高速のシャッタスピードで撮影が可能とすることで、手ブレの影響を少なくすることができ、また、短時間に多くの枚数を撮影することが可能となる。

さらに、本実施の形態においては、分光器１７において被写体光を２等分割し、ＣＣＤ１８とＣＭＯＳ２１に同じ光量を受光させたが、この分光は２等分でなくてもよい。

＜第２の実施の形態＞
本発明における第２の実施の形態について説明する。第２の実施の形態のデジタルカメラ１０は、動画撮影時において、ＣＭＯＳ２１の撮影データに基づいて動きベクトルを推定して動画像の符号化を行うが、被写体中に移動体を検出したときにはＣＭＯＳ２１のフレームレートを向上して正確に動きベクトルの推定を行う。

本実施の形態のデジタルカメラ１０の電気的構成は、図１に示す第１の実施の形態のブロック図と同様である。本実施の形態のデジタルカメラ１０は、動画を撮影することが可能となっている。

次に、図６のフローチャートを用いて、デジタルカメラ１０の動画撮影における動きベクトルの算出について説明する。

操作部１２からの指示により動画撮影が開始されると、ＣＣＤ１８とＣＭＯＳ２１において、同フレームレートで同タイミングで撮影を行う（ステップＳ６１）。次に、ＣＭＯＳ２１のデータに基づいて、動きベクトルを算出する（ステップＳ６２）。ここで、図７を用いてＣＣＤ１８とＣＭＯＳ２１の撮影の詳細について説明する。

図７に示す様に、ＣＣＤ１８とＣＭＯＳ２１は、通常は共にフレームレート６Ｔ／ｆｒａｍｅで撮影を行う。なお、ＣＭＯＳ２１にはカラーフィルタがないため、ＣＣＤ１８より速いシャッタスピードで撮影を行っている。少なくともＣＭＯＳ２１のシャッタスピードは電子シャッタにより制御される。動きベクトルの算出は、第１の実施の形態と同様に、ＣＭＯＳ２１の撮影データから動きベクトル検出回路３７が算出する。例えば、時間ｔ０でＣＭＯＳ２１で撮影されたフレームｆ１１と時間ｔ６でＣＭＯＳ２１で撮影されたフレームｆ１２から、動きベクトルデータｖ１を算出する。ＣＭＯＳ２１はＣＣＤ１８より速いシャッタスピードで撮影を行っているため、手ブレの影響が少なく、正確に動きベクトルを推定することが可能である。ＣＰＵ１１は、この動きベクトルデータｖ１から、画面内の全体的な動きと局所的な動きを解析する。全体的な動きは手ブレとみなし、局所的な動きは移動する被写体の動きとみなす。

ステップＳ６３において、この動きベクトルの解析結果から、画面中に移動する被写体が存在するか否かを判定する。移動被写体が存在しない場合は、それまでと同様にＣＣＤ１８とＣＭＯＳ２１において、同フレームレートで同タイミングで撮影を行う（ステップＳ６６）。また、ＣＭＯＳ２１の撮影データを用いて動きベクトルを算出し（ステップＳ６７）、算出した動きベクトルを用いて動画像の符号化を行う。撮影終了指示がない場合は、再び動きベクトルデータを解析して移動被写体の存在の有無を判定し（ステップＳ６３）、処理を繰り返す。

画面中に移動被写体が存在する場合は、ＣＭＯＳ２１のフレームレートを高速に切り替える（ステップＳ６４）。図７に示すように、動きベクトルデータｖ１において移動被写体が存在すると判断した場合は、時間ｔ６以降はフレームレートをＴ／ｆｒａｍｅとして撮影を行う。なお、ＣＣＤ１８の撮影においては、フレームレートは変更しない。ＣＭＯＳ２１は、フレームレートの高速化に伴いシャッタスピードを高速化し、シャッタスピードに応じて撮影感度を高くする。

時間ｔ６以降は、ＣＣＤ１８においては、時間ｔ６にフレームｆ２、時間ｔ１２にフレームｆ３を撮影する。この間ＣＭＯＳ２１においては、時間ｔ７にフレームｆ１２１、時間ｔ８にレームｆ１２２、・・・、時間ｔ１２にフレームｆ１３の撮影を行う。次に、これらのフレームデータ間の動きベクトルデータを算出する。図７に示すように、フレームｆ１２とフレームｆ１２１から動きベクトルデータｖ１１を、フレームｆ１２１とフレームｆ１２２から動きベクトルデータｖ１２を、・・・、フレームｆ１２５とフレームｆ１３から動きベクトルデータｖ１６を算出する。

各動きベクトルの算出が終了したら、これらの動きベクトルデータｖ１１〜ｖ１６から、積算動きベクトルデータｖ１１０を算出する（ステップＳ６５）。この積算動きベクトルデータｖ１１０は、フレームｆ１２とフレームｆ１３の動きベクトル、即ち、フレームｆ２とフレームｆ３の動きベクトルに相当する。このように、高フレームレートで撮影した画像から積算して動きベクトルを算出することにより、正確な動きベクトル推定が可能となる。この算出された動きベクトルを基に、ＣＣＤ１８において撮影した動画像の符号化を行う。

その後、撮影の終了指示がない場合は、算出した積算動きベクトルから移動被写体の有無の解析を行う（ステップＳ６３）。移動被写体が存在する場合には、引き続きＣＭＯＳ２１を高フレームレートで撮影を行い（ステップＳ６４）、移動被写体が存在しない場合には、ＣＭＯＳ２１のフレームレートをＣＣＤ１８と同じ通常のフレームレートに戻して撮影を行う（ステップＳ６６）。

以上のように、高速に移動する移動体を検出したときは、ＣＭＯＳ２１の高速電子シャッタによりフレームレートを向上させることにより、正確にベクトル推定を行う。ＣＣＤ１８のフレームレートに併せて動きベクトルを積算し、符号化に用いることで、動画像の画質を向上させることが可能となる。

本実施の形態においては、移動被写体を検出した場合にＣＭＯＳ２１のフレームレートを６倍にしたが、このフレームレートの向上率は何倍でもよい。

図１は、本発明が適用されたデジタルカメラ１０の電気的構成を示すブロック図である。図２は、ＣＣＤ１８及びＣＭＯＳ２１の素子の配列とカラーフィルタ３６を示す図である。図３は、デジタル信号処理回路２５の内部構成を示す図である。図４は、デジタルカメラ１０の手ブレ補正撮影の動作を示すフローチャートである。図５は、ＣＣＤ１８とＣＭＯＳ２１の撮影タイミングと各画像から算出した動きベクトルデータの処理を示した図である。図６は、デジタルカメラ１０の動画撮影の処理を示すフローチャートである。図７は、ＣＣＤ１８とＣＭＯＳ２１の撮影タイミングと各画像から算出した動きベクトルデータの処理を示した図である。

符号の説明

１０…デジタルカメラ、１１…ＣＰＵ、１７…分光器、１８…ＣＣＤ、１９…第１のアナログ信号処理回路、２０…第１のＡ／Ｄ変換器、２１…ＣＭＯＳ、２２…第２のアナログ信号処理回路、２３…第２のＡ／Ｄ変換器、２４…画像入力コントローラ、２５、デジタル信号処理回路、３０…ＡＥ検出回路、３１…ＡＦ検出回路、３７…動きベクトル検出回路、４２…ゲイン補正回路、４３…ガンマ補正回路、４４…ＲＧＢ補間回路、４５…ＲＧＢ／ＹＣ変換回路

Claims

撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、
前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、
前記第２の被写体光を受光する白黒撮像素子を有し、白黒の第２の画像信号を取得する第２の撮像手段と、
前記第１の撮像手段によって所定の時間間隔で連続して撮影した複数の第１の画像信号であって、本撮影の画像信号を含む複数の第１の画像信号を取得する第１の画像取得手段と、
前記第２の撮像手段によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得手段と、
前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する手段と、
前記本撮影の画像信号以外の１つ以上の第１の画像信号と前記動きベクトルとに基づいて本撮影の予測画像信号を生成する手段と、
前記本撮影の画像信号と前記本撮影の予測画像信号とに基づいて画像を生成する画像生成手段と、
を備えたことを特徴とする撮像装置。
前記第２の画像取得手段は、前記第１の撮像手段の撮影間隔より短い時間間隔で連続して撮影して前記複数の第２の画像信号を取得することを特徴とする請求項１に記載の撮像装置。
前記複数の第１の画像信号間の動きベクトルに基づいて前記本撮影の画像信号の手ブレを検出する手段を備え、前記画像生成手段は、前記本撮影の画像信号の手ブレを補正するように前記本撮影の画像信号と前記本撮影の予測画像信号とを重み付け平均して画像を生成することを特徴とする請求項１又は２に記載の撮像装置。
撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光手段と、
前記第１の被写体光を受光するカラー撮像素子を有し、３原色の第１の画像信号を取得する第１の撮像手段と、
前記第２の被写体光を受光する白黒撮像素子を有し、白黒の第２の画像信号を取得する第２の撮像手段と、
前記第１の撮像手段によって所定の時間間隔で連続して撮影した複数の第１の画像信号を取得する第１の画像取得手段と、
前記第２の撮像手段によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得手段と、
前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する手段と、
前記動きベクトルを用いて前記複数の第１の画像信号を圧縮符号化する手段と、
を備えたことを特徴とする撮像装置。
前記動きベクトルに基づいて移動する被写体を検出する手段を備え、前記第２の画像取得手段は、移動する被写体が検出されると前記第１の撮像手段の撮影間隔より短い時間間隔で連続して撮影して前記複数の第２の画像信号を取得することを特徴とする請求項４に記載の撮像装置。
前記第２の撮像手段は、移動する被写体が検出されると撮影感度を上げることを特徴とする請求項５に記載の撮像装置。
撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、
前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、
前記第２の被写体光を受光する白黒撮像素子により、白黒の第２の画像信号を取得する第２の撮像工程と、
前記第１の撮像工程によって所定の時間間隔で連続して撮影した複数の第１の画像信号であって、本撮影の画像信号を含む複数の第１の画像信号を取得する第１の画像取得工程と、
前記第２の撮像工程によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得工程と、
前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する工程と、
前記本撮影の画像信号以外の１つ以上の第１の画像信号と前記動きベクトルとに基づいて本撮影の予測画像信号を生成する工程と、
前記本撮影の画像信号と前記本撮影の予測画像信号とに基づいて画像を生成する画像生成工程と、
を備えたことを特徴とする撮像制御方法。
撮像光学系に入射した被写体からの入射光を第１の被写体光と第２の被写体光に分割する分光工程と、
前記第１の被写体光を受光するカラー撮像素子により、３原色の第１の画像信号を取得する第１の撮像工程と、
前記第２の被写体光を受光する白黒撮像素子により、白黒の第２の画像信号を取得する第２の撮像工程と、
前記第１の撮像工程によって所定の時間間隔で連続して撮影した複数の第１の画像信号を取得する第１の画像取得工程と、
前記第２の撮像工程によって前記第１の画像信号の撮影時よりも速いシャッタスピードで撮影した複数の第２の画像信号であって、前記複数の第１の画像信号と同じタイミングで撮影した画像信号を含む複数の第２の画像信号を取得する第２の画像取得工程と、
前記複数の第２の画像信号に基づいて、前記複数の第１の画像信号間の動きベクトルを算出する工程と、
前記動きベクトルを用いて前記複数の第１の画像信号を圧縮符号化する工程と、
を備えたことを特徴とする撮像制御方法。