JP2009147730A - 動画生成装置、動画撮影装置、動画生成方法及びプログラム - Google Patents

Abstract

【課題】撮像素子の能力を超える高解像度かつ高フレームレートの動画を生成する。
【解決手段】高解像度の画像データ及び低解像度の画像データを任意のタイミングで取得する。高解像度画像の解像度と低解像度画像の解像度とが同じ解像度となるように高解像度画像の解像度変換を行い、特徴点を抽出する。高解像度画像の直後に取得された低解像度画像において、特徴点に対応する対応点を検出する。高解像度画像は、高解像度画像に合うように座標変換された特徴点を連結して複数の三角形領域に分割される。当該三角形領域と、高解像度画像に合うように座標変換された対応点を連結して得られた三角形領域とが同じになるように高解像度画像を変形することで、低解像度画像と内容が同じ高解像度画像が得られる。当該処理を全ての低解像度画像に対して行うことで、高解像度かつ高フレームレートの動画が得られる。
【選択図】 図８

Description

本発明は動画生成装置、動画撮影装置、動画生成方法及びプログラムに係り、特に高フレームレートの動画を生成可能な動画生成装置、動画撮影装置、動画生成方法及びプログラムに関する。

良好な動画を得るために、高解像度の２枚の画像の間の画像を補間により生成して動画のフレームレートを上げる方法がある。しかしながら、フレーム読み出しの間の時間の被写体移動は推定するしかなく、推定が誤りであった場合には、画像が破綻する可能性がある。

フレームレートを向上させるには、一般的に撮像素子が出力できる画素数とフレームレートは反比例の関係があるため、出力画素数を減らす必要があった。これを改善するため、以下のような技術が開示されている。

特許文献１には、撮像素子をインターレース駆動し、隣接フレームとの補間を行うことにより、時間空間解像度の高い画像を生成する発明が開示されている。

特許文献２には、観察対象の情景全体については低解像度の全体画像として取得し、その中の部分的な着目箇所についてのみ高解像度部分映像として詳細映像を取得する発明が開示されている。

特許文献３には、２個のＣＣＤの駆動タイミングをずらして撮影することにより、２倍のフレームレートの動画を得る発明が記載されている。

特許文献４には、３個のＣＣＤを水平空間画素ずらしで配置することで水平方向の解像度を高解像度にし、かつインターレース読み出しを行うことで、高フレームレートを得る発明が記載されている。
特開２００７―２８２０８号公報 特開２００４―１８０２４０号公報 特開２００５―１９１８１３号公報 特開２００５―２１７９７０号公報

特許文献１に記載の発明では、撮像素子のインターレース駆動の画像を合成しているが、露光タイミングの異なる２枚の画像を破綻なく合成するのは実際には難しいという問題がある。

特許文献２に記載の発明では、撮像素子の低解像度と高解像度の駆動を交互に行うことで高解像度の画像と高解像度の画像を取得しているが、高解像度画像は切り抜きであり、素子全体の画素数を得ることはできない。

特許文献３、４に記載の発明には、複数の同一性能の撮像素子を用いて、フレームレートの向上、および高画質化を達成するとある。しかしながら、特許文献３に記載の発明では、同一の撮像素子が２つ必要であり、単純にコストが２倍になるという問題がある。また、特許文献４に記載の発明では、補間とインターレース読み出しを併用することにより、高フレームレートかつ高解像度の画素を達成するが、１フレームを構成する画素の露光時間が異なるため、不自然な画像となるという問題がある。

さらに、特許文献３、４に記載の発明には、複数の同一性能の撮像素子を用いて、フレームレートの向上、および高画質化を達成するとあるが、デジタルカメラ（ビデオカメラ）として考えた場合には、高フレームレートであることが要求されないモードも存在する。しかしながら、特許文献３、４に記載の発明においては、当該モードでの利点を見出すことはできない。

本発明はこのような事情に鑑みてなされたもので、撮像素子の能力を超える高解像度かつ高フレームレートの動画を得ることができる動画生成装置、動画撮影装置、動画生成方法及びプログラムを提供することを目的とする。

前記目的を達成するために、請求項１に記載の動画生成装置は、所定のフレームレートで取得された高解像度の第１の画像データと、前記第１の画像データと異なる時刻に取得された低解像度の第２の画像データとが任意の順番で並んだ一連の画像データを取得する取得手段と、前記第１の画像データの特徴点を抽出する特徴点抽出手段と、前記第２の画像データの対応点であって、該第２の画像データの直前に得られた前記第１の画像データの特徴点に対応する対応点を検出する対応点検出手段と、前記特徴点抽出手段において抽出された特徴点と、前記対応点検出手段において検出された対応点との関係に基づいて前記第１の画像データを変形させて、前記第２の画像データと同じ内容の高解像度の画像データを生成する生成手段と、を備えたことを特徴とする。

請求項１に記載の動画生成装置によれば、所定のフレームレートで取得された高解像度の第１の画像データの特徴点と、第１の画像データと異なる時刻に取得された低解像度の第２の画像データの対応点とに基づいて第１の画像データを変形して、第２の画像データと同じ内容の高解像度の画像データを生成する。第２の画像データ全てに対して高解像度の画像データを生成することにより、所定のフレームレートより高フレームレートかつ高解像度の動画が得られる。なお、第２の画像データの対応点とは、第１の画像データにおいて抽出された特徴点に対応する点である。これにより、高解像度の複数の画像間の補間を行う場合において、低解像度の画像により被写体の移動を検出し、それに基づいて補間を行うため、被写体の動きを正しく反映した高解像度の画像生成をすることができる。また、低解像度の画像データは被写体の検出のみに用いて、動画に直接使用しないため、低解像度の画像データの解像度を落とすことができる。

請求項２に記載の動画生成装置は、請求項１に記載の動画生成装置において、第１の画像データの解像度を第２の画像データの解像度と同じ解像度に変換する解像度変換手段を備え、前記特徴点抽出手段は、前記解像度変換手段により解像度が変換された第１の画像データの特徴点を抽出することを特徴とすることを特徴とする。

請求項２に記載の動画生成装置によれば、第１の画像データの解像度を第２の画像データの解像度と同じ解像度に変換し、解像度が変換された第１の画像データの特徴点を抽出する。これにより、対応点を正確に検出することができる。

請求項３に記載の動画生成装置は、請求項２に記載の動画生成装置において、前記特徴点抽出手段により抽出された特徴点及び前記対応点検出手段により検出された対応点の座標を、前記第１の画像データの解像度に合わせて変換する座標変換手段を備え、前記生成手段は、前記座標変換手段により座標変換された前記第１の画像データの特徴点を、前記座標変換手段により座標変換された対応点に一致させるように、前記第１の画像データを変形することを特徴とする。

請求項３に記載の動画生成装置によれば、第１の画像データを第２の画像データの内容に合わせて変形する場合において、解像度が変換された第１の画像データで抽出された特徴点を第１の画像データに合わせて座標変換し、この特徴点を第１の画像データに合わせて座標変換された対応点に一致するように、第１の画像データを変形する。これにより、低解像度の第２の画像データと内容が同じ高解像度の画像データを、第１の画像データから生成することができる。

請求項４に記載の動画生成装置は、請求項１から３のいずれかに記載の動画生成装置において、前記特徴点抽出手段により抽出された特徴点を連結して、前記第１の画像データを複数の領域に分割する領域分割手段を備え、前記生成手段は、前記特徴点抽出手段により抽出された特徴点を前記対応点検出手段により検出された対応点に合わせて変形すると共に、前記領域分割手段により分割された領域を変形することを特徴とする。

請求項４に記載の動画生成装置によれば、特徴点抽出手段により抽出された特徴点を連結して、前記第１の画像データを複数の領域に分割し、特徴点を対応点に合わせて変形するのに合わせて当該領域を変形する。これにより、低解像度の第２の画像データと内容が同じ高解像度の画像データを、第１の画像データから生成することができる。

請求項５に記載の動画撮影装置は、請求項１から４のいずれかに記載の動画生成装置と、高解像度かつ低フレームレートの駆動と、低解像度かつ高フレームレートの駆動とを任意に実行可能な撮像素子と、前記撮像素子の高解像度かつ低フレームレートの駆動と低解像度かつ高フレームレートの駆動を制御することにより、前記取得手段に前記第１の画像データと前記第２の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、前記生成手段により生成された動画を再生する再生手段と、を備えたことを特徴とする。

請求項５に記載の動画撮影装置によれば、高解像度（前画素の読み出し）かつ低フレームレートの駆動と、低解像度（一部の画素数読み出し）かつ高フレームレートの駆動とを任意に実行可能な撮像素子を制御して、第１の画像データと第２の画像データとが任意の順番で並んだ一連の画像データを取得する。このように、全画素読み出し駆動と、一部の画素数読み出し駆動を併用することにより、撮像素子の能力を超えるフレームレートで、全画素読み出しの解像度を持つ動画を得ることができる。また、一部の画素数読み出し駆動の解像度を落とすことで、消費電力を減らすことができる。

請求項６に記載の動画撮影装置は、請求項５に記載の動画撮影装置において、前記生成手段は、前記高フレームレートの連続した高解像度の画像データを取得するために、前記高フレームレートの第１の画像データと、前記生成された高解像度の画像データとを補間して高解像度の画像データを生成することを特徴とする。これにより、画像データが一定のフレームレートで取得されていない場合においても、高解像度かつ一定のフレームレートの動画を生成することができる。

請求項７に記載の動画撮影装置は、請求項１から４のいずれかに記載の動画生成装置と、前記第１の画像データを取得する第１の撮像素子と、前記第２の画像データを取得する第２の撮像素子と、被写体光が前記第１の撮像素子又は前記第２の撮像素子に入射されるように光路を切り替える切替手段と、前記第１の撮像素子、前記第２の撮像素子及び前記切替手段を制御することにより、前記取得手段に前記第１の画像データと前記第２の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、を備えたことを特徴とする。

請求項７に記載の動画撮影装置によれば、第１の画像データを取得する第１の撮像素子と、第２の画像データを取得する第２の撮像素子と、被写体光が第１の撮像素子又は第２の撮像素子に入射されるように光路を切り替える切替手段と、を制御して、第１の画像データと第２の画像データとが任意の順番で並んだ一連の画像データを取得する。このように、複数の撮像素子を組み合わせることにより、撮像素子の能力を超えるフレームレートで、撮像素子の最大能力の画素数を有する動画を得ることが可能である。また、各撮像素子のフレームレートは低フレームレートで済むこと、及び低解像度の画像データを取得する撮像素子の解像度を落とすことができることにより、コストダウンを図ることができる。また、低解像度の画像データを取得する撮像素子の解像度を落とすことができるため、消費電力を減らすことができる。

請求項８に記載の動画生成装置は、同じフレームレートかつ異なるタイミングで３原色の各色毎の画像データを順番に取得する取得手段と、前記取得手段により取得された画像データのうちの注目フレームの画像データの特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する推定手段と、前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第１の生成手段と、前記注目フレームの画像データと、前記第１の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する第２の生成手段と、を備えたことを特徴とする。

請求項８に記載の動画生成装置によれば、同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得し、そのうちの注目フレームの画像データの特徴点を抽出する。抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出し、抽出された特徴点及び対応点の間の距離と、画像データが取得されたタイミングとに基づいて、注目フレームの画像データに隣接する画像データの注目フレームの画像データの特徴点に対応する対応点を推定する。抽出された特徴点と推定された対応点とに基づいて注目フレームの画像データに隣接する画像データを変形して、注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。生成された注目フレームの画像データと同じ時刻の色が異なる画像データと、注目フレームの画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する。このように、当該処理を取得された全ての画像データに対して行うことで、単一色の画像データの取得のフレームレートの３倍という高フレームレートのカラー動画を得ることができる。また、特徴点が抽出された画像データと同一色の画像データの対応点を抽出することで、正確に対応点を抽出することができる。また、時間的な補間を用いることで、他の色の画像データの対応点を容易に推定することができる。

請求項９に記載の動画生成装置は、請求項７に記載の動画生成装置において、前記取得手段により７フレームの画像データが取得されると、最後に取得されたフレームの画像データから３フレーム前に取得された画像データを前記注目フレームの画像データと設定する設定手段を備えたことを特徴とする。これにより、３原色の各色毎の画像データを全て用いた画像生成をすることができる。

請求項１０に記載の動画生成装置は、請求項８又は９に記載の動画生成装置において、前記推定手段により抽出された対応点を連結して前記注目フレームの画像データに隣接する画像データを複数の領域に分割する領域分割手段を備え、前記第１の生成手段は、前記推定手段により推定された対応点を前記特徴点抽出手段により抽出された特徴点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形することを特徴とする。これにより、注目フレームの画像データと色のみが異なる画像データを、注目フレームの画像データから生成することができる。

請求項１１に記載の動画生成装置は、同じフレームレートかつ異なるタイミングで３原色の各色毎の画像データを順番に取得する取得手段と、前記取得手段により取得された画像データのうちの注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点に対応する対応点であって、前記特徴点が抽出された画像データと同一色かつ前記注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームと同じ時刻の色が異なる画像データの対応点を推定する推定手段と、前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記特徴点抽出手段により特徴点が抽出された画像データを変形して、又は前記対応点抽出手段により抽出された対応点と、前記推定手段により推定された対応点とに基づいて、前記対応点抽出手段により対応点が抽出された画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第１の生成手段と、前記注目フレームの画像データと、前記第１の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する第２の生成手段と、を備えたことを特徴とする。

請求項１１に記載の動画生成装置によれば、同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得し、そのうちの所望の画像を注目フレームとする。当該注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出し、抽出された特徴点に対応する対応点であって、特徴点が抽出された画像データと同一色かつ注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出し、抽出された特徴点及び対応点の間の距離と、画像データが取得されたタイミングとに基づいて、注目フレームの画像データの対応点を推定する。抽出された特徴点と推定された対応点とに基づいて、特徴点が抽出された画像データを変形して注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。又は、抽出された対応点と推定された対応点とに基づいて、対応点が抽出された画像データを変形して注目フレームの画像データと同じ時刻の色が異なる画像データを生成する。生成された注目フレームの画像データと同じ時刻の色が異なる画像データと、注目フレームの画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する。これにより、単一色の画像データの取得のフレームレートの３倍という高フレームレートのカラー動画を得ることができる。

請求項１２に記載の動画撮影装置は、請求項８から１１のいずれかに記載の画像生成装置と、３原色の各色毎の画像データを取得する複数の撮像素子と、被写体光を分光して前記複数の撮像素子に入射させる分光手段と、前記複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、前記取得手段に同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得させる撮像制御手段と、前記生成手段により生成された動画を再生する再生手段と、を備えたことを特徴とする。

請求項１２に記載の動画撮影装置によれば、被写体光が入射し、３原色の各色毎の画像データを取得する複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得する。このように、単色フィルタを有する撮像素子を複数組み合わせることにより、通常モードでは、偽色が原理的に発生しない優れた色再現のカメラとして使用が可能で、高フレームレートでは、高解像度カラー動画を得ることができる。また、各撮像素子のフレームレートは低フレームレートで済み、コストダウンを図ることができる。

請求項１３に記載の動画生成方法は、（ａ）所定のフレームレートで取得された高解像度の第１の画像データと、前記第１の画像データと異なる時刻に取得された低解像度の第２の画像データとが任意の順番で並んだ一連の画像データを取得する工程と、（ｂ）前記第１の画像データの特徴点を抽出する工程と、（ｃ）前記第２の画像データの対応点であって、該第２の画像データの直前に得られた前記第１の画像データの特徴点に対応する対応点を検出する工程と、（ｄ）前記抽出された特徴点及び前記検出された対応点に基づいて前記第１の画像データを変形させて、前記第２の画像データと同じ内容の高解像度の画像データを生成する工程と、（ｅ）前記（ｂ）から（ｄ）の工程を前記（ａ）の工程で取得された第２の画像データ全てに対して行う工程と、を含むことを特徴とする。
請求項１４に記載の動画生成方法は、（ａ）同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得する工程と、（ｂ）前記取得された画像データのうちの注目フレームの画像データの特徴点を抽出する工程と、（ｃ）前記抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する工程と、（ｄ）前記（ｂ）の工程において抽出された注目フレームの画像データの特徴点と前記（ｃ）の工程において抽出された前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点との間の距離と、前記（ａ）の工程において画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する工程と、（ｅ）前記取得された特徴点と、前記推定された対応点とに基づいて前記注目フレームの画像データに隣接する画像データを変形して、前記注目フレームと同じ時刻の色が異なる画像データを生成する工程と、（ｆ）前記注目フレームの画像データと、前記生成された前記注目フレームと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する工程と、（ｇ）前記（ｂ）から（ｆ）の工程を前記（ａ）の工程で取得された画像データ全てに対して行う工程と、を含むことを特徴とする。

請求項１５に記載のプログラムは、請求項１３又は１４に記載の動画生成方法を演算装置に実行させることを特徴とする。

本発明によれば、撮像素子の能力を超える高解像度かつ高フレームレートの動画を得ることができる。

以下、添付図面に従って本発明に係る動画撮影装置（デジタルカメラ）を実施するための最良の形態について詳細に説明する。

＜第１の実施の形態＞
図１は本発明に係る電子機器の一実施形態を示す正面斜視図であり、図２はその背面斜視図である。この電子機器は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

デジタルカメラ１のカメラボディ１２は、横長の四角い箱状に形成されており、その正面には、図１に示すように、撮影レンズ１３、フラッシュ１６、ＡＦ補助光ランプ１８等が設けられており、上面には、シャッターボタン２２、モードレバー２４、電源ボタン２６等が設けられている。また、側面には、ＵＳＢ用コネクタ１５と開閉自在なスロットカバー１１が設けられている。スロットカバー１１の内側には、メモリカードを装着するためのメモリカードスロット１４が設けられている。

一方、カメラボディ１２の背面には、図２に示すように、モニタ２８、ズームボタン３０、再生ボタン３２、ファンクションボタン３４、十字ボタン３６、ＭＥＮＵ／ＯＫボタン３８、ＤＩＳＰ／ＢＡＣＫボタン４０等が設けられている。

なお、図示しない底面には、三脚ネジ穴と内側にバッテリを収納するための開閉自在なバッテリカバーとが設けられている。

レンズ１３は、沈胴式のズームレンズで構成されており、電源ボタン２６によってデジタルカメラ１の電源をＯＮすることにより、カメラボディ１２から繰り出される。なお、レンズ１３のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

メモリカードスロット１４は、撮影した被写体の画像データ、音声データ等の各種データ、ファームウェアが記録されているメモリカードを装着するための接続部である。

ＵＳＢ用コネクタ１５は、パーソナルコンピュータ、プリンタ等の外部機器との間での信号伝達をするためＵＳＢ用ケーブルを接続するための接続部である。

フラッシュ１６は、たとえばキセノン管を光源として構成されており、その発光量を調整可能に形成されている。なお、キセノン管の他、高輝度のＬＥＤを光源としたフラッシュを用いることもできる。

ＡＦ補助光ランプ１８は、たとえば高輝度ＬＥＤで構成されており、ＡＦ時に必要に応じて発光される。

シャッターボタン２２は、いわゆる「半押し」と「全押し」とからなる二段ストローク式のスイッチで構成されている。デジタルカメラ１は、このシャッターボタン２２を半押しすると撮影準備処理、すなわち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）の各処理を行い、全押しすると、画像の撮影・記録処理を行う。

モードレバー２４は、デジタルカメラ１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、デジタルカメラ１の撮影モードが様々なモードに設定される。例えば、絞り、シャッタースピード等がデジタルカメラ１によって自動的に設定される「オート撮影モード」、動画撮影を行う「動画撮影モード」、人物撮影に適した「人物撮影モード」、動体撮影に適した「スポーツ撮影モード」、風景の撮影に適した「風景撮影モード」、夕景及び夜景の撮影に適した「夜景撮影モード」、絞りの目盛りを撮影者が設定し、シャッタースピードをデジタルカメラ１が自動的に設定する「絞り優先撮影モード」、シャッタースピードを撮影者が設定し、絞りの目盛りをデジタルカメラ１が自動的に設定する「シャッタースピード優先撮影モード」、絞り、シャッタースピード等を撮影者が設定する「マニュアル撮影モード」等である。

電源ボタン２６は、デジタルカメラ１の電源をＯＮ／ＯＦＦするのに用いられ、所定時間（たとえば、２秒）押下されることにより、デジタルカメラ１の電源がＯＮ／ＯＦＦされる。

モニタ２８は、カラー表示が可能な液晶ディスプレイで構成されている。このモニタ２８は、再生モード時に撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用される。また、撮影モード時には、必要に応じてスルー画像が表示されて、画角確認用の電子ファインダとして利用される。

ズームボタン３０は、撮影レンズ１３のズーム操作に用いられ、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとで構成されている。

再生ボタン３２は、再生モードへの切り替え指示に用いられる。すなわち、デジタルカメラ１は、撮影中、この再生ボタン３２が押されると、再生モードに切り替えられる。また、電源ＯＦＦの状態でこの再生ボタン３２が押されると、再生モードの状態でデジタルカメラ１が起動する。

ファンクションボタン３４は、撮影及び再生機能の各種設定画面の呼び出しに用いられる。すなわち、撮影時にこのファンクションボタン３４が押されると、モニタ２８に画像サイズ（記録画素数）、感度等の設定画面が表示され、再生時にこのファンクションボタン３４が押されると、モニタ２８に画像の消去、プリント予約（ＤＰＯＦ）の設定画面等が表示される。

十字ボタン３６は、上下左右４方向の指示を入力する方向指示手段として機能し、たとえば、メニュー画面でメニュー項目の選択などに使用される。

ＭＥＮＵ／ＯＫボタン３８は、各モードの通常画面からメニュー画面への遷移を指示するボタン（ＭＥＮＵボタン）として機能するととともに、選択内容の確定、処理の実行等を指示するボタン（ＯＫボタン）として機能する。

ＤＩＳＰ／ＢＡＣＫボタン４０は、モニタ２８の表示内容の切り替え指示（ＤＩＳＰ機能）に用いられるとともに、入力操作のキャンセル等の指示（ＢＡＣＫ機能）に用いられ、デジタルカメラ１の設定状態に応じて割り当てられる機能が切り替えられる。

図３は、本実施の形態のデジタルカメラ１の電気的構成を示すブロック図である。

同図に示すように、デジタルカメラ１は、主として、入力制御部１１０、特徴点抽出部１１２、対応点検出部１１４、画像変形部１１６、三角形分割部１１８、メモリ１２０、出力制御部１２２、撮影光学系１２４、撮像素子１２８ａ、Ａ／Ｄ変換部１３０などで構成される。

撮影光学系１２４は、撮影レンズ１３、絞り、シャッタを含み、各構成要素は、モータ等のアクチュエータで構成される駆動部に駆動されて動作する。たとえば、撮影レンズ１３を構成するフォーカスレンズ群は、フォーカスモータに駆動されて前後方向に移動し、ズームレンズ群は、ズームモータに駆動されて前後方向に移動する。また、絞りは、絞りモータに駆動されて拡縮し、シャッタは、シャッタモータに駆動されて開閉する。撮影光学系１２４は、図示しないＣＰＵからの指令に応じて、駆動部（図示せず）を介して制御される。

撮像素子１２８ａは、たとえば、所定のカラーフィルタ配列のカラーＣＣＤで構成されており、撮影光学系１２４によって結像された被写体の画像を電子的に撮像する。撮像素子１２８ａは、図示しないＣＰＵからの指令に応じてタイミングジェネレータ（ＴＧ）から出力されるタイミング信号に基づいて駆動される。

本実施の形態における撮像素子１２８ａは、読み出す画像の解像度を可変にすることができる撮像素子である。撮像素子１２８ａは、一部の画素のみの電荷を読み出す画素間引き駆動又は画素を表す信号電荷を混合することにより画素数を減少させる画素混合駆動による低解像度での読み出しと、全画素を読み出す高解像度での読み出しとが可能である。低解像度で読み出す場合には、読み出しに要する時間が短くてすむため、次の画像の読み出しタイミングを早くする、すなわちフレームレートを高くすることができる。なお、高解像度の画像は、1920画素×1080画素程度の画素数を有する画像であり、低解像度の画像は640画素×480画素程度の画素数を有する画像である。

また、撮像素子１２８ａは、低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを、任意の順番で行うことが可能である。図４は、低フレームレートで全画素を読み出す駆動により、高解像度の画像データを取得する場合の模式図を示し、図５は、低フレームレートで全画素を読み出す駆動による高解像度の画像データの取得及び高フレームレートで一部の画素のみを読み出す駆動による低解像度の画像データの取得を組み合わせた場合の模式図を示す。

図４に示すように、撮像素子１２８ａの全画素を読み出す場合には、画素の読み出しに要する時間の関係上、フレームレート３０ｆｐｓでの読み出しが限界である。それに対し、読み出す画素を間引くことで一部の画素のみを読み出す場合には、全画素を読み出す場合に比べて画素の読み出しに要する時間が短くて済むため、高フレームレートでの読み出しが可能である。図５に示す場合には、低解像度の画像データは、高解像度の画像データの約半分の時間で読み出すことができる。したがって、高解像度の画像データと低解像度の画像データとを合わせて４５ｆｐｓという高フレームレートで画像データを取得することができる。

Ａ／Ｄ変換部１３０は、後述する撮像素子１２８ａから出力された画像信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）及び増幅を行うことにより生成されたＲ、Ｇ、Ｂのアナログの画像信号をデジタルの画像信号に変換する。

入力制御部１１０は、所定容量のラインバッファを内蔵しており、図示しないＣＰＵからの指令に従い、Ａ／Ｄ変換部１３０から出力された１画像分の画像信号に以下に示す処理を行い、メモリ１２０に記録する。

入力制御部１１０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含み、図示しないＣＰＵからの指令に従い、入力された画像信号に所要の信号処理を施して、輝度データ（Ｙデータ）と色差データ（Ｃｒ，Ｃｂデータ）とからなる画像データ（ＹＵＶデータ）を生成する。

また、入力制御部１１０は、図示しないＣＰＵからの指令に従い、入力された画像データに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、図示しないＣＰＵからの指令に従い、入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮の画像データを生成する。

特徴点抽出部１１２は、画像処理の基本となる画像である高解像度の画像データの特徴点を抽出する（図６ｃ参照）。画像変形部１１６において画像変形を行うためには、画像間で点と点との対応を決定する必要がある。このため、対応の取りやすい点を選び、複数枚の画像データのこれらの点の間の対応を決定するが、この対応の取りやすい点が特徴点である。なお、画像データから特徴点を抽出する方法としては、既に公知と成っている様々な方法を用いることができる。本実施の形態では、低解像度の画像データとの間で対応をとるため、高解像度の画像データを低解像度に解像度変換し他者に対して特徴点を抽出する。その後、特徴点のデータは、対応点検出部１１４へ入力される。

対応点検出部１１４は、低解像度の画像データの対応点であって、特徴点抽出部１１２から入力された特徴点に対応する対応点を検出する。対応点検出部１１４には、特徴点抽出部１１２により抽出された特徴点と、低解像度の画像データとが入力される。まず、対応点検出部１１４は、入力された画像の特徴点がどのような特徴を持った点であるかを検出する。そして、対応点検出部１１４は、図６ｄに示すように、入力された各特徴点に対応する対応点、すなわち特徴点Ａに対応する対応点Ａ’、特徴点Ｂに対応する対応点Ｂ’、特徴点Ｃに対応する対応点Ｃ’、特徴点Ｄに対応する対応点Ｄ’、特徴点Ｅに対応する対応点Ｅ’、を抽出する。

画像変形部１１６は、高解像度の画像データを対応点検出部１１４で対応点が検出された低解像度の画像データにあわせて変形する。

三角形分割部１１８は、高解像度の画像データの特徴点を結ぶことにより複数の三角形の領域に分割する。

出力制御部１２２は、入力制御部１１０により入力された画像データや、画像変形部１１６により変形された画像データを、図示しないメディアコントローラ、表示制御部、ＡＥ／ＡＷＢ検出回路、ＡＦ検出回路などに出力する。

出力された画像データは、ＣＰＵによって制御されるこれらの各構成要素において様々な処理が行われる。例えば、メディアコントローラではメモリカードへのデータの読み／書きが行われ、表示制御部ではモニタ２８に表示するための映像信号（たとえば、ＮＴＳＣ信号やＰＡＬ信号、ＳＣＡＭ信号）に変換されてモニタ２８に出力される。

次に、以上のように構成された本実施の形態のデジタルカメラ１の作用について説明する。

まず、デジタルカメラ１の撮影、記録動作及び再生動作について説明する。

電源ボタン２６を押下し、デジタルカメラ１の電源を投入すると、デジタルカメラ１は、撮影モードの下で起動する。

まず撮影光学系１２４の駆動部が駆動され、撮影レンズ１３が所定位置まで繰り出される。そして、撮影レンズ１３が所定位置まで繰り出されると、撮像素子１２８ａによってスルー画像用の撮影が行われ、モニタ２８にスルー画像が表示される。すなわち、撮像素子１２８ａで連続的に画像が撮像され、その画像信号が連続的に処理されて、スルー画像用の画像データが生成される。生成された画像データは、順次表示用の信号形式に変換されて、モニタ２８に出力される。これにより、撮像素子１２８ａで捉えた画像がモニタ２８にスルー表示される。

静止画を撮影する場合には、撮影者は、このモニタ２８に表示されたスルー画像を見て構図を決定し、シャッターボタン２２を半押しする。

シャッターボタン２２が半押しされると、図示しないＣＰＵにＳ１ＯＮ信号が入力される。図示しないＣＰＵは、このＳ１ＯＮ信号に応動して、撮影準備処理、すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。

まず、撮像素子１２８ａから出力された画像信号が入力制御部１１０によりＤＳＰに入力されると、画像データが出力制御部１２２を介してＤＳＰから出力され、ＡＥ／ＡＷＢ検出部及びＡＦ検出部に加えられる。

ＡＥ／ＡＷＢ検出部は、入力された画像信号からＡＥ制御及びＡＷＢ制御に必要な物理量を算出する。たとえば、ＡＥ制御に必要な物理量として、１画面を複数のエリア（たとえば１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の積算値を算出する。図示しないＣＰＵは、このＡＥ／ＡＷＢ検出回路１５２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。そして、算出した撮影ＥＶ値と所定のプログラム線図から絞り値とシャッタ速度を決定する。また、ＡＷＢ制御に必要な物理量として、１画面を複数のエリア（例えば、１６×１６）に分割し、分割したエリアごとにＲ、Ｇ、Ｂの画像信号の色別の平均積算値を算出する。図示しないＣＰＵは、得られたＲの積算値、Ｂの積算値、Ｇの積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、求めたＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇの色空間における分布等に基づいて光源種判別を行う。そして、判別された光源種に適したホワイトバランス調整値に従って、たとえば各比の値がおよそ１（つまり、１画面においてＲＧＢの積算比率がＲ：Ｇ：Ｂ≒１：１：１）になるように、ホワイトバランス調整回路のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランス補正値）を決定する。これらの物理量は図示しないＣＰＵに出力される。図示しないＣＰＵは、このＡＥ／ＡＷＢ検出部からの出力に基づき、絞り値とシャッタースピードを決定するとともに、ホワイトバランス補正値を決定する。

それと同時に、ＡＥ／ＡＷＢ検出部は、検出された被写体輝度より、フラッシュ１６の発光が必要かどうかを判断する。フラッシュ１６の発光が必要と判断された場合には、フラッシュ１６をプリ発光させ、その反射光に基づいて本撮影時のフラッシュ１６の発光量を決定する。

また、ＡＦ検出部は、入力された画像信号からＡＦ制御に必要な物理量を算出し、ＣＰＵに出力する。本実施の形態のデジタルカメラ１では、撮像素子１２８ａから得られる画像のコントラストによりＡＦ制御が行われる（いわゆるコントラストＡＦ）、すなわち、ＣＰＵは、駆動部等を制御することでフォーカスレンズ群を至近から無限遠まで所定のステップで移動させ、ＡＦ検出部は、各位置で入力された画像信号から画像の鮮鋭度を示す焦点評価値を取得し、得られた焦点評価値が最大の位置を合焦位置とする。図示しないＣＰＵは、このＡＦ検出部からの出力に基づいて、フォーカスレンズの移動を制御して、撮影レンズ１３のピントを主要被写体に合わせる。この際、図示しないＣＰＵは、必要に応じてＡＦ補助光ランプ２０を発光させて、ＡＦ制御を実行する。

撮影者は、モニタ２８に表示されるスルー画像を見て撮影レンズ１３のピント状態等を確認し、撮影を実行する。すなわち、シャッターボタン２２を全押しする。

シャッターボタン２２が全押しされると、図示しないＣＰＵにＳ２ＯＮ信号が入力される。図示しないＣＰＵは、このＳ２ＯＮ信号に応動して、撮影、記録処理を実行する。

まず、上記のＡＥ処理で求めた絞り値、シャッタースピードで撮像素子１２８ａを露光し、記録用の画像を撮像する。撮像素子１２８ａから出力された記録用の画像信号は、入力制御部１１０に取り込まれ、入力制御部１１０は、入力された画像信号に所定の信号処理を施して、輝度データと色差データとからなる画像データ（ＹＵＶデータ）を生成する。生成された画像データは一旦メモリ１２０に格納され、入力制御部１１０は、生成された画像データに所定の圧縮処理を施し、圧縮画像データを生成する。

圧縮された画像データは、メモリ１２０に格納され、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）として、メディアコントローラを介してメモリカードに記録される。なお、メモリカードに画像ファイルが保存可能な空き領域が無い場合や、操作者が選択した場合等には、ＲＡＭに格納された画像データは、所定フォーマットの静止画像ファイル（たとえば、Ｅｘｉｆ）としてフラッシュＲＯＭに保存される。なお、フラッシュＲＯＭに画像データを保存する場合には、画像データは複数のクラスタ、通常は連続した複数のクラスタに保存される。

また、動画を撮影する場合には、撮影者は、モードレバー２４を操作することによりデジタルカメラ１の動作モードを動画撮影モードに設定する。そして、モニタ２８に表示されたスルー画像を見て構図を決定し、シャッターボタン２２を押下する。

シャッターボタン２２が押下されると、図示しないＣＰＵは、上に述べたような撮影準備処理、すなわち、ＡＥ、ＡＦ、ＡＷＢの各処理を実行する。その後、上に述べたような撮影、記録処理を連続的に実行する。これにより、通常モードでの動画撮影及び記録が行われる。

このようにしてメモリカード又はフラッシュＲＯＭに記録された静止画又は動画の画像データは、デジタルカメラ１のモードを再生モードに設定することにより、モニタ２８に再生表示される。再生モードへの移行は、再生ボタン３２を押下することにより行われる。

再生ボタン３２が押下されると、図示しないＣＰＵは最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがメモリカードに記録されている場合には、図示しないＣＰＵは、メディアコントローラを介してメモリカードに最後に記録された画像ファイルの圧縮画像データを読み出す。最後に記録された画像ファイルがフラッシュＲＯＭに記録されている場合には、図示しないＣＰＵは直接フラッシュＲＯＭから画像ファイルの圧縮画像データが読み取り可能である。

メモリカード又はフラッシュＲＯＭから読み出された圧縮画像データは、圧縮伸張処理部に加えられ、非圧縮の画像データとされたのちメモリ１２０に加えられる。そして、メモリ１２０から表示制御部１４８を介してモニタ２８に出力される。これにより、メモリカード又はフラッシュＲＯＭに記録されている画像が、モニタ２８に再生表示される。

画像のコマ送りは、十字ボタン３６の左右のキー操作で行なわれ、右キーが操作されると、次の画像ファイルがメモリカード１６０から読み出され、モニタ２８に再生表示される。また、十字ボタン３６の左キーが操作されると、一つ前の画像ファイルがメモリカード又はフラッシュＲＯＭから読み出され、モニタ２８に再生表示される。

モニタ２８に再生表示された画像を確認しながら、必要に応じて、メモリカード又はフラッシュＲＯＭに記録された画像を消去することができる。画像の消去は、画像がモニタ２８に再生表示された状態でファンクションボタン３４が押下されることによって行われる。

ファンクションボタン３４が押下されると、図示しないＣＰＵは表示制御部１４８を介して、モニタ２８に「この写真を消去してよろしいですか」等の画像消去を伝えるメッセージを画像に重ねて表示する。ＭＥＮＵ／ＯＫボタン３８が押下されると、その画像の消去が行われる。画像データがメモリカードに記録されている場合には、図示しないＣＰＵはメディアコントローラを介してメモリカードに記録された画像ファイルを消去する。画像データがフラッシュＲＯＭに記録されている場合には、図示しないＣＰＵは直接フラッシュＲＯＭから画像ファイルが消去可能である。

以上のように、デジタルカメラ１は静止画、動画の撮影、記録及び再生を行う。

本実施の形態では、動画撮影モードとして、通常モード以外に高解像度かつ高フレームレートの画像を得る高解像度モードがある。通常モードとは、撮像素子１２８ａを低フレームレートで全画素を読み出す駆動（図４参照）を行うことにより動画を撮影するモードである。それに対し、高解像度モードとは、撮像素子１２８ａを低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを任意の順番で行い（図５参照）、低解像度の画像データに一致する高解像度の画像データを生成（図７参照）することにより、高解像度かつ高フレームレートの動画を撮影する（図８参照）モードである。

以下、高解像度モードにおける画像生成について説明する。図７は、低解像度の画像と内容が等しい高解像度の画像を生成する処理の流れを示すフローチャートである。ＣＰＵは、このフローに従って特徴点抽出部１１２、対応点検出部１１４、画像変形部１１６、三角形分割部１１８などを制御する。

まず、ＣＰＵは、全画素を読み出す駆動のタイミングで、高解像度の画像信号を撮像素子１２８ａから取得し、各種処理が行われた後で高解像度の画像データ（高解像度画像）としてメモリ１２０上に取り込む（ステップＳ１）。この後、ステップＳ１で取得した高解像度画像（図６ａ参照）を特徴点抽出部１１２に入力し、特徴点抽出部１１２は、高解像度画像の解像度と、一部の画素のみを読み出す駆動を行った場合に得られる画像データ（低解像度画像）の解像度とが同じ解像度となるよう、高解像度画像の解像度の変換を行う（ステップＳ２、図６ｂ参照）。

特徴点抽出部１１２は、ステップＳ２で解像度が変換された高解像度画像の特徴点を抽出する（ステップＳ３、図６ｃ参照）。ステップＳ３で抽出された特徴点の情報は、対応点検出部１１４に入力される。

対応点検出部１１４には、高解像度画像とは別のタイミングで撮像された低解像度画像が撮像素子１２８ａから取得され、各種処理が行われたあとメモリ１２０に取り込まれる（ステップＳ４）。対応点検出部１１４は、ステップＳ４で取り込まれた低解像度画像であって、次の高解像度画像が得られるまでの間に取り込まれた低解像度画像において、ステップＳ３で取得された特徴点に対応する対応点を検出する（ステップＳ５、図６ｄ参照）。このように、同じ解像度の画像で対応をとることにより、正確に対応点を検出することができる。その後、対応点検出部１１４は、ステップＳ５で検出された対応点を、高解像度画像に合うように座標変換する（ステップＳ６）。

ステップＳ３で抽出された特徴点は、対応点検出部１１４に入力されると共に、特徴点抽出部１１２において、高解像度画像に合うように座標変換される（ステップＳ７）。そして、高解像度画像に合うように座標変換された特徴点を連結することにより、高解像度画像を複数の三角形領域に分割する（ステップＳ８）。

画像変形部１１６は、ステップＳ８で分割された高解像度画像の各三角形領域を、ステップＳ６で高解像度画像に合うように座標変換された対応点による三角形領域にそれぞれ変形することで、高解像度画像を低解像度画像に合うように変形する（ステップＳ９、図６ｅ参照）。

これにより、低解像度画像の取り込みタイミングでの高解像度画像が得られる。本実施の形態は、上記ステップＳ４〜Ｓ９に示すように、低解像度画像を被写体の動きの情報を取得することのみに用いる点に特徴がある。このように、低解像度画像で被写体の動きを検出してすることにより、被写体の動きを正しく反映した高解像度画像を生成することができる。また、低解像度画像の直前に取得された高解像度画像を用いて生成を行うことで、より正確な画像を生成することができる。

ステップＳ１〜Ｓ９の処理を全ての低解像度画像に対して行うことで、図８に示すように全ての画像が高解像度画像となり、高解像度かつ高フレームレートの動画が得られる。

本実施の形態によれば、低解像度画像を用いて被写体の移動を検出し、それに対して画像生成（補間）を行っているため、被写体の動きを正しく反映した高解像度画像を生成することができる。

また、本実施の形態によれば、全画素読み出し駆動と、一部の画素数読み出し駆動を併用することにより、撮像素子の能力を超えるフレームレートで、全画素読み出しの解像度を持つ動画を得ることができる。

また、本実施の形態によれば、低解像度の画像データは被写体の検出のみに用い、動画に直接使用しないため、低解像度の画像データの解像度を落とすことができる。これにより消費電力を減らすことができる。

なお、本実施の形態では、低解像度の画像データを取得したタイミングの高解像度の画像を生成した。しかしながら、図８に示すように、低解像度の画像データに合わせて生成された高解像度の画像間の時間に比べて、取得された高解像度の画像データと、その次に取得された低解像度の画像データに合わせて生成された高解像度の画像との間の時間が長くなっている。

そこで、図９に示すように、取得された高解像度の画像データと、その次に取得された低解像度の画像データに合わせて生成された高解像度の画像との間に、時間的な補間などにより画像を生成することで、よりフレームレートの高い高解像度の動画を得ることができる。なお、補間は、既に公知の様々な方法を用いて行うことができる。なお、この場合には、補間の基となる画像データの間の時間が短いため、被写体移動の推定が誤りであったことによる画像の破綻という問題は発生しない。

なお、高解像度モードにおける画像生成は、動画撮影と同時に行ってもよいし、動画撮影後に行なってもよい。

＜第２の実施の形態＞
本発明に係る第１の実施の形態は、撮像素子を低フレームレートで全画素を読み出す駆動と、高フレームレートで一部の画素のみを読み出す駆動とを任意に組み合わせることで、高解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得するが、解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得する方法はこれに限らない。

本発明に係る第２の実施の形態は、複数の撮像素子を用いて解像度かつ低フレームレートの画像データと、低解像度かつ高フレームレートの画像データとを取得するものである。以下、本発明の第２の実施の形態に係るデジタルカメラ２について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１０は、本実施の形態のデジタルカメラ２の電気的構成を示すブロック図である。

同図に示すように、デジタルカメラ２は、主として、入力制御部１１０、特徴点抽出部１１２、対応点検出部１１４、画像変形部１１６、三角形分割部１１８、メモリ１２０、出力制御部１２２、撮影光学系１２４、ハーフミラー１２６ａ、撮像素子１２８ｂ、１２８ｃ、Ａ／Ｄ変換部１３０などで構成される。

ハーフミラー１２６ａは、撮影光学系１２４により入射された被写体光を分光して、撮像素子１２８ｂ及び撮像素子１２８ｃへ導く。

撮像素子１２８ｂは、例えば1920×1080画素の高解像度の画像を撮像可能な撮像素子で、図１１（ａ）に示すように、例えば３０ｆｐｓのフレームレートで画像が取得できる。

撮像素子１２８ｃは、例えば640×480画素の低解像度の画像を撮影する撮像素子である。撮像素子１２８ｃのフレームレートは、撮像素子１２８ｂのフレームレート以上であればよいが、本実施の形態では、図１１（ｂ）に示すように撮像素子１２８ｂと同じフレームレートで画像を取得する。

図示しないＣＰＵは、撮像素子１２８ｂと撮像素子１２８ｃとが異なるタイミングで駆動するように、撮像素子１２８ｂと撮像素子１２８ｃとを制御する。本実施の形態では、図１１（ａ）、（ｂ）に示すように、高解像度の画像データと低解像度の画像データとを順番に取得するが、高解像度の画像データ間に複数枚の低解像度の画像データを取得するようにしてもよい。

このようにして取得した高解像度の画像データ及び低解像度の画像データに対して、図７のステップＳ１〜Ｓ９の処理を行うことにより、低解像度画像の取り込みタイミングでの高解像度画像が得られる。そして、低解像度画像全てに対してステップＳ１〜Ｓ９の処理を行うことで、図１２に示すように、全ての画像が高解像度画像となり、高解像度かつ６０ｆｐｓという高フレームレートの動画が得られる。

本実施の形態によれば、複数の撮像素子を組み合わせることにより、撮像素子の能力を超えるフレームレートで、撮像素子の最大能力の画素数を有する動画を得ることが可能である。また、各撮像素子のフレームレートは低フレームレートで済むため、コストダウンを図ることができる。

また、本実施の形態によれば、低解像度の画像データは被写体の検出のみに用い、動画に直接使用しないため、低解像度の画像データの取得する撮像素子に必要な解像度を落とすことができる。これにより消費電力を減らすことができ、かつコストダウンを図ることができる。

なお、本実施の形態では、高解像度の画像データと低解像度の画像データとを順番にそれぞれ３０ｆｐｓのフレームレートで取得したため、６０ｆｐｓのフレームレートの動画となったが、低解像度の画像データのフレームレートを変えることで、更に高フレームレートの動画を容易に得ることができる。

＜第３の実施の形態＞
本発明に係る第１の実施の形態及び第２の実施の形態は、低解像度の画像データと高解像度の画像データとを取得して、低解像度の画像データと内容が同じ高解像度の画像を生成することで、高解像度かつ高フレームレートの動画を得るものであるが、高解像度かつ高フレームレートの動画を得る方法はこれに限らない。

本発明に係る第３の実施の形態は、色毎の画像データを取得し、その画像データを基に３原色を含むカラー画像データを生成することで、高解像度かつ高フレームレートの動画を得るものである。以下、本発明の第３の実施の形態に係るデジタルカメラ３について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

図１３は、本実施の形態のデジタルカメラ２の電気的構成を示すブロック図である。

同図に示すように、デジタルカメラ２は、主として、入力制御部１１０、特徴点抽出部１１２、対応点検出部１１４、画像変形部１１６、三角形分割部１１８、メモリ１２０、出力制御部１２２、撮影光学系１２４、プリズム１２６ｂ、撮像素子１２８ｄ、１２８ｅ、１２８ｆ、Ａ／Ｄ変換部１３０などで構成される。

プリズム１２６ｂは、撮影光学系１２４から導かれた光を分光して、撮像素子１２８ｄ、１２８ｅ、１２８ｆへ導く。

撮像素子１２８ｄ、１２８ｅ、１２８ｆは、それぞれ異なる色（Ｒ、Ｇ、Ｂ）のカラーフィルタが搭載されたＣＣＤである。本実施の形態では、撮像素子１２８ｄは赤のカラーフィルタが搭載され、撮像素子１２８ｅは緑のカラーフィルタが搭載され、撮像素子１２８ｆは青のカラーフィルタが搭載されているとする。

図示しないＣＰＵは、撮像素子１２８ｄ、１２８ｅ、１２８ｆが異なる露光タイミングで駆動するように、撮像素子１２８ｄ、１２８ｅ、１２８ｆを制御する。その結果、図１４に示すように、Ｒ、Ｇ、Ｂ各色の画像データが２０ｆｐｓのフレームレートでそれぞれ取得される。

次に、Ｒ、Ｇ、Ｂ各色の画像データから、Ｒ、Ｇ、Ｂの３原色を含む画像データを生成する方法について、図１５〜１７を用いて説明する。図１５は、Ｒ、Ｇ、Ｂの３原色を含む画像データを生成する処理の流れを示すフローチャートであり、図１６は、Ｒ、Ｇ、Ｂの３原色を含む画像データを生成する処理に用いる複数枚の画像データを模式的に示す図であり、図１７は、Ｒ、Ｇ、Ｂの３原色を含む画像データを生成する処理における画像の様子を模式的に示す図である。

最後に入力されたフレームを含む直近８フレームを取得してメモリ上に保持し、最後に入力されたフレームから４フレーム前を注目したフレーム（現フレーム）と設定する（ステップＳ１１）。すなわち、図１４の矢印で指し示す緑の画像データが入力されたとすると、図１５に示すように、最後に取得されたＧ画像を含む８フレームの画像がメモリに保持され、最後に取得されたＧ画像の４フレーム前の赤の画像データ（Ｒ画像１）を現フレームとして扱う。

ステップＳ１１で設定された現フレームの特徴点を抽出する（ステップＳ１２、図１７（１）参照）。そして、現フレームの画像と同一色で、時間的にもっとも近い２枚の画像から、ステップＳ１２で抽出した特徴点に対応する対応点を検出する（ステップＳ１３）。

図１７（２）に示すように、図１５において、現フレームがＲ画像１であるため、Ｒ画像１の直前に得られた赤の画像データ（Ｒ画像２）と、Ｒ画像１の直後に得られた赤の画像データ（Ｒ画像３）とに対して、Ｒ画像１の特徴点に対応する対応点を検出する。なお、Ｒ画像１の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅの各特徴点に対応するＲ画像３の対応点は、それぞれＡ’’、Ｂ’’、Ｃ’’、Ｄ’’、Ｅ’’であり、Ｒ画像１の特徴点Ａ、Ｂ、Ｃ、Ｄ、Ｅの各特徴点に対応するＲ画像２の対応点は、それぞれＡ’、Ｂ’、Ｃ’、Ｄ’、Ｅ’である。画像データの色が異なる場合には対応点が正確に検出できない恐れがあるが、特徴点が抽出された画像データと同一色の画像データの対応点を抽出することで、正確に対応点を抽出することができる。

ステップＳ１２で設定されたＲ画像１の特徴点と、ステップＳ１３で検出された現フレームと同一色で、時間的にもっとも近い２枚の画像（Ｒ画像２及びＲ画像３）の対応点とより、現フレームの直前のフレームの画像（Ｂ画像１）及び直後のフレームの画像（Ｇ画像２）の時刻における対応点を推定する（ステップＳ１４）。推定方法は、線形補間などを用いることが可能である。

Ｒ画像１とＲ画像２との間には、Ｇ画像１とＢ画像１とが等間隔で取得される。従って、Ｒ画像２とＢ画像１との間の時間と、Ｂ画像１とＲ画像１との間の時間とは、２対１の関係にある。そこで、図１７（３）に示すように、Ｒ画像１の特徴点ＥとＲ画像２の対応点Ｅ’’の距離を２対１に分けた点を、Ｂ画像１における対応点と推定する。同様に、Ｒ画像１とＧ画像２との間の時間と、Ｇ画像２とＲ画像３との間の時間とは、１対２の関係にあるため、Ｒ画像１の特徴点ＥとＲ画像３の対応点Ｅ’の距離を１対２に分けた点を、Ｂ画像１における対応点と推定する。このように時間的な補間を用いることで、他の色の画像データの対応点を容易に推定することができる。

ステップＳ１４において補間により生成された対応点を用いて、現フレームの直前及び直後フレームの画像を三角形分割し、特徴点で形成される三角形領域にワービングを行い、変形する（ステップＳ１５）。図１７（４）に示すように、Ｂ画像１の対応点を連結することで分割された三角形領域を、Ｒ画像１の特徴点に一致するように変形させる。同様に、Ｇ画像２の対応点を連結することで分割された三角形領域を、Ｒ画像１の特徴点に一致するように変形させる。これにより、Ｂ画像１及びＧ画像２の内容と、Ｒ画像１の内容とが一致する。

最後に、ステップＳ１５で変形された直前及び直後フレームの画像と、現フレームの画像とを合成して、Ｒ、Ｇ、Ｂの３原色を含む画像を生成する（ステップＳ１６、図１７（５）参照）。図１７（４）に示すように、ステップＳ１５によりＢ画像１及びＧ画像２の内容と、Ｒ画像１の内容とが一致しているため、これらを合成することにより、Ｒ画像１の内容と同じで、かつＲ、Ｇ、Ｂの３原色を含むカラー画像が生成される。当該カラー画像の解像度は、各画像データの解像度の合計の解像度、すなわち各画像データの３倍の解像度となる。このように、合成によりカラー画像を生成することで、画像の解像度を上げることができる。

以上ステップＳ１１〜Ｓ１６間での処理を全ての画像の取り込まれるタイミングで行うことにより、撮像素子１２８ｄ、１２８ｅ、１２８ｆのフレームレートの３倍のフレームレートの動画が得られる。

本実施の形態によれば、複数の単一色のフィルタを持つ撮像素子を同時に駆動した場合には、偽色が原理的に発生しない色再現に優れた画像を得られ、これらの撮像素子をずらして駆動することにより、撮像素子の能力の３倍のフレームレートの動画を得ることが可能である。また、合成によりカラー画像を生成することで、撮像素子の能力の３倍の解像度の動画を得ることが可能である。

また、本実施の形態によれば、各撮像素子に必要とされるフレームレートは低フレームレートで済むため、コストダウンを図ることができる。

なお、本実施の形態では、現フレームの特徴点と、現フレームの直後及び直前に取得された同一色のフレームの対応点とから、直前及び直後フレームの画像データの対応点を求め、現フレームの特徴点と直前及び直後フレームの画像データの対応点とに基づいて直前及び直後フレームの画像データを変形させて、現フレームの画像データと色のみが異なる画像データを生成したが、色のみが異なる画像データを生成する方法はこれに限らず、以下のような方法を用いてもよい。

Ｒ画像２の特徴点を抽出し、Ｒ画像２の特徴点に対応するＲ画像１の対応点を検出する。Ｒ画像２の特徴点と、Ｒ画像２の対応点とに基づいて、Ｇ画像１及びＢ画像１の時刻における対応点を推定する。推定方法は、線形補間などを用いることが可能である。Ｒ画像２の特徴点と、推定された対応点とに基づいてＲ画像２（またはＲ画像１）を変形させ、Ｇ画像１及びＢ画像１と同じ内容の赤色の画像データを生成する。

同様の処理をＧ画像１とＧ画像２で行い、Ｂ画像１とＲ画像１と同じ内容の緑色の画像データを生成する。この結果、Ｂ画像１と同じ内容の赤色の画像データ及び緑色の画像データが生成され、これらの画像を合成することにより、Ｂ画像１の内容と同じで、かつＲ、Ｇ、Ｂの３原色を含むカラー画像が生成される。

なお、本発明の適用は、デジタルカメラに限定されるものではなく、カメラつき携帯電話機やビデオカメラ等の撮像装置、携帯音楽プレーヤー、ＰＤＡ等のファームウェアがアップデート可能な電子機器にも同様に適用することができる。

本発明が適用されたデジタルカメラの第１の実施の形態の外観構成を示す正面斜視図である。 上記デジタルカメラの外観構成を示す背面斜視図である。 上記デジタルカメラの電気的構成を示すブロック図である。 撮像素子の駆動タイミングを模式的に示す図である。 撮像素子の駆動タイミングを模式的に示す図である。 画像データの変形処理を説明する図である。 高解像度画像を生成する処理の流れを示すフローチャートである。 生成された高解像度かつ高フレームレートの動画の駆動タイミングを模式的に示す図である。 生成された高解像度かつ高フレームレートの動画の別の駆動タイミングを模式的に示す図である。 本発明が適用されたデジタルカメラの第２の実施の形態の電気的構成を示すブロック図である。 撮像素子の駆動タイミングを模式的に示す図であり、（ａ）は高解像度画像を撮影する撮像素子の駆動タイミングを示し、（ｂ）は低解像度画像を撮影する撮像素子の駆動タイミングを示す。 生成された高解像度かつ高フレームレートの動画の駆動タイミングを模式的に示す図である。 本発明が適用されたデジタルカメラの第３の実施の形態の電気的構成を示すブロック図である。 撮像素子の駆動タイミングを模式的に示す図である。 ３原色を含む画像データを生成する処理の流れを示すフローチャートである。 ３原色を含む画像データの生成処理を説明する図である。 ３原色を含む画像データの生成処理を説明する図である。 生成された高フレームレートの動画の駆動タイミングを模式的に示す図である。

符号の説明

１、２、３：デジタルカメラ、１１０：入力制御部、１１２：特徴点抽出部、１１４：対応点検出部、１１６：画像変形部、１１８：三角形分割部、１２０：メモリ、１２２：出力制御部、１２４：撮影光学系、１２６ａ：ハーフミラー、１２６ｂ：プリズム、１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅ、１２８ｆ：撮像素子、１３０：Ａ／Ｄ変換部

Claims (15)

1. 所定のフレームレートで取得された高解像度の第１の画像データと、前記第１の画像データと異なる時刻に取得された低解像度の第２の画像データとが任意の順番で並んだ一連の画像データを取得する取得手段と、
   前記第１の画像データの特徴点を抽出する特徴点抽出手段と、
   前記第２の画像データの対応点であって、該第２の画像データの直前に得られた前記第１の画像データの特徴点に対応する対応点を検出する対応点検出手段と、
   前記特徴点抽出手段において抽出された特徴点と、前記対応点検出手段において検出された対応点との関係に基づいて前記第１の画像データを変形させて、前記第２の画像データと同じ内容の高解像度の画像データを生成する生成手段と、
   を備えたことを特徴とする動画生成装置。
2. 第１の画像データの解像度を第２の画像データの解像度と同じ解像度に変換する解像度変換手段を備え、
   前記特徴点抽出手段は、前記解像度変換手段により解像度が変換された第１の画像データの特徴点を抽出する
   ことを特徴とする請求項１に記載の動画生成装置。
3. 前記特徴点抽出手段により抽出された特徴点及び前記対応点検出手段により検出された対応点の座標を、前記第１の画像データの解像度に合わせて変換する座標変換手段を備え、
   前記生成手段は、前記座標変換手段により座標変換された前記第１の画像データの特徴点を、前記座標変換手段により座標変換された対応点に一致させるように、前記第１の画像データを変形する
   ことを特徴とする請求項２に記載の動画生成装置。
4. 前記特徴点抽出手段により抽出された特徴点を連結して、前記第１の画像データを複数の領域に分割する領域分割手段を備え、
   前記生成手段は、前記特徴点抽出手段により抽出された特徴点を前記対応点検出手段により検出された対応点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形する
   ことを特徴とする請求項１から３のいずれかに記載の動画生成装置。
5. 請求項１から４のいずれかに記載の動画生成装置と、
   高解像度かつ低フレームレートの駆動と、低解像度かつ高フレームレートの駆動とを任意に実行可能な撮像素子と、
   前記撮像素子の高解像度かつ低フレームレートの駆動と低解像度かつ高フレームレートの駆動を制御することにより、前記取得手段に前記第１の画像データと前記第２の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、
   を備えたことを特徴とする動画撮影装置。
6. 前記生成手段は、前記高フレームレートの連続した高解像度の画像データを取得するために、前記高フレームレートの第１の画像データと、前記生成された高解像度の画像データとを補間して高解像度の画像データを生成することを特徴とする請求項５に記載の動画撮影装置。
7. 請求項１から４のいずれかに記載の動画生成装置と、
   前記第１の画像データを取得する第１の撮像素子と、
   前記第２の画像データを取得する第２の撮像素子と、
   被写体光が前記第１の撮像素子及び前記第２の撮像素子に入射されるように前記被写体光を分光する分光手段と、
   前記第１の撮像素子と、前記第２の撮像素子とをそれぞれ駆動することにより、前記取得手段に前記第１の画像データと前記第２の画像データとが任意の順番で並んだ一連の画像データを取得させる撮像制御手段と、
   を備えたことを特徴とする動画撮影装置。
8. 同じフレームレートかつ異なるタイミングで３原色の各色毎の画像データを順番に取得する取得手段と、
   前記取得手段により取得された画像データのうちの注目フレームの画像データの特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段により抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、
   前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する推定手段と、
   前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第１の生成手段と、
   前記注目フレームの画像データと、前記第１の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する第２の生成手段と、
   を備えたことを特徴とする動画生成装置。
9. 前記取得手段により７フレームの画像データが取得されると、最後に取得されたフレームの画像データから３フレーム前に取得された画像データを前記注目フレームの画像データと設定する設定手段を備えたことを特徴とする請求項８に記載の動画生成装置。
10. 前記推定手段により抽出された対応点を連結して前記注目フレームの画像データに隣接する画像データを複数の領域に分割する領域分割手段を備え、
    前記第１の生成手段は、前記推定手段により推定された対応点を前記特徴点抽出手段により抽出された特徴点に一致させるのに合わせて、前記領域分割手段により分割された領域を変形する
    ことを特徴とする請求項８又は９に記載の動画生成装置。
11. 同じフレームレートかつ異なるタイミングで３原色の各色毎の画像データを順番に取得する取得手段と、
    前記取得手段により取得された画像データのうちの注目フレームと色が異なるかつ最も近いタイミングで取得された画像データの特徴点を抽出する特徴点抽出手段と、
    前記特徴点抽出手段により抽出された特徴点に対応する対応点であって、前記特徴点が抽出された画像データと同一色かつ前記注目フレームを挟んで最も近いタイミングで取得された画像データの対応点を抽出する対応点抽出手段と、
    前記特徴点抽出手段により抽出された特徴点と前記対応点抽出手段により抽出された対応点との間の距離と、前記取得手段により画像データが取得されたタイミングとに基づいて、前記注目フレームと同じ時刻の色が異なる画像データの対応点を推定する推定手段と、
    前記特徴点抽出手段により抽出された特徴点と、前記推定手段により推定された対応点とに基づいて、前記特徴点抽出手段により特徴点が抽出された画像データを変形して、又は前記対応点抽出手段により抽出された対応点と、前記推定手段により推定された対応点とに基づいて、前記対応点抽出手段により対応点が抽出された画像データを変形して、前記注目フレームの画像データと同じ時刻の色が異なる画像データを生成する第１の生成手段と、
    前記注目フレームの画像データと、前記第１の生成手段により生成された前記注目フレームの画像データと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する第２の生成手段と、
    を備えたことを特徴とする動画生成装置。
12. 請求項８から１１のいずれかに記載の画像生成装置と、
    ３原色の各色毎の画像データを取得する複数の撮像素子と、
    被写体光を分光して前記複数の撮像素子に入射させる分光手段と、
    前記複数の撮像素子をそれぞれ時間をずらして順番に露光することにより、前記取得手段に同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得させる撮像制御手段と、
    前記生成手段により生成された動画を再生する再生手段と、
    を備えたことを特徴とする動画撮影装置。
13. （ａ）所定のフレームレートで取得された高解像度の第１の画像データと、前記第１の画像データと異なる時刻に取得された低解像度の第２の画像データとが任意の順番で並んだ一連の画像データを取得する工程と、
    （ｂ）前記第１の画像データの特徴点を抽出する工程と、
    （ｃ）前記第２の画像データの対応点であって、該第２の画像データの直前に得られた前記第１の画像データの特徴点に対応する対応点を検出する工程と、
    （ｄ）前記抽出された特徴点及び前記検出された対応点に基づいて前記第１の画像データを変形させて、前記第２の画像データと同じ内容の高解像度の画像データを生成する工程と、
    （ｅ）前記（ｂ）から（ｄ）の工程を前記（ａ）の工程で取得された第２の画像データ全てに対して行う工程と、
    を含むことを特徴とする動画生成方法。
14. （ａ）同じフレームレートかつ異なるタイミングで順番に取得された３原色の各色毎の画像データを取得する工程と、
    （ｂ）前記取得された画像データのうちの注目フレームの画像データの特徴点を抽出する工程と、
    （ｃ）前記抽出された注目フレームの画像データの特徴点に対応する対応点であって、前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点を抽出する工程と、
    （ｄ）前記（ｂ）の工程において抽出された注目フレームの画像データの特徴点と前記（ｃ）の工程において抽出された前記注目フレームの画像データと同一色かつ最も近いタイミングで取得された画像データの対応点との間の距離と、前記（ａ）の工程において画像データが取得されたタイミングとに基づいて、前記注目フレームの画像データに隣接する色が異なる画像データの対応点を推定する工程と、
    （ｅ）前記取得された特徴点と、前記推定された対応点とに基づいて、前記注目フレームの画像データに隣接する画像データを変形して前記注目フレームと同じ時刻の色が異なる画像データを生成する工程と、
    （ｆ）前記注目フレームの画像データと、前記生成された前記注目フレームと同じ時刻の色が異なる画像データとを合成して、注目フレームの画像データの３原色を含む画像データを生成する工程と、
    （ｇ）前記（ｂ）から（ｆ）の工程を前記（ａ）の工程で取得された画像データ全てに対して行う工程と、
    を含むことを特徴とする動画生成方法。
15. 請求項１３又は１４に記載の動画生成方法を演算装置に実行させることを特徴とするプログラム。

Images