JP2006013770A - 撮像装置、撮像方法、及び撮像プログラム - Google Patents

Abstract

【課題】手ぶれや被写体の動きなどによって乱れた画像が記憶メディアに保存されるのを最小限にし、有効な画像を効率良く保存することができる撮像装置、撮像方法、及び撮像プログラムを提供すること。
【解決手段】固体撮像素子１２によって被写体を間欠的に連続して複数回行われる本撮像のそれぞれの本撮像に前後して、撮像を行い、本撮像前の画像データと本撮像後の画像データとを得る。これら本撮像前の画像データと本撮像後の画像データとから変化量検出ブロックにおいて本撮像前後において画像データの各画素が変化する変化量を検出する。ここで検出された変化量がそれまでの変化量よりも小さい場合に、それまで画像データ用メモリ１８に記憶されていた画像データを今回の本撮像で得られた画像データに更新する。
【選択図】図１

Description

本発明は、連続撮影で得られた複数の画像を選択的に記憶させる撮像装置、撮像方法、及び撮像プログラムに関する。

一般にデジタルカメラのような撮像装置においては、撮影時に被写体の動きや、手ぶれ等のカメラ自体の揺れによって、得られる画像に乱れが発生することがある。このような現象は、連続撮影時など、撮影時間が長くなるような場合に特に発生しやすい。従来このような問題に対して、連続撮影によって得られる画像のフレーム間の変化量を検出し、その変化量に応じて連続撮影の間隔（連写間隔）を調整する手法が提案されている。例えば、特許文献１では、連続撮影の開始から奇数枚目のフレームを第１のメモリに記憶させ、連続撮影の開始から偶数枚目のフレームを第２のメモリに記憶させて、これら奇数フレームと偶数フレームとの間での画像の差分を検出し、この差分とその前の回に検出された差分の変化量を０に近づけるように連写間隔を制御する。このような制御により、被写体の動きが激しいときには連写間隔が短くなるので撮影のタイミングを逃すことが無くなる。また、被写体の動きが少ない場合には、似たような画像を何枚も撮影することが無くなる。
特開平５−１３７０５３号公報

連続撮影によって得られた複数の画像の中には、撮影時の手ぶれや被写体の動きなどによって乱れた画像も含まれているおそれがある。このような画像は、パーソナルコンピュータなどに転送されない限りは、撮像装置内の記憶メディア内に記憶されたままであるので、これにより記憶メディアの容量が不足してしまうおそれがある。この結果、撮影枚数に制約が発生してしまう。

本発明は、この点に注目してなされたものであり、連続撮影した画像のうち、手ぶれや被写体の動きなどによって乱れた画像が記憶メディアに保存されるのを最小限にし、有効な画像を効率良く保存することができる撮像装置、撮像方法、及び撮像プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を間欠的に連続して複数回撮像し、複数枚の画像データを得る撮像部と、前記撮像部によって得られた画像データを記憶する記憶部と、前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出する変化量検出部と、前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新する画像データ更新部とを具備することを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様の撮像方法は、被写体を間欠的に連続して複数回撮像して複数枚の画像データを取得し、前記撮像によって得られた画像データを記憶部に記憶させ、前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出し、前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新することを特徴とする。

また、上記の目的を達成するために、本発明の第３の態様の撮像プログラムは、コンピュータに、撮像部によって被写体を間欠的に連続して複数回撮像し、複数枚の画像データを取得する処理と、前記取得された画像データを記憶部に記憶させる処理と、前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出する処理と、前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新する処理とを実行させることを特徴とする。

これら第１〜第３の態様によれば、被写体を連続して撮像する時間内において、それぞれの撮像の前後で画像データの各画素が変化する量をフレーム単位で検出し、この変化量が最も小さい画像が選別される。これにより、変化量の大きい画像を何枚も記憶することがなく、記憶メディアの容量の浪費を抑えることができる。

本発明によれば、連続撮影した画像のうち、手ぶれや被写体の動きなどによって乱れた画像が記憶メディアに保存されるのを最小限にし、有効な画像を効率良く保存することができる撮像装置、撮像方法、及び撮像プログラムを提供することができる。

以下、図面を参照して本発明の実施形態について説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのカメラの構成を示すブロック図である。ここで、図１のカメラは、所定時間の間に被写体を連続して撮影する、所謂連続撮影が可能なカメラを想定している。

図１において、第１の実施形態の撮像装置は、光学系１１と、固体撮像素子１２と、プリプロセス回路１３と、信号処理回路１４と、変化量検出用メモリ１５と、変化量検出ブロック１６と、メモリコントローラ１７と、画像データ用メモリ１８と、ＣＰＵ１９とで構成されている。

図１のような構成を有するカメラにおいては、図２のタイミングチャートで示すようにして連続撮影が行われる。即ち、図２に示すように、連続撮影時には、間欠的に連続して複数回の本撮像が行われる。この本撮像においては、まず、固体撮像素子１２の露光が開始され、これによって光学系１１を介して図示しない被写体の像が固体撮像素子１２上に結像される。固体撮像素子１２上に結像された被写体の像は、光電変換によってアナログの電気信号に変換される。その後、ＣＰＵ１９の指示に従って固体撮像素子１２から撮像信号が読み出され、プリプロセス回路１３でデジタルの画像データに変換される。そして、この画像データが信号処理回路１４とメモリコントローラ１７とを経て記憶部としての画像データ用メモリ１８に格納される。

また、第１の実施形態では、本撮像の前後における画像データの変化量をフレーム単位で検出する処理（図２ではフレーム単位の変化量検出と記している）が、本撮像に前後して行われる。このフレーム単位の変化量検出処理においては、まず、本撮像前に上記した本撮像と同様の露光及び読み出しが行われ、これによって得られた画像データが変化量検出用メモリ１５に格納される。また、本撮像後にも同様の露光及び読み出しが行われ、これによって得られた画像データと変化量検出用メモリ１５に格納された画像データとに基づいて変化量検出ブロック１６において各画素の変化量が検出される。

以下、図２の連続撮影動作について図３を参照して更に詳しく説明する。図３は、第１の実施形態における連続撮影時の制御の流れについて説明するためのフローチャートである。

まず、本撮像前の画像データを得るために、本撮像前に撮像を行って本撮像前の画像データを取得する（ステップＳ３１）。次に、本撮像を行う（ステップＳ３２）。次に、本撮像後に撮像を行って本撮像後の画像データを取得する（ステップＳ３３）。ここで、ステップＳ３３で取得される本撮像後の画像データは、２枚目以後のフレームにおける本撮像前の画像データを兼ねる。即ち、２枚目以後は、ステップＳ３１の動作を行う必要がない。

次に、変化量検出ブロック１６は、ステップＳ３１で変化量検出用メモリ１５に記憶された本撮像前の画像データの各画素とステップＳ３３で入力された本撮像後の画像データの各画素とを比較して、フレーム単位の変化量を検出する（ステップＳ３４）。ここで、この変化量の検出は、同一画素の出力データのレベル差を演算部１６ａにおいて演算し、ここで演算された結果に基づいて、レベル差がある所定閾値よりも大きい画素の数を計数部１６ｂにおいてカウントすることで行えばよい。なお、この変化量は、本撮像時の被写体の動きや本撮像時のカメラ自体の動きに伴って変化するものである。

次に、連続撮影の間隔と連続撮影の枚数とから決定される所定時間内に撮影された画像データにおいて、今回の本撮像によって取得された画像データのフレーム単位の変化量とそれより前の本撮像によって取得された画像データのフレーム単位の変化量とを比較して、今回の本撮像によって取得された画像データのフレーム単位の変化量がそれまでに撮像された画像データのフレーム単位の変化量よりも大きいか否かを判定する（ステップＳ３５）。

ステップＳ３５の判定の結果、変化量が小さい場合（ステップＳ３５でＮＯ）には、ステップＳ３６に進み、動きが小さく静止画として相応しい画像であると判断して画像データ用メモリ１８に記憶されている画像データを今回の本撮像時に得られた画像データに更新する（ステップＳ３６）。

なお、画像データの更新は、今回の本撮像時に得られた画像データで前の本撮像時に得られた画像データを直接上書きするようにしても良いし、今回の本撮像時に得られた画像データと前の本撮像時に得られた画像データとを一旦、画像データ用メモリ１８に記憶しておき、ステップＳ３５でＮＯと判定されたときに、前の本撮像時に得られた画像データを画像データ用メモリ１８から削除するようにしても良い。後者の手法の場合には、画像データ用メモリ１８の容量は少なくとも２フレーム分以上の容量を有している必要がある。また、後者の手法の場合で、ステップＳ３５においてＹＥＳと判定された場合には、今回の撮像時に得られた画像データを画像データ用メモリ１８から削除するようにする。

画像データ用メモリ１８の画像データを更新した後、連続撮影を終了するか否かを判定する（ステップＳ３７）。これは、連続撮影を開始してからユーザによって設定された所定時間が経過したか否かなどによって判定される。

ステップＳ３７の判定の結果、連続撮影を終了する場合（ステップＳ３７でＹＥＳ）には図３のフローチャートの処理を終了する。一方、ステップＳ３７の判定の結果、連続撮影を終了しない場合（ステップＳ３７でＮＯ）には、ステップＳ３２に戻る。

また、ステップＳ３５の判定の結果、変化量が大きい場合（ステップＳ３５でＹＥＳ）は、それより前に撮像された画像の方が、動きが小さく静止画として相応しい画像であると判断して、画像データ用メモリ１８に記憶された画像データは更新せず、ステップＳ３５からステップＳ３７に分岐して、連続撮影を終了するか否かの判定を行う。

以上説明したように、第１の実施形態によれば、ユーザにより任意に設定された時間内に撮像された複数の画像データの中で、被写体の動きやカメラの揺れによる画像のぶれが最も小さく、静止画として相応しい画像データを自動的に選択して画像データ用メモリに記憶させることができる。また、被写体の動きやカメラの揺れによりぶれてしまった画像データが画像データ用メモリに記憶されることがないので、記憶メディア容量の浪費を防ぐことができる。

また、第１の実施形態では、本撮像の前後の動き量（ベクトル）を抽出するのではなく、画像データの各画素の変化量が所定レベル以上の画素の数をカウントする手法を用いて変化量を検出しているので、演算が簡単で回路規模を小さくすることができ、処理時間も短縮することができる。

なお、第１の実施形態では、ハードウェアとしての構成を用いて説明したが、図３のフローチャートにおける各処理をプログラムで構成し、コンピュータに実行させることも勿論可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態のハードウェア的な構成は図１で説明したものと同じであるので説明を省略する。第２の実施形態では、画像データの変化量をフレーム単位で検出する際に使用される画素についての実施形態である。即ち、第２の実施形態では、画像データの全ての画素を用いずに一部の画素のデータのみを用いて上記変化量の検出を行う。

第１の実施形態では、本撮像の前後における画像データの各画素の変化量をフレーム単位で検出するために、本撮像の前後で得られた画像データの同一画素の変化量を検出している。しかしながら、実際には本撮像の前後における画像データのおおまかな変化量が検出できれば良いので、固体撮像素子の全ての画素毎に比較を行う必要は無い。

例えば、図４に示すように、固体撮像素子（エリアセンサ）の画素２１の中から斜線で示した一部の画素２１ａの出力だけを間引いて読み出すようにして、ここで読み出された画素の出力のみで上記第１の実施形態と同様の比較を行って変化量を検出するようにしても良い。また図５のように、固体撮像素子の画素２２の中央付近の斜線で示した画素２２ａのみを選択して比較することも可能である。

以上説明したように、第２の実施形態によれば、画像データの一部の画素のデータのみを選択して変化量を検出できるので、比較に必要となるデータ量が少なくて済む。その結果、ＦＩＦＯメモリなど小規模のメモリでもデータを一時記憶させることができ、コストを削減することができる。また、画像の中央付近は、被写体が集まる可能性が高いので、中央付近の画素を用いて比較を行うことによって、被写体の動き（変化）を精度良く検知することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本発明の第３の実施形態と第１の実施形態との差異は、本撮像と変化量検出用の撮像とを２つの光学系及び２つの固体撮像素子を用いて別々に行うことができる点である。

図６は、本発明の第３の実施形態に係る撮像装置の一例としてのカメラの構成を示すブロック図である。即ち、第３の実施形態では図１で説明した構成に加えて、補助光学系４１と、補助撮像素子４２と、補助プリプロセス回路４３とが設けられている。

ここで、補助撮像素子４２は、固体撮像素子１２よりも少ない画素数の素子で構成することができる。このような素子の例を図７に示す。図７のようなラインセンサ２３の画素２３ａの出力によりフレーム単位での変化量検出を行うことができる。なお、このラインセンサ２３は中央近傍の被写体を撮像できるような位置に配置することが好ましい。これは、上記第２の実施形態と同様の理由であり、被写体が画像の中央に集まる可能性が高いためである。

図８は、第３の実施形態に係る撮像方法を用いた連続撮影時のタイミングチャートである。図８に示すように、第３の実施形態では、本撮像の前後で画像データの各画素の変化量をフレーム単位で検出するために、まず補助光学系４１と補助撮像素子４２とによって変化量検出用の撮像が行われる。その後、補助撮像素子４２から撮像信号が読み出され、補助プリプロセス回路４３、信号処理回路１４を経てフレーム単位の変化量を検出するための本撮像前の画像データが変化量検出用メモリ１５に記憶される。

ここで、第３の実施形態では、本撮像が、本撮像前の画像信号の読み出しの開始と同時に開始される。そして、この本撮像によって画像データが画像データ用メモリ１８に記憶される。更に、本撮像後の画像データの取得は、本撮像時の撮像信号の読み出し開始と同時に開始され、ここで取得された本撮像後の画像データが、変化量検出ブロック１６に送られる。これ以後の動作は、上記第１の実施形態と同様であるので説明を省略する。

以上説明したように第３の実施形態によれば、本撮像とは異なる光学系及び撮像素子を用いて、本撮像像の画像データ取得とは別に、フレーム単位の変化量を検出するための画像データ取得を行っているので本撮像の撮影間隔を短くすることができる。

以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

本発明の第１の実施形態に係る撮像装置の一例としてのカメラの構成を示すブロック図である。 本発明の第１の実施形態における連続撮影時のタイミングチャートである。 本発明の第１の実施形態における連続撮影時の制御の流れについて示すフローチャートである。 本発明の第２の実施形態における画像データ読み出しの第１の例について示す図である。 本発明の第２の実施形態における画像データ読み出しの第２の例について示す図である。 本発明の第３の実施形態に係る撮像装置の一例としてのカメラの構成を示すブロック図である。 補助撮像素子を構成するラインセンサの構成について示す図である。 本発明の第３の実施形態における連続撮影時のタイミングチャートである。

符号の説明

１１…光学系、１２…固体撮像素子、１３…プリプロセス回路、１４…信号処理回路、１５…変化量検出用メモリ、１６…変化量検出ブロック、１６ａ…演算部、１６ｂ…計数部、１７…メモリコントローラ、１８…画像データ用メモリ、２３…ラインセンサ、４１…補助光学系、４２…補助撮像素子、４３…補助プリプロセス回路

Claims (10)

1. 被写体を間欠的に連続して複数回撮像し、複数枚の画像データを得る撮像部と、
   前記撮像部によって得られた画像データを記憶する記憶部と、
   前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出する変化量検出部と、
   前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新する画像データ更新部と、
   を具備することを特徴とする撮像装置。
2. 前記画像データ更新部は、前記先の画像データと前記後の画像データとを前記記憶部に記憶させておき、前記記憶部に先に記憶された画像データに係る前記変化量に対し、前記後の画像データに係る前記変化量のほうが大きい場合に、前記後の画像データを前記記憶部から削除することを更に行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像部は、前記複数回の撮像のそれぞれの撮像前に被写体を撮像して撮像前の画像データを得るとともに、前記複数回の撮像のそれぞれの撮像後に被写体を撮像して撮像後の画像データを得ることを更に行い、
   前記変化量検出部は、
   前記撮像前の画像データを記憶する補助記憶部と、
   前記補助記憶部に記憶されている前記撮像前の画像データと前記撮像後の画像データとのレベル差を対応する画素毎に演算する演算部と、
   前記演算部によって演算された前記レベル差が所定の閾値よりも大きい画素の数を計数することで前記変化量を検出する計数部と、
   を有することを特徴とする請求項１に記載の撮像装置。
4. 前記演算部は、前記撮像部によって前記撮像前と前記撮像後に得られた画像データの画素を間引いた画像データに基づいて前記レベル差を演算することを特徴とする請求項３に記載の撮像装置。
5. 前記演算部は、前記撮像部によって前記撮像前と前記撮像後に得られた画像データの中央近傍の画素の画像データに基づいて前記レベル差を演算することを特徴とする請求項３に記載の撮像装置。
6. 前記被写体を撮像して画像データを得る、前記撮像部とは異なる補助撮像部を更に具備し、
   前記変化量検出部は、前記補助撮像部で得られた画像データに基づいて前記変化量を検出することを特徴とする請求項１に記載の撮像装置。
7. 前記補助撮像部は、前記撮像部の画素数よりも少ない画素数の素子から構成されることを特徴とする請求項６に記載の撮像装置。
8. 前記撮像部の画素数よりも少ない画素数の素子は、ラインセンサであることを特徴とする請求項７に記載の撮像装置。
9. 被写体を間欠的に連続して複数回撮像して複数枚の画像データを取得し、
   前記撮像によって得られた画像データを記憶部に記憶させ、
   前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出し、
   前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新する、
   ことを特徴とする撮像方法。
10. コンピュータに、
    撮像部によって被写体を間欠的に連続して複数回撮像し、複数枚の画像データを取得する処理と、
    前記取得された画像データを記憶部に記憶させる処理と、
    前記複数回の撮像のそれぞれの撮像の前後において前記画像データの各画素が変化する変化量をフレーム単位で検出する処理と、
    前記記憶部に先に記憶された画像データに係る前記変化量に対し、後の画像データに係る前記変化量のほうが小さい場合に、前記記憶部に先に記憶されている画像データを前記後の画像データに更新する処理と、
    を実行させることを特徴とする撮像プログラム。

Images