JP2008199378A - 撮像装置、撮像方法、およびプログラム - Google Patents

Abstract

【課題】フレーム内圧縮された画像の画質を向上させることができるようにする。
【解決手段】記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像が撮像され、撮像されたそれぞれの画像内の合焦領域（ピントがあっている領域）が検出される。例えば、画像の中央付近に合焦領域が検出された場合、その合焦領域において合焦する物体が重要な物体であると判断され、フレーム内圧縮の対象とする１フレームの画像の領域のうち、合焦領域に対応する領域に対して他の領域より多い割合のデータが割り振られて圧縮が行われる。本発明は、デジタルビデオカメラやデジタルスチルカメラに適用することができる。
【選択図】図１

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、フレーム内圧縮された画像の画質を向上させることができるようにした撮像装置、撮像方法、およびプログラムに関する。

MPEG(Moving Picture Experts Group)などに代表される動画圧縮方式によって圧縮された動画データは、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類のピクチャを複数組み合わせたGOP(Group Of Picture)という単位で構成される。

Ｉピクチャは、一般的にはJPEG(Joint Photographic Expert Group)方式によって圧縮するなどの、対象フレームの情報だけを用いて圧縮するフレーム内圧縮によって生成され、Ｐピクチャ、Ｂピクチャは、デコード順で前のフレームとの差分や動き情報を符号化するフレーム間圧縮によって生成される。

JPEG方式による圧縮においては、画像に写る物体の細かさ、粗さを周波数成分から判断し、細かい物体の領域に対して、限られた量のデータのうちの多い割合のデータを割り振って圧縮を行うようになされている。

特許文献１には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
特開２００６−４７９５４号公報

JPEG方式による圧縮によってＩピクチャを生成する場合、限られた量のデータをどの領域に重点的に割り振るかは画像内の重要物体を判断し、その判断結果に従って決定するのが望ましいが、通常、物体の重要度を判断するのは難しい。

重要物体に多くのデータを割り振り、高い精度で符号化することができれば、ユーザは重要物体を中心に画像を見ると考えられるから、高品位な画像を提供することが可能となる。

本発明はこのような状況に鑑みてなされたものであり、フレーム内圧縮された画像の画質を向上させることができるようにするものである。

本発明の一側面の撮像装置は、フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段と、前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段と、フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段とを備える。

前記選択手段には、前記検出手段により検出された合焦領域の中から、画像内の位置と面積の少なくともいずれかに基づいて前記所定の数の合焦領域を選択させることができる。

前記選択手段には、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて、前記所定の数の合焦領域を選択させることができる。

前記選択手段には、１つの画像から検出された複数の合焦領域、または、それぞれ異なる画像から検出された複数の合焦領域を選択させることができる。

前記撮像手段には、合焦領域の検出に用いられる画像の撮像後に、記録デバイスに記録する画像の撮像を行わせ、前記圧縮手段には、前記記録デバイスに記録する画像のうちのフレーム内圧縮の対象とする画像の圧縮を、前記選択手段により選択された合焦領域に対応する領域に対して他の領域よりも多い割合のデータを割り振って行わせることができる。

前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像させることができる。

前記撮像手段はCMOSイメージセンサであるようにすることができる。

本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域の中から、所定の数の合焦領域を選択し、フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行うステップを含む。

本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像され、撮像された複数の画像から合焦領域が検出される。また、検出された合焦領域の中から、所定の数の合焦領域が選択され、フレーム内圧縮の対象とする画像の領域のうち、選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータが割り振られて圧縮が行われる。

本発明の一側面によれば、フレーム内圧縮された画像の画質を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。

本発明の一側面の撮像装置（例えば、図１の撮像装置１）は、フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、合焦距離が可変であるレンズ（例えば、図４の可変焦点レンズ１１）と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段（例えば、図４のCMOSイメージセンサ１２）と、前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段（例えば、図４の画像信号処理回路１８）と、前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段（例えば、図７の合焦領域選択部４１）と、フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段（例えば、図７の動画圧縮制御部４２）とを備える。

本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域の中から、所定の数の合焦領域を選択し、フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行うステップ（例えば、図１３のステップＳ２２）を含む。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係る撮像装置１による撮像の様子を示す図である。

撮像装置１は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図１に示されるように、撮像装置１に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置１は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。

図１の例においては、撮像装置１から距離Ｄ₁だけ離れた位置に人物が存在し、距離Ｄ₂だけ離れた位置に建物が存在し、距離Ｄ₃だけ離れた位置に風景が存在する。図１の一点鎖線Ｌはレンズの光軸を表す。

図２は、合焦距離を変えて撮像した画像の例を示す図である。

撮像装置１に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離Ｄ₁として人物に合焦させて撮像した画像である画像Ｐ₁には建物と風景がピントがあっていない状態で写り、合焦距離を距離Ｄ₂として建物に合焦させて撮像した画像である画像Ｐ₂には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離Ｄ₃として風景に合焦させて撮像した画像である画像Ｐ₃には人物と建物がピントがあっていない状態で写る。

図２において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。

撮像装置１においては、例えば、記録開始ボタンがユーザにより押されることに応じて記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域（ピントがあっている領域）を検出することが行われる。

合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした無限遠の状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。

図１に示されるように、撮像装置１から距離Ｄ₁だけ離れた位置に人物が存在し、距離Ｄ₂だけ離れた位置に建物が存在し、距離Ｄ₃だけ離れた位置に風景が存在する場合、合焦距離を距離Ｄ₁として撮像して得られた画像Ｐ₁には人物が合焦した状態で写っているから、画像Ｐ₁からは、図３の右側に示されるように、人物が写っている領域である領域Ａ₁が検出され、領域Ａ₁と、合焦距離である距離Ｄ₁が対応付けて管理される。図３においては、検出される合焦領域が斜線で示されている。

また、合焦距離を距離Ｄ₂として撮像して得られた画像Ｐ₂には建物が合焦した状態で写っているから、画像Ｐ₂からは、図３の中央に示されるように、建物が写っている領域である領域Ａ₂が検出され、領域Ａ₂と、合焦距離である距離Ｄ₂が対応付けて管理される。

合焦距離を距離Ｄ₃として撮像して得られた画像Ｐ₃には風景が合焦した状態で写っているから、画像Ｐ₃からは、図３の左側に示されるように、風景が写っている領域である領域Ａ₃が検出され、領域Ａ₃と、合焦距離である距離Ｄ₃が対応付けて管理される。

なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。

図２、図３においては３フレームの画像だけが示されているが、撮像装置１においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図３においてはそれぞれの画像から１つの合焦領域だけが検出されているが、１フレームの画像から複数の合焦領域が検出されることもある。

合焦領域と合焦距離の対応付けは、撮像装置１の光軸を垂線とする、撮像範囲内の平面（プレーン）の情報を表すプレーン情報によって撮像装置１により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。

合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置１によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。

合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、１秒間より短い時間内に高速に行われる。可変範囲の全範囲分の画像を撮像することがそのような短い時間内で行われることにより、合焦距離を変えて行われる１回１回の撮像がさらに短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。

撮像装置１の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置１の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。

以上のようにして得られたプレーン情報は、例えば、フレーム内圧縮の対象となる１フレームの画像を圧縮するときに、その画像を構成するそれぞれの領域に割り振るデータの割合を決定するのに用いられる。

撮像装置１においては、動画の圧縮方式として例えばMPEG方式が採用されている。GOPを構成するＩピクチャは、目標とする固定の量のデータになるように、対象とする１フレームの画像をJPEG方式で圧縮することによって生成されるが、その固定の量のデータを、どの領域に重点的に割り振るかがプレーン情報に基づいて決定される。

例えば、スキャンフォーカスによって画像の中央付近に合焦領域が検出された場合、撮像装置１は、その合焦領域において合焦する物体を重要な物体であると判断し、フレーム内圧縮の対象とする１フレームの画像の領域のうち、重要な物体が合焦する合焦領域に対応する領域を構成するマクロブロックに、他の領域を構成するマクロブロックより多い割合のデータを割り振って圧縮し、Ｉピクチャを生成する。ここで、合焦領域に対応する領域とは、合焦領域の検出元になった画像（スキャンフォーカスによって撮像された画像）と、フレーム内圧縮の対象とする画像を同じ大きさにして較べたときに、合焦領域と同じ位置、同じ範囲の、フレーム内圧縮の対象とする画像の領域をいう。

JPEG方式での圧縮においては、圧縮対象の１フレームの画像がマクロブロックなどの所定の画素数からなる領域に分割され、それぞれの領域に対してDCT(Discrete Cosine Transform)、符号化などの処理が施される。

これにより、撮像装置１は、データの割り振りを最適化することができ、重要な物体を、同じ画像に写る他の物体より精度よく符号化することができる。ユーザは重要な物体を中心に画像を見ると考えられるから、ユーザが感じる見た目の画質を向上させることができることになる。

以上のようにして撮像を行う撮像装置１の一連の処理についてはフローチャートを参照して後述する。

図４は、撮像装置１のハードウエア構成例を示すブロック図である。

可変焦点レンズ１１は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ１２に導く。可変焦点レンズ１１は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路２１により行われる。

CMOSイメージセンサ１２は、可変焦点レンズ１１を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)１３に出力する。

ADC１３は、CMOSイメージセンサ１２から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ１４に出力する。ADC１３においては、CMOSイメージセンサ１２から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。

画像メモリ１４は、ADC１３から供給された画像データを記憶する。画像メモリ１４に記憶された画像データは動画処理回路１５と画像信号処理回路１８により適宜読み出される。

動画処理回路１５は、マイクロコントローラ２０による制御に従って動画の記録、再生を行う。

例えば、動画処理回路１５は、動画を記録するとき、画像メモリ１４に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス１６に出力する。動画データを圧縮する際、動画処理回路１５は、マイクロコントローラ２０による制御に従ってそれぞれの領域にデータを割り振り、フレーム内圧縮の対象となる１フレームの画像を圧縮してＩピクチャを生成する。また、動画処理回路１５は、Ｉピクチャとの差分や動き情報を符号化するフレーム間圧縮を行うことによって、Ｐピクチャ、Ｂピクチャを生成する。

また、動画処理回路１５は、動画を再生するとき、記録デバイス１６から読み出した動画データを再生して得られた画像信号をモニタ１７に出力する。さらに、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて、取り込み中の画像をモニタ１７に表示させることも行う。

記録デバイス１６は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路１５から供給された、圧縮済みの動画データを記録する。

モニタ１７はLCD(Liquid Crystal Display)などよりなり、動画処理回路１５から供給された画像信号に基づいて取り込み中の画像などを表示する。

画像信号処理回路１８は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ１４に記憶されたとき、画像メモリ１４に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路１８は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ２０に出力する。

メモリ１９は、画像信号処理回路１８が処理を行う上で必要なデータを記憶する。

マイクロコントローラ２０は、所定のプログラムを実行し、動画処理回路１５、レンズ駆動回路２１を制御して動画の記録、再生などの各種の処理を行う。

例えば、マイクロコントローラ２０は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。また、マイクロコントローラ２０は、画像信号処理回路１８から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成する。

レンズ駆動回路２１は、マイクロコントローラ２０による制御に従ってモータを駆動させ、可変焦点レンズ１１を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路２１は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。

図５は、撮像装置１の機能構成例を示すブロック図である。図５に示す機能部のうちの少なくとも一部は、図４のマイクロコントローラ２０により所定のプログラムが実行されることによって実現される。

図５に示されるように、撮像装置１においてはスキャンフォーカス制御部３１、プレーン情報管理部３２、および記録制御部３３が実現される。

スキャンフォーカス制御部３１は、レンズ駆動回路２１を制御してスキャンフォーカスを行う。スキャンフォーカス制御部３１は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部３２に出力する。

図６は、スキャンフォーカスを行うときの可変焦点レンズ１１の制御の例を示す図である。

図６の横軸は時刻を表し、縦軸は可変焦点レンズ１１の合焦距離を表す。図６の例においては、可変焦点レンズ１１の合焦距離の可変範囲は距離ｙ₀から距離ｙ₂（無限遠）までの範囲とされている。距離ｙ₁は、スキャンフォーカスを開始する直前、すなわち、スキャンフォーカスが上述したように記録開始ボタンがユーザにより押されることに応じて行われる場合、記録開始ボタンがユーザにより押される直前に、オートフォーカスにより、またはユーザの手動での調整により設定されていた合焦距離である。

スキャンフォーカス制御部３１は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離ｙ₁を記憶し、合焦距離が距離ｙ₀になるように可変焦点レンズ１１を制御する。スキャンフォーカス制御部３１は、合焦距離が距離ｙ₀になったとき、合焦距離を距離ｙ₂まで所定の間隔で変えながら連続して撮像を行わせる。距離ｙ₀から開始されるのではなく、記録開始ボタンがユーザにより押される直前にオートフォーカスなどにより設定されていた合焦距離からスキャンフォーカスが開始されるようにしてもよい。

図６の例においては、時刻ｔ₀から時刻ｔ₁までの間にスキャンフォーカスが行われている。時刻ｔ₀から時刻ｔ₁までの間に示されるそれぞれの矢印のタイミングで１回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が１回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部３１からプレーン情報管理部３２に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。

スキャンフォーカスによって撮像された画像は、順次、画像メモリ１４に記憶される。全ての画像が画像メモリ１４に記憶されたとき、画像信号処理回路１８においては、それぞれの画像から合焦領域が検出される。

スキャンフォーカスが終わったとき、スキャンフォーカス制御部３１は、可変焦点レンズ１１の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離ｙ₁に復帰させ、その後、記録デバイス１６に記録する画像の撮像を開始する。

図６の例においては、時刻ｔ₁から時刻ｔ₂までの間に、可変焦点レンズ１１の合焦距離を距離ｙ₁に復帰させることが行われ、その後、記録デバイス１６に記録する画像の撮像が行われている。時刻ｔ₂以降に撮像された画像に基づいて動画データが生成され、圧縮された後、記録デバイス１６に記録される。可変焦点レンズ１１の合焦距離を距離ｙ₁に復帰させる時刻ｔ₁から時刻ｔ₂までの間に、合焦領域の検出やフレーム内圧縮でのデータの割り振りなどが決定されるようにしてもよい。

この例においては、記録デバイス１６に記録する画像の撮像を開始する前に１回だけスキャンフォーカスが行われるようになされているが、複数回行われるようにしてもよい。

図５の説明に戻り、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部３３に出力する。

記録制御部３３は、プレーン情報管理部３２から供給されたプレーン情報を参照して重要な物体が合焦する合焦領域を選択し、選択した合焦領域に対応する領域に多い割合のデータを割り振ってフレーム内圧縮を行わせるなどして、動画処理回路１５において行われる動画の記録を制御する。

図７は、図５の記録制御部３３の構成例を示すブロック図である。

図７に示されるように、記録制御部３３は、合焦領域選択部４１、動画圧縮制御部４２から構成される。

合焦領域選択部４１は、背景、中間物体、近接物体を、プレーン情報管理部３２から供給されたプレーン情報によって表される合焦距離、画像内における合焦領域の占有面積、位置のうちの少なくともいずれかを元に推測する。例えば、合焦領域選択部４１は、合焦距離を無限遠として撮像した画像から検出された合焦領域において合焦している物体（被写体）が背景であると推測する。

また、合焦領域選択部４１は、推測した物体の中から重要な物体が合焦する合焦領域を選択し、選択した合焦領域の位置、範囲の情報を動画圧縮制御部４２に出力する。

例えば、合焦領域選択部４１は、近距離から中距離にある物体であって、画像の中央付近で合焦している物体がある場合、人物である可能性が高いため、その物体が合焦する合焦領域を選択する。撮像装置１から物体までの距離が近距離から中距離の間にあるかは、プレーン情報によって表される物体までの距離と、あらかじめ設定された、近距離の基準となる閾値、中距離の基準となる閾値に基づいて判断される。

また、図８に示されるように、撮像装置１と風景の間に被写体となるような物体がない状況でスキャンフォーカスが行われた場合、図９に示されるように、合焦距離を無限遠として撮像された画像以外からは合焦領域が検出されないから、このように、無限遠以外に物体がなく、かつ、スキャンフォーカスを行う直前にオートフォーカスなどにより設定されていた合焦距離が無限遠であるときには、合焦領域選択部４１は、ユーザが風景を撮像していると判断し、風景（背景）が合焦している合焦領域を選択する。

図９の例においては、スキャンフォーカスによって撮像された画像Ｐ₁₁，Ｐ₁₂，Ｐ₁₃のうちの画像Ｐ₁₃から、風景が合焦している領域である領域Ａ₁₁が検出されている。画像Ｐ₁₁は、合焦距離が距離Ｄ₁であるときに撮像された画像であり、画像Ｐ₁₂は、合焦距離が距離Ｄ₂であるときに撮像された画像である。画像Ｐ₁₃は、合焦距離が無限遠の距離Ｄ₃であるときに撮像された画像である。

このように、スキャンフォーカスを行う直前にユーザが手動で設定していた合焦距離、オートフォーカスによって設定されていた合焦距離も考慮され、合焦領域が選択されるようにしてもよい。

さらに、図１０に示されるように、風景を背景として、撮像装置１に近い位置に、光軸を挟んで２人の人物がいるような状況でスキャンフォーカスが行われた場合、図１１に示されるように、画像の中央部は無限遠にある物体に合焦し、画像の中央を挟んで左右に分かれる形で、近距離から中距離にある物体に合焦していることが検出される。この場合、合焦領域選択部４１は、近距離から中距離にある複数の物体が人物等であると判断し、人物等が合焦している複数の合焦領域を選択する。

図１１の例においては、スキャンフォーカスによって撮像された画像Ｐ₂₁，Ｐ₂₂，Ｐ₂₃のうちの画像Ｐ₂₁から、人物が合焦している領域である領域Ａ₂₁と領域Ａ₂₂が検出され、画像Ｐ₂₃から、風景が合焦している領域である領域Ａ₂₃が検出されている。画像の中央付近では風景が合焦し、それを挟むように人物が合焦している。

このように、１つの画像から検出された複数の合焦領域が選択されるようにしてもよい。

図７の説明に戻り、動画圧縮制御部４２は、対象の画像がＩピクチャとする画像であるとき、その画像の領域のうち、合焦領域選択部４１により選択された合焦領域に対応する領域に他の領域より多い割合のデータを割り振ってフレーム内圧縮を行わせるなどして、動画処理回路１５において行われる動画の圧縮を制御する。

これにより、例えば、上述したように人物である可能性が高いと判断された近距離から中距離にある物体が写る領域、無限遠にある物体が写る領域などに、他の領域より多くの割合のデータが割り振られてフレーム内圧縮が行われることになり、それらの重要な物体の画質が向上することになる。特に、撮像範囲の状況がスキャンフォーカスが行われたときとほぼ同じ状況である、動画記録開始直後の部分の画質が向上することになる。

ここで、以上のような構成を有する撮像装置１の処理について説明する。

はじめに、図１２のフローチャートを参照して、スキャンフォーカスを行う撮像装置１の処理について説明する。

ステップＳ１において、スキャンフォーカス制御部３１は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。

ステップＳ２において、CMOSイメージセンサ１２は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部３１により調整されている。撮像によって得られた画像データは画像メモリ１４に記憶される。

ステップＳ３において、スキャンフォーカス制御部３１は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。

ステップＳ３において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部３１は、ステップＳ４において、レンズ駆動回路２１を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部３１からプレーン情報管理部３２に出力される。その後、ステップＳ２に戻り、それ以降の処理が繰り返される。

一方、ステップＳ３において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、ステップＳ５において、スキャンフォーカス制御部３１は、ステップＳ１で記憶しておいた合焦距離に可変焦点レンズ１１の合焦距離を戻す。

ステップＳ６において、画像信号処理回路１８は、スキャンフォーカスによって撮像された画像データを画像メモリ１４から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路１８により検出された合焦領域に関する情報は画像信号処理回路１８からプレーン情報管理部３２に出力される。

ステップＳ７において、プレーン情報管理部３２は、画像信号処理回路１８から供給された合焦領域に関する情報と、スキャンフォーカス制御部３１から供給された合焦距離の情報に基づいてプレーン情報を生成する。その後、処理は終了される。

以上の処理が、例えば、動画の記録がユーザによって指示されることに応じて行われる。

次に、図１３のフローチャートを参照して、動画を記録する撮像装置１の処理について説明する。

この処理は図１２の処理が終了したときに開始される。図１２を参照して説明した処理によって生成されたプレーン情報はプレーン情報管理部３２から記録制御部３３の合焦領域選択部４１に供給される。動画の記録に用いるものとしてCMOSイメージセンサ１２により撮像された画像は画像メモリ１４に記憶される。

ステップＳ２１において、合焦領域選択部４１は、プレーン情報管理部３２から供給されたプレーン情報を参照して重要な物体が合焦している合焦領域を選択し、選択した合焦領域の位置、範囲の情報を動画圧縮制御部４２に出力する。

ステップＳ２２において、動画圧縮制御部４２は、対象の画像がＩピクチャとする画像であるとき、合焦領域選択部４１により選択された合焦領域に対応する領域に他の領域より重点的に多い割合のデータを割り振ってフレーム内圧縮を行わせ、Ｉピクチャを生成させるなどして、動画処理回路１５において行われる動画の圧縮を制御する。

ステップＳ２３において、動画処理回路１５は、画像メモリ１４に記憶されている画像データに基づいて動画データを生成し、圧縮した動画データを記録デバイス１６に記録させる。動画データを圧縮する際、動画処理回路１５は、動画圧縮制御部４２による制御に従ってそれぞれの領域にデータを割り振り、フレーム内圧縮を行うことによってＩピクチャを生成する。また、動画処理回路１５は、フレーム間圧縮を行うことによって、Ｐピクチャ、Ｂピクチャを生成する。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。

以上においては、スキャンフォーカスによって撮像された画像のうちの１つの画像から検出された合焦領域が選択されるものとしたが、それぞれ異なる画像から検出された合焦領域が選択されるようにしてもよい。

例えば、図１０に示される人物の一方は近くの位置にいて、他方は少し離れた位置にいる場合、それらの人物はそれぞれ合焦距離の異なる画像において合焦することになるが、このとき、双方が合焦している合焦領域が選択されることにより、２人の人物を精度よく圧縮することが可能となる。

また、以上においては、基本的に、位置、面積に基づいて合焦領域が選択されるものとしたが、撮像装置１に風景モード、ポートレートモードなどの各種の撮像モードが用意されている場合、設定されている撮像モードをも考慮して合焦領域が選択されるようにしてもよい。

例えば、風景モードが設定されている場合には、合焦距離を無限遠として撮像された画像から検出された合焦領域が選択される。

また、被写体の人物が画像の中央付近に入るように構図を選択して撮像することが多いため、ポートレートモードが設定されている場合には、画像の中央付近にある合焦領域が選択される。顔検出と組み合わされ、撮像された画像のうちの顔が写っているとして検出された領域を含む合焦領域が、人物が合焦している領域として選択されるようにしてもよい。

以上においては、記録開始ボタンが押されることに応じてスキャンフォーカスが行われるものとしたが、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが行われるようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。

これにより、記録開始ボタンが押されることに応じてスキャンフォーカスが行われる場合に較べて、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうのを防ぐことができる。

また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて１フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。

この場合、CMOSイメージセンサ１２はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、１回のスキャンフォーカスにおいて行う複数回の撮像のうちの２回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ１２により行われるようにしてもよい。

例えば、図３の画像Ｐ₁乃至Ｐ₃がその順番で撮像される場合、画像Ｐ₂の撮像時には、その前に撮像された画像Ｐ₁から検出された領域Ａ₁に対応する画素の信号は取り込まれず、画像Ｐ₃の撮像時には、その前に撮像された画像Ｐ₁から検出された領域Ａ₁に対応する画素と、画像Ｐ₂から検出された領域Ａ₂に対応する画素の信号は取り込まれない。

これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。

以上においては、撮像装置１がデジタルビデオカメラであるものとしたが、デジタルスチルカメラにおいて以上のようなスキャンフォーカスや、静止画の圧縮時のデータの割り振りの制御が行われるようにしてもよい。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。

上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。 合焦距離を変えて撮像した画像の例を示す図である。 図２の画像から検出される合焦領域の例を示す図である。 撮像装置のハードウエア構成例を示すブロック図である。 撮像装置の機能構成例を示すブロック図である。 可変焦点レンズの制御の例を示す図である。 図５の記録制御部の構成例を示すブロック図である。 撮像装置による撮像の他の様子を示す図である。 合焦領域の例を示す図である。 撮像装置による撮像のさらに他の様子を示す図である。 合焦領域の他の例を示す図である。 撮像装置のスキャンフォーカス処理について説明するフローチャートである。 撮像装置の動画記録処理について説明するフローチャートである。

符号の説明

１ 撮像装置， １１ 可変焦点レンズ， １２ CMOSイメージセンサ， １５ 動画処理回路， １８ 画像信号処理回路， ２０ マイクロコントローラ， ２１ レンズ駆動回路， ３１ スキャンフォーカス制御部， ３２ プレーン情報管理部， ３３ 記録制御部， ４１ 合焦領域選択部， ４２ 動画圧縮制御部

Claims (9)

1. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、
   合焦距離が可変であるレンズと、
   光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
   前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段と、
   前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段と、
   フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段と
   を備える撮像装置。
2. 前記選択手段は、前記検出手段により検出された合焦領域の中から、画像内の位置と面積の少なくともいずれかに基づいて前記所定の数の合焦領域を選択する
   請求項１に記載の撮像装置。
3. 前記選択手段は、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて、前記所定の数の合焦領域を選択する
   請求項１に記載の撮像装置。
4. 前記選択手段は、１つの画像から検出された複数の合焦領域、または、それぞれ異なる画像から検出された複数の合焦領域を選択する
   請求項１に記載の撮像装置。
5. 前記撮像手段は、合焦領域の検出に用いられる画像の撮像後に、記録デバイスに記録する画像の撮像を行い、
   前記圧縮手段は、前記記録デバイスに記録する画像のうちのフレーム内圧縮の対象とする画像の圧縮を、前記選択手段により選択された合焦領域に対応する領域に対して他の領域よりも多い割合のデータを割り振って行う
   請求項１に記載の撮像装置。
6. 前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像する
   請求項１に記載の撮像装置。
7. 前記撮像手段はCMOSイメージセンサである
   請求項１に記載の撮像装置。
8. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する、合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
   光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
   撮像した複数の画像から合焦領域を検出し、
   検出した合焦領域の中から、所定の数の合焦領域を選択し、
   フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う
   ステップを含む撮像方法。
9. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する、合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
   光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
   撮像した複数の画像から合焦領域を検出し、
   検出した合焦領域の中から、所定の数の合焦領域を選択し、
   フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う
   ステップを含むプログラム。

Images