JP2008199378A - 撮像装置、撮像方法、およびプログラム - Google Patents

撮像装置、撮像方法、およびプログラム Download PDF

Info

Publication number
JP2008199378A
JP2008199378A JP2007033600A JP2007033600A JP2008199378A JP 2008199378 A JP2008199378 A JP 2008199378A JP 2007033600 A JP2007033600 A JP 2007033600A JP 2007033600 A JP2007033600 A JP 2007033600A JP 2008199378 A JP2008199378 A JP 2008199378A
Authority
JP
Japan
Prior art keywords
image
focus
area
distance
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007033600A
Other languages
English (en)
Inventor
So Ishimitsu
宗 石光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007033600A priority Critical patent/JP2008199378A/ja
Publication of JP2008199378A publication Critical patent/JP2008199378A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】フレーム内圧縮された画像の画質を向上させることができるようにする。
【解決手段】記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像が撮像され、撮像されたそれぞれの画像内の合焦領域(ピントがあっている領域)が検出される。例えば、画像の中央付近に合焦領域が検出された場合、その合焦領域において合焦する物体が重要な物体であると判断され、フレーム内圧縮の対象とする1フレームの画像の領域のうち、合焦領域に対応する領域に対して他の領域より多い割合のデータが割り振られて圧縮が行われる。本発明は、デジタルビデオカメラやデジタルスチルカメラに適用することができる。
【選択図】図1

Description

本発明は、撮像装置、撮像方法、およびプログラムに関し、特に、フレーム内圧縮された画像の画質を向上させることができるようにした撮像装置、撮像方法、およびプログラムに関する。
MPEG(Moving Picture Experts Group)などに代表される動画圧縮方式によって圧縮された動画データは、Iピクチャ、Pピクチャ、Bピクチャの3種類のピクチャを複数組み合わせたGOP(Group Of Picture)という単位で構成される。
Iピクチャは、一般的にはJPEG(Joint Photographic Expert Group)方式によって圧縮するなどの、対象フレームの情報だけを用いて圧縮するフレーム内圧縮によって生成され、Pピクチャ、Bピクチャは、デコード順で前のフレームとの差分や動き情報を符号化するフレーム間圧縮によって生成される。
JPEG方式による圧縮においては、画像に写る物体の細かさ、粗さを周波数成分から判断し、細かい物体の領域に対して、限られた量のデータのうちの多い割合のデータを割り振って圧縮を行うようになされている。
特許文献1には、ウォブリング動作を行うことによってフォーカスの制御を行う技術が開示されている。
特開2006−47954号公報
JPEG方式による圧縮によってIピクチャを生成する場合、限られた量のデータをどの領域に重点的に割り振るかは画像内の重要物体を判断し、その判断結果に従って決定するのが望ましいが、通常、物体の重要度を判断するのは難しい。
重要物体に多くのデータを割り振り、高い精度で符号化することができれば、ユーザは重要物体を中心に画像を見ると考えられるから、高品位な画像を提供することが可能となる。
本発明はこのような状況に鑑みてなされたものであり、フレーム内圧縮された画像の画質を向上させることができるようにするものである。
本発明の一側面の撮像装置は、フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、合焦距離が可変であるレンズと、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段と、前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段と、フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段とを備える。
前記選択手段には、前記検出手段により検出された合焦領域の中から、画像内の位置と面積の少なくともいずれかに基づいて前記所定の数の合焦領域を選択させることができる。
前記選択手段には、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて、前記所定の数の合焦領域を選択させることができる。
前記選択手段には、1つの画像から検出された複数の合焦領域、または、それぞれ異なる画像から検出された複数の合焦領域を選択させることができる。
前記撮像手段には、合焦領域の検出に用いられる画像の撮像後に、記録デバイスに記録する画像の撮像を行わせ、前記圧縮手段には、前記記録デバイスに記録する画像のうちのフレーム内圧縮の対象とする画像の圧縮を、前記選択手段により選択された合焦領域に対応する領域に対して他の領域よりも多い割合のデータを割り振って行わせることができる。
前記撮像手段には、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像させることができる。
前記撮像手段はCMOSイメージセンサであるようにすることができる。
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域の中から、所定の数の合焦領域を選択し、フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行うステップを含む。
本発明の一側面においては、光軸を固定として、レンズの合焦距離が変わる毎に撮像され、撮像された複数の画像から合焦領域が検出される。また、検出された合焦領域の中から、所定の数の合焦領域が選択され、フレーム内圧縮の対象とする画像の領域のうち、選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータが割り振られて圧縮が行われる。
本発明の一側面によれば、フレーム内圧縮された画像の画質を向上させることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
本発明の一側面の撮像装置(例えば、図1の撮像装置1)は、フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、合焦距離が可変であるレンズ(例えば、図4の可変焦点レンズ11)と、光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段(例えば、図4のCMOSイメージセンサ12)と、前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段(例えば、図4の画像信号処理回路18)と、前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段(例えば、図7の合焦領域選択部41)と、フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段(例えば、図7の動画圧縮制御部42)とを備える。
本発明の一側面の撮像方法またはプログラムは、光軸を固定として、レンズの合焦距離が変わる毎に撮像し、撮像した複数の画像から合焦領域を検出し、検出した合焦領域の中から、所定の数の合焦領域を選択し、フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行うステップ(例えば、図13のステップS22)を含む。
以下、本発明の実施の形態について図を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置1による撮像の様子を示す図である。
撮像装置1は例えばデジタルビデオカメラであり、合焦距離が可変であるレンズが設けられている。図1に示されるように、撮像装置1に近いものから順に、人物、建物、山などの風景が撮像範囲に存在する場合、撮像装置1は、人物に合焦させた画像、建物に合焦させた画像、風景に合焦させた画像などをそれぞれ撮像することができる。
図1の例においては、撮像装置1から距離D1だけ離れた位置に人物が存在し、距離D2だけ離れた位置に建物が存在し、距離D3だけ離れた位置に風景が存在する。図1の一点鎖線Lはレンズの光軸を表す。
図2は、合焦距離を変えて撮像した画像の例を示す図である。
撮像装置1に設けられるレンズの被写界深度は比較的浅く、合焦距離を距離D1として人物に合焦させて撮像した画像である画像P1には建物と風景がピントがあっていない状態で写り、合焦距離を距離D2として建物に合焦させて撮像した画像である画像P2には人物と風景がピントがあっていない状態で写る。また、合焦距離を距離D3として風景に合焦させて撮像した画像である画像P3には人物と建物がピントがあっていない状態で写る。
図2において、実線で示される被写体はピントがあっている状態であることを表し、点線で示される被写体はピントがあっていない状態であることを表す。
撮像装置1においては、例えば、記録開始ボタンがユーザにより押されることに応じて記録デバイスに記録する画像の撮像を開始する直前に、光軸をほぼ固定として合焦距離を所定の間隔で変えながら複数の画像を撮像し、撮像したそれぞれの画像内の合焦領域(ピントがあっている領域)を検出することが行われる。
合焦領域の検出に用いる画像の撮像は、例えば、合焦距離を最も短くした状態から開始され、最も長くした無限遠の状態になるまでの間、合焦距離の可変範囲の全範囲において所定の間隔で連続して行われる。画像内の合焦領域の検出は、画像のコントラストを抽出するなどの方法によって行われる。
図1に示されるように、撮像装置1から距離D1だけ離れた位置に人物が存在し、距離D2だけ離れた位置に建物が存在し、距離D3だけ離れた位置に風景が存在する場合、合焦距離を距離D1として撮像して得られた画像P1には人物が合焦した状態で写っているから、画像P1からは、図3の右側に示されるように、人物が写っている領域である領域A1が検出され、領域A1と、合焦距離である距離D1が対応付けて管理される。図3においては、検出される合焦領域が斜線で示されている。
また、合焦距離を距離D2として撮像して得られた画像P2には建物が合焦した状態で写っているから、画像P2からは、図3の中央に示されるように、建物が写っている領域である領域A2が検出され、領域A2と、合焦距離である距離D2が対応付けて管理される。
合焦距離を距離D3として撮像して得られた画像P3には風景が合焦した状態で写っているから、画像P3からは、図3の左側に示されるように、風景が写っている領域である領域A3が検出され、領域A3と、合焦距離である距離D3が対応付けて管理される。
なお、合焦した状態で写っている被写体を含むように、その被写体の領域を若干広げた領域までが合焦領域として検出されるようにしてもよい。
図2、図3においては3フレームの画像だけが示されているが、撮像装置1においては、さらに多くの画像が合焦距離を変えながら撮像される。撮像された画像の中には合焦領域が検出されない画像もある。また、図3においてはそれぞれの画像から1つの合焦領域だけが検出されているが、1フレームの画像から複数の合焦領域が検出されることもある。
合焦領域と合焦距離の対応付けは、撮像装置1の光軸を垂線とする、撮像範囲内の平面(プレーン)の情報を表すプレーン情報によって撮像装置1により管理される。それぞれのプレーン情報には、合焦領域の画像内の位置、範囲、その合焦領域の検出元になった画像を撮像したときの合焦距離などが含まれる。
合焦距離は画像内で合焦している被写体までの距離を表すから、このように、撮像装置1によれば、光軸を固定とし、合焦距離を変えて複数の画像の撮像が行われることによって、撮像範囲に含まれるそれぞれの被写体までの距離を取得することができる。
合焦距離を変えて可変範囲の全範囲分の画像を撮像することは、例えば、1秒間より短い時間内に高速に行われる。可変範囲の全範囲分の画像を撮像することがそのような短い時間内で行われることにより、合焦距離を変えて行われる1回1回の撮像がさらに短い時間間隔で行われることになり、撮像された画像は光軸をほぼ固定して撮像されたものになる。
撮像装置1の撮像素子にはCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられており、高速での撮像が可能となっている。以下、適宜、撮像装置1の光軸を垂線とする撮像範囲内のそれぞれの平面の状態を検出するための撮像といえるから、合焦距離を所定の間隔で変えて可変範囲の全範囲分の画像を撮像することをスキャンフォーカスという。
以上のようにして得られたプレーン情報は、例えば、フレーム内圧縮の対象となる1フレームの画像を圧縮するときに、その画像を構成するそれぞれの領域に割り振るデータの割合を決定するのに用いられる。
撮像装置1においては、動画の圧縮方式として例えばMPEG方式が採用されている。GOPを構成するIピクチャは、目標とする固定の量のデータになるように、対象とする1フレームの画像をJPEG方式で圧縮することによって生成されるが、その固定の量のデータを、どの領域に重点的に割り振るかがプレーン情報に基づいて決定される。
例えば、スキャンフォーカスによって画像の中央付近に合焦領域が検出された場合、撮像装置1は、その合焦領域において合焦する物体を重要な物体であると判断し、フレーム内圧縮の対象とする1フレームの画像の領域のうち、重要な物体が合焦する合焦領域に対応する領域を構成するマクロブロックに、他の領域を構成するマクロブロックより多い割合のデータを割り振って圧縮し、Iピクチャを生成する。ここで、合焦領域に対応する領域とは、合焦領域の検出元になった画像(スキャンフォーカスによって撮像された画像)と、フレーム内圧縮の対象とする画像を同じ大きさにして較べたときに、合焦領域と同じ位置、同じ範囲の、フレーム内圧縮の対象とする画像の領域をいう。
JPEG方式での圧縮においては、圧縮対象の1フレームの画像がマクロブロックなどの所定の画素数からなる領域に分割され、それぞれの領域に対してDCT(Discrete Cosine Transform)、符号化などの処理が施される。
これにより、撮像装置1は、データの割り振りを最適化することができ、重要な物体を、同じ画像に写る他の物体より精度よく符号化することができる。ユーザは重要な物体を中心に画像を見ると考えられるから、ユーザが感じる見た目の画質を向上させることができることになる。
以上のようにして撮像を行う撮像装置1の一連の処理についてはフローチャートを参照して後述する。
図4は、撮像装置1のハードウエア構成例を示すブロック図である。
可変焦点レンズ11は、被写体からの光を取り込み、取り込んだ光をCMOSイメージセンサ12に導く。可変焦点レンズ11は複数のレンズから構成され、その位置関係が調整されることによって合焦距離が制御される。合焦距離の制御はレンズ駆動回路21により行われる。
CMOSイメージセンサ12は、可変焦点レンズ11を介して入射した光を受光して光電変換を行い、受光量に応じたアナログの画像信号をADC(Analog Digital Converter)13に出力する。
ADC13は、CMOSイメージセンサ12から供給された画像信号をA/D変換し、デジタルの画像データを画像メモリ14に出力する。ADC13においては、CMOSイメージセンサ12から供給された画像信号に対して相関二重サンプリング処理、ゲインコントロール処理なども施される。
画像メモリ14は、ADC13から供給された画像データを記憶する。画像メモリ14に記憶された画像データは動画処理回路15と画像信号処理回路18により適宜読み出される。
動画処理回路15は、マイクロコントローラ20による制御に従って動画の記録、再生を行う。
例えば、動画処理回路15は、動画を記録するとき、画像メモリ14に記憶されている画像データに基づいて所定のフォーマットの動画データを生成し、圧縮した動画データを記録デバイス16に出力する。動画データを圧縮する際、動画処理回路15は、マイクロコントローラ20による制御に従ってそれぞれの領域にデータを割り振り、フレーム内圧縮の対象となる1フレームの画像を圧縮してIピクチャを生成する。また、動画処理回路15は、Iピクチャとの差分や動き情報を符号化するフレーム間圧縮を行うことによって、Pピクチャ、Bピクチャを生成する。
また、動画処理回路15は、動画を再生するとき、記録デバイス16から読み出した動画データを再生して得られた画像信号をモニタ17に出力する。さらに、動画処理回路15は、画像メモリ14に記憶されている画像データに基づいて、取り込み中の画像をモニタ17に表示させることも行う。
記録デバイス16は、テープ、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)などよりなり、動画処理回路15から供給された、圧縮済みの動画データを記録する。
モニタ17はLCD(Liquid Crystal Display)などよりなり、動画処理回路15から供給された画像信号に基づいて取り込み中の画像などを表示する。
画像信号処理回路18は、スキャンフォーカスによって撮像された可変範囲の全範囲分の、合焦距離がそれぞれ異なる複数の画像のデータが画像メモリ14に記憶されたとき、画像メモリ14に記憶されている画像データを読み出し、それぞれの画像から合焦領域を検出する。画像信号処理回路18は、合焦領域の画像内の位置、範囲などの、合焦領域に関する情報をマイクロコントローラ20に出力する。
メモリ19は、画像信号処理回路18が処理を行う上で必要なデータを記憶する。
マイクロコントローラ20は、所定のプログラムを実行し、動画処理回路15、レンズ駆動回路21を制御して動画の記録、再生などの各種の処理を行う。
例えば、マイクロコントローラ20は、レンズ駆動回路21を制御してスキャンフォーカスを行う。また、マイクロコントローラ20は、画像信号処理回路18から供給された合焦領域に関する情報と、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいてプレーン情報を生成する。
レンズ駆動回路21は、マイクロコントローラ20による制御に従ってモータを駆動させ、可変焦点レンズ11を構成する各レンズの位置を移動させる。例えば、レンズ駆動回路21は、最も短い距離から最も長い距離まで合焦距離が順次ずれるように各レンズの位置を移動させ、スキャンフォーカスを行う。
図5は、撮像装置1の機能構成例を示すブロック図である。図5に示す機能部のうちの少なくとも一部は、図4のマイクロコントローラ20により所定のプログラムが実行されることによって実現される。
図5に示されるように、撮像装置1においてはスキャンフォーカス制御部31、プレーン情報管理部32、および記録制御部33が実現される。
スキャンフォーカス制御部31は、レンズ駆動回路21を制御してスキャンフォーカスを行う。スキャンフォーカス制御部31は、スキャンフォーカスによってそれぞれの画像を撮像したときの合焦距離の情報をプレーン情報管理部32に出力する。
図6は、スキャンフォーカスを行うときの可変焦点レンズ11の制御の例を示す図である。
図6の横軸は時刻を表し、縦軸は可変焦点レンズ11の合焦距離を表す。図6の例においては、可変焦点レンズ11の合焦距離の可変範囲は距離y0から距離y2(無限遠)までの範囲とされている。距離y1は、スキャンフォーカスを開始する直前、すなわち、スキャンフォーカスが上述したように記録開始ボタンがユーザにより押されることに応じて行われる場合、記録開始ボタンがユーザにより押される直前に、オートフォーカスにより、またはユーザの手動での調整により設定されていた合焦距離である。
スキャンフォーカス制御部31は、スキャンフォーカスを開始するとき、そのとき設定されている合焦距離である距離y1を記憶し、合焦距離が距離y0になるように可変焦点レンズ11を制御する。スキャンフォーカス制御部31は、合焦距離が距離y0になったとき、合焦距離を距離y2まで所定の間隔で変えながら連続して撮像を行わせる。距離y0から開始されるのではなく、記録開始ボタンがユーザにより押される直前にオートフォーカスなどにより設定されていた合焦距離からスキャンフォーカスが開始されるようにしてもよい。
図6の例においては、時刻t0から時刻t1までの間にスキャンフォーカスが行われている。時刻t0から時刻t1までの間に示されるそれぞれの矢印のタイミングで1回ずつ撮像が行われ、これにより、合焦距離の異なる複数の画像が1回のスキャンフォーカスによって撮像される。スキャンフォーカス制御部31からプレーン情報管理部32に対しては、それぞれの矢印のタイミングにおける合焦距離の情報が通知される。
スキャンフォーカスによって撮像された画像は、順次、画像メモリ14に記憶される。全ての画像が画像メモリ14に記憶されたとき、画像信号処理回路18においては、それぞれの画像から合焦領域が検出される。
スキャンフォーカスが終わったとき、スキャンフォーカス制御部31は、可変焦点レンズ11の合焦距離を、スキャンフォーカスの開始前に記憶しておいた距離y1に復帰させ、その後、記録デバイス16に記録する画像の撮像を開始する。
図6の例においては、時刻t1から時刻t2までの間に、可変焦点レンズ11の合焦距離を距離y1に復帰させることが行われ、その後、記録デバイス16に記録する画像の撮像が行われている。時刻t2以降に撮像された画像に基づいて動画データが生成され、圧縮された後、記録デバイス16に記録される。可変焦点レンズ11の合焦距離を距離y1に復帰させる時刻t1から時刻t2までの間に、合焦領域の検出やフレーム内圧縮でのデータの割り振りなどが決定されるようにしてもよい。
この例においては、記録デバイス16に記録する画像の撮像を開始する前に1回だけスキャンフォーカスが行われるようになされているが、複数回行われるようにしてもよい。
図5の説明に戻り、プレーン情報管理部32は、画像信号処理回路18から供給された合焦領域に関する情報と、スキャンフォーカス制御部31から供給された合焦距離の情報に基づいてプレーン情報を生成し、生成したプレーン情報を記録制御部33に出力する。
記録制御部33は、プレーン情報管理部32から供給されたプレーン情報を参照して重要な物体が合焦する合焦領域を選択し、選択した合焦領域に対応する領域に多い割合のデータを割り振ってフレーム内圧縮を行わせるなどして、動画処理回路15において行われる動画の記録を制御する。
図7は、図5の記録制御部33の構成例を示すブロック図である。
図7に示されるように、記録制御部33は、合焦領域選択部41、動画圧縮制御部42から構成される。
合焦領域選択部41は、背景、中間物体、近接物体を、プレーン情報管理部32から供給されたプレーン情報によって表される合焦距離、画像内における合焦領域の占有面積、位置のうちの少なくともいずれかを元に推測する。例えば、合焦領域選択部41は、合焦距離を無限遠として撮像した画像から検出された合焦領域において合焦している物体(被写体)が背景であると推測する。
また、合焦領域選択部41は、推測した物体の中から重要な物体が合焦する合焦領域を選択し、選択した合焦領域の位置、範囲の情報を動画圧縮制御部42に出力する。
例えば、合焦領域選択部41は、近距離から中距離にある物体であって、画像の中央付近で合焦している物体がある場合、人物である可能性が高いため、その物体が合焦する合焦領域を選択する。撮像装置1から物体までの距離が近距離から中距離の間にあるかは、プレーン情報によって表される物体までの距離と、あらかじめ設定された、近距離の基準となる閾値、中距離の基準となる閾値に基づいて判断される。
また、図8に示されるように、撮像装置1と風景の間に被写体となるような物体がない状況でスキャンフォーカスが行われた場合、図9に示されるように、合焦距離を無限遠として撮像された画像以外からは合焦領域が検出されないから、このように、無限遠以外に物体がなく、かつ、スキャンフォーカスを行う直前にオートフォーカスなどにより設定されていた合焦距離が無限遠であるときには、合焦領域選択部41は、ユーザが風景を撮像していると判断し、風景(背景)が合焦している合焦領域を選択する。
図9の例においては、スキャンフォーカスによって撮像された画像P11,P12,P13のうちの画像P13から、風景が合焦している領域である領域A11が検出されている。画像P11は、合焦距離が距離D1であるときに撮像された画像であり、画像P12は、合焦距離が距離D2であるときに撮像された画像である。画像P13は、合焦距離が無限遠の距離D3であるときに撮像された画像である。
このように、スキャンフォーカスを行う直前にユーザが手動で設定していた合焦距離、オートフォーカスによって設定されていた合焦距離も考慮され、合焦領域が選択されるようにしてもよい。
さらに、図10に示されるように、風景を背景として、撮像装置1に近い位置に、光軸を挟んで2人の人物がいるような状況でスキャンフォーカスが行われた場合、図11に示されるように、画像の中央部は無限遠にある物体に合焦し、画像の中央を挟んで左右に分かれる形で、近距離から中距離にある物体に合焦していることが検出される。この場合、合焦領域選択部41は、近距離から中距離にある複数の物体が人物等であると判断し、人物等が合焦している複数の合焦領域を選択する。
図11の例においては、スキャンフォーカスによって撮像された画像P21,P22,P23のうちの画像P21から、人物が合焦している領域である領域A21と領域A22が検出され、画像P23から、風景が合焦している領域である領域A23が検出されている。画像の中央付近では風景が合焦し、それを挟むように人物が合焦している。
このように、1つの画像から検出された複数の合焦領域が選択されるようにしてもよい。
図7の説明に戻り、動画圧縮制御部42は、対象の画像がIピクチャとする画像であるとき、その画像の領域のうち、合焦領域選択部41により選択された合焦領域に対応する領域に他の領域より多い割合のデータを割り振ってフレーム内圧縮を行わせるなどして、動画処理回路15において行われる動画の圧縮を制御する。
これにより、例えば、上述したように人物である可能性が高いと判断された近距離から中距離にある物体が写る領域、無限遠にある物体が写る領域などに、他の領域より多くの割合のデータが割り振られてフレーム内圧縮が行われることになり、それらの重要な物体の画質が向上することになる。特に、撮像範囲の状況がスキャンフォーカスが行われたときとほぼ同じ状況である、動画記録開始直後の部分の画質が向上することになる。
ここで、以上のような構成を有する撮像装置1の処理について説明する。
はじめに、図12のフローチャートを参照して、スキャンフォーカスを行う撮像装置1の処理について説明する。
ステップS1において、スキャンフォーカス制御部31は、現在の合焦距離を記憶する。ここで記憶された合焦距離は、スキャンフォーカスが終わったときに合焦距離を元に戻すときに用いられる。
ステップS2において、CMOSイメージセンサ12は、プレーン情報を生成するのに用いられるプレーン情報生成用の画像を撮像する。このときの合焦距離は、所定の距離にスキャンフォーカス制御部31により調整されている。撮像によって得られた画像データは画像メモリ14に記憶される。
ステップS3において、スキャンフォーカス制御部31は、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したか否かを判定する。
ステップS3において可変範囲の全範囲でプレーン情報生成用の画像を撮像していないと判定した場合、スキャンフォーカス制御部31は、ステップS4において、レンズ駆動回路21を制御して、合焦距離を例えば長くなる方向に所定の間隔だけずらす。合焦距離の情報はスキャンフォーカス制御部31からプレーン情報管理部32に出力される。その後、ステップS2に戻り、それ以降の処理が繰り返される。
一方、ステップS3において最も短い距離から長い距離まで、合焦距離を変えて可変範囲の全範囲でプレーン情報生成用の画像を撮像したと判定した場合、ステップS5において、スキャンフォーカス制御部31は、ステップS1で記憶しておいた合焦距離に可変焦点レンズ11の合焦距離を戻す。
ステップS6において、画像信号処理回路18は、スキャンフォーカスによって撮像された画像データを画像メモリ14から読み出し、プレーン情報生成用のそれぞれの画像から合焦領域を検出する。画像信号処理回路18により検出された合焦領域に関する情報は画像信号処理回路18からプレーン情報管理部32に出力される。
ステップS7において、プレーン情報管理部32は、画像信号処理回路18から供給された合焦領域に関する情報と、スキャンフォーカス制御部31から供給された合焦距離の情報に基づいてプレーン情報を生成する。その後、処理は終了される。
以上の処理が、例えば、動画の記録がユーザによって指示されることに応じて行われる。
次に、図13のフローチャートを参照して、動画を記録する撮像装置1の処理について説明する。
この処理は図12の処理が終了したときに開始される。図12を参照して説明した処理によって生成されたプレーン情報はプレーン情報管理部32から記録制御部33の合焦領域選択部41に供給される。動画の記録に用いるものとしてCMOSイメージセンサ12により撮像された画像は画像メモリ14に記憶される。
ステップS21において、合焦領域選択部41は、プレーン情報管理部32から供給されたプレーン情報を参照して重要な物体が合焦している合焦領域を選択し、選択した合焦領域の位置、範囲の情報を動画圧縮制御部42に出力する。
ステップS22において、動画圧縮制御部42は、対象の画像がIピクチャとする画像であるとき、合焦領域選択部41により選択された合焦領域に対応する領域に他の領域より重点的に多い割合のデータを割り振ってフレーム内圧縮を行わせ、Iピクチャを生成させるなどして、動画処理回路15において行われる動画の圧縮を制御する。
ステップS23において、動画処理回路15は、画像メモリ14に記憶されている画像データに基づいて動画データを生成し、圧縮した動画データを記録デバイス16に記録させる。動画データを圧縮する際、動画処理回路15は、動画圧縮制御部42による制御に従ってそれぞれの領域にデータを割り振り、フレーム内圧縮を行うことによってIピクチャを生成する。また、動画処理回路15は、フレーム間圧縮を行うことによって、Pピクチャ、Bピクチャを生成する。動画の記録を終了することがユーザにより指示されたとき、処理は終了される。
以上においては、スキャンフォーカスによって撮像された画像のうちの1つの画像から検出された合焦領域が選択されるものとしたが、それぞれ異なる画像から検出された合焦領域が選択されるようにしてもよい。
例えば、図10に示される人物の一方は近くの位置にいて、他方は少し離れた位置にいる場合、それらの人物はそれぞれ合焦距離の異なる画像において合焦することになるが、このとき、双方が合焦している合焦領域が選択されることにより、2人の人物を精度よく圧縮することが可能となる。
また、以上においては、基本的に、位置、面積に基づいて合焦領域が選択されるものとしたが、撮像装置1に風景モード、ポートレートモードなどの各種の撮像モードが用意されている場合、設定されている撮像モードをも考慮して合焦領域が選択されるようにしてもよい。
例えば、風景モードが設定されている場合には、合焦距離を無限遠として撮像された画像から検出された合焦領域が選択される。
また、被写体の人物が画像の中央付近に入るように構図を選択して撮像することが多いため、ポートレートモードが設定されている場合には、画像の中央付近にある合焦領域が選択される。顔検出と組み合わされ、撮像された画像のうちの顔が写っているとして検出された領域を含む合焦領域が、人物が合焦している領域として選択されるようにしてもよい。
以上においては、記録開始ボタンが押されることに応じてスキャンフォーカスが行われるものとしたが、記録開始ボタンにユーザの指が触れたことが検出されることに応じてスキャンフォーカスが行われるようにしてもよい。ユーザの指が触れたか否かは、例えば、記録開始ボタンに設けられる静電センサによって検出される。
これにより、記録開始ボタンが押されることに応じてスキャンフォーカスが行われる場合に較べて、ユーザが記録開始ボタンを押したときと実際に動画の記録が開始されるときに遅延が発生してしまうのを防ぐことができる。
また、以上においては、可変範囲の全範囲分の画像の撮像が終わってから、それぞれの画像から合焦領域が検出されるものとしたが、合焦距離を変えて1フレームの画像の撮像が行われる毎に、撮像された画像を対象として合焦領域が検出されるようにしてもよい。
この場合、CMOSイメージセンサ12はX-Yアドレス型の撮像素子であり、所定の画素の画素値を表す信号だけを出力するといったことが可能であるから、1回のスキャンフォーカスにおいて行う複数回の撮像のうちの2回目以降の撮像においては、既に合焦領域として検出された領域に対応する画素の信号を取り込まずに、合焦領域としてまだ検出されていない領域に対応する画素の信号だけを取り込むといったような撮像がCMOSイメージセンサ12により行われるようにしてもよい。
例えば、図3の画像P1乃至P3がその順番で撮像される場合、画像P2の撮像時には、その前に撮像された画像P1から検出された領域A1に対応する画素の信号は取り込まれず、画像P3の撮像時には、その前に撮像された画像P1から検出された領域A1に対応する画素と、画像P2から検出された領域A2に対応する画素の信号は取り込まれない。
これにより、取り込みの対象となる画素の信号の数を減らすことができるから、スキャンフォーカスにかかる時間を短縮することができる。
以上においては、撮像装置1がデジタルビデオカメラであるものとしたが、デジタルスチルカメラにおいて以上のようなスキャンフォーカスや、静止画の圧縮時のデータの割り振りの制御が行われるようにしてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な機器に、プログラム記録媒体からインストールされる。
上述した処理を実行させるプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明の一実施形態に係る撮像装置による撮像の様子を示す図である。 合焦距離を変えて撮像した画像の例を示す図である。 図2の画像から検出される合焦領域の例を示す図である。 撮像装置のハードウエア構成例を示すブロック図である。 撮像装置の機能構成例を示すブロック図である。 可変焦点レンズの制御の例を示す図である。 図5の記録制御部の構成例を示すブロック図である。 撮像装置による撮像の他の様子を示す図である。 合焦領域の例を示す図である。 撮像装置による撮像のさらに他の様子を示す図である。 合焦領域の他の例を示す図である。 撮像装置のスキャンフォーカス処理について説明するフローチャートである。 撮像装置の動画記録処理について説明するフローチャートである。
符号の説明
1 撮像装置, 11 可変焦点レンズ, 12 CMOSイメージセンサ, 15 動画処理回路, 18 画像信号処理回路, 20 マイクロコントローラ, 21 レンズ駆動回路, 31 スキャンフォーカス制御部, 32 プレーン情報管理部, 33 記録制御部, 41 合焦領域選択部, 42 動画圧縮制御部

Claims (9)

  1. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する撮像装置において、
    合焦距離が可変であるレンズと、
    光軸を固定として、前記レンズの合焦距離が変わる毎に撮像する撮像手段と、
    前記撮像手段により撮像された複数の画像から合焦領域を検出する検出手段と、
    前記検出手段により検出された合焦領域の中から、所定の数の合焦領域を選択する選択手段と、
    フレーム内圧縮の対象とする画像の領域のうち、前記選択手段により選択された合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う圧縮手段と
    を備える撮像装置。
  2. 前記選択手段は、前記検出手段により検出された合焦領域の中から、画像内の位置と面積の少なくともいずれかに基づいて前記所定の数の合焦領域を選択する
    請求項1に記載の撮像装置。
  3. 前記選択手段は、合焦領域の検出元になった画像を撮像したときの合焦距離に基づいて、前記所定の数の合焦領域を選択する
    請求項1に記載の撮像装置。
  4. 前記選択手段は、1つの画像から検出された複数の合焦領域、または、それぞれ異なる画像から検出された複数の合焦領域を選択する
    請求項1に記載の撮像装置。
  5. 前記撮像手段は、合焦領域の検出に用いられる画像の撮像後に、記録デバイスに記録する画像の撮像を行い、
    前記圧縮手段は、前記記録デバイスに記録する画像のうちのフレーム内圧縮の対象とする画像の圧縮を、前記選択手段により選択された合焦領域に対応する領域に対して他の領域よりも多い割合のデータを割り振って行う
    請求項1に記載の撮像装置。
  6. 前記撮像手段は、可変範囲の全範囲において前記レンズの合焦距離が変わる毎に撮像する
    請求項1に記載の撮像装置。
  7. 前記撮像手段はCMOSイメージセンサである
    請求項1に記載の撮像装置。
  8. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する、合焦距離が可変であるレンズを備える撮像装置の撮像方法において、
    光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
    撮像した複数の画像から合焦領域を検出し、
    検出した合焦領域の中から、所定の数の合焦領域を選択し、
    フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う
    ステップを含む撮像方法。
  9. フレーム内圧縮の対象とする画像を固定の量のデータに圧縮する、合焦距離が可変であるレンズを備える撮像装置の処理をコンピュータに実行させるプログラムにおいて、
    光軸を固定として、前記レンズの合焦距離が変わる毎に撮像し、
    撮像した複数の画像から合焦領域を検出し、
    検出した合焦領域の中から、所定の数の合焦領域を選択し、
    フレーム内圧縮の対象とする画像の領域のうち、選択した合焦領域に対応する領域に対して、他の領域よりも多い割合のデータを割り振って圧縮を行う
    ステップを含むプログラム。
JP2007033600A 2007-02-14 2007-02-14 撮像装置、撮像方法、およびプログラム Pending JP2008199378A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007033600A JP2008199378A (ja) 2007-02-14 2007-02-14 撮像装置、撮像方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007033600A JP2008199378A (ja) 2007-02-14 2007-02-14 撮像装置、撮像方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2008199378A true JP2008199378A (ja) 2008-08-28

Family

ID=39757927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007033600A Pending JP2008199378A (ja) 2007-02-14 2007-02-14 撮像装置、撮像方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2008199378A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2003348532A (ja) * 2002-05-24 2003-12-05 Canon Inc 撮像装置
JP2005027076A (ja) * 2003-07-03 2005-01-27 Nikon Corp 電子カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261797A (ja) * 1998-03-12 1999-09-24 Fuji Photo Film Co Ltd 画像処理方法
JP2003348532A (ja) * 2002-05-24 2003-12-05 Canon Inc 撮像装置
JP2005027076A (ja) * 2003-07-03 2005-01-27 Nikon Corp 電子カメラ

Similar Documents

Publication Publication Date Title
JP4441882B2 (ja) 撮影装置、表示制御方法、プログラム
JP4525561B2 (ja) 撮像装置、画像処理方法、並びにプログラム
JP4599080B2 (ja) 画像符号化方法,撮像装置およびコンピュータプログラム
US10234653B2 (en) Imaging device with focus lens stopped at each of focus positions during video capturing
JP2007318725A (ja) カメラ、カメラの撮影制御方法、プログラム、記録媒体
JP4416462B2 (ja) 自動焦点調節方法、および自動焦点調節カメラ
JP2007266659A (ja) 撮像再生装置
JP6083162B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
US8040429B2 (en) Electronic apparatus having autofocus camera function
JP2008015097A (ja) 撮像装置及び撮像方法
US20120093483A1 (en) Image processing apparatus and image processing method
JP2009272921A (ja) 動画像記録装置、動画像再生装置、動画像記録方法、動画像再生方法および半導体集積回路
JP2017123670A (ja) 撮像制御装置、及びその制御方法とプログラム
JP2015019243A (ja) 撮像装置、及びその制御方法とプログラム
JP2008199378A (ja) 撮像装置、撮像方法、およびプログラム
JP2008199383A (ja) 撮像装置、撮像方法、およびプログラム
US10038835B2 (en) Image pickup device and still picture generating method
JP2007228119A (ja) 撮像装置、画像処理方法、およびプログラム
JP5219678B2 (ja) 撮像装置
JP4517836B2 (ja) カメラ装置及び連写制御プログラム
JP2008199384A (ja) 撮像装置、撮像方法、およびプログラム
KR20090113072A (ko) 이어찍기 촬영이 가능한 촬상장치 및 이어찍기 촬영방법
JP2009021893A (ja) 撮像装置及び撮像方法
JP6409083B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP5047907B2 (ja) 撮像装置及び撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111006