JP2008167282A - 撮像装置及び画像記録方法 - Google Patents

Abstract

【課題】距離画像の記録時の情報量を削減し、距離画像の記録効率や伝送効率を向上できる技術の実現。
【解決手段】撮像装置は、被写体までの距離を表わす距離画像と、被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する際に、距離画像の距離頻度分布や符号化に係る圧縮率に応じて、当該距離画像を記録媒体に記録する際の階調数を削減し、当該階調数が削減された距離画像を符号化して記録する。
【選択図】図１

Description

本発明は、被写体までの距離を表わす距離画像と少なくとも被写体の輝度情報を含む主画像とを同時に撮影し、各画像を符号化して記録する際に、距離画像の情報量を削減する画像記録技術に関するものである。

従来、一眼レフカメラ等では特定の距離の被写体のみに焦点を合わせ、それ以外の部分にボケ味を加えることで、立体感のある画像を生成することが可能である。一方、焦点深度の深い撮像系を用いたカメラで撮影する場合には、画像全体に焦点が合ってしまい、一眼レフカメラのような立体感のある画像を生成することは困難であった。

そこで、このように焦点深度の深い撮像系を用いて撮影した画像に対して電気的若しくはソフトウェアによる画像処理を施すことによってボケ味を表現する技術がある。

このボケ味を表現する技術の一例として、画像の距離情報を利用して画像の前景と背景を分離し、背景部分のみにローパスフィルタ処理等を施すことで、レンズのボケ味の効果を出す画像処理技術がある（例えば、特許文献１参照）。

上記のような従来の技術について図１６を参照して説明する。

図１６（ａ）はカメラによって撮影された輝度及び色情報から構成される画像を示している。また、カメラは画像全体を細かく分割した領域ごとの被写体の距離情報を取得可能であり、図１６では撮影画像の６４領域（８×８領域）における距離情報が取得可能である。この距離情報に基づき、図１６（ａ）の画像を２つの領域に分割する。

図１６（ｂ）及び図１６（ｃ）は距離情報に基づき分割した２つの領域の画像を示している。図１６（ｂ）はカメラから比較的近距離にある被写体領域を示しており、反対に図１６（ｃ）はカメラから遠距離にある被写体領域を示している。２つの領域に分割した後、近距離にある画像領域の図１６（ｂ）に対しては輪郭強調フィルタ処理を施す一方、遠距離にある画像領域の図１６（ｃ）に対しては、ローパスフィルタ処理を施す。

上記各フィルタ処理後の画像（図１６（ｂ）及び（ｃ））を合成したものが、図１６（ｄ）の画像である。図１６（ｄ）では、近距離にある人物の領域が輪郭強調され、遠距離にある領域の背景にローパスフィルタ処理が施されているため、レンズによるボケ味の効果を表現した画像となっている。

このように、撮影画像に対して距離情報を用いることで特定の距離範囲にある各被写体領域を切り出し、切り出した被写体領域ごとに様々な画像処理を施すことが可能となる。

上述した距離情報を用いた処理（被写体切り出し処理等）を、距離情報の取得時以外（例えば再生時等）に行う場合は、撮影画像と距離情報を関連付けて記録しておくことが必要となる。撮影画像と距離情報とを関連付けて記録する方法として、輝度及び色差（以下、主画像）と共に、主画像の水平／垂直の２次元の各位置に対応した距離情報からなる画像（以下、距離画像）を圧縮して記録する技術がある（例えば、特許文献２参照）。このような手法を用いることで、主画像の再生時にも距離情報を利用した特殊効果処理が可能となる。
特開２００６−０６７５２１号公報 特開２００２−０５８０３１号公報

上記特許文献２では、主画像の輝度情報と距離画像との相関を利用して、距離画像を効率的に圧縮符号化するが、記録する画像が動画像である場合には効率的に圧縮しても主画像と距離画像の両方を記録すると情報量が非常に増加してしまうという問題がある。

本発明は、上記課題に鑑みてなされ、その目的は、距離画像の記録時の情報量を削減し、距離画像の記録効率や伝送効率を向上できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、前記距離画像の距離情報に基づき前記距離画像の階調数を決定する決定手段と、前記決定手段により決定された階調数を削減する削減手段と、前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有する。

また、本発明の撮像装置は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、前記主画像の符号化に係る圧縮率に基づき前記距離画像の記録時の圧縮率を決定する決定手段と、前記決定手段により決定された圧縮率に応じて前記距離画像の階調数を削減する削減手段と、前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有する。

また、本発明の画像記録方法は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する画像記録方法であって、前記距離画像の距離情報に基づき前記距離画像の階調数を決定する決定ステップと、決定された前記階調数を削減する削減ステップと、前記階調数が削減された前記距離画像を符号化して記録媒体に記録する記録ステップと、を有する。

また、本発明の画像記録方法は、被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する画像記録方法であって、前記主画像の符号化に係る圧縮率に基づき前記距離画像の記録時の圧縮率を決定する決定ステップと、決定された前記圧縮率に応じて前記距離画像の階調数を削減する削減ステップと、前記階調数が削減された前記距離画像を符号化して記録する記録ステップと、を有する。

本発明によれば、距離画像の距離頻度分布や圧縮率に応じて距離画像の記録時の情報量を削減するので、距離画像の記録効率若しくは伝送効率を向上できる。

以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
先ず、本発明に係る第１の実施形態として、距離画像の距離頻度分布情報に従って距離画像の情報量を削減する構成について説明する。

図１は、第１の実施形態として、被写体像を動画像として撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。

図１において、１００は被写体からの光束が入射されるフォーカスレンズやズームレンズ等からなるレンズ光学系である。１０１は輝度信号及び色差信号からなる主画像と、被写体までの距離を表す距離画像とを同時に撮像可能なＣＭＯＳ等の撮像素子である。この撮像素子１０１は、例えばＬＥＤから被写体へ光を照射し、その反射光をＣＭＯＳセンサが受光するまでの時間を画素毎に計測することで距離を求める。１０２は撮像素子１０１から取得した主画像（輝度信号、色差信号）に対して所定の信号処理を施す主画像信号処理部である。１０３は所定の信号処理が施された画像信号を圧縮符号化する符号化部である。１０４は記録媒体１０５に対するインターフェース、１０５は光ディスクやハードディスク等の記録媒体である。

１１０は距離画像に対して所定の信号処理を施す距離画像信号処理部、１１１は距離画像の距離頻度分布を解析する頻度解析部、１１２は後述するように距離画像の階調数を削減する情報量削減部である。

次に、上記のように構成された撮像装置の動作について説明する。

光学系１００を介して入射された光束は撮像素子１０１に結像される。撮像素子１０１はカラーフィルタを備えており、カラーフィルタを透過した光を光電変換することで、主画像信号を生成する。また、被写体との距離を測定し主画像の２次元位置に対応した被写体距離情報を示す距離画像を生成する。

図２（ａ）は主画像、図２（ｂ）は距離画像を夫々例示している。

主画像は、撮像素子１０１に入力された輝度及び色の各信号を含む画像である。

また、距離画像は主画像（図２（ａ））の２次元位置に対応した被写体距離を示す画像である。

図２（ｂ）では距離画像は２５６階調で表現されるものとする。即ち、被写体の２５６段階の距離情報から構成されている。この場合、距離画像は撮像装置に近い被写体ほど白に近づき、撮像装置から遠いほど黒に近く表現される。図２（ｂ）の距離画像の例では主画像（図２（ａ））において２０１で示した人物の領域が近距離にあり、２０２で示した背景の領域が遠距離にあることを夫々示している。

図１に戻り、撮像素子１０１から出力される主画像は主画像信号処理部１０２、距離画像は距離画像信号処理部１１０に夫々出力される。

主画像信号処理部１０２は、主画像に対してノイズ除去や、輪郭強調、γ補正等の各種画像処理を施し、画像処理後の主画像信号を符号化部１０３に出力する。

一方、距離画像信号処理部１１０は、距離画像信号に対してノイズ除去等の画像処理を施し、画像処理後の距離画像信号を頻度解析部１１１へ出力する。頻度解析部１１１は、距離画像の頻度分布を解析し、距離画像の情報を削減するための情報を算出する。本例では、削減する情報として距離画像の階調数を削減するものとし、その階調数削減のための情報を算出するものとする。

次に、頻度解析部１１１の処理について図３を参照して詳細に説明する。

図３は頻度解析部１１１による階調数情報を算出する処理を示すフローチャートである。

図３において、ステップＳ３０１では距離画像の距離頻度分布情報を生成する。図４は図２（ｂ）に示した距離画像の距離頻度分布を例示している。図４の横軸は距離を示しており、右側に行くほど撮像装置からの距離が遠くなることを示している。縦軸は頻度を示している。また、曲線Ｌ４００は図２（ｂ）の距離画像に対応した距離頻度分布を示している。

ステップＳ３０２では、距離頻度分布から極大点を検出する。図４では極大点はＰ４０１及びＰ４０２で示された点である。

ステップＳ３０３では、最終的に記録する距離画像の階調数及び階調の分割点を決定する。ここでは、求める距離画像の階調数は、極大点の数と同じとする。つまり、図４では極大点の数が２点であったため、距離画像の階調数は２階調とする。また、分割点とは距離画像を指定された階調数に分割するための点であり、ここでは距離頻度分布の極大点の間に位置する極小点を分割点とする。つまり、図４では分割点は２つの極大点Ｐ４０１，Ｐ４０２の間に存在する極小点Ｐ４１０とする。これにより、極小点Ｐ４１０の距離位置を閾値として、近距離にある被写体と遠距離にある被写体に分割することが可能となる。

ステップＳ３０４では、距離画像信号及び距離画像の階調数と分割点の各情報を図１の情報量削減部１１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。

図１に戻り、Ｓ３０４での情報量削減部１１２の階調数削減処理について説明する。

情報量削減部１１２は、頻度解析部１１１から出力された距離画像及び距離画像の階調数と分割点の各情報を元に距離画像の階調数を削減する。図４では、削減後の階調数が２であり、分割点はＰ４１０である。そこで、分割点Ｐ４１０の位置を基準に図２（ｂ）で示された２５６階調の距離画像を近距離と遠距離の２つの階調に削減する（即ち、２値化する）。図５は階調数が削減された距離画像を例示している。図５では人物に対応する領域５０１と背景に対応する領域５０２とに２値化された距離画像を示している。このようにして階調数を削減した距離画像を符号化部１０３へ出力する。

符号化部１０３では、主画像をＭＰＥＧ２、Ｈ．２６４（ＡＶＣ）等の所定の符号化形式に従って圧縮符号化する。また、距離画像も主画像と同じ符号化形式に従って圧縮符号化し、主画像と多重化してインターフェース１０４に出力する。ここで、距離画像を主画像とは異なる符号化方式（例えばＪＰＥＧ）に従って圧縮符号化しても良い。或いは、２値化された距離画像等は非圧縮の符号化データにして主画像と多重化しても良い。インターフェース１０４は多重化された主画像及び距離画像を記録媒体１０５に記録する。

以上説明したように、本実施形態によれば、距離画像の距離頻度分布に基づき距離画像の階調数を削減するので、距離画像の記録効率や伝送効率を向上することができる。

本実施形態では、主画像に対応した詳細な距離情報は失われるものの、主画像の領域がどの距離領域に属するのか（例えば前景なのか背景なのか）という情報は保持される。このため、記録若しくは出力された画像データに対して距離画像を用いて、距離ごとの領域に分割し、分割したエリアの背景部分だけにローパスフィルタを施す等の処理が容易となる。

上記実施形態では、距離画像の頻度の極大点が２点の場合について説明したが、極大点が３点以上の場合も同様に階調数の削減を行うことができる。

極大点が３点の場合の例について図６から図８を参照して説明する。

図６（ａ），（ｂ）は図２と同様に撮像素子１０１で撮影された主画像及び距離画像を夫々例示している。図６（ｂ）の距離画像に対して、上記と同様に頻度解析部１１１で頻度の解析を行う。図７は図６（ｂ）の距離画像の距離頻度分布を示している。

図７において、Ｐ７０１，Ｐ７０２，Ｐ７０３は極大点を夫々示している。図７では極大点が３点であるため、階調数を削減して、最終的に記録する距離画像の階調数は３階調とする。そして、極大点の間にある極小点Ｐ７１０，Ｐ７１１を分割点とする。図８は、これらの分割点Ｐ７１０及びＰ７１０に基づき距離画像（図６（ｂ））を３階調に分割した例を示している。図８では、階調数が削減された結果、人物８０１、乗り物８０２、背景８０３の３つの距離領域に分離された距離画像を示している。そして、各領域が１つの階調に対応している。このように、距離画像の階調数を削減することで、詳細な距離情報は失われるが、８０１〜８０３の各領域の距離の相関は保持される。そのため、各被写体領域を抜き出し、領域ごとに異なるフィルタ処理を施す等の制御が可能となる。

また、上記実施形態では距離頻度分布における全ての極大点を検出していたが、特徴の大きな極大点のみを検出してもよい。

この特徴の大きな極大点のみを検出する場合について図９を参照して説明する。

図９において、Ｌ９００はある距離画像の距離頻度分布を示したものであり、極大点はＰ９０１，Ｐ９０２，Ｐ９０３の３点である。また、Ｐ９１０，Ｐ９１１は極小点を示している。このとき、極大点と近傍の極小点の差が所定の閾値を超えるものだけを極大点として検出する。例えば、極大点Ｐ９０２に関して近傍の極小点Ｐ９１０との差分ｄ１を算出する。この差分ｄ１が所定閾値よりも小さい場合はＰ９０２を極大点としてカウントせずに、Ｐ９０１及びＰ９０３のみを極大点として用いる。これによりノイズにより極大点が生じた場合等小さな極大点を極大点として検出してしまい、階調数が必要以上に増加することを防ぐことが可能となる。

また、上記実施形態では撮像素子１０１によって主画像及び距離画像を撮像する例について説明したが、撮像手段によらず、例えば、外部装置から主画像及び距離画像を入力として受ける形態であってもよい。

また、上記例では、撮像素子１０１によって距離画像を生成する例について説明したが、距離画像の生成方法はどのような手段を用いてもかまわない。例えば、赤外線センサや超音波センサ等距離測定のセンサを別途備えている構成であってもかまわない。また、ＡＦセンサの情報を用いて主画像の２次元位置に対応した距離情報を取得する等、どのような手段を用いてもかまわない。

また、距離画像の階調数として２５６階調の場合を例に説明したが、これに限定するものではなく、どのような階調数であってもかまわない。また、上記例では符号化部１０３が階調数を削減した距離画像を符号化し出力する例を説明したが、距離画像を圧縮せずに主画像に多重化する等どのような形態をとってもかまわない。

また、上記実施形態では、主画像及び距離画像を記録媒体１０５に記録する場合を例に説明したが、記録媒体に記録する場合に限定するものではない。例えば、主画像及び距離画像を記録媒体に記録するのではなく、ネットワークを介して伝送する実施形態であってもよい。

［第２の実施形態］
次に、第２の実施形態として、撮像装置の撮影情報に従って距離画像の情報量を削減する構成について説明する。

図１０は、第２の実施形態として、被写体像を撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。

図１０において、１００から１０５及び１１０，１１２の各ブロックは図１と同様の機能を有するものであるので説明は省略する。第２の実施形態では、距離画像信号処理部１１０と情報量削減部１１２の間に情報量決定部１０１１が設けられている。１０２０は装置全体を制御するシステム制御部である。

次に、上記のように構成された撮像装置の動作について説明する。

撮影を開始すると、主画像及び距離画像を生成し、主画像は主画像信号処理部１０２、距離画像は距離画像信号処理部１１０において、第１の実施形態と同様の画像処理を行う。

また、システム制御部１０２０は撮影処理及び符号化処理等の装置全体の制御を行っているが、ここでは撮影処理の制御に限定して説明する。

システム制御部１０２０は、図示しない操作部へのユーザからの入力に応じて、或いはオートでいずれかの撮影モードを制御している。撮影モードとは、ポートレートモードや風景モード等、撮影する被写体やシーンに応じて適切な露出やカラーバランス等を制御するモードを意味している。

システム制御部１０２０は撮影モードに応じた制御情報を光学系１００や主画像信号処理部１０２へ出力している。また、システム制御部１０２０は撮影モード情報を情報量決定部１０１１へ出力する。

情報量決定部１０１１は、距離画像信号処理部１１０から出力された距離画像とシステム制御部１０２０から出力された撮影モード情報とに基づき、最終的に記録する距離画像の階調数を決定する。

図１１は情報量決定部１０１１による階調数決定処理を示すフローチャートである。

図１１において、ステップＳ１１０１ではシステム制御部１０２０から撮影モード情報を取得する。

ステップＳ１１０２では、取得した撮影モードがポートレートモードであるかチェックする。ポートレートモードである場合にはステップＳ１１０４に移行する。また、ポートレートモードでない場合にはステップＳ１１０３に移行する。ステップＳ１１０３では撮影モードが風景モードであるか判定し、風景モードである場合はステップＳ１１０５、風景モードでない場合はステップＳ１１０６へ移行する。

ステップＳ１１０４は、撮影モードがポートレートモードの場合の処理である。ポートレートモードは人物を主な被写体として撮影するモードである。ポートレートモードの場合は、階調数削減後の階調数を２階調とする。２階調に削減する理由について説明する。

ポートレートモードでは人物を中心として撮影されるため、被写体は人物と背景から構成される（図１２（ａ））。そのため、ポートレートモードでの撮影画像に対して背景部分だけにローパスフィルタをかけてボケ味を出す等の特殊処理を行う場合には、主被写体である人物と背景の２つの領域が区別できれば十分であるため、距離情報の階調数を２階調としている。

一方、ステップＳ１１０５は撮影モードが風景モードの場合の処理である。風景モードは被写体として風景を撮影する撮影モードである。風景モードで撮影される画像の例を図１２（ｂ）に示す。風景モードでは、距離情報が遠方を中心として広い範囲で分布していると考えられる。そのため、距離画像の階調数は削減せずに、元の２５６階調のままとする。

ステップＳ１１０６は、ポートレートモードでも風景モードでもない場合の処理である。このような撮影モードの例として、標準撮影モードやパーティモードがある。これらのモードで撮影されるシーンとして、例えば図１２（ｃ）に示すような被写体として複数の人物が写っているような場合がある。この場合、複数の人物領域に対応した距離情報が保存できるように、ポートレートモード（２階調）と風景モード（２５６階調）の階調数の中間階調とする。本実施形態では一例として削減後の階調数を８とした場合について説明する。

ステップＳ１１０４，Ｓ１１０５，Ｓ１１０６で夫々削減後の階調数が決定されると、ステップＳ１１０７では、階調数に従って距離画像を分割する点を検出する。分割点の検出は前述の実施形態と同様に距離画像から距離頻度分布情報を生成することで行う。例えば、ポートレートモードで撮影した図１２（ａ）の画像の場合は距離画像を２階調に削減する。即ち、距離頻度分布の中から最も特徴的な極大点２点を検出し、その極大点の間にある極小点で２つの階調に分割する。また、図１２（ｃ）の場合も同様に８階調に分割するため８つの極大点を検出する。このとき極大点の数が８点に満たない場合は、距離が等間隔になる点で分割してもよい。

ステップＳ１１０８では、距離画像信号及び距離画像の階調数と分割点の各情報を図１０の情報量削減部１１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。

図１０に戻り、Ｓ１１０８での情報量削減部１１２の階調数を削減する処理、及び符号化部１０３で圧縮符号化し、記録媒体１０５に記録するまでの処理は前述した実施形態と同様であるため詳細な説明は省略する。

以上説明したように、本実施形態によれば、撮影モード等の撮影情報に応じて距離画像の階調数を削減するので、距離情報の利用目的に適応した距離画像の階調数削減を行え、距離画像の記録効率や伝送効率を向上できる。

尚、上記実施形態では、ポートレートモードと風景モードとそれ以外のモードに場合分けして距離画像の階調数を決定したが、撮影モードはこれらに限定されるものではない。例えば、クロマキー処理をするモードのように人物と背景を分離するようなモードがある場合には背景と人物の２階調に削減する等の制御を行う等、モードに応じて階調数を決定するものであればどのような形態でもかまわない。

また、ポートレートモードの時は２階調にする場合を説明したが、撮影モードと階調数をこれらに限定するものではなく、ポートレートモードの場合に例えば３階調にしても構わない。また、ポートレートモード、風景モードいずれでもない場合は階調数を８とした場合について説明したが、これも８階調に限定するものではなくポートレートモードと、風景モードの中間の階調数であればどのようなものでもかまわない。

また、上記実施形態では風景モードの時には距離画像の階調数を削減せずに残す場合を説明したが、風景シーンの場合は被写体距離が遠方のみに集中することも考えられる。このように被写体距離が遠方のみに集中すると近景領域と背景領域等に被写体を分離することは困難となる。そのため、距離情報を後で利用しない場合も考えられるため、階調数を０、即ち距離画像を記録しない処理を行ってもかまわない。

また、上記実施形態では、撮影情報の例として撮影モードを利用する場合について説明したが、撮影情報を撮影モードに限定するものではない。その他の撮影情報として、例えばズーム情報を利用してもよい。以下に、ズーム情報を利用した場合について説明する。図１３はズーム情報と最終的に記録する距離画像の階調数の関係を示したグラフである。図１３に示すように、ズームの状態が望遠側に近づくほど最終的に記録する距離画像の階調数を少なくし、ズームの状態が広角側に近づくほど最終的に記録する距離画像の階調数を多くする。このように制御する理由について説明する。

ズームが望遠側に近づくほど、図１２（ａ）の画像のように単一の被写体と背景から構成されるシーンが多くなる傾向がある。そこで、このようなシーンは前述のように距離情報を背景と主被写体の２つの距離情報、即ち２階調程度の階調数とする。一方、ズームが広角側になると、図１２（ｂ）のように風景や様々な被写体が写るシーンが多くなる傾向がある。そのため、様々な被写体の距離に応じた距離情報を残す必要がある。そこで、ズームが広角側に近づくに従って、最終的に記録する距離画像の階調数を多くする。

［第３の実施形態］
次に、第３の実施形態として、主画像の圧縮率に従って距離画像の情報量を削減する構成について説明する。

図１４は、第３の実施形態として、被写体像を撮影し記録媒体に記録する撮像装置の構成を示すブロック図である。

図１４において、１００から１０５及び１１０の各ブロックは図１と同様の機能を有するものであるので説明は省略する。第３の実施形態では、距離画像信号処理部１１０の後段に、情報量決定部１４１１及び情報量削減部１４１２が設けられている。１４２０は装置全体を制御するシステム制御部である。

次に、上記のように構成された撮像装置の動作について説明する。

撮影を開始すると、主画像及び距離画像を生成し、主画像は主画像信号処理部１０２、距離画像は距離画像信号処理部１１０において、第１の実施形態と同様の画像処理を行う。

また、システム制御部１０２０は撮影処理及び符号化処理等の装置全体の制御を行っているが、ここでは符号化処理の制御に限定して説明する。

システム制御部１４２０は図示しない操作部へのユーザからの入力に応じて符号化モードを制御している。ここで符号化モードとは、主画像の圧縮率を制御するモードである。

符号化モードとしては記録時間重視の高圧縮率モード、画質重視の低圧縮率モード、標準モードの３種類があるものとする。この符号化モードは図示しない操作部へのユーザ入力によって設定される。圧縮率のモードに従って、システム制御部１４２０は符号化部１０３の符号化処理を制御する。また、この圧縮率情報は情報量決定部１４１１へ出力される。

情報量決定部１４１１は、距離画像信号処理部１１０から出力された距離画像と圧縮率情報に基づき、最終的に記録する距離画像の階調数及び解像度を決定する。

図１５は情報量決定部１４１１による階調数及び解像度決定処理を示すフローチャートである。

図１５において、ステップＳ１５０１では、システム制御部１４２０から主画像の符号化時の圧縮率を取得する。

ステップＳ１５０２では、システム制御部１４２０から取得した圧縮率が高圧縮率モードであるか判定し、高圧縮率モードである場合にはステップＳ１５０４、高圧縮率モードでない場合にはステップＳ１５０３に夫々移行する。

ステップＳ１５０３では、圧縮率モードが低圧縮率モードであるか判定し、低圧縮率モードである場合はステップＳ１５０５、低圧縮率モードでない場合はステップＳ１５０６に夫々移行する。

ステップＳ１５０４では、高圧縮率モード時の距離画像の情報削減量を決定する。高圧縮率モードは主画像を高圧縮率で符号化し、発生する符号量を抑えて記録時間を長くするモードである。そのため距離画像に対しても多くの情報量を割り当てるのは望ましくない。そこで最終的に記録する距離画像の階調数を２階調とし、また、距離画像の解像度を低く設定する。

一方、ステップＳ１５０５では、低圧縮率モード時の距離画像の情報削減量を決定する。低圧縮率モードでは主画像を低圧縮率で符号化し、発生する符号量が増えてでも画質を優先して符号化するモードである。そのため距離画像に対しても後で利用することを考えると情報量を削減せずに残した方が望ましい。そこで距離画像の階調数及び解像度は削減しない設定とする。

ステップＳ１５０６では、標準の圧縮率のため、最終的に記録する距離画像の階調数は８階調、解像度は中程度に設定する。

ステップＳ１５０４，Ｓ１５０５，Ｓ１５０６において夫々削減後の階調数及び解像度が決定された後、ステップＳ１５０７では、階調数に従って距離画像を分割する点を検出する。分割点の検出は前述の各実施形態と同様に距離画像から頻度分布情報を生成することで行う。

ステップＳ１５０８では、距離画像信号及び距離画像の階調数、分割点及び解像度の各情報を図１４の情報量削減部１４１２に出力し、距離画像の階調数を削減して記録媒体１０５に記録する。

図１４に戻り、Ｓ１５０８での情報量削減部１４１２の階調数を削減する処理は前述した実施形態と同様である。情報量削減部１４１２では、更に情報量決定部１４１１の情報に基づき距離画像の解像度を変更する。即ち、圧縮率が高くなるに従って距離画像の解像度を低くし、圧縮率が低くなるに従って距離画像の解像度を高くする。解像度を削減することで、さらに距離画像の情報量を削減することが可能となる。階調数の削減及び解像度の変換が行われると、距離画像信号を符号化部１０３に出力する。符号化部１０３で符号化し、記録媒体１０５に記録するまでの処理は前述した実施形態と同様であるため詳細な説明は省略する。

以上説明したように、本実施形態によれば、主画像の圧縮率に応じて距離画像の階調数及び解像度を削減するので、主画像と距離画像の双方に適応した情報量の削減ができ、記録効率や伝送効率を向上できる。

また、本実施形態では、高圧縮率の場合は距離画像の情報量削減後の階調数を２とし、低圧縮率の場合の階調数を２５６としたがこれは一例であり、この階調数に限定されるものではない。即ち、圧縮率が高くなるに従って、階調数を少なくするように制御するものであればどのような階調数でもかまわない。

また、本実施形態では圧縮率が３段階の場合について説明したが、圧縮率が３段階以上で制御可能な場合や、連続的に変化する形態であってもかまわない。

また、本実施形態では、距離画像の階調数と解像度を削減する場合について説明したが、階調数と解像度のいずれか一方のみを削減してもかまわない。

［他の実施形態］
本発明の目的は次のような方法によっても達成される。即ち、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

更に、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

本発明に係る第１の実施形態の撮像装置の構成を示すブロック図である。 第１の実施形態の撮像装置により撮影された主画像（ａ）及び距離画像（ｂ）を示す図である。 第１の実施形態の情報量決定部による処理を示すフローチャートである。 第１の実施形態による距離画像の距離頻度分布を示す図である。 第１の実施形態による階調数削減後の距離画像を示す図である。 第１の実施形態の撮像装置により撮影された主画像（ａ）及び距離画像（ｂ）を示す図である。 第１の実施形態による距離画像の距離頻度分布を示す図である。 第１の実施形態による階調数削減後の距離画像を示す図である。 第１の実施形態による距離画像の距離頻度分布を示す図である。 本発明に係る第２の実施形態の撮像装置の構成を示すブロック図である。 第２の実施形態の情報量決定部による処理を示すフローチャートである。 第２の実施形態の撮像装置により撮影された画像を示す図である。 第２の実施形態によるズーム倍率と距離画像の階調数との関係を示す図である。 本発明に係る第３の実施形態の撮像装置の構成を示すブロック図である。 第３の実施形態の情報量決定部による処理を示すフローチャートである。 従来技術による画像処理を説明する図である。

符号の説明

１００ 光学系
１０１ 撮像素子
１０２ 主画像信号処理部
１０３ 符号化部
１０４ インターフェース
１０５ 記録媒体
１１０ 距離画像信号処理部
１１１ 頻度解析部
１１２，１４１２ 情報量削減部
１０１１，１４１１ 情報量決定部
１０２０，１４２０ システム制御部

Claims (19)

1. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、
   前記距離画像の距離情報に基づき前記距離画像の階調数を決定する決定手段と、
   前記決定手段により決定された階調数を削減する削減手段と、
   前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有することを特徴とする撮像装置。
2. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置において、
   前記主画像の符号化に係る圧縮率に基づき前記距離画像の記録時の圧縮率を決定する決定手段と、
   前記決定手段により決定された圧縮率に応じて前記距離画像の階調数を削減する削減手段と、
   前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段と、を有することを特徴とする撮像装置。
3. 前記主画像と前記距離画像とを同時に撮像する撮像手段を更に有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記削減手段は、前記距離画像における被写体距離の頻度分布情報を前記距離情報として用いて前記距離画像の階調数を削減することを特徴とする請求項１に記載の撮像装置。
5. 前記削減手段は、前記被写体距離の頻度分布情報から極大点を検出し、当該極大点の数に応じて前記距離画像の階調数を削減することを特徴とする請求項４に記載の撮像装置。
6. 前記削減手段は、前記被写体距離の頻度分布情報の極大点の数が少ないほど前記距離画像の階調削減量を多くし、極大点の数が多いほど前記距離画像の階調削減量を少なくすることを特徴とする請求項５に記載の撮像装置。
7. 前記削減手段は、前記距離画像における被写体距離の頻度分布情報と前記主画像の撮影条件とを前記距離情報として用いて前記距離画像の階調数を削減することを特徴とする請求項１に記載の撮像装置。
8. 前記撮影条件とは撮影モードであることを特徴とする請求項７に記載の撮像装置。
9. 前記削減手段は、前記撮影モードが近景と遠景の被写体によって構成されるシーンを撮影するモードの場合は、他のモード時に比べて前記距離画像の階調削減量を多くすることを特徴とする請求項８に記載の撮像装置。
10. 前記削減手段は、前記撮影モードが遠景の被写体を中心に構成されるシーンを撮影するモードの場合は、他のモード時に比べて前記距離画像の階調削減量を少なくすることを特徴とする請求項８又は９に記載の撮像装置。
11. 前記記録手段は、前記撮影モードが遠景の被写体を中心に構成されるシーンを撮影するモードの場合は、前記距離画像を記録しないことを特徴とする請求項８又は９に記載の撮像装置。
12. 前記撮影条件とはズーム情報であることを特徴とする請求項７に記載の撮像装置。
13. 前記削減手段は、ズームの状態が望遠側になるに従って前記距離画像の階調削減量を多くし、ズームの状態が広角側になるに従って前記距離画像の階調削減量を少なくすることを特徴とする請求項１２に記載の撮像装置。
14. 前記削減手段は、前記主画像の圧縮率が高くなるほど前記距離画像の階調削減量を多くし、前記圧縮率が低くなるほど前記距離画像の階調削減量を少なくすることを特徴とする請求項２に記載の撮像装置。
15. 前記削減手段は、前記距離画像の階調数に加えて解像度を削減することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する画像記録方法であって、
    前記距離画像の距離情報に基づき前記距離画像の階調数を決定する決定ステップと、
    決定された前記階調数を削減する削減ステップと、
    前記階調数が削減された前記距離画像を符号化して記録媒体に記録する記録ステップと、を有することを特徴とする画像記録方法。
17. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する画像記録方法であって、
    前記主画像の符号化に係る圧縮率に基づき前記距離画像の記録時の圧縮率を決定する決定ステップと、
    決定された前記圧縮率に応じて前記距離画像の階調数を削減する削減ステップと、
    前記階調数が削減された前記距離画像を符号化して記録する記録ステップと、を有することを特徴とする画像記録方法。
18. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置のプロセッサを、
    前記距離画像の距離情報に基づき前記距離画像の階調数を決定する決定手段と、
    前記決定手段により決定された階調数を削減する削減手段と、
    前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段として機能させることを特徴とするプログラム。
19. 被写体までの距離を表わす距離画像と、前記被写体を撮像して得られる主画像とを獲得し、各画像を符号化して記録する撮像装置のプロセッサを、
    前記主画像の符号化に係る圧縮率に基づき前記距離画像の記録時の圧縮率を決定する決定手段と、
    前記決定手段により決定された圧縮率に応じて階調数を削減する削減手段と、
    前記削減手段により階調数が削減された前記距離画像を符号化して記録する記録手段として機能させることを特徴とするプログラム。