JP2015033103A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】奥行き情報を用いて画像処理を容易に最適化することができるようにする。【解決手段】圧縮処理部は、現在のフレームの撮像画像の被写体の奥行き方向の位置を表す奥行き情報としてのデプスマップと、１フレーム前の撮像画像のデプスマップとに基づいて、現在のフレームの撮像画像に対して圧縮処理を行う。本開示は、例えば、撮像画像を取得するとともに、撮像画像の合焦面からのずれ量を表す位相差情報を取得し、位相差情報に基づいて撮像画像を圧縮する画像処理装置等に適用することができる。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、奥行き情報を用いて画像処理を容易に最適化することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

一般的に、画像記録装置は、画像データを記録する際、データ量を最小限に抑制し、記録可能なデータの時間量を増加させるため、画像データに対して圧縮処理を行う。

圧縮処理においては、符号を多く割り当てることにより画質の劣化を抑制する領域と、それ以外の領域とを正確に判定することが、画質の劣化を抑制しつつ、圧縮率を向上させるために重要である。

この判定の方法としては、圧縮前の画像を解析して高周波成分の有無、顔領域、時間方向の差分等の情報を検出し、その情報に基づいて領域を判定する方法がある。例えば、圧縮前の画像全体を周波数解析して高周波成分の有無を検出する場合、高周波成分が有る領域が着目領域とされ、符号を多く割り当てる領域と判定される。また、圧縮前の画像から顔領域を検出する場合、その顔領域が主要な被写体の領域とされ、符号を多く割り当てる領域と判定される。この方法では、判定のために圧縮前の画像を解析する必要があるため、処理量が多い。

顔領域等の所定の領域を検出する方法としては、外光パッシブ方式の測距装置によって得られる複数の測距点の値に基づいて作成された距離画像に基づいて人物領域を検出する方法がある（例えば、特許文献１参照）。

一方、撮像素子において、画像とともに、画素より大きい単位の画像の位相差を表すデプスマップを取得することにより、高速かつ正確に合焦する像面位相差オートフォーカス方式のカメラがある。

特開２００５−１２３０７号公報

上述したように、圧縮前の画像を解析して符号を多く割り当てる領域を判定し、画像を圧縮する場合、処理量が多い。即ち、画像を用いて圧縮処理などの画像処理を最適化する場合、処理量が多い。その結果、高精度かつ高速に画像処理を最適化するためには、画像処理を行う画像処理装置の回路規模および回路の消費電力が大きくなる。

従って、画像よりサンプル数の少ない、デプスマップ等の被写体の奥行き方向（撮像面に垂直な方向）の位置を表す奥行き情報を用いて、画像処理を容易に最適化することにより、画像処理装置を小型軽量化および低コスト化することが望まれている。

本開示は、このような状況に鑑みてなされたものであり、奥行き情報を用いて画像処理を容易に最適化することができるようにするものである。

本開示の一側面の画像処理装置は、第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理部を備える画像処理装置である。

本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理が行われる。

本開示の一側面によれば、奥行き情報を用いて画像処理を容易に最適化することができる。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 撮像画像の例を示す図である。 図２の撮像画像のデプスマップの例を示す図である。 画像処理装置の静止画撮影処理を説明するフローチャートである。 図４の優先度マップ生成処理の詳細を説明するフローチャートである。 画像処理装置の動画撮影処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、光学系１１、撮像素子１２、画像処理部１３、圧縮処理部１４、メディア制御部１５、記録メディア１６、位相差処理部１７、マイクロコンピュータ１８、メモリ１９、およびアクチュエータ２０により構成される。画像処理装置１０は、画像とともに、その画像の合焦面からのずれ量を位相差として表す位相差情報を画素より大きい単位（以下、検出単位という）で取得し、その位相差情報に基づいて画像を圧縮する。

具体的には、光学系１１は、レンズ、絞りなどにより構成される。光学系１１は、被写体からの光を撮像素子１２に集光させる。光学系１１は、アクチュエータ２０により駆動される。

撮像素子１２は、位相差検出画素１２Ａを有する。撮像素子１２は、光学系１１により集光された光を画素単位で光電変換し、静止画像または動画像の各画素の電気信号を取得する。このとき、位相差検出画素１２Ａは、光学系１１により集光された光に基づいて、検出単位で位相差情報を生成し、位相差処理部１７に供給する。撮像素子１２は、各画素の電気信号を画像処理部１３に供給する。なお、以下では、静止画像と動画像を特に区別する必要がない場合、それらをまとめて撮像画像という。

位相差検出画素１２Ａは、光学系１１により集光された光に基づいて位相差情報を生成するので、現在取得中の撮像画像に対応する位相差情報をリアルタイムに取得することができる。

画像処理部１３は、撮像素子１２から供給される各画素の電気信号に対してA/D変換等の画像処理を行い、その結果得られる各画素のデジタルデータである画像データを圧縮処理部１４とマイクロコンピュータ１８に供給する。

圧縮処理部１４は、画像処理部として機能し、マイクロコンピュータ１８から供給される符号割り当て優先度マップに基づいて、画像処理部１３から供給される画像データに対して圧縮処理を行う。なお、符号割り当て優先度マップとは、各画素の符号の割り当てに関する優先度を表すマップである。圧縮処理部１４は、符号割り当て優先度マップの優先度が高い画素ほど多くの符号を割り当て、画像データを圧縮する。

静止画像の画像データの圧縮方式としては、JPEG（Joint Photographic Experts Group）などがある。動画像の画像データの圧縮方式としては、MPEG2（Moving Picture Experts Group phase 2），MPEG4などがある。圧縮処理部１４は、圧縮後の画像データをメディア制御部１５に供給する。

メディア制御部１５は、記録メディア１６を制御し、圧縮処理部１４から供給される圧縮後の画像データを記録メディア１６に記録させる。記録メディア１６は、メディア制御部１５の制御により、圧縮後の画像データを記録する。

位相差処理部１７は、位相差検出画素１２Ａから供給される撮像画像の検出単位の位相差情報からなるデプスマップを生成し、マイクロコンピュータ１８に供給する。

マイクロコンピュータ１８は、画像処理装置１０の各部を制御する。例えば、マイクロコンピュータ１８は、位相差処理部１７から供給されるデプスマップと画像処理部１３から供給される画像データをメモリ１９に供給する。

また、マイクロコンピュータ１８は、検出部として機能し、デプスマップに基づいて、撮像画像内の主要な被写体の領域である主被写体領域を検出する。マイクロコンピュータ１８は、主被写体領域に基づいて符号割り当て優先度マップを生成する。

さらに、撮像画像が動画像である場合、マイクロコンピュータ１８は、メモリ１９から現在のフレームより１つ前のフレームの動画像の画像データを読み出す。そして、マイクロコンピュータ１８は、その動画像の画像データと現在のフレームの動画像の画像データとに基づいて、マッチング等により動きベクトルを検出する。そして、マイクロコンピュータ１８は、その動きベクトルに基づいて符号割り当て優先度マップを生成する。

なお、以下では、デプスマップに基づいて生成される符号割り当て優先度マップと、動きベクトルに基づいて生成される符号割り当て優先度マップを区別する場合、前者を位相符号割り当て優先度マップといい、後者を動き符号割り当て優先度マップという。

マイクロコンピュータ１８は、位相符号割り当て優先度マップと動き符号割り当て優先度マップを圧縮処理部１４に供給する。

また、マイクロコンピュータ１８は、デプスマップに基づいて、フォーカス位置Fcsがユーザにより指定された位置の位相差情報が表すずれ量の逆の量だけ移動するように、アクチュエータ２０を制御する。これにより、ユーザにより指定された位置にピントが合った撮像画像を撮像することができる。なお、ユーザは、図示せぬタッチパネルと一体化された表示部に表示される撮像画像の所定の位置をタッチ操作すること等により、その位置を、ピントを合わせる位置として指定することができる。

メモリ１９は、マイクロコンピュータ１８の作業領域である。メモリ１９は、マイクロコンピュータ１８による処理の途中結果や最終結果を記憶する。例えば、メモリ１９は、マイクロコンピュータ１８から供給されるデプスマップと画像データを記憶する。

アクチュエータ２０は、マイクロコンピュータ１８により制御される。アクチュエータ２０は、光学系１１を駆動し、フォーカス位置Fcs、絞り値Iris、およびズーム倍率Zmを制御する。

（撮像画像の例）
図２は、撮像画像の例を示す図である。

図２の撮像画像４０は、前景として家４１を含み、背景として山４２と雲４３を含む。また、撮像画像４０では、家４１が主要な被写体とされ、家４１にピント（焦点）が合っている。

（デプスマップの例）
図３は、図２の撮像画像４０のデプスマップの例を示す図である。

なお、図３では、説明の便宜上、家４１、山４２、および雲４３を、それらの位置に対応するデプスマップ５０の位置に図示するが、実際には、家４１、山４２、および雲４３はデプスマップ５０上に存在しない。

撮像画像４０では家４１にピントが合っているため、デプスマップ５０の家４１に対応する位置の位相差情報は、図３に示すように、０付近（図３の例では０）である。また、山４２および雲４３は背景であるため、デプスマップ５０の山４２および雲４３に対応する位置の位相差情報は、図３に示すように、負の値（図３の例では−２０）である。一方、デプスマップ５０の家４１より手前側に存在する被写体に対応する位置の位相差情報は、図３に示すように、正の値（図３の例では２，４，６，８）である。

以上のように、ピントが合っている主被写体領域である家４１の位相差情報は０付近となる。従って、デプスマップ５０に基づいて、撮像画像４０の位相差情報が０付近である、主要な被写体のサイズとして想定されるサイズの最小値である想定最小サイズ以上のサイズの領域を検出することにより、主被写体領域を容易に検出することができる。よって、検出された主被写体領域に基づいて符号の割り当てを行うことにより圧縮処理を容易に最適化し、高効率で高精度の圧縮処理を行うことができる。

（画像処理装置の処理の説明）
図４は、画像処理装置１０の静止画撮影処理を説明するフローチャートである。

図４のステップＳ１０において、撮像素子１２は、光学系１１により集光された光を画素単位で光電変換して静止画像の各画素の電気信号を取得し、画像処理部１３に供給する。また、撮像素子１２の位相差検出画素１２Ａは、光学系１１により集光された光に基づいて検出単位で位相差情報を取得し、位相差処理部１７に供給する。

ステップＳ１１において、画像処理部１３は、撮像素子１２から供給される静止画像の各画素の電気信号に対してA/D変換等の画像処理を行い、その結果得られる画像データを圧縮処理部１４とマイクロコンピュータ１８に供給する。マイクロコンピュータ１８は、画像処理部１３から供給される画像データをメモリ１９に供給して記憶させる。

ステップＳ１２において、画像処理装置１０は、位相符号割り当て優先度マップを生成する優先度マップ生成処理を行う。この優先度マップ生成処理の詳細は、後述する図５を参照して説明する。

ステップＳ１３において、圧縮処理部１４は、位相符号割り当て優先度マップまたは撮像画像に基づいて生成された符号割り当て優先度マップである画像符号割り当て優先度マップに基づいて、静止画像の画像データを圧縮する。圧縮処理部１４は、圧縮後の画像データをメディア制御部１５に供給する。

ステップＳ１４において、メディア制御部１５は、記録メディア１６を制御し、圧縮処理部１４から供給される圧縮後の画像データを記録メディア１６に記録させる。そして、処理は終了する。

図５は、図４のステップＳ１２の優先度マップ生成処理の詳細を説明するフローチャートである。

図５のステップＳ３１において、位相差処理部１７は、位相差検出画素１２Ａから供給される撮像画像の検出単位の位相差情報に基づいて、その位相差情報からなるデプスマップを生成し、マイクロコンピュータ１８に供給する。マイクロコンピュータ１８は、位相差処理部１７から供給されるデプスマップをメモリ１９に供給して記憶させる。

ステップＳ３２において、マイクロコンピュータ１８は、デプスマップから、位相差情報の絶対値が一定値以下である、即ち０付近である検出単位を検出する。マイクロコンピュータ１８は、検出された連続する検出単位からなる領域を合焦領域とする。

ステップＳ３３において、マイクロコンピュータ１８は、少なくとも１つの合焦領域のサイズが想定最小サイズ以上であるかどうかを判定する。ステップＳ３３で少なくとも１つの合焦領域のサイズが想定最小サイズ以上であると判定された場合、ステップＳ３４において、マイクロコンピュータ１８は、想定最小サイズ以上のサイズの合焦領域を主被写体領域とする。

ステップＳ３５において、マイクロコンピュータ１８は、主被写体領域の周囲の領域を境界領域として検出する。

ステップＳ３６において、マイクロコンピュータは、主被写体領域と境界領域の符号の割り当てに関する優先度が高くなるように、位相符号割り当て優先度マップを生成し、圧縮処理部１４に供給する。そして、処理は、図４のステップＳ１２に戻り、処理はステップＳ１３に進む。

その結果、静止画像の画像データの圧縮時に、主要被写体領域と境界領域に対して多くの符号が割り当てられ、それらの領域以外の領域に対して少ない符号が割り当てられる。よって、圧縮後の画像データの画質が向上する。

一方、ステップＳ３３で全ての合焦領域のサイズが想定最小サイズ以上ではないと判定された場合、処理はステップＳ３７に進む。ステップＳ３７において、マイクロコンピュータ１８は、撮像画像の画像データに基づいて、従来の方式で画像符号割り当て優先度マップを生成し、圧縮処理部１４に供給する。そして、処理は、図４のステップＳ１２に戻り、処理はステップＳ１３に進む。

その結果、静止画像の画像データの圧縮時に、例えば、高周波成分が有る領域に対して多くの符号が割り当てられ、高周波数成分が無い領域に対して少ない符号が割り当てられる。よって、圧縮後の画像データの画質が向上する。

図６は、画像処理装置１０の動画撮影処理を説明するフローチャートである。

図６のステップＳ５０において、撮像素子１２は、光学系１１により集光された光を画素単位で光電変換して動画像の各画素の電気信号を取得し、画像処理部１３に供給する。また、撮像素子１２の位相差検出画素１２Ａは、光学系１１により集光された光に基づいて検出単位で位相差情報を取得し、位相差処理部１７に供給する。

ステップＳ５１において、画像処理部１３は、撮像素子１２から供給される動画像の各画素の電気信号に対してA/D変換等の画像処理を行い、その結果得られる画像データを圧縮処理部１４とマイクロコンピュータ１８に供給する。マイクロコンピュータ１８は、画像処理部１３から供給される画像データをメモリ１９に供給して記憶させる。

ステップＳ５２において、画像処理装置１０は、図５の優先度マップ生成処理を行う。

ステップＳ５３において、マイクロコンピュータ１８は、動画像のピクチャタイプがＩピクチャであるかどうかを判定する。

ステップＳ５３で動画像のピクチャタイプがＩピクチャであると判定された場合、処理はステップＳ５４に進む。ステップＳ５４において、圧縮処理部１４は、マイクロコンピュータ１８から供給される位相符号割り当て優先度マップまたは画像符号割り当て優先度マップに基づいて、画像処理部１３から供給される動画像の画像データを圧縮する。

これにより、Ｉピクチャの画像データの圧縮時に、主要被写体領域と境界領域に対して多くの符号が割り当てられ、それらの領域以外の領域に対して少ない符号が割り当てられる。その結果、圧縮後の画像データの画質が向上する。圧縮処理部１４は、圧縮後の画像データをメディア制御部１５に供給し、処理をステップＳ６４に進める。

一方、ステップＳ５３でピクチャタイプがＩピクチャではない場合、即ちピクチャタイプがＰピクチャまたはＢピクチャである場合、処理はステップＳ５５に進む。ステップＳ５５において、マイクロコンピュータ１８は、メモリ１９に記憶されている１フレーム前の動画像の画像データと、現在のフレームの動画像の画像データとに基づいて、マッチング等により動きベクトルを検出する。

ステップＳ５６において、マイクロコンピュータ１８は、動きベクトルに基づいて動き符号割り当て優先度マップを生成する。具体的には、マイクロコンピュータ１８は、動きベクトルが０である領域と０以外である領域の境界の領域である動き境界領域の優先度が高くなるように、動き符号割り当て優先度マップを生成する。

即ち、動き境界領域においては、１フレーム前の動画像内に対応する領域が存在しない可能性が高いため、符号が優先的に割り当てられる。一方、動き境界領域以外の領域は、１フレーム前の動画像内の動きベクトルが指す領域と同一である可能性が高いため、符号が優先的に割り当てられない。マイクロコンピュータ１８は、動き符号割り当て優先度マップを圧縮処理部１４に供給する。

ステップＳ５７において、マイクロコンピュータ１８は、ステップＳ５２で位相符号割り当て優先度マップを生成したかどうかを判定する。

ステップＳ５７で位相符号割り当て優先度マップを生成したと判定された場合、ステップＳ５８において、マイクロコンピュータ１８は、１フレーム前の動画像に対するステップＳ５２の処理で位相符号割り当て優先度マップが生成されたかどうかを判定する。ステップＳ５８で１フレーム前の位相符号割り当て優先度マップが生成されたと判定された場合、マイクロコンピュータ１８は、１フレーム前のデプスマップをメモリ１９から読み出す。

そして、ステップＳ５９において、マイクロコンピュータ１８は、１フレーム前のデプスマップと、ステップＳ５２で検出された現在のフレームの主被写体領域とに基づいて、主被写体領域が移動しているかどうかを判定する。

具体的には、マイクロコンピュータ１８は、図５のステップＳ３２乃至Ｓ３４の処理を行うことにより、１フレーム前のデプスマップから主被写体領域を検出する。マイクロコンピュータ１８は、検出された１フレーム前の主被写体領域の位置が、ステップＳ５２で検出された現在のフレームの主被写体領域の位置と異なっている場合、主被写体領域が移動していると判定する。一方、同一である場合、マイクロコンピュータ１８は、主被写体領域が移動していないと判定する。

ステップＳ５９で主被写体領域が移動していないと判定された場合、ステップＳ６０において、マイクロコンピュータ１８は、１フレーム前の主被写体領域と現在のフレームの主被写体領域とに基づいて、主被写領域の形状が変化しているかどうかを判定する。

１フレーム前の主被写体領域の形状と現在のフレームの主被写体領域の形状が同一である場合、ステップＳ６０で主被写体領域の形状が変化していないと判定され、処理はステップＳ６１に進む。

ステップＳ６１において、マイクロコンピュータ１８は、位相符号割り当て優先度マップの主被写体領域の優先度を、主被写体領域と境界領域以外の領域の優先度である標準値に変更する。なお、主被写体領域の優先度だけでなく、境界領域の優先度も標準値に変更するようにしてもよい。マイクロコンピュータ１８は、変更後の位相符号割り当て優先度マップを圧縮処理部１４に供給し、処理をステップＳ６２に進める。

一方、ステップＳ５８で１フレーム前の位相符号割り当て優先度マップが生成されていないと判定された場合、マイクロコンピュータ１８は、ステップＳ５２で生成された位相符号割り当て優先度マップをそのまま圧縮処理部１４に供給する。そして、処理はステップＳ６２に進む。

また、ステップＳ５９で主被写体領域が移動している、または、主被写体領域の形状が変化していると判定された場合、マイクロコンピュータ１８は、ステップＳ５２で生成された位相符号割り当て優先度マップをそのまま圧縮処理部１４に供給する。そして、処理はステップＳ６２に進む。

ステップＳ６２において、圧縮処理部１４は、マイクロコンピュータ１８から供給される位相符号割り当て優先度マップと動き符号割り当て優先度マップとに基づいて、画像処理部１３から供給される動画像の画像データを圧縮する。

これにより、ＰピクチャまたはＢピクチャの画像データの圧縮時に、形状または位置が変化している主要被写体領域、境界領域、および動き境界領域に対して多くの符号が割り当てられ、それらの領域以外の領域に対して少ない符号が割り当てられる。その結果、圧縮後の画像データの画質が向上する。圧縮処理部１４は、圧縮後の画像データをメディア制御部１５に供給し、処理をステップＳ６４に進める。

一方、ステップＳ５７で位相符号割り当て優先度マップを生成していないと判定された場合、ステップＳ６３において、圧縮処理部１４は、動き符号割り当て優先度マップに基づいて、動画像の画像データを圧縮する。

これにより、ＰピクチャまたはＢピクチャの画像データの圧縮時に、動き境界領域に対して多くの符号が割り当てられ、動き境界領域以外の領域に対して少ない符号が割り当てられる。その結果、圧縮後の画像データの画質が向上する。

なお、圧縮処理部１４は、動き符号割り当て優先度マップだけでなく、ステップＳ５２で生成された画像符号割り当て優先度マップにも基づいて圧縮を行うようにしてもよい。圧縮処理部１４は、圧縮後の画像データをメディア制御部１５に供給し、処理をステップＳ６４に進める。

ステップＳ６４において、メディア制御部１５は、記録メディア１６を制御し、圧縮処理部１４から供給される圧縮後の画像データを記録メディア１６に記録させる。そして、処理は終了する。

以上のように、画像処理装置１０は、現在のフレームのデプスマップと１フレーム前のデプスマップとに基づいて、現在のフレームの動画像に対して圧縮処理を行う。従って、画像処理装置１０は、例えば、主被写体領域の位置または形状が変化する場合、主被写体領域の符号の割り当てに関する優先度を高くし、変化しない場合低くすることにより、高効率で高精度の圧縮処理を行うことができる。即ち、圧縮処理を最適化することができる。

また、画像処理装置１０は、撮像画像よりサンプル数が少ないデプスマップに基づいて圧縮処理を最適化するので、撮像画像に基づいて最適化する場合に比べて処理が容易である。

その結果、画像処理装置１０の消費電力を低減することができる。これにより、画像処理装置１０の図示せぬバッテリの小型化や長時間駆動化、放熱構造の簡略化による画像処理装置１０の小型化や軽量化、バッテリの小型化による画像処理装置１０の低コスト化を実現することができる。また、画像処理装置１０のマイクロコンピュータ１８を小型化することができる。

さらに、画像処理装置１０は、フォーカス位置Fcsを制御するために位相差検出画素１２Ａにより取得される位相差情報を用いて圧縮処理を最適化するため、ハードウエアの追加を最低限に抑制することができる。

また、画像処理装置１０は、位相符号割り当て優先度マップだけでなく、動き符号割り当て優先度マップにも基づいて圧縮処理を行うので、より圧縮効率を向上させることができる。

なお、画像処理装置１０は、デプスマップを用いて撮像画像から動きベクトルを検出するようにしてもよい。この場合、画像処理装置１０は、デプスマップから検出された動きベクトルに基づいて、撮像画像のマッチングの探索範囲等を限定する。

これにより、デプスマップを用いない場合に比べて、マッチングの演算量を削減し、マイクロコンピュータ１８の消費電力や回路規模を抑制することができる。また、デプスマップから動きベクトルを推定し、推定される動きベクトルに対応する探索範囲で動きベクトルを検出するため、動きベクトルの検出精度が向上し、符号の割り当てを精度良く行うことができる。

また、画像処理装置１０は、デプスマップに基づいて検出された主被写体領域を、通常の撮像画像を用いた主被写体領域の検出に用いて、最終的な主被写体領域を決定するようにしてもよい。この場合、デプスマップに基づいて検出された主被写体領域を用いない場合に比べて、主被写体領域の検出処理の処理量を削減し、マイクロコンピュータ１８の消費電力や回路規模を抑制することができる。

さらに、画像処理装置１０は、デプスマップに基づいて位相符号割り当て優先度マップを生成するのではなく、デプスマップから検出された主被写体領域に基づいて画像符号割り当て優先度マップを生成するようにしてもよい。この場合、例えば、画像処理装置１０は、主被写体領域では高周波数成分の有無の検出を主被写体領域以外の領域に比べて高精度に行ったり、主被写体領域でのみ高周波数成分の検出結果を補間したりする。

（本開示を適用したコンピュータの説明）
上述した撮像処理以外の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。

撮像部２０６は、図１の光学系１１、撮像素子１２、アクチュエータ２０等により構成される。撮像部２０６は、撮像画像と位相差情報を取得する。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。

記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、記録メディア、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、圧縮処理以外のノイズリダクション処理等の画像処理を行う画像処理装置にも適用することができる。本開示がノイズリダクション処理を行う画像処理装置に適用される場合には、例えば、現在のフレームのデプスマップと１フレーム前のデプスマップとに基づいてシーンチェンジが検出され、シーンチェンジが検出された場合、ノイズリダクション処理が停止される。これにより、シーンチェンジ時のノイズリダクション処理により画質が低下することを防止することができる。

また、本開示は、位相差情報以外の奥行き情報を検出単位で取得し、その奥行き情報に基づいて画像を圧縮する画像処理装置にも適用することができる。

さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理部
を備える画像処理装置。
（２）
前記奥行き情報は、画像の位相差を表すデプスマップである
前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、前記第１のフレームの奥行き情報と前記第２のフレームの奥行き情報とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
前記（１）または（２）に記載の画像処理装置。
（４）
前記第１のフレームの奥行き情報に基づいて前記第１のフレームの画像内の主要な被写体の領域である主被写体領域を検出し、前記第２のフレームの奥行き情報に基づいて前記第２のフレームの画像内の主被写体領域を検出する検出部
をさらに備え、
前記画像処理部は、前記検出部により検出された前記第１のフレームの主被写体領域と前記第２のフレームの主被写体領域とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
前記（３）に記載の画像処理装置。
（５）
前記画像処理部は、前記第１のフレームの主被写体領域の位置が前記第２のフレームの主被写体領域の位置から移動している場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
前記（４）に記載の画像処理装置。
（６）
前記画像処理部は、前記第１のフレームの主被写体領域の形状と前記第２のフレームの主被写体領域の形状が異なる場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
前記（４）または（５）に記載の画像処理装置。
（７）
前記画像処理部は、前記第１のフレームの画像がＩピクチャ以外である場合、前記第１のフレームの主被写体領域と前記第２のフレームの主被写体領域とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
前記（４）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記画像処理部は、前記第１のフレームの画像がＩピクチャである場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
前記（７）に記載の画像処理装置。
（９）
画像処理装置が、
第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理ステップ
を含む画像処理方法。
（１０）
コンピュータを、
第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理部
として機能させるためのプログラム。

１０ 画像処理装置， １４ 圧縮処理部， １８ マイクロコンピュータ

Claims (10)

1. 第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理部
   を備える画像処理装置。
2. 前記奥行き情報は、画像の位相差を表すデプスマップである
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記第１のフレームの奥行き情報と前記第２のフレームの奥行き情報とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
   請求項１に記載の画像処理装置。
4. 前記第１のフレームの奥行き情報に基づいて前記第１のフレームの画像内の主要な被写体の領域である主被写体領域を検出し、前記第２のフレームの奥行き情報に基づいて前記第２のフレームの画像内の主被写体領域を検出する検出部
   をさらに備え、
   前記画像処理部は、前記検出部により検出された前記第１のフレームの主被写体領域と前記第２のフレームの主被写体領域とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
   請求項３に記載の画像処理装置。
5. 前記画像処理部は、前記第１のフレームの主被写体領域の位置が前記第２のフレームの主被写体領域の位置から移動している場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
   請求項４に記載の画像処理装置。
6. 前記画像処理部は、前記第１のフレームの主被写体領域の形状と前記第２のフレームの主被写体領域の形状が異なる場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
   請求項４に記載の画像処理装置。
7. 前記画像処理部は、前記第１のフレームの画像がＩピクチャ以外である場合、前記第１のフレームの主被写体領域と前記第２のフレームの主被写体領域とに基づいて、前記第１のフレームの画像に対して圧縮処理を行う
   請求項４に記載の画像処理装置。
8. 前記画像処理部は、前記第１のフレームの画像がＩピクチャである場合、前記第１のフレームの主被写体領域の符号割り当ての優先度を高くして、前記第１のフレームの画像に対して圧縮処理を行う
   請求項７に記載の画像処理装置。
9. 画像処理装置が、
   第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理ステップ
   を含む画像処理方法。
10. コンピュータを、
    第１のフレームの画像の被写体の奥行き方向の位置を表す奥行き情報と、前記第１のフレームより前の第２のフレームの画像の奥行き情報とに基づいて、前記第１のフレームの画像に対して処理を行う画像処理部
    として機能させるためのプログラム。

Images