JP2017076902A - 画像処理装置、撮像装置、画像処理方法、プログラム - Google Patents

Abstract

【課題】入力画像の奥行き感の強調を可能にする画像処理装置、撮像装置、画像処理方法、プログラムを提供すること。
【解決手段】画像処理装置は、撮像された画像を取得し、画像に写っている被写体の距離情報を距離情報生成部１０７が生成する。立体画像生成部１０８は、画像および距離情報に基づいて立体画像を生成する。枠画像生成部１０９は、画像および距離情報に基づいて被写体の奥行き感を強調する枠画像の奥行き方向の高さ（厚み）、奥行き方向に直交する方向の幅、および色のうちの少なくとも１つを設定して枠画像を生成する。画像出力部１１０は、立体画像生成部１０８により生成された立体画像、および枠画像生成部１０９により生成された枠画像を出力する。
【選択図】 図１

Description

本発明は、入力画像の奥行き感を強調する画像処理技術に関する。

特許文献１には、画像中の被写体の奥行き情報を使用した映像処理装置が開示されている。この装置は、被写体の奥行き情報に基づいて、所定の奥行き位置より手前の前景領域と、所定の奥行き位置より奥の背景領域との間に額縁やカーテン等の距離感知覚のためのオブジェクト画像を合成することにより、立体感、奥行き感を強調する。ただし、対象とする画像は２次元画像であり、物が別のものに重なることで一部分が隠れると奥にあると感じるような、人間が経験的に感じる重なり遠近法を利用して立体感や奥行き感が与えられる。合成した画像もあくまで２次元画像である。

特許文献２に開示の印刷データ生成装置は、画像の複数の領域毎の距離情報を取得し、領域毎の距離情報から画像情報に対応した印刷時の厚さ情報を生成し、画像情報と厚さ情報を関連付けて記録する。この場合に印刷されるのは、元となる２次元画像に３次元の凹凸をつけた３Ｄ（３次元）レリーフのような立体の印刷物であり、２次元画像よりも立体感や奥行き感が得られる。

特開２０１０−２０６３６２号公報 特開２００８−２４４８３１号公報

特許文献２に開示された処理を含む一般的な３Ｄレリーフ画像生成では、所定の厚さ以内で凹凸を表現しなければならない。そのためには実際の被写体間の距離や被写体の凹凸の距離情報を圧縮して３Ｄレリーフ用の厚さ情報に変換する必要がある。よって画像の立体感や奥行き感を的確に表現できないという問題がある。本発明は、入力画像の奥行き感の強調を可能にする画像処理装置、撮像装置、画像処理方法、プログラムの提供を目的とする。

本発明の一実施形態に係る画像処理装置は、画像を取得する第１の取得手段と、被写体の距離情報を取得する第２の取得手段と、前記画像および前記距離情報から立体画像を生成する生成手段と、前記画像および前記距離情報を用いて、前記立体画像の奥行き感を強調する枠画像を生成する枠画像生成手段を有する。

本発明によれば、入力画像の奥行き感の強調を可能にする画像処理装置、撮像装置、画像処理方法、プログラムを提供することができる。

本発明の第１実施形態に係る画像処理装置の構成例を示すブロック図である。 本発明の第１実施形態における動作を説明するフローチャートである。 撮影画像および立体画像を例示した概略図である。 第１実施形態における主要被写体が近景被写体である場合の立体画像と枠画像の概略図である。 第１実施形態における主要被写体が遠景被写体である場合の立体画像と枠画像の概略図である。 本発明の第２実施形態に係る画像処理装置の構成例を示すブロック図である。 第２実施形態における動作を説明するフローチャートである。 本発明の第３実施形態に係る画像処理装置の構成例を示すブロック図である。 第３実施形態における動作を説明するフローチャートである。 本発明の第４実施形態に係る画像処理装置の構成例を示すブロック図である。 第４実施形態における動作を説明するフローチャートである。

以下に本発明の各実施形態を、添付図面にしたがって詳細に説明する。各実施形態では、画像および距離情報を取得して立体画像を生成する画像処理装置を例示する。距離情報とは、被写体の距離分布に関連する情報であり、奥行き方向における被写体の距離値を直接的に表し、または距離値に対応する情報（デフォーカス情報）を間接的に表すものとする。
［第１実施形態］
本発明の第１実施形態では、撮影された画像に対して距離情報を取得し、画像から立体画像を生成するとともに、画像から検出した被写体の距離情報に応じて枠画像の生成を行う処理を説明する。まず、図１を参照して、第１実施形態に係る画像処理装置１００の構成について説明する。画像処理装置１００の各構成部（符号１０３から１１２参照）は、バス１１３を介して接続されており、互いに情報を送受可能である。

画像処理装置１００は、レンズ等の光学部品を有する撮像光学系１０１と、撮像素子１０２を備える。撮像光学系１０１は、焦点距離を変更可能なズームレンズや、焦点調節を行うフォーカスレンズ、光量を調節する絞りを備える。撮像素子１０２は、撮像光学系１０１によって結像された被写体像を電気信号に変換する光電変換部を備え、撮像後に画像信号を出力する。撮像素子１０２は光電変換部に光を効率的に集光するためのマイクロレンズを備える。通常の撮像素子では、１つのマイクロレンズに対して１つのフォトダイオードを有するが、撮像素子１０２は１つのマイクロレンズに対して複数のフォトダイオードを有する。例えば、２つのフォトダイオードが配置された構造の場合、各フォトダイオードが１つのマイクロレンズを共有することで瞳分割画像を取得できる。

Ａ（アナログ）／Ｄ（デジタル）変換部１０３は、撮像素子１０２が出力するアナログ画像信号を取得してデジタル信号に変換する。画像信号処理部１０４は、Ａ／Ｄ変換部１０３によりデジタル信号に変換された画像信号に対して、ホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換等の各種信号処理を行う。一時記憶部１０５は、画像信号処理部１０４が処理した画像や、後述の立体画像生成部１０８で生成される立体画像および枠画像生成部１０９で生成される枠画像等の画像データと、各処理の中間データ等を一時的に記憶する。

被写体検出部１０６は、画像信号処理部１０４が処理した画像データを一時記憶部１０５から読み出し、画像中の被写体を検出する。被写体検出部１０６は、人物や動物、建物等の被写体から主要被写体を検出する。主要被写体とは複数の被写体から選択される主たる被写体である。距離情報生成部１０７は、撮像素子１０２により取得した視差画像を用いて被写体の距離情報を生成する。視差画像とは、視差を有する左視点画像および右視点画像であり、１つのマイクロレンズを共有する複数の光電変換部によって取得される。ステレオマッチング処理により２つの画像の位相差が算出され、位相差を用いて被写体の距離分布に関連する距離情報が生成される。

立体画像生成部１０８は、距離情報生成部１０７が生成した距離情報を用いて、画像信号処理部１０４で処理した画像から立体画像を生成する。立体画像のデータは立体印刷の際に使用され、そのデータ形式は、例えば、ＳＴＬ（Ｓｔａｎｄａｒｄ Ｔｒｉａｎｇｌｅ Ｌａｎｇｕａｇｅ）やＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）である。各々の形式については公知であるため説明を省略する。

被写体判定部１１２は、被写体検出部１０６が検出した主要被写体に対応する距離情報を、距離情報生成部１０７が生成した距離情報から抽出する。被写体判定部１１２は、抽出した距離情報に基づいて閾値による比較処理を行い、主要被写体が近景被写体であるか、または遠景被写体であるかを判定する。

枠画像生成部１０９は、被写体判定部１１２での判定結果と、主要被写体に対応する距離情報に基づいて、枠画像の高さや太さ、枠の色を設定し、立体画像生成部１０８で生成される立体画像の輪郭に沿ったサイズの枠画像を生成する。枠画像データの形式については立体画像データの形式と同一である。

画像出力部１１０は、立体画像生成部１０８が生成した立体画像、および枠画像生成部１０９が生成した枠画像のデータを出力する。例えば画像出力部１１０は、ＳＴＬやＶＲＭＬ等の形式の立体画像データおよび枠画像データをファイルとして、外部装置に出力する。また表示部あるいは表示装置が設けられる場合、画像出力部１１０は立体画像と枠画像の表示用データを表示部あるいは表示装置に出力する。

ＣＰＵ（中央演算処理部）１１１は、メモリから読み出したプログラムを実行することによって各種処理を実現する制御中枢部である。図２のフローチャートを参照して、画像処理装置１００で行われる静止画の撮影と、立体画像および枠画像の生成処理について説明する。

図２のＳ２０１にて撮影が行われ、撮像素子１０２は撮影画像を取得する。次のＳ２０２で距離情報生成部１０７は、Ｓ２０１で取得した撮影画像に関する距離情報を生成する。そしてＳ２０３にて立体画像生成部１０８は、撮影画像およびその距離情報から立体画像の生成処理を行う。図３を参照して具体例を説明する。図３は撮影画像と立体画像を例示する図である。２次元座標ＸおよびＹの各軸と、Ｘ軸およびＹ軸に直交するＺ軸を用いた３次元直交座標系を定義し、奥行き方向をＺ方向とする。

図３（Ａ）は撮影画像３００を正面から見た場合の模式図である。撮影画像３００は、被写体として人物３０１と建物３０２の各画像を含み、ＸＹ平面上に表現される。図３（Ｂ）は撮影画像３００を立体化した立体画像を横方向（Ｘ方向）から見た場合の模式図である。画像の距離情報に応じてＺ方向の奥行き量である高さ（厚み）が表現されている。無限遠の領域が背景３０３となり、人物３０１と建物３０２についてＺ方向に高さを付けることで立体化されている。

図２のＳ２０４において被写体検出部１０６は、撮影画像に対して主要被写体を検出する。例えば被写体検出部１０６は撮影画像から、人物や顔、ペットやランドマーク等の画像パターンをテンプレートマッチングによって検出する。あるいは、被写体検出部１０６は現フレームの画像と１フレーム前の画像とを比較することにより、動きベクトル量や変化量の大きい領域を主要被写体の被写体領域として検出する。また、撮影画像中から複数の被写体が検出された場合に被写体検出部１０６は、被写体の優先順位付けを行い、優先度の高い被写体を主要被写体として選択する。優先順位付けの処理については、例えば、被写体の画像中における位置や大きさによって優先度が付与される。また、被写体の種類に応じて、人や移動する被写体の優先度を高く設定する処理が行われる。

Ｓ２０５にて被写体判定部１１２は、Ｓ２０４で検出された主要被写体が近景被写体であるか、または遠景被写体であるかを判定する。撮影位置から主要被写体までの距離情報を参照し、主要被写体までの距離が所定の距離と比較される。所定の距離とは遠近判定用の基準距離であり、予め決められた絶対的な距離として設定されるか、あるいは撮影画像中の被写体領域の距離から相対的に算出した距離として設定される。主要被写体までの距離が所定の距離よりもカメラ位置に近い場合、被写体判定部１１２は主要被写体が近景被写体であると判定し、Ｓ２０６へ進む。また、主要被写体までの距離が所定の距離よりもカメラ位置から遠い場合に被写体判定部１１２は、主要被写体が遠景被写体であると判定し、Ｓ２０９へ進む。

Ｓ２０６にて枠画像生成部１０９は、立体画像のＸＹ平面上での輪郭に沿って生成する枠画像の枠の高さが主要被写体の高さよりも低くなるように設定する。図４を参照して具体例を説明する。図４は、主要被写体が近景被写体である場合の立体画像と枠画像を例示し、座標系（Ｘ，Ｙ，Ｚ）にて表現される。３次元直交座標系の設定については図３の場合と同じである。図４（Ａ）は立体画像４００と枠画像４０１をＸＹ平面に垂直な方向から見た場合の図である。枠画像４０１は、立体画像４００のＸＹ平面上の輪郭に沿って形成されている。図４（Ａ）にて枠画像４０１は説明の便宜上、高さを付けて表示している。図４（Ｂ）は、図４（Ａ）の立体画像４００と枠画像４０１を横方向（Ｘ方向）から見た場合の図である。枠の高さをＨｆ１と表記すると、Ｈｆ１は、立体画像における背景領域の高さを基準とし、枠画像のＺ方向の長さ（奥行き）に相当する。また主要被写体の高さをＨ１と表記する。高さＨ１は、立体画像の背景領域の高さを基準として主要被写体領域の一番高い点までの長さに相当する。枠画像生成部１０９は、関係式「Ｈ１＞Ｈｆ１」が成り立つように枠の高さＨｆ１を設定する。このように枠の高さを設定することにより、主要被写体と背景との距離感の差が強調されるので、Ｚ方向から立体画像を見た際に、主要被写体がより手前側（観察者側）に飛び出して見える。

図２のＳ２０７にて枠画像生成部１０９は、図４（Ａ）の枠画像４０１をＸＹ平面上で見た際の枠の幅（太さ）を、所定値よりも小さく設定する。枠の幅を細く設定することにより、大小遠近法で枠がより遠くに見えるようになる。つまり観察者が、Ｚ方向から立体画像を見た際に、主要被写体がより手前側に見える。枠の幅に対する所定値については、例えば撮影画像の画像サイズ等に応じて画像ごとに決定される。次のＳ２０８で枠画像生成部１０９は、枠画像４０１の枠の色を寒色系の色に設定する。枠の色を寒色系の色に設定することにより、観察者は色彩遠近法で枠がより後方に吸収されていくように感じる。つまり観察者には、Ｚ方向から立体画像を見た際に、主要被写体がより手前に見える。

図２のＳ２０９にて枠画像生成部１０９は、立体画像のＸＹ平面上の輪郭に沿って生成する枠画像の枠の高さが立体画像の一番高い領域の高さよりも高くなるように設定する。図５を参照して、具体例を説明する。図５は、主要被写体が遠景被写体である場合の立体画像と枠画像を例示し、座標系（Ｘ，Ｙ，Ｚ）にて表現される。３次元直交座標系の設定については図３、図４の場合と同じである。図５（Ａ）は立体画像５００と枠画像５０１をＸＹ平面に垂直な方向から見た場合図である。枠画像５０１は立体画像５００のＸＹ平面上の輪郭に沿って形成されている。図５（Ａ）にて枠画像５０１は説明の便宜上、高さを付けて表示している。図５（Ｂ）は、図５（Ａ）の立体画像５００と枠画像５０１を横方向（Ｘ方向）から見た場合の図である。枠の高さをＨｆ２と表記する。Ｈｆ２は、立体画像の背景領域の高さを基準とした枠画像５０１のＺ方向の長さ（奥行き）に相当する。立体画像５００中の被写体は、人物や建物が高さを付けて立体化される被写体である。そのうちの人物は撮影位置から距離情報が最も近い被写体であり、立体化する際に高さが最も高くなる。背景領域の高さを基準として立体画像の最も高い点である人物領域の高さをＨ２と表記する。枠画像生成部１０９は関係式「Ｈ２＜Ｈｆ２」が成り立つようにＨｆ２を設定する。このように枠の高さＨｆ２を設定することにより、Ｓ２０６の処理による効果とは逆に、枠から主要被写体までの奥行き感が強調される。

図２のＳ２１０で枠画像生成部１０９は、枠画像５０１をＸＹ平面上で見た際の枠の幅（太さ）を所定値よりも大きく設定する。所定値はＳ２０７にて説明したとおりである。枠の幅を所定値よりも大きく設定することにより、Ｓ２０７の処理による効果とは逆に、大小遠近法で枠がより近くに見える。つまり観察者が、Ｚ方向から立体画像を見た際に、枠から主要被写体までの奥行き感が強調される。

図２のＳ２１１にて枠画像生成部１０９は、枠画像５０１の枠の色を暖色系の色に設定する。枠の色を暖色系の色に設定することにより、Ｓ２０８の処理による効果とは逆に、観察者は色彩遠近法で枠がより前方に迫りだしてくるように感じる。つまり、Ｚ方向から立体画像を見た際に枠から主要被写体までの奥行き感が強調される。

図２のＳ２０８、Ｓ２１１の処理後にＳ２１２に進む。Ｓ２１２で枠画像生成部１０９は、Ｓ２０６〜Ｓ２１１で設定した枠の高さ、幅、色に基づいて立体の枠画像を生成する。次のＳ２１３で画像出力部１１０は、Ｓ２０３で撮影画像を立体化して生成した立体画像、およびＳ２１２で立体画像のＸＹ平面上の輪郭に沿って生成した枠画像を、画像データとして出力する。

本実施形態では、撮影画像を立体化した立体画像において撮影画像に写った主要被写体像の立体感、奥行き感をより強調する枠画像を生成する。本実施形態によれば、３Ｄレリーフ画像の輪郭に沿って主要被写体に応じて適切な枠を付けることで、立体感、奥行き感をより強調することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では、入力画像から生成した距離情報に応じて立体画像および枠画像の生成処理を行い、生成した立体画像と枠画像を合成した合成立体画像の立体印刷処理を行う例を説明する。

図６を参照して、本実施形態における画像処理装置６００の構成について説明する。図６に示す構成部については、第１実施形態の場合と同一である構成部に使用した符号を用いることにより、詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述する実施形態でも同じである。

画像処理装置６００は、凹凸のある立体的な印刷が可能であり、第１実施形態の画像処理装置１００と相違する部分は画像入力部６０１、画像合成部６０２、画像印刷部６０３である。画像処理装置６００は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３に代えて画像入力部６０１を有する。画像入力部６０１は、外部装置から画像データを取得し、一時記憶部１０５へ格納する。本実施形態では、入力画像として左視点画像および右視点画像が付随していて、距離情報生成部１０７が位相差を求めて距離情報を生成する例を説明するが、画像に付随して取得される距離情報を用いて立体画像生成を行う構成でもよい。

画像合成部６０２は、立体画像生成部１０８が生成する立体画像と、枠画像生成部１０９が生成される枠画像を取得して合成し、立体印刷用の合成画像を生成する。画像印刷部６０３は、立体画像生成部１０８が生成した立体画像、または画像合成部６０２が生成した合成画像について凹凸のある立体画像の印刷を行う。

図７を参照して画像処理装置６００が行う処理について説明する。図７は、画像処理装置６００が入力画像を取得して、立体画像および枠画像を立体印刷する処理の流れを例示するフローチャートである。Ｓ２０２からＳ２１２の各処理については、図２にて説明済みであるため、同様の処理内容に関しては省略し、相違するＳ７０１からＳ７０４の処理を主に説明する。

図７のＳ７０１にて画像入力部６０１は、画像処理装置６００の外部装置から入力画像を取得する。入力画像には左視点画像と右視点画像が付随している。Ｓ２０２、Ｓ２０３の処理後、Ｓ７０２にてＣＰＵ１１１はモード判定を行う。立体印刷の印刷モードとして、立体画像のみの印刷を行う立体画像印刷モードであるか、または立体画像に枠画像を付けた画像の印刷を行う枠画像付き印刷モードであるかが判定される。印刷モードが立体画像印刷モードである場合にはＳ７０４へ進み、立体画像の印刷が行われる。一方、Ｓ７０２で印刷モードが枠画像付き印刷モードであると判定された場合には、枠画像を生成するためにＳ２０４へ進む。Ｓ２０４からＳ２１２の処理後、Ｓ７０３に処理を進める。

Ｓ７０３にて画像合成部６０２は、Ｓ２０３で生成された立体画像とＳ２１２で生成された枠画像を合成する。枠画像は立体画像の輪郭に沿った形状で生成され、立体画像の輪郭に当てはめて合成される。これにより、合成処理後に図４（Ａ）、図５（Ａ）に示す様な画像が得られる。図７のＳ７０４にて画像印刷部６０３は印刷モードに応じて立体印刷を行う。立体画像印刷モードの場合、Ｓ２０３で生成された立体画像の立体印刷が行われ、枠画像付き印刷モードの場合、Ｓ７０３で合成された立体画像の立体印刷が行われる。

本実施形態によれば、入力画像を立体化した立体画像に枠画像を合成することで、入力画像に写った主要被写体の立体感、奥行き感をより強調した立体印刷物を出力することができる。

［第３実施形態］
次に本発明の第３実施形態を説明する。本実施形態では、撮影画像から生成した距離情報に応じて立体画像を生成するとともに、距離情報に応じて枠画像を生成する際の設定値を決定し、枠情報として出力する例を説明する。図８を参照して、本実施形態の画像処理装置８００の構成について説明する。第１実施形態の画像処理装置１００との相違点は、画像処理装置８００が枠画像生成部１０９の代わりに、枠情報設定部８０１および枠情報出力部８０２を有する点である。

枠情報設定部８０１は、被写体検出部１０６が検出した主要被写体に対応する距離情報に基づいて、立体画像の立体感、奥行き感を強調するのに適した枠の高さや太さ、色を選択する。枠情報設定部８０１は、選択した枠の高さや太さ、色の情報（枠情報）を一時記憶部１０５に格納する。枠情報出力部８０２は、枠情報設定部８０１により設定された枠情報を出力する。例えば、枠情報出力部８０２は枠情報を記載したテキストデータを出力する。あるいは、表示装置を設けて枠情報を画面に表示させる構成でもよい。

図９を参照して、画像処理装置８００にて静止画撮影を行い、枠情報を出力する処理について説明する。なお、図９のフローチャートにおいて、第１実施形態の場合と同様の処理に関しては省略し、相違する処理のみ説明する。Ｓ２０１からＳ２０５までの処理は第１実施形態の場合と同様である。Ｓ２０５の判定結果にしたがって、Ｓ９０１からＳ９０３の処理、またはＳ９０４からＳ９０６の処理が実行される。Ｓ９０１からＳ９０６において、枠情報設定部８０１は枠情報の設定を行う。枠の高さ、太さ、色を設定する処理については、Ｓ２０６からＳ２１１までの処理と同様であるが、枠画像生成部１０９ではなく枠情報設定部８０１で処理を行う点が異なる。

図９のＳ９０７にて枠情報出力部８０２は、主要被写体が近景被写体である場合にＳ９０１からＳ９０３で設定された枠情報、または主要被写体が近景被写体でない場合にＳ９０４からＳ９０６で設定された枠情報を出力する。

本実施形態によれば、撮影画像を立体化した立体画像を枠画像付きで出力する場合に、撮影画像に写っている主要被写体の立体感、奥行き感をより強調する枠画像を生成するための枠情報を出力することができる。

［第４実施形態］
次に本発明の第４実施形態を説明する。本実施形態では、入力画像から生成した距離情報と、取得した枠情報に基づいて、入力画像を立体化した立体画像を生成する例を説明する。

図１０を参照して、本実施形態の画像処理装置１０００の構成について説明する。画像処理装置１０００は、第２実施形態の画像処理装置６００に対し、以下の点で相違する。
・枠画像生成部１０９、画像合成部６０２、画像印刷部６０３が無いこと。
・枠情報入力部１００１、立体画像生成部１００２が設けられていること。
枠情報入力部１００１は、画像入力部６０１に入力される画像から立体画像生成部１００２が立体画像を生成した際に、立体画像の周囲に合成する枠の高さ情報を画像処理装置１０００の外部装置から取得する。取得された枠の高さ情報は、一時記憶部１０５へ格納される。

立体画像生成部１００２は、距離情報生成部１０７が生成した距離情報と、被写体検出部１０６が検出した主要被写体と、枠情報入力部１００１が取得した枠の高さに応じて立体画像の高さを設定し、立体画像を生成する。

図１１のフローチャートを参照し、画像処理装置１０００が入力画像および枠情報を取得し、枠に合わせた立体画像を生成する処理について説明する。Ｓ２０２、Ｓ２０４、Ｓ２０５、Ｓ２１３、Ｓ７０１の処理については第１および第２実施形態の場合と同様である。

図１１のＳ７０１の処理後、Ｓ１１０１にて枠情報入力部１００１は、外部装置から枠の高さ情報を取得する。Ｓ２０２、Ｓ２０４の処理後にＳ２０５で主要被写体が近景被写体であると判定された場合、Ｓ１１０２に進む。Ｓ１１０２で立体画像生成部１００２は、立体画像を生成する際の主要被写体の高さが、枠の高さよりも高くなるように設定する。また、Ｓ２０５で主要被写体が近景被写体でないと判定された場合には、Ｓ１１０３に進む。Ｓ１１０３で立体画像生成部１００２は、立体画像を生成する際に最も高くなる領域の高さ、つまり入力画像中で最も近距離の被写体領域の高さが、枠の高さよりも低くなるように設定する。Ｓ１１０２、Ｓ１１０３の処理後、Ｓ１１０４に進む。

Ｓ１１０４にて立体画像生成部１００２は、入力画像および距離情報と、Ｓ１１０２またはＳ１１０３で設定した高さに基づいて立体画像の生成処理を行う。補正した高さで立体画像の生成を行う処理は、例えば、次のように実行される。

立体画像生成部１００２は、主要被写体が遠景被写体である場合、入力画像とその距離情報から変換して求めた立体画像の最も高くなる領域の高さを、枠の高さよりも低くなるよう所定の高さ（ｈと記す）だけ補正する。この場合、立体画像生成部１００２は画像全体の高さについて一律にｈ分低く設定する。補正の結果、高さが負値になった場合には高さをゼロに変更する処理が行われる。

本実施形態によれば、予め決められた枠の高さに応じて立体画像の高さを補正して設定することで、入力された高さの枠画像と合成した際に立体感、奥行き感がより強調される立体画像を生成できる。
以上、本発明の好ましい実施形態について説明したが、図１、図６、図８、図１０に示した画像処理装置の構成は一例であり、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像信号処理部
１０６ 被写体検出部
１０７ 距離情報生成部
１０８ 立体画像生成部
１０９ 枠画像生成部
１１０ 画像出力部
１１２ 被写体判定部

Claims (13)

1. 画像を取得する第１の取得手段と、
   被写体の距離情報を取得する第２の取得手段と、
   前記画像および前記距離情報から立体画像を生成する生成手段と、
   前記画像および前記距離情報を用いて、前記立体画像の奥行き感を強調する枠画像を生成する枠画像生成手段を有することを特徴とする画像処理装置。
2. 前記画像から被写体の画像を検出する検出手段と、
   前記距離情報を用いて、前記検出手段により検出される前記被写体が撮影位置から相対的に近い近景被写体であるか、または撮影位置から相対的に遠い遠景被写体であるかを判定する判定手段をさらに有し、
   前記枠画像生成手段は、前記判定手段の判定結果にしたがって前記枠画像の奥行き方向の高さおよび前記奥行き方向に直交する方向の幅および色のうちの１つ以上を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記枠画像生成手段は、前記判定手段により前記被写体が近景被写体であると判定された場合、前記奥行き方向の枠画像の高さを前記被写体の画像の高さよりも低く設定し、前記判定手段により前記被写体が遠景被写体であると判定された場合、前記奥行き方向の枠画像の高さを、前記立体画像における最も高い領域の高さよりも高く設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記枠画像生成手段は、前記判定手段により前記被写体が近景被写体であると判定された場合、前記判定手段により前記被写体が遠景被写体であると判定された場合に比べて、前記奥行き方向に直交する方向の前記枠画像の幅を小さく設定することを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 前記枠画像生成手段は、前記判定手段により前記被写体が近景被写体であると判定された場合、前記枠画像の色を寒色系の色に設定し、前記判定手段により前記被写体が遠景被写体であると判定された場合、前記枠画像の色を暖色系の色に設定することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記枠画像生成手段は、前記検出手段によって検出された被写体の画像の輪郭を囲む前記枠画像を生成することを特徴とする請求項２から５のいずれか１項に記載の画像処理装置。
7. 画像を取得する第１の取得手段と、
   被写体の距離情報を取得する第２の取得手段と、
   前記画像および前記距離情報から立体画像を生成する生成手段と、
   前記画像および前記距離情報を用いて、前記立体画像の奥行き感を強調する枠画像の情報を出力する枠情報出力手段を有することを特徴とする画像処理装置。
8. 画像を取得する第１の取得手段と、
   被写体の距離情報を取得する第２の取得手段と、
   前記画像および前記距離情報から立体画像を生成する生成手段と、
   前記立体画像に合成する枠画像の奥行き方向の高さの情報を取得する第３の取得手段を有し、
   前記生成手段は前記距離情報および前記枠画像の奥行き方向の高さにしたがって前記立体画像における最も高い領域の高さを設定することを特徴とする画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置を備える撮像装置。
10. 立体画像を生成する画像処理装置にて実行される画像処理方法であって、
    画像および被写体の距離情報を取得するステップと、
    前記画像および前記距離情報から立体画像を生成するステップと、
    前記画像および前記距離情報を用いて、前記立体画像の奥行き感を強調する枠画像を生成するステップを有することを特徴とする画像処理方法。
11. 立体画像を生成する画像処理装置にて実行される画像処理方法であって、
    画像および被写体の距離情報を取得するステップと、
    前記画像および前記距離情報から立体画像を生成するステップと、
    前記画像および前記距離情報を用いて、前記立体画像の奥行き感を強調する枠画像の情報を出力するステップを有することを特徴とする画像処理方法。
12. 立体画像を生成する画像処理装置にて実行される画像処理方法であって、
    画像および被写体の距離情報と、前記立体画像に合成する枠画像の奥行き方向の高さの情報を取得するステップと、
    前記距離情報および前記枠画像の奥行き方向の高さにしたがって、前記立体画像の奥行き方向における最も高い領域の高さを設定し、前記画像および前記距離情報から立体画像を生成するステップを有することを特徴とする画像処理方法。
13. 請求項１０から１２のいずれか１項に記載の画像処理方法の各ステップを前記画像処理装置のコンピュータに実行させるプログラム。
    
    

Images