JP2013042301A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】多彩なアレンジが可能な３Ｄ画像を生成すること。
【解決手段】３Ｄ画像取得部４２は、左右の視差を有する３Ｄ画像データを取得する。遠景近景分離部４４は、取得した３Ｄ画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する。遠景絵画画像生成部４５は、遠景近景分離部４４により分離された左右の画像のそれぞれの遠景領域に絵画変換処理を施して、少なくとも１つの遠景絵画画像のデータを生成する。遠景絵画３Ｄ画像生成部４６は、左右の画像のそれぞれについて、遠景絵画画像生成部４５により生成された遠景絵画画像のデータと、分離手段により分離された近景領域についての近景部分画像のデータを合成することによって、遠景絵画３Ｄ画像データを生成する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来より、平面的に表示される画像に基づいて、立体的に見せる画像（以下、「３Ｄ（Ｄｉｍｅｎｓｉｏｎｓ）画像」という）を表示する技術がある。３Ｄ画像を表示させる技術としては、例えば、右目と左目で見える像の位置の差異（視差）により像の奥行きを知覚する人間の特性を利用して、視差の異なる２枚の画像を用意して、３Ｄ画像を表示させる技術がある（例えば特許文献１参照）。このような視差の異なる２枚の画像を用いて３Ｄ画像を表示させる特許文献１に記載の技術では、３Ｄ画像内において近景にある対象物は視差が大きくなり、遠景にある対象物は視差が小さくなる。

特開平８−３０８０６号公報

近年、画像をアレンジし、画像を効果的に表示することが求められており、３Ｄ画像に対しても、視覚的効果を持たせるための多彩なアレンジを行うことが求められるようになってきている。

本発明は、このような状況に鑑みてなされたものであり、多彩なアレンジが可能な３Ｄ画像のデータを生成することができる画像処理装置及び画像処理方法並びにプログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、左右の視差を有する第１の３次元画像データを取得する取得手段と、前記取得手段により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離手段と、前記分離手段により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成手段と、前記左右の画像のそれぞれについて、前記遠景画像生成手段により生成された前記遠景部分画像のデータと、前記分離手段により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成手段と、を備えることを特徴とする。

本発明によれば、多彩なアレンジが可能な３Ｄ画像のデータを生成することができる。

遠景絵画３Ｄ画像データの生成を説明するための模式図である。 本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図２の画像処理装置の機能的構成のうち、遠景絵画３Ｄ画像生成処理を実行するための機能的構成を示す機能ブロック図である。 図３の遠景絵画画像生成部の詳細な機能的構成を示す機能ブロック図である。 図３の機能的構成を有する図２の画像処理装置が実行する遠景絵画３Ｄ画像生成処理の流れを説明するフローチャートである。 図４の機能的構成を有する図２の画像処理装置が実行する遠景絵画画像生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態の説明の前に、理解を容易なものとすべく、本発明の概略について説明する。

本発明に係る画像処理装置は、遠景絵画３Ｄ画像を表示させることが可能な装置である。
ここで、「遠景絵画３Ｄ画像」とは、遠景に相当する部分（遠景部分）が絵画調（本実施形態においては、水彩調）に表示され、遠景部分以外の部分（近景部分）が前方に飛び出しているように立体的に表示される画像をいう。

図１は、遠景絵画３Ｄ画像のデータの生成を説明するための模式図である。詳細には、図１（ａ）は、３Ｄ画像の表示を実現するための左目用画像及び右目用画像の一例を示す模式図である。図１（ｂ）は、図１（ａ）の左目用画像及び右目用画像の各々に対して、遠景領域に絵画変換処理が施された後の左目用画像及び右目用画像の一例を示した模式図である。図１（ｃ）は、図１（ｂ）の左目用画像及び右目用画像を用いて表示された３Ｄ画像のイメージの一例を示す模式図である。

ここで、「左目用画像」とは、人の左目に映る画像であり、同一被写体が右目用画像に比べて左側にずれた画像である。また、「右目用画像」とは、人の右目に映る画像であり、同一被写体が左目用画像に比べて右側にずれた画像である。

即ち、人間は、左目用画像が左目の網膜に映り、右目用画像が右目の網膜に映り、例えば、図１（ａ），（ｂ）において、左右方向に距離ｄだけ離間しているラインＬ１，Ｌ２の各々は、左目用画像及び右目用画像において左右方向の同一位置にそれぞれ引かれている。しかしながら、左目用画像では、前景の車のサイドミラーはラインＬ１の位置に存在しているのに対して、右目用画像では、前景の車のサイドミラーはラインＬ１から距離ｄだけずれたラインＬ２の位置に存在している。このずれた距離ｄが視差であり、この視差の存在により、前景の車はあたかも前方に飛び出すように立体的に表示されている、と人間の脳内で認識されることになる。
３Ｄ画像においては、この視差が大きくなればなるほど、前方に飛び出す度合いが大きくなる。換言すると、視差のズレ量が大きい被写体が前景となり前方に飛び出すように表示され、視差のズレ量が小さい被写体が遠景となり後方に存在するように奥行きをもって表示される。

なお、本実施形態の説明に用いる３Ｄ画像の例は、車を被写体として撮像したような画像を用いる。詳細には、画像は、中央部分の手前側に車が位置し、車の奥側に木が位置している。即ち、画像は、木を背景にして車があるような構図である。

本発明に係る画像処理装置は、左目用画像及び右目用画像の各々について、遠景領域のみのデータに対して画像処理を施す。即ち、本発明に係る画像処理装置は、遠景領域に対して画像処理が施されている一方で近景領域に対して画像処理が施されていない左目用画像及び右目用画像の各々のデータを生成する。
図１以降を参照して後述する実施形態においては、画像処理として、例えば絵画調となるような絵画変換処理を施される。
その結果、図１（ｂ）に示すように、遠景領域（本例では被写体が木の領域）が絵画調になり、近景領域（本例では被写体が車の領域）が元のままになっている左目用画像及び右目用画像の各々のデータが生成される。
なお、以下、このように遠景領域が絵画調になり、近景領域が元のままになっている左目用画像及び右目用画像の各々を、遠景絵画左目用画像及び遠景絵画右目用画像の各々と呼ぶ。また、遠景絵画左目用画像及び遠景絵画右目用画像の各データをまとめて、「遠景絵画３Ｄ画像データ」と適宜呼ぶ。

このように、遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）を生成するための画像処理においては、左目用画像及び右目用画像のうち遠景領域のみが処理対象になる。このため、左目用画像及び右目用画像において、遠景領域と、それ以外の近景領域との区別が必要になる。このような遠景領域と近景領域の区別の手法は、特に限定されないが、左目用画像と右目用画像との視差を利用して、近景では視差が大きく（即ち、大きいズレが生じており）、遠景では視差が小さい（即ち、近景よりも生じているズレ量が小さい）という特性を利用した手法を採用することができる。具体的には、左目用画像と右目用画像との各々において、視差が一定以上存在する同一被写体の領域（一定以上ずれている同一被写体の領域）を近景とし、それ以外の領域を遠景とする手法を採用することができる。

本発明に係る画像処理装置は、遠景絵画左目用画像及び遠景絵画右目用画像の各々を表示することで、鑑賞者となるユーザの目には遠景絵画３Ｄ画像が表示されているように映る。即ち、ユーザの目には、図１（ｃ）に示すように、近景領域（同図の例では被写体が車である領域）があたかも前方に飛び出すように立体的に見える一方で、遠景領域（同図の例では被写体が木の領域）は後方で飛び出さずに奥の方に存在するように見えるが、絵画調になって見えることになる。このように、ユーザは、従来の単なる３Ｄ画像ではなく、遠景領域が絵画調になっているというアレンジが加えられた、より演出効果が高い遠景絵画３Ｄ画像を鑑賞することができる。

以下、図面を参照して、このような遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）を生成可能な画像処理装置、即ち、本発明の画像処理装置の一実施形態について説明する。

図２は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラして構成される。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図３は、このような画像処理装置１の機能的構成のうち、遠景絵画３Ｄ画像生成処理を実行するための機能的構成を示す機能ブロック図である。
遠景絵画３Ｄ画像生成処理とは、従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（以下、適宜「３Ｄ画像データ」ともいう）から、遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）を生成するまでの一連の処理をいう。
なお、本実施形態では、撮像部１６により取得された撮像画像のデータから従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データ）を生成する処理も、遠景絵画３Ｄ画像生成処理に含まれる。ただし、このような処理は、遠景絵画３Ｄ画像生成処理にとって必須ではなく、例えば、撮像部１６自体がステレオレンズを搭載している場合や、外部と通信等できる場合には、生成済みの左目用画像及び右目用画像の各データが得られるので不要になる。

画像処理装置１のＣＰＵ１１においては、遠景絵画３Ｄ画像生成処理が実行される場合には、３Ｄ画像生成部４１と、３Ｄ画像取得部４２と、差分算出部４３と、遠景近景分離部４４と、遠景絵画画像生成部４５と、遠景絵画３Ｄ画像生成部４６と、が機能する。
この場合、記憶部１９の一領域として設けられた３Ｄ画像記憶部４７が用いられる。

３Ｄ画像生成部４１は、取得した画像のデータから、従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データ）を生成する。本実施形態においては、３Ｄ画像生成部４１は、撮像部１６で撮像された１枚の画像のデータから、図１（ａ）に示すような視差が異なる２枚の左目用画像及び右目用画像の各データを生成する。
３Ｄ画像生成部４１により生成された左目用画像及び右目用画像の各データ（３Ｄ画像データ）は、３Ｄ画像記憶部４７に記憶される。

３Ｄ画像取得部４２は、従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データ）を３Ｄ画像記憶部４７から取得する。
差分算出部４３は、３Ｄ画像取得部４２により取得された左目用画像と右目用画像の各データ（３Ｄ画像データ）の差分値を算出する。差分算出部４３は、算出した差分値から、左目用画像と右目用画像のそれぞれ対応する領域毎又は画素毎に、視差を算出する。

遠景近景分離部４４は、左目用画像と右目用画像との差分値から割り出された各領域毎の視差の違いに基づいて、当該左目用画像と当該右目用画像との各々のデータから、近景部分画像と遠景部分画像の各データをそれぞれ分離する。
ここで、近景部分画像とは、左目用画像と右目用画像と同一解像度の画像であって、近景領域は元の画素値を有し（近景領域がそのまま存在し）、それ以外の領域が一定の画素値を有する画像、即ち近景領域のみが存在し、それ以外の領域が黒色等均一色となる画像をいう。
一方、遠景部分画像とは、左目用画像と右目用画像と同一解像度の画像であって、遠景領域は元の画素値を有し（遠景領域がそのまま存在し）、それ以外の領域が一定の画素値を有する画像、即ち遠景領域のみが存在し、それ以外の領域が黒色等均一色となる画像をいう。
左目用画像と右目用画像とのそれぞれの近景部分画像の各データは、遠景絵画３Ｄ画像生成部４６に供給される。一方、左目用画像と右目用画像とのそれぞれの遠景部分画像の各データは、遠景絵画画像生成部４５に供給される。

遠景絵画画像生成部４５は、遠景近景分離部４４から供給された左目用画像と右目用画像とのそれぞれの遠景部分画像の各データを処理対象として、処理対象に対して絵画変換処理を施す。このような一連の処理を、以下、「遠景絵画画像生成処理」と呼ぶ。また、遠景絵画画像生成処理の結果得られる遠景部分画像のデータを、「遠景絵画部分画像のデータ」と呼ぶ。
左目用画像と右目用画像とのそれぞれの遠景絵画部分画像の各データは、遠景絵画画像生成部４５から遠景絵画３Ｄ画像生成部４６に供給される。

遠景絵画３Ｄ画像生成部４６は、左目用画像と右目用画像のそれぞれについて、遠景絵画画像生成部４５により生成された遠景絵画部分画像のデータと、遠景近景分離部４４により分離された近景部分画像のデータを合成することによって、図１（ｂ）に示すような遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）を生成する。
このようにして生成された遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）は、３Ｄ画像記憶部４７に記憶される。

図４は、図３の遠景絵画画像生成部４５の詳細な機能的構成を示す機能ブロック図である。
遠景絵画画像生成部４５は、絵画変換部６１と、遠景絵画画像出力部６２とを備える。
絵画変換部６１は、遠景近景分離部４４から供給された左目用画像と右目用画像とのそれぞれの遠景部分画像の各データを処理対象として、処理対象に対して絵画変換処理を施すことによって、絵画変換された遠景部分画像の各データ、即ち遠景絵画部分画像のデータを生成する。ここで、絵画変換部６１が施す絵画変換処理は、特に限定されず、例えば、水彩画調、油彩画調、パステル画調、鉛筆画調等を採用することが可能である。
遠景絵画画像出力部６２は、絵画変換部６１により生成された各データ、即ち、左目用画像と右目用画像とのそれぞれについての遠景絵画部分画像の各データを出力して、遠景絵画３Ｄ画像生成部４６に供給する。

図５は、図３の機能的構成を有する図２の画像処理装置１が実行する遠景絵画３Ｄ画像生成処理の流れを説明するフローチャートである。
例えば、ユーザがシャッター釦（入力部１７の一構成要素）を押下することで、撮像部１６により撮像された撮像画像のデータが３Ｄ画像生成部４１に供給される。３Ｄ画像生成部４１は、撮像画像のデータから、従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データ）を生成して、３Ｄ画像記憶部４７に記憶する。
このようにして、従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データ）が３Ｄ画像記憶部４７に記憶されている状態で、ユーザによる入力部１７に対する所定の操作が行われると、遠景絵画３Ｄ画像生成処理が開始される。

ステップＳ１において、３Ｄ画像取得部４２は、図１（ａ）に示すような従来の３Ｄ画像表示用の左目用画像及び右目用画像の各データ（３Ｄ画像データであり、図５中３Ｄ画像と表記されたデータ）を取得する。

ステップＳ２において、差分算出部４３は、左目用画像と右目用画像の各データ（３Ｄ画像データ）について、それぞれ対応する領域又は画素毎に差分を抽出することにより、当該領域毎の視差を算出する。例えば、図１（ａ）の左目用画像と右目用画像の各データが処理対象となっている場合には、被写体（車や木）の領域毎に、それぞれ差分（ずれ量）が抽出されて、それぞれ視差が算出される。

ステップＳ３において、差分算出部４３は、左目用画像と右目用画像の各領域毎に、視差の大きさを示す差分量データを生成する。この差分量データは、例えば画像上で何画素分ずれているかを示す画素数等のデータであるものとする。

ステップＳ４において、遠景近景分離部４４は、左目用画像と右目用画像の各領域毎に、差分量データ（それが示す視差の大きさ）と比較すべき閾値による差分量データを分析する。即ち、遠景近景分離部４４は、左目用画像と右目用画像の各領域を順次処理対象として、処理対象の差分量データ（それが示す視差の大きさ）と閾値とを比較することによって、処理対象の領域が遠景領域であるのかそれとも近景領域であるのかを分析する処理を繰り返す。そして、遠景近景分離部４４は、各領域毎の分析結果に基づいて、左目用画像と右目用画像の各データから、近景部分画像と遠景部分画像の各データをそれぞれ分離する。

ステップＳ５において、遠景絵画画像生成部４５は、左目用画像と右目用画像のそれぞれについての近景部分画像と遠景部分画像の各データを処理対象として、遠景絵画画像生成処理を実行する。これにより、左目用画像と右目用画像のそれぞれについての近景絵画部分画像と遠景絵画部分画像の各データが得られる。なお、遠景絵画画像生成処理の詳細については、図６のフローチャートを用いて後述する。

ステップＳ６において、遠景絵画３Ｄ画像生成部４６は、左目用画像と右目用画像のそれぞれについて、遠景絵画部分画像と近景部分画像との各データの合成（図５中でいう左右遠近合成）をすることによって、図１（ｂ）に示すような遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）を生成する。
このようにして生成された遠景絵画左目用画像及び遠景絵画右目用画像の各データ（遠景絵画３Ｄ画像データ）が３Ｄ画像記憶部４７に記憶されると、遠景絵画３Ｄ画像生成処理は終了する。

次に、遠景絵画画像生成処理の流れについて図６を用いて説明する。
図６は、図５のステップＳ５の遠景絵画画像生成処理の詳細な流れを説明するフローチャートである。

ステップＳ５１において、絵画変換部６１は、遠景近景分離部４４から供給された左目用画像と右目用画像とのそれぞれの遠景部分画像の各データを取得する。
ステップＳ５２において、絵画変換部６１は、ステップＳ５１の処理で取得された遠景部分画像の各データを処理対象として、処理対象に対して絵画変換処理を施すことによって、絵画変換された遠景部分画像の各データ、即ち遠景絵画部分画像のデータを生成する。
ステップＳ５３において、遠景絵画画像出力部６２は、ステップＳ５２の処理で生成された各データ、即ち、左目用画像と右目用画像とのそれぞれについての遠景絵画部分画像の各データを出力して、遠景絵画３Ｄ画像生成部４６に供給する。なお、出力する画像は、絵画変換処理を施した左目用画像と右目用画像の遠景部分画像のうち、いずれか一方であってもよい。つまり、遠景絵画部分画像は、左目用及び右目用のどちらか一方の遠景部分画像を左目用及び右目用に出力し、左右どちらも同じ遠景絵画部分画像であってもよい。
これにより、遠景絵画画像生成処理は終了し、即ち図５のステップＳ５の処理は終了し、処理はステップＳ６に進む。

以上のように構成される画像処理装置１は、３Ｄ画像取得部４２と、遠景近景分離部４４と、遠景絵画画像生成部４５と、遠景絵画３Ｄ画像生成部４６とを備える。
３Ｄ画像取得部４２は、左右の視差を有する３Ｄ画像データを取得する。
遠景近景分離部４４は、３Ｄ画像取得部４２により取得された３Ｄ画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する。
遠景絵画画像生成部４５は、遠景近景分離部４４により分離された左右の画像のそれぞれの遠景領域に絵画変換処理を施して、少なくとも１つの遠景絵画画像のデータを生成する。
遠景絵画３Ｄ画像生成部４６は、左右の画像のそれぞれについて、遠景絵画画像生成部４５により生成された遠景絵画画像のデータと、遠景近景分離部４４により分離された近景領域についての近景部分画像のデータを合成することによって、遠景絵画３Ｄ画像データを生成する。
このように構成される画像処理装置１は、近景が立体的に表示される遠景絵画３Ｄ画像データを生成することができる。このため、３Ｄ画像において視覚的効果を持たせるための多彩な画像アレンジをユーザに提供することができる。

また、画像処理装置１は、３Ｄ画像データについての左右の画像について、それぞれ対応する領域の差分を算出する差分算出部４３と、を更に備える。
遠景近景分離部４４は、差分算出部４３により算出された差分に基づいて、３Ｄ画像データの左右の画像のそれぞれから、遠景領域と近景領域を分離する。
このように構成される画像処理装置１では、３Ｄ画像における遠景領域と近景領域との領域の差分が異なるという特性を利用して遠景領域と近景領域を分離するために、確実に遠景領域と近景領域とを分離することができる。

また、画像処理装置１は、３Ｄ画像生成部４１を備える。
３Ｄ画像生成部４１は、取得した１つの画像データから左右の視差を有する３Ｄ画像データを生成する。
このように構成される画像処理装置１では、１枚の画像から３Ｄ画像のデータを生成することができるために、取得する画像が３Ｄ画像でなくても遠景絵画３Ｄ画像データを生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、３Ｄ画像、即ち、静止画像により構成したがこれに限られず、動画像により構成してもよい。この場合、動画像を構成する各静止画像に対して、遠景絵画３Ｄ画像生成処理を施すことにより、動画像においても同様の表示が可能になる。
また、上述の実施形態では、遠景部分画像に絵画変換処理を施すようにしたが、これに限られず、近景部分画像に絵画変換処理を施すようにしてもよい。
また、上述の実施形態では、取得した左目用画像と右目用画像の各データ（３Ｄ画像データ）について、それぞれ対応する領域又は画素毎に差分を抽出するようにしたが、予め差分を示す情報、視差を示す情報、又は近景領域と遠景領域を示す情報が３Ｄ画像データに付加されている場合は、差分を抽出しなくてもよい。

また、上述の実施形態では、遠景部分を絵画調（例えば、油絵調）にしたがこれに限られず、例えば、エンボス調にする等の遠景を種々の画像処理により特殊な効果を与えてもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、遠景絵画３Ｄ画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
左右の視差を有する第１の３次元画像データを取得する取得手段と、
前記取得手段により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離手段と、
前記分離手段により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成手段と、
前記左右の画像のそれぞれについて、前記遠景画像生成手段により生成された前記遠景部分画像のデータと、前記分離手段により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記第１の３次元画像データについての左右の画像について、それぞれ対応する領域の差分を算出する算出手段を更に備え、
前記分離手段は、前記算出手段により算出された前記差分に基づいて、前記第１の３次元画像データの左右の画像のそれぞれから、遠景領域と近景領域を分離することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記遠景画像生成手段は、前記画像処理として、絵画調に変換する画像処理を実行する、
ことを特徴とする付記１又は２に記載の画像処理装置。
［付記４］
取得した１つの画像データから前記第１の３次元画像データを生成する生成手段をさらに備える、
ことを特徴とする付記１から３の何れか１つに記載の画像処理装置。
［付記５］
画像処理装置が実行する画像処理方法において、
左右の視差を有する第１の３次元画像データを取得する取得ステップと、
前記取得ステップの処理により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離ステップと、
前記分離ステップの処理により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成ステップと、
前記左右の画像のそれぞれについて、前記遠景画像生成ステップの処理により生成された前記遠景部分画像のデータと、前記分離ステップの処理により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成ステップと、
を備えることを特徴とする画像処理方法。
［付記６］
コンピュータを、
左右の視差を有する第１の３次元画像データを取得する取得手段、
前記取得手段の機能の発揮により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離手段、
前記分離手段の機能の発揮により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成手段、
前記左右の画像のそれぞれについて、前記遠景画像生成手段の機能の発揮により生成された前記遠景部分画像のデータと、前記分離手段の機能の発揮により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成手段、
として機能させることを特徴とするプログラム。

１・・・画像処理装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，４１・・・３Ｄ画像生成部，４２・・・３Ｄ画像取得部，４３・・・差分算出部，４４・・・遠景近景分離部，４５・・・遠景絵画画像生成部，４６・・・遠景絵画３Ｄ画像生成部，４７・・・３Ｄ画像記憶部，６１・・・絵画変換部，６２・・・遠景絵画画像出力部

Claims (6)

1. 左右の視差を有する第１の３次元画像データを取得する取得手段と、
   前記取得手段により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離手段と、
   前記分離手段により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成手段と、
   前記左右の画像のそれぞれについて、前記遠景画像生成手段により生成された前記遠景部分画像のデータと、前記分離手段により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の３次元画像データについての左右の画像について、それぞれ対応する領域の差分を算出する算出手段を更に備え、
   前記分離手段は、前記算出手段により算出された前記差分に基づいて、前記第１の３次元画像データの左右の画像のそれぞれから、遠景領域と近景領域を分離することを特徴とする請求項１に記載の画像処理装置。
3. 前記遠景画像生成手段は、前記画像処理として、絵画調に変換する画像処理を実行する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 取得した１つの画像データから前記第１の３次元画像データを生成する生成手段をさらに備える、
   ことを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
5. 画像処理装置が実行する画像処理方法において、
   左右の視差を有する第１の３次元画像データを取得する取得ステップと、
   前記取得ステップの処理により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離ステップと、
   前記分離ステップの処理により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成ステップと、
   前記左右の画像のそれぞれについて、前記遠景画像生成ステップの処理により生成された前記遠景部分画像のデータと、前記分離ステップの処理により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成ステップと、
   を備えることを特徴とする画像処理方法。
6. コンピュータを、
   左右の視差を有する第１の３次元画像データを取得する取得手段、
   前記取得手段の機能の発揮により取得された前記第１の３次元画像データについての左右の画像のそれぞれから、遠景領域と近景領域を分離する分離手段、
   前記分離手段の機能の発揮により分離された前記左右の画像のそれぞれの前記遠景領域に画像処理を施して、少なくとも１つの遠景部分画像のデータを生成する遠景画像生成手段、
   前記左右の画像のそれぞれについて、前記遠景画像生成手段の機能の発揮により生成された前記遠景部分画像のデータと、前記分離手段の機能の発揮により分離された前記近景領域についての近景部分画像のデータを合成することによって、第２の３次元画像データを生成する３次元画像データ生成手段、
   として機能させることを特徴とするプログラム。

Images