JP2013238927A - 画像処理装置、情報処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ユーザの意図に即した画像を生成することができる画像処理装置、情報処理装置及び画像処理方法を提供する。
【解決手段】本技術の一形態に係る画像処理装置は、補間処理部と、記憶部と、現像処理部とを具備する。上記補間処理部は、複数の視点画像に基づいて、上記複数の視点画像を補間する複数の補間画像を生成する。上記記憶部は、複数の現像パラメータを記憶する。上記現像処理部は、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと上記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する。
【選択図】図１４

Description

本技術は、例えば、複数の視点画像を処理することで所望とする画質の画像データを生成する画像処理装置、情報処理装置及び画像処理方法に関する。

近年、様々な撮像装置及び画像処理装置が提案されている。例えば下記特許文献１には、多視点からの撮像データに基づいて、被写体の任意の焦点に設定された再構築画像（リフォーカス画像）を生成することができる撮像装置が記載されている。また、例えば下記特許文献２には、取得した複数の視点画像から補間画像を生成する画像処理装置が記載されている。

特開２０１０−１８３３１６号公報 特開２０１１−１３９２０９号公報

近年におけるカメラの軽量化、小型化、薄型化が進む一方で、例えば撮影画像の高画質化等、ユーザの希望を満たした画像を取得できる技術が求められている。

以上のような事情に鑑み、本技術の目的は、ユーザの意図に即した画像を生成することができる画像処理装置、情報処理装置及び画像処理方法を提供することにある。

以上の目的を達成するため、本技術の一形態に係る画像処理装置は、補間処理部と、記憶部と、現像処理部とを具備する。
上記補間処理部は、複数の視点画像に基づいて、上記複数の視点画像を補間する複数の補間画像を生成する。
上記記憶部は、複数の現像パラメータを記憶する。
上記現像処理部は、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと上記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する。

上記画像処理装置によれば、大量の視点画像を用いたときと同様の画像生成が可能となる。これによりユーザの意図に即した被写体画像を容易に生成することができる。

上記記憶部には、上記複数の現像パラメータに相当する複数種の光学系が記憶されてもよい。この場合、上記現像処理部は、上記記憶部に記憶された上記複数種の光学系の中から１つの光学系を選択し、選択された光学系に上記光線ベクトルを入射させたときに取得される画像を上記被写体画像として生成する。
現像パラメータは例えばユーザにより選択される。これによりユーザの希望に合致した被写体画像を生成することができる。

上記補間処理部は、上記複数の視点画像に基づいて、被写体像のデプス情報を取得し、上記複数の視点画像と上記デプス情報とに基づいて、上記複数の補間画像を生成してもよい。これにより高画質の被写体画像を生成することができる。

上記画像処理装置は、通信部をさらに具備してもよい。上記通信部は、外部の情報処理装置から上記複数の視点画像を受信し、上記情報処理装置へ上記被写体画像を送信することが可能に構成される。このように演算負荷の大きい被写体画像の現像処理を上記情報処理装置とは別に実行することで、当該情報処理装置の負荷の軽減を図ることができる。

この場合、上記現像処理部は、上記通信部を制御することで、上記複数の現像パラメータの選択候補を上記情報処理装置へ送信し、かつ、選択された上記選択候補を上記情報処理装置から受信するように構成されてもよい。これにより、例えば、ユーザに対して利便性の高い現像サービスの提供が可能となる。

上記選択候補は、上記光学系を構成するレンズに関する情報、フォーカス位置及び絞り値の少なくとも１つを含んでもよい。これにより、ユーザに対してより利便性の高い現像サービスの提供が可能となる。

本技術の一形態に係る情報処理装置は、撮像部と、制御部とを具備する。
上記撮像部は、複数の視点画像を撮像可能に構成される。
上記制御部は、上記複数の視点画像に基づいて上記複数の視点画像を補間する複数の補間画像を生成し、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと、予め選択された現像パラメータとを用いて、被写体画像を現像する。

本技術の他の形態に係る情報処理装置は、通信部と、制御部とを具備する。
上記通信部は、サーバと通信可能に構成される。
上記制御部は、複数の視点画像とユーザによって選択された現像パラメータとをサーバへ送信するように上記通信部を制御可能である。上記制御部は、上記複数の視点画像および上記複数の視点画像を補間する複数の補間画像各々における光線ベクトルと、上記選択された現像パラメータとを用いて、上記サーバが生成した被写体画像を、上記サーバから受信するように上記通信部を制御可能である。

上記情報処理装置は、上記複数の視点画像を取得可能な撮像部をさらに具備してもよい。これにより、例えば撮影現場においてユーザの意図に即した画質の被写体画像を得ることができる。

本技術の一形態に係る画像処理方法は、多視点カメラを用いて複数の視点画像を取得することを含む。
上記複数の視点画像に基づいて、上記複数の視点画像を補間する複数の補間画像が生成される。
現像パラメータが選択される。
上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと、選択された上記現像パラメータとを用いて、被写体画像が現像される。

以上のように、本技術によれば、ユーザの意図に即した被写体画像を容易に生成することができる。

本技術の一実施形態におけるシステムの構成の概略を示す図である。 上記システムにおけるサーバのハードウェア構成を示した図である。 上記システムにおけるネットワーク端末のハードウェア構成を示したブロック図である。 上記システムにおける撮像装置を構成するカメラモジュールの一構成例を示す概略斜視図である。 上記撮像装置を構成するカメラアレイの概略斜視図である。 上記サーバが有するソフトウェアモジュールの構成を示したブロック図である。 上記カメラアレイにより取得される複数の視点画像を示す図である。 上記サーバにより生成される補間画像の一例を示す図である。 仮想的なレンズアレイを説明する概略斜視図である。 上記カメラアレイ単独で取得される各視点画像の光線ベクトルを示す概略図である。 上記複数の視点画像と複数の補間画像の光線ベクトルを有する仮想空間を示す概略図である。 図１１に示した仮想空間に現像パラメータとなる光学系を配置した概念図である。 上記光学系に入射した光線ベクトルを仮想イメージセンサでサンプリングする様子を示す概念図である。 サーバの基本的な処理手順を示すフローチャートである。 上記システムにおけるサーバ、ネットワーク端末及び撮像装置の基本的な動作の流れを示したシーケンス図である。 上記サーバ、ネットワーク端末及び撮像装置の処理フローを示すフローチャートである。 上記サーバ及びネットワーク端末の処理フローを示すフローチャートである。 上記サーバにより生成されるプレビュー画像及び現像パラメータの一例を示す模式図である。 本技術の他の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［システムのネットワーク構成］
図１は、本技術の一実施形態におけるシステムの構成の概略を示す図である。

同図に示すように、このシステムは、クラウド上のサーバ１００と、ユーザのネットワーク端末２００と、撮像装置３００とを有する。

ネットワーク端末２００は、典型的には、パーソナルコンピュータ（ＰＣ：Personal Computer）、スマートフォン、携帯電話機、タブレットＰＣ、ＰＤＡ（Personal Digital Assistant）等の情報処理装置である。

撮像装置３００は、静止画を撮影するデジタルスチルカメラ、動画を撮影するデジタルビデオカメラである。特に本実施形態では、撮像装置３００は、被写体の複数の視点画像を取得可能なカメラアレイを備える。

ネットワーク端末２００と撮像装置３００とは有線又は無線で通信可能であり、撮像装置３００で取得された被写体の撮像データがネットワーク端末２００に送信可能である。ネットワーク端末２００と撮像装置３００は、これらが一体となった携帯端末４００（図１）であってもよい。

サーバ１００とネットワーク端末２００、あるいは、サーバ１００と携帯端末４００とは、インターネット５０等のネットワークにより互いに通信可能とされている。

本システムにおいて、ネットワーク端末２００のユーザは、サーバ１００が提供する現像処理システムを利用可能である。サーバ１００は、後述するように、ネットワーク端末２００から送信される複数の視点画像データを基に、被写体画像を現像処理する等の画像処理装置としての機能を有する。

［サーバのハードウェア構成］
図２は、サーバ１００のハードウェア構成を示した図である。

同図に示すように、サーバ１００は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、入出力インターフェース１０５、及び、これらを互いに接続するバス１０４を備える。

ＣＰＵ１０１は、必要に応じてＲＡＭ１０３等にアクセスし、各種演算処理を行いながらサーバ１００の各ブロック全体を統括的に制御する制御部として機能する。ＲＯＭ１０２は、ＣＰＵ１０１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一次的に保持する。

入出力インターフェース１０５には、表示部１０６、操作受付部１０７、記憶部１０８、通信部１０９等が接続される。

表示部１０６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ(Organic Electro-Luminescence Display)、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。操作受付部１０７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１０７がタッチパネルである場合、そのタッチパネルは表示部１０６と一体となり得る。

記憶部１０８は、例えばＨＤＤ（Hard Disk Drive）やフラッシュメモリ（ＳＳＤ：Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１０８には、上記ＯＳや各種アプリケーション、各種データが記憶される。特に本実施形態では、記憶部１０８には、ネットワーク端末２００（又は携帯端末４００）から受信した被写体の複数の視点画像データが格納される。また、記憶部１０８は、現像処理に必要な複数の現像パラメータに相当する複数種の光学系を記憶する。

通信部１０９は、インターネット５０やＬＡＮに優先接続するためのＮＩＣや、無線通信用のモジュールであり、ネットワーク端末２００（又は携帯端末４００）との間の通信処理を担う。通信部１０９は、ネットワーク端末２００（又は携帯端末４００）から上記複数の視点画像を受信し、ネットワーク端末２００（又は携帯端末４００）へ現像した被写体画像を送信する。

［ネットワーク端末のハードウェア構成］
図３は、ネットワーク端末２００のハードウェア構成を示したブロック図である。

同図に示すように、ネットワーク端末２００は、ＣＰＵ２０１、ＲＡＭ２０２、不揮発性メモリ２０３、表示部２０４及び通信部２０５を有する。

ＣＰＵ２０１は、必要に応じてＲＡＭ２０２等にアクセスし、各種演算処理を行いながらネットワーク端末２００の各ブロック全体を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一次的に保持する。

不揮発性メモリ２０３は、例えばフラッシュメモリやＲＯＭであり、ＣＰＵ２０１に実行させるＯＳ、プログラム（アプリケーション）や各種パラメータなどのファームウェアを固定的に記憶する。また不揮発性メモリ２０３は、撮像装置３００により撮像された静止画像データ（写真データ）や動画像データを記憶する。写真データには、撮像装置３００を構成する多視点カメラにより取得された複数の視点画像データ等が含まれる。

表示部２０４は、例えばＬＣＤやＯＥＬＤであり、各種メニューやアプリケーションのＧＵＩ等を表示する。典型的には、表示部２０４は、タッチパネルと一体とされており、ユーザのタッチ操作を受け付け可能である。

通信部２０５は、ＷｉＦｉ（Wireless Fidelity）等の無線ＬＡＮ（IEEE802.11等）や移動通信用の３Ｇや４Ｇのネットワークを用いて、サーバ１００や撮像装置３００、近隣の他の携帯端末等と通信する。

［撮像装置の構成］
撮像装置３００は、複数のカメラモジュールを同一平面内にマトリクス状に配列したカメラアレイ（多視点カメラ）で構成される。図４は、カメラモジュール３１０の一構成例を示す概略斜視図であり、図５は、複数のカメラモジュール３１０を有するカメラアレイ３２０の概略斜視図である。

カメラモジュール３１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）センサ等の固体撮像素子で構成される。図５には、画角θ度のカメラモジュール３１０が同一平面内に９個配列された例が示されるが、カメラモジュール２１０の配列個数は勿論これに限られない。以下の説明では、図５に示すように９つのカメラモジュールをそれぞれカメラ１１、カメラ１２、カメラ１３、カメラ２１、カメラ２２、カメラ２３、カメラ３１、カメラ３２及びカメラ３３とも称する。

撮像装置３００は、個々のカメラモジュール３１０で被写体を同時に撮影することで、複数のカメラモジュール３１０各々の位置に応じた被写体の複数の視点画像を取得する。取得したこれらの視点画像データは、ネットワーク端末２００の通信部２０５を介して不揮発性メモリ２０３に格納され、あるいは通信部２０５を介してサーバ１００へ送信される。

なお、ネットワーク端末２００と撮像装置３００とが一体となった携帯端末４００のハードウェア構成としては、図３に示すように上記カメラアレイを内蔵する撮像部２０６が追加される。

［サーバのソフトウェアモジュール構成］
図６は、サーバ１００が有するソフトウェアモジュールの構成を示したブロック図である。同図に示すように、サーバ１００は、通信制御部１１１、補間処理部１１２、現像処理部１１３等を有する。

通信制御部１１１は、通信部１０９と協働して、ネットワーク端末２００（又は携帯端末４００）との間で各種情報をやり取りする。特に通信制御部１１１は、ネットワーク端末２００（又は携帯端末４００）から送信される被写体画像情報や各種現像パラメータの入力を受け付ける。また通信制御部１１１は、Ｗｅｂサーバにおけるフロントエンドと同様の機能を有してもよく、例えば、メインページの出力等の基本的なＷｅｂ動作を担当してもよい。

（補間処理部）
補間処理部１１２は、ネットワーク端末２００（又は携帯端末４００）から送信された複数の視点画像に基づいて、これら複数の視点画像を補間する複数の補間画像を生成する。補間処理部１１２は、隣り合う２つの視点画像から間の画像を補間技術により生成する。

図７は、撮像装置３００又は携帯端末の撮像部２０６に設けられたカメラアレイ２２０により取得される複数の視点画像を示す。カメラ画像１１はカメラ１１からの視点画像であり、カメラ画像１２はカメラ１２からの視点画像であり、カメラ画像１３はカメラ１３からの視点画像である。以下同様に、カメラ画像２１、カメラ画像２２、カメラ画像２３、カメラ画像３１、カメラ画像３２及びカメラ画像３３はそれぞれ、カメラ２１、カメラ２２、カメラ２３、カメラ３１、カメラ３２及びカメラ３３からの視点画像である。

補間処理部１１２は、これら複数のカメラ画像の間に位置する複数の補間画像を生成する。すなわち補間処理部１１２は、カメラ画像１１とカメラ画像１２とを結ぶ直線上に位置する補間画像０２を生成する。同様に、補間処理部１１２は、カメラ画像１１とカメラ画像２２とを結ぶ直線上に位置する補間画像０８を生成する。補間画像２７は、補間画像２５と補間画像２９、あるいは、補間画像０２と補間画像３５とが生成された後、生成される。

以上のようにして補間処理部１１２は、図８に示すように、カメラ画像１１〜３３の間を補間する複数の補間画像０１〜補間画像７２を生成する。上記の例では、補間処理部１１２がカメラ間に補間画像を３枚ずつ生成する例が説明されたが、補間画像の数はこの例に限られない。補間画像の数は、最終的に生成される被写体画像の画質や品質、あるいは演算時間、演算コスト等を考慮して自由に設定される。

補間画像０１〜０７２を生成することによって、図９に示すような多数のカメラモジュールを有するカメラアレイ３３０で撮影したときに近い画像情報（光線情報）を、僅かなカメラモジュール数のカメラアレイ２２０で得ることができる。ここで、１枚の被写体画像の解像度を横ａピクセル、縦ｂピクセルとし、そのような画像がｍ行ｎ列得られたとすると、角度や通過位置の異なる光線情報が、ａ×ｂ×ｍ×ｎの数だけサンプリングできたことになる。

補間画像の生成方法は、特に限定されない。本実施形態では、補間処理部１１２は、複数の視点画像に基づいて、被写体像のデプス情報（奥行き情報）を取得し、複数の視点画像とデプス情報とに基づいて、複数の補間画像を生成する。

デプス情報は、１つの視点画像において、その左右や上下で複数のステレオマッチングを行うことで取得される。ステレオマッチングは、ある方向（例えば水平方向）に沿って視差の異なる複数の視点画像を用いた画像処理によって画像の奥行き情報を取得する距離算出用のアルゴリズムをいう。具体的には、２つの視点画像同士を局所領域で逐次比較していくことにより、視点画像間の位相差（ディスパリティ）を求め、この位相差に基づいて距離を算出する。デプス情報の取得方法はこの例に限られず、他のブロックマッチング法が採用されてもよい。

（現像処理部）
現像処理部１１３は、複数の視点画像および複数の補間画像各々における光線ベクトルと、複数の現像パラメータから選択されたパラメータとを用いて、被写体像を現像（再構築）する。

カメラアレイ３２０で取得された複数の視点画像と、補間処理部１１２で生成された複数の補間画像とには、被写体像の各々の視点からの光学ベクトル情報が含まれている。図１０は、カメラアレイ３２０単独で取得される各視点画像の光線ベクトル４１０を示す概略図であり、図１１は、複数の視点画像と、補間処理により生成された複数の補間画像の光線ベクトル４２０を有する仮想空間を示す概略図である。

現像処理部１１３は、これらの光線ベクトル情報と、ユーザによって選択された現像パラメータとを用いた光学シミュレーションを実行することで、被写体像を生成する。光学シミュレーションの実行プラグラムやユーザによって選択可能な複数種の現像パラメータは、サーバ１００の記憶部１０８に格納されている。

記憶部１０８は、複数の現像パラメータに相当する複数種の光学系を記憶する。現像パラメータとしては、レンズの設計情報（レンズ形状、配置、材質、コーティング等）、フィルタ、フォーカス位置、絞り値、ホワイトバランス、露出補正値などが含まれ、これらのうちの１つ又は複数のパラメータがユーザによって選択される。これにより、ユーザの意図した現像条件で被写体像の現像が可能となる。

上述のように記憶部１０８は、複数の現像パラメータに相当する複数種の光学系を記憶する。現像処理部１１３は、記憶部１０８に記憶された複数種の光学系の中から１つの光学系を選択し、選択された光学系に光線ベクトルを入射させたときに取得される画像を被写体画像として生成する。

図１２は、光線ベクトル４２０を有する仮想空間に現像パラメータとなる光学系（仮想レンズ４３０、絞り４３１）を配置した概念図である。図１３は、光学系４３０，４３１に入射した光線ベクトル４２０を仮想イメージセンサ４４０でサンプリングする様子を示す概念図である。

例えば、ある一眼レフカメラ用に開発された交換レンズの光学設計情報があれば、その交換レンズの開口面に降り注ぎ、内部に侵入する光線のみをａ×ｂ×ｍ×ｎの光線情報から選択し、それらの光線が最終的に仮想の撮像素子のどの位置に到達するかを光学シミュレーションにより求める。仮想の撮像素子で検出される各ピクセルの色と輝度は、各々のピクセルに到達した光線や、その周辺に到達した光線から確率的類推により求める。このように高密度の光線情報があれば、撮影後に何度でも任意のレンズでフォーカス位置や絞りを変更して仮想的な撮影が行えることになるとともに、現像パラメータを変えた画像の再構築が可能となる。

現像パラメータは、ユーザの指示により決定される。本実施形態において現像処理部１１３は、通信部１０９を制御することで、複数の現像パラメータの選択候補をネットワーク端末２００（又は携帯端末４００）へ送信し、かつ、選択された選択候補をネットワーク端末２００（又は携帯端末４００）から受信する。

（サーバの処理手順のまとめ）
図１４は、サーバ１００の基本的な処理手順を示すフローチャートである。

サーバ１００は、ネットワーク端末２００（又は携帯端末４００）から複数の視点画像を受信するステップ（ＳＴ１１）と、画像の奥行き（デプス）情報を取得するステップ（ＳＴ１２）と、補間画像を生成するステップ（ＳＴ１３）と、被写体画像を現像し、ネットワーク端末２００（又は携帯端末４００）へ送信するステップ（ＳＴ１４）とを有する。補間画像を生成するステップは、複数の視点画像に基づいて、複数の視点画像を補間する複数の補間画像を生成する。被写体像の現像ステップは、複数の視点画像および複数の補間画像各々における光線ベクトルと、選択された現像パラメータとを用いて、被写体画像を現像する。

［システムの動作］
次に、以上のように構成されたシステムの詳細を、サーバ１００、ネットワーク端末２００及び撮像装置３００の動作とともに説明する。本実施形態において、サーバ１００及びネットワーク端末２００における動作は、ＣＰＵと、その制御下において実行される上記各ソフトウェアモジュールとで協働して行われる。

図１５は、サーバ１００、ネットワーク端末２００及び撮像装置３００の基本的な動作の流れを示したシーケンス図である。図１６は、サーバ１００、ネットワーク端末２００及び撮像装置３００の処理フローを示すフローチャートであり、図１７は、サーバ１００及びネットワーク端末２００の処理フローを示すフローチャートである。

撮像装置３００は、ユーザによりシャッタが押されたかどうかを判定し（ステップ３０１）、シャッタが押されるとカメラアレイ３２０によってＮ視点（本実施形態では９視点）の被写体画像を同時に撮影する（ステップ３０２）。

続いて撮像装置３００は、取得された複数の視点画像を隣り合う視点画像間の相関を利用して圧縮し（ステップ３０３）、更に、ネットワーク端末２００へ画像転送要求を有線又は無線で送信する（ステップ３０４）。画像転送要求の送信は、ネットワーク端末２００において当該転送要求が受理されるまで繰り返される（ステップ３０５）。

ネットワーク端末２００は、通信部２０５を介して、撮像装置３００からの画像転送要求を受信する。ネットワーク端末２００は、当該画像転送要求を受信したとき、撮像装置に転送許可を送信する（ステップ４０１，４０２）。撮像装置３００は、ネットワーク端末２００からの転送許可を受信した後、ネットワーク端末２００に圧縮画像を有線又は無線で送信する（ステップ３０６）。撮像装置３００は、電源オフ操作を受けるまで上記処理を実行する（ステップ３０７）。

ネットワーク端末２００は、通信部２０５を介して、撮像装置３００から複数の視点画像の圧縮画像を受信する（ステップ４０３）。ネットワーク端末２００は、受信した圧縮画像を不揮発性メモリ２０３へ格納する。ネットワーク端末２００は、通信部２０５を介して、サーバ１００へ上記圧縮画像をアップロード（送信）する（ステップ４０４）。

視点画像の圧縮処理は、例えば、動画圧縮のアルゴリズムを利用することができる。撮像装置３００で取得された複数の視点画像は、圧縮せずに、ネットワーク端末２００へ送信されてもよい。視点画像を圧縮することで、ネットワーク端末２００へ送信されるデータ量を抑えることができる。また、圧縮画像の生成は、ネットワーク端末２００で行ってもよい。これにより撮像装置３００の処理負荷を低減することができる。

一方、サーバ１００は、通信部１０９を介して記憶部１０８へ圧縮画像がアップロードされたかどうかを判定する（ステップ５０１）。サーバ１００は、アップロードされた圧縮画像を確認後、当該圧縮画像を解凍して元のＮ視点の視点画像に戻し、記憶部１０８へ格納する（ステップ５０２）。

次にサーバ１００は、ネットワーク端末２００の表示部２０４に表示するための低解像度のプレビュー画像を生成する（ステップ５０３）。プレビュー画像は、ネットワーク端末２００から送信されたＮ視点の視点画像を基に生成される。サーバ１００は、プレビュー画像の生成後、通信部２０５を介して、ネットワーク端末２００へプレビュー画像が用意できたことを送信する（ステップ５０４）。

ネットワーク端末２００は、サーバ１００へ圧縮画像を送信した後、サーバ１００においてプレビュー画像が生成されたかどうかを確認する（ステップ４０５）。ネットワーク端末２００は、サーバ１００からのプレビュー画像の送信用意完了の通知を受けて、サーバ１００からプレビュー画像を受信する（ステップ４０６）。受信されたプレビュー画像は、ネットワーク端末２００の表示部２０４に表示され、ユーザにより、現像される画像の確認が行われる。

プレビュー画像は、上述のようにサーバ１００で生成される場合に限られず、例えば、ネットワーク端末２００で生成されてもよい。また、プレビュー画像は、１枚だけ生成されてもよいし、現像パラメータを変えた幾つかのサンプル画像が生成されてもよい。

サーバ１００は、プレビュー画像の送信時又は送信後に、現像パラメータをネットワーク端末２００に送信し、ネットワーク端末２００は、送信された現像パラメータを表示部２０４に表示する（ステップ４０７）。これにより、ユーザに対して利便性の高い現像サービスの提供が可能となる。

現像パラメータは、例えば、プレビュー画像の重畳されたＧＵＩ（Graphical User Interface）であってもよい。ネットワーク端末２００は、ユーザによる選択操作を受けて、ユーザの意図する現像パラメータを設定する（ステップ４０８）。プレビュー画像として複数のサンプル画像が用意されている場合、ネットワーク端末２００は、選択された現像パラメータに近いプレビュー画像に表示画面を変更してもよい（ステップ４０９）。現像パラメータの設定が完了した後、ネットワーク端末２００は、サーバ１００へ当該現像パラメータを送信する（ステップ４１０，４１１）。

図１８は、表示部２０４に表示されたプレビュー画像Ｐｖ及び現像パラメータの一例を示す模式図である。この例では、表示部２０４は、タッチパネルを有し、ユーザＵのタッチ操作によって現像パラメータの選択が可能に構成される。現像パラメータとしては、レンズユニットの選択候補ＤＬ、絞り形状の選択候補ＤＡ、フォーカス位置設定部ＤＦ等が表示される。

レンズユニットの選択候補ＤＬは、現像に使用可能な幾つかの光学レンズユニットのプロファイルデータが図形表示され、ユーザＵのタッチ操作により選択される。絞り形状の選択候補ＤＡは、現像に使用可能な幾つかの絞り形状が図形表示され、ユーザＵのタッチ操作により選択される。フォーカス位置設定部ＤＦは、設定バーＦｂを図において上下方向に移動させることで、画像内におけるフォーカス位置を設定する。フォーカス位置は、画面内におけるユーザＵのタッチ位置で設定されてもよい。この場合、タッチ位置に連動して設定バーが移動してもよい。

レンズユニットの選択候補ＤＬは、現在流通しているレンズユニットだけでなく、希少価値の高い幻のレンズや、物理的に作り得ない仮想的なレンズなど様々なプロファイルデータが用意可能である。そこで、利用者が魅力を感じる特殊なレンズで画像の再構築を行う場合には、そのプロファイルデータの利用料を徴収するようにしてもよい。

現像パラメータの選択画像（ＤＬ，ＤＡ，ＤＦ）は、表示部２０４の画面内のどの位置に表示されてもよい。また現像パラメータとして、ホワイトバランスや露出補正値等を調整可能なＧＵＩが共に表示されてもよい。あるいは、現像パラメータの中には、有料のパラメータが設定されてもよい。さらに、現像パラメータの選択は、ユーザによるタッチ操作で行われる場合に限られず、マウス操作により画面内を移動するポインタの移動及び選択操作で行われてもよい。

一方、ネットワーク端末２００は、選択した現像パラメータとは異なる現像パラメータで被写体画像の生成をユーザが要求する場合、設定された現像パラメータとは異なる現像パラメータの選択を受け付けてもよい（ステップ４１２）。この場合、新しく設定された現像パラメータが、上述した処理を経てサーバ１００へ送信される（ステップ４０８〜４１１）。

サーバ１００は、ネットワーク端末２００から現像パラメータを受信した後、当該現像パラメータに従って高解像度の最終画像を生成する（ステップ５０６）。最終画像の生成には、図１４に示したようにデプス情報取得、補間画像生成の各工程（ステップ１２，１３）と、視点画像及び補間画像における光線ベクトル情報と選択された現像パラメータとを用いた被写体像の現像工程（ステップ１４）を経て、生成される。すなわちサーバ１００は、アップロードされた複数の視点画像を補間処理して高密度の光線情報に変換し、更に、設定されたレンズのプロファイルデータ等の現像パラメータを用いた光学シミュレーションを実行し、最終画像を生成する。

サーバ１００は、最終画像（被写体画像）が生成できたことをネットワーク端末２００へ通知する（ステップ５０７）。ネットワーク端末２００は、サーバ１００からの当該通知を受けて、生成された最終画像をダウンロードする（ステップ４１４，４１５）。ネットワーク端末２００は、ダウンロードした最終画像を表示部２０４へ表示し、ユーザに画像の鑑賞を可能とする（ステップ４１６）。ネットワーク端末２００は更にユーザへ当該画像の保存の要否を確認する（ステップ４１７）。保存の要否の選択は、表示部２０４に表示させてもよい。

ネットワーク端末２００は、ユーザにより選択された現像パラメータが有料の現像パラメータである場合は、表示部２０４に課金の承諾を求めるメッセージを表示する（ステップ４１８，４１９）。ユーザが課金に承諾した場合、必要な電子決済処理を済ませて、ダウンロードした最終画像をネットワーク端末２００の不揮発性メモリ２０３又はサーバ１００の記憶部１０８へ保存する（ステップ４２１）。一方、現像パラメータが課金対象のものでなければ、料金を徴収することなく、上記保存処理が実行される。

サーバ１００は、異なる種類の現像パラメータが再受信した場合、上述の処理を再実行して最終画像を生成する（２回目の現像）。この場合、ネットワーク端末２００は上述の処理を再実行して、必要に応じた最終画像の保存、電子決済処理を実行する。

以上のように本実施形態において、サーバ１００は、補間処理部１１２と現像処理部１１３とを有する画像処理装置として構成される。上記画像処理装置によれば、大量の視点画像を用いたときと同様の画像生成が可能となる。これによりユーザの意図に即した被写体画像を容易に生成することができる。

本実施形態においては、クラウド上のサーバ１００を利用して、撮像装置３００で撮影した被写体像を現像するようにしている。これにより、サーバ１００で行われる補間処理や現像処理といった膨大な演算処理が撮像装置において不要となり、撮像装置の低コスト化、低消費電力化を実現することができる。また、撮像装置３００と、ビューアの役目を果たすネットワーク端末２００とを分離したので、持ち運びの容易な撮像装置を用いた柔軟な撮影が可能となる。

本実施形態によれば、被写体の撮影後に、フォーカスの位置や絞りを設定できるため、ピントがぼけたり、被写界深度の設定にミスがあったりした場合でも、ユーザの意図する高画質の被写体画像を得ることができる。

本実施形態によれば、現像に必要な現像パラメータがサーバ１００に複数用意されているため、重くて嵩張る交換レンズを持ち歩かなくても、撮影後に幾つもの交換レンズで撮影したのと同様の画像を取得することができる。さらに、撮像装置３００に重くて嵩張るレンズユニットを装備する必要がなくなるため、小型、軽量、薄型の撮像装置でも高画質の写真撮影が可能となる。

図１９は、本技術の他の実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

本実施形態では、第１の実施形態で説明したシステムを一台の情報処理装置５００で構成した例を説明する。情報処理装置５００は、撮像部５１０、表示部５２０、記憶部５３０、通信部５４０及びＣＰＵ５５０を有する。

撮像部５１０は、第１の実施形態で説明した撮像装置３００あるいは撮像部２０６に相当し、複数の視点画像を撮像可能な多視点カメラを有する。

表示部５２０は、撮像部５１０で取得された複数の視点画像を基に生成される被写体のプレビュー画像の表示、現像パラメータの設定、ＣＰＵ５５０の演算処理により生成される被写体像の最終画像の表示等に用いられる。

記憶部５３０は、撮像部５１０で取得された複数の視点画像、複数の現像パラメータ、ＣＰＵ５５０の演算処理により生成される補間画像及び最終画像等を記憶する。記憶部５３０に格納される現像パラメータは、通信部５４０を介してダウンロードされてもよいし、現像パラメータを格納したメモリーカードから読み出されてもよい。

通信部５４０は、ネットワーク上のサーバ装置や外部のネットワーク端末との通信が可能に構成される。

ＣＰＵ５５０は、撮像部５１０、表示部５２０、記憶部５３０、通信部５４０の動作を制御する。ＣＰＵ５５０は、上記複数の視点画像に基づいて当該複数の視点画像を補間する複数の補間画像を生成する。ＣＰＵ５５０は、上記複数の視点画像および上記複数の補間画像各々における光線ベクトルと、記憶部５３０に記憶されユーザにより選択された現像パラメータとを用いて、被写体画像を現像する。ＣＰＵ５５０における視点画像の補間処理、現像処理等は、上述の第１の実施形態において説明したサーバ１００の処理と同様であるため、ここでは説明を省略する。

本実施形態の情報処理装置５００においても、上述の第１の実施形態と同様の作用効果を得ることができる。

以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば以上の実施形態では、プレビュー画像としてＮ視点の視点画像を用いた低解像度のプレビュー画像が生成されたが、補間処理実行後の高解像度の画像データを用いて当該プレビュー画像が生成されてもよい。

また、現像パラメータの設定方法として、ＧＵＩを用いた選択操作に限られず、数値の入力操作を伴うアナログ的なパラメータ設定も可能である。

また、サーバ１００の記憶部１０８に格納される現像パラメータのレンズ設計情報について、汎用的に用いられるレンズ設計情報はクラウドサーバ１００で管理し、ネットワーク端末２００ではレンズの名称または型番で管理、選択されてもよい。

さらに、レンズの設計情報をメモリーカードに記録しておき、当該メモリーカードを撮像装置３００またはネットワーク端末２００に挿入することで、必要な現像パラメータを設定するようにしてもよい。

以上の実施形態では、複数の視点画像からユーザの指定した光学系で被写体画像を再構築する例を説明したが、複数の視点画像から３次元（３Ｄ）画像を生成してもよい。

また以上の実施形態では、視点画像の補間処理及び現像処理をサーバ１００で行うようにしたが、これに限られず、上記視点画像の補間処理及び現像処理をネットワーク端末２００で行ってもよい。

なお、本技術は以下のような構成も採ることができる。
（１）複数の視点画像に基づいて、前記複数の視点画像を補間する複数の補間画像を生成する補間処理部と、
複数の現像パラメータを記憶する記憶部と、
前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと前記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する現像処理部と
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
前記記憶部は、前記複数の現像パラメータに相当する複数種の光学系を記憶し、
前記現像処理部は、前記記憶部に記憶された前記複数種の光学系の中から１つの光学系を選択し、選択された光学系に前記光線ベクトルを入射させたときに取得される画像を前記被写体画像として生成する
画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、
前記補間処理部は、前記複数の視点画像に基づいて、被写体像のデプス情報を取得し、前記複数の視点画像と前記デプス情報とに基づいて、前記複数の補間画像を生成する
画像処理装置。
（４）上記（１）〜（３）のいずれか１つに記載の画像処理装置であって、
情報処理装置から前記複数の視点画像を受信し、前記情報処理装置へ前記被写体画像を送信することが可能な通信部をさらに具備する
画像処理装置。
（５）上記（４）に記載の画像処理装置であって、
前記現像処理部は、前記通信部を制御することで、前記複数の現像パラメータの選択候補を前記情報処理装置へ送信し、かつ、選択された前記選択候補を前記情報処理装置から受信する
画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
前記選択候補は、前記光学系を構成するレンズに関する情報、フォーカス位置及び絞り値の少なくとも１つを含む
画像処理装置。
（７）複数の視点画像を撮像可能な撮像部と、
前記複数の視点画像に基づいて前記複数の視点画像を補間する複数の補間画像を生成し、前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、予め選択された現像パラメータとを用いて、被写体画像を現像する制御部と
を具備する情報処理装置。
（８）サーバと通信可能な通信部と、
複数の視点画像とユーザによって選択された現像パラメータとをサーバへ送信し、
前記複数の視点画像および前記複数の視点画像を補間する複数の補間画像各々における光線ベクトルと、前記選択された現像パラメータとを用いて、前記サーバが生成した被写体画像を、前記サーバから受信する
ように前記通信部を制御可能な制御部と
を具備する情報処理装置。
（９）上記（８）に記載の情報処理装置であって、
前記複数の視点画像を取得可能な撮像部をさらに具備する
情報処理装置。
（１０）多視点カメラを用いて複数の視点画像を取得し、
前記複数の視点画像に基づいて、前記複数の視点画像の間を補間する複数の補間画像を生成し、
現像パラメータを選択し、
前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、選択された前記現像パラメータとを用いて、被写体画像を現像する
画像処理方法。

１００…サーバ
１０８…記憶部
１１２…補間処理部
１１３…現像処理部
２００…ネットワーク端末
３００…撮像装置
５００…情報処理装置

Claims (10)

1. 複数の視点画像に基づいて、前記複数の視点画像を補間する複数の補間画像を生成する補間処理部と、
   複数の現像パラメータを記憶する記憶部と、
   前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと前記複数の現像パラメータから選択されたパラメータとを用いて、被写体画像を現像する現像処理部と
   を具備する画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記記憶部は、前記複数の現像パラメータに相当する複数種の光学系を記憶し、
   前記現像処理部は、前記記憶部に記憶された前記複数種の光学系の中から１つの光学系を選択し、選択された光学系に前記光線ベクトルを入射させたときに取得される画像を前記被写体画像として生成する
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記補間処理部は、前記複数の視点画像に基づいて、被写体像のデプス情報を取得し、前記複数の視点画像と前記デプス情報とに基づいて、前記複数の補間画像を生成する
   画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   情報処理装置から前記複数の視点画像を受信し、前記情報処理装置へ前記被写体画像を送信することが可能な通信部をさらに具備する
   画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記現像処理部は、前記通信部を制御することで、前記複数の現像パラメータの選択候補を前記情報処理装置へ送信し、かつ、選択された前記選択候補を前記情報処理装置から受信する
   画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記選択候補は、前記パラメータに相当する光学系を構成するレンズに関する情報、フォーカス位置及び絞り値の少なくとも１つを含む
   画像処理装置。
7. 複数の視点画像を撮像可能な撮像部と、
   前記複数の視点画像に基づいて前記複数の視点画像を補間する複数の補間画像を生成し、前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、予め選択された現像パラメータとを用いて、被写体画像を現像する制御部と
   を具備する情報処理装置。
8. サーバと通信可能な通信部と、
   複数の視点画像とユーザによって選択された現像パラメータとをサーバへ送信し、
   前記複数の視点画像および前記複数の視点画像を補間する複数の補間画像各々における光線ベクトルと、前記選択された現像パラメータとを用いて、前記サーバが生成した被写体画像を、前記サーバから受信する
   ように前記通信部を制御可能な制御部と
   を具備する情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記複数の視点画像を取得可能な撮像部をさらに具備する
   情報処理装置。
10. 多視点カメラを用いて複数の視点画像を取得し、
    前記複数の視点画像に基づいて、前記複数の視点画像を補間する複数の補間画像を生成し、
    現像パラメータを選択し、
    前記複数の視点画像および前記複数の補間画像各々における光線ベクトルと、選択された前記現像パラメータとを用いて、被写体画像を現像する
    画像処理方法。

Images