JP2014086968A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】画像処理装置において、ライトフィールド画像を、汎用性のある復号装置で復号できるフォーマットで効率よく符号化すること。
【解決手段】画像処理装置は、被写体から発出した光の位置と方向を特定可能な情報を含むライトフィールド画像を取得するライトフィールド画像取得手段１４１と、取得したライトフィールド画像から、画像間の相関が高い画像セットを生成する画像生成手段１４２と、生成した前記画像セットの各画像を動画のフレームとして出力する動画化手段１４３と、前記動画化手段１４３から出力される前記画像セットの各画像を動画として符号化する動画符号化手段１４４と、を備える。
【選択図】図１

Description

本発明は画像処理装置とくにライトフィールド画像の処理を行う画像処理装置、画像処理方法及びプログラムに関する。

プレノプティックカメラ（Plenoptic Camera）で撮像されたライトフィールド（light field）画像を用いて、撮影後にピント位置、絞り設定等を変更した画像を生成する撮像装置及び方法は既に知られている（例えば、特許文献１参照）。なお、ライトフィールド画像とは、通常画像である光線の位置に加え、光線の向きについての情報も持った画像である。
ライトフィールド画像は、最終的に生成される、ピント位置、絞り等が設定される画像に比べ、一般に画素数が多く、データ量が大きいという問題がある。そのため、通常の静止画像の符号化方法では十分でなく、ライトフィールド画像にとくに適合した、つまり専用の符号化処理手段が必要である。

既に知られたライトフィールド画像の符号化処理手段は、ライトフィールド画像に専用の符号化アルゴリズムを使用している。この符号化処理手段は、高い符号化効率が得られる反面、符号化されたライトフィールド画像を扱うために専用の復号装置、ソフトウェアを必要とするため、ユーザにとっては、ライトフィールド画像の活用がしづらいという問題がある。

本発明は、前記従来の問題に鑑みてなされたものであって、ライトフィールド画像の活用にあたって、従来のように、専用の復号装置やソフトウェアを必要とせず、ライトフィールド画像を汎用性のある復号装置などで復号できるフォーマットで効率よく符号化することを目的とする。

本発明は、被写体から発出した光の位置と方向を特定可能な情報を含むライトフィールド画像を取得するライトフィールド画像取得手段と、取得したライトフィールド画像から、画像間の相関が高い画像セットを生成する画像生成手段と、生成した前記画像セットの各画像を動画のフレームとして出力する動画化手段と、前記動画化手段から出力される前記画像セットの各画像を動画として符号化する動画符号化手段と、を備えた画像処理装置である。

本発明によれば、ライトフィールド画像の活用にあたって、従来のように、専用の復号装置やソフトウェアを必要とせず、ライトフィールド画像を汎用性のある復号装置などで復号できるよう、視差画像を生成してこれを動画化することで効率よく符号化することができる。

図１Ａは、本発明の画像処理装置の実施形態である、ライトフィールド画像の符号化システムを概略的に示すブロック図であり、図１Ｂは、図１Ａの画像処理ブロックの内部構造を示すブロック図である。 図２Ａは、プレノプティックカメラの光学系を模式的に示す図であり、図２Ｂは、図２Ａの円で囲ったマイクロレンズアレイの一部拡大図である。 図３Ａはマイクロレンズアレイの正面図であり、図３Ｂは各マイクロレンズアレイに対応する撮像素子の画素ブロックの正面図である。 第１の実施形態における画像処理の手順を説明するフロー図である。 視差画像生成の手順を示すフロー図である。 位置座標（ｕ、ｖ）毎に生成した複数の視差画像を、それぞれの位置座標（ｕ、ｖ）に従って並べた図である。 フレーム順と位置座標（ｕ、ｖ）を指定するフレーム順指定表である。 第２の実施形態の視差画像生成および動画化のための処理手順を示すフロー図である。 第３の実施形態の視差画像生成および動画化の処理手順を示すフロー図である。 第４の実施形態の光学系の構成について説明する図である。

（第１の実施形態）
次に、本発明の画像処理装置の実施形態について図面を参照して説明する。
図１Ａは、本発明の画像処理装置の実施形態である、ライトフィールド画像の符号化システムを概略的に示すブロック図である。
このライトフィールド画像の符号化システムは、以下で説明する他の実施形態も含め、図１Ａに示すように、コントローラ１と、コントローラ１に接続された撮像素子２、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)３、外部ストレージ４とを備えている。
コントローラ１は、ＣＰＵ(Central Processing Unit)１１、ＳＲＡＭ（Static Random Access Memory）１２、ＲＯＭ(Read Only Memory）１３、画像処理ブロック１４、ＳＤＲＡＭＩ／Ｆ（interface）１５、外部ストレージＩ／Ｆ１６を備えている。

電子カメラ（ここではプレノプティックカメラ）による撮影時、撮像素子２によってデジタル化された画像データは、コントローラ１の画像処理ブロック１４に入力される。入力された画像データは、画像処理ブロック１４、ＣＰＵ１１、ＳＲＡＭ１２、ＳＤＲＡＭ３等を使って画像処理され、最終的に外部ストレージ４に保存される。

図１Ｂは、図１Ａの画像処理ブロック１４の内部構造を示すブロック図である。
画像処理ブロック１４は、ＣＰＵ１１にＲＯＭ１３に格納されたプログラムを読み込ませることで実現する機能実現手段である。画像処理ブロック１４は、具体的には、ライトフィールド画像取得手段１４１と、画像生成手段１４２と、動画化手段１４３と、動画符号化手段１４４と、高解像度化処理手段１４５と、から成っている。

ここで、ライトフィールド画像取得手段１４１は、プレノプティックカメラの光学系から或いは外部ストレージ４から撮影したライトフィールド画像を取得する。
画像生成手段１４２は、ライトフィールド画像取得手段１４１で取得した光の位置と方向を特定可能な情報に基づき、異なる光の位置毎に、当該位置を通過する光の前記情報を集めて、取得したライトフィールド画像から複数の画像間の相関が高い、例えば視差画像を生成する。

動画化手段１４３は、画像生成手段１４２で生成した視差画像の各画像に対し、後述するフレーム順指定表に従って、各視差画像間の相関が高くなるように順位を付した相関画像を生成する。また、動画化手段１４３は、生成した複数の相関画像から、相関が高い順に画像を動画のフレームに見立てて（つまり、フレームとして）読み出して動画符号化手段１４４に送り出す。なお、この場合、視差画像であるため画像間に高い相関を与えることができる。
動画符号化手段１４４は、動画化手段１４３から送られてきた画像を、動画用として汎用的に用いられている、例えば、ＭＰＥＧ２（Moving Picture Experts Group phase 2）、ＭＰＥＧ４（Moving Picture Experts Group phase 4）系統の動画符号化方式等により符号化する。

図２Ａは、プレノプティックカメラの光学系を模式的に示す図であり、図２Ｂは図２Ａの円で囲ったマイクロレンズアレイ２２の一部拡大図である。
撮像レンズ、ここではメインレンズ２０は、物体からの光をマイクロレンズアレイ２２上に結像するように働く。そのため、撮影時には、撮影する物体までの距離によってピントを合わせる。即ち、メインレンズ２０とマイクロレンズアレイ２２の距離の調整を行う。マイクロレンズアレイ２２は、複数のマイクロレンズ２２ｂが２次元状に配置されており、各マイクロレンズ２２ｂに対し、撮像素子２の複数画素が対応する。

撮像素子２は、ＣＣＤ（Charge Coupled Device）、又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）でできており、メインレンズ２０、マイクロレンズアレイ２２を通った光が投射される。ここで、各マイクロレンズアレイ２２に対応する複数画素を画素ブロック２ａ（図３）とする。
図２の破線は、被写体である物体面上の特定点Ａより発出された光の経路を模式的に示す。ここで、物体面とは、撮影時にピント合わせを行う面である。特定点Ａより発出された光は、メインレンズ２０によりマイクロレンズアレイ２２の位置で結像するように屈折され、マイクロレンズアレイ２２によって、入射角に応じた光路に分けられて撮像素子２に投射される。

従って、マイクロレンズアレイ２２面における光の位置と方向が特定できる。即ち、撮像素子２上の各画素ブロック２ａ（図３Ｂ）に対して、光がどの画素ブロック２ａに属しているかで物体面の位置が判断できる。また、画素ブロック２ａ内のどの位置（画素２ａｐ（図３））にあるかで、マイクロレンズアレイ２２面における光の方向を判断することができる。

また、図２から明らかなように、マイクロレンズアレイ２２面での光の方向は、メインレンズ２０面での通過位置２０ａ（２０ａ_１・・・２０ａ_ｎ）と対応付けられる。そのため、画素ブロック２ａ内の各画素２ａｐの位置情報は、メインレンズ２０面での通過位置２０ａ（２０ａ_１・・・２０ａ_ｎ）を示す情報と解することもできる。即ち、メインレンズ２０面での通過位置２０ａ（２０ａ_１・・・２０ａ_ｎ）と、マイクロレンズアレイ２２面での通過位置２２ａ（２２ａ_１・・・２２ａ_ｎ）を情報として持つという解釈が成り立つ。
このように、光の「位置」と「方向」を特定可能な情報を取得することができる光学系を、ここではライトフィールド光学系と呼ぶ。ライトフィールド画像はライトフィールド光学系により撮影した画像である。
なお、図２では、メインレンズ２０として１枚のレンズを示しているが、必ずしも１枚である必要はなく、複数のレンズを組み合わせて、メインレンズ２０としての機能を果たすような構成も当然考えられる。

図３Ａは、マイクロレンズアレイ２２の正面図であり、図３Ｂは、各マイクロレンズアレイ２２に対応する撮像素子２の画素ブロック２ａの正面図である。
本実施形態では、マイクロレンズアレイ２２は、水平方向に１６個、垂直方向に１２個の２次元で配列した１９２個のマイクロレンズ２２ｂで構成されている。また、各マイクロレンズ２２ｂに対応する画素ブロック２ａは、９×９の計８１個の画素２ａｐで構成されている。

図３Ａでは、マイクロレンズアレイ２２における各マイクロレンズ２２ｂの位置を表す座標系として横軸にｓ、縦軸にｔを採った（ｓ、ｔ）座標系を定義している。また、図３Ｂでは、各マイクロレンズ２２ｂに対応する画素ブロック２ａ内の画素２ａｐの位置を表す座標系として、横軸にｕ、縦軸にｖを採った（ｕ、ｖ）座標系を定義している。

ここで、図２に関連して説明したように、位置座標（ｓ、ｔ）は物体（被写体）面での光線のメインレンズ２０面での通過位置２０ａ（２０ａ_１・・・２０ａ_ｎ）に対応している。また、位置座標（ｕ、ｖ）は、マイクロレンズアレイ２２面での通過位置２２ａ（２２ａ_１・・・２２ａ_ｎ）に対応している。
図３Ａ中、黒塗りの部分はマイクロレンズアレイ２２の各マイクロレンズ２２ｂによるケラレが発生している部分であり、実際には、白い部分でのみシーン（被写体）に関する情報が撮影される。図３Ｂ中では、マイクロレンズ２２ｂの黒塗りの部分の影響で、全体が９×９＝８１個の画素２ａｐ中、白い部分の４９個の画素２ａｐのみにシーンの光（情報）が到達する。
なお、マイクロレンズアレイ２２を構成するマイクロレンズ２２ｂの数、各マイクロレンズ２２ｂに対応する画素ブロック２ａの画素数等は、用途に応じて自由に変更することができる。

図４は、第１の実施形態における画像処理の手順を説明するフロー図である。
次に、図４を参照して、画像（ライトフィールド画像）入力後、この画像を外部ストレージ４に保存するまでの処理の手順を説明する。
まず、第１ステップでは、ライトフィールド画像取得手段１４１が、ライトフィールド光学系により撮影したライトフィールド画像を取得する（Ｓ１０１）。すなわち、ライトフィールド光学系を備えたデジタルカメラ（プレノプティックカメラ）で、シャッターボタンを押すことにより撮像素子２が取り込んだ画像を取得する。第２ステップでは、デジタルカメラにおいて基本的な処理である、ベイヤー補間処理、ガンマ変換処理を行い（Ｓ１０２）、カラー画像に変換する。撮像素子２が撮り込んだ画像は、そのままではモノクロ画像であるが、各画素はベイヤー配列により異なる色を検出している。

ここで、ベイヤー配列とは、撮像素子２上で、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の３色のフィルターが、画素毎にＲＧＲＧＲＧＲＧ・・・と並ぶラインと、ＧＢＧＢＧＢＧＢ・・・と並ぶラインが交互に配置されていることを云う。撮像素子２が撮り込んだ画像に対し、ベイヤー補間処理を行うことで、当該画像を画素毎にＲＧＢ３色の値を持つカラー画像に変換する。次にガンマ変換処理をすることで、人間の眼が線形に感じるような特性にＲＧＢの特性を変換する。
なお、当然のことであるが、ベイヤー配列画像、もしくはカラー画像に適用可能なその他の画像処理をこのステップで適用することもできる。また、ベイヤー配列でない撮像素子２を使用した場合にも、ベイヤー補間処理をしない、もしくは別の適切な処理に変更することで、カラー画像を取得することができる。

第３ステップでは、画像生成手段１４２は、カラー化されたライトフィールド画像から複数の視差画像を生成する（Ｓ１０３）。視差画像の生成方法については後述する。
第４ステップでは、動画化手段１４３は、各視差画像を動画のフレームに見立てて、動画出力する（Ｓ１０４）。具体的には、各視差画像に相関が高い順に順序を定めて、所定のフレームレート（例えば３０ｆｐｓ（frames per second））で順に画像を出力する。
第５ステップでは、動画符号化手段１４４は、第４ステップで出力された動画像を受け取って動画符号化処理を行う（Ｓ１０５）。動画に適した符号化としては、時間方向の相関の高さを利用したＭＰＥＧ２、ＭＰＥＧ４系統の動画符号化方式を用いることができる。もちろん、その他の一般的な、つまり汎用性のある動画符号化方式を使用してもよい。
第６ステップでは、動画として符号化された複数の視差画像を外部ストレージ４に保存する（Ｓ１０６）。

次に、図４における第３ステップ（Ｓ１０３）で画像生成手段１４２によって実施される視差画像生成について、図５に示す視差画像生成の手順を示すフロー図を用いて説明する。
第１ステップでは、画素ブロック２ａ内の位置座標（ｕ、ｖ）に、例えば図３Ａにおいて、初期値（ｕ_０、ｖ_０）を設定する（Ｓ２０１）。なお、ここでｕ_０＝０、ｖ_０＝０とする。
第２ステップでは、各マイクロレンズ画像（本実施形態では１９２個）から、それぞれ位置座標が初期値（ｕ_０、ｖ_０）である画素２ａｐの画素値を抽出し、図３Ａに示すマイクロレンズ位置座標（ｓ、ｔ）に従って並べて画像化する。即ち、全て初期値（ｕ_０、ｖ_０）に基づく１つの画像を形成する（Ｓ２０２）。この操作を、位置座標（ｕ_８、ｖ_０）にある画素２ａｐまで実行して、本実施形態では９個の画像を形成する。但し、図３Ａの例では、実際に画像が形成されるのは、位置座標（ｕ_４、ｖ_０）の画像だけである。

ここでは、この画像化処理を、位置座標ｖ（ｖ_０）を一定にして位置座標ｕをｕ_０からｕ_８まで更新にして順次実行する。つまり、全ての位置座標ｕについて画像化処理が完了するまでは（Ｓ２０３、ＮＯ）、位置座標ｕの値を順次更新（ここではｕ_０からｕ_８まで更新）しながら（Ｓ２０４）、ステップＳ２０２の処理を繰り返す。
対象となる全ての位置座標ｕについて画像化処理が完了し（Ｓ２０３、ＹＥＳ）、しかし全ての位置座標ｖについての画像化処理は未だ完了していなければ、（Ｓ２０５、ＮＯ）、位置座標ｖを更新（ここではｖ_０をｖ_１に更新）する（Ｓ２０６）。次に、位置座標ｖ_１を一定にして、ステップＳ２０２〜Ｓ２０４の処理を繰り返す。この場合は、図３Ｂに示すように、実際に画像が形成されるのは、位置座標（ｕ_２、ｖ_１）から位置座標（ｕ_６、ｖ_１）までの５個である。
対象となる全ての画素２ａｐについて画像化処理が終了したときは（Ｓ２０５、ＹＥＳ）、この処理を終了する。

本実施形態では、マイクロレンズ２２ｂは水平方向に１６個、垂直方向に１２個並んでいるため、横方向１６画素、縦方向１２画素の画像が生成される。生成された画像は、それぞれが同じ位置座標（ｕ、ｖ）に基づくものである。従って、得られる画像は、メインレンズ２０面の同じ位置を通過した光を検知した画素２ａｐの画素値でできている。
ここで生成された複数の画像は、各々がメインレンズ２０面の異なる位置を視点とする画像、すなわち、視差画像と云うことができる。

次に、以上のようにして得られた視差画像を動画化すること、つまり、図４における第４ステップ（Ｓ１０４）で、動画化手段１４３によって実施される視差画像の動画化について、図６を参照して説明する。
図６は、以上のようにして位置座標（ｕ、ｖ）毎に生成した複数（本実施形態では４９個）の視差画像（１セットの視差画像群）を、それぞれの位置座標（ｕ、ｖ）に従って並べた図であり、各ブロックＢがそれぞれ視差画像である。各ブロックＢに記載した数字は、動画化の際のフレーム順位（又は順序）を示すフレーム番号である。

ここで、視差画像を動画化する目的は、動画に適した汎用性のある動画符号化方式を利用するためである。この動画符号化方式においては、各フレーム間で相関の高い画像が並んでいることを利用して符号化する方式が多い。そこで、本実施形態においても、フレーム間の相関ができる限り高くなるように、フレームの並び順を決めるのが望ましい。
ここでは、位置座標（ｕ、ｖ）の差が大きいほど視差が大きくなり、相関も低くなるため、位置座標（ｕ、ｖ）の差が可能な限り小さくなるような順序として、図６において、中心から渦巻き状にフレーム順を定めている。
ただし、前記複数の視差画像は、本質的に各画像間で相関が高いため、フレームの並び順については、より単純に決定することもできる。例えば、（ｕ、ｖ）＝（０、０）をスタートに、まずはｕの値を増やし、（ｕ、ｖ）＝（８、０）となれば、次はｖを増やして（ｕ、ｖ）＝（０、１）とし、またｕを増やす、といった単純な順序でもよい。

ここで、フレーム順と位置座標（ｕ、ｖ）は、図６に示すフレーム順となるように、予め作成したフレーム順指定表で指定するのが望ましい。
図７は、このフレーム順指定表である。即ち、１画素ブロック７×７＝４９個の差分画像にフレーム番号１〜４９を割り振り、これらを画素ブロック２ａの図３Ｂで左上を原点座標（０、０）として、それぞれの位置座標（ｕ、ｖ）を対応させている。その上で、図６に示すように、画素ブロック２ａの中心画素の位置座標（４、４）に対応する差分画像の順位を１として、そこから右巻きに、螺旋状に並んだ差分画像の順に、動画化フレームの４９までの順位を指定している。

（第２の実施形態）
図８は、第２の実施形態における画像生成手段１４２による視差画像生成および動画化手段１４３による、生成した視差画像の動画化のための処理手順を示すフロー図である。
第１の実施形態では、まず全ての視差画像を生成してから動画化している。しかし、本実施形態では、画像生成手段１４２は、動画化する際のフレーム順に視差画像を生成し、動画化手段１４３は、視差画像を生成する毎に動画のフレーム画像として、次工程の動画符号化処理に対して出力する。

次に、この処理について図８を参照して説明する。
第１ステップ（Ｓ３０１）では、画像生成手段１４２は、フレーム番号ｉに１を設定する。その後、第２ステップに進む。第２ステップでは、図７に示したフレーム順指定表を参照し、フレーム番号（ｉ＝１）に対応する画素ブロック２ａ内の位置座標（ｕ、ｖ）（＝（ｕ_４、ｖ_４））を設定する（Ｓ３０２）。
第３ステップでは、各画素ブロック２ａ（マイクロレンズ画像）から、設定された位置座標（ｕ、ｖ）（＝（ｕ_４、ｖ_４））の画素値を抽出し、各画素ブロック２ａが持つマイクロレンズの位置座標（ｓ、ｔ）に従って並べ、画像化する（Ｓ３０３）。

生成された４９個の画像は、同じ位置座標（ｕ、ｖ）の値を持つ画素２ａｐ、即ち、メインレンズ２０面の同じ位置を通過した光を検知した画素２ａｐでできている。従って、メインレンズ２０面の特定の位置を視点とする視差画像と見なすことができる。
第４ステップでは、動画化手段１４３は、生成した視差画像を動画のｉフレーム目の画像として出力する（Ｓ３０４）。

第５ステップでは、全てのフレーム番号ｉに対する処理が完了したか否かを判定する（Ｓ３０５）。処理が完了していなければ（Ｓ３０５、ＮＯ）、第６ステップで、フレーム番号ｉが更新される（Ｓ３０６）。
ステップＳ３０５では、図７のフレーム順指定表のフレーム番号は４９までであるから、ｉ≦４９であればＮＯ、そうでなければＹＥＳとすればよい。ここで処理完了であれば（Ｓ３０５、ＹＥＳ）全体の処理も完了する。

本実施形態では、動画化する際のフレーム順にしたがって視差画像を生成し、作成する毎に動画のフレーム画像として、次工程の動画符号化処理に対して出力する。
これに対し、第１の実施形態では、まず全ての視差画像を生成してから動画化しているため、全ての視差画像を保存するメモリが必要である。しかし、本実施形態では、生成した視差画像をそのまま動画フレームとして出力するため、視差画像を保存するためのメモリは１画像分で済むという利点がある。

（第３の実施形態）
ライトフィールド画像は、複数の視差画像に相当するデータを１回の撮影で取得するため、１つの視差画像の解像度は小さくなることが多い。そのため、高解像度化をする必要がある。
そこで、第３の実施形態は、第１及び第２或いは後述する第４の実施形態に係る画像処理装置において、視差画像の高解像度化処理を行うための高解像度化処理手段１４５を備えたものである。

図９は、第３の実施形態の視差画像生成および動画化の処理手順を示すフロー図である。
本実施形態は、例えば、第２の実施形態の視差画像生成および動画化のフローに対し、高解像度化処理手段１４５による高解像度化処理（第４、第５ステップ（Ｓ４０４、Ｓ４０５））を追加している。その他の処理は、第２の実施形態と同様であるので説明を省略する。
ここで、高解像度化する方法としては、ニアレストネイバー法、バイリニア法、バイキュービック法等の補間法（画像補間アルゴリズム）を用いた拡大処理を行う処理方法を用いることができる。また、超解像処理と呼ばれるより複雑で高度な高解像度化処理を用いることも有効である。
なお、第１の実施形態においても、第２ステップＳ２０２の後に前記高解像度化処理を追加することができる。

（第４の実施形態）
図１０は、第４の実施形態の光学系の構成について説明する図である。
本実施形態は、第１の実施形態と光学系の構成が異なっている。
即ち、第１の実施形態の光学系では、物体から発出した光は、メインレンズ２０を通ってマイクロレンズアレイ２２上で結像する。一方、本実施形態では、図１０に示すように、物体から発出した光は、メインレンズ２０を通ってマイクロレンズアレイ２２に達する前に一度結像し、マイクロレンズアレイ２２を通って最終的に撮像素子２上で再度結像する。但し、物体から発出した光は、光線の方向により、撮像素子２上の複数の画素２ａｐに分かれて結像する。

本実施形態においても、撮影されたライトフィールド画像は、基本的には、マイクロレンズアレイ２２面上の光の位置と方向が特定できる画像であることには変わりはない。そのため、動画符号化するまでの処理は、前記実施形態と同様の方法を用いることができる。
ただし、本実施形態における動画フレームとしての各画像は、前記実施形態１〜３のマイクロレンズ２２ｂで生成した各画像と異なり、必ずしも視差画像とは呼べない。しかし、本実施形態における前記各画像も全体として画像間の相関が高い１セットの画像群を構成するため、動画フレームとするのに適している。そこで、ここでは、これらを総称して、画像間の相関が高い画像セットと呼ぶ。
なお、光学系は以上で説明したものに限らず他の周知の光学系を採用することができる。つまり、ライトフィールド画像、すなわち光の位置と方向を特定可能な画像を取得することが可能な光学系であれば、いかなる構成を用いてもよい。マイクロレンズアレイ２２を使わない方法であっても、例えば、マイクロレンズアレイ２２の代わりにピンホール（小さな穴）アレイを使うことも可能である。

なお、以上の説明では、本画像処理装置は全てライトフィールド光学系を備えたものとして説明したが、必ずしもこれに限定されない。例えば、ライトフィールド光学系を備えず、ライトフィールド画像を予め蓄積しておいて、それを読み出すようにしてもよい。この場合は、ライトフィールド画像の蓄積手段として例えば外部ストレージ４を用いることができる。

以上、本実施形態によれば、汎用的な動画符号化方式を用いることができるため、復号装置、ソフトウェアの入手が、専用の符号化処理手段を用いた従来の画像処理装置よりも容易になり、様々な人がライトフィールド画像を容易に活用することができる。

１・・・コントローラ、２・・・撮像素子、３・・・ＳＤＲＡＭ、４・・・外部ストレージ、１１・・・ＣＰＵ、１２・・・ＳＲＡＭ、１３・・・ＲＯＭ、１４・・・画像処理ブロック、１４１・・・ライトフィールド画像取得手段、１４２・・・画像生成手段、１４３・・・動画化手段、１４４・・・動画符号化手段、１４５・・・高解像度化処理手段、１５・・・ＳＤＲＡＭＩ／Ｆ、１６・・・外部ストレージＩ／Ｆ、２０・・・メインレンズ、２２・・・マイクロレンズアレイ、２２ｂ・・・マイクロレンズ、２ａ・・・画素ブロック、２ａｐ・・・画素、Ｂ・・・ブロック。

特許第４７５２０３１号公報

Claims (9)

1. 被写体から発出した光の位置と方向を特定可能な情報を含むライトフィールド画像を取得するライトフィールド画像取得手段と、
   取得したライトフィールド画像から、画像間の相関が高い画像セットを生成する画像生成手段と、
   生成した前記画像セットの各画像を動画のフレームとして出力する動画化手段と、
   前記動画化手段から出力される前記画像セットの各画像を動画として符号化する動画符号化手段と、
   を備えた画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記画像生成手段は、ライトフィールド画像の前記光の位置と方向を特定可能な情報に基づき、異なる光の位置毎に、当該位置を通過する光の前記情報を集めて前記画像間の相関が高い画像セットを生成する画像処理装置。
3. 請求項１又は２に記載された画像処理装置において、
   前記画像間の相関が高い画像セットは、前記取得したライトフィールド画像から生成する複数の視差画像である画像処理装置。
4. 請求項３に記載された画像処理装置において、
   前記画像生成手段は、前記取得したライトフィールド画像から、生成される複数の視差画像間における相関に基づき、前記相関の高い順に視差画像を生成し、
   前記動画化手段は、前記視差画像を生成順に出力する画像処理装置。
5. 請求項１ないし４のいずれかに記載された画像処理装置において、
   前記ライトフィールド画像取得手段は、撮像素子と撮像レンズとの間にマイクロレンズアレイを設置した光学系を備えている画像処理装置。
6. 請求項１ないし５のいずれかに記載された画像処理装置において、
   前記ライトフィールド画像取得手段は、予め蓄積済みのライトフィールド画像を読み出すことにより画像取得を行う画像処理装置。
7. 請求項１ないし６のいずれかに記載された画像処理装置において、
   前記画像生成手段は、高解像度化処理手段を含む画像処理装置。
8. ライトフィールド画像を処理する画像処理装置における画像処理方法であって、
   被写体から発出した光の位置と方向を特定可能な情報を含むライトフィールド画像を取得するライトフィールド画像取得工程と、
   取得したライトフィールド画像から、画像間の相関が高い画像セットを生成する画像生成工程と、
   生成した前記画像セットの各画像を動画のフレームとして視差画像間の相関に基づく順序で出力する動画化工程と、
   前記動画化工程で出力される前記画像セットの各画像を動画として符号化する動画符号化工程と、
   を有する画像処理方法。
9. コンピュータに、請求項１ないし７のいずれかに記載された画像処理装置における、ライトフィールド画像取得手段、画像生成手段、動画化手段、動画符号化手段として機能させるためのプログラム。

Images