JP2015008387A - 画像処理装置、画像処理方法およびプログラム並びに撮像装置 - Google Patents

Abstract

【課題】ＬＦデータの情報量の圧縮に適した符号化を行なう画像処理装置を提供する。
【解決手段】画像処理装置は、二次元に配列された複数の撮影光学系によって分光され、前記複数の撮影光学系のそれぞれに対して二次元に配列された複数の光電変換素子に入射された被写体光の撮像画像を処理する装置であって、前記被写体光の画像データを取得する取得手段と、前記取得された画像データを、前記撮影光学系に対する画素の位置に対応して、互いに視差を有する複数の画像フレームに変換する画像フレーム生成手段と、少なくとも前記変換された複数の画像フレームを符号化して符号化データを生成する符号化手段と、を備え、前記符号化手段は、前記変換された複数の画像フレームの符号化においては、互いに視差を有する複数の画像フレーム間で、視差方向の予測を行なう。
【選択図】図５

Description

本発明は画像処理装置に監視、特にライトフィールドカメラにより撮影された画像データの画像処理を行う画像処理装置に関する。

「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた撮像装置が提案されている（特許文献１又は特許文献２）。この撮像装置は、複数のマイクロレンズ(以下、ＭＬ)から構成されるＭＬアレイを用いて、撮像素子の受光面における光の強度分布に加えて、その光の進行方向の情報をも得られるよう構成されている。そして、撮像後に、取得した光の強度分布と進行方向の情報を用いて、設定された任意の視点や任意の焦点に基づいて画像を再構築できるよう構成されている。このような撮像装置を、本明細書中では、ライトフィールドカメラと呼ぶ。ライトフィールドカメラでは、被写体からの光線が撮像面に入射した位置情報に加え、入射した角度情報を含む光線情報を取得する。この光線情報はライトフィールドデータ（以下ＬＦデータ）と呼ばれる。このＬＦデータを用いて、撮影後に画像の焦点位置（フォーカス位置）を変更した画像を再構成できる。

特開２００９−１２４２１３号公報 特開２０１２−１２９６５４号公報

ライトフィールドカメラは従来のカメラの１画素に相当する光線をマイクロレンズ（以下、ＭＬと記す）によって分割して複数の画素データとして扱うため、そのデータ量は分割数に比例して増大する。例えば、分割数を縦横５×５とした場合、１つのＭＬ当たり５×５画素のデータとなり、２５倍のデータ量となる。このようにＬＦデータのデータ量は、通常のカメラで撮影した画像データに較べて膨大となってしまう問題がある。

そこで、膨大なＬＦデータの情報量を圧縮して蓄積するために、圧縮符号化の技術が重要視されている。

本発明はこの点に鑑みてなされたものであり、ＬＦデータの情報量の圧縮に適した符号化方式を提案し、提案した符号化方式でＬＦデータの符号化を行なう画像処理装置を提供することを目的とする。

上記、課題を解決するため、本発明によれば、二次元に配列された複数の撮影光学系によって分光され、複数の撮影光学系のそれぞれに対して二次元に配列された複数の光電変換素子に入射された被写体光の撮像画像を処理する画像処理装置は、被写体光の画像データを取得する取得手段と、取得された画像データを、撮影光学系に対する画素の位置に対応して、互いに視差を有する複数の画像フレームに変換する画像フレーム生成手段と、少なくとも変換された複数の画像フレームを符号化して符号化データを生成する符号化手段と、を備え、符号化手段による、変換された複数の画像フレームの符号化においては、互いに視差を有する複数の画像フレーム間で、視差方向の予測を行なう。

本発明によれば、符号化効率の良いＬＦデータの圧縮符号化を可能とする画像処理装置を実現でき、ＬＦデータのデータ量の削減が可能となる。

本発明の第１の実施例に係る画像処理装置を適用した撮像装置の構成を示すブロック図である。 図１の撮像装置における主レンズ、ＭＬ、撮像素子の位置関係を示す図である。 図２の位置関係における被写体からの光束の光路を概念的に示す図である。 ＬＦデータと画像フレームとの関係を示す図である。 本発明の第１の実施例に係る視差方向のピクチャ間予測における画像フレームの参照関係の一例を示す図である。 本発明の第１の実施例に係る画像処理装置によるリフォーカス処理において各画像フレームの画素をずらす方向を示す図である。 本発明の第２の実施例に係る時間方向のピクチャ間予測における画像フレームの参照関係の一例を示す図である。 本発明の第２の実施例に係る時間方向のピクチャ間予測における画像フレームの参照関係の他の一例を示す図である。 本発明の各実施例に係る撮影処理の動作に関するフローチャートである。 本発明の各実施例に係る符号化処理の動作に関するフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

図１は、本発明の第１実施例に係る画像処理装置を適用した、ＬＦデータの撮影が可能な撮像装置の構成例を示すブロック図である。

同図において、１００は撮像装置の全体を示し、撮像装置１００は構成要素として、主レンズ１０１、マイクロレンズ（ＭＬ）１０２、撮像素子１０３、ＬＦデータ入力部１０４、ＬＦデータ変換部１２２、画像出力部１０９、表示パネル１１０を含む。さらに、画像符号化復号化部１１１、多重分離部１１３、リフォーカス処理部１１４、メモリ１１６、媒体（メディア）Ｉ／Ｆ１１７、記録媒体（記録メディア）１１８、コントローラ１１９、操作部１２０、メモリバス１２１を含む。なお、主レンズ１０１、ＭＬ１０２、撮像素子１０３、媒体Ｉ／Ｆ１１７、記録媒体１１８、操作部１２０を除いた部分が本実施例に係る画像処理装置に対応する。以下、各構成要素について説明する。

以下に説明するメモリバス１２１に接続された構成要素は、メモリ１１６に対してデータのやり取りを行なってデータ処理を行なっている。メモリ１１６は、高速でランダムアクセス可能なダイナミックＲＡＭであり、処理中の画像データや処理に必要な情報を記憶すると供に、コントローラに対しワークエリアを提供する。メモリバス１２１は各構成要素からのメモリアクセス要求を調停し、時分割でメモリ１１６へのデータ読み書きが行なえるよう制御している。

主レンズ１０１は、単一または複数の撮影レンズからなる撮影光学系であり、前面（図の左側）から被写体光を受けて、ＭＬ１０２に入射する。なお、主レンズ１０１にはフォーカス機能やズーム機能を持たせるよう構成してもよい。

ＭＬ１０２は、主レンズ１０１と撮像素子１０３の撮像面との間に配置され、主レンズ１０１からの光線を入射角度に応じて分光し、瞳分割手段として機能する。撮像素子１０３は、ＣＣＤあるいはＣＭＯＳセンサ等の撮像センサであり、複数の画素（光電変換素子）がマトリクス状に配置されており、ＭＬ１０２から入射された光を電気信号に変換し撮像画像としてＬＦデータ入力部１０４に出力する。

ＬＦデータ入力部１０４は撮像素子１０３より入力された撮像画像をデジタル化し、メモリ１１６のＲＡＷデータ領域に格納する。ＬＦデータ変換部１２２は１１６のＲＡＷデータ領域に格納された前記ＲＡＷデータを読み出し、現像処理を行ってＬＦデータ（図４の４０１）に変換する。さらに、ＬＦデータから視差のある複数の画像フレーム（図４の４１１、４１２、・・・、４３５）を構築してメモリ１１６の画像信号領域に格納する。主レンズ１０１、ＭＬ１０２、撮像素子１０３、ＬＦデータ入力部１０４、ＬＦデータ変換部１２２の動作の詳細は後述する。

画像符号化復号化部１１１は画像信号の符号化および復号化を行なう。詳細は後述するが動作の概略は次の通りである。
撮影時はＬＦデータ変換部１２２によってメモリ１１６の画像信号領域に書き込まれた複数の画像フレーム（符号化対象画像）を読出して画像間の予測を用いて符号化し、符号化後のストリームデータをメモリ１１６の画像ストリームデータ領域に格納する。また、再生時はメモリ１１６の画像ストリームデータ領域からストリームデータを読み出して復号し、復号された画像フレームを画像信号領域に格納する。

リフォーカス処理部１１４はメモリ１１６の画像信号領域に格納された画像フレームを読み出してリフォーカス処理を行い、リフォーカス画像フレームを生成してメモリ１１６の画像信号領域に格納する。リフォーカス処理の詳細は後述する。

多重分離部１１３は画像ストリームデータの多重、分離を行なう。撮影時は符号化された複数の画像ストリームデータをメモリ１１６から読み出し、所定のフォーマットで多重化して、多重化データとしてメモリ１１６の多重化ストリームデータ領域へ格納する。再生時はメモリ１１６の多重化ストリームデータ領域から多重化ストリームデータを読み出し、ストリームデータを所定の方法で複数の画像ストリームデータに分離し、それぞれメモリ１１６の画像ストリームデータ領域に格納する。

媒体Ｉ／Ｆ１１７は、記録媒体１１８に対してデータの読み書き（記録再生）を制御するインターフェースである。撮影時はメモリ１１６の多重化ストリームデータ領域の多重化ストリームデータを読みだして、記録媒体１１８に格納する。再生時は記録媒体１１８から多重化ストリームデータを読み出して、メモリ１１６の多重化ストリームデータ領域に格納する。なお、記録媒体１１８に対してはＦＡＴなどのファイルシステム形式でデータ記録を行なっており、ファイルシステムの生成や制御等も媒体Ｉ／Ｆ１１７が行なう。

記録媒体１１８はハードディスクドライブや不揮発半導体メモリ（例えばフラッシュメモリ）である。

画像出力部１０９はメモリ１１６の画像信号用の領域から後述のリフォーカス画像を読み出し、表示パネル１１０と、図示しない映像出力端子に出力する。表示パネル１１０は画像出力部１０９から入力された画像信号を映像として表示する。

操作部１２０は、シャッターボタン、設定ボタン、および表示パネル１１０の表面に配置されたタッチパネルセンサーなどのユーザが操作する操作部材である。ユーザ操作の結果は操作指示信号としてコントローラ１１９に送られる。

コントローラ１１９は本撮像装置の全体を制御するコントローラであり、いわゆるＣＰＵを含む。操作部１２０を介して入力されたユーザの指示に従って対応するプログラムを実行することで、撮像動作、再生動作、リフォーカス動作を制御する。プログラムは図示しないメモリに記憶されていて、ＣＰＵがそれをロードして実行して撮像装置の各部を制御する。

次に、撮影時における主レンズ１０１、ＭＬ１０２、撮像素子１０３、ＬＦデータ入力部１０４、ＬＦデータ変換部１２２、画像符号化復号化部１１１の動作を詳細に説明する。

図２は、図１に示す撮像装置における主レンズ、ＭＬ、撮像素子の位置関係を示す図である。なお、図１と同じ部分は同じ符号を付して示し、ここでの説明は省略する。
同図において、２０４は撮像素子１０３の二次元の画素配列を構成する画素である。

図２（ａ）に示すように、ＭＬ１０２は撮像素子１０３の前面にマトリクス状（二次元）に複数配置されている（ＭＬアレイ）。なお、本実施例におけるＭＬの大きさや数は図示されているものに制限されるものではない。

また、図２（ｂ）に示すように、画素２０４は１つのＭＬに対し、所定数（ｎ×ｍ個）の画素が対応するようにマトリクス状（二次元）に配置されている。このｎ×ｍ画素の数によって光線の分割数が決定される。本実施例では、光線の分割数を５×５とし、１つのＭＬに対し５×５個の画素が配置された二次元画素配列を撮像素子１０３が有している。

図３は、図２に示す配置関係における被写体からの光束の光路を概念的に示す図であり、被写体３０５から放たれた１点の光３０７が光束となって主レンズ１０１に入射するときの光路を示している。入射した光束は主レンズ１０１によって集光されてＭＬ１０２表面の結像面３０８に入射される。入射された光はＭＬ１０２により光の入射角度に従って分光されて、撮像素子１０３の画素３２１〜３２５で受光される。画素３２１〜３２５で受光された光は光電変換により撮像信号として出力される。

ここで、画素３２１で受光される光は光路３１１からの光束であり、画素３２２で受光される光は光路３１２からの光束であり、画素３２３で受光される光は光路３１３からの光束である。同様に、画素３２４で受光される光は光路３１４からの光束であり、画素３２５で受光される光は光路３１５からの光束である。画素３２１〜３２５で受光される光は同じ被写体の光でありながら、主レンズ面の異なる瞳領域を通過した光であり、それぞれは視差のある光ということができる。

図３を用いた説明では、被写体３０５の１点からの光３０７が画素によって撮像されることについて説明したが、実際には主レンズ前面の全ての被写体から無数の光が主レンズに入射しており、ＭＬ全体に被写体が結像するように入射されている。それぞれのＭＬは入射された光を分光して、撮像素子のｎ×ｍ個の画素に出射している。これにより、撮像素子には各ＭＬに対応するｎ×ｍ個の画素のそれぞれに、複数の視差画像が結像されることになる。

ＬＦデータ入力部１０４は上記のように撮像された撮像信号をデジタル化し、メモリ１１６のＲＡＷデータ領域に格納する。ＬＦデータ変換部１２２は１１６のＲＡＷデータ領域に格納された前記ＲＡＷデータを読み出し、現像処理を行ってＬＦデータに変換する。ＬＦデータには各ＭＬに対応するｎ×ｍ個の画素のそれぞれに視差画像が撮像されているので、各ＭＬに対して同一位置の画素データを集めて画像を構築する事で視差画像を得ることができる。そのために、ＬＦデータ変換部１２２は、ＬＦデータから視差のある複数（ｎ×ｍ個）の画像フレームを次のように構築する。

図４は、画像フレーム生成の際のＬＦデータと画像フレームの画素データとの関係を示す図である。図において、図１と同じ部分は同じ符号を付して示し、ここでの説明は省略する。

図４において、４０２〜４０５はＭＬの位置を示し、１〜２５を付した円は一つのＭＬに対応するＬＦデータであり、４１１、４１２、・・・４３５はそれぞれ視差を有する画像フレームである。

画像フレーム４１１は、各ＭＬに対応するＬＦデータ１〜２５のうち、第１列の左端のＬＦデータ１を集めて構築される。なお、図４では４つのＭＬに対応するＬＦデータのみ（４画素のみ）を示しているが、実際はＬＦデータ４０１内全てのＭＬの第１列の左端のＬＦデータが収集の対象となる。

画像フレーム４１２は、各ＭＬに対応するＬＦデータ１〜２５のうち、第１列の左端から２番目のＬＦデータ２を集めて構築される。画像フレーム４１１と同様に、図では４つのＭＬに対応するＬＦデータのみ（４画素のみ）が示されているが、実際はＬＦデータ４０１内全てのＭＬの第１列の左端から２番目のＬＦデータが対象となる。

同様に、各ＭＬのＬＦデータ３〜２５を集めることで対応する画像フレーム４１３〜４３５(４１３〜４３４は不図示)が構築され、一回の撮像で得られるＬＦデータから合計２５の画像フレーム１〜２５が構築される。

なお、ＭＬに対して四隅付近に位置する画素には十分な光量が得られない場合がある。これは主レンズ１０１及びＭＬ１０２が円形のためにケレラが生じるからである。このような場合、例えば四隅に位置するＬＦデータ１、５、２１、２５をそれぞれ集めた画像フレームを構築しないようにしてもよい。この場合、後に説明する符号化処理および復号化処理、リフォーカス処理において、構築していない画像フレーム１、５、２１、２５は使用しないようにする。

ＬＦデータ変換部１２２は上記のように構築した画像フレーム１〜２５をメモリ１１６の画像信号領域に格納する。

メモリ１１６の画像信号領域に格納された画像フレーム１〜２５は画像符号化復号化部１１１によって符号化される。

次に画像符号化復号化部１１１における符号化動作の詳細を説明する。

本実施例では、画像符号化復号化部１１１は、ＭＰＥＧ２及びＨ．２６４等に代表される、動き補償予測符号化方式を用いるものとする。また、符号化には、同じ画像フレーム内で符号化が完結するピクチャ内符号化と複数の画像フレーム間で予測を行うピクチャ間予測符号化がある。

動き補償予測符号化方式では、画像を所定の符号化ブロック（１６×１６画素のマクロブロックなど）に分割し、動き補償予測、直交変換を行ない、さらにその変換係数を量子化処理してエントロピー符号化を行なうことで画像を圧縮符号化する。

画像フレーム１〜２５（まとめて画像フレーム群と称す）のそれぞれは視差画像であり、各画像フレームは互いに相関性が高いため、ピクチャ間予測符号化を行うことによって高い符号化効率が期待できる。

本実施例では、画像フレーム群の一部の画像フレームに対してピクチャ内符号化を行い、それ以外の画像フレームに対してピクチャ間予測符号化を行う。なお一般にピクチャ間の予測というと、動画像における時間方向のフレーム間における予測を指すが、本実施例におけるピクチャ間予測については、同じ時間のＬＦデータから得られた視差の異なる画像フレーム（４１１〜４３５）間の予測を指す。

図５に画像フレーム群でのピクチャ間の予測方向の一例を示す。図中Ｆ１〜Ｆ２５は画像フレーム１〜２５のそれぞれを示す。画像フレームの間に描かれる矢印はピクチャ間予測の方向を表し、視差方向に基づいて参照画像を決定する。

図５に示す例では、画像フレームＦ１〜Ｆ２５のうち、視差の中央部に位置する画像フレームＦ１３にはピクチャ内符号化を行う。
Ｆ１３に隣接するＦ７、Ｆ８、Ｆ９、Ｆ１２、Ｆ１４、Ｆ１７、Ｆ１８、Ｆ１９には、Ｆ１３を参照画像とするピクチャ間予測符号化を行う。
Ｆ８に隣接するＦ３には、Ｆ８を参照画像とするピクチャ間予測符号化を行う。
Ｆ１２に隣接するＦ１１には、Ｆ１２を参照画像とするピクチャ間予測符号化を行う。
Ｆ１４に隣接するＦ１５には、Ｆ１４を参照画像とするピクチャ間予測符号化を行う。
Ｆ１８に隣接するＦ２３には、Ｆ１８を参照画像とするピクチャ間予測符号化を行う。
Ｆ７に隣接するＦ１、Ｆ２、Ｆ６には、Ｆ７を参照画像とするピクチャ間予測符号化を行う。
Ｆ９に隣接するＦ４、Ｆ５、Ｆ１０には、Ｆ９を参照画像とするピクチャ間予測符号化を行う。
Ｆ１７に隣接するＦ１６、Ｆ２１、Ｆ２２には、Ｆ１７を参照画像とするピクチャ間予測符号化を行う。
さらに、Ｆ１９に隣接するＦ２０、Ｆ２４、Ｆ２５には、Ｆ１９を参照画像とするピクチャ間予測符号化を行う。

なお、視差方向に基づいたピクチャ間予測方向はこの図に限定されるものではなく、他の方向も可能である。また、ピクチャ間予測は複数の参照画像からの双予測を行うようにしてもよい。さらには、ピクチャ内符号化されるのは一つの画像フレームに限定されず、所定の位置の複数の画像フレームに対してピクチャ内符号化を行うように設定してもよい。その場合、ピクチャ内符号化される各画像フレームから、所定の方向の画像フレームに対して、それぞれ別系列のピクチャ間予測が行われても良い。

次に、画像符号化復号化部１１１におけるピクチャ内符号化およびピクチャ間予測符号化の動作について説明する。

本実施例では、画像フレーム１〜２５を、ピクチャ内符号化およびピクチャ間予測符号化のいずれかの方法によって符号化する。画像フレームの符号化の順番は、ピクチャ内符号化を行う画像フレームを先に符号化し、その後ピクチャ間予測符号化を行う画像フレームを符号化する。例えば本実施例では
Ｆ１３
→Ｆ８→Ｆ３
→Ｆ１２→Ｆ１１
→Ｆ１４→Ｆ１５
→Ｆ１８→Ｆ２３
→Ｆ７→Ｆ６→Ｆ１→Ｆ２
→Ｆ９→Ｆ４→Ｆ５→Ｆ１０
→Ｆ１７→Ｆ１６→Ｆ２１→Ｆ２２
→Ｆ１９→Ｆ２０→Ｆ２４→Ｆ２５
の順で符号化を行う。

ピクチャ内符号化では、符号化対象とする画像フレーム（例えばＦ１３）をメモリ１１６の画像信号領域から読み出し、符号化ブロック（例えば１６×１６画素）単位に順次、直交変換、変換係数の量子化、エントロピー符号化を行ってストリームデータを得る。ストリームデータには復号化に必要な量子化パラメータ等の情報を含ませる。ストリームデータはメモリ１１６の画像ストリームデータ領域に格納される。また、同時に量子化された変換係数の逆量子化、逆直交変換を行い、ローカルデコード画像を得る。ローカルデコード画像はメモリ１１６の参照フレーム領域に格納される。

ピクチャ間予測符号化では、符号化対象とする画像フレーム（例えばＦ７）をメモリ１１６の画像信号領域から読み出すとともに、参照先となる画像フレーム（例えばＦ１３）の符号化及び復号化後の画像（ローカルデコード画像）を読み出す。そして、符号化ブロック毎に動き探索を行って動きベクトルを検出し、予測画像を生成する。次いで、予測画像と符号化対象画像の差分（誤差）を取り、この差分に対し、符号化ブロック単位に順次、直交変換、変換係数の量子化、エントロピー符号化を行い、ストリームデータを得る。ストリームデータは、復号化に必要な量子化パラメータ、参照画像フレーム番号、動きベクトル等の情報を含む。ストリームデータは、メモリ１１６の画像ストリームデータ領域に格納される。また、同時に量子化された変換係数を逆量子化し、逆直交変換し、予測画像に加算してローカルデコード画像を得る。ローカルデコード画像は、メモリ１１６の参照フレーム領域に格納される。

上記のように画像フレーム１〜２５を符号化した複数のストリームデータは符号化された順に多重分離部１１３によって多重化される。多重化ストリームにはヘッダ情報として、画像ストリームの数や視差の位置関係等の情報も同時に多重化される。多重化ストリームは一旦メモリ１１６の多重化ストリーム領域に格納された後、媒体Ｉ／Ｆ１１７によって読みだされて、記録媒体１１８に記録される。

次に、再生時における画像符号化復号化部１１１の動作を詳細に説明する。
記録媒体１１８に記録されている多重化ストリームを媒体Ｉ／Ｆ１１７によって読み出してメモリ１１６の多重化ストリーム領域に格納する。多重分離部１１３はメモリ１１６の多重化ストリーム領域から多重化ストリームを読み出し、多重化ストリームのヘッダ情報に含まれる画像ストリームの数や視差の位置関係等の情報に応じて、画像ストリームをメモリ１１６の画像ストリーム領域に格納する。

画像符号化復号化部１１１は、メモリ１１６の画像ストリーム領域から画像ストリームを読み出して、エントロピー復号化し、量子化係数を得た後、逆量子化、逆直交変換し復号化画像フレームを得る。ピクチャ内符号化の場合は復号化画像フレームをそのままメモリ１１６の画像信号領域に格納し、ピクチャ間予測符号化の場合は、参照先の画像フレームを読み出して、動き補償処理を行ってメモリ１１６の画像信号領域に格納する。

上記のように復号化を行うことによって、メモリ１１６の画像信号領域に画像フレーム１〜２５の復号画像が格納される。

次に、本実施例の画像処理装置におけるリフォーカス画像生成での動作を説明する。
本実施例の画像処理装置においては、リフォーカス画像の生成は、撮影時および再生時のいずれの場合でも可能である。いずれの場合も、リフォーカス処理部１１４によりメモリ１１６の画像信号領域に格納された画像フレーム１〜２５からリフォーカス画像の生成を行う。画像信号領域に格納された画像フレーム１〜２５は、撮影時においてはＬＦデータ変換部１２２が構築してメモリ１１６に記憶した画像フレームからリフォーカス画像を生成する。また再生時は画像符号化復号化部１１１により復号されてメモリに記憶された画像フレームからリフォーカス画像を生成する。

リフォーカス画像の生成は、以下の２つの方法のいずれかで行われる。

第１のリフォーカス方法はフォーカスの深度方向の位置（焦点の位置）を指定してリフォーカスを行うものであり、画像フレーム１〜２５の画素データを各々視差方向にずらして積分することによってリフォーカス画像を生成する。ここで視差方向とは、中央の画像フレームに対する各々の画像フレームの位置関係で決まる方向である。図６に示すように例えば画像フレームＦ１であれば６０１の方向となり、画像フレームＦ２であれば６０２の方向、画像フレームＦ３であれば６０３の方向となる。画素データのずらす量によってフォーカス位置を変化させる事ができる。

第２のリフォーカス方法はフォーカスさせたい画像の領域（被写体）をユーザが指定してリフォーカス画像の生成を行うものである。画像フレームの符号化において検出した動きベクトル情報に基づいて画像フレーム１〜２５それぞれの画素データをずらして積分する事によってリフォーカス画像を生成する。ユーザが操作部１２０を介してフォーカスさせたい画像の領域を指示すると、リフォーカス処理部１１４はその領域周辺の符号化ブロックの動きベクトル情報を前記画像フレーム１〜２５の画像ストリームから取得する。そして、各画像フレームにおける中央の画像フレームからの動きベクトルを各々算出する。この動きベクトルに応じて各画像フレームの画素データをずらして積分することでリフォーカス画像を生成する。

このようにして得られたリフォーカスされた画像をメモリ１１６の画像信号領域に格納する。格納されたリフォーカス画像は、前述の１０９画像出力部によって表示パネル１１０及び不図示の映像出力端子に出力される。また、コントローラ１１９が撮像装置１００の各部を制御してリフォーカス画像を符号化し、前記記録媒体Ｉ／Ｆ１１７を制御して、符号化したリフォーカス画像を記録媒体１１８に記録することも可能である。

以上、説明したように本実施例によれば、ＬＦデータから視差画像である複数の画像フレームを構築し、視差方向の予測符号化を行うようにしたので、高圧縮率の圧縮符号化を実現することができ、データ量の削減が可能となる。

ところで、上述した本実施例の画像処理装置の各部の動作は、コントローラ１１９のＣＰＵが図示しないメモリからプログラムをロードして実行するようにしてもよい。その場合、本実施例の画像処理装置は、電子的な処理として、ＰＣなどの情報処理装置のＣＰＵが実行する機能として提供することが可能となる。

図９、図１０は、コントローラ１１９のＣＰＵが本実施例の画像処理装置の各部として機能するときの画像処理動作のフローチャートを示す。図９、図１０のフローチャートは、コントローラ１１９によって実行される処理手順を図示したものであり、コントローラ１１９が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

まず、図９のフローチャートを用いて、撮影時の動作について説明する。なお、前述の構成要素のうち、主レンズ１０１、ＭＬ１０２、撮像素子１０３、ＬＦデータ入力部１０４は前述と同様に動作し、撮像された画像信号は未現像のＲＡＷデータとしてメモリ１１６のＲＡＷデータ領域に格納される。これ以降の画像処理はコントローラ１１９のＣＰＵによって行われる。

図９はコントローラ１１９のＣＰＵの撮影時における処理手順を示すフローチャートであり、Ｓ９０１で撮影動作を開始し、一回の撮像動作で取得された画像データの画像処理としてステップＳ９０２〜Ｓ９０７が実行される。

ステップＳ９０２にて、ＬＦデータ変換処理を行う。本ステップは前述のＬＦデータ変換部１２２に相当する処理であり、メモリ１１６のＲＡＷデータ領域からＲＡＷデータを読み出し、現像処理を行ってＬＦデータに変換する。そして、ＬＦデータから視差のある複数（ｎ×ｍ個）の画像フレーム（画像フレーム群）を上述したのと同様に構築し、メモリ１１６の画像信号領域に格納する。

次にステップＳ９０３にて、前記構築された画像フレーム群の符号化を行う。本ステップは前述の画像符号化復号化部１１１における符号化処理に相当する処理であり、前記画像フレーム群を動き補償予測方式で符号化し、符号化されたストリームデータをメモリ１１６のストリームデータ領域に格納する。符号化処理の詳細フローについては後述する。

次にステップＳ９０４にて、前記符号化された複数のストリームデータの多重化処理を行う。本ステップは前述の多重分離部１１３の多重化処理に相当する処理であり、メモリ１１６のストリームデータ領域から複数のストリームデータを読み出し、多重化を行う。多重化ストリームにはヘッダ情報として、画像ストリームの数や視差の位置関係等の情報も同時に多重化され、メモリ１１６の多重化ストリームデータ領域に格納する。

次にステップ９０５にて、多重化されたストリームデータの記録媒体への記録を行う。メモリ１１６の多重化ストリームデータ領域に格納された多重化ストリームデータを読み出し、媒体Ｉ／Ｆ１１７を介し、記録媒体１１８に記録する。

次にステップ９０６にて、リフォーカス処理を行う。本ステップは前述のリフォーカス処理部１１４に相当し、前記画像フレーム群からリフォーカス画像を生成し、メモリ１１６の画像信号領域に格納する。

次にステップ９０７にて、生成されたリフォーカス画像のモニタ画像出力を行う。メモリ１１６の画像信号領域に格納されたリフォーカス画像を、画像出力部１０９を介して、表示パネル１１０及び不図示の映像出力端子に出力するよう制御する。

以上が第１の実施例における撮影動作でのコントローラ１１９のＣＰＵの処理手順である。
次に図１０のフローチャートを用いて、ステップ９０３における符号化処理の詳細手順について説明する。
図１０は、第１の実施例における撮影動作でのコントローラ１１９のＣＰＵの符号化処理（ステップ９０３）の詳細手順を示すフローチャートである。

Ｓ１００１において符号化処理を開始し、ステップＳ１００２は、符号化する画像フレームの符号化に関するパラメータを決定する。ここで、符号化に関するパラメータとは、符号化する画像フレームのフレーム番号、予測方式（ピクチャ内か、ピクチャ間か）、参照画像フレーム番号等である。

なお、以下に示すステップＳ１００３乃至Ｓ１００９の処理は符号化ブロック単位に１画像フレームの処理が完了するまで繰り返し実行される。

ステップＳ１００３はピクチャ間符号化時のみ実行され、ピクチャ間符号化時における予測画像の生成を行う。符号化対象とする画像フレームをメモリ１１６の画像信号領域から読み出すとともに、参照先となる画像フレームのローカルデコード画像を読み出す。そして動き探索を行って動きベクトルを検出し、予測画像を生成する。

次にステップＳ１００４にて、直交変換を行う。ピクチャ内符号化時は符号化対象とする画像フレームをメモリ１１６の画像信号領域から読み出して直交変換する。ピクチャ間符号化時は前記予測画像と符号化対象画像の差分に対して直交変換する。

次にステップＳ１００５にて、上記直交変換された変換係数に対して、量子化を行う。
次にステップＳ１００６にて、上記量子化された変換係数に対して、逆量子化を行う。
次にステップＳ１００７にて、上記逆量子化された変換係数に対して、逆直交変換を行う。

次にステップ１００８にて、ローカルデコード画像の生成を行う。ピクチャ内符号化時は上記逆直交変換により得られたデータをローカルデコード画像データとする。ピクチャ間符号化時は、上記逆直交変換により得られたデータとステップＳ１００３で生成された予測画像とを加算してローカルデコード画像とする。得られたローカルデコード画像をメモリ１１６参照フレーム領域に格納する。

次にステップＳ１００９にて、ステップＳ１００５にて得られた量子化された変換係数及びにＳ９２３で得られた動きベクトルに対してエントロピー符号化を行い、ストリームデータを得る。

ステップＳ１０１０では、上記のステップＳ１００３乃至Ｓ１００９の符号化ブロック単位の処理が１画像フレーム分全て完了したかどうかの判定を行う。完了していない場合はＳ１００３に戻り、完了した場合はＳ１０１１に進む。

ステップＳ１０１１では、画像フレーム群全ての符号化処理が完了したかどうかの判定を行う。完了していない場合はＳ１００２に戻り、完了した場合はＳ１００３に進み、符号化処理を終了する。

次に、本発明の第２の実施例を説明する。第１の実施例では、撮像装置の一回の撮像動作で取得されたＬＦデータの視差方向の予測符号化の例を説明したが、本実施例では動画像の撮影で取得される連続する複数のＬＦデータを符号化する構成を説明する。本実施例における撮像装置の構成例は第１の実施例と同様であり、ここでの各構成要素の説明は省略する。

第１の実施例との相違点は、画像符号化復号化部１１１において、同一のＬＦデータから得られる各画像フレーム群において視差方向の予測符号化を行なうと同時に、時間的に隣接する画像フレーム群との間で時間方向のピクチャ間予測符号化も行う点にある。その他の構成要素は第１の実施例と同様であり、ここでの説明は省略する。また、コントローラ１１９のＣＰＵが本実施例の画像処理装置の各部として機能するときの画像処理動作のフローチャートも図９および図１０と同様である。後述するように、符号化処理が、予測符号化における予測方向が第１の実施例と比べて増えたことに応じた処理内容となるだけである。

画像符号化復号化部１１１は撮像時において、第１の実施例で示した視差方向のピクチャ間予測符号化に加えて、時間方向のピクチャ間予測符号化を行うように動作する。

視差方向および時間方向のピクチャ間予測における予測方向の一つの例を図７に示す。図７は時刻ｔ０〜ｔ３で撮像された動画像データの各画像フレーム群を表しており、７０１は時刻ｔ０における画像フレーム１〜２５からなる画像フレーム群である。７０２〜７０４に示す画像フレーム群も同様であり、それぞれ時刻ｔ１、ｔ２、ｔ３における画像フレーム１〜２５である。

画像フレーム群７０１においては、中央に位置する画像フレーム１３にピクチャ内符号化が行われ、他の画像フレームには視差方向のピクチャ間予測符号化が行われる。

画像フレーム群７０２においては、中央に位置する画像フレーム１３にはピクチャ内符号化の代わりにｔ０の同位置の画像フレームによって時間方向にピクチャ間予測符号化が行われ、他の画像フレームには視差方向のピクチャ間予測符号化が行われる。

画像フレーム群７０３〜７０４についても画像フレーム群７０２と同様である。

本実施例における視差方向および時間方向のピクチャ間予測方向は、図７に限定されるものではない。図８に示すようにｔ１以降の全ての画像フレームに時間方向のピクチャ間予測を適用するようにしてもよい。また、視差方向のピクチャ間予測と、時間方向のピクチャ間予測を組み合わせて複数の参照画像から双予測を行うようにしてもよい。また、図７や図８の時間方向のピクチャ間予測は、特定回数継続したらリセットし、改めてピクチャ内符号化からやり直すように構成すると良い。そうすることで、予測により生じた実際とは異なるエラーの伝搬を、途中で解消することができる。上述した本実施例によれば、各フレームが複数の視差画像を含む動画像の符号化においても、視差画像に対する予測符号化により、符号化データの符号量を削減することが可能となる。

［他の実施の形態］
前述した本発明の実施形態における撮像装置を構成する各手段、並びに駆動方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（図示したフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (22)

1. 二次元に配列された複数の撮影光学系によって分光され、前記複数の撮影光学系のそれぞれに対して二次元に配列された複数の光電変換素子に入射された被写体光の撮像画像を処理する画像処理装置であって、
   前記被写体光の画像データを取得する取得手段と、
   前記取得された画像データを、前記撮影光学系に対する画素の位置に対応して、互いに視差を有する複数の画像フレームに変換する画像フレーム生成手段と、
   少なくとも前記変換された複数の画像フレームを符号化して符号化データを生成する符号化手段と、
   を備え、
   前記符号化手段は、前記変換された複数の画像フレームの符号化においては、互いに視差を有する複数の画像フレーム間で、視差方向の予測を行なうことを特徴とする画像処理装置。
2. 前記符号化手段は、前記複数の画像フレームの所定の画像フレームをピクチャ内符号化で符号化し、他の画像フレームをピクチャ間予測符号化で符号化し、前記ピクチャ間予測符号化において、前記視差方向に従って参照画像を決定して動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段は、さらに時間方向の予測に基づいた予測符号化により前記画像フレームを符号化することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記取得された画像データは複数のフレームからなる動画像データであり、前記画像フレーム生成手段は、前記動画像データの各フレームの画像データを前記複数の画像フレームに変換し、前記符号化手段は、前記動画像データの各フレームの複数の画像フレームを、視差方向の予測および時間方向の予測に基づいた予測符号化により符号化することを特徴とする請求項３に記載の画像処理装置。
5. 前記符号化手段は、前記動画像データの各フレームの所定の画像フレームに時間方向の予測に基づいた予測符号化を行なうことを特徴とする請求項４に記載の画像処理装置。
6. 前記符号化手段は、前記動画像データの各フレームの全ての画像フレームに時間方向の予測に基づいた予測符号化を行なうことを特徴とする請求項４に記載の画像処理装置。
7. ユーザの指示に基づいて、前記画像フレーム生成手段により生成された前記複数の画像フレームからリフォーカス画像を生成するリフォーカス画像生成手段をさらに備えることを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記リフォーカス画像生成手段は、各画像フレームの画素を、前記視差方向にずらして積分することによりリフォーカス画像を生成することを特徴とする請求項７に記載の画像処理装置。
9. 前記符号化手段で生成された符号化データを復号して復号された複数の画像フレームを生成する復号手段をさらに含み、前記リフォーカス画像生成手段は、前記復号手段で生成された復号された複数の画像フレームからリフォーカス画像を生成することを特徴とする請求項８に記載の画像処理装置。
10. 前記リフォーカス画像生成手段は、復号された各画像フレームの画素を、前記符号化手段による視差方向の予測において検出された動きベクトルの情報に基づいてずらして積分することによりリフォーカス画像を生成することを特徴とする請求項９に記載の画像処理装置。
11. 前記符号化手段は、前記リフォーカス画像生成手段で生成されたリフォーカス画像を符号化することを特徴とする請求項７乃至１０のいずれか一項に記載の画像処理装置。
12. 前記符号化手段で生成された符号化データを多重化してストリームデータを生成するとともに、前記ストリームデータを符号化データに分離する多重分離手段をさらに備えることを特徴とする請求項１乃至１１のいずれか一項に記載の画像処理装置。
13. 撮影レンズと前記撮影レンズの瞳分割手段を有する撮影光学系と、前記撮影光学系で得られた被写体光を二次元に配列された複数の光電変換素子で撮像して画像データを出力する撮像素子とを備えた撮像装置において、
    請求項１乃至１１のいずれか一項に記載の画像処理装置と、
    前記撮影光学系、撮像素子および画像処理手段を制御する制御手段と
    を備えることを特徴とする撮像装置。
14. 前記画像処理手段で生成されたデータを記録媒体に記録するとともに、前記記録媒体に記録されたデータを再生する記録再生手段をさらに備え、前記記録再生手段は、ストリームデータを前記記録媒体に記録し、前記記録媒体から再生されたストリームデータを符号化データに分離し、前記分離された符号化データを復号することを特徴とする請求項１３に記載の撮像装置。
15. ユーザの操作を受け付ける操作手段をさらに備え、前記制御手段は、前記操作手段が受け付けた前記ユーザの操作に基づいて前記画像処理装置および記録再生装置を制御することを特徴とする請求項１３又は１４に記載の撮像装置。
16. 前記操作手段は、リフォーカス画像を生成する焦点の位置又は被写体の位置を指定する操作を前記ユーザの指示として受け付けることを特徴とする請求項１５に記載の撮像装置。
17. 前記瞳分割手段は、前記撮像素子の撮像面に二次元に配置された複数のマイクロレンズであり、各マイクロレンズには前記光電変換素子の所定数が対応し、前記画像フレーム生成手段は、各マイクロレンズに対応する前記所定数の光電変換素子のうち、マイクロレンズに対して同じ位置にある光電変換素子の画像データから画像フレームの一つを生成することを特徴とする請求項１３乃至１６のいずれか一項に記載の撮像装置。
18. 二次元に配列された複数の撮影光学系によって分光され、前記複数の撮影光学系のそれぞれに対して二次元に配列された複数の光電変換素子に入射された被写体光の撮像画像を処理する画像処理方法において、
    前記被写体光の画像データを取得する取得ステップと、
    前記取得された画像データを、前記撮影光学系に対する画素の位置に対応して、互いに視差を有する複数の画像フレームに変換する変換ステップと、
    少なくとも前記変換された複数の画像フレームを符号化して符号化データを生成する符号化ステップと、
    を備え、
    前記符号化ステップは、前記変換された複数の画像フレームの符号化においては、互いに視差を有する複数の画像フレーム間で、視差方向の予測を行なうことを特徴とする画像処理方法。
19. 二次元に配列された複数の撮影光学系によって分光され、前記複数の撮影光学系のそれぞれに対して二次元に配列された複数の光電変換素子に入射された被写体光の撮像画像を処理する画像処理装置を制御するためのプログラムであり、
    コンピュータを、
    前記被写体光の画像データを取得する取得手段、
    前記取得された画像データを、前記撮影光学系に対する画素の位置に対応して、互いに視差を有する複数の画像フレームに変換する画像フレーム生成手段、
    少なくとも前記変換された複数の画像フレームを符号化して符号化データを生成し、前記変換された複数の画像フレームの符号化においては、互いに視差を有する複数の画像フレーム間で、視差方向の予測を行なう符号化手段として機能させるプログラム。
20. 請求項１９に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
21. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
22. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。

Images