JP2018518866A - 全方向視差ライトフィールド表示システム用の方法および装置 - Google Patents

Abstract

ディスプレイが組み込まれた３Ｄ動画処理システムを記載する。本システムでは、ソースからディスプレイへの伝送媒体に対する膨大なデータ帯域幅の要求は、革新的な３Ｄライトフィールドの動画データをソースで圧縮することを利用するとともに、３Ｄライトフィールドの動画コンテンツをディスプレイで高圧縮した３Ｄ動画データから革新的に再構築することを利用することによって軽減される。ディスプレイは、効果的なデータ処理および光撮像のために、並列処理するパイプラインをＱｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃｓ Ｉｍａｇｅｒ（登録商標）と一体化させて組み入れている。

Description

関連出願の相互参照
本願は、２０１５年４月２３日に出願された米国仮特許出願第６２／１５１，６５６号の利益を主張するものである。

本発明は全般的に、ライトフィールドを３Ｄ撮像するシステム、ならびにその方法として、画像および映像の圧縮、復元および入力として使用したライトフィールド画像データの変調などの方法に関する。「ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）」という用語は、方向、振幅、周波数および位相を含む光の伝播および変調を表すものであり、したがって、ホログラフィ、積分撮像、立体視、多視点撮像、自由視点テレビ（Ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ ＴＶ、ＦＴＶ）などの技術を用いる撮像システムを簡約したものである。

本発明では、ホログラフィック要素すなわち「ホーゲル（ｈｏｇｅｌ）」は、サンプリングしたライトフィールド画像の最小単位であり、３Ｄディスプレイによって方向性をあらゆる可能な方向に変調できる情報を含むものであると定義される。ライトフィールド画像は、ホーゲルの２Ｄ画像行列として表現され得る。入力画像は通常、ホーゲル間に十分な固有の相関関係を有し、この相関関係は先行技術で利用されている（Ｍ．Ｌｕｃｅｎｔｅ，Ｄｉｆｆｒａｃｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｆｒｉｎｇｅ Ｃｏｍｐｕｔａｔｉｏｎ ｆｏｒ Ｅｌｅｃｔｒｏ−Ｈｏｌｏｇｒａｐｈｙ，Ｄｏｃｔｏｒａｌ Ｔｈｅｓｉｓ Ｄｉｓｓｅｒｔａｔｉｏｎ，ＭＩＴ Ｄｅｐａｒｔ．ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｓｅｐｔ．１９９４（非特許文献１）、Ｏｈｍ，Ｊ．−Ｒ．，“Ｏｖｅｒｖｉｅｗ ｏｆ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，”Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｏｓａｋａ，２０１３（非特許文献２）、Ｈｅｕｎ−Ｙｅｕｎｇ Ｓｈｕｍ ｅｔ ａｌ．，“Ｓｕｒｖｅｙ ｏｆ ｉｍａｇｅ−ｂａｓｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ａｎｄ ｃｏｍｐｒｅｓｓｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，”Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１０２０−１０３７，Ｎｏｖ．２００３（非特許文献３）、および、画像データサイズを縮小するための圧縮アルゴリズムを用いている、Ｋｕｎｄｕ，Ｓ．“Ｌｉｇｈｔ ｆｉｅｌｄ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ｈｏｍｏｇｒａｐｈｙ ａｎｄ ２Ｄ ｗａｒｐｉｎｇ，”２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），ｐｐ．１３４９−１３５２，２５−３０Ｍａｒｃｈ ２０１２（非特許文献４）を参照。

ライトフィールドの圧縮を改善するために、新しい３Ｄ動画符号化規格は、コンピュータビジョンの分野から技術を取り入れることを検討している（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１，Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ，Ｇｅｎｅｖａ，Ｓｗｉｔｚｅｒｌａｎｄ，Ｍａｒｃｈ ２０１１）。画素当たりの奥行きを使用すると、基準画像を新しいビューに投影でき、コストをかけて新しい画像を伝送する代わりに合成画像を使用できる。この技術は復号化器側での計算資源およびローカルメモリを大量に必要とし、それをリアルタイムで実現するのに困難が伴う。３Ｄ動画圧縮ツールは、水平方向に並べたシーケンスで使用することも対象としており、ライトフィールドの２Ｄ立体配列を利用するものではない。ライトフィールド画像の圧縮用に特別に開発された方法には、Ｌｅｖｏｙらが記載したベクトル量子化方法（“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｔｅｒａｃｔｉｖｅ Ｔｅｃｈｎｉｑｕｅｓ，ＳＩＧＧＲＡＰＨ ９６）（非特許文献５）、およびＭａｇｎｏｒらが記載した動画圧縮に基づく方法（Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ Ｌｉｇｈｔ−Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖ．１０，ｎ．３，Ａｐｒｉｌ ２０００，ｐｐ．３３８−３４３）（非特許文献６）などがある。ベクトル量子化の使用は限定されており、Ｍａｇｎｏｒらが紹介したもののような高度な圧縮性能を達成できない。同著者らが提案した方法は、多視点圧縮アルゴリズムとほぼ同じで、画像の立体的な規則性が視差の推定に利用されている。しかしながら、提案されている圧縮アルゴリズムは、大量のローカルメモリを必要とし、リアルタイムの実現には適していない。さらに、標準の３Ｄ動画圧縮アルゴリズム（Ｏｈｍ，Ｊ．−Ｒ．，“Ｏｖｅｒｖｉｅｗ ｏｆ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，”Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｏｓａｋａ，２０１３）（非特許文献２）あるいは特定のライトフィールド圧縮方法（Ｈｅｕｎ−Ｙｅｕｎｇ Ｓｈｕｍ ｅｔ ａｌ．，“Ｓｕｒｖｅｙ ｏｆ ｉｍａｇｅ−ｂａｓｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ａｎｄ ｃｏｍｐｒｅｓｓｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，”Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１０２０−１０３７，Ｎｏｖ．２００３（非特許文献３）およびＫｕｎｄｕ，Ｓ．“Ｌｉｇｈｔ ｆｉｅｌｄ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ｈｏｍｏｇｒａｐｈｙ ａｎｄ ２Ｄ ｗａｒｐｉｎｇ，”２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），ｐｐ．１３４９−１３５２，２５−３０ Ｍａｒｃｈ ２０１２）（非特許文献４）は、高解像度のライトフィールドによって生成された極めて大量のデータを処理できない。当業者に理解され得るように、先行技術に記載されている圧縮方法は限られた数しかリアルタイムで実現できず、これらの方法のうち、全方向視差をＶＡＣなしでリアルタイムで表示させるのに必要とされるデータ量をレンダリングできかつ／または圧縮できるものは１つもない。その上、圧縮アルゴリズムは通常、保存用またはネットワーク伝送用に設計されており（Ｂｈａｓｋａｒａｎ，Ｖ．“６５．１：ｉｎｖｉｔｅｄ Ｐａｐｅｒ：Ｉｍａｇｅ／Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ-Ａ Ｄｉｓｐｌａｙ Ｃｅｎｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ，”ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ，ｖｏｌ．３９，ｎｏ．１，２００８）（非特許文献７）、ライトフィールド表示システムの場合、ディスプレイは、従来の圧縮アルゴリズムでは果たし得ない特定のタイミングおよびメモリの要件を有する。

３Ｄシステムは、ライトフィールドの膨大なデータ要件を扱うディスプレイの能力が限られているのが慣例である。圧縮を用いた場合であっても、ディスプレイは復号化されたデータを処理する必要があり、データのサイズは容易に表示システムの限界を超えるおそれがある。圧縮を用いる代わりに、多くのライトフィールドディスプレイの実現では、データの増量に対する妥協として、ソースでライトフィールドの次元を減らすことに頼っている。それにもかかわらず、ライトフィールドディスプレイの解像度を制限することで、知覚の質に重大な影響を及ぼすことがあり、視覚の疲労を起こすことさえある。例えば、Ｔａｋａｋｉ，Ｙ．，“Ｈｉｇｈ−ｄｅｎｓｉｔｙ ｄｉｒｅｃｔｉｏｎａｌ ｄｉｓｐｌａｙ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｎａｔｕｒａｌ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅｓ，”Ｐｒｏｃ．ＩＥＥＥ，ｖｏｌ．９４，ｎｏ．３，ｐｐ．６５４−６６３，Ｍａｒ．２００６（非特許文献８）、Ｂａｌｏｇｈ、Ｔ．，“Ｔｈｅ ＨｏｌｏＶｉｚｉｏ ｓｙｓｔｅｍ，”Ｐｒｏｃ．ＳＰＩＥ ６０５５，Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ ＸＩＩＩ，６０５５０Ｕ（Ｊａｎｕａｒｙ ２７，２００６）（非特許文献９）、およびＩｗａｓａｗａ，Ｓ．ｅｔ ａｌ．，“ＲＥＩ：ａｎ ａｕｔｏｍｕｌｔｉｓｃｏｐｉｃ ｐｒｏｊｅｃｔｉｏｎ ｄｉｓｐｌａｙ，”Ｐｒｏｃ．３ＤＳＡ ２０１３，Ｓｅｌｅｃｔｅｄ ｐａｐｅｒ １（非特許文献１０）に紹介されているものなどの超多視点ディスプレイは、ライトフィールドの垂直方向の視差を排除し、水平方向の動きのみに対する動き視差を限定する。積分撮像ディスプレイ（Ａｒａｉ，Ｊ．，“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ，”Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ），２０１２，ｖｏｌ．，ｎｏ．，ｐｐ．１７−２０，７−９ Ｍａｙ ２０１２（非特許文献１１）、Ｊａｖｉｄｉ，Ｂ．，Ｓｅｕｎｇ−Ｈｙｕｎ Ｈｏｎｇ，“Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｈｏｌｏｇｒａｐｈｉｃ ｉｍａｇｅ ｓｅｎｓｉｎｇ ａｎｄ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ ｄｉｓｐｌａｙ，”Ｄｉｓｐｌａｙ ｔｅｃｈｎｏｌｏｇｙ，Ｊｏｕｒｎａｌ ｏｆ，ｖｏｌ．１，ｎｏ．２，ｐｐ．３４１−３４６，Ｄｅｃ．２００５（非特許文献１２）、およびＰａｒｋ、Ｊ．Ｈ．，Ｈｏｎｇ，Ｋ．ａｎｄ Ｌｅｅ，Ｂ．“Ｒｅｃｅｎｔ ｐｒｏｇｒｅｓｓ ｉｎ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ，”Ａｐｐｌｉｅｄ ｏｐｔｉｃｓ ４８，ｎｏ．３４（２００９）（非特許文献１３）を参照）は、全方向視差ライトフィールドを再現するが、ディスプレイの解像が限定されており、通常、角度解像度（およびそれに伴って被写界深度）を落として空間解像度を上げている。ホログラフィックディスプレイに対する方法（Ｍ．Ｌｕｃｅｎｔｅ，Ｄｉｆｆｒａｃｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｆｒｉｎｇｅ Ｃｏｍｐｕｔａｔｉｏｎ ｆｏｒ Ｅｌｅｃｔｒｏ−Ｈｏｌｏｇｒａｐｈｙ，Ｄｏｃｔｏｒａｌ Ｔｈｅｓｉｓ Ｄｉｓｓｅｒｔａｔｉｏｎ，ＭＩＴ Ｄｅｐａｒｔ．ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｓｅｐｔ．１９９４（非特許文献１）を参照）は、伝送媒体帯域幅を小さくするためにディスプレイのリフレッシュレートを下げることに頼っている。Ｈｏｌｌｉｍａｎ，Ｎ．ｅｔ ａｌ．，“Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｐｌａｙｓ：Ａ Ｒｅｖｉｅｗ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ Ａｎａｌｙｓｉｓ，”Ｂｒｏａｄｃａｓｔｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．５７，ｎｏ．２，ｐｐ．３６２−３７１，Ｊｕｎｅ ２０１１（非特許文献１４）、Ｕｒｅｙ，Ｈ．ｅｔ ａｌ．，“Ｓｔａｔｅ ｏｆ ｔｈｅ Ａｒｔ ｉｎ Ｓｔｅｒｅｏｓｃｏｐｉｃ ａｎｄ Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，Ｏｎ ｐａｇｅ（ｓ）：５４０−５５５ Ｖｏｌｕｍｅ：９９，Ｉｓｓｕｅ：４，Ａｐｒｉｌ ２０１１（非特許文献１５）、およびＭａｓｉａ，Ｂ．ｅｔ ａｌ．，“Ａ ｓｕｒｖｅｙ ｏｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｄｉｓｐｌａｙｓ：Ｐｕｓｈｉｎｇ ｔｈｅ ｂｏｕｎｄａｒｉｅｓ ｏｆ ｏｐｔｉｃｓ，ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ ｐｅｒｃｅｐｔｉｏｎ，”Ｃｏｍｐｕｔｅｒｓ＆Ｇｒａｐｈｉｃｓ ３７．８（２０１３）（非特許文献１６）にある著作には、ライトフィールドディスプレイのさらに多くの例が記載されている。しかしながら、そのような技術は実際の３Ｄ物体を忠実に再現するライトフィールドディスプレイの能力を限定することを当業者は直ちに理解するであろう。先行技術は、高解像度のライトフィールドディスプレイによって課される、高圧縮率、高品質、低計算負荷およびリアルタイム応答などの課題に対処し損ねている。したがって、高解像度ライトフィールドに対する新たな方法および装置が求められている。

米国仮特許出願第６２／１５１，６５６号 米国特許第７，６２３，５６０号 米国特許第７，７６７，４７９号 米国特許第７，８２９，９０２号 米国特許第８，０４９，２３１号 米国特許第８，２４３，７７０号 米国特許第８，５６７，９６０号 米国特許第８，２８４，２３７号 米国特許出願公報第２０１０／０００７８０４号 米国特許出願公報第２０１０／０２２５６７９号 米国特許出願公報第２０１３／０１４１８９５号 米国特許出願公報第２０１３／０２５８４５１号 米国特許出願公報第２０１５／０２０１１７６号

Ｍ．Ｌｕｃｅｎｔｅ，Ｄｉｆｆｒａｃｔｉｏｎ−Ｓｐｅｃｉｆｉｃ Ｆｒｉｎｇｅ Ｃｏｍｐｕｔａｔｉｏｎ ｆｏｒ Ｅｌｅｃｔｒｏ−Ｈｏｌｏｇｒａｐｈｙ，Ｄｏｃｔｏｒａｌ Ｔｈｅｓｉｓ Ｄｉｓｓｅｒｔａｔｉｏｎ，ＭＩＴ Ｄｅｐａｒｔ．ｏｆ Ｅｌｅｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ，Ｓｅｐｔ．１９９４ Ｏｈｍ，Ｊ．−Ｒ．，"Ｏｖｅｒｖｉｅｗ ｏｆ ３Ｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄｉｚａｔｉｏｎ，"Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ３Ｄ Ｓｙｓｔｅｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ，Ｏｓａｋａ，２０１３ Ｈｅｕｎ−Ｙｅｕｎｇ Ｓｈｕｍ ｅｔ ａｌ．，"Ｓｕｒｖｅｙ ｏｆ ｉｍａｇｅ−ｂａｓｅｄ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ａｎｄ ｃｏｍｐｒｅｓｓｉｏｎ ｔｅｃｈｎｉｑｕｅｓ，"Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．１３，ｎｏ．１１，ｐｐ．１０２０−１０３７，Ｎｏｖ．２００３ Ｋｕｎｄｕ，Ｓ．"Ｌｉｇｈｔ ｆｉｅｌｄ ｃｏｍｐｒｅｓｓｉｏｎ ｕｓｉｎｇ ｈｏｍｏｇｒａｐｈｙ ａｎｄ ２Ｄ ｗａｒｐｉｎｇ，"２０１２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ），ｐｐ．１３４９−１３５２，２５−３０ Ｍａｒｃｈ ２０１２ Ｌｅｖｏｙ ｅｔ ａｌ， "Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｔｅｒａｃｔｉｖｅ Ｔｅｃｈｎｉｑｕｅｓ，ＳＩＧＧＲＡＰＨ ９６ Ｍａｇｎｏｒ ｅｔ ａｌ，Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ ｆｏｒ Ｌｉｇｈｔ−Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖ．１０，ｎ．３，Ａｐｒｉｌ ２０００，ｐｐ．３３８−３４３ Ｂｈａｓｋａｒａｎ，Ｖ．"６５．１：ｉｎｖｉｔｅｄ Ｐａｐｅｒ：Ｉｍａｇｅ／Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ-Ａ Ｄｉｓｐｌａｙ Ｃｅｎｔｒｉｃ Ｖｉｅｗｐｏｉｎｔ，"ＳＩＤ Ｓｙｍｐｏｓｉｕｍ Ｄｉｇｅｓｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ，ｖｏｌ．３９，ｎｏ．１，２００８ Ｔａｋａｋｉ，Ｙ．，"Ｈｉｇｈ−ｄｅｎｓｉｔｙ ｄｉｒｅｃｔｉｏｎａｌ ｄｉｓｐｌａｙ ｆｏｒ ｇｅｎｅｒａｔｉｎｇ ｎａｔｕｒａｌ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｍａｇｅｓ，"Ｐｒｏｃ．ＩＥＥＥ，ｖｏｌ．９４，ｎｏ．３，ｐｐ．６５４−６６３，Ｍａｒ．２００６ Ｂａｌｏｇｈ、Ｔ．，"Ｔｈｅ ＨｏｌｏＶｉｚｉｏ ｓｙｓｔｅｍ，"Ｐｒｏｃ．ＳＰＩＥ ６０５５，Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ Ｓｙｓｔｅｍｓ ＸＩＩＩ，６０５５０Ｕ（Ｊａｎｕａｒｙ ２７，２００６） Ｉｗａｓａｗａ，Ｓ．ｅｔ ａｌ．，"ＲＥＩ：ａｎ ａｕｔｏｍｕｌｔｉｓｃｏｐｉｃ ｐｒｏｊｅｃｔｉｏｎ ｄｉｓｐｌａｙ，"Ｐｒｏｃ．３ＤＳＡ ２０１３，Ｓｅｌｅｃｔｅｄ ｐａｐｅｒ １ Ａｒａｉ，Ｊ．，"Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｖｉｓｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｐｈｏｔｏｇｒａｐｈｙ，"Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ），２０１２，ｖｏｌ．，ｎｏ．，ｐｐ．１７−２０，７−９ Ｍａｙ ２０１２ Ｊａｖｉｄｉ，Ｂ．，Ｓｅｕｎｇ−Ｈｙｕｎ Ｈｏｎｇ，"Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｈｏｌｏｇｒａｐｈｉｃ ｉｍａｇｅ ｓｅｎｓｉｎｇ ａｎｄ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ ｄｉｓｐｌａｙ，"Ｄｉｓｐｌａｙ ｔｅｃｈｎｏｌｏｇｙ，Ｊｏｕｒｎａｌ ｏｆ，ｖｏｌ．１，ｎｏ．２，ｐｐ．３４１−３４６，Ｄｅｃ．２００５ Ｐａｒｋ、Ｊ．Ｈ．，Ｈｏｎｇ，Ｋ．ａｎｄ Ｌｅｅ，Ｂ．"Ｒｅｃｅｎｔ ｐｒｏｇｒｅｓｓ ｉｎ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｂａｓｅｄ ｏｎ ｉｎｔｅｇｒａｌ ｉｍａｇｉｎｇ，"Ａｐｐｌｉｅｄ ｏｐｔｉｃｓ ４８，ｎｏ．３４（２００９） Ｈｏｌｌｉｍａｎ，Ｎ．ｅｔ ａｌ．，"Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｄｉｓｐｌａｙｓ：Ａ Ｒｅｖｉｅｗ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ Ａｎａｌｙｓｉｓ，"Ｂｒｏａｄｃａｓｔｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．５７，ｎｏ．２，ｐｐ．３６２−３７１，Ｊｕｎｅ ２０１１ Ｕｒｅｙ，Ｈ．ｅｔ ａｌ．，"Ｓｔａｔｅ ｏｆ ｔｈｅ Ａｒｔ ｉｎ Ｓｔｅｒｅｏｓｃｏｐｉｃ ａｎｄ Ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ，Ｏｎ ｐａｇｅ（ｓ）：５４０−５５５ Ｖｏｌｕｍｅ：９９，Ｉｓｓｕｅ：４，Ａｐｒｉｌ ２０１１ Ｍａｓｉａ，Ｂ．ｅｔ ａｌ．，"Ａ ｓｕｒｖｅｙ ｏｎ ｃｏｍｐｕｔａｔｉｏｎａｌ ｄｉｓｐｌａｙｓ：Ｐｕｓｈｉｎｇ ｔｈｅ ｂｏｕｎｄａｒｉｅｓ ｏｆ ｏｐｔｉｃｓ，ｃｏｍｐｕｔａｔｉｏｎ ａｎｄ ｐｅｒｃｅｐｔｉｏｎ，"Ｃｏｍｐｕｔｅｒｓ＆Ｇｒａｐｈｉｃｓ ３７．８（２０１３） Ｈｏｆｆｍａｎ，Ｄ．Ｍ．ｅｔ ａｌ．，"Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔｓ ｈｉｎｄｅｒ ｖｉｓｕａｌ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｃａｕｓｅ ｖｉｓｕａｌ ｆａｔｉｇｕｅ，"Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ ８，ｎｏ．３，２００８） Ａｌｐａｓｌａｎ，Ｚ．Ｙ．，ｅｔ ａｌ．，"Ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｔｉｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ，"ｉｎ ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＶＩ，２０１５ Ｌｅｖｏｙ，Ｍ．ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｔｅｒａｃｔｉｖｅ Ｔｅｃｈｎｉｑｕｅｓ，ＳＩＧＧＲＡＰＨ ９６ Ｅｌ−Ｇｈｏｒｏｕｒｙ，Ｈ．Ｓ．ｅｔ ａｌ．，"Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ（ＱＰＩ）：Ａ Ｎｅｗ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，"（Ｉｎｖｉｔｅｄ）Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐｓ Ｖｏｌｕｍｅ ２１，Ｄｅｃｅｍｂｅｒ ３，２０１４ Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，"Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ"，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５） "Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＶＳＲＳ）３．５，"ｗｇ１１．ｓｃ２９．ｏｒｇ，Ｍａｒｃｈ ２０１０ Ｃ．Ｆｅｈｎ，"３Ｄ−ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），"ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，ＳａｎＦｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，Ｄｅｃ．２００４ Ｍａｌｖａｒ，Ｈ．Ｓ．ｅｔ ａｌ．，"Ｌｉｆｔｉｎｇ−Ｂａｓｅｄ Ｒｅｖｅｒｓｉｂｌｅ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ"，Ｐｒｏｃｅｅｄｉｎｇ ＳＰＩＥ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００８ Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ ｅｔ ａｌ．，"Ｔｈｅ Ｈ．２６４／ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ ：Ｏｖｅｒｖｉｅｗ ａｎｄ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ，"ｉｎ ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＸＶＩＩ，２００４

本発明を理解するため、かつ本発明を実際にどのように実行し得るのかを見るため、本発明の特定の実施形態を添付の図面を参照して非限定的な例のみを用いて説明する。したがって、例示的な実施形態を理解しやすくするために詳細な実施要素を挙げているが、本発明は別の実施態様を用いても実施され得る。不要な詳細によって本発明を不明瞭にしないために、公知の機能や構造は詳細に説明していない。

先行技術のアーキテクチャを示す図である。 先行技術の限界を示す図である。 本発明アーキテクチャを示す図である。 本発明のディスプレイ適合符号化処理の詳細を示す図である。 本発明のディスプレイ適合符号化処理の１つの実施形態で使用したシードホーゲルテクスチャ符号化処理に対する詳細を示す図である。 本発明のディスプレイ適合符号化処理の１つの実施形態で使用したシードホーゲル視差符号化処理の詳細を示す図である。 本発明のディスプレイ適合符号化処理の１つの実施形態で使用した残余ホーゲル視差符号化処理の詳細を示す図である。 本発明のディスプレイ適合符号化処理の１つの実施形態で使用した残余ホーゲルテクスチャ符号化処理の詳細を示す図である。 ライトフィールド解像度を上げるための集合体の並進を描いた図である。 ライトフィールド解像度を上げるための集合体の回転を描いた図である。 ライトフィールド解像度を上げるために回転および並進を用いる本発明の実施形態のタイミングを示す図である。 本発明の可能な実施形態のヘッダ情報を含むテーブルを示す図である。 ジャストインタイムの復号化に対するパケットインターリーブ器の可能な方策を描いた図である。 本発明の１つの実施形態で使用したシードホーゲルにビットレートを割り当てる方法を示す図である。 本発明の１つの実施形態で使用した残余ホーゲルにビットレートを割り当てる方法を示す図である。 本発明の３Ｄ撮像システムのディスプレイ側で受信したビットストリームの復号化を示す図である。 ハードウェアユニットを管理するファームウェアソフトウェアの概念に対して使用したステートマシンの流れ図である 処理ノードどうしの間の相互接続を示す図である。 処理ノードと、その全ハードウェアユニットとメモリブロックの内部構造を示す図である。

３次元（３Ｄ）ディスプレイは、医療、科学、軍事およびエンターテイメントの視覚化、バーチャルプロトタイピング、およびさらに多くの用途に極めて貴重なものである。残念ながら、コンピュータのディスプレイは画像を１つの面に表示するため、３Ｄディスプレイは、知覚される３Ｄ構造でゆがみを生じることが多く、視聴者には不快感および疲労をもたらす。３Ｄディスプレイの最大の問題の１つが、両眼離反運動と遠近調節が一致しない適合的眼球離反運動の不一致（Ｖｅｒｇｅｎｃｅ−Ａｃｃｏｍｍｏｄａｔｉｏｎ Ｃｏｎｆｌｉｃｔ、ＶＡＣ）と称されるものであり（Ｈｏｆｆｍａｎ，Ｄ．Ｍ．ｅｔ ａｌ．，“Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｍｏｄａｔｉｏｎ ｃｏｎｆｌｉｃｔｓ ｈｉｎｄｅｒ ｖｉｓｕａｌ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｃａｕｓｅ ｖｉｓｕａｌ ｆａｔｉｇｕｅ，”Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ ８，ｎｏ．３，２００８）（非特許文献１７）、これは両眼の刺激を融合する能力を低下させる。

ところが、ライトフィールドディスプレイ（Ａｌｐａｓｌａｎ，Ｚ．Ｙ．，ｅｔ ａｌ．，“Ｓｍａｌｌ ｆｏｒｍ ｆａｃｔｏｒ ｆｕｌｌ ｐａｒａｌｌａｘ ｔｉｌｅｄ ｌｉｇｈｔ ｆｉｅｌｄ ｄｉｓｐｌａｙ，”ｉｎ ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＶＩ，２０１５）（非特許文献１８）は、シーンの物体から放出または反射された光線の強度および方向を変調し、それによって、ディスプレイの画面がＶＡＣを解消する代わりに３Ｄ物体に視聴者が直接焦点を合わせることが可能になる。ライトフィールドを取り込む方法の１つは、２つの平行な平面内の光線の入射点および出射点をパラメータ化することである（Ｌｅｖｏｙ，Ｍ．ｅｔ ａｌ．，“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ，”Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２３ｒｄ ａｎｎｕａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ｉｔｅｒａｃｔｉｖｅ Ｔｅｃｈｎｉｑｕｅｓ，ＳＩＧＧＲＡＰＨ ９６）（非特許文献１９）。ライトフィールドを忠実に再現するためには、パラメータ化した平面を綿密にサンプリングする必要がある。これによってデータは膨大な量となり、表示システムに極度の処理および保存要求を課すことになる。

例えば、ＸＧＡ空間解像度（１０２４ｘ７６８）、視野が１００°、かつ角度解像度が０．４°であるディスプレイは、およそ５０ギガの画素を変調する必要があり、これは計１．１７Ｔビットのデータ量になる。最新の動画圧縮フォーマットであるＨ．２６４／ＡＶＣは、超高解像度の動画フレーム（４，０９６ｘ２，３０４＠５６．３フレーム／秒、または０．５Ｇ画素／秒）をおよそ１２Ｇビット／秒のデータビットレートで圧縮するように対処でき（（ＩＳＯ／ＩＥＣ １４４９６-１０：２００３、２００３年の「Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏｖｉｓｕａｌ Ｏｂｊｅｃｔｓ‐Ｐａｒｔ １０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（オーディオビジュアル物体の符号化―第１０部：高度な動画符号化）」、およびＩＴＵ−Ｔ勧告Ｈ．２６４「Ａｄｖａｎｃｅｄ ｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ（汎用のオーディオビジュアルサービス用の高度な動画符号化）」）、これは画素当たり２４ビットとみなされる。ライトフィールドを６０Ｈｚの動画レートでリアルタイムで圧縮するためには、同じＨ２６４／ＡＶＣは、最大７０Ｔビット／秒のデータレートを達成できる必要があり、これは現在可能とされる最大データレートよりも遙かに高い。

本発明は、画素ピッチが極めて大きい表示装置を用いて綿密にサンプリングしたライトフィールドを再現できる、ライトフィールドを３Ｄ撮像する方法および装置を開示する。本発明は、本明細書に開示したライトフィールド圧縮方法を用いて、ライトフィールド生成部とライトフィールド表示装置との間の伝送媒体帯域幅を低減する。このほか、開示した装置は、圧縮された入力を受け取ってディスプレイに直接ライトフィールドを再構築できる。

量子フォトニック撮像装置（Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ、ＱＰＩ撮像装置）は、動き視差または被写界深度を損なうことなく、解像度が極めて高い全方向視差ライトフィールド表示の再生を可能にする表示技術である（米国特許第７，６２３，５６０号、同７，７６７，４７９号、同７，８２９，９０２号、同８，０４９，２３１号、同８，２４３，７７０号、同８，５６７，９６０号およびＥｌ−Ｇｈｏｒｏｕｒｙ，Ｈ．Ｓ．ｅｔ ａｌ．，“Ｑｕａｎｔｕｍ Ｐｈｏｔｏｎｉｃ Ｉｍａｇｅｒ（ＱＰＩ）：Ａ Ｎｅｗ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，”（Ｉｎｖｉｔｅｄ）Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄｉｓｐｌａｙ Ｗｏｒｋｓｈｏｐｓ Ｖｏｌｕｍｅ ２１，Ｄｅｃｅｍｂｅｒ ３，２０１４（非特許文献２０）を参照）。ＱＰＩ撮像装置は、高輝度かつ拡張色域の５μｍの画素サイズを達成できる。同装置はタイル型表示の構築を可能にし、その小さい画素ピッチは、被写界深度が拡張した高解像度の全方向視差ライトフィールド表示を実現するスケーラビリティを提供する。タイル型表示により、リアルタイムのライトフィールド表示に必要なライトフィールドの並列処理が可能になる。それにもかかわらず、全要素の接続および管理も慎重に計画する必要がある。ＱＰＩ撮像装置は、いくつかの他の同様のＱＰＩ撮像装置を相互接続してタイル型表示を実現できるデジタルインターフェースを提供する。デジタルインターフェースは、圧縮データを受け取って伝送媒体帯域幅の要件を軽減し、ディスプレイで直接データ拡張を実施する。このほか、圧縮アルゴリズムは、ハードウェアの構造を利用するよう設計されたものである。圧縮された色および追加情報はディスプレイタイルに送信されるため、データの共有および再利用ができ、同時に高い圧縮率およびリアルタイムの復号化を達成できる。

本発明は、３Ｄホログラフィック情報をリアルタイムで表示する手段を提供する。本特許に記載した方法および装置は、Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔ ｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献２１）に記載されているシステムに基づくものであり、同文献の開示内容を参照によりその全容を本願に援用する。本発明の実施形態は、画像および動画データの処理に特に適しているデジタル計算構成要素および計算方法からなる。動画データは、３次元物体を表現する高度の圧縮されたデータである。さらに、ディスプレイおよび処理要素は、同じ装置に組み込まれている。使用するアーキテクチャにより、エントロピー復号化、データ拡張、誤り訂正、逆画像変換および色補正などだがこれに限定されない手段によって動画データを復元するのに特に適している命令を用いた処理構成要素のまたは処理要素の並列実行が可能になる。さらに、処理要素は、その処理要素自体の面にデータを用意するのに特に適しており、ディスプレイは量子フォトニック撮像装置である。主な入力インターフェースは、多くの処理ノードのうちの１つに接続され、その後その処理ノードは、データがその特定のノードに対するものであるのか他のノードに対するものであるのかを、そのパケットの識別に基づいて判断する。データパケットが別のノードに属している場合、そのデータは正しい送信先に適切に転送される。受け取ったデータが処理ノードに宛てられたものであれば、ノードはその種類に応じてデータを処理する。データは複数の異なる特質を有し、それらすべてが復号化され、ホーゲルテクスチャを生成する後続のステップで使用される。最終ステップは、表示用のホーゲルテクスチャの準備である。開示した発明は、低電力要素を使用してライトフィールドをリアルタイムで再現し、没入型のＶＡＣのない３Ｄ知覚を提供できる。

本発明は、コンピュータグラフィックス分野のいくつかの公知の技術を利用しており、念のためそれを本明細書で定義する。

マイクロレンズ系の撮像システムでは、マイクロレンズの下にあるホーゲルによって生成された画素の方向を各マイクロレンズが変調する。屈折系の撮像システムでは、ホーゲルは、変調された周波数をすべて含むホログラムの最小単位である。

コンピュータグラフィックスでは、シーンまたはシーンのビューを再生する行為は、視点レンダリングとして知られている。通常は、照明、表面特性およびカメラ視点に沿って３Ｄモデルが使用される。この視点レンダリングは一般に、いくつかの複雑な動作のほか、シーンの立体構造の詳細な知識も必要とする。新規のビューをレンダリングする代替技術が、複数の周囲の視点を用いる技術である。画像ベースレンダリング（Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＩＢＲ）として知られているこの技術は、ライトフィールドをオーバーサンプリングする入力画像から直接新規のビューをレンダリングする。ＩＢＲは、質がより現実的なビューを生成するが、ライトフィールドでのより強力なデータ取得処理、データ保存および冗長性を必要とする。複雑な立体モデルとデータ集約型のＩＢＲとの妥協点が、奥行き情報およびビューの選択数を用いることである。各ビューは、各画素の位置と関連付けられた奥行きを有し、これは奥行きマップとしても知られている。次に奥行きマップを使用して新しいビューを合成し、これは奥行き画像ベースレンダリング（Ｄｅｐｔｈ Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ、ＤＩＢＲ）と呼ばれる処理である（米国特許第８，２８４，２３７号、“Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｒｅｆｅｒｅｎｃｅ Ｓｏｆｔｗａｒｅ（ＶＳＲＳ）３．５，”ｗｇ１１．ｓｃ２９．ｏｒｇ，Ｍａｒｃｈ ２０１０（非特許文献２２）、およびＣ．Ｆｅｈｎ，“３Ｄ−ＴＶ Ｕｓｉｎｇ Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ），”ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐｉｃｔｕｒｅ Ｃｏｄｉｎｇ Ｓｙｍｐｏｓｉｕｍ，ＳａｎＦｒａｎｃｉｓｃｏ，ＣＡ，ＵＳＡ，Ｄｅｃ．２００４（非特許文献２３）を参照）。ＤＩＢＲは、奥行き情報ならびに仮想カメラの外在パラメータおよび内在パラメータを利用して２Ｄ画面の点をそのそれぞれの３Ｄ位置に投影し、その後、３Ｄの点を対象の２Ｄ画面上に再度投影し、この操作は順方向ワーピングとしても知られている。逆の操作も有効であり、その場合、対象ビューの奥行き値がわかり、テクスチャ値は基準ビューから取得される。この場合、この操作は逆方向ワーピングと呼ばれる。ＤＩＢＲによる合成の最大の問題は、奥行き値の不正確さ、丸め誤差および物体のディスオクルージョンに起因する穴の発生である。

本発明は、地形テクスチャの航空画像、地形標高のレーダもしくはＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）によるデータ、または市街地図、風景、コンピュータが生成した３Ｄ像、医療画像、ライトフィールドカメラまたは複数のカメラで同時にもしくは異なる時間に撮った画像などだがこれに限定されないライトフィールドの圧縮および表示を扱う。ライトフィールドは、２つの平行な平面と交差する光線で表すことがきる。光線の交差は、両平面で一様にサンプリングされ、取得後のライトフィールドを２Ｄカメラアレイの設定と同じ手順で形成する。各カメラビューは、「要素画像」とみなされるか、ホーゲルと同等にみなされる。本発明は、取り込んでいるカメラビューのテクスチャおよびそれに関連する立体情報を利用して、ライトフィールドをライトフィールドの表示装置に伝送する前にライトフィールドを圧縮する。用いた立体情報は、画素当たりの視差（ｄｉｓｐａｒｉｔｙまたはｐａｒａｌｌａｘ）であり、この視差は、２つの隣接するカメラビュー間の物体の変位を表している。画素当たりの視差は、奥行きから導き出すことができ、この逆も可能である。好適な実施形態では、復号化器側での実施が簡易であると理由から視差を使用し、この場合、分割する代わりに、ワーピングするのに単に画素の移動のみを用いる。それにもかかわらず、奥行き値を用いて同じ発明を実現できる。圧縮は、短い待ち時間および制約のあるメモリなどのライトフィールド表示の要件を考慮するために計画される。すなわち圧縮アルゴリズムは、ディスプレイの能力に見合っている。そのため、この圧縮方法はディスプレイ適合圧縮（Ｄｉｓｐｌａｙ−Ｍａｔｃｈｅｄ Ｃｏｍｐｒｅｓｓｉｏｎ）と呼ばれる。先行技術と比較すると、本発明の手法は、計算能力を利用することによって、ライトフィールド生成部とライトフィールド表示装置との間で伝送媒体帯域幅の要件を実質的に軽減できるものである。

図１に示した先行技術では、３Ｄライトフィールドデータ１０１をサンプリングし、レンダリング操作１０２によってデジタル化する。レンダリング操作は、膨大な量のデータ１０５を生成し、これが３Ｄデータビュー１１５の変調を担う従来のディスプレイ１１０への接続に伝送媒体帯域幅の高い要件を課す。処理負荷を軽減するため、先行技術では３Ｄ効果を水平軸に限定することによって視聴の質が損なわれることが多い。その結果、図２に示したように、従来のディスプレイ１１０上の任意の所与の点から来る光線２１１は、視聴者に水平視差画像２１５を投影する。

図３に示したように、本発明３１０が開示したライトフィールドディスプレイは、相当な計算能力を有しており、高度に圧縮されたデータを受信してデータ３０５の伝送媒体帯域幅の要件を大幅に軽減しつつ、３Ｄデータビュー３１５を変調することができる。３Ｄデータ１０１の圧縮は通常、２つの機能段階で達成される。すなわち、圧縮レンダリング３０２と、それに続いてディスプレイ適合符号化器（Ｄｉｓｐｌａｙ−Ｍａｔｃｈｅｄ Ｅｎｃｏｄｅｒ）３０３でライトフィールド表示装置向けに圧縮し調整されたビットストリームを生成する段階である。Ｇｒａｚｉｏｓｉ ｅｔ ａｌ．，“Ｄｅｐｔｈ ａｓｓｉｓｔｅｄ ｃｏｍｐｒｅｓｓｉｏｎ ｏｆ ｆｕｌｌ ｐａｒａｌｌａｘ ｌｉｇｈｔｆｉｅｌｄｓ”，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｃｉｅｔｙ ｆｏｒ Ｏｐｔｉｃｓ ａｎｄ Ｐｈｏｔｏｎｉｃｓ（Ｍａｒｃｈ １７，２０１５）（非特許文献２１）に開示されているように、本発明で採用しているレンダリング方法は、３Ｄデータをレンダリングすると同時に圧縮して圧縮後のライトフィールドフォーマットにするものである。

本発明の１つの可能な実施形態では、表示システムの厳密な処理およびメモリの制約の中で高度な圧縮を達成することを目的として、並列符号化／復号化アーキテクチャを用いる。ライトフィールドデータの処理に必要なスループットおよびメモリを達成するために、並列に動作する複数の処理ノード（Ｐｒｏｃｅｓｓｉｎｇ Ｎｏｄｅ、ＰＮ）がそのそれぞれのホーゲルのサブセットを復号化してライトフィールド全体をまとめて再構築する。ディスプレイ適合圧縮は、ディスプレイ側でのハードウェアの選択結果ならびにその処理スループットおよび記憶能力に適合するように設計されていることに注意されたい。これはディスプレイ適合圧縮の重要な特徴である。なぜなら、それによって本発明の３Ｄ圧縮撮像システムは、半導体技術分野で進歩し続ける利点、およびそれによって同システムが段階的にもたらす処理スループットとメモリの増大を十分に活かすことができるからである。ディスプレイ適合圧縮のいくつかの変形例を、以下の段落に記載した実施形態で考察する。

ディスプレイ適合圧縮を実施するために使用されるライトフィールドのライトフィールドホーゲル区画の一例は、ホーゲルアレイをＮ×Ｎのホーゲルを含む独立したグループに分割することである。Ｎの値は、表示処理能力に応じて選択されるパラメータの１つであり、その範囲は、全ホーゲルが独立したＰＮによって復号化される場合の１から、全ホーゲルが１つのＰＮによって合わせて処理される場合のライトフィールド全体にまで及び得る。

ディスプレイ適合圧縮を図４に示している。ライトフィールドは通常かなりの量の相関を含んでおり、圧縮する必要がある。これは、ライトフィールドデータ（テクスチャ４１１および視差４１２）を圧縮してビットストリーム４１３を生成するディスプレイ適合符号化器３０３を用いることによって本発明で達成される。この実施形態では、本明細書で「シードホーゲル（ｓｅｅｄ ｈｏｇｅｌ）」と呼ぶ、ＰＮホーゲル領域内にある１つ以上のホーゲルを独立して符号化し、本明細書で「残余ホーゲル」と呼ぶ残りのホーゲルを選択したシードホーゲルに対して符号化する。図４を参照すると、以下の段落で説明するように、シードホーゲルから得た画素のシードホーゲル視差４０１およびシードホーゲルテクスチャ４０２を符号化し４０６、４０７、ビットストリーム４１３に追加する。シードホーゲルを用いて残余ホーゲルを符号化するためには、符号化器と復号化器の両方が同じ基準を用いることが重要である。したがって、図４に示した符号化器の構造は、復号化器が使用したものと全く同じ値のシードホーゲルテクスチャおよび視差を再構築する復号化ループ４０５を含んでいる。図４に示した次の符号化処理では、残余ホーゲルテクスチャ４０３を、復号化したシードホーゲル４０５およびその対応する視差を基準として用いて視差補償し、残りの情報のみを符号化し４０８、ビットストリーム４１３に追加する。残余ホーゲル４０４の視差がテクスチャの符号化に有益である場合、視差補償の予測を改善する可能性があるため、残余ホーゲル視差４０４もシードホーゲル視差４０１を用いて符号化し、ビットストリーム４１３に挿入してもよい。ライトフィールドディスプレイは次に、受信したデータ４１３を局所的に復号化し、ライトフィールド４１１を構成するホーゲルのアレイを再構築（変調）する。本発明では、ライトフィールドを全面的に再構築することは、視差情報４１２を用いることによって回避でき、その結果、ライトフィールド撮像システムは圧縮データのみを扱うことになる点に注意されたい。本発明の１つの可能な実施形態では、米国特許出願公報第２０１０／０００７８０４号および同２０１０／０２２５６７９号のように圧縮表示を用いてもよく、両文献は、離散ウォルシュ変換（ｄｉｓｃｒｅｔｅ Ｗａｌｓｈ Ｔｒａｎｓｆｏｒｍ、ＤＷＴ）、または離散コサイン変換（ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）の係数を入力として用いて表示し、人間視覚システム（ｈｕｍａｎ ｖｉｓｕａｌ ｓｙｓｔｅｍ、ＨＶＳ）の統合局面を用いて復元を実施する方法を記載している。

図５は、シードホーゲルテクスチャ符号化４０７の詳細を示している。シードホーゲルテクスチャ４０２は、ｋ×ｋの画素５０１のブロックにセグメント化される。各画素ブロックに対して、シードホーゲルテクスチャ値は固定値によってレベルシフトされる５０２。つまり、正の値と負の値を得るために、可能な画素値の範囲の中央値が画素値から減算される（８ビット範囲の場合、一定値１２８が使用される）。その後、シードホーゲル画素の色空間は、色チャネルを非相関化する色空間に転換される５０３。この実施形態の場合の色空間転換の一例がＲＧＢからＹＣｏＣｇへの色転換である（Ｍａｌｖａｒ，Ｈ．Ｓ．ｅｔ ａｌ．，“Ｌｉｆｔｉｎｇ−Ｂａｓｅｄ Ｒｅｖｅｒｓｉｂｌｅ Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ ｆｏｒ Ｉｍａｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ”，Ｐｒｏｃｅｅｄｉｎｇ ＳＰＩＥ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００８（非特許文献２４）を参照）。しかし、ＹＵＶまたはＹＣｂＣｒなどだがこれに限定されない他の色空間を無制限に使用してもよい。次に、ＤＣＴ変換または整数変換などの画像ブロック変換５０４（Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ ｅｔ ａｌ．，“Ｔｈｅ Ｈ．２６４／ＡＶＣ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ ：Ｏｖｅｒｖｉｅｗ ａｎｄ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ，”ｉｎ ＳＰＩＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ＸＸＶＩＩ，２００４（非特許文献２５）を参照）などを各々の色チャネルに適用する。変換は、シードホーゲルテクスチャブロックのエネルギーをわずかな係数のみで集中させる。その後、これらの係数は、ブロック変換係数のエネルギーの統計および分布に応じて調整されたスケーリングパラメータを用いて量子化される５０５。シードホーゲルは後に基準として用いられるため、ブロック変換係数の質はできる限り保持される必要がある。その後、通常ブロックのほとんどの情報を含んでいるＤＣ係数は、差分パルス符号変調（ＤＰＣＭ、Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｉｎｇ Ｍｏｄｕｌａｔｉｏｎ）方式５０６を用いて別々に符号化され、一方、ＡＣ係数は、例えばジグザグ走査およびランレングス符号化５０７を用いて走査され符号化される。最後に、ビットストリームは、好ましくはハフマンエントロピー符号化器、コンテキスト適応２進算術符号化器（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｅｎｃｏｄｅｒ、ＣＡＢＡＣ）またはコンテキスト適応可変長符号化器（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅｒ、ＣＡＶＬＣ）などを用いてエントロピー符号化される２０８。本発明の範囲は、図５に示したようなこの段落に記載した符号化のステップおよび方法に限定されず、これに代わる符号化方法、アルゴリズムおよび実施態様も本発明の文脈の範囲内で可能であることに注意されたい。

図６は、シードホーゲル視差符号化４０１の詳細を示している。シードホーゲルのテクスチャ符号化と視差符号化の間には依存性がないため、テクスチャおよび視差の符号化は、利用可能な処理能力に応じて同時にまたは順次独立して実施され得る。視差値を符号化する場合、値の列走査６０１が最初に行われてからランレングス符号化６０２が実行される。最後に、値は、エントロピー符号化され５０８、ビットストリームに追加され、それによってエントロピー符号化は、好ましくはハフマンエントロピー符号化器、コンテキスト適応２進算術符号化器（ＣＡＢＡＣ）またはコンテキスト適応可変長符号化器（ＣＡＶＬＣ）などを用いて実施される。この実施形態では、視差情報の圧縮は一切の損失なしに行われるが、視差を圧縮する他の方式を使用することもできる。本発明の範囲は、図６に示したようなこの段落に記載した符号化のステップおよび方法に限定されず、これに代わる符号化方法、アルゴリズムおよび実施態様も本発明の文脈の範囲内で可能であることに注意されたい。

図７は、図４の残余符号化処理４０９で実施した残余ホーゲル視差４０４の処理の詳細を示している。図７に示したように、残余視差４０４とワーピングされたシード視差（すなわちＤＩＢＲ７０１を適用した後に移動したシード視差）との差の値は、ｋ×ｋの画素のブロックにセグメント化される５０１。ほとんどのブロックはゼロになると思われるため、ゼロではない値のみがさらに処理される。その後、これらのゼロではない値が走査され（例えばジグザグ走査）、ランレングス符号化され５０７、その後エントロピー符号化５０８もされてからさらに他の処理をされる。シード視差と同様に、開示した手順は損失がない。ただし、当業者は、損失のない圧縮および損失のある圧縮の変形例も本発明に含まれることを直ちに理解するであろう。

図８は、図４の残余符号化処理４０８で実施した残余ホーゲルテクスチャ４０３の処理の詳細を示している。図８を参照すると、再構築されたシードホーゲルテクスチャ４０５（図４のシード復号化ステップ４０７の出力）、その復号化された視差（視差は損失なしで符号化されたため、これはシード視差４０１とまったく同じ値である）、および残余視差４０５は、ＤＩＢＲ７０１によって適切に視差補償された残余ホーゲルテクスチャの再構築が得られる。この視差補償された残余ホーゲルテクスチャの予測は、シードホーゲル画素を残余ホーゲル位置に移動させることで形成される。１つの基準シードホーゲルのみを使用する場合、このワーピング動作中に穴が発生する可能性がある。穴を符号化し、このワーピング動作から生じる何らかの不正確さを符号化するために、ブロックに基づく変換符号化を用いる。図５のシードホーゲルテクスチャ符号化の処理と同様に、残余ホーゲルテクスチャ４０３とその視差補償された予測７０１との差は、ｋ×ｋの画素のブロックに分割され５０１、その色空間は、転換され５０３、変換され５０４、量子化され５０５、走査され、ランレングス符号化される５０７。結果は、エントロピー符号化され５０８およびビットストリームに追加される。本発明の範囲は、図８に示したようなこの段落に記載した符号化のステップおよび方法に限定されず、これに代わる符号化方法、アルゴリズムおよび実施態様も本発明の文脈の範囲内で可能であることに注意されたい。

ビットストリームタイミング
ＱＰＩ撮像装置ディスプレイは、システムの性能を向上させるために、独特の光空間（米国特許出願公報第２０１３／０１４１８９５号）および時空間（米国特許出願公報第２０１３／０２５８４５１号）のライトフィールド変調設定で使用することもできる。組立体全体の関節運動を組み入れることにより、ライトフィールドディスプレイの視野も空間解像度も増大させることができる。圧縮アルゴリズムに及ぶ影響は、圧縮のデータ量が増大することである。例えば、図９では、画像を垂直方向および水平方向に並進させることによって９０３、４分の１のＨＤ画像（９６０×５４０）の負の解像度９０１からフルＨＤ（１９２０×１０８０）で表示された解像度９０２まで空間解像度が増す一例を見ることができる。解像度の高い画像の画素は、まとめてディスプレイに送信される必要があり、これは表示画像の画素位置９０２で示されることに注意されたい。このように画素をまとめることは、圧縮アルゴリズムにも影響を及ぼす。例えば、０の位置にある画素はすべて、１の位置にある画素よりも前に表示される状態にある必要があるため、圧縮を実施する際には、圧縮に画素表示時間を考慮している必要がある。図９に示した順序は例示的なものに過ぎず、他の順序も可能であることに注意されたい。図１０には、表示集合体の回転効果１００２が見える。この例では、画像がｘ軸およびｙ軸に沿って±３０°回転してその視野を拡大させる。このように動くと、新しい画像１００１は画素数が以前の９倍に増える。並進と同様に回転も別の時間フレームで示され、データはすべて、ディスプレイがその特定の位置に達する前に変調できる状態になければならない。図１１には、回転および並進を用いた時間分割の階層構造を示している。１秒当たり６０フレームの場合、各フレーム１１０１は表示するのみ１６，６６６ｍｓを有する。この時間は回転１１０２の間で分割される。各回転スロットに対して、時間は、集合体が動いている持続時間１１０３と、集合体が特定の位置で静止している時間１１０４とに分割される。その後、この時間スロットは４つの並進１１０５に分割され、各並進スロットは、集合体がその特定の位置まで動くのにかかる時間１１０６と、集合体が静止している時間１１０７とに分割される。集合体の並進位置および回転位置は、図１２に描いた表に示したような特定のヘッダを介して復号化器に伝達される。ビットストリームは、そのヘッダによって区別されるパケットにセグメント化され、その後、これが該当するディスプレイ用の処理ノードの中に分配される。並列アーキテクチャでは、多くのパケットが同時に生成されることに注意されたい。ディスプレイには時間の制約があるため、一部のパケットは他のパケットよりも前にディスプレイに到達する必要がある。したがって、パケットは、対応する順序でも配置される。図１３は、ジャストインタイムの復号化ができるようにパケットを並べ替える方法１３０１の実施形態を示している。シードホーゲルは表示用に使用してよいものだが、残余ホーゲルによって基準としても使用されるため、最初に送信される必要がある。全処理ノードが回転期間中に復号化処理を開始するために、処理ノードは少なくともシード情報および最初の並進を受信する必要がある。したがって、全処理ノードのパケットは、パケットが到着したときに情報の一部の処理を各ノードが開始できるようにインターリーブされる。ローカルメモリは、処理された情報（復号化されたシードホーゲル）を保存でき、処理ノードは、シード情報のみを用いて残余ホーゲルに対する予測の生成を開始できる。残余ホーゲルに対するテクスチャが到着すれば、予測を訂正でき、内容は表示できる状態にある。

適応型ホーゲル符号化率の最適化
本発明のディスプレイ適合圧縮の態様の１つの重要な特徴は、様々な構成要素間のインターフェース伝送ビットレートをライトフィールド表示システムに適応させて割り当てることである。３Ｄ表示システムに必要なインターフェースビットレートが過剰であると仮定すると、利用可能なインターフェースデータレート（またはビットレート）は、ほとんどのあらゆる３Ｄ表示システムにおける主な障害であると考えられている。本発明の３Ｄ圧縮した撮像システムではシードホーゲルを基準として使用するため、これらのホーゲルは、多くのビットで符号化されてその質ができる限り維持され、インターフェースデータレート（またはビットレート）の割り当て時に優先され、残余ホーゲルを符号化するパラメータは、利用可能なインターフェースデータレートの制約を受けて適応して選択される。図１４はシードホーゲル用に、図１５は残余ホーゲル用にそれぞれビットレートを適応させて割り当てるために本発明を適用した方法を示している。図１４を参照すると、シードホーゲルテクスチャおよび視差を符号化するのに利用可能なビット数の合計を計算する１４０１。本発明の１つの可能な実施形態では、図１１に示したタイミングを検討する。シード符号化のために利用可能なビット数は、以下の式によって算出できる。

式中、Ｃｌｏｃｋはクロックの周波数を指し、Ｆａｃｔｏｒは、使用されるメモリに応じて異なる乗算因数であり（メモリが読み出し／書き込みを並列させる場合は、この因数に並列性が反映される）、ｆｐｓは１秒当たりのフレーム数であり、＃ｒｏｔａｔｉｏｎｓは回転数であり、％Ｔｉｍｅは、データ伝送に用いられる特定の時間スロットのパーセンテージである（例えば、図１１に挙げたタイミングは、５０％の時間を費やして集合体を回転させたことを示し、これはデータ処理用に使用できるものである）。視差を符号化するために最大のビート数を必要とするシードホーゲルのテクスチャを選択して、符号化を量子化するステップのサイズを最適化する１４０２。図５の量子化ブロック５０５で使用されている、符号化を量子化するステップのサイズは、テクスチャの係数の中にある情報のレベルを制御しており、ひずみが生じる可能性を犠牲にした上でホーゲルを符号化するのに必要なビット数を減らすことができる。このシードホーゲルテクスチャを符号化するのに利用可能なビットレートは、利用可能なビットレートの合計から視差情報およびヘッダ情報を符号化するのに必要なレートを差し引くことによって算出される１４０３。シードホーゲルテクスチャを符号化する際にひずみが最小になる符号化量子化ステップのパラメータを選択し１４０４、その後、それに対応する符号化量子化ステップのサイズを用いて、シードホーゲルテクスチャの符号化に必要なビットレートを計算する１４０５。計算したビットレートが利用可能なビットレートよりも少ないとき、シードホーゲルテクスチャを符号化するための量子化ステップのサイズを選択し１４０６、そうでなければ、量子化ステップのサイズを増大し１４０７、シードホーゲルテクスチャのビットレートが利用可能なビットレートを下回るまでシードホーゲルテクスチャのビットレートを再計算する。図１５を参照すると、符号化した残余ホーゲルのビットレートを利用可能な残りのビットレートに適合させるために利用できる可能性のある符号化方式１５０１がいくつかあり、例えば修正テクスチャ、視差を送信する、あるいはホーゲルをスキップして利用可能な予測のみを使用するなどである。残余ホーゲルを符号化するのに必要なビットレートに対するそのような方式のいずれか１つを用いる際の実現可能性およびその結果の質が評価され、実現可能ではない符号化方式は一選択肢として排除される１５０２。ビットレートが利用可能なビットレートよりも大きくなる符号化方式も排除される１５０３。シードホーゲル用に使用されたビット数に対する式と同様に、残余ホーゲルの符号化に利用可能なビット数は、以下の式によって算出できる。

式中、Ｃｌｏｃｋはクロックの周波数を指し、Ｆａｃｔｏｒは、使用されるメモリに応じて異なる乗算因数であり（メモリが読み出し／書き込みを並列させる場合は、この因数に並列性が反映される）、ｆｐｓは１秒当たりのフレーム数であり、＃ｒｏｔａｔｉｏｎｓは回転数であり、＃Ｔｒａｎｓｌａｔｉｏｎｓは並進数であり、％Ｔｉｍｅはデータ伝送に用いられる並進時間スロットのパーセンテージである。残りの符号化方式からの選択は、ラグランジュコストの最適化を用いて達成され１５０４、この場合のコスト関数は、選択した品質メトリック（例えば最小ひずみ）にラムダ×ビットレートを足すことによって定義され、ラムダは、量子化ステップから導き出したパラメータである。残余ホーゲル符号化ビットレートの最適化では、利用可能なビットレートを計算に入れ、コスト関数が最小の符号化方式を選択し、残余ホーゲル符号化に利用可能な合計ビットから使用ビット量を差し引き１５０５、選択した品質メトリックを維持するために、ビットレートが十分ではない場合のみにビットを少なめに使用する符号化方式に頼る１５０２。

圧縮したライトフィールドの復号化
図１６は、ライトフィールドディスプレイで受信したビットストリームの復号化の流れを示している。本発明のディスプレイ適合圧縮の態様の主な利点の１つは、ライトフィールドディスプレイが圧縮ビットストリームを受信し、ビットストリームを直接復号化してライトフィールドを再構築することが実現可能なことである。なぜなら、本発明のホーゲル圧縮は、タイミング要件とディスプレイ側で利用可能な計算能力とを適合させるように作られているからである。図１６を参照すると、復号化器は、ディスプレイ側でビットストリームを受信し、従来の復元技術で使用される拡張データを使用する手法を避けつつ、ライトフィールドを再構築するためのみに圧縮ドメインで処理を実施する。図１６に示したように、ライトフィールドディスプレイは、符号化されたビットストリームを受信し、まずエントロピー復号化を実施する１６０１。ビットストリームは通常、パケットの種類および関連するホーゲルの座標を表示面上で識別するヘッダを用いてパケット化され、この実施形態は図１２に紹介した。いくつかのパケットの種類は、種々のライトフィールド情報を知らせるために使用され、そのようなパケットのうちの４種類が、ディスプレイでさらに復号化される必要がある実際のホーゲルペイロード情報を含んでいる。具体的には、シードホーゲルテクスチャ、シードホーゲル視差、残余ホーゲルテクスチャおよび残余ホーゲル視差である。シードホーゲルテクスチャの場合、符号化側の逆の操作がライトフィールドディスプレイ側で実施され、ＤＣ係数はＤＰＣＭ復号化１６０２の後に得られ、他の係数はランレングス復号化および走査１６０３の後に得られる。受信したシードホーゲルテクスチャのデータは、さらに逆に量子化され５０９、逆に変換され５１０、色空間転換され５１１、レベルシフトされて５１２、再構築されたシードホーゲルテクスチャ４０５の正確な複製を生成する。受信したシード視差データは、ランレングス復号化されて１６０４シードホーゲル視差４０１の正確な複製を生成し、その後、再構築されたシードホーゲルテクスチャ４０５および復号化された視差４０１の両方がディスプレイのローカルメモリに保持されてＤＩＢＲブロック７０１によって使用され、復号化した値を残余ホーゲルテクスチャ４０３に対して生成する。図１６に示したように、受信した残余ホーゲル視差データは、ランレングス復号化され、走査され１６０３、その後ＤＢＩＲ処理を用いて、メモリに保存されている復号化したシードホーゲル視差４０１と組み合わされて復号化した残余ホーゲル視差４０４を生成する。図１６に示したように、受信した残余ホーゲルテクスチャデータはランレングス復号化され、走査され１６０３、逆に量子化され５０９、逆に変換され５１０、色空間転換されて５１１再構築した残余ホーゲルテクスチャ１６０５を生じる。この再構築した残余ホーゲルテクスチャ１６０５は、ＤＢＩＲ処理によって、保存されているシードホーゲル視差４０１の値、再構築したシードホーゲルテクスチャ４０５および残余ホーゲル視差４０４と合わせて使用されて、変調したライトフィールド１６０６を生成する。以上の流れでは、残余ホーゲル視差４０４およびテクスチャ１６０５の復号化は、ディスプレイでメモリの使用を最小に抑えるために単一の基準ＤＩＢＲを使用することもでき、あるいはその代わりに、米国特許出願公報第２０１５／０２０１１７６号に記載されているように複数のシードホーゲルの基準を複数の基準ＤＩＢＲ（ＭＲ−ＤＩＢＲ）と合わせて使用することもできることに注意されたい。また、図１６に示したライトフィールド復号化の流れを平行して実施することも可能であることにも注意されたい。

本発明の装置は、デジタル回路と、赤、緑および青の３つの積層ＬＥＤ層を駆動するアナログ回路とで構成される。ＱＰＩ撮像装置へのインターフェースは、圧縮データを伝送する高速インターフェースである。第２のインターフェースは、ＱＰＩ撮像装置のデジタル部からＱＰＩ撮像装置のアナログ部にデータを送信する。このインターフェースは、シリコン貫通ビア（Ｔｈｒｏｕｇｈ−Ｓｉｌｉｃｏｎ Ｖｉａ、ＴＳＶ）インターフェースとして実装され、復元したデータストリームを部分的に伝送する。デジタルＡＳＩＣで部分的な復元が行われ、アナログＡＳＩＣで最終的な復元ステップが行われてからアナログＡＳＩＣが画素情報を表示する。第３のインターフェースは画素接触部である。例えば、１０００×１０００の画素を有する撮像装置の各画素がＲＧＢ接触部を有すると考えると、これは３百万の画素接触部に換算される。共通のアノード電圧が供給され、これを３つのダイオードが共有する。アノード電圧は、極めて限られた方法でしか制御されない。それにもかかわらず、１つの画素を作る３色を制御するためにカソードを使用する。カソードは一定の安定性のよい電流を各画素に供給し、輝度は高度になるようにパルス変調によって制御され得る。画素は、Ｎ×Ｎの物理画素を実装したホーゲル構造に編成され、この構造は、時間多重化され、集合体の回転および並進から得たＭ個の異なる画像箇所に適用される。ホーゲルは、Ｌ×Ｌのセットにまとめてグループ化され、単一の画素ドライバがデータをグループ全体に供給する役割を担う。画素グループ化の一例では、１ホーゲル当たり５０×５０の画素、１処理ノード（ＰＮ）当たり４ｘ４のホーゲル、かつ各ＱＰＩ撮像装置に対して５×５のＰＮを使用する。

処理ノードは、高速インターフェース（ｈｉｇｈ ｓｐｅｅｄ ｉｎｔｅｒｆａｃｅ、ＨＳＩ）を介して相互接続されており、大量のデータセット上で動作しライトフィールドを圧縮ビットストリームから直接再構築する命令を処理することができる。処理ノードは、特定のハードウェアユニット一式で構成され、その機能性を以下に説明する。ハードウェアユニットは、通常ユニットの出力は別のユニットへの入力であるため、同期して動作する必要がある。処理ブロックは、ユニットの状態および特定のタスクを処理する必要がある資源を確認し、それに応じてユニットを構成するようにプログラム可能であってよいファームウェアまたは特定用途向け集積回路を介して管理される。図１７は、ハードウェア管理手順の包括的なフローチャートを示している。まず、ハードウェアは、アイドル状態にあり、入力が到着するのを待っている１７０１。例えば、１つのハードウェアユニットが復号化用のパケットの到着を待っていて、その間に別のハードウェアユニットが、所望の状態に達するメモリ内容を待っている状態にあることがある。入力があると、ハードウェアは、そのタスクを実行するのに必要な資源を確認する必要がある１７０２。例えば、ユニットは、その出力を書き込むために利用可能なメモリが十分にあるかどうかを確認する必要があることがある。ハードウェアは、必要な資源が利用可能になるまでその状態であり続け、利用可能になったときに入力を処理できる１７０３。ハードウェアがそのタスクを実行し終えると、ハードウェアは、インラインの次のユニットで消費される資源を解放する１７０４。その後ハードウェアは、次の入力が届くのを確認して実行の流れを再び開始する。以下に記載するハードウェアユニットのほとんどは、ほぼ同じフローチャートを有し、ハードウェアの特徴に応じていくらかの特定の変形がある。

ＨＳＩインターフェース
データパケットは、全処理ノードを相互接続するＩＯ高速インターフェースを通して受信される。図１８は、ＨＳＩ１８０２を介して相互接続されたＰＮ１８０１の一例を示している。データは、異なるＰＮどうしを区別するＩＤを有している。受信したデータは、受信したパッケージ内にある要素の識別子および状態を提供する受信機構成要素内で分析される。具体的には、パッケージの一部は種類情報を提供する。ソフトウェアは種類情報を読み取り、その種類情報に基づいて第１のパケットに対する状態を形成する。状態は、そのパケットで実施されている計算の進捗に関する情報を含んでいる。ＨＳＩインターフェースは、パケットを次の処理ハードウェアに配信し、本発明の１つの実施形態ではエントロピー復号化器に送信する。両方のハードウェアユニットが共通のメモリバンクを共有して、１つのユニットから別のユニットへ内容を伝送する。ファームウェアは、図１７に詳細に示した手順のフローチャートに従って伝送を管理する。パケットはＦＩＦＯメモリに至り、そこで最初に分析される。パケットが復号化の必要があるデータを含んでいることをパケットヘッダが示している場合、ユニットは資源を確認する必要がある、つまり利用可能なメモリを共有メモリバンクから探す必要がある。メモリが利用可能になると、データはＨＳＩインターフェースからメモリに伝送され、エントロピー復号化器によって消費される。伝送が終了したとき、ファームウェアは、パケットを受信するために利用可能な復号化器ユニットを探す。復号化器が見つかったとき、その復号器は、特定のパケットタイプを復号化するようにプログラムされ、メモリの所有権は解放され、ハードウェアは新しいパケットの内容を確認しに戻る。

処理ノードの内部アーキテクチャの可能な実施形態を図１９に見ることができる。ＰＮを備えているハードウェアユニットは、受信したビットストリームを復元してライトフィールドを再構築する役割を担う。ＰＮは、ホーゲル領域を担当し、まずシードホーゲルを受信し、そのシードホーゲルから他のホーゲルが導き出される。シードホーゲルは、ＰＮ領域に属しているホーゲルであることもあれば、そうではないこともある。いくつかのＰＮが同じホーゲルを共有している場合、図１２の表に示したように、シードホーゲルがどのＰＮに属しているのかを示すビットパターンをシードホーゲルヘッダ内で用いる。ＰＮは、相互接続を使用してシードホーゲル情報を１つのＰＮから別のＰＮに送信する。内部では、復号化の実行をリアルタイムで達成するためにピンポンバッファを用いてハードウェアユニットどうしの間でデータを連続的に流す。ＰＮハードウェアは、カスタマイズしたファームウェアを開発するための特定の命令を提供する。この命令には、Ｉ／Ｏ、復元（エントロピー復号化、ランレングス復号化、ジグザグ復号化、逆量子化、逆画像変換）、コピーおよび移動、誤り訂正、色補正、ガンマ関数、ビットプレーン生成、ロードならびに画素変調制御などがある。ＰＮは、１つ以上のシードホーゲルを保持するのに十分なメモリを有し、時間圧縮も支持することに注意されたい。次に、各々の単一のハードウェアユニットを説明し、ハードウェアを制御して復号化の流れと同期させるためのファームウェアが使用する論理回路も説明する。

エントロピー復号化器
ＨＳＩモジュールと共有される入力メモリ１９６１バンクは、メモリバンクで読み取りと書き込みを同時にできるようにいくつかの独立したメモリモジュールを有する。ＨＳＩは、パケットの状態および種類を受信して読み取り、次に何をすべきかを判断する。パケットを第１のメモリの中に読み込んだ後の次のステップは、それを正確に復号化することである。エントロピー復号化器は、その内部のＦＩＦＯバッファを満たすのに必要な単語をできる限り多く読み込むことから開始する。種類情報に基づいてエントロピー復号化器１９１０は、データが正確に復号化されるように再度プログラムされる。ハードウェアユニット１９１０は、復号化された結果を増分値と一緒に生成する。２種類の情報は、種類および状態の情報と一緒に２つの別々のメモリに保存される。１つは変換した画像のＤＣおよびＡＣ係数を保存するメモリ１９６３であり、もう１つは、１つの復号化したブロックから別のブロックへメモリ増分（Ｍｉｎｃ）を保存するメモリ１９６２である。エントロピー復号化器は、ＡＣ、ＤＣおよびＭｉｎｃ値を任意の順序で受け入れるように自由にプログラムされ得る。制御は、シーケンスコントローラ１９０１を介して実施され、このシーケンスコントローラは、図１９の他のモジュールの動作も制御し、通常はそれぞれのモジュールから得た状態情報に応答して制御する。そのとき、状態情報は、データが復号化されていることを示しており、したがって、次のモジュールに消費され得る。ソフトウェアは、復号化されたデータの種類に応じて、つまり復号化されたデータがシードに属するのか残余ホーゲルに属するのか、または情報が視差情報なのかテクスチャ情報なのかに応じて、復号化処理を用いて継続する次のモジュールを選択する。次にくるデータの復号化は、自由にプログラム可能なルックアップテーブルに基づいている。ルックアップテーブルは、単語の実際の長さ、スキップすべき単語数であるランレングス情報、および実際の値を含んでいる。同じエンジンは、ジグザグ復号化器に対するルックアップテーブルも含んでいる。柔軟なエントロピー復号化器を支持するために多くのパラメータを規定する。例えば、入力および出力メモリの開始アドレスは、ジグザグ復号化を使用するかどうかに関わらずソフトウェア、ブロックサイズなどによってプログラム可能である。さらに、エントロピー復号化器は、例えば出力バッファが完全に満たされたときなどの特定の条件でその実行を停止するようにプログラムされ得る。エントロピー復号化器は、限られたメモリサイズで入ってくるデータに対して連続的に動作するためのラップアラウンドメモリ読み出し機能も有し、ハードウェアを共同にするための状態インターフェースを提供する。

入ってくるパケットの束と、そのようなパケットの復号化と、それによって復号化されたデータを後処理モジュールへ転送することとを同期させるために、ステートマシンを使用する。最初に復号化器はアイドル状態にあり、パケットの到着を待っている。復号化器は、ＨＳＩによってトリガーされ、前のハードウェアユニットが指定した入力メモリブロックの１つを消費する。エントロピー復号化器は、実行を開始する前に、まず利用可能な資源を確認しなければならない。つまり、出力メモリが利用可能であるかどうかを確認する必要がある。利用可能である場合、ハードウェアユニットはパケット復号化の実行を開始する。ユニットは、入力がすべて消費された場合、または所定の条件が満たされている場合（例えば出力メモリが満杯である場合）に停止できる。復号化の手順が完了すると、エントロピー復号化器は、復号化されたデータを次のハードウェアに割り当てなければならない。例えば、シードのテクスチャが復号化された場合、復号化されたパケットを仮定する次のモジュールは、逆画像変換モジュールであり、同モジュールは、一連の復号化処理の逆量子化および逆の画像変換ステップを実行する。したがって、エントロピー復号化器は、ＨＷモジュールの状態を問い合わせる必要があり、その状態がビジーでなく復号化器のパケットを受信できる場合に、モジュールは構成され、復号化器は割り当てられた資源を解放できる、つまり、メモリモジュールの所有権をエントロピー復号化器からインラインの次のハードウェアモジュールに伝送できる。その後、エントロピー復号化器はアイドル状態に戻り、ＨＳＩインターフェースから別のパケットを待つ。

ホーゲルコンテンツ反復
データエントロピー復号化器の段階で復号化されたデータの種類に応じて、後続の動作が実施される。例えば、シードホーゲルの視差が送信された場合、エントロピー復号化器はランレングス値のシーケンスを復号化し、このランレングス値は、元の画像を得るために引き続き拡張される必要がある。シード視差に対するホーゲルコンテンツ反復モジュールは、係数メモリからの１つのデータエントリおよび増分エントリを読み取る。その後、増分回数分のデータエントリを生成し、それを別のメモリモジュールに流す。これはつまり、モジュールは読み取ったデータを増分値によって指定された回数だけ反復するという意味である。シード視差は、先に説明したように、ホーゲルコンテンツ反復モジュール１９２０によって処理され、同モジュールは、係数メモリ１９６３から視差値を読み出し、Ｍｉｎｃメモリ１９６２から増分値を読み出す。結果は視差メモリ１９６４に保存される。残余視差には、別のホーゲルコンテンツ反復モジュール１９２０が使用される。この場合、増分は、ブロックがコピーされるメモリの位置で急増を指しており、シード視差と同様に、係数とＭｉｎｃメモリモジュールの両方が読み取られ、視差メモリは書き込まれる。シード視差および残余視差の場所は、同時にアクセスできるように異なるモジュールにある必要がある点に注意されたい。なぜなら、シード視差は順方向ＤＩＢＲ１９２５モジュールによって何度か再度使用されるのに対し、残余視差は１回しか使用されないからである。画像変換を飛ばす追加のＲＧＢ方式を使用することもでき、この方式は残りのホーゲルコンテンツ反復モジュール１９２０によって処理される。この場合はＲＧＢ値が復号化され、増分は、その値を出力メモリであるテクスチャメモリ１９６６で何回反復する必要があるかを指す。ホーゲルコンテンツ反復モジュールは、サイズが様々である（長さおよびデータ幅が異なる）内部バッファ間で乗法スケーリングを行わずにデータをコピーするための多機能のメモリ伝送ユーティリティである。

全３つのモジュールのステートマシンはほぼ同じである。最初にハードウェアユニットはアイドル状態で、処理する新しいパケットを待っている。その後、ハードウェアユニットは、扱うデータの種類に応じてハードウェアを作動させることを決定するエントロピー復号化器によってトリガーされる。その後、ハードウェアは、メモリなどの資源を待つ必要がある状態に移り、そのメモリから、エントロピー復号化器によって引き渡されるパケット、または利用可能になる出力メモリを読み取る必要がある。必要な資源が揃った状態で、ハードウェアは実行状態に移る。ハードウェアは、全入力を消費し終わるまでこの状態のままであり、消費し終わったときに最終状態になり、その状態でユニットは入力メモリを消去する必要がある。これが必要なのは、特にメモリの急増を必要とする残余情報の復号化の際に、エントロピー復号化器が必ず全メモリ位置を書き込むわけではないからである。それにもかかわらず、空の位置は再び使用する前にゼロにする必要があるため、このメモリを消費したハードウェアもそれを消去する役割を担う。消去コマンドが実行を終えた後、メモリはエントロピー復号化器に戻され、ハードウェアはアイドル状態に戻り、別のパケットを待つ。

逆画像変換
逆画像変換モジュール１９１５は、シードのエントロピー復号化器および残余テクスチャ復号化の後に使用され、画像変換および逆量子化が画像ブロックごとに適用される。本発明の１つの可能な実施形態では、画像変換は、逆ＤＣＴ変換、または逆整数変換であり得る。画像変換行列は、ソフトウェアによって事前に規定され、レジスタのアレイに保存される。これによって、逆画像変換の命令を、パイプライン処理されたＳＩＭＤ（ｓｉｎｇｌｅ ｉｎｓｔｒｕｃｔｉｏｎ，ｍｕｌｔｉｐｌｅ ｄａｔａ）命令として極めて高速に機能させることができる。逆画像変換動作の結果は、行列順序ではなく線形順序でテクスチャメモリ１９６６に保存される。行列の計算は、係数メモリ１９６３から読み出されたＮｘＮの画素で実施され、画素は連続的にメモリに保存される。所望の出力は、メモリ内の正しい場所に保存されなければならない。例えば、ホーゲルの左上角の第１のブロックは、Ｎ＝４でホーゲル幅＝１００の場合、以下の出力メモリアドレス箇所に保存されなければならない：（０，１，２，３；１００，１０１，１０２，１０３；２００，２０１，２０２，２０３；３００，３０１，３０２，３０３）。その結果生じたｘ方向またはｙ方向のホーゲルサイズがＮの倍数ではい場合、例えばホーゲルサイズがＮ＝４のときに５０×５０であると仮定すると、アドレス生成器は書き込みイネーブルを抑制し、所定領域のエッジを上書きしない。さらに、残余テクスチャを復号化する場合、Ｍｉｎｃは、ブロックを出力メモリ内に書き込んでいるときにメモリ内の急増を指し示す。行列乗算に加えて、Ｎ×Ｎの逆量子化パラメータを用いる点ごとの乗算を行列乗算モジュールに組み入れる。各々の入力係数が、対応する逆量子化パラメータを用いて最初に乗算され、この逆量子化パラメータも固定されたＮ×Ｎの行列として特定のレジスタセットに保存される。２つの追加値が全入力および全出力をスケーリングする。これによって柔軟性を最高レベルにできる。したがって、このモジュールの完全な機能を以下のように記載することもできる。

Ｒ＝｛［Ｓ＊ｃ₀）・×Ｄ］×Ｍ｝＊ｃ₁

式中、行列Ｓは入力行列であり、行列Ｄは逆量子化行列であり、行列Ｍは、ＤＣＴ行列などがこれに限定されない画像変換を実行し、記号＊は、各要素単位で適用する（項ごとの）スカラー倍算を表し、記号×は行列の内積を表し、記号・×は行列のスカラー積を表し、ｃ０およびｃ１は、それぞれ入力および出力に対するスケーリング因子である。

逆画像変換モジュールのステートマシンは、反復復号化器モジュールと同様に機能する。最初にハードウェアユニットはアイドル状態で、処理する新しいパケットを待っている。ハードウェアユニットは、テクスチャデータをさらに処理（逆量子化および逆変換）する必要がある場合にエントロピー復号化器によってトリガーされる。その後、ハードウェアは、メモリなどの資源を待つ必要がある状態に移り、そのメモリから、エントロピー復号化器によって引き渡されるパケット、または利用可能になる出力メモリを読み取る必要がある。全資源が利用可能になったとき、ハードウェアは実行状態に移る。全入力を消費し終わるまでこの状態のままであり、消費し終わったときに最終状態になり、その状態でユニットは、反復復号化器ユニットの場合のように入力メモリを消去する必要がある。消去コマンドが実行を終えた後、メモリはエントロピー復号化器に戻され、ハードウェアはアイドル状態に戻り、別のパケットを待つ。

前方および逆方向ＤＩＢＲモジュール
シード視差が利用可能になった時点で、順方向ＤＩＢＲ１９２５ブロックは、ワーピング動作の処理を開始でき、本発明の復号化アルゴリズムが要求したとおりにワーピングした視差を再生することができる。ワーピング処理によって、基準画素の位置が移動してコピー動作が起こる。ＤＩＢＲアルゴリズムは、順方向ＤＩＢＲ１９２５部と逆方向ＤＩＢＲ１９３０部に分けられる。順方向ＤＩＢＲ１９２５ハードウェアは、シード視差メモリ１９６４から視差情報を読み取り、一時的な視差メモリ１９６５にホーゲル視差を生成する。順方向ＤＩＢＲ１９２５は、Ｎ−＞１のダウンサンプリングを実施する、すなわちＮ個の画素を入力とみなして単一の画素出力を再生することも可能である。それにもかかわらず、そのようにするためには、Ｎ個の画素すべてを読み取って分析し、各ホーゲル当たりＮ個の読み取りサイクルにする必要がある。システム内で同じスループットを達成するために、順方向ＤＩＢＲ１９２５は、Ｎ個のホーゲルの視差を平行して生成してもよい方法で実行される。入力ｄｘおよびｄｙは、シードホーゲルから残余ホーゲルまでの距離を指定し、アルゴリズムの入力として使用されて移動量を推定する。視差情報およびシードホーゲルから残余ホーゲルまでの距離に基づいて、コピーおよび移動の情報を計算する。次に、データは、それを送信先アドレスに書き込むべきかどうかを確認する必要がある。移動によって２つの画素が同じ場所に動く可能性があるため、どちらの画素を優先すべきかという決定は、画素の視差値に応じて決定される。これはＺテストとしても知られている。複数のメモリバンクにピンポン方式を用いるために入力メモリおよび出力メモリの位置もプログラム可能であり、それによって逆方向ＤＩＢＲ１９３０を順方向ＤＩＢＲ１９２５と同時に動作させることができる。

順方向ＤＩＢＲ１９２５モジュールは、システムにホーゲルがないまたはホーゲルがすべて処理されたときにアイドル状態を維持する。本発明の１つの実施形態では、メタデータ情報を含むテーブルがデータパケットよりも前に送信される。このテーブルを受信すると、ローカルメタデータテーブルがファームウェアメモリ内で構築され、それによって各ホーゲルの状態を包括的に監視できる。メタデータテーブルが作成された時点で（通常、この情報を含むヘッダパケットを受信するＨＳＩインターフェースによってトリガーされる）、ハードウェアは、リストの最上のホーゲルのフラグを確認する状態に移る。フラグは、ホーゲルが通過している（例えば、逆画像変換ブロックでテクスチャを逆量子化しているか、反復復号化器モジュールで視差を拡張している）段階を指し示す。順方向ＤＩＢＲ１９２５モジュールは、シードホーゲル視差を確認する。データ全体が利用可能になると、モジュールは、シードの視差を含んでいるメモリモジュールの所有権を取得し、順方向ＤＩＢＲ１９２５を実行し始める。メタデータテーブルは、シードホーゲルおよび標的ホーゲルの座標など、ワーピング動作に必要な情報を含んでいることに注意されたい。このほか、複数の結果を同時に生成して装置の特徴をリアルタイムで保持する。ハードウェアが実行を終えると、メタデータフラグは更新され、ユニットは、次のホーゲルセットのワーピング後の視差を生成する処理を行うか、あるいは単にアイドル状態に戻って次のホーゲルセットを待つ。

逆方向ＤＩＢＲ１９３０は、順方向ＤＩＢＲ１９２５から生成されて一時的な視差メモリバンク１９６５に保存された一時的な視差を読み取り、シードホーゲルテクスチャにあってシードホーゲルテクスチャメモリ１９６６に保存されている現在のホーゲルアドレスの基準位置を計算する。シードホーゲルテクスチャメモリ１９６６から基準テクスチャを読み取った後、逆方向ＤＩＢＲ１９３０モジュールは、ＲＧＢ値を適切な出力メモリ位置１９６７に保存する。ホーゲルを生成した逆方向ＤＩＢＲ１９３０は、表すよう想定していたビューを完全に表さないことがある。これは、起こり得る誤差が生じた可能性があるということである。逆方向ＤＩＢＲ１９３０アルゴリズムの観点では２つの誤差の原因がある。１つ目の原因は、順方向ＤＩＢＲ１９２５によって生成された視差が特定の画素には最善の選択結果ではなない可能性があるというものである。それに加えて、ホーゲルの結果の中には、所定のテクスチャがないものがあったり、テクスチャが壊れていたりすることがある。つまり、ワーピングされたホーゲルに穴があるか、テクスチャがビューに依存していて、使用した基準テクスチャがその特定のホーゲルには適切でないかのいずれかである。視差誤差を修正するために、逆方向ＤＩＢＲ１９３０は残余視差を利用する。残余視差は、視差メモリ１９６４に保存されており、順方向ＤＩＢＲ１９２５によって読み取られ、順方向ＤＩＢＲによって生成された視差と組み合わされる。逆方向ＤＩＢＲ１９３０の動作をプログラム可能にする方式よって、視差を置き換えるか、２つの視差を一緒に追加するかのいずれかが可能になる。新しい視差値は、異なるシードホーゲルテクスチャ値を基準にすることができ、最終レンダリングの質を改善する。逆方向ＤＩＢＲ１９３０アルゴリズムも、ワーピング動作が基準としていない画素位置を固定ＲＧＢ値で満たすことができる。そのような位置は、穴としても知られ、本発明の１つの実施形態で提供しているモジュールは、固定ＲＧＢ値をビットストリーム内で受信でき、穴すべてをこの固定値で満たすことができる。

順方向ＤＩＢＲ１９２５モジュールと同様に、逆方向ＤＩＢＲ１９３０モジュールの挙動は、システムのホーゲルのメタデータテーブルによって記述される。ホーゲルがない間、またはモジュールがメタデータリストの全ホーゲルを丁度処理し終えたとき、モジュールは単に、入ってくるホーゲルを待つ状態に留まる。新たなメタデータテーブルがメモリ内に形成されると、状態の変更はＨＳＩによってトリガーされる。その後、ハードウェアユニットは、テーブル内の各ホーゲルの状態を監視する役割を担う。逆方向ＤＩＢＲ１９３０がホーゲルを処理する条件にホーゲルが達すると、ハードウェアユニットは実行状態になり、シード視差、残余視差およびシードテクスチャからホーゲルテクスチャが作成される。ハードウェアは、終了すると次の状態に変わり、入力メモリを消去し、次のモジュールのために出力資源を解放する。資源は解放され、ハードウェアがその時点で動作していた対象のホーゲルのメタデータ状態が更新される。ハードウェアは、メタデータテーブル内の次のホーゲルの状態を監視し、Ｎ個のホーゲルすべてが処理された場合に、逆方向ＤＩＢＲ１９３０はアイドル状態に戻って新たに入ってくるデータを待つ。

誤り訂正
前述したように、逆方向ＤＩＢＲ１９３０から生じたテクスチャは、誤った値または欠けている値をまだ含んでいることがある。画素位置のすべてがワーピング動作によってカバーされるわけではないため（通常は穴の形態で現れる）、画素位置は、穴としても知られるテクスチャ値を有していないことがあったり、逆方向ＤＩＢＲ１９３０が穴埋めしている間に間違ったＲＧＢ値に割り当てられたりすることがある。このほか、ビューによって異なる特徴は、ビューどうしで異なるＲＧＢ値を有するため、ワーピング動作で使用された基準は、実際のＲＧＢ値とは異なることがある。これらのアーチファクトを訂正するために、残余テクスチャ情報が逆方向ＤＩＢＲ１９３０に送信され、誤り訂正モジュールで逆方向ＤＩＢＲの結果に追加される。図１９は、誤り訂正１９３５モジュールのほか、残余テクスチャ１９６６およびＤＩＢＲテクスチャ１９６７に対する入力メモリ、ならびに残余テクスチャに追加されるワーピング後のシードテクスチャを示している。結果は、ホーゲルメモリブロック１９６８に保存されている最終ホーゲル値である。本発明の１つの可能な実施形態では、誤り訂正モジュールは、実際には８ビットの単語を３つ含む２４ビットの単語を使用する。誤り訂正ハードウェアモジュールは、そのことを考慮して３つの値を分離してからその値を個別に追加し、その後その値を１つの２４ビットの単語としてまとめる必要がある。差の情報は符号付きの数字として与えられるのに対し、結果および元のホーゲル情報は符号のない８ビットの値として与えられる。例えば、符号付きの８ビットの単語に追加された符号のない８ビットの単語からは、符号のない８ビットの単語が生成される。それにもかかわらず、加算関数は、ラップアラウンドしてはならず、最大値または最小値（すなわち０または２５５）でクリップするものとする。誤り訂正の機能性に加えて、このハードウェアモジュールは、色転換だけでなく色パラメータの調整（ガンマ補正および輝度調整など）も可能にする。色補正および色空間変換は、誤り訂正モジュールの出力で直接実施される。色転換行列は誤り訂正モジュールに組み込まれ、自由にプログラムでき、必要に応じてオフに切り替えることもできる。出力は、追加のスケーラによってスケーリングされ、このスケーラは３つの色チャネルすべてに対して同じである。

順方向ＤＩＢＲ１９２５および逆方向ＤＩＢＲ１９３０モジュールと同様に、誤り訂正１９３５モジュールは、最初にアイドル状態で開始し、メタデータテーブルを監視し、ホーゲルが適切な状態に達するのを待つ。ホーゲルがない間またはモジュールがメタデータリストのホーゲルすべてを丁度処理し終えたとき、モジュールは、入ってくるホーゲルを待つ状態に留まるだけである。新たなメタデータテーブルがメモリに形成されると、状態の変更がＨＳＩによってトリガーされる。誤り訂正モジュールがホーゲルを処理する状態にホーゲルが達すると、ハードウェアユニットは実行状態になり、ホーゲルテクスチャは残余テクスチャに追加される。ハードウェアは、終了すると次の状態に変わり、入力メモリを消去し、次のモジュールのために出力資源を解放する。資源が解放されると、ホーゲルメタデータ情報はメタデータテーブル内で更新されて、この処理段階が終了したことを識別する。ハードウェアは、メタデータテーブル内の次のホーゲルの状態を監視し、Ｎ個のホーゲルすべてが処理された場合に、誤り訂正１９３５モジュールはアイドル状態に戻って新たに入ってくるデータを待つ。

インターリーブ器
誤り訂正されたホーゲルは、その後、インターリーブ関数によって転置されて各ホーゲル当たりの個々のビットを分離する。本発明の１つの可能な実施形態では、インターリーブ器は、２４ビットの５０×５０の画素アレイをそれぞれ５０ビットの２４×５０の単語に変換させる。それぞれ５０ビットの単語はそのとき、５０画素に対して２４ビットのうちの１ビットを表している。図１９は、インターリーブ器１９４０モジュールと、それに関連する入力メモリモジュール１９６８であって、誤り訂正モジュールが再生した最終のホーゲルテクスチャと、ＲＧＢビット平面を保持する出力メモリモジュール１９６９とを示している。データは、２４ビット幅のホーゲルメモリ構造から来る。インターリーブ器１９４０の命令は、次の動作、すなわち２４ビットを別々のメモリが表すＲ、ＧおよびＢのビット平面に分離することを実施する。インターリーブ器１９４０の出力は、１５０ビット幅のバスであり、これによってＲ、ＧおよびＢの部分を平行して読み取ることができる。したがって、出力を保持しているメモリは、３Ｘ５０ビットＸ（ホーゲルの合計数）単語メモリである。

インターリーブ器１９４０は、入ってくるホーゲルに対して動作するためにメタデータテーブルも利用する。ホーゲルがない間またはモジュールがメタデータリストのホーゲルすべてを丁度処理し終えたとき、モジュールは、入ってくるホーゲルを待つ状態に留まるだけである。新たなメタデータテーブルがメモリに形成されると、状態の変更がＨＳＩによってトリガーされる。その後、ハードウェアユニットは、テーブル内の各ホーゲルの状態を監視する役割を担う。インターリーブ器モジュールがホーゲルを処理する条件にホーゲルが達すると、ハードウェアユニットは実行状態になり、最終のホーゲルテクスチャが変調用にインターリーブされる。ハードウェアは、終了すると次の状態に変わり、次のモジュールのために出力資源を解放する。資源が解放されると、ホーゲルメタデータ情報はメタデータテーブル内で更新されて、この処理段階が終了したことを識別する。ハードウェアは、メタデータテーブル内の次のホーゲルの状態を監視し、Ｎ個のホーゲルすべてが処理された場合に、誤り訂正モジュールはアイドル状態に戻って新たに入ってくるデータを待つ。

画素変調器
最終ステップは、画素変調器用に生成されたビットを使用することであり、画素変調器は、使用しているライトフィールドディスプレイの画素入力要件がどのようなものであっても適合性のある画素変調器の出力を提供する。好適な実施形態のようにパルス幅変調を用いる場合、生成されたビットをＰＷＭ変調マスクとして使用する。マスクは、ＰＷＭカウンタが動いている限り個々の画素をオンに切り替える。複数のビット平面を適切なオン時間と合わせることで、画素の輝度が変化する。図１９に示したアーキテクチャは、画素変調器１９４５およびそれに関連するメモリモジュールを示している。出力メモリには、以下の方式を用いる。ビット平面メモリから、コピー関数が次に表示するビット平面を選択し、それをビット平面１のラッチに保存する。その後、コントローラがビット平面１のラッチをビット平面２のラッチに伝送するが、これは瞬時に行われることである。データがビット平面２のラッチに保存された後、オン時間を表す実際のＰＷＭ信号を用いてデータをおよびゲートで結ぶことができる。各画素に関連するビット平面のラッチを２つ有することで、第２のビット平面にロードすると同時に第１のビット平面を引き続き表示することが可能になる。

デジタル回路の最終ハードウェアモジュール、画素変調器１９４５は、ホーゲルデータが処理段階への準備ができているときにメタデータテーブルを監視用に使用するという意味で、前段のハードウェアと同様に動作する。画素変調器１９４５モジュールは、最初にアイドル状態で開始する。ホーゲルがない間またはモジュールがメタデータリストのホーゲルすべてを丁度処理し終えたとき、モジュールは、入ってくるホーゲルを待つ状態に留まるだけである。新たなメタデータテーブルがメモリに形成されると、状態の変更がＨＳＩによってトリガーされる。その後、ハードウェアユニットは、テーブル内の各ホーゲルの状態を監視する役割を担う。画素変調器１９４５モジュールがホーゲルを処理する条件にホーゲルが達すると、ハードウェアユニットは実行状態になり、ビット平面は画素変調器１９４５によって変調される。ハードウェアは、終了すると資源を解放し、ホーゲルメタデータ情報はメタデータテーブル内で更新されて、この処理段階が終了したことを識別する。ハードウェアは、メタデータテーブル内の次のホーゲルの状態を監視し、Ｎ個のホーゲルすべてが処理された場合に、誤り訂正モジュールはアイドル状態に戻って新たに入ってくるデータを待つ。画素変調器は、例示的な意味のみでパルス幅変調器であってもよいが、使用する特定のライトフィールドディスプレイに適切なものとして代わりに他の変調器を使用してもよい。

当業者は、本発明の実施形態には、添付の特許請求の範囲内にその請求項が規定した規定本発明の範囲から逸脱しない限り、様々な修正および変更を加えることができることを容易に理解するであろう。本発明の上記の実施例は、単なる例示であり、本発明の趣旨または本質的特徴から逸脱しない限り、本発明はその他の特定の形態で実現可能であることを理解すべきである。したがって、開示した実施形態をどのような意味でも限定的なものと捉えるべきではない。本発明の範囲は、上記の説明文ではなく添付の特許請求の範囲に示したものであり、本発明の意味および同等範囲内に収まる変形例はすべて、本発明に含まれるものとする。

Claims (16)

1. 圧縮したライトフィールドからライトフィールドをディスプレイに対して再現するシステムであって、前記システムは、
   前記圧縮したライトフィールドを復元して前記ライトフィールドをディスプレイに対して再現するように構成された複数のハードウェアモジュールを有する少なくとも１つの処理ノードであって、
   各処理ノードは、
   インターフェースモジュール、
   エントロピー復号化器モジュール、
   画像逆変換モジュール、
   ホーゲルコンテンツ反復モジュール、
   順方向ＤＩＢＲモジュール、
   逆方向ＤＩＢＲモジュール、
   誤り訂正モジュール、
   インターリーブ器モジュール、および
   画素変調器モジュール
   を有し、各処理ノードは、モジュールどうしを相互接続するためのバス相続接続部、および複数のメモリを有する、処理ノードと、
   シーケンスコントローラであって、前記シーケンスコントローラは、モジュールの一連の動作を制御し、圧縮したライトフィールドデータを復元して前記ライトフィールドをディスプレイに対して再現する、シーケンスコントローラと
   を備える、システム。
2. 前記モジュールの少なくとも１つは、特定用途向け集積回路である、請求項１に記載のシステム。
3. 前記モジュールの少なくとも１つは、プログラム可能である、請求項２に記載のシステム。
4. 前記インターフェースモジュールは、データパケットを受信して前記データパケットを前記エントロピー復号化器モジュールに配信するように構成される、請求項１に記載のシステム。
5. 前記エントロピー復号化器モジュールは、前記インターフェースモジュールからデータパケットを受信するように構成され、前記データパケットを復号化する必要があるとパケットヘッダが示している場合、前記データパケットを前記データパケットの種類に応じて復号化する、請求項１に記載のシステム。
6. 前記画像逆変換モジュールは、前記エントロピー復号化器モジュールからブロックごとのシードおよび残余テクスチャに対する復号化および逆量子化を受けるように構成される、請求項１に記載のシステム。
7. 前記画像逆変換モジュールは、所定の画像変換行列を使用し、それによって逆変換の命令をパイプライン処理した単一の命令、複数のデータ命令として機能させる、請求項６に記載のシステム。
8. 前記ホーゲルコンテンツ反復モジュールは、長さが異なりデータ幅が異なる内部バッファどうしの間で乗法スケーリングなしでデータをコピーするように構成される、請求項１に記載のシステム。
9. 前記順方向ＤＩＢＲモジュールは、シードホーゲル視差を受信し、ワーピング後の視差を再生するように構成される、請求項１に記載のシステム。
10. 前記逆方向ＤＩＢＲモジュールは、生成された一時的な視差を前記順方向ＤＩＢＲモジュールから読み取り、シードホーゲルテクスチャ内での現在のホーゲルのアドレス基準位置を計算し、ホーゲルを生成するように構成される、請求項９に記載のシステム。
11. 前記逆方向ＤＩＢＲモジュールは、残余視差も用いて前記シードホーゲル視差と組み合わせ、視差誤差を修正するように構成される、請求項１０に記載のシステム。
12. 前記逆方向ＤＩＢＲモジュールは、前記ワーピングが基準としていない画素位置を満たすようにも構成される、請求項１に記載のシステム。
13. 前記誤り訂正モジュールは、アーチファクトを補正するように構成される、請求項１に記載のシステム。
14. 前記誤り訂正モジュールは、色補正および色空間変換を前記誤り訂正モジュールの出力で実施するようにも構成される、請求項１３に記載のシステム。
15. 前記インターリーブ器モジュールは、誤りを訂正したホーゲルを転置して個々のビットをそれぞれのホーゲルごとに分離するように構成される、請求項１に記載のシステム。
16. 前記画素変調器は、使用しているライトフィールドディスプレイの画素入力要件がどのようなものであっても適合性のある画素変調器の出力を提供して、再現されたライトフィールドを表示するように構成される、請求項１に記載のシステム。

Images