JP2010079514A - 画像出力装置および３次元画像表示システム - Google Patents

Abstract

【課題】マルチコアプロセッサを用いて複数の画像データを効率的に並列処理して出力可能にする。
【解決手段】複数の画像メモリ５１〜５４と、マルチコアプロセッサ２１内の複数のコア３１〜３４とを、バス２５を介して１対１に対応させる。そして、複数のコア３１〜３４によって画像処理された複数の画像データを、バス２５を介して複数の画像メモリ５１〜５４に並列的に格納する。複数の画像メモリ５１〜５４に格納された複数の画像データは、複数の出力Ｉ／Ｆ５５〜５８によって並列的に出力される。すなわち、ビデオカードのＧＰＵを用いることなく、マルチコアプロセッサ２１によって直接的に画像処理された複数の画像データを、複数の画像メモリ５１〜５４および複数の出力Ｉ／Ｆ５５〜５８を介して並列的に出力する。これにより、マルチコアプロセッサ２１が有するコアの数だけ並列的に画像処理を行って並列的な画像出力が可能となる。
【選択図】図１

Description

本発明は、１つのＣＰＵ（Central Processing Unit）内に複数のＣＰＵコアを有するマルチコアプロセッサを用いて画像処理を行う画像出力装置、およびその画像出力装置から出力された画像データに基づいて立体表示を行う３次元画像表示システムに関する。

従来より、立体映像を表示する方式として、観察者の両眼に視差画像と呼ばれる各々異なる映像を見せることにより立体感が得られる２眼式による表示方式や、それら視差画像を複数組用意することにより異なる視点からの立体映像を提供する多眼式の表示方式がある。しかしながら、これらの方式による立体映像は、物理的に立体画像として意図した位置にあるのではなく、例えば各々の画像が２次元のディスプレイ面上に存在し、常にその位置は一定の位置に存在する。このことから、特に視覚系生理反応である輻輳と調節とが連動せず、それに伴う眼精疲労が問題となっている。

これに対し、より自然な立体映像を表示する方式として、光線再生法またはインテグラルフォトグラフィ法と呼ばれる光線再生技術がある。光線再生技術による立体映像は、空間中の任意の点に複数の方向（視点）からの像が多重結像されたものであり、実世界における３次元物体を見たときと同様、任意の点について、見る位置によって見え方が異なる。

光線再生技術を用いたものとしては、液晶ディスプレイやプラズマディスプレイなどのディスプレイデバイスとマイクロレンズアレイやピンホールアレイとを組み合わせた装置が提案されている。また、プロジェクタを多数並べた装置も考えられている。図２３は、プロジェクタを用いて光線再生を実現した３次元表示装置の一構成例を示している。この装置は、多数のプロジェクタユニット１０１を縦方向と横方向とに並列的に配置し、各プロジェクタユニット１０１から角度の異なる光線を出射するようにしたものである。これにより、ある断面１０２内の任意の点において多視角の像を多重再生し、立体映像を実現している。

このような光線再生法による立体表示では、多数の視差画像を同時に再生する必要があり、視差数の分だけ情報量が増大する。そこで、特許文献１には、光線再生法による立体表示を行う画像表示システムにおいて、視差画像の一部を表示する視差画像表示手段を複数備え、各視差画像表示手段に、視差画像として圧縮符号化された動画像情報を送り込むことで多数の視差画像の再生を行えるようにした技術が開示されている。ところで、多数の視差画像を同時に再生するためには高速な画像処理が必要となる。高速な画像処理を行うために、１つのＣＰＵ内に複数のＣＰＵコアを有するマルチコアプロセッサを積極的に用いることが考えられる。特許文献２には、マルチコアプロセッサを用いた画像処理システムに関する発明が開示されている。特許文献３には、マルチコアプロセッサを用いたマルチタスク制御の最適化に関する発明が開示されている。
特開２００４−３２２７３号公報 特開２００６−３１８２８１号公報 特開２００６−３９８２２号公報

上記した光線再生技術によれば、２眼式および多眼式立体映像では不可能であった視覚機能としての焦点調節および両眼輻輳角調節に対して有効に働く程度の光線により像を生成することで、眼精疲労が極めて少ない立体映像を提供することができる。それだけでなく、仮想物体上の同一要素より複数の方向へ連続的に光線が出射されていることから、視点位置の移動に伴う映像の変化を連続的に提供することができる。

しかしながら、現状の光線再生技術により生成された映像は、実世界における物体と比較すると臨場感に欠ける。これは、現状の光線再生技術による立体映像が実世界の物体から観察者が得る情報量に対して非常に少量の情報、すなわち少量の光線によって生成されていることが原因であると考えられる。一般的に人間の視認限界は角度分解能で１分程度といわれており、現状の光線再生技術による立体映像は、この人間の視覚に対して不十分な光線によって生成されている。従って、実世界の物体が持つような高い臨場感やリアリティを有する立体映像を生成するためには、少なくとも多量の光線により映像を生成することが課題であるといえる。

この実現のためには、まず空間的に高い密度で光線群を生成することのできる技術が必要である。解決手段としては、液晶ディスプレイなどのディスプレイデバイスの表示密度を高くすることが考えられる。また、図２３に示したような多数のプロジェクタユニット１０１を配置する装置の場合には、各プロジェクタユニット１０１を極小化し、空間的に高い密度で並べることが考えられる。しかしながら、現在のディスプレイデバイスにおける表示密度の飛躍的な向上は光利用効率や回折限界の問題から困難である。図２３の装置の場合には、各プロジェクタユニット１０１を極小化するのには限界があるため、空間的に高い密度で並べることは困難であると考えられる。いずれの場合にも高密度光線群を生成するためには、複数のデバイスが必要となり、装置全体の大型化は避けられない。

また、光線再生法を用いた立体映像を再生する際には、数多くの視差画像を同時に投射しなければならない。例えば、１００視差の立体動画を再生するには、１００個の視差画像を３次元動画としての１フレーム期間内に同時に投射することになる。従って、再生する情報量は２次元動画の１００倍になる。この場合例えば、再生機器(コンピュータなど)が事前に各視差画像再生装置に画像データを転送し、各視差画像を同時に再生させる。光線再生法を用いて高精細な動画を再生するためには、大量の視差画像を高速で再生する技術の開発が望まれている。上記特許文献１では、視差画像として圧縮符号化されたデータを転送するなどして視差画像の再生の高速化を図っているが、これよりもさらに大量、かつ高速な再生手法が必要とされている。また、上記特許文献２，３には、マルチコアプロセッサを用いて画像処理等の処理を効率的に行うための技術が開示されているが、立体表示を行うための処理に最適化されたものではない。

図２４は、立体表示を行うために必要とされる複数の画像データ（視差画像データ）を出力する画像出力装置を複数備えた画像出力システムの構成例を示している。この画像出力システムは、画像出力装置としての画像再生用ＰＣ（パーソナル・コンピュータ）５２０を複数備え、それらをＬＡＮ（ローカル・エリア・ネットワーク）５０１を介して互いに並列的にネットワーク接続したものである。この画像出力システムはまた、複数の画像再生用ＰＣ５２０から出力される複数の画像データの同期を取るための同期マスタＰＣ５１０を備えている。各画像再生用ＰＣ５２０は、ＬＡＮインタフェース（Ｉ／Ｆ）５２０と、ＣＰＵ５２１と、システムメモリ（メインメモリ）５２２と、ビデオカード５５０と、これらの各構成要素を内部接続するバス５２５とを備えている。

ＬＡＮ５０１およびＬＡＮ Ｉ／Ｆ５２０は、高速かつ大容量のデータ転送を行うために例えばギガビット・イーサネット（登録商標）などの高速通信規格に対応している。ビデオカード５５０は、ビデオボードあるいはグラフィックスカードとも呼ばれる拡張カードであり、例えばPCI Express規格によるインタフェース５２６により、バス５２５に接続されている。ビデオカード５５０は、２チャンネル（２ＣＨ）のデータ出力が可能であり、第１のＧＰＵ（Graphic Processing Unit）５５１と、第２のＧＰＵ５５２と、画像メモリ５５３と、第１の出力インタフェース（Ｉ／Ｆ）５５４と、第２の出力インタフェース（Ｉ／Ｆ）５５５とを有している。出力Ｉ／Ｆ５５４，５５５は、例えばＤＶＩ（Digital Visual Interface）規格のインタフェースである。

この画像出力システムでは、図示しない３次元画像生成装置から、圧縮された３次元動画データがＬＡＮ５０１を介して各画像再生用ＰＣ５２０に供給される。各画像再生用ＰＣ５２０では、供給された３次元動画データをシステムメモリ５２２に一時的に格納する。ＣＰＵ５２１は、ビデオカード５５０内のＧＰＵ５５１，５５２に対して所定の画像処理を行わせる。ＧＰＵ５５１，５５２は例えば、システムメモリ５２２に格納された３次元動画データに対して、解凍処理等の所定の画像処理を行い、その解凍後の画像データをビデオカード５５０内の画像メモリ５５３に展開する。画像メモリ５５３に展開された画像データは、第１のＧＰＵ５５１および第１の出力Ｉ／Ｆ５５４と、第２のＧＰＵ５５２および第２の出力Ｉ／Ｆ５５５とによって、２チャンネルで画像出力される。このとき、同期マスタＰＣ５１０から出力されたＶＳｙｎｃ信号（垂直同期信号）に基づいて、各チャンネル間で出力タイミングの同期を取ることができる。なお、同様のビデオカード５５０を１つの画像再生用ＰＣ５２０内で２つ接続すれば、１つの画像再生用ＰＣ５２０で合計４チャンネル（４ＣＨ）のデータ出力が可能である。しかしながら、現状のＰＣの性能では、１つの画像再生用ＰＣ５２０では２チャンネルでのデータ出力の構成が現実的である。

この画像出力システムでは、画像再生用ＰＣ５２０を複数並列的に備えることで、３次元動画データを構成する複数の視差画像データを３次元動画としての１フレーム期間内で分割して複数出力することができる。出力された複数の視差画像データは、例えば図２３に示した３次元表示装置における各プロジェクタユニット１０１に出力されて立体表示が行われる。

この画像出力システムでは、各画像再生用ＰＣ５２０においてビデオカード５５０内にＧＰＵ５５１，５５２を有していることで、ＣＰＵ５２１の処理とは独立して、単独で画像処理が可能である。このため、ＣＰＵ５２１では、画像処理以外の他の処理を同時に実行することができ、装置の用途に多様性を持たせることができる。特に、ＣＰＵ５２１として、マルチコアプロセッサを用いた場合には複数の処理を同時に並行して行うことができるので、より多様性を持たせることができる。なお、マルチコアプロセッサとしては、例えば２つのコアを持つCore 2 Duo（インテル社の登録商標）や、４つのコアを持つCore 2 Quad（インテル社の登録商標）などがある。しかしながら、各画像再生用ＰＣ５２０を、視差画像データを出力する用途として専用に用いることを考えた場合、逆に、無駄が多く非効率的な構成であると言える。例えばＣＰＵ５２１として４つのコアを持つマルチコアプロセッサを用いたとしても、各画像再生用ＰＣ５２１での画像処理能力は実質的にビデオカード５５０の構成に依存し、現実的には２チャンネルでのデータ出力しかできない。各画像再生用ＰＣ５２１において４チャンネルでのデータ出力を行うためには、ビデオカード５５０を２つ備える必要がある。その場合、ビデオカード５５０による排熱、消費電力、およびノイズなどが増加することが考えられ、多数の視差画像を同時に再生するような用途としては問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、マルチコアプロセッサを用いて複数の画像データを効率的に並列処理して出力することができるようにした画像出力装置、および３次元画像表示システムを提供することにある。

本発明による画像出力装置は、バスと、内部に複数のコアを有すると共に、複数のコアがそれぞれ独立してバスに接続され、供給された画像データに対して複数のコアによって所定の画像処理を並列的に行うマルチコアプロセッサと、それぞれが独立してバスに接続されると共に、バスを介して複数のコアのそれぞれに対応して設けられ、複数のコアによって画像処理された複数の画像データをバスを介して並列的に格納する複数の画像メモリと、複数の画像メモリのそれぞれに対応して設けられ、複数の画像メモリに格納された複数の画像データを並列的に出力する複数の出力インタフェースとを備えたものである。

本発明による画像出力装置では、複数の画像メモリと、マルチコアプロセッサ内の複数のコアとが、バスを介して１対１に対応して接続される。そして、複数のコアによって画像処理された複数の画像データが、バスを介して複数の画像メモリに並列的に格納される。複数の画像メモリに格納された複数の画像データは、複数の出力インタフェースによって並列的に出力される。すなわち、マルチコアプロセッサによって直接的に画像処理された複数の画像データが、複数の画像メモリおよび複数の出力インタフェースを介して並列的に出力される。これにより、マルチコアプロセッサが有するコアの数だけ並列的に画像処理を行って並列的な画像出力が可能となる。このため、画像処理専用のＧＰＵを用いる必要が無くなる。

本発明による３次元画像表示システムは、複数の視差画像を含む画像データを複数出力する画像出力装置と、画像出力装置から出力された複数の画像データに基づいて立体表示を行う３次元表示装置とを備えている。そして、画像出力装置を、バスと、内部に複数のコアを有すると共に、複数のコアがそれぞれ独立してバスに接続され、供給された画像データに対して複数のコアによって所定の画像処理を並列的に行うマルチコアプロセッサと、それぞれが独立してバスに接続されると共に、バスを介して複数のコアのそれぞれに対応して設けられ、複数のコアによって画像処理された複数の画像データをバスを介して並列的に格納する複数の画像メモリと、複数の画像メモリのそれぞれに対応して設けられ、複数の画像メモリに格納された複数の画像データを並列的に出力する複数の出力インタフェースとを有する構成にしたものである。

本発明による３次元画像表示システムでは、画像出力装置内において、複数の画像メモリとマルチコアプロセッサ内の複数のコアとが、バスを介して１対１に対応して接続される。そして、複数のコアによって画像処理された複数の画像データが、バスを介して複数の画像メモリに並列的に格納される。複数の画像メモリに格納された複数の画像データは、複数の出力インタフェースによって並列的に３次元表示装置に出力される。すなわち、マルチコアプロセッサによって直接的に画像処理された複数の画像データが、複数の画像メモリおよび複数の出力インタフェースを介して並列的に３次元表示装置に出力される。これにより、マルチコアプロセッサが有するコアの数だけ並列的に画像処理を行って並列的な画像出力が可能となる。このため、画像処理専用のＧＰＵを用いる必要が無くなる。３次元表示装置では、画像出力装置から出力された複数の画像データに基づいて立体表示が行われる。

本発明の画像出力装置によれば、複数の画像メモリと、マルチコアプロセッサ内の複数のコアとをバスを介して１対１に対応するように接続し、複数のコアによって画像処理された複数の画像データを、複数の画像メモリおよび複数の出力インタフェースを介して並列的に出力するようにしたので、マルチコアプロセッサが有するコアの数だけ並列的に画像処理を行って並列的に出力することが可能となる。これにより、マルチコアプロセッサを用いて複数の画像データを効率的に並列処理して出力することができる。

本発明の３次元画像表示システムによれば、視差画像データを出力する画像出力装置として本発明の画像出力装置を用いるようにしたので、画像出力装置においてビデオカードのＧＰＵを用いることなく、マルチコアプロセッサが有するコアの数だけ並列的に画像処理を行って並列的に出力することが可能となる。これにより、マルチコアプロセッサを用いて複数の画像データを効率的に並列処理して３次元表示装置に出力することができ、効率的な立体表示が可能となる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］

まず、本発明の第１の実施の形態として、画像出力装置を複数備えた画像出力システムについて説明する。また、本実施の形態では、画像出力装置が、立体表示を行うために必要とされる複数の画像データ（視差画像データ）を出力するものとして説明する。図１は、その画像出力システムの構成例を示している。この画像出力システムは、画像出力装置としての画像再生用ＰＣ（パーソナル・コンピュータ）２０を複数備え、それらをＬＡＮ（ローカル・エリア・ネットワーク）６２を介して互いに並列的にネットワーク接続したものである。

この画像出力システムはまた、３次元動画データ（３Ｄ Ｄａｔａ）を供給する３次元画像生成装置６０と、複数の画像再生用ＰＣ２０から出力される複数の画像データの同期を取るための同期マスタＰＣ６１とを備えている。３次元画像生成装置６０と同期マスタＰＣ６１は、ＬＡＮ６２を介して各画像再生用ＰＣ２０に接続されている。３次元画像生成装置６０は、３次元動画データと共に、後述するソフトウエア同期信号（Ｓ．Ｓｙｎｃ）を出力するようになっている。３次元画像生成装置６０が供給する３次元動画データは、動画としての１フレーム内に複数の視差画像のデータが含められた大容量のデータである。このため、３次元画像生成装置６０は、データ転送の負荷を低減しつつ高速でデータ転送を行うために、圧縮された３次元動画データを出力するようになっている。同期マスタＰＣ６１は、同期信号として垂直同期信号（ＶＳｙｎｃ）を出力するようになっている。

各画像再生用ＰＣ２０は、マルチコアプロセッサ２１と、システムメモリ（メインメモリ）２２と、ＬＡＮインタフェース（Ｉ／Ｆ）２３と、同期制御回路２４と、第１〜第４の画像メモリ５１〜５４と、これらの各構成要素を内部接続するバス２５とを備えている。各画像再生用ＰＣ２０はまた、第１〜第４の画像メモリ５１〜５４に対応して設けられ、第１〜第４の画像メモリ５１〜５４に格納された複数の画像データを並列的に出力する第１〜第４の出力インタフェース（Ｉ／Ｆ）５５〜５８を備えている。

ＬＡＮ Ｉ／Ｆ２３は、各画像再生用ＰＣ２０をＬＡＮ６２に接続するための通信インタフェースである。ＬＡＮ６２およびＬＡＮ Ｉ／Ｆ２３は、高速かつ大容量のデータ転送を行うために例えばギガビット・イーサネット（登録商標）などの高速通信規格に対応していることが好ましい。第１〜第４の出力Ｉ／Ｆ５５〜５８は、例えばＤＶＩ（Digital Visual Interface）規格のインタフェースである。また、ＬＶＤＳ（Low Voltage Differential Signaling）やその他の規格のインタフェースであっても良い。また、データの出力先のデバイス専用の規格のインタフェースであっても良い。

マルチコアプロセッサ２１は、第１〜第４のコア３１〜３４と、これらの４つのコア３１〜３４を制御する制御プロセッサ３０とを有している。マルチコアプロセッサ２１としては、例えばCore 2 Quad（インテル社の登録商標）を用いることができる。第１〜第４のコア３１〜３４は、それぞれ独立してバス２５に接続されている。第１〜第４のコア３１〜３４は、供給された画像データに対して所定の画像処理を並列的に行う機能を有している。

システムメモリ２２は、第１〜第４のコア３１〜３４による画像処理の対象となる画像データ（３次元動画データ）を一時的に格納するようになっている。第１〜第４のコア３１〜３４は、画像処理として、システムメモリ２２に格納された３次元動画データを所定単位の動画フレームごと（例えば動画の１フレームごと）に複数の画像データに分割して解凍処理を行いつつ、それら分割・解凍された複数の画像データを第１〜第４の画像メモリ５１〜５４に並列的に転送する処理を行うようになっている。

第１〜第４の画像メモリ５１〜５４は、それぞれが独立してバス２５に接続されている。第１〜第４の画像メモリ５１〜５４は、バス２５を介して第１〜第４のコア３１〜３４に１対１に対応するように設けられ、第１〜第４のコア３１〜３４によって画像処理された複数の画像データをバスを介して並列的に格納するようになっている。

ここで、本実施の形態において、第１〜第４のコア３１〜３４から第１〜第４の画像メモリ５１〜５４に複数の画像データを並列的に転送するタイミングの同期を取る必要がある。これは、画像データに含まれる複数の視差画像間の同期を取る、すなわち、動画表示したときに異なる視差間の動画連続性を保つためである。本実施の形態では、この同期制御を、３次元画像生成装置６０から出力された同期信号Ｓ．Ｓｙｎｃに基づいて行うようになっている。同期信号Ｓ．Ｓｙｎｃは、３次元画像生成装置６０から直接、またはＬＡＮ６２およびバス２５を介してマルチコアプロセッサ２１内の制御プロセッサ３０に入力されるようになっている。制御プロセッサ３０は、同期信号Ｓ．Ｓｙｎｃに基づいて、例えば３次元動画の同一フレームに属する複数の視差画像のデータが、第１〜第４の画像メモリ５１〜５４に同一のタイミングで転送されるように第１〜第４のコア３１〜３４を制御するようになっている。

また、本実施の形態において、第１〜第４の出力Ｉ／Ｆ５５〜５８から出力される複数の画像データは、図示しない３次元表示装置における複数の画像表示デバイス（空間光変調器等）に供給されるものである。複数の画像表示デバイスにおいて、画像表示の同期を取るためには、第１〜第４の出力Ｉ／Ｆ５５〜５８から複数の画像データを出力するタイミングの同期を取る必要がある。本実施の形態では、この同期制御を、同期マスタＰＣ６１から出力された同期信号ＶＳｙｎｃに基づいて行うようになっている。同期信号ＶＳｙｎｃは、同期マスタＰＣ６１から直接、またはＬＡＮ６２およびバス２５を介してマルチコアプロセッサ２１内の制御プロセッサ３０に入力されるようになっている。制御プロセッサ３０は、同期信号ＶＳｙｎｃに基づいて同期制御回路２４を介して、第１〜第４の出力Ｉ／Ｆ５５〜５８におけるデータ出力のタイミングを制御するようになっている。

なお、同期信号ＶＳｙｎｃに基づく同期制御は、３次元表示装置の画像表示デバイスにおける表示フレームの頭出しをするようなもので、いわばハードウエア同期である。これに対して、同期信号Ｓ．Ｓｙｎｃに基づく同期制御は、３次元動画データにおける動画のコマの同期を取るためのもので、いわばソフトウエア同期である。

ここで、本実施の形態において、制御プロセッサ３０と同期制御回路２４とが、本発明における「第１の同期制御手段」の一具体例に対応する。制御プロセッサ３０はまた、本発明における「第２の同期制御手段」の一具体例に対応する。また、システムメモリ２２が、本発明における「画像データ格納手段」の一具体例に対応する。

次に、この画像出力システムの動作を説明する。
この画像出力システムでは、３次元画像生成装置６０から、圧縮された３次元動画データがＬＡＮ６２を介して各画像再生用ＰＣ２０に供給される。各画像再生用ＰＣ２０では、供給された３次元動画データをシステムメモリ２２に一時的に格納する。マルチコアプロセッサ２１は例えば、第１〜第４のコア３１〜３４によって、システムメモリ２２に格納された３次元動画データに対して例えば所定単位の動画フレームごとに複数の画像データに分割して解凍処理を行いつつ、それら分割・解凍された複数の画像データを第１〜第４の画像メモリ５１〜５４に並列的に転送する。

各画像再生用ＰＣ２０内では、第１〜第４の画像メモリ５１〜５４と第１〜第４のコア３１〜３４とが、バス２５を介して１対１に対応して接続されているので、システムメモリ２２に格納された３次元動画データが４チャンネルの画像データに分割されて並列的に転送され、対応する画像メモリに並列的に格納される。各画像再生用ＰＣ２０において、第１〜第４の画像メモリ５１〜５４に格納された画像データは、第１〜第４の出力Ｉ／Ｆ５５〜５８を介して４チャンネルで並列的に画像出力され、３次元表示装置の画像表示デバイスに供給される。このようにして、マルチコアプロセッサ２１によって直接的に画像処理された複数の画像データが、第１〜第４の画像メモリ５１〜５４および第１〜第４の出力Ｉ／Ｆ５５〜５８を介して並列的に３次元表示装置に出力される。これにより、マルチコアプロセッサ２１が有するコアの数だけ並列的に画像処理を行って並列的な画像出力が可能となる。各画像再生用ＰＣ２０から出力された複数の画像データを、３次元表示装置に適用することで立体表示を行うことができる。このように、この画像出力システムでは、各画像再生用ＰＣ２０、それ自体が画像出力専用の装置として機能しているので、従来のＰＣのように、画像処理専用のＧＰＵを用いる必要が無くなる。

この画像出力システムでは、画像再生用ＰＣ２０を複数並列的に備えることで、３次元動画データを構成する複数の視差画像データを３次元動画としての１フレーム期間内で多数に分割して多数出力することができる。このとき、各画像再生用ＰＣ２０において、同期マスタＰＣ６１から出力されたＶＳｙｎｃ信号（垂直同期信号）に基づいて、制御プロセッサ３０が同期制御回路２４を介して、第１〜第４の出力Ｉ／Ｆ５５〜５８の各出力チャンネル間での出力タイミングの同期制御を行う。これにより、３次元表示装置における複数の画像表示デバイスにおいて、画像表示の同期を取ることができる。

また、この画像出力システムでは、制御プロセッサ３０が、３次元画像生成装置６０から出力された同期信号Ｓ．Ｓｙｎｃに基づいて、例えば３次元動画の同一フレームに属する複数の視差画像のデータが、第１〜第４の画像メモリ５１〜５４に同一のタイミングで転送されるように第１〜第４のコア３１〜３４をソフトウエア的に同期制御する。

図２（Ａ）〜（Ｆ）は、同期信号Ｓ．Ｓｙｎｃに基づく同期制御のタイミングの一例を示している。図２（Ａ）に示したように、システムメモリ２２に格納される３次元動画データには、第１〜第４の出力Ｉ／Ｆ５５〜５８から出力すべき第１〜第４チャンネルＣＨ１〜ＣＨ４のデータが含まれている。３次元画像生成装置６０では、図２（Ｂ）に示したように、各チャンネルに対応するデータごとに同期パルスを出力する。これが同期信号Ｓ．Ｓｙｎｃである。第１〜第４のコア３１〜３４では、同期信号Ｓ．Ｓｙｎｃに含まれる同期パルスに従って、３次元動画データを各チャンネルごとの画像データに分割すると共に、分割された複数の画像データを第１〜第４の画像メモリ５１〜５４に並列的に同時に転送する（図２（Ｃ）〜（Ｆ））。

以上説明したように、本実施の形態に係る画像出力システムによれば、各画像再生用ＰＣ２０において、複数のコア３１〜３４と複数の画像メモリ５１〜５４とをバス２５を介して１対１に対応するように接続し、複数のコア３１〜３４によって画像処理された複数の画像データを、複数の画像メモリ５１〜５４および複数の出力Ｉ／Ｆ５５〜５８を介して並列的に出力するようにしたので、マルチコアプロセッサ２１が有するコアの数だけ並列的に画像処理を行って並列的に出力することが可能となる。これにより、マルチコアプロセッサ２１を用いて複数の画像データを効率的に並列処理して出力することができる。このため、画像処理専用のＧＰＵを用いる必要が無くなる。また、本実施の形態に係る画像出力システムを３次元画像表示システムに適用することで、複数の画像データを効率的に並列処理して３次元表示装置に出力することができ、効率的な立体表示が可能となる。

また、本実施の形態に係る画像出力システムによれば、ビデオカードを用いる場合に比べて、各画像再生用ＰＣ２０内のハードウエア構成を単純化することができるので、システムの信頼性が向上する。また、構成が単純化するので、出力チャンネルの拡張性が向上する。また、一般のビデオカードに比べると、画像処理専用のＧＰＵを用いる必要が無くなるため、ビデオカードによる排熱や消費電力の増加の問題を解決することができる。

また、２種類の同期信号（Ｓ．ＳｙｎｃおよびＶＳｙｎｃ）を用いて、複数の画像データの転送および出力処理の同期制御を適切に行うようにしたので、各画像再生用ＰＣ２０内での各チャンネル間の同期、引いては複数の画像再生用ＰＣ２０間での同期制御を適切に行うことができる。これにより、３次元画像表示システムに適用した場合に、各視差間の同期の取れた適切な３次元動画を表示することが可能となる。また、同期制御にマルチコアプロセッサ２１内の制御プロセッサ３０を用いるようにしたので、効率的な同期制御を行うことができる。具体的には、マルチコアプロセッサ２１内で制御プロセッサ３０が比較的低速度の同期制御の処理を担当し、第１〜第４のコア３１〜３４が高速性が要求される画像処理を担当することで、効率的な同期制御を行いつつ、高速な画像処理を行うことができる。

また、本実施の形態に係る画像出力システムによれば、各画像再生用ＰＣ２０において、複数のコア３１〜３４と複数の画像メモリ５１〜５４とをバス２５を介して１対１に対応させるようにしているので、複数のコア３１〜３４と複数の画像メモリ５１〜５４との対応関係を容易に変更することもできる。例えば第１のコア３１を第２の画像メモリ５２に対応させ、第２のコア３２を第１の画像メモリ５１に対応させるようなこともできる。これにより、各チャンネル間で出力される視差画像の順番を容易に変更することができる。各チャンネル間で出力される視差画像の順番を変更することで、例えば３次元画像表示システムに適用した場合に、立体表示される視差の方向を変更するようなことが可能となる。
［第２の実施の形態］

次に、本発明の第２の実施の形態に係る３次元画像表示システムについて説明する。なお、上記第１の実施の形態に係る画像出力システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

本実施の形態に係る３次元画像表示システムは、上記第１の実施の形態に係る画像出力システムから出力された複数の画像データに基づいて立体表示を行うものである。図３（Ａ），（Ｂ）は、この３次元画像表示システムにおける３次元表示装置１０の構成例を示している。なお、上記した画像出力システムが適用される３次元表示装置１０の構成は、以下で説明するものに限定されず、例えば図２３に示したような多数のプロジェクタユニット１０１を単純に配置したものであっても構わない。

図３（Ａ），（Ｂ）において、光軸方向をｚとし、このｚ方向に直交する平面内での直交座標をｘｙとする。図３（Ａ）は、ｙｚ断面内での構成を示し、図３（Ｂ）はｘｚ断面内での構成を示す。一般的な光線再生技術による３次元表示では、任意の位置に存在する仮想物体表面を仮想的な原点とした複数の光線を出射することを目的として、あらかじめ様々な角度で出射する光線を提供できる装置を備えておくことが必要である。例えば、図２３に示した装置にあっては、多数（例えば、Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を水平方向および垂直方向に並列的に配置しなければならない。一方、本実施の形態に係る３次元表示装置１０は、図３（Ａ），（Ｂ）に示した構成要素を備える装置単体で、従来に比べて空間的に密度が高く、かつ大量の光線群を生成することが可能となっている。従って、この３次元表示装置１０は、図３（Ａ），（Ｂ）に示した装置単体でも表示装置として機能し得る。１つの３次元表示装置１０で、図２３に示した多数（Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を配置した装置と等価の機能を有する。この３次元表示装置１０を、例えば図４に示すように縦方向ｙと横方向ｘとに複数、並列的に配置することでより大規模なシステムにすることができる。

この３次元表示装置１０は、光源１と、光源１からの光を整形する照明光学系２と、複数の画素を有し、光源からの光を画素ごとに変調して２次元映像を生成するＳＬＭ（空間光変調器）３とを備えている。この３次元表示装置１０は、空間光変調器３が、２つの空間光変調器３−１，３−２で構成されている。この３次元表示装置１０はまた、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を形成する第１のレンズＬ１と、フーリエ変換像を空間的かつ時間的にフィルタリングするための時間的な開口制御が可能な空間フィルタ４とを備えている。この３次元表示装置１０はさらに、空間フィルタ４によりフィルタリングされたフーリエ変換像を逆フーリエ変換することにより、空間光変調器３により生成された２次元映像の実像（逆フーリエ変換像）５を形成する第２のレンズＬ２と、空間フィルタ４によりフィルタリングされたフーリエ変換像の共役像６を形成する第３のレンズＬ３とを備えている。図３（Ａ），（Ｂ）において、ｆ１は第１のレンズＬ１の焦点距離、ｆ２は第２のレンズＬ２の焦点距離、ｆ３は第３のレンズＬ３の焦点距離を示す。

この３次元表示装置１０における空間光変調器３を構成する２つの空間光変調器３−１，３−２にはそれぞれ、例えば図１に示した画像出力システムにおける第１および第２の出力Ｉ／Ｆ５５，５６からの画像データが供給されるようになっている（図５参照）。３次元表示装置１０を複数配置する場合には、同様にして、図１に示した画像出力システムの他の出力Ｉ／Ｆを空間光変調器３に対応させれば良い。

光源１および照明光学系２は、空間光変調器３に対する照明光を生成するものである。照明光としては、例えば空間コヒーレンスの高い光源を平行光に整形した光を用いる。空間光変調器３は、２次元的に配列された複数の画素を有する２次元空間光変調器である。２次元空間光変調器としては、例えば透過型の液晶表示装置を用いることができる。空間光変調器３における映像表示エリアの中心を通り、空間光変調器３の映像表示面に直交する方向に向かう直線を光軸とする。

空間光変調器３は、例えばｘ方向およびｙ方向に沿って２次元マトリクス状に配列されたＰ×Ｑ個の開口（画素）を有し、光源１からの光の通過を開口ごとに制御することで２次元画像を生成するようになっている。空間光変調器３は、その２次元画像に基づき、開口ごとに、ｘ方向に沿って第ｍ次から第ｍ’次までのＭ組（ただし、ｍおよびｍ’は整数であり、Ｍは正の整数）、ｙ方向に沿って第ｎ次から第ｎ’次までのＮ組の（ただし、ｎおよびｎ’は整数であり、Ｎは正の整数）、合計、Ｍ×Ｎ組の回折光を生成する２次元画像形成装置を構成している。例えばＰ＝１０２４（画素）、Ｑ＝７６８（画素）であり、ｍ＝−５、ｍ’＝５、Ｍ＝ｍ’−ｍ＋１＝１１、ｎ＝−５、ｎ’＝５、Ｎ＝ｎ’−ｎ＋１＝１１である。ただし、これらの値に限定するものではない。本実施の形態では、空間光変調器３として、例えばそれぞれが１０２４（画素）×７６８（画素）の２つの空間光変調器３−１，３−２を有し、例えば全体として２０４８×７６８画素の２次元画像を生成するようになっている。なお、空間光変調器３の開口の平面形状は矩形とすることが望ましい。開口の平面形状を矩形とするとき、フラウンホーファー回折が生じ、空間光変調器３−１，３−２の各開口（画素）について、Ｍ×Ｎ組の回折光が生成される。すなわち、係る開口によって、入射光波の振幅（強度）を周期的に変調し、格子の光透過率分布に一致した光量分布が得られる振幅格子が形成される。例えば各画素において、Ｍ×Ｎ組＝１２１組の回折光が生成される。言い換えれば、画素の数は空間光変調器３−１，３−２のそれぞれでＰ×Ｑであるが故に、総計、２×（Ｐ×Ｑ×Ｍ×Ｎ）本の回折光が生じると考えることもできる。

第１のレンズＬ１は、その前側焦点面上に空間光変調器３の２次元映像の生成面が位置するように配置され、その後側焦点面にフーリエ変換像を形成している。第１のレンズＬ１は、フーリエ変換像として、空間光変調器３の各画素ごとに生ずる複数次数の回折光（Ｍ×Ｎ組の回折光）を各回折次数ごとに集光し、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を各回折次数ごとに形成するようになっている。

空間フィルタ４は、第１のレンズＬ１の後側焦点面上に配置されている。空間フィルタ４は、図６に示したように複数の開口４Ａを有している。複数の開口４Ａは、空間光変調器３の各画素で生じた回折光の各回折次数の空間位置に対応して設けられている。開口４Ａは、少なくとも、複数の回折次数に対応する数（例えばＭ×Ｎ＝１２１個）だけ設けられている。空間フィルタ４は、空間光変調器３による２次元映像の生成タイミングと同期しつつ複数の開口４Ａを各回折次数ごとに光学的に選択的に開閉制御することにより、フーリエ変換像を空間的かつ時間的にフィルタリングするようになされている。空間フィルタ４は、任意の位置の開口４Ａを光学的に開閉制御可能であれば良く、例えば強誘電性液晶を用いた透過型または反射型の液晶表示装置で構成される。また、２次元型のＭＥＭＳ（マイクロ・エレクトロ・メカニカル・システム）など用いても良い。

図７は、空間フィルタ４における開口４Ａと空間光変調器３の各画素で生じた回折光の各回折次数との対応関係の一例を示している。図７において、数字（ｍ，ｎ）は、開口４Ａの番号を示し、かつ、回折次数を示す。例えば、第（３，２）番目の開口４Ａには、ｍ＝３，ｎ＝２の回折次数を有するフーリエ変換像が入射する。

第２のレンズＬ２は、第１のレンズＬ１と同一の光軸を有するように配置されている。また第２のレンズＬ２は、その前側焦点面上に空間フィルタ４が位置するように配置され、その後側焦点面に空間光変調器３により生成された２次元映像の実像５を形成している。ここで得られる実像５の空間光変調器３に対する倍率は、第２のレンズＬ２の焦点距離ｆ２を任意に選択することによって変化させることができる。

第３のレンズＬ３は、第１のレンズＬ１および第２のレンズＬ２と同一の光軸を有するように配置されている。また第３のレンズＬ３は、その後側焦点面に共役像６を形成すると共に、その前側焦点面が第２のレンズＬ２の後側焦点面に一致するように配置されている。ここで、第３のレンズＬ３の後側焦点面は空間フィルタ４の共役面であることから、空間フィルタ４上の１つの開口部に相当する部分から、空間光変調器３の画素数分（２×Ｐ×Ｑ）の光線が出力されている。最終的に生成・出力される光線の量は、その画素数分の光線に、光学系を透過した回折次数分（Ｍ×Ｎ）を乗じた量で定義することができる。第３のレンズＬ３の後側焦点面においては、光線群が２次元的に整然と配置されているとみなせる。すなわち、全体としては、第３のレンズＬ３の後側焦点面に、図２３に示したプロジェクタユニット１０１が複数の回折次数分（具体的にはＭ×Ｎ個）、配置されている状態と等価である。

次に、３次元表示装置１０の作用を説明する。
この３次元表示装置１０では、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像が、空間フィルタ４により、空間的かつ時間的にフィルタリングされ、そのフィルタリングされたフーリエ変換像の共役像６が形成される。

ここで、図８に模式的に示したように空間光変調器３からは、複数次数の回折光が生じる。なお、図８では、０次（０ｔｈ）光、±１次（１ｔｈ）光、および±２次（２ｔｈ）光の回折光のみを代表して図示しているが、実際にはさらに高次の回折光が生じ、それらの高次回折光も立体表示に利用される。例えばｘ方向に沿って第−５次から第＋５次までの１１組、ｙ方向に沿って第−５次から第＋５’次までの１１組、合計、Ｍ×Ｎ組＝１２１組の回折光が生成される。この回折光は各画素ごとに生ずる。従って、各次数の回折光にはそれぞれ、空間光変調器３により生成された２次元映像の全情報（全画素の情報）が集約されている。空間光変調器３上の同一画素から回折により生成される複数の光線は、同時刻においてすべて同一の情報を有する。

第１のレンズＬ１では、空間光変調器３により生成された２次元映像の全情報が集約された光学像である回折像を、各回折次数ごとに空間フィルタ４上に集光する。高次回折による回折像を利用することで、高い空間的な密度を有する光線群が生成される。
ここで、照明光の波長をλ（ｍｍ），空間光変調器３上の映像を含む構造の空間周波数をν（ｌｐ／ｍｍ），第１のレンズＬ１の焦点距離をｆ１（ｍｍ）とすると，レンズＬ１の後側焦点面では、光軸から距離ｘａ（ｍｍ）の位置にその構造を構成する空間周波数を示す光が現れる。ここで，ｘａは、
ｘａ＝ｆ１λν ……（１）
で示される。

図９は、第１のレンズＬ１による集光作用を模式的に示している。Ｌは、空間光変調器３上の２次元映像の大きさを示す。第１のレンズＬ１によって、各次数の回折光が空間フィルタ４上の別々の開口位置に集光する。空間フィルタ４への集光角（空間フィルタ４を出射後の発散角）θは、各回折光で同一である。空間フィルタ４上において、隣接する回折次数間の間隔は上記（１）式の関係で表される。上記（１）式より、第１のレンズＬ１の焦点距離ｆ１を任意に選択することによって、フーリエ変換像の位置（空間フィルタ４上の結像位置）を変化させることも可能であることが分かる。第１のレンズＬ１に高い回折次数成分を透過させるためには、利用する回折次数成分に応じてレンズの開口率を選択する必要があり、焦点距離に関わらず第１のレンズＬ１以降のすべてのレンズの開口率が第１のレンズＬ１の開口率以上である必要がある。

ここで、空間光変調器３に表示された映像の空間周波数は、映像が画素より構成される空間光変調器３により生成されていることから、最高でも空間光変調器３を構成する連続した２つの画素からなる周期を有する周波数である。

図１０は、空間光変調器３に表示された映像の空間周波数が最も低い状態を示している。符号３Ａは、１つの画素を示す。最も空間周波数が低い状態とは、全画素をブラック表示、またはホワイト表示にした場合であり、この場合の回折光は平面波成分の情報のみを有する。なお、図１０ではホワイト表示にした場合を示している。図１１は、空間光変調器３を図１０の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。各回折光のピークは、周波数ν１の間隔で現れる。

一方、図１２は空間光変調器３に最も高い空間周波数を表示した状態を示す。最も空間周波数が高い映像は、図示したように各画素３Ａの表示をブラック表示とホワイト表示とに隣り合う２つの画素に交互に表示した場合である。図１３は、空間光変調器３を図１２の表示状態とした場合において、第１のレンズＬ１によるフーリエ変換後の光強度の周波数特性を示している。図１１の最低空間周波数の場合と比べて、ピークが周波数ν１／２の間隔で現れる。

図１４（Ａ），（Ｂ）は、空間フィルタ上における回折光の分布を模式的に示したものであり、図１４（Ａ）はｘｙ平面上での分布を示し、図１４（Ｂ）はｘ軸上での分布強度を示す。図１４（Ｂ）では、最低空間周波数成分（平面波成分）と、最高空間周波数成分とを同時に示している。符号１５１で示した部分が最低空間周波数成分で現れるピークを示し、符号１５２で示した部分が最高空間周波数成分で現れるピークを示す。空間フィルタ４の開口形状は、フーリエ変換像の回折パターンに依存し、回折光の平面波成分のピーク位置を中心として、各々の回折次数に対して独立した開口４Ａを有する。すなわち、各開口４Ａの中心位置４Ｂに平面波成分のピーク位置が存在する。

空間フィルタ４では、すべての光線に任意の強度もしくは位相変調を加えるために回折の次数に対応して開口４Ａの開閉制御を行う。空間フィルタ４は、空間光変調器３における平面波成分が空間光変調器３の画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンを中心として、空間光変調器３上に表示することのできる正負の最高空間周波数をすべて得ることができるような開口４Ａを１つの要素としている。

上記式（１）より、空間光変調器３における画素構造に起因する空間周波数が、空間光変調器３上に表示される映像の最高空間周波数の２倍であるので、画素構造に起因する回折により第１のレンズＬ１の後側焦点面上に現れる周期的なパターンの間隔の半分の位置までに映像の空間周波数はすべて現れる。このことから、すべての開口４Ａは、空間的に干渉することなく配置することができる。これにより、平面波成分ごとに独立した開口４Ａを有する空間フィルタ４上において、単一の開口部に空間光変調器３上における映像のすべての空間周波数成分の情報が存在し、開口４Ａの空間的な制限により空間光変調器３上の映像の空間周波数成分が欠落することはない。

すなわち、開口４Ａは、上記式（１）によるｘａの大きさを有する。一例として、照明光の波長λを５３２ｎｍ、第１のレンズＬ１の焦点距離ｆ１を５０ｍｍ、空間光変調器３の１画素の大きさを１３μｍ〜１４μｍ程度とすると、ｘａは約２ｍｍとなる。これは、空間フィルタ４上において、約２ｍｍ間隔という高い密度で各回折次数の光線群を生成することができることを意味する。

この３次元表示装置１０では、空間光変調器３により光線の強度および位相を変化させることができる。しかし、このとき回折によって生成されているすべての次数における同じ空間光変調器３の画素から伝搬した光線が同じ変調を受けている。そこで、空間フィルタ４の開口４Ａを任意に選択することにより、任意の回折次数を選択し、任意の画素を変調することによって、本装置が生成するすべての光線の強度・位相変調を行うことができる。このようにして本装置は高次回折による膨大な量の光線を生成できることと同時に、空間フィルタ４の利用によりすべての光線を任意に制御できることを特徴とする。以下、この開閉制御のタイミングについて説明する。

空間フィルタ４は、任意の回折次数の光線を選択するために、空間光変調器３の映像出力と同期して各開口４Ａの開閉制御を行う。この概念を、図１５（Ａ），（Ｂ），（Ｃ）、図１６および図１７を参照して説明する。図１５（Ａ）は空間光変調器３における映像出力のタイミングを示している。図１５（Ｂ）は、空間フィルタ４におけるある開口４Ａαの開閉タイミングを示し、図１５（Ｃ）は別の開口４Ａβの開閉タイミングを示している。

なお、本実施の形態では、空間フィルタ４における各開口４Ａの開閉制御が、図示しない外部制御回路によって行われる。この外部制御回路は、例えば、図１に示した画像出力システムから出力された視差画像の信号に基づいて、空間フィルタ４における各開口４Ａの開閉制御を行う。これにより、３次元表示装置１０では、空間光変調器３によって再生された各視差画像の再生タイミングに同期して、所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行うことができる。

図１５（Ａ）に示すように、空間光変調器３において例えば時間ｔ１〜ｔ２の間（期間Ｔ１）に映像Ａを表示し、時間ｔ３〜ｔ４の間（期間Ｔ２）間に映像Ｂが表示されているとする。このとき空間フィルタ４では、図１５（Ｂ），（Ｃ）に示したように、期間Ｔ１では開口４Ａαを、期間Ｔ２では開口４Ａβを開く動作を行うとすると、空間光変調器３における同じ画素、異なる回折次数として生成される光線に異なる情報を付加することができる。

図１６は、この映像表示のタイミングと開口制御のタイミングを模式的に示したものである。期間Ｔ１では空間光変調器３において期間Ｔ１で映像Ａが表示され、次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ１では、ある１つの開口４Ａαのみを開く動作を行う。次に、期間Ｔ２では空間光変調器３において期間Ｔ２で映像Ｂが表示され、同様に次数ごとの回折光が空間フィルタ４の対応する開口部分にフーリエ変換像として集光される。期間Ｔ２では、開口４Ａαとは別のある１つの開口４Ａβのみを開く動作を行う。以下順次、空間光変調器３の映像表示タイミングに同期して空間フィルタ４の各開口４Ａを開閉制御する。

図１７は、このようなタイミングで映像表示と開閉制御とを行った場合に、この３次元表示装置１０の最終出力として得られる立体映像（共役像６）を模式的に示している。なお、正確には同時に図１７に示したような映像が得られるわけではないが、映像の切り替え期間は非常に短時間なので、人間の目には同時に表示されているように観察される。例えば、１フレームの表示期間内に、すべての次数分の映像表示切り替えが行われ、すべての開口４Ａの開閉制御が一通り行われる。また、図１７では平面的に図示しているが、実際に観察されるのは立体映像である。

本実施の形態に係る３次元表示装置１０によれば、空間光変調器３により生成された２次元映像における空間周波数に対するフーリエ変換像を、空間フィルタ４により空間的かつ時間的にフィルタリングし、そのフィルタリングされたフーリエ変換像の共役像６を形成するようにしたので、装置全体を大型化することなく、空間的に高い密度で光線群を生成・散布することができる。また、光線群の構成要素である個々の光線を独立して時間的および空間的に制御することができる。これにより、実世界の物体と同質に近い光線による立体映像を得ることができる。

また、この３次元表示装置１０によれば、光線再生技術を利用しているので、焦点調節、輻輳および運動視差などの視覚機能を満足した映像を提供することができる。また、この３次元表示装置１０によれば、高次回折光を効率的に利用していることにより、従来の映像出力の手法と比較して、１つの映像出力デバイス（空間光変調器３）から、制御可能な光線を大量に得ることができる。またこの３次元表示装置１０によれば、空間的かつ時間的にフィルタリングを行うので、表示映像の空間分解能として、映像出力デバイスの時間的特性を空間的特性として得ることができる。また、拡散スクリーンを用いることなく立体映像を提供することができる。また、どのような方向からの観察に対しても適切な映像を提供することができる。また、空間的に高い密度で光線群を生成・散布することができるので、視認限界に近い精細な空間映像を提供することができる。

また、本実施の形態に係る３次元画像表示システムでは、図１に示した画像出力システムにおいて複数の視差画像を、１フレーム内で時間的に分割して順次出力する。そして、その出力された各視差画像の出力タイミングに同期して、３次元表示装置１０において所定数の視差画像を空間中の異なる位置に投射し、所定数の視差画像からなる多視差立体表示を行う。すなわち、この３次元画像表示システムによれば、１フレーム内に複数の視差画像の情報が含められた画像信号を出力し、その出力された画像信号に基づいて、複数の視差画像を、１フレーム内で時間的に分割して順次再生するようにしたので、大量の視差画像を高速で再生することができる。その大量、かつ高速に再生された視差画像に基づいて多視差立体表示を行うことで、光線再生法を用いた立体映像を良好に動画再生することができる。
［第３の実施の形態］

次に、本発明の第３の実施の形態に係る３次元画像表示システムについて説明する。なお、上記第１の実施の形態に係る画像出力システムまたは上記第２の実施の形態に係る３次元画像表示システムと実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。

本実施の形態は、上記第２の実施の形態と同様、上記第１の実施の形態に係る画像出力システムから出力された複数の画像データに基づいて立体表示を行う３次元画像表示システムに関する。図１８は、この３次元画像表示システムにおける３次元表示装置１０Ａの構成例を示している。図１８では、図３（Ａ）に示した３次元表示装置１０と同様、光軸方向をｚとし、このｚ方向に直交する平面内での直交座標をｘｙとしたときのｙｚ断面内での構成を示している。本実施の形態における３次元表示装置１０Ａは、図３（Ａ）に示した３次元表示装置１０と同様、装置単体で、従来に比べて空間的に密度が高く、かつ大量の光線群を生成することが可能となっている。従って、この３次元表示装置１０Ａは、図１８に示した装置単体でも表示装置として機能し得る。１つの３次元表示装置１０Ａで、図２３に示した多数（Ｍ×Ｎ個）のプロジェクタ・ユニット１０１を配置した装置と等価の機能を有する。この３次元表示装置１０を、例えば図４に示すように縦方向ｙと横方向ｘとに複数、並列的に配置することでより大規模なシステムにすることができる。

この３次元表示装置１０Ａは、図３（Ａ）に示した３次元表示装置１０における光源１および照明光学系２の部分に代えて、光源１Ａを備えている。また、図３（Ａ）に示した３次元表示装置１０では、空間光変調器３が２つの空間光変調器３−１，３−２で構成されているものとして説明したが、本実施の形態では、空間光変調器３が１つの空間光変調器で構成されているものとして説明する。この空間光変調器３には、例えば図１に示した画像出力システムにおける第１の出力Ｉ／Ｆ５５からの画像データが供給されるようになっている。３次元表示装置１０Ａを複数配置する場合には、同様にして、図１に示した画像出力システムの他の出力Ｉ／Ｆを空間光変調器３に対応させれば良い。

この３次元像表示装置１０Ａにおいて、光源１Ａは、発光素子群１１と、コリメータレンズ１２とを備えている。発光素子群１１は、例えばＬＥＤ（発光ダイオード）からなる複数の発光素子を有している。発光素子群１１を構成する複数の発光素子は、ｘｙ平面内で２次元マトリクス状に多数配列されているが、図１８には、３つの発光素子１１Ａ，１１Ｂ，１１Ｃのみを代表して図示している。発光素子群１１を構成する複数の発光素子の個数はＵ₀’×Ｖ₀’個であり、光源１Ａにおける離散して配された光出射位置の数はＵ₀×Ｖ₀（ただし、Ｕ₀＝Ｕ₀’，Ｖ₀＝Ｖ₀’）である。より具体的には、空間光変調器３がＰ×Ｑ個の開口（画素）を有し、それが例えば、Ｐ＝１０２４（画素）、Ｑ＝７６８（画素）だとすると、例えばＵ₀＝９個、Ｖ₀＝９個である。ただし、これらの値に限定するものではない。

コリメータレンズ１２は、発光素子群１１から出射された光であって、空間光変調器３に入射する光の入射方向を変更するための光線進行方向変更手段である。発光素子群１１は、コリメータレンズ１２の前側焦点面近傍に配置されている。発光素子群１１の各発光素子から出射された光は、コリメータレンズ１２によって、平行光束化されて出射される。このとき、コリメータレンズ１２は、コリメータレンズ１２から出射するときの光（平行光）の出射方向を、立体的に変えることができる結果、空間光変調器３に入射する光（照明光）の入射方向を立体的に変えることができるようになっている。

図１９は、発光素子群１１を構成する複数の発光素子１１Ａ，１１Ｂ，１１Ｃから出射された各光束が、コリメータレンズ１２、空間光変調器３、第１のレンズＬ１、および空間フィルタ４を通過する状態を、模式的に示している。図１９においては、第１の発光素子１１Ａから出射された光束を実線で示し、第２の発光素子１１Ｂから出射された光束を一点鎖線で示し、第３の発光素子１１Ｃから出射された光束を点線で示してしいる。また、複数の発光素子１１Ａ，１１Ｂ，１１Ｃから出射された各照明光によって形成された空間フィルタ４における像の位置を、それぞれ、符号１１Ａ’，１１Ｂ’，１１Ｃ’で示す。なお、複数の発光素子１１Ａ，１１Ｂ，１１Ｃのそれぞれの位置番号（図２１参照。これについては後述する）は、例えば、第（４，０）番目、第（０，０）番目、および、第（−４，０）番目である。なお、発光素子群１１において、ある任意の発光素子が発光状態にあるときには、他の全ての発光素子は消灯状態となる。

発光素子群１１と空間光変調器３との間には、上述したとおり、コリメータレンズ１２が配置されている。そして、発光素子群１１の任意の発光素子から出射され、コリメータレンズ１２を通過した照明光によって、空間光変調器３が照明されるが、上述したとおり、照明光の空間光変調器３への入射方向は、その任意の発光素子の２次元的な位置（光出射位置）に依存して立体的に異なっている。

空間光変調器３は、上記第２の実施の形態の場合と同様に、例えばｘ方向およびｙ方向に沿って２次元マトリクス状に配列されたＰ×Ｑ個の開口（画素）を有し、光源１Ａからの光の通過を開口ごとに制御することで２次元画像を生成するようになっている。空間光変調器３は、例えば、Ｐ×Ｑ個の画素３１を有する透過型の液晶表示装置から成り、各画素３１には開口が備えられている。なお、開口の平面形状は例えば矩形である。上記第２の実施の形態で説明したように、空間光変調器３の各開口（画素）について、Ｍ×Ｎ組の回折光が生成される。すなわち、係る開口によって、入射光波の振幅（強度）を周期的に変調し、格子の光透過率分布に一致した光量分布が得られる振幅格子が形成される。例えば各画素において、Ｍ×Ｎ組の回折光が生成される。言い換えれば、画素の数は空間光変調器３でＰ×Ｑであるが故に、総計、（Ｐ×Ｑ×Ｍ×Ｎ）本の回折光が生じると考えることもできる。

この３次元像表示装置１０Ａにおいて、空間フィルタ４は、図３（Ａ）に示した３次元表示装置１０の場合と同様、開閉制御可能な複数の開口４Ａを有している。ただし、本実施の形態においては、複数の開口４Ａは、光源１Ａの光出射位置の数（Ｕ₀×Ｖ₀）に対応した数だけ設けられている。

ここで、空間フィルタ４は、より具体的には、例えば、Ｕ₀×Ｖ₀個の画素を有する強誘電性液晶を用いた透過型の液晶表示装置または反射型の液晶表示装置、あるいは、可動ミラーが２次元マトリクス状に配列された装置を含む２次元型のＭＥＭＳから構成することができる。ここで、例えば、液晶セルを一種の光シャッタ（ライト・バルブ）として動作させることによって開口４Ａの開閉制御を行うことができるし、可動ミラーの移動／非移動によって開口４Ａの開閉制御を行うことができる。空間フィルタ４においては、空間光変調器３による２次元画像の生成タイミングと同期して所望の開口４Ａ（具体的には、０次の回折光を通過させるための開口４Ａ）を開状態とすることによって、所望の回折次数（０次）に対応するフーリエ変換像を選択することができる。

この３次元像表示装置１０Ａにおいても、図３（Ａ）に示した３次元表示装置１０の場合と同様に、焦点距離ｆ１を有する第１のレンズＬ１の前側焦点面（光源側の焦点面）には空間光変調器３が配置されている。そして。第１のレンズＬ１の後側焦点面（観察者側の焦点面）には、フーリエ変換像を、空間的、かつ、時間的にフィルタリングするための時間的な開閉制御が可能な空間フィルタ４が配置されている。そして、第１のレンズＬ１によって、複数の回折次数に対応する数のフーリエ変換像が生成され、これらのフーリエ変換像は空間フィルタ４上に結像する。

図２１は、２次元マトリクス状に配列された複数の発光素子から成る光源１Ａの模式的な正面図を示している。図２２は、例えば液晶表示装置から成る空間フィルタ４の模式的な正面図を示している。図２１において、数字（ｕ，ｖ）は、光源１Ａを構成する任意の発光素子１１ｎの位置番号を示す。同様に、図２２において、数字（ｕ，ｖ）は、空間フィルタ４を構成する任意の開口４Ａの位置番号を示す。例えば、空間フィルタ４の第（３，２）番目の開口４Ａには、光源１Ａの第（３，２）番目に位置する発光素子による２次元画像の所望のフーリエ変換像（例えば０次の回折に対応するフーリエ変換像）のみが入射して通過する。光源１Ａの第（３，２）番目に位置する発光素子による２次元画像の所望のフーリエ変換像以外のフーリエ変換像は、空間フィルタ４によって遮られる。

焦点距離ｆ２を有する第２のレンズＬ２は、空間フィルタ４によってフィルタリングされたフーリエ変換像を逆フーリエ変換することにより、空間光変調器３によって形成された２次元画像の実像５を形成する。すなわち、第２のレンズＬ２の後側焦点面に、空間光変調器３によって形成された２次元画像の実像５が形成されるように配置されている。ここで得られる実像５の空間光変調器３に対する倍率は、第２のレンズＬ２の焦点距離ｆ２を任意に選択することによって変化させることができる。また、焦点距離ｆ３を有する第３のレンズＬ３は、空間フィルタ４によってフィルタリングされたフーリエ変換像の共役像６を形成する。

ここで、第３のレンズＬ３の後側焦点面は空間フィルタ４の共役面であることから、空間フィルタ４上の１つの開口４Ａに相当する部分から、空間光変調器３によって生成された２次元画像が出力されていることと等価となる。そして、最終的に生成・出力される光線の量は、画素数分（Ｐ×Ｑ）であって、空間フィルタ４を通過した光線である。すなわち、空間フィルタ４を通過する光線の光量が、それ以降の３次元像表示装置１０Ａの構成要素を通過、反射することによって減少することは、実質的に無い。また、第３のレンズＬ３の後側焦点面にはフーリエ変換像の共役像６が形成されるが、２次元画像の共役像の方向成分は光源１Ａから出射され、空間光変調器３に入射する照明光の方向成分によって規定されるので、第３のレンズＬ３の後側焦点面においては、光線群が２次元的に整然と配置されていると見なせる。すなわち、全体としては、第３のレンズＬ３の後側焦点面（共役像６が形成される面）に、図２３に示したプロジェクタユニット１０１が複数の数（具体的にはＵ₀×Ｖ₀個）、配置されている状態と等価である。

図２０（Ａ），（Ｂ）に模式的に示すように、空間光変調器３における１つの画素３１によって、ｘ方向およびｙ方向に沿って、合計、Ｍ×Ｎ組の回折光が生成される。なお、図２０（Ａ），（Ｂ）では、０次光、±１次光、および、±２次光の回折光のみを代表して図示している。実際には、さらに高次（例えば、±５次）の回折光が生成され、これらの回折光の一部（具体的には、例えば、０次光）に基づき、最終的に立体画像が形成される。なお、図２０（Ａ）は、図１８における第２の発光素子１１Ｂから出射された光線によって形成された回折光を模式的に示し、図２０（Ｂ）は、図１８における第１の発光素子１１Ａから出射された光線によって形成された回折光を模式的に示している。ここで、各回折次数の回折光（光束）には、空間光変調器３によって形成された２次元画像の全画像情報（全ての画素の情報）が集約されている。空間光変調器３上の同一画素から回折によって生成される複数の光線群は、同時刻において、全て、同一の画像情報を有する。言い換えれば、Ｐ×Ｑ個の画素３１を有する透過型の液晶表示装置から成る空間光変調器３においては、光源１Ａからの照明光が各画素３１によって変調されて２次元画像が生成される。かつ、生成された２次元画像における空間周波数は、各画素３１から生じる複数の回折次数（総計Ｍ×Ｎ）に対応した回折角に沿って出射される。すなわち、２次元画像のＭ×Ｎ個の一種のコピーが空間光変調器３から、複数の回折次数（総計Ｍ×Ｎ）に対応した回折角に沿って出射される。

そして、空間光変調器３によって生成された２次元画像の全画像情報が集約された２次元画像における空間周波数は、第１のレンズＬ１によってフーリエ変換され、各画素３１から生じる複数の回折次数に対応する数のフーリエ変換像が生成される。この３次元像表示装置１０Ａでは、これらのフーリエ変換像の内、所定のフーリエ変換像（例えば、０次の回折に対応するフーリエ変換像）のみを空間フィルタ４から通過させる。さらには、この選択されたフーリエ変換像が第２のレンズＬ２によって逆フーリエ変換され、空間光変調器３によって生成された２次元画像の実像５が形成され、この２次元画像の実像５は、第３のレンズＬ３に入射し、第３のレンズＬ３によって共役像６が結像される。なお、２次元画像における空間周波数は、画素構造の空間周波数をキャリア周波数とした画像情報に相当するが、０次の平面波を搬送波とする画像情報の領域のみ（すなわち、画素構造の空間周波数の最大１／２の空間周波数まで）が、空間フィルタ４を通過する。言い換えれば、平面波成分の０次回折をキャリア周波数とする１次回折として得られるものであって、空間光変調器３の画素構造（開口構造）の空間周波数の半分以下の空間周波数が、空間フィルタ４を通過する。こうして、第３のレンズＬ３によって結像された２次元画像の共役像６にあっては、空間光変調器３の画素構造は含まれず、一方、空間光変調器３によって生成された２次元画像における空間周波数の全てが含まれている。

以上説明したように、本実施の形態における３次元像表示装置１０Ａでは、光源１Ａの所定の発光素子を発光させる一方、空間フィルタ４における所望の開口４Ａを開口する。この３次元像表示装置１０Ａでは、複数の離散して配された光出射位置に依存して空間光変調器３への入射方向が異なる照明光を効率的に利用しているので、従来の画像出力手法と比較して、１つの画像出力デバイス（空間光変調器３）によって制御可能な光線を、離散して配された光出射位置の数（Ｕ₀×Ｖ₀個）だけ、得ることができる。

本実施の形態に係る３次元表示装置１０Ａによれば、上記第２の実施の形態に係る３次元表示装置１０と同様、装置全体を大型化することなく、空間的に高い密度で光線群を生成・散布することができる。また、光線群の構成要素である個々の光線を独立して時間的および空間的に制御することができる。これにより、実世界の物体と同質に近い光線による立体映像を得ることができる。
［その他の実施の形態］

本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば図１に示した画像出力システムでは、マルチコアプロセッサ２１として４つのコア３１〜３４を有するものを例に説明したが、コアが２つである場合や、コアが５つ以上ある場合であっても、本発明は適用可能である。この場合、コアの数に応じて対応する画像メモリと出力Ｉ／Ｆの数を変更すれば良い。

また、図１に示した画像出力システムでは、３次元動画データとは別にＳ．Ｓｙｎｃの同期信号を送信し、それに基づいてマルチコアプロセッサ２１から各画像メモリに複数の画像データを並列的に転送するタイミングの同期を取るようにしたが、同期の取り方はこれに限らない。例えば、３次元動画データ内の視差画像自体に同期制御信号を重畳して埋め込み、マルチコアプロセッサ２１内でその同期制御信号を読み取ることで同期を取るようにしても良い。

本発明の第１の実施の形態に係る画像出力装置を３次元表示システムで用いられる画像出力装置として適用した場合のシステム構成例を示すブロック図である。 図１に示した画像再生用ＰＣにおける画像処理のタイミングを示すタイミングチャートである。 本発明の第２の実施の形態に係る３次元表示装置の全体構成を示す図であり、（Ａ）はｙｚ断面内での構成図、（Ｂ）はｘｚ断面内での構成図である。 本発明の第２の実施の形態に係る３次元表示装置を複数組み合わせたシステム構成例を示す構成図である。 本発明の第２の実施の形態に係る画像出力装置を３次元表示システムで用いられる画像出力装置として適用した場合のシステム構成例を示すブロック図である。 本発明の第２の実施の形態に係る３次元表示装置における空間フィルタの一構成例を示す図である。 本発明の第２の実施の形態に係る３次元表示装置における空間フィルタの開口と回折光の次数との対応関係の一例を示す説明図である。 本発明の第２の実施の形態に係る３次元表示装置における空間光変調器の作用を説明するための図である。 本発明の第２の実施の形態に係る３次元表示装置における第１のレンズＬ１による作用を示す説明図である。 空間光変調器において最も空間周波数が低い映像を表示した状態を模式的に示す説明図である。 最も低い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。 空間光変調器において最も空間周波数が高い映像を表示した状態を模式的に示す説明図である。 最も高い空間周波数の映像を表示した場合における回折成分の周波数特性を示す説明図である。 空間フィルタ上における回折光の分布を説明するための図であり、（Ａ）はｘｙ平面上での分布を示し、（Ｂ）はｘ軸上での分布強度を示す。 空間光変調器における映像表示タイミングと空間フィルタの開口の開閉タイミングとを示す図であり、（Ａ）は空間光変調器における映像表示タイミングを示し、（Ｂ）は空間フィルタにおける開口αの開閉タイミングを示し、（Ｃ）は空間フィルタにおける開口βの開閉タイミングを示す。 空間フィルタによる空間フィルタリングの概念を模式的に時系列で示した説明図である。 空間フィルタリングの結果得られる映像の一例を模式的に示す説明図である。 本発明の第３の実施の形態に係る３次元表示装置の全体構成を示す構成図である。 本発明の第３の実施の形態に係る３次元表示装置における、複数の発光素子からの光線の通過状態を示す説明図である。 本発明の第３の実施の形態に係る３次元表示装置における空間光変調器の作用を説明するための図である。 本発明の第３の実施の形態に係る３次元表示装置における発光素子の配置例を示す説明図である。 本発明の第３の実施の形態に係る３次元表示装置における空間フィルタの開口と発光素子との対応関係の一例を示す説明図である。 従来の３次元表示装置の一構成例を示す図である。 ビデオカードを利用した画像出力システムの構成例を示すブロック図である。

符号の説明

３Ｄ Ｄａｔａ…３次元動画データ、ＶＳｙｎｃ…垂直同期信号、Ｓ．Ｓｙｎｃ…同期信号、Ｌ１…第１のレンズ、Ｌ２…第２のレンズ、Ｌ３…第３のレンズ、１，１Ａ…光源、２…照明光学系、３（３−１，３−２）…空間光変調器（ＳＬＭ）、４…空間フィルタ、１０，１０Ａ…３次元表示装置、１１…発光素子群、１１Ａ，１１Ｂ，１１Ｃ…発光素子、２０…画像再生用ＰＣ（画像出力装置）、２１…マルチコアプロセッサ、２２…システムメモリ、２３…ＬＡＮインタフェース（Ｉ／Ｆ）、２４…同期制御回路、２５…バス、３０…制御プロセッサ、３１…第１のコア、３２…第２のコア、３３…第３のコア、３４…第４のコア、５１…第１の画像メモリ、５２…第２の画像メモリ、５３…第３の画像メモリ、５４…第４の画像メモリ、５５…第１の出力Ｉ／Ｆ、５６…第２の出力Ｉ／Ｆ、５７…第３の出力Ｉ／Ｆ、５８…第４の出力Ｉ／Ｆ、６０…３次元画像生成装置、６１…同期マスタＰＣ、６２…ＬＡＮ。

Claims (7)

1. バスと、
   内部に複数のコアを有すると共に、前記複数のコアがそれぞれ独立して前記バスに接続され、供給された画像データに対して前記複数のコアによって所定の画像処理を並列的に行うマルチコアプロセッサと、
   それぞれが独立して前記バスに接続されると共に、前記バスを介して前記複数のコアのそれぞれに対応して設けられ、前記複数のコアによって画像処理された複数の画像データを前記バスを介して並列的に格納する複数の画像メモリと、
   前記複数の画像メモリのそれぞれに対応して設けられ、前記複数の画像メモリに格納された複数の画像データを並列的に出力する複数の出力インタフェースと
   を備えた画像出力装置。
2. 前記複数の出力インタフェースから前記複数の画像データを出力するタイミングの同期を取るための第１の同期制御手段をさらに備えた請求項１に記載の画像出力装置。
3. 前記複数のコアから前記複数の画像メモリに前記複数の画像データを並列的に転送するタイミングの同期を取るための第２の同期制御手段をさらに備えた請求項１または２に記載の画像出力装置。
4. 前記マルチコアプロセッサは、内部に前記複数のコアを制御するための制御プロセッサをさらに有し、前記マルチコアプロセッサが、前記第１の同期制御手段または前記第２の同期制御手段の機能を有する請求項２または３に記載の画像出力装置。
5. 前記複数のコアによる画像処理の対象となる画像データを一時的に格納する画像データ格納手段をさらに備え、
   前記画像データ格納手段は、前記画像データとして、１フレーム内に複数の視差画像を含む圧縮処理された３次元動画データを格納し、
   前記複数のコアはそれぞれ、前記画像処理として、前記画像データ格納手段に格納された前記３次元動画データを所定単位の動画フレームごとに複数の画像データに分割して解凍処理を行うと共に、それら分割された複数の画像データを前記複数の画像メモリに並列的に転送する処理を行う請求項１に記載の画像出力装置。
6. 前記複数のコアから前記複数の画像メモリに前記複数の画像データを並列的に転送するタイミングの同期を取るための第２の同期制御手段をさらに備え、
   前記第２の同期制御手段は、３次元動画の同一フレームに属する複数の視差画像のデータが、前記複数の画像メモリに同一のタイミングで転送されるよう制御する請求項５に記載の画像出力装置。
7. 複数の視差画像を含む画像データを複数出力する画像出力装置と、
   前記画像出力装置から出力された前記複数の画像データに基づいて立体表示を行う３次元表示装置と
   を備え、
   前記画像出力装置は、
   バスと、
   内部に複数のコアを有すると共に、前記複数のコアがそれぞれ独立して前記バスに接続され、供給された画像データに対して前記複数のコアによって所定の画像処理を並列的に行うマルチコアプロセッサと、
   それぞれが独立して前記バスに接続されると共に、前記バスを介して前記複数のコアのそれぞれに対応して設けられ、前記複数のコアによって画像処理された複数の画像データを前記バスを介して並列的に格納する複数の画像メモリと、
   前記複数の画像メモリのそれぞれに対応して設けられ、前記複数の画像メモリに格納された複数の画像データを並列的に出力する複数の出力インタフェースと
   を有する３次元画像表示システム。

Images