JP2022055732A - 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム - Google Patents

光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム Download PDF

Info

Publication number
JP2022055732A
JP2022055732A JP2020163317A JP2020163317A JP2022055732A JP 2022055732 A JP2022055732 A JP 2022055732A JP 2020163317 A JP2020163317 A JP 2020163317A JP 2020163317 A JP2020163317 A JP 2020163317A JP 2022055732 A JP2022055732 A JP 2022055732A
Authority
JP
Japan
Prior art keywords
element cell
stereoscopic image
display
dimensional
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020163317A
Other languages
English (en)
Inventor
翼 鈴木
Tasuku Suzuki
進 高橋
Susumu Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2020163317A priority Critical patent/JP2022055732A/ja
Priority to EP21858352.4A priority patent/EP4202536A4/en
Priority to PCT/JP2021/030292 priority patent/WO2022039208A1/ja
Priority to CN202180050388.4A priority patent/CN115956214A/zh
Publication of JP2022055732A publication Critical patent/JP2022055732A/ja
Priority to US18/171,576 priority patent/US20230204832A1/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

【課題】社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる光線再生装置を提供する。【解決手段】再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備え、前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である。【選択図】図1

Description

本発明は、光線再生装置、三次元空間表示システム、光線再生方法、及びプログラムに関する。
家族間、親しい間柄、または、政治やビジネスの世界でもコミュニケーションにおいて、互いの気持ちを知ることが重要である。非言語的な部分では、会話の間合いや、パーソナルスペースの距離感を違和感なく伝える必要があり、加えてその距離感の中で相手の表情や仕草など非言語的な情報の獲得が大切である。
コミュニケーションを円滑に行うための技術として種々の技術が提供されている。例えば、通信技術の分野では5Gの低遅延技術で通信遅延を低減させ、オンラインでの会話においても実際の会話と同じ感覚で会話の間合いとることができる。また、TOF(Time of Flight)などの三次元計測技術を用いて人との距離を正確に計測することができる。しかし、適切な対人距離(パーソナルスペース)を取ることができる奥行きのある空間を違和感なく表示する技術は知られていない。
ここで、本願における奥行きのある空間とは、人が他者と公的なコミュニケーションをとる際に主に適用される、1.2m前後から3.6m程度までの対人距離がとれる空間より大きいサイズの空間を示す。以下の説明においては、この、1.2m前後から3.6m程度までの対人距離がとれる奥行きのある空間のことを、「社会距離空間」という。
奥行きのある三次元像を表示するための様々な技術が存在している。例えば、ヘッドアップディスプレイや偏光めがね方式、液晶シャッターめがね方式のような装着型の表示装置、あるいはパララックスバリア方式やレンチキュラー方式など装着せずに、二つの目に異なる視差を観察させ立体像を表示する技術がある。このような三次元像を表示技術は、視差のみで立体感を感じさせるものである。このため、一点に視線を集中させる輻輳や、ピント調整などを必要とするため、人に眼精疲労や酔いを感じさせる場合があった。このため、奥行きのある社会距離空間を表示させるツールとして適切ではない。
これに対し、非特許文献1には、輻輳とピント調整を必要とすることなく三次元像を表示する技術が開示されている。非特許文献1には、超多眼ディスプレイや、マイクロレンズアレイを用いてライトフィールド(デジタルカメラの撮像面に入射する光線の撮像面上での方向情報と強度分布)を記録し、記録したライトフィールドを再現(表示)するディスプレイ(図19参照)が開示されている。また、液晶パネルなどを重ねたスタティックディスプレイ型のライトフィールドディスプレイ(図20参照)が提案されている。
また、特許文献1に記載の立体画像表示装置によれば、視点の数を十分に多くする(超多眼)技術が開示されている。これにより、人間の立体知覚に対し、両眼視差、ピント調節、輻輳、運動視差の4つの要因を満足させることができる。このような超多眼ディスプレイやライトフィールドディスプレイによる三次元画像の表示は、瞳の大きさより小さなサイズで光線を再現することで、自然なピント調整と輻輳を実現するものである。
特願2007-17634号公報
[online]、 "ライトフィールドディスプレイの研究動向"2018年3月 小池 崇文、[令和2年8月3日検索]、インターネット〈URL:https://home.jeita.or.jp/device/lirec/symposium/fpd/pdf/2018_2a.pdf〉
しかしながら、特許文献1に記載されているような超多眼ディスプレイ等は、瞳の大きさより小さなサイズで光線を再現することで、自然なピント調整と輻輳を実現するものである。微小な面積で光線を制御していることから回折の影響で、ディスプレイ面から離れるほどボケが大きくなる。このため、ディスプレイ近傍の物体しか再現できず、ディスプレイ面と観察者が近い場合、社会距離空間の再現は困難である。一方、ディスプレイ面を観察者から離して社会距離空間近傍に置いた場合は、ディスプレイが表示したい空間より大きなサイズにする必要があり、高いコストや大きな設置スペースが必要となる。
以上のように、社会距離空間を再現するには、従来のライトフィールドディスプレイでは、回折の影響により大きなボケが生じることになるという問題があった。
本発明の実施形態は、上記の問題に鑑みてなされたもので、主にディスプレイ面から1.2m前後から3.6m程度までの奥行きがある空間(社会距離空間)又は、それ以上の奥行きがある空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる光線再生装置、三次元空間表示システム、光線再生方法、及びプログラムを提供することを目的とする。
上記の課題を解決するために、発明の実施形態の光線再生装置は、再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備え、前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である。なお、ここでいう観察者に観察される度合いとは、立体像が表示される位置や範囲、観察者が許容するボケの程度などを示すものである。
本発明の実施形態によれば、社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として表示することができる。
第1実施形態の三次元空間表示システム1の構成を示すブロック図である。 第1実施形態の三次元空間表示システム1が適用される例を説明する図である。 第2実施形態の三次元空間表示システム100構成を示すブロック図である。 第2実施形態の三次元空間表示システム100が適用される例を説明する図である。 三次元表示ディスプレイ30から観察対象とする物体までの距離と、その物体を再現する際に生じるボケの大きさとの関係を示す特性図である。 三次元表示ディスプレイ30から観察対象とする物体までの距離と、再現された物体を見る観察者の網膜上の分解能(錯乱円直径)との関係を示す特性図である。 要素セルにおけるサイズdとピッチpの関係の例を示す図である。 点物体を物点A’として再生した場合の例を示す図である。 要素セルから再生する光線(再生光)の明るさの分布の一例を示す図である。 点物体を物点A’’として再生した場合の例を示す図である。 図9の方法で複数の物体を再生した場合の例を示す図である。 光線追跡法を適用してホログラムの再生用データを計算する方法を説明するための図である。 観察者がディスプレイ面を通して、再生点を観察する様態を示す模式図である。 ディスプレイから再生される光線が広がりをもった光となり、再生点のボケとなる様態を示す模式図である。 円形開口によるフラウンフォーファ回折の広がり角と、その大きさを説明するための模式図である。 実施形態の三次元表示ディスプレイ30が行う処理の流れを示すフローチャートである。 実施形態の変形例における三次元空間表示システム1Aの構成を示すブロック図である。 実施形態の変形例における三次元空間表示システム1Aが適用される例を説明する図である。 従来の、マイクロレンズアレイを用いるライトフィールドディスプレイの構成を例示する模式断面図である。 従来の、液晶パネルを重ねたスタティックディスプレイ型のライトフィールドディスプレイの構成を例示する模式断面図である。
以下、図面を参照して本発明の実施の形態を詳しく説明する。三次元空間表示システム1は、例えば、光学装置と電気回路により実装される。以下に説明する各図面において、見易さのため構成要素の厚さや比率は誇張されていることがあり、構成要素の数も減らして図示していることがある。また、本発明は以下の実施形態そのままに限定されるものではなく、主旨を逸脱しない限りにおいて、適宜の組み合わせ、変形によって具体化できる。
図1は、第1実施形態の三次元空間表示システム1の構成を示すブロック図である。三次元空間表示システム1は、例えば、通信部10と、立体カメラ20と、三次元表示ディスプレイ30とを備える。通信部10は、デジタル通信網NWを介して外部と通信を行う。
立体カメラ20は、被写体である観察対象とする物体を立体的に撮像するカメラであり、例えばステレオカメラである。立体カメラ20は、観察対象とする物体の三次元情報を、通信部10を介して三次元表示ディスプレイ30に転送する。ここでの三次元情報は、少なくとも物体から撮像面に入射する光線の入射方向と強度を含み、2つ以上の視差画像列や2次元画像と距離画像の組み合わせなどから得られるものであってもよく、観察対象とする物体を含む空間を示す情報であればよい。
三次元情報を取得するための方法として、様々な方法が考えられる。例えば、立体カメラ20がステレオカメラである場合、2台のカメラでそれぞれ撮影した画像を用いてデプス情報(以下、深度情報、奥行き距離などともいう)を測定することにより三次元情報を取得する方法がある。或いは、撮影対象物体に投影されたパターンを解析する方法がある。また、光の飛行時間を測定することにより、観察対象とする物体までの距離を計測するTOF方式などがある。三次元情報を取得するための方法は、少なくとも社会距離の範囲を必要な分解能で測定できれば、どの方法を用いてもよい。特に、数cmから数mという奥行き距離を精度よく測定することが可能なTOF方式が好適である。
立体カメラ20によって撮像する空間の範囲は、社会距離空間を認識させる程度に十分広い空間であることが望ましい。例えば、3.6m奥に角度±30度で広がるような空間であり、画角として60度以上である空間が好適である。例えば、35mmフィルム換算で、焦点距離25mmの広角レンズ相当の80度以上の画角であるとより臨場感のある空間を撮像することができる。さらに、角度方向の最小分解能Δαは、視力0.5程度に相当する分解能である0.033度以下であることが望ましい。
例えば、立体カメラ20の解像度がハイビジョン(画素数1080×1920)の場合、角度方向の最小分解能Δαを0.033度以下にするためには、画角を73度以下とする。また、立体カメラ20の解像度が4K(画素数21 60×3840)の場合、角度方向の最小分解能Δαを146度以下とする。よって、80度以上の画角で社会距離空間を撮影する場合、4K以上の解像度の立体カメラ20で撮影することが望ましい。
通信部10は、三次元情報の動画を安定して転送することが可能なデジタル通信網NWを用いて、外部の機器と三次元情報をやり取りする。解像度4Kの画像、かつ画素毎の奥行き情報を含む動画を安定して転送するためには、例えば、通信速度25Mbps以上であることが望ましい。デジタル通信網として、モバイル通信網を使用する場合、例えば、5G以上の規格を用いることにより遠隔地との情報のやり取りが容易になる。
三次元表示ディスプレイ30は、三次元の画像を表示するPC(Personal Computer)、サーバ装置、或いはクラウドサーバなどのコンピュータ装置である。三次元表示ディスプレイ30は、例えば、演算部31と、制御部32と、光源部33と、表示部34と、光制御部35と、記憶部36とを備える。ここで、三次元表示ディスプレイ30は、「光線再生装置」の一例である。演算部31は、「信号処理部」の一例である。制御部32は、「信号処理部」の一例である。表示部34は、「立体像表示部」の一例である。光制御部35は、「立体像表示部」の一例である。
演算部31、及び制御部32は、信号処理を行う機能部であり、例えば、三次元表示ディスプレイ30のCPU(Central Processing Unit)が記憶部36に予め記憶されたプログラムを実行することにより実現される。また、これらの信号処理を行う機能部が、ASIC(Application Specific Integrated Circuit)等の集積回路として実現されてもよい。
演算部31は、立体カメラ20から取得した三次元情報に基づいて、再生(表示)すべき光線の成分(光線の方向と強度)を、要素セル毎に計算する。ここでの要素セルについては、後で詳しく説明する。
制御部32は、光源部33、表示部34、及び光制御部35を制御し、要素セルごとに再生された光線の方向と強度を反映させる。これにより、自然な距離感とボケのない空間を表示することが可能となる。なお、三次元表示ディスプレイ30における光源部33や光制御部35が受動的で制御が不要な場合、制御部32によってこれらの機能部(光源部33や光制御部35)が制御される必要はない。
なお、立体カメラ20から取得した三次元情報を用いず、通信部10を介して外部から獲得した三次元情報のみを用いて画像を表示する場合、三次元空間表示システム1における立体カメラ20を省略することが可能である。一方、立体カメラ20からの三次元情報のみを用いて三次元表示ディスプレイ30に画像を表示する場合、三次元表示ディスプレイ30において通信部10を省略することが可能である。
光源部33は、レーザーやLED(Light-Emitting Diode)やEL(Electro-Luminescence)などの発光体を含む光源機能を有し、表示部34の光源となる機能部である。光制御部35は、制御部32からの制御信号に従って、光源部33によって照射される光源の方向と強度を制御する。
表示部34は、LCD(Liquid Crystal Display)や、OLED(Organic LED)、DMD(Digital Mirror Device)などの表示素子を用いた表示機能を有する。表示部34は、制御部32の制御に従い画像を表示する。
表示部34として、LCD、LED、OLED、DLP(Digital Light Processing)などの2次元の画像を表示する表示装置が一般的である。しかしながら、これに限定されない。表示部34は、レーザー光源やLED光源などの光源部33をスキャンする方式であってもよい。LEDやOLEDなどの自発光デバイスの場合、表示部34が、光源機能と表示機能を合わせ持つことになる。表示部34が、ホログラムなどの回折パターンによって光の方向を制御するものであれば、表示機能と光制御機能を一つのデバイスで実現することができる。
なお、以下の説明において、ディスプレイ面とは、表示部34の表示装置によってパターンが表示される面のことを示し、複数の表示装置を用いて画像を表示する場合、最も観察者に近い面を示す。
記憶部36は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部36は、三次元表示ディスプレイ30の各種の処理を実行するためのプログラム、及び各種の処理を行う際に利用される一時的なデータを記憶する。記憶部36は、例えば、立体カメラ20によって獲得された三次元情報を記憶する。記憶部36は、演算部31による演算結果を記憶する。記憶部36は、制御部32の制御によって再生される光線の方向や強度などを示す情報を記憶する。
図2は、第1実施形態の三次元空間表示システム1が適用される例を説明する図である。図2のXY方向は平面方向を示し、Z方向は鉛直方向を示している。立体カメラ20は、観察対象となる実体空間JKを撮像可能に設置される。実体空間JKには、複数の実体像IM(実体像IM-1~IM-7)が配置されている。三次元表示ディスプレイ30は、表示する画像が観察者OBによって観察可能となるように設置される。
立体カメラ20は、実体空間JKを撮像する。三次元表示ディスプレイ30は、立体カメラ20によって撮像された実体空間JKを再現(表示)した再生空間SKを表示する。なお、図2の例では、立体カメラ20と三次元表示ディスプレイ30とが重なっている様子が示されているが、これらはZ方向に互いに異なる位置にあり重なってはいない。また、この例では立体カメラ20の撮像方向がX軸方向に沿った方向である場合を示しているが、これに限定されない。立体カメラ20の位置は、観察対象となる実体空間JKについて、観察者OBが観察したい任意の位置や方向から撮像可能であればよい。また、立体カメラは20が1機のみ配置される場合に限定されることはなく、複数の立体カメラ20が設置されてもよい。
この図の例では、三次元空間表示システム1が、三次元情報の記録(撮像)と再生(表示)に時間差を有してコミュニケーションを実現する三次元画像表示コミュニケーターとして機能する。すなわち、立体カメラ20で撮像された実体空間JKの三次元情報は、記憶部36にいったん記憶された後、観察者OBが希望する任意の時間に、所望の三次元画像が再生空間SKに再現される。これにより、撮像時に観察者OBが不在であっても、撮像時における実体空間JKの実体像IMを、撮像後の任意のタイミングで観察することができる。
なお、上記では、時間差で記録と再生を行う例を示したが、これに限定されない。例えば立体カメラ20と三次元表示ディスプレイ30とを、玄関とリビングなど互いに離れた位置に設置し、相手を直接視認することができないような互いに離れた位置でのコミュニケーションを実現する三次元映像コミュニケーターとして機能するようにしてもよい。これにより、観察者OBが、実体空間JKまで移動することなく、遠隔にある実体空間JKを体験(観察)することが可能になる。
ここで、本願で対象とする社会距離空間について、詳しく説明する。社会距離空間は、従来の三次元ディスプレイ(立体画像表示装置)で表示させる空間のようにディスプレイ近傍に物体(被写体)が存在する空間ではない。社会距離空間は、ディスプレイが表示する空間において奥行き方向に離れた位置に被写体が存在する空間である。社会距離空間は、例えば、部屋の内部の空間や、公園内の空間等であり、その区間の内部に観察者(被写体)がいるような空間である。或いは、ディスプレイを窓として、窓から外側の空間(部屋の内部の空間等)を観察するような場合に表示される空間である。
アメリカの文化人類学者であるエドワード・ホールは、人と人が相対する対人距離(パーソナルスペース)を、次の4つの距離帯に分類している。
1)密接距離
2)個体距離
3)社会距離
4)公衆距離
1)密接距離とは、相手との距離が0~0.45m程度であって、例えば相手の体温や匂いが分かるような距離に相当する。密接距離は、非常に親密な間柄の相手との距離であり、手をつなぐなど肌と肌の触れ合いや、匂いによるコミュニケーションが主となる対人距離である。
2)個体距離とは、相手との距離が0.45~1.2m程度であって、自分の独立性を保つために他者との間にとる距離に相当する。自分や相手が手を伸ばせば、触れることが可能な距離で、友人など親しい相手とコミュニケーションが行われる場合の対人距離である。
3)社会距離とは、相手との距離が1.2~3.6m程度であって、相手に触れることが困難な距離であり、職場での同僚同士の会話など、公式な場でのコミュニケーションに適している対人距離である。
4)公衆距離とは、相手との距離が3.6m程度以上で、二者間のコミュニケーションには不適切な距離であり、例えば演説や講演などのコミュニケーションが行われる場合の対人距離である。
図3は、第2実施形態の三次元空間表示システム100構成を示すブロック図である。本実施形態の三次元空間表示システム100では、図1に示した三次元空間表示システム1が複数備えられ、お互いにデジタル通信網NWを介して接続される。これによって、複数の遠隔地同士が互いに自然なコミュニケーションを実現する三次元画像表示コミュニケーターを構成している。尚、立体カメラ20により得られた三次元情報は、必要に応じて演算部31などの信号処理によって圧縮、又は/及び変換され、通信部10を介して、通信先に送信される。
なお、通信部10による通信手段として特に制限はないが、三次元情報を送受し合うため、上記に挙げた5Gの通信網のように大容量の情報を高速に伝送可能な通信手段を有することが好ましい。
図4は、第2実施形態の三次元空間表示システム100が適用される例を説明する図である。図4のXY方向は平面方向を示し、Z方向は鉛直方向を示している。立体カメラ20が設置される位置、方向、機数は、図2と同様であるため、その説明を省略する。三次元表示ディスプレイ30についても同様である。この図の例では、三次元空間表示システム100は、デジタル通信網NWを介して通信可能に接続される2つの遠隔地における、自然なコミュニケーションを実現する三次元画像表示コミュニケーターとして機能する。
すなわち、実体空間JK-1に存在するメンバーが立体カメラ20-1に撮像されることによって得られる三次元情報が、デジタル通信網NWを介して三次元表示ディスプレイ30-2に送信される。これにより、三次元表示ディスプレイ30-2には、立体カメラ20-1で撮像された空間(実体空間JK-1)を再生した再生空間SK-1が表示される。
一方、実体空間JK-2に存在するメンバー(この例では一人)が立体カメラ20-2に撮像されることによって得られる三次元情報が、デジタル通信網NWを介して三次元表示ディスプレイ30-1に送信される。これにより、三次元表示ディスプレイ30-1には、立体カメラ20-2で撮像された空間(実体空間JK-2)を再生した再生空間SK-2が表示される。
ここで、本実施形態の要素セルについて図5を用いて説明する。図5は、三次元表示ディスプレイ30から観察対象とする物体までの距離と、その物体を再現する際に生じるボケの大きさとの関係を示す特性図である。図5の横軸はディスプレイからの距離を示す。図5の縦軸はボケの大きさを示す。
一般に、ピント調整を可能とするディスプレイでは、図13に示すように、観察者は、ディスプレイ面を通して、その前後の空間を観察しており、再生すべき点物体である再生点から広がる光と同じ方向の光線が観察者の瞳より小さなサイズで再現されると観察者は、あたかも空間に点光源があるかのように観察することができる。
しかしながら、ディスプレイから再生される光線は、厳密には、図14に示すように様々な原因で広がりをもった光となり、それが再生像にボケが生じる要因となる。特に、光線の方向を決めるディスプレイの要素セルが小さい場合、要素セルを開口とする回折の影響によって、光は開口の外側に回り込んで広がりボケを生じることになる。
開口による回折の広がりは、ディスプレイ面から離れた位置ではフラウンフォーファ回折として近似でき、円形開口の場合、その広がり角はエアリーディスク(回折パターンの中心に生じる明るい領域)の大きさから求めることができる。すなわち円形開口から離れた遠視野にできる最小の暗環と光軸との隔たりを、光軸と平行で円形開口の端面を通る光線の広がり角θで表わすと、以下のように表現することができる(図15参照)。ここで、(式1)におけるλは光の波長、dは円形開口の直径である。
θ=1.22×λ/d ・・・・(式1)
上記のような開口は、光線の方向を定義するディスプレイ上の面積の単位となる。このような単位を「要素セル」と呼称する。要素セルは、例えばマイクロレンズアレイを用いるライトフィールドディスプレイ(図19)では、1つのレンズが要素セルに相当する。また、液晶パネルなどを重ねたスタティックディスプレイ型のライトフィールドディスプレイ(図20)の場合、使用するディスプレイの画素が要素セルになる。
ライトフィールドディスプレイでは、要素セル毎に光線の方向を制御するため、ピント調整の機能を持たせるためには、要素セルは観察者の瞳より十分に小さい必要がある。一般に人の瞳のサイズは2~8mm程度である。このため、要素セルのサイズを0.3mmとし、光の波長を500nmとすると、(式1)より光線の広がり角は、以下で表現される。
θ=1.22×500×10-6/0.3
≒2.03×10-3(rad)
≒0.12(度)
つまり、図15で円形開口を有する面からの距離L=3.6m離れた位置における、0.3mmの要素セルを通過した光線によるボケの大きさは、3600×tan(0.12°)×2≒15(mm)となり、約15mmの長さのボケが広がることになる。例えば、3.6m離れた位置での人物の顔に対して、15mm程度のボケが生じたとすると、人物としての認識はできるが、表情を読み取ることは難しくなる。
一般に、視力1.0の人は、裸眼で1/60度の角度の分解能をもつ。これと同等の回折による広がり角θとなる要素セルのサイズdは、波長を500nmとすると、(式1)より、以下で表現することができる。
d=1.22×500×10-6/tan(1/60°)×2
=4.2mm
同様に、自動車免許の条件である視力0.7の人と同等の1/60/0.7度の角度の分解能をもつ、ボケを生じる要素セルのサイズは2.9mmとなる。眼鏡が不要な最低の視力は視力0.3であり、この条件における同様の計算により求められる、ボケを生じる要素セルのサイズは1.2mmとなる。視力0.2の条件において、ボケを生じる要素セルのサイズは0.8mmとなる。このことから観察して許容できるボケに抑えるためには、少なくとも0.8mm以上の要素セルのサイズdが必要と言える。
ここで、図5に、要素セルのサイズdをパラメータとし、ディスプレイからの距離Lと回折によるボケの大きさの関係を示す。要素セルのサイズdは、図15におけるdに相当する。すなわち、上記で計算した要素セルのサイズdであり、条件に応じて、d=4.2mm、2.9mm、1.2mm、又は0.8mmと算出されたサイズに相当する。
図5に示すように、ディスプレイからの距離(L)が同じであれば、要素セルのサイズ(d)が大きいほど、ボケの大きさが小さくなることが分かる。これは(式1)でdが大きくなれば広がり角θが小さくなることを反映している。
ここで、要素セルを配置する間隔(ピッチp)について、図6を用いて説明する。図6は、三次元表示ディスプレイ30から観察対象とする物体までの距離と、再現された物体を見る観察者の網膜上の分解能(錯乱円直径)との関係を示す特性図である。図6の横軸はディスプレイからの距離を示す。図6の縦軸は錯乱円直径を示す。
一般に、人の瞳の大きさは2~8mm程度であり、この中に複数の光線を通過させて目のピント調整を実現する。このようなピント調整を実現するためには、少なくとも瞳内に2つ以上の要素セルからの光線が入るような要素セルの間隔(ピッチp)で配置されることが必要となる。より自然なピント調整を実現するには、瞳内に入射する光線数(要素セルの数)は多いほうが望ましい。つまり、要素セルの数を増やすために要素セル間の間隔(ピッチp)を小さくすることが望ましい。
図6に示すように、観察者から物体までの距離(L)が同じであれば、要素セルのピッチ(p)が小さいほど、錯乱円直径が小さくなることが分かる。人の網膜上の視細胞の間隔は約10μm(0.01mm)であることから、これより良い分解能(より小さい錯乱円直径)を持つためには、距離1.2mより遠い物体であれば、約0.4mm以下の要素セルのピッチpが必要であることが分かる。
また、0.5m離れた距離で24インチのXGA(Extended Graphics Array:1990年にIBM社が発表した規格)のディスプレイ程度の解像度(網膜上で30μm(0.03mm)程度の錯乱円直径)まで許容できる用途であれば、距離1.2mより遠い物体であれば、要素セルのピッチpを、1.2mm以下で配置すればよいことが分かる。
以上を総合すると、社会距離(ディスプレイから約1.2mから3.6m程度までの距離の範囲)をとってコミュニケーションを行うのであれば、要素セルのサイズdが0.8mm以上、かつ要素セルのピッチpが1.2mm以下であれば、実用上支障のないコミュニケーションが可能になる。
なお、図6の横軸は観察者から物体までの距離であるが、察者が装置のディスプレイ面に対してどの距離から観察するかは、設計時には判らない。このため、設計時においては、観察者がディスプレイ面に最も近づいた場合、つまり観察者から物体までの距離をディスプレイ面から物体までの距離として計算を行うこととする。
図7は、要素セルのサイズdより、要素セルのピッチpが大きい(p≧d)場合の略図である。これは、上述した、要素セルのサイズdが0.8mm以上、かつ要素セルのピッチpが1.2mm以下の一例である。この場合、p≧dの関係にあることから、要素セル同士が重なることがない。このため、回折格子パターンも重ならずに独立している。
図8は、本発明によるディスプレイによって、点物体を物点A’として再生した場合の概念図である。各要素セルは、ディスプレイ面において、物点A’から出た光の方向を再現する。図面の上方の様々な方向から観察すると、観察者はそれぞれの方向からあたかも物点A’が存在するように見ることができる。
本実施形態では、図6で説明したように、要素セルのピッチpは瞳の大きさに対して十分に小さいことを前提とする。また、図5で説明したように、要素セルのサイズdは回折によるボケが少ないサイズとすることを前提とする。このため、観察者OBには、輻輳、ピント調整、両眼視差などの立体視に必要な条件が矛盾なく再現される。したがって、観察者OBに眼精疲労を覚えさせることがない。すなわち、ディスプレイ面に近接していない、ディスプレイ面から離れた空間であっても、自然で違和感のない空間を再現することが可能になる。
一方、図8に示すように、各要素セルから射出する光線は、要素セルのサイズ(d)+回折による広がり(Δα)の幅をもつ。そのため、ディスプレイ面から遠い空間を観察する場合には問題ないが、ディスプレイ面から近い物体を観察する場合、物体の解像度が低下することになる。
この対策として、幾つかの方法が考えられる。例えば、図9に示すように、要素セルから再生する光線の明るさの分布を特徴的な分布とすることが考えられる。図9は、要素セルから再生する光線(再生光)の明るさの分布の一例を示す図である。図9の上側は要素セル内の位置と、再生光の明るさとの関係を示す特性図である。図9の下側は要素セルから射出する再生光の明るさの分布のイメージを示す模式図である。
図9に示すように、要素セルから再生する光線の明るさを、中心を明るくすると共に、中心から周辺に向かうにしたがっては暗くなるような分布とする。このようにすることで、再生される物体の解像度を向上させることが可能になる。このような光線の明るさ分布を作ることには、要素セルに記録する干渉縞パターンの透過率が、中心部から周辺部にいくほど低下するように要素セル内で回折効率の変化をつけることで実現できる。
また、解像度の低下を防ぐ方法として、図10に示すように、各要素セルから再生される再生光の光線による物点A’’のサイズを調整することが考えられる。すなわち、要素セルとして、ディスプレイ面に物点A’’から発散した球面波、つまり物点からの波面と参照光との干渉縞を記録した要素セルを形成する。これにより、図10に示すように、各要素セルから再生される光線による物点A’’のサイズを、要素セルのサイズdの回折限界まで小さくすることが可能になる。
これを実現する方法として、例えば、要素セルごとに計算したCGH(Computer-Generated Hologram;計算機ホログラム)を使用する方法がある。この方法では、物体からの光が要素セルの位置に到達した際における、波面と参照光とのホログラムを計算する。この方法では、要素セルごとの演算を実行すればよい。このため、後述するような、通常のCGHの計算と比較して演算量が少なく、また並列演算も可能であり高速な演算が可能となる。
この場合、一つの要素セルだけでもピント調整の機能を満たすことが可能になる。そのため、要素セルのピッチpが1.2mm以上であっても、自然な立体視が可能になる。しかしながら、観察者OBの視点移動に伴って、像をなめらかに変化させるためには、要素セルのピッチpが瞳のサイズ以下であることが望ましい。このため、要素セルのピッチpは少なくとも7mm以下、望ましくは2mm以下であることが望ましい。すなわち、要素セルを、物体からの球面波を記録したホログラムとした場合、要素セルのサイズdを1.2mm以上(視力0.5相当)、要素セルのピッチpを2mm以下とすることで、より高解像度の立体像を観察することができる。
図10の方法で複数の物体を再生した場合の様態を、図11を用いて説明する。ディスプレイ面の各要素セルには、物体の表面における各点から発散した球面波と参照光との干渉縞が記録されている。ディスプレイ面から比較的近くに存在する物体B’からは、近くの光点から発散した球面波が再生される。一方、ディスプレイ面から比較的遠くに存在する物体C’からは、遠くの光点から発散した球面波が再生される。このように、ディスプレイ面から物体までの距離によって波面は異なって記録される。
本実施形態では、物体の表面における各点から発散した球面波と参照光との干渉縞を、立体カメラ20を通してデジタル化する。これは、従来のデジタルホログラムと同様であるが、本実施形態では、物体をサンプリングする点に特徴がある。すなわち、図11に示すように、物体をサンプリングする点を、各要素セル位置からΔαの角度で分解されたポイントとする。
これにより、従来のデジタルホログラムでは、μmオーダのサンプリングピッチで波面を計算する必要があるのに対して、本実施形態の手法では数mmから数cmのピッチでサンプリングすればよくなる。したがって、従来の手法において必要とされていた膨大な計算量を低減させることが可能となる。
また、本実施形態の手法では、ディスプレイ面から離れれば離れるほど、サンプリングする間隔(サンプリングピッチ)が広がる。このため、本実施形態の手法は、ディスプレイ面から離れた広い空間を再現するのに適した方法となる。
ホログラフィックステレオグラムでは、光線の方向を再現するように立体像が作られる。このため、物体を複数の方向から撮影した画像から三次元画像を表示するためのデータを作成することが可能である。したがって、様々な方法で研究されているCG(コンピュータグラフィックス)の手法を用いて、光沢のある物体や透明な物体など、物体の形状のみならず、そのテクスチャを再現することが可能である。さらに、実際の物体を撮像することで、実物の物体における立体像を再生することも可能となる。
例えば、CG手法の一つである光線追跡法を適用してホログラムのパターンを計算する方法を、図12を用いて説明する。まず、各要素セルの中心を、光線追跡法によって射出される光線の始点とする。次に、各要素セルの中心を始点として光線追跡法を行い、光線と被写体となる物体との交点を求める。これにより、要素セルごとに異なる視点位置からの点光源の集合を持つことになり、上下左右の視差を持つ要素セルのパターンを作成することが可能となる。なお、ここでの物体(被写体)は、立体カメラ20で撮像された情報から得られる三次元情報に基づいて作成された三次元物体であってもよいし、CAD(computer-aided design)などを利用して作成された仮想的な(バーチャルな)物体であってもよい。また、この計算の際に光線の方向のみを考慮した場合、図8に示すような光線による再生となる。一方、この計算の際に光線の方向、及び物点までの距離の両方を考慮した場合、図10や、図11に示すような光線による再生となる。
ここで、実施形態の三次元表示ディスプレイ30が行う処理の流れを、図16のフローチャートを用いて説明する。図16には、光線の方向と物点までの距離まで考慮した場合のホログラムのパターンの計算処理の流れが示されている。
まず、三次元表示ディスプレイ30は、ディスプレイに表示すべき物体の三次元情報を取得する(ステップS10)。次に、三次元表示ディスプレイ30は、演算すべき要素セルの中心の位置を求め(ステップS11)、要素セルの中心位置を始点とし、始点から射出されΔαずつ角度が異なる各線と物体との交点を求める(ステップS12)。そして、三次元表示ディスプレイ30は、各物体との交点を物点とし、各物点から発散する球面波の要素セル位置における複素振幅の和を求める(ステップS13)。なお、ここで求められる複素振幅は、要素セルの大きさの範囲でよい。
三次元表示ディスプレイ30は、以上の工程(ステップS11~S13までの工程)を全ての要素セルについて行う(ステップS14、S17)。
その後、三次元表示ディスプレイ30は、全ての要素セルの複素振幅の和を求めることでディスプレイ面での複素振幅を求める(ステップS15)。次に、三次元表示ディスプレイ30は、参照光の波面とディスプレイ面での複素振幅との干渉縞のパターンを求める(ステップS16)。これにより、三次元表示ディスプレイ30は、ディスプレイに表現するホログラムのパターンを求めることができる。
上述したフローチャートに示す処理では、要素セル毎の干渉縞パターンの和を求めるのではなく、複素振幅の和を求め(ステップS15)、その後に、参照光との干渉縞パターンを演算する(ステップS16)。こうすることで、三次元表示ディスプレイ30は、物体の三次元画像を、光線の方向及び物点までの距離の両方を含めた情報として記録、再生することができる。
なお、上述したフローチャートに示す処理では、要素セルの複素振幅の和を計算した後に、参照光との干渉パターンを計算したが、これに限定されることはない。三次元表示ディスプレイ30は、要素セル毎に参照光との干渉パターンを求めた後に、各干渉パターンの和を演算するようにしてもよい。この場合、三次元表示ディスプレイ30は、要素セル毎に演算を実行することができる。このため、並列演算が容易になり、演算に要する時間をより短時間とすることができる。
また、記録する立体像(物体の三次元情報)は、水平方向の視差のみを考慮したステレオグラムでもよいが、ピント調整の効果をより効果的するためには、水平方向と鉛直方向の両方向の視差をもったステレオグラムである方が望ましい。また、上述した実施形態では、要素セルとして円形のセルを例示して説明したが、これに限定する必要はない。要素セルの形状は、三角形、四角形、五角形、六角形などの多角形の形状であってもよいし、星型、楕円、長方形などの形状であってもよい。
また、ホログラフィックステレオグラムを再生する光源としては、レーザーやLEDなどの単色の光源、もしくは通常の光源とフィルターを組み合わせた光源を用いることが望ましい。波長による回折角の違いに起因するボケの発生を抑えるためである。
また、光源としてレーザー光源を用いた場合、コヒーレント性を落とす工夫をすることが望ましい。スペックルによるノイズを低減させるためである。レーザー光源のコヒーレント性を落とすには、光ファイバーを透過させる、光源を振動させる、光路長を変化させる、動きのある拡散要素を光路内に挿入する、複数の光源を組み合わせるなどの方法が考えられる。
上記では、社会距離として、おおよそ1.2m程度から3.6m程度まで距離を対象としてきたが、空間において再生される全て物体がこの距離の範囲内に存在する必要はない。主に観察対象となる物体が、少なくともこの社会距離の範囲に存在していればよい。また、再生される対象(物体)としては、人に限定されるものではなく、動物やロボットなどであってもよい。また、再生される対象(物体)が、空間に再現された2次元の画像であってもよい。さらには、コミュニケーション対象の存在を示唆するような建築物、例えば、空間に配置された机や椅子、テーブルなどを再現するものであってもよい。さらには、再生される対象が、コミュニケーションを直接取るものでなくてもよい。例えば、重機を遠隔操作する際の観察対象となる地山などが、社会距離の範囲に存在している形態であっても構わない。遠隔手術や、宇宙空間におけるロボットアームの操作、軍事などにおける無人偵察機の操作などを行う場合も同様である。
図5や図6を用いて説明したように、空間の奥行きが3.6mを超えた場合であっても本発明を用いればボケが少なく広い空間を再生することが可能になる。例えば、景色などの広い空間や建物や大きな動植物など巨大な物体を含む空間を表現するために、社会距離を超えた空間の表現にも本発明は利用することが可能である。
また、接眼レンズなどの光学系を介してディスプレイを観察する場合、要素セルのサイズd、及び要素セルのピッチpの条件を、光学系の倍率に基づいて補正するようにしてもよい。例えば、ディスプレイからの距離が、おおよそ1.2m程度から3.6m程度までの社会距離で、接眼レンズなしのとき要素セルのサイズdを1.0mm、要素セルのピッチpを1.2mmとする場合を考える。この場合において、ヘッドマウントディスプレイなどに本実施形態を応用し、ヘッドマウントディスプレイなどに装着される接眼レンズの倍率が2倍であった場合、三次元表示ディスプレイ30は、要素セルのサイズdを1.0/2=0.5mm、要素セルのピッチpを1.2/2=0.6mmに補正する。逆に、縮小光学系を用いて光学系の倍率を0.5とする場合、三次元表示ディスプレイ30は、要素セルのサイズdを1.0/0.5=2.0mm、要素セルのピッチpを1.2/0.5=2.4mmとなるように補正する。
すなわち、補正後のサイズd#、補正後のp#は以下の式で表現される。以下の式において、dは補正前のサイズ、pは補正前のピッチ、BRは接眼レンズなどの光学系の倍率を示す。
d#=d/BR
p#=p/BR
なお、接眼レンズなどを用いずに直接ディスプレイ面を観察する場合、輻輳の効果を得るために両眼で同時に観察できることが望ましい。平均の眼間距離が約60mmであることから、ディスプレイ面のサイズは、少なくとも長軸方向において60mm以上あることが望ましい。
(実施形態の変形例)
ここで、実施形態の変形例について説明する。本変形例では、仮想的な物体(以下、仮想物体)を再生空間に再現させる点において、上述した実施形態と相違する。仮想物体は、例えば、バーチャルなキャラクターなどである。
図17は、実施形態の変形例における三次元空間表示システム1Aの構成を示すブロック図である。三次元空間表示システム1Aは、例えば、通信部10と、三次元表示ディスプレイ30とを備える。すなわち、本変形例において立体カメラ20を省略することが可能となる。
通信部10は、外部から仮想物体の三次元情報を取得する。仮想物体には、観察対象となる物体のみならず、背景など、再現する空間の三次元情報が含まれる。三次元表示ディスプレイ30は、通信部10を介して取得した、仮想物体の三次元情報を用いて、例えば、その仮想物体が社会距離に存在する空間を再現して表示する。
或いは、三次元表示ディスプレイ30は、仮想物体の三次元情報を作成する機能部を備えるようにしてもよい。或いは、本変形例の三次元表示ディスプレイ30は、予め記憶部36に記憶されている仮想物体の三次元情報を用いるようにしてもよい。この場合、三次元空間表示システム1において、通信部10を省略することができる。
図18は、実施形態の変形例における三次元空間表示システム1Aが適用される例を説明する図である。図18では、例えば図17で示した構成により生成した仮想物体の三次元画像が再生像SIM(この例では、再生像SIM1~SIM7)として存在する再生空間SKを、ディスプレイに表示することができる。このように、本変形例の三次元表示ディスプレイ30を用いることで、バーチャルな空間に作られた人物やキャラクターなど実在しない相手や、他システムから送られたコミュニケーション相手のアバター等と、社会距離がとれる奥行きのある社会距離空間において、より自然なコミュニケーションを取ることができる。
本変形例におけるコミュニケーションの手段は、特定の手段に限定されるものではない。例えば、三次元空間表示システム1Aが、キャラクターとコミュニケーションをとる手段に適用されてもよい。ここでのキャラクターは、仮想物体として表示されるバーチャルなキャラクターである。
この場合、三次元空間表示システム1は、例えば、ライブカメラと、キャラクターに所定のリアクションを取らせた三次元空間画像を表示させる信号処理を行うプロセッサとを備える。ライブカメラはユーザを撮影する。プロセッサは、ライブカメラによって撮影された映像から当該ユーザのジェスチャーを認識し、当該ジェスチャーに基づいて、キャラクターに取らせるリアクションを決定し、決定したリアクションを取らせたキャラクターの画像を表示させる。これにより、ジェスチャーを通じて当該キャラクターとコミュニケーションをとることが可能となる。
或いは、三次元空間表示システム1Aが、マイクと、スピーカーと、キャラクターに所定のリアクションを取らせた三次元空間画像を表示させる信号処理を行うプロセッサとを備える。マイクにはユーザの音声が入力される。プロセッサは、当該マイクから入力されたユーザの音声に応じて当該音声の返答を決定し、決定した返答をスピーカーから出力させる。また、プロセッサは、ユーザの音声に応じてキャラクターに取らせるリアクションを決定し、決定したリアクションを取らせたキャラクターの画像を表示させる。これにより、音声を通じて当該キャラクターとコミュニケーションをとることが可能となる。
また、本変形例において、仮想物体は、CG(Computer Graphics)ではなく、予め立体カメラ等で撮影しておいた実写の動画像であってもよい。このような場合であっても、上述したようなユーザからのジェスチャーや音声などの入力に応じて、リアクションとして再生する動画像を切り替えることで、仮想物体とインタラクション(コミュニケーション)することが可能となる。
また、三次元空間表示システム1Aが再生(表示)する仮想物体が静止物体である場合には、三次元表示ディスプレイ30の表示部34として、印刷物などの変化しない(静止した)画像を表示するようにしてもよい。
また、三次元表示ディスプレイ30の表示部34が表示する画像は、電子線描画装置などの微細なパターニング装置を用いてホログラムパターンが描画された画像、さらには、描画されたホログラムパターンが複製された画像であってもよい。このように、表示する画像として固定されたホログラムパターン(静止画像)を用いることで、安価に広い空間を再現することが可能になる。なお、この場合、表示部34がホログラムパターンによって光の方向を制御する。表示部34は、各要素セルが射出する光線によりホログラムパターンを少なくとも虚像または実像のいずれか一方として表示する。このため、表示機能と光制御機能とが一つのデバイスで実現されることになる。このような場合、仮想物体として表示されるバーチャルなキャラクターにリアクションを取らせることはできなくなるが、上述のように疑似的に仮想物体との音声によるコミュニケーションを成立させることは可能である。なお、表示部34と共に、又は表示部43に代えて光制御部35が、固定されたホログラムパターン等の静止画像を表示するようにしてもよい。表示部34は、「立体像表示部」の一例である。光制御部35は、「立体像表示部」の一例である。また、ホログラムパターンが描画された画像は、「立体像」の一例である。描画されたホログラムパターンが複製された画像は、「立体像」の一例である。
以上、説明したように、実施形態の三次元表示ディスプレイ30は、再生空間に立体像を再生させる場合における前記立体像から仮想的に射出される光線を再生する。
実施形態の三次元表示ディスプレイ30は表示部34、又は/及び光制御部35を備える。表示部34、又は/及び光制御部35は「立体像表示部」の一例である。表示部34、又は/及び光制御部35は、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により立体像を少なくとも虚像または実像のいずれか一方として表示する。表示部34、又は/及び光制御部35は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示する。また、三次元表示ディスプレイ30では、要素セルのサイズd、及び要素セルのピッチpは、再生空間に再現される立体像が観察者に観察される度合いに応じて決定される値である。立体像は、再生空間おける奥行き方向の距離が社会距離に相当する領域に再現される。
これにより、実施形態の三次元表示ディスプレイ30は、再生空間において社会距離にある立体像が観察者OBによく見えるように、要素セルのサイズd、及び要素セルのピッチpを決定することができる。したがって、社会距離空間を、自然な距離感が得られ、且つボケが少ない三次元空間として再生することができる。
また、実施形態の三次元表示ディスプレイ30は演算部31又は/及び制御部32を備える。演算部31又は/及び制御部32は、「信号処理部」の一例である。演算部31又は/及び制御部32は、要素セル集合の各要素(要素セル)について、再生する光線の方向を演算する。要素セルは、再生画面に対応して二次元的に配置される。要素セルには、立体像の表面から射出される複数の前記光線からなる集合を、各々の光線が到達する再生画面の位置に応じて分割した各要素が対応づけられる。これにより上述した効果と同様の効果を奏する。
また、実施形態の三次元表示ディスプレイ30では、要素セルのサイズdは再現された立体像に生じるボケの大きさに応じて決定される。これにより、許容できるボケの大きさに抑えられるように要素セルのサイズdが決定されるため、ボケの少ない立体像を再生することができる。
また、要素セルのピッチpは、再現された立体像を観察する観察者の網膜上の分解能に応じて決定される。これにより、ピント調整ができるように要素セルのピッチpが決定されるため、観察者OBがピントを合わせることが可能な立体像を再生することができる。
上述した実施形態における三次元空間表示システム1(1A、100)、及び三次元表示ディスプレイ30の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1、1A、100…三次元空間表示システム、10…通信部、20…立体カメラ、30…三次元表示ディスプレイ(光線再生装置)、31…演算部(信号処理部)、32…制御部(信号処理部)、33…光源部、34…表示部(立体像表示部)、35…光制御部(立体像表示部)、36…記憶部

Claims (11)

  1. 再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する光線再生装置であって、
    前記立体像の表面から射出される複数の前記光線が到達する再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部、
    を備え、
    前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
    前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である、
    光線再生装置。
  2. 前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する1以上の前記光線の成分を演算する信号処理部を更に備える、
    請求項1に記載の光線再生装置。
  3. 前記要素セルのサイズは、再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示させる場合において、当該表示される前記立体像に生じるボケの大きさに応じて決定される、
    請求項1又は請求項2に記載の光線再生装置。
  4. 前記要素セルのピッチは、再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示させる場合に、当該表示される前記立体像を観察する観察者の網膜上の分解能に応じて決定される、
    請求項1から請求項3のいずれか一項に記載の光線再生装置。
  5. 前記要素セルのサイズは、前記要素セルのピッチよりも小さくなるように決定される、
    請求項1から請求項4のいずれか一項に記載の光線再生装置。
  6. 前記要素セルのサイズは、0.8mm以上である、
    請求項1から請求項5のいずれか一項に記載の光線再生装置。
  7. 前記要素セルのピッチは、1.2mm以下である、
    請求項1から請求項6のいずれか一項に記載の光線再生装置。
  8. 前記要素セルは、立体像からの波面を記録したホログラムである、
    請求項1から請求項7のいずれか一項に記載の光線再生装置。
  9. 請求項1から請求項8のいずれか一項に記載の光線再生装置と
    前記光線再生装置に、立体像の三次元情報を出力する立体カメラと、
    を備える三次元空間表示システム。
  10. 再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備える光線再生装置の光線再生方法であって、
    前記立体像表示部が、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
    前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値であり、
    信号処理部が、前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する1以上の前記光線の成分を演算する、
    光線再生方法。
  11. 再生空間に立体像を表示させる場合における前記立体像から仮想的に射出される光線を再生する、再生画面に対応して二次元的に配置される複数の要素セルからなる要素セル集合に含まれる各要素セルが射出する光線により前記立体像を少なくとも虚像または実像のいずれか一方として表示する立体像表示部を備える光線再生装置のコンピュータを、
    前記立体像の表面から射出される複数の前記光線からなる集合を、前記再生画面の位置に応じて分割し、前記要素セル集合の各要素に前記分割した前記複数の前記光線の各要素を対応づけ、前記要素セル集合の各要素について、再生する1以上の前記光線の成分を演算する信号処理手段、
    として機能させるプログラムであって、
    前記立体像表示部は、前記再生空間における奥行き方向の距離が社会距離に相当する領域に前記立体像を表示し、
    前記要素セル集合における各要素である要素セルのサイズ、及び前記要素セルを二次元的に配置する際の前記要素セルのピッチは、前記再生空間に表示される前記立体像が観察者に観察される度合いに応じて決定される値である、
    プログラム。
JP2020163317A 2020-08-20 2020-09-29 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム Pending JP2022055732A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020163317A JP2022055732A (ja) 2020-09-29 2020-09-29 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
EP21858352.4A EP4202536A4 (en) 2020-08-20 2021-08-19 DIFFRACTION FILM, METHOD OF MANUFACTURING THE SAME, THREE-DIMENSIONAL DISPLAY DEVICE, LIGHT BEAM DISPLAY DEVICE, THREE-DIMENSIONAL SPATIAL DISPLAY SYSTEM, LIGHT BEAM DISPLAY METHOD AND PROGRAM
PCT/JP2021/030292 WO2022039208A1 (ja) 2020-08-20 2021-08-19 回折シートおよび製造方法、並びに3次元表示装置、光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
CN202180050388.4A CN115956214A (zh) 2020-08-20 2021-08-19 衍射片及其制造方法、三维显示装置、光线再现装置、三维空间显示系统、光线再现方法及程序
US18/171,576 US20230204832A1 (en) 2020-08-20 2023-02-20 Diffraction sheet and method for manufacturing the same, three-dimensional display device, light beam reproduction device, three-dimensional spatial display system, light beam reproduction method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020163317A JP2022055732A (ja) 2020-09-29 2020-09-29 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2022055732A true JP2022055732A (ja) 2022-04-08

Family

ID=80998543

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020163317A Pending JP2022055732A (ja) 2020-08-20 2020-09-29 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2022055732A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4253074A1 (en) 2022-03-30 2023-10-04 Seiko Epson Corporation Recording method and recording device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4253074A1 (en) 2022-03-30 2023-10-04 Seiko Epson Corporation Recording method and recording device

Similar Documents

Publication Publication Date Title
US10728532B2 (en) Light projector using an acousto-optical control device
CN107924584B (zh) 增强现实
US8130260B2 (en) System and method for 3-dimensional display of image data
TWI516803B (zh) 近眼視差屏障顯示器
TWI565971B (zh) 近眼微透鏡陣列顯示器
TWI516802B (zh) 近眼光學去迴旋積顯示器
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US20150262424A1 (en) Depth and Focus Discrimination for a Head-mountable device using a Light-Field Display System
CN107924589B (zh) 通信系统
KR20160134714A (ko) 가변 초점 및/또는 객체 인식 기능을 가진 웨어러블 3d 증강 현실 디스플레이
JP2023507867A (ja) 人工現実コンテンツの可変焦点ディスプレイを有する人工現実システム
TWI813098B (zh) 用於新穎視圖合成之神經混合
KR20120090507A (ko) 집적 영상 방식의 입체 영상 표시 장치
JP2022055732A (ja) 光線再生装置、三次元空間表示システム、光線再生方法、及びプログラム
JP2023505235A (ja) 仮想、拡張、および複合現実システムおよび方法
KR20120093693A (ko) 입체영상표시장치 및 그 구동방법
US11659043B1 (en) Systems and methods for predictively downloading volumetric data
JP2018007180A (ja) 映像表示装置、映像表示方法及び映像表示プログラム
JP2002330452A (ja) 立体画像表示装置
JP7322490B2 (ja) 3次元画像表示システム及びその使用方法、並びに3次元画像表示ディスプレイ及びその使用方法、3次元画像表示ディスプレイパターンの計算方法
JP2022533714A (ja) ブレンドモード3次元ディスプレイシステムおよび方法
Pan et al. 3D displays: their evolution, inherent challenges and future perspectives
US20230204832A1 (en) Diffraction sheet and method for manufacturing the same, three-dimensional display device, light beam reproduction device, three-dimensional spatial display system, light beam reproduction method, and program
Hansen et al. Calibrating, Rendering and Evaluating the Head Mounted Light Field Display
CN116762032A (zh) 用于增强现实设备和虚拟现实设备的反向透视眼镜

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230823