JP2023102773A - 温度変化に対する視差光学素子のキャリブレーション装置及び方法 - Google Patents
温度変化に対する視差光学素子のキャリブレーション装置及び方法 Download PDFInfo
- Publication number
- JP2023102773A JP2023102773A JP2023002074A JP2023002074A JP2023102773A JP 2023102773 A JP2023102773 A JP 2023102773A JP 2023002074 A JP2023002074 A JP 2023002074A JP 2023002074 A JP2023002074 A JP 2023002074A JP 2023102773 A JP2023102773 A JP 2023102773A
- Authority
- JP
- Japan
- Prior art keywords
- temperature
- parameter
- correction
- parameter correction
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 28
- 230000008859 change Effects 0.000 title claims description 24
- 238000012937 correction Methods 0.000 claims abstract description 295
- 230000006870 function Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 7
- 238000000611 regression analysis Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009877 rendering Methods 0.000 description 15
- 239000011521 glass Substances 0.000 description 10
- 230000004888 barrier function Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 5
- 230000006903 response to temperature Effects 0.000 description 5
- 238000003491 array Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011900 installation process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241000791900 Selene vomer Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012890 quintic function Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/028—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with means for compensating for changes in temperature or for controlling the temperature; thermal stabilisation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/101—Nanooptics
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】電子装置は、温度区間ごとに他のパラメータ補正モデルを用いてパラメータ補正を行うことにある。
【解決手段】ディスプレイ、ディスプレイから出力される映像に対応する光をユーザのアイボックスに提供する視差光学素子、視差光学素子周辺の温度を測定する温度センサ、視差光学素子のパラメータに対して互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルを格納したメモリ、及び複数のパラメータ補正モデルのうち測定された温度に対応するパラメータ補正モデルに基づいて測定された温度に対応する補正情報を決定し、補正情報に基づいて視差光学素子のパラメータを調整するプロセッサを含む電子装置が提供される。
【選択図】図10
【解決手段】ディスプレイ、ディスプレイから出力される映像に対応する光をユーザのアイボックスに提供する視差光学素子、視差光学素子周辺の温度を測定する温度センサ、視差光学素子のパラメータに対して互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルを格納したメモリ、及び複数のパラメータ補正モデルのうち測定された温度に対応するパラメータ補正モデルに基づいて測定された温度に対応する補正情報を決定し、補正情報に基づいて視差光学素子のパラメータを調整するプロセッサを含む電子装置が提供される。
【選択図】図10
Description
以下の開示は、温度変化に対する視差光学素子のキャリブレーション装置及び方法に関する。
立体映像を認知するための要因のうち最も支配的な要因は、ユーザの両眼に見える映像の差である。ユーザの両眼に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色(primary color)の波長を相違させた波長分割などを用いて映像をフィルタリング(Filtering)するメガネ方式や、パララックスバリア(parallax barrier)、レンチキュラレンズ(lenticular lens)、又は、方向性バックライトユニット(directional BLU)など、3D変換装置を用いて各映像を特定の視点だけで見ることを可能にする裸眼式がある。
裸眼式の場合、メガネ着用の不便性を減らすことができるという長所がある。裸眼式で3D映像のクロストーク(crosstalk)を抑制するためには、ユーザの両眼に3D映像を正確に照射する必要がある。3D表示装置及び3D変換装置の生産過程又は設置過程などで設計値とは異なる誤差が発生する場合、映像品質が低下する恐れがある。
一実施形態に係る電子装置は、温度区間ごとに他のパラメータ補正モデルを用いてパラメータ補正を行うことにある。
一実施形態に係る電子装置は、ディスプレイと、前記ディスプレイから出力される映像に対応する光をユーザのアイボックスに提供する視差光学素子と、前記視差光学素子周辺の温度を測定する温度センサと、前記視差光学素子のパラメータに対して、互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルを格納したメモリと、前記複数のパラメータ補正モデルのうち、前記測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定し、前記補正情報に基づいて前記視差光学素子のパラメータを調整するプロセッサとを含む。
前記複数のパラメータ補正モデルに対応する温度範囲は、互いにオーバーラップしていない。
前記プロセッサは、基準温度を超過する第1温度範囲に前記測定された温度が含まれることに基づいて、前記第1温度範囲に対応する第1パラメータ補正モデルに基づいて前記補正情報を決定し、前記基準温度以下である第2温度範囲に前記測定された温度が含まれることに基づいて、前記第2温度範囲に対応する第2パラメータ補正モデルに基づいて前記補正情報を決定することができる。
前記基準温度は、前記視差光学素子のパラメータが非線形に変化する温度区間に基づいて決定され、前記プロセッサは、前記測定された温度が前記基準温度を超過することに基づいて、前記第1パラメータ補正モデルに基づいて前記補正情報を決定し、前記測定された温度が前記基準温度以下であることに基づいて、前記第2パラメータ補正モデルに基づいて前記補正情報を決定することができる。
前記基準温度の値は、摂氏20度以上摂氏30度以下の範囲にあり得る。
前記メモリは、基本温度上限を超過する第1温度に対応する第1パラメータ補正モデル、基本温度下限以下の第2温度に対応する第2パラメータ補正モデル、及び前記基本温度上限と前記基本温度下限との間の基本温度範囲に対応する第3パラメータ補正モデルを格納し、前記プロセッサは、前記測定された温度に基づいて、前記第1パラメータ補正モデル、前記第2パラメータ補正モデル、及び第3パラメータ補正モデルのいずれか1つのモデルを選択し、選択されたモデルに基づいて前記測定された温度に対応する前記補正情報を決定することができる。
前記複数のパラメータ補正モデルのそれぞれは、前記複数のパラメータ補正モデルのうちモデルに対応する温度範囲内で2以上の温度値でキャリブレーションを行うことによって取得された基準パラメータ値に基づいて構築されることができる。
前記複数のパラメータ補正モデルのそれぞれは、前記基準パラメータ値に対応する回帰分析に基づいて取得された温度と補正情報との間の関係を示す関数、及び予め決定された温度ごとにマッピングされた補正情報に対応するマッピング情報のうち少なくとも1つを含むことができる。
前記複数のパラメータ補正モデルのうち少なくとも1つのモデルは、前記複数のパラメータ補正モデルのうち少なくとも1つに対応する温度範囲のうち、非線型温度区間(non-linear temperaturesection)において、第1温度間隔で取得された基準パラメータ値及び前記非線型温度区間とは異なる温度区間で前記第1温度間隔よりも広い第2温度間隔で取得された基準補正値に基づいて構築されることができる。
前記プロセッサは、前記補正情報としてピッチに対する補正値を取得し、前記視差光学素子のピッチパラメータ値に前記補正値を適用することによってパラメータ補正を行うことができる。
一実施形態に係るプロセッサによって行われるパラメータ補正方法は、ディスプレイから出力される映像に対応する光を視差光学素子を介してユーザのアイボックスに提供するステップと、互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルのうち、前記視差光学素子に対して測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定するステップと、前記補正情報に基づいて前記視差光学素子のパラメータを調整するステップとを含む。
前記複数のパラメータ補正モデルに対応する温度範囲は、互いにオーバーラップしていなくてもよい。
前記補正情報を決定するステップは、基準温度を超過する第1温度範囲に前記測定された温度が含まれることに基づいて、前記第1温度範囲に対応する第1パラメータ補正モデルに基づいて前記補正情報を決定するステップと、前記基準温度以下である第2温度範囲に前記測定された温度が含まれることに基づいて、前記第2温度範囲に対応する第2パラメータ補正モデルに基づいて前記補正情報を決定するステップとを含むことができる。
前記基準温度は、前記視差光学素子のパラメータが非線形的に変化する温度区間に基づいて決定され、前記補正情報を決定するステップは、前記測定された温度が前記基準温度を超過することに基づいて、前記第1パラメータ補正モデルに基づいて前記補正情報を決定するステップと、前記測定された温度が前記基準温度以下であることに基づいて、前記第2パラメータ補正モデルに基づいて前記補正情報を決定するステップとを含むことができる。
前記基準温度の温度値は、摂氏20度以上摂氏30度以下の範囲にある。
基本温度上限を超過する第1温度に対応する第1パラメータ補正モデル、基本温度下限以下の第2温度に対応する第2パラメータ補正モデル、及び前記基本温度上限と前記基本温度下限との間の基本温度範囲に対応する第3パラメータ補正モデルを格納するステップをさらに含み、前記補正情報を決定するステップは、前記測定された温度に基づいて前記第1パラメータ補正モデル、前記第2パラメータ補正モデル、及び第3パラメータ補正モデルのいずれか1つのモデルを選択し、選択されたモデルに基づいて前記測定された温度に対応する前記補正情報を決定するステップを含むことができる。
前記複数のパラメータ補正モデルのそれぞれは、前記複数のパラメータ補正モデルのうちモデルに対応する温度範囲に含まれた2以上の温度値でキャリブレーションを行うことによって取得された基準パラメータ値に基づいて構築されることができる。
前記複数のパラメータ補正モデルのそれぞれは、前記基準パラメータ値に対応する回帰分析に基づいて取得された温度と補正情報との間の関係を示す関数、及び予め決定された温度ごとにマッピングされた補正情報に対応するマッピング情報のうち少なくとも1つを含むことができる。
前記複数のパラメータ補正モデルのうち少なくとも1つのモデルは、前記複数のパラメータ補正モデルのうち少なくとも1つに対応する温度範囲のうち非線型温度区間において、第1温度間隔で取得された基準パラメータ値及び前記非線型温度区間とは異なる温度区間で前記第1温度間隔よりも広い第2温度間隔で取得された基準補正値に基づいて構築されることができる。
一実施形態に係るパラメータ補正方法を行うための命令語を含む1つ以上のコンピュータプログラムを格納したコンピュータで読み出し可能な記録媒体において、前記方法は、ディスプレイから出力される映像に対応する光を視差光学素子を介してユーザのアイボックスに提供するステップと、互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルのうち、前記視差光学素子に対して測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定するステップと、前記補正情報に基づいて前記視差光学素子のパラメータを調整するステップとを含む。
本発明によると、一実施形態に係る電子装置は、視差光学素子のパラメータが非線形的に変化する低温区間及び高温区間についても正確なパラメータ補正を行うことができる。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、「第1構成要素」は「第2構成要素」に命名することができ、同様に、「第2構成要素」は「第1構成要素」にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は文脈上、明白に異なる意味を有しない限り複数の表現を含む。本開示において、「含む」又は「有する」などの用語は、説明された特徴、数字、段階、動作、構成要素、部分品又はこれを組み合わせたものが存在するものと指定しようとするものであり、1つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部分品又はこれを組み合わせたものの存在又は付加可能性を予め排除しないものと理解されなければならない。
「少なくとも1つの」のような表現は、構成要素のリスト前にあるとき、構成要素の全体リストを修正し、リストの個別構成要素を修正しない。例えば、「a、b、及びcのうち少なくとも1つ」の表現は、単にa、単にb、単にc、aとb、aとc、bとc、又はa、b、及びcを含むものと理解されなければならない。
異なるように定義さがれない限り、技術的又は科学的な用語を含み、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
図1は、一実施形態に係る視差光学素子のキャリブレーションを行う電子装置を示す。
一実施形態に係る電子装置100は、ユーザに立体映像を提供する。例えば、電子装置100は、両眼ディスパリティ又は両眼視差(binocular disparity)を有する映像をユーザの両眼に提供することができる。両眼視差を有する映像は、ユーザの左眼に提供される第1映像及びユーザの右眼に提供される第2映像を含んでもよい。第1映像及び第2映像で同じオブジェクト及び/又は同じ地点に対応するピクセルは、該当オブジェクト及び/又は該当地点の深度(例えば、ユーザが認識するように定義された及び/又は設定された該当オブジェクトまでの距離)によるディスパリティだけ離隔されてもよい。但し、説明の便宜のために、いずれかのユーザの両眼に立体映像を提供することにおいて、該当ユーザの左眼に対応する第1視点及び右眼に対応する第2視点に映像が提供される例示を説明したが、これに限定されることはない。設計に応じて、2以上の視点映像が提供されてもよく、2以上のユーザに立体映像が提供されてもよい。例えば、電子装置100は、第1ユーザの左眼に対応する第1視点及び第1ユーザの右眼に対応する第2視点に、ピクセルごとの両眼視差を有する映像ペア(image pair)を提供することができる。また、電子装置100は、第2ユーザの左眼に対応する第3視点及び第2ユーザの右眼に対応する第4視点にピクセルごとの両眼視差を有する映像ペアを提供してもよい。
参考として、本明細書において、1つの視点に対応するアイボックス(eyebox)は、該当視点に対応する映像ペアが提供される領域を示す。例えば、アイボックスは、ユーザの視線の高さに対応して決定され、ユーザがアイボックス内で正面を凝視する場合、前述した映像ペアがユーザに見られるようになる。
電子装置100は、ディスプレイパネルを介して映像を出力し、電子装置100の視差光学素子が出力された映像に対応する光を複数の視点に指向させ得る。製造工程の誤差及び/又は公差によってキャリブレーションを経た微細チューニングなしには、ユーザの左眼及び/又は右眼から反対側の目に提供されなければならない映像の一部が観測される可能性がある。上述したように、他の視点で観測されなければならない映像が提供されてしまうことをクロストーク(crosstalk)という。ユーザの左眼に対応する視点で左眼映像のみが観測され、右眼に対応する視点で右眼映像のみが観測されることで、ユーザは正確な深度感を認識し、鮮明な映像を視聴することができる。
一実施形態に係る電子装置100は、前述したクロストークの減少及び/又は除去のために、キャリブレーションを行ってもよい。電子装置100は、ユーザにキャリブレーションのためのパターン映像に対応するキャリブレーションパターン110を提供する。後述するが、電子装置100の視差光学素子によってディスプレイに表示されたパターン映像の各地点から生成された映像光がアイボックスに達する。例えば、アイボックスでは、ディスプレイから視差光学素子を経てアイボックスに達した映像光が組み合せられた形態が視覚的に観測される。キャリブレーションパターン110は、パターン映像に対応する映像光が視差光学素子を経て達したアイボックスで組み合せられて形成された視覚的パターンであってもよい。
電子装置100は、パターン映像に対応するキャリブレーションパターン110を観測したユーザからキャリブレーションのための入力129を受信する。電子装置100は、キャリブレーションのための入力129を受信する場合、該当入力129による視差光学素子のパラメータを調整することができる。電子装置100は、調整されたパラメータによりパターン映像に対応するキャリブレーションパターン110を変更する。ユーザは、パターン映像に対応するキャリブレーションパターン110に対応するキャリブレーションパターンが基準線(例えば、垂直線及び/又は水平線)に整列するまで、前述したキャリブレーションのための操作を繰り返し入力することができる。電子装置100は、キャリブレーションのための操作のための便利な入力インターフェース120を提供できる。例えば、図1において、電子装置100のタッチスクリーンがスライダーバーを出力し、電子装置100は、スライダーバーに対する入力129(例えば、スライダーバーオブジェクトを水平に移動させる入力)を検出する場合に応答して、前述した視差光学素子のパラメータを調整することができる。但し、キャリブレーションパターン110の変更のための視差光学素子のパラメータ調整が、ユーザの手動入力に依存するものに限定することはない。例えば、電子装置100は、ユーザが見ている方向と同じ方向に向かっている別途のカメラを介してアイボックスでキャリブレーションパターン110を観測し、観測された結果に基づいて前述した視差光学素子のパラメータを調整してもよい。
参考として、図1に示すように、車両に装着された電子装置100は、車両のフロントガラス(windshield glass)を介してコンテンツ映像及び/又はパターン映像を投射することによりユーザに提供することができる。フロントガラスを用いたヘッドアップディスプレイについては、下記の図2を参照して説明する。
図2は、一実施形態に係る電子装置がヘッドアップディスプレイを含む例を示す。
キャリブレーションシステム200は、ユーザ290に視差光学素子のキャリブレーションを提供するシステムであって、例えば、電子装置210(例えば、図1に示す電子装置100)が装着された機器であってもよい。
電子装置210は、プロセッサ212及びヘッドアップディスプレイ213を含む。また、電子装置210は、目検出器217を含んでもよい。
プロセッサ212は、レンダリングされたパターン映像を、ヘッドアップディスプレイ213を介して出力することにより、ユーザ290にパターン映像を提供することができる。プロセッサ212は、キャリブレーションの間、ユーザの入力及び/又はアイボックス291に配置された別途のカメラ(図示せず)における観測結果に応じて調整されたパラメータにより、パターン映像を再びレンダリングして提供してもよい。プロセッサ212は、キャリブレーションが完了した後、固定されたパラメータ(例えば、キャリブレーション完了に応答して取得されたパラメータ)を用いてコンテンツをレンダリングすることで生成されたコンテンツ映像を出力することができる。後述する視差光学素子がコンテンツ映像に対応する映像光を指向させることで、指向された映像光がアイボックスで組み合せられる。コンテンツ映像に対応する映像光の組み合せは、アイボックスでコンテンツとして視覚化されてアイボックスに位置しているユーザによって観測され得る。
コンテンツは、例示的に、運行に関する情報を含んでもよく、車両の場合、運転に関する情報(以下、運転情報)は、例えば、経路案内情報(route guidance information)及び走行関連情報(driving related information)を含んでもよい。
ヘッドアップディスプレイ213は、ユーザ290の前方に位置するユーザ290の可視領域に立体映像を視覚化することができる。例えば、ヘッドアップディスプレイ213は、ユーザ290の前方に配置しているガラス窓(例えば、車両のフロントガラス)にパターン映像を視覚化してもよい。ヘッドアップディスプレイ213は、仮想のプロジェクション平面を形成してもよい。以下、仮想のプロジェクション平面は、仮想イメージ平面250のように示す。仮想イメージ平面250は、ヘッドアップディスプレイ213によって生成されたパターンを含む虚像が表示される平面を示してもよい。ユーザ290は、仮想イメージ平面250に虚像が配置されたものと認識する。参考として、ヘッドアップディスプレイ213及び車両のフロントガラスによる光学系によって、ユーザは、意図するキャリブレーションパターンとは異なる形態のキャリブレーションパターン(例えば、観測されたパターン)が観測された映像230を視聴することができる。例えば、ユーザ290は、アイボックス291で観測された映像230を視聴し得る。観測された映像230は、例示的に、キャリブレーションパターンが意図されるよりも更にブラーがかけられたり、グラデーションが追加されたりした形態を示してもよい。
また、ヘッドアップディスプレイ213は、仮想イメージ平面250に深さを有するコンテンツ映像を視覚化することができる。例えば、プロセッサ212は、オブジェクトが視覚化され得る深さに対応する両眼視差を有する左側映像及び右側映像を含むコンテンツ映像を、ヘッドアップディスプレイ213を介してユーザ290に提供することができる。ヘッドアップディスプレイ213は、仮想領域260内に該当する深さを有するコンテンツを仮想イメージ平面250に視覚化できる。ここで、プロセッサ212は、ヘッドアップディスプレイ213の光学系に基づいて、コンテンツを3次元グラフィック表現でレンダリングする。3次元グラフィック表現は、深さを有する立体的なグラフィック表現を示す。ヘッドアップディスプレイ213は、コンテンツが有する深さに基づいて、左側映像及び右側映像を含むコンテンツ映像を仮想イメージ平面250上に形成し、仮想イメージ平面250を介して左側映像をユーザ290の左眼に、右側映像をユーザ290の右眼に提供することができる。言い換えれば、仮想イメージ平面250には1つの虚像が結像されるが、ヘッドアップディスプレイ213及びフロントガラスによる光学系によって1つの虚像から左側映像に対応する光と右側映像に対応する光とが分離し、それぞれユーザ290の左眼及び右眼に向かうことができる。上述したように、アイボックス291は、左側映像に対応する光及び右側映像に対応する光が達する領域として、ユーザ290の左眼及び右眼に対応する領域を含む。したがって、アイボックス291内でコンテンツを示す左側映像及び右側映像に対応する光がユーザの両眼に個別的に達することにより、ユーザ290は、立体的にレンダリングされたコンテンツの深度感を認識することができる。
一実施形態に係るヘッドアップディスプレイ213は、例えば、画像生成部、フォールドミラー(fold mirror)215及び拡大鏡216(例えば、凹鏡)を含む。画像生成部は、ディスプレイ及び視差光学素子を含む。視差光学素子は、例えば、レンチキュラレンズ及び視差防壁を含む。ディスプレイ装置は、光源214a及びディスプレイ(例えば、ディスプレイパネル214b)を含む。光源214aから放出された光がディスプレイパネル214bを通過した映像光で、ディスプレイパネル214bのうち左側映像に対応する部分を通過した映像光は視差光学素子によりユーザの左眼に向かい、右側映像に対応する部分を通過した映像光はユーザの右眼に向かってもよい。図2に示された観測された映像230は、片目に対応するアイボックスで観測される映像であって、パターン映像に対応する映像光が組み合せられて形成されたキャリブレーションパターンを含む。但し、ヘッドアップディスプレイ213の構成がこれに限定されることなく、設計に応じて、ユーザ290の前方に配置されているガラス窓への投射を介して、虚像が結像する仮想イメージ平面250を形成している複数の構成要素を含んでもよい。
本明細書において、電子装置210が車両に装着された例示を中心に説明するが、これに限定されることはない。例えば、電子装置210は、拡張現実メガネ(AR glass、Augmented Reality glass)及び混合現実(MR、mixed reality)などのように現実と仮想の情報を組み合わせる技術に適用されてもよく、車両の他に、バイク、飛行機、及び汽車のような乗り物に適用されてもよい。
一実施形態に係る電子装置210は、コンテンツの深さを調整することにより、ヘッドアップディスプレイ213によって形成される仮想イメージ平面250が位置変更されなくても連続的な深さを表現することができる。また、電子装置210は、仮想イメージ平面250の位置を変更する必要がないため、ヘッドアップディスプレイ213に含まれている構成要素に対する物理的な操作を要求しない。
ルックダウンアングル(look down angle;LDA)θLDAはユーザの視線が見下ろす角度であって、ディスプレイ装置及び視差光学素子によって形成される仮想イメージ平面250及びアイボックス291間の角度を示す。例えば、ルックダウンアングルθLDAは、アイボックス291が配置している平面と仮想イメージ平面250との間の角度を示す。
一実施形態に係る電子装置210は、ヘッドアップディスプレイ213の温度変化に応じて視差光学素子のパラメータを調整することができる。例えば、電子装置210は、測定された温度に対して決定された補正情報を用いてパラメータを調整し、調整されたパラメータを用いてキャリブレーションパターン及び/又はコンテンツをレンダリングすることにより生成された映像(例えば、パターン映像及び/又はコンテンツ映像)をディスプレイ装置(例えば、ディスプレイパネル214b)を介して出力することができる。後述するが、視差光学素子は、出力された映像に対応する映像光を指向させてアイボックスで組み合せられる形態にユーザに提供することができる。視差光学素子のパラメータ変化については、下記の図7を参照して説明する。
図3は、一実施形態に係る電子装置のブロック図を示す。
一実施形態に係る電子装置300は、ディスプレイ310、視差光学素子320、入力インターフェース330、プロセッサ340、及びメモリ350を含む。また、電子装置300は、目検出器(例えば、図2に示す検出器217)及び別途のカメラ装置(図示せず)を含む。
ディスプレイ310は、パターン映像及び/又はコンテンツ映像を視覚化して出力する。例えば、ディスプレイ310は、電子装置300のプロセッサ340によってレンダリングされた映像を出力することができる。プロセッサ340は、視差光学素子320に対するパラメータを用いてキャリブレーションパターンをレンダリングすることでパターン映像を生成してもよい。プロセッサ340は、コンテンツをレンダリングすることでコンテンツ映像を生成してもよい。ディスプレイ310は、レンダリングされたパターン映像及び/又はレンダリングされたコンテンツ映像を出力する。パターン映像及びコンテンツ映像は、それぞれ複数の視点に対応する映像(例えば、左側映像及び右側映像)が混合した映像である。ディスプレイ310は、出力された映像に対応する光を光源(例えば、バックライトユニット)及び/又は自体の発光を介して生成して後述する視差光学素子320に伝達することができる。例えば、ディスプレイ310は、バイク、自動車、汽車、船(watercraft)、航空機(aircraft)、及び宇宙船(spacecraft)を含む乗り物に搭載されるヘッドアップディスプレイ(HUD、head-up display)の少なくとも一部として実現され得る。
視差光学素子320は、ディスプレイ310から出力される映像に対応する光をユーザのアイボックスに提供する。視差光学素子320は、ディスプレイ310の一面(例えば、前面又は後面)上に配置され、ディスプレイ310に出力された映像に対応する光を複数の視点に指向させる光学素子であってもよい。本明細書において、複数の視点のいずれか1つの視点のアイボックスを主に例にして説明する。例えば、視差光学素子320は、ディスプレイ310に出力された映像のうち、左側映像に対応する部分を通過した光をアイボックス内のユーザの左眼への光の通路に指向させてもよい。同様に、視差光学素子320は、ディスプレイ310に出力された映像のうち、右側映像に対応する部分を通過した光をアイボックス内のユーザの右眼への光の通路に指向させてもよい。視差光学素子320は、レンチキュラレンズアレイ、パララックスバリア、及び方向性バックライトユニットのような光学レイヤを含んでもよい。視差光学素子320によってアイボックスに指向された映像光(例えば、パターン映像及び/又はコンテンツ映像に対応する映像光)が組み合せられることによって、アイボックスで意図した映像(intended image)が観測され得る。意図した映像は、前述したキャリブレーションパターン及び/又はコンテンツを含む映像であってもよい。
参考として、図2を参照して前述した画像生成部は、ディスプレイ310及び視差光学素子320を含む。但し、図2では、車両でフロントガラスを通した立体映像を提供するための例示であって、ヘッドアップディスプレイ213を主に説明したが、これに限定されることはない。ヘッドアップディスプレイ213の鏡215,216は、ディスプレイ310及び視差光学素子320によって生成された映像に対応する光を拡大してユーザに提供し、アプリケーションにより映像の拡大のための光学系は変更されてもよい。例示的に、HUDの設計に応じて鏡が省略されてもよく、平板ディスプレイ(例えば、TV)においては鏡が不要なこともある。以後、説明の便宜のために、図3~図13を参照して説明する映像の拡大のための光学系(例えば、フォールドミラー及び凹鏡)の説明は省略し、主に、ディスプレイパネル及びその前面又は後面に配置している視差光学素子320(例えば、前面に配置されるレンチキュラレンズ又は後面に配置される方向性バックライトユニット)によって、直ちにユーザの目(例えば、左眼)に向かう光の通路を参照して説明する。例示的に、レンチキュラレンズがディスプレイパネルの一面にラミネートされてもよい。但し、これに限定されることなく、アプリケーションにより必要に応じて虚像平面を形成するための光学素子(例えば、鏡)がさらに含まれてもよい。
参考として、上記の図2では、拡大鏡がモータ駆動によって回転する例示について説明したが、これに限定されることなく、前述した光の通路を形成する複数の光学素子のうち少なくとも1つの光学素子がモータにより回転可能に構成されてもよい。モータ駆動によって少なくとも1つの光学素子の移動及び/又は回転によって光の通路が変化され、光の通路の変化によりアイボックス(例えば、図2に示すアイボックス291)の位置が変化する。
前述したディスプレイ310及び視差光学素子320の組み合わせを介して電子装置300はユーザの左眼に左側映像を提供し、右眼に右側映像を提供する。電子装置300は、左側映像でコンテンツの視覚化されたグラフィックオブジェクト、及び右側映像でコンテンツの視覚化されたグラフィックオブジェクトを互いに対して両眼視差(binocular disparity)に基づいて離隔させることで、深さを有するコンテンツをユーザに立体的なグラフィックオブジェクトに視覚化して提供することができる。例えば、前述した映像光が組み合せられてアイボックスにて左側映像及び右側映像が形成されてもよく、左側映像に含まれたコンテンツ及び右側映像に含まれたコンテンツが互いに対して両眼視差を有してもよい。
入力インターフェース330は、ユーザの入力を受信する。一実施形態によれば、入力インターフェース330は、アイボックスでパターン映像を観測したユーザから、視差光学素子320に対するキャリブレーションのための入力を受信することができる。例えば、入力インターフェース330は、タッチパネル、タッチスクリーン、ダイヤル、ジョグダイヤル、シャトルダイヤル、クリックホイール、ボタン、スライダーバー、操作レバーのうち少なくとも1つ又は2以上の組み合わせを含んでもよい。但し、入力インターフェース330の例示を前述したものに限定することなく、回転操作(例えば、ダイヤル)及び/又は直線操作(例えば、スライダーバー)を支援する様々な構造を含むことができる。
本明細書において、パターン映像は、キャリブレーションのためのパターン(以下、「キャリブレーションパターン」)を示すための映像として、キャリブレーションパターンを含む1つ以上のソース映像が視差光学素子のパラメータを用いてレンダリングされた映像を示す。例えば、パターン映像はディスプレイから出力される映像であり、キャリブレーションパターンは、パターン映像に対応する映像光の組み合わせによってアイボックスで観測される映像に含まれるパターンであってもよい。キャリブレーションパターン及びパターン映像は、下記の図4及び図5を参照して説明する。
プロセッサ340は、視差光学素子320の温度変化に応答して視差光学素子320のパラメータを調整する。例えば、プロセッサ340は、複数のパラメータ補正モデルのうち、測定された温度に対応するパラメータ補正モデルを用いて測定された温度に対応する補正情報を決定することができる。パラメータ補正モデルは、温度ごとに実際の測定されたデータをベースに温度による視差光学素子のパラメータの歪みを線型モデリングしたモデルであってもよい。パラメータ補正モデルを用いた算出結果である補正情報は、パラメータの歪みを補償するために使用され得る。補正情報は、個別温度で視差光学素子が有しなければならないパラメータへの補正のための情報として、該当の温度で視差光学素子が有しなければならないパラメータ値(例えば、ピッチ値又は位置オフセット値)(例えば、補正されたパラメータ値そのもの)及び/又は視差光学素子の基準温度(例えば、常温20度)を基準して設定されたデフォルトパラメータを補正するための補正値を含んでもよい。補正値は、個別温度で視差光学素子が有しなければならないパラメータ値と、基準温度で設定されたデフォルトパラメータ値との間の差である。
プロセッサ340は、補正情報を用いて視差光学素子のパラメータを調整する。例えば、補正情報がパラメータ値を含む場合、電子装置は測定された温度のパラメータ値でデフォルトパラメータを代替することができる。異なる例として、補正情報が補正値を含む場合、電子装置は、測定された温度の補正値をデフォルトパラメータに適用(例えば、加算及び/又は減算)することにより補正されたパラメータ値を取得することができる。本明細書では、測定された温度に対する補正情報が補正値を含んでいる例示について主に説明する。
参考として、プロセッサ340の動作を前述したものに限定されることなく、プロセッサ340のより詳細な動作について、下記の図4~図13を参照して説明する。プロセッサ340は、HUD内部の自体プロセッサであるか、HUDを動作させるためのプロセッサであってもよい。視差光学素子320の各パラメータは、下記の図6を参照して説明する。
メモリ350は、キャリブレーションに要求される情報を臨時的又は永久的に格納する。メモリ350は、視差光学素子のパラメータに対して互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルを格納する。例えば、メモリ350は、プロセッサ340によって実行されて下記の図4~図13による動作を行うための命令語を格納してもよい。また、メモリ350は、キャリブレーションされたパラメータ(例えば、ピッチパラメータ、斜め角度パラメータ、位置オフセットパラメータ)を格納してもよい。メモリ350は、プロセッサ340に伴うキャッシュメモリであってもよいが、これに限定されることなく、プロセッサ340から分離した格納媒体であってもよい。
温度センサ360は、視差光学素子周辺の温度を測定する。一実施形態によれば、温度センサ360は、電子装置で視差光学素子が位置する空間内に配置され得る。例えば、温度センサ360は、視差光学素子320を受容するハウジング(例えば、図2に示すヘッドアップディスプレイ213のハウジング)内に受容されてもよい。参考として、本明細書において、温度センサ360の測定単位で摂氏を主に説明するが、これに限定されることはない。
目検出器は、ユーザの目(例えば、左眼及び/又は右眼)の位置を検出する。電子装置300は、ディスプレイ310及び視差光学素子320を介してアイボックスで映像を提供することができる。電子装置300は、キャリブレーションのためのパターン映像をアイボックスに提供する。電子装置300は、前述した目検出器を介してユーザの視線の高さを検出し、視線の高さに基づいてアイボックスの位置を決定することができる。目検出器は、図2に示すように、例示的に、車両の内部を撮影可能なカメラを含んでもよい。目検出器は、ユーザ(例えば、運転者)を含んで、車両内を撮影した映像から目の位置を検出してもよい。但し、これに限定されることなく、電子装置のプロセッサ340が電子装置300と独立した別個の内部カメラによって撮影された内部映像を受信し、受信された内部映像からユーザの目の位置を検出及び/又は追跡してもよい。
電子装置300は、自動キャリブレーションのための別途カメラチャンチを含んでもよい。別途のカメラ装置は、ユーザの両眼が位置するものと予測及び/又は推定されるアイボックスに対応する位置に配置されてもよい。別途のカメラ装置は、視差光学素子320のパラメータのキャリブレーションの間、ディスプレイ310で出力されたパターン映像が視差光学素子320を通過してアイボックスに達した映像(例えば、観測された映像)を撮影する。電子装置300のプロセッサ340は、アイボックスに設置されたカメラ装置により撮影される映像に含まれるキャリブレーションパターンの基準線が整列されるまで視差光学素子の位置オフセットパラメータの調整を自動に繰り返すことで、位置オフセットパラメータのキャリブレーションを行うことができる。例示的に、プロセッサ340は、観測された映像の基準線がキャリブレーションパターンの中心に位置するまで、位置オフセットパラメータのアップデートを繰り返すことができる。キャリブレーションパターンの基準線及び整列については、下記の図6を参照して説明する。
図4は、一実施形態に係る視差光学素子のキャリブレーションのためのソース映像、パターン映像、及び観測された映像を示す。
キャリブレーションシステム400は、電子装置420を含む。電子装置420は、視差光学素子421(例えば、図3に示す視差光学素子320)及びディスプレイパネル422(例えば、図3に示すディスプレイ310のディスプレイパネル)を含む。
電子装置420は、ソース映像に基づいてパターン映像を生成する。ソース映像は、電子装置420に格納されてもよいし、あるいは他の外部装置によって電子装置420に提供されてもよい。ソース映像は、それぞれの視点に対応する。例えば、n個のソース映像のそれぞれは、第1視点~第n視点に個別的に対応する。ここで、nは2以上の整数であってもよい。本明細書において、主にn=2である例示を説明するが、これに限定されることはない。いずれかのユーザの両眼のそれぞれに対応する視点にのみ映像が提供される場合、n=2であってもよい。以下で詳細に説明するが、電子装置420は、パラメータに基づいてソース映像に対応する複数の視点のうち、基準視点に該当する映像が基準視点で観測されるようにパターン映像を生成することができる。例示的に、基準視点は、ユーザの左眼に対応する視点であってもよい。ユーザは、キャリブレーションの間に右眼を閉じ、左眼だけでパターン映像を観測してキャリブレーション手続を行うことができる。基準視点は、アイボックス内に配置されてもよい。
電子装置420は、ディスプレイパネル422を介してパターン映像を表示する。パターン映像は、線型パターンを含むソース映像に基づいて生成されてキャリブレーションパターンを示すパネル映像として理解される。参考として、パターン映像では、キャリブレーションパターンが分割されて表現され、個別視点でパターン映像の分割された部分が視差光学素子を介して組み合せられてキャリブレーションパターンが意図した位置(例えば、アイボックス)で観測され得る。図4に示す観測された映像431,432でキャリブレーションパターンは、厚さをもってブラーされた水平線として示されているが、これに限定されることなく、キャリブレーションパターンは、厚さをもってブラーされた垂直線であってもよい。後述するが、パラメータの種類ごとに水平線型態のキャリブレーションパターン、垂直線型態のキャリブレーションパターンが使用されてもよい。
キャリブレーションパターンは、1つ以上のソース映像に含まれているパターン(例えば、線型パターン)が組み合せわせられたパターンであってもよい。例えば、キャリブレーションパターンは、基準視点に対応するソース映像のパターンを基準にして、他の視点に対応するソース映像のパターンの一部が組み合せわせられたパターンであってもよい。キャリブレーションパターンは、基準視点に対応するソース映像のパターンの全体を含み、基準視点(例えば、第i視点)に隣接する視点(例えば、i-1視点及び第i+1視点)に対応するソース映像のパターンの一部を含むことができる。キャリブレーションパターンで基準視点から遠い視点(例えば、第1視点及び第n視点)に対応するソース映像のパターンは、基準視点に隣接する視点に対応するソース映像のパターンよりも少なく含まれてもよい。人の目は焦点を基準にして鮮明に認識し、周辺領域はぼやけて認識するが、人の目に対応するアイボックスを基準にして設定されるキャリブレーションパターンは、前述した現像を模写して各視点のソース映像の線型パターンが結合されたパターンである。したがって、上述したように各視点で観測された映像431,432で基準視点に対応する線型パターンが比較的に鮮明に示され、周辺視点及び遠い視点に対応する線型パターンは比較的にぼやけて示すことができる。
視差光学素子421は、裸眼式でパターン映像を3D映像に変換することができる。視差光学素子421は、レンチキュラレンズアレイ、パララックスバリア、及び方向性バックライトユニットのような光学レイヤを含んでもよい。図4には、便宜上、視差光学素子421がレンチキュラレンズアレイ及びパララックスバリアの例示としてディスプレイパネル422の前面に位置するものと図示したが、視差光学素子421は、方向性バックライトユニットのようにディスプレイパネル422の後面に位置してもよい。
視差光学素子421は、ディスプレイパネル422に提供される、あるいは、ディスプレイパネル422から出力される光に指向性を付与することができる。指向性光を介して複数の視点(例えば、視聴者の両眼に対応する視点)に互いに異なる映像が照射されてもよく、視聴者は立体感を感じることになる。裸眼式でユーザの両眼に互いに異なる映像正確に照射されなければ、3D映像にクロストークが発生し得る。例えば、電子装置420の生産過程又は設置過程などで電子装置420のパラメータの設計値と実際値との間に誤差が生じると、このようなクロストークが発生する恐れがある。
参考として、第1視点では第1ソース映像を含む1つ以上のソース映像をレンダリングして生成された第1パターン映像に対応する映像が観測され、第n視点では、第nソース映像を含む1つ以上のソース映像をレンダリングして生成された第nパターン映像に対応する映像が観測され得る。第1観測された映像431は、第1パターン映像に対応する光が視差光学素子421を通過して第1視点に達することによって観測される映像を示す。第n観測された映像439は、第nパターン映像に対応する光が視差光学素子421を通過し、第n視点に達することによって観測される映像を示す。いずれかの視点(例えば、基準視点)に対応するパターン映像は、ディスプレイパネル422で該当視点に向かう光が通過する部分として表示される。例えば、パターン映像でキャリブレーションパターンは、ディスプレイパネル422で基準視点に向かう光が通過する部分に分割されて表現されてもよい。キャリブレーションパターンの分割された部分に対応する光は、視差光学素子421を通過して基準視点で組み合せられることで、ユーザは、基準視点でキャリブレーションパターンを観測することができる。参考として、基準視点は、第1目(first eye)(例えば、左眼)に対応する視点であってもよく、アイボックスは、基準視点及び基準視点と対をなす異なる視点(例えば、右眼である第2目に対応する視点)を含むことができる。
一実施形態によれば、電子装置420は、ユーザの基準目の位置を検出することができる。例えば、電子装置420は、電子装置420内に、又は、電子装置420の周辺に設置されている別途のカメラ(例えば、図2に示す視線追跡器217)を介してユーザの目の位置を検出することができる。電子装置400は、検出されたユーザの目の位置に対応する基準視点でパターン映像が観測されるようにレンダリングすることができる。
図5は、一実施形態に係るソース映像及び観測された映像を示す。
第1ソース映像510及び第2ソース映像520は、複数の視点(第1視点~第n視点)に対応する。第1ソース映像510のそれぞれは、対応する視点に応じて異なる位置に水平線型態の線型パターンを含んでもよい。第2ソース映像520は、対応する視点に応じて異なる位置に垂直線型態の線型パターンを含んでもよい。第1ソース映像510は、第1パターン映像の生成のために使用され、第2ソース映像520は、第2パターン映像の生成のために使用される。例えば、電子装置は、第i視点におけるキャリブレーションのために第i視点に対応する第1ソース映像を含む1つ以上のソース映像を、視差光学素子のパラメータを用いてレンダリングすることで、第i視点に対応する第1パターン映像を生成することができる。ここで、iは、1以上n以下の整数であってもよい。異なる例として、電子装置は、第i視点に対応する第2ソース映像を含む1つ以上のソース映像を視差光学素子のパラメータを用いてレンダリングすることで、第i視点に対応する第2パターン映像を生成することができる。
参考として、複数のパラメータのうち、個別パラメータのキャリブレーションのときに該当パラメータがキャリブレーションされているかを判断する上で、容易なキャリブレーションパターンが存在する。第1ソース映像510は、水平線を除いた残り領域に黒い領域を含んでもよい。第2ソース映像520は、垂直線を除いた残り領域に黒い領域を含んでもよい。第1ソース映像510は、ピッチパラメータをキャリブレーションするのに容易であり、第2ソース映像520は、斜め(又は傾斜)角度パラメータをキャリブレーションするのに容易である。ソース映像のうち基準視点に対応するソース映像の線型パターンは、他の視点の線型パターンの色(例えば、白色)とは異なる色(例えば、緑色)に変更されてもよい。
電子装置(例えば、図3に示す電子装置300)は、基準視点で基準視点に対応するソース映像が表現されるようにライトフィールドレンダリング(light field rendering)を介してパターン映像を生成することができる。図5では、基準視点が第1視点であり、第1視点に対してパターン映像がレンダリングされた例示について説明する。パラメータキャリブレーション済みの状態でパターン映像の出力を仮定する場合、ユーザは、基準視点で第1観測された映像519及び第2観測された映像529を視聴することができる。理想的な環境であれば、第1観測された映像519及び第2観測された映像529はそれぞれ基準視点に対応してソース映像が組み合せわせられたキャリブレーションパターンと同一でなければならないが、クロストークが存在する実際の環境では、観測された映像519,529でそれぞれ基準視点に対応するキャリブレーションパターンにグラデーションがさらに追加された形態、又は、キャリブレーションパターンがよりブラーされた形態に観測され得る。参考として、図5では、キャリブレーション済みのパラメータを用いたレンダリングの例示を説明しており、第1観測された映像519でキャリブレーションパターンが水平線(例えば、厚さをもってブラーされた形状の水平線)に観測され、第2観測された映像529でキャリブレーションパターンが垂直線(例えば、厚さをもってブラーされた形状の垂直線)に観測された。キャリブレーションが完了する以前であれば、それぞれの線型キャリブレーションパターンは垂直線又は水平線でない、斜め線型パターンに観測され得る。以下、図6では、前述したキャリブレーションパターンの整列のためのパラメータについて説明する。
図6は、一実施形態に係る視差光学素子のパラメータを説明する。
第1ソース映像610に基づいた第1観測された映像615がユーザによって視聴され、第2ソース映像620に基づいた第2観測された映像615が取得される。参考として、クロストークが含まれて示された図5とは異なり、図6において、便宜のために、第1観測された映像615及び第2観測された映像625は、キャリブレーション済みの状態及びクロストークのない理想的な環境で観測される形態を示している。
電子装置(例えば、図3に示す電子装置300)のパラメータは、視差光学素子651(例えば、図3に示す視差光学素子320)のパラメータに称してもよい。視差光学素子651のパラメータは、ピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータを含む。視差光学素子651のパラメータのうちの厚さは固定されていると仮定する。
ピッチパラメータは、視差光学素子651の単位要素のピッチpを示すパラメータであってもよい。視差光学素子651は単位要素を含む。単位要素はディスプレイ652を介して出力される映像に対応する光に指向性を付与する単位光学素子として、例示的に、パララックスバリアのスリット(slit)及びレンチキュラレンズの単位レンズを含んでもよい。単位要素は、ディスプレイ652の一面上に配置される光学レイヤに対応する平面で一軸に沿って周期的に配置されてもよい。ピッチパラメータは、単位要素の周期的な配置の間隔を示す。図6において、ピッチパラメータは、単位要素の水平方向周期を示す。3D映像内の視点が反復する区間の長さがピッチpにより決定される。ピッチパラメータを介して第1観測された映像615内の線型パターン(例えば、基準線)の斜め(例えば、水平斜め)が調整されることができる。言い換えれば、ピッチパラメータの調整を介してパターン映像に対応する線型キャリブレーションパターンが回転されることができる。
斜め角度パラメータ(slanted angle parameter)は、視差光学素子651の単位要素のディスプレイ652の基準軸に対する斜めを示す。図6において、ディスプレイ652の基準軸は縦軸を示し、斜め角度θは単位要素が縦軸に対して形成している斜めを示す。斜め角度パラメータを介して第2観測された映像625内の線型パターンの斜めが調整され得る。
位置オフセットパラメータは、視差光学素子651及びディスプレイ652間の相対位置を示す。例えば、位置オフセットパラメータは、単位要素の開始位置及びディスプレイ652の開始ピクセル間の位置オフセットsを示す。図6において、位置オフセットsがディスプレイ652の左側上段の開始ピクセルを基準にして、左側の単位要素の開始位置間の水平オフセットとして示されている。電子装置は、位置オフセットパラメータを介して第1観測された映像615内の線型パターンの垂直位置及び第2観測された映像625内の線型パターンの水平位置を調整することができる。但し、図6では、説明の便宜のために位置オフセットsが左側上段の開始ピクセル基準として説明したが、これに限定されることはない。位置オフセットsに対する開始ピクセルは、ディスプレイ652の中心に設定されてもよい。後述するが、開始ピクセルがディスプレイ652の中心に設定されている場合、視差光学素子のパラメータのうちピッチパラメータのみが温度変化時に変化し得る。開始ピクセルがディスプレイ652の左側上段に設定される場合、視差光学素子のパラメータのうち、位置オフセットパラメータ及びピッチパラメータが温度変化する時変化し得る。
一実施形態によれば、電子装置のプロセッサは、ピッチパラメータに対応する第1パターン映像、斜め角度パラメータに対応する第2パターン映像、及び位置オフセットパラメータに対応する第3パターン映像のうちの1つ又は2以上の組み合わせをユーザに提供することができる。第1パターン映像は水平線をそれぞれ含む第1ソース映像に基づいて生成される。第2パターン映像は、垂直線をそれぞれ含む第2ソース映像に基づいて生成される。第3パターン映像は、垂直線及び水平線のうちの1つを含むキャリブレーションパターンで生成される。以下で説明するように、ピッチパラメータは、横パターンを介して他のパラメータと独立的にキャリブレーションすることができる。また、ピッチパラメータがキャリブレーションされれば、斜め角度パラメータは、縦パターンを介して他のパラメータと独立的にキャリブレーションすることができる。電子装置は、第1パターン映像、第2パターン映像、及び第3パターン映像のうち2以上を同時に提供できるが、それぞれの順に1つずつ提供してもよい。参考として、後述するが、本明細書では、ピッチパラメータ及び斜め角度パラメータのキャリブレーション及び/又は調整が完了した後、第3パターン映像を用いた位置オフセットパラメータをキャリブレーション及び/又は調整する動作を主に説明し、後述するパターン映像は、主に位置オフセットパラメータのキャリブレーションのための第3パターン映像を示す。後述するが、温度変化の際にピッチパラメータが主に変化するため、電子装置はピッチパラメータに対応する第1パターン映像を提供することができる。
一実施形態に係るキャリブレーションは、パターン映像に対応して観測された映像の基準線が垂直又は水平しながら映像の中心に位置するように、視差光学素子のパラメータを調整する動作を示す。例えば、キャリブレーションによって第1観測された映像615で基準線は水平であり、映像の中心に配置されている。異なる例として、キャリブレーションによって第2観測された映像625で基準線は垂直にありながら、映像の中心に配置されている。前述したキャリブレーションパターンを用いた手動又は自動キャリブレーションは、基準温度(例えば、常温である摂氏20度)を基準にして実行されてもよく、LF(Light Field)キャリブレーションとも示してもよい。
一実施形態に係る横パターン及び縦パターンを用いた順次的なキャリブレーションの過程は、チェックパターンなどの複雑なパターンを用いたキャリブレーション過程に比べて、低解像度で効率よく行われることができる。横パターンを用いたキャリブレーション及び縦パターンを用いたキャリブレーションが分離して実行されるため、キャリブレーション作業が単純になるからである。裸眼式3D映像技術は、HUD(head up display)のような低解像度デバイスで実現され得る。HUDの場合、一般的なディスプレイ装置に比べて視聴距離が長く、1枚のパターン映像でパラメータを推定するのに解像度が足りない。また、HUD装置を構成している反射屈折光学系(catadioptric system)によって3D映像に歪みが発生し得る。実施形態に係るキャリブレーションは、単純なパターンを介して順次行われるため、このような低解像度デバイスや光学系を含むデバイスでも高い性能を発揮する。
図7は、一実施形態に係る視差光学素子の温度による変化を説明する。
一実施形態によれば、電子装置(例えば、図3に示す電子装置300)は、視差光学素子(例えば、図3に示す視差光学素子320として、レンチキュラレンズアレイ又はパララックスバリア)を用いた裸眼式の3次元ディスプレイを含む。ディスプレイ及び視差光学素子の組み合せは、ヘッドアップディスプレイ(例えば、図2に示すヘッドアップディスプレイ213)のように表現されてもよい。図7では、ディスプレイパネル(例えば、図3に示すディスプレイ310)上にレンチキュラレンズアレイが配置された構造を示している。
電子装置は、レンチキュラレンズアレイに対して基準温度(例えば、常温である摂氏20度)でキャリブレーション(例えば、LFキャリブレーション)に基づいて取得されたパラメータを用いて映像のレンダリングを行ってもよい。但し、ディスプレイパネル上に配置されたレンチキュラレンズアレイの形状が温度変化に応じて変化し得る。レンチキュラレンズアレイの形状変化により、アイボックスの個別位置に対する映像光の指向性が歪む。ディスプレイパネルで同じ映像が出力されても、温度変化に応じてアイボックスに達した映像光が組み合せわせられた映像(例えば、観測された映像)が歪むことがある。言い換えれば、基準温度でのキャリブレーションに基づいて取得されたパラメータは、基準温度ではない異なる温度で誤差を有することがある。例示的に、車両用HUDの場合、車両が室内でない室外に位置しているため、視差光学素子が苛酷な温度変化が存在する。例えば、夏車両室内の温度は100度、及び冬季の車両室内の温度は零下40度に達し得る。温度変化が大きいほど、視差光学素子の形状変化及びキャリブレーションの誤差が増加する。本明細書では車両用HUDを主に説明するか、これに限定されることなく、裸眼式の3Dディスプレイ(例えば、3Dテレビ、3Dタブレット)にも適用されてもよい。
例示的に、電子装置の内部温度が増加する場合、図7の上段に示すように、レンチキュラレンズアレイが膨張する。レンチキュラレンズアレイは、前方向(例えば、上下左右)に膨張する。膨張したレンチキュラレンズアレイ710のピッチパラメータはPeとして示されている。反対に、電子装置の内部温度が減少する場合、図7の下段に示すように、レンチキュラレンズアレイが前方向に収縮する。収縮したレンチキュラレンズアレイ720のピッチパラメータはPsとして示されている。前述した温度変化に応じて、レンチキュラレンズアレイが膨張及び収縮する一方、ディスプレイパネルの大きさは保持される。言い換えれば、温度変化に応じてディスプレイパネル対比視差光学素子(例えば、レンチキュラレンズアレイ)が膨張又は収縮し得る。
本明細書では、位置オフセットがディスプレイパネルの中心を基準にして設定された例示を主に説明する。ディスプレイパネルの中心を基準にしてレンチキュラレンズアレイが膨張又は収縮する場合、図7に示すように、レンチキュラレンズアレイのパラメータのうち斜め角度パラメータ及び開始位置パラメータは、温度変化にもかかわらず変化しない。ピッチパラメータのみが基準温度ではPであり、膨張時にPeに増加し、収縮時にPsに減少する。したがって、温度変化に対応してピッチパラメータのみが補正される必要がある。電子装置は、温度ごとのピッチパラメータに対する補正情報をモデリングしたパラメータ補正モデルを構築することができる。電子装置は、パラメータ補正モデルを用いて、基準温度で取得されたキャリブレーション結果対比電子装置の内部(例えば、HUDの内部)の温度変化に応じて、誤差を誘発するピッチパラメータを補正することができる。
但し、これに限定されることなく、位置オフセットが左側上段の開始ピクセルを基準にして設定される場合、前述した視差光学素子の膨張又は収縮によって位置オフセットパラメータ及びピッチパラメータが共に変わり得る。この場合、電子装置は、温度ごとのピッチパラメータに対する補正情報をモデリングしたパラメータ補正モデル(例えば、ピッチ補正モデル)だけでなく、位置オフセットパラメータに対する補正情報をモデリングしたパラメータ補正モデル(例えば、オフセット補正モデル)に共に構築することができる。オフセット補正モデルについては、後述するピッチ補正モデルに対する説明が同一又は同様に適用され得る。さらに、設計に応じて、電子装置は、ピッチ、開始位置、及び斜め角度ごとにパラメータ補正モデルを複数の温度範囲ごとに個別的に構築して使用してもよい。
したがって、電子装置は、温度変化ごとに前述したLFキャリブレーションの反復的な実行を行うことなく、温度変化によるLFキャリブレーションの歪みを補償することができる。以下では、温度変化ごとに視差光学素子のパラメータを取得するための動作(例えば、LFキャリブレーション)を行う必要なく、温度ごとに予め取得された補正情報を用いて基準温度に基づいてセッティングされたパラメータ(例えば、ピッチパラメータ)を補償する方法について説明する。温度ごとの補正情報は、パラメータ補正モデルに基づいて決定されてもよい。パラメータ補正モデルは、実測に基づいて温度変化によるパラメータの変化量をモデリングしたモデルとして、例示的に、回帰関数(regression function)及び/又はルックアップテーブル(look up table、LUT)を含む。
以下では、図4~図6を参照して説明したように、キャリブレーションに基づいて取得されたパラメータ(例えば、ピッチパラメータ又は開始位置パラメータ)を温度ごとに予め取得されたパラメータ補正モデルを用いて補正する動作について説明する。
図8は、一実施形態に係るキャリブレーションパターンの温度による変化及び補正を説明する。
例示的に、図8において、電子装置(例えば、図3に示す電子装置100)は、基準温度(例えば、初期常温である摂氏20度)で自動化キャリブレーションに基づいてピッチパラメータを取得することができる。電子装置は、LFキャリブレーションに基づいて取得されたパラメータ(例えば、P)を用いてパターン映像をレンダリングする。レンダリングされたパターン映像に対応する観測映像810において、キャリブレーションパターンの基準線が水平に示されている。その後、視差光学素子を収容した空間(例えば、電子装置のハウジング内部空間)の温度が摂氏60度に上昇する場合、図7を参照して上述したようなレンチキュラレンズの膨張によってレンチキュラレンズアレイのピッチが変わる。膨張したレンチキュラレンズアレイのピッチはPeであり、PeはPよりも大きい。電子装置が摂氏60度で基準温度で取得されたピッチパラメータPを用いてパターン映像をレンダリングし出力する場合、誤差を含む観測された映像815がアイボックスに示される。図8に示すように、水平線でなければならないキャリブレーションパターンが時計回りに回転した形態にアイボックスで観測される。摂氏60度では、膨張したレンチキュラレンズアレイに合わせてPeのピッチパラメータを用いたレンダリングが実行されなければならないが、それよりも小さいPのピッチパラメータを用いたレンダリングが実行されたためである。
電子装置が、摂氏60度でキャリブレーションに基づいて取得されたPeのピッチパラメータを用いてパターン映像をレンダリング及び出力する場合、図8に示すように、補正されたキャリブレーションパターン820がアイボックスで観測される。Peのピッチパラメータを用いて表示されたパターンは、Pのピッチパラメータを用いて表示されたパターンより反時計回り890に回転して水平する基準線を含むことができる。
したがって、電子装置は、パラメータ補正モデルを用いて測定された温度である摂氏60度に対してピッチパラメータ値Peを決定し、決定されたピッチパラメータ値Peにデフォルトピッチパラメータ値Pを代替することによってパラメータ補正を行うことができる。電子装置は、補正されたピッチパラメータ値Peを用いて映像をレンダリング及び出力できる。
図9は、一実施形態に係る視差光学素子のパラメータに対する温度ごとの補正情報を説明する。
一実施形態によれば、キャリブレーションシステム(例えば、図4に示すキャリブレーションシステム)は、温度変更の可能なチャンバ及び電子装置のアイボックスに対応する位置に設けられるカメラを含んでもよい。チャンバは、電子装置及び/又は電子装置の視差光学素子を受容することができる。チャンバの少なくとも一面が透明な素材(例えば、ガラス)を含んでもよい。視差光学素子を通過した映像光が、チャンバの透明な面を通過してアイボックスに対応する位置に指向される。キャリブレーションシステムのカメラは、前述した視差光学素子及びチャンバを通過した映像光の組み合せ(例えば、観測された映像)を撮影する。言い換えれば、キャリブレーションシステムのカメラは、電子装置のHUDによって形成される虚像を撮影することができる。キャリブレーションシステムは、常温(例えば、摂氏20度)で自動化キャリブレーションを行ってもよい。自動化キャリブレーションは、図4~図6を参照して前述したため、その説明は省略する。
キャリブレーションシステムは、温度により自動化キャリブレーションを行うことができる。図9では、チャンバの温度が摂氏-30度から摂氏90度まで、10度の間隔に変更される例示を示している。基準温度である摂氏20度におけるキャリブレーションに基づいて取得されたピッチパラメータを固定したまま温度を変更する場合、図9の左側に示すように、温度変化に応じてキャリブレーションシステムのカメラで観測されるキャリブレーションパターンが回転される。例えば、30度~90度で観測されたキャリブレーションパターン915aは、基準温度である20度で観測される基準キャリブレーションパターン910に比べて反時計回り回転する。異なる例として、10度~零下30度で観測されたキャリブレーションパターン915bは、基準キャリブレーションパターン910に比べて反時計回りに回転する。図示するように、基準温度との差が増加するほど、回転程度も増加する。
キャリブレーションシステムは、個別温度に対してキャリブレーション(例えば、LFキャリブレーション)を行ってもよい。図9の右側に示すように、各温度に合わせて自動化キャリブレーションを行った結果920で、キャリブレーションパターンの基準線が水平に整列されたものとして示される。結果920は、基準パラメータ値であるPから各温度によるピッチパラメータ値Pe(又は、Ps)に変更された後に観測されるキャリブレーションパターンであってもよい。図9に示された例示として、例えば、90°Cでキャリブレーションに基づいて取得されたピッチパラメータ値は、20°Cで取得された基準ピッチ値よりも39nmだけ大きい。異なる例として、-30°Cでキャリブレーションに基づいて取得されたピッチパラメータ値は、20°Cで取得された基準ピッチ値よりも33nmだけ小さい。前述した変化量は、基準パラメータ値(例えば、基準ピッチ値)に対する補正値として使用され、補正値を決定するためのパラメータ補正モデル(例えば、回帰モデル)の構築(例えば、生成)は、下記の図10を参照して説明する。
図10は、一実施形態に係る視差光学素子のパラメータを補正するための例示的なパラメータ補正モデルを説明する図である。
一実施形態に係るキャリブレーションシステム(例えば、図4に示すキャリブレーションシステム400)及び/又は電子装置(例えば、図3に示す電子装置300)は、基準温度ごとに取得された補正情報(例えば、補正値)に基づいてパラメータ補正モデルを構築することができる。パラメータ補正モデルは、温度ごとにデフォルトパラメータに比べて適用されなければならない補正情報を示すモデルである。キャリブレーションシステム及び/又は電子装置は、複数のパラメータ補正モデルを構築及び/又は利用する。参考として、パラメータ補正モデルによって出力される補正値の単位はnm単位であってもよい。mm単位で生成された回帰モデルよりnm単位で生成された回帰モデルがより少ない誤差を示す。
例えば、複数のパラメータ補正モデルは、基準パラメータ値に対する回帰分析に基づいて取得された温度と補正情報との間の関係を示す関数(例えば、回帰関数)、及び予め決定された温度ごとにマッピングされた補正情報に関するマッピング情報のうち少なくとも1つを含む。例えば、マッピング情報は、予め決定された温度のそれぞれに対して補正値がマッピングされた情報として、温度ごとのピッチ補正値を示すルックアップテーブルであってもよい。電子装置は、測定された温度にマッチングする温度をマッピング情報(例えば、ルックアップテーブル)から検索し、検索された温度に対応する補正値を決定する。電子装置は、検索された補正値を用いて視差光学素子のパラメータ(例えば、ピッチパラメータ)を調整する。参考として、本明細書では、主に回帰関数を用いたパラメータ補正について説明する。図10においても、パラメータ補正モデルの例示として回帰関数が図示され、x軸は摂氏温度、y軸は温度による補正値をnm単位に図示している。基準温度が摂氏20度で設定されたため、20度では補正値が0に示されている。回帰関数は5次関数であってもよいが、これに限定されることはない。
一実施形態に係る複数のパラメータ補正モデルは、該当するモデルに割り当てられた温度範囲内で2以上の温度値でキャリブレーションを行うことで取得された基準パラメータ値に基づいて構築されることができる。図10では、パラメータ補正モデル1090が基準温度(例えば、-30度、-20度、-10度、0度、10度、20度、30度、40度、50度、60度、70度、80度、及び90度)ごとにキャリブレーションに基づいて取得された補正値(例えば、基準補正値)を用いて生成された例示を示している。例えば、パラメータ補正モデル1090は、基準補正値を用いた回帰分析に基づいて決定された回帰関数を含む。但し、図10に示すように、電子装置に潜在的に発生し得る全体温度範囲は-30度から90度であるが、全体温度範囲に対する回帰分析に基づいて取得された回帰関数は、15度以上45度の区間で実際に要求される補正値1091と、推定された回帰関数1092との間に誤差が発生し得る。したがって、キャリブレーションシステム及び/又は電子装置は温度区間を分類し、複数のパラメータ補正モデル1010,1020を構築及び利用することができる。
一実施形態によれば、複数のパラメータ補正モデル1010,1020は互いに異なる温度範囲に割り当てられることができる。例えば、複数のパラメータ補正モデル1010,1020のそれぞれに割り当てられた温度範囲は、他のパラメータ補正モデルに割り当てられた温度範囲と互いに非オーバーラップ(non-overlap)する。例えば、第1パラメータ補正モデル1010は第1温度範囲に割り当てられ、第2パラメータ補正モデル1020は第2温度範囲に割り当てられてもよい。第1温度範囲及び第2温度範囲は互いにオーバーラップしていなくてもよい。図10に示した例として、第1温度範囲は20度以上90度以下の温度を含む高温範囲を示し、第2温度範囲は-30度以上20度以上の温度を含む低温範囲を示す。第1温度範囲と第2温度範囲は、基準温度に基づいて決定され得る。
前述した基準温度は、視差光学素子のパラメータが非線形に変化する温度区間に基づいて決定されることができる。例えば、基準温度は、視差光学素子のパラメータが非線形に変換する温度区間に属する温度のいずれかの温度に決定されてもよい。視差光学素子は、安定温度領域(stability temperature region)(例えば、20度以上40度以下)ではパラメータを保持し、安定温度領域から離脱した高温範囲(例えば、40度超過)及び低温範囲(例えば、20度未満)では変化するパラメータを示す。言い換えれば、安定温領域では視差光学素子のパラメータがほとんど変わらないため、非線形に変化する区間として解釈され得る。図10に示した例においても、-30度以上20度未満の温度区間、及び40度超過及び90度以下の温度区間で視差光学素子のピッチパラメータに対する補正値が線型的に変化し、20度以上40度以下の温度区間でピッチパラメータの変化がなかったり、少なかったりするものとして示される。例えば、基準温度は、摂氏20度以上摂氏30度以下のいずれかの温度値であってもよく、図10において、基準温度は20度で決定された例示が示されている。
電子装置は、上述したように温度区間ごとに構築されたパラメータ補正モデルを用いて補正情報(例えば、補正値)を測定された温度に対して決定することができる。例えば、電子装置は、測定された温度が基準温度を超過することに基づいて、第1パラメータ補正モデル1010を用いて補正情報を決定することができる。電子装置は、基準温度を超過する第1温度範囲に測定された温度が属することに基づいて、第1温度範囲に対する第1パラメータ補正モデル1010を用いて補正情報を決定することができる。異なる例として、電子装置は、測定された温度が基準温度以下であることに基づいて、第2パラメータ補正モデル1020を用いて補正情報を決定してもよい。電子装置は、基準温度以下である第2温度範囲に測定された温度が属することに基づいて、第2温度範囲に対する第2パラメータ補正モデル1020を用いて補正情報を決定してもよい。
電子装置は、第1パラメータ補正モデル1010又は第2パラメータ補正モデル1020のいずれかのモデルを用いて測定された温度に対応する補正値を決定することができる。例えば、電子装置は、測定された温度が50度である場合、第1パラメータ補正モデル1010を用いて補正値として+9nmを決定してもよい。異なる例として、電子装置は、測定された温度が0度である場合、補正値として-15nmを決定してもよい。電子装置は、決定された補正値をデフォルトパラメータ(例えば、デフォルトピッチ値)に適用(例えば、加算)することにより、補正されたパラメータ値を取得できる。電子装置は、補正されたパラメータ値を用いて映像をレンダリング及び出力することによってアイボックスにコンテンツを提供することができる。
さらに、複数のパラメータ補正モデル1010,1020の少なくともいずれか1つのモデルは、少なくともいずれか1つのモデルに割り当てられた温度範囲のうち、非線型温度区間(non-linear temperaturesection)において、第1温度間隔で取得された基準パラメータ値、及び他の温度区間において第1温度間隔よりも広い第2温度間隔で取得された基準補正値に基づいて構築されてもよい。図10では、基準パラメータ値が均等な温度間隔で測定された例を示しているが、非線型温度区間(例えば、図10に示した例として、30度から50度の間の温度区間、及び10度から30度の間の区間)において、他の温度区間より密度高く基準パラメータ値を測定することができる。したがって、非線型温度区間において、より精密な補正値を出力可能なパラメータ補正モデルを構築できる。
他の一実施形態によれば、電子装置のメモリは、基本温度上限1051を超過する高温1001に対する第1パラメータ補正モデル、基本温度下限1052以下の低温1002に対する第2パラメータ補正モデル、及び基本温度上限1051及び基本温度下限1052の間の基本温度範囲1003に対する第3パラメータ補正モデルを格納することができる。例えば、電子装置のプロセッサは、測定された温度に基づいて第1パラメータ補正モデル、第2パラメータ補正モデル、及び第3パラメータ補正モデルのいずれか1つのモデルを選択し、選択されたモデルを用いて測定された温度に対応する補正情報を決定してもよい。図10において、基本温度範囲は、基本温度下限超過、基本温度下限以下の温度範囲に定義され、前記基本温度上限は摂氏30度であり、前記基本温度下限は摂氏20度であってもよい。
図11は、一実施形態に係る高温パラメータ補正モデル及び低温パラメータ補正モデルを説明する。
一実施形態に係る電子装置(例えば、図3の電子装置300)のプロセッサは、補正情報としてピッチに対する補正値を取得し、視差光学素子のピッチパラメータ値に補正値を適用することによってパラメータ補正を行うことができる。例えば、図11は、摂氏10度単位の基準温度値に対して測定された基準パラメータ値に基づいて生成されたパラメータ補正モデルを用いたパラメータ補正について説明する。図11に示された例示として、25度、35度、45度、55度、65度、75度、及び85度については、高温パラメータ補正モデル1110(例えば、図10に示す第1パラメータ補正モデル)が利用され、15度、5度、-5度、-15度、及び-25度については、低温パラメータ補正モデル1120を用いてもよい。図11に示すように、高温で観測された映像1101は回転したパターンを示したが、電子装置は、高温パラメータ補正モデル1110に基づいて決定された補正値を適用することによって整列したパターン1190を表示することができる。同様に、低温で観測された映像1102は回転したパターンを示したが、電子装置は、低温パラメータ補正モデル1120に基づいて決定された補正値を適用することによって整列したパターン1190を表示することができる。
例示的に、パラメータ補正モデルは、LFR(Light Field Rendering)ボードに実装されてもよい。電子装置は、温度センサによって測定されたHUD内部の温度値をLFRボードに入力する。LFRボードは、パラメータ補正モデルのうち、入力された温度に対応する回帰モデルに入力された温度を適用することで、nm単位の補正値を算出することができる。電子装置は、次の数学式Pc(x)=P+Δp(x)×10-6により補正されたパラメータを取得する。ここで、Pは、基準温度(例えば、常温20°C)に対してキャリブレーションに基づいて取得されたデフォルトピッチ値を示す。Δp(x)は、温度x°Cでデフォルトピッチ値に適用されなければならないピッチ補正値を示す。Pc(x)は、温度x°Cで補正されたピッチ値を示す。ここで、Δp(x)の単位がnmであるため、mmに変換される。参考として、HUD光学系及びパネルが変更されても、前述した温度による視差光学素子に対するパラメータ補正が可能になる。
図12は、一実施形態に係るパラメータの調整結果を示す。
視差光学素子のキャリブレーションが完了する前左眼映像及び右眼映像1210でそれぞれ互いのコンテンツ一部が含まれてもよい。一実施形態によれば、視差光学素子のキャリブレーションが完了する場合、左眼映像及び右眼映像1220で互いのコンテンツが分離して示される。言い換えれば、クロストークが除外され得る。
一実施形態によれば、プロセッサは、ユーザからキャリブレーション完了入力を受信する場合に応答して、視差光学素子のユーザに個人化されたパラメータを格納する。電子装置は、個人化されたパラメータを用いてコンテンツ映像をレンダリングしてディスプレイに出力する。図4~図11を参照して上述したような、インターフェース及びキャリブレーションパターンのフィードバックを介して、ユーザは直、観的に視差光学素子のパラメータを手動で便利に調整することができる。
図13は、一実施形態に係るパラメータ補正方法を説明するフローチャートである。
まず、ステップS1310において、電子装置は、ディスプレイから出力される映像に対応する光を視差光学素子を用いてユーザのアイボックスに提供する。本明細書においては、視差光学素子としてレンチキュラレンズアレイを主に説明したが、これに限定されることなく、パララックスバリアや平面ディスプレイパネルのバックライトにスリット形態の光源が適用された様々なHUD装置についても、同一又は類似の動作及び設計が適用され得る。
そして、ステップS1320において、電子装置は、互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルのうち、視差光学素子に対して測定された温度に対応するパラメータ補正モデルを用いて測定された温度に対応する補正情報を決定する。
次に、ステップS1330において、電子装置は、補正情報を用いて視差光学素子のパラメータを調整する。
但し、電子装置の動作が図13を参照して説明したものに限定されることなく、図1~図12を参照して前述した動作のうち少なくとも1つと時系列的に及び/又は並列的に実行され得る。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、所望の動作をするよう処理装置を構成したり、独立して又は結合させたりして処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されるように処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行されたりしてもよい。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
上記で説明したハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
Claims (20)
- 電子装置であって、
ディスプレイと、
前記ディスプレイから出力される映像に対応する光をユーザのアイボックスに提供する視差光学素子と、
前記視差光学素子周辺の温度を測定する温度センサと、
前記視差光学素子のパラメータに対して、互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルを格納したメモリと、
前記複数のパラメータ補正モデルのうち、前記測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定し、前記補正情報に基づいて前記視差光学素子のパラメータを調整するプロセッサと、
を含む電子装置。 - 前記複数のパラメータ補正モデルに対応する温度範囲は、互いにオーバーラップしていない、請求項1に記載の電子装置。
- 前記プロセッサは、
基準温度を超過する第1温度範囲に前記測定された温度が含まれることに基づいて、前記第1温度範囲に対応する第1パラメータ補正モデルに基づいて前記補正情報を決定し、
前記基準温度以下である第2温度範囲に前記測定された温度が含まれることに基づいて、前記第2温度範囲に対応する第2パラメータ補正モデルに基づいて前記補正情報を決定する、請求項1に記載の電子装置。 - 前記基準温度は、前記視差光学素子のパラメータが非線形に変化する温度区間に基づいて決定され、
前記プロセッサは、
前記測定された温度が前記基準温度を超過することに基づいて、前記第1パラメータ補正モデルに基づいて前記補正情報を決定し、
前記測定された温度が前記基準温度以下であることに基づいて、前記第2パラメータ補正モデルに基づいて前記補正情報を決定する、請求項3に記載の電子装置。 - 前記基準温度の値は、摂氏20度以上摂氏30度以下の範囲にある、請求項4に記載の電子装置。
- 前記メモリは、基本温度上限を超過する第1温度に対応する第1パラメータ補正モデル、基本温度下限以下の第2温度に対応する第2パラメータ補正モデル、及び前記基本温度上限と前記基本温度下限との間の基本温度範囲に対応する第3パラメータ補正モデルを格納し、
前記プロセッサは、前記測定された温度に基づいて、前記第1パラメータ補正モデル、前記第2パラメータ補正モデル、及び第3パラメータ補正モデルのいずれか1つのモデルを選択し、選択されたモデルに基づいて前記測定された温度に対応する前記補正情報を決定する、請求項1に記載の電子装置。 - 前記複数のパラメータ補正モデルのそれぞれは、前記複数のパラメータ補正モデルのうちモデルに対応する温度範囲内で2以上の温度値でキャリブレーションを行うことによって取得された基準パラメータ値に基づいて構築される、請求項1に記載の電子装置。
- 前記複数のパラメータ補正モデルのそれぞれは、前記基準パラメータ値に対応する回帰分析に基づいて取得された温度と補正情報との間の関係を示す関数、及び予め決定された温度ごとにマッピングされた補正情報に対応するマッピング情報のうち少なくとも1つを含む、請求項7に記載の電子装置。
- 前記複数のパラメータ補正モデルのうち少なくとも1つのモデルは、前記複数のパラメータ補正モデルのうち少なくとも1つに対応する温度範囲のうち、非線型温度区間において、第1温度間隔で取得された基準パラメータ値及び前記非線型温度区間とは異なる温度区間で前記第1温度間隔よりも広い第2温度間隔で取得された基準補正値に基づいて構築される、請求項7に記載の電子装置。
- 前記プロセッサは、前記補正情報としてピッチに対する補正値を取得し、前記視差光学素子のピッチパラメータ値に前記補正値を適用することによってパラメータ補正を行う、請求項1ないし9のうちの何れか1項に記載の電子装置。
- プロセッサによって行われるパラメータ補正方法であって、
ディスプレイから出力される映像に対応する光を視差光学素子を介してユーザのアイボックスに提供するステップと、
互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルのうち、前記視差光学素子に対して測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定するステップと、
前記補正情報に基づいて前記視差光学素子のパラメータを調整するステップと、
を含むパラメータ補正方法。 - 前記複数のパラメータ補正モデルに対応する温度範囲は、互いにオーバーラップしていない、請求項11に記載のパラメータ補正方法。
- 前記補正情報を決定するステップは、
基準温度を超過する第1温度範囲に前記測定された温度が含まれることに基づいて、前記第1温度範囲に対応する第1パラメータ補正モデルに基づいて前記補正情報を決定するステップと、
前記基準温度以下である第2温度範囲に前記測定された温度が含まれることに基づいて、前記第2温度範囲に対応する第2パラメータ補正モデルに基づいて前記補正情報を決定するステップと、
を含む、請求項11に記載のパラメータ補正方法。 - 前記基準温度は、前記視差光学素子のパラメータが非線形的に変化する温度区間に基づいて決定され、
前記補正情報を決定するステップは、
前記測定された温度が前記基準温度を超過することに基づいて、前記第1パラメータ補正モデルに基づいて前記補正情報を決定するステップと、
前記測定された温度が前記基準温度以下であることに基づいて、前記第2パラメータ補正モデルに基づいて前記補正情報を決定するステップと、
を含む、請求項13に記載のパラメータ補正方法。 - 前記基準温度の温度値は、摂氏20度以上摂氏30度以下の範囲にある、請求項14に記載のパラメータ補正方法。
- 基本温度上限を超過する第1温度に対応する第1パラメータ補正モデル、基本温度下限以下の第2温度に対応する第2パラメータ補正モデル、及び前記基本温度上限と前記基本温度下限との間の基本温度範囲に対応する第3パラメータ補正モデルを格納するステップをさらに含み、
前記補正情報を決定するステップは、前記測定された温度に基づいて前記第1パラメータ補正モデル、前記第2パラメータ補正モデル、及び第3パラメータ補正モデルのいずれか1つのモデルを選択し、選択されたモデルに基づいて前記測定された温度に対応する前記補正情報を決定するステップを含む、請求項11に記載のパラメータ補正方法。 - 前記複数のパラメータ補正モデルのそれぞれは、前記複数のパラメータ補正モデルのうちモデルに対応する温度範囲に含まれた2以上の温度値でキャリブレーションを行うことによって取得された基準パラメータ値に基づいて構築される、請求項11に記載のパラメータ補正方法。
- 前記複数のパラメータ補正モデルのそれぞれは、前記基準パラメータ値に対応する回帰分析に基づいて取得された温度と補正情報との間の関係を示す関数、及び予め決定された温度ごとにマッピングされた補正情報に対応するマッピング情報のうち少なくとも1つを含む、請求項17に記載のパラメータ補正方法。
- 前記複数のパラメータ補正モデルのうち少なくとも1つのモデルは、前記複数のパラメータ補正モデルのうち少なくとも1つに対応する温度範囲のうち非線型温度区間において、第1温度間隔で取得された基準パラメータ値及び前記非線型温度区間とは異なる温度区間で前記第1温度間隔よりも広い第2温度間隔で取得された基準補正値に基づいて構築される、請求項17に記載のパラメータ補正方法。
- パラメータ補正方法をコンピュータに実行させるための1つ以上の命令語を含むコンピュータプログラムであって、
前記パラメータ補正方法は、
ディスプレイから出力される映像に対応する光を視差光学素子を介してユーザのアイボックスに提供するステップと、
互いに異なる温度範囲における補正情報を決定するための複数のパラメータ補正モデルのうち、前記視差光学素子に対して測定された温度に対応するパラメータ補正モデルに基づいて前記測定された温度に対応する補正情報を決定するステップと、
前記補正情報に基づいて前記視差光学素子のパラメータを調整するステップと、
を含む、コンピュータプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20220004443 | 2022-01-12 | ||
KR10-2022-0004443 | 2022-01-12 | ||
KR10-2022-0034671 | 2022-03-21 | ||
KR1020220034671A KR20230109051A (ko) | 2022-01-12 | 2022-03-21 | 온도 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023102773A true JP2023102773A (ja) | 2023-07-25 |
Family
ID=84602598
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023002074A Pending JP2023102773A (ja) | 2022-01-12 | 2023-01-11 | 温度変化に対する視差光学素子のキャリブレーション装置及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230221518A1 (ja) |
EP (1) | EP4212946A1 (ja) |
JP (1) | JP2023102773A (ja) |
CN (1) | CN116430580A (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007050973A2 (en) * | 2005-10-27 | 2007-05-03 | Real D | Temperature compensation for the differential expansion of an autostereoscopic lenticular array and display screen |
WO2011068210A1 (ja) * | 2009-12-04 | 2011-06-09 | Nec液晶テクノロジー株式会社 | 立体表示装置、立体表示用画像データ生成方法、及びそのプログラム |
JP6380881B2 (ja) * | 2012-07-31 | 2018-08-29 | Tianma Japan株式会社 | 立体画像表示装置、画像処理装置及び立体画像処理方法 |
-
2022
- 2022-12-23 EP EP22216454.3A patent/EP4212946A1/en active Pending
-
2023
- 2023-01-09 CN CN202310024409.6A patent/CN116430580A/zh active Pending
- 2023-01-10 US US18/095,338 patent/US20230221518A1/en active Pending
- 2023-01-11 JP JP2023002074A patent/JP2023102773A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN116430580A (zh) | 2023-07-14 |
US20230221518A1 (en) | 2023-07-13 |
EP4212946A1 (en) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8681174B2 (en) | High density multi-view image display system and method with active sub-pixel rendering | |
US10466485B2 (en) | Head-mounted apparatus, and method thereof for generating 3D image information | |
JP5881732B2 (ja) | 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム | |
CN101641963A (zh) | 头戴式摄像显示设备及合成图像生成装置 | |
US20120249748A1 (en) | Stereoscopic image pickup apparatus and stereoscopic image pickup method | |
JP2008085503A (ja) | 三次元画像処理装置、方法、プログラム及び三次元画像表示装置 | |
KR20160081773A (ko) | 광시각 나안 입체 영상 표시 방법 및 표시 장치 | |
KR20120030005A (ko) | 화상 처리 장치 및 방법과 입체 화상 표시 장치 | |
JP2013527932A (ja) | 自動立体ディスプレイおよびその製造方法 | |
JP7335233B2 (ja) | 2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法 | |
JP7438737B2 (ja) | 3次元映像を表示する装置及び方法 | |
JP2023102773A (ja) | 温度変化に対する視差光学素子のキャリブレーション装置及び方法 | |
US11882266B2 (en) | Method and device to calibrate parallax optical element to change of look down angle | |
JP5487935B2 (ja) | 表示装置および表示方法 | |
US11778163B2 (en) | Device and method to calibrate parallax optical element | |
KR20230109051A (ko) | 온도 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법 | |
WO2020137088A1 (ja) | ヘッドマウントディスプレイ、表示方法、及び表示システム | |
KR101883883B1 (ko) | 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법 | |
KR20160128483A (ko) | Table-top 3D 디스플레이 시스템 및 그 방법 | |
de la Barré et al. | A new design and algorithm for lenticular lenses display | |
JP7456290B2 (ja) | ヘッドアップディスプレイ装置 | |
US11758119B2 (en) | Low cost HUD using stereo and head tracking | |
De La Barré et al. | A new design and image processing algorithm for lenticular lens displays |