JP2023020891A - 視差光学素子のキャリブレーション装置及び方法 - Google Patents

視差光学素子のキャリブレーション装置及び方法 Download PDF

Info

Publication number
JP2023020891A
JP2023020891A JP2022087417A JP2022087417A JP2023020891A JP 2023020891 A JP2023020891 A JP 2023020891A JP 2022087417 A JP2022087417 A JP 2022087417A JP 2022087417 A JP2022087417 A JP 2022087417A JP 2023020891 A JP2023020891 A JP 2023020891A
Authority
JP
Japan
Prior art keywords
pattern
parameter
pattern image
electronic device
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022087417A
Other languages
English (en)
Inventor
ちゃんそる 黄
Chansol Hwang
柄敏 姜
Byong-Min Kang
振鎬 李
Shinko Ri
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2023020891A publication Critical patent/JP2023020891A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction

Abstract

【課題】個別ユーザのためのキャリブレーションインターフェースを提供する。【解決手段】一実施形態に係る電子装置は、複数の視点のうち、基準視点でパターン映像を観測したユーザから視差光学素子に対するキャリブレーションのための入力を受信し、受信された入力に基づいて視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つを調整し、調整されたパラメータに応じてキャリブレーションパターンを再びレンダリングすることにより変更されたパターン映像をディスプレイを介してフィードバックする。【選択図】図1

Description

以下の開示は、視差光学素子のキャリブレーションに関する。
立体映像を認知するための要因のうち最も支配的な要因は、ユーザの両眼に見える映像の差である。ユーザの両眼に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を相違にした波長分割などを用いて映像をフィルタリング(filtering)するメガネ方式と、パララックスバリア(parallax barrier)、レンチキュラレンズ(lenticular lens)、又は、方向性(指向性)バックライトユニット(directional BLU)など、3D変換装置を用いて各映像を特定の視点でのみ見るようにする裸眼方式がある。
裸眼方式の場合、メガネ着用の不便を減らし得るという長所がある。裸眼方式で3D映像のクロストーク(crosstalk)を抑制するためには、ユーザの両眼に3D映像を正確に照射する必要がある。3D表示装置及び3D変換装置の生産過程又は設置過程などで設計値とは異なる誤差が生じる場合、映像品質が低下してしまう恐れがある。
一実施形態に係る電子装置は、個別ユーザのためのキャリブレーションインターフェースを提供することにある。
一実施形態に係る電子装置は、映像を出力するディスプレイと、前記映像に対応する光を複数の視点に提供する視差光学素子と、前記複数の視点のうち、基準視点でパターン映像を観測したユーザから前記視差光学素子に対するキャリブレーションのための入力を受信する入力インターフェースと、キャリブレーションパターンをレンダリングすることにより生成された前記パターン映像を前記基準視点に向かって出力し、前記入力に基づいて前記視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つを調整し、調整されたパラメータに基づいて前記キャリブレーションパターンを再びレンダリングすることにより調整されたパターン映像を出力するプロセッサとを含む。
前記プロセッサは、前記入力に基づいて前記視差光学素子のパラメータのうちピッチパラメータを増加させることに基づいて、第1パターン映像に対応するパターンを前記ユーザが観測する方向から反時計回りに回転させ、前記入力に基づいて前記視差光学素子のパラメータのうちピッチパラメータを減少させることに基づいて、第1パターン映像に対応するパターンを前記ユーザが観測する方向から時計回りに回転させることができる。
前記プロセッサは、前記入力に基づいて前記視差光学素子のパラメータのうち斜め角度パラメータを増加させることに基づいて、第2パターン映像に対応するパターンを前記ユーザが観測する方向から時計回りに回転させ、前記入力に基づいて前記視差光学素子のパラメータのうち斜め角度パラメータを減少させることに基づいて、第2パターン映像に対応するパターンを前記ユーザが観測する方向から反時計回りに回転させることができる。
前記プロセッサは、前記入力に基づいて前記視差光学素子のパラメータのうち位置オフセットパラメータを増加させることに基づいて、第3パターン映像に対応するパターンを前記ユーザが観測する方向から一方向に移動させ、前記入力に基づいて前記視差光学素子のパラメータのうち位置オフセットパラメータを減少させることに基づいて、第3パターン映像に対応するパターンを前記ユーザが観測する方向から前記一方向と反対となる他の方向に移動させることができる。
前記入力インターフェースは、タッチパネル、タッチスクリーン、ダイヤル、ジョグダイヤル、シャトルダイヤル、クリックホイール、ボタン、スライダバー、操作レバーのうち少なくとも1つを含むことができる。
前記プロセッサは、前記入力インターフェースで回転操作が検出可能な入力装置にピッチパラメータ及び斜め角度パラメータのうち少なくとも1つのパラメータの調整をマッピングし、前記入力インターフェースで直線操作が検出可能な入力装置に位置オフセットパラメータの調整をマッピングすることができる。
前記入力インターフェースは、前記ユーザからの回転操作が検出可能であり、前記プロセッサは、前記視差光学素子のキャリブレーションの間に前記入力インターフェースで前記ユーザによる前記回転操作を検出することに基づいて、前記視差光学素子のパラメータのうちピッチパラメータ及び斜め角度パラメータのうち少なくとも1つを調整することができる。
前記プロセッサは、前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記第1パターン映像に対応するキャリブレーションパターンを反時計回りに回転させ、前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記第1パターン映像に対応するキャリブレーションパターンを時計回りに回転させることができる。
前記プロセッサは、前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記ピッチパラメータを増加させ、前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記ピッチパラメータを減少させることができる。
前記プロセッサは、前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記第2パターン映像に対応するキャリブレーションパターンを時計回りに回転させ、前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記第2パターン映像に対応するキャリブレーションパターンを反時計回りに回転させることができる。
前記プロセッサは、前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記斜め角度パラメータを増加させ、前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記斜め角度パラメータを減少させることができる。
前記プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで一方向の直線操作を検出することに基づいて、前記第3パターン映像に対応するキャリブレーションパターンを前記一方向に対応する方向に移動させ、位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで前記一方向と反対となる他の方向の直線操作を検出することに基づいて、前記第3パターン映像に対応するキャリブレーションパターンを前記他の方向に対応する方向に移動させることができる。
前記プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで一方向の直線操作を検出することに基づいて、前記位置オフセットパラメータを増加させ、位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで前記一方向と反対となる他の方向の直線操作を検出することに基づいて、前記位置オフセットパラメータを減少させることができる。
前記入力インターフェースは、タッチスクリーンを含み、前記プロセッサは、前記ピッチパラメータ及び前記斜め角度パラメータのうち少なくとも1つのパラメータに対するキャリブレーションの間に、回転操作をガイドする第1グラフィック表現を前記タッチスクリーンに出力し、前記第1グラフィック表現に対応して、前記タッチスクリーン上の一地点を基準にして少なくとも部分的に円形軌跡に沿ったタッチ地点の移動を検出することに基づいて、前記ピッチパラメータ及び前記斜め角度パラメータのうち少なくとも1つのパラメータを調整し、前記位置オフセットパラメータに対するキャリブレーションの間に直線操作をガイドする第2グラフィック表現を前記タッチスクリーンに出力し、前記第2グラフィック表現に対応して、前記タッチスクリーン上の一地点から他の地点までタッチ地点の線型移動を検出することに基づいて前記位置オフセットパラメータを調整することができる。
前記プロセッサは、前記ユーザからキャリブレーション完了入力を受信することに基づいて、前記視差光学素子の前記ユーザに個人化されたパラメータを格納し、前記個人化されたパラメータを用いてコンテンツ映像をレンダリングして前記ディスプレイに出力することができる。
前記プロセッサは、前記ピッチパラメータに対応する第1パターン映像、前記斜め角度パラメータに対応する第2パターン映像、及び前記位置オフセットパラメータに対応する第3パターン映像のうち少なくとも1つを前記ユーザに提供することができる。
前記プロセッサは、前記第1パターン映像の提供を通した前記ピッチパラメータの調整が完了することに基づいて前記第2パターン映像を前記ユーザに提供し、前記第2パターン映像の提供を通した前記斜め角度パラメータの調整が完了することに基づいて前記第3パターン映像を前記ユーザに提供することができる。
前記ディスプレイは、バイク、自動車、汽車、船(watercraft)、航空機(aircraft)、及び宇宙船(spacecraft)を含む乗り物(vehicle)に搭載されるヘッドアップディスプレイ(head-up display:HUD)の少なくとも一部として実現されることができる。
一実施形態に係るプロセッサで実現される方法は、ディスプレイから出力される、キャリブレーションパターンをレンダリングすることにより生成された、パターン映像に対応する光を視差光学素子を介して基準視点に提供するステップと、前記基準視点において、パターン映像を観測したユーザから前記視差光学素子のパラメータに対するキャリブレーションのための入力を受信するステップと、前記入力に基づいて前記視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つを調整するステップと、調整されたパラメータに基づいて、前記キャリブレーションパターンを再びレンダリングすることにより調整されたパターン映像を前記ディスプレイを介して出力するステップとを含む。
一実施形態に係る電子装置は、視差光学素子のパラメータを個別ユーザに最適化することができる。
一実施形態に係る視差光学素子のキャリブレーションを行う電子装置を示す。 一実施形態に係る電子装置がヘッドアップディスプレイを含む例示を示す。 一実施形態に係る電子装置のブロック図を示す。 一実施形態に係る視差光学素子のキャリブレーションのためのソース映像、パターン映像、及び観測された映像を示す。 一実施形態に係るソース映像及び観測された映像を示す。 一実施形態に係る視差光学素子のパラメータを説明する。 一実施形態に係るパラメータの調整によるパターン映像の変化を説明する。 一実施形態に係るパラメータの調整によるパターン映像の変化を説明する。 一実施形態に係るパラメータの調整によるパターン映像の変化を説明する。 一実施形態に係るスライダバーを介したパラメータ調整を示す。 一実施形態に係るタッチインターフェースを介したパラメータ調整を示す。 一実施形態に係るダイヤルインターフェースを介したパラメータ調整を示す。 一実施形態に係るキャリブレーション結果を示す。 一実施形態に係るキャリブレーション方法を示すフローチャートである。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に、第2構成要素は第1構成要素とも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義されない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
図1は、一実施形態に係る視差光学素子のキャリブレーションを行う電子装置を示す。
一実施形態に係る電子装置100は、ユーザに立体映像を提供する。例えば、電子装置100は、両眼ディスパリティ(binocular disparity)を有する映像をユーザの両眼に提供することができる。両眼の視差を有する映像は、ユーザの左眼に提供される第1映像及びユーザの右眼に提供される第2映像を含んでもよい。第1映像及び第2映像において、同じオブジェクト及び/又は同じ地点に対応するピクセルは、該当オブジェクト及び/又は該当地点の深度(例えば、ユーザが認識するように定義された及び/又は設定された該当オブジェクトまでの距離)によるディスパリティだけ離隔されてもよい。但し、説明の便宜のために、いずれかのユーザの両眼への立体映像の提供として、該当ユーザの左眼に対応する第1視点(viewpoint)及び右眼に対応する第2視点に映像が提供される例示について説明したが、これに限定されることはない。設計に応じて、2以上の視点で映像が提供されてもよく、2人以上のユーザに立体映像が提供されてもよい。例えば、電子装置100は、第1ユーザの左眼に対応する第1視点、及び第1ユーザの右眼に対応する第2視点にピクセルごとの両眼の視差を有する映像ペア(image pair)を提供してもよい。また、電子装置100は、第2ユーザの左眼に対応する第3視点及び第2ユーザの右眼に対応する第4視点にピクセルごと両眼の視差を有する映像ペアを提供してもよい。
電子装置100は、ディスプレイパネルを介して映像を出力し、電子装置100の視差光学素子が出力された映像に対応する光を複数の視点に指向させることができる。製造工程の誤差及び/又は公差によってキャリブレーションを通した微細チューニング(fine tuning:微調整)なしでは、ユーザの左眼及び/又は右眼から反対側の目に提供されなければならない映像の一部が観測される。上述したように、異なる視点で観測されなければならない映像が提供されてしまうことをクロストーク(crosstalk)という。ユーザの左眼に対応する視点で左眼映像のみが観測され、右眼に対応する視点で右眼映像のみが観測されなければ、ユーザは正確な深度を認識して鮮明な映像を視聴することができない。
一実施形態に係る電子装置100は、前述したクロストークの減少及び/又は除去のために、キャリブレーションを行うことができる。電子装置100は、ユーザにキャリブレーションのためのパターン映像に対応するキャリブレーションパターン110を提供する。電子装置100は、パターン映像に対応するキャリブレーションパターン110を観測したユーザからキャリブレーションのための入力129を受信する。電子装置100は、キャリブレーションのための入力129を受信する場合、該当入力129による視差光学素子のパラメータを調整することができる。電子装置100は、調整されたパラメータに応じて、パターン映像に対応するキャリブレーションパターン110を変更する。ユーザは、パターン映像に対応するキャリブレーションパターン110に対応するキャリブレーションパターンが基準線(例えば、垂直線及び/又は水平線)に整列されるまで、前述したキャリブレーションのための操作を繰り返し入力する。電子装置100は、キャリブレーションの操作のための便利な入力インターフェース120を提供できる。例えば、図1において、電子装置100のタッチスクリーンがスライダバーを出力し、電子装置100は、スライダバーに対する入力129(例えば、スライダバーオブジェクトを水平に移動させる入力)を検出する場合に応答して、前述した視差光学素子のパラメータを調整できる。
参考として、図1に示すように、車両に装着されている電子装置100は、車両のフロントガラス(windshield glass)を介してコンテンツ映像及び/又はパターン映像を投影することでユーザに提供することができる。フロントガラスを用いたヘッドアップディスプレイについては、下記の図2を参照して説明する。
図2は、一実施形態に係る電子装置がヘッドアップディスプレイを含む例示を示す。
キャリブレーションシステム200は、ユーザ290に視差光学素子のキャリブレーションを提供するシステムであって、例えば、電子装置210(例えば、図1に示す電子装置100)が装着されている機器であってもよい。
電子装置210は、プロセッサ212、及びヘッドアップディスプレイ213を含む。また、電子装置210は、目の検出器(図示せず)も含んでもよい。
プロセッサ212は、レンダリングされたパターン映像をヘッドアップディスプレイを介して出力することで、ユーザ290にパターン映像を提供することができる。プロセッサ212は、キャリブレーションの間にユーザ入力により調整されたパラメータに応じて、パターン映像を再びレンダリングして提供することができる。プロセッサ212は、キャリブレーションが完了した後、固定された(fixed)パラメータを用いてコンテンツ映像をレンダリングしユーザに提供することができる。コンテンツ映像は、例示的に運行に関するコンテンツを含む情報として、車両の場合、運転に関する情報(以下、運転情報)は、例えば、経路案内情報(route guidance information)及び走行関連情報(driving related information)を含んでもよい。
ヘッドアップディスプレイ213は、ユーザ290の前方に位置しているユーザ290の可視領域(visible region)に立体映像を視覚化できる。例えば、ヘッドアップディスプレイ213は、ユーザ290の前方に配置しているガラス窓(例えば、車両のフロントガラス(windshield glass))にパターン映像を視覚化してもよい。ヘッドアップディスプレイ213は、仮想のプロジェクション(投影)平面250を形成してもよい。プロジェクション平面250は、ヘッドアップディスプレイ213によって生成されたパターンを含む虚像が表示される平面を示す。ユーザ290は、プロジェクション平面250に虚像が配置されたものと認識する。参考として、ヘッドアップディスプレイ213及び車両のフロントガラスによる光学系により、ユーザは、意図的なキャリブレーションパターンとは異なる形態のキャリブレーションパターン(例えば、観測されたパターン)が観測された映像230を視聴できる。観測された映像230は、例示的にキャリブレーションパターンが意図したものよりも更にブラーされたり、グラデーションが追加されたりした形態を示してもよい。
また、ヘッドアップディスプレイ213は、プロジェクション平面250に深度を有するコンテンツ映像を視覚化できる。例えば、プロセッサ212は、オブジェクトが視覚化され得る深度に対応する両眼の視差を有する左映像及び右映像を含むコンテンツ映像を、ヘッドアップディスプレイ213を介してユーザ290に提供することができる。ヘッドアップディスプレイ213は、仮想領域260内に該当する深度を有するコンテンツをプロジェクション平面250に視覚化する。ここで、プロセッサ212は、ヘッドアップディスプレイ213の光学系に基づいて、コンテンツを3次元グラフィック表現(graphic representation)によりレンダリングすることができる。3次元グラフィック表現は、深度を有する立体的なグラフィック表現を示す。ヘッドアップディスプレイ213は、コンテンツが有する深度に基づいて、左映像及び右映像を含むコンテンツ映像をプロジェクション平面250上に形成し、プロジェクション平面250を介して左映像をユーザ290の左眼に、右映像をユーザ290の右眼に提供する。言い換えれば、プロジェクション平面250には1つの虚像が結像されるが、ヘッドアップディスプレイ213及びフロントガラスによる光学系によって1つの虚像から左映像に対応する光及び右映像に対応する光が分離し、それぞれユーザ290の左眼及び右眼に向かうことができる。従って、ユーザ290は、立体的にレンダリングされたコンテンツの深度を認識することができる。
一実施形態に係るヘッドアップディスプレイ213は、例えば、画像生成部214、フォールドミラー(fold mirror)215、及び凹面鏡216を含んでもよい。画像生成部214は、ディスプレイ(例えば、ディスプレイパネル)及び視差光学素子を含んでもよい。視差光学素子は、例えば、レンチキュラレンズ及びパララックスバリア(parallax barrier)を含んでもよい。但し、ヘッドアップディスプレイ213の構成がこれに限定されることなく、設計に応じて、ユーザ290の前方に配置されているガラス窓への投影を介して虚像が結像されるプロジェクション平面250を形成している複数の構成要素を含んでもよい。
本明細書において、電子装置210が車両に装着されている例示を主に説明するが、これに限定されることはない。例えば、電子装置210は、拡張現実メガネ(AR glass、Augmented Reality glass)及び混合現実(MR、mixed reality)などのように、現実と仮想の情報を結合させる技術に適用され、車両の他にも、バイク、飛行機、及び汽車のような乗り物(vehicle)に適用されてもよい。
一実施形態に係る電子装置210はコンテンツの深度を調整することで、ヘッドアップディスプレイ213によって形成されるプロジェクション平面250の位置変更なくても連続的な深度を表現することができる。また、電子装置210は、プロジェクション平面250の位置を変更する必要がないため、ヘッドアップディスプレイ213に含まれている構成要素に対する物理的な操作を要求しない。
図3は、一実施形態に係る電子装置のブロック図を示す。
一実施形態に係る電子装置300は、ディスプレイ310、視差光学素子320、入力受信部330(例えば、入力インターフェース)、プロセッサ340、及びメモリ350を含む。また、電子装置300は、目の検出器(図示せず)を含んでもよい。
ディスプレイ310は、パターン映像及び/又はコンテンツ映像を視覚化して出力することができる。例えば、ディスプレイ310は、電子装置300のプロセッサ340によってレンダリングされた映像を出力する。プロセッサ340は、視差光学素子320に対するパラメータを用いて、キャリブレーションパターンをレンダリングすることでパターン映像を生成し、コンテンツをレンダリングすることでコンテンツ映像を生成することができる。ディスプレイ310は、レンダリングされたパターン映像及び/又はレンダリングされたコンテンツ映像を出力する。パターン映像及びコンテンツ映像は、それぞれ複数の視点に対応する複数の映像(例えば、左映像及び右映像)が混合した映像であってもよい。ディスプレイ310は、出力された映像に対応する光をバックライトユニット及び/又は自発発光を介して生成し、後述する視差光学素子320に伝達することができる。例えば、ディスプレイ310は、バイク、自動車、汽車、船(watercraft)、航空機(aircraft)、及び宇宙船(spacecraft)を含む乗り物に搭載されているヘッドアップディスプレイ(HUD、head-up display)の少なくとも一部として実現され得る。
視差光学素子320は、ディスプレイ310から出力される映像に対応する光を複数の視点に提供することができる。視差光学素子320は、ディスプレイ310の一面(例えば、前面又は後面)上に配置され、ディスプレイ310に出力された映像に対応する光を複数の視点に指向させる光学素子であってもよい。例えば、視差光学素子320は、ディスプレイ310に出力された映像のうち、左映像に対応する部分を通過した光をユーザの左眼への光経路に指向させることができる。同様に、視差光学素子320は、ディスプレイ310に出力された映像のうち、右映像に対応する部分を通過した光をユーザの右眼への光の経路に指向させてもよい。視差光学素子320は、レンチキュラレンズアレイ(lenticular lens array)、パララックスバリア(parallax barrier)、及び方向性(指向性)バックライトユニット(directional back light unit)のような光学レイヤを含んでもよい。
参考として、図2を参照して前述した画像生成部214は、ディスプレイ310及び視差光学素子320を含んでもよい。但し、図2において、車両でフロントガラスを通した立体映像を提供するための例示としてヘッドアップディスプレイ213を主に説明したが、これに限定されることはない。ヘッドアップディスプレイ213の鏡215,216は、ディスプレイ及び視差光学素子320によって生成された映像に対応する光を拡大してユーザに提供し、アプリケーションにより映像の拡大のための光学系は変更されてもよい。例示的に、HUDの設計に応じて鏡が省略されてもよく、平板ディスプレイ(例えば、TV)において鏡が不要であってもよい。その後、説明の便宜のために、図3~図13においては前述した映像の拡大のための光学系(例えば、フォールドミラー及び凹面鏡)の説明を省略し、主に、ディスプレイ及びその前面又は後面に配置している視差光学素子320(例えば、前面に配置されているレンチキュラレンズ又は後面に配置されている方向性(指向性)バックライトユニット)によって直ちにユーザの目(例えば、左眼)に向かう光の経路について説明する。例示的に、レンチキュラレンズがディスプレイパネルの一面にラミネートされてもよい。但し、これに限定されることなく、アプリケーションにより、必要に応じて虚像平面を形成するための複数の光学素子(例えば、鏡)をさらに含んでもよい。
前述したディスプレイ310及び視差光学素子320の組み合わせを通じて、電子装置300はユーザの左眼に左映像を提供し、右眼に右映像を提供する。電子装置300は、左映像においてコンテンツが視覚化されたグラフィックオブジェクト、及び右映像においてコンテンツが視覚化されたグラフィックオブジェクトを、互いに対して両眼の視差に基づいて離隔させることで、深度のあるコンテンツをユーザに立体的なグラフィックオブジェクトに視覚化して提供することができる。
入力受信部330は、ユーザの入力を受信する。一実施形態によれば、入力受信部330は、複数の視点のうち、基準視点でパターン映像を観測したユーザから視差光学素子320に対するキャリブレーションのための入力を受信する。例えば、入力受信部330は、タッチパネル、タッチスクリーン、ダイヤル、ジョグダイヤル、シャトルダイヤル、クリックホイール、ボタン、スライダバー、操作レバーのうち少なくとも1つ又は2以上の組み合わせを含んでもよい。タッチパネルは、ユーザからタッチ入力を検出する。タッチスクリーンは、画面を出力してユーザからタッチ入力を検出する。タッチ入力は、ユーザの物体(例えば、指及びペン)とタッチパネル及び/又はタッチスクリーン間の接触が形成される入力を示す。ダイヤルは、ユーザからダイヤルノブを時計回り又は反時計回りに回す回転操作を検出する。シャトルダイヤルは、ダイヤルノブの外郭環が回転可能に結合されたダイヤルとして、外郭環の時計回り又は反時計回りの回転操作を検出する。ジョグダイヤルは、ダイヤルノブの内部上面が回転可能に結合されたダイヤルとして、内部上面の時計回り又は反時計回りの回転操作を検出する。クリックホイールは、環状のタッチ検出インターフェースとしてタッチ地点が環状の中心点を基準にして、時計回り又は反時計回りに回転して移動するか否かを検出する。ボタンは、ユーザの押す操作を検出し、例示的に増加(例えば、「+」)ボタン及び減少(例えば、「-」)ボタンを含んでもよい。スライダバーは、物理的にスライド移動可能なレバー又はスライド移動可能なグラフィックオブジェクトを出力するタッチスクリーンとして実現することができる。操作レバーは、少なくとも一方向に転換可能なレバーとして、例えば、上下双方向又は左右双方向に転換可能である。
本明細書において、パターン映像は、キャリブレーションのためのパターン(以下、「キャリブレーションパターン」)を示す映像であって、キャリブレーションパターンを含む1つ以上のソース映像が視差光学素子のパラメータを用いてレンダリングされた映像を示す。キャリブレーションパターン及びパターン映像は、下記の図4及び図5を参照して説明する。
プロセッサ340は、キャリブレーションパターンをレンダリングすることにより生成されたパターン映像を基準視点に向かって出力することができる。プロセッサは、入力に応答して、視差光学素子320のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つ又は2以上の組み合わせを調整することができる。プロセッサは、調整されたパラメータに応じてキャリブレーションパターンを再びレンダリングすることで変更されたパターン映像をディスプレイを介して出力する。プロセッサ340の動作が前述に限定されず、プロセッサ340の詳細な動作について、下記の図4~図14を参照して説明する。視差光学素子320の各パラメータは、下記の図6を参照して説明する。
メモリ350は、キャリブレーションに要求される情報を一時的又は永久的に格納する。例えば、メモリ350は、プロセッサ340によって実行され、下記の図4~図14による動作を行うための命令語を格納する。また、メモリ350は、キャリブレーションされた複数のパラメータ(例えば、ピッチパラメータ、斜め角度パラメータ、位置オフセットパラメータ)を格納してもよい。
目の検出器(図示せず)は、ユーザの目(例えば、左眼及び/又は右眼)の位置を検出する。電子装置は、ディスプレイ310及び視差光学素子320を介して複数の視点に映像を提供できるが、キャリブレーションのためのパターン映像を複数の視点のうち、基準視点のみに提供することができる。電子装置は、前述した目の検出器(図示せず)を介してユーザの両眼のうち基準となる目(例えば、左眼)の位置を検出し、基準となる目に対応する位置を基準視点として決定することができる。目の検出器(図示せず)は、図2において、例示的に車両の内部を撮影可能なカメラを含んでもよい。目の検出器(図示せず)は、ユーザ(例えば、運転者)を含んで車両内部を撮影した映像から目の位置を検出することができる。但し、これに限定されることなく、電子装置のプロセッサ340が内部カメラによって撮影された内部映像を受信し、受信された内部映像からユーザの目の位置を検出及び/又は追跡してもよい。
図4は、一実施形態に係る視差光学素子のキャリブレーションのためのソース映像、パターン映像、及び観測された映像を示す。
キャリブレーションシステム400は電子装置420を含む。電子装置420は、視差光学素子421(例えば、図3に示す視差光学素子320)及びディスプレイパネル422(例えば、図3に示すディスプレイ310)を含んでもよい。
電子装置420は、ソース映像に基づいてパターン映像を生成する。ソース映像は電子装置420に格納されているか、又は、他の外部装置によって電子装置420に提供されてもよい。ソース映像は、それぞれの視点(view)に対応する。例えば、n個のソース映像のそれぞれは、第1視点ないし第n視点に個別的に対応する。ここで、nは2以上の整数であってもよい。本明細書において、主にn=2である例示を説明するが、これに限定されることはない。いずれかユーザの両眼それぞれに対応する視点にのみ映像が提供される場合、n=2であってもよい。以下で詳細に説明するが、電子装置420は、パラメータに基づいてソース映像に対応する複数の視点のうち、基準視点に該当する映像が基準視点として観測されるようパターン映像を生成することができる。例示的に、基準視点は、ユーザの左眼に対応する視点であってもよい。ユーザは、キャリブレーションの間に右眼を閉じ、左眼にのみパターン映像を観測してキャリブレーション手続を行う。
電子装置420は、ディスプレイパネル422を介してパターン映像を表示することができる。パターン映像は、線型パターンを含むソース映像に基づいて生成され、キャリブレーションパターンを示すパネル映像として理解される。参考として、パターン映像では、キャリブレーションパターンが分割されて表現され、個別視点でパターン映像の分割された部分が、視差光学素子を介して組み合せられてキャリブレーションパターンを観測することができる。図4に示す観測された映像431,432において、キャリブレーションパターンは厚さをもってブラーされた水平線として図示されたが、これに限定されることなく、キャリブレーションパターンは、厚さをもってブラーされた垂直線であってもよい。後述するが、パラメータの種類ごとに水平線状のキャリブレーションパターン、垂直線状のキャリブレーションパターンが使用されてもよい。
キャリブレーションパターンは、1つ以上のソース映像に含まれているパターン(例えば、線型パターン)が組み合せられたパターンであってもよい。例えば、キャリブレーションパターンは、基準視点に対応するソース映像のパターンを基準にし、他の視点に対応するソース映像のパターンの一部が組み合せられたパターンであってもよい。キャリブレーションパターンは、基準視点に対応するソース映像のパターン全体を含み、基準視点(例えば、第i視点)に隣接している視点(例えば、i-1視点及び第i+1視点)に対応するソース映像のパターンの一部を含んでもよい。キャリブレーションパターンにおいて、基準視点から遠い視点(例えば、第1視点及び第n視点)に対応するソース映像のパターンは、基準視点に隣接している視点に対応するソース映像のパターンよりも少なく含まれてもよい。人の目は、焦点を基準にして鮮明に認識し、周辺領域はぼやけるようように認識するが、人の目に対応するアイボックス(eyebox)を基準にして設定されるキャリブレーションパターンは、前述した現像を模写して各視点のソース映像の線型パターンが結合されたパターンであってもよい。従って、上述したように、各視点で観測された映像431,432において基準視点に対応する線型パターンが比較的に鮮明に示され、周辺視点及び遠い視点に対応する線型パターンは比較的にぼやけて示される。
視差光学素子421は、裸眼方式に基づいてパターン映像を3D映像に変換することができる。視差光学素子421は、レンチキュラレンズアレイ(lenticular lens array)、パララックスバリア(parallax barrier)、及び方向性(指向性)バックライトユニット(directional back light unit)のような光学レイヤを含んでもよい。図4には、便宜上、視差光学素子421がレンチキュラレンズアレイ及びパララックスバリアの例示であって、ディスプレイパネル422の前面に位置するものと図示したが、視差光学素子421は、方向性(指向性)バックライトユニットのようにディスプレイパネル422の後面に位置してもよい。
視差光学素子421は、ディスプレイパネル422に提供される、あるいはディスプレイパネル422から出力される光に指向性を付与することができる。指向性光を介して複数の視点(例えば、視聴者(viewer)の両眼に対応する視点)に互いに異なる映像が照射され、視聴者は立体感を感じる。裸眼方式でユーザの両眼に互いに異なる映像が正確に照射されなければ、3D映像にクロストークが発生する恐れがある。例えば、電子装置420の生産過程又は設置過程などで、電子装置420のパラメータの設計値及び実際値の間に誤差が発生する場合、このようなクロストークが発生する恐れがある。
参考として、第1視点では、第1ソース映像を含む1つ以上のソース映像をレンダリングして生成された第1パターン映像に対応する映像が観測され、第n視点では、第nソース映像を含む1つ以上のソース映像をレンダリングして生成された第nパターン映像に対応する映像が観測される。第1観測された映像431は、第1パターン映像に対応する光が視差光学素子421を通過して第1視点に到達することにより観測される映像を示す。第n観測された映像439は、第nパターン映像に対応する光が視差光学素子421を通過して第n視点に到達することにより観測される映像を示す。いずれかの視点(例えば、基準視点)に対応するパターン映像は、ディスプレイパネル422から該当視点に向かう光が通過する部分において表示される。例えば、パターン映像において、キャリブレーションパターンは、ディスプレイパネル422から基準視点に向かう光が通過する部分に分割されて表現されてもよい。キャリブレーションパターンの分割された部分に対応する光は、視差光学素子421を通過して基準視点で組み合せられることによって、ユーザは、基準視点でキャリブレーションパターンを観測することができる。
一実施形態によれば、電子装置420は、ユーザの基準目の位置を検出する。例えば、電子装置420は、電子装置420内に又は、電子装置420の周辺に設置されている別途のカメラ(図示せず)を介してユーザの目の位置を検出してもよい。電子装置400は、検出されたユーザの目の位置に対応する基準視点でパターン映像が観測されるようにレンダリングすることができる。
図5は、一実施形態に係るソース映像及び観測された映像を示す。
第1ソース映像510及び第2ソース映像520は、複数の視点(第1視点~第n視点)に対応する。第1ソース映像510のそれぞれは、対応する視点により異なる位置に水平線状の線型パターンを含んでもよい。第2ソース映像520は、対応する視点により異なる位置に垂直線状の線型パターンを含んでもよい。第1ソース映像510は第1パターン映像の生成のために使用され、第2ソース映像520は第2パターン映像の生成のために使用される。例えば、電子装置は、第i視点におけるキャリブレーションのために第i視点に対応する第1ソース映像を含む1つ以上のソース映像を、視差光学素子のパラメータを用いてレンダリングすることで、第i視点に対応する第1パターン映像を生成することができる。ここで、iは、1以上n以下の整数であってもよい。異なる例として、電子装置は、第i視点に対応する第2ソース映像を含む1つ以上のソース映像を視差光学素子のパラメータを用いてレンダリングすることで、第i視点に対応する第2パターン映像を生成することができる。
参考として、複数のパラメータのうち個別パラメータのキャリブレーション時に、該当のパラメータがキャリブレーションされているかを判断するために容易なキャリブレーションパターンが存在することがある。第1ソース映像510は、水平線を除いた残りの領域に黒い領域を含む。第2ソース映像520は、垂直線を除いた残りの領域に黒い領域を含む。第1ソース映像510は、ピッチパラメータをキャリブレーションするのに容易であり、第2ソース映像520は、斜め角度パラメータをキャリブレーションするのに容易である。ソース映像のうち、基準視点に対応するソース映像の線型パターンは、他の視点の線型パターンの色(例えば、白色)と異なる色(例えば、緑色)に変更されてもよい。
電子装置(例えば、図3に示す電子装置300)は、基準視点において、基準視点に対応するソース映像が表現されるようライトフィールドレンダリング(light field rendering)を介してパターン映像を生成することができる。図5では、基準視点が第1視点であり、第1視点に対してパターン映像がレンダリングされた例示について説明する。パラメータキャリブレーションが完了した状態でパターン映像の出力を仮定する場合、ユーザは、基準視点で第1観測された映像519及び第2観測された映像529を視聴する。理想的な環境であれば、第1観測された映像519及び第2観測された映像529は、それぞれ基準視点に対応してソース映像が組み合せられたキャリブレーションパターンと同一でなければならないが、クロストークが存在する実際の環境では、観測された映像519,529においてそれぞれ基準視点に対応するキャリブレーションパターンにグラデーションがさらに追加された形態、又は、キャリブレーションパターンがよりブラーされた形態のように観測される。参考として、図5では、キャリブレーションの完了されたパラメータを用いたレンダリングの例示を説明したが、第1観測された映像519において、キャリブレーションパターンが水平線(例えば、厚さをもってブラーされた形状の水平線)として観測され、第2観測された映像529においてキャリブレーションパターンが垂直線(例えば、厚さをもってブラーされた形状の垂直線)として観測された。キャリブレーションが完了する前であれば、それぞれの線型キャリブレーションパターンは、垂直線又は水平線でない斜めの線型パターンとして観測される。以下、図6を参照して前述したキャリブレーションパターンの整列のためのパラメータについて説明する。
図6は、一実施形態に係る視差光学素子のパラメータを説明する。
第1ソース映像610に基づいた第1観測された映像615はユーザによって視聴され、第2ソース映像620に基づいた第2観測された映像615が取得される。参考として、クロストークを含んで示された図5とは異なって、図6では、便宜のために第1観測された映像615及び第2観測された映像625は、キャリブレーションが完了した状態及びクロストークのない理想的な環境で観測される形態に図示している。
電子装置(例えば、図3に示す電子装置300)のパラメータは、視差光学素子651(例えば、図3に示す視差光学素子320)のパラメータと称されてもよい。視差光学素子651のパラメータは、ピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータを含んでもよい。
ピッチパラメータは、視差光学素子651の単位要素(unit element)のピッチpを示すパラメータであってもよい。視差光学素子651は、単位要素を含んでもよい。単位要素は、ディスプレイ652を介して出力される映像に対応する光に指向性を付与する単位光学素子として、例示的に、パララックスバリアのスリット(slit)及びレンチキュラレンズの単位レンズを含んでもよい。単位要素は、ディスプレイ652の一面上に配置される光学レイヤに対応する平面で一軸に沿って周期的に配置されてもよい。ピッチパラメータは、単位要素の周期的な配置の間隔を示す。図6において、ピッチパラメータは、単位要素の水平方向周期を示す。3D映像内視点(view)が繰り返される区間の長さがピッチpにより決定されてもよい。ピッチパラメータを介して第1観測された映像615内の線型パターンの斜め(例えば、水平の斜め)が調整され得る。言い換えれば、ピッチパラメータの調整を介してパターン映像に対応する線型キャリブレーションパターンが回転されることができる。
斜め角度パラメータ(slanted angle parameter)は、視差光学素子651の単位要素のディスプレイ652の基準軸に対する傾きを示す。図6において、ディスプレイ652の基準軸は縦軸として示され、斜め角度θは、単位要素が縦軸に対して形成している傾きを示す。斜め角度パラメータを介して第2観測された映像625内の線型パターンの傾きが調整されることができる。
位置オフセットパラメータは、視差光学素子651とディスプレイ652との間の相対位置を示す。例えば、位置オフセットパラメータは、単位要素の開始位置(start position)及びディスプレイ652の開始ピクセル間の位置オフセットsを示す。図6では、ディスプレイ652の左側上段の開始ピクセル基準として、左側の単位要素の開始位置間の水平オフセットとして示されている。電子装置は、位置オフセットパラメータを介して第1観測された映像615内の線型パターンの垂直位置及び第2観測された映像625内の線型パターンの水平位置を調整することができる。
一実施形態によれば、電子装置のプロセッサは、ピッチパラメータに対応する第1パターン映像、斜め角度パラメータに対応する第2パターン映像、及び位置オフセットパラメータに対応する第3パターン映像のうち少なくとも1つ又は2以上の組み合わせをユーザに提供する。第1パターン映像は、水平線をそれぞれ含む第1ソース映像に基づいて生成される。第2パターン映像は、垂直線をそれぞれ含む第2ソース映像に基づいて生成される。第3パターン映像は、垂直線及び水平線のうちの1つを含むキャリブレーションパターンで生成される。以下で説明するように、ピッチパラメータは、横パターンを介して他のパラメータとは独立的にキャリブレーションすることができる。また、ピッチパラメータがキャリブレーションされれば、斜め角度パラメータは、縦パターンを介して他のパラメータとは独立的にキャリブレーションされる。電子装置は、第1パターン映像、第2パターン映像、及び第3パターン映像のうち2以上を同時に提供してもよいが、それぞれ順次的に1つずつ提供してもよい。
様々な実施形態によれば、第1パターン映像を用いた第1キャリブレーション及び第2パターン映像を用いた第2キャリブレーションが順次実行されてもよい。電子装置は、第1パターン映像の提供を通したピッチパラメータの調整が完了する場合に応答して、第2パターン映像をユーザに提供することができる。電子装置は、第2パターン映像の提供を通した斜め角度パラメータの調整が完了する場合に応答して、第3パターン映像をユーザに提供することができる。ピッチパラメータの調整が斜め角度パラメータに影響を与えるため、ピッチパラメータの調整が先行されてもよい。
第1キャリブレーションにおいて、ユーザは、電子装置によって表示された第1パターン映像を観測し、観測された映像を考慮して電子装置の第1パラメータセット(例えば、ピッチパラメータ)を調整するためのキャリブレーション入力を行う。第1キャリブレーションにおいて、第1パターン映像の提供及び第1パラメータセットの調整は、ユーザによって該当キャリブレーションが終了するまで繰り返される。第2キャリブレーションにおいて、ユーザは、電子装置によって表示された第2パターン映像を観測し、観測された映像を考慮して電子装置の第2パラメータセット(例えば、斜め角度パラメータ)を調整する。第2キャリブレーションにおいて、第2パターン映像の提供及び第2パラメータセットの調整は、ユーザにより該当キャリブレーションが終了するまで繰り返される。その後、位置オフセットパラメータのキャリブレーションのための第3キャリブレーションが同様に実行される。
実施形態に係る横パターン及び縦パターンを用いた順次的なキャリブレーション過程は、チェックパターンなどの異なる複雑なパターンを用いたキャリブレーション過程に比べて低解像度で効率よく実行されることができる。横パターンを用いたキャリブレーション及び縦パターンを用いたキャリブレーションとが分離して実行されるため、キャリブレーションの作業が単純になる。裸眼式3D映像技術は、HUD(head up display)のような低解像度デバイスで実現することができる。HUDの場合、一般的なディスプレイ装置に比べて視聴距離が長く、1枚のパターン映像でパラメータを推定するためには解像度が足りない。また、HUD装置を構成している反射屈折光学系(catadioptric system)によって3D映像に歪みが発生する恐れがある。実施形態に係るキャリブレーションは、単純なパターンを介して順次進行されるため、このような低解像度デバイスや光学系を含むデバイスにおいても高い性能を発揮することができる。
図7~図9は、一実施形態に係るパラメータの調整によるパターン映像の変化を説明する。
図7は、ピッチパラメータの調整によるパターン映像の変化を示す。
例えば、ピッチパラメータのキャリブレーションが完了しなければ、ユーザは、観測された映像711,712から角度が非整列されたキャリブレーションパターンが観測される。例えば、ソース映像のキャリブレーションパターンは、線型パターン(例えば、厚さを有する単一水平線パターン)であってもよい。ユーザに観測される映像711,712に示された線型パターンは、水平とは相違しやや傾いた形態として厚さを有してもよい。
電子装置は、該当の線型パターンが水平に現れるようにユーザがピッチパラメータを調整するよう誘導することができる。例えば、電子装置は、基準線790と共にキャリブレーションパターンをユーザに提供してもよい。厚さを有する線型パターンは、基準線790の少なくとも一部を含んでもよい。基準線790は、図7において、例示的に画面の水平線に対応する。クロストークによって基準線790はやや曲がった形態であってもよい。図7に示すように、観測された映像711,712において、基準線790が遮られて一部のみがユーザによって観測されてもよい。キャリブレーションされた映像719では基準線の全てが現れてもよい。
一実施形態に係るプロセッサは、入力により視差光学素子のパラメータのうちピッチパラメータを増加させる場合に応答して、第1パターン映像に対応するパターンをユーザが観測する方向から反時計回りに回転させることができる。例えば、電子装置はユーザの入力に応答して、視差光学素子のピッチパラメータを以前に設定された値よりも大きい値に変更し、増加されたピッチパラメータを用いて、第1ソース映像を含む1つ以上のソース映像を再びレンダリングすることにより生成された新しい第1パターン映像を出力することができる。図7に示すように、ピッチパラメータの設定値が増加する場合、新しい第1パターン映像に対応するキャリブレーションされた映像719では、以前の第1パターン映像に対応する第1観測された映像711の線型パターンから反時計回りに回転したパターンが観測される。
また、プロセッサは、入力により視差光学素子のパラメータのうちピッチパラメータを減少させる場合に応答して、第1パターン映像に対応するパターンをユーザが観測する方向から時計回りに回転させることができる。例えば、電子装置は、ユーザの入力に応答して視差光学素子のピッチパラメータを以前に設定された値よりも小さい値に変更し、減少したピッチパラメータを用いて第1ソース映像を含む1つ以上のソース映像を再びレンダリングすることにより生成された新しい第1パターン映像を出力することができる。図7に示すように、ピッチパラメータの設定値が減少する場合、新しい第1パターン映像に対応するキャリブレーションされた映像719では、以前の第1パターン映像に対応する第1観測された映像712の線型パターンから時計回りに回転したパターンが観測される。
参考として、例示的に、n個(例えば、17個)の視点に対応するビュー映像(例えば、ソース映像)をレンダリングするとき、電子装置は、基準視点である第i視点に対応するビュー映像(例えば、8番目のビュー映像)の線型パターンを基準色(例えば、緑色)にして視覚化することができる。基準色は、他のソース映像の線型パターンの色とは区別される異なる色である。キャリブレーションパターンは、全体n個の視点に対応するビュー映像をレンダリングすることにより生成及び出力された、パネル映像(例えば、パターン映像)をn等分した部分映像のうち1つの視点(例えば、基準視点)で観測されるパターンを示す。キャリブレーションパターンにおいて、基準線790は基準視点に位置する人の目に到達するビュー映像のうち中間のビュー映像(例えば、17個の視点のうち中間である8番目の視点に対応するビュー映像)の線型パターンを示す。
キャリブレーションパターンが回転しても、基準線790は回転することなく固定され、キャリブレーションパターンの回転により基準線790で遮られた部分が現れる。前述したキャリブレーションパターンの回転を介して、基準線790で遮られた部分が現れることにより、キャリブレーションパターンが基準線790に整列されることができる。プロセッサは、キャリブレーションパターン(例えば、線型パターン)が基準線790に整列されるまで、ユーザからキャリブレーションの入力を引き続き受信することができる。例えば、ユーザは、線型パターンが基準線790(例えば、水平線)に平行にピッチパラメータを調整してもよい。プロセッサは、ユーザから第1キャリブレーションの終了入力を受信する場合、ピッチパラメータのキャリブレーションが完了したものと決定する。言い換えれば、キャリブレーションパターンと基準線790との間の整列の有無は、ユーザによって決定されてもよい。但し、基準線790が必ず提示されなければならないものではなく、設計に応じて、電子装置は、ユーザからピッチパラメータのキャリブレーションの間にユーザによって観測されるキャリブレーションパターンの線型パターンを水平にするピッチパラメータの調整入力を受信してもよい。言い換えれば、ユーザが目分量で第1パターン映像に対応するキャリブレーションパターンを水平に調整することができる。
図8は、斜め角度パラメータの調整によるパターン映像の変化を示す。
例えば、斜め角度パラメータのキャリブレーションが完了していなければ、ユーザは、観測された映像821,822から角度が非整列されたキャリブレーションパターンを観測することができる。例えば、ソース映像のパターンは、線型パターン(例えば、厚さを有する単一垂直線のパターン)であってもよい。ユーザに観測される映像821,822に示された線型パターンは、垂直とは相違しやや傾いた形態でありながら、厚さを有してもよい。
電子装置は、該当の線型パターンが垂直に現れるようにユーザが斜め角度パラメータを調整するよう誘導することができる。例えば、電子装置は、基準線890を含むキャリブレーションパターンをユーザに提供することができる。厚さを有する線型パターンは、基準線の少なくとも一部を含んでもよい。基準線890は、図8において例示的に画面の垂直線に対応する。図8に示すように、観測された映像821,822において、基準線890が遮られて一部のみがユーザによって観測されてもよい。キャリブレーションされた映像819では基準線の全てが現れてもよい。
一実施形態に係るプロセッサは、入力により視差光学素子のパラメータのうち斜め角度パラメータを増加させる場合に応答して、第2パターン映像に対応するパターンをユーザが観測する方向から時計回りに回転させることができる。例えば、電子装置は、ユーザの入力に応答して、視差光学素子の斜め角度パラメータを以前に設定された値よりも大きい値に変更し、増加された斜め角度パラメータを用いて第2ソース映像を含む1つ以上のソース映像を再びレンダリングすることにより生成された新しい第2パターン映像をディスプレイに出力することができる。図8に示すように、斜め角度パラメータの設定値が増加する場合、新しい第2パターン映像に対応するキャリブレーションされた映像829では、以前の第2パターン映像に対応する第2観測された映像821の線型パターンから時計回りに回転したパターンが観測される。
また、プロセッサは、入力により視差光学素子のパラメータのうち斜め角度パラメータを減少させる場合に応答して、第2パターン映像に対応するパターンをユーザが観測する方向から反時計回りに回転させることができる。例えば、電子装置は、ユーザの入力に応答して、視差光学素子の斜め角度パラメータを以前に設定された値よりも小さい値に変更し、減少された斜め角度パラメータを用いて、第2ソース映像を含む1つ以上のソース映像を再びレンダリングすることにより生成された新しい第2パターン映像を出力することができる。図8に示すように、斜め角度パラメータの設定値が減少する場合、新しい第2パターン映像に対応するキャリブレーションされた映像829では、以前の第2パターン映像に対応する第2観測された映像822の線型パターンから反時計回りに回転したパターンが観測される。
ユーザは、線型パターンが基準線890(例えば、垂直線)に平行に傾いた角度パラメータを調整することができる。プロセッサは、ユーザから第2キャリブレーションの終了入力を受信する場合、斜め角度パラメータのキャリブレーションが完了したものと決定する。言い換えれば、キャリブレーションパターンと基準線890との間の整列の有無は、ユーザによって決定されてもよい。但し、基準線890が必ず提示されなければならないものではなく、設計に応じて、電子装置は、ユーザから斜め角度パラメータのキャリブレーションの間にユーザによって観測されるキャリブレーションパターンの線型パターンを垂直にする斜め角度パラメータの調整入力を受信することができる。言い換えれば、ユーザが目分量で第2パターン映像に対応するキャリブレーションパターンを垂直に調整することができる。
図9は、位置オフセットパラメータの調整によるパターン映像の変化を示す。
例えば、位置オフセットパラメータのキャリブレーションが完了されなければ、ユーザは、観測された映像921a、922a、921b、922bから位置の非整列されたキャリブレーションパターンを観測することができる。例えば、基準視点のために組み合せられたキャリブレーションパターンは、線型パターン(例えば、単一水平線のパターン又は単一垂直線のパターン)であってもよい。言い換えれば、位置オフセットパラメータのキャリブレーションのための第3パターン映像は、1つ以上の第1ソース映像を用いてレンダリングされたり、1つ以上の第2ソース映像を用いてレンダリングされたりしてもよい。垂直パターン及び水平パターンのいずれか1つが中心に整列されれば、残りの1つも中心に整列されるため、位置オフセットパラメータは、垂直パターン及び水平パターンのいずれか1つを用いて調整され得る。参考として、位置オフセットパラメータは、線型パターンの傾きには影響を与えないことがある。位置オフセットパラメータは、ピッチパラメータ及び斜め角度パラメータとは独立的に調整され得る。
一実施形態に係るプロセッサは、入力に応じて、視差光学素子のパラメータのうち位置オフセットパラメータを増加させる場合に応答して、第3パターン映像に対応するパターンをユーザが観測する方向から一方向に移動させることができる。例えば、第3パターン映像に対応するパターンが水平パターンであるとき、位置オフセットパラメータを増加させた場合、電子装置は、第3観測された映像921aのパターンを第1方向(例えば、下向き)に移動させたキャリブレーションされた映像929aを提供することができる。第3パターン映像に対応するパターンが垂直パターンであるとき、位置オフセットパラメータを増加させた場合、電子装置は、他の第3観測された映像921bのパターンを第3方向(例えば、右側から左側に向かう方向)に移動させたキャリブレーションされた映像929bを提供することができる。
また、プロセッサは、入力に応じて視差光学素子のパラメータのうち位置オフセットパラメータを減少させる場合に応答して、第3パターン映像に対応するパターンをユーザが観測する方向から一方向と反対となる他の方向に移動させることができる。例えば、第3パターン映像に対応するパターンが水平パターンであるとき、位置オフセットパラメータを減少させた場合、電子装置は、第2観測された映像922aのパターンを第1方向から反対となる第2方向(例えば、上向き)に移動させたキャリブレーションされた映像929aを提供することができる。第3パターン映像に対応するパターンが垂直パターンであるとき、位置オフセットパラメータを減少させた場合、電子装置は、他の第2観測された映像922bのパターンを第4方向(例えば、左側から右側に向かう方向)に移動させたキャリブレーションされた映像929bを提供することができる。
前述した位置オフセットパラメータの調整を介して電子装置は、基準線991,992がキャリブレーションパターンの中心に位置するよう、キャリブレーションパターンの位置を移動させることができる。ユーザが目分量で第3パターン映像に対応するキャリブレーションパターンが観測される範囲(例えば、視野)の中心(例えば、基準線に対応する位置)に整列されるように調整することができる。
図10は、一実施形態に係るスライダバーを介したパラメータ調整を示す。
一実施形態によれば、電子装置は、タッチスクリーンを介してスライダバーインターフェース1020を出力する。電子装置は、タッチスクリーンでスライダバーオブジェクトを移動させるタッチ操作をユーザ1090から受信してもよい。例えば、電子装置は、ユーザ1090入力によってスライダバーオブジェクトが一方向(例えば、左側から右側方向)に移動する場合に応答して、パラメータを増加させることができる。異なる例として、電子装置は、ユーザ1090入力によってスライダバーオブジェクトが他の方向(例えば、右側から左側方向)に移動する場合に応答して、パラメータを減少させてもよい。図10に示した例示は、ピッチパラメータのキャリブレーションを示している。電子装置は、スライダバーオブジェクトが一方向に移動する場合に応答して、ピッチパラメータを増加させることができる。例えば、電子装置は、スライダバーオブジェクトの一方向移動を検出する場合、観測された映像1011のパターンを反時計回りに回転させることによりキャリブレーションされた映像1019をユーザ1090に提供することができる。
図11は、一実施形態に係るタッチインターフェースを介したパラメータ調整を示す。
一実施形態によれば、プロセッサは、入力受信部で回転操作1129を検出可能な入力モジュール(例えば、入力装置)にピッチパラメータ及び斜め角度パラメータのうち少なくとも1つのパラメータの調整をマッピングすることができる。例えば、入力受信部は、ユーザから回転操作1129を検出することができる。入力受信部が複数の入力モジュールを含んでもよく、電子装置は、複数の入力モジュールのうち回転操作1129の検出可能な入力モジュールを選択してもよい。プロセッサは、視差光学素子のキャリブレーションの間に入力受信部でユーザによる回転操作1129を検出する場合に応答して、視差光学素子のパラメータのうち、ピッチパラメータ及び斜め角度パラメータの少なくとも1つを調整することができる。電子装置は、物理的な回転操作1129を検出できる物理的な操作インターフェース(例えば、回転ダイヤル)及び/又はタッチインターフェース(例えば、タッチパネル及びタッチスクリーン1120)を介してピッチパラメータ及び/又は斜め角度パラメータを調整することができる。例示的に、図11において、タッチスクリーン1120を介して回転操作1129を検出する例示を示す。
入力受信部は、タッチスクリーン1120を含んでもよい。プロセッサは、ピッチパラメータ及び斜め角度パラメータのうち少なくとも1つのパラメータに対するキャリブレーションの間に回転操作1129をガイドする第1グラフィック表現1125をタッチスクリーン1120に出力することができる。例えば、図11において、電子装置は、回転操作1129をガイドする円形の第1グラフィック表現1125をタッチスクリーン1120に出力してもよい。プロセッサは、第1グラフィック表現1125に対応してタッチスクリーン1120上の一地点を基準にして少なくとも部分的に円形軌跡に沿ったタッチ地点の移動を検出する場合に応答し、ピッチパラメータ及び斜め角度パラメータのうち少なくとも1つのパラメータを調整することができる。
例示的に、円形軌跡の中心点を基準にしてタッチ地点が時計回りに円形軌跡に沿って移動する場合、電子装置は、観測されるキャリブレーションパターン1110を時計回りに回転させることができる。ピッチパラメータのキャリブレーションでタッチ地点が時計回りに回転移動した場合、電子装置は、ピッチパラメータを減少させることができる。斜め角度パラメータのキャリブレーションでタッチ地点が時計回りに回転移動した場合、電子装置は、斜め角度パラメータを増加させることができる。タッチ地点が反時計回りに移動する場合、電子装置は、ピッチパラメータの増加及び/又は斜め角度パラメータの減少を行ってもよい。
但し、タッチインターフェースにおいて、回転操作1129の検出のみを支援するものと限定することはない。プロセッサは、入力受信部で直線操作を検出できる入力モジュールに位置オフセットパラメータの調整をマッピングすることができる。入力受信部が複数の入力モジュールを含んでもよく、電子装置は、複数の入力モジュールのうち、直線操作(例えば、線型操作)を検出できる入力モジュールを選択してもよい。例えば、プロセッサは、位置オフセットパラメータに対するキャリブレーションの間に直線操作をガイドする第2グラフィック表現をタッチスクリーン1120に出力する。プロセッサは、位置オフセットパラメータのキャリブレーションの間に、図10を参照して前述したスライダバーインターフェースを第2グラフィック表現としてタッチスクリーン1120を介して出力することができる。プロセッサは、第2グラフィック表現に対応してタッチスクリーン1120上の一地点から他の地点までタッチ地点の線型移動を検出する場合に応答して、位置オフセットパラメータを調整することができる。例示的に、プロセッサは、第2グラフィック表現を一方向に移動させる場合、位置オフセットパラメータを増加させ、他方向に移動させる場合、位置オフセットパラメータを減少させる。電子装置は、第2グラフィック表現の一方向への移動が検出される場合、キャリブレーションパターン1110も一方向に線型移動させてもよい。同様に、電子装置は、第2グラフィック表現の他方向への移動が検出される場合、キャリブレーションパターン1110を他方向に線型移動させることができる。
図11では、タッチインターフェースにおける回転操作及び直線操作について説明したが、これに限定されることなく、図12では、物理的な操作インターフェース及びパラメータ調整間のマッピングについて説明する。
図12は、一実施形態に係るダイヤルインターフェースを介したパラメータ調整を示す。
一実施形態によれば、電子装置の入力受信部は、ダイヤルインターフェース1221を含む。ダイヤルインターフェース1221において、ダイヤルノブは時計回り又は反時計回りに回転可能に電子装置と結合されている。また、ダイヤルノブは、一軸に沿って移動可能に電子装置と結合されてもよい。言い換えれば、ダイヤルインターフェース1221は、回転操作及び直線操作を全て検出することができる。
例えば、プロセッサは、ピッチパラメータに対応する第1パターン映像を提供する間に、入力受信部で反時計回りの回転操作を検出する場合に応答して、第1パターン映像に対応するキャリブレーションパターン1210を反時計回りに回転させることができる。プロセッサは、ピッチパラメータに対応する第1パターン映像を提供する間に、入力受信部で反時計回りの回転操作を検出する場合に応答して、ピッチパラメータを増加させることができる。電子装置は、ダイヤルインターフェース1221からダイヤルノブの反時計回りへの回転を検出する場合、上述したように、ピッチパラメータを増加させることによってキャリブレーションパターン1210を反時計回りに回転させることができる。
異なる例として、プロセッサは、ピッチパラメータに対応する第1パターン映像を提供する間に、入力受信部で時計回りの回転操作を検出する場合に応答して、第1パターン映像に対応するキャリブレーションパターン1210を時計回りに回転させることができる。プロセッサは、ピッチパラメータに対応する第1パターン映像を提供する間に、入力受信部で時計回りの回転操作を検出する場合に応答して、ピッチパラメータを減少させることができる。電子装置は、ダイヤルインターフェース1221からダイヤルノブの時計回りへの回転を検出する場合、上述したように、ピッチパラメータを減少させることでキャリブレーションパターン1210を時計回りに回転させることができる。
従って、電子装置は、ピッチパラメータの調整時に回転操作の方向(例えば、ダイヤルノブの回転方向)とキャリブレーションパターン1210の回転方向とを一致させ得る。電子装置は、ユーザにより直観的でユーザ親和的なキャリブレーション操作を提供することができる。車両を所有しているユーザは、内部要因又は外部要因によりパラメータに誤差が発生した場合、前述した操作を通じて視差光学素子のパラメータを容易に手動でキャリブレーションすることができる。従って、ユーザは、視差光学素子のパラメータのキャリブレーションのための外部サービス支援を最小化できる。
例えば、プロセッサは、斜め角度パラメータに対応する第2パターン映像を提供する間に、入力受信部で時計回りの回転操作を検出する場合に応答して、第2パターン映像に対応するキャリブレーションパターン1210を時計回りに回転させることができる。プロセッサは、斜め角度パラメータに対応する第2パターン映像を提供する間に、入力受信部で時計回りの回転操作を検出する場合に応答して、斜め角度パラメータを増加させることができる。電子装置は、斜め角度キャリブレーションからダイヤルノブの時計回りへの回転を検出する場合、上述したように、斜め角度パラメータを増加させることによってキャリブレーションパターン1210を時計回りに回転させることができる。
異なる例として、プロセッサは、斜め角度パラメータに対応する第2パターン映像を提供する間に、入力受信部で反時計回りの回転操作を検出する場合に応答して、第2パターン映像に対応するキャリブレーションパターン1210を反時計回りに回転させることができる。プロセッサは、斜め角度パラメータに対応する第2パターン映像を提供する間に、入力受信部で反時計回りの回転操作を検出する場合に応答して、斜め角度パラメータを減少させることができる。電子装置は、斜め角度キャリブレーションからダイヤルノブの反時計回りへの回転を検出する場合、上述したように、斜め角度パラメータを減少させることでキャリブレーションパターン1210を反時計回りに回転させることができる。
従って、電子装置は、斜め角度パラメータの調整時に回転操作の方向(例えば、ダイヤルノブの回転方向)とキャリブレーションパターン1210の回転方向とを一致させることができる。電子装置は、ユーザにより直観的なキャリブレーション操作を提供することができる。参考として、斜め角度パラメータの調整における回転操作方向によるパラメータ増強及びピッチパラメータにおける回転操作方向によるパラメータ増強が互いに反転されてもよい。言い換えれば、時計回りに操作するとき、ピッチパラメータは減少し、斜め角度パラメータは増加する。反時計回りに操作するとき、ピッチパラメータは増加し、斜め角度パラメータは減少する。
例えば、プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に、入力受信部で一方向の直線操作を検出する場合に応答して、第3パターン映像に対応するキャリブレーションパターン1210を一方向に対応する方向に移動させることができる。プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に、入力受信部で一方向の直線操作を検出する場合に応答して、位置オフセットパラメータを増加させることができる。電子装置は、ダイヤルノブの一方向(例えば、前方から後方への方向)移動を検出する場合、位置オフセットパラメータを増加させることでキャリブレーションパターン1210を対応する方向(例えば、上方から下方への方向)に移動させることができる。
異なる例として、プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に、入力受信部で一方向と反対となる他の方向の直線操作を検出する場合に応答して、第3パターン映像に対応するキャリブレーションパターン1210を他の方向に対応する方向に移動させることができる。プロセッサは、位置オフセットパラメータに対応する第3パターン映像を提供する間に、入力受信部で一方向と反対となる他の方向の直線操作を検出する場合に応答して、位置オフセットパラメータを減少させることができる。電子装置は、ダイヤルノブの他方向(例えば、後方から前方への方向)移動を検出する場合、位置オフセットパラメータを減少することでキャリブレーションパターン1210を他方向に対応する方向(例えば、下方から上方の方向)に移動させることができる。
従って、電子装置は、位置オフセットパラメータの調整時に直線操作の方向(例えば、ダイヤルノブの移動方向)とキャリブレーションパターン1210の線型移動方向を対応させ得る。電子装置は、ユーザにより直観的なキャリブレーション操作を提供することができる。
図12において、主にダイヤルノブを含むダイヤルインターフェース1221について説明したが、これに限定されることはない。電子装置は、車両のハンドルに取り付けられたボタン1223、セントフェーシャ上に配置される様々なレバー、及び/又はボタン1222,1224を介してキャリブレーションのための入力を受信することができる。
図13は、一実施形態に係るキャリブレーション結果を示す。
視差光学素子のキャリブレーションが完了する前左眼映像及び右眼映像1310において、それぞれ互いのコンテンツ一部が含まれてもよい。一実施形態によれば、視差光学素子のキャリブレーションが完了する場合、左眼映像及び右眼映像1320で互いのコンテンツが分離して示されてもよい。言い換えれば、クロストークが除去され得る。
一実施形態によれば、プロセッサは、ユーザからキャリブレーション完了入力を受信する場合に応答して、視差光学素子のユーザに個人化されたパラメータを格納することができる。電子装置は、個人化されたパラメータを用いてコンテンツ映像をレンダリングしディスプレイに出力することができる。図4~図12で上述したようなインターフェース及びキャリブレーションパターンのフィードバックを介して、ユーザは、直観的に視差光学素子のパラメータを手動に便利に調整できる。
図14は、一実施形態に係るキャリブレーション方法を示すフローチャートである。
まず、ステップS1410において、電子装置は、ディスプレイから出力される、キャリブレーションパターンをレンダリングすることにより生成された、パターン映像に対応する光を視差光学素子を介して基準視点に提供する。
そして、ステップS1420において、電子装置は、基準視点でパターン映像を観測したユーザから視差光学素子のパラメータに対するキャリブレーションのための入力を受信する。
次に、ステップS1430において、電子装置は、入力に応答して視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つ又は2以上の組み合わせを調整する。
そして、ステップS1440において、電子装置は、調整されたパラメータに応じてキャリブレーションパターンを再びレンダリングすることにより変更されたパターン映像をディスプレイを介して出力する。
但し、電子装置の動作が図14を参照して説明したものに限定されることなく、図1~図13を参照して前述した動作のうち少なくとも1つと時系列的及び/又は並列的に実行されてもよい。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現化される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で実行される1つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は1つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は1つのプロセッサ及び1つのコントローラを含む。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
上記で説明したハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、他の具現、他の実施形態および特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。

Claims (20)

  1. 電子装置であって、
    映像を出力するディスプレイと、
    前記映像に対応する光を複数の視点に提供する視差光学素子と、
    前記複数の視点のうち、基準視点でパターン映像を観測したユーザから前記視差光学素子に対するキャリブレーションのための入力を受信する入力インターフェースと、
    キャリブレーションパターンをレンダリングすることにより生成された前記パターン映像を前記基準視点に向かって出力し、前記入力に基づいて前記視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つを調整し、調整されたパラメータに基づいて前記キャリブレーションパターンを再びレンダリングすることにより調整されたパターン映像を出力するプロセッサと、
    を含む電子装置。
  2. 前記プロセッサは、
    前記入力に基づいて前記視差光学素子のパラメータのうちピッチパラメータを増加させることに基づいて、第1パターン映像に対応するパターンを前記ユーザが観測する方向から反時計回りに回転させ、
    前記入力に基づいて前記視差光学素子のパラメータのうちピッチパラメータを減少させることに基づいて、第1パターン映像に対応するパターンを前記ユーザが観測する方向から時計回りに回転させる、請求項1に記載の電子装置。
  3. 前記プロセッサは、
    前記入力に基づいて前記視差光学素子のパラメータのうち斜め角度パラメータを増加させることに基づいて、第2パターン映像に対応するパターンを前記ユーザが観測する方向から時計回りに回転させ、
    前記入力に基づいて前記視差光学素子のパラメータのうち斜め角度パラメータを減少させることに基づいて、第2パターン映像に対応するパターンを前記ユーザが観測する方向から反時計回りに回転させる、請求項1に記載の電子装置。
  4. 前記プロセッサは、
    前記入力に基づいて前記視差光学素子のパラメータのうち位置オフセットパラメータを増加させることに基づいて、第3パターン映像に対応するパターンを前記ユーザが観測する方向から一方向に移動させ、
    前記入力に基づいて前記視差光学素子のパラメータのうち位置オフセットパラメータを減少させることに基づいて、第3パターン映像に対応するパターンを前記ユーザが観測する方向から前記一方向と反対となる他の方向に移動させる、請求項1に記載の電子装置。
  5. 前記入力インターフェースは、タッチパネル、タッチスクリーン、ダイヤル、ジョグダイヤル、シャトルダイヤル、クリックホイール、ボタン、スライダバー、操作レバーのうち少なくとも1つを含む、請求項1に記載の電子装置。
  6. 前記プロセッサは、
    前記入力インターフェースで回転操作が検出可能な入力装置にピッチパラメータ及び斜め角度パラメータのうち少なくとも1つのパラメータの調整をマッピングし、
    前記入力インターフェースで直線操作が検出可能な入力装置に位置オフセットパラメータの調整をマッピングする、請求項1に記載の電子装置。
  7. 前記入力インターフェースは、前記ユーザからの回転操作が検出可能であり、
    前記プロセッサは、前記視差光学素子のキャリブレーションの間に前記入力インターフェースで前記ユーザによる前記回転操作を検出することに基づいて、前記視差光学素子のパラメータのうちピッチパラメータ及び斜め角度パラメータのうち少なくとも1つを調整する、請求項1乃至6のいずれか一項に記載の電子装置。
  8. 前記プロセッサは、
    前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記第1パターン映像に対応するキャリブレーションパターンを反時計回りに回転させ、
    前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記第1パターン映像に対応するキャリブレーションパターンを時計回りに回転させる、請求項1に記載の電子装置。
  9. 前記プロセッサは、
    前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記ピッチパラメータを増加させ、
    前記ピッチパラメータに対応する第1パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記ピッチパラメータを減少させる、請求項8に記載の電子装置。
  10. 前記プロセッサは、
    前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記第2パターン映像に対応するキャリブレーションパターンを時計回りに回転させ、
    前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記第2パターン映像に対応するキャリブレーションパターンを反時計回りに回転させる、請求項1に記載の電子装置。
  11. 前記プロセッサは、
    前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで時計回りの回転操作を検出することに基づいて、前記斜め角度パラメータを増加させ、
    前記斜め角度パラメータに対応する第2パターン映像を提供する間に前記入力インターフェースで反時計回りの回転操作を検出することに基づいて、前記斜め角度パラメータを減少させる、請求項10に記載の電子装置。
  12. 前記プロセッサは、
    位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで一方向の直線操作を検出することに基づいて、前記第3パターン映像に対応するキャリブレーションパターンを前記一方向に対応する方向に移動させ、
    位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで前記一方向と反対となる他の方向の直線操作を検出することに基づいて、前記第3パターン映像に対応するキャリブレーションパターンを前記他の方向に対応する方向に移動させる、請求項1に記載の電子装置。
  13. 前記プロセッサは、
    位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで一方向の直線操作を検出することに基づいて、前記位置オフセットパラメータを増加させ、
    位置オフセットパラメータに対応する第3パターン映像を提供する間に前記入力インターフェースで前記一方向と反対となる他の方向の直線操作を検出することに基づいて、前記位置オフセットパラメータを減少させる、請求項1に記載の電子装置。
  14. 前記入力インターフェースは、タッチスクリーンを含み、
    前記プロセッサは、
    前記ピッチパラメータ及び前記斜め角度パラメータのうち少なくとも1つのパラメータに対するキャリブレーションの間に、回転操作をガイドする第1グラフィック表現を前記タッチスクリーンに出力し、
    前記第1グラフィック表現に対応して、前記タッチスクリーン上の一地点を基準にして少なくとも部分的に円形軌跡に沿ったタッチ地点の移動を検出することに基づいて、前記ピッチパラメータ及び前記斜め角度パラメータのうち少なくとも1つのパラメータを調整し、
    前記位置オフセットパラメータに対するキャリブレーションの間に直線操作をガイドする第2グラフィック表現を前記タッチスクリーンに出力し、
    前記第2グラフィック表現に対応して、前記タッチスクリーン上の一地点から他の地点までタッチ地点の線型移動を検出することに基づいて前記位置オフセットパラメータを調整する、請求項1に記載の電子装置。
  15. 前記プロセッサは、前記ユーザからキャリブレーション完了入力を受信することに基づいて、前記視差光学素子の前記ユーザに個人化されたパラメータを格納し、
    前記個人化されたパラメータを用いてコンテンツ映像をレンダリングして前記ディスプレイに出力する、請求項1又は請求項12乃至14のいずれか一項に記載の電子装置。
  16. 前記プロセッサは、前記ピッチパラメータに対応する第1パターン映像、前記斜め角度パラメータに対応する第2パターン映像、及び前記位置オフセットパラメータに対応する第3パターン映像のうち少なくとも1つを前記ユーザに提供する、請求項1に記載の電子装置。
  17. 前記プロセッサは、
    前記第1パターン映像の提供を通した前記ピッチパラメータの調整が完了することに基づいて前記第2パターン映像を前記ユーザに提供し、
    前記第2パターン映像の提供を通した前記斜め角度パラメータの調整が完了することに基づいて前記第3パターン映像を前記ユーザに提供する、請求項16に記載の電子装置。
  18. 前記ディスプレイは、バイク、自動車、汽車、船(watercraft)、航空機(aircraft)、及び宇宙船(spacecraft)を含む乗り物(vehicle)に搭載されるヘッドアップディスプレイ(head-up display:HUD)の少なくとも一部として実現される、請求項1に記載の電子装置。
  19. プロセッサで実現される方法であって、
    ディスプレイから出力される、キャリブレーションパターンをレンダリングすることにより生成された、パターン映像に対応する光を視差光学素子を介して基準視点に提供するステップと、
    前記基準視点において、パターン映像を観測したユーザから前記視差光学素子のパラメータに対するキャリブレーションのための入力を受信するステップと、
    前記入力に基づいて前記視差光学素子のピッチパラメータ、斜め角度パラメータ、及び位置オフセットパラメータのうち少なくとも1つを調整するステップと、
    調整されたパラメータに基づいて、前記キャリブレーションパターンを再びレンダリングすることにより調整されたパターン映像を前記ディスプレイを介して出力するステップと、
    を含む方法。
  20. 請求項19に記載の方法を行うための命令語を含む1つ以上のコンピュータプログラムを格納したコンピュータで読み出し可能な記録媒体。
JP2022087417A 2021-07-29 2022-05-30 視差光学素子のキャリブレーション装置及び方法 Pending JP2023020891A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0099801 2021-07-29
KR1020210099801A KR20230018075A (ko) 2021-07-29 2021-07-29 시차 광학 소자의 캘리브레이션 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2023020891A true JP2023020891A (ja) 2023-02-09

Family

ID=80930083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022087417A Pending JP2023020891A (ja) 2021-07-29 2022-05-30 視差光学素子のキャリブレーション装置及び方法

Country Status (5)

Country Link
US (2) US11778163B2 (ja)
EP (1) EP4125270A1 (ja)
JP (1) JP2023020891A (ja)
KR (1) KR20230018075A (ja)
CN (1) CN115695767A (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050073530A1 (en) 2003-10-03 2005-04-07 Jay Kapur System and method for display calibration
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP5202546B2 (ja) 2007-02-25 2013-06-05 ヒューマンアイズ テクノロジーズ リミテッド マルチ画像表示を較正および/または視覚化しかつゴーストアーチファクトを低減するためのするための方法およびシステム
JP2012053268A (ja) 2010-09-01 2012-03-15 Canon Inc レンチキュラーレンズ、画像生成装置および画像生成方法
KR101890622B1 (ko) 2011-11-22 2018-08-22 엘지전자 주식회사 입체영상 처리 장치 및 입체영상 처리 장치의 칼리브레이션 방법
EP2615838B1 (en) 2012-01-12 2019-08-21 SeeFront GmbH Calibration of an autostereoscopic display system
KR102208898B1 (ko) 2014-06-18 2021-01-28 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
WO2018142610A1 (ja) * 2017-02-06 2018-08-09 三菱電機株式会社 立体表示装置およびヘッドアップディスプレイ
KR101880751B1 (ko) * 2017-03-21 2018-07-20 주식회사 모픽 무안경 입체영상시청을 위해 사용자 단말과 렌티큘러 렌즈 간 정렬 오차를 줄이기 위한 방법 및 이를 수행하는 사용자 단말
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
KR101956532B1 (ko) 2018-05-25 2019-03-11 주식회사 모픽 무안경 입체 영상 표시 장치 및 방법
JP7127415B2 (ja) 2018-08-08 2022-08-30 株式会社デンソー 虚像表示装置
KR20200071813A (ko) 2018-11-30 2020-06-22 현대자동차주식회사 3d 클러스터 및 그 보정 방법
CN112130325B (zh) 2020-09-25 2022-07-12 东风汽车有限公司 车载抬头显示器视差矫正系统、方法、存储介质和电子设备

Also Published As

Publication number Publication date
EP4125270A1 (en) 2023-02-01
US20230033372A1 (en) 2023-02-02
US20230403388A1 (en) 2023-12-14
KR20230018075A (ko) 2023-02-07
US11778163B2 (en) 2023-10-03
CN115695767A (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
JP6443654B2 (ja) 立体画像表示装置、端末装置、立体画像表示方法、及びそのプログラム
US7091931B2 (en) Method and system of stereoscopic image display for guiding a viewer's eye motion using a three-dimensional mouse
JP3966830B2 (ja) 立体表示装置
EP2395759B1 (en) Autostereoscopic display device and method for operating an autostereoscopic display device
WO2018142610A1 (ja) 立体表示装置およびヘッドアップディスプレイ
JP2008015188A (ja) 画像提示装置および画像提示方法
JP5450330B2 (ja) 画像処理装置および方法、ならびに立体画像表示装置
CN110035274B (zh) 基于光栅的三维显示方法
JP2007292956A (ja) 表示装置
US20010010508A1 (en) Apparatus and method for displaying stereoscopic images
JP7358909B2 (ja) 立体表示装置及びヘッドアップディスプレイ装置
JP3425402B2 (ja) 立体画像を表示する装置および方法
JP2023020891A (ja) 視差光学素子のキャリブレーション装置及び方法
US11882266B2 (en) Method and device to calibrate parallax optical element to change of look down angle
US20230221518A1 (en) Device and method to calibrate parallax optical element for temperature change
WO2013031864A1 (ja) 表示装置
Peterka Dynallax: Dynamic parallax barrier autostereoscopic display
JP6604493B2 (ja) 立体画像表示装置及び端末装置
KR20230109051A (ko) 온도 변화에 대한 시차 광학 소자의 캘리브레이션 장치 및 방법
JP2007127819A (ja) ディスプレイ装置
JP2007129493A (ja) ディスプレイ装置