JP2022061495A - 動的クロストークを測定する方法及び装置 - Google Patents
動的クロストークを測定する方法及び装置 Download PDFInfo
- Publication number
- JP2022061495A JP2022061495A JP2021164122A JP2021164122A JP2022061495A JP 2022061495 A JP2022061495 A JP 2022061495A JP 2021164122 A JP2021164122 A JP 2021164122A JP 2021164122 A JP2021164122 A JP 2021164122A JP 2022061495 A JP2022061495 A JP 2022061495A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- measuring
- dynamic
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000005259 measurement Methods 0.000 claims description 18
- 238000009877 rendering Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 11
- 238000007689 inspection Methods 0.000 claims description 9
- 210000001747 pupil Anatomy 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 239000003550 marker Substances 0.000 description 34
- 238000012545 processing Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 239000011521 glass Substances 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 101150006061 neur gene Proteins 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
- H04N13/125—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【課題】動的クロストークを測定する方法及び装置を提供する。【解決手段】一実施形態に係る動的クロストークを測定する方法及び装置は、ユーザの両眼の位置に基づいて3Dディスプレイを介して出力されるステレオパターン映像を両眼のうち少なくとも一目の位置で撮影するカメラに動的な動きを提供する駆動部を制御し、動的な動きが反映されたカメラにより撮影された映像を受信し、受信された映像から複数の領域を抽出して3Dディスプレイにより発生する動的クロストークを測定する。【選択図】図2
Description
下記の実施形態は、動的クロストークを測定する方法及び装置に関する。
両眼視点にそれぞれの映像を照射して3D立体感を感じることができるステレオ方式は、ユーザの目の位置の追跡を誤ったり、レンチキュラレンズなどのような光学レイヤの製造値と相違した映像が生成されたりする場合、クロストーク(crosstalk)が発生する恐れがある。例えば、裸眼3Dディスプレイでクロストークが発生する場合、ユーザは3D立体の効果を感じないだけでなく、ぎこちなさ或いはめまいを感じるため、クロストークの発生を解決するための方法が考慮されている。但し、クロストークの発生を解決するための方法は、ユーザの目の位置が固定されていると仮定しているため、ユーザの目が動いている場合には適用できない。
上記で説明した背景技術は、発明者が本明細書の開示内容を導き出す過程で保持したり習得したりしたものであり、必ず本出願前に一般公衆に公開されている公知技術とは言えない。
一実施形態によれば、ユーザの両眼の位置を追跡する3Dディスプレイを介して出力されるステレオパターン映像を両眼のうち、少なくとも1つの目の位置で撮影するカメラにユーザの動きと類似の動的な動きを提供する駆動部を制御し、動的な動きが反映されたカメラにより撮影された映像から複数の領域を抽出し、3Dディスプレイにより発生する動的クロストークを測定することにある。
一実施形態によれば、入力左眼/右眼映像に、最大の明るさを測定するためのパターン映像である白色(White)映像と、最小の明るさを測定するためのパターン映像である黒色(Black)映像とを同時に配置することで、測定装置が3Dディスプレイから提供される3Dレンダリング映像を一回だけ撮影しても動的クロストークを測定することにある。
一実施形態によれば、入力左眼/右眼映像を再構成して一回の測定でカメラの移動速度によるクロストークを算出することにある。
一実施形態によれば、動的クロストークを測定する方法は、カメラが動的な動きを有するように構成された駆動部を制御するステップと、ユーザの左眼の位置および右眼の位置のいずれか1つ又は両方において、カメラが動的に動いている間にカメラにより3Dディスプレイを介して出力されたステレオパターン映像を撮影するステップと、カメラで撮影したステレオパターン映像に基づいて、3Dディスプレイで発生する動的クロストークを測定するステップとを含む。
動的クロストークを測定するステップは、撮影された映像で最大の明るさ及び最小の明るさのそれぞれに対応する撮影されたステレオパターン映像の複数の領域を示す複数のマーカを検出するステップと、複数のマーカに基づいて複数の領域を抽出するステップと、複数の領域のそれぞれから測定されたピクセルの明度値に基づいて、動的クロストークを測定するステップとを含むことができる。
動的クロストークを測定するステップは、動的クロストークを動的な動きの速度に応じて平均するステップを含むことができる。
カメラが、ステレオパターン映像、ユーザの左眼に提供される左眼映像及びユーザの右眼に提供される右眼映像のそれぞれを撮影した場合、動的クロストークを測定するステップは、左眼映像及び右眼映像を複数の領域に分割する複数のマーカを検出するステップと、複数のマーカに基づいて複数の領域を抽出するステップと、複数の領域のそれぞれから測定されたピクセルの明度値に対する統計値に基づいて動的クロストークを測定するステップとを含むことができる。
駆動部を制御するステップは、カメラが一定の速度で様々な方向に動くように駆動部を制御するステップを含むことができる。
駆動部を制御するステップは、カメラがユーザの動きを模写する方向及び速度で動くように駆動部を制御するステップと、3Dディスプレイに向かう方向に配置された顔マスクの両眼の間の距離を調整するステップとを含むことができる。
カメラの位置は、3Dディスプレイを臨む方向に位置する顔マスクの少なくとも一目の位置に対応することができる。
動的クロストークを測定する方法は、ユーザの左眼の位置及び右眼の位置のいずれか1つ又は両方において、3Dディスプレイに向かう方向に配列されている顔マスクの瞳孔距離に基づいて、ステレオパターン映像を撮影するステップをさらに含むことができる。
ステレオパターン映像を撮影するステップは、カメラが等速度で動いている間に一定の間隔でステレオパターン映像を撮影するステップを含み、動的クロストークを測定するステップは、カメラが等速度で移動している間に捕捉されたステレオパターン映像を分析して動的クロストークを測定するステップを含むことができる。
動的クロストークを測定する方法は、動的な動きに応じて、カメラが移動した位置に基づいて動的クロストークを補正するステップをさらに含むことができる。
カメラにより撮影されたステレオパターン映像は、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含むことができる。
3Dディスプレイは、3Dキャリブレーションを介して取得した光学レイヤのパラメータに基づいて、ユーザの左眼の位置及び右眼の位置と一致するステレオパターン映像を生成することができる。
3Dディスプレイは、ユーザの左眼の位置及び右眼の位置を検出するように構成された視線追跡器又はセンサを含み、3Dディスプレイは、ユーザの左眼の位置及び右眼の位置に対応するステレオパターン映像の位置にレンダリングを適用するように構成されることができる。
3Dディスプレイは、ヘッドアップディスプレイ(Head Up Displayと、HUD)、3Dデジタル情報ディスプレイ(Digital Information Display、DID)、ナビゲーション装置、3Dモバイル機器、スマートフォン、スマートTV、スマート車両、IoT(Internet of Things)デバイス、医療デバイス、及び計測デバイスのうち少なくとも1つを含むことができる。
ステレオパターン映像は、単一色のパターンを左眼と右眼に同一に表示する2Dパターンと、ユーザの左眼と右眼と反対に対照される色のパターンを示す3Dパターンとを含むことができる。
ステレオパターン映像は、互いに対照される複数色のパターンを左眼と右眼に同一に表示する2Dパターンと、対照される色のパターンをユーザの左眼と右眼と反対に表示する3Dパターンとを含むことができる。
一実施形態によると、動的クロストークを測定する装置は、該当の顔マスクの左眼の位置及び右眼の位置がユーザの左眼の位置及び右眼の位置にそれぞれ対応する顔マスクと、顔マスクの左眼の位置及び右眼の位置のいずれか1つ又は両方において、3Dディスプレイを介して出力されるステレオパターン映像を撮影するカメラと、カメラが動的な動きを有するようにする駆動部と、カメラが、動的な動きに応じて、動いている間にカメラにより撮影されたステレオパターンに基づいて、3Dディスプレイにより発生する動的クロストークを測定するプロセッサとを含む。
プロセッサは、撮影されたステレオパターン映像で最大の明るさ及び最小の明るさにそれぞれ対応する撮影されたステレオパターン映像の複数の領域を示す複数のマーカを検出し、複数のマーカに基づいて複数の領域を抽出し、複数の領域それぞれから測定されたピクセルの明度値に基づいて動的クロストークを測定することができる。
前記プロセッサは、カメラがステレオパターン映像で、ユーザの左眼に提供される左眼映像とユーザの右眼に提供される右眼映像のそれぞれを撮影した場合、左眼映像と右眼映像のそれぞれを複数の領域に分割する複数のマーカを検出し、複数のマーカに基づいて複数の領域を抽出し、複数の領域のそれぞれから測定されたピクセルの明度値に対する統計値に基づいて動的クロストークを測定することができる。
プロセッサは、動的な動きに応じてカメラが移動した位置に基づいて動的クロストークをさらに補正することができる。
撮影されたステレオパターン映像は、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含むことができる。
駆動部は、カメラが動的な動きを有するように動力を提供するモータと、ユーザの動きを模写するために、カメラを動力による方向及び速度で移動させるカメラ移動装置とを含むことができる。
プロセッサは、カメラ移動装置を制御して等速度でカメラを移動させることができる。
プロセッサは、カメラ方向又は速度のいずれか1つ以上を変更するためにカメラ移動装置を制御することができる。
顔マスクにおいて、両眼の間の距離は調整可能であり、プロセッサは、顔マスクで調整される両眼間の距離及び動的動きに基づいて、撮影されたステレオパターン映像から複数の領域を抽出し、動的クロストークを測定することができる。
3Dディスプレイは、3Dキャリブレーションを介して取得した光学レイヤのパラメータに基づいてユーザの両眼の位置にマッチングされるステレオパターン映像を生成することができる。
ユーザの両眼の位置を探すための目追跡器又はセンサをさらに含み、3Dディスプレイは、目追跡器又はセンサを用いて検出されたユーザの両眼の位置に該当するステレオパターン映像のレンダリング位置を適用することができる。
ステレオパターン映像は、ユーザの左眼及び右眼に同一に単色のパターンを表示する2Dパターンと、ユーザの左眼及び右眼と反対に対照される色のパターンを表示する3Dパターンとを含むことができる。
ステレオパターン映像は、ユーザの左眼と右眼に同一に対照される色のパターンを示す2Dパターンと、ユーザの左眼と右眼に対照される色のパターンを反対に表示する3Dパターンとを含むことができる。
3Dディスプレイは、ヘッドアップディスプレイ(Head Up Displayと、HUD)、3Dデジタル情報ディスプレイ(Digital Information Display、DID)、ナビゲーション装置、3Dモバイル機器、スマートフォン、スマートTV、スマート車両、IoT(Internet of Things)デバイス、医療デバイス、及び計測デバイスのうち少なくとも1つを含むことができる。
一実施形態に係るクロストーク検査装置は、ユーザの左眼の位置及び右眼の位置のいずれか1つ又は両方でヘッドアップディスプレイ(HUD)を介して出力されるステレオパターン映像を撮影する少なくとも1つのカメラと、少なくとも1つのカメラが動的な動きを有するようにする駆動部と、少なくとも1つのカメラが動的な動きに応じて動いている間に、少なくとも1つのカメラにより撮影されたステレオパターン映像に基づいて、ヘッドアップディスプレイにより発生する動的クロストークを測定するプロセッサとを含む。
一態様によれば、ユーザの両眼の位置を追跡する3Dディスプレイを介して出力されるステレオパターン映像を、両眼のうち少なくとも一目の位置で撮影するカメラにユーザの動きと類似の動的な動きを提供する駆動部を制御し、動的な動きが反映されているカメラにより撮影された映像から複数の領域を抽出し、3Dディスプレイにより発生する動的クロストークを測定することができる。
一態様によれば、入力左眼/右眼映像に最大の明るさを測定するためのパターン映像である白色映像と、最小の明るさを測定するためのパターン映像である黒色(Black)映像を同時に配置することで、測定装置が3Dディスプレイで提供される3Dレンダリング映像を一回だけ撮影しても動的クロストークを測定することができる。
一態様によれば、入力左眼/右眼映像を再構成し、一回の測定でカメラの移動速度によるクロストークを算出することができる。
本明細書で開示する特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示したものであり、実施形態は様々な異なる形態で実施され、本発明は本明細書で説明した実施形態に限定されるものではない。
第1又は第2などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は1つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第1構成要素は第2構成要素と命名することができ、同様に第2構成要素は第1構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、1つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、添付する図面を参照しながら実施形態を詳細に説明する。添付する図面を参照して説明することにおいて、図面符号に関係なく同じ構成要素には同じ参照符号を付与し、これに対する重複する説明は省略することにする。
図1は、一実施形態に係る動的クロストークが発生する状況の一例示を示す図である。図1を参照すると、一実施形態により車両の運転席に座っているユーザ(例えば、運転者)150がコンテンツ可視化装置110を介して3Dコンテンツオブジェクトを提供される状況を示している。
コンテンツ可視化装置110は、ユーザ150に仮想コンテンツオブジェクト141を提供するシステムであって、例えば、センサ111、プロセッサ113、HUDモジュール120、及びユーザ150両眼の位置を追跡する目追跡カメラ(eye tracking camera)160を含んでいる。
センサ111は、前方に存在しているオブジェクトを検出する。例えば、センサ111は、前方に存在しているオブジェクトまでの距離を測定することができるが、必ずこれに限定されることなく、センサ111は、車両の周辺に存在するオブジェクトまでの距離を測定し、周辺に存在するオブジェクトまでの距離を指示する周辺距離マップを生成することができる。また、センサ111は、車両の前方、後方、左側、及び右側の環境を撮影して映像を生成することができる。センサ111は、GNSS(Global Navigation Satellite Systems)又は3次元の深さカメラのようにコンテンツ可視化装置110の位置を測定及び推定するモジュールを含んでもよい。
プロセッサ113は、ユーザ150に情報を含む仮想コンテンツオブジェクト141を取得する。プロセッサ113は、センサ111によって検知された周辺情報(例えば、周辺のオブジェクトまでの距離及びオブジェクトを含む映像など)を分析し、オブジェクトをモデリングしたり、オブジェクトの位置を検出したり、オブジェクトを認識したりする動作などを行う。プロセッサ113は、現在の位置及びHUDモジュール120の視野角によるオブジェクト配置空間に基づいて、ユーザ150に提供しているコンテンツオブジェクト141を選択してロードしてもよい。
HUDモジュール120は、ユーザ150の前方に位置するユーザ150の可視領域に仮想コンテンツオブジェクト141を可視化することができる。
HUDモジュール120は、プロジェクションのためのデータを生成及び又は処理するように構成されているPGU(Picture Generation Unit)123、映像を生成して演出するように構成されているプロジェクションユニット(例えば、折りミラー125及び凹面鏡127、並びに映像が投射される表面を提供する結合器(例えば、車両のフロントガラス))を含んでもよい。PGU123は、プロセッサ113とは別に提供されたり、或いはプロセッサ113に統合されたりしてもよい。
より具体的に、HUDモジュール120は、ユーザ150の前方に配置されるガラス窓(例えば、車両のウインドシールドグラス)に仮想コンテンツオブジェクト141を可視化することができる。HUDモジュール120は、仮想のプロジェクション平面130を形成している。仮想のプロジェクション平面130は、HUDモジュール120によって生成された仮想コンテンツオブジェクト141を含んでいる虚像が表示される平面である。ユーザ150は、プロジェクション平面130に虚像が配置されたものと認識することができる。プロジェクション平面130は、ユーザ150の目によって観測され得る領域に形成されてもよい。
また、HUDモジュール120は、仮想領域140内に該当する深さを有する仮想コンテンツオブジェクト141をプロジェクション平面130に可視化することができる。仮想コンテンツオブジェクト141は、HUDモジュール120の光学系に基づいてプロセッサ113により3次元グラフィック表現(graphic representation)でレンダリングされることができる。
折りミラー(fold mirror)125及び凹面鏡127は、映像を直接表示したり、或いは仮想のプロジェクション平面130に投影したりしてもよい。但し、HUDモジュール120の構成は、必ずこれに限定されるものではなく、設計に応じて、ユーザ150の前方に配置されたガラス窓への投射を介して虚像が結像するプロジェクション平面130を形成している複数の構成要素を含んでもよい。実施形態により、HUDモジュール120は、ユーザ150の両眼の位置を追跡する目追跡カメラ160をさらに含んでもよい。
HUDモジュール120は、仮想コンテンツオブジェクト141が有する深さに基づいて、ユーザ150の左眼のための左眼映像、及びユーザ150の右眼のための右眼映像が出力されるプロジェクション平面130を形成し、プロジェクション平面130を介して左眼映像をユーザ150の左眼に、右眼映像をユーザ150の右眼に提供する。従って、ユーザ150は、立体的にレンダリングされた仮想コンテンツオブジェクト141の深さを認識することができる。
HUDモジュール120のような3Dディスプレイでユーザ150の左眼に右眼のための右眼映像が提供され、ユーザ150の右眼に左眼のための左眼映像が提供される場合、クロストーク(X-talk、又はcrosstalk)が発生する可能性がある。クロストークは、例えば、ユーザ150の左眼に右眼映像が見える程度、あるいはユーザ150の右眼に左眼映像が見える程度のように定義される。
クロストークは、測定時にユーザ150の目の位置が固定されているか否かに応じて静的クロストーク(Static X-talk)と動的クロストーク(Dynamic X-talk)に区分される。
静的クロストークは、ユーザ150の目の位置が固定された場合、測定したクロストークである。静的クロストークの測定時にカメラの位置を変更して明るさの異なる映像を撮影すれば、映像整合のイシューが発生する可能性がある。従って、静的クロストークは、ユーザ150が停止したときに定量化することができる。
しかし、実際のユーザ150はじっと停止しておらず動くことが多いため、ユーザ150の目の位置も引き続き変更される。動的クロストークは、ユーザ150の目の位置が動く場合に測定したクロストークである。動的クロストークは、次のような状況で発生する。
例えば、車両を走行中である運転者は、瞬間毎に多様に動くためHUDモジュール120を介して提供される仮想コンテンツオブジェクト141に対する3D画質を相違に認知することがある。動的クロストークは、運転時のユーザ150の動きにより発生する。
または、例えば、図面170のように、コンテンツ視覚化装置110がユーザの目の位置を追跡し、追跡した位置に合わせて3Dレンダリングされた仮想コンテンツオブジェクト141を3Dディスプレイに表示するために費やされる全体プロセッシングタイムが、T2-T1とする。このとき、全体のプロセッシングタイムは、目の追跡カメラ160によってユーザ150の目の位置を追跡するために必要なキャプチャリングタイム171、追跡したユーザ150の目の位置に基づいて仮想コンテンツオブジェクト141を3Dレンダリングするために必要なプロセッシングタイム173、及び3Dレンダリングされた仮想コンテンツオブジェクト141を含む。
この場合、全体プロセッシングタイムT2-T1は、コンテンツ可視化装置110の待ち時間(レイテンシ)(latency)に該当し、T1時間のユーザ150の目の位置とT2時間のユーザ150の目の位置は一定の距離を有する。T1時間に基づく3Dレンダリング結果は、コンテンツ可視化装置110の待ち時間に対するユーザ150の動き速度に応じて、T1時間のユーザ150の目の位置からそれ程遠くない位置に表示されてもよく、又は、T1時間のユーザ150の目の位置から遠い位置に表示されてもよい。
例えば、ユーザ150が待ち時間に対して低速の動きを有する場合、T1時間に基づいてレンダリングした結果は、T1時間のユーザ150の目の位置でそれ程遠くない位置にあるT2時間のユーザ150の目の位置に表示されてもよい。この場合、動的クロストークの発生確率は極めて低い。これとは異なって、ユーザ150が待ち時間に対して高速の動きを有する場合、T1時間に基づいてレンダリングした結果は、T1時間におけるユーザ150の目の位置から遠く離隔した位置にあるT2時間のユーザ150の目の位置に表示されてもよい。この場合、動的クロストークの発生確率は極めて高くなる。このように、動的クロストークは、レイトンシ対比ユーザ150の目の動き速度によって発生し得る。
一実施形態では、前述した様々な状況で発生する動的クロストークを測定し定量化することで、ユーザ150に最適な3D画質を提供することができる。
以下の実施形態では、動的クロストークを測定する装置(以下、「測定装置」)が車両に装着されたヘッドアップディスプレイ(HUD)により発生する動的クロストークを測定する例示を中心に説明するが、必ずこれに限定されることはない。例えば、測定装置は、拡張現実メガネ(AR glass、Augmented Reality glass)及び混合現実(MR、mixed reality)装置などのように現実と仮想の情報を結合させるとき発生する動的クロストークを測定するためにも同様に適用されてもよい。また、測定装置は、拡張現実、仮想現実、及び混合現実装置などのように仮想の情報を表示する装置だけでなく、3Dテレビ、3Dモニターのような3D表示装置に適用されてもよい。
図2は、一実施形態に係る動的クロストークを測定するシステムの構造を示す図である。図2を参照すると、一実施形態に係る動的クロストークを測定するシステム(以下、「測定システム」)200の構成を示している。
測定システム200は、動的クロストークの測定対象となる3Dディスプレイシステム210及び動的クロストークの測定主体である測定装置250から構成される。
3Dディスプレイシステム210は、例えば、目追跡カメラ211、3Dディスプレイ213、目追跡器モジュール215、及び3Dレンダリングモジュール217を含むが、必ずこれに限定されることはない。
目追跡カメラ211は、ユーザの両眼の位置を追跡する装置として、3Dディスプレイ213に別に付着されてもよい。実施形態により、目追跡カメラ211は、3Dディスプレイ213に含まれてもよい。目追跡カメラ211は、例えば、目追跡器又はセンサなどを含んでもよいが、必ずこれに限定されることはない。3Dディスプレイ213は、目追跡器又はセンサを用いて探したユーザの両眼の位置にステレオパターン映像をレンダリングすることができる。ここで、3Dディスプレイ213は、ユーザの両眼を基準にして鼻のある内側(In)方向への3Dレンダリング誤差の余裕を少なく設定し、耳のある外側(Out)方向への3Dレンダリング誤差の余裕を大きく設定してもよい。これは顔マスク251が内側方向に動くよりも外側方向に動くとき、クロストークが少なく発生するためである。
目追跡カメラ211によって撮影されたユーザの両眼の位置を含む顔映像は、目追跡器モジュール215に伝達される。目追跡器モジュール215は、顔映像で追跡されたユーザの両眼の座標を3Dレンダリングモジュール217に伝達する。3Dレンダリングモジュール217は、ユーザの両眼の座標に基づいて、入力左眼/右眼映像205を3Dレンダリングすることで、3Dレンダリング映像(例えば、ステレオパターン映像)を生成することができる。
一実施形態において、片目を基準にして静的クロストーク測定に使用された映像の全てが1つの映像に存在するように入力左眼/右眼映像205を構成することで、一回の撮影で動的クロストークを定量化することができる。そのため、クロストークを測定するためのカメラ253が撮影した映像である片目で見える映像が撮影されるよう、入力左眼/右眼映像205を構成することができる。以下でより具体的に説明するが、入力左眼/右眼映像205は、マーカ(markers)を含んでもよい。マーカは、例えば、入力左眼/右眼映像205で3Dディスプレイ213の縁部に配置されてもよい。
測定装置250は、3Dディスプレイ213を介してレンダリングされたステレオパターン映像に含まれているマーカの位置を通じて、3Dディスプレイ213で実際表示している領域及び/又は動的クロストークの測定のための様々な領域の位置を探すことができる。
一実施形態では、例えば、入力左眼/右眼映像205に最大の明るさを測定するためのパターン映像である白色(White)映像と、最小の明るさを測定するためのパターン映像である黒色(Black)映像とを同時に配置することで、測定装置250が3Dディスプレイ213から提供される3Dレンダリング映像をカメラ253によって一回だけ撮影しても、動的クロストークの測定を可能にする。
3Dディスプレイ213は、例えば、裸眼3Dディスプレイ、ヘッドアップディスプレイ(HUD)、又は拡張現実メガネのような拡張現実装置の透明ディスプレイに該当するが、必ずこれに限定されることはない。3Dディスプレイ213は、動的クロストークが発生し得る様々なタイプのディスプレイを全て含む意味として理解される。
3Dディスプレイ213は、ユーザの左眼には左眼映像を見せ、ユーザの右眼には右眼映像を見せる。左側と右眼に該当映像を見せるために、3Dディスプレイ213は、パネルで発生した光を特定方向(例えば、左眼と右眼に該当する方向)に向かわせる両眼分離装置を用いることができる。両眼分離装置は、例えば、3Dディスプレイ213のパネル上に付着されるレンチキュラレンズ(Lenticular Lens)あるいはバリア(Barrier)などであってもよいが、必ずこれに限定されることはない。
両眼分離装置は、例えば、特定の角度(Slanted Angle)、厚さ(Thickness)及び一定周期の幅(Pitch)などのような設計パラメータを有してもよく、右眼映像及び左眼映像はこのような設計パラメータに合うように生成されてもよい。このようにユーザの右眼のための右眼映像とユーザの左眼のための左眼映像を生成することを、「3Dレンダリング(rendering)」と称する。しかし、両眼分離装置を製造する際に設計値と製造値との間に一定の差が存在するため、設計値を用いて3Dレンダリングを行う場合、左眼と右眼それぞれのための左眼映像と右眼映像が不正確に見えることがある。このように、左眼に右眼映像の一部あるいは全体が見えたり或いは右眼に左眼映像の一部又は全体が見えたりするクロストークは、両眼分離装置の正確な製造値を算出する3Dキャリブレーション方式を用いて低減することができる。3Dディスプレイシステム210は、3Dキャリブレーションを介して取得した光学レイヤのパラメータを用いて、両眼の位置にマッチングされるようにステレオパターン映像を生成することができる。ここで、光学レイヤは、例えば、レンチキュラレンズであってもよいが、必ずこれに限定されることはない。光学レイヤのパラメータは、例えば、光学レイヤの幅、傾き、及び厚さなどを含んでもよい。
しかし、3Dキャリブレーション方式で正確な製造値を算出して3Dレンダリングを行っても、両眼分離装置の光学的な限界があるため、左眼に極めて小さい比率で右側映像が見えることがある。このようにクロストークを定量化する前に、3Dキャリブレーションが実行されなければならない。一実施形態では、公開されている様々な方法に基づいてDキャリブレーションが実行されたと仮定し、具体的な3Dキャリブレーション方法については説明を省略する。
一実施形態では、3Dディスプレイ213の前面で配置されるカメラ253をユーザ(例えば、視聴者)の目の位置に置いてクロストークを測定することができる。
一実施形態では、クロストークを測定するためのカメラ253の前に顔の形を有する顔マスク251を取り付け、カメラ253がユーザの目の位置に配置させた後、目追跡カメラ211が顔マスク251で目の位置を探し、3Dディスプレイ213が該当目の位置に対応する映像を3Dレンダリングして示すことができる。
測定装置250は、例えば、顔マスク251、カメラ253、駆動部255及びプロセッサ259を含むが、必ずこれに限定されることはない。
測定装置250は、3Dディスプレイ213の最適な視聴距離に配置されることができる。
顔マスク251は、ユーザの両眼に対応する位置が設定された顔モデルであってもよい。顔マスク251は、例えば、図6Bに示された顔マスク630のように目、鼻、口の含まれている顔モデルを含み、両眼の間の距離が予め決定されたマスクであってもよい。ここで、顔マスク251で両眼のうち少なくとも一目は開けられているため、該当位置に配置されているカメラ253は、3Dディスプレイ213が3Dレンダリングして見せる映像を撮影することができる。顔マスク251において、ユーザの両眼の間の距離(Inter Pupil Distance;IPD)は、例えば、60mm、65mm、及び70mmなどのように調節可能である。顔マスク251の一例示は次の図6Bを参照する。
カメラ253は、3Dディスプレイ213により発生する動的クロストークを撮影するためのカメラであってもよい。カメラ253は、3Dディスプレイシステム210の3Dディスプレイ213を介して出力されるステレオパターン映像を顔マスク251の少なくとも一目(例えば、左眼)の位置で撮影する。ここで、3Dディスプレイ213は、動的クロストークの発生有無を判断したり或いは動的クロストークを定量化したりするための測定対象に該当する。以下では、説明の便宜のために、ステレオパターン映像をユーザの左眼の位置で撮影した場合について例を挙げて説明するが、必ずこれに限定されることなく、右眼と左眼それぞれの位置でステレオパターン映像を撮影してもよい。
一実施形態において、3Dディスプレイ213を介して出力されるステレオパターン映像をユーザの両眼のうち少なくとも一目の位置で撮影するようにカメラ253を配置する。例えば、3Dディスプレイの左眼映像を撮影するために、顔マスク251の左眼の後ろにカメラ253を配置してもよい。ここで、引き続き移動するカメラ253の位置把握が重要であるため、例えば、3Dディスプレイシステム210に接続されている目追跡カメラ211を用いてカメラ253が位置を把握することができる。また、より正確な目の位置に整合するように顔の形の顔マクス251に表示されている目の位置にカメラ253を配置してもよい。
カメラ253は、例えば、CMOS(Complementary Metal-Oxide Semiconductor)センサあるいはCCD(Charge Coupled Device)センサなどのような画像センサあるいはCMOSカメラ、CCDカメラであってもよく、又は、輝度計であってもよい。カメラ253は、ユーザの両眼のいずれか1つの目のための1つのカメラ、又は、ユーザの両眼それぞれのための複数のカメラ、又はステレオカメラにより実現されてもよい。カメラ253は、3Dディスプレイの最適の視聴位置に配置してもよい。
一実施形態によれば、動的クロストークを測定するために、カメラ253が3Dディスプレイ213から出力されるステレオパターン映像を撮影した瞬間にカメラ253が移動する速度を把握しなければならないため、カメラ253と駆動部255との間の同期化が求められる。また、静的クロストークとは異なって、動的クロストークの測定は移動方向が重要であるため、プロセッサ259は、カメラ253の動的な動きの速度及び方向を全て考慮して3Dディスプレイ213により発生する動的クロストークを測定することができる。
駆動部255は、カメラ253に動的な動きを提供する。駆動部255は、モータ256及びカメラ移動装置257を含んでもよい。モータ256は、カメラ253に動的な動きを提供するための動力をカメラ移動装置257に提供する。カメラ移動装置257は、モータ256によって提供される動力を用いてカメラ253をユーザの動きを模写(simulate)又は模倣(imitate)する方向及び速度で移動させることができる。駆動部255は、カメラ253が一定の方向又は一定の速度で移動したり、可変方向及び可変速度で移動したりするように、カメラ253へ力を加えることができる。
カメラ移動装置257は、プロセッサ259の制御に応じてモータ256によって提供される動力によりカメラ253をユーザの動きを模写又は模倣する方向に等速度で移動させることができる。また、カメラ移動装置257は、プロセッサ259の制御により、ユーザの動きを模写するカメラ253の方向及び速度のうち少なくとも1つを可変し、カメラ253が動的な動きを有するようにする。
プロセッサ259は、動的な動きが反映されたカメラ253によって撮影された映像から複数の領域を抽出し、3Dディスプレイ213により発生する動的クロストークを測定する。ここで、カメラ253に用いて撮影された映像は、例えば、最大の明るさ(例えば、255)を測定するための第1パターン(例えば、白色)映像に対応する第1領域、最小の明るさ(例えば、0)の測定するための第2パターン(例えば、黒色)映像に対応する第2領域、及び3Dディスプレイ213の明るさのオフセットを測定するための第3パターン(例えば、黒色)映像に対応する第3領域を含んでもよい。
プロセッサ259は、例えば、撮影された映像を最大の明るさ及び最小の明るさそれぞれに対応する複数の領域に分割する複数のマーカを検出する。プロセッサ259は、マーカに基づいて複数の領域を抽出し、複数の領域それぞれから測定されたピクセルの明度値に基づいて動的クロストークを測定することができる。
その他にも、プロセッサ259は、顔マスク251で調整される両眼の間の距離及び動的な動きに基づいて、カメラ253によって撮影された映像から複数の領域を抽出し、動的クロストークを測定することができる。
実施形態により、プロセッサ259は、動的な動きに応じてカメラが移動した位置に基づいてクロストークを補正してもよい。
プロセッサ259が動的クロストークを測定する、より具体的な方法については下記の図3及び図4を参照して説明する。
図3は、一実施形態に係る動的クロストークを測定する方法を示したフローチャートであり、図4は、一実施形態に係る動的クロストークを測定する装置の動作を説明するための図である。図3及び4を参照すると、一実施形態に係る動的クロストークを測定する装置(以下、「測定装置」)は、ステップS310~ステップS330の過程を経て動的クロストークを測定することができる。
ステップS310において、測定装置は、駆動部を制御してカメラが動的な動きを有するようにする。カメラは、ユーザの両眼のうち少なくとも一目の位置で、カメラが動的に動いている間に、3Dディスプレイを介して出力されるステレオパターン映像を撮影することができる。ここで、3Dディスプレイは、例えば、裸眼3Dディスプレイ、ヘッドアップディスプレイ(HUD)、又は、拡張現実メガネのような拡張現実装置の透明ディスプレイであってもよいが、必ずこれに限定されることはない。3Dディスプレイは、動的クロストークが発生可能な様々なタイプのディスプレイを全て含む意味として理解される。3Dディスプレイは、例えば、目追跡器などによって追跡されたユーザの両眼の位置を受信する。3Dディスプレイが受信した両眼の位置に基づいてステレオパターン映像を出力すると、測定装置の駆動部は、両眼のうち少なくとも一目の位置で3Dディスプレイから出力されたステレオパターン映像を撮影しながら、カメラに動的な動きを有するようにカメラの動きを制御することができる。ここで、カメラは、クロストークを撮影又は測定するカメラであってもよい。
ステップS310において、3Dディスプレイを介して出力されるステレオパターン映像は、ユーザの左眼のための左眼映像410及びユーザの右眼のための右眼映像420を含む。
測定装置は、一回の撮影で動的クロストークを測定できるように、左眼映像410及び右眼映像420で構成されたステレオパターン映像を撮影することができる。ここで、ステレオパターン映像は、例えば、次の図5Aに示すように3つの領域に構成されてもよく、又は、次の図5Bに示すように4つの領域に構成されてもよい。ステレオパターン映像は、例えば、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含んでもよい。又は、ステレオパターン映像は、例えば、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域、及びカメラの飽和(saturation)程度を測定するための第4パターン映像に対応する第4領域を含んでもよい。一実施形態に係るステレオパターン映像の様々な例示について、次の図5A及び図5Bを参照する。
また、カメラは、ユーザの両眼のいずれか1目のための1つのカメラであってもよく、又は、ユーザの両眼それぞれのための複数のカメラ又はステレオカメラであってもよい。カメラは、3Dディスプレイを介して出力されるステレオパターン映像を視聴できる最適の位置(例えば、3Dディスプレイ正面の目の高さ)に配置されてもよい。カメラの位置は、例えば、3Dディスプレイを臨む方向に位置している顔マスクの少なくとも一目の位置に対応してもよい。また、カメラは、飽和が発生しないように設定が調節されてもよい。
ステップS310において、測定装置は、例えば、カメラが等速度で動いたり可変方向及び/又は可変速度で移動するよう駆動部を制御し、ユーザに等速度の動的な動きを提供するよう駆動部を制御したり、又は、カメラにユーザの動きを模写する方向及び速度のうち少なくとも1つを可変した動的な動きを提供するよう駆動部を制御することができる。ここで、ユーザの動きを模写する方向は、例えば、目から向への内側(In)方向及び、目から耳方向への外側(Out)方向を含んでもよく、必ずこれに限定されることはない。実施形態により、ユーザの動きを模写する方向は、3Dディスプレイが提供される環境に応じて、前述した内側及び外側方向のような左右方向以外にも上下方向、及び/又は6自由度(Degree of Freedom;DoF)方向をさらに含んでもよい。
測定装置は、ユーザの動きを模写又は模倣するために、カメラを用いて撮影される両眼の間の距離を調整することができる。ステップS310で、測定装置が駆動部を制御する方法については、次の図6A及び図6Bを参照して具体的に説明する。
ステップS320において、測定装置は、ステップS310で駆動部により制御された動的な動きが反映されているカメラにより撮影された映像を受信する。ステップS320において、測定装置は、例えば、動的な動きが反映されたカメラにより両眼の間の調整された距離を考慮して、3Dディスプレイを介して出力されるステレオパターン映像を少なくとも一目の位置で撮影し、撮影された映像をカメラから受信する。より具体的に、測定装置は、カメラが等速度の動的な動きを有する区間で3Dディスプレイを介して出力されるステレオパターン映像を少なくとも一目の位置で撮影する。ここで、目追跡カメラが顔マスクで目の位置を探し、3Dディスプレイが該当目の位置に対応する映像を3Dレンダリング430して見せれば、測定装置は、ステップS310にて駆動部により制御された動的な動きが反映されたカメラにより、3Dディスプレイによって3Dレンダリングされた映像を撮影することができる。
実施形態により、3Dディスプレイは、例えば、カメラが特定の速度(例えば、200mm/sec)以上の動的な動きを有する区間では目の位置に対応する映像を2Dレンダリングして見せ、特定の速度未満の等速度の動的な動きを有する区間では目の位置に対応する映像を3Dレンダリングして見せてもよい。
一実施形態によれば、運転者の動きの速度及び/又は動き特徴により前述したように、3Dディスプレイが映像を生成する基準を提供してもよい。
測定装置は、カメラが等速度の動的な動きを有する区間で撮影された映像を分析し、動的クロストークを測定することができる。ステップS330において、測定装置は、ステップS320で受信された映像から複数の領域を抽出し、3Dディスプレイにより発生する動的クロストークを測定する。動的クロストークは、例えば、ユーザの左眼を基準にして次の数式(1)のように定量化されてもよい。
ここで、LWRBL[x、y]は、ユーザの左眼に白色(White)映像が出力され、右眼に黒色(Black)映像が出力されるLWRB領域の明度値を示し、LBRWL[x、y]は、ユーザの左眼を基準にしてユーザの左眼に黒色(Black)映像が出力され、右眼に白色(White)映像が出力されるLBRW領域の明度値を示す。また、LBRBL[x、y]は、ユーザの左眼を基準にしてユーザの両眼に黒色(Black)映像が出力されるLBRB領域の明度値を示す。LBRBL[x、y]は、3Dディスプレイのオフセットであってもよい。ここで、Lは左眼(Left eye)を、Rは右眼(Right eye)を示し、Wは白色(White)パターン映像を、Bは黒色(Black)パターン映像を示す。また、x、yは、クロストークを測定するカメラにより撮影された映像におけるピクセル位置を示す。
数式(1)は、ユーザの左眼に右眼映像がどの比率で入るかを示す。測定装置は、数式(1)を介して撮影された映像で3Dディスプレイの画面領域に該当するピクセル位置を算出することができる。
ここで、ステップS320において、受信された映像は、例えば、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含んでもよい。測定装置が動的クロストークを測定する過程について、次の図7~図9を参照して具体的に説明する。
実施形態により、測定装置は、動的クロストークを測定して定量化した値を出力することができる。又は、測定装置は動的な動きに応じて、カメラが移動した位置に基づいて動的クロストークを補正してもよい。
図5は、実施形態に係るステレオパターン映像の例示を示す図である。
一実施形態によれば、ステレオパターン映像の一部を2Dパターンで構成され、残りの一部を3Dパターンで構成してもよい。例えば、左眼映像の一側の半分領域及び右眼映像の同じ一側の半分領域に同じ黒色パターンを表示し、左眼映像の他側の半分領域及び右眼映像の同じ他側の半分領域に互いに反対となる黒色-白色パターンを表示することができる。この場合、2Dパターン内の黒色領域を用いてオフセットを算出することができる。また、オフセットに基づいて、3Dパターンにより発生するクロストークを算出することができる。
より具体的に、図5Aを参照すると、実施形態によりLWRB領域、LBRW領域、及びLBRB領域の位置を変更させたステレオパターン映像の例示が示されている。
ステレオパターン映像は、例えば、両眼のうち左眼のための第1大きさの右側上段の第1-1領域、第1大きさの右側下段の第1-2領域、及び第1大きさよりも大きい第2大きさの左側の第1-3領域のように、3領域に区分された左眼映像と、同様に両眼のうち右眼のための第1大きさの右側上段の第2-1領域、第1大きさの右側下段の第2-2領域、及び第2大きさの左側の第2-3領域のように、3領域に区分された右眼映像とを含んでもよい。ここで、第1-1領域は、第2-1領域に対応し、第1-2領域は、第2-2領域に対応し、第1-3領域は、第2-3領域に対応する。また、第1-1領域と第1-2領域には明るさの異なるパターン映像が配置され、第1-3領域には第1-1領域及び第1-2領域のいずれか1つの領域に対応するパターン映像と明るさが同一であるパターン映像が配置されてもよい。また、第1-1領域と第2-1領域、及び第1-2領域と第2-2領域のそれぞれには、明るさの組み合せが異なるパターン映像が配置され、第1-3領域と第2-3領域には明るさが同一であるパターン映像が配置されてもよい。ここで、「明るさの組み合せが異なる映像が配置される」とは、例えば、第1-1領域(最大の明るさ映像)と第2-1領域(最小の明るさ映像)に明るさが異なる映像が配置され、第1-2領域(最小の明るさ映像)と第2-2領域(最大の明るさ映像)に明るさが異なる映像が配置されるという意味として理解される。
図5Aにおいて、0-Lと0-Rは、左眼と右眼のための入力の対を示すステレオパターン映像である。1-Lと1-Rは、1-Lの一部をBlack(左側)、White(右側下段)、Black(右側上段)に配置させ、1-Rの一部をBlack(左側)、White(右側上段)、Black(右側下段)に配置させたステレオパターン映像に該当する。
一実施形態において、動的クロストークを測定するために、図5Aに示された8対のステレオパターン映像を用いてもよい。ここで、ステレオパターン映像の条件は、3Dレンダリング後に左眼で一回は最大の明るさを測定し、もう一回は最小の明るさを測定し、3Dディスプレイのオフセットを測定できる形態の映像パターンを含むのであろう。
0-Lと0-Rの各映像において、左側の黒色領域は、オフセットを測定するためのものであり、黒色と白色が交差する右側領域は、最大の明るさと最小の明度値を測定するためのものである。ユーザの目が固定されているため、様々な映像を時間に応じて撮影して測定しなければならない静的クロストークとは異なり、動的クロストークは、様々な映像を時間に応じて撮影すれば、測定位置が変動されることから測定し難い。
従って、一実施形態において、1つの映像で全て(例えば、最大の明るさ、最小の明るさ及び3Dディスプレイのオフセット)を撮影して動的クロストークを測定することができる。実施形態により、ステレオパターン映像のそれぞれを用いてクロストークを測定した後、カメラの移動速度に応じて平均を算出して動的クロストークを測定することができる。図5Aに示すステレオパターン映像に含まれている円形のマーカについては、次の図7~図9を参照して具体的に説明する。
又は、一実施形態によれば、ステレオパターン映像の一部を構成する2Dパターンに黒色単一パターンのみを表示する代わり、黒色-白色パターンを表示することができる。例えば、左眼映像の一側の半分領域と、右眼映像の同じ一側の半分領域とに、同じ黒色-白色パターンを表示し、左眼映像の他側の半分領域と右眼映像の同じ他側の半分領域とに互いに、反対となる黒色-白色パターンを表示することができる。この場合、2Dパターン内の黒色領域を用いてオフセットを算出し、2Dパターン内の白色領域を用いて飽和を算出することができる。また、オフセット及び飽和に基づいて、3Dパターンにより発生するクロストークを算出することができる。
より具体的に、図5Bを参照すると、左眼映像510及び右眼映像530のそれぞれが4つの領域に区分されたステレオパターン映像の一例示が示されている。実施形態により、マーカは、図5Bに示すような四角形であってもよい。
実施形態により、ステレオパターン映像の左眼映像510は、左側上段511の第1-1領域と右側下段の第1-3領域とに黒色パターン映像を含み、左側下段513の第1-2領域と右側上段の第1-4領域とに白色パターン映像を含んでもよい。また、ステレオパターン映像の右眼映像530は、左側上段531の第2-1領域と右側上段の第2-4領域とに黒色パターン映像を含み、左側下段533の第2-2領域と右側下段の第2-3領域とに白色パターン映像を含んでもよい。
ここで、左側上段511の黒色パターン映像は、3Dディスプレイのオフセットを測定するためのものであり、左側下段513の白色パターン映像は、カメラの飽和程度を測定するためのものである。クロストークの測定時にカメラで取得した映像で飽和が発生すれば、誤差が発生する可能性がある。
一実施形態において、カメラの飽和程度を測定するために左眼映像510の左側下段513領域あるいは右眼映像530の左側下段533領域を検出してピクセルの平均値を確認し、平均値が特定明るさ(例えば、250)よりも高い場合、カメラゲイン(gain)を低くすることで、カメラの飽和による測定誤差が発生することを防止できる。
図6は、一実施形態によりカメラに動的な動きを提供する駆動部を制御する方法を説明するための図である。図6Aを参照すると、互いに異なる等速度の動的な動きを有するカメラで撮影したステレオパターン映像610,620が図示され、図6Bを参照すれば、顔マスク630とカメラ640の配置関係及び瞳孔の距離が異なる複数の顔マスク660が示されている。
一実施形態において、動的クロストークを測定するために、例えば、図6Bに示す顔マスク630について、特定方向及び/又は特定速度で動的な動きを提供することができる。ここで、顔マスク630に動的な動きが与えられることにより、顔マスク630の左眼の後ろに付着されたカメラ640は、ユーザの左眼で見える映像を撮影することができる。ここで、カメラ640で飽和が発生すれば、クロストークの測定時に誤差が発生することから、測定装置は、飽和が発生しないようにカメラ640のことがインを調節することができる。
測定装置は、カメラ640が等速運動する区間で動的クロストークを測定することができる。そのために、カメラ640に動的な動きを提供するカメラ移動装置650は、モータによって最初には加速を実行し、特定の位置からは等速を行って停止するために減速を行ってもよい。この場合、測定装置は、カメラ640の動的な動きのための加速時及び減速時にはクロストークを測定することなく、カメラ640が等速に移動する場合にクロストークを測定することができる。
図6Aを参照すると、カメラ640が低速(20mm/sec)の等速度で動くときに撮影したステレオパターン映像610、及びカメラ640が高速(260mm/sec)の等速度で動くときに撮影したステレオパターン映像620が示されている。
ステレオパターン映像610において、右側上段と右側下段は、鮮明な白色と鮮明な黒色で撮影されたが、ステレオパターン映像620において、右側上段と右側下段は、クロストークが発生して暗い白色と明るい黒色で撮影されたことが示されている。言い換えれば、カメラ640が高速の動的な動きを有する場合、前述した待ち時間によって動的クロストークが発生し得る。
一実施形態において、顔の形の顔マスク630の動きの速度、言い換えれば、顔マスク630に付着したカメラ640の動的な動き速度が、例えば、20mm/sec~260mm/secまで変更されるようにカメラ移動装置650を制御し、動的クロストークを測定することができる。測定装置は、モータを用いてカメラ移動装置650が均一な速度で移動するように制御できる。
また、測定装置は、動的な動きの速度以外にも動的な動きの方向を可変した動的な動きを提供するよう、カメラ移動装置650を制御して動的クロストークを測定することができる。動的な動き方向によって動的クロストークが異なるように測定され得るため、測定装置は、ユーザの両眼から鼻に向かう内側マージン方向1と、ユーザの両眼から耳に向かう外側マージン方向2とにカメラが移動するよう、カメラ移動装置650を制御して動的クロストークを測定することができる。
又は、測定装置は、次の図6Bに示された顔マスク660のように、2つの目の間の距離を、たとえば、60mm、65mm、及び70mmのように相違にして動的クロストークを測定することができる。
図7は、一実施形態により動的クロストークを測定する過程を示したフローチャートである。図7を参照すると、一実施形態に係る測定装置がステップS710~ステップS730を介して動的クロストークを測定する過程が示されている。
ステップS710において、測定装置は、前述したステップS320で受信された映像から、最大の明るさ及び最小の明るさのそれぞれに対応する複数の領域を示すマーカを検出する。測定装置がマーカを検出する方法については、次の図8を参照してみて具体的に説明する。
ステップS720において、測定装置は、ステップS710で検出したマーカに基づいて複数の領域を抽出する。測定装置が複数の領域を抽出する方法については、次の図9を参照してより具体的に説明する。
ステップS730において、測定装置は、ステップS720で抽出した複数の領域のそれぞれから測定されたピクセルの明度値に基づいて動的クロストークを測定する。測定装置は、例えば、ステップS730で測定した動的クロストークを動的動きの速度に応じて平均し、平均値を動的クロストークの測定結果として出力してもよい。
実施形態により、カメラがユーザの左眼に提供される左眼映像及びユーザの右眼に提供される右眼映像のそれぞれを撮影した場合、測定装置は、左眼映像と右眼映像のそれぞれで複数の領域を区分するマーカを検出した後、マーカに基づいて抽出した複数の領域のそれぞれから測定されたピクセルの明度値に対する統計値に基づいて、動的クロストークを測定することができる。統計値は、例えば、平均、分散、及び標準偏差などを含んでもよいが、必ずこれに限定されることはない。
図8は、一実施形態により撮影された映像を複数の領域に分割するマーカを検出する例示を説明するための図である。図8を参照すると、マーカ815を含む入力左眼映像810、入力右眼映像830、入力左眼映像及び入力右眼映像をユーザの左眼の位置で撮影した左眼カメラ映像850を示す。
マーカ815は、例えば、図8に示すように内部の色は黒色であり、縁部の色は白色である円形の形態を有してもよい。マーカ815は、例えば、円形以外にも、四角形、三角形、星形状などの様々な形態を有してもよいが、必ずこれに限定されることはない。
測定装置は、例えば、映像処理、パターン認識あるいはディープラーニングを用いてマーカ815を検出してもよい。測定装置は、マーカ815のパターンを予め認識させ置いたり、或いは予め学習させて神経網によって入力映像810,830に含まれているマーカ815を識別したりして検出することができる。
測定装置は、マーカ815により受信された入力映像810,830で最大の明るさ及び最小の明るさそれぞれに対応する複数の領域を区分することができる。
マーカ815は、3Dディスプレイで実際に表示する領域を探すために用いられてもよい。また、マーカ815は、ユーザの左眼に白色(White)映像が出力され、右眼に黒色(Black)映像が出力される、LWRB領域と、ユーザの左眼に黒色(Black)映像が出力され、右眼に白色(White)映像が出力される、LBRW領域と、ユーザの両眼に黒色(Black)映像が出力されるLBRB領域とを探すために用いられてもよい。
マーカ815は、例えば、入力左眼映像810と入力右眼映像830において、3Dディスプレイの縁部に配置されるように配置されてもよい。従って、測定装置は、マーカ815により左眼カメラ映像850で点線に示された3Dディスプレイの縁部を探すことができる。
また、測定装置は、マーカ815によって左眼カメラ映像850でユーザの左眼に白色(White)映像が出力され、右眼に黒色(Black)映像が出力される、LWRBL領域と、ユーザの左眼に黒色(Black)映像が出力され、右眼に白色(White)が出力される、LBRWL領域と、ユーザの両眼に黒色(Black)映像が出力されるLBRBL領域とを探すことができる。
ここで、マーカ815により区切られる領域が3Dディスプレイ画面領域のうちクロストークを測定するための領域であり、クロストークを測定する数式におけるクロストークを測定する範囲である。
入力左眼映像810と入力右眼映像830とを3Dレンダリングした場合、実際の3Dディスプレイ画面は、左眼カメラ映像850のように左、右、上、下の一部分がカットされ見られないことがある。従って、一実施形態において、マーカ815を用いて実際のディスプレイ領域を設定し、クロストークを測定するためのカメラで撮影された映像(例えば、左眼カメラ映像850)を分析し、動的クロストークを測定することができる。
測定装置は、例えば、左眼カメラ映像850で探した各領域(たとえば、LWRBL領域、LBRWL領域、及びLBRBL領域)の明度値を前述した数式(1)に適用してクロストークを測定することができる。
図9は、一実施形態により複数の領域を抽出する方法を説明するための図である。図9を参照すると、図8を参照して検出されたマーカの中心点を用いて、左眼カメラ映像930から抽出した複数の領域LWRBL、LBRWL、LBRBLが示されている。
測定装置がマーカを検出して複数の領域を抽出する過程について、より具体的に説明すれば次の通りである。
測定装置は、動的クロストークを撮影するカメラ(例えば、カメラ253)によって撮影された左眼カメラ映像930からノイズを除去する。測定装置は、例えば、平均値フィルタ、ガウスフィルタ、及び中間値フィルタなどのようなフィルタによるフィルタリングを介して撮影された左眼カメラ映像930からノイズを除去することができる。
測定装置は、ノイズが除去された映像に含まれているマーカをもっと円満に探すために、適応的2進化(adaptive binarization)方式及びエッジ強調(edge enhancement)方式のような映像処理を行ってもよい。ここで、適応的2進化方式は、適応的に決定される閾値を用いて映像内の各ピクセルの値を0又は1に2進化する方式である。また、エッジ強調方式は、映像でエッジの識別可能性を高めるための過程であって、一定の方向性を有し明暗の地域的な対比効果を強調する方式である。
測定装置は、2進化方式及びエッジ強調方式を介してマーカの形態がより鮮明に処理された映像から円形のマーカを検出することができる。
測定装置は、検出されたマーカを領域毎に整列することができる。ここで、LWRBL領域に該当するrange1に属するマーカは、例えば、入力左眼映像910に配置されているマーカの位置を基準にして、1-8-9-2のように整列され、LBRWL領域に該当するrange2に属するマーカは、1-2-3-4のように整列されてもよい。また、LBRBL領域に該当するrange3に属するマーカは、1-4-5-6及び1-6-7-8のように整列されてもよい。
測定装置は、領域毎に整列されたマーカの中心点を用いて、複数の領域(例えば、LWRBL領域、LBRWL領域、及びLBRBL領域)を分離して測定することができる。
前述した数式(1)は、LWRB領域、LBRW領域、及びLBRB領域の3つが全て同一である場合に適用される。動的クロストークを測定する場合、3つの領域が全て互いに異なるため、数式(2)のように各領域に対応して測定された明度値の平均値を用いて動的クロストークを測定することができる。
一実施形態に係る測定装置は、前述した過程のように動的クロストークを測定することで、HUDモジュールの量産時に性能を評価する基準ツールとして使用されてもよい。また、一実施形態によれば、マスクの目の間の間隔を変更させながら動的クロストークを測定することで、クロストークの観点から目追跡カメラの目追跡予測性能を定量的に評価することもできる。
図10は、一実施形態に係る動的クロストークを測定する装置のブロック図である。図10を参照すると、一実施形態に係る動的クロストークを測定する装置(以下、「測定装置」)1000は、顔マスク1010、カメラ1030、駆動部1050、プロセッサ1070、及びメモリ1090を含む。
顔マスク1010は、ユーザの両眼に対応する位置が設定されているマスクとして、カメラ1030の前に配置されてもよい。
カメラ1030は、3Dディスプレイを介して出力されるステレオパターン映像を顔マスクの少なくとも一目の位置で撮影する。ここで、3Dディスプレイは、動的クロストークの発生有無又は動的クロストークの定量化のための測定対象であってもよい。3Dディスプレイは、例えば、裸眼3Dディスプレイ、ヘッドアップ(Head Up Display;HUD)、又は、拡張現実メガネのような拡張現実装置の透明ディスプレイであってもよいが、必ずこれに限定されることはない。3Dディスプレイは、動的クロストークが発生可能な様々な種類のディスプレイを全て含む意味として理解され得る。カメラ1030は、例えば、CMOSセンサあるいはCCDセンサなどのような画像センサであってもよく、又はCMOSあるいはCCDカメラであってもよい。カメラ1030は、ユーザの両眼のいずれか1つの目のための1つのカメラであってもよく、又は、ユーザの両眼それぞれのための複数のカメラ又はステレオカメラであってもよい。カメラ1030は、3Dディスプレイの最適の視聴位置に配置されてもよい。また、カメラ1030は、飽和が発生しないようにカメラの設定を調節できる。
駆動部1050は、カメラ1030が動的な動きを有するようにする。駆動部1050は、モータ1053及びカメラ移動装置1056を含んでもよい。モータ1053は、カメラ1030に動的な動きを提供するための動力を提供することができる。カメラ移動装置1056は、モータ1053によって提供される動力により、カメラ1030をユーザの動きを模写する方向及び速度で移動させ得る。駆動部1050は、カメラ1030が一定の固定方向と固定速度で、又は、可変方向と可変速度で移動するよう、カメラ1030に力を加えることができる。
プロセッサ1070は、駆動部1050によって提供された動的な動きが反映されたカメラ1030によって撮影された映像から複数の領域を抽出し、3Dディスプレイにより発生する動的クロストークを測定する。但し、プロセッサ1070の動作を上述したものに限定されず、プロセッサ1070は、図1~図9を参照して前述した動作のうち少なくとも1つと共に上述した動作を行ってもよい。
プロセッサ1070は、目的とする動作を実行させるための物理的な構造を有する回路付きハードウェアで具現された測定装置である。例えば、目的とする動作は、プログラムに含まれたコード(code)又は命令(instructions)を含んでもよい。例えば、ハードウェアで具現された測定装置は、マイクロプロセッサ(microprocessor)、中央処理装置(Central Processing Unit;CPU)、グラフィック処理装置(Graphic Processing Unit;GPU)、プロセッサコア(processor core)、マルチ-コアプロセッサ(multi-core processor)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、NPU(Neural Processing Unit)などを含んでもよい。
プロセッサ1070はプログラムを実行し、測定装置1000を制御する。プロセッサ1070によって実行されるプログラムコードは、メモリ1090に格納されてもよい。
メモリ1090は、カメラ1030によりユーザの両眼のうち少なくとも1つの目の位置で撮影したステレオパターン映像を格納する。また、メモリ1090は、プロセッサ1070が測定した3Dディスプレイにより発生する動的クロストークを格納する。また、メモリ1090は、プロセッサ1070が動的クロストークを測定して定量化した値を格納してもよい。
図11は、一実施形態に係るクロストーク検査装置のブロック図である。図11を参照すると、一実施形態に係るクロストーク検査装置1100は、少なくとも1つのカメラ1110、駆動部1130及びプロセッサ1150を含む。クロストーク検査装置1100は、メモリ1170及び通信インターフェース1190をさらに含んでもよい。少なくとも1つのカメラ1110、駆動部1130、プロセッサ1150、メモリ1170、及び通信インターフェース1190は、通信バス1105を介して接続されている。
少なくとも1つのカメラ1110は、検査対象に該当するヘッドアップディスプレイ(HUD)を介して出力されるステレオパターン映像を、ユーザの両眼のうち少なくとも1つの目の位置で撮影する。ヘッドアップディスプレイは、ユーザの前方に配置されたガラス窓への投射を介して虚像が結像するプロジェクション平面を形成することができる。
駆動部1130は、少なくとも1つのカメラ1110が動的な動きを有するようにする。図示していないが、駆動部1130は、少なくとも1つのカメラ1110に動作の動きを提供するための動力を提供するモータと、モータによって提供された動力によりカメラをユーザの動きを模写する方向及び速度で移動させるカメラ移動装置を含んでもよい。
プロセッサ1150は、動的な動きが反映された少なくとも1つのカメラ1110によって撮影された映像から複数の領域を抽出し、ヘッドアップディスプレイにより発生する動的クロストークを測定する。但し、プロセッサ1150の動作は上述の内容により限定されることなく、プロセッサ1150は、図1~図11を参照して前述した動作のうち少なくとも1つと共に上述した動作を行ってもよい。
プロセッサ1150は、目的とする動作を実行させるための物理的な構造を有する回路を有するハードウェアで具現された測定装置であってもよい。例えば、目的とする動作は、プログラムに含まれたコード(code)又は命令(instructions)を含んでもよい。例えば、ハードウェアで具現された補正装置は、マイクロプロセッサ、中央処理装置(Central Processing Unit;CPU)、グラフィック処理装置(Graphic Processing Unit;GPU)、プロセッサコア(processor core)、マルチ-コアプロセッサ(multi-core processor)、マルチプロセッサ(multiprocessor)、ASIC(Application-Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、NPU(Neural Processing Unit)などを含んでもよい。
プロセッサ1150はプログラムを実行し、クロストーク検査装置1100を制御することができる。プロセッサ1150によって実行されるプログラムコードはメモリ1170に格納されてもよい。
メモリ1170は、少なくとも1つのカメラ1110によって撮影された映像を格納する。また、メモリ1170は、プロセッサ1150によって測定された動的クロストークを格納してもよい。
通信インターフェース1190は、ロセッサ1150によって測定された動的クロストークを他の装置に送信したり、或いはクロストーク検査装置1100の外部に出力したりすることができる。
以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、又は命令(instruction)を実行して応答する異なる装置のように、1つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム(OS)及びオペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを行うことができる。また、処理装置は、ソフトウェアの実行に応答してデータにアクセス、データを格納、操作、処理及び生成することもできる。理解の利便のために、処理装置は、1つが使用されるものと説明される場合もあるが、当該技術分野において通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び又は複数のタイプの処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は一のプロセッサ及び一つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令したりすることができる。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供したりするために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行されたりし得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD-ROM、DVDのような光記録媒体、フロプティカルディスクのような磁気-光媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために1つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び/又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
1000:クロストーク測定装置
1010:顔マスク
1030:カメラ
1050:駆動部
1070:プロセッサ
1190:メモリ
1010:顔マスク
1030:カメラ
1050:駆動部
1070:プロセッサ
1190:メモリ
Claims (32)
- カメラが動的な動きを有するように構成された駆動部を制御するステップと、
ユーザの左眼の位置及び右眼の位置のいずれか一方又は両方において、前記カメラが動的に動いている間にカメラにより3Dディスプレイを介して出力されるステレオパターン映像を撮影するステップと、
前記カメラで撮影するステレオパターン映像に基づいて、前記3Dディスプレイで発生する動的クロストークを測定するステップと、を含む、
動的クロストークを測定する方法。 - 前記動的クロストークを測定するステップは、
前記撮影するステレオパターン映像で、最大の明るさ及び最小の明るさのそれぞれに対応する前記撮影するステレオパターン映像の複数の領域を示す複数のマーカを検出するステップと、
前記複数のマーカに基づいて前記複数の領域を抽出するステップと、
前記複数の領域のそれぞれから測定されるピクセルの明度値に基づいて、前記動的クロストークを測定するステップと、を含む、
請求項1に記載の動的クロストークを測定する方法。 - 前記動的クロストークを測定するステップは、前記動的クロストークを前記動的な動きの速度に応じて平均するステップを含む、請求項1又は2に記載の動的クロストークを測定する方法。
- 前記カメラが、前記ステレオパターン映像と、前記ユーザの左眼に提供される左眼映像及び前記ユーザの右眼に提供される右眼映像のそれぞれとを撮影する場合、
前記動的クロストークを測定するステップは、
前記左眼映像及び前記右眼映像を前記複数の領域に分割する複数のマーカを検出するステップと、
前記複数のマーカに基づいて前記複数の領域を抽出するステップと、
前記複数の領域のそれぞれから測定されるピクセルの明度値に対する統計値に基づいて前記動的クロストークを測定するステップと、を含む、
請求項1~3のうちのいずれか1項に記載の動的クロストークを測定する方法。 - 前記駆動部を制御するステップは、前記カメラが一定の速度で様々な方向に動くように前記駆動部を制御するステップを含む、請求項1~4のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記駆動部を制御するステップは、
前記カメラがユーザの動きを模写する方向及び速度で動くように前記駆動部を制御するステップと、
前記3Dディスプレイに向かう方向に配置される顔マスクの両眼の間の距離を調整するステップと、を含む、
請求項1~4のうちのいずれか1項に記載の動的クロストークを測定する方法。 - 前記カメラの位置は、前記3Dディスプレイを臨む方向に位置する顔マスクの少なくとも1つの目の位置に対応する、請求項1~6のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記ユーザの左眼の位置及び右眼の位置のいずれか一方又は両方において、前記3Dディスプレイに向かう方向に配列されている顔マスクの瞳孔距離に基づいて、前記ステレオパターン映像を撮影するステップをさらに含む、請求項1~7のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記ステレオパターン映像を撮影するステップは、前記カメラが等速度で動いている間に一定の間隔で前記ステレオパターン映像を撮影するステップを含み、
前記動的クロストークを測定するステップは、前記カメラが前記等速度で移動している間に捕捉される前記ステレオパターン映像を分析して前記動的クロストークを測定するステップを含む、
請求項8に記載の動的クロストークを測定する方法。 - 前記動的な動きに応じて、前記カメラが移動した位置に基づいて前記動的クロストークを補正するステップをさらに含む、請求項1~9のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記カメラにより撮影される前記ステレオパターン映像は、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び前記3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含む、請求項1~10のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記3Dディスプレイは、3Dキャリブレーションを介して取得する光学レイヤのパラメータに基づいて、前記ユーザの左眼の位置及び右眼の位置と一致する前記ステレオパターン映像を生成する、請求項1~11のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記3Dディスプレイは、前記ユーザの左眼の位置及び右眼の位置を検出するように構成される視線追跡器又はセンサを含み、
前記3Dディスプレイは、前記ユーザの左眼の位置及び右眼の位置に対応するステレオパターン映像の位置にレンダリングを適用するように構成される、
請求項1~12のうちのいずれか1項に記載の動的クロストークを測定する方法。 - 前記3Dディスプレイは、ヘッドアップディスプレイ、3Dデジタル情報ディスプレイ、ナビゲーション装置、3Dモバイル機器、スマートフォン、スマートTV、スマート車両、IoTデバイス、医療デバイス、及び計測デバイスのうちの少なくとも1つを含む、請求項1~13のうちのいずれか1項に記載の動的クロストークを測定する方法。
- 前記ステレオパターン映像は、
単一色のパターンを左眼と右眼とに同一に表示する2Dパターンと、
前記ユーザの左眼及び右眼と反対に対照される色のパターンを示す3Dパターンと、を含む、
請求項1~14のうちのいずれか1項に記載の動的クロストークを測定する方法。 - 前記ステレオパターン映像は、
互いに対照される複数色のパターンを左眼と右眼とに同一に表示する2Dパターンと、
対照される色のパターンを前記ユーザの左眼及び右眼と反対に表示する3Dパターンと、を含む、
請求項1~14のうちのいずれか1項に記載の動的クロストークを測定する方法。 - ハードウェアと結合して請求項1~16のうちのいずれか1項に記載の方法を実行させるためにコンピュータで読み出し可能な記録媒体に格納される、コンピュータプログラム。
- 該当の顔マスクの左眼の位置及び右眼の位置がユーザの左眼の位置及び右眼の位置にそれぞれ対応する顔マスクと、
前記顔マスクの左眼の位置及び右眼の位置のいずれか一方又は両方において、3Dディスプレイを介して出力されるステレオパターン映像を撮影するカメラと、
前記カメラが動的な動きを有するようにする駆動部と、
前記カメラが前記動的な動きに応じて、動いている間に前記カメラにより撮影されるステレオパターンに基づいて、前記3Dディスプレイにより発生する動的クロストークを測定するプロセッサと、を含む、
動的クロストークを測定する装置。 - 前記プロセッサは、前記撮影されるステレオパターン映像で最大の明るさ及び最小の明るさのそれぞれに対応する撮影されるステレオパターン映像の複数の領域を示す複数のマーカを検出し、前記複数のマーカに基づいて前記複数の領域を抽出し、前記複数の領域のそれぞれから測定されるピクセルの明度値に基づいて前記動的クロストークを測定する、請求項18に記載の動的クロストークを測定する装置。
- 前記プロセッサは、
前記カメラが前記ステレオパターン映像で、前記ユーザの左眼に提供される左眼映像及び前記ユーザの右眼に提供される右眼映像のそれぞれを撮影する場合、
前記左眼映像及び前記右眼映像のそれぞれを前記複数の領域に分割する複数のマーカを検出し、前記複数のマーカに基づいて前記複数の領域を抽出し、前記複数の領域のそれぞれから測定されるピクセルの明度値に対する統計値に基づいて前記動的クロストークを測定する、
請求項18又は19に記載の動的クロストークを測定する装置。 - 前記プロセッサは、前記動的な動きに応じて前記カメラが移動した位置に基づいて前記動的クロストークをさらに補正する、請求項18~20のうちのいずれか1項に記載の動的クロストークを測定する装置。
- 前記撮影されるステレオパターン映像は、最大の明るさを測定するための第1パターン映像に対応する第1領域、最小の明るさを測定するための第2パターン映像に対応する第2領域、及び前記3Dディスプレイの明るさのオフセットを測定するための第3パターン映像に対応する第3領域を含む、請求項18~21のうちのいずれか1項に記載の動的クロストークを測定する装置。
- 前記駆動部は、
前記カメラが前記動的な動きを有するように動力を提供するモータと、
前記ユーザの動きを模写するために、前記カメラを前記動力による方向及び速度で移動させるカメラ移動装置と、を含む、
請求項18~22のうちのいずれか1項に記載の動的クロストークを測定する装置。 - 前記プロセッサは、前記カメラ移動装置を制御して等速度で前記カメラを移動させる、請求項23に記載の動的クロストークを測定する装置。
- 前記プロセッサは、前記カメラの方向又は速度のいずれか1つ以上を変更するために前記カメラ移動装置を制御する、請求項23に記載の動的クロストークを測定する装置。
- 前記の顔マスクにおいて、前記左眼と前記右眼との間の距離は、調整可能であり、
前記プロセッサは、前記顔マスクで調整される両眼間の距離及び前記動的な動きに基づいて、前記撮影されたステレオパターン映像から前記複数の領域を抽出し、前記動的クロストークを測定する、
請求項18~25のうちのいずれか1項に記載の動的クロストークを測定する装置。 - 前記3Dディスプレイは、3Dキャリブレーションを介して取得する光学レイヤのパラメータに基づいて前記ユーザの両眼の位置にマッチングされる前記ステレオパターン映像を生成する、請求項18~26のうちのいずれか1項に記載の動的クロストークを測定する装置。
- 前記ユーザの両眼の位置を探すための目追跡器又はセンサをさらに含み、
前記3Dディスプレイは、前記目追跡器又は前記センサを用いて検出される前記ユーザの両眼の位置に該当する前記ステレオパターン映像のレンダリング位置を適用する、
請求項18~27のうちのいずれか1項に記載の動的クロストークを測定する装置。 - 前記ステレオパターン映像は、
前記ユーザの左眼及び右眼に同一に単色のパターンを表示する2Dパターンと、
前記ユーザの左眼及び右眼と反対に対照される色のパターンを表示する3Dパターンと、を含む、
請求項18~28のうちのいずれか1項に記載の動的クロストークを測定する装置。 - 前記ステレオパターン映像は、
前記ユーザの左眼及び右眼に同一に対照される色のパターンを示す2Dパターンと、
前記ユーザの左眼及び右眼に前記対照される色のパターンを反対に表示する3Dパターンと、を含む、
請求項18~28のうちのいずれか1項に記載の動的クロストークを測定する装置。 - 前記3Dディスプレイは、ヘッドアップディスプレイ、3Dデジタル情報ディスプレイ、ナビゲーション装置、3Dモバイル機器、スマートフォン、スマートTV、スマート車両、IoTデバイス、医療デバイス、及び計測デバイスのうち少なくとも1つを含む、請求項18~30のうちのいずれか1項に記載の動的クロストークを測定する装置。
- ユーザの左眼の位置及び右眼の位置のいずれか1つ又は両方でヘッドアップディスプレイを介して出力されるステレオパターン映像を撮影する少なくとも1つのカメラと、
前記少なくとも1つのカメラが動的な動きを有するようにする駆動部と、
前記少なくとも1つのカメラが前記動的な動きに応じて動いている間に、前記少なくとも1つのカメラにより撮影されるステレオパターン映像に基づいて、前記ヘッドアップディスプレイにより発生する動的クロストークを測定するプロセッサと、を含む、
クロストーク検査装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200129030A KR20220045862A (ko) | 2020-10-06 | 2020-10-06 | 동적 크로스토크를 측정하는 방법 및 장치 |
KR10-2020-0129030 | 2020-10-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022061495A true JP2022061495A (ja) | 2022-04-18 |
Family
ID=77168102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021164122A Pending JP2022061495A (ja) | 2020-10-06 | 2021-10-05 | 動的クロストークを測定する方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11641455B2 (ja) |
EP (1) | EP3982629B1 (ja) |
JP (1) | JP2022061495A (ja) |
KR (1) | KR20220045862A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020210937A1 (en) * | 2019-04-15 | 2020-10-22 | Shanghai New York University | Systems and methods for interpolative three-dimensional imaging within the viewing zone of a display |
US11719930B2 (en) * | 2020-09-07 | 2023-08-08 | Samsung Electronics Co., Ltd. | Method and apparatus with crosstalk correction |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2471137B (en) * | 2009-06-19 | 2011-11-30 | Sony Comp Entertainment Europe | 3D image processing method and apparatus |
WO2012056708A1 (ja) | 2010-10-29 | 2012-05-03 | パナソニック株式会社 | クロストークの検出方法、クロストークを検出するための信号を生成する信号生成装置及びクロストークを検出するための信号を生成するための画像ファイルを記憶したコンピュータ可読媒体、クロストークを検出するための信号を用いて画像を表示する表示装置及び表示装置の製造方法 |
KR101282957B1 (ko) | 2010-10-29 | 2013-07-08 | 엘지디스플레이 주식회사 | 입체 디스플레이의 광학 측정 장치 및 방법 |
KR101198557B1 (ko) | 2011-03-19 | 2012-11-06 | 유병현 | 시청자세를 반영하는 3차원 입체영상 생성 시스템 및 방법 |
KR20140092055A (ko) | 2013-01-15 | 2014-07-23 | 엘지디스플레이 주식회사 | 입체영상 표시장치 및 그 구동방법 |
KR102279816B1 (ko) | 2014-12-26 | 2021-07-21 | 엘지디스플레이 주식회사 | 무안경 입체영상표시장치 |
KR102121389B1 (ko) | 2015-10-16 | 2020-06-10 | 삼성전자주식회사 | 무안경 3d 디스플레이 장치 및 그 제어 방법 |
US10778962B2 (en) * | 2017-11-10 | 2020-09-15 | Misapplied Sciences, Inc. | Precision multi-view display |
CN108195563B (zh) | 2017-12-29 | 2020-04-28 | 深圳超多维科技有限公司 | 一种立体显示装置的显示效果测评方法、装置和测评终端 |
-
2020
- 2020-10-06 KR KR1020200129030A patent/KR20220045862A/ko unknown
-
2021
- 2021-03-12 US US17/200,236 patent/US11641455B2/en active Active
- 2021-08-02 EP EP21189096.7A patent/EP3982629B1/en active Active
- 2021-10-05 JP JP2021164122A patent/JP2022061495A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3982629B1 (en) | 2024-10-02 |
US11641455B2 (en) | 2023-05-02 |
KR20220045862A (ko) | 2022-04-13 |
EP3982629A1 (en) | 2022-04-13 |
US20220109815A1 (en) | 2022-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756223B2 (en) | Depth-aware photo editing | |
CN109074681B (zh) | 信息处理装置、信息处理方法和程序 | |
KR102417177B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
US8564645B2 (en) | Signal processing device, image display device, signal processing method, and computer program | |
US20140176591A1 (en) | Low-latency fusing of color image data | |
JP6926048B2 (ja) | 3次元ディスプレイ装置のキャリブレーション方法、装置及び動作方法 | |
JP2022061495A (ja) | 動的クロストークを測定する方法及び装置 | |
US20210398306A1 (en) | Dense depth computations aided by sparse feature matching | |
US12052406B2 (en) | Display apparatus and operating method of the same | |
US11579449B2 (en) | Systems and methods for providing mixed-reality experiences under low light conditions | |
US20210125395A1 (en) | Rendering method and processor | |
KR20180057294A (ko) | 사용자의 눈을 위한 3d 렌더링 방법 및 장치 | |
US20220277512A1 (en) | Generation apparatus, generation method, system, and storage medium | |
US8983125B2 (en) | Three-dimensional image processing device and three dimensional image processing method | |
US20130321608A1 (en) | Eye direction detecting apparatus and eye direction detecting method | |
JP2015216542A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN115334296B (zh) | 一种立体图像显示方法和显示装置 | |
KR101680882B1 (ko) | 초다시점 영상 배열 획득을 위한 카메라 배열방법 | |
CN115334296A (zh) | 一种立体图像显示方法和显示装置 | |
CN116414230A (zh) | 用于确定当前注视方向的方法和系统 | |
CN117275376A (zh) | 用于车载平视显示的重影消除方法、以及相关设备和芯片 | |
JP2020088496A (ja) | 錯視立体画像生成装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240926 |