JP2023162320A - 視聴者に合わせて調整された立体画像表示 - Google Patents
視聴者に合わせて調整された立体画像表示 Download PDFInfo
- Publication number
- JP2023162320A JP2023162320A JP2023136425A JP2023136425A JP2023162320A JP 2023162320 A JP2023162320 A JP 2023162320A JP 2023136425 A JP2023136425 A JP 2023136425A JP 2023136425 A JP2023136425 A JP 2023136425A JP 2023162320 A JP2023162320 A JP 2023162320A
- Authority
- JP
- Japan
- Prior art keywords
- image
- screen
- stereoscopic
- distance
- single screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000011521 glass Substances 0.000 claims description 11
- 208000003464 asthenopia Diseases 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005055 memory storage Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 23
- 230000000694 effects Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 20
- 230000008447 perception Effects 0.000 description 14
- 230000009977 dual effect Effects 0.000 description 12
- 230000004308 accommodation Effects 0.000 description 11
- 210000004556 brain Anatomy 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000009966 trimming Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 208000003164 Diplopia Diseases 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 108010014173 Factor X Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 208000029444 double vision Diseases 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】立体撮影画像を処理して、視聴条件に合わせた最適な立体画像ペアを生成する方法、装置及びプログラムを提供する。【解決手段】立体ビデオ再生装置は、平行軸カメラを使用して撮影された撮影画像(右目画像及び左目画像)について、単一スクリーン上に新しいディスプレイ/スクリーンパラメータを有する視聴条件の立体ビデオを提供するために、画像プロセッサ25が、トリミングおよびスケールパラメータ計算機20により生成される、トリミングおよびスケールパラメータによって、元の立体画像ペアを処理する。【選択図】図16C
Description
本出願は、2017年8月30日に出願された米国仮特許出願第62/551,942号および2018年2月8日に出願された米国仮特許出願第62/627,825号の優先権を主張し、その内容は参照により本明細書に組み込まれる。
本出願は、立体画像表示に関する。
立体ビデオまたは映画撮影は芸術である。最高の3D効果で再生するための左右のビデオストリームを取得するカメラの配置は、簡単な作業ではない。カメラの配置には、映画館および視聴者の配置の知識、ならびにそのような視聴条件下でほとんどの人が3Dをどのように知覚するかについての理解が必要である。立体映画撮影の分野では、2つのカメラを光軸が収束するように配置することが一般的に認められており、これにより、最高の3D効果が得られる。カメラ間隔および輻輳角は、表示スクリーンからの視聴者の平均距離、目の平均間隔、スクリーンの中心に対する平均視聴位置の知識に基づいて選択される。これらの視聴条件が守られない場合、3Dエクスペリエンスの品質を損なう。
視聴条件が、立体映画撮影技師によって本来意図されたものから変更されるべきである場合、新しい視聴条件のために立体ビデオを再フォーマットすることが当技術分野で既知である。通常、再フォーマットには、立体画像ペアを分析して個々のピクセルの深度を決定し、次に、元の画像および深度情報を使用して立体画像ペアを生成して、新しい視聴条件に好適な立体画像ストリームを再作成できるようにすることを伴う。このような再フォーマットは計算量が多く、新しい視聴条件で実行される。視聴条件が変化すると、計算量の多い処理が繰り返される。
出願人は、平行非収束カメラの使用によって引き起こされる3Dエクスペリエンスの品質の潜在的な損失が、そのような立体ビデオが単一スクリーン上の視聴者の視聴条件に合わせて再フォーマットされるときの3Dエクスペリエンスの品質の向上によって克服されることを発見した。
したがって、単一スクリーン上に新しい視聴条件の立体ビデオを提供するために、スケーリングおよびトリミングによって元の視聴条件下で視聴するように提供された、元の立体画像ペアを処理する再生装置が提供される。
上述のような立体画像の再フォーマットを回避するために、第1の視野での表示を本来意図した立体画像を、第2の視野を有する新しい単一ディスプレイ上に表示することが可能である。
出願人は更に、通常は視聴に使用されると予想されるより広い視野を備えた平行軸カメラを使用して3D画像を取得および保存すると、より広い範囲の視聴条件で視聴する場合、視聴装置(または視聴システム内)で記録された3D画像を処理できるという利点があることを発見した。
広範な態様は、単一スクリーン上で視聴者に表示するための立体画像を処理する方法であり、立体画像は、第1の視野を有する平行軸カメラを使用して撮影される。本方法は、単一スクリーンによって提供される第2の視野の定義と、視聴者の眼間距離Ioと、視聴
者と単一スクリーンとの間の距離と、を使用して、立体画像を配置およびスケーリングすることを含み、これにより、第1の視野に対する視聴者からの距離で、単一スクリーン上に画像を表示し、スクリーンに対してスケーリングされた立体画像がスクリーンよりも大きい場合、スクリーンに対して画像をトリミングし、およびスクリーンに対してスケーリングされた立体画像がスクリーンよりも小さい場合、スクリーンに対して画像に境界を提供する。
者と単一スクリーンとの間の距離と、を使用して、立体画像を配置およびスケーリングすることを含み、これにより、第1の視野に対する視聴者からの距離で、単一スクリーン上に画像を表示し、スクリーンに対してスケーリングされた立体画像がスクリーンよりも大きい場合、スクリーンに対して画像をトリミングし、およびスクリーンに対してスケーリングされた立体画像がスクリーンよりも小さい場合、スクリーンに対して画像に境界を提供する。
いくつかの実施形態では、本方法は、立体画像内のズームウィンドウを選択して、第1の視野を変更することを更に含んでもよく、立体画像は、変更された第1の視野に対してスケーリングされ得る。
いくつかの実施形態では、ズームウィンドウは、立体画像の中心からオフセットされて、立体画像内の関心領域を視聴することができるようにし得る。
いくつかの実施形態では、視聴者入力は、立体画像を視聴しながらオフセットを動かすために使用されてもよい。
いくつかの実施形態では、立体画像は静止画像であってもよい。
いくつかの実施形態では、立体画像はビデオ画像であってもよい。
いくつかの実施形態では、立体画像は、組み合わされたアナグリフ形式画像に変換されてもよい。
いくつかの実施形態では、立体画像は、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換されてもよい。
いくつかの実施形態では、立体画像は、シャッター眼鏡で視聴するように一連のページフリップ画像に変換されてもよい。
いくつかの実施形態では、立体画像は、偏光ディスプレイ用に一連のラインインターリーブに変換されてもよい。
いくつかの実施形態では、本方法は、単一スクリーンによって提供される第2の視野の定義を取得するように、ユーザ入力を取得することを含んでもよい。
いくつかの実施形態では、本方法は、単一スクリーンによって提供される第2の視野の定義を取得するように、センサデータを取得することを含んでもよい。
いくつかの実施形態では、立体画像は、遠方のオブジェクトの右目画像と左目画像との間Ioのオブジェクト間隔に対応するように、単一スクリーン上に配置されてもよい。
いくつかの実施形態では、視聴者は、複数の視聴者を含み、眼間距離Ioは、複数の視聴者の中で最小の眼間距離であるように選択されてもよい。
いくつかの実施形態では、立体画像は、相対的なベースオフセットを使用して更にスケーリングおよび/または配置されて、最も遠方のオブジェクトがスクリーンにより近くに現れるようにし、および/または最も近いオブジェクトがスクリーンにより近くに現れるようにする。目的は、単一スクリーンに焦点を合わせるための眼の調節と、近いオブジェクトおよび/または遠いオブジェクトに焦点を合わせるための眼の調節との違いによる、
起こり得る目の疲れを減らすことである。相対的なベースオフセットのこの更なるスケーリングおよび配置では、単一スクリーンの深度で現れるオブジェクトが同じ深度に現れるように維持することが可能である。
起こり得る目の疲れを減らすことである。相対的なベースオフセットのこの更なるスケーリングおよび配置では、単一スクリーンの深度で現れるオブジェクトが同じ深度に現れるように維持することが可能である。
別の広範な態様は、単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、装置は、プロセッサと、プロセッサによって読み取り可能なメモリと、を備え、メモリは、本明細書で定義される方法を実行する命令を格納する、装置である。
別の広範な態様は、本明細書で定義される方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラム製品である。
本発明は、添付の図面を参照した本発明の実施形態の以下の詳細な説明によってよりよく理解されるであろう。
本明細書で説明する実施形態に含まれる画像処理技術の背後にある幾何学的配置を説明する前に、画像処理の定性的な概要を提示する。
図1Aでは、平行カメラ、すなわち左カメラおよび右カメラを同じシーンをキャプチャするように配列することができる方法が概略的に示されている。2つのカメラは、解像度、焦点、視野などの同じプロパティを有することができ、それらは平行な光軸を有する。2つのカメラは、視聴者の目の間の間隔に対応し得る距離で離され得る。無限遠にあるオブジェクトは、各カメラ画像の同じ位置に現れる。カメラ間の距離、カメラからのオブジェクトの距離を含む視野内のオブジェクトの位置に応じて、より近いオブジェクトは異なる視差を有する。
図1Bでは、右目画像の上に左目画像が示され、太陽が各画像の同じ位置に現れている。中央部に現れる木は、視差により2つの画像で異なる位置になる。
図1Cに示すように、単一スクリーンに表示するには、図1Bのカメラ画像の変更が必要である。単一スクリーンでの視聴は、既知の技術で行うことができる。例えば、アナグリフカラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。
図1Cの表示スクリーンの視野(FOV)は、カメラ画像の元のFOVよりも大きい。図1Cに図示されているように、定性的に各画像は、視聴者の眼間距離に対応するように適切に横向きにオフセットして、単一スクリーンのウィンドウまたはフレーム内に置かれる。この距離は人によって異なり得る。以下で説明するように、スクリーンを2人の視聴者が視聴する場合は、その視聴者の不快感を避けるために、視聴者の最小の眼間距離を使用するのが最善であり得る。このようにして得られた画像は、立体表示技術に従って単一スクリーン上に表示される。
視聴者がスクリーンからの距離を変更すると、図1Dに示すように、ディスプレイまたはスクリーンのFOVが変化することが理解されよう。視聴者がスクリーンに近いほど、FOVは大きくなる。同様に、視聴者がスクリーンから一定の距離にいる場合、FOVはスクリーンが小さい場合よりもスクリーンが大きい場合の方が大きくなる。図1Dおよび図1Eは、FOV、視聴距離、およびスクリーンサイズの間の依存性を定性的に理解するために重要である。
図1Cの実施形態では、表示スクリーンは、元のFOVよりも大きいFOVを提供し、したがって、境界部分の一部はパディングまたはブラックアウトされ得る。図1Fの実施形態では、ディスプレイFOVは、キャプチャFOVよりも小さい。これは、表示スクリーンが基本的に視聴距離に対して小さすぎることを意味する。図1Fに定性的に図示され
ているように、元のキャプチャ画像のトリミングは、2つの画像を組み合わせて表示スクリーンに収まることができるように行われる。元のキャプチャ画像の一部の縁部分は失われるが、画像は元のキャプチャに立体的に忠実である。
ているように、元のキャプチャ画像のトリミングは、2つの画像を組み合わせて表示スクリーンに収まることができるように行われる。元のキャプチャ画像の一部の縁部分は失われるが、画像は元のキャプチャに立体的に忠実である。
図1Gの実施形態では、立体出力は、1.5倍に拡大されるべきである。定性的には、図1Bの画像(理解を容易にするために図面シートで繰り返される)が最初に拡大され、拡大された画像から、表示スクリーンに収まることができる部分が抽出され、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット(Io)で置かれることがわかる。表示スクリーンFOVはキャプチャFOVと同じにすることができるが、拡大の結果として、キャプチャ画像の重要な境界部分が失われる。しかし、拡大された画像の立体効果は視聴しやすい。
図1Gに示す方法で画像をスケーリングすると、拡大率はオブジェクトのサイズおよび知覚される視差に影響を与えるため、オブジェクトが近くに見えるようになり、ズームが画像内のオブジェクトに近づくことを含むような印象を与える。シーン内のオブジェクト間の深度の変動の知覚は減少または平坦化されるが、画像は2つの目と位置合わせされたままであるため、拡大しても3D効果はうまく機能する。
変化する視聴条件に従う元のキャプチャ画像への調整に耐える立体効果の機能は、平行軸カメラからの元のキャプチャ画像によって促進される。平行に近い軸を有するカメラは、適切な画像を提供することが理解されよう。
図1Gに図示されるキャプチャ画像の拡大は、キャプチャ画像の中心について取られる必要がなく、そのような拡大を実行するとき、対象のウィンドウが効果的に選択されることが理解されよう。更に、この機能により、視聴者は、元のキャプチャシーンのパンをシミュレートする方法で対象のウィンドウを移動できるようになることが理解されよう。
図1Hの実施形態では、立体出力は、0.5倍に拡大(すなわち、縮む)されるべきである。定性的には、図1Bの画像(理解を容易にするために図面シートで繰り返される)が最初にスケールダウンされ、小さい画像は、立体表示技術に従って、単一表示スクリーン内に好適な眼間オフセット(Io)で置かれることがわかる。表示スクリーンFOVはキャプチャFOVと同じにすることができるが、縮小の結果として、キャプチャ画像の一部が失われることはない。拡大率は、画像が単一表示スクリーンの利用可能なFOVに正確に収まるように選択できる。以前と同様に、図1Hの実施形態では、シーン内のオブジェクト間の深度の変動の知覚は増加するが、画像は2つの目と位置合わせされたままであるため、拡大しても3D効果はうまく機能する。
特定の実施形態を定性的に説明してきたが、他の実施形態は、正確な幾何学計算を使用して以下に説明される。
平行カメラでキャプチャ
2つの同一のカメラで構成される立体キャプチャシステムは、平行構成で配置される。図1Aに示すように、このような立体システムでキャプチャされたオブジェクトの視差は、左カメラで撮影した画像上でのこのオブジェクトの位置と、右のカメラでキャプチャした画像上でのこの同じオブジェクトの位置との間の測定された差である。
図2に示すように、これらの2つのカメラは、幅Lcおよび長さFの焦点距離のセンサを有すると定義される。それらのそれぞれのレンズの中心は、互いから距離Bをおいて置かれる。この距離をベースと呼ぶ。
オブジェクトが左カメラの中心軸上に正確にある場合、このオブジェクトは左カメラのセンサの中心に正確に表される。このオブジェクトの視差は、右のカメラのセンサ上のこのオブジェクトによって形成される点と右のカメラのセンサの中心との間の距離に等しく、これは、上のグラフのセグメントpcに示される。距離Drnに位置するオブジェクトの視差は、辺PcおよびBが対応する同等の直角三角形と、辺DrnおよびFを比較することで決定できる。Pc=B*F/Drnが得られる。
オブジェクトが左カメラの中心軸上に正確にある場合、このオブジェクトは左カメラのセンサの中心に正確に表される。このオブジェクトの視差は、右のカメラのセンサ上のこのオブジェクトによって形成される点と右のカメラのセンサの中心との間の距離に等しく、これは、上のグラフのセグメントpcに示される。距離Drnに位置するオブジェクトの視差は、辺PcおよびBが対応する同等の直角三角形と、辺DrnおよびFを比較することで決定できる。Pc=B*F/Drnが得られる。
深度スケール-平行スクリーン
立体画像を視聴するには、平行スクリーンシステムを使用することができ、このシステムでは、両目がそれぞれのスクリーンに別々の画像(左画像および右画像)を表示する。同一サイズのこれら2つのスクリーン(S1およびS2という名前)は、各目の瞳孔の中心に直接位置合わせされる(図3Aを参照)。
左スクリーン上の表現がOgにあり、スクリーンに垂直でその中心を通る軸上にあるオブジェクトを使用すると、右スクリーン上の表現は、Odまたはスクリーンの中央から距離Ps(スクリーン視差)にある。したがって、差異の情報によって与えられるオブジェクトOpの知覚距離はDpになる。2つの同等の直角三角形があり、辺を一致させることにより、次の比率が得られる。
スクリーンの視差(Ps)は、センサの視差(Pc)にスクリーン上の拡大率を掛けることで計算できる。この拡大率(M)は、スクリーンに表示される画像の有効幅(Lse)とキャプチャされた画像の幅との比率に対応し、これは、すべての実用的な目的で、センサの幅(Lc)に等しくなる。今回の場合、スクリーン上に表示される画像は、元々全体がキャプチャされた画像であると確認する。以下が得られる。
所与の立体スクリーンから一定の距離に座って、固定のベースで撮影されたコンテンツを見ている所与の観客にとって、Io、B、Ds、Lse、Lc、およびFは、一定であると言える。次に、方程式は次のようになる。
言い換えると、立体システムによって表される深度知覚は、実世界のそれと線形比例し、その深度スケールはCに等しくなる。実世界での距離の一元的な変化(キャプチャ)の場合、観察者によって知覚される距離のCの変動がある(視覚化)。
・Epr=1の場合、深度の知覚は実世界と同一になる。
・Epr<1の場合、観察者は現実よりも浅い世界を知覚する。
・Epr>1の場合、観察者は現実よりも深い世界を知覚する。
・Epr=1の場合、深度の知覚は実世界と同一になる。
・Epr<1の場合、観察者は現実よりも浅い世界を知覚する。
・Epr>1の場合、観察者は現実よりも深い世界を知覚する。
空間スケール-平行スクリーン
実世界で観察されるオブジェクトの実際の幅を確認するには、相対距離を知ることが不可欠である。実際、モノスコピック視では、異なる距離に置かれた異なるサイズのオブジェクトは、同じサイズであるかのような印象を与える可能性がある。これは図4Aおよび図4Bに図示されており、ここで、線Lr1、Lr2、およびLr3は3つのすべて異なる長さであるが、相対距離がわからない観察者にとっては同一の長さで、したがって、モノスコピック視でLp1=Lp2=Lp3であるように現れる。
したがって、オブジェクトの知覚幅は、このオブジェクトの観察者に関する距離情報に直接関連している。
図5に示すように、平行スクリーンを備えた立体システムの左目のスクリーンに表示される画像の右半分を正確に占める線を表示する立体画像が取得される。したがって、スクリーン上のこの線の幅はLse/2に等しい。
立体視では、この線は、スクリーンから観察者を隔てる距離とは異なる見かけの距離であり得る。図6Aおよび図6Bに示すように、この線は、観察者から距離Dpで知覚されると想定することができる。この知覚距離では、線は知覚幅Lpを有する。言い換えると
、この線は遠くに位置するため、はるかに幅が広いと知覚される。
、この線は遠くに位置するため、はるかに幅が広いと知覚される。
これで、実世界での線の幅(Lrn)は、知覚幅Lpの左目の画像上で線を形成したと判断できる。この線は、左目の画像の右部分を完全に占めているため、前のページのグラフに表示されているように、この画像をキャプチャしたカメラのセンサの半分を完全に占めていることが確認できる。タレスの定理を適用することにより、以下が確立される。
言い換えると、立体システムによって表される幅知覚は、実世界のそれと線形比例し、その空間スケールはIo/Bに等しくなる。実世界での幅の各変動(キャプチャ)の場合、観察者によって知覚される幅のIo/Bの変動がある(視覚化)。
・Esp=1の場合、幅の知覚は実世界と同一になる。
・Esp<1の場合、観察者は現実よりも狭い世界を知覚する(すなわち、圧搾)。
・Esp>1の場合、観察者は現実よりも広い世界を知覚する(すなわち、拡大)。
・Esp=1の場合、幅の知覚は実世界と同一になる。
・Esp<1の場合、観察者は現実よりも狭い世界を知覚する(すなわち、圧搾)。
・Esp>1の場合、観察者は現実よりも広い世界を知覚する(すなわち、拡大)。
立体表現の比例
立体表現の深度および空間スケールを知ることにより、この表現の比例のスケールを確認できる。この比例のスケールは、表現が平坦化されるか、延長されるか、または現実に比例するかを決定することを目的とする。比率は次のように確立される。
Z=Epr/Esp
・Z=1の場合、観察者は比例した世界を知覚する(望ましい)。
・Z<1の場合、観察者は平坦化された世界を知覚する(より快適で、より効果が少ない)。
・Z>1の場合、観察者は引き延ばされた世界を知覚する(より広範で、より壮観)。
Zが1に等しい場合、Epr=Espであり、したがって、
Z=Epr/Esp
・Z=1の場合、観察者は比例した世界を知覚する(望ましい)。
・Z<1の場合、観察者は平坦化された世界を知覚する(より快適で、より効果が少ない)。
・Z>1の場合、観察者は引き延ばされた世界を知覚する(より広範で、より壮観)。
Zが1に等しい場合、Epr=Espであり、したがって、
言い換えると、焦点およびセンサのペアで指定されたキャプチャされたフィールドは、画像の幅(スクリーン)および画像の距離のペアで指定された立体システムの視野と等しくなる。Ds/Lseの比率に平行なスクリーンを持つシステムは、スクリーンのサイズに関係なく、同等のエクスペリエンスを提供し、その比率は、Io/Bによって与えられ
る(アリから巨人まで)。例えば、観察者がスクリーンから30mの距離にいる、幅10mのスクリーン用にキャプチャされた立体画像(Ds/Lse=3)は、スクリーンから30cmにいる、10cmスクリーンで同一の立体エクスペリエンスを提供する(Ds/Lse=3)。
る(アリから巨人まで)。例えば、観察者がスクリーンから30mの距離にいる、幅10mのスクリーン用にキャプチャされた立体画像(Ds/Lse=3)は、スクリーンから30cmにいる、10cmスクリーンで同一の立体エクスペリエンスを提供する(Ds/Lse=3)。
しかし、特定のサイズ(Ioより広い)を超えると、平行スクリーンが互いに接触するという事実に関連する問題がある。ステレオスコープまたは仮想現実ヘッドセットなどの拡大レンズを使用しない限り、平行ディスプレイの使用は非現実的であり、その使用は大幅に制限される。次のセクションでは、この制限を回避し、3DTVまたは映画のスクリーンなどの非常に大きな単一スクリーンでの表現に平行カメラ法を使用する方法について説明する。
単一スクリーンの変換
上で開発された方程式は、平行スクリーン、つまり2つの目を分離し、中心が各目の瞳孔の中心に正確に位置する想像上の線に垂直なスクリーンに対してのみ機能する。
同じDs/Lse比率(スクリーンに表示される画像の幅に対するスクリーンまでの距離の比率)を有するシステムでの立体表現は、すべての点で同一の体験を提供すること、つまり、オブジェクトの知覚されるサイズおよび距離が完全に同一になることは上記で実証されている。
図8Aおよび図8Bに示すように、知覚距離がDpであるOpオブジェクトを取り上げる。この点は、左目のスクリーン(S1)では点Ogで表され、右目のスクリーン(S2)では点Odで表される。点OgはスクリーンS1の中心軸上に正確に位置し、一方、点OdはスクリーンS2の中心から距離Psに位置する。したがって、2つの目は、図8Bに示されるように、この点が局所化されていると観察者が知覚する場所である点Opに収束する。
図9Aおよび図9Bに示すように、スクリーンS1およびS2と同じ比率Ds/Lseを有し、スクリーンからより遠くに位置する2つの理論的なスクリーンS1’およびS2’ を取り上げる。これらのスクリーンは重複しているため理論的なものであり、実世界
では不可能である。したがって、Ls1/Ds1はLs2/D2と等しく、これもLs1’/Ds1’およびLs2’/Ds2’とも等しいことがわかる。スクリーンS1およびS1’は左目の瞳孔の中心にあるので、点OgおよびOg’は両方ともそれぞれのスクリーンS1およびS1’の中心軸上に位置すると主張することができる。図9Aおよび図9Bに示すように、点OdおよびOd’は、それぞれスクリーンS2およびS2’の中心から距離PsおよびPs’に位置する。
では不可能である。したがって、Ls1/Ds1はLs2/D2と等しく、これもLs1’/Ds1’およびLs2’/Ds2’とも等しいことがわかる。スクリーンS1およびS1’は左目の瞳孔の中心にあるので、点OgおよびOg’は両方ともそれぞれのスクリーンS1およびS1’の中心軸上に位置すると主張することができる。図9Aおよび図9Bに示すように、点OdおよびOd’は、それぞれスクリーンS2およびS2’の中心から距離PsおよびPs’に位置する。
点Opが2つの表現の同じ場所で知覚されるためには、点OdおよびOd’が同じ角度を形成するか、比率Ps/Ds2がPs’/Ds2’と等しい。S2’はS2の線形拡大率であるため、Ps’はPsと比較して同じ拡大率になることが知られる。言い換えると、Ls2’/Ls2=Ps’/Psである。システムはこの制約に基づいて設計されているため、Ls2’/Ds2’=Ls2/Ds2であることも知られる。したがって、次のように推定できる。
したがって、これら2つのシステムのいずれかを使用する場合、Opオブジェクトは同じ場所で知覚される。したがって、2つのシステムがすべての点で同一および同等の立体エクスペリエンスを提供することが実証されている。
図9Cおよび図9Dに示すように、平行軸カメラを使用してキャプチャされた画像には、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは異なる位置にある。このような画像は、ヘッドマウントディスプレイを使用して視聴できる。
図9Bからわかるように、各目から見た画像は、オブジェクトOdおよびOgが見つかる場所に対応する第1の深度に置かれるスクリーンに収まるように、またはオブジェクトOd’およびOg’が見つかる場所に対応する第2の深度に置かれるスクリーンに収まるように、サイズ変更またはスケーリングされてもよい。したがって、第1の深度で使用される小さなスクリーンは、同じ視野を提供する第2の深度で、より大きなスクリーンと交換することができる。より大きなスクリーン用の画像のスケーリングにより、OdがOd’に変わる場合があるが、オブジェクトOpの立体位置は変わらない。
以下の図10から図13を参照した説明から理解されるように、図9Cおよび図9Dの画像は、上述のようにスクリーン位置の関数としてスケーリングできるが、画像10Cおよび10Dのスケーリングは、眼間距離に悪影響を及ぼし、したがって、どのようなスケーリングでも、眼間距離を維持するために位置オフセット(または、スケーリングプロセス中に左目軸および右目軸の位置を維持すること)が必要である。
2つの深度のいずれかで異なるスクリーンサイズが必要な場合、画像のスケーリングにより視野が変わる。単眼視では、通常の視野が提供され、解像度が高品質である場合、視界は一般により高く評価される。それにもかかわらず、視聴者はスクリーンから近くもしくは遠くに座ったり、または同じ視聴距離で30インチのスクリーンを50インチのスクリーンに変更したりでき、単眼画像を表示する機能は、元の画像の視野を変更しても悪影響を受けない。立体視では、視野を変更すると、オブジェクトの立体深度の知覚が低下する。
例えば、図9Bを参照すると、右目に表示される画像が第2の深度でより大きなスクリーン上に表示された場合、Od’は、同じ第2の深度でより大きなスクリーンに収まるようにスケーリングした結果、更に左側に現れる。オブジェクトOg’は左目画像内の同じ中心位置に留まるので、オブジェクトOpの深度はこのようにより近く見えるであろう。これにより、立体視の表示に歪みが生じるだろう。
実際、第2の深度でより大きなスクリーンを使用する場合、より大きなスクリーンを使用して、立体視に悪影響を与えることなく同じ視野の画像を表示できる。これには、スクリーン上の画像の周囲に境界を設けることが含まれ得る。有効視野は変わらない。
第2の深度でより小さいスクリーンを使用する場合、より小さいスクリーンを使用して
画像の一部を表示できる。これは、より小さいディスプレイに表示されるオブジェクトはより大きいディスプレイに表示されるオブジェクトと同じサイズであり、元の視野の一部のみがより小さいスクリーンに表示されるという意味で、より小さいウィンドウを通して世界を見るようなものである。より小さいスクリーンがより大きいスクリーンと同じ解像度を有する場合、同じオブジェクトサイズを維持し、画像の一部を表示するために、画像は拡大およびトリミングされる。元の画像の縁は失われるが、第2の深度でより小さいスクリーンを使用するため、立体効果は歪められない。
画像の一部を表示できる。これは、より小さいディスプレイに表示されるオブジェクトはより大きいディスプレイに表示されるオブジェクトと同じサイズであり、元の視野の一部のみがより小さいスクリーンに表示されるという意味で、より小さいウィンドウを通して世界を見るようなものである。より小さいスクリーンがより大きいスクリーンと同じ解像度を有する場合、同じオブジェクトサイズを維持し、画像の一部を表示するために、画像は拡大およびトリミングされる。元の画像の縁は失われるが、第2の深度でより小さいスクリーンを使用するため、立体効果は歪められない。
この同等性が確立されたので、図11Aおよび図11Bに示すように、単一スクリーンに基づいて立体システムに置き換えることができる。これを行うには、図11Aおよび図11Bに示すように、2つの別々のスクリーンの2つの部分セクションのように、各瞳孔を中心とする単一のスクリーンが検討される。実際、その中心が、観察者の2つの目に垂直でありそれらの中心にある軸上にある、スクリーンSが取り上げられる。このスクリーンは、スクリーンS1’(右部分)およびスクリーンS2’(左側部分)の部分的な表現であり、各目の視野は非対称である(両目の中心から片側が他の側より広い)と言える。
図10Cおよび図10Dに示すように、例えば、アナグリフ画像(例えば、右目はシアン、左目は赤)を視聴するためのアナグリフ眼鏡、交互に表示される左目画像と右目画像を視聴するためのLCシャッター眼鏡、または自動立体ディスプレイを使用して、画像を同じディスプレイ上で二色光学的に見る場合、画像は、Ioの差異を有する遠方のオブジェクトを含む。平行軸カメラを使用してキャプチャされた画像には、オフセットIoが考慮されると、太陽のような遠方のオブジェクトが同じ位置にあり、より近いオブジェクトは遠くのオブジェクトに対してそれぞれ異なる位置にある。
第2の視野を有する観察者のためのスクリーン上に表示するための第1の視野のためにカメラで撮影された立体画像のスケーリングは、立体画像の全体を表示することに限定されないことが理解されよう。図9C、図9D、図10C、および図10Dに示すように、関心領域ズームウィンドウは、ソース立体画像内で選択され得る。このウィンドウは、ソース画像全体よりも小さい第1の視野を提供するが、ウィンドウをソース画像として取得し、ここで説明するように表示できる。ウィンドウを選択すると、新しいスクリーンに収まるような画像のトリミングが少なくなる場合がある。
このウィンドウ選択は、画像の中央にある必要はなく、図では画像のやや左側に示されている。このウィンドウ選択は、ユーザ入力によって制御でき、ソース画像内のウィンドウを見る方向のナビゲーションを可能にする。
したがって、ソース画像は広角またはパノラマシーンにすることができ、ウィンドウ選択により、視聴者はシーン内の視線方向を変更してシーンを探索できる。
図12Aおよび図12Bに図示されているように、同じ比率Ds/Ls1’の単一スクリーンを使用して、平行スクリーンシステムと同等のエクスペリエンスを得るには、左目を対象とする画像の部分画像(右部分)および右目用の画像の部分画像(左部分)が表示され、部分画像は次の方法で計算される。
左目については、図12Aおよび図12Bに示すように、スクリーンS1’の幅の右半分は、スクリーンの幅を2で割った値(Ls/2)に眼間距離を2で割った値(Io/2)を加えたものに等しい。したがって、完全なスクリーン幅S1’は、Ls/2+Io/2に2を掛けたものに等しく、Ls1’=Ls+Ioになる。スクリーンには左目用画像の右側部分のみを表示できるため(Ls1’-Io)、左画像のIo相当部分がカットされる。画像は、比率Io/Ls1’またはIo/(Ls+Io)に従ってカットされる。
したがって、図13に示すように、左目用の最終画像は、元の1835×1032画像のセクションになる。ピクセル数を考慮し、両方の目で同じ選択を行う(立体配列)限り、画像の垂直部分は画像の任意の部分(上、下、中央など)であり得ることに留意すべきである。右目の画像を取得するには、右目の元の画像の同等の左のセクションを、左目のセクションと同じ垂直方向に配列された1835×1032のセクションのいずれかとするだけである。
これらの画像は、最終的な立体結果に影響を与えることなく、画像が表示されるスクリーン上の解像度に戻ることができる。したがって、画像の最終的な水平解像度および垂直解像度を取得するための式は次のとおりである。
したがって、この方法により、あらゆる点で同等のユーザエクスペリエンスを実現できる3Dテレビまたは3D映画スクリーンなどの単純なスクリーンに表示するために、平行カメラを備えたキャプチャシステムを使用することができる。
非同一のDs/LおよびF/Lc比率の適応
比Ds/Lseが比F/Lcと同一である場合、現実に比例した立体エクスペリエンス(Z=1)を得ることが可能であることが上記で確立されている。しかし、立体表示システムには、この比率を満たすことが不可能になる可能性のある制約がある場合がある。それにもかかわらず、この比率および所望の立体比例性を回復するように画像を変更することは可能である。簡単にするために、平行スクリーンシステムを使用する。拡大レンズのおかげで非常に広い視野を持つ仮想現実ヘッドピースが、ユーザに提供される。最終的なスクリーン幅は、式Ls1=Ls1*Gで与えられ、式中、Gは使用されるレンズによって提供される拡大率を表す。
工程1:有効幅の決定
工程2:比較:
次いで、スクリーンS1’の幅が画像の有効幅と比較される。図14A、図14B、および図14Cに示すように、
・Lse=Ls1’の場合、画像をそのままスクリーンに表示できる。
・Lse<Ls1’の場合、画像のサイズを縮小する(黒いバー、中央のウィンドウ)。
・Lse>Ls1’の場合、スクリーンの実際のサイズに合わせて画像をカットする必要がある。
・Lse=Ls1’の場合、画像をそのままスクリーンに表示できる。
・Lse<Ls1’の場合、画像のサイズを縮小する(黒いバー、中央のウィンドウ)。
・Lse>Ls1’の場合、スクリーンの実際のサイズに合わせて画像をカットする必要がある。
工程3(A):Lse<Ls1’の場合の画像の調整
方法1:
結果の画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、1920×1080の解像度の画像の場合、有効幅(Lse)は45cmである必要があり、最終的な幅(Ls1’)が60cmのスクリーン上に表示される。画像は次のとおりである。
したがって、最終画像は、2560×1440ピクセルの解像度を有し、アスペクト比は1.78:1に保たれる。この新しい画像は、スクリーン解像度にリセットされ、フルスクリーンモードで表示される。例えば、スクリーンが800ピクセルの解像度を有する場合、アクティブな部分(画像データを表示)は、1920/2560*800=600ピクセルになる。
方法2:
画像(ダウンスケール)は1920ピクセルから600ピクセルに縮小されて、スクリーンの中心に配置されるため、上記とまったく同じ結果が得られる(画像のアクティブな部分)。
工程3(B):Lse>Ls1’の場合の画像調整
したがって、最終画像は、1152×648ピクセルの解像度を有し、アスペクト比は同じ1.78:1に保たれる。あとは、こうして得られた画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するだけである。
平行スクリーンの方法適応
現在、単一スクリーンシステムが検討されている。
図15A、図15B、および図15Cに示すように、ユーザは、ユーザがスクリーンを見るために座っているところからの距離により限定された視野を提供するテレビ上の画像を見ている。先に見たように、最終的なスクリーン幅は、式Ls1’=Ls+Ioで与え
られる。
られる。
スクリーン上の画像を調整するには、次の2つの手順を実行できる。
工程1:2つの画像(左目と右目)の画像解像度(Rimg_hおよびRimg_v)を調整して、画像が初期比率Ds/Lseを考慮するようにする。
工程2:セクション5の技術で得られた新しい目の左目と右目の画像の右側部分をカットする
眼間距離が6.5cmで、幅(Ls)が140cmのテレビ(1920X1080ピクセルの解像度で幅(Lse)が200cmである画像)を見る観察者の例を考えてみる。工程1が最初に実行される。
工程1:
したがって、中間画像は1406×791ピクセルの解像度を有し、初期アスペクト比は同じ1.78:1のままで保持される。工程2が実行される。
工程2:
したがって、左目用の最終画像は、1344×756ピクセルの解像度および1.78
:1のアスペクト比を有する元の画像(右の一部)のセクションになる。右目の画像は、右目の元の画像の同等の左のセクション、すなわち、左目のセクションと同じ垂直方向に配列された1344×756のセクションで構成される。あとは、左目および右目画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するための最終画像を得るだけである。
:1のアスペクト比を有する元の画像(右の一部)のセクションになる。右目の画像は、右目の元の画像の同等の左のセクション、すなわち、左目のセクションと同じ垂直方向に配列された1344×756のセクションで構成される。あとは、左目および右目画像の解像度をスクリーンの解像度に合わせて調整し、フルスクリーンモードで表示するための最終画像を得るだけである。
立体ズーム:画像サイズ(Lse’)の変更
モノスコピーでは、ズームは、所与の倍率でのx軸およびy軸における画像の拡大に対応する。2倍にズームすると、画像は元の画像の2倍の大きさで現れる。一方、以前に見たように、立体視でのこのような拡大は、スクリーン上の画像のサイズだけでなく、オブジェクトの知覚される深度にも影響を与える。
所定のスクリーン(Z=1、Io/B=1)の縮尺に合わせて表示された立体画像の例では、立体画像のペア(左および右の画像)は、Xの係数によって同じように変更されるため、Lse’/Lse=Xとなる。スクリーンから同じ距離にいる所与のユーザに対するこの変更の影響が観察される。
知覚距離への影響
したがって、画像の拡大係数がXの場合、オブジェクトの知覚距離は1/Xに比例して減少する。
知覚幅への影響
したがって、画像の拡大係数がXの場合、オブジェクトの知覚幅は変わらない。
比例への影響
したがって、画像の拡大係数がXの場合、比例スケールは1/Xの反比例係数によって変わる。
立体表現の比例性を保つために、画像の知覚距離の変化は、画像の知覚サイズの等しく比例した変化を伴う。言い換えると、空間スケールの変動(Esp=Io/B)は、深度スケールの変動(Epr)と等しいため、比例スケールは1に等しいままである。
しかし、立体カメラシステムのベースは既に撮影に固定されており、ユーザの2つの目の間の距離は明らかに変更できないため、空間スケールのコンポーネント(IoおよびB)は変更できない。言い換えると、スクリーン上の画像のスケールまたは拡大率が変わると、エクスペリエンスの比例性を保つ方法がない。
したがって、画像拡大法によるズームの場合:
ズームインすると、3Dの世界に「入る」ことができる。視野が狭くなり、3Dの世界が平坦になる。
ズームアウトすると、ユーザは3Dの世界から離れることができる。視野が広くなり、3Dの世界が引き延ばされる。
立体ズーム:光学ベース(Bo)の変更
ユーザの眼間距離(Io)を変更することはできないが、2つの目の光軸の中心に対する画像の位置を変更することはできる。光学ベース(Bo)は、スクリーン上の2つの画像の中心間の距離として定義される。基本的な光学変化がオブジェクトの知覚幅および知覚深度にどのように影響するかを示すことができる。
知覚幅への影響
図19Aは、スクリーンに表示された画像のIoおよびBoの幾何学的配置を示し、図19Bは、Boを変更した結果、結果として生じるオブジェクト幅の変化を示す。
光学ベースは、その中央が観察者の両目の完全に中心であるように配置される。
したがって、所与の画像の幅の場合、オブジェクトの幅の知覚される変化は、そのオブジェクトの距離の知覚される変化と等しくなる。光学ベースの変更により、スケールの比例性の条件を満たすことができる。次に、光学ベースの変化が立体表現におけるオブジェクトの知覚距離にどのように影響するかについて説明する。
知覚距離への影響
左目および右目の画像の点Agおよび点Adにそれぞれ位置するオブジェクトが撮影される。図20Aおよび図20Bは、Ioより低い光学ベースBoを使用した場合の影響を示す。
この関係は、異なる光学ベースを使用すると、オルソステレオスコピック効果が失われることを実証している。実際、Dpの変動は線形であるが、比率Dp’/Dpの変動は線形ではなく、これは、それらがPsに従って変動するためであり、つまり、実世界でキャプチャされたオブジェクトの距離の関数として変動するためである。Drnの単位変動の場合、Dp’の変動はDrnの値に従って変化する。これは、ほぼ線形に比例する変動があるいくつかのゾーンとして見ることができる。この関係により、Xの値(3D拡大率)を計算できるようになる。
この結果は、拡大率Xが特定の実距離Drnに対してのみ有効であることを実証している。例えば、元の表現の3分の1に相当する3D拡大率が得られた場合、この関係を実現するための元の距離(Drn)を指定できる。任意に、距離Drnは、オルソステレオスコピックモードで、ゼロ平面に表示される実際の基準距離、つまりスクリーンからの距離(Dp=Ds)を選択する。結果は以下のとおりである。
図21Aおよび図21Bのグラフは、実世界と知覚された世界の距離の間の比率に対する光学ベースの変更の影響を示す。
上のグラフに示されているように、知覚された空間は線形ではなく(比率Dp’/Drnは一定ではない)、更にオルソステレオスコピックではない。光学ベースを変更して画像内をズームすると、知覚距離でプラトーに急速に達する。知覚される最大距離(Drn=無限遠の場合)は、次のように計算される。
方法の制限
まず、オブジェクトにはDrnから無限遠まで距離に開きがあるため、ズームアウトすることはできない。無限遠にあるオブジェクトは、通常、Bo=Ioの場合、両目の中心に表示される。BoがIoより大きい場合、点はそれぞれ左目の左および右目の右に見られる。目を離すことはできないので、この方法は融合を不可能にし、ユーザに痛みを引き起こす。
また、この方法では、知覚される画像の部分が有意に増えることはない。画像は数センチメートルしか動かされないので、期待した効果はズーム(すなわち、視野を有意に変更する)では達成できない。
最後に、光学ベースの変更は、重大な空間歪みを引き起こし、空間の直線性およびオル
ソステレオスコピック効果の損失を引き起こす。これらすべての理由により、光学ベースを変更することは、立体画像の3Dズームに推奨される方法ではない。
ソステレオスコピック効果の損失を引き起こす。これらすべての理由により、光学ベースを変更することは、立体画像の3Dズームに推奨される方法ではない。
輻輳および調節の管理を考慮した快適な立体表現
オブジェクトの深度を確立するために、脳は多くの視覚的手がかりを使用して、それらを結合して、より高いレベルの確実性を獲得する。例えば、介在、運動視差、ぼかし、透視線、そしてもちろん、立体視(視差)を使用することができる。従来の/モノスコピックのビデオゲームおよび映画では、これらの技術の多くはコンテンツに深度のより大きな感覚を与えるために、時には観客/プレイヤーに深度の印象を提供するために使用される。
立体コンテンツの場合、視差の違いを使用して深度の印象を与える。しかし、視差情報は他の視覚的手がかりとしばしば競合する。例えば、1つのケースは、図22に示すように、スクリーンの前にあるべきオブジェクトだがその画像が「スクリーンの端で切り取られている」場合である。
図22の画像では、野球は立体情報に従ってスクリーンから出てくるはずであるが、フレームに「タッチ」しており、つまり、スクリーンのフレームがボールの画像を遮っているように見える。しかし、日常生活の中で、脳は別のオブジェクトを視覚的に遮るオブジェクトがその前にあることを学んだ(介在の現象)。したがって、視覚的手がかりの間には競合があり、介在は視覚野によって一般的に使用されるため、脳は立体情報を拒否してボールをスクリーンに配置すると決定する(例えば、スクリーンの前でそれを知覚することを拒否する)。立体写真家はこの現象に精通しており、注意深くスクリーンの前に現れるべきオブジェクトを正しくフレームに収める。
もう1つの主要な問題は、輻輳情報(目が収束する場所)と調節(目が焦点を合わせる距離)との間の違いから生じる。脳はこれら2つの情報を定期的に同時に管理して、明確な視覚を可能にする。これらの2つの情報は互いに一致しているはずであり、脳は両方の情報を一緒に使用してより適切な決定(調整)を行う。輻輳が所与の距離(Dp)で達成されるが、目はスクリーンの距離(Ds)に焦点を合わせるため、立体視では、これら2つの情報は必ずしも一致しない。図23Aは、実世界の視聴に対して同じ輻輳距離および焦点距離を概略的に示し、図23Bは、立体3D視聴におけるスクリーンの輻輳距離およびより近い焦点距離を概略的に示す。
立体視における輻輳と調節との間にあまりにも多くの競合がある場合、不快感、痛み(時々持続的)、および複視(二重視、融合なし)などの多くの悪影響が発生する可能性があることが文献で示される。輻輳と調節との間のこの競合は、快適さのレベルだけでなく、立体表現におけるオブジェクトの深度の知覚にも影響する。
平行カメラおよびさまざまな距離に配置されたコンピュータ生成オブジェクトを使用して実験を行った。観察時に、視差の重要な違い(スクリーン上で測定および検証)にもかかわらず、オブジェクトの距離の知覚は、スクリーンから非常に遠くにあるオブジェクトの配置に対してわずかにしか変化しないことが観察された。輻輳と調節情報との間に競合がある場合、人間の脳は調節情報を優先することができ、オブジェクトの知覚距離はスクリーンからの距離に関連する。調節情報を裏付けるスクリーンの近くの視野に多くのオブジェクトがある場合、この効果は強調され得る。
この問題を管理するために、角度制約に関する最大または最も遠い距離(スクリーンの「内側」で知覚)と最小距離(スクリーンの「外側」)が決定される。
最大距離(Df)
2009年5月から6月付けのJournal of Imaging Science and Technology(53(3):030201-030201-14,2009)に掲載されたMarc Lambooijらによる記事「Visual Discomfort and Visual Fatigue of Stereoscopic Displays:A Review」によると、目がスクリーンに収束するときに目によって形成される角度(「調節」角度)と快適なエクスペリエンスを維持するための最大または最小の輻輳角との間を1°に制限することを考慮することが提案されている。この原理は、立体知覚の最大距離および最小距離を決定するための基礎として使用される。調節が無限遠で行われるレンズ(例、ステレオスコープ、仮想現実ヘッドセット)による視覚化と、調節がスクリーンの距離で行われる従来のスクリーンとの間には、重要な違いがあることに留意することが重要である。まず、従来のスクリーンの場合について説明する。
図24Bに関して、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの「内側」に収束すると、形成される角度は各目でθ’に減少する。立体知覚および見やすさを維持しながら、輻輳の角度制約(ラジアンで表されるVは、πを掛け、180°で割った角度)を満たすPの値が決定される。
スクリーンまでの距離から始めて、無限遠までのすべてのオブジェクトは、輻輳制約内にあるため、快適にマージできる。この距離を確立するために、Dsの値は次のようにDfが無限大になる傾向があるときに確立される。
これは、平均的なユーザから比較的近い距離にあるスクリーン上での立体表現では、立体効果が自然で非常に重要な深度(無限遠まで)を有する可能性があることを示している。これは、室内での投影だけでなく、テレビでの3D視聴にもよく対応する。一方、ユーザにより近い立体スクリーン(例えば、携帯電話、コンピュータスクリーン、タブレットなど)で視聴するには、深刻な深度制限がある。例えば、前の例と同じユーザの場合、スクリーン(例えば、ラップトップなど)がユーザから60cmのところに配置され、2°の制約下での最大許容深度は、88.6cmまたは非常に制限されているスクリーンの内側で28.6cmのみである。
最小距離(Dn)
図25Aおよび図25Bを参照すると、スクリーンから出るオブジェクトのユーザによって知覚される、すなわち、ユーザとスクリーンとの間に位置する最小距離が計算される。
図25Bを参照すると、目がスクリーン上に収束するとき、左目の輻輳角はΘに等しい。目がスクリーンの前に収束すると、形成される角度は各目でθ’に増加する。立体知覚および見やすさを維持しながら、輻輳の角度制約(ラジアンで表されるVは、πを掛け、180°で割った角度)を考慮するPの値が決定される。
輻輳および調節の競合を考慮するためのパラメータ化
視野(Lse’)を変更しても、立体表現における知覚された世界の全体の深度を減らすことができないことが示されている。実際、平行カメラでキャプチャされた無限遠点は、立体視野がどのように変更されたかに関係なく(常に各目の中心)、立体表現において無限遠に知覚される。一方、システムの光学ベースを変えることによって、知覚された世界の深度を表現において減らすことができることが実証されている。
Df制約を考慮するための光学ベースが決定された。平行カメラシステム(Drn=無限遠)によってキャプチャされた最も遠方の点は、快適なエクスペリエンスを可能にする最大距離で立体表現において知覚される(Dp’=Df)。
なお、この調整は、Ds<Io/V(ラジアンで表されるV)となるように、無限遠での融合を可能にする最小距離よりも短いスクリーンまでの任意の距離に対して行われる。任意のスクリーン距離がIo/Vよりも大きい場合は、光学ベースをIoに設定できる。
光学ベースがIo未満の値で確立されると、空間の線形性も変化する。この空間の変化の1つの結果は、オルソステレオスコピーのオブジェクトが、通常、スクリーンの距離になり、スクリーンから「外れる」ことになることである。したがって、スクリーンの内側にあるべき画像の部分がスクリーンから出てきて、不快感を引き起こし、フレーミングの問題を引き起こす。
この問題を解決するために、画像サイズ(Lse)の変更を使用して、ゼロ平面に表示されるオブジェクトの実際の距離(スクリーンからの距離)が、オルソステレオスコピック表現スケールと同等になるようにすることができる。例えば、スケールが1(自然界に比例)でキャプチャされた画像で、ユーザから60cmの位置にあるスクリーン上に立体表現がある場合、スクリーンから60cmの距離で知覚されるオブジェクトは、オブジェクトのある画像がキャプチャされたとき、カメラから60cmの位置にあるのが好ましい。
これを行うために、スクリーン上に表示されるオブジェクトの実際の距離は、Bo=Ioのオルソステレオスコピック表現の場合に確立される。この距離は次のように計算できる。Drn=Ds*B/Io知覚距離(Dp’)がスクリーンまでの距離(Ds)と等し
くなるようにする画像幅Lse’およびDrnが確立される。これは次のように決定できる。
くなるようにする画像幅Lse’およびDrnが確立される。これは次のように決定できる。
BoがIoに等しい場合(ユーザがスクリーンから十分に大きな距離で離れている場合)、Lse’はLseに等しくなり、結果としてオルソステレオスコピックモードに戻る。
図16Aおよび図16Bは、異なる観察条件に適応するために平行カメラ立体ビデオを処理する装置の概略ブロック図である。キャプチャパラメータにより、元の視野を決定できる。これらのパラメータは、画像もしくはビデオストリームにエンコードするか、ユーザが設定するか、またはビデオ分析で検出できる。したがって、ブロック12は、キャプチャ視野パラメータのメモリストアを表し、所望により、画像データストアまたはビデオストリーム22aおよび22bから視野パラメータを受け取るインターフェースを含む。
ディスプレイ/スクリーンパラメータは、スクリーン距離、スクリーン解像度、スクリーンサイズ、および視聴者の眼間距離であり得る。これらのパラメータは、メモリ14に格納することができる。眼間距離はメモリ14内の変数セットであり得るが、上で詳細に説明したように、トリミングおよびスケールパラメータを決定する計算機20内の公称値に固定することもできる。スクリーンが複数の視聴者によって共有されている場合、眼間距離は、最小の眼間距離を有する人の眼間距離になるように選択して、その人の開散の問題を回避できる。
計算機20は、図17から図25を参照して上で説明した輻輳制約も考慮して、ベースオフセットを変更して、遠方のオブジェクトをスクリーンに近づけ、かつビューで画像を
スケーリングして、スクリーンと表示されるオブジェクトの間の輻輳角の違いを低減するトリミングおよびスケールパラメータを決定する。
スケーリングして、スクリーンと表示されるオブジェクトの間の輻輳角の違いを低減するトリミングおよびスケールパラメータを決定する。
視聴者とスクリーンとの間の距離は、ユーザインターフェースまたは他の適切な方法を使用して入力できる。
眼間距離に変化がある場合、他の視聴条件が元の記録を考慮している場合であっても、スケールパラメータには画像シフトパラメータが含まれる。しかし、3Dシーンが元の視野よりも小さい/大きいディスプレイで視聴される場合、スケールパラメータには、異なるサイズのディスプレイ上の各画像の中心間の基本距離を維持するための画像シフトが含まれる。
したがって、3D画像、すなわち、ストア22aおよび22bに格納された右目および左目画像は、例えば、図16Bに概略的に示されるように、画像プロセッサ25で必要に応じてシフト、スケーリング、およびトリミング/境界パディングされる。画像プロセッサは、GPU、CPU、FPGA、または任意のその他の適切な処理装置であり得る。画像22aおよび22bのソースは、当技術分野で知られているように、立体画像ストリームであり得る。
上述のように、立体視聴は既知の技術を使用して行うことができる。図16Bのブロック図では、立体フォーマットはブロック28で行われる。このような画像処理は、CPUで実行できるが、例えば、GPUまたはFPGAを使用して実行することもできる。アナグリフ表示では、カラーフィルター眼鏡は、視聴者が着用でき、スクリーン画像は、カラーエンコードされた左右両方の画像データで構成される。ページフリップ操作では、視聴者は、スクリーン画像が右画像と左画像とを交互に切り替わっている間、右目と左目が交互の時間スロットで見えるシャッター眼鏡を着用することができる。自動立体ディスプレイでは、視聴者は眼鏡を必要としないが、スクリーンにはレンズまたはスクリーンマスクが含まれており、右目で右目用のピクセルを、左目で左目用のピクセルを見ることができる。偏光ラインインターリーブディスプレイでは、奇数ラインおよび偶数ラインは光の偏光が異なり(各偏光のピクセルのパターンは交互の水平ラインに限定する必要がない)、片方の目が奇数ラインを、もう片方の目が偶数ラインを見るように偏光メガネをかける。図16Bに概略的に示すように、表示信号を表示装置に送信する前に、フォーマッタモジュール28によって、所望の表示技術の立体フォーマットが行われる。必要に応じて、立体フォーマッタの操作または機能を画像プロセッサ内で実行できる。次いで、フォーマットされた1つまたは複数の画像は、対応する表示装置30を使用して表示される。
図16Cの実施形態では、画像ソースは、広角(例えば、180~360度のパノラマソース)、魚眼レンズ、またはコンピュータ生成画像ソースなどの大きな視野のソースであり、トリミングまたはデワーピングおよびトリミングにより、所与の視線方向に所望の画像を提供できる。視線方向モジュール18は、ユーザが視線方向を選択できるようにするユーザインターフェースの一部であり得る。トリミングまたはデワーピングおよびトリミングのプロセスは、当技術分野で知られており、モジュール19で行われる。図示されているように、元の魚眼カメラ画像は、デワープされるまで2D画像として表示できない。あるいは、デワーピングモジュール19は、必要なトリミングおよびスケーリングがデワープされるソース画像の部分を選択することを含むように、画像プロセッサ25に統合することができる。
画像処理、すなわちトリミングおよびスケーリングは、ボリュームリーダーを使用して実行できることが理解されよう。ボリュームリーダーとは、元の画像を3D空間に配置して、元のキャプチャパラメータを考慮し、視点またはカメラの正しい位置で元の画像の仮
想「カメラ」ビューをキャプチャすることを意味する。これは、例えば、ほとんどの従来のGPU内で実行できる。
想「カメラ」ビューをキャプチャすることを意味する。これは、例えば、ほとんどの従来のGPU内で実行できる。
1)画像を空間に配置(図17Aを参照)
・左画像を任意の幅Loで配置
・右画像を同じ幅Loで配置
・左画像を任意の幅Loで配置
・右画像を同じ幅Loで配置
3)画像をレンダリング
・以下を使用して、左目および右目の画像を作成
i)比率Lv/Hv=(Ls+Io)/Hs
ii)比率Fcv/Lccdv=Ds/(Ls+Io)
iii)解像度=RESs*(Ls+Io)/Ls
4)単一スクリーンのフォーマット(図17Bを参照)
・2つの画像の重ね合わせ
・左の画像を(Io/2)/(Ls+Io)*Lvに等しい距離だけ左にシフト
・右の画像を同じ距離だけ右にシフト
・2つの画像の共通部分を維持
・アナグリフでフォーマット
・以下を使用して、左目および右目の画像を作成
i)比率Lv/Hv=(Ls+Io)/Hs
ii)比率Fcv/Lccdv=Ds/(Ls+Io)
iii)解像度=RESs*(Ls+Io)/Ls
4)単一スクリーンのフォーマット(図17Bを参照)
・2つの画像の重ね合わせ
・左の画像を(Io/2)/(Ls+Io)*Lvに等しい距離だけ左にシフト
・右の画像を同じ距離だけ右にシフト
・2つの画像の共通部分を維持
・アナグリフでフォーマット
あるいは、工程4で、左目の画像をRESs(解像度)と等しい数のピクセルで(左から)カットでき、右目画像は、同じ数のピクセルで右からカットできる。
工程2でカメラを近づけたり遠ざけたりすると、ズームインまたはズームアウトできる。
ストリーミングサービスまたはオンラインサービスのコンテキストでは、画像をサーバーで処理し、リモートクライアントディスプレイに送信できる。このコンテキストでは、ディスプレイまたはディスプレイ機器のユーザは、画像が処理され、クライアントディスプレイに送信するためにエンコードされるサーバーに、ディスプレイ/スクリーンパラメータを中継できる。送信前にトリミングとスケーリングを実行すると、送信するデータの縮小を達成できる。
Claims (23)
- 単一スクリーン上で視聴者に表示する立体画像を処理する方法であって、前記立体画像は、第1の視野を有する平行軸カメラを使用して撮影され、前記方法は、前記単一スクリーンによって提供される第2の視野の定義と、前記視聴者の眼間距離Ioと、前記視聴者と前記単一スクリーンとの間の距離と、を使用して、前記立体画像を配置しスケーリングすることを含み、これにより、前記第1の視野に対する前記視聴者からの前記距離で、前記単一スクリーン上に前記画像を表示し、前記スクリーンに対してスケーリングされた前記立体画像が前記スクリーンよりも大きい場合、前記スクリーンに対して前記画像をトリミングし、および前記スクリーンに対してスケーリングされた前記立体画像が前記スクリーンよりも小さい場合、前記スクリーンに対して前記画像に境界を提供する、方法。
- 前記立体画像内のズームウィンドウを選択して、前記第1の視野を変更することを更に含み、前記立体画像は、前記変更された第1の視野に対してスケーリングされる、請求項1に記載の方法。
- 前記ズームウィンドウが、前記立体画像の中心からオフセットされて、前記立体画像内の関心領域を視聴することができるようにする、請求項2に記載の方法。
- 視聴者入力が、前記立体画像を視聴しながら前記オフセットを動かすために使用される、請求項3に記載の方法。
- 前記立体画像が静止画像である、請求項1から4のいずれか一項に記載の方法。
- 前記立体画像がビデオ画像である、請求項1から4のいずれか一項に記載の方法。
- 前記立体画像が、組み合わされたアナグリフ形式画像に変換される、請求項1から6のいずれか一項に記載の方法。
- 前記立体画像が、自動立体ディスプレイ上に表示するようにカラムインターリーブ形式画像に変換される、請求項1から6のいずれか一項に記載の方法。
- 前記立体画像が、シャッター眼鏡で視聴するように一連のページフリップ画像に変換される、請求項1から6のいずれか一項に記載の方法。
- 前記立体画像が、偏光ディスプレイ用に一連のラインインターリーブに変換される、請求項1から6のいずれか一項に記載の方法。
- 前記単一スクリーンによって提供される前記第2の視野の定義を取得するように、ユーザ入力を取得することを更に含む、請求項1から10のいずれか一項に記載の方法。
- 前記単一スクリーンによって提供される前記第2の視野の定義を取得するように、センサデータを取得することを更に含む、請求項1から11のいずれか一項に記載の方法。
- 前記立体画像が、遠方のオブジェクトの右目画像と左目画像との間Ioのオブジェクト間隔に対応するように、前記単一スクリーン上に配置される、請求項1から12のいずれか一項に記載の方法。
- 前記視聴者が、複数の視聴者を含み、前記眼間距離Ioが、前記複数の視聴者の中で最小の眼間距離であるように選択される、請求項13に記載の方法。
- 前記立体画像が、相対的なベースオフセットを使用して更にスケーリングおよび配置されて、最大深度に現れるオブジェクトがより近くに現れ、前記単一スクリーンの前に現れるオブジェクトが前記単一スクリーンにより近くに現れるようにし、これにより、
前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および
前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角
のうちの少なくとも1つを制限して、目の疲れを減らす、請求項1から14のいずれか一項に記載の方法。 - 前記立体画像が、更にスケーリングおよび配置されて、前記単一スクリーンの深度での焦点と変更された最大深度に現れるオブジェクト上の焦点との間の両眼角、および前記単一スクリーンの深度での焦点と前記単一スクリーンの前の最も近くに現れるオブジェクト上の焦点との間の両眼角の両方を制限する、請求項15に記載の方法。
- 前記立体画像が、更にスケーリングされて、前記単一スクリーンの深度に現れるオブジェクトを同じ深度に現れるように維持する、請求項16に記載の方法。
- 前記単一スクリーン上の深度に現れるオブジェクトと前記単一スクリーンの後ろおよび/または前に現れるオブジェクトとの間を視聴する両眼角が、約1度未満である、請求項15、16、または17のいずれか一項に記載の方法。
- 前記立体画像が、パノラマ画像を含み、前記方法が、前記パノラマ画像内の視線方向を定義し、前記視線方向を使用して前記パノラマ画像の一部を抽出することを更に含む、請求項1から18のいずれか一項に記載の方法。
- 前記パノラマ画像が、広角カメラレンズ画像であり、前記方法が、前記パノラマ画像の少なくとも一部をデワープすることを更に含む、請求項19に記載の方法。
- 前記パノラマ画像が魚眼レンズ画像である、請求項20に記載の方法。
- 単一スクリーン上で視聴者に表示する立体画像を処理する装置であって、前記装置は、プロセッサと、前記プロセッサによって読み取り可能なメモリと、を備え、前記メモリは、請求項1から21のいずれか一項に記載の方法を実行する命令を格納する、装置。
- 請求項1から21のいずれか一項に記載の方法を実行するプロセッサまたは再構成可能ハードウェア用の非一時的メモリ記憶命令を含む、コンピュータプログラム製品。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862627825P | 2018-02-08 | 2018-02-08 | |
US62/627,825 | 2018-02-08 | ||
PCT/CA2018/051039 WO2019041035A1 (en) | 2017-08-30 | 2018-08-29 | STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR |
JP2020558660A JP7339278B2 (ja) | 2018-02-08 | 2018-08-29 | 視聴者に合わせて調整された立体画像表示 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558660A Division JP7339278B2 (ja) | 2018-02-08 | 2018-08-29 | 視聴者に合わせて調整された立体画像表示 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023162320A true JP2023162320A (ja) | 2023-11-08 |
Family
ID=72235536
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558660A Active JP7339278B2 (ja) | 2018-02-08 | 2018-08-29 | 視聴者に合わせて調整された立体画像表示 |
JP2023136425A Pending JP2023162320A (ja) | 2018-02-08 | 2023-08-24 | 視聴者に合わせて調整された立体画像表示 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558660A Active JP7339278B2 (ja) | 2018-02-08 | 2018-08-29 | 視聴者に合わせて調整された立体画像表示 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3750151A4 (ja) |
JP (2) | JP7339278B2 (ja) |
KR (1) | KR102377499B1 (ja) |
CN (1) | CN111684517B (ja) |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003224349A1 (en) * | 2002-02-27 | 2003-09-09 | Geo-Rae Co., Ltd. | Method and system for displaying stereoscopic image |
GB0329312D0 (en) * | 2003-12-18 | 2004-01-21 | Univ Durham | Mapping perceived depth to regions of interest in stereoscopic images |
JP2005339313A (ja) | 2004-05-28 | 2005-12-08 | Toshiba Corp | 画像提示方法及び装置 |
KR100813057B1 (ko) * | 2006-02-14 | 2008-03-14 | 엘지전자 주식회사 | 입체 영상 제작장치 및 그 방법 |
CN1848966B (zh) * | 2006-04-10 | 2012-02-22 | 北京邮电大学 | 小窗口立体图像制作与显示方法 |
US8384771B1 (en) * | 2006-12-28 | 2013-02-26 | David Byron Douglas | Method and apparatus for three dimensional viewing of images |
RU2559735C2 (ru) * | 2009-09-16 | 2015-08-10 | Конинклейке Филипс Электроникс Н.В. | Компенсация размера трехмерного экрана |
EP2309764A1 (en) * | 2009-09-16 | 2011-04-13 | Koninklijke Philips Electronics N.V. | 3D screen size compensation |
US9445072B2 (en) * | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
WO2011114572A1 (ja) | 2010-03-19 | 2011-09-22 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム並びにこれに用いる記録媒体 |
US8139935B2 (en) * | 2010-03-31 | 2012-03-20 | James Cameron | 3D camera with foreground object distance sensing |
JP5331785B2 (ja) * | 2010-12-17 | 2013-10-30 | 株式会社ニューオプト | 立体画像分析装置 |
WO2012117703A1 (ja) | 2011-03-02 | 2012-09-07 | パナソニック株式会社 | 三次元画像処理装置、三次元画像処理方法、三次元画像視聴用眼鏡装置、三次元画像処理装置用集積回路、光ディスク再生装置、三次元映像信号再生装置および三次元映像信号表示装置 |
JP2012205267A (ja) * | 2011-03-28 | 2012-10-22 | Sony Corp | 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム |
JP5838775B2 (ja) | 2011-12-14 | 2016-01-06 | コニカミノルタ株式会社 | 画像処理方法、画像処理システムおよび画像処理プログラム |
JP5311526B1 (ja) | 2013-03-28 | 2013-10-09 | 株式会社 アーチウェイ3D | 3d立体視画像作成方法、3d立体視画像作成システム及び3d立体視画像作成プログラム |
CN103605211B (zh) * | 2013-11-27 | 2016-04-20 | 南京大学 | 平板化无辅助立体显示装置及方法 |
WO2015100490A1 (en) * | 2014-01-06 | 2015-07-09 | Sensio Technologies Inc. | Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment |
JP6181848B2 (ja) | 2014-02-21 | 2017-08-16 | エルジー エレクトロニクス インコーポレイティド | 3d放送信号を処理する方法及び装置 |
CN104023221B (zh) * | 2014-06-23 | 2016-04-13 | 深圳超多维光电子有限公司 | 立体图像视差调节方法和装置 |
CN104618705B (zh) * | 2014-11-28 | 2017-04-05 | 深圳市魔眼科技有限公司 | 基于眼球追踪的不同距离自适应全息显示方法及设备 |
KR102458339B1 (ko) * | 2015-08-07 | 2022-10-25 | 삼성전자주식회사 | 360도 3d 입체 영상을 생성하는 전자 장치 및 이의 방법 |
CN106228530B (zh) * | 2016-06-12 | 2017-10-10 | 深圳超多维光电子有限公司 | 一种立体摄影方法、装置及立体摄影设备 |
CN106251403B (zh) * | 2016-06-12 | 2018-02-16 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和系统 |
-
2018
- 2018-08-29 KR KR1020207020327A patent/KR102377499B1/ko active IP Right Grant
- 2018-08-29 JP JP2020558660A patent/JP7339278B2/ja active Active
- 2018-08-29 EP EP18851801.3A patent/EP3750151A4/en active Pending
- 2018-08-29 CN CN201880088839.1A patent/CN111684517B/zh active Active
-
2023
- 2023-08-24 JP JP2023136425A patent/JP2023162320A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102377499B1 (ko) | 2022-03-24 |
EP3750151A1 (en) | 2020-12-16 |
KR20200099180A (ko) | 2020-08-21 |
CN111684517B (zh) | 2022-10-28 |
EP3750151A4 (en) | 2021-12-29 |
JP7339278B2 (ja) | 2023-09-05 |
JP2021507655A (ja) | 2021-02-22 |
CN111684517A (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10917623B2 (en) | Viewer-adjusted stereoscopic image display | |
JP3944188B2 (ja) | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 | |
TWI523488B (zh) | 處理包含在信號中的視差資訊之方法 | |
US8953023B2 (en) | Stereoscopic depth mapping | |
US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
TW201223247A (en) | 2D to 3D user interface content data conversion | |
US8723920B1 (en) | Encoding process for multidimensional display | |
US20130050187A1 (en) | Method and Apparatus for Generating Multiple Image Views for a Multiview Autosteroscopic Display Device | |
US20170171534A1 (en) | Method and apparatus to display stereoscopic image in 3d display system | |
TWI589150B (zh) | 3d自動對焦顯示方法及其系統 | |
JP7339278B2 (ja) | 視聴者に合わせて調整された立体画像表示 | |
TW201916682A (zh) | 即時二維轉三維的影像處理方法 | |
JP2014053782A (ja) | 立体画像データ処理装置、および、立体画像データ処理方法 | |
KR102700868B1 (ko) | 3d객체에 대한 디스패리티의 조정을 수행하는 무안경 입체영상 표시장치 | |
KR102242923B1 (ko) | 스테레오 카메라의 정렬장치 및 스테레오 카메라의 정렬방법 | |
Benzeroual et al. | On the distinction between perceived & predicted depth in S3D films | |
Wu et al. | Multi-view autostereoscopic display based on tilt-fit lenticular lenses | |
JP2015029215A (ja) | 立体画像処理装置 | |
JP2015056796A (ja) | 立体画像処理装置、撮像装置、立体画像処理方法および立体画像処理プログラム | |
JP6179282B2 (ja) | 3次元画像表示装置及び3次元画像表示方法 | |
Knorr et al. | Basic rules for good 3D and avoidance of visual discomfort | |
WO2013061334A1 (en) | 3d stereoscopic imaging device with auto parallax | |
JPH08240789A (ja) | 画像表示装置及び画像入力装置 | |
Hasegawa et al. | 55.4: Optimized Parallax Control of Arbitrary Viewpoint Images with Motion Parallax on Autostereoscopic Displays | |
JP2008131219A (ja) | 立体画像表示装置および立体画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230922 |