JP2021518701A - Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ） - Google Patents
Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ） Download PDFInfo
- Publication number
- JP2021518701A JP2021518701A JP2020550166A JP2020550166A JP2021518701A JP 2021518701 A JP2021518701 A JP 2021518701A JP 2020550166 A JP2020550166 A JP 2020550166A JP 2020550166 A JP2020550166 A JP 2020550166A JP 2021518701 A JP2021518701 A JP 2021518701A
- Authority
- JP
- Japan
- Prior art keywords
- focal plane
- mfp
- image
- depth
- exemplary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 467
- 230000033001 locomotion Effects 0.000 claims abstract description 258
- 238000009877 rendering Methods 0.000 claims abstract description 92
- 210000003128 head Anatomy 0.000 claims abstract description 68
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 239000000203 mixture Substances 0.000 claims description 82
- 238000001914 filtration Methods 0.000 claims description 59
- 239000013598 vector Substances 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 33
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 216
- 230000006870 function Effects 0.000 description 76
- 238000012360 testing method Methods 0.000 description 66
- 238000010586 diagram Methods 0.000 description 58
- 238000002156 mixing Methods 0.000 description 51
- 230000008447 perception Effects 0.000 description 43
- 230000000694 effects Effects 0.000 description 39
- 230000008859 change Effects 0.000 description 35
- 239000011521 glass Substances 0.000 description 31
- 230000015572 biosynthetic process Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 20
- 238000011049 filling Methods 0.000 description 18
- 238000000926 separation method Methods 0.000 description 18
- 230000003993 interaction Effects 0.000 description 14
- 230000008901 benefit Effects 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 13
- 239000007787 solid Substances 0.000 description 13
- 230000004308 accommodation Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 230000015654 memory Effects 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000005192 partition Methods 0.000 description 8
- 238000013139 quantization Methods 0.000 description 8
- 239000002131 composite material Substances 0.000 description 7
- 238000012805 post-processing Methods 0.000 description 7
- 230000008439 repair process Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 239000000123 paper Substances 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 241000700159 Rattus Species 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000002350 accommodative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000004513 sizing Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241000760358 Enodes Species 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Abstract
例示的な方法のいくつかの実施形態は、奥行き情報をもつ入力画像を受信することと、この入力画像を焦点面画像のセットにマッピングすることと、左眼と右眼との間の立体不一致を提供するために頭部方位情報を使用して焦点面画像のセットを方位付けることと、方位付けられた焦点面画像のセットを表示することとを含んでよい。別の例示的な方法のいくつかの実施形態は、３次元（３Ｄ）コンテンツの説明を受信することと、現実世界環境に対する視聴者の動きを示す情報をトラッカから受信することと、視聴者の動きを示す情報を受信したことに応答して、３Ｄコンテンツの多焦点面を変えることによって運動視差を合成することと、変えられた多焦点面レンダリングを使用して多焦点面ディスプレイに画像をレンダリングすることとを含んでよい。
Description
関連出願の相互参照
本出願は、その全体が参照により本明細書に組み込まれる、2018年3月23日に出願された「Multifocal Plane Based Method to Produce Stereoscopic Viewpoints in a DIBR System (MFP-DIBR)」という名称の米国仮特許出願第62/647,568号の非仮特許出願であり、その利益を米国特許法第１１９条（ｅ）の下で主張するものである。
本出願は、その全体が参照により本明細書に組み込まれる、2018年3月23日に出願された「Multifocal Plane Based Method to Produce Stereoscopic Viewpoints in a DIBR System (MFP-DIBR)」という名称の米国仮特許出願第62/647,568号の非仮特許出願であり、その利益を米国特許法第１１９条（ｅ）の下で主張するものである。
ウェアラブルメガネタイプのニアアイディスプレイ（ＮＥＤ：near-eye display）は、仮想現実およびゲームで普及しており、最近は拡張現実でも普及してきている。表示要素として携帯電話を使用するメガネは、仮想映像またはカメラで捉えられた映像を視聴するための普及した低費用デバイスの一例である。一般に、これらの表示の全ては、立体的画像ペアのシーケンスを提示する。立体的レンダリングは、立体的３Ｄ（Ｓ３Ｄ）ＴＶのためのものを含む外部ディスプレイともに使用されてよい。
以前のＭＦＰベースまたは３Ｄベースの視点生成システムの多くは、視点がユーザ動きによりわずかに変化することがあり、より低い視覚的品質を有することがある。自然な調節をサポートする多くのニアアイディスプレイは、目を向けたときのディスプレイに対する小さい視点変化すら含む視点変化のサポートを欠く（アイボックス内部で視点をわずかに変化させる）。ディスオクルージョン（disocclusion）は当然、コンテンツに依存するが、大きな視点変化または不一致がより目立つ。立体映像または運動視差のための仮想視点を形成することは、例えば、３６０°映像の３ＤｏＦ＋拡張機能および他の３ＤｏＦアプリケーションにおいて使用されることがある。
Ｒａｈｕｌ Ｎａｒａｉｎら、Ｏｐｔｉｍａｌ Ｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ Ｉｍａｇｅｒｙ ｗｉｔｈ Ｆｏｃｕｓ Ｃｕｅｓ ｏｎ Ｍｕｌｔｉ−Ｐｌａｎｅ Ｄｉｓｐｌａｙｓ、３４（４） ＡＣＭ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＧＲＡＰＨＩＣＳ ５９：１〜１２（２０１５年８月）（「Ｎａｒａｉｎ」）
Ｐａｎら、３Ｄ Ｖｉｄｅｏ Ｄｉｓｐａｒｉｔｙ Ｓｃａｌｉｎｇ ｆｏｒ Ｐｒｅｆｅｒｅｎｃｅ ａｎｄ Ｐｒｅｖｅｎｔｉｏｎ ｏｆ Ｄｉｓｃｏｍｆｏｒｔ、７８６３ ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＳＰＩＥ （２０１１年）（「Ｐａｎ」）
Ｌｉｎｗｅｉ Ｚｈｕら、Ｖｉｅｗ−Ｓｐａｔｉａｌ−Ｔｅｍｐｏｒａｌ Ｐｏｓｔ−Ｒｅｆｉｎｅｍｅｎｔ ｆｏｒ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ ｉｎ ３Ｄ Ｖｉｄｅｏ Ｓｙｓｔｅｍｓ、２８ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ １３４２〜１３５７（２０１３年） （「Ｚｈｕ」）
Ｓｅｒｇｅｙ Ｓｕｋｈａｎｏｖ、３Ｄ Ｃｏｎｔｅｎｔ Ｐｒｏｄｕｃｔｉｏｎ、ＳＴ． ＰＥＴＥＲＳＢＵＲＧ ＥＬＥＣＴＲＯＴＥＣＨＮＩＣＡＬ ＵＮＩＶＥＲＳＩＴＹ （日付けのない提示、ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｍｉｋｈａｉｌｖｉｎｋ／ｓｅｒｇｅｙ−ａ−ｓｕｋｈａｎｏｖ−３ｄ−ｃｏｎｔｅｎｔ−ｐｒｏｄｕｃｔｉｏｎから入手、ウェブサイトは、２０１１年３月１２日公開を示す）（２０１９年２月２６日に最終アクセスされた）
Ｋｒｉｓｔｏｐｈ Ｆｅｈｎ、Ａ ３Ｄ−ＴＶ Ａｐｐｒｏａｃｈ Ｕｓｉｎｇ Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ （ＤＩＢＲ）、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＶＩＩＰ ‘０３（２００３年９月） （Ｂｅｎａｌｍａｄｅｎａ、Ｓｐａｉｎ）（「Ｆｅｈｎ」）
Ｓｈｉｂａｔａ、Ｔａｋａｓｈｉら、Ｖｉｓｕａｌ Ｄｉｓｃｏｍｆｏｒｔ ｗｉｔｈ Ｓｔｅｒｅｏ Ｄｉｓｐｌａｙｓ： Ｅｆｆｅｃｔｓ ｏｆ Ｖｉｅｗｉｎｇ Ｄｉｓｔａｎｃｅ ａｎｄ Ｄｉｒｅｃｔｉｏｎ ｏｆ Ｖｅｒｇｅｎｃｅ−Ａｃｃｏｍｍｏｄａｔｉｏｎ Ｃｏｎｆｌｉｃｔ、ＰＲＯＣＥＥＤＩＮＧＳ ＯＦ ＴＨＥ ＩＮＴ’Ｌ ＳＯＣ． ＦＯＲ ＯＰＴＩＣＳ ＡＮＤ ＰＨＯＴＯＮＩＣＳ （ＳＰＩＥ） ７８６３（２０１１年）（７８６３０Ｐ１〜７８６３０Ｐ９）（「Ｓｈｉｂａｔａ」）
Ｓｈｉｒｏ Ｓｕｙａｍａら、Ａｐｐａｒｅｎｔ ３−Ｄ Ｉｍａｇｅ Ｐｅｒｃｅｉｖｅｄ ｆｒｏｍ Ｌｕｍｉｎａｎｃｅ−Ｍｏｄｕｌａｔｅｄ Ｔｗｏ ２−Ｄ Ｉｍａｇｅｓ Ｄｉｓｐｌａｙｅｄ ａｔ Ｄｉｆｆｅｒｅｎｔ Ｄｅｐｔｈｓ、４４ （８） Ｖｉｓｉｏｎ Ｒｅｓｅａｒｃｈ ７８５−７９３（２００４年４月）（「Ｓｕｙａｍａ」）
Ｓｉｍｏｎ Ｊ． Ｗａｔｔら、Ｒｅａｌ−Ｗｏｒｌｄ Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｐｅｒｆｏｒｍａｎｃｅ ｉｎ Ｍｕｌｔｉｐｌｅ−Ｆｏｃａｌ−Ｐｌａｎｅ Ｄｉｓｐｌａｙｓ： Ｈｏｗ Ｆａｒ Ａｐａｒｔ Ｓｈｏｕｌｄ ｔｈｅ Ｉｍａｇｅ Ｐｌａｎｅｓ Ｂｅ？、ＳＰＩＥ： Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｄｉｓｐｌａｙｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ＸＸＩＩＩ（２０１２年２月）
Ｓｉｍｏｎ Ｊ． Ｗａｔｔら、Ａｃｈｉｅｖｉｎｇ Ｎｅａｒ−Ｃｏｒｒｅｃｔ Ｆｏｃｕｓ Ｃｕｅｓ ｉｎ ａ ３−Ｄ Ｄｉｓｐｌａｙ Ｕｓｉｎｇ Ｍｕｌｔｉｐｌｅ Ｉｍａｇｅ Ｐｌａｎｅｓ、５６６６ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ ３９３〜４０１（２００５年） （「Ｗａｔｔ ２００５」）
Ｋｕｒｔ Ａｋｅｌｅｙら、Ａ Ｓｔｅｒｅｏ Ｄｉｓｐｌａｙ Ｐｒｏｔｏｔｙｐｅ ｗｉｔｈ Ｍｕｌｔｉｐｌｅ Ｆｏｃａｌ Ｄｉｓｔａｎｃｅｓ，２３（３） ＡＣＭ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＧＲＡＰＨＩＣＳ（ＴＯＧ） ８０４〜８１３（２００４年）（「Ａｋｅｌｅｙ」）
Ｘ． Ｈｕ ＆ Ｈ． Ｈｕａ、Ｄｅｓｉｇｎ ａｎｄ Ａｓｓｅｓｓｍｅｎｔ ｏｆ ａ Ｄｅｐｔｈ−Ｆｕｓｅｄ Ｍｕｌｔｉ−Ｆｏｃａｌ−Ｐｌａｎｅ Ｄｉｓｐｌａｙ Ｐｒｏｔｏｔｙｐｅ、１０（４） ＩＥＥＥ／ＯＳＡ Ｊｏｕｒｎａｌ ｏｆ Ｄｉｓｐｌａｙ Ｔｅｃｈｎｏｌｏｇｙ ３０８〜３１６（２０１４年）（「Ｈｕ＆Ｈｕａ」）
Ｆｉｌｅ：２Ｄ ｐｌｕｓ ｄｅｐｔｈ．ｐｎｇ、ＷＩＫＩＰＥＤＩＡ、／／ｃｏｍｍｏｎｓ．ｗｉｋｉｍｅｄｉａ．ｏｒｇ／ｗ／ｉｎｄｅｘ．ｐｈｐ？ｃｕｒｉｄ＝５４８９７７１（２０１９年２月２２日に最終アクセスされた）
Ｘｕｙｕａｎ Ｘｕら、 Ｄｅｐｔｈ Ｍａｐ Ｍｉｓａｌｉｇｎｍｅｎｔ Ｃｏｒｒｅｃｔｉｏｎ ａｎｄ Ｄｉｌａｔｉｏｎ ｆｏｒ ＤＩＢＲ Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ、２８ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ １０２３〜１０４５（２０１３年）
Ｓｈｉｂａｔａら、Ｔｈｅ Ｚｏｎｅ ｏｆ Ｃｏｍｆｏｒｔ： Ｐｒｅｄｉｃｔｉｎｇ Ｖｉｓｕａｌ Ｄｉｓｃｏｍｆｏｒｔ ｗｉｔｈ Ｓｔｅｒｅｏ Ｄｉｓｐｌａｙｓ、１１（８）：１１ Ｊ． ＯＦ ＶＩＳＩＯＮ １〜２９（２０１１年）（「Ｓｈｉｂａｔａ ＩＩ」）
Ｐａｕｌ Ｖ． Ｊｏｈｎｓｏｎら、Ｄｙｎａｍｉｃ Ｌｅｎｓ ａｎｄ Ｍｏｎｏｖｉｓｉｏｎ ３Ｄ Ｄｉｓｐｌａｙｓ ｔｏ Ｉｍｐｒｏｖｅ Ｖｉｅｗｅｒ Ｃｏｍｆｏｒｔ、２４（１１） Ｏｐｔ． Ｅｘｐ． １１８０８〜１１８２７（２０１６年）
Ｚａｎｎｏｌｉら、Ｂｌｕｒ ａｎｄ ｔｈｅ Ｐｅｒｃｅｐｔｉｏｎ ｏｆ Ｄｅｐｔｈ ａｔ Ｏｃｃｌｕｓｉｏｎ、 １６（６）：１７ Ｊｏｕｒｎａｌ ｏｆ Ｖｉｓｉｏｎ １〜２５（２０１６年）
Ｊ． Ｐ． Ｒｏｌｌａｎｄら、Ｍｕｌｔｉｆｏｃａｌ Ｐｌａｎｅｓ Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ、３９ Ａｐｐｌ． Ｏｐｔ． ３２０９〜３２１５（２０００年）（「Ｒｏｌｌａｎｄ」）
いくつかの実施形態による例示的な方法は、奥行き情報をもつ入力画像を受信することと、奥行き情報を使用して、入力画像を複数の焦点面画像にマッピングすることと、左眼と右眼との間の立体不一致を提供するために頭部方位情報を使用して複数の焦点面画像を方位付けることと、方位付けられた複数の焦点面画像を表示することとを含んでよい。
例示的な方法のいくつかの実施形態では、少なくとも入力画像を受信することおよび方位付けられた複数の焦点面画像を表示することは、多焦点面（ＭＦＰ）ディスプレイによって実行される。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を方位付けることは、複数の焦点面画像のうちの１つまたは複数を回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数を回転させることは、水平線と平行なベクトルに対して焦点面画像のうちの１つまたは複数のための不一致ベクトルを回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を方位付けることは、複数の焦点面画像のうちの１つまたは複数をシフトすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、それぞれの１つまたは複数の焦点面画像のための不一致ベクトルをスケーリングすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対して複数の焦点面画像のうちの１つまたは複数を回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対するオフセットの分だけ複数の焦点面画像のうちの１つまたは複数を移動させることを含む。
例示的な方法のいくつかの実施形態は、焦点面画像をシフトすることによって引き起こされる画像不一致を扱うために複数の焦点面画像を処理することをさらに含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を処理することは、複数の焦点面画像のうちの１つまたは複数をフィルタリングすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を処理することは、複数の焦点面画像のうちの少なくとも１つに対する奥行きブレンド重みを決定することと、それぞれの奥行きブレンド重みを使用して複数の焦点面画像のうちの少なくとも１つを生成することとを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの少なくとも１つを生成することは、複数のテクスチャのうちの少なくとも１つにそれぞれの奥行きブレンド重みを乗算することを含む。
例示的な方法のいくつかの実施形態では、方位付けられた複数の焦点面画像を表示することは、立体的画像ペアを生成するためにシフトされた焦点面画像を結合することを含んでよい。
例示的な方法のいくつかの実施形態は、頭部方位情報を生成するために実世界環境に対する視聴者の位置の運動追跡センサ示度を測定することをさらに含んでよい。
例示的な方法のいくつかの実施形態は、頭部方位情報を生成したことに応答して、複数の焦点面画像のうちの１つまたは複数を変えることによって運動視差を合成することをさらに含んでよい。
例示的な方法のいくつかの実施形態では、合成された運動視差は、頭部方位情報を使用して互いに対して複数の焦点面画像のうちの１つまたは複数をスケーリングすることを含んでよく、頭部方位情報は、軸方向運動を示してよい。
例示的な方法のいくつかの実施形態は、低周波数コンテンツに対して入力画像をフィルタリングすることと、低周波数コンテンツを複数の焦点面画像に再配信することとをさらに含んでよい。
例示的な方法のいくつかの実施形態は、高周波数コンテンツに対して入力画像をフィルタリングすることと、高周波数コンテンツを複数の焦点面画像に分解することとをさらに含んでよい。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）コンテンツの説明を受信することと、実世界環境に対する視聴者の動きを示す情報をトラッカから受信することと、視聴者の動きを示す情報をトラッカから受信したことに応答して、３Ｄコンテンツの多焦点面を変えることによって運動視差を合成することと、変えられた多焦点面レンダリングを使用して多焦点面ディスプレイに画像をレンダリングすることとを含んでよい。
例示的な方法のいくつかの実施形態では、合成された運動視差は、視聴者の動きを示す情報を使用して互いに対して多焦点面をスケーリングすることを含んでよく、視聴者の動きは軸方向であってよい。
いくつかの実施形態による例示的な装置は、プロセッサ（例えば、１つまたは複数のプロセッサ）と、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、入力画像にマッピングされる複数の焦点面画像を決定することと、左眼と右眼との間の立体不一致を提供するために頭部方位情報を使用して複数の焦点面画像を方位付けることと、方位付けられた複数の焦点面画像を表示することとを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を決定することは、複数の焦点面画像を受信することを含む。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を決定することは、複数の焦点面画像を生成するために入力画像を複数の焦点面画像にマッピングすることを含む。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）映像コンテンツを受信することと、視聴者方位信号を受信することと、３Ｄ映像コンテンツおよび視聴者方位信号を使用してディスプレイの１つまたは複数の焦点面のための画像データを決定することと、画像データを使用して１つまたは複数の焦点面画像をディスプレイにレンダリングすることとを含んでよい。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法を実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
より詳細な理解は、添付図面に関連して例として提示される以下の説明から得られる。そのうえ、図内の同じ参照番号は、同じ要素を示す。
いくつかの実施形態による、例示的な通信システムを図解する例示的なシステムのシステム図である。
いくつかの実施形態による、図１Ａにおいて図解される通信システム内で使用され得る例示的な無線送受信ユニット（ＷＴＲＵ）を図解する例示的なシステムのシステム図である。
ユーザからの異なる奥行きで表示される焦点面の例示的なセットを図解する概略図である。
例示的な焦点面画像を示すイラストである。
パーシバルの快適視域に関して、左画像と右画像との間の例示的な画像不一致対観察者−スクリーン間距離を図解するグラフである。
回転されていない方位をもつ視聴者のための立体的表示のための例示的な左眼画像および右眼画像を図解する概略図である。
水平線が頭部とともに傾いた、回転された方位をもつ視聴者のための立体的表示のための、メガネ座標で縛られた例示的な左眼画像および右眼画像を図解する概略図である。
回転された方位および未変化の不一致をもつ視聴者のための立体的表示のための、水平線の方位に合致するように調整された、例示的な左眼画像および右眼画像を図解する概略図である。
画像不一致の操作のためのインタフェースの例示的なセットを図解するシステム図である。
ＤＩＢＲベースの３Ｄ送信システムのためのインタフェースの例示的なセットを図解するシステム図である。
ソースカメラとターゲットカメラを変化させる場合にディスオクルージョンの外観を示す例示的なシナリオを図解する概略的な平面図である。
穴充填前の例示的な３Ｄワーピング画像を示すイラストである。
穴充填後の例示的な３Ｄワーピング画像を示すイラストである。
多くの立体的視聴システムにおける例示的な輻輳調節矛盾（ＶＡＣ）を図解する概略斜視図である。
多くの立体的視聴システムにおける例示的な輻輳調節矛盾（ＶＡＣ）を図解する概略斜視図である。
多くの立体的視聴システムにおける例示的な輻輳調節矛盾（ＶＡＣ）を図解する概略斜視図である。
いくつかの実施形態による例示的な多焦点面（ＭＦＰ）ニアアイディスプレイを図解する概略平面図である。
いくつかの実施形態による、近焦点画像面、中間焦点画像面、および遠焦点画像面の例示的な視聴を図解する概略平面図である。
観察者によって視聴される例示的な焦点画像面を図解する概略図である。
四角の例示的な画像のための例示的な前方焦点面および後方焦点面を図解する概略図である。
四角の例示的な画像のための例示的な前方焦点面および後方焦点面を図解する概略図である。
四角の例示的な画像のための例示的な前方焦点面および後方焦点面を図解する概略図である。
右眼画像および左眼画像に対して表示される例示的な焦点面を図解する概略正面図である。
右眼画像および左眼画像に対して表示される例示的な焦点面を図解する概略正面図である。
奥行きベースの光度重み付け関数を用いた２つの焦点面の例示的な視聴を図解する概略平面図である。
いくつかの実施形態による、左眼と右眼による３つの焦点面の例示的な視聴を図解する概略平面図である。
いくつかの実施形態による、奥行きブレンド（重み付け）のないＭＦＰ表示のための奥行きの例示的な量子化を図解する概略平面図である。
いくつかの実施形態による重み対奥行きの例を図解するグラフである。
いくつかの実施形態による重み対奥行きの例を図解するグラフである。
いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。
例示的なテスト画像を示すイラストである。
図２１Ｂの場合の画素距離を図解する例示的な奥行きマップである。
いくつかの実施形態による、図２１Ａの奥行き重みを図２１Ｂのテスト画像および図２１Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図２１Ａの奥行き重みを図２１Ｂのテスト画像および図２１Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図２１Ａの奥行き重みを図２１Ｂのテスト画像および図２１Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。
例示的なテスト画像を示すイラストである。
図２２Ｂの場合の画素距離を図解する例示的な奥行きマップである。
いくつかの実施形態による、図２２Ａの奥行き重みを図２２Ｂのテスト画像および図２２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図２２Ａの奥行き重みを図２２Ｂのテスト画像および図２２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図２２Ａの奥行き重みを図２２Ｂのテスト画像および図２２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、立体的画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、立体的画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、立体的画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、視聴者方位の方向をもつ画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、視聴者方位の方向をもつ画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、視聴者方位の方向をもつ画像不一致のための例示的なシナリオを図解する概略正面図である。
いくつかの実施形態による、左眼および右眼のシフトおよび投影されたＭＦＰ（left and right eye shifted and projected MFP）を生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。
いくつかの実施形態による、視聴者方位の３つのシナリオのための左眼および右眼のシフトおよび投影されたＭＦＰを生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。
いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。
例示的なテスト画像を示すイラストである。
いくつかの実施形態による、図２８Ａのテスト画像を使用する例示的な重み付けされた焦点面画像を示すイラストである。
いくつかの実施形態による、図２８Ａのテスト画像を使用する例示的な重み付けされた焦点面画像を示すイラストである。
いくつかの実施形態による、図２８Ａのテスト画像を使用する例示的な重み付けされた焦点面画像を示すイラストである。
いくつかの実施形態による、図２８Ｂ〜図２８Ｄの焦点面画像を使用して形成された、対応して、例示的な右眼画像を示すイラストである。
いくつかの実施形態による、図２８Ｂ〜図２８Ｄの焦点面画像を使用して形成された、対応して、例示的な左眼画像を示すイラストである。
いくつかの実施形態による、異なる眼離隔距離の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、異なる眼離隔距離の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、異なる眼離隔距離の下で視聴される例示的な焦点面を図解する概略平面図である。
いくつかの実施形態による、正弦曲線奥行き重み付けとともに形成された右眼のための例示的な立体的画像の拡大された抜粋部を示すイラストである。
いくつかの実施形態による、対応して、正弦曲線奥行き重み付けとともに形成された右眼のための例示的な立体的画像を示すイラストである。
いくつかの実施形態による、対応して、正弦曲線奥行き重み付けとともに形成された左眼のための例示的な立体的画像を示すイラストである。
いくつかの実施形態による、多項式奥行き重み付けとともに形成された右眼のための例示的な立体的画像の拡大された抜粋部を示すイラストである。
いくつかの実施形態による、対応して、多項式奥行き重み付けとともに形成された例示的な右眼画像を示すイラストである。
いくつかの実施形態による、対応して、多項式奥行き重み付けとともに形成された例示的な左眼画像を示すイラストである。
いくつかの実施形態による、異なるユーザ方位をもつ第１の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ第１の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ第１の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ第２の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ第２の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ第２の立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、異なるユーザ方位をもつ立体的表示のための例示的な不一致を図解する概略正面図である。
いくつかの実施形態による、回転された方位をもつ視聴者のための立体的表示のための例示的な左眼画像および右眼画像を図解する概略的なユーザの図である。
いくつかの実施形態による、焦点面画像のセットを左右に歪曲することによってビューへの複数の視点を生じさせるための例示的なプロセスを図解する概略的な処理図である。
いくつかの実施形態による、図３５の歪曲された画像を使用する立体的表示のための３つの立体的画像の例示的なシリーズを示すイラストである。
いくつかの実施形態による、３つの視聴者方位のための柔軟なベースライン立体的表示のためのシフトおよび投影されたＭＦＰ画像を生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。
いくつかの実施形態による、奥行きマップ画像を示す画像操作プログラムのためのインタフェースの例示的なセットを図解するコンピュータウィンドウのセットである。
いくつかの実施形態による、奥行き重み付けグラフを示す画像操作プログラムのためのインタフェースの例示的なセットを図解するコンピュータウィンドウのセットである。
いくつかの実施形態による、生成された焦点面画像を示す画像操作プログラムのためのインタフェースの例示的なセットを図解するコンピュータウィンドウのセットである。
シミュレーション環境内の生成された焦点面画像の例示的なセットを示すイラストである。
シミュレーション環境内の生成された焦点面画像の例示的なセットを示すイラストである。
シミュレーション環境内の生成された焦点面画像の例示的なセットを示すイラストである。
いくつかの実施形態による、多焦点面（ＭＦＰ）表示画像を生成するための例示的なプロセスを図解するメッセージシーケンス図である。
いくつかの実施形態による、立体３Ｄディスプレイ画像を生成するための例示的なプロセスを図解するメッセージシーケンス図である。
いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。
例示的なテスト画像を示すイラストである。
図４２Ｂの場合の画素距離を図解する例示的な奥行きマップである。
いくつかの実施形態による、図４２Ａの奥行き重みを図４２Ｂのテスト画像および図４２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図４２Ａの奥行き重みを図４２Ｂのテスト画像および図４２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図４２Ａの奥行き重みを図４２Ｂのテスト画像および図４２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。
例示的なテスト画像を示すイラストである。
図４３Ｂの場合の画素距離を図解する例示的な奥行きマップである。
いくつかの実施形態による、図４３Ａの奥行き重みを図４３Ｂのテスト画像および図４３Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図４３Ａの奥行き重みを図４３Ｂのテスト画像および図４３Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、図４３Ａの奥行き重みを図４３Ｂのテスト画像および図４３Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。
ユーザからの異なる奥行きで捉えられた例示的な焦点スタック画像を図解する概略図である。
例示的な線形的にブレンドされた焦点面を示すイラストである。
例示的な線形的にブレンドされた焦点面を示すイラストである。
例示的な線形的にブレンドされた焦点面を示すイラストである。
例示的な線形的にブレンドされた焦点面を示すイラストである。
例示的な再配信された焦点面を示すイラストである。
例示的な再配信された焦点面を示すイラストである。
例示的な再配信された焦点面を示すイラストである。
例示的な再配信された焦点面を示すイラストである。
いくつかの実施形態による、対応して、ブレンドされていない焦点面画像を使用して形成された右眼のための例示的な立体的画像を示すイラストである。
いくつかの実施形態による、対応して、ブレンドされていない焦点面画像を使用して形成された左眼のための例示的な立体的画像を示すイラストである。
いくつかの実施形態による、前方奥行き範囲、中間奥行き範囲、および後部奥行き範囲の再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、再配信のない例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、再配信のない例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、再配信のない例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、再配信のある例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、再配信のある例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、再配信のある例示的な焦点面画像を示すイラストである。
いくつかの実施形態による、線形的にブレンドされた焦点面を使用して形成された交差した眼ステレオグラムのための例示的な右画像を示すイラストである。
いくつかの実施形態による、線形的にブレンドされた焦点面を使用して形成された交差した眼ステレオグラムのための例示的な左画像を示すイラストである。
いくつかの実施形態による、再配信された焦点面を使用して形成された交差した眼ステレオグラムのための例示的な右画像を示すイラストである。
いくつかの実施形態による、再配信された焦点面を使用して形成された交差した眼ステレオグラムのための例示的な左画像を示すイラストである。
いくつかの実施形態による、ＭＦＰを再配信する際に選択的ガウシアンフィルタリングを使用して形成された交差した眼ステレオグラムのための例示的な右画像を示すイラストである。
いくつかの実施形態による、ＭＦＰを再配信する際に選択的ガウシアンフィルタリングを使用して形成された交差した眼ステレオグラムのための例示的な左画像を示すイラストである。
いくつかの実施形態による、低周波数フィルタリングおよび高周波数フィルタリングを使用して再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、ローパスフィルタリングを使用して高周波数焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、前方奥行き範囲、中間奥行き範囲、および後部奥行き範囲に対する再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、ローパスフィルタリングを使用して再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、空間内にレンダリングされる例示的な多焦点面を図解する概略斜視図である。
いくつかの実施形態による、空間内にレンダリングされる例示的な多焦点面を図解する概略斜視図である。
いくつかの実施形態による、異なる視点に対するシフトおよびスケーリングされる多焦点面の一例を図解する概略斜視図である。
いくつかの実施形態による、異なる視点に対するシフトおよびスケーリングされる多焦点面の一例を図解する概略斜視図である。
いくつかの実施形態による、異なる視点に対するシフトおよびスケーリングされる多焦点面の一例を図解する概略斜視図である。
いくつかの実施形態による、運動視差システム内で多焦点面を生成するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、軸方向移動のための例示的な焦点面サイズスケーリング調整を図解する概略平面図である。
いくつかの実施形態による、軸方向運動中に例示的な焦点面コンテンツの例示的な変形を図解する概略平面図である。
いくつかの実施形態による、軸方向運動中に例示的な焦点面コンテンツの例示的な変形を図解する概略平面図である。
いくつかの実施形態による、軸方向運動中に例示的な焦点面コンテンツの例示的な変形を図解する概略平面図である。
いくつかの実施形態による、ユーザ動き中の例示的な視点座標の追跡を示すグラフである。
いくつかの実施形態による、多焦点面の真の立体セットを生成するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、多焦点面の合成された立体セットを生成するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、２次元表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、単眼２Ｄ表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、真の立体的３次元（Ｓ３Ｄ）表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、合成された立体的３次元（Ｓ３Ｄ）表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、フロントエンド処理経路および表示エンド経路をもつ多焦点面を生成するための例示的なプロセスを図解するプロセス図である。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。
いくつかの実施形態による、例示的なプロセスを図解するフローチャートである。
いくつかの実施形態による、例示的なプロセスを図解するフローチャートである。
図２Ｂに対応するネイティブ画像のグレースケールバージョンである。
図１４に対応するネイティブ画像のグレースケールバージョンである。
図１６Ａ〜図１６Ｂに対応するネイティブ画像のグレースケールバージョンである。
図２１Ｂ〜図２１Ｆに対応するネイティブ画像のグレースケールバージョンである。
図２２Ｂ〜図２２Ｆに対応するネイティブ画像のグレースケールバージョンである。
図２８Ａ〜図２８Ｄに対応するネイティブ画像のグレースケールバージョンである。
図２９Ａ〜図２９Ｂに対応するネイティブ画像のグレースケールバージョンである。
図３１Ａ〜図３１Ｆに対応するネイティブ画像のグレースケールバージョンである。
図３５に対応するネイティブ画像のグレースケールバージョンである。
図３６に対応するネイティブ画像のグレースケールバージョンである。
図３８Ｃに対応するネイティブ画像のグレースケールバージョンである。
図３９Ａ〜図３９Ｃに対応するネイティブ画像のグレースケールバージョンである。
図４２Ｂ〜図４２Ｆに対応するネイティブ画像のグレースケールバージョンである。
図４３Ｂ〜図４３Ｆに対応するネイティブ画像のグレースケールバージョンである。
図４４に対応するネイティブ画像のグレースケールバージョンである。
図４５Ａ〜図４５Ｈに対応するネイティブ画像のグレースケールバージョンである。
図４６Ａ〜図４６Ｂに対応するネイティブ画像のグレースケールバージョンである。
図４８Ａ〜図４８Ｆに対応するネイティブ画像のグレースケールバージョンである。
図４９Ａ〜図４９Ｂに対応するネイティブ画像のグレースケールバージョンである。
図５０Ａ〜図５０Ｂに対応するネイティブ画像のグレースケールバージョンである。
図５１Ａ〜図５１Ｂに対応するネイティブ画像のグレースケールバージョンである。
図６８Ａ〜図６８Ｊに対応するネイティブ画像のグレースケールバージョンである。
様々な図に描かれ、それらに関連して説明されるエンティティ、接続、配置などが、限定としてではなく、例として提示される。従って、特定の図が何を「描いているか」、特定の図内の特定の要素またはエンティティは何「である」または何「を有するか」に関する任意のおよび全ての記述または他のインジケーション、並びに分離しておよび文脈から絶対的したがって限定的であると読まれ得る任意のおよび全ての類似した記述は、「少なくとも１つの実施形態では、…」などの句によって建設的に（constructively）先行されるとのみ適切に読まれてよい。提示の簡潔さおよび明快さのために、この暗示された導入句は、詳細な説明では、くどくどと繰り返されない。
実施形態の実装のための例示的なネットワーク
無線送受信ユニット（ＷＴＲＵ）は、本明細書において説明されるいくつかの実施形態では、例えば、ＭＦＰディスプレイとして使用されてよい。
無線送受信ユニット（ＷＴＲＵ）は、本明細書において説明されるいくつかの実施形態では、例えば、ＭＦＰディスプレイとして使用されてよい。
図１Ａは、１つまたは複数の開示される実施形態が実施され得る例示的な通信システム１００を図解する図である。通信システム１００は、音声、データ、映像、メッセージ、ブロードキャストなどのコンテンツを複数の無線ユーザに提供する多重アクセスシステムであってよい。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有を通じて、そのようなコンテンツにアクセスすることを可能にすることがある。例えば、通信システム１００は、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、周波数分割多重アクセス（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ拡散ＯＦＤＭ（ＺＴ ＵＷ ＤＴＳ−ｓ ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ−ＯＦＤＭ）、リソースブロックフィルタリングＯＦＤＭ、フィルタバンクマルチキャリア（ＦＢＭＣ）などの１つまたは複数のチャネルアクセス方法を用いてよい。
図１Ａに示されるように、通信システム１００は、無線送受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄと、ＲＡＮ１０４／１１３と、ＣＮ１０６／１１５と、公衆交換電話網（ＰＳＴＮ）１０８と、インターネット１１０と、他のネットワーク１１２を含んでよいが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、および／またはネットワーク要素を企図していることが理解されるであろう。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄの各々は、無線環境内で動作および／または通信するように構成された任意のタイプのデバイスであってよい。例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、そのいずれも「局」および／または「ＳＴＡ」と呼ばれることがあり、無線信号を送信および／または受信するように構成されてよく、ユーザ機器（ＵＥ）、移動局、固定またはモバイル加入者ユニット、サブスクリプションベースのユニット、ページャ、セルラー式電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポットまたはＭｉ−Ｆｉデバイス、ＩｏＴデバイス、腕時計または他のウェアラブルなヘッドマウントディスプレイ（ＨＭＤ）、車両、ドローン、医療デバイスおよび適用例（例えば、遠隔手術）、工業用デバイスおよび適用例（例えば、ロボット並びに／または産業および／もしくは自動処理チェーン文脈で動作する他の無線デバイス）、家庭用電子デバイス、商業および／または工業無線ネットワーク上で動作するデバイスなどを含み得る。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、および１０２ｄのいずれも、ＵＥと互換的に呼ばれることがある。
通信システム１００は、基地局１１４ａおよび／または基地局１１４ｂも含んでよい。基地局１１４ａ、１１４ｂの各々は、ＣＮ１０６／１１５、インターネット１１０、および／または他のネットワーク１１２などの１つまたは複数の通信ネットワークへのアクセスを容易にするためにＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つとワイヤレスでインタフェースするように構成された任意のタイプのデバイスであってよい。例えば、基地局１１４ａ、１１４ｂは、送受信基地局（ＢＴＳ）、ノードＢ、ｅＮｏｄｅ Ｂ、ホームノードＢ、ホームｅＮｏｄｅ Ｂ、ｇＮＢ、ＮＲノードＢ、サイトコントローラ、アクセスポイント（ＡＰ）、無線ルータなどであってよい。基地局１１４ａ、１１４ｂは各々、単一の要素として描かれているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局および／またはネットワーク要素を含んでよいことが理解されるであろう。
基地局１１４ａは、ＲＡＮ１０４／１１３の一部であってよく、ＲＡＮ１０４／１１３は、基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどの、他の基地局および／またはネットワーク要素（図示せず）も含んでよい。基地局１１４ａおよび／または基地局１１４ｂは、１つまたは複数のキャリア周波数上で無線信号を送信および／または受信するように構成されてよく、これは、セル（図示せず）と呼ばれることがある。これらの周波数は、ライセンススペクトルであってもよいし、アンライセンススペクトルであってもよいし、ライセンススペクトルとアンライセンススペクトルの組み合わせであってもよい。セルは、比較的固定され得るまたは経時的に変化し得る特定の地理的エリアに無線サービスのカバレッジを提供してもよい。セルは、セルセクタにさらに分割され得る。例えば、基地局１１４ａと関連付けられたセルは、３つのセクタに分割されてよい。従って、一実施形態では、基地局１１４ａは、３つのトランシーバ、すなわち、セルの各セクタに対して１つを含んでよい。実施形態では、基地局１１４ａは、ＭＩＭＯ技術を用いることがあり、セルの各セクタに対して複数のトランシーバを利用することがある。例えば、ビームフォーミングは、所望の空間的方向に信号を送信および／または受信するために使用されてよい。
基地局１１４ａ、１１４ｂは、エアインタフェース１１６上でＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数と通信してよく、エアインタフェース１１６は、任意の適切な無線通信リンク（例えば、無線周波数（ＲＦ）、マイクロ波、センチメートル波、マイクロメートル波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）であってよい。エアインタフェース１１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立されてよい。
より具体的には、上述したように、通信システム１００は、多重アクセスシステムであってよく、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、ＳＣ−ＦＤＭＡなどの１つまたは複数のチャネルアクセス方式を用いてよい。例えば、ＲＡＮ１０４／１１３内の基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））を使用してエアインタフェース１１５／１１６／１１７を確立し得る、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実施することがある。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または発展型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含み得る。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）および／または高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含んでよい。
実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥ−Ａｄｖａｎｃｅｄ（ＬＴＥ−Ａ）および／またはＬＴＥ−Ａｄｖａｎｃｅｄ Ｐｒｏ（ＬＴＥ−Ｐｒｏ）を使用してエアインタフェース１１６を確立し得る、発展型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実施することがある。
実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、Ｎｅｗ Ｒａｄｉｏ（ＮＲ）を使用してエアインタフェース１１６を確立し得る、ＮＲ無線アクセスなどの無線技術を実施することがある。
実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実施することがある。例えば、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えば、デュアルコネクティビティ（ＤＣ）原理を使用して、ＬＴＥ無線アクセスとＮＲ無線アクセスを一緒に実施することがある。従って、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用されるエアインタフェースは、複数のタイプの無線アクセス技術および／または複数のタイプの基地局（例えば、ｅＮＢおよびｇＮＢ）に／から送られる送信によって特徴付けられ得る。
他の実施形態では、基地局１１４ａおよびＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ＷｉＦｉ（Wireless Fidelity））、ＩＥＥＥ８０２．１６（すなわち、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ １Ｘ、ＣＤＭＡ２０００ ＥＶ−ＤＯ、ＩＳ−２０００（Interim Standard2000）、ＩＳ−９５（Interim Standard 95）、ＩＳ−８５６（Interim Standard 856）、ＧＳＭ（Global System for Mobile communications）、ＥＤＧＥ（Enhanced Data rates for GSM Evolution）、ＧＳＭ ＥＤＧＥ（ＧＥＲＡＮ）などの無線技術を実施することがある。
図１Ａにおける基地局１１４ｂは、例えば、無線ルータ、ホームノードＢ、ホームｅＮｏｄｅ Ｂ、またはアクセスポイントであってよく、営業所、自宅、車両、キャンパス、工業施設、空中回廊（例えば、ドローンによる使用のための）、道路などの局所的なエリア内の無線コネクティビティを容易にするために、任意の適切なＲＡＴを利用してよい。一実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立するために、ＩＥＥＥ８０２．１１などの無線技術を実施することがある。実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立するために、ＩＥＥＥ８０２．１５などの無線技術を実施することがある。さらに別の実施形態では、基地局１１４ｂおよびＷＴＲＵ１０２ｃ、１０２ｄは、ピコセルまたはフェムトセルを確立するために、セルラーベースのＲＡＴ（例えば、ＷＣＤＭＡ、ＣＤＭＡ２０００、ＧＳＭ、ＬＴＥ、ＬＴＥ−Ａ、ＬＴＥ−Ｐｒｏ、ＮＲなど）を利用することがある。図１Ａに示されるように、基地局１１４ｂは、インターネット１１０への直接接続を有してよい。従って、基地局１１４ｂは、ＣＮ１０６／１１５を介してインターネット１１０にアクセスするために必要とされないことがある。
ＲＡＮ１０４／１１３は、ＣＮ１０６／１１５と通信してよく、ＣＮ１０６／１１５は、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つまたは複数に音声、データ、アプリケーション、および／またはＶｏＩＰ（Voice over Internet Protocol）サービスを提供するように構成された任意のタイプのネットワークであってよい。データは、異なるスループット要件、レイテンシ要件、エラー許容範囲要件、信頼性要件、データスループット要件、モビリティ要件などの、変動するサービス品質（ＱｏＳ）要件を有することがある。ＣＮ１０６／１１５は、呼制御、課金サービス、モバイル位置情報サービス、プリペイド発呼、インターネットコネクティビティ、映像配信などを提供し得る、および／またはユーザ認証などの高レベルセキュリティ機能を実行し得る。図１Ａには示されていないが、ＲＡＮ１０４／１１３および／またはＣＮ１０６／１１５は、ＲＡＮ１０４／１１３と同じＲＡＴまたは異なるＲＡＴを用いて他のＲＡＮと直接的または間接的に通信してよいことが理解されるであろう。例えば、ＮＲ無線技術を利用していることがあるＲＡＮ１０４／１１３に接続されることに加えて、ＣＮ１０６／１１５は、ＧＳＭ、ＵＭＴＳ、ＣＤＭＡ２０００、ＷｉＭＡＸ、Ｅ−ＵＴＲＡ、またはＷｉＦｉ無線技術を用いる別のＲＡＮ（図示せず）とも通信してよい。
ＣＮ１０６／１１５は、ＰＳＴＮ１０８、インターネット１１０、および／または他のネットワーク１１２にアクセスするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとして働くこともある。ＰＳＴＮ１０８は、簡易電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含んでよい。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイートにおける伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、および／またはインターネットプロトコル（ＩＰ）などの一般的な通信プロトコルを使用する、相互接続されたコンピュータネットワークおよびデバイスの地球規模のシステムを含んでよい。ネットワーク１１２は、他のサービスプロバイダによって所有および／または運用される有線通信ネットワークおよび／または無線通信ネットワークを含んでよい。例えば、ネットワーク１１２は、ＲＡＮ１０４／１１３と同じＲＡＴを用いてもよいし異なるＲＡＴを用いてもよい１つまたは複数のＲＡＮに接続された別のＣＮを含むことがある。
通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちのいくつかまたは全ては、マルチモード能力を含んでよい（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンク上で異なる無線ネットワークと通信するための複数のトランシーバを含んでよい）。例えば、図１Ａに示されるＷＴＲＵ１０２ｃは、セルラーベースの無線技術を用い得る基地局１１４ａと、およびＩＥＥＥ８０２無線技術を用い得る基地局１１４ｂと通信するように構成されることがある。
図１Ｂは、例示的なＷＴＲＵ１０２を図解するシステム図である。図１Ｂに示されるように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、トランシーバ１２０、送受信要素１２２、スピーカ／マイクロホン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、ノンリムーバブルメモリ１３０、リムーバブルメモリ１３２、電源１３４、ＧＰＳチップセット１３６、および／または他の周辺機器１３８を含んでよい。ＷＴＲＵ１０２は、実施形態に一致したままでありながら、前述の要素の任意の副組み合わせを含んでよいことが理解されるであろう。
プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、状態機械などであってよい。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、および／またはＷＴＲＵ１０２が無線環境内で動作することを可能にする他の任意の機能を実行してよい。プロセッサ１１８はトランシーバ１２０に結合されてよく、トランシーバ１２０は送受信要素１２２に結合されてよい。図１Ｂは、プロセッサ１１８およびトランシーバ１２０を別個の構成要素として描いているが、プロセッサ１１８とトランシーバ１２０は、電子パッケージまたはチップ内に一緒に統合されてよいことが理解されるであろう。
送受信要素１２２は、エアインタフェース１１６上で基地局（例えば、基地局１１４ａ）に信号を送信する、またはこれから信号を受信するように構成されてよい。例えば、一実施形態では、送受信要素１２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってよい。実施形態では、送受信要素１２２は、例えば、ＩＲ信号、ＵＶ信号、または可視光信号を送信および／または受信するように構成されたエミッタ／検出器であってよい。さらに別の実施形態では、送受信要素１２２は、ＲＦ信号と光信号の両方を送信および／または受信するように構成されることがある。送受信要素１２２は、無線信号の任意の組み合わせを送信および／または受信するように構成されてよいことが理解されるであろう。
送受信要素１２２は、図１Ｂでは単一の要素として描かれているが、ＷＴＲＵ１０２は、任意の数の送受信要素１２２を含んでよい。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を用いてよい。従って、一実施形態では、ＷＴＲＵ１０２は、エアインタフェース１１６上で無線信号を送信および受信するための２つ以上の送受信要素１２２（例えば、複数のアンテナ）を含んでもよい。
トランシーバ１２０は、送受信要素１２２によって送信可能な信号を変調し、送受信要素１２２によって受信信号を復調するように構成されることがある。前述のように、ＷＴＲＵ１０２は、マルチモード能力を有することがある。従って、トランシーバ１２０は、例えば、ＷＴＲＵ１０２がＮＲおよびＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするための複数のトランシーバを含むことがある。
ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロホン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８（例えば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されることがあり、これらからユーザ入力データを受信することがある。プロセッサ１１８は、スピーカ／マイクロホン１２４、キーパッド１２６、および／またはディスプレイ／タッチパッド１２８にユーザデータを出力することもある。加えて、プロセッサ１１８は、ノンリムーバブルメモリ１３０および／またはリムーバブルメモリ１３２などの任意のタイプの適切なメモリからの情報にアクセスし、これにデータを記憶し得る。ノンリムーバブルメモリ１３０は、ＲＡＭ、ＲＯＭ、ハードディスク、または他の任意のタイプのメモリ記憶デバイスを含んでよい。リムーバブルメモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含んでよい。他の実施形態では、プロセッサ１１８は、サーバまたはホームコンピュータ（図示せず）上などの、ＷＴＲＵ１０２上に物理的に設置されないメモリからの情報にアクセスし、これにデータを記憶してもよい。
プロセッサ１１８は、電源１３４から電力を受信してよく、ＷＴＲＵ１０２内の他の構成要素に電力を分配および／または制御するように構成されてよい。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切なデバイスであってよい。例えば、電源１３４は、１つまたは複数の乾電池バッテリ（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉイオン）など）、太陽電池、燃料電池などを含んでよい。
プロセッサ１１８は、ＧＰＳチップセット１３６にも結合されてよく、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在のロケーションに関するロケーション情報（例えば、経度および緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１０２は、エアインタフェース１１６上で基地局（例えば、基地局１１４ａ、１１４ｂ）からロケーション情報を受信する、および／または信号が２つ以上の近くの基地局から受信されたというタイミングに基づいて、そのロケーションを決定することがある。ＷＴＲＵ１０２は、実施形態に一致したままでありながら、任意の適切なロケーション決定方法によってロケーション情報を獲得し得ることが理解されるであろう。
プロセッサ１１８は、他の周辺機器１３８にさらに結合されてよく、他の周辺機器１３８は、追加の特徴、機能、および／または有線コネクティビティもしくは無線コネクティビティを提供する１つまたは複数のソフトウェアモジュールおよび／またはハードウェアモジュールを含んでよい。例えば、周辺機器１３８は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ（写真および／または映像用）、ＵＳＢポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、デジタル音楽プレーヤー、メディアプレーヤー、ビデオゲームプレーヤーモジュール、インターネットブラウザ、仮想現実および／または拡張現実（ＶＲ／ＡＲ）デバイス、アクティビティトラッカなどを含んでよい。周辺機器１３８は、１つまたは複数のセンサを含んでよく、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャセンサ、バイオメトリックセンサ、および／または湿度センサのうちの１つまたは複数であってよい。
ＷＴＲＵ１０２は、信号（例えば、ＵＬ（例えば、送信用）とダウンリンク（例えば、受信用）の両方のための特定のサブフレームと関連付けられた）のいくつかまたは全ての送信および受信が同時発生および／または同時であり得る全二重無線を含んでよい。全二重無線は、プロセッサ（例えば、別個のプロセッサ（図示せず）、またはプロセッサ１１８を介して）を介してハードウェア（例えば、チョーク）または信号処理のどちらかを介した自己干渉を減少させるおよび／または実質的になくす干渉管理ユニットを含んでよい。実施形態では、ＷＲＴＵ１０２は、信号（例えば、ＵＬ（例えば、送信用）またはダウンリンク（例えば、受信用）のどちららかのための特定のサブフレームと関連付けられた）のいくつかまたは全ての送信および受信のための半二重無線を含んでよい。
図１Ａ〜図１Ｂの図、および図１Ａ〜図１Ｂの対応する説明では、ＷＴＲＵ１０２ａ〜ｄ、基地局１１４ａ〜ｂ、および／または本明細書において説明される他の任意のデバイスのうちの１つまたは複数に関して本明細書において説明される機能の１つもしくは複数、または全ては、１つまたは複数のエミュレーションデバイス（図示せず）によって実行され得る。エミュレーションデバイスは、本明細書において説明される機能の１つもしくは複数または全てをエミュレートするように構成された１つまたは複数のデバイスであってよい。例えば、エミュレーションデバイスは、他のデバイスをテストするため、並びに／またはネットワークおよび／もしくはＷＴＲＵ機能をシミュレートするために使用されることがある。
エミュレーションデバイスは、ラボ環境内および／またはオペレータネットワーク環境内で他のデバイスの１つまたは複数のテストを実施するように設計されてよい。例えば、１つまたは複数のエミュレーションデバイスは、通信ネットワーク内の他のデバイスをテストするために有線通信ネットワークおよび／または無線通信ネットワークの一部として完全にもしくは部分的に実施および／または展開されている間、１つもしくは複数または全ての機能を実行することがある。１つまたは複数のエミュレーションデバイスは、有線通信ネットワークおよび／または無線通信ネットワークの一部として一時的に実施／展開されている間、１つもしくは複数または全ての機能を実行することがある。エミュレーションデバイスは、テストの目的で別のデバイスに直接的に結合されることがある、および／またはオーバーザエア無線通信を使用するテストを実行することがある。
１つまたは複数のエミュレーションデバイスは、有線通信ネットワークおよび／または無線通信ネットワークの一部として実施／展開されていない間、全てを含めて１つまたは複数の機能を実行することがある。例えば、エミュレーションデバイスは、１つまたは複数の構成要素のテストを実施するために、テストラボラトリ並びに／または展開されていない（例えば、テスト）有線通信ネットワークおよび／もしくは無線通信ネットワーク内でのテストシナリオにおいて利用されることがある。１つまたは複数のエミュレーションデバイスは、テスト機器であってよい。ＲＦ回路（例えば、１つまたは複数のアンテナを含み得る）を介した直接的なＲＦ結合および／または無線通信は、データを送信および／または受信するためにエミュレーションデバイスによって使用されることがある。
立体的視点のためのＭＦＰベースの方法
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、奥行き−画像ベースのレンダリング（ＤＩＢＲ）システム内での費用対効果が大きく柔軟な立体的視点生成のための様々な例示的なＭＦＰベースの実施形態について説明する。仮想視点を生成するための、いくつかの実施形態による例示的な方法は、視聴経験を劣化させることなくユーザが自分の頭部傾きおよび視聴位置をより自由に変化させることを可能にする。加えて、いくつかの実施形態では、ユーザは、立体的不一致を作成するために、本明細書においていくつかの実施形態により開示されるシステムおよび方法によって可能にされる、自然な運動視差、および立体視の個人的な調整が提供される。いくつかの実施形態は、ウェアラブルディスプレイと外部ディスプレイの両方の高品質立体的コンテンツおよび不一致ベースの相互作用を生じさせることを可能にする。相互作用のいくつかの実施形態および手段は、新進のＭＦＰディスプレイとともに使用されることがある。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、奥行き−画像ベースのレンダリング（ＤＩＢＲ）システム内での費用対効果が大きく柔軟な立体的視点生成のための様々な例示的なＭＦＰベースの実施形態について説明する。仮想視点を生成するための、いくつかの実施形態による例示的な方法は、視聴経験を劣化させることなくユーザが自分の頭部傾きおよび視聴位置をより自由に変化させることを可能にする。加えて、いくつかの実施形態では、ユーザは、立体的不一致を作成するために、本明細書においていくつかの実施形態により開示されるシステムおよび方法によって可能にされる、自然な運動視差、および立体視の個人的な調整が提供される。いくつかの実施形態は、ウェアラブルディスプレイと外部ディスプレイの両方の高品質立体的コンテンツおよび不一致ベースの相互作用を生じさせることを可能にする。相互作用のいくつかの実施形態および手段は、新進のＭＦＰディスプレイとともに使用されることがある。
いくつかの実施形態では、ＭＦＰベースの合成不一致は、ＤＩＢＲのための高品質立体的コンテンツを生じさせるために使用される。いくつかの実施形態では、焦点面の数は制限されない。加えて、受信機における立体的ビューを形成することは、柔軟な機能を可能にする。ＭＦＰを使用することは、リアルタイム動作において、調整可能な不一致および方位をもつ仮想視点生成を可能にする。この方法論は、さもなければより複雑でビットレートをより多く消費する方法（例えば、リアルタイム３Ｄおよび明視野システム）を使用し得る機能を可能にする。奥行きプラステクスチャ入力フォーマットは、より低いビットレートを送信および記憶に使用し得る１つまたは複数の実施形態に適用可能である。
いくつかの実施形態では、ＭＦＰは、大きな不一致をもつ高品質立体的コンテンツを生じさせるために使用される。大きい不一致は、大きな立体的奥行き、および／または生じさせられたコンテンツまでの小さい視聴距離を保つことを意味する。所望の精度は、大きい数のＭＦＰを使用することによって、並びにＭＦＰを形成するとき奥行きブレンド関数を選択および最適化することによって、達成され得る。
開示された方法およびシステムのいくつかの実施形態では、仮想の立体的投影は、受信サイトにおいてリアルタイムで形成されることがあり、これは、立体ベースラインの最大の頭部傾き方位とともに視聴されることになる立体コンテンツを作ることを可能にする。不一致およびベースライン方位を変更することは、複数の受信ノードで独立して、ノードごとに数人のユーザに対して個々に生じさせられることがある。加えて、いくつかの実施形態は、任意の視聴方位において運動視差を生じさせることをサポートし、視聴に対するさらなる自然さを可能にする。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、ウェアラブルディスプレイおよび外部スクリーンを含み、立体的表示の変形態である調節不変（同焦点）ＮＥＤを用いた、立体ディスプレイのためのコンテンツを形成する際に使用されることがあり、これは、通常の立体的コンテンツを視聴する場合に自然な調節（ＶＡＣを回避する）をサポートする。いくつかの実施形態では、仮想不一致調整および関連する相互作用も、自然な調節をもつ新進ＭＦＰディスプレイへと実施されることがある。大きな不一致をもつコンテンツを形成するためのいくつかの実施形態では、多項式ブレンド関数（または奥行き範囲全体に対して画素を重み付けする他の関数）を使用することは、物体縁上のより良い品質をもたらし得る。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、立体的３Ｄ（Ｓ３Ｄ）映像送信システム内および奥行き画像ベースのレンダリング（ＤＩＢＲ）に基づくシステム内で立体的画像ペア（ステレオグラム）を形成することに関する。いくつかの実施形態は、多焦点面（ＭＦＰ）コンテンツ、ＭＦＰ能力、並びに面の数およびロケーションを使用することがある。いくつかの実施形態は、不一致を調整するために動的なユーザ行動またはコンテンツを使用することがある。
ＭＦＰは焦点キューを提供し得るが、多くのシステムは、不一致を可能にするために２つの焦点面のみを使用する（立体３Ｄの外観を作成する、眼の間の折衷（compromise）画像が図示される）。多くの以前のシステムは、より大きなＭＦＰスタック（＞２面）を使用して連続的な奥行き（調節と不一致の両方から）を認知しない。多くの以前の立体的視聴システムでは、別個のＭＦＰスタックが、立体視聴のために眼ごとに提供される。
図２Ａは、ユーザからの異なる奥行きで表示される焦点面の例示的なセットを図解する概略図２００である。図２Ｂは、例示的な焦点面画像を示すイラストを示す。輻輳調節矛盾（ＶＡＣ）に対処する、１つのシステムは、多焦点面（ＭＦＰ）ディスプレイを使用してＶＡＣを回避する。図２Ａおよび図２Ｂは、ＭＦＰディスプレイに対する最適なレンダリングに関する論文（非特許文献１参照）から改変された図である。図２Ａでは、４つの提示面（例えば、焦点面）２０４、２０６、２０８、２１０を見るユーザ２０２が示されている。４つの面２０４、２０６、２０８、２１０の各々に対する画像２１２、２１４、２１６、２１８が図２Ｂに示されている。そのようなシステムは、視聴者に応答しないことがある。ＭＦＰは、焦点キューを提供するが、以前は、不一致を可能にするための２つの焦点面のみとともに使用されていた（折衷画像が、眼の間に図示されており、これは、立体３Ｄの外観を作成する）。多くの以前の立体的視聴システムでは、別個のＭＦＰスタックが、立体視聴のために眼ごとに提供される。
図３は、パーシバル（Percival）の快適視域に関して、左画像と右画像との間の例示的な画像不一致対観察者−スクリーン間距離を図解するグラフである。図３は、パーシバルの快適視域のグラフ３００である。グラフは、パーシバルの快適視域定理に基づく視聴者快適さに関して、左画像と右画像との間の画像不一致３０２対観察者−スクリーン間距離３０４を示す。図３は、論文（非特許文献２）に示されている。
図４は、回転されていない方位をもつ視聴者のための立体的表示のための例示的な左眼画像および右眼画像を図解する概略図である。図４は、ユーザによって見られる、ニアアイディスプレイ視聴者のために表示される左画像および右画像を示す。図４は、大きい前景ボートの後ろの距離内の小さいボートを視聴する際の視差シナリオ４００を示す。右眼画像４０４は、大きいボート４０６の後ろに小さいボート４０８の上部を示す左眼画像４０２よりも、小さいボート４１２を大きいボート４１０の右に示す。図４の右側の頭部アイコン４１４は、視聴者の元の方位を示す。
図５は、水平線が頭部とともに傾いた、回転された方位をもつ視聴者のための立体的表示のための、メガネ座標で縛られた例示的な左眼画像および右眼画像を図解する概略図である。図５は、視聴者の回転をもつ、ニアアイディスプレイのために表示される左画像および右画像を示す。図５のシナリオ５００では、図５の右側の頭部アイコン５０６は、視聴者の前に立つ外部の観察者によって見られる視聴者の回転された方位を示す。メガネおよびニアアイディスプレイは、視聴者によって装着されるビューアの観点から図示される。図５の場合、図４に示される同じ画像５０２、５０４は、回転される方位とは無関係に図示されている。これは、３Ｄ知覚が適切な状態を保つが、水平線が視聴者の方位に沿って回転し、物質世界での視聴を乱すことを意味する。
図６は、回転された方位および未変化の不一致をもつ視聴者のための立体表示のための、水平線の方位に合致するように調整された、例示的な左眼画像および右眼画像を図解する概略図である。図６は、図５に示されるのと同じ視聴者の回転をもつ、ニアアイディスプレイのために表示される左画像および右画像を示す。図６のシナリオ６００では、図４の元の方位と同じ画像６０２、６０４が、画像を水平に保つために、頭部アイコン６０６のために図示される回転に対応して回転される。左画像６０２と右画像６０４との間の不一致は、図４および図５と同じである（水平ベースラインに沿った状態を保つ）。レンダリングのための水平線は実世界と位置合わせされるが、不一致は回転された方位と合致しないので、３Ｄ知覚は歪められる。
図７は、画像不一致の操作のためのインタフェースの例示的なセットを図解するシステム図である。図７は、非特許文献２からのものである、画像不一致の操作のためのシステムインタフェース図である。捕捉時に立体ペアを生じさせる多くのシステムは、個々のユーザ動きをサポートしない（オクルージョン、可変の立体ベースライン、および水平でない方位など）。不一致の何らかのユーザカスタマイゼーションをもつ１つのシステム７００が非特許文献２で説明されているが、これは、不一致をレンダリングすることの変形形態に限定されると理解される。そのようなシステム７００は、ユーザの好みに基づいて不一致を調整する。そのようなシステムは、間隔調整のみを提供すると理解される。
図８は、ＤＩＢＲベースの３Ｄ送信システムのためのインタフェースの例示的なセットを図解するシステム図である。図８は、学術論文（非特許文献３）から改変された、ＤＩＢＲベースの３Ｄ送信システム８００の１つの構成のためのインタフェース図を示す。
多くのＤＩＢＲベースのシステムは、受信機における後処理段階として立体的画像形成を可能にするが、多くの以前の立体的映像システムは可撓性が低い。立体的不一致および奥行きバジェット（budget）の量は、捉えられたコンテンツに大きく依存することがあり、不一致および奥行きバジェットの制御は、いくつかの場合には、例えば、シーンのシューティング中よりも後で有利であることがあるが、例えば、産生／フロントエンドにおいて固定されたパラメータにより困難であることもある。
多くのＤＩＢＲシステムでは、受信側で、仮想視点生成８０２は、３Ｄワーピング８０４段階と、穴充填８０６段階からなる（図８の仮想視点生成ブロック８０２を参照されたい）。３Ｄワーピング８０４は、視聴者の２つの眼点から見られる、テクスチャ化された奥行きマップへの２つの仮想ビューを形成するために使用される。
図９は、ソースカメラとターゲットカメラを変化させる場合にディスオクルージョンの外観を示す例示的なシナリオを図解する概略的な平面図である。多くの場合、対応する斜視的変化は、遮蔽物体の後ろのビューの部分を明らかにする。図９の概略ピクチャ９００並びに図１０Ａおよび図１０Ｂの例によって図解されるように、ディスオクルージョン（すなわちディスオクルージョン領域９０２）は、捉えられたテクスチャまたは奥行きが、それらのエリアから情報を含まないので、各新しい斜視的画像内の間隙または穴９０４として見えることがある。図９では、ソースカメラ９１０およびターゲットカメラ９１２に対する視点線並びにそれぞれのソース画像９０６およびターゲット画像９０８によって図示されるようにソースからターゲットに視点を変化させる場合、近い物体９１４および遠い物体９１６に関連するディスオクルージョンが生じさせられることがある。
図１０Ａおよび図１０Ｂは、穴充填の前および後の例示的な３Ｄワーピング画像を示すイラストである。図１０Ａおよび図１０Ｂは、３Ｄワーピング画像の例を示す。例は、左眼画像のみを示す。右眼画像は、同じ手段で形成され、類似の欠陥を有するが、それは物体の右側である。図１０Ａおよび図１０Ｂは、３Ｄワーピングによって生じさせられるディスオクルージョンの一例を示す。元のモノスコープ（単眼的）画像１０００は左側にあり、３Ｄワーピング画像１０５０の詳細は右側にある（本出願とともに黒および白の線画の使用により黒い線として左側画像１０００上に示される余白穴１００２を充填するための線形補間ベースの穴充填１０５２）。いくつかの実施形態では、方法は、焦点面画像をシフトすることによって引き起こされるギャップを扱うために焦点面画像を処理することを含んでよい。いくつかの実施形態は、そのような間隙を取り扱うために（例えば、１つまたは複数の焦点面画像をシフトすることによって引き起こされる画像不一致を取り扱うために）、１つまたは複数の焦点面画像をフィルタリングすることがある。図１０Ａおよび図１０Ｂは、提示（非特許文献４による）のスライド１４から改変された線画バージョンである。
穴充填では、様々な画像および奥行きマップフィルタリングおよび修復アルゴリズムは、穴または他の形のディスオクルージョンを充填するために使用されることがある。オクルージョンのタイプおよび数はコンテンツに大きく依存し、歪みおよびそれらの可視性もコンテンツに大きく依存する。３Ｄワーピングは、コンピュータグラフィックスアルゴリズムによって実行されることがある。これらのアルゴリズムの複雑さ、速度、および結果は、例えば斜視図およびカメラモデルを使用することに依存することとは異なる。シフトセンサセットアップのための数学的公式化の例は、非特許文献５に示されている。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、３Ｄワーピングおよび穴充填のための以前の方法とは異なる、仮想視点生成（ＤＩＢＲ）に使用される。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、例えば、いくつかの以前のシステムよりも簡単に後処理として不一致および対応する立体的奥行きバジェットを調整することを可能にし得る。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、例えばいくつかの以前のデバイスよりも容易に（多くの以前のデバイスは水平線視聴のみをサポートする）、例えば恣意的な視聴方位での（例えば、頭部傾きなどの）、立体視聴をサポートすることを可能にし得る。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、例えば、（例えば、平行移動および／または軸方向）運動視差をサポートするための仮想視点のより容易な形成を可能にする。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、いくつかの以前のＤＩＢＲシステムよりも分散され、見えにくい歪みを有することがある。
立体的３Ｄ（Ｓ３Ｄ）
立体的表示の使用は、３Ｄ情報を示す１つの手段である（立体的３ＤすなわちＳ３Ｄと呼ばれることがある）。立体的視聴は、小さい距離（例えば、立体ベースライン）隔てられている、２つのカメラによって平行なビュー−立体ペア−を捉える。捕捉セットアップは、人間の２つの眼による両眼画像知覚を模倣する。
立体的表示の使用は、３Ｄ情報を示す１つの手段である（立体的３ＤすなわちＳ３Ｄと呼ばれることがある）。立体的視聴は、小さい距離（例えば、立体ベースライン）隔てられている、２つのカメラによって平行なビュー−立体ペア−を捉える。捕捉セットアップは、人間の２つの眼による両眼画像知覚を模倣する。
近年、立体的システムは、３Ｄ映画、３ＤＴＶ並びに拡張現実アプリケーションおよび仮想現実アプリケーション（ＡＲおよびＶＲ）において復活を遂げつつある。多くのＡＲ／ＶＲシステムの場合、ウェアラブルニアアイディスプレイ（またはメガネ）が使用される。
実世界空間では、人間の眼は、異なる距離または奥行きに焦点を合わせ、調節することによって、自由にスキャンし、情報を拾い集めることができる。視聴するとき、眼の輻輳（収束）は、平行な方向を見ること（例えば、無限大離れた距離にある物体）と、交差方向を見ること（例えば、眼に近い物体）で異なる。一般に、収束と調節は多くの場合、非常に強く結合されているため、ほとんどの場合、本来、２つの眼の調節／焦点および収束点は同じ３Ｄ点で合う。
多くの以前の立体的視聴システムでは、眼は、同じ画像（または表示）面に焦点が合わされるが、人間視覚系（ＨＶＳ）および脳は、画像の不一致（例えば、２つの２Ｄ投影内の対応する画素の小さい距離）を検出することによって、３Ｄ知覚を形成する。
図１１Ａ〜図１１Ｃは、多くの立体的視聴システムにおける例示的な輻輳調節矛盾（ＶＡＣ）を図解する概略斜視図である。図１１Ａから図１１Ｃは、多くの立体的視聴システムにおける輻輳調節矛盾（ＶＡＣ）を示す。図１１Ａ〜図１１Ｃは、非特許文献６に基づく。図１１Ａは、輻輳点１１０２が調節点１１０２と同じである（これは、裸眼で視聴するときは典型的であり得る）立体的視聴を示す。図１１Ｂおよび図１１Ｃは、立体的表示をもつ視聴を示す。図１１Ｂおよび図１１Ｃは、輻輳点１１３２、１１６２および調節点１１３４、１１６４が異なり、このことが輻輳調節矛盾（ＶＡＣ）を引き起こすような視聴を示す。図１１Ａは、視聴者１１１０に対する焦点距離１１０８に等しい輻輳距離１１０６をもつ実世界環境１１００内での自然な視聴を示す。図１１Ｂは、視聴者１１４０に対して焦点距離１１３８よりも短い輻輳距離１１３６をもつ、Ｓ３Ｄディスプレイ上の交差した立体ビュー１１３０を示す。図１１Ｃは、視聴者１１７０に対して焦点距離１１６８よりも長い輻輳距離１１６６をもつ、Ｓ３Ｄディスプレイ上の交差しない立体ビュー１１６０を示す。ＶＡＣは、視覚的歪みおよび他のタイプの不快感を引き起こすことが知られているが、立体映像は依然として、その設備および費用対効果によりニアアイディスプレイに一般に使用されている。
多焦点面（ＭＦＰ）を使用した３Ｄディスプレイ
多焦点面（ＭＦＰ）システムの場合、視聴者は、異なる物体および奥行きに焦点を合わせることができ、これは、立体的表示に典型的なＶＡＣを回避する。自然な焦点面画像または仮想焦点面画像のスタックが、異なる奥行きでレンダリングされる。観察されている焦点面は、焦点が合わされて見られ、観察されていない他の焦点面は、人間視覚系によってぼやけさせられる。
多焦点面（ＭＦＰ）システムの場合、視聴者は、異なる物体および奥行きに焦点を合わせることができ、これは、立体的表示に典型的なＶＡＣを回避する。自然な焦点面画像または仮想焦点面画像のスタックが、異なる奥行きでレンダリングされる。観察されている焦点面は、焦点が合わされて見られ、観察されていない他の焦点面は、人間視覚系によってぼやけさせられる。
ＭＦＰディスプレイは、視聴者の視軸に沿った層から３Ｄシーンを構成する異なる焦点面のスタックを示す。視聴者は、異なる奥行きおよび空間的角度における視聴者の眼点に見える焦点面のそれらの画素を投影することによって、３Ｄビューが提供される。
多焦点面は主に、眼点からの視聴方向に対して相補的である（追加的でない）。しかしながら、追加的効果は、異なる焦点面から編集されたビューを見たとき、さもなければ何度も知覚される量子化ステップおよび輪郭描画（contouring）を除去することがある。
多焦点面は、例えば、２Ｄ表示のスタックを空間的に多重化すること、または対応する多焦点画像フレームの可視部を空間的にレンダリングしながら、高速可変焦点要素（ＶＦＥ）によって単一の２Ｄ表示の焦点距離を順次−時分割される手段で−切り換えることのどちらかによって、表示され得る。
図１２は、いくつかの実施形態による例示的な多焦点面（ＭＦＰ）ニアアイディスプレイを図解する概略平面図である。図１２は、多焦点面（ＭＦＰ）ニアアイディスプレイの概略図１２００を示す。仮想焦点面１２０６の表示スタック１２０８内の各画像１２０２、１２０４は、異なる奥行きのところにレンダリングされ、視聴者の眼１２１０、１２１２は、接眼部１２１４、１２１６を介して観察されていないそれらの焦点面をぼやけさせる。論文（非特許文献７参照）は、外部ディスプレイ上のコンテンツを視聴することについて説明する。非特許文献７は、物理的プロトタイプによって観察される２つの特別に形成された焦点面および結果を視聴したとき３Ｄで知覚することという現象について説明している。この論文は、ＭＦＰ表示の特定のケースについて説明する。
より大きい数の焦点面は、ＭＦＰ表示のより良い精度を有し得るが、困難な実施を有することもある。ＭＦＰ表示の場合、焦点面の実現可能な数は小さい数（４から６など）であることがあり、これは、達成される品質を限定し得る。論文（非特許文献８）は、焦点面の数に関する情報を与える。
図１３は、いくつかの実施形態による、近焦点画像面、中間焦点画像面、および遠焦点画像面の例示的な視聴を図解する概略平面図である。図１３は、プロトタイプのための左眼と右眼に対するビューラインの平面概略図である（非特許文献９に記載されている）。図１３は、３Ｄ知覚を捉えるために複数のＭＦＰ１３０２、１３０４、１３０６を使用する平面概略図１３００（非特許文献９から改変され、これに説明されている例示的な数値を使用している）を示す。図１３の場合、各眼１３０８、１３１０は、わずかに異なる視点から焦点面１３０２、１３０４、１３０６を見て、３Ｄ知覚に関する不一致を作成する。図１３の例は、視聴者の眼１３０８、１３１０から５３．６ｃｍ（１．８７Ｄ）の距離のところにある物体の遠画像面１３０２を、視聴者の眼１３０８、１３１０から３９．４ｃｍ（２．５４Ｄ）の距離のところにある物体の中間画像面１３０４を、視聴者の眼１３０８から３１．１ｃｍ（３．２１Ｄ）の距離のところにある物体の近画像面１３０６を示す。図１３の例の場合、±４．４°の場合、垂直方向視野。
焦点面からの３Ｄ知覚は、厳密にそれらの面上にある平坦な物体にとって適切である。奥行きブレンドを使用することによって、不一致が焦点面の間に作成され、面間の物体のための連続的で現実に近い奥行き知覚を作成する。ＭＦＰレンダリングにおける奥行きブレンドおよび不一致の知覚に関するさらなる詳細は、以下で与えられる。
以前のＭＦＰプロトタイプでは、焦点面は、視聴者から異なる距離のところにある外部ディスプレイ上で示されていた。ニアアイディスプレイ上でＭＦＰを示すとき（図１２など）、２つのＭＦＰスタックが形成され、左眼と右眼によって別個に見らえる。
図１４は、観察者によって視聴される例示的な焦点画像面を図解する概略図である。そのバージョンは非特許文献７に含まれる図１４は、観察者１４１０によって視聴される２つの画像面１４０６、１４０８の上面図１４００および正面図１４０２、１４０４と、どのようにして面が観察者１４１２によって３Ｄ画像として知覚されるかについての側面図１４１４を示す。非特許文献７では、２つの焦点面１４０６、１４０８が形成され、異なる距離のところに置かれ、２つの眼点から視聴される。このセットアップは、２つの眼点から見られる２つの焦点面の横変位によって生じさせられる不一致および３Ｄ知覚を作成する。変位は、物体縁における特定の画素値分布を生じさせ、脳が不一致として、および奥行き変動として、それぞれ解釈する。図１４は、シーンから形成された２つの重複する焦点面を視聴することによる３Ｄ画像の知覚を示す。２つの眼は、わずかに異なる角度から焦点面を見て、このことが、焦点面間の合成的な立体不一致を作成する。
図１５Ａ〜図１５Ｃは、四角の例示的な画像のための例示的な前方焦点面および後方焦点面を図解する概略図である。そのバージョンが非特許文献７に含まれている図１５Ａ〜図１５Ｃは、物体の縁に作成される合成的立体不一致を示す。非特許文献７では、合成的立体不一致が、図１５Ａ〜図１５Ｃに示されるように四角１５０４、１５０６の縁に作成される。非特許文献７では、２つの焦点面によってなる例示的なビュー１５００（図１４に示されるものなど）は、左眼点１５４４からの左立体的画像ペア１５３２、１５３６および右眼点１５４６からの右立体的画像ペア１５３４、１５３８をプロトタイプディスプレイ（図１６Ａ〜図１６Ｂに示される）に捉えることによって、観察者１５０２によって視覚化される。図１５Ｂは、シーンの斜視図１５３０である。網膜画像１５４０は、各網膜画像内で見られる共通領域１５４２を有する。図１５Ｃの平面概略図１５６０は、左眼点１５６２および右眼点１５６４から知覚される画像輝度分布を示す。これらの輝度分布の不一致（横シフトを参照されたい）が、奥行きの知覚を与える。
図１６Ａ〜図１６Ｂは、右眼画像および左眼画像に対して表示される例示的な焦点面を図解する概略正面図である。図１６Ａ〜図１６Ｂ（それらのバージョンは非特許文献７からのものである）は、２つの焦点面によってなる図１４のビューの交差した眼ステレオグラムを示す。図１６Ａは右眼画像１６００を示し、図１６Ｂは左眼画像１６５０を示す。
非特許文献７では、焦点面のための輝度分布は、画素の距離（奥行き座標）およびその補足物に比例する２つの線形重み付け関数によって画像の画素（シーンの捉えられた投影）を重み付けすることによって、コンピュータ的に達成される。対応して、焦点面の形成をサポートする実現可能な画像捕捉フォーマットは、テクスチャプラス奥行きである。非特許文献７は、２つの眼点から見られる、２つの焦点面を用いた奥行き融合またはブレンド影響について説明する。
不一致は、奥行き知覚を示すために使用されることがある。例えば、２つの焦点面が平坦な物体である場合、より近い物体は、２つの眼点から見られるように、より遠いものに関連してわずかにシフトされる。非特許文献７は、２つの焦点面の間の物体が、両極端の間にある位置において知覚されることを述べている。この現象は、２つの焦点面コンテンツを形成するために使用される奥行き重み付け（または奥行きブレンド）によって引き起こされる。奥行きブレンドは、図１５Ａ〜図１５Ｃにおいて図解されるように見かけ上の縁ロケーションをシフトし、２つの焦点面間の合成だが現実的な不一致および奥行き知覚を作成する。
図１７は、奥行きベースの光度重み付け関数を用いた２つの焦点面の例示的な視聴を図解する概略平面図である。図１７は、１つの眼点１７０２から見られる２つの焦点面１７０４、１７０６の奥行き融合の原理を示す平面概略図１７００である。非特許文献１０および非特許文献１１は、どのようにして奥行きブレンド影響が、１つの眼のみによって単眼的に視聴される２つ以上の焦点面と協働すると通知されるかについて説明する。図１７は、非特許文献１１から改変されたものである。非特許文献１１は、式１における２つの焦点面上の２つの重複した画素の知覚される輝度について説明する。
Ｌ0＝Ｌ1（ｚ）＋Ｌ2（ｚ）＝ｗ1（ｚ）Ｌ0＋ｗ2（ｚ）Ｌ0 式１
ここで、ｗ1およびｗ2は、奥行き重み付けされた融合関数である。融合画素の知覚される奥行き
Ｌ0＝Ｌ1（ｚ）＋Ｌ2（ｚ）＝ｗ1（ｚ）Ｌ0＋ｗ2（ｚ）Ｌ0 式１
ここで、ｗ1およびｗ2は、奥行き重み付けされた融合関数である。融合画素の知覚される奥行き
は、式２における２つの焦点面１７０４、１７０６の奥行きｚ1、ｚ2の重み付け和と考えられ得る。
２つ以上のＭＦＰを単眼的に視聴する場合、現象は、当然、非特許文献７によって説明されたように、縁をシフトして不一致（および奥行き知覚）を変化させようとしていないが、非特許文献１０によって説明されるように、隣接する焦点面間の移行部のまわりを視聴するときの知覚された網膜のぼやけ内の突然のステップを除去しようとしている。
非特許文献１０によって説明されるように、単眼奥行きブレンド影響は、３つ以上の焦点面をもつＭＦＰスタックとも協働することが通知されている。ＭＦＰ表示における奥行き融合３Ｄ（ＤＦＤ）現象を活用することは、ＭＦＰ方法の変形態（非特許文献１１において説明され、ＤＦＤ−ＭＦＰと表される）につながり、焦点面は、角度（およびｘ−ｙ）空間内で厳密には隔てられておらず、奥行き（ｚ）次元に沿って何らかの重複および追加的性質も有する。この現象は、奥行きベースのフィルタリングまたは奥行きブレンドと呼ばれることがある。
図１８は、いくつかの実施形態による、左眼と右眼による３つの焦点面の例示的な視聴を図解する概略平面図である。非特許文献７は、２つの焦点面のみからなるにもかかわらず、１つの（単眼）ＭＦＰスタックの両眼視聴をサポートする方法について説明する。このアイデアは、３つ以上の焦点面をもつＭＦＰ表示に一般化可能である。図１８は、非特許文献７の視聴セットアップを３つの焦点面表示のための立体的視聴セットアップ１８００に拡張し、３つのＭＦＰ１８０２、１８０４、１８０６の単眼的スタックが平均眼点１８０８から形成され、同じ焦点面１８０２、１８０４、１８０６は、左眼および右眼によってわずかに異なる視点１８１０、１８１２から見られる。非特許文献７の後、研究報告およびＭＦＰ表示は、問題の特定のデバイスが視聴者にＭＦＰの１つのセットを表示するのか２つのセットを表示するのかを正確に指定しないことがある（または、指定すると理解されない）。
いくつかの実施形態による、本明細書において説明される例では、ＭＦＰ表示の視聴状況は、図１８に示されるものであり、１つの単眼ＭＦＰスタックが、単眼奥行きプラステクスチャ入力を使用して形成され、２つの（立体的）視点がこのＭＦＰスタックに作成される。ニアアイディスプレイでは、しかしながら、１つの焦点面スタックのみに適切な視聴点を提供することは困難であり、光学部品および反射器を使用して眼にとって適切な横位置を可能にすることがある。さらに、この調整は当然、異なる眼離隔距離（ＭＦＰスタックへの異なる視聴角度）を有する人々によって異なる。実際には、立体画像を並べて図示する立体的ニアアイディスプレイと同様に、１つのＭＦＰスタックは、各眼に対して１つである、２つのスタックに分割される必要がある。図１２においてと同様に、図１８および図２７Ｂによって説明される視聴条件は、わずかに異なる視点からの、２つの平行なＭＦＰスタックと合致される必要がある。これらの２つのＭＦＰスタックの両方は、元の単眼的スタックとは異なり、それに対して、視聴点は眼の間にある（図１８を参照）。
ＭＦＰスタックを形成するための奥行きブレンド関数
捉えられるシーンは、いくつかの焦点面（例えば、様々な奥行きまたは調節レベルにおける画像層）に分解される。焦点面は、奥行きブレンド関数または重み付け関数を使用して形成され、この関数は、形成されている焦点面からのその距離（例えば、奥行き画像または奥行きマップによって示される距離）に応じて各画像画素に重みを乗算する。ブレンド関数の２つの性質は、１の分割と、奥行きブレンド性質である。１の分割については、焦点面輝度は、合計して元のシーンの輝度になる。奥行きブレンド性質については、同じ画素が複数の焦点面に寄与することがある。この性質は、ブレンド関数の連続性および重複の結果である。いくつかの実施形態による、本明細書において使用または参照される関数は例であり、非制限的である。
捉えられるシーンは、いくつかの焦点面（例えば、様々な奥行きまたは調節レベルにおける画像層）に分解される。焦点面は、奥行きブレンド関数または重み付け関数を使用して形成され、この関数は、形成されている焦点面からのその距離（例えば、奥行き画像または奥行きマップによって示される距離）に応じて各画像画素に重みを乗算する。ブレンド関数の２つの性質は、１の分割と、奥行きブレンド性質である。１の分割については、焦点面輝度は、合計して元のシーンの輝度になる。奥行きブレンド性質については、同じ画素が複数の焦点面に寄与することがある。この性質は、ブレンド関数の連続性および重複の結果である。いくつかの実施形態による、本明細書において使用または参照される関数は例であり、非制限的である。
ボックスフィルタリング（例えば、画素奥行きに基づいて画像情報をスライスすること）は、奥行きブレンドを理解するための良い開始点である。しかしながら、スライシング結果に対して、各画素は焦点面の１つのみに寄与するので、ボックスフィルタは、実際にはブレンド関数でない。ボックスフィルタを使用する場合、焦点面画像の近似が、各画像に対応する奥行きマップを狭い奥行き領域（スライス）にスライスし、対応する画素を各奥行き領域の中央の（平坦な）焦点面に投影することによって形成される。
焦点面のスタックを視聴する場合、構成されるビューは、視聴者の眼点から見える異なる焦点面に関する情報によって形成される。ボックスフィルタリングでは、奥行き領域へのスライシングは、ＭＦＰが、奥行き次元（ｚ次元）に沿って合計するのではなく、空間的な（ｘ−ｙ）方向に互いに完了することを伴う結果になる。対応して、ボックスフィルタによって生成される焦点面は、焦点面間の不一致（３Ｄの知覚）を作成せず、焦点面上の物体のみに対して作成する。
図１９は、いくつかの実施形態による、奥行きブレンド（重み付け）のないＭＦＰ表示のための奥行きの例示的な量子化を図解する概略平面図である。図１９によって図解されるように、ボックスフィルタの使用から生じると、滑らかな３Ｄ表面が奥行き次元において量子化される。図１９は、５つの焦点面１９０２、１９０４、１９０６、１９０８、１９１０によるビューについて説明するときの奥行きの量子化の概略的な例１９００を示す。矢印１９１２は、視聴方向を示す。
ボックスフィルタは、空間的な（ｘ−ｙ）次元および奥行き（ｚ−）次元において厳密な手段で画像情報を分離する。実際には、少数の焦点面のみが使用されるので、奥行き次元は大きく量子化され、このことが、３Ｄ形状および奥行きを提示する際の低い精度を招くことがある。
いくつかの実施形態では、焦点面画像の処理は、複数の焦点面画像のうちの１つまたは複数に対する奥行きブレンド重みを決定することを含んでよい。焦点面画像の処理は、奥行きブレンド重みを使用して焦点面画像を調整することも含んでよい。例えば、奥行き次元値は、奥行きブレンド重みが乗算されてよい。
奥行きベースのブレンドは、さもなければ人間の眼に見え得る、奥行き次元における量子化誤差を減少させるために使用されることがある。奥行きブレンドは、奥行きベースの関数を使用して、各焦点面を構築するために使用される画素に重み付けすることを意味する。１つの奥行きブレンド関数は、区分的線形の、鋸歯形ブレンド関数２０５０（図２０Ｂ）であるテントフィルタである。ボックスフィルタの場合、対応する関数２０００が図２０Ａに示されている。
図２０Ａおよび図２０Ｂは、いくつかの実施形態による重み対奥行きの例を図解するグラフであり、４つのＭＦＰに対する奥行きブレンド関数の概略図を示す。図２０Ａは、ブレンドのない奥行きスライシング（ボックスフィルタ）を示し、図２０Ｂは、線形（テント）フィルタを示す。いくつかの実施形態では、奥行き値の範囲は０〜２５５の間である（図２０Ａおよび図２０Ｂのｚminおよびｚmaxを参照されたい）。
図２１Ａは、いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。図２１Ｂは、例示的なテスト画像を示すイラストである。図２１Ｃは、図２１Ｂの場合の画素距離を図解する例示的な奥行きマップである。図２１Ｄ〜図２１Ｆは、いくつかの実施形態による、図２１Ａの奥行き重みを図２１Ｂのテスト画像および図２１Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。図２１Ｂおよび図２２Ｂは、ウェブページ（非特許文献１２）上で見出される画像に基づいており、図２１Ｄから図２１Ｆは、その画像の修正バージョンである。図２１Ｂおよび図２１Ｃに示される例示的な未処理のテスト画像およびその奥行きマップは、対応して、本開示全体を通じて何回も解説的な目的のために使用される、花の例示的な一般的なテスト画像にすぎない。多くのケースでは、いくつかの実施形態による、例えば、テスト画像に対して行われる例示的なプロセスからの、例示的なテスト画像の修正バージョンが提示される。いくつかの実施形態では、多項式ブレンド関数が、奥行き範囲全体にわたって拡張する。図２１Ａは、３つの多項式ブレンド関数２１００、２１０２、２１０４を示す。図２１Ａおよび図２１Ｂ〜図２１Ｆは、３つの多項式ブレンド関数２１００、２１０２、２１０４（図２１Ａ）と、テスト画像２１１０（図２１Ｂ）およびその対応する奥行きマップ２１２０（図２１Ｃ）に対する対応する焦点面（図２１Ｄ〜図２１Ｆ）の例を示す。
いくつかの実施形態では、滑らかな細い線１９１４によって図１９に示されるものに類似していることがある、奥行きマップ（例えば、図２１Ｃ）が、生成されることがある。奥行きマップは、入力画像を、例えば視聴者からの小さい焦点面距離、中間の焦点面距離、および大きい焦点面距離に分離するために使用される。奥行きブレンド関数（例えば、図２１Ａ）は、特定の焦点面距離に対する焦点面画像を生成するために使用される。このプロセスは、各焦点面画像（例えば、図２１Ｄから図２１Ｆ）に対して繰り返されてよい。いくつかの実施形態では、奥行きマップ（図２１Ｃを参照されたい）は、焦点からの奥行き、１つまたは複数のＲＧＢ画像からの奥行き、およびＲＧＢ−Ｄセンサ（構造光またはＴｏＦを使用する）からの奥行きを含む、いくつかの方法によって生成され得る。奥行き画像を獲得する様々な既知の手段があることが理解されよう。
図２２Ａは、いくつかの実施形態による重み対奥行きの例示的なブレンド関数を図解するグラフである。図２２Ｂは、例示的なテスト画像を示すイラストである。図２２Ｃは、図２２Ｂの場合の画素距離を図解する例示的な奥行きマップである。図２２Ｄ〜図２２Ｆは、いくつかの実施形態による、図２２Ａの奥行き重みを図２２Ｂのテスト画像および図２２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラストである。図２２Ｂおよび図２２Ｃのその例示的な奥行きマップは、ウェブページ（非特許文献１２）上で見出される画像に由来し、図２２Ｄから図２２Ｆは、その画像の修正バージョンである。図２２Ａは、３つの正弦曲線ブレンド関数に対する重みを示す。図２２Ａは、テストパターン画像２２１０（図２２Ｂ）およびその奥行きマップ２２２０（図２２Ｃ）に対する３つのＭＦＰ２２３０、２２４０、２２５０（図２２Ｄ〜図２２Ｆ）を生じさせる３つの正弦曲線関数２２００、２２０２、２２０４の例を示す。ブレンドフィルタの他の変形形態は、非特許文献１１によって提案されている。
奥行きブレンドまたは融合は、非特許文献７によって説明されるように、焦点面の見かけ上の数を、したがって奥行き精度をも増加させる手段である。非特許文献１０は、合成不一致知見を、３つ以上の焦点面をもつケースに拡張し、奥行き面の有効数を、実際的なＭＦＰ表示実施によって可能にされるそれらの数個から増加させた。非特許文献１０は、１つの眼を用いて単眼ＭＦＰスタックを視聴するときの奥行きブレンドの利益をさらに報告した。非特許文献１０によれば、奥行きブレンドは、疎な焦点面間の移行部において１つの眼によって知覚される焦点距離の段階的な変化をフィルタリングする。
２つの焦点面間の合成不一致（奥行き）の作成および知覚は、非特許文献７で説明されている。３つ以上の焦点面間の奥行き知覚の作成は、非特許文献１０および非特許文献９で説明されている。焦点面間の段階的な調節変化のフィルタリングは、非特許文献１０で説明されている。非特許文献１１では、奥行きブレンド関数に関する変動について説明している。
ウェアラブルメガネタイプのニアアイディスプレイ（ＮＥＤ）は、仮想現実およびゲームで普及しており、最近は拡張現実でも普及してきている。表示要素として携帯電話を使用するメガネは、仮想映像またはカメラで捉えられた映像を視聴するための普及した低費用デバイスの一例である。多くのニアアイディスプレイ（ＮＥＤ）は、立体的画像ペアのシーケンスを提示する。立体的レンダリングは、立体的３Ｄ（Ｓ３Ｄ）ＴＶのためのものを含む外部ディスプレイともに使用されることがある。
立体的映像（立体的画像ペアのシーケンス）を捕捉することは、様々な制限を誘発することがある。立体的コンテンツを捕捉および送信することは、例えば、コンテンツ産生時と受信機でコンテンツをレンダリングまたは視聴するときの両方で、不一致および他の重要なＳ３Ｄパラメータを後処理として調整することを防止することがある。
捕捉および送信における映像プラス奥行き（奥行きプラステクスチャ）フォーマットは、奥行き画像ベースのレンダリング（ＤＩＢＲ）において使用される。多くの研究が、当該分野で、受信機におけるレンダリング品質を最適化すること、より具体的には、２つの仮想視点から立体的ビューを生成するときＤＩＢＲシステムにおいて誘発されるディスオクルージョンを取り除くことに集中して、行われている。
ＭＦＰ表示は、奥行きプラステクスチャフォーマットを使用して形成され得る、複数の焦点面の３Ｄ知覚に基づく。多くのＭＦＰは、立体的表示に対して発生し得るＶＡＣを回避することができる。技術的な理由のために、焦点面の最大数は一般に、ＭＦＰ表示内で数個のみに限定される。数個の焦点面を使用する場合、レンダリング品質は、奥行きブレンドによって改善し得るが、焦点面の数は依然として、ＭＦＰレンダリング品質の限定を提示することがある。
ＤＩＢＲとＭＦＰの両方のための多くの以前のシステムは、変化する立体的不一致または運動視差のどちらかに対する視点の調整を必要とする、ユーザ動きベースの相互作用のサポートを欠いている。多くのＤＩＢＲベースのシステムの場合、１つの理由は、仮想視点生成において使用される方法の演算の複雑さである（例えば、３Ｄワーピングおよび穴充填）。
いくつかの実施形態は、画像捕捉および送信において奥行きプラステクスチャコンテンツフォーマットを使用する。視点生成のいくつかの実施形態は、以前の奥行き画像ベースのレンダリング（ＤＩＢＲ）方法において使用される３Ｄワーピングおよび穴充填方法とは異なる。いくつかの実施形態では、多焦点面（ＭＦＰ）は、奥行きおよびテクスチャデータを使用して受信機内で形成される。性質のセットおよび運動視差をサポートすることをもつ立体的コンテンツは、任意のベースライン方位において、複数の受信機に対して個々に、形成されたＭＦＰを使用してリアルタイムで生じさせられる。
例示的なプロセスおよび構造
ＭＦＰベースの方法は、ＤＩＢＲベースのシステムのための立体的視点を生成する。例示的な方法は、ユーザが自分の頭部傾きおよび視聴位置を変化させることを可能にするために、仮想視点を生成する。加えて、ユーザは、立体的不一致を作成するための例示的な方法によって可能にされる、自然な運動視差、および立体視の個人的な調整が提供される。ユーザの姿勢および動きに適合する不一致を生じさせるために、ユーザの動きは追跡される（例えば、１つまたは複数のヘッドマウントセンサまたは外部センサによって）。
ＭＦＰベースの方法は、ＤＩＢＲベースのシステムのための立体的視点を生成する。例示的な方法は、ユーザが自分の頭部傾きおよび視聴位置を変化させることを可能にするために、仮想視点を生成する。加えて、ユーザは、立体的不一致を作成するための例示的な方法によって可能にされる、自然な運動視差、および立体視の個人的な調整が提供される。ユーザの姿勢および動きに適合する不一致を生じさせるために、ユーザの動きは追跡される（例えば、１つまたは複数のヘッドマウントセンサまたは外部センサによって）。
いくつかの実施形態は、ウェアラブルディスプレイと外部ディスプレイの両方の立体的コンテンツおよび不一致ベースの相互作用を生じさせることを可能にする。いくつかの実施形態による、本明細書において説明される相互作用の例示的な実装形態および手段も、ＭＦＰ表示とともに使用され得る。いくつかの実施形態は、捕捉および送信、並びに受信機内でその中に形成される多焦点面（ＭＦＰ）において、奥行きプラステクスチャタイプのコンテンツフォーマットを使用する。いくつかの実施形態では、一回受信されたデータを使用して、性質のセットをもつ立体的コンテンツは、任意のベースライン方位において、複数のローカル視聴者に対して個々に、リアルタイムで形成され得る。ＭＦＰの形成はいくつかの手段でなされてよく、その例は、本明細書においていくつかの実施形態により開示される。
図２３Ａ〜図２３Ｃは、いくつかの実施形態による、立体画像不一致のための例示的なシナリオを図解する概略正面図である。図２３Ａ〜図２３Ｃは、ユーザが立体的コンテンツを見る３つの（両眼）視点を示す。図２３Ａは、横たわりながら奥行き影響を見ることを使用することを示す例２３００である。図２３Ｂは、より広く調整された奥行き影響を示す例２３３０である。図２３Ｃは、視点がユーザの動きに追従する例２３６０である。ユーザは、異なる方位および変化する量の立体的不一致からコンテンツを見る。コンテンツは、例えば、ウェアラブルディスプレイまたは外部ディスプレイのどちらかを使用して見られてよい。いくつかの実施形態では、３Ｄ知覚は、ユーザが２つの眼視点から複数の焦点面の単眼スタックを見ることとの近似された（例えば、仮想）不一致に基づく。
多くの立体３６０°映像システムは、方位変化のみに反応し、ユーザ視差動きには反応しない。多くの以前のシステムは、方位（純粋な方位変化）を使用して、３６０°映像を制御する。頭部回転も、眼位置の平行移動を与える。ＶＡＣを回避することは、例えば、固定位置からの快適な立体視聴を提供し得る。
いくつかの実施形態では、立体的画像を形成するための仮想視点生成は、ＭＦＰをシフトおよび追加することによって行われる。立体的表示は、ニアアイＳ３Ｄスクリーンおよび外部Ｓ３Ｄスクリーンを含めて、結果を視聴するために使用されることがある。時分割されたＳ３Ｄ表示を使用する場合、ユーザによって装着されるシャッターメガネは、運動視差影響をサポートするために、ユーザ動きを追跡するためのセンサを装備することがある。立体表示と関連付けられたＶＡＣを回避するために、立体的表示は、例えば、自然な調節をサポートする表示によって置き換えられてもよい。
いくつかの実施形態では、方法は、３次元映像コンテンツを受信することと、３次元映像コンテンツを使用する多焦点面の数および位置に対して１つまたは複数の多焦点面（ＭＦＰ）画像を算出することと、運動追跡センサの運動追跡センサ示度を測定することと、運動追跡センサ示度から視聴者方位信号を生成することと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用してシャッターメガネディスプレイの各ビューに対して１つまたは複数の不一致画像（例えば、不一致ベクトルによって示される量分だけ歪曲され、投影され、視聴点に合計されるＭＦＰスタック）を算出することと、１つまたは複数の不一致画像をシャッターメガネディスプレイにレンダリングすることとを含んでよい。
いくつかの実施形態では、デバイスは、１つまたは複数の運動追跡センサと、プロセッサと、このプロセッサ上で実行されるとき、３次元映像コンテンツを受信するプロセスと、３次元映像コンテンツを使用する多焦点面の数および位置に対して１つまたは複数の多焦点面（ＭＦＰ）画像を算出するプロセスと、運動追跡センサ（例えば、１つまたは複数の運動追跡センサ）の運動追跡センサ示度を測定するプロセスと、運動追跡センサ示度から視聴者方位信号を生成するプロセスと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用してシャッターメガネディスプレイの各ビューに対する１つまたは複数の不一致画像を算出するプロセスと、１つまたは複数の不一致画像をシャッターメガネディスプレイにレンダリングするプロセスとを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを備えてよい。例えば、いくつかの実施形態では、実世界環境に対する視聴者の位置の運動追跡センサ示度を測定することは、例えば、物理的な静止点に対する視聴者の位置の運動追跡センサ示度を測定することを含むことがある。
ユーザ動きによる不一致の変更
図２４Ａ〜図２４Ｃは、いくつかの実施形態による、視聴者方位の方向をもつ画像不一致のための例示的なシナリオを図解する概略正面図である。立体的不一致調整は、ユーザ動きおよび動き関連相互作用により行われ得る。図２４Ａ〜図２４Ｃは、いくつかの実施形態によってサポートされるユーザ動きによる不一致関連の視点変化を示す。図２４Ａ〜図２４Ｃによって図解されるように、合成的不一致の量（例えば、長さ、高さ、または幅）２４００（図２４Ａ）、方位（例えば、方向）２４３０（図２４Ｂ）、および位置（例えば、横平行移動）２４６０（運動視差）（図２４Ｃ）は、調整されてもよいし、例えば、これらのユーザ動きの任意の組み合わせであってもよい。不一致（頭部傾きおよび横平行移動の量）は、ユーザのアイウェアからの追跡データに基づいて調整されてもよいし、その手動入力（例えば、不一致の量の個人的な好みを示す）に基づいて調整されてもよい。図２４Ａ〜図２４Ｃにおいて図解される３つの不一致関連相互作用は、例えば、任意の順序で発生してよく、連続的なシーケンスを形成してよい。
図２４Ａ〜図２４Ｃは、いくつかの実施形態による、視聴者方位の方向をもつ画像不一致のための例示的なシナリオを図解する概略正面図である。立体的不一致調整は、ユーザ動きおよび動き関連相互作用により行われ得る。図２４Ａ〜図２４Ｃは、いくつかの実施形態によってサポートされるユーザ動きによる不一致関連の視点変化を示す。図２４Ａ〜図２４Ｃによって図解されるように、合成的不一致の量（例えば、長さ、高さ、または幅）２４００（図２４Ａ）、方位（例えば、方向）２４３０（図２４Ｂ）、および位置（例えば、横平行移動）２４６０（運動視差）（図２４Ｃ）は、調整されてもよいし、例えば、これらのユーザ動きの任意の組み合わせであってもよい。不一致（頭部傾きおよび横平行移動の量）は、ユーザのアイウェアからの追跡データに基づいて調整されてもよいし、その手動入力（例えば、不一致の量の個人的な好みを示す）に基づいて調整されてもよい。図２４Ａ〜図２４Ｃにおいて図解される３つの不一致関連相互作用は、例えば、任意の順序で発生してよく、連続的なシーケンスを形成してよい。
図２４Ａ〜図２４Ｃは、いくつかの実施形態によって作成され、その量（例えば、長さ、高さ、または幅）、方位、および起点に対する位置（運動視差影響をサポートするための）が調整され得るバイポーラベクトル２４０２、２４０４、２４３２、２４３４、２４６２、２４６４を介して表現される不一致を図解する。古い不一致値は、破線矢印２４０２、２４３２、２４６２によって示され、新しい不一致値は、実線矢印２４０４、２４３４、２４６４によって示される。
（左眼および右眼のための）立体的画像ペアの不一致は、眼の間のベースラインに沿った、２つの反対方向を指す、ベクトルのタプル（「バイポーラベクトル」）によって提示されることがある。不一致の量は、２つのベクトルの差の大きさによって与えられる（図２４Ａ）。頭部傾きは、不一致ベクトルと水平線（または水平線と平行なベクトル）との間の角度によって示される（図２４Ｂ）。運動視差（例えば、瞬間的なシフトされた視点）は、２つのベクトルの非対称性によって表現されることがあり、視点は、それらの平均によって示される（図２４Ｃ）。
不一致の量は、不一致ベクトルをスケーリングする（スカラを乗算する）ことによって調整され、方向は、ベクトルを回転させることによって（または、例えば、回転の量に関する数字表現を修正することによって）調整され、平行移動は、ベクトルの平行シフトによって行われる。システム構成要素間（メガネとシステム端末との間の）で捉えられたユーザ動きを動きベクトルとして伝える代わりに、構成要素インタフェースが、捉えられたユーザ動きに基づいて不一致ベクトルを修正した後でそれらを送信することに基づいてよい。
いくつかの実施形態では、焦点面画像のシフトは、それぞれの焦点面画像のための不一致ベクトルをスケーリングすること（または、例えば、シフトによる不一致調整の量の数値表現を修正することによって）を含んでよい。例えば、スケーリングは、水平（または垂直）次元を広くする（または縮める）ように、図２４Ａに示されるように実行されることがある。いくつかの実施形態では、焦点面画像のシフトは、それぞれの焦点面画像を平行移動することを含んでよい。例えば、焦点面画像を平行移動することは、焦点面画像を回転させること、または固定された起点に対するオフセットの分だけ焦点面画像を水平に（または垂直に）移動させることを含んでよい。
図２５は、いくつかの実施形態による、左眼および右眼のシフトおよび投影されたＭＦＰを生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。開示される例示的な方法は、いくつかの実施形態によれば、ＤＩＢＲにおける仮想視点生成ステージの新しい例示的な実装形態である。ＤＩＢＲは、上記で図８（非特許文献３から改変された）に図示される仮想視点生成ステージに関して論じられた。図２５では、いくつかの実施形態による例示的なＤＩＢＲベースの実装形態のためのブロック図２５００が示されている。奥行きマップの前処理２５０６は、奥行きマップ２５０２に対するフィルタリング動作を含んでよい。１つの動作は、非特許文献１３において説明されるように、穴または最大の作成される不一致（例えば、視聴快適さのため）を減少させるために奥行きマップ２５０２を滑らかにすることである。
ＭＦＰの生成２５０８のためのいくつかの実施形態は、ブレンド関数を使用して、各ＭＦＰに対する重みマップ（再マッピングされた奥行きマップ）を生じさせ、捉えられた（テクスチャ２５０４）画像に形成された重みマップの各々を乗算することによってＭＦＰを形成することであることがある。いくつかの実施形態は、ＭＦＰをシフトおよび投影する２５１２前にＭＦＰを後処理する２５１０ことがある。いくつかの実施形態では、フィルタリングが、大きい視点変化または不一致に対してＭＦＰがシフトされる場合に穴を減少させるために使用されることがある。いくつかの実施形態では、ＭＦＰが、入力として受信されることがある。いくつかの実施形態では、ＭＦＰの後処理２５１０は、（例えば、再配信を介して）ＭＦＰを形成することを含むことがある。
いくつかの実施形態によるＤＩＢＲベースの方法は、３Ｄワーピング画像内のディスオクルージョンアーチファクトを減少させる、穴充填およびその他の修復方法を含んでよい。いくつかの開示される実施形態では、焦点面のシフトは、結果に類似した歪みを生じさせることがあり、同等の処理（例えば、奥行き次元または空間的な次元のどちらかにおける修復）が、ＭＦＰが奥行きブレンドによって形成された後で、それらに使用されることがある。ＭＦＰをシフトして立体的画像２５１６、２５１８に投影すること２５１２は、所望の立体的不一致（または奥行きバジェット）を満たすために使用されることがある。ＭＦＰのシフトは、恣意的な頭部傾き（ＮＥＤ内のＩＭＵ（慣性測定ユニット）または類似物からのデータ）をサポートするために（例えば、水平だけでなく）任意の選ばれたベースライン方位に沿って行われてよい２５１４。さらに、運動視差は、ユーザの頭部動きに基づいてサポートされてよい。
ＭＦＰの１つのセットを形成することが、様々なベースライン方位、不一致の量と、１つまたは複数のローカル視聴者のための合成的運動視差（例えば、偶然発生する（chancing）視点をもつステレオグラムのシリーズを図示することに基づいた）との両方に役立つことに留意されたい。一度導き出されたＭＦＰスタックは、全ての言及されたケースに役立ち得る。シフトの方向および量、並びに結果がレンダリングされるディスプレイ（または、例えば、人）は、変わる。
図２６は、いくつかの実施形態による、視聴者方位の３つのシナリオのための左眼および右眼のシフトおよび投影されたＭＦＰを生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。図２６は、生成されたＭＦＰスタックが、例えば、異なる不一致、方位、および運動視差をもついくつかのローカル視聴者２６０２、２６０４、２６０６に使用され得るプロセス２６００を示す。例えば、受信端末２６２８は、奥行きマップ２６３０を受信し、奥行きマップを前処理する２６２６ことがある。テクスチャ２６３２は、前処理された奥行きマップ出力を使用してＭＦＰを生成する２６２４ために受信端末２６２８によって受信されることがある。いくつかの実施形態は、ＭＦＰを後処理する２６２２ことがある。ＭＦＰは、各視聴者２６０２、２６０４、２６０６のための左ビューおよび右ビューのためにシフトおよび投影される２６１６、２６１８、２６２０ことがある。頭部ポーズおよび移動データ（ＩＭＵまたは類似物をもつＮＥＤ）２６０８、２６１０、２６１２は、マルチプレクサおよび無線アクセスポイント２６１４によって受信されることがある。動きデータは、ＭＦＰのシフトおよび投影２６１６、２６１８、２６２０において使用されることがある。
いくつかの実施形態は、いくつかの相互作用機能を用いて、サイトごとに複数の人に個々に役立つ。メガネから受信端末に動きデータを送る（図２６における「頭部ポーズおよび移動」ブロックを参照されたい）代わりに、いくつかの実施形態では、データは、動きデータから導き出されるまたは手動入力として（例えば、好ましい不一致を決めるために）与えられる不一致ベクトルであってよいことに留意されたい。
いくつかの実施形態は、単一のＭＦＰスタックがオフセット位置から視聴されるときＭＦＰ表示を使用して視覚的に自然な不一致を作成することによって、不一致調整を組み込む。いくつかの実施形態は、不一致が調整された画像を生じさせるために、視聴者からＴＶ／ＨＭＤレンダラへのフィードバックを通して不一致調整を組み込む。方位変化は、メガネベースのＴＶを用いておよび３６０°映像ＨＭＤクライアントを用いて扱われ得る。
いくつかの実施形態では、１つまたは複数の焦点面画像を方位付けることは、それぞれの焦点面画像をシフトすることを含んでよい。そのようなシフトは、例えば、図２６に示されるなどの、運動視差を扱うために実行されることがある。
焦点面からの立体ペアの形成
図２７Ａ〜図２７Ｄは、いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。ＭＦＰのスタックを形成することに加えて、立体的画像ペア（ステレオグラム）が焦点面から形成される。ＭＦＰの単眼スタック（図２７Ａ）は、視聴者の（平均）眼点２７０２から所望の距離のところに置かれ、２つの眼２７２２によって視聴される（図２７Ｂ）。
図２７Ａ〜図２７Ｄは、いくつかの実施形態による、異なる視聴者方位の下で視聴される例示的な焦点面を図解する概略平面図である。ＭＦＰのスタックを形成することに加えて、立体的画像ペア（ステレオグラム）が焦点面から形成される。ＭＦＰの単眼スタック（図２７Ａ）は、視聴者の（平均）眼点２７０２から所望の距離のところに置かれ、２つの眼２７２２によって視聴される（図２７Ｂ）。
図２７Ａは、奥行きブレンドによって形成される単眼ＭＦＰスタックの平面図イラスト２７００を示す。図２７Ｂは、２つの眼２７２２を用いてＭＦＰスタックを視聴するための平面図イラスト２７２０を示す。図２７Ｃは、左眼２７４２を用いて焦点面を視聴するための平面図イラスト２７４０を示し、そのために焦点面は右にシフトしたように見える。図２７Ｄは、右眼２７６２を用いて焦点面を視聴するための平面図イラスト２７６０を示し、そのために焦点面は左にシフトしたように見える。対応して、立体的（または立体的ＭＦＰ）視聴のために単眼ＭＦＰスタックから２つの（立体的）ＭＦＰスタックを合成することは、ある方向に、ある量分だけ、ＭＦＰをシフトすることによってなされ得る。ＭＦＰのシフトは、仮想視点変化に対するより複雑な変形の近似であってよい（ＤＩＢＲシステムにおける３Ｄワーピングを参照されたい）。
図２７Ｃおよび図２７Ｄでは、左眼および右眼はわずかに異なる視点からスタックを見る。図２７Ｃおよび図２７Ｄにおける焦点面の見かけ上の横シフトは、焦点面の距離に線形的に依存する。最も遠い面が両眼から同じ位置に見られる（眼から遠くに置かれる）場合、中間の面は「１単位」横にシフトされ、最も近い面は「２単位」横にシフトされる。
いくつかの実施形態では、横にシフトされた焦点面は、それらを各眼点に投影することによって消失（collapse）される。投影する場合、焦点面上の対応する画素は、奥行き軸に沿って合計されることがある。これは一般に、異なる立体不一致または視差をもつ２つの画像の立体的画像ペアをもたらすことがある。単眼的ＭＦＰスタックを用いて始まる場合、不一致は、やや人工的または合成であると解釈されることがある。
ＭＦＰを使用して形成されるステレオグラムの例
図２８Ａは、例示的なテスト画像を示すイラストである。図２８Ｂ〜図２８Ｄは、いくつかの実施形態による、図２８Ａのテスト画像を使用する例示的な重み付けされた焦点面画像を示すイラストである。図２８Ａは、ウェブページ（非特許文献１２）上で見出される画像に由来し、図２８Ｂから図２８Ｄは、その画像の修正バージョンである。いくつかの実施形態は、多項式ブレンド関数を使用して形成された３つの焦点面の例示的なセットを使用して図解され得る（例えば、図２１Ａ）。図２８Ｂ〜図２８Ｄは、多項式ブレンド関数を使用して３つのＭＦＰ２８１０、２８２０、２８３０に分解される例示的なテスト画像２８００（図２８Ａ）を示す。交差した眼ステレオグラムは、ＭＦＰスタックおよび立体ペアの品質を図解するために使用される。図２９Ａおよび図２９Ｂは、図２８Ｂ〜図２８Ｄに示されるＭＦＰ２８１０、２８２０、２８３０を使用して形成された（対応して、右眼および左眼のための）立体的画像ペア２９００、２９５０を示す。
図２８Ａは、例示的なテスト画像を示すイラストである。図２８Ｂ〜図２８Ｄは、いくつかの実施形態による、図２８Ａのテスト画像を使用する例示的な重み付けされた焦点面画像を示すイラストである。図２８Ａは、ウェブページ（非特許文献１２）上で見出される画像に由来し、図２８Ｂから図２８Ｄは、その画像の修正バージョンである。いくつかの実施形態は、多項式ブレンド関数を使用して形成された３つの焦点面の例示的なセットを使用して図解され得る（例えば、図２１Ａ）。図２８Ｂ〜図２８Ｄは、多項式ブレンド関数を使用して３つのＭＦＰ２８１０、２８２０、２８３０に分解される例示的なテスト画像２８００（図２８Ａ）を示す。交差した眼ステレオグラムは、ＭＦＰスタックおよび立体ペアの品質を図解するために使用される。図２９Ａおよび図２９Ｂは、図２８Ｂ〜図２８Ｄに示されるＭＦＰ２８１０、２８２０、２８３０を使用して形成された（対応して、右眼および左眼のための）立体的画像ペア２９００、２９５０を示す。
図２９Ａおよび図２９Ｂは、いくつかの実施形態による、図２８Ｂ〜図２８Ｄの焦点面画像を使用して形成された、対応して、例示的な右眼画像および左眼画像を示すイラストである。図２９Ａおよび図２９Ｂは、３つのＭＦＰを使用して形成された交差した眼ステレオグラムの例である。総不一致は、画像幅の２．７６％に相当する（図２８Ａの特定のテスト画像を用いて最大６画素シフトされたＭＦＰを参照されたい）。画素におけるシフトの量は、使用されるテスト画像の解像度に依存する。レンダリング精度が焦点面の数によって限定される多くのＭＦＰ表示とは異なり、いくつかの実施形態では、ＭＦＰの精度および数は、同様に限定されない。立体的画像のためのＭＦＰを形成、シフト、および合計することは、図２９Ａおよび図２９Ｂを形成するために使用される単なる３つの焦点面の例よりも大きい数の焦点面とともに実行されることがある。
立体的コンテンツを生じさせる際の焦点面の適用
立体的コンテンツを形成するのと同様に、異なる調節距離が、ゼロ視差設定（ＺＰＳ）のために選ばれてよい。実世界では、ＺＰＳ面は、無限遠である（視聴者の視点から遠く離れている）。そのようなセットアップでは、生じさせられた不一致は、最も遠い面の前にある（負の不一致と一般に解釈されるが、符号慣例が逆にされることがある）。多くのケースでは、様々な理由のために、ＺＰＳにより近い距離を使用することがより有益なことがある。より近い距離は、多くの立体的表示のためのスクリーンに使用される。
立体的コンテンツを形成するのと同様に、異なる調節距離が、ゼロ視差設定（ＺＰＳ）のために選ばれてよい。実世界では、ＺＰＳ面は、無限遠である（視聴者の視点から遠く離れている）。そのようなセットアップでは、生じさせられた不一致は、最も遠い面の前にある（負の不一致と一般に解釈されるが、符号慣例が逆にされることがある）。多くのケースでは、様々な理由のために、ＺＰＳにより近い距離を使用することがより有益なことがある。より近い距離は、多くの立体的表示のためのスクリーンに使用される。
図３０Ａ〜図３０Ｃは、いくつかの実施形態による、異なる眼離隔距離の下で視聴される例示的な焦点面を図解する概略平面図である。図３０Ａ〜図３０Ｃは、立体ベースラインの長さ（例えば、眼離隔距離または瞳孔間距離（ＩＰＤ））３００２、３０３２、３０６２を調整することが、重複する／下に重なる焦点面の縁影響を減少させ得ることを図解する、３つの平面概略図３０００、３０３０、３０６０を示す。図３０Ａ〜図３０Ｃでは、総不一致（例えば、立体的奥行きの量、およびＭＦＰのロケーション）およびレンダリング距離は、同じままである。図３０Ａ〜図３０Ｃでは、これは、対応して減少された瞳孔間距離（ＩＰＤ）／眼間距離（ＩＯＤ）をもつ３人の異なる視聴者に当てはまる。実際には、図３０Ａ〜図３０Ｃを参照すると、ＩＯＤの個々の変形形態は、後部（例えば、図３０Ａ）、中間（例えば、図３０Ｂ）、または前方（例えば、図３０Ｃ）に対するＺＰＳ−ロケーションを選択することと同様に知覚される奥行きに影響することがある。
図３０Ａ〜図３０Ｃにおいて図解される眼間調整は、コンテンツのための収束点／焦点面（例えば、ゼロ視差設定すなわちＺＰＳとも呼ばれる）を選ぶことに相当する。ＺＰＳにおける焦点面は、負の（近い）不一致と正の（遠い）不一致に総不一致範囲（例えば、奥行きバジェット）を分割する。図３０Ａでは、全てのコンテンツは、（全ての負の不一致３００４、３００６により）スクリーンの前にあるように見える。図３０Ｂでは、コンテンツは、（負の不一致３０３４と正の不一致３０６４の両方により）スクリーンの両側にあるように見える。図３０Ｃでは、コンテンツは、（正の不一致３０６４、３０６６のみを有することにより）シーンの後ろにあるように見える。ＺＰＳは、知覚される奥行き範囲または不一致範囲それ自体に影響しないことに留意されたい。
焦点面縁上でのＭＦＰの部分的なオーバレイのみによって引き起こされる影響を最小にするためのいくつかの実施形態では、焦点面の位置合わせは、一番真ん中の面に対してなされるのが有益である（図３０Ｂ）。奥行きブレンドの場合、焦点面およびそれらの立体的投影は、画像エリアのためおよび焦点面間の物体のための連続的な奥行き知覚を生じさせる。
ＭＦＰの数は、知覚される品質に影響し得るパラメータである。合成的立体映像の場合、焦点面の数は、すなわち、ディスプレイ性質（透明度および多重化速度など）によって限定されない。いくつかの実施形態では、焦点面の数は、例えば任意の所望の奥行き精度を満たすのに十分なほど高く、選ばれることがある。演算の複雑さは、焦点面の数とともに線形的に増加するが、比較的大きい数のＭＦＰでは問題でないことがある。
同じ理由のために、焦点面位置の最適化の利益があまりないことがある。左眼および右眼のための焦点面をシフトすることは、通常の焦点面距離とともに、より容易である（例えば、サブ画素動作なしで実行され得る）ので、等しい変位距離（例えば、インターバル）が使用されることがある。屈折間隔によって位置を最適化する代わりに、通常のインターバルをもつＭＦＰの数が増加されてよい。一番中心の面が位置合わせ／枢動位置にあることにより、奇数の焦点面が使用されてよい。
捉えられたシーンの奥行きマップは、相対的で正規化されてよい。奥行き範囲は、相対的であってもよいし、実世界座標にロックされなくてもよく、システム可変であってもよい。いくつかの実施形態では、シーンの立体的奥行きは、（疑似）立体的画像ペアの形成に使用される横シフトの量によって決定される。
より大きい数のＭＦＰは、より大きな合成的不一致および立体的奥行きを生じさせ得ることに相関することがある。このプロセスは、画像コンテンツにも依存する。大きな奥行き離隔距離をもつ数個の物体のみを有するシーンでは、大きな奥行き範囲にわたる奥行きブレンドは、よりコンパクトな範囲にわたるブレンドの代わりに有益なことがある。
合成的立体ペアの形成
立体的画像ペアは、焦点面から各眼の方への投影を合計することによって、ＭＦＰから形成される。プロセスは、立体メガネを用いて視聴され、ＶＡＣを誘発し得る立体ペアをもたらす、またはＶＡＣを回避することができる立体メガネのＭＦＰバージョンをもたらす。このように形成されるステレオグラム内の最大不一致または視差は、立体的コンテンツのために観察される同じものである。奥行き範囲または（立体）バジェットとも呼ばれる、非特許文献５のこの推奨される最大視差は、コンテンツに依存するが、画像幅の３％程度である。この限定の後、非特許文献５において説明されるように、立体影響は壊れる傾向があり、立体コンテンツの（主観的）品質が劣化することを意味する。
立体的画像ペアは、焦点面から各眼の方への投影を合計することによって、ＭＦＰから形成される。プロセスは、立体メガネを用いて視聴され、ＶＡＣを誘発し得る立体ペアをもたらす、またはＶＡＣを回避することができる立体メガネのＭＦＰバージョンをもたらす。このように形成されるステレオグラム内の最大不一致または視差は、立体的コンテンツのために観察される同じものである。奥行き範囲または（立体）バジェットとも呼ばれる、非特許文献５のこの推奨される最大視差は、コンテンツに依存するが、画像幅の３％程度である。この限定の後、非特許文献５において説明されるように、立体影響は壊れる傾向があり、立体コンテンツの（主観的）品質が劣化することを意味する。
例えば、図１３では、最大視差／不一致は約２．５％であり、非特許文献５からの３％の推奨最大値を下回る。図１３は、立体的視聴に対する対応する最大視野は、（頭部動きなしで眼を回転させるための約７０度と比較して）比較的小さい、約２０度水平であることを示す。垂直次元では、最大視野は、頭部回転なしで最高５５度である。垂直方向では、立体的（または他の任意の）表示は、眼によって可能にされるものよりも小さい。
ソースに応じて、異なる推奨が、立体的表示スクリーンの前と後ろにある奥行きに（負の視差と正の視差に）分けられる、奥行きバジェットの割り当てに対して与えられる。コンテンツそれ自体に加えて、この割り当ては、スクリーンサイズによって影響されることがあり、ソースに応じて変わる。
非特許文献１４によれば、（スクリーンよりも近い物体に対する）交差した不一致は、スクリーン幅の２〜３％を超えるべきでなく、（スクリーンよりも遠い物体に対する）交差しない不一致は、スクリーン幅の１〜２％を超えるべきでない。
いくつかの実施形態では、限度、または、例えば、非特許文献５および非特許文献１４によって識別されるそれらのものなど、例えば推奨は、設計上の考慮事項として適用され、それに補償されてよい。
大きい不一致をもつ例
以下では、正弦曲線ブレンド関数および多項式ブレンド関数をもつさらなる例が与えられる。印刷時の歪みを見やすくするために、４．６％の大きい総不一致が、これらの例のために選ばれる。これは非特許文献５における３％の推奨最大値よりもはるかに大きい。影響は、図３１Ａ〜図３１Ｆにおいて図解されている。
以下では、正弦曲線ブレンド関数および多項式ブレンド関数をもつさらなる例が与えられる。印刷時の歪みを見やすくするために、４．６％の大きい総不一致が、これらの例のために選ばれる。これは非特許文献５における３％の推奨最大値よりもはるかに大きい。影響は、図３１Ａ〜図３１Ｆにおいて図解されている。
図３１Ａは、いくつかの実施形態による、正弦曲線奥行き重み付けとともに形成された右眼のための例示的な立体的画像の拡大された抜粋部を示すイラストである。図３１Ｂ〜図３１Ｃは、いくつかの実施形態による、対応して、正弦曲線奥行き重み付けとともに形成された右眼および左眼のための例示的な立体的画像を示すイラストである。図３１Ｄは、いくつかの実施形態による、多項式奥行き重み付けとともに形成された右眼のための例示的な立体的画像の拡大された抜粋部を示すイラストである。図３１Ｅ〜図３１Ｆは、いくつかの実施形態による、対応して、多項式奥行き重み付けとともに形成された例示的な右眼画像および左眼画像を示すイラストである。図３１Ｂ〜図３１Ｃおよび図３１Ｅ〜図３１Ｆは、いくつかの実施形態による、その奥行きマップ図２１Ｃを使用してテスト画像を処理することによる、例えば図２１Ｂの未処理の花テスト画像の修正バージョンである。図３１Ｂ〜図３１Ｃおよび図３１Ｅ〜図３１Ｆは、３つのＭＦＰのシフトおよび合計によって生じさせられ、正弦曲線ブレンド関数および多項式ブレンド関数のどちらかを使用して形成された、大きい合成的不一致（±２．３％）をもつ交差した眼ステレオグラムの比較を示す（対応して、図３１Ｂおよび図３１Ｃの上方ステレオグラム３１１０、３１２０、並びに図３１Ｅおよび図３１Ｆの下方ステレオグラム３１４０、３１５０を参照されたい）。左の挿入図３１００および３１３０（図３１Ａおよび図３１Ｄ）は、両方の方法を用いた対応する右眼画像３１１０、３１４０の詳細を示す。挿入図は、大きい不一致によって生じさせられるディスオクルージョンを減少させる、物体縁上の多項式関数の利益を示す。利益は、正弦曲線関数をこえる多項式関数による、より強力な奥行きブレンドに由来し得る。
多項式関数の場合、背景画像詳細が、わずかによりぼやけている。これは、２つの最終視点を形成するためにシフトされた焦点面構成要素が合計されるとき結果をフィルタリングする、より強力な空間的なフィルタリング影響によって引き起こされる。大きい不一致の場合、多項式ブレンド関数は、物体縁に対する利益を有する。利益は、大きい不一致によって生じさせられる可視ディスオクルージョンを減少させる、奥行き方向におけるより強力なブレンドの修復影響に由来する。
フリー（ｆｒｅｅ）ベースライン立体のサポート
画像、映像、および仮想コンテンツは、立体的ＶＲメガネを用いて視聴され得る。これらのサービスは、（頭部を直立させて視聴する場合）水平次元における立体的不一致のみを提供することが可能であり得る。自分のポーズおよびバランスに対する視聴者の知覚を妨げないために、視聴されるコンテンツの水平線は、視聴者の現実の水平線に一般にロックされる。これは、視聴デバイス（例えば、「ボール紙」ＶＲメガネ内の携帯電話）内の位置センサによってユーザの頭部傾きを感知することによって行われる。
画像、映像、および仮想コンテンツは、立体的ＶＲメガネを用いて視聴され得る。これらのサービスは、（頭部を直立させて視聴する場合）水平次元における立体的不一致のみを提供することが可能であり得る。自分のポーズおよびバランスに対する視聴者の知覚を妨げないために、視聴されるコンテンツの水平線は、視聴者の現実の水平線に一般にロックされる。これは、視聴デバイス（例えば、「ボール紙」ＶＲメガネ内の携帯電話）内の位置センサによってユーザの頭部傾きを感知することによって行われる。
以前のシステムでは、ユーザの頭部傾きによりコンテンツを向けるにもかかわらず、コンテンツ不一致は一般的には、ユーザの頭部傾きに追従しないが、頭部方位にかかわらず水平である。頭部傾きを増加させると、水平不一致ベースの３Ｄ知覚が歪められるか、弱められるか、または失われすらする。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、頭部方位と無関係な立体的コンテンツを提供するために使用されることがある。立体的（疑似）不一致は、視聴者の測定された頭部傾きに応じて、受信エンドにおいてリアルタイムで形成されることがある。いくつかの実施形態では、視聴者方位信号が視聴者の傾きを示す場合、示された視聴者の傾きに対応する回転された不一致ベクトルを使用する不一致画像が計算されることがある。
図３２Ａ〜図３２Ｃは、いくつかの実施形態による、異なるユーザ方位をもつ第１の立体的表示のための例示的な不一致を図解する概略正面図である。図３２Ｄ〜図３２Ｆは、いくつかの実施形態による、異なるユーザ方位をもつ第２の立体的表示のための例示的な不一致を図解する概略正面図である。図３２Ａ〜図３２Ｆは、以前のシステムと本明細書においていくつかの実施形態により開示されるシステムとの間の差のいくらかを図解する。図３２Ａ〜図３２Ｆでは、立体的画像ペア３２００、３２１０、３２２０、３２３０、３２４０、３２５０が、それらがディスプレイとして携帯電話を使用してＶＲメガネとともに図示されていると、描かれている。眼の近くでフラットディスプレイ上で視聴するための画像幾何学的形状を最適化することは、特徴的なピンクッション形状をもつ立体的画像を生じさせる。
図３２Ａ〜図３２Ｆは、ニアアイディスプレイ（例えば、携帯電話）上に立体的コンテンツを示すための２つの方法を示す。図３２Ａ〜図３２Ｃは、視聴者の頭部ポーズに沿ってコンテンツが傾いていることを示しており、これは、実世界の水平傾き線と図示されているものとの矛盾をもたらす。この矛盾は、シミュレータ症および方向感覚喪失を引き起こし得る。図３２Ｄ〜図３２Ｆは、いくつかの実施形態では、ユーザの頭部ポーズを追跡することによってコンテンツの水平線を実世界水平線と位置合わせするための方法を示す。このシステムの短所は、立体ペアのベースラインが位置合わせ不良であり、奥行きの誤った知覚または知覚消失につながることである。
図３３Ａ〜図３３Ｃは、いくつかの実施形態による、異なるユーザ方位をもつ立体的表示のための例示的な不一致を図解する概略正面図である。図３３Ａ〜図３３Ｃによって図解されるなどの、いくつかの実施形態では、適切なベースラインおよび不一致をもつ立体ペア３３００、３３３０、３３６０が、ユーザの頭部ポーズの変化に続いて、リアルタイムで形成されることがある。サポートされる相互作用は、運動視差も含むことがある。頭部傾きおよび動きが、仮想視点生成において、それに応じて不一致を変更するために捉えられる（図２５および図２６を参照されたい）ことに留意されたい。
図３４は、いくつかの実施形態による、回転された方位をもつ視聴者のための立体的表示のための例示的な左眼画像および右眼画像を図解する概略的なユーザの図である。図３４は、ニアアイディスプレイ視聴者のために表示される左画像および右画像の正面図である。図３４の右側の頭部アイコン３４１４は、視聴者の方位の回転を示す。図３４の左側のメガネは、視聴者によって装着されるビューアの観点から示される。視聴者の頭部回転の後で、右眼画像３４０４はより高い、上から見られており、左眼画像３４０２は、低いところから見られている。図５の元の方位で示される同じ画像は、画像を水平に保つために、図３４のシナリオ３４００のために回転される。左画像と右画像との間の不一致は、回転される方位に変えられる（図５に示される小さいボートのロケーションは、図３４が、小さいボート３４０８は、左眼画像３４０２の場合は図５と比較して大きいボート３４０６により近く、小さいボート３４１２は、右眼画像３４０４の場合は図５と比較して大きいボート３４１０からより遠く離れているように垂直不一致と水平不一致の両方の変化を示すように変えられる）。
いくつかの実施形態では、１つまたは複数の焦点面画像を方位付けることは、それぞれの焦点面画像を回転させることを含んでよい。例えば、１つまたは複数の焦点面画像は、図３４に示される左眼画像３４０２および右眼画像３４０４に関する画像を示すように回転されることがある。いくつかの実施形態では、焦点面画像を回転させることは、焦点面画像のうちの１つまたは複数に関する不一致ベクトルを、水平線と平行なベクトルに対して回転させることを含んでよい。
運動視差のサポート
任意のベースライン方位（例えば、頭部傾き）における合成的不一致に基づいた焦点面シフトは、左眼および右眼のための少量の運動視差をサポートするためにも使用されてよい。この実施形態は、大きい数の焦点面を使用し、不一致のスパンは、その範囲内で様々な頭部位置（運動視差）がサポートされ得るように大きく拡張されてよい。
任意のベースライン方位（例えば、頭部傾き）における合成的不一致に基づいた焦点面シフトは、左眼および右眼のための少量の運動視差をサポートするためにも使用されてよい。この実施形態は、大きい数の焦点面を使用し、不一致のスパンは、その範囲内で様々な頭部位置（運動視差）がサポートされ得るように大きく拡張されてよい。
図３５は、いくつかの実施形態による、焦点面画像のセットを左右に歪曲することによってビューへの複数の視点を生じさせる例示的なプロセスを図解する概略的な処理図である。図３５は、いくつかの実施形態による、例えば図２１Ｂの未処理の花テスト画像の、例えば図２１Ｃのその奥行きマップを使用した、様々な修正バージョンを示す。図３５の例では、５つの（例えば、正弦曲線）ＭＦＰおよび１２単位の最大視差／横シフト（どちらかの眼に関する）が使用されている。７つのフレーム３５０２、３５０４、３５０６、３５０８、３５１０、３５１２、３５１４のマルチビュー画像が、選ばれた不一致／視差範囲に対して形成される３５１６。フレーム３５０２〜３５１４の各々は、最初に変化する度合いにＭＦＰスタックを歪曲し、次いで、視聴者の方へＭＦＰを投影および合計することによって形成される。また、元のゼロ不一致画像は、シリーズに入れられる。マルチビュー画像は、右眼の視点が左側にあり、逆も同様である、交差した眼ステレオグラムのシリーズを含む。図３５のマルチビューシリーズ内で、あらゆる他のフレームを拾い集めることによって、５つのステレオグラムペア３５０２／３５０６、３５０４／３５０８、３５０６／３５１０、３５０８／３５１２、３５１０／３５１４が形成されることがあり、これは、視差／横シフトの８単位分だけ異なる。対応して、線形的に変化する立体的視差（８単位の立体的不一致をもつ）は、５つの位置においてサポートされることがある。図３５は、合成的不一致を使用してマルチビュー画像を形成するための例３５００を示す。各眼に対する最大不一致範囲（例えば、５つのＭＦＰスタックの最大横シフト範囲）は、１２単位（テスト画像幅の±２．７５％）である。例えば、ＭＦＰスタックは、右に歪曲される３５１８（または、例えば、ＭＦＰシフトされる）ことがあり、ＭＦＰスタックは、左に歪曲される３５２０（または、例えば、ＭＦＰシフトされる）ことがある。ＭＰＦのスタックは、様々な量の分だけ、歪曲される（または、例えば、ＭＦＰシフトされる）。結果は、シフト方向に応じて、左または右に傾いたＭＦＰのスタックである。
マルチビュー画像を立体ペアに分けることは、印刷からの視差影響を知覚するためにより好都合である。運動視差影響と知覚される立体不一致（奥行き）との間の折衷は、１）６つの位置における２つの隣接する画像（総不一致０．４６％、正の不一致および負の不一致は両方とも０．２３％）、２）５つの位置における１つおきの画像（総不一致０．９２％）、３）４つの位置における２つおきの画像（総不一致１．３８％）、４）３つの位置における３つおきの画像（総不一致１．８４％）、または２つの位置における４つおきの画像（総不一致２．３％）、のいずれかを使用することによって行われてよい。２つのエンド画像をもつ立体ペアは、運動視差なしで２．７６％の総最大不一致を提供する。
図３６は、いくつかの実施形態による、図３５の歪曲された画像（それらの各々は、最初に様々な度合いで歪曲され、次いで視聴者の方へ投影および合計されるＭＦＰスタックである）を使用する立体的表示のための３つの立体的画像の例示的なシリーズを示すイラストである。図３６は、１つおきの画像を拾い集めることによって形成される、上記のシリーズからの３つのサンプル３６０２／３６０４、３６０６／３６０８、３６１０／３６１２（不一致０．９２％をもつ交差した眼立体ペア）を示す。印刷からの運動視差影響（総合で３．７％）を知覚することはやや難しいが、それは、アニメーションが図３５のマルチビュー画像を使用して形成されるとき、明らかである。図３６は、図３５に示されるマルチビュー画像を使用して形成された、運動視差（視点は左から右に動く）をもつ３つの立体的ビュー３６０２／３６０４、３６０６／３６０８、３６１０／３６１２の例３６００を図解する。図３６は、左から右への視点変化（図３５を参照されたい）をもつ３つの（交差した眼）ステレオグラム３６０２／３６０４、３６０６／３６０８、３６１０／３６１２を示す。配列によって接続される画像は同じである。
図３６の例における運動視差の量が推定され得る。立体的コンテンツに対する２つの視点は、眼離隔距離、一般的には約６０ｍｍ、隔てられる。対応して、図３６において図解される仮想ビューは、ユーザが、自分の頭部を２つの極の間で１２ｃｍ動かすことを可能にする。しかしながら、結果を小さい交差した眼ステレオグラムと見なすことは、より現実的な条件で影響を観察することと比較して、影響を歪める可能性が高い。説明される頭部傾きおよび運動視差サポートは、一度だけ送信される（ブロードキャスト）コンテンツに対してＭＦＰの形成および処理が受信機内で複数回行われ得るので、複数のローカル視聴者に個々に提供されてよい。
合成的運動視差の場合、立体ペアは、対称的に左および右にシフトされたバージョンをもつようにではなく、例えば、異なる量のシフトを用いた２つの左にシフトされたバージョンをもつように、形成される。しかしながら、これは、運動視差影響を知覚するうえで顕著な劣化を引き起こすと思われない。別の関連する詳細は、元のシフトされないテクスチャ画像（物体縁の両側に影響のない）も、マルチビュー画像シリーズの一部として使用されてよいことである。
焦点またはＺＰＳを選ぶこと（図３０Ａ〜図３０Ｃおよびその解説を参照されたい）は、立体画像から知覚される奥行き範囲に影響しない（総不一致を参照されたい）が、合成的運動視差を作成するとき、選定からの重大性は小さい。焦点が中央にある（例えば、一般に、本開示における例のために選ばれる）とき、横に動く視聴者は、すなわち、レンダリングされたボリュームが枢動点のまわりで（ＺＰＳの距離のところで）回転すると知覚する。しかしながら、運動視差にとってより自然であるのは、ボリュームがその最も遠い点のまわりで回転することである。いくつかの実施形態では、運動視差影響を形成する場合、遠い面（と、この遠い面の前にある全ての不一致）が、仮想視点生成において使用されることがある。
ＭＦＰを形成するために適用可能なソースフォーマット
映像プラス奥行きマップは、画像内の各画素の距離を与える、いくつかの実施形態による開示される方法に適用可能なフォーマットである。３ＤワーピングまたはＭＦＰベースの設計を使用して、そのようなフォーマットから立体的ビューを解析することは、視点を変化させることによりビューの遮蔽エリアが明らかにされるとき、物体縁においていくつかの誤差を引き起こすことがある。１つの例示的な実施形態は、奥行きマップをもつ立体的映像である。上述のフォーマットの両方は、映像圧縮方法、例えば、Ｈ．２６４ ＭＶＣによってサポートされる。
映像プラス奥行きマップは、画像内の各画素の距離を与える、いくつかの実施形態による開示される方法に適用可能なフォーマットである。３ＤワーピングまたはＭＦＰベースの設計を使用して、そのようなフォーマットから立体的ビューを解析することは、視点を変化させることによりビューの遮蔽エリアが明らかにされるとき、物体縁においていくつかの誤差を引き起こすことがある。１つの例示的な実施形態は、奥行きマップをもつ立体的映像である。上述のフォーマットの両方は、映像圧縮方法、例えば、Ｈ．２６４ ＭＶＣによってサポートされる。
奥行き画像を生成する複数のプロセスが存在する。いくつかの実施形態による１つの方法は、２つのカメラビュー（立体ペア）の不一致を導き出し、不一致を奥行きにマッピングすることである。画像画素間の対応を見つけることは、線が２つのカメラ点を接続する（ベースライン）ことと並列に行われる。真の対応を見つけることは、誤差が起こりやすいプロセスであり、潜在的な偽陽性対応および不一致をもつ。様々なタイプのフィルタリング動作およびセグメンテーション動作が、誤差を除去するために使用されてよい。
いくつかの実施形態は、（ＲＧＢ−ＤまたはＴｏＦ（飛行時間型）などの）奥行きセンサによって捉えられた奥行きプラステクスチャのソースフォーマットを使用する。奥行き情報は、送信前に圧縮されてよい。これは、立体的視点または対応する奥行きマップに対する仮想（３Ｄモデリングされた）シーンのリアルタイム送信よりも小さいビットレートを使用する。
外部ディスプレイを使用する例示的な実施形態
図３７は、いくつかの実施形態による、３つの視聴者方位のための柔軟なベースライン立体的表示のためのシフトおよび投影されたＭＦＰ画像を生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。いくつかの実施形態では、柔軟なベースライン立体的表示は、例えば、柔軟ビューＴＶであってよい。いくつかの実施形態を説明するための文脈は主に、ニアアイディスプレイであってきたが、同じ相互作用は、例えば、いくつかの実施形態による外部ディスプレイを使用しても実施され得る。例えば、時分割されたＳ３Ｄディスプレイに使用される場合、ユーザによって装着されるシャッターメガネは、ユーザ動きを追跡するため、およびメガネからデータを受信する３７１８ため、およびデータをメガネに送る３７２０ために、センサを装備することがある。外部追跡が、いくつかの実施形態に使用されることがある。３人のユーザ３７２２、３７２４、３７２６の例のためにユーザ姿勢および動きを追跡することによって、本明細書においていくつかの実施形態により開示されるシステムおよび方法（仮想不一致関連機能を含む）は、外部ディスプレイを使用することがある。マルチユーザビュー（時分割３７１６とともに実施され得る）は、複数の同じ場所にいる視聴者にサービスを提供するために使用されることがある。図３７は、奥行きマップ３７０２およびテクスチャ３７０４の入力のための受信サイト３７０６における受信機３７０８内での仮想視点生成３７１０のための外部ディスプレイおよび２つの例示的な方法３７１２、３７１４を使用するいくつかの実施形態を図解する。技法は、図３７では代替（「または」）であると示されているが、いくつかの実施形態では、これらの任意の組み合わせが使用されてよい。
図３７は、いくつかの実施形態による、３つの視聴者方位のための柔軟なベースライン立体的表示のためのシフトおよび投影されたＭＦＰ画像を生成するための処理ブロックおよびインタフェースの例示的なセットを図解するシステム図である。いくつかの実施形態では、柔軟なベースライン立体的表示は、例えば、柔軟ビューＴＶであってよい。いくつかの実施形態を説明するための文脈は主に、ニアアイディスプレイであってきたが、同じ相互作用は、例えば、いくつかの実施形態による外部ディスプレイを使用しても実施され得る。例えば、時分割されたＳ３Ｄディスプレイに使用される場合、ユーザによって装着されるシャッターメガネは、ユーザ動きを追跡するため、およびメガネからデータを受信する３７１８ため、およびデータをメガネに送る３７２０ために、センサを装備することがある。外部追跡が、いくつかの実施形態に使用されることがある。３人のユーザ３７２２、３７２４、３７２６の例のためにユーザ姿勢および動きを追跡することによって、本明細書においていくつかの実施形態により開示されるシステムおよび方法（仮想不一致関連機能を含む）は、外部ディスプレイを使用することがある。マルチユーザビュー（時分割３７１６とともに実施され得る）は、複数の同じ場所にいる視聴者にサービスを提供するために使用されることがある。図３７は、奥行きマップ３７０２およびテクスチャ３７０４の入力のための受信サイト３７０６における受信機３７０８内での仮想視点生成３７１０のための外部ディスプレイおよび２つの例示的な方法３７１２、３７１４を使用するいくつかの実施形態を図解する。技法は、図３７では代替（「または」）であると示されているが、いくつかの実施形態では、これらの任意の組み合わせが使用されてよい。
視点生成にＤＩＢＲベースの手段を使用する例示的な実施形態
ＭＦＰによる仮想視点生成のためのいくつかの実施形態は、３Ｄワーピングおよび穴充填に基づいたＤＩＢＲシステムとともに使用されることがある。いくつかの実施形態は、自由に姿勢をとるまたは動くユーザのためにフリーベースライン立体および運動視差を生じさせるためのＤＩＢＲベースの方法を使用することがある。この実施形態は、複数のユーザおよび視点の変化のための３Ｄ幾何学的変形を算出することがある。この実施形態は、図３７において図解される（方法３７１２および３７１４に対応する、「仮想視点生成」内部の２つのボックスを参照されたい）。
ＭＦＰによる仮想視点生成のためのいくつかの実施形態は、３Ｄワーピングおよび穴充填に基づいたＤＩＢＲシステムとともに使用されることがある。いくつかの実施形態は、自由に姿勢をとるまたは動くユーザのためにフリーベースライン立体および運動視差を生じさせるためのＤＩＢＲベースの方法を使用することがある。この実施形態は、複数のユーザおよび視点の変化のための３Ｄ幾何学的変形を算出することがある。この実施形態は、図３７において図解される（方法３７１２および３７１４に対応する、「仮想視点生成」内部の２つのボックスを参照されたい）。
ＭＦＰ ＮＥＤにおけるフリーベースライン立体および運動視差の例示的な実施形態
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、ＭＦＰを形成し、それらを使用して、選ばれた（様々な）立体的不一致を所望の方位（頭部傾き）で生じさせる。いくつかの実施形態は、ベースライン方位に適合するようにＭＦＰをシフトする。いくつかの実施形態は、実際のＭＦＰ表示に対するフリーベースライン立体および運動視差影響を作成する。実際のＭＦＰ表示上に図示される場合、自然な調節がサポートされる。ＭＦＰスタックは、調節によってサポートされる立体的知覚が実際には視聴者の頭部傾きに対して不変である（「鼻のまわりでの」回転）ように、図３４では立体的表示のために図解されるなどの頭部傾きとともに視聴されることがある。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、ＭＦＰを形成し、それらを使用して、選ばれた（様々な）立体的不一致を所望の方位（頭部傾き）で生じさせる。いくつかの実施形態は、ベースライン方位に適合するようにＭＦＰをシフトする。いくつかの実施形態は、実際のＭＦＰ表示に対するフリーベースライン立体および運動視差影響を作成する。実際のＭＦＰ表示上に図示される場合、自然な調節がサポートされる。ＭＦＰスタックは、調節によってサポートされる立体的知覚が実際には視聴者の頭部傾きに対して不変である（「鼻のまわりでの」回転）ように、図３４では立体的表示のために図解されるなどの頭部傾きとともに視聴されることがある。
非対称的な視点生成のための例示的な実施形態
代替実施形態は、シフトされたＭＦＰをもつ一方の眼情報を形成および図示し、シフトのない他方の眼ＭＦＰを図示することである（一方の眼のために直接的に受信されたテクスチャ画像に焦点面を使用する）。非特許文献１５によれば、１つの高品質画像および１つの低品質画像（ここでは、非遮蔽エリア）を同時に図示することが、モノビジョン方法と類似した品質利益をもたらし得る。しかしながら、この変形態は、非対称的な視点生成および歪みによる、より小さい不一致を可能にする。
代替実施形態は、シフトされたＭＦＰをもつ一方の眼情報を形成および図示し、シフトのない他方の眼ＭＦＰを図示することである（一方の眼のために直接的に受信されたテクスチャ画像に焦点面を使用する）。非特許文献１５によれば、１つの高品質画像および１つの低品質画像（ここでは、非遮蔽エリア）を同時に図示することが、モノビジョン方法と類似した品質利益をもたらし得る。しかしながら、この変形態は、非対称的な視点生成および歪みによる、より小さい不一致を可能にする。
ＭＦＰおよび仮想視点の産生
ＭＦＰおよび仮想視点を形成するためのいくつかの実施形態は、各焦点面のための奥行きブレンド重みを計算し、各焦点面に対して計算された奥行きブレンド重みによって画像奥行きマップを再マッピングすることによってＭＦＰ重みマップを形成し、捉えられた画像または入力画像に各ＭＦＰ重みマップを乗算して各焦点面画像を形成し、各焦点面画像の空間的なシフトを実行して、形成されたＭＦＰを追加して不一致のために立体的画像ペアを生成する。いくつかの実施形態では、奥行きブレンド重みが計算されることがあり、画像処理が、ＭＦＰ重みマップ（図３８Ｂにおいて図解される）を形成し、各焦点面画像（１つの焦点面画像のために図３９Ａ〜図３９Ｃにおいて図解される）を形成し、空間的なシフトおよび追加（例えば、立体画像が選ばれた不一致のために）を実行するために使用されることがある。
ＭＦＰおよび仮想視点を形成するためのいくつかの実施形態は、各焦点面のための奥行きブレンド重みを計算し、各焦点面に対して計算された奥行きブレンド重みによって画像奥行きマップを再マッピングすることによってＭＦＰ重みマップを形成し、捉えられた画像または入力画像に各ＭＦＰ重みマップを乗算して各焦点面画像を形成し、各焦点面画像の空間的なシフトを実行して、形成されたＭＦＰを追加して不一致のために立体的画像ペアを生成する。いくつかの実施形態では、奥行きブレンド重みが計算されることがあり、画像処理が、ＭＦＰ重みマップ（図３８Ｂにおいて図解される）を形成し、各焦点面画像（１つの焦点面画像のために図３９Ａ〜図３９Ｃにおいて図解される）を形成し、空間的なシフトおよび追加（例えば、立体画像が選ばれた不一致のために）を実行するために使用されることがある。
図３８Ａ〜図３８Ｃは、いくつかの実施形態による、奥行きマップ画像、奥行き重み付けグラフ、および生成された焦点面画像をそれぞれ図示する画像操作プログラムのためのインタフェースの例示的なセットを図解するコンピュータウィンドウのセットである。図３８Ａ〜図３８Ｃは、奥行きマップ３８００（図３８Ａ）が１つの焦点面３８６０（図３８Ｃ）のための重みマップを作成するために正弦曲線重み関数３８３０（図３８Ｂ）によって再マップされている例を示す。他の重みマップ（例では、全体で５つ）は、類似の手段で形成されてよい。
図３９Ａ〜図３９Ｃは、シミュレーション環境内の生成された焦点面画像の例示的なセットを示すイラストである。図３９Ａ〜図３９Ｃは、対応する焦点面３９６０（図３９Ｃ）を形成するために重みマップ３９３０（図３８の中央グラフ）によって乗算されたテスト画像３９００（図３９Ａ）を示す。他の焦点面（例では、全体で５つ）は、同じ手段で生成される。
仮想視点生成における演算の複雑さについて
視点変化のための３Ｄワーピングは、コンピュータグラフィックスアルゴリズムによって行われてよい。これらのアルゴリズムの複雑さ、速度、および結果は、例えば使用された斜視図およびカメラモデルに依存することとは異なる。シフトセンサセットアップのための数学的公式化の例は、非特許文献５において見つけられる。３Ｄワーピングのための演算の複雑さは、大きいＦｏＶ（視野または視界）および多くの外部ディスプレイにおいてよりも大きい解像度をもつ高品質ニアアイディスプレイを用いるなど、高いことがある。加えて、３Ｄワーピングを使用してＭＦＰ表示に対する視点を形成する場合、焦点面は、３Ｄワーピングの後に形成され、これは、多くの以前のシステムのための複雑さをさらに増加させ得る。
視点変化のための３Ｄワーピングは、コンピュータグラフィックスアルゴリズムによって行われてよい。これらのアルゴリズムの複雑さ、速度、および結果は、例えば使用された斜視図およびカメラモデルに依存することとは異なる。シフトセンサセットアップのための数学的公式化の例は、非特許文献５において見つけられる。３Ｄワーピングのための演算の複雑さは、大きいＦｏＶ（視野または視界）および多くの外部ディスプレイにおいてよりも大きい解像度をもつ高品質ニアアイディスプレイを用いるなど、高いことがある。加えて、３Ｄワーピングを使用してＭＦＰ表示に対する視点を形成する場合、焦点面は、３Ｄワーピングの後に形成され、これは、多くの以前のシステムのための複雑さをさらに増加させ得る。
一方、ＭＦＰのスタックを形成することは、各焦点面へのその距離によって各画素値を重み付けする（例えば、奥行きマップから取得される）ための画素ベースの動作を使用する手順である。分解が行われた後で、視点または立体ベースライン方位のいかなる変化も、一度導き出された焦点面の単なる、互いに対する側方（例えば、バルク）シフト、および新しい視点への投影を形成するための、それらの画素ごとの追加である。いくつかの実施形態では、補間による解像度変化などなしで画素変位の乗算において焦点面のシフトが行われることがあるので、サブ画素シフトおよび動作がない。
代わりに、伝統的な３Ｄワーピング手順を用いて、視点を変化させることは、一般的には、サブ画素精度における複数の３Ｄジオメトリベースの算術演算（例えば、行列計算）を必要とする。さらに、ディスオクルージョンを取り除くための修復および穴充填動作は、単純な画素ベース動作の代わりに、いくつかの画素幅カーネルまたはウィンドウを用いた動作を使用することがある。
図４０は、いくつかの実施形態による、多焦点面（ＭＦＰ）表示画像を生成するための例示的なプロセスを図解するメッセージシーケンス図である。図４０は、焦点面画像をシフトおよび投影することによって立体的ＭＦＰスタック（例えば、対応して、左眼および右眼のためのＭＦＰの２つの単眼スタック）を生成するいくつかの実施形態のためのメッセージシーケンス図４０００である。ＭＦＰ表示４００６は、レンダラ制御モジュール４００２にＭＦＰ面位置を送る４００８。テクスチャ画像および奥行きマップがレンダラ制御モジュール４００２によって受信される４０１０。レンダラ制御モジュール４００２が、各ＭＦＰ面のための画像を生成する４０１２。追跡モジュール４００４（またはセンサ）が、レンダラ制御モジュール４００２に視聴者位置／方位を送る４０１４。ＭＦＰ画像が、レンダラ制御モジュール４００２によってシフトおよび投影される４０１６。立体的ＭＦＰスタック（左／右ペア）が、レンダラ制御モジュール４００２からＭＦＰ表示４００６に送られ４０１８、ＭＦＰ表示によってユーザに表示される。
図４１は、いくつかの実施形態による、立体３Ｄディスプレイ画像を生成するための例示的なプロセスを図解するメッセージシーケンス図である。図４１は、立体３Ｄディスプレイ（例えば、外部フラットスクリーン）のための焦点面画像の不一致ビューを生成するいくつかの実施形態のためのメッセージシーケンス図４１００である。テクスチャ画像および奥行きマップがレンダラ制御モジュール４１０２によって受信される４１０８。レンダラ制御モジュール４１０２が、各ＭＦＰ面のための画像を生成する４１１０。いくつかの実施形態では、レンダラ制御４１０２は、不一致ビューを算出する４１１４ために使用されることがある。メガネ／ＨＭＤセンサ４１０４は、レンダラ制御モジュール４１０２に視聴者位置／方位を送る４１１２。不一致ビューが、レンダラ制御モジュール４１０２によって算出される。立体画像左／右ペアが、レンダリング制御モジュール４１０２から立体３Ｄディスプレイ４１０６に送られる４１１６。立体３Ｄディスプレイ４１０６は、立体ディスプレイ４１０６からメガネ／ＨＭＤ４１０４にアクティブなメガネ信号を送り４１１８、画像がユーザに表示される。
いくつかの実施形態では、方法は、３次元映像コンテンツを受信することと、３次元映像コンテンツを使用する多焦点面の数および位置に対して１つまたは複数の多焦点面（ＭＦＰ）画像を算出することと、視聴者方位信号を受信することと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用して立体的ディスプレイの共通ビューに対する１つまたは複数の不一致画像を算出することと、１つまたは複数の不一致画像を立体的ディスプレイにレンダリングすることであって、立体的ディスプレイの共通ビューが立体的ディスプレイの各眼ビューにレンダリングされる、ことを含んでよい。いくつかの実施形態では、共通ビューは、単眼的ＭＦＰスタックの平均眼視点に対する左眼視点および右眼視点であってよい。ＭＦＰ ＮＥＤの場合、光学的配置は、交差していない眼の状態で眼の間で単眼的ＭＦＰスタックが視聴されることを可能とするペリスコープタイプ接眼部を使用することがある。
いくつかの実施形態では、共通ビューのための１つまたは複数の不一致画像を算出する方法は、立体的表示の各眼ビューの平均（または画像の左／右ペアの平均）である平均眼点を算出することがある。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、ＭＦＰを形成し、それらを使用して、選ばれた（様々な）立体的不一致を所望の方位（頭部傾き）で生じさせる。ＭＦＰは、ベースライン方位に適合する方向にシフトされてよい。得られる立体的画像は、ウェアラブルディスプレイ、並びに、例えば、外部スクリーンの上に表示されることがある。いくつかの実施形態は、立体的ディスプレイを使用するサービスのための立体的コンテンツを生じさせるために使用されることがある。いくつかの実施形態は、立体的表示の発展を可能にし、歪んでいない視差並びにセンサによりサポートされた運動視差影響をもつ頭部傾きと無関係な（フリーベースライン）立体的レンダリングを生じさせる簡単で費用対影響の高い手段を可能にする。そのようなシステムは、ユーザがそれらの頭部および身体を動かすための立体視および運動視差をサポートし得る。
いくつかの実施形態は、以前の立体的ディスプレイ上で視聴される場合にＶＡＣを引き起こし得る立体的画像を生じさせる。ＶＡＣは、調節不変タイプの立体的メガネを用いてコンテンツを図示することによって減少され得る。代替実施形態では、ＭＦＰ表示との不一致ベースの相互作用機能がサポートされる。
いくつかの実施形態では、方法は、３次元映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを算出することと、算出された画像データを使用して、１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングすることとを含んでよい。
いくつかの実施形態では、デバイスは、プロセッサと、このプロセッサ上で実行されるとき、３次元映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを算出するプロセスと、算出された画像データを使用して、１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングするプロセスを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを備えてよい。
奥行きプラステクスチャからの仮想視点生成
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、立体的３Ｄ（Ｓ３Ｄ）表示システム内で立体的画像ペア（ステレオグラム）を形成することに関する。ステレオグラムを形成するための１つの方法は、奥行き画像ベースのレンダリング（ＤＩＢＲ）である。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、複数の焦点面（ＭＦＰ）から合成的立体的ビューを生成する。いくつかの実施形態による１つの例示的な方法は、ＤＩＢＲシステム内で使用される３Ｄワーピングによる仮想視点生成を使用する。ＤＩＢＲとＭＦＰ立体方法の両方では、奥行きプラステクスチャ入力フォーマットが、ビューを捉える際に使用されることがある。いくつかの実施形態は、仮想視点生成のためおよびＭＦＰレンダリングのために複数の焦点面（ＭＦＰ）の後処理を使用する。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、立体的３Ｄ（Ｓ３Ｄ）表示システム内で立体的画像ペア（ステレオグラム）を形成することに関する。ステレオグラムを形成するための１つの方法は、奥行き画像ベースのレンダリング（ＤＩＢＲ）である。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、複数の焦点面（ＭＦＰ）から合成的立体的ビューを生成する。いくつかの実施形態による１つの例示的な方法は、ＤＩＢＲシステム内で使用される３Ｄワーピングによる仮想視点生成を使用する。ＤＩＢＲとＭＦＰ立体方法の両方では、奥行きプラステクスチャ入力フォーマットが、ビューを捉える際に使用されることがある。いくつかの実施形態は、仮想視点生成のためおよびＭＦＰレンダリングのために複数の焦点面（ＭＦＰ）の後処理を使用する。
ＭＦＰベースの方法において奥行き知覚を改善するために使用される奥行きブレンドは、非特許文献１０および非特許文献１１において説明されており、周波数領域内の焦点（再提示）面情報の再配信に基づく奥行きブレンド方法は、非特許文献１において説明されている。自然なぼやけおよびオクルージョンは、立体的レンダリングおよび３Ｄ画像レンダリングにおける品質にとって重要な要因である。人間視覚系（ＨＶＳ）によるそれらの知覚に関する情報については、例えば、非特許文献１６を参照されたい。
多くの立体的３Ｄシステムは、奥行き画像ベースのレンダリング（ＤＩＢＲ）を使用する。ＤＩＢＲベースの３Ｄ送信システムの概略的なピクチャは、非特許文献３から改変された図８に示されている。多くのＤＩＢＲシステムでは、受信側で、仮想視点生成は、３Ｄワーピング段階と、穴充填段階からなる（図８の仮想視点生成ブロックを参照されたい）。３Ｄワーピングは、視聴者の２つの眼点から見られる、３Ｄビュー（テクスチャ化された奥行きマップ）への２つの仮想ビューを形成するために使用されることがある。３Ｄワーピングは、コンピュータグラフィックスアルゴリズムによって行われる。
ＭＦＰのスタックから合成された立体的３Ｄ
多焦点面（ＭＦＰ）レンダリングは、ニアアイディスプレイにおける自然な眼調節をサポートするために使用される。上記で説明したように、立体的ビューは、複数の焦点面から合成されることがある（ＤＩＢＲにおける３Ｄワーピングを参照されたい）。ＭＦＰディスプレイは、視聴者の視軸に沿った層から３Ｄシーンを構成する異なる焦点面のスタックを作成する。３Ｄシーンへのビューは、ユーザには異なる奥行きおよび空間的角度で見える全てのそれらのボリューム画素（例えば、より正確には、ボクセル）を投影することによって形成される。多焦点面は、例えば、２Ｄ表示のスタックを空間的に多重化すること、または対応する多焦点面の可視部をレンダリングしながら、高速可変焦点要素（ＶＦＥ）によって単一の２Ｄ表示の焦点距離を順次−時分割される手段で−切り換えることのどちらかによって、レンダリングされ得る。
多焦点面（ＭＦＰ）レンダリングは、ニアアイディスプレイにおける自然な眼調節をサポートするために使用される。上記で説明したように、立体的ビューは、複数の焦点面から合成されることがある（ＤＩＢＲにおける３Ｄワーピングを参照されたい）。ＭＦＰディスプレイは、視聴者の視軸に沿った層から３Ｄシーンを構成する異なる焦点面のスタックを作成する。３Ｄシーンへのビューは、ユーザには異なる奥行きおよび空間的角度で見える全てのそれらのボリューム画素（例えば、より正確には、ボクセル）を投影することによって形成される。多焦点面は、例えば、２Ｄ表示のスタックを空間的に多重化すること、または対応する多焦点面の可視部をレンダリングしながら、高速可変焦点要素（ＶＦＥ）によって単一の２Ｄ表示の焦点距離を順次−時分割される手段で−切り換えることのどちらかによって、レンダリングされ得る。
図１２は、多焦点面ニアアイディスプレイのための概略図を示す。ＭＦＰディスプレイは表示されるシーンの明視野のための近似を作成する。多くのニアアイディスプレイでは１つのユーザ視点のみがサポートされる。対応して、近似は、より簡単であり、完全な明視野捕捉を入力として使用しないことがある。大きな数のＭＦＰを異なる距離で（３Ｄ空間に）レンダリングする場合、視聴者による自然な調節に近いものがサポートされる（ＶＡＣが回避される）。ＭＦＰを形成するときに奥行きブレンドを使用することによって、レンダリング品質はさらに改善され得るおよび／またはＭＦＰの数が減少され得る。
奥行きブレンドは、画素の、一般的には２つの最も近い焦点面からのそれらの距離による重み付けを意味する。その距離は、例えば、奥行きマップから取得されることがある。奥行きブレンドは、焦点面間の奥行き知覚を改善することがある。焦点面は、１の分割に適合するように、元の捉えられたシーンに（または、ほぼそれに）合計される。この要件を追加の面が満たすようにシーンをそれらに分解する多くの手段がある。対応して、本明細書において開示されるシステムおよび方法は、いくつかの実施形態による例証的な例示として提示される。
多くのＭＦＰレンダリングシステムは、立体的知覚をサポートする、各眼のための異なるＭＦＰスタックを形成および図示する。非特許文献７は、２つの空間的に形成された焦点面の間の奥行き融合された３Ｄ（ＤＦＤ）現象を説明する。非特許文献１０は、この現象（奥行きブレンドと説明される）を、複数の（３つ以上の）焦点面をもつセットアップに拡張した。しかしながら、非特許文献１０は、奥行きおよびテクスチャのための立体的捕捉から形成された（不一致を合成するためにＭＦＰをシフトすることによってではなく）、各眼によって別個のＭＦＰスタックを視聴することを説明すると理解される。
本明細書においていくつかの実施形態により開示されるいくつかの例示的なシステムおよび方法では、両方の眼は、わずかに異なる視点から焦点面の同じ単眼スタックを視聴しており、３Ｄ知覚のためのやや合成された不一致を作成する。従って、いくつかの実施形態では、図１８に示されるように、各眼のために別個に捕捉および形成されるＭＦＰの２つのセットの代わりに、ＭＦＰの１つのスタックのみが形成され、眼の間の点に向かって位置合わせされる。図１８は、平均的眼点から形成されるＭＦＰのスタックを示し、同じ焦点面は、わずかに異なる視点から左眼および右眼によって見られる。いくつかの実施形態では、形成され、眼の間の点に向かって位置合わせされたＭＦＰの１つのスタックが、図１８に示されるように、わずかに異なる視点からの１つの単眼ＭＦＰスタックの２つのバージョンを形成することによって立体的ＭＦＰディスプレイの各眼ビューにレンダリングされる。いくつかの実施形態では、ＭＦＰスタックの２つのバージョンの投影が合計され、従来の立体的表示（Ｓ３Ｄ）を使用して各眼に表示される。
焦点面からの３Ｄ知覚は、厳密にそれらの面上にある平坦な物体にとって適切である。しかしながら、奥行きブレンドを使用すると、知覚は、面間でも適切に近い。ＭＦＰスタックは、各眼に対して別々に形成され得るので、奥行きブレンドは、立体的なＭＦＰ（その２つのセット）に対する調節を調べることによって発展されている。しかしながら、奥行きブレンドは、（合成された）立体的不一致を通してより連続的な奥行き知覚を提供し得る（２つの眼で１つの単眼奥行きブレンドされたＭＦＰスタックを視聴する場合（図１８を参照されたい））。この現象は、図２９Ａ、図２９Ｂ、図４６Ａ、および図４６Ｂに対応する、奥行きブレンドをもつ交差した眼ステレオグラムを、これをもたないものと比較することによって見られることがある。
ＭＦＰから立体的画像を合成することが、以下で説明される。ＭＦＰのスタックを形成することに加えて、立体的画像ペア（ステレオグラム）が焦点面から形成される。例えば、ＭＦＰの単眼スタック（図２７Ａを参照されたい）が形成され、視聴者の（平均）眼点から、設定された（または所望のまたは決まった）距離のところに置かれ、２つの眼によって視聴される（図２７Ｂを参照されたい）。
図２７Ａは、奥行きブレンドによって形成される単眼ＭＦＰスタックを示す。図２７Ｂは、２つの眼で視聴スタックを視聴することを示す。図２７Ｃは、左眼のための焦点面を示し、そのために焦点面は右にシフトしたように見える。図２７Ｄは、右眼のための焦点面を示し、そのために焦点面は左にシフトしたように見える。左眼と右眼は、わずかに異なる視点からスタックを見る。対応して、立体的（または立体的ＭＦＰ）視聴のために単眼ＭＦＰスタックから２つの（立体的）ＭＦＰスタックを合成することは、ある方向に、ある量、ＭＦＰをシフトすることによってなされ得る。ＭＦＰのシフトは実際には、仮想視点変化に対するより複雑な変形の近似である（従来のＤＩＢＲシステムにおける３Ｄワーピングを参照されたい）。眼によって知覚される各焦点面の横位置は、焦点面の距離に線形的に依存する（図２７Ｂを参照されたい）。図２７Ｂに記載の固定された焦点面インターバルを使用するとき、最も遠い面が両方の眼から同じ位置に見られる（例えば、眼から遠くに置かれる）場合、中間の面は「１単位」横にシフトされるように見え、最も近い面は「２単位」横にシフトされるように見える。焦点面の離隔距離が屈折スケールで決まっている場合、それらの実際のメトリック距離は、様々な量の横シフトを導き出すために使用される。
眼位置に対応する立体的画像ペアを形成する場合、横にシフトされた焦点面は、それらを各眼点に投影することによって消失される。立体的画像ペアのために投影することは、実際には、焦点面上の対応する画素が、奥行き軸に沿って合計されることを意味する。これは、異なる立体不一致／視差をもつ２つの画像の立体的画像ペアをもたらす。いくつかの実施形態は、（例えば、図２８Ｂから図２８Ｄなどの）単眼ＭＦＰスタックとともに始まることがあり、合成的不一致を使用して立体的ＭＦＰスタックを生成することがある。
図２９Ａおよび図２９Ｂは、説明された手順によって形成された立体的画像ペアの例を与える。図２９Ａおよび図２９Ｂの例において使用される３つの焦点面を形成する際、線形（テント）フィルタをもつ奥行きブレンドが使用された。図２９Ａおよび図２９Ｂは、３つの線形的にブレンドされたＭＦＰをシフトおよび合計することによって形成された交差した眼ステレオグラムの例を示す。総不一致は、画像幅の２．７６％に相当する（特定のテスト画像を用いて最大６画素シフトされたＭＦＰを参照されたい）。焦点面の離隔距離が屈折スケールで決まっている場合、それらの実際のメトリック距離は、様々な量の横シフトを導き出すために使用される。
奥行きブレンドは、ＭＦＰレンダリングにおける奥行き知覚を改善する
いくつかの実施形態では、３Ｄ映像コンテンツは、高周波数コンテンツおよび低周波数コンテンツにフィルタリングされることがある。高周波数コンテンツは、１つまたは複数の高周波数焦点面に分解され得る。低周波数コンテンツは、１つまたは複数の再配信された焦点面を生成するために、１つまたは複数の高周波数焦点面に再配信され得る。１つまたは複数の再配信された焦点面は、１つまたは複数の多焦点面画像をレンダリングするために使用されることがある。
いくつかの実施形態では、３Ｄ映像コンテンツは、高周波数コンテンツおよび低周波数コンテンツにフィルタリングされることがある。高周波数コンテンツは、１つまたは複数の高周波数焦点面に分解され得る。低周波数コンテンツは、１つまたは複数の再配信された焦点面を生成するために、１つまたは複数の高周波数焦点面に再配信され得る。１つまたは複数の再配信された焦点面は、１つまたは複数の多焦点面画像をレンダリングするために使用されることがある。
非特許文献１７によれば、あらゆる人間に対して、最大２８の焦点ペインは、焦点面のための１／７ジオプトリー間隔に対応する、無限遠から４ジオプトリー（２５ｃｍ）までの奥行き範囲をカバーするのに十分である。平均的な視力をもつ人の場合、非特許文献１７は、１４個の焦点面が範囲をカバーすると述べている。従って、大きい数の焦点面が、高品質奥行き知覚のために使用されてよい。
多数の焦点面をレンダリングすることは、様々な技術的理由によって限定される。その数は、奥行きブレンドを使用することによって減少され得る。数個の焦点面のみを使用する場合、最適な留置は、人間の眼性質にとって有益であることがある。奥行き知覚の精度が視聴者からの距離に反比例して減少することにより、より大きい精度が、奥行き面を屈折奥行きの関数とすることによって取得されることがある。
線形スケールと屈折スケールとの間のマッピングが決定され得る。多くの例が、線形スケールで焦点面間の決まった間隔を使用することによって取得される。奥行きベースのブレンドは、さもなければ人間の眼に見え得る、奥行き次元における量子化誤差を減少させるために使用されることがある。奥行きブレンドは、奥行きベースの関数を使用して、各焦点面を構築するために使用される画素に重み付けすることを意味する。
図４２Ａは、いくつかの実施形態による重み対奥行きの例示的なブレンド関数４２００、４２０２、４２０４を図解するグラフである。１つの奥行きブレンド関数は、図４２Ａに示されるボックスフィルタ（ブレンドなしにスライスする）である。比較のために、区分的線形の、鋸歯形ブレンド関数であるテントフィルタが図４３Ａに示されている。いくつかの実施形態では、奥行き値の範囲は０から２５５の間であり、これは、本明細書では、図４２Ａおよび図４２Ｃなど、例のいくつかにおいて使用される。図４２Ｂは、例示的なテスト画像を示すイラスト４２１０である。図４２Ｃは、図４２Ｂの場合の画素距離を図解する例示的な奥行きマップ４２２０である。図４２Ｄ〜図４２Ｆは、いくつかの実施形態による、図４２Ａの奥行き重みを図４２Ｂのテスト画像４２１０および図４２Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラスト４２３０、４２４０、４２５０である。図４２Ｂおよび図４２Ｃは、ウェブページ（非特許文献１２）上で見出される画像に由来し、図４２Ｄから図４２Ｆは、その画像の修正バージョンである。
図４３Ａは、いくつかの実施形態による重み対奥行きの例示的なブレンド関数４３００、４３０２、４３０４を図解するグラフである。図４３Ｂは、例示的なテスト画像を示すイラスト４３１０である。図４３Ｃは、図４３Ｂの場合の画素距離を図解する例示的な奥行きマップ４３２０である。図４３Ｄ〜図４３Ｆは、いくつかの実施形態による、図４３Ａの奥行き重みを図４３Ｂのテスト画像４３１０および図４３Ｃのその例示的な奥行きマップとともに使用する例示的な焦点面画像を示すイラスト４３３０、４３４０、４３５０である。図４３Ｂおよび図４３Ｃは、ウェブページ（非特許文献１２）上で見出される画像に由来し、図４３Ｄから図４３Ｆは、その画像の修正バージョンである。
いくつかの実施形態では、多項式ブレンド関数が、奥行き範囲全体にわたって拡張する。図２１Ａ〜図２１Ｆは、３つの多項式ブレンド関数（図２１Ａ）を使用して焦点面を形成する例を示す。対応する焦点面は、テスト画像（図２１Ｂ）および図２１Ｃのその奥行きマップに関して、図２１Ｄ〜図２１Ｆに示されている。
図２２Ａ〜図２２Ｆは、３つの正弦曲線ブレンド重み関数（図２２Ａ）を使用して焦点面を形成する例を示す。対応する焦点面は、テスト画像（図２２Ｂ）および図２２Ｃのその奥行きマップに関して、図２２Ｄ〜図２２Ｆに示されている。
上記のブレンドフィルタに加えて、他の変形形態が、非特許文献１１によって提案されている。非特許文献１では、屈折的に（dioptrically）置かれるＭＦＰを形成するための方法が説明されている。シーンから奥行きおよびテクスチャを連続して捉える代わりに、この方法は、焦点スタックのシリーズ、すなわち、様々な焦点距離をもつ複数の画像の連続したセットを捉える。
焦点スタックを使用すると、ＭＦＰは、人間視覚系（ＨＶＳ）により、より正確に最適化され得る。具体的には、非特許文献１によれば、この方法は、捉えられたビューにおけるオクルージョン、反射、および他の非ランバート現象の影響に適用される。異なる焦点距離をもつカメラに加えて、入力画像のセットは、シーンから捉えられた明視野から導き出されることがある。非特許文献１では、第１世代Ｌｙｔｒｏ Ｉｌｌｕｍカメラが、この目的で実験された。
図４４は、ユーザからの異なる奥行きで捉えられた例示的な焦点スタック画像を図解する概略図である。図４４は、実世界ビューから捉えられ、ユーザの眼４４０２のための焦点（提示）面４４０４、４４０６、４４０８、４４１０を形成するために処理された焦点スタック（異なる焦点距離をもつ４つの画像４４１２、４４１４、４４１６、４４１８）の例４４００を示す（非特許文献１から改変されている）。挿入図４４２０、４４２２、４４２４、４４２６、４４２８、４４３０、４４３２、４４３４は、様々な焦点ぼけをもつ焦点スタック画像４４００の詳細を示す（非特許文献１から改変されている）。
図４５Ａ〜図４５Ｄは、例示的な線形的にブレンドされた焦点面を示すイラストである。図４５Ｅ〜図４５Ｈは、焦点スタックから処理された例示的な焦点（提示）面を示すイラストである。図４５Ａ〜図４５Ｄは、線形的奥行きブレンドによって形成されたＭＦＰの比較を示し、図４５Ｅ〜図４５Ｈは、非特許文献１における最適化された手順によって形成されたＭＦＰの比較を示す。図４５Ａ〜図４５Ｈは、従来の線形ブレンドを用いて形成された焦点面４５００、４５１０、４５２０、４５３０（図４５Ａ〜図４５Ｄ）と、最適化されたブレンドを用いて焦点スタックから形成された焦点（例えば、提示）面４５４０、４５５０、４５６０、４５７０（図４５Ｅ〜図４５Ｈ）を比較する。印刷されたときのより良い可視性のために、図４５Ｅ〜図４５Ｈにおける画像の明るさが増加されていることに留意されたい。図４５Ａから図４５Ｈは、非特許文献１に掲載されている画像の線画バージョンである。
非特許文献１の手法は、シーン捕捉のために奥行きプラステクスチャフォーマットを使用しない。代わりに、システムは、異なる焦点距離をもつ画像のセットを捉え、それらを周波数領域で処理し、人間視覚系のモデル（網膜ぼやけなど）により異なる焦点面（または非特許文献１に表される提示面）に情報を割り当てる。
非特許文献１において説明されるように、おそらく印刷したときのより良い可視性のために、最適化された焦点面の輝度（図４５Ｅ〜図４５Ｈ）は、（約）２倍に高められていると思われる。本開示において後で、これらの焦点面をテスト画像として使用するとき、０．５による逆スケーリングが、それらに対して結果の飽和（１の分割の違反）を防止するために行われる。
特に、図４５Ａ〜図４５Ｄに示される線形的にブレンドされた焦点面内にいくつかの水平輝度アーチファクトもある。これらのアーチファクトは、（１の分割を論証する）元のテスト画像を再び生じさせるために焦点面を合計するときに気づかれる。非特許文献１は、彼らの論文集またはその補足資料においてテスト画像のための奥行きマップを与えると理解されず、そのため、本発明者らは、ＭＦＰを再生成することはできない。観察されたアーチファクトにもかかわらず、これらの焦点面は、非特許文献１における手法とのそれらの性能の比較を可能にするために、いくつかの実施形態の影響を視覚化するために使用される。
非特許文献１によれば、高周波数（生成された縁およびテクスチャ）構成要素は、それらの最も近い焦点距離に割り当てられることから利益を得る。低周波数構成要素も、より遠く離れた焦点面に割り当てられることがある。非特許文献１を引用すると、「高周波数画像コンテンツは、その最も近い面に割り振られなければならず、低周波数は、不十分に強制され、面間で再配信されることがある。それは、表示強度に関する制約を満たすためにアルゴリズムが活用するのが、これらの不十分に強制される自由度である。」高周波数構成要素は、焦点性から奥行きを知覚する際に優位を占める。低周波数構成要素、例えば、ゆっくりと変わる輝度またはカラーは、奥行き知覚のための数個のキューのみを生成する。いくつかの実施形態では、既知の方法によって生じさせられた焦点面（例えば、線形奥行きブレンドを使用して生じさせられた図４５Ａ〜図４５Ｄ）は、元の焦点面位置間でそれらの低周波数コンテンツを再配信することによって処理され、再配信された焦点面は、それらを使用して、立体的視点または変化する視点（後者は運動視差のため）を作成するとき、元の未処理焦点面にまさる利益を有するために示される。
奥行きセンサによって検出される見かけ上の距離は、反射または屈折される（非ランバート）画像コンテンツに必ずしも当てはまらない。焦点距離の関数として画像情報を捉える場合、非特許文献１のシステムと同様に、焦点性質および距離は、奥行き次元における小さい十分な離隔距離（焦点距離の小さい十分な差）を用いて画像が捉えられる場合、そのようなコンテンツにも合致する。
多くの３Ｄ表示システムの場合、新しい視点は、立体的レンダリングまたはマルチビューレンダリングをサポートするために導き出されることから利益を得る。例えば、奥行きプラステクスチャ捕捉フォーマットを使用する場合、立体的ビューは、２つのビューの両方が合成されるように、捕捉点のまわりで対称的に仮想視点を形成することによって導き出されることがある。
奥行きプラステクスチャを捕捉フォーマットとして使用することは、立体的３Ｄにおける利益を有する。立体的ベースラインはフロントエンドで固定されていないが、不一致の量および方向は、記憶されるコンテンツの場合も、受信機内で合成されることがある。
多くの場合に、対応する観点変化は、遮蔽物体の後ろのビューの部分を明らかにし、これは、非特許文献３において説明されている。図９の概略的ピクチャ並びに図１０Ａおよび図１０Ｂの例によって図解されるように、これらのディスオクルージョンは、捉えられたテクスチャまたは奥行きはそれらのエリアからの情報を含まないので、各新しい斜視画像における間隙または穴として現れる。
図９は、ソース位置／画像からターゲット位置／画像にカメラ視点を変化させるときに図解されるように、視点を変化させるときディスオクルージョンが生じさせられ得ることを示す。
ディスオクルージョンを生じさせる仕組みは、ＤＩＢＲおよびＭＦＰベースの仮想視点生成に類似してよい。これらのディスオクルージョンは、視点生成において、またはＭＦＰビューアが視聴点から十分外れる場合、作成されることがある。より大きい不一致または視点変化は、ディスオクルージョンの可視性を減少させる手段を使用することによって達成されることがある。多くの以前のシステムの場合、ディスオクルージョンは依然として、最大不一致を限定する。
図１０Ａおよび図１０Ｂは、３Ｄワーピング画像の例を与える。この例は、左眼画像のみを示す。右眼画像は、同じ手段で形成され、類似の欠陥を有するが、それは物体の右側である。図１０Ａおよび図１０Ｂは、３Ｄワーピングによって生じさせられるディスオクルージョンの例を示す。３Ｄワーピング後の元の単眼画像は左にあり、３Ｄワーピングされた画像の詳細は右にある（線形補間ベースの穴充填を使用する場合）。
穴充填では、様々な画像および奥行きマップフィルタリングおよび修復アルゴリズムは、穴または他の形のディスオクルージョンを充填するために使用される。オクルージョンのタイプおよび量はコンテンツに大きく依存し、歪みおよびそれらの可視性もコンテンツに大きく依存する。ディスオクルージョンは、物体縁のまわりで知覚される立体的品質を劣化させることがある。それらは、合成的不一致の量および奥行きの知覚を限定することがある。ＭＦＰをシフトすることに基づいた仮想視点生成のための手順は、垂直な縁、またはより一般に、選ばれた立体ベースラインに垂直な縁のそばにディスオクルージョンを生じさせ得る。
図４６Ａおよび図４６Ｂは、いくつかの実施形態による、ブレンドされていない焦点面画像を使用して形成された、対応して、右眼および左眼のための例示的な立体的画像を示すイラストである。いくつかの実施形態では、ブレンドされていない焦点面画像を形成するためにボックスフィルタリング（例えば、図２０Ａの奥行き重み関数など、歯形奥行き重み関数を使用するボックスフィルタ）が使用される。図４６Ａおよび図４６Ｂは、ＭＦＰのスタックに２つの視点４６００、４６５０を導出することによって形成される、立体画像内のディスオクルージョンの例を与える。いくつかの実施形態では、ブレンドされていない焦点面画像は、入力画像をボックスフィルタリングすることによって生成されてよい。この例では、ＭＦＰは、それらを形成するためにボックスフィルタが使用されたので、ブレンドされている奥行きでなかった。図４６Ａおよび図４６Ｂは、３つのブレンドされていない（ボックスフィルタリングされた）ＭＦＰをシフトし合計することによって形成される、交差した眼ステレオグラムにおけるディスオクルージョンの例を示す。総不一致は画像幅の２．７６％に対応する（両方の画像のために最大６画素シフトされたＭＦＰを参照されたい）。奥行きブレンドが使用されるとき、ディスオクルージョンはあまりでない。奥行きブレンドはまた、ＭＦＰ間の奥行き値を作成する。これらの改善の両方は、図４６Ａおよび図４６Ｂを、奥行きブレンドが使用された図２９Ａおよび図２９Ｂに比較することによって見られるであろう。
奥行き次元における量子化効果を減少させることに加えて、奥行きブレンドは、ＭＦＰからの視点を合成した場合、ディスオクルージョンを減少させることがある。ディスオクルージョンを減少させるために、隣接する奥行き面からのコンテンツが奥行きブレンドのために使用される。焦点面に対応する奥行きにおけるコンテンツがない場合、近い（閉塞している）焦点面を横にシフトすることにより、どんなテクスチャまたは色情報も有しない（および透明のように見える）空のエリアが明らかになる。これらの空のエリアは、（全ての焦点面を通る透過性により）物体縁のそばの黒いストライプとして見えることがある。隣接する焦点面におけるコンテンツがない場合、ディスオクルージョンを減少させるべき奥行きブレンドはない。従って、奥行きブレンドによるディスオクルージョンの減少は、コンテンツに依存する。
ＭＦＰからの合成立体の形成では、以前の奥行きブレンド方法の１つの課題は、それらが、低周波数コンテンツ（輝度および色が緩やかに変化する画像エリア）の大部分を（多くの焦点面の）１つの焦点面に集中させることによるディスオクルージョンを有することがある、ＭＦＰを生じさせることである。対応して、ＭＦＰ内の大きいエリアは、どんな情報もなく残される。
いくつかの実施形態は、複数の焦点面（ＭＦＰ）を、それらが仮想視点生成またはＭＦＰレンダリングについてより良い性質を有するように後処理する。いくつかの実施形態は、ＭＦＰの典型的な穴または非テクスチャ（例えば、白色背景）エリアを、それらの低い周波数コンテンツを再配信することによって取り除くことに基づく。特に、再配信は、大きい不一致の場合でも、仮想（例えば、立体的）視点を生成するためにＭＦＰを使用したとき、ディスオクルージョンを減少させる。
再配信は、ＭＦＰ内にコンテンツを集中する代わりに、全ての焦点面上に、より一様に低周波数コンテンツを割り振る。この方法は、他のＭＦＰシステムよりも一様に分散された輝度値および色値を生成し得る。低周波数コンテンツは、３Ｄ知覚を劣化させることなしに再割り振りされ得る。この手順は、ＭＦＰのために１の分割を保持し、これは、それらが合計されて（例えば、十分に近く）元の画像に戻ることを意味する。
２つの仮想視点から視聴される、モノスコープＭＦＰスタックは、何らかのベースライン方位において不一致および運動視差をサポートするそれらの能力が魅力的である。この利益は、立体的３Ｄにおけるより従来の奥行き画像ベースのレンダリング（ＤＩＢＲ）のそれに匹敵する。
シーンを捉える前に立体的視点、不一致、およびベースラインが選ばれた場合、受信端末は、シーンを捉えた後にこれらのパラメータを変更することを可能にしないことがある。視聴者がこれらのパラメータを設定することを希望する場合、またはシステムが、異なるパラメータを用いて生じる立体的コンテンツのレンダリングを組み合わせることを試みた場合、問題が発生することがある。
ＤＩＢＲシステムは、ＤＩＢＲを使用する立体的画像形成が受信機の後処理段階において追加のオプションを可能にし得るので、従来の立体的映像の代わりに使用されてよい。（奥行きバジェットを使用する）立体的不一致の量は、例えば、シーンのシューティング中よりも後で制御するのに有益であり得る、捉えられたコンテンツに依存し得る。同様に、複数の焦点面を生じるために奥行きプラステクスチャフォーマットを使用することは、シューティングしている間よりも後で制御しやすいことがある。ＭＦＰの単眼スタックの受信端末における後処理は、可変の不一致とともにベースライン方位においてレンダリングする立体的ＭＦＰを可能にする。
調節サポートを伴う多くの３Ｄディスプレイシステムまたはニアアイディスプレイは、視点のさらに小さい変化をサポートまたは許容しない。（再配信される）ＭＦＰを生じるためのいくつかの実施形態は、比較的大きい視点変化、不一致、および運動視差をサポートし、例えば３ＤｏＦ＋アプリケーションにおける視覚的品質を改善する。比較的大きいディスオクルージョンは、前のＭＦＰシステムにおけるよりも一様にＭＦＰ輝度値および色値を分散させることによって減少され得る。この一様な分布は、低周波数コンテンツをＭＦＰのうちの１つに集中させる代わりに、低周波数コンテンツをいくつかまたは全ての焦点面上に割り振ることに基づく。
いくつかの実施形態は、何らかの既存の方法を使用して形成されるＭＦＰの性質を改善するために後処理を実行する。これらの方法は、入力として奥行きおよびテクスチャ入力並びに焦点面のスタックを使用してよく、複数の捕捉および送信フォーマットを用いて動いてよい。
以前のＭＦＰディスプレイでは、立体的不一致に関連するディスオクルージョンは、テクスチャおよび奥行きのために立体的捕捉を使用して取得される、眼ごとに別個のＭＦＰスタックをレンダリングすることにより、問題でないことがある。しかしながら、高い輝度およびコントラスト差をもつ焦点面を使用することにより、眼の回転によって引き起こされるさらに小さい視点変化が、小さくはあるが可視のディスオクルージョンとして現れ得る。これらのアーチファクトは、いくつかのシナリオの下で取り除かれ得る。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、不一致が大きい仮想視点の生成を可能にする。
視点変化をサポートするためのＭＦＰの再配信
以下で説明されるのは、視点の変動を伴う視点生成のための最適化されたＭＦＰを生じるための例示的な手順である。再配信されたＭＦＰを生じるためのいくつかの実施形態は、奥行きブレンド方法によって生じ得るＭＦＰ入力を受信することを含む。入力画像をローパスフィルタリングすることによって、および各ＭＦＰをローパスフィルタリングすることによって発生し得る、低周波画像エリアが検出される。各ＭＦＰのローパス構成要素は、各ＭＦＰから対応するローパス構成要素を取り除くことによって、およびローパスフィルタリングされた入力画像の整数分の１を追加することによって発生し得る、ローパス画像フィルタ出力の等しいシェアによって置き換えられてよく、この整数分の１は、使用されるＭＦＰの数の逆数である。ＭＦＰは、ディスオクルージョンの量が減少した立体的ビューを合成するためのＭＦＰを生じるように、および／または奥行き次元をもつＭＦＰをレンダリングして自然な調節をサポートする（ＶＡＣを取り除く）ように再配信されてよい。高周波画像コンテンツは、そのようなものとして導き出されないことがあるが、低周波数構成要素のための補足であり得る。
以下で説明されるのは、視点の変動を伴う視点生成のための最適化されたＭＦＰを生じるための例示的な手順である。再配信されたＭＦＰを生じるためのいくつかの実施形態は、奥行きブレンド方法によって生じ得るＭＦＰ入力を受信することを含む。入力画像をローパスフィルタリングすることによって、および各ＭＦＰをローパスフィルタリングすることによって発生し得る、低周波画像エリアが検出される。各ＭＦＰのローパス構成要素は、各ＭＦＰから対応するローパス構成要素を取り除くことによって、およびローパスフィルタリングされた入力画像の整数分の１を追加することによって発生し得る、ローパス画像フィルタ出力の等しいシェアによって置き換えられてよく、この整数分の１は、使用されるＭＦＰの数の逆数である。ＭＦＰは、ディスオクルージョンの量が減少した立体的ビューを合成するためのＭＦＰを生じるように、および／または奥行き次元をもつＭＦＰをレンダリングして自然な調節をサポートする（ＶＡＣを取り除く）ように再配信されてよい。高周波画像コンテンツは、そのようなものとして導き出されないことがあるが、低周波数構成要素のための補足であり得る。
図４７は、いくつかの実施形態による、前方奥行き範囲、中間奥行き範囲、および後部奥行き範囲の再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。図４７は、３つのＭＦＰのための再配信プロセスのブロック図４７００である。いくつかの実施形態では、再配信４７０８は、従来の方法で形成されたＭＦＰのための後プロセスである。いくつかの実施形態では、（例えば、従来の）焦点面（ＭＦＰ）のセットが入力として使用される。受信される画像（ピクチャ）４７０４は、ピクチャ奥行きデータ４７０２を使用してそれらの焦点面から合計され得るか、またはＭＦＰブロック４７０６によって受信され得る。ＭＦＰブロック４７０６は、前方、中間、および後部奥行き４７１０、４７１２、４７１４面を出力し得る。各焦点面（Ｎのうちの１つ）のローパス構成要素は、スケーリングファクタ１／Ｎによって入力画像のローパス構成要素によって置き換えられ、Ｎは焦点面の数である。例えば、Ｎは３である。このプロセスは、ＭＦＰの１の分割の性質を保持し得る。
図４８Ａ〜図４８Ｃは、いくつかの実施形態による、再配信のない例示的な焦点面画像を示すイラストである。図４８Ｄ〜図４８Ｆは、いくつかの実施形態による、再配信のある例示的な焦点面画像を示すイラストである。図４８Ａ〜図４８Ｆは、いくつかの実施形態による、未処理の花テスト画像、および対応して、例えば、図２１Ｂおよび図２１Ｃの、それのそれぞれの奥行きマップの修正バージョンである。図４８Ａ〜図４８Ｆは、再配信の前および後のＭＦＰの例を示す。図４８Ａ〜図４８Ｃは、再配信の前に線形的にブレンドされたＭＦＰ４８００、４８１０、４８２０を示す。図４８Ｄ〜図４８Ｆは、同じＭＦＰ４８３０、４８４０、４８５０の再配信されたバージョンを示す。（水平方向と垂直方向の両方において）２０画素の半径をもつガウシアンフィルタがローパスフィルタリングのために使用された。図４８Ａ〜図４８Ｆは、再配信が、低周波数構成要素を（図４８Ｄ〜図４８Ｆの白色背景などの）元々情報のないエリアにもたらしながら、各焦点面の高周波数構成要素（詳細）を保持することを明らかにする。
図４８Ａ〜図４８Ｃと図４８Ｄ〜図４８Ｆにおける両方のＭＦＰの例は、捉えられた情報を異なる調節レベル（焦点距離）に分割する。しかしながら、それらは、それらがディスオクルージョンを修復する能力に差を有する。図４８Ａ〜図４８Ｃにおける線形ブレンドによって生じるＭＦＰスタックは、ディスオクルージョンを引き起こし得る非テクスチャ／未着色（例えば、白色背景）エリアを有するが、図４８Ｄ〜図４８Ｆにおける同じＭＦＰの再配信されたバージョンは、改善を示し、より均一な特性を有する。新しい視点のためにまたは視聴者の小さい動きのためにＭＦＰの第２のセットをシフトしたとき、ディスオクルージョンはより見えにくい。
図４８Ｄ〜図４８ＦにおけるＭＦＰは、テクスチャエリアと非テクスチャ（例えば、白色背景）エリアの間のハイコントラスト移行部がフィルタ処理されないように、選択的にローパスフィルタリングされる。低周波数画像構成要素は、様々な奥行きにおいて割り振られることに敏感でないので、いくつかの例示的な実施形態では、低周波数画像構成要素は、全ての焦点面に一様に割り振られる。低周波数は、ただ１つの焦点面に割り振られるか、または元のＭＦＰ距離のいずれかの間のもしくは外部の（それに属しない）余分の焦点面に割り振られ得る。
特定の割振りを選好する様々な理由があってよい。例えば、割振りの比が、コンテンツの性質に応じて変動してよい。また、視聴者は、結果のＭＦＰが１の分割に適合する（かまたはそれに近い）ことを期待することがある。
図４９Ａ〜図４９Ｂは、いくつかの実施形態による、線形的にブレンドされた焦点面を使用して形成された交差した眼ステレオグラムのための例示的な右画像および左画像を示すイラストである。図４９Ａおよび図４９Ｂは、図４５Ａ〜図４５Ｄに示される線形的にブレンドされた焦点面を使用して形成された交差した眼ステレオグラムの例を示す。図４９Ａおよび図４９Ｂは、いくつかの実施形態による、線形的にブレンドされた焦点面（非特許文献１に現れる画像の線画バージョンである図４５Ａ〜図４５Ｄ）をシフトすることによって形成された交差した眼ステレオグラム４９００、４９５０を示す。総不一致は４％（６００×６００画素画像内の２×１２画素）である。図４９Ａおよび図４９Ｂは、物体縁のそばの例示的なディスオクルージョン誤差４９０２、４９５２を示す。
図５０Ａ〜図５０Ｂは、いくつかの実施形態による、再配信された焦点面を使用して形成された交差した眼ステレオグラムのための例示的な右画像および左画像を示すイラストである。図５０Ａおよび図５０Ｂは、図４９Ａおよび図４９Ｂの同じだが、再配信された焦点面の一実施形態を示す。図５０Ａおよび図５０Ｂでは、例示的なディスオクルージョン５００２、５０５２ははるかにより小さい。図５０Ａおよび図５０Ｂは、説明される簡略化された手順を用いて再配信された焦点面を使用して形成された交差した眼ステレオグラムを示す。総不一致は４％である。ディスオクルージョン誤差は、図４９Ａおよび図４９Ｂにおけるものに対して減少される。図５０Ａおよび図５０Ｂは、非特許文献１からの未処理の画像（図４５Ａ〜図４５Ｄ）の処理済みバージョンである。
図４９Ａ、図４９Ｂ、図５０Ａおよび図５０Ｂでは、４つのＭＦＰは、画像幅の４．０％に対応する合成不一致の量で使用された（６００×６００画素ＭＦＰが、両方の視点のために最高１２画素分だけシフトされる）。図５０Ａおよび図５０Ｂの例では、ＭＦＰは、テクスチャエリアと非テクスチャ（例えば、白色背景）エリアの間のハイコントラスト移行部がフィルタ処理されないように、選択的にローパスフィルタリングされる。
ＭＦＰの低周波数構成要素の再配信
非特許文献１によって示されるように、調節は、再配信されたＭＦＰに対してより自然であり得る。特に、これはシーン内の非ランバート効果について成り立つ。非特許文献１は、後プロセスとしてＭＦＰを再配信するように理解されず、恣意的なベースライン方位においてさえ、立体的ビューにおいて大きい合成不一致を可能にするために使用されるように理解されない。
非特許文献１によって示されるように、調節は、再配信されたＭＦＰに対してより自然であり得る。特に、これはシーン内の非ランバート効果について成り立つ。非特許文献１は、後プロセスとしてＭＦＰを再配信するように理解されず、恣意的なベースライン方位においてさえ、立体的ビューにおいて大きい合成不一致を可能にするために使用されるように理解されない。
いくつかの実施形態によれば、低周波数構成要素の再配信は、不一致が大きい仮想視点生成の多焦点面（ＭＦＰ）のために使用される。低周波数構成要素を（再）配信することによって、従来の焦点面内のおよびそれらの間の画素値の大きい変動が回避され得る。これは、今度は、新しい視点のための焦点面をシフトするとき（３Ｄワーピングを参照されたい）、ハイコントラスト効果および可視のディスオクルージョンを減少させる。
フィルタリング動作の実行に関して
再配信は、各焦点面が、全シーンの低周波数コンテンツの指定された整数分の１、および（対応する調節距離における）焦点面に固有のそれらの高周波数構成要素の合計となるように、修正されたＭＦＰを生じ得る。このプロセスは、ＭＦＰ固有の低周波数構成要素を、低周波数構成要素全体の特定の部分と置き換える。
再配信は、各焦点面が、全シーンの低周波数コンテンツの指定された整数分の１、および（対応する調節距離における）焦点面に固有のそれらの高周波数構成要素の合計となるように、修正されたＭＦＰを生じ得る。このプロセスは、ＭＦＰ固有の低周波数構成要素を、低周波数構成要素全体の特定の部分と置き換える。
高周波数構成要素と低周波数構成要素は、それらのいずれか一方を導き出す際に、他方の構成要素が減算によって決定され得るように相補的である。図４７に示される例示的なプロセスでは、低周波数構成要素が導き出され、高周波数構成要素は、フィルタリングされていない画像から（減算による）それらの補足として取得される。このプロセスは反対であってよく、または両方の構成要素が、周波数ドメインにおいて相補的伝達関数を有する、２つのフィルタを用いて直接取得されてよい。ユーザの調節距離はレンダリングするときに決定または記憶されないので、多くのシステムは、全ての焦点面のために同じフィルタ関数を使用し得る。
元のＭＦＰは、テクスチャエリアと非テクスチャ（例えば、白色背景）エリアの間のハイコントラスト変化がフィルタリングされないように（例えば、図４５Ａ〜図４５Ｄ参照）、選択的にフィルタリングされることに留意されたい。選択的フィルタリングなしでは、ハイコントラストエリアは、元の画像コンテンツの一部ではない高周波数構成要素を生じ、物体縁の周りにリンギングを誘発し、それらを使用した再配信されたＭＦＰおよびレンダリングの品質を劣化させ得る。
いくつかの実施形態による開示される例では、ガウシアンローパスフィルタが、調整可能な半径（フィルタウィンドウ）とともに使用された。いくつかの実施形態では、非０値（有色）エリアと０値（透明またはボイド）エリアの間の急激な移行部に属しない画素にのみフィルタリング動作が適用されることが、最終結果にとって有益である。選択的ガウシアンフィルタは、設定されたしきい値よりも大きい色差を有する画像エリアをフィルタリングしない。有色エリアと黒いエリアの間の一般に高いコントラストにより、それらの縁は確実に検出され得、検出はしきい値に敏感でない。
図５１Ａ〜図５１Ｂは、いくつかの実施形態による、ＭＦＰを再配信する際に選択的ガウシアンフィルタリングを使用して形成された交差した眼ステレオグラムのための例示的な右画像および左画像を示すイラストである。図５１Ａおよび図５１Ｂは、ＭＦＰを再配信する際に選択的ガウシアンフィルタリングを使用する交差した眼ステレオグラムを示す。パラメータは、フィルタリングがしきい値（例えば、ここでは６０）よりも大きく画素値を変化させる場合はフィルタリングが適用されないことを除いて、通常ならば図５０Ａ〜図５０Ｂにおけるのと同じである。例示的なディスオクルージョン誤差５１０２、５１５２は、図５０Ａ〜図５０Ｂにおけるものからさらに減少される。この結果は、実装において使用されるいくつかの不正確さによって誘発され得る、シーンの滑らかな部分における何らかの輪郭描画を示す。図５１Ａおよび図５１Ｂは、非特許文献１からの未処理の画像（図４５Ａ〜図４５Ｄ）の処理済みバージョンである。
非ランバートコンテンツのサポートに関して
非特許文献１は、反射または屈折についての非ランバート効果が正しく提示される方法を報告している。多くの以前の方法は、このタイプのコンテンツをサポートしないが、このサポートの欠如は、特定のタイプのコンテンツだけに伴う欠点であり得る。
非特許文献１は、反射または屈折についての非ランバート効果が正しく提示される方法を報告している。多くの以前の方法は、このタイプのコンテンツをサポートしないが、このサポートの欠如は、特定のタイプのコンテンツだけに伴う欠点であり得る。
開示される方法が複数の捕捉および送信フォーマットを使用し得るように、非ランバートコンテンツは、例えば、ある入力フォーマットを選択することによって同様に使用されてよい。多くの以前のシステムは、奥行きセンサを用いた奥行きマップ生成をサポートしないが、焦点スタック（非特許文献１を参照されたい）をサポートするか、または非ランバートコンテンツについても正しい画素距離を捕捉することが可能であり得るいくつかの他のカメラベース（不一致から奥行き）の方法によってサポートし得る。従って、入力として受信されたＭＦＰは、反射または屈折された画像コンテンツを正しい距離において図示するように生じさせられるかまたは補正され得る。
いくつかの実施形態では、焦点スタック由来のＭＦＰ（提示面）が、フロントエンドにおいて入力として受信され、例えば、立体または運動視差を合成するために、ＭＦＰ形成段階なしに使用されてよい。いくつかの実施形態では、方法は、複数の焦点面画像を受信することと、左眼と右眼の間の立体不一致を提供するために頭部情報を使用して複数の焦点面画像を方位付けることと、方位付けられた複数の焦点面画像を表示することとを含んでよい。
再配信された焦点面を形成するための例示的な実施形態
低周波数構成要素を再配信するための手順が上記で説明された。この手順は、テクスチャ画像を異なるＭＦＰに分解することと、奥行きブレンド方法（例えば、線形フィルタリング）を使用して異なる面の間で補間することとに基づいてよい。ＭＦＰの間で低周波数を再配信するためのフィルタリング動作は、後プロセスとして行われてよい。
低周波数構成要素を再配信するための手順が上記で説明された。この手順は、テクスチャ画像を異なるＭＦＰに分解することと、奥行きブレンド方法（例えば、線形フィルタリング）を使用して異なる面の間で補間することとに基づいてよい。ＭＦＰの間で低周波数を再配信するためのフィルタリング動作は、後プロセスとして行われてよい。
図５２Ａは、いくつかの実施形態による、低周波数フィルタリングおよび高周波数フィルタリングを使用して再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。図５２Ｂは、いくつかの実施形態による、ローパスフィルタリングを使用して高周波数焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。例示的なプロセス５２００（図５２Ａを参照されたい）は、フィルタ５２０６を使用してピクチャ５２０２の高周波数コンテンツと低周波数コンテンツを隔て、その後、５２０８において、ピクチャ奥行きデータ５２０４を使用してコンテンツを焦点面５２１０に分解する。低周波数の再配信５２１２およびＭＦＰのレンダリング５２１４も行われる。フィルタリング段階を変更することは、代替のＭＦＰを生成する。図５２Ａは、いくつかの実施形態による、ＭＦＰのための別の再配信プロセスのブロック図である。図５２Ｂは、ピクチャデータ５２５２の相補的なローパスフィルタ５２５４およびハイパスフィルタ５２５６の実装のために例示的なプロセス５２５０を図示する。例示的なプロセス５２００は、ローパスフィルタリングが、ハイコントラスト移行部をしばしば含んでいる焦点面に対して行われないとき、例えば、選択的ガウシアンフィルタを使用すること、およびそれのしきい値パラメータを最適化することを回避し得る。対応して、例示的なプロセス５２００を使用するいくつかの実施形態は、品質を改善し得る。
後プロセスとしてのフィルタリングは、ＭＦＰプロセスおよび出力によって使用されてよい。しかしながら、本明細書においていくつかの実施形態により開示されるいくつかの例示的な方法およびシステムは、品質を改善し得る。いくつかの実施形態は、選択的または案内されたフィルタリングの使用を回避して、フィルタリングからボイドエリア（実際の焦点面コンテンツに属しない画素）を除外する。ボイドエリアは、ＭＦＰ内で白いまたは黒い領域として見えることがあり、フィルタリングした場合に正しく検出されないことがある。画像コンテンツによっては、これは、フィルタリング結果において欠陥として見え、再配信された焦点面の品質を減少させることがある。いくつかの実施形態は、パラメータが使用されないので、選択的フィルタリングのためのしきい値の最適化を回避する。
いくつかの実施形態では、再配信された焦点面を形成するためのプロセスは、低周波数コンテンツについて入力画像をフィルタリングすることと、低周波数コンテンツを複数の焦点面画像に再配信することとを含んでよい。いくつかの実施形態では、再配信された焦点面を形成するためのプロセスは、高周波数コンテンツについて入力画像をフィルタリングすることと、高周波数コンテンツを複数の焦点面画像に分解することとを含んでよい。いくつかの実施形態では、分解する場合、高周波数構成要素は、例えば、低周波数コンテンツを再配信する場合とは異なり、それらの元の奥行きから移動されない。再配信された焦点面の形成のための例示的なプロセスは、図５２Ａに示されるようなものであってよい。いくつかの実施形態では、図５２Ａに示される高周波数コンテンツＨＦは、図５２Ａに示される低周波数コンテンツＬＦから導き出されてよく、またはその逆も同様である。
符号付き算術の使用の回避
図５３は、いくつかの実施形態による、前方奥行き範囲、中間奥行き範囲、および後部奥行き範囲に対する再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。所与の例のために再配信を行う場合、図５３に示されるわずかに修正されたプロセスフローが使用される。図５３は、再配信プロセス５３００のブロック図を示す。３つのＭＦＰの再配信５３２０が例として示される。画像処理ソフトウェアにおける飽和を防止するために、定数（０．５および２）を用いるスケーリング演算が使用される。いくつかの実施形態は、入力として焦点面（ＭＦＰ）のセットを使用する。受信される画像（ピクチャ）５３０４は、それらの焦点面５３０６から合計され得るか、またはＭＦＰブロック５３０６によって受信され得る。ＭＦＰブロック５３０６は、ピクチャ５３０４に加えてピクチャ奥行きデータ５３０２を受信し得る。ＭＦＰは、前方範囲面５３１４、中間範囲面５３１６、および後部範囲面５３１８に分けられ得る。再配信プロセス５３００は、前方、中間、および後部の再配信されたピクチャを出力し得る。いくつかの実施形態では、算術演算および算術演算を実行する構成要素（例えば、ＡＬＵ）が、十分なビットを用いる符号付き算術を使用して符号付き計算を扱ってよい。
図５３は、いくつかの実施形態による、前方奥行き範囲、中間奥行き範囲、および後部奥行き範囲に対する再配信される焦点面画像を生成するための例示的なプロセスを図解するフローチャートである。所与の例のために再配信を行う場合、図５３に示されるわずかに修正されたプロセスフローが使用される。図５３は、再配信プロセス５３００のブロック図を示す。３つのＭＦＰの再配信５３２０が例として示される。画像処理ソフトウェアにおける飽和を防止するために、定数（０．５および２）を用いるスケーリング演算が使用される。いくつかの実施形態は、入力として焦点面（ＭＦＰ）のセットを使用する。受信される画像（ピクチャ）５３０４は、それらの焦点面５３０６から合計され得るか、またはＭＦＰブロック５３０６によって受信され得る。ＭＦＰブロック５３０６は、ピクチャ５３０４に加えてピクチャ奥行きデータ５３０２を受信し得る。ＭＦＰは、前方範囲面５３１４、中間範囲面５３１６、および後部範囲面５３１８に分けられ得る。再配信プロセス５３００は、前方、中間、および後部の再配信されたピクチャを出力し得る。いくつかの実施形態では、算術演算および算術演算を実行する構成要素（例えば、ＡＬＵ）が、十分なビットを用いる符号付き算術を使用して符号付き計算を扱ってよい。
図５３では、各焦点面（Ｎのうちの１つ）のローパス（低周波数）構成要素は、スケーリングファクタ１／Ｎによって入力画像のローパス構成要素によって置き換えられ、Ｎは、使用される焦点面の数である。この例では、Ｎは３であり、これは、１／３によるスケーリングに対応する。
画像処理ソフトウェアにおける飽和を防止するために、他の定数（０．５および２で乗算）を用いるスケーリング演算が使用される。０．５によるスケールダウンが第１の加算演算において行われ、これは、オーバーレイしている画像に５０％透過性を適用することによって行われる。各焦点面からの低周波数構成要素の減算は、０．５によるダウンスケーリング、および対応して、その演算後の２による結果の乗算を必要とする。
ＭＦＰの低周波数構成要素は、合計されて（例えば、十分に近く）元の画像の低周波数構成要素になり、従って、加算および減算演算は、ＭＦＰ分解について１の分割を（例えば、十分に近く）保持することに留意されたい。
図５３に図示される実装は、計算精度の何らかの減少を引き起こすことがある。特に、いくつかの画素は、最後の減算フェーズにおいて０に飽和することがあり、２によって乗算されたとき、元にスケーリングしないことがある。これは、画像のいくつかの部分におけるわずかな輪郭描画として現れることがあり、これは、再配信の、いくつかの実施形態による、開示される例示的な方法では引き起こされない。
変形形態における符号付き画素の使用の回避
図５４は、いくつかの実施形態による、ローパスフィルタリングを使用して再配信される焦点面画像を生成する例示的なプロセスを図解するフローチャートである。図５４に対応するシミュレーションを行う際に、手順５４００は、符号付き整数／画素（または（符号付き）高周波数表現）を使用することを回避するために適用された。図５４は代替的実施形態を示す。いくつかの実施形態では、ピクチャ５４０２およびピクチャ奥行き５４０４が手順５４００によって受信される。ピクチャ５４０２は、５４０６において、フィルタリングされて高周波数構成要素および低周波数構成要素になり得る。高周波数構成要素および低周波数構成要素は、ピクチャ奥行きデータと組み合わせて使用されて、ＭＦＰ分解プロセス５４０８、５４１０への入力が生成され得る。ピクチャは、低周波数構成要素および高周波数構成要素のためにＮ個の層５４１２、５４１４に分解され得る。分解された層５４１２、５４１４は、再配信５４１６され、レンダリング５４１８され得る。
図５４は、いくつかの実施形態による、ローパスフィルタリングを使用して再配信される焦点面画像を生成する例示的なプロセスを図解するフローチャートである。図５４に対応するシミュレーションを行う際に、手順５４００は、符号付き整数／画素（または（符号付き）高周波数表現）を使用することを回避するために適用された。図５４は代替的実施形態を示す。いくつかの実施形態では、ピクチャ５４０２およびピクチャ奥行き５４０４が手順５４００によって受信される。ピクチャ５４０２は、５４０６において、フィルタリングされて高周波数構成要素および低周波数構成要素になり得る。高周波数構成要素および低周波数構成要素は、ピクチャ奥行きデータと組み合わせて使用されて、ＭＦＰ分解プロセス５４０８、５４１０への入力が生成され得る。ピクチャは、低周波数構成要素および高周波数構成要素のためにＮ個の層５４１２、５４１４に分解され得る。分解された層５４１２、５４１４は、再配信５４１６され、レンダリング５４１８され得る。
（画像画素のために予約された８ビット値内に結果を保って）合計における飽和を回避するために、再配信されるＬＦ５４１６は５０％透過性で合計される。（再配信される面がある結果になるために）低周波数面を減算するとき、スケールアップが対応して行われる。図５２Ａおよび図５２Ｂに示されるプロセスに対する１つの代替的実施形態は、符号付き表現とともに高周波数面を用いて処理することを回避する。いくつかの実施形態は、再配信ＬＦ５４１６のために（符号付き）フル精度計算を使用してよい。
本明細書においていくつかの実施形態により開示されるシステムおよび方法は、立体的３Ｄビューを生じるために使用されるときにディスオクルージョンの減少した量を示す、単眼ＭＦＰスタックを形成する。いくつかの実施形態は、ＭＦＰを再配信し、後処理されたＭＦＰをシフトして、不一致およびベースライン方位を生成する。得られた立体的画像は、例えば、自然な調節をサポートするものを含む、外部スクリーンおよびウェアラブルディスプレイ上に表示されてよい。
本明細書にていくつかの実施形態により開示されるシステムおよび方法は、立体的ディスプレイを使用するサービスのための立体的コンテンツを生じるために使用されてよい。
いくつかの実施形態は、比較的大きい調整可能な不一致および運動視差効果がある、ベースラインなし（頭部傾き非依存の）立体的レンダリングを生じる容易で費用対効果の高い仕方を可能にする立体的ディスプレイの開発を可能にする。これらの性質は３ＤｏＦ＋アプリケーションとともに使用されてよい。
多くのＭＦＰディスプレイ実装は、時間的または空間（画像）的なＭＦＰの多重化を使用する。異なる奥行きにおいて物体をもつ好適なテストシーンを設計することによって、および物体縁における特性行動を示すことによって、再配信アルゴリズムが認識され得る。いくつかの実施形態は、自分の頭部および自分自身を動かしているユーザについて立体視および運動視差をサポートするそれらの能力に基づいて認識され得る。
いくつかの実施形態は、前の立体的ディスプレイ上で視聴された場合にＶＡＣを引き起こし得る立体的画像を生じる。本明細書においていくつかの実施形態により開示されるシステムおよび方法によって形成されるＭＦＰは、自然な調節をサポートするＭＦＰディスプレイを使用してレンダリングされ得る。
（例えば、（例えば、Ｓ３ＤディスプレイとＭＦＰディスプレイの両方のためにＭＦＰをシフトすることによって）ＭＦＰを処理することに基づく）合成不一致がいくつかの実施形態では使用される。本明細書においていくつかの実施形態により開示されるシステムおよび方法は、（印刷において可視化するために問題となる性質などの）ＭＦＰの調節依存の性質を、印刷すると可視であり、対応するＭＦＰの多くの性質が奥行き次元にあることを示す空間的不一致に向ける。
軸方向運動視差
多くの以前のシステムの共通問題は、運動視差が、小さい横方向（一般的には水平方向）移動のためにのみサポートされ、軸方向移動のために適用されないことである。多焦点面（ＭＦＰ）は、明視野の経済的な近似である。多くの以前のＭＦＰディスプレイは、単一の正確な視点のみをサポートし、視聴者が奥行き（軸方向）次元において動いているときの視点変化をサポートしない。従って、そのような以前のシステムにおける使用は、固定の視聴者ロケーションに概して限定される。
多くの以前のシステムの共通問題は、運動視差が、小さい横方向（一般的には水平方向）移動のためにのみサポートされ、軸方向移動のために適用されないことである。多焦点面（ＭＦＰ）は、明視野の経済的な近似である。多くの以前のＭＦＰディスプレイは、単一の正確な視点のみをサポートし、視聴者が奥行き（軸方向）次元において動いているときの視点変化をサポートしない。従って、そのような以前のシステムにおける使用は、固定の視聴者ロケーションに概して限定される。
多くの以前の３６０度パノラマレンダリングシステムは、方位センサを使用して様々な方角への視聴をサポートするが、軸方向運動視差はサポートされない。これらの３の自由度（３ＤＯＦ）システムは、ユーザを視聴方角における変化のみに制約する。計算された自動仮想環境（ＣＡＶＥ）など、多くの６の自由度（６ＤＯＦ）システムは、一般的にコストがかかり、ブロードキャストシステムでは実現可能でない。小さい一般的なユーザ動きを３ＤＯＦシステムにもたらす能力は、３ＤＯＦ＋として説明されている。本出願では、いくつかの実施形態によれば、「自然な３Ｄ動き」という用語は、この３ＤＯＦ＋機能を指す。
低減した複雑さおよびレガシー３ＤＯＦまたは２Ｄ立体コンテンツを伴う３ＤＯＦ＋システムを可能にすることは、本明細書においていくつかの実施形態により開示されるシステムおよび方法によって対処される課題である。追加の課題は、これらの新しい３ＤＯＦ＋ソリューションにおいて、（輻輳調節矛盾（ＶＡＣ）を回避して）表示されるコンテンツの自然な調節を可能にすることである。
図５５Ａ〜図５５Ｂは、いくつかの実施形態による、空間内にレンダリングされる例示的な多焦点面を図解する概略斜視図５５００、５５５０である。図５５Ａおよび図５５Ｂは、実線矩形によって示される焦点面（ＭＦＰ）５５０６に対する、破線によって示される公称視点５５０４を図解する。視聴者５５０２が移動する場合、公称起点視点からの情報（焦点面）を見る代わりに、新しい視点が生成され得る。焦点面は３Ｄシーンの近似であり、新しい視点は、例えば、３Ｄモデルを新しい方位にワーピングすることにいくつかの点において同様の方法で生成されてよい（仮想視点生成ブロックを参照されたい）。図５５Ａでは、ユーザは、ユーザのＭＦＰメガネによって空間内でレンダリングされた焦点面を見る。図５５Ｂでは、運動視差は、図示される例示的な立方体など、公称視点（０，０，０）５５５２の周りの例示的なボリューム（ｄｘ、ｄｙ、ｄｚ）５５５４の内側のユーザのためにサポートされる。
運動視差は、公称視点（０，０，０）の周りで焦点面に対する観点を変動させる。ユーザが公称点から遠ざかる場合、焦点面画像は、わずかに変動している視点から見られ、単に平行移動（シフト）され、相応にスケーリングされて、正しいＭＦＰレンダリングが作成され得る。各座標（ｘ、ｙ、およびｚ）は、作成される歪みを許容できるように保つために、いくつかの限界内で変動され得る。運動視差は、このようにして、（図５５Ｂに示される立方体などの）公称視点の周りのボリュームの内側でサポートされ得る。視聴者の公称位置の周りの立方体は、３Ｄ運動視差をサポートするために（およびユーザ動きを捕捉するために）選択されてよい。いくつかの実施形態では、運動視差についてユーザ動きの捕捉をサポートするために球体または他の形状が選択されてよい。
図５６Ａ〜図５６Ｃは、いくつかの実施形態による、異なる視点に対してシフトおよびスケーリングされる多焦点面の３つの例を図解する概略斜視図である。ユーザの動きは、破線の変化によって示されるように焦点面に対する彼または彼女の視点を変化させ得る。図５６Ａ〜図５６Ｃは、運動視差立方体５６０４、５６３４、５６６４の内側の視点５６０２、５６３２、５６６２を変化させるための数個の例示的なビュー５６００、５６３０、５６６０を示す。破線は、焦点面スタックに対する視点変化を示す。ＭＦＰスタックに対する新しい視点は、ＭＦＰを相応に変形することによって作成され得る。変形を行うための数学は、いくつかの点において、３Ｄモデルをワーピングすることと同様であり得る。いくつかの実施形態では、変形は、後述される他の演算を用いて近似されてよい。
立方体内の各３Ｄ座標またはボクセルは、焦点面スタック（または立体的ディスプレイのためのスタックのペア）に対する異なる視点を表す。これらの視点の各々について、（公称視点から視聴された）元のＭＦＰスタックの変形が行われる。従って、３Ｄ視点／ボクセルの各々について、（変形によって再方位付けおよびスケーリングされた）一意のＭＦＰスタックがあり得る。いくつかの実施形態では、ＭＦＰスタックのセットは、事前に導き出され、記憶されてよい。これらの導き出されたＭＦＰスタックは、捕捉された動き情報によってカテゴリー分類されてよい。
図５７は、いくつかの実施形態による、運動視差システム内で多焦点面を生成するための例示的なプロセスを図解するプロセス図である。図５７は、モノスコープＭＦＰ形成、処理（例えば、立体映像および運動視差のための視点の合成）、並びにレンダリングのためのプロセス５７００を図解する。簡潔のために、運動視差効果を作成することは、ただ１人の視聴者のために図示される。いくつかの実施形態では、本システムは、各ユーザが運動視差を個々に知覚することを可能にする、１つまたは複数のウェアラブルユーザ端末（ヘッドマウントディスプレイ、ＨＭＤなど）を含んでよい。いくつかの実施形態は、例えば、より分散型のまたはより集中型のアーキテクチャを使用してよい。
テクスチャ５７０２および奥行き（映像プラス奥行き）５７０４の信号が、ＭＦＰ形成ブロック５７０６への入力として受信され、ＭＦＰ形成ブロック５７０６は、シーンから捕捉された奥行きマップ（映像）を使用して多焦点面（ＭＦＰ）を形成する。ＭＦＰは不一致形成ブロック５７０８に送られる。
不一致形成ブロック５７０８は、（例えば、ｘ−ｙ座標系内のベクトルｒiによって示される）指定されたベースライン方位および長さを使用して、合成された立体的視点（または不一致）を作成する。いくつかの実施形態は、不一致の方角および量（≧０％）５７１０を使用してよい。いくつかの実施形態は、例えば、眼ごとに別個のテクスチャおよび奥行き信号が使用されるような立体的入力が使用される場合、この段階を省略してよい。
（例えば、外部センサ５７１４の慣性測定ユニット（ＩＭＵ）５７２０および／またはＫｉｎｅｃｔタイプ５７１８を用いた）運動検出および追跡は、ＭＦＰレンダリングのための公称視聴セットアップ（焦点面のサイズおよび距離）を用いてユーザの初期視聴位置に対するユーザ動きを捕捉するために使用されてよい。例示的なプロセス５７００では、および他のプロセスでは、他の運動検出および追跡デバイスが代わりにまたは追加として使用されてよい。横方向運動視差ブロック５７１２は、ｘ次元とｙ次元の両方において２つの立体的視点をシフトし得る。各ＭＦＰスタック内の焦点面は、奥行きにおけるそれらの距離に対応する異なる量分だけシフトされ得る。
軸方向運動視差モジュール５７１６は、初期／公称位置および視点に関連する測定された軸方向運動に従ってスケーリングおよび／またはサイジングすることによって焦点面を調整し得る。異なる焦点面は、それらが異なる距離に対応するので、別様にスケーリングされ得る。
コンテンツのブロードキャストタイプを視聴する場合、ユーザ動きは、一般的には入力ストリーム（ビューを捕捉する際に使用される視点）に影響を及ぼさないことがある。従って、ユーザ５７２４が身体運動によって運動視差を経験した後に、変化した視点は、選ばれた機構（遅延、レート、軌道、および時刻）によって公称視点に元に移され得る。
いくつかの実施形態では、頭部方位情報を生成するために、視聴者の位置の運動追跡センサ示度が焦点面ディスプレイに対して測定されてよい。いくつかの実施形態では、頭部方位情報を生成したことに応答して、運動視差は、焦点面画像のうちの１つまたは複数を変えることによって合成されてよい。
いくつかの以前のデバイスは、（ベースラインなし）立体視および横方向運動視差をサポートするとき、視点変化のためにＭＦＰを使用する。下記のセクションは、軸方向運動視差について説明する。中間的または複合運動のための焦点面調整は、これらの２つのケースを適用することによって導き出され得る。例えば、軸方向運動視差は、いくつかの実施形態では１つまたは複数の焦点面をスケーリングすることによって作成され得る。
図５８は、いくつかの実施形態による、軸方向移動のための例示的な焦点面スケーリングを図解する概略平面図である。図５８は軸方向運動中のＭＦＰスタックに対するモノスコープ視点に関して説明されるが、対応するプロセスは、立体的システムまたは方法において各視点の変形とともに実行されてよい。平行移動運動の場合と同様に、軸方向運動を扱うために焦点画像の変形が実行されてよい。例示的なモノスコープ視点環境５８００では、視聴者５８１０がＭＦＰスタックに軸方向に近づく場合、焦点面５８０８の縁は、外側に移動（またはシフト）するように調整され得る。視聴者５８１０がＭＦＰスタックから軸方向に離れる場合、焦点面５８０６の縁は、内側に移動（またはシフト）するように調整され得る。ゼロ視差設定（ＺＰＳ）５８０２に位置する焦点面５８０４の縁は、視聴者５８１０がＭＦＰスタックから軸方向に近づくかまたは離れる場合、所定の位置にある（または調整されない）ままである。軸方向移動による視聴者５８１０の視点の変化が、２つの例のために破線として示される。図５８は、軸方向運動中にＭＦＰの見かけのサイズがどのように変化するかを図解する。等しい量の離隔距離をもつ３つのＭＦＰが示される。ゼロ視差設定（ＺＰＳ）５８０２は、最も遠い焦点面に配置される。この最も遠い焦点面は、立体的不一致または横方向視差が作成される場合にシフトせず、この最も遠い焦点面は、軸方向運動視差を作成する場合にスケーリングされない。例示的なモノスコープ視点環境５８００ではシングルステップ軸方向移動が示されるが、視聴者５８１０によって移動された軸方向ステップの数に比例する量分だけＭＦＰをスケーリングする同様のプロセスを用いて多重軸方向ステップ移動がサポートされ得る。
視聴者５８１０がＭＦＰスタックに対して軸方向に（１つの距離ユニットなどの）１ステップ近づく場合、焦点面５８０８のサイズは、より（１つの距離ユニットなどの）１ユニット大きく調整され得る。視聴者５８１０がＭＦＰスタックから軸方向に１ステップ離れる場合、焦点面５８０６のサイズは、より１ユニット小さく調整され得る。ゼロ視差設定（ＺＰＳ）５８０２に位置する焦点面５８０４のサイズは、視聴者５８１０がＭＦＰスタックから軸方向に近づくかまたは離れる場合、同じサイズのままである（例えば、または不変である）。軸方向移動による視聴者５８１０の視点の変化が、２つの例のために破線として示される。
いくつかの実施形態では、１つまたは複数の焦点面画像のスケーリング変形は、画像のアスペクト比が保持されるように、焦点面のサイズをそれの中心の周りに対称的に調整することによって近似され得る。立体的不一致を生じる際のように、運動視差に対する小さい変化は、焦点面画像解像度の小さい変化（５画素の変化など、しきい値までの増分または減分）によって取得される。より高い解像度画像を用いるいくつかの実施形態では、より高いしきい値が使用されてよい。
画像サイズを調整した場合、画像の上部縁および下部縁は、量分だけ反対方向に移動され得る（画像の垂直サイズは画素の数だけ変化される）。ＭＦＰのスケーリングファクタは、図５８の例に示されるように、奥行きの関数として線形的に変化し得る。この線形変化は、変形されたＭＦＰのセット、および視聴軸に沿った適用可能な視聴位置（焦点ポイント）のセットを生じる。調整の量は、（最も遠い面が視聴者から無限大に離れて位置するかのように）最も遠い面が調整されないように、奥行きにおける焦点面の位置（距離）に依存する。いくつかの実施形態では、最も遠い焦点面の次の焦点面は、１ユニット（または画素乗算）によってスケーリングされる。次に最も近い焦点面は、いくつかの実施形態では２ユニットによってスケーリングされ得る。残りの焦点面のためのスケーリングの量は、いくつかの実施形態では、漸進的により近い焦点面のためにこのパラダイムに従い得る。
いくつかの実施形態によるＭＦＰをスケーリングするための例示的なプロセスが、Ｎ個の焦点面（ＭＦＰ）のスケーリングについて以下で説明される。本明細書では、焦点面は、均一な距離によって隔てられ、距離の関数として線形増分および線形減分を使用する。いくつかの実施形態では、均一でない離隔距離が、距離の関数として非線形増分および非線形減分とともに使用されてよい。非線形スケーリング（ジオプティックスケールにおいて線形）は、ユーザによって線形知覚を生じるために使用され得る。焦点面（またはＭＦＰのセット）のサイズは、視聴軸に沿っていくつかの等しくないステップについて取得される。この例示的なプロセスは、例えば、サイズ調整の検証のために使用されてよい。いくつかの実施形態ではより厳密な幾何学的演算が実行されてよい。
視聴者がＭＦＰスタックに対してより１ステップ近づく場合、最も遠い焦点面（ＦＰ１）は、（「無限大における」）ゼロ視差面であり、スケーリング（またはサイズによって調整）されない。したがって、ＦＰ1は０ユニット分だけ調整される。残りの焦点面（ＦＰ2、ＦＰ3、…、ＦＰN）について、各焦点面ＦＰiは、（ｉ−１）ユニット分だけ大きく調整され、ｉ∈（２，３，…，Ｎ）である。この調整プロセスは、ＭＦＰスタックに対してより近いステップごとに繰り返されてよい。
視聴者がＭＦＰスタックからより１ステップ離れる場合、最も遠い焦点面（ＦＰ１）は、（「無限大における」）ゼロ視差面であり、スケーリング（またはサイズによって調整）されない。したがって、ＦＰ1は０ユニット分だけ調整される。残りの焦点面（ＦＰ2、ＦＰ3、…、ＦＰN）について、各焦点面ＦＰiは、（ｉ−１）ユニット分だけ小さく調整され、ｉ∈（２，３，…，Ｎ）である。この調整プロセスは、ＭＦＰスタックからさらに離れるステップごとに繰り返されてよい。
いくつかの実施形態では、焦点面の高さは、式３に示される増加スケーリングファクタによって高さをスケーリングすることによってサイズが増加され得る。
ここで、Ｖresは、焦点面の垂直解像度である。同様に、焦点面の高さは、式４に示される減少スケーリングファクタによって高さをスケーリングすることによってサイズが低下され得る。
ここで、Ｖresは、焦点面の垂直解像度である。増分と減分の両方のための焦点面の幅は、調整前のアスペクト比を保持するように調整される。
いくつかの実施形態では、上述したプロセスを使用してステップ分だけ移動することは、メトリックスケール上で線形でない。物理的距離は、各焦点面（ＭＦＰ）の位置、サイズ、および距離を含む、公称視聴条件に依存し得る。加えて、物理的距離は、（入力）コンテンツ性質、例えば選ばれたゼロ視差設定（ＺＰＳ）、および物理的距離との奥行きマップの間の対応に依存し得る。
いくつかの実施形態による例示的なプロセスを使用して、使用される焦点面画像解像度およびユニットサイズは、視聴軸に沿って位置を決定し得、ここで、焦点面は、変形の後に位置合わせされる（視点に焦点が「合わされる」）のが見られる。これらの点は、ユーザ動き中にコンテンツをレンダリングするために使用されてよい。
画像解像度が高いほど、およびユニットサイズが小さいほど、決定される軸方向（焦点が合わされた）位置の間の差はより小さくなる。画像解像度とともに使用されるユニットサイズは、焦点ポイントの密度が、なだらかな運動視差を知覚することをサポートするように、実験的に検証されおよび／または幾何学的形状から計算され得る。
シフティングおよびスケーリングアーチファクトは、軸方向視差（運動）を、妥当であるとユーザが決定する少量に限定し得る。この量は、少数のステップ（または軸方向位置）に設定され得る。ステップ位置およびサイズ（物理的距離）は、（図５８に示される幾何学的形状などの）幾何学的形状から近似され得る。
いくつかの実施形態では、公称視聴位置および焦点面距離は設定されない。いくつかの実施形態では、ＭＦＰサイズ調整のために使用されるユニットサイズを設定することは、軸方角におけるステップ位置およびサイズ（焦点および関連する距離）を決定し得る。いくつかの実施形態では、ステップは、ユーザによって決定された自然さの劣化なしに距離に対して線形的にマッピングされ得る。
いくつかの実施形態では、運動視差効果は、（不一致および奥行き範囲を含み得る）３Ｄコンテンツ産生のための条件が標準化または設定されないなどの場合、物理的位置に対して較正されなくてよい。一部のユーザは、（軸方向）運動視差の自然さの知覚に関して奥行き情報に比較的鈍感なことがある。
図５９Ａ〜図５９Ｃは、いくつかの実施形態による、軸方向運動中の例示的な焦点面コンテンツの例示的な変形を図解する概略平面図である。図５９Ａは、視聴者の左眼の例示的な不一致シフト５９０２の公称「開始」点のためのＭＦＰ構成５９００を示す。図５９Ａのモノスコープビューを使用するプロセスと同様のプロセスは、立体視聴者の右眼ビューをスケーリングするために適用されてよい。距離ｄkは、１、２、…、Ｎに等しいｋをもつベクトルの焦点面距離を示す。距離ｄeは、例示的なＭＦＰ変形（または平行移動）のための不一致距離ベクトルを示す。座標（ｘk，ｙk）は、焦点面ｋの画素の元の座標を示す。座標（ｘk’，ｙk’）５９０４は、変形（またはいくつかの実施形態では平行移動）の後の、しかしスケーリングの前の焦点面ｋの画素の座標を示す。座標（ｘk’，ｙk’）５９０４は、３つの焦点面の例示的な左眼視点の焦点面ＦN上に示される。図５９Ａから図５９Ｃは、３に等しいＮの例のために焦点面Ｆ1、Ｆ2、…、ＦNを示す。
図５９Ｂは、ＭＦＰスタックに近づいている視聴者の軸方向運動のためのＭＦＰ構成５９３０を示す。視聴者は、運動ベクトルｄz５９３２によって示される軸方向に移動する。３つの焦点面の左眼視点は、各焦点面が、図５９Ａにおけるよりも図５９Ｂにおいて大きいことを示す。左眼視点は、視聴者がＭＦＰスタックに近づいていることにより、平行移動される。
図５９Ｃは、焦点面距離を変化させることなしに軸方向運動を近似する焦点面変形のためのＭＦＰ構成５９６０を示す。３つの焦点面の左眼視点は、変形の後の画素の座標に対する変化を示す。座標（ｘk’’，ｙk’’）５９６２は、変形（またはいくつかの実施形態では平行移動）の後のおよびスケーリングの後の焦点面ｋの画素の座標を示す。
関連パラメータの以前の概念を保ち、（ｘk’’，ｙk’’）によってスケーリング変形の後の焦点面ｋ上の画素の座標を表すと、スケーリングは式５に示されるように記述され得る。
（ｘk’’，ｙk’’）＝Ｓ（ｘk’，ｙk’，ｄz，ｄe） 式５
ここで、Ｓは、固定点として各焦点面中心を使用する均一なスケーリング変形である。
（ｘk’’，ｙk’’）＝Ｓ（ｘk’，ｙk’，ｄz，ｄe） 式５
ここで、Ｓは、固定点として各焦点面中心を使用する均一なスケーリング変形である。
軸方向運動について、焦点面サイズは、レンダリングされた環境のビューを介して物理的空間および座標の変形の幻影をユーザに提供するように調整され得る。焦点面レンダリングプロセスは、軸方向運動視差を経験している場合、調節距離を変更しないことがある。対応して、ＭＦＰディスプレイの光学部品またはメカニクスの調整はない。このプロセスは、視聴者の調節距離が、焦点が合わされた物体からの彼または彼女の距離に対応して変化するように、現実世界のケースとは異なる。しかしながら、ＶＡＣは生じず、運動視差を経験するための（サポートされる）移動が小さい場合、調節変化の欠如は、ユーザの自然さの経験を劣化させない。
いくつかの実施形態は、（ＭＦＰディスプレイの代替または追加として）従来の２Ｄディスプレイのために運動視差効果をサポートし得る。２Ｄディスプレイの使用は、ＭＦＰディスプレイの複雑さを回避し得るが、ユーザはＶＡＣを受けることがある。いくつかの実施形態は、２つ以上のＭＦＰを合計することによって２Ｄディスプレイをサポートし得る。２Ｄディスプレイのサポートについては後で詳細に説明される。
軸方向移動のサポートが、横方向（横）移動およびベースラインなし（頭部傾きなし）運動視差のサポートとともに提供される場合、焦点面レンダリングを使用する公称視点の周りの現実的な３Ｄ運動視差が、ＶＡＣなしに提供され得る。
いくつかの実施形態では、主に固定（公称）の視点の周りの相対運動は、新しい公称視点についての新しいデータを受信することなしに視点を変化させない。視聴セットアップは、ブロードキャストコンテンツを視聴することと同等であり得るが、本明細書においていくつかの実施形態により開示される視聴セットアップは、（３ＤＯＦ＋機能などの）小さい移動および対応する視点／視差変化を可能にすることによってユーザ相互作用をサポートし得る。
サポートされるユーザ機能は、受信されるコンテンツの公称または固有の視点に影響を及ぼさないことがある。小さい運動視差は、例えばユーザが彼または彼女の座席を変更するかまたは部屋の周りを歩く場合、ユーザの環境内の視聴位置ごとに同じ仕方でサポートされてよい。ユーザが移動した場合、公称視点は、彼または彼女の平均ロケーションに追従する。いくつかの実施形態では、視点は、（いくつかの実施形態では運動視差を生じた後に遅延を伴うことがある）公称視点に戻る。公称視点から見ることに戻ることは、ユーザによる手動入力および／または自動ポリシーに基づいてよい。
図６０は、いくつかの実施形態による、ユーザ動き中の例示的な視点座標の追跡を示すグラフである。大きい位置変化は、例えば、ユーザの着座ロケーションの変化として処理されてよく、視差の小さい調整によって追従されなくてよい。代わりに、視点は、視差のどんな変化もない受信されたコンテンツの公称視点に戻され得る。小さい動きは、対応する仮想視点変化で扱われてよい。小さい動き変化がより永続的である場合、例えば、ユーザが背もたれに彼または彼女の体を載せている場合、公称視点は、いくつかの実施形態では何らかの変化レートで公称視点に戻る。
図６０のグラフは、ユーザ動き中に視点座標（例えば、軸方向）を制御するための例示的な制御ポリシーを図解する。図６０は、様々な時間ステップにおいて公称値と比較した座標の変化を示す。例示的なグラフ６０００では、ゼロラインは公称値を表し、グラフのトレースは、公称値と比較した差値６００４を測定している。時間ステップ２８と時間ステップ４０の間では（６００２）、座標値は０の方へ低下する。時間ステップ６７において（６００６）、ユーザ動きは、最大および最小視差限界６００８、６０１０の外側に出て、ユーザ動きの追跡は０にリセットされる。図６０に関して使用される例示的な視点制御プロセスと同様の視点制御プロセスが、座標系の各軸（例えば、１つの軸方向座標値および２つの横方向座標値）のために使用されてよい。
いくつかの実施形態では、座標は最大値（または最小値）に飽和され、ユーザ動きが停止した後に（例えば、視聴者が、異なる椅子に座った後に）各座標系軸を０の方へドリフトさせてよい。いくつかの実施形態では、ユーザ動きが最大および最小限界の外側に出る場合、並びにユーザの視聴方角が最大および最小限界の外側に出る場合、ユーザの視点は公称視点に戻されてよい。いくつかの実施形態では、ユーザが彼または彼女の視聴方角を変化させることは、焦点面の横方向（ｘ−ｙ）シフトのように見え、ユーザの視点は、動きが停止するかまたは最大値もしくは最小値を超えた後、公称視点に戻されてよい。ユーザの視点を公称視点に戻すプロセスは、手動相互作用プロセス、自動プロセスまたは手動プロセスと自動プロセスの組み合わせであってよいことが理解されるだろう。３Ｄ運動視差を制御するための適用可能なポリシーは、いくつかの実施形態に従って開発され得る。
いくつかの実施形態では、モノスコープＭＦＰスタックから立体的またはシフトされた視点を合成するための説明されたプロセスは、真の（例えば、合成とは対照的な）立体的ＭＦＰスタックを使用する運動視差、合成された立体的ＭＦＰスタックを使用する運動視差、２Ｄディスプレイ上のＭＦＰの投影およびレンダリングを使用する運動視差、並びに真の立体的ＭＦＰスタック、合成された立体的ＭＦＰスタックおよび２Ｄディスプレイとともに使用されるＭＦＰの組み合わせであるＭＦＰ形成など、他の構成に拡張され得る。
図６１は、いくつかの実施形態による、多焦点面の真の立体セットを生成するための例示的なプロセスを図解するプロセス図である。図６１は、真の立体入力を使用する運動視差ＭＦＰ生成およびレンダリングプロセス６１００を示す。右眼ＭＦＰ形成プロセス６１１０は、右眼のためのテクスチャ６１０２および奥行きマップ６１０４を受信する。左眼ＭＦＰ形成プロセス６１１２は、左眼のためのテクスチャ６１０２および奥行きマップ６１０８を受信する。いくつかの実施形態では、右眼および左眼のためのＭＦＰは、横方向不一致調整プロセス６１１４に送られる。方角および量（≧０％）のための不一致調整６１１６は、ＭＦＰの視点離隔距離を調整するために横方向不一致調整プロセス６１１４によって受信されてよい。立体的ＭＦＰ入力の使用は、ベースラインＭＦＰの再方位付けおよび調整を制限し得る。ＭＦＰのレンダリングは、空間内の位置および方角にアンカリングされる。左眼および右眼のための調整されたＭＦＰは、横方向視差調整プロセス６１１８に送られる。運動追跡プロセス６１２０は、ユーザ動きデータを横方向視差調整プロセス６１１８に、および軸方向視差のためのスケール調整プロセス６１２２、６１２４に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、例えば、動きデータを測定するために慣性動きユニット（ＩＭＵ）６１３０および／またはＫｉｎｅｃｔタイプユニット６１３２が使用されてよい。横方向視差調整プロセス６１１８は、横方向運動視差（例えば、視差の水平視点変化）のためにＭＦＰを平行移動させ得る。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。右眼および左眼のための横方向視差調整されたＭＦＰは、軸方向視差のためのスケール調整プロセス６１２２、６１２４によって受信されてよい。右眼のためのスケーリングされたＭＦＰは、ＭＦＰレンダリングプロセス６１２６によって受信されてよい。同様に、左眼のためのスケーリングされたＭＦＰは、ＭＦＰレンダリングプロセス６１２８によって受信されてよい。ＭＦＰは、ユーザ６１３４による真の立体的視聴のための新しい視点／観点のためにレンダリングおよび表示される。いくつかの実施形態では、合成運動視差は、（運動追跡データなどの）ユーザ／視聴者の軸方向運動を示す情報を使用して多焦点面を互いにスケーリングすることを含んでよい。
図６２は、いくつかの実施形態による、多焦点面の合成された立体セットを生成するための例示的なプロセスを図解するプロセス図である。図６２は、合成された立体ＭＦＰスタックを生成するための運動視差ＭＦＰ生成およびレンダリングプロセス６２００を示す。ＭＦＰ形成プロセス６２０６は、モノスコープビューのためのテクスチャ６２０２および奥行きマップ６２０４を受信する。ＭＦＰは横方向不一致形成プロセス６２０８に送られる。方角および量（≧０％）のための不一致調整６２１０は、ＭＦＰの視点離隔距離を調整するために横方向不一致調整プロセス６２０８によって受信されてよい。ＭＦＰのレンダリングは、空間内の位置および方角にアンカリングされる。横方向不一致形成プロセス６２０８は、（例えば、ベースライン方位を用いて）左眼および右眼のためのＭＦＰを生成し、これらは横方向視差調整プロセス６２１２に送られる。いくつかの実施形態では、不一致形成をサポートするために、横方向または軸方向視点変化の前の何らかのベースライン方位が選択されてよい。運動追跡プロセス６２１４は、ユーザ動きデータを横方向視差調整プロセス６２１２に、および軸方向視差のためのスケール調整プロセス６２１６、６２１８に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、例えば、動きデータを測定するために慣性動きユニット（ＩＭＵ）６２２４および／またはＫｉｎｅｃｔタイプユニット６２２６が使用されてよい。横方向視差調整プロセス６２１２は、横方向運動視差（例えば、視差の水平視点変化）のためにＭＦＰを平行移動させ得る。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。右眼および左眼のための横方向視差調整されたＭＦＰは、軸方向視差のためのスケール調整プロセス６２１６、６２１８によって受信されてよい。右眼のためのスケーリングされたＭＦＰは、ＭＦＰレンダリングプロセス６２２０によって受信されてよい。同様に、左眼のためのスケーリングされたＭＦＰは、ＭＦＰレンダリングプロセス６２２２によって受信されてよい。ＭＦＰは、ユーザ６２２８による合成された立体的視聴のための新しい視点／観点のためにレンダリングおよび表示される。モノスコープビューを捉えることは、送信においてより少ない帯域幅を使用し得る。さらに、受信機内で２つの視点を合成する場合、これらの２つの視点は、選択されたベースライン方位および不一致の量において形成され、何らかの頭部傾きの立体視および奥行き知覚の個人的な好みをサポートし得る。ビューを合成する際に若干のアーチファクトが生成されることがあるが、これらのアーチファクトは、焦点面の再配信および／または拡張を使用することによって減少され得る。
図６３は、いくつかの実施形態による、２次元表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。図６３は、２Ｄ表示のためのＭＦＰスタックを生成および合計するための運動視差ＭＦＰ生成およびレンダリングプロセス６３００を示す。ＭＦＰ、不一致、および視差形成プロセス６３０６は、モノスコープビューのためのテクスチャ６３０２および奥行きマップ６３０４を受信する。方角および量（≧０％）のための不一致調整６３０８は、ＭＦＰの視点離隔距離を調整するためにＭＦＰ、不一致、および視差形成プロセス６３０６によって受信されてよい。ＭＦＰは、空間内の位置および方角に対して生成されてよい。運動追跡プロセス６３１０は、ユーザ動きデータをＭＦＰ、不一致、および視差形成プロセス６３０６に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）、ｙ（ｔ）およびｚ（ｔ）データとして表され得る。いくつかの実施形態では、動きデータを測定するために、例えば、ニアアイディスプレイ（ＮＥＤ）メガネをもつ慣性動きユニット（ＩＭＵ）６３１６、および／または、例えばフラットスクリーンをもつＫｉｎｅｃｔタイプユニット６３１８が使用されてよい。いくつかの実施形態では、ＭＦＰ、不一致、および視差形成プロセス６３０６は、ＭＦＰを形成することと、横方向不一致のためにＭＦＰを調整することと、横方向運動視差（視差の水平視点変化）のためにＭＦＰを調整することと、軸方向視差のためにスケーリングすることとを含むプロセスのうちの１つまたは複数を実行してよい。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。ＭＦＰは、ＭＦＰ合計プロセス６３１２によって合計される。合計されたＭＦＰは、ユーザ６３２０による視聴のために２Ｄ ＮＥＤまたはフラットスクリーン６３１４によってレンダリングおよび表示される。いくつかの実施形態では、２Ｄディスプレイは、自然な調節のためのサポートがないが、ユーザ動きに追従する運動視差効果を示し得る。いくつかの実施形態では、合計されたＭＦＰをレンダリングおよび表示するために立体的３次元（Ｓ３Ｄ）ディスプレイが使用されてよい。
図６４、図６５および図６６は、２Ｄディスプレイに対してＭＦＰを投影および合計するためのいくつかの実施形態を図解する。図６４は、いくつかの実施形態による、単眼２Ｄ表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。図６４は、運動視差ＭＦＰ生成および合計プロセス６４００を示す。ＭＦＰ形成プロセス６４０６は、モノスコープビューのためのテクスチャ６４０２および奥行きマップ６４０４を受信する。ＭＦＰは横方向視差調整プロセス６４０８に送られる。調整されたＭＦＰは横方向視差調整プロセス６４０８に送られる。運動追跡プロセス６４１０は、ユーザ動きデータを横方向視差調整プロセス６４０８に、および軸方向視差のためのスケール調整プロセス６４１２に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、動きデータを測定するために慣性動きユニット（ＩＭＵ）６４１８および／またはＫｉｎｅｃｔタイプユニット６４１６が使用されてよい。横方向視差調整プロセス６４０８は、横方向運動視差（視差の水平視点変化）のためにＭＦＰを平行移動させ得る。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。横方向視差調整されたＭＦＰは、ＭＦＰのスケーリングのために、軸方向視差のためのスケール調整プロセス６４１２によって受信されてよい。スケーリングされたＭＦＰはＭＦＰ合計プロセス６４１４によって受信されてよい。ＭＦＰは、ＭＦＰ合計プロセス６４１４によって合計される。合計されたＭＦＰは、ユーザ６４２２による視聴のために２Ｄ ＮＥＤまたはフラットスクリーン６４２０（単眼２Ｄディスプレイ）によってレンダリングおよび表示される。
図６５は、いくつかの実施形態による、真の立体的３次元（Ｓ３Ｄ）表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。いくつかの実施形態では、ベースライン変化が、真の立体的３Ｄ入力の限定とともにサポートされてよい。入力された立体的視点（例えば、ベースライン方位）は、後の視点変化（例えば、横方向または軸方向変化）にいくつかの制限を与え得る。図６５は、真の立体入力を使用する運動視差ＭＦＰ生成および合計プロセス６５００を示す。右眼ＭＦＰ形成プロセス６５１０は、右眼のためのテクスチャ６５０２および奥行きマップ６５０４を受信する。左眼ＭＦＰ形成プロセス６５１２は、左眼のためのテクスチャ６５０２および奥行きマップ６５０８を受信する。いくつかの実施形態では、右眼および左眼のためのＭＦＰは、横方向不一致調整プロセス６５１４に送られる。方角および量（≧０％）のための不一致調整６５１６は、ＭＦＰの視点離隔距離を調整するために横方向不一致調整プロセス６５１４によって受信されてよい。立体的ＭＦＰ入力の使用は、ベースラインＭＦＰの再方位付けおよび調整を制限し得る。ＭＦＰは、空間内の位置および方角に対して生成されてよい。左眼および右眼のための調整されたＭＦＰは、横方向視差調整プロセス６５１８に送られる。運動追跡プロセス６５２０は、ユーザ動きデータを横方向視差調整プロセス６５１８に、および軸方向視差のためのスケール調整プロセス６５２２、６５２４に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、動きデータを測定するために慣性動きユニット（ＩＭＵ）６５３０および／またはＫｉｎｅｃｔタイプユニット６５３２が使用されてよい。横方向視差調整プロセス６５１８は、横方向運動視差（視差の水平視点変化）のためにＭＦＰを平行移動させ得る。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。右眼および左眼のための横方向視差調整されたＭＦＰは、軸方向視差のためのスケール調整プロセス６５２２、６５２４によって受信されてよい。右眼のためのスケーリングされたＭＦＰは、右眼のためのＭＦＰ合計プロセス６５２６によって受信されてよい。右眼のためのＭＦＰは、右眼のためのＭＦＰ合計プロセス６５２６によって合計される。同様に、左眼のためのスケーリングされたＭＦＰは、左眼のためのＭＦＰ合計プロセス６５２８によって受信されてよい。左眼のためのＭＦＰは、左眼のためのＭＦＰ合計プロセス６５２８によって合計される。右眼と左眼の両方のための合計されたＭＦＰは、ユーザ６５３６に対するレンダリングおよび表示のために、２Ｄ ＮＥＤまたはフラットスクリーン６５３４（単眼２Ｄディスプレイ）に送られる。
図６６は、いくつかの実施形態による、合成された立体的３次元（Ｓ３Ｄ）表示のための多焦点面のセットを生成および合計するための例示的なプロセスを図解するプロセス図である。図６６は、運動視差ＭＦＰ生成および合計プロセス６６００を示す。ＭＦＰ形成プロセス６６０６は、モノスコープビューのためのテクスチャ６６０２および奥行きマップ６６０４を受信する。ＭＦＰは横方向不一致形成プロセス６６０８に送られる。方角および量（≧０％）のための不一致調整６６１０は、ＭＦＰの視点離隔距離を調整するために横方向不一致調整プロセス６６０８によって受信されてよい。ＭＦＰは、空間内の位置および方角に対して生成されてよい。横方向不一致形成プロセス６６０８は、左眼および右眼のためのＭＦＰを生成し、これらは横方向視差調整プロセス６６１２に送られる。運動追跡プロセス６６１４は、ユーザ動きデータを横方向視差調整プロセス６６１２に、および軸方向視差のためのスケール調整プロセス６６１６、６６１８に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、動きデータを測定するために慣性動きユニット（ＩＭＵ）６６２６および／またはＫｉｎｅｃｔタイプユニット６６２８が使用されてよい。横方向視差調整プロセス６６１２は、横方向運動視差（視差の水平視点変化）のためにＭＦＰを平行移動させ得る。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。右眼および左眼のための横方向視差調整されたＭＦＰは、軸方向視差のためのスケール調整プロセス６６１６、６６１８によって受信されてよい。右眼のためのスケーリングされたＭＦＰは、右眼のためのＭＦＰ合計プロセス６６２０によって受信されてよい。右眼のためのＭＦＰは、右眼のためのＭＦＰ合計プロセス６６２０によって合計される。同様に、左眼のためのスケーリングされたＭＦＰは、左眼のためのＭＦＰ合計プロセス６６２２によって受信されてよい。左眼のためのＭＦＰは、左眼のためのＭＦＰ合計プロセス６６２２によって合計される。右眼と左眼の両方のための合計されたＭＦＰは、ユーザ６６３０に対するレンダリングおよび表示のために、Ｓ３Ｄ ＮＥＤまたはフラットスクリーン６６２４に送られる。２Ｄディスプレイデータを用いた運動視差効果のサポートは、ＭＦＰを合計して、外部立体的またはモノスコープディスプレイによって表示され得る２Ｄディスプレイデータを生成することによって提供され得る。
モノスコープディスプレイを使用するいくつかの実施形態では、ユーザ動きを追跡するために外部運動追跡センサが使用されてよく、ユーザはシャッターメガネを装着していないことがある。立体的３次元（Ｓ３Ｄ）ディスプレイを使用するいくつかの実施形態では、ユーザ動きを追跡するセンサ（例えば、ＩＭＵ）がシャッターメガネ内に埋め込まれるなどしてよい。Ｓ３Ｄディスプレイを使用するいくつかの実施形態では、何らかの輻輳調節（ＶＡＣ）矛盾が生じることがある。視聴距離がディスプレイサイズ（例えば、立体的ＴＶまでの通常視聴距離を参照されたい）と比較して長い場合、この矛盾は小さい。いくつかの実施形態では、方位付けられた焦点面画像を表示することは、シフトされた焦点面画像を組み合わせて（合計などして）立体的画像ペアを生成することを含んでよい。
図６７は、いくつかの実施形態による、フロントエンド処理経路および表示エンド経路をもつ多焦点面を生成するための例示的なプロセスを図解するプロセス図である。図６７は、真の立体入力を使用する運動視差ＭＦＰ生成および合計プロセス６７００を示す。フロントエンドプロセス６７０２のいくつかの実施形態では、テクスチャ６７０６および奥行きマップ６７０８は、奥行きブレンドプロセスを用いるＭＦＰ形成６７１４によって受信されてよい。ＭＦＰは、前に説明されたように奥行き次元におけるＭＦＰの量子化効果を減少させるために奥行きブレンド（重み付け）を使用して生成されてよい。フロントエンドプロセス６７０４のいくつかの実施形態では、テクスチャ６７１０および奥行きマップ６７１２は、再配信プロセスを用いるＭＦＰ形成６７１６によって受信されてよい。ＭＦＰは、前に説明されたようにＭＦＰ再配信を使用して生成されてよい。
いくつかの実施形態では、奥行きブレンドおよび／または再配信されたＭＦＰは、不一致形成プロセス６７１８に送られてよい。方角および量（≧０％）のための不一致調整６７２０は、ＭＦＰの視点離隔距離を調整するために不一致形成プロセス６７１８によって受信されてよい。調整されたＭＦＰは横方向視差形成プロセス６７２２に送られてよい。運動追跡プロセス６７２４は、ユーザ動きデータを横方向視差形成プロセス６７２２に、および軸方向視差のためのスケール調整プロセス６７２６に送ってよい。動きデータは、空間内にアンカリングされたＭＦＰのための公称視点および方角に対して捕捉されるｘ（ｔ）およびｙ（ｔ）データとして表され得る。いくつかの実施形態では、動きデータを測定するために慣性動きユニット（ＩＭＵ）６７３０および／またはＫｉｎｅｃｔタイプユニット６７３２が使用されてよい。横方向視差形成プロセス６７２２は、横方向運動視差（視差の水平視点変化）のためにＭＦＰを平行移動させ得る。軸方向視差のためのスケール調整プロセス６７２６は、スケーリングのために、平行移動されたＭＦＰを受信してよい。焦点面は、新しい視点からの軸方向視差のために互いにスケーリングされ得る。いくつかの実施形態では、フロントエンドは、非特許文献１において開示される方法など、知られている方法を用いて形成された（例えば、奥行きマップなしの）焦点面６７４２の直接入力を含んでよく、処理段階６７１８、６７２０、６７２２、６７２４、６７２６のうちの１つまたは複数は、上記で説明されたように使用されてよい。
表示経路１のいくつかの実施形態では、スケーリングされたＭＦＰは、ユーザ６７３８に表示するために、ＭＦＰレンダリングプロセス６７２８によって受信されてよい。表示経路２のいくつかの実施形態では、スケーリングされたＭＦＰは、受信されたＭＦＰを合計するために、ＭＦＰ合計プロセス６７３４によって受信されてよい。合計されたＭＦＰは、ユーザ６７４０に対してコンテンツをレンダリングおよび表示するために、２Ｄ ＮＥＤまたはフラットスクリーンディスプレイ６７３６によって受信されてよい。
図６８Ａ〜図６８Ｊは、いくつかの実施形態による、各セット画像ペア（例えば、図６８Ｃおよび図６８Ｄ）間の軸方向移動のための例示的な右画像および左画像のシリーズを示すイラストである。図６８Ａ〜図６８Ｊは、図５８に示される配置、および上述した焦点面サイズ調整プロセスを使用する、軸方向運動中の交差した眼ステレオグラムのシリーズを示す。図６８Ａから図６８Ｊは、非特許文献１２上で見出される画像およびそれの奥行きマップの修正バージョンである。図６８Ａから図６９Ｊの例示的なシーケンスのために、線形奥行きブレンドを用いる３つのＭＦＰが使用される。画像スケーリング調整のために２画素のユニットサイズが使用される。使用されるテスト画像は、１５７×４３６画素の解像度をもつ花である。低解像度の焦点面画像では、ユーザは、２画素のユニットサイズが妥当であると見出し得る。より高解像度の焦点面画像は、より大きいユニットサイズを使用し得る。
単眼ＭＦＰスタックを形成した後に、立体的不一致は、焦点面を水平方向にシフトすることによって合成される。交差した眼ステレオグラムの例示的なシーケンスでは、後部から前方への３つの面（後部、中間、および前方）は、それぞれ、０、２、および４画素分だけシフトされる。シフティングは、左眼ビュー６８１０、６８３０、６８５０、６８７０、６８９０については右側に、および右眼ビュー６８００、６８２０、６８４０、６８６０、６８８０については左側に行われる。合成された総不一致は、画像幅の１．８％に対応する。立体的不一致のためにシフトした後に、焦点面は、図６７に図解されるように、軸方向運動視差を作成するためにスケーリングされる。図６８Ａから図６８Ｊにおいてシーケンスを上部から下部に視聴することは、シーンから離れることに対応する。図６８Ａから図６８Ｊ内の全てのビューは、１つのモノスコープＭＦＰスタックからのシフトによって形成される。横方向視差は、この例では図解されない。
３つの焦点面テスト画像のスケーリングについて上述した例示的な手順を適用して、公称視聴点ｄ0を中心とする５つの軸方向運動（＋２、＋１、０、−１、−２ステップ）のために、表１および表２に記載された垂直解像度高さが取得される。実際のスケーリングファクタは、表の値をＶｒｅｓで除算することによって取得され得る。
表３は、軸方向位置ｄiに対する垂直解像度調整を示す。水平解像度は、調整前のアスペクト比を保持するように調整される。スケーリングのユニットサイズは２画素（１画素分だけ対称的にシフトされている対応する焦点面縁）である。左眼ビュー（焦点面画像）と右眼ビュー（焦点面画像）の両方のサイズは、公称視点ｄ０におけるのと同じである（この例では１５７×４３６画素）。動き中に、サイズは、無限大にあるものとして処理される、最も遠い焦点面ＰＦｂａｃｋについて不変（１５７×４３６画素）のままである。
表３に示されるように、軸方向運動（位置ｄi）について、スケーリングは、（不一致のためにシフトされた）左眼焦点面と右眼焦点面の両方について同じである。元のテスト画像では、Ｖｒｅｓ＝１５７画素である。スケーリングの後に、５つの異なる視点についての左焦点面と右焦点面の両方（ＦＰ１、ＦＰ２、ＦＰ３）の垂直解像度が表３に示される。位置ｄ0は公称視点である。
焦点面サイズのための実際のスケーリングファクタは、表３内の値をＶres＝１５７で除算することによって取得される。これらのスケーリング値をテスト画像の３つの焦点面に適用することによって、図６８Ａ〜図６８Ｊに示される、軸方向運動のための交差した眼ステレオグラムのシーケンスが取得される。図６８Ａから図６８Ｊにおいてシーケンスを上部から下部に視聴することは、シーンから離れることに対応する。スケーリングのための基準を与えるために、黒い矩形が図６８Ａおよび図６８Ｉに示される。各行ペア（例えば、図６８Ｃおよび図６８Ｄ）は、同じ視聴方角（または軸）に沿う位置に対応する。図６８Ａから図６８Ｊは運動視差効果を実証する。
軸方向におけるステップサイズ（図６８Ｃおよび図６８Ｄなど、図６８Ａ〜図６８Ｊの各行に対応する物理的距離は、シーケンスの１つの交差した眼立体ビューを示す行を形成する）は、使用される解像度およびユニットサイズによって決定されてよい。この例は、（選ばれた量分だけ焦点面をシフトすることに基づく）合成された不一致を伴う立体ペアの（焦点面のスケーリングに基づく）軸方向視差を示す。横方向視差は、（横方向）不一致を形成する場合と同じ（または同様の）変形を適用することによって作成され得る。横方向構成要素と軸方向構成要素を組み合わせるどんな３Ｄ動きも、この例において使用される変形（またはいくつかの実施形態では近似）を適用することによって決定され得る。
公称位置から焦点面を視聴する場合、焦点面は全て、同じ立体／空間角の内側に見られるであろう。調整されていない焦点面解像度は同じであるので、１つの画素は同じ立体角を占有し、知覚されるＭＦＰレンダリング（または図６８Ａ〜図６８Ｊに示されるように、投影）に対する焦点面が合計されてよい。合成された運動視差のための焦点面サイズを調整する場合、解像度およびサイズは、合計する前に調整されてよい。画素は、互いに対してサブ画素量分だけシフトしてよい。対応する画素の合計を正確なものにするために、画像の補間を実行してサブ画素値を取得してよい。
図６８Ａ〜図６８Ｊに示されるシーケンスでは、ステレオグラムのためのゼロ視差設定、および軸方向運動視差の消失点は、最も遠い焦点面である。軸方向運動視差は、全ての焦点面のサイズを調整することによって拡張され得る。この状況は、ゼロ視差面を焦点面の全ての背後に置くこと、およびより下側の１焦点面のために導き出されたスケーリングファクタを使用すること、例えば、表２に示されるようにＦＰ1のためにＦＰ2のスケーリングファクタを使用することに対応する。この結果は、より小さいユーザ動きをもつより強い運動視差効果である。
図６９は、いくつかの実施形態による、例示的なプロセスを図解するフローチャートである。プロセス６９００のいくつかの実施形態は、奥行き情報をもつ入力画像を受信すること６９０２を含んでよい。プロセス６９００は、入力画像を複数の焦点面画像にマッピングすること６９０４をさらに含んでよい。プロセス６９００は、左眼と右眼の間の立体不一致を提供するために頭部方位情報を使用して複数の焦点面画像を方位付けること６９０６をさらに含んでよい。プロセス６９００は、方位付けられた複数の焦点面画像を表示すること６９０８をさらに含んでよい。いくつかの実施形態は、１つまたは複数の運動追跡センサと、プロセッサと、このプロセッサ上で実行されるとき、プロセス６９００を実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とをもつデバイスを含んでよい。いくつかの実施形態では、プロセス６９００は、多焦点面（ＭＦＰ）ディスプレイを有するデバイスによって実行されてよい。
図７０は、いくつかの実施形態による、例示的なプロセスを図解するフローチャートである。プロセス７０００のいくつかの実施形態は、３次元（３Ｄ）コンテンツの説明を受信すること７００２を含んでよい。プロセス７０００は、視聴者の実世界環境に対する彼または彼女の動きを示す情報をトラッカから受信すること７００４をさらに含んでよい。プロセス７０００は、視聴者の動きを示す情報を受信したことに応答して、例えば、テクスチャおよび奥行き情報を含む３Ｄコンテンツを使用して形成される多焦点面を変えることによって運動視差を合成すること７００６をさらに含んでよい。プロセス７０００は、変えられた多焦点面レンダリングを使用して多焦点面ディスプレイに画像をレンダリングすること７００８をさらに含んでよい。いくつかの実施形態は、１つまたは複数の運動追跡センサと、プロセッサと、このプロセッサ上で実行されるとき、プロセス７０００を実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とをもつデバイスを含んでよい。いくつかの実施形態では、プロセス７０００は、多焦点面（ＭＦＰ）ディスプレイを有するデバイスによって実行されてよい。
いくつかの実施形態による方法およびシステムは仮想現実（ＶＲ）および拡張現実（ＡＲ）の文脈において論じられたが、いくつかの実施形態は、同様に複合現実（ＭＲ）、拡張現実（ＡＲ）、および仮想現実（ＶＲ）の文脈に適用されてよい。また、「ヘッドマウントディスプレイ（ＨＭＤ）」という用語が、本明細書ではいくつかの実施形態に従って使用されるが、いくつかの実施形態は、例えば、いくつかの実施形態ではＶＲ、ＡＲ、および／またはＭＲが可能である（頭部に取り付けられても取り付けられなくてもよい）ウェアラブルデバイスに適用され得る。
いくつかの実施形態では、「不一致ベクトル」という用語は、例えば、ＭＦＰをシフトおよび投影することによって形成される合成立体的ペア内の対応する画素の（方向を伴う）最大離隔距離を指す。幾何学的形状により、最大シフトは、視聴者に最も近い焦点面に対して行われる。この最大シフトの量および方向が「不一致ベクトル」と呼ばれる。
文献では、２つの画像（左および右）の各対応する画素の空間離隔距離は、輝度値によって表され得る。これは「不一致画像」と通常呼ばれる。本出願のいくつかの実施形態では、文献とは異なって、「不一致画像」は、例えば、（不一致ベクトルによって示され得る）量分だけスキューされ、投影され、合計されて視聴点になるＭＦＰスタックである。
いくつかの実施形態では、３Ｄコンテンツは、例えば、奥行きマップおよびテクスチャ画像を含む。いくつかの実施形態では、テクスチャ画像は、選択された視点への３Ｄモデルおよび／またはコンテンツの投影を含む。いくつかの実施形態では、ＭＦＰディスプレイへのレンダリングは、モノスコープ（例えば、モノスコープＭＦＰスタック）フォーマット、真の立体（例えば、対応して、右眼点および左眼点のための２つのモノスコープＭＦＰスタック）フォーマット、または合成立体（例えば、シフトによる、合成された２つのＭＦＰスタック）フォーマットに関し得る。
いくつかの実施形態による例示的な方法は、奥行き情報をもつ入力画像を受信することと、奥行き情報を使用して、入力画像を複数の焦点面画像にマッピングすることと、左眼と右眼の間の立体不一致を提供するために頭部方位情報を使用して複数の焦点面画像を方位付けることと、方位付けられた複数の焦点面画像を表示することとを含んでよい。
例示的な方法のいくつかの実施形態では、少なくとも入力画像を受信することおよび方位付けられた複数の焦点面画像を表示することは、多焦点面（ＭＦＰ）ディスプレイによって実行される。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を方位付けることは、複数の焦点面画像のうちの１つまたは複数を回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数を回転させることは、水平線と平行なベクトルに対して焦点面画像のうちの１つまたは複数のための不一致ベクトルを回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を方位付けることは、複数の焦点面画像のうちの１つまたは複数をシフトすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、それぞれの１つまたは複数の焦点面画像のための不一致ベクトルをスケーリングすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対して複数の焦点面画像のうちの１つまたは複数を回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対するオフセットの分だけ複数の焦点面画像のうちの１つまたは複数を移動させることを含む。
例示的な方法のいくつかの実施形態は、（例えば、ディスオクルージョンまたは穴を減少させるために）焦点面画像をシフトすることによって引き起こされる画像不一致を扱うために複数の焦点面画像を処理することをさらに含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を処理することは、焦点面画像のうちの１つまたは複数をフィルタリングすることを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を処理することは、複数の焦点面画像のうちの少なくとも１つに対する奥行きブレンド重みを決定することと、それぞれの奥行きブレンド重みを使用して複数の焦点面画像のうちの少なくとも１つを生成することとを含む。
例示的な方法のいくつかの実施形態では、複数の焦点面画像のうちの少なくとも１つを生成することは、複数のテクスチャのうちの少なくとも１つにそれぞれの奥行きブレンド重みを乗算することを含む。
例示的な方法のいくつかの実施形態では、方位付けられた複数の焦点面画像を表示することは、立体的画像ペアを生成するために、シフトされた焦点面画像を結合することを含んでよい。
例示的な方法のいくつかの実施形態は、頭部方位情報を生成するために実世界環境に対する視聴者の位置の運動追跡センサ示度を測定することをさらに含んでよい。
例示的な方法のいくつかの実施形態は、頭部方位情報を生成したことに応答して、複数の焦点面画像のうちの１つまたは複数を変えることによって運動視差を合成することをさらに含んでよい。
例示的な方法のいくつかの実施形態では、合成された運動視差は、頭部方位情報を使用して互いに対して複数の焦点面画像のうちの１つまたは複数をスケーリングすることを含んでよく、頭部方位情報は、軸方向運動を示してよい。
例示的な方法のいくつかの実施形態は、低周波数コンテンツに対して入力画像をフィルタリングすることと、低周波数コンテンツを複数の焦点面画像に再配信することとをさらに含んでよい。
例示的な方法のいくつかの実施形態は、高周波数コンテンツに対して入力画像をフィルタリングすることと、高周波数コンテンツを複数の焦点面画像に分解することとをさらに含んでよい。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）コンテンツの説明を受信することと、実世界環境に対する視聴者の動きを示す情報をトラッカから受信することと、視聴者の動きを示す情報を受信したことに応答して、３Ｄコンテンツの多焦点面を変えることによって運動視差を合成することと、変えられた多焦点面レンダリングを使用して多焦点面ディスプレイに画像をレンダリングすることとを含んでよい。
例示的な方法のいくつかの実施形態では、合成された運動視差は、視聴者の動きを示す情報を使用して互いに対して多焦点面をスケーリングすることを含んでよく、視聴者の動きは軸方向であってよい。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、入力画像にマッピングされる複数の焦点面画像を決定することと、左眼と右眼の間の立体不一致を提供するために頭部方位情報を使用して複数の焦点面画像を方位付けることと、方位付けられた複数の焦点面画像を表示することとを含んでよい。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を決定することは、複数の焦点面画像を受信することを含む。
例示的な方法のいくつかの実施形態では、複数の焦点面画像を決定することは、複数の焦点面画像を生成するために入力画像を複数の焦点面画像にマッピングすることを含む。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法のうちの１つを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）映像コンテンツを受信することと、視聴者方位信号を受信することと、３Ｄ映像コンテンツおよび視聴者方位信号を使用してディスプレイの１つまたは複数の焦点面のための画像データを決定することと、画像データを使用して１つまたは複数の焦点面画像をディスプレイにレンダリングすることとを含んでよい。
いくつかの実施形態による例示的な装置は、プロセッサと、このプロセッサ上で実行されるとき、上記で説明される例示的な方法を実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、多焦点面（ＭＦＰ）ディスプレイの能力の説明を受信することと、３次元（３Ｄ）映像コンテンツを受信することと、視聴者方位信号を受信することと、３Ｄ映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを使用して１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングすることとを含んでよい。
例示的な方法のいくつかの実施形態では、３Ｄ映像コンテンツは、１つまたは複数のテクスチャ画像および対応する奥行きマップを含んでよい。
例示的な方法のいくつかの実施形態は、奥行きマップをフィルタリングすることをさらに含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の焦点面のための画像データを計算することは、３Ｄ映像コンテンツから１つまたは複数の画像を抽出することと、１つまたは複数の焦点面について奥行きブレンド重みを計算することと、奥行きブレンド重みによって奥行きマップを再マッピングすることによって１つまたは複数のＭＦＰ重みマップを生成することと、各焦点面画像を形成するために１つまたは複数の画像に各ＭＦＰ重みマップを乗算することと、焦点面画像ごとに空間シフトを実行することとを含んでよい。
例示的な方法のいくつかの実施形態では、ＭＦＰディスプレイの能力の説明は、焦点面の数および位置を含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の焦点面のための画像データを計算することは、３Ｄ映像コンテンツを使用してＭＦＰディスプレイの１つまたは複数の焦点面について１つまたは複数のＭＦＰ画像を計算することと、１つまたは複数の計算されたＭＦＰ画像をシフトすることとを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の計算されたＭＦＰ画像をシフトすることは、ＭＦＰ画像のうちの１つまたは複数のための不一致ベクトルをスケーリングすることを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の計算されたＭＦＰ画像をシフトすることは、水平線と平行なベクトルに対してＭＦＰ画像のうちの１つまたは複数のための不一致ベクトルを回転させることを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の計算されたＭＦＰ画像をシフトすることは、ＭＦＰ画像の１つまたは複数を平行移動させることを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の焦点面のための画像データを計算することは、３Ｄ映像コンテンツを使用してＭＦＰディスプレイの１つまたは複数の焦点面について１つまたは複数のＭＦＰ画像を計算することと、１つまたは複数の計算されたＭＦＰ画像を３Ｄワーピングすることと、１つまたは複数の計算されたＭＦＰ画像上で穴充填を実行することとを含んでよい。
いくつかの実施形態による例示的な方法は、３次元映像コンテンツを受信することと、３次元映像コンテンツを使用して多焦点面の数および位置について１つまたは複数の多焦点面（ＭＦＰ）画像を計算することと、視聴者方位信号を受信することと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用して立体的ディスプレイの各ビューについて１つまたは複数の不一致画像を計算することと、１つまたは複数の不一致画像を立体的ディスプレイにレンダリングすることとを含んでよい。
例示的な方法のいくつかの実施形態では、３次元映像コンテンツは、１つまたは複数のテクスチャ画像および対応する奥行きマップを含んでよい。
例示的な方法のいくつかの実施形態は、奥行きマップをフィルタリングすることをさらに含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の焦点面のための画像データを計算することは、３Ｄ映像コンテンツから１つまたは複数の画像を抽出することと、１つまたは複数の焦点面について奥行きブレンド重みを計算することと、奥行きブレンド重みによって奥行きマップを再マッピングすることによって１つまたは複数のＭＦＰ重みマップを生成することと、各焦点面画像を形成するために１つまたは複数の画像に各ＭＦＰ重みマップを乗算することと、焦点面画像ごとに空間シフトを実行することとを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の不一致画像を立体的ディスプレイにレンダリングすることは、１つまたは複数の不一致画像の各々について立体的画像ペアを生成するために、各空間的にシフトされた焦点面を合計することを含む。
例示的な方法のいくつかの実施形態は、多焦点面（ＭＦＰ）画像のうちの１つ内の１つまたは複数の画素に対応する１つまたは複数の画素値を受信することと、奥行きマップ内の対応する距離によって１つまたは複数の画素値を調整することとをさらに含んでよい。
例示的な方法のいくつかの実施形態では、ＭＦＰディスプレイの能力の説明は、焦点面の数および位置を含んでよい。
例示的な方法のいくつかの実施形態では、視聴者方位信号は、視聴者の傾きを示してよく、立体的ディスプレイの各ビューについて１つまたは複数の不一致画像を計算することは、示された視聴者の傾きに対応する回転された不一致ベクトルを使用してよい。
例示的な方法のいくつかの実施形態では、多焦点面の数および位置について１つまたは複数のＭＦＰ画像を計算することは、３Ｄ映像コンテンツを使用して各焦点面位置について１つまたは複数のＭＦＰ画像を計算することと、１つまたは複数の計算されたＭＦＰ画像を３Ｄワーピングすることと、１つまたは複数の計算されたＭＦＰ画像上で穴充填を実行することとを含んでよい。
いくつかの実施形態による例示的な方法は、３次元映像コンテンツを受信することと、３次元映像コンテンツを使用して多焦点面の数および位置について１つまたは複数の多焦点面（ＭＦＰ）画像を計算することと、運動追跡センサの運動追跡センサ示度を測定することと、運動追跡センサ示度から視聴者方位信号を生成することと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用してシャッターメガネディスプレイの各ビューについて１つまたは複数の不一致画像を計算することと、１つまたは複数の不一致画像をシャッターメガネディスプレイにレンダリングすることを含んでよい。
いくつかの実施形態による例示的なデバイスは、１つまたは複数の運動追跡センサと、プロセッサと、このプロセッサ上で実行されるとき、３次元映像コンテンツを受信することと、３次元映像コンテンツを使用して多焦点面の数および位置について１つまたは複数の多焦点面（ＭＦＰ）画像を計算することと、運動追跡センサの運動追跡センサ示度を測定することと、運動追跡センサ示度から視聴者方位信号を生成することと、１つまたは複数のＭＦＰ画像および視聴者方位信号を使用してシャッターメガネディスプレイの各ビューについて１つまたは複数の不一致画像を計算することと、１つまたは複数の不一致画像をシャッターメガネディスプレイにレンダリングすることとのプロセスを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的なデバイスは、プロセッサと、このプロセッサ上で実行されるとき、多焦点面（ＭＦＰ）ディスプレイの能力の説明を受信することと、３次元映像コンテンツを受信することと、視聴者方位信号を受信することと、３次元映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを使用して１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングすることとのプロセスを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）映像コンテンツを受信することと、３Ｄ映像コンテンツを高周波数コンテンツおよび低周波数コンテンツにフィルタリングすることと、高周波数コンテンツを１つまたは複数の高周波数計算された画像に分解することと、１つまたは複数の再配信された焦点面を生成するために低周波数コンテンツを１つまたは複数の高周波数計算された画像に再配信することと、１つまたは複数の再配信された焦点面に対応する１つまたは複数の多焦点面画像をレンダリングすることとを含んでよい。
例示的な方法のいくつかの実施形態では、３Ｄ映像コンテンツは、１つまたは複数のテクスチャ画像および対応する奥行きマップを含んでよい。
例示的な方法のいくつかの実施形態では、高周波数コンテンツを１つまたは複数の高周波数計算された画像に分解することは、高周波数コンテンツを使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを１つまたは複数の高周波数計算された画像に分解することとを含んでよい。
例示的な方法のいくつかの実施形態では、１つまたは複数の焦点面のための画像データを計算することは、３Ｄ映像コンテンツから１つまたは複数の画像を抽出することと、１つまたは複数の焦点面について奥行きブレンド重みを計算することと、奥行きブレンド重みによって奥行きマップを再マッピングすることによって１つまたは複数のＭＦＰ重みマップを生成することと、各焦点面画像を形成するために１つまたは複数の画像に各ＭＦＰ重みマップを乗算することと、焦点面画像ごとに空間シフトを実行することとを含んでよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みはボックスフィルタであってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは線形ランプであってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは多項式関数であってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは正弦曲線関数であってよい。
例示的な方法のいくつかの実施形態では、低周波数コンテンツを１つまたは複数の高周波数計算された画像に再配信することは、低周波数コンテンツの画素値をＮで除算することと、１つまたは複数の再配信された焦点面を生成するために、除算された低周波数コンテンツをＮ個の高周波数計算された画像の各々と組み合わせることとを含んでよく、Ｎは正の整数である。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）映像コンテンツを受信することと、３Ｄ映像コンテンツを使用してＭＦＰディスプレイのＮ個の焦点面のための画像データを計算することと、低周波数３Ｄ映像コンテンツを生成するために３Ｄ映像コンテンツをローパスフィルタリングすることと、低周波数３Ｄ映像コンテンツの画素値をＮで除算することと、Ｎ個の再配信された画像を生成するために、除算された低周波数３Ｄ映像コンテンツを、計算された画像データのＮ個の焦点面に再配信することと、Ｎ個の再配信された画像を使用してＭＦＰ画像のＮ個のセットをＭＦＰディスプレイにレンダリングすることを含んでよく、Ｎは正の整数である。
例示的な方法のいくつかの実施形態では、３次元映像コンテンツは、１つまたは複数のテクスチャ画像および対応する奥行きマップを含んでよい。
例示的な方法のいくつかの実施形態では、除算された低周波数３Ｄ映像コンテンツを再配信することは、計算された画像データのＮ個の焦点面の各々をローパスフィルタリングすることと、合計された画像データのＮ個のセットを生成するために、除算された低周波数映像コンテンツを、計算された画像データのＮ個の焦点面の各々と合計することと、再配信された画像データのＮ個のセットを生成するために、それぞれの合計された画像データから、ローパスフィルタリングされた計算された画像データのＮ個のセットの各々を減算することとを含んでよい。
例示的な方法のいくつかの実施形態では、Ｎ個の焦点面のための画像データを計算することは、３Ｄ映像コンテンツからＮ個の画像を抽出することと、Ｎ個の焦点面について奥行きブレンド重みを計算することと、奥行きブレンド重みによって奥行きマップを再マッピングすることによってＮ個の多焦点面（ＭＦＰ）重みマップを生成することと、各焦点面画像を形成するためにＮ個の画像に各ＭＦＰ重みマップを乗算することと、Ｎ個の焦点面画像の各々について空間シフトを実行することとを含んでよく、Ｎは正の整数である。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みはボックスフィルタであってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは線形ランプであってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは多項式関数であってよい。
例示的な方法のいくつかの実施形態では、奥行きブレンド重みは正弦曲線関数であってよい。
例示的な方法のいくつかの実施形態では、低周波数コンテンツを１つまたは複数の高周波数焦点面に再配信することは、低周波数コンテンツの画素値をＮで除算することと、再配信された画像データの１つまたは複数のセットを生成するために、除算された低周波数コンテンツを、高周波数計算された画像データのＮ個のセットの各々と組み合わせることとを含んでよく、Ｎは正の整数である。
いくつかの実施形態による例示的なデバイスは、プロセッサと、このプロセッサ上で実行されるとき、３次元（３Ｄ）映像コンテンツを受信することと、３Ｄ映像コンテンツを高周波数コンテンツおよび低周波数コンテンツにフィルタリングすることと、高周波数コンテンツを使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを高周波数計算された画像データのＮ個のセットに分解することと、低周波数コンテンツの画素値をＮで除算することと、除算された低周波数コンテンツをＮ個の高周波数計算された画像に再配信することと、Ｎ個の再配信された画像を使用してＭＦＰ画像のＮ個のセットをＭＦＰディスプレイにレンダリングすることとのプロセスを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよく、Ｎは正の整数である。
いくつかの実施形態による例示的な方法は、３次元（３Ｄ）映像コンテンツを受信することと、３Ｄ映像コンテンツを高周波数コンテンツおよび低周波数コンテンツにフィルタリングすることと、高周波数コンテンツを１つまたは複数の高周波数焦点面に分解することと、１つまたは複数の再配信された焦点面を生成するために低周波数コンテンツを１つまたは複数の高周波数焦点面に再配信することと、１つまたは複数の再配信された焦点面を使用して１つまたは複数の多焦点面画像をレンダリングすることとを含んでよい。
いくつかの実施形態による例示的な方法は、テクスチャプラス奥行きとして表される画像を受信することと、画像の奥行き面の値に基づいて複数のＮ個の焦点面画像への第１の分解を形成することと、テクスチャ画像にローパスフィルタを適用し、画素値をＮで除算することによってスケーリングすることによって、スケーリングされた低周波数表現を作成することと、複数のＮ個の焦点面画像の各々について、複数の再配信された焦点面画像を計算することであって、それぞれの焦点面画像のローパス表現を計算することと、調整された焦点面画像を生成するために、それぞれの焦点面画像に、スケーリングされた低周波数表現を追加することと、再配信された焦点面画像を生成するために、調整された焦点面画像から、それぞれの焦点面画像の計算されたローパス表現を減算することとを含んでよい、計算することとを含んでよい。
例示的な方法のいくつかの実施形態では、複数の再配信された焦点面画像は、多焦点面ディスプレイにレンダリングされてよい。
例示的な方法のいくつかの実施形態では、複数の再配信された焦点面画像は、立体的ディスプレイに立体ペア投影を生じるための入力として使用されてよい。
いくつかの実施形態による例示的な方法は、画像の奥行き面の値に基づいて複数のＮ個の焦点面画像から構成される画像の多焦点面スタックとして表される画像を受信することと、画像にローパスフィルタを適用し、画素値をＮで除算することによってスケーリングすることによって、スケーリングされた低周波数表現を作成することと、複数のＮ個の焦点面画像の各々について、複数の再配信された焦点面画像を計算することであって、それぞれの焦点面画像のローパス表現を計算することと、調整された焦点面画像を生成するために、それぞれの焦点面画像に、スケーリングされた低周波数表現を追加することと、再配信された焦点面画像を生成するために、調整された焦点面画像から、それぞれの焦点面画像の計算されたローパス表現を減算することとを含んでよい、計算することとを含んでよい。
例示的な方法のいくつかの実施形態では、複数の再配信された焦点面画像は、多焦点面ディスプレイにレンダリングされてよい。
例示的な方法のいくつかの実施形態では、複数の再配信された焦点面画像は、立体的ディスプレイに立体ペア投影を生じるための入力として使用されてよい。
いくつかの実施形態による例示的な方法は、３次元映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを使用して１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングすることとを含んでよい。
いくつかの実施形態による例示的なデバイスは、プロセッサと、このプロセッサ上で実行されるとき、３次元映像コンテンツおよび視聴者方位信号を使用してＭＦＰディスプレイの１つまたは複数の焦点面のための画像データを計算することと、計算された画像データを使用して１つまたは複数のＭＦＰ画像をＭＦＰディスプレイにレンダリングすることとのプロセスを実行するように動作する命令を記憶する非一時的なコンピュータ可読媒体とを含んでよい。
いくつかの実施形態による例示的な方法は、多焦点面ディスプレイにレンダリングし、ユーザ頭部方位に応答して立体的映像を作成することを含んでよい。
いくつかの実施形態による例示的な方法は、奥行きマップを含む３Ｄ映像コンテンツを受信することを含んでよい。
いくつかの実施形態による例示的な方法は、テクスチャ画像からなる３Ｄ映像コンテンツを受信することを含んでよい。
いくつかの実施形態による例示的な方法は、視聴者から方位信号を受信することを含んでよい。
いくつかの実施形態による例示的な方法は、（焦点面の数および位置を含む）多焦点面ディスプレイ能力の説明を受信することを含んでよい。
いくつかの実施形態による例示的な方法は、方位信号を使用して多焦点面ディスプレイの面のための画像データを計算することを含んでよい。
いくつかの実施形態による例示的な方法は、多焦点面の選ばれた数および位置について画像データを計算することを含んでよい。
いくつかの実施形態による例示的な方法は、多焦点面および方位信号を使用して立体的ディスプレイの個々のビューについて不一致画像（または、例えば、不一致をもつ画像）を計算することを含んでよい。
いくつかの実施形態による例示的な方法は、多焦点面／不一致画像をディスプレイにレンダリングすることを含んでよい。
表４は、図７１〜図９２の黒と白の線画へのネイティブ画像のグレースケールバージョンのマッピングを示す。
説明された実施形態のうちの１つまたは複数の様々なハードウェア要素は、それぞれのモジュールに関連して本明細書で説明した様々な機能を行う（すなわち、実施、実行などする）「モジュール」として呼ばれることに留意されたい。本明細書で使用されるとき、モジュールは、所与の実装のために当業者によって好適であると見なされるハードウェア（例えば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコントローラ、１つまたは複数のマイクロチップ、１つまたは複数のＡＳＩＣ、１つまたは複数のＦＰＧＡ、１つまたは複数のメモリデバイス）を含む。各説明されたモジュールはまた、それぞれのモジュールによって行われるものとして説明された１つまたは複数の機能を行うように実行可能な命令を含むことがあり、それらの命令は、ハードウェア（すなわち、ハードワイヤード）命令、ファームウェア命令、ソフトウェア命令などの形態をとるかまたはそれらを含むことができ、また、ＲＡＭ、ＲＯＭなどと通例呼ばれるような、任意の好適な非一時的なコンピュータ可読媒体またはメディアに記憶され得ることに留意されたい。
上記では、特徴および要素を特定の組み合わせで説明したが、各特徴または要素は、単独でまたは他の特徴および要素との任意の組み合わせで使用可能なことを当業者は諒解されよう。本明細書において説明される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実施できる。コンピュータ可読記憶媒体の例は、限定はされないが、ＲＯＭ、ＲＡＭ、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよびリムーバブルディスク、磁気光学媒体などの磁気媒体、並びにＣＤ−ＲＯＭディスク、およびＤＶＤなどの光媒体を含む。ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣまたは任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実施するために、ソフトウェアと関連付けられたプロセッサを使用できる。
Claims (28)
- 奥行き情報をもつ入力画像を受信することと、
前記奥行き情報を使用して、前記入力画像を複数の焦点面画像にマッピングすることと、
左眼と右眼との間の立体不一致を提供するために頭部方位情報を使用して前記複数の焦点面画像を方位付けることと、
前記方位付けられた複数の焦点面画像を表示することと
を備える方法。 - 少なくとも前記入力画像を受信すること、および前記方位付けられた複数の焦点面画像を表示することは、多焦点面（ＭＦＰ）ディスプレイによって実行される、請求項１に記載の方法。
- 前記複数の焦点面画像を方位付けることは、前記複数の焦点面画像のうちの１つまたは複数を回転させることを備える、請求項１または請求項２に記載の方法。
- 前記複数の焦点面画像のうちの１つまたは複数を回転させることは、水平線と平行なベクトルに対して前記焦点面画像のうちの１つまたは複数のための不一致ベクトルを回転させることを備える、請求項３に記載の方法。
- 前記複数の焦点面画像を方位付けることは、前記複数の焦点面画像のうちの１つまたは複数をシフトすることを備える、請求項１乃至４のいずれか一項に記載の方法。
- 前記複数の焦点面画像のうちの１つまたは複数をシフトすることは、それぞれの１つまたは複数の焦点面画像のための不一致ベクトルをスケーリングすることを備える、請求項５に記載の方法。
- 前記複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対して前記複数の焦点面画像のうちの１つまたは複数を回転させることを備える、請求項５に記載の方法。
- 前記複数の焦点面画像のうちの１つまたは複数をシフトすることは、固定された起点に対するオフセットの分だけ前記複数の焦点面画像のうちの１つまたは複数を移動させることを備える、請求項５に記載の方法。
- 前記焦点面画像をシフトすることによって引き起こされる画像不一致を扱うために前記複数の焦点面画像を処理することをさらに備える、請求項５乃至８のいずれか一項に記載の方法。
- 前記複数の焦点面画像を処理することは、前記焦点面画像のうちの１つまたは複数をフィルタリングすることを備える、請求項９に記載の方法。
- 前記複数の焦点面画像を処理することは、
前記複数の焦点面画像のうちの少なくとも１つに対する奥行きブレンド重みを決定することと、
それぞれの奥行きブレンド重みを使用して前記複数の焦点面画像のうちの少なくとも１つを生成することと
を備える、請求項９に記載の方法。 - 前記複数の焦点面画像のうちの少なくとも１つを生成することは、複数のテクスチャのうちの少なくとも１つにそれぞれの奥行きブレンド重みを乗算することを備える、請求項１１に記載の方法。
- 前記方位付けられた複数の焦点面画像を表示することは、立体的画像ペアを生成するためにシフトされた焦点面画像を結合することを備える、請求項５乃至１２のいずれか一項に記載の方法。
- 前記頭部方位情報を生成するために実世界環境に対する視聴者の位置の運動追跡センサ示度を測定することをさらに備える、請求項１乃至１３のいずれか一項に記載の方法。
- 前記頭部方位情報を生成したことに応答して、前記複数の焦点面画像のうちの１つまたは複数を変えることによって運動視差を合成することをさらに備える、請求項１４に記載の方法。
- 前記運動視差を合成することは、前記頭部方位情報を使用して互いに対して前記複数の焦点面画像のうちの１つまたは複数をスケーリングすることを備え、前記頭部方位情報は、軸方向運動を示す、請求項１５に記載の方法。
- 低周波数コンテンツに対して前記入力画像をフィルタリングすることと、
フィルタリングされた前記入力画像からの前記低周波数コンテンツを前記複数の焦点面画像に再配信することと
をさらに備える、請求項１乃至１６のいずれか一項に記載の方法。 - 高周波数コンテンツに対して前記入力画像をフィルタリングすることと、
フィルタリングされた前記入力画像からの前記高周波数コンテンツを複数の焦点面画像に分解することと
をさらに備える、請求項１乃至１７のいずれか一項に記載の方法。 - プロセッサと、
命令を記憶する非一時的なコンピュータ可読媒体と
を備え、前記命令は、前記プロセッサによって実行されると、請求項１乃至１８のいずれか一項に記載の方法を実行するように動作する、装置。 - ３次元（３Ｄ）コンテンツの説明を受信することと、
実世界環境に対する視聴者の動きを示す情報をトラッカから受信することと、
前記視聴者の動きを示す情報を受信したことに応答して、３Ｄコンテンツの多焦点面を変えることによって運動視差を合成することと、
変えられた多焦点面レンダリングを使用して多焦点面ディスプレイに画像をレンダリングすることと
を備える方法。 - 前記合成された運動視差は、前記視聴者の動きを示す情報を使用して互いに対して前記多焦点面をスケーリングすることを備え、前記視聴者の動きは軸方向である、請求項２０に記載の方法。
- プロセッサと、
命令を記憶する非一時的なコンピュータ可読媒体と
を備え、前記命令は、前記プロセッサによって実行されると、請求項２０または請求項２１に記載の方法を実行するように動作する、装置。 - 入力画像にマッピングされる複数の焦点面画像を決定することと、
左眼と右眼との間の立体不一致を提供するために頭部方位情報を使用して前記複数の焦点面画像を方位付けることと、
前記方位付けられた複数の焦点面画像を表示することと
を備える方法。 - 前記複数の焦点面画像を決定することは、前記複数の焦点面画像を受信することを備える、請求項２３に記載の方法。
- 前記複数の焦点面画像を決定することは、前記複数の焦点面画像を生成するために前記入力画像を前記複数の焦点面画像にマッピングすることを備える、請求項２３に記載の方法。
- プロセッサと、
命令を記憶する非一時的なコンピュータ可読媒体と
を備え、前記命令は、前記プロセッサによって実行されると、請求項２３乃至２５のいずれか一項に記載の方法を実行するように動作する、装置。 - ３次元（３Ｄ）映像コンテンツを受信することと、
視聴者方位信号を受信することと、
３Ｄ映像コンテンツおよび前記視聴者方位信号を使用してディスプレイの１つまたは複数の焦点面のための画像データを決定することと、
前記画像データを使用して１つまたは複数の焦点面画像をディスプレイにレンダリングすることと
を備える方法。 - プロセッサと、
命令を記憶する非一時的なコンピュータ可読媒体と
を備え、前記命令は、前記プロセッサによって実行されると、請求項２７に記載の方法を実行するように動作する、装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862647568P | 2018-03-23 | 2018-03-23 | |
| US62/647,568 | 2018-03-23 | ||
| PCT/US2019/023149 WO2019183211A1 (en) | 2018-03-23 | 2019-03-20 | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021518701A true JP2021518701A (ja) | 2021-08-02 |
| JPWO2019183211A5 JPWO2019183211A5 (ja) | 2022-03-30 |
Family
ID=66041666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020550166A Pending JP2021518701A (ja) | 2018-03-23 | 2019-03-20 | Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ） |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11477434B2 (ja) |
| EP (2) | EP4266113A3 (ja) |
| JP (1) | JP2021518701A (ja) |
| CN (1) | CN112136324A (ja) |
| MX (1) | MX2020009791A (ja) |
| WO (1) | WO2019183211A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
| WO2020259839A1 (en) * | 2019-06-27 | 2020-12-30 | Huawei Technologies Co., Ltd. | Multifocal display device and method |
| EP4053630A4 (en) * | 2019-10-31 | 2022-12-21 | Sony Group Corporation | IMAGE DISPLAY DEVICE |
| US11575882B2 (en) | 2019-12-27 | 2023-02-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN111427166B (zh) * | 2020-03-31 | 2022-07-05 | 京东方科技集团股份有限公司 | 一种光场显示方法及系统、存储介质和显示面板 |
| US11449004B2 (en) | 2020-05-21 | 2022-09-20 | Looking Glass Factory, Inc. | System and method for holographic image display |
| FI20205528A1 (en) * | 2020-05-25 | 2021-11-26 | Teknologian Tutkimuskeskus Vtt Oy | Method and system for enabling 3D detection from monocular images |
| WO2022119940A1 (en) | 2020-12-01 | 2022-06-09 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
| WO2022155950A1 (zh) * | 2021-01-25 | 2022-07-28 | 京东方科技集团股份有限公司 | 虚拟视点合成方法、电子设备和计算机可读介质 |
| CN114815241B (zh) * | 2021-12-16 | 2022-12-16 | 北京灵犀微光科技有限公司 | 抬头显示系统、方法及车载系统 |
| US20230344975A1 (en) * | 2022-04-22 | 2023-10-26 | Faurecia Irystec Inc. | System and method for controlling perceptual three-dimensional elements for display |
| US11902503B1 (en) | 2022-11-18 | 2024-02-13 | Rovi Guides, Inc. | System and method for preprocessing of focal planes data for rendering |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000156876A (ja) * | 1998-09-17 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元表示方法及び装置 |
| JP2010217859A (ja) * | 2009-03-17 | 2010-09-30 | Chunghwa Picture Tubes Ltd | 深さ融合型ディスプレイ表示方法 |
| WO2014119555A1 (ja) * | 2013-01-31 | 2014-08-07 | 株式会社ニコン | 画像処理装置、表示装置及びプログラム |
| US20150145977A1 (en) * | 2013-11-22 | 2015-05-28 | Samsung Display Co., Ltd. | Compensation technique for viewer position in autostereoscopic displays |
| JP2017529635A (ja) * | 2014-06-14 | 2017-10-05 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想および拡張現実を作成する方法およびシステム |
| JP2017229037A (ja) * | 2016-06-24 | 2017-12-28 | 日本電信電話株式会社 | 表示装置 |
Family Cites Families (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5793985A (en) | 1996-06-17 | 1998-08-11 | Hewlett-Packard Company | Method and apparatus for block-based motion estimation |
| US7116324B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures |
| WO2001035154A1 (de) | 1999-11-11 | 2001-05-17 | 4D-Vision Gmbh | Verfahren und anordnung zur dreidimensionalen darstellung |
| NZ511444A (en) | 2001-05-01 | 2004-01-30 | Deep Video Imaging Ltd | Information display |
| JP4130780B2 (ja) | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
| US7483488B1 (en) | 2002-05-30 | 2009-01-27 | Intervideo, Inc. | Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model |
| JP3862620B2 (ja) | 2002-06-28 | 2006-12-27 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
| EP1727352B1 (en) | 2004-02-23 | 2014-05-07 | Toa Corporation | Image compression method, image compression device, image transmission system, data compression pre-processing device, and computer program |
| US8094927B2 (en) | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
| US8717423B2 (en) | 2005-05-09 | 2014-05-06 | Zspace, Inc. | Modifying perspective of stereoscopic images based on changes in user viewpoint |
| US8107540B2 (en) | 2005-07-11 | 2012-01-31 | Cheetah Technologies, L.P. | Image complexity computation in packet based video broadcast systems |
| WO2008038205A2 (en) | 2006-09-28 | 2008-04-03 | Koninklijke Philips Electronics N.V. | 3 menu display |
| US8100539B2 (en) | 2007-04-10 | 2012-01-24 | Tunable Optix Corporation | 3D imaging system employing electronically tunable liquid crystal lens |
| US8331663B2 (en) | 2007-06-28 | 2012-12-11 | Qualcomm Incorporated | Efficient image compression scheme to minimize storage and bus bandwidth requirements |
| US9866826B2 (en) * | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Content-adaptive multi-focal display |
| US8897595B2 (en) * | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
| WO2009155688A1 (en) * | 2008-06-23 | 2009-12-30 | Craig Summers | Method for seeing ordinary video in 3d on handheld media players without 3d glasses or lenticular optics |
| US8184196B2 (en) | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
| US8666189B2 (en) | 2008-08-05 | 2014-03-04 | Aptina Imaging Corporation | Methods and apparatus for flat region image filtering |
| WO2010036128A2 (en) | 2008-08-27 | 2010-04-01 | Puredepth Limited | Improvements in and relating to electronic visual displays |
| US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
| US8788197B2 (en) | 2010-04-30 | 2014-07-22 | Ryan Fink | Visual training devices, systems, and methods |
| US20110273466A1 (en) | 2010-05-10 | 2011-11-10 | Canon Kabushiki Kaisha | View-dependent rendering system with intuitive mixed reality |
| US9832441B2 (en) | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
| US9143699B2 (en) | 2010-07-13 | 2015-09-22 | Sony Computer Entertainment Inc. | Overlay non-video content on a mobile device |
| US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US20120128244A1 (en) | 2010-11-19 | 2012-05-24 | Raka Singh | Divide-and-conquer filter for low-light noise reduction |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
| US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
| EP2698658B1 (en) | 2011-04-15 | 2018-09-12 | Panasonic Corporation | Image pickup apparatus, semiconductor integrated circuit and image pickup method |
| GB201110661D0 (en) | 2011-06-23 | 2011-08-10 | Univ Durham | Apparatus and method for displaying images |
| US8432434B2 (en) | 2011-07-08 | 2013-04-30 | Mitsubishi Electric Research Laboratories, Inc. | Camera and method for focus based depth reconstruction of dynamic scenes |
| US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
| NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
| KR20130127347A (ko) | 2012-05-10 | 2013-11-22 | 삼성전자주식회사 | 아날로그 및 디지털 하이브리드 빔포밍을 통한 통신 방법 및 장치 |
| US9030749B2 (en) | 2012-08-01 | 2015-05-12 | Microvision, Inc. | Bifocal head-up display system |
| CN103634588A (zh) | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 一种影像构成方法及电子设备 |
| JP2014071207A (ja) | 2012-09-28 | 2014-04-21 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
| US8976323B2 (en) | 2013-01-04 | 2015-03-10 | Disney Enterprises, Inc. | Switching dual layer display with independent layer content and a dynamic mask |
| KR102079629B1 (ko) | 2013-05-02 | 2020-02-21 | 삼성전자주식회사 | 무선 통신 시스템에서 하이브리드 빔포밍의 복잡도 개선을 위한 방법 및 장치 |
| US9437038B1 (en) | 2013-09-26 | 2016-09-06 | Amazon Technologies, Inc. | Simulating three-dimensional views using depth relationships among planes of content |
| US9508173B2 (en) | 2013-10-30 | 2016-11-29 | Morpho, Inc. | Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium |
| CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| US9405122B2 (en) | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
| NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| AU2015227092B2 (en) | 2014-03-05 | 2019-07-04 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Wearable 3D augmented reality display |
| US9971153B2 (en) * | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
| US9606359B2 (en) | 2014-05-15 | 2017-03-28 | Atheer, Inc. | Method and apparatus for controlling focal vergence of optical content |
| KR102258289B1 (ko) | 2014-05-22 | 2021-05-31 | 삼성전자 주식회사 | 이차원 배열 안테나를 사용하는 이동통신 시스템에서의 채널 피드백의 생성 및 전송 방법 및 장치 |
| EP3149528B1 (en) | 2014-05-30 | 2023-06-07 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CA3141963A1 (en) | 2014-05-30 | 2015-12-03 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| KR102300532B1 (ko) | 2014-09-05 | 2021-09-13 | 삼성전자주식회사 | 빔 포밍 시스템에서 채널 정보 피드백을 위한 방법 및 장치 |
| US9997199B2 (en) | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
| WO2016138313A1 (en) * | 2015-02-26 | 2016-09-01 | Puredepth Inc. | A display interposing a physical object within a three-dimensional volumetric space |
| WO2016154026A2 (en) | 2015-03-20 | 2016-09-29 | Castar, Inc. | Retroreflective light field display |
| WO2017055894A1 (en) | 2015-09-30 | 2017-04-06 | Lightspace Technologies Sia | Multi-planar volumetric real time three-dimensional display and method of operation |
| US10187880B2 (en) | 2015-12-18 | 2019-01-22 | Futurewei Technologies, Inc. | System and method for transmission and reception of control and data channels with group reference signal |
| US10056057B2 (en) | 2016-04-13 | 2018-08-21 | Google Llc | Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues |
| US10516879B2 (en) * | 2016-08-12 | 2019-12-24 | Avegant Corp. | Binocular display with digital light path length modulation |
| AU2017328161B2 (en) * | 2016-09-13 | 2022-02-17 | Magic Leap, Inc. | Sensory eyewear |
| FR3057095B1 (fr) | 2016-10-03 | 2019-08-16 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de construction d'une carte de profondeur d'une scene et/ou d'une image entierement focalisee |
| CN106875436B (zh) | 2016-12-14 | 2019-10-22 | 北京信息科技大学 | 一种基于特征点密度由聚焦堆栈估计深度的方法和装置 |
-
2019
- 2019-03-20 EP EP23196907.2A patent/EP4266113A3/en active Pending
- 2019-03-20 CN CN201980031588.8A patent/CN112136324A/zh active Pending
- 2019-03-20 US US16/981,167 patent/US11477434B2/en active Active
- 2019-03-20 MX MX2020009791A patent/MX2020009791A/es unknown
- 2019-03-20 WO PCT/US2019/023149 patent/WO2019183211A1/en active Application Filing
- 2019-03-20 EP EP19715640.9A patent/EP3769517B1/en active Active
- 2019-03-20 JP JP2020550166A patent/JP2021518701A/ja active Pending
-
2022
- 2022-09-20 US US17/948,952 patent/US20230027251A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000156876A (ja) * | 1998-09-17 | 2000-06-06 | Nippon Telegr & Teleph Corp <Ntt> | ３次元表示方法及び装置 |
| JP2010217859A (ja) * | 2009-03-17 | 2010-09-30 | Chunghwa Picture Tubes Ltd | 深さ融合型ディスプレイ表示方法 |
| WO2014119555A1 (ja) * | 2013-01-31 | 2014-08-07 | 株式会社ニコン | 画像処理装置、表示装置及びプログラム |
| US20150145977A1 (en) * | 2013-11-22 | 2015-05-28 | Samsung Display Co., Ltd. | Compensation technique for viewer position in autostereoscopic displays |
| JP2017529635A (ja) * | 2014-06-14 | 2017-10-05 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想および拡張現実を作成する方法およびシステム |
| JP2017229037A (ja) * | 2016-06-24 | 2017-12-28 | 日本電信電話株式会社 | 表示装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4266113A3 (en) | 2023-12-27 |
| WO2019183211A1 (en) | 2019-09-26 |
| CN112136324A (zh) | 2020-12-25 |
| US20230027251A1 (en) | 2023-01-26 |
| EP3769517B1 (en) | 2023-09-13 |
| EP3769517A1 (en) | 2021-01-27 |
| US20210136354A1 (en) | 2021-05-06 |
| MX2020009791A (es) | 2020-11-11 |
| EP4266113A2 (en) | 2023-10-25 |
| US11477434B2 (en) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2021518701A (ja) | Ｄｉｂｒシステムにおいて立体的視点を生じさせるための、多焦点面ベースの方法（ｍｆｐ−ｄｉｂｒ） | |
| US10460459B2 (en) | Stitching frames into a panoramic frame | |
| KR101944050B1 (ko) | 파노라마 가상 현실 콘텐츠의 캡쳐 및 렌더링 | |
| CN112585963B (zh) | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 | |
| Terzić et al. | Methods for reducing visual discomfort in stereoscopic 3D: A review | |
| US9445072B2 (en) | Synthesizing views based on image domain warping | |
| CN107105213B (zh) | 立体图像显示装置 | |
| US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
| US20180192033A1 (en) | Multi-view scene flow stitching | |
| US9031356B2 (en) | Applying perceptually correct 3D film noise | |
| KR20170123666A (ko) | 카메라 리그 및 입체 이미지 캡쳐 | |
| EP3818695B1 (en) | Method and system for forming extended focal planes for large viewpoint changes | |
| CN108141578A (zh) | 呈现相机 | |
| CN115052139A (zh) | 具有变化位置的多焦平面 | |
| US20170171534A1 (en) | Method and apparatus to display stereoscopic image in 3d display system | |
| CN114080582A (zh) | 用于稀疏分布式渲染的系统和方法 | |
| Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
| Chappuis et al. | Subjective evaluation of an active crosstalk reduction system for mobile autostereoscopic displays | |
| CN118158376A (zh) | 用于近眼焦平面覆盖层的方法和系统 | |
| JP2024062935A (ja) | 立体視表示コンテンツを生成する方法および装置 | |
| CN117203668A (zh) | 2d数字图像捕获系统、帧速度和模拟3d数字图像序列 | |
| CN108924530A (zh) | 一种3d拍摄异常图像校正的方法、装置及移动端 | |
| Zilly | Method for the automated analysis, control and correction of stereoscopic distortions and parameters for 3D-TV applications: new image processing algorithms to improve the efficiency of stereo-and multi-camera 3D-TV productions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201118 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20201014 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220322 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240312 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240319 |