JP2022519033A - シーンの画像表現 - Google Patents
シーンの画像表現 Download PDFInfo
- Publication number
- JP2022519033A JP2022519033A JP2021543369A JP2021543369A JP2022519033A JP 2022519033 A JP2022519033 A JP 2022519033A JP 2021543369 A JP2021543369 A JP 2021543369A JP 2021543369 A JP2021543369 A JP 2021543369A JP 2022519033 A JP2022519033 A JP 2022519033A
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- offset
- pose
- image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 86
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 45
- 210000001508 eye Anatomy 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims description 35
- 238000009877 rendering Methods 0.000 claims description 22
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 2
- 210000003128 head Anatomy 0.000 description 34
- 238000013459 approach Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 11
- 230000015556 catabolic process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 10
- 238000006731 degradation reaction Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000004886 head movement Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
シーンの画像表現を受信するための受信部(301)であって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信部(301)と、
視認者に対する視認者ポーズを特定するための特定部(305)であって、視認者ポーズが、視認者座標系に基づいて提供される、特定部(305)と、
シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするための位置合わせ部(307)と、
画像表現と視認者座標系に対するシーン座標系の位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするためのレンダラー(303)と、
を備え、
装置が、
位置合わせ視認者ポーズに応じて視認者基準位置を特定するように構成されたオフセットプロセッサ(309)であって、視認者基準位置が、位置合わせ視認者ポーズの配向に依存し、及び、位置合わせ視認者ポーズに対する視認者眼球位置に対するオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセットプロセッサ(309)
を更に備える、
装置。
1つ又は複数のポーズからのシーンを表す多数の画像を受信するための受信部(201)と、
シーンの画像表現を提供する画像データを生成するための表現プロセッサ(205)であって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、表現プロセッサ(205)と、
オフセット標示を生成するためのオフセット生成器(209)であって、オフセット標示が、視認者座標系におけるシーン基準位置と視認者基準位置との間のオフセットを示す、オフセット生成器(209)と、
画像データとオフセット標示とを含むように画像信号を生成するための出力プロセッサ(207)と、
を備える、装置。
シーンの画像表現を受信するステップであって、画像表現が、シーン座標系に基づいて提供され、シーン座標系が、基準位置を含む、受信するステップと、
視認者に対する視認者ポーズを特定するステップであって、視認者ポーズが、視認者座標系に基づいて提供される、特定するステップと、
シーン基準位置を視認者座標系における視認者基準位置と位置合わせすることにより、シーン座標系を視認者座標系と位置合わせするステップと、
画像表現と視認者座標系に対するシーン座標系の位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするステップと、
を有し、
方法は、
位置合わせ視認者ポーズに応じて視認者基準位置を特定するステップであって、視認者基準位置が、位置合わせ視認者ポーズの配向に依存し、位置合わせ視認者ポーズに対する視認者眼球位置に対するオフセットをもち、オフセットが、視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、特定するステップ、
を更に有する、
方法。
1つ又は複数のポーズからのシーンを表す多数の画像を受信するステップと、
シーンの画像表現を提供する画像データを生成するステップであって、画像データが、多数の画像とシーン座標系に基づいて提供される画像表現とを含み、シーン座標系が、シーン基準位置を含む、生成するステップと、
オフセット標示を生成するステップであって、オフセット標示が、視認者座標系におけるシーン基準位置と視認者基準位置との間のオフセットを示す、生成するステップと、
画像データとオフセット標示とを含むように画像信号を生成するステップと、
を有する、方法。
Claims (16)
- 画像をレンダリングするための装置であって、前記装置が、
シーンの画像表現を受信するための受信部であって、前記画像表現が、シーン座標系に基づいて提供され、前記シーン座標系が、基準位置を含む、受信部と、
視認者に対する視認者ポーズを特定するための特定部であって、前記視認者ポーズが、視認者座標系に基づいて提供される、特定部と、
シーン基準位置を前記視認者座標系における視認者基準位置と位置合わせすることにより、前記シーン座標系を前記視認者座標系と位置合わせするための位置合わせ部と、
前記画像表現と前記視認者座標系に対する前記シーン座標系の前記位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするためのレンダラーと、
を備え、
前記装置は、
位置合わせが実施される対象の視認者ポーズである第1の視認者ポーズに応じて前記視認者基準位置を特定するオフセットプロセッサであって、前記視認者基準位置が、前記第1の視認者ポーズの配向に依存し、及び、前記第1の視認者ポーズに対する視認者眼球位置に対するオフセットをもち、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセットプロセッサ、
を更に備え、
前記受信部が、前記画像表現を含むとともにオフセット標示を更に含む画像データ信号を受信し、前記オフセットプロセッサが、前記オフセット標示に応じて前記オフセットを特定する、
装置。 - 前記オフセット成分が、2cm以上である、
請求項1に記載の装置。 - 前記オフセット成分が、12cm以下である、
請求項1又は2に記載の装置。 - 前記オフセットプロセッサが、少なくとも1つの視認者ポーズに対する誤差尺度に応じて前記オフセットを特定し、前記誤差尺度が、前記オフセットの候補値に依存する、
請求項1から3のいずれか一項に記載の装置。 - 前記オフセットプロセッサが、複数の視認者ポーズに対する前記誤差尺度の組み合わせに応じて候補値に対する前記誤差尺度を特定する、
請求項4に記載の装置。 - 視認者ポーズ及び前記オフセットの候補値に対する前記誤差尺度が、前記画像表現の少なくとも1つの画像から合成された前記視認者ポーズに対するビュー画像に対する画像品質尺度を含み、前記少なくとも1つの画像が、前記候補値に応じた前記視認者ポーズに対する位置を含む、
請求項4又は5に記載の装置。 - 視認者ポーズ及び前記オフセットの候補値に対する前記誤差尺度が、前記画像表現の少なくとも2つの画像から合成された前記視認者ポーズに対するビュー画像に対する画像品質尺度を含み、前記少なくとも2つの画像が、前記候補値に応じた前記視認者ポーズに対する基準位置をもつ、
請求項4又は5に記載の装置。 - 前記画像表現が、全方向画像表現を含む、
請求項1から7のいずれか一項に記載の装置。 - 前記オフセットが、前記視認者眼球位置のビュー方向に直交する方向におけるオフセット成分を含む、
請求項1から8のいずれか一項に記載の装置。 - 前記オフセットが、縦成分を含む、
請求項1から9のいずれか一項に記載の装置。 - 画像信号を生成するための装置であって、前記装置が、
1つ又は複数のポーズからのシーンを表す多数の画像を受信するための受信部と、
前記シーンの画像表現を提供する画像データを生成するための表現プロセッサであって、前記画像データが、前記多数の画像とシーン座標系に基づいて提供される前記画像表現とを含み、前記シーン座標系が、シーン基準位置を含む、表現プロセッサと、
オフセット標示を生成するためのオフセット生成器であって、前記オフセット標示が、視認者座標系に対して前記シーン座標系を位置合わせするときに前記シーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、オフセット生成器と、
前記画像データと前記オフセット標示とを含むように前記画像信号を生成するための出力プロセッサと、
を備える、装置。 - 前記オフセット生成器は、少なくとも1つの視認者ポーズに対する誤差尺度に応じて前記オフセットを特定し、前記誤差尺度が、前記オフセットの候補値に依存する、
請求項11に記載の装置。 - 前記オフセット生成器が、複数の視認者ポーズに対する前記誤差尺度の組み合わせに応じて候補値に対する前記誤差尺度を特定する、
請求項12に記載の装置。 - 画像をレンダリングする方法であって、前記方法が、
シーンの画像表現を受信するステップであって、前記画像表現が、シーン座標系に基づいて提供され、前記シーン座標系が、基準位置を含む、受信するステップと、
視認者に対する視認者ポーズを特定するステップであって、前記視認者ポーズが、視認者座標系に基づいて提供される、特定するステップと、
シーン基準位置を前記視認者座標系における視認者基準位置と位置合わせするステップにより、前記シーン座標系を前記視認者座標系と位置合わせするステップと、
前記画像表現と前記視認者座標系に対する前記シーン座標系の前記位置合わせとに応じて、異なる視認者ポーズに対するビュー画像をレンダリングするステップと、
を有し、
前記方法が、
第1の視認者ポーズに応じて前記視認者基準位置を特定するステップであって、前記視認者基準位置が、前記第1の視認者ポーズの配向に依存し、及び、前記第1の視認者ポーズに対する視認者眼球位置に対するオフセットをもち、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、特定するステップ、
を更に有し、
前記シーンの前記画像表現を前記受信するステップが、前記画像表現を含むとともにオフセット標示を更に含む画像データ信号を受信するステップを有し、前記オフセット標示に応じて前記オフセットを特定するステップを更に有する、
方法。 - 画像信号を生成するための方法であって、前記方法が、
1つ又は複数のポーズからのシーンを表す多数の画像を受信するステップと、
前記シーンの画像表現を提供する画像データを生成するステップであって、前記画像データが、前記多数の画像とシーン座標系に基づいて提供される前記画像表現とを含み、前記シーン座標系が、シーン基準位置を含む、生成するステップと、
オフセット標示を生成するステップであって、前記オフセット標示が、視認者座標系に対して前記シーン座標系を位置合わせするときに前記シーン基準位置と視認者眼球位置との間に適用するためのオフセットを示し、前記オフセットが、前記視認者眼球位置のビュー方向の反対方向におけるオフセット成分を含む、生成するステップと、
前記画像データと前記オフセット標示とを含むように画像信号を生成するステップと、
を有する、方法。 - コンピュータにおいて実行されたときに請求項14又は15に記載のすべてのステップを実施するコンピュータプログラムコード手段を含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP19154468.3 | 2019-01-30 | ||
EP19154468.3A EP3690822A1 (en) | 2019-01-30 | 2019-01-30 | Image representation of a scene |
PCT/EP2020/051205 WO2020156844A1 (en) | 2019-01-30 | 2020-01-19 | Image representation of a scene |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022519033A true JP2022519033A (ja) | 2022-03-18 |
JP7471307B2 JP7471307B2 (ja) | 2024-04-19 |
Family
ID=65278183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021543369A Active JP7471307B2 (ja) | 2019-01-30 | 2020-01-19 | シーンの画像表現 |
Country Status (9)
Country | Link |
---|---|
US (1) | US11734875B2 (ja) |
EP (2) | EP3690822A1 (ja) |
JP (1) | JP7471307B2 (ja) |
KR (1) | KR20210122283A (ja) |
CN (1) | CN113366540A (ja) |
BR (1) | BR112021014724A2 (ja) |
CA (1) | CA3127908A1 (ja) |
TW (1) | TW202038605A (ja) |
WO (1) | WO2020156844A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11615582B2 (en) * | 2021-06-08 | 2023-03-28 | Fyusion, Inc. | Enclosed multi-view visual media representation |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10619202B2 (en) | 2013-11-29 | 2020-04-14 | Koninklijke Philips N.V. | Optical controlling of a chemical reaction |
GB2525170A (en) * | 2014-04-07 | 2015-10-21 | Nokia Technologies Oy | Stereo viewing |
CN106461198B (zh) | 2014-04-11 | 2019-11-19 | 飞利浦灯具控股公司 | 照明器材 |
EP3304894A1 (en) | 2015-05-27 | 2018-04-11 | Google LLC | Omnistereo capture and render of panoramic virtual reality content |
US9588598B2 (en) * | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Efficient orientation estimation system using magnetic, angular rate, and gravity sensors |
CN108292040B (zh) | 2015-09-30 | 2020-11-06 | 索尼互动娱乐股份有限公司 | 优化头戴式显示器屏幕上的内容定位的方法 |
DE202017104934U1 (de) | 2016-08-17 | 2017-11-20 | Google Inc. | Mehrstufiges Kameraträgersystem für die stereoskope Bildaufnahme |
WO2018201048A1 (en) * | 2017-04-27 | 2018-11-01 | Google Llc | Synthetic stereoscopic content capture |
-
2019
- 2019-01-30 EP EP19154468.3A patent/EP3690822A1/en not_active Withdrawn
-
2020
- 2020-01-19 WO PCT/EP2020/051205 patent/WO2020156844A1/en unknown
- 2020-01-19 JP JP2021543369A patent/JP7471307B2/ja active Active
- 2020-01-19 CA CA3127908A patent/CA3127908A1/en active Pending
- 2020-01-19 BR BR112021014724-1A patent/BR112021014724A2/pt unknown
- 2020-01-19 EP EP20700722.0A patent/EP3918575A1/en active Pending
- 2020-01-19 CN CN202080011735.8A patent/CN113366540A/zh active Pending
- 2020-01-19 KR KR1020217027485A patent/KR20210122283A/ko unknown
- 2020-01-19 US US17/425,966 patent/US11734875B2/en active Active
- 2020-01-30 TW TW109102749A patent/TW202038605A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US20220114782A1 (en) | 2022-04-14 |
TW202038605A (zh) | 2020-10-16 |
WO2020156844A1 (en) | 2020-08-06 |
JP7471307B2 (ja) | 2024-04-19 |
EP3918575A1 (en) | 2021-12-08 |
EP3690822A1 (en) | 2020-08-05 |
BR112021014724A2 (pt) | 2021-09-28 |
US11734875B2 (en) | 2023-08-22 |
KR20210122283A (ko) | 2021-10-08 |
CN113366540A (zh) | 2021-09-07 |
CA3127908A1 (en) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
JP7480163B2 (ja) | 画像の奥行きマップの処理 | |
JP6915165B2 (ja) | ビュー画像を生成するための装置および方法 | |
US20220165015A1 (en) | Image signal representing a scene | |
JP7471307B2 (ja) | シーンの画像表現 | |
JP7377861B2 (ja) | 画像生成装置及び方法 | |
US20220174259A1 (en) | Image signal representing a scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7471307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |