JP2020528619A - シーンのタイル化3次元画像表現を生成する装置及び方法 - Google Patents
シーンのタイル化3次元画像表現を生成する装置及び方法 Download PDFInfo
- Publication number
- JP2020528619A JP2020528619A JP2020503314A JP2020503314A JP2020528619A JP 2020528619 A JP2020528619 A JP 2020528619A JP 2020503314 A JP2020503314 A JP 2020503314A JP 2020503314 A JP2020503314 A JP 2020503314A JP 2020528619 A JP2020528619 A JP 2020528619A
- Authority
- JP
- Japan
- Prior art keywords
- tile
- depth value
- depth
- mesh
- tiles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
- H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
したがって、第2の処理装置309は、デプス値の平均を決定し、それを新たに受け取ったマップ及び格納された近接するデプスマップの双方に指定するのではなく、格納されたデプスマップの近接するデプス値と同一になるように、新たなデプスマップのデプス値を設定する。こうして、新たなタイルのデプスマップは、ローカルに格納されたデプスマップを修正することなく、それらと整合するように修正される。したがって、格納されたデプスマップに対し、既に実行されたあらゆる処理を再実行する必要がなく、例えば、これらのデプスマップに再度フィルタをかける必要がない。逆に、新たなタイルの新たなデプスマップが修正され、その後は既存のデプスマップと共に使用することができる。
Claims (15)
- シーンのタイル化3次元画像表現を生成する装置であって、前記装置は、
第1の視点から前記シーンのタイル化3次元画像表現を受け取るための受信装置であって、前記タイル化3次元画像表現が複数の相互接続されたタイルを含み、各タイルが前記第1の視点からの前記シーンのビューポートを表現するデプスマップ及びテクスチャマップを含み、前記タイルがタイリングパターンを形成する、前記受信装置と、
前記タイリングパターンに応じて、少なくとも第1のタイル及び第2のタイルの近接する境界領域を決定する第1の処理装置であって、前記第1のタイル及び前記第2のタイルが近接するタイルである、前記第1の処理装置と、
前記第1のタイルの第1の境界領域の第1のデプス値と前記第2のタイルの第2の境界領域の第2のデプス値とのうち、少なくともいくつかの値について、前記第1のデプス値と前記第2のデプス値との差異が低減されるように、少なくとも前記第2のデプス値に応じて、少なくとも前記第1のデプス値を修正する第2の処理装置であって、前記第1の境界領域及び前記第2の境界領域が近接する境界領域である、前記第2の処理装置と、を備える、装置。 - 前記第2の処理装置は、前記第1のデプス値及び前記第2のデプス値を、等しい値に設定する、請求項1に記載の装置。
- 前記等しい値は、前記第1のデプス値と前記第2のデプス値との平均値である、請求項2に記載の装置。
- 前記第2の処理装置は、前記第1のデプス値を前記第2のデプス値に設定する、請求項1又は2に記載の装置。
- 前記タイルの前記デプスマップから3次元メッシュを生成するためのメッシュ生成装置を更に含む、請求項1から4の何れか一項に記載の装置。
- 前記メッシュ生成装置は、前記3次元メッシュを生成するために使用するための前記第1の境界領域のデプス値の一部を選択し、前記第2の処理装置は、前記第1の境界領域がデプス値の前記一部に属する場合にのみ、前記第1の境界領域のデプス値を修正する、請求項5に記載の装置。
- 前記第2の処理装置は前記第1のデプス値を修正することに続いて、前記第1のタイルの前記デプスマップに空間フィルタを適用する、請求項1から6の何れか一項に記載の装置。
- 遠隔ソースから前記タイル化3次元画像表現のためのタイルを受け取る遠隔ソース通信装置と、前記タイル化3次元画像表現のためのタイルを格納するローカル・ストアとを備え、前記受信装置は、前記遠隔ソース通信装置から前記第1のタイルを受け取るのに応じて、前記ローカル・ストアから少なくとも前記第2のデプス値を読み取る、請求項1から7の何れか一項に記載の装置。
- 前記ローカル・ストアは、前記第1のデプス値を修正することに続いて、前記第1のタイルのデプスマップ又はメッシュを格納する、請求項8に記載の装置。
- 現在の視点方向を決定するためのユーザ入力部を更に含み、前記遠隔ソース通信装置は、前記現在の視点方向についての指示を前記遠隔ソースに送信し、その指示に応答して前記第1のタイルが受け取られる、請求項8又は9に記載の装置。
- 前記ローカル・ストアは、格納されたタイルに関するメッシュを格納し、前記メッシュ生成装置は、差分量が閾値を超えるとの検出に応答して、前記第2のタイルに対して格納されたメッシュに頂点及び少なくとも1つのエッジを付加し、前記差分量は、前記第1のタイルの境界デプス値と、前記第2のタイルに対して格納されたメッシュの対応する境界デプス値との間のデプスの差分を表す、請求項8から10の何れか一項に記載の装置。
- 前記第2の処理装置は、前記第1のデプス値の位置で、前記第1のタイルに近接する各タイルの、最も近いデプス値のみに応じて、前記第1のデプス値を決定する、請求項1から11の何れか一項に記載の装置。
- 各タイルは平面ポリゴンであり、相互接続された複数のタイルは3次元構造を形成する、請求項1から12の何れか一項に記載の装置。
- シーンの3次元画像表現を生成する方法であって、前記方法は、
第1の視点から前記シーンのタイル化3次元画像表現を受け取るステップであって、
前記タイル化3次元画像表現が複数の相互接続されたタイルを含み、各タイルが、前記第1の視点からの前記シーンのビューポートを表すデプスマップ及びテクスチャマップを含み、前記タイルがタイリングパターンを形成する、ステップと、
前記タイリングパターンに応じて、少なくとも第1のタイル及び第2のタイルの隣接する境界領域を決定するステップであって、前記第1のタイル及び前記第2のタイルが近接しているタイルである、ステップと、
前記第1のタイルの第1の境界領域の第1のデプス値と前記第2のタイルの第2の境界領域の第2のデプス値とのうち、少なくともいくつかの値について前記第1のデプス値と前記第2のデプス値との間の差異が低減されるように、少なくとも前記第2のデプス値に応じて、少なくとも前記第1のデプス値を修正するステップであって、前記第1の境界領域及び前記第2の境界領域が近接する境界領域である、ステップと、を有する、方法。 - コンピュータにおいて動作させられるとき、請求項14に記載の方法を実施するように適応されたコンピュータプログラムコード手段を含む、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17182985.6 | 2017-07-25 | ||
EP17182985.6A EP3435670A1 (en) | 2017-07-25 | 2017-07-25 | Apparatus and method for generating a tiled three-dimensional image representation of a scene |
PCT/EP2018/069387 WO2019020433A1 (en) | 2017-07-25 | 2018-07-17 | APPARATUS AND METHOD FOR GENERATING THREE-DIMENSIONAL MOSAIC IMAGE REPRESENTATION OF A SCENE |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020528619A true JP2020528619A (ja) | 2020-09-24 |
JP2020528619A5 JP2020528619A5 (ja) | 2021-08-26 |
JP7191079B2 JP7191079B2 (ja) | 2022-12-16 |
Family
ID=59399320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020503314A Active JP7191079B2 (ja) | 2017-07-25 | 2018-07-17 | シーンのタイル化3次元画像表現を生成する装置及び方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US10893259B2 (ja) |
EP (2) | EP3435670A1 (ja) |
JP (1) | JP7191079B2 (ja) |
KR (1) | KR102546358B1 (ja) |
CN (1) | CN110945868B (ja) |
BR (1) | BR112020001453A2 (ja) |
TW (1) | TWI786157B (ja) |
WO (1) | WO2019020433A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111669567B (zh) * | 2019-03-07 | 2024-03-29 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
EP3712843A1 (en) | 2019-03-19 | 2020-09-23 | Koninklijke Philips N.V. | Image signal representing a scene |
EP3792877A1 (en) | 2019-09-12 | 2021-03-17 | Koninklijke Philips N.V. | Apparatus and method for evaluating a quality of image capture of a scene |
TWI767265B (zh) * | 2020-06-24 | 2022-06-11 | 直得科技股份有限公司 | 在二維顯示介面中控制多軸物件工作端點之方法 |
CN114359456B (zh) * | 2021-12-27 | 2023-03-24 | 北京城市网邻信息技术有限公司 | 贴图方法、装置、电子设备及可读存储介质 |
WO2023224627A1 (en) * | 2022-05-19 | 2023-11-23 | Google Llc | Face-oriented geometry streaming |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012132234A1 (ja) * | 2011-03-31 | 2012-10-04 | パナソニック株式会社 | 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム |
WO2012147740A1 (ja) * | 2011-04-25 | 2012-11-01 | シャープ株式会社 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11195132A (ja) * | 1997-10-31 | 1999-07-21 | Hewlett Packard Co <Hp> | テクスチャマッピング用バッファ、3次元グラフィクス処理装置、3次元グラフィクス処理システム、3次元グラフィクス処理方法および処理プログラムが記憶された記憶媒体 |
US6975319B1 (en) | 2000-03-24 | 2005-12-13 | Nvidia Corporation | System, method and article of manufacture for calculating a level of detail (LOD) during computer graphics processing |
US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
US6903741B2 (en) * | 2001-12-13 | 2005-06-07 | Crytek Gmbh | Method, computer program product and system for rendering soft shadows in a frame representing a 3D-scene |
CN102595151A (zh) * | 2011-01-11 | 2012-07-18 | 倚强科技股份有限公司 | 影像深度计算方法 |
US20120274626A1 (en) * | 2011-04-29 | 2012-11-01 | Himax Media Solutions, Inc. | Stereoscopic Image Generating Apparatus and Method |
JP6073307B2 (ja) * | 2011-06-22 | 2017-02-01 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ディスプレイ用信号の生成方法及び装置 |
TWI521940B (zh) * | 2012-06-14 | 2016-02-11 | 杜比實驗室特許公司 | 用於立體及自動立體顯示器之深度圖傳遞格式 |
CN112651288B (zh) * | 2014-06-14 | 2022-09-20 | 奇跃公司 | 用于产生虚拟和增强现实的方法和系统 |
-
2017
- 2017-07-25 EP EP17182985.6A patent/EP3435670A1/en not_active Withdrawn
-
2018
- 2018-07-17 EP EP18745858.3A patent/EP3659337B1/en active Active
- 2018-07-17 CN CN201880048947.6A patent/CN110945868B/zh active Active
- 2018-07-17 US US16/633,027 patent/US10893259B2/en active Active
- 2018-07-17 WO PCT/EP2018/069387 patent/WO2019020433A1/en unknown
- 2018-07-17 BR BR112020001453-2A patent/BR112020001453A2/pt unknown
- 2018-07-17 JP JP2020503314A patent/JP7191079B2/ja active Active
- 2018-07-17 KR KR1020207005322A patent/KR102546358B1/ko active IP Right Grant
- 2018-07-25 TW TW107125694A patent/TWI786157B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012132234A1 (ja) * | 2011-03-31 | 2012-10-04 | パナソニック株式会社 | 全周囲立体画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム |
WO2012147740A1 (ja) * | 2011-04-25 | 2012-11-01 | シャープ株式会社 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム |
Also Published As
Publication number | Publication date |
---|---|
TWI786157B (zh) | 2022-12-11 |
US10893259B2 (en) | 2021-01-12 |
TW201921318A (zh) | 2019-06-01 |
EP3659337A1 (en) | 2020-06-03 |
RU2020107834A (ru) | 2021-08-25 |
CN110945868A (zh) | 2020-03-31 |
JP7191079B2 (ja) | 2022-12-16 |
WO2019020433A1 (en) | 2019-01-31 |
KR102546358B1 (ko) | 2023-06-22 |
RU2020107834A3 (ja) | 2021-11-03 |
US20200177868A1 (en) | 2020-06-04 |
CN110945868B (zh) | 2022-04-01 |
EP3659337B1 (en) | 2022-05-11 |
EP3435670A1 (en) | 2019-01-30 |
KR20200031678A (ko) | 2020-03-24 |
BR112020001453A2 (pt) | 2020-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7191079B2 (ja) | シーンのタイル化3次元画像表現を生成する装置及び方法 | |
CN110999285B (zh) | 基于纹理图与网格的3d图像信息的处理 | |
JP7480163B2 (ja) | 画像の奥行きマップの処理 | |
US20220165015A1 (en) | Image signal representing a scene | |
RU2771957C2 (ru) | Устройство и способ для генерации мозаичного представления трехмерного изображения сцены | |
CA3127908A1 (en) | Image representation of a scene | |
US20220174259A1 (en) | Image signal representing a scene | |
RU2817803C2 (ru) | Сигнал изображения, представляющий сцену | |
EP4254958A1 (en) | Compression of depth maps | |
US20220122216A1 (en) | Generating and processing an image property pixel structure |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220916 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7191079 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |