JP2022019073A - 仮想視点映像レンダリング装置、方法およびプログラム - Google Patents
仮想視点映像レンダリング装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2022019073A JP2022019073A JP2020122643A JP2020122643A JP2022019073A JP 2022019073 A JP2022019073 A JP 2022019073A JP 2020122643 A JP2020122643 A JP 2020122643A JP 2020122643 A JP2020122643 A JP 2020122643A JP 2022019073 A JP2022019073 A JP 2022019073A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- virtual viewpoint
- image
- priority
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 85
- 238000000034 method Methods 0.000 title claims description 38
- 238000013507 mapping Methods 0.000 claims abstract description 53
- 239000002131 composite material Substances 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 101150052583 CALM1 gene Proteins 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Generation (AREA)
Abstract
Description
次式(1)に基づいてアルファブレンドによるマッピングを行う。
ポリゴンgを可視であるカメラのテクスチャのみを用いてレンダリングを行う。すなわち上式(1)において、可視であるカメラのtexture_(c_i )に対応する比率aの値を1とする。あるいは仮想視点p_vからみて次に近い第3のカメラc_3を不可視である一方のカメラの代わりに参照し、ケース1の場合と同様に上式(1)に基づくアルファブレンドによりマッピングを行う。
仮想視点pv近傍(一般には、アングルが近いもの)の他のカメラを選択することを、少なくとも一方の可視判定フラグが可視となるまで繰り返し、各カメラ画像の参照画素位置のテクスチャを、ケース1の場合と同様に上式(1)に基づくアルファブレンドによりポリゴンgにマッピングする。
Claims (15)
- 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング装置において、
カメラ映像を取得する手段と、
カメラ映像に基づいて制作された3Dモデルを取得する手段と、
仮想視点を選択する手段と、
各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手段と、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手段とを具備したことを特徴とする仮想視点映像レンダリング装置。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手段を具備したことを特徴とする請求項1に記載の仮想視点映像レンダリング装置。
- 各カメラに仮想視点に基づく優先度を設定する手段を具備し、
前記マッピングする手段は、前記優先度に基づく順序で各カメラ映像のテクスチャをカメラ単位で順次にマッピングすることを特徴とする請求項1に記載の仮想視点映像レンダリング装置。 - 前記優先度を設定する手段は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くすることを特徴とする請求項3に記載の仮想視点映像レンダリング装置。
- 前記優先度を設定する手段は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も近いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから近いカメラほど優先度を高くすることを特徴とする請求項3に記載の仮想視点映像レンダリング装置。
- 前記カメラ映像を取得する手段が取得するカメラ映像が符号化圧縮されており、
前記カメラ映像をデコードする手段を具備し、
前記デコード手段は前記優先度に基づく順序でカメラ映像をデコードすることを特徴とする請求項3ないし5のいずれかに記載の仮想視点映像レンダリング装置。 - 前記デコード手段は前記優先度が上位のカメラ映像から順に所定数ずつデコードし、
前記マッピングする手段はデコードされたカメラ映像のテクスチャを、前記優先度が上位のカメラ映像から順に所定数ずつマッピングすることを特徴とする請求項6に記載の仮想視点映像レンダリング装置。 - カメラ映像の提供元へ前記優先度に応じた順序でカメラ映像を転送させる手段をさらに具備したことを特徴とする請求項3ないし7のいずれかに記載の仮想視点映像レンダリング装置。
- 前記3Dモデルがポリゴンモデルであり、
前記カメラ映像を取得する手段は、3Dモデルと共に当該3Dモデルの各ポリゴンが各カメラから可視/不可視のいずれであるかを記録したオクルージョン情報を取得し、
テクスチャマッピングに用いないカメラのオクルージョン情報を不可視に書き替えることを特徴とする請求項1ないし8のいずれかに記載の仮想視点映像レンダリング装置。 - コンピュータが視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング方法において、
カメラ映像を取得し、
カメラ映像に基づいて制作された3Dモデルを取得し、
仮想視点を選択し、
各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングし、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させることを特徴とする仮想視点映像レンダリング方法。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定することを特徴とする請求項10に記載の仮想視点映像レンダリング方法。
- 各カメラに仮想視点に基づく優先度を設定し、前記優先度に基づく順序で各カメラ映像のテクスチャをカメラ単位で順次にマッピングすることを特徴とする請求項10に記載の仮想視点映像レンダリング方法。
- 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリングプログラムにおいて、
カメラ映像を取得する手順と、
カメラ映像に基づいて制作された3Dモデルを取得する手順と、
仮想視点を選択する手順と、
各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手順と、
一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手順と、
をコンピュータに実行させる仮想視点映像レンダリングプログラム。 - 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手順を含むことを特徴とする請求項13に記載の仮想視点映像レンダリングプログラム。
- 各カメラに仮想視点に基づく優先度を設定する手順を含み、
前記マッピングする手順では、前記優先度に基づく順序で各カメラ映像のテクスチャをカメラ単位で順次にマッピングすることを特徴とする請求項13に記載の仮想視点映像レンダリングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122643A JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020122643A JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022019073A true JP2022019073A (ja) | 2022-01-27 |
JP7360366B2 JP7360366B2 (ja) | 2023-10-12 |
Family
ID=80204034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020122643A Active JP7360366B2 (ja) | 2020-07-17 | 2020-07-17 | 仮想視点映像レンダリング装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7360366B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) * | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
-
2020
- 2020-07-17 JP JP2020122643A patent/JP7360366B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006072805A (ja) * | 2004-09-03 | 2006-03-16 | Nippon Hoso Kyokai <Nhk> | 3次元モデル表示装置及び3次元モデル表示プログラム |
Non-Patent Citations (1)
Title |
---|
冨山仁博 他: "局所的形状特徴に拘束された3次元形状復元手法とそのリアルタイム動画表示", 映像情報メディア学会誌, vol. 第61巻第4号, JPN6023023782, 1 April 2007 (2007-04-01), JP, pages 471 - 481, ISSN: 0005083980 * |
Also Published As
Publication number | Publication date |
---|---|
JP7360366B2 (ja) | 2023-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108648257B (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
US11750786B2 (en) | Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image | |
US10893261B2 (en) | Positional zero latency | |
CN107682688B (zh) | 基于增强现实的视频实时录制方法及录制设备 | |
US11202086B2 (en) | Apparatus, a method and a computer program for volumetric video | |
CN110557625A (zh) | 虚拟形象直播方法、终端、计算机设备及存储介质 | |
US11501118B2 (en) | Digital model repair system and method | |
KR101536501B1 (ko) | 동화상 배포 서버, 동화상 재생 장치, 제어 방법, 기록 매체, 및 동화상 배포 시스템 | |
CN109510975B (zh) | 一种视频图像的提取方法、设备及系统 | |
JP7320146B2 (ja) | ディスオクルージョンアトラスを用いたマルチビュービデオ動作のサポート | |
WO2022022348A1 (zh) | 视频压缩方法、解压方法、装置、电子设备及存储介质 | |
JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
US20220353486A1 (en) | Method and System for Encoding a 3D Scene | |
RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
US20230394701A1 (en) | Information processing apparatus, information processing method, and storage medium | |
WO2018109265A1 (en) | A method and technical equipment for encoding media content | |
JP7360366B2 (ja) | 仮想視点映像レンダリング装置、方法およびプログラム | |
Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering | |
CN114788287A (zh) | 对体积图像数据上的视图进行编码和解码 | |
WO2020012071A1 (en) | A method, an apparatus and a computer program product for volumetric video coding | |
CN117596373B (zh) | 基于动态数字人形象进行信息展示的方法及电子设备 | |
US20220353530A1 (en) | Method and System for Encoding a 3D Scene | |
US11769299B1 (en) | Systems and methods for capturing, transporting, and reproducing three-dimensional simulations as interactive volumetric displays | |
TWI817273B (zh) | 即時多視像視訊轉換方法和系統 | |
US20230022344A1 (en) | System and method for dynamic images virtualisation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230927 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7360366 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |