JP2022030845A - 仮想視点映像レンダリング装置、方法およびプログラム - Google Patents
仮想視点映像レンダリング装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2022030845A JP2022030845A JP2020135132A JP2020135132A JP2022030845A JP 2022030845 A JP2022030845 A JP 2022030845A JP 2020135132 A JP2020135132 A JP 2020135132A JP 2020135132 A JP2020135132 A JP 2020135132A JP 2022030845 A JP2022030845 A JP 2022030845A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- virtual viewpoint
- model
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims description 51
- 230000003068 static effect Effects 0.000 claims abstract description 92
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000011410 subtraction method Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002542 deteriorative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
(1) 観客席や地面のような「静的背景3Dモデル」を、前記視体積交差法でモデル化を行う3D領域の外側に配置する工程
(2) 前記「静的背景3Dモデル」の上に、視体積交差法で作り出した被写体3Dモデルと共に、ゴールポストのように全てのカメラに映り込むが背景差分法の観点では常に静止しているためにシルエットとして抽出されず、視体積交差法ではモデル化されない「静的構造物3Dモデル」を配置する工程
そして、各3Dモデルは視体積交差法で生成される仮想視点映像の被写体とは別に、事前に汎用3Dモデルデータなどの形で用意することで表示を行うことが可能であった。なお、特許文献1には、上記静的構造物3Dモデルに分類されるゴールポストなどの3Dモデルを生成する技術が開示されていた。
Claims (15)
- 視点の異なる複数のカメラ画像に基づいて背景が動的に変化する仮想視点映像をレンダリングする仮想視点映像レンダリング装置において、
静的背景3Dモデルを3D空間の適所へ配置する手段と、
仮想視点を選択する手段と、
カメラ画像の被写体領域を背景テクスチャで模した動的背景画像を生成する手段と、
前記動的背景画像を静的背景3Dモデルに仮想視点ベースでマッピングする手段とを具備したことを特徴とする仮想視点映像レンダリング装置。 - 各カメラ画像に基づいて被写体のシルエット画像を取得する手段を具備し、
前記動的背景画像を生成する手段は、カメラ画像ごとに被写体シルエット画像に基づいて被写体領域の背景テクスチャを空舞台画像から抽出し、当該背景テクスチャをカメラ画像の各被写体領域にインペインティングすることを特徴とする請求項1に記載の仮想視点映像レンダリング装置。 - 各カメラ画像に基づいて被写体のシルエット画像を取得する手段を具備し、
前記動的背景画像を生成する手段は、カメラ画像ごとに被写体シルエット画像に基づいて被写体領域を特定し、当該被写体領域をカメラ画像の周辺画素でインペインティングすることを特徴とする請求項1に記載の仮想視点映像レンダリング装置。 - 前記特定された被写体領域の輪郭を外方へ膨張させる手段を具備したことを特徴とする請求項1ないし3のいずれかに記載の仮想視点映像レンダリング装置。
- 静的背景3Dモデルへの動的背景画像の適用領域を決定する手段を更に具備し、
前記マッピングする手段は、各動的背景画像を静的背景3Dモデルの前記決定された提供領域にマッピングすることを特徴とする請求項1ないし4のいずれかに記載の仮想視点映像レンダリング装置。 - 前記配置する手段は、背景の3Dモデルを各カメラのカメラパラメータに基づいて3D空間の適所へ配置することを特徴とする請求項1ないし5のいずれかに記載の仮想視点映像レンダリング装置。
- 静的構造物3Dモデルを3D空間の適所へ配置する手段を更に具備し、
前記動的背景画像を生成する手段は、カメラ画像の被写体領域および静的構造物を背景テクスチャで模した動的背景画像を生成することを特徴とする請求項1ないし6のいずれかに記載の仮想視点映像レンダリング装置。 - 各カメラ画像に基づいて静的構造物のシルエット画像を取得する手段を具備し、
前記動的背景画像を生成する手段は、カメラ画像ごとに静的構造物シルエット画像に基づいて静的構造物領域を特定し、当該静的構造物領域をカメラ画像の周辺画素でインペインティングすることを特徴とする請求項6に記載の仮想視点映像レンダリング装置。 - 前記マッピングする手段は、仮想視点に近い複数のカメラ画像に基づいて生成した各動的背景画像をブレンディングして静的構造物3Dモデルへマッピングすることを特徴とする請求項1ないし8のいずれかに記載の仮想視点映像レンダリング装置。
- コンピュータが、視点の異なる複数のカメラ画像に基づいて背景が動的に変化する仮想視点映像をレンダリングする仮想視点映像レンダリング方法において、
静的背景3Dモデルを3D空間の適所へ配置し、
仮想視点を選択し、
カメラ画像の被写体領域を背景テクスチャで模した動的背景画像を生成し、
前記動的背景画像を静的背景3Dモデルに仮想視点ベースでマッピングすることを特徴とする仮想視点映像レンダリング方法。 - 各カメラ画像に基づいて被写体のシルエット画像を取得し、
前記動的背景画像を生成する際に、カメラ画像ごとに被写体シルエット画像に基づいて被写体領域の背景テクスチャを空舞台画像から抽出し、当該背景テクスチャをカメラ画像の各被写体領域にインペインティングすることを特徴とする請求項10に記載の仮想視点映像レンダリング方法。 - 静的構造物3Dモデルを3D空間の適所へ配置し、
前記動的背景画像を生成する際に、カメラ画像の被写体領域および静的構造物を背景テクスチャで模した動的背景画像を生成することを特徴とする請求項10または11に記載の仮想視点映像レンダリング方法。 - 視点の異なる複数のカメラ画像に基づいて背景が動的に変化する仮想視点映像をレンダリングする仮想視点映像レンダリングプログラムにおいて、
静的背景3Dモデルを3D空間の適所へ配置する手順と、
仮想視点を選択する手順と、
カメラ画像の被写体領域を背景テクスチャで模した動的背景画像を生成する手順と、
前記動的背景画像を静的背景3Dモデルに仮想視点ベースでマッピングする手順と、をコンピュータに実行させる仮想視点映像レンダリングプログラム。 - 各カメラ画像に基づいて被写体のシルエット画像を取得する手順を更に含み、
前記動的背景画像を生成する手順では、カメラ画像ごとに被写体シルエット画像に基づいて被写体領域の背景テクスチャを空舞台画像から抽出し、当該背景テクスチャをカメラ画像の各被写体領域にインペインティングすることを特徴とする請求項13に記載の仮想視点映像レンダリングプログラム。 - 静的構造物3Dモデルを3D空間の適所へ配置する手順を更に含み、
前記動的背景画像を生成する手順では、カメラ画像の被写体領域および静的構造物を背景テクスチャで模した動的背景画像を生成することを特徴とする請求項13または14に記載の仮想視点映像レンダリングプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135132A JP7390265B2 (ja) | 2020-08-07 | 2020-08-07 | 仮想視点映像レンダリング装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020135132A JP7390265B2 (ja) | 2020-08-07 | 2020-08-07 | 仮想視点映像レンダリング装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022030845A true JP2022030845A (ja) | 2022-02-18 |
JP7390265B2 JP7390265B2 (ja) | 2023-12-01 |
Family
ID=80324273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020135132A Active JP7390265B2 (ja) | 2020-08-07 | 2020-08-07 | 仮想視点映像レンダリング装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7390265B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
JP2017511017A (ja) * | 2014-01-10 | 2017-04-13 | オステンド・テクノロジーズ・インコーポレーテッド | フルパララックス圧縮ライトフィールド3dイメージングシステムのための方法 |
JP2018180654A (ja) * | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、画像生成方法及びプログラム |
JP2020046744A (ja) * | 2018-09-14 | 2020-03-26 | キヤノン株式会社 | 画像処理装置、背景画像の生成方法およびプログラム |
-
2020
- 2020-08-07 JP JP2020135132A patent/JP7390265B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017511017A (ja) * | 2014-01-10 | 2017-04-13 | オステンド・テクノロジーズ・インコーポレーテッド | フルパララックス圧縮ライトフィールド3dイメージングシステムのための方法 |
JP2016126425A (ja) * | 2014-12-26 | 2016-07-11 | Kddi株式会社 | 自由視点画像生成装置、方法およびプログラム |
JP2018180654A (ja) * | 2017-04-04 | 2018-11-15 | キヤノン株式会社 | 情報処理装置、画像生成方法及びプログラム |
JP2020046744A (ja) * | 2018-09-14 | 2020-03-26 | キヤノン株式会社 | 画像処理装置、背景画像の生成方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7390265B2 (ja) | 2023-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
CA2772607A1 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
US7567251B2 (en) | Techniques for creating facial animation using a face mesh | |
US6326972B1 (en) | 3D stroke-based character modeling suitable for efficiently rendering large crowds | |
US20120147004A1 (en) | Apparatus and method for generating digital actor based on multiple images | |
US7277571B2 (en) | Effective image processing, apparatus and method in virtual three-dimensional space | |
US20230281912A1 (en) | Method and system for generating a target image from plural multi-plane images | |
US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
KR20200024105A (ko) | 컴퓨터 그래픽 합성 시스템 및 방법 | |
CN113112612A (zh) | 一种真实人物与混合现实动态叠加的定位方法及系统 | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
US9897806B2 (en) | Generation of three-dimensional imagery to supplement existing content | |
JP6799468B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2021157237A (ja) | 自由視点映像生成方法、装置およびプログラム | |
JP7405702B2 (ja) | 仮想視点レンダリング装置、方法及びプログラム | |
JP7390265B2 (ja) | 仮想視点映像レンダリング装置、方法およびプログラム | |
Inamoto et al. | Fly through view video generation of soccer scene | |
US20220076382A1 (en) | Method for Applying a Vignette Effect to Rendered Images | |
JP7045964B2 (ja) | 画像処理装置、方法及びプログラム | |
Iwadate et al. | VRML animation from multi-view images | |
JP7319939B2 (ja) | 自由視点映像生成方法、装置およびプログラム | |
Anjou et al. | Football Analysis in VR-Texture Estimation with Differentiable Rendering and Diffusion Models | |
Luntraru et al. | Harmonizing 2D and 3D in Modern Animation. | |
JP7332326B2 (ja) | 映像効果装置及びプログラム | |
JP2022038354A (ja) | 仮想視点映像生成装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7390265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |