JP2020178235A - 映像効果装置及びプログラム - Google Patents
映像効果装置及びプログラム Download PDFInfo
- Publication number
- JP2020178235A JP2020178235A JP2019079248A JP2019079248A JP2020178235A JP 2020178235 A JP2020178235 A JP 2020178235A JP 2019079248 A JP2019079248 A JP 2019079248A JP 2019079248 A JP2019079248 A JP 2019079248A JP 2020178235 A JP2020178235 A JP 2020178235A
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual viewpoint
- video
- unit
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 claims description 79
- 239000002131 composite material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 abstract description 45
- 238000000034 method Methods 0.000 description 39
- 238000000605 extraction Methods 0.000 description 32
- 230000002194 synthesizing effect Effects 0.000 description 25
- 239000000203 mixture Substances 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000005520 cutting process Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 6
- 238000000844 transformation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Landscapes
- Image Generation (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Abstract
Description
まず、本発明の実施形態による映像効果装置について説明する。図1は、本発明の実施形態による映像効果装置の構成例を示すブロック図である。この映像効果装置1は、仮想視点設定部3、第一仮想視点映像生成部4、第二仮想視点映像生成部5、第一射影変換部6、第二射影変換部7及び映像切替・合成部(出力映像処理部)8を備えている。
次に、図1に示した第一仮想視点映像生成部4及び第二仮想視点映像生成部5について詳細に説明する。第一仮想視点映像生成部4及び第二仮想視点映像生成部5は、以下に示す第一例、第二例及び第三例にて実現することができる。また、第一仮想視点映像生成部4及び第二仮想視点映像生成部5は、前述の非特許文献1等の既知の手法にて実現することができる。
図4は、第一仮想視点映像生成部4の第一の構成例を示すブロック図である。この第一仮想視点映像生成部4−1は、第一カメラパラメータp1の視点から見た第一映像I1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
次に、第一仮想視点映像生成部4の第二例について説明する。図5は、第一仮想視点映像生成部4の第二の構成例を示すブロック図である。この第一仮想視点映像生成部4−2は、第一カメラパラメータp1の視点から見た第一映像I1から、第一被写体と、第一被写体の影等の所定の映像特徴を有する第二被写体とをそれぞれ抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
次に、第一仮想視点映像生成部4の第三例について説明する。図6は、第一仮想視点映像生成部4の第三の構成例を示すブロック図である。この第一仮想視点映像生成部4−3は、第一カメラパラメータp1の視点から見た第一映像I1から第一被写体を抽出すると共に、第一映像I1から背景映像Bを抽出し、これらに対して異なる射影変換を適用し、射影変換後の映像を合成することで、カメラパラメータp(c)の示す視点から見た第一仮想視点映像J1を生成する。
2 フェーダ
3 仮想視点設定部
4 第一仮想視点映像生成部
5 第二仮想視点映像生成部
6,14,18 第一射影変換部
7,16 第二射影変換部
8 映像切替・合成部(出力映像処理部)
10 背景生成部
11 第一被写体抽出部
12 第二被写体抽出部
13 合成部(背景合成部)
15 ビルボード設定部
17 合成部
c 制御信号
I1 第一映像
I2 第二映像
p1 第一カメラパラメータ
p2 第二カメラパラメータ
p(c),p1 ~,p2 ~ カメラパラメータ
I1 ~ 第一切出映像
I2 ~ 第二切出映像
J1 第一仮想視点映像
J2 第二仮想視点映像
J 出力映像
g1(c),g2(c),gu(c),gv(c) ゲイン(重み関数)
K,F キー映像
A 合成あり背景映像
B 背景映像
L 背景の仮想視点映像
L’ 第二被写体の仮想視点映像
M1〜MD 前景の仮想視点映像(第一被写体の仮想視点映像)
N1〜ND キーの仮想視点映像(第一キーの仮想視点映像)
Claims (5)
- 異なる視点で撮影された第一映像及び第二映像に基づいて、制御信号に応じた仮想的な視点の映像を出力映像として求める映像効果装置において、
外部から前記制御信号を入力し、前記制御信号に応じて前記仮想的な視点を設定する仮想視点設定部と、
前記第一映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第一仮想視点映像を、前記第一映像に基づいて生成する第一仮想視点映像生成部と、
前記第二映像の視点を前記仮想視点設定部により設定された前記仮想的な視点へ移動したときの第二仮想視点映像を、前記第二映像に基づいて生成する第二仮想視点映像生成部と、
前記第一映像を第一対象映像とし、前記第二映像を第二対象映像として、前記仮想視点設定部により設定された前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像生成部により生成された前記第一仮想視点映像、及び前記第二仮想視点映像生成部により生成された前記第二仮想視点映像に基づき、前記出力映像を求める出力映像処理部と、
を備えたことを特徴とする映像効果装置。 - 請求項1に記載の映像効果装置において、
さらに、前記第一映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第一映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第一切出映像を生成する第一射影変換部と、
前記第二映像が撮影された視点の姿勢及びズーム倍率のうちのいずれか一方または両方に基づいて、前記第二映像を射影変換し、射影変換後の映像から所定領域を切り出すことで、第二切出映像を生成する第二射影変換部と、を備え、
前記出力映像処理部は、
前記第一射影変換部により生成された前記第一切出映像を前記第一対象映像とし、前記第二射影変換部により生成された前記第二切出映像を前記第二対象映像として、前記仮想的な視点に応じて、前記第一対象映像、前記第二対象映像、前記第一仮想視点映像及び前記第二仮想視点映像に基づき、前記出力映像を求める、ことを特徴とする映像効果装置。 - 請求項1または2に記載の映像効果装置において、
前記出力映像処理部は、
前記制御信号の値が当該制御信号の値域の最小値(または最大値)mである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記値域の最大値(または最小値)Mである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記最小値mよりも大きくかつ前記最大値Mよりも小さい場合(または前記最小値Mよりも大きくかつ前記最大値mよりも小さい場合)、前記第一仮想視点映像、前記第二仮想視点映像、または、前記第一仮想視点映像及び前記第二仮想視点映像の合成映像を前記出力映像として求める、ことを特徴とする映像効果装置。 - 請求項1または2に記載の映像効果装置において、
実数m,n,N,Mが式:m<n<N<M(またはM<N<n<m)を満たし、前記実数mが前記制御信号の値域の最小値(または最大値)であり、前記実数Mが前記制御信号の値域の最大値(または最小値)であるとして、
前記出力映像処理部は、
前記制御信号の値が前記実数mである場合、前記第一対象映像を前記出力映像とし、
前記制御信号の値が前記実数Mである場合、前記第二対象映像を前記出力映像とし、
前記制御信号の値が前記実数mよりも大きくかつ前記実数n以下である場合(または前記実数Mよりも大きくかつ前記実数N以下である場合)、前記第一仮想視点映像を前記出力映像とし、
前記制御信号の値が前記実数nよりも大きくかつ前記実数Nよりも小さい場合(前記実数Nよりも大きくかつ前記実数nよりも小さい場合)、前記第一仮想視点映像及び前記第二仮想視点映像を加重合成することで合成映像を生成し、当該合成映像を前記出力映像とし、
前記制御信号の値が前記実数N以上でありかつ前記実数Mよりも小さい場合(前記実数n以上でありかつ前記実数mよりも小さい場合)、前記第二仮想視点映像を前記出力映像として求める、ことを特徴とする映像効果装置。 - コンピュータを、請求項1から4までのいずれか一項に記載の映像効果装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019079248A JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019079248A JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020178235A true JP2020178235A (ja) | 2020-10-29 |
JP7332326B2 JP7332326B2 (ja) | 2023-08-23 |
Family
ID=72935818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019079248A Active JP7332326B2 (ja) | 2019-04-18 | 2019-04-18 | 映像効果装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7332326B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334703A (ja) * | 1994-06-10 | 1995-12-22 | Susumu Tate | 3次元映像処理装置及び方法 |
JP2012073702A (ja) * | 2010-09-28 | 2012-04-12 | Sharp Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2018092580A (ja) * | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2018163467A (ja) * | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2019045991A (ja) * | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 生成装置、生成方法、及びプログラム |
-
2019
- 2019-04-18 JP JP2019079248A patent/JP7332326B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07334703A (ja) * | 1994-06-10 | 1995-12-22 | Susumu Tate | 3次元映像処理装置及び方法 |
JP2012073702A (ja) * | 2010-09-28 | 2012-04-12 | Sharp Corp | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
JP2018092580A (ja) * | 2016-11-30 | 2018-06-14 | キヤノン株式会社 | 画像生成装置および方法 |
JP2018163467A (ja) * | 2017-03-24 | 2018-10-18 | Kddi株式会社 | 自由視点画像の生成表示方法、装置およびプログラム |
JP2019045991A (ja) * | 2017-08-30 | 2019-03-22 | キヤノン株式会社 | 生成装置、生成方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7332326B2 (ja) | 2023-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8922628B2 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
KR102003015B1 (ko) | 광류를 사용한 중간 뷰의 생성 | |
EP3735677A1 (en) | Fusing, texturing, and rendering views of dynamic three-dimensional models | |
US6717586B2 (en) | Apparatus, method, program code, and storage medium for image processing | |
WO2015146230A1 (ja) | 映像表示装置および映像表示システム | |
JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
US20120242790A1 (en) | Rapid workflow system and method for image sequence depth enhancement | |
US11514654B1 (en) | Calibrating focus/defocus operations of a virtual display based on camera settings | |
WO2019159617A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20140002612A1 (en) | Stereoscopic shooting device | |
JP2018107793A (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
JP4578566B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
US11227428B2 (en) | Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region | |
US11676252B2 (en) | Image processing for reducing artifacts caused by removal of scene elements from images | |
US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
CN113039576A (zh) | 图像增强系统和方法 | |
JP2008217593A (ja) | 被写体領域抽出装置及び被写体領域抽出プログラム | |
JP5210416B2 (ja) | 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体 | |
JP7352374B2 (ja) | 仮想視点変換装置及びプログラム | |
JPH0981746A (ja) | 二次元表示画像生成方法 | |
JP7332326B2 (ja) | 映像効果装置及びプログラム | |
US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
JP7011728B2 (ja) | 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法 | |
US20220215512A1 (en) | Method for Emulating Defocus of Sharp Rendered Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230331 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7332326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |