JP2022050082A - データ処理システム、データ処理方法、および、コンピュータプログラム - Google Patents
データ処理システム、データ処理方法、および、コンピュータプログラム Download PDFInfo
- Publication number
- JP2022050082A JP2022050082A JP2020156470A JP2020156470A JP2022050082A JP 2022050082 A JP2022050082 A JP 2022050082A JP 2020156470 A JP2020156470 A JP 2020156470A JP 2020156470 A JP2020156470 A JP 2020156470A JP 2022050082 A JP2022050082 A JP 2022050082A
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- target object
- mask
- lighting effect
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Overhead Projectors And Projection Screens (AREA)
- Circuit Arrangement For Electric Light Sources In General (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】二次元の素材映像に対して、素材映像に含まれる対象オブジェクトのマスクを適用して、対象オブジェクト以外の領域を透明化した再生対象オブジェクトを含む再生映像を生成し、仮想ステージに再生対象オブジェクトおよび仮想照明器具を設定するとともに、素材映像に含まれる対象オブジェクトのマスクに対してグラデーションを付加した照明効果用マスクを、再生対象オブジェクトに対して設定し、実ステージ1における実照明器具4に対する照明制御信号に従った疑似照明効果を照明効果用マスクによって再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクト8を含む映像を再生する。
【選択図】図1
Description
〔第1実施形態〕
〔全体構成〕
データ処理システムは、図1および図2に示すようなステージで映像が上映される。具体的に、実在するステージ1(以下、「実ステージ1」ともいう。)は、実空間に存在するペッパーズゴーストを利用した映像表示システムが設けられている。実ステージ1は、ハーフミラー性能を有するスクリーン2と、スクリーン2に投影される映像を表示する表示体3とを備えている。さらに、実ステージ1は、スクリーン2などの舞台装置などを取り付けるための支持フレーム1a、ステージ床面1b、ステージ背面1cなどに設置される実在する照明器具4(以下、「実照明器具4」ともいう。)と、ステージ床面1b、ステージ背面1cなどの有面体5に映像を投影するプロジェクタ6とを備えている。
図3に示すように、映像処理装置11は、一例として、コンピュータであり、入力IF21と、出力IF22と、メモリ23と、操作部25と、モニタ26と、コントローラ27とを備えている。入力IF21は、一例として、照明制御装置12と有線または無線のネットワークを介して接続され、照明制御装置12から照明制御信号が入力される。出力IF22は、表示体3に対して照明効果付き再生キャラクタオブジェクト8の映像データを出力するとともに、プロジェクタ6に対して疑似照明効果オブジェクト9の映像データを出力する。また、照明制御装置12からの照明制御信号を実照明器具4に出力する。
次に、図4を用いて、コントローラ27によって実行される映像処理プログラム24の処理について説明する。ステップS1において、コントローラ27は、映像処理プログラム24が備える再生映像生成部を実行して、カラーの素材映像31(図5(a)参照)に対してクロマキー処理、ルミナンスキーなどのキーイング処理を適用し、アルファチャンネルを設定する。そして、対象オブジェクトであるキャラクタオブジェクト31aのマスク32(図5(b)参照)を生成する。具体的に、マスク32は、一例として、キャラクタオブジェクト31aの周囲が透明領域に設定される。コントローラ27は、映像処理プログラム24が備える再生映像生成部を実行し、素材映像31のデータにマスク32を使ってFILL&KEY処理を行い再生映像34のデータを生成する(図6参照)。
(1-1)実ステージ1において、実照明器具4による実照明効果に合わせた照明効果付き再生キャラクタオブジェクト8の虚像8aを投影することができる。したがって、実在感が高く、かつ、立体感の高い照明効果付き再生キャラクタオブジェクト8の虚像8aを実ステージ1で再現できる。
(1-3)第1補正処理において、再生キャラクタオブジェクト34aの再生タイミングと照明制御信号の適用タイミングとを同期させることができる。したがって、仮想ステージ35の映像を見ながら照明制御信号に基づく再生キャラクタオブジェクト34aに対する照明効果のタイミングを確認する作業が容易なものとなる。
図17に示すように、第2実施形態におけるデータ処理システムは、スタジオなどの第1地点101と、会議室、オフィスなどの第2地点102と、ステージなどの第3地点103をネットワークを繋ぐものである。第1地点101では、一例として、第1被写体101aが居り、第1被写体101aは、パフォーマンスを行うパフォーマである。第1地点101では、第1被写体101aを撮影する第1被写体カメラ111aと、スタジオセットを撮像する環境撮影カメラ111bとが設置されている。
(2-1)第1地点101における第1被写体101aの映像と第2地点102における第2被写体102aの映像とを、第3地点103で合成して、再生することができる。
なお、上記第2実施形態は、さらに、以下のように適宜変更して実施することもできる。
・第1被写体カメラ111aおよび環境撮影カメラ111bを1台にまとめ、1つのカメラで、第1地点101のスタジオセットと第1被写体101aを撮影するようにしてもよい。この場合、映像処理装置11は、このカメラからの映像データから第1被写体101aのマスクや再生キャラクタオブジェクトなどを生成し、照明制御信号生成装置121が照明制御信号を生成することになる。
また、上記第1実施形態および第2実施形態は、さらに、以下のように適宜変更して実施することもできる。
・第2ディレイ部を省略してもよい。
・実ステージ1において、疑似照明効果オブジェクト9を投影するプロジェクタ6は省略してもよい。
1a…支持フレーム
1b…ステージ床面
1c…ステージ背面
2…スクリーン
3…表示体
4…実照明器具
5…有面体
6…プロジェクタ
7…観客席
8…照明効果付き再生キャラクタオブジェクト
8a…虚像
9…疑似照明効果オブジェクト
11…映像処理装置
12…照明制御装置
31…素材映像
31a…キャラクタオブジェクト
32…マスク
33…グラデーション領域
33a…正面用照明効果用マスク
33b…背面用照明効果用マスク
33c…右側用照明効果用マスク
33d…左側用照明効果用マスク
34…再生映像
34a…再生キャラクタオブジェクト
35…仮想ステージ
36…仮想照明器具
101…第1地点
101a…第1被写体
102…第2地点
102a…第2被写体
103…第3地点
109a~109d…照明器具
111a…第1被写体カメラ
111b…環境撮影カメラ
112a…第2被写体カメラ
Claims (11)
- 二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクトのマスクを適用して、前記対象オブジェクト以外の領域を透明化した再生対象オブジェクトを含む再生映像を生成する再生映像生成部と、
仮想空間に仮想照明器具を設定する仮想空間設定部と、
前記対象オブジェクトのマスクに対して前記対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加した照明効果用マスクを、前記再生対象オブジェクトに対して設定するマスク設定部と、
実空間における実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する再生制御部と
を備えるデータ処理システム。 - 前記照明制御信号に従って前記照明効果付き再生対象オブジェクトとは別に有面体に現れる疑似照明効果オブジェクトを生成する疑似照明効果生成部をさらに備え、
前記再生制御部は、前記疑似照明効果オブジェクトの再生を制御する
請求項1に記載のデータ処理システム。 - 前記仮想空間において、前記再生対象オブジェクトに対する照明制御信号の適用タイミングを遅延させる第1ディレイ部をさらに備える
請求項1または2に記載のデータ処理システム。 - 前記実照明器具への照明制御信号の出力タイミングを遅延させる第2ディレイ部をさらに備える
請求項1ないし3のうち何れか1項に記載のデータ処理システム。 - 前記マスク設定部は、前記照明効果用マスクとして、前記再生対象オブジェクトに対して正面から当てられた照明に対して用いられる正面用照明効果用マスクを前記再生対象オブジェクトに対して設定する
請求項1ないし4のうち何れか1項に記載のデータ処理システム。 - 前記マスク設定部は、前記照明効果用マスクとして、さらに、
前記再生対象オブジェクトに対して背面から当てられた照明に対して用いられる背面用照明効果用マスクと、
前記再生対象オブジェクトに対して右側から当てられた照明に対して用いられる右側用照明効果用マスクと、
前記再生対象オブジェクトに対して左側から当てられた照明に対して用いられる左側用照明効果用マスクと
を前記再生対象オブジェクトに対して設定する
請求項5に記載のデータ処理システム。 - 前記実空間は、実在する実ステージを備え、
前記実ステージは、
ハーフミラー性能を有するフィルム状のスクリーンであって、前記スクリーンの前後方向に傾斜した状態で設置されている前記スクリーンと、
前記再生制御部から出力された前記照明効果付き再生対象オブジェクトであって、かつ、前記スクリーンに投影される前記照明効果付き再生対象オブジェクトを表示する表示体とを備え、
前記実ステージでは、前記表示体に表示された前記照明効果付き再生対象オブジェクトの虚像が前記スクリーンよりも後方の空間に生成される
請求項1ないし6のうち何れか1項に記載のデータ処理システム。 - 再生映像生成部が、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクトのマスクを適用して、前記対象オブジェクト以外の領域を透明化した再生対象オブジェクトを含む再生映像を生成し、
仮想空間設定部が、仮想空間に仮想照明器具を設定し、
マスク設定部が、前記対象オブジェクトのマスクに対して前記対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加した照明効果用マスクを、前記再生対象オブジェクトに対して設定し、
再生制御部が、実空間における実照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像の再生を制御する
データ処理方法。 - 二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクトのマスクを適用して、前記対象オブジェクト以外の領域を透明化した再生対象オブジェクトを含む再生映像を生成する再生映像生成部と、
仮想空間に仮想照明器具を設定する仮想空間設定部と、
前記対象オブジェクトのマスクに対して前記対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加した照明効果用マスクを、前記再生対象オブジェクトに対して設定するマスク設定部と、
前記仮想照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像を出力する出力制御部と
を備えるデータ処理システム。 - 再生映像生成部が、二次元の素材映像に対して、前記素材映像に含まれる対象オブジェクトのマスクを適用して、前記対象オブジェクト以外の領域を透明化した再生対象オブジェクトを含む再生映像を生成し、
仮想空間設定部が、仮想空間に仮想照明器具を設定し、
マスク設定部が、前記対象オブジェクトのマスクに対して前記対象オブジェクトの輪郭線部分にモノクロのグラデーションを付加した照明効果用マスクを、前記再生対象オブジェクトに対して設定し、
出力制御部が、前記仮想照明器具に対する照明制御信号に従った疑似照明効果を前記照明効果用マスクによって前記再生対象オブジェクトに対して付加し、照明効果付き再生対象オブジェクトを含む映像を出力する
データ処理方法。 - 請求項8または10に記載のデータ処理方法を実行するコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156470A JP7232449B2 (ja) | 2020-09-17 | 2020-09-17 | データ処理システム、データ処理方法、および、コンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020156470A JP7232449B2 (ja) | 2020-09-17 | 2020-09-17 | データ処理システム、データ処理方法、および、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022050082A true JP2022050082A (ja) | 2022-03-30 |
JP7232449B2 JP7232449B2 (ja) | 2023-03-03 |
Family
ID=80854202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020156470A Active JP7232449B2 (ja) | 2020-09-17 | 2020-09-17 | データ処理システム、データ処理方法、および、コンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7232449B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001319244A (ja) * | 2000-05-10 | 2001-11-16 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
-
2020
- 2020-09-17 JP JP2020156470A patent/JP7232449B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001319244A (ja) * | 2000-05-10 | 2001-11-16 | Namco Ltd | ゲームシステム及び情報記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP7232449B2 (ja) | 2023-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675257B2 (en) | Communication stage and imaging systems | |
US9849399B2 (en) | Background imagery for enhanced pepper's ghost illusion | |
Froehlich et al. | Creating cinematic wide gamut HDR-video for the evaluation of tone mapping operators and HDR-displays | |
US10298877B2 (en) | Communication stage and display systems | |
US9679369B2 (en) | Depth key compositing for video and holographic projection | |
KR20140010872A (ko) | 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템 | |
EP2926626B1 (en) | Method for creating ambience lighting effect based on data derived from stage performance | |
US10859852B2 (en) | Real-time video processing for pyramid holographic projections | |
JP2010515931A (ja) | アンビエント照明を備えたディスプレイ装置 | |
US20160266543A1 (en) | Three-dimensional image source for enhanced pepper's ghost illusion | |
JP2022058501A (ja) | ホール用表示システム及びこれを用いて行うイベントの実施方法 | |
JP2016502236A5 (ja) | ||
US9989775B2 (en) | Dual-sided pepper's ghost illusion | |
US10594995B2 (en) | Image capture and display on a dome for chroma keying | |
JP7232449B2 (ja) | データ処理システム、データ処理方法、および、コンピュータプログラム | |
Akiyama et al. | Robust reflectance estimation for projection-based appearance control in a dynamic light environment | |
US20080247727A1 (en) | System for creating content for video based illumination systems | |
KR101373631B1 (ko) | 실시간 크로마키 합성 시스템 및 방법 | |
JP2022021800A (ja) | 照明システム、及び、照明方法 | |
US9645404B2 (en) | Low-profile bounce chamber for Pepper's Ghost Illusion | |
Helzle | Immersive media productions involving light fields and virtual production LED walls | |
Säks | Lighting in Cinematic Virtual Reality | |
Drofova et al. | COMPARISON OF THE LIGHTING CONDITION OF THE INTERIOR TO CREATE A 3D BACKGROUND IN VIRTUAL REALITY. | |
KR20220125873A (ko) | Ar 프로젝션 맵핑 시스템 | |
Jaksic et al. | Analysis of the Effects of Front and Back Lights in Chroma Key Effects During Implementation in Virtual TV Studio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201002 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7232449 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |