JP2023115088A - 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム - Google Patents
画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム Download PDFInfo
- Publication number
- JP2023115088A JP2023115088A JP2023098338A JP2023098338A JP2023115088A JP 2023115088 A JP2023115088 A JP 2023115088A JP 2023098338 A JP2023098338 A JP 2023098338A JP 2023098338 A JP2023098338 A JP 2023098338A JP 2023115088 A JP2023115088 A JP 2023115088A
- Authority
- JP
- Japan
- Prior art keywords
- information
- advertisement
- virtual
- image file
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title description 43
- 239000000463 material Substances 0.000 claims abstract description 56
- 238000003860 storage Methods 0.000 abstract description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011410 subtraction method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0272—Period of advertisement exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにする。【解決手段】本発明は、仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置である。本発明の一様態における画像ファイル生成装置は、仮想視点画像の生成に用いる素材情報を取得して、蓄積する素材情報蓄積部520と、仮想視点画像に表示する広告情報を取得する仮想広告情報取得部530と、素材情報及び広告情報を含む画像ファイルを生成する画像ファイル生成部(動画ファイル生成部540)とを備える。【選択図】図1
Description
本発明は、付加情報を付与した仮想視点画像を生成するための技術に関する。
昨今、複数のカメラを異なる位置に設置して、その複数のカメラ(以下、実カメラ)で撮影した映像を用いて、3次元の仮想空間内に設定したカメラ(以下、仮想カメラ)からの映像を再現する技術として、仮想視点映像生成技術がある(特許文献1)。
しかしながら、特許文献1の仮想視点映像生成装置では、視聴者に仮想視点映像を提供する際に、仮想視点映像に仮想的な付加情報(例えば、仮想的な広告、或いは仮想視点映像に写る選手に関する情報等)を表示することについて検討されていない。付加情報として仮想的な広告(以下、仮想広告という)を表示することを想定する場合、特許文献1の仮想視点映像生成装置では、仮想広告を表示することについて検討されていない。そのため、仮想視点映像を提供(表示)する際に、広告主は宣伝機会を失ってしまうこととなる。また、撮影した映像において選手等の特定のオブジェクトにピントが合わせられると、現実空間に設置される付加情報(例えば、広告看板、或いは応援旗等)が撮影された領域については、ピントが甘く、不明瞭な画像になる恐れがある。現実空間に設置される広告(以下、実広告ともいう)を使用する場合、仮想視点映像における実広告に対応する領域が不明瞭であると、仮想視点映像の視聴者が実広告の内容を認識できない恐れがある。この場合も、広告主は宣伝機会を失ってしまうこととなる。
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにすることである。
本発明の画像ファイル生成装置は、仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置であって、前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得手段と、前記仮想視点画像に表示する付加情報を取得する付加情報取得手段と、前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成手段とを備えることを特徴とする。
本発明によれば、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。加えて、各実施形態において生成される仮想視点画像は、動画(映像)であっても、静止画であってもよい。そこで、以下では、仮想視点画像として、仮想視点映像を例に説明するものとする。
[実施形態1]
本実施形態では、仮想視点映像を生成するための素材情報と、付加情報として仮想広告情報を動画ファイルに付与する方法、及びそのファイルを用いて仮想広告を付与した仮想視点映像を生成し、表示する方法について説明する。なお、以下の実施形態においては、付加情報として広告に関する情報を動画ファイルに付与する例について説明するが、付与する付加情報は広告に関する情報に限らない。付加情報は、例えば、仮想視点映像に写る選手に関する情報、或いは試合に関する情報でもよい。
本実施形態では、仮想視点映像を生成するための素材情報と、付加情報として仮想広告情報を動画ファイルに付与する方法、及びそのファイルを用いて仮想広告を付与した仮想視点映像を生成し、表示する方法について説明する。なお、以下の実施形態においては、付加情報として広告に関する情報を動画ファイルに付与する例について説明するが、付与する付加情報は広告に関する情報に限らない。付加情報は、例えば、仮想視点映像に写る選手に関する情報、或いは試合に関する情報でもよい。
<システム構成>
図1は、本実施形態に係る画像生成システム(以下、映像生成システム)の構成を示す図である。本実施形態に係る映像生成システムは、図1に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。
図1は、本実施形態に係る画像生成システム(以下、映像生成システム)の構成を示す図である。本実施形態に係る映像生成システムは、図1に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。
撮影装置1は、複数の実カメラを含み、これらの実カメラは各々、異なる方向から被写体(オブジェクト)を撮影する。実カメラの各々は個体を識別するためのカメラ番号を有し、カメラパラメータや撮影した映像を動画ファイル生成装置3に送信する。
なお、カメラパラメータは外部パラメータと内部パラメータを含み、外部パラメータは実カメラの位置と姿勢の情報、内部パラメータは実カメラの焦点距離とイメージセンサの中心座標の情報とする。また、本実施形態では、レンズ歪について考慮しないが、必要に応じてレンズ歪を考慮したパラメータを用いてもよい。
広告データベース2は、不図示の広告主や広告制作者等によって作成された仮想広告情報を受信し、その仮想広告情報を保存する。また、広告データベース2は、動画ファイル生成装置3からの要求により、仮想広告情報を送信する。なお、仮想広告情報の詳細は、後述する。
動画ファイル生成装置3は、画像ファイル生成装置の一例であり、撮影装置1から撮影画像と全ての実カメラのカメラパラメータを受信し、それらを保存する。また、動画ファイル生成装置3は、広告データベース2から仮想広告情報を取得する。動画ファイル生成装置3は、さらに、仮想視点映像生成に用いる素材情報と仮想広告情報を付与した動画ファイルを生成し、映像生成装置4に配信する。
映像生成装置4は、動画ファイルに付与された素材情報と仮想広告情報に基づいて、仮想広告を付与した仮想視点映像を生成し、表示装置5に送信する。表示装置5は、映像生成装置4から送信された仮想視点映像を受信し、不図示のディスプレイ等に表示する。
次に、図2を用いて、広告データベース2の構成について説明する。図2に示されるように、広告データベース2は、広告情報受信部200、広告情報蓄積部210、広告情報送信部220を備える。
広告情報受信部200は、不図示の広告主、又は広告主から広告制作を依頼された広告制作者から仮想広告情報を受信し、広告情報蓄積部210に送信する。仮想広告情報は、広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻、有効期限等の情報を含む。また、仮想広告情報は、広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度等の情報を含む。
広告IDは、仮想広告情報を識別するためのIDである。広告主は、仮想広告情報の所有者を識別する名前である。広告制作者は、広告主から広告制作の依頼を受け、仮想広告情報を制作する会社又は個人を識別する名前である。競技名は、例えば、サッカーや野球等の競技を識別する名称である。競技場名は、競技場を識別するための名称である。試合日は、サッカーや野球等の試合が開催される日である。
表示時間は、画面上に仮想広告が表示される時間である。表示開始時刻は仮想広告の表示を開始する時刻であり、表示終了時刻は仮想広告の表示を終了する時刻である。即ち、仮想広告は、表示開始時刻から表示終了時刻までの表示時間だけ表示される。有効期限は、仮想広告が表示される最終日に関する情報である。この最終日を徒過すると、仮想広告に関する情報は、動画ファイル生成装置3に送信されない。
広告モデルデータと広告マテリアルデータは、実際に、仮想視点映像上に表示される仮想広告の形状情報と色情報に関するデータである。以下、各々のデータについて、説明を補足する。
広告モデルデータは、仮想広告の3次元形状情報であり、一般的なCGモデリングツールで作成される。表現形式は、コンピュータグラフィックスで用いられる3次元モデルと同様であり、データ形式は、一般的に普及しているフォーマット、例えば、obj形式である。なお、広告モデルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。
広告マテリアルデータは、広告モデルの色データやテクスチャデータを示す情報であり、広告モデルデータと同様に、一般的なCGモデリングツールで作成される。データ形式は、例えば、mtl形式である。なお、広告マテリアルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。
その他、CGモデリングツールの代わりに、例えば、図3に示すようなGUIを操作することで広告モデルデータと広告テクスチャデータを広告データベース2に登録することもできる。
図3において、符号300は不図示のディスプレイに表示される表示画面、符号310はサッカーのグラウンドを模している。また、符号320はゴールラインに沿って設置される板状の仮想看板、符号321はサイドライン(タッチライン)に沿って設置される板状の仮想看板、符号330はコーナーポスト付近に設置される円柱形状の仮想看板を模している。
広告主又は広告制作者は、仮想看板320、321、330を不図示の入力デバイスで選択することで、幾何学的な形状の広告モデルデータを登録することができる。また、上述のCGモデリングツールで作成した任意の広告モデルを、グラウンド310の周囲の任意の3次元位置に表示されるように登録してもよい。その他、例えば、符号340に示すテキストボックスに画像ファイルの格納場所を示す情報を入力することで、広告テクスチャデータを登録してもよい。
表示効果は、仮想広告表示におけるアニメーションや点滅等の表示効果に関する情報である。仮想視点依存性は、仮想視点が変更されても仮想広告を仮想視点映像上に表示し続ける仮想視点非依存表示と、仮想視点が変更され、広告モデルが仮想カメラの画角外になると仮想広告を表示しないようにする仮想視点依存表示を識別する情報である。
仮想視点非依存表示が選択されている場合、広告主又は広告制作者は、例えば、図4に示すような模式図等を用いて、仮想視点映像上に仮想広告が表示される位置を選択する。図4において、符号400は仮想視点映像が表示される画面、符号410は仮想視点映像が表示される領域、符号420及び符号421は仮想視点映像上の広告貼り付け領域である。
広告主又は広告制作者は、仮想視点映像上の広告貼り付け領域420又は421を選択することで、仮想視点映像の下部に仮想広告を表示するか、右上部に仮想広告を表示するかを選択することができる。なお、仮想視点映像上の広告貼り付け領域としては、符号420、符号421に示す領域以外の領域であってもよい。優先度は、異なる広告の表示が重なった場合にどちらの広告を優先して表示するかを判定するために用いられる。優先度は、例えば、広告料に応じて決定される。
図2に戻り、広告情報蓄積部210は、広告情報受信部200から仮想広告情報を受信すると、その受信した仮想広告情報に広告IDを付与してデータベースに保存(蓄積)する。なお、データベースに関して、SQL等の既存の手法で構築すればよい。また、この場合、テーブルに上述の仮想広告情報を保存することになるが、検索等の処理(操作)が可能であれば、いかなる定義であってもよい。
広告情報送信部220は、動画ファイル生成装置3からの要求に応じて、広告情報蓄積部210から仮想広告情報を取得し、動画ファイル生成装置3に送信する。なお、この場合、広告情報蓄積部210は、上述の広告情報(例えば、広告ID等)をキーとしてデータベースから仮想広告情報を検索し、さらに、その検索した仮想広告情報を広告情報送信部220に送信する。
次に、動画ファイル生成装置3の構成について、図5を用いて説明する。図5に示されるように、動画ファイル生成装置3は、撮影情報取得部510、素材情報蓄積部520、仮想広告情報取得部530、動画ファイル生成部540、動画ファイル配信部550を備える。
撮影情報取得部510は、撮影装置1から、撮影情報として、複数の撮影画像(複数カメラ画像)と全ての実カメラのカメラパラメータを取得する。全ての実カメラは共通(同一)の時刻情報で同期され、また、撮影した画像には撮影時刻情報が付与される。なお、カメラパラメータは画像と併せて送信してもよいし、撮影前や必要に応じて画像とは別に送信してもよい。
素材情報蓄積部520は、素材情報取得手段を備え、撮影情報取得部510から複数の撮影画像と全ての実カメラのカメラパラメータを取得(受信)すると、それらを保存(蓄積)する。素材情報蓄積部520は、さらに、仮想視点映像の背景画像生成時に用いるスタジアム等の3次元モデルを背景モデル情報として保存する。なお、背景モデル情報に関しても、仮想広告情報の広告モデルや広告テクスチャと同様に、一般的に普及しているフォーマットであればよく、例えば、形状情報はobj形式であり、また、色情報やテクスチャ情報はmtl形式である。
仮想広告情報取得部530は、付加情報取得手段の一例であり、広告データベース2から動画ファイルに付与する仮想広告情報を取得し、その取得した仮想広告情報を動画ファイル生成部540に送信する。動画ファイル生成部540は、仮想広告情報を付与した仮想視点映像を生成するための動画ファイルを生成し、その生成した動画ファイルを動画ファイル配信部550に送信する。なお、動画ファイルには、全ての実カメラのカメラパラメータ、ユーザが指定した時間の複数の撮影画像、背景モデル情報、仮想広告情報が付与される。動画ファイル配信部550は、動画ファイルを映像生成装置4に配信する。
ここで、動画ファイルの規格がISO/IEC 14496-12(MPEG-4 Part12) ISO base media format(以下、ISO BMFF)規格である場合に、これらの情報を付与する方法について説明する。なお、記載している情報が同義であれば、フォーマットは他の記載方法であってもよい。
以下、先ず、ISO BMFF規格について説明する。ISO BMFF規格において、動画ファイルは、ボックスと呼ばれる基本単位から構成される。各ボックスには、図6(a)に示されるように、サイズ、タイプ、データに関する情報が格納される。
なお、ボックスに関して、図6(b)に示されるように、入れ子構造で格納することもできる。また、代表的なボックスの種類としてftyp(File Type Compatibility Box)、moov(Movie Box)、meta等がある。
ftypボックスはファイルの先頭に配置され、ftypボックスにはファイルの再生互換性を示すブランド情報が格納される。moovボックスには、データのフレームサイズ、格納位置を示すアドレス情報、及び撮影時刻等のヘッダ情報が格納される。補足として、コンテンツの長さに比例してmoovボックスのサイズが増加し、再生までの待ち時間が長くなることから、ISO BMFF規格では、コンテンツを任意の区間に分割した単位毎にヘッダ情報を付加する形式moofボックスも用意されている。metaボックスには、メタ情報が格納される。これらの情報が格納された動画ファイルが解析されると、moovボックス又はmoofボックスが参照され、そして、所望の時刻に相当するフレームの格納アドレスが特定され、さらに、その特定したアドレスに基づいて、フレームデータが取得される。
次に、映像生成装置4の構成について、図7を用いて説明する。映像生成装置4は、動画ファイル生成装置3で生成された動画ファイルを受信すると、仮想視点映像を生成し、さらに、その生成した仮想視点映像を表示装置5に送信する。図7に示されるように、映像生成装置4は、動画ファイル取得部700、素材情報読込部710、広告情報読込部720、仮想視点映像生成部730を備える。
動画ファイル取得部700は、画像ファイル取得手段の一例であり、動画ファイル生成装置3で生成した動画ファイルを取得し、素材情報読込部710と広告情報読込部720に送信する。素材情報読込部710は、動画ファイルを解析し、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報を読み込む。広告情報読込部720は、付加情報読込手段の一例であり、受信した動画ファイルから仮想広告情報を読み込み、仮想視点映像生成部730に送信する。
仮想視点映像生成部730は、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を用いて、仮想広告情報を付与した仮想視点映像を生成し、表示装置5に送信する。表示装置5は、映像生成装置4で生成された、仮想広告情報を付与した仮想視点映像を受信し、不図示のディスプレイに出力する。
<処理フロー>
次に、図8のフローチャートを用いて、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を動画ファイルに付与する方法とその処理の手順について説明する。なお、フローチャートの説明における記号「S」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。
次に、図8のフローチャートを用いて、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を動画ファイルに付与する方法とその処理の手順について説明する。なお、フローチャートの説明における記号「S」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。
(S800)
S800において、動画ファイル生成装置3の動画ファイル生成部540は、不図示のユーザから、動画ファイル生成の開始指示と仮想視点映像を生成する開始時刻及び終了時刻の情報を受信する。
S800において、動画ファイル生成装置3の動画ファイル生成部540は、不図示のユーザから、動画ファイル生成の開始指示と仮想視点映像を生成する開始時刻及び終了時刻の情報を受信する。
具体的には、動画ファイル生成部540は、先ず、ユーザが仮想視点映像を生成したい時間を指定できるように、素材情報蓄積部520に保存されている任意の実カメラの映像を不図示の視聴環境に配信する。動画ファイル生成部540は、次に、ユーザにより入力された映像生成開始時刻及び終了時刻と動画ファイルを生成するフレーム数に関する情報を受信する。
そして、動画ファイル生成部540は、動画ファイルを生成する。この場合において、動画ファイルをフレーム毎に生成するとき、動画ファイル生成部540は、開始時刻に関する情報を受信すると、終了指示を受信するまで、毎フレーム、動画ファイルを生成し続ける。或いは、複数フレームを纏めて動画ファイルを生成するとき、動画ファイル生成部540は、開始時刻及び終了時刻に関する情報を受信すると、その間の動画ファイルを1つ生成する。
また、動画ファイル生成の開始指示を受信すると、動画ファイル生成部540は、ftypに、ブランド情報として、例えば、fvpmという文字列を記載し、動画ファイルに仮想視点映像生成用の情報が保存されていることを明記する。
(S810)
S810において、動画ファイル生成部540は、素材情報蓄積部520から実カメラの各々に関してカメラパラメータを取得し、動画ファイルに付与する。ここで、図9を用いて、実カメラのカメラパラメータを記載するフォーマットについて説明を補足する。
S810において、動画ファイル生成部540は、素材情報蓄積部520から実カメラの各々に関してカメラパラメータを取得し、動画ファイルに付与する。ここで、図9を用いて、実カメラのカメラパラメータを記載するフォーマットについて説明を補足する。
カメラパラメータは、ISO BMFF規格のmetaボックスに記載される。図9に示されるように、meta情報には、データ種別とカメラ台数に関する情報を記載する。データ種別には、カメラパラメータであることを示す情報として、camera_parameterという文字列を記載する。カメラ台数には、実カメラのカメラ台数を記載する。
data情報には、実カメラのカメラ台数分の外部パラメータと内部パラメータを記載する。例えば、実カメラがN台ある場合、1台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。続けて、2台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。以下、続けて、N台目までの外部パラメータと内部パラメータを同様に記載する。
(S820)
S820において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像を生成する上での開始時刻から終了時刻までの複数の撮影画像に関する情報を取得し、動画ファイルに付与する。ここで、図10を用いて、複数の撮影画像に関する情報を記載するフォーマットについて説明を補足する。
S820において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像を生成する上での開始時刻から終了時刻までの複数の撮影画像に関する情報を取得し、動画ファイルに付与する。ここで、図10を用いて、複数の撮影画像に関する情報を記載するフォーマットについて説明を補足する。
複数フレームを纏めて動画ファイルを生成する場合、複数の撮影画像に関する情報を、ISO BMFF規格のmoovボックス又はmoofボックスとして記載する。この場合、moov情報又はmoof情報には、カメラ画像の幅、カメラ画像の高さ、実カメラの台数、カメラ画像の総フレーム数、撮影開始時刻と撮影終了時刻の情報を記載する。
moovボックスの場合、data情報にはフレーム毎に全ての実カメラのカメラ画像の画素情報が記載される。また、moofボックスの場合、data情報には1フレーム分の全ての実カメラのカメラ画像の情報を1つのファイルに記載する。フレーム毎に動画ファイルを生成する場合、動画ファイル生成部540は、moofボックスとして同様に記載する。
(S830)
S830において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像生成の背景画像生成時に用いる背景モデル情報を取得し、動画ファイルに付与する。ここで、図11を用いて、背景モデル情報を記載するフォーマットについて説明を補足する。
S830において、動画ファイル生成部540は、素材情報蓄積部520から、仮想視点映像生成の背景画像生成時に用いる背景モデル情報を取得し、動画ファイルに付与する。ここで、図11を用いて、背景モデル情報を記載するフォーマットについて説明を補足する。
背景モデル情報も、ISO BMFF規格のmetaボックスに記載される。meta情報には、データ種別に関する情報を記載する。データ種別には、背景モデル情報であることを示す情報として、background_modelという文字列を記載する。data情報には、背景モデルのobj形式のファイルの保存先を示す情報(obj file path)とmtl形式のファイルの保存先を示す情報(mtl file path)を記載する。或いは、これらのファイルの中身をそのまま記載してもよい。
(S840)
S840において、仮想広告情報取得部530は、広告データベース2から仮想広告情報を取得し、動画ファイル生成部540に送信する。動画ファイル生成部540は、受信した仮想広告情報を動画ファイルに付与する。仮想広告情報取得部530は、競技名、競技場名、試合日、有効期限に基づいて、広告データベース2から仮想広告情報を取得する。
S840において、仮想広告情報取得部530は、広告データベース2から仮想広告情報を取得し、動画ファイル生成部540に送信する。動画ファイル生成部540は、受信した仮想広告情報を動画ファイルに付与する。仮想広告情報取得部530は、競技名、競技場名、試合日、有効期限に基づいて、広告データベース2から仮想広告情報を取得する。
以下、具体的に説明する。ユーザが動画ファイル生成装置3を起動するとき、素材情報蓄積部520に、撮影する競技の名称、競技場の名称、競技が開催される試合日に関する情報を登録する。仮想広告情報取得部530は、素材情報蓄積部520に登録されている試合日に関する情報の試合日と同じ試合日であって、かつ、同じ競技の名称、同じ競技場の名称に関する仮想広告情報を広告データベース2から取得する。なお、この場合、有効期限を徒過している仮想広告情報は、取得しないようにする。
次に、図12を用いて、動画ファイル生成部540が仮想広告情報を動画ファイルに付与するためのフォーマットについて説明を補足する。仮想広告情報も、ISO BMFF規格のmetaボックスに記載される。meta情報には、データ種別、広告数、各広告情報のデータサイズ、広告データベースのアドレスに関する情報を記載する。
データ種別には、仮想広告情報であることを示す情報として、virtual_advertisingという文字列を記載する。広告数には、付与された広告の数を記載する。データサイズには、広告毎に(広告数分)、広告のデータサイズを記載する。広告データベースアドレスには、広告データベース2に接続するためのアドレス情報として、例えば、URL等を記載する。
なお、広告データベースアドレス情報がない場合、data情報には、広告情報として、広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻を記載する。さらに、data情報には、広告情報として、有効期限、広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を記載する。また、広告データベースアドレス情報がある場合(即ち、広告データベースアドレスにURLが記載される場合)、data情報には、広告IDのみを記載する。このように広告IDのみを記載した場合、仮想広告情報を表示するとき、そのアドレス情報を用いて広告データベース2にアクセスし、その広告IDの仮想広告情報を取得する。
(S850)
S850において、動画ファイル生成部540は、動画ファイル配信部550に、生成した動画ファイルを送信する。そして、動画ファイル配信部550は、映像生成装置4にその動画ファイルを配信する。
S850において、動画ファイル生成部540は、動画ファイル配信部550に、生成した動画ファイルを送信する。そして、動画ファイル配信部550は、映像生成装置4にその動画ファイルを配信する。
続いて、図13のフローチャートを用いて、上述の動画ファイルを用いて、仮想広告情報を付与した仮想視点映像を生成する方法とその処理の手順について説明する。
(S1300)
S1300において、映像生成装置4の動画ファイル取得部700は、動画ファイル生成装置3から動画ファイルを取得する。そして、動画ファイル取得部700は、動画ファイルを解析し、その動画ファイルの種類、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を読み込む。最初に、不図示の視聴者は、複数フレームを纏めて動画ファイルを生成するのか、動画ファイルをフレーム毎に生成するのかを選択する。
S1300において、映像生成装置4の動画ファイル取得部700は、動画ファイル生成装置3から動画ファイルを取得する。そして、動画ファイル取得部700は、動画ファイルを解析し、その動画ファイルの種類、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を読み込む。最初に、不図示の視聴者は、複数フレームを纏めて動画ファイルを生成するのか、動画ファイルをフレーム毎に生成するのかを選択する。
複数フレームを纏めて動画ファイルを生成する場合、視聴者は、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。開始時刻と終了時刻を設定するため、動画ファイル取得部700は、視聴者が指定した時刻の任意の実カメラ画像を動画ファイル生成装置3から取得し、不図示のディスプレイ等に表示する。視聴者は、その表示された画像を視聴しながら、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。
動画ファイル取得部700は、視聴者による動画ファイル生成の開始指示、及び開始時刻と終了時刻に関する情報を動画ファイル生成装置3に送信し、動画ファイル生成装置3により生成された、仮想広告情報が付与された動画ファイルを受信する。そして、動画ファイル取得部700は、受信した動画ファイルを素材情報読込部710と広告情報読込部720に送信する。
また、フレーム毎に動画ファイルを生成する場合、動画ファイル取得部700は、視聴者による動画ファイル生成の開始指示及び開始時刻に関する情報を送信し、動画ファイル生成装置3により生成された、仮想広告情報が付与された動画ファイルを受信する。動画ファイル取得部700は、終了指示を送信するまで、生成された動画ファイルを受信し続け、受信した動画ファイルを素材情報読込部710と広告情報読込部720に送信する。
(S1310)
S1310において、素材情報読込部710は、動画ファイルを走査し、ftypボックスに記載された文字列がfvpmであることを確認する。素材情報読込部710は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。
S1310において、素材情報読込部710は、動画ファイルを走査し、ftypボックスに記載された文字列がfvpmであることを確認する。素材情報読込部710は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。
素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がcamera_parameterであれば、実カメラのカメラパラメータを読み込む。この場合、実カメラのカメラ台数をmeta情報から読み込み、実カメラのカメラ台数分の外部パラメータと内部パラメータをdata情報から読み込む。
また、素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmoovボックス又はmoofボックスの場合、複数の撮影画像に関する情報を読み込む。なお、複数カメラ画像情報を読み込むために用いる、画像の幅と高さ、カメラ台数、フレーム数に関する情報は、moovボックス又はmoofボックスから取得される。素材情報読込部710は、これらの情報に基づいて、data情報からフレーム毎にカメラ台数分の画像を画素数(即ち、画像幅×高さ)分切り出し、複数カメラ画像情報を読み込む。
素材情報読込部710は、複数カメラ画像情報の読み込みが完了すると、その複数カメラ画像情報に基づいて、仮想視点映像の生成に用いる被写体モデルを生成する。被写体モデルは、形状情報と色情報を含む。また、これらの情報を生成する処理は、主に、被写体モデルの3次元形状を推定する処理と、その3次元形状の色を推定する処理を含む。以下、各々の処理について説明する。
素材情報読込部710は、被写体モデルの3次元形状を推定するために、先ず、実カメラ画像の各々から被写体領域を推定する。この被写体領域は、例えば、被写体モデルを撮影した撮影画像から予め撮影した背景画像との差分を算出し、その差分が所定の閾値以上である領域を被写体領域として推定する背景差分法等の一般的な手法で推定される。
そして、素材情報読込部710は、全ての実カメラの被写体領域とカメラパラメータを用いて、被写体モデルの3次元形状を推定する。3次元形状の推定には、例えば、Visual Hull手法等を用いる。本実施形態では、この被写体モデルの形状を3次元点群(3次元座標を有する点の集合)で表現する。
続いて、3次元点群を構成する各点の色を推定する。色を推定するために、先ず、実カメラから被写体表面までの距離を画素値とする距離画像を生成する。次に、各点に関して、各カメラ座標系に変換することで取得される距離値と距離画像上に投影した画素の画素値(距離)を比較し、所定の閾値以下であれば、その実カメラから見えるものとして判定する。そして、その見えるものと判定された全てのカメラにおいて投影先の画素の色を算出し、その算出した画素の平均を、その点の色として推定する。これらの処理により、各点に色が付いた被写体モデルを取得できる。
また、素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載された文字列がbackground_modelであれば、背景モデル情報を読み込む。この場合、data情報に記載されているobj形式のファイルとmtl形式のファイルのパスを読み込み、背景モデル情報(背景モデルの形状情報及び背景モデルの色情報)を取得する。
背景モデルの形状情報は、obj形式のファイルを読み込むことで取得される。また、背景モデルの色情報は、mtl形式のファイルを読み込むことで取得される。なお、背景モデルのmtl形式のファイルがない場合、背景画像から背景モデルにマッピングするテクスチャを生成し、色情報としてもよい。テクスチャを生成するために、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラの背景画像に面を構成する3頂点を投影し、その3頂点により形成される三角形内の画像を各面のテクスチャとする。
素材情報の読み込みが終了し、さらに、被写体モデルの形状情報と色情報の推定が終了すると、素材情報読込部710は、実カメラの外部パラメータと内部パラメータ、複数の撮影画像、被写体モデル、背景モデルの情報を仮想視点映像生成部730に送信する。
(S1320)
S1320において、広告情報読込部720は、動画ファイルを走査し、仮想広告情報を読み込み、広告モデルデータを仮想視点映像生成部730に送信する。広告情報読込部720は、最初に、ftypボックスに記載された文字列がfvpmであることを確認する。広告情報読込部720は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。
S1320において、広告情報読込部720は、動画ファイルを走査し、仮想広告情報を読み込み、広告モデルデータを仮想視点映像生成部730に送信する。広告情報読込部720は、最初に、ftypボックスに記載された文字列がfvpmであることを確認する。広告情報読込部720は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。
広告情報読込部720は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がvirtual_advertisingであれば、仮想広告情報を読み込む。なお、meta情報に広告データベースアドレス情報がない場合、data情報に記載されている広告ID、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻、有効期限の情報を仮想広告情報として読み込む。さらに、data情報に記載されている広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を仮想広告情報として読み込む。また、広告情報読込部720は、広告データベースアドレスに広告データベース2のURLが記載されている場合、そのURLで広告データベース2にアクセスし、data情報に記載されている広告IDの仮想広告情報を取得する。
広告情報読込部720は、このようにして仮想広告情報を読み込むと、広告モデルデータを生成する。なお、広告モデルも被写体モデルや背景モデルと同様に、形状情報と色情報を含む。広告モデルの形状は、広告モデルデータとして得られたobj形式のファイルを読み込むことで取得される。また、広告モデルの色情報は、広告マテリアルデータとして得られたmtl形式のファイルを読み込むことで取得される。
(S1330)
S1330において、仮想視点映像生成部730は、全ての実カメラのカメラパラメータ、複数の撮影画像、被写体モデル、背景モデル、広告モデル、仮想カメラのパラメータに関する情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、映像生成装置4により生成された仮想視点映像は、表示装置5に送信され、ディスプレイ等に表示される。また、仮想カメラのパラメータは任意の実カメラと同じでもよいし、任意の視点位置、視線ベクトル、画角を設定してもよい。
S1330において、仮想視点映像生成部730は、全ての実カメラのカメラパラメータ、複数の撮影画像、被写体モデル、背景モデル、広告モデル、仮想カメラのパラメータに関する情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、映像生成装置4により生成された仮想視点映像は、表示装置5に送信され、ディスプレイ等に表示される。また、仮想カメラのパラメータは任意の実カメラと同じでもよいし、任意の視点位置、視線ベクトル、画角を設定してもよい。
以下、上述の情報から仮想視点映像を生成する方法(仮想視点映像の生成方法)について説明を補足する。ここで、仮想視点映像の生成方法は、広告情報の仮想視点依存性に関する情報に応じて変更される。
仮想視点に依存する場合、背景モデル、被写体モデル、広告モデルを一般的なCG手法でレンダリングすることで、仮想視点映像を生成することができる。その他、広告情報の表示効果として、例えば「点滅表示、表示間隔nフレーム」等が設定されている場合、仮想視点映像のnフレーム毎に広告モデルのレンダリングを中止することで点滅効果を模した映像を生成することができる。なお、仮想視点に依存する表示方法の場合、仮想カメラの画角外の仮想広告モデルは仮想視点映像上に表示されない。
また、仮想視点に依存しない場合、仮想広告モデルのテクスチャを、背景モデルと被写体モデルをレンダリングすることで得られる仮想視点映像上の広告貼り付け領域に貼り付けることで生成することができる。仮想広告情報に関して、S1300において視聴者が設定した仮想視点映像を生成するシーンの映像生成開始時刻から、広告情報として取得した表示開始時刻だけ相対的に経過した時刻から表示が開始され、映像生成終了時刻まで、表示時間分だけ表示される。
なお、表示開始時刻が設定されていない場合には、映像生成開始時刻から表示を開始し、表示終了時刻が設定されていない場合には、映像生成終了時刻まで表示を継続する。表示時間が設定されていない場合には、表示開始時刻から表示終了時刻まで表示を継続する。また、動画ファイルにおける仮想視点映像の生成日が仮想広告情報の有効期限を徒過している場合には、その仮想広告情報は表示されない。この場合、他に有効期限内の仮想広告情報があれば、その有効期限内の仮想広告情報のみが表示され、有効期限内の広告情報が全くなければ、仮想広告表示がない仮想視点映像が表示される。その他、1つの仮想視点映像上に異なる広告主の仮想広告が重複する場合、仮想広告情報として取得した優先度を用いて、優先度の高い仮想広告を優先的に表示する。
さらに、次の時刻の仮想視点映像を生成する場合、映像生成装置4は、処理をS1310に返し、新しい時刻の仮想視点映像を生成し、表示装置5に送信する。
以上、説明したように、本実施形態の動画ファイル生成装置3は、指定された時間の仮想視点映像を視聴するための動画ファイルを生成することができる。また、その動画ファイルには、仮想広告情報を付与することができる。さらに、映像生成装置4は、動画ファイル生成装置3から仮想広告情報が付与された動画ファイルを取得することで、仮想広告情報を付与した仮想視点映像を生成し、表示することができる。
なお、本実施形態において、処理の手順は必ずしもこれに限定されず、例えば、素材情報を取得する処理と仮想広告情報を取得する処理の順序を入れ替えて実行してもよい。また、動画ファイルの仮想広告情報は、既存の暗号化手法で暗号化されていてもよい。
[実施形態2]
上述の実施形態1では、背景モデルのテクスチャを生成するために、複数の撮影画像を使用した。但し、複数の撮影画像(実カメラ画像)は選手にピントが合わせられ、看板が配置されるような領域はピントが甘い画像になってしまう。
上述の実施形態1では、背景モデルのテクスチャを生成するために、複数の撮影画像を使用した。但し、複数の撮影画像(実カメラ画像)は選手にピントが合わせられ、看板が配置されるような領域はピントが甘い画像になってしまう。
そこで、本実施形態では、付加情報として実広告情報を動画ファイルに付与し、背景モデル生成時に実広告情報も利用することで、仮想視点映像の実看板領域の画像を鮮明に表示する方法について説明する。本実施形態における実広告とは、現実空間の競技場やスタジアムに設置される実存の看板やディスプレイのことである。なお、以下の実施形態においては、背景モデル生成時に利用する付加情報として実広告情報を動画ファイルに付与する例について説明するが、付与する付加情報は実広告情報に限らない。付加情報は、例えば、現実空間に設置される応援旗に関する情報等でもよい。
<システム構成>
図14は、本実施形態に係る映像生成システムの構成を示す図である。本実施形態に係る映像生成システムは、図14に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。なお、本実施形態において、撮影装置1、表示装置5の構成は、上述の実施形態1と同様の構成である。
図14は、本実施形態に係る映像生成システムの構成を示す図である。本実施形態に係る映像生成システムは、図14に示されるように、撮影装置1、広告データベース2、動画ファイル生成装置3、映像生成装置4、表示装置5を備える。なお、本実施形態において、撮影装置1、表示装置5の構成は、上述の実施形態1と同様の構成である。
動画ファイル生成装置3は、上述の撮影情報取得部510、素材情報蓄積部520、仮想広告情報取得部530、動画ファイル生成部540、動画ファイル配信部550以外に、さらに実看板領域設定部1400を備える。これに関連して、動画ファイル生成部540には、実広告情報を付与する処理が追加される。広告データベース2、映像生成装置4に関して、その構成は上述の実施形態1と同様の構成であるが、各部の動作は、実広告情報を制御するため、上述の実施形態1とは異なる。
本実施形態において、実広告情報は、広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、実カメラID、実看板領域等の情報である。実広告画像は、企業ロゴ等の画像であって、実際に設置される看板のデザインと同じ画像である。実看板領域情報は、実カメラ画像の各々における看板領域を示すラベル画像である。画像サイズは実カメラ画像と同じとし、また、各画素のラベル値は広告IDに対応する。例えば、ラベル値0は背景、ラベル値1を広告ID1、ラベル値2を広告ID2とする。即ち、ラベル値1の集合が、広告ID1の看板領域とする。また、広告IDと広告主は、広告データベース2において対応付けられる。
なお、実看板領域の情報以外の情報は、動画ファイルを生成する前までに、不図示の広告主又は広告制作者によって広告データベース2に登録される。また、実看板領域情報は、実看板領域設定部1400により設定される。
<処理フロー>
次に、ISO BMFF規格に準じて、実広告情報を動画ファイルに付与する方法とその処理の手順について、図15のフローチャートを用いて説明する。
次に、ISO BMFF規格に準じて、実広告情報を動画ファイルに付与する方法とその処理の手順について、図15のフローチャートを用いて説明する。
(S1510)
S1510において、撮影情報取得部510は、競技場に実際に設置されている看板の複数の撮影画像を取得し、素材情報蓄積部520に保存(蓄積)する。
S1510において、撮影情報取得部510は、競技場に実際に設置されている看板の複数の撮影画像を取得し、素材情報蓄積部520に保存(蓄積)する。
(S1520)
S1520において、実看板領域設定部1400は、素材情報蓄積部520から複数の撮影画像を取得し、全ての実カメラのカメラ画像から実看板領域を抽出する。そして、実看板領域設定部1400は、実看板領域情報を動画ファイル生成部540に送信する。
S1520において、実看板領域設定部1400は、素材情報蓄積部520から複数の撮影画像を取得し、全ての実カメラのカメラ画像から実看板領域を抽出する。そして、実看板領域設定部1400は、実看板領域情報を動画ファイル生成部540に送信する。
また、実看板領域に関して、例えば、テンプレートマッチング手法により抽出することができる。この場合、実看板領域設定部1400は、先ず、競技場名、試合日に基づいて、広告データベース2からその競技場に実看板を設置している広告主の実広告情報を取得する。実看板領域設定部1400は、次に、実広告情報に含まれる実広告画像をテンプレートとして、実カメラのカメラ画像から類似している画像領域を抽出し、その実カメラにおける実看板領域として抽出する。
なお、ここでは、実看板領域をテンプレートマッチングで抽出するように説明したが、マウス等の入力デバイスを用いて、画像の任意領域を手動で抽出し、実看板領域とすることもできる。実看板領域情報を含む実広告情報は、動画ファイル生成部540に送信される。
(S1530)
S1530において、動画ファイル生成部540は、実広告情報も付与した動画ファイルを生成し、動画ファイル配信部550に送信する。ここで、図16を用いて、実広告情報を記載するフォーマットについて説明を補足する。
S1530において、動画ファイル生成部540は、実広告情報も付与した動画ファイルを生成し、動画ファイル配信部550に送信する。ここで、図16を用いて、実広告情報を記載するフォーマットについて説明を補足する。
実広告情報も、ISO BMFF規格のmetaボックスとして記載される。meta情報には、データ種別と広告主テーブルに関する情報を記載する。データ種別には、実広告情報であることを示す情報として、actual_advertisingという文字列を記載する。広告主テーブルには、実看板領域のラベル値と広告IDとの対応を記載する。data情報には、実広告情報として、広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、カメラ台数分のカメラID、実看板領域、優先度の情報を記載する。
続けて、上述の動画ファイルを用いて、実広告情報を利用した仮想視点映像を生成する方法とその処理の手順について説明する。先ず、実施形態1のS1300と同様に、動画ファイル取得部700は、動画ファイル生成装置3から動画ファイルを取得する。そして、動画ファイル取得部700は、受信した動画ファイルを、素材情報読込部710と広告情報読込部720に送信する。
素材情報読込部710の処理は、S1310と同様であるが、実広告情報がある場合には、背景モデルの色情報を生成する処理が異なる。以下、この処理について説明を補足するが、先ず、実広告情報を読み込む処理について説明する。最初に、素材情報読込部710は、動画ファイルを走査し、ftypボックスに記載された文字列がfvpmであることを確認する。
素材情報読込部710は、ftypボックスに記載された文字列がfvpmでなければ、ファイルの読み込みを中止し、ftypボックスに記載された文字列がfvpmであれば、ファイルの読み込みを継続する。素材情報読込部710は、その動画ファイルを走査し、ボックスの種類がmetaボックスであり、meta情報のデータ種別に記載されている文字列がactual_advertisingであれば、実広告情報を読み込む。この場合、data情報に記載されている広告ID、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、全実カメラの実看板領域の情報を読み込む。
実広告情報がある場合の背景モデルの色情報は、実広告画像を用いて生成する。素材情報読込部710は、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラのカメラ画像に面を構成する3頂点を投影し、その3頂点が実看板領域内であれば、その3頂点を広告画像に射影し、その三角形内の画像をその面のテクスチャとする。この処理を背景モデルの全ての面で実行することで、広告画像を利用した背景モデルの色情報を生成することができる。
広告情報読込部720は、S1320と同様に、動画ファイルを走査し、仮想広告情報を読み込み、仮想広告情報を仮想視点映像生成部730に送信する。仮想視点映像生成部730は、S1330と同様に、実カメラのカメラパラメータ、被写体モデル、実広告情報から生成した背景モデル、仮想広告モデルの情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、生成された仮想視点映像は、表示装置5に送信され、ディスプレイ等に表示される。
本実施形態により、不図示のユーザは、実広告情報も付与した動画ファイルを取得することができる。さらに、その動画ファイルに基づいて、実広告情報を取得し、実広告画像を用いて背景モデルを生成することで、仮想視点映像上の実看板画像を鮮明にすることができる。
[実施形態3]
上述の実施形態2では、実広告情報を用いて、仮想視点映像上の実看板画像を鮮明にする方法について説明した。但し、こちらの方法では、実看板領域上に仮想広告画像が表示されてしまうことがある。
上述の実施形態2では、実広告情報を用いて、仮想視点映像上の実看板画像を鮮明にする方法について説明した。但し、こちらの方法では、実看板領域上に仮想広告画像が表示されてしまうことがある。
そこで、本実施形態では、動画ファイルに付与される仮想視点仮想広告情報と実広告情報を用いて、実看板領域上に仮想広告画像を表示しないように制御する方法について説明する。これにより、広告主は、異なる広告主に宣伝機会を奪われることがなくなる。また、仮想広告と実広告が同じ広告主である場合には、宣伝機会を増やすことができる。
<システム構成>
本実施形態に係る映像生成システムの構成は、上述の実施形態2と同様である。但し、映像生成装置4における仮想視点映像生成部730の動作が、上述の実施形態2と異なる。以下、仮想視点映像生成部730の動作について説明する。
本実施形態に係る映像生成システムの構成は、上述の実施形態2と同様である。但し、映像生成装置4における仮想視点映像生成部730の動作が、上述の実施形態2と異なる。以下、仮想視点映像生成部730の動作について説明する。
仮想視点映像生成部730は、仮想広告情報と実広告情報の両方を受信すると、以下のように動作する。仮想視点映像生成部730は、先ず、上述の実施形態2で説明したように、背景モデルの各面が実看板領域に含まれるか否かを判定する。仮想視点映像生成部730は、次に、背景モデルの実看板領域に含まれる面を仮想視点に投影することにより、仮想視点映像上の実看板領域を算出する。また、仮想視点映像生成部730は、仮想広告モデルを仮想視点に投影することにより、仮想視点映像上の仮想広告領域を算出する。
そして、実看板領域と仮想広告領域が重なる場合に、実看板領域を囲む矩形の外に、仮想広告領域をずらすことで、実看板と仮想看板の重複を回避する。或いは、広告情報に含まれる優先度の高い広告を優先して表示するようにしてもよい。さらに、被写体モデルを仮想視点映像上に投影することで、仮想視点映像上の被写体領域を算出し、この被写体領域と仮想広告領域や実看板領域との重なりを判定することで、仮想視点映像上で被写体領域と広告領域とが重ならないように制御することもできる。
本実施形態により、仮想広告情報と実広告情報が動画ファイルに付与された場合に、実看板領域上に仮想広告画像を表示しないようにすることができる。これにより、互いの宣伝機会を奪うことなく、広告を表示することができる。
なお、実施形態1、2、及び3において説明した動画ファイル生成装置、映像生成装置等の装置は、図17に示されるように、一般的なコンピュータの構成と同様の構成により実現することができる。CPU(Central Processing Unit)1701は、入力されたデータ、また後述のROM1702やRAM1703に格納されているコンピュータプログラムを用いて、装置全体の動作を制御する。なお、CPU1701とは異なる専用の1又は複数のハードウェア或いはGPU(Graphics Processing Unit)を備え、CPU1701による処理の少なくとも一部を専用のハードウェア又はGPUが行うようにしてもよい。また、専用のハードウェアとしては、例えば、ASIC(特定用途向け集積回路)及びDSP(デジタルシグナルプロセッサ)等がある。
ROM(Read-Only Memory)1702は、装置における各部の設定を行う設定パラメータやブートプログラム等を格納する。RAM(Random Access Memory)1703は、外部記憶装置1704から読み取ったコンピュータプログラムやデータ、後述の汎用インタフェース1705を介して外部から受信したデータを一時的に記憶する記憶領域を有する。また、RAM1703は、CPU1701が各種、処理を実行するときに用いる記憶領域として使用される。
外部記憶装置1704は、CPU1701が各種の処理を実行するために必要な各種データ等を記憶する記憶装置であり、例えば、HDD(Hard Disk Drive)等である。汎用インタフェース1705は、外部装置1706と通信するためのインタフェースであり、例えば、USB(Universal Serial Bus)インタフェース等である。
また、上述の構成において、装置の各機能は、CPU1701が図8、図13、図15等に示される処理の流れ(フローチャート)を実現可能なプログラムを読み出し実行することで、実現される。
また、実施形態1、2、及び3において、動画ファイルに付与される付加情報として広告情報(仮想広告情報、及び実広告情報)が付与される例について説明したが、この例に限らない。動画ファイルに付与される付加情報の別の例として、仮想視点情報に写る選手に関する情報(以下、選手情報という)を付与する場合について説明する。ISO BMFF規格に準じて、選手情報が動画ファイルに付与される場合、metaボックスには、データ種別、データ数、各情報のデータサイズ、及び選手情報データベースのアドレスに関する情報が記載される。データ種別は、付加情報が選手に関する情報であることを示す情報である。データ数は、選手情報の数である。各情報のデータサイズは、選手情報のデータサイズを示す情報である。選手情報データベースのアドレスに関する情報は、選手情報が蓄積されるデータベースに接続するためのアドレス情報である。metaボックスにアドレス情報が記載されない場合、dataボックスには、選手情報ID、選手情報の提供者、選手情報の製作者、競技名、競技場名、試合日、表示時間、表示開始時間、及び表示終了時間を記載する。さらに、metaボックスにアドレス情報が記載されない場合、dataボックスには、有効期限、選手情報モデルデータ、選手情報マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の選手情報貼り付け領域、及び優先度の情報が記載される。metaボックスにアドレス情報が記載される場合、dataボックスには、選手情報IDのみが記載される。以上のように、本発明は広告情報以外にも適用することができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1 撮影装置
2 広告データベース
3 動画ファイル生成装置
4 映像生成装置
5 表示装置
2 広告データベース
3 動画ファイル生成装置
4 映像生成装置
5 表示装置
Claims (1)
- 仮想視点画像を生成するための画像ファイルを生成する画像ファイル生成装置であって、
前記仮想視点画像の生成に用いる素材情報を取得する素材情報取得手段と、
前記仮想視点画像に表示する付加情報を取得する付加情報取得手段と、
前記素材情報及び前記付加情報を含む前記画像ファイルを生成する画像ファイル生成手段と
を備えることを特徴とする画像ファイル生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023098338A JP2023115088A (ja) | 2018-12-19 | 2023-06-15 | 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018237547A JP7297439B2 (ja) | 2018-12-19 | 2018-12-19 | ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム |
JP2023098338A JP2023115088A (ja) | 2018-12-19 | 2023-06-15 | 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018237547A Division JP7297439B2 (ja) | 2018-12-19 | 2018-12-19 | ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023115088A true JP2023115088A (ja) | 2023-08-18 |
JP2023115088A5 JP2023115088A5 (ja) | 2024-05-30 |
Family
ID=69063611
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018237547A Active JP7297439B2 (ja) | 2018-12-19 | 2018-12-19 | ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム |
JP2023098338A Pending JP2023115088A (ja) | 2018-12-19 | 2023-06-15 | 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018237547A Active JP7297439B2 (ja) | 2018-12-19 | 2018-12-19 | ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11436788B2 (ja) |
EP (1) | EP3671657A1 (ja) |
JP (2) | JP7297439B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022181378A1 (ja) | 2021-02-26 | 2022-09-01 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
EP4318405A1 (en) | 2021-03-31 | 2024-02-07 | FUJIFILM Corporation | Image processing device, image processing method, and program |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002208036A (ja) | 2001-01-10 | 2002-07-26 | Toshimitsu Nakanishi | コンテンツ提供システム及びコンテンツ提供方法 |
CA2758237C (en) * | 2009-04-09 | 2017-08-15 | Telefonaktiebolaget Lm Ericsson (Publ) | Media container file management |
JP5567942B2 (ja) * | 2010-08-30 | 2014-08-06 | Kddi株式会社 | 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム |
US20140063061A1 (en) * | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
JP5593356B2 (ja) * | 2012-08-22 | 2014-09-24 | ヤフー株式会社 | 広告配信装置、広告配信方法および広告配信プログラム |
JP6329343B2 (ja) * | 2013-06-13 | 2018-05-23 | 任天堂株式会社 | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 |
JP5945255B2 (ja) | 2013-08-27 | 2016-07-05 | 日本電信電話株式会社 | 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム |
JP6397269B2 (ja) | 2013-09-06 | 2018-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6393106B2 (ja) | 2014-07-24 | 2018-09-19 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
KR20170006579A (ko) | 2015-07-08 | 2017-01-18 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서의 아이콘 변경 방법 |
JP6472486B2 (ja) * | 2016-09-14 | 2019-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2018066382A1 (ja) * | 2016-10-06 | 2018-04-12 | ソニー株式会社 | 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム |
US11665308B2 (en) * | 2017-01-31 | 2023-05-30 | Tetavi, Ltd. | System and method for rendering free viewpoint video for sport applications |
US10877649B2 (en) * | 2017-03-21 | 2020-12-29 | Ricoh Company, Ltd. | Browsing system, browsing method, and information processing apparatus |
JP7080586B2 (ja) * | 2017-04-04 | 2022-06-06 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7013139B2 (ja) * | 2017-04-04 | 2022-01-31 | キヤノン株式会社 | 画像処理装置、画像生成方法及びプログラム |
JP7035401B2 (ja) * | 2017-09-15 | 2022-03-15 | ソニーグループ株式会社 | 画像処理装置およびファイル生成装置 |
-
2018
- 2018-12-19 JP JP2018237547A patent/JP7297439B2/ja active Active
-
2019
- 2019-12-09 US US16/707,173 patent/US11436788B2/en active Active
- 2019-12-16 EP EP19216664.3A patent/EP3671657A1/en active Pending
-
2023
- 2023-06-15 JP JP2023098338A patent/JP2023115088A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20200202610A1 (en) | 2020-06-25 |
US11436788B2 (en) | 2022-09-06 |
EP3671657A1 (en) | 2020-06-24 |
JP7297439B2 (ja) | 2023-06-26 |
JP2020101847A (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11482192B2 (en) | Automated object selection and placement for augmented reality | |
WO2018036456A1 (zh) | 追踪识别视频图像中的商品并展示商品信息的方法和装置 | |
JP2023115088A (ja) | 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム | |
US10121513B2 (en) | Dynamic image content overlaying | |
WO2021135334A1 (zh) | 处理直播内容的方法、装置、系统 | |
JP7303754B2 (ja) | ユーザー固有コンテンツを映像制作に融合させる方法及びシステム | |
JP2015528961A (ja) | 拡張現実技術に基づくビデオ再生方法及びビデオ再生システム並びに携帯端末 | |
US20180192160A1 (en) | Context based augmented advertisement | |
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
US20120102023A1 (en) | Centralized database for 3-d and other information in videos | |
WO1997003517A1 (en) | Methods and apparatus for producing composite video images | |
JP2004304791A (ja) | デジタルシネマフレームコンテンツを修正する方法及び装置 | |
TW201520827A (zh) | 針對多媒體資料提供擴增實境效果之系統和方法 | |
JP7476375B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2016167160A1 (ja) | データ生成装置および再生装置 | |
CN113613059B (zh) | 一种短播视频处理方法、装置及设备 | |
US20230276082A1 (en) | Producing video for content insertion | |
CN114501127B (zh) | 在多画面视频中插入数字内容 | |
KR101399633B1 (ko) | 영상 합성 방법 및 장치 | |
CN111556338B (zh) | 视频中区域的检测方法、信息融合方法、装置和存储介质 | |
US20170287521A1 (en) | Methods, circuits, devices, systems and associated computer executable code for composing composite content | |
WO2022236842A1 (zh) | 一种广告置换或添加的处理方法及系统及装置 | |
KR102612605B1 (ko) | 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치 | |
JP6942898B1 (ja) | プログラム、方法、情報処理装置、システム | |
KR101280213B1 (ko) | 결합 홀로그램 영상 제공 방법 및 그 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240516 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240618 |