JP2023153790A - プログラム - Google Patents

Abstract

【課題】ユーザが演者と同じ空間を共有体験でき、その体験の記録できるプログラムを提供する。【解決手段】撮影システムにおいて、プログラムは、管理サーバから、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを受信し、記憶部に格納する受信手段、コンテンツ一覧を表示し、希望するコンテンツの選択を受け付けるコンテンツ選択手段、選択されたコンテンツの拡張現実用映像データのキー信号を用いて、演者のフィル信号と撮影映像とを合成し、ユーザと演者とを含む合成映像を生成、表示し、かつ、合成映像の少なくとも一部を記録画像として記録する映像合成手段、選択された音声データを用いて、表示部に表示される合成映像に同期して演者の音声を出力する音声出力手段、記録画像を保存のために管理装置に送信する送信手段及び保存場所情報を受信し、表示部に表示する保存場所提示手段として端末を機能させる。【選択図】図１

Description

本発明は、プログラムに関し、特に、ユーザを撮影するプログラムに関する。

従来、利用者を含む被写体をカメラで撮影し、その撮影画像と付加画像とを合成した合成画像を印刷写真として出力する遊戯用の自動写真作成装置がある。

しかし、上記の自動写真作成装置は、装置メーカが、付加画像としての画像ソースを別に作成して予め装置に記憶させておき、それを利用者が編集作業で利用するようになっている。従って、利用者は、装置メーカ側で予め用意された付加画像を利用するしかなく、十分な満足感を得ることができない。

そこで、先行被写体の撮影画像やその編集画像を、後続被写体としての利用者の撮影画像に付加するための新たな付加画像として登録することができる自動写真作成装置が発明されている（特許文献１）。尚、先行被写体は、パブリシティ権や商品化権が認められ得る付加価値を有する人、例えば、タレント等である。これにより、タレント等と並んだ写真を撮影することができ、従来にはない満足感が得られるとしている。

特開2008-005401号公報

ところで、上記自動写真作成装置の付加画像が静止画であり、上記自動写真作成装置の目的は、ユーザとタレント等とが並んだ写真を提供することである。

しかしながら、上記自動写真作成装置は、ユーザは、タレント等と同じ空間を共有するような体験をすることができず、単なる合成写真の提供に留まっており、ユーザに十分な満足感を与えるものではなかった。

そこで、本発明は、ユーザがタレント等の演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができるプログラムを提供することにある。

本発明の一態様は、ユーザを撮影するカメラと、表示部と、記憶部と、を備えるコンピュータのプログラムであって、プログラムは、コンピュータを、コンテンツを管理する管理装置から、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを受信し、受信したコンテンツデータを記憶部に格納する受信手段、コンテンツデータを用いたコンテンツのコンテンツ一覧を、表示部に表示し、コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択手段、ユーザにより選択されたコンテンツのコンテンツデータの拡張現実用映像データのキー信号を用いて、演者のフィル信号とカメラが撮影したユーザの撮影映像とを合成し、ユーザと演者とを含む合成映像を生成し、合成映像を表示部に表示し、かつ、合成映像の少なくとも一部を記録画像として記録する映像合成手段、ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、表示部に表示される合成映像に同期して演者の音声を出力する音声出力手段、記録画像を、保存のために管理装置に送信する送信手段、記録画像の保存場所を示す保存場所情報を、管理装置から受信し、保存場所を示す情報を表示部に表示する保存場所提示手段、として機能させるプログラムである。

本発明は、ユーザが演者と同じ空間を共有するような体験を得ることができるともに、ユーザがその体験の記録画像を得ることができる。

図１は本実施形態における撮影システムの全体構成例を示す図である。 図２は撮影装置１のブロック図である。 図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。 図４はコンテンツデータベースの一例を示した図である。 図５は設定データの一例を示した図である。 図６は撮影装置１の外観を示す図である。 図７は管理サーバ２のブロック図である。 図８は撮影装置管理データベースの一例である。 図９は決済サーバ３のブロック図である。 図１０は装置間のシーケンス図である。 図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。 図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。 図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。 図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。 図１５は操作入力部１３に表示される利用料金画面の一例である。 図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。 図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。 図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。 図１９は演者撮影装置５のブロック図である。 図２０は第２の実施の形態の管理サーバ２のブロック図である。 図２１は第２の実施の形態における撮影装置管理データベースの一例である。

＜第１の実施の形態＞
［全体構成］
図１は、本実施形態における撮影システムの全体構成例を示す図である。図１に示すように、撮影システムは、撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とを備えて構成される。撮影装置１と、管理サーバ２と、決済サーバ３と、端末４とは、通信回線Ｎに接続可能で、相互に通信可能である。

通信回線Ｎは、データ通信が可能な通信路を意味する。すなわち、通信回線Ｎは、直接接続のための専用線（専用ケーブル）やイーサネット（登録商標）等によるＬＡＮの他、電話通信網やケーブル網、インターネット等の通信網を含み、通信方法については有線／無線を問わない。

撮影装置１は、イベント会場、映画館等の施設に設置され、ユーザ（被写体）の撮影映像と、コンテンツ映像とを合成した合成映像を生成する装置である。尚、コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等（以下、これらをまとめて演者と記載する）の拡張現実用の映像（例えば、動画）である。また、撮影装置１は、デジタルサイネージの機能も備えている。また、撮影装置１は、基本的には、複数存在し、各イベント会場、映画館等の施設に設置される。

管理サーバ２は、撮影装置１により使用されるコンテンツ映像及び広告の管理と、ユーザ（被写体）に提供する記録画像の保存を行うサーバである。

決済サーバ３は、撮影装置１の利用料金の決済を行うサーバである。

端末４は、ユーザ（被写体）が所持する端末であり、無線通信基地局等を介して通信回線Ｎに接続し、管理サーバ２とデータ通信を行うことができる。端末４は、例えば、スマートフォンや、携帯電話機、パソコン、タブレット型コンピュータ等である。端末４は、基本的には、複数存在し、各ユーザ（被写体）により操作される。そして、端末４は、少なくとも、画像データを受信し、その画像データを格納又は表示する機能、撮影機能などを持つ。

［各装置の構成］
撮影装置１の構成を説明する。図２は撮影装置１のブロック図である。

図２中、１０はカメラであり、１１はディスプレイであり、１２はスピーカであり、１３は操作入力部であり、１４は近距離無線通信部であり、１５は処理部であり、１６は送受信部であり、１７は記憶部である。

カメラ１０は、ユーザ（被写体）と、ユーザ（被写体）が存在する空間の背景とを撮影するカメラである。カメラ１０が撮影した映像（静止画、動画の双方を含む）を、以下、撮影映像と記載する。この撮影映像は処理部１５に入力される。

ディスプレイ１１は、カメラ１０により撮影された撮影映像とコンテンツ映像とが合成された映像が表示される。

スピーカ１２はコンテンツの音声が出力される。

操作部入力部１３は、ユーザ（被写体）が撮影に関する各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部１５に出力する。操作入力部１３の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。本実施の形態の操作部入力部１３は、操作情報が表示されるディプレイを備えるタッチ操作パネルである。

近距離無線通信部１４は、利用料金の決済に使用される非接触型ＩＣカードのリーダ・ライタである。

処理部１５は、記憶部１７に格納されるプログラムやコンテンツデータ、操作入力部１３からの操作入力信号等に基づいて撮影装置１の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部１５は、主な機能部として、管理部１５１と、操作制御部１５２と、決済処理部１５３と、映像処理部１５４と、サイネージ制御部１５５と、音声制御部１５６と、保存場所提示部１５７とを備える。

管理部１５１は、撮影装置１の設定及びデータの管理を行う。撮影装置１の設定は、撮影装置１の付与されたアカウント及びパスワードによる認証後、管理者が必要な設定を行う。撮影装置１の設定の代表的なものとして、撮影装置１で使用するコンテンツの設定がある。コンテンツは、管理サーバ２からダウンロードし、記憶部１７に格納される。コンテンツのダウンロードは、自動でコンテンツのダウンロードが行われる自動更新モードと、管理者が希望するコンテンツを選択してダウンロードする手動更新モードがある。管理者がいずれかのモードを設定することにより、コンテンツのダウンロードが行われ、コンテンツが撮影装置１に格納される。

コンテンツには、ユーザ（被写体）の撮影映像と合成されるコンテンツ映像と、デジタルサイネージに使用されるサイネージ映像（広告映像）とがある。コンテンツ映像は、芸能人（ドラマ・映画などのキャスト、アイドル等）やスポーツ選手等の演者の映像であり、拡張現実用の映像データである。コンテンツ映像は、基本的には動画である。また、サイネージ映像は、広告映像であり、動画、静止画のいずれも含む。尚、コンテンツ映像と、それらの映像に関するメタデータ（識別情報及び利用料金など）とを含めてコンテンツデータ記載する。同様に、サイネージ映像と、それらの映像に関するメタデータ（識別情報など）とを含めてサイネージデータと記載する。

操作制御部１５２は、コンテンツの内容（例えば、サムネイル映像）や操作情報を操作部入力部１３に表示する。また、操作部入力部１３からの操作信号を受信する。

決済処理部１５３は、近距離無線通信部１４により読み取られた非接触型ＩＣカードの決済情報を受信し、決済情報を決済サーバ３に送信する。また、決済が完了した場合、決済サーバ３から決済完了情報を受信する。

映像処理部１５４は、カメラ１０からのユーザ（被写体）の撮影映像を入力し、撮影映像に、ユーザ（被写体）が選択したコンテンツのコンテンツ映像を重畳した合成映像を生成する。

映像処理部１５４が行う合成映像の生成について説明する。合成映像を生成するためには、撮影映像、フィル(Fill)信号及びキー信号の３種類の映像信号が必要となる。フィル(Fill)信号は、ユーザ（被写体）が選択したコンテンツの演者のコンテンツ映像である。キー信号は、フィル(Fill)信号であるコンテンツ映像を重畳する領域を指定する信号である。尚、本実施の形態では、フィル(Fill)信号及びキー信号が、拡張現実用映像データである。

図３は映像処理部１５４が行う合成映像の合成処理を説明するための図である。合成処理は、撮影映像の全領域のうち、キー信号に基づいて指定される領域に、フィル信号の演者の映像をはめ込むことによって、合成映像を生成する。尚、図３では、ある所定フレームの合成処理を説明した図であり、実際は、撮影映像、コンテンツ映像は動画であるため、フレーム単位で合成映像の生成処理が行われる。

また、撮影空間におけるユーザ（被写体）と演者との位置関係が分かる場合は、重畳するフィル(Fill)信号（演者の映像）とユーザ（被写体）の領域とが重なる部分は、前方に位置する方を優先的に合成する。このようにすれば、より自然な仮想空間の映像を演出することが可能である。尚、ユーザ（被写体）と演者との位置関係は、赤外線による測定や、映像の画像解析などの従来方法を用いることが出来る。

また、映像処理部１５４は、合成映像（動画）のうちのある時刻の映像を静止画として記録する機能も有する。この記録された記録画像は、後述する管理サーバ２の保存場所に保存される。尚、記録画像は静止画に限定するものではなく、合成映像（動画）の全部又は一部の動画でも良い。

サイネージ制御部１５５は、撮影装置１が撮影に利用されていない時間に、サイネージデータを使用してディスプレイ１１に広告を表示する。

音声制御部１５６は、コンテンツデータに含まれる音声データを使用して、ユーザ（被写体）の撮影映像の撮影時に、映像上の演者の音声や、利用案内の音声などをスピーカ１２から出力する。

保存場所提示部１５７は、上述した記録画像の保存場所をユーザ（被写体）に通知する。通知方法としては、記録画像の保存場所のアドレスを示す二次元コード（ＱＲコード（登録商標）など）を、ディスプレイ１１に表示する方法がある。但し、これに限定されず、保存場所のアドレスを、ディスプレイ１１に直接表示しても良いし、他の方法でも良い。

送受信部１６は、通信回線Ｎを介して、管理サーバ２及び決済サーバ３との間で、データの送受信を行う。

記憶部１７は、撮影装置１に必要な各種データが格納される。例えば、コンテンツデータベースや、設定データ等である。

図４はコンテンツデータベースの一例を示した図である。図４に示すデータベースは、ユーザとの撮影に使用される演者のコンテンツデータと、広告として使用されるサイネージデータとが格納されている。コンテンツデータは、コンテンツ識別情報（ＩＤ）と、コンテンツ名と、拡張現実用の映像データ（フィル(Fill)信号、キー信号を含む）と、音声データと、メタデータとを含む。サイネージデータは、サイネージ識別情報（ＩＤ）と、広告名と、映像データと、音声データと、メタデータとを含む。尚、図４は一例であり、これに限られない。

図５は設定データの一例を示した図である。図５に示す設定データは、撮影装置１のアカウントと、管理パスワードと、自動更新の有無と、広告開始時間（撮影装置１が最後に使用されてからの経過時間）、補助データを含む。尚、図５は一例であり、これに限られない。

上述した撮影装置１の外観を、図６に示す。

次に、管理サーバ２の構成を説明する。図７は管理サーバ２のブロック図である。

図７中、２０は入力部であり、２１は送受信部であり、２２は処理部であり、２３は記憶部である。

入力部２０は、管理者が各種操作を入力するためのものであり、操作入力に応じた操作入力信号を処理部２２に出力する。入力部２０の機能は、例えば、キーボード、マウス、タッチ操作パッド、ホームボタン、ボタンスイッチや、ジョイスティック、トラックボールといったユーザが指で操作する素子はもちろん、加速度センサや角速度センサ、傾斜センサ、地磁気センサといった、運動や姿勢を検知する素子等によっても実現できる。

送受信部２１は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。

処理部２２は、記憶部２３に格納されるプログラムやコンテンツデータ、入力部２０からの操作入力信号等に基づいて管理サーバ２の動作を統括的に制御する。処理部１５の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部２２は、主な機能部として、コンテンツ管理部１２１し、撮影データ保存管理部１２２とを備える。

コンテンツ管理部１２１は、撮影装置１に設定するコンテンツデータを管理する。具体的には、記憶部２３に格納された撮影装置管理データベースを用いて、撮影装置１で使用されるコンテンツなどを管理する。図８は撮影装置管理データベースの一例である。図８に示す撮影装置管理データベースは、撮影装置の識別情報、アカウント、パスワード、自動更新の有無及び利用可能なコンテンツの識別情報を、撮影装置１毎に記録している。

撮影データ保存管理部１２２は、撮影装置１が撮影した記録画像を記憶２３に保存し、保存場所のアドレスを撮影装置１に通知する。

次に、決済サーバ３の構成を説明する。図９は決済サーバ３のブロック図である。

図９中、３０は送受信部であり、３１は決済処理部であり、３２は記憶部である。

送受信部３０は、通信回線Ｎを介して、撮影装置１との間で、データの送受信を行う。

決済処理部３１は、撮影装置１から決済情報を受信し、記憶部３２に格納されるプログラムや決済データに基づいて決済処理を行い、決済完了情報を撮影装置１に送信する。決済処理部３１は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。尚、非接触型ＩＣカードの料金の決済は、従来からある方法を用いることができる。

［各装置の動作］
第１の実施の形態の動作を説明する。図１０は装置間のシーケンス図である。

まず、撮影装置１を利用可能な状態にするために、設定処理を行う（Ｓｔｅｐ１）。そして、管理サーバ２は、撮影装置１からの設定要求に応答して、管理処理を行い、コンテンツデータやサイネージデータを送信する（Ｓｔｅｐ２）。

ここで、撮影装置１の設定処理（Ｓｔｅｐ１）の動作を、フローチャートを用いて説明する。図１１は撮影装置１の設定処理（Ｓｔｅｐ１）の動作フローチャートである。

まず、撮影装置１の管理者は、操作入力部１３を操作して管理画面を表示する。操作制御部１５２は、管理画面を操作入力部１３に表示する（Ｓｔｅｐ１００）。

管理者は、操作入力部１３を操作して、識別情報（アカウント）及びパスワードを入力する（Ｓｔｅｐ１０１）。

管理部１５１は、入力された識別情報（アカウント）及びパスワードの照合を行い（Ｓｔｅｐ１０２）、認証できたならば（Ｓｔｅｐ１０３）、更新モードの選択に遷移する。一方、認証できない場合は、設定処理を終了する。

認証できた場合は、管理画面には、自動更新モードと手動更新モードとが表示される。管理者は、いずれかのモードを選択する。

管理者が自動更新モードを選択した場合（Ｓｔｅｐ１０４）は、撮影装置１で利用可能なコンテンツデータとサイネージデータとが管理サーバ２から送信され、管理部１５１は、それらのコンテンツデータとサイネージデータを記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する。そして、設定完了通知を管理サーバ２に送信する。

一方、管理者が手動更新モードを選択した場合（Ｓｔｅｐ１０４）は、管理サーバ２から撮影装置１で利用可能なコンテンツデータ及びサイネージデータの一覧が送信され、管理部１５１は、コンテンツデータ及びサイネージデータの一覧情報を表示する（Ｓｔｅｐ１０５）。管理者は、操作入力部１３を操作し、一覧情報から利用したいコンテンツデータ及びサイネージデータを選択する（Ｓｔｅｐ１０６）。そして、管理部１５１は、選択されたコンテンツデータ及びサイネージデータを、管理サーバ２からダウンロードし（Ｓｔｅｐ１０７）、記憶部１７のコンテンツデータベースに格納し、コンテンツの設定を完了する（Ｓｔｅｐ１０８）。そして、設定完了通知を管理サーバ２に送信する。

次に、管理サーバ２の管理処理（Ｓｔｅｐ２）の動作を、フローチャートを用いて説明する。図１２は管理サーバ２の管理処理（Ｓｔｅｐ２）の動作フローチャートである。

管理サーバ２は、撮影装置１から設定要求に応答して、識別情報（アカウント）の照合を行う（Ｓｔｅｐ２００）。識別情報（アカウント）が登録されているものであれば（Ｓｔｅｐ２０１）、撮影装置１からのモードの要求に対応する処理を行う。

撮影装置１から要求されたモードが手動更新モードである場合（Ｓｔｅｐ２０２）、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータの一覧を送信する（Ｓｔｅｐ２０３）。撮影装置１からコンテンツデータ及びサイネージデータの選択情報を受信すると、選択されたコンテンツデータ及びサイネージデータを撮影装置１に送信する（Ｓｔｅｐ２０４）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。

一方、撮影装置１から要求されたモードが自動更新モードである場合、記憶部２３の撮影装置管理データベースのうち、設定要求した撮影装置１のアカウントの自動更新有無のフィールドのフラグを”ON”にする（Ｓｔｅｐ２０６）。そして、コンテンツデータベースに登録されているコンテンツのうち、設定要求した撮影装置１のアカウントの利用可能コンテンツのフィールドに記載されているコンテンツＩＤ又はサイネージＩＤに対応するコンテンツデータ及びサイネージデータを検索し（Ｓｔｅｐ２０７）、利用可能なコンテンツデータ及びサイネージデータを送信する（Ｓｔｅｐ２０８）。そして、撮影装置１から設定完了通知を受信すると、管理処理を終了する（Ｓｔｅｐ２０５）。

尚、自動更新が有効であるアカウントの撮影装置１については、利用可能コンテンツの変更があった場合には、利用可能コンテンツフィールドに記載されているＩＤに対応するコンテンツデータ又はサイネージデータを、自動的に撮影装置１に送信し、撮影装置１のコンテンツの自動更新を行う。

図１０のシーケンス図の説明に戻る。

撮影装置１の設定が完了すると、ユーザ（被写体）が撮影装置１を利用することが可能となる。そして、ユーザ（被写体）が撮影装置１の利用を開始すると、撮影装置１は撮影処理（Ｓｔｅｐ３）を実行する。

ここで、撮影処理（Ｓｔｅｐ３）の動作を、フローチャートを用いて説明する。図１３は撮影処理（Ｓｔｅｐ３）の動作フローチャートである。

撮影装置１の操作制御部１５２は、コンテンツの一覧を操作入力部１３に表示する（Ｓｔｅｐ３００）。図１４は操作入力部１３に表示されるコンテンツの選択画面の一例である。図１４の例では、コンテンツＡＡＡ、コンテンツＢＢＢ及びコンテンツＣＣＣの３種類のコンテンツが選択可能な画面の例である。

撮影装置１を利用するユーザは、操作入力部１３に表示されているコンテンツの一覧から希望のコンテンツを選択する。選択は、コンテンツの一覧から希望のコンテンツをタッチすることにより行われる（Ｓｔｅｐ３０１）。

コンテンツが選択されると、操作入力部１３の画面にはコンテンツの利用料金の画面が表示される（Ｓｔｅｐ３０２）。図１５は操作入力部１３に表示される利用料金画面の一例である。図１５の例では、コンテンツＡＡＡの利用料金が６００円であり、ＩＣカードを近距離無線通信部１４にタッチすることを要求する画面の例である。

ユーザが利用料金画面の指示に従って、ＩＣカードを近距離無線通信部１４にタッチすることにより、料金の決済情報を決済処理部１５３が受信し（Ｓｔｅｐ３０３）、決済情報を決済サーバ３に送信する（Ｓｔｅｐ３０４）。

撮影装置１の決済処理部１５３は、決済サーバ３から決済完了情報を受信し（Ｓｔｅｐ３０５）、決済が完了したことを操作入力部１３に表示し、撮影が開始されることを通知する（Ｓｔｅｐ３０６）。

カメラによるユーザ（被写体）の撮影が開始されると、その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、撮影映像に選択したコンテンツの仮想現実用の映像データを重畳し、合成映像を生成する（Ｓｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（Ｓｔｅｐ３０８）。このとき、コンテンツの音声データにより、演者の音声もスピーカから出力される。例えば、「ＡＡＡです。今日は撮影会に参加してくれてありがとう。」等の音声が出力される。このように、ディスプレイ１１には、演者とユーザとが一緒に同じ空間に存在する映像が表示され（図３の合成映像を参照）、音声も聞こえるので、ユーザは演者と一緒に同じ空間を共有するような疑似体験を得ることが出来る。そして、演者から記念撮影のタイミングが告げられ、記録画像（静止画）の撮影が行われる（Ｓｔｅｐ３０９）。

撮影が終了すると、保存場所提示部１５７は、管理サーバに、静止画をアップロードし（Ｓｔｅｐ３１０）、保存場所のアドレスを、二次元コードを使用して、操作入力部１３の画面に表示する（Ｓｔｅｐ３１１）。図１６は保存場所のアドレスを示す二次元コードが表示された画面の一例である。

以上で、撮影処理の説明を終了する。

図１０のシーケンス図の説明に戻る。

Ｓｔｅｐ４は、決済サーバ３で行われる決済処理である。撮影装置１から送信されたユーザのＩＣカードの決済情報を受信し、その決済情報に基づいて決済完了情報を撮影装置１に送信する。

Ｓｔｅｐ５は、管理サーバ２で行われる保存処理である。撮影装置１から送信された記録画像（静止画）を保存し、その保存場所のアドレスを撮影装置１に送信する。

ユーザは端末１の撮影機能を利用し、操作入力部１３の画面に表示された二次元コードを撮影し、二次元コードで示されるアドレスにアクセスする（Ｓｔｅｐ６）。そして、端末１は、撮影した記録画像（静止画）を端末１にダウンロードする（Ｓｔｅｐ７）。図１７は端末４にダウンロードされた記録画像が、端末４のディスプレイに表示された場合の一例である。

一方、撮影装置１のサイネージ制御部１５５は、一定時間（例えば、３分）、ユーザによる撮影装置１の利用がない場合は、記憶部１７のコンテンツデータベースのサイネージデータから、映像データ及音声データを取得し、ディスプレイ１１に映像データによる広告を表示し、スピーカ１２から音声データによる音声を出力する（Ｓｔｅｐ８）。

以上で、第１の実施の形態の動作の説明を終了する。

第１の実施の形態は、演者の映像（動画）とユーザの撮影映像とを合成してディスプレイに表示させ、音声も聞こえるように構成しているので、ユーザは演者と一緒に同じ空間を共有するような体験を得ることが出来る。また、その体験の記念として記録される記録画像は、管理サーバに保存され、ユーザは端末にダウンロードすることができるので、例えば、SNS等によるシェアの利便性向上を図ることができると共に、物理的な印刷を行わないため、コストの削減も図れる。

また、第１の実施の形態は、管理サーバにより、撮影装置で使用されるコンテンツを一括で管理しているので、撮影装置で使用するコンテンツの設定の即時性・登録の柔軟性を実現することができる。

更に、第１の実施の形態の撮影装置は、デジタルサイネージの機能も搭載されているので、撮影装置が利用されていない時間を有効に活用することもできる。

＜第２の実施の形態＞
第２の実施の形態を説明する。図１８は第２の実施の形態における撮影システムの全体構成例を示す図である。

第２の実施の形態では、第１の実施の形態に加えて、演者のライブ映像を撮影し、ライブ映像から撮影装置１で使用するコンテンツデータ（フィル(Fill)信号、キー信号及び音声データ）を生成する演者撮影装置５が設けられている。

図１９は演者撮影装置５のブロック図である。図１９中、５０カメラであり、５１はマイク、５２はディスプレイであり、５３は送受信部であり、５４は処理部であり、５５は記憶部である。

カメラ５０は、演者のライブ映像を撮影するカメラである。カメラ５０が撮影した映像をライブ映像と記載する。このライブ映像は処理部５４に入力される。

マイク５１は、演者の音声を取得し、取得した音声を処理部５４に出力する。

ディスプレイ５２は、カメラ５０により撮影されたライブ映像が表示される。

送受信部５３は、通信回線Ｎを介して、管理サーバ２との間で、データの送受信を行う。

処理部５４は、記憶部５５に格納されるプログラムに基づいて演者撮影装置５の動作を統括的に制御する。処理部５４の機能は、例えば、ＣＰＵやＧＰＵ等のマイクロプロセッサ、ＡＳＩＣ、ＩＣメモリ等の電子部品によって実現できる。この処理部５４は、主な機能部として、フィル(Fill)信号生成部１５１と、キー信号生成部１５２と、ライブコンテンツデータ生成部１５３とを備える。

フィル(Fill)信号生成部１５１は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のフィル(Fill)信号を生成する。キー信号生成部１５２は、カメラ５０で撮影されたライブ映像から、リアルタイムで、演者のキー信号を生成する。これらの処理は、例えば、クロマキーの技術を用いることができる。

ライブコンテンツデータ生成部１５３は、演者のフィル(Fill)信号、キー信号及びマイク５１で取得された演者の音声を含むライブコンテンツデータを生成する。このライブコンテンツデータは、送受信部５３を介して、リアルタイムで、管理サーバ２に送信される。

第２の実施の形態の管理サーバ２を説明する。図２０は第２の実施の形態の管理サーバ２のブロック図である。第２の実施の形態の管理サーバ２が第１の実施の形態と異なる所は、リアルタイム配信部１２３が追加されたことである。

リアルタイム配信部１２３は、演者撮影装置５から受信したライブコンテンツデータを、所定の撮影装置１にリアルタイムでストリーミング配信する。配信する撮影装置１は、記憶部２３に格納されている撮影装置管理データベースを用いて決定する。図２１は第２の実施の形態における撮影装置管理データベースの一例である。図２１に示される撮影装置管理データベースは、第１の実施の形態に加えて、ライブ配信の有無のフィールドが設けられている。リアルタイム配信部１２３は、撮影装置管理データベースのライブ配信フィールドが「有」のフラグである撮影装置１に、受信したライブコンテンツデータを送信する。

撮影装置１は、管理データベース２からライブコンテンツデータを受信すると、記憶部１７に格納しつつ、カメラによるユーザ（被写体）の撮影を開始する。その撮影映像がディスプレイ１１に表示される。続いて、映像処理部１５４は、ライブコンテンツデータのキー信号を用いて、フィル(Fill)信号とユーザの撮影画像とを合成する（図１３のＳｔｅｐ３０７）。そして、映像処理部１５４は、合成映像（動画）をディスプレイ１１に表示する（図１３のＳｔｅｐ３０８）。他の処理は、第１の実施の形態と同様である。

第２の実施の形態は、演者のライブ映像からコンテンツデータを生成し、管理装置が各撮影装置にライブ配信している。従って、ひとり演者が、異なる場所の多数のユーザと同時に空間を共有するといったことが可能である。

以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。

１ 撮影装置
２ 管理サーバ
３ 決済サーバ
４ 端末
５ 演者撮影装置
１０ カメラ
１１ ディスプレイ
１２ スピーカ
１３ 操作入力部
１４ 近距離無線通信部
１５ 処理部
１６ 送受信部
１７ 記憶部
２０ 入力部
２１ 送受信部
２２ 処理部
２３ 記憶部
３０ 送受信部
３１ 決済処理部
３２ 記憶部

Claims (2)

1. ユーザを撮影するカメラと、表示部と、記憶部と、を備えるコンピュータのプログラムであって、
   前記プログラムは、前記コンピュータを、
   コンテンツを管理する管理装置から、演者のフィル信号とキー信号とを含む拡張現実用映像データ及び音声データを含むコンテンツデータを受信し、前記受信したコンテンツデータを前記記憶部に格納する受信手段、
   前記コンテンツデータを用いたコンテンツのコンテンツ一覧を、前記表示部に表示し、前記コンテンツ一覧から、ユーザが希望するコンテンツの選択を受け付けるコンテンツ選択手段、
   ユーザにより選択されたコンテンツのコンテンツデータの前記拡張現実用映像データのキー信号を用いて、前記演者のフィル信号と前記カメラが撮影したユーザの撮影映像とを合成し、前記ユーザと前記演者とを含む合成映像を生成し、前記合成映像を前記表示部に表示し、かつ、前記合成映像の少なくとも一部を記録画像として記録する映像合成手段、
   前記ユーザにより選択されたコンテンツのコンテンツデータの音声データを用いて、前記表示部に表示される合成映像に同期して前記演者の音声を出力する音声出力手段、
   前記記録画像を、保存のために前記管理装置に送信する送信手段、
   前記記録画像の保存場所を示す保存場所情報を、前記管理装置から受信し、前記保存場所を示す情報を前記表示部に表示する保存場所提示手段、
   として機能させるプログラム。
2. 前記音声データは、前記演者による案内及び静止画の撮影開始タイミングの音声を含み、
   前記音声出力手段は、前記音声データを用いて、前記表示部に表示される合成映像に同期して、前記演者による案内及び撮影開始タイミングの音声を出力し、
   前記映像合成手段は、前記演者の音声による撮影開始タイミングに合わせて前記合成映像の静止画を、前記記録画像として記録する、
   請求項１に記載のプログラム。

Images