JP2020021225A - 表示制御システム、表示制御方法、及び、表示制御プログラム - Google Patents
表示制御システム、表示制御方法、及び、表示制御プログラム Download PDFInfo
- Publication number
- JP2020021225A JP2020021225A JP2018143672A JP2018143672A JP2020021225A JP 2020021225 A JP2020021225 A JP 2020021225A JP 2018143672 A JP2018143672 A JP 2018143672A JP 2018143672 A JP2018143672 A JP 2018143672A JP 2020021225 A JP2020021225 A JP 2020021225A
- Authority
- JP
- Japan
- Prior art keywords
- item
- target
- distributor
- unit
- display control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】実空間像に仮想的にアイテムを付加することを可能とした表示制御システム、表示制御方法、及び、表示制御プログラムを提供する。【解決手段】表示制御システムは、実空間の三次元位置情報を取得する取得部と、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部とを備える。【選択図】図1
Description
本発明は、実空間像に仮想的にアイテムを付加することを可能とした表示制御システム、表示制御方法、及び、表示制御プログラムに関する。
特許文献1等には、コンテンツを配信するサーバが記載されている。
本発明の一態様によれば、実空間の三次元位置情報を取得する取得部と、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部とを備える表示制御システムが提供される。
本発明の他の態様によれば、取得部が、実空間の三次元位置情報を取得し、設定部が、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法が提供される。
本発明の他の態様によれば、コンピュータに、設定部が、実空間におけるアイテムを受け入れる目標部の位置を前記実空間の三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法を実行させる表示制御プログラムが提供される。表示制御プログラムは、ネットワークを通じて、または、光ディスクや半導体メモリ等の可搬性記録媒体を通じてコンピュータにインストールされる。
以下、図1〜図17を用いて、本発明が適用されたライブ配信システムを図面を参照して説明する。
〔第1実施形態〕
〔ライブ配信システムの概要〕
図1に示すように、ライブ配信システム1は、配信者Xが配信映像を撮像するスタジオ10と、スタジオ10で取得された配信映像をライブストリーミングで配信するサーバ40と、サーバ40で配信された配信映像を視聴するユーザA,B,Cのユーザ端末50,70,80とを備えている。サーバ40とユーザ端末50,70,80とは、ネットワーク2を介して接続されている。なお、ユーザ端末の数は、ここで示す3台に限定されるものではなく、1台であっても、数十台でも数百台であってもよい。
〔第1実施形態〕
〔ライブ配信システムの概要〕
図1に示すように、ライブ配信システム1は、配信者Xが配信映像を撮像するスタジオ10と、スタジオ10で取得された配信映像をライブストリーミングで配信するサーバ40と、サーバ40で配信された配信映像を視聴するユーザA,B,Cのユーザ端末50,70,80とを備えている。サーバ40とユーザ端末50,70,80とは、ネットワーク2を介して接続されている。なお、ユーザ端末の数は、ここで示す3台に限定されるものではなく、1台であっても、数十台でも数百台であってもよい。
スタジオ10内の実空間では、一例として、被写体としての配信者Xを撮影をしている。この撮影は、カメラマン等の第三者によって撮影されてもよいし、自撮りであってもよい。スタジオ10で撮影する配信者Xの人数は、ここでは1人であるが、複数人であってもよい。また、配信者Xは、有名人や公人でない一般人、芸能人(アイドル、タレント、芸人、モデル、声優、ミュージシャン、スポーツ選手等)、芸能人を目指すアマチュア、プロ又はアマチュアのバンド等のグループ、当該グループの構成員等である。一例として、配信者Xは、パフォーマンスをする実演者であり、実際にスタジオ10に存在する人物である。また、配信者Xは、実空間像の中で自分の分身となるキャラクタ、すなわちアバターで表示されてもよい。配信者Xは、ユーザA,B,Cから提供されたアイテムを受け取る受け手である。また、被写体は、配信者Xに代えて公共施設であってもよい。公共施設としては、一例として、神社寺院等の祭祀施設、銅像石像(人物像、動物像、仏像等)等の記念碑等である。また、被写体が配信者Xの場合に用いるスタジオ10としては、一例として、撮影スタジオやカラオケルームであってもよいし、配信者Xの自宅部屋等であってもよい。また、陸上競技、サッカー、野球などのスタジアムなどの屋外であってもよいし、体育館やコンサートホールなどの屋内施設であってもよい。また、スタジオ10は、コンサート会場やイベント会場であってもよく、この場合、配信者Xは、一例として、ステージで実演している芸能人である。また、配信者Xの居るスタジオ10は、ユーザA,B,Cが実際に居る場所と離れた場所である。また、一例として、配信者Xの代わりとなる被写体が祭祀施設や記念碑等である場合において、これらの施設の前にさい銭箱や募金箱の目標部を設定したときには、ユーザA,B,Cは、自分の居る場所と遠く離れた祭祀施設や記念碑等に対して仮想的にさい銭を投げることができる。
スタジオ10には、マイク11と、RGBカメラ12と、デプスカメラ13と、スタジオモニタ14と、スピーカ15と、ハプティクスデバイス16と、制御装置17と、スマートデバイス等の配信者端末18とを備えている。また、配信者Xは、机6の上の照明9によって照射されている。
マイク11は、配信者Xの会話や環境音等を集音する。マイク11は、配信者Xのカラオケデータに合わせた歌声等を集音する。RGBカメラ12は、スタジオ10に配置され、スタジオ10における実空間を撮像する第1カメラである。RGBカメラ12は、一例として、動画撮影機能を有するデジタルカメラであり、また、一例として、ビデオカメラである。RGBカメラ12は、CCDやCMOS等の撮像素子を備え、可視光等の光を検出し、3色(赤、緑、青)のカラー信号で構成された表示データを出力する。一例として、RGBカメラ12は、スタジオ10や配信者Xを撮像する。RGBカメラ12で撮像された実空間像としての映像は、サーバ40を通じて、配信者端末18やスタジオモニタ14やユーザ端末50,70,80等の表示面に観賞用データとして表示される。また、一例として、RGBカメラ12で撮像された映像は、配信者Xの確認用表示データとして、配信者端末18やスタジオモニタ14に表示される。RGBカメラ12は、スタジオ10内に1台であってもよいし、複数台備えていてもよい。複数台のRGBカメラ12を使用する場合、撮像方向が一台一台異なるように複数の箇所に設置する。これにより、スタジオ10をくまなく、例えば机の下部や椅子の下部等も撮像できる。この場合、複数のRGBカメラ12は、1つのRGBカメラ12の撮像範囲の外周部とこの撮像範囲に対して隣接する撮像範囲の外周部とが重なるように、すなわち撮像範囲の間に隙間ができないように設置される。
一例として、デプスカメラ13は、ライブ配信システム1において、三次元位置情報を取得するための第2カメラである。一例として、デプスカメラ13は、赤外線カメラである。赤外線カメラは、赤外線を投光する投光部と、赤外線を検出する赤外線検出部とを備えている。デプスカメラ13は、投光部から投光した赤外線パルスが反射して戻ってくるまでの時間から実空間における深度情報等の三次元位置情報を取得する。デプスカメラ13は、自身から被写体までの距離である深度情報等を取得するものであり、一例として、配信者Xとの距離である深度情報等を取得する取得部である。また、配信者Xの位置やユーザがアイテムを投げる際の目標部の位置は、一例として、デプスカメラ13の検出部を原点とする三次元座標系等で特定することができる。なお、RGBカメラ12とデプスカメラ13は、一体の装置であってもよいし、別体の装置であってもよい。デプスカメラ13は、スタジオ10内に1台であってもよいし、複数台備えていてもよい。複数台のデプスカメラ13を使用する場合、撮像方向が一台一台異なる方向となるように複数の箇所に設置することによって、スタジオ10の三次元座標をくまなく検出することができる。一例として、机6の下部や椅子の下部等の三次元位置情報等も取得することができる。この場合、複数のデプスカメラ13は、1つのデプスカメラ13の検出範囲の外周部とこの検出範囲に対して隣接する検出範囲の外周部とが重なるように、すなわち検出範囲の間に隙間ができないように設置される。
スタジオモニタ14は、実空間であるスタジオ10に配置され、映像が表示される表示装置であり、一例として、主に配信者Xが視認可能なようにスタジオ10の壁や机等に設置される表示装置である。スタジオモニタ14は、一例としてスマートデバイスに対して大型である。また、スタジオモニタ14は、一例としてフラットディスプレイであり、CRT、LCD、有機EL表示装置である。そして、スタジオモニタ14は、一例として、配信前の準備のときに、RGBカメラ12が撮像したライブ映像(後述のアイテムオブジェクト3や目標オブジェクト5が含まれていない。)が表示される。また、スタジオモニタ14は、一例として、サーバ40を通じて配信されるライブ配信映像(後述のアイテムオブジェクト3や目標オブジェクト5が含まれている。)が表示される。スピーカ15は、マイク11で集音した配信者Xの音声データや制御装置17で再生された楽曲データ等を放音する。また、スピーカ15は、ユーザ端末50,70,80から送信されたユーザA,B,Cの声を含む音声データを放音する。これにより、配信者Xは、ユーザA,B,Cの反応を聞くことができる。
ハプティクスデバイス16は、配信者Xに装着され配信者Xに対して機械的刺激により皮膚感覚フィードバックを付与する機器である。ハプティクスデバイス16は、一例として、偏心モータアクチュエータ、リニア共振アクチュエータ、ピエゾアクチュエータ等を駆動して物理的な振動を生成して、振動を通じて、装着者である配信者Xに対して力覚、触覚、及び、押覚の中の少なくとも1つの感覚をフィードバックする。一例として、ハプティクスデバイス16は、皮膚に対する電気的な刺激のパターンを通じて、配信者Xに対して力覚、触覚、及び、押覚の中の少なくとも1つの感覚をフィードバックする。
さらに、ハプティクスデバイス16に加えて嗅覚をフィードバックする嗅覚フィードバックデバイスを備えていてもよい。一例として、嗅覚をフィードバックするデバイスは、ヘッドマウントディスプレイやスマートグラス等のヘッドセットに香水や香りの元となるシート等を収容した1つ又は複数個のカートリッジを装着し、噴霧口から鼻の下に向けて微量の香りが噴出されるように構成することができる。
制御装置17は、マイク11、RGBカメラ12、デプスカメラ13、スタジオモニタ14、スピーカ15、ハプティクスデバイス16等の各種機器と接続されデータが入出力されるとともに、サーバ40と通信を行う通信装置である。また、制御装置17は、CD、DVD、BD、半導体メモリ等の記録媒体の再生装置であり、これら記録媒体に記録された楽曲データや映像データ等を再生する。さらに、制御装置17は、ネットワークを通じて配信されている楽曲データや映像データ等を再生する。一例として、制御装置17は、カラオケデータ(伴奏データ)を再生する。制御装置17は、マイク11からの音声データ、RGBカメラ12からの映像データ等をミキシングしてライブ映像を生成するとともに、デプスカメラ13からの三次元位置情報をサーバ40に送信する。一例として、制御装置17は、配信用のライブ映像を所定の動画圧縮方式でエンコードし、サーバ40に送信する。また、制御装置17は、サーバ40から送信されたライブ配信映像4を受信しデコードする。
配信者端末18は、一例としてスマートデバイスであり、片手で把持できる程度の大きさを有し、タッチパネルを備えた表示部、マイク、スピーカ、撮像部、通信部、不揮発性メモリ等の記憶部等を備えている。ここでは、一例として、スタジオモニタ14と同じ映像が表示される。一例として、配信者端末18は、サーバ40から配信されたライブ配信映像4が表示される。
このような構成を備えた配信者端末18は、上述した制御装置17、マイク11、RGBカメラ12、スタジオモニタ14及びスピーカ15の中から選ばれる少なくとも1つの機能を代用させることができる。更に、配信者端末18は、デプスカメラも備えているときには、デプスカメラ13の機能を代用させることができる。このように、スタジオ10が備える機器の機能を配信者端末18で代用することで、専用のスタジオ10で配信者Xが撮像しなくても、カラオケスタジオや自宅や屋外等で手軽に配信用のライブ映像を撮像することができる。配信者端末18をRGBカメラ12として用いる場合は、配信者端末18を三脚等に固定することによって手振れを防ぎながらライブ映像を撮像することができる。このような場合、配信者端末18は、制御装置17を介することなくサーバ40とデータのやり取りをすることができる。
サーバ40は、ライブ配信システム1を管理する装置であり、ライブ配信を管理するとともに、ライブ配信を行う配信者Xやライブ配信映像4を視聴するユーザを管理する。また、ユーザが配信者Xに対して提供するアイテムを管理する。一例として、サーバ40は、ライブ配信映像4を、ユーザ端末50,70,80に対して配信する。一例として、サーバ40は、RGBカメラ12が撮像したライブ映像に対して、ユーザが配信者Xに対して提供するアイテムに対応するアイテムオブジェクト3を付加してライブ配信映像4を生成し、ユーザ端末50,70,80に配信する。また、一例として、ライブ映像に対して、ユーザが配信者Xに対してアイテムを提供する際の目標部を設定する。図1での目標部は、配信者Xの一部である掌で構成された器が目標オブジェクト5となるが、配信者X自身が目標オブジェクト5となってもよい。また、配信者Xの頭部は目標オブジェクト5として設定されていてもよい。また、目標オブジェクト5は、配信者Xが手に持ったバケツ、コップ、ごみ箱、装飾箱等であってもよいし、配信者Xの前の机6の上に置かれたさい銭箱等であってもよい。目標部がスタジオ10に存在する実物体である場合には、目標部は、その実物体の画像が目標オブジェクト5である。更に、目標部がスタジオ10に実在しない仮想体である場合、目標部は、仮想体を示す画像が目標オブジェクト5である。目標部の目標位置、すなわち目標オブジェクト5が表示される表示位置は、デプスカメラ13で検出された深度情報に基づく三次元位置情報で特定される。目標位置は、一例として、デプスカメラ13の検出部を原点とする三次元座標系等で特定される。一例として、目標部は、アイテムを入れる入れ物であることから、目標位置もこれに合わせて、アイテムを収容するための体積又は容積を有した立体的な空間部つぃて定義される。一例として、サーバ40は、RGBカメラ12が撮像したライブ映像に対して、目標オブジェクト5を付加してライブ配信映像4を生成し、ユーザ端末50,70,80に配信する。また、一例として、サーバ40は、アイテムオブジェクト3が目標オブジェクト5に投げ込まれるようなライブ配信映像4を生成する。
ライブ配信システム1に参加するユーザA,B,Cは、一例として、配信者Xに対して興味を持った者、配信者Xに対するファン等の支援者であり、スタジオ10とは離れた場所に居り、ユーザ端末50,70,80を用いてライブ配信映像4を視聴することができる。ユーザA,B,Cは、配信者Xに対してアイテムを投げる者(アイテム提供者、プレゼントする者)である。ユーザAのユーザ端末50は、一例として、デスクトップ型又はラップトップ型のパーソナルコンピュータ50aと、パーソナルコンピュータ50aと接続されたウェアラブル端末やスマートデバイス端末としてのスマートウォッチ60とを備えている。パーソナルコンピュータ50aがデスクトップ型である場合、ユーザ端末50は、デスクトップ型のモニタを備えたパーソナルコンピュータ50aと、パーソナルコンピュータ50aと接続されたスマートウォッチ60とを備えている。また、パーソナルコンピュータ50aがラップトップ型である場合、ユーザ端末50は、表示部を備えたラップトップ型のパーソナルコンピュータ50aと、ラップトップ型のパーソナルコンピュータ50aと接続されたスマートウォッチ60とを備えている。一例として、ユーザ端末50のユーザAは、スマートウォッチ60を利き腕等に装着しており、スマートウォッチ60は、パーソナルコンピュータ50aと有線又は無線で接続されている。スマートウォッチ60は、加速度センサやジャイロセンサ等の検出部を備えており、一例としてユーザAが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度(姿勢)や角速度を検出する。
なお、パーソナルコンピュータ50aは、ヘッドマウントディスプレイ(HMD)が有線又は無線で接続されていてもよい。HMDは、パーソナルコンピュータ50aとしての構成を備えていてもよい。HMDとしては、光学シースルー型ヘッドマウントディスプレイ、ビデオシースルー型ヘッドマウントディスプレイ、非透過型ヘッドマウントディスプレイ等が挙げられる。光学シースルー型ヘッドマウントディスプレイの場合はAR(拡張現実)による表示を行うことができる。ビデオシースルー型ヘッドマウントディスプレイや非透過型ヘッドマウントディスプレイの場合はVR(仮想現実)による表示を行うことができる。パーソナルコンピュータ50aは、コンピュータと接続されたスマートグラス等のような眼鏡型情報処理端末であってもよい。
また、ユーザBのユーザ端末70は、一例として、スマートフォンやタブレット等のスマートデバイス端末であり、携帯可能な小型の情報処理端末である。スマートフォンは、一例として、表示面にタッチパネルを備えている。また、ユーザ端末70は、加速度センサやジャイロセンサ等の検出部を備えている。ユーザ端末70は、一例として、ユーザBが物を投げる動作をしたとき、ユーザ動作情報として、その加速度や角度や角速度を検出し、サーバ40に送信する。また、ユーザBが物を投げる動作を行う代わりに、ライブ配信映像4が表示されている表示面を指やスタイラスペンを用いて表示されている目標オブジェクト5の方向へなぞるスワイプ操作が行われたとき、ユーザ端末70は、その座標データ等の操作データをサーバ40に送信する。ユーザ端末70は、携帯可能な小型の情報処理端末であることから、ユーザ端末70のユーザBは、どこでも配信者Xのライブ配信映像4を視聴することができる。
ユーザCのユーザ端末80は、スマートデバイス端末70aとスマートウォッチ60とを備えている。この場合、スマートデバイス端末70aがユーザAのラップトップ型のパーソナルコンピュータ50aのような機能を担う。これにより、ユーザCがスマートウォッチ60を装着した利き腕で物を投げる動作をしているときにも、もう一方の手に持ったスマートデバイス端末70aの表示部に表示された映像を視認することができる。また、スマートデバイス端末70aを机等に置いたり三脚に固定した状態で、物を投げる動作を行うことができる。これにより、スマートデバイス端末70aの表示部に表示された映像を見ながらスマートウォッチ60を装着した利き腕で投げ動作等をすることができる。ユーザ端末80は、スマートウォッチ60を使用することなく、表示面を目標オブジェクト5の方向へなぞるスワイプ操作によって、ユーザ動作情報をサーバ40に送信することもできる。
ユーザ端末50,70,80では、ライブ配信映像4を視聴しながら、そのとき実際に映し出されている配信者Xに対して、アイテムをプレゼントすることができる。一例として、ユーザ端末50,70,80の表示面には、ライブ配信映像4とともに、配信者Xに対してプレゼントすることが可能なアイテムの一覧オブジェクトが表示され、ユーザA,B,Cは、一覧オブジェクトの中のアイテムから1つのアイテムが選択することができる。そして、ユーザ端末50,70,80の表示面には、選択されたアイテムオブジェクト3が表示される。アイテムとしては、図1では宝石であるが、花束、ヘッドバンド等の装飾具、コイン等であってもよいし、ユーザ端末50,70,80で視聴する際、配信者Xの動作を演出するエフェクト、配信者Xが居る場所の背景画像等であってもよい。
この後、ユーザ端末50のユーザAは、スマートウォッチ60を装着した状態で腕を振って目標オブジェクト5をめがけて物を投げる動作をする。ユーザ端末70のユーザBは、ユーザ端末70を持った状態で腕を振って目標オブジェクト5をめがけて物を投げる動作をする。ユーザ端末80のユーザCは、スマートウォッチ60を装着した状態で腕を振って目標オブジェクト5をめがけて物を投げる動作をする。すると、ユーザ端末50,70,80は、検出結果であるユーザ動作情報としての加速度データ、角度(姿勢)データ、角速度データ等の操作データをサーバ40に送信する。また、ユーザ端末70,80では、ライブ配信映像4が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト5をめがけてなぞるスワイプ操作を行い、ユーザ動作情報として、その座標データ等の操作データをサーバ40に送信する。
サーバ40は、ユーザ端末50,70,80から送信されたアイテムのアイテムオブジェクト3をライブ映像に対して付加し、その状態をユーザ端末50,70,80ならびにスタジオモニタ14及び配信者端末18で視認できるようにする。アイテムオブジェクト3の表示位置(アイテム位置)は、ユーザ端末50,70,80から送信されたユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データに基づいてサーバ40で算出される。なお、ユーザ端末50,70,80から送信されたユーザ動作情報としての加速度データ、角度データ、角速度データ等は、少なくとも加速度データを備えていればよい。加速度データにより、投げられたアイテムの飛距離等を算出することができるからである。また、アイテムオブジェクト3の表示位置(アイテム位置)は、ライブ配信映像4が表示されている表示面を目標オブジェクト5の方向へなぞるスワイプ操作が行われたとき、その座標データ等に基づいてサーバ40で算出される。
一例として、ユーザA,B,Cがアイテムを弱く投げるような動作や操作をした場合、アイテムオブジェクト3が表示されるアイテム位置は、目標部や配信者Xの前方で遠く離れた位置となる。ユーザA,B,Cがアイテムをこれよりも強く投げるような動作や操作をした場合、アイテムオブジェクト3が表示されるアイテム位置は、目標部や配信者Xの前方で比較的近い位置となる。更に、アイテムがユーザA,B,Cによって強く投げられ過ぎた場合、アイテムオブジェクト3が表示されるアイテム位置は、アイテムが目標部や配信者Xの後方にある壁で跳ね返った後、目標部や配信者Xに対して前方や後方の位置となる。更に、ユーザA,B,Cが配信者Xや目標部に対して右側又は左側にアイテムを投げる動作や操作をした場合、アイテムオブジェクト3が表示されるアイテム位置は、ユーザA,B,Cがアイテムを投げた方向に対応して、目標部や配信者Xに対して右側又は左側の位置となる。なお、ユーザA,B,Cが行う投げる動作を検出する場合、予め正面方向を設定しておき、設定した正面方向に対して、右側又は左側を検出するようにすることが好ましい。特にユーザBがスマートフォンとしてのユーザ端末70を用いる場合は、端末が固定されていないので、予め正面方向を特定する設定処理を行うことが好ましい。配信者Xは、これらの様子が、配信者端末18やスタジオモニタ14に表示されることで、実際にはスタジオ10にはいないユーザA,B,Cから自分の方向にアイテムを投げられたことを視認することができる。また、配信者Xや目標部に対してアイテムが投げられた様子は、ユーザ端末50,70,80にもライブ配信映像4の中で表示される。これにより、ユーザA,B,Cは、配信者Xや目標部の方向に正しくアイテムが投げられたかを確認することができる。
なお、同じライブ配信映像4を視聴している複数のユーザA,B,Cが配信者Xに対してアイテムを投げたときには、他人の投げたアイテムも表示される。これにより、ユーザ間で配信者Xに対して投げるアイテムの数を競わせることができる。
サーバ40は、目標オブジェクト5の目標位置に対してアイテムオブジェクト3の位置が重なると、アイテムオブジェクト3が目標オブジェクト5に入った状態をライブ配信映像4の中に表示する。また、一例として、サーバ40は、目標部が配信者Xが実際に持つ実物体のバケツ、コップ、ごみ箱、装飾箱等である場合、配信者Xが手や腕を動かすと、その動きに合わせて目標位置も変化させる。実物体のバケツ、コップ、ごみ箱、装飾箱等を机6に置いて、手や腕だけを動かした場合は、目標部は、机6の上のバケツ、コップ、ごみ箱、装飾箱等となる。更に、一例として、目標部が仮想体の場合において、サーバ40は、仮想的なオブジェクトが表示されるべき位置を目標位置に設定し、ライブ配信映像4の中の当該目標位置に目標オブジェクト5を表示する。そして、配信者Xが仮想物を手に持ったように設定されている場合、配信者Xの手や腕の動きに合わせて、アイテムオブジェクト3を移動させる。サーバ40は、目標部である入れ物を配信者Xが持っている場合等には、ハプティクスデバイス16を駆動し、ハプティクスデバイス16を装着している配信者Xがアイテムの重さを感じられるようにする。すなわち、サーバ40は、入れ物にアイテムが1個入った場合よりアイテムが2個入った場合の方が配信者Xが重く感じられるようにハプティクスデバイス16を駆動する。また、サーバ40は、入れ物の中でアイテムが転がるときは、アイテムが転がるときの振動が配信者Xに伝わるようにハプティクスデバイス16を駆動する。
スタジオ10のデプスカメラ13は、一例として、常時、スタジオ10における各所の深度情報等の三次元位置情報を算出している。デプスカメラ13は、一例として、配信者Xの人物領域を抽出し、人物領域と非人物領域とに区分する。デプスカメラ13は、一例として、配信者Xの各々の25カ所の骨格位置を骨格データとして取得し、更に、各骨格位置の深度情報を算出している。骨格位置としては、一例として左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等の骨格位置が含まれている。なお、取得する骨格位置の数は、25カ所に限定されるものではない。また、デプスカメラ13は、スタジオ10における壁や机や床面等との距離を算出している。更に、デプスカメラ13は、目標部(実物体のコップやバケツや配信者Xが掌で構成した器等)との距離を算出している。ここで、深度情報は、一例としてデプスカメラ13の前方の対物レンズ又はセンサ面から測定対象位置(スタジオ10の壁の各所や床の各所)との距離である。また、深度情報は、一例としてデプスカメラ13の前方の対物レンズ又はセンサ面から被写体となる配信者Xの骨格位置までの距離である。
さらに一例として、深度情報は、デプスカメラ13の前方の対物レンズ又はセンサ面から目標部となるコップ等の実物体までの距離である。さらに一例として、深度情報は、デプスカメラ13の前方の対物レンズ又はセンサ面から目標部となる配信者Xの掌までの距離である。さらに、深度情報は、目標部に存在する複数の点までの距離である。このように、デプスカメラ13は、細かく目標部の各点までの距離を測定することで、目標部となるコップや掌等の実物体の形状や向きやアイテムの入る開口を特定できるようにする。そして、目標部の点の数は、多いほど、目標部の形状や向きやアイテムの入る開口等をより正確に特定することができる。
アイテムが表示されているアイテム位置が目標オブジェクト5が表示されている目標位置に所定の比率で重なったとき、サーバ40は、目標部にアイテムが入ったと判断する。ここでの所定の比率は、大きくなるほどアイテムが目標部に入り易くなり、小さいほどアイテムが目標部に入りにくくなる。サーバ40は、目標部の入れ物の素性(大きさ、形状、表面粗さ等)及びアイテムの素性(大きさ、形状、表面粗さ等)に応じて、アイテムが入れ物に入ったときの状態をライブ配信映像4の中に表示する。なお、目標部が実空間に存在する実物体である場合、目標部の素性は、実空間に存在する目標部となる入れ物の素性に従う。このときの目標部の素性は、一例として、事前にセンサで測定した測定値である。目標部からアイテムが外れた場合は、アイテムが目標部が置かれた机6や壁で跳ね、机6や床を転がる。サーバ40は、アイテムと接触する場所(机6や壁や床)の素性に合わせてアイテムオブジェクト3が転がったり跳ねる状態をライブ配信映像4の中に表示する。更に、アイテムが入れ物から溢れたりこぼれたりした場合、アイテムと接触する場所(机6や壁や床)の素性に合わせてアイテムオブジェクト3が転がったり跳ねる状態をライブ配信映像4の中に表示する。一例として、硬く平坦なフローリング床にボールが転がったときには、ボールは遠くまで転がり、じゅうたん等の表面が粗い床にボールが転がったときには、ボールはあまり転がらないようにライブ配信映像4に表示する。
アイテムが入れ物に入らなかった場合やアイテムが入れ物から溢れたりこぼれたりした場合は、例えばスタジオ10において机6の前に座っている配信者Xを撮像しているRGBカメラ12の画角(撮像範囲)からアイテムが外れることが多い。また、このようなアイテムを配信者Xが拾いに行こうとすると、このような場合にも、机6の前に座っている配信者Xを撮像しているRGBカメラ12の画角(撮像範囲)から配信者Xや入れ物が外れることがある。デプスカメラ13が複数台を使う等して、スタジオ10の全体の三次元位置情報を有している場合、サーバ40は、ユーザ端末50,70,80で検出された検出結果としての加速度データ、角度データ、角速度データ等やスワイプ操作による座標データ等の操作データに基づいて決まる三次元位置情報でアイテム位置を保持している。したがって、一例として、配信者XがRGBカメラ12をアイテムの転がった先を撮像するように移動させた場合には、転がったアイテムオブジェクト3がライブ配信映像4の中に付加されることになる。また、RGBカメラ12を移動させなかった場合、一度配信者Xや入れ物がRGBカメラ12の画角から外れても再度画角に入ったときには、その時点から目標オブジェクト5やアイテムオブジェクト3がライブ配信映像4の中に表示されることになる。また、アイテムが入れ物から溢れたりこぼれたりした場合は、その分、目標部である入れ物が軽くなる。サーバ40は、入れ物からアイテムが減った分、入れ物が軽くなるようにハプティクスデバイス16を駆動する。
なお、デプスカメラ13の検出範囲からアイテムや入れ物が外れることもある。この場合、サーバ40は、検出範囲を外れる直前の目標部の目標位置やアイテム位置を保持し、デプスカメラ13の検出範囲に復帰したとき、復帰位置に目標位置やアイテム位置を更新する。また、サーバ40は、デプスカメラ13の検出範囲に復帰したときの入れ物やアイテムの状態に合わせてハプティクスデバイス16を駆動する。
〔デプスカメラ13〕
デプスカメラ13は、一例として、パルス変調された赤外線を投光するプロジェクタ等の投光部と赤外線カメラ等の赤外線検出部とを備えており、投光した赤外線パルスが反射して戻ってくるまでの時間から深度情報を算出する(Time of Flight(TOF)方式)。デプスカメラ13は、一例として、常時、スタジオ10における各所の深度情報等の三次元位置情報を算出している。
デプスカメラ13は、一例として、パルス変調された赤外線を投光するプロジェクタ等の投光部と赤外線カメラ等の赤外線検出部とを備えており、投光した赤外線パルスが反射して戻ってくるまでの時間から深度情報を算出する(Time of Flight(TOF)方式)。デプスカメラ13は、一例として、常時、スタジオ10における各所の深度情報等の三次元位置情報を算出している。
また、デプスカメラ13は、配信者Xの人物領域を抽出し、人物領域と非人物領域とに区分する。一例として、同じ場所(一例としてスタジオ10)において、人物が映る前後における差分値に基づいて人物領域を算出する。また、一例として、検出する赤外線量が閾値を超える領域を人物領域と判定する。
更に、デプスカメラ13は、骨格位置を検出する。デプスカメラ13は、人物領域における各所の深度情報を取得し、深度と形状の特徴量に基づいて、人物領域に写る人物の実空間上の部位(左右の手、頭部、首、左右の肩、左右の肘、左右の膝、左右の足等)を算出し、各部位における中心位置を骨格位置として算出する。デプスカメラ13は、記憶部に記憶された特徴量辞書を用いて、人物領域から決定される特徴量を、当該特徴量辞書に登録されている各部位の特徴量と照合することにより、人物領域における各部位を算出する。また、デプスカメラ13は、人物の凹凸(掌の形状、衣服の皺等の凹凸、髪型の凹凸等)を検出する。
なお、デプスカメラ13が赤外線検出部での検出結果を他の装置(制御装置17、サーバ40、ユーザ端末50,70,80、スタジオ10に設置された制御装置17等)に出力し、他の装置が深度情報を算出、人物領域を抽出、人物領域と非人物領域とに区分、人物領域の検出、骨格位置の検出、人物領域における各部位を特定等の処理を行うようにしてもよい。
また、以上のようなモーションキャプチャ処理は、配信者Xに対してマーカを付けることなく行うものであるが、配信者Xにマーカを付けて行うようにしてもよい。
更に、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい(Light Coding方式)。
更に、深度情報を算出するにあたっては、投光した赤外線パターンを読み取り、パターンのゆがみから深度情報を得る方式であってもよい(Light Coding方式)。
更にまた、深度情報は、二眼カメラ、複数台カメラによる視差情報から算出するようにしてもよい。更に、深度情報は、RGBカメラ12で取得した映像を画像認識し、写真測量技術等を用いて画像解析することで算出することもできる。この場合、RGBカメラ12が検出部として機能することからデプスカメラ13は不要となる。
更に、深度情報は、以上のような方式の併用によって算出するようにしてもよい。
〔制御装置17〕
図2に示すように、スタジオ10の各機器を制御する制御装置17は、スタジオ10の各部とのインタフェース(以下、単に「IF」という。)を備えており、RGBカメラIF21と、デプスカメラIF22と、ハプティクスデバイスIF23と、オーディオIF24と、表示IF25と、ネットワークIF26と、通信IF27と、制御部28とを備えている。
〔制御装置17〕
図2に示すように、スタジオ10の各機器を制御する制御装置17は、スタジオ10の各部とのインタフェース(以下、単に「IF」という。)を備えており、RGBカメラIF21と、デプスカメラIF22と、ハプティクスデバイスIF23と、オーディオIF24と、表示IF25と、ネットワークIF26と、通信IF27と、制御部28とを備えている。
RGBカメラIF21は、RGBカメラ12を制御するとともに、RGBカメラ12が撮像した映像が入力される。デプスカメラIF22は、デプスカメラ13を制御し、デプスカメラ13からの三次元位置情報が入力される。ハプティクスデバイスIF23は、ハプティクスデバイス16を制御する。すなわち、ハプティクスデバイス16は、アクチュエータ16aを備えており、ハプティクスデバイスIF23は、アクチュエータ16aを駆動する。オーディオIF24は、スピーカ15のほか、イヤホン、ヘッドフォン等の音声出力機器と接続することもできる。また、オーディオIF24は、マイク11等の音声入力機器と接続されている。表示IF25は、一例として、スタジオモニタ14と接続されている。ネットワークIF26は、一例として、ネットワーク2を介して有線又は無線でサーバ40と通信する。通信IF27は、一例として、配信者端末18と有線又は無線で通信する。
制御部28は、一例として、CPU、ROM、RAMであり、RGBカメラ12が撮像した映像やマイク11で集音した音声データをミキシングしたライブ映像(アイテムオブジェクト3や目標オブジェクト5が含まれていない)や三次元位置情報等をネットワークIF26を通じてサーバ40に送信する。また、制御部28は、ライブ映像を表示IF25を通じてスタジオモニタ14に表示したり、通信IF27を通じて配信者端末18の表示部に表示する。更に、制御部28は、ネットワークIF26を通じてサーバ40から配信されたライブ配信映像4(アイテムオブジェクト3や目標オブジェクト5が含まれている)を受信し、表示IF25を通じてスタジオモニタ14に表示する。また、制御部28は、通信IF27を通じて配信者端末18の表示部に表示する。
〔配信者端末18〕
配信者端末18は、配信者Xが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。配信者端末18は、表示部31と、スピーカ32と、操作部33と、ネットワークIF34と、データ記憶部35と、メインメモリ36と、制御部37とを備えている。表示部31は、液晶表示パネルや有機ELパネルであり、操作部33は、表示部31に設けられたタッチパネルである。ネットワークIF34は、制御装置17とデータのやり取りを行う。データ記憶部35は、不揮発性メモリであり、ライブ配信映像4を視聴するためのプログラム等を記憶している。メインメモリ36は、一例として、RAMであり、配信中のライブ配信映像4や制御プログラム等を一時的に記憶する。制御部37は、一例として、CPUであり、配信者端末18の全体の動作を制御する。一例として、制御部37は、ライブ配信の準備のとき、ライブ映像の中で目標部を指定するデータや目標部のオブジェクトの一覧の中から1つ又は複数の選択データをサーバ40に対して送信する。また、ライブ配信映像4を再生しているとき、制御部37は、サーバ40から配信されたライブ配信映像4を表示部31に表示し、スピーカ32から音声や楽曲を放音する。
配信者端末18は、配信者Xが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。配信者端末18は、表示部31と、スピーカ32と、操作部33と、ネットワークIF34と、データ記憶部35と、メインメモリ36と、制御部37とを備えている。表示部31は、液晶表示パネルや有機ELパネルであり、操作部33は、表示部31に設けられたタッチパネルである。ネットワークIF34は、制御装置17とデータのやり取りを行う。データ記憶部35は、不揮発性メモリであり、ライブ配信映像4を視聴するためのプログラム等を記憶している。メインメモリ36は、一例として、RAMであり、配信中のライブ配信映像4や制御プログラム等を一時的に記憶する。制御部37は、一例として、CPUであり、配信者端末18の全体の動作を制御する。一例として、制御部37は、ライブ配信の準備のとき、ライブ映像の中で目標部を指定するデータや目標部のオブジェクトの一覧の中から1つ又は複数の選択データをサーバ40に対して送信する。また、ライブ配信映像4を再生しているとき、制御部37は、サーバ40から配信されたライブ配信映像4を表示部31に表示し、スピーカ32から音声や楽曲を放音する。
〔サーバ40〕
サーバ40は、ライブ配信システム1を管理する装置であり、ライブデータベース41と、素性データベース42と、データ記憶部43と、ネットワークIF44と、メインメモリ45と、制御部46とを備えている。
サーバ40は、ライブ配信システム1を管理する装置であり、ライブデータベース41と、素性データベース42と、データ記憶部43と、ネットワークIF44と、メインメモリ45と、制御部46とを備えている。
管理部としてのライブデータベース41は、ライブ毎、すなわち配信者毎に、本システムに登録したユーザのユーザIDに関連付けて、各ユーザのアイテムを管理する。具体的に、ライブデータベース41では、ライブ毎に、各ユーザIDに関連付けて、アイテムIDと、アイテム受取有無とを管理している。アイテムIDは、ユーザが購入したアイテムを一意に特定するIDであり、各ライブにおいて、ユーザが配信者に対してプレゼントしたアイテムを一意に特定するIDである。アイテム受取有無は、ユーザがプレゼントしたアイテムが目標部である入れ物に入ったかどうかを管理する。
ライブデータベース41は、その他に、ライブ配信に参加可能な全ユーザをユーザIDに関連付けて管理している。各ライブに参加するユーザは、登録された全ユーザから選択される。また、ライブデータベース41は、一例として、各アイテムの値段をアイテムIDと関連付けて管理している。
素性データベース42は、目標部が実物体である場合の目標部素性パラメータと、仮想体であるアイテム素性パラメータと、スタジオ10の実空間に存在する目標部以外の実物体(机6や壁等)の素性パラメータと、目標部が仮想体である場合の目標部の素性パラメータを管理している。その一例を、図3に示す。図3において、測定値は、センサにより測定した値であり、設定値は、配信者X、ユーザA,B,C又はサービス提供者が設定する値であり、計算値は、測定値又は設定値を用いて算出する値である。具体的には、素性データベース42は、形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータを管理している。
例えば、目標部が実物体である場合、スタジオ10には、複数の目標部となるバケツ、コップ、ごみ箱、装飾箱、さい銭箱等が用意されているとする。この場合、素性データベース42には、スタジオ10に予め用意された目標部となる実物体の素性パラメータが格納されている。また、目標部が仮想体である場合、素性データベース42には、配信者Xが選択可能な複数の仮想体のオブジェクトについての素性パラメータが格納されている。例えば、目標部の仮想体としてのバケツ、コップ、ごみ箱、装飾箱、さい銭箱を用意しているとする。この場合、素性データベース42には、仮想体としてのバケツ、コップ、ごみ箱、装飾箱、さい銭箱の素性パラメータが格納されている。仮想体の目標部は、実物体でないことから、娯楽性を高めるため、実物体とは異なるパラメータを設定することもできる。
目標部や目標部以外の物が実物体である場合、実際にその物が存在していることから、形状や傾きや位置等のパラメータは、その物をセンサで事前に測定した測定値であり、目標部やアイテムが移動する際の速さや加速度は、実際の測定値とされる。一例として、実物体が動けば、測定値に合わせて目標オブジェクト5も移動するように表示される。また、実物体が物理的に変形すれば、測定値に合わせて目標オブジェクト5も変形される。一例として、実物体として掌が目標部となる入れ物に設定された場合、掌で構成された器が目標オブジェクト5である。目標オブジェクト5は、掌の移動や掌の開き具合に応じて、掌で構成された器が移動され、また、掌で構成された器が変形される。一例として、実物体のゴミ箱が目標部に設定された場合、目標オブジェクト5は、ごみ箱の内側面の底面で囲まれた空間部が収納部に設定され、手に持ったゴミ箱や置かれたごみ箱が移動されたときには、それに合わせて移動されることになる。勿論、実際の測定値に基づいて計算した計算値によって実物体を移動させたり変形させてもよい。また、温かさや表面粗さに関するパラメータは、実物体と異なる値を設定することもできる。一例として、目標部の入れ物や机6の表面温度は、サーモグラフィの測定によれば15℃であっても、実際に異なる温度(一例として36℃(体温程度))と設定することもできる。これにより、一例として、アイテムがチョコレートであった場合、目標部の入れ物や机6が15℃のときよりも30℃のときの方が溶けやすくなり、チョコレートも溶けやすく又は溶けた状態に表現されることになり、娯楽性を高めることができる。また、アイテムの表面粗さや床や机6の表面粗さを実際の表面粗さよりも高くしたときには、アイテムは実際より転がりにくく、また、弾みにくくなり、実際の表面粗さよりも低くしたときには、実際より転がりやすく、また、高く弾むように表現される。なお、表面粗さは、一例として、デプスカメラ13によってその凹凸を測定することで設定することも可能である。実物体であるコップやゴミ箱等の入れ物は、当該入れ物の外側面と内側面とで表面粗さ等のパラメータを異ならせることもできる。なお、目標部は、一例として、1つのライブ配信映像4の中に1つだけではなく、複数個設定することもできる。
アイテムは、仮想体であり、アイテムオブジェクト3として表示される。アイテムは、スタジオ10の実空間に存在するものではないことから、形状や傾きや位置や速さ等のパラメータは、設定された初期値からの計算値とされる。また、嗅覚フィードバックデバイスを備えている場合、素性データベース42には、臭いに関する素性パラメータが設定される。これにより、一例として、アイテムが食べ物であった場合、配信者Xに対して、食べ物に応じた臭いをフィードバックすることができる。
データ記憶部43は、ハードディスクや不揮発性メモリであり、ライブ配信映像4を配信するためのプログラム、アイテムオブジェクト3や目標オブジェクト5を構成する画像データ等を記憶している。一例として、アイテムオブジェクト3や目標部が仮想体である場合の目標オブジェクト5を構成する画像データは、三次元の動画データや画像データであり、向きに合わせた表示が可能となっている。
ネットワークIF44は、制御装置17や配信者端末18、ユーザ端末50,70,80とデータのやり取りを行う。メインメモリ45は、一例として、RAMであり、配信中のライブ配信映像4や制御プログラム等を一時的に記憶する。
制御部46は、一例として、CPUであり、サーバ40の全体の動作を制御する。一例として、制御部46は、ライブ配信映像4を制御装置17や配信者端末18やユーザ端末50,70,80に対してネットワークIF44を通じて配信する配信部として機能する。
制御部46は、一例として、目標部の位置を設定する設定部として機能し、デプスカメラ13からの三次元位置情報に基づいてRGBカメラ12が撮像した映像上に設定し、当該位置に目標オブジェクト5を付加しライブ配信映像4を生成する。また、制御部46は、ユーザ端末50,70,80からのユーザ動作情報に従って映像上のアイテム位置を特定し、当該位置にアイテムオブジェクト3付加したライブ配信映像4を生成する表示制御部として機能する。更に、表示制御部としての制御部46は、目標オブジェクト5の目標位置にアイテムオブジェクト3のアイテム位置に重なったかを判断し、目標位置にアイテム位置が重なったとき、目標オブジェクト5にアイテムオブジェクト3が入ったようなライブ配信映像4を生成する。アイテムオブジェクト3及び目標オブジェクト5は、接触したとき、素性パラメータに合わせて変形したりする。制御部46は、目標部に対するアイテムの状態に合わせて配信者Xが装着しているハプティクスデバイス16を制御するハプティクス制御部としても機能する。
制御部46は、一例として、目標部をアイテムの入れ物として機能させる第1特別期間を管理する期間管理部として機能する。一例として、制御部46は、第1特別期間以外は目標部を入れ物としては機能させないようにパラメータの設定を変更する。このような場合、一例として、第1特別期間以外にアイテムが目標部に当たったとしても、アイテムオブジェクト3は目標オブジェクト5に入らず跳ね返るように表示される。
また、制御部46は、一例として、ユーザA,B,Cに対して特典を付与する第2特別期間を管理する期間管理部として機能する。一例として、制御部46は、第2特別期間になると、特典として、目標部の形状等が大きくなるようにパラメータを設定変更し、アイテムが目標部の入れ物に入り易くする。
また、一例として、目標部の大きさが変わるようにパラメータを設定変更し、目標部が小さくなったときにアイテムが入ると第2特別期間以外のときの基準得点より高得点(特典)が得られるようにする。なお、目標部が大きくなったときにアイテムが入ると第2特別期間以外のときの基準得点より低得点となるようにしてもよい。
一例として、第1特別期間と第2特別期間は、時間軸上同一期間であってもよいし、第1特別期間中に第2特別期間が存在していてもよい。また、制御部46は、第1特別期間又は第2特別期間の一方の期間だけを管理してもよいし、それ以外の特別期間を管理していてもよい。
目標部の中に複数個のアイテムを収容することができる。制御部46は、目標部に1つ目のアイテムが入ったときは目標部の入れ物の素性に合わせて、入れ物の中で弾んだり転がったりして入ったように表示する。制御部46は、入れ物に入ったアイテムに相当するアイテムオブジェクト3を表示し続け、更に、新たなアイテムが入ったときには、元からあるアイテムと衝突した状態をアイテムや目標部の入れ物の素性に合わせて表示する。一例として、新たなアイテムが元からのアイテムと衝突することによって、両アイテムが入れ物の中で動くように表示する。制御部46は、一例として、アイテムオブジェクト3が入れ物である目標オブジェクト5の中に入った状態を表示し続ける。そして、制御部46は、一例として第1特別期間や第2特別期間が終了したとき、ユーザ端末50,70,80からの操作信号に応じて、目標オブジェクト5に入っているアイテムオブジェクト3を消去し、アイテムの表示をリセットする。
なお、サーバ40は、スタジオ10に設置されているマイク11、RGBカメラ12、デプスカメラ13、スタジオモニタ14、スピーカ15、ハプティクスデバイス16等を制御装置17を介することなく直接制御するようにしてもよい。
また、サーバ40は、以上のような処理の一部をユーザ端末50,70,80と連携して行うようにしてもよい。例えば、RGBカメラ12により取得したライブ映像、デプスカメラ13により取得した三次元位置情報等をユーザ端末50,70,80へ送信する。ユーザ端末50,70,80は、ユーザA,B,Cの動作を検出し、ライブ映像、三次元位置情報、ユーザA,B,Cの動作の検出結果に基づいて、目標オブジェクト5等をユーザ端末50,70,80ならびにスタジオモニタ14及び配信者端末18に表示するようにしてもよい。
〔ユーザ端末50〕
図4に示すように、ユーザ端末50は、一例として、ユーザAが管理する装置であり、デスクトップ又はラップトップ型のパーソナルコンピュータ50aとスマートウォッチ60とを備えている。一例として、ラップトップ型のパーソナルコンピュータ50aは、オーディオIF51と、表示IF52と、ネットワークIF53と、通信IF54と、データ記憶部55と、操作IF56と、メインメモリ57と、制御部58とを備えている。オーディオIF51は、スピーカ、イヤホン、ヘッドフォン等の音声出力機器やマイク等の音声入力機器と接続されている。表示IF52は、一例として、液晶表示装置等の表示装置で構成された表示部59と接続されている。
図4に示すように、ユーザ端末50は、一例として、ユーザAが管理する装置であり、デスクトップ又はラップトップ型のパーソナルコンピュータ50aとスマートウォッチ60とを備えている。一例として、ラップトップ型のパーソナルコンピュータ50aは、オーディオIF51と、表示IF52と、ネットワークIF53と、通信IF54と、データ記憶部55と、操作IF56と、メインメモリ57と、制御部58とを備えている。オーディオIF51は、スピーカ、イヤホン、ヘッドフォン等の音声出力機器やマイク等の音声入力機器と接続されている。表示IF52は、一例として、液晶表示装置等の表示装置で構成された表示部59と接続されている。
ネットワークIF53は、一例として、ネットワーク2を介してサーバ40と通信する。通信IF54は、一例として、スマートウォッチ60と通信する。通信IF54とスマートウォッチ60とは、無線LANや有線のLANで接続され、スマートウォッチ60からユーザ動作情報としての加速度データ、角度データ、角速度データ等が入力される。データ記憶部55は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部55は、ライブ配信映像4の再生プログラムやスマートウォッチ60との通信制御プログラム等が格納されている。操作IF56は、キーボードやマウス等の操作装置と接続されている。また、表示IF52に接続された表示部59にタッチパネルが設けられているときには、当該タッチパネルと接続されている。メインメモリ57は、一例として、RAMであり、配信中のライブ配信映像4や制御プログラム等を一時的に記憶する。制御部58は、一例として、CPUであり、ユーザ端末50の全体の動作を制御する。一例として、制御部58は、アイテムのオブジェクトの一覧の中から1つ又は複数のアイテム選択データをサーバ40に対して送信する。更に、制御部58は、一例として、スマートウォッチ60で検出したユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データをサーバ40に対して送信する。
スマートウォッチ60は、一例としてユーザAの利き腕の手首等に装着される腕時計型の情報処理端末である。スマートウォッチ60は、センサ61と、通信IF62と、データ記憶部63と、メインメモリ64と、バイブレータ65と、制御部66とを備える。センサ61は、例えば加速度センサやジャイロセンサである。通信IF62は、一例として、センサ61が検出した加速度データやスマートウォッチ60の角度データや角速度データをパーソナルコンピュータ50aに送信する。センサ61は、一例として、ユーザAが物を投げる動作をしたとき、その腕の振りに関するユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データを検出する。データ記憶部63は、不揮発性メモリであり、一例として、ハードディスクやフラッシュメモリである。データ記憶部63は、センサ61を駆動するドライバやパーソナルコンピュータ50aとの通信制御プログラム等が格納されている。制御部66は、一例として、CPUであり、スマートウォッチ60の全体の動作を制御する。一例として、制御部66は、アイテムが目標部に入ったときや落下したときにバイブレータ65を駆動し、ユーザBに対して感覚で知らせる。
なお、ユーザ端末50と接続される端末は、スマートウォッチ60ではなく、加速度センサやジャイロセンサを備えスマートフォン等の小型で携帯可能な情報処理端末であってもよい。
〔ユーザ端末70〕
ユーザ端末70は、一例として、ユーザBが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。ユーザ端末70は、一例として、オーディオIF71と、表示IF72と、操作IF73と、センサ74と、ネットワークIF75と、データ記憶部76と、メインメモリ77と、制御部78と、表示部79と、バイブレータ79aとを備えている。オーディオIF71は、内蔵スピーカやイヤホン等の音声出力機器や内蔵マイク等の音声入力機器と接続されている。オーディオIF71は、一例として、ライブ配信映像4の音声データをスピーカやイヤホン等の音声出力機器から放音する。表示IF72は、内蔵の液晶パネル、有機ELパネル等の小型の表示部79と接続されている。表示部79には、タッチパネルが設けられ、操作IF73は、タッチパネルと接続されている。センサ74は、例えば加速度センサやジャイロセンサである。ネットワークIF75は、一例として、ネットワーク2を介してサーバ40と通信する。ネットワークIF75は、一例として、ユーザが物を投げる動作をしたとき、センサ74が検出したユーザ動作情報としての腕の振りに関する加速度データ、角度データ、角速度データの操作データをサーバ40に送信する。また、ライブ配信映像4が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト5の方向へなぞるスワイプ操作が行われたとき、ユーザ動作情報として、その座標データ等の操作データをサーバ40に送信する。データ記憶部76は、不揮発性メモリであり、一例として、フラッシュメモリである。データ記憶部76は、ライブ配信映像4の再生プログラム等が格納されている。メインメモリ77は、一例として、RAMであり、ライブ配信映像4や制御プログラム等を一時的に記憶する。
ユーザ端末70は、一例として、ユーザBが管理する装置であり、スマートフォンやタブレット等のスマートデバイス端末である。ユーザ端末70は、一例として、オーディオIF71と、表示IF72と、操作IF73と、センサ74と、ネットワークIF75と、データ記憶部76と、メインメモリ77と、制御部78と、表示部79と、バイブレータ79aとを備えている。オーディオIF71は、内蔵スピーカやイヤホン等の音声出力機器や内蔵マイク等の音声入力機器と接続されている。オーディオIF71は、一例として、ライブ配信映像4の音声データをスピーカやイヤホン等の音声出力機器から放音する。表示IF72は、内蔵の液晶パネル、有機ELパネル等の小型の表示部79と接続されている。表示部79には、タッチパネルが設けられ、操作IF73は、タッチパネルと接続されている。センサ74は、例えば加速度センサやジャイロセンサである。ネットワークIF75は、一例として、ネットワーク2を介してサーバ40と通信する。ネットワークIF75は、一例として、ユーザが物を投げる動作をしたとき、センサ74が検出したユーザ動作情報としての腕の振りに関する加速度データ、角度データ、角速度データの操作データをサーバ40に送信する。また、ライブ配信映像4が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト5の方向へなぞるスワイプ操作が行われたとき、ユーザ動作情報として、その座標データ等の操作データをサーバ40に送信する。データ記憶部76は、不揮発性メモリであり、一例として、フラッシュメモリである。データ記憶部76は、ライブ配信映像4の再生プログラム等が格納されている。メインメモリ77は、一例として、RAMであり、ライブ配信映像4や制御プログラム等を一時的に記憶する。
制御部78は、一例として、CPUであり、ユーザ端末70の全体の動作を制御する。一例として、制御部78は、ライブ配信映像4を再生しているとき、アイテムのオブジェクトの一覧の中から1つ又は複数の選択データをサーバ40に対して送信する。更に、制御部78は、一例として、ユーザがユーザ端末70を持って、物を投げる動作や操作をしたとき、ユーザ動作情報として、その腕の振りの加速度データ、角度データ、角速度データやスワイプ操作による座標データ等の操作データをサーバ40に対して送信する。
なお、ユーザCのスマートデバイス端末70aは、ユーザ端末70と同様な端末であるためその詳細は省略する。
〔ライブ配信準備処理〕
以下、ライブ配信システム1の作用について説明する。
〔ライブ配信準備処理〕
以下、ライブ配信システム1の作用について説明する。
〔目標部を実物体の入れ物に設定する場合〕
ライブ映像配信に先立って、先ず、制御装置17及び配信者端末18は、サーバ40に対してログインし、ライブ配信の準備として目標部の設定が可能な状態にする。配信者Xは、配信者端末18又は制御装置17を操作端末として用い、配信者端末18又は制御装置17からライブ配信のための撮像開始操作信号をサーバ40に送信する。スタジオ10では、デプスカメラ13がスタジオ10における各所の深度情報を取得するとともに、人物領域を算出し、次いで、人物領域において骨格位置を算出し、各骨格位置における深度情報を算出できるようにする。以後、デプスカメラ13では、モーションキャプチャ処理が実行される。
ライブ映像配信に先立って、先ず、制御装置17及び配信者端末18は、サーバ40に対してログインし、ライブ配信の準備として目標部の設定が可能な状態にする。配信者Xは、配信者端末18又は制御装置17を操作端末として用い、配信者端末18又は制御装置17からライブ配信のための撮像開始操作信号をサーバ40に送信する。スタジオ10では、デプスカメラ13がスタジオ10における各所の深度情報を取得するとともに、人物領域を算出し、次いで、人物領域において骨格位置を算出し、各骨格位置における深度情報を算出できるようにする。以後、デプスカメラ13では、モーションキャプチャ処理が実行される。
図5(a)および(b)に示すように、サーバ40は、撮像開始操作信号を受信すると、RGBカメラ12からのライブ映像やデプスカメラ13からの三次元位置情報を取得し、ライブ映像4aを生成する。そして、サーバ40は、ライブ映像4aをネットワーク2を通じて制御装置17や配信者端末18に対して配信する。スタジオモニタ14には、制御装置17を通じたライブ映像4aが表示される。また、配信者端末18には、制御装置17を介することなく、又は、制御装置17を通じて、ネットワーク2を介して受信したライブ映像4aが表示される。ライブ映像4aは、ユーザ端末50,70,80には配信されていない映像であり、かつ、配信者Xが目標部を設定するため等に視聴可能な映像であり、アイテムオブジェクト3や目標オブジェクト5を含んでいない映像である。
配信者Xは、次に、目標部を設定する操作を行うことになる。図5(a)及び(b)では、目標部として、スタジオ10において実物体としてのコップ5aを机6の上に置いた例を示している。コップ5aは、ユーザA,B,Cがアイテムを投げる際の目標となる入れ物であり、投げられたアイテムが入る入れ物である。ステップS1において、サーバ40は、ライブ映像の中に目標部指定開始ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。ここでは、配信者Xが配信者端末18の表示面において目標部指定開始ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末18は、サーバ40に対して目標部指定開始信号をサーバ40に対して送信する。
ステップS2において、サーバ40は、目標部指定開始信号を受信すると、目標部指定モードとなる。なお、目標部指定開始ボタンは、制御装置17に接続されたスタジオモニタ14を見ながら制御装置17に接続されたマウス等の操作部を用いてクリックし、制御装置17からサーバ40に目標部指定開始信号を送信するようにしてもよい。そして、サーバ40は、配信者端末18やスタジオモニタ14の表示面に目標部が指定可能になったことを報知する。
ステップS3において、サーバ40は、ライブ映像4aの中に目標部を確定する確定ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。
次いで、配信者端末18では、目標位置として、目標部の領域(指定領域)が指定される。指定領域は、配信者Xが配信者端末18の表示面に表示されたコップ5aのオブジェクトの輪郭を指やスタイラスペンでなぞることによって指定される。配信者Xによって指定領域が指定されると、配信者端末18はサーバ40に対して指定領域を示す指定領域データを送信し、ステップS4において、サーバ40は、指定領域データを受信する。なお、指定領域は、スタジオモニタ14を見ながら制御装置17に接続されたマウス等の操作部を用いて指定し、制御装置17からサーバ40に指定領域データを送信するようにしてもよい。
次いで、配信者端末18では、目標位置として、目標部の領域(指定領域)が指定される。指定領域は、配信者Xが配信者端末18の表示面に表示されたコップ5aのオブジェクトの輪郭を指やスタイラスペンでなぞることによって指定される。配信者Xによって指定領域が指定されると、配信者端末18はサーバ40に対して指定領域を示す指定領域データを送信し、ステップS4において、サーバ40は、指定領域データを受信する。なお、指定領域は、スタジオモニタ14を見ながら制御装置17に接続されたマウス等の操作部を用いて指定し、制御装置17からサーバ40に指定領域データを送信するようにしてもよい。
ステップS5において、サーバ40は、RGBカメラ12が撮像したライブ映像4aの中から指定領域データが示す指定領域を特定し、コップ5aを検出し認識する。また、サーバ40は、指定領域に対応した三次元位置情報を取得し、スタジオ10内における指定領域を目標オブジェクト5として認識する。サーバ40は、検出したコップ5aの領域を目標位置に設定する。一例として、コップ5aの内側の空間部(アイテムが入る部分)を目標位置に設定する。一例として、コップ5aの内面及び底面で囲まれた空間部を目標位置に設定する。更に、サーバ40は、スタジオ10のマイクで集音した音声を音声認識し、目標オブジェクト5を「コップ」と定義する。コップ5aの内側の空間部(アイテムが入る部分)の定義は、一例として、デプスカメラ13に向けて、コップ5aを左右および上下に360度回転させるなどして、コップ5aの外側面、内側面、及び、底面など全ての面をデプスカメラ13に検出させ、コップ5aの全ての面を三次元位置情報によって特定することによって可能である。
なお、サーバ40に目標部を認識させる方法としては、RGBカメラ12の画角(撮像範囲)及びデプスカメラ13の検出範囲に目標部とする実物体のコップ5aが入っていない状態(写っていない状態)とコップ5aが入った状態(写った状態)との差分から目標部を認識させるようにしてもよい。一例として、机6の上に実物体のコップ5aが置かれていない状態(写っていない状態)とコップ5aが置かれた状態(写った状態)との差分から目標部を認識させることができる。更に、一例として、配信者Xがコップ5aを手に持って、デプスカメラ13の方向へコップ5aを突き出し、配信者Xのどの部位よりデプスカメラ13にコップ5aを近づけて、動きベクトル等を検出してコップ5aを目標部として認識させるようにしてもよい。さらに、サーバ40は、配信者Xが音声で「コップ」と発生した音声を音声認識し、ネットワークに存在する画像辞書を参照して、ライブ映像4aの中からコップの画像を抽出し、これを目標部に設定するようにしてもよい。
ステップS6において、サーバ40は、配信者端末18において、指定領域の再指定の操作がされたかを判断する。具体的に、サーバ40は、再度、配信者端末18からの指定領域データを受信したかを判断する。そして、サーバ40は、指定領域の再指定の場合、ステップS4からの処理を繰り返す。
配信者Xが配信者端末18の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末18は、サーバ40に対して目標部を確定する確定信号をサーバ40に対して送信する。ステップS7において、サーバ40は、確定信号を受信すると、ステップS8において、ライブ映像4aでの目標部を確定する。すなわち、サーバ40は、コップ5aを目標オブジェクト5として設定する。すなわち、目標オブジェクト5(コップ5a)で表現された目標部は、素性データベース42の登録内容(形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ)に基づいて入れ物として定義される。
なお、以上の例は、ライブ映像4a中に1個の実物体のコップが存在する場合を説明しているが、ライブ映像4a中には、目標部となり得る複数個の実物体のコップが存在していてもよい。この場合、各コップは、素性データベース42にパラメータが設定されている。そして、目標部指定モードにおいて、ライブ映像4a中に存在する複数個のコップの中から1個のコップを選択するようにすればよい。コップの選択は、指やスタイラスペンで選択したコップをなぞったりタッチすることによって行うことができる。または、音声認識を利用する場合、「一番右のコップ」、「真ん中のコップ」等の表現を解釈し、該当するコップを特定するようにしてもよい。
サーバ40は、デプスカメラ13によって配信者Xの各骨格位置と、当該骨格位置の深度情報と、コップ5aの三次元位置を追跡している。また、サーバ40は、RGBカメラ12によりコップ5aを検出している。したがって、配信者Xが手にコップ5aを持って移動させたときは、これに合わせて、目標位置も移動する。一例として、配信者Xが机6に置いて手を移動させた場合、コップ5aが置かれた位置が目標位置となる。サーバ40は、ユーザA,B,Cから投げられるアイテムのアイテム位置が目標オブジェクト5が表示されている目標位置と重なったとき、アイテムオブジェクト3が目標オブジェクト5の入れ物に入ったようにユーザ端末50,70,80に表示できるようになる。
〔ジェスチャで目標部を配信者の一部に設定する場合〕
図6(a)及び(b)に示すように、ステップS11において、サーバ40は、ライブ映像4aの中に目標部指定開始ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。ステップS12において、サーバ40は、目標部指定開始信号を受信すると、目標部指定モードとなる。ステップS13において、サーバ40は、ライブ映像4aの中に目標部を確定する確定ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。
図6(a)及び(b)に示すように、ステップS11において、サーバ40は、ライブ映像4aの中に目標部指定開始ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。ステップS12において、サーバ40は、目標部指定開始信号を受信すると、目標部指定モードとなる。ステップS13において、サーバ40は、ライブ映像4aの中に目標部を確定する確定ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。
ジェスチャで目標部を配信者の一部に設定する場合、サーバ40は、プログラム内にジェスチャと目標部とを対応付けて管理している。一例として、サーバ40は、配信者Xが右手又は左手又は両手で、グー、チョキ、パーを順にしたときは目標部を両手の掌と定義しており、チョキ、グー、パーをしたときは目標部を配信者Xの頭部と定義している。サーバ40は、デプスカメラ13によって配信者Xの各骨格位置(一例として掌の骨格位置)と、当該骨格位置の深度情報(一例として掌の深度情報)とを追跡している。また、サーバ40は、RGBカメラ12により掌を検出している。ステップS14において、サーバ40は、これらの情報に基づいて配信者Xが行ったジェスチャを検出する。
ステップS15において、サーバ40は、検出したジェスチャに関連付いた位置を目標部として認識する。一例として、「グー、チョキ、パー」のジェスチャを検出したときは、目標部として、両手の掌を認識する。また、サーバ40は、制御装置17のマイク11や配信者端末18のマイクで集音された音声データ、例えば目標部を指定する「グー、チョキ、パー」の音声データによって、目標部として両手の掌を認識する。すなわち、両手の掌が目標オブジェクト5となる。サーバ40は、検出した両手の掌を目標位置に設定する。一例として、両手の掌で囲まれた空間部(アイテムが入る部分)を目標位置に設定する。
なお、サーバ40に目標部を設定するためのジェスチャを認識させる方法としては、一例として、机6の上にジェスチャを行う両手の掌が置かれていない状態(写っていない状態)とジェスチャを行う掌が置かれた状態(写った状態)との差分から目標部を認識させるようにしてもよい。更に、一例として、配信者Xがジェスチャを行う両手の掌をデプスカメラ13の方向へ突き出し、デプスカメラ13に両手の掌を近づけてジェスチャを行って、サーバ40がジェスチャを確実に認識するようにしてもよい。
ステップS16において、サーバ40は、配信者端末18において、目標部の再指定の操作がされたかを判断する。具体的に、サーバ40は、再度、ジェスチャが行われたかを判断する。そして、サーバ40は、目標部の再指定の場合、ステップS14からの処理を繰り返す。
配信者Xが配信者端末18の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末18は、サーバ40に対して目標部を確定する確定信号をサーバ40に対して送信する。ステップS17において、サーバ40は、確定信号を受信すると、ステップS18において、ライブ映像4aでの目標部を確定する。すなわち、サーバ40は、ジェスチャで関連付けられた部分を目標オブジェクト5として設定する。一例として、一例として、「グー、チョキ、パー」のジェスチャのときは、両手の掌を目標部に設定する。すなわち、目標オブジェクト5(両手の掌)で表現された目標部は、素性データベース42の登録内容(形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ)に基づいて入れ物として定義される。
これにより、サーバ40は、両手の掌を追跡しているので、配信者Xが両手の掌を動かしても、これに合わせて、目標部も移動する。サーバ40は、ユーザA,B,Cから投げられるアイテムのアイテム位置が両手の掌の目標位置と重なったとき、アイテムが目標オブジェクト5(両手の掌)に入ったようにユーザ端末50,70,80に表示できるようになる。一例として、配信者Xが両手の掌を移動させ、それに合わせて、目標位置が変わっても、両手の掌が移動した先の目標位置において、投げられたアイテム位置が重なったときには、アイテムが目標オブジェクト5(両手の掌)に入ったようにユーザ端末50,70,80に表示できるようになる。
〔目標部を仮想体とする場合〕
図7及び図8(a)〜(c)に示すように、ステップS21において、サーバ40は、ライブ映像4aの中に目標部指定開始ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。ステップS22において、サーバ40は、目標部指定開始信号を受信すると、目標部指定モードとなる。また、配信者Xは、配信者端末18などを通じて、目標物を実物体ではなく仮想体の中から選択する選択データをサーバ40に送信する。
図7及び図8(a)〜(c)に示すように、ステップS21において、サーバ40は、ライブ映像4aの中に目標部指定開始ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。ステップS22において、サーバ40は、目標部指定開始信号を受信すると、目標部指定モードとなる。また、配信者Xは、配信者端末18などを通じて、目標物を実物体ではなく仮想体の中から選択する選択データをサーバ40に送信する。
図8(a)に示すように、ステップS23において、サーバ40は、ライブ映像4aの中に目標部となる仮想体の目標オブジェクト5を選択するための一覧オブジェクト7を付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。一覧オブジェクト7では、スタジオ10には存在しない仮想体を目標オブジェクト5として表示するための選択候補群を構成する複数の選択候補オブジェクトが表示される。一覧オブジェクト7には、選択候補オブジェクトとして、バケツのオブジェクト、コップのオブジェクト、ごみ箱のオブジェクト、装飾箱のオブジェクト、さい銭箱のオブジェクトが表示されている。なお、これに外にも、左右上下に一覧オブジェクト7をスクロールして、これ以外の目標オブジェクト5を表示し、選択可能としてもよい。また、目標オブジェクト5としては、ユーザが自作したオブジェクトであって、ユーザがサーバ40に対してアップロードしたものであってもよい。ここでは、バケツ、コップ、ごみ箱、装飾箱、さい銭箱の何れもスタジオ10に存在しない仮想体であり、それぞれの仮想物について、素性データベース42において素性パラメータが登録されている。仮想物の目標オブジェクト5は、一例として三次元データである。
配信者端末18において、配信者Xが指やスタイラスペンで、所望するオブジェクトをタッチすると、ステップS24において、配信者端末18は、サーバ40に対してオブジェクトの選択データを送信する。サーバ40は、選択データを受信すると、選択データが示す選択目標部としてのオブジェクトを目標オブジェクト5として選択する。すると、ステップS25において、サーバ40は、ライブ映像4aの中に目標部を確定する確定ボタンを付加し、配信者端末18及びスタジオモニタ14の表示面に表示する。あわせて、図8(b)に示すように、サーバ40は、選択した仮想体の目標オブジェクト5を強調(例えば拡大)して表示する。なお、選択した仮想体の目標オブジェクト5のみを表示するようにしてもよい。
ステップS25の状態は、目標部に表示される目標オブジェクト5が設定されただけであって目標オブジェクト5が表示される目標位置は設定されていない。そこで、サーバ40は、目標位置を設定するための処理に移行する説明を表示する。これを受けて、配信者Xは、一例として、目標オブジェクト5を表示する目標位置を設定するジェスチャを行う。一例として、ここでのジェスチャは、デプスカメラ13の方向へ目標オブジェクト5を表示する両手の掌を突き出す動作である。サーバ40は、デプスカメラ13によって配信者Xの各骨格位置(一例として掌の骨格位置)と、当該骨格位置の深度情報(一例として掌の深度情報)とを追跡している。また、サーバ40は、RGBカメラ12により両手の掌を検出している。ステップS26において、サーバ40は、これらの情報に基づいて配信者Xが行ったジェスチャを検出する。そして、ステップS27において、サーバ40は、デプスカメラ13から見て最も手前にある掌に対して目標オブジェクト5を付加する(図8(c)参照)。ステップS28において、サーバ40は、目標オブジェクト5の位置を目標位置に設定する。一例として、目標位置は、配信者Xがバケツ5bを持つ掌の位置でもよいが、ここでは、配信者Xが手に持ったバケツ5bの位置である。一例として、サーバ40は、付加したバケツ5bの外形で囲まれた領域を目標位置に設定する。一例として、バケツ5bの内側の空間部(アイテムが入る部分)を目標位置に設定する。バケツ5bの内側の空間部(アイテムが入る部分)は、素性データベース42において予め定義しておけばよい。これにより、目標位置が配信者Xの掌に持たれたバケツ5bの開口部から中にアイテムが入ったときに、アイテムが目標部に入ったと判定することができ、また、バケツ5bの外側面にアイテムが当たっただけでは、アイテムが入ったことにはならなくなり、実際のアイテムとバケツの関係をより正確に再現できるようになる。
なお、目標位置は、ステップS26のような設定処理を行うまでもなく、机6の上の所定位置等に予め決めておくようにしてもよい。この場合、目標オブジェクト5が選択されると、選択された目標オブジェクト5があらかじめ決められた目標位置に付加されることになる。そして、掌とバケツ5bが離れても、目標部は、あくまでバケツ5bとなり、バケツ5bをめがけてアイテムが投げられることになる。
ステップS29において、サーバ40は、配信者端末18において、目標位置の再指定の操作がされたかを判断する。具体的に、サーバ40は、再度、ジェスチャが行われたかを判断する。そして、サーバ40は、目標部の再指定の場合、ステップS26からの処理を繰り返す。
配信者Xが配信者端末18の表示面において、目標部を確定する確定ボタンが表示された領域を指やスタイラスペンでタッチすると、配信者端末18は、サーバ40に対して目標部を確定する確定信号をサーバ40に対して送信する。ステップS30において、サーバ40は、確定信号を受信すると、ステップS31において、ライブ映像4aでの目標部を確定する。すなわち、目標オブジェクト5(バケツ5b)で表現された目標部は、素性データベース42の登録内容(形状、位置、傾き、速さ、加速度、質量、硬さ、表面粗さ、温かさ、臭い等のパラメータ)に基づいて入れ物として定義される。
したがって、配信者Xが手を動かして手に持ちながらバケツ5bを移動させると、これに合わせて、バケツ5bの目標位置も移動する。また、バケツ5bを机6に置き、バケツ5bから手を離してもよい。この場合、机6の上のバケツ5bの目標オブジェクト5の位置が目標位置となる。このように、バケツ5bの位置が変わっても、移動先の目標位置アイテムのアイテム位置とが重なったとき、アイテムが目標オブジェクト5の入れ物に入ったことになる。
〔ライブ配信処理〕
図9(a)に示すように、目標部の設定が完了すると、ステップS41において、サーバ40は、目標オブジェクト5がライブ映像4aに付加されたライブ配信映像4の配信を可能な状態にする。また、一例として、サーバ40は、配信者端末18から配信開始信号を受信すると、ユーザ端末50,70,80でライブ配信映像4を視聴できる状態にする。なお、以下の説明では、ユーザB(ユーザ端末70)がライブ配信映像4を視聴する場合を説明する。
図9(a)に示すように、目標部の設定が完了すると、ステップS41において、サーバ40は、目標オブジェクト5がライブ映像4aに付加されたライブ配信映像4の配信を可能な状態にする。また、一例として、サーバ40は、配信者端末18から配信開始信号を受信すると、ユーザ端末50,70,80でライブ配信映像4を視聴できる状態にする。なお、以下の説明では、ユーザB(ユーザ端末70)がライブ配信映像4を視聴する場合を説明する。
ユーザ端末70では、ライブ配信中の配信者Xの一覧が表示される。一例として、配信者の顔写真や似顔絵画像等で構成された配信者オブジェクトが一覧表示される。ユーザ端末70は、所望の配信者の配信者オブジェクトを選択すると、配信者選択データをサーバ40に対して送信する。ステップS42において、サーバ40は、ユーザ端末70からの配信者選択データを受信すると、配信者選択データの送信元となるユーザ端末70において、配信者選択データが示す配信者のライブ配信映像4の視聴を可能とする。ユーザ端末70では、選択した配信者Xのライブ配信映像4を視聴することができる。
ステップS43において、サーバ40は、特別期間に入ったかどうかを判断する。特別期間は、一例として、上述の第1特別期間又は第2特別期間である。第1特別期間は、目標オブジェクト5で示された目標部が入れ物として機能する期間である。第1特別期間は、配信者Xがライブ配信を開始してからライブ配信を終了するまでの期間としてもよい。また、第1特別期間は、ユーザBが視聴を開始してから第1期間(例えば1分)経過してから開始し、第2期間(例えば10分間)継続し、第2期間を経過したときに終了するようにしてもよい。また、第1特別期間は、配信者Xが第1特別期間を開始する合図となる開始ジェスチャ(例えば手を挙げる)をし、これをサーバ40が検出したとき開始し、もう一度手を挙げる終了ジェスチャをしたとき終了するようにしてもよい(図9(b)参照)。なお、第1特別期間以外にアイテムが目標部にあたったとしても、アイテムオブジェクト3は目標オブジェクト5に入らず跳ね返るように表示することができる。一例として、第1特別期間が開始したとき、目標オブジェクト5の表示を開始し、終了したとき、目標オブジェクトの表示を終了することもできる。
また、第2特別期間は、ユーザBに対して特典を付与する期間である。例えば、ユーザ端末70が選択した配信者Xのライブ配信映像4を視聴し始めると、何時でも、目標オブジェクト5で示された目標部が入れ物として機能している。その中で、第2特別期間に入ると、サーバ40は、目標部である目標オブジェクト5の形状(入口の形状など)等が大きくなるようにパラメータを設定変更し、ユーザ特典として、アイテムが目標オブジェクト5の入れ物に入り易くする。また、目標部の大きさ(入口の形状など)が大きくなったり小さくなったりして、大きさが変更されるようにしてもよい。この場合、目標オブジェクト5が大きくなったときには、アイテムが入ったときの得点を基準得点より低得点とし、目標オブジェクト5が小さくなったときには、ユーザ特典として、アイテムが入ったときの得点を基準得点より高得点となるようにする。一例として、通常2点であるところ、目標オブジェクト5が大きくなったときにアイテムが入ると、低得点(1点)とし、目標オブジェクト5が小さくなったときにアイテムが入ると、高得点(3点)とする。大きさが変化する目標オブジェクト5は、目標物が実物体ではなく、仮想体の場合である方が好ましい。また、実物体であっても、その実物体が一例として折り畳み式のコップやバケツであれば、大きさを配信者Xの作業で変化させることができる。さらに一例として、目標物が実体物であってその形状を変化させてなくても、アイテムの「入りやすさ」を第2特別期間中のみ変化させてもよい。この場合,実体物である目標物上等に「入りやすさ」が変化した旨を報知する表示や第2特別期間である旨の表示を付加してもよい。
なお、第1特別期間や第2特別期間等の特別期間は、一例として、カラオケ等の楽曲と連動しているとき、間奏の期間や楽曲と楽曲の間等であってもよい。また、第1特別期間の中に第2特別期間があってもよい。これにより、ユーザは、一層アイテムを購入し第1特別期間や第2特別期間でアイテムを投げて楽しむことができる。また、第1特別期間と第2特別期間は、時間軸上同一期間であってもよい。また、制御部46は、第1特別期間又は第2特別期間の一方の期間だけを管理してもよいし、それ以外の特別期間を管理していてもよい。
また、特別期間は、当該特別期間に付与される(買うことができる)アイテムの数を限定(例えば10個)として、全てのアイテムが売れたとき、又は、全てのアイテムが目標部に入ったとき、終了するようにしてもよい。アイテムの付与数は、配信者Xが決めてもよいし、サービス提供者が決めてもよい。また、アイテムの付与数は、選択された目標オブジェクト5の種類、すなわち容量によって決まるようにしてもよい。すなわち、目標オブジェクト5の入れ物がアイテムで一杯になったとき、特別期間が終了することもできる。目標オブジェクト5の入れ物がアイテムで一杯になったかどうかの判断基準については後述する。
そして、サーバ40は、特別期間に入ったとき、ステップS44に進む。ステップS44において、サーバ40は、配信者Xのライブ配信映像4をユーザ端末70で視聴しているユーザBからのプレゼント、すなわちアイテムを受け付ける処理を開始する。なお、ステップS44のプレゼント処理については、後述する。ステップS45において、サーバ40は、特別期間が終了したかを判断し、特別期間が終了したとき、ステップS46に進む。ステップS46において、サーバ40は、ライブ配信映像4を視聴しているユーザBのユーザ端末70に対して特別期間の終了通知を送信する。
ユーザBは、特別期間が終了した後、目標オブジェクト5に入ったように表示されているアイテムオブジェクト3を全消去することができる。その場合、ユーザBは、ユーザ端末70の表示面に表示されているアイテムの全消去ボタンを指やスタイラスペンでタッチすると、ユーザ端末70は、サーバ40に対してアイテム全消去信号を送信する。ステップS47において、サーバ40は、アイテム全消去信号を受信すると、ステップS48において、目標オブジェクト5からアイテムオブジェクト3を消去する処理を実行する。アイテム全消去の操作が行われなかったときは、ステップS48の処理は省略され、ライブ配信映像4の視聴を終了するまで、アイテムオブジェクト3が表示され続けることになる。
ユーザBは、ライブ配信映像4の視聴を終了するときには、ユーザ端末70の表示面に表示されている終了ボタンを指やスタイラスペンでタッチすればよく、終了ボタンが操作されると、ユーザBは、サーバ40との接続を切断する。または、表示ウィンドウを閉じる。また、配信者Xは、ライブ配信を終了するとき、配信者端末18で配信終了操作を行う。すると、配信者端末18は、サーバ40に対して、配信終了信号を送信する。ステップS49において、サーバ40は、配信終了信号を受信すると、該当するライブ配信の終了処理を行う。
〔プレゼント処理〕
プレゼント処理において、ユーザBは、先ず、配信者Xに対してプレゼントするアイテムを選択する。その後、ユーザ端末70で選択したアイテムをユーザ端末70に表示されている目標オブジェクト5をめがけて投げる動作や操作をして、配信者Xに対してアイテムをプレゼントすることになる。
プレゼント処理において、ユーザBは、先ず、配信者Xに対してプレゼントするアイテムを選択する。その後、ユーザ端末70で選択したアイテムをユーザ端末70に表示されている目標オブジェクト5をめがけて投げる動作や操作をして、配信者Xに対してアイテムをプレゼントすることになる。
図10(a)に示すように、ステップS51において、サーバ40は、ユーザ端末70の表示面に、ライブ配信映像4の中に、選択可能なアイテムのオブジェクトを一覧表示するアイテム選択オブジェクト8を表示する(図10(b)参照)。一例として、図10(b)では、アイテム選択オブジェクト8には、左から順に、アイテムの選択候補群として、花束のアイテムオブジェクト、配信者Xの動作を演出するエフェクトを付加するアイテムオブジェクト、猫耳のヘッドバンドのアイテムオブジェクト、ライブ配信映像4の背景画像のアイテムオブジェクト、宝石のアイテムオブジェクトが一列に列挙されている。なお、これに外にも、左右上下にアイテム選択オブジェクト8をスクロールして、これ以外のアイテムオブジェクト(チョコレート等)を表示し、選択可能としてもよい。また、アイテムとしては、ユーザが自作したアイテムであって、ユーザがサーバ40に対してアップロードしたものであってもよい。
アイテム選択オブジェクト8に列挙されるアイテムは、運営者側によって複数用意されるアイテムである。用意されるアイテムは、ライブ毎に異なっていてもよいし、全てのライブで共通していてもよい。また、複数のライブで一部のアイテムが重複していてもよい。サーバ40のデータベースでは、各アイテムの値段をアイテムIDと関連付けて管理している。サーバ40は、一例として、アイテムIDに関連付けられて当該アイテムを表示するためのアイテムデータとして動画データや画像データや音声データや楽曲データ等を保存している。アイテムデータは、一例として三次元データである。
各アイテムは、有料であり、アイテムに応じて金額が決まっており、アイテムIDに値段が関連付けられている。一例として、アイテムID「A」の花束のアイテムは、200円である。アイテムID「B」のエフェクトを付加するアイテムは、300円である。アイテムID「C」の猫耳のヘッドバンドのアイテムは、500円である。アイテムID「D」の背景画像のアイテム「D」は、1000円である。アイテムID「E」の宝石のアイテム「E」は、2000円である。一例として、図2のライブデータベース41に示されたユーザAは、アイテムID「A」の花束を200円で購入しており、ユーザBは、アイテムID「C」のヘッドバンドを500円で購入しており、ユーザCは、アイテムID「B」のエフェクトを300円で購入している。このように、ユーザA,B,Cは、ユーザ端末50,70,80を介してこれらのアイテムを購入することで、配信者Xに対してアイテムをプレゼントできるようになる。これにより、配信者X及び運営者は、ユーザA,B,Cからプレゼントされたアイテムに応じた売り上げを得ることができる。配信者Xがアイテムを受け取る(目標部の入れ物にアイテムが入る)か否かにかかわらず、ユーザA,B,Cがプレゼントしたすべてのアイテムが、配信者X及びその運営者の売り上げとなる。アイテムの中には、無料のアイテムが存在してもよい。また、1つのライブで、1人のユーザが1つのアイテムを購入してもよいし、複数のアイテムを購入してもよい。ライブデータベース41では、配信者毎に各ユーザの購入したアイテムと購入金額の総額を管理している。
ユーザ端末70でアイテム選択オブジェクト8の一覧の中から1つのアイテムがユーザBにより選択されると、ユーザ端末70は、ユーザが選択した選択アイテムとして、ユーザIDと選択したアイテムのアイテムIDを含むアイテム選択データをサーバ40に対して送信する。ステップS52において、サーバ40は、アイテム選択データに基づいてアイテムの選択処理を行い、選択されたアイテムオブジェクト3をユーザ端末70に表示する。図10(c)では、一例として、サーバ40が宝石のアイテムを示すオブジェクトを選択し、ユーザ端末70の表示面に表示した状態を示している。なお、図10(c)において、目標オブジェクト5は、上述した〔ジェスチャで目標部を配信者の一部に設定する場合(図6(a)及び(b)参照)〕の手順に従って設定された配信者Xの両手の掌で構成された器である。
この後、ユーザ端末70のユーザは、ユーザ端末70を操作しながらスタジオ10に居る配信者Xに対してアイテムをプレゼントできる状態となる。具体的に、ユーザ端末70のユーザBは、ユーザ端末70を手に持って物を投げる動作をすることで、選択したアイテムを配信者Xに対して投げる疑似体験をすることができる。また、ライブ配信映像4が表示されている表示面を指やスタイラスペンを用いて、表示されている目標オブジェクト5の方向へなぞるスワイプ操作を行うことによって、配信者Xに対してアイテムをプレゼントすることができる(図11(a)参照)。ユーザA,B,Cは、アイテムの飛び方を自由に調整することができ、アイテムが飛翔する方向や飛翔距離を調整することができ、目標部に対してアイテムが入り易くすることができ、娯楽性を高めることができる。一方で、配信者Xは、スピーカ15から放音されるユーザA,B,Cの音声等を聞いてユーザA,B,Cの反応を知ることができる。これにより、配信者Xは、両手の掌を移動させることができる。配信者Xは、両手の掌を移動させることで、ユーザA,B,Cが投げたアイテムが両手の掌に入りにくくすることもでき、ユーザA,B,Cがより多くのアイテムを購入するように促すことができる。なお、図11(a)〜(c)においても、目標オブジェクト5は、上述した〔ジェスチャで目標部を配信者の一部に設定する場合(図6(a)及び(b)参照)〕の手順に従って設定された配信者Xの両手の掌で構成された器である。
ステップS53において、サーバ40は、ユーザBによって投げ動作がされたか判定する。スワイプ操作でアイテムを投げる操作が行われた場合、サーバ40は、座標データ等の操作データを受信すると、その移動量が閾値を超える場合等に、投げ動作が行われたと判定する。一例として、タッチパネルのスワイプ操作が行われた際の始点と終点の距離等が閾値を超えたとき、投げ動作が行われたと判定する。
また、手で物を投げる動作がされた場合、サーバ40は、ユーザ端末50,80から単位時間ごとに送信されるユーザ動作情報としての加速度データ、角度データ、角速度データ等の操作データを受信する。サーバ40は、ユーザBが投げ動作を行ったことを判定するための閾値を記憶しており、閾値を超えたとき、ユーザ端末70で投げ動作が行われたと判定する。一例として、サーバ40は、投げ動作を特定するため、加速度データ、角度データ、角速度データ等の閾値を記憶している。サーバ40は、加速度データ、角度データ、角速度データ等が閾値を超えたとき、投げ動作が行われたと判定する。
ステップS54において、サーバ40は、ユーザ動作(投げ動作)を解析してアイテム位置を算出する。タッチパネルのスワイプ操作が行われた場合、サーバ40は、スワイプ操作が行われた際の始点座標と終点座標や速さから投げられたアイテムの方向や軌跡や落下位置であるアイテム位置を算出する。また、手で物を投げる動作がされた場合、サーバ40は、ユーザ端末70から送信された腕の振りに関する加速度データ、角度データ、角速度データ等の操作データに基づいてユーザの腕の振りの向きや速さ等を解析する。これにより、サーバ40は、スタジオ10の実空間及びライブ配信映像4における投げられたアイテムが投げられたときの軌跡や落下位置であるアイテム位置が算出する。そして、サーバ40は、算出した三次元位置情報から特定されるライブ配信映像4における位置にアイテムオブジェクト3を付加する。
ステップS55において、サーバ40は、解析結果に基づいて宝石のアイテムオブジェクト3をユーザ端末70の表示面に表示する。これにより、図11(b)及び(c)に示すように、ユーザ端末70の表示面には、アイテムオブジェクト3が配信者Xに向かって来るようにリアルタイムに表示される。また、同様のアイテムオブジェクト3をスタジオ10のスタジオモニタ14や配信者端末18にリアルタイムに表示される。アイテムオブジェクト3は、ユーザ端末70の表示面やスタジオモニタ14や配信者端末18の表示面に表示するにあたって、スタジオ10の実空間に本来あるべきアイテム位置に表示される。すなわち、スタジオ10の実空間におけるアイテム位置が三次元位置情報によっても特定されていることで、アイテムオブジェクト3は、仮にRGBカメラ12の向きを変更したとしても、そのRGBカメラ12の向きで取得している映像のなかでしかるべき位置に表示される。また、アイテム位置がRGBカメラ12の撮像範囲から外れる場合には、落下したアイテムオブジェクト3が表示されなくなる。また、アイテムオブジェクト3の近くには、配信者Xが誰が提供したアイテムであるが視認できるように、当該アイテムを投げたユーザIDが表示される。
同じライブ配信映像4を視聴している複数のユーザが配信者Xに対してアイテムを投げたときには、他人の投げたアイテムも表示される。これにより、ユーザ間で配信者Xに対して投げるアイテムの数を競わせることができる。
また、配信者Xは、意図的に目標オブジェクト5を移動させるようにして、アイテムのアイテムオブジェクト3が目標部の目標オブジェクト5に入りにくくして、ユーザがより多くのアイテムを購入して使うように促すこともできる。
アイテムオブジェクト3は、少なくとも、最終的に目標位置や落下位置に表示されればよく、目標位置や落下位置に飛翔してくるまでの途中の状態や軌跡等が表示されなくてもよい。
〔アイテムオブジェクト表示処理〕
図12(a)に示すように、ステップS61において、サーバ40は、ユーザBによって投げられたアイテムのアイテム位置が目標位置に重なったかを判断する。すなわち、サーバ40は、アイテムオブジェクト3が目標オブジェクト5と重なったか(アイテムが目標部の入れ物に入ったか)を判断し、重なった場合、ステップS62に進み、重ならなかった場合、CのステップS91(図15(a)参照)に進む。
図12(a)に示すように、ステップS61において、サーバ40は、ユーザBによって投げられたアイテムのアイテム位置が目標位置に重なったかを判断する。すなわち、サーバ40は、アイテムオブジェクト3が目標オブジェクト5と重なったか(アイテムが目標部の入れ物に入ったか)を判断し、重なった場合、ステップS62に進み、重ならなかった場合、CのステップS91(図15(a)参照)に進む。
ここで、アイテムオブジェクト3の範囲及び目標オブジェクト5の範囲は、一例として、三次元位置情報と、ユーザ動作情報と、アイテムの種類とによって決定される。一例として、素性データベース42で設定されたパラメータに従う。一例として、アイテムオブジェクトの範囲は、アイテムの外形形状の範囲となる。一例として、アイテムオブジェクト3の範囲は、代表の1点又は複数点である。また、目標オブジェクト5の範囲は、アイテムを収容するための体積又は容積を有した立体的な空間部である。一例として、目標オブジェクト5の範囲は、コップやバケツ等の入れ物である場合、内側面の底面で囲まれた空間部である。また、目標オブジェクト5の範囲は、目標オブジェクト5の中の代表の1点又は複数点である。アイテムオブジェクト3と目標オブジェクト5とが重なったかの判定は、アイテムオブジェクト3及び/又は目標オブジェクト5の1点が重なったかどうかよりも、複数点の中の1点や領域が重なったかどうかとした方が行いやすくなる。一例として、アイテムが目標部の入口から入り、目標位置とアイテム位置とが重なったときに限って、アイテムが目標部に入ったと判断する。一例として、アイテムが目標部の入口から入らなくても、目標位置とアイテム位置とが重なったとき、アイテムが目標部に入ったと判断する。
ステップS62において、サーバ40は、アイテムの素性パラメータと目標部の素性パラメータに合わせてアイテムが目標部の掌で構成した器に入った直後の状態をライブ配信映像4に付加する。一例として、アイテムの宝石が目標部の掌で構成した器に入ったとき、若干、掌に衝撃が加わる。サーバ40は、宝石が掌に最初に当たる状態をライブ配信映像4の中に付加する。ユーザ端末70では、宝石のアイテムオブジェクト3が掌で構成した器の目標オブジェクト5に届くまでの状態がライブ配信映像4の中で表示され、これにより、ユーザBは、自分が投げたプレゼントが配信者Xにまで届いたことを視認することができる。
ところで、配信者Xには、実物体の宝石が掌で構成した器に届いたわけではない。配信者Xは配信者端末18やスタジオモニタ14に表示されたライブ配信映像4を視聴することで、ユーザBからのアイテムが掌で構成した器に入ったことを知ることができるだけである。そこで、ステップS63において、サーバ40は、配信者Xに宝石が掌に当たった衝撃を感覚で付与すべく、配信者Xが装着されているハプティクスデバイス16を駆動し、配信者Xが掌で構成した器に宝石が当たったことを感覚で認識できるようにする。このとき、ハプティクスデバイス16により配信者Xに与えられる振動は、アイテムの素性パラメータ(重さや形状等)や掌のパラメータ(大きさや表面粗さや柔らかさ等)に従って付与される。一例として、重いアイテムほど強い振動がハプティクスデバイス16を通じて配信者Xに感覚的にフィードバックされることになる。
通常、宝石は、掌で構成した器に最初に当たったあと、若干掌で構成した器の中で転がり静止する。ステップS64において、サーバ40は、アイテムの素性パラメータや掌のパラメータに従って掌で構成した器の中で転がり静止する状態をライブ配信映像4の中に付加する。ユーザ端末70では、宝石のアイテムオブジェクト3が掌で構成した器の目標オブジェクト5に届くまでの状態がライブ配信映像4の中で表示され、これにより、ユーザBは、自分が投げたプレゼントが配信者Xに受け取ってもらえたことを視認することができる。サーバ40は、一例として、目標オブジェクト5に対するアイテムオブジェクト3の接触時間を計時し、閾値以上となったとき目標オブジェクト5内にアイテムオブジェクト3を表示し続ける。接触時間が閾値未満のときは、一例として、器にいったん入ったものの弾かれて器を飛び出してしまった場合等である。
あわせて、ステップS65において、サーバ40は、掌で構成した器の中で転がり静止する状態に合わせた衝撃を感覚で付与すべく、配信者Xが装着されているハプティクスデバイス16をアイテムの素性パラメータや掌のパラメータに従って駆動し、配信者Xが掌で構成した器の中で転がり静止することを感覚で認識できるようにする。
なお、配信者Xに対してアイテムが多くプレゼントされ過ぎた場合、入れ物である目標部に入りきらなくなる。目標部にアイテムが入る量は、素性データベース42における目標部の設定による。サーバ40は、目標部にアイテムが一杯になった場合(溢れるようになった場合)受け入れたアイテムをリセットする、すなわち目標部が空の状態にしてもよい。アイテムが目標部に一杯になったかの判断は、一例として、アイテムが目標オブジェクト5の入れ物の空間部(入れ物の内側面及び底面)と所定時間以上接触し、かつ、入れ物に入ったアイテムの体積の総和が入れ物の容積以下の閾値以上となったときである。また、一例として、アイテムが目標オブジェクト5の入れ物の空間部(入れ物の内側面及び底面)と所定時間以上接触し、かつ、入れ物の内側面及び底面とアイテムとの接触面積の総和が入れ物の内面積以下の閾値以上となったときである。これらの状態は、アイテムが入れ物に対してほぼ一杯になった状態ということができる。
アイテムは、全て仮想体であり、目標部には、実物体と仮想体がある。アイテムが目標部に対して当たったとき、衝撃によって形状が変化したり、所定の力で反発し合ったりして、互いに影響し合う。そこで、目標部が実物体であるとき、仮想体であるアイテムは、実物体の素性パラメータに従って変形したり反発することになる。また、目標部もアイテムも共に仮想体である場合は、互いの素性パラメータに従って変形したり反発することになる。すなわち、アイテムや目標部の変形量やアイテムの反発して飛び跳ねる量等が互いの素性パラメータに従って算出される。そして、その結果に応じて、アイテムオブジェクト3や目標オブジェクト5が表示され、更にハプティクスデバイス16が駆動されることになる。
更に、アイテムは、机や床などの目標部以外のものに対しても当たり、衝撃によって形状が変化したり、所定の力で反発し合ったりする。そこで、机や床などの目標部以外のものが実物体であるとき、仮想体であるアイテムは、実物体の素性パラメータに従って変形したり反発することになる。また、机や床などの目標部以外のものが仮想体であるとき、仮想体であるアイテムは、互いの素性パラメータに従って変形したり反発することになる。すなわち、アイテムの変形量やアイテムの反発して飛び跳ねる量等が互いの素性パラメータに従って算出される。そして、その結果に応じて、アイテムオブジェクト3や机や床などの仮想体が表示され、更にハプティクスデバイス16が駆動されることになる。
ところで、配信者Xは、スタジオ10内を、席を離れることもある(図12(b)参照)。すると、アイテムを持った配信者Xの掌で構成した器に保持しているアイテムや目標部がRGBカメラ12の画角(撮像範囲)から外れフレームアウトすることがある。そこで、ステップS66において、サーバ40は、アイテム位置及び目標位置がフレーム内にあるかを判断する。そして、フレーム外となったとき、ステップS67において、アイテムオブジェクト3及び目標オブジェクト5はユーザ端末70に表示されなくなる(図12(c))。また、フレームを外れていないとき、ステップS68に進み、フレーム内において、移動先の位置にアイテムオブジェクト3及び目標オブジェクト5をユーザ端末70に表示し続ける。
アイテムオブジェクト3及び目標オブジェクト5がフレーム外となった場合において、配信者Xは、フレーム外となったアイテム及び目標部がフレーム内となるように、RGBカメラ12を移動させたり、撮像方向を変更することがある。このような場合、ステップS69において、サーバ40は、再度、アイテム位置及び目標位置がフレーム内にあるかを判断する。そして、フレーム内となったとき、ステップS70において、改めてアイテムオブジェクト3及び目標オブジェクト5をユーザ端末70に表示する。また、サーバ40は、フレーム内にアイテム位置及び目標位置が入らないうちは、ステップS71において、アイテムオブジェクト3及び目標オブジェクト5は非表示の状態が続くことになる。
また、配信者Xの掌で構成した器(目標部)に既に1つ以上の宝石(アイテム)が保持されている状態において、新たな宝石(アイテム)が投げ込まれた場合、サーバ40は、掌で構成した器の目標オブジェクト5内に存在するアイテムオブジェクト3に対して新たなアイテムオブジェクト3が当たり、掌で構成した器からこぼれそうになったり、こぼれたりすることがある。そこで、図13(a)に示すように、ステップS81において、サーバ40は、配信者Xの掌で構成した器(目標部)に既に1つ以上の宝石(アイテム)が保持されている状態において、新たな宝石(アイテム)が投げ込まれると、掌で構成した器の目標オブジェクト5内に存在するアイテムオブジェクト3に対して新たなアイテムオブジェクト3が当たり、両者が弾かれ掌で構成した器からこぼれそうになる状態をライブ配信映像4の中に付加し、ユーザ端末70や配信者端末18に表示する(図13(b)及び(c)参照)。なお、図13(b)及び(c)中、こぼれそうなアイテムオブジェクトを3aで示す。また、ステップS82において、サーバ40は、アイテム同士が当たる衝撃や掌で構成した器内を転動する感覚で付与すべく、配信者Xが装着されているハプティクスデバイス16をアイテムの素性パラメータや掌のパラメータに従って駆動し、配信者Xが掌で構成した器の中で転がり静止することを感覚で認識できるようにする。
ステップS83において、サーバ40は、目標オブジェクト5の掌で構成した器から宝石のアイテムオブジェクト3がこぼれたかどうかを、アイテムを投げ込むユーザ端末70での操作データ、アイテムの素性パラメータ及び掌のパラメータに従って判断する。そして、サーバ40は、こぼれた場合、ステップS84に進み、こぼれていない場合、ステップS81からの処理を繰り返す。
アイテムが掌で構成した器からこぼれた場合、アイテムは、アイテムの素性パラメータ、床や机6の素性パラメータ等に従って、机6の上を転がり(図14(a)参照)、机6から落ちて、床を転がることになる。サーバ40は、アイテムが机6を転がる状態から机6から落ち、床を転がる一連の状態をライブ配信映像4の中に付加し、ユーザ端末70や配信者端末18に表示する。なお、図14(a)中、転がるアイテムオブジェクトを3aで示す。
ステップS84において、サーバ40は、アイテムが転がった結果、アイテム位置がフレーム内にあるかを判断する。そして、フレーム外となったとき、ステップS85において、アイテムオブジェクト3がユーザ端末70に表示されなくなる。また、フレームを外れていないとき、ステップS86に進み、フレーム内において、アイテムの素性パラメータ、床や机6の素性パラメータ等に従って、移動先の位置にアイテムオブジェクト3をユーザ端末70に表示し続ける。
アイテムオブジェクト3がフレーム外となった場合において、配信者Xは、フレーム外となったアイテムがフレーム内となるように、RGBカメラ12を移動させたり、撮像方向を変更することがある。アイテムがフレーム内となったとき、ステップS87において、改めてアイテムオブジェクト3aをユーザ端末70に表示する(図14(b)〜(d)参照)。なお、サーバ40は、フレーム内にアイテム位置が入らないうちはアイテムオブジェクト3aは非表示の状態が続くことになる。
なお、ライブ配信準備として、スタジオ10における三次元位置情報を全て取得しておくことで、アイテムオブジェクト3が机6から落ちて、机の下等の通常では見えない位置に転がったとしても、その位置を特定することができる。
ところで、ユーザBが投げたアイテムが目標部に対して外れることもある。すなわち、宝石のアイテムオブジェクト3が掌で構成された器の目標オブジェクト5に入らないこともある(図12(a)のC、ステップS61でNOの場合、図15(b)参照)。このような場合、図15(a)に示すように、ステップS91において、サーバ40は、アイテム位置がフレーム内にあるかを判断し、フレーム外となったとき、ステップS92において、アイテムオブジェクト3がユーザ端末70に表示されなくなる。また、フレームを外れていないとき、ステップS86に進み、フレーム内において、アイテムの素性パラメータ、床や机6の素性パラメータ等に従って、移動先の位置にアイテムオブジェクト3をユーザ端末70に表示し続ける。
アイテムオブジェクト3がフレーム外となった場合において、配信者Xは、フレーム外となったアイテムがフレーム内となるように、RGBカメラ12を移動させたり、撮像方向を変更することがある。アイテムがフレーム内となったとき、ステップS94において、改めてアイテムオブジェクト3をユーザ端末70に表示する。なお、サーバ40は、フレーム内にアイテム位置が入らないうちはアイテムオブジェクト3は非表示の状態が続くことになる。
なお、一例として、デプスカメラ13の検出範囲の方がRGBカメラ12の撮像範囲よりも広いとき、アイテム位置や目標位置がRGBカメラ12の撮像範囲を外れ、更にデプスカメラ13の検出範囲を外れてしまうこともある。この場合、サーバ40は、検出範囲を外れる直前の目標部の目標位置やアイテム位置を保持し、デプスカメラ13の検出範囲に復帰したとき、復帰位置に目標位置やアイテム位置を更新する。また、サーバ40は、デプスカメラ13の検出範囲に復帰したときの入れ物やアイテムの状態に合わせてハプティクスデバイス16を駆動する。
上記ライブ配信システム1によれば、以下に列挙する効果を得ることができる。
(1)ライブ配信システム1では、ユーザ欲求として、例えばユーザA,B,Cは配信者Xにアイテムを受け取ってほしい気持ちから、できるだけ多くのアイテムを購入して目標部の入れ物に入るように投げる。そして、アイテムが配信者Xの入れ物に入ったことは配信者Xにも伝わり、その配信者Xの反応をユーザA,B,Cは見ることができる。したがって、ユーザA,B,Cは、できるだけ多くのアイテムを購入し、配信者Xに対して投げようとする。一方、配信者Xの方も、アイテムをプレゼントされたことを実感することができ、ユーザA,B,Cに対してより多くのアイテム購入するように促すことができる。これにより、ライブ配信システム1に対する配信者やユーザA,B,Cの参加人数を増やすことができ、ライブ配信システム1を活性化することができる。
(1)ライブ配信システム1では、ユーザ欲求として、例えばユーザA,B,Cは配信者Xにアイテムを受け取ってほしい気持ちから、できるだけ多くのアイテムを購入して目標部の入れ物に入るように投げる。そして、アイテムが配信者Xの入れ物に入ったことは配信者Xにも伝わり、その配信者Xの反応をユーザA,B,Cは見ることができる。したがって、ユーザA,B,Cは、できるだけ多くのアイテムを購入し、配信者Xに対して投げようとする。一方、配信者Xの方も、アイテムをプレゼントされたことを実感することができ、ユーザA,B,Cに対してより多くのアイテム購入するように促すことができる。これにより、ライブ配信システム1に対する配信者やユーザA,B,Cの参加人数を増やすことができ、ライブ配信システム1を活性化することができる。
(2)ユーザA,B,Cは、ユーザ端末50,70,80を使って、スタジオ10に居る配信者Xに設定された目標部にアイテムを投げることができる。そして、アイテムのアイテム位置が目標部の目標位置と重なったときに、目標部の入れ物にアイテムが入ったことになる。これにより、ユーザA,B,Cは、離れた場所にいる配信者Xに対して、仮想的にアイテムを投げて目標部の入れ物に入れることでアイテムをプレゼントすることができる。これにより、ライブ配信システム1は、娯楽性を高めることができる。
(3)ユーザA,B,Cが配信者Xに対してアイテムをスタジオ10に対して投げるような動作をしてプレゼントしたとき、ユーザ端末50,70,80からは腕の振りに関する加速度データ、角度データ、角速度データ等の操作データが送信される。また、スワイプ操作したときの座標データ等が送信される。したがって、ユーザA,B,Cは、アイテムの飛び方を自由に調整することができ、アイテムが飛翔する方向や飛翔距離を調整することができ、目標部に対してアイテムが入り易くすることができ、娯楽性を高めることができる。
(4)配信者Xは、目標部となる入れ物を自分が動くことで移動させることができる。配信者Xは、目標部となる入れ物を移動させることで、ユーザA,B,Cが投げたアイテムが目標部の入れ物に入りにくくすることもでき、ユーザA,B,Cがより多くのアイテムを購入するように促すことができる。
(5)アイテムオブジェクト3が目標オブジェクト5に重なったときに、このことをアイテムが目標部に入ったことにすることができる。これにより、視覚的に、ユーザA,B,Cや配信者Xに対してアイテムが目標部に入ったことを知らせることができる。
(6)第1特別期間にアイテムを配信者にプレゼントする期間を限ることで、第1特別期間において集中的にアイテム購入し配信者Xにプレゼントすることができる。
(7)配信者Xは、自らの掌でアイテムの投げられる目標部となる入れ物を構成することもできる。また、配信者Xが手に持ったコップやバケツ等の実物体とすることもできる。これにより、配信者Xは、目標部の選択の自由度が高まり、また、ユーザA,B,Cは、目標部となる入れ物が実物体の入れ物であるから、ライブ配信映像4を通じて把握しやすくなる。
(7)配信者Xは、自らの掌でアイテムの投げられる目標部となる入れ物を構成することもできる。また、配信者Xが手に持ったコップやバケツ等の実物体とすることもできる。これにより、配信者Xは、目標部の選択の自由度が高まり、また、ユーザA,B,Cは、目標部となる入れ物が実物体の入れ物であるから、ライブ配信映像4を通じて把握しやすくなる。
(8)目標部の入れ物を置く位置、すなわち目標位置は、配信者Xの一部(手のひらや手に持った実物体のコップ等)の他、配信者Xの座席の机の上等若干離れた位置等に設定することができる。すなわち、目標位置を設定する位置の自由度を高めることができる。
(9)目標部は、実物体に限定されるものではなく、スタジオ10に実在しない仮想物とすることもでき、これにより、目標部の選択の自由度を高めることができ、娯楽性を高めることができる。
(10)目標部は候補群の中から選択することができる。設定される目標部の種類が限定されることから、目標部の素性パラメータをきめ細かく設定することができる。また、配信者Xも目標部を候補の中から自由に選ぶことができる。
(11)スタジオ10における配信者に関連して設定される目標部の目標位置は、デプスカメラ13が検出した三次元位置情報により特定することができる。
(12)目標部の素性パラメータは、実物体に近い値とすることで、リアリティを高めることができるし、実物体とは異なる素性パラメータとすることで、目標部が仮想的となり、娯楽性を高めることができる。
(12)目標部の素性パラメータは、実物体に近い値とすることで、リアリティを高めることができるし、実物体とは異なる素性パラメータとすることで、目標部が仮想的となり、娯楽性を高めることができる。
(13)アイテムの素性パラメータは、実物体に近い値とすることで、リアリティを高めることができるし、実物体とは異なる素性パラメータとすることで、アイテムが仮想的となり、娯楽性を高めることができる。
(14)配信者がハプティクスデバイス16を装着することで、配信者に配して感覚フィードバックを付与することができる。例えば、目標部にアイテムが入ったこと、入れ物の中で転がったこと、アイテムが入れ物から溢れて軽くなったこと等をハプティクスデバイス16を通じて感得することができる。
〔第2実施形態〕
図16は、本発明の第2実施形態を示している。第2実施形態の表示制御システムは、被写体が屋外の神社寺院等の祭祀施設における犬像となっている。そして、犬像の前のさい銭箱が目標部である。目標部のさい銭箱は、実物体である犬像の前に存在する実物体ではなく、参拝に訪れたユーザD,Eがヘッドマウントディスプレイ(HMD)やスマートデバイス等のユーザ端末を用いて認識できる仮想体である。ここでは、ユーザDがHMD110を装着し、ユーザEがスマートデバイスのユーザ端末140を所持している。ユーザD,Eは、犬像の近くまで実際に赴いている。一例として、ユーザD,Eが居る場所は、犬像の近くであり、さい銭を投げることが可能な程度に被写体に近い場所である。ただし、祭祀施設等は、大勢の人が参拝に行くと、さい銭をさい銭箱にめがけて投げること自体が難しくなる。ユーザD,Eは、HMD110やユーザ端末140のアプリケーションプログラムを起動すると、HMD110やユーザ端末140を通じて犬像の前にあるさい銭箱の目標オブジェクト5を視認することができ、目標オブジェクト5に対して仮想のアイテムであるさい銭を投げることができる。また、目標オブジェクト5が設定される位置は、トレビの泉のように、ユーザがコインを頻繁に投げる位置とすることもできる。また、目標オブジェクト5が設定される位置は、文化財や遺跡等の公益的施設の前等において、維持管理のため又は修繕修復のための寄付金を募る募金箱であってもよい。また、目標オブジェクト5は、被写体である犬像その物としてもよい。なお、ユーザ端末としては、この他に、スマートグラス等のような眼鏡型情報処理端末であってもよい。
図16は、本発明の第2実施形態を示している。第2実施形態の表示制御システムは、被写体が屋外の神社寺院等の祭祀施設における犬像となっている。そして、犬像の前のさい銭箱が目標部である。目標部のさい銭箱は、実物体である犬像の前に存在する実物体ではなく、参拝に訪れたユーザD,Eがヘッドマウントディスプレイ(HMD)やスマートデバイス等のユーザ端末を用いて認識できる仮想体である。ここでは、ユーザDがHMD110を装着し、ユーザEがスマートデバイスのユーザ端末140を所持している。ユーザD,Eは、犬像の近くまで実際に赴いている。一例として、ユーザD,Eが居る場所は、犬像の近くであり、さい銭を投げることが可能な程度に被写体に近い場所である。ただし、祭祀施設等は、大勢の人が参拝に行くと、さい銭をさい銭箱にめがけて投げること自体が難しくなる。ユーザD,Eは、HMD110やユーザ端末140のアプリケーションプログラムを起動すると、HMD110やユーザ端末140を通じて犬像の前にあるさい銭箱の目標オブジェクト5を視認することができ、目標オブジェクト5に対して仮想のアイテムであるさい銭を投げることができる。また、目標オブジェクト5が設定される位置は、トレビの泉のように、ユーザがコインを頻繁に投げる位置とすることもできる。また、目標オブジェクト5が設定される位置は、文化財や遺跡等の公益的施設の前等において、維持管理のため又は修繕修復のための寄付金を募る募金箱であってもよい。また、目標オブジェクト5は、被写体である犬像その物としてもよい。なお、ユーザ端末としては、この他に、スマートグラス等のような眼鏡型情報処理端末であってもよい。
図17に示すように、ユーザDのユーザ端末であるHMD110は、頭部に装着される装着部に設けられユーザDの眼前に位置する表示部112と、装着部に内蔵され、HMD110全体を制御する制御ユニット115と、スピーカ116と、操作部117とを備えている。制御ユニット115は、ネットワークIF118と、データ記憶部119と、メインメモリ120と、制御部121とを備えている。データ記憶部119は、仮想的なさい銭箱である目標オブジェクト5に対して、仮想的なさい銭等のアイテムを投げてアイテムオブジェクト3を付加するためのアプリケーションプログラムが格納されており、当該プログラムに従って制御部121が全体の動作を制御する。
表示部112は、一例として透過型表示パネル等を用いた光学シースルー型である場合、透過型表示パネル上に目標オブジェクト5を付加する。また一例として透過型表示パネルを用いることなく、目標オブジェクト5を網膜上に直接結像する網膜投射型表示装置を用いてもよい。また、ビデオシースルー型や非透過型である場合、表示素子に対して映し出される実空間の映像に対して目標オブジェクト5を付加する。具体的に、HMD110は、表示部112にさい銭としてのアイテムオブジェクト3を表示する。HMD110は、RGBカメラ113とデプスカメラ114とを備えている。HMD110は、RGBカメラ113の実空間映像から犬像を検出するとともに、デプスカメラ114によって犬像の位置の三次元位置情報を取得し、表示部112において、犬像の前に目標オブジェクト5を付加する。デプスカメラ114は、検出範囲内で常時ユーザDの各所の三次元位置情報を取得している。HMD110は、さい銭を投げるとき、表示部112において、さい銭を投げる動作をする掌にさい銭のアイテムオブジェクト3を付加する。そして、ユーザDがさい銭を投げる動作をしたときには、デプスカメラ114でさい銭を投げる動作をした腕の掌等を追跡することで位置の変化を検出し、検出したユーザ動作情報に従って、表示部112において、飛翔しているさい銭のアイテムオブジェクト3を付加する。
HMD110は、アイテムオブジェクト3のアイテム位置が目標オブジェクト5の目標位置と重なったとき、さい銭箱にさい銭が入ったと判断する。アイテム位置が目標位置と重ならなかったとき、HMD110は、さい銭がさい銭箱に入らなかったと判断する。アイテムの課金は、アイテム位置が目標位置と重なりさい銭がさい銭箱に入ったときに行うようにしてもよい。また、さい銭がさい銭箱に入るまでは、追加の課金をすることなく繰り返しさい銭が投げられるようにしてもよい。目標オブジェクト5が表示される目標位置は、さい銭箱の大きさと完全に一致していてもよいし、完全に一致していなくてもよい。一例として、さい銭箱が置かれる目標位置は、さい銭箱の目標オブジェクトの大きさより若干大きく設定する。これにより、さい銭のアイテムオブジェクト3は目標オブジェクト5と若干重ならない場合であっても、さい銭箱にさい銭が入ったことにすることができる。第1実施形態のアイテム課金は営利を目的としたものであるが、第2実施形態におけるアイテム課金は非営利であり、ユーザの善意や宗教心によるものである。したがって、アイテムオブジェクト3は目標オブジェクト5に対して入り易く設定することが好ましい。犬像そのものが目標オブジェクト5に設定されている場合は、さい銭のアイテムオブジェクト3が目標オブジェクト5に当たっとき、寄付が成功したと判断するようにしてもよい。
また、ユーザEのユーザ端末140は、上述したユーザ端末70と同様な構成有したスマートデバイスであるが、更に、RGBカメラ113とデプスカメラ114とを備えている。ユーザEは、ユーザ端末140のRGBカメラ113で犬像を撮像しながら実空間映像を表示部に表示する。そして、ユーザ端末140はRGBカメラ113の実空間映像から犬像を検出するとともに、デプスカメラ114によって犬像の位置の三次元位置情報を取得し、犬像の前に目標オブジェクト5を付加する。さい銭を投げるときには、ユーザEは目標オブジェクト5の方向へなぞるスワイプ操作を行う。これにより、ユーザ端末140は、スワイプ操作に基づくユーザ動作情報に従って、アイテムオブジェクト3を付加する。すなわち、ユーザ端末140は、表示部に、さい銭のアイテムオブジェクト3がさい銭箱の目標オブジェクト5の方向に飛翔していく状態を表示する。そして、ユーザ端末140は、アイテムオブジェクト3のアイテム位置が目標オブジェクト5の目標位置と重なったとき、さい銭箱にさい銭が入ったと判断する。また、アイテム位置が目標位置と重ならなかったとき、さい銭がさい銭箱に入らなかったと判断する。さい銭がさい銭箱が入ったかどうかの判断は、HMD110の場合と同様である。
表示制御システムでは、更にさい銭を管理するサーバ130を備えている。HMD110は、さい銭を購入したとき、又は、さい銭箱にさい銭が入ったとき、課金信号をサーバ130に送信する。サーバ130は、ユーザIDに関連付けて課金金額を管理しており、課金信号に応じてユーザIDごとの課金金額を算出する。さい銭は、最終的に祭祀施設を運営する宗教法人等の団体に振り込まれる。
上記表示制御システムによれば、以下に列挙する効果を得ることができる。
(1)ユーザD,Eは、実際に犬像の目前に行かなくても、仮想的に、若干離れた位置からさい銭をさい銭箱に投げることができる。したがって、参拝時間の短縮を実現することができる。
(1)ユーザD,Eは、実際に犬像の目前に行かなくても、仮想的に、若干離れた位置からさい銭をさい銭箱に投げることができる。したがって、参拝時間の短縮を実現することができる。
(2)ユーザが管理するユーザ端末だけで、目標オブジェクト5を設定し、アイテムを目標オブジェクト5にめがけて投げることができる。すなわち、第1実施形態におけるスタジオ10における設備(マイク11、RGBカメラ12、デプスカメラ13、スタジオモニタ14、スピーカ15、制御装置17、配信者端末18等)を省略することができる。
(3)表示制御システムでは、管理人が不要なさい銭箱を仮想的に設置し仮想のコインを投げるだけである。すなわち、実際にさい銭をさい銭箱に投げるわけではない。したがって、さい銭箱内のさい銭が不心得者によって持ち去られることを防ぐことができる。また、偽造のコインが使用されることを防ぐことができる。このようなことから、犬像の前で行う非営利な集金活動の運営コストを下げることができ、継続的な活動が可能となる。
(4)実際にさい銭をさい銭箱に投げるわけではないので、実際のさい銭箱のようにさい銭の回収作業が不要となる。
なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。
なお、上記ライブ配信システムは、以下のように適宜変更して実施することもできる。
・第1実施形態において、配信者Xが装着するハプティクスデバイス16は省略してもよい。アイテムが配信者Xの目標部に入ったかは、スタジオモニタ14や配信者端末18で視覚的に確認できるからである。
・第1実施形態における素性データベース42は、第2実施形態においても適用することができる。また、第1実施形態及び第2実施形態において、素性データベース42は省略してもよい。また、素性データベース42で管理する素性パラメータは、目標部素性パラメータ及びアイテム素性パラメータの何れか少なくとも一方の素性パラメータを管理しているだけでもよい。
・第1実施形態において、配信者Xの動きの追跡や目標オブジェクト5が設定されている目標部(実物体のコップ、バケツ、配信者Xの掌等)の追跡は、デプスカメラ13によって三次元位置情報をして追跡しているが、デプスカメラ13を省略してRGBカメラ12だけで行うようにしてもよい。一例として、目標部の検出は、ディープラーニングを利用したAIによってライブ映像から目標部を検出する検出精度を高めることができる。
・更にまた、モーションキャプチャ処理におけるモーション(骨格および各骨格の動き=動作)の検出認識処理については、RGBカメラ12からの映像をディープラーニング等による学習結果に基づく認識処理にかけることで実施するようにしてもよい。
・ユーザによる特定の動作(例えばアイテムを投げる動作、又、どの方向へ、どの程度の強さで投げたのか)は、スマートウォッチ60の検出部やスマートデバイス端末70aの検出部による検出結果に基づいて判定(検出)するものに限定されない。例えばカメラで取得した映像に基づいて、フレーム間差分や動きベクトルを算出して、判定するようにしてもよい。
・第1実施形態において、第1特別期間や第2特別期間等の特別期間は設けなくてもよい。この場合、ユーザ端末でライブ配信映像を視聴している時間の間アイテムを目標部に入れることができる。また、第2実施形態において、特別期間を設けるようにしてもよい。
・目標部としては、予め設定された1種類の実物体だけであってもよい(例えば実物体のコップだけとしたり、実物体のバケツだけとする)。また、目標部としては、予め設定された1種類の仮想体だけであってもよい(例えば仮想体のコップだけとしたり、実物体のバケツだけとする)。さらに、アイテムとしても、予め設定された1種類のアイテムだけでもよい(例えばコインだけとしたり、宝石だけとする。)。また、第2実施形態は、目標部のさい銭箱に対してさい銭を投げる状況が決まっている。したがって、目標部は、予めさい銭箱に設定されていてもよく、アイテムは、コインに予め設定されていてもよい(ユーザD,Eはアイテムの種類を選択できない。)。
・また、特別期間はライブ配信中に限定されるものではない。一例として、初詣の期間において、神社等の祭祀施設は混雑する。そこで、混雑時には、目標部となるさい銭箱を大きくするようにしてもよい。
・第1実施形態において、ユーザ端末が視聴可能な映像はライブ配信に限定されるものではない。一例として、サーバ40は、配信者Xが撮影済みの映像(目標オブジェクト5が付加された映像)を配信時刻になると、ユーザ端末で視聴可能な状態とし、配信時刻以降において、ユーザがユーザ端末でアクセスすると、ユーザ端末で配信映像を視聴できるようにする。そして、ユーザは、ユーザ端末でアイテムを目標部に投げることができる。この場合、配信終了時刻なることで配信は停止される。
・第1実施形態において、サーバ40が行う処理は、エッジサーバに分散させるようにしてもよい。
1…ライブ配信システム、2…ネットワーク、3…アイテムオブジェクト、4…ライブ配信映像、4a…ライブ映像、5…目標オブジェクト、5a…コップ、5b…バケツ、6…机、7…一覧オブジェクト、8…アイテム選択オブジェクト、9…照明、10…スタジオ、11…マイク、12…RGBカメラ、13…デプスカメラ、14…スタジオモニタ、15…スピーカ、16…ハプティクスデバイス、16a…アクチュエータ、17…制御装置、18…配信者端末。
Claims (16)
- 実空間の三次元位置情報を取得する取得部と、
前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定する設定部と、
前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテムのアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御部と
を備える表示制御システム。 - 前記表示制御システムは、被写体が存在する前記実空間の前記実空間像を配信する配信部を更に備え、
前記実空間像に対して、前記目標オブジェクト及び前記アイテムオブジェクトを付加する
請求項1に記載の表示制御システム。 - 前記表示制御部は、前記被写体の移動に連動して前記目標オブジェクトを移動させる
請求項2に記載の表示制御システム。 - 前記目標部は、前記アイテムの入れ物であり、
前記表示制御部は、前記アイテム位置が前記目標部の位置と重なった場合に、前記アイテムオブジェクトを前記目標オブジェクトに入ったように表示させる
請求項1又は2に記載の表示制御システム。 - 前記アイテムを前記目標部が受け入れる特別期間を管理する期間管理部を備え、
前記表示制御部は、前記特別期間に、前記アイテム位置が前記目標部の位置と重なった場合に、前記アイテムオブジェクトを前記目標オブジェクトに入ったように表示させる
請求項1または2に記載の表示制御システム。 - 前記目標部は、前記実空間に存在する実物体であって、
前記目標部の位置は、前記実空間における前記実物体の位置に設定され、
前記目標オブジェクトは、前記実物体に対応したオブジェクトである
請求項1又は2に記載の表示制御システム。 - 前記目標部は、前記実空間に存在しない仮想体であって、
前記目標部の位置は、前記実空間に設定され、
前記目標オブジェクトは、前記仮想体に対応したオブジェクトである
請求項1又は2に記載の表示制御システム。 - 前記目標部は、被写体又は被写体の一部であり、
前記目標部の位置は、被写体又は被写体の一部に設定される
請求項2に記載の表示制御システム。 - 前記設定部は、前記目標部の選択候補群の中から選択された選択目標部を前記目標部に設定し、
前記表示制御部は、前記実空間像に対して、前記目標部に対応する前記目標オブジェクトを付加する
請求項1又は2に記載の表示制御システム。 - 前記取得部は、デプスカメラで検出した深度情報に基づいて前記三次元位置情報を取得する
請求項1に記載の表示制御システム。 - 前記取得部は、RGBカメラで撮像した実空間像に基づいて前記三次元位置情報を取得する
請求項2に記載の表示制御システム。 - 前記目標部の素性を示す目標部素性パラメータを管理する素性データベースを備え、
前記表示制御部は、前記目標部素性パラメータに従って前記目標オブジェクトを前記実空間像に対して付加する
請求項1に記載の表示制御システム。 - 前記アイテムの素性を示すアイテム素性パラメータを管理する素性データベースを備え、
前記表示制御部は、前記アイテム素性パラメータに従って前記アイテムオブジェクトを前記実空間像に対して付加する
請求項1に記載の表示制御システム。 - 前記被写体としての人物に装着されるハプティクスデバイスを制御するハプティクス制御部を備え、
前記ハプティクス制御部は、前記目標部の素性を示す目標部素性パラメータ及び前記アイテムの素性を示すアイテム素性パラメータのうちの少なくとも何れか1つのパラメータに従って前記ハプティクスデバイスを制御する
請求項2に記載の表示制御システム。 - 取得部が、実空間の三次元位置情報を取得し、
設定部が、前記実空間におけるアイテムを受け入れる目標部の位置を前記三次元位置情報で特定し当該位置に前記目標部を設定し、
表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する
表示制御方法。 - コンピュータに、
設定部が、実空間におけるアイテムを受け入れる目標部の位置を前記実空間の三次元位置情報で特定し当該位置に前記目標部を設定し、表示制御部が、前記実空間に相当する実空間像における前記三次元位置情報で特定された前記目標部の位置に前記目標部に対応する目標オブジェクトを付加するとともに、前記実空間像における、前記目標オブジェクトに向かって前記アイテムを移動させるユーザ動作を示すユーザ動作情報に従って特定されたアイテム位置に前記アイテムに対応するアイテムオブジェクトを付加する表示制御方法
を実行させる表示制御プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143672A JP2020021225A (ja) | 2018-07-31 | 2018-07-31 | 表示制御システム、表示制御方法、及び、表示制御プログラム |
CN201980049828.7A CN112513782A (zh) | 2018-07-31 | 2019-07-31 | 显示控制系统、显示控制方法、以及显示控制程序 |
TW108127288A TW202015430A (zh) | 2018-07-31 | 2019-07-31 | 顯示控制系統、顯示控制方法、及顯示控制程序 |
PCT/JP2019/030086 WO2020027226A1 (ja) | 2018-07-31 | 2019-07-31 | 表示制御システム、表示制御方法、及び、表示制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018143672A JP2020021225A (ja) | 2018-07-31 | 2018-07-31 | 表示制御システム、表示制御方法、及び、表示制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020021225A true JP2020021225A (ja) | 2020-02-06 |
Family
ID=69231161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018143672A Pending JP2020021225A (ja) | 2018-07-31 | 2018-07-31 | 表示制御システム、表示制御方法、及び、表示制御プログラム |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP2020021225A (ja) |
CN (1) | CN112513782A (ja) |
TW (1) | TW202015430A (ja) |
WO (1) | WO2020027226A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020173710A (ja) * | 2019-04-12 | 2020-10-22 | 高光産業株式会社 | 参拝支援方法、プログラム、及び記憶媒体 |
JP2021197730A (ja) * | 2020-06-11 | 2021-12-27 | グリー株式会社 | 情報処理システム、情報処理方法およびコンピュータプログラム |
WO2022014184A1 (ja) * | 2020-07-14 | 2022-01-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
WO2022118748A1 (ja) * | 2020-12-04 | 2022-06-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
WO2023204289A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 情報処理装置および方法 |
JP7449519B2 (ja) | 2021-12-30 | 2024-03-14 | 17Live株式会社 | 映像処理のためのシステム、方法、及びコンピュータ可読媒体 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI747333B (zh) * | 2020-06-17 | 2021-11-21 | 光時代科技有限公司 | 基於光通信裝置的交互方法、電子設備以及電腦可讀取記錄媒體 |
CN115225915B (zh) | 2021-04-15 | 2024-05-24 | 奥图码数码科技(上海)有限公司 | 直播录设备、直播录系统及直播录方法 |
TWI818665B (zh) * | 2021-11-10 | 2023-10-11 | 財團法人工業技術研究院 | 資訊顯示方法及其資訊顯示系統與處理裝置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008134990A (ja) * | 2006-10-23 | 2008-06-12 | Canon Inc | 情報処理装置、情報処理方法 |
JP2012120098A (ja) * | 2010-12-03 | 2012-06-21 | Linkt Co Ltd | 情報提供システム |
JP2012187148A (ja) * | 2011-03-08 | 2012-10-04 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
JP2013037670A (ja) * | 2011-07-08 | 2013-02-21 | Dowango:Kk | ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム |
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
WO2017159383A1 (ja) * | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、動画像配信システム |
JP2018097850A (ja) * | 2016-12-08 | 2018-06-21 | イマージョン コーポレーションImmersion Corporation | ハプティックサラウンド機能 |
-
2018
- 2018-07-31 JP JP2018143672A patent/JP2020021225A/ja active Pending
-
2019
- 2019-07-31 CN CN201980049828.7A patent/CN112513782A/zh active Pending
- 2019-07-31 WO PCT/JP2019/030086 patent/WO2020027226A1/ja active Application Filing
- 2019-07-31 TW TW108127288A patent/TW202015430A/zh unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008134990A (ja) * | 2006-10-23 | 2008-06-12 | Canon Inc | 情報処理装置、情報処理方法 |
JP2012120098A (ja) * | 2010-12-03 | 2012-06-21 | Linkt Co Ltd | 情報提供システム |
JP2012187148A (ja) * | 2011-03-08 | 2012-10-04 | Sony Computer Entertainment Inc | 情報処理装置および情報処理方法 |
JP2013037670A (ja) * | 2011-07-08 | 2013-02-21 | Dowango:Kk | ステージ演出システム、演出制御サブシステム、ステージ演出システムの動作方法、演出制御サブシステムの動作方法、およびプログラム |
JP2014044655A (ja) * | 2012-08-28 | 2014-03-13 | Premium Agency Inc | 拡張現実システム、映像合成装置、映像合成方法及びプログラム |
WO2017159383A1 (ja) * | 2016-03-16 | 2017-09-21 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、動画像配信システム |
JP2018097850A (ja) * | 2016-12-08 | 2018-06-21 | イマージョン コーポレーションImmersion Corporation | ハプティックサラウンド機能 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020173710A (ja) * | 2019-04-12 | 2020-10-22 | 高光産業株式会社 | 参拝支援方法、プログラム、及び記憶媒体 |
JP2021197730A (ja) * | 2020-06-11 | 2021-12-27 | グリー株式会社 | 情報処理システム、情報処理方法およびコンピュータプログラム |
WO2022014184A1 (ja) * | 2020-07-14 | 2022-01-20 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム、およびシステム |
WO2022118748A1 (ja) * | 2020-12-04 | 2022-06-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
JP7449519B2 (ja) | 2021-12-30 | 2024-03-14 | 17Live株式会社 | 映像処理のためのシステム、方法、及びコンピュータ可読媒体 |
WO2023204289A1 (ja) * | 2022-04-22 | 2023-10-26 | ソニーグループ株式会社 | 情報処理装置および方法 |
Also Published As
Publication number | Publication date |
---|---|
TW202015430A (zh) | 2020-04-16 |
CN112513782A (zh) | 2021-03-16 |
WO2020027226A1 (ja) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020027226A1 (ja) | 表示制御システム、表示制御方法、及び、表示制御プログラム | |
TWI701628B (zh) | 用於現場直播之顯示控制系統及顯示控制方法 | |
JP6382468B1 (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP6420930B1 (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP6431233B1 (ja) | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム | |
JP6419916B1 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
WO2019216146A1 (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP2018007828A (ja) | プログラム及び電子機器 | |
JP6987728B2 (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
US11941177B2 (en) | Information processing device and information processing terminal | |
JP2019101457A (ja) | ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 | |
JP7437480B2 (ja) | プログラム、方法、およびコンピュータ | |
US20230009322A1 (en) | Information processing device, information processing terminal, and program | |
US20230033892A1 (en) | Information processing device and information processing terminal | |
JP2019198060A (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP6498832B1 (ja) | 視聴ユーザからのメッセージを含む動画を配信する動画配信システム | |
JP2021041241A (ja) | プログラム及び電子機器 | |
US11983324B2 (en) | Information processing device, information processing terminal, and program | |
CN116438801A (zh) | 信息处理装置、信息处理方法、程序和信息处理系统 | |
CN116457750A (zh) | 信息处理装置、信息处理方法、程序和信息处理系统 | |
JP2019198054A (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP2019198057A (ja) | アクターの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を配信する動画配信システム、動画配信方法及び動画配信プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220627 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221018 |