JP2023067892A - 情報処理プログラム、情報処理方法、情報処理装置 - Google Patents

Abstract

【課題】配信ユーザと視聴ユーザとの間のコミュニケーションを活発化することができる。【解決手段】配信ユーザが用いるユーザ装置１２は、配信ユーザが動画を配信するための配信用情報を生成する配信用情報生成工程と、動画を視聴する視聴ユーザが用いるユーザ装置１２からサーバ１３を介して応援情報を受信する応援受信工程と、応援情報に基づいて、配信ユーザに触感を与える出力装置４２を動作させる出力工程とを実行する。視聴ユーザが用いるユーザ装置１２は、動画を配信するための配信用情報を受信して、動画を視聴ユーザが視認するディスプレイ２８に表示する動画表示工程と、視聴ユーザの操作に基づいて応援情報を生成する応援情報生成工程と、応援情報をサーバ１３に送信する応援情報送信工程とを実行する。【選択図】図１

Description

本発明は、情報処理プログラム、情報処理方法、情報処理装置に関する。

従来から、ユーザの動きに基づくキャラクタ動画を含む動画を配信するシステムが知られている（例えば、特許文献１参照）。このシステムでは、動画処理装置が第１の声優の表情及び体の動きの検出結果を取得するとともに、第２の声優の表情及び体の動きの検出結果を取得する。さらに動画処理装置は、取得した検出結果に基づき、第１キャラクタの３次元情報及び第２キャラクタの３次元情報に基づきレンダリングを行って第１キャラクタの動画及び第２キャラクタが動画を生成し、それらの動画を合成する。

特開２０１５－１８４６８９号公報

上記のような動画配信システムでは、キャラクタが発動できる表情は、初めにシステムに格納された基本的な表情に限られていた。しかし、キャラクタの表情や手足の動き等を含む表現が単調であるよりも多様である方が動画を視聴するユーザを飽きさせない。このため、キャラクタの表現を多様化することが望まれている。

しかし、キャラクタの表現を多様化すると、表現の各々を発動させるための条件も表現の増加に伴い多くなる。また、ユーザの身体の動きで表現を発動させる場合において、ユーザが新たな表現の発動を試みる場合には、ユーザ自身がどのように動いたらよいか直観的に把握しにくい場合がある。このようにキャラクタの表現の発動条件がユーザにとって判りにくいと、多くの表現が準備されていたとしても、表現の利用頻度が低くなる可能性がある。

本発明は、上記実情に鑑みてなされたものであり、その目的は、ユーザが配信する動画における表現をユーザが発動しやすくすることにより、動画の表現の多様化を図ることにある。

上記課題を解決する情報処理プログラムは、１乃至複数のコンピュータに、ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程を実行させる。

上記課題を解決する情報処理方法は、ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程とを実行する。

上記課題を解決する情報処理装置は、ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択部と、前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザ装置に送信する第１送信部と、前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザが用いるユーザ装置に送信する第２送信部と、を備える。

上記課題を解決する情報処理方法は、１乃至複数のコンピュータが、ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択工程と、前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザ装置に送信する第１送信工程と、前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザが用いるユーザ装置に送信する第２送信工程と、を実行する。

上記各構成によれば、ユーザは、ガイド表示を確認し、ガイド表示に表示された表現に合わせるように動作する。そして、ユーザの動きに基づくユーザ部位の変化量が、ガイド表示に含まれる表現の発動条件を満たした場合に、その表現が適用されたアバターオブジェクトが表示され、ユーザに利用可能に提供される。つまり、ユーザ自身が表現を発動できることを理解し、且つ表現の発動の方法をある程度把握した後に、その表現が引き続き利用可能な状態となるため、動画を配信する際にもその表現を発動させやすくなる。その結果、新たに提供した表現の利用率が高まり、動画の表現が多様となることにより、動画を視聴するユーザを飽きさせないようにすることが可能となる。

本発明によれば、ユーザが配信する動画における表現をユーザが発動しやすくすることにより、動画の表現の多様化を図ることができる。

動画配信システムの第１実施形態を示す模式図。 同実施形態におけるアバター表現データの模式図。 同実施形態における発動条件データの模式図。 同実施形態におけるユーザとユーザ装置の一例との位置関係を示す図。 同実施形態における配信モード画面を示す図。 同実施形態における配信モード画面を示す図。 同実施形態における配信モード画面を示す図。 同実施形態における視聴モード画面を示す図。 同実施形態の抽選処理の手順を示すフローチャート。 同実施形態におけるアバター表現を提供する手順を示すフローチャート。 動画配信システムの第２実施形態を示す模式図。 同実施形態における発動条件データの模式図。 （ａ）は「拍手」のアバター表現が適用された配信モード画面を示す図、（ｂ）は「遠くへ飛ぶ」のアバター表現が適用された配信モード画面を示す図。 変形例の発動条件データの模式図。

（第１実施形態）
以下、動画配信システムの第１実施形態について説明する。
図１に示すように、動画配信システム１１は、ユーザ装置１２とサーバ１３とを備える。ユーザ装置１２には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされている。ユーザ装置１２は、動画アプリケーションプログラムを実行することにより、他のユーザ装置１２との間でサーバ１３及びネットワーク１４を介してデータを送受信し、動画の配信及び動画の表示を行う。以下、動画を配信するユーザを「配信ユーザ」、配信ユーザによって配信された動画を視聴するユーザを「視聴ユーザ」といい、これらを区別しない場合には単に「ユーザ」という。

ユーザ装置１２は、スマートフォン（多機能電話端末）、タブレット端末、パーソナルコンピュータ、コンソールゲーム機、ヘッドマウントディスプレイ等のウェアラブルコンピュータ、及びこれらの装置以外の動画を再生可能な情報処理装置である。

ユーザ装置１２は、コンピュータプロセッサ２０、メモリ２１、ストレージ２２（記憶媒体）、通信インターフェース（Ｉ／Ｆ）２３を備える。コンピュータプロセッサ２０は、ストレージ２２又はそれ以外のストレージからオペレーティングシステムやその他のプログラムをメモリ２１にロードし、メモリ２１から取り出した命令を実行する演算装置である。コンピュータプロセッサ２０は、１乃至複数の演算回路からなる。コンピュータプロセッサ２０は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＮＰＵ（Neural network Processing Unit）、ＩＳＰ（Image Signal Processor）等を備える。通信Ｉ／Ｆ２３は、ネットワーク１４を介して、サーバ１３及び他のユーザ装置１２とデータを送受信する。ネットワーク１４は、ローカルエリアネットワーク、インターネット等、各種のネットワークを含む。また、通信Ｉ／Ｆ２３は、他の外部機器との間で近距離無線通信又は有線での通信を行う。通信Ｉ／Ｆ２３は、ハードウェア、ソフトウェア、又はこれらの組み合わせとして実装される。

メモリ２１は、コンピュータプロセッサ２０が直接的に読み出し及び書き込みが可能な主記憶装置（記録媒体）であり、半導体メモリ等から構成される。ストレージ２２は、補助記憶装置（記録媒体）であり、例えば、磁気ディスク、光ディスク、半導体メモリ等の記憶媒体である。ストレージ２２は、複数のストレージを組み合わせて用いることもできる。ストレージ２２には、動画アプリケーションプログラム２２０、アバターオブジェクトを描画するためのアバターデータ２２１、オブジェクトデータ２２２が格納されている。

動画アプリケーションプログラム２２０は、サーバ１３から適宜取得される更新データによって更新される。ユーザの指示に応じて動画アプリケーションプログラム２２０が実行されることにより、ユーザ自身が動画を配信する配信モードと、他の配信ユーザが配信する動画を視聴する視聴モードとに切り替えられる。動画アプリケーションプログラム２２０を実行することにより表示される画面には、配信モードと視聴モードとを切り替えるボタンが画面に表示される。

アバターデータ２２１は、アバターオブジェクトを描画するための３次元モデルデータである。ユーザ装置１２は、動画アプリケーションプログラム２２０を起動した場合等、アバターデータ２２１をサーバ１３から所定のタイミングで取得する。アバターデータ２２１は、アバターオブジェクト本体を描画するためのデータ、アバターオブジェクト本体に適用されるテクスチャデータ等を含んでいる。アバターオブジェクト本体を描画するためのデータは特に限定されないが、アバターオブジェクトの動作を表現するための骨格データ（ボーン）、肌等を表現するポリゴンデータ等により構成される。アバターデータ２２１には、複数のアバターオブジェクト本体のデータを含んでいる。テクスチャデータには、アバターオブジェクトに対して適用可能な複数のパーツデータが含まれている。例えば「目」、「眉」、「耳」、「服」等のカテゴリ毎に複数のパーツデータが準備されている。ユーザは、複数のアバターオブジェクトの中から一つのアバターオブジェクトを選択する。また、パーツデータを選択し、アバターオブジェクト本体に適用して、ユーザ独自のアバターオブジェクトを作成する。ユーザによって選択されたアバターオブジェクト本体とパーツデータとの組み合わせは、ストレージ２２に記録される。

また、アバターデータ２２１には、表情や手足の動作等のアバター表現をアバターオブジェクトに適用するためのアバター表現データが含まれる。アバター表現の「動作」は、手部位のみ、足部位のみといった単独の部位の動作だけでなく、手部位及び足部位等の複数の部位を連動させる動作も含まれる。また、表情と動作とを同時に発動させる表現も含まれる。アバター表現データには、ユーザの表情の解析結果からアバターオブジェクトに発動させる表情を判定するための判定データ、アバターオブジェクトに表情を発現させるための描画データが含まれる。アバターオブジェクトに適用する表情を判定する手法は特に限定されない。例えば、表情毎に設定された閾値を用いて判定する方法であってもよい。具体的には、判定データに「笑顔」や「ウインク」等の表情に対して目や口等のユーザ部位の変化量の閾値を設定し、解析部２０３により解析されたユーザの目や口の変化量が、それらの部位に対して設定された閾値を超えた場合に、「笑顔」や「ウインク」等の表情を発動すると判定してもよい。この場合、例えば特願２０１９－２３９３１８号に記載された方法を用いることもできる。又は、解析結果と基準となるデータとの類似度を用いて判定する方法であってもよい。具体的には、判定データに、「笑顔」や「ウインク」等の表情を発現するためのユーザ部位のモデルデータを含めるとともに、解析結果とモデルデータとの類似度とを求め、この類似度が所定値以上である場合に、その表情の発動条件が満たされると判定してもよい。又は、ユーザの感情を推定し、推定した感情から表情を特定してもよい。具体的には目や口等のユーザ部位の変化量に基づき感情毎のスコアを特定し、それらのスコアの合計のうち最も高いスコアに対応する感情の表情を発動すると判定してもよい。例えば特願２０１９－９４５５７号に記載された方法を用いることもできる。また、例えばアバターの表情を描画する手法は特に限定されない。例えば、アバターオブジェクトの顔部位に、「笑顔」、「ウインク」等の表情を表現した画像を重畳することで表情を変化させてもよい。又は、アバターオブジェクトの顔部分のメッシュの頂点位置を変更するブレンドシェイプと呼ばれる手法によって、アバターの表情を変化させてもよい。

オブジェクトデータ２２２は、仮想空間にレンダリングされるオブジェクトであって、アバターオブジェクト以外のオブジェクトに関する情報である。オブジェクトデータ２２２は、所定のタイミングでサーバ１３から取得される。オブジェクトデータ２２２に対応するオブジェクトは、視聴ユーザから贈られるギフトオブジェクト、ゲーム実行中に表示されるオブジェクトを含む。ギフトオブジェクトの態様は特に限定されないが、例えば、アバターオブジェクトが装着可能な装着オブジェクト、仮想空間内に一定期間表示される通常オブジェクト、花火や文字等のエフェクトオブジェクトであってもよい。また、視聴ユーザは、配信ユーザに後述する抽選要求を行ってもよい。

また、ユーザ装置１２は、センサユニット２４、スピーカ２５、マイク２６、操作部２７、ディスプレイ２８を備える。センサユニット２４、スピーカ２５、マイク２６、操作部２７及びディスプレイ２８の少なくとも一つは、コンピュータプロセッサ２０と同じ装置として設けられていてもよく、コンピュータプロセッサ２０を備える装置に接続するかたちで設けられていてもよい。

センサユニット２４は、ユーザの表情の変化を示すフェイスモーション、及びセンサユニット２４に対するユーザの身体の相対位置の変化を示すボディモーションを検出する１乃至複数のセンサである。フェイスモーションは、瞬きや口の開閉等の動きを含む。センサユニット２４は、公知の物を使用することができるが、例えばユーザに向かって照射された光がユーザの顔等に反射して返ってくるまでの飛行時間（Time of Flight）を測定検出するＴｏＦセンサや、ユーザの顔を撮影するカメラ及びカメラが撮影したデータを画像処理する画像処理部とを備える。一例として、センサユニット２４は、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラとを含んでいてもよい。ＲＧＢカメラや近赤外線カメラは、例えば「ｉｐｈｏｎｅＸ（登録商標）」のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）、又は「ｉＰａｄ Ｐｒｏ（登録商標）」の「ＬＩＤＡＲ」や、スマートフォンに搭載されるその他のＴｏＦセンサを用いることが可能である。このカメラは、具体的には、ドットプロジェクタによってユーザの顔等に数万の不可視のドット（点）を投影する。そして、ドットパターンの反射光を検出し、分析して顔の深度マップを形成し、顔等の赤外線画像をキャプチャすることで、正確な顔データをキャプチャする。センサユニット２４の演算処理部は、深度マップと赤外線画像に基づいて各種の情報を生成し、その情報を登録済みの参照データと比較して、顔の各ポイントの深度（各ポイントと近赤外線カメラとの間の距離）や深度以外の位置のずれを算出する。

センサユニット２４は、例えば検出を開始したときの初期状態からの表情の変化や、相対位置の変化を検出する。又は、センサユニット２４は、加速度センサやジャイロセンサ等といった上記のセンサ以外のセンサをさらに含むものであってもよい。以下、フェイスモーションの検出データ及びボディモーションの検出データを特に区別しないで説明する場合には単に「モーションデータ」という。

スピーカ２５は、音声データを音声に変換して出力する。マイク２６は、ユーザが発話した音声を入力し、音声データに変換する。操作部２７は、ディスプレイ２８と一体化されたタッチパネルや、ユーザ装置１２の筐体等に設けられた操作ボタン、キーボード、マウス、コントローラ等である。ディスプレイ２８は、コンピュータプロセッサ２０の出力指示に応じて、各種画像を出力する。コントローラは操作部に対応する。

コンピュータプロセッサ２０は、アプリケーション管理部２０１、表示制御部２０２、解析部２０３として機能する。アプリケーション管理部２０１は、ストレージ２２に記憶された動画アプリケーションプログラム２２０を実行することにより機能するものであり、動画の配信及び視聴に対する処理を行う。アプリケーション管理部２０１は、操作部２７を通じて入力されたユーザの要求に基づき、表示制御部２０２への要求の出力やサーバ１３へのデータの送信を行う。また、サーバ１３から各種データを受信して、ストレージ２２への記録や、要求されたデータの送信等を行う。また、アプリケーション管理部２０１は、解析部２０３による解析結果を取得し、表示制御部２０２に出力する。

表示制御部２０２は、ストレージ２２に記憶された動画アプリケーションプログラム２２０を実行することにより機能するものであり、センサユニット２４から各種の情報を取得して、動画アプリケーション上で画像を表示する。表示制御部２０２は、配信モード及び視聴モードにおいて、解析部２０３によるユーザの表情等の解析結果に基づき特定されたアバター表現をアバターオブジェクトに反映させる。

また、表示制御部２０２は、アバターオブジェクト、アバターオブジェクト以外のオブジェクトについてレンダリングを行う。ここでいうレンダリングは、透視投影、隠面消去（ラスタ化）等の描画処理を含む。レンダリングは、これらのうち少なくとも一つの処理であってもよい。また、上記の処理に加えて、シェーディング、テクスチャマッピング等の処理を含んでいてもよい。また、表示制御部２０２は、レンダリングされた画像を用いてアニメーションを生成する。さらに、表示制御部２０２は、アニメーションと、視聴ユーザのユーザ装置１２から送信された投稿メッセージ又はサーバ１３から送信された通知、操作ボタン等のＧＵＩ（Graphical User Interface）パーツ等とを合成した（又は重畳した）動画データをディスプレイ２８に出力する。

解析部２０３は、動画アプリケーションプログラム２２０以外のプログラムを実行することにより機能するものであってもよく、動画アプリケーションプログラム２２０を実行することにより機能するものであってもよい。解析部２０３は、ユーザの顔を構成するユーザ部位の変化量を検出する。ユーザ部位は、ユーザの身体を構成する部位であって、本実施形態では左眉、右眉、左瞼、右瞼、左目、右目、左頬、右頬、鼻、頭部、上半身全体等である。変化量は、ユーザ部位の位置の変化量であって、単位時間当たりの変化量、又は配信モードの開始時や所定時間前におけるユーザ部位の位置を基準としたときの変化量等である。

表示制御部２０２は、解析部２０３による解析結果であるユーザ部位の各々の変化量を取得する。また、表示制御部２０２は、予め定められた判定方法によって、変化量に基づき、アバター表現を発動させるか否かを判定する。例えば、ユーザ部位の各々の変化量を、アバターデータ２２１に含まれるユーザ部位の各々の閾値と比較する。閾値は、「口を開ける」、「目を閉じる」等のアバター表現について、各部位の閾値として設定されている。そして、表示制御部２０２は、特定部分の各々の変化量の全てが各閾値を上回る旨を判定したことを契機として、閾値を上回った表現をアバターオブジェクトに適用する。

次にサーバ１３について説明する。サーバ１３は、動画を配信するためのサービスを提供する１乃至複数のサービス提供者等が用いるものである。サーバ１３は、コンピュータプロセッサ３０と、メモリ３３と、ストレージ３５と、通信Ｉ／Ｆ３４とを備えている。コンピュータプロセッサ３０は、ユーザ装置１２のコンピュータプロセッサ２０と同様な構成である。また、メモリ３３、ストレージ３５、通信Ｉ／Ｆ３４は、ユーザ装置１２と同様な構成である。サーバ１３は複数の装置から構成されていてもよく、コンピュータプロセッサ３０、メモリ３３、ストレージ３５、通信Ｉ／Ｆ３４はそれらの装置に分散されて設けられていてもよい。

コンピュータプロセッサ３０は、配信管理プログラムを実行することにより配信管理部３０１として機能する。配信管理部３０１は、ユーザ装置１２から受信した各種データをストレージ３５に記憶する。さらに、配信管理部３０１は、ユーザ装置１２から要求されたデータをストレージ３５等から取得してユーザ装置１２に送信する。具体的には、配信管理部３０１は、ユーザ装置１２からの要求に応じて、配信中の動画のリストを送信する。配信管理部３０１は、リストの中からリクエストされた動画の識別情報をユーザ装置１２から受信すると、リクエストされた動画の配信ユーザが用いるユーザ装置１２から送信される各種のデータを、リクエストを行ったユーザ装置１２に送信する。

また、配信管理部３０１は、動画を視聴するユーザから投稿された投稿メッセージ等を受信する。さらに配信管理部３０１は、受信した投稿メッセージを、動画を配信するユーザのユーザ装置１２及び動画を視聴するユーザのユーザ装置１２に送信する。投稿メッセージには、メッセージの内容の他、メッセージを送信したユーザの識別情報（ユーザのアカウント名等）等が含まれる。また、配信管理部３０１は、視聴ユーザが動画の視聴を開始したときに、例えば「ユーザＡさん入室しました」の通知メッセージを全てのユーザ装置１２に送信する。ユーザ装置１２は、受信した通知メッセージを投稿メッセージの表示欄に表示する。

配信管理部３０１は、動画を視聴するユーザが用いるユーザ装置１２から、視聴中の動画へのオブジェクトの表示要求を受信する。表示要求が行われるオブジェクトは仮想空間内に表示されるオブジェクトであって、動画を視聴するユーザから贈られるギフトオブジェクトのほか、動画を好評価する評価オブジェクト等を含む。配信管理部３０１は、受信したギフトオブジェクトの表示要求を、ギフトオブジェクトの識別情報とともに動画を配信するユーザのユーザ装置１２及び動画を視聴するユーザのユーザ装置１２に送信する。ユーザ装置１２は、受信したギフトオブジェクトに関する通知メッセージを投稿メッセージの表示欄に表示する。

配信管理部３０１は、ユーザ装置１２からの要求に応じて、購入対象の購入処理を行う。購入処理には、動画アプリケーションプログラム内で利用可能なコイン、ポイント、チケット等の対価（媒体）を支払って、購入対象を入手する購入が含まれる。購入対象には、仮想空間に表示される「花火」、「花」、「掛け軸」等のオブジェクト、アバターオブジェクトが装着可能な「服」、「帽子」等の装着オブジェクトが含まれる。また、購入対象には、アバターオブジェクトに適用される表情や手足の動作等のアバター表現が含まれる。配信管理部３０１は、ユーザ装置１２から購入要求を受信し、対価をユーザに関連付けられた仮想通貨やポイント等の支払情報から減じる処理を行うと、購入対象を、ユーザによって保有されるものとしてユーザに関連付けてユーザ装置１２又はサーバ１３に記録する。購入対象の売上は、例えば配信ユーザ及びサービス提供者に分配される。

また、配信管理部３０１は、ユーザのユーザ装置１２からの抽選要求に応じて、抽選処理を行う。抽選処理には、アバター表現の抽選処理が含まれる。ユーザ装置１２は、抽選要求を受け付けると、複数（Ｎ個、例えば６４個）のアバター表現の中から、所定数（Ｍ個、Ｍ＜Ｎ、例えば８個）のアバター表現を選択する。そして、選択した所定数のアバター表現に関するデータを配信ユーザのユーザ装置１２に送信する。保有されたアバター表現は、ユーザ自身が配信する動画内で発動することができる。また、動画を視聴する視聴ユーザが、動画を配信する配信ユーザに贈るギフトとして、ユーザ装置１２から抽選要求をサーバ１３に送信するようにしてもよい。この場合、ギフトを受け取ったユーザが、アバター表現を保有できる。なお、抽選要求に対価が必要な場合には、抽選要求を行ったユーザが支払う。具体的には、配信ユーザが抽選要求を行った場合には、サーバ１３は配信ユーザに関連付けられた媒体（コイン、チケット、ポイント等）を抽選要求の分だけ減じる。また、視聴ユーザが抽選要求を行った場合には、サーバ１３は視聴ユーザに関連付けられた媒体（コイン、チケット、ポイント等）を抽選要求の分だけ減じる。

次に、サーバ１３のストレージ３５に格納された各種のデータについて説明する。ストレージ３５には、ユーザ管理情報３５０、アバターデータ３５１、オブジェクトデータ３５２が格納されている。

ユーザ管理情報３５０は、動画アプリケーションプログラムを用いるユーザに関する情報であって、ユーザ識別情報、ポイント等を含む。アバターデータ３５１は、各ユーザに対応付けられたアバターオブジェクトを描画するためのデータであって、ユーザ装置１２の要求に応じて、ユーザ装置１２に送信される。アバターデータ３５１には、アバターオブジェクトに、顔の表情や手足の動作を適用するためのアバター表現データが含まれる。ユーザ装置１２のストレージ２２に記録されたアバターデータ２２１にもアバター表現データが含まれているが、サーバ１３のアバターデータ３５１には、ユーザ装置１２のアバター表現データには含まれないデータも含まれている。サーバ１３は、ユーザ装置１２からの要求等に応じて、ユーザ装置１２に追加するアバター表現データを送信する。オブジェクトデータ３５２は、ギフトオブジェクトやほかのオブジェクトを描画するためのデータであって、ユーザ装置１２の要求に応じて、ユーザ装置１２に送信される。

図２は、サーバ１３のストレージ３５に記録されるアバター表現データ３５３の一例である。アバター表現データ３５３は、アバターオブジェクトに適用する表情のデータを含んでいる。アバター表現である表情には、「口を開ける」、「目を閉じる」等の基本的な表情（図示略）のほかに、「びっくり顔（驚いた表情）」、「目がハート（目がハート型になる表情）」、「困り顔（困った表情）」、「はてな顔（疑問がある表情）」等が含まれる。これらの表情の中には、人間が実現できる表情のほか、人間が直接的な動作によって表現できない表情が含まれる。また、アバター表現データ３５３に基づき発現される表情には、顔の部位の位置を変化させる表現のほか、感嘆符や疑問符、汗や涙、頬の赤らみ等のユーザ部位以外によって発現される演出表現も含まれる。アバター表現の各々には、互いに異なる内容の発動条件が関連付けられている。

図３は、発動条件の詳細が規定された発動条件データ３５４の一例である。発動条件データ３５４は、「目がハート」のアバター表現を発動するためのデータであって、その表現を発動するか否かを判定する対象となるユーザ部位として、左目、右目、口等が設定されている。また、ユーザ部位の各々に、変化量の閾値（基準情報）が関連付けられている。例えば「左目」及び「右目」については、目が細く変化したことを判定するための閾値（例えば「－０．６」）が設定されている。ユーザ部位の変化量が、一つのアバター表現に対して設定された全てのユーザ部位の閾値を超えると、そのアバター表現が発動される。例えば、「左目」及び「右目」の変化量は閾値を超えるものの、「口」等のユーザ部位の変化量が閾値以下となった場合、「目がハート」のアバター表現は発動されない。なお、閾値が負の値の場合は、変化量が負の値であってその絶対値が閾値の絶対値よりも大きくなった場合に、閾値を超えたと判定する。

アバター表現に応じて、発動条件データ３５４のユーザ部位の組み合わせは異なっていてもよい。例えば「目がハート」のアバター表現に対しては、「左目」、「右目」、「口」等のユーザ部位について閾値が設定されているが、「はてな顔」は「左目」、「右目」等の閾値が設定されず、「目がハート」のアバター表現には設定されていない「頭部」が設定されていてもよい。

なお、上述したように解析結果とモデルデータとの類似度を用いて発動条件を満たすか否かを判定する場合には、まず図３に示すユーザ部位毎の閾値を用いて、ユーザ部位の変化量「Ｃ」と変化量の閾値「Ｃｔｈ」との差分の二乗「（Ｃ－Ｃｔｈ）＾２」を求める。さらに、差分の二乗「（Ｃ－Ｃｔｈ）＾２」を加算し、二乗和を求める（Σ（Ｃｋ－Ｃｋｔｈ）＾２、「ｋ」はユーザ部位に割り振られた自然数）。そして、求められた二乗和が、一定値以下である場合には、類似度が高いものとして、発動条件を満たすと判定する。

次に図４を参照して、ユーザ装置１２を用いた動画の配信方法について説明する。なお、動画の配信及び視聴に用いられるユーザ装置１２を、スマートフォンとして説明する。ユーザ１００は、少なくとも自身の顔がセンサユニット２４の検出範囲１０１に含まれるようにユーザ装置１２と対峙して、動画アプリケーションプログラム２２０を実行する。このとき、ユーザ１００は、動画アプリケーションプログラム２２０を配信モードにする。アバターオブジェクトの位置は、ユーザ１００とセンサユニット２４との相対距離Ｌに応じて変化する。相対距離Ｌの変化は、図４中、ｘ軸正方向、ｘ軸負方向、ｚ軸正方向及びｚ軸負方向の距離の変化として検出される。

次に図５を参照して、ユーザ装置１２に表示される配信モード画面１１０について説明する。配信モード画面１１０は、動画アプリケーションを配信モードとして起動したときに表示され、ユーザ１００に対応するアバターオブジェクト１１１が表示されている。図５に示す配信モード画面１１０は、配信モードであって、且つ配信を開始していない状態を示す。つまり、このときの配信モード画面１１０は、ユーザ１００のみが視認するクローゼットモードの画面であり、他のユーザは視聴していない。この画面においては、アバターオブジェクト１１１の装着オブジェクトや髪型等の変更、アバターオブジェクト１１１の動作のテスト等を行うことができる。アバターオブジェクト１１１の表情は、ユーザ１００の表情の変化に伴い変化する。例えば、ユーザ１００が目を閉じると、センサユニット２４の検出結果が反映されることによってアバターオブジェクト１１１も目を閉じる。さらに、アバターオブジェクト１１１の頭部は、センサユニット２４の検出結果が反映されることによってユーザ１００の頭部の動きに伴い動く。また、上述したように、アバターオブジェクト１１１の上半身の位置は、ユーザ１００とセンサユニット２４との相対距離の変化に応じて変化する。

配信モード画面１１０には、配信切替ボタン１１３と、リスト表示ボタン１１４～１１７とが表示される。配信切替ボタン１１３が選択されると、動画の配信を開始したり、動画の配信を停止したりすることができる。リスト表示ボタン１１４は、複数のアバターオブジェクトから所望のアバターオブジェクト１１１を選択するためのリストを表示する。リスト表示ボタン１１５，１１６は、アバターオブジェクトの目と耳等の部位を選択するためのアイコンである。リスト表示ボタン１１７は、アバターオブジェクトの表情のリストを表示するためのアイコンである。また、抽選ボタン１１８は、上述した装着オブジェクトや、アバターの表情等のアバター表現の抽選を実行するためのアイコンである。

抽選ボタン１１８が選択されると、抽選の対価を支払うことについて確認するための確認画面が対価とともに表示される。ユーザ装置１２は、この確認画面においてユーザの確認操作を受け付けると、サーバ１３に抽選要求を送信する。アバター表現の抽選要求を送信した場合、ユーザ装置１２は抽選結果であるアバター表現データ３５３をサーバ１３から受信する。受信したアバター表現データ３５３はユーザ装置１２のストレージ２２に記録される。

図６に示すように、ユーザ装置１２が抽選結果を受信すると、表示制御部２０２は、アバター表現データ３５３に含まれる所定のデータを読み出して、ガイド表示１２０を表示する。ガイド表示１２０には、サーバ１３によって選択されたＭ個（例えば８個）のアバター表現が表示されている。これらの表現のうちユーザ１００が発動条件を満たすことのできたものがユーザ１００に利用可能に提供される。ユーザは、ガイド表示１２０に含まれるアバター表現を発動させるために、ガイド表示１２０に含まれる表現を参考にして、表情を変化させる。例えば「びっくり顔」を発動させるために目を大きく見開いたり、「目がハート」を発動させるために笑顔をつくったりする。

ユーザ装置１２の解析部２０３は、センサユニット２４により検出されたモーションデータに基づき、ユーザ部位の変化量を所定のサンプリング間隔で特定する。表示制御部２０２は、解析部２０３から変化量を取得し、サーバ１３から受信したアバター表現データ３５３を参照して、ユーザ部位の各々の変化量がアバター表現の発動条件を満たすか否かを判定する。

図７に示すように、表示制御部２０２は、ユーザ部位の変化量が、「目をハートにする」のアバター表現の発動条件を満たす場合に、「目をハートにする」のアバター表現を発動させる。発動されたアバター表現は、ユーザ装置１２のストレージ２２に、引き続き発動可能なアバター表現として記録される。利用可能となったアバター表現は、リスト表示ボタン１１７を選択操作することで、画面に表示することができる。つまり、ユーザ１００と関連付けて記録されたアバター表現は、その後の動画の配信等で利用可能となる。発動されなかったアバター表現は、利用不可能とされる。

配信モード画面１１０では、ガイド表示１２０の中で、発動可能なアバター表現をフレーム１２２等で囲む等、発動ができないアバター表現と識別可能に表示してもよい。又は、発動可能なアバター表現を、発動ができないアバター表現とは別に表示してもよいし、発動ができないアバター表現を消去してもよい。

また、アバター表現を発現する時間を制限するようにしてもよい。例えば、アプリケーション管理部２０１は、ガイド表示１２０を表示した時点からの経過時間を計測し、制限時間から経過時間を減じた残り時間１２１をガイド表示１２０と合わせて表示してもよい。なお、残り時間ではなく経過時間を表示しても良い。

さらに、ガイド表示１２０に含まれる複数のアバター表現のうち最初に発動できた一つをユーザ１００により利用可能に提供してもよいし、制限時間内に発動できたアバター表現を全てユーザ１００により利用可能としてもよい。また、制限時間内に発動できなかったアバター表現については、対価を追加で支払うこと等により、アバター表現の取得に再挑戦できるようにしてもよい。

また、制限時間内にアバター表現を発動できた場合、報酬を付与するようにしてもよい。報酬は、動画アプリケーション内で利用可能な媒体（コイン、ポイント、チケット等）、又はオブジェクトである。オブジェクトは、発動できたアバター表現とは異なるアバター表現、アバターオブジェクトに装着可能な装着オブジェクト、動画を演出する各種のオブジェクト等である。さらに複数のアバター表現が発動できた場合には、一つのアバター表現が発動できた場合に比べ、ユーザ１００にとって価値が高い、若しくは動画配信をより効率的に行うことを可能とする又は高品質な動画を配信することができる報酬を付与するようにしてもよい。又は、単に報酬の数を増加させてもよい。

つまり、抽選により選択されたアバター表現が無条件にユーザ１００によって利用可能になるのではなく、ガイド表示１２０に含まれるアバター表現のうち、ユーザ１００が発動できた表現のみがユーザ１００によって利用可能となる。よって、ユーザは、抽選への期待感だけでなく、自身の表情を変化させることによってアバター表現の発動条件を探る楽しさを感じることができる。また、実際にはユーザ１００が発動できない非現実的なアバター表現も、ユーザ１００に付与されるアバター表現の候補の中に含まれるので、ユーザ１００は意外性を覚え、アバター表現を発動させようとする意欲が高まる。

さらに、発動条件を最初に満たしたアバター表現がユーザ１００により利用可能となるため、次にそのアバター表現を発動する機会においては、ユーザが発動条件を概ね把握しているために容易にアバター表現を発動することができる。その結果、新たに取得されたアバター表現の利用率を高めることができる。また、ユーザ１００が発動させようとしても発動できない可能性のある他のアバター表現はユーザ１００に提供されない。このため、抽選に対し対価を支払った場合には、対価を支払ったにも関わらずユーザ自身が発動できないアバター表現が提供されることを防ぐことができるため、ユーザの満足度を高めることができる。

図８は、クローゼットモードではなく動画の配信中にアバター表現の取得が行われる場合の配信モード画面１１０である。つまり、配信切替ボタン１１３を「オン」にした状態であって、動画の配信を開始し、配信モード画面１１０を配信を行うユーザ１００だけでなく、他のユーザが視聴している状態においても、抽選ボタン１１８を選択することができる。なお、動画を視聴するユーザのユーザ装置１２のディスプレイ２８には、配信モード画面１１０と同じアバターオブジェクト１１１を含む視聴画面が表示される。この場合、サーバ１３は、抽選の対価を支払うことについて確認するための確認画面を、配信を行うユーザ１００が用いるユーザ装置１２のみに表示させ、動画の視聴を行うユーザ１００が用いるユーザ装置１２には表示させないようにする。これにより、ユーザ１００の保有する対価（コイン、ポイント、チケット等）を、動画の視聴を行うユーザ１００に公開しないようにすることができる。

動画の配信中に、ユーザ１００の操作によりガイド表示１２０を表示させ、ユーザ１００がガイド表示１２０のアバター表現を発動させようとして表情を変えると、その表情の変化をユーザ１００が用いるユーザ装置１２のセンサユニット２４が検知して、アバターオブジェクト１１１に反映される。そのため、動画を視聴する視聴ユーザは、様々な表情を試すユーザ１００の様子を、アバターオブジェクト１１１の表情の変化として視認することができる。なお、ガイド表示１２０は、アバター表現の取得という場面を共有する意味では視聴画面に表示されることが好ましいが、画面にガイド表示１２０を表示するスペースが無い場合等には視聴画面に表示されなくてもよい。

（動作）
図９及び図１０を参照して、アバター表現の取得処理の手順について、その動作とともに説明する。図９は、サーバ１３が実行する抽選処理の手順を示す。サーバ１３の配信管理部３０１は、ユーザ装置１２から抽選要求を受信する（ステップＳ１）。サーバ１３は、抽選対象の複数のアバター表現の中から、複数のアバター表現を選択する（ステップＳ２）。また、サーバ１３は、選択した複数のアバター表現データを、抽選要求を送信したユーザ装置１２へ送信する（ステップＳ３）。アバター表現は、抽選要求を行ったユーザが所持していないアバター表現から選択されてもよく、ユーザが所持しているか否かを問わず不特定多数のアバター表現から選択されてもよい。

図１０は、ユーザ装置１２が実行するアバター表現の取得処理の手順を示す。この処理は、ガイド表示工程、変化量取得工程、発動工程、提供工程及び判定工程を含む。ユーザ装置１２のアプリケーション管理部２０１は、抽選結果であるアバター表現データをサーバ１３から受信し（ステップＳ１１）、ストレージ２２に記録する。また、表示制御部２０２は、ユーザ１００の操作に基づき、ストレージ２２からガイド表示１２０を表示するためのデータを読み出し、ガイド表示１２０をディスプレイ２８に出力する（ステップＳ１２）。また、アプリケーション管理部２０１は、ガイド表示１２０を表示してからの経過時間の計測を開始する（ステップＳ１３）。表示制御部２０２は、制限時間までの残り時間をディスプレイ２８に出力する。ユーザ１００は、ガイド表示１２０に含まれる複数のアバター表現を参考にしながら、様々な表情を試す。

表示制御部２０２は、解析部２０３から、ユーザ１００の表情の解析結果を取得する（ステップＳ１４）。表示制御部２０２は、解析結果と発動条件データ３５４とを比較して、解析結果が、ガイド表示１２０に含まれるいずれかのアバター表現の発動条件を満たすか否かを判定する（ステップＳ１５）。

表示制御部２０２は、解析結果と発動条件データ３５４とを比較して、解析結果がガイド表示１２０に含まれるいずれかのアバター表現の発動条件を満たすと判定すると（ステップＳ１５：ＹＥＳ）、発動条件を満たすアバター表現を配信モードにおいて利用可能とする（ステップＳ１６）。

一方、表示制御部２０２が、解析結果がガイド表示１２０に含まれるアバター表現の発動条件を満たさないと判定すると（ステップＳ１５：ＮＯ）、その比較結果を受けて、アプリケーション管理部２０１は制限時間が経過したか否かを判断する（ステップＳ１７）。アプリケーション管理部２０１が、制限時間が経過していないと判断すると（ステップＳ１７：ＮＯ）、ステップＳ１４に戻り、ユーザ１００の表情の解析を繰り返す。

アプリケーション管理部２０１が、制限時間が経過したと判断すると（ステップＳ１７：ＹＥＳ）、表示制御部２０２は、抽選された表現以外の表現をユーザ１００に利用可能とする（ステップＳ１８）。つまり、ユーザ１００がアバター表現の発動条件のいずれも満たせなかった場合には、ガイド表示１２０に含まれるアバター表現以外のアバター表現が付与される。このアバター表現は、サーバ１３から受信したアバター表現データに予め含まれていてもよいし、制限時間が経過したと判定した場合にサーバ１３からダウンロードするようにしてもよい。このように、ユーザ１００がガイド表示１２０に含まれるアバター表現に合致する表情を実現することができなくても、新たなアバター表現がユーザに付与されるので、抽選に対するユーザの満足度が低下することを抑制することができる。

次に、本実施形態の効果について説明する。
（１）ユーザ１００は、配信モード画面１１０に表示されるガイド表示１２０を確認し、ガイド表示１２０に表示された表現に合わせるように動作する。そして、ユーザ１００の動きに基づくユーザ部位の変化量が、ガイド表示１２０に含まれる表現の発動条件を満たした場合に、その表現が適用されたアバターオブジェクト１１１が表示され、ユーザに利用可能に提供される。つまり、ユーザ自身が表現を発動できることを理解し、且つ表現の発動の方法をある程度把握した後に、その表現が引き続き利用可能な状態となるため、動画を配信する際にもその表現を発動させやすくなる。その結果、新たに提供した表現の利用率が高まり、動画の表現を多様化させることによって動画を視聴するユーザを飽きさせないようにすることが可能となる。その結果、動画を視聴するユーザの数や、視聴時間、視聴回数等を増加させることができる。また、動画を視聴するユーザの寄与を明確にすることで、抽選の効果を向上することができる。

（２）ユーザ１００が発動できるアバター表現のみをユーザ１００に提供し、発動できない可能性のあるアバター表現を提供しない。このため、ユーザは、自身が発動できるアバター表現のみを取得できる。特に、アバター表現の取得に対価を必要とする場合には、発動できないアバター表現には対価が支払われないことになるため、ユーザの満足度を高めることができる。

（３）ユーザ１００がガイド表示１２０に表示されたいずれの表現を発動できない場合にも、ガイド表示１２０に含まれない他のアバター表現等を提供することにより、ユーザの満足度を高めることができる。

（４）ユーザ装置１２は、ユーザ部位の変化量が発動条件を満たすか否かを判定する。このため、サーバ１３が判定処理を行う場合に比べ、サーバ１３の処理負荷を軽減するとともにサーバ１３との間で送受信されるデータ量を低減することができる。

（５）ガイド表示１２０にはアバターオブジェクト１１１の表情が表示され、発動条件を満たした表情がユーザ１００に提供される。このため、アバターオブジェクト１１１の表情を多様化することによって、視聴ユーザを飽きさせない動画を配信することが可能となる。

（６）ユーザ１００に提供されるアバター表現の候補は抽選によって選択される。これによれば、ユーザ１００に提供される表現について、ユーザに期待感をもたせることができる。

（第２実施形態）
次に、プログラム、情報処理方法及び情報処理装置の第２実施形態について説明する。第１実施形態は、表情を特別表現としてユーザに関連付けて付与する態様としたが、本実施形態は、表情に加え、手足の動作を特別表現としてユーザに関連付ける点で第１実施形態と異なっている。以下、第１実施形態と同様の部分については同一符号を付してその詳細な説明を省略する。

図１１に示すように、ユーザ１００は、動画を配信するスタジオから動画を配信する。動画配信スタジオ１５０に設置された動画配信システム１５１は、カメラ１５２、マイク１５３、コントローラ１５５、ディスプレイ１５７及び配信装置１６０を備える。また、動画配信システム１５１は、ユーザ１００の手部位、足部位に装着された装着センサ１５６、装着センサ１５６の位置を特定するための位置検出部１５４等を含むトラッキングシステムを備える。カメラ１５２は、ユーザ１００の顔を撮影する。サーバ１３は、トラッングシステムから取得したトラッキングデータ、カメラ１５２から取得した表情データをアバターオブジェクト１１１に適用したアニメーションを生成する。また、仮想空間の背景とアバターオブジェクトとをレンダリングしたアニメーションを音声とともに動画データとしてユーザ装置１２に配信する。また、例えば、トラッキングシステムは、配信ユーザの身体に装着されたマーカー若しくはそれと同等な特徴点を同等する画像処理部及びカメラ等から構成してもよい。配信装置１６０は、第１実施形態のユーザ装置１２と同様な構成であり、ネットワークを介してサーバ１３と通信可能に接続されている。

装着センサ１５６は、ユーザ１００の手足の他、頭部等、ユーザ１００の様々なユーザ部位に装着され得る。例えば、装着センサ１５６は、手の指に装着し、指の動きを検出するものであってもよい。ユーザ１００に装着される装着センサ１５６の個数は、５つ以下でもよいし７以上であってもよい。位置検出部１５４は、装着センサ１５６の位置を特定するための外部センサを含んでいてもよい。この外部センサは、例えば、多軸レーザエミッターである。外部センサは、同期用のパルスレーザ光を出射する。装着センサ１５６は、レーザ光を検出するセンサを備え、同期パルスで同期をとりつつ、自らの位置及び向きを検出する。装着センサ１５６は、例えば、HTC Corporationから提供されているVive Trackerを用いることができる。また、位置検出部１５４のセンサは、HTC Corporationから提供されているVive Base Stationを用いることができる。また、上記の構成に加えて若しくは代えて、装着センサ１５６は、自律して位置を特定するためのセンサを内蔵していてもよい。例えば、装着センサ１５６は、多軸加速度センサ、ジャイロ、及び地磁気センサのうち少なくとも一つを備えていてもよい。また、装着センサ１５６は、外部センサと協働するものと、外部センサと協働しないものの両方を用いてもよい。また、装着センサ１５６は、単体でその向き又は位置を検出できるものであってもよい。

図１２に示すように、配信装置１６０、又は配信装置１６０と接続されたサーバ１３には、第１実施形態の発動条件データ３５４に加え、ユーザ部位である手足の動きを発動条件としたアバター表現データ３５３Ａが格納されている。アバター表現データ３５３Ａには、アバター表現と、アバター表現の各々に設定された発動条件とが記録されている。アバター表現は、「拍手」、「ジャンプ」、「遠くへ飛ぶ」等であり、必ずしも人間の直接的動作によって再現される動作に限定されない例えば「バック転」のモーション表現（アバター表現）の発動条件には「両腕を上げる」が設定されている。発動条件には、腕等のユーザ部位について、ある初期の特徴的な時間区間における変化量が設定されている。発動条件が満たされるか否かの判定には、特定のキーフレームを用いてもよいが、複数の前駆動作を組み合わせた多段階の判定としてもよい。又は、ある時間区間におけるユーザ部位の変化量が発動条件を満たすか否かを判定してもよい。なお、キーフレームとは、ユーザ１００の一連の動作のうち、アニメーション再生の補完を行う上で特徴となる行列を保管したフレームであり、自動生成もしくは制作者が事前に設定する、ポーズや表情を構成する各関節を定義する行列や特徴部位の変化量といった時間的変化要素を表現する数値である。

配信装置１６０は、カメラ１５２及び位置検出部１５４から検出データを取得して、ユーザ１００の動作を解析する。配信装置１６０は、アバター表現データ３５３，３５３Ａを参照して、ユーザ１００の動作の解析結果が、アバター表現データ３５３，３５３Ａの発動条件を満たすか否かを判定する。

本実施形態では、第１実施形態と同様に、サーバ１３によってアバター表現の抽選が行われる。ユーザ１００のコントローラ１５５の操作によって抽選要求が行われてもよいし、ユーザ１００以外の動画配信スタジオ１５０に存在する作業者により抽選要求を送信するための操作が行われてもよい。配信装置１６０は、ユーザ１００等の指示にしたがって、サーバ１３に抽選要求を送信する。

配信装置１６０は、複数のアバター表現を含むガイド表示１２０をディスプレイ１５７に表示する。本実施形態では、ガイド表示１２０は、手足の動作に関するアバター表現を含む。また、ガイド表示１２０には、表情のアバター表現が含んでいてもよい。

図１３（ａ）は、「拍手」のアバター表現が発動されたアバターオブジェクト１１１の配信モード画面１１０である。ユーザ１００が手を合わせる動作し、「拍手」のアバター表現に対応する発動条件を満たしたとき、アバターオブジェクト１１１が手の平を繰り返し合わせる「拍手」のアバター表現が発動される。このとき、拍手の音声データをユーザ装置１２のスピーカ２５から出力させるようにしてもよい。また、「拍手」のアバター表現は、所定時間が経過した後に終了するようにしてもよいし、手を合わせる動作を終了したときに終了するようにしてもよい。

図１３（ｂ）は、「遠くへ飛ばされる」のアバター表現が発動された配信モード画面１１０である。ユーザ１００が、「遠くへ飛ばされる」に対応する発動条件を満たすことで、このアバター表現が発動される。アバターオブジェクト１１１Ａは、アバターオブジェクト１１１のモデルを異ならせた又は簡素化させたものである。発動されたアバター表現は、配信装置１６０のストレージ（図示略）に利用可能に記録される。

このようにユーザ１００の表情に加え、手足の動きを検出し、発動条件が満たされる場合にはアバター表現を発動するので、アバターオブジェクト１１１の表現を多彩にすることができる。また、例えば「拍手」といったアバター表現を発動する場合、ある程度の時間区間において「拍手」が繰り返し再生されることが望ましいが、ユーザ１００は実際に拍手をせずに手を合わせる動作を行えば、予め設定された時間区間、「拍手」のアバター表現が継続される。このため、トラッキングシステムによって「拍手」等の素早い動作やその他の複雑な動作を検出しなくても、所望の動作をアバターオブジェクトに行わせることができる。また、非現実的なアバター表現も、実際のユーザ１００の動作で実行させることができる。

第２実施形態によれば、第１実施形態の（１）～（６）に記載の効果に加え、以下の効果が得られる。
（７）ガイド表示１２０にはアバターオブジェクト１１１の手足の動き等である動作が表示され、発動条件を満たした表情がユーザ１００に提供される。このため、アバターオブジェクト１１１の動作を多様化することによって、視聴ユーザを飽きさせない動画を配信することが可能となる。

上記各実施形態は、以下のように変更して実施することができる。上記各実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・第１実施形態では、ガイド表示１２０に表示されるアバター表現は表情のみとした。これに代えて、アバター表現は、表情と手足等の動きとの組み合わせであってもよい。図１４に示すように、アバター表現データ３５３Ｂは、表情のアバター表現と手足等の動きのアバター表現との組み合わせに対し、発動条件が関連付けられている。手足の動き等のアバター表現は、例えば「両手を挙げる」、「両手を組む」等である。発動条件が満たされると、表情と手足等の動きを組み合わせたアバター表現が発動される。このようにすると、ユーザ１００が表情を変えるだけで、アバターオブジェクト１１１の表情だけでなく、手（腕）、足、及び頭部（首）も表情に連動して変化するため、解析部２０３による解析処理の負荷を軽減しつつも、躍動的な動画を配信することができる。

・第２実施形態では、動画配信スタジオ１５０に設置された動画配信システム１５１によって、ユーザ１００の手足の動きを検出するようにした。これに代えて若しくは加えて、ユーザ装置１２の表示制御部２０２が、ユーザ１００の手足を認識できれば、ユーザ装置１２が手足の動きを検出するようにしてもよい。

・上記各実施形態では、サーバ１３が複数のアバター表現を抽選処理により選択するようにした。これに代えて、サーバ１３が一つのアバター表現を抽選処理により選択するようにしてもよい。或いは、サーバ１３は、抽選処理を行わなくても良い。つまり、抽選処理を行わず予め定められたアバター表現が含まれるテンプレートのようなガイド表示１２０をユーザ装置１２に出力させてもよい。そして、ガイド表示１２０に含まれるアバター表現のうち発動条件を満たしたものをユーザ１００に利用可能とするようにしてもよい。

・上記各実施形態では、ガイド表示１２０に含まれる表情のいずれかの発動条件が満たされた場合にその表情をユーザに提供するようにした。これに代えて、ガイド表示１２０に、「当たり」の表情と「はずれ」の表情とを表示してもよい。そして、ユーザ部位の変化量が「はずれ」の表情の発動条件を満たす場合にはアバター表現を提供せず、「当たり」の表情の発動条件を満たす場合のみ、「当たり」の表情をユーザ１００に利用可能に提供してもよい。また、「はずれ」の表情は、単に表情が発動しない状態としてもよい。

・上記各実施形態では、動画の配信を行うユーザ（配信ユーザ）が、アバター表現を取得するためにガイド表示１２０に表示された表現を参考にして動作するようにした。これに代えて、動画を視聴するユーザ（視聴ユーザ）が、ガイド表示１２０に表示された表現を参考にして動作し、ガイド表示１２０に表示された表現の発動条件を満たした場合に、配信ユーザにその表現を利用可能に提供してもよい。

・上記各実施形態では、アバターオブジェクトやその他のオブジェクトをレンダリングするクライアントレンダリング方式について説明したが、これ以外の動画配信方式によって動画を配信するようにしてもよい。例えば、動画配信を行うユーザ１００が用いるユーザ装置１２がレンダリングを行う映像配信方式であってもよい。この方式では、配信ユーザのユーザ装置１２は、センサユニット２４の検出結果をアバターオブジェクト１１１に適用し、各オブジェクトをレンダリングして動画を生成する。そして、ユーザ装置１２は、生成した動画データをサーバ１３に送信する。サーバ１３は、動画データを受信し、その動画を視聴している視聴ユーザのユーザ装置１２に動画データを送信する。ユーザ装置１２は、送信された動画データに基づき動画を出力する。

又は、サーバ１３が動画を生成するサーバ配信方式であってもよい。この配信方式では、配信ユーザのユーザ装置１２は、センサユニット２４の検出結果又は解析部２０３の解析結果をサーバ１３に送信する。解析結果が発動条件を満たすか否かの判定は、ユーザ装置１２側で行ってもよいが、サーバ１３が行ってもよい。そして、解析結果が発動条件を満たす場合又は解析結果が発動条件を満たさないと最終的に判定した場合、ユーザ装置１２又はサーバ１３が判定した結果をトリガーとして動画を視聴するユーザ１００のユーザ装置１２や動画を配信するユーザ１００のユーザ装置１２に配信する。ユーザ装置１２は、受信したトリガーに基づき判定結果に応じたアニメーションを再生するようにしてもよい。サーバ１３は、検出結果又は解析結果に基づいて動画データを生成し、動画データを、視聴ユーザのユーザ装置１２に動画データを送信する。ユーザ装置１２は、受信した動画データに基づく動画を表示する。

・上記実施形態では、ユーザ装置１２には、動画を視聴及び配信するための動画アプリケーションプログラムがインストールされているものとした。これに代えて、動画を視聴するためのアプリケーションプログラムと、動画を配信するためのアプリケーションプログラムとを別のアプリケーションプログラムとしてもよい。配信を行う場合には配信アプリケーションプログラムを用いて動画を配信する。視聴を行う場合には視聴アプリケーションプログラムを用いて動画を視聴する。ギフトオブジェクトの表示要求は、視聴アプリケーションプログラムを用いて行う。

・動画に、現実世界の画像を含む映像を表示してもよい。例えば、動画に、拡張現実（ＡＲ；Augmented Reality）の空間を表示させるようにしてもよい。例えば、ユーザ装置１２のカメラが撮影した現実世界の画像に、アバターオブジェクト及び他のオブジェクト等を重ねて表示する。この態様においては、ユーザ装置１２のカメラが撮像した画像を背景画像とする。

・上記実施形態では、動画の配信を行うユーザが一人の場合を例にして説明したが、動画の配信を行うユーザ１００は複数人であってもよい。複数人が動画の配信を行うコラボレーション配信（コラボ配信）では、ホストユーザとゲストユーザが設定されている。このうち、アバター表現の取得は、ホストユーザが行うようにしてもよい。又はコラボ配信に参加する複数のユーザ１００が同時に表情等を変化させ、最も早く発動条件を満たしたユーザ１００に、アバター表現を付与するようにしてもよい。この場合、ユーザ装置１２が解析結果をサーバ１３に送信する。サーバ１３は、アバター表現データ３５３をストレージ３５に記憶しており、解析結果とアバター表現データ３５３とを比較して、発動条件が満たされたか否かを判定する。

・上記各実施形態では、アバター表現の抽選の実行、抽選により選択されたアバター表現候補のうち、センサユニット２４のユーザ１００の表情や動作の検出結果の解析、その解析結果がアバター表現の発動条件を満たすか否かの判定、発動条件を満たすアバター表現を利用可能に付与することをユーザ装置１２が行うようにしたが、これらの処理のうち少なくとも一部をサーバ１３等のユーザ装置１２以外の装置が行うようにしてもよい。解析をサーバ１３が行う場合には、サーバ１３は、ユーザ装置１２からセンサユニット２４の検出結果を取得し、解析を行う。また、判定をサーバ１３が行う場合には、サーバ１３は、解析結果とサーバ１３のストレージ３５に記憶されたアバター表現データ３５３とを比較し、発動条件を満たすアバター表現の有無を判定する。また、アバター表現の付与をサーバ１３が行う場合には、サーバ１３は、ガイド表示１２０の描画データのみをユーザ装置１２に送信し、発動条件が満たされた場合に、そのアバター表現を描画するためのデータをユーザ装置１２に送信してもよい。又は、サーバ１３は、アバター表現を描画するためのデータを予めユーザ装置１２に送信しておき、発動条件が満たされた場合に発動条件が満たされたアバター表現の利用を許可する指示をユーザ装置１２に送信してもよい。

・上記各実施形態において、ユーザ装置１２は、センサユニット２４、スピーカ２５、マイク２６、操作部２７、ディスプレイ２８といった入出力装置を備えるものとした。これに代えて、これらの入出力装置は、外部装置としてユーザ装置１２に接続されるものであってもよい。また、ユーザ装置１２は、外部装置としての通信Ｉ／Ｆ２３及びストレージ２２の少なくとも一方に接続されるものであってもよい。

・上記各実施形態では、ユーザ１００は、自身が所持するユーザ装置１２を用いて動画を配信するようにしたが、ユーザ１００が配信する動画を視聴ユーザが視聴することができれば、これに限定されない。例えば、動画を、多数の視聴ユーザが参加するイベント会場に設置された大型ディスプレイに表示するようにしてもよい。
次に、上記実施形態及び別例から把握できる技術的思想について、以下に追記する。
［１］
１乃至複数のコンピュータに、
ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行させる情報処理プログラム。
［２］
前記ガイド表示工程は、複数の表現を含む前記ガイド表示を出力し、
前記提供工程は、前記複数の表現のうち、前記発動条件が満たされた前記表現のみを前記ユーザに提供する［１］に記載の情報処理プログラム。
［３］
前記変化量が前記発動条件を満たすか否かの判定に制限時間が設けられ、
前記提供工程では、前記制限時間内に前記発動条件を満たさない場合には、前記ガイド表示に表示された前記表現以外の表現を前記アバターオブジェクトに適用可能に記録する［１］又は［２］に記載の情報処理プログラム。
［４］
前記コンピュータに、
前記変化量が前記ガイド表示に含まれる表現の発動条件を満たすか否かを判定する判定工程をさらに実行させる［１］～［３］のいずれか１項に記載の情報処理プログラム。
［５］
前記判定工程は、前記ユーザ部位の前記変化量と前記ユーザ部位の基準情報との類似度を評価する類似度評価を含み、前記類似度が高い場合に前記発動条件を満たすと判定する［４］に記載の情報処理プログラム。
［６］
前記表現は、前記アバターオブジェクトの顔部位に適用される表情である［１］～［５］のいずれか１項に記載の情報処理プログラム。
［７］
前記表現は、前記アバターオブジェクトの手部位、足部位及び頭部の少なくとも一つに適用される動作である［１］～［６］のいずれか１項に記載の情報処理プログラム。
［８］
前記コンピュータに、
前記ガイド表示に表示される前記表現が選択された抽選結果を受信する工程をさらに実行させる［１］～［７］のいずれか１項に記載の情報処理プログラム。
［９］
１乃至複数のコンピュータが、
ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行する情報処理方法。
［１０］
ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択部と、
前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザが用いるユーザ装置に送信する第１送信部と、
前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザ装置に送信する第２送信部と、を備える情報処理装置。
［１１］
１乃至複数のコンピュータが、
ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択工程と、
前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザが用いるユーザ装置に送信する第１送信工程と、
前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザ装置に送信する第２送信工程と、を実行する情報処理方法。

１１…動画配信システム、
１２…ユーザ装置
１３…サーバ。

Claims (12)

1. １乃至複数のコンピュータに、
   ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
   前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
   前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行させ、
   前記変化量が前記発動条件を満たすか否かの判定に制限時間が設けられ、
   前記提供工程では、前記制限時間内に前記発動条件を満たさない場合には、前記ガイド表示に表示された前記表現以外の表現を前記アバターオブジェクトに適用可能に記録する
   情報処理プログラム。
2. １乃至複数のコンピュータに、
   ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
   前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たすか否かを判定する判定工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
   前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行させる
   情報処理プログラム。
3. １乃至複数のコンピュータに、
   ユーザの動きが反映されるアバターオブジェクトの表現が抽選された抽選結果を受信する工程と、
   前記ユーザの動きが反映されるアバターオブジェクト、及び抽選された前記表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
   前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
   前記変化量が前記ガイド表示に含まれる前記表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
   前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行させる
   情報処理プログラム。
4. 前記ガイド表示工程は、複数の表現を含む前記ガイド表示を出力し、
   前記提供工程は、前記複数の表現のうち、前記発動条件が満たされた前記表現のみを前記ユーザに提供する
   請求項１～３のいずれか１項に記載の情報処理プログラム。
5. 前記判定工程は、前記ユーザ部位の前記変化量と前記ユーザ部位の基準情報との類似度を評価する類似度評価を含み、前記類似度が高い場合に前記発動条件を満たすと判定する
   請求項２に記載の情報処理プログラム。
6. 前記表現は、前記アバターオブジェクトの顔部位に適用される表情である
   請求項１～５のいずれか１項に記載の情報処理プログラム。
7. 前記表現は、前記アバターオブジェクトの手部位、足部位及び頭部の少なくとも一つに適用される動作である
   請求項１～６のいずれか１項に記載の情報処理プログラム。
8. １乃至複数のコンピュータが、
   ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
   前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
   前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行し、
   前記変化量が前記発動条件を満たすか否かの判定に制限時間が設けられ、
   前記提供工程では、前記制限時間内に前記発動条件を満たさない場合には、前記ガイド表示に表示された前記表現以外の表現を前記アバターオブジェクトに適用可能に記録する
   情報処理方法。
9. １乃至複数のコンピュータが、
   ユーザの動きが反映されるアバターオブジェクト、及び前記アバターオブジェクトの表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
   前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たすか否かを判定する判定工程と、
   前記変化量が前記ガイド表示に含まれる表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
   前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行する
   情報処理方法。
10. １乃至複数のコンピュータが、
    ユーザの動きが反映されるアバターオブジェクトの表現が抽選された抽選結果を受信する工程と、
    前記ユーザの動きが反映されるアバターオブジェクト、及び抽選された前記表現を表示したガイド表示をディスプレイに出力するガイド表示工程と、
    前記ユーザの身体の一部であるユーザ部位の位置の変化量を取得する変化量取得工程と、
    前記変化量が前記ガイド表示に含まれる前記表現の発動条件を満たした場合に、その表現を適用した前記アバターオブジェクトを表示する発動工程と、
    前記発動条件を満たした表現を、その後も前記アバターオブジェクトに適用可能に前記ユーザに提供する提供工程と、を実行する
    情報処理方法。
11. ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択部と、
    前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザが用いるユーザ装置に送信する第１送信部と、
    前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザ装置に送信する第２送信部と、を備える
    情報処理装置。
12. １乃至複数のコンピュータが、
    ユーザの動きが反映されるアバターオブジェクトの表現の選択候補から、所定数の前記選択候補を選択する選択工程と、
    前記選択候補である前記表現を含むガイド表示を表示するためのデータと、前記ユーザの身体の一部であるユーザ部位の位置の変化量が前記表現に対応する発動条件を満たすか否かを判定するための発動条件データとを前記ユーザが用いるユーザ装置に送信する第１送信工程と、
    前記発動条件を満たした前記表現を前記ユーザに利用可能に提供するための前記表現の描画データを前記ユーザ装置に送信する第２送信工程と、を実行する
    情報処理方法。

Images