特許法第30条第2項適用申請有り 1.GREE株式会社が、平成30年8月7日に行われたその子会社である株式会社Wright Flyer Live Entertainmentの事業方針説明会において、出願に係る発明について公開。 2.https://le.wrightflyer.net/reality/ GREE株式会社が、株式会社Wright Flyer Live Entertainmentによって平成30年8月7日から上記URLにより提供されているVTuber専用ライブ配信プラットフォーム「REALITY」において、出願に係る発明について公開。
以下、図面を適宜参照し、本発明の様々な実施形態を説明する。複数の図面において同一の又は類似する構成要素には同じ参照符号が付される。
図1及び図2を参照して、一実施形態による動画配信システムについて説明する。図1は、一実施形態による動画配信システム1を示すブロック図であり、図2は、動画配信システム1で配信される動画を配信する配信ユーザU1及び当該配信ユーザが使用している配信ユーザ装置20を模式的に示す模式図である。
動画配信システム1は、視聴ユーザ装置10と、配信ユーザ装置20と、サーバ装置60と、ストレージ70と、を備える。視聴ユーザ装置10と、配信ユーザ装置20と、サーバ装置60と、ストレージ70とは、ネットワーク50を介して相互に通信可能に接続されている。サーバ装置60は、後述するように、配信ユーザU1のキャラクタのアニメーションを含む動画を配信するように構成される。
この動画は、サーバ装置60から視聴ユーザ装置10及び配信ユーザ装置20に配信される。配信された動画は、視聴ユーザ装置10のディスプレイに表示される。視聴ユーザ装置10のユーザである視聴ユーザは、配信された動画を視聴ユーザ装置10により視聴することができる。図面を簡潔するために図1には視聴ユーザ装置10が1台だけ示されているが、動画配信システム1は、複数の視聴ユーザ装置を備えていてもよい。配信ユーザU1は、配信された動画を視聴することにより、動画中の動画を確認しながらパフォーマンスを行うことができる。
まず、配信ユーザ装置20について説明する。図示の実施形態において、配信ユーザ装置20は、コンピュータプロセッサ21と、通信I/F22と、ディスプレイ23と、カメラ24と、マイク25と、を備えている。
コンピュータプロセッサ21は、ストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ21は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ21は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ21は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
通信I/F22は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。配信ユーザ装置20は、通信I/F22を介して、他の装置とデータを送受信することができる。
ディスプレイ23は、表示パネルと、タッチパネルと、を有する。タッチパネルは、プレイヤのタッチ操作(接触操作)を検出することができるように構成されている。タッチパネルは、プレイヤのタップ、ダブルタップ、ドラッグ等の各種タッチ操作を検出することができる。タッチパネルは、静電容量式の近接センサを備え、プレイヤの非接触操作を検出可能に構成されてもよい。
カメラ24は、配信ユーザU1の顔を連続的に撮像し、配信ユーザU1の顔の撮像データを取得する。カメラ24により撮像された配信ユーザU1の顔の撮像データは、通信I/F22を介してサーバ装置60に送信される。カメラ24は、人物の顔の奥行きを検出可能な3Dカメラであってもよい。
マイク25は、入力された音声を音声データに変換するように構成された集音装置である。マイク25は、配信ユーザU1の音声入力を取得することができるように構成され。マイク25により取得された配信ユーザU1の音声入力は音声データに変換され、この音声データが通信I/F22を介してサーバ装置60に送信される。
視聴ユーザ装置10は、配信ユーザ装置20と同様の構成要素を備えてもよい。例えば、視聴ユーザ装置10は、コンピュータプロセッサ、通信I/F、ディスプレイ、及びカメラを備えてもよい。
視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォンなどの情報処理装置である。視聴ユーザ装置10及び配信ユーザ装置20は、スマートフォン以外に、携帯電話機、タブレット端末、パーソナルコンピュータ、電子書籍リーダー、ウェアラブルコンピュータ、ゲーム用コンソール、及びこれら以外の動画を再生可能な各種情報処理装置であってもよい。視聴ユーザ装置10及び配信ユーザ装置20の各々は、上記の構成要素以外に、ジャイロセンサ等の各種センサを備えるセンサユニット、及び各種情報を記憶するストレージを備えてもよい。
次に、サーバ装置60について説明する。図示の実施形態において、サーバ装置60は、コンピュータプロセッサ61と、通信I/F62と、ストレージ63と、を備えている。
コンピュータプロセッサ61は、ストレージ63又はその他のストレージからオペレーティングシステムや様々な機能を実現する様々なプログラムをメモリにロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。コンピュータプロセッサ61は、例えば、CPU、MPU、DSP、GPU、これら以外の各種演算装置、又はこれらの組み合わせである。コンピュータプロセッサ61は、ASIC、PLD、FPGA、MCU等の集積回路により実現されてもよい。図1においては、コンピュータプロセッサ21が単一の構成要素として図示されているが、コンピュータプロセッサ61は複数の物理的に別体のコンピュータプロセッサの集合であってもよい。
通信I/F62は、ハードウェア、ファームウェア、又はTCP/IPドライバやPPPドライバ等の通信用ソフトウェア又はこれらの組み合わせとして実装される。サーバ装置60は、通信I/F62を介して、他の装置とデータを送受信することができる。
ストレージ63は、コンピュータプロセッサ61によりアクセスされる記憶装置である。ストレージ63は、例えば、磁気ディスク、光ディスク、半導体メモリ、又はデータを記憶可能な前記以外の各種記憶装置である。ストレージ63には、様々なプログラムが記憶され得る。ストレージ63に記憶され得るプログラム及び各種データの少なくとも一部は、サーバ装置60とは物理的に別体のストレージ(例えば、ストレージ70)に格納されてもよい。
本明細書において、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるとして説明されるプログラム又は当該プログラムに含まれる命令はそれぞれ、単一のコンピュータプロセッサで実行されてもよいし、複数のコンピュータプロセッサにより分散して実行されてもよい。また、コンピュータプロセッサ21又はコンピュータプロセッサ61によって実行されるプログラム又は当該プログラムに含まれる命令はそれぞれ、複数の仮想コンピュータプロセッサにより実行されてもよい。
次に、ストレージ63に記憶されるデータについて説明する。図示の実施形態においては、ストレージ63には、モデルデータ63a、オブジェクトデータ63b、及び前記以外の配信動画の生成及び配信に必要な様々なデータが記憶される。
モデルデータ63aは、キャラクタのアニメーションを生成するためのモデルデータである。モデルデータ63aは、3次元のアニメーションを生成するための3次元モデルデータであってもよいし、2次元のモデルデータを生成するための2次元モデルデータであってもよい。モデルデータ63aは、例えば、キャラクタの顔及び顔以外の部分の骨格を示すリグデータ(「スケルトンデータ」と呼ばれることもある。)と、キャラクタの表面の形状や質感を示す表面データと、を含む。モデルデータ63aには、互いに異なる複数のモデルデータを含むことができる。この複数のモデルデータは、互いに異なるリグデータを有していてもよいし、同じリグデータを有していてもよい。この複数のモデルデータは、互いと異なる表面データを有していてもよいし、同じ表面データを有していてもよい。
オブジェクトデータ63bは、動画を構成する仮想空間を構築するためのアセットデータを含む。オブジェクトデータ63bは、動画を構成する仮想空間の背景を描画するためのデータ、動画に表示される各種物体を描画するためのデータ、及びこれら以外の動画に表示される各種オブジェクトを描画するためのデータが含まれる。オブジェクトデータ63bには、仮想空間におけるオブジェクトの位置を示すオブジェクト位置情報を含んでもよい。
オブジェクトデータ63bには、上記以外にも、ギフトオブジェクトが含まれ得る。ギフトオブジェクトは、動画を視聴している視聴ユーザからのギフトの表示要求に基づいて動画に表示される。ギフトオブジェクトには、エフェクトギフトに対応するエフェクトオブジェクトと、通常ギフトに対応する通常オブジェクトと、装着ギフトに対応する装着オブジェクトと、メッセージギフトに対応するメッセージオブジェクトと、が含まれ得る。視聴ユーザは、所望のギフトを購入することができる。
エフェクトギフトを示すエフェクトオブジェクトは、配信動画の視聴画面全体の印象に影響を与えるオブジェクトであり、例えば紙吹雪を模したオブジェクトである。紙吹雪を模したオブジェクトは、視聴画面全体に表示されてもよく、これにより表示の前後における視聴画面全体の印象を変えることができる。エフェクトオブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられずに表示される点で装着オブジェクトと異なっている。
通常ギフトを示す通常オブジェクトは、視聴ユーザから配信ユーザ(例えば、配信ユーザU1)へのギフトを示すオブジェクトであり、例えばぬいぐるみ、花束、アクセサリ、又は前記以外のギフトやプレゼントに適した物品を模したオブジェクトである。一態様において、通常オブジェクトは、キャラクタオブジェクトと接しないように動画の表示画面に表示される。一態様において、通常オブジェクトは、キャラクタオブジェクトと重複しないように動画の表示画面に表示される。通常オブジェクトは、仮想空間においてキャラクタオブジェクト以外のオブジェクトと重複するように表示されてもよい。通常オブジェクトは、キャラクタオブジェクトと重複するように表示されることもあるが、キャラクタオブジェクトの特定の部位と関連付けられた表示はなされない点で装着オブジェクトと異なっている。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む頭部以外の部分と重複し、当該キャラクタオブジェクトの頭部とは重複しないように表示される。一態様において、通常オブジェクトをキャラクタオブジェクトと重複して表示させる場合には、当該通常オブジェクトは、当該キャラクタオブジェクトの顔を含む上半身以外の部分と重複し、当該キャラクタオブジェクトの上半身とは重複しないように表示される。
装着ギフトを示す装着オブジェクトは、キャラクタオブジェクトの特定の部位(装着部位)と関連付けて表示画面に表示されるオブジェクトである。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装着オブジェクトは、当該キャラクタオブジェクトの当該特定の部位に接するように表示画面に表示される。一態様において、キャラクタオブジェクトの特定の部位と関連付けて表示画面に表示される装着オブジェクトは、当該キャラクタオブジェクトの当該特定の部位の一部又は全部を覆うように表示画面に表示される。特定の部位は、3次元座標空間における位置を示す3次元位置情報で特定されてもよいし、3次元座標空間の位置情報に関連付けられていてもよい。例えばキャラクタの頭部において、特定の部位は、頭部の前方左側、前方右側、後方左側、後方右側、中央前側、中央後側、左目、右目、左耳、右耳、及び髪全体という単位で定められてもよい。
装着オブジェクトは、例えば、キャラクタオブジェクトに装着されるアクセサリ(カチューシャ、ネックレス、イヤリングなど)、衣服(Tシャツなど)、コスチューム、及びこれら以外のキャラクラオブジェクトに装着可能なオブジェクトである。装着オブジェクトに対応するオブジェクトデータ63bには、当該装着オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着部位情報が含まれてもよい。ある装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタオブジェクトのどの部位に装着されるかを示すことができる。例えば、装着オブジェクトがカチューシャである場合には、当該装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタオブジェクトの「頭部」に装着されることを示してもよい。装着オブジェクトが装着される装着部位情報が3次元座標空間の位置として特定される場合には、当該装着部位情報は3次元座標空間における複数の位置と関連付けられてもよい。例えば「カチューシャ」を示す装着オブジェクトが装着される位置を示す装着部位情報は、キャラクタオブジェクトの「頭部後方左側」と「頭部後方右側」の2つの部位と関連付けられてもよい。つまり、「カチューシャ」を示す装着オブジェクトは、「頭部後方左側」及び「頭部後方右側」の両方に装着されてもよい。装着オブジェクトがTシャツである場合には、当該装着オブジェクトの装着部位情報は、当該装着オブジェクトがキャラクタオブジェクトの「胴部」に装着されることを示してもよい。
装着部位が共通する2種類の装着オブジェクトは、時間を隔てて動画に表示される。すなわち、装着部位が共通する2種類の装着オブジェクトは、時間を隔ててキャラクタオブジェクトに装着される。言い換えると、装着部位が共通する2種類の装着オブジェクトは、キャラクタオブジェクトに同時には装着されない。例えば、カチューシャを示す装着オブジェクト及び帽子を示す装着オブジェクトに関し、装着部位としていずれも「頭部」が設定されている場合、カチューシャを示す装着オブジェクトと帽子を示す装着オブジェクトとは同時には表示されない。
メッセージギフトを示すメッセージオブジェクトは、視聴ユーザからのメッセージを含む。メッセージオブジェクトは、後述するコメント表示領域35に表示されるコメントよりも目立つ態様で動画に表示されてもよい。メッセージオブジェクトは、コメント表示領域35に表示されるコメントよりも長時間にわたって動画に表示されてもよい。
ギフトオブジェクトの各々には、その種類に応じた表示時間が設定されていてもよ。い一態様において、装着オブジェクトの表示時間は、エフェクトオブジェクトの表示時間及び通常オブジェクトの表示時間よりも長く設定されていてもよい。例えば、装着オブジェクトの表示時間は60秒間に設定され、エフェクトオブジェクトの表示時間は5秒間に設定され、通常オブジェクトの表示時間は10秒間に設定されてもよい。
次に、コンピュータプロセッサ21により実現される機能についてより具体的に説明する。コンピュータプロセッサ21は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、フェイスモーションデータ生成部21aとして機能する。コンピュータプロセッサ21により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ21以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ21により実現される機能の少なくとも一部は、例えば、サーバ装置60に搭載されているコンピュータプロセッサ61により実現されてもよい。
フェイスモーションデータ生成部21aは、カメラ24の撮像データに基づいて、配信ユーザU1の顔の動きのデジタル表現であるフェイスモーションデータを生成する。フェイスモーションデータは、時間の経過に伴って随時生成される。フェイスモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、フェイスモーションデータは、配信ユーザU1の顔の動き(表情の変化)を時系列的にデジタル表現することができる。フェイスモーションデータ生成部21aにて生成されたフェイスモーションデータは、通信I/F22を介してサーバ装置60に送信される。
配信ユーザ装置20においては、フェイスモーションデータ生成部21aにて生成されるフェイスモーションデータに加えて、配信ユーザU1の体の顔以外の各部位の位置及び向きのデジタル表現であるボディモーションデータを生成してもよい。配信ユーザ装置20は、フェイスモーションデータに加えて、ボディモーションデータをサーバ装置60に送信してもよい。ボディモーションデータを生成するために、配信ユーザU1は、モーションセンサを装着してもよい。配信ユーザ装置20は、配信ユーザU1に装着されたモーションセンサの検出情報に基づいて、ボディモーションデータを生成することができるように構成されてもよい。ボディモーションデータは、所定のサンプリング時間間隔ごとに生成されてもよい。このように、ボディモーションデータは、配信ユーザU1の体の動きを時系列的にデジタルデータとして表現する。配信ユーザU1に装着されたモーションセンサの検出情報に基づくボディモーションデータの生成は、例えば、撮影スタジオで行われてもよい。撮影スタジオには、ベースステーションと、トラッキングセンサと、ディスプレイと、が備えられてもよい。ベースステーションは、多軸レーザーエミッターであってもよい。配信ユーザU1に装着されるモーションセンサは、例えば、HTC CORPORATIONから提供されているVive Trackerであってもよい。撮影スタジオに備えられるベースステーションは、例えば、HTC CORPORATIONから提供されているベースステーションであってもよい。また、撮影スタジオと別室には、サポーターコンピュータが設置されていてもよい。撮影スタジオのディスプレイは、サポートコンピュータから受信した情報を表示するように構成されてもよい。サーバ装置60は、サポーターコンピュータが設置されている部屋と同じ部屋に設置されてもよい。サポーターコンピュータが設置されている部屋と撮影スタジオとはガラス窓によって隔てられていてもよい。この場合、サポーターコンピュータのオペレータ(本明細書では「サポーター」ということがある。)は、配信ユーザU1を視認できる。サポーターコンピュータは、サポーターの操作に応じて、撮影スタジオに備えられた各種装置の設定を変更することができるように構成されてもよい。サポーターコンピュータは、例えば、ベースステーションによる走査インターバルの設定、トラッキングセンサの設定、及びこれら以外の各種機器の各種設定の変更を行うことができる。サポーターは、サポーターコンピュータにメッセージを入力し、当該入力されたメッセージを撮影スタジオのディスプレイに表示することができる。
次に、コンピュータプロセッサ61により実現される機能についてより具体的に説明する。コンピュータプロセッサ61は、配信プログラムに含まれるコンピュータ読み取り可能な命令を実行することにより、アニメーション生成部61a、動画生成部61b、動画配信部61c、ギフト要求処理部61d、及びギフト購入処理部61eとして機能する。コンピュータプロセッサ61により実現される機能の少なくとも一部は、動画配信システム1のコンピュータプロセッサ61以外のコンピュータプロセッサにより実現されてもよい。コンピュータプロセッサ61により実現される機能の少なくとも一部は、例えば、配信ユーザ装置20のコンピュータプロセッサ21により実現されてもよく、視聴ユーザ装置10のコンピュータプロセッサにより実現されてもよい。具体的には、アニメーション生成部61a及び動画生成部61bの機能の一部又は全部は、配信ユーザ装置20において実行されてもよい。例えば、配信ユーザ装置20において生成された動画がサーバ装置60に送信され、サーバ装置60から視聴ユーザ装置10に配信されてもよい。
アニメーション生成部61aは、配信ユーザ装置20のフェイスモーションデータ生成部21aによって生成されたフェイスモーションデータを、モデルデータ63aに含まれる所定のモデルデータに適用することにより、キャラクタオブジェクトのアニメーションを生成するように構成される。アニメーション生成部61aは、キャラクタオブジェクトの表情が当該フェイスモーションデータに基づいて変化するように、当該キャラクタオブジェクトのアニメーションを生成することができる。具体的には、アニメーション生成部61aは、配信ユーザU1に関するフェイスモーションデータに基づいて、配信ユーザU1の表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。
配信ユーザ装置20から配信ユーザU1に関するボディモーションデータが提供される場合には、アニメーション生成部61aは、配信ユーザU1に関するボディモーションデータ及びフェイスモーションデータに基づいて、配信ユーザU1の体及び表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成することができる。
動画生成部61bは、オブジェクトデータ63bを用いて背景を示す背景画像を生成し、この背景画像と、配信ユーザU1に対応するキャラクタオブジェクトのアニメーションを、を含む動画を生成することができる。動画生成部61bによって生成される動画において、配信ユーザU1に対応するキャラクタオブジェクトは、背景画像に重畳して表示される。
動画生成部61bは、生成した動画に、配信ユーザ装置20から受信した音声データに基づいて生成される配信ユーザU1の音声を合成することができる。以上のようにして、動画生成部61bは、配信ユーザU1の表情の動きに同期して動くキャラクタオブジェクトのアニメーションを生成し、このアニメーションに配信ユーザU1の音声が合成された配信用の動画を生成することができる。
動画配信部61cは、動画生成部61bにおいて生成された動画を配信する。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置に配信される。生成された動画は、配信ユーザ装置20にも配信される。受信された動画は、視聴ユーザ装置10及び配信ユーザ装置20において再生される。
動画配信部61cから配信され視聴ユーザ装置10において再生されている動画の表示例が図3aに示されており、動画配信部61cから配信され配信ユーザ装置20において再生されている動画の表示例が図3bに示されている。図3aに示されているように、視聴ユーザ装置10のディスプレイには、サーバ装置20から配信された動画の表示画像30が表示される。この視聴ユーザ装置10に表示されている表示画像30には、アニメーション生成部61aにより生成された配信ユーザU1のキャラクタオブジェクト31と、ギフトボタン32と、評価ボタン33と、コメントボタン34と、コメント表示領域35と、が含まれている。
キャラクタオブジェクト31は、上記のように、配信ユーザU1のフェイスモーションデータをモデルデータ63aに含まれているモデルデータに適用することにより生成されているため、配信ユーザU1の表情の動きに同期してその表情が変化する。配信ユーザ装置20からボディモーションデータが提供される場合には、キャラクタオブジェクト31は、その顔以外の部位も、配信ユーザU1の体の動きに同期して変化するように制御され得る。
ギフトボタン32は、視聴ユーザ装置10への操作によって選択可能に表示画面30に表示されている。ギフトボタン32は、例えば、視聴ユーザ装置10のタッチパネルのうちギフトボタン32が表示されている領域へのタップ操作により選択され得る。一実施形態において、ギフトボタン32が選択されると、表示画面30に、視聴中の動画を配信している配信ユーザにギフティングするギフトを選択するためのウィンドウが表示される。当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを購入することができる。他の実施形態においては、ギフトボタン32が選択されたことに応じて、表示画面30に、購入済みのギフトの一覧を含むウィンドウが表示される。この場合、当該視聴ユーザは、当該ウィンドウに表示されているギフトの中からギフティング対象とするギフトを選択することができる。ギフティング又は購入可能なギフトには、エフェクトギフト、通常ギフト、装着ギフト、メッセージギフト、及びこれら以外のギフトが含まれ得る。
評価ボタン33は、視聴ユーザ装置10を使用する視聴ユーザによって選択可能に表示画面30に表示されている。評価ボタン33は、例えば、視聴ユーザ装置10のタッチパネルのうち評価ボタン33が表示されている領域へのタップ操作により選択され得る。動画を視聴中の視聴ユーザによって評価ボタン33が選択されると、当該動画への肯定的な評価がなされたことを示す評価情報がサーバ装置60に送信されてもよい。サーバ装置60は、視聴ユーザ装置10及びこれ以外の視聴ユーザ装置からの評価情報を集計することができる。
コメントボタン34は、視聴ユーザによって選択可能に表示画面30に表示される。コメントボタン34が例えばタップ操作により選択されると、コメントを入力するためのコメント入力ウィンドウが表示画面30に表示される。視聴ユーザは、視聴ユーザ装置10の入力機構を介してコメントを入力することができる。入力されたコメントは、視聴ユーザ装置10からサーバ装置60に送信される。サーバ装置60は、視聴ユーザ装置10及びこれ以外の視聴ユーザ装置からのコメントを受け付け、当該コメントを表示画像30内のコメント表示領域35に表示する。コメント表示領域35には、視聴ユーザ装置10及びこれ以外の視聴ユーザ装置から投稿されたコメントが、例えば時系列に表示される。コメント表示領域35は、表示画面30の一部の領域を占める。コメント表示領域35に表示可能なコメント数には上限がある。図示の例では、コメント表示領域35には3つまでコメントが表示され得る。コメント表示領域35に設定されている上限を超えたコメントの投稿がなされた場合には、投稿時間が古いコメントから順にコメント表示領域35から削除される。このため、視聴ユーザから受け付けられるコメントの頻度が高くなるほどコメント領域35における各コメントの表示時間は短くなる。
図3bに示されているように、配信ユーザ装置20のディスプレイには、サーバ装置20から配信された動画の表示画像40が表示される。この配信ユーザ装置20に表示される表示画像40には、配信ユーザU1に対応するキャラクタオブジェクト31と、視聴ユーザによって表示要求がなされた装着ギフトを表示するための表示指示ボタン42a~42cと、コメント表示領域35と、が含まれている。配信ユーザ装置20に表示される表示画像40には、視聴ユーザ装置10に表示されている表示画像30と同じ背景画像、キャラクタオブジェクト画像、及びコメントが含まれている。他方、表示画像40は、ギフトボタン32、評価ボタン33、及びコメントボタン34を含んでおらず、表示指示ボタン42a~42cを含んでいる点で表示画像30と異なっている。
表示指示ボタン42a~42cは、視聴ユーザから後述する装着ギフトを表示するための表示要求を受け付けたことに応じて表示画面40に表示される。図示の実施形態においては、表示画像40に3つの表示指示ボタン42a~42cが表示されている。表示指示ボタン42a~42cの各々は、配信ユーザによって選択可能に表示画面40に表示される。表示指示ボタン42a~42cのいずれかが例えばタップ操作により選択されると、この選択された表示指示ボタンに対応する装着ギフトを表示するための操作が行われる。このように、表示指示ボタン42a~42cは、装着ギフトを配信中の動画に表示させる指示を行うための表示指示オブジェクトである。このため、本明細書においては、表示指示ボタン42a~42cを表示指示オブジェクト42a~42cと呼ぶことがある。また、表示指示オブジェクト42a~42cを互いに区別する必要がない場合には、単に表示指示オブジェクト42と呼ぶことがある。装着ギフトの表示の具体例については後述する。表示画面40は、上記のサポーターコンピュータに表示されてもよい。表示指示オブジェクト42a~42cは、サポーターによる当該サポーターコンピュータの操作に応じて選択されてもよい。
装着ギフトの表示を要求する表示要求が受け付けられるたびに、当該表示要求に対応する表示指示オブジェクト42が表示画面40に追加される。表示画面40に表示可能な表示指示オブジェクト42の数には上限がある。図示の実施形態では、表示画面40に表示可能な表示指示オブジェクト42の上限数は3である。この場合、表示画面40には、表示指示オブジェクトを3つ表示できる表示領域を有している。装着ギフトの表示要求を4以上受け付けた場合には、4番目以降の表示要求に対応する表示指示オブジェクト42は表示画面40には表示されない。4番目に受け付けられた装着ギフトの表示要求に対応する表示指示オブジェクト42は、既に表示されている3つの表示指示オブジェクト42のうちのいずれかが選択されて、表示領域に空きができた場合に表示画面40に表示される。
ギフト要求処理部61dは、視聴ユーザからギフトの表示要求を受け付け、当該表示要求に応じたギフトオブジェクトを表示するための処理を行う。各視聴ユーザは、自らの視聴ユーザ装置を操作することにより、ギフトの表示要求をサーバ装置60に送信することができる。ギフトの表示要求には、視聴ユーザのユーザIDと、表示を要求するギフトを特定するギフト識別情報(ギフトID)及び/又は表示を要求するギフトに対応するギフトオブジェクトを特定するギフトオブジェクト識別情報(ギフトオブジェクトID)と、が含まれてもよい。
上述のように、ギフトを示すギフトオブジェクトには、エフェクトギフトに対応するエフェクトオブジェクトと、通常ギフトに対応する通常オブジェクトと、装着ギフトに対応する装着オブジェクトと、が含まれ得る。装着ギフトは、第1ギフトの例である。装着オブジェクトを第1ギフトオブジェクトと呼ぶことがある。装着ギフト(または装着オブジェクト)の表示を要求する表示要求は、第1表示要求の例である。エフェクトギフト及び通常ギフトは、第2ギフトの例である。エフェクトオブジェクト及び通常オブジェクトを総称して第2ギフトオブジェクトと呼ぶことがある。エフェクトギフト(もしくはエフェクトオブジェクト)または通常ギフト(もしくは通常オブジェクト)の表示を要求する表示要求は、第2表示要求の例である。
一態様において、ギフト要求処理部61dは、視聴ユーザから特定の通常ギフトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求された通常ギフトを示す通常オブジェクトを動画に表示させるための処理を行う。例えば、バッグを示す通常ギフトの表示要求がなされた場合には、図4に示すように、ギフト要求処理部61dにより当該表示要求に基づいてバッグを示す通常オブジェクト36が表示画像30に表示される。同様に、熊のぬいぐるみを示す通常ギフトの表示要求がなされた場合には、図4に示すように、ギフト要求処理部61dにより当該表示要求に基づいて熊のぬいぐるみを示す通常オブジェクト37が表示画像30に表示される。図示を省略しているが、配信ユーザ装置20における表示画像40にも、表示画像30と同様に、通常オブジェクト36及び通常オブジェクト37が表示される。
一態様において、ギフト要求処理部61dは、視聴ユーザから特定のエフェクトギフトの表示要求を受け付けると、当該表示要求に基づいて、表示が要求されたエフェクトギフトに対応するエフェクトオブジェクトを動画の表示画像に表示させるための処理を行う。例えば、紙吹雪や花火を示すエフェクトギフトの表示要求がなされた場合には、ギフト要求処理部61dは、図当該表示要求に基づいて紙吹雪や花火を示すエフェクトギフトに対応するエフェクトオブジェクト(不図示)が表示画像30及び表示画像40に表示される。
通常ギフトの表示要求には、当該通常ギフトを示す通常オブジェクトの表示位置を指定する表示位置指定パラメータが含まれてもよい。この場合、ギフト要求処理部61dは、表示位置指定パラメータによって指定された位置に通常オブジェクトを表示することができる。キャラクタオブジェクト31の表示位置及び表示範囲が定められている場合には、表示位置指定パラメータによって、当該キャラクタオブジェクト31に対する相対的な位置が通常オブジェクトの表示位置として指定され得る。
一態様において、ギフト要求処理部61dは、視聴ユーザから特定の装着オブジェクトの表示要求を受け付けると、当該表示要求に基づいて、図3bに示すように、配信ユーザ装置20における表示画面40に表示指示オブジェクト42a~42cを表示する。この表示指示オブジェクト42a~42cの各々は、表示要求がなされた装着ギフトと対応付けられている。表示指示オブジェクト42a~42cのいずれかが選択されると、その選択された表示指示オブジェクトに対応付けられている装着ギフトが配信中の動画に表示される。例えば、表示指示オブジェクト42bに猫耳を模したカチューシャが対応付けられている場合に、表示指示オブジェクト42bが選択されると、ギフト要求処理部61dは、選択された表示指示オブジェクト42bに対応するカチューシャを示す装着オブジェクト38を配信中の動画に表示させる。カチューシャを示す装着オブジェクト38を含む動画の表示例が図5a及び図5bに示されている。また、図5bに示されているように、選択された表示指示オブジェクト42bは、表示画面40から削除される。
装着オブジェクトは、キャラクタオブジェクトの特定の部位(装着部位)と関連付けて、動画内に表示される。例えば、装着オブジェクトは、キャラクタオブジェクトの当該装着部位に接するように動画内に表示されてもよい。装着オブジェクト38は、キャラクタオブジェクトの当該装着部位に装着されるように動画内に表示されてもよい。一実施形態において、カチューシャを示す装着オブジェクト38は、キャラクタオブジェクトの頭部と対応付けられている。このため、図5a及び図5bに示されている表示例では、装着オブジェクト38がキャラクタオブジェクト31の頭部に装着されている。装着オブジェクトは、キャラクタオブジェクトの当該装着部位の動きに付随して動くように動画の表示画面内に表示されてもよい。例えば、カチューシャを示す装着オブジェクト38を装着したキャラクタオブジェクト31の頭部が動くと、あたかもカチューシャがキャラクタオブジェクト31の頭部に装着されているかのごとく、カチューシャを示す装着オブジェクト38もキャラクタオブジェクト31の頭部に付随して動く。
上述したように、オブジェクトデータ63bは、装着オブジェクトがキャラクタオブジェクトのどの部位に関連付けられるかを示す装着部位情報を含んでもよい。一態様において、ギフト要求処理部61dは、キャラクタオブジェクトに装着オブジェクトが装着されている場合には、当該装着オブジェクトの表示時間が経過するまでは、当該装着オブジェクトの装着部位情報が示す部位と同じ又は重複する部位に装着される他の装着オブジェクトの表示を禁止する。例えば、「頭部後方左側」及び「頭部後方右側」の両方に関連付けられたカチューシャと、「頭部後方左側」に関連付けられたヘアアクセサリとは、「頭部後方左側」が重複しているため、カチューシャが表示されている場合には、装着部位情報として「頭部後方左側」が設定されているヘアアクセサリの表示は禁止される。一方、「頭部後方左側」及び「頭部後方右側」に関連付けられたカチューシャと、「(頭部のうち)左耳」及び「(頭部のうち)右耳」に関連付けられたイヤリングは、キャラクタオブジェクトにおける装着部位が重複していないため、同時に装着することができる。
一実施形態においては、装着部位が同じ又は重複する複数の装着オブジェクトの表示を禁止するために、表示が禁止される装着オブジェクトを表示するための表示指示オブジェクト42がディアクティベートされてもよい。図5bに示されている実施形態において、表示指示オブジェクト42aが装着部位情報として「頭部後方左側」が設定されたヘアアクセサリであると想定する。この場合、このヘアアクセサリを示す装着オブジェクトは、キャラクタオブジェクト31がカチューシャを示す装着オブジェクト38を装着中であるため、装着オブジェクト38がキャラクタオブジェクト31に装着されている間は、動画への表示が禁止される。一実施形態においては、このヘアアクセサリを示す装着オブジェクトの動画への表示を禁止するために、当該ヘアアクセサリを示す装着オブジェクトに対応付けられている表示指示オブジェクト42aがディアクティベートされる。例えば、表示指示オブジェクト42aは、装着オブジェクト38がキャラクタオブジェクト31に装着されている間、操作されても選択不能とされる。別の実施形態において、装着オブジェクト38がキャラクタオブジェクト31に装着されている間、表示指示オブジェクト42aは、表示画面40から消去される。ディアクティベートされた表示指示オブジェクト42aは、カチューシャの表示時間が経過したことに応じて、再びアクティベートされる。表示指示オブジェクト42aを再びアクティベートするために、例えば、選択不能とされていた表示指示オブジェクト42aが再び選択可能とされてもよいし、非表示となっていた表示指示オブジェクト42aを再び表示画面40に表示させてもよい。
一態様において、動画を視聴中の視聴ユーザは、特定のメッセージを含むメッセージギフトを当該動画に表示することを要求する表示要求をサーバ装置60に送信することができる。ギフト要求処理部61dは、視聴ユーザから特定のメッセージと関連付けられたメッセージギフトの表示要求を受け付けると、当該表示要求に基づいて、図6に示すように、配信ユーザ装置20における表示画面40にメッセージ確認画面43を表示する。メッセージ確認画面43には、表示要求を行った視聴ユーザによって入力されたメッセージ、当該メッセージの動画中への表示を許可するためのボタン、及び当該メッセージの動画中への表示を拒否するためのボタンが含まれる。配信ユーザU1は、このメッセージ確認画面43において、視聴ユーザからのメッセージを確認して、当該メッセージを含むメッセージギフトの動画への表示を許可する場合には「表示する」と表記されたボタンを選択することによりメッセージギフトの表示指示操作を行う。逆に、当該メッセージギフトの動画への表示を拒否する場合には、配信ユーザU1は、「表示しない」と表記されたボタンを選択することにより表示拒否操作を行う。
配信ユーザU1によって、メッセージギフトの表示が許可された場合には、図7a及び図7bに示されているように、視聴ユーザ装置10の表示画面30及び配信ユーザ装置20の表示画面にはメッセージギフトを示すメッセージオブジェクト39が表示される。メッセージオブジェクト39には、当該メッセージギフトに対応付けられているメッセージを示すテキストデータが含まれる。メッセージオブジェクト39には、当該メッセージギフトの表示要求を行った視聴ユーザを示す表示(例えば、当該視聴ユーザのユーザ名、ニックネームなど)が含まれてもよい。
一態様において、動画を視聴中の視聴ユーザは、配信中の動画に合成されている配信ユーザU1の音声を変更するためのボイスチェンジギフトをサーバ装置60に送信することができる。ギフト要求処理部61dは、ボイスチェンジギフトを受け付けると、配信ユーザ装置20における表示画面40に確認画面(不図示)を表示する。この音声変更の可否を確認するための確認画面には、音声の変更内容を特定する情報が含まれてもよい。例えば、この確認画面には、男性の声を女性の声に変更すること、人間の声をロボットのような電子的な音に変更すること、などの音声の変更内容を特定する情報が含まれてもよい。また、当該確認画面には、ボイスチェンジギフトにおいて要求されている音声変更を許可するためのボタン、及び当該音声変更を拒否するためのボタンが含まれる。配信ユーザU1は、この確認画面において、音声の変更内容を確認して、当該変更の許可又は拒否をするための指示操作を行う。
一態様において、動画を視聴中の視聴ユーザは、配信中の動画に含まれているキャラクタオブジェクト31の頭部以外の動きを指定するモーションギフトをサーバ装置60に送信することができる。ギフト要求処理部61dは、モーションギフトを受け付けると、当該モーションギフトにより指定された動きをキャラクタオブジェクト31が取るように、当該キャラクタオブジェクト31の動きを制御する。モーションギフトにより指定された動きのキャラクタオブジェクト31への反映の可否を確認するための確認画面(不図示)を配信ユーザ装置20における表示画面40に表示し、配信ユーザU1によって当該指定された動きを反映させることを許可する指示操作がなされた場合にのみ、モーションギフトにより指定された動きがキャラクタオブジェクト31に反映されてもよい。
一態様において、ギフト購入処理部61eは、動画の視聴ユーザからの要求に応じて、当該動画に関連して購入可能な複数のギフトオブジェクトの各々の購入情報を当該視聴ユーザの視聴ユーザ装置(例えば、視聴ユーザ装置10)に送信する。各ギフトオブジェクトの購入情報には、当該ギフトオブジェクトの種類(エフェクトオブジェクト、通常オブジェクト、または装着オブジェクト)、当該ギフトオブジェクトの画像、当該ギフトオブジェクトの価格、及びこれら以外のギフトオブジェクトの購入に必要な情報が含まれ得る。視聴ユーザは、視聴ユーザ装置10に表示されているギフトオブジェクトの購入情報に基づいて、購入するギフトオブジェクトを選択することができる。購入対象のギフトオブジェクトの選択は、視聴ユーザ装置10の操作により行われてもよい。購入対象のギフトオブジェクトが視聴ユーザによって選択されると、当該ギフトオブジェクトの購入要求がサーバ装置60に送信される。ギフト購入処理部61eは、当該購入要求に基づいて、決済処理を行う。この決済処理が完了すると、当該購入されたギフトオブジェクトは、当該視聴ユーザによって保有される。ストレージ23に、ギフトを購入した視聴ユーザのユーザIDと対応づけて、購入されたギフトのギフトID(又は当該ギフトを示すギフトオブジェクトのギフトオブジェクトID)が記憶されてもよい。
購入可能なギフトオブジェクトは、動画ごとに異なっていてもよい。購入可能なギフトオブジェクトは、複数の動画において購入可能であってもよい。つまり、購入可能なギフトオブジェクトには、各動画に固有の固有ギフトオブジェクトと、複数の動画において購入可能な共通ギフトオブジェクトと、が含まれてもよい。例えば、紙吹雪を示すエフェクトオブジェクトは、複数の動画において購入可能な共通ギフトオブジェクトであってもよい。
一態様においては、所定の動画を視聴中にエフェクトオブジェクトを購入した場合、当該エフェクトオブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象のエフェクトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。所定の動画を視聴中に通常オブジェクトを購入した場合、上記と同様に、当該通常オブジェクトを購入するための決済処理が完了したことに応じて、当該購入対象の通常ギフトオブジェクトが当該視聴中の動画に自動的に表示されてもよい。
他の態様においては、購入対象のエフェクトオブジェクトについてギフト購入処理部61eにおける決済処理が完了したことに応じて、決済完了通知が視聴ユーザ装置10に送信され、当該視聴ユーザ装置10において、購入されたエフェクトオブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が表示されてもよい。視聴ユーザが、当該購入されたエフェクトオブジェクトについて表示要求を行うことを選択した場合には、当該購入されたエフェクトオブジェクトの表示を要求する表示要求が、当該視聴ユーザのクライアント装置からギフト要求処理部61dに送信され、ギフト要求処理部61dにおいて、当該購入対象のエフェクトオブジェクトを動画70に表示させる処理が行われてもよい。購入対象が通常オブジェクトの場合にも、上記と同様に、購入された通常オブジェクトの表示要求を行うか否かを視聴ユーザに確認するための確認画面が視聴ユーザ装置10に表示されてもよい。
次に、図8~図11を参照して、一態様による動画配信処理について説明する。図8は、一実施形態における動画配信処理の流れを示すフロー図であり、図9は、一実施形態における通常オブジェクトを表示する処理の流れを示すフロー図であり、図10は、一実施形態における装着オブジェクトを表示する処理の流れを示すフロー図であり、図11は、一実施形態におけるメッセージオブジェクトを表示する処理の流れを示すフロー図である。これらの図を参照して説明される動画配信処理においては、配信ユーザU1が配信ユーザ装置20を用いて取得したフェイスモーションデータに基づく動画配信を行っていることが想定されている。
まず、ステップS11では、配信ユーザU1の顔の動き(表情)のデジタル表現であるフェイスモーションデータが生成される。フェイスモーションデータの生成は、例えば、配信ユーザ装置20のフェイスモーションデータ生成部21aで行われる。配信ユーザ装置20においては、配信ユーザU1からの音声入力に基づいて音声データが生成されてもよい。生成されたフェイスモーションデータ及び音声データは、サーバ装置60に送信される。
次に、ステップS12において、配信ユーザ装置20からのフェイスモーションデータが、配信ユーザU1用のモデルデータに適用されることにより、配信ユーザU1の表情の動きに同期して動くキャラクタオブジェクトのアニメーションが生成される。このアニメーションの生成は、例えば、上記のアニメーション生成部61aで行われる。
次に、ステップS13において、配信ユーザU1に対応するキャラクタオブジェクトのアニメーションを含む動画が生成される。この動画には、配信ユーザU1の音声が合成されてもよい。キャラクタオブジェクトのアニメーションは、背景画像に重畳して表示される。この動画の生成は、例えば、上記の動画生成部61bで行われる。
次に、ステップS14に移行し、ステップS13にて生成された動画が配信される。この動画は、ネットワーク50を介して視聴ユーザ装置10及びこれら以外の視聴ユーザ装置並びに配信ユーザ装置に配信される。動画は、所定の配信期間にわたって継続して配信される。動画の配信期間は、例えば、30秒間、1分間、5分間、10分、30分間、60分間、120分間、及びこれら以外の任意の時間に定め得る。
次に、ステップS15に進み、動画の配信を終了させるための終了条件が成就したか否かが判定される。終了条件は、例えば、配信の終了時刻に達したこと、配信ユーザU1が配信ユーザ装置20において配信を終了するための操作を行ったこと、またはこれら以外の条件である。終了条件が成就していなければステップS11~S14の処理が繰り返し実行され、配信ユーザU1及び配信ユーザA2の動きに同期したアニメーションを含む動画の配信が継続される。動画について終了条件が成就していると判定された場合には、当該動画の配信処理を終了する。
次に、図9をさらに参照して、動画の配信中に行われる通常ギフトの表示処理について説明する。通常ギフトの表示処理は、図8に示した動画の配信処理と並行して行われる。
動画の配信中に、ステップS21において、通常ギフトの表示要求がなされたか否かが判定される。例えば、視聴ユーザは、自らが保有する通常ギフトの中から一又は複数の特定の通常ギフトを選択し、この選択された通常ギフトの表示を要求する表示要求を視聴ユーザ装置10からサーバ装置60に対して送信することができる。上述したように、所定の通常ギフトの購入処理又は決済処理がなされたことに応じて、当該所定の通常ギフトの表示要求が生成されてもよい。
通常ギフトの表示要求がなされた場合には、当該表示処理はステップS22に進む。ステップS22においては、当該表示要求に基づいて、表示が要求された通常ギフトを配信中の動画に表示させるための処理が行われる。例えば、所定の動画の配信中に通常ギフトの表示要求がなされると、図4に示されているように、視聴ユーザ装置10の表示画面30内に表示要求がなされた通常ギフトに対応する通常オブジェクト36が表示される。図示を省略しているが、配信ユーザ装置20の表示画像40内にも通常オブジェクト36が表示されてもよい。
通常ギフトの表示要求がなされていない場合には、通常ギフトの表示処理は終了する。図9に示されている通常ギフトの表示処理は、動画の配信期間中に繰り返し行われる。エフェクトギフトの表示処理も、上述した通常ギフトの表示処理と同様の手順で行われ得る。
次に、図10をさらに参照して、動画の配信中に行われる装着ギフトの表示処理について説明する。装着ギフトの表示処理は、図8に示した動画の配信処理と並行して行われる。また、装着ギフトの表示処理は、図9に示した通常ギフトの表示処理と並行して行われてもよい。
動画の配信中に、ステップS31において、装着ギフトの表示要求がなされたか否かが判定される。例えば、第1視聴ユーザは、自らが保有する装着ギフトの表示を要求する表示要求を視聴ユーザ装置10からサーバ装置60に対して送信することができる。
装着ギフトの表示要求がなされた場合には、当該表示処理はステップS32に進む。ステップS32においては、当該表示要求に基づいて、表示が要求された装着ギフトに関連付けられた表示指示オブジェクトが配信ユーザ装置20の表示画面40に表示される。例えば、カチューシャを示す装着ギフトの表示要求がなされた場合には、当該装着ギフトに関連付けられた表示指示オブジェクト42bが配信ユーザ装置20の表示画面40に表示される。
次に、ステップS33において、配信ユーザ装置20における表示画面40に含まれている表示指示オブジェクトの中から、特定の表示指示オブジェクトが選択されたか否かが判定される。
特定の表示指示オブジェクトが選択された場合には、ステップS34において、配信中の動画の表示画面に、当該選択された特定の表示指示オブジェクトに対応する装着ギフトを表示する処理が行われる。例えば、表示画面40に含まれている表示指示オブジェクト42bが選択された場合には、図5a及び図5bに示されているように、表示画像30及び表示画像40に、選択された表示指示オブジェクト42bに対応付けられている装着オブジェクト38が表示される。また、選択された表示指示オブジェクト42bは、表示画面40から削除される。
ステップS33において、表示指示オブジェクトがいずれも選択されなかった場合、及び、ステップS34において装着ギフトの表示処理が完了した場合には、装着ギフトの表示処理は終了する。
次に、図11をさらに参照して、動画の配信中に行われるメッセージギフトの表示処理について説明する。メッセージギフトの表示処理は、図8に示した動画の配信処理と並行して行われる。また、メッセージギフトの表示処理は、図9に示した通常ギフトの表示処理及び図10に示した装着ギフトの表示処理と並行して行われてもよい。
動画の配信中に、ステップS41において、メッセージギフトの表示要求がなされたか否かが判定される。例えば、第1視聴ユーザは、自らがテキスト入力したメッセージを含むメッセージギフトの表示を要求する表示要求を視聴ユーザ装置10からサーバ装置60に対して送信することができる。
メッセージギフトの表示要求がなされた場合には、当該表示処理はステップS42に進む。ステップS42においては、当該表示要求に基づいて、表示が要求されたメッセージギフトに関連付けられたメッセージ確認画面43が配信ユーザ装置20の表示画面40に表示される。
次に、ステップS43において、当該メッセージギフトの動画中への表示が許可されたか否かが判定される。例えば、配信ユーザ装置20における表示画面40に含まれているメッセージ確認画面43に含まれているメッセージギフトの動画への表示の許可と関連付けられたボタンが選択されたか否かが判定される。
メッセージギフトの動画への表示の許可と関連付けられたボタンが選択された場合には、ステップS44において、配信中の動画の表示画面に、当該メッセージギフトを表示する処理が行われる。例えば、メッセージ確認画面43に含まれているメッセージギフトの動画への表示の許可と関連付けられたボタンが選択された場合には、図7a及び図7bに示されているように、表示画像30及び表示画像40に、表示要求がなされたメッセージギフト39が表示される。
ステップS43において、メッセージ確認画面43に含まれているメッセージギフトの動画への表示の拒否と関連付けられたボタンが選択された場合、及び、ステップS44においてメッセージギフトの表示処理が完了した場合(例えば、当該メッセージギフトに設定されている表示時間が経過した場合)には、メッセージギフトの表示処理は終了する。
一実施形態においては、動画配信内に、ギフトオブジェクトの表示が禁止されるオブジェクト表示禁止区間が設けられてもよい。図12は、オブジェクト表示禁止区間を模式的に説明する図である。図12は、時刻t1から時刻t2の間に動画が配信されていることを示している。つまり、時刻t1が動画の配信開始時刻であり、時刻t2が動画の配信終了時刻である。動画の配信期間のうち、時刻t3と時刻t4との間がギフト表示禁止期間81である。このギフト表示禁止期間81にギフトの表示要求r1がなされても、ギフト表示禁止期間81においては、当該ギフトオブジェクトは、当該動画の表示画像には表示されない。具体的には、ギフト表示禁止期間81においてギフトのうちエフェクトギフト又は通常ギフトの表示要求がなされると、この表示が要求されたエフェクトギフト又は通常ギフトは当該ギフト表示禁止期間81においては配信中の動画には表示されず、当該ギフト表示禁止期間81の経過後(つまり、時刻t4よりも後)の時点において、当該動画に表示される。ギフト表示禁止期間81において装着ギフトの表示要求がなされた場合には、この表示要求がなされた装着ギフトの表示を指示するための表示指示ボタンは、配信ユーザ装置20の表示画面40に表示されず、当該ギフト表示禁止期間81の経過後の時点において表示画面40に表示される。ギフト表示禁止期間81においてメッセージギフトの表示要求がなされた場合には、この表示要求がなされたメッセージギフトの表示可否を確認するためのメッセージ確認画面43は、配信ユーザ装置20の表示画面40に表示されず、当該ギフト表示禁止期間81の経過後の時点において表示画面40に表示される。これにより、配信ユーザU1は、ギフト表示禁止期間81においては、エフェクトギフトや通常ギフトの表示による干渉を受けずに動画を配信することができる。また、配信ユーザU1は、ギフト表示禁止期間81においては、装着ギフトの確認のための表示指示ボタンの追加やギフトメッセージの表示可否の確認に気を取られることなく、配信中の動画におけるパフォーマンスに集中することができる。ギフト表示禁止期間81であっても、配信ユーザU1によって表示指示ボタン42a~42cのいずれかが選択された場合には、その選択された表示指示ボタンに対応する装着ギフトの表示が行われてもよい。これにより、配信ユーザU1は、所望の装着ギフトを装着したキャラクタオブジェクトによりパフォーマンスを配信することができる。
上記の一実施形態によれば、動画に表示されるギフトのうち、キャラクタオブジェクトと関連付けて表示されるのは、装着オブジェクトのみである。キャラクタオブジェクトのアニメーションが表示される動画においては、当該キャラクタオブジェクトのアニメーションが視聴ユーザの注目を集める要素と考えられる。上記の一実施形態では、キャラクタオブジェクト31と関連付けて表示される装着ギフトの表示要求があっても、当該装着ギフトを表示するための表示指示ボタンが配信ユーザU1の配信ユーザ装置20に表示され、当該表示指示ボタンが選択されるまでは当該装着ギフトは動画に表示されないので、キャラクタオブジェクトの周辺またはキャラクタオブジェクトに重複して装着ギフトが乱雑に表示されることを防止できる。これにより、視聴ユーザの視聴体験の劣化を防止できる。
従来の動画配信システムにおいては、ギフトオブジェクトは、その種類を問わず、動画への表示要求がなされたことに応じて当該動画に表示されていた。よって、ギフトを動画に重複表示可能とすると、当該動画に大量のギフトが表示されてしまい、当該動画を視聴するユーザの視聴体験が劣化してしまう。上記実施形態においては、ギフトにキャラクタオブジェクトと関連付けて表示される装着ギフトというカテゴリを設けることにより、動画の主要部分であるキャラクタオブジェクトに関連付けて表示される装着ギフトについては、その表示タイミングを配信ユーザU1においてコントロールできるようにした。
通常ギフト36,37については、装着ギフト38に比べて表示時間を短く設定することができ、また、通常オブジェクト36,37は、キャラクタオブジェクト31と接しないようにまたはキャラクタオブジェクト31の前側ではなく背後に表示されてもよい。この場合、通常オブジェクト36,37は、配信中の動画においてキャラクタオブジェクト31の視認性に与える影響が小さい。よって、通常ギフトについては、視聴ユーザからの表示要求に応じて自動的に(配信ユーザU1の許可がなく)動画に表示してもキャラクタオブジェクト31の視認性の悪化によるユーザの視聴体験の劣化にはつながりにくい。
上記実施形態による動画配信システム1においては、ユーザがキャラクタに対して装着オブジェクトを贈ることができる。これにより、かかる装着オブジェクトを贈ることができないシステムと比べて、独自性の高いシステムを提供することができ、当該システムにより独自性の高いサービスを提供することができる。これにより、動画配信システム1により多くのユーザを惹き付けることができるので、動画配信システム1における動画の視聴回数を多くすることができる。
上記実施形態による動画配信システム1においては、配信ユーザU1は、スマートフォンなどのカメラを備えた配信ユーザ装置20により自らの表情に応じて動くキャラクタオブジェクトを含む動画を配信することができる。このように、動画配信システム1においては、配信ユーザU1が動画を配信するための設備が簡略化されているので、配信ユーザU1が参加しやすいプラットフォームが実現されている。
以下、上記の実施形態が奏する作用効果についてさらに説明する。
本発明の一態様においては、視聴ユーザから第1ギフトに関する第1表示要求を受け付けたことに応じて、配信ユーザU1が使用する配信ユーザ装置20に表示指示オブジェクト42を表示させ、この表示指示オブジェクト42への操作に応じて、当該第1ギフトを配信中の動画に表示させる。上記の態様によれば、視聴ユーザから表示要求がなされた第1ギフトを動画に表示するタイミングが配信ユーザ装置20に表示される表示指示オブジェクト42への操作によって決定される。これにより、配信ユーザU1が望まないタイミングで第1ギフトが動画中に表示されることを防止できる。
第1ギフトは、キャラクタオブジェクトの装着部位と関連付けられた装着ギフトであってもよい。装着ギフトは、配信ユーザ装置20に表示されている表示指示オブジェクト42への操作に応じて、配信中の動画において当該装着ギフトに設定されている装着部位と対応する位置に表示される。装着ギフトの一例は、キャラクタオブジェクトの頭部に関連付けられたカチューシャを表すギフトである。このカチューシャを表す装着ギフトは、当該装着ギフトに対応する表示指示オブジェクト42への操作に応じて、キャラクタオブジェクト31の頭部に装着されているように動画に表示される。キャラクタオブジェクトに重複して又はその周囲に表示される装着ギフトは、配信ユーザU1のキャラクタオブジェクト31を通じたパフォーマンスを妨害しやすく、また、視聴ユーザの視聴体験を劣化させやすい。上記の一実施形態によれば、キャラクタオブジェクト31の装着部位と関連付けられた装着ギフトの動画への表示タイミングが、配信ユーザ装置20に表示される表示指示オブジェクト42への操作に応じて決定される。これにより、配信ユーザU1によるキャラクタオブジェクト31を通じたパフォーマンスや視聴ユーザの視聴体験の劣化につながりやすい装着ギフトについて配信ユーザU1が望まないタイミングで動画に表示されることを防止できる。
装着ギフトの各々には、動画に表示される表示時間が設定されていてもよい。この表示時間は、装着ギフトの種類に応じて異なっていてもよく、一律に所定の表示時間が設定されてもよい。一態様において、装着ギフトのうち第1装着ギフトが動画に表示されている場合、当該第1装着ギフトに設定されている表示時間が経過するまでは、当該第1装着ギフトと同じ装着部位が設定されている他の装着ギフトの動画への表示が禁止される。具体的な一態様においては、第1装着ギフトが動画に表示されている場合、当該第1装着ギフトに設定されている表示時間が経過するまでは、当該第1装着ギフトと同じ装着部位が設定されている他の装着ギフトを表示するための表示指示オブジェクト42がディアクティベートされる。当該態様によれば、キャラクタオブジェクトの装着部位に複数の装着ギフトが重複して表示されることを防止できる。
一態様において、視聴ユーザからメッセージと関連付けられたメッセージギフトを受け付けたことに応じて、配信ユーザ装置20に当該メッセージを確認するためのメッセージ確認画面43が表示される。配信ユーザU1は、メッセージを含むメッセージギフトの動画への表示を許可する場合には、配信ユーザ装置20を介してメッセージギフトの表示指示操作を行う。視聴ユーザからメッセージギフトを通じて投稿されるメッセージには、動画中に表示することが望ましくないものが含まれる可能性がある。上記の態様によれば、配信ユーザ装置20に表示されるメッセージ確認画面43に表示されるメッセージに基づいて、配信ユーザU1がメッセージギフトの表示可否を決定できる。これにより、動画中への表示が望ましくないメッセージギフトの表示を防止できる。
一態様において、動画には、配信ユーザU1の音声が合成されており、視聴ユーザから配信ユーザU1の音声を変更するためのボイスチェンジギフトを受け付けたことに応じて、配信ユーザ装置20に音声変更指示オブジェクトを表示し、前記音声変更指示オブジェクトへの操作に応じて、前記配信ユーザの音声を当ギアボイスチェンジギフトにて指定された音声に変更する。当該態様によれば、配信ユーザU1が望まない音声への変更を防止できる。
一態様においては、視聴ユーザからキャラクタオブジェクト31の特定の部位と対応付けられずに当該動画に表示される第2ギフトに関する第2表示要求を受け付けたことに応じて、当該動画に当該第2ギフトが表示される。第2ギフトには、エフェクトギフト及び通常ギフトが含まれる。当該態様によれば、キャラクタオブジェクトの特定の部位と対応付けられずに動画に表示される第2ギフトを、視聴ユーザからの表示要求に応じて(配信ユーザによる操作や指示を要せず)動画中に表示することができる。第2ギフトは、キャラクタオブジェクトの特定の部位と対応付けて表示されないので、配信ユーザU1のキャラクタオブジェクト31を通じたパフォーマンスへの妨害や視聴ユーザの視聴体験の劣化につながる可能性が低い。このため、第2ギフトについては、配信ユーザU1による操作を要せずに動画に表示可能とすることにより、視聴ユーザとのインタラクションを活性化させやすくなる。
一態様においては、動画の配信期間内にギフト表示禁止期間81が設定され、第2ギフトは、ギフト表示禁止期間81以外のタイミングで動画に表示される。当該態様によれば、ギフト表示禁止期間81においては、第2ギフトを含まない動画を視聴ユーザに配信することができる。例えば、配信ユーザU1がキャラクタオブジェクト31を通じてパフォーマンスを披露する時間帯をギフト表示禁止期間81とすることにより、視聴ユーザの注目がキャラクタオブジェクト31から散逸することを防止できる。
本明細書において説明された処理手順、特にフロー図を用いて説明された処理手順においては、その処理手順を構成する工程(ステップ)の一部を省略すること、その処理手順を構成する工程として明示されていない工程を追加すること、及び/又は当該工程の順序を入れ替えることが可能であり、このような省略、追加、順序の変更がなされた処理手順も本発明の趣旨を逸脱しない限り本発明の範囲に含まれる。
以下に、本願の原出願の出願当初の特許請求の範囲に記載された発明を付記する。
[1]
配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用する視聴ユーザ端末によりライブ再生可能とするシステムであって、
一又は複数のコンピュータプロセッサを備え、
前記一又は複数のコンピュータプロセッサは、コンピュータ読み取り可能な命令を実行することにより、
前記視聴ユーザから第1ギフトに関する第1表示要求を受け付けたことに応じて、前記動画に設定されたギフト表示禁止期間以外の期間に、前記配信ユーザによって使用され前記動画が表示される配信ユーザ装置に表示指示オブジェクトを表示させ、
前記表示指示オブジェクトへの操作に応じて、前記ギフト表示禁止期間以外の期間に前記第1ギフトを前記動画に表示させる、
システム。
[2]
前記第1表示要求は、前記ギフト表示禁止期間に受け付けられる、
[1]に記載のシステム。
[3]
前記第1ギフトは、前記キャラクタオブジェクトの装着部位と関連付けられた装着ギフトである、
[1]又は[2]に記載のシステム。
[4]
前記第1ギフトは、前記キャラクタオブジェクトの装着部位と関連付けられた第1装着ギフトであり、
前記一又は複数のプロセッサは、前記視聴ユーザ又は前記視聴ユーザとは異なる視聴ユーザから前記キャラクタオブジェクトの前記装着部位と関連付けられた第2装着ギフトに関する第2表示要求を受け付けた場合、前記動画に前記第1装着ギフトが表示されている間は、前記第2装着ギフトを表示するための前記表示指示オブジェクトをディアクティベートする、
[1]又は[2]に記載のシステム。
[5]
前記一又は複数のプロセッサは、前記第1装着ギフトの表示が終了したことに応じて、ディアクティベートされていた前記第2装着ギフトを表示するための前記表示指示オブジェクトをアクティベートする、
[4]に記載のシステム。
[6]
前記一又は複数のプロセッサは、前記視聴ユーザから前記キャラクタオブジェクトの特定の部位と対応付けられずに前記動画に表示される第2ギフトに関する第3表示要求を受け付け、前記ギフト表示禁止期間以外の期間に前記第2ギフトを前記動画に表示させる、
[1]から[5]のいずれか1項に記載のシステム。
[7]
前記第3表示要求は、前記ギフト表示禁止期間に受け付けられ、
前記第2ギフトは、前記ギフト表示禁止期間の経過後に前記動画に表示される、
[6]に記載のシステム。
[8]
前記表示指示オブジェクトは、前記配信ユーザ装置への接触操作によって選択され、
前記接触操作により選択された前記表示指示オブジェクトに対応する前記第1ギフトが前記動画に表示される、
[1]から[7]のいずれか1項に記載の動画配信システム。
[9]
前記第1表示要求を受け付けたときに前記配信ユーザ装置の表示領域に前記表示指示オブジェクトが上限数だけ表示されている場合には、前記表示領域に表示されている前記上限数の前記表示指示オブジェクトのいずれが操作された後に前記第1表示要求に対応する新たな表示指示オブジェクトを前記表示領域に表示させる、
[1]から[8]のいずれか1項に記載の動画配信システム。
[10]
前記表示指示オブジェクトは、前記動画を生成するための設定の変更を行うサポーターコンピュータのディスプレイにも表示され、
前記サポーターコンピュータに表示された前記表示指示オブジェクトの選択により、前記表示指示オブジェクトに対応する前記第1ギフトが前記動画に表示される、
[1]から[9]のいずれか1項に記載の動画配信システム。
[11]
前記一又は複数のコンピュータプロセッサは、
前記視聴ユーザから前記キャラクタオブジェクトの動きを指定するモーションギフトを受け付けたことに応じて、前記キャラクタオブジェクトに前記モーションギフトによって指示された動きを行わせる、
[1]から[10]のいずれか1項に記載の動画配信システム。
[12]
前記配信ユーザが使用する配信ユーザ装置に前記モーションギフトにより指定された動きを前記キャラクタオブジェクトが行うことの可否を確認するための確認画面を表示させ、前記配信ユーザ装置への表示指示操作に応じて、前記キャラクタオブジェクトに前記モーションギフトによって指示された動きを行わせる、
[11]に記載の動画配信システム。
[13]
一又は複数のコンピュータプロセッサがコンピュータ読み取り可能な命令を実行することにより、配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用する視聴ユーザ端末によりライブ再生可能とする方法であって、
前記視聴ユーザから第1ギフトに関する第1表示要求を受け付けたことに応じて、前記動画に設定されたギフト表示禁止期間以外の期間に、前記配信ユーザによって使用され前記動画が表示される配信ユーザ装置に表示指示オブジェクトを表示させる工程と、
前記表示指示オブジェクトへの操作に応じて、前記ギフト表示禁止期間以外の期間に前記第1ギフトを前記動画に表示させる工程と、
を備える方法。
[14]
配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画を視聴ユーザが使用する視聴ユーザ端末によりライブ再生可能とするプログラムであって、
一又は複数のコンピュータプロセッサに、
前記視聴ユーザから第1ギフトに関する第1表示要求を受け付けたことに応じて、前記動画に設定されたギフト表示禁止期間以外の期間に、前記配信ユーザによって使用され前記動画が表示される配信ユーザ装置に表示指示オブジェクトを表示させる工程と、
前記表示指示オブジェクトへの操作に応じて、前記ギフト表示禁止期間以外の期間に前記第1ギフトを前記動画に表示させる工程と、
を実行させるプログラム。