JP2021170168A

JP2021170168A - コンピュータプログラム、サーバ装置、端末装置、及び方法

Info

Publication number: JP2021170168A
Application number: JP2020072287A
Authority: JP
Inventors: 匡志渡邊; Masashi Watanabe
Original assignee: GREE Inc
Current assignee: GREE Inc
Priority date: 2020-04-14
Filing date: 2020-04-14
Publication date: 2021-10-28
Anticipated expiration: 2040-04-14
Also published as: JP7398655B2; JP2022050452A

Abstract

【課題】アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置及び方法を提供する。【解決手段】一実施形態に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることによりコンピュータプログラムであって、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。【選択図】図３

Description

本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。

近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。

また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスとして、「カスタムキャスト」と称されるサービスが知られている（非特許文献１）。このサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。

"カスタムキャスト"、［online］、Custom Cast Inc.、［２０１９年１２月１０日検索］、インターネット（URL: https://customcast.jp/）

しかしながら、非特許文献１に開示される技術においては、演者が発話しながらスマートフォンの画面をフリックしなければならず、演者にとっては当該フリックの操作を行う困難がある。

なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。

本件出願において開示された幾つかの実施形態は、アバターをより適切に表現可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。

一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情は、前記装着された前記ギフトと、同一のモチーフの表情である、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、同一の部位である、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、異なる部位である、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含む、ものである。

一態様に係るコンピュータプログラムにおいて、前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかである、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の条件は、前記ギフトに係る優先度を用いる、ものである。

一態様に係るコンピュータプログラムにおいて、前記ギフトに係る優先度は、前記ギフトの価格、前記ギフトの表示される大きさ、前記ギフトのレベル、及び／又は、前記ギフトの提供者に係る情報、が用いられる、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いる、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情である、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情は、前記ギフトが表示されている方向に連動して変化する、ものである。

一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報は、前記ギフトの表示開始の情報、前記ギフトの表示変化の情報、前記ギフトが属性として有する情報、及び／又は、前記ギフトの表示終了の情報、を含む、ものである。

一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報は、第１ギフトに係る情報と、第２ギフトに係る情報と、を含み、前記所定の条件は、前記第１ギフトに係る情報と、前記第２ギフトに係る情報と、の組み合わせ、順番、及び／又は、前記第１ギフトと前記第２ギフトとの時間に係る情報と、を用いる、ものである。

一態様に係るコンピュータプログラムにおいて、前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される、ものである。

一態様に係るコンピュータプログラムにおいて、前記ギフトに係る情報を、前記視聴者端末から取得する、ものである。

一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、視聴者端末内に備えられる、ものである。

一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、配信者端末内に備えられ、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、ものである。

一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、配信者端末内に備えられ、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定してアニメーションを生成する、ものである。

一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、サーバ内に備えられ、前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、ものである。

一態様に係るコンピュータプログラムにおいて、前記一又は複数のプロセッサは、サーバ内に備えられる、前記生成された情報を用いて、前記アバターの表情又はポーズに設定して、映像を生成する、ものである。

一態様に係るコンピュータプログラムにおいて、前記複数のプロセッサは、サーバ、視聴者端末、配信者端末、のいずれか一部又は全部に備えられる、ものである。

一態様に係るコンピュータプログラムにおいて、前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、ものである。

一態様に係るサーバ装置は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。

一態様に係るサーバ装置において、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。

一態様に係る方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、ものである。

一態様に係る方法において、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、ものである。

図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である。図３は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。図４は、一実施形態に係るシステムが有するデータの一例である。図５は、一実施形態に係るシステムが有するデータの一例である。図６は、一実施形態に係るシステムが有するデータの一例である。図７は、一実施形態に係るシステムが処理するフローの一例である。図８は、一実施形態に係るシステムが処理するフローの一例である。図９は、一実施形態に係るシステムが処理するフローの一例である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。

１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ〜２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ〜３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。

また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。

サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。

端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。

２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。

２−１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）

図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。

演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。

主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。

このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。

サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。

２−２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。

このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。

端末装置３０がかかる構成を備え、被写体と前記被写体を撮像するカメラとの間の仮想空間上の透明な物体によって少なくとも一つのギフトの位置を移動し、前記ギフトの位置の移動により、前記カメラによって撮像される前記被写体の表示の面積を増加させる、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。

端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。

視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、利用者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。

また、端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

また、配信者端末は、入力装置３４として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。

また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。

３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、物体を生成するのに使用できる情報を取得する取得部と、取得された情報を用いて物体を生成する生成部と、を有してよい。

２．１．取得部
取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。

取得部の取得する情報は、視聴者から配信者に対して提供されるオブジェクトのギフトについての、一又は複数のギフトに係る情報、及び／又は、アバターに係る情報、を用いてよい。

ギフトに係る情報は、ギフトに係る優先度、ギフトに係る位置、ギフトの属性、ギフトが提供されたアバターを特定する情報、及び／又は、複数のギフトに係る情報を含んでよい。

また、アバターに係る情報は、上述の通り、アバターに係る位置、アバターの種類、アバターに係る表情のパラメータ、アバターに係る動作、及び／又は、アバターに係る状況、を含んでよい。ここで、ギフトが提供されたアバターが特定されている場合、アバターに係る情報は、かかるギフトが提供されて特定されたアバターに係る情報であってよい。他方、ギフトが提供されるアバターが特定されていない場合には、仮想空間内の全ての一又は複数のアバターであってもよいし、仮想空間内に登場しているアバターの一部である一又は複数のアバターであってもよい。

これらの、ギフトに係る情報や、アバターに係る情報については、条件適用部において、その具体的な内容を説明する。

また、取得部は、ギフトが、特定のアバターに対して提供された場合は、かかるギフトが提供された相手であるアバターを特定する情報を、取得してよい。

なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよい。

２．２．条件適用部
条件適用部は、前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、機能を有する。

ここで、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情とするための情報のみを生成してもよいし、前記配信者に係るポーズに基づいて生成されていた前記配信者に係るアバターのポーズを、前記所定の条件に対応する所定のポーズとするための情報のみを生成してもよいし、前記配信者に係る表情及びポーズに基づいて各々生成されていた前記配信者に係るアバターの表情及びポーズを、前記所定の条件に対応する所定の表情及びポーズとするための情報を生成してもよい。なお、本願書類において、所定の条件に対応して特定される、所定の表情及び／又はポーズについて、所定の表情等ということがあり、また、表情及び／又はポーズを、表情等ということがある。

また、所定の表情等は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情であってもよいし、予め定められた形状又は動きの設定により表示される表情であってもよいし、予め定められたポーズのパラメータ、又は、配信者のポーズに基づくポーズのパラメータを所定のルールに基づいて補正されたポーズのパラメータ、を用いて表示されるポーズであってもよいし、予め定められた形状又は動きの設定により表示されるポーズであってもよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体（又は顔の一部）についてのものであるがパラメータ毎に顔全体（又は顔の一部）の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブランドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターＡとアバターＢについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターＡとアバターＢにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。

他方、所定の表情等が、配信者の表情等に基づく表情等のパラメータを所定のルールに基づいて補正された表情等のパラメータである場合は、所定の表情等が、配信者の表情等に基づいた表情等となってよい。例えば、配信者が何らかのギフトに対して、驚いた表情をするとする。このとき、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定されるが、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させることにより、より驚きの表情を強調するようにする場合を示す。上述の技術を所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。

また、予め定められた形状又は動きの設定により表示される表情は、表情として、お面のように予め定められた形状そのものを、所定の表情とするものを示し、かかるものであってもよい。

なお、以上においては、いずれも所定の表情について説明したが、同様に、所定のポーズについても、対応する技術が用いられてよい。

また、所定の表情等は、提供されるギフトと関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、ギフトと関連付けて、容易に理解できる利点がある。

関連する表情等としては、例えば、ギフトと同一のモチーフの表情等であってよい。例えば、顔出しの犬のパネルを顔に装着して所定の時間内に口が犬口になったり、猫耳を装着すると装着して所定の時間内に猫口になる、などが挙げられる。同一のモチーフの表情等とは、与えられたギフトに対し、所定の表情等がされることでギフトをより効果的にする表情等を含んでよい。なお、ギフトと同一のモチーフの表情等である場合、ギフトの装着から所定の時間内に、アバターの表情等が所定の表情等となってよい。すなわち、前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含んでよい。なお、上述の所定の時間内は、同時又はほぼ同時であってもよいし、ギフトの装着に伴って所定の表情等に変更になるものでもよい。また、ほぼ同時は、視聴者からの視点でギフトの装着と同じようなタイミングで所定の表情等に変更されたと感じられる程度の時間的差分を含んでよい。

この場合、所定の条件は、与えられたギフトに対して、予め定められたギフトとかかるギフトに対する同一のモチーフの所定の表情等とするルールであってよい。条件適用部は、かかる所定のルールを用いて、与えられたギフトに対して、かかるルールを適用し、所定の表情等を特定してよい。なお、かかるルールは、個々のギフトに対して適用されるルールとしてもよいし、個々のギフトの属するギフトの種類に対して適用されるルールとしてもよい。以降、記載を省略するが、以下の種々の条件について、同様に、所定のルールを用いることで、対応する表情等を特定する情報を生成してよい。

また、関連する表情等としては、例えば、ギフトが与えられた時の予定調和的な表情等であってもよい。予定調和的な表情等とは、アニメや漫画などにおいて、生じた状況において生じる表情等を含んでよい。例えば、お肉のギフトについて、お肉のギフトが口に近づく所定の時間内に、よだれが出る表情等となったり、お肉のギフトを手で取ろうとする所定の時間内によだれが出る表情等となったり、お肉ギフトが目の前に現れたと同時に、よだれが出る表情となったりしてもよい。所定の時間内は、上述と同様であってよい。

他方、所定の表情等は、提供されるギフトのモチーフと正反対の表情等であってもよい。この場合、視聴者は、違和感が生じる可能性があるが、かかる違和感が新たな刺激になる利点がある。

また、所定の表情等は、表情等を構成する全ての個所（部位）についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであってもよい。

また、所定の表情等が発動する部位は、前記装着された前記ギフトの装着部位と、同一の部位であってよい。例えば、口に装着される風船のギフトに対しては、かかる口がすぼむ、などの表情であってよい。この場合、風船を膨らませるのに適切な表情としての口の表現となることから、視聴者は、風船のギフトに対する違和感を生じない利点がある。

また、所定の表情等が発動する部位は、前記装着された前記ギフトの装着部位と、異なる部位であってよい。例えば、温泉タオルのギフトについて、頭の上に温泉タオルを置く状態によるギフトの装着と同時に、頭とは異なる部位である目について、目が横線になる、などの表情であってよい。また、指に装着する指輪のギフトについて、指輪を装着に伴い、指と異なる部位である目について、目がハートになる、などの表情であってよい。また、ポッキーのギフトについて、ポッキーを食べる状態による口への装着に伴い、口とは異なる部位である目および頬の部位について、目をつむる、頬が赤くなる、などの表情であってよい。

また、所定の表情等は、ギフトが表示されている方向に連動して変化する、ものであってよい。仮想空間内において、ギフトがどの場所に出現するか、配信者には分からない場合がある。このとき、ギフトが提供されていても、配信者は気づかず、結果として、配信者に係るアバターも、そのギフトに反応ができないことがある。そこで、アバターに係る表情が、ギフトが表示されている方向に連動して変化することにより、ギフトを提供した視聴者は、アバターが反応したと理解し、よりコミュニケーションが活発化できる利点がある。ここで、ギフトが表示されている方向に連動して変化する所定の表情等の設定の態様としては、種々のものがあってよい。また、ギフトが表示されている方向に連動して変化する所定の表情等内の部位は、一つでもよいし、複数でもよい。例えば、所定の表情等は、ギフトが表示されている方向に視線を向ける目を含んでもよいし、ギフトが表示されている方向に対して口や眉毛が変化する態様を含んでもよいし、ギフトが表示されている方向に顔を向けてもよいし、手のひらを眉の前方に位置させて遠方を見るようなポーズをしてもよい。また、その他の態様の例としては、お肉のギフトが提供された場合に、所定の表情として、かかるお肉のギフトの表示側にもぐもぐした口を寄せた表情としてもよい。また、タワーギフトが提供された場合、かかるタワーギフトが表示された方向を向いて、所定の表情として、驚いて目を寄せた表情としてもよい。なお、かかる場合において、ギフトの位置に係る情報は、ギフトの回転情報を用いてもよい。

所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部周辺のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズのような全体のポーズでもよい。

また、ギフトに係る情報が、ギフトが提供されたアバターを特定する情報を含む場合、条件が適用された場合に所定の表情等とするアバターは、係る特定されたアバターに対しての処理であってよい。

所定の条件は、ギフトに係る情報、及び／又は、アバターに係る情報、を用いてよい。

ギフトに係る情報は、上述の通り、ギフトの属性、ギフトに係る優先度、ギフトに係る位置、ギフトの表示開始、ギフトの表示変化、ギフトの表示終了、及び／又は、複数のギフトに係る情報を含んでよい。

アバターに係る情報は、上述の通り、アバターに係る位置、アバターの種類、アバターに係る表情のパラメータ、アバターに係る動作、及び／又は、アバターに係る状況、を含んでよい。

ギフトに係る優先度は、所定時間内に、複数のギフトが提供された場合において、それらの複数のギフトのうちの一部のギフトを用いて、所定の表情等が適用される場合に、どの一部のギフトに基づいて所定の表情等を設定するか、に用いられてよい。この場合、一部のギフトとして、一つのギフトに係る情報を用いてもよいし、複数のギフトに係る情報を用いてもよい。ギフトに係る優先度を設定することにより、所定時間内に提供されたギフトについての処理を適切に対応できる利点がある。

例えば、所定の時間内に、５つのギフトが提供された場合、この５つのギフトの中で優先度の最も高い一のギフトのみについてのギフトに係る情報に対し所定の条件が適用されてもよいし、最も優先度の高い一のギフト及び次に優先度の高い他のギフトのみについてのギフトに係る情報に対し所定の条件が適用されてもよいし、優先度が所定順位以内の他のギフトについてのギフトに係る情報に対し所定の条件が適用されてもよい。この場合、ギフトに係る優先度は、所定の条件が適用される対象を選択するという意味において、所定の条件の適用の事前条件としての機能を有してよい。

なお、所定の条件として、ギフトに係る優先度を用いない場合、ギフトに係る情報を取得したギフトについて、ギフトに係る情報を取得した時間順に所定の条件を適用してもよい。ここで取得した時間順とは、ネットワークの混雑具合や情報処理の進み方などに応じて最終的に取得したギフトに係る情報の取得の時間順でもよいし、視聴者端末や配信者端末やサーバにおいてギフトの提供の指示を取得した時間順でもよい。後者は、例えば、端末やサーバにおいて指示を取得した時間順に時間情報と関連付けて、かかる時間順を決定してもよい。この場合、次のギフトに係る情報を取得した場合、前のギフトに係る情報に基づく所定の表情等の設定を次のギフトに係る情報に基づく所定の表情等に置き換えて設定し前の所定の表情等の情報を削除してもよいし、前の所定の表情等の情報を継続して次のギフトに係る情報についての所定の表情等は設定しないとしてもよい。前者の場合、与えられたギフトに対応する所定の表情等をアバターに表示できる利点がある。他方、後者の場合、設定しない所定の表情等があるとしても、一旦設定された所定の表情等を視聴者が理解できるよう継続して表示できる利点がある。なお、かかる場合、所定の条件は、第１ギフトが提供された時間と第２ギフトが提供された時間間隔である第１ギフトと第２ギフトとの時間に係る情報とを用いて、所定の表情等を特定してよい。

ギフトに係る優先度は、ギフトの価格、ギフトの表示される大きさ、ギフトのレベル、ギフトの仮想空間内の出現場所、ギフトの種類、ギフトの提供者に係る情報、及び／又は、ギフトの提供されたタイミング、などを用いて生成されたものであってよい。

ギフトの価格（消費するポイント）、ギフトの表示される大きさ、ギフトのレベルについては、価格、大きさ、レベル数の大きいギフトが、価格、大きさ、レベル数の小さいギフトよりも、高い優先度が設定されていてよい。この場合、価格、大きさ、レベル数、の大きいギフトが提供された場合の方が、所定の表情等に影響を与え、より活性化させる機能を有してよい。また、これとは逆に設定してもよい。

ギフトの仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現したギフトを、仮想空間内の左右などの端に出現したギフトよりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現したギフトの優先度を高くした場合、視聴者は、目立ちやすい場所に出現したギフトを視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。

また、ギフトに係る優先度は、そのギフトに予め設定されている静的な情報であってもよいし、ギフトが提供された段階で初めて設定される動的な情報であってもよい。前者は、例えば、ギフトの価格、ギフトの表示される大きさ、ギフトの種類などがあってよい。後者は、ギフトの仮想空間内の出現場所、ギフトの提供者、ギフトの提供されたタイミング、などであってよい。また、ギフトの価格については、オークション形式などの動的に設定される情報であってもよい。ギフトに係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。

ギフトの種類は、ギフトの具体的な内容であって良く、種々のものであってよい。ギフトの提供されたタイミングは、先に提供されたギフトを、後に提供されたギフトよりも高い優先度を設定してもよい。

また、ギフトに係る優先度としてギフトの提供者に係る情報を用いる例としては、ギフトを提供者に応じて、ギフトに係る優先度を異なる設定とすることが考えられる。例えば、ある視聴者が所定の配信において特定の地位を有している場合、かかる地位を有していない者のギフトよりも、かかる地位を有している者のギフトの優先度を高く設定してもよい。かかる地位はその配信において視聴者が特定の会員であったり、特定の優待的な立場などに基づいてもよい。また、提供されたギフトの提供者についての、配信の視聴の頻度や、配信の視聴の合計時間、ギフトが提供されるアバターについての配信の視聴の頻度や視聴の合計時間、ギフトが提供されるアバターに係る配信者の配信についての視聴の頻度や視聴の合計時間、現在視聴中の配信において提供したギフトの数、ギフトの合計金額、及び／又は、ギフトの頻度、などに基づいて設定されたものでもよい。また、ギフトの提供者が、アバターに係る配信者との間の応援ランキングに係る情報や、ギフトの提供者がアバターに係る配信者と相互フォロワーである場合等は、かかる情報に基づいて、対応する優先度を設定してよい。応援ランキングに係る情報は例えば、視聴者のアクティビティに係る情報から算出されるランキングの情報を含んでよい。視聴者のアクティビティに係る情報としては、例えば、視聴者の提供したギフトの合計数、ギフトの価格の合計額、ギフトのレベルの合計値、ギフトに係る情報を用いた評価値、視聴者のコメント数、視聴者のいいね数、またはこれらを用いた情報など、を含んでよい。

特定の配信者のアバターの配信について、より熱烈な視聴者であるほど、その提供するギフトに対して所定の表情等が適用できる可能性が高く設定される場合、視聴者の熱中度を向上する作用が働く可能性がある。

なお、上述のギフトに係る優先度は、所定の条件の一部として複数のギフトのうちの一部のギフトを選択するために使用されてもよいし、優先度に対応した所定の表情等を設定するのに使用されてもよいし、その両方である複数のギフトのうちの一部のギフトを選択するために使用されかつ係る優先度に対応する所定の表情等を特定するのに使用されてもよい。例えば、ギフトのレベルが５のギフトに係る情報を取得した場合に適用される所定の表情等と、同一のギフトのレベルが３のギフトに係る情報を取得した場合に適用される所定の表情等とが、異なってもよい。例えば、あるギフトについて、ギフトのレベル３の場合の所定の表情等は、口と口ひげのみを規定した所定の表情等が設定されるのに対し、ギフトのレベルが５の場合の所定の表情等は、口と口ひげに加えて眉毛を規定した所定の表情等が設定されるものであってよい。なお後者における所定の表情等は、口ひげと、眉毛と、目の態様を規定した所定の表情が設定される（口についての設定がなくなる）というように、ギフトのレベルが高い場合、低いレベルの表情を包含する表情であってもよい。また、その他の態様として、例えば、あるギフトについて、ギフトのレベル３の場合の所定の表情等は、口と口ひげのみを規定した所定の表情等が設定されるのに対し、ギフトのレベルが５の場合の所定の表情等は、口の規定はなく、口ひげと眉毛を規定した所定の表情等が設定されるもの、というように、ギフトのレベルが高い場合の所定の表情等が、ギフトのレベルが低い場合の所定の表情等を包含しなくてもよい。上述のギフトのレベル３と５に対応する各表情のように、所定の条件が段階的なものを含み、対応する所定の表情等についても、対応して、段階的なものであって、その各所定の表情等を異なるものとしてもよい。

また、所定の条件は、ギフトに係る情報と、アバターに係る情報と、の両方を用いてもよい。

例えば、所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含むものであってよい。ここで、ギフトに係る位置は、ギフトに予め設定された箇所の位置でもよいし、ギフトが表示された場合の外円や多角形に係る位置でもよいし、ギフトが表示された場合の重心の位置でもよい。外円に係る位置は、外円の中心や外円の接線を用いて特定される位置でもよい。また、多角形に係る位置は、多角形の中心や多角形の頂点や辺などを用いて特定される位置でもよい。前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情等を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかであってよい。

所定の条件において、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含むことを用いることにより、視聴者は、所定の表情等がされたことの意味を理解しやすい利点がある。

なお、上記とは逆に、所定の条件において、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲外となることを含んでもよい。特に、前記アバターに係る位置と、前記ギフトに係る位置と、が所定時間内に所定距離離れたことを含んでもよい。この場合、ギフトとアバターとが離れる方向に相対的に移動する状況が示されているが、例えば、アバターの所定の表情として涙が出てくる、などの表情が設定されてもよい。

また、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、あるギフトに係る情報を取得した場合、第１のアバターの種類においては所定の表情等となるが、第２のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気な性格の設定であるとして、おばけギフトが提供された場合に、怖がる表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。

なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。

また、アバターに係る情報として、アバターの動作を含んでもよい。例えば、拳銃のギフトに係る情報と、銃を撃つ動作のアバターの動作がされた場合、拳銃を狙う勇ましい顔になってよい。なお、かかる場合において、銃の種類に応じて、異なる表情になってもよい。例えば、バズーカ砲と、狙撃銃と、拳銃と、機関銃と、はその一部の組み合わせにおいて、同じ表情であってもよいし、異なる表情であってもよい。

また、アバターに係る情報として、アバターに係る状況を含んでもよい。例えば、アバターが、特定の穴に落ちて出られない状況になっている場合において、縄梯子のギフトが提供された場合、所定の表情として、満面の笑顔を示す所定の表情を設定してもよい。

また、所定の条件として、ギフトの表示開始の情報、ギフトの表示変化の情報、及び／又は、ギフトの表示終了の情報、という個々のギフトの表示のタイミングを用いて、所定の条件の充足を判定してもよい。この場合、ギフトの表示の開始、変化、終了という、ギフトの表示に対応して、アバターの表情やポーズに変化が生じることから、視聴者は、アバターの表情やポーズの変化の意味を、ギフトと関連付けて、理解しやすくなる利点がある。

また、所定の条件として、ギフトが属性として有する情報を用いてもよい。ギフトの属性は、ギフトの種類や、ギフトのレベル、などのギフトが備える特性を含んでもよいし、含まなくともよい。また、ギフトが有する特定の特徴に応じて、所定の条件が充足されるよう所定の条件が設定されてよく、対応する所定の表情等が設定されてよい。

ギフトの種類は、例えば、ギフトが提供される時期的情報、ギフトの分類の情報、ギフトが装着される部位、などがあってよい。ギフトが提供される時期的情報は、新規にリリースされたもの、リリース後所定期間内のもの、ハロウィーン限定のように所定の時期的なイベントに対応したもの、などであってよい。ギフトの分類の情報としては、無料のギフト、アクセサリーのもの、応援グッズ、などであってよい。また、ギフトが装着される部位は、目、口、鼻、おでこ、耳、手、足など、又はこれらの組み合わせ、などであってよい。

ギフトのレベルは、同じ又は異なる他のギフトと組み合わせることにより、レベルアップすることができてよい。そして、同じギフトであるとしても、第１のレベルのギフトと、第２のレベルのギフトと、を取得した場合、レベルの高いギフトの場合の方が、豪華な所定の表情等が設定されてよい。例えば、第１の所定の表情等が、第２の所定の表情等よりも、豪華であるとは、例えば、所定の表情等として設定されるパラメータが多い場合、所定の表情等によって影響される部位が多い、などが挙げられる。

また、前記ギフトに係る情報は、第１ギフトに係る情報と、第２ギフトに係る情報と、を含み、前記所定の条件は、前記第１ギフトに係る情報と、前記第２ギフトに係る情報と、の組み合わせ、順番、及び／又は、前記第１ギフトと前記第２ギフトの時間に係る情報と、を用いる、ものでもよい。

例えば、アバターが所定の組み合わせのギフトを与えられた場合、かかるアバターの表情を所定の表情等としてもよい。より具体的には、例えば、アバターが、ＲＰＧのギフトとして、勇者の盾、勇者の剣、勇者のマント、の３種のギフトが提供された場合、かかるアバターの表情として、勇者の勇ましい顔に設定されてよい。なお、かかる場合において設定される所定の表情等は、与えられたギフトの組み合わせから、示唆されるものであってよい。一例を挙げれば、カエルの盾、カエルの件、カエルのマントであれば、カエルのような顔になってよい。

また、ギフトに係る情報が所定の順序で取得した場合に限り、所定の条件が充足されるよう設定されてもよい。例えば、ギフトとして、はちまきが与えられた段階で目が燃えているようなメラメラする表情が設定されるとし、更にギフトとして、サングラスが与えられると、サングラスをしていても目がメラメラしている様子が分かる程度に、単にハチマキだけを装着した時の目がメラメラした表示よりも、目がメラメラした表示が大きい表情が設定されてもよい。かかる大きな目のメラメラした表示の表情は、サングラスの後にハチマキが与えられた場合には適用されないとしてもよいし、同一の表情になるよう設定してもよい。

条件適用部は、所定の条件の充足によって特定された表情を、前記ギフトが提供されたアバターについての表情としてよい。より具体的には、所定の条件の充足によって特定された表情を示す情報は、特定された表情を示すＩＤや、特定された表情を示す表情の一又は複数のパラメータであってよく、かかる特定された表情を、かかるアバターの表情とできるように、かかる特定された表情を示す情報を用いて、アバターの表情を設定してよい。かかるＩＤやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情を示す情報を特定できるよう構成されてよい。

かかる処理において、条件適用部が実行される第１情報処理装置と、かかるアバターの表情の設定を含む処理を行う第２情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情と設定するよう処理してよい。

また、条件適用部が実行される第１情報処理装置と、かかるアバターの表情の設定を含む処理を行う第２情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情を、第１情報処理装置は、第２情報処理装置に送信し、かかる第２情報処理装置において、特定された表情を用いて、前記アバターの表情と設定するよう処理してよい。

ここで、第１情報処理装置がサーバであって、第２情報処理装置がサーバである場合は、第１情報処理装置のサーバから、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が配信者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。

同様に、第１情報処理装置が視聴者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の視聴者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。

同様に、第１情報処理装置が配信者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の配信者端末から、第２情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。第１情報処理装置が配信者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。

上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。

また、所定の条件は、所定の表情等が設定されるタイミングを含んでよい。上述の種々の条件において、アバターに係る位置とギフトに係る位置とが所定の距離の範囲内になったタイミングによって、所定の表情等が設定され、かかる所定の表情等の情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。

他方、所定の条件が充足された上で、所定の表情等が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、２秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その２秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。

図５及び図６は、所定の条件のルールの一例である。ギフトに係る情報のみ、及び／又は、アバターに係る情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。

上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、演者がタブレットなどを用いてバターの表情を自ら指定できる場合であっても、スタジオ配信においてオペレータによって装着ギフトが装着される場合、演者が装着されたことに気づかないこともあるため、そのような場合において演者が何ら操作しなくとも、ギフトに対応する表情又はポーズがアバターに適用できる利点がある。すなわち、所定の表情又はポーズとするための情報は、前記配信者からギフトを提供する以外の操作なしに、生成されてよい。

また、上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等を自動的に実現できることとなり、視聴者端末から、ギフトの提供のみで、その他の視聴者端末からの操作なく、アバターの表情が変更する結果が生じる反応を楽しむことのできる利点がある。

４．実施形態
４−１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図７を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。

ステップ１
取得部が、ギフトに係る情報を取得する（ステップ００１）。かかるギフトに係る情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力されたギフトに係る情報が、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。なお、取得部は、他のアバターに係る情報を取得してもよい。

ステップ２
次に、条件適用部が、少なくともギフトに係る情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。

ステップ３
特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する（ステップ００３）。視聴者は、ギフトの提供に対応して、アバターの表情等が変更される反応を視聴できる利点がある。

４−２．実施形態２
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図８を用いて説明する。

ステップ１
取得部が、ギフトに係る情報を取得する（ステップ００１）。なお、取得部は、他のアバターに係る情報を取得してもよい。

ステップ２
次に、条件適用部が、少なくともギフトに係る情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する（ステップ００２）。

ステップ３
サーバは、特定された表情を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００３）。

ステップ４
各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する（ステップ００４）。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。

ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される（ステップ００５）。なお、アニメ―ションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。

４−３．実施形態３
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図９を用いて説明する。

ステップ３
サーバは、特定された表情を示す情報等を用いて、かかるアバターの配信についての映像を生成する（ステップ００３）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。

ステップ４
特定された表情を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される（ステップ００４）。

ステップ５
各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される（ステップ００５）。

また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。

本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。

１システム
１０通信網
２０（２０Ａ〜２０Ｃ）サーバ装置
３０（３０Ａ〜３０Ｃ）端末装置
２１（３１）演算装置
２２（３２）主記憶装置
２３（３３）入出力インタフェイス
２４（３４）入力装置
２５（３５）補助記憶装置
２６（３６）出力装置
４１取得部
４２条件適用部

Claims

コンピュータプログラムであって、
一又は複数のプロセッサにより実行されることにより、
視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
ように前記プロセッサを機能させるコンピュータプログラム。
前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
請求項１に記載のコンピュータプログラム。
前記所定の表情は、前記装着された前記ギフトと、同一のモチーフの表情である、
請求項２に記載のコンピュータプログラム。
前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、同一の部位である、
請求項２に記載のコンピュータプログラム。
前記所定の表情が発動する部位は、前記装着された前記ギフトの装着部位と、異なる部位である、
請求項２に記載のコンピュータプログラム。
前記所定の条件は、前記アバターに係る位置と、前記ギフトに係る位置と、が所定距離の範囲内に入ることを含む、
請求項１に記載のコンピュータプログラム。
前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダー、のいずれかである、
請求項６に記載のコンピュータプログラム。
前記所定の条件は、前記ギフトに係る優先度を用いる、
請求項１乃至７のいずれか１項に記載のコンピュータプログラム。
前記ギフトに係る優先度は、前記ギフトの価格、前記ギフトの表示される大きさ、前記ギフトのレベル、及び／又は、前記ギフトの提供者に係る情報、が用いられる、
請求項８に記載のコンピュータプログラム。
前記所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いる、
請求項１乃至９のいずれか1項に記載のコンピュータプログラム。
前記所定の表情は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情、又は、予め定められた形状又は動きの設定により表示される表情である、
請求項１乃至１０のいずれか1項に記載のコンピュータプログラム。
前記所定の表情は、前記ギフトが表示されている方向に連動して変化する、
請求項１乃至１１のいずれか１項に記載のコンピュータプログラム。
前記ギフトに係る情報は、前記ギフトの表示開始の情報、前記ギフトの表示変化の情報、前記ギフトが属性として有する情報、及び／又は、前記ギフトの表示終了の情報、を含む、
請求項１乃至１２のいずれか1項に記載のコンピュータプログラム。
前記ギフトに係る情報は、第１ギフトに係る情報と、第２ギフトに係る情報と、を含み、
前記所定の条件は、前記第１ギフトに係る情報と、前記第２ギフトに係る情報と、の組み合わせ、順番、及び／又は、前記第１ギフトと前記第２ギフトとの時間に係る情報と、を用いる、
請求項１乃至１３のいずれか１項に記載のコンピュータプログラム。
前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される、
請求項１乃至１４のいずれか１項に記載のコンピュータプログラム。
前記ギフトに係る情報を、前記視聴者端末から取得する、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記一又は複数のプロセッサは、視聴者端末内に備えられる、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記一又は複数のプロセッサは、配信者端末内に備えられ、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記一又は複数のプロセッサは、配信者端末内に備えられ、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定してアニメーションを生成する、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記一又は複数のプロセッサは、サーバ内に備えられ、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定する、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記一又は複数のプロセッサは、サーバ内に備えられる、
前記生成された情報を用いて、前記アバターの表情又はポーズに設定して、映像を生成する、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記複数のプロセッサは、サーバ、視聴者端末、配信者端末、のいずれか一部又は全部に備えられる、
請求項１乃至１５のいずれか１項に記載のコンピュータプログラム。
前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である、
請求項１乃至２２のいずれか１項に記載のコンピュータプログラム。
一又は複数のプロセッサを具備し、
前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
ことを特徴とするサーバ装置。
前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
請求項２４に記載のサーバ装置。
コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、
前記プロセッサが、前記命令を実行することにより、
視聴者から配信者に対して提供されるオブジェクトのギフトに係る情報を取得し、
前記取得したギフトに係る情報が前記ギフトに係る情報を用いた所定の条件を充足するか否かを判定し、
前記取得したギフトに係る情報が前記所定の条件を充足すると判定された場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
ことを特徴とする方法。
前記所定の条件は、前記アバターが前記ギフトを装着したタイミングで充足する条件を含む、
請求項２６に記載の方法。