以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。
1.システムの例
図1は、一実施形態に係るシステムの構成の一例を示すブロック図である。図1に示すように、システム1は、通信網10に接続される1又はそれ以上のサーバ装置20と、通信網10に接続される1又はそれ以上の端末装置30と、を含んでよい。なお、図1には、サーバ装置20の例として、3つのサーバ装置20A~20Cが例示され、端末装置30の例として、3つの端末装置30A~30Cが例示されているが、サーバ装置20として、これら以外の1又はそれ以上のサーバ装置20が通信網10に接続され得るし、端末装置30として、これら以外の1又はそれ以上の端末装置30が通信網10に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。
通信網10は、携帯電話網、無線LAN、固定電話網、インターネット、イントラネット、イーサネット(登録商標)、及び/又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網10においては、本願書類で開示された種々のデータが通信されてよい。
サーバ装置20は、インストールされた特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、
、という動作等を実行できてよい。
或いはまた、端末装置30は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等を実行できてよい。
端末装置30は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話(フィーチャーフォン)及び/又はパーソナルコンピュータ等であってよく、これらに限定されない。
2.各装置のハードウェア構成
次に、サーバ装置20が有するハードウェア構成の一例について説明する。
2-1.サーバ装置20のハードウェア構成
サーバ装置20のハードウェア構成例について図2を参照して説明する。図2は、図1に示したサーバ装置20(端末装置30)のハードウェア構成の一例を模式的に示すブロック図である(なお、図2において、括弧内の参照符号は、後述するように各端末装置30に関連して記載されたものである。)
図2に示すように、サーバ装置20は、主に、演算装置21と、主記憶装置22と、入出力インタフェイス装置23を備えることができる。サーバ装置20は、更に、入力装置24と、補助出力装置26と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されていてよい。
演算装置21は、主記憶装置22に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置22に記憶させるものである。さらに、演算装置21は、入出力インタフェイス装置23を介して、入力装置24、補助記憶装置25及び出力装置26等を制御することができる。サーバ装置20は、1以上の演算装置21を含んでよい。演算装置21は、1又はそれ以上の、中央処理装置(CPU)、マイクロプロセッサ、及び/又は、グラフィックスプロセッシングユニット(GPU)を含んでよい。
主記憶装置22は、記憶機能を有し、入力装置24、補助記憶装置25及び通信網10等(サーバ装置20等)から、入出力インタフェイス装置23を介して受信した命令及びデータ、並びに、演算装置21の演算結果を記憶するものである。主記憶装置22は、RAM(ランダムアクセスメモリ)、ROM(リードオンリーメモリ)及び/又はフラッシュメモリ等をこれらに限定することなく含むことができる。
補助記憶装置25は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ(コンピュータプログラム)を記憶してよく、演算装置21により制御されることにより、これらの命令及びデータ(コンピュータプログラム)は入出力インタフェイス装置23を介して主記憶装置22にロードされてよい。補助記憶装置25は、磁気ディスク装置及び/又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
入力装置24は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び/又はセンサ等であってよい。
出力装置26は、ディスプレイ装置、タッチパネル及び/又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置24と出力装置26とが一体化されたものであってもよい。
このようなハードウェア構成にあっては、演算装置21が、補助記憶装置25に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置22にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置23を介して出力装置26を制御し、或いはまた、入出力インタフェイス装置23及び通信網10を介して、他の装置(例えばサーバ装置20及び他の端末装置30等)との間で様々な情報の送受信を行うことができてよい。
サーバ装置20がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置24又は後述する端末装置30に係る入力装置34を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置21上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置20の出力装置26によって表示されてよく、又はユーザーの利用するシステムとしての端末装置30の出力装置36に表示させる構成であってよい。
2-2.端末装置30のハードウェア構成
端末装置30のハードウェア構成例について同じく図2を参照して説明する。各端末装置30のハードウェア構成としては、例えば、上述した各サーバ装置20のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置30が有する構成要素に対する参照符号は、図2において括弧内に示されている。
図2に示すように、各端末装置30は、主に、演算装置31と、主記憶装置32と、入出力インタフェイス装置33と、入力装置34と、補助記憶装置35と、出力装置36と、を含むことができる。これら装置同士は、データバス及び/又は制御バスにより接続されている。
演算装置31、主記憶装置32、入出力インタフェイス装置33、入力装置34、補助記憶装置35及び出力装置36は、それぞれ、上述した各サーバ装置20に含まれる、演算装置21、主記憶装置22、入出力インタフェイス装置23、入力装置24、補助記憶装置25及び出力装置26と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置34及び出力装置36については、以下で詳述する。
このようなハードウェア構成にあっては、演算装置31が、補助記憶装置35に記憶された特定のアプリケーションを構成する命令及びデータ(コンピュータプログラム)を順次主記憶装置32にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置33を介して出力装置36を制御し、或いはまた、入出力インタフェイス装置33及び通信網10を介して、他の装置(例えば各サーバ装置20等)との間で様々な情報の送受信を行うことができる。
端末装置30がかかる構成を備え、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する、 という動作等(後に詳述する様々な動作を含む)の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置20からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置34を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置31上で実行されている場合にはユーザーの利用するシステムとしての端末装置30の出力装置36に表示する構成であってよい。
端末装置は、本願書類において、「配信者端末」と「視聴者端末」の2種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。
視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、利用者端末は、入力装置34として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、利用者端末は、演算装置34により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントは、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
なお、本願発明に係るコメントは、利用者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。
また、端末は、入力装置34として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置34としてのマイクによって取得され、音として扱ってもよいし、入力装置34としてのマイクによって取得された後、演算装置31による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置31によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
他方、配信者端末は、入力装置34として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
また、配信者端末は、入力装置34として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置23を介して、通信網10へ送信されてよい。
また、視聴者端末及び配信者端末における出力装置36は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ELディスプレイ、マイクロLEDディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置36で出力される情報は、演算装置31において生成された情報であってもよいし、通信網10から受信した情報であってもよい。
3.各装置の機能
次に、サーバ装置20及び端末装置30の各々が有する機能の一例について、図3を参考に、説明する。図3は、図1に示したシステムの機能の一例を模式的に示すブロック図である。図3に示すように、一例のシステムは、物体を生成するのに使用できる情報を取得する取得部と、取得された情報を用いて物体を生成する生成部と、を有してよい。
2.1.取得部
取得部は、後述する所定の条件の適用の可否を判断するのに使用できる情報を取得する機能を有する。
取得部の取得する情報は、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報(本願書類において、所定の動作等、ということもある)を含んでよい。
これらの、取得部の取得する情報については、条件適用部において、その具体的な内容を説明する。なお、図4は、これらの取得部が取得する情報の一部の一例を示したものである。
また、取得部は、ギフトが、特定のアバターに対して提供された場合は、かかるギフトが提供された相手であるアバターを特定する情報を、取得してよい。
なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよい。
2.2.条件適用部
条件適用部は、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成する機能を有する。
ここで、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情とするための情報のみを生成してもよいし、前記配信者に係るポーズに基づいて生成されていた前記配信者に係るアバターのポーズを、前記所定の条件に対応する所定のポーズとするための情報のみを生成してもよいし、前記配信者に係る表情及びポーズに基づいて各々生成されていた前記配信者に係るアバターの表情及びポーズを、前記所定の条件に対応する所定の表情及びポーズとするための情報を生成してもよい。なお、本願書類において、所定の条件に対応して特定される、所定の表情及び/又はポーズについて、所定の表情等ということがあり、また、表情及び/又はポーズを、表情等ということがある。
また、所定の表情等は、予め定められた表情のパラメータ、又は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正された表情のパラメータ、を用いて表示される表情であってもよいし、予め定められた形状又は動きの設定により表示される表情であってもよいし、予め定められたポーズのパラメータ、又は、配信者のポーズに基づくポーズのパラメータを所定のルールに基づいて補正されたポーズのパラメータ、を用いて表示されるポーズであってもよいし、予め定められた形状又は動きの設定により表示されるポーズであってもよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体(又は顔の一部)についてのものであるがパラメータ毎に顔全体(又は顔の一部)の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブレンドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターAとアバターBについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターAとアバターBにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。
他方、所定の表情等が、配信者の表情等に基づく表情等のパラメータを所定のルールに基づいて補正された表情等のパラメータである場合は、所定の表情等が、配信者の表情等に基づいた表情等となってよい。例えば、配信者が何らかのギフトに対して、驚いた表情をするとする。このとき、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定されるが、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させることにより、より驚きの表情を強調するようにする場合を示す。上述の技術を所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。
また、予め定められた形状又は動きの設定により表示される表情は、表情として、お面のように予め定められた形状そのものを、所定の表情とするものを示し、かかるものであってもよい。
なお、以上においては、いずれも所定の表情について説明したが、同様に、所定のポーズについても、対応する技術が用いられてよい。
また、所定の表情等は、生じる所定の動作等と関連する表情等であってよい。この場合、視聴者は、所定の表情等が表現される理由を、所定の動作等と関連付けて、容易に理解できる利点がある。
また、所定の表情等は、表情等を構成する全ての個所についてのパラメータに作用してもよいし、その一部のパラメータに作用してもよい。例えば、所定の表情等は、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、所定の表情等は、アバターの外観を含んでもよい。例えば、所定の表情等は、アバターが黒焦げになる演出を含んでよい。
また、所定の表情等は、所定の動作等の方向に連動して変化する、ものであってよい。仮想空間内において、後述の物等の出現場所が、配信者に分からないことがある。このとき、物等の出現場所に、配信者は気づかないことがあり、結果として、配信者に係るアバターも、その物等に反応ができないことがある。例えば、おばけキャラが登場したり、たらいが頭上から落ちてきたときに、配信者が気付かない場合もありえる。そこで、アバターに係る所定の表情等が、所定の動作等が表示されている方向に連動して変化することにより、視聴者もよりアバターの行動に興味を持つことができる利点がある。ここで、所定の動作等の方向に連動して変化する態様としては、種々のものがあってよい。例えば、おばけキャラが接触してきた方向や、ゾンビキャラが迫ってきた方向に対して、設定される所定の表情等が向いてよい。所定の表情等が向く場合において、アバターの一部の部位が連動して変化してもよいし、アバターの複数の部位が連動して変化してもよい。例えば、所定の表情等が向く場合とは、体全体がかかる方向を向いてもよいし、頭部のみがかかる方向を向いてもよいし、目のみなど顔の一部のみがかかる方向を向いてもよい。
所定のポーズは、種々のポーズであってよい。ポーズは、アバターの体の一部のみであってもよいし、アバターの体の全体であってもよい。例えば、首をかしげるポーズとして頭部のみのポーズや、手が大きくなったり手が赤く腫れた演出を含む手のみのポーズや、ガッツポーズのように上半身のみのポーズであってもよいし、銃を構えるポーズや全身でジャンプするような全体のポーズでもよい。
所定の条件は、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報、を用いてよい。
配信者が演じるアバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作であってよい。また、前記アバターの所定の動作は、所定の対象を見る動作を含んでよい。例えば、アバターが、何か物を見て驚いた場合、所定の表情等として、驚く表情が設定されてよい。この場合、アバターが驚く表情をすることが自然な物をあらかじめ設定しておき、かかる物が、視線の延長線上にある場合に、かかるアバターが、かかる物を見たと判定してよい。すなわち、前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在すること、を含んでよい。前者は、アバターが主体的に見る方向を移動して視線を変化させた場合に、かかる視線の延長線上に驚く物が位置していると、所定の表情等として驚く表情が設定されてよい。後者は、所定の対象が存在する場合であってよく、アバターが所定の方向を見ている場合に、その方向に所定の対象が生じて表示された場合等があってよい。
以上、上述においては、アバターに驚きの感情をもたらす物について説明したが、驚きの感情に限らず、他の感情や感覚をもたらす物であってもよい。例えば、おばけなどの怖いという感情をもたらす物、ステーキなどの好きだという感情をもたらす物、納豆などの嫌いだという感情をもたらす物、など人が対象を見たときに一定の感情や感覚が生じる物であってよい。また、かかる物を見た場合の所定の表情等についても、かかる対象を見た場合に人が一般的に生じる顔を示す所定の表情等が設定されてよい。上述の怖いという感情をもたらす物、好きだという感情をもたらす物、嫌いだという感情をもたらす物、については、対応して、ぞっとする表情、笑顔、嫌悪の表情、などであってよい。
上述では、見る対象を物として説明したが、見る対象は、他のキャラクタや他のアバターであってもよい。すなわち、前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含んでよい。このように、他のキャラクタや他のアバターと視線が合った場合に、所定の表情等に設定してよい。なお、アバター同士の視線が合致している場合、一方のアバターについてのみ、所定の表情等が設定されてもよいし、両方のアバターについて、所定の表情等が設定されてもよい。後者は、例えば、視線が合って、両方のアバターが顔が赤くなる等のドキドキしている表情等が考えられる。また、後者の両方のアバターについて所定の表情等が設定される場合において、かかる設定される表情等は、同一の所定の表情等であってもよいし、異なる所定の表情等であってもよい。かかる異なる所定の表情等となる理由としては、アバターの属するタイプに応じた所定の表情等であってもよいし、アバターの好みや性質等に応じた所定の表情等であってもよいし、確率的に選定された所定の表情等であってもよい。また、アバターが他のキャラクタと視線が合う場合の例としては、おばけキャラとアバターの視線があうと、アバターの所定の表情等として、アバターの顔が青ざめる設定としてよい。かかる所定の条件は、アバターの視線方向とおばけキャラ等の対象物との交点の有無を判定することによって、充足性が判定されてよい。
上述では、見る対象を物として説明したが、見る対象は、何らかのイベントであってもよい。イベントは、その規模や対象は種々のものであってよく、限定はない。例えば、コオロギの大群が突進してきたり、氾濫した川の水で流されたり、突風が襲ってくるような怖い状況のイベントであってもよいし、他のキャラクタやアバターの転倒や流血などの痛そうな状況であってもよい。かかるイベントの場合であっても、同様に、かかるイベントを見たアバターについて、対応する所定の表情等に設定されてよい。
また、アバターの所定の動作は、所定の対象に接触する動作を含んでよい。そして、前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内である こと、を含んでよい。ここで、前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかであってよい。
ここで、接触する動作は、アバターが主体的又は受動的を問わず、アバターから接触する態様を意味するが、第三者から接触される態様は意味しない。第三者から主体的又は受動的を問わず、第三者から接触される態様は、アバターに関して生じる所定の状況、に含まれる。なお、受動的とは、例えば、アバターや第三者の意思を問わずに、アバターや第三者が客観的に動いた結果、接触されるケースを含む。
アバターが接触する動作の例としては、例えば、アバターが触った対象が熱いものである場合、アバターが驚くような表情をしてもよいし、触った個所が熱さで腫れるような所定の表情等であってもよい。より具体的には、例えば、手で熱いものを触った場合、手が大きくなって、赤く腫れあがるような所定の表情等であってもよい。
アバターの所定の動作は、所定の対象の飲食動作を含む。ここで、所定の飲食動作は、アバターの飲食動作として、予め定められたものであってよく、かかる飲食動作を示すIDなどによって、検知してよい。かかる飲食動作を示すIDは、飲食動作として予め定められた特定の動きに対し付与されたIDであってもよいし、一又は複数のモーションデータに基づく所定の動きに対し付与されたIDであってもよい。本願発明において、飲食動作を所定の動作として組み込む技術的意義は、後述の他の情報と組み合わせることによって、所定の表情等を設定する点にある。例えば、同じ飲食動作(例えば、お肉を食べる動作)であるとしても、あるアバターAがお肉を食べる場合は、上品な食べ方を表現する所定の表情等が設定される一方、他のアバターBがお肉を食べる場合は、ワイルドな食べ方を表現する所定の表情等が設定される、などが考えられる。ここで、アバターAとアバターBとにおいて、異なる演出となる要因としては、例えば、アバターAとアバターBとが異なるタイプのアバターであったり、同一タイプのアバターであっても、その設定された趣向や好み等によって、異なる食べ方を表現する所定の表情等が設定される、などが考えられる。かかるアバターのタイプは、アバターの設定時に設定された性格であってもよいし、アバターが所定の条件が判定される時点で装備しているパーツや服装から判定されるものであってもよい。
また、前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含んでよい。ここで、所定のジェスチャーとしては、鼻をくんくん動かすようなジェスチャー、手で鼻の前の空気を左右に移動させるジェスチャー、などが挙げられる。かかるジェスチャーは、例えば、鼻の動きや右手又は左手などの手の動きを、光学センサや慣性センサ等を用いることによって、検出されてよい。すなわち、前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いてよい。そして、対応する所定の表情等として、恍惚感を演出する所定の表情等や苦悶する所定の表情等が挙げられる。これにより、配信者が、何らかの匂いや臭いを感じた場合に行う動作によって、その動作の意義をよりはっきりと視聴者に理解させる利点がある。なお、かかる匂いや臭いに対応する具体的なジェスチャーについて、予め配信者とシステム間で共有することにより、より効果的に、かかるジェスチャーに対応する所定の表情等を演出できる。
また、前記アバターの所定の動作は、音を聞く/聴くことについての所定のジェスチャーを含んでよい。音を聞く/聴くことについての所定のジェスチャーとしては、例えば、手を耳に沿える動作や、片耳を一定の方向に動かすジェスチャーが考えられる。かかるジェスチャーに対応する所定の表情等としては、手を耳に沿えるジェスチャーの場合はかかる手が大きくなることが考えられ、片耳を一定の方向に動かすジェスチャーの場合はかかる耳が大きくなって動くことが考えられる。
配信者が演じるアバターの表情を含む所定の条件は、例えば、アバターの表情が特定の一又は複数のパラメータである場合に、所定の表情等とすることが考えられる。また、常に所定の表情等とならないとしても、他の所定の条件が充足した場合に、所定の表情等とすることが考えられる。例えば、配信者の驚きの表情の顔として、通常であれば、所定の表情等を設定しない場合であっても、特定のイベントが生じるととともに配信者が驚きの表情の顔を示す場合、所定の表情等が設定されてもよい。
配信者が演じるアバターの顔色は、顔色の変化を含んでよい。例えば、アバターの顔色が、通常と異なる態様になった場合に、かかる顔色に合わせて、アバターの表情等を、異なる所定の表情等に設定してよい。
配信者が演じるアバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含んでよい。例えば、アバターの声が、緊張や、怒りなどで、通常と異なる声の性質となっている場合が考えられる。かかる声の場合、かかる声に対応する所定の表情等が設定されてよい。
前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含んでよい。所定の音は、例えば、大きな音であってよい。かかる大きな音に対して、所定の表情等として、驚いた表情としたり、例えば、飛び上がるというような、驚きを全身で表すポーズをしてもよい。
アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。ここで、所定の物に係る位置は、例えば、所定の物の重心とされる個所、所定の物の中心とされる個所、所定の物の外接円の中心、所定の物の内接円の中心、所定の物の表示上の外接円の中心、所定の物の表示上の内接円の中心、等であってよい。また、所定の物に係る位置は、所定の物に係る円又は多角形とアバターに係る位置との間の直線距離の接線上のかかる円又は多角形との交点であってもよい。また、所定の物に係る位置は、所定の物に対してコライダーを設定し、また、アバターにもコライダーを設定し、かかるコライダーを用いた接触判定を行ってもよい。アバターに係る位置は、上述のとおりであってよい。なお、アバターに係る位置がコライダーの位置である場合、所定の物とアバターが接触していると判定してよい。
所定の物は、上述の種々の物であってよい。例えば、たらいが頭上から落ちてきて、頭に接触した場合に、所定の表情等として、目をバツ(×)とする設定にしてよい。また、アバターに雷が落ちる(接触)すると、所定の表情等として、全身が黒焦げとする設定にしてよい。
また、所定の物に代えて、他のものでよく、例えば、キャラクタや、他のアバターでもよい。キャラクタの場合の例としては、アバターに関して生じる所定の状況として、ゾンビキャラに係る位置と、アバターに係る位置と、の距離が所定の範囲内になることを含んでよい。この場合、かかる距離が所定の距離内の場合に、アバターの顔に縦線を入れるようにしてもよい。また、かかる距離の程度に応じて、所定の表情等も変化してよい。例えば、かかる距離が、第1の距離と、第1の距離よりも短い第2の距離と、に変化した場合、第1の距離における所定の表情等と、第2の距離における所定の表情等と、が異なってよい。例えば、第1の距離における所定の表情等として、顔の表情内の縦線が10本であるのに対し、第2の距離における所定の表情等として、顔の表情内の縦線が20本かつかかる縦線の幅が2倍になる、などであってよい。なお、上記とは逆に、所定の条件において、アバターに係る位置と、キャラクタ又はアバターに係る位置と、が所定距離の範囲外となることを含んでもよい。この場合、アバター又はキャラクタがアバターとが離れる方向に相対的に移動する状況が示されているが、例えば、アバターの所定の表情として涙が出てくる、などの表情が設定されてもよい。
例えば、アバターに関して生じる所定の状況は、第1のアバターと、第2のアバターと、が所定の関係が生じる場合を含んでよい。例えば、第1のアバターが、第2のアバターの頭を撫でる場合、所定の表情等として、第2のアバターの目をハートに設定してよい。この場合、第1のアバターと第2のアバターとの各々にコライダーを設定し、その接触判定によって、判定してよい。
また、アバターに関して生じる所定の状況は、前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含んでよい。ここで、所定の対象は、物であってもよいし、所定の状況であってもよいし、所定のイベントであってもよい。また、物は、ギフトを含んでもよい。例えば、物として拳銃のギフトを装着し、アバターが射撃のポーズをすると、所定の表情等として勇ましい表情が設定されてよい。なお、ここで、射撃のポーズの判定は、アバターの中心位置からのコライダーを設定し、右手、左手、右足、左足、頭などの体の各位置の衝突判定によって、判定してよい。ここで、配信者における各配信者の右手、左、右足、左足、頭などの位置は、光学センサや慣性センサによって、検出してよい。なお、かかる場合において設定される所定の表情等は、与えられたギフトの組み合わせから、示唆されるものであってよい。一例を挙げれば、カエルの盾、カエルの件、カエルのマントであれば、カエルのような顔になってよい。
また、本願発明に係る複数の条件のうち、複数の条件が成立する場合がある。例えば、アバターがおばけキャラと視線が合致すると同時に、アバターに係る位置とおばけキャラに係る位置との距離が所定の距離範囲内である場合、などが挙げられる。このような場合、視線が合致したこと及び距離が範囲内であることの各条件に対応する所定の表情等が異なる場合、複数の所定の条件が充足した場合の処理が定められていてよい。例えば、所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用してよい。ここで、優先度は、各所定の条件と、関連付けられて、記憶されていてもよいし、複数の所定の条件が充足した場合のルールとして設定されていてもよい。例えば、所定の条件として、A1、A2、A3、A4などがあった場合において、各所定の条件同士を比較した上で優先される所定の条件を選定できるものであればよい。かかる優先度を用いた機能により、複数の所定の条件が充足された場合においても、特にほぼ同時に複数の所定の条件が充足された場合においても、適確に処理できる利点がある。また、かかる優先度は、確率が用いられてもよい。例えば、確率が、疑似乱数関数等によって判定される場合であって、第1の所定の条件と第2の所定の条件とが充足している場合において、かかる疑似乱数関数値が所定の値の場合は、第1の所定の条件に対応する所定の表情等が適用され、他の所定の値の場合は、第2の所定の条件に対応する所定の表情等が適用される、と処理されてよい。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
なお、充足しうる複数の条件についての判定において、所定の時間の経過を待って判断することから、所定の時間をある時間以上に設定した場合、所定の条件の充足から所定の表情等の演出まで、タイムラグが生じる可能性がある。そのため、かかる優先度を設けずに、上述の複数の条件が成立する場合に、時間的に先行して充足された所定の条件に対応する所定の表情等を設定してもよい。ここで時間的に先行するとは、ネットワークや情報処理などの結果、実質的にはほぼ同時に所定の条件が成立した場合においても、処理部が所定の条件の充足を先に判定したものであってよい。この場合、所定の時間の経過を待たずに、先に充足した所定の条件に対応する所定の表情等を設定できる利点がある。なお、かかる場合において、後に充足した所定の条件に対応する所定の表情等を設定してもよいし、設定しなくともよい。設定する場合、先に充足された所定の条件に対応する所定の表情等は上書きされてしまうが、後に充足された所定の条件に対応する所定の表情等も視聴者に演出できる利点がある。他方、設定しない場合、先行した所定の表情等について、視聴者は十分楽しむことができる利点がある。なお、このように、第1の所定の条件と第2の所定の条件について、双方ともに充足する場合、第1の所定の条件が充足したタイミングと、第2の所定の条件が充足したタイミングに応じて、所定の表情等を設定してもよい。例えば、第1の所定の条件が充足した第1タイミングと、第2の所定の条件が充足した第2タイミングと、の間の時間が所定の時間よりも短い場合、第1の所定の条件に対応する第1の所定の表情等のみを演出し、第2の所定の条件に対応する第2の所定の表情等を演出しない処理としてよい。この場合、第1の所定の表情等の演出について、視聴者は、途中で変更されず、楽しむことができる利点がある。他の他方、前記第1タイミングと前記第2タイミングとの間の時間が所定の時間よりも長い場合、前記第2の所定の条件が充足したタイミングで、前記第2の所定の条件に対応する所定の表情等を設定してもよい。この場合、視聴者は、第1の所定の表情等に続き、第2の所定の表情等も両方の演出を楽しむことができる利点がある。
なお、かかる第1のタイミングと第2のタイミングとの間の時間について判定する上述の所定の時間は、充足される所定の条件の組に応じて設定されてもよい。例えば、第1の所定の条件が充足した場合に第1の所定の表情等が演出され、第2の所定の条件が充足した場合に第2の所定の表情等が演出され、第3の所定の条件が充足した場合に第3の所定の表情等が演出されたとする。また、第1の所定の条件が第1のタイミングで充足され、第2の所定の条件が第2のタイミングで充足され、第3の所定の条件が第3のタイミングで充足されたとする。この時、第1のタイミングと第2のタイミングとの間の時間が、第12所定の時間よりも短い場合に、第2の所定の表情等が演出されず、第12所定の時間以上の場合に第2の所定の表情等が演出されるとする。また、第1のタイミングと第3のタイミングとの間の時間が、第13所定の時間よりも短い場合に、第3の所定の表情等が演出されず、第13所定の時間以上の場合に第3の所定の表情等が演出されるとする。このとき、第12所定の時間と第13所定の時間は、同じであってもよいし、異なってもよい。同じである場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足されても、第3の所定の条件が充足されても、第1の所定の表情等の演出時間に変わりがないことを意味する。他方、異なる場合は、第1の所定の条件の充足の後に、第2の所定の条件が充足する場合と、第3の所定の条件が充足する場合と、において、第1の所定の表情等の演出時間が変化することになる。この場合、演出のバリエーションが増加することになり、より視聴者の興味を引くことができる可能性がある。
なお、上述において、優先度は、所定の条件と関連付けられている、又は、充足される所定の条件についてのルールの例を説明したが、そのほか、優先度は、所定の条件内の物、イベント、状況、などと関連付けられていてもよい。例えば、所定の条件においてギフトが利用される場合において、ギフトと優先度が関連付けられていてもよい。
所定の条件に係る物、イベント、状況(本願書類において、物等、ということもある)に係る優先度は、物等の表示される大きさ、物等の出現場所、物等の出現のタイミング、などを用いて生成されたものであってよい。
例えば、物等の表示される大きさ、については、第1の物等の大きさよりも、第2の物等の表示される大きさが大きい場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、表示される大きい方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
また、物等の大きさの他に、物等に価格がある場合は価格であってもよいし、物等に消費ポイントが設定されている場合には消費ポイントであってもよい。例えば、第1の物等の価格よりも、第2の物等の価格が高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、価格が高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。また、同様に、消費ポイントについても、例えば、第1の物等の消費ポイントよりも、第2の物等の消費ポイントが高い場合、かかる第2の物等に対して、かかる第1の物等よりも、高い優先度が設定されていてよい。この場合、消費ポイントが高い方が、より視聴者の注目を浴びることから、優先させることが視聴者の意向に沿うと考えられるためである。他方で、逆に設定してもよい。逆に設定した場合、意外性が出る利点がある。
物等の仮想空間内の出現場所としては、例えば、仮想空間内の中央に出現した物等を、仮想空間内の左右などの端に出現した物等よりも、優先度を高く設定してよい。仮想空間内の目立ちやすい場所に出現した物等の優先度を高くした場合、視聴者は、目立ちやすい場所に出現した物等を視野に入れることができるため、視聴者は、所定の表情等の意味を理解しやすくなる利点がある。
また、物等に係る優先度は、その物等に予め設定されている静的な情報であってもよいし、物等が提供された段階で初めて設定される動的な情報であってもよい。後者は、例えば、物等が出現された位置に応じて設定される情報であってよい。例えば、物等が仮想空間上で出現した位置と、アバターとの位置との関係に応じて設定された優先度であってよい。この場合、距離自体が優先度の役割を果たしてもよいし、距離が優先度を設定する一の情報として使用されてもよい。例えば、アバターと出現した第1の物に係る位置の距離が第1距離であり、アバターと出現した第2の物に係る位置の距離が第2距離である場合において、第1距離が第2距離より長い場合、第2の物に対して第1の物に優先度を高く設定してよい。また、そのほか、画面中央と第1の物に係る位置との距離の第1距離が、画面中央と第2の物に係る位置との距離の第2距離よりも短い場合、第1の物がより画面中央に出現していることから、第1の物の優先度を第2の物よりも高く設定してもよい。物等に係る優先度が動的に設定される場合、より適切かつダイナミックに、所定の表情等を設定されるギフトを選定できる利点がある。
また、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、所定の条件は、アバターが属するタイプの複数のものの一である、前記アバターの属するタイプを用いてもよい。これは、ある情報を取得した場合、第1のアバターの種類においては所定の表情等となるが、第2のアバターの種類においては所定の表情等とならない、ものであってよい。例えば、あるタイプのアバターは、弱気の性格の設定であるとして、おばけキャラとアバターとの距離が第1の距離の範囲内の場合に、怖がる表情が出やすくなってよい。また、あるタイプのアバターは、陽気な性格の設定であるとして、所定の表情等として、笑顔を含む表情となる条件が、他のアバターよりも、緩いよう設定されていてよい。なお、この場合、アバターについて、弱気、陽気、強気、負けず嫌い、など性格という特性を備えさせ、かかる性格という特性を用いて、所定の条件の充足が判定されてよい。なお、性格は、アバターの属するタイプに応じて設定されているものでもよいし、アバターの属するタイプとは別に個々のアバターについて設定されているものであってもよい。
なお、所定の条件は、確率を含んでよい。すなわち、所定の条件は、疑似乱数関数等を含み、かかる関数値が所定の条件を充足した場合に、所定の表情等を生成してもよい。かかる確率を含む場合、常に、所定の表情等が生成されるわけではないため、視聴者の興味を継続的に引くことができる。また、例えば、その確率値を所定の値よりも低くする場合において、稀な表情とする場合、視聴者が貴重な表情を見ることができるという点において、視聴者の興味を引くことができる。
また、所定の条件として、物等の表示開始の情報、物等の表示変化の情報、及び/又は、物等の表示終了の情報、という個々の物等の表示のタイミングを用いて、所定の条件の充足を判定してもよい。この場合、物等の表示の開始、変化、終了という、物等の表示に対応して、アバターの表情やポーズに変化が生じることから、視聴者は、アバターの表情やポーズの変化の意味を、物等の状況と関連付けて、理解しやすくなる利点がある。
また、所定の条件として、物等が属性として有する情報を用いてもよい。物等の属性は、物等の種類や、物等のレベル、などの物等が備える特性を含んでもよいし、含まなくともよい。また、物等が有する特定の特徴に応じて、所定の条件が充足されるよう所定の条件が設定されてよく、対応する所定の表情等が設定されてよい。
また、所定の条件は、取得した情報についての順番やタイミングを規定してもよい。
例えば、所定の条件と充足の場合の所定の表情等について、おばけキャラが画面に現れた後の所定の時間内にこうもりキャラが画面に現れた場合に所定の表情Aが設定され、こうもりキャラが画面に現れた後の所定の時間内におばけキャラが画面に現れた場合に、所定の表情Bが設定される、などとしてよい。
条件適用部は、所定の条件の充足によって特定された表情等を、前記ギフトが提供されたアバターについての表情等としてよい。より具体的には、所定の条件の充足によって特定された表情等を示す情報は、特定された表情等を示すIDや、特定された表情等を示す表情の一又は複数のパラメータであってよく、かかる特定された表情等を、かかるアバターの表情とできるように、かかる特定された表情等を示す情報を用いて、アバターの表情等を設定してよい。かかるIDやパラメータの情報は、条件適用部において特定又は生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、特定される表情等を示す情報を記憶してよく、かかる各所定の条件が充足された場合に、対応する特定される表情等を示す情報を特定できるよう構成されてよい。なお、所定の条件の充足によって適用される所定の表情等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの表情やポーズは、配信者の表情やポーズの情報に基づくものとなってよい。ここで、配信者の表情やポーズの情報に基づくとは、配信者の表情やポーズを光学センサや慣性センサで検出された情報によってアバターの動作が規定されてよい。
かかる処理において、条件適用部が実行される第1情報処理装置と、かかるアバターの表情等の設定を含む処理を行う第2情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって特定した表情を用いて、前記アバターの表情等と設定するよう処理してよい。
また、条件適用部が実行される第1情報処理装置と、かかるアバターの表情の設定を含む処理を行う第2情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって特定した表情等を、第1情報処理装置は、第2情報処理装置に送信し、かかる第2情報処理装置において、特定された表情等を用いて、前記アバターの表情と設定するよう処理してよい。
ここで、第1情報処理装置がサーバであって、第2情報処理装置がサーバである場合は、第1情報処理装置のサーバから、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置がサーバであって、第2情報処理装置が配信者端末である場合は、第1情報処理装置のサーバから、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
同様に、第1情報処理装置が視聴者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の視聴者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が視聴者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の視聴者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。
同様に、第1情報処理装置が配信者端末であって、第2情報処理装置がサーバである場合は、第1情報処理装置の配信者端末から、第2情報処理装置のサーバに、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が配信者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の配信者端末に、かかる特定された表情等を示す情報が送信されてよい。また、第1情報処理装置が配信者端末であって、第2情報処理装置が視聴者端末である場合は、第1情報処理装置の配信者端末から、第2情報処理装置の視聴者端末に、かかる特定された表情等を示す情報が送信されてよい。
上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。
また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を設定してよい。タイミングは、例えば、上述のように、アバターと、アバター又はキャラクタとの視線が合ったタイミング、アバターが物と接触したタイミング、などであってよい。この場合、かかる所定の表情等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。
他方、所定の条件が充足された上で、所定の表情等が設定されるタイミングは、別途設定されたものが使用されてもよい。例えば、所定の条件が設定されてから、2秒後に、所定の表情等になる、というものでもよい。一例としては、アバターが驚くような状況が生じて、その2秒後という故意に遅らせたタイミングで、所定の驚きの表情を設定するものなどでもよい。
図5は、所定の条件に対する所定の表情等の関係を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。
上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等が実現できることとなり、仮想空間内のアバターの表情やポーズにバリエーションを持たせることができる利点がある。また、演者がタブレットなどを用いてアバターの表情を自ら指定できる場合であっても、スタジオ配信においてオペレータによって装着ギフトが装着される場合、演者が装着されたことに気づかないこともあるため、そのような場合において演者が何ら操作しなくとも、ギフトに対応する表情又はポーズがアバターに適用できる利点がある。すなわち、所定の表情又はポーズとするための情報は、前記配信者からギフトを提供する以外の操作なしに、生成されてよい。
また、上述のように、条件適用部の機能によって、所定の条件が充足した場合に、対応する所定の表情等を自動的に実現できることとなり、視聴者端末からの操作なく、アバターの表情が変更する結果が生じる反応を楽しむことのできる利点がある。
4.実施形態
4-1.実施形態1
実施形態1は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図6を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの表現等を変更することも可能であってよい。
ステップ1
取得部が、所定の動作等の情報を取得する(ステップ001)。かかる所定の動作等の情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報が、サーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
ステップ2
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合における所定の表情等を示す情報を有していてよい。
ステップ3
特定された表情等を、視聴者端末において、所定の条件の充足に使用されたアバターに係る表情等に設定する(ステップ003)。視聴者は、所定の動作等に対応して、アバターの表情等が変更される反応を視聴できる利点がある。
ステップ4
各視聴者端末において、アバターの所定の表情等が所定の期間表示された後、元のかかるアバターに係る配信者の表情等に基づく表情にアバターに係る表情等は戻る(ステップ004)。
4-2.実施形態2
実施形態2は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上において、アニメーションが生成される前提で、図7を用いて説明する。
ステップ1
取得部が、所定の動作等の情報を取得する(ステップ001)。
ステップ2
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
サーバは、特定された表情等を示す情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する(ステップ003)。
ステップ4
各視聴者端末において、サーバから取得した表情等を示す情報を用いて、アバターの表情等を設定する(ステップ004)。ここで、各視聴者端末において、かかる設定されたアバターの表情等を用いて、アニメーションが生成されてもよい。
ステップ5
各視聴者端末において、サーバから取得した表情等を示す情報が用いられたアバターの表情等が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情に設定される(ステップ005)。なお、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された表情等が用いられて表示され、その後は、アバターに係る配信者の表情等に基づきトラッキングによって得られた表情等がアバターの表情等として使用されてよい。
4-3.実施形態3
実施形態3は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図8を用いて説明する。
ステップ1
取得部が、所定の動作等の情報を取得する(ステップ001)。
ステップ2
次に、条件適用部が、少なくとも所定の動作等の情報を用いて、所定の条件を判定し、所定の条件が充足すると判定した場合、充足した所定の条件に対応する表情等を特定する(ステップ002)。
ステップ3
サーバは、特定された表情等を示す情報等を用いて、かかるアバターの配信についての映像を生成する(ステップ003)。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる特定された表情等を示す情報が送信され、かかる映像生成するサーバにおいて、かかる特定された表情等を示す情報が用いられてよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
ステップ4
特定された表情等を示す情報に基づいて特定された表情を用いて生成されたアバターの映像が、各視聴者端末に対して送信される(ステップ004)。
ステップ5
各視聴者端末において、サーバから取得した表情等を示す情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の表情等に基づく表情等に基づくアバターの映像が表示される(ステップ005)。
4-4.様々な実施態様について
第1の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成する、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
第2の態様によるコンピュータプログラムは、上記第1の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第3の態様によるコンピュータプログラムは、上記第1の態様又は上記第2の態様において「前記アバターの所定の動作は、所定の対象を見る動作を含む」ものである。
第4の態様によるコンピュータプログラムは、上記第1乃至上記第3のいずれか一の態様において「前記所定の対象が他のアバター又はキャラクタである場合、前記アバターの所定の動作は、前記アバターの視線と前記所定の対象に係る視線とが合うことを含む」ものである。
第5の態様によるコンピュータプログラムは、上記第1乃至上記第4のいずれか一の態様において「前記所定の動作が、前記所定の対象を見る動作を含む場合、前記所定の条件は、前記所定の対象が前記アバターの視線方向となるように前記アバターの視線を移動させること、又は、前記アバターの視線上において前記所定の対象が存在すること、を含む」ものである。
第6の態様によるコンピュータプログラムは、上記第1乃至上記第5のいずれか一の態様において「前記アバターの所定の動作は、所定の対象に接触する動作を含む」ものである。
第7の態様によるコンピュータプログラムは、上記第1乃至上記第6のいずれか一の態様において「前記所定の動作が、前記所定の対象に接触する動作を含む場合、前記所定の条件は、前記アバターに係る位置と、前記所定の対象に係る位置と、の距離が所定の距離内であること、を含む」ものである。
第8の態様によるコンピュータプログラムは、上記第1乃至上記第7のいずれか一の態様において「前記アバターに係る位置は、仮想空間内の前記アバターの位置、前記所定の表情を発動する部位、前記アバターの所定部位、又は、前記アバターのコライダーの位置、のいずれかである」ものである。
第9の態様によるコンピュータプログラムは、上記第1乃至上記第8のいずれか一の態様において「前記アバターの所定の動作は、所定の対象の飲食動作を含む」ものである。
第10の態様によるコンピュータプログラムは、上記第1乃至上記第9のいずれか一の態様において「前記アバターの所定の動作は、匂い又は臭いに対する所定のジェスチャーを含む」ものである。
第11の態様によるコンピュータプログラムは、上記第1乃至上記第10のいずれか一の態様において「前記アバターの所定の動作は、音を聞く又は/聴くことについての所定のジェスチャーを含む」ものである。
第12の態様によるコンピュータプログラムは、上記第1乃至上記第11のいずれか一の態様において「前記所定の条件は、前記アバターの前記所定のジェスチャーの検知を用いる」ものである。
第13の態様によるコンピュータプログラムは、上記第1乃至上記第12のいずれか一の態様において「前記アバターに関して生じる所定の状況は、仮想空間内において所定の音が生じることを含む」ものである。
第14の態様によるコンピュータプログラムは、上記第1乃至上記第13のいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の物に係る位置と、前記アバターに係る位置と、の距離が所定の範囲内になることを含む」ものである。
第15の態様によるコンピュータプログラムは、上記第1乃至上記第14のいずれか一の態様において「前記アバターに関して生じる所定の状況は、所定の対象と、前記アバターの所定のポーズと、が所定の組み合わせとなることを含む」ものである。
第16の態様によるコンピュータプログラムは、上記第1乃至上記第15のいずれか一の態様において「前記アバターの顔色は、顔色の変化を含む」ものである。
第17の態様によるコンピュータプログラムは、上記第1乃至上記第16のいずれか一の態様において「前記アバターの声は、前記アバターの声の音質が所定の範囲以上変化すること、又は、前記アバターの声の音量が所定の量以上変化すること、を含む」ものである。
第18の態様によるコンピュータプログラムは、上記第1乃至上記第17のいずれか一の態様において「所定の時間内において、第1の所定の条件が充足し、かつ、第2の所定の条件が充足した場合、前記第1の所定の条件又は前記第2の所定の条件のうち、優先度が高く設定されている所定の条件が充足した場合に対応する所定の表情又はポーズを適用する」ものである。
第19の態様によるコンピュータプログラムは、上記第1乃至上記第18のいずれか一の態様において「前記所定の表情又はポーズとするための情報は、前記配信者端末から前記アバターを操作する情報を取得せずに、生成される」ものである。
第20の態様によるコンピュータプログラムは、「コンピュータプログラムであって、一又は複数のプロセッサにより実行されることにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する、」ものである。
第21の態様によるコンピュータプログラムは、上記第20の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第22の態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
第23の態様によるサーバ装置は、上記第22の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第24の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成し、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
第25の態様による方法は、上記第24の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第26の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
第27の態様による方法は、上記第26の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第28の態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記取得した情報に係る所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズを、前記アバターの表情とするための情報を生成しする 、前記所定の表情又はポーズが適用された、前記アバターを表示する」ものである。
第29の態様による視聴者端末装置は、上記第28の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
第30の態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、仮想空間内において、配信者が演じるアバターの所定の動作、前記アバターの表情、前記アバターの顔色、前記アバターの声、又は、前記アバターに関して生じる所定の状況、のいずれか一つ又は複数に係る情報を取得し、前記取得した情報が所定の条件を充足するか否かを判定し、前記所定の条件が充足すると判定した場合に、前記配信者に係る表情又はポーズに基づいて生成されていた前記配信者に係るアバターの表情又はポーズを、前記所定の条件に対応する所定の表情又はポーズとするための情報を生成し、前記所定の表情又はポーズとするための情報を、送信する」ものである。
第31の態様による配信者端末装置は、上記第30の態様において「前記アバターの所定の動作は、前記アバターが生物であれば前記アバターに五感で知覚される予め定められた動作である」ものである。
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。