JP2023015074A - コンピュータプログラム、サーバ装置、端末装置、システム及び方法 - Google Patents

Abstract

【課題】 演者が表現しようとする表情を簡易な手法により仮想的なキャラクターに表現させる、コンピュータプログラム、サーバ装置、端末装置、システム及び方法を提供する。【解決手段】 一実施形態に係るコンピュータプログラムは、プロセッサにより実行されることにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、ように前記プロセッサを機能させる。【選択図】 図３

Description

本件出願に開示された技術は、動画及びゲーム等において表示される仮想的なキャラクターの表情を演者（ユーザ）の表情に基づいて制御する、コンピュータプログラム、サーバ装置、端末装置、システム及び方法に関する。

アプリケーションにおいて表示される仮想的なキャラクターの表情を演者の表情に基づいて制御する技術を利用したサービスとしては、まず「アニ文字」と称されるサービスが知られている（非特許文献１）。このサービスでは、ユーザは、顔の形状の変形を検知するカメラを搭載したスマートフォンを見ながら表情を変化させることにより、メッセンジャーアプリケーションにおいて表示されるアバターの表情を変化させることができる。

さらに、別のサービスとしては、「カスタムキャスト」と称されるサービスが知られている（非特許文献２）。このサービスでは、ユーザは、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情のうちのいずれかの表情を割り当てる。さらに、ユーザは、動画の配信の際には、所望する表情に対応する方向に沿って画面をフリックすることにより、その動画に表示されるアバターにその表情を表現させることができる。

なお、上記非特許文献１及び２は、引用によりその全体が本明細書に組み入れられる。

"iPhone X 以降でアニ文字を使う"、［online］、２０１８年１０月２４日、アップルジャパン株式会社、［２０１９年３月１２日検索］、インターネット（URL: https://support.apple.com/ja-jp/HT208190） "カスタムキャスト"、［online］、２０１８年１０月３日、株式会社ドワンゴ、［２０１９年３月１２日検索］、インターネット（URL: https://customcast.jp/）

仮想的なキャラクター（アバター等）を表示させるアプリケーションにおいて、そのキャラクターに、印象的な表情を表現させることが望まれている。ここで、印象的な表情は、以下の３つの例を含む。第１の例は、喜怒哀楽を含む感情を表現する表情である。第２の例は、顔の形状が漫画のように非現実的に変形した表情である。この表情は例えば、両目が顔面から飛び出した表情等を含む。第３の例は、記号、図形及び／又は色が顔に付加された表情である。この表情は、例えば、涙がこぼれた表情、顔が真っ赤になった表情、目を三角形状にして怒った表情等、を含む。印象的な表情は、これらに限定されない。

しかしながら、まず、特許文献１に記載された技術は、ユーザ（演者）の顔の形状の変化に追従するように仮想的なキャラクターの表情を変化させるに過ぎないため、ユーザの顔が実際に表現困難な表情を、仮想的なキャラクターの表情に反映させることはできない可能性がある。したがって、特許文献１に記載された技術は、ユーザの顔が実際に表現することが困難な、上記のような印象的な表情を、仮想的なキャラクターの表情において表現することは困難である。

次に、特許文献２に記載された技術にあっては、複数のフリック方向の各々に対して、仮想的なキャラクターに表現させるべき表情を予め割り当てておく必要がある。このため、ユーザ（演者）は用意されている表情をすべて認識している必要がある。さらには、複数のフリック方向に対して割り当てて一度に使用することが可能な表情の総数は、１０に満たない程度に限定され充分ではない。

したがって、本件出願において開示された幾つかの実施形態は、演者が表現しようとする表情を簡易な手法により仮想的なキャラクターに表現させる、コンピュータプログラム、サーバ装置、端末装置、システム及び方法を提供する。

一態様に係るコンピュータプログラムは、「プロセッサにより実行されることにより、
センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、ように前記プロセッサを機能させる」ことを特徴とする。

一態様に係る端末装置は、「プロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

一態様に係るサーバ装置は、「プロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

一態様に係る方法は、「コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する変化量取得工程と、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する第１スコア取得工程と、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する第２スコア取得工程と、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する選択工程と、を含む」ことを特徴とする。

一態様に係るシステムは、「第１のプロセッサを含む第１の装置と、第２のプロセッサを含み該第１の装置に通信回線を介して接続可能な第２の装置と、を具備するシステムであって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得処理、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する、第１スコア取得処理、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する、第２スコア取得処理、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択処理、及び、選択された前記感情に基づく画像を生成する画像生成処理、のうち、前記第１の装置に含まれた前記第１のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得処理から少なくとも１つの処理を順次実行し、前記第１のプロセッサにより実行されていない残りの処理が存在する場合には、前記第２の装置に含まれた前記第２のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの処理を実行する」ことを特徴とする。

別の態様に係る方法は、「第１のプロセッサを含む第１の装置と、第２のプロセッサを含み該第１の装置に通信回線を介して接続可能な第２の装置と、を具備するシステムにおいて実行される方法であって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得工程、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する、第１スコア取得工程、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する、第２スコア取得工程、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択工程、及び、選択された前記感情に基づく画像を生成する画像生成工程、のうち、前記第１の装置に含まれた前記第１のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得工程から少なくとも１つの工程を順次実行し、前記第１のプロセッサにより実行されていない残りの工程が存在する場合には、前記第２の装置に含まれた前記第２のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの工程を実行する」ことを特徴とする。

図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。 図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である。 図３は、図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である。 図４は、図１に示した通信システム１全体において行われる動作の一例を示すフロー図である。 図５は、図４に示した動作のうち動画の生成及び送信に関する動作の具体例を示すフロー図である。 図６は、図１に示した通信システムにおいて取得される第１のスコアの１つの具体例を概念的に示す模式図である。 図７は、図１に示した通信システムにおいて取得される第１のスコアの別の具体例を概念的に示す模式図である。 図８は、図１に示した通信システムにおいて取得される第１のスコアのさらに別の具体例を概念的に示す模式図である。 図９は、図１に示した通信システムにおいて取得される第２のスコアの１つの具体例を概念的に示す模式図である。

以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。

１．通信システムの例
図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。図１に示すように、通信システム１は、通信網１０に接続される１又はそれ以上の端末装置２０と、通信網１０に接続される１又はそれ以上のサーバ装置３０と、を含むことができる。なお、図１には、端末装置２０の例として、３つの端末装置２０Ａ～２０Ｃが例示され、サーバ装置３０の例として、３つのサーバ装置３０Ａ～３０Ｃが例示されているが、端末装置２０として、これら以外の１又はそれ以上の端末装置２０が通信網１０に接続され得るし、サーバ装置３０として、これら以外の１又はそれ以上のサーバ装置３０が通信網１０に接続され得る。

また、通信システム１は、通信網１０に接続される１又はそれ以上のスタジオユニット４０を含むことができる。なお、図１には、スタジオユニット４０の例として、２つのスタジオユニット４０Ａ及び４０Ｂが例示されているが、スタジオユニット４０として、これら以外の１又はそれ以上のスタジオユニット４０が通信網１０に接続され得る。

「第１の態様」では、図１に示す通信システム１では、演者により操作され所定のアプリケーション（動画配信用のアプリケーション等）を実行する端末装置２０（例えば端末装置２０Ａ）が、端末装置２０Ａに対向する演者に関するデータを取得することができる。さらに、この端末装置２０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信することができる。さらに、サーバ装置３０Ａは、端末装置２０Ａから受信した仮想的なキャラクターの動画を、通信網１０を介して他の１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して動画の配信を要求する旨を送信した端末装置２０に配信することができる。ここで、端末装置２０が、表情を変化させた仮想的なキャラクターの動画をサーバ装置３０に送信する構成に代えて、端末装置２０が、演者に関するデータ又はこれに基づくデータをサーバ装置３０に送信する構成を採用してもよい。この場合、サーバ装置３０が、端末装置２０から受信したデータに従って表情を変化させた仮想的なキャラクターの動画を生成することができる。或いはまた、端末装置２０が、演者に関するデータ又はこれに基づくデータをサーバ装置３０に送信し、サーバ装置３０が端末装置２０から受信した演者に関するデータ又はこれに基づくデータを別の端末装置（視聴者の端末装置）２０に送信する構成を採用してもよい。この場合、この別の端末装置２０が、サーバ装置３０から受信したデータに従って表情を変化させた仮想的なキャラクターの動画を生成及び再生することができる。

「第２の態様」では、図１に示す通信システム１では、例えばスタジオ等又は他の場所に設置されたサーバ装置３０（例えばサーバ装置３０Ｂ）が、上記スタジオ等又は他の場所に居る演者に関するデータを取得することができる。さらにこのサーバ装置３０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を、通信網１０を介して１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して動画の配信を要求する旨を送信した端末装置２０に配信することができる。

「第３の態様」では、図１に示す通信システム１では、例えばスタジオ等又は他の場所に設置されたスタジオユニット４０が、上記スタジオ等又は他の場所に居る演者に関するデータを取得することができる。さらに、このスタジオユニット４０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を生成してサーバ装置３０に送信することができる。さらに、サーバ装置３０は、スタジオユニット４０から取得（受信）した動画を、通信網１０を介して１又はそれ以上の端末装置２０であって所定のアプリケーション（動画視聴用のアプリケーション等）を実行して動画の配信を要求する旨を送信した端末装置２０に配信することができる。ここで、スタジオユニット４０が、表情を変化させた仮想的なキャラクターの動画をサーバ装置３０に送信する構成に代えて、スタジオユニット４０が、演者に関するデータ又はこれに基づくデータをサーバ装置３０に送信する構成を採用してもよい。この場合、サーバ装置３０が、スタジオユニット４０から受信したデータに従って表情を変化させた仮想的なキャラクターの動画を生成することができる。或いはまた、スタジオユニット４０が、演者に関するデータ又はこれに基づくデータをサーバ装置３０に送信し、サーバ装置３０がスタジオユニット４０から受信した演者に関するデータ又はこれに基づくデータを端末装置（視聴者の端末装置）２０に送信する構成を採用してもよい。この場合、この端末装置２０が、サーバ装置３０から受信したデータに従って表情を変化させた仮想的なキャラクターの動画を生成及び再生することができる。

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット及び／又はイーサネット等をこれらに限定することなく含むことができる。

端末装置２０は、インストールされた特定のアプリケーションを実行することにより、その演者に関するデータを取得する、という動作等を実行することができる。さらに、この端末装置２０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を、通信網１０を介してサーバ装置３０に送信する、という動作等を実行することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することにより、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。

端末装置２０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等を、これらに限定することなく含むことができる。

サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０から仮想的なキャラクターの動画を、通信網１０を介して受信し、受信した動画を（他の動画とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することにより、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居る演者に関するデータを取得し、取得したデータに従って表情を変化させた仮想的なキャラクターの動画を（他の動画とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。さらにまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオ等又は他の場所に設置されたスタジオユニット４０からこのスタジオ等に居る演者に関するデータに従って表情を変化させた仮想的なキャラクターの動画を取得（受信）する、という動作等を実行することができる。さらに、サーバ装置３０は、この動画を通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。

スタジオユニット４０は、インストールされた特定のアプリケーションを実行する情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者に関するデータを取得することができる。さらに、スタジオユニット４０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を（他の動画とともに）通信網１０を介してサーバ装置３０に送信することができる。

２．各装置のハードウェア構成
次に、端末装置２０、サーバ装置３０及びスタジオユニット４０の各々が有するハードウェア構成の一例について説明する。

２－１．端末装置２０のハードウェア構成
各端末装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各サーバ装置３０に関連して記載されている。）

図２に示すように、各端末装置２０は、主に、中央処理装置２１と、主記憶装置２２と、入出力インタフェイス装置２３と、入力装置２４と、補助記憶装置２５と、出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置２１は、「ＣＰＵ」と称され、主記憶装置２２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置２２に記憶させる。さらに、中央処理装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。端末装置２０は、１又はそれ以上のこのような中央処理装置２１を含むことが可能である。

主記憶装置２２は、「メモリ」と称され、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置３０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、中央処理装置２１の演算結果を記憶する。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。

補助記憶装置２５は、主記憶装置２２よりも大きな容量を有する記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶しておき、中央処理装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を入出力インタフェイス装置２３を介して主記憶装置２２に送信することができる。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等をこれらに限定することなく含む。センサは、後述するように、１又はそれ以上のカメラ等を含む第１のセンサ、及び／又は、１又はそれ以上のマイク等を含む第２のセンサをこれらに限定することなく含むことができる。

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。

このようなハードウェア構成にあっては、中央処理装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置３０及び他の端末装置２０等）との間で様々な情報の送受信を行うことができる。

これにより、端末装置２０は、インストールされた特定のアプリケーションを実行することにより、その演者に関するデータを取得し、取得したデータに従って表情を変化させた仮想的なキャラクターの動画を、通信網１０を介してサーバ装置３０に送信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することにより、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。

なお、端末装置２０は、中央処理装置２１に代えて又は中央処理装置２１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでもよい。

２－２．サーバ装置３０のハードウェア構成
各サーバ装置３０のハードウェア構成例について同じく図２を参照して説明する。各サーバ装置３０のハードウェア構成としては、例えば、上述した各端末装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。

図２に示すように、各サーバ装置３０は、主に、中央処理装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

中央処理装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各端末装置２０に含まれる、中央処理装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一とすることができる。

このようなハードウェア構成にあっては、中央処理装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各端末装置２０等）との間で様々な情報の送受信を行うことができる。

これにより、サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０から仮想的なキャラクターの動画を、通信網１０を介して受信し、受信した動画を（他の動画とともに）通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

また、サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居る演者に関するデータを取得する、という動作等を実行することができる。さらに、サーバ装置３０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を（他の動画とともに）通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。

さらにまた、サーバ装置３０は、「第３の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者に関するデータを（他の動画とともに）通信網１０を介してスタジオユニット４０から取得（受信）するという動作等を実行することができる。さらに、サーバ装置３０は、この画像を通信網１０を介して各端末装置２０に配信する、という動作等（後に詳述する様々な動作を含む）を実行することもできる。

なお、サーバ装置３０は、中央処理装置３１に代えて又は中央処理装置３１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでもよい。

２－３．スタジオユニット４０のハードウェア構成
スタジオユニット４０は、パーソナルコンピュータ等の情報処理装置により実装可能であって、図示はされていないが、上述した端末装置２０及びサーバ装置３０と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。

スタジオユニット４０は、インストールされた特定のアプリケーションを実行して情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居る演者に関するデータを取得することができる。さらに、スタジオユニット４０は、この取得したデータに従って表情を変化させた仮想的なキャラクターの動画を（他の動画とともに）通信網１０を介してサーバ装置３０に送信することができる。

３．各装置の機能
次に、端末装置２０及びサーバ装置３０の各々が有する機能の一例について説明する。
３－１．端末装置２０の機能
端末装置２０の機能の一例について図３を参照して説明する。図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である（なお、図３において、括弧内の参照符号は、後述するようにサーバ装置３０に関連して記載されている。）。

図３に示すように、端末装置２０は、センサ部１００と、変化量取得部１１０と、第１スコア取得部１２０と、第２スコア取得部１３０と、感情選択部１４０と、を含むことができる。センサ部１００は、センサから演者顔に関するデータを取得することができる。変化量取得部１１０は、センサ部１００から取得したデータに基づいて、演者に関連する複数の特定部分の各々の変化量を取得することができる。第１スコア取得部１２０は、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、この特定部分の変化量に基づく第１のスコアを取得することができる。第２スコア取得部１３０は、複数の特定感情の各々について、この各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得することができる。感情選択部１４０は、複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、演者により表現された感情として選択することができる。

端末装置２０は、さらに、動画生成部１５０と、表示部１６０と、記憶部１７０と、通信部１８０と、を含むことができる。動画生成部１５０は、感情選択部１４０により選択された感情を仮想的なキャラクターに表現させた動画を生成することができる。表示部１６０は、動画生成部１５０により生成された動画を表示することができる。記憶部１７０は、動画生成部１５０により生成された動画を記憶することができる。通信部１８０は、動画生成部１５０により生成された動画を、通信網１０を介してサーバ装置３０に送信等することができる。

（１）センサ部１００
センサ部１００は、様々なタイプのカメラ及び／又はマイクロフォン等のセンサにより構成される。このセンサ部１００は、このセンサ部１００に対向する演者に関するデータ（画像及び／又は音声等）を取得して、このデータに対する情報処理を実行することが可能である。具体的には、例えば、センサ部１００は、様々なタイプのカメラを用いて、単位時間区間ごとに演者に関する画像データを取得し、このように取得した画像データを用いて、単位時間区間ごとに演者に関連する複数の特定部分の位置を特定することができる。ここで、複数の特定部分とは、演者の右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳及び／又は左耳等を、これらに限定することなく含むことができる。また、単位時間区間は、ユーザ・演者等によりユーザインタフェイスを介して任意のタイミングにおいて任意の長さに設定・変更可能である。

１つの好ましい実施形態では、センサ部１００は、可視光線を撮像するＲＧＢカメラと、近赤外線を撮像する近赤外線カメラと、を含むことができる。このようなカメラとしては、例えばｉｐｈｏｎｅ Ｘ（登録商標）のトゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）カメラに含まれたカメラを用いることが可能である。なお、トゥルーデプス（Ｔｒｕｅ Ｄｅｐｔｈ）については、https://developer.apple.com/documentation/arkit/arfaceanchorに開示されたものを利用することができ、引用によりその全体が本明細書に組み入れられる。

ＲＧＢカメラに関して、センサ部１００は、ＲＧＢカメラにより取得された画像をタイムコードに対応付けて単位時間区間にわたって記録したデータ（例えばＭＰＥＧファイル）を生成することができる。上記タイムコードは、取得した時間を示すコードである。さらに、センサ部１００は、近赤外線カメラにより取得された所定数の深度を示す数値を上記タイムコードに対応付けて単位時間区間にわたって記録したデータを生成することができる。上記所定数は例えば５１個である。上記深度を示す数値は、例えば浮動小数点の数値である。センサ部１００により生成される上記データは、例えばＴＳＶファイルである。このＴＳＶファイルは、データ間をタブで区切って複数のデータを記録する形式のファイルである。

近赤外線カメラに関して、具体的には、ドットプロジェクタがドット（点）パターンを含む赤外線レーザーを演者の顔に放射し、近赤外線カメラが、演者の顔に投影され反射した赤外線ドットを捉え、このように捉えた赤外線ドットの画像を生成する。センサ部１００は、予め登録されているドットプロジェクタにより放射されたドットパターンの画像と、近赤外線カメラにより捉えられた画像とを比較する。これにより、センサ部１００は、両画像における各ポイントにおける位置のずれを用いて、各ポイントの深度を算出することができる。上述したポイントは、特定部分と称されることがある。両画像におけるポイントは、例えば５１個である。上記各ポイントの深度は、各ポイント（各特定部分）と近赤外線カメラとの間の距離である。センサ部１００は、このように算出された深度を示す数値を、上記のようにタイムコードに対応付けて単位時間区間にわたって記録したデータを生成することができる。

これにより、センサ部１００は、タイムコードに対応付けて、単位時間区間ごとに、ＭＰＥＧファイル等の動画と、各特定部分の位置（座標等）とを、演者に関するデータとして取得することができる。

このような実施形態によれば、センサ部１００は、例えば、演者の上半身（顔等）における各特定部分について、単位時間区間ごとに、演者の上半身等をキャプチャしたＭＰＥＧファイル等と、各特定部分の位置（座標）と、を含むデータを取得することができる。具体的には、センサ部１００は、単位時間区間ごとに、例えば右目という特定部分については、右目の位置（座標）を示す情報を含むことができる。また、センサ部１００は、単位時間区間ごとに、例えば顎という特定部分については、顎の位置（座標）を示す情報を含むことができる。

別の好ましい実施形態では、センサ部１００は、Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓという技術を利用することができる。Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓとしては、https://developers.google.com/ar/develop/java/augmented-faces/において開示されたものを利用することができ、引用によりその全体が本明細書に組み入れられる。

Ａｒｇｕｍｅｎｔｅｄ Ｆａｃｅｓを利用することにより、センサ部１００は、カメラにより撮像された画像を用いて、以下に示す事項を単位時間区間ごとに取得することができる。
（i）演者の頭蓋骨の物理的な中心位置
（ii）演者の顔を構成する何百もの頂点を含み上記中心位置に対して定義される顔メッシュ
（iii）上記（i）及び（ii）に基づいて識別された、演者の顔における特定部分（例えば、右頬、左頬、鼻の頂点）の位置
センサ部１００は、この技術を用いることにより、単位時間区間ごとに、演者の上半身（顔等）における特定部分の位置（座標）を取得することができる。

（２）変化量取得部１１０
変化量取得部１１０は、センサ部１００により取得された演者に関するデータに基づいて、演者に関連する複数の特定部分の各々の変化量を取得する。具体的には、変化量取得部１１０は、例えば、右頬という特定部分について、単位時間区間１において取得された位置（座標）と、単位時間区間２において取得された位置（座標）と、の差分をとることができる。これにより、変化量取得部１１０は、単位時間区間１と単位時間区間２との間において、右頬という特定部分の変化量を取得することができる。変化量取得部１１０は、他の特定部分についても同様にその特定部分の変化量を取得することができる。

なお、変化量取得部１１０は、各特定部分の変化量を取得するために、任意の単位時間区間において取得された位置（座標）と、別の任意の単位時間区間において取得された位置（座標）との間における差分を用いることが可能である。また、単位時間区間は、固定、可変又はこれらの組み合わせであってもよい。

（３）第１スコア取得部１２０
第１スコア取得部１２０は、（例えば任意に設定可能な単位時間区間ごとに）複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、この特定部分の変化量に基づく第１のスコアを取得する。具体的には、まず、第１スコア取得部１２０は、複数の特定感情として、例えば、「恐れ」、「驚き」、「悲しみ」、「嫌悪」、「怒り」、「期待」、「喜び」及び／又は「信頼」といった特定感情を、これらに限定することなく用いることができる。

さらに、第１スコア取得部１２０は、例えば、右目尻という特定部分に関しては、この特定部分に対応付けられた「喜び」という特定感情について、この特定部分の単位時間区間当たりの変化量に基づく第１のスコアを取得することができる。さらに、第１スコア取得部１２０は、この特定部分に対応付けられた「悲しみ」という特定感情について、この特定部分の単位時間区間当たりの変化量に基づく第１のスコアを取得することができる。ここで、第１スコア取得部１２０は、右目尻という特定部分の単位時間区間当たりの変化量が同一（例えばＸ１）であっても、「喜び」という特定感情については、この変化量（Ｘ１）に基づいてより大きな第１のスコアを取得し、「悲しみ」という特定感情については、この変化量（Ｘ１）に基づいてより小さな第１スコアを取得することができる。

第１スコア取得部１２０は、右目尻という特定部分と同様に、他の特定部分についても、同様に、この特定部分に対応付けられた少なくとも１つの特定感情について、この特定部分の単位時間区間当たりの変化量に基づく第１のスコアを取得することができる。この結果、第１スコア取得部１２０は、単位時間区間ごとに、複数の特定感情の各々について、第１のスコアを取得することができる。

ここで、例えば、Ａ１という特定部分に対して例えばＢ１、Ｂ５という２つの特定感情が対応付けられ、Ａ５という特定部分に対して例えばＢ３、Ｂ５、Ｂ８という３つの特定感情が対応付けられることが考えられる。この場合、Ｂ５という特定感情については、Ａ１という特定部分の変化量に基づく第１のスコアと、Ａ５という特定部分の変化量に基づく第１のスコアと、が少なくとも取得されることになる。このように、同一の特定感情について、１又はそれ以上の特定部分の変化量に基づく第１のスコアが算出される可能性がある、ということに留意されたい。

（４）第２スコア取得部１３０
第２スコア取得部１３０は、（例えば任意に設定可能な単位時間区間ごとに）複数の特定感情の各々について、この各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する。具体的には、第２スコア取得部１３０は、例えば、ある特定感情について、複数の特定部分の変化量に基づく第１のスコアが取得されている場合には、これら複数の第１のスコアを合計した値を、その特定感情についての第２のスコアとして取得することができる。また、第２のスコア取得部１３０は、例えば、別の特定感情について、１つの特定部分の変化量に基づく第１のスコアしか取得されていない場合には、その第１のスコアをそのまま、その別の特定感情についての第２のスコアとして取得することができる。

一実施形態では、第２スコア取得部１３０は、ある特定感情について、１又はそれ以上の特定部分の変化量に基づく第１のスコアを合計した値をそのまま、この特定感情についての第２のスコアとして取得することに代えて、当該第１のスコアに所定の係数を掛けた値を、この特定感情についての第２のスコアとして取得することも可能である。第２スコア取得部１３０は、このように第１のスコアの合計値に対して所定の係数を掛けた値を適用すべき特定感情としては、複数の特定感情のすべてに対してであってもよいし、複数の特定感情のうち選択された１又はそれ以上の特定感情に対してであってもよい。

（５）感情選択部１４０
感情選択部１４０は、（例えば任意に設定可能な単位時間区間ごとに）複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、演者により表現された感情として選択する。具体的には、感情選択部１４０は、単位時間区間ごとに、複数の特定感情について取得された第２のスコアを用いて、例えば設定された閾値を上回る第２のスコアを有する特定感情を、その単位時間区間において演者により表現された感情として選択することができる。上記閾値は、可変、固定又はこれらの組み合わせであってもよい。

（６）動画生成部１５０
動画生成部１５０は、（例えば任意に設定可能な単位時間区間ごとに）感情選択部１４０により選択された感情を仮想的なキャラクターに表現させた動画を生成することができる。上記動画は静止画であってもよい。具体的には、例えば、ある単位時間区間において、閾値を上回る第２のスコアが存在することに起因して複数の特定感情の中から感情選択部１４０によりその第２のスコアを有する感情が選択される場合が考えられる。この場合には、動画生成部１５０は、そのように選択された感情に対応する表情を仮想的なキャラクターに表現させた動画を生成することができる。ここで、上記選択された感情に対応する表情は、演者の表情が実際には表現することが不可能な表情であってもよい。上記不可能な表情は、例えば、両目が×で表現された表情、及び、口がアニメのように飛び出した表情等を含む。この場合、具体的には、動画生成部１５０は、演者が示した実際の表情の上に、漫画のような動画を重ねた動画を生成すること、及び／又は、演者が示した実際の表情のうちの一部を書き換えた動画を生成することができる。上記漫画のような動画は、例えば、両目が通常の状態から×に変化する動画、及び、口が通常の状態から飛び出した状態に変化する動画等を含む。
また、別の実施形態では、動画生成部１５０は、例えば、”Blend Shapes”と称する技術を用いて、感情選択部１４０により選択された感情を仮想的なキャラクターに表現させた動画を生成することも可能である。この技術を用いる場合には、動画生成部１５０は、顔の複数の特定部分のうち、感情選択部１４０により選択された特定感情に対応する１以上の特定部分の各々のパラメータを調整することができる。これにより、動画生成部１５０は、上記漫画のような動画を生成することができる。
なお、”Blend Shapes”については、下記URLにより特定されるウェブサイトに記載された技術を用いることが可能である。
https://developer.apple.com/documentation/arkit/arfaceanchor/2928251-blendshapes
このウェブサイトに記載された内容は、引用よりその全体が本明細書に組み入れられる。

一方、別の単位時間区間において、閾値を上回る第２のスコアが存在しないことに起因して複数の特定感情の中から感情選択部１４０により何らの感情も選択されない場合が考えられる。例えば、演者が真顔を維持して単に瞬きをした場合、又は、演者が真顔を維持して単に俯いた場合等であって、いずれかの第２のスコアが閾値を上回る程度には演者が表情を変化させなかった場合が考えられる。この場合には、動画生成部１５０は、例えば、演者の動作に追従した仮想的なキャラクターの動画を生成することが可能である。上記仮想的なキャラクターの動画は、例えば、仮想的なキャラクターが真顔を維持して単に瞬きをした動画、仮想的なキャラクターが真顔を維持して単に俯いた動画、及び、仮想的なキャラクターが演者の動きに合わせて口や目を動かした動画等を含む。このような動画を作成する手法は、周知技術であるので、その詳細については省略する。なお、かかる周知技術には、上述した”Blend Shapes”が含まれる。この場合、動画生成部１５０は、顔の複数の特定部分のうち、演者の動作に対応する１以上の特定部分の各々のパラメータを調整することができる。これにより、動画生成部１５０は、演者の動作に追従した仮想的なキャラクターの動画を生成することができる。

これにより、動画生成部１５０は、演者がいずれかの第２のスコアが閾値を上回る程度までには表情を変化させない単位時間区間については、演者の動作・表情に追従した仮想的なキャラクターの動画を生成することができる。一方、動画生成部１５０は、演者がいずれかの第２のスコアが閾値を上回る程度にまで表情を変化させた単位時間区間については、演者の示した特定感情に対応する表情を表現した仮想的なキャラクターの動画を生成することができる。

（７）表示部１６０、記憶部１７０及び通信部１８０
表示部１６０は、（例えば任意に設定可能な単位時間区間ごとに）動画生成部１５０により生成された動画を、端末装置２０のディスプレイ（タッチパネル）及び／又は端末装置２０に接続された（他の端末装置の）ディスプレイ等に表示することができる。表示部１６０は、センサ部１００が演者に関するデータを取得する動作と並行して、動画生成部１５０により生成された動画を順次表示することもできる。また、表示部１６０は、上記データを取得する動作と並行して、動画生成部１５０により生成され記憶部１７０に記憶された動画を、演者の指示に従って上記ディスプレイ等に表示することもできる。さらに、表示部１６０は、上記データを取得する動作と並行して、通信網１０を介してサーバ装置３０から通信部１８０により受信され（さらに記憶部１７０に記憶され）た動画を生成することもできる。

記憶部１７０は、動画生成部１５０により生成された動画、及び／又は、通信網１０を介してサーバ装置３０から受信した動画等を記憶することができる。

通信部１８０は、動画生成部１５０により生成され（さらに記憶部１７０に記憶され）た動画を、通信網１０を介してサーバ装置３０に送信することもできる。上記動画は静止画であってもよい。さらに、通信部１８０は、サーバ装置３０により送信された画像を通信網１０を介して受信（して記憶部１７０に記憶）することもできる。

上述した各部の動作は、演者の端末装置２０にインストールされた所定のアプリケーションがこの端末装置２０により実行されることにより、この端末装置２０により実行され得る。上記所定のアプリケーションは、例えば動画配信用のアプリケーションである。或いはまた、上述した各部の動作は、演者の端末装置２０にインストールされたブラウザが、サーバ装置３０により提供されるウェブサイトにアクセスすることにより、この端末装置２０により実行され得る。

３－２．サーバ装置３０の機能
サーバ装置３０の機能の具体例について同じく図３を参照して説明する。サーバ装置３０の機能としては、例えば、上述した端末装置２０の機能の一部を用いることが可能である。したがって、サーバ装置３０が有する構成要素に対する参照符号は、図３において括弧内に示されている。

まず、上述した「第２の態様」では、サーバ装置３０は、以下に述べる相違点を除き、センサ部２００～通信部２８０として、それぞれ、端末装置２０に関連して説明したセンサ部１００～通信部１８０と同一のものを有することができる。

但し、この「第２の態様」では、サーバ装置３０は、スタジオ等又は他の場所に配置され、複数の演者（ユーザ）により用いられることが想定され得る。したがって、センサ部２００を構成する様々なセンサは、サーバ装置３０が設置されるスタジオ等又は他の場所において、演者が演技を行う空間において演者に対向して配置され得る。同様に、表示部１６０を構成するディスプレイやタッチパネル等もまた、演者が演技を行う空間において演者に対向して又は演者の近くに配置され得る。

通信部２８０は、各演者に対応付けて記憶部２７０に記憶された動画を格納したファイルを、通信網１０を介して複数の端末装置２０に配信することができる。これら複数の端末装置２０の各々は、インストールされた所定のアプリケーションを実行して、サーバ装置３０に対して所望の動画の配信を要求する信号（リクエスト信号）を送信することができる。これにより、これら複数の端末装置２０の各々は、この信号に応答したサーバ装置３０から所望の動画を当該所定のアプリケーションを介して受信することができる。なお、上記所定のアプリケーションは、例えば動画視聴用のアプリケーションである。

なお、記憶部２７０に記憶される情報は、当該サーバ装置３０に通信網１０を介して通信可能な１又はそれ以上の他のサーバ装置（ストレージ）３０に記憶されるようにしてもよい。なお、記憶部２７０に記憶される上記情報は、動画を格納したファイル等である。

一方、上述した「第１の態様」では、上記「第２の態様」において用いられたセンサ部２００～動画生成部２５０をオプションとして用いることができる。通信部２８０は、上記のように動作することに加えて、各端末装置２０により送信され通信網１０から受信した、動画を格納したファイルを、記憶部２７０に記憶させた上で、複数の端末装置２０に対して配信することができる。

他方、「第３の態様」では、上記「第２の態様」において用いられたセンサ部２００～動画生成部２５０をオプションとして用いることができる。通信部２８０は、上記のように動作することに加えて、スタジオユニット４０により送信され通信網１０から受信した、動画を格納したファイルを、記憶部２７０に記憶させた上で、複数の端末装置２０に対して配信することができる。

３－３．スタジオユニット４０の機能
スタジオユニットは、図３に示した端末装置２０又はサーバ装置３０と同様の構成を有することにより、端末装置２０又はサーバ装置３０と同様の動作を行うことが可能である。但し、通信部１８０（２８０）は、動画生成部１５０（２５０）により生成され記憶部１７０（２７０）に記憶された動画を、通信網１０を介してサーバ装置３０に送信することができる。

特に、センサ部１００（２００）を構成する様々なセンサは、スタジオユニット４０が設置されるスタジオ等又は他の場所において、演者が演技を行う空間において演者に対向して配置され得る。同様に、表示部１６０（２６０）を構成するディスプレイやタッチパネル等もまた、演者が演技を行う空間において演者に対向して又は演者の近くに配置され得る。

４．通信システム１全体の動作
次に、上述した構成を有する通信システム１全体の動作の具体例について、図４を参照して説明する。図４は、図１に示した通信システム１全体において行われる動作の一例を示すフロー図である。

まず、ステップ（以下「ＳＴ」という。）４０２において、端末装置２０（第１の態様の場合）、サーバ装置３０（第２の態様の場合）又はスタジオユニット４０（第３の態様の場合）が、演者に関するデータに基づいて、仮想的なキャラクターの表情を変化させた動画を生成する。

次に、ＳＴ４０４において、端末装置２０（第１の態様の場合）又はスタジオユニット４０（第３の態様の場合）が、生成した動画をサーバ装置３０に送信する。第２の態様の場合には、サーバ装置３０は、ＳＴ４０４を実行しないか、又は、サーバ装置３０は、生成した動画を別のサーバ装置３０に送信することができる。なお、ＳＴ４０２及びＳＴ４０４において実行される動作の具体例については、図５等を参照して後述する。

ＳＴ４０６において、第１の態様の場合、サーバ装置３０が端末装置２０から受信した動画を他の端末装置２０に送信することができる。第２の態様の場合、サーバ装置３０（又は別のサーバ装置３０）が端末装置２０から受信した動画を他の端末装置２０に送信することができる。第３の態様の場合、サーバ装置３０がスタジオユニット４０から受信した動画を他の端末装置２０に送信することができる。

ＳＴ４０８において、第１の態様及び第３の態様の場合、他の端末装置２０が、サーバ装置３０により送信された動画を受信してその端末装置２０のディスプレイ等又はその端末装置２０に接続されたディスプレイ等に表示することができる。第２の態様の場合、他の端末装置２０が、サーバ装置３０又は別のサーバ装置３０により送信された動画を受信してその端末装置２０のディスプレイ等又はその端末装置２０に接続されたディスプレイ等に表示することができる。

５．端末装置２０等により行われる動画の生成及び送信に関する動作
次に、図４を参照して上述した動作のうち、ＳＴ４０２及びＳＴ４０４において端末装置２０（サーバ装置３０又はスタジオユニット４０でも同様）により行われる動画の生成及び送信に関する動作の具体的な例について、図５を参照して説明する。図５は、図４に示した動作のうち動画の生成及び送信に関する動作の具体例を示すフロー図である。

以下、説明を簡単にするために、動画を生成する主体が端末装置２０である場合（すなわち、第１の態様の場合）について説明する。しかし、動画を生成する主体は、サーバ装置３０であってもよい（第２の態様の場合）し、スタジオユニット４０であってもよい（第３の態様の場合）。

まず、ＳＴ５０２において、上記「３－１（１）」において説明したように、端末装置２０のセンサ部１００が（例えば任意に設定可能な単位時間区間ごとに）演者に関するデータを取得する。

次に、ＳＴ５０４において、上記「３－１（２）」において説明したように、端末装置２０の変化量取得部１１０が、（例えば任意に設定可能な単位時間区間ごとに）センサ部１００から取得したデータに基づいて、演者に関連する複数の特定部分の各々の変化量を取得する。

次に、ＳＴ５０６において、上記「３－１（３）」において説明したように、端末装置２０の第１スコア取得部１２０が、（例えば任意に設定可能な単位時間区間ごとに）各特定部分に対応付けられた１又はそれ以上の特定感情について、その特定部分の変化量に基づく第１のスコアを取得する。ここで、第１のスコアの具体例について、図６～図８をも参照して説明する。図６は、図１に示した通信システムにおいて取得される第１のスコアの１つの具体例を概念的に示す模式図である。図７は、図１に示した通信システムにおいて取得される第１のスコアの別の具体例を概念的に示す模式図である。図８は、図１に示した通信システムにおいて取得される第１のスコアのさらに別の具体例を概念的に示す模式図である。

図６の上段に示すように、演者の１つの特定部分である右目尻（又は左目尻）の形状が単位時間区間において（ａ）から（ｂ）に推移して大きく上がった場合を考える。この場合、第１スコア取得部１２０は、この特定部分に対応付けられた「喜び」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。また、第１スコア取得部１２０は、この特定部分に対応付けられた「悲しみ」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。一実施形態では、図６の下段に示すように、第１スコア取得部１２０は、「喜び」という特定感情については、より大きな値を有する第１のスコア６０１を取得することができる。また、第１スコア取得部１２０は、「悲しみ」という特定感情については、より小さな値を有する第１のスコア６０２を取得することができる。なお、図６の下段において、中心に向かう程、第１のスコアは大きく、外縁に向かう程、第１のスコアは小さい。

別の事例では、図７の上段に示すように、演者の１つの特定部分である右頬（又は左頬）の形状が単位時間区間において（ａ）から（ｂ）に推移して大きく膨らんだ場合を考える。この場合、第１スコア取得部１２０は、この特定部分に対応付けられた「怒り」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。また、第１スコア取得部１２０は、この特定部分に対応付けられた「警戒」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。一実施形態では、図６の下段に示すように、第１スコア取得部１２０は、「怒り」という特定感情については、より大きな値を有する第１のスコア７０１を取得することができる。また、第１スコア取得部１２０は、「警戒」という特定感情については、より小さな値を有する第１のスコア７０２を取得することができる。なお、図７の下段においても、中心に向かう程、第１のスコアは大きく、外縁に向かう程、第１のスコアは小さい。

さらに別の事例では、図８の上段に示すように、演者の１つの特定部分である左外眉毛（又は右外眉毛）の形状が単位時間区間において（ａ）から（ｂ）に推移して大きく下がった場合を考える。この場合、第１スコア取得部１２０は、この特定部分に対応付けられた「悲しみ」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。また、第１スコア取得部１２０は、この特定部分に対応付けられた「嫌悪」という特定感情については、この特定部分の変化量に基づいた第１のスコアを取得する。一実施形態では、図８の下段に示すように、第１スコア取得部１２０は、「悲しみ」という特定感情については、より大きな値を有する第１のスコア８０１を取得することができる。また、第１スコア取得部１２０は、「嫌悪」という特定感情については、より小さな値を有する第１のスコア８０２を取得することができる。なお、図７の下段においても、中心に向かう程、第１のスコアは大きく、外縁に向かう程、第１のスコアは小さい。

上述したように、感情選択部１４０は、複数の特定感情のうち閾値を上回る第２のスコア（第１のスコアの合計値に基づいて取得される第２のスコア）を有する特定感情を、演者により表現された感情として選択することができる。したがって、ある特定部分に対応付けられた１又はそれ以上の特定感情について取得される第１のスコアは、このような１又はそれ以上の特定感情に対する寄与度の大きさを示す、ということができる。

図５に戻り、次に、ＳＴ５０８において、端末装置２０の第２スコア取得部１３０が、上記「３－１（４）」において説明したように、（例えば任意に設定可能な単位時間区間ごとに）複数の特定感情の各々について、この各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する。ここで、第２のスコアの具体例について図９をも参照して説明する。図９は、図１に示した通信システムにおいて取得される第２のスコアの１つの具体例を概念的に示す模式図である。なお、図９においても、中心に向かう程、第２のスコアは大きく、外縁に向かう程、第２のスコアは小さい。

図９（ａ）には、ＳＴ５０８において第２スコア取得部１３０により各特定感情について取得された第２のスコアが示されている。ここで、各特定感情について取得された第２のスコアは、その特定感情について第１スコア取得部１２０により取得された第１のスコアに基づいて得られる。一実施形態では、第２スコアは、その特定感情について第１スコア取得部１２０により取得された第１のスコアの合計値そのものである。別の実施形態では、第２スコアは、その特定感情について第１スコア取得部１２０により取得された第１のスコアの合計値に対して所定の係数が掛けられることにより得られる。

図５に戻り、次に、ＳＴ５１０において、端末装置２０の感情選択部１４０が、上記「３－１（５）」において説明したように、（例えば任意に設定可能な単位時間区間ごとに）複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、演者により表現された感情として選択する。例えば、図９（ｂ）に示すように、複数の特定感情の各々（に対応する第２のスコア）に対して、閾値が、端末装置２０を操作する演者により（及び／又は、サーバ装置３０及び／又はスタジオユニット４０を操作する演者及び／又はオペレータ等により）任意のタイミングにおいて個別に設定及び変更され得る。

端末装置２０の感情選択部１４０は、各特定感情について取得された（例えば図９（ａ）に例示される）第２のスコアと、その特定感情について設定された（例えば図９（ｂ）に例示される）閾値とを比較し、閾値を上回る第２のスコアを有する特定感情を、演者により表現された感情として選択することができる。図９に示した例では、「驚き」という特定感情について取得された第２のスコアのみが、この特定感情について設定された閾値を上回っている。よって、感情選択部１４０は、「驚き」という特定感情を、演者により表現された感情として選択することができる。一実施形態では、感情選択部１４０は、「驚き」という特定感情だけでなく、この「驚き」という特定感情に対して第２のスコアをも組み合わせたものを、演者により表現された感情として選択することも可能である。すなわち、感情選択部１４０は、第２のスコアが比較的に小さい場合には、比較的に小さな「驚き」という感情を、演者により表現された感情として選択することもできる。第２のスコアが比較的に大きい場合には、感情選択部１４０は、比較的に大きな「驚き」という感情を、演者により表現された感情として選択することもできる。

なお、閾値を上回る第２のスコアを有する特定感情が複数存在する場合には、感情選択部１４０は、これら複数の特定感情のうち最も大きい第２のスコアを有する１つの特定感情を、演者により表現された感情として選択することができる。
さらに、最も大きい「同一の」第２のスコアを有する複数の特定感情が存在する場合には、第１の例では、感情選択部１４０は、複数の特定の感情の各々に対して予め演者及び／又はオペレータにより定められた優先度に従い、これら最も大きい「同一の」第２のスコアを有する複数の特定感情のうち、最も大きい優先度を有する特定感情を、演者により表現された感情として選択することができる。具体的には、例えば、各演者が、自己のアバター等に対して、用意された複数の性格の中から自己の性格に対応する又は近似する性格（例えば「怒りっぽい」性格等）を設定しておいた場合が考えられる。この場合には、複数の特定感情のうち、このように設定された性格（例えば「怒りっぽい」性格）に対応する又は近似する特定感情（例えば「怒り」等）に対して高い優先度が付与され得る。このような優先度に基づいて、感情選択部１４０は、同一の第２のスコアを有する複数の特定感情のうち、最も高い優先度を有する特定感情を、演者により選択された感情として選択することができる。これに加えて及び／又はこれに代えて、複数の特定感情のうちこのように設定された性格（例えば「怒りっぽい」性格）に対応する又は近似する特定感情に対する閾値は、他の特定感情に対する閾値よりも小さくなるように変更されてもよい。
さらにまた、最も大きい「同一の」第２のスコアを有する複数の特定感情が存在する場合には、第２の例では、感情選択部１４０は、複数の特定感情の各々に対してその特定感情が過去に選択された頻度を履歴として保持しておき、これら最も大きい「同一の」第２のスコアを有する複数の特定感情のうち、最も大きい頻度を有する特定感情を、演者により表現された感情として選択することができる。

図５に戻り、次に、ＳＴ５１２において、端末装置２０の動画生成部１５０が、上記「３－１（６）」において説明したように、（例えば任意に設定可能な単位時間区間ごとに）感情選択部１４０により選択された感情を仮想的なキャラクターに表現させた動画を生成することができる。なお、動画生成部１５０は、感情選択部１４０により選択された感情のみを用いる（単に「悲しみ」という感情のみを用いる）ことに代えて、その感情とその感情に対応する第２のスコアの大きさとを用いて（大きな「悲しみ」～小さな「悲しみ）、その感情を仮想的なキャラクターに表現させた動画を生成することができる。

なお、動画生成部１５０は、感情選択部１４０により選択された特定感情に対応する表情を仮想的なキャラクターに表現させた画像を生成する。この画像は、予め定められた時間だけ仮想的なキャラクターがその表情を持続させた動画であってもよい。この予め定められた時間は、端末装置２０のユーザ、演者等（サーバ装置３０のユーザ、演者、オペレータ等、スタジオユニットのユーザ、オペレータ等）によりユーザインタフェイスを介して任意のタイミングで設定・変更可能であってもよい。

さらに、ＳＴ５１２において、端末装置２０の通信部１８０が、上記「３－１（７）」において説明したように、動画生成部１５０により生成された動画を、通信網１０を介してサーバ装置３０に送信することができる。

次に、ＳＴ５１４において、端末装置２０が処理を継続するか否かを判定する。端末装置２０が処理を継続すると判定した場合には、処理は上述したＳＴ５０２に戻ってＳＴ５０２以降の処理を繰り返す。一方、端末装置２０が処理を修了すると判定した場合には、処理は終了する。

なお、一実施形態では、ＳＴ５０２～ＳＴ５１２のすべてが端末装置２０（スタジオユニット４０）により実行され得る。別の実施形態では、ＳＴ５０２のみ、ＳＴ５０２～ＳＴ５０４のみ、ＳＴ５０２～５０６のみ、ＳＴ５０２～ＳＴ５０８のみ、又は、ＳＴ５０２～ＳＴ５１０のみが、端末装置２０（又はスタジオユニット４０）により実行され、残りの工程がサーバ装置３０により実行されてもよい。
別言すれば、別の実施形態では、ＳＴ５０２～ＳＴ５１２のうち、ＳＴ５０２から少なくとも１つの工程が順次端末装置２０（又はスタジオユニット４０）により実行され、残りの工程がサーバ装置３０により実行されてもよい。この場合、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０２～ＳＴ５１２のうち最後に実行した工程において取得したデータ等を、サーバ装置３０に送信する必要がある。例えば、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０２まで実行した場合には、ＳＴ５０２において取得した「演者に関するデータ」をサーバ装置３０に送信する必要がある。また、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０４まで実行した場合には、ＳＴ５０４において取得した「変化量」をサーバ装置３０に送信する必要がある。同様に、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０６（又はＳＴ５０８）まで実行した場合には、ＳＴ５０６（又はＳＴ５０８）において取得した「第１のスコア」（又は「第２のスコア」）をサーバ装置３０に送信する必要がある。また、端末装置２０（又はスタジオユニット４０）は、ＳＴ５１０まで実行した場合には、ＳＴ５１０において取得した「感情」をサーバ装置３０に送信する必要がある。端末装置２０（又はスタジオユニット４０）がＳＴ５１２より前のいずれかの処理までしか実行しない場合には、サーバ装置３０が端末装置２０（又はスタジオユニット４０）から受信したデータ等に基づいて画像を生成することになる。

さらに別の実施形態では、ＳＴ５０２のみ、ＳＴ５０２～ＳＴ５０４のみ、ＳＴ５０２～５０６のみ、ＳＴ５０２～ＳＴ５０８のみ、又は、ＳＴ５０２～ＳＴ５１０のみが、端末装置２０（又はスタジオユニット４０）により実行され、残りの工程が別の端末装置（視聴者の端末装置）２０により実行されてもよい。
別言すれば、さらに別の実施形態では、ＳＴ５０２～ＳＴ５１２のうち、ＳＴ５０２から少なくとも１つの工程が順次端末装置２０（又はスタジオユニット４０）により実行され、残りの工程が別の端末装置（視聴者の端末装置）２０により実行されてもよい。この場合、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０２～ＳＴ５１２のうち最後に実行した工程において取得したデータ等を、サーバ装置３０を介して別の端末装置２０に送信する必要がある。例えば、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０２まで実行した場合には、ＳＴ５０２において取得した「演者に関するデータ」を、サーバ装置３０を介して別の端末装置２０に送信する必要がある。また、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０４まで実行した場合には、ＳＴ５０４において取得した「変化量」を、サーバ装置３０を介して別の端末装置２０に送信する必要がある。同様に、端末装置２０（又はスタジオユニット４０）は、ＳＴ５０６（又はＳＴ５０８）まで実行した場合には、ＳＴ５０６（又はＳＴ５０８）において取得した「第１のスコア」（又は「第２のスコア」）を、サーバ装置３０を介して別の端末装置２０に送信する必要がある。また、端末装置２０（又はスタジオユニット４０）は、ＳＴ５１０まで実行した場合には、ＳＴ５１０において取得した「感情」を、サーバ装置３０を介して別の端末装置２０に送信する必要がある。端末装置２０（又はスタジオユニット４０）がＳＴ５１２より前のいずれかの処理までしか実行しない場合には、別の端末装置２０がサーバ装置３０を介して受信したデータ等に基づいて画像を生成して再生することができる。

６．変形例について
複数の特定感情（に対応する第２のスコア）に対して個別に設定された閾値は、端末装置２０のユーザ、演者等により、サーバ装置３０のユーザ、演者、オペレータ等により、スタジオユニット４０のユーザ、オペレータ等により、これらの装置・ユニットにより表示部に表示されるユーザインタフェイスを介して任意のタイミングで変更されるようにしてもよい。

また、端末装置２０、サーバ装置３０及び／又はスタジオユニット４０は、複数の性格の各々に対応付けて、複数の特定感情の各々に対して個別に閾値を記憶部１７０（２７０）に保持しておくことができる。これにより、端末装置２０、サーバ装置３０及び／又はスタジオユニット４０は、これら複数の性格のうち、ユーザ、演者、オペレータ等によりユーザインタフェイスを介して選択された性格に対応する閾値を、記憶部１７０（２７０）から読み出して用いるようにしてもよい。上記複数の性格は、明るい、暗い、積極的及び／又は消極的等をこれらに限定することなく含む。さらに、端末装置２０及び／又はスタジオユニット４０は、複数の性格に対応付けられた、複数の特定感情の各々に個別に定められた閾値を、サーバ装置３０から受信して記憶部１７０（２７０）に記憶することも可能である。さらにまた、端末装置２０及び／又はスタジオユニット４０は、複数の性格に対応付けられた、複数の特定の感情の各々に対して個別に定められた閾値であって、それらのユーザ、演者、オペレータ等により設定・変更された閾値を、サーバ装置３０に送信することができる。また、サーバ装置３０は、このような閾値を他の端末装置２０等に送信して使用させることも可能である。

さらに、上記様々な実施形態では、感情選択部１４０（２４０）が、複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、演者により表現された感情として選択する場合について説明した。これに組み合わせて、感情選択部１４０（２４０）は、演者・ユーザにより任意のタイミングにおいてユーザインタフェイスを介して特定感情を指定された場合には、そのように指定された特定感情を、演者により表現された感情として「優先的に」選択してもよい。これにより、演者・ユーザは、感情選択部１４０（２４０）により自己が意図していない特定感情が誤って選択されてしまった場合等に、自己が本来意図した特定感情を適切に指定することができる。このような演者・ユーザによる特定感情の指定は、端末装置２０等が、センサ部１００を利用して演者に関するデータを取得する動作と並行してリアルタイムで動画を生成する態様において適用可能である。これに加えて又はこれに代えて、このような演者・ユーザによる特定感情の指定は、端末装置２０等が、既に生成され記憶部１７０に記憶された画像を、読み出して表示部１６０に表示する態様において、適用可能である。いずれの態様においても、端末装置２０等は、演者・ユーザにより指定された感情に対応する表情を仮想的なキャラクターに表現させた画像を、その指定がなされたことに応答して即座に生成して表示部１６０に表示することができる。

さらにまた、端末装置２０等（の例えば、感情選択部１４０）は、現在選択されている特定感情に対して第１の関係（相反・否定する関係）を有する特定感情については、この特定感情の第２のスコアに対する閾値を大きく設定することができる。上記第１の関係は、相反又は否定する関係である。これにより、現在選択されている（表示部１６０に表示されている表情に対応する）特定感情が例えば「悲しみ」である場合に、感情選択部１４０は、次に、この「悲しみ」に相反する関係を有する例えば「喜び」を選択する可能性を低くすることができる。これにより、最終的に動画生成部１５０により生成される画像において、仮想的なキャラクターが例えば「悲しみ」を表現した表情から即座に「喜び」を表現した表情に不自然に移行する、という現象の発生を抑えることができる。

これとは逆に、端末装置２０等（の例えば、感情選択部１４０）は、現在選択されている特定感情に対して第２の関係を有する特定感情については、この特定感情の第２のスコアに対する閾値を小さく設定することができる。上記第２の関係は、類似又は近似する関係である。これにより、現在選択されている（表示部１６０に表示されている表情に対応する）特定感情が例えば「悲しみ」である場合に、感情選択部１４０は、次に、この「悲しみ」に類似する関係を有する例えば「驚き」及び「嫌悪」等を選択する可能性を高くすることができる。これにより、最終的に動画生成部１５０により生成される画像において、仮想的なキャラクターが例えば「悲しみ」を表現した表情から即座に「驚き」及び「嫌悪」等を表現した表情に自然に移行する、という現象の発生を許容することができる。

さらにまた、上述した様々な実施形態では、演者に関連する複数の特定部分とは、演者の右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳及び／又は左耳等を、これらに限定することなく含むことができる、ということを説明した。しかし、別の実施形態では、演者に関連する複数の特定部分には、演者が発した音声、演者の血圧、演者の脈拍、演者の体温等を含む様々な要素であってもよい。これらの場合には、センサ部１００（２００）は、それぞれ、マイクロフォン、血圧計、脈拍計及び体温計を用いることができる。また、変化量取得部１１０（２１０）は、それぞれ、単位時間区間ごとに、音声の周波数の変化量、血圧の変化量、脈拍の変化量及び体温の変化量を取得することができる。

以上のように、様々な実施形態によれば、演者の顔が実際に表現することが不可能な表情であっても、複数の特定感情のうちの少なくとも１つの特定感情に対応する表情として予め設定しておくことにより、そのような表情を仮想的なキャラクターに表現させた動画を簡単に生成することが可能となる。なお、上記不可能な表情は、例えば、演者の上半身の一部が記号等により置換された表情や演者の上半身の一部がアニメのように非現実的に飛び出した表情等を含む。

さらに、様々な実施形態によれば、複数の特定感情の各々に対して対応する表情を予め定めておくことができる。これにより、かかる複数の特定感情の中から、第１のスコア及び第２のスコアに基づいて、演者に表現された特定感情を選択し、選択された特定感情に対応する表情を仮想的なキャラクターに表現させた動画を生成することができる。この結果、演者は、用意されている表情を必ずしもすべて認識していなくとも、端末装置２０等に対向して、表情、音声、血圧、脈拍及び体温等を含む特定部分を変化させることができる。これにより、端末装置２０等が、複数の特定感情の中から適切な特定感情を選択し、選択した特定感情に対応する表情を仮想的なキャラクターに表現させた動画を生成することができる。

したがって、様々な実施形態によれば、演者が表現しようとする表情を簡易な手法により仮想的なキャラクターに表現させる、コンピュータプログラム、サーバ装置、端末装置、システム及び方法を提供することができる。

７．様々な態様について
第１の態様に係るコンピュータプログラムは、「プロセッサにより実行されることにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、ように前記プロセッサを機能させる」ことを特徴とする。

第２の態様に係るコンピュータプログラムは、上記第１の態様において「前記閾値が、前記複数の特定感情の各々の第２のスコアに対して個別に設定される」ことを特徴とする。

第３の態様に係るコンピュータプログラムは、上記第１の態様又は上記第２の態様において「前記閾値が、前記演者又はユーザによりユーザインタフェイスを介して任意のタイミングで変更される」ことを特徴とする。

第４の態様に係るコンピュータプログラムは、上記第１の態様から上記第３の態様のいずれかにおいて「前記閾値が、複数の性格の各々に対応付けて用意された閾値のうち、前記演者又はユーザによりユーザインタフェイスを介して選択された性格に対応する閾値である」ことを特徴とする。

第５の態様に係るコンピュータプログラムは、上記第１の態様から上記第４の態様のいずれかにおいて「前記プロセッサが、選択された前記特定感情に対応する表情を予め定められた時間だけ仮想的なキャラクターが表現した画像を生成する」ことを特徴とする。

第６の態様に係るコンピュータプログラムは、上記第５の態様において「前記予め定められた時間が、前記演者又はユーザによりユーザインタフェイスを介して任意のタイミングで変更される」ことを特徴とする。

第７の態様に係るコンピュータプログラムは、上記第１の態様から上記第６の態様のいずれかにおいて「ある特定部分に対応付けられた第１の特定感情について該特定部分の変化量に基づいて取得される第１のスコアと、該特定部分に対応付けられた第２の特定感情について該特定部分の変化量に基づいて取得される第１のスコアとが、相互に異なる」ことを特徴とする。

第８の態様に係るコンピュータプログラムは、上記第１の態様から上記第７の態様のいずれかにおいて「前記プロセッサが、前記複数の特定感情のうち、現在選択されている特定感情に対して第１の関係を有する特定感情については、該特定感情の第２のスコアに対する閾値を大きく設定し、前記複数の特定感情のうち、現在選択されている特定感情に対して第２の関係を有する特定感情については、該特定感情の第２のスコアに対する閾値を小さく設定する」ことを特徴とする。

第９の態様に係るコンピュータプログラムは、上記第８の態様において「前記第１の関係が相反する関係であり、前記第２の関係が類似する関係である」ことを特徴とする。

第１０の態様に係るコンピュータプログラムは、上記第１の態様から上記第９の態様のいずれかにおいて「前記第１のスコアが、前記特定部分に対応付けられた前記少なくとも１つの特定感情に対する寄与度の大きさを示す」ことを特徴とする。

第１１の態様に係るコンピュータプログラムは、上記第１の態様から上記第１０の態様のいずれかにおいて「前記データが、単位時間区間に前記センサにより取得されたデータである」ことを特徴とする。

第１２の態様に係るコンピュータプログラムは、上記第１１の態様において「前記単位時間区間が前記演者又はユーザにより設定される」ことを特徴とする。

第１３の態様に係るコンピュータプログラムは、上記第１の態様から上記第１２の態様のいずれかにおいて「前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される」ことを特徴とする。

第１４の態様に係るコンピュータプログラムは、上記第１の態様から上記第１３の態様のいずれかにおいて「前記複数の特定感情が、前記演者によりユーザインタフェイスを介して選択される」ことを特徴とする。

第１５の態様に係るコンピュータプログラムは、上記第１の態様から上記第１４の態様のいずれかにおいて「前記プロセッサが、前記閾値を上回る第２のスコアを有する複数の特定感情のうち、最も大きい第２のスコアを有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

第１６の態様に係るコンピュータプログラムは、上記第１の態様から上記第１５の態様のいずれかにおいて「前記プロセッサが、前記複数の特定感情の各々に対応付けて記憶された優先度を取得し、前記閾値を上回る第２のスコアを有する複数の特定感情のうち、最も高い優先度を有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

第１７の態様に係るコンピュータプログラムは、上記第１の態様から上記第１５の態様のいずれかにおいて「前記プロセッサが、前記複数の特定感情の各々に対応付けて記憶された、該各特定感情が前記演者により表現された感情として選択された頻度を取得し、前記閾値を上回る第２のスコアを有する複数の特定感情のうち、最も高い頻度を有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

第１８の態様に係るコンピュータプログラムは、上記第１の態様から上記第１７の態様のいずれかにおいて「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ことを特徴とする。

第１９の態様に係るコンピュータプログラムは、上記第１の態様から上記第１８の態様のいずれかにおいて「前記プロセッサが、スマートフォン、タブレット、携帯電話若しくはパーソナルコンピュータ、又は、サーバ装置に搭載される」ことを特徴とする。

第２０の態様に係る端末装置は、「プロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

第２１の態様に係る端末装置は、上記第２０の態様において「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ことを特徴とする。

第２２の態様に係る端末装置は、上記第２０の態様又は上記第２１の態様において「スマートフォン、タブレット、携帯電話又はパーソナルコンピュータである」ことを特徴とする。

第２３の態様に係る端末装置は、上記第２０の態様から上記第２２の態様のいずれかにおいて「スタジオに設置される」ことを特徴とする。

第２４の態様に係るサーバ装置は、「プロセッサを具備し、該プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する」ことを特徴とする。

第２５の態様に係るサーバ装置は、上記第２４の態様において「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ことを特徴とする。

第２６の態様に係るサーバ装置は、上記第２４の態様又は上記第２５の態様において「前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される」ことを特徴とする。

第２７の態様に係るサーバ装置は、上記第２４の態様から上記第２６の態様のいずれかにおいて「スタジオに配置される」ことを特徴とする。

第２８の態様に係る方法は、「コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する変化量取得工程と、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する第１スコア取得工程と、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する第２スコア取得工程と、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する選択工程と、を含む」ことを特徴とする。

第２９の態様に係る方法は、上記第２８の態様において「各工程が、スマートフォン、タブレット、携帯電話及びパーソナルコンピュータを含む群から選択される端末装置に搭載されたプロセッサにより実行される」ことを特徴とする。

第３０の態様に係る方法は、上記第２８の態様において「前記変化量取得工程、前記第１スコア取得工程、前記第２スコア取得工程及び前記選択工程のうち、前記変化量取得工程のみ、前記変化量取得工程及び前記第１スコア取得工程のみ、又は、前記変化量取得工程、前記第１スコア取得工程及び前記第２スコア取得工程のみが、スマートフォン、タブレット、携帯電話及びパーソナルコンピュータを含む群から選択される端末装置に搭載されたプロセッサにより実行され、残りの工程が、サーバ装置に搭載されたプロセッサにより実行される」ことを特徴とする。

第３１の態様に係る方法は、上記第２８の態様から上記第３０の態様のいずれかにおいて「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ことを特徴とする。

第３２の態様に係る方法は、上記第２８の態様から上記第３１の態様のいずれかにおいて「前記複数の特定部分が、右目、左目、右頬、左頬、鼻、右眉毛、左眉毛、顎、右耳、左耳及び音声を含む群から選択される」ことを特徴とする。

第３３の態様に係るシステムは、「第１のプロセッサを含む第１の装置と、第２のプロセッサを含み該第１の装置に通信回線を介して接続可能な第２の装置と、を具備するシステムであって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得処理、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する、第１スコア取得処理、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する、第２スコア取得処理、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択処理、及び、選択された前記感情に基づく画像を生成する画像生成処理、のうち、前記第１の装置に含まれた前記第１のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得処理から少なくとも１つの処理を順次実行し、前記第１のプロセッサにより実行されていない残りの処理が存在する場合には、前記第２の装置に含まれた前記第２のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの処理を実行する」ことを特徴とする。

第３４の態様に係るシステムは、上記第３３の態様において「前記第２のプロセッサが、前記第１のプロセッサにより生成された前記画像を、通信回線を介して受信する」ことを特徴とする。

第３５の態様に係るシステムは、上記第３３の態様又は上記第３４の態様において「第３のプロセッサを含み前記第２の装置に通信回線を介して接続可能な第３の装置をさらに具備し、前記第２のプロセッサが、生成された前記画像を、通信回線を介して前記第３の装置に送信し、該第３の装置に含まれた前記第３のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記第２のプロセッサにより送信された前記画像を、通信回線を介して受信し、受信された前記画像を表示部に表示する」ことを特徴とする。

第３６の態様に係るシステムは、上記第３３の態様から上記第３５の態様のいずれかにおいて「前記第１の装置及び前記第３の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、前記第２の装置がサーバ装置である」ことを特徴とする。

第３７の態様に係るシステムは、上記第３３の態様において「第３のプロセッサを含み前記第１の装置及び前記第２の装置に通信回線を介して接続可能な第３の装置をさらに具備し、前記第１の装置及び前記第２の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、前記第３の装置がサーバ装置であり、該第３の装置は、前記第１の装置が前記変化量取得処理のみを実行する場合には、該第１の装置により取得された前記変化量を前記第２の装置に送信し、前記第１の装置が前記変化量取得処理から前記第１スコア取得処理までを実行する場合には、該第１の装置により取得された前記第１スコアを前記第２の装置に送信し、前記第１の装置が前記変化量取得処理から前記第２スコア取得処理までを実行する場合には、該第１の装置により取得された前記第２スコアを前記第２の装置に送信し、前記第１の装置が前記変化量取得処理から前記選択処理までを実行する場合には、該第１の装置により取得された前記演者により表現された感情を、前記第２の装置に送信し、前記第１の装置が前記変化量取得処理から前記画像生成処理までを実行する場合には、該第１の装置により生成された前記画像を、前記第２の装置に送信する」ことを特徴とする。

第３８の態様に係るシステムは、上記第３３の態様から上記第３７の態様のいずれかにおいて「前記通信回線がインターネットを含む」ことを特徴とする。

第３９の態様に係るシステムは、上記第３３の態様から上記第３８の態様のいずれかにおいて「前記画像が動画像及び／又は静止画像を含む」ことを特徴とする。

第４０の態様に係る方法は、「第１のプロセッサを含む第１の装置と、第２のプロセッサを含み該第１の装置に通信回線を介して接続可能な第２の装置と、を具備するシステムにおいて実行される方法であって、センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得する、変化量取得工程、複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得する、第１スコア取得工程、前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得する、第２スコア取得工程、前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、選択工程、及び、選択された前記感情に基づく画像を生成する画像生成工程、のうち、前記第１の装置に含まれた前記第１のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記変化量取得工程から少なくとも１つの工程を順次実行し、前記第１のプロセッサにより実行されていない残りの工程が存在する場合には、前記第２の装置に含まれた前記第２のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記残りの工程を実行する」ことを特徴とする。

第４１の態様に係る方法は、上記第４０の態様において「前記第２のプロセッサが、前記第１のプロセッサにより生成された前記画像を、通信回線を介して受信する」ことを特徴とする。

第４２の態様に係る方法は、上記第４０の態様又は上記第４１の態様において「前記システムが、第３のプロセッサを含み前記第２の装置に通信回線を介して接続可能な第３の装置をさらに具備し、前記第２のプロセッサが、生成された前記画像を、通信回線を介して前記第３の装置に送信し、該第３の装置に含まれた前記第３のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、前記第２のプロセッサにより送信された前記画像を、通信回線を介して受信し、受信された前記画像を表示部に表示する」ことを特徴とする。

第４３の態様に係る方法は、上記第４０の態様から上記第４２の態様のいずれかにおいて「前記第１の装置及び前記第３の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、前記第２の装置がサーバ装置である」ことを特徴とする。

第４４の態様に係る方法は、上記第４０の態様において「前記システムが、第３のプロセッサを含み前記第１の装置及び前記第２の装置に通信回線を介して接続可能な第３の装置をさらに具備し、前記第１の装置及び前記第２の装置が、それぞれ、スマートフォン、タブレット、携帯電話、パーソナルコンピュータ及びサーバ装置を含む群から選択され、前記第３の装置がサーバ装置であり、該第３の装置は、前記第１の装置が前記変化量取得工程のみを実行する場合には、該第１の装置により取得された前記変化量を前記第２の装置に送信し、前記第１の装置が前記変化量取得工程から前記第１スコア取得工程までを実行する場合には、該第１の装置により取得された前記第１スコアを前記第２の装置に送信し、前記第１の装置が前記変化量取得工程から前記第２スコア取得工程までを実行する場合には、該第１の装置により取得された前記第２スコアを前記第２の装置に送信し、前記第１の装置が前記変化量取得工程から前記選択工程までを実行する場合には、該第１の装置により取得された前記演者により表現された感情を、前記第２の装置に送信し、前記第１の装置が前記変化量取得工程から前記画像生成工程までを実行する場合には、該第１の装置により生成された前記画像を、前記第２の装置に送信する」ことを特徴とする。

第４５の態様に係る方法は、上記第４０の態様から上記第４４の態様のいずれかにおいて「前記通信回線がインターネットを含む」ことを特徴とする。

第４６の態様に係る方法は、上記第４０の態様から上記第４５の態様のいずれかにおいて「前記画像が動画像及び／又は静止画像を含む」ことを特徴とする。

８．本件出願に開示された技術が適用される分野
本件出願に開示された技術は、例えば、次のような分野において適用することが可能である。
（１）仮想的なキャラクターが登場するライブ動画を配信するアプリケーション・サービス
（２）文字及びアバター（仮想的なキャラクター）を用いてコミュニケーションすることができるアプリケーション・サービス（チャットアプリケーション、メッセンジャー、メールアプリケーション等）
（３）表情を変化させることが可能な仮想的なキャラクターを操作するゲーム・サービス（シューティングゲーム、恋愛ゲーム及びロールプレイングゲーム等）

本出願は、「コンピュータプログラム、サーバ装置、端末装置、システム及び方法」と題して２０１９年５月２０日に提出された日本国特許出願第２０１９－０９４５５７に基づいており、この日本国特許出願による優先権の利益を享受する。この日本国特許出願の全体の内容が引用により本明細書に組み入れられる。

１ 通信システム
１０ 通信網
２０（２０Ａ～２０Ｃ） 端末装置
３０（３０Ａ～３０Ｃ） サーバ装置
４０（４０Ａ、４０Ｂ） スタジオユニット
１００（２００） センサ部
１１０（２１０） 変化量取得部
１２０（２２０） 第１スコア取得部
１３０（２３０） 第２スコア取得部
１４０（２４０） 感情選択部
１５０（２５０） 動画生成部
１６０（２６０） 表示部
１７０（２７０） 記憶部
１８０（２８０） 通信部

Claims (1)

1. プロセッサにより実行されることにより、
   センサにより取得された演者に関するデータに基づいて、前記演者に関連する複数の特定部分の各々の変化量を取得し、
   複数の特定感情のうち各特定部分に対応付けられた少なくとも１つの特定感情について、該特定部分の変化量に基づく第１のスコアを取得し、
   前記複数の特定感情の各々について、該各特定感情について取得された第１のスコアの合計に基づく第２のスコアを取得し、
   前記複数の特定感情のうち閾値を上回る第２のスコアを有する特定感情を、前記演者により表現された感情として選択する、
   ように前記プロセッサを機能させる、ことを特徴とするコンピュータプログラム。

Images