JP2021189544A - Computer program, and method - Google Patents
Computer program, and method Download PDFInfo
- Publication number
- JP2021189544A JP2021189544A JP2020091577A JP2020091577A JP2021189544A JP 2021189544 A JP2021189544 A JP 2021189544A JP 2020091577 A JP2020091577 A JP 2020091577A JP 2020091577 A JP2020091577 A JP 2020091577A JP 2021189544 A JP2021189544 A JP 2021189544A
- Authority
- JP
- Japan
- Prior art keywords
- information
- avatar
- input information
- viewer
- distributor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000033001 locomotion Effects 0.000 claims abstract description 164
- 230000008921 facial expression Effects 0.000 claims description 132
- 230000009471 action Effects 0.000 claims description 44
- 230000006399 behavior Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 abstract description 28
- 230000010365 information processing Effects 0.000 description 57
- 230000008901 benefit Effects 0.000 description 31
- 238000009826 distribution Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 23
- 230000006870 function Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 235000013372 meat Nutrition 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 241000270666 Testudines Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
Abstract
Description
本件出願に開示された技術は、コンピュータプログラム、及び方法に関する。 The techniques disclosed in this application relate to computer programs and methods.
近年、配信者が演じるアバターを用いた技術が発展している。この種の技術においては、配信サービスを介して、配信者が演じるアバターを、視聴者が視聴可能なようにされている。 In recent years, technology using avatars played by distributors has been developed. In this kind of technology, the avatar played by the distributor can be viewed by the viewer via the distribution service.
また、アバターを用いたサービスに関連して、アバターオブジェクトの表情や動作を演者等の動作に基づいて制御する技術を利用したサービスが知られている。例えば、特許文献１で開示される技術は、アバターを通常操作する演者に基づく操作の技術である。また、例えば、非特許文献１で開示されるサービスでは、演者は、スマートフォンの画面に対する複数のフリック方向の各々に対して、用意された多数の表情や動作のうちのいずれかの表情又は動作を予め割り当てておき、所望する表情又は動作に対応する方向に沿って演者がスマートフォンの画面をフリックすることにより、その動画に表示されるアバターオブジェクトにその表情又は動作を表現させることができる。 Further, in relation to a service using an avatar, a service using a technique of controlling a facial expression or an action of an avatar object based on an action of a performer or the like is known. For example, the technique disclosed in Patent Document 1 is a technique based on a performer who normally operates an avatar. Further, for example, in the service disclosed in Non-Patent Document 1, the performer performs one of a large number of prepared facial expressions or movements for each of the plurality of flick directions with respect to the screen of the smartphone. By assigning in advance and the performer flicking the screen of the smartphone along the direction corresponding to the desired facial expression or motion, the avatar object displayed in the moving image can express the facial expression or motion.
しかしながら、上記のサービスでは、配信者がアバターに反映させる表情や動作などのモーションに限りがあるため、配信者アバターの表現のバリエーションが不足し得る。 However, in the above service, since the motions such as facial expressions and movements that the distributor reflects on the avatar are limited, the variation of the expression of the distributor avatar may be insufficient.
なお、上記非特許文献１は、引用によりその全体が本明細書に組み入れられる。 The entire non-patent document 1 is incorporated in the present specification by citation.
本件出願において開示された幾つかの実施形態は、視聴者とのコミュニケーションの機会を増加可能な、コンピュータプログラム、及び方法を提供する。 Some embodiments disclosed in this application provide computer programs and methods that can increase opportunities for communication with viewers.
一態様に係るコンピュータプログラムは、一又は複数のプロセッサにより実行されることにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、
ものである。
The computer program according to one aspect acquires input information from one or more viewer terminals that acquire information and display a video including a distributor's avatar by being executed by one or more processors, and described above. It is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the operation of the avatar based on the operation of the distributor is performed according to the input information. , Generate information to change,
It is a thing.
一態様によるサーバ装置は、一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。 The server device according to one embodiment includes one or more processors, and the one or more processors execute an instruction readable by a computer to acquire information and display a moving image including a distributor's avatar. Input information is acquired from one or more viewer terminals, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the distributor The information for changing the operation of the avatar based on the operation of the above is generated according to the input information.
一態様による方法は、コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。 The method according to one aspect is a method executed by one or more processors that execute a computer-readable instruction, and one or more viewers who acquire information and display a video including a distributor's avatar. The input information is acquired from the terminal, it is determined whether or not the acquired input information satisfies the predetermined condition, and when the input information satisfies the predetermined condition, the avatar based on the action of the distributor It is intended to generate information for changing the operation according to the input information.
一態様による視聴者端末装置は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。 The viewer terminal device according to one aspect includes one or a plurality of processors, and the processor executes an instruction readable by a computer to acquire information and display a moving image including a distributor's avatar. Alternatively, input information is acquired from a plurality of viewer terminals, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the operation of the distributor. The information for changing the operation of the avatar based on the above is generated according to the input information.
一態様による配信者端末は、一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ものである。 The distributor terminal according to one aspect includes one or a plurality of processors, and the processor executes an instruction readable by a computer to acquire information and display a moving image including the distributor's avatar. Input information is acquired from a plurality of viewer terminals, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the operation of the distributor is performed. It generates information for changing the operation of the avatar based on the input information.
以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。 Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the components represented in one drawing may be omitted in another for convenience of explanation. Furthermore, it should be noted that although the attached drawings disclose one embodiment of the present invention, they are not necessarily described at an exact scale. Further, in the documents of the present application, the object indicated by the term application may be what is called software or a program, and may be a command to a computer and may be combined so as to obtain a result.
１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ〜２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ〜３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。
1. 1. Example of a system FIG. 1 is a block diagram showing an example of a system configuration according to an embodiment. As shown in FIG. 1, the system 1 may include one or
また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。 Further, the system may be an information processing device on the cloud. Further, the system constitutes a virtual information processing device, and may be logically configured as one information processing device. Also, the owner and administrator of the system may be different.
通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。
The
サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等を実行できてよい。
The
或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等を実行できてよい。
Alternatively, the
後述する配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータを用いたアバターオブジェクトの動画を生成してこれをサーバ装置に送信し、サーバ装置が配信者端末から取得した動画を、通信網１０を介して１又はそれ以上の後述する視聴者端末に配信してもよい。また、かかる構成に代えて、配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータをサーバ装置に送信し、サーバ装置が配信者端末から受信したデータにしたがって、演者に対応するアバターオブジェクトの動きを示す動画を生成し、かかる動画を、通信網１０を介して１又はそれ以上の視聴者端末に配信するレンダリング方式の構成を採用してもよい。或いはまた、配信者端末が、演者の身体に関するデータ及び演者の身体の複数の部分のモーションデータを、サーバ装置に送信し、サーバ装置がかかるデータを、通信網１０を介して１又はそれ以上の視聴者端末に送信し、視聴者端末がかかる受信したデータにしたがって、演者に対応するアバターオブジェクトの動きを示す動画を生成するレンダリング方式の構成を採用してもよい。
The distributor terminal, which will be described later, generates a video of an avatar object using data on the performer's body and motion data of multiple parts of the performer's body, sends it to the server device, and the server device acquires it from the distributor terminal. The moving image may be distributed to one or more viewer terminals described later via the
端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。
The
２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。
2. 2. Hardware Configuration of Each Device Next, an example of the hardware configuration of the
２−１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。）
2-1. Hardware Configuration of
図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。
As shown in FIG. 2, the
演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。
The
主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。
The
補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。
The
入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。
The
出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。
The
このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。
In such a hardware configuration, the
サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。
The
２−２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
2-2. Hardware Configuration of
図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
As shown in FIG. 2, each
演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。
The
このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。
In such a hardware configuration, the
端末装置３０がかかる構成を備え、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。
The
端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。また、視聴者端末は配信者端末と異なってよい。配信者端末は、配信されるものにアバターなどの被写体として登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されているものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどの被写体に対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、動画であってもよいし、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどの被写体が登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のない被写体が登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。なお、本願書類において、アニメーションは、仮想現実であってもよいし、拡張現実であってもよい。 In the document of the present application, the terminal device may have two types of terminal devices, a “distributor terminal” and a “viewer terminal”. These may be names given to the role of the terminal, and one terminal device may be a viewer terminal or a distributor terminal, and may be a viewer terminal and at the same time distributed. It may be a personal terminal. Also, the viewer terminal may be different from the distributor terminal. The distributor terminal may be a terminal used by a distributor who appears as a subject such as an avatar in what is distributed. On the other hand, the viewer terminal may be a terminal mainly used by a viewer who is a viewer of what is being distributed. In addition, the viewer also gives a certain influence to what is delivered by the viewer in the form that the gift appears in what is delivered by the gifting act of providing a gift to the subject such as an avatar. May be good. Similarly, the viewer may have a certain influence on what is delivered in the form of audio, comments, and the like. What is delivered may be a moving image, a video, or an animation, and may be a person in which a subject such as an avatar played by the distributor appears in a part of these. .. It should be noted that the above description is merely an example in which one embodiment of the present invention is applied, and each embodiment of the present invention may be applied even in a virtual space in which a subject without such a premise appears. In the document of the present application, the animation may be virtual reality or augmented reality.
視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、視聴者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、視聴者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントやギフトは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。また、これらのコメントやギフトは、配信される動画の生成に利用されてよい。
As described above, the viewer terminal may be configured to be capable of voice input, comment input, gifting, and the like. For example, the viewer terminal may have a keyboard, a touch panel, or the like as an
なお、本願発明に係るコメントは、視聴者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、利用者端末に向けて送信され、利用者端末において表示されてよい。 The comments according to the present invention may be automatically generated by the system in addition to the comments input by the viewer terminal. Such a comment may be transmitted to the user terminal and displayed on the user terminal.
また、端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、利用者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
Further, the terminal may include a microphone capable of acquiring sound as the
他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。かかるセンサーによって、配信者の表情やポーズをトラッキングし、情報として生成可能であってよい。モーションセンサーは、加速度センサ、ジャイロセンサ、地磁気センサなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
On the other hand, the distributor terminal may include a motion sensor capable of detecting the movement of a person as the
また、配信者端末は、入力装置３４として、動画を撮像可能なカメラを含んでよい。カメラは、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。カメラが、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。これらの撮像情報に基づいた、顔方向、視線、表情、身体の動きについて取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。
Further, the distributor terminal may include a camera capable of capturing a moving image as the
また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。
Further, the
なお、配信者端末は、演じる演者についての情報を取得するセンサを専用に備えるスタジオの装置であってもよい。この場合、演者の情報をより精度よく情報を取得できる利点がある。 The distributor terminal may be a studio device dedicated to a sensor for acquiring information about the performer. In this case, there is an advantage that the information of the performer can be acquired more accurately.
また、配信者は、アバターを演じる演者を含んでよい。 The distributor may also include a performer who plays the avatar.
３．各装置の機能
次に、サーバ装置２０及び端末装置３０の各々が有する機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、入力情報を取得する取得部４１と、入力情報を用いて、アバターの動作又は表情を変更するための情報を生成する条件適用部４２と、を有してよい。
3. 3. Functions of Each Device Next, an example of the functions of each of the
２．１．取得部４１
取得部は、後述する所定の条件の充足の可否を判断するのに使用できる情報を取得する機能を有する。
2.1.
The acquisition unit has a function of acquiring information that can be used to determine whether or not a predetermined condition described later is satisfied.
取得部の取得する情報は、一又は複数の視聴者端末からの入力情報を含む。入力情報には、動作又は表情を変更させるアバターを指定する情報が含まれてもよいし、かかるアバターを指定する情報が含まれていなくてもよい。なお、入力情報は、一又は複数の視聴者端末において入力された情報そのものであってもよいし、そのものでなくともよい。入力情報は、一又は複数の視聴者端末において入力された情報に基づいた情報であってよい。例えば、取得部の取得する入力情報は、視聴者端末において入力された情報が、所定の加工がされた情報であってよい。 The information acquired by the acquisition unit includes input information from one or more viewer terminals. The input information may or may not include information that specifies an avatar that changes an action or facial expression, or may not include information that specifies such an avatar. The input information may or may not be the information itself input by one or more viewer terminals. The input information may be information based on the information input in one or more viewer terminals. For example, the input information acquired by the acquisition unit may be the information input in the viewer terminal that has been subjected to predetermined processing.
また、取得部の取得する情報は、アバターの動作又は表情の種類を表す入力に基づいてよい。かかるアバターの動作又は表情の種類を表す入力は、例えば、視聴者端末において視聴者が利用する端末に備えられた入力手段で入力されたものであってよい。かかる視聴者が利用する端末に備えられた入力手段は、端末装置自体に物理的に備えられたものであってもよいし、端末装置内のタッチスクリーンにおいて表示されて備えられるものであってもよい。また、入力手段は、一又は複数の情報の入力を感知できるものであれば、種々のものでよく、タッチスクリーン上の入力手段であれば、ＧＵＩで規定される種々の種類のものであってよい。かかる入力手段は、アバターの動作又は表情の種類を表すものとして規定されていてよい。そのため、視聴者は、かかる入力手段に対して、アバターの動作又は表情を変化させる目的で入力操作することができる。かかる入力手段に対する視聴者の入力操作に対応して、入力されたことが感知されてよい。また、取得部の取得する入力情報は、音声情報や振動情報に基づいてもよい。音声情報は、視聴者端末を利用する視聴者からの音声であってよい。また、振動情報は、端末を振ったときの加速度であってよい。取得部は、入力手段に対応して生じた情報そのものを取得してもよいし、入力手段に対応して生じた情報が、加工された上で、取得してもよい。後者としては、例えば、視聴者端末において特定のＩＤが割り振られた入力手段の情報を感知したことに対し、視聴者端末と異なる情報処理装置であるサーバにおいて、ネットワークを介して、かかる特定のＩＤに対応する情報としての特定のＩＤ等を、取得部は取得してよい。また、かかる視聴者端末において入力手段によって特定された特定のＩＤやネットワークを介して取得した特定のＩＤは、アバターに係る所定の動作等として設定したい特定のＩＤであってもよい。なお、後述のとおり、取得部は、一の視聴者端末から、一又は複数の入力情報を取得してよい。また、取得部は、複数の視聴者端末から、各々、一又は複数の入力情報を取得してよい。 Further, the information acquired by the acquisition unit may be based on an input indicating the action of the avatar or the type of facial expression. The input representing the type of operation or facial expression of the avatar may be, for example, input by an input means provided in the terminal used by the viewer in the viewer terminal. The input means provided in the terminal used by such a viewer may be physically provided in the terminal device itself, or may be displayed and provided on a touch screen in the terminal device. good. Further, the input means may be various as long as it can sense the input of one or a plurality of pieces of information, and the input means on the touch screen may be of various types specified by the GUI. good. Such input means may be defined as representing the type of action or facial expression of the avatar. Therefore, the viewer can perform an input operation on the input means for the purpose of changing the movement or facial expression of the avatar. It may be perceived that the input is input in response to the input operation of the viewer with respect to the input means. Further, the input information acquired by the acquisition unit may be based on voice information or vibration information. The audio information may be audio from a viewer who uses the viewer terminal. Further, the vibration information may be the acceleration when the terminal is shaken. The acquisition unit may acquire the information itself generated corresponding to the input means, or may acquire the information generated corresponding to the input means after being processed. As the latter, for example, when the information of the input means to which the specific ID is assigned is detected in the viewer terminal, the specific ID is transmitted via the network in the server which is an information processing device different from the viewer terminal. The acquisition unit may acquire a specific ID or the like as information corresponding to the above. Further, the specific ID specified by the input means in the viewer terminal or the specific ID acquired via the network may be a specific ID to be set as a predetermined operation or the like related to the avatar. As will be described later, the acquisition unit may acquire one or more input information from one viewer terminal. Further, the acquisition unit may acquire one or a plurality of input information from each of the plurality of viewer terminals.
また、取得部の取得する情報は、前記視聴者端末に入力されたコメントに基づいてよい。コメントは、視聴者端末において、英数字などを含む文字によって入力されてよい。入力情報がコメントに基づくとは、コメント内の具体的な表現自体が入力情報となる場合と、その内容に基づいて生成された情報が入力情報になる場合とを含んでよい。例えば、視聴者端末において、視聴者が、肉という文字をコメント内に含ませた場合、かかる肉という字自体又は肉という字と関連付けられる情報が、入力情報として、取得部に取得されてよい。 Further, the information acquired by the acquisition unit may be based on the comment input to the viewer terminal. The comment may be input by characters including alphanumerical characters on the viewer terminal. The input information is based on a comment may include a case where the specific expression itself in the comment is the input information and a case where the information generated based on the content is the input information. For example, in the viewer terminal, when the viewer includes the character "meat" in the comment, the character "meat" itself or the information associated with the character "meat" may be acquired by the acquisition unit as input information.
また、取得部の取得する情報は、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報に基づいてよい。この前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報は、アバターの動作等に関する指示以外の用途と共用の入力手段であってよく、例えば、いいねボタンによるいいね、または、フォローボタンのフォロー、に基づく場合を含んでよい。ここで、いいねボタンは、本来的には、いいね、の入力指示であるが、いいね、の入力指示であると同時に、アバターの動作等の指示情報となってよい。この場合、視聴者は、いいね、という肯定的表現と同時に、アバターの動作等の指示を容易に可能である利点がある。同様に、フォローボタンにおいても、本来的には、フォロー、の入力指示であるが、フォロー、の入力指示であると同時に、アバターの動作等の指示情報となってよい。また、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報としては、ギフトを提供する指示であってもよい。この場合、ギフトの中身に対応した、アバターの動作等が決定されていてよい。例えば、ボールのギフトを（一例として、配信動画において落下するように表示される）、配信者に係るアバターがキャッチングする動作をさせてもよい。 Further, the information acquired by the acquisition unit may be based on input information to which a purpose other than the instruction regarding the movement or facial expression of the avatar is assigned. The input information to which the use other than the instruction regarding the action or facial expression of the avatar is assigned may be an input means shared with the use other than the instruction regarding the action of the avatar, for example, a like button or a like button. , Follow button follow, may be included. Here, the like button is originally an input instruction for a like, but at the same time as an input instruction for a like, it may be instruction information such as an avatar operation. In this case, there is an advantage that the viewer can easily give an instruction such as an action of the avatar at the same time as a positive expression of "like". Similarly, the follow button is originally an input instruction for follow, but at the same time as an input instruction for follow, it may be instruction information such as an avatar operation. Further, the input information to which the use other than the instruction regarding the movement or facial expression of the avatar is assigned may be an instruction to provide a gift. In this case, the operation of the avatar corresponding to the contents of the gift may be determined. For example, a ball gift (as an example, it is displayed as falling in a distribution video) may be made to be caught by an avatar related to the distributor.
図４は、アバターの動作又は表情を変更するために、一又は複数の視聴者端末において、表示される態様の一例である。本図は、視聴者端末としての携帯端末上のディスプレイ全体に表示されている一例を示す。このように、アバターの動作又は表情を変更する一又は複数の候補が、一又は複数の視聴者端末において表示され、視聴者がこれらの一又は複数を選択することによって、これらの選択に基づいて、取得部は、一又は複数の入力情報を取得してよい。かかる選択に基づいて、アバターは、所定の期間、選択されたものに対応する動作等をしてよい。 FIG. 4 is an example of a mode displayed on one or more viewer terminals in order to change the movement or facial expression of the avatar. This figure shows an example displayed on the entire display on a mobile terminal as a viewer terminal. In this way, one or more candidates that change the behavior or facial expression of the avatar are displayed on one or more viewer terminals, and the viewer selects one or more of them, based on these selections. , The acquisition unit may acquire one or more input information. Based on such selection, the avatar may perform actions corresponding to the selected one for a predetermined period of time.
なお、取得部が情報を取得する元となる情報処理装置は、取得部の機能を有する情報処理装置と同じであってもよいし、異なってもよい。また、本願書類において、取得という用語は、情報を、他の情報処理装置から受信する意味の上位概念であってよく、また、情報を記憶装置から情報を読み取る意味の上位概念であってよく、また、他のプログラムから記憶装置を介して情報を受け取る意味の上位概念であってよい。 The information processing device from which the acquisition unit acquires information may be the same as or different from the information processing device having the function of the acquisition unit. Further, in the documents of the present application, the term acquisition may be a superordinate concept of the meaning of receiving information from another information processing device, or may be a superordinate concept of the meaning of reading information from a storage device. Further, it may be a superordinate concept of the meaning of receiving information from another program via a storage device.
２．２．判定部４２
判定部は、前記取得した入力情報が所定の条件を充足するか否かを判定する機能を有する。判定部は、後述する所定の条件を基準として、判定してよい。判定基準は、種々のものであってよい。例えば、判定基準は、後述する所定の条件を規定するものであってもよい。また、判定基準として、入力情報が利用されてもよいし、端末装置が利用されてもよい。また、入力情報であれば、入力情報の回数や入力情報の種類が挙げられる。また、端末装置は、配信者によって指定された視聴者端末であるか、などであってよい。
2.2.
The determination unit has a function of determining whether or not the acquired input information satisfies a predetermined condition. The determination unit may make a determination based on a predetermined condition described later. The determination criteria may be various. For example, the determination criteria may specify predetermined conditions described later. Further, the input information may be used or the terminal device may be used as the determination criterion. Further, in the case of input information, the number of times of input information and the type of input information can be mentioned. Further, the terminal device may be a viewer terminal designated by the distributor.
判定基準は、例えば、所定の基準に基づき、複数の前記視聴者端末から特定の前記視聴端末を特定し、複数の前記視聴者端末から取得した前記入力情報から、特定した前記視聴者端末からの前記入力情報を用いてよい。ここで、所定の基準は、配信者端末から取得した情報に基づいてよい。かかる基準は、たとえば、所定の数の視聴者端末であること、配信者端末から指定された視聴者端末であること、配信者端末から指定された条件、などであってよい。基準が所定の数の視聴者端末である場合は、所定の数以下の視聴者端末であれば全ての視聴者端末からの入力情報を受け付けてよいが、所定の数を超える視聴者端末であれば例えば、配信者のフォロワーに係る視聴者端末のみからの入力情報を受け付けてよい。また、かかる条件は、配信に対する視聴者端末の視聴時間や視聴回数などの視聴に係る情報であってもよい。 The determination criterion is, for example, based on a predetermined criterion, the specific viewing terminal is specified from the plurality of the viewer terminals, and the specified viewer terminal is used from the input information acquired from the plurality of the viewer terminals. The input information may be used. Here, the predetermined standard may be based on the information acquired from the distributor terminal. Such a criterion may be, for example, a predetermined number of viewer terminals, a viewer terminal designated by the distributor terminal, a condition designated by the distributor terminal, and the like. When the standard is a predetermined number of viewer terminals, input information from all the viewer terminals may be accepted as long as the number of viewer terminals is less than the predetermined number, but any viewer terminal exceeding the predetermined number may be accepted. For example, input information from only the viewer terminal related to the follower of the distributor may be accepted. Further, such a condition may be information related to viewing such as the viewing time and the number of viewing times of the viewer terminal for distribution.
また、判定基準は、例えば、複数の視聴者端末から、所定の条件を満たす前記視聴者端末を特定するものであってもよい。ここで、複数の視聴者端末は、所定の条件を満たす視聴者端末として特定される候補であることから、入力情報の受付候補となる複数の端末装置であってよい。また、所定の条件は、例えば、入力情報を送信可能な視聴者端末を選定する条件であってよい。また、所定の条件は、配信者が選定した視聴者端末であってよい。なお、特定した前記視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信してよい。第１設定情報に基づいた設定が視聴者端末において実行されることで、視聴者端末において入力情報が入力できるようになってもよい（後述の第２〜第４設定情報も同様である）。なお、第１設定情報は、例えば、かかる視聴者端末において、入力情報を設定可能であること示す情報であってよい。かかる情報を取得した視聴者端末においては、対応して、アバターの動作等を変更するための指示を選定するための表示などがされてよい。 Further, the determination criterion may be, for example, specifying the viewer terminal satisfying a predetermined condition from a plurality of viewer terminals. Here, since the plurality of viewer terminals are candidates specified as viewer terminals satisfying predetermined conditions, they may be a plurality of terminal devices that are candidates for receiving input information. Further, the predetermined condition may be, for example, a condition for selecting a viewer terminal capable of transmitting input information. Further, the predetermined condition may be a viewer terminal selected by the distributor. The first setting information for setting the input information so that it can be accepted may be transmitted to the specified viewer terminal. By executing the setting based on the first setting information on the viewer terminal, the input information may be input on the viewer terminal (the same applies to the second to fourth setting information described later). The first setting information may be, for example, information indicating that the input information can be set in the viewer terminal. On the viewer terminal that has acquired such information, a display for selecting an instruction for changing the operation or the like of the avatar may be displayed accordingly.
また、判定基準は、視聴者端末における判定に利用されてもよく、そのために、入力情報を受け付け可能にする設定を実行するかの判断基準を示す情報は、前記視聴者端末に送信されてよい。 Further, the determination criteria may be used for determination in the viewer terminal, and therefore, information indicating the determination criteria for executing the setting for accepting input information may be transmitted to the viewer terminal. ..
２．３．条件適用部４３
条件適用部は、前記入力情報が前記所定の条件を充足する場合、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成する、機能を有する。
2.3.
The condition application unit has a function of generating information for changing the movement or facial expression of the avatar based on the movement or facial expression of the distributor according to the input information when the input information satisfies the predetermined condition. Have.
ここで、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、かかる所定の条件が充足された場合において、前記配信者に係る表情に基づいて生成されていた前記配信者に係るアバターの表情を、前記所定の条件に対応する所定の表情に変更するための情報のみを生成してもよい。また、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、前記配信者に係る動作に基づいて生成されていた前記配信者に係るアバターの動作を、前記所定の条件に対応する所定の動作に変更するための情報のみを生成してもよい。また、配信者の動作又は表情に基づくアバターの動作又は表情を、前記入力情報に応じて、変更するための情報を生成するとは、前記配信者に係る表情及び動作に基づいて各々生成されていた前記配信者に係るアバターの表情及び動作を、前記所定の条件に対応する所定の表情及び動作に変更するための情報を生成してもよい。なお、本願書類において、生成される、アバターの動作又は表情を変更するための情報を、簡易的に、アバターの動作等情報、ということがある。また、動作及び／又は表情を、動作等、ということもある。かかるアバターの動作等情報は、後述のとおり、一又は複数のパラメータであってもよいし、一又は複数のＩＤなどであってもよい。 Here, generating information for changing the movement or facial expression of the avatar based on the movement or facial expression of the distributor according to the input information means that the distributor is satisfied when the predetermined condition is satisfied. Only information for changing the facial expression of the avatar related to the distributor, which was generated based on the facial expression, to a predetermined facial expression corresponding to the predetermined condition may be generated. Further, to generate information for changing the movement or facial expression of the avatar based on the movement or facial expression of the distributor according to the input information, the distributor is generated based on the movement related to the distributor. It is possible to generate only the information for changing the operation of the avatar according to the above-mentioned predetermined operation to the predetermined operation corresponding to the predetermined condition. Further, generating information for changing the action or facial expression of the avatar based on the action or facial expression of the distributor according to the input information was generated based on the facial expression and the action related to the distributor. Information for changing the facial expression and motion of the avatar related to the distributor to a predetermined facial expression and motion corresponding to the predetermined condition may be generated. In addition, in the document of the present application, the information for changing the movement or facial expression of the avatar generated may be simply referred to as information such as the movement of the avatar. In addition, movements and / or facial expressions may be referred to as movements and the like. The information such as the operation of the avatar may be one or a plurality of parameters, or may be one or a plurality of IDs, as described later.
また、アバターの動作等情報は、予め定められた動作のパラメータであってよい。例えば、アバターの動作として、ピースのサインの動作の場合を適用する場合、配信者がピースを行った場合のモーションデータが生成されてよい。かかる配信者がピースを行った場合のモーションデータが、アバターに適用された場合に、対応して、アバターもピースを行うためである。なお、上記では、アバターの動作等情報を、配信者が動作等を行った場合のモーションデータとして説明したが、アバターの動作等情報は、人が行うことが難しい又は不可能なモーションデータであってもよい。アバターの動作等情報は、例えば、人の関節であれば困難又は不可能な動きの関節の動作であったり、人であれば困難又は不可能な表情であってもよい。人では通常困難又は不可能な動作等がアバターによって動作される場合、より視聴者の興味を引くことができる利点がある。 Further, the information such as the operation of the avatar may be a predetermined operation parameter. For example, when applying the case of the movement of the sign of the piece as the movement of the avatar, the motion data when the distributor performs the piece may be generated. This is because when the motion data when the distributor performs the piece is applied to the avatar, the avatar also performs the piece. In the above, the information such as the movement of the avatar has been described as motion data when the distributor performs the movement, etc., but the information such as the movement of the avatar is motion data that is difficult or impossible for a person to perform. You may. The information such as the movement of the avatar may be, for example, a joint movement that is difficult or impossible for a human joint, or a difficult or impossible facial expression for a human. When an avatar performs an action that is normally difficult or impossible for a person, there is an advantage that the viewer can be more interested.
また、アバターの動作等情報は、予め定められた表情のパラメータであってよい。ここで、予め定められた表情のパラメータとは、顔の各部位の動きに影響を与える複数のパラメータを示し、かかる複数のパラメータを各々所定の値に設定することにより、一の表情を示すものであってよい。かかる一又は複数のパラメータは、顔の各部位の動きに影響を与えるパラメータであればよく、各パラメータが、顔の特定の部位についてのものでもよいし、顔全体（又は顔の一部）についてのものであるがパラメータ毎に顔全体（又は顔の一部）の形状が異なるものでもよい。後者は、同じ面積であるが形状が異なるものを複数用意して、それらの一部又は複数の合成によって、一の表情を表現する技術である。後者の例としては、例えば、ブレンドシェイプが挙げられ、かかる技術では、予め形状が異なる複数の顔全体の形状のものを用意しそれらの複数の形状の合成によって一の表情を生成するものである。なお、本技術においては、通常の顔の要素に加えて、予め所定の形状のものを用意しておくことにより、特殊な表情をさせてもよい。例えば、予め顔の縦線を示す形状を用意しておく場合には、かかる顔の縦線の演出が可能となり、予め目がバツの演出の要素を用意しておく場合には、かかる目がバツの演出が可能となる。この場合、パラメータが予め設定されることから、配信者の表情等を問わず、再現される表情等となるため、表情等を示す適切なパラメータが選択される場合には常に分かりやすい表情等を再現できる利点がある。なお、パラメータの例としては、目や口の開口度を示すパラメータ（例えば、０％から１００％）を示す数値を含んでもよいし、口の両端の左右位置や上下位置を示すパラメータを含んでもよいし、眉の上下位置を示すパラメータを含んでもよい。また、この場合においても、アバターに応じて、所定の表情等が異なるよう設定されてもよい。すなわち、アバターＡとアバターＢについて、同一の所定の条件が充足された場合において適用される所定の表情等が、アバターＡとアバターＢにおいて、異なってもよい。この場合において、個々のアバターに対して設定されてもよいし、アバターの種類に応じて、設定されてもよい。例えば、複数のアバターが登場するコラボ配信の場合において、アバターＡがホストとなり、アバターＢがゲストとなってもよいし、アバターＡとアバターＢとが両方ともゲストになってもよい（アバターＡ、Ｂ以外のアバターがホストとなってもよい）。この場合、例えば、これらの一又は複数のホストやゲストが仮想空間内で写真を撮影する際に、各々のアバターについて、同一の所定の表情等が設定されてもよいし、各々のアバターについて異なる所定の表情等が設定されてもよい。アバターＡ、Ｂが両方ともゲストである場合、一方のアバターは３Ｄモデルで表示される代わりに、２Ｄモデル（例えば板状ポリゴン）で表示されてもよい（この場合、ホストとなる別のアバターは３Ｄモデルで表示されてよい）。そして、板状ポリゴン（板ポリ）となっているアバターの表情が、視聴者端末からの入力情報に応じて変更されてもよい。 Further, the information such as the movement of the avatar may be a predetermined facial expression parameter. Here, the predetermined facial expression parameters indicate a plurality of parameters that affect the movement of each part of the face, and by setting the plurality of parameters to predetermined values, one facial expression is indicated. May be. The one or more parameters may be parameters that affect the movement of each part of the face, and each parameter may be for a specific part of the face or for the whole face (or a part of the face). However, the shape of the entire face (or a part of the face) may be different for each parameter. The latter is a technique of preparing a plurality of objects having the same area but different shapes, and expressing one facial expression by synthesizing a part or a plurality of them. An example of the latter is, for example, a blend shape. In such a technique, a plurality of face shapes having different shapes are prepared in advance, and one facial expression is generated by synthesizing the plurality of shapes. .. In this technique, in addition to the usual facial elements, a predetermined shape may be prepared in advance to give a special facial expression. For example, if a shape indicating the vertical line of the face is prepared in advance, it is possible to produce the vertical line of the face, and if the element of the effect of the cross is prepared in advance, the eye is affected. It is possible to produce a cross. In this case, since the parameters are set in advance, the facial expression or the like is reproduced regardless of the facial expression of the distributor. Therefore, when an appropriate parameter indicating the facial expression or the like is selected, the facial expression or the like is always easy to understand. There is an advantage that it can be reproduced. As an example of the parameter, a numerical value indicating a parameter indicating the opening degree of the eyes or the mouth (for example, 0% to 100%) may be included, or a parameter indicating the left-right position or the vertical position of both ends of the mouth may be included. Alternatively, it may include a parameter indicating the vertical position of the eyebrows. Further, even in this case, a predetermined facial expression or the like may be set differently depending on the avatar. That is, with respect to Avatar A and Avatar B, the predetermined facial expressions and the like applied when the same predetermined conditions are satisfied may differ between Avatar A and Avatar B. In this case, it may be set for each avatar or may be set according to the type of avatar. For example, in the case of collaborative distribution in which a plurality of avatars appear, avatar A may be the host and avatar B may be the guest, or both avatar A and avatar B may be guests (avatar A, An avatar other than B may be the host). In this case, for example, when one or more of these hosts or guests take pictures in the virtual space, the same predetermined facial expression or the like may be set for each avatar, or each avatar is different. A predetermined facial expression or the like may be set. If both avatars A and B are guests, one avatar may be displayed in a 2D model (eg, a plate polygon) instead of being displayed in a 3D model (in this case, the other hosting avatar may be displayed. May be displayed in 3D model). Then, the facial expression of the avatar, which is a plate-shaped polygon (plate poly), may be changed according to the input information from the viewer terminal.
また、アバターの動作等情報は、配信者の表情に基づく表情のパラメータを所定のルールに基づいて補正されたパラメータに基づく表情であってよい。例えば、配信者が入力情報に対して、驚いた表情をするとする。このとき、通常であれば、配信者の表情の検知に対応してアバターの表情が一又は複数のパラメータによって驚きに対応する表情に設定される。これに対し、かかる一又は複数のパラメータに対し、補正されたパラメータは、所定の条件に対応する所定の表情として驚きに係る複数のパラメータの値を所定の値分増加させたり減少させられたものであってよい。これにより、より驚きの表情を強調できる利点がある。上述の技術が所定の表情として一又は複数のパラメータが決定される点において絶対値的なものであるのに対し、本技術は、いわば、現在の配信者の表情から得られた情報に対する相対的なパラメータを用いるものであってよい。そのため、同一の配信者が演じる同一のアバターが、同一の所定の条件が適用された場合においても、かかる配信者自身がその時点で有している表情等に基づく表情等のパラメータは同じ場合もあれば、異なる可能性もあることから、かかる異なりうるパラメータに応じた表情等が、所定の表情等となる場合がある。そのため、より表情等のバリエーションをもたせることができる可能性がある。 Further, the information such as the movement of the avatar may be a facial expression based on the parameter of the facial expression based on the facial expression of the distributor corrected based on a predetermined rule. For example, suppose that the distributor makes a surprised expression on the input information. At this time, normally, the facial expression of the avatar is set to the facial expression corresponding to the surprise by one or a plurality of parameters corresponding to the detection of the facial expression of the distributor. On the other hand, for the one or more parameters, the corrected parameter is obtained by increasing or decreasing the value of the plurality of parameters related to surprise as a predetermined facial expression corresponding to a predetermined condition by a predetermined value. May be. This has the advantage of emphasizing more surprising facial expressions. Whereas the above technique is absolute in that one or more parameters are determined as a given facial expression, the technique is, so to speak, relative to the information obtained from the facial expression of the current distributor. Parameters may be used. Therefore, even if the same avatar played by the same distributor is applied with the same predetermined conditions, the parameters such as facial expressions based on the facial expressions that the distributor himself has at that time may be the same. If so, the facial expressions and the like according to the different parameters may be the predetermined facial expressions and the like because they may be different. Therefore, there is a possibility that more variations such as facial expressions can be given.
また、アバターの動作等情報は、配信者の動作に基づく動作のモーションデータを所定のルールに基づいて補正されたモーションデータに基づくアバターの動作であってよい。動作についても、上述の表情と同様の技術が適用されてよい。 Further, the information such as the motion of the avatar may be the motion of the avatar based on the motion data obtained by correcting the motion data of the motion based on the motion of the distributor based on a predetermined rule. The same technique as the above-mentioned facial expression may be applied to the movement.
また、アバターの動作等情報は、予め定められた形状又は動きの設定により表示される動作又は表情であってもよい。かかる予め定められた形状又は動きの設定とは、動作であれば特定の形状が設定されて表示されるものであり、例えば、体全体が亀の甲羅状態に変化することがあげられ、表情であれば、お面のように予め定められた形状そのものの表情が表示されるものであってよい。 Further, the information such as the movement of the avatar may be a movement or a facial expression displayed by setting a predetermined shape or movement. The predetermined shape or movement setting is such that a specific shape is set and displayed if it is a movement, for example, the whole body changes to the shell state of a turtle, and it may be a facial expression. For example, the facial expression of the predetermined shape itself may be displayed like a mask.
また、アバターの動作等情報は、動作等を構成する全体の個所についてのパラメータであってもよいし、動作等を構成する箇所の全体の一部のパラメータであってもよい。例えば、アバターの動作等情報は、アバターの一又は複数の所定部位についての変更するための情報を含んでよい。また、所定部位は、頭部、頭部を除く上半身、及び／又は、下半身、を含んでよい。そして、第１入力情報に基づくアバターの動作等情報と、第２入力情報に基づくアバターの動作等情報とは、前記頭部、前記頭部を除く上半身、及び、前記下半身、の一部又は全部が異なってよい。例えば、アバターの動作等情報は、アバターの体全体についてのパラメータであってもよいし、アバターの上半身のみについてのパラメータであってもよいし、アバターの下半身のみについてのパラメータであってもよいし、アバターの頭部のみについてのパラメータであってもよいし、これらの一部又は組み合わせであってもよい。例えば、視聴者端末からの入力情報に基づいて、上半身のみピースのサインを行う動作をしてもよいし、足だけが逃げる動作をしてもよい。アバターの複数の所定部位の動作は、互いに協調したものであってもよい。例えば、右腕を前に出した場合に、左足を前に出す、ように互いに協調した動作をしてもよい。特に、後述するように、複数の視聴者端末からの入力がされている場合において、アバターの第１所定部位についての動作が第１視聴者端末に基づく第１入力情報に基づき、アバターの第２所定部位についての動作が第２視聴者端末に基づく第２入力情報に基づき、第１視聴者端末と第２視聴者端末とが異なる場合、第１視聴者端末と第２視聴者端末とが協調して入力情報を行うことにより、アバターが協調した動作を行う、など視聴者同士の連携を誘いコミュニケーションが活発化できる利点がある。また、特に、かかる状況において、第１入力情報と第２入力情報とが、所定の期間内に取得されるという条件が設けられている場合、第１視聴者と第２視聴者とは、より互いに協調することが求められ、タイミングも含めて視聴者同士の連携を誘い、コミュニケーションが活発化できる利点がある。 Further, the information such as the movement of the avatar may be a parameter for all the parts constituting the movement or the like, or may be a parameter of a part of the whole of the parts constituting the movement or the like. For example, the information such as the operation of the avatar may include information for changing one or a plurality of predetermined parts of the avatar. Further, the predetermined portion may include the head, the upper body excluding the head, and / or the lower body. The information such as the movement of the avatar based on the first input information and the information such as the movement of the avatar based on the second input information are a part or all of the head, the upper body excluding the head, and the lower body. May be different. For example, the information such as the movement of the avatar may be a parameter for the entire body of the avatar, a parameter for only the upper body of the avatar, or a parameter for only the lower body of the avatar. , It may be a parameter only for the head of the avatar, or it may be a part or a combination thereof. For example, based on the input information from the viewer terminal, only the upper half of the body may be signed, or only the legs may escape. The actions of the plurality of predetermined parts of the avatar may be coordinated with each other. For example, when the right arm is put forward, the left foot may be put forward, and the movements may be coordinated with each other. In particular, as will be described later, when input is made from a plurality of viewer terminals, the operation of the first predetermined part of the avatar is based on the first input information based on the first viewer terminal, and the second of the avatars. When the operation of the predetermined part is different between the first viewer terminal and the second viewer terminal based on the second input information based on the second viewer terminal, the first viewer terminal and the second viewer terminal cooperate with each other. There is an advantage that communication can be activated by inviting cooperation between viewers, such as the avatars performing cooperative actions by performing input information. Further, in particular, in such a situation, when the condition that the first input information and the second input information are acquired within a predetermined period is provided, the first viewer and the second viewer are more likely to be referred to. It is required to cooperate with each other, and it has the advantage of inviting viewers to cooperate with each other including timing and activating communication.
他方で、アバターの複数の所定部位の動作は、互いに協調しない動作をしてもよい。例えば、上半身は、追いかけるような動作をしつつ、下半身は逃げるような動作をしてもよい。このような場合、アバターの動作を喜劇的に動作できる利点がある。特に、後述するように、複数の視聴者端末からの入力がされている場合において、アバターの第１所定部位についての動作が第１視聴者端末に基づく第１入力情報に基づき、アバターの第２所定部位についての動作が第２視聴者端末に基づく第２入力情報に基づき、第１視聴者端末と第２視聴者端末とが異なる場合、第１視聴者端末と第２視聴者端末とが協調して入力情報を行うことにより、アバターが協調しない動作を行う、など視聴者同士の連携を誘いコミュニケーションが活発化できる利点がある。また、特に、かかる状況において、第１入力情報と第２入力情報とが、所定の期間内に取得されるという条件が設けられている場合、第１視聴者と第２視聴者とは、より互いに協調することが求められ、タイミングも含めて視聴者同士の連携を誘い、コミュニケーションが活発化できる利点がある。 On the other hand, the movements of the plurality of predetermined parts of the avatar may be movements that do not cooperate with each other. For example, the upper half of the body may behave like chasing, while the lower half of the body may behave like escaping. In such a case, there is an advantage that the movement of the avatar can be operated comically. In particular, as will be described later, when input is made from a plurality of viewer terminals, the operation of the first predetermined part of the avatar is based on the first input information based on the first viewer terminal, and the second of the avatars. When the operation of the predetermined part is different between the first viewer terminal and the second viewer terminal based on the second input information based on the second viewer terminal, the first viewer terminal and the second viewer terminal cooperate with each other. There is an advantage that communication can be activated by inviting cooperation between viewers, such as performing actions in which the avatars do not cooperate by performing input information. Further, in particular, in such a situation, when the condition that the first input information and the second input information are acquired within a predetermined period is provided, the first viewer and the second viewer are more likely to be referred to. It is required to cooperate with each other, and it has the advantage of inviting viewers to cooperate with each other including timing and activating communication.
上記においては、アバターの動作について説明したが、アバターの表情についても、同様であってよい。すなわち、アバターの表情を構成する一又は複数の所定部位について、表情の情報が生成されてよい。また、かかる表情の情報が生成される入力情報は、上述のように複数の異なる視聴者端末からの入力情報に基づいてよい。また、かかる複数の入力情報は、所定の期間内に取得されるという条件が設けられてよい。例えば、口についてのパラメータのみに作用し、口以外の個所についてのパラメータは、通常の配信者の表情に連動するパラメータであって、配信者端末から配信者の表情の動きに対応した情報に基づくパラメータであってよい。また、アバターの動作等情報は、アバターの外観を含んでもよい。例えば、アバターの動作等情報は、アバターの一部又は全部が黒焦げになる演出が可能な情報を含んでよい。 In the above, the operation of the avatar has been described, but the same may be applied to the facial expression of the avatar. That is, facial expression information may be generated for one or more predetermined parts constituting the facial expression of the avatar. Further, the input information for which the information of the facial expression is generated may be based on the input information from a plurality of different viewer terminals as described above. Further, it may be provided that the plurality of input information is acquired within a predetermined period. For example, it acts only on the parameters for the mouth, and the parameters for the parts other than the mouth are parameters linked to the facial expression of the normal distributor, and are based on the information corresponding to the movement of the facial expression of the distributor from the distributor terminal. It may be a parameter. Further, the information such as the operation of the avatar may include the appearance of the avatar. For example, the information such as the operation of the avatar may include information capable of producing a charred effect in part or all of the avatar.
図５は、条件適用部において生成されるアバターの動作等情報の一例である。本例においては、分かりやすいように、所定部位と動作等を区別して例示してあるが、生成されるアバターの動作等情報のデータとしては、動作等が影響を受ける箇所についてのデータが生成されればよい。 FIG. 5 is an example of information such as the operation of the avatar generated in the condition application unit. In this example, for the sake of clarity, the predetermined parts and the movements are distinguished and illustrated, but as the data of the generated information such as the movements of the avatar, the data about the parts affected by the movements etc. are generated. Just do it.
条件適用部は、一又は複数の視聴者端末から取得した入力情報を用いて、所定の条件を充足するかどうかを判定する機能を有してよい。また、所定の条件が充足すると判定した場合に、適用される、アバターの動作又は表情を変更するための情報を有してよい。 The condition application unit may have a function of determining whether or not a predetermined condition is satisfied by using the input information acquired from one or more viewer terminals. In addition, it may have information for changing the movement or facial expression of the avatar, which is applied when it is determined that the predetermined condition is satisfied.
条件適用部は、所定の条件として、種々の入力情報、を用いてよい。 The condition application unit may use various input information as predetermined conditions.
例えば、条件適用部は、視聴者端末から、配信者に係るアバターを、画面右方向へ所定の３単位移動させる指示を受けてよく、かかる入力情報が条件を充足したと判定された場合において、アバターの動作を、画面右方向へ所定の３単位移動させてよい。この場合、アバターは、配信者の動きとは関係なく、かかる移動させる指示を出した視聴者端末からの指示に基づいて動作することにより、視聴者とのコミュニケーションが活発化できる利点がある。例えば、かかる状況が画面右方向におばけキャラがいる場合、配信者としては、おばけキャラのいる方向等は逆の方向の左方向に行きたいと思ったにもかかわらず、視聴者の指示により、おばけキャラのいる方向である右方向に移動する、などが演出されることになる。 For example, the condition application unit may receive an instruction from the viewer terminal to move the avatar related to the distributor to the right of the screen by a predetermined 3 units, and when it is determined that the input information satisfies the condition, the condition application unit may receive an instruction. The movement of the avatar may be moved to the right of the screen by a predetermined 3 units. In this case, the avatar has an advantage that communication with the viewer can be activated by operating based on the instruction from the viewer terminal that has issued the instruction to move the avatar, regardless of the movement of the distributor. For example, if there is a ghost character in the right direction of the screen in such a situation, the distributor wants to go to the left in the opposite direction, such as the direction in which the ghost character is, but according to the viewer's instruction. It will be produced such as moving to the right, which is the direction in which the ghost character is.
なお、上述の例のように、条件適用部における所定の条件の判定とは、取得した入力情報が、配信者の動作又は表情に基づくアバターの動作又は表情を変更するための情報を生成するためのものであるかを判定するものを含んでよい。また、かかる判定は、後述のとおり、取得した入力情報を用いて、アバターの動作又は表情を変更するための情報を生成するかどうかを判定するものであってもよい。 As in the above example, the determination of a predetermined condition in the condition application unit is because the acquired input information generates information for changing the movement or facial expression of the avatar based on the movement or facial expression of the distributor. It may include a thing for determining whether it is a thing. Further, as described later, such determination may determine whether or not to generate information for changing the movement or facial expression of the avatar by using the acquired input information.
また、条件適用部は、所定の条件として、複数の視聴者端末からの入力情報を用いてよい。例えば、条件適用部が利用する入力情報は、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を含んでよい。例えば、第１入力情報が、対象とするアバターを、画面右方向に移動させる動作の指示を出し、第２入力情報が、同一の対象とするアバターを、画面前方方向に移動させる動作の指示を出した場合、条件適用部は、かかる第１入力情報と第２入力情報と、の両方の入力情報が所定の条件を充足すると判定した場合において、これらの両方の情報を用いて、かかる対象とするアバターを、画面右前方方向へ移動させる動作をさせてもよい。また、この場合において、第１入力情報が、対象とするアバターを、画面右方向に所定の３単位移動させる動作の指示であり、第２入力情報が、対象とするアバターを、画面前方方向に所定の４単位移動させる動作の指示の場合、これらの距離を含んだ両方の指示を用いて、アバターを、画面右前方方向に所定の５単位移動させる動作をさせてよい。 Further, the condition application unit may use input information from a plurality of viewer terminals as a predetermined condition. For example, the input information used by the condition application unit may include the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal. For example, the first input information gives an instruction to move the target avatar to the right of the screen, and the second input information gives an instruction to move the same target avatar to the front of the screen. When it is issued, the condition application unit uses both of the first input information and the second input information when it is determined that both of the input information satisfy the predetermined conditions, and uses both of these information to obtain the target. You may move the avatar to be moved to the front right of the screen. Further, in this case, the first input information is an instruction for the operation of moving the target avatar to the right of the screen by a predetermined three units, and the second input information is the instruction to move the target avatar toward the front of the screen. In the case of an instruction to move a predetermined 4 units, both instructions including these distances may be used to move the avatar in the front right direction of the screen by a predetermined 5 units.
なお、条件適用部は、第１入力情報と、第２入力情報と、を上述のように両方の入力情報を用いる所定の条件として、所定の期間内においてかかる複数の入力情報を取得したことを用いてよい。条件適用部が入力情報の取得の時間的条件を設けることにより、視聴者端末からの入力情報の取得に対して、機動的に対応できる利点がある。 It should be noted that the condition application unit has acquired a plurality of such input information within a predetermined period, with the first input information and the second input information as predetermined conditions using both input information as described above. You may use it. By setting the time condition for the acquisition of the input information by the condition application unit, there is an advantage that the acquisition of the input information from the viewer terminal can be flexibly dealt with.
なお、条件適用部は、第１入力情報と、第２入力情報と、の組み合わせを所定の条件として、アバターの動作等を変更するための情報を生成してよい。例えば、第１視聴者端末から、第１入力情報と第２入力情報とを取得可能である場合において、第１入力情報と、第２入力情報と、を個別に取得した場合、アバターの動作等を、夫々、α、βとする。なお、この場合、第１入力情報を取得した後、所定の期間の経過後に、第２入力情報を取得した場合であってよい。このとき、第１入力情報と第２入力情報とをこれらの順に所定の期間内に取得した場合に、アバターの動作等として、α、β、と個別に対応するものが順に生成されてもよいし、α、β、とは異なるγが生成されてもよい。また、逆の順序として、第２入力情報と第１入力情報とをこれらの順に所定の期間内に取得した場合において、同様に、アバターの動作等として、β、α、と個別に対応するものが順に生成されてもよいし、α、β、とは異なるγが生成されてもよいし、第２入力情報と第１入力情報という順序が用いられて、α、β、γ、とは異なるδが生成されてもよい。このように、第１入力情報と第２入力情報とを入力情報として取得した場合に、α、β、γ、δが生成されるかを、所定の条件として設定されることにより、アバターの動作等にバリエーションを増やすことが可能な利点がある。特に一の視聴者端末から、入力情報を入力可能な手段として２つある場合において、上述のとおり、所定の期間内に取得する入力情報や、入力された順序を規定することにより、一の視聴者端末から２つの入力手段によって４つのバリエーションの動作が可能となる利点がある。ここでは、２つの入力手段について説明したが、同様に３つ以上の入力手段を規定し、対応して、その組み合わせに応じたアバターの動作等を規定して、アバターの動作等のバリエーションを豊富化してもよい。 The condition application unit may generate information for changing the operation of the avatar, etc., with the combination of the first input information and the second input information as a predetermined condition. For example, when the first input information and the second input information can be acquired from the first viewer terminal, and the first input information and the second input information are individually acquired, the operation of the avatar, etc. Let be α and β, respectively. In this case, it may be the case that the second input information is acquired after the lapse of a predetermined period after the first input information is acquired. At this time, when the first input information and the second input information are acquired in the order of these within a predetermined period, the actions of the avatars that individually correspond to α and β may be generated in order. However, γ different from α and β may be generated. Further, in the reverse order, when the second input information and the first input information are acquired within a predetermined period in these orders, similarly, β, α, etc. correspond individually as the operation of the avatar. May be generated in order, γ different from α, β, may be generated, and the order of the second input information and the first input information is used, which is different from α, β, γ. δ may be generated. In this way, when the first input information and the second input information are acquired as input information, whether α, β, γ, or δ is generated is set as a predetermined condition, so that the operation of the avatar There is an advantage that it is possible to increase variations. In particular, when there are two means by which input information can be input from one viewer terminal, as described above, one viewing can be performed by defining the input information to be acquired within a predetermined period and the order in which the input information is input. There is an advantage that four variations can be operated by two input means from the user terminal. Here, two input means have been described, but similarly, three or more input means are specified, and correspondingly, the operation of the avatar according to the combination is specified, and there are abundant variations such as the operation of the avatar. It may be changed.
また、かかる第１入力情報と第２入力情報とを取得する視聴者端末を、異なる視聴者端末としてもよい。例えば、上述の通り、第１視聴者端末から第１入力情報を取得し、第２視聴端末から第２入力情報を取得してもよい。この場合においても、アバターの動作等について、同様に、α、β、γ、δ、と入力情報を取得したタイミングや順序に応じてアバターの動作を規定する場合、複数の視聴者間で協力して、アバターの動作等を演出させるという試みも可能になる利点がある。この場合、複数の視聴者間では、視聴者同士でチャットやダイレクトメッセージを行いながら協力してもよい。従って、本願発明に係るアプリケーションは、かかるチャットやダイレクトメッセージを提供してもよく、また、かかるアプリケーションは、かかるチャットやダイレクトメッセージを提供可能な画面に、入力情報を提供可能な入力手段を設けてもよい。 Further, the viewer terminal for acquiring the first input information and the second input information may be different viewer terminals. For example, as described above, the first input information may be acquired from the first viewer terminal, and the second input information may be acquired from the second viewer terminal. Also in this case, regarding the operation of the avatar, similarly, when defining the operation of the avatar according to the timing and order of acquiring the input information such as α, β, γ, δ, cooperation among a plurality of viewers. Therefore, there is an advantage that it is possible to try to produce the movement of the avatar. In this case, the plurality of viewers may cooperate while chatting or direct message with each other. Therefore, the application according to the present invention may provide such a chat or a direct message, and the application may provide an input means capable of providing input information on a screen capable of providing such a chat or a direct message. May be good.
また、条件適用部は、上述のように、複数の視聴者端末から入力情報を取得する場合において、かかる入力情報の統計情報を用いてもよい。例えば、視聴者端末からの入力情報が、所定の数以上である場合に、アバターの動作等情報が生成されてよいが、所定の数未満である場合には、アバターの動作等情報が生成されなくてよい。統計情報は、入力情報の数とは関係のなく入力情報を取得する視聴者端末の数についての統計情報であってもよいし、入力情報に係る視聴者端末の数とは関係なく入力情報の数についての統計情報であってもよいし、視聴者端末の数と入力情報の数の両方の数についての統計情報であってもよい。視聴者端末の数の統計情報を用いる場合、アバターの動作等について、どの程度の視聴者が興味を持って入力したかに基づくことができる利点がある。入力情報の数の統計情報を用いる場合、アバターの動作等について、視聴者の数とは関係なく入力情報ののべ数に基づく視聴者の興味の程度に基づくことができる利点がある。なお、入力情報の数は、一の視聴者端末から、所定の期間に、複数の異なる入力情報を取得してもよいし、一の同一の入力情報を複数取得してもよい。なお、統計情報が示す数字が閾値以下の場合、視聴者からの全ての入力情報を取得部は取得し、条件判定部は、全ての入力情報を利用してよい。他方、統計情報が示す数字が閾値を越えている場合、所定条件を満たす視聴者からの入力情報のみを取得部が取得して条件適用部で適用してもよい。又は、統計情報が示す数字が閾値を越えている場合、入力情報を全て取得部が取得した上で、条件判定部が所定の条件を満たす視聴者からの入力情報のみを利用してもよい。この場合、サーバは、かかる所定の条件を判定するために、視聴者端末についての情報や入力情報についての情報を記憶し、管理して、かかる情報を利用して判定してよい。 Further, as described above, the condition application unit may use the statistical information of the input information when acquiring the input information from a plurality of viewer terminals. For example, when the input information from the viewer terminal is a predetermined number or more, the avatar operation information may be generated, but when the input information is less than the predetermined number, the avatar operation information is generated. It doesn't have to be. The statistical information may be statistical information about the number of viewer terminals that acquire the input information regardless of the number of input information, or the input information regardless of the number of viewer terminals related to the input information. It may be statistical information about the number, or it may be statistical information about the number of both the number of viewer terminals and the number of input information. When using the statistical information of the number of viewer terminals, there is an advantage that the operation of the avatar can be based on how much the viewer is interested in inputting. When statistical information on the number of input information is used, there is an advantage that the operation of the avatar can be based on the degree of interest of the viewer based on the total number of input information regardless of the number of viewers. As for the number of input information, a plurality of different input information may be acquired from one viewer terminal in a predetermined period, or a plurality of the same input information may be acquired. When the number indicated by the statistical information is equal to or less than the threshold value, the acquisition unit may acquire all the input information from the viewer, and the condition determination unit may use all the input information. On the other hand, when the number indicated by the statistical information exceeds the threshold value, only the input information from the viewer satisfying the predetermined condition may be acquired by the acquisition unit and applied by the condition application unit. Alternatively, when the number indicated by the statistical information exceeds the threshold value, the acquisition unit may acquire all the input information, and then the condition determination unit may use only the input information from the viewer who satisfies the predetermined condition. In this case, in order to determine the predetermined condition, the server may store and manage the information about the viewer terminal and the information about the input information, and make a determination by using the information.
統計情報は、種々の統計手段が適用されたものであってよい。上述では、統計情報としての合計数を用いたが、一又は複数の視聴者端末からの一又は複数の入力情報に基づく、最大値、最小値、平均値、など種々の統計情報が用いられてよい。また、対応して、統計情報に対する閾値が、所定の条件として設定されることによって、アバターの動作等情報が生成されるか生成されないかを決定してよい。 The statistical information may be one to which various statistical means are applied. In the above, the total number as statistical information is used, but various statistical information such as maximum value, minimum value, average value, etc. based on one or more input information from one or more viewer terminals are used. good. Correspondingly, it may be determined whether or not the information such as the operation of the avatar is generated by setting the threshold value for the statistical information as a predetermined condition.
また、変更するための情報と、前記配信者に係るモーションデータとを利用してよい。アバターは、通常、配信者に係る情報に基づいて、動作される。例えば、配信者の各部位に装着された種々のモーションデータ生成装置によって生成された配信者の各部位のモーションデータが用いられて、アバターの対応する各部位の動作のための情報が生成されてよい。かかる構成により、配信者の各部位の動作に応じて、アバターの各部位の動作が規定される。また、その他の構成として、演者の全身又はその一部を撮像可能な撮像装置によって演者を撮像して得られた画像に対する画像処理によって、演者の各部位のモーションデータを生成し、かかるモーションデータが用いられて、アバターの対応する各部位の動作のための情報が生成されてもよい。ここにおいて、条件適用部は、所定の条件として、前記配信者に係るモーションデータを利用する、のは、条件適用部が、一又は複数の視聴者端末に基づく入力情報に加えて、配信者に係るモーションデータを用いるというものである。例えば、一の視聴者端末から画面右方向へ所定の４単位移動させる指示を取得した場合において、配信者の動作によって、アバターを、画面後方方向へ所定の３単位移動させるようなモーションデータが生成され、取得部が取得した場合、条件適用部は、対象とするアバターを、画面右後方方向へ所定の５単位移動させる動作をさせてよい。この場合、アバターの動作は、視聴者端末から取得した入力情報の動作指示と、配信者に基づくモーションデータのアバターの動作と、の合計の例である。すなわち、視聴者端末から取得したベクトルの情報と、配信者に基づくアバターの動作のベクトル情報と、の合わさったベクトル情報の例である。なお、この場合、条件適用部は、入力情報と配信者に係るモーションデータとを用いて動画を生成してもよいし、配信者に係るモーションデータを用いて生成された動画に対して更に入力情報を用いて動画を修正して生成してもよい。 Further, the information for changing and the motion data related to the distributor may be used. The avatar is usually operated based on the information related to the distributor. For example, the motion data of each part of the distributor generated by various motion data generators attached to each part of the distributor is used to generate information for the operation of each corresponding part of the avatar. good. With such a configuration, the operation of each part of the avatar is defined according to the operation of each part of the distributor. In addition, as another configuration, motion data of each part of the performer is generated by image processing on the image obtained by imaging the performer with an image pickup device capable of capturing the whole body or a part of the performer, and the motion data is generated. It may be used to generate information for the movement of each corresponding part of the avatar. Here, the condition application unit uses the motion data related to the distributor as a predetermined condition, because the condition application unit informs the distributor in addition to the input information based on one or more viewer terminals. The motion data is used. For example, when an instruction to move a predetermined 4 units to the right of the screen is acquired from one viewer terminal, motion data is generated such that the avatar is moved to the rear of the screen by a predetermined 3 units by the action of the distributor. Then, when the acquisition unit acquires the data, the condition application unit may perform an operation of moving the target avatar by a predetermined 5 units in the rear right rear direction of the screen. In this case, the operation of the avatar is an example of the total of the operation instruction of the input information acquired from the viewer terminal and the operation of the avatar of the motion data based on the distributor. That is, it is an example of the vector information obtained by combining the vector information acquired from the viewer terminal and the vector information of the avatar's operation based on the distributor. In this case, the condition application unit may generate a moving image using the input information and the motion data related to the distributor, or further inputs to the moving image generated using the motion data related to the distributor. The moving image may be modified and generated using the information.
なお、利用されるモーションデータは、アバターが通常基づく配信者に係るモーションデータのみならず、アバターに係る通常の配信者以外の他の配信者に係るモーションデータであってもよい。すなわち、アバターは、通常、一の配信者の体や表情に備えられたセンサーに基づくモーションデータが用いられて動作し、かかるアバターが基づく配信者は一のみの配信者であるところ、かかるアバターと関連付けられている配信者とは異なる配信者に係るモーションデータが用いられることにより、より、アバターが他の人に操作されているかのような状況を実現できる利点がある。なお、このように、アバターが通常操作されている配信者とは異なる他の配信者に係るモーションデータに基づいて操作される時間は、予め、所定の時間に限定されてよい。 The motion data used may be not only the motion data related to the distributor on which the avatar is normally based, but also the motion data related to other distributors other than the normal distributor related to the avatar. That is, the avatar normally operates using motion data based on sensors provided on the body and facial expression of one distributor, and the distributor based on such an avatar is only one distributor. By using motion data related to a distributor different from the associated distributor, there is an advantage that the situation as if the avatar is being operated by another person can be realized. As described above, the time during which the avatar is operated based on the motion data related to the distributor different from the distributor in which the avatar is normally operated may be limited to a predetermined time in advance.
また、条件適用部は、このような入力情報のそのものの適用以外に、所定のルールにおける補正を適用してもよい。例えば、入力情報が、アバターを、画面右方向に所定の単位５の移動の指示である場合、補正係数として５分の１を適用し、アバターを、画面右方向に所定の単位１の移動の指示に変換して適用してもよい。このような補正係数の適用により、入力情報の量の多さを適切に、アバターの動作に反映できる利点がある。他の具体例としては、例えば、アバターが、おばけキャラに近づくか、逃げるか、という状態において、配信者が、逃げる方向の動きを取ったとする。このとき、複数の視聴者端末からおばけキャラに向かっていくという指示が出され、その係数を適切に配分することにより、アバターの動作として、おばけキャラに近づくか、逃げるか、という演出が実現できる。 Further, the condition application unit may apply the correction in the predetermined rule in addition to the application of the input information itself. For example, when the input information is an instruction to move the avatar to the right of the screen by a predetermined unit 5, a 1/5 is applied as a correction coefficient, and the avatar is moved to the right of the screen by a predetermined unit 1. It may be converted into an instruction and applied. By applying such a correction coefficient, there is an advantage that a large amount of input information can be appropriately reflected in the operation of the avatar. As another specific example, for example, it is assumed that the distributor moves in the direction of escape in a state where the avatar approaches or escapes from the ghost character. At this time, instructions are issued from a plurality of viewer terminals toward the ghost character, and by appropriately allocating the coefficients, it is possible to realize the effect of approaching or escaping the ghost character as the action of the avatar. ..
条件適用部は、入力情報を取得する視聴者端末に応じて、異なる変更するための情報を生成してよい。例えば、第１入力情報は第１視聴者が利用する第１視聴者端末に基づき、第２入力情報は第２視聴者が利用する第２視聴者端末に基づく場合において、第１視聴者と第２視聴者とが一の配信において異なる地位を有する場合、前記第１入力情報が使用された場合の前記変更するための情報と、前記第２入力情報が使用された場合の前記変更するための情報と、は異なってよい。ここで、地位は、番組内で、視聴者を区分けするものであれば何でもよい。例えば、番組内において所定の貢献をすることによって得られた地位であってよい。所定の貢献としては、例えば、その番組を所定の期間に所定の回数以上視聴する又は所定の期間に所定の時間以上視聴する等であってもよいし、番組内で所定のコメントを提供することなどであってもよい。これらの場合において、第１の地位と第２の地位とが、同一の序列の下で、第１の地位が第２の地位よりも視聴者が獲得することに労力が必要な場合、第１の地位によって獲得可能なアバターへの指示としての変更するための情報の種類は、第２の地位によって獲得可能なアバターへの指示としての変更するための情報の種類よりも、多くてよい。 The condition application unit may generate information for different changes depending on the viewer terminal for which the input information is acquired. For example, when the first input information is based on the first viewer terminal used by the first viewer and the second input information is based on the second viewer terminal used by the second viewer, the first viewer and the first 2 When the viewer has a different position in one distribution, the information for the change when the first input information is used and the information for the change when the second input information is used. Information may be different. Here, the position may be anything as long as it divides the viewer in the program. For example, it may be a position obtained by making a predetermined contribution in a program. As a predetermined contribution, for example, the program may be viewed more than a predetermined number of times in a predetermined period, or may be viewed for a predetermined time or more in a predetermined period, or a predetermined comment may be provided in the program. And so on. In these cases, if the first and second positions are in the same order and the first position requires more effort for the viewer to acquire than the second position, the first. The type of information to be changed as an instruction to the avatar that can be obtained by the position of the second position may be greater than the type of information to be changed as an instruction to the avatar that can be obtained by the second position.
かかる地位は、上述の視聴者のコメントや視聴者による視聴を、サーバにおいて記録し、かかる情報に基づいてサーバにおいてかかる視聴者の地位の情報を生成してよい。また、かかる地位は、上述の視聴者のコメントや視聴者による視聴を、視聴者端末において記録し、かかる情報が所定のタイミングでサーバに送信され、サーバにおいてかかる視聴者の地位の情報を生成してもよい。また、かかる地位は、上述の視聴者のコメントや視聴者による視聴を、視聴者端末において記録し、かかる情報に基づいて視聴者端末においてかかる視聴者の地位の情報を生成してもよい。 Such status may record the above-mentioned comments of the viewer and viewing by the viewer on the server, and generate information on the status of the viewer on the server based on the information. Further, such a position records the above-mentioned comment of the viewer and the viewing by the viewer on the viewer terminal, the information is transmitted to the server at a predetermined timing, and the information on the position of the viewer is generated on the server. You may. Further, such a position may record the above-mentioned comment of the viewer and the viewing by the viewer on the viewer terminal, and generate information on the position of the viewer on the viewer terminal based on the information.
また、条件適用部は、複数の前記視聴者端末のそれぞれから取得する情報と、所定の基準とに基づいて、前記配信者に係るそれぞれの前記視聴者端末の順位を特定し、前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信してよい。ここで、視聴者端末から取得する情報は、視聴者端末による視聴時間や、視聴者端末によって購入されたギフトの購入情報、配信者が配信した複数コンテンツのうちかかる視聴者端末によって視聴されたコンテンツ数などであってよい。 Further, the condition application unit specifies the order of each of the viewer terminals related to the distributor based on the information acquired from each of the plurality of viewer terminals and a predetermined standard, and according to the order. The second setting information that sets the input information so that it can be accepted may be transmitted to the viewer terminal. Here, the information acquired from the viewer terminal includes the viewing time by the viewer terminal, the purchase information of the gift purchased by the viewer terminal, and the content viewed by the viewer terminal among the plurality of contents distributed by the distributor. It may be a number or the like.
また、前記所定の条件に係る情報は、前記視聴者が属する所属チームを示す情報を含む、ものであってよく、条件適用部は、視聴者が所定のチームに属すると判定部によって判定された場合に、変更するための情報を生成してよい。例えば、条件適用部は、視聴者が、所定の所属チームに所属する場合に限り、アバターに指示が可能であるとしてもよいし、かかる所属チームに所属しない視聴者には指示ができない指示が可能であるとしてもよいし、かかる所属チームと関連付けられた所定の指示が可能であるとしてもよい。ここで、各視聴者が、どのチームに所属するかという、各視聴者と、その所属チームと、を関連付ける情報は、サーバにおいて管理されてもよいし、各視聴者端末において管理されてもよい。各視聴者とその所属チームとの関連付け情報がサーバにおいて管理される場合は、各視聴者に対して自動的に割り振られる情報を取得することで、各視聴者とその所属チームとの関連付け情報がサーバに記憶されてもよいし、各視聴者端末からのチームに所属する要求を取得することにより、各視聴者とその所属チームとの関連付け情報がサーバに記憶されてもよい。他方、各視聴者とその所属チームとの関連付け情報が各視聴者端末において管理される場合、サーバにおいて自動的に割り振られた、各視聴者とその所属チームとの関連付け情報が各視聴者端末に送信されることで各視聴者端末において各視聴者とその所属チームとの関連付け情報が記憶されてもよいし、視聴者端末において視聴者からのチームに所属する要求を取得することにより、視聴者とその所属チームとの関連付け情報が視聴者端末において記憶されてもよい。 Further, the information relating to the predetermined condition may include information indicating the team to which the viewer belongs, and the condition application unit is determined by the determination unit that the viewer belongs to the predetermined team. In some cases, you may generate information to change. For example, the condition application unit may be able to give instructions to the avatar only when the viewer belongs to a predetermined team, or may give instructions to viewers who do not belong to such a team. It may be possible, or it may be possible to give a predetermined instruction associated with such a team. Here, the information associated with each viewer and the team to which each viewer belongs, such as which team each viewer belongs to, may be managed by the server or may be managed by each viewer terminal. .. When the association information between each viewer and his / her team is managed on the server, the association information between each viewer and his / her team can be obtained by acquiring the information automatically assigned to each viewer. It may be stored in the server, or the association information between each viewer and the team to which the viewer belongs may be stored in the server by acquiring the request belonging to the team from each viewer terminal. On the other hand, when the association information between each viewer and its affiliated team is managed in each viewer terminal, the association information between each viewer and its affiliated team automatically allocated by the server is sent to each viewer terminal. By being transmitted, the association information between each viewer and the team to which each viewer belongs may be stored in each viewer terminal, and by acquiring the request from the viewer to belong to the team on the viewer terminal, the viewer may be stored. The association information between the player and the team to which the player belongs may be stored in the viewer terminal.
また、視聴者と、所属チームとを対応付けて記憶し、前記所属チームに応じた入力情報を受け付け可能に設定する第３設定情報を視聴者端末に送信する、ものであってよい。かかる構成の場合、視聴者端末が属する所属チームに対応した入力情報をサーバは取得できる利点がある。また、入力情報に対して、所属チーム毎に、アバターに対する指示が規定されており、かかるチームに対応した指示が可能であってよい。例えば、スポーツゲーム内において、アバターが所定の機会に行う動作が、各々規定されていてよく、例えば、アバターによる応援の動作、アバターにおける歓喜の動作、がチーム毎に決定しており、視聴者が所属するチーム毎に、かかる動作が規定されてよい。 Further, the viewer and the team to which the viewer belongs may be stored in association with each other, and the third setting information for setting the input information corresponding to the team to which the viewer belongs may be transmitted to the viewer terminal. In such a configuration, the server has an advantage that the input information corresponding to the team to which the viewer terminal belongs can be acquired. Further, regarding the input information, the instruction to the avatar is stipulated for each team to which the team belongs, and the instruction corresponding to the team may be possible. For example, in a sports game, the actions that the avatar performs at a predetermined opportunity may be defined respectively. For example, the action of cheering by the avatar and the action of delight in the avatar are determined for each team, and the viewer decides. Such actions may be specified for each team to which the team belongs.
また、条件適用部は、配信者に係る情報を用いて、かかる配信者に係るアバターが可能な動作又は表情を規定してもよい。例えば、前記所定の条件に係る情報は、前記配信者が属する所属チームを示す情報を含む、ものであってよい。また、配信者が属する所属チームを特定し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信するものであってよい。例えば、配信者が所属する所属チームとして、Ａ、Ｂ、Ｃがあったとする。このとき、Ａに所属する配信者に係るアバターは視聴者から入力情報があった場合における動作又は表情としてαが規定され、Ｂに所属する配信者に係るアバターは視聴者からの入力情報があった場合における動作又は表情としてβが規定され、Ｃに所属する配信者に係るアバターは視聴者からの入力情報があった場合における動作又は表情としてγが規定される、などであってよい。これらにおいて視聴者からの入力情報は同一の情報であってもよく、これらα、β、γは、互いに異なる動作又は表情であってよい。なお、所属チームにランキングの順位が設定されている状況において、高い順位のチームは、低いチームのランキングに比べて、視聴者が選択可能な動作又は表情の種類が多くてもよい。 In addition, the condition application unit may use the information related to the distributor to define possible movements or facial expressions of the avatar related to the distributor. For example, the information relating to the predetermined condition may include information indicating the team to which the distributor belongs. Further, the fourth setting information that identifies the team to which the distributor belongs and sets the input information corresponding to the team to be acceptable may be transmitted to the viewer terminal. For example, suppose that there are A, B, and C as affiliated teams to which the distributor belongs. At this time, α is defined as the action or facial expression of the avatar related to the distributor belonging to A when there is input information from the viewer, and the avatar related to the distributor belonging to B has the input information from the viewer. Β may be defined as the action or facial expression in the case of the above, and γ may be defined as the action or facial expression when there is input information from the viewer for the avatar related to the distributor belonging to C. In these, the input information from the viewer may be the same information, and these α, β, and γ may have different actions or facial expressions from each other. In a situation where the ranking of the team to which the team belongs is set, the team with the higher ranking may have more types of movements or facial expressions that can be selected by the viewer than the ranking of the lower team.
また、条件適用部が、配信者に係る情報を用いる他の態様としては、例えば、配信者のランキングの情報を用いてもよい。すなわち、前記所定の条件に係る情報は、前記配信者のランキングに係る情報を含んでよい。例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ａに係るアバターの動作又は表情の種類は、配信者Ｂに係るアバターの動作又は表情の種類よりも、多くてよい。この場合、配信者において、アバターの表現の多様化を求める観点で、配信者にランキングを向上させる動機を生じさせる利点がある。また、例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ａに係るアバターの動作又は表情の変化の範囲が広くてよい。変化の範囲が広いとは、例えば、アバターの変化する部位の数が多いことであってよい。例えば、配信者Ａのランキングがαであり、配信者Ｂのランキングがβであり、αがβよりも高い場合において、配信者Ｂに係るアバターの動作等として顔の表情の変化であるのに対し、配信者Ａに係るアバターの動作等として顔及び上半身の変化であってよい。より具体的な例としては、ランキングが所定順位（例えば１０位）までの配信者に係るアバターについては、アバターの動作等情報が生成できるが、ランキングが所定順位よりも下（例えば１１位以降）の配信者に係るアバターについては、アバターの動作等情報が生成できない、としてもよい。また、ランキング１乃至所定順位の配信者に係るアバターについてはアバターの動作を変更するための情報が生成でき、また、更に、ランキング１乃至上位順位の配信者に係るアバターについてはアバターの動作を変更するための情報に加えてアバターの表情を変更するための情報が生成できる、などとしてよい。この場合、配信者において、アバターの表現の向上を求める観点で、配信者にランキングを向上させる動機を生じさせる利点がある。なお、上位順位は所定順位よりも上位の順位であり、例えば３位である。 Further, as another aspect in which the condition application unit uses the information relating to the distributor, for example, the information of the ranking of the distributor may be used. That is, the information relating to the predetermined condition may include the information relating to the ranking of the distributor. For example, when the ranking of the distributor A is α, the ranking of the distributor B is β, and α is higher than β, the type of action or facial expression of the avatar related to the distributor A is related to the distributor B. It may be more than the type of action or facial expression of the avatar. In this case, there is an advantage that the distributor is motivated to improve the ranking from the viewpoint of requesting the diversification of the expression of the avatar. Further, for example, when the ranking of the distributor A is α, the ranking of the distributor B is β, and α is higher than β, the range of changes in the movement or facial expression of the avatar related to the distributor A is wide. good. The wide range of change may mean, for example, that the number of changing parts of the avatar is large. For example, when the ranking of the distributor A is α, the ranking of the distributor B is β, and α is higher than β, the facial expression changes as the movement of the avatar related to the distributor B. On the other hand, the movement of the avatar related to the distributor A may be a change in the face and upper body. As a more specific example, for avatars related to distributors whose ranking is up to a predetermined rank (for example, 10th place), information such as avatar operation can be generated, but the ranking is lower than the predetermined rank (for example, 11th place or later). It may be said that information such as the operation of the avatar cannot be generated for the avatar related to the distributor of. In addition, information for changing the behavior of the avatar can be generated for the avatars related to the distributors of the ranking 1 to the predetermined rank, and the behavior of the avatars can be changed for the avatars related to the distributors of the ranking 1 to the higher rank. It may be possible to generate information for changing the facial expression of the avatar in addition to the information for changing the avatar's facial expression. In this case, there is an advantage that the distributor is motivated to improve the ranking from the viewpoint of requesting the improvement of the expression of the avatar. It should be noted that the higher rank is a higher rank than the predetermined rank, for example, the third rank.
上述のランキングは、種々の観点のランキングであってよい。例えば、ランキングは、配信者が配信したコンテンツ数、配信者の連続配信日数、フォローする視聴者数、配信者の視聴者数、受領したギフトの量、コラボ配信回数、のいずれか一又は複数のランキングであってよい。ここで、配信者の視聴者数は、１配信の人数でもよいし、全配信の総人数でもよい。また、受領したギフトの量は、１配信あたりの有料ギフトの総金額、全配信の総金額でもよい。これらに限られず、他の観点のランキングであってもよい。 The above-mentioned ranking may be ranking from various viewpoints. For example, the ranking may be one or more of the number of contents delivered by the distributor, the number of continuous distribution days of the distributor, the number of viewers to follow, the number of viewers of the distributor, the amount of gifts received, and the number of collaboration distributions. It may be a ranking. Here, the number of viewers of the distributor may be the number of one distribution or the total number of all distributions. Further, the amount of gifts received may be the total amount of paid gifts per distribution or the total amount of all distributions. The ranking is not limited to these, and may be ranking from other viewpoints.
条件適用部は、一又は複数の視聴者からの入力情報に対して、所定の条件として、アバターの動作又は表情に変更するための情報を生成する場合の制約を課してよい。かかる制約は、所定の条件として、一の視聴者端末からの入力情報の制約であってよい。例えば、一の視聴者端末から取得する入力情報が、アバターの動作又は表情を変更するための情報を生成する際に利用される、所定の条件として、一の視聴者が、入力情報を提供できる回数によって制約されてよい。例えば、一の視聴者は、一配信当たり、３回のみ入力情報を提供できる、などであってよい。 The condition application unit may impose restrictions on the input information from one or more viewers as a predetermined condition when generating information for changing the movement or facial expression of the avatar. Such a constraint may be a constraint on the input information from one viewer terminal as a predetermined condition. For example, one viewer can provide the input information as a predetermined condition that the input information acquired from one viewer terminal is used when generating information for changing the operation or facial expression of the avatar. It may be constrained by the number of times. For example, one viewer may provide the input information only three times per distribution.
また、かかる回数は、所定の時間内における制約であってもよいし、一の番組内における制約であってもよい。また、かかる回数は、視聴者毎に異なってもよい。例えば、かかる回数は、視聴者の有するアイテム、番組内の地位、配信者との関係、及び／又は、配信者に対して提供したギフト、によって、視聴者毎に決定されてよい。視聴者の有するアイテムは、アバターの動作又は表情を変更する権限を有することを示す特別のアイテムであってもよいし、かかる権限を有しつつ他の用途も有するアイテムであってもよい。番組内の地位における地位は、番組内で、視聴者を区分けするものであれば何でもよい。例えば、その番組を所定の期間に所定の回数以上視聴する又は所定の期間に所定の時間以上視聴する等によって得られた番組内の地位であってよいし、番組内において所定の貢献をすることによって得られた地位であってもよいし、番組内で所定のコメントを提供することなどによって得られた地位であってもよい。配信者との関係は、配信者に係るアバターを、所定の回数以上又は所定の時間以上視聴する、などであってよい。また、配信者に対して提供したギフトは、配信者に対して、所定の回数以上ギフトを提供したこと、所定の金額のギフトを提供したこと、所定のギフトを提供したこと、所定のレベルのギフトを提供したこと、などであってよい。ここで所定の金額のギフトは、提供したギフトの合計金額であってもよい。 Further, the number of times may be a constraint within a predetermined time, or may be a constraint within one program. Further, the number of times may be different for each viewer. For example, the number of times may be determined for each viewer depending on the item possessed by the viewer, the position in the program, the relationship with the distributor, and / or the gift provided to the distributor. The item possessed by the viewer may be a special item indicating that he / she has the authority to change the movement or facial expression of the avatar, or may be an item having such authority but also having other uses. The position in the position in the program may be anything as long as it divides the viewer in the program. For example, it may be a position in the program obtained by watching the program more than a predetermined number of times in a predetermined period or watching the program for a predetermined time or more in a predetermined period, or making a predetermined contribution in the program. It may be the position obtained by, or it may be the position obtained by providing a predetermined comment in the program. The relationship with the distributor may be such that the avatar related to the distributor is viewed more than a predetermined number of times or a predetermined time or more. In addition, the gifts provided to the distributor are that the gift has been provided to the distributor more than the specified number of times, the gift of the specified amount has been provided, the gift has been provided, and the level of the gift has been provided. It may be that you provided a gift. Here, the gift of a predetermined amount may be the total amount of the gifts provided.
上述の入力情報を提供可能な回数（本願書類において、「上限回数」ということもある）は、予めシステム上定められた数であってもよいし、管理者、配信者、視聴者が決定可能な数であってもよい。かかる上限回数は、サーバ、視聴者端末、及び／又は、配信者端末で設定されてもよい。また、視聴者端末から、定められた範囲（例えば、一配信あたり、所定の時間内、一番組など）で入力情報が提供される度に、入力情報が提供される回数を数える処理も、サーバ上、視聴者端末、及び／又は、配信者端末、で処理されてよい。かかる入力情報が提供された回数を数える処理をする装置においては、かかる上限回数も有し、入力情報が提供された回数が、かかる上限回数に達したかどうかの判定をしてよく、かかる上限回数に達した後は、入力情報が提供できないよう構成してよい。視聴者端末においては、かかる上限回数に達した後、アバターの操作可能な入力情報が提供できないことを示す情報を表示してよい。 The number of times the above input information can be provided (sometimes referred to as the "upper limit number of times" in the documents of the present application) may be a predetermined number on the system, and can be determined by the administrator, the distributor, and the viewer. It may be any number. The upper limit may be set on the server, the viewer terminal, and / or the distributor terminal. In addition, the server also counts the number of times the input information is provided each time the input information is provided from the viewer terminal within a specified range (for example, per delivery, within a predetermined time, one program, etc.). Above, it may be processed by the viewer terminal and / or the distributor terminal. The device that performs the process of counting the number of times the input information is provided may also have such an upper limit number of times, and may determine whether or not the number of times the input information is provided has reached the upper limit number of times. After reaching the number of times, it may be configured so that the input information cannot be provided. After reaching the upper limit, the viewer terminal may display information indicating that the avatar's operable input information cannot be provided.
また、条件適用部は、アバターの動作又は表情を変更するために提供される入力情報を提供可能な視聴者を、配信者が指定することを、所定の条件としてよい。すなわち、条件適用部の利用する入力情報は、前記アバターに係る配信者端末から取得した前記入力情報を提供可能な視聴者に基づく前記入力情報を含んでよい。配信者は、全ての視聴者の指示により、アバターの動作又は表情が変更されたくない場合があり、配信者が、アバターの動作又は表情を変更可能な視聴者を選択したい場合があるためである。かかる構成を備える場合、アバターは、配信者から指定された視聴者からのみの動作又は表情の変更指示を受けることができる。この場合、配信者が指定可能な視聴者数は、予め定められてもよいし、アバター自身が指定できてもよい。後者の場合、配信者に係るアバターの動作又は表情を変更可能な一又は複数の視聴者を指定可能なように、一又は複数の視聴者を示す情報が、配信者端末において表示されてよい。また、かかる一又は複数の視聴者を示す情報のうち、配信者によって選択された一又は複数の視聴者からの入力情報にのみ基づいて、アバターの動作又は表情が変更されてよい。また、配信者が一又は複数の視聴者を指定した場合、かかる配信者が視聴者を指定したという情報が、指定された視聴者端末に送信され、かかる視聴者端末において表示されてもよい。表示される場合、視聴者は、自らがアバターの動作又は表情を変更することが可能であることを理解した上で、アバターに対して動作又は表情を変更できる利点がある。 Further, the condition application unit may set a predetermined condition that the distributor designates a viewer who can provide the input information provided for changing the operation or the facial expression of the avatar. That is, the input information used by the condition application unit may include the input information based on the viewer who can provide the input information acquired from the distributor terminal related to the avatar. This is because the distributor may not want to change the behavior or facial expression of the avatar according to the instructions of all the viewers, and the distributor may want to select a viewer who can change the behavior or facial expression of the avatar. .. With such a configuration, the avatar can receive an action or facial expression change instruction only from a viewer designated by the distributor. In this case, the number of viewers that can be specified by the distributor may be predetermined or may be specified by the avatar itself. In the latter case, information indicating one or more viewers may be displayed on the distributor terminal so that one or more viewers who can change the movement or facial expression of the avatar related to the distributor can be specified. In addition, the behavior or facial expression of the avatar may be changed based only on the input information from one or more viewers selected by the distributor among the information indicating the one or more viewers. Further, when the distributor designates one or more viewers, the information that the distributor has designated the viewer may be transmitted to the designated viewer terminal and displayed on the viewer terminal. When displayed, the viewer has the advantage of being able to change the action or facial expression of the avatar, knowing that he or she can change the action or facial expression of the avatar.
配信者は、一の配信に対し、その配信の全ての時間に対して、アバターの動作又は表情を変更することの可能な、一又は複数の視聴者を指定してもよいし、かかる一の配信に対し、その配信の一部の時間に対して、アバターの動作又は表情を変更することの可能な、一又は複数の視聴者を指定してもよい。後者において、配信者は、視聴者に対してアバターへの指示が可能な時間を規定してよい。この場合、配信者がアバターに指示が可能な時間を指定してもよいし、指定しなくともよい。また、配信者によって時間が指定されている場合であっても配信者によって時間が指定されていない場合においても、アバターに対して指示が可能な時間の情報が、視聴者端末に送信され、視聴者端末において表示されてもよい。時間情報が視聴者端末において表示された場合、視聴者は、アバターに対して指示が可能な残り時間を理解できる利点がある。 The distributor may specify, for one distribution, one or more viewers who can change the behavior or facial expression of the avatar for the entire time of the distribution. For delivery, one or more viewers who can change the behavior or facial expression of the avatar may be specified for a part of the time of the delivery. In the latter, the distributor may specify the time during which the viewer can be instructed to the avatar. In this case, the distributor may or may not specify the time during which the avatar can be instructed. Further, even when the time is specified by the distributor or not specified by the distributor, the information of the time when the avatar can be instructed is transmitted to the viewer terminal for viewing. It may be displayed on the personal terminal. When the time information is displayed on the viewer terminal, the viewer has an advantage that he / she can understand the remaining time that can be instructed to the avatar.
配信者は、視聴者に対して、アバターへの指示が可能なスケジュールを指定してもよい。例えば、一の配信の時間内において、時間を区分けして、アバターへの指示が可能な視聴者を、各区分けされた時間に対応して、指定してもよい。例えば、配信が、１９時から１９時半の３０分において、１９時から１９時１０分の間を視聴者Ａを指定し、１９時１０分から１９時２０分の間を視聴者ＢとＣを指定し、１９時２０分から１９時３０分を視聴者Ｄを指定する、などであってよい。また、かかる情報は、指定された視聴者に係る視聴者端末のみに送信され、指定された視聴者に係る視聴者端末に表示されてよい。この場合、アバターに指示が可能な時間を、アバターに指示が可能な視聴者は、理解できる利点がある。他方、かかる情報は、配信を視聴する全ての視聴者に係る視聴者端末に送信され、全ての視聴者に係る視聴者端末で表示されてもよい。この場合、アバターに対して指示ができない視聴者も、誰がアバターに対して指示ができるのか、を理解できる利点がある。また、かかる情報は、配信前又は配信開始時から配信時間中、視聴者端末に送信されてよい。予め情報が提供されることにより、視聴者は、予め誰がアバターを指示できるのか、理解できる利点がある。 The distributor may specify a schedule that allows the viewer to be instructed to the avatar. For example, a viewer who can instruct the avatar by dividing the time within one delivery time may be specified corresponding to each divided time. For example, from 19:00 to 19:30, viewer A is designated between 19:00 and 19:10, and viewers B and C are designated between 19:10 and 19:20. It may be specified, and the viewer D may be specified from 19:20 to 19:30. Further, such information may be transmitted only to the viewer terminal related to the designated viewer and displayed on the viewer terminal related to the designated viewer. In this case, there is an advantage that the viewer who can instruct the avatar can understand the time when the avatar can be instructed. On the other hand, such information may be transmitted to the viewer terminals of all the viewers who watch the distribution and may be displayed on the viewer terminals of all the viewers. In this case, there is an advantage that even a viewer who cannot give an instruction to the avatar can understand who can give an instruction to the avatar. In addition, such information may be transmitted to the viewer terminal before distribution or during the distribution time from the start of distribution. By providing the information in advance, the viewer has an advantage that he / she can understand who can instruct the avatar in advance.
なお、配信者が指定した視聴者に対し、配信者によって指定されたことが送信されないよう構成されてもよい。この場合、視聴者は、自らが、アバターに対する指定が可能であるかどうかが不明の状況で、アバターに対して指示を行うようになる。 In addition, it may be configured so that what is specified by the distributor is not transmitted to the viewer designated by the distributor. In this case, the viewer will give an instruction to the avatar in a situation where it is unknown whether or not the designation for the avatar is possible.
また、条件適用部は、一の仮想空間内において、配信者に係るアバターが複数いる場合、視聴者から指定されたアバターについて、アバターの動作等情報を生成してよい。この場合、アバターの種類は問わない。例えば、アバターは、配信者が備えるセンサーに基づくモーションデータが用いられて動作する場合もあれば、配信者が備えるセンサーに基づくモーションデータが用いられない場合もある。後者は、仮想空間内において、アバターが表示されているものの配信者自身の動きに基づいて動作しない場合がある。このような場合においても、一又は複数の視聴者端末からの、各々、一又は複数の入力情報に基づいて、かかる配信者に係るモーションデータが用いられていないアバターの動作等情報を生成させ、対応して、アバターの動作等を演出させてもよい。例えば、複数のアバターついて、写真撮影をする場合において、配信者自身が操作可能なアバターは配信者自身がポーズをすることに対し、配信者に備えられたセンサーに基づいて動作しないアバターについて、視聴者からの入力情報に基づいて、撮影のためのポーズがされてもよい。この場合、通常であれば、動作しないアバターが、視聴者からの入力情報によって動くことが可能となり、よりコミュニケーションを活発化できる利点がある。 Further, when there are a plurality of avatars related to the distributor in one virtual space, the condition application unit may generate information such as avatar operation for the avatar specified by the viewer. In this case, the type of avatar does not matter. For example, the avatar may operate using the motion data based on the sensor provided by the distributor, or may not use the motion data based on the sensor provided by the distributor. The latter may not work based on the distributor's own movements in the virtual space, although the avatar is displayed. Even in such a case, based on one or more input information from one or more viewer terminals, information such as the operation of the avatar in which the motion data related to the distributor is not used is generated. Correspondingly, the operation of the avatar may be produced. For example, when taking a picture of multiple avatars, the avatar that the distributor can operate is the avatar that the distributor poses, but the avatar that does not operate based on the sensor provided in the distributor is viewed. A pose for shooting may be made based on the input information from the person. In this case, the avatar, which normally does not work, can be moved by the input information from the viewer, which has an advantage that communication can be further activated.
また、条件適用部は、前記取得した入力情報が所定の条件を充足するか否かを判定する機能は、視聴者端末から入力情報を取得次第判定してもよいし、所定の時間経過後に条件の充足を判定してもよい。また、条件適用部は、所定の条件を充足するか否かを判定して、所定の条件を充足すると判定した後、直後に、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成してもよいし、所定の期間経過後に、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成してもよい。また、条件適用部は、配信者の動作又は表情に基づくアバターの動作又は表情を入力情報に応じて変更するための情報を生成した直後に、かかる情報に基づいてアバターの動作又は表情が変更されてもよいし、かかる情報を生成して所定の期間の後にかかる情報に基づいてアバターの動作又は表情が変更されてもよい。 Further, the condition application unit may determine whether or not the acquired input information satisfies a predetermined condition as soon as the input information is acquired from the viewer terminal, or the condition after a predetermined time has elapsed. Satisfaction may be determined. In addition, the condition application unit determines whether or not the predetermined condition is satisfied, and immediately after determining that the predetermined condition is satisfied, the motion or facial expression of the avatar based on the motion or facial expression of the distributor is input information. You may generate information to change according to the input information, or after a predetermined period of time, generate information to change the action or facial expression of the avatar based on the action or facial expression of the distributor according to the input information. May be good. Further, immediately after the condition application unit generates information for changing the movement or facial expression of the avatar based on the movement or facial expression of the distributor according to the input information, the movement or facial expression of the avatar is changed based on the information. Alternatively, the behavior or facial expression of the avatar may be changed based on the information generated after a predetermined period of time.
また、条件適用部は、入力情報に基づいて生成される、アバターの動作又は表情を変更するための情報を、アバターに係る情報を用いて、生成してもよい。例えば、アバターに係る情報として、アバターが属するタイプを用いてもよい。例えば、第１アバターと第２アバターとが異なるタイプに所属するアバターである場合において、入力情報が、第１アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報が第２アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がβであってよい。ここで、第１アバターと第２アバターは、同一の配信者に係るアバターであってもよいし、異なる配信者に係るアバターであってもよい。また、第１アバターと第２アバターとが同じタイプに所属するアバターであっても、第１アバターと第２アバターが異なる場合において、入力情報が、第１アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報が第２アバターに対して用いられて生成されたアバターの動作又は表情を変更するための情報がβであってよい。 Further, the condition application unit may generate information for changing the movement or facial expression of the avatar, which is generated based on the input information, by using the information related to the avatar. For example, as the information related to the avatar, the type to which the avatar belongs may be used. For example, when the first avatar and the second avatar belong to different types, the input information is the information for changing the operation or the expression of the avatar generated by being used for the first avatar. Whereas α, the information for changing the action or facial expression of the avatar generated by using the same input information for the second avatar may be β. Here, the first avatar and the second avatar may be avatars related to the same distributor or may be avatars related to different distributors. Further, even if the first avatar and the second avatar belong to the same type, the input information is generated by using the input information for the first avatar when the first avatar and the second avatar are different. The information for changing the action or facial expression of the avatar is α, while the information for changing the action or facial expression of the avatar generated by using the same input information for the second avatar is β. It may be there.
また、条件適用部によって、生成されるアバターの動作又は表情を変更するための情報は、確率に基づいて、生成されてもよい。ここで、確率は、疑似乱数関数などで生成される関数値によって判定されてよい。この場合、同一のアバターで同一の入力情報であっても、アバターの動作又は表情を変更するための情報が異なってもよい。例えば、一の入力情報と一のアバターに対して、第１の機会において生成されるアバターの動作又は表情を変更するための情報がαであるのに対し、同一の入力情報と同一のアバターに対して、第２の機会において生成されるアバターの動作又は表情を変更するための情報がβであってよい。 In addition, the information for changing the action or facial expression of the generated avatar by the condition application unit may be generated based on the probability. Here, the probability may be determined by a function value generated by a pseudo-random number function or the like. In this case, even if the same avatar has the same input information, the information for changing the action or facial expression of the avatar may be different. For example, for one input information and one avatar, the information for changing the action or facial expression of the avatar generated in the first opportunity is α, whereas the same input information and the same avatar On the other hand, the information for changing the movement or facial expression of the avatar generated in the second opportunity may be β.
条件適用部が、所定の条件の充足によって、生成した、アバターの動作等情報が直接用いられて、アバターの動作等が規定されてもよいし、生成した、アバターの動作等情報が間接的に用いられて、アバターの動作等が規定されてもよい。後者は、生成されたアバターの動作等情報に基づき、かかる動作等情報が加工されて、アバターの動作等が規定されてもよい。より具体的には、所定の条件の充足によって生成されたアバターの動作等情報は、動作等を示すＩＤや、動作等を示す動作の一又は複数のパラメータであってよく、かかる生成された動作等情報を、かかるアバターの動作等とできるように、かかる生成された動作等情報が直接的又は間接的に用いられて、アバターの動作等が設定されてよい。かかるＩＤやパラメータの情報は、条件適用部において生成された後、かかる情報が、映像やアニメーションの生成のためにサーバや端末に送信され、所定期間、利用されてよい。ここで、条件適用部は、各所定の条件と関連付けて、生成されるアバターの動作等情報を記憶してよく、かかる各所定の条件が充足された場合に、対応して、動作等情報を生成できるよう構成されてよい。なお、所定の条件の充足によって適用される動作等がアバターに、所定期間、設定された後は、元のアバターの動作に戻ってよい。すなわち、アバターは、配信者によって演じられていることから、所定期間の後、アバターの動作等は、配信者の動作等に基づくものとなってよい。ここで、配信者の動作等に基づくとは、配信者の動作等を光学センサーや慣性センサーで検出された情報によって規定されたものであってよい。 The condition application unit may directly use the information such as the movement of the avatar generated by satisfying the predetermined condition to specify the movement of the avatar, or the generated information such as the movement of the avatar indirectly. It may be used to define the behavior of the avatar and the like. In the latter, based on the generated information such as the movement of the avatar, the information such as the movement may be processed to specify the movement of the avatar. More specifically, the information such as the movement of the avatar generated by satisfying a predetermined condition may be an ID indicating the movement or the like or one or a plurality of parameters of the movement indicating the movement or the like, and the generated movement may be used. The motion of the avatar or the like may be set by directly or indirectly using the generated motion or the like information so that the information can be the motion of the avatar or the like. The ID and parameter information may be generated in the condition application unit, and then the information may be transmitted to a server or a terminal for generating a video or animation and used for a predetermined period of time. Here, the condition application unit may store information such as the operation of the generated avatar in association with each predetermined condition, and when each predetermined condition is satisfied, the operation information is correspondingly stored. It may be configured to generate. After the action or the like applied by satisfying the predetermined condition is set for the avatar for a predetermined period, the action of the original avatar may be restored. That is, since the avatar is played by the distributor, the movement of the avatar may be based on the movement of the distributor after a predetermined period. Here, "based on the movement of the distributor" may be defined by the information detected by the optical sensor or the inertial sensor on the movement of the distributor.
アバターの動作等を示す情報を生成する処理とかかる情報を設定する処理において、条件適用部が実行される第１情報処理装置と、かかるアバターの動作等の設定を含む処理を行う第２情報処理装置と、が同じ場合、条件適用部は、条件適用部が所定の条件の充足によって生成した動作等を示す情報を用いて、前記アバターの動作等と設定するよう処理してよい。 In the process of generating information indicating the operation of the avatar and the process of setting the information, the first information processing device in which the condition application unit is executed and the second information processing including the setting of the operation of the avatar and the like are performed. When the device and the device are the same, the condition application unit may process to set the operation or the like of the avatar by using the information indicating the operation or the like generated by the condition application unit by satisfying a predetermined condition.
また、条件適用部が実行される第１情報処理装置と、かかるアバターの動作等を示す情報の設定を含む処理を行う第２情報処理装置と、が異なる場合、条件適用部が所定の条件の充足によって生成した動作等を示す情報を、第１情報処理装置は、第２情報処理装置に送信し、かかる第２情報処理装置において、生成された動作等を示す情報を用いて、前記アバターの動作等を示す情報と設定するよう処理してよい。 If the first information processing device on which the condition application unit is executed and the second information processing device that performs processing including setting of information indicating the operation of the avatar are different, the condition application unit has a predetermined condition. The first information processing apparatus transmits the information indicating the operation or the like generated by the satisfaction to the second information processing apparatus, and the information indicating the generated operation or the like is used in the second information processing apparatus to use the information indicating the operation or the like of the avatar. It may be processed so as to set the information indicating the operation or the like.
ここで、第１情報処理装置がサーバであって、第２情報処理装置がサーバである場合は、第１情報処理装置のサーバから、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置がサーバであって、第２情報処理装置が配信者端末である場合は、第１情報処理装置のサーバから、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。 Here, when the first information processing apparatus is a server and the second information processing apparatus is a server, the generated operation or the like is transmitted from the server of the first information processing apparatus to the server of the second information processing apparatus. Information indicating that may be transmitted. When the first information processing device is a server and the second information processing device is a viewer terminal, the information processing device is generated from the server of the first information processing device to the viewer terminal of the second information processing device. Information indicating the operation or the like may be transmitted. When the first information processing apparatus is a server and the second information processing apparatus is a distributor terminal, the information processing apparatus is generated from the server of the first information processing apparatus to the distributor terminal of the second information processing apparatus. Information indicating the operation or the like may be transmitted.
同様に、第１情報処理装置が視聴者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の視聴者端末から、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が視聴者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の視聴者端末から、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。 Similarly, when the first information processing device is a viewer terminal and the second information processing device is a server, the generation from the viewer terminal of the first information processing device to the server of the second information processing device. Information indicating the performed operation or the like may be transmitted. When the first information processing device is a viewer terminal and the second information processing device is a viewer terminal, the viewer terminal of the first information processing device is transferred to the viewer terminal of the second information processing device. , Information indicating such generated operation or the like may be transmitted. When the first information processing device is a viewer terminal and the second information processing device is a distributor terminal, the viewer terminal of the first information processing device is transferred to the distributor terminal of the second information processing device. , Information indicating such generated operation or the like may be transmitted.
同様に、第１情報処理装置が配信者端末であって、第２情報処理装置がサーバである場合は、第１情報処理装置の配信者端末から、第２情報処理装置のサーバに、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が配信者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の配信者端末に、かかる生成された動作等を示す情報が送信されてよい。また、第１情報処理装置が配信者端末であって、第２情報処理装置が視聴者端末である場合は、第１情報処理装置の配信者端末から、第２情報処理装置の視聴者端末に、かかる生成された動作等を示す情報が送信されてよい。 Similarly, when the first information processing apparatus is the distributor terminal and the second information processing apparatus is the server, the generation from the distributor terminal of the first information processing apparatus to the server of the second information processing apparatus. Information indicating the performed operation or the like may be transmitted. When the first information processing device is the distributor terminal and the second information processing device is the distributor terminal, the distributor terminal of the first information processing device is transferred to the distributor terminal of the second information processing device. , Information indicating such generated operation or the like may be transmitted. When the first information processing device is the distributor terminal and the second information processing device is the viewer terminal, the distributor terminal of the first information processing device is transferred to the viewer terminal of the second information processing device. , Information indicating such generated operation or the like may be transmitted.
上記では、条件適用部が、単一の情報処理装置において実行される態様を示しているが、複数の情報処理装置において条件適用部を分散して処理してもよい。 In the above, the condition application unit is executed in a single information processing device, but the condition application unit may be distributed and processed in a plurality of information processing devices.
また、条件適用部は、所定の表情等が設定されるタイミングを用いて、所定の表情等を設定してよい。タイミングは、例えば、上述のように、視聴者端末から入力情報を入力した直後や、かかる情報に基づいて所定の条件が判定されて、アバターの動作等を示す情報が生成された時点、かかる時点から所定の期間経過時点、などであってよい。この場合、かかる生成された動作等を示す情報を含む情報が、表示される情報処理装置に送信されて、表示されてよい。この場合のタイミングのずれは、通信や処理のタイムラグが含まれてよい。 Further, the condition application unit may set a predetermined facial expression or the like by using the timing at which the predetermined facial expression or the like is set. The timing is, for example, immediately after inputting the input information from the viewer terminal as described above, or when a predetermined condition is determined based on the information and information indicating the operation of the avatar is generated, or at such a time. It may be at the time when a predetermined period elapses from. In this case, information including information indicating the generated operation or the like may be transmitted to the information processing apparatus to be displayed and displayed. The timing difference in this case may include a time lag in communication and processing.
図５は、生成される動作等を示した一例である。取得した情報を、所定の条件として用いることにより、対応する、所定の表情等が特定されるものとなる。 FIG. 5 is an example showing the generated operation and the like. By using the acquired information as a predetermined condition, a corresponding predetermined facial expression or the like can be specified.
上述のように、条件適用部の機能によって、視聴者からの情報を活用して、アバターの動作等を規定することができ、よりコミュニケーションが活発化できる利点がある。 As described above, the function of the condition application unit makes it possible to specify the operation of the avatar by utilizing the information from the viewer, and there is an advantage that communication can be further activated.
４．実施形態
４−１．実施形態１
実施形態１は、視聴者端末において、条件適用部が動作する例である。この場合、取得部は、視聴者端末において、動作してよい。本例について、図６を用いて説明する。なお、視聴者端末において、条件適用部が動作するため、視聴者端末に基づく情報を所定の条件として含めることにより、視聴者端末毎に、アバターの動作等を変更することも可能であってよい。
4. Embodiment
4-1. Embodiment 1
The first embodiment is an example in which the condition application unit operates in the viewer terminal. In this case, the acquisition unit may operate on the viewer terminal. This example will be described with reference to FIG. Since the condition application unit operates on the viewer terminal, it may be possible to change the operation of the avatar for each viewer terminal by including the information based on the viewer terminal as a predetermined condition. ..
ステップ１
取得部が、入力情報を取得する（ステップ００１）。かかる入力情報は、条件適用部が動作する視聴者端末において入力されたものでもよいし、他の視聴者端末において入力された情報や演出としてサーバ内で生成された情報を、一又は複数のサーバなどを介して、条件適用部が動作する視聴者端末が取得してもよい。
Step 1
The acquisition unit acquires the input information (step 001). Such input information may be input in a viewer terminal in which the condition application unit operates, or information input in another viewer terminal or information generated in the server as an effect may be input to one or more servers. The viewer terminal on which the condition application unit operates may acquire the information via the above.
ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。
Step 2
Next, the determination unit determines a predetermined condition using at least the input information (step 002).
ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等を生成する（ステップ００３）。このために、条件適用部は、少なくとも一部の所定の条件とかかる条件が充足した場合におけるアバターの動作等情報又はアバターの動作等情報と関連付けられている情報を有していてよい。
Step 3
Next, when the determination unit determines that the predetermined condition is satisfied, the condition application unit generates an avatar operation or the like using the input information (step 003). For this purpose, the condition application unit may have information such as the operation of the avatar or information associated with the information such as the operation of the avatar when at least a part of the predetermined conditions and such conditions are satisfied.
ステップ４
生成された動作等情報が用いられて、視聴者端末において、アバターに係る動作等に設定する（ステップ００４）。視聴者は、自身又は他の視聴者端末への入力に対応して、アバターの動作等が変更される反応を視聴できる利点がある。
Step 4
The generated motion information is used to set the motion related to the avatar on the viewer terminal (step 004). The viewer has an advantage that he / she can watch the reaction in which the behavior of the avatar is changed in response to the input to himself / herself or another viewer terminal.
ステップ５
各視聴者端末において、アバターの動作等が所定の期間表示された後、元のかかるアバターに係る配信者の動作等に基づく動作等に戻る（ステップ００５）。視聴者端末に基づくアバターの動作等の変更は、一定の所定の期間に限定することで、元の配信者によるアバターの動作を必要以上に制限しないためである。
Step 5
After the operation of the avatar or the like is displayed for a predetermined period on each viewer terminal, the process returns to the operation or the like based on the operation or the like of the distributor related to the original avatar (step 005). This is because the change of the operation of the avatar based on the viewer terminal is limited to a certain predetermined period, so that the operation of the avatar by the original distributor is not restricted more than necessary.
４−２．実施形態２
実施形態２は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、視聴者端末上においてアニメーションが生成されてもよいし、サーバ上でアニメーションが生成されてもよいが、図７を用いて説明する。
4-2. Embodiment 2
The second embodiment is an example in which the condition application unit operates in the server. In this case, the acquisition unit may operate on the server. In this example, the animation may be generated on the viewer terminal or the animation may be generated on the server, which will be described with reference to FIG. 7.
ステップ１
取得部が、入力情報を取得する（ステップ００１）。
Step 1
The acquisition unit acquires the input information (step 001).
ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。
Step 2
Next, the determination unit determines a predetermined condition using at least the input information (step 002).
ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等情報を生成する（ステップ００３）。
Step 3
Next, when the determination unit determines that the predetermined condition is satisfied, the condition application unit generates information such as the operation of the avatar using the input information (step 003).
ステップ４
サーバは、生成されたアバターの動作等情報を、かかるアバターの配信を視聴している、各視聴者端末に送信する（ステップ００４）。
Step 4
The server transmits the generated information such as the operation of the avatar to each viewer terminal viewing the distribution of the avatar (step 004).
ステップ５
各視聴者端末において、サーバから取得したアバターの動作等情報を用いて、アバターの動作等を設定する（ステップ００５）。ここで、各視聴者端末において、かかる設定されたアバターの動作等を用いて、アニメーションが生成されてもよい。
Step 5
In each viewer terminal, the operation of the avatar and the like are set by using the information such as the operation of the avatar acquired from the server (step 005). Here, in each viewer terminal, the animation may be generated by using the operation of the set avatar or the like.
ステップ６
各視聴者端末において、サーバから取得したアバターの動作等を示す情報が用いられたアバターの動作等が、所定の期間表示され、その後元のかかるアバターに係る配信者の動作等に基づく動作等に設定される（ステップ００６）。なお、サーバにおいて、アニメ―エションが生成された場合は、各アニメーション内に、所定の期間、かかる生成された動作等が用いられてアニメーションが生成され、各視聴者端末に送信されて、各視聴者端末において表示されてよい。所定の期間が経過後は、サーバにおいて、アバターに係る配信者の動作等に基づきトラッキングによって得られた動作等がアバターの動作等として使用されたアニメーションが生成され、各視聴者端末に送信されて、各視聴者端末において表示されてよい。
Step 6
On each viewer terminal, the operation of the avatar using the information indicating the operation of the avatar acquired from the server is displayed for a predetermined period, and then the operation based on the operation of the distributor related to the original avatar, etc. It is set (step 006). When an animation is generated on the server, an animation is generated in each animation using the generated motion or the like for a predetermined period of time, and is transmitted to each viewer terminal for each viewing. It may be displayed on the user terminal. After a predetermined period of time has elapsed, an animation is generated on the server in which the movements obtained by tracking based on the movements of the distributor related to the avatar are used as the movements of the avatar, and are transmitted to each viewer terminal. , May be displayed on each viewer terminal.
４−３．実施形態３
実施形態３は、サーバにおいて、条件適用部が動作する例である。この場合、取得部は、サーバにおいて、動作してよい。なお、本例は、サーバ上において、アバターの表情を含む映像が生成される前提で、図８を用いて説明する。
4-3. Embodiment 3
The third embodiment is an example in which the condition application unit operates in the server. In this case, the acquisition unit may operate on the server. This example will be described with reference to FIG. 8 on the premise that a video including the facial expression of the avatar is generated on the server.
ステップ１
取得部が、入力情報を取得する（ステップ００１）。
Step 1
The acquisition unit acquires the input information (step 001).
ステップ２
次に、判定部が、少なくとも入力情報を用いて、所定の条件を判定する（ステップ００２）。
Step 2
Next, the determination unit determines a predetermined condition using at least the input information (step 002).
ステップ３
次に、判定部が、所定の条件が充足すると判定した場合、条件適用部が、入力情報を用いて、アバターの動作等情報を生成する（ステップ００３）。
Step 3
Next, when the determination unit determines that the predetermined condition is satisfied, the condition application unit generates information such as the operation of the avatar using the input information (step 003).
ステップ４
サーバは、生成された動作等情報を用いて、かかるアバターの配信についての映像を生成する（ステップ００４）。ここで、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、同一のサーバの場合、条件適用部を実行するサーバにおいて、アバターの配信のための映像を生成してよい。他方、アバターの配信についての映像を生成するサーバと、かかる条件適用部を実行するサーバが、異なるサーバの場合、条件適用部を実行するサーバから、かかる映像を生成するサーバに、かかる生成された動作等情報又はかかる動作等情報に基づく情報が送信され、かかる映像を生成するサーバにおいて、かかる生成された動作等情報又はかかる動作等情報に基づく情報が用いられてよい。また、これらの場合において、判定部を実行するサーバと条件適用部を実行するサーバが異なる場合においては、判定部における判定結果のみが条件適用部に送信されてもよい。また、判定部による判定結果が視聴者端末に送信され、上述のように視聴者端末で映像が生成されてもよい。なお、かかるサーバにおいてアニメーションを生成する場合も同様に、映像と共に又は映像に代えて、かかるアバターの配信についてのアニメーションを生成してもよく、この場合は以降映像と共に又は映像に代えてアニメーションが使用されてよい。
Step 4
The server uses the generated information such as the operation to generate a video about the distribution of the avatar (step 004). Here, if the server that generates the video about the distribution of the avatar and the server that executes the condition application unit are the same server, the server that executes the condition application unit generates the video for the distribution of the avatar. You can do it. On the other hand, if the server that generates the video about the distribution of the avatar and the server that executes the condition application unit are different servers, the server that executes the condition application unit sends the video to the server that generates the video. Information such as operation or information based on such information such as operation is transmitted, and information based on such generated operation information or information such as such operation may be used in a server that generates such an image. Further, in these cases, when the server that executes the determination unit and the server that executes the condition application unit are different, only the determination result in the determination unit may be transmitted to the condition application unit. Further, the determination result by the determination unit may be transmitted to the viewer terminal, and the video may be generated on the viewer terminal as described above. Similarly, when generating an animation on such a server, an animation for distribution of the avatar may be generated together with the video or in place of the video. In this case, the animation is used together with the video or in place of the video. May be done.
ステップ５
生成された動作等情報に基づいて生成されたアバターの変更するための情報が、各視聴者端末に対して送信される（ステップ００５）。
Step 5
Information for changing the avatar generated based on the generated operation information is transmitted to each viewer terminal (step 005).
ステップ６
各視聴者端末において、サーバから取得した動作等情報が用いられた映像が、所定の期間表示され、その後元のかかるアバターに係る配信者の動作等に基づく動作等に基づくアバターの映像が表示される（ステップ００６）。
Step 6
On each viewer terminal, the video using the motion information acquired from the server is displayed for a predetermined period, and then the video of the avatar based on the motion based on the distributor's motion related to the original avatar is displayed. (Step 006).
４−４．様々な実施態様について
第１の態様によるコンピュータプログラムは、「一又は複数のプロセッサにより実行されることにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。
4-4. Various Embodiments The computer program according to the first aspect is described as "from one or more viewer terminals, which are executed by one or more processors to acquire information and display a video including a distributor's avatar. Input information is acquired, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the operation of the avatar based on the operation of the distributor is performed. , Generates information to be changed according to the input information. "
第２の態様によるコンピュータプログラムは、上記第１の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する」ものである。 The computer program according to the second aspect is described in the first aspect as follows: "As the predetermined condition, the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal. And use. "
第３の態様によるコンピュータプログラムは、上記第１の態様又は上記第２の態様において「前記変更するための情報と、前記配信者に係るモーションデータとを利用する」ものである。 The computer program according to the third aspect is the one that "uses the information for changing and the motion data related to the distributor" in the first aspect or the second aspect.
第４の態様によるコンピュータプログラムは、上記第１乃至上記第３のいずれか一の態様において「所定の基準に基づき、複数の前記視聴者端末から特定の前記視聴者端末を特定し、複数の視聴者端末から取得した前記入力情報から、特定した前記視聴者端末からの前記入力情報を用いる」ものである。 In the computer program according to the fourth aspect, in any one of the first to third aspects, "a specific viewer terminal is specified from a plurality of the viewer terminals based on a predetermined criterion, and a plurality of viewings are performed. The input information from the specified viewer terminal is used from the input information acquired from the user terminal. "
第５の態様によるコンピュータプログラムは、上記第１乃至上記第４のいずれか一の態様において「複数の視聴者端末から、所定の条件を満たす前記視聴者端末を特定し、特定した前記視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信する」ものである。 In the computer program according to the fifth aspect, in any one of the first to fourth aspects, "the viewer terminal satisfying a predetermined condition is specified from a plurality of viewer terminals, and the specified viewer terminal is specified. The first setting information for setting the input information so that it can be accepted is transmitted to the user. "
第６の態様によるコンピュータプログラムは、上記第１乃至上記第５のいずれか一の態様において「前記入力情報を受け付け可能にする設定を実行するか否かの判断基準を示す情報を前記視聴者端末に送信する」ものである。 In the computer program according to the sixth aspect, in any one of the first to fifth aspects, the viewer terminal provides information indicating a criterion for determining whether or not to execute the setting for accepting the input information. Send to. "
第７の態様によるコンピュータプログラムは、上記第１乃至上記第６のいずれか一の態様において「前記所定の条件に係る情報は、前記視聴者が、前記入力情報を提供できる回数を含む」ものである。 The computer program according to the seventh aspect is the one in any one of the first to the sixth aspects, "the information according to the predetermined condition includes the number of times the viewer can provide the input information". be.
第８の態様によるコンピュータプログラムは、上記第１乃至上記第７のいずれか一の態様において「複数の前記視聴者端末のそれぞれから取得する情報と、所定の基準とに基づいて、前記配信者に係るそれぞれの前記視聴者端末の順位を特定し、前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信する」ものである。 The computer program according to the eighth aspect, in any one of the first to seventh aspects, "to the distributor based on the information acquired from each of the plurality of viewer terminals and a predetermined standard. The second setting information that specifies the order of each of the viewer terminals and sets the input information according to the order so that it can be accepted is transmitted to the viewer terminal. "
第９の態様によるコンピュータプログラムは、上記第１乃至上記第８のいずれか一の態様において「所定の条件に係る情報は、前記視聴者が属する所属チームを示す情報を含む」ものである。 The computer program according to the ninth aspect is, in any one of the first to eighth aspects, "information relating to a predetermined condition includes information indicating a team to which the viewer belongs".
第１０の態様によるコンピュータプログラムは、上記第１乃至上記第９のいずれか一の態様において「前記視聴者と、所属チームとを対応付けて記憶し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第３設定情報を前記視聴者端末に送信する」ものである。 The computer program according to the tenth aspect "stores the viewer in association with the team to which the viewer belongs and receives the input information according to the team to which the viewer belongs" in any one of the first to the ninth aspects. The third setting information to be set to be possible is transmitted to the viewer terminal. "
第１１の態様によるコンピュータプログラムは、上記第１乃至上記第１０のいずれか一の態様において「前記所定の条件に係る情報は、前記配信者が属する所属チームを示す情報を含む」ものである。 The computer program according to the eleventh aspect is the one in any one of the first to tenth aspects, "the information according to the predetermined condition includes the information indicating the team to which the distributor belongs".
第１２の態様によるコンピュータプログラムは、上記第１乃至上記第１１のいずれか一の態様において「前記配信者が属する所属チームを特定し、前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信する」ものである。 The computer program according to the twelfth aspect is set to "identify the team to which the distributor belongs and accept the input information according to the team to which the distributor belongs" in any one of the first to eleventh aspects. The fourth setting information is transmitted to the viewer terminal. "
第１３の態様によるコンピュータプログラムは、上記第１乃至上記第１２のいずれか一の態様において「前記所定の条件に係る情報は、前記配信者のランキングに係る情報を含む」ものである。 The computer program according to the thirteenth aspect is "the information according to the predetermined condition includes the information related to the ranking of the distributor" in any one of the first to the twelfth aspects.
第１４の態様によるコンピュータプログラムは、上記第１乃至上記第１３のいずれか一の態様において「前記所定のアバターの動作を変更するための情報は、前記アバターの一又は複数の所定部位についての動作を変更するための情報を含む」ものである。 The computer program according to the fourteenth aspect is described in any one of the first to thirteenth aspects as follows, "The information for changing the operation of the predetermined avatar is the operation for one or a plurality of predetermined parts of the avatar. Contains information to change. "
第１５の態様によるコンピュータプログラムは、上記第１乃至上記第１４のいずれか一の態様において「前記所定部位は、頭部、頭部を除く上半身、及び／又は、下半身、を含む」ものである。 The computer program according to the fifteenth aspect is one in any one of the first to the fourteenth aspects, "the predetermined portion includes a head, an upper body excluding the head, and / or a lower body". ..
第１６の態様によるコンピュータプログラムは、上記第１乃至上記第１５のいずれか一の態様において「前記変更するための情報は、前記頭部、前記頭部を除く上半身、及び、前記下半身、の一部又は全部が異なる」ものである。 The computer program according to the sixteenth aspect is the one in any one of the first to fifteenth aspects, "The information for changing the head, the upper body excluding the head, and the lower body. Part or all is different. "
第１７の態様によるコンピュータプログラムは、上記第１乃至上記第１６のいずれか一の態様において「前記入力情報は、アバターの動作又は表情の種類を表す入力に基づく」ものである。 The computer program according to the seventeenth aspect is based on the input indicating the type of movement or facial expression of the avatar in any one of the first to the sixteenth aspects.
第１８の態様によるコンピュータプログラムは、上記第１乃至上記第１７のいずれか一の態様において「前記入力情報は、前記視聴者端末に入力されたコメントに基づく」ものである。 The computer program according to the eighteenth aspect is "the input information is based on a comment input to the viewer terminal" in any one of the first to the seventeenth aspects.
第１９の態様によるコンピュータプログラムは、上記第１乃至上記第１８のいずれか一の態様において「前記入力情報は、前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報に基づく」ものである。 The computer program according to the nineteenth aspect has "the input information is based on the input information to which the use other than the instruction regarding the movement or the facial expression of the avatar is assigned" in any one of the first to the eighteenth aspects. It is a thing.
第２０の態様によるコンピュータプログラムは、上記第１乃至上記第１９のいずれか一の態様において「前記アバターの動作又は表情に関する指示以外の用途が割り当てられている入力情報は、いいねボタンによるいいね、または、フォローボタンのフォロー、である」ものである。 The computer program according to the twentieth aspect is described in any one of the first to the nineteenth aspects as follows, "The input information to which the use other than the instruction regarding the movement or facial expression of the avatar is assigned is like by the like button. , Or follow the follow button. "
第２１の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、視聴者端末内に備えられ、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。 The computer program according to the 21st aspect is described in any one of the 1st to 20th aspects, "The processor is provided in the viewer terminal, and the generated information is set in the avatar to perform animation. "Generate".
第２２の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、配信者端末内に備えられ、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。 The computer program according to the 22nd aspect is described in any one of the first to the twentieth aspects, "The processor is provided in the distributor terminal, and the generated information is set in the avatar to perform animation. "Generate".
第２３の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、サーバ内に備えられる、前記生成された情報を前記アバターに設定してアニメーションを生成する」ものである。 The computer program according to the 23rd aspect is described in any one of the 1st to 20th aspects, "The processor sets the generated information provided in the server to the avatar and generates an animation. It is a thing.
第２４の態様によるコンピュータプログラムは、上記第１乃至上記第２０のいずれか一の態様において「前記プロセッサは、サーバ内に備えられる、前記生成された情報を前記アバターに設定して、映像を生成する」ものである。 The computer program according to the twenty-fourth aspect is described in any one of the first to the twentieth aspects as described above, "The processor sets the generated information provided in the server to the avatar to generate an image. To do. "
第２５の態様によるコンピュータプログラムは、上記第１乃至上記第２４のいずれか一の態様において「前記プロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ又はグラフィックスプロセッシングユニット（ＧＰＵ）である」ものである。 The computer program according to the 25th aspect is the one in which "the processor is a central processing unit (CPU), a microprocessor or a graphics processing unit (GPU)" in any one of the first to the twenty-fourth aspects. be.
第２６の態様によるサーバ装置は、「一又は複数のプロセッサを具備し、前記一又は複数のプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。 The server device according to the twenty-sixth aspect "includes one or more processors, wherein the one or more processors obtain information and include a distributor's avatar by executing a computer-readable instruction. When input information is acquired from one or more viewer terminals displaying a moving image, it is determined whether or not the acquired input information satisfies a predetermined condition, and the input information satisfies the predetermined condition. It generates information for changing the movement of the avatar based on the movement of the distributor according to the input information. "
第２７の態様によるサーバ装置は、上記第２６の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する、」ものである。 The server device according to the 27th aspect is described in the 26th aspect as follows: "As the predetermined condition, the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal. And, use, ".
第２８の態様による方法は、「コンピュータにより読み取り可能な命令を実行する一又は複数のプロセッサにより実行される方法であって、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。 The method according to the 28th aspect is "a method executed by one or a plurality of processors that execute a computer-readable instruction, and one or a plurality of methods for acquiring information and displaying a video including a distributor's avatar. The input information is acquired from the viewer terminal of the above, it is determined whether or not the acquired input information satisfies the predetermined condition, and when the input information satisfies the predetermined condition, it is based on the operation of the distributor. It generates information for changing the operation of the avatar according to the input information. "
第２９の態様による方法は、上記第２８の態様において「前記所定の条件として、第１の視聴者端末から取得した第１入力情報と、第２の視聴者端末から取得した第２入力情報と、を利用する、」ものである。 In the 28th aspect, the method according to the 29th aspect is "as the predetermined condition, the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal. , Is used. "
第３０の態様による視聴者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。 The viewer terminal device according to the thirtieth aspect "provides one or a plurality of processors, and the processor executes an instruction readable by a computer to acquire information and obtain a moving image including a distributor's avatar. Input information is acquired from one or more viewer terminals to be displayed, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the distribution is performed. It generates information for changing the movement of the avatar based on the movement of the person according to the input information. "
第３１の態様による配信者端末装置は、「一又は複数のプロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、前記取得した入力情報が所定の条件を充足するか否かを判定し、前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する」ものである。 The distributor terminal device according to the thirty-first aspect "provides one or a plurality of processors, and the processor executes an instruction readable by a computer to acquire information and obtain a moving image including the distributor's avatar. Input information is acquired from one or more viewer terminals to be displayed, it is determined whether or not the acquired input information satisfies a predetermined condition, and when the input information satisfies the predetermined condition, the distribution is performed. It generates information for changing the movement of the avatar based on the movement of the person according to the input information. "
また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。 Further, the system and information processing described in the documents of the present application may be carried out by software, hardware or a combination thereof, and a part or all of the system and information processing implement the processing / procedure as a computer program. However, it may be executed by various computers, and these computer programs may be stored in a storage medium. Also, these programs may be stored on a non-transient or temporary storage medium.
本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。 What has been described in this document is not limited to that described in this document, but applies to various examples within the scope of various technical ideas having various technical advantages and configurations described in this document. Needless to say, you can do it.
１ システム
１０ 通信網
２０（２０Ａ〜２０Ｃ） サーバ装置
３０（３０Ａ〜３０Ｃ） 端末装置
２１（３１） 演算装置
２２（３２） 主記憶装置
２３（３３） 入出力インタフェイス
２４（３４） 入力装置
２５（３５） 補助記憶装置
２６（３６） 出力装置
４１ 取得部
４２ 判定部
４３ 条件適用部
1
Claims (23)
一又は複数のプロセッサにより実行されることにより、
情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、
前記取得した入力情報が所定の条件を充足するか否かを判定し、
前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、
ことを特徴とするコンピュータプログラム。 It ’s a computer program,
By being run by one or more processors
Acquire information and display a video containing the distributor's avatar Obtain input information from one or more viewer terminals and obtain input information.
It is determined whether or not the acquired input information satisfies a predetermined condition, and it is determined.
When the input information satisfies the predetermined condition, information for changing the operation of the avatar based on the operation of the distributor according to the input information is generated.
A computer program that features that.
請求項１に記載のコンピュータプログラム。 As the predetermined condition, the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal are used.
The computer program according to claim 1.
複数の前記視聴者端末から取得した前記入力情報から、特定した前記視聴者端末からの前記入力情報を用いる、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 A specific viewer terminal is identified from a plurality of the viewer terminals based on a predetermined standard, and the viewer terminal is identified.
The input information from the specified viewer terminal is used from the input information acquired from the plurality of viewer terminals.
The computer program according to any one of claims 1 to 3.
特定した前記視聴者端末に、前記入力情報を受け付け可能に設定する第１設定情報を送信する、
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 From a plurality of viewer terminals, the viewer terminal satisfying a predetermined condition is identified, and the viewer terminal is identified.
The first setting information for setting the input information so that it can be accepted is transmitted to the specified viewer terminal.
The computer program according to any one of claims 1 to 3.
請求項１乃至３のいずれか１項に記載のコンピュータプログラム。 Information indicating a criterion for determining whether or not to execute the setting for accepting the input information is transmitted to the viewer terminal.
The computer program according to any one of claims 1 to 3.
請求項１乃至６のいずれか1項に記載のコンピュータプログラム。 The information according to the predetermined condition includes the number of times that the viewer can provide the input information.
The computer program according to any one of claims 1 to 6.
前記順位に応じた前記入力情報を受け付け可能に設定する第２設定情報を前記視聴者端末に送信する、
請求項１乃至５のいずれか１項に記載のコンピュータプログラム。 Based on the information acquired from each of the plurality of the viewer terminals and a predetermined standard, the ranking of each of the viewer terminals related to the distributor is specified.
The second setting information that sets the input information according to the order so that it can be accepted is transmitted to the viewer terminal.
The computer program according to any one of claims 1 to 5.
請求項１乃至７のいずれか１項に記載のコンピュータプログラム。 The information relating to the predetermined conditions includes information indicating the team to which the viewer belongs.
The computer program according to any one of claims 1 to 7.
前記所属チームに応じた前記入力情報を受け付け可能に設定する第３設定情報を前記視聴者端末に送信する、
請求項１乃至９のいずれか１項に記載のコンピュータプログラム。 The viewer and the team to which the viewer belongs are associated and memorized.
A third setting information for setting the input information corresponding to the team to which the user belongs is transmitted to the viewer terminal.
The computer program according to any one of claims 1 to 9.
請求項１乃至１０のいずれか１項に記載のコンピュータプログラム。 The information relating to the predetermined conditions includes information indicating the team to which the distributor belongs.
The computer program according to any one of claims 1 to 10.
前記所属チームに応じた前記入力情報を受け付け可能に設定する第４設定情報を前記視聴者端末に送信する、
請求項１乃至１０のいずれか１項に記載のコンピュータプログラム。 Identify the team to which the distributor belongs and
The fourth setting information for setting the input information according to the team to which the user belongs is transmitted to the viewer terminal.
The computer program according to any one of claims 1 to 10.
請求項８に記載のコンピュータプログラム。 The information relating to the predetermined conditions includes information relating to the ranking of the distributor.
The computer program according to claim 8.
請求項１乃至１３のいずれか１項に記載のコンピュータプログラム。 The information for changing the behavior of the predetermined avatar includes information for changing the behavior of one or more predetermined parts of the avatar.
The computer program according to any one of claims 1 to 13.
請求項１４に記載のコンピュータプログラム。 The predetermined portion includes the head, the upper body excluding the head, and / or the lower body.
The computer program according to claim 14.
請求項１５に記載のコンピュータプログラム。 The information for changing is partially or completely different from the head, the upper body excluding the head, and the lower body.
The computer program according to claim 15.
請求項１乃至１６のいずれか１項に記載のコンピュータプログラム。 The input information is based on an input representing the type of action or facial expression of the avatar.
The computer program according to any one of claims 1 to 16.
請求項１乃至１６のいずれか１項に記載のコンピュータプログラム。 The input information is based on a comment input to the viewer terminal.
The computer program according to any one of claims 1 to 16.
請求項１乃至１６のいずれか１項に記載のコンピュータプログラム。 The input information is based on the input information to which a purpose other than the instruction regarding the movement or facial expression of the avatar is assigned.
The computer program according to any one of claims 1 to 16.
請求項１９に記載のコンピュータプログラム。 The input information to which the use other than the instruction regarding the action or facial expression of the avatar is assigned is like by the like button or follow of the follow button.
The computer program according to claim 19.
請求項１乃至２０のいずれか１項に記載のコンピュータプログラム。 The processor is a central processing unit (CPU), microprocessor or graphics processing unit (GPU).
The computer program according to any one of claims 1 to 20.
情報を取得して配信者のアバターを含む動画を表示する一又は複数の視聴者端末から入力情報を取得し、
前記取得した入力情報が所定の条件を充足するか否かを判定し、
前記入力情報が前記所定の条件を充足する場合、前記配信者の動作に基づく前記アバターの動作を、前記入力情報に応じて、変更するための情報を生成する、ことを特徴とする方法。 A method performed by one or more processors that execute computer-readable instructions.
Acquire information and display a video containing the distributor's avatar Obtain input information from one or more viewer terminals and obtain input information.
It is determined whether or not the acquired input information satisfies a predetermined condition, and it is determined.
A method characterized by generating information for changing the operation of the avatar based on the operation of the distributor according to the input information when the input information satisfies the predetermined condition.
請求項２２に記載の方法。 As the predetermined condition, the first input information acquired from the first viewer terminal and the second input information acquired from the second viewer terminal are used.
22. The method of claim 22.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020091577A JP7356662B2 (en) | 2020-05-26 | 2020-05-26 | computer program and method |
| JP2023148005A JP2023175784A (en) | 2020-05-26 | 2023-09-13 | computer program and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020091577A JP7356662B2 (en) | 2020-05-26 | 2020-05-26 | computer program and method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023148005A Division JP2023175784A (en) | 2020-05-26 | 2023-09-13 | computer program and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021189544A true JP2021189544A (en) | 2021-12-13 |
| JP7356662B2 JP7356662B2 (en) | 2023-10-05 |
Family
ID=78848478
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020091577A Active JP7356662B2 (en) | 2020-05-26 | 2020-05-26 | computer program and method |
| JP2023148005A Pending JP2023175784A (en) | 2020-05-26 | 2023-09-13 | computer program and method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023148005A Pending JP2023175784A (en) | 2020-05-26 | 2023-09-13 | computer program and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7356662B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018094326A (en) * | 2016-12-16 | 2018-06-21 | 株式会社バンダイナムコエンターテインメント | Event control system, and event notification system and program |
| JP6511217B1 (en) * | 2018-11-21 | 2019-05-15 | 株式会社 ディー・エヌ・エー | System, method, and program for delivering live video |
| JP2019071959A (en) * | 2017-10-12 | 2019-05-16 | 株式会社バンダイナムコエンターテインメント | Content distribution system and computer system |
| JP2020017244A (en) * | 2018-07-25 | 2020-01-30 | 株式会社バーチャルキャスト | Server, method, program, and dynamic image broadcasting system |
| JP6644928B1 (en) * | 2019-03-29 | 2020-02-12 | 株式会社ドワンゴ | Distribution server, viewer terminal, distributor terminal, distribution method, information processing method and program |
| JP6668549B1 (en) * | 2019-09-25 | 2020-03-18 | グリー株式会社 | Information processing system, information processing method, and computer program |
| JP2020044136A (en) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | Viewing program, distribution program, method for executing viewing program, method for executing distribution program, information processing device, and information processing system |
-
2020
- 2020-05-26 JP JP2020091577A patent/JP7356662B2/en active Active
-
2023
- 2023-09-13 JP JP2023148005A patent/JP2023175784A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018094326A (en) * | 2016-12-16 | 2018-06-21 | 株式会社バンダイナムコエンターテインメント | Event control system, and event notification system and program |
| JP2019071959A (en) * | 2017-10-12 | 2019-05-16 | 株式会社バンダイナムコエンターテインメント | Content distribution system and computer system |
| JP2020017244A (en) * | 2018-07-25 | 2020-01-30 | 株式会社バーチャルキャスト | Server, method, program, and dynamic image broadcasting system |
| JP2020044136A (en) * | 2018-09-19 | 2020-03-26 | 株式会社コロプラ | Viewing program, distribution program, method for executing viewing program, method for executing distribution program, information processing device, and information processing system |
| JP6511217B1 (en) * | 2018-11-21 | 2019-05-15 | 株式会社 ディー・エヌ・エー | System, method, and program for delivering live video |
| JP6644928B1 (en) * | 2019-03-29 | 2020-02-12 | 株式会社ドワンゴ | Distribution server, viewer terminal, distributor terminal, distribution method, information processing method and program |
| JP6668549B1 (en) * | 2019-09-25 | 2020-03-18 | グリー株式会社 | Information processing system, information processing method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023175784A (en) | 2023-12-12 |
| JP7356662B2 (en) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11861059B2 (en) | System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings | |
| EP3760287B1 (en) | Method and device for generating video frames | |
| JP6022953B2 (en) | Avatar service system and method for providing avatar in service provided in mobile environment | |
| WO2020138107A1 (en) | Video streaming system, video streaming method, and video streaming program for live streaming of video including animation of character object generated on basis of motion of streaming user | |
| JP6945375B2 (en) | Image generator and program | |
| JP2013156986A (en) | Avatar service system and method provided through wired or wireless web | |
| JP7098676B2 (en) | Video application program, video object drawing method, video distribution system, video distribution server and video distribution method | |
| KR20210028198A (en) | Avatar animation | |
| KR20230148239A (en) | Robust facial animation from video using neural networks | |
| JP7479618B2 (en) | Information processing program, information processing method, and information processing device | |
| JP2023169282A (en) | Computer program, server device, terminal device, and method | |
| JP2022095651A (en) | Computer program, server device, terminal device and method | |
| JP7364702B2 (en) | Animated face using texture manipulation | |
| KR102079321B1 (en) | System and method for avatar service through cable and wireless web | |
| US20230199420A1 (en) | Real-world room acoustics, and rendering virtual objects into a room that produce virtual acoustics based on real world objects in the room | |
| JP2021189544A (en) | Computer program, and method | |
| JP7329217B2 (en) | Computer program, server device, terminal device, and method | |
| JP7398655B2 (en) | Computer program, server device, terminal device, and method | |
| JP7250721B2 (en) | Computer program, server device, terminal device, and method | |
| JP7368524B2 (en) | Video distribution system, video distribution method, and video distribution program | |
| WO2020235346A1 (en) | Computer program, server device, terminal device, system, and method | |
| JP2023002032A (en) | Display control device, display control method, and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210929 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221027 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230912 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7356662 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |