JP2021149753A

JP2021149753A - Computer program, server device, terminal device, and method

Info

Publication number: JP2021149753A
Application number: JP2020050781A
Authority: JP
Inventors: 匡志渡邊; Masashi Watanabe; 智紀森田; Tomonori Morita; 素貴内田; Motoki Uchida
Original assignee: GREE Inc
Current assignee: GREE Inc
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2021-09-27
Anticipated expiration: 2040-03-23
Also published as: JP2022095652A; JP7250721B2

Abstract

To provide a computer program, a server device, a terminal device, and a method, which enable performance of an avatar object played by a distributor.SOLUTION: In a method, information in which one of a first mode or a second mode is selected is acquired. When the first mode is selected, distributed video is received and the received video data is displayed. When the second mode is selected, at least information related to a motion which can express the movement of an avatar object by being synthesized with information related to the avatar object related to a distributor terminal and information related to a gift given from a viewer terminal for viewing an animation expressing the movement of the avatar object as information required for generation of the animation, and sound are received. The animation is generated using the information required for the generation of the animation, and the animation is displayed.SELECTED DRAWING: Figure 8

Description

本件出願に開示された技術は、コンピュータプログラム、サーバ装置、端末装置及び方法に関する。 The techniques disclosed in this application relate to computer programs, server devices, terminal devices and methods.

近年、配信者がアバターオブジェクトとして仮想空間内で演じる、ゲーム、アニメーション、動画などがある。かかる仮想空間においては、配信者の演じるアバターオブジェクトを、仮想空間内の映像として、配信していた。 In recent years, there are games, animations, videos, etc. that the distributor plays as an avatar object in the virtual space. In such a virtual space, the avatar object played by the distributor was distributed as an image in the virtual space.

特開２０１８−７４２９４号公報JP-A-2018-74294 特開２０１９−３７５４９号公報JP-A-2019-37549 特開２００２−２７１６９３号公報JP-A-2002-271693 特許第６５４３４０３号公報Japanese Patent No. 6543403

特許文献１に記載された技術は、背景と３ＤＣＧ空間の映像を合成するものである。また、特許文献２に記載された技術は、プレイヤと参加者とが交流するものである。また、特許文献３に記載された技術は、実写画像と仮想画像とを合成するものである。また、特許文献４に記載された技術は、動画配信に係るものである。 The technique described in Patent Document 1 synthesizes a background and an image in 3DCG space. Further, the technique described in Patent Document 2 is for the player and the participant to interact with each other. Further, the technique described in Patent Document 3 synthesizes a live-action image and a virtual image. Further, the technique described in Patent Document 4 relates to video distribution.

なお、上記特許文献１乃至４は、引用によりその全体が本明細書に組み入れられる。 The above-mentioned Patent Documents 1 to 4 are incorporated herein by reference in their entirety.

本件出願において開示された幾つかの実施形態は、配信者の演じるアバターオブジェクトの演出が可能な、コンピュータプログラム、サーバ装置、端末装置、及び方法を提供する。 Some embodiments disclosed in this application provide computer programs, server devices, terminal devices, and methods capable of producing an avatar object played by a distributor.

一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。 The computer program according to one aspect is executed by a processor.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Receive the delivered video and
Display the received video data and display
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Received
Generate an animation using the information required to generate the animation,
It displays the animation.

また、他の一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。 In addition, the computer program according to the other aspect is executed by the processor.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and
With sound
Is to send.

また、他の一態様に係るコンピュータプログラムは、プロセッサにより実行されることにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。 In addition, the computer program according to the other aspect is executed by the processor.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Is to send.

一態様に係るサーバ装置は、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、
ものである。 The server device according to one embodiment includes a processor, which executes a computer-readable instruction.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
To send,
It is a thing.

また、一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。 Further, the method according to one aspect is a method executed by a processor that executes a computer-readable instruction, and the processor executes the instruction.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Receive the delivered video and
Display the received video data and display
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Received
Generate an animation using the information required to generate the animation,
It displays the animation.

また、他の一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を送信する、ものである。 Further, the method according to another aspect is a method executed by a processor that executes a computer-readable instruction, and the processor executes the instruction.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Is to send.

また、他の一態様に係る方法は、コンピュータにより読み取り可能な命令を実行するプロセッサにより実行される方法であって、前記プロセッサが、前記命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。 Further, the method according to another aspect is a method executed by a processor that executes a computer-readable instruction, and the processor executes the instruction.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and
With sound
Is to send.

一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
配信された映像を受信し、
前記受信された映像データを表示し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、
前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、
音と、
を受信し、
前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、
前記アニメーションを表示する、ものである。 The terminal device according to one aspect includes a processor by being executed by a processor, and the processor executes an instruction readable by a computer.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Receive the delivered video and
Display the received video data and display
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Received
Generate an animation using the information required to generate the animation,
It displays the animation.

他の一態様に係る端末装置は、プロセッサにより実行されることにより、プロセッサを具備し、前記プロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、
前記第１のモードが選択された場合は、
映像を送信し、
前記第２のモードが選択された場合は、
アニメーションの生成に必要な情報として、少なくとも、
配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、及び、
音と、
を送信する、ものである。 The terminal device according to the other aspect includes a processor by being executed by the processor, and the processor executes an instruction readable by the computer.
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and
With sound
Is to send.

図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。FIG. 1 is a block diagram showing an example of a system configuration according to an embodiment. 図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である。FIG. 2 is a block diagram schematically showing an example of the hardware configuration of the server device 20 (terminal device 30) shown in FIG. 図３は、一実施形態に係るシステムの機能の一例を模式的に示すブロック図である。FIG. 3 is a block diagram schematically showing an example of the function of the system according to the embodiment. 図４は、一実施形態に係るシステムが有するデータの一例である。FIG. 4 is an example of data possessed by the system according to the embodiment. 図５は、一実施形態に係るシステムの構成の一例を示すブロック図である。FIG. 5 is a block diagram showing an example of the configuration of the system according to the embodiment. 図６は、一実施形態に係るシステムが処理するフローの一例である。FIG. 6 is an example of a flow processed by the system according to the embodiment. 図７は、一実施形態に係るシステムが処理するフローの一例である。FIG. 7 is an example of a flow processed by the system according to the embodiment. 図８は、一実施形態に係るシステムが処理するフローの一例である。FIG. 8 is an example of a flow processed by the system according to the embodiment.

以下、添付図面を参照して本発明の様々な実施形態を説明する。或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面は、本願発明の一実施形態を開示するものではあるものの、必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。また、本願書類において、アプリケーションという用語が示す対象は、ソフトウェア、又はプログラムと呼ばれるものであってよく、コンピュータに対する指令であって、結果を得ることができるように組み合わされたものであればよい。 Hereinafter, various embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the components represented in one drawing may be omitted in another for convenience of explanation. Furthermore, it should be noted that although the attached drawings disclose one embodiment of the present invention, they are not necessarily described on an exact scale. Further, in the documents of the present application, the object indicated by the term application may be what is called software or a program, and may be a command to a computer, which may be combined so as to obtain a result.

１．システムの例
図１は、一実施形態に係るシステムの構成の一例を示すブロック図である。図１に示すように、システム１は、通信網１０に接続される１又はそれ以上のサーバ装置２０と、通信網１０に接続される１又はそれ以上の端末装置３０と、を含んでよい。なお、図１には、サーバ装置２０の例として、３つのサーバ装置２０Ａ〜２０Ｃが例示され、端末装置３０の例として、３つの端末装置３０Ａ〜３０Ｃが例示されているが、サーバ装置２０として、これら以外の１又はそれ以上のサーバ装置２０が通信網１０に接続され得るし、端末装置３０として、これら以外の１又はそれ以上の端末装置３０が通信網１０に接続され得る。なお、本出願書類において、システムという用語を、サーバと端末装置の両方を含む場合もあれば、サーバのみ、又は、端末装置のみ、を示す用語としても用いる。すなわち、システムは、サ―バのみ、端末装置のみ、サーバ及び端末装置の両方、のいずれの態様であってもよい。 1. 1. Example of a system FIG. 1 is a block diagram showing an example of a system configuration according to an embodiment. As shown in FIG. 1, the system 1 may include one or more server devices 20 connected to the communication network 10 and one or more terminal devices 30 connected to the communication network 10. In FIG. 1, three server devices 20A to 20C are exemplified as an example of the server device 20, and three terminal devices 30A to 30C are exemplified as an example of the terminal device 30, but the server device 20 is used. , One or more server devices 20 other than these can be connected to the communication network 10, and one or more terminal devices 30 other than these can be connected to the communication network 10 as the terminal device 30. In this application document, the term system may be used to indicate both a server and a terminal device, a server only, or a terminal device only. That is, the system may be in any mode of server only, terminal device only, and both server and terminal device.

また、システムは、クラウド上の情報処理装置であってもよい。また、システムは、仮想的な情報処理装置を構成するものであって、論理的に一の情報処理装置と構成されるものであってもよい。また、システムの所有者と管理者は異なってもよい。 Further, the system may be an information processing device on the cloud. Further, the system constitutes a virtual information processing device, and may be logically configured as one information processing device. Also, the owner and administrator of the system may be different.

通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット、イーサネット（登録商標）、及び／又はこれらの組み合わせ等であってよく、また、これらに限定されない。通信網１０においては、本願書類で開示された種々のデータが通信されてよい。 The communication network 10 may be, and is not limited to, a mobile phone network, a wireless LAN, a fixed telephone network, the Internet, an intranet, an Ethernet (registered trademark), and / or a combination thereof. In the communication network 10, various data disclosed in the documents of the present application may be communicated.

サーバ装置２０は、インストールされた特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等を実行できてよい。 The server device 20 acquires information in which either the first mode or the second mode is selected by executing the installed specific application, and the first mode is selected. In that case, the video is transmitted, and when the second mode is selected, the avatar is combined with at least the information related to the avatar object related to the distributor terminal as the information necessary for generating the animation. An operation of transmitting information related to a motion capable of expressing the movement of an object, information related to a gift given from a viewer terminal viewing an animation expressing the movement of the avatar object, and a sound, etc. May be able to execute.

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、配信された映像を受信し、前記受信された映像データを表示し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を受信し、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、前記アニメーションを表示する、という動作などを実行できてよい。 Alternatively, the terminal device 30 acquires information in which either the first mode or the second mode is selected by executing the installed web browser or a specific application, and the first mode is described. When the mode of is selected, the delivered video is received, the received video data is displayed, and when the second mode is selected, at least as information necessary for generating the animation, at least By being combined with the information related to the avatar object related to the distributor terminal, the information related to the motion capable of expressing the movement of the avatar object and the animation expressing the movement of the avatar object are given from the viewer terminal. It may be possible to perform an operation of receiving the information related to the gift and the sound, generating an animation using the information necessary for generating the animation, and displaying the animation.

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等を実行できてよい。 Alternatively, the terminal device 30 acquires information in which either the first mode or the second mode is selected by executing the installed web browser or a specific application, and the first mode is described. When the mode of is selected, the video is transmitted, and when the second mode is selected, at least the information related to the avatar object related to the distributor terminal is combined with the information necessary for generating the animation. By doing so, the information related to the motion capable of expressing the movement of the avatar object, the information related to the gift given from the viewer terminal for viewing the animation expressing the movement of the avatar object, and the sound can be obtained. It may be possible to execute an operation such as transmitting.

端末装置３０は、このような動作を実行することができる任意の端末装置であって、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等であってよく、これらに限定されない。 The terminal device 30 is any terminal device capable of performing such an operation, and may be, but is not limited to, a smartphone, a tablet, a mobile phone (feature phone), and / or a personal computer.

２．各装置のハードウェア構成
次に、サーバ装置２０が有するハードウェア構成の一例について説明する。 2. Hardware Configuration of Each Device Next, an example of the hardware configuration of the server device 20 will be described.

２−１．サーバ装置２０のハードウェア構成
サーバ装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示したサーバ装置２０（端末装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各端末装置３０に関連して記載されたものである。） 2-1. Hardware Configuration of Server Device 20 A hardware configuration example of the server device 20 will be described with reference to FIG. FIG. 2 is a block diagram schematically showing an example of the hardware configuration of the server device 20 (terminal device 30) shown in FIG. 1. (Note that reference numerals in parentheses in FIG. 2 are as described later. It is described in relation to each terminal device 30.)

図２に示すように、サーバ装置２０は、主に、演算装置２１と、主記憶装置２２と、入出力インタフェイス装置２３を備えることができる。サーバ装置２０は、更に、入力装置２４と、補助出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されていてよい。 As shown in FIG. 2, the server device 20 can mainly include an arithmetic unit 21, a main storage device 22, and an input / output interface device 23. The server device 20 can further include an input device 24 and an auxiliary output device 26. These devices may be connected by a data bus and / or a control bus.

演算装置２１は、主記憶装置２２に記憶されている命令及びデータを用いて演算を行い、その演算の結果を主記憶装置２２に記憶させるものである。さらに、演算装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。サーバ装置２０は、１以上の演算装置２１を含んでよい。演算装置２１は、１又はそれ以上の、中央処理装置（ＣＰＵ）、マイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含んでよい。 The arithmetic unit 21 performs an calculation using the instructions and data stored in the main storage device 22, and stores the result of the calculation in the main storage device 22. Further, the arithmetic unit 21 can control the input device 24, the auxiliary storage device 25, the output device 26, and the like via the input / output interface device 23. The server device 20 may include one or more arithmetic units 21. The arithmetic unit 21 may include one or more central processing units (CPUs), microprocessors, and / or graphics processing units (GPUs).

主記憶装置２２は、記憶機能を有し、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置２０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、演算装置２１の演算結果を記憶するものである。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。 The main storage device 22 has a storage function, and commands and data received from the input device 24, the auxiliary storage device 25, the communication network 10 and the like (server device 20 and the like) via the input / output interface device 23, and It stores the calculation result of the calculation device 21. The main storage device 22 can include RAM (random access memory), ROM (read-only memory) and / or flash memory without limitation.

補助記憶装置２５は、記憶装置である。上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶してよく、演算装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）は入出力インタフェイス装置２３を介して主記憶装置２２にロードされてよい。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置、ファイルサーバ等であってよく、これらに限定されない。 The auxiliary storage device 25 is a storage device. Instructions and data (computer programs) constituting the specific application, web browser, etc. may be stored, and these instructions and data (computer programs) can be stored in the input / output interface device 23 by being controlled by the arithmetic unit 21. It may be loaded into the main storage device 22 via. The auxiliary storage device 25 may be a magnetic disk device and / or an optical disk device, a file server, or the like, and is not limited thereto.

入力装置２４は、外部からデータを取り込む装置であり、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ等であってよい。 The input device 24 is a device that takes in data from the outside, and may be a touch panel, a button, a keyboard, a mouse and / or a sensor or the like.

出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができてよい。また、入力装置２４と出力装置２６とが一体化されたものであってもよい。 The output device 26 may include, but is not limited to, a display device, a touch panel, and / or a printer device. Further, the input device 24 and the output device 26 may be integrated.

このようなハードウェア構成にあっては、演算装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御し、或いはまた、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置２０及び他の端末装置３０等）との間で様々な情報の送受信を行うことができてよい。 In such a hardware configuration, the arithmetic unit 21 sequentially loads the instructions and data (computer programs) that constitute a specific application stored in the auxiliary storage device 25 into the main storage device 22, and the loaded instructions. And by computing the data, the output device 26 is controlled via the input / output interface device 23, or another device (for example, the server device 20 and the server device 20 and) via the input / output interface device 23 and the communication network 10. Various information may be transmitted / received to / from other terminal devices (30, etc.).

サーバ装置２０がかかる構成を備え、インストールされた特定のアプリケーションを実行することにより、以下で定義される、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、かかる動作等は、ユーザーが、入力装置２４又は後述する端末装置３０に係る入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置２１上で実行されている場合にはユーザーの利用するシステムとしてのサーバ装置２０の出力装置２６によって表示されてよく、又はユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示させる構成であってよい。なお、サーバ装置について、本願書類において、管理サーバということもある。 The server device 20 has such a configuration, and by executing a specific installed application, the information in which either the first mode or the second mode defined below is selected is acquired. When the first mode is selected, the video is transmitted, and when the second mode is selected, at least the avatar object related to the distributor terminal is related as the information necessary for generating the animation. Information related to motion that can express the movement of the avatar object by being combined with the information, information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and It may be possible to perform part or all of the operation of transmitting a sound and the like (including various operations described in detail later). Further, such an operation or the like may be performed by the user giving an instruction to the system of the example of the invention disclosed in the documents of the present application by using the input device 24 or the input device 34 according to the terminal device 30 described later. Further, when the program is executed on the arithmetic device 21, it may be displayed by the output device 26 of the server device 20 as the system used by the user, or the output device of the terminal device 30 as the system used by the user. It may be configured to be displayed on 36. The server device may be referred to as a management server in the documents of the present application.

２−２．端末装置３０のハードウェア構成
端末装置３０のハードウェア構成例について同じく図２を参照して説明する。各端末装置３０のハードウェア構成としては、例えば、上述した各サーバ装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各端末装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。 2-2. Hardware Configuration of Terminal Device 30 A hardware configuration example of the terminal device 30 will be described with reference to FIG. As the hardware configuration of each terminal device 30, for example, the same hardware configuration as that of each server device 20 described above can be used. Therefore, reference numerals for the components of each terminal device 30 are shown in parentheses in FIG.

図２に示すように、各端末装置３０は、主に、演算装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。 As shown in FIG. 2, each terminal device 30 mainly includes an arithmetic unit 31, a main storage device 32, an input / output interface device 33, an input device 34, an auxiliary storage device 35, and an output device 36. , Can be included. These devices are connected by a data bus and / or a control bus.

演算装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各サーバ装置２０に含まれる、演算装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一であってもよいし、異なるものであってもよい。また、演算装置や記憶装置の容量や能力は、異なっていてよい。特に入力装置３４及び出力装置３６については、以下で詳述する。 The arithmetic device 31, the main storage device 32, the input / output interface device 33, the input device 34, the auxiliary storage device 35, and the output device 36 are included in each of the server devices 20 described above, respectively. , The input / output interface device 23, the input device 24, the auxiliary storage device 25, and the output device 26 may be substantially the same as or different from each other. Further, the capacities and capacities of the arithmetic unit and the storage device may be different. In particular, the input device 34 and the output device 36 will be described in detail below.

このようなハードウェア構成にあっては、演算装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードし、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御し、或いはまた、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各サーバ装置２０等）との間で様々な情報の送受信を行うことができる。 In such a hardware configuration, the arithmetic unit 31 sequentially loads the instructions and data (computer programs) that constitute a specific application stored in the auxiliary storage device 35 into the main storage device 32, and the loaded instructions. And by calculating data, the output device 36 is controlled via the input / output interface device 33, or another device (for example, each server device 20) is controlled via the input / output interface device 33 and the communication network 10. Etc.), and various information can be sent and received.

端末装置３０がかかる構成を備え、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、配信された映像を受信し、前記受信された映像データを表示し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を受信し、前記アニメーションの生成に必要な情報を用いてアニメーションを生成し、前記アニメーションを表示する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。 The terminal device 30 has such a configuration, and by executing an installed web browser or a specific application, information in which either the first mode or the second mode is selected is acquired, and the above-mentioned first mode is obtained. When the mode 1 is selected, the delivered video is received, the received video data is displayed, and when the second mode is selected, at least as information necessary for generating the animation. , Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and an animation expressing the movement of the avatar object are given from the viewer terminal. An operation of receiving information and a sound related to a gift to be performed, generating an animation using the information necessary for generating the animation, and displaying the animation (various operations described in detail later). It may be possible to carry out part or all of (including).

或いはまた、端末装置３０は、インストールされたウェブブラウザまたは特定のアプリケーションを実行することにより、第１のモード、又は、第２のモード、のいずれかが選択された情報を取得し、前記第１のモードが選択された場合は、映像を送信し、前記第２のモードが選択された場合は、アニメーションの生成に必要な情報として、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を送信する、という動作等（後に詳述する様々な動作を含む）の一部又は全部を実行できてよい。また、インストールされたウェブブラウザを実行することにより、サーバ装置２０からウェブページを受信及び表示して、同様の動作を実行できる。また、かかる動作等は、ユーザーが、入力装置３４を用いて、本願書類で開示する発明の一例のシステムに指示を与えることで動作されてよい。また、プログラムが演算装置３１上で実行されている場合にはユーザーの利用するシステムとしての端末装置３０の出力装置３６に表示する構成であってよい。 Alternatively, the terminal device 30 acquires information in which either the first mode or the second mode is selected by executing the installed web browser or a specific application, and the first mode is described. When the mode of is selected, the video is transmitted, and when the second mode is selected, at least the information related to the avatar object related to the distributor terminal is combined with the information necessary for generating the animation. By doing so, the information related to the motion capable of expressing the movement of the avatar object, the information related to the gift given from the viewer terminal for viewing the animation expressing the movement of the avatar object, and the sound can be obtained. It may be possible to perform part or all of the operation of transmitting (including various operations described in detail later). Further, by executing the installed web browser, a web page can be received and displayed from the server device 20 to execute the same operation. Further, such an operation or the like may be performed by the user using the input device 34 to give an instruction to the system of the example of the invention disclosed in the documents of the present application. Further, when the program is executed on the arithmetic unit 31, it may be configured to be displayed on the output device 36 of the terminal device 30 as the system used by the user.

端末装置は、本願書類において、「配信者端末」と「視聴者端末」の２種類の端末装置があってよい。これらは端末の役割に対して付与された名称であってよく、一の端末装置が、視聴者端末であることもあれば、配信者端末であることもあり、また、視聴者端末であると同時に配信者端末であってもよい。配信者端末は、配信されるものにアバターなどのキャラクターとして登場する者である配信者が利用する端末であってよい。他方、視聴者端末は、主に、配信されたものを視聴する者である視聴者が利用する端末であってよい。なお、視聴者も、アバターなどのキャラクターに対してギフトを提供するギフティング行為によって、配信されるものにギフトが登場するような形で、視聴者が配信されるものに一定の影響をあたえてもよい。同様に、視聴者は、音声、コメント、等の形で、配信されるものに、一定の影響を与えてよい。配信されるものは、映像であってもよいし、アニメーションであってもよく、これらの一部に配信者が演じるアバターなどのキャラクターが登場する者であればよい。なお、上述の説明は、本願発明の一実施形態が適用される例にすぎず、かかる前提のないキャラクターが登場する仮想空間においても、本願発明に係る各実施形態は適用されてよい。 As the terminal device, there may be two types of terminal devices, a "distributor terminal" and a "viewer terminal", in the documents of the present application. These may be names given to the role of the terminal, and one terminal device may be a viewer terminal or a distributor terminal, and may be a viewer terminal and simultaneously distributed. It may be a personal terminal. The distributor terminal may be a terminal used by a distributor who appears as a character such as an avatar in what is distributed. On the other hand, the viewer terminal may be a terminal mainly used by a viewer who is a viewer of what has been distributed. In addition, the viewer also gives a certain influence to what the viewer delivers by giving a gift to a character such as an avatar so that the gift appears in the delivered one. May be good. Similarly, the viewer may have a certain influence on what is delivered in the form of audio, comments, and the like. What is delivered may be a video or an animation, and may be a person in which a character such as an avatar played by the distributor appears in a part of them. The above description is merely an example in which one embodiment of the present invention is applied, and each embodiment of the present invention may be applied even in a virtual space in which a character without such a premise appears.

視聴者端末は、上述のように、音声の入力、コメントの入力、ギフティングなどが可能に構成されてよい。例えば、視聴者端末は、入力装置３４として、コメントを入力可能であり、テキスト情報たるコメントを取得可能なキーボード、タッチパネル、などを有してよい。また、視聴者端末は、演算装置３４により、一定のコメントを生成する機能を有してもよい。これらの取得されたコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。 As described above, the viewer terminal may be configured to be capable of voice input, comment input, gifting, and the like. For example, the viewer terminal may have a keyboard, a touch panel, or the like as the input device 34, which can input a comment and can acquire a comment which is text information. Further, the viewer terminal may have a function of generating a certain comment by the arithmetic unit 34. These acquired comments may be similarly transmitted to the communication network 10 via the input / output interface device 23.

なお、本願発明に係るコメントは、視聴者端末によって入力されるコメント以外に、システムが自動的に生成するものであってよい。かかるコメントは、視聴者端末に向けて送信され、視聴者端末において表示されてよい。 The comment according to the present invention may be automatically generated by the system in addition to the comment input by the viewer terminal. Such a comment may be transmitted to the viewer terminal and displayed on the viewer terminal.

また、視聴者端末は、入力装置３４として、音を取得可能なマイクを含んでよい。なお、人の音声は、入力装置３４としてのマイクによって取得され、音として扱ってもよいし、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、視聴者端末は、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。 Further, the viewer terminal may include a microphone capable of acquiring sound as the input device 34. The human voice may be acquired by the microphone as the input device 34 and treated as sound, or after being acquired by the microphone as the input device 34, it is converted into text by voice recognition by the arithmetic unit 31 and used as a comment. You may handle it. The viewer terminal may generate sound by the arithmetic unit 31. These acquired sounds or comments may be similarly transmitted to the communication network 10 via the input / output interface device 23.

他方、配信者端末は、入力装置３４として、人の動きを検知可能なモーションセンサーを含んでよい。モーションセンサーは、配信者の身体に装着し、身体の各部の動きを検知可能な機能を有してよい。身体の各部としては、頭部、顔面、上腕、前腕、手、大腿、下腿、足、体幹、など種々の箇所が挙げられうるが、これらの一部又は全部に限られず、身体の動きを検出可能な位置に装着できるものであってよい。モーションセンサーは、加速度センサー、ジャイロセンサー、地磁気センサーなどを有してよい。これらの取得された情報は、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。 On the other hand, the distributor terminal may include a motion sensor capable of detecting the movement of a person as the input device 34. The motion sensor may be attached to the body of the distributor and may have a function of detecting the movement of each part of the body. Each part of the body may include various parts such as the head, face, upper arm, forearm, hand, thigh, lower leg, leg, and trunk, but the movement of the body is not limited to a part or all of them. It may be mounted in a detectable position. The motion sensor may include an acceleration sensor, a gyro sensor, a geomagnetic sensor, and the like. The acquired information may be similarly transmitted to the communication network 10 via the input / output interface device 23.

また、配信者端末は、入力装置３４として、動画を撮像可能な撮像装置を含んでよい。撮像装置は、配信者の、頭、顔面、目、身体の一部、全身、などを撮像してよい。撮像装置が、頭や顔面を撮像する場合顔の方向を検知することが可能であり、顔面を撮像する場合表情を検知することが可能であり、目を撮像する場合視線を検知することが可能であり、身体の一部又は全身を撮像する場合上述のモーションセンサーと共に又は代えて身体の動きを検知することが可能であってよい。配信者端末は、これらのモーションに係る情報を、モーションセンサー又は動画から生成してよい。また、かかるモーションセンサー又は動画から、顔の回転に係る情報を生成してよい。顔の回転に係る情報は、顔方向を含んでよい。また、配信者端末は、動画から、顔の位置の情報を生成してよい。すなわち、配信者端末は、動画から、モーションに係る情報を生成してよく、かかるモーションに係る情報は、顔の表情に係る情報、及び／又は、顔の位置及び回転に係る情報を含んでよい。また、配信者端末は顔の表情を撮像可能な撮像装置を備えてよく、顔の表情を撮像した配信者端末は、かかる顔の動画画像から、表情を特定する複数に区分された情報の一又は複数を特定する情報を生成してよい。表情を特定する複数の区分は予め定められてよい。また、表情の特定は、眉毛の各位置、目、鼻、唇の輪郭などの顔の一部の動きが、所定の動きである場合に、予め定められた表情の一であると特定されるものであって良い。また、かかる表情を設定する情報は、配信者に対して、パラメータなどがキャリブレーションによって設定されたものを用いて、設定されてよい。また、配信者端末は、これらの撮像情報に基づいた、モーションに係る情報を、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。また、配信者端末も、入力装置３４として、音を取得可能なマイクを含んでよく、配信者が演じる際の音声を取得してよい。なお、入力装置３４としてのマイクによって取得された後、演算装置３１による音声認識によりテキスト化して、コメントとして扱ってもよい。なお、配信者端末も、演算装置３１によって音を生成してもよい。これらの取得された音又はコメントは、同様に、入出力インタフェイス装置２３を介して、通信網１０へ送信されてよい。 Further, the distributor terminal may include an image pickup device capable of capturing a moving image as the input device 34. The imaging device may image the distributor's head, face, eyes, body part, whole body, and the like. When the imaging device images the head or face, it can detect the direction of the face, when it images the face, it can detect the facial expression, and when it images the eyes, it can detect the line of sight. Therefore, when imaging a part or the whole body of the body, it may be possible to detect the movement of the body together with or in place of the above-mentioned motion sensor. The distributor terminal may generate information related to these motions from a motion sensor or a moving image. In addition, information related to the rotation of the face may be generated from the motion sensor or the moving image. The information related to the rotation of the face may include the face direction. In addition, the distributor terminal may generate information on the position of the face from the moving image. That is, the distributor terminal may generate information related to the motion from the moving image, and the information related to the motion may include information related to the facial expression and / or information related to the position and rotation of the face. .. Further, the distributor terminal may be provided with an image pickup device capable of capturing a facial expression, and the distributor terminal that captures the facial expression is one of a plurality of divided information for specifying the facial expression from the moving image of the face. Alternatively, information that identifies a plurality of items may be generated. A plurality of divisions for specifying facial expressions may be predetermined. Further, the facial expression is specified to be one of the predetermined facial expressions when the movement of a part of the face such as each position of the eyebrows, the contour of the eyes, the nose, and the lips is a predetermined movement. It can be a thing. Further, the information for setting such a facial expression may be set for the distributor by using the information whose parameters and the like are set by calibration. In addition, the distributor terminal may transmit information related to motion based on these imaging information to the communication network 10 via the input / output interface device 23. Further, the distributor terminal may also include a microphone capable of acquiring sound as the input device 34, and may acquire the sound when the distributor plays. After being acquired by the microphone as the input device 34, it may be converted into text by voice recognition by the arithmetic unit 31 and treated as a comment. The distributor terminal may also generate sound by the arithmetic unit 31. These acquired sounds or comments may be similarly transmitted to the communication network 10 via the input / output interface device 23.

また、視聴者端末及び配信者端末における出力装置３６は、表示装置、音発生装置であってよい。表示装置は、表示可能な機能であれば種々の装置であってよく、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、マイクロＬＥＤディスプレイ、ヘッドマウントディスプレイなどが挙げられるが、これらに限らず種々の装置であってよい。音発生装置は、スピーカー、ヘッドフォン、イヤホンなどであってよい。出力装置３６で出力される情報は、演算装置３１において生成された情報であってもよいし、通信網１０から受信した情報であってもよい。 Further, the output device 36 in the viewer terminal and the distributor terminal may be a display device or a sound generator. The display device may be various devices as long as it has a displayable function, and examples thereof include a liquid crystal display, a plasma display, an organic EL display, a micro LED display, and a head-mounted display, but the display device is not limited to these. It may be a device. The sound generator may be a speaker, headphones, earphones, or the like. The information output by the output device 36 may be the information generated by the arithmetic unit 31 or the information received from the communication network 10.

３．各装置の機能
次に、本願発明に係るシステムの機能の一例について、図３を参考に、説明する。図３は、図１に示したシステムの機能の一例を模式的に示すブロック図である。図３に示すように、一例のシステムは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、の一部又は全部を有してよい。例えば、配信者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を送信する送信部４２と、を有してよい。また、管理サーバは、配信者端末から送信された情報を受信する受信部４３を有してよい。また、視聴者端末は、第１モードと第２モードとのいずれかの選択された情報を取得する切替部４１と、少なくとも前記取得したモードに対応する情報を受信する受信部４３と、前記取得したモードが第２モードである場合にアニメーションを生成する生成部４４と、を有してよい。 3. 3. Functions of Each Device Next, an example of the functions of the system according to the present invention will be described with reference to FIG. FIG. 3 is a block diagram schematically showing an example of the function of the system shown in FIG. As shown in FIG. 3, in an example system, a switching unit 41 that acquires selected information of either a first mode or a second mode, and a transmitting unit that transmits at least information corresponding to the acquired mode. 42, at least a part or all of a receiving unit 43 that receives information corresponding to the acquired mode, and a generating unit 44 that generates an animation when the acquired mode is the second mode. good. For example, the distributor terminal has a switching unit 41 for acquiring selected information of either the first mode or the second mode, and a transmitting unit 42 for transmitting at least the information corresponding to the acquired mode. You can do it. Further, the management server has a switching unit 41 for acquiring the selected information of either the first mode or the second mode, and a transmission unit 42 for transmitting at least the information corresponding to the acquired mode. You can. Further, the management server may have a receiving unit 43 for receiving the information transmitted from the distributor terminal. Further, the viewer terminal has a switching unit 41 for acquiring selected information of either the first mode or the second mode, a receiving unit 43 for receiving at least the information corresponding to the acquired mode, and the acquisition. It may have a generation unit 44 that generates an animation when the mode is the second mode.

２．１．切替部４１
切替部４１は、視聴者端末への配信のモードの変更を管理する機能を有する。切替部４１は、第１のモードと、第２のモードと、を切り替える機能を有してよい。ここで、第１のモードは、配信者がアバターとして登場する映像に係り、かかる映像を配信するモード又はかかる配信された映像を受信して、表示するモードであってよい。他方、第２のモードは、配信者がアバターとして登場するアニメーションが生成されるモードに係り、かかるアニメーションの生成に必要な情報を生成するモード、又は、かかるアニメーションの生成に必要な情報を受信してかかるアニメーションの生成に必要な情報からアニメーションを生成し、表示するモードであってよい。第１のモードと第２のモードの切り替えが可能とされることにより、視聴に関連する状況に応じて、より適切な選択が可能となる利点がある。特に、第２のモードは、後述するとおり、視聴者端末においてアニメーションを生成することになることから、処理の分散が可能となる利点がある。なお、本願書類において、配信者端末に係るアバターオブジェクトとかかるアバターオブジェクトの動きを表現可能なモーションに係る情報とを合成することによって視聴者端末において生成されるアニメーションを、単に「アニメーション」ということもある。他方、かかるアバターオブジェクトを用いた映像を、配信者端末又は管理サーバにおいて生成した場合の映像を、単に「映像」ということもある。なお、切替部４１は他のモードを選択できる機能を有してよい。 2.1. Switching unit 41
The switching unit 41 has a function of managing the change of the distribution mode to the viewer terminal. The switching unit 41 may have a function of switching between the first mode and the second mode. Here, the first mode may be a mode in which the distributor is involved in the video appearing as an avatar and distributes the video or a mode in which the delivered video is received and displayed. On the other hand, the second mode is related to the mode in which the animation in which the distributor appears as an avatar is generated, and the mode in which the information necessary for generating such animation is generated, or the information necessary for generating such animation is received. It may be a mode in which an animation is generated and displayed from the information necessary for generating the animation. By making it possible to switch between the first mode and the second mode, there is an advantage that more appropriate selection can be made according to the situation related to viewing. In particular, the second mode has an advantage that the processing can be distributed because the animation is generated in the viewer terminal as described later. In the documents of the present application, the animation generated on the viewer terminal by synthesizing the avatar object related to the distributor terminal and the information related to the motion capable of expressing the movement of the avatar object may be simply referred to as "animation". be. On the other hand, the video when the video using the avatar object is generated by the distributor terminal or the management server may be simply referred to as "video". The switching unit 41 may have a function of selecting another mode.

切替部４１は、選択された、第１のモード又は第２のモードの情報を取得する機能を有してよい。切替部４１は、第１のモードが選択された場合は、映像を送信するよう設定、又は、映像を受信して映像を表示するよう設定、してよい。切替部４１は、第２のモードが選択された場合は、アニメーションの生成に必要な情報を生成、又は、かかるアニメーションの生成に必要な情報を受信してかかるアニメーションの生成に必要な情報からアニメーションを生成し表示してよい。 The switching unit 41 may have a function of acquiring information on the selected first mode or the second mode. When the first mode is selected, the switching unit 41 may be set to transmit an image, or may be set to receive an image and display the image. When the second mode is selected, the switching unit 41 generates information necessary for generating an animation, or receives information necessary for generating such an animation and animates from the information necessary for generating such an animation. May be generated and displayed.

切替部４１は、第１のモード又は第２のモードを、視聴者端末から取得してもよいし、配信者端末から取得してもよいし、かかる配信を管理するサーバ等から取得してもよい。また、第１のモード又は第２のモードの情報を、切替部４１が備わっている情報処理装置と同じ情報処理装置から取得してもよいし、切替部４１が備わっている情報処理装置と異なる情報処理装置から取得してもよい。なお、第１のモード又は第２のモードの選択の情報は、視聴者端末においては視聴者の選択によって取得してもよいし、配信者端末においては配信者の選択によって取得してもよいし、管理サーバにおいては管理者の選択によって取得してもよいし、視聴者端末・配信者端末・管理サーバのいずれにおいても自動的に選択がなされてもよい。自動的な選択は、例えば、前記視聴者端末に係る情報に基づいて生成された、前記アニメーションの生成に必要な情報を用いて、選択されてよい。例えば、前記アニメーションの生成に必要な情報を送信する対象となる視聴者端末の端末数を用いて、管理サーバは、前記アニメーションの生成に必要な情報を、視聴者端末に送信してもよい。より具体的には、管理サーバは、対象となるアニメーションを視聴する視聴者端末が、所定の数以下の場合、第２のモードを選択し、対象となるアニメーションを視聴する視聴者端末が、所定の数を超えている場合、第１のモードを選択してよい。これは、後述するアニメーションの生成の処理は、処理の分散が可能である一方、同期を取る必要があるため、接続されている視聴端末の数が一定の端末数以下の場合にのみ送信する場合に効率的に処理できるためである。なお、一の管理サーバが送信する視聴者端末の数が所定の数以上である場合、管理サーバは、接続された視聴者端末が１台目から所定の数までの視聴者端末に対してはアニメーションを生成するのに必要な情報を送信し、その他の所定の数を超える視聴者端末に対しては映像を送信してよい。かかる構成により、所定の数までの視聴者端末に対しては、分散処理が可能となる利点がある。 The switching unit 41 may acquire the first mode or the second mode from the viewer terminal, the distributor terminal, or the server or the like that manages the distribution. good. Further, the information of the first mode or the second mode may be acquired from the same information processing device as the information processing device provided with the switching unit 41, or different from the information processing device provided with the switching unit 41. It may be obtained from an information processing device. The information on the selection of the first mode or the second mode may be acquired by the viewer's selection on the viewer terminal, or may be acquired by the distributor's selection on the distributor terminal. , In the management server, it may be acquired by the selection of the administrator, or it may be automatically selected in any of the viewer terminal, the distributor terminal, and the management server. The automatic selection may be selected, for example, using the information necessary for generating the animation, which is generated based on the information related to the viewer terminal. For example, the management server may transmit the information necessary for generating the animation to the viewer terminal by using the number of terminals of the viewer terminal to be transmitted the information necessary for generating the animation. More specifically, when the number of viewer terminals for viewing the target animation is less than or equal to a predetermined number, the management server selects the second mode, and the viewer terminal for viewing the target animation is predetermined. If the number exceeds, the first mode may be selected. This is because the animation generation process described later can be distributed, but it is necessary to synchronize, so it is transmitted only when the number of connected viewing terminals is less than a certain number of terminals. This is because it can be processed efficiently. When the number of viewer terminals transmitted by one management server is equal to or greater than a predetermined number, the management server may connect the first to a predetermined number of viewer terminals to the viewer terminals. The information necessary for generating the animation may be transmitted, and the video may be transmitted to other viewer terminals exceeding a predetermined number. With such a configuration, there is an advantage that distributed processing can be performed for a predetermined number of viewer terminals.

また、視聴者端末に係る情報は、前記視聴者端末に係る通信のレイテンシ、前記視聴者端末に係るＣＰＵ、及び／又は、前記視聴者端末上で実行されているアプリケーション数を含んでよい。例えば、視聴者端末に係る通信のレイテンシが所定の量以下の場合、アニメーションの生成に必要な情報を送信し、視聴者端末に係る通信のレイテンシが所定の量を超えている場合、映像を送信してよい。レイテンシが所定の量以下の場合、視聴者端末においてアニメーションの生成に必要な情報が同期を取って受信できるためである。また、視聴者端末の有するCPUが所定の数以上の場合、アニメーションの生成に必要な情報を送信し、視聴者端末の有するCPUが所定の数未満の場合、映像を送信してよい。視聴者端末において分散処理の可能なCPUの数を有する視聴者端末である場合に、アニメーションの生成を視聴者端末において分散処理することが可能となる利点がある。また、視聴者端末上で実行されているアプリケーションの数が所定の数以下の場合、アニメーションの生成に必要な情報を送信し、視聴者端末上で実行されているアプリケーションの数が所定の数未満の場合、映像を送信してよい。視聴者端末において分散処理の可能な状態のアプリケーションの数が実行されている場合に、アニメーションの生成を視聴者端末において分散処理することが可能となる利点がある。 In addition, the information related to the viewer terminal may include the latency of communication related to the viewer terminal, the CPU related to the viewer terminal, and / or the number of applications executed on the viewer terminal. For example, if the latency of communication related to the viewer terminal is less than a predetermined amount, the information necessary for generating the animation is transmitted, and if the latency of communication related to the viewer terminal exceeds the predetermined amount, the video is transmitted. You can do it. This is because when the latency is less than or equal to a predetermined amount, the information necessary for generating the animation can be received in synchronization on the viewer terminal. Further, when the number of CPUs of the viewer terminal is more than a predetermined number, information necessary for generating an animation may be transmitted, and when the number of CPUs of the viewer terminal is less than a predetermined number, video may be transmitted. In the case of a viewer terminal having a number of CPUs capable of distributed processing in the viewer terminal, there is an advantage that animation generation can be distributed in the viewer terminal. If the number of applications running on the viewer terminal is less than or equal to the specified number, the information required to generate the animation is transmitted, and the number of applications running on the viewer terminal is less than the predetermined number. In the case of, the video may be transmitted. When the number of applications capable of distributed processing is executed on the viewer terminal, there is an advantage that the generation of animation can be distributed processed on the viewer terminal.

また、切替部４１は、配信者端末において機能してもよいし、管理サーバにおいて機能してもよいし、視聴者端末において機能してもよい。配信者端末又は管理サーバにおける切替部４１によって、通信の状況や、視聴者端末の状況に応じて、第１のモード又は第２のモードの選択や両方のモードによる映像とアニメーションの送信を、選択できる利点がある。例えば、視聴者端末においてアニメーションの生成の処理負担が大きい場合には、第１のモードを選択して映像の送信を行うよう処理可能である。 Further, the switching unit 41 may function in the distributor terminal, the management server, or the viewer terminal. The switching unit 41 in the distributor terminal or the management server selects the selection of the first mode or the second mode and the transmission of video and animation in both modes according to the communication status and the status of the viewer terminal. There are advantages that can be done. For example, when the processing load of animation generation is heavy on the viewer terminal, it is possible to select the first mode and transmit the video.

他方、視聴者端末において切替部４１が機能する場合、配信者端末や管理サーバからは、映像とアニメーションの生成のために必要な情報の両方が送信されている状況においても、視聴者端末でアニメーションを生成する方が、映像を受信して表示するよりも更にリアルタイムに表示が可能となる利点がある場合がある。なお、このように、視聴者端末においてアニメーションを生成する場合、配信者端末や管理者サーバから映像を配信する場合と比較して、より低遅延であり配信される映像の劣化程度が低くなり、より高画質になる利点がある。また、視聴者端末の機能が低い場合でも、アニメーションの生成ができる程度の機能を有する視聴者端末であれば、アニメーションの生成に必要な情報が通信できればアニメーションを生成できるため、映像と比較して、使用する通信量を低くできる利点がある。 On the other hand, when the switching unit 41 functions on the viewer terminal, the animation is performed on the viewer terminal even when both the video and the information necessary for generating the animation are transmitted from the distributor terminal and the management server. There may be an advantage that it is possible to display the image in real time rather than receiving and displaying the image. In this way, when the animation is generated on the viewer terminal, the delay is lower and the degree of deterioration of the delivered video is lower than when the video is delivered from the distributor terminal or the administrator server. It has the advantage of higher image quality. In addition, even if the function of the viewer terminal is low, if the viewer terminal has a function capable of generating an animation, the animation can be generated if the information necessary for generating the animation can be communicated. , There is an advantage that the amount of communication used can be reduced.

なお、配信者端末や管理サーバが、配信者端末に係るアバターオブジェクトに基づく映像の配信と、かかるアバターオブジェクトに基づくアニメーションの生成に必要な情報、の両方を送る場合、配信者端末又は管理サーバは、かかる映像とアニメーションの生成に必要な情報を記憶してよい。かかる記憶がされる場合、配信されたアニメーションについての監査がしやすい利点がある。すなわち、アニメーションの生成に必要な情報としてモーションに係る情報や音などがあるが、例えば、モーションに係る情報を用いて生成されたアニメーションにエラーが生じる場合、かかるモーションに係る情報と、対応する映像とが記憶されていることにより、かかるモーションに係る情報がどのような映像に対応するのかを理解することができ、今後のエラー対処やモーションに係る情報の処理についての情報を蓄積できる利点がある。このように、映像とアニメーションの生成に必要な情報の両方を送信する場合、アバターオブジェクトに基づく処理を運営する運営側にメリットがある。 When the distributor terminal or the management server sends both the distribution of the video based on the avatar object related to the distributor terminal and the information necessary for generating the animation based on the avatar object, the distributor terminal or the management server , The information required to generate such video and animation may be stored. When such a memory is stored, there is an advantage that it is easy to audit the delivered animation. That is, there is information related to motion and sound as information necessary for generating animation. For example, when an error occurs in an animation generated using information related to motion, the information related to such motion and the corresponding video By storing and, it is possible to understand what kind of image the information related to the motion corresponds to, and there is an advantage that information on future error handling and processing of information related to the motion can be accumulated. .. In this way, when transmitting both the information necessary for generating the video and the animation, there is a merit on the management side that operates the processing based on the avatar object.

また、配信者端末や管理サーバが、アニメーションの生成に必要な情報を記録し、配信する場合、結果として、生成されたアニメーションが視聴者端末において表示されて、評価されることで、評価に関連するアニメーションの生成に必要な情報を整理できる利点がある。例えば、配信者が、アバターオブジェクトによって特定の行為を行うことにより、配信者の評価が高まるなど評価に影響があった場合、かかる特定の行為に対応するモーションに係る情報や配信者に係る音などの、配信者の評価が上がるなどの評価に影響のある情報を蓄積できる利点がある。かかる評価に影響する情報の収集は、例えば、配信者端末又は管理サーバにおいて、特定の配信者のモーションに係る情報及び／又は配信者に係る音などのアニメーションの生成に必要な情報の送信と、前記アニメーションの生成に必要な情報が用いられて生成されたアニメーションに対する視聴者数の増加などのアニメーションに対する評価の影響と、の関係に基づく相関関係によって、アニメーションの評価に対応する配信者に係る行為を推定する機能を有してよい。 In addition, when the distributor terminal or the management server records and distributes the information necessary for generating the animation, as a result, the generated animation is displayed and evaluated on the viewer terminal, which is related to the evaluation. There is an advantage that the information necessary for generating the animation to be performed can be organized. For example, if the distributor performs a specific action with the avatar object, which affects the evaluation such as increasing the evaluation of the distributor, the information related to the motion corresponding to the specific action, the sound related to the distributor, etc. However, it has the advantage of being able to accumulate information that affects the evaluation, such as increasing the evaluation of the distributor. The collection of information that affects such evaluation includes, for example, transmission of information related to the motion of a specific distributor and / or information necessary for generating an animation such as a sound related to the distributor on the distributor terminal or management server. Actions related to the distributor corresponding to the evaluation of the animation by the correlation based on the relationship with the influence of the evaluation on the animation such as the increase in the number of viewers on the animation generated by using the information necessary for the generation of the animation. May have a function of estimating.

２．２．送信部４２
送信部４２は、映像の送信、又は、アニメーションの生成に必要な情報、を送信する機能を有する。送信の態様は、種々のものであってよく、その手法に制約はない。例えば、自発的に情報を送信してもよいし、一の情報の受信に対応する形式で受動的に他の情報を送信してもよい。また、他の情報処理装置からのアクセスに対応して情報を送信する態様であってもよい。 2.2. Transmitter 42
The transmission unit 42 has a function of transmitting video or information necessary for generating an animation. The mode of transmission may be various, and the method is not limited. For example, information may be transmitted voluntarily, or other information may be passively transmitted in a format corresponding to the reception of one piece of information. Further, the information may be transmitted in response to access from another information processing device.

送信部４２は、第１のモード、又は、第２のモード、の選択に応じて、対応する情報を送信してよい。すなわち、送信部４２は、切替部４１が第１のモードを取得した場合は、映像の送信を行い、切替部４１が第２のモードを取得した場合は、アニメーションの生成に必要な情報、を送信してよい。 The transmission unit 42 may transmit the corresponding information depending on the selection of the first mode or the second mode. That is, the transmission unit 42 transmits video when the switching unit 41 acquires the first mode, and when the switching unit 41 acquires the second mode, the information necessary for generating the animation. You may send it.

第１のモードの場合、送信部４２は、配信者端末が取得した情報に基づいて、映像の送信をしてよい。映像は、配信者端末において、配信者がアバターとして登場したもの、に基づいて生成されてよい。かかる映像は、一又は複数の配信者端末における配信者の挙動に基づいて、生成された映像であってよい。かかる映像は、一又は複数の配信者端末における各配信者端末から取得された情報に基づいて、管理サーバなどにおいて生成されたものでもよいし、一又は複数の配信者端末における各配信者端末において生成された映像に基づいて、管理サーバなどにおいて合成されて生成された映像でもよい。 In the first mode, the transmission unit 42 may transmit the video based on the information acquired by the distributor terminal. The video may be generated on the distributor terminal based on what the distributor appears as an avatar. Such a video may be a video generated based on the behavior of the distributor in one or more distributor terminals. Such a video may be generated by a management server or the like based on information acquired from each distributor terminal in one or more distributor terminals, or in each distributor terminal in one or more distributor terminals. The video may be synthesized and generated by a management server or the like based on the generated video.

第２のモードの場合、送信部４２は、配信者端末が取得した情報に基づいて、アニメーションの生成に必要な情報を、送信してよい。アニメーションの生成に必要な情報は、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を含んでよい。 In the second mode, the transmission unit 42 may transmit information necessary for generating the animation based on the information acquired by the distributor terminal. The information necessary for generating the animation is at least combined with the information related to the avatar object related to the distributor terminal to express the information related to the motion capable of expressing the movement of the avatar object and the movement of the avatar object. The information related to the gift given from the viewer terminal for viewing the animation and the sound may be included.

ギフトに係る情報は、ギフトの位置、及び／又は、表示されるギフトの回転角度を含んでよい。かかるギフトは、視聴者が、特定の配信者を特定する、又は、一定の場面に対して、提供できるものでよい。前者の場合、特定のアバターを特定する情報であってもよく、かかる情報に基づいてギフトの位置が特定されたものであってよい。これにより、特定の配信者に対するギフトであることが明確になる利点がある。また、ギフトは、回転することが可能である場合があり、回転可能なギフトの場合、ギフトに係る情報はギフトの回転角度を含んでよい。特に、ギフトに係る情報に基づくギフトが物理法則を用いて表示される場合、前記ギフトに係る情報は、前記ギフトが表示される位置、及び／又は、表示されるギフトの回転角度を含む、ものであってよい。物理法則は、アバターなどが、仮想空間上で動く場合において、適用される力学などの法則であってもよいが、仮想空間であることから一般的な物理法則に対して種々の省略や変形などが適用されてもよい。 The gift information may include the position of the gift and / or the rotation angle of the displayed gift. Such a gift may be one that the viewer can identify a specific distributor or provide for a certain scene. In the former case, it may be information that identifies a specific avatar, and the position of the gift may be specified based on such information. This has the advantage of making it clear that it is a gift for a particular distributor. Also, the gift may be rotatable, and in the case of a rotatable gift, the gift information may include the rotation angle of the gift. In particular, when a gift based on the gift information is displayed using the laws of physics, the gift information includes the position where the gift is displayed and / or the rotation angle of the displayed gift. May be. The laws of physics may be laws such as mechanics that are applied when an avatar or the like moves in a virtual space, but since it is a virtual space, various omissions and deformations are made with respect to general physical laws. May be applied.

ギフトに係る情報は、ギフトの種類を含んでよい。ギフトの種類は、種々のものであってよく、種類は限定されない。これは、視聴者から配信者に対し提供するものとして、種々の様々なギフトの態様が考えられるところであるが、本願発明に係る一実施形態は、かかるギフトの種類に限定されない。なお、特に、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記ギフトに係る情報は、前記ギフトの種類を含む、ものであってよい。また、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示される場合、前記ギフトに係る情報は、前記ギフトの種類のみである、ものであってよい。また、前記ギフトに係る情報に基づくギフトが疑似ランダム性を用いて表示処理される場合、前記ギフトに係る情報は、前記ギフトの種類と前記疑似ランダム性のシードを含む、ものであってよい。疑似ランダム性及び疑似ランダム性のシードは、後述する。 The gift information may include the type of gift. The type of gift may be various and is not limited. This is where various various gift modes can be considered as those provided from the viewer to the distributor, but one embodiment according to the present invention is not limited to the type of such gift. In particular, when a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift may include the type of the gift. Further, when a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift may be only the type of the gift. When a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift may include the type of the gift and the seed of the pseudo-randomness. Pseudo-randomness and seeds for pseudo-randomness will be described later.

なお、ギフトに係る情報は、視聴者端末に基づくものであるため、視聴者端末から直接送信されたものでもよいし、管理サーバなどを介して間接的に送信されるものであってもよい。 Since the information related to the gift is based on the viewer terminal, it may be directly transmitted from the viewer terminal or indirectly transmitted via the management server or the like.

音は、配信者端末に基づくものでもよいし、視聴者端末に基づくものでもよく、管理サーバを介してもよいし、介さなくてもよい。 The sound may be based on the distributor terminal, may be based on the viewer terminal, may or may not be via the management server.

また、送信部４２は、第２のモードにおいて、配信者が演じるアバターを特定する識別情報を特定する情報を、送信してよい。かかる識別情報を受信した側は、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータに対して、前記モーションに係る情報を適用する処理を行うことによって、かかる配信者が演じるアバターが、アニメーション内でも対応して演じるよう、処理が可能となる利点がある。 In addition, the transmission unit 42 may transmit information that identifies the identification information that identifies the avatar played by the distributor in the second mode. The side receiving the identification information performs a process of applying the information related to the motion to the model data corresponding to the received identification information among the 3D model data received in advance, so that the distributor There is an advantage that the avatar played by can be processed so that it can be played correspondingly in the animation.

送信部４２は、配信者端末、及び／又は、管理サーバ、において、機能してよい。 The transmission unit 42 may function in the distributor terminal and / or the management server.

２．３．受信部４３
受信部４３は、映像の受信、又は、アニメーションの生成に必要な情報、を受信する機能を有する。受信の態様は、種々のものであってよく、その手法に制約はない。例えば、送信された情報を受信するものでもよいし、他の情報処理装置に対して情報をアクセスし、そのアクセスに対応して送信された情報を受信するものでもよい。 2.3. Receiver 43
The receiving unit 43 has a function of receiving video or information necessary for generating an animation. The mode of reception may be various, and the method is not limited. For example, the transmitted information may be received, or the information may be accessed to another information processing device and the transmitted information may be received in response to the access.

受信部４３は、送信部４２と対応して、送信部４２が送信した情報を、対応して、受信してよい。すなわち、受信部４３は、第１のモード、又は、第２のモード、の選択に応じて、対応する情報を受信してよい。受信部４３は、切替部４１が第１のモードを取得した場合は、映像を受信し、切替部４１が第２のモードを取得した場合は、アニメーションの生成に必要な情報、を受信してよい。 The receiving unit 43 may receive the information transmitted by the transmitting unit 42 in correspondence with the transmitting unit 42. That is, the receiving unit 43 may receive the corresponding information according to the selection of the first mode or the second mode. The receiving unit 43 receives the video when the switching unit 41 acquires the first mode, and receives the information necessary for generating the animation when the switching unit 41 acquires the second mode. good.

第１のモードの場合、受信部４３は、映像の受信をしてよい。かかる映像は、一又は複数の配信者端末における配信者の挙動に基づいて、生成された映像であってよい。かかる映像は、一又は複数の配信者端末における各配信者端末から取得された情報に基づいて、管理サーバなどにおいて生成されたものでもよいし、一又は複数の配信者端末における各配信者端末において生成された映像に基づいて、管理サーバなどにおいて合成されて生成された映像でもよい。 In the first mode, the receiving unit 43 may receive the video. Such a video may be a video generated based on the behavior of the distributor in one or more distributor terminals. Such a video may be generated by a management server or the like based on information acquired from each distributor terminal in one or more distributor terminals, or in each distributor terminal in one or more distributor terminals. The video may be synthesized and generated by a management server or the like based on the generated video.

第２のモードの場合、受信部４３は、アニメーションの生成に必要な情報を、受信してよい。アニメーションの生成に必要な情報は、少なくとも、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、前記アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるギフトに係る情報と、及び、音と、を含んでよい。ギフトに係る情報、音、については、上述と同様であってよい。 In the second mode, the receiving unit 43 may receive information necessary for generating the animation. The information necessary for generating the animation is at least combined with the information related to the avatar object related to the distributor terminal to express the information related to the motion capable of expressing the movement of the avatar object and the movement of the avatar object. The information related to the gift given from the viewer terminal for viewing the animation and the sound may be included. Information and sounds related to gifts may be the same as described above.

受信部４３は、管理サーバ、又は、視聴者端末、において機能してよい。 The receiving unit 43 may function on the management server or the viewer terminal.

２．４．生成部４４
生成部４４は、受信したアニメーションの生成に必要な情報を用いて、アニメーションの生成をする機能を有する。生成部４４は、視聴者端末内において、機能してよい。 2.4. Generator 44
The generation unit 44 has a function of generating an animation by using the information necessary for generating the received animation. The generation unit 44 may function in the viewer terminal.

生成部４４は、上述のアニメーションの生成に必要な情報を用いて、アニメーションを生成する。生成部４４は、アニメーションの生成に必要な情報として取得した、アバターオブジェクトの動きを表現可能なモーションに係る情報と、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータと、を用いて、アバターオブジェクトの動きを表現し、アニメーションを生成してよい。すなわち、生成部４４は、配信者端末に係るアバターオブジェクトに係る情報と合成されることにより、前記アバターオブジェクトの動きを表現可能なモーションに係る情報と、予め受信している３Dモデルデータのうち、受信した識別情報に対応するモデルデータに対して、前記モーションに係る情報を適用する処理によって、アニメーションを生成してよい。 The generation unit 44 generates an animation by using the information necessary for generating the animation described above. The generation unit 44 includes information related to the motion capable of expressing the movement of the avatar object acquired as information necessary for generating the animation, and model data corresponding to the received identification information among the 3D model data received in advance. And, may be used to express the movement of the avatar object and generate an animation. That is, the generation unit 44 is among the information related to the motion capable of expressing the movement of the avatar object and the 3D model data received in advance by being combined with the information related to the avatar object related to the distributor terminal. An animation may be generated by a process of applying the information related to the motion to the model data corresponding to the received identification information.

また、生成部４４は、受信部４３が受信した音を用いて、アニメーションを生成してよい。音は、配信者端末から取得した、配信者が演じる音を含んでもよく、また、視聴者端末から取得した、視聴者がアバターオブジェクトの演出に対して提供した音を含んでもよい。いずれの音についても、視聴者端末において受信し、これらが用いられてアニメーションが生成されてよい。 In addition, the generation unit 44 may generate an animation using the sound received by the reception unit 43. The sound may include a sound acquired from the distributor terminal and played by the distributor, or may include a sound acquired from the viewer terminal and provided by the viewer for the production of the avatar object. Any sound may be received by the viewer terminal and used to generate an animation.

また、生成部４４は、受信した、ギフトに係る情報を用いて、アニメーションを生成してよい。ギフトは、視聴者が、一の配信者に係る一のアバターオブジェクト又は、複数の配信者に係る複数のアバターオブジェクトが演じる場面に対して、提供されるものであってよい。すなわち、ギフトに係る情報は、アバターオブジェクトの動きを表現するアニメーションを視聴する視聴者端末から付与されるものであってよい。 In addition, the generation unit 44 may generate an animation using the received information related to the gift. The gift may be provided to a scene in which the viewer plays one avatar object related to one distributor or a plurality of avatar objects related to a plurality of distributors. That is, the information related to the gift may be given from the viewer terminal for viewing the animation expressing the movement of the avatar object.

ギフトは、種々の態様のものであってよいが、アバターオブジェクトが演じてギフトが提供される仮想空間において、ギフトは、仮想空間内の物理法則が適用されて、演出されてよい。例えば、仮想空間内の物理法則としては、例えば、ニュートン力学があげられ、物が上から下に落ちたり、ある速度で動いている物が慣性運動をしたり、また、摩擦や抵抗によって物の移動の速度が減少する、などであってよい。そして、ギフトに係る情報に基づくギフトが物理法則を用いて表示される場合、前記ギフトに係る情報は、前記ギフトが表示される位置、及び／又は、表示されるギフトの回転角度を含むものであってよく、アニメーションの生成においては、かかるギフトに係る情報として、ギフトを、表示される位置から物理法則を用いてアニメーションを生成し、また、表示されるギフトが回転されるものである場合、その回転の最初の位置である回転角度が用いられて、アニメーションが生成されてよい。なお、ギフトに係る情報として、そのほか、ギフトのギフトが表示される位置、表示されるギフトの大きさ、ギフトの表示される上下左右方向等の向き、ギフトの移動の初速度、ギフトの移動の上下左右方向等の向き、ギフトの移動の加速度、などの一部又は全部を含んでよい。かかるギフトに係る情報が含まれることによって、ギフトを、配信者端末内において表現の種類を増加できてよい。 The gift may be of various aspects, but in the virtual space in which the avatar object plays and the gift is provided, the gift may be directed by applying the physical laws in the virtual space. For example, as a physical law in virtual space, for example, Newtonian mechanics can be mentioned, such as an object falling from top to bottom, an object moving at a certain speed undergoing inertial motion, or an object due to friction or resistance. The speed of movement may be reduced, and so on. When a gift based on the information related to the gift is displayed using the laws of physics, the information related to the gift includes the position where the gift is displayed and / or the rotation angle of the displayed gift. In the generation of animation, as information related to such a gift, if the gift is generated from the displayed position using the laws of physics, and the displayed gift is rotated. The rotation angle, which is the first position of the rotation, may be used to generate the animation. In addition, as information related to gifts, the position where the gift of the gift is displayed, the size of the gift to be displayed, the orientation of the gift to be displayed in the vertical and horizontal directions, the initial speed of the movement of the gift, and the movement of the gift It may include a part or all of the orientation such as the up / down / left / right direction and the acceleration of the movement of the gift. By including the information relating to such a gift, the kind of expression of the gift may be increased in the distributor terminal.

また、ギフトのアニメーションは、疑似ランダム性が用いられて、アニメーションが生成されてもよい。ここで、疑似ランダム性とは、真のランダム性が数学的に実現できないことから、計算機内の演出として真のランダムを模して演出するための性質を意味するものであり、真のランダム性を模した種々の関数を用いるものにより実現されるものであってよい。ギフトのアニメーションが疑似ランダム性を持つ場合、ギフトの演出において、ギフトのギフトが表示される位置、表示されるギフトの大きさ、ギフトの表示される上下左右方向等の向き、ギフトの移動の初速度、ギフトの移動の上下左右方向等の向き、ギフトの移動の加速度、などの一部又は全部が疑似ランダム性によって決定されてよい。かかる場合、配信者端末又は管理サーバから、視聴者端末に、これらの情報を細かく通信する必要がないため、通信の情報量が減少する利点がある。特に、ギフトの種類のみが、視聴者端末に対して通信されるため、通信量を減少できる利点がある。なお、疑似ランダム性を用いた場合、視聴者端末毎に異なるアニメーションを作成できる利点がある。また、疑似ランダム性のシードが、視聴者端末に送信される場合、疑似ランダム性にバリエーションを適用できる利点がある。上述の通り、数学的に真のランダム性を表現できないことから、同一の関数を使用し続けると、ランダム性のないアニメーションが繰り返し表示されることとなり、バラエティに欠けることがある。疑似ランダム性のシードを用いることにより、疑似ランダム性におけるランダム性が向上し、よりバラエティのあるアニメーションが可能になる利点がある。なお、シードは、ギフトの種類毎に、割り当てられるものであって良い。また、シード自体も、疑似ランダムな関数によって計算されたものであってもよい。かかる疑似ランダム性のシードは、管理サーバ又は配信者端末から、視聴者端末に送信され、疑似ランダム性の関数が適用される際の一のパラメータとして利用されてよい。 Further, as the gift animation, pseudo-randomness may be used to generate the animation. Here, pseudo-randomness means a property for imitating true randomness as an effect in a computer because true randomness cannot be mathematically realized, and is true randomness. It may be realized by using various functions imitating. If the gift animation has pseudo-randomness, in the gift production, the position where the gift is displayed, the size of the displayed gift, the orientation of the gift displayed in the vertical and horizontal directions, etc., the first movement of the gift Part or all of the speed, the vertical and horizontal directions of the movement of the gift, the acceleration of the movement of the gift, etc. may be determined by pseudo-randomness. In such a case, since it is not necessary to finely communicate these information from the distributor terminal or the management server to the viewer terminal, there is an advantage that the amount of communication information is reduced. In particular, since only the type of gift is communicated to the viewer terminal, there is an advantage that the amount of communication can be reduced. When pseudo-randomness is used, there is an advantage that different animations can be created for each viewer terminal. Further, when the seed of pseudo-randomness is transmitted to the viewer terminal, there is an advantage that the variation can be applied to the pseudo-randomness. As mentioned above, since true randomness cannot be expressed mathematically, if the same function is used continuously, animation without randomness will be displayed repeatedly, which may lack variety. By using the seed of pseudo-randomness, there is an advantage that the randomness in pseudo-randomness is improved and a wider variety of animations can be performed. The seed may be assigned to each type of gift. The seed itself may also be calculated by a pseudo-random function. The seed of the pseudo-randomness may be transmitted from the management server or the distributor terminal to the viewer terminal and used as one parameter when the function of the pseudo-randomness is applied.

なお、ギフトは、上述では、視聴者端末内において、物理法則がある場合について説明したが、視聴者端末内において物理法則がない場合であってもよい。この場合、ギフトの位置情報と回転情報が、配信者端末又は管理者サーバから伝達されることによって、いわば、物理法則が適用された結果としての、ギフトの位置情報と回転情報とを用いて、ギフトの描画を配信者端末においてしてもよい。この場合、配信者端末において、物理法則に関する処理を行う必要がない利点がある。 In addition, although the case where the gift has a physical law in the viewer terminal has been described above, the gift may be a case where there is no physical law in the viewer terminal. In this case, the position information and rotation information of the gift are transmitted from the distributor terminal or the administrator server, so to speak, the position information and rotation information of the gift as a result of applying the laws of physics are used. The drawing of the gift may be performed on the distributor terminal. In this case, there is an advantage that it is not necessary to perform processing related to the laws of physics in the distributor terminal.

なお、生成部４４は、受信したギフトに係る情報を所定の場合において、アニメーションの生成に使用しない、という処理としてもよいし、これに対応して、受信部４３は、所定の場合、ギフトに係る情報を受信しない、又は、送信部４２は、所定の場合に、ギフトに係る情報を送信しない、と処理してもよい。例えば、あるギフトの表示が３秒である場合において、残り０．１秒の段階でアニメーションの視聴を開始した視聴者端末ではかかるギフトの表示を行わない処理とする情報としてよい。これにより、描画の時間が所定時間以上残っていない場合は、実際に描画して演出する処理の意義が低いと考えられるためである。したがって、所定の場合としては、ギフトに係る情報におけるギフトの描画時間が、所定時間よりも短い場合、などであってよい。 In addition, the generation unit 44 may be a process of not using the received information related to the gift in the predetermined case for generating the animation, and in response to this, the reception unit 43 may be a gift in the predetermined case. The information may not be received, or the transmission unit 42 may process that the information related to the gift is not transmitted in a predetermined case. For example, when the display of a certain gift is 3 seconds, the information may be such that the viewer terminal that starts viewing the animation at the stage of 0.1 seconds remaining does not display the gift. As a result, when the drawing time does not remain for a predetermined time or more, it is considered that the process of actually drawing and producing is of low significance. Therefore, the predetermined case may be a case where the drawing time of the gift in the information related to the gift is shorter than the predetermined time.

アニメーションの生成に必要な情報は、サービスデータに係る情報、及び／又は、カメラワークに係る情報を含んでよい。生成部４４は、サービスデータに係る情報、及び／又は、カメラワークに係る情報を用いて、アニメーションを生成してよい。 The information required to generate the animation may include information related to service data and / or information related to camera work. The generation unit 44 may generate an animation by using the information related to the service data and / or the information related to the camera work.

サービスデータに係る情報は、配信者のコメント、視聴者のコメント、及び／又は、前記アニメーションの視聴者数、を含んでよい。配信者のコメントは、配信者が発するコメントであってよい。また、視聴者のコメントは、アニメーションを視聴する視聴者のコメントであってよい。 The information related to the service data may include a comment of the distributor, a comment of the viewer, and / or the number of viewers of the animation. The comment of the distributor may be a comment issued by the distributor. Further, the comment of the viewer may be the comment of the viewer who watches the animation.

配信者のコメントは、配信者端末において入力又は生成されたコメントであってよい。かかるコメントは、入力又は生成された配信者端末から、アニメーションが生成される生成部４４を有する視聴者端末に、直接的に通信されてもよいし、間接的に通信されてもよい。間接的な通信は、例えば、管理サーバを経て、通信される態様であってよい。一又は複数の配信者がいる場合、かかる一又は複数の配信者に基づく、一又は複数の配信者端末からのコメントが、サービスデータに係る情報として、視聴者端末に通信されてよい。かかる配信者のコメントは、コメントを発した配信者と関連付けられて、視聴者端末に通信されてよく、視聴者端末において、関連付けられた配信者を示す情報と関連付けられて、かかるコメントが表示されてよい。 The distributor's comment may be a comment input or generated on the distributor terminal. Such comments may be directly communicated from the input or generated distributor terminal to the viewer terminal having the generation unit 44 for which the animation is generated, or may be indirectly communicated. The indirect communication may be, for example, a mode in which communication is performed via a management server. When there are one or more distributors, comments from one or more distributor terminals based on the one or more distributors may be communicated to the viewer terminal as information relating to service data. The comment of such a distributor may be associated with the distributor who issued the comment and communicated to the viewer terminal, and the comment is displayed on the viewer terminal in association with the information indicating the associated distributor. You can.

視聴者のコメントも、同様に、視聴者端末において入力又は生成されたコメントであってよい。かかるコメントは、入力又は生成された視聴者端末から、アニメーションが生成される生成部４４を有する視聴者端末に、直接的に通信されてもよいし、間接的に通信されてもよい。間接的な通信は、例えば、管理サーバを経て、通信される態様であってよい。アニメーションを視聴する一又は複数の視聴者について、かかる一又は複数の視聴者に基づく、一又は複数の視聴者端末からのコメントが、サービスデータに係る情報として、視聴者端末に通信されてよい。 Similarly, the viewer's comment may be a comment input or generated on the viewer terminal. Such comments may be directly communicated from the input or generated viewer terminal to the viewer terminal having the generation unit 44 for which the animation is generated, or may be indirectly communicated. The indirect communication may be, for example, a mode in which communication is performed via a management server. For one or more viewers viewing the animation, comments from one or more viewer terminals based on the one or more viewers may be communicated to the viewer terminals as information relating to service data.

視聴者のコメントが入力された視聴者端末と、かかる視聴者のコメントに基づいて生成されたアニメーションを表示する視聴者端末と、が異なる視聴者端末である場合、視聴者のコメントが入力された視聴者端末から、かかる視聴者のコメントを、直接的又は間接的に、かかる視聴者のコメントに基づいて生成されたアニメーションを表示することになる視聴者端末に送信し、かかる視聴者端末内の生成部４４は、受信した視聴者のコメントを、サービスデータに係る情報として、かかる視聴者のコメントとそのコメントを作成した視聴者とを含むアニメーションを生成し、かかる視聴者端末において表示してよい。この場合、視聴者は、他の視聴者が入力したコメントを、アニメーション内の表示により理解できる。 If the viewer terminal into which the viewer's comment is input and the viewer terminal that displays the animation generated based on the viewer's comment are different viewer terminals, the viewer's comment is input. The viewer terminal transmits the viewer's comment directly or indirectly to the viewer terminal that will display the animation generated based on the viewer's comment, and the comment is transmitted in the viewer terminal. The generation unit 44 may generate an animation including the comment of the viewer and the viewer who created the comment as information related to the service data of the received comment of the viewer, and display it on the viewer terminal. .. In this case, the viewer can understand the comment input by another viewer by the display in the animation.

また、視聴者のコメントが入力された視聴者端末と、かかる視聴者のコメントに基づいて生成されたアニメーションを表示する視聴者端末と、が同一の視聴者端末である場合、かかる視聴者端末内の生成部４４は、入力された視聴者のコメントを、サービスデータに係る情報として、かかる視聴者のコメントとそのコメントを作成した視聴者とを含むアニメーションを生成し、かかる視聴者端末において表示してよい。この場合、視聴者は、自ら入力したコメントが、アニメーション内で表示されることを理解できる。 Further, when the viewer terminal into which the viewer's comment is input and the viewer terminal that displays the animation generated based on the viewer's comment are the same viewer terminal, the inside of the viewer terminal is used. Generation unit 44 generates an animation including the input viewer's comment as information related to the service data and the viewer's comment and the viewer who created the comment, and displays the comment on the viewer terminal. You can. In this case, the viewer can understand that the comment entered by himself / herself is displayed in the animation.

また、視聴者のコメントは、コメントを入力した配信者と関連付けられて、視聴者端末に通信されてよく、視聴者端末において、関連付けられた配信者を示す情報と関連付けられて、かかるコメントと関連付けられた配信者を示す情報が表示されてよい。 In addition, the viewer's comment may be associated with the distributor who entered the comment and communicated with the viewer terminal, and is associated with the information indicating the associated distributor at the viewer terminal and associated with the comment. Information indicating the distributor may be displayed.

アニメーションの視聴者数は、アニメーションを視聴している視聴者を推定できる数であればよく、例えば、生成されたアニメーションを表示している視聴者端末数や、アニメーションに生成に必要な情報を受信している視聴者端末数、又は、かかるアニメーションの生成に必要な情報を受信できるよう管理サーバや配信者端末に要求する要求信号を送信している視聴者端末数、であってよい。 The number of viewers of the animation may be a number that can estimate the viewers who are watching the animation. For example, the number of viewer terminals displaying the generated animation and the information necessary for generating the animation are received. It may be the number of viewer terminals that are performing, or the number of viewer terminals that are transmitting the request signal requested to the management server or the distributor terminal so that the information necessary for generating such an animation can be received.

管理サーバがアニメーションの生成に必要な情報の要求を視聴者端末から取得した場合においては、かかる要求を行う視聴者端末の数を管理サーバが合算することにより、かかる視聴者数を算出してよい。 When the management server acquires a request for information necessary for generating an animation from a viewer terminal, the management server may calculate the number of viewers by adding up the number of viewer terminals making such a request. ..

また、配信者端末がアニメーションの生成に必要な情報の要求を視聴者端末から取得した場合においては、かかる要求を行う視聴者端末の数を、同一のアニメーションにおいて配信する配信者端末同士の間で共有又は一の配信者端末に連絡することにより、かかる視聴者数を算出してよい。 In addition, when the distributor terminal acquires a request for information necessary for generating an animation from the viewer terminal, the number of viewer terminals making such a request is distributed between the distributor terminals that distribute in the same animation. The number of viewers may be calculated by sharing or contacting one distributor terminal.

また、アニメーションの視聴者数は、一のアニメーションにおいて、リアルタイムに算出してよい。これにより、時々刻々と変化するアニメーションの視聴者数について、リアルタイムに算出し、表示できることとなり、視聴者は、アニメーションの視聴者数の多寡を理解できる利点がある。なお、かかるアニメーションの視聴者数は、視聴者端末において、ランキングされてもよい。例えば、各アニメーションに対応して視聴者数を関連付けることにより、視聴者数の多い順や少ない順などのアニメーションを表示してよい。これにより、視聴者は、視聴者数という人気度によって、アニメーションを評価できる利点がある。 Further, the number of viewers of the animation may be calculated in real time in one animation. As a result, the number of viewers of the animation, which changes from moment to moment, can be calculated and displayed in real time, which has the advantage that the viewer can understand the number of viewers of the animation. The number of viewers of the animation may be ranked on the viewer terminal. For example, by associating the number of viewers with each animation, animations in descending order of the number of viewers may be displayed. This has the advantage that the viewer can evaluate the animation based on the popularity of the number of viewers.

また、サービスデータに係る情報は、配信者の視聴者に対するアクションを含んでよい。例えば、サービスデータに係る情報は、配信者が、視聴者のプロフィールを見るアクションを含んでよい。この場合、配信者が、かかる配信者を視聴する複数の視聴者の中の一の視聴者を選択し、かかる選択された視聴者を見るアクションが、かかる配信者に係るアバターオブジェクトを視聴する視聴者端末に伝達されてよい。これにより、配信者がどの視聴者に興味を有しているかを、他の視聴者も共有することができる利点がある。特に、配信者端末において、アニメーションの生成を行う場合、遅延が減少し、例えば、数秒以内で表示可能になるため、映像の場合のように遅延が生じる場合と比較して、配信者のレスポンスをよりリアルタイムに近いタイミングで、共有できる利点がある。 In addition, the information related to the service data may include an action for the viewer of the distributor. For example, the information related to the service data may include an action in which the distributor views the profile of the viewer. In this case, the distributor selects one of the plurality of viewers who view the distributor, and the action of viewing the selected viewer is viewing the avatar object related to the distributor. It may be transmitted to the person terminal. This has the advantage that other viewers can share which viewer the distributor is interested in. In particular, when generating an animation on a distributor terminal, the delay is reduced, and for example, it can be displayed within a few seconds. There is an advantage that it can be shared at a timing closer to real time.

また、サービスデータに係る情報は、他の情報を含んでもよい。サービスデータに係る情報は、例えば、視聴者が配信者又は配信者が提供するものに対して肯定的評価を与える「いいね」の数、視聴者が特定のイベントにおける所属チームを示すアイコン、かかるイベントにおける順位の情報、及び／又は、コラボ配信におけるゲストの数などを含んでもよい。ここで、「いいね」の数は、視聴者から提供された「いいね」の数の合計の数であってよい。また、所属チームを示すアイコンは、配信者の所属する所属チームのものであってもよいし、視聴者の所属する所属チームのものであってもよい。また、かかるイベントにおける順位の情報は、イベントにおける一の配信者の順位の情報であってもよいし、かかるイベントに参加する視聴者の順位の情報であってもよい。 In addition, the information related to the service data may include other information. The information related to the service data includes, for example, the number of "likes" that the viewer gives a positive evaluation to the distributor or what the distributor provides, an icon indicating the team to which the viewer belongs at a specific event, and the like. It may include ranking information at the event and / or the number of guests in the collaborative distribution. Here, the number of "likes" may be the total number of "likes" provided by the viewer. Further, the icon indicating the team to which the viewer belongs may be that of the team to which the distributor belongs, or may be that of the team to which the viewer belongs. Further, the ranking information in such an event may be information on the ranking of one distributor in the event, or information on the ranking of viewers participating in the event.

カメラワークに係る情報は、配信者を撮像する手法に関する情報であってよい。撮像の手法に関する情報は、例えば、配信者を撮像する角度、配信者を撮像する距離、配信者を撮像する撮像技術、などであってよい。配信者を撮像する角度は、撮影角度を示す種々の手法によって特定されてよい。また、配信者を撮像する距離も、距離を示す種々の方法によって特定されてよく、所定の絶対距離によって特定されてもよいし、所定の基準の距離に対する相対的な距離によって特定されてもよい。また、配信者を撮像する技術として、パン、チルト、などの技術が利用されてもよい。かかるカメラワークに係る情報は、視聴者端末において、アニメーションを生成する際に用いられてよい。特に、視聴者端末におけるカメラワークが配信者端末におけるカメラワークを模すことができるよう、配信者端末から伝達されたカメラワークに係る情報を用いて、視聴者端末における配信者の演じるアバターオブジェクトを表示する方法を特定してよい。 The information related to the camera work may be information related to a method of imaging the distributor. The information regarding the imaging method may be, for example, an angle for imaging the distributor, a distance for imaging the distributor, an imaging technique for imaging the distributor, and the like. The angle at which the distributor is imaged may be specified by various methods of indicating the shooting angle. Further, the distance at which the distributor is imaged may also be specified by various methods indicating the distance, may be specified by a predetermined absolute distance, or may be specified by a distance relative to a predetermined reference distance. .. Further, as a technique for imaging the distributor, techniques such as pan and tilt may be used. The information related to such camera work may be used when generating an animation in a viewer terminal. In particular, the avatar object played by the distributor on the viewer terminal is created by using the information related to the camera work transmitted from the distributor terminal so that the camera work on the viewer terminal can imitate the camera work on the distributor terminal. You may specify how to display it.

配信者を撮像する手法に関する情報は、予め配信者端末と、サーバと、視聴者端末において、予めルールが定められており、かかるルール内において、撮像する手法を特定する情報が伝達されることにより、配信者端末における配信者を撮像する手法が、視聴者端末側に、アニメーションの作成時に利用されてよい。 The information regarding the method of imaging the distributor has rules set in advance in the distributor terminal, the server, and the viewer terminal, and the information specifying the method of imaging is transmitted within the rules. , The method of imaging the distributor on the distributor terminal may be used on the viewer terminal side when creating the animation.

生成部４４は、上述のとおりの、種々のアニメーションの生成に必要な情報を用いて、アニメーションを生成してよい。図４は、アニメーションの生成に必要な種々の情報の一例を概括的に示すものである。アニメーションの生成にあたり、一又は複数の配信者端末からの情報を用いてよく、また、一又は複数の視聴者端末からの情報を用いてよい。また、かかる生成は、リアルタイムに行われてよい。また、生成されたアニメーションは、生成した視聴者端末において、表示されてよい。 The generation unit 44 may generate an animation by using the information necessary for generating various animations as described above. FIG. 4 generally shows an example of various information necessary for generating an animation. In generating the animation, information from one or more distributor terminals may be used, or information from one or more viewer terminals may be used. In addition, such generation may be performed in real time. In addition, the generated animation may be displayed on the generated viewer terminal.

４．実施形態
４−１．実施形態１
実施形態１は、配信者端末において、情報を送信する実施態様である。本実施形態は、図５のような、配信者端末５１Ａ及び５１Ｂと、サーバ装置５０と、視聴者端末５２Ａ及び５２Ｂ、からなる全体のシステムにおいて、主に、配信者端末５１Ａにおいて処理される動作となる。以下、図６を参照して、本実施形態の流れを説明する。 4. Embodiment
4-1. Embodiment 1
The first embodiment is an embodiment in which information is transmitted on a distributor terminal. This embodiment is an operation mainly processed by the distributor terminal 51A in the entire system including the distributor terminals 51A and 51B, the server device 50, and the viewer terminals 52A and 52B as shown in FIG. It becomes. Hereinafter, the flow of the present embodiment will be described with reference to FIG.

ステップ１
配信者端末内の切替部４１が、第１のモード又は第２のモードのいずれかの情報を、取得する。（ステップ００１）。モードの選択に関する情報は、サーバから取得してもよいし、配信者端末から取得してもよいし、視聴者端末から取得してもよい。 Step 1
The switching unit 41 in the distributor terminal acquires information on either the first mode or the second mode. (Step 001). The information regarding the mode selection may be acquired from the server, the distributor terminal, or the viewer terminal.

ステップ２
一又は複数の配信者が、アバターとして、アバターオブジェクトを用いて仮想空間上で演じる（ステップ００２）。なお、アバターの演じている途中において、上述のモードに関する情報を取得してもよい。 Step 2
One or more distributors perform as avatars in virtual space using avatar objects (step 002). It should be noted that the information regarding the above-mentioned mode may be acquired during the performance of the avatar.

ステップ３
各配信者に対応付けられている配信者端末は、配信者の演じる状況に係る情報を取得する（ステップ００３）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。 Step 3
The distributor terminal associated with each distributor acquires information relating to the situation played by the distributor (step 003). The distributor terminal may acquire the information of the distributor who plays by using the various sensors and image pickup devices described above.

ステップ４
送信部４２は、モードに対応する情報を、送信する（ステップ００４）。すなわち、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。なお、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。 Step 4
The transmission unit 42 transmits information corresponding to the mode (step 004). That is, in the first mode, a video in which the movement of the avatar object played by the distributor is embedded is transmitted, and in the second mode, it relates to a motion capable of expressing the movement of the avatar object played by the distributor. Information and information on the sound emitted by such distributors may be transmitted. In the first mode, it is not necessary to transmit the information related to the motion, and in the second mode, it is not necessary to transmit the information in which the movement of the avatar object is embedded. .. In particular, as in the former case, in the second mode, if only the information and sound related to the motion are sent and the video in which the movement of the avatar object is embedded is not sent, the process of generating such a video becomes unnecessary, so it is low. There is an advantage that delay processing becomes possible. In this embodiment, only the information corresponding to the mode is sent, but when there are viewer terminals in both the first mode and the second mode, the mode does not depend on the above mode. As the third mode or the like, the distributor terminal may send any information such as information related to video and motion. In this case, there is an advantage that the viewer terminal in both the first mode and the second mode can be supported.

４−２．実施形態２
実施形態２は、サーバにおける処理の実施形態である。具体的には、図５においては、サーバ装置５０における処理を中心に説明するが、情報の出所である配信者端末における配信者の演じる状況も含めて説明する。本実施形態の流れを、図７を用いて説明する。 4-2. Embodiment 2
The second embodiment is an embodiment of processing in the server. Specifically, in FIG. 5, the processing in the server device 50 will be mainly described, but the situation in which the distributor plays in the distributor terminal, which is the source of the information, will also be described. The flow of this embodiment will be described with reference to FIG.

ステップ１
一又は複数の配信者が演じている状況を、各配信者に対応する配信者端末において、情報を取得する（ステップ００１）。配信者端末は、上述の種々のセンサーや撮像装置などを利用して、演じる配信者の情報を取得してよい。 Step 1
Information on the situation in which one or more distributors are playing is acquired on the distributor terminal corresponding to each distributor (step 001). The distributor terminal may acquire the information of the distributor who plays by using the various sensors and image pickup devices described above.

ステップ２
各配信者端末は、配信者の演じている状況に関する情報を適宜処理して、サーバに送信する（ステップ００２）。配信者端末からは、上述の第１のモード、第２のモード等にあわせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、が送信されてよい。 Step 2
Each distributor terminal appropriately processes information regarding the situation played by the distributor and transmits it to the server (step 002). Information related to motion, sound, and an image in which the movement of the avatar object is embedded may be transmitted from the distributor terminal in accordance with the above-mentioned first mode, second mode, and the like.

ステップ３
サーバは、配信者端末から、配信者の演じている情報を受信する（ステップ００３）。上述のとおり、サーバは、モードなどに合わせて、モーションに係る情報、音、アバターオブジェクトの動きが埋め込まれた映像、を受信してよい。 Step 3
The server receives the information played by the distributor from the distributor terminal (step 003). As described above, the server may receive the information related to the motion, the sound, and the video in which the movement of the avatar object is embedded according to the mode and the like.

ステップ４
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００４）。第１のモードと第２のモードの情報は、視聴者端末、配信者端末、又は、サーバから取得してよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合、例えば、視聴者端末００１乃至１００が第２のモードで、視聴者端末１０１乃至２００が第１のモード、などのように設定されてもよい。 Step 4
The switching unit 41 acquires information on the first mode or the second mode (step 004). Information on the first mode and the second mode may be acquired from the viewer terminal, the distributor terminal, or the server. This information may be in response to a selection manually entered by the viewer terminal, distributor terminal, or server operator, or may be selected by automatic processing in the viewer terminal, distributor terminal, or server. It may be. Further, in the first mode and the second mode, one mode may be set for one scene played by one or a plurality of distributors, and the mode is set for each viewer terminal. May be done. In the latter case, for example, the viewer terminals 001 to 100 may be set in the second mode, the viewer terminals 101 to 200 may be set in the first mode, and so on.

ステップ５
一又は複数の配信者端末から取得した情報を用いて、第１のモードである視聴者端末に対しては、かかる一又は複数の配信者が演じるアバターオブジェクトの埋め込まれた映像を生成し、第２のモードである視聴者端末に対しては、モーションに係る情報や音などのアニメーションの生成に必要な情報を生成する（ステップ００５）。なお、かかるステップは、配信者端末から取得した情報そのままでもよいし、情報の整合、データ構造の変更、パケットの時間的整合等の処理を行ってもよい。 Step 5
Using the information acquired from one or more distributor terminals, for the viewer terminal in the first mode, an embedded video of the avatar object played by the one or more distributors is generated, and the first For the viewer terminal in the second mode, information related to motion and information necessary for generating animation such as sound are generated (step 005). In this step, the information acquired from the distributor terminal may be used as it is, or processing such as information matching, data structure change, and packet time matching may be performed.

ステップ６
サーバは、視聴者端末の各モードに合わせて、情報を送信する（ステップ００６）。すなわち、第１のモードの視聴者端末に対しては、アバターオブジェクトの埋め込まれた映像を送信し、第２のモードの視聴者端末に対しては、アニメーションの生成に必要な情報を送信する。なお、本実施形態においても、実施形態１と同様に、第１のモードであれば、配信者の演じるアバターオブジェクトの動きが埋め込まれた映像を送信し、第２のモードであれば、配信者の演じるアバターオブジェクトの動きを表現可能なモーションに係る情報と、かかる配信者が発する音の情報と、を送信してよい。そして、第１のモードの場合には、モーションに係る情報を送信しなくてよく、また、第２のモードの場合には、アバターオブジェクトの動きが埋め込まれた情報を、送信しなくてもよい。特に前者のように、第２のモードにおいて、モーションに係る情報と音を送るのみで、アバターオブジェクトの動きが埋め込まれた映像を送らない場合、かかる映像を生成する処理が不要となるため、低遅延の処理が可能となる利点がある。なお、本実施例においては、モードに対応する情報のみを送る構成とされているが、第１モードと第２のモードの両方視聴者端末がいる場合などにおいては、上述のモードによらず又は第３のモードなどとして、配信者端末は、映像とモーションに係る情報などと、のいずれの情報を送ってもよい。この場合は、第１のモードと第２のモードの両方のモードの視聴者端末に対応できる利点がある。 Step 6
The server transmits information according to each mode of the viewer terminal (step 006). That is, the video in which the avatar object is embedded is transmitted to the viewer terminal in the first mode, and the information necessary for generating the animation is transmitted to the viewer terminal in the second mode. Also in the present embodiment, as in the first embodiment, in the first mode, a video in which the movement of the avatar object played by the distributor is embedded is transmitted, and in the second mode, the distributor Information related to the motion capable of expressing the movement of the avatar object played by the distributor and information on the sound emitted by the distributor may be transmitted. Then, in the case of the first mode, it is not necessary to transmit the information related to the motion, and in the case of the second mode, it is not necessary to transmit the information in which the movement of the avatar object is embedded. .. In particular, as in the former case, in the second mode, if only the information and sound related to the motion are sent and the video in which the movement of the avatar object is embedded is not sent, the process of generating such a video becomes unnecessary, so it is low. There is an advantage that delay processing becomes possible. In this embodiment, only the information corresponding to the mode is sent, but when there are viewer terminals in both the first mode and the second mode, the mode does not depend on the above mode. As the third mode or the like, the distributor terminal may send any information such as information related to video and motion. In this case, there is an advantage that the viewer terminal in both the first mode and the second mode can be supported.

４−３．実施形態３
実施形態３は、視聴者端末における実施形態である。具体的には、図５においては、視聴者端末５２Ａ又は５２Ｂにおける処理である。本実施形態の流れを、図８を用いて説明する。 4-3. Embodiment 3
The third embodiment is an embodiment in a viewer terminal. Specifically, in FIG. 5, it is the processing in the viewer terminal 52A or 52B. The flow of this embodiment will be described with reference to FIG.

ステップ１
切替部４１は、第１のモード又は第２のモードの情報を取得する（ステップ００１）。第１のモード又は第２のモードの情報は、配信者端末、サーバ、視聴者端末、のいずれから取得してもよい。この情報は、視聴者端末、配信者端末、サーバを操作する人によって手動で入力された選択に応じたものでもよいし、視聴者端末、配信者端末、サーバにおける自動的処理によって選択されたものでもよい。また、上述のように、第１のモードと第２のモードは、一又は複数の配信者によって演じられている一の場面に対して、一のモードが設定されてもよいし、視聴者端末毎にモードが設定されてもよい。後者の場合の視聴者端末毎に第１のモード又は第２のモードが設定される場合において、かかるモードを設定する切替部４１を有する視聴者端末に係る情報のみに基づいて設定されてもよいし、かかるモードを設定する切替部４１を有する視聴者端末以外の他の視聴者端末に係る情報を用いて設定されてもよい。後者の場合、一又は複数の配信者が登場する配信情報（アニメーション又は映像等）が視聴される視聴者端末に係る情報に基づいて、設定されてよい。かかる場合、一の配信情報が視聴される視聴者端末と接続されるサーバにおいて、視聴者端末に係る情報を取得し、第１のモード又は第２のモードを視聴者端末毎に選択し、対象となる視聴者端末に対してかかるモードを送信して各視聴者端末に第１のモード又は第２のモードの情報を伝達してよい。 Step 1
The switching unit 41 acquires information on the first mode or the second mode (step 001). The information of the first mode or the second mode may be acquired from any of the distributor terminal, the server, and the viewer terminal. This information may be in response to a selection manually entered by the viewer terminal, distributor terminal, or server operator, or may be selected by automatic processing in the viewer terminal, distributor terminal, or server. It may be. Further, as described above, in the first mode and the second mode, one mode may be set for one scene played by one or a plurality of distributors, and the viewer terminal may be set. The mode may be set for each. In the latter case, when the first mode or the second mode is set for each viewer terminal, it may be set based only on the information related to the viewer terminal having the switching unit 41 for setting such a mode. However, it may be set using information related to a viewer terminal other than the viewer terminal having the switching unit 41 for setting such a mode. In the latter case, the distribution information (animation, video, etc.) in which one or more distributors appear may be set based on the information related to the viewer terminal to be viewed. In such a case, the server connected to the viewer terminal on which one distribution information is viewed acquires the information related to the viewer terminal, selects the first mode or the second mode for each viewer terminal, and targets. Such a mode may be transmitted to each viewer terminal to transmit information on the first mode or the second mode to each viewer terminal.

ステップ２
第１のモード又は第２のモードに合わせて、第１のモードである視聴者端末においては配信者が演じるアバターオブジェクトの埋め込まれた映像を受信し、第２のモードである視聴者端末においては、モーションに係る情報や音などのアニメーションの生成に必要な情報を受信する（ステップ００２）。 Step 2
In accordance with the first mode or the second mode, the viewer terminal in the first mode receives the embedded video of the avatar object played by the distributor, and the viewer terminal in the second mode receives the embedded video. , Receives information necessary for generating animation such as motion information and sound (step 002).

ステップ３
第１のモードである視聴者端末においては、受信した映像を表示し、第２のモードである視聴者端末においては、受信したアニメーションの生成に必要な情報からアニメーションを生成して表示する（ステップ００３）。なお、アニメーションには、アバターの動きの他、視聴者や配信者のコメントが表示されてよく、また、生成されたアニメーションの視聴者数や他のリアルタイムで配信されている他のアニメーションの視聴者数なども表示されてよい。 Step 3
In the viewer terminal in the first mode, the received video is displayed, and in the viewer terminal in the second mode, an animation is generated and displayed from the information necessary for generating the received animation (step). 003). In addition to the movement of the avatar, the animation may display comments from viewers and distributors, as well as the number of viewers of the generated animation and viewers of other animations distributed in real time. The number etc. may also be displayed.

上述においては、主に、アバターが動作する仮想空間を対象とした、アニメーションや映像を説明したが、アバターが演じる場は、特定の構成を含む仮想空間であってもよい。 In the above, the animation and the video mainly targeting the virtual space in which the avatar operates have been described, but the place where the avatar plays may be a virtual space including a specific configuration.

例えば、特定の構成を含む仮想空間としては、ゲーム画面を含む仮想空間であってもよい。ゲーム画面を含む仮想空間の場合、ゲームに対してアバターが説明などをできる利点がある。また、ゲームがリアルタイムに進行する場合に、アバターがゲームの実況中継をできる利点がある。この場合、ゲーム画面は、配信者がプレイするゲームであってもよいし、配信者以外の者がプレイするゲームのゲーム画面であってもよい。配信者がプレイするゲーム画面の場合、配信者端末から、かかるゲーム画面も送信され、管理サーバを介して又は介さずに、視聴者端末に伝達されてよい。配信者以外がプレイするゲーム画面の場合、かかるプレイする者の情報処理装置から、かかるゲーム画面が送信され、管理サーバを介して又は介さずに、視聴者端末に伝達されてよい。これらの場合において、上述の第２のモードにおいては、アニメーションの生成に必要な情報として、配信者又は配信者以外の者がプレイするゲーム画面が含まれてよく、かかる配信者又は配信者以外の者がプレイするゲーム画面を用いて視聴者端末においてアニメーションが生成されてよく、かかるアニメーションは視聴者端末において表示されてよい。また、第１のモードにおいては、ゲーム画面を含む映像が管理サーバや配信者端末において生成されてよく、かかる映像は、視聴者端末に送信され、視聴者端末においてかかるゲーム画面を含む映像が表示されてよい。第１モード及び第２モードの切り替えなどについては、上述と同様であって良い。 For example, the virtual space including a specific configuration may be a virtual space including a game screen. In the case of a virtual space including a game screen, there is an advantage that the avatar can explain to the game. In addition, when the game progresses in real time, there is an advantage that the avatar can broadcast the game live. In this case, the game screen may be a game played by a distributor or a game screen of a game played by a person other than the distributor. In the case of a game screen played by a distributor, such a game screen may also be transmitted from the distributor terminal and transmitted to the viewer terminal via or without the management server. In the case of a game screen played by a person other than the distributor, the information processing device of the player may transmit the game screen to the viewer terminal via or without the management server. In these cases, in the above-mentioned second mode, the information necessary for generating the animation may include a game screen played by a distributor or a person other than the distributor, and the information other than the distributor or the distributor may be included. An animation may be generated on the viewer terminal using the game screen played by the person, and the animation may be displayed on the viewer terminal. Further, in the first mode, the video including the game screen may be generated on the management server or the distributor terminal, the video is transmitted to the viewer terminal, and the video including the game screen is displayed on the viewer terminal. May be done. The switching between the first mode and the second mode may be the same as described above.

また、特定の構成を含む仮想空間としては、実世界を撮影したものを含む仮想空間であってもよい。実世界を撮影したものを含む仮想空間の場合、あたかも、アバターが実世界の事象の説明や実世界の特定の個所を訪問する状況を実現できる利点がある。また、実世界の撮影がリアルタイムに進行する場合、実世界の事件などの進行状況をアバターが実況中継できる利点がある。この場合、実世界を撮影したものが、アニメーションの生成に必要な情報に含まれてよい。実世界を撮影したものは、自然を撮影したものでもよいし、都会を撮影したものでもよく、その対象に限定はなくてよい。かかる撮影したものは、予め撮影されてもよいし、リアルタイムに撮影されてもよい。これらの撮影されたものは、管理サーバを介して又は介さずに、視聴者端末に送信されてよい。上述の第２のモードにおいては、アニメーションの生成に必要な情報として、かかる撮影されたものが含まれてよく、かかる撮影されたものを用いて視聴者端末においてアニメーションが生成されてよく、かかるアニメーションは視聴者端末において表示されてよい。また、第１のモードにおいては、かかる撮影されたものを含む映像が管理サーバや配信者端末において生成されてよく、かかる映像は、視聴者端末に送信され、視聴者端末においてかかる撮影されたものを含む映像が表示されてよい。第１モード及び第２モードの切り替えなどについては、上述と同様であって良い。 Further, the virtual space including a specific configuration may be a virtual space including a photograph of the real world. In the case of a virtual space that includes a photograph of the real world, there is an advantage that the avatar can explain the events in the real world and visit a specific part of the real world. In addition, when shooting in the real world progresses in real time, there is an advantage that the avatar can broadcast the progress of an incident in the real world. In this case, a photograph of the real world may be included in the information required to generate the animation. The photograph of the real world may be a photograph of nature or a photograph of the city, and the target may not be limited. Such an image may be photographed in advance or may be photographed in real time. These photographs may be transmitted to the viewer terminal via or without the management server. In the second mode described above, the information necessary for generating the animation may include such a photographed one, and the animation may be generated on the viewer terminal using the photographed one, and the animation may be generated. May be displayed on the viewer terminal. Further, in the first mode, a video including such a shot may be generated on the management server or the distributor terminal, and the video is transmitted to the viewer terminal and the shot is taken on the viewer terminal. An image containing the above may be displayed. The switching between the first mode and the second mode may be the same as described above.

また、本願書類で説明されたシステム及び情報処理は、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実施されてよく、またかかるシステム及び情報処理の一部又は全部は、処理・手順をコンピュータプログラムとして実装し、各種のコンピュータに実行させられてよく、またこれらのコンピュータプログラムは、記憶媒体に記憶されてよい。また、これらのプログラムは、非一過性又は一時的な記憶媒体に記憶されてよい。 In addition, the system and information processing described in the documents of the present application may be carried out by software, hardware or a combination thereof, and a part or all of such a system and information processing implements processing / procedures as a computer program. It may be executed by various computers, and these computer programs may be stored in a storage medium. Also, these programs may be stored on a non-transient or temporary storage medium.

本願書類で説明したものは、本願書類で説明されたものに限られず、本願書類で説明された種々の技術上の利点や構成を有する種々の技術的思想の範囲内で、種々の例に適用できることはいうまでもない。 What has been described in the documents of the present application is not limited to that described in the documents of the present application, and is applicable to various examples within the scope of various technical ideas having various technical advantages and configurations described in the documents of the present application. Needless to say, you can do it.

１システム
１０通信網
２０（２０Ａ〜２０Ｃ）サーバ装置
３０（３０Ａ〜３０Ｃ）端末装置
２１（３１）演算装置
２２（３２）主記憶装置
２３（３３）入出力インタフェイス
２４（３４）入力装置
２５（３５）補助記憶装置
２６（３６）出力装置
４１切替部４１
４２送信部４２
４３受信部４３
４４生成部４４
５０サーバ装置
５１Ａ、５１Ｂ配信者端末
５２Ａ、５２Ｂ視聴者端末 1 System 10 Communication network 20 (20A to 20C) Server device 30 (30A to 30C) Terminal device 21 (31) Arithmetic logic unit 22 (32) Main storage device 23 (33) Input / output interface 24 (34) Input device 25 ( 35) Auxiliary storage device 26 (36) Output device 41 Switching unit 41
42 Transmitter 42
43 Receiver 43
44 Generator 44
50 Server device 51A, 51B Distributor terminal 52A, 52B Viewer terminal

Claims

It ’s a computer program,
By being run by one or more processors
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Receive the delivered video and
Display the received video data and display
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Received
Generate an animation using the information required to generate the animation,
Display the animation,
A computer program characterized by that.

The information necessary for generating the animation includes information related to service data and / or information related to camera work.
The program according to claim 1.

The generation of the animation includes a process of applying the information related to the motion to the model data corresponding to the received identification information among the 3D model data received in advance.
The program according to claim 1 or 2.

The information relating to the gift includes the position of the gift and / or the rotation angle of the displayed gift.
The computer program according to any one of claims 1 to 3.

When a gift based on the information related to the gift is displayed using the laws of physics, the information related to the gift includes the position where the gift is displayed and / or the rotation angle of the displayed gift.
The computer program according to any one of claims 1 to 3.

When a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift includes the type of the gift.
The computer program according to any one of claims 1 to 3.

When a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift is only the type of the gift.
The computer program according to any one of claims 1 to 3.

When a gift based on the information related to the gift is displayed using pseudo-randomness, the information related to the gift includes the type of the gift and the seed of the pseudo-randomness.
The computer program according to any one of claims 1 to 3.

The information related to the service data includes comments of the distributor, comments of the viewer, and / or the number of viewers of the animation.
The computer program according to any one of claims 1 to 8.

The information related to the motion includes information related to facial expressions and / or information related to the position and rotation of the head.
The computer program according to any one of claims 1 to 9.

The information relating to the facial expression includes information for specifying one or more of the information divided into a plurality of pieces for specifying the facial expression.
The computer program according to claim 10.

Send information about the client terminal
Receives information necessary for generating the animation, which is transmitted based on the information related to the client terminal.
The computer program according to any one of claims 1 to 11.

The information related to the client terminal includes the communication latency related to the client terminal, the CPU related to the client terminal, and / or the number of applications executed on the client terminal.
The computer program according to claim 12.

The processor is a central processing unit (CPU), microprocessor or graphics processing unit (GPU).
The computer program according to any one of claims 1 to 13.

The processor is mounted on a smartphone, tablet, mobile phone or personal computer.
The computer program according to any one of claims 1 to 14.

It ’s a computer program,
By being run by one or more processors
Receives information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and
With sound
To send,
A computer program characterized by that.

The information necessary for generating the animation includes information related to camera work.
The computer program according to claim 16.

Equipped with one or more processors
When the processor executes a computer-readable instruction,
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
To send,
A server device characterized by that.

The information necessary for generating the animation includes information related to service data and / or information related to camera work.
The server device according to claim 18.

Receives information related to the client terminal
Information necessary for generating the animation is transmitted using the information related to the client terminal.
The server device according to claim 18 or 19.

The information related to the client terminal includes the communication latency related to the client terminal, the CPU related to the client terminal, and / or the number of applications executed on the client terminal.
The server device according to claim 20.

Information necessary for generating the animation is transmitted by using the number of terminals of the client terminal to which the information necessary for generating the animation is transmitted.
The server device according to any one of claims 18 to 21.

A method executed by one or more processors that execute computer-readable instructions.
When the processor executes the instruction,
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Receive the delivered video and
Display the received video data and display
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
Received
Generate an animation using the information required to generate the animation,
Display the animation,
A method characterized by that.

The information necessary for generating the animation includes information related to service data and / or information related to camera work.
23. The method of claim 23.

A method executed by one or more processors that execute computer-readable instructions.
When the processor executes the instruction,
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and information related to motion.
Information related to the gift given from the viewer terminal that watches the animation expressing the movement of the avatar object, and
With sound
To send,
Method.

The information necessary for generating the animation includes information related to service data and / or information related to camera work.
25. The method of claim 25.

A method executed by one or more processors that execute computer-readable instructions.
When the processor executes the instruction,
Acquires information in which either the first mode or the second mode is selected,
When the first mode is selected,
Send the video,
If the second mode is selected,
At least the information needed to generate the animation
Information related to motion that can express the movement of the avatar object by being combined with information related to the avatar object related to the distributor terminal, and
With sound
To send,
Method.

The information necessary for generating the animation includes information related to camera work.
27. The method of claim 27.