JP2020166821A - Communication device, communication method, and communication program - Google Patents

Communication device, communication method, and communication program Download PDF

Info

Publication number
JP2020166821A
JP2020166821A JP2020001429A JP2020001429A JP2020166821A JP 2020166821 A JP2020166821 A JP 2020166821A JP 2020001429 A JP2020001429 A JP 2020001429A JP 2020001429 A JP2020001429 A JP 2020001429A JP 2020166821 A JP2020166821 A JP 2020166821A
Authority
JP
Japan
Prior art keywords
viewer
avatar
distributor
motion
reaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020001429A
Other languages
Japanese (ja)
Other versions
JP2020166821A5 (en
JP7309627B2 (en
Inventor
進之介 岩城
Shinnosuke Iwaki
進之介 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019066719A external-priority patent/JP6644928B1/en
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Priority to JP2020001429A priority Critical patent/JP7309627B2/en
Publication of JP2020166821A publication Critical patent/JP2020166821A/en
Publication of JP2020166821A5 publication Critical patent/JP2020166821A5/en
Priority to JP2023109350A priority patent/JP2023129445A/en
Application granted granted Critical
Publication of JP7309627B2 publication Critical patent/JP7309627B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

To facilitate a viewer to obtain a reaction from a distributor.SOLUTION: Cheers that have been given to a distributor avatar by viewer avatars are detected, a reaction motion is made toward the viewer avatars who gave the cheers and an ordinary motion which is not reaction motion is made toward the viewer avatars who did not give the cheers when the distributor avatar reacts to the cheers. The motion toward the viewer avatars who gave the cheers is made different from the motion toward the viewer avatars who did not give the cheers with a timing instructed by the distributor. Either the motion toward the viewer avatars who gave the cheers or the motion toward the viewer avatars who did not give the cheers is a predetermined motion.SELECTED DRAWING: Figure 3

Description

本発明は、VR空間でライブ配信する技術に関する。 The present invention relates to a technique for live distribution in a VR space.

近年、仮想現実(VR)空間でコンピュータグラフィックスキャラクタ(以下、「アバター」と称する)になりきり、ライブ配信できるサービスが広まっている。 In recent years, services capable of live distribution have become widespread as computer graphics characters (hereinafter referred to as "avatars") in virtual reality (VR) space.

このサービスでは、配信者はヘッドマウントディスプレイ(HMD)を装着し、両手にコントローラを持って、配信者自身の動きをアバターに反映させてライブ配信する。 In this service, the distributor wears a head-mounted display (HMD), holds a controller in both hands, and reflects the distributor's own movements on the avatar for live distribution.

視聴者はライブ配信を視聴するだけでなく、視聴者もHMDを装着してライブ配信に参加できる。視聴者は、配信者のVR空間に自身のアバターを参加させて、配信者とコミュニケーションを取ることができる。 Not only can the viewer watch the live stream, but the viewer can also wear the HMD and participate in the live stream. Viewers can communicate with the distributor by having their avatar participate in the distributor's VR space.

特開2018−7828号公報JP-A-2018-7828 特開2018−94326号公報JP-A-2018-94326

視聴者は、ライブ配信を盛り上げるために、自身の視聴者アバターに応援アクションをさせるが、配信者は、全ての視聴者に対してリアクションを返すことはできない。視聴者は、配信者からのリアクションが得られないと応援することをやめてしまい、ライブ配信の盛り上がりが期待できなくなるおそれがある。 The viewer makes his / her viewer avatar take a cheering action in order to liven up the live distribution, but the distributor cannot return a reaction to all the viewers. Viewers may stop cheering if they do not get a reaction from the distributor, and may not be able to expect the excitement of live distribution.

特許文献1には、プレイヤのアバターがアイドルキャラクタのライブステージに訪れた多数のファンの一人としてVR空間内の客席に配置され、プレイヤは視線を送ってアイドルキャラクタを応援することが記載されている。特許文献1では、応援すると付与されるポイント等の発動条件を満たしたプレイヤのアバターに対して、アイドルキャラクタが個別に特別ファンサービスが行われる。特許文献1は、ポイントの獲得をプレイヤ間で競わせることで、ライブステージを盛り上げるものである。特別ファンサービスが行われる対象は、客席内の1人のプレイヤに対してのみであり、応援するとアイドルキャラクタからのリアクションが必ず得られるものでない。 Patent Document 1 describes that a player's avatar is placed in an audience seat in a VR space as one of a large number of fans who have visited the idol character's live stage, and the player sends a line of sight to support the idol character. .. In Patent Document 1, a special fan service is individually provided to an idol character for a player's avatar that satisfies the activation conditions such as points given when cheering. Patent Document 1 excites the live stage by competing players for the acquisition of points. The target for which the special fan service is provided is only for one player in the audience seat, and if you support it, you cannot always get a reaction from the idol character.

本発明は、上記に鑑みてなされたものであり、視聴者が配信者からのリアクションを得やすくすることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to facilitate the viewer to obtain a reaction from the distributor.

本発明に係るコミュニケーション装置は、同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、第1の視聴者アバターによる配信者アバターに対する応援を検出する応援検出部と、前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるリアクション部と、を備えることを特徴とする。 The communication device according to the present invention is a communication device that communicates between a distributor avatar and a viewer avatar existing in the same virtual space, and is a support for detecting support for the distributor avatar by the first viewer avatar. The detection unit and the motion for the first viewer avatar that supported the motion to be performed by the distributor avatar and the motion for the second viewer avatar that did not support when the distributor avatar reacts to the support. It is characterized by having a reaction unit that makes it different.

本発明によれば、視聴者が配信者からのリアクションを得やすくすることができる。 According to the present invention, it is possible for the viewer to easily obtain a reaction from the distributor.

ライブ配信サービスを提供するための全体的なシステム構成例を示す図である。It is a figure which shows the example of the overall system configuration for providing a live distribution service. アバターを操作するための装置を説明する図である。It is a figure explaining the device for operating an avatar. ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。It is a functional block diagram which shows the configuration example of each apparatus for providing a live distribution service. 配信者がライブ配信を開始し、視聴者が番組に参加する処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process which a distributor starts a live distribution, and a viewer participates in a program. 視聴者が参加したVR空間の様子を示す図である。It is a figure which shows the state of the VR space in which a viewer participated. 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process of replacing a normal motion with a reaction motion when a viewer cheers for a distributor. 配信者が視聴者に対してリアクションしたVR空間の様子を示す図である。It is a figure which shows the state of the VR space which a distributor reacted to a viewer. ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。It is a functional block diagram which shows the configuration example of each apparatus for providing a live distribution service. 視聴者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which a viewer terminal replaces a normal motion with a reaction motion. 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process of replacing a normal motion with a reaction motion when a viewer cheers for a distributor. ライブ配信サービスを提供するための各装置の構成例を示す機能ブロック図である。It is a functional block diagram which shows the configuration example of each apparatus for providing a live distribution service. 配信者端末が通常モーションをリアクションモーションに差し替える処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the process which a distributor terminal replaces a normal motion with a reaction motion. 視聴者が配信者を応援したときに、通常モーションをリアクションモーションに差し替える処理の流れを示すシーケンス図である。It is a sequence diagram which shows the flow of the process of replacing a normal motion with a reaction motion when a viewer cheers for a distributor.

以下、本発明の実施の形態について図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[第1の実施形態]
図1を参照し、第1の実施形態のライブ配信サービスの全体的なシステム構成例を説明する。
[First Embodiment]
An overall system configuration example of the live distribution service of the first embodiment will be described with reference to FIG.

本実施形態のライブ配信サービスは、配信者がVR空間でアバターになりきり、生放送番組を配信できるライブ配信サービスである。また、本ライブ配信サービスでは、視聴者も配信者と同じVR空間において視聴者アバターとして番組に参加できる。ライブ配信サービスは、ネットワークに接続されたサーバ1、配信者端末3、および視聴者端末5を用いて提供される。図1では、視聴者端末5の数を5台としているが、実際には視聴者端末5の数はもっと多く、視聴者端末5の数は任意である。 The live distribution service of the present embodiment is a live distribution service that allows a distributor to impersonate an avatar in a VR space and distribute a live broadcast program. Further, in this live distribution service, the viewer can also participate in the program as a viewer avatar in the same VR space as the distributor. The live distribution service is provided by using the server 1, the distributor terminal 3, and the viewer terminal 5 connected to the network. In FIG. 1, the number of viewer terminals 5 is set to 5, but in reality, the number of viewer terminals 5 is larger and the number of viewer terminals 5 is arbitrary.

サーバ1は、ネットワークを介して、配信者端末3からVR空間でのライブ配信映像を受信し、視聴者端末5へライブ配信映像を配信する。具体的には、サーバ1は、配信者端末3から配信者アバターのモーションデータを受信し、モーションデータを視聴者端末5へ配信する。視聴者端末5は、受信したモーションデータを配信者アバターに反映させてVR空間をレンダリングする。VR空間が視聴者端末5においてレンダリングされて表示される場合、視聴者端末5は、VR空間のレンダリングに必要なモデルデータを保持しておく。例えば、視聴者端末5は、VR空間内に存在するアバターなどのモデルデータをサーバ1から受信してもよいし、モデルデータを事前に保持しておいてもよい。 The server 1 receives the live distribution video in the VR space from the distributor terminal 3 via the network, and distributes the live distribution video to the viewer terminal 5. Specifically, the server 1 receives the motion data of the distributor avatar from the distributor terminal 3 and distributes the motion data to the viewer terminal 5. The viewer terminal 5 reflects the received motion data on the distributor avatar to render the VR space. When the VR space is rendered and displayed on the viewer terminal 5, the viewer terminal 5 holds model data necessary for rendering the VR space. For example, the viewer terminal 5 may receive model data such as an avatar existing in the VR space from the server 1, or may hold the model data in advance.

視聴者が番組に参加したときは、サーバ1は、視聴者端末5から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末3および他の視聴者端末5へ配信する。配信者端末3および他の視聴者端末5は、受信したモーションデータを視聴者アバターに反映させてVR空間をレンダリングする。視聴者アバターのモデルデータは、視聴者が参加したときにサーバ1から受信してもよいし、配信者端末3および視聴者端末5が事前に保持しておいてもよい。 When the viewer participates in the program, the server 1 receives the motion data of the viewer avatar from the viewer terminal 5 and distributes the motion data to the distributor terminal 3 and other viewer terminals 5. The distributor terminal 3 and the other viewer terminal 5 reflect the received motion data on the viewer avatar to render the VR space. The model data of the viewer avatar may be received from the server 1 when the viewer participates, or may be held in advance by the distributor terminal 3 and the viewer terminal 5.

番組に参加した視聴者は視聴者アバターを通じて配信者を応援することができる。配信者アバターは、応援した視聴者アバターに対してリアクションを返す。 Viewers who participate in the program can support the distributor through the viewer avatar. The distributor avatar returns a reaction to the viewer avatar that supported it.

サーバ1は、配信者アバターが応援に対するリアクションをする時に、配信者アバターに行わせるモーションを応援した視聴者アバターに対するモーションと応援していない視聴者アバターに対するモーションとで異ならせる。具体的には、サーバ1は、応援した視聴者の視聴者端末5に対しては、配信者アバターのモーションの一部をリアクションモーションに変えたモーションデータを配信するとともに、応援していない視聴者の視聴者端末5に対しては、通常のモーションデータを配信する。つまり、配信者アバターがリアクションするとき、応援した視聴者と応援していない視聴者とでは、見ている配信者アバターのモーションが異なる。 When the distributor avatar reacts to the support, the server 1 makes the motion performed by the distributor avatar different between the motion for the viewer avatar that supports the motion and the motion for the viewer avatar that does not support the motion. Specifically, the server 1 distributes motion data in which a part of the motion of the distributor avatar is changed to a reaction motion to the viewer terminal 5 of the viewer who supported it, and the viewer who does not support it. Normal motion data is delivered to the viewer terminal 5 of the above. In other words, when the distributor avatar reacts, the motion of the distributor avatar that is being viewed differs between the viewer who supported and the viewer who did not support.

配信者端末3は、配信者がライブ配信に用いる端末である。配信者端末3としては、例えば、HMDが接続されたパーソナルコンピュータを用いることができる。 The distributor terminal 3 is a terminal used by the distributor for live distribution. As the distributor terminal 3, for example, a personal computer to which an HMD is connected can be used.

図2に示すように、配信者は、HMD100を装着し、コントローラ101を両手に持って、配信者アバターを制御する。 As shown in FIG. 2, the distributor wears the HMD 100 and holds the controller 101 in both hands to control the distributor avatar.

HMD100は、配信者の頭の動きを検知する。HMD100が検知した頭の動きを配信者アバターに反映させる。配信者は、頭を動かしてVR空間内を見渡すことができる。HMD100は、配信者が向いた方向のVR空間をレンダリングする。HMD100が右眼用画像と左眼用画像に視差を持たせることで、配信者は、3次元のVR空間を見ることができる。 The HMD 100 detects the movement of the distributor's head. The movement of the head detected by the HMD 100 is reflected in the distributor avatar. The distributor can move his head and look around the VR space. The HMD 100 renders the VR space in the direction the distributor is facing. The HMD 100 allows the right-eye image and the left-eye image to have parallax so that the distributor can see the three-dimensional VR space.

コントローラ101は、配信者の手の動きを検知する。コントローラ101が検知した手の動きを配信者アバターに反映させる。 The controller 101 detects the movement of the distributor's hand. The hand movement detected by the controller 101 is reflected in the distributor avatar.

配信者端末3は、検知した配信者の動きを配信者アバターに反映させるモーションデータをサーバ1へ送信する。モーションデータは、サーバ1によって視聴者端末5に配信される。また、配信者端末3は、配信者の番組に参加した視聴者アバターのモーションデータをサーバ1から受信する。配信者端末3は、受信したモーションデータを視聴者アバターに反映させてVR空間をレンダリングする。 The distributor terminal 3 transmits motion data that reflects the detected movement of the distributor in the distributor avatar to the server 1. The motion data is distributed to the viewer terminal 5 by the server 1. Further, the distributor terminal 3 receives the motion data of the viewer avatar who participated in the program of the distributor from the server 1. The distributor terminal 3 reflects the received motion data on the viewer avatar to render the VR space.

コントローラ101は、ボタン等の操作手段を備えている。配信者がボタンを操作すると、配信者アバターに所定の動きをさせることができる。本実施形態に関連する操作としては、例えば、視聴者の応援に対するリアクションを返すタイミングを指定する操作がある。視聴者アバターが配信者アバターを応援したとき、配信者がリアクションを返すタイミングを指定すると、配信者端末3は、リアクション信号をサーバ1へ送信する。サーバ1は、リアクション信号に応じて、応援した視聴者アバターに対するリアクションモーションと、応援していない視聴者アバターに対するモーションとを異ならせて、配信者アバターに応援に対するリアクションをさせる。 The controller 101 includes operating means such as buttons. When the distributor operates the button, the distributor avatar can be made to perform a predetermined movement. As an operation related to the present embodiment, for example, there is an operation of designating a timing for returning a reaction to the support of the viewer. When the viewer avatar supports the distributor avatar and the distributor specifies the timing to return the reaction, the distributor terminal 3 transmits the reaction signal to the server 1. The server 1 causes the distributor avatar to react to the support by making the reaction motion for the cheering viewer avatar different from the motion for the non-supporting viewer avatar according to the reaction signal.

視聴者端末5は、視聴者がライブ配信を見るために用いる端末である。視聴者端末5としては、配信者端末3と同様に、HMDが接続されたパーソナルコンピュータを用いることができる。 The viewer terminal 5 is a terminal used by the viewer to watch the live distribution. As the viewer terminal 5, a personal computer to which the HMD is connected can be used as in the distributor terminal 3.

視聴者は、配信者の番組に参加することができる。具体的には、視聴者が番組へ参加する操作を行うと、視聴者が制御可能な視聴者アバターが配信者アバターの存在するVR空間内に登場する。視聴者も、図2に示すように、HMD100を装着し、コントローラ101を両手に持って、視聴者アバターを制御する。番組に参加した視聴者の視点はVR空間内の視聴者アバターの視点となる。つまり、HMD100は、視聴者アバターの視点でVR空間をレンダリングする。 The viewer can participate in the broadcaster's program. Specifically, when the viewer performs an operation to participate in the program, a viewer avatar that the viewer can control appears in the VR space in which the distributor avatar exists. As shown in FIG. 2, the viewer also wears the HMD 100 and holds the controller 101 in both hands to control the viewer avatar. The viewpoint of the viewer who participated in the program is the viewpoint of the viewer avatar in the VR space. That is, the HMD 100 renders the VR space from the viewpoint of the viewer avatar.

視聴者は、コントローラ101等を操作することで、配信者を応援することができる。視聴者が配信者を応援すると、視聴者端末5は、応援信号をサーバ1へ送信する。 The viewer can support the distributor by operating the controller 101 or the like. When the viewer supports the distributor, the viewer terminal 5 transmits a support signal to the server 1.

次に、図3を参照し、サーバ1、配信者端末3、および視聴者端末5の構成例について説明する。 Next, a configuration example of the server 1, the distributor terminal 3, and the viewer terminal 5 will be described with reference to FIG.

図3に示すサーバ1は、配信部11、リアクション部12、応援検出部13、およびリアクションデータ蓄積部14を備える。 The server 1 shown in FIG. 3 includes a distribution unit 11, a reaction unit 12, a support detection unit 13, and a reaction data storage unit 14.

配信部11は、ライブ配信サービスに必要なデータの送受信を行う。具体的には、配信部11は、配信者端末3から配信者の音声および配信者アバターのモーションデータを受信し、音声およびモーションデータを視聴者端末5へ配信する。また、配信部11は、番組に参加した視聴者の視聴者端末5から視聴者アバターのモーションデータを受信し、モーションデータを配信者端末3および視聴者端末5へ配信する。配信部11は、視聴者の音声を受信して配信してもよい。配信部11は、視聴者が入力したコメント(文字情報)を受信して配信してもよい。 The distribution unit 11 transmits / receives data necessary for the live distribution service. Specifically, the distribution unit 11 receives the voice of the distributor and the motion data of the distributor avatar from the distributor terminal 3, and distributes the voice and the motion data to the viewer terminal 5. In addition, the distribution unit 11 receives the motion data of the viewer avatar from the viewer terminal 5 of the viewer who participated in the program, and distributes the motion data to the distributor terminal 3 and the viewer terminal 5. The distribution unit 11 may receive and distribute the audio of the viewer. The distribution unit 11 may receive and distribute a comment (character information) input by the viewer.

リアクション部12は、所定のタイミングで、応援した視聴者の視聴者端末5へ送信される通常モーションをリアクションモーションに差し替える。通常モーションは、HMD100およびコントローラ101で検知した配信者の動きに応じたモーションである。リアクションモーションは、後述のリアクションデータ蓄積部14に蓄積されたリアクションモーションである。リアクション部12は、リアクションデータ蓄積部14からリアクションモーションを読み出し、応援した視聴者アバターに対する個別のリアクションモーションにして応援した視聴者の視聴者端末5へ送信する。例えば、配信者アバターに行わせるリアクションの例としては、配信者アバターが視聴者アバターに対して視線(顔)を向けてウインクするモーションがある。視聴者は、視聴者アバターの目線でVR空間がレンダリングされるので、視聴者は、応援に対して配信者アバターが自分に視線を向けたと感じることができる。配信者アバターが視聴者アバターに視線を向けた際、視線方向にビームまたはハートマークなどのエフェクトを表示してもよい。 The reaction unit 12 replaces the normal motion transmitted to the viewer terminal 5 of the cheering viewer with the reaction motion at a predetermined timing. The normal motion is a motion corresponding to the movement of the distributor detected by the HMD 100 and the controller 101. The reaction motion is a reaction motion stored in the reaction data storage unit 14 described later. The reaction unit 12 reads the reaction motion from the reaction data storage unit 14, converts it into an individual reaction motion for the cheering viewer avatar, and transmits it to the cheering viewer's viewer terminal 5. For example, as an example of the reaction to be performed by the distributor avatar, there is a motion in which the distributor avatar turns the line of sight (face) toward the viewer avatar and winks. Since the viewer renders the VR space from the viewpoint of the viewer avatar, the viewer can feel that the distributor avatar has turned his / her eyes to the cheering. When the distributor avatar looks at the viewer avatar, an effect such as a beam or a heart mark may be displayed in the direction of the line of sight.

リアクションの例としては、他にも、配信者アバターの体の向きを視聴者アバターに向ける、配信者アバターを視聴者アバターに近づける、などがある。視聴者の応援量(例えばギフトを送った量)に応じてリアクションを変えてもよい。リアクションモーションは、後述のリアクションデータ蓄積部14に蓄積されたモーションデータから選択する。リアクションモーション時に、配信者アバターは、応援していない視聴者アバターの方向を向かないようにしてもよい。 Other examples of reactions include turning the distributor avatar's body toward the viewer avatar and bringing the distributor avatar closer to the viewer avatar. The reaction may be changed according to the amount of support of the viewer (for example, the amount of gifts sent). The reaction motion is selected from the motion data stored in the reaction data storage unit 14 described later. During the reaction motion, the distributor avatar may not face the viewer avatar that is not supporting it.

リアクション部12は、配信者アバターにリアクションをさせるタイミングを配信者端末3から受信するリアクション信号に応じて決定する。あるいは、リアクション信号によらず、リアクション部12は、応援を検出後に所定の時間経過したタイミングをリアクションタイミングとしてもよい。リアクション部12は、配信者アバターの動きに応じてリアクションタイミングを決定してもよい。例えば、配信者アバターが両手を上に挙げたときをリアクションタイミングとする。 The reaction unit 12 determines the timing for causing the distributor avatar to react according to the reaction signal received from the distributor terminal 3. Alternatively, regardless of the reaction signal, the reaction unit 12 may set the timing at which a predetermined time has elapsed after detecting the support as the reaction timing. The reaction unit 12 may determine the reaction timing according to the movement of the distributor avatar. For example, the reaction timing is when the distributor avatar raises both hands.

配信者がリアクションモーションを送信してもよい。この場合、応援した視聴者の視聴者端末5には配信者端末3から受信したリアクションモーションを送信し、応援していない視聴者の視聴者端末5にはリアクションモーションを通常モーションに差し替えて送信する。 The distributor may send a reaction motion. In this case, the reaction motion received from the distributor terminal 3 is transmitted to the viewer terminal 5 of the supporting viewer, and the reaction motion is replaced with the normal motion and transmitted to the viewer terminal 5 of the viewer who does not support. ..

応援検出部13は、配信者を応援した視聴者を検出し、視聴者を応援した配信者の配信者アバターに対してリアクションモーションをするようにリアクション部12へ通知する。例えば、応援検出部13は、視聴者端末5から応援信号を受信することで視聴者の応援を検出する。応援検出部13は、視聴者アバターの動きに基づいて配信者に対する応援を検出してもよい。例えば、応援検出部13は、視聴者アバターが配信者アバターに対して大きく手を振ったときに、視聴者が配信者を応援したと検出する。あるいは、応援検出部13は、視聴者による声援を検出したときに、視聴者が配信者を応援したと検出してもよい。 The support detection unit 13 detects the viewer who supported the distributor, and notifies the reaction unit 12 to perform a reaction motion on the distributor avatar of the distributor who supported the viewer. For example, the support detection unit 13 detects the support of the viewer by receiving the support signal from the viewer terminal 5. The support detection unit 13 may detect support for the distributor based on the movement of the viewer avatar. For example, the support detection unit 13 detects that the viewer has supported the distributor when the viewer avatar waved greatly with respect to the distributor avatar. Alternatively, the cheering detection unit 13 may detect that the viewer cheered on the distributor when the cheering by the viewer was detected.

リアクションデータ蓄積部14は、リアクションモーションのデータを蓄積する。リアクションデータ蓄積部14は、複数種類のリアクションモーションを蓄積してもよい。 The reaction data storage unit 14 stores reaction motion data. The reaction data storage unit 14 may store a plurality of types of reaction motions.

配信者端末3は、VR機能部31およびリアクション指示部32を備える。 The distributor terminal 3 includes a VR function unit 31 and a reaction instruction unit 32.

VR機能部31は、VR空間をレンダリングする機能、配信者の動きをVR空間内の配信者アバターに反映する機能などのVR空間でのライブ配信に必要な機能を有する。例えば、VR機能部31は、HMD100で検出した配信者の頭の動きおよびコントローラ101で検出した配信者の手の動きに基づいて配信者アバターのモーションを決定し、サーバ1へモーションデータを送信する。 The VR function unit 31 has functions necessary for live distribution in the VR space, such as a function of rendering the VR space and a function of reflecting the movement of the distributor on the distributor avatar in the VR space. For example, the VR function unit 31 determines the motion of the distributor avatar based on the movement of the distributor's head detected by the HMD 100 and the movement of the distributor's hand detected by the controller 101, and transmits the motion data to the server 1. ..

リアクション指示部32は、配信者からリアクション操作を受け付けて、リアクション信号をサーバ1へ送信する。例えば、コントローラ101のボタンが操作されると、リアクション信号をサーバ1へ送信する。応援に対してリアクションを返すタイミングをサーバ1が判断する場合、配信者端末3は配信者からリアクション操作を受け付ける必要はない。 The reaction instruction unit 32 receives the reaction operation from the distributor and transmits the reaction signal to the server 1. For example, when the button of the controller 101 is operated, a reaction signal is transmitted to the server 1. When the server 1 determines the timing for returning a reaction to the support, the distributor terminal 3 does not need to accept the reaction operation from the distributor.

視聴者端末5は、VR機能部51および応援指示部52を備える。 The viewer terminal 5 includes a VR function unit 51 and a support instruction unit 52.

VR機能部51は、VR空間をレンダリングする機能、視聴者の動きをVR空間内の視聴者アバターに反映する機能などのVR空間でのライブ配信の視聴に必要な機能を有する。 The VR function unit 51 has functions necessary for viewing live distribution in the VR space, such as a function of rendering the VR space and a function of reflecting the movement of the viewer on the viewer avatar in the VR space.

応援指示部52は、視聴者から応援操作を受け付けて、応援信号をサーバ1へ送信する。応援指示部52は、必要に応じて、視聴者アバターに応援モーションをさせる。 The support instruction unit 52 receives the support operation from the viewer and transmits the support signal to the server 1. The support instruction unit 52 causes the viewer avatar to perform a support motion as needed.

視聴者の応援には、例えば、ギフトを送る、手を振るなどの行為が考えられる。視聴者がギフトを送ると、応援指示部52からサーバ1へ応援信号が送られる。コントローラ101のボタンに応援操作を割り当てておき、視聴者がそのボタンを操作すると、応援信号を送信するとともに、視聴者アバターに応援モーションをさせてもよい。 To support the viewer, for example, sending a gift or waving a hand can be considered. When the viewer sends a gift, a cheering signal is sent from the cheering instruction unit 52 to the server 1. A cheering operation may be assigned to a button of the controller 101, and when the viewer operates the button, a cheering signal may be transmitted and the viewer avatar may make a cheering motion.

サーバ1、配信者端末3、および視聴者端末5が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはサーバ1、配信者端末3、および視聴者端末5が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。 Each part included in the server 1, the distributor terminal 3, and the viewer terminal 5 may be configured by a computer provided with an arithmetic processing unit, a storage device, and the like, and the processing of each part may be executed by a program. This program is stored in a storage device included in the server 1, the distributor terminal 3, and the viewer terminal 5, and can be recorded on a recording medium such as a magnetic disk, an optical disk, or a semiconductor memory, or can be provided through a network. Is.

次に、図4のシーケンス図を参照し、ライブ配信の開始と視聴者の参加について説明する。 Next, the start of live distribution and the participation of viewers will be described with reference to the sequence diagram of FIG.

配信者が配信者端末3を用いてライブ配信を開始する操作を行うと、配信者端末3は、ライブ配信を開始することをサーバ1へ通知する(ステップS11)。 When the distributor performs an operation to start live distribution using the distributor terminal 3, the distributor terminal 3 notifies the server 1 that the live distribution is started (step S11).

ライブ配信が開始すると、配信者端末3は、配信者の操作および動きを検出し、配信者アバターを制御するためのモーションデータをサーバ1へ送信する(ステップS12)。サーバ1は、モーションデータをライブ配信を見ている視聴者端末5A〜5Cへ配信する。ライブ配信中は、配信者端末3からサーバ1へのモーションデータの送信およびサーバ1から視聴者端末5A〜5Cへのモーションデータの配信が継続して行われる。 When the live distribution starts, the distributor terminal 3 detects the operation and movement of the distributor and transmits motion data for controlling the distributor avatar to the server 1 (step S12). The server 1 distributes the motion data to the viewer terminals 5A to 5C watching the live distribution. During the live distribution, the motion data is continuously transmitted from the distributor terminal 3 to the server 1 and the motion data is continuously distributed from the server 1 to the viewer terminals 5A to 5C.

視聴者Aが視聴者端末5Aを用いて番組に参加する操作を行うと、視聴者端末5Aは、番組に参加することをサーバ1へ通知する(ステップS13)。 When the viewer A performs an operation to participate in the program using the viewer terminal 5A, the viewer terminal 5A notifies the server 1 that he / she will participate in the program (step S13).

視聴者Aが番組に参加すると、視聴者端末5Aは、視聴者の操作および動きを検出し、視聴者アバターを制御するためのモーションデータをサーバ1へ送信する(ステップS14)。サーバ1は、モーションデータを配信者端末3および他の視聴者端末5B,5Cへ配信する。番組に参加中は、視聴者端末5Aからサーバ1へのモーションデータの送信およびサーバ1から配信者端末3と視聴者端末5B,5Cへのモーションデータの配信が継続して行われる。 When the viewer A participates in the program, the viewer terminal 5A detects the operation and movement of the viewer and transmits motion data for controlling the viewer avatar to the server 1 (step S14). The server 1 distributes motion data to the distributor terminal 3 and other viewer terminals 5B and 5C. While participating in the program, the motion data is continuously transmitted from the viewer terminal 5A to the server 1 and the motion data is continuously distributed from the server 1 to the distributor terminals 3 and the viewer terminals 5B and 5C.

以下、視聴者Aの場合と同様に、視聴者Bが視聴者端末5Bを用いて番組に参加する操作を行うと、視聴者端末5Bは、番組に参加することをサーバ1へ通知し(ステップS15)、視聴者Bの視聴者アバターを制御するためのモーションデータのサーバ1への送信を開始する(ステップS16)。 Hereinafter, as in the case of the viewer A, when the viewer B performs an operation of participating in the program using the viewer terminal 5B, the viewer terminal 5B notifies the server 1 that he / she will participate in the program (step). S15), transmission of motion data for controlling the viewer avatar of viewer B to the server 1 is started (step S16).

視聴者Cが視聴者端末5Cを用いて番組に参加する操作を行うと、視聴者端末5Cは、番組に参加することをサーバ1へ通知し(ステップS17)、視聴者Cの視聴者アバターを制御するためのモーションデータのサーバ1への送信を開始する(ステップS18)。 When the viewer C performs an operation to participate in the program using the viewer terminal 5C, the viewer terminal 5C notifies the server 1 that he / she will participate in the program (step S17), and displays the viewer avatar of the viewer C. Transmission of motion data for control to the server 1 is started (step S18).

図5に、視聴者が参加したVR空間の様子を示す。同図に示すように、VR空間には、ステージ上の配信者アバター300だけでなく、ステージ下に番組に参加した視聴者アバター500A〜500Eが存在する。視聴者は、配信者アバター300だけでなく、番組に参加した視聴者A〜Eの視聴者アバター500A〜500Eも見ることができる。 FIG. 5 shows the state of the VR space in which the viewer participated. As shown in the figure, in the VR space, not only the distributor avatar 300 on the stage but also the viewer avatars 500A to 500E who participated in the program exist under the stage. The viewer can see not only the distributor avatar 300 but also the viewer avatars 500A to 500E of the viewers A to E who participated in the program.

配信者は、配信者アバター300の位置を視点としてVR空間を見ることができる。視聴者A〜Eは、視聴者アバター500A〜500Eのそれぞれの位置を視点としてVR空間を見ることができる。つまり、配信者端末3は、配信者アバター300の顔の位置および顔の向きに基づいてVR空間をレンダリングし、視聴者端末5は、視聴者アバター500A〜500Eのそれぞれの顔の位置および顔の向きに基づいてVR空間をレンダリングする。図5の場合、視聴者A〜Eは、それぞれ違った位置から違った角度で配信者アバター300を見ることになる。 The distributor can see the VR space from the position of the distributor avatar 300 as a viewpoint. Viewers A to E can see the VR space from the respective positions of the viewer avatars 500A to 500E. That is, the distributor terminal 3 renders the VR space based on the face position and face orientation of the distributor avatar 300, and the viewer terminal 5 renders the VR space based on the face position and face orientation of the viewer avatars 500A to 500E. Render the VR space based on the orientation. In the case of FIG. 5, the viewers A to E view the distributor avatar 300 from different positions and at different angles.

番組に参加していない視聴者の視点は、例えば、配信者がVR空間で任意の位置に設定した仮想カメラの位置とする。 The viewpoint of the viewer who is not participating in the program is, for example, the position of the virtual camera set by the distributor at an arbitrary position in the VR space.

次に、図6のシーケンス図を参照し、視聴者による応援と配信者によるリアクションについて説明する。 Next, with reference to the sequence diagram of FIG. 6, the support by the viewer and the reaction by the distributor will be described.

視聴者Aが視聴者端末5Aを操作して配信者を応援すると、視聴者端末5Aはサーバ1へ応援信号を送信し、サーバ1は視聴者Aから応援があったことを配信者端末3へ通知する(ステップS21)。このとき、視聴者B,Cは、配信者を応援していないとする。 When the viewer A operates the viewer terminal 5A to support the distributor, the viewer terminal 5A sends a support signal to the server 1, and the server 1 notifies the distributor terminal 3 that the viewer A has supported. Notify (step S21). At this time, it is assumed that the viewers B and C do not support the distributor.

配信者は視聴者Aが自分を応援してくれたことを確認すると、配信者端末3を操作してリアクション信号をサーバ1へ送信する(ステップS22)。配信者はリアクション信号を送信するリアクション操作を行うが、配信者自身がリアクションする必要はない。配信者端末3は、配信者の動きに応じた通常モーションをサーバ1へ送信する(ステップS23)。なお、サーバ1でリアクションタイミングを決める場合は、ステップS22のリアクション信号を送信する処理は不要である。 When the distributor confirms that the viewer A has supported himself / herself, the distributor operates the distributor terminal 3 to transmit a reaction signal to the server 1 (step S22). The distributor performs a reaction operation for transmitting a reaction signal, but the distributor does not have to react. The distributor terminal 3 transmits a normal motion according to the movement of the distributor to the server 1 (step S23). When the reaction timing is determined by the server 1, the process of transmitting the reaction signal in step S22 is unnecessary.

サーバ1は、リアクション信号を受信すると、応援信号を送信した視聴者端末5Aに対しては通常モーションをリアクションモーションに差し替えて送信し(ステップS24)、応援信号を送信していない視聴者端末5B,5Cに対しては通常モーションを送信する(ステップS25,S26)。応援信号を送信した視聴者端末5が複数存在する場合は、応援信号を送信した視聴者端末5のそれぞれに対して専用のリアクションモーションを送信する。 When the server 1 receives the reaction signal, the server 1 replaces the normal motion with the reaction motion and transmits the reaction signal to the viewer terminal 5A that has transmitted the support signal (step S24), and the viewer terminal 5B that does not transmit the support signal, A normal motion is transmitted to 5C (steps S25 and S26). When there are a plurality of viewer terminals 5 that have transmitted the cheering signal, a dedicated reaction motion is transmitted to each of the viewer terminals 5 that have transmitted the cheering signal.

図7に、配信者がリアクションしたVR空間の様子を示す。同図では、視聴者A,E(視聴者アバター500A,500E)が応援したものとする。 FIG. 7 shows the state of the VR space in which the distributor has reacted. In the figure, it is assumed that the viewers A and E (viewer avatars 500A and 500E) support.

配信者アバター300が応援に対するリアクションを返すタイミングで、応援した視聴者アバター500A,500Eに対しては、視聴者アバター500A,500Eのそれぞれに対して配信者アバター300は個別にリアクションする。具体的には、サーバ1は、配信者アバター300がリアクションする際、視聴者アバター500Aの視聴者端末5Aに対して視聴者アバター500A専用のリアクションモーションを送信し、視聴者アバター500Eの視聴者端末5Eに対して視聴者アバター500E専用のリアクションモーションを送信する。視聴者アバター500B,500C,500Dの視聴者端末5B,5C,5Dに対しては共通の通常モーションを送信する。視聴者Aの見るVR空間では配信者アバターは視聴者アバター500Aに近づいた配信者アバター300Aの状態である。視聴者Eの見るVR空間では配信者アバターは視聴者アバター500Eに近づいた配信者アバター300Eの状態である。視聴者B,C,Dの見るVR空間では配信者アバターはステージ中央に存在する配信者アバター300の状態である。つまり、配信者アバターがリアクションするとき、視聴者Aは視聴者アバター500A専用のリアクションモーションをした配信者アバター300Aが見え、視聴者Eは視聴者アバター500E専用のリアクションモーションをした配信者アバター300Eが見え、視聴者B,C,Dは通常モーションの配信者アバター300が見える。配信者アバターのリアクションが終わると、視聴者端末5A〜5Eには共通の配信者アバターの通常モーションが配信される。 At the timing when the distributor avatar 300 returns a reaction to the support, the distributor avatar 300 individually reacts to the supported viewer avatars 500A and 500E for each of the viewer avatars 500A and 500E. Specifically, when the distributor avatar 300 reacts, the server 1 transmits a reaction motion dedicated to the viewer avatar 500A to the viewer terminal 5A of the viewer avatar 500A, and the viewer terminal of the viewer avatar 500E. A reaction motion dedicated to the viewer avatar 500E is transmitted to 5E. A common normal motion is transmitted to the viewer terminals 5B, 5C, and 5D of the viewer avatars 500B, 500C, and 500D. In the VR space seen by the viewer A, the distributor avatar is in the state of the distributor avatar 300A approaching the viewer avatar 500A. In the VR space seen by the viewer E, the distributor avatar is in the state of the distributor avatar 300E approaching the viewer avatar 500E. In the VR space seen by the viewers B, C, and D, the distributor avatar is in the state of the distributor avatar 300 existing in the center of the stage. That is, when the distributor avatar reacts, the viewer A sees the distributor avatar 300A having a reaction motion dedicated to the viewer avatar 500A, and the viewer E sees the distributor avatar 300E having a reaction motion dedicated to the viewer avatar 500E. The viewers B, C, and D can see the normal motion distributor avatar 300. When the reaction of the distributor avatar is completed, the normal motion of the common distributor avatar is distributed to the viewer terminals 5A to 5E.

なお、リアクションモーションでは、配信者アバター300の位置を動かさなくても、視線を向ける、視聴者アバター500A,500Eのそれぞれに対して手を振るなどのモーションでもよい。この場合も、応援した視聴者アバター500A,500Eのそれぞれには専用のリアクションモーションが送信される。 The reaction motion may be a motion such as turning the line of sight or waving at each of the viewer avatars 500A and 500E without moving the position of the distributor avatar 300. Also in this case, a dedicated reaction motion is transmitted to each of the cheering viewer avatars 500A and 500E.

このように、配信者アバター300が応援に対してリアクションする時に、応援した視聴者アバター500A,500Eに対しては、専用のリアクションモーションを配信者アバター300A,300Eにさせて、応援していない視聴者アバター500B,500C,500Dに対するモーションと異ならせることで、視聴者A,Eのそれぞれは配信者アバターのリアクションを得られる。 In this way, when the distributor avatar 300 reacts to the support, the viewer avatars 500A and 500E that support the support are set to the distributor avatars 300A and 300E for the dedicated reaction motion, and the viewing is not supported. By making the motion different from the motion for the person avatars 500B, 500C, and 500D, each of the viewers A and E can obtain the reaction of the distributor avatar.

[第2の実施形態]
第2の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を視聴者端末が行う。全体的なシステム構成は第1の実施形態と同様である。
[Second Embodiment]
In the second embodiment, the viewer terminal performs a process of replacing the normal motion of the distributor avatar with the reaction motion. The overall system configuration is the same as in the first embodiment.

図8を参照し、第2の実施形態のライブ配信サービスで用いられるサーバ1、配信者端末3、および視聴者端末5の構成例について説明する。 A configuration example of the server 1, the distributor terminal 3, and the viewer terminal 5 used in the live distribution service of the second embodiment will be described with reference to FIG.

サーバ1は、配信部11を備える。配信部11は、第1の実施形態のサーバ1の配信部11と同様に、ライブ配信サービスに必要なデータの送受信を行う。 The server 1 includes a distribution unit 11. The distribution unit 11 transmits / receives data necessary for the live distribution service, similarly to the distribution unit 11 of the server 1 of the first embodiment.

配信者端末3は、VR機能部31を備える。VR機能部31は、第1の実施形態の配信者端末3のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。 The distributor terminal 3 includes a VR function unit 31. The VR function unit 31 has a function necessary for live distribution in the VR space, like the VR function unit 31 of the distributor terminal 3 of the first embodiment.

視聴者端末5は、VR機能部51、応援指示部52、リアクション部53、およびリアクションデータ蓄積部54を備える。 The viewer terminal 5 includes a VR function unit 51, a support instruction unit 52, a reaction unit 53, and a reaction data storage unit 54.

VR機能部51は、第1の実施形態の視聴者端末5のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。また、VR機能部51は、リアクション部53の指示により、サーバ1から受信した配信者アバターの通常モーションをリアクションモーションに差し替えて、VR空間をレンダリングする。 The VR function unit 51 has a function necessary for live distribution in the VR space, like the VR function unit 31 of the viewer terminal 5 of the first embodiment. Further, the VR function unit 51 renders the VR space by replacing the normal motion of the distributor avatar received from the server 1 with the reaction motion according to the instruction of the reaction unit 53.

応援指示部52は、視聴者から応援操作を受け付けて、リアクション部53へ通知する。応援指示部52は、必要に応じて、視聴者アバターに応援モーションをさせる。第1の実施形態とは、応援信号をサーバ1へ送信しない点で相違する。なお、応援指示部52は、第1の実施形態と同様に、応援信号をサーバ1へ送信してもよい。 The support instruction unit 52 receives the support operation from the viewer and notifies the reaction unit 53. The support instruction unit 52 causes the viewer avatar to perform a support motion as needed. It differs from the first embodiment in that the support signal is not transmitted to the server 1. The support instruction unit 52 may transmit the support signal to the server 1 as in the first embodiment.

リアクション部53は、応援指示部52が応援操作を入力すると、所定のタイミングで、サーバ1から配信される配信者アバターのモーションをリアクションモーションに差し替える。所定のタイミングは、リアクション部53が判定する。所定のタイミングとして、例えば、配信者アバターの応援モーションが終了したタイミングが考えられる。リアクションタイミングを決めるために、サーバ1または配信者端末3からリアクション信号を受信してもよい。 When the support instruction unit 52 inputs the support operation, the reaction unit 53 replaces the motion of the distributor avatar distributed from the server 1 with the reaction motion at a predetermined timing. The reaction unit 53 determines the predetermined timing. As a predetermined timing, for example, the timing at which the cheering motion of the distributor avatar ends can be considered. A reaction signal may be received from the server 1 or the distributor terminal 3 in order to determine the reaction timing.

リアクションデータ蓄積部54は、第1の実施形態のサーバ1のリアクションデータ蓄積部14と同様に、リアクションモーションのデータを蓄積する。 The reaction data storage unit 54 stores reaction motion data in the same manner as the reaction data storage unit 14 of the server 1 of the first embodiment.

次に、図9のフローチャートを参照し、視聴者端末5の処理について説明する。 Next, the processing of the viewer terminal 5 will be described with reference to the flowchart of FIG.

応援指示部52が応援操作を入力すると、視聴者アバターに配信者アバターを応援させるとともに、リアクション部53に配信者を応援したことを通知する(ステップS31)。配信者に視聴者が応援したことを知らせてもよい。 When the support instruction unit 52 inputs a support operation, the viewer avatar is made to support the distributor avatar, and the reaction unit 53 is notified that the distributor is supported (step S31). You may inform the distributor that the viewer has cheered you on.

リアクション部53は、リアクションタイミングであるか否か判定する(ステップS32)。 The reaction unit 53 determines whether or not it is the reaction timing (step S32).

リアクションタイミングになると、リアクション部53は、サーバ1から配信される配信者アバターのモーションをリアクションデータ蓄積部14に蓄積したリアクションモーションに差し替える(ステップS33)。 At the reaction timing, the reaction unit 53 replaces the motion of the distributor avatar delivered from the server 1 with the reaction motion accumulated in the reaction data storage unit 14 (step S33).

次に、図10のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。 Next, the reaction to the support by the viewer will be described with reference to the sequence diagram of FIG.

視聴者端末5Aは、視聴者Aから応援操作を入力する(ステップS41)。 The viewer terminal 5A inputs a support operation from the viewer A (step S41).

配信者端末3は、通常モーションをサーバ1へ送信し(ステップS42)、サーバ1は、通常モーションを視聴者端末5A〜5Cへ配信する(ステップS43〜S45)。 The distributor terminal 3 transmits the normal motion to the server 1 (step S42), and the server 1 distributes the normal motion to the viewer terminals 5A to 5C (steps S43 to S45).

視聴者端末5Aは、リアクションタイミングになると、サーバ1から配信される通常モーションをリアクションモーションに差し替える(ステップS46)。 At the reaction timing, the viewer terminal 5A replaces the normal motion delivered from the server 1 with the reaction motion (step S46).

このように、視聴者端末5Aで、応援を検出し、視聴者端末5A自身で配信者アバターのモーションをリアクションモーションに差し替えることでも、視聴者は、配信者アバターのリアクションを得られる。 In this way, the viewer can also obtain the reaction of the distributor avatar by detecting the support on the viewer terminal 5A and replacing the motion of the distributor avatar with the reaction motion by the viewer terminal 5A itself.

[第3の実施形態]
第3の実施形態は、配信者アバターの通常モーションをリアクションモーションへ差し替える処理を配信者端末が行う。第3の実施形態では、サーバ1を介さずに配信者端末3は視聴者端末5に対して直接ライブ配信を行っている。もちろん、サーバ1を介してライブ配信を行ってもよい。なお、第2の実施形態においても、サーバ1を介さずにライブ配信を行ってもよい。
[Third Embodiment]
In the third embodiment, the distributor terminal performs a process of replacing the normal motion of the distributor avatar with the reaction motion. In the third embodiment, the distributor terminal 3 directly performs live distribution to the viewer terminal 5 without going through the server 1. Of course, live distribution may be performed via the server 1. In the second embodiment as well, live distribution may be performed without going through the server 1.

図11を参照し、第3の実施形態のライブ配信サービスで用いられる配信者端末3、および視聴者端末5の構成例について説明する。図11では、視聴者端末5の数を1台としているが、実際には、配信者端末3は複数の視聴者端末5に対してライブ配信を行う。 With reference to FIG. 11, a configuration example of the distributor terminal 3 and the viewer terminal 5 used in the live distribution service of the third embodiment will be described. In FIG. 11, the number of viewer terminals 5 is set to one, but in reality, the distributor terminal 3 performs live distribution to a plurality of viewer terminals 5.

配信者端末3は、VR機能部31、リアクション指示部32、リアクション部33、応援検出部34、およびリアクションデータ蓄積部35を備える。 The distributor terminal 3 includes a VR function unit 31, a reaction instruction unit 32, a reaction unit 33, a support detection unit 34, and a reaction data storage unit 35.

VR機能部31は、第1の実施形態の配信者端末3のVR機能部31と同様に、VR空間でのライブ配信に必要な機能を有する。 The VR function unit 31 has a function necessary for live distribution in the VR space, like the VR function unit 31 of the distributor terminal 3 of the first embodiment.

リアクション指示部32は、配信者からリアクション操作を受け付けて、リアクション部33へ通知する。 The reaction instruction unit 32 receives the reaction operation from the distributor and notifies the reaction unit 33.

リアクション部33は、リアクション指示部32からの指示に応じて、応援した視聴者の視聴者端末5へ送信される通常モーションをリアクションモーションに差し替える。 The reaction unit 33 replaces the normal motion transmitted to the viewer terminal 5 of the cheering viewer with the reaction motion in response to the instruction from the reaction instruction unit 32.

応援検出部34は、配信者を応援した視聴者を検出し、視聴者を応援した配信者をリアクション部33へ通知する。 The support detection unit 34 detects the viewer who supported the distributor, and notifies the reaction unit 33 of the distributor who supported the viewer.

リアクションデータ蓄積部35は、第1の実施形態のサーバ1のリアクションデータ蓄積部14と同様に、リアクションモーションのデータを蓄積する。 The reaction data storage unit 35 stores reaction motion data in the same manner as the reaction data storage unit 14 of the server 1 of the first embodiment.

次に、図12のフローチャートを参照し、配信者端末3の処理について説明する。 Next, the processing of the distributor terminal 3 will be described with reference to the flowchart of FIG.

応援検出部34が、視聴者からの応援を検出するとリアクション部33へ通知し(ステップS51)、リアクション部33は、リアクション指示部32からの指示を待つ(ステップS52)。 When the support detection unit 34 detects support from the viewer, it notifies the reaction unit 33 (step S51), and the reaction unit 33 waits for an instruction from the reaction instruction unit 32 (step S52).

リアクション指示部32がリアクション操作を受け付けてリアクション部33へ通知すると、リアクション部33は、応援した視聴者の視聴者端末5に対してはリアクションデータ蓄積部35に蓄積したリアクションモーションを送信し(ステップS53)、応援していない視聴者の視聴者端末5に対しては通常モーションを送信する(ステップS54)。 When the reaction instruction unit 32 receives the reaction operation and notifies the reaction unit 33, the reaction unit 33 transmits the reaction motion accumulated in the reaction data storage unit 35 to the viewer terminal 5 of the cheering viewer (step). S53), a normal motion is transmitted to the viewer terminal 5 of the viewer who does not support (step S54).

次に、図13のシーケンス図を参照し、視聴者による応援に対するリアクションについて説明する。 Next, the reaction to the support by the viewer will be described with reference to the sequence diagram of FIG.

視聴者Aが視聴者端末5Aを操作して配信者を応援すると、視聴者端末5Aは配信者端末3へ応援信号を送信する(ステップS61)。 When the viewer A operates the viewer terminal 5A to support the distributor, the viewer terminal 5A transmits a support signal to the distributor terminal 3 (step S61).

配信者は視聴者Aが自分を応援してくれたことを確認すると、配信者端末3にリアクション操作を入力する(ステップS62)。 When the distributor confirms that the viewer A has supported himself / herself, the distributor inputs a reaction operation to the distributor terminal 3 (step S62).

配信者端末3は、応援信号を送信した視聴者端末5Aに対してはリアクションモーションを送信し(ステップS63)、他の視聴者端末5B,5Cに対しては通常モーションを送信する(ステップS64,S65)。 The distributor terminal 3 transmits a reaction motion to the viewer terminal 5A that has transmitted the cheering signal (step S63), and transmits a normal motion to the other viewer terminals 5B and 5C (step S64, step S64, S65).

以上がリアルタイム配信での実施各態様であるが、リアルタイム配信に限らず、過去に配信をした、あるいは配信のために用意されたVR空間での番組配信(「タイムシフト配信」とも呼ぶ)においても各実施形態は適用可能である。タイムシフト配信では、配信者アバターのモーションデータを含むVR空間レンダリングのためのデータをサーバあるいは他の構成に蓄積をしておく。サーバは、視聴者端末からの要求に応じてVR空間での番組の再生に必要なデータ(例えば、配信者の音声や配信者アバターのモーションデータ等)を視聴者端末へ配信する。視聴者端末は、受信したデータに基づいてVR空間をレンダリングし、番組を再生する。タイムシフト配信では、一時停止、巻き戻し、早送りなどの操作ができてもよい。 The above is the implementation mode in real-time distribution, but it is not limited to real-time distribution, but also in program distribution (also called "time-shift distribution") in the VR space that has been distributed in the past or prepared for distribution. Each embodiment is applicable. In time-shift distribution, data for VR space rendering including motion data of the distributor avatar is stored in a server or another configuration. The server distributes data (for example, distributor's voice, distributor avatar motion data, etc.) necessary for playing a program in the VR space to the viewer terminal in response to a request from the viewer terminal. The viewer terminal renders the VR space based on the received data and reproduces the program. In time-shift delivery, operations such as pause, rewind, and fast forward may be possible.

タイムシフト配信される番組のデータは事前に蓄積されたものであるが、各実施形態を適用することで、視聴者の応援に対するリアクションを配信者アバターにさせることができる。第2の実施形態のようにリアクションモーションデータが視聴者端末に蓄積されている場合、視聴者端末は視聴者による応援操作を検知すると、即座に、あるいは所定の時間経過後に、視聴者端末に予め蓄積した配信者アバターのリアクションモーションデータを読み出し、サーバから配信される配信者アバターのモーションデータをリアクションモーションデータに差し替える。これにより、配信者が視聴者の応援に答えたかのような演出を視聴者に見せることができる。配信者アバターのモーションを差し替え禁止する区間が設定されてもよい。例えば、配信者アバターが歌っている間はモーションの差し替えを禁止しておき、間奏中にリアクションモーションをさせる。タイムシフト配信で、視聴者が番組に参加していない場合、配信者アバターのリアクションモーションは、視聴者端末がVR空間をレンダリングする際の仮想カメラに向けたものとしてもよい。 The data of the program to be time-shifted is accumulated in advance, but by applying each embodiment, it is possible to make the distributor avatar react to the support of the viewer. When the reaction motion data is stored in the viewer terminal as in the second embodiment, when the viewer terminal detects the cheering operation by the viewer, the viewer terminal is in advance immediately or after a predetermined time has elapsed. The accumulated reaction motion data of the distributor avatar is read, and the motion data of the distributor avatar distributed from the server is replaced with the reaction motion data. As a result, it is possible to show the viewer the effect as if the distributor responded to the support of the viewer. A section may be set in which the motion of the distributor avatar is prohibited from being replaced. For example, the replacement of motion is prohibited while the distributor avatar is singing, and the reaction motion is made during the interlude. In the time-shifted distribution, when the viewer is not participating in the program, the reaction motion of the distributor avatar may be directed to the virtual camera when the viewer terminal renders the VR space.

タイムシフト配信を第1の実施形態および第3の実施形態に適用する場合も上記と同様に、リアクションモーションデータを蓄積したサーバまたは配信者端末が視聴者の応援を検知して、その視聴者端末に対してのみ配信者アバターのモーションをリアクションモーションに差し替えて送信する。 When the time-shift distribution is applied to the first embodiment and the third embodiment, the server or the distributor terminal accumulating the reaction motion data detects the support of the viewer and the viewer terminal is similarly described above. The motion of the distributor avatar is replaced with the reaction motion and sent only to.

以上説明したように、本実施形態によれば、視聴者アバターによる配信者アバターに対する応援を検出し、配信者アバターが応援に対するリアクションをする時に、応援した視聴者アバターに対してはリアクションモーションを行い、応援していない視聴者アバターに対してはリアクションモーションではない通常モーションを行うことにより、応援した視聴者アバターに対して個別にリアクションモーションが行われるので、視聴者は配信者からのリアクションをより確実に得ることができる。 As described above, according to the present embodiment, when the viewer avatar detects the support for the distributor avatar and the distributor avatar reacts to the support, the reaction motion is performed for the supported viewer avatar. By performing a normal motion that is not a reaction motion for the viewer avatar that does not support, the reaction motion is individually performed for the viewer avatar that supports it, so that the viewer can react more from the distributor. You can definitely get it.

なお、各実施形態では、差し替えたデータを含むVR空間のモーションデータ、外観データ、ボーンデータなどをサーバ1または配信者端末3から視聴者端末5へ送り、データを受信した視聴者端末5にてレンダリングを行う構成で説明したが、リアルタイム配信およびタイムシフト配信を用いた実施のいずれの場合においても、サーバ1または配信者端末3がVR空間をレンダリングしてもよい。例えば、サーバ1がモーションを差し替える第1の実施形態では、配信者端末3あるいは視聴者端末5からサーバ1に仮想カメラの位置および撮影方向等の情報を送信し、サーバ1が仮想カメラの情報に基づいてVR空間をレンダリングして画像を生成し、生成した画像を視聴者端末5へ送信するようにしてもよい。いずれの構成においても、応援が検知された視聴者端末5では、モーションをリアクションモーションに差し替えた上でレンダリングした画像を視聴することができる。第3の実施形態も同様に、配信者端末3がVR空間をレンダリングして画像を送信してもよい。 In each embodiment, motion data, appearance data, bone data, etc. in the VR space including the replaced data are sent from the server 1 or the distributor terminal 3 to the viewer terminal 5, and the viewer terminal 5 receives the data. Although the configuration for rendering has been described, the server 1 or the distributor terminal 3 may render the VR space in any of the cases of real-time distribution and implementation using time-shifted distribution. For example, in the first embodiment in which the server 1 replaces the motion, the distributor terminal 3 or the viewer terminal 5 transmits information such as the position and shooting direction of the virtual camera to the server 1, and the server 1 becomes the information of the virtual camera. Based on this, the VR space may be rendered to generate an image, and the generated image may be transmitted to the viewer terminal 5. In either configuration, the viewer terminal 5 in which cheering is detected can view the rendered image after replacing the motion with the reaction motion. Similarly, in the third embodiment, the distributor terminal 3 may render the VR space and transmit the image.

1…サーバ 11…配信部 12…リアクション部 13…応援検出部 14…リアクションデータ蓄積部 3…配信者端末 31…VR機能部 32…リアクション指示部 33…リアクション部 34…応援検出部 35…リアクションデータ蓄積部 5…視聴者端末 51…VR機能部 52…応援指示部 53…リアクション部 54…リアクションデータ蓄積部 100…HMD 101…コントローラ 1 ... Server 11 ... Distribution unit 12 ... Reaction unit 13 ... Support detection unit 14 ... Reaction data storage unit 3 ... Distributor terminal 31 ... VR function unit 32 ... Reaction instruction unit 33 ... Reaction unit 34 ... Support detection unit 35 ... Reaction data Storage unit 5 ... Viewer terminal 51 ... VR function unit 52 ... Support instruction unit 53 ... Reaction unit 54 ... Reaction data storage unit 100 ... HMD 101 ... Controller

Claims (7)

同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、
第1の視聴者アバターによる配信者アバターに対する応援を検出する応援検出部と、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるリアクション部と、を備える
ことを特徴とするコミュニケーション装置。
A communication device that communicates between a distributor avatar and a viewer avatar that exist in the same virtual space.
A support detection unit that detects support for the distributor avatar by the first viewer avatar, and
When the distributor avatar reacts to the support, the reaction to make the motion to be performed by the distributor avatar different between the motion to the first viewer avatar that supports and the motion to the second viewer avatar that does not support. A communication device characterized by having a department.
前記リアクション部は、前記配信者アバターを制御する配信者の指示するタイミングで、前記第1の視聴者アバターに対するモーションと前記第2の視聴者アバターに対するモーションとを異ならせる
ことを特徴とする請求項1に記載のコミュニケーション装置。
The claim is characterized in that the reaction unit makes the motion for the first viewer avatar different from the motion for the second viewer avatar at a timing instructed by the distributor who controls the distributor avatar. The communication device according to 1.
前記リアクション部は、前記第1の視聴者アバターに対するモーションと前記第2の視聴者アバターに対するモーションのいずれか一方は当該コミュニケーション装置が保持するモーションデータを用いる
ことを特徴とする請求項1または2に記載のコミュニケーション装置。
The reaction unit according to claim 1 or 2, wherein either the motion for the first viewer avatar or the motion for the second viewer avatar uses the motion data held by the communication device. Described communication device.
前記リアクション部は、前記第1の視聴者アバターの応援量に応じて前記第1の視聴者アバターに対するモーションを変える
ことを特徴とする請求項1乃至3のいずれかに記載のコミュニケーション装置。
The communication device according to any one of claims 1 to 3, wherein the reaction unit changes the motion for the first viewer avatar according to the amount of support of the first viewer avatar.
同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置であって、
配信者端末から前記配信者アバターのモーションを受信して配信し、視聴者端末から前記視聴者アバターのモーションを受信して配信する配信部と、
前記視聴者端末から前記配信者アバターへの応援信号を受信する応援検出部と、
前記配信者アバターの応援に対するリアクションモーションを送信する時に、前記応援信号を送信した視聴者端末に配信する前記配信者アバターのモーションと前記応援信号を送信していない視聴者端末に配信する前記配信者アバターのモーションとを異ならせるリアクション部と、を備える
ことを特徴とするコミュニケーション装置。
A communication device that communicates between a distributor avatar and a viewer avatar that exist in the same virtual space.
A distribution unit that receives and distributes the motion of the distributor avatar from the distributor terminal and receives and distributes the motion of the viewer avatar from the viewer terminal.
A support detection unit that receives a support signal from the viewer terminal to the distributor avatar, and
When transmitting the reaction motion for the support of the distributor avatar, the motion of the distributor avatar to be distributed to the viewer terminal that transmitted the support signal and the distributor that distributes to the viewer terminal that has not transmitted the support signal. A communication device characterized by having a reaction unit that makes the motion of the avatar different.
同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置によるコミュニケーション方法であって、
第1の視聴者アバターによる配信者アバターに対する応援を検出するステップと、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせるステップと、を有する
ことを特徴とするコミュニケーション方法。
It is a communication method using a communication device that communicates between the distributor avatar and the viewer avatar that exist in the same virtual space.
The step of detecting the support of the distributor avatar by the first viewer avatar, and
When the distributor avatar reacts to the support, the step of making the motion performed by the distributor avatar different between the motion for the first viewer avatar that supports the motion and the motion for the second viewer avatar that does not support the motion. A communication method characterized by having and.
同じ仮想空間に存在する配信者アバターと視聴者アバターとの間でコミュニケーションを取るコミュニケーション装置の各部としてコンピュータを動作させるコミュニケーションプログラムであって、
コンピュータに、
第1の視聴者アバターによる配信者アバターに対する応援を検出する処理と、
前記配信者アバターが応援に対するリアクションをする時に、前記配信者アバターに行わせるモーションを応援した前記第1の視聴者アバターに対するモーションと応援していない第2の視聴者アバターに対するモーションとで異ならせる処理と、
を実行させることを特徴とするコミュニケーションプログラム。
A communication program that operates a computer as each part of a communication device that communicates between a distributor avatar and a viewer avatar that exist in the same virtual space.
On the computer
The process of detecting the support of the distributor avatar by the first viewer avatar, and
When the distributor avatar reacts to the support, the process of making the motion performed by the distributor avatar different between the motion for the first viewer avatar that supports the motion and the motion for the second viewer avatar that does not support the motion. When,
A communication program characterized by the execution of.
JP2020001429A 2019-03-29 2020-01-08 Distribution device, viewer terminal, distribution method, information processing method, and program Active JP7309627B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020001429A JP7309627B2 (en) 2019-03-29 2020-01-08 Distribution device, viewer terminal, distribution method, information processing method, and program
JP2023109350A JP2023129445A (en) 2019-03-29 2023-07-03 Communication device, communication method, and communication program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019066719A JP6644928B1 (en) 2019-03-29 2019-03-29 Distribution server, viewer terminal, distributor terminal, distribution method, information processing method and program
JP2020001429A JP7309627B2 (en) 2019-03-29 2020-01-08 Distribution device, viewer terminal, distribution method, information processing method, and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019066719A Division JP6644928B1 (en) 2019-03-29 2019-03-29 Distribution server, viewer terminal, distributor terminal, distribution method, information processing method and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023109350A Division JP2023129445A (en) 2019-03-29 2023-07-03 Communication device, communication method, and communication program

Publications (3)

Publication Number Publication Date
JP2020166821A true JP2020166821A (en) 2020-10-08
JP2020166821A5 JP2020166821A5 (en) 2022-03-24
JP7309627B2 JP7309627B2 (en) 2023-07-18

Family

ID=87201206

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020001429A Active JP7309627B2 (en) 2019-03-29 2020-01-08 Distribution device, viewer terminal, distribution method, information processing method, and program
JP2023109350A Pending JP2023129445A (en) 2019-03-29 2023-07-03 Communication device, communication method, and communication program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023109350A Pending JP2023129445A (en) 2019-03-29 2023-07-03 Communication device, communication method, and communication program

Country Status (1)

Country Link
JP (2) JP7309627B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7053074B1 (en) 2021-05-10 2022-04-12 株式会社Vark Appreciation system, appreciation device and program
JP7152644B1 (en) 2021-05-31 2022-10-13 株式会社エーネクス SUPPORT SYSTEM, MANAGEMENT SERVER, TERMINAL DEVICE, SUPPORT METHOD AND SUPPORT PROGRAM

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090526A (en) * 2013-11-05 2015-05-11 株式会社 ディー・エヌ・エー Distribution system for content, distribution program, and distribution method
JP2018110324A (en) * 2017-01-04 2018-07-12 株式会社ドワンゴ Distribution system, distribution server, terminal and program
JP6469279B1 (en) * 2018-04-12 2019-02-13 株式会社バーチャルキャスト Content distribution server, content distribution system, content distribution method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090526A (en) * 2013-11-05 2015-05-11 株式会社 ディー・エヌ・エー Distribution system for content, distribution program, and distribution method
JP2018110324A (en) * 2017-01-04 2018-07-12 株式会社ドワンゴ Distribution system, distribution server, terminal and program
JP6469279B1 (en) * 2018-04-12 2019-02-13 株式会社バーチャルキャスト Content distribution server, content distribution system, content distribution method and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"会話活性度に基づくアバタ動作の統一的制御方法の検討", ヒューマンインタフェース学会研究報告集, vol. 11, no. 2, JPN6023001841, 14 May 2009 (2009-05-14), ISSN: 0004970738 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7053074B1 (en) 2021-05-10 2022-04-12 株式会社Vark Appreciation system, appreciation device and program
JP2022173870A (en) * 2021-05-10 2022-11-22 株式会社Vark Appreciation system, appreciation device, and program
US11641459B2 (en) 2021-05-10 2023-05-02 VARK Inc. Viewing system, distribution apparatus, viewing apparatus, and recording medium
JP7152644B1 (en) 2021-05-31 2022-10-13 株式会社エーネクス SUPPORT SYSTEM, MANAGEMENT SERVER, TERMINAL DEVICE, SUPPORT METHOD AND SUPPORT PROGRAM
JP2022184698A (en) * 2021-05-31 2022-12-13 株式会社エーネクス Support system, administrative server, terminal device, support method, and support program

Also Published As

Publication number Publication date
JP2023129445A (en) 2023-09-14
JP7309627B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
WO2020202616A1 (en) Communication device, communication method, and communication program
JP6759451B2 (en) Systems and methods to reduce the impact of human tracking device occlusion
JP6992845B2 (en) Information processing equipment, information processing methods, programs, and information processing systems
JP6469279B1 (en) Content distribution server, content distribution system, content distribution method and program
JP2023129445A (en) Communication device, communication method, and communication program
US20190073830A1 (en) Program for providing virtual space by head mount display, method and information processing apparatus for executing the program
JP6807455B2 (en) Information processing device and image generation method
JP2020036253A (en) Content distribution server, content distribution system, content distribution method, and program
JP2019186799A (en) Content distribution server, content distribution system, content distribution method, and program
JP2019141162A (en) Computer system
JP6688378B1 (en) Content distribution system, distribution device, reception device, and program
JP2020102236A (en) Content distribution system, receiving device and program
CN116964544A (en) Information processing device, information processing terminal, information processing method, and program
JP2020039112A (en) Content distribution server, content distribution system, content distribution method, and program
US11206452B2 (en) Video display system, information processing apparatus, and video display method
US11790588B2 (en) Display control device, display control method, and display system
JP6665273B1 (en) Content distribution system, receiving device, and program
JP2019185720A (en) Content distribution server, content distribution system, content distribution method, and program
JP2021068427A (en) Display control device, display control method, and display system
JP2020108177A (en) Content distribution system, distribution device, reception device, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230705

R150 Certificate of patent or registration of utility model

Ref document number: 7309627

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350