JP2020102236A - Content distribution system, receiving device and program - Google Patents

Content distribution system, receiving device and program Download PDF

Info

Publication number
JP2020102236A
JP2020102236A JP2020025388A JP2020025388A JP2020102236A JP 2020102236 A JP2020102236 A JP 2020102236A JP 2020025388 A JP2020025388 A JP 2020025388A JP 2020025388 A JP2020025388 A JP 2020025388A JP 2020102236 A JP2020102236 A JP 2020102236A
Authority
JP
Japan
Prior art keywords
content
effect
viewing position
viewing
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020025388A
Other languages
Japanese (ja)
Inventor
加藤 卓也
Takuya Kato
卓也 加藤
宣永 石川
Yoshinaga Ishikawa
宣永 石川
邦任 浅沼
Kunitaka Asanuma
邦任 浅沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ActEvolve Inc
Original Assignee
ActEvolve Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ActEvolve Inc filed Critical ActEvolve Inc
Priority to JP2020025388A priority Critical patent/JP2020102236A/en
Publication of JP2020102236A publication Critical patent/JP2020102236A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

To provide viewers with a highly entertaining viewing experience.SOLUTION: The content distribution system has a distribution unit that distributes a content that presents characters placed in three-dimensional space to a receiving device. A viewing position for viewing the three-dimensional space is set, and the content is reproduced and presented at the viewing position. Here, the content includes at least: a first part that provides a performance that does not define the viewing position as a part that provides the performance; and a second part that provides the performance for the predetermined viewing positions. For the second part, a control is performed so that the performance for the set viewing position is provided.SELECTED DRAWING: Figure 8

Description

本発明は、コンテンツ配信システム、受信装置及びプログラムに関し、特に両眼立体視コンテンツの配信技術に関する。 The present invention relates to a content distribution system, a receiving device, and a program, and particularly to a technology for distributing binocular stereoscopic content.

テレビ受像機やヘッドマウンテッドディスプレイ(HMD)等、両眼立体視を可能ならしめる機器が一般に流通しており、ユーザは、このような機器を用いることで両眼立体視コンテンツを手軽に鑑賞することが可能になってきている。特許文献1には、このような機器で鑑賞可能な3次元画像コンテンツを配信するコンテンツ配信システムが開示されている。 Devices that enable binocular stereoscopic vision, such as television receivers and head mounted displays (HMDs), are generally distributed, and users can easily enjoy binocular stereoscopic content by using such devices. Is becoming possible. Patent Document 1 discloses a content distribution system that distributes three-dimensional image content that can be viewed with such a device.

特開2016−212622号公報JP, 2016-212622, A

ところで、昨今では、カメラで撮影された動画や、ゲーム等のコンピュータグラフィックス(CG)が描画された画面をキャプチャした動画をリアルタイムに配信する、所謂ライブ配信が、様々なプラットフォームを用いて行われている。このようなライブ配信で提供されるコンテンツの中には、演者の表情や挙動をモーションとして検出し、これをキャラクタ等のCGに反映させることで、あたかもキャラクタが実在するかの如き鑑賞体験を提供するものもある。また、ライブ配信にて送信される情報が動画ストリームである態様に限らず、CGに適用するモーションや音声データを鑑賞を行う装置(クライアント)に送信し、クライアントにてCGの描画を行い、鑑賞用の画面を生成して提示する態様でも、同様の鑑賞体験を提供することができる。 By the way, in recent years, so-called live distribution, which distributes in real time a moving image captured by a camera and a moving image capturing a screen on which computer graphics (CG) such as a game is drawn, is performed using various platforms. ing. Among the contents provided by such live distribution, the facial expressions and behaviors of the performers are detected as motions and reflected in the CGs of the characters, etc., to provide a viewing experience as if the characters actually existed. Some do. In addition, the information transmitted in the live distribution is not limited to a mode in which the information is a moving image stream, and the motion and audio data applied to the CG is transmitted to the device (client) for viewing, and the client draws the CG for viewing. A similar viewing experience can also be provided in a mode in which a screen for use is generated and presented.

ここで、例えば、演者の挙動と連動するキャラクタがステージ上に配置された3次元空間を、該ステージ周囲に配置されたフロアに予め設定されたいずれかの視点位置から鑑賞可能なライブ配信を行う態様について考える。また、ステージ上のキャラクタが行うパフォーマンス等の演出は、例えばステージ上の中央で行われる等、いずれの視点位置においても均等に鑑賞可能に構成されているものとする。 Here, for example, a three-dimensional space in which a character interlocking with the behavior of the performer is placed on the stage can be viewed live from any preset viewpoint position on the floor placed around the stage. Consider aspects. Further, it is assumed that the performance such as the performance performed by the character on the stage is configured to be equally viewable at any viewpoint position, for example, at the center of the stage.

このような態様では、視点位置による演出の見え方の違いはあるものの、クライアントの使用ユーザ(鑑賞者)に対しては概ね均質な鑑賞体験を提供することができる。一方で、鑑賞者のコンテンツに対する関心を高めるためには、複数の鑑賞者が均質に鑑賞できることを前提とした演出だけでなく、例えば特定の鑑賞者に向けた特別な演出を含めることが好適である。 In such an aspect, although there is a difference in the appearance of the effect depending on the viewpoint position, a substantially uniform viewing experience can be provided to the user (viewer) who uses the client. On the other hand, in order to raise the viewer's interest in the content, it is preferable to include not only the effect that a plurality of viewers can view uniformly, but also a special effect for a specific viewer. is there.

しかしながら、上述のように、同時に複数の鑑賞者が種々の視点位置からキャラクタを鑑賞するような態様では、このような特別な演出を提供することは、かえって鑑賞者の関心を低減させる可能性もあった。より詳しくは、該演出の対象とならない視点位置から鑑賞する鑑賞者にとっては、例えば図6(a)に示されるように、演出が視認しづらくなることもあり、結果として、このような鑑賞者に不公平である印象を与え、コンテンツに対する関心を低減させてしまう可能性があった。 However, as described above, in a mode in which a plurality of viewers simultaneously view the character from various viewpoint positions, providing such a special effect may rather reduce the viewer's interest. there were. More specifically, for a viewer who views from a viewpoint position that is not the target of the effect, the effect may be difficult to see, as shown in FIG. 6A, for example. There was a possibility that it would give an unfair impression to and reduce interest in the content.

本発明は、上述の問題点に鑑みてなされたものであり、興趣性の高い演出の鑑賞体験を鑑賞者に好適に提供するコンテンツ配信システム、受信装置及びプログラムを提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a content distribution system, a receiving device, and a program that suitably provide a viewer with a highly enjoyable viewing experience.

前述の目的を達成するために、本発明に係るコンテンツ配信システムは、3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信されたコンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、受信装置は、配信装置と情報通信する第1の通信手段と、コンテンツについて、3次元空間を鑑賞する鑑賞位置を設定する設定手段と、設定手段により設定された鑑賞位置に基づくキャラクタの描画を含む、コンテンツの再生に係る処理を実行する再生手段と、再生されるコンテンツに係る演出を制御する演出制御手段と、再生されたコンテンツを提示する提示手段と、を有し、配信装置は、受信装置と情報通信する第2の通信手段を有し、コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、再生手段は、配信装置から開始指示が受信されたことに応じて、演出を提供するパートについての再生に係る処理を実行し、演出制御手段は、第2のパートについて、設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、設定手段により設定される鑑賞位置は、予め設けられた複数の鑑賞位置のうちから選択されるものであり、第2のパートに係る演出は、複数の鑑賞位置のそれぞれについて、該演出の提示に必要な情報が設けられており、再生手段は、第2のパートにおいて、設定手段により設定された鑑賞位置について設けられた演出の提示に必要な情報に基づいて、コンテンツの再生に係る処理を実行することを特徴とする。 In order to achieve the above-mentioned object, a content distribution system according to the present invention is a distribution device that distributes content that presents characters arranged in a three-dimensional space, and a distribution experience that receives the distributed content. And a receiver for providing a content distribution system, the receiver including first communication means for communicating information with the distributor, setting means for setting a viewing position for viewing the content in a three-dimensional space, Reproducing means for executing processing relating to content reproduction, including drawing of a character based on the viewing position set by the setting means, effect control means for controlling effect of the reproduced content, and presenting the reproduced content. And a second communication means for communicating information with the receiving device, and the content is a first part that provides an effect that does not define a viewing position as a part that provides an effect. At least a part and a second part that provides an effect for a predetermined viewing position, and the reproduction means reproduces the part that provides the effect in response to the reception of the start instruction from the distribution device. The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit, and the viewing position set by the setting unit is set to a plurality of preset viewing positions. Is selected from among the viewing positions, the information related to the second part is provided with information necessary for presenting the rendering for each of the plurality of viewing positions, and the reproduction means is the second. In the part (1), the processing relating to the reproduction of the content is executed based on the information necessary for presenting the effect provided for the viewing position set by the setting means.

前述の目的を達成するために、本発明に係る別のコンテンツ配信システムは、3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信されたコンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、受信装置は、配信装置と情報通信する第1の通信手段と、コンテンツについて、3次元空間を鑑賞する鑑賞位置を設定する設定手段と、設定手段により設定された鑑賞位置に基づくキャラクタの描画を含む、コンテンツの再生に係る処理を実行する再生手段と、再生されたコンテンツを提示する提示手段と、を有し、配信装置は、受信装置において再生されるコンテンツに係る演出を制御する演出制御手段と、受信装置と情報通信し、少なくともコンテンツに係る演出の提示に必要な情報を送信する第2の通信手段と、を有し、コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、再生手段は、配信装置から開始指示が受信されたことに応じて、演出を提供するパートについての再生に係る処理を実行し、第1の通信手段は、演出を提供するパートを含む再生に係る処理の実行に伴って、設定手段により設定された鑑賞位置の情報を配信装置に送信し、演出制御手段は、第2のパートについて、設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、第2のパートに係る演出は、1つの予め定められた鑑賞位置について、該演出の提示に必要な情報が設けられており、演出制御手段は、予め定められた鑑賞位置と設定手段により設定された鑑賞位置とが異なる場合に、設定手段により設定された鑑賞位置に対する演出となるように、第2のパートに係る演出の提示に必要な情報を変更することを特徴とする。 In order to achieve the above-mentioned object, another content distribution system according to the present invention distributes a content presenting a character arranged in a three-dimensional space, receives the distributed content, and distributes the content. A content distribution system having a receiving device for providing a viewing experience, wherein the receiving device sets a first communication means for communicating information with the distributing device and a setting means for setting a viewing position for viewing the content in a three-dimensional space. And a reproduction unit that executes a process relating to the reproduction of the content, including a drawing of the character based on the viewing position set by the setting unit, and a presentation unit that presents the reproduced content, and the distribution device includes: And a second communication unit that communicates information with the receiving device and that transmits at least information necessary for presenting the production related to the content, The content includes at least a first part that provides an effect that does not define a viewing position and a second part that provides an effect for a predetermined viewing position as a part that provides the effect, and the reproducing unit includes: In response to the reception of the start instruction from the distribution device, the first communication unit executes the process related to the reproduction of the part providing the effect, and the first communication unit executes the process related to the reproduction including the part providing the effect. Along with this, the information on the viewing position set by the setting means is transmitted to the distribution device, and the effect control means controls the second part so as to provide the effect for the viewing position set by the setting means. The effect relating to the part is provided with information necessary for presenting the effect for one predetermined viewing position, and the effect control means sets the viewing position set by the predetermined viewing position and the setting means. When the position is different, the information necessary for presenting the effect related to the second part is changed so that the effect corresponds to the viewing position set by the setting means.

このような構成により本発明によれば、興趣性の高い演出の鑑賞体験を鑑賞者に好適に提供することが可能となる。 According to the present invention having such a configuration, it is possible to suitably provide a viewer with a viewing experience with a highly entertaining effect.

本発明の実施形態に係るコンテンツ配信システムの構成を示した図The figure which showed the structure of the content delivery system which concerns on embodiment of this invention. 本発明の実施形態に係る配信クライアント100及びモーションキャプチャシステム400の機能構成を示したブロック図FIG. 3 is a block diagram showing the functional configurations of the distribution client 100 and the motion capture system 400 according to the embodiment of the present invention. 本発明の実施形態に係る受信クライアント200の機能構成を示したブロック図FIG. 3 is a block diagram showing a functional configuration of the receiving client 200 according to the embodiment of the present invention. 本発明の実施形態に係る接続サーバ300の機能構成を示したブロック図Block diagram showing the functional configuration of the connection server 300 according to an embodiment of the present invention 本発明の実施形態に係るコンテンツ配信システムで配信されるコンテンツに係る3次元空間を例示した図The figure which illustrated the three-dimensional space which concerns on the content delivered by the content delivery system which concerns on embodiment of this invention. 本発明の実施形態に係るコンテンツ配信システムで配信されるコンテンツの特殊演出パートにおける提示内容を説明するための図The figure for demonstrating the presentation content in the special effect part of the content delivered by the content delivery system which concerns on embodiment of this invention. 本発明の実施形態に係るコンテンツ配信システムで配信されるコンテンツの特殊演出パートにおける演出態様を説明するための図The figure for demonstrating the production aspect in the special production part of the content delivered by the content delivery system which concerns on embodiment of this invention. 本発明の実施形態1に係る受信クライアント200で行われる演出制御処理を例示したフローチャートThe flowchart which illustrated the production|presentation control process performed with the receiving client 200 which concerns on Embodiment 1 of this invention. 本発明の実施形態2に係る配信クライアント100で行われる演出制御処理を例示したフローチャートThe flowchart which illustrated the production|presentation control process performed with the delivery client 100 which concerns on Embodiment 2 of this invention.

[実施形態1]
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
[Embodiment 1]
Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The following embodiments do not limit the invention according to the claims, and all combinations of the features described in the embodiments are not necessarily essential to the invention. Two or more of the plurality of features described in the embodiments may be arbitrarily combined. Further, the same or similar configurations are denoted by the same reference numerals, and duplicated description will be omitted.

なお、以下に説明する一実施形態は、コンテンツ配信システムを構成する配信装置の一例としての、演者の挙動に連動したメインキャラクタを提示する、両眼立体視コンテンツのライブ配信を行うことが可能な配信クライアントと、受信装置の一例としての、該ライブ配信された両眼立体視コンテンツを鑑賞可能に構成された受信クライアントとに、本発明を適用した例を説明する。しかし、本発明は、多人数に同時に鑑賞がなされることを提示可能に構成されたコンテンツの鑑賞体験を提供することが可能な任意の機器群及びシステムに適用可能である。 It should be noted that one embodiment described below is capable of performing live distribution of binocular stereoscopic content, which presents a main character that is interlocked with the performer's behavior, as an example of a distribution device that constitutes a content distribution system. An example will be described in which the present invention is applied to a distribution client and a reception client configured to be able to view the live-distributed binocular stereoscopic content as an example of a reception device. However, the present invention can be applied to any device group and system capable of providing a content viewing experience configured so that it can be presented to a large number of people for viewing at the same time.

《コンテンツ配信システムの構成》
図1は、本発明の実施形態に係るコンテンツ配信システムのシステム構成を示した図である。図示されるように、コンテンツ配信システムは、ネットワーク500を介することで、配信クライアント100と接続サーバ300、接続サーバ300と複数の受信クライアント200の各々が通信可能に構成される。また配信クライアント100は、モーションキャプチャシステム400からの情報を取得可能に構成されている。
<Structure of content distribution system>
FIG. 1 is a diagram showing a system configuration of a content distribution system according to an embodiment of the present invention. As shown in the figure, the content distribution system is configured such that the distribution client 100 and the connection server 300 can communicate with each other, and the connection server 300 and the plurality of reception clients 200 can communicate with each other via the network 500. The distribution client 100 is also configured to be able to acquire information from the motion capture system 400.

コンテンツ配信システムにおいて、配信クライアント100は、演者の挙動に連動したメインキャラクタの提示及び演者が発した音声の提示を含むコンテンツの鑑賞体験を、ライブ配信として提供する。演者の挙動や音声の取得は、モーションキャプチャシステム400により行われるものとし、配信クライアント100は、モーションキャプチャシステム400から、演者の挙動に係るモーションデータと音声に係る音声データとを取得するものとする。 In the content distribution system, the distribution client 100 provides, as a live distribution, a content viewing experience including presentation of a main character and presentation of a voice uttered by the performer, which is linked to the behavior of the performer. The behavior of the performer and the acquisition of the voice are assumed to be performed by the motion capture system 400, and the distribution client 100 acquires the motion data regarding the behavior of the performer and the voice data regarding the voice from the motion capture system 400. ..

なお、本実施形態ではモーションキャプチャシステム400において挙動の計測が行われている演者が、配信するコンテンツに係るメインキャラクタの挙動と発する音声の両方を担当するものとして説明するが、これらは各々異なる演者によって行われるものであってよい。あるいは、演者によってリアルタイムに行われるものではなく、予め構成されたモーションデータや音声データを利用するものであってもよいことは言うまでもない。 In the present embodiment, the performer whose behavior is being measured in the motion capture system 400 will be described as being in charge of both the behavior of the main character relating to the content to be distributed and the voice uttered, but these are different performers. May be done by. Alternatively, it is needless to say that the performer does not need to perform it in real time, but may use motion data or voice data that is preconfigured.

本実施形態では受信クライアント200は、メインキャラクタを配置した3次元空間を、両眼立体視で鑑賞可能に構成されたHMD(Head Mounted Display)型デバイスであるものとし、ライブ配信されるコンテンツは、受信クライアント200を使用するユーザ(鑑賞ユーザ)の頭部の動きに連動して提示態様が変化する両眼立体視コンテンツであるものとして説明する。このため、本実施形態のコンテンツ配信システムでは、処理の効率化及び配信クライアント100の演算負荷の低減を実現すべく、ライブ配信は動画ストリーミング方式でなされるのではなく、受信クライアント200においてフレーム生成及び音声出力(コンテンツの再生)を行うために必要な情報を配信する方式で行われる。 In the present embodiment, the reception client 200 is assumed to be a HMD (Head Mounted Display) type device configured so that the three-dimensional space in which the main character is placed can be viewed with stereoscopic vision, and the content delivered live is It is assumed that the content is binocular stereoscopic content in which the presentation mode changes in association with the head movement of the user (viewing user) who uses the reception client 200. For this reason, in the content distribution system of the present embodiment, in order to improve the processing efficiency and reduce the calculation load of the distribution client 100, the live distribution is not performed by the video streaming method, but the reception client 200 generates the frame and It is performed by a method of distributing information necessary for outputting audio (reproduction of content).

コンテンツの再生に必要な情報は、リアルタイム性が要求されるような情報(演者に起因するモーションデータ、音声データ等)と、予め受信クライアント200に格納しておき、再生時に使用するそれ以外の情報(3次元モデルデータ、楽曲データ、演出データ、実時間で演者に起因しない固定的なモーションデータ等)とに分類することができる。本実施形態のコンテンツ配信システムでは、後者の情報は、鑑賞ユーザが受信クライアント200を用いて、鑑賞を所望するコンテンツの選択操作や決済操作を行ったことに応じて、事前に受信クライアント200にダウンロードされて格納されるものとする。 The information required to reproduce the content includes information that requires real-time processing (motion data, audio data, etc. caused by the performer) and other information that is stored in the reception client 200 in advance and used during reproduction. (3D model data, music data, performance data, fixed motion data in real time that is not attributed to the performer, etc.). In the content distribution system of the present embodiment, the latter information is downloaded to the receiving client 200 in advance in response to the viewing user using the receiving client 200 to perform a selection operation or a payment operation of the content desired to be viewed. Shall be stored.

受信クライアント200には、コントローラ240が無線接続されており、このようなコンテンツ選択に係る操作入力や、3次元空間中の鑑賞位置(描画に用いられる視点位置)の変更操作、鑑賞ユーザによるその他の操作入力を検出可能に構成されているものとする。本実施形態のコンテンツ配信システムにおいて配信クライアント100が提供するコンテンツは、その鑑賞体験中において、コントローラ240を用いた種々の操作入力が可能に構成されており、後述する通り、コントローラ240は該操作入力を検出可能な物理ボタン241を有し、受信クライアント200と無線通信する操作入力機器であるものとする。しかしながら、本発明の実施において、受信クライアント200とコントローラ240との接続方式や、コントローラ240の有無は、本実施形態の態様に限られるものではない。 A controller 240 is wirelessly connected to the reception client 200, and an operation input relating to such content selection, an operation of changing a viewing position (a viewpoint position used for drawing) in a three-dimensional space, and other operations by a viewing user. It is assumed that the operation input can be detected. The content provided by the distribution client 100 in the content distribution system of the present embodiment is configured so that various operation inputs can be performed using the controller 240 during the viewing experience. Is a manipulation input device that has a physical button 241 capable of detecting the. However, in the implementation of the present invention, the connection method between the reception client 200 and the controller 240 and the presence or absence of the controller 240 are not limited to the aspect of the present embodiment.

なお、本実施形態では、受信クライアント200が両眼立体視の鑑賞体験を提供可能な表示装置(表示部220)を備える、所謂眼鏡型のデバイスであるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、受信クライアント200は、配信されるコンテンツの鑑賞体験を提示すべく、該コンテンツの再生に係る処理を実行し、提示用の画面や音声を出力可能に構成された機器であればよく、実際にこれら画面や音声を提示する装置は、受信クライアント200の外部に接続された機器であってもよい。 In the present embodiment, the receiving client 200 is described as a so-called eyeglass-type device including a display device (display unit 220) capable of providing a binocular stereoscopic viewing experience. It is not limited to this. That is, the receiving client 200 may be any device configured to execute processing related to the reproduction of the content and output a presentation screen or sound in order to present the viewing experience of the distributed content. The device for presenting these screens and sounds may be a device connected to the outside of the receiving client 200.

接続サーバ300は、複数接続された受信クライアント200に対して、コンテンツの安定的なライブ配信を提供するために設けられた機器である。接続サーバ300は、接続中の受信クライアント200の管理と、配信クライアント100から受信クライアント200への情報送信、及び受信クライアント200から配信クライアント100への情報送信の管理とを実現するために用いられる。従って、本実施形態ではこれらの処理に係る処理負荷を配信クライアント100に課さないよう、接続サーバ300を導入した例について説明するが、本発明の実施はこれに限られるものではない。即ち、接続サーバ300が行う機能は、配信クライアント100が担っていてもよく、この場合、配信クライアント100と受信クライアント200とは、直接的に情報のやり取りを行うよう構成される。換言すれば、本発明の実施において、配信クライアント100と受信クライアント200との情報通信が、機器を介して行われるものであるか否かは、発明において必須の事項ではない。 The connection server 300 is a device provided to provide stable live distribution of content to a plurality of connected reception clients 200. The connection server 300 is used to realize management of the receiving client 200 being connected, information transmission from the distribution client 100 to the receiving client 200, and management of information transmission from the receiving client 200 to the distribution client 100. Therefore, in the present embodiment, an example will be described in which the connection server 300 is introduced so as not to impose the processing load related to these processes on the distribution client 100, but the present invention is not limited to this. That is, the function performed by the connection server 300 may be performed by the distribution client 100, and in this case, the distribution client 100 and the reception client 200 are configured to directly exchange information. In other words, in the implementation of the present invention, whether or not the information communication between the distribution client 100 and the reception client 200 is performed via a device is not an essential item in the invention.

ネットワーク500は、例えばインターネット等の公衆通信網やローカルエリアネットワーク(LAN)等において、装置間の情報通信を実現するものであってよい。本実施形態ではネットワーク500は、配信クライアント100と接続サーバ300の間の情報送受信と、受信クライアント200と接続サーバ300の間の情報送受信を、1つのネットワーク500を介することで実現する態様について説明するが、例えば配信クライアント100と接続サーバ300はLANにて接続され、受信クライアント200と接続サーバ300とは公衆通信網にて接続される等、異なるネットワーク500を利用して情報通信を行うものであってもよい。 The network 500 may realize information communication between devices in a public communication network such as the Internet or a local area network (LAN). In this embodiment, the network 500 describes a mode in which information transmission/reception between the distribution client 100 and the connection server 300 and information transmission/reception between the reception client 200 and the connection server 300 are realized through one network 500. However, for example, the distribution client 100 and the connection server 300 are connected by a LAN, the reception client 200 and the connection server 300 are connected by a public communication network, and information communication is performed using different networks 500. May be.

〈配信クライアントの機能構成〉
続いて、本実施形態のコンテンツ配信システムに係る配信クライアント100及びモーションキャプチャシステム400の機能構成について、図2のブロック図を用いて説明する。なお、本実施形態では、配信クライアント100は、図2に実線で示した構成を有し、破線で示した構成は有していないものとして説明する。
<Functional configuration of distribution client>
Next, the functional configurations of the distribution client 100 and the motion capture system 400 according to the content distribution system of this embodiment will be described using the block diagram of FIG. In the present embodiment, the distribution client 100 will be described as having the configuration shown by the solid line in FIG. 2 and not having the configuration shown by the broken line.

制御部101は、例えばCPUであり、配信クライアント100が有する各ブロックの動作を制御する。具体的には制御部101は、例えば記録媒体102に記録されている各ブロックの動作プログラムや、コンテンツのライブ配信を行うアプリケーション(配信アプリケーション)のプログラムを読み出し、メモリ103に展開して実行することにより各ブロックの動作を制御する。 The control unit 101 is, for example, a CPU, and controls the operation of each block included in the distribution client 100. Specifically, the control unit 101 reads out, for example, an operation program of each block recorded in the recording medium 102 or a program of an application (distribution application) that performs live distribution of content, expands it in the memory 103, and executes it. Controls the operation of each block.

記録媒体102は、例えば不揮発性メモリやHDD等の、恒久的にデータを保持可能な記録装置である。記録媒体102は、配信クライアント100が有する各ブロックの動作プログラム及び配信アプリケーションのプログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。メモリ103は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。メモリ103は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。 The recording medium 102 is a recording device such as a non-volatile memory or an HDD that can hold data permanently. The recording medium 102 stores information such as parameters necessary for the operation of each block, in addition to the operation program of each block of the distribution client 100 and the program of the distribution application. The memory 103 is a storage device used for temporary data storage, such as a volatile memory. The memory 103 is used not only as an expansion area for the operation program of each block, but also as a storage area for temporarily storing the data output in the operation of each block.

取得部104は、本実施形態のコンテンツ配信システムにおいて鑑賞体験が提供されるコンテンツについて、メインキャラクタに関するモーションデータ及び音声データを取得する。上述したように、メインキャラクタに関するモーションデータ及び音声データは、演者が装着した不図示のセンサやマイクを用いて、モーションキャプチャシステム400によって取得、及び配信クライアント100への出力がなされるものである。モーションキャプチャシステム400の機能構成は、図2に簡単に示されるが、演者に装着されたセンサに基づいて、演者の挙動(演者の身体の部位ごとの変化)を検出する検出部401と、マイクにより集音された演者の発した音声を取得する音声取得部402と、これらの情報を、配信クライアント100及び受信クライアント200にて利用可能なデータ形式に変換する変換部403とを含む。またモーションキャプチャシステム400は、変換部403により変換されて生成された、演者の挙動や発した音声と対応するモーションデータ及び音声データを配信クライアント100に対して出力する出力部404を有する。本実施形態では簡単のため、モーションキャプチャシステム400は配信クライアント100のインタフェースとして機能するものとし、固有の制御装置等を有しないものとして説明するが、独立したデバイスとして、制御装置等を有し、その動作が制御されるものであってもよいことは言うまでもない。 The acquisition unit 104 acquires motion data and audio data related to the main character for the content for which the viewing experience is provided in the content distribution system of this embodiment. As described above, the motion data and voice data related to the main character are acquired by the motion capture system 400 and output to the distribution client 100 using a sensor or a microphone (not shown) worn by the performer. The functional configuration of the motion capture system 400 is briefly shown in FIG. 2, but includes a detection unit 401 that detects the behavior of the performer (change of each part of the performer's body) based on a sensor attached to the performer, and a microphone. The audio acquisition unit 402 for acquiring the audio produced by the performer collected by the above, and the conversion unit 403 for converting this information into a data format usable by the distribution client 100 and the reception client 200. The motion capture system 400 also includes an output unit 404 that outputs, to the distribution client 100, motion data and voice data that are generated by being converted by the conversion unit 403 and that correspond to the behavior of the performer and the uttered voice. In the present embodiment, for the sake of simplicity, the motion capture system 400 is assumed to function as an interface of the distribution client 100 and does not have a unique control device or the like. However, the motion capture system 400 has a control device and the like as an independent device, It goes without saying that the operation may be controlled.

配信部105は、本実施形態のコンテンツ配信システムにおいて鑑賞体験が提供されるコンテンツのライブ配信を制御する。より詳しくは、配信部105は、ライブ配信を行う時間帯において、該コンテンツに係る鑑賞要求を行って接続サーバ300に接続している受信クライアント200に対して送信する情報を適宜構成し、送出する処理を行う。また配信部105は、コンテンツの鑑賞に係り受信クライアント200において実行する必要がある処理について、その開始命令等を必要なタイミングで送出するよう制御する。 The distribution unit 105 controls live distribution of content for which a viewing experience is provided in the content distribution system of this embodiment. More specifically, the distribution unit 105 appropriately configures and sends information to be transmitted to the reception client 200 connected to the connection server 300 by making a viewing request for the content in a time period during which live distribution is performed. Perform processing. Further, the distribution unit 105 controls to send a start command or the like at a necessary timing for processing that needs to be executed in the reception client 200 for viewing the content.

通信部106は、配信クライアント100が有する外部装置との通信インタフェースである。通信部106は、ネットワーク500(有線・無線を問わない)を介して外部装置と接続し、データの送受信を可能とすることができる。通信部106は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク500を介して接続サーバ300等の外部装置に送信する。また通信部106は、例えばネットワーク500を介して外部装置から情報を受信すると、該情報を復号し、メモリ103に格納する。 The communication unit 106 is a communication interface with the external device of the distribution client 100. The communication unit 106 can be connected to an external device via a network 500 (whether wired or wireless) and can transmit/receive data. The communication unit 106 converts, for example, information input as a transmission target into data in a predetermined format, and transmits the data to an external device such as the connection server 300 via the network 500. Further, when the communication unit 106 receives information from an external device via the network 500, for example, the communication unit 106 decodes the information and stores it in the memory 103.

〈受信クライアントの機能構成〉
次に、本実施形態のコンテンツ配信システムに係る受信クライアント200の機能構成について、図3のブロック図を用いて説明する。なお、受信クライアント200の機能構成の説明において、配信クライアント100が有する構成と同様の機能を実現する構成については、配信クライアント100の構成と峻別するために、「受信」との接頭文字を付して示すものとする。ここで、接頭文字として付す「受信」は、単に受信クライアント200の一構成であることを示すものであり、説明するブロックの機能を限定する用途で用いるものではない。また、本実施形態では、受信クライアント200は、図3に実線で示した構成と破線で示した構成の両方を有しているものとして説明する。
<Functional configuration of receiving client>
Next, the functional configuration of the reception client 200 according to the content distribution system of the present embodiment will be described using the block diagram of FIG. In the description of the functional configuration of the receiving client 200, the configuration that realizes the same function as the configuration of the distribution client 100 is prefixed with “reception” to distinguish it from the configuration of the distribution client 100. Shall be indicated. Here, “reception” added as a prefix indicates that the reception client 200 is simply a component, and is not used for limiting the functions of the blocks to be described. Further, in the present embodiment, the receiving client 200 will be described as having both the configuration shown by the solid line and the configuration shown by the broken line in FIG.

受信制御部201は、例えばCPUであり、受信クライアント200が有する各ブロックの動作を制御する。具体的には受信制御部201は、例えば受信記録媒体202に記録されている各ブロックの動作プログラムや、ライブ配信されたコンテンツの鑑賞体験を提供するアプリケーション(鑑賞アプリケーション)のプログラムを読み出し、受信メモリ203に展開して実行することにより各ブロックの動作を制御する。 The reception control unit 201 is, for example, a CPU, and controls the operation of each block included in the reception client 200. Specifically, the reception control unit 201 reads, for example, an operation program of each block recorded in the reception recording medium 202 or a program of an application (a viewing application) that provides a viewing experience of live-distributed content, and a reception memory The operation of each block is controlled by expanding it into 203 and executing it.

受信記録媒体202は、例えば不揮発性メモリやHDD等の、恒久的にデータを保持可能な記録装置である。受信記録媒体202は、受信クライアント200が有する各ブロックの動作プログラム及び鑑賞アプリケーションのプログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。受信メモリ203は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。受信メモリ203は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。 The reception recording medium 202 is a recording device capable of holding data permanently, such as a non-volatile memory or an HDD. The reception recording medium 202 stores, in addition to the operation program of each block and the viewing application program of the reception client 200, information such as parameters necessary for the operation of each block. The reception memory 203 is a storage device used for temporary data storage, such as a volatile memory. The reception memory 203 is used not only as an expansion area for the operation program of each block, but also as a storage area for temporarily storing the data output in the operation of each block.

設定部204は、ライブ配信されたコンテンツの鑑賞に係り、対応する3次元空間を鑑賞する鑑賞位置を設定する。鑑賞位置は、該3次元空間を描画して両眼立体視用の画像群を生成する際の基準となる視点位置に対応するものである。本実施形態では、図5に示されるように、3次元空間510内に予め定められた複数の鑑賞位置501a〜fのうちから、鑑賞ユーザが所望する鑑賞位置の選択操作を受け付け、それを設定するものとして説明するが、本発明の実施はこれに限られるものではない。鑑賞位置は、鑑賞ユーザによる選択操作に応じて設定されるものである必要はなく、コンテンツの鑑賞にあたり、例えば先着順や抽選によって設定部204によって割り当てられて設定されるものであってもよい。また本実施形態では、図5に示したような複数の鑑賞位置のうちから1つを選択するものとして説明するが、本発明の実施にあたり鑑賞位置は、例えば鑑賞ユーザによる視点移動操作や身体移動操作に応じて、任意の位置に変更可能に構成されていてもよい。 The setting unit 204 sets a viewing position for viewing the corresponding three-dimensional space in viewing the live-delivered content. The viewing position corresponds to a viewpoint position that serves as a reference when an image group for binocular stereoscopic vision is generated by drawing the three-dimensional space. In the present embodiment, as shown in FIG. 5, a viewing user selects a desired viewing position from a plurality of predetermined viewing positions 501a to 501f in a three-dimensional space 510 and sets it. However, the implementation of the present invention is not limited to this. The viewing position does not have to be set according to the selection operation by the viewing user, and may be set and allocated by the setting unit 204, for example, on a first-come-first-served basis or by lottery when viewing the content. Further, in the present embodiment, description will be made assuming that one is selected from the plurality of viewing positions as shown in FIG. 5. However, in carrying out the present invention, the viewing position is, for example, a viewpoint moving operation or a body movement by a viewing user. It may be configured to be changeable to any position according to the operation.

再生制御部205は、接続サーバ300を介して配信クライアント100から受信した情報を含む、コンテンツの再生に必要な情報を用いて、該コンテンツの再生に係る処理を実行する。コンテンツの再生に係る処理は、ライブ配信の1フレームに係る両眼立体視用の画像群の生成及び表示部220への表示と、対応する音声データの再生及び音声出力部230への出力とを含む。表示部220は、例えばLCD等の表示装置であり、音声出力部230は、例えばスピーカやイヤホン等の音声出力装置である。 The reproduction control unit 205 uses the information necessary for reproducing the content, including the information received from the distribution client 100 via the connection server 300, and executes the process related to the reproduction of the content. The process related to content reproduction includes generation of a binocular stereoscopic image group for one frame of live distribution and display on the display unit 220, reproduction of corresponding audio data, and output to the audio output unit 230. Including. The display unit 220 is a display device such as an LCD, for example, and the audio output unit 230 is an audio output device such as a speaker or earphone.

ここで、両眼立体視用の画像群(左眼用画像及び右眼用画像)の生成は、描画部206により行われる。描画部206は、例えばGPU等の描画装置であり、表示部220に表示させる左眼用画像及び右眼用画像を生成するために、所定の描画処理を行う。具体的には描画部206は、鑑賞アプリケーションにおいてコンテンツの鑑賞体験の提供が開始されると、メインキャラクタ及びモブキャラクタの描画オブジェクト(3次元モデルを含む)に対して必要な演算を行い、モーションを適用して3次元空間に配置し、設定された鑑賞位置に応じて定められた左眼用の視点と右眼用の視点について、該3次元空間を描画することで、両眼立体視用の画像群を生成する。 Here, the generation of the binocular stereoscopic image group (the image for the left eye and the image for the right eye) is performed by the drawing unit 206. The drawing unit 206 is, for example, a drawing device such as a GPU, and performs a predetermined drawing process to generate a left-eye image and a right-eye image to be displayed on the display unit 220. Specifically, when the viewing application starts providing the content viewing experience in the viewing application, the drawing unit 206 performs necessary calculations on the drawing objects (including the three-dimensional model) of the main character and the mob character to generate motion. By applying it and arranging it in a three-dimensional space, and drawing the three-dimensional space for the viewpoint for the left eye and the viewpoint for the right eye determined according to the set viewing position, Generate an image group.

このとき、左眼用の視点と右眼用の視点は、受信クライアント200を装着した鑑賞ユーザの頭部の動きを反映するため、例えば、加速度センサやジャイロセンサ等の、受信クライアント200に内蔵された視点制御用センサ210からのセンサ出力が反映されたものになる。設定部204によって設定された鑑賞位置は、該鑑賞位置に対応付けられた3次元空間中の領域(鑑賞を行う領域)と、該領域について予め定められた、両眼立体視用の画像群を生成する際の基準の視点位置及び視線方向を特定するものであり、没入感の高い両眼立体視コンテンツの鑑賞体験の提供のためには、該基準の視点位置及び視線方向を、鑑賞ユーザの頭部の動きに応じて変化させることが好適である。従って、該基準の視点位置及び視線方向に対して、視点制御用センサ210からのセンサ出力に基づく並進及び回転を適用した後、適用後の視点位置を中点として眼間距離相当分離間させ、適用後の視線方向を有する2つの視点が、左眼用の視点と右眼用の視点となる。 At this time, the viewpoint for the left eye and the viewpoint for the right eye reflect the movement of the head of the viewing user who wears the receiving client 200, and thus are incorporated in the receiving client 200 such as an acceleration sensor or a gyro sensor. The sensor output from the viewpoint control sensor 210 is reflected. The viewing position set by the setting unit 204 includes a region in the three-dimensional space associated with the viewing position (a region where viewing is performed) and a binocular stereoscopic image group predetermined for the region. The reference viewpoint position and the line-of-sight direction at the time of generation are specified. In order to provide a viewing experience of binocular stereoscopic content with a high immersive feeling, the reference viewpoint position and the line-of-sight direction of the viewing user are set. It is preferable to change it according to the movement of the head. Therefore, after applying the translation and rotation based on the sensor output from the viewpoint control sensor 210 to the reference viewpoint position and the line-of-sight direction, the viewpoint position after application is set as the middle point and the eye-to-eye distances equivalent separation is performed. The two viewpoints having the line-of-sight direction after application are the viewpoint for the left eye and the viewpoint for the right eye.

例えば、表示部220の表示領域を分割して左眼用と右眼用の画像を表示し、これを所定の光学系を介して鑑賞させることで両眼立体視を実現する態様では、描画部206は、生成した両眼立体視用の画像群を、1つの画面を構成するよう並列に結合することで、最終的な画面を生成する。再生制御部205は、このようにして生成された、該当のフレームに係る画面の画像を表示部220に順次表示することで、両眼立体視コンテンツの提示を実現する。 For example, in a mode in which the display area of the display unit 220 is divided to display left-eye and right-eye images and the images are viewed through a predetermined optical system, stereoscopic vision is realized. 206 generates a final screen by combining the generated binocular stereoscopic image groups in parallel to form one screen. The reproduction control unit 205 realizes the presentation of the binocular stereoscopic content by sequentially displaying, on the display unit 220, the image of the screen corresponding to the frame generated in this way.

操作検出部207は、例えば電源ボタンやメニューボタン等の、受信クライアント200が有するユーザインタフェースである。操作検出部207は、操作部材に対する操作入力がなされたことを検出すると、該操作入力に対応する制御信号を受信制御部201に出力する。また、本実施形態では受信クライアント200は、無線接続されたコントローラ240を含んでおり、該コントローラ240の有する物理的な操作部材である物理ボタン241になされた操作入力も、操作検出部207が検出する。 The operation detection unit 207 is a user interface included in the reception client 200, such as a power button and a menu button. When the operation detection unit 207 detects that an operation input has been made to the operation member, the operation detection unit 207 outputs a control signal corresponding to the operation input to the reception control unit 201. Further, in the present embodiment, the reception client 200 includes the controller 240 wirelessly connected, and the operation detection unit 207 also detects an operation input made to the physical button 241 which is a physical operation member of the controller 240. To do.

演出制御部208は、本実施形態のコンテンツ配信システムにてライブ配信されるコンテンツに係る演出を制御する。詳細は後述するが、ライブ配信されるコンテンツには、メインキャラクタが歌唱する演出を提供するパートが含まれおり、演出制御部208は、主として該パートにおける演出制御を行う。 The effect control unit 208 controls the effect related to the content that is live-distributed by the content distribution system of this embodiment. Although details will be described later, the content delivered live includes a part that provides an effect sung by the main character, and the effect control unit 208 mainly performs effect control in the part.

受信通信部209は、受信クライアント200が有する外部装置との通信インタフェースである。受信通信部209は、ネットワーク500(有線・無線を問わない)を介して外部装置と接続し、データの送受信を可能とすることができる。受信通信部209は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク500を介して接続サーバ300等の外部装置に送信する。また受信通信部209は、例えばネットワーク500を介して外部装置から情報を受信すると、該情報を復号し、受信メモリ203に格納する。 The reception communication unit 209 is a communication interface with the external device of the reception client 200. The reception communication unit 209 can be connected to an external device via a network 500 (whether wired or wireless) to enable data transmission/reception. The reception communication unit 209 converts, for example, the information input as a transmission target into data in a predetermined format, and transmits the data to an external device such as the connection server 300 via the network 500. Further, when receiving information from an external device via the network 500, for example, the reception communication unit 209 decodes the information and stores it in the reception memory 203.

〈接続サーバの機能構成〉
次に、本実施形態のコンテンツ配信システムに係る接続サーバ300の機能構成について、図4のブロック図を用いて説明する。なお、接続サーバ300の機能構成の説明において、配信クライアント100及び受信クライアント200が有する構成と同様の機能を実現する構成については、これらの機器の構成と峻別するために、「接続」との接頭文字を付して示すものとする。ここで、接頭文字として付す「接続」は、単に接続サーバ300の一構成であることを示すものであり、説明するブロックの機能を限定する用途で用いるものではない。
<Functional configuration of connection server>
Next, the functional configuration of the connection server 300 according to the content distribution system of the present embodiment will be described using the block diagram of FIG. In the description of the functional configuration of the connection server 300, a configuration that realizes the same function as the configuration of the distribution client 100 and the reception client 200 has a prefix “connection” in order to distinguish it from the configuration of these devices. It shall be shown with letters. Here, the "connection" added as a prefix indicates merely one configuration of the connection server 300, and is not used for limiting the functions of the blocks to be described.

接続制御部301は、例えばCPUであり、接続サーバ300が有する各ブロックの動作を制御する。具体的には接続制御部301は、例えば接続記録媒体302に記録されている各ブロックの動作プログラムを読み出し、接続メモリ303に展開して実行することにより各ブロックの動作を制御する。 The connection control unit 301 is, for example, a CPU and controls the operation of each block included in the connection server 300. Specifically, the connection control unit 301 controls the operation of each block, for example, by reading out the operation program of each block recorded in the connection recording medium 302, expanding it in the connection memory 303, and executing it.

接続記録媒体302は、例えば不揮発性メモリやHDD等の、恒久的にデータを保持可能な記録装置である。接続記録媒体302は、接続サーバ300が有する各ブロックの動作プログラムに加え、各ブロックの動作において必要となるパラメータ等の情報を記憶する。接続メモリ303は、例えば揮発性メモリ等の一時的なデータ記憶に使用される記憶装置である。接続メモリ303は、各ブロックの動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力されたデータ等を一時的に記憶する格納領域としても用いられる。 The connection recording medium 302 is a recording device capable of holding data permanently, such as a non-volatile memory or an HDD. The connection recording medium 302 stores information such as parameters necessary for the operation of each block, in addition to the operation program of each block included in the connection server 300. The connection memory 303 is a storage device used for temporary data storage, such as a volatile memory. The connection memory 303 is used not only as an expansion area for the operation program of each block, but also as a storage area for temporarily storing the data output in the operation of each block.

通信制御部304は、後述の接続通信部305を介して外部装置から受信した情報をいずれの装置に送信するかの制御、及び現在コンテンツ鑑賞を行っている受信クライアント200の管理等、本実施形態のコンテンツ配信システムにおけるコンテンツの鑑賞体験の提供を実現するために、通信に係る必要な処理を行う。なお、本実施形態では簡単のため、コンテンツ配信システムが配信するコンテンツが1種類であるものとして説明するが、本発明の実施はこれに限られるものではなく、接続サーバ300を介して提供されるコンテンツは複数種類あってもよい。この場合、コンテンツごとに配信クライアント100とモーションキャプチャシステム400の組み合わせが設けられるものであってよい。 The communication control unit 304 controls to which device the information received from the external device is transmitted via the connection communication unit 305, which will be described later, and management of the receiving client 200 currently viewing the content. In order to provide a content viewing experience in the content distribution system, the necessary processing related to communication is performed. Note that, for the sake of simplicity, in the present embodiment, description will be made assuming that there is only one type of content distributed by the content distribution system, but the present invention is not limited to this, and is provided via the connection server 300. There may be multiple types of content. In this case, a combination of the distribution client 100 and the motion capture system 400 may be provided for each content.

接続通信部305は、接続サーバ300が有する外部装置との通信インタフェースである。接続通信部305は、ネットワーク500(有線・無線を問わない)を介して外部装置と接続し、データの送受信を可能とすることができる。接続通信部305は、例えば送信対象として入力された情報を所定の形式のデータに変換し、ネットワーク500を介して配信クライアント100、受信クライアント200等の外部装置に送信する。また接続通信部305は、例えばネットワーク500を介して外部装置から情報を受信すると、該情報を復号し、接続メモリ303に格納する。 The connection communication unit 305 is a communication interface with an external device included in the connection server 300. The connection communication unit 305 can connect to an external device via a network 500 (whether wired or wireless) and can transmit/receive data. The connection communication unit 305 converts, for example, information input as a transmission target into data in a predetermined format, and transmits the data to an external device such as the distribution client 100 and the reception client 200 via the network 500. Further, when the connection communication unit 305 receives information from an external device via the network 500, for example, the connection communication unit 305 decodes the information and stores it in the connection memory 303.

《提供コンテンツの概要》
次に、このような構成を有する本実施形態のコンテンツ配信システムの、受信クライアント200で提供されるコンテンツの鑑賞体験について具体的に説明する。
<Summary of provided contents>
Next, the experience of viewing the content provided by the receiving client 200 in the content distribution system of this embodiment having such a configuration will be specifically described.

本実施形態で一例として説明するコンテンツは、図5に示されるように、演者の挙動や音声と連動するメインキャラクタ502が、主として3次元空間中のステージ503上に配置され、マイクパフォーマンスと歌唱パフォーマンスを行う様子の鑑賞を、鑑賞ユーザに可能ならしめる両眼立体視コンテンツである。受信クライアント200に対して割り当てられる鑑賞位置501は、図示されるように、ステージ503の周囲に設けられたフロア(客席)504に設けられており、鑑賞ユーザが、基本的にはステージ503よりも低い位置からメインキャラクタ502を鑑賞可能なように、コンテンツは構成されている。 In the content described as an example in the present embodiment, as shown in FIG. 5, a main character 502 that is interlocked with a performer's behavior and voice is placed mainly on a stage 503 in a three-dimensional space, and a microphone performance and a singing performance are performed. This is a binocular stereoscopic content that enables the viewing user to view the content. The viewing position 501 assigned to the receiving client 200 is provided on the floor (passenger seat) 504 provided around the stage 503 as shown in the figure, and the viewing user is basically more than the stage 503. The content is configured so that the main character 502 can be viewed from a lower position.

即ち、コンテンツに係り構成される3次元空間は、図示されるように所謂ライブハウスやコンサートホールのような空間を模して各種描画オブジェクトが配置されており、鑑賞ユーザは、両眼立体視で該3次元空間を鑑賞することで、あたかもメインキャラクタ502の出演するコンサートライブに足を運んでいるかの如き鑑賞体験を得ることができる。本実施形態のコンテンツでは、該鑑賞体験の臨場感をより高めるべく、またコンテンツの賑やかし要素として、同様にコンサートライブを鑑賞している存在を示すモブ(群衆)キャラクタ505が、フロア504には配置される。 That is, in the three-dimensional space configured for the contents, various drawing objects are arranged in a modeled space such as a so-called live house or concert hall as shown in the figure, and the viewing user can see the stereoscopic image with both eyes. By viewing the three-dimensional space, it is possible to obtain a viewing experience as if one were visiting a concert live in which the main character 502 appears. In the content of the present embodiment, a mob (crowd) character 505 indicating that a concert live is being similarly viewed is arranged on the floor 504 in order to further enhance the realism of the viewing experience and as a lively element of the content. To be done.

コンテンツは、メインキャラクタ502がマイクパフォーマンスを行うMCパートと、メインキャラクタ502が歌唱パフォーマンスを行うライブパートとに分かれて構成されている。本実施形態では、このうちMCパートについてのみ、演者が実時間で発している音声と挙動を反映させるよう、モーションキャプチャシステム400により取得されたモーションデータ及び音声データが配信され、受信クライアント200において描画制御に用いられるものとして説明する。一方、ライブパートは、例えば宙に浮く演出や瞬間移動する演出等、演者が実際に行う挙動のみでは実現困難なものを含む、興趣性の高い演出を提供すべく、予め構成されたモーションデータ及び音声データを適用することで提供されるものとして説明する。即ち、本実施形態のコンテンツにおけるライブパートは、モーションキャプチャシステム400により演者について実時間に取得されたモーションデータ及び音声データを再生に係る処理において用いず、コンテンツ鑑賞に先立って、あるいはライブパートに先立って予め受信メモリ203等に格納されたモーションデータ及び音声データを用いて提示可能に構成されるものとする。ここで、ライブパートの再生に係る処理に使用されるモーションデータ及び音声データは、演者の挙動及び音声を予め実計測して記録したものを加工することによって構成されたものであってもよい。 The content is divided into an MC part in which the main character 502 performs a microphone performance and a live part in which the main character 502 performs a singing performance. In this embodiment, the motion data and the voice data acquired by the motion capture system 400 are distributed so that the voice and the behavior of the performer in real time are reflected only for the MC part, and the drawing is performed by the receiving client 200. It will be described as one used for control. On the other hand, the live part includes motion data and pre-configured motion data that are highly entertaining, such as those that are difficult to achieve only by the behavior actually performed by the performer, such as effects that float in the air and effects that move momentarily. It will be described as being provided by applying voice data. That is, the live part in the content of the present embodiment is not used in the processing related to the reproduction of the motion data and the audio data obtained in real time by the motion capture system 400 for the performer, and the content is watched before the content or before the live part. It is configured such that it can be presented using motion data and voice data stored in advance in the reception memory 203 or the like. Here, the motion data and the audio data used for the processing related to the reproduction of the live part may be configured by processing what the actor's behavior and audio are actually measured and recorded in advance.

このように、本実施形態では説明を簡単にすべく、実計測した演者の挙動や音声そのものを反映させて提示するか、または、実計測に基づかずに構成された、あるいは演者の実計測により得られたものを加工することで構成された挙動や音声を反映させて提示するかの観点で、コンテンツをMCパートとライブパートとに分け、後者を本発明に係る演出を提供するパートであるものとして説明する。 As described above, in the present embodiment, in order to simplify the explanation, the behavior and the voice itself of the actually measured performer are reflected or presented, or the presenter is configured not based on the actual measurement, or by the actual measurement of the performer. The content is divided into an MC part and a live part, and the latter is a part for providing the effect according to the present invention, from the viewpoint of reflecting the behavior or the sound constituted by processing the obtained one and presenting the same. It will be described as a thing.

また、MCパートとライブパートとは、コンテンツの鑑賞体験の提供期間、交互に複数回現れるものであってよい。本実施形態のコンテンツ配信システムでは、MCパートでは、演者に係り実計測されたモーションデータ及び音声データを配信クライアント100から受信したことを受けて、再生制御部205はこれを反映した再生に係る処理を実行するが、ライブパートに関しては配信クライアント100からの演者に係る実計測情報の取得を要さずに、予め格納したデータを用いて受信クライアント200内で再生に係る処理を完結することができる。一方で、多人数が鑑賞するライブ配信の提供にあたっては、受信クライアント200間で進行状況が同期され、鑑賞ユーザの一体感が担保されることが好ましいものであるため、少なくともMCパートからライブパートに切り替わる際には、配信クライアント100から接続サーバ300を介して、各受信クライアント200にライブパートの開始指示がなされるものとする。 Further, the MC part and the live part may alternately appear a plurality of times during the period of providing the content viewing experience. In the content distribution system according to the present embodiment, in the MC part, in response to the fact that the motion data and the audio data actually measured by the performer are received from the distribution client 100, the reproduction control unit 205 performs the processing related to the reproduction. However, with regard to the live part, it is possible to complete the processing relating to the reproduction in the receiving client 200 using the data stored in advance, without the need to acquire the actual measurement information relating to the performer from the distribution client 100. .. On the other hand, in providing a live distribution for viewing by a large number of people, it is preferable that the progress statuses are synchronized between the receiving clients 200 and the viewing user's sense of unity is secured. At the time of switching, it is assumed that the distribution client 100 gives an instruction to start each live part to each reception client 200 via the connection server 300.

なお、本実施形態ではライブパートには、実時間でモーションキャプチャシステム400により演者について取得されたモーションデータ及び音声データを用いないものとして説明したが、本発明の実施はこれに限られるものではないことは容易に理解されよう。例えば、ライブパートにおいて適用されるモーションデータは予め格納されたものを利用し、音声データは実時間で取得されたものを利用するものとしてもよい。この場合、例えばメインキャラクタ502のモデルの口唇部の状態制御は、音声データに基づいて行われるものとしてもよい。 In the present embodiment, the live part does not use the motion data and audio data acquired by the motion capture system 400 for the performer in real time. However, the present invention is not limited to this. It's easy to understand. For example, the motion data applied in the live part may be stored in advance, and the voice data may be acquired in real time. In this case, for example, the state control of the lip portion of the model of the main character 502 may be performed based on the voice data.

〈ライブパートの演出態様〉
また、本実施形態のシステムにおいて鑑賞体験が提供されるコンテンツのライブパートは、鑑賞ユーザのコンテンツに対する関心を高めるため、少なくとも2種類の演出パートを含むものとする。
<Direction of live part>
Further, the live part of the content for which the viewing experience is provided in the system of the present embodiment includes at least two types of effect parts in order to raise the interest of the viewing user for the content.

1つ目は、本発明に係る第1のパートとしての通常演出パートであり、歌唱パフォーマンス中のメインキャラクタ502を用いた演出のうち、好ましい鑑賞位置を特に定めていない演出、換言すれば、いずれの鑑賞位置から鑑賞したとしても鑑賞ユーザ間の公平性が担保される演出を提供するパートになる。本実施形態では通常演出パートは、メインキャラクタ502がステージ503上において、フロア504の全体を対象としてパフォーマンスを行う演出を提供する。例えば、いずれの鑑賞位置501からも鑑賞しやすいステージ503の中央付近にメインキャラクタ502を配置して行われるような演出や、各鑑賞位置501から鑑賞しやすいフロア504上の位置をメインキャラクタ502が均等に移動するような演出が含まれる。 The first is a normal production part as the first part according to the present invention, and among the productions using the main character 502 during a singing performance, a production in which a preferable viewing position is not particularly defined, in other words, This is a part that provides a performance in which fairness is ensured among viewing users even when viewed from the viewing position. In the present embodiment, the normal effect part provides an effect in which the main character 502 performs a performance on the entire floor 504 on the stage 503. For example, the main character 502 places an effect such that the main character 502 is placed near the center of the stage 503 that is easy to view from any viewing position 501, or the position on the floor 504 that is easy to view from each viewing position 501. Includes effects that move evenly.

2つ目は、本発明に係る第2のパートとしての特殊演出パートであり、歌唱パフォーマンス中のメインキャラクタ502を用いた演出のうち、好ましい鑑賞位置が定められた演出、換言すれば、その他の鑑賞位置からでは好適でない鑑賞体験が提供され得る演出を提供するパートになる。特殊演出パートは、通常演出パートとは異なり、メインキャラクタ502が、ステージ503上もしくはフロア504にて、特定の鑑賞位置501に対象を限定してパフォーマンスを行う演出を提供するものである。例えば、メインキャラクタ502が、対象となる鑑賞位置501に最も近いステージ503上の位置に移動し、該鑑賞位置501方向に向けてパフォーマンスを行う演出を含む。また例えば、メインキャラクタ502がステージ503からフロア504の対象となる鑑賞位置501の領域に移動し、該鑑賞位置501方向に対して近づきながらパフォーマンスを行う演出を含む。 The second is a special effect part as the second part according to the present invention. Among the effects using the main character 502 during the singing performance, an effect in which a preferable viewing position is determined, in other words, other It will be a part that provides effects that can provide an unfavorable viewing experience from the viewing position. The special effect part, unlike the normal effect part, provides an effect in which the main character 502 limits the target to a specific viewing position 501 on the stage 503 or on the floor 504 and performs. For example, the main character 502 includes an effect in which the main character 502 moves to a position on the stage 503 that is closest to the target viewing position 501 and performs a performance toward the viewing position 501. In addition, for example, the main character 502 moves from the stage 503 to the target viewing position 501 on the floor 504, and the performance is performed while approaching the viewing position 501 direction.

ところで、このような特殊演出パートで提供される演出は、好ましい鑑賞位置501において鑑賞を行うよう設定していた鑑賞ユーザであれば、図6(b)に示されるように、鑑賞ユーザに対してのみパフォーマンスが行われているような鑑賞体験を得ることができるが、他の鑑賞位置501において鑑賞を行うよう設定していた鑑賞ユーザは、図6(a)に示したように、好適な鑑賞体験を得ることができない可能性がある。本実施形態のコンテンツ配信システムでは、このような特殊演出パートにおいて、設定されていた鑑賞位置の違いによって鑑賞ユーザ間で鑑賞体験に差が生じないよう、演出制御部208が演出制御を行う。 By the way, if the viewing user who has set the viewing at the preferred viewing position 501, the performance provided by such a special performance part is displayed to the viewing user as shown in FIG. 6B. Although it is possible to obtain a viewing experience as if a performance is being performed only, the viewing user who has set to view at another viewing position 501, as shown in FIG. You may not be able to get the experience. In the content distribution system of the present embodiment, in such a special effect part, the effect control unit 208 performs effect control so that there is no difference in the viewing experience between the viewing users due to the difference in the viewing position that has been set.

ここで、特殊演出パートにおいて、図7(a)に示されるように、メインキャラクタ502が、フロア504の鑑賞位置501aに対応する領域701内の位置702に現れ、鑑賞位置501aに接近しながらパフォーマンスを行う演出が提供されるよう定められている例について考える。このとき、例えば鑑賞位置501cを鑑賞用に設定していた鑑賞ユーザは、該演出を鑑賞することができず、コンテンツの鑑賞体験において、不公平である印象を抱き得る。 Here, in the special effect part, as shown in FIG. 7A, the main character 502 appears at the position 702 in the area 701 corresponding to the viewing position 501a on the floor 504, and the performance while approaching the viewing position 501a. Consider an example in which it is determined that a performance for performing is provided. At this time, for example, the viewing user who has set the viewing position 501c for viewing cannot enjoy the effect, and may have an unfair impression in the content viewing experience.

故に、受信クライアント200の演出制御部208は、このような特殊演出パートが開始される際、該受信クライアント200において設定されている鑑賞位置(鑑賞位置501c)が、演出の好適な提供対象である鑑賞位置(鑑賞位置501a)と一致するか否かを判断する。そして、これが異なるのであれば、演出制御部208は、本来鑑賞位置501aを対象として提供される上記演出を、鑑賞位置501cに対して提供するよう制御を行う。具体的には、演出制御部208は、図7(b)に示すように、メインキャラクタ502の配置位置を鑑賞位置501cに対応する領域703内の位置704に変更し、図7(a)に示した演出と同様の演出(鑑賞位置501cに接近しながらパフォーマンスを行う演出)を提供するモーションデータを適用するよう制御する。 Therefore, the effect control unit 208 of the receiving client 200, when such a special effect part is started, the viewing position (viewing position 501c) set in the receiving client 200 is a suitable target for providing the effect. It is determined whether or not it matches the viewing position (viewing position 501a). Then, if this is different, the effect control unit 208 performs control to provide the above-mentioned effect originally provided for the viewing position 501a to the viewing position 501c. Specifically, as shown in FIG. 7B, the effect control unit 208 changes the arrangement position of the main character 502 to the position 704 in the area 703 corresponding to the viewing position 501c, and then, to FIG. The control is performed so as to apply the motion data that provides the same effect as that shown (the effect of performing a performance while approaching the viewing position 501c).

このようにすることで、本実施形態のコンテンツ配信システムでは、特殊演出パートに至った際に、異なる鑑賞位置で鑑賞している鑑賞ユーザのそれぞれに対し、統一された鑑賞体験が提供されるようにすることができる。換言すれば、本実施形態のコンテンツ配信システムでは、特殊演出パートにおいて、現在コンテンツ鑑賞を行っている受信クライアント200間の各々で提供する演出内容は同一であるが、設定されている鑑賞位置に応じて、描画オブジェクトの分布が異なる3次元空間が描画対象となる状況を生じさせ得る。 By doing so, in the content distribution system of the present embodiment, when the special effect part is reached, a unified viewing experience is provided to each viewing user viewing at a different viewing position. Can be In other words, in the content distribution system of the present embodiment, in the special effect part, the content of the effect provided by each of the receiving clients 200 that are currently viewing the content is the same, but according to the set viewing position. As a result, a situation may occur in which a three-dimensional space having a different distribution of drawing objects is a drawing target.

なお、本実施形態は、ライブパートについては予め受信メモリ203等に格納されたモーションデータ及び音声データを用いて、再生に係る処理を行ってコンテンツの鑑賞体験を提供する態様であるため、特殊演出パートに係るモーションデータも、予め全て格納されている。即ち、特殊演出パートに係るモーションデータは、予め全ての鑑賞位置501のそれぞれについて設けられ、予備データとしてメモリ103等に格納されているものとする。そして演出制御部208は、特殊演出パートに至った際には、該パートについて本来定められた鑑賞位置に係る演出の提供が好適でないのであれば、鑑賞用に設定されている鑑賞位置に応じたモーションデータを予備データのうちから読み出し、再生に係る処理に代用するよう制御する。 It should be noted that, in the present embodiment, since the live part uses motion data and audio data stored in advance in the receiving memory 203 or the like to perform a process related to reproduction and provide a content viewing experience, a special effect is provided. All motion data related to the part is also stored in advance. That is, it is assumed that the motion data related to the special effect part is provided in advance for each of all the viewing positions 501 and stored in the memory 103 or the like as preliminary data. When the special effect part is reached, the effect control unit 208 responds to the viewing position set for viewing if it is not appropriate to provide the effect related to the viewing position originally defined for the part. The motion data is read out from the preliminary data and is controlled so as to substitute for the process related to the reproduction.

《演出制御処理》
以下、本実施形態のコンテンツ配信システムの受信クライアント200において実行される、ライブパートのコンテンツの鑑賞体験の提供中において行われる演出制御処理について、図8のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、受信制御部201が、例えば受信記録媒体202に記憶されている、鑑賞アプリケーションのうちの対応する処理プログラムを読み出し、受信メモリ203に展開して実行することにより実現することができる。なお、本演出制御処理は、例えば配信クライアント100から送信されたライブパートの開始要求を受信した際に開始されるものとして説明する。ここで、コンテンツの鑑賞体験は、配信アプリケーションにて予めライブ配信を行うものとして定めた期間、もしくはその直前に設けられた所定の期間において、受信クライアント200にて鑑賞アプリケーションが実行され、対象のコンテンツに係る鑑賞要求が受信クライアント200から接続サーバ300に送信されたことを条件として、上記ライブ配信を行う期間において提供されるものとする。このとき、通信制御部304は、該当のコンテンツの鑑賞を行っている受信クライアント200のリストに、鑑賞要求を行った受信クライアント200の識別情報(及び宛先情報)を追加する。
<Direction control processing>
Hereinafter, with regard to the effect control process executed in the receiving client 200 of the content distribution system of the present embodiment and performed while providing the experience of viewing the content of the live part, a specific process will be described with reference to the flowchart of FIG. 8. .. The process corresponding to the flowchart is realized by the reception control unit 201 by reading out a corresponding process program of the viewing application stored in the reception recording medium 202, loading it into the reception memory 203, and executing it. be able to. It should be noted that the present production control process will be described as being started, for example, when a live part start request transmitted from the distribution client 100 is received. Here, as for the content viewing experience, the receiving client 200 executes the viewing application during a predetermined period provided immediately before the live distribution by the distribution application, or the target content. It is assumed that the viewing request is provided during the live distribution period, provided that the viewing request is transmitted from the receiving client 200 to the connection server 300. At this time, the communication control unit 304 adds the identification information (and destination information) of the receiving client 200 that has made the viewing request to the list of the receiving clients 200 that are viewing the corresponding content.

S801で、受信制御部201は、鑑賞体験を提供しているコンテンツが、特殊演出パートに係る演出を提供するシーケンスに至ったか否かを判断する。ライブパートに係るコンテンツ鑑賞における通常演出パートと特殊演出パートの区間の情報は、該ライブパートについて予め設計されたタイムライン情報に含められており、受信制御部201は該タイムライン情報を参照することで、本ステップの判断を行えばよい。受信制御部201は、特殊演出パートに係る演出を提供するシーケンスに至ったと判断した場合は処理をS802に移し、至っていない、即ち、通常演出パートに係る演出を提供するシーケンスであると判断した場合は処理をS806に移す。 In step S<b>801, the reception control unit 201 determines whether the content providing the viewing experience has reached the sequence of providing the effect related to the special effect part. The information on the section of the normal effect part and the special effect part in the content viewing related to the live part is included in the timeline information designed in advance for the live part, and the reception control unit 201 refers to the timeline information. Then, the determination in this step may be performed. When the reception control unit 201 determines that the sequence for providing the effect related to the special effect part has been reached, the process proceeds to S802, and if not, that is, if the sequence for providing the effect related to the normal effect part is determined. Moves the process to S806.

S802で、設定部204は、鑑賞位置変更に係る操作入力を受け付けないよう、状態制御を行う。上述したように、特殊演出パートに係る演出は、本実施形態では現在設定されている鑑賞位置(設定鑑賞位置)に対して提供されるよう制御されることになる。つまり、このような演出の途中で設定鑑賞位置の変更操作を可能ならしめると、鑑賞位置の変更とともにメインキャラクタ502の配置位置も変えることになり、結果としてフレーム間の演出の連続性が担保されず、好適な鑑賞体験を阻害し得る。このため、本実施形態の演出制御処理では、少なくとも特殊演出パートに係る演出を提供するシーケンスにおいては、設定鑑賞位置の変更がなされないように制御される。 In step S802, the setting unit 204 performs state control so as not to accept an operation input related to the viewing position change. As described above, the effect related to the special effect part is controlled to be provided to the currently set viewing position (set viewing position) in the present embodiment. That is, if it is possible to change the setting viewing position in the middle of such an effect, the arrangement position of the main character 502 is changed along with the change of the viewing position, and as a result, continuity of the effects between frames is secured. Instead, it may hinder a good viewing experience. Therefore, in the effect control process of the present embodiment, at least in the sequence for providing the effect related to the special effect part, control is performed so that the set viewing position is not changed.

S803で、演出制御部208は受信制御部201の制御の下、設定鑑賞位置が現在の特殊演出パートについて定められた提供対象の鑑賞位置(対象鑑賞位置)と一致するか否かを判断する。演出制御部208は、設定鑑賞位置が対象鑑賞位置と一致すると判断した場合は処理をS804に移し、一致しないと判断した場合は処理をS805に移す。 In S803, the effect control unit 208, under the control of the reception control unit 201, determines whether or not the set viewing position matches the viewing position of the provided target (target viewing position) defined for the current special effect part. Rendering control unit 208 moves the process to S804 if it determines that the set viewing position matches the target viewing position, and moves the process to S805 if it determines that the set viewing position does not match.

S804で、演出制御部208は、現在の特殊演出パートについて予め定められたモーションデータ及び音声データを示す情報を、演出の提示に必要な情報として再生制御部205に伝送する。このように伝送された演出の提示に必要な情報は、提示するコンテンツの再生に係る処理において、描画部206による描画処理や音声出力部230への音声出力に用いられる。 In S804, the effect control unit 208 transmits information indicating motion data and audio data that are predetermined for the current special effect part to the reproduction control unit 205 as information necessary for presenting the effect. The information necessary for presenting the effect thus transmitted is used for drawing processing by the drawing unit 206 and audio output to the audio output unit 230 in the process related to the reproduction of the presented content.

一方、S803において設定鑑賞位置が対象鑑賞位置と一致しないと判断した場合、演出制御部208はS805で、現在の特殊演出パートについて設けられた予備データのうち、設定鑑賞位置用に構成されたモーションデータ及び音声データを示す情報を、演出の提示に必要な情報として再生制御部205に伝送する。即ち、S804において選択される演出の提示に必要な情報が図7(a)に示したような演出態様を示すものである例において、本ステップにおいて選択される演出の提示に必要な情報は、図7(b)に示したような演出態様を示すものに相当する(設定鑑賞位置が鑑賞位置501c)。 On the other hand, if it is determined in S803 that the set viewing position does not match the target viewing position, the effect control unit 208 determines in S805 the motion configured for the set viewing position in the preliminary data provided for the current special effect part. Information indicating the data and the voice data is transmitted to the reproduction control unit 205 as information necessary for presenting the effect. That is, in the example in which the information necessary for presenting the effect selected in S804 indicates the effect mode as shown in FIG. 7A, the information necessary for presenting the effect selected in this step is This corresponds to the one that shows the effect mode as shown in FIG. 7B (the setting viewing position is the viewing position 501c).

また、S801において通常演出パートに係る演出を提供するシーケンスであると判断された場合、演出制御部208はS806で、現在の通常演出パートについて予め定められたモーションデータ及び音声データを示す情報を、演出の提示に必要な情報として再生制御部205に伝送する。なお、通常演出パートに係る演出を提供するシーケンスである場合には、設定部204は、鑑賞位置変更に係る操作入力を受け付け可能なように状態制を行うものとする。 In addition, when it is determined in S801 that the sequence is to provide the effect related to the normal effect part, the effect control unit 208 determines in S806 the information indicating the motion data and the audio data that are predetermined for the current normal effect part, The information is transmitted to the reproduction control unit 205 as information necessary for presenting the effect. In the case of a sequence for providing an effect related to the normal effect part, the setting unit 204 performs a state control so as to be able to receive an operation input related to the viewing position change.

S807で、受信制御部201は、ライブパートが終了したか否かを判断する。ライブパートが終了したか否かの判断は、例えば、該ライブパートに係るタイムライン情報を参照し、定められた全ての演出提示が完了したか否かに基づいて行われるものであってもよいし、予めライブパートの提示について定められた期間の終了後に配信クライアント100から送信される、MCパートの開始に係る情報の受信有無に基づいて行われるものであってもよい。受信制御部201は、ライブパートが終了したと判断した場合は本演出制御処理を完了し、終了していないと判断した場合は処理をS801に戻す。 In step S807, the reception control unit 201 determines whether the live part has ended. The determination as to whether or not the live part has ended may be performed, for example, by referring to the timeline information related to the live part and based on whether or not all the prescribed presentation of presentation has been completed. However, it may be performed based on the presence/absence of reception of information related to the start of the MC part, which is transmitted from the distribution client 100 after the end of a predetermined period for presenting the live part. If the reception control unit 201 determines that the live part has ended, the production control process is completed, and if it determines that the live part has not ended, the process returns to S801.

このようにすることで、本実施形態のコンテンツ配信システムによれば、興趣性の高い演出の鑑賞体験を鑑賞者に好適に提供することができる。より詳しくは、鑑賞ユーザに対して個別にパフォーマンスが行われているかの如く演出提示を鑑賞体験に含め、いずれの鑑賞位置であっても、このような演出の提供を好適な態様で受けることが可能なよう、演出の制御を行うことで、興趣性の高い鑑賞体験の提供を実現することができる。 By doing so, according to the content distribution system of the present embodiment, it is possible to suitably provide the viewer with a viewing experience with a highly entertaining effect. More specifically, the presentation experience can be included in the viewing experience as if the performance was being performed individually for the viewing user, and such presentation can be provided in a suitable manner at any viewing position. By controlling the performance as much as possible, it is possible to provide a highly entertaining viewing experience.

[変形例]
上述した実施形態では、特殊演出パートについて定められた演出について、全ての鑑賞位置にて同様に該演出の提供を受けることが可能なよう、予め全ての鑑賞位置について演出の提示に必要な情報が用意されているものとして説明したが、本発明の実施はこれに限られるものではない。
[Modification]
In the above-described embodiment, regarding the effect specified for the special effect part, the information necessary for presenting the effect for all the viewing positions is provided in advance so that the effect can be similarly provided at all the viewing positions. Although described as being provided, the implementation of the present invention is not limited to this.

例えば、特殊演出パートに係る演出の提示に必要な情報は、該特殊演出パートについて定められた提供対象の鑑賞位置(対象鑑賞位置)についてのみ設けられており、現在設定されている鑑賞位置(設定鑑賞位置)と対象鑑賞位置とが異なる場合には、演出制御部208は、対象鑑賞位置について設けられたモーションデータを、設定鑑賞位置について同様の演出の提供を実現するように変更することによって、演出の提示に必要な情報を生成するようにしてもよい。 For example, the information necessary for presenting the effect related to the special effect part is provided only for the appreciation position of the provision target (target appreciation position) defined for the special effect part, and the currently set appreciation position (setting When the viewing position) and the target viewing position are different, the effect control unit 208 changes the motion data provided for the target viewing position so as to provide the same effect for the set viewing position. You may make it produce|generate the information required for presentation of an effect.

[実施形態2]
上述した実施形態1及び変形例では、ライブパートに係る演出の提示に必要な情報が受信クライアント200に予め格納されており、演出制御部208が、設定鑑賞位置に応じて好適な情報を選択的に読み出すものとして説明した。しかしながら、本発明の実施はこれに限られるものではなく、ライブパートに係る演出の提示に必要な情報、もしくは少なくとも設定鑑賞位置に応じて動的に変更がなされる特殊演出パートに係る演出の提示に必要な情報は、MCパートと同様に、配信クライアント100から接続サーバ300を介して各受信クライアント200に提供されるものであってもよい。
[Embodiment 2]
In the above-described first embodiment and the modified example, the information necessary for presenting the production related to the live part is stored in advance in the reception client 200, and the production control unit 208 selectively selects suitable information according to the set viewing position. It has been described as being read out. However, the implementation of the present invention is not limited to this, and the information necessary for presenting the production related to the live part, or at least the presentation of the production related to the special production part dynamically changed according to the set viewing position. The information necessary for the above may be provided to each receiving client 200 from the distribution client 100 via the connection server 300, similarly to the MC part.

本実施形態では、このように、演出制御を配信クライアント100側にて行う態様について説明する。なお、以下の説明において、上述した実施形態1のコンテンツ配信システムと同一の構成については同一の参照番号を付し、説明は省略する。 In the present embodiment, a mode in which effect control is performed on the distribution client 100 side in this way will be described. In the following description, the same components as those of the content distribution system according to the first embodiment described above are designated by the same reference numerals, and the description thereof will be omitted.

《配信クライアントの機能構成》
まず、本実施形態のコンテンツ配信システムに係る配信クライアント100及びモーションキャプチャシステム400の機能構成について、図2のブロック図を用いて説明する。本実施形態では、配信クライアント100は実施形態1とは異なり、図2に実線で示した構成と破線で示した構成の両方を有しているものとして説明する。
<<Functional configuration of distribution client>>
First, the functional configurations of the distribution client 100 and the motion capture system 400 according to the content distribution system of this embodiment will be described with reference to the block diagram of FIG. In the present embodiment, unlike the first embodiment, the distribution client 100 will be described as having both the configuration shown by the solid line and the configuration shown by the broken line in FIG.

演出制御部110は、本実施形態のコンテンツ配信システムにてライブ配信されるコンテンツに係る演出を制御する。上述したように、ライブ配信されるコンテンツには、ライブパートが含まれており、演出制御部110は、該パートに係るコンテンツの鑑賞が行われている場合に演出制御を行う。 The effect control unit 110 controls the effect related to the content delivered live by the content delivery system of the present embodiment. As described above, the live-delivered content includes a live part, and the effect control unit 110 performs effect control when the content related to the part is being viewed.

《受信クライアントの機能構成》
本実施形態の受信クライアント200は実施形態1とは異なり、図3に実線で示した構成のみを有し、破線で示した構成は有さない。
<<Functional configuration of receiving client>>
Unlike the first embodiment, the reception client 200 of the present embodiment has only the configuration shown by the solid line in FIG. 3 and does not have the configuration shown by the broken line.

従って、本実施形態のコンテンツ配信システムでは、演出制御を行う構成が受信クライアント200ではなく配信クライアント100に設けられている点で、実施形態1のコンテンツ配信システムとは異なっている。 Therefore, the content distribution system according to the present embodiment is different from the content distribution system according to the first embodiment in that the configuration for performing the effect control is provided not at the receiving client 200 but at the distribution client 100.

《演出制御処理》
以下、本実施形態のコンテンツ配信システムの配信クライアント100において実行される、ライブパートのコンテンツの鑑賞体験の提供中において行われる演出制御処理について、図9のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている、配信アプリケーションのうちの対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本演出制御処理は、例えば配信クライアント100においてMCパートからライブパートに移行することが決定され、ライブパートの開始に係る指示が、配信クライアント100から現在コンテンツ提供が行われている受信クライアント200宛てに送信された際に開始されるものとして説明する。
<Direction control processing>
Hereinafter, with regard to the effect control processing executed in the distribution client 100 of the content distribution system of the present embodiment and performed while providing the viewing experience of the live part content, specific processing will be described with reference to the flowchart of FIG. 9. .. The process corresponding to the flowchart can be realized by the control unit 101 reading out a corresponding process program of the distribution application stored in the recording medium 102, loading the program in the memory 103, and executing the program. .. In the production control process, for example, the distribution client 100 determines to shift from the MC part to the live part, and the distribution client 100 issues an instruction regarding the start of the live part to the reception client 200 currently providing the content. Description will be given assuming that it is started when it is transmitted to the destination.

また本実施形態のコンテンツ配信システムでは、コンテンツ鑑賞を行っている受信クライアント200からは、該受信クライアント200において設定部204が設定した鑑賞位置の情報が、該受信クライアント200を識別する装置IDに関連付けて、配信クライアント100に対して送信されるものとする。該情報は、コンテンツ提供の開始時、及び設定鑑賞位置の変更がなされた際に送信され、例えば配信クライアント100のメモリ103に記憶されている、現在コンテンツ提供を行っている受信クライアント200についての鑑賞位置リストに格納されるものとする。 Further, in the content distribution system of the present embodiment, from the receiving client 200 performing content viewing, the viewing position information set by the setting unit 204 in the receiving client 200 is associated with the device ID for identifying the receiving client 200. And is transmitted to the distribution client 100. The information is transmitted at the time of starting the content provision and when the setting viewing position is changed, and is stored in the memory 103 of the distribution client 100, for example, about the reception client 200 currently providing the content. It shall be stored in the location list.

S901で、制御部101は、鑑賞体験を提供しているコンテンツが、特殊演出パートに係る演出を提供するシーケンスに至ったか否かを判断する。ライブパートに係るコンテンツ鑑賞における通常演出パートと特殊演出パートの区間の情報は、該ライブパートについて予め設計されたタイムライン情報に含められており、制御部101は該タイムライン情報を参照することで、本ステップの判断を行えばよい。制御部101は、特殊演出パートに係る演出を提供するシーケンスに至ったと判断した場合は処理をS902に移し、至っていない、即ち、通常演出パートに係る演出を提供するシーケンスであると判断した場合は処理をS904に移す。 In step S<b>901, the control unit 101 determines whether the content providing the viewing experience has reached the sequence of providing the effect related to the special effect part. The information on the section of the normal effect part and the special effect part in the content viewing related to the live part is included in the timeline information designed in advance for the live part, and the control unit 101 refers to the timeline information. The determination in this step may be made. If the control unit 101 determines that the sequence for providing the effect related to the special effect part has been reached, the control unit 101 shifts the processing to S902, and if not, that is, if it is the sequence for providing the effect related to the normal effect part, The process moves to S904.

S902で、制御部101は、現在コンテンツ鑑賞を行っている受信クライアント200宛てに、鑑賞位置変更に係る操作入力を無効化する指示を送出する。受信クライアント200において該指示が受信されると、設定部204は、鑑賞位置変更に係る操作入力を受け付けないよう、状態制御を行えばよい。 In step S902, the control unit 101 sends an instruction to invalidate the operation input related to the viewing position change to the receiving client 200 currently viewing the content. When the receiving client 200 receives the instruction, the setting unit 204 may perform state control so as not to accept an operation input for changing the viewing position.

S903で、演出制御部110は制御部101の制御の下、鑑賞位置リストに含まれる受信クライアント200のそれぞれについて、設定鑑賞位置が現在の特殊演出パートについて定められた提供対象の鑑賞位置(対象鑑賞位置)と一致するか否かを判断する。そして演出制御部110は、設定鑑賞位置が対象鑑賞位置と一致すると判断した受信クライアント200については、現在の特殊演出パートについて予め定められたモーションデータ及び音声データを示す情報を通信部106に伝送し、演出の提示に必要な情報として該受信クライアント200宛てに送信させる。また演出制御部110は、設定鑑賞位置が対象鑑賞位置と一致しないと判断した受信クライアント200については、現在の特殊演出パートについて設けられた予備データのうち、設定鑑賞位置用に構成されたモーションデータ及び音声データを示す情報を通信部106に伝送し、演出の提示に必要な情報として該受信クライアント200宛てに送信させる。 In S903, the effect control unit 110, under the control of the control unit 101, for each of the receiving clients 200 included in the viewing position list, the set viewing position is the viewing position of the provision target (target viewing position) determined for the current special effect part. Position)). Then, for the reception client 200 that has determined that the set viewing position matches the target viewing position, the performance control unit 110 transmits, to the communication unit 106, information indicating predetermined motion data and audio data for the current special performance part. , Is transmitted to the receiving client 200 as the information necessary for presenting the effect. For the reception client 200 that the setting control unit 110 has determined that the set viewing position does not match the target viewing position, the motion data configured for the setting viewing position among the preliminary data provided for the current special effect part. And information indicating voice data are transmitted to the communication unit 106, and are transmitted to the receiving client 200 as information necessary for presenting the effect.

なお、本実施形態では説明を簡単にするため、実施形態1と同様に、ライブパートの演出の提示に必要なモーションデータ及び音声データは、予め用意され、記録媒体102に格納されているものとして説明するが、本発明の実施はこれに限られない。即ち、本実施形態のように、ライブパートに係るシーケンスにおいても、配信クライアント100から演出の提示に必要な情報の各受信クライアント200への送信が行われる態様であれば、MCパートと同様に、モーションキャプチャシステム400による演者の実計測に基づいて得られたモーションデータ及び音声データを用いるものとしてもよい。この場合、特殊演出パートについては、演者によって行われた挙動は、該パートについて定められた1つの鑑賞位置(対象鑑賞位置)に対するモーションデータとして構成され、異なる設定鑑賞位置に対して提供する場合には、該実時間の挙動に基づくモーションデータが変更されるものとすればよい。 Note that, in the present embodiment, for simplification of description, it is assumed that motion data and audio data necessary for presenting a live part effect are prepared in advance and stored in the recording medium 102, as in the first embodiment. As described, the implementation of the present invention is not limited to this. That is, as in the present embodiment, even in the sequence related to the live part, as long as the information necessary for presentation of the effect is transmitted from the distribution client 100 to each reception client 200, like the MC part, Motion data and audio data obtained based on actual measurement of the performer by the motion capture system 400 may be used. In this case, regarding the special effect part, the behavior performed by the performer is configured as motion data for one viewing position (target viewing position) defined for the part, and is provided to different setting viewing positions. The motion data based on the real-time behavior may be changed.

また、S901において通常演出パートに係る演出を提供するシーケンスであると判断された場合、演出制御部110はS904で、現在の通常演出パートについて予め定められたモーションデータ及び音声データを示す情報を通信部106に伝送し、演出の提示に必要な情報として現在コンテンツ鑑賞を行っている受信クライアント200宛てに送信させる。なお、通常演出パートに係る演出を提供するシーケンスである場合には、鑑賞位置変更に係る操作入力を受け付けてもよいため、現在コンテンツ鑑賞を行っている受信クライアント200宛てに、鑑賞位置変更に係る操作入力を有効化する指示を送出してよい。受信クライアント200において該指示が受信されると、設定部204は、鑑賞位置変更に係る操作入力を受け付けるよう、状態制御を行えばよい。 Further, when it is determined in S901 that the sequence is to provide an effect related to the normal effect part, the effect control unit 110 communicates information indicating motion data and voice data that are predetermined for the current normal effect part in S904. The information is transmitted to the unit 106, and is transmitted to the receiving client 200 currently viewing the content as information necessary for presenting the effect. In the case of the sequence for providing the effect related to the normal effect part, since the operation input related to the viewing position change may be accepted, the operation related to the viewing position change is addressed to the receiving client 200 currently viewing the content. An instruction to validate the operation input may be sent. When the receiving client 200 receives the instruction, the setting unit 204 may perform the state control so as to receive the operation input regarding the viewing position change.

S905で、制御部101は、ライブパートが終了したか否かを判断する。ライブパートが終了したか否かの判断は、例えば、該ライブパートに係るタイムライン情報を参照し、定められた全ての演出提示が完了したか否かに基づいて行われるものであってもよい。制御部101は、ライブパートが終了したと判断した場合は本演出制御処理を完了し、終了していないと判断した場合は処理をS901に戻す。 In step S905, the control unit 101 determines whether the live part has ended. The determination as to whether or not the live part has ended may be performed, for example, by referring to the timeline information related to the live part and based on whether or not all the prescribed presentation of presentation has been completed. .. When it is determined that the live part is finished, the control unit 101 completes the main production control process, and when it is determined that the live part is not finished, the process is returned to S901.

このようにすることで、配信クライアント100の演出制御部110が主体となって、各受信クライアント200において好適なコンテンツの鑑賞体験が提供されるようにできる。 By doing so, the effect control unit 110 of the distribution client 100 can be the main constituent so that each receiving client 200 can be provided with a suitable content viewing experience.

[その他の実施形態]
本発明は上記実施の形態に制限されるものではなく、本発明の要旨の範囲内で、種々の変更及び変形が可能である。また本発明に係るコンテンツ配信システムは、1以上のコンピュータを該システムの配信装置及び受信装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
[Other Embodiments]
The present invention is not limited to the above-mentioned embodiments, and various modifications and variations can be made within the scope of the gist of the present invention. The content distribution system according to the present invention can also be realized by a program that causes one or more computers to function as a distribution device and a reception device of the system. The program can be provided/distributed by being recorded in a computer-readable recording medium or through an electric communication line.

100:配信クライアント、101:制御部、102:記録媒体、103:メモリ、104:取得部、105:配信部、106:通信部、110:演出制御部、200:受信クライアント、201:受信制御部、202:受信記録媒体、203:受信メモリ、204:設定部、205:再生制御部、206:描画部、207:操作検出部、208:演出制御部、209:受信通信部、210:視点制御用センサ、220:表示部、230:音声出力部、240:コントローラ、241:物理ボタン、300:接続サーバ、301:接続制御部、302:接続記録媒体、303:接続メモリ、304:通信制御部、305:接続通信部、400:モーションキャプチャシステム、401:検出部、402:音声取得部、403:変換部、404:出力部、500:ネットワーク 100: distribution client, 101: control unit, 102: recording medium, 103: memory, 104: acquisition unit, 105: distribution unit, 106: communication unit, 110: performance control unit, 200: reception client, 201: reception control unit , 202: reception recording medium, 203: reception memory, 204: setting unit, 205: reproduction control unit, 206: drawing unit, 207: operation detection unit, 208: effect control unit, 209: reception communication unit, 210: viewpoint control Sensor, 220: display unit, 230: audio output unit, 240: controller, 241: physical button, 300: connection server, 301: connection control unit, 302: connection recording medium, 303: connection memory, 304: communication control unit , 305: connection communication unit, 400: motion capture system, 401: detection unit, 402: voice acquisition unit, 403: conversion unit, 404: output unit, 500: network

Claims (13)

3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信された前記コンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、
前記受信装置は、
前記配信装置と情報通信する第1の通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生される前記コンテンツに係る演出を制御する演出制御手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記配信装置は、前記受信装置と情報通信する第2の通信手段を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、
前記設定手段により設定される鑑賞位置は、予め設けられた複数の鑑賞位置のうちから選択されるものであり、
前記第2のパートに係る演出は、前記複数の鑑賞位置のそれぞれについて、該演出の提示に必要な情報が設けられており、
前記再生手段は、前記第2のパートにおいて、前記設定手段により設定された鑑賞位置について設けられた前記演出の提示に必要な情報に基づいて、前記コンテンツの再生に係る処理を実行する
ことを特徴とするコンテンツ配信システム。
What is claimed is: 1. A content distribution system, comprising: a distribution device that distributes content that presents characters arranged in a three-dimensional space; and a reception device that receives the distributed content and provides a viewing experience of the content.
The receiving device,
First communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Production control means for controlling the production of the content to be reproduced,
Presentation means for presenting the reproduced content;
Have
The distribution device has a second communication means for communicating information with the reception device,
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit,
The viewing position set by the setting means is selected from a plurality of viewing positions provided in advance,
The production related to the second part is provided with information necessary for presenting the production for each of the plurality of viewing positions,
In the second part, the reproduction means executes processing relating to reproduction of the content based on information necessary for presenting the effect provided for the viewing position set by the setting means. And content distribution system.
3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信された前記コンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、
前記受信装置は、
前記配信装置と情報通信する第1の通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記配信装置は、
前記受信装置において再生される前記コンテンツに係る演出を制御する演出制御手段と、
前記受信装置と情報通信し、少なくとも前記コンテンツに係る演出の提示に必要な情報を送信する第2の通信手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記第1の通信手段は、前記演出を提供するパートを含む前記再生に係る処理の実行に伴って、前記設定手段により設定された鑑賞位置の情報を前記配信装置に送信し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、
前記設定手段により設定される鑑賞位置は、予め設けられた複数の鑑賞位置のうちから選択されるものであり、
前記第2のパートに係る演出は、前記複数の鑑賞位置のそれぞれについて、該演出の提示に必要な情報が設けられており、
前記再生手段は、前記第2のパートにおいて、前記設定手段により設定された鑑賞位置について設けられた前記演出の提示に必要な情報に基づいて、前記コンテンツの再生に係る処理を実行する
ことを特徴とするコンテンツ配信システム。
What is claimed is: 1. A content distribution system, comprising: a distribution device that distributes content that presents characters arranged in a three-dimensional space; and a reception device that receives the distributed content and provides a viewing experience of the content.
The receiving device,
First communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Presentation means for presenting the reproduced content;
Have
The delivery device is
Production control means for controlling the production of the content reproduced in the receiving device;
Second communication means for communicating information with the receiving device, and transmitting at least information necessary for presenting an effect related to the content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The first communication unit transmits the information of the viewing position set by the setting unit to the distribution device in accordance with the execution of the process related to the reproduction including the part that provides the effect,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit,
The viewing position set by the setting means is selected from a plurality of viewing positions provided in advance,
The production related to the second part is provided with information necessary for presenting the production for each of the plurality of viewing positions,
In the second part, the reproduction means executes processing relating to reproduction of the content based on information necessary for presenting the effect provided for the viewing position set by the setting means. And content distribution system.
3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信された前記コンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、
前記受信装置は、
前記配信装置と情報通信する第1の通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生される前記コンテンツに係る演出を制御する演出制御手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記配信装置は、前記受信装置と情報通信する第2の通信手段を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、
前記第2のパートに係る演出は、1つの前記予め定められた鑑賞位置について、該演出の提示に必要な情報が設けられており、
前記演出制御手段は、前記予め定められた鑑賞位置と前記設定手段により設定された鑑賞位置とが異なる場合に、前記設定手段により設定された鑑賞位置に対する演出となるように、前記第2のパートに係る演出の提示に必要な情報を変更する
ことを特徴とするコンテンツ配信システム。
What is claimed is: 1. A content distribution system, comprising: a distribution device that distributes content that presents characters arranged in a three-dimensional space; and a reception device that receives the distributed content and provides a viewing experience of the content.
The receiving device,
First communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Production control means for controlling the production of the content to be reproduced,
Presentation means for presenting the reproduced content;
Have
The distribution device has a second communication means for communicating information with the reception device,
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit,
The production related to the second part is provided with information necessary for presenting the production for one of the predetermined viewing positions.
When the predetermined viewing position and the viewing position set by the setting unit are different from each other, the rendering control unit creates a rendering for the viewing position set by the setting unit when the viewing position is set by the setting unit. The content distribution system characterized by changing the information necessary for presenting the effect according to.
3次元空間に配置されたキャラクタを提示するコンテンツを配信する配信装置と、配信された前記コンテンツを受信し、該コンテンツの鑑賞体験を提供する受信装置とを有するコンテンツ配信システムであって、
前記受信装置は、
前記配信装置と情報通信する第1の通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記配信装置は、
前記受信装置において再生される前記コンテンツに係る演出を制御する演出制御手段と、
前記受信装置と情報通信し、少なくとも前記コンテンツに係る演出の提示に必要な情報を送信する第2の通信手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記第1の通信手段は、前記演出を提供するパートを含む前記再生に係る処理の実行に伴って、前記設定手段により設定された鑑賞位置の情報を前記配信装置に送信し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御する
前記第2のパートに係る演出は、1つの前記予め定められた鑑賞位置について、該演出の提示に必要な情報が設けられており、
前記演出制御手段は、前記予め定められた鑑賞位置と前記設定手段により設定された鑑賞位置とが異なる場合に、前記設定手段により設定された鑑賞位置に対する演出となるように、前記第2のパートに係る演出の提示に必要な情報を変更する
ことを特徴とするコンテンツ配信システム。
What is claimed is: 1. A content distribution system, comprising: a distribution device that distributes content that presents characters arranged in a three-dimensional space; and a reception device that receives the distributed content and provides a viewing experience of the content.
The receiving device,
First communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Presentation means for presenting the reproduced content;
Have
The delivery device is
Production control means for controlling the production of the content reproduced in the receiving device;
Second communication means for communicating information with the receiving device, and transmitting at least information necessary for presenting an effect related to the content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The first communication unit transmits the information of the viewing position set by the setting unit to the distribution device in accordance with the execution of the process related to the reproduction including the part that provides the effect,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit. The effect related to the second part is for one of the predetermined viewing positions. , Information necessary for presenting the effect is provided,
When the predetermined viewing position and the viewing position set by the setting unit are different from each other, the rendering control unit creates a rendering for the viewing position set by the setting unit when the viewing position is set by the setting unit. The content distribution system characterized by changing the information necessary for presenting the effect according to.
前記演出の提示に必要な情報は、前記キャラクタの挙動制御の情報を含み、
前記演出制御手段は、前記予め定められた鑑賞位置と前記設定手段により設定された鑑賞位置とが異なる場合に、前記キャラクタの挙動制御の情報を変更することで、前記設定手段により設定された鑑賞位置に対する演出の提示に必要な情報を構成する
ことを特徴とする請求項3または4に記載のコンテンツ配信システム。
The information necessary for presenting the effect includes information on behavior control of the character,
When the predetermined viewing position and the viewing position set by the setting unit are different from each other, the effect control unit changes the behavior control information of the character so that the viewing set by the setting unit is changed. The content distribution system according to claim 3 or 4, wherein the information necessary for presenting an effect for a position is configured.
前記設定手段は、少なくとも前記第2のパートに係る演出が提示されている間、鑑賞位置の変更を行わないことを特徴とする請求項1乃至5のいずれか1項に記載のコンテンツ配信システム。 The content distribution system according to any one of claims 1 to 5, wherein the setting unit does not change the viewing position at least while the effect related to the second part is presented. 前記第1のパートに係る演出は、前記設定手段により設定された鑑賞位置に応じて、前記キャラクタの提示態様が異なる演出であり、
前記第2のパートに係る演出は、前記設定手段により設定された鑑賞位置に依らず、前記キャラクタの提示態様が統一される演出である
ことを特徴とする請求項1乃至6のいずれか1項に記載のコンテンツ配信システム。
The effect related to the first part is an effect in which the presentation mode of the character is different according to the viewing position set by the setting unit,
7. The effect according to the second part is an effect in which the presentation mode of the character is unified regardless of the viewing position set by the setting unit. Content distribution system described in.
前記コンテンツは、両眼立体視コンテンツであることを特徴とする請求項1乃至7のいずれか1項に記載のコンテンツ配信システム。 The content distribution system according to any one of claims 1 to 7, wherein the content is binocular stereoscopic content. 配信装置により配信された、3次元空間に配置されたキャラクタを提示するコンテンツの鑑賞体験を提供する受信装置であって、
前記配信装置と情報通信する通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生される前記コンテンツに係る演出を制御する演出制御手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、
前記設定手段により設定される鑑賞位置は、予め設けられた複数の鑑賞位置のうちから選択されるものであり、
前記第2のパートに係る演出は、前記複数の鑑賞位置のそれぞれについて、該演出の提示に必要な情報が設けられており、
前記再生手段は、前記第2のパートにおいて、前記設定手段により設定された鑑賞位置について設けられた前記演出の提示に必要な情報に基づいて、前記コンテンツの再生に係る処理を実行する
ことを特徴とする受信装置。
A receiving device for providing a viewing experience of contents presented by a character arranged in a three-dimensional space, which is distributed by a distribution device,
Communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Production control means for controlling the production of the content to be reproduced,
Presentation means for presenting the reproduced content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit,
The viewing position set by the setting means is selected from a plurality of viewing positions provided in advance,
The production related to the second part is provided with information necessary for presenting the production for each of the plurality of viewing positions,
In the second part, the reproduction means executes processing relating to reproduction of the content based on information necessary for presenting the effect provided for the viewing position set by the setting means. And the receiver.
配信装置により配信された、3次元空間に配置されたキャラクタを提示するコンテンツの鑑賞体験を提供する受信装置であって、
前記配信装置と情報通信する通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生される前記コンテンツに係る演出を制御する演出制御手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記演出制御手段は、前記第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出を提供するよう制御し、
前記第2のパートに係る演出は、1つの前記予め定められた鑑賞位置について、該演出の提示に必要な情報が設けられており、
前記演出制御手段は、前記予め定められた鑑賞位置と前記設定手段により設定された鑑賞位置とが異なる場合に、前記設定手段により設定された鑑賞位置に対する演出となるように、前記第2のパートに係る演出の提示に必要な情報を変更する
ことを特徴とする受信装置。
A receiving device for providing a viewing experience of contents presented by a character arranged in a three-dimensional space, which is distributed by a distribution device,
Communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Production control means for controlling the production of the content to be reproduced,
Presentation means for presenting the reproduced content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The effect control unit controls the second part to provide an effect for the viewing position set by the setting unit,
The production related to the second part is provided with information necessary for presenting the production for one of the predetermined viewing positions.
When the predetermined viewing position and the viewing position set by the setting unit are different from each other, the rendering control unit creates a rendering for the viewing position set by the setting unit when the viewing position is set by the setting unit. A receiving device, characterized in that information necessary for presenting an effect related to is changed.
配信装置により配信された、3次元空間に配置されたキャラクタを提示するコンテンツの鑑賞体験を提供する受信装置であって、
前記配信装置と情報通信する通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記通信手段は、
前記演出を提供するパートを含む前記再生に係る処理の実行に伴って、前記設定手段により設定された鑑賞位置の情報を前記配信装置に送信し、
第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出に必要な情報を受信し、
前記再生手段は、前記第2のパートにおいて、受信された前記演出に必要な情報に基づいて前記再生に係る処理を実行し、
前記設定手段により設定される鑑賞位置は、予め設けられた複数の鑑賞位置のうちから選択されるものであり、
前記第2のパートに係る演出は、前記複数の鑑賞位置のそれぞれについて、該演出の提示に必要な情報が設けられており、
前記再生手段は、前記第2のパートにおいて、前記設定手段により設定された鑑賞位置について設けられた前記演出の提示に必要な情報に基づいて、前記コンテンツの再生に係る処理を実行する
ことを特徴とする受信装置。
A receiving device for providing a viewing experience of contents presented by a character arranged in a three-dimensional space, which is distributed by a distribution device,
Communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Presentation means for presenting the reproduced content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The communication means is
With the execution of the process related to the reproduction including the part that provides the effect, the viewing position information set by the setting unit is transmitted to the distribution device,
With respect to the second part, information necessary for rendering at the viewing position set by the setting means is received,
In the second part, the reproduction means executes a process related to the reproduction based on the received information necessary for the effect,
The viewing position set by the setting means is selected from a plurality of viewing positions provided in advance,
The production related to the second part is provided with information necessary for presenting the production for each of the plurality of viewing positions,
In the second part, the reproduction means executes processing relating to reproduction of the content based on information necessary for presenting the effect provided for the viewing position set by the setting means. And the receiver.
配信装置により配信された、3次元空間に配置されたキャラクタを提示するコンテンツの鑑賞体験を提供する受信装置であって、
前記配信装置と情報通信する通信手段と、
前記コンテンツについて、前記3次元空間を鑑賞する鑑賞位置を設定する設定手段と、
前記設定手段により設定された鑑賞位置に基づく前記キャラクタの描画を含む、前記コンテンツの再生に係る処理を実行する再生手段と、
再生された前記コンテンツを提示する提示手段と、
を有し、
前記コンテンツは、演出を提供するパートとして、鑑賞位置を定めない演出を提供する第1のパートと、予め定められた鑑賞位置に対する演出を提供する第2のパートと、を少なくとも含み、
前記再生手段は、前記配信装置から開始指示が受信されたことに応じて、前記演出を提供するパートについての前記再生に係る処理を実行し、
前記通信手段は、
前記演出を提供するパートを含む前記再生に係る処理の実行に伴って、前記設定手段により設定された鑑賞位置の情報を前記配信装置に送信し、
第2のパートについて、前記設定手段により設定された鑑賞位置に対する演出に必要な情報を受信し、
前記再生手段は、前記第2のパートにおいて、受信された前記演出に必要な情報に基づいて前記再生に係る処理を実行し、
前記第2のパートに係る演出は、1つの前記予め定められた鑑賞位置について、該演出の提示に必要な情報が設けられており、
前記第2のパートに係る演出の提示に必要な情報は、前記予め定められた鑑賞位置と前記設定手段により設定された鑑賞位置とが異なる場合に、前記設定手段により設定された鑑賞位置に対する演出となるように変更される
ことを特徴とする受信装置。
A receiving device for providing a viewing experience of contents presented by a character arranged in a three-dimensional space, which is distributed by a distribution device,
Communication means for communicating information with the distribution device;
Setting means for setting a viewing position for viewing the three-dimensional space for the content;
Reproduction means for executing processing relating to reproduction of the content, including drawing of the character based on the viewing position set by the setting means,
Presentation means for presenting the reproduced content;
Have
The content includes at least a first part that provides an effect that does not define a viewing position as a part that provides an effect, and a second part that provides an effect for a predetermined viewing position,
The reproduction means executes processing relating to the reproduction of the part providing the effect, in response to receiving a start instruction from the distribution device,
The communication means is
With the execution of the process related to the reproduction including the part that provides the effect, the viewing position information set by the setting unit is transmitted to the distribution device,
With respect to the second part, information necessary for rendering at the viewing position set by the setting means is received,
In the second part, the reproduction means executes a process related to the reproduction based on the received information necessary for the effect,
The production related to the second part is provided with information necessary for presenting the production for one of the predetermined viewing positions.
The information necessary for presenting the effect according to the second part is an effect for the viewing position set by the setting unit when the predetermined viewing position and the viewing position set by the setting unit are different. A receiving device characterized by being modified so that
コンピュータを、請求項9乃至12のいずれか1項に記載の受信装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each unit of the receiving device according to claim 9.
JP2020025388A 2020-02-18 2020-02-18 Content distribution system, receiving device and program Pending JP2020102236A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020025388A JP2020102236A (en) 2020-02-18 2020-02-18 Content distribution system, receiving device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020025388A JP2020102236A (en) 2020-02-18 2020-02-18 Content distribution system, receiving device and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018240360A Division JP6665273B1 (en) 2018-12-21 2018-12-21 Content distribution system, receiving device, and program

Publications (1)

Publication Number Publication Date
JP2020102236A true JP2020102236A (en) 2020-07-02

Family

ID=71141310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020025388A Pending JP2020102236A (en) 2020-02-18 2020-02-18 Content distribution system, receiving device and program

Country Status (1)

Country Link
JP (1) JP2020102236A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7495558B1 (en) 2023-06-22 2024-06-04 カバー株式会社 VIRTUAL SPACE CONTENT DELIVERY SYSTEM, VIRTUAL SPACE CONTENT DELIVERY PROGRAM, AND VIRTUAL SPACE CONTENT DELIVERY METHOD

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7495558B1 (en) 2023-06-22 2024-06-04 カバー株式会社 VIRTUAL SPACE CONTENT DELIVERY SYSTEM, VIRTUAL SPACE CONTENT DELIVERY PROGRAM, AND VIRTUAL SPACE CONTENT DELIVERY METHOD

Similar Documents

Publication Publication Date Title
JP7135141B2 (en) Information processing system, information processing method, and information processing program
CN107735152B (en) Extended field of view re-rendering for Virtual Reality (VR) viewing
CN113473159B (en) Digital person live broadcast method and device, live broadcast management equipment and readable storage medium
JP6688378B1 (en) Content distribution system, distribution device, reception device, and program
US10289193B2 (en) Use of virtual-reality systems to provide an immersive on-demand content experience
WO2018128166A1 (en) Information processing device and method for delivering application image
CN109478342B (en) Image display device and image display system
WO2021246183A1 (en) Information processing device, information processing method, and program
JP5776954B2 (en) Information processing apparatus, control method, program, recording medium, and drawing system
JP6306089B2 (en) System and method for transmitting media over a network
JP2023053313A (en) Information processing apparatus, information processing method, and information processing program
JP2014164537A (en) Virtual reality service providing system and virtual reality service providing method
WO2017191700A1 (en) Image generation device, image generation method, and program
JP6665273B1 (en) Content distribution system, receiving device, and program
JP2020102236A (en) Content distribution system, receiving device and program
US20200288202A1 (en) Video display system, information processing apparatus, and video display method
JP4330494B2 (en) Broadcast program participation system and method
JP7225159B2 (en) 3D CONTENT DISTRIBUTION SYSTEM, 3D CONTENT DISTRIBUTION METHOD, COMPUTER PROGRAM
JP2023065288A (en) Information processing program and information processing system
JP2020108177A (en) Content distribution system, distribution device, reception device, and program
JP2006067405A (en) Television broadcast transmitter, television broadcast receiver, and broadcast program participation system and method
JP6533022B1 (en) Terminal, server and program
US11641459B2 (en) Viewing system, distribution apparatus, viewing apparatus, and recording medium
WO2022190917A1 (en) Information processing device, information processing terminal, information processing method, and program
US20240114181A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713