JP6281503B2 - COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM - Google Patents

COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM Download PDF

Info

Publication number
JP6281503B2
JP6281503B2 JP2015022412A JP2015022412A JP6281503B2 JP 6281503 B2 JP6281503 B2 JP 6281503B2 JP 2015022412 A JP2015022412 A JP 2015022412A JP 2015022412 A JP2015022412 A JP 2015022412A JP 6281503 B2 JP6281503 B2 JP 6281503B2
Authority
JP
Japan
Prior art keywords
timing
video
effect
predetermined
predetermined user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015022412A
Other languages
Japanese (ja)
Other versions
JP2016146544A (en
Inventor
建太郎 牛山
建太郎 牛山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2015022412A priority Critical patent/JP6281503B2/en
Publication of JP2016146544A publication Critical patent/JP2016146544A/en
Application granted granted Critical
Publication of JP6281503B2 publication Critical patent/JP6281503B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像を配信するシステムの技術分野に関する。   The present invention relates to a technical field of a video distribution system.

従来、複数の端末装置にネットワークを介して映像をストリーミング配信することにより、生中継を行う技術が知られている。例えば、特許文献１には、コンサートなどをカメラで撮影して映像データを生成し、この映像データをリアルタイムで複数のユーザ装置に配信するシステムが開示されている。   2. Description of the Related Art Conventionally, a technique for performing live relay by streaming video to a plurality of terminal devices via a network is known. For example, Patent Document 1 discloses a system that captures a concert or the like with a camera, generates video data, and distributes the video data to a plurality of user devices in real time.

特開２０１１−１０３５２２号公報JP2011-103522A

しかしながら、特許文献１に記載の技術では、端末装置を利用する視聴者による例えば拍手や声援などの動作をコンサート会場に送ることができない。従って、端末装置に配信される映像にはそのような動作が反映されないため、映像に臨場感が不足していた。   However, with the technique described in Patent Document 1, it is not possible to send, for example, applause or cheering by the viewer using the terminal device to the concert venue. Therefore, since such an operation is not reflected in the video distributed to the terminal device, the video is not realistic.

本発明は、以上の点に鑑みてなされたものであり、臨場感が高まるように映像を配信することができる通信システム及び配信装置を提供することを課題とする。   This invention is made in view of the above point, and makes it a subject to provide the communication system and delivery apparatus which can deliver an image | video so that a sense of reality may increase.

上記課題を解決するために、請求項１に記載の発明は、配信装置と、ネットワークを介して配信装置に接続可能な複数の端末装置を備える通信システムにおいて、前記端末装置は、前記配信装置からストリーミング配信される映像を受信する映像受信手段と、前記映像受信手段により受信された前記映像を再生する再生手段と、前記再生手段により前記映像が再生されているとき、所定のユーザ操作を受け付ける受付手段と、前記受付手段により前記所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を前記配信装置へ送信する送信手段と、を備え、前記配信装置は、前記複数の端末装置へ前記映像をストリーミング配信する配信手段と、前記複数の端末装置から前記タイミング情報を受信するタイミング受信手段と、前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計手段と、前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段であって、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定手段と、前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、を備えることを特徴とする。 In order to solve the above-mentioned problem, the invention according to claim 1 is a communication system comprising a distribution device and a plurality of terminal devices connectable to the distribution device via a network, wherein the terminal device is connected to the distribution device. Video receiving means for receiving video that is streamed, playback means for playing back the video received by the video receiving means, and accepting a predetermined user operation when the video is being played back by the playing means And transmission means for transmitting timing information indicating the timing at which the predetermined user operation is accepted by the accepting means to the delivery device, wherein the delivery device streams the video to the plurality of terminal devices. Delivery means for delivering; timing receiving means for receiving the timing information from the plurality of terminal devices; and The number of the timing indicated by the timing information received by the timing receiving unit aggregated every predetermined period, based on the number of aggregated the timing, is performed at each timing of a plurality of different periods length A counting means for acquiring the number of predetermined user operations; and a determining means for determining an effect to be added to the video based on the number of timings counted by the counting means ; If the number of the predetermined user operations of the specific cycle with the largest number of the predetermined user operations acquired by the counting means is more than a predetermined condition, the first effect occurring in the specific cycle is determined. Deciding to determine a second effect that occurs aperiodically when the number of the predetermined user operations in the specific period is not so large as to satisfy the predetermined condition And stage, the effect determined by said determining means, characterized in that it comprises, and adding means for adding to the video being distributed by said distributing means.

請求項２に記載の発明は、複数の端末装置へ映像をストリーミング配信する配信手段と、前記複数の端末装置から、前記配信手段により配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信手段と、前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計手段と、前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段であって、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定手段と、前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、を備えることを特徴とする。 According to a second aspect of the present invention, there is provided distribution means for streaming video to a plurality of terminal devices, and when the video distributed by the distribution means is reproduced by the terminal device from the plurality of terminal devices. a timing receiving means for receiving the timing information indicating timing for predetermined user operation is received, the number of the timing indicated by the timing information received by said timing receiving unit aggregated for each predetermined period, aggregated the Based on the number of timings, the counting means for acquiring the number of the predetermined user operations performed at each of the timings of a plurality of periods having different lengths, and based on the number of the timings counted by the counting means , a determining means for determining the effect to be added to the image, by the tallying unit among the plurality of periods When the number of the predetermined user operations in the specific cycle with the largest number of the obtained predetermined user operations is greater than or equal to a predetermined condition, the first effect generated in the specific cycle is determined, When the number of the predetermined user operations is not so large as to satisfy the predetermined condition, a determination unit that determines a second effect that occurs aperiodically, and an effect determined by the determination unit are determined by the distribution unit. Adding means for adding to the video being distributed.

請求項３に記載の発明は、請求項２に記載の配信装置において、前記集計手段は、前記タイミング情報が示すタイミングの数を所定期間ごとに集計し、前記決定手段は、前記集計手段により集計された前記タイミングの数に基づいて、前記効果の程度を決定し、前記付加手段は、前記決定手段により決定された前記程度の効果を付加することを特徴とする。   According to a third aspect of the present invention, in the distribution device according to the second aspect, the counting unit totals the number of timings indicated by the timing information for each predetermined period, and the determining unit totals the counting unit. The degree of the effect is determined based on the number of the timings, and the adding means adds the effect of the degree determined by the determining means.

請求項４に記載の発明は、請求項３に記載の配信装置において、前記効果の程度ごとに、前記程度と、前記タイミングの数とを対応付けて予め記憶しておく記憶手段を更に備え、前記決定手段は、前記集計手段により集計された前記タイミングの数に対応する程度を、前記記憶手段に記憶された複数の程度の中から決定することを特徴とする。   According to a fourth aspect of the present invention, the distribution device according to the third aspect further comprises storage means for previously storing the degree and the number of timings in association with each degree of the effect, The determining means determines a degree corresponding to the number of timings counted by the counting means from a plurality of degrees stored in the storage means.

請求項５に記載の発明は、請求項３又は４に記載の配信装置において、前記決定手段により決定される効果は、前記映像に付加される効果音であり、前記決定手段は、前記集計手段により集計された前記タイミングの数が多い程、大きい音量の効果音を決定することを特徴とする。   According to a fifth aspect of the present invention, in the distribution device according to the third or fourth aspect, the effect determined by the determining unit is a sound effect added to the video, and the determining unit is the totaling unit The larger the number of the timings calculated by (1), the larger the sound effect is determined.

請求項６に記載の発明は、請求項２乃至５の何れか１項に記載の配信装置において、前記決定手段は、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多い場合、前記効果として手拍子音を決定し、前記付加手段は、前記配信手段により配信中の前記映像に前記手拍子音を合成することを特徴とする。 The invention described in claim 6, the distribution device according to any one of claims 2 to 5, wherein the determining means, the predetermined number of user operation of the certain period is about the predetermined condition is satisfied When there are more than the above, a clapping sound is determined as the effect, and the adding means synthesizes the clapping sound with the video being distributed by the distributing means.

請求項７に記載の発明は、請求項６に記載の配信装置において、前記付加手段は、前記決定手段により前記手拍子音が決定された場合、前記特定周期で受信されたタイミング情報が示すタイミングに対応する位相と一致する位相に対応する再生位置で、前記手拍子音を、前記配信手段により配信中の前記映像に合成することを特徴とする。 According to a seventh aspect of the present invention, in the distribution device according to the sixth aspect , when the adding means determines the clapping sound by the determining means, the adding means determines the timing indicated by the timing information received in the specific period. The clapping sound is synthesized with the video being delivered by the delivery means at a playback position corresponding to a phase that matches the corresponding phase.

請求項８に記載の発明は、請求項２乃至７の何れか１項に記載の配信装置において、前記所定のユーザ操作のタイミングを示す第２タイミング情報を前記複数の端末装置へ配信する第２配信手段を更に備え、前記集計手段は、前記第２タイミング情報が示すタイミングから所定時間内に受け付けられた前記ユーザ操作のタイミングの数を集計することを特徴とする。 According to an eighth aspect of the present invention, in the distribution device according to any one of the second to seventh aspects, the second timing information indicating the timing of the predetermined user operation is distributed to the plurality of terminal devices. The information processing apparatus further includes a distribution unit, and the totaling unit totals the number of timings of the user operations received within a predetermined time from the timing indicated by the second timing information.

請求項９に記載の発明は、複数の端末装置へ映像をストリーミング配信する第１配信ステップと、前記複数の端末装置から、前記第１配信ステップにより配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信ステップと、前記タイミング受信ステップにより受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計ステップと、前記集計ステップにより集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定ステップであって、前記複数の周期のうち前記集計ステップにより取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定ステップと、前記決定ステップにより決定された効果を、配信中の前記映像に付加する付加ステップと、前記付加ステップにより前記効果が付加された前記映像を前記複数の端末装置へストリーミング配信する第２配信ステップと、をコンピュータに実行させることを特徴とする。 The invention according to claim 9 is a first distribution step of streaming distribution of video to a plurality of terminal devices, and the video distributed by the first distribution step from the plurality of terminal devices is reproduced by the terminal device. A timing receiving step for receiving timing information indicating a timing at which a predetermined user operation is accepted, and the number of timings indicated by the timing information received by the timing receiving step is totaled for each predetermined period , Based on the counted number of timings, a counting step for obtaining the number of the predetermined user operations performed at each of a plurality of timings having different lengths; and the timings counted by the counting step based on the number, a determination step of determining the effect to be added to the image, before When the number of the predetermined user operations in the specific cycle having the largest number of the predetermined user operations acquired by the counting step among a plurality of cycles is greater than or equal to a predetermined condition, the first occurring in the specific cycle An effect is determined, and when the number of the predetermined user operations in the specific period is not so much as to satisfy the predetermined condition, a determination step for determining a second effect that occurs aperiodically and a determination step are performed. Causing the computer to execute an adding step of adding the effect to the video being distributed and a second distribution step of streaming distributing the video to which the effect has been added by the adding step to the plurality of terminal devices It is characterized by that.

請求項１、２、４、５又は９に記載の発明によれば、所定のユーザ操作のタイミングの数の集計に基づいて決定された効果が映像とともに再生されるので、臨場感を高めることができる。また、複数の視聴者の所定のユーザ操作がタイミングを合わせて周期的に行われているかに応じた効果を適切に決定することができる。 According to the first, second, fourth, fifth, or ninth aspect of the present invention, the effect determined based on the total number of predetermined user operation timings is reproduced together with the video, so that the sense of reality can be enhanced. it can. In addition, it is possible to appropriately determine an effect according to whether predetermined user operations of a plurality of viewers are periodically performed at the same time.

請求項３に記載の発明によれば、集計されたタイミングの数に基づく程度の効果が映像とともに再生されるので、複数の視聴者が盛り上がっている程度を表現することができる。   According to the third aspect of the present invention, since the effect based on the total number of timings is reproduced together with the video, it is possible to express the degree of excitement of a plurality of viewers.

請求項６に記載の発明によれば、複数の視聴者の所定のユーザ操作がタイミングを合わせて周期的に行われているかに応じた効果を適切に決定することができる。   According to the sixth aspect of the present invention, it is possible to appropriately determine an effect according to whether a predetermined user operation of a plurality of viewers is periodically performed at the same time.

請求項６に記載の発明によれば、複数の視聴者の所定のユーザ操作がタイミングを合わせて周期的に行われている場合、周期的な効果として手拍子音を再生させることができる。 According to the sixth aspect of the present invention, when predetermined user operations of a plurality of viewers are periodically performed at the same timing, it is possible to reproduce a clapping sound as a periodic effect.

請求項７に記載の発明によれば、手拍子音が再生されるタイミングを、再生される映像のリズムに合わせることができる。 According to the seventh aspect of the present invention, the timing at which the clapping sound is reproduced can be matched with the rhythm of the reproduced video.

請求項８に記載の発明によれば、所定のユーザ操作を複数の視聴者が一斉に行うタイミングを視聴者に示すことが可能となる。また、指定されたタイミングに合った所定のユーザ操作の集計に基づく効果が映像とともに再生されるので、臨場感をより高めることができる。 According to the invention described in claim 8 , it is possible to indicate to the viewer the timing at which a plurality of viewers simultaneously perform a predetermined user operation. In addition, since the effect based on the aggregation of predetermined user operations in accordance with the designated timing is reproduced together with the video, the sense of reality can be further enhanced.

本実施形態の通信システムＳＡの概要構成例を示す図である。It is a figure which shows the example of a schematic structure of communication system SA of this embodiment. 通信システムＳＡの動作概要の一例を示す図である。It is a figure which shows an example of the operation | movement outline | summary of communication system SA. （Ａ）は、各サンプリング周期における所定のユーザ操作のタイミングの数の一例を示すグラフである。（Ｂ）は、周波数解析により得られた各周波数帯の所定のユーザ操作の数の一例を示す図である。（Ｃ）は、所定のユーザ操作のタイミングの数の集計結果に基づいて特定される、手拍子としての所定のユーザ操作のタイミング、及び手拍子音が再生されるタイミングの例を示す図である。(A) is a graph which shows an example of the number of the timings of predetermined user operation in each sampling period. (B) is a diagram illustrating an example of the number of predetermined user operations in each frequency band obtained by frequency analysis. (C) is a figure which shows the example of the timing of the predetermined | prescribed user operation as a hand time signature, and the timing at which a hand beat sound is reproduced | identified specified based on the total result of the number of predetermined user operation timings. 配信サーバ１における手拍子音・拍手音生成処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of a clapping sound / clapping sound generation process in the distribution server 1. クライアント端末２におけるクライアント処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of client processing in the client terminal 2. （Ａ）は、本実施形態の通信システムＳＢの概要構成例を示す図である。（Ｂ）は、通信システムＳＢの動作概要の一例を示す図である。(A) is a figure which shows the example of a schematic structure of the communication system SB of this embodiment. (B) is a figure which shows an example of the operation | movement outline | summary of communication system SB. 配信サーバ１におけるアクションタイミングデータ配信処理の一例を示すフローチャートである。4 is a flowchart illustrating an example of action timing data distribution processing in the distribution server 1. クライアント端末２におけるクライアント処理の一例を示すフローチャートである。6 is a flowchart illustrating an example of client processing in the client terminal 2.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［１．第１実施形態］
［１−１．通信システムの構成］
図１は、本実施形態の通信システムＳＡの概要構成例を示す図である。図１に示すように、通信システムＳＡは、配信サーバ１、及び複数のクライアント端末２を含んで構成される。配信サーバ１は、本発明の配信装置の一例である。クライアント端末２は、本発明の端末装置の一例である。なお、図１に示すクライアント端末の数は一例であり、この数には限定されるものではない。配信サーバ１及びクライアント端末２は、それぞれ、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。 [1. First Embodiment]
[1-1. Configuration of communication system]
FIG. 1 is a diagram illustrating a schematic configuration example of a communication system SA of the present embodiment. As illustrated in FIG. 1, the communication system SA includes a distribution server 1 and a plurality of client terminals 2. The distribution server 1 is an example of a distribution device of the present invention. The client terminal 2 is an example of a terminal device of the present invention. The number of client terminals shown in FIG. 1 is an example, and the number is not limited to this number. The distribution server 1 and the client terminal 2 are each connected to the network NW. The network NW is configured by, for example, the Internet.

配信サーバ１は、コンテンツを複数のクライアント端末２へストリーミング配信する。コンテンツは、映像データを少なくとも含む。この映像データは、例えば動画データである。映像データは複数の画像フレームを含む。また、コンテンツは、音声データを含んでもよい。コンテンツは、例えば、コンサート等のイベントの様子をビデオカメラで撮影したコンテンツであってもよい。   The distribution server 1 performs streaming distribution of content to a plurality of client terminals 2. The content includes at least video data. This video data is, for example, moving image data. The video data includes a plurality of image frames. Further, the content may include audio data. The content may be, for example, content obtained by shooting an event such as a concert with a video camera.

配信サーバ１は、例えばビデオカメラにより撮影されたコンテンツをビデオカメラから受信しながら、受信されたコンテンツをリアルタイムでストリーミング配信してもよい。或いは、配信サーバ１は、例えば配信サーバ１に予め記憶されたコンテンツをストリーミング配信してもよい。   For example, the distribution server 1 may perform streaming distribution of the received content in real time while receiving content captured by the video camera from the video camera. Alternatively, the distribution server 1 may perform streaming distribution of content stored in advance in the distribution server 1, for example.

クライアント端末２は、配信サーバ１からストリーミング配信されてくるコンテンツを受信する。そして、クライアント端末２は、受信されたコンテンツを再生する。これにより、クライアント端末２は、コンテンツに含まれる映像を画面に表示する。また、クライアント端末２は、コンテンツに含まれる音声を出力する。クライアント端末２の種類としては、パーソナルコンピュータ、テレビ、ＳＴＢ、携帯電話機、スマートフォン、タブレット型コンピュータ等がある。   The client terminal 2 receives the content that is streamed from the distribution server 1. Then, the client terminal 2 reproduces the received content. Thereby, the client terminal 2 displays the video included in the content on the screen. Further, the client terminal 2 outputs audio included in the content. Examples of the client terminal 2 include a personal computer, a television, an STB, a mobile phone, a smartphone, and a tablet computer.

［１−２．各装置の構成］
次に、図１を参照して、本実施形態の通信システムＳＡに含まれる各装置の構成について説明する。配信サーバ１は、図１に示すように、制御部１１、記憶部１２、及びインターフェース部１３等を備えて構成される。これらの構成要素は、バス１４に接続されている。インターフェース部１３は、ネットワークＮＷに接続される。制御部１１は、コンピュータとしてのＣＰＵ（Center Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等により構成される。記憶部１２は、例えばハードディスクドライブにより構成される。記憶部１２には、ＯＳ、及びサーバプログラム等が記憶されている。サーバプログラムは、コンテンツの配信処理等をＣＰＵに実行させるプログラムである。また、記憶部１２には、１又は複数のコンテンツが記憶される。 [1-2. Configuration of each device]
Next, the configuration of each device included in the communication system SA of the present embodiment will be described with reference to FIG. As shown in FIG. 1, the distribution server 1 includes a control unit 11, a storage unit 12, an interface unit 13, and the like. These components are connected to the bus 14. The interface unit 13 is connected to the network NW. The control unit 11 includes a CPU (Center Processing Unit) as a computer, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The storage unit 12 is configured by, for example, a hard disk drive. The storage unit 12 stores an OS, a server program, and the like. The server program is a program that causes the CPU to execute content distribution processing and the like. The storage unit 12 stores one or more contents.

次に、クライアント端末２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、及びインターフェース部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等がある。表示部２４ａと操作部２５ａとを兼ねるタッチパネルが適用されてもよい。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。記憶部２２は、例えば、ハードディスクドライブ又はフラッシュメモリ等により構成される。記憶部２２には、ＯＳ、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツの受信及び再生処理等をＣＰＵに実行させるプログラムである。   Next, as shown in FIG. 1, the client terminal 2 includes a control unit 21, a storage unit 22, a video RAM 23, a video control unit 24, an operation processing unit 25, an audio control unit 26, an interface unit 27, and the like. Is done. These components are connected to the bus 28. A display unit 24 a including a display is connected to the video control unit 24. The control unit 21 includes a CPU, ROM, RAM, and the like as a computer. An operation unit 25 a is connected to the operation processing unit 25. Examples of the operation unit 25a include a mouse, a keyboard, and a remote controller. A touch panel serving both as the display unit 24a and the operation unit 25a may be applied. The control unit 21 receives an operation instruction from the operation unit 25 a by the user via the operation processing unit 25. A speaker 26 a is connected to the audio control unit 26. The interface unit 27 is connected to the network NW. The storage unit 22 is configured by, for example, a hard disk drive or a flash memory. The storage unit 22 stores an OS, player software, and the like. The player software is a program that causes the CPU to execute content reception and playback processing and the like.

［１−３．配信中のコンテンツへの効果の付加］
例えばコンサート等のイベントのコンテンツを視聴中のユーザは、イベントが行われる会場に観客としてユーザがいたと仮定した場合に行うような動作を行いたい場合がある。そのような動作の例として、手拍子、拍手、掛け声を掛けること、声援を送ること、足の踏みならし、所定の身振り等がある。配信サーバ１は、このような動作に対応するユーザ操作に応じた効果を配信中のコンテンツに付加する。 [1-3. Adding effects to content being delivered]
For example, a user who is viewing content of an event such as a concert may want to perform an operation that is performed when the user is assumed to be a spectator at a venue where the event is held. Examples of such actions include hand clapping, applause, shout, cheering, stepping, and predetermined gestures. The distribution server 1 adds an effect according to a user operation corresponding to such an operation to the content being distributed.

図２は、通信システムＳＡの動作概要の一例を示す図である。図２に示すように、配信サーバ１は、複数のクライアント端末２へコンテンツをストリーミング配信する（ステップＳ１）。クライアント端末２は、配信サーバ１からストリーミング配信されてくるコンテンツを再生する。コンテンツの再生中、クライアント端末２は、ユーザから操作部２５ａに対する所定のユーザ操作を受け付ける。ユーザは、例えばユーザが望むタイミングで所定のユーザ操作を行うことができる。所定のユーザ操作は、例えば、操作部２５ａを構成する所定のキー、ボタン等を押す操作等であってもよいし、表示部２４ａに表示されている所定のキー、ボタンを選択する操作等であってもよい。所定のユーザ操作は、例えばユーザによる所定の動作が行われたことを示す操作である。上述したように、所定の動作は、例えばイベントが行われる会場にユーザがいたと仮定した場合にユーザが行うような動作であってもよい。例えば、所定の動作は、コンテンツの再生によって表示部２４ａに表示された映像及びスピーカ２６ａから出力された音声の少なくとも何れか一方に対するリアクションであってもよい。本実施形態においては、所定の動作は、ユーザの手を打ち鳴らすことである。例えば、ユーザが拍手したい場合、ユーザは所定のユーザ操作を小刻みに連続して行う。また例えば、ユーザが手拍子を取りたい場合、ユーザは例えば所定の周期で所定のユーザ操作を行う。例えば、表示部２４ａに表示される映像のリズムに合わせて又はスピーカ２６ａから出力される音声のリズムに合わせて、ユーザは所定のユーザ操作を行うことができる。   FIG. 2 is a diagram illustrating an example of an operation outline of the communication system SA. As shown in FIG. 2, the distribution server 1 performs streaming distribution of content to a plurality of client terminals 2 (step S1). The client terminal 2 plays back the content streamed from the distribution server 1. During the reproduction of the content, the client terminal 2 receives a predetermined user operation on the operation unit 25a from the user. For example, the user can perform a predetermined user operation at a timing desired by the user. The predetermined user operation may be, for example, an operation of pressing a predetermined key or button constituting the operation unit 25a, or an operation of selecting a predetermined key or button displayed on the display unit 24a. There may be. The predetermined user operation is, for example, an operation indicating that a predetermined operation is performed by the user. As described above, the predetermined operation may be an operation performed by the user when it is assumed that the user is in a venue where the event is performed, for example. For example, the predetermined operation may be a reaction with respect to at least one of the video displayed on the display unit 24a by the reproduction of the content and the audio output from the speaker 26a. In the present embodiment, the predetermined operation is to strike the user's hand. For example, when the user wants to applaud, the user continuously performs a predetermined user operation in small increments. Further, for example, when the user wants to take clapping, the user performs a predetermined user operation at a predetermined cycle, for example. For example, the user can perform a predetermined user operation in accordance with the rhythm of the video displayed on the display unit 24a or in accordance with the rhythm of the sound output from the speaker 26a.

クライアント端末２は、所定のユーザ操作を受け付けたとき、そのユーザ操作を受け付けたタイミングを示すアクションデータを配信サーバ１へ送信する（ステップＳ２）。アクションデータは、本発明のタイミング情報の一例である。ユーザ操作を受け付けたタイミングは、例えばコンテンツの再生位置で示されてもよい。コンテンツの再生位置は、例えばコンテンツの再生が開始してから経過した時間で示される。   When the client terminal 2 receives a predetermined user operation, the client terminal 2 transmits action data indicating the timing of receiving the user operation to the distribution server 1 (step S2). The action data is an example of timing information of the present invention. The timing at which the user operation is accepted may be indicated, for example, by the content playback position. The content playback position is indicated, for example, by the time that has elapsed since the content playback started.

配信サーバ１は、コンテンツの配信中、複数のクライアント端末２のうち所定のユーザ操作を受け付けたクライアント端末２からアクションデータを受信する。配信サーバ１は、受信されたアクションデータが示す所定のユーザ操作のタイミングの数を集計する（ステップＳ３）。集計された所定のユーザ操作のタイミングの数を、集計数ともいう。配信サーバ１は、集計された所定のユーザ操作のタイミングの数に基づいて、配信中のコンテンツに付加される効果を決定する。コンテンツに付加される効果の例として、音声、映像、映像効果等がある。本実施形態において、配信サーバ１は、コンテンツに付加される効果として効果音を決定する。具体的に、配信サーバ１は、効果音として手拍子音及び拍手音の少なくとも何れか一方を決定する。手拍子音は、手拍子を示す効果音である。拍手音は、拍手を示す効果音である。そして、配信サーバ１は、決定した手拍子音又は拍手音を生成する（ステップＳ４）。   The distribution server 1 receives action data from the client terminal 2 that has received a predetermined user operation among the plurality of client terminals 2 during distribution of the content. The distribution server 1 totals the number of predetermined user operation timings indicated by the received action data (step S3). The total number of timings of the predetermined user operation is also referred to as the total number. The distribution server 1 determines the effect added to the content being distributed based on the total number of predetermined user operation timings. Examples of effects added to content include audio, video, and video effects. In the present embodiment, the distribution server 1 determines a sound effect as an effect added to the content. Specifically, the distribution server 1 determines at least one of a clapping sound and a clapping sound as a sound effect. The hand clapping sound is a sound effect indicating the hand clapping. The applause sound is a sound effect indicating applause. And the delivery server 1 produces | generates the determined clapping sound or a clapping sound (step S4).

配信サーバ１は、決定された効果を、配信中のコンテンツに付加する。そして、決定された効果が付加されたコンテンツを複数のクライアント端末２へ配信する（ステップＳ５）。クライアント端末２は、決定された効果が付加されたコンテンツを受信して再生する。これにより、クライアント端末２は、決定された効果が付加された映像を表示部２４ａに表示し、又は決定された効果としての音声をスピーカ２６ａにより出力させる。そのため、再生されるコンテンツの臨場感を高めることができる。本実施形態においては、クライアント端末２は、手拍子音及び拍手音の少なくとも何れか一方をスピーカ２６ａにより出力させる。   The distribution server 1 adds the determined effect to the content being distributed. Then, the content to which the determined effect is added is distributed to the plurality of client terminals 2 (step S5). The client terminal 2 receives and reproduces the content to which the determined effect is added. Thereby, the client terminal 2 displays the video with the determined effect added on the display unit 24a or causes the speaker 26a to output the sound as the determined effect. Therefore, it is possible to enhance the realistic sensation of the content being played back. In the present embodiment, the client terminal 2 outputs at least one of a clapping sound and a clapping sound through the speaker 26a.

次に、配信中のコンテンツに手拍子音及び拍手音を付加する場合の、所定のユーザ操作の数の集計方法、手拍子音及び拍手音の生成方法、及び手拍子音及び拍手音の付加方法の詳細を説明する。   Next, details of a method for counting the number of predetermined user operations, a method for generating hand clapping sounds and applause sounds, and a method for adding hand clapping sounds and applause sounds when adding hand clapping sounds and applause sounds to content being distributed explain.

例えば制御部１１は、所定のサンプリング周期ごとに、所定のユーザ操作のタイミングの数を集計する。具体的に、サンプリング周期がＳであり、コンテンツの再生開始からｎ周期目の所定のユーザ操作の数を集計するとする。この場合、制御部１１は、ｎ（Ｓ−１）秒からｎＳ秒までの範囲に含まれるタイミングを示すアクションデータの数を集計する。図３（Ａ）は、各サンプリング周期における所定のユーザ操作のタイミングの数の一例を示すグラフである。   For example, the control unit 11 adds up the number of predetermined user operation timings for each predetermined sampling period. Specifically, it is assumed that the sampling period is S and the number of predetermined user operations in the n-th period from the start of content reproduction is totaled. In this case, the control unit 11 aggregates the number of action data indicating the timing included in the range from n (S-1) seconds to nS seconds. FIG. 3A is a graph showing an example of the number of predetermined user operation timings in each sampling period.

制御部１１は、各サンプリング周期で集計されたタイミングの数に基づいて、長さの異なる複数の周期のタイミングのそれぞれで行われた所定のユーザ操作の数を取得する。具体的に、制御部１１は、各サンプリング周期で集計されたタイミングの数をフーリエ変換等により周波数解析して、周波数分布を生成する。すなわち、制御部１１は、複数の周波数帯のそれぞれの振幅を取得する。各周波数帯の振幅は、その周波数帯の代表値の逆数である周期のタイミングで行われた所定のユーザ操作の数に対応する。図３（Ｂ）は、周波数解析により得られた各周波数帯の所定のユーザ操作の数の一例を示す図である。   The control unit 11 acquires the number of predetermined user operations performed at each of the timings of a plurality of periods having different lengths based on the number of timings totaled at each sampling period. Specifically, the control unit 11 generates a frequency distribution by frequency-analyzing the number of timings counted in each sampling period by Fourier transform or the like. That is, the control unit 11 acquires the amplitudes of the plurality of frequency bands. The amplitude of each frequency band corresponds to the number of predetermined user operations performed at a cycle timing that is the reciprocal of the representative value of the frequency band. FIG. 3B is a diagram illustrating an example of the number of predetermined user operations in each frequency band obtained by frequency analysis.

制御部１１は、長さの異なる複数の周期のうち、所定のユーザ操作の数が最も多い周期を特定周期として特定する。そして、制御部１１は、特定周期のタイミングで行われた所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、コンテンツに付加される効果音として、特定周期で行われる手拍子を示す手拍子音を決定する。一方、特定周期のタイミングで行われた所定のユーザ操作の数が、所定条件を満たす程度以上多くはない場合、コンテンツに付加される効果音として拍手音を決定する。   The control unit 11 identifies a cycle having the largest number of predetermined user operations as a specific cycle among a plurality of cycles having different lengths. Then, when the number of predetermined user operations performed at the timing of the specific cycle is greater than or equal to the predetermined condition, the control unit 11 indicates the hand time signature indicating the time signature performed in the specific cycle as a sound effect added to the content. Determine the sound. On the other hand, if the number of predetermined user operations performed at the timing of the specific cycle is not so large as to satisfy the predetermined condition, the applause sound is determined as the sound effect added to the content.

手拍子は、基本的に一定の周期で手を打ち鳴らす行為である。複数のユーザが手拍子を取りたい場合、例えばクライアント端末２が表示する映像又は出力する音声のリズムに合わせて、一定の周期で所定のユーザ操作を行う。従って、複数のユーザの間で、所定のユーザ操作を行う周期及びタイミングが略一致する。そのため、集計された所定のユーザ操作の数を周波数分析すると、特定の周波数帯の振幅がその他の周波数帯の振幅と比較して顕著に大きくなる。一方、複数のユーザが拍手を送りたい場合、各ユーザは、クライアント端末２が表示する映像又は出力する音声のリズムとは無関係な周期で、所定のユーザ操作を行う。このとき、所定のユーザ操作を行う周期はユーザによって異なる。また、所定のユーザ操作を行うタイミングもユーザによって異なる。従って、複数のユーザ全体で見ると、所定のユーザ操作を行う間隔は非周期的である。そのため、集計された所定のユーザ操作の数を周波数分析すると、全体的に振幅が均一になる傾向にある。   The clapping is basically the action of clapping hands with a certain period. When a plurality of users want to beat their hands, for example, a predetermined user operation is performed at a constant period in accordance with the rhythm of the video displayed by the client terminal 2 or the sound to be output. Therefore, the cycle and timing for performing a predetermined user operation are substantially the same among a plurality of users. Therefore, when frequency analysis is performed on the total number of predetermined user operations, the amplitude of a specific frequency band becomes significantly larger than the amplitudes of other frequency bands. On the other hand, when a plurality of users want to send applause, each user performs a predetermined user operation at a cycle unrelated to the rhythm of the video displayed on the client terminal 2 or the output audio. At this time, the cycle of performing a predetermined user operation varies depending on the user. Also, the timing for performing a predetermined user operation varies depending on the user. Accordingly, when viewed by a plurality of users as a whole, the interval for performing a predetermined user operation is aperiodic. Therefore, when frequency analysis is performed on the total number of predetermined user operations, the amplitude tends to be uniform as a whole.

所定条件を満たす程度は、例えば特定周期のタイミングで行われた所定のユーザ操作の数と、特定周期以外の周期のタイミングで行われた所定のユーザ操作の数との相対的な関係に基づいて定められる。例えば、所定条件を満たす程度以上であることは、特定周期の所定のユーザ操作の数を全ての周期の所定のユーザ操作の数で割ることにより計算される割合が、所定の基準割合以上であることであってもよい。或いは、制御部１１は、所定のユーザ操作の数が２番目に多い周期を第２周期として特定してもよい。そして、所定条件を満たす程度以上とは、例えば特定周期の所定のユーザ操作の数を第２周期の所定のユーザ操作の数で割ることにより計算される比率が、所定の基準比率以上であることであってもよい。図３（Ｂ）においては、２Ｈｚの周波数帯の振幅が他の周波数帯の振幅と比較して顕著に大きい。そのため、例えば０．５秒が特定周期に決定される。   The degree to which the predetermined condition is satisfied is based on, for example, a relative relationship between the number of predetermined user operations performed at a specific cycle timing and the number of predetermined user operations performed at a timing other than the specific cycle. Determined. For example, the ratio calculated by dividing the number of predetermined user operations in a specific period by the number of predetermined user operations in all periods is equal to or greater than a predetermined reference ratio to be equal to or greater than a predetermined condition. It may be. Alternatively, the control unit 11 may specify a cycle having the second highest number of user operations as the second cycle. And, the condition calculated by dividing the number of predetermined user operations in a specific period by the number of predetermined user operations in the second period is, for example, equal to or greater than a predetermined reference ratio. It may be. In FIG. 3B, the amplitude in the 2 Hz frequency band is significantly larger than the amplitudes in the other frequency bands. Therefore, for example, 0.5 seconds is determined as the specific period.

制御部１１は、各サンプリング周期で集計されたタイミングの数に基づいて、コンテンツに付加される効果の程度を決定してもよい。コンテンツに付加される効果の程度の例として、効果の強さ、量、数、大きさ等がある。具体的に、制御部１１は、集計数が多いほど、コンテンツに付加される効果の程度を大きくする。本実施形態においては、制御部１１は、例えば手拍子音や拍手音の程度として、例えば音量を決定してもよいし、手拍子音や拍手音の数を決定してもよい。手拍子音や拍手音の数は、例えば手拍子や拍手を行う人数に相当する。例えばコンテンツに付加される効果として手拍子音を決定した場合、制御部１１は、特定周期の所定のユーザ操作の数が多いほど、手拍子音の音量を大きくし、又は手拍子音の数を多くしてもよい。また例えば、コンテンツに付加される効果として拍手音を決定した場合、制御部１１は、全ての周期の所定のユーザ操作の数の合計又は平均が多いほど、拍手音の音量を大きくし、又は手拍子音の数を多くしてもよい。   The control unit 11 may determine the degree of the effect added to the content based on the number of timings accumulated in each sampling period. Examples of the degree of the effect added to the content include the strength, amount, number, and size of the effect. Specifically, the control unit 11 increases the degree of the effect added to the content as the total number increases. In the present embodiment, the control unit 11 may determine the volume, for example, as the degree of the hand clapping sound or the clapping sound, or may determine the number of the hand clapping sound or the clapping sound. The number of hand clapping sounds and applause sounds corresponds to, for example, the number of hands clapping and clapping. For example, when the hand clapping sound is determined as an effect added to the content, the control unit 11 increases the volume of the hand clapping sound or increases the number of the hand clapping sound as the number of predetermined user operations in the specific period increases. Also good. Further, for example, when applause sound is determined as an effect added to the content, the control unit 11 increases the volume of the applause sound or increases the clap sound as the total or average number of predetermined user operations in all cycles increases. You may increase the number of sounds.

例えば、記憶部１２には、効果の程度ごとに、効果の程度と所定のユーザ操作のタイミングの数とを対応付けて格納している程度決定テーブルが予め記憶されてもよい。制御部１１は、所定のユーザ操作のタイミングの数に対応する効果の程度を、程度決定テーブルに格納されている複数の程度の中から決定してもよい。   For example, the degree determination table in which the degree of effect and the number of predetermined user operation timings are associated with each other and stored for each degree of effect may be stored in the storage unit 12 in advance. The control unit 11 may determine the degree of the effect corresponding to the predetermined number of user operation timings from a plurality of degrees stored in the degree determination table.

コンテンツに付加される効果の程度を決定すると、制御部１１は、決定した程度の効果を生成する。例えば、制御部１１は、コンテンツに付加される効果の程度として決定した音量の効果音を生成してもよい。また、制御部１１は、コンテンツに付加される効果の程度として決定した人数分の効果音を生成してもよい。制御部１１は、生成した複数の効果音を合成して、コンテンツに付加される合成効果音を生成してもよい。複数の手拍子音を合成して合成手拍子音を生成するとき、制御部１１は、各手拍子音が示す手拍子のタイミングが一致するように合成手拍子音を生成してもよい。このとき、制御部１１は、それぞれの手拍子のタイミングが互いに若干ずれるように合成手拍子音を生成してもよい。複数の拍手音を生成するとき、制御部１１は、例えば各拍手音について、拍手の周期を互いに異なる周期に決定してもよい。制御部１１は、それぞれ決定した周期で行われる拍手を示す拍手音を生成してもよい。制御部１１は、生成した複数の拍手音を合成して合成拍手音を生成してもよい。このとき、制御部１１は、それぞれの拍手のタイミングが互いにずれるように合成拍手音を生成してもよい。こうして、制御部１１は、非周期的に手が打ち鳴らされる音を示す合成拍手音を生成する。   When the degree of effect added to the content is determined, the control unit 11 generates the determined degree of effect. For example, the control unit 11 may generate a sound effect having a volume determined as the degree of the effect added to the content. Moreover, the control part 11 may produce | generate the sound effect for the number of persons determined as a grade of the effect added to a content. The control unit 11 may generate a synthesized sound effect added to the content by synthesizing the plurality of generated sound effects. When synthesizing a plurality of hand clapping sounds to generate a synthesized hand clapping sound, the control unit 11 may generate a synthesized hand clapping sound so that the timings of the hand clappings indicated by the respective hand clapping sounds coincide. At this time, the control unit 11 may generate the synthesized hand clapping sound so that the timings of the respective hand clappings are slightly shifted from each other. When generating a plurality of applause sounds, the control unit 11 may determine, for example, each applause sound as a different applause cycle. The control unit 11 may generate applause sound indicating applause performed at each determined cycle. The control unit 11 may generate a combined applause sound by combining the generated applause sounds. At this time, the control part 11 may produce | generate a synthetic | combination applause sound so that the timing of each applause may mutually shift. In this way, the control part 11 produces | generates the composite applause sound which shows the sound by which a hand is struck non-periodically.

コンテンツに付加される効果として拍手音が決定された場合であっても、特定周期以外の周期で、或る程度の所定のユーザ操作の数が取得されることがある。すなわち、多くのユーザは手拍子として所定のユーザ操作を行っているものの、或る程度の人数のユーザは、拍手として所定のユーザ操作を行っている蓋然性がある。そこで、制御部１１は、特定周期の所定のユーザ操作の数に基づいて、手拍子音を生成するとともに、特定周期の周期以外の周期の所定のユーザ操作の数に基づいて、拍手音を生成してもよい。例えば、制御部１１は、特定周期以外の周期の所定のユーザ操作の数の合計又は平均が多いほど、拍手音の音量を大きくし、又は拍手を行う人数を多くしてもよい。そして、制御部１１は、生成された手拍子音及び拍手音を合成して、コンテンツに付加される効果音を生成してもよい。   Even when the applause sound is determined as an effect added to the content, a certain number of predetermined user operations may be acquired in a cycle other than the specific cycle. That is, many users perform a predetermined user operation as a clapping, but a certain number of users are likely to perform a predetermined user operation as a clapping. Therefore, the control unit 11 generates a clapping sound based on the number of predetermined user operations in a specific cycle, and generates a clapping sound based on the number of predetermined user operations in a cycle other than the specific cycle. May be. For example, the control unit 11 may increase the volume of applause sound or increase the number of people who perform applause as the total or average number of predetermined user operations in a period other than the specific period increases. And the control part 11 may synthesize | combine the produced | generated clapping sound and a clapping sound, and may produce | generate the sound effect added to a content.

制御部１１は、決定された効果を、配信中のコンテンツに付加する。本実施形態においては、制御部１１は、手拍子音及び拍手音の少なくとも何れか一方をコンテンツに合成する。   The control unit 11 adds the determined effect to the content being distributed. In the present embodiment, the control unit 11 synthesizes at least one of a clapping sound and a clapping sound with the content.

ところで、ユーザは、例えば配信サーバ１から受信されたコンテンツを再生することによりクライアント端末２が表示した映像又は出力した音声のリズムに従って、手拍子としての所定のユーザ操作を行う。従って、制御部１１は、所定のユーザ操作が行われたタイミングに対応する再生位置と全く同じ再生位置で手拍子音がユーザ端末２により再生されるように、手拍子音をコンテンツに付加することはできない。また例えば、制御部１１が、手拍子音が直ちに再生されるように手拍子音をコンテンツに合成したとしても、実際に所定のユーザ操作が行われたタイミングから手拍子音が再生されるまでにずれが生じる。そこで、制御部１１は、手拍子音の再生を開始する位置を特定周期分遅延させて手拍子音をコンテンツに付加する。例えば、制御部１１は、各サンプリング周期で集計されたタイミングの数をフーリエ変換等により周波数解析して、特定周期の位相遅延を計算してもよい。制御部１１は、例えば計算した位相遅延に基づいて、特定周期の正弦波の関数を取得し、この関数が極値となる位相を、手拍子が行われる位相として特定してもよい。この位相は、特定周期で行われた所定のユーザ操作のタイミングに基本的に対応する。制御部１１は、例えば特定された位相と同位相となる再生位置のうち、現在の再生位置よりも前の再生位置であって、且つ現在の再生位置に最も近い再生位置を特定してもよい。そして特定した再生位置に特定周期を加算して、手拍子音の再生開始位置を計算してもよい。再生開始位置に対応する位相も、特定された位相と同位相となる。制御部１１は、計算した再生開始位置で手拍子音をコンテンツに合成する。これにより、クライアント端末２は、クライアント端末２が表示した映像又は出力した音声のリズムに合わせて、手拍子音を出力することができる。   By the way, the user performs a predetermined user operation as a clapping according to the rhythm of the video displayed by the client terminal 2 or the output audio by reproducing the content received from the distribution server 1, for example. Therefore, the control unit 11 cannot add the hand beat consonant to the content so that the hand beat consonant is reproduced by the user terminal 2 at the same reproduction position as the reproduction position corresponding to the timing when the predetermined user operation is performed. . Further, for example, even if the control unit 11 synthesizes the hand beat sound with the content so that the hand beat sound is immediately reproduced, there is a deviation from the timing when the predetermined user operation is actually performed until the hand beat sound is reproduced. . Therefore, the control unit 11 delays the position at which the reproduction of the clapping sound is started by a specific period and adds the clapping sound to the content. For example, the control unit 11 may calculate the phase delay of a specific period by frequency-analyzing the number of timings counted in each sampling period by Fourier transform or the like. For example, the control unit 11 may acquire a function of a sine wave having a specific period based on the calculated phase delay, and may specify a phase at which this function is an extreme value as a phase at which a hand beat is performed. This phase basically corresponds to the timing of a predetermined user operation performed at a specific period. For example, the control unit 11 may specify a playback position that is the playback position before the current playback position and that is closest to the current playback position, among playback positions that have the same phase as the specified phase. . Then, a specific period may be added to the specified reproduction position to calculate the reproduction start position of the clapping sound. The phase corresponding to the reproduction start position is also the same as the identified phase. The control unit 11 synthesizes the clapping sound with the content at the calculated reproduction start position. Thereby, the client terminal 2 can output a clapping sound in accordance with the rhythm of the video displayed by the client terminal 2 or the output audio.

図３（Ｃ）は、所定のユーザ操作のタイミングの数の集計に基づいて特定される所定のユーザ操作のタイミング、及び手拍子音が再生されるタイミングの例を示す図である。特定周期をＴとし、集計結果に基づいて特定される所定のユーザ操作のタイミングがｔ０秒であるとする。この場合、制御部１１は、例えばｔ０＋Ｔ秒を手拍子音の再生開始位置に決定する。そのため、ｔ０からＴ秒経過するごとに、手拍子音が出力される。このように、制御部１１は、手拍子音が再生されるタイミングを、その手拍子音に対応する所定のユーザ操作が行われた後に行われる次の所定のユーザ操作のタイミングに合わせることができる。例えば、或るユーザが所定の周期で所定のユーザ操作を行う。制御部１１は、例えばこの周期を特定周期に決定したとする。制御部１１は、特定周期でクライアント端末２から受信されたアクションデータが示すタイミングに対応する位相と一致する位相に対応する再生位置で、手拍子音をコンテンツに合成してコンテンツを複数のクライアント端末２に配信する。各クライアント端末２は、コンテンツを再生することにより、手拍子音を出力する。他のユーザは、手拍子音が出力されるタイミングに合わせて、所定のユーザ操作を行う。従って、略同一のタイミングを示すアクションデータを配信サーバ１が受信する数が次第に大きくなる。そのため、クライアント端末２で再生される手拍子音が次第に大きくなる。   FIG. 3C is a diagram illustrating an example of the timing of a predetermined user operation specified based on the total number of timings of the predetermined user operation and the timing at which the clapping sound is reproduced. Assume that the specific period is T, and the timing of a predetermined user operation specified based on the counting result is t0 seconds. In this case, the control unit 11 determines, for example, t0 + T seconds as the reproduction start position of the clapping sound. Therefore, every time T seconds elapse from t0, a clapping sound is output. In this way, the control unit 11 can match the timing at which the hand beat consonant is reproduced with the timing of the next predetermined user operation performed after the predetermined user operation corresponding to the hand beat consonant is performed. For example, a certain user performs a predetermined user operation at a predetermined cycle. For example, it is assumed that the control unit 11 determines this period as a specific period. The control unit 11 synthesizes the content of the hand clapping sound with the content at the reproduction position corresponding to the phase corresponding to the phase corresponding to the timing indicated by the action data received from the client terminal 2 at a specific period, and combines the content with the plurality of client terminals 2. Deliver to. Each client terminal 2 outputs a clapping sound by reproducing the content. The other user performs a predetermined user operation in accordance with the timing at which the clapping sound is output. Therefore, the number of distribution servers 1 that receive action data indicating substantially the same timing gradually increases. For this reason, the clapping sound reproduced by the client terminal 2 gradually increases.

なお、制御部１１は、周波数分布に基づいて、例えば２以上の周期の所定のユーザ操作の数がそれぞれ所定条件を満たす程度以上多い場合、その２以上の周期を特定周期に決定してもよい。そして、制御部１１は、例えば２以上の特定周期のそれぞれで行われる手拍子を示す手拍子音をそれぞれ生成してもよい。この場合、制御部１１は、複数の特定周期を特定した場合、例えばこれらの特定周期の最小公倍数を基本周期として計算してもよい。制御部１１は、各特定周期について、手拍子が行われる位相を特定する。制御部１１は、例えば特定周期ごとに、特定した位相と同位相となる再生位置のうち、現在の再生位置よりも前の再生位置であって、且つ現在の再生位置に最も近い再生位置を特定する。そして、制御部１１は、特定周期ごとに、特定した再生位置に基本周期を加算して、その特定周期の手拍子音の再生開始位置を計算する。複数の特定周期の手拍子のタイミングは基本周期が経過するごとに一致するものと考えられる。全て特定周期の手拍子音の再生開始位置が、実際の所定のユーザ操作が受け付けられたタイミングから基本周期分遅延する。従って、複数の特定周期の間で手拍子音が再生されるタイミングを合わせることができる。   In addition, based on the frequency distribution, for example, when the number of predetermined user operations of two or more cycles is more than a certain condition, the control unit 11 may determine the two or more cycles as specific cycles. . And the control part 11 may each produce | generate the clapping sound which shows the clapping performed in each of two or more specific periods, for example. In this case, when specifying a plurality of specific periods, the control unit 11 may calculate, for example, the least common multiple of these specific periods as the basic period. The control part 11 specifies the phase in which a clapping is performed about each specific period. For example, the control unit 11 specifies a playback position that is the playback position before the current playback position and that is closest to the current playback position among the playback positions that are in phase with the specified phase, for example, for each specific period. To do. And the control part 11 adds a basic period to the specified reproduction | regeneration position for every specific period, and calculates the reproduction | regeneration start position of the clapping sound of the specific period. It is considered that the timings of the hand clappings of a plurality of specific periods coincide each time the basic period elapses. The reproduction start positions of the clapping sounds having the specific period are all delayed by the basic period from the timing when the actual predetermined user operation is accepted. Therefore, it is possible to match the timing at which the clap sound is reproduced among a plurality of specific periods.

なお、拍手音を生成した場合、制御部１１は、例えば拍手音が直ちに再生される再生位置で拍手音をコンテンツに合成してもよい。   When the applause sound is generated, the control unit 11 may synthesize the applause sound with the content at a reproduction position where the applause sound is immediately reproduced, for example.

手拍子、拍手、声援、歓声など、各ユーザが実際に発した音声をそのままコンテンツに合成した場合と比較した本実施形態の効果を説明する。例えば、クライアント端末２に接続されたマイクにより、ユーザが発した音声を音声データに変換して、クライアント端末２は音声データをリアルタイムで配信サーバ１に送信するものと仮定する。配信サーバ１は、各クライアント端末２から受信した音声データを合成する。そして、配信サーバ１は、合成された音声データを配信中のコンテンツに合成する。クライアント端末２の数が多くなるほど、配信サーバ１が合成すべき音声データの数が多くなる傾向があるので、配信サーバ１の合成処理の負荷が増大する。また、ユーザは不要な音声や不適切な音声を発する場合もある。このような音声もコンテンツに付加されてクライアント端末２に配信されてしまう。これに対して、本実施形態によれば、配信サーバ１は、複数のクライアント端末２から受信されたアクションデータが示すタイミングの数の集計に基づいて、配信中のコンテンツに付加される効果音を生成する。タイミングの数の集計処理の負荷は、複数のクライアント端末２から受信される音声データの合成処理の負荷よりも小さい。従って、配信サーバ１の処理負荷を軽減させることができる。また、所定のユーザ操作が受け付けられた場合に、ユーザ端末２はアクションデータを送信する。所定のユーザ操作は、例えば手を打ち鳴らすなどの所定の動作に対応付けられている。従って、配信サーバ１は、アクションデータが示すタイミングの数の集計に基づいて、所定の動作に対応する効果音のみを、配信中のコンテンツに付加される効果音として決定することができる。   The effects of the present embodiment will be described in comparison with the case where the voices actually uttered by each user, such as clapping, applause, cheering, cheers, etc., are synthesized with the content as it is. For example, it is assumed that the voice uttered by the user is converted into voice data by a microphone connected to the client terminal 2 and the client terminal 2 transmits the voice data to the distribution server 1 in real time. The distribution server 1 synthesizes audio data received from each client terminal 2. Then, the distribution server 1 combines the synthesized audio data with the content being distributed. As the number of client terminals 2 increases, the number of audio data to be synthesized by the distribution server 1 tends to increase, so the load of the synthesis processing of the distribution server 1 increases. In addition, the user may emit unnecessary or inappropriate sound. Such audio is also added to the content and distributed to the client terminal 2. On the other hand, according to the present embodiment, the distribution server 1 generates sound effects added to the content being distributed based on the total number of timings indicated by the action data received from the plurality of client terminals 2. Generate. The load of the counting process of the number of timings is smaller than the load of the synthesis process of the audio data received from the plurality of client terminals 2. Therefore, the processing load on the distribution server 1 can be reduced. Further, when a predetermined user operation is received, the user terminal 2 transmits action data. The predetermined user operation is associated with a predetermined operation such as, for example, hitting a hand. Therefore, the distribution server 1 can determine only the sound effect corresponding to the predetermined operation as the sound effect added to the content being distributed based on the total number of timings indicated by the action data.

［１−４．通信システムＳＡの動作］
次に、図４及び図５を参照して、本実施形態の通信システムＳＡの動作について説明する。図４は、配信サーバ１における手拍子音・拍手音生成処理の一例を示すフローチャートである。配信サーバ１の制御部１１は、例えば記憶部１２に記憶されたコンテンツのストリーミング配信を開始する。制御部１１は、コンテンツに含まれる映像データ及び音声データを順次複数のクライアント端末２へ送信する。ストリーミング配信を開始するとき、制御部１１は、例えば、再生位置としての現在時刻を０にリセットする。また、制御部１１は、手拍子音・拍手音生成処理の実行を開始する。 [1-4. Operation of Communication System SA]
Next, the operation of the communication system SA of this embodiment will be described with reference to FIGS. FIG. 4 is a flowchart illustrating an example of a clapping sound / clapping sound generation process in the distribution server 1. For example, the control unit 11 of the distribution server 1 starts streaming distribution of content stored in the storage unit 12. The control unit 11 sequentially transmits video data and audio data included in the content to the plurality of client terminals 2. When starting the streaming distribution, the control unit 11 resets the current time as the reproduction position to 0, for example. Moreover, the control part 11 starts execution of a clap sound / applause sound generation process.

図４に示すように、制御部１１は、現在時刻に、記憶部１２に予め記憶されている集計間隔を加算して、集計時刻を計算する（ステップＳ１１）。集計間隔は、所定のユーザ操作のタイミングの数を集計する間隔である。例えば、集計間隔は、所定のユーザ操作のタイミングの数のサンプリング周期よりも長い。また、制御部１１は、集計リストを初期化する。例えば、制御部１１は、コンテンツの再生開始から再生終了までサンプリング周期間隔で設定された各再生位置を集計リストに登録する。また、制御部１１は、再生位置ごとに、集計数としての０を集計リストに登録する。   As illustrated in FIG. 4, the control unit 11 calculates the total time by adding the total interval stored in advance in the storage unit 12 to the current time (step S <b> 11). The counting interval is an interval for counting the number of timings of a predetermined user operation. For example, the aggregation interval is longer than the sampling cycle of the number of predetermined user operation timings. In addition, the control unit 11 initializes the aggregation list. For example, the control unit 11 registers each reproduction position set at sampling cycle intervals from the start of reproduction of content to the end of reproduction in the aggregation list. Further, the control unit 11 registers 0 as the total number for each reproduction position in the total list.

次いで、制御部１１は、コンテンツの配信が終了するか否かを判定する（ステップＳ１２）。このとき、制御部１１は、コンテンツの配信が終了しないと判定した場合には（ステップＳ１２：ＮＯ）、ステップＳ１３に進む。ステップＳ１３において、制御部１１は、少なくとも１つのクライアント端末２からアクションデータを受信したか否かを判定する（ステップＳ１３）。このとき、制御部１１は、少なくとも１つのクライアント端末２からアクションデータを受信したと判定した場合には（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進む。一方、制御部１１は、何れのクライアント端末２からもアクションデータを受信していないと判定した場合には（ステップＳ１３：ＮＯ）、ステップＳ１５に進む。   Next, the control unit 11 determines whether or not the content distribution ends (step S12). At this time, if the control unit 11 determines that the content distribution does not end (step S12: NO), the control unit 11 proceeds to step S13. In step S13, the controller 11 determines whether or not action data has been received from at least one client terminal 2 (step S13). At this time, if the control unit 11 determines that action data has been received from at least one client terminal 2 (step S13: YES), the control unit 11 proceeds to step S14. On the other hand, when the control unit 11 determines that no action data has been received from any client terminal 2 (step S13: NO), the control unit 11 proceeds to step S15.

ステップＳ１４において、制御部１１は、受信されたアクションデータに基づいて、集計数を更新する。具体的に、制御部１１は、アクションデータが示すタイミングに対応する再生位置を、集計リストから検索する。そして、制御部１１は、検索された再生位置に対応する集計数に１を加算する。制御部１１は、このような集計数を更新する処理を、受信したアクションデータごとに実行する。そして、制御部１１は、ステップＳ１５に進む。   In step S14, the control unit 11 updates the total number based on the received action data. Specifically, the control unit 11 searches the total list for a reproduction position corresponding to the timing indicated by the action data. And the control part 11 adds 1 to the total number corresponding to the searched reproduction | regeneration position. The control part 11 performs the process which updates such a total number for every received action data. Then, the control unit 11 proceeds to step S15.

ステップＳ１５において、制御部１１は、現在時刻が集計時刻以降であるか否かを判定する。このとき、制御部１１は、現在時刻が集計時刻以降ではないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ１２に進む。一方、制御部１１は、現在時刻が集計時刻以降であると判定した場合には（ステップＳ１５：ＹＥＳ）、ステップＳ１６に進む。   In step S15, the control unit 11 determines whether or not the current time is after the total time. At this time, if the control unit 11 determines that the current time is not after the counting time (step S15: NO), the control unit 11 proceeds to step S12. On the other hand, if the control unit 11 determines that the current time is after the counting time (step S15: YES), the control unit 11 proceeds to step S16.

ステップＳ１６において、制御部１１は、過去の一定期間における集計数を周波数解析して、周波数分布を生成する。この一定期間の長さは集計間隔よりも長い。具体的に、制御部１１は、現在時刻の所定時間前から現在時刻までの期間内にある全再生位置を、集計リストから検索する。そして、制御部１１は、検索した再生位置に対応して集計リストに登録されている集計数を周波数解析する。制御部１１は、周波数解析の結果、複数の周波数帯のうち振幅が最も大きい特定周波数帯を特定する。次いで、制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きいか否かを判定する（ステップＳ１７）。例えば、制御部１１は、特定周波数帯の振幅を全周波数帯の振幅の合計で割ることにより、特定周波数帯の振幅の割合を計算してもよい。そして、制御部１１は、計算した割合が、記憶部１２に予め記憶されている基準割合以上である場合、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。或いは、制御部１１は、例えば複数周波数帯のうち振幅が２番目に大きい第２周波数帯を特定してもよい。次いで、制御部１１は、特定周波数帯の振幅を第２周波数帯の振幅で割ることにより比率を計算してもよい。そして、制御部１１は、計算した比率が、記憶部１２に予め記憶されている基準比率以上である場合、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。或いは、制御部１１は、計算した割合が基準割合以上であり、且つ計算した比率が基準比率以上である場合にのみ、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定してもよい。制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きいと判定した場合には（ステップＳ１７：ＹＥＳ）、ステップＳ１８に進む。一方、制御部１１は、特定周波数帯の振幅が、所定条件を満たす程度以上大きくはないと判定した場合には（ステップＳ１７：ＮＯ）、ステップＳ２２に進む。   In step S <b> 16, the control unit 11 performs frequency analysis on the total number in the past certain period to generate a frequency distribution. The length of this fixed period is longer than the aggregation interval. Specifically, the control unit 11 searches the total list for all playback positions within a period from a predetermined time before the current time to the current time. Then, the control unit 11 frequency-analyzes the total number registered in the total list corresponding to the searched reproduction position. As a result of the frequency analysis, the control unit 11 specifies a specific frequency band having the largest amplitude among the plurality of frequency bands. Next, the control unit 11 determines whether or not the amplitude of the specific frequency band is greater than or equal to a predetermined condition (step S17). For example, the control unit 11 may calculate the ratio of the amplitude of the specific frequency band by dividing the amplitude of the specific frequency band by the sum of the amplitudes of all the frequency bands. And the control part 11 may determine with the amplitude of a specific frequency band being more than the extent which satisfy | fills predetermined conditions, when the calculated ratio is more than the reference | standard ratio previously memorize | stored in the memory | storage part 12. FIG. Or control part 11 may specify the 2nd frequency band with the 2nd largest amplitude among a plurality of frequency bands, for example. Next, the control unit 11 may calculate the ratio by dividing the amplitude of the specific frequency band by the amplitude of the second frequency band. And the control part 11 may determine with the amplitude of a specific frequency band being more than the extent which satisfy | fills a predetermined condition, when the calculated ratio is more than the reference ratio previously memorize | stored in the memory | storage part 12. FIG. Alternatively, the control unit 11 may determine that the amplitude of the specific frequency band is greater than or equal to a predetermined condition only when the calculated ratio is equal to or greater than the reference ratio and the calculated ratio is equal to or greater than the reference ratio. Good. If the control unit 11 determines that the amplitude of the specific frequency band is greater than or equal to the predetermined condition (step S17: YES), the control unit 11 proceeds to step S18. On the other hand, when the control unit 11 determines that the amplitude of the specific frequency band is not so large as to satisfy the predetermined condition (step S17: NO), the control unit 11 proceeds to step S22.

ステップＳ１８において、制御部１１は、特定周波数帯の代表値の逆数を、特定周期として計算する。そして、制御部１１は、特定周波数帯の振幅、及び特定周期に基づいて、合成手拍子音を生成する。例えば、制御部１１は、特定周波数帯の振幅に基づいて、手拍子音の数を決定してもよい。また、制御部１１は、例えば特定周波数帯の振幅に基づいて、各手拍子音の音量を決定してもよい。制御部１１は、例えば記憶部１２に記憶された手拍子音用の程度決定テーブルに基づいて、音量や数を決定してもよい。制御部１１は、例えば、決定した音量の手拍子が特定周期のタイミングで行われる手拍子音を、決定した数生成する。このとき、制御部１１は、例えば手拍子音の長さを集計間隔と一致させてもよいし、手拍子音の長さを集計間隔未満にしてもよい。制御部１１は、生成した手拍子音を合成して合成手拍子音を生成する。   In step S18, the control unit 11 calculates the reciprocal of the representative value of the specific frequency band as the specific period. And the control part 11 produces | generates a synthetic | combination clapping sound based on the amplitude and specific period of a specific frequency band. For example, the control unit 11 may determine the number of clapping sounds based on the amplitude of a specific frequency band. Moreover, the control part 11 may determine the volume of each clapper sound based on the amplitude of a specific frequency band, for example. For example, the control unit 11 may determine the volume and the number based on a degree determination table for clapping sounds stored in the storage unit 12. For example, the control unit 11 generates the determined number of hand clapping sounds that are performed at a specific cycle timing. At this time, for example, the control unit 11 may match the length of the clapping sound with the counting interval, or may make the length of the clapping sound less than the counting interval. The control part 11 synthesize | combines the produced | generated hand beat consonant and produces | generates a synthetic hand beat consonant.

次いで、制御部１１は、例えば特定周波数帯以外の周波数帯の振幅の平均値を計算する。そして、制御部１１は、計算した平均値に基づいて、合成拍手音を生成する（ステップＳ１９）。例えば、制御部１１は、振幅の平均に基づいて、拍手音の数を決定してもよい。また、制御部１１は、例えば振幅の平均に基づいて、各拍手音の音量を決定してもよい。制御部１１は、例えば記憶部１２に記憶された拍手音用の程度決定テーブルに基づいて、音量や数を決定してもよい。制御部１１は、例えば、決定した音量の拍手音を、決定した数生成する。制御部１１は、生成した拍手音を合成して合成拍手音を生成する。   Next, the control unit 11 calculates an average value of amplitudes in frequency bands other than the specific frequency band, for example. And the control part 11 produces | generates a synthetic applause sound based on the calculated average value (step S19). For example, the control unit 11 may determine the number of clap sounds based on the average amplitude. Moreover, the control part 11 may determine the volume of each applause sound based on the average of amplitude, for example. The control unit 11 may determine the volume and number based on, for example, a degree determination table for applause sounds stored in the storage unit 12. For example, the control unit 11 generates a determined number of applause sounds having a determined volume. The control part 11 synthesize | combines the produced | generated applause sound and produces | generates a composite applause sound.

次いで、制御部１１は、手拍子音の再生開始位置を決定する（ステップＳ２０）。例えば、制御部１１は、過去の一定期間における集計数を周波数解析して、特定周波数帯の位相遅延を計算する。制御部１１は、計算した位相遅延に基づいて、特定周期の正弦波の関数が極値となる位相を、手拍子が行われる位相として特定する。そして、制御部１１は、例えば、特定した位相と同一位相となる再生位置を、手拍子音の再生開始位置として決定する。   Subsequently, the control part 11 determines the reproduction | regeneration start position of a clapping sound (step S20). For example, the control unit 11 performs frequency analysis on the total number in the past certain period, and calculates the phase delay of the specific frequency band. Based on the calculated phase delay, the control unit 11 specifies the phase at which the function of the sine wave having the specific period is an extreme value as the phase at which the hand beat is performed. And the control part 11 determines the reproduction | regeneration position used as the same phase as the identified phase as a reproduction | regeneration start position of a clapping sound, for example.

次いで、制御部１１は、決定された再生開始位置で合成手拍子音の再生が開始されるよう合成手拍子音を、配信中のコンテンツに含まれる音声データに合成する。制御部１１は、更に合成拍手音を、配信中のコンテンツに含まれる音声データに合成する（ステップＳ２１）。   Next, the control unit 11 synthesizes the synthesized hand beat sound with the sound data included in the content being distributed so that the reproduction of the synthesized hand beat sound is started at the determined reproduction start position. The control unit 11 further synthesizes the synthesized applause sound with the audio data included in the content being distributed (step S21).

ステップＳ２２において、制御部１１は、例えば全周波数帯の振幅の平均値を計算する。そして、制御部１１は、計算した平均値に基づいて、合成拍手音を生成する（ステップＳ２２）。合成拍手音の具体的な生成方法は、ステップＳ１９と同様である。次いで、制御部１１は、生成した合成拍手音を、配信中のコンテンツに含まれる音声データに合成する（ステップＳ２３）。次いで、制御部１１は、ステップＳ２４に進む。   In step S22, the control unit 11 calculates an average value of amplitudes in all frequency bands, for example. And the control part 11 produces | generates a synthetic applause sound based on the calculated average value (step S22). A specific method for generating the synthesized applause sound is the same as in step S19. Next, the control unit 11 synthesizes the generated synthesized applause sound with audio data included in the content being distributed (step S23). Next, the control unit 11 proceeds to step S24.

ステップＳ２４において、制御部１１は、集計時刻に集計間隔を加算することにより、集計時刻を更新する。次いで、制御部１１は、ステップＳ１２に進む。ステップＳ１２において、制御部１１は、コンテンツの配信が終了すると判定した場合には（ステップＳ１２：ＹＥＳ）、手拍子音・拍手音生成処理を終了させる。   In step S24, the control unit 11 updates the counting time by adding the counting interval to the counting time. Next, the control unit 11 proceeds to step S12. In step S12, when it is determined that the content distribution is to be ended (step S12: YES), the control unit 11 ends the clapping / clapping sound generation process.

図５は、クライアント端末２におけるクライアント処理の一例を示すフローチャートである。クライアント端末２が配信サーバ１からストリーミング配信されてきたコンテンツの受信を開始すると、制御部２１は、クライアント処理の実行を開始する。図５に示すように、制御部２１は、コンテンツの再生が終了するか否かを判定する（ステップＳ３１）。このとき、制御部２１は、コンテンツの再生が終了しないと判定した場合には（ステップＳ３１：ＮＯ）、ステップＳ３２に進む。ステップＳ３２において、制御部２１は、受信したコンテンツを再生する（ステップＳ３２）。具体的に、制御部２１は、コンテンツに含まれる映像データの画像フレームを順次映像制御部２４に出力することにより、表示部２４ａにより映像を表示させる。また、制御部２１は、コンテンツに含まれる音声データを音声制御部２６に出力することにより、スピーカ２６ａから音声を出力させる。また、制御部２１は、コンテンツの再生位置を更新する。   FIG. 5 is a flowchart illustrating an example of client processing in the client terminal 2. When the client terminal 2 starts receiving content streamed from the distribution server 1, the control unit 21 starts executing client processing. As shown in FIG. 5, the control unit 21 determines whether or not the content reproduction ends (step S <b> 31). At this time, if the control unit 21 determines that the reproduction of the content does not end (step S31: NO), the control unit 21 proceeds to step S32. In step S32, the control unit 21 reproduces the received content (step S32). Specifically, the control unit 21 sequentially outputs image frames of video data included in the content to the video control unit 24, thereby causing the display unit 24a to display the video. Further, the control unit 21 outputs sound data included in the content to the sound control unit 26, thereby causing the speaker 26a to output sound. Further, the control unit 21 updates the reproduction position of the content.

次いで、制御部２１は、操作部２５ａを介して所定のユーザ操作が受け付けられたか否かを判定する（ステップＳ３３）。このとき、制御部２１は、所定のユーザ操作が受け付けられていないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、所定のユーザ操作が受け付けられたと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ３４に進む。ステップＳ３４において、制御部２１は、現在の再生位置を、所定のユーザ操作が受け付けられたタイミングとして取得する。そして、制御部２１は、所定のユーザ操作が受け付けられたタイミングを示すアクションデータを配信サーバ１へ送信する。次いで、制御部２１は、ステップＳ３１に進む。ステップＳ３１において、制御部２１は、コンテンツの再生が終了すると判定した場合には（ステップＳ３１：ＹＥＳ）、クライアント処理を終了させる。   Next, the control unit 21 determines whether or not a predetermined user operation has been accepted via the operation unit 25a (step S33). At this time, if the control unit 21 determines that a predetermined user operation has not been received (step S33: NO), the control unit 21 proceeds to step S31. On the other hand, when it is determined that a predetermined user operation has been accepted (step S33: YES), the control unit 21 proceeds to step S34. In step S34, the control unit 21 acquires the current reproduction position as the timing when a predetermined user operation is accepted. Then, the control unit 21 transmits action data indicating the timing at which a predetermined user operation is received to the distribution server 1. Next, the control unit 21 proceeds to step S31. In step S31, when it is determined that the content reproduction is to be ended (step S31: YES), the control unit 21 ends the client process.

以上説明したように、本実施形態によれば、配信サーバ１が、複数のクライアント端末２から受信されたアクションデータが示すタイミングの数を集計する。また、配信サーバ１が、集計されたタイミングの数に基づいて効果を決定する。そして、配信サーバ１が、決定された効果を配信中のコンテンツに付加する。そのため、ユーザの所定の操作のタイミングに基づいて決定された効果が映像とともに再生されるので、臨場感を高めることができる。   As described above, according to the present embodiment, the distribution server 1 counts the number of timings indicated by the action data received from the plurality of client terminals 2. Further, the distribution server 1 determines the effect based on the total number of timings. Then, the distribution server 1 adds the determined effect to the content being distributed. Therefore, since the effect determined based on the timing of the predetermined operation by the user is reproduced together with the video, the sense of reality can be enhanced.

［２．第２実施形態］
［２−１．通信システムの構成］
次に、図６（Ａ）を参照して、本発明の実施形態の通信システムＳＢの概要構成について説明する。図６（Ａ）は、本実施形態の通信システムＳＢの概要構成例を示す図である。図６（Ａ）において、図１と同様の要素については同様の符号が付されている。図６（Ａ）に示すように、通信システムＳＢは、配信サーバ１、複数のクライアント端末２、ビデオカメラ３、及びタイミング検知部４を含んで構成される。配信サーバ１及びクライアント端末２は、それぞれ、ネットワークＮＷに接続される。配信サーバ１とビデオカメラ３は、有線又は無線により接続される。また、配信サーバ１とタイミング検知部４は、有線又は無線により接続される。 [2. Second Embodiment]
[2-1. Configuration of communication system]
Next, a schematic configuration of the communication system SB according to the embodiment of the present invention will be described with reference to FIG. FIG. 6A is a diagram illustrating a schematic configuration example of the communication system SB of the present embodiment. In FIG. 6A, the same elements as those in FIG. As shown in FIG. 6A, the communication system SB includes a distribution server 1, a plurality of client terminals 2, a video camera 3, and a timing detection unit 4. The distribution server 1 and the client terminal 2 are each connected to the network NW. The distribution server 1 and the video camera 3 are connected by wire or wireless. The distribution server 1 and the timing detection unit 4 are connected by wire or wireless.

ビデオカメラ３は、例えばイベントなどの様子を撮影するための撮影機器である。ビデオカメラ３は、例えば音声を入力するためのマイクを含む。ビデオカメラ３は、撮影された映像に対応する映像データを生成するともに、入力された音声に対応する音声データを生成する。そして、ビデオカメラ３は、映像の撮影及び音声の記録を実行しながら、生成した映像データ及び音声データをリアルタイムで配信サーバ１へ送信する。   The video camera 3 is a photographing device for photographing a situation such as an event. The video camera 3 includes a microphone for inputting audio, for example. The video camera 3 generates video data corresponding to the captured video and also generates audio data corresponding to the input audio. The video camera 3 transmits the generated video data and audio data to the distribution server 1 in real time while performing video shooting and audio recording.

配信サーバ１は、ビデオカメラ３から送信されてくる映像データ及び音声データを含むコンテンツを記憶部１２に記録しながら、記録されたコンテンツをリアルタイムで複数のクライアント端末２へストリーミング配信する。   The distribution server 1 performs streaming distribution of the recorded content to the plurality of client terminals 2 in real time while recording content including video data and audio data transmitted from the video camera 3 in the storage unit 12.

タイミング検知部４は、クライアント端末２のユーザが所定の操作を行うべきタイミングを検知する入力装置である。タイミング検知部４は、例えば、キー、ボタン、ビデオカメラ、又はマイク等を含んで構成されてもよい。例えばイベントのスタッフ、出演者、主催者等がタイミング検知部４を操作したタイミングを、タイミング検知部４は、所定の操作を行うべきタイミングとして検知してもよい。或いは、タイミング検知部４は、例えばマイクから入力された出演者等の音声を解析してもよい。そして、タイミング検知部４は、出演者等が所定の言葉又は音声を発したタイミングを、所定の操作を行うべきタイミングとして検知してもよい。或いは、タイミング検知部４は、例えばビデオカメラにより撮影された出演者等の映像を解析してもよい。そして、タイミング検知部４は、映像の解析結果に基づいて出演者等が所定の動作を行ったと判定したタイミングを、所定の操作を行うべきタイミングとして検知してもよい。所定の操作を行うべきタイミングを検知すると、タイミング検知部４は、検知信号を配信サーバ１へ送信する。   The timing detection unit 4 is an input device that detects the timing at which the user of the client terminal 2 should perform a predetermined operation. The timing detection unit 4 may be configured to include, for example, a key, a button, a video camera, or a microphone. For example, the timing detection unit 4 may detect the timing at which the event staff, performers, organizers, etc. operate the timing detection unit 4 as the timing at which a predetermined operation should be performed. Or the timing detection part 4 may analyze the audio | voice of the performer etc. which were input from the microphone, for example. And the timing detection part 4 may detect the timing which a performer etc. uttered the predetermined word or audio | voice as a timing which should perform predetermined operation. Or the timing detection part 4 may analyze the image | video of the performer etc. which were image | photographed, for example with the video camera. And the timing detection part 4 may detect the timing which determined that the performer etc. performed predetermined | prescribed operation | movement based on the analysis result of an image | video as a timing which should perform predetermined | prescribed operation. When detecting a timing at which a predetermined operation is to be performed, the timing detection unit 4 transmits a detection signal to the distribution server 1.

［２−２．所定のユーザ操作のタイミングの集計］
本実施形態において、配信サーバ１は、複数のクライアント端末２のユーザが行った所定のユーザ操作のうち、イベントのスタッフ等が決定したタイミングに合わせて行われたユーザ操作のタイミングの数のみを集計する。 [2-2. Aggregation of timing of predetermined user operations]
In the present embodiment, the distribution server 1 counts only the number of user operation timings performed in accordance with the timing determined by the staff of the event among predetermined user operations performed by the users of the plurality of client terminals 2. To do.

図６（Ｂ）は、通信システムＳＢの動作概要の一例を示す図である。ビデオカメラ３が撮影を開始することにより、ビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始されると、配信サーバ１は、映像データ及び音声データを含むコンテンツの記録を開始する。そして、コンテンツの記録を開始してから所定の緩衝時間が経過すると、配信サーバ１は、記録したコンテンツのストリーミング配信を開始する。   FIG. 6B is a diagram illustrating an example of an operation outline of the communication system SB. When transmission of video data and audio data from the video camera 3 to the distribution server 1 is started when the video camera 3 starts shooting, the distribution server 1 starts recording content including video data and audio data. To do. Then, when a predetermined buffer time has elapsed since the start of content recording, the distribution server 1 starts streaming distribution of the recorded content.

例えば、イベントのスタッフ等がタイミング検知部４を操作すると、タイミング検知部４は、検知信号を配信サーバ１へ送信する。配信サーバ１は、検知信号を受信すると、所定のユーザ操作を行うべきタイミングを示すアクションタイミングデータを生成する。アクションタイミングデータは、本発明の第２タイミング情報の一例である。所定のユーザ操作を行うべきタイミングは、例えば検知信号が受信されたタイミングである。このタイミングは、例えばコンテンツの記録位置で示される。コンテンツの記録位置は、例えばビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始してから経過した時間で示される。アクションタイミングデータは、更にタイミング到来情報を含む。タイミング到来情報は、所定のユーザ操作を行うタイミングが到来することを予告する画像、動画、又はメッセージ等であってもよい。タイミング到来情報は、クライアント端末２により表示される。例えば、タイミング到来情報は、所定の操作のタイミングを示す第１のマークが、静止している第２のマークに向かって移動していく動画であってもよい。この動画は、例えば第１のマークが第２のマークに到達することによって、所定の操作を行うべきタイミングが到来したことを示す動画である。配信サーバ１は、コンテンツのストリーミング配信を行いながら、生成したアクションタイミングデータを、コンテンツの配信先の複数のクライアント端末２へ配信する（ステップＳ４１）。   For example, when an event staff or the like operates the timing detection unit 4, the timing detection unit 4 transmits a detection signal to the distribution server 1. When receiving the detection signal, the distribution server 1 generates action timing data indicating a timing at which a predetermined user operation should be performed. The action timing data is an example of second timing information of the present invention. The timing at which the predetermined user operation should be performed is, for example, the timing at which the detection signal is received. This timing is indicated by, for example, a content recording position. The content recording position is indicated, for example, by the time that has elapsed since the start of transmission of video data and audio data from the video camera 3 to the distribution server 1. The action timing data further includes timing arrival information. The timing arrival information may be an image, a moving image, a message, or the like for notifying that the timing for performing a predetermined user operation has arrived. The timing arrival information is displayed by the client terminal 2. For example, the timing arrival information may be a moving image in which a first mark indicating the timing of a predetermined operation moves toward a stationary second mark. This moving image is a moving image indicating that the timing for performing a predetermined operation has arrived, for example, when the first mark reaches the second mark. The distribution server 1 distributes the generated action timing data to the plurality of client terminals 2 that are the distribution destinations of the content while performing the streaming distribution of the content (step S41).

クライアント端末２は、アクションタイミングデータを受信すると、コンテンツに含まれる映像を表示しながら、タイミング到来情報を表示部２４ａに表示する（ステップＳ４２）。コンテンツの記録位置は、配信中のコンテンツの再生位置よりも、緩衝時間分未来にずれている。従って、クライアント端末２は、アクションタイミングデータが示すタイミングよりも早いタイミングで、タイミング到来情報の表示を開始することができる。ユーザは、タイミング到来情報を見た後に、所定のユーザ操作を行うことになる。従って、ユーザは、アクションタイミングデータが示すタイミングに合わせて、所定のユーザ操作を行うことができる。クライアント端末２は、例えばアクションタイミングデータが示すタイミングよりも所定時間前の再生位置で、タイミング到来情報を出力してもよい。   Upon receiving the action timing data, the client terminal 2 displays the timing arrival information on the display unit 24a while displaying the video included in the content (step S42). The recording position of the content is shifted to the future by the buffer time from the reproduction position of the content being distributed. Accordingly, the client terminal 2 can start displaying the timing arrival information at a timing earlier than the timing indicated by the action timing data. The user performs a predetermined user operation after seeing the timing arrival information. Therefore, the user can perform a predetermined user operation in accordance with the timing indicated by the action timing data. For example, the client terminal 2 may output the timing arrival information at a reproduction position a predetermined time before the timing indicated by the action timing data.

クライアント端末２は、所定のユーザ操作に基づいてアクションデータを配信サーバ１へ送信する（ステップＳ４３）。配信サーバ１は、送信したアクションタイミングデータが示すタイミングに合ったアクションデータのみを集計する（ステップＳ４４）。例えば、クライアント端末２が、所定のユーザ操作が受け付けられたタイミングが、受信したアクションタイミングデータが示すタイミングから前後所定時間以内である場合にのみ、アクションデータを配信サーバ１へ送信してもよい。或いは、配信サーバ１が、受信したアクションデータが示すタイミングのうち、生成したアクションタイミングデータが示すタイミングから前後所定時間以内であるタイミングの数のみを集計してもよい。   The client terminal 2 transmits action data to the distribution server 1 based on a predetermined user operation (step S43). The distribution server 1 aggregates only action data that matches the timing indicated by the transmitted action timing data (step S44). For example, the client terminal 2 may transmit the action data to the distribution server 1 only when the timing at which a predetermined user operation is accepted is within a predetermined time before and after the timing indicated by the received action timing data. Alternatively, the distribution server 1 may count only the number of timings within a predetermined time before and after the timing indicated by the generated action timing data, among the timings indicated by the received action data.

［２−３．通信システムＳＢの動作］
次に、図７及び図８を参照して、本実施形態の通信システムＳＢの動作について説明する。図７及び図８が示す例は、クライアント端末２が、アクションタイミングデータが示すタイミングに合ったアクションデータのみを配信サーバ１へ送信する場合の処理例である。なお、手拍子音・拍手音生成処理は、図４に示す処理と同様であってもよい。図７は、配信サーバ１におけるアクションタイミングデータ配信処理の一例を示すフローチャートである。ビデオカメラ３が撮影を開始することにより、ビデオカメラ３から配信サーバ１への映像データ及び音声データの送信が開始されると、制御部１１は、記録位置としての現在時刻を０にリセットする。また、制御部１１は、アクションタイミングデータ配信処理の実行を開始する。 [2-3. Operation of communication system SB]
Next, with reference to FIG.7 and FIG.8, operation | movement of the communication system SB of this embodiment is demonstrated. The example illustrated in FIGS. 7 and 8 is a processing example in the case where the client terminal 2 transmits only action data matching the timing indicated by the action timing data to the distribution server 1. Note that the clap sound / applause sound generation process may be the same as the process shown in FIG. FIG. 7 is a flowchart illustrating an example of action timing data distribution processing in the distribution server 1. When transmission of video data and audio data from the video camera 3 to the distribution server 1 is started when the video camera 3 starts shooting, the control unit 11 resets the current time as a recording position to zero. Moreover, the control part 11 starts execution of action timing data delivery processing.

図７に示すように、制御部１１は、緩衝時間分の映像データ及び音声データを含むコンテンツを記憶部１２に記憶させると、コンテンツの配信が終了するか否かを判定する（ステップＳ５１）。このとき、制御部１１は、コンテンツの配信が終了しないと判定した場合には（ステップＳ５１：ＮＯ）、ステップＳ５２に進む。ステップＳ５２において、制御部１１は、ビデオカメラ３から送信されてきた映像データ及び音声データを含むコンテンツを記憶部１２に記憶する。また、制御部１１は、記憶部１２に記憶されたコンテンツを複数のクライアント端末２へストリーミング配信する。   As illustrated in FIG. 7, when the storage unit 12 stores content including video data and audio data for a buffer time, the control unit 11 determines whether or not content distribution is complete (step S <b> 51). At this time, when the control unit 11 determines that the distribution of the content does not end (step S51: NO), the control unit 11 proceeds to step S52. In step S <b> 52, the control unit 11 stores content including video data and audio data transmitted from the video camera 3 in the storage unit 12. In addition, the control unit 11 performs streaming distribution of the content stored in the storage unit 12 to the plurality of client terminals 2.

次いで、制御部１１は、タイミング検知部４に対する操作が検知されたか否かを判定する（ステップＳ５３）。このとき、制御部１１は、タイミング検知部４に対する操作が検知されていないと判定した場合には（ステップＳ５３：ＮＯ）、ステップＳ５１に進む。一方、制御部１１は、タイミング検知部４に対する操作が検知されたと判定した場合には（ステップＳ５３：ＹＥＳ）、ステップＳ５４に進む。ステップＳ５４において、制御部１１は、現在の記録位置を、所定のユーザ操作を行うべきタイミングとして取得する。そして、制御部１１は、取得したタイミングを示すアクションタイミングデータを、コンテンツの配信先の複数のクライアント端末２へ配信する。次いで、制御部１１は、ステップＳ５１に進む。ステップＳ５１において、制御部１１は、コンテンツの配信が終了すると判定した場合には（ステップＳ５１：ＹＥＳ）、アクションタイミングデータ配信処理を終了させる。   Next, the control unit 11 determines whether or not an operation on the timing detection unit 4 has been detected (step S53). At this time, if the control unit 11 determines that an operation on the timing detection unit 4 is not detected (step S53: NO), the control unit 11 proceeds to step S51. On the other hand, when it determines with the operation with respect to the timing detection part 4 having been detected (step S53: YES), the control part 11 progresses to step S54. In step S54, the control unit 11 acquires the current recording position as a timing for performing a predetermined user operation. And the control part 11 distributes the action timing data which shows the acquired timing to the several client terminal 2 of the delivery destination of a content. Next, the control unit 11 proceeds to step S51. In step S51, when it is determined that the content distribution is to be ended (step S51: YES), the control unit 11 ends the action timing data distribution process.

図８は、クライアント端末２におけるクライアント処理の一例を示すフローチャートである。図８において、図５と同様の処理については同様の符号が付されている。図８に示すように、制御部２１は、タイミングリストを初期化する。タイミングリストは、アクションタイミングデータが登録されるリストである。そして、制御部２１は、コンテンツの再生が終了するか否かを判定する（ステップＳ３１）。このとき、制御部２１は、コンテンツの再生が終了しないと判定した場合には（ステップＳ３１：ＮＯ）、ステップＳ６１に進む。ステップＳ６１において、制御部２１は、配信サーバ１からアクションタイミングデータを受信したか否かを判定する。このとき、制御部２１は、アクションタイミングデータを受信していないと判定した場合には（ステップＳ６１：ＮＯ）、ステップＳ３２に進む。一方、制御部２１は、アクションタイミングデータを受信したと判定した場合には（ステップＳ６１：ＹＥＳ）、ステップＳ６２に進む。ステップＳ６２において、制御部２１は、アクションタイミングデータをタイミングリストに登録する。次いで、制御部２１は、タイミング到来情報を表示部２４ａに表示する（ステップＳ６３）。次いで、制御部２１は、ステップＳ３２に進む。   FIG. 8 is a flowchart illustrating an example of client processing in the client terminal 2. In FIG. 8, processes similar to those in FIG. As shown in FIG. 8, the control unit 21 initializes the timing list. The timing list is a list in which action timing data is registered. And the control part 21 determines whether reproduction | regeneration of a content is complete | finished (step S31). At this time, when the control unit 21 determines that the reproduction of the content does not end (step S31: NO), the control unit 21 proceeds to step S61. In step S <b> 61, the control unit 21 determines whether action timing data has been received from the distribution server 1. At this time, if it is determined that the action timing data has not been received (step S61: NO), the control unit 21 proceeds to step S32. On the other hand, when it determines with the control part 21 having received action timing data (step S61: YES), it progresses to step S62. In step S62, the control unit 21 registers the action timing data in the timing list. Next, the control unit 21 displays the timing arrival information on the display unit 24a (step S63). Next, the control unit 21 proceeds to step S32.

ステップＳ３２において、制御部２１は、受信したコンテンツを再生する（ステップＳ３２）。次いで、制御部２１は、所定のユーザ操作が受け付けられたか否かを判定する（ステップＳ３３）。このとき、制御部２１は、所定のユーザ操作が受け付けられていないと判定した場合には（ステップＳ３３：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、所定のユーザ操作が受け付けられたと判定した場合には（ステップＳ３３：ＹＥＳ）、ステップＳ６４に進む。ステップＳ６４において、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されているか否かを判定する。このとき、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されてないと判定した場合には（ステップＳ６４：ＮＯ）、ステップＳ３１に進む。一方、制御部２１は、現在の再生位置から前後所定時間以内にある記録位置を示すアクションタイミングデータがタイミングリストに登録されていると判定した場合には（ステップＳ６４：ＹＥＳ）、アクションデータを配信サーバ１へ送信する（ステップＳ３４）。次いで、制御部２１は、ステップＳ３１に進む。ステップＳ３１において、制御部２１は、コンテンツの再生が終了すると判定した場合には（ステップＳ３１：ＹＥＳ）、クライアント処理を終了させる。   In step S32, the control unit 21 reproduces the received content (step S32). Next, the control unit 21 determines whether or not a predetermined user operation has been accepted (step S33). At this time, if the control unit 21 determines that a predetermined user operation has not been received (step S33: NO), the control unit 21 proceeds to step S31. On the other hand, when it is determined that a predetermined user operation has been accepted (step S33: YES), the control unit 21 proceeds to step S64. In step S64, the control unit 21 determines whether or not action timing data indicating a recording position within a predetermined time before and after the current reproduction position is registered in the timing list. At this time, if the control unit 21 determines that action timing data indicating a recording position within a predetermined time before and after the current reproduction position is not registered in the timing list (step S64: NO), the control unit 21 proceeds to step S31. move on. On the other hand, when the control unit 21 determines that action timing data indicating a recording position within a predetermined time before and after the current reproduction position is registered in the timing list (step S64: YES), the action data is distributed. It transmits to the server 1 (step S34). Next, the control unit 21 proceeds to step S31. In step S31, when it is determined that the content reproduction is to be ended (step S31: YES), the control unit 21 ends the client process.

以上説明したように、本実施形態によれば、配信サーバ１が、アクションタイミングデータを複数のクライアント端末２へ配信する。また、配信サーバ１が、アクションタイミングデータが示すタイミングから所定時間内に受け付けられた所定のユーザ操作のタイミングの数を集計する。従って、所定のユーザ操作を複数のユーザが一斉に行うタイミングをユーザに示すことが可能となる。そして、指定されたタイミングに合った所定のユーザ操作の集計に基づく効果が映像とともに再生されるので、臨場感をより高めることができる。   As described above, according to the present embodiment, the distribution server 1 distributes the action timing data to the plurality of client terminals 2. The distribution server 1 also counts the number of predetermined user operation timings received within a predetermined time from the timing indicated by the action timing data. Accordingly, it is possible to indicate to the user the timing at which a plurality of users perform a predetermined user operation all at once. And since the effect based on the total of predetermined user operations that match the designated timing is reproduced together with the video, the sense of reality can be further enhanced.

［３．その他の実施形態］
上述した各実施形態においては、所定のユーザ操作に対応する所定のユーザの動作が、手を打ち鳴らす動作であった。しかしながら、所定の動作は、例えば掛け声を掛けること、歓声を上げること、口笛を吹くこと、足を踏みならすこと、所定の身振り等であってもよい。所定の動作が、掛け声を掛けること、歓声を上げること、口笛を吹くこと、又は足を踏みならすことである場合、配信サーバ１は、コンテンツに付加される効果として、例えば掛け声の効果音、歓声の効果音、口笛の効果音、又は足を踏みならす効果音をそれぞれ決定してもよい。また例えば、所定の動作が足を踏みならすことである場合、配信サーバ１は、コンテンツに付加される効果として、例えば映像の表示画面を振動させる映像効果を決定してもよい。また例えば、所定の動作が所定の身振りである場合、配信サーバ１は、コンテンツに付加される効果として、例えば所定の身振りが行われる映像を決定してもよい。 [3. Other Embodiments]
In each of the above-described embodiments, the predetermined user operation corresponding to the predetermined user operation is an operation of clapping his hand. However, the predetermined operation may be, for example, making a shout, raising a cheer, blowing a whistle, stepping on a foot, or making a predetermined gesture. When the predetermined action is to make a shout, raise a cheer, whistle, or step on the foot, the distribution server 1 may add, for example, a sound effect of a shout or a cheer as an effect added to the content. Sound effects, whistling sound effects, or stepping sound effects may be determined respectively. For example, when the predetermined operation is to step on, the distribution server 1 may determine, for example, a video effect that vibrates a video display screen as an effect added to the content. Further, for example, when the predetermined operation is a predetermined gesture, the distribution server 1 may determine, for example, an image on which the predetermined gesture is performed as an effect added to the content.

また、配信サーバ１は、各サンプリング周期で集計された所定のユーザ操作のタイミングの数を周波数解析しなくてもよい。この場合、配信サーバ１は、サンプリング周期ごとに、集計された所定のユーザ操作のタイミングの数に基づいて、そのサンプリング周期に対応してコンテンツに付加される効果の程度を決定してもよい。例えば、配信サーバ１は、効果音の音量や数等を決定してもよい。また例えば、配信サーバ１は、映像の表示画面の振動の強さを決定してもよい。また例えば、配信サーバ１は、所定の身振りが行われる映像の大きさや数等を決定してもよい。   Further, the distribution server 1 does not have to perform frequency analysis on the number of predetermined user operation timings counted in each sampling period. In this case, the distribution server 1 may determine the degree of the effect to be added to the content corresponding to the sampling period based on the number of predetermined user operation timings tabulated for each sampling period. For example, the distribution server 1 may determine the volume and number of sound effects. Further, for example, the distribution server 1 may determine the strength of vibration of the video display screen. Further, for example, the distribution server 1 may determine the size and number of videos for which predetermined gestures are performed.

また、配信サーバ１は、所定のユーザの動作として複数種類の動作を許容してもよい。例えば、手を打ち鳴らすことは、ユーザがＡボタンを押すことに対応し、歓声を上げることが、ユーザがＢボタンを押すことに対応すること等が挙げられる。このような場合、クライアント端末２は、ユーザ操作が行われたタイミングと、行われたユーザ操作に対応する動作の種類を識別する動作識別情報とを含むアクションデータを配信サーバ１へ送信する。配信サーバ１は、クライアント端末２から受信したアクションデータに含まれる動作識別情報に基づいて、動作の種類ごとに、ユーザ操作のタイミングを集計する。そして、配信サーバ１は、動作の種類に応じて、コンテンツに付加される効果を決定する。   The distribution server 1 may allow a plurality of types of operations as predetermined user operations. For example, hitting the hand corresponds to the user pressing the A button, raising a cheer, responding to the user pressing the B button, and the like. In such a case, the client terminal 2 transmits to the distribution server 1 action data including the timing when the user operation is performed and operation identification information for identifying the type of operation corresponding to the performed user operation. The distribution server 1 totals the timings of user operations for each type of operation based on the operation identification information included in the action data received from the client terminal 2. And the delivery server 1 determines the effect added to a content according to the kind of operation | movement.

また、タイミング検知部４は、複数種類の動作のそれぞれについて、ユーザ操作を行うべきタイミングを検知可能に構成されてもよい。例えば、タイミング検知部４は、スタッフ等によるタイミング検知部４の操作内容等に応じて、動作の種類を決定してもよい。そして、タイミング検知部４は、決定した動作の種類を識別する動作識別情報を示す検知信号を配信サーバ１に送信する。配信サーバ１は、受信した検知信号が示す動作識別情報を含むアクションタイミングデータを生成してクライアント端末２へ配信する。クライアント端末２は、受信したアクションタイミングデータに含まれる動作識別情報に応じたタイミング到来情報を表示する。クライアント端末２は、ユーザ操作を受け付けたとき、例えばこのユーザ操作に対応する動作の種類を識別する動作識別情報を含むアクションデータを配信サーバ１へ送信する。配信サーバ１は、受信したアクションデータのうち、生成したアクションタイミングデータに含まれる動作識別情報と一致する動作識別情報を含むアクションデータであって、アクションタイミングデータが示すタイミングから所定時間以内のタイミングを示すアクションデータのみを集計してもよい。或いは、クライアント端末２が、受け付けたユーザ操作に対応する動作識別情報が、受信されたアクションタイミングデータに含まれる動作識別情報と一致し、且つユーザ操作が受け付けられたタイミングが、アクションタイミングデータが示すタイミングから所定時間以内である場合にのみ、アクションデータを配信サーバ１へ送信してもよい。また例えば、複数種類の動作全体でユーザ操作が共通であってもよい。この場合、クライアント端末２は、所定のユーザ操作を受け付けたタイミングが、アクションタイミングデータが示すタイミングから所定時間以内である場合、アクションデータを配信サーバ１へ送信してもよい。このとき、クライアント端末２は、アクションタイミングデータから動作識別情報を取得し、取得した動作識別情報を含むアクションデータを配信サーバ１へ送信してもよい。   Further, the timing detection unit 4 may be configured to be able to detect the timing at which a user operation should be performed for each of a plurality of types of operations. For example, the timing detection unit 4 may determine the type of operation according to the operation content of the timing detection unit 4 by staff or the like. Then, the timing detection unit 4 transmits a detection signal indicating operation identification information for identifying the determined type of operation to the distribution server 1. The distribution server 1 generates action timing data including operation identification information indicated by the received detection signal and distributes the action timing data to the client terminal 2. The client terminal 2 displays timing arrival information corresponding to the operation identification information included in the received action timing data. When the client terminal 2 receives a user operation, the client terminal 2 transmits, for example, action data including operation identification information for identifying the type of operation corresponding to the user operation to the distribution server 1. The distribution server 1 is action data including operation identification information that matches the operation identification information included in the generated action timing data among the received action data, and has a timing within a predetermined time from the timing indicated by the action timing data. Only the action data shown may be aggregated. Alternatively, the action timing data indicates the timing at which the operation identification information corresponding to the user operation received by the client terminal 2 matches the operation identification information included in the received action timing data, and the user operation is received. The action data may be transmitted to the distribution server 1 only when it is within a predetermined time from the timing. Further, for example, the user operation may be common for a plurality of types of operations. In this case, the client terminal 2 may transmit the action data to the distribution server 1 when the timing at which the predetermined user operation is received is within a predetermined time from the timing indicated by the action timing data. At this time, the client terminal 2 may acquire operation identification information from the action timing data, and may transmit action data including the acquired operation identification information to the distribution server 1.

また、クライアント端末２は、例えばマイク及びビデオカメラの少なくとも何れかと接続されてもよい。クライアント端末２は、例えばマイクから入力されたユーザの音声を解析してもよい。そして、クライアント端末２は、例えばユーザが所定の言葉又は音声を発した場合に、ユーザが所定の動作を行ったと判定してもよい。また例えば、クライアント端末２は、例えばビデオカメラにより撮影されたユーザの映像を解析してもよい。そして、タイミング検知部４は、映像の解析結果に基づいて、ユーザが所定の動作を行ったか否かを判定してもよい。ユーザが所定の動作を行ったと判定したとき、クライアント端末２は、アクションデータを配信サーバ１へ送信する。   The client terminal 2 may be connected to at least one of a microphone and a video camera, for example. The client terminal 2 may analyze the user's voice input from a microphone, for example. The client terminal 2 may determine that the user has performed a predetermined operation, for example, when the user utters a predetermined word or voice. For example, the client terminal 2 may analyze a user's video imaged by, for example, a video camera. And the timing detection part 4 may determine whether the user performed predetermined | prescribed operation | movement based on the analysis result of an image | video. When it is determined that the user has performed a predetermined operation, the client terminal 2 transmits action data to the distribution server 1.

また、上述した各実施形態では、配信サーバ１は、クライアント端末２から受信されたアクションデータが示す所定のユーザ操作のタイミングの数を集計していた（例えば、図２のステップＳ３）。しかしながら、配信サーバ１は、例えば１つのアクションデータが所定のユーザ操作の１つのタイミングを示すものとして、受信されたアクションデータの数を集計してもよい。この場合、上記各実施形態における「所定のユーザ操作のタイミングの数」という記述を、「受信したアクションデータの数」と読み替えて解釈すればよい。   In each of the above-described embodiments, the distribution server 1 counts the number of predetermined user operation timings indicated by the action data received from the client terminal 2 (for example, step S3 in FIG. 2). However, the distribution server 1 may count the number of received action data, for example, assuming that one action data indicates one timing of a predetermined user operation. In this case, the description “the number of predetermined user operation timings” in the above embodiments may be interpreted as “the number of received action data”.

１ 配信サーバ
２ クライアント端末
３ ビデオカメラ
４ タイミング検知部
１１、２１ 制御部
１２、２２ 記憶部
１３、２７ インターフェース部
２４ａ 表示部
２５ａ 操作部
２６ａ スピーカ
ＳＡ、ＳＢ 通信システム DESCRIPTION OF SYMBOLS 1 Distribution server 2 Client terminal 3 Video camera 4 Timing detection part 11, 21 Control part 12, 22 Storage part 13, 27 Interface part 24a Display part 25a Operation part 26a Speaker SA, SB Communication system

Claims (9)

配信装置と、ネットワークを介して配信装置に接続可能な複数の端末装置を備える通信システムにおいて、
前記端末装置は、
前記配信装置からストリーミング配信される映像を受信する映像受信手段と、
前記映像受信手段により受信された前記映像を再生する再生手段と、
前記再生手段により前記映像が再生されているとき、所定のユーザ操作を受け付ける受付手段と、
前記受付手段により前記所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を前記配信装置へ送信する送信手段と、
を備え、
前記配信装置は、
前記複数の端末装置へ前記映像をストリーミング配信する配信手段と、
前記複数の端末装置から前記タイミング情報を受信するタイミング受信手段と、
前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計手段と、
前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段であって、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定手段と、
前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、
を備えることを特徴とする通信システム。 In a communication system comprising a distribution device and a plurality of terminal devices connectable to the distribution device via a network,
The terminal device
Video receiving means for receiving video streamed from the distribution device;
Playback means for playing back the video received by the video receiving means;
Accepting means for accepting a predetermined user operation when the video is being reproduced by the reproducing means;
Transmitting means for transmitting timing information indicating the timing at which the predetermined user operation is received by the receiving means to the distribution device;
With
The distribution device includes:
Delivery means for streaming the video to the plurality of terminal devices;
Timing receiving means for receiving the timing information from the plurality of terminal devices;
The number of timings indicated by the timing information received by the timing receiving means is totaled for each predetermined period, and based on the total number of timings, the timing is performed at each of a plurality of periods having different lengths. Tally means for obtaining the number of the predetermined user operations ;
A determining unit configured to determine an effect to be added to the video based on the number of timings totaled by the totaling unit, wherein the predetermined user operation acquired by the totaling unit among the plurality of periods; When the number of the predetermined user operations in the specific cycle having the largest number is more than a predetermined condition, the first effect that occurs in the specific cycle is determined, and the number of the predetermined user operations in the specific cycle is A determination means for determining a second effect that occurs aperiodically when there is not more than a degree satisfying the predetermined condition ;
An adding means for adding the effect determined by the determining means to the video being distributed by the distributing means;
A communication system comprising: 複数の端末装置へ映像をストリーミング配信する配信手段と、
前記複数の端末装置から、前記配信手段により配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信手段と、
前記タイミング受信手段により受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計手段と、
前記集計手段により集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定手段であって、前記複数の周期のうち前記集計手段により取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定手段と、
前記決定手段により決定された効果を、前記配信手段により配信中の前記映像に付加する付加手段と、
を備えることを特徴とする配信装置。 Distribution means for streaming video to a plurality of terminal devices;
Timing receiving means for receiving timing information indicating a timing at which a predetermined user operation is accepted when the video delivered by the delivery means is being reproduced by the terminal device from the plurality of terminal devices;
The number of timings indicated by the timing information received by the timing receiving means is totaled for each predetermined period, and based on the total number of timings, the timing is performed at each of a plurality of periods having different lengths. Tally means for obtaining the number of the predetermined user operations ;
A determining unit configured to determine an effect to be added to the video based on the number of timings totaled by the totaling unit, wherein the predetermined user operation acquired by the totaling unit among the plurality of periods; When the number of the predetermined user operations in the specific cycle having the largest number is more than a predetermined condition, the first effect that occurs in the specific cycle is determined, and the number of the predetermined user operations in the specific cycle is A determination means for determining a second effect that occurs aperiodically when there is not more than a degree satisfying the predetermined condition ;
An adding means for adding the effect determined by the determining means to the video being distributed by the distributing means;
A distribution apparatus comprising: 請求項２に記載の配信装置において、
前記決定手段は、前記集計手段により集計された前記タイミングの数に基づいて、前記効果の程度を決定し、
前記付加手段は、前記決定手段により決定された前記程度の効果を付加することを特徴とする配信装置。 The distribution device according to claim 2,
Before SL determining means, based on the number of the timing aggregated by the aggregator to determine the extent of the effect,
The distribution device, wherein the adding unit adds the effect of the degree determined by the determining unit. 請求項３に記載の配信装置において、
前記効果の程度ごとに、前記程度と、前記タイミングの数とを対応付けて予め記憶しておく記憶手段を更に備え、
前記決定手段は、前記集計手段により集計された前記タイミングの数に対応する程度を、前記記憶手段に記憶された複数の程度の中から決定することを特徴とする配信装置。 The distribution apparatus according to claim 3,
Storage means for previously storing the degree and the number of timings in association with each degree of the effect;
The distribution device according to claim 1, wherein the determination unit determines a degree corresponding to the number of timings totaled by the totalization unit from a plurality of levels stored in the storage unit. 請求項３又は４に記載の配信装置において、
前記決定手段により決定される効果は、前記映像に付加される効果音であり、
前記決定手段は、前記集計手段により集計された前記タイミングの数が多い程、大きい音量の効果音を決定することを特徴とする配信装置。 The distribution apparatus according to claim 3 or 4,
The effect determined by the determining means is a sound effect added to the video,
The distribution apparatus according to claim 1, wherein the determination unit determines a sound effect having a louder volume as the number of timings totaled by the totalization unit increases. 請求項２乃至５の何れか１項に記載の配信装置において、The distribution apparatus according to any one of claims 2 to 5,
前記決定手段は、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多い場合、前記効果として手拍子音を決定し、When the number of the predetermined user operations in the specific period is more than the predetermined condition, the determining unit determines a clapping sound as the effect,
前記付加手段は、前記配信手段により配信中の前記映像に前記手拍子音を合成することを特徴とする配信装置。The distribution apparatus characterized in that the adding means synthesizes the clapping sound to the video being distributed by the distribution means. 請求項６に記載の配信装置において、The distribution device according to claim 6,
前記付加手段は、前記決定手段により前記手拍子音が決定された場合、前記特定周期で受信されたタイミング情報が示すタイミングに対応する位相と一致する位相に対応する再生位置で、前記手拍子音を、前記配信手段により配信中の前記映像に合成することを特徴とする配信装置。The adding means, when the clapping sound is determined by the determining means, at the playback position corresponding to the phase corresponding to the phase corresponding to the timing indicated by the timing information received in the specific period, the clapping sound, A distribution apparatus characterized in that it is combined with the video being distributed by the distribution means. 請求項２乃至７の何れか１項に記載の配信装置において、The distribution device according to any one of claims 2 to 7,
前記所定のユーザ操作のタイミングを示す第２タイミング情報を前記複数の端末装置へ配信する第２配信手段を更に備え、A second delivery unit for delivering second timing information indicating the timing of the predetermined user operation to the plurality of terminal devices;
前記集計手段は、前記第２タイミング情報が示すタイミングから所定時間内に受け付けられた前記ユーザ操作のタイミングの数を集計することを特徴とする配信装置。The distribution device according to claim 1, wherein the aggregation unit totals the number of timings of the user operations received within a predetermined time from the timing indicated by the second timing information. 複数の端末装置へ映像をストリーミング配信する第１配信ステップと、A first distribution step of streaming distributing video to a plurality of terminal devices;
前記複数の端末装置から、前記第１配信ステップにより配信された前記映像が前記端末装置により再生されているときに所定のユーザ操作が受け付けられたタイミングを示すタイミング情報を受信するタイミング受信ステップと、A timing receiving step of receiving timing information indicating a timing at which a predetermined user operation is accepted when the video distributed in the first distribution step is reproduced by the terminal device from the plurality of terminal devices;
前記タイミング受信ステップにより受信された前記タイミング情報が示す前記タイミングの数を所定期間ごとに集計し、集計された前記タイミングの数に基づいて、長さが異なる複数の周期のタイミングのそれぞれで行われた前記所定のユーザ操作の数を取得する集計ステップと、The number of timings indicated by the timing information received by the timing receiving step is totaled for each predetermined period, and the timings are performed at timings of a plurality of periods having different lengths based on the total number of timings. A step of obtaining the number of the predetermined user operations;
前記集計ステップにより集計された前記タイミングの数に基づいて、前記映像に付加される効果を決定する決定ステップであって、前記複数の周期のうち前記集計ステップにより取得された前記所定のユーザ操作の数が最も多い特定周期の前記所定のユーザ操作の数が、所定条件を満たす程度以上多い場合、前記特定周期で生じる第１効果を決定し、前記特定周期の前記所定のユーザ操作の数が、前記所定条件を満たす程度以上多くはない場合、非周期的に生じる第２効果を決定する決定ステップと、A determination step of determining an effect to be added to the video based on the number of timings totaled by the totaling step, wherein the predetermined user operation acquired by the totaling step among the plurality of cycles When the number of the predetermined user operations in the specific cycle having the largest number is more than a predetermined condition, the first effect that occurs in the specific cycle is determined, and the number of the predetermined user operations in the specific cycle is A determination step for determining a second effect that occurs aperiodically if there is not more than a degree satisfying the predetermined condition;
前記決定ステップにより決定された効果を、配信中の前記映像に付加する付加ステップと、An adding step of adding the effect determined in the determining step to the video being distributed;
前記付加ステップにより前記効果が付加された前記映像を前記複数の端末装置へストリーミング配信する第２配信ステップと、A second distribution step of streaming distributing the video to which the effect has been added in the addition step to the plurality of terminal devices;
をコンピュータに実行させることを特徴とするプログラム。A program that causes a computer to execute.
JP2015022412A 2015-02-06 2015-02-06 COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM Active JP6281503B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015022412A JP6281503B2 (en) 2015-02-06 2015-02-06 COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015022412A JP6281503B2 (en) 2015-02-06 2015-02-06 COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2016146544A JP2016146544A (en) 2016-08-12
JP6281503B2 true JP6281503B2 (en) 2018-02-21

Family

ID=56685624

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015022412A Active JP6281503B2 (en) 2015-02-06 2015-02-06 COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP6281503B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6495722B2 (en) * 2015-04-10 2019-04-03 日本電信電話株式会社 SOUND SYNTHESIS DEVICE, SOUND SYNTHESIS METHOD, AND PROGRAM THEREOF
JP6958676B1 (en) * 2020-06-01 2021-11-02 ヤマハ株式会社 Control method and control system
JP7072911B2 (en) * 2020-09-29 2022-05-23 株式会社Spoon Content distribution system, content distribution method and content distribution program
CN117044214A (en) * 2021-03-29 2023-11-10 雅马哈株式会社 Transmission system, transmission method, and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3984016B2 (en) * 2001-10-09 2007-09-26 芳光 鍵和田 Broadcasting program distribution method for viewer participation
JP5351373B2 (en) * 2006-03-10 2013-11-27 任天堂株式会社 Performance device and performance control program
JP5857443B2 (en) * 2011-05-12 2016-02-10 ソニー株式会社 Content sharing system
JP6039915B2 (en) * 2011-07-08 2016-12-07 株式会社ドワンゴ Stage presentation system, presentation control subsystem, operation method of stage presentation system, operation method of presentation control subsystem, and program
JP6246498B2 (en) * 2013-05-23 2017-12-13 チームラボ株式会社 Viewer Participation Type TV Program Broadcasting Method and System

Also Published As

Publication number Publication date
JP2016146544A (en) 2016-08-12

Similar Documents

Publication Publication Date Title
EP3398286B1 (en) Synchronizing playback of digital media content
WO2022121558A1 (en) Livestreaming singing method and apparatus, device, and medium
JP6281503B2 (en) COMMUNICATION SYSTEM, DISTRIBUTION DEVICE, AND PROGRAM
JP5553446B2 (en) Amusement system
WO2021251346A1 (en) Video distribution system, computer program used therein, and control method
JP2023040294A (en) Playback device, playback method, and program
JP2023101606A (en) Computer program, method, and server device
JP6712017B2 (en) Music score providing system, method and program
JP2018019393A (en) Reproduction control system, information processing apparatus, and program
JP2015031996A (en) Portable movement detection device, emotion information tabulation device, emotion information acquisition and notification system, emotion information acquisition and notification method, and computer program
JP2015045796A (en) Communication karaoke system and control method of the same, characterized in singer selection of duet singing
JP6951610B1 (en) Speech processing system, speech processor, speech processing method, and speech processing program
WO2022024898A1 (en) Information processing device, information processing method, and computer program
JP7480846B2 (en) Cheering support method, cheering support device, and program
JP6958676B1 (en) Control method and control system
JP7435119B2 (en) Video data processing device, video distribution system, video editing device, video data processing method, video distribution method, and program
WO2013008869A1 (en) Electronic device and data generation method
JP7149193B2 (en) karaoke system
Ariyasu et al. Tactile sensibility presentation service for Smart TV
JP2013029744A (en) Karaoke device
JP2020167629A (en) Receiver, distribution server, and reception program
JP2020008752A (en) Live band karaoke live distribution system
JP7149203B2 (en) karaoke system
WO2023042436A1 (en) Information processing device and method, and program
US20240015368A1 (en) Distribution system, distribution method, and non-transitory computer-readable recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180108

R150 Certificate of patent or registration of utility model

Ref document number: 6281503

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150