JP2022057470A - Live distribution system - Google Patents
Live distribution system Download PDFInfo
- Publication number
- JP2022057470A JP2022057470A JP2020165748A JP2020165748A JP2022057470A JP 2022057470 A JP2022057470 A JP 2022057470A JP 2020165748 A JP2020165748 A JP 2020165748A JP 2020165748 A JP2020165748 A JP 2020165748A JP 2022057470 A JP2022057470 A JP 2022057470A
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- data
- live
- karaoke
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明はライブ配信システムに関する。 The present invention relates to a live distribution system.
昨今、感染症などの影響により、観客を入場させてのライブが困難な状況になっていることから、プロのアーティストは無観客でのライブ配信を行う機会が増えてきている。 In recent years, due to the effects of infectious diseases and the like, it has become difficult for spectators to enter and perform live, so professional artists are increasing the chances of performing live distribution without spectators.
このような無観客でのライブ配信において、アーティストの映像にオンラインで視聴している聴衆の映像を組み合せて配信するサービスが提供されている（非特許文献１参照）。 In such live distribution without an audience, a service is provided in which an artist's image is combined with an audience's image being viewed online (see Non-Patent Document 1).
一方、カラオケ装置にて、カラオケ本体に設けられたカメラで歌唱者を撮影し、得られた映像データと歌唱時の音声データとを編集した動画をサーバにアップロードすることにより、第三者に対して歌唱時の映像を公開するサービスが普及している。 On the other hand, in the karaoke device, the singer is photographed by the camera provided in the karaoke body, and the video obtained by editing the obtained video data and the audio data at the time of singing is uploaded to the server to the third party. The service of publishing the video of singing is widespread.
たとえば、特許文献１には、カラオケライブの始終をリアルタイムで配信する技術が開示されている。
For example,
本発明の目的は、カラオケ装置を利用してライブ配信を行う際、配信者の音声及び映像と、視聴者の音声及び映像とを組み合わせて配信することができる新規なライブ配信システムを提供することにある。 An object of the present invention is to provide a novel live distribution system capable of combining the audio and video of a distributor and the audio and video of a viewer when performing live distribution using a karaoke device. It is in.
上記目的を達成するための一の発明は、複数のカラオケ装置とサーバ装置とが通信可能に接続されたライブ配信システムであって、一のカラオケ装置は、前記一のカラオケ装置の集音手段により集音された、カラオケ歌唱のライブ配信を希望する配信者の音声と、前記一のカラオケ装置の撮影手段により撮影された、当該配信者の映像とに基づいて、配信用データを生成し、生成した配信用データを前記サーバ装置に送信する配信用データ処理部と、前記サーバ装置から配信されたライブデータに基づいて、前記配信者が音声及び映像を視聴可能となるように設定する配信者側設定部と、を有し、前記一のカラオケ装置と異なる他のカラオケ装置は、前記サーバ装置から配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する視聴者側設定部と、前記他のカラオケ装置の集音手段により集音された、視聴者の音声、及び／または前記他のカラオケ装置の撮影手段により撮影された当該視聴者の映像に基づいて、当該視聴者の盛り上がりが所定条件を満たすかどうかを判定する判定部と、前記視聴者の音声及び前記視聴者の映像に基づく視聴者データを生成し、生成した視聴者データを前記サーバ装置に送信する視聴者データ処理部であって、前記盛り上がりが所定条件を満たさない場合、当該視聴者データの前記サーバ装置への送信を中止する視聴者データ処理部と、を有し、前記サーバ装置は、前記一のカラオケ装置から受信した配信用データに基づいてライブデータを生成するライブデータ生成部であって、前記他のカラオケ装置から視聴者データを受信した場合、配信用データに当該視聴者データを組み合わせたライブデータを生成するライブデータ生成部と、生成された前記ライブデータを前記一のカラオケ装置及び前記他のカラオケ装置に配信する配信処理部と、を有するライブ配信システムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
One invention for achieving the above object is a live distribution system in which a plurality of karaoke devices and a server device are communicably connected, and one karaoke device is provided by the sound collecting means of the one karaoke device. Distribution data is generated and generated based on the collected voice of the distributor who wishes to deliver the karaoke song live and the video of the distributor shot by the shooting means of the above-mentioned one karaoke device. The distributor side that sets the distributor to be able to view audio and video based on the distribution data processing unit that transmits the distributed data to the server device and the live data distributed from the server device. The other karaoke device, which has a setting unit and is different from the one karaoke device, is set so that the viewer can view the audio and video based on the live data distributed from the server device. Based on the viewer's voice collected by the person-side setting unit and the sound collecting means of the other karaoke device, and / or the image of the viewer taken by the shooting means of the other karaoke device. A determination unit for determining whether or not the viewer's excitement satisfies a predetermined condition, viewer data based on the viewer's voice and the viewer's video are generated, and the generated viewer data is transmitted to the server device. The viewer data processing unit includes a viewer data processing unit that stops transmission of the viewer data to the server device when the excitement does not satisfy a predetermined condition, and the server device includes. A live data generation unit that generates live data based on distribution data received from the one karaoke device, and when viewer data is received from the other karaoke device, the viewer data is added to the distribution data. It is a live distribution system including a live data generation unit that generates a combined live data, and a distribution processing unit that distributes the generated live data to the one karaoke device and the other karaoke device.
Other features of the present invention will be clarified by the description of the description and drawings described later.
本発明によれば、カラオケ装置を利用してライブ配信を行う際、配信者の音声及び映像と、視聴者の音声及び映像とを組み合わせて配信することができる。 According to the present invention, when performing live distribution using a karaoke device, the audio and video of the distributor and the audio and video of the viewer can be combined and distributed.
＝＝ライブ配信システム＝＝
図１から図１２を参照して、実施形態及び変形例に係るライブ配信システムについて説明する。ライブ配信システムは、ライブデータを配信するためのシステムである。
== Live distribution system ==
A live distribution system according to an embodiment and a modification will be described with reference to FIGS. 1 to 12. The live distribution system is a system for distributing live data.
ライブデータは、カラオケ装置において、配信者や視聴者の音声及び映像を再生するためのデータである。配信者は、カラオケ歌唱のライブ配信を希望する者である。視聴者は、配信されるライブデータに基づく音声及び映像を視聴する者である。ライブデータは、サーバ装置Ｓにおいて、配信用データ、または配信用データ及び視聴者データに基づいて生成される（詳細は後述）。 Live data is data for reproducing audio and video of a distributor or a viewer in a karaoke device. The distributor is a person who desires live distribution of karaoke singing. The viewer is a person who watches audio and video based on the delivered live data. The live data is generated in the server device S based on the distribution data, the distribution data, and the viewer data (details will be described later).
ライブ配信システムは、複数のカラオケ装置及びサーバ装置を含む。図１に示すように、本実施形態に係るライブ配信システム１は、複数のカラオケ装置Ｋ１～カラオケ装置Ｋｎ、及びサーバ装置Ｓを備える。各カラオケ装置とサーバ装置Ｓとは通信可能に接続されている。各カラオケ装置は、楽曲のカラオケ演奏及びカラオケ歌唱を行うための機能を有する。
The live distribution system includes a plurality of karaoke devices and server devices. As shown in FIG. 1, the
ここで、カラオケ装置Ｋ１は、配信者Ｕ１がカラオケ歌唱のライブ配信を行うために使用される。一方、カラオケ装置Ｋ２～カラオケ装置Ｋｎは、それぞれ視聴者Ｕ２～視聴者Ｕｎが音声及び映像を視聴するために使用される。すなわち、本実施形態において、カラオケ装置Ｋ２～カラオケ装置Ｋｎは、カラオケ演奏及びカラオケ歌唱に使用されるものではない。カラオケ装置Ｋ１は、「一のカラオケ装置」に相当し、カラオケ装置Ｋ２～カラオケ装置Ｋｎはそれぞれ「他のカラオケ装置」に相当する。各カラオケ装置は、一のカラオケ店舗の各部屋に設置されていてもよいし、別々のカラオケ店舗に設置されていてもよい。 Here, the karaoke device K1 is used by the distributor U1 to perform live distribution of the karaoke song. On the other hand, the karaoke device K2 to the karaoke device Kn are used by the viewer U2 to the viewer Un to view the audio and the video, respectively. That is, in the present embodiment, the karaoke device K2 to the karaoke device Kn are not used for karaoke performance and karaoke singing. The karaoke device K1 corresponds to "one karaoke device", and the karaoke devices K2 to Kn correspond to "other karaoke devices", respectively. Each karaoke device may be installed in each room of one karaoke store, or may be installed in different karaoke stores.
サーバ装置Ｓは、各種情報や各カラオケ装置から送信される情報を管理したり、各カラオケ装置に対してライブデータの配信を行うコンピュータである。 The server device S is a computer that manages various information and information transmitted from each karaoke device, and distributes live data to each karaoke device.
＝＝カラオケ装置Ｋ１＝＝
図２に示すように、カラオケ装置Ｋ１は、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。
== Karaoke device K1 ==
As shown in FIG. 2, the karaoke device K1 includes a
カラオケ本体１０は、選曲された楽曲のカラオケ演奏制御、歌詞や背景映像等の表示制御、マイク４０を通じて入力された音声信号の処理といった、カラオケ演奏やカラオケ歌唱に関する各種の制御を行う。スピーカ２０はカラオケ本体１０からの放音信号に基づいて放音するための構成である。表示装置３０はカラオケ本体１０からの信号に基づいて映像や画像を表示画面に表示するための構成である。マイク４０は配信者の会話音声や、カラオケ歌唱の歌唱音声をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。マイク４０は「（一のカラオケ装置の）集音手段」の一例である。リモコン装置５０は、カラオケ本体１０に対する各種操作をおこなうための装置である。撮影手段６０は、配信者を撮影可能なカメラである。
The karaoke
図３に示すように、本実施形態に係るカラオケ本体１０は、記憶手段１０ａ、通信手段１０ｂ、入力手段１０ｃ、演奏手段１０ｄ、及び制御手段１０ｅを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
As shown in FIG. 3, the karaoke
［記憶手段］
記憶手段１０ａは、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。記憶手段１０ａは、楽曲データを記憶する。
[Memory means]
The storage means 10a is a large-capacity storage device for storing various types of data, such as a hard disk drive. The storage means 10a stores music data.
楽曲データは、個々の楽曲を特定するための楽曲識別情報が付与されている。楽曲識別情報は、楽曲を識別するための楽曲ＩＤ等、各楽曲に固有の情報である。楽曲データは、伴奏データ、リファレンスデータ等を含む。伴奏データは、カラオケ演奏音の元となるデータである。リファレンスデータは、カラオケ演奏された楽曲の主旋律を示すデータである。また、記憶手段１０ａは、カラオケ演奏時に表示装置３０等に表示される背景映像等の背景映像データ、及び楽曲の属性情報（歌手名、ジャンル等）を記憶する。
The music data is provided with music identification information for identifying individual music. The music identification information is information unique to each music, such as a music ID for identifying the music. The music data includes accompaniment data, reference data, and the like. The accompaniment data is the data that is the source of the karaoke performance sound. The reference data is data showing the main tune of the music played in karaoke. Further, the storage means 10a stores background image data such as a background image displayed on the
［通信手段・入力手段］
通信手段１０ｂは、サーバ装置Ｓやリモコン装置５０との通信を行うためのインターフェースを提供する。入力手段１０ｃは、配信者が各種の指示入力を行うための構成である。入力手段１０ｃは、カラオケ本体１０に設けられたボタン等である。或いは、リモコン装置５０が入力手段１０ｃとして機能してもよい。
[Communication means / input means]
The communication means 10b provides an interface for communicating with the server device S and the
［演奏手段］
演奏手段１０ｄは、制御手段１０ｅの制御に基づき、楽曲のカラオケ演奏、及びマイク４０を通じて入力された音声信号の処理を行う。演奏手段１０ｄは、音源、ミキサ、アンプ等を含む（いずれも図示なし）。
[Performance]
The playing means 10d performs karaoke performance of the musical piece and processes the audio signal input through the
［制御手段］
制御手段１０ｅは、カラオケ装置Ｋ１における各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
[Control means]
The control means 10e performs various controls on the karaoke device K1. The control means 10e includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.
本実施形態においてはカラオケ装置Ｋ１のＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、ライブ配信予約部１００、配信用データ処理部２００、及び配信者側設定部３００として機能する。
In the present embodiment, the CPU of the karaoke device K1 executes a program stored in the memory, so that the control means 10e functions as a live
（ライブ配信予約部）
ライブ配信予約部１００は、ライブ配信の予約処理を行う。
(Livestreaming reservation department)
The live
配信者は、リモコン装置５０を介して、ライブ配信に関する配信情報の入力を行う。配信情報は、たとえば、配信内容の紹介文、配信の開始時刻や終了時刻、カラオケ歌唱を行う曲目である。
The distributor inputs distribution information related to live distribution via the
ライブ配信予約部１００は、配信者が入力した配信情報に対して専用の識別子（以下、「配信識別子」）を付与し、記憶手段１０ａの配信予約テーブルに記憶させる。また、ライブ配信予約部１００は、カラオケ装置の装置識別子、配信識別子、及び当該配信識別子に対応する配信情報を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信する。
The live
以下、ライブ配信予約部１００は、配信者Ｕ１が入力したライブＬ１の配信情報Ｄ１に対して配信識別子ＩＤ＿Ｄ１を付与し、記憶手段１０ａの配信予約テーブルに記憶させたとする。また、ライブ配信予約部１００は、カラオケ装置Ｋ１の装置識別子ＩＤ＿Ｋ１、配信識別子ＩＤ＿Ｄ１、及び配信情報Ｄ１を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信したとする。また、配信情報Ｄ１は、配信内容の紹介文、配信の開始時刻及び終了時刻（１９：００－２０：００）、カラオケ歌唱を行う曲目（楽曲Ｘ１～楽曲Ｘ３）であるとする。
Hereinafter, it is assumed that the live
（配信用データ処理部）
配信用データ処理部２００は、一のカラオケ装置の集音手段により集音された、カラオケ歌唱のライブ配信を希望する配信者の音声と、一のカラオケ装置の撮影手段により撮影された、当該配信者の映像とに基づいて、配信用データを生成し、生成した配信用データをサーバ装置に送信する。
(Distribution data processing unit)
The distribution
配信用データは、配信者の音声に対応する音声信号、及び配信者の映像に対応する映像信号を含む。 The distribution data includes an audio signal corresponding to the audio of the distributor and a video signal corresponding to the video of the distributor.
ライブ配信を行う場合、配信者は、初めに挨拶（自己紹介等）を行い、その後、カラオケ歌唱を開始することが一般的である。すなわち、配信用データは、挨拶の音声に対応する音声信号を含む場合もあれば、カラオケ歌唱の歌唱音声に対応する音声信号を含む場合もある。また、カラオケ歌唱を行う場合、音声信号には、カラオケ演奏の演奏音も含まれる。 In the case of live distribution, it is common for the distributor to first give a greeting (self-introduction, etc.) and then start karaoke singing. That is, the distribution data may include an audio signal corresponding to the voice of greeting, or may include an audio signal corresponding to the singing voice of karaoke singing. Further, when singing karaoke, the audio signal includes the performance sound of the karaoke performance.
具体的に、配信者Ｕ１がライブＬ１の配信の予約を行ったとする。ここで、ライブＬ１の配信の開始時刻が近づいた場合、配信用データ処理部２００は、配信者Ｕ１に対してその旨の報知を行う。報知は様々な方法で行うことができる。たとえば、配信用データ処理部２００は、表示装置３０やリモコン装置５０の表示画面に「予約したライブ配信の時刻が近づいています。準備をしてください」といったメッセージを表示することができる。
Specifically, it is assumed that the distributor U1 makes a reservation for the distribution of the live L1. Here, when the start time of the distribution of the live L1 is approaching, the distribution
配信の開始時刻が到来した場合、配信用データ処理部２００は、カラオケ装置Ｋ１のマイク４０よる集音、及び撮影手段６０による配信者の撮影を開始させる。配信者Ｕ１は、初めに挨拶を行う。この場合、配信用データ処理部２００は、マイク４０により集音された配信者Ｕ１の挨拶の音声に対応する音声信号と、撮影手段６０により撮影された、配信者Ｕ１の映像に対応する映像信号とを合成し、配信用データを生成する。配信用データ処理部２００は、生成した配信用データをサーバ装置Ｓに送信する。
When the distribution start time arrives, the distribution
挨拶が終了した後、配信者Ｕ１は、リモコン装置５０を介して楽曲Ｘ１のカラオケ演奏の開始を指示する。カラオケ装置Ｋ１は、記憶手段１０ａから楽曲Ｘ１の伴奏データを読み出し、演奏手段１０ｄを制御することで楽曲Ｘ１のカラオケ演奏を開始する。また、配信用データ処理部２００は、楽曲のカラオケ演奏の開始の指示があった場合、演奏開始信号をサーバ装置Ｓに送信する。
After the greeting is finished, the distributor U1 instructs the start of the karaoke performance of the music X1 via the
配信者Ｕ１は、カラオケ演奏に合わせてカラオケ歌唱を行う。この場合、配信用データ処理部２００は、マイク４０により集音された配信者Ｕ１の歌唱音声及び楽曲Ｘ１のカラオケ演奏音に対応する音声信号と、撮影手段６０により撮影された、配信者Ｕ１の映像に対応する映像信号とを合成し、新たな配信用データを生成する。配信用データ処理部２００は、生成した新たな配信用データをサーバ装置Ｓに送信する。
The distributor U1 sings karaoke along with the karaoke performance. In this case, the distribution
このように、配信用データ処理部２００は、配信情報Ｄ１に含まれる開始時刻から終了時刻が到来するまで（すなわち、ライブＬ１が終了するまで）、連続して配信用データの生成及び送信を行う。
In this way, the distribution
（配信者側設定部）
配信者側設定部３００は、サーバ装置Ｓから配信されたライブデータに基づいて、配信者が音声及び映像を視聴可能となるように設定する。
(Distributor side setting unit)
The distributor
配信者側設定部３００は、たとえば、ライブＬ１のライブデータに基づく映像を表示装置３０の表示画面に表示させると共に、当該ライブデータに基づく音声をスピーカ２０から放音させる。この場合、配信者Ｕ１は、自身が行うライブＬ１の映像及び音声を視聴することができる。サーバ装置Ｓから配信されるライブデータの詳細については後述する。
For example, the distributor
＝＝カラオケ装置Ｋ２～カラオケ装置Ｋｎ＝＝
上述の通り、カラオケ装置Ｋ２～カラオケ装置Ｋｎそれぞれは、配信されるライブの音声及び映像を視聴するために、視聴者Ｕ２～視聴者Ｕｎが使用する。カラオケ装置Ｋ２～カラオケ装置Ｋｎは同様の構成であるため、以下、カラオケ装置Ｋ２を例に説明を行う。また、カラオケ装置Ｋ１と同様の構成については詳細な説明を省略する。
== Karaoke device K2 ~ Karaoke device Kn ==
As described above, each of the karaoke device K2 to the karaoke device Kn is used by the viewer U2 to the viewer Un to view the live audio and video delivered. Since the karaoke device K2 to the karaoke device Kn have the same configuration, the karaoke device K2 will be described below as an example. Further, detailed description of the same configuration as that of the karaoke device K1 will be omitted.
カラオケ装置Ｋ２は、カラオケ装置Ｋ１と同様、カラオケ本体１０、スピーカ２０、表示装置３０、マイク４０、リモコン装置５０、及び撮影手段６０を備える。
Like the karaoke device K1, the karaoke device K2 includes a
マイク４０は視聴者の音声（たとえば、声援、掛け声、拍手）をアナログの音声信号に変換してカラオケ本体１０に入力するための構成である。マイク４０は「（他のカラオケ装置の）集音手段」の一例である。撮影手段６０は、視聴者を撮影可能なカメラである。
The
図４に示すように、本実施形態に係るカラオケ本体１０は、記憶手段１０ａ、通信手段１０ｂ、入力手段１０ｃ、演奏手段１０ｄ、及び制御手段１０ｅを備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
As shown in FIG. 4, the karaoke
［制御手段］
制御手段１０ｅは、カラオケ装置Ｋ２における各種の制御を行う。制御手段１０ｅは、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
[Control means]
The control means 10e performs various controls on the karaoke device K2. The control means 10e includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.
本実施形態においてはカラオケ装置Ｋ２のＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段１０ｅは、ライブ視聴予約部４００、視聴者側設定部５００、判定部６００、及び視聴者データ処理部７００として機能する。
In the present embodiment, the CPU of the karaoke device K2 executes a program stored in the memory, so that the control means 10e uses the live
（ライブ視聴予約部）
ライブ視聴予約部４００は、配信されるライブを視聴するための予約処理を行う。
(Live viewing reservation department)
The live
視聴者が、リモコン装置５０を介して、ライブ配信システム１において配信されるライブの閲覧を指示したとする。ライブ視聴予約部４００は、当該指示に基づいて、配信が予定されているライブの配信識別子及び配信情報をサーバ装置Ｓから取得する。ライブ視聴予約部４００は、取得した配信識別子及び配信情報に基づいて、配信されるライブの情報（たとえば、配信識別子、配信内容の紹介文、開始時刻）を表示装置３０の表示画面に表示させる。視聴者は、リモコン装置５０を介して、視聴を希望するライブを選択する。
It is assumed that the viewer has instructed to view the live stream delivered by the
ライブ視聴予約部４００は、視聴者が選択したライブの配信識別子に、当該視聴者が使用するカラオケ装置の装置識別子を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信する。
The live
以下、カラオケ装置Ｋ２のライブ視聴予約部４００は、視聴者Ｕ２が選択したライブＬ１の配信識別子ＩＤ＿Ｄ１に対してカラオケ装置Ｋ２の装置識別子ＩＤ＿Ｋ２を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信したとする。また、同様に、カラオケ装置Ｋ３～カラオケ装置Ｋ５のライブ視聴予約部４００は、それぞれ視聴者Ｕ３～視聴者Ｕ５が選択したライブＬ１の配信識別子ＩＤ＿Ｄ１に対してカラオケ装置Ｋ３～カラオケ装置Ｋ５の装置識別子ＩＤ＿Ｋ３～装置識別子ＩＤ＿Ｋ５を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信したとする。
Hereinafter, the live
（視聴者側設定部）
視聴者側設定部５００は、サーバ装置Ｓから配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する。
(Viewer setting section)
The viewer
視聴者側設定部５００は、たとえば、ライブＬ１のライブデータに基づく映像を表示装置３０の表示画面に表示させると共に、当該ライブデータに基づく音声をスピーカ２０から放音させる。この場合、視聴者Ｕ２は、配信されるライブＬ１の映像及び音声を視聴することができる。サーバ装置Ｓから配信されるライブデータの詳細については後述する。
The viewer
（判定部）
判定部６００は、他のカラオケ装置の集音手段により集音された、視聴者の音声、及び／または他のカラオケ装置の撮影手段により撮影された当該視聴者の映像に基づいて、当該視聴者の盛り上がりが所定条件を満たすかどうかを判定する。
(Judgment unit)
The
盛り上がりの判定は様々なタイミングで行うことができる。たとえば、判定部６００は、ライブの開始後、最初のカラオケ演奏が開始されるタイミングから盛り上がりの判定を行うことができる。また、判定部６００は、所定期間毎に視聴者の盛り上がりを判定することができる。所定期間は、ライブ開始後１０秒毎、楽曲のカラオケ演奏開始後１５秒毎のように、予め一の期間が設定されている。
The excitement can be determined at various timings. For example, the
たとえば、上記例において、ライブＬ１の開始後、配信者Ｕ１がカラオケ装置Ｋ１のリモコン装置５０を介して楽曲Ｘ１のカラオケ演奏を指示したとする。この場合、カラオケ装置Ｋ１の制御手段１０ｅは、演奏手段１０ｄを制御し、楽曲Ｘ１のカラオケ演奏を開始する。この際、カラオケ装置Ｋ１は、楽曲Ｘ１のカラオケ演奏の開始をサーバ装置Ｓに通知する。サーバ装置Ｓは、ライブＬ１を配信している各カラオケ装置に当該通知を転送する。
For example, in the above example, it is assumed that after the start of the live L1, the distributor U1 instructs the karaoke performance of the music X1 via the
判定部６００は、当該通知を受けたのち、所定期間毎に盛り上がりの判定を行うことができる。
After receiving the notification, the
また、盛り上がりの判定は様々な方法により行うことができる。たとえば、判定部６００は、視聴者の音声から検出した特定周波数帯の音圧レベル、及び／または視聴者の映像から検出した当該視聴者の動きに基づいて、当該視聴者の盛り上がりを判定することができる。
Further, the determination of excitement can be performed by various methods. For example, the
具体的に、判定部６００は、マイク４０で集音された視聴者Ｕ２の音声から、特定周波数帯域の音声（たとえば、拍手や声援の音声）に相当する周波数帯域を抽出し、所定期間における平均音圧レベルを検出する。判定部６００は、検出した平均音圧レベルが所定の音圧レベル以上であるかどうかを判定する。検出した平均音圧レベルが所定の音圧レベル以上である場合、判定部６００は、盛り上がりが所定条件を満たすと判定する。「（検出した平均音圧レベルが）所定の音圧レベル以上」は所定条件の一例である。
Specifically, the
或いは、判定部６００は、撮影手段６０で撮影された視聴者Ｕ２の映像から、所定期間における視聴者Ｕ２の動きのテンポを検出する。判定部６００は、検出したテンポとスピーカ２０から放音される楽曲のテンポとの差が所定のテンポ以下であるかどうかを判定する。検出したテンポとスピーカ２０から放音される楽曲のテンポとの差が所定のテンポ以下である場合、判定部６００は、盛り上がりが所定条件を満たすと判定する。「（検出したテンポとスピーカ２０から放音される楽曲のテンポとの差が）所定のテンポ以下」は所定条件の一例である。
Alternatively, the
なお、判定部６００は、検出した平均音圧レベルが所定の音圧レベル以上である場合、且つ検出したテンポとスピーカ２０から放音される楽曲のテンポとの差が所定のテンポ以下である場合に、盛り上がりが所定条件を満たすと判定してもよい。この場合、「（検出した平均音圧レベルが）所定の音圧レベル以上」且つ「（検出したテンポとスピーカ２０から放音される楽曲のテンポとの差が）所定のテンポ以下」が所定条件に相当する。
When the detected average sound pressure level is equal to or higher than the predetermined sound pressure level, and the difference between the detected tempo and the tempo of the music emitted from the
（視聴者データ処理部）
視聴者データ処理部７００は、視聴者の音声及び視聴者の映像に基づく視聴者データを生成し、生成した視聴者データをサーバ装置に送信する。
(Audience data processing unit)
The viewer
視聴者データ処理部７００は、他のカラオケ装置のマイク４０により集音された、視聴者の音声と、他のカラオケ装置の撮影手段６０により撮影された、当該視聴者の映像とに基づいて、視聴者データを生成し、生成した視聴者データをサーバ装置に送信する。
The viewer
視聴者データは、視聴者の音声に対応する音声信号、及び視聴者の映像に対応する映像信号を含む。 The viewer data includes an audio signal corresponding to the viewer's voice and a video signal corresponding to the viewer's video.
具体的に、視聴者Ｕ２がカラオケ装置Ｋ２で配信されるライブＬ１の視聴を行うとする。配信の開始時刻が到来した場合、視聴者データ処理部７００は、カラオケ装置Ｋ２のマイク４０による集音、及び撮影手段６０による視聴者Ｕ２の撮影を開始させる。視聴者データ処理部７００は、マイク４０により集音された視聴者Ｕ２の音声に対応する音声信号と、撮影手段６０により撮影された、視聴者Ｕ２の映像に対応する映像信号とを合成し、視聴者データを生成する。視聴者データ処理部７００は、生成した視聴者データをサーバ装置Ｓに送信する。
Specifically, it is assumed that the viewer U2 watches the live L1 delivered by the karaoke device K2. When the distribution start time arrives, the viewer
視聴者データ処理部７００は、配信情報Ｄ１に含まれる開始時刻から終了時刻が到来するまで（すなわち、ライブＬ１が終了するまで）、連続して視聴者データの生成及び送信を行う。なお、視聴者Ｕ２がライブＬ１の視聴を途中で中止した場合、視聴者データ処理部７００は、視聴者データの生成及び送信を停止する。
The viewer
ここで、本実施形態に係る視聴者データ処理部７００は、盛り上がりが所定条件を満たさない場合、当該視聴者データの送信を中止する。具体的に、判定部６００により、ある所定期間における視聴者の盛り上がりが所定条件を満たさないと判定された場合、視聴者データ処理部７００は、当該ある所定期間に続く一定期間において視聴者データのサーバ装置Ｓへの送信を中止する。
Here, the viewer
たとえば、判定部６００は、楽曲Ｘ１のカラオケ演奏開始後１０秒間の期間Ｐ１における視聴者Ｕ２の盛り上がりが所定条件を満たさないと判定したとする。この場合、視聴者データ処理部７００は、期間Ｐ１に続く期間Ｐ２において視聴者Ｕ２の視聴者データのサーバ装置Ｓへの送信を中止する。期間Ｐ２の経過後、判定部６００は、期間Ｐ２に続く期間Ｐ３において、改めて視聴者Ｕ２の盛り上がりの判定を行う。
For example, it is assumed that the
＝＝サーバ装置＝＝
図５に示すように、サーバ装置Ｓは、記憶手段２０、通信手段３０、及び制御手段４０を備える。各構成はインターフェース（図示なし）を介してバスＢに接続されている。
== Server device ==
As shown in FIG. 5, the server device S includes a storage means 20, a communication means 30, and a control means 40. Each configuration is connected to bus B via an interface (not shown).
［記憶手段・通信手段］
記憶手段２０は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。通信手段３０は、各カラオケ装置との通信を行うためのインターフェースを提供する。
[Memory / communication means]
The storage means 20 is a large-capacity storage device for storing various types of data, such as a hard disk drive. The communication means 30 provides an interface for communicating with each karaoke device.
［制御手段］
制御手段４０は、サーバ装置Ｓにおける各種の制御を行う。制御手段４０は、ＣＰＵおよびメモリ（いずれも図示無し）を備える。ＣＰＵは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。
[Control means]
The control means 40 performs various controls on the server device S. The control means 40 includes a CPU and a memory (neither of which is shown). The CPU realizes various functions by executing a program stored in the memory.
本実施形態においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段４０は、予約管理部４０ａ、ライブデータ生成部４０ｂ、及び配信処理部４０ｃとして機能する。
In the present embodiment, the CPU executes a program stored in the memory, so that the control means 40 functions as a
（予約管理部）
予約管理部４０ａは、ライブ配信及び視聴の予約の管理を行う。
(Reservation management department)
The
予約管理部４０ａは、一のカラオケ装置のライブ配信予約部１００から送信された、カラオケ装置の装置識別子、配信識別子、及び当該配信識別子に対応する配信情報に基づいて、ライブ配信の予約を受け付ける。予約管理部４０ａは、受信した識別子等を記憶手段２０に記憶させることでライブ配信の予約を管理する。
The
一方、他のカラオケ装置のライブ視聴予約部４００から、配信されるライブの閲覧の指示を受けた場合、予約管理部４０ａは、ライブ配信システム１において配信が予定されているライブの配信識別子及び配信情報を記憶手段２０から読み出し、他のカラオケ装置に送信する。
On the other hand, when the live
また、予約管理部４０ａは、他のカラオケ装置のライブ視聴予約部４００から視聴者が選択したあるライブの配信識別子を受信した場合、記憶手段２０に記憶されている当該あるライブに対して、当該他のカラオケ装置の装置識別子を紐付けることで視聴の管理を行う。
Further, when the
上述の通り、ライブ配信予約部１００が、カラオケ装置Ｋ１の装置識別子ＩＤ＿Ｋ１、ライブＬ１の配信識別子ＩＤ＿Ｄ１、及び配信情報Ｄ１を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信したとする。また、カラオケ装置Ｋ２～カラオケ装置Ｋ５のライブ視聴予約部４００は、それぞれ視聴者Ｕ２～視聴者Ｕ５が選択したライブＬ１の配信識別子ＩＤ＿Ｄ１に対してカラオケ装置Ｋ２～カラオケ装置Ｋ５の装置識別子ＩＤ＿Ｋ２～装置識別子ＩＤ＿Ｋ５を紐付け、通信手段１０ｂを介してサーバ装置Ｓに送信したとする。
As described above, it is assumed that the live
この場合、予約管理部４０ａは、図６に示すようなテーブルを作成し、記憶手段２０に記憶させる。サーバ装置Ｓは、このテーブルを参照することで、カラオケ装置Ｋ１から送信される配信用データと、カラオケ装置Ｋ２～Ｋ５から送信される視聴者データとの紐付けを行うことができる。
In this case, the
（ライブデータ生成部）
ライブデータ生成部４０ｂは、一のカラオケ装置から受信した配信用データに基づいてライブデータを生成する。また、ライブデータ生成部４０ｂは、他のカラオケ装置から視聴者データを受信した場合、配信用データに当該視聴者データを組み合わせたライブデータを生成する。
(Live data generator)
The live
たとえば、配信者Ｕ１が行うライブＬ１を、配信者Ｕ１、及び視聴者Ｕ２～視聴者Ｕ５の５名が視聴するとする。 For example, it is assumed that the live L1 performed by the distributor U1 is viewed by five people, the distributor U1 and the viewers U2 to U5.
この場合、カラオケ装置Ｋ１の配信用データ処理部２００は、サーバ装置Ｓに対し、配信情報Ｄ１に含まれる開始時刻の到来に伴ってライブＬ１に対応する配信用データの送信を行う。一方、カラオケ装置Ｋ２～カラオケ装置Ｋ５の視聴者データ処理部７００は、サーバ装置Ｓに対し、それぞれライブＬ１を視聴する視聴者データの送信を行う。
In this case, the distribution
ライブデータ生成部４０ｂは、配信用データに視聴者データを組み合わせたライブデータを生成する。
The live
ライブデータは、配信者の音声（挨拶の声、カラオケ歌唱の歌唱音声等）や視聴者の音声（声援、拍手等）に基づく音声データ、及び配信者の映像（カラオケ歌唱をする姿等）や視聴者の映像（手を叩く姿等）に基づく映像データを含む。 Live data includes audio data based on the voice of the distributor (greeting voice, singing voice of karaoke singing, etc.) and the voice of the viewer (cheering, applause, etc.), and the video of the distributor (figure of singing karaoke, etc.). Includes video data based on the viewer's video (clapping hands, etc.).
ライブデータは、レイアウトデータを含んでもよい。レイアウトデータは、ライブデータに基づく映像をカラオケ装置で表示させる際のレイアウトを示すものである。レイアウトは、たとえば、図７に示すように上半分に配信者Ｕ１の映像Ｍ１を表示させ、下半分に視聴者Ｕ２～視聴者Ｕ５の映像Ｍ２～映像Ｍ５を表示させる。 The live data may include layout data. The layout data shows the layout when the video based on the live data is displayed on the karaoke device. As for the layout, for example, as shown in FIG. 7, the video M1 of the distributor U1 is displayed in the upper half, and the video M2 to the video M5 of the viewer U2 to the viewer U5 are displayed in the lower half.
ここで、カラオケ装置Ｋ２の判定部６００により期間Ｐ１における盛り上がりの判定を行った結果、視聴者Ｕ２の盛り上がりが所定条件を満たさないと判定されたとする。一方、期間Ｐ１における視聴者Ｕ３～視聴者Ｕ５の盛り上がりは所定条件を満たすと判定されたとする。この場合、カラオケ装置Ｋ２の視聴者データ処理部７００は、期間Ｐ１に続く期間Ｐ２において視聴者Ｕ２の視聴者データの送信を中止する。
Here, it is assumed that as a result of determining the excitement in the period P1 by the
よって、ライブデータ生成部４０ｂは、期間Ｐ２に対応するライブデータとして、配信者Ｕ１の配信用データに視聴者Ｕ３～視聴者Ｕ５の視聴者データのみを組み合わせたライブデータを生成する。図８は、図７のレイアウトにおいて、上半分に配信者Ｕ１の映像Ｍ１を表示させ、下半分に視聴者Ｕ３～視聴者Ｕ５の映像Ｍ３～映像Ｍ５を表示させる例である。
Therefore, the live
なお、盛り上がりが所定条件を満たさない場合には、他のカラオケ装置から視聴者データが送信されることはない。この場合、ライブデータ生成部４０ｂは、配信用データに基づいてライブデータを生成する。
If the excitement does not satisfy the predetermined condition, the viewer data is not transmitted from another karaoke device. In this case, the live
また、図７のように４名の視聴者を表示させるレイアウトを採用する場合に、実際には５名以上の視聴者が視聴している場合もありうる。この場合、ライブデータ生成部４０ｂは、４名の視聴者の映像を選択してライブデータを構成する。映像の選択は、ランダムに行う。
Further, when the layout for displaying four viewers is adopted as shown in FIG. 7, there may be a case where five or more viewers are actually watching. In this case, the live
（配信処理部）
配信処理部４０ｃは、生成されたライブデータを一のカラオケ装置及び他のカラオケ装置に配信する。
(Distribution processing department)
The distribution processing unit 40c distributes the generated live data to one karaoke device and another karaoke device.
配信処理部４０ｃは、生成されたライブデータを、装置識別子に基づいて各カラオケ装置に配信する。たとえば、図６に示すテーブルの例において、ライブＬ１には、ライブＬ１の配信を行うカラオケ装置Ｋ１を含むカラオケ装置Ｋ１～カラオケ装置Ｋ５の装置識別子ＩＤ＿Ｋ１～ＩＤ＿Ｋ５が紐付けられている。よって、配信処理部４０ｃは、カラオケ装置Ｋ１～カラオケ装置Ｋ５にライブデータを配信する。 The distribution processing unit 40c distributes the generated live data to each karaoke device based on the device identifier. For example, in the example of the table shown in FIG. 6, the live L1 is associated with the device identifiers ID_K1 to ID_K5 of the karaoke devices K1 to the karaoke device K5 including the karaoke device K1 that distributes the live L1. Therefore, the distribution processing unit 40c distributes live data to the karaoke devices K1 to K5.
カラオケ装置Ｋ１の配信者側設定部３００は、ライブＬ１のライブデータに基づく映像を表示装置３０の表示画面に表示させると共に、当該ライブデータに基づく音声をスピーカ２０から放音させる。同様に、カラオケ装置Ｋ２～カラオケ装置Ｋ５の視聴者側設定部５００は、ライブＬ１のライブデータに基づく映像を表示装置３０の表示画面に表示させると共に、当該ライブデータに基づく音声をスピーカ２０から放音させる。この場合、各カラオケ装置において、たとえば図７に示すようなレイアウトで映像が表示される。
The distributor
一方、上述の通り、ライブデータ生成部４０ｂが、期間Ｐ２におけるライブデータとして、配信者Ｕ１の配信用データに視聴者Ｕ３～視聴者Ｕ５の視聴者データを組み合わせたライブデータを生成したとする。この場合、配信処理部４０ｃは、このライブデータをカラオケ装置Ｋ１～カラオケ装置Ｋ５に送信する。すなわち、配信処理部４０ｃは、視聴者データを送信しなかったカラオケ装置Ｋ２に対してもライブデータの送信を行う。この場合、各カラオケ装置において、たとえば図８に示すようなレイアウトで映像が表示される。
On the other hand, as described above, it is assumed that the live
＝＝ライブ配信システムの動作について＝＝
次に、図９及び図１０を参照して本実施形態におけるライブ配信システム１の動作の具体例について述べる。図９は、ライブ配信システム１の基本的な動作例を示すフローチャートである。図１０は、ライブ配信システム１の盛り上がり判定における動作例を示すフローチャートである。これらの例において、一のカラオケ装置は、ライブ配信を行う配信者が使用するカラオケ装置であり、他のカラオケ装置は、当該ライブを視聴する視聴者が使用するカラオケ装置である。
== About the operation of the live distribution system ==
Next, a specific example of the operation of the
［基本的な動作例］
ライブの配信の開始時刻が到来した場合、配信用データ処理部２００は、一のカラオケ装置のマイク４０により集音された配信者の音声と、一のカラオケ装置の撮影手段６０により撮影された当該配信者の映像とに基づいて、配信用データを生成し、生成した配信用データのサーバ装置Ｓへの送信を開始する（配信用データの送信開始。ステップ１０）。
[Basic operation example]
When the start time of the live distribution arrives, the distribution
また、ライブの配信の開始時刻が到来した場合、視聴者データ処理部７００は、他のカラオケ装置のマイク４０により集音された視聴者の音声と、他のカラオケ装置の撮影手段６０により撮影された当該視聴者の映像とに基づいて、視聴者データを生成し、生成した視聴者データのサーバ装置Ｓへの送信を開始する（視聴者データの送信開始。ステップ１１）。
Further, when the start time of the live distribution arrives, the viewer
サーバ装置Ｓのライブデータ生成部４０ｂは、ステップ１０で送信された配信用データに、ステップ１１で送信された視聴者データを組み合わせたライブデータの生成を開始する（ライブデータの生成開始。ステップ１２）。
The live
サーバ装置Ｓの配信処理部４０ｃは、ステップ１２で生成されたライブデータの一のカラオケ装置及び他のカラオケ装置への配信を開始する（ライブデータの配信開始。ステップ１３）。 The distribution processing unit 40c of the server device S starts distribution of the live data generated in step 12 to one karaoke device and another karaoke device (live data distribution start. Step 13).
配信者側設定部３００は、ステップ１３で配信されたライブデータに基づいて、配信者が音声及び映像を視聴可能となるように設定する。配信者は、一のカラオケ装置において、自身が行うライブの音声及び映像の視聴を開始する（音声及び映像の視聴開始。ステップ１４）。
The distributor
同様に、視聴者側設定部５００は、ステップ１３で配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する。視聴者は、他のカラオケ装置において、配信されるライブの音声及び映像の視聴を開始する（音声及び映像の視聴開始。ステップ１５）。
Similarly, the viewer
ライブ配信システム１は、ライブの配信の終了時刻が到来するまで、配信用データのサーバ装置Ｓへの送信、生成した視聴者データのサーバ装置Ｓへの送信、ライブデータの生成、生成されたライブデータの一のカラオケ装置及び他のカラオケ装置への配信を繰り返し行う。配信者及び視聴者は、ライブの配信の終了時刻が到来するまで、カラオケ装置において配信されるライブの音声及び映像の視聴が可能となる。
The
［盛り上がり判定における動作例］
ライブ配信の開始後、配信者が一のカラオケ装置のリモコン装置５０を介して配信情報に含まれる楽曲のカラオケ演奏の開始を指示したとする。この場合、配信用データ処理部２００は、サーバ装置Ｓに演奏開始信号を送信することで、カラオケ演奏の開始を通知する（カラオケ演奏の開始を通知。ステップ２０）。
[Operation example in swelling judgment]
After the start of live distribution, it is assumed that the distributor instructs the start of karaoke performance of the music included in the distribution information via the
サーバ装置Ｓは、ステップ２０における演奏開始信号の受信に伴い、通知を他のカラオケ装置に転送する（通知の転送。ステップ２１）。 The server device S transfers the notification to another karaoke device in accordance with the reception of the performance start signal in step 20 (transfer of notification, step 21).
配信者は、楽曲のカラオケ演奏に合わせてカラオケ歌唱を行う。配信用データ処理部２００は、マイク４０により集音された配信者の歌唱音声及び楽曲のカラオケ演奏音に対応する音声信号と、撮影手段６０により撮影された、配信者の映像に対応する映像信号とを合成し、配信用データを生成する。配信用データ処理部２００は、生成した配信用データのサーバ装置Ｓへの送信を開始する（配信用データの送信開始。ステップ２２）。
The distributor sings karaoke along with the karaoke performance of the music. The distribution
ステップ２１の通知を受けたのち、判定部６００は、他のカラオケ装置のマイク４０により集音された視聴者の音声、及び／または他のカラオケ装置の撮影手段６０により撮影された当該視聴者の映像に基づいて当該視聴者の盛り上がりが所定条件を満たすかどうかを判定する。
After receiving the notification in step 21, the
盛り上がりが所定条件を満たす場合（ステップ２３でＹの場合）、視聴者データ処理部７００は、視聴者の音声及び視聴者の映像に基づく視聴者データを生成し、生成した視聴者データのサーバ装置Ｓへの送信を開始する（視聴者データの送信開始。ステップ２４）。
When the excitement satisfies a predetermined condition (Y in step 23), the viewer
一方、盛り上がりが所定条件を満たさない場合（ステップ２３でＮの場合）、視聴者データ処理部７００は、視聴者データのサーバ装置Ｓへの送信を中止する（視聴者データの送信中止。ステップ２５）。
On the other hand, when the excitement does not satisfy the predetermined condition (when N in step 23), the viewer
サーバ装置Ｓのライブデータ生成部４０ｂは、ステップ２１で送信された配信用データに、ステップ２４で送信された視聴者データを組み合わせたライブデータの生成を開始する（ライブデータの生成開始。ステップ２６）。なお、盛り上がりが所定条件を満たさない場合、視聴者データの送信が中止される。この場合、ライブデータ生成部４０ｂは、ステップ２１で送信された配信用データのみに基づいてライブデータを生成する。
The live
サーバ装置Ｓの配信処理部４０ｃは、ステップ２６で生成されたライブデータを一のカラオケ装置及び他のカラオケ装置への配信を開始する（ライブデータの配信開始。ステップ２７）。 The distribution processing unit 40c of the server device S starts distribution of the live data generated in step 26 to one karaoke device and another karaoke device (start of distribution of live data. Step 27).
配信者側設定部３００は、ステップ２７で配信されたライブデータに基づいて、配信者が音声及び映像を視聴可能となるように設定する。配信者は、一のカラオケ装置において、自身が行うライブの音声及び映像の視聴を開始する（音声及び映像の視聴開始。ステップ２８）。
The distributor
同様に、視聴者側設定部５００は、ステップ２７で配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する。視聴者は、他のカラオケ装置において、配信されるライブの音声及び映像の視聴を開始する（音声及び映像の視聴開始。ステップ２９）。
Similarly, the viewer-
ライブ配信システム１は、一の楽曲のカラオケ演奏が終了するまで、配信用データのサーバ装置Ｓへの送信、盛り上がりが所定条件を満たすかどうかの判定、生成した視聴者データのサーバ装置Ｓへの送信または送信中止、ライブデータの生成、生成されたライブデータの一のカラオケ装置及び他のカラオケ装置への配信を繰り返し行う。
The
以上から明らかなように、本実施形態に係るライブ配信システム１は、カラオケ装置Ｋ１～カラオケ装置Ｋｎとサーバ装置Ｓとが通信可能に接続されている。カラオケ装置Ｋ１は、カラオケ装置Ｋのマイク４０により集音された、カラオケ歌唱のライブ配信を希望する配信者Ｕ１の音声と、カラオケ装置Ｋ１の撮影手段６０により撮影された、配信者Ｕ１の映像とに基づいて、配信用データを生成し、生成した配信用データをサーバ装置Ｓに送信する配信用データ処理部２００と、サーバ装置Ｓから配信されたライブデータに基づいて、配信者Ｕ１が音声及び映像を視聴可能となるように設定する配信者側設定部３００と、を有する。カラオケ装置Ｋ２～カラオケ装置Ｋｎは、サーバ装置Ｓから配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する視聴者側設定部５００と、カラオケ装置Ｋ２～カラオケ装置Ｋｎのマイク４０により集音された、視聴者の音声、及び／またはカラオケ装置Ｋ２～カラオケ装置Ｋｎの撮影手段６０により撮影された当該視聴者の映像に基づいて、当該視聴者の盛り上がりが所定条件を満たすかどうかを判定する判定部６００と、視聴者の音声及び視聴者の映像に基づく視聴者データを生成し、生成した視聴者データをサーバ装置Ｓに送信する視聴者データ処理部７００であって、盛り上がりが所定条件を満たさない場合、当該視聴者データのサーバ装置Ｓへの送信を中止する視聴者データ処理部７００と、を有する。サーバ装置Ｓは、カラオケ装置Ｋ１から受信した配信用データに基づいてライブデータを生成するライブデータ生成部４０ｂであって、カラオケ装置Ｋ２～カラオケ装置Ｋｎから視聴者データを受信した場合、配信用データに当該視聴者データを組み合わせたライブデータを生成するライブデータ生成部４０ｂと、生成されたライブデータをカラオケ装置Ｋ１、及びカラオケ装置ｋ２～カラオケ装置Ｋｎに配信する配信処理部４０ｃと、を有する。
As is clear from the above, in the
このようなライブ配信システム１によれば、ライブ配信を行う配信者の音声及び映像と併せて視聴者の音声及び映像を視聴することができる。よって、配信者にとっては、実際に視聴者の前でカラオケ歌唱を行っているかのような臨場感を得ることができる。また、視聴者にとっても、カラオケ歌唱を実際に視聴しているかのような臨場感を得ることができる。更に、本実施形態に係るライブ配信システム１によれば、盛り上がっている視聴者の音声及び映像のみを配信者の音声及び映像と組み合わせることにより、配信者及び視聴者に対してライブ配信における一体感を提供できる。すなわち、本実施形態に係るライブ配信システム１によれば、カラオケ装置を利用してライブ配信を行う際、配信者の音声及び映像と、視聴者の音声及び映像とを組み合わせて配信することができる。
According to such a
また、本実施形態に係るライブ配信システム１における、判定部６００は、所定期間毎に視聴者の盛り上がりを判定し、視聴者データ処理部７００は、ある所定期間における視聴者の盛り上がりが所定条件を満たさないと判定された場合、当該ある所定期間に続く一定期間において視聴者データのサーバ装置Ｓへの送信を中止する。このようなライブ配信システム１によれば、盛り上がりの状況をライブ配信により的確に反映させることができる。
Further, in the
また、本実施形態に係るライブ配信システム１における判定部６００は、視聴者の音声から検出した特定周波数帯の音圧レベル、及び／または視聴者の映像から検出した当該視聴者の動きに基づいて、当該視聴者の盛り上がりを判定することができる。このようなライブ配信システム１によれば、盛り上がりの判定をより正確に行うことができる。
Further, the
＜変形例＞
上記実施形態において、判定部６００は、盛り上がりを判定する際、配信者の履歴情報と視聴者の履歴情報との一致度に基づいて重み付けを行ってもよい。
<Modification example>
In the above embodiment, when determining the excitement, the
＝＝サーバ装置＝＝
図１１に示すように、本変形例に係るサーバ装置Ｓは、記憶手段２０、通信手段３０、及び制御手段４０を備える。本変形例においてはＣＰＵがメモリに記憶されるプログラムを実行することにより、制御手段４０は、予約管理部４０ａ、ライブデータ生成部４０ｂ、配信処理部４０ｃ、取得部４０ｄ、及び算出部４０ｅとして機能する。
== Server device ==
As shown in FIG. 11, the server device S according to this modification includes a storage means 20, a communication means 30, and a control means 40. In this modification, the CPU executes a program stored in the memory, so that the control means 40 functions as a
（取得部）
取得部４０ｄは、履歴情報を配信者及び視聴者それぞれについて取得する。
(Acquisition department)
The
履歴情報は、配信者または視聴者の、属性、及び歌唱履歴の少なくとも一つを含む。属性は、配信者または視聴者の出身地、年齢、性別、好みの音楽ジャンル等である。歌唱履歴は、配信者または視聴者が過去に行ったカラオケ歌唱の楽曲名、歌手名、採点結果等である。サーバ装置Ｓの記憶手段２０は、個人ＩＤのような、配信者または視聴者の個人を識別するための専用の識別子と、履歴情報を紐付けて記憶している。 The history information includes at least one of the distributor or viewer's attributes and singing history. The attributes are the birthplace, age, gender, favorite music genre, etc. of the distributor or viewer. The singing history is the song name, singer name, scoring result, etc. of the karaoke song performed by the distributor or the viewer in the past. The storage means 20 of the server device S stores the history information in association with a dedicated identifier for identifying the individual of the distributor or the viewer, such as an individual ID.
配信者及び視聴者は、カラオケ装置を利用する際、リモコン装置５０を介して個人ＩＤの入力を行う。カラオケ装置は、入力された個人ＩＤをサーバ装置Ｓに送信する。取得部４０ｄは、受信した配信者及び視聴者の個人ＩＤに対応する履歴情報を記憶手段２０から読み出すことで、履歴情報の取得を行う。
When using the karaoke device, the distributor and the viewer input the personal ID via the
（算出部）
算出部４０ｅは、取得した配信者の履歴情報と視聴者の履歴情報との一致度に基づいて、盛り上がりを判定する際の重み付け値を求める。
(Calculation unit)
The calculation unit 40e obtains a weighted value for determining the excitement based on the degree of agreement between the acquired history information of the distributor and the history information of the viewer.
重み付け値の求め方は様々な方法で行うことができる。たとえば、履歴情報が採点結果や年齢のような数値である場合、算出部４０ｅは、当該数値の差分を求め、予め設定してあるテーブルを参照することで重み付け値を求めることができる。 The weighted value can be obtained by various methods. For example, when the history information is a numerical value such as a scoring result or an age, the calculation unit 40e can obtain a difference between the numerical values and obtain a weighted value by referring to a table set in advance.
たとえば図１２に示す重み付け値のテーブルが記憶手段２０に記憶されているとする。ここで、取得部４０ｄが、履歴情報として配信者Ｕ１の年齢（３０歳）、及び視聴者Ｕ２の年齢（２８歳）を取得したとする。算出部４０ｅは、配信者Ｕ１の年齢と視聴者Ｕ２の年齢の差分（２歳）を求め、図１２に示す重み付け値のテーブルを参照することで、重み付け値として「１．２」を求める。算出部４０ｅは、求めた重み付け値を視聴者Ｕ２が使用しているカラオケ装置Ｋ２に送信する。
For example, it is assumed that the weighted value table shown in FIG. 12 is stored in the storage means 20. Here, it is assumed that the
＝＝他のカラオケ装置＝＝
本変形例において、他のカラオケ装置の判定部６００は、重み付け値に基づいて、盛り上がりを判定する。
== Other karaoke equipment ==
In this modification, the
たとえば、カラオケ装置Ｋ２に対し、算出部４０ｅから重み付け値「１．２」が送信されたとする。この場合、判定部６００は、マイク４０で集音された視聴者Ｕ２の音声から、特定周波数帯域の音声に相当する周波数帯域を抽出し、所定期間における平均音圧レベルを検出する。そして、判定部６００は、検出した平均音圧レベルに重み付け値を乗算した補正レベルを求め、当該補正レベルが所定の音圧レベル以上であるかどうかを判定する。
For example, it is assumed that the weighting value "1.2" is transmitted from the calculation unit 40e to the karaoke device K2. In this case, the
このように、本変形例に係るサーバ装置Ｓは、配信者または視聴者の、属性、及び歌唱履歴の少なくとも一つを含む履歴情報を、配信者及び視聴者それぞれについて取得する取得部４０ｄと、取得した配信者の履歴情報と視聴者の履歴情報との一致度に基づいて、盛り上がりを判定する際の重み付け値を求める算出部４０ｅと、を有する。また、判定部６００は、重み付け値に基づいて、盛り上がりを判定する。
As described above, the server device S according to the present modification includes the
履歴情報が類似する配信者と視聴者は、世代が近かったり、趣味趣向が似ている可能性が高い。このような場合、視聴者が盛り上がる可能が高い。そこで、履歴情報の一致度に基づいて重み付けを行うことにより、視聴者の盛り上がりをより的確に判定することができる。 Distributors and viewers with similar history information are likely to be of similar generations or have similar hobbies and tastes. In such a case, the viewer is likely to get excited. Therefore, by weighting based on the degree of matching of the history information, it is possible to more accurately determine the excitement of the viewer.
＜その他＞
上記実施形態では、一のカラオケ装置を一の視聴者が使用している例について説明した。一方、一のカラオケ装置を複数の視聴者で使用する場合もありうる。この場合、判定部６００は、複数の視聴者全員の一体感により盛り上がりを判定してもよい。たとえば、判定部６００は、視聴者の映像を解析し、楽曲のテンポと一致するテンポで動作している視聴者の数を検出することにより盛り上がりを判定してもよい。この場合、判定部６００は、検出された視聴者の数が所定数以上の場合、盛り上がっていると判定することができる。
<Others>
In the above embodiment, an example in which one karaoke device is used by one viewer has been described. On the other hand, one karaoke device may be used by a plurality of viewers. In this case, the
上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiment is presented as an example and does not limit the scope of the invention. The above configurations can be implemented in combination as appropriate, and various omissions, replacements, and changes can be made without departing from the gist of the invention. The above-described embodiments and variations thereof are included in the scope of the invention described in the claims and the equivalent scope thereof, as are included in the scope and gist of the invention.
４０ａ 予約管理部
４０ｂ ライブデータ生成部
４０ｃ 配信処理部
１００ ライブ配信予約部
２００ 配信用データ処理部
３００ 配信者側設定部
４００ ライブ視聴予約部
５００ 視聴者側設定部
６００ 判定部
７００ 視聴者データ処理部
Ｋ１～Ｋｎ カラオケ装置
Ｓ サーバ装置
40a
Claims (4)
一のカラオケ装置は、
前記一のカラオケ装置の集音手段により集音された、カラオケ歌唱のライブ配信を希望する配信者の音声と、前記一のカラオケ装置の撮影手段により撮影された、当該配信者の映像とに基づいて、配信用データを生成し、生成した配信用データを前記サーバ装置に送信する配信用データ処理部と、
前記サーバ装置から配信されたライブデータに基づいて、前記配信者が音声及び映像を視聴可能となるように設定する配信者側設定部と、
を有し、
前記一のカラオケ装置と異なる他のカラオケ装置は、
前記サーバ装置から配信されたライブデータに基づいて、視聴者が音声及び映像を視聴可能となるように設定する視聴者側設定部と、
前記他のカラオケ装置の集音手段により集音された、視聴者の音声、及び／または前記他のカラオケ装置の撮影手段により撮影された当該視聴者の映像に基づいて、当該視聴者の盛り上がりが所定条件を満たすかどうかを判定する判定部と、
前記視聴者の音声及び前記視聴者の映像に基づく視聴者データを生成し、生成した視聴者データを前記サーバ装置に送信する視聴者データ処理部であって、前記盛り上がりが所定条件を満たさない場合、当該視聴者データの前記サーバ装置への送信を中止する視聴者データ処理部と、
を有し、
前記サーバ装置は、
前記一のカラオケ装置から受信した配信用データに基づいてライブデータを生成するライブデータ生成部であって、前記他のカラオケ装置から視聴者データを受信した場合、配信用データに当該視聴者データを組み合わせたライブデータを生成するライブデータ生成部と、
生成された前記ライブデータを前記一のカラオケ装置及び前記他のカラオケ装置に配信する配信処理部と、
を有するライブ配信システム。 It is a live distribution system in which multiple karaoke devices and server devices are connected so that they can communicate with each other.
One karaoke device is
Based on the voice of a distributor who desires live distribution of karaoke singing, which is collected by the sound collecting means of the karaoke device, and the image of the distributor, which is shot by the shooting means of the karaoke device. A distribution data processing unit that generates distribution data and transmits the generated distribution data to the server device.
A distributor-side setting unit that sets the distributor to be able to view audio and video based on the live data distributed from the server device.
Have,
Other karaoke devices that are different from the one karaoke device mentioned above
A viewer-side setting unit that sets the viewer to be able to view audio and video based on the live data distributed from the server device.
The excitement of the viewer is based on the audio of the viewer collected by the sound collecting means of the other karaoke device and / or the image of the viewer taken by the shooting means of the other karaoke device. A judgment unit that determines whether or not a predetermined condition is satisfied, and
A viewer data processing unit that generates viewer data based on the viewer's audio and the viewer's video and transmits the generated viewer data to the server device, and the excitement does not satisfy a predetermined condition. , The viewer data processing unit that cancels the transmission of the viewer data to the server device,
Have,
The server device is
A live data generation unit that generates live data based on distribution data received from the one karaoke device, and when viewer data is received from the other karaoke device, the viewer data is added to the distribution data. A live data generator that generates combined live data,
A distribution processing unit that distributes the generated live data to the one karaoke device and the other karaoke device.
Livestreaming system with.
前記視聴者データ処理部は、ある所定期間における視聴者の盛り上がりが所定条件を満たさないと判定された場合、当該ある所定期間に続く一定期間において視聴者データの前記サーバ装置への送信を中止することを特徴とする請求項１記載のライブ配信システム。 The determination unit determines the excitement of the viewer at predetermined intervals, and determines the excitement of the viewer.
When it is determined that the excitement of the viewer in a predetermined period does not satisfy the predetermined condition, the viewer data processing unit stops transmitting the viewer data to the server device in a certain period following the predetermined period. The live distribution system according to claim 1, wherein the live distribution system is characterized in that.
配信者または視聴者の、属性、及び歌唱履歴の少なくとも一つを含む履歴情報を、配信者及び視聴者それぞれについて取得する取得部と、
取得した配信者の履歴情報と視聴者の履歴情報との一致度に基づいて、盛り上がりを判定する際の重み付け値を求める算出部と、
を有し、
前記判定部は、前記重み付け値に基づいて、前記盛り上がりを判定することを特徴とする請求項１から３のいずれか一つに記載のライブ配信システム。 The server device is
An acquisition unit that acquires history information including at least one of the attributes and singing history of the distributor or the viewer for each of the distributor and the viewer.
A calculation unit that obtains a weighted value when determining excitement based on the degree of agreement between the acquired history information of the distributor and the history information of the viewer.
Have,
The live distribution system according to any one of claims 1 to 3, wherein the determination unit determines the excitement based on the weighted value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020165748A JP7465186B2 (en) | 2020-09-30 | 2020-09-30 | Live Streaming System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020165748A JP7465186B2 (en) | 2020-09-30 | 2020-09-30 | Live Streaming System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022057470A true JP2022057470A (en) | 2022-04-11 |
| JP7465186B2 JP7465186B2 (en) | 2024-04-10 |
Family
ID=81110280
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020165748A Active JP7465186B2 (en) | 2020-09-30 | 2020-09-30 | Live Streaming System |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7465186B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5772111B2 (en) | 2011-03-18 | 2015-09-02 | ヤマハ株式会社 | Display control device |
| JP6651413B2 (en) | 2016-05-30 | 2020-02-19 | 株式会社第一興商 | Karaoke system |
| JP7208466B2 (en) | 2018-07-25 | 2023-01-19 | 株式会社Mixi | Information processing device, video distribution method, and video distribution program |
-
2020
- 2020-09-30 JP JP2020165748A patent/JP7465186B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP7465186B2 (en) | 2024-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6823852B2 (en) | Methods, digital jukebox systems and recording media | |
| US20160078853A1 (en) | Facilitating Online Access To and Participation In Televised Events | |
| JP2021021870A (en) | Content collection/distribution system | |
| JP2022057470A (en) | Live distribution system | |
| WO2021246104A1 (en) | Control method and control system | |
| JP2013156543A (en) | Posting reproducer and program | |
| JP7149193B2 (en) | karaoke system | |
| KR20190143599A (en) | Karaoke player that enables personal broadcasting by connecting to a broadcasting service server based on a two-dimensional code and operating method thereof | |
| JP6951610B1 (en) | Speech processing system, speech processor, speech processing method, and speech processing program | |
| JP7149203B2 (en) | karaoke system | |
| JP2016191731A (en) | Multi-point singing method, and multi-point singing system | |
| JP2022181698A (en) | Server device | |
| JP2020008752A (en) | Live band karaoke live distribution system | |
| WO2022230052A1 (en) | Live delivery device and live delivery method | |
| JP7137278B2 (en) | Playback control method, control system, terminal device and program | |
| JP2014167576A (en) | Karaoke system and karaoke device | |
| JP7068955B2 (en) | Karaoke system | |
| JP7478076B2 (en) | Karaoke equipment, karaoke system | |
| JP7281386B2 (en) | karaoke device | |
| JP2018022121A (en) | Karaoke minus one | |
| US20230042477A1 (en) | Reproduction control method, control system, and program | |
| JP7299810B2 (en) | karaoke device | |
| JP6502728B2 (en) | Karaoke system and program | |
| JP2023051140A (en) | karaoke system | |
| JP2023174364A (en) | Karaoke device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230721 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240329 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7465186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |