JP2010164922A - Karaoke service system and terminal device - Google Patents
Karaoke service system and terminal device Download PDFInfo
- Publication number
- JP2010164922A JP2010164922A JP2009009341A JP2009009341A JP2010164922A JP 2010164922 A JP2010164922 A JP 2010164922A JP 2009009341 A JP2009009341 A JP 2009009341A JP 2009009341 A JP2009009341 A JP 2009009341A JP 2010164922 A JP2010164922 A JP 2010164922A
- Authority
- JP
- Japan
- Prior art keywords
- data
- voice data
- terminal device
- voice
- singing voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、ネットワークを通じてカラオケサービスを提供するカラオケサービスシステム、同システムで使用される端末装置に関する。 The present invention relates to a karaoke service system that provides a karaoke service through a network and a terminal device used in the system.
一般に、カラオケ装置が広く普及しており、カラオケ店舗や家庭内において利用されている。利用者は、カラオケ装置を利用して歌唱する際には、自分の歌いたい楽曲を選択し、その楽曲を指定するコード番号等を入力することにより、カラオケ音声が流れ始めると共に表示時画面に曲に関する映像が映し出され、所定のタイミングで歌詞が画面中に表示される。利用者は、画面中の歌詞を見ながらカラオケ音声に合わせて歌唱することができる。 In general, karaoke apparatuses are widely used and are used in karaoke stores and homes. When a user sings using a karaoke device, the user selects a song he / she wants to sing and inputs a code number or the like that designates the song so that the karaoke sound starts to flow and the song is displayed on the display screen. The video about is displayed, and the lyrics are displayed on the screen at a predetermined timing. The user can sing along with the karaoke voice while watching the lyrics on the screen.
従来では、前述のようにカラオケ装置を用いて歌唱するだけでなく、自分の歌唱を録音して、後に配信することが考えられている（例えば特許文献１参照）。 Conventionally, not only singing using a karaoke apparatus as described above but also recording one's own song and distributing it later (see, for example, Patent Document 1).
特許文献１に記載されたカラオケ録音配信システムでは、カラオケ店舗において利用者による歌唱が行われたときの歌唱を録音し、録音された録音データを配信手段により情報配信サービス会社に送信して蓄積する。蓄積された録音データを再生するための録音再生指示を、情報配信サービス会社が、利用者の携帯電話機または利用者側端末から受信し、受信された前記録音再生指示に従って録音データを再生して利用者の携帯電話機または利用者側端末に送信する。これにより、利用者は、携帯電話機または利用者側端末装置により、録音された歌唱を聴くことができる。
In the karaoke recording and distribution system described in
このように従来のカラオケ録音配信システムでは、カラオケ装置において録音した歌唱を情報配信サービス会社に蓄積し、この歌唱を利用者の携帯電話機または利用者側端末において聴くことができる。 As described above, in the conventional karaoke recording and distribution system, the singing recorded in the karaoke apparatus can be stored in the information distribution service company, and the singing can be listened to on the user's mobile phone or the user side terminal.
しかしながら、特許文献１に記載された従来のシステムでは、マイクから入力された利用者の音声と伴奏データとが合わされて録音データが生成され、また歌唱音声になんら加工がされないため、蓄積された録音データの音質を良くすることが困難となっていた。また、利用者自身が情報配信サービス会社に蓄積した歌唱を自分で聴けるだけであり、他の利用者が蓄積した歌唱を聴いたり、蓄積された歌唱を使用して加工を施すといった応用ができなかった。
However, in the conventional system described in
本発明は前述した事情に考慮してなされたもので、その目的は、他の利用者が蓄積した歌唱を利用して高音質な歌声音声を蓄積し、不特定の他の利用者に配信することが可能なカラオケサービスシステム、端末装置を提供することにある。 The present invention has been made in view of the circumstances described above, and its purpose is to accumulate high-quality singing voices using songs accumulated by other users and distribute them to other unspecified users. It is to provide a karaoke service system and a terminal device that can be used.
上記の課題を解決するために、本発明は、演奏データを記憶する演奏データ記憶手段と、ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、ネットワークを介して接続された第２の端末装置から前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段とを具備したことを特徴とする。 In order to solve the above problems, the present invention provides performance data storage means for storing performance data, and performance data transmission means for transmitting the performance data to a first terminal device connected via a network. Voice data receiving means for receiving, from the first terminal device, first voice data input to the performance sound output according to the performance data in the first terminal device, and the voice Voice data storage means for storing the first voice data received by the data reception means in association with the performance data, and stored in the voice data storage means from a second terminal device connected via a network. A request receiving means for receiving a delivery request for the first audio data; and the first audio data is sent to the same audio data in response to the request received by the request receiving means. For the performance sound output in accordance with the performance data and the first audio data in the second terminal device, together with the performance data associated with the performance data And synthesized voice data storage means for storing the third voice data obtained by synthesizing the input second voice data and the first voice data in the voice data storage means in association with the performance data. It is characterized by that.
本発明によれば、他の利用者が蓄積した歌唱を利用した高音質な音声データを蓄積し、不特定の他の利用者に配信することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to accumulate | store the high sound quality audio | voice data using the song which the other user accumulate | stored, and to distribute to an unspecified other user.
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本実施形態におけるカラオケシステムの構成を示すブロック図である。図１に示すカラオケシステムは、カラオケサービスシステム１０と、インターネットなどのネットワーク１２を介して接続された端末装置、例えばゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等により構成される。端末装置には、一般的な情報処理装置に設けられる表示装置、入力装置、記憶装置などの他、マイクやスピーカを通じて音声の入出力が可能な音声処理機能、カメラを通じて画像（静止画、動画）を撮影する画像処理機能などが搭載されているものとする。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a karaoke system in the present embodiment. The karaoke system shown in FIG. 1 includes a karaoke service system 10 and terminal devices connected via a
カラオケサービスシステム１０は、データベースサーバ１７及びＷｅｂサーバ１８（１８ａ，１８ｂ，１８ｃ）により構成される。データベースサーバ１７は、ネットワーク１２を通じて、各端末装置１３〜１５に対してカラオケサービスを提供するために必要な各種データを記録する。Ｗｅｂサーバ１８は、ネットワーク１２（ＷＷＷ（World Wide Web））を通じて、カラオケサービスに用いる各種データファイルの送受信を実行する。Ｗｅｂサーバ１８は、データベースサーバ１７に記録されたカラオケ用の楽曲（カラオケサウンド）を端末装置に配信し、端末装置においてカラオケサウンドの再生に合わせて入力（録音）された音声（歌唱音声、楽器音声等）についての歌唱データを受信してデータベースサーバ１７に記憶させる。また、Ｗｅｂサーバ１８は、端末装置から受信された歌唱データを、ネットワーク１２を通じて他の端末装置に対して配信する。
The karaoke service system 10 includes a
図２は、データベースサーバ１７とＷｅｂサーバ１８の機能構成を示すブロック図である。
Ｗｅｂサーバ１８には、プロセッサやメモリ、記憶装置などを含み、制御部２０及び通信制御部２１の機能が設けられている。制御部２０は、メモリに記憶された各種プログラムをプロセッサにより実行することで各種機能を実現する。制御部２０において実現される機能としては、歌声制御部３０、カラオケサウンド制御部３１、歌詞データ制御部３２、演奏条件制御部３３、ユーザ情報制御部３４、背景動画制御部３５、歌声データ録音処理部３６、及び歌声合成処理部３７が含まれている。
FIG. 2 is a block diagram showing functional configurations of the
The
歌声制御部３０は、データベースサーバ１７に記憶された歌声データ（音声データ）を管理する。本実施形態におけるカラオケサービスシステムでは、楽曲を構成する曲データ（演奏音）と歌声データとが独立して管理されている。歌声制御部３０は、歌声データを、カラオケサウンドデータと対応付けてデータベースサーバ１７において管理する。
The singing voice control unit 30 manages singing voice data (voice data) stored in the
カラオケサウンド制御部３１は、データベースサーバ１７に記憶されたカラオケサウンドデータ（曲データ（演奏データ））を管理するもので、ネットワーク１２を通じた端末装置に対する配信等の処理を行う。
The karaoke
歌詞データ制御部３２は、データベースサーバ１７に記憶された曲データに含まれる歌詞データを管理する。
The lyric
演奏条件制御部３３は、カラオケサウンドデータの端末装置における演奏条件を示す演奏条件データを管理するもので、端末装置において利用者により設定された各種設定内容を演奏条件データとして歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
The performance
ユーザ情報制御部３４は、歌声データをデータベースサーバ１７に記憶させた（アップロードした）利用者に関するユーザ情報を管理するもので、端末装置において利用者により設定された各種設定内容をユーザ情報として歌声データデータと共に受信してデータベースサーバ１７において記憶させる（図３参照）。
The user information control unit 34 manages user information related to a user who has stored (uploaded) singing voice data in the
背景動画制御部３５は、データベースサーバ１７に記憶された背景動画データを管理するもので、予め曲データに対して用意された背景動画データだけでなく、端末装置から歌声データと共に受信された動画データを背景動画データとしてデータベースサーバ１７において記憶させる。
The background moving
歌声データ録音処理部３６は、端末装置から歌声データ等を受信してデータベースサーバ１７に記憶（録音）させるための歌声データ録音処理を実行する。歌声データ録音処理部３６は、歌声合成処理部３７により歌声合成処理を実行させて、ネットワーク１２を介して接続された端末装置に対して、データベースサーバ１７に記憶されたカラオケサウンドデータ、あるいはカラオケサウンドデータと関連する歌声データとを端末装置に配信し、また端末装置において入力された歌声データ等を受信してデータベースサーバ１７においてカラオケサウンドデータと関連付けて記憶させる。端末装置から受信される歌声データは、利用者の歌唱による歌声の他、通常の音声、楽器の演奏による演奏音、拍手などの音のデータであっても良い。
The singing voice data recording processing
歌声合成処理部３７は、端末装置から受信された歌声データを他の歌声データと合成するための合成処理を実行する。
The singing voice
データベースサーバ１７には、データベース３８及び制御部３９が設けられている。制御部３９は、プロセッサやメモリなどを含み、メモリに記憶された各種プログラムをプロセッサにより実行することで各種データを管理する機能を実現する。データベース３８は、大容量の記憶装置（ハードディスク装置等）により構成されるもので、制御部３９の制御により、曲リストデータ記憶領域４０、曲データ記憶領域４１、演奏条件データ記憶領域４２、ユーザ情報記憶領域４３、歌声データ記憶領域４４、背景動画データ記憶領域４５が設けられ、各種データが記憶される。
The
曲リストデータ記憶領域４０には、曲データ記憶領域４１に記憶された曲データ、すなわちユーザに対してカラオケサウンドを提供可能な楽曲のリストを提示するための曲リストデータが記憶される。
The song list
曲データ記憶領域４１には、多数の楽曲についての曲データ４１−１〜４１−ｎが記憶されている。曲データは、ＭＩＤＩ（musical instruction digital interface）演奏データと歌詞データと歌詞タイミングデータを含んでいる。ＭＩＤＩ演奏データはカラオケの演奏音を再生するためのデータであり、歌詞データは、そのＭＩＤＩ演奏データの再生中に歌詞を画面に表示するためのデータであり、歌詞タイミングデータは画面上に歌詞をどのタイミングで表示し、各文字の色をどのタイミングで変化させるかを示すデータである。
The song
演奏条件データ記憶領域４２は、歌声データ記憶領域４４に記憶された歌声データと関連付けられた演奏条件データが記憶される。
The performance condition data storage area 42 stores performance condition data associated with the singing voice data stored in the singing voice
ユーザ情報記憶領域４３は、歌声データ記憶領域４４に記憶された歌声データと共に端末装置から受信されたユーザ情報が記憶される。
The user
歌声データ記憶領域４４は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた歌声データが記憶される。歌声データ記憶領域４４には、予めシステムで用意された歌声データ（ガイド音声など）の他、端末装置から受信された歌声データが記憶される。
The singing voice
背景動画データ記憶領域４５は、曲データ記憶領域４１に記憶された曲データ（カラオケサウンドデータ）と関連付けられた背景動画データが記憶される。背景動画データ記憶領域４５には、予めシステムで用意された背景動画データの他、端末装置から歌声データと共に受信された背景動画データが記憶される。
The background moving image
図３は、カラオケサービスシステム１０と端末装置間で送受信されるデータを説明するための図である。
通常のカラオケサービスを提供する場合には、カラオケサウンドデータ５０、背景動画データが端末装置に対して配信される。端末装置では、カラオケサウンドデータ５０をもとにしてカラオケ（演奏音）を再生出力すると共に、背景動画と歌詞を演奏音に合わせて画面において表示させる。端末装置の利用者は、カラオケに合わせて歌詞を見ながら歌唱することができる。
FIG. 3 is a diagram for explaining data transmitted and received between the karaoke service system 10 and the terminal device.
When a normal karaoke service is provided,
端末装置の利用者が歌声データをカラオケサービスシステム１０にアップロードする場合には、図３に示すように、カラオケサウンドデータ（曲データ）と関連付けられた歌声キャストデータ５２が１ファイルとして、端末装置からＷｅｂサーバ１８に送信される。歌声キャストデータ５２には、歌声データ５３、演奏条件データ５４、ユーザ情報５５とが含まれる。歌声データ５３は、端末装置においてカラオケサウンドに合わせて利用者が歌唱することで入力された音声データである。
When the user of the terminal device uploads the singing voice data to the karaoke service system 10, as shown in FIG. 3, the singing voice cast data 52 associated with the karaoke sound data (song data) is taken as one file from the terminal device. It is transmitted to the
演奏条件データ５４は、利用者が歌唱する際に設定したカラオケに対する設定内容等を示すもので、例えば対応するカラオケサウンドデータ５０を示すカラオケサウンドコード（曲番）の他、再生キー、エコー強度、マイクエフェクト（リバーブ、イコライジング等）、テンポなどのデータが含まれている。
The
ユーザ情報５５は、利用者がアップロードした歌声データを、カラオケサービスシステム１０から他の利用者に配信するために利用されるデータであり、例えば共有範囲、ユーザ名、楽曲コメント、プロフィール、顔画像、背景設定などのデータが含まれている。共有範囲は、カラオケサービスシステム１０にアップロードした歌声データを、何れの他の利用者に対してダウンロード可能とするか、またダウンロードさせた歌声データに対する加工の許容範囲を示すデータである。ダウンロード可能な範囲では、制限無し、特定のグループに属する利用者のみ、予め設定された利用者（例えば歌唱指導者）などを、歌声データをアップロードするユーザが任意に指定することができる。また、加工の許容範囲としては、歌声データをダウンロードした利用者が任意に変更可能とする「加工許可」の他、アップロードした利用者からの承認があれば加工を許可する「承認制で加工許可」、再生出力のみで加工を認めない「加工禁止」などを指定することができる。さらに、加工許可では、歌声データの合成に対する条件、例えば「上書き合成許可」「分離結合許可」などを指定することができる。
The
また、加工許可された歌声データに対しては、ダウンロード先の端末装置において利用者が入力した歌唱の歌声データを合成することができる。複数の歌声データを合成する歌声合成処理は、端末装置において動作するアプリケーションにより実行して、合成された歌声データをカラオケサービスシステム１０にアップロードする第１の方法、端末装置において入力された歌声データをカラオケサービスシステム１０にアップロードし、Ｗｅｂサーバ１８において合成する第２の方法の何れかを採用することができる。なお、図３に示す歌声キャストデータ５２をカラオケサービスシステム１０にアップロードするデータ形式は、第１の方法が用いられた場合に用いられる。第２の方法が用いられる場合には、ＭＩＤＩ演奏データが端末装置にストリーミング配信され、カラオケの再生出力と共に端末装置において入力された歌声データがリアルタイムでカラオケサービスシステム１０（Ｗｅｂサーバ１８）にアップロードされる。
In addition, the singing voice data input by the user in the terminal device of the download destination can be synthesized with the singing voice data permitted to be processed. The singing voice synthesizing process for synthesizing a plurality of singing voice data is executed by an application operating in the terminal device, and the first method for uploading the synthesized singing voice data to the karaoke service system 10, singing voice data input in the terminal device. Any of the second methods of uploading to the karaoke service system 10 and combining in the
次に、本実施形態におけるカラオケサービスシステム１０の動作について説明する。
まず、カラオケサービスシステム１０によって提供される通常のカラオケサービスについて説明する。
カラオケサービスシステム１０（Ｗｅｂサーバ１８）は、ネットワーク１２（インターネット）にカラオケサービスを提供するためのＷｅｂサイト（カラオケサービスサイト）を開設している。カラオケサービスを利用しようとする利用者は、各種端末装置（ゲーム機１３、パーソナルコンピュータ１４、家庭用カラオケ専用機１５等）を用いて、カラオケサービスサイトにアクセスして、各種用意されているサービス内容から何れかを選択する。
Next, operation | movement of the karaoke service system 10 in this embodiment is demonstrated.
First, a normal karaoke service provided by the karaoke service system 10 will be described.
The karaoke service system 10 (Web server 18) has established a Web site (karaoke service site) for providing a karaoke service to the network 12 (Internet). A user who intends to use the karaoke service accesses the karaoke service site using various terminal devices (game machine 13, personal computer 14, home karaoke dedicated machine 15 and the like), and provides various service contents. Select one of the following.
Ｗｅｂサーバ１８は、通常のカラオケ利用が選択され、アーティスト名や楽曲名が指定されると、データベースサーバ１７に記憶された該当する楽曲のカラオケサウンドデータ５０（ＭＩＤＩ演奏データ、歌詞データ、歌詞タイミングデータ）及び背景動画データ（さらに圧縮音声データが含まれていても良い）を送信する。端末装置は、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０をもとにカラオケ（演奏音）を再生出力すると共に、背景画像や歌詞などを表示させる。端末装置の利用者は、カラオケに合わせて歌唱することができる。なお、カラオケサウンドデータ５０を再生出力させる再生条件として、利用者の好みに合わせて再生キー、エコー強度、マイクエフェクトなどを任意に設定することができる。端末装置は、再生条件に従って、カラオケサウンドデータ５０をもとにカラオケを再生出力させる。
When the normal karaoke use is selected and the artist name or song name is designated, the
なお、端末装置には、カラオケサービスシステム１０が提供するカラオケサービスを利用するためのアプリケーションプログラム（楽曲再生／録音用プレーヤを含む）が記憶されているものとする。このアプリケーションプログラムは、カラオケサービスシステム１０からの制御により、端末装置において起動させることができる。 It is assumed that an application program (including a music playback / recording player) for using the karaoke service provided by the karaoke service system 10 is stored in the terminal device. This application program can be activated in the terminal device under the control of the karaoke service system 10.
次に、カラオケサービスシステム１０による歌声データをアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。
Ｗｅｂサーバ１８は、端末装置から歌声データのアップロード（保存）が選択された場合、前述と同様にしてカラオケサウンドデータ５０等を端末装置に送信して、端末装置の利用者にカラオケに合わせて歌唱させる。端末装置では、利用者による歌唱を録音して歌声データを生成する。ここでは、端末装置のマイクから入力された歌声のみを録音することにより、カラオケサウンドを歌唱と同時に録音する従来の方法より高品質で少ないデータ量とすることができる。また、データ量が少ないことからデータ処理に要する時間も短くてすむ。カラオケの終了後、端末装置は、歌声データを圧縮して、この歌声データを含む歌声キャストデータ５２をＷｅｂサーバ１８に対して送信する。なお、歌声キャストデータ５２に含まれるユーザ情報は、別途、利用者によって端末装置に設定されるものとする。
Next, a service capable of uploading (recording) singing voice data by the karaoke service system 10 and distributing it to other users will be described.
When uploading (saving) of singing voice data is selected from the terminal device, the
Ｗｅｂサーバ１８は、端末装置から受信した歌声キャストデータ５２を、データベースサーバ１７において記憶させる。データベースサーバ１７は、歌声キャストデータ５２に含まれる各データをデータベース３８のそれぞれに対応する領域にカラオケサウンドと関連付けて記憶させる。
The
データベース３８に記憶された歌声キャストデータ５２（歌声データ）は、ユーザ情報に基づいて、カラオケサービスサイトを通じて他の利用者に配信することができる。カラオケサービスサイトでは、多数のサービス利用者によってアップロードされた歌声データが公開される。例えば、アーティスト別や楽曲別などに分類した歌声データの公開ページが用意され、ユーザ情報に含まれた各情報（ユーザ名、楽曲コメント、顔画像、プロフィールなど）と共にアップロードされた歌声データが一覧表示される。
The singing voice cast data 52 (singing voice data) stored in the
この公開ページにおいて端末装置から何れかが選択されると、Ｗｅｂサーバ１８は、データベースサーバ１７に記憶されている該当する歌声キャストデータ５２とカラオケサウンドデータ５０とを、ネットワーク１２を通じて送信する。また、背景画像データが歌声データと共にアップロードされている場合には、この背景画像データも端末装置に対して送信する。
When one of the terminal devices is selected on this public page, the
端末装置は、カラオケサウンドデータを演奏条件データ（再生キー、マイクエコーなど）に応じて再生出力すると共に、カラオケサウンドと同期させて歌声データを再生出力する。また、背景画像データも共に受信された場合には、カラオケサウンドの再生と同期して背景動画を表示させる。これにより、端末装置では、カラオケサービスシステム１０からダウンロードしたデータをもとに、他の利用者が歌声データを録音した時と同じ状況下でカラオケ及び歌声を再生出力することができる。 The terminal device reproduces and outputs karaoke sound data in accordance with performance condition data (reproduction key, microphone echo, etc.) and reproduces and outputs singing voice data in synchronization with the karaoke sound. When the background image data is also received, the background moving image is displayed in synchronization with the reproduction of the karaoke sound. Thereby, in a terminal device, based on the data downloaded from the karaoke service system 10, it is possible to reproduce and output karaoke and singing voice under the same situation as when other users record singing voice data.
次に、カラオケサービスシステム１０による複数の歌声データを合成してアップロード（録音）し、他の利用者に配信することができるサービスについて説明する。図４は、このサービスを実現するための歌声データ録音処理を示すフローチャート、図５は、第１の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャート、図６は、第２の方法を用いた場合の歌声データ録音処理において実行される歌声合成処理を示すフローチャートである。 Next, a service capable of synthesizing and uploading (recording) a plurality of singing voice data by the karaoke service system 10 and distributing it to other users will be described. FIG. 4 is a flowchart showing a singing voice data recording process for realizing this service, FIG. 5 is a flowchart showing a singing voice synthesizing process executed in the singing voice data recording process when the first method is used, and FIG. It is a flowchart which shows the singing voice synthetic | combination process performed in the singing voice data recording process at the time of using the 2nd method.
本実施形態におけるカラオケサービスでは、他の利用者によってカラオケサービスシステム１０にアップロードされた歌声データに対して、自分の歌声などを合成してアップロードし、カラオケサービスシステム１０から他の利用者に対して配信できるようにする。 In the karaoke service in the present embodiment, the singing voice and the like are synthesized and uploaded to the singing voice data uploaded to the karaoke service system 10 by another user, and the karaoke service system 10 provides the other users with the singing voice. Enable delivery.
歌声データを合成する種類（以下、歌のせタイプと称する）には、複数のタイプが予め用意されている。
図７は、歌のせタイプの一例を説明するための図である。図７に示すように、タイプには、例えば「デュエット・ハモリ」「歌唱指導」「合唱・輪唱」「コーラス・合いの手」などがある。各タイプには、歌唱人数（合成の対象とする歌声データの数）が予め決められている。例えば、「デュエット・ハモリ」と「歌唱指導」の場合には２人、「合唱・輪唱」と「コーラス・合いの手」の場合には２人以上が設定されている（最初に歌声データをアップロードした利用者が任意に参加希望人数を指定できるものとする）。「合唱・輪唱」と「コーラス・合いの手」については人数を無制限とすることも可能であるが、システム運営上、予め決められた人数上限（例えば３２人）が設定されるものとする。
A plurality of types are prepared in advance as the types for synthesizing the singing voice data (hereinafter referred to as singing type).
FIG. 7 is a diagram for explaining an example of a song type. As shown in FIG. 7, the types include, for example, “Duet Hamori”, “Singing Guidance”, “Choral / Ringing”, “Chorus / Hand of Match”, and the like. In each type, the number of singers (the number of singing voice data to be synthesized) is determined in advance. For example, two people are set in the case of “Duet Hamori” and “Singing Instruction”, and two or more people are set in the case of “Choral / Choral” and “Chorus / Matching Hands”. Users can arbitrarily specify the number of people who want to participate). Although the number of “choral / ring” and “chorus / matching hands” can be unlimited, it is assumed that a predetermined upper limit (for example, 32) is set for system operation.
また、各タイプに対して、歌唱人数に応じて、歌声データを合成する際の音量の調整割合が設定されている。例えば、「デュエット・ハモリ」と「歌唱指導」については歌唱人数が２人であるので、元の歌声データの音量と追加する歌声データの音量との割合が「５０：５０」に設定されている。「合唱・輪唱」については「ｎ−１／ｎ：１／ｎ」が設定されており、各利用者の歌唱の音量が同じ割合となるようにしている。「コーラス・合いの手」については「５０：５０／ｎ−１」が設定されており、参加人数に関係なく最初の歌唱者の音量が５０％に保たれるようにしている。 In addition, for each type, a volume adjustment ratio when synthesizing singing voice data is set according to the number of singers. For example, since “Duet Hamori” and “Singing Guidance” have two singers, the ratio between the volume of the original singing voice data and the volume of the singing voice data to be added is set to “50:50”. . “N−1 / n: 1 / n” is set for “chorus / ring”, and the volume of each user's singing is set to the same ratio. As for “Chorus / Hand of Match”, “50: 50 / n−1” is set, so that the volume of the first singer is kept at 50% regardless of the number of participants.
なお、図７に示すタイプの種類や、それぞれに対して設定された自動調整割合は一例であって、任意に設定することが可能である。 Note that the types of types shown in FIG. 7 and the automatic adjustment ratios set for the types are merely examples, and can be arbitrarily set.
図８には、カラオケサービスシステム１０（Ｗｅｂサーバ１８）がインターネット上に公開している、歌声データを合成してアップロードするサービスを提供するためのＷｅｂページの一例を示している。図８に示すＷｅｂページでは、他の利用者によってアップロードされた、デュエットや合唱などが可能な楽曲（歌声データ）の一覧が表示されている。 FIG. 8 shows an example of a Web page for providing a service for synthesizing and uploading singing voice data, which is published on the Internet by the karaoke service system 10 (Web server 18). The Web page shown in FIG. 8 displays a list of songs (singing voice data) uploaded by other users and capable of duet, chorusing, and the like.
この画面では、楽曲のタイトルやアーティスト名の他、歌声データをアップロードした利用者の顔画像やコメントなどが表示されている。また、「パートナー募集曲」については、録音／再生ボタンが表示され、「コーラス募集曲」については「詳細」ボタンが設定されている。また、「歌唱指導待ちの曲」「完成曲の紹介」については再生ボタンのみが表示されている。 On this screen, in addition to the song title and artist name, the face image and comment of the user who uploaded the singing voice data are displayed. In addition, a “record / playback” button is displayed for “partner recruited songs”, and a “detail” button is set for “chorus recruited songs”. In addition, only “playback buttons” are displayed for “songs waiting for singing guidance” and “introduction of completed songs”.
なお、以下の説明では、第１の方法による歌声合成処理が用いられるものとして説明する。
「パートナー募集曲」に対しては、録音ボタンによって歌声の合成が要求されると、Ｗｅｂサーバ１８の歌声データ録音処理部３６は、前述したように、カラオケサウンドと歌声データとを端末装置において再生出力させる。第１の方法により歌声合成処理を実行する場合には、端末装置は、再生出力する歌声データに対して、利用者による歌唱（デュエット、ハモリ）により入力された歌声データを合成して新たな歌声データを生成してカラオケサービスシステム１０に送信する。歌声データ録音処理部３６は、端末装置から受信した歌声データを、データベースサーバ１７によりデータベース３８の歌声データ記憶領域４４において、曲データ（演奏データ）と関連付けて記憶させて、図８に示すページ画面において表示されるようにする。なお、歌声データの合成処理の詳細については後述する。
In the following description, it is assumed that the singing voice synthesis process according to the first method is used.
For the “partner recruitment song”, when the singing voice synthesis is requested by the recording button, the singing voice data recording processing
一方、「コーラス募集曲」については「詳細」ボタンによって歌声の合成が要求されると（図４、ステップＡ１）、歌声データ録音処理部３６は、選択された楽曲についての詳細画面を端末装置において表示させる（ステップＡ２）。
On the other hand, for the “chorus solicitation music”, when synthesis of a singing voice is requested by the “detail” button (FIG. 4, step A1), the singing voice data recording processing
例えば、図９に示す「コーラス募集曲」としてアップロードされた楽曲については、残り募集人数が３人であることが表示されている。ここで、「詳細」ボタンが端末装置において選択されると、歌声データ録音処理部３６は、例えば図１０に示すような、選択された楽曲についてコーラスに参加している利用者の詳細を端末装置において表示させる。
For example, with respect to the music uploaded as “Chorus Recruitment” shown in FIG. 9, it is displayed that the remaining recruitment number is 3. Here, when the “details” button is selected on the terminal device, the singing voice data recording processing
この詳細画面では、コーラスに「参加する」や、新規に楽曲を作成するための「新しいコーラス曲を作る」を要求するボタンが用意されている。また、コーラスに参加している各利用者の顔画像（プロフィール画像）とニックネームの一覧表示と、各利用者のステータス（「録音中」などの状態を表す）が表示される。 On this detailed screen, buttons for requesting “participate” in the chorus and “create a new chorus song” for creating a new song are prepared. In addition, a list of face images (profile images) and nicknames of each user participating in the chorus and a status of each user (representing a state such as “recording”) are displayed.
なお、歌声データ録音処理部３６は、各利用者のステータス（録音状態）が変化した場合には、Ｗｅｂページの更新のたびに詳細画面に反映させる。例えば、図１０に示す詳細画面中に表示された利用者ｅのステータスが「録音中」から「録音完了」に変化した場合には、図１１に示すように、プロフィール画像の一覧表示の並びを変更して、録音完了済みであることを表す。また、図１０においてプロフィール画像が表示されていた利用者ｄがコーラスへの参加をキャンセルした場合には、図１１に示すように、利用者ｄのプロフィール画像一覧から削除して参加希望人数を更新する（増やす）。
In addition, when the status (recording state) of each user changes, the singing voice data recording processing
なお、参加希望人数分の利用者が参加している場合、詳細画面は、例えば図１２に示すように表示される。すなわち、ステータスとして「現在、参加枠は埋まっています」のメッセージが表示されると共に「参加ボタン」が消去されるものとする。 When the number of users who want to participate is participating, the detailed screen is displayed as shown in FIG. 12, for example. That is, it is assumed that the message “participation frame is currently filled” is displayed as the status and the “participation button” is deleted.
詳細画面において「参加する」が選択された場合（ステップＡ３、Ｙｅｓ）、歌声データ録音処理部３６は、詳細画面に対して、コーラスへの参加を要求した利用者のプロフィール画像とニックネームを追加表示し、残り募集人数を１減らして表示する（ステップＡ４）。図１３には、新たにコーラスに参加した利用者ｆのプロフィール画像とステータス「録音中」が追加された画面の一例を示している。
When “participate” is selected on the detail screen (
ここで、歌声データ録音処理部３６は、端末装置において、楽曲再生／録音用プレーヤ（プログラム）を起動させて、表示画面中に楽曲再生／録音用プレーヤ画面をポップアップ表示させる（ステップＡ５）。そして、楽曲再生／録音用プレーヤを通じて、端末装置により歌声合成処理を実行させる（図５に示すフローチャート）。
Here, the singing voice data recording processing
図１４には、端末装置においてポップアップ表示された楽曲再生／録音用プレーヤの画面の一例を示している。
カラオケサービスシステム１０は、端末装置において楽曲再生／録音用プレーヤが起動されると、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してダウンロードさせる（ステップＢ１）。
FIG. 14 shows an example of a music playback / recording player screen pop-up displayed on the terminal device.
When the player for music playback / recording is activated in the terminal device, the karaoke service system 10 includes a singing voice cast including singing voice data (data uploaded by other users) stored in the
次に、楽曲再生／録音用プレーヤは、歌声キャストデータ５２等がダウンロードされると「歌のせタイプ」を設定し（ここでは「コーラス」）（ステップＢ２）、録音開始指示の入力待ちとなる。楽曲再生／録音用プレーヤは、画面中に表示されたコントロールパネル中の録音ボタンに対する操作により録音開始指示が入力されると（ステップＢ３）、カラオケサウンドと歌声データによる音声を同期させて再生開始する（ステップＢ４）。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞が画面中に表示される。 Next, when the singing voice cast data 52 or the like is downloaded, the music playback / recording player sets a “singing type” (here, “chorus”) (step B2) and waits for input of a recording start instruction. When a recording start instruction is input by operating the recording button in the control panel displayed on the screen (step B3), the music playback / recording player starts playback by synchronizing the karaoke sound with the voice data. (Step B4). Here, the lyrics are displayed on the screen together with the reproduction of the karaoke sound in the same manner as when using ordinary karaoke.
また、楽曲再生／録音用プレーヤは、端末装置に搭載されたカメラにより動画の撮影を開始させ、撮影された動画を記録していく（ステップＢ５）。ここで、記録された動画は、歌声データと共にカラオケサービスシステム１０にアップロードすることで、他の利用者に対して歌声データがダウンロードされた際に、この歌声データの再生時に背景画像データとして再生出力させることができる。 The music playback / recording player starts shooting a moving image with a camera mounted on the terminal device, and records the shot moving image (step B5). Here, the recorded video is uploaded to the karaoke service system 10 together with the singing voice data, so that when the singing voice data is downloaded to other users, it is reproduced and output as background image data when the singing voice data is reproduced. Can be made.
楽曲再生／録音用プレーヤは、録音を開始すると、マイクを通じて入力される音声レベルを検知しており、予め設定されたレベル以上となっているかを判別する。すなわち、利用者による歌唱のための音声入力がされているかを判別する。 When recording is started, the music player / recording player detects the sound level input through the microphone, and determines whether it is equal to or higher than a preset level. That is, it is determined whether or not a voice input for singing by the user is performed.
ここで、音声入力があると判別された場合には（ステップＢ６、Ｙｅｓ）、楽曲再生／録音用プレーヤは、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＢ７，Ｂ８）。音量調整した合成の詳細については後述する。 If it is determined that there is a voice input (step B6, Yes), the music playback / recording player sets an automatic adjustment ratio that is set in advance according to the “song placement type” (see FIG. 7). Accordingly, the volume adjustment is executed to generate and record singing voice data (steps B7 and B8). Details of the synthesis with the volume adjusted will be described later.
なお、歌唱音声入力があったことが検知された場合に歌声データを記録することによって、楽曲全体分の録音をする場合よりも歌声データのデータ量を削減することができる。歌声データの合成では、デュエットやハモリ、コーラス、合いの手など、楽曲全体に渡って音声の入力が連続しない状況が多いため、必要な部分のみを記録することでデータ量の削減を図り、歌声合成処理の負担を軽減し、カラオケサービスシステム１０との間のデータ送受信を効率化することができる。 Note that by recording singing voice data when it is detected that a singing voice input has been detected, the amount of singing voice data can be reduced as compared with the case of recording the entire music. In the synthesis of singing voice data, there are many situations where voice input is not continuous over the entire song, such as duets, hamori, choruses, and matching hands, so the amount of data can be reduced by recording only the necessary parts, and singing voice synthesis processing The data transmission / reception with the karaoke service system 10 can be made more efficient.
楽曲再生／録音用プレーヤは、カラオケサウンドデータ５０の再生が終了し（ステップＢ９、Ｙｅｓ）、録音終了が指示されると（ステップＢ１０、Ｙｅｓ）、歌声データの記録を終了すると共に、動画の撮影を終了する。そして、歌声データは、録音された歌声データに対する編集処理を受け付けるための画面を表示させる。
When the playback of the
図１５には、編集処理を受け付けるための画面の一例を示している。図１５に示す例では、「試聴」「部分修正」「音量・タイミング調整」の何れかを選択することができる。 FIG. 15 shows an example of a screen for accepting editing processing. In the example shown in FIG. 15, any one of “trial listening”, “partial correction”, and “volume / timing adjustment” can be selected.
「試聴」が指定された場合には、楽曲再生／録音用プレーヤは、ダウンロードされた所定の合成割合で音量が調整された歌声データと、新たに録音された音量調整された歌声データとを合成した歌声データを再生出力させる。「部分修正」が指定された場合には、楽曲再生／録音用プレーヤは、前述と同様にして、利用者に修正しようとする部分の音声を入力させ、この部分的に入力された音声を先に録音された歌声データに上書き合成する。「音量・タイミング調整」が指定された場合には、楽曲再生／録音用プレーヤは、例えば、音量や歌声の発声タイミングを調整するための操作画面を表示させ、この画面を通じて利用者から指示された調整内容（音量上げ／下げ、任意に指定した範囲の音声削除（音量０の指定）、カラオケサウンドに対する発声タイミングの開始位置を前後させる調整など）に応じて、歌声データを変更する。 When “trial listening” is designated, the music playback / recording player synthesizes the downloaded singing voice data with the volume adjusted at a predetermined synthesis ratio and the newly recorded singing voice data with the volume adjusted. The singing voice data is reproduced and output. When “partial correction” is designated, the music playback / recording player causes the user to input the voice of the part to be corrected in the same manner as described above, and this partially input voice is first played. Overwrite and synthesize the singing voice data recorded in. When “volume / timing adjustment” is designated, the player for music playback / recording displays, for example, an operation screen for adjusting the volume and the utterance timing of the singing voice, and is instructed by the user through this screen. The singing voice data is changed in accordance with the contents of adjustment (volume increase / decrease, voice deletion in an arbitrarily specified range (specification of volume 0), adjustment to move the start position of the utterance timing relative to the karaoke sound, etc.).
なお、「部分修正」や「音量・タイミング調整」の編集についても、その後、編集済みの歌声データに対して、新たに歌唱して入力した歌声データを合成することができる。従って、第１の方法では、楽曲再生／録音用プレーヤにより、編集を加えながら繰り返して歌声を合成して利用者の好みにあった歌声データを生成することができる。 In addition, for editing of “partial correction” and “volume / timing adjustment”, singing voice data newly sung and input can be synthesized with the edited singing voice data. Therefore, in the first method, the song playback / recording player can synthesize the singing voice repeatedly while editing and generate singing voice data that suits the user's preference.
このような編集処理が必要に応じて実行された後（ステップＢ１２）、編集完了が指示されると（ステップＢ１２、Ｙｅｓ）、楽曲再生／録音用プレーヤは、歌声合成処理を終了する。 After such editing processing is executed as necessary (step B12), when the completion of editing is instructed (step B12, Yes), the music playback / recording player ends the singing voice synthesis processing.
続いて楽曲再生／録音用プレーヤは、歌声データの録音中に撮影した動画の試聴、保存有無を利用者に確認するための画面を表示させる。 Subsequently, the music playback / recording player displays a screen for confirming to the user whether or not to audition and save the moving image shot during recording of the singing voice data.
図１６には、動画の試聴、保存有無を利用者に確認するための画面の一例を示している。図１６に示す例では、「視聴」「ＯＫ」「ＮＯ」の何れかを選択することができる。 FIG. 16 shows an example of a screen for confirming with the user whether to audition or save a moving image. In the example illustrated in FIG. 16, any one of “viewing”, “OK”, and “NO” can be selected.
「視聴」が指定された場合には、楽曲再生／録音用プレーヤは、記録された動画を再生出力させる。「ＯＫ」あるいは「ＮＯ」が指定された場合には、楽曲再生／録音用プレーヤは、次の処理に移行して「ＯＫ」あるいは「ＮＯ」の指示に応じて動画データのアップロードを制御する。 When “viewing” is designated, the music playback / recording player plays back and outputs the recorded moving image. When “OK” or “NO” is designated, the music playback / recording player shifts to the next process and controls the uploading of the moving image data in accordance with an instruction of “OK” or “NO”.
すなわち、楽曲再生／録音用プレーヤは、動画の保存有無が利用者からの指示により確定されると（ステップＡ７）、歌声合成処理において記録された歌声データを含む歌声キャストデータをカラオケサービスシステム１０に対してアップロードする（ステップＡ８）。また、楽曲再生／録音用プレーヤは、動画データについて、動画の保存有り「ＯＫ」が指示されている場合に、カラオケサービスシステム１０にアップロードする。なお、歌声データについては、合成済みの歌声データだけでなく、新たに録音された歌声の歌声データについてもアップロードするようにしても良い。 That is, when the music playback / recording player determines whether or not to save the moving image according to an instruction from the user (step A7), the singing voice cast data including the singing voice data recorded in the singing voice synthesis process is sent to the karaoke service system 10. On the other hand, uploading is performed (step A8). In addition, the music playback / recording player uploads the moving image data to the karaoke service system 10 when “OK” with the storage of the moving image is instructed. As for the singing voice data, not only the synthesized singing voice data but also the newly recorded singing voice data may be uploaded.
歌声キャストデータ、動画データのアップロードが完了すると、楽曲再生／録音用プレーヤは、動作を終了する（ステップＡ９）。Ｗｅｂサーバ１８は、端末装置（楽曲再生／録音用プレーヤ）からアップロードされた各データを、データベースサーバ１７において記憶させる。Ｗｅｂサーバ１８は、歌声キャストデータ５２のアップロードが完了することで詳細画面を更新して、端末装置において表示させる（ステップＡ１０）。
When the uploading of the singing voice cast data and the moving image data is completed, the music playback / recording player ends the operation (step A9). The
図１７は、図１３に示す詳細画面が更新された後の表示例を示している。図１７に示す例では、新たにコーラスに参加した利用者ｆのステータスが「録音中」から録音完了を表すように変更され、プロフィール画面の配置が変更されている。また、コーラス参加の残り募集人数が１減らして表示されている。 FIG. 17 shows a display example after the detail screen shown in FIG. 13 is updated. In the example shown in FIG. 17, the status of the user f who has newly joined the chorus is changed from “recording” to indicate the completion of recording, and the layout of the profile screen is changed. In addition, the number of remaining applicants for chorus participation is reduced by one.
このようにして、カラオケサービスシステム１０は、他の利用者によりアップロードされた歌声データ（歌声キャストデータ５２）を送信し、端末装置における歌声データとカラオケサウンドの再生に合わせて入力された合成対象とする音声を歌声データとしてアップロードさせることができる。 In this way, the karaoke service system 10 transmits the singing voice data (singing voice cast data 52) uploaded by other users, and the composition target input in accordance with the playback of the singing voice data and karaoke sound in the terminal device. The voice to be played can be uploaded as singing voice data.
なお、楽曲再生／録音用プレーヤは、カラオケサービスシステム１０から受信したカラオケサウンドデータ５０を自端末装置において保存せず、歌声データ録音処理の完了と共に削除するように動作するものとする。これにより、カラオケサービスシステム１０は、特定のサービスを提供する利用者（例えば予め会員登録された利用者）に対してのみ、カラオケサウンドデータ５０を配信することができるので著作権の管理をすることもできる。
It is assumed that the music playback / recording player operates not to store the
なお、前述した説明では、カラオケサービスシステム１０かせカラオケサウンドデータ５０と歌声キャストデータ５２を送信し、端末装置上で動作する楽曲再生／録音用プレーヤにより歌声データを御是するための歌声合成処理を実行するものとして説明しているが、カラオケサービスシステム１０側が歌声合成処理を実行するようにしても良い（第２の方法）。以下、第２の方法による歌声合成処理について説明する。
In the above description, the karaoke service system 10
図６は、カラオケサービスシステム１０からカラオケサウンドデータがストリーミング配信される場合の歌声合成処理（第２の方法）を示すフローチャートである。 FIG. 6 is a flowchart showing a singing voice synthesizing process (second method) when karaoke sound data is streamed from the karaoke service system 10.
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤを起動させると、利用者により「歌のせタイプ」を選択させた後（ステップＣ１）、録音開始を指示させる（ステップＣ２）。
When the music playback / recording player is activated in the terminal device, the
楽曲再生／録音用プレーヤを通じて録音開始が指示されると、Ｗｅｂサーバ１８は、合成処理の対象とするデータベース３８に記憶された歌声データ（他の利用者によりアップロードされたデータ）を含む歌声キャストデータ５２とカラオケサウンドデータ５０とを端末装置に対してストリーミング配信する（ステップＣ３）。
When the start of recording is instructed through the music playback / recording player, the
Ｗｅｂサーバ１８は、端末装置において楽曲再生／録音用プレーヤにより、カラオケサウンドと歌声データによる音声を同期して再生させる。ここでは、通常のカラオケを利用する場合と同様にして、カラオケサウンドの再生と合わせて歌詞を画面中に表示させる。
The
Ｗｅｂサーバ１８は、楽曲再生／録音用プレーヤによって、カラオケサウンドに合わせて利用者が歌唱することで歌声が入力されると（ステップＣ５）、リアルタイムで入力された歌声の歌声データをアップロードさせる（ステップＣ６）。
When the singing voice is input by the user singing to the karaoke sound by the music playback / recording player (step C5), the
Ｗｅｂサーバ１８は、「歌のせタイプ」に応じて予め設定されている自動調整割合（図７参照）に応じて音量調整を実行して歌声データを生成して記録する（ステップＣ７，Ｃ８）。音量調整した合成の詳細については後述する。
The
Ｗｅｂサーバ１８は、端末装置に対して、カラオケサウンドデータ５０と歌声キャストデータ５２のストリーム配信（端末装置における楽曲の再生出力）が終了するまで、前述した処理を継続する。すなわち、端末装置において楽曲再生／録音用プレーヤを通じて、カラオケサウンドと他の利用者がアップロードした歌声とを同期して再生出力させながら、新たに合成しようとする音声を入力してリアルタイムでアップロードさせる。
The
Ｗｅｂサーバ１８は、ストリーム配信が終了すると（ステップＣ９）、前述した第１の方法と同様の処理を実行して処理を終了する。ただし、ステップＡ８では、歌声データのアップロードが完了しているため、歌声データ以外のデータ（演奏条件データ５４、ユーザ情報５５、動画データ等）をアップロードするものとする。
When the stream distribution ends (step C9), the
このようにして、第２の方法では、Ｗｅｂサーバ１８からストリーム配信されたカラオケサウンドデータ５０の再生に合わせて歌唱することで歌声データをアップロードされるので、利用者は簡単に音声合成のための操作をすることができる。また、ストリーム配信では、カラオケサウンドデータ５０が端末装置に保存されないので、第１の方法と同様に楽曲の直策件の管理をすることもできる。
In this way, in the second method, since the singing voice data is uploaded by singing along with the reproduction of the
なお、図６に示すフローチャートでは、動画の撮影についての処理を省略しているが、図５のフローチャートに示す歌声合成処理と同様にして、歌声データの録音中の様子を撮影して、歌声キャストデータ５２と共にカラオケサービスシステム１０にアップロードすることができる。 In the flowchart shown in FIG. 6, the process for shooting the moving image is omitted. However, in the same way as the singing voice synthesizing process shown in the flowchart of FIG. The data 52 can be uploaded to the karaoke service system 10.
次に、歌声データの合成の具体例について、図１８、図１９、及び図２０に示す図を参照しながら説明する。
図１８は、２人の利用者Ａ，Ｂによって録音された歌声データを合成する例について示す図である。図１８（１）は、利用者Ａがアップロードした歌声データの歌唱された範囲（Ａ１，Ａ３，Ａ５）を示している。利用者Ｂは、カラオケサウンドと共に利用者Ａがアップロードした歌声を聞きながら、楽曲中のハモリやコーラスのための合成しようとする部分、例えば図１８（２）に示す範囲（Ｂ２，Ｂ４）において歌唱して歌声データを録音したものとする。その他の範囲（Ｂ１，Ｂ３，Ｂ５）は非歌唱範囲を示している。
Next, specific examples of the synthesis of singing voice data will be described with reference to the diagrams shown in FIGS.
FIG. 18 is a diagram showing an example in which singing voice data recorded by two users A and B is synthesized. FIG. 18A shows the sung range (A1, A3, A5) of the singing voice data uploaded by the user A. While listening to the singing voice uploaded by the user A together with the karaoke sound, the user B sings in the portion to be synthesized for the harmony and chorus in the music, for example, the range (B2, B4) shown in FIG. And singing voice data is recorded. The other ranges (B1, B3, B5) indicate non-singing ranges.
この場合、図１８（３）に示すように、利用者Ａ，Ｂによる歌声データを、図７に示す音量の自動調整割合に応じて合成する。すなわち、利用者Ａ，Ｂの何れか一方が歌唱した範囲では元の音量で合成し、利用者Ａ，Ｂの両方が歌唱している範囲（ＡＢ１，ＡＢ２）では、それぞれの歌声データの音量を調整して（例えば５０：５０）合成している。 In this case, as shown in FIG. 18 (3), the singing voice data by the users A and B are synthesized according to the automatic volume adjustment ratio shown in FIG. That is, in the range where either one of the users A and B sang, the original volume is synthesized, and in the range where both the users A and B sing (AB1, AB2), the volume of each singing voice data is set. It is adjusted (for example, 50:50) and synthesized.
図１９は、利用者Ａ＋Ｂの歌声データに対して、利用者Ｃによって録音された歌声データを合成する例について示す図である。図１９（１）は、利用者Ａ＋Ｂの歌声データを示すもので、利用者Ａ，Ｂが単独で歌唱している部分と、合唱している部分（ＡＢ２，ＡＢ４）が含まれている。また、第１の方法では、端末装置の楽曲再生／録音用プレーヤにおいて、ダウンロードした歌声データに対して一部範囲を削除する編集を施した上で、新たに録音した歌声データを合成することができる（分離再結合）。図１９（１）には、利用者による編集処理によって削除された範囲（ＡＢ１，ＡＢ３，ＡＢ５）が含まれている。 FIG. 19 is a diagram illustrating an example in which the singing voice data recorded by the user C is synthesized with the singing voice data of the user A + B. FIG. 19 (1) shows the singing voice data of the user A + B, and includes a part where the users A and B are singing alone and a part (AB2, AB4) where the user is singing. Also, in the first method, the newly recorded singing voice data can be synthesized after the singing voice data of the terminal device is edited to delete a part of the range of the singing voice data. Yes (separate recombination). FIG. 19A includes a range (AB1, AB3, AB5) deleted by the editing process by the user.
この場合、図１９（２）に示すように、利用者Ｃにより合唱として範囲（Ｃ２，Ｃ４）について録音された歌声データに対して、各範囲毎に利用者Ａ，Ｂ，Ｃの歌声の音量を均等にして合成することにより、図１９（３）に示すような歌声データが合成される。範囲（ＡＢＣ１，ＡＢＣ２）では、利用者Ａ，Ｂ，Ｃの歌声データが存在するので、利用者Ａ，Ｂ，Ｃの歌声を均等に調整して合成し、範囲（ＡＣ１）では利用者Ａ，Ｃの歌声を均等に調整して合成し、範囲（ＡＢ１）では利用者Ａ，Ｂの歌声を均等に調整して合成している。 In this case, as shown in FIG. 19 (2), the volume of the singing voices of the users A, B, and C for each range with respect to the singing voice data recorded for the ranges (C2, C4) by the user C as a chorus. Singing voice data as shown in FIG. 19 (3) is synthesized. In the range (ABC1, ABC2), since the singing voice data of the users A, B, and C exist, the singing voices of the users A, B, and C are evenly adjusted and synthesized, and in the range (AC1), the user A, The singing voice of C is evenly adjusted and synthesized, and in the range (AB1), the singing voices of users A and B are evenly adjusted and synthesized.
このように、「歌のせタイプ」に応じた自動調整割合に応じて複数の利用者の歌声データの音量を調整して合成することができる。図１９に示す例では、「歌のせタイプ」が合唱の場合を例にして示しているが、コーラス・合いの手の場合には、図７に示す自動調整割合に応じた調整を施して歌声データの合成が行われる。 Thus, the volume of the singing voice data of a plurality of users can be adjusted and synthesized according to the automatic adjustment ratio according to the “singing type”. In the example shown in FIG. 19, a case where “singing type” is chorus is shown as an example, but in the case of a chorus / matching hand, an adjustment according to the automatic adjustment ratio shown in FIG. Synthesis is performed.
図２０は、利用者Ａ，Ｂ，Ｃの歌声データを合成する例について示す図である。
前述した図１８、図１９に示す例は、カラオケサービスシステム１０からダウンロードした歌声データに対して、利用者自身の歌声データを合成する２チャンネルの合成となっているが、多チャンネル同時合成とすることも可能である。
FIG. 20 is a diagram illustrating an example in which singing voice data of users A, B, and C is synthesized.
In the example shown in FIG. 18 and FIG. 19 described above, the singing voice data downloaded from the karaoke service system 10 is synthesized with two channels for synthesizing the user's own singing voice data. It is also possible.
例えば、カラオケサービスシステム１０のデータベース３８には、合成された歌声データだけでなく、各利用者がアップロードした元の歌声データを記憶しておく。第１の方法では、歌声キャストデータ５２に複数の利用者の歌声データが合成された歌声データだけでなく、合成前の各利用者がアップロードした歌声データを含める。これにより、端末装置（楽曲再生／録音用プレーヤ）において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる、多チャンネルの歌声データの合成を行う。
For example, the
また、第２の方法においても前述と同様にして、各利用者がアップロードした元の歌声データを記憶しておくことで、Ｗｅｂサーバ１８において、利用者が新たに録音した歌声データと、複数の他の利用者の歌声データとによる多チャンネルの歌声データの合成を行う。
Also in the second method, the original singing voice data uploaded by each user is stored in the same manner as described above, so that the
図２０は、第１の方法を用いた場合を示すもので、カラオケサービスシステム１０からダウンロードした他の利用者Ｂの歌声データに対して編集を行っている。すなわち、図２０（２）に示すように、利用者Ａ，Ｂ，Ｃの歌声が合成された時の組み合わせを考慮して、利用者Ｂの不要な歌唱範囲（Ｂ３，Ｂ６）の歌声データを削除している。この結果、図２０（４）に示すように、３人の利用者の歌声データの音量が自動調整されて、新たな歌声データを生成することができる。 FIG. 20 shows a case where the first method is used, and editing is performed on the singing voice data of another user B downloaded from the karaoke service system 10. That is, as shown in FIG. 20 (2), in consideration of the combination when the singing voices of the users A, B, and C are synthesized, the singing voice data of the unnecessary singing range (B3, B6) of the user B is obtained. It has been deleted. As a result, as shown in FIG. 20 (4), the volume of the singing voice data of the three users is automatically adjusted, and new singing voice data can be generated.
このように、多チャンネル同時合成を可能とすることで、一人のクリエイターの意志通りの作品を作成することができる。 In this way, by enabling multi-channel simultaneous synthesis, it is possible to create a work as intended by one creator.
なお、前述した説明では、歌声データに対して部分的に削除する編集のみについて説明しているが、他の利用者によりアップロードされた歌声データに対して、ボイスエフェクトを許可する共有範囲が設定されている場合には、歌声データに対する編集として、コーラスやリバーブ、イコライジングといったボイスエフェクトを、楽曲再生／録音用プレーヤを通じて指示することにより加えることができる。この場合、歌声データに対応する演奏条件データを指示に応じて更新することにより対応できる。 In the above description, only editing that is partially deleted from the singing voice data is described. However, a shared range that allows voice effects is set for singing voice data uploaded by other users. In this case, voice effects such as chorus, reverb, and equalizing can be added as instructions to the singing voice data by instructing them through the music playback / recording player. In this case, it is possible to cope by updating the performance condition data corresponding to the singing voice data according to the instruction.
さらに、前述した説明では、利用者が歌唱した歌声を合成する例について説明しているが、楽器などの生演奏データを歌声データとして合成することができる。この際に、ＭＩＤＩ演奏データに含まれる特定の楽器のパートを消去するようにしても良い。例えば、生ギターを合成する場合に、ＭＩＤＩ演奏データ中のギターのパートの消去を、演奏条件データとして設定する。そして、ＭＩＤＩ演奏データを元にカラオケサウンドを再生出力させる際に、演奏条件データを参照して、消去指定された楽器パートのギターのデータを再生しないようにする。これにより、新たに利用者が追加したギターを含むカラオケサウンドを再生出力させることができるようになる。なお、１つの楽器に限らず、生ベース、生シンセなどの他の複数の楽器音を合わせて合成するようにしても良い。複数の楽器の生演奏を複数の利用者により合成することで、カラオケサービスシステム１０が提供するカラオケサービス内で高度なバーチャルセッションを行うことが可能となる。 Further, in the above description, an example of synthesizing a singing voice sung by a user is described, but live performance data such as a musical instrument can be synthesized as singing voice data. At this time, a part of a specific instrument included in the MIDI performance data may be deleted. For example, when synthesizing a live guitar, erasure of the guitar part in the MIDI performance data is set as performance condition data. When the karaoke sound is reproduced and output based on the MIDI performance data, the performance condition data is referred to prevent the guitar data of the musical instrument part designated to be deleted. Thereby, it becomes possible to reproduce and output karaoke sound including the guitar newly added by the user. In addition, you may make it synthesize | combine not only one musical instrument but combining several other musical instrument sound, such as a raw bass and a raw synth. By synthesizing live performances of a plurality of musical instruments by a plurality of users, an advanced virtual session can be performed within the karaoke service provided by the karaoke service system 10.
次に、カラオケサービスシステム１０によって提供されるカラオケサービスの応用例について説明する。
前述した説明では、利用者がカラオケサービスサイトにアクセスして、歌声の合成対象とする楽曲（歌声データ）を選択し、この楽曲の再生に合わせて歌声データを録音することで合成処理を実行するものとしているが、例えばカラオケ教室サービス、カラオケ大会サービスなどに応用することができる。
Next, an application example of the karaoke service provided by the karaoke service system 10 will be described.
In the above description, the user accesses the karaoke service site, selects a song (singing voice data) to be synthesized with the singing voice, and executes the synthesizing process by recording the singing voice data as the music is played back. However, it can be applied to, for example, a karaoke class service and a karaoke tournament service.
カラオケ教室サービスは、指導者となる利用者の端末装置（第２の端末装置）、生徒となる利用者の端末装置（第１の端末装置）を予め設定しておき、生徒から歌声データがアップロードされた場合に、この歌声データを指導者の端末装置に転送されるようにカラオケサービスシステム１０において管理する。なお、指導者と生徒の端末装置は、予め指導者あるいは生徒からの要求をサービスサイトを通じて受付けて、これに応じてデータベース３８のユーザ情報記憶領域４３に設定しておくものとする。
In the karaoke classroom service, the terminal device (second terminal device) of the user who becomes the instructor and the terminal device (first terminal device) of the user who becomes the student are set in advance, and the singing voice data is uploaded from the student. In this case, the singing voice data is managed in the karaoke service system 10 so as to be transferred to the terminal device of the instructor. Note that the terminal device of the instructor and the student accepts a request from the instructor or the student in advance through the service site and sets it in the user
指導者は、カラオケサービスシステム１０からダウンロードされた歌声データに対して、歌唱指導のための音声や楽器音（歌声データ）などを録音してカラオケサービスシステム１０にアップロードする。カラオケサービスシステム１０は、指導者からアップロードされた歌唱指導用の音声（歌声データ）を、生徒の歌声データに合成して新たな歌声データを生成し、生徒の端末装置に送信する。これにより、生徒は、自分の歌声に、指導者による音声が合成された歌声データを聴くことで、歌唱指導を受けることができる。本実施形態におけるシステムでは、カラオケサウンドと歌声データとが別に管理されており、このため歌声が高音質となっているために、指導者による指導対応も容易となる（生徒の歌唱を正確に聞き取ることができる）。 The instructor records voices for singing instruction, musical instrument sounds (singing voice data) and the like for the singing voice data downloaded from the karaoke service system 10 and uploads them to the karaoke service system 10. The karaoke service system 10 synthesizes the singing voice data (singing voice data) uploaded from the instructor with the student singing voice data, generates new singing voice data, and transmits it to the student terminal device. Thereby, the student can receive singing instruction by listening to the singing voice data in which the voice of the instructor is synthesized with his / her singing voice. In the system according to the present embodiment, karaoke sound and singing voice data are managed separately. Therefore, since the singing voice has high sound quality, it is easy to provide guidance by the instructor (listening to the student's song accurately). be able to).
カラオケ大会サービスは、複数の利用者により歌唱の順位を競うカラオケ大会を提供する。カラオケサービスシステム１０は、カラオケ大会への参加希望者を予め登録しておき、参加希望した各利用者から歌声キャストデータ５２（歌声データ）をアップロードさせる。カラオケサービスシステム１０は、アップロードされた歌声データを公開して、他の利用者（大会に参加していない利用者を含んでいても良い）にダウンロードさせる。このカラオケ大会に参加している利用者の歌声を視聴した利用者は、例えば優れていると思った楽曲（歌声データ）に対して投票をすることができる。投票の方法としては、歌声データの再生時に、前述のようにして拍手や声（声援など）を発することで、この歌声データをカラオケサービスシステム１０にアップロードしたり、Ｗｅｂページ中に設けられた所定のボタンに対する選択操作をしたりすることができる。 The karaoke tournament service provides a karaoke tournament where a plurality of users compete for singing order. The karaoke service system 10 registers people who wish to participate in the karaoke tournament in advance and uploads singing voice cast data 52 (singing voice data) from each user who wants to participate. The karaoke service system 10 makes the uploaded singing voice data public and allows other users (which may include users who have not participated in the tournament) to download. A user who watches the singing voice of a user participating in this karaoke tournament can vote for a song (singing voice data) that he / she thinks is excellent, for example. As a voting method, at the time of reproduction of singing voice data, applause and voice (such as cheering) are uttered as described above, and this singing voice data is uploaded to the karaoke service system 10 or a predetermined provided in a Web page. The selection operation can be performed on the buttons.
投票のためにアップロードされた拍手や声（声援など）の歌声データは、カラオケ大会に参加している利用者がアップロードした歌声データに合成され、この利用者にダウンロードさせる。利用者は、カラオケサービスシステム１０からダウンロードした歌声データを再生出力させることで、拍手や声援が合成された自分の歌声を視聴することができ、他の利用者の反応を確認することができる。 Singing voice data of applause and voice (such as cheering) uploaded for voting is synthesized with singing voice data uploaded by users participating in the karaoke tournament, and is downloaded by this user. By reproducing and outputting the singing voice data downloaded from the karaoke service system 10, the user can watch his / her singing voice synthesized with applause and cheering, and can confirm the reactions of other users.
カラオケサービスシステム１０は、投票数が最も多かった歌声データをアップロードした利用者をカラオケ大会の優勝者として決定する。 The karaoke service system 10 determines the user who uploaded the singing voice data having the largest number of votes as the winner of the karaoke competition.
このように、本実施形態におけるカラオケサービスシステム１０では、単に歌声データを合成して新たな歌声データを生成するだけでなく、前述したカラオケ教室サービスやカラオケ大会サービスに適用することができる。なお、前述したサービス内容に限らず、他のサービスへの応用も可能である。 As described above, the karaoke service system 10 according to the present embodiment can be applied to the karaoke classroom service and the karaoke tournament service described above, as well as generating new singing voice data by simply synthesizing the singing voice data. Note that the present invention is not limited to the service content described above, and can be applied to other services.
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
また、実施形態に記載した手法は、コンピュータに実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、コンピュータに実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）をコンピュータ内に構成させる設定プログラムをも含む。本装置を実現するコンピュータは、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、コンピュータ内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。 In addition, the method described in the embodiment is, for example, a magnetic disk (flexible disk, hard disk, etc.), an optical disk (CD-ROM, DVD, MO, etc.), a semiconductor memory, etc. It can also be stored in a recording medium such as (ROM, RAM, flash memory, etc.), or transmitted and distributed via a communication medium. The program stored on the medium side also includes a setting program that configures in the computer software means (including not only the execution program but also a table and data structure) that is executed by the computer. A computer that implements the present apparatus reads the program recorded on the recording medium, constructs software means by a setting program in some cases, and executes the above-described processing by controlling the operation by the software means. The recording medium referred to in this specification is not limited to distribution, but includes a storage medium such as a magnetic disk or a semiconductor memory provided in a computer or a device connected via a network.
１０…カラオケサービスシステム、１２…ネットワーク、１３…ゲーム機、１４…パーソナルコンピュータ、１５…家庭用カラオケ専用機、１７…データベースサーバ、１８（１８ａ，１８ｂ，１８ｃ）…Ｗｅｂサーバ、２０，３９…制御部、２１…通信制御部、３０…歌声制御部、３１…カラオケサウンド制御部、３２…歌詞データ制御部、３３…演奏条件制御部、３４…ユーザ情報制御部、３５…背景動画制御部、３６…歌声データ録音処理部、３７…歌声合成処理部、３８…データベース、４０…曲リストデータ記憶領域、４１…曲データ記憶領域、４２…演奏条件データ記憶領域、４３…ユーザ情報記憶領域、４４…歌声データ記憶領域、４５…背景動画データ記憶領域、５０…カラオケサウンドデータ、５２…歌声キャストデータ、５３…歌声データ、５４…演奏条件データ、５５…ユーザ情報。
DESCRIPTION OF SYMBOLS 10 ... Karaoke service system, 12 ... Network, 13 ... Game machine, 14 ... Personal computer, 15 ... Home karaoke exclusive use machine, 17 ... Database server, 18 (18a, 18b, 18c) ... Web server, 20, 39 ... Control , 21 ... Communication control unit, 30 ... Singing voice control unit, 31 ... Karaoke sound control unit, 32 ... Lyric data control unit, 33 ... Performance condition control unit, 34 ... User information control unit, 35 ... Background video control unit, 36 ... singing voice data recording processing section, 37 ... singing voice synthesis processing section, 38 ... database, 40 ... song list data storage area, 41 ... song data storage area, 42 ... performance condition data storage area, 43 ... user information storage area, 44 ... Singing voice data storage area, 45 ... background video data storage area, 50 ... karaoke sound data, 52 ... singing voice cast
Claims (10)
ネットワークを介して接続された第１の端末装置に対して、前記演奏データを送信する演奏データ送信手段と、
前記第１の端末装置において前記演奏データに応じて出力された演奏音に対して入力された第１の音声データを、前記第１の端末装置から受信する音声データ受信手段と、
前記音声データ受信手段により受信された前記第１の音声データを前記演奏データと関連付けて記憶する音声データ記憶手段と、
ネットワークを介して接続された第２の端末装置から、前記音声データ記憶手段に記憶された前記第１の音声データの配信要求を受信する要求受信手段と、
前記要求受信手段によって受信された要求に応じて、前記第１の音声データを同音声データと関連する前記演奏データと共に、前記第２の端末装置に配信する配信手段と、
前記第２の端末装置において前記演奏データと前記第１の音声データに応じて出力された演奏音に対して入力された第２の音声データと、前記第１の音声データとが合成された第３の音声データを前記演奏データと関連付けて前記音声データ記憶手段に記憶させる合成音声データ記憶手段と
を具備したことを特徴とするカラオケサービスシステム。 Performance data storage means for storing performance data;
Performance data transmission means for transmitting the performance data to a first terminal device connected via a network;
Audio data receiving means for receiving, from the first terminal device, first audio data input to the performance sound output in accordance with the performance data in the first terminal device;
Voice data storage means for storing the first voice data received by the voice data receiving means in association with the performance data;
Request receiving means for receiving a delivery request for the first audio data stored in the audio data storage means from a second terminal device connected via a network;
A delivery means for delivering the first audio data to the second terminal device together with the performance data associated with the audio data in response to a request received by the request receiving means;
In the second terminal device, the second audio data input to the performance sound output in response to the performance data and the first audio data is combined with the first audio data. 3. A karaoke service system comprising: synthesized voice data storage means for storing the third voice data in association with the performance data in the voice data storage means.
前記合成音声データ記憶手段は、前記合成音声データ受信手段により受信された前記第３の音声データを記憶させることを特徴とする請求項１記載のカラオケサービスシステム。 Further comprising synthesized voice data receiving means for receiving, from the second terminal device, third voice data obtained by synthesizing the second voice data and the first voice data in the second terminal device;
2. The karaoke service system according to claim 1, wherein the synthesized voice data storage means stores the third voice data received by the synthesized voice data receiving means.
前記音声データ受信手段は、前記演奏データ送信手段による前記演奏データのストリーミング送信と連動して、前記第１の端末装置から前記第１の音声データを受信することを特徴とする請求項２記載のカラオケサービスシステム。 The performance data transmitting means transmits the performance data by streaming,
3. The voice data receiving unit receives the first voice data from the first terminal device in conjunction with streaming transmission of the performance data by the performance data transmitting unit. Karaoke service system.
前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、第３の音声データを生成する音声データ合成手段とをさらに具備し、
前記合成音声データ記憶手段は、前記音声データ合成手段により合成された前記第３の音声データを記憶させることを特徴とする請求項３記載のカラオケサービスシステム。 Type designation input means for inputting designation of a synthesis type for synthesizing the first voice data and the second voice data from the second terminal device;
Voice data synthesis for generating third voice data by adjusting the volume of the first voice data and the second voice data according to the designation of the synthesis type inputted by the type designation input means And further comprising means,
4. The karaoke service system according to claim 3, wherein the synthesized voice data storage means stores the third voice data synthesized by the voice data synthesis means.
前記設定手段により設定された前記第１の端末装置から受信された前記第１の音声データを、前記設定手段により設定された第２の端末装置に転送し、前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。 Setting means for presetting the first terminal device and the second terminal device;
The first voice data received from the first terminal device set by the setting means is transferred to the second terminal device set by the setting means, and the third voice data is transferred to the second terminal device. The karaoke service system according to claim 1, further comprising voice data transmitting means for transmitting to one terminal device.
前記音声データ合成手段は、複数の前記第２の端末装置のそれぞれから受信された前記第２の音声データと、前記第１の音声データとを合成して前記第３の音声データを生成し、
前記音声データ合成手段により生成された前記第３の音声データを前記第１の端末装置に送信する音声データ送信手段とをさらに具備したことを特徴とする請求項１記載のカラオケサービスシステム。 The voice data receiving means receives the second voice data from each of the plurality of second terminal devices,
The voice data synthesizing unit synthesizes the second voice data received from each of the plurality of second terminal devices and the first voice data to generate the third voice data,
The karaoke service system according to claim 1, further comprising voice data transmitting means for transmitting the third voice data generated by the voice data synthesizing means to the first terminal device.
前記サーバから演奏データと第１の音声データとを個別に受信するデータ受信手段と、
前記演奏データと前記第１の音声データとを同期させて再生音声を出力する音声出力手段と、
前記音声出力手段により出力される再生音声に合わせて音声を入力する音声入力手段と、
前記音声入力手段により入力された音声の第２の音声データと、前記データ受信手段により受信された前記第１の音声データとを合成して第３の音声データを生成する音声合成手段と、
前記音声合成手段により生成された前記第３の音声データを前記サーバに送信して前記演奏データと関連付けて記憶させる音声データ送信手段と
を具備したことを特徴とする端末装置。 A terminal device connected to a server via a network,
Data receiving means for individually receiving performance data and first audio data from the server;
Audio output means for outputting the reproduced audio in synchronization with the performance data and the first audio data;
Voice input means for inputting voice in accordance with the reproduced voice output by the voice output means;
Voice synthesis means for synthesizing the second voice data of the voice input by the voice input means and the first voice data received by the data reception means to generate third voice data;
A terminal device comprising: voice data transmitting means for transmitting the third voice data generated by the voice synthesizing means to the server and storing the third voice data in association with the performance data.
前記音声合成手段は、前記種類指定入力手段により入力された合成種類の指定に応じて、前記第１の音声データと前記第２の音声データの音量を調整して合成し、前記第３の音声データを生成することを特徴とする請求項７記載の端末装置。 A type designation input means for inputting a designation of a synthesis type for synthesizing the first voice data and the second voice data;
The voice synthesis means adjusts the volume of the first voice data and the second voice data in accordance with the designation of the synthesis type input by the type designation input means, and synthesizes the third voice data. 8. The terminal device according to claim 7, wherein data is generated.
前記音声合成手段は、前記合成種類に対して予め設定される音声データの合成数に応じた割合で音量を調整することを特徴とする請求項８記載の端末装置。 The first audio data includes at least one audio data for the performance data,
9. The terminal apparatus according to claim 8, wherein the voice synthesizing unit adjusts the volume at a rate corresponding to the number of synthesized voice data set in advance for the synthesis type.
前記音声合成手段は、前記音声編集手段によって削除された部分毎の音声データの合成数に応じた割合で音量を調整して音声データを合成することを特徴とする請求項９記載の端末装置。 Voice editing means for deleting a part of the first voice data;
10. The terminal apparatus according to claim 9, wherein the voice synthesizing unit synthesizes voice data by adjusting a volume at a rate corresponding to the number of synthesized voice data for each part deleted by the voice editing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009009341A JP5331494B2 (en) | 2009-01-19 | 2009-01-19 | Karaoke service system, terminal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009009341A JP5331494B2 (en) | 2009-01-19 | 2009-01-19 | Karaoke service system, terminal device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010164922A true JP2010164922A (en) | 2010-07-29 |
| JP5331494B2 JP5331494B2 (en) | 2013-10-30 |
Family
ID=42581102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009009341A Active JP5331494B2 (en) | 2009-01-19 | 2009-01-19 | Karaoke service system, terminal device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5331494B2 (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012159810A (en) * | 2011-02-03 | 2012-08-23 | Brother Ind Ltd | Karaoke device and online karaoke system |
| JP2012209856A (en) * | 2011-03-30 | 2012-10-25 | Xing Inc | Moving image information distribution system |
| DE102011079583A1 (en) | 2010-07-22 | 2012-11-15 | Denso Corporation | Fuel temperature determination device |
| JP2013156543A (en) * | 2012-01-31 | 2013-08-15 | Brother Ind Ltd | Posting reproducer and program |
| JP2013186208A (en) * | 2012-03-06 | 2013-09-19 | Xing Inc | Karaoke system, karaoke reproducing and displaying method, karaoke server, karaoke terminal apparatus, and computer program |
| JP2013257588A (en) * | 2013-08-07 | 2013-12-26 | Xing Inc | Karaoke system, center device, and content data generation method |
| JP2014048471A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Server, and music reproduction system |
| JP2014048470A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Music reproduction device, music reproduction system, and music reproduction method |
| JP2014071214A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Music reproduction device, music reproduction system and music reproduction method |
| WO2014088036A1 (en) * | 2012-12-04 | 2014-06-12 | 独立行政法人産業技術総合研究所 | Singing voice synthesizing system and singing voice synthesizing method |
| JP2014167575A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014167574A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014167576A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014170191A (en) * | 2013-03-05 | 2014-09-18 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014175850A (en) * | 2013-03-08 | 2014-09-22 | Xing Inc | Moving image information delivery system |
| JP2014186177A (en) * | 2013-03-25 | 2014-10-02 | Brother Ind Ltd | Reproduction device |
| JP2014530377A (en) * | 2011-09-18 | 2014-11-17 | タッチチューンズ ミュージック コーポレーション | Digital jukebox device with karaoke and / or photo booth functions and related techniques |
| JP2015069114A (en) * | 2013-09-30 | 2015-04-13 | ブラザー工業株式会社 | Karaoke device and karaoke program |
| JP2015534095A (en) * | 2012-08-07 | 2015-11-26 | スミュール, インク.Smule, Inc. | Social music system and method using continuous real-time pitch correction of vocal performance and dry vocal capture for subsequent replay based on selectively applicable vocal effects schedule (s) |
| JP2016072651A (en) * | 2014-09-26 | 2016-05-09 | 株式会社ドワンゴ | Moving image distribution device, terminal device and program |
| JP2018519536A (en) * | 2015-05-27 | 2018-07-19 | グァンジョウ クゥゴゥ コンピューター テクノロジー カンパニー リミテッド | Audio processing method, apparatus, and system |
| JP2018519538A (en) * | 2015-05-27 | 2018-07-19 | グァンジョウ クゥゴゥ コンピューター テクノロジー カンパニー リミテッド | Karaoke processing method and system |
| JP2018537905A (en) * | 2016-03-14 | 2018-12-20 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Method and apparatus for stitching multimedia files |
| US10229662B2 (en) | 2010-04-12 | 2019-03-12 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
| WO2020121624A1 (en) * | 2018-12-13 | 2020-06-18 | キーンソリッド株式会社 | Music posting device and music posting program |
| US10930256B2 (en) | 2010-04-12 | 2021-02-23 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08146977A (en) * | 1994-11-21 | 1996-06-07 | Sanyo Electric Co Ltd | Karaoke device |
| JP2004053736A (en) * | 2002-07-17 | 2004-02-19 | Daiichikosho Co Ltd | Method for using karaoke system |
| JP2008051896A (en) * | 2006-08-22 | 2008-03-06 | Taito Corp | Voice mixing down apparatus and voice mixing down program |
-
2009
- 2009-01-19 JP JP2009009341A patent/JP5331494B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08146977A (en) * | 1994-11-21 | 1996-06-07 | Sanyo Electric Co Ltd | Karaoke device |
| JP2004053736A (en) * | 2002-07-17 | 2004-02-19 | Daiichikosho Co Ltd | Method for using karaoke system |
| JP2008051896A (en) * | 2006-08-22 | 2008-03-06 | Taito Corp | Voice mixing down apparatus and voice mixing down program |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10032149B2 (en) | 2007-09-24 | 2018-07-24 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| US9324064B2 (en) | 2007-09-24 | 2016-04-26 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| US10229662B2 (en) | 2010-04-12 | 2019-03-12 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
| US10930256B2 (en) | 2010-04-12 | 2021-02-23 | Smule, Inc. | Social music system and method with continuous, real-time pitch correction of vocal performance and dry vocal capture for subsequent re-rendering based on selectively applicable vocal effect(s) schedule(s) |
| DE102011079583A1 (en) | 2010-07-22 | 2012-11-15 | Denso Corporation | Fuel temperature determination device |
| JP2012159810A (en) * | 2011-02-03 | 2012-08-23 | Brother Ind Ltd | Karaoke device and online karaoke system |
| JP2012209856A (en) * | 2011-03-30 | 2012-10-25 | Xing Inc | Moving image information distribution system |
| US11368733B2 (en) | 2011-09-18 | 2022-06-21 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| JP2014530377A (en) * | 2011-09-18 | 2014-11-17 | タッチチューンズ ミュージック コーポレーション | Digital jukebox device with karaoke and / or photo booth functions and related techniques |
| JP2018136547A (en) * | 2011-09-18 | 2018-08-30 | タッチチューンズ ミュージック コーポレーション | Method, digital jukebox system, and recording medium |
| US10225593B2 (en) | 2011-09-18 | 2019-03-05 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| US10848807B2 (en) | 2011-09-18 | 2020-11-24 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| US10582240B2 (en) | 2011-09-18 | 2020-03-03 | Touchtunes Music Corporation | Digital jukebox device with karaoke and/or photo booth features, and associated methods |
| JP2013156543A (en) * | 2012-01-31 | 2013-08-15 | Brother Ind Ltd | Posting reproducer and program |
| JP2013186208A (en) * | 2012-03-06 | 2013-09-19 | Xing Inc | Karaoke system, karaoke reproducing and displaying method, karaoke server, karaoke terminal apparatus, and computer program |
| JP2015534095A (en) * | 2012-08-07 | 2015-11-26 | スミュール, インク.Smule, Inc. | Social music system and method using continuous real-time pitch correction of vocal performance and dry vocal capture for subsequent replay based on selectively applicable vocal effects schedule (s) |
| JP2014048470A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Music reproduction device, music reproduction system, and music reproduction method |
| JP2014048471A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Server, and music reproduction system |
| JP2014071214A (en) * | 2012-09-28 | 2014-04-21 | Brother Ind Ltd | Music reproduction device, music reproduction system and music reproduction method |
| WO2014088036A1 (en) * | 2012-12-04 | 2014-06-12 | 独立行政法人産業技術総合研究所 | Singing voice synthesizing system and singing voice synthesizing method |
| JPWO2014088036A1 (en) * | 2012-12-04 | 2017-01-05 | 国立研究開発法人産業技術総合研究所 | Singing voice synthesis system and singing voice synthesis method |
| US9595256B2 (en) | 2012-12-04 | 2017-03-14 | National Institute Of Advanced Industrial Science And Technology | System and method for singing synthesis |
| JP2014167576A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014167575A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014167574A (en) * | 2013-02-28 | 2014-09-11 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014170191A (en) * | 2013-03-05 | 2014-09-18 | Brother Ind Ltd | Karaoke system and karaoke device |
| JP2014175850A (en) * | 2013-03-08 | 2014-09-22 | Xing Inc | Moving image information delivery system |
| JP2014186177A (en) * | 2013-03-25 | 2014-10-02 | Brother Ind Ltd | Reproduction device |
| JP2013257588A (en) * | 2013-08-07 | 2013-12-26 | Xing Inc | Karaoke system, center device, and content data generation method |
| JP2015069114A (en) * | 2013-09-30 | 2015-04-13 | ブラザー工業株式会社 | Karaoke device and karaoke program |
| JP2016072651A (en) * | 2014-09-26 | 2016-05-09 | 株式会社ドワンゴ | Moving image distribution device, terminal device and program |
| JP2018519538A (en) * | 2015-05-27 | 2018-07-19 | グァンジョウ クゥゴゥ コンピューター テクノロジー カンパニー リミテッド | Karaoke processing method and system |
| US10403255B2 (en) | 2015-05-27 | 2019-09-03 | Guangzhou Kugou Computer Technology Co., Ltd. | Audio processing method, apparatus and system |
| JP2018519536A (en) * | 2015-05-27 | 2018-07-19 | グァンジョウ クゥゴゥ コンピューター テクノロジー カンパニー リミテッド | Audio processing method, apparatus, and system |
| US10679675B2 (en) | 2016-03-14 | 2020-06-09 | Tencent Technology (Shenzhen) Company Limited | Multimedia file joining method and apparatus |
| JP2018537905A (en) * | 2016-03-14 | 2018-12-20 | ▲騰▼▲訊▼科技（深▲セン▼）有限公司 | Method and apparatus for stitching multimedia files |
| WO2020121624A1 (en) * | 2018-12-13 | 2020-06-18 | キーンソリッド株式会社 | Music posting device and music posting program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5331494B2 (en) | 2013-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5331494B2 (en) | Karaoke service system, terminal device | |
| JP4382786B2 (en) | Audio mixdown device, audio mixdown program | |
| JP5380109B2 (en) | Karaoke service system, distribution server, terminal device | |
| US11138261B2 (en) | Media playable with selectable performers | |
| KR101453177B1 (en) | Mixing data delivery server | |
| JP2008089849A (en) | Remote music performance system | |
| WO2011111825A1 (en) | Karaoke system and karaoke performance terminal | |
| JP2013156543A (en) | Posting reproducer and program | |
| JP2021021870A (en) | Content collection/distribution system | |
| JP2014071226A (en) | Music reproduction system and music reproduction method | |
| JP6196839B2 (en) | A communication karaoke system characterized by voice switching processing during communication duets | |
| EP1492080A1 (en) | Music providing method and system, and music creation system | |
| Mulder | Live sound and the disappearing digital | |
| KR101029483B1 (en) | Equipment and method manufacture ucc music use a file audio multi-channel | |
| JP2005241848A (en) | Model vocal offer system of contribution work editing type in online karaoke system | |
| JP2008304821A (en) | Musical piece concert release system | |
| JP5454530B2 (en) | Karaoke equipment | |
| TWI496136B (en) | A sound processing device, a communication sound processing system, a sound processing method and a computer program | |
| JP2005242238A (en) | Karaoke system for outputting model vocal | |
| JP7468111B2 (en) | Playback control method, control system, and program | |
| JP6864938B1 (en) | Recorded data playback method and system | |
| Assad | Insights into the Collaborative Process between Electronic Music Composers and Commissioning Saxophonists | |
| JP2018022121A (en) | Karaoke minus one | |
| JP2017044765A (en) | Image presenting device, image presenting system, and program | |
| JP2014048470A (en) | Music reproduction device, music reproduction system, and music reproduction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130402 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130603 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130702 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130729 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5331494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |