JP2009244789A - Karaoke system with guide vocal creation function - Google Patents
Karaoke system with guide vocal creation function Download PDFInfo
- Publication number
- JP2009244789A JP2009244789A JP2008094094A JP2008094094A JP2009244789A JP 2009244789 A JP2009244789 A JP 2009244789A JP 2008094094 A JP2008094094 A JP 2008094094A JP 2008094094 A JP2008094094 A JP 2008094094A JP 2009244789 A JP2009244789 A JP 2009244789A
- Authority
- JP
- Japan
- Prior art keywords
- data
- user
- music
- guide vocal
- singing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
Description
本発明は、歌唱者の音声データに基づいてガイドボーカルを歌唱音声合成して出力させるガイドボーカル生成機能を備えるカラオケシステムに関する。 The present invention relates to a karaoke system having a guide vocal generating function for synthesizing and outputting a guide vocal based on voice data of a singer.
近年、カラオケシステムの高機能化が進み、演奏中にガイドボーカル(所謂「模範ボーカル」)を出力して歌唱支援することが行われている。従来、ガイドボーカルは、楽曲の歌唱を得意とする模範歌唱者の歌唱音声を予め録音しておき、当該楽曲の演奏中に、その歌唱音声を再生可能とすることで、利用者に理想的な歌唱(採点機能にて高得点が出せる歌唱)を導くことができる。 In recent years, karaoke systems have become more advanced, and guide vocals (so-called “exemplary vocals”) are output during performance to support singing. Conventionally, guide vocals are ideal for users by recording in advance the singing voice of a model singer who is good at singing music and making the singing voice replayable during the performance of the music. Singing (singing with a high scoring function) can be guided.
このようなカラオケシステムが付帯するガイドボーカル機能に関連し、従来、様々な技術が想到されている。例えば、特許文献1では、歌唱者が演奏について行けているのか否かを、マイクロホンからの歌唱音声の入力有無を検出することで自動的に判別し、入力が無い場合にガイドボーカルを再生するカラオケ装置が開示されている。あるいは、特許文献2では、マイクロホンからの入力音量を測定してこの入力音量が伴奏音楽の音量に比べて小さい時に、その不足分を補うような音量でガイドボーカルを再生するカラオケ装置が開示されている。このように、ガイドボーカルは、歌唱中の利用者に対して理想的な歌唱を導くツールとして活用されている。
Various techniques have been conceived in the past related to the guide vocal function attached to such a karaoke system. For example, in
しかしながら、人の声質は千差万別であり、歌唱者によってはガイドボーカルの模範歌唱者の声質と著しくかけ離れていることもあり、この場合には、歌唱者本人が上手く歌えた場合の「歌唱の雰囲気」が非常につかみ難い。すなわち、従来の技術では、歌唱タイミングや音程については良く認識できるものの、歌唱者本人が模範通りに歌った場合、どのような歌唱になるのかは分からない。さらに、同じカラオケの場で、歌唱者の他に利用者(聴衆)がいた場合、歌唱の途中で声質の異なるガイドボーカルが再生されると、他の利用者にとって非常に不自然に聴こえてしまう。勿論、歌唱者本人の歌唱音声にてガイドボーカルが再生されれば、ガイドボーカルのみは当然のことながら、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえるため、不自然さがない。したがって、このような課題については、従来技術の範囲では、歌唱者本人がガイドボーカルを予め歌って録音すれば良いのであるが、本来、歌唱を上手く歌えていないが故、ガイドボーカルを活用するのであるから、本末転倒であり得ないことである。 However, the voice quality of a person is quite different, and depending on the singer, the voice quality of the model vocalist of the guide vocal may be significantly different. Is very difficult to grasp. That is, in the conventional technology, although the singing timing and the pitch can be well recognized, it is not known what kind of singing will be performed when the singer sings according to the model. Furthermore, if there is a user (audience) in addition to the singer at the same karaoke venue, if a guide vocal with a different voice quality is played during the singing, it will be very unnatural for other users. . Of course, if the guide vocal is played with the singing voice of the singer, the guide vocal can be heard as a matter of course, even if the guide vocal and the singing voice of the singing partly overlap. Therefore, there is no unnaturalness. Therefore, for such a problem, in the range of the prior art, the singer should sing and record the guide vocal in advance, but since the singing is not singing well, the guide vocal is used. Because there is, it cannot be a fall at the end.
ところで、最近、歌唱音声合成の技術が進歩し、本来、歌唱していないにも拘わらず、個人の発声をサンプリングして、歌唱を再現できる歌唱音声合成装置が高性能となっている。具体的には、例えば、特開2007−240564号公報では、音声素片データベースに各種の音声素片を示す音声素片データをサンプリングして記憶しておき、ユーザから入力される音符データ及び歌詞データを含む曲データに基づいて、歌唱歌唱音声合成に用いる複数の音声素片、発生タイミング、ピッチを指定する情報を曲の進行の時系列化した歌唱音声合成スコアを生成し、当該歌唱音声合成スコアで指定される音声素片に対応する音声素片データを上記音声素片データベースから読み出し、所定のピッチ変換、素片連結を行うことで歌唱音声を歌唱音声合成することが開示されている。 By the way, recently, singing voice synthesis technology has advanced, and a singing voice synthesizer capable of sampling a person's utterance and reproducing a singing voice despite the fact that the singing voice is not originally sung. Specifically, for example, in Japanese Patent Application Laid-Open No. 2007-240564, speech unit data indicating various speech units is sampled and stored in a speech unit database, and note data and lyrics input from a user are stored. Based on the song data including the data, generate a singing voice synthesis score in which a plurality of voice segments used for singing singing voice synthesis, the generation timing, and the information specifying the pitch are time-series of the progress of the song, and the singing voice synthesis It is disclosed that speech unit data corresponding to a speech unit specified by a score is read from the speech unit database, and singing speech is synthesized with singing speech by performing predetermined pitch conversion and unit connection.
そこで、本発明は、この歌唱音声合成技術を好適に利用し、利用者による音声素片(音素)データのサンプリングなど、特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、さらに、同じカラオケの場に、歌唱者の他に利用者がいたとしても、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえ、不自然さが少ないガイドボーカルを再生可能とするガイドボーカル生成機能を備えるカラオケシステムの提供を目的とする。 Therefore, the present invention suitably uses this singing voice synthesis technique, and does not require special and troublesome operations such as sampling of speech segment (phoneme) data by the user. If the person himself sang according to the model, it is possible to effectively inform the person what kind of singing is performed, and further, there is a user in addition to the singer in the same karaoke place For example, even if the guide vocal and the person's singing voice partially overlap, the purpose is to provide a karaoke system equipped with a guide vocal generation function that makes it possible to reproduce a guide vocal with less unnaturalness that can be heard like “Unison” And
上記課題を解決するために、請求項1の発明では、利用者IDが附帯されて選曲された楽曲の演奏に際してガイドボーカルを歌唱音声合成して出力するガイドボーカル生成機能を備えるカラオケシステムであって、利用者特定手段、利用者別音声データ採取手段、利用者別音素データ抽出手段、スコアデータ作成手段及びガイドボーカル生成手段を有し、前記利用者特定手段は、ログイン要求の利用者より利用者IDを取得して当該利用者を特定し、前記利用者別音声データ採取手段は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、前記利用者別音素データ抽出手段は、利用者ID別に、前記取得した音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素データベースに格納し、前記スコアデータ作成手段は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、前記ガイドボーカル生成手段は、利用者IDが附帯されて選曲された楽曲について、前記作成された当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる、構成とする。
In order to solve the above-mentioned problem, the invention of
請求項2の発明では、前記スコアデータ作成手段は、任意の楽曲の演奏の際に、楽曲の音符データ及び歌詞データに基づいてスコアデータを作成し、前記ガイドボーカル生成手段は、前記作成された当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる構成である。
In the invention of
本発明によれば、任意の利用者による任意の楽曲の歌唱時にその音声データが採取され、利用者別音素データベースに当該音声データから少なくとも発声音の基本単位となる本人の音素データが抽出されて利用者ID別に格納し、所定の楽曲音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、利用者IDが附帯されて選曲された楽曲について、当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる構成とすることにより、利用者による特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、また、不自然さが少ないガイドボーカルを再生することができるものである。 According to the present invention, voice data is collected when an arbitrary song is sung by an arbitrary user, and at least the person's phoneme data, which is a basic unit of the uttered sound, is extracted from the voice data into the user-specific phoneme database. Store by user ID, create score data for singing voice synthesis based on predetermined musical note data and lyric data, and for the music selected with the user ID attached, the score data of the music About the singing timing and the pitch without requiring a special and troublesome operation by the user, by making it possible to generate and output a guide vocal by synthesizing the phoneme data corresponding to the user ID. Of course, if the singer sings according to his model, he can effectively inform the person what the singing is. Further, those which can reproduce less unnaturalness guide vocal.
また、任意の楽曲の演奏の際に、当該楽曲のスコアデータを作成し、当該スコアデータに当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせることにより、楽曲歌唱のキーやテンポなどの設定を当該ガイドボーカルに反映させることができるものである。 In addition, when playing an arbitrary musical piece, the score data of the musical piece is created, and the vocal data is generated by synthesizing the phoneme data corresponding to the user ID with the score data so that the guide vocal can be generated and output. Thus, settings such as the key and tempo of song singing can be reflected in the guide vocal.
以下、本発明の最良の実施形態を図により説明する。
図1に、本発明に係るカラオケシステムの系統構成図を示す。図1(A)は通信ネットワークを使用して本システムを構成させた場合のネットワーク模式図、図1(B)はホスト装置の概要ブロック構成図、図1(C)は利用者別音素DBの登録内容の説明図である。
Hereinafter, the best embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a system configuration diagram of a karaoke system according to the present invention. 1A is a schematic diagram of a network when this system is configured using a communication network, FIG. 1B is a schematic block diagram of a host device, and FIG. 1C is a phoneme DB for each user. It is explanatory drawing of the registration content.
図1(A)において、ホスト装置11はカラオケシステムの一部を構成するものとして、通信ネットワーク12を介して所定数のカラオケ演奏端末13(13A〜13N)を管理するものであり、相互にデータ授受自在に接続されたものである。上記通信ネットワーク12としては、例えば、一般公衆電話回線やこれを用いたADSLや光通信回線或いはインターネット、さらにはLANがあるが、インターネット上に構築されるVPNが好ましい。
In FIG. 1A, the host device 11 manages a predetermined number of karaoke performance terminals 13 (13A to 13N) via the
ホスト装置11は、図1(B)に示すように、少なくとも送受信手段21、制御手段22、利用者別音素データ抽出手段23及び利用者別音素データベース(DB)24を備える。上記送受信手段21は、各カラオケ演奏端末13(13A〜13N)との通信(データ授受)を行うために、通信ネットワーク12の通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成される。
As shown in FIG. 1B, the host device 11 includes at least a transmission / reception unit 21, a
上記制御手段22は、当該ホスト装置11を統括的に制御するもので、例えば物理的なCPUであり、図示しないROMに格納されているプログラムのアルゴリズム処理を行う。上記利用者別音素データ抽出手段23は、所定のカラオケ演奏端末13より利用者IDに基づいて音声データが送信されてきたときに、音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素DB24に利用者IDを関連付けて格納する。ここでは、上記音素データの他に、音声データから歌唱者の歌唱技術をデータ化した歌唱唱法データをも抽出して利用者IDに関連付けて格納する。
The control means 22 controls the host device 11 in an integrated manner, and is a physical CPU, for example, and performs algorithm processing of a program stored in a ROM (not shown). The user-specific phoneme data extracting means 23 obtains the phoneme data of the person who is at least the basic unit of the uttered sound from the sound data when the sound data is transmitted from the predetermined
すなわち、上記利用者別音素DB24は、図1(C)に示すように、利用者ID別に、発声音の基本単位となる本人の音素データ及び当該本人の歌唱唱法データを格納したものであるが、少なくとも音素データが格納される。音素データとは、総ての発声音を、母音、先頭子音、末尾子音、子音から母音への変化、母音から子音への変化の五つの音声素片に区分してデータ化したものである。歌唱唱法データとは、ビブラートや抑揚などの歌に特徴を付ける歌唱技術を周波数情報などによりデータ化したものであり、これをもガイドボーカルの生成の要件に加えることにより、ガイドボーカルに歌唱技術を反映させることができるものである。また、当該歌唱唱法データに対応して、後述の楽曲DB(45)に模範的な唱法をデータ化した楽曲唱法データ(63)を備えさせて歌唱音声合成用のスコアデータ作成の一要素とされる。本実施形態では、上記音素データのみについて説明するが、当該唱法データを含ませてもよい。
That is, as shown in FIG. 1C, the user-
続いて、図2に、本発明のカラオケシステムにおけるカラオケ演奏端末のブロック構成図を示す。図2において、カラオケ演奏端末13は、主要装置としてのカラオケ演奏装置31に有線又は無線で外部接続されるものとして、表示部32、ミキシングアンプ33、マイク34、スピーカ35を備える。また、有線又は無線で遠隔入出力端末36が接続される。当該遠隔入出力端末36は、楽曲検索手段37、利用者特定手段38及び端末表示部39を備える。
Then, in FIG. 2, the block block diagram of the karaoke performance terminal in the karaoke system of this invention is shown. In FIG. 2, the
上記表示部32は、通常の楽曲選曲表示やカラオケ演奏時の映像、歌詞テロップを表示するもので、例えば液晶ディスプレイ(LCD)、プラズマディスプレイ(PDP)、その他種々のディスプレイを採用することができる。上記ミキシングアンプ33は、カラオケ演奏装置31より送られてくる演奏音声信号と、マイク34からの音声信号、後述のガイドボーカル生成手段(53)より送られてくるガイドボーカルとをミキシングし、増幅してスピーカ35より出力する。
The
遠隔入出力端末36は、図示しない端末送受信部により、カラオケ演奏装置31に対して有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、楽曲検索手段37、利用者特定手段38及び端末表示部39を適宜備える。
The remote input /
上記楽曲検索手段37は、後述するユーザインタフェース機能により利用者に楽曲を検索させ、選曲させるプログラムである。上記利用者特定手段38は、ログイン要求の利用者より利用者IDを取得して当該利用者を特定するプログラムである。当該利用者の特定は、利用者の所持するICカードからの利用者IDの取得、ユーザIDやパスワードの入力、声紋、指紋などの生体認証等による。なお、利用者特定手段38を、カラオケ演奏装置31に備えさせてもよい。
The music search means 37 is a program that allows a user to search for music by a user interface function, which will be described later, and to select music. The user specifying means 38 is a program for acquiring a user ID from the user who requested the login and specifying the user. The identification of the user is based on acquisition of a user ID from an IC card possessed by the user, input of a user ID or password, biometric authentication such as a voice print or fingerprint. The user specifying means 38 may be provided in the
上記端末表示部39は、液晶ディスプレイ(LCD)とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるGUIのユーザインタフェース機能を有するものである。
The
上記カラオケ演奏装置31は、バス41、中央制御部42、ROM43、RAM44、楽曲DB45、映像DB46、映像再生制御部47、音楽演奏制御部48、A/D変換部49、利用者別音声データ採取手段50、利用者別音素データ取得手段51、スコアデータ作成手段52、ガイドボーカル生成手段53及び送受信部54A,54Bを適宜備える。また、RAM44には、利用者別音声データ55、利用者別音素データ56、楽曲別スコアデータ57及び予約待ち行列58の記憶領域が形成される。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケ装置においても大部分が適用可能であることを示すために、装置全体を説明する。
The
上記中央制御部42は、このシステムを統括的に処理制御する物理的なCPUであり、ROM43に記憶されているプログラムに基づくアルゴリズム処理を行う。上記RAM44は、利用者別音声データ55、利用者別音素データ56、楽曲別スコアデータ57及び予約待ち行列58の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。
The central control unit 42 is a physical CPU that performs overall processing control of the system, and performs algorithm processing based on a program stored in the ROM 43. The RAM 44 has storage areas for user-
上記楽曲DB45は、楽曲毎に、音符データ、歌詞データを格納し、適宜当該楽曲についての歌唱技術(ビブラートや抑揚等)を周波数などでデータ化した楽曲唱法データを格納する(図4参照)。具体的には、楽曲ID、曲名及びアーチストID(アーチスト名)が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲IDで管理される所定データ形式のカラオケ楽曲の音符データ(例えば、MIDI(登録商標)形式の音符データ)及び歌詞データ(歌詞テロップデータ)が同期されて構成される楽曲データ(ファイル)について楽曲コードをファイル名としてそれぞれ格納したデータベースであり、映像DB46に格納された当該楽曲毎の背景映像を表示するための所定数のシーン映像を割り当てる割当データが関連付けられる。
The music DB 45 stores note data and lyric data for each music, and stores music singing method data obtained by appropriately singing the singing technique (vibrato, inflection, etc.) of the music by frequency or the like (see FIG. 4). Specifically, it has a music table in which a music ID, a music title, and an artist ID (artist name) are associated, and for each music, karaoke musical note data (for example, MIDI ( (Registered trademark) format note data) and lyric data (lyric telop data) in synchronism with music data (files), each of which stores a music code as a file name, and the music stored in the
当該映像DB46は、背景映像表示のための所定数のシーン映像データを所定数格納するデータベースである。なお、この楽曲DB45及び映像DB46を、カラオケ演奏装置31ではなく、上記ホスト装置11に備えさせることとしてもよい。
The
上記映像再生制御部47は、演奏時に、映像DB46より抽出された所定数のシーン映像データ及び楽曲コードで楽曲DB45より抽出された歌詞テロップデータ(歌詞文字データ)を当該楽曲の音符データに同期させて表示部32に出力する電子回路である。上記音楽演奏制御部48は、楽曲コードで楽曲DB45より抽出された音符データをデジタル再生し、アナログ変換してミキシングアンプ33に出力する電子回路である。
The video playback control unit 47 synchronizes the lyric telop data (lyric character data) extracted from the music DB 45 with a predetermined number of scene video data and music code extracted from the
上記A/D変換部49は、マイク34から入力される歌唱時の歌唱音声をデジタル変換して利用者別音声データ採取手段50に送出する電子回路である。上記利用者別音声データ採取手段50は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、利用者IDを附帯させてRAM44の利用者別音声データ55として記憶するプログラムである。なお、記憶された利用者別の音声データ55は、例えば中央制御部42が所定タイミング(例えばログアウト後)にホスト装置11に送信するもので、ホスト装置11では、上述のように利用者別音素データ抽出手段23が、当該音声データより少なくとも音素データや適宜歌唱唱法データを抽出し、利用者IDに関連付けて利用者別音素DB24に格納するものである。
The A /
上記利用者別音素データ取得手段51は、上記利用者特定手段38で取得した利用者IDに基づいてホスト装置11に対して少なくとも当該利用者の音素データを要求し、当該ホスト装置11より送信されてきた当該利用者の音素データをRAM44の利用者別音素データ56として利用者IDを関連付けて記憶するプログラムである。
The user-specific phoneme
上記スコアデータ作成手段52は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、当該スコアデータをRAM44の楽曲別スコアデータ57に記憶するプログラムである。当該スコアデータの作成のタイミングは種々あるが、本実施形態では、任意の楽曲が予約待ち行列58に登録されたときに、当該楽曲のスコアデータが作成されるものとして説明する。他のタイミングは後述する。
The score data creating means 52 is a program for creating score data for singing voice synthesis based on the note data and lyrics data of a predetermined music and storing the score data in the
上記ガイドボーカル生成手段53は、利用者IDが附帯されて選曲された楽曲について、作成された当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせるプログラムである。一例として、予約待ち行列58の登録楽曲について、楽曲別スコアデータ57から当該楽曲のスコアデータを取得すると共に、選曲された当該楽曲に附帯された利用者IDに基づいて対応の音素データを利用者別音素データ56より取得し、取得されたスコアデータに音素データを歌唱音声合成させるものである。なお、ガイドボーカル生成は、例えば前述の特開2007−240564号公報で示されたピッチ変換や素片連結等を適用することができる。ここで、出力可能とは、出力のタイミングを利用者の操作等により適宜選択できることを意味する。
The guide vocal generating means 53 synthesizes the vocal vocals by synthesizing the phoneme data corresponding to the user ID into the score data of the music created for the music selected with the user ID attached. It is a program that can be generated and output. As an example, for the registered music in the
上記送受信部54Aは、遠隔入出力端末36との間で有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。上記送受信部54Bは、上記ホスト装置11と上記通信ネットワーク12を介してデータ授受を行うためのもので、通信方式と整合性をとるための例えば物理的な通信用回路やプラットフォーム等のソフトウエアにより構成されるものである。また、遠隔入出力端末36は、送受信部54A,54Bを介してホスト装置11と通信可能とされる。
The transmission / reception unit 54A is used to exchange data with the remote input /
上記RAM44に形成される予約待ち行列58は、遠隔入出力端末36で選曲された楽曲IDが送受信部54Aを介して送信されてきたときに、中央制御部42が当該送信されてきた利用者IDの附帯された楽曲IDを予約順に記憶させていくデータ記憶領域である。
In the
なお、図示しないが、当該カラオケ演奏装置31には、利用者が楽曲番号を直接入力したり、演奏楽曲のテンポや、歌唱音声に対する種々の調節を行うためのボタンやツマミ類が可変抵抗器等の電子素子に直結された操作パネルも接続される。ところで、カラオケ演奏端末13をスタンドアローンのカラオケシステムとして適用させる場合には上記ホスト装置11の利用者別音素データ抽出手段23及び利用者別音素DB24を備えさせる構成とすることにより実現することができるものである。
Although not shown in the figure, the
そこで、図3に図2のカラオケ演奏装置における歌唱音声データの取得及び選曲時の処理フローチャートを示すと共に、図4に図3における選曲時の説明図を示す。図3(A)は音素データのサンプリングの処理フローチャート、図3(B)はスコアデータ作成等の処理フローチャートである。 Therefore, FIG. 3 shows a processing flowchart for obtaining singing voice data and selecting a song in the karaoke performance apparatus of FIG. 2, and FIG. 4 shows an explanatory diagram for selecting the song in FIG. FIG. 3A is a processing flowchart for sampling phoneme data, and FIG. 3B is a processing flowchart for creating score data.
図3(A)において、まず、利用者別音声データ採取手段50が、演奏中における歌唱者の利用者IDを予約待ち行列58より認識し、マイク34からA/D変換部49を介して歌唱音声データを採取し、RAM44に利用者IDに関連付けた利用者別音声データ55として一旦記憶する(ステップ(S)1)。記憶した利用者別音声データ55は、例えば中央制御部42が利用者IDに関連付けて所定タイミング(例えばログアウト後)にホスト装置11に送信する(S2)。そして、ホスト装置11では、上記利用者別音素データ抽出手段23が利用者毎の音声データより音素データを抽出して利用者IDを関連付けて利用者別音素DB24に格納するものである(S3)。
In FIG. 3A, first, the user-specific voice data collection means 50 recognizes the user ID of the singer during the performance from the
このように、所定の利用者の歌唱時に歌唱音声を取得し、当該音声データを利用者別音素データ抽出手段23で抽出して利用者別音素DB24に格納させることにより、歌唱者に意識させることなく音素データの取得を容易とさせることができるものである。
In this way, the singing voice is acquired when a predetermined user sings, and the voice data is extracted by the user-specific phoneme
続いて、選曲時のスコアデータ作成については、図3(B)において、まず、遠隔入出力端末36で利用者IDが取得された利用者から、例えば図示しないメニュー表示より「楽曲検索」が選択されて楽曲検索の要求があると(S11)、楽曲検索選曲手段37が実行されて検索画面を表示され、当該利用者による検索結果として、例えば図4(A)に示すような選曲画面が表示される(S12)。
Subsequently, regarding the creation of score data at the time of music selection, in FIG. 3B, first, “music search” is selected from a user whose user ID is acquired by the remote input /
当該利用者により、ガイドボーカルの設定欄40で当該ガイドボーカルの再生の出力が適宜選択され、「転送」ボタンが選択されると(S13)、選曲された楽曲の曲名(楽曲ID)及びガイドボーカルのフラグ情報(ガイドフラグの有無)に利用者IDが附帯されてRAM44の予約待ち行列58に登録される(S14)。上記ガイドボーカルの設定欄40でガイドボーカルが選択されず、ガイドフラグが「無」の場合には終了する(S15)。
When the user appropriately selects the output of reproduction of the guide vocal in the guide
一方、上記ガイドボーカルが「有」の場合には(S15)、スコアデータ作成手段52が、図4(B)に示すように、楽曲DB45より選曲された楽曲の音符データ61、歌詞データ62を取得してスコアデータを作成し、当該楽曲IDを附帯させてRAM44の楽曲別スコアデータ57に記憶する(S16)。なお、図4(A)の楽曲表示画面に示すガイドボーカル選択機能を設けない構成として、選曲可能な全部の楽曲について、スコアデータを作成しておいてもよい。
On the other hand, when the above-mentioned guide vocal is “present” (S15), the score data creating means 52 stores the note data 61 and the lyrics data 62 of the music selected from the music DB 45 as shown in FIG. Acquired score data is created, and the music ID is attached and stored in the
そして、ガイドボーカル生成手段53が、図4(C)に示すように、予約待ち行列58から演奏対象の楽曲ID及び選曲者の利用者IDを特定し、楽曲IDに基づいて楽曲別スコアデータ57よりスコアデータを取得すると共に、利用者IDに基づいて利用者別音素データ56に記憶されている選曲者の音素データを取得しておくものである(S17)。
Then, as shown in FIG. 4C, the guide vocal generating means 53 specifies the music ID to be played and the user ID of the music selector from the
そこで、図5に図2のカラオケ演奏装置におけるガイドボーカル生成の処理フローチャートを示すと共に、図6に図5におけるガイドボーカル生成の説明図を示す。ここではガイドボーカルの生成を、演奏開始の際に、例えば音楽演奏制御部48より得られる演奏同期信号に基づいて処理するものとして説明する。
Therefore, FIG. 5 shows a processing flowchart of guide vocal generation in the karaoke performance apparatus of FIG. 2, and FIG. 6 shows an explanatory diagram of guide vocal generation in FIG. Here, description will be made assuming that the generation of the guide vocal is processed on the basis of a performance synchronization signal obtained from, for example, the music
図5及び図6において、上記予約待ち行列58に登録されて順番に演奏された楽曲のうち、ガイドフラグが附帯された楽曲の演奏が開始されると(S21)、ガイドボーカル生成手段53が、図6に示すように、取得された当該楽曲のスコアデータに、当該利用者IDの音素データを、音楽演奏制御部48からの演奏同期信号に応じて歌唱音声合成することによりガイドボーカルデータを作成し、ミキシングアンプ33を介して出力するものである(S22)。
5 and FIG. 6, when the performance of the music with the guide flag is started among the music registered in the
このように、利用者による音声素片(音素)データのサンプリングなど、特別で面倒な操作を要することなく、歌唱タイミングや音程については勿論、歌唱者本人が模範通りに歌った場合に、どのような歌唱になっているのかを本人に効果的に知らしめることができ、さらに、同じカラオケの場に、歌唱者の他に利用者がいたとしても、例え、ガイドボーカルと本人の歌唱音声とが一部重なっても「ユニゾン」のように聴こえ、不自然さが少ないガイドボーカルを再生することができるものである。さらに、選曲された楽曲の演奏の際に、演奏対象の楽曲のスコアデータに、当該楽曲に附帯された利用者IDに対応する音素データを歌唱音声合成させたガイドボーカルを生成して出力可能とさせることで、選曲時の楽曲歌唱の音程などの設定を当該ガイドボーカルに反映させることができるものである。 In this way, there is no need for special and cumbersome operations such as sampling of speech segment (phoneme) data by the user, as well as singing timing and pitch, as well as how the singer sings according to the model. If there are users other than the singer in the same karaoke place, for example, the guide vocal and the singing voice of the person Even if they overlap, they can be heard like “Unison” and can reproduce guide vocals with less unnaturalness. Furthermore, when playing the selected music, it is possible to generate and output a guide vocal by synthesizing the singing voice of the phoneme data corresponding to the user ID attached to the music to the score data of the music to be played By doing so, settings such as the pitch of the song singing at the time of music selection can be reflected in the guide vocal.
ところで、選曲した利用者が歌唱しなければ、演奏及びガイドボーカルのみが出力されることとなるが、利用者としては自分の音声で理想的な歌唱を、いわゆるお手本として聴取することができる。また、複数人での利用の場合に、ガイドボーカルを出力させ、選曲者が歌唱しているようによそおうことで他人に模範的な歌唱をあたかも本人が歌唱しているように見せかけることもできる。 By the way, if the selected user does not sing, only the performance and the guide vocal are output, but the user can listen to the ideal singing with his own voice as a so-called model. Also, in the case of use by a plurality of people, it is possible to make it appear as if the person is singing an exemplary singing song by outputting a guide vocal and letting the musician sing as if singing.
なお、予約待ち行列58に登録された総ての楽曲について、スコアデータ作成手段52がスコアデータを作成して楽曲別スコアデータ57に記憶しておき、選曲時に上記「ガイドボーカル」の設定欄40で設定がなされなかった場合(ガイドフラグ「無」)に、当該楽曲の歌唱中に表示部32又は遠隔入出力端末36の端末表示部39の少なくとも何れかに、ガイドボーカルを出力させる選択ボタンを表示させることとしてもよい。このことは、図4(A)の選曲画面に「ガイドボーカル」の設定欄40を設けなかった場合も同様である。
Note that the score data creation means 52 creates score data for all the songs registered in the
次に、図7に、本発明のカラオケシステムにおけるカラオケ演奏端末の他の説明図を示す。この実施形態は、カラオケ演奏装置31に歌唱監視手段71を備えさせ、A/D変換部49より歌唱音声を取得させる構成としたものである。当該歌唱監視手段71は、楽曲演奏中の歌唱者の歌唱状態に応じて、ガイドボーカル生成手段53に対し、ガイドボーカル合成処理の処理開始、あるいは処理停止の信号を出力させるプログラムである。
Next, FIG. 7 shows another explanatory diagram of the karaoke performance terminal in the karaoke system of the present invention. In this embodiment, the
ここで、上記歌唱状態とは、歌唱につまって無音となった場合、歌唱音声が小さくなって所定レベル以下になった場合、また、新たに歌唱採点処理を設けて所定の歌唱区間で採点値が基準値以下となった場合などをいう。ここでは、歌唱音声が小さくなって所定レベル以下になった場合について説明する。 Here, when the singing state is silenced after singing, the singing voice is reduced to a predetermined level or less, and a new singing scoring process is provided to score in a predetermined singing section. When the value is below the reference value. Here, a case where the singing voice is reduced to a predetermined level or less will be described.
すなわち、図7(B)において、演奏が開始されると(S31)、歌唱監視手段71が、歌唱音声のマイク入力レベルが所定値以下か否かを監視する(S32)。当該マイク入力レベルが所定値以下となった場合には(S33)、ガイドボーカルが出力中か否かを判断し(S34)、出力されていなければガイドボーカル生成手段53に対し、処理開始の信号を出力する(S35)。そして、以降の演奏について、取得されたスコアデータに、当該利用者IDの音素データを、音楽演奏制御部48からの演奏同期信号に応じて歌唱音声合成することによりガイドボーカルデータを生成し、ミキシングアンプ33を介して出力する(S36)。
That is, in FIG. 7B, when a performance is started (S31), the singing monitoring means 71 monitors whether or not the microphone input level of the singing voice is below a predetermined value (S32). When the microphone input level is equal to or lower than the predetermined value (S33), it is determined whether or not the guide vocal is being output (S34), and if not, the process start signal is sent to the guide vocal generating means 53. Is output (S35). Then, for subsequent performances, guide vocal data is generated by mixing the phoneme data of the user ID with the acquired score data according to the performance synchronization signal from the music
一方、S33において、歌唱者のマイク入力レベルが所定値を越えている場合には、ガイドボーカルが出力中か否かを判断し(S37)、出力中の場合には歌唱監視手段71がガイドボーカル生成手段53に対し、処理停止の信号を出力することにより(S38)、当該ガイドボーカル生成手段53がガイドボーカル合成の処理を停止する(S39)。また、上記S34においてガイドボーカルが出力中の場合、また、上記S37においてガイドボーカルが出力されていない場合には、何も処理を行わず、以降、演奏終了までS32〜S39が繰り返えされるものである(S40)。 On the other hand, when the microphone input level of the singer exceeds a predetermined value in S33, it is determined whether or not the guide vocal is being output (S37). By outputting a process stop signal to the generation means 53 (S38), the guide vocal generation means 53 stops the guide vocal synthesis process (S39). If the guide vocal is being output in S34, or if the guide vocal is not output in S37, no processing is performed, and thereafter S32 to S39 are repeated until the end of the performance. (S40).
このように、歌唱者の歌唱状態に応じてガイドボーカルを生成して出力可能状態とさせ、利用者の操作等によりガイドボーカルを出力させることから、歌唱者を好適にアシストすることができるものである。 In this way, the guide vocal is generated according to the singing state of the singer and is made ready for output, and the guide vocal is output by the user's operation or the like, so that the singer can be favorably assisted. is there.
ところで、上記実施形態では、楽曲別スコアデータ57を楽曲が予約待ち行列58に登録されたときに作成し、演奏の際にガイドボーカル生成手段53がガイドボーカルの生成を行う場合を示したが、他に、以下のスコア作成、ガイドボーカル生成の手法がある。
By the way, in the said embodiment, although the
第1に、楽曲別スコアデータ57を、予め全楽曲について作成しておき、例えばホスト装置11でデータベース化して管理しておくもので、利用者のログイン時にホスト装置11より全曲分のスコアデータを取得し、ガイドボーカル生成手段53が予約待ち行列58に楽曲が登録されたときにガイドボーカルを生成して記憶しておいて演奏時に出力させ、若しくは、演奏開始時にガイドボーカルを生成させて出力させるものである。
First, the
第2に、楽曲別スコアデータ57を、予め全楽曲について作成しておき、例えばホスト装置11でデータベース化して管理しておくもので、予約待ち行列58に楽曲が登録されたときに、該当楽曲のスコアデータをホスト装置11より取得し、ガイドボーカル生成手段53が予約待ち行列58に楽曲が登録されたときにガイドボーカルを生成して記憶しておいて演奏時に出力させ、若しくは、演奏開始時にガイドボーカルを生成させて出力させるものである。
Secondly, the
第3に、楽曲別スコアデータ57を、演奏開始時に、予約待ち行列58から楽曲IDを取得してスコアデータを作成させ、作成されたスコアデータを基づいてガイドボーカル生成手段53がガイドボーカルを生成させるものである。
Third, at the start of performance, the
第4に、楽曲別スコアデータ57を、予約待ち行列58に楽曲が登録されたときに、予約待ち行列58から楽曲IDを取得してスコアデータを作成させ、作成されたスコアデータに基づいてガイドボーカル生成手段53がガイドボーカルを生成させて記憶しておき、演奏開始時に出力させるものである。
Fourthly, when the
本発明のガイドボーカル生成機能を備えるカラオケシステムは、カラオケの基本的機能を備えるカラオケ装置の分野に利用可能である。 The karaoke system provided with the guide vocal generating function of the present invention can be used in the field of karaoke apparatuses provided with the basic functions of karaoke.
11 ホスト装置
13 カラオケ演奏端末
23 利用者別音素データ抽出手段
24 利用者別音素DB
31 カラオケ演奏装置
36 遠隔入出力端末
45 楽曲DB
50 利用者別音声データ採取手段
52 スコアデータ作成手段
53 ガイドボーカル生成手段
55 利用者別音声データ
56 利用者別音素データ
57 楽曲別スコアデータ
58 予約待ち行列
61 音符データ
62 歌詞データ
63 楽曲唱法データ
71 歌唱監視手段
11
31
50 User-specific voice data collection means 52 Score data creation means 53 Guide vocal generation means 55 User-
Claims (2)
利用者特定手段、利用者別音声データ採取手段、利用者別音素データ抽出手段、スコアデータ作成手段及びガイドボーカル生成手段を有し、
前記利用者特定手段は、ログイン要求の利用者より利用者IDを取得して当該利用者を特定し、
前記利用者別音声データ採取手段は、任意の利用者による任意の楽曲の歌唱時にその音声データを採取し、
前記利用者別音素データ抽出手段は、利用者ID別に、前記取得した音声データから少なくとも発声音の基本単位となる本人の音素データを抽出して利用者別音素データベースに格納し、
前記スコアデータ作成手段は、所定の楽曲の音符データ及び歌詞データに基づいて歌唱音声合成用のスコアデータを作成し、
前記ガイドボーカル生成手段は、利用者IDが附帯されて選曲された楽曲について、前記作成された当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせる、
ことを特徴とするガイドボーカル生成機能を備えるカラオケシステム。 A karaoke system provided with a guide vocal generating function for synthesizing and outputting a guide vocal when a musical piece selected with a user ID is played,
User identification means, user-specific voice data collection means, user-specific phoneme data extraction means, score data creation means and guide vocal generation means,
The user specifying means acquires the user ID from the user of the login request and specifies the user,
The user-specific voice data collection means collects the voice data when singing an arbitrary song by an arbitrary user,
The user-specific phoneme data extraction means extracts the phoneme data of the person who is at least the basic unit of the uttered sound from the acquired voice data for each user ID, and stores it in the user-specific phoneme database.
The score data creating means creates score data for singing voice synthesis based on note data and lyrics data of a predetermined music,
The guide vocal generating means generates a guide vocal by synthesizing the phoneme data corresponding to the user ID into the score data of the generated music for the music selected with the user ID attached thereto. Generate and enable output,
A karaoke system equipped with a guide vocal generation function.
前記スコアデータ作成手段は、任意の楽曲の演奏の際に、楽曲の音符データ及び歌詞データに基づいてスコアデータを作成し、
前記ガイドボーカル生成手段は、前記作成された当該楽曲のスコアデータに、当該利用者IDに対応する音素データを歌唱音声合成させることでガイドボーカルを生成して出力可能とさせることを特徴とするガイドボーカル生成機能を備えるカラオケシステム。 A karaoke system comprising the guide vocal generation function according to claim 1,
The score data creating means creates score data based on musical note data and lyric data when playing an arbitrary musical piece,
The guide vocal generating means generates a guide vocal by allowing the created score data of the music to synthesize phoneme data corresponding to the user ID by singing voice, and makes it possible to output the guide vocal. Karaoke system with vocal generation function.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008094094A JP2009244789A (en) | 2008-03-31 | 2008-03-31 | Karaoke system with guide vocal creation function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008094094A JP2009244789A (en) | 2008-03-31 | 2008-03-31 | Karaoke system with guide vocal creation function |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009244789A true JP2009244789A (en) | 2009-10-22 |
Family
ID=41306709
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008094094A Withdrawn JP2009244789A (en) | 2008-03-31 | 2008-03-31 | Karaoke system with guide vocal creation function |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009244789A (en) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011209570A (en) * | 2010-03-30 | 2011-10-20 | Yamaha Corp | Karaoke device |
JP2014048472A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Voice synthesis system for karaoke and parameter extractor |
JP5660408B1 (en) * | 2013-08-29 | 2015-01-28 | ブラザー工業株式会社 | Posted music performance system and posted music performance method |
JP2015087617A (en) * | 2013-10-31 | 2015-05-07 | 株式会社第一興商 | Device and method for generating guide vocal of karaoke |
JP2016051036A (en) * | 2014-08-29 | 2016-04-11 | ブラザー工業株式会社 | Voice synthesis system and voice synthesis device |
JP2016183998A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Voice synthesis device, and program |
JP2017068046A (en) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | Singing reference data correction device, karaoke system, and program |
JP2017134353A (en) * | 2016-01-29 | 2017-08-03 | 株式会社第一興商 | Karaoke system and karaoke server |
JP6399715B1 (en) * | 2017-11-15 | 2018-10-03 | 株式会社テクノスピーチ | Singing support device and karaoke device |
JP2020086113A (en) * | 2018-11-26 | 2020-06-04 | 株式会社第一興商 | Karaoke system and karaoke device |
JP2021140065A (en) * | 2020-03-06 | 2021-09-16 | 株式会社バンダイナムコエンターテインメント | Processing system, sound system and program |
-
2008
- 2008-03-31 JP JP2008094094A patent/JP2009244789A/en not_active Withdrawn
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011209570A (en) * | 2010-03-30 | 2011-10-20 | Yamaha Corp | Karaoke device |
JP2014048472A (en) * | 2012-08-31 | 2014-03-17 | Brother Ind Ltd | Voice synthesis system for karaoke and parameter extractor |
JP5660408B1 (en) * | 2013-08-29 | 2015-01-28 | ブラザー工業株式会社 | Posted music performance system and posted music performance method |
JP2015087617A (en) * | 2013-10-31 | 2015-05-07 | 株式会社第一興商 | Device and method for generating guide vocal of karaoke |
JP2016051036A (en) * | 2014-08-29 | 2016-04-11 | ブラザー工業株式会社 | Voice synthesis system and voice synthesis device |
JP2016183998A (en) * | 2015-03-25 | 2016-10-20 | ブラザー工業株式会社 | Voice synthesis device, and program |
JP2017068046A (en) * | 2015-09-30 | 2017-04-06 | ブラザー工業株式会社 | Singing reference data correction device, karaoke system, and program |
JP2017134353A (en) * | 2016-01-29 | 2017-08-03 | 株式会社第一興商 | Karaoke system and karaoke server |
JP6399715B1 (en) * | 2017-11-15 | 2018-10-03 | 株式会社テクノスピーチ | Singing support device and karaoke device |
JP2019090936A (en) * | 2017-11-15 | 2019-06-13 | 株式会社テクノスピーチ | Singing support device and karaoke device |
JP2020086113A (en) * | 2018-11-26 | 2020-06-04 | 株式会社第一興商 | Karaoke system and karaoke device |
JP7117228B2 (en) | 2018-11-26 | 2022-08-12 | 株式会社第一興商 | karaoke system, karaoke machine |
JP2021140065A (en) * | 2020-03-06 | 2021-09-16 | 株式会社バンダイナムコエンターテインメント | Processing system, sound system and program |
JP7458127B2 (en) | 2020-03-06 | 2024-03-29 | 株式会社バンダイナムコエンターテインメント | Processing systems, sound systems and programs |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009244789A (en) | Karaoke system with guide vocal creation function | |
JP2010518459A (en) | Web portal for editing distributed audio files | |
JP2004233698A (en) | Device, server and method to support music, and program | |
JP6501344B2 (en) | Karaoke scoring system considering listener's evaluation | |
JP4509074B2 (en) | Lyric telop display control system for karaoke equipment | |
JP2014048472A (en) | Voice synthesis system for karaoke and parameter extractor | |
JP2010237260A (en) | Karaoke machine emphasizing main voice part of chorus music | |
JP6589356B2 (en) | Display control device, electronic musical instrument, and program | |
JP4516944B2 (en) | Karaoke singing assistance system | |
JP2006251697A (en) | Karaoke device | |
JP4171680B2 (en) | Information setting device, information setting method, and information setting program for music playback device | |
JP6316099B2 (en) | Karaoke equipment | |
JP2003015672A (en) | Karaoke device having range of voice notifying function | |
JP2009244607A (en) | Duet part singing generation system | |
JP6141737B2 (en) | Karaoke device for singing in consideration of stretch tuning | |
JP3974069B2 (en) | Karaoke performance method and karaoke system for processing choral songs and choral songs | |
JP4180548B2 (en) | Karaoke device with vocal range notification function | |
JP5969421B2 (en) | Musical instrument sound output device and musical instrument sound output program | |
JPH11249674A (en) | Singing marking system for karaoke device | |
JP2009244790A (en) | Karaoke system with singing teaching function | |
JP6144593B2 (en) | Singing scoring system | |
CN101552002B (en) | Media broadcasting device and media operating method | |
CN101551999B (en) | Automatic page overturning device | |
JP2016071187A (en) | Voice synthesis device and voice synthesis system | |
JP5191336B2 (en) | Sound system with group performance practice support function |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20110607 |