JP7117228B2 - karaoke system, karaoke machine - Google Patents

karaoke system, karaoke machine Download PDF

Info

Publication number
JP7117228B2
JP7117228B2 JP2018219997A JP2018219997A JP7117228B2 JP 7117228 B2 JP7117228 B2 JP 7117228B2 JP 2018219997 A JP2018219997 A JP 2018219997A JP 2018219997 A JP2018219997 A JP 2018219997A JP 7117228 B2 JP7117228 B2 JP 7117228B2
Authority
JP
Japan
Prior art keywords
karaoke
user
data
language
singing voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018219997A
Other languages
Japanese (ja)
Other versions
JP2020086113A (en
Inventor
美香 谷水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2018219997A priority Critical patent/JP7117228B2/en
Publication of JP2020086113A publication Critical patent/JP2020086113A/en
Application granted granted Critical
Publication of JP7117228B2 publication Critical patent/JP7117228B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明はカラオケシステム、及びカラオケ装置に関する。 The present invention relates to karaoke systems and karaoke machines.

母国語が異なる利用者同士でカラオケ装置を利用することがある。このような場合に、たとえば、日本人の利用者が日本語でカラオケ歌唱を行うと、母国語が異なる外国人は歌詞の内容を理解することができない。 Users with different mother tongues sometimes use a karaoke machine. In such a case, for example, if a Japanese user sings karaoke in Japanese, foreigners whose mother tongue is different cannot understand the contents of the lyrics.

そこで、特許文献1には、利用者の母国語に応じた翻訳歌詞をサブモニタに表示する技術が開示されている。 Therefore, Patent Literature 1 discloses a technique for displaying translated lyrics in the user's native language on a sub-monitor.

特開2007-121514号公報JP 2007-121514 A

特許文献1のように翻訳歌詞(たとえば英語)をサブモニタに表示したとしても、実際のカラオケ歌唱は翻訳前の歌詞(たとえば日本語)に基づいて行われる。従って、母国語が異なる利用者は、カラオケ演奏に合わせて翻訳歌詞を参照したとしても、歌を楽しむことができない。 Even if the translated lyrics (for example, English) are displayed on the sub-monitor as in Patent Document 1, actual karaoke singing is performed based on the lyrics (for example, Japanese) before translation. Therefore, users whose mother tongue is different cannot enjoy the song even if they refer to the translated lyrics along with the karaoke performance.

本発明の目的は、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことが可能なカラオケステムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to provide a karaoke stem that enables even users whose mother tongue is different from that of users who sing karaoke songs to enjoy singing along with karaoke performances.

上記目的を達成するための一の発明は、サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、前記サーバ装置は、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、前記カラオケ装置は、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、を有するカラオケシステムである。
本発明の他の特徴については、後述する明細書及び図面の記載により明らかにする。
One invention for achieving the above object is a karaoke system in which a server device and a karaoke device are communicably connected, wherein the server device uses a voice quality parameter indicating the voice quality of a user to identify the user. The karaoke device has a user information storage unit for storing in association with user identification information for identification, wherein the karaoke device stores performance data for karaoke performance, first lyric data in a first language, and the first lyrics data in a first language. A song data storage unit that stores second lyric data in a second language different from the first language for each song, and according to a login operation performed via a portable terminal owned by a user of the karaoke machine. a login processing unit that acquires the user identification information of the user; An extraction unit for extracting singing voice data including pitch data and volume data from voice, the extracted singing voice data, the second lyric data of the song read in accordance with the karaoke performance, and the karaoke singing a creation unit that creates a synthesized singing voice signal based on the voice quality parameter acquired from the server device in accordance with the user identification information of the user who performs the login operation; A karaoke system comprising a transmission processing unit for transmitting the generated synthesized singing voice signal to a mobile terminal owned by an audience member who is a user other than a karaoke singing user.
Other features of the present invention will be clarified by the description of the specification and drawings described later.

本発明によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。 According to the present invention, even a user whose mother tongue is different from that of a user who sings karaoke can enjoy singing along with the karaoke performance.

第1実施形態に係るカラオケシステムの概略を示す図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the outline of the karaoke system which concerns on 1st Embodiment. 第1実施形態に係るサーバ装置のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the server apparatus which concerns on 1st Embodiment. 第1実施形態に係るカラオケ装置のハードウェア構成例を示す図である。It is a figure which shows the hardware structural example of the karaoke apparatus which concerns on 1st Embodiment. 第1実施形態に係るカラオケ装置のソフトウェア構成例を示す図である。It is a figure which shows the software structural example of the karaoke apparatus which concerns on 1st Embodiment. 第1実施形態に係るカラオケシステムの処理を示すフローチャートである。It is a flow chart which shows processing of a karaoke system concerning a 1st embodiment.

<第1実施形態>
図1~図5を参照して、第1実施形態に係るカラオケシステムについて説明する。
<First Embodiment>
A karaoke system according to the first embodiment will be described with reference to FIGS. 1 to 5. FIG.

==カラオケシステム==
図1に示すように、本実施形態に係るカラオケシステム1は、サーバ装置S及びカラオケ装置Kを備える。サーバ装置Sとカラオケ装置Kとは、ネットワークNを介して通信可能となっている。ネットワークNは、たとえば公衆電話回線網やインターネット回線等の伝送路である。また、カラオケ装置Kは、利用者が所有する携帯端末と通信可能となっている。
== Karaoke System ==
As shown in FIG. 1, the karaoke system 1 according to this embodiment includes a server device S and a karaoke device K. As shown in FIG. The server device S and the karaoke device K can communicate with each other via the network N. The network N is, for example, a transmission line such as a public telephone line network or Internet line. Also, the karaoke machine K can communicate with a portable terminal owned by a user.

利用者U1~利用者U3は、カラオケ装置Kを一緒に利用する利用者である。以下、利用者U1及び利用者U2は日本人(母国語:日本語)であり、利用者U3は米国人(母国語:英語)であるとして説明する。 User U1 to user U3 are users who use the karaoke machine K together. In the following description, users U1 and U2 are Japanese (native language: Japanese), and user U3 is American (native language: English).

各利用者は、携帯端末(携帯端末M1~携帯端末M3)を所有している。携帯端末は、一般的なスマートフォンやタブレット端末である。携帯端末には、カラオケ装置Kを利用する際に使用する専用アプリケーションソフトウェア(以下、「カラオケアプリ」)がインストールされている。カラオケアプリは、サーバ装置Sや、サーバ装置Sが提供するWebサイトからダウンロードすることで入手できる。 Each user owns a mobile terminal (mobile terminal M1 to mobile terminal M3). A mobile terminal is a general smart phone or a tablet terminal. Dedicated application software (hereinafter referred to as "karaoke application") used when using the karaoke device K is installed in the portable terminal. The karaoke application can be obtained by downloading from the server device S or a website provided by the server device S.

携帯端末とカラオケ装置Kは、ペアリングされることで互いに通信可能となる。ペアリングは公知の手法を利用することができる。ペアリングは、たとえば、カラオケ装置Kが設置されたカラオケルームへの入室後、カラオケアプリを起動させた場合に実行される。ペアリングされた後、利用者は、カラオケアプリを利用して、たとえばカラオケ装置Kに対してログイン操作を行ったり、カラオケ装置Kに付属するリモコン装置と同様の操作(楽曲の予約等)を行うことができる。 The portable terminal and the karaoke machine K can communicate with each other by being paired. Pairing can utilize a well-known method. Pairing is performed, for example, when a karaoke application is started after entering a karaoke room in which the karaoke device K is installed. After being paired, the user uses the karaoke application to perform, for example, a login operation to the karaoke device K, or perform the same operation as the remote control device attached to the karaoke device K (reservation of music, etc.). be able to.

==サーバ装置==
サーバ装置Sは、カラオケ装置Kに関する各種情報を管理するコンピュータである。図2はサーバ装置Sのハードウェア構成例を示す図である。サーバ装置Sは、記憶部10、通信部20、及び制御部30を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。
== server device ==
The server device S is a computer that manages various information regarding the karaoke device K. FIG. FIG. 2 is a diagram showing a hardware configuration example of the server device S. As shown in FIG. The server device S includes a storage unit 10 , a communication unit 20 and a control unit 30 . Each configuration is connected to bus B via an interface (not shown).

記憶部10は、各種のデータを記憶する大容量の記憶装置である。本実施形態に係る記憶部10の記憶領域の一部は、利用者情報記憶部10aとして機能する。 The storage unit 10 is a large-capacity storage device that stores various data. Part of the storage area of the storage unit 10 according to this embodiment functions as a user information storage unit 10a.

利用者情報記憶部10aは、声質パラメータを利用者識別情報と関連付けて記憶する。 The user information storage unit 10a stores the voice quality parameter in association with the user identification information.

声質パラメータは、利用者の声質を示すパラメータである。利用者の声質は、声の周波数特性に基づいて決定される。声質パラメータは、たとえば利用者の歌唱音声から公知の技術(特開2014-048472号公報等)を用いて抽出することができる。利用者識別情報は、利用者を識別するための利用者IDのような、各利用者に固有の情報である。 A voice quality parameter is a parameter that indicates the voice quality of the user. A user's voice quality is determined based on the frequency characteristics of the voice. The voice quality parameter can be extracted, for example, from the user's singing voice using a known technique (Japanese Patent Application Laid-Open No. 2014-048472, etc.). User identification information is information unique to each user, such as a user ID for identifying the user.

声質パラメータは、カラオケ装置Kを利用する前に予め取得しておくことができる。たとえば、過去にあるカラオケ装置を利用して利用者U1がカラオケ歌唱を行った場合、当該あるカラオケ装置は、利用者U1の歌唱音声から声質パラメータを抽出し、利用者U1の利用者識別情報(利用者ID)と関連付けてサーバ装置Sに送信する。利用者情報記憶部10aは、利用者U1の声質パラメータを利用者IDと関連付けて記憶する。 The voice quality parameter can be obtained in advance before using the karaoke machine K. For example, when the user U1 sings karaoke using a karaoke machine in the past, the karaoke machine extracts voice quality parameters from the singing voice of the user U1, and uses the user identification information ( (user ID) and transmitted to the server device S. The user information storage unit 10a stores the voice quality parameter of the user U1 in association with the user ID.

なお、声質パラメータには、年齢や性別に関する属性情報が含まれていてもよい。 Note that the voice quality parameter may include attribute information regarding age and gender.

通信部20は、サーバ装置Sとカラオケ装置Kとを接続するためのインターフェースを提供する。制御部30は、サーバ装置Sにおける各種の制御を行う。制御部30は、CPUおよびメモリ(いずれも図示なし)を備える。CPUは、メモリに記憶されたプログラムを実行することにより各種の機能を実現する。 The communication unit 20 provides an interface for connecting the server device S and the karaoke device K. FIG. The control unit 30 performs various controls in the server device S. FIG. The control unit 30 includes a CPU and memory (both not shown). The CPU implements various functions by executing programs stored in the memory.

==カラオケ装置==
[ハードウェア構成]
カラオケ装置Kは、楽曲のカラオケ演奏、及び利用者がカラオケ歌唱を行うための装置である。
==Karaoke Device==
[Hardware configuration]
The karaoke device K is a device for performing karaoke music and for users to sing karaoke songs.

図3に示すように、カラオケ装置Kは、カラオケ本体40、スピーカ50、表示装置60、マイク70、及びリモコン装置80を備える。 As shown in FIG. 3, the karaoke machine K includes a karaoke main body 40, a speaker 50, a display device 60, a microphone 70, and a remote control device 80. As shown in FIG.

スピーカ50はカラオケ本体40からの放音信号に基づいて放音するための構成である。表示装置60はカラオケ本体40からの信号に基づいて映像や画像を画面に表示するための構成である。マイク70は利用者の歌唱音声(マイク70への入力音声)をアナログの音声信号に変換してカラオケ本体40に入力するための構成である。リモコン装置80は、カラオケ本体40に対する各種操作をおこなうための装置である。利用者はリモコン装置80を用いてカラオケ歌唱を希望する楽曲の検索や選曲(予約)等を行うことができる。リモコン装置80の表示画面には各種操作の指示入力を行うためのアイコン等が表示される。 The speaker 50 is configured to emit sound based on the sound emission signal from the karaoke main body 40 . The display device 60 is configured to display video and images on the screen based on the signal from the karaoke main body 40 . The microphone 70 is configured to convert the user's singing voice (input voice to the microphone 70 ) into an analog voice signal and input it to the karaoke main body 40 . The remote control device 80 is a device for performing various operations on the karaoke main body 40 . The user can use the remote control device 80 to search for and select (reserve) a desired song for karaoke singing. The display screen of the remote control device 80 displays icons and the like for inputting instructions for various operations.

カラオケ本体40は、選曲された楽曲のカラオケ演奏制御、歌詞等の表示制御、マイク70を通じて入力された音声信号の処理といった、カラオケ歌唱に関する各種の制御を行う。図3に示すように、カラオケ本体40は、制御部41、通信部42、記憶部43、音響処理部44、表示処理部45、及び操作部46を備える。各構成はインターフェース(図示なし)を介してバスBに接続されている。 The karaoke main body 40 performs various controls related to karaoke singing, such as karaoke performance control of selected music, display control of lyrics and the like, and processing of audio signals input through the microphone 70 . As shown in FIG. 3 , the karaoke main body 40 includes a control section 41 , a communication section 42 , a storage section 43 , a sound processing section 44 , a display processing section 45 and an operation section 46 . Each configuration is connected to bus B via an interface (not shown).

制御部41は、CPUおよびメモリ(いずれも図示なし)を備える。CPUは、メモリに記憶された動作プログラムを実行することにより各種の制御機能を実現する。メモリは、CPUに実行されるプログラムを記憶したり、プログラムの実行時に各種情報を一時的に記憶したりする記憶装置である。 The control unit 41 includes a CPU and memory (both not shown). The CPU implements various control functions by executing operating programs stored in the memory. The memory is a storage device that stores programs to be executed by the CPU and temporarily stores various types of information during execution of the programs.

通信部42は、ルーター(図示なし)を介してカラオケ本体40を通信回線に接続するためのインターフェースを提供する。 The communication unit 42 provides an interface for connecting the karaoke main unit 40 to a communication line via a router (not shown).

記憶部43は、各種のデータを記憶する大容量の記憶装置であり、たとえばハードディスクドライブなどである。 The storage unit 43 is a large-capacity storage device that stores various data, such as a hard disk drive.

音響処理部44は、制御部41の制御に基づき、楽曲に対するカラオケ演奏の制御およびマイク70を通じて入力された歌唱音声信号の処理を行う。表示処理部45は、制御部41の制御に基づき、表示装置60やリモコン装置80における各種表示に関する処理を行う。たとえば、表示処理部45は、カラオケ演奏時における背景映像に歌詞テロップや各種アイコンが重ねられた映像を表示装置60に表示させる。或いは、表示処理部45は、リモコン装置80の表示画面に操作入力用の各種アイコンを表示させる。 Under the control of the control unit 41 , the sound processing unit 44 controls karaoke performance of music and processes singing voice signals input through the microphone 70 . The display processing unit 45 performs processing related to various displays on the display device 60 and the remote control device 80 under the control of the control unit 41 . For example, the display processing unit 45 causes the display device 60 to display an image in which lyric telops and various icons are superimposed on a background image during a karaoke performance. Alternatively, the display processing unit 45 causes the display screen of the remote control device 80 to display various icons for operation input.

操作部46は、パネルスイッチおよびリモコン受信回路などからなり、利用者によるカラオケ装置Kのパネルスイッチあるいはリモコン装置80の操作に応じて選曲信号、演奏中止信号などの操作信号を制御部41に対して出力する。制御部41は、操作部46からの操作信号を検出し、対応する処理を実行する。 The operation unit 46 includes a panel switch, a remote control receiving circuit, and the like, and transmits operation signals such as a music selection signal and a performance stop signal to the control unit 41 in accordance with the user's operation of the panel switch of the karaoke machine K or the remote control device 80. Output. The control unit 41 detects an operation signal from the operation unit 46 and executes corresponding processing.

[ソフトウェア構成]
図4はカラオケ本体40のソフトウェア構成例を示す図である。カラオケ本体40は、楽曲データ記憶部100、ログイン処理部200、抽出部300、作成部400、及び送信処理部500を備える。楽曲データ記憶部100は、記憶部43の記憶領域の一部として構成される。ログイン処理部200、抽出部300、作成部400、及び送信処理部500は、制御部41のCPUがメモリに記憶されるプログラムを実行することにより実現される。
[Software configuration]
FIG. 4 is a diagram showing an example of the software configuration of the karaoke main body 40. As shown in FIG. The karaoke main body 40 includes a music data storage section 100 , a login processing section 200 , an extraction section 300 , a creation section 400 and a transmission processing section 500 . The music data storage section 100 is configured as part of the storage area of the storage section 43 . The login processing unit 200, the extraction unit 300, the creation unit 400, and the transmission processing unit 500 are implemented by the CPU of the control unit 41 executing programs stored in the memory.

(楽曲データ記憶部)
楽曲データ記憶部100は、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する。各楽曲には、個々の楽曲を特定するための楽曲IDが付与されている。
(music data storage unit)
The song data storage unit 100 stores performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language for each song. memorize to Each song is given a song ID for identifying the individual song.

演奏データはカラオケ演奏音の元となるデータである。音響処理部44は、演奏データに基づいてカラオケ演奏を行う。 Performance data is data that is the source of karaoke performance sounds. The sound processing unit 44 performs karaoke performance based on the performance data.

第1の歌詞データ及び第2の歌詞データは、楽曲に対応する歌詞テロップを表示装置60等に表示させるためのデータである。第1の歌詞データは、第1の言語により構成されている。第2の歌詞データは、第1の言語とは異なる第2の言語により構成されている。たとえば、第1の言語が「日本語」の場合、第2の言語は日本語以外の言語(たとえば「英語」)である。第1の歌詞データ及び第2の歌詞データが示す歌詞は、それぞれの言語に応じて、カラオケ演奏と合うように分節されている。 The first lyric data and the second lyric data are data for displaying the lyric telop corresponding to the music on the display device 60 or the like. The first lyric data is composed of a first language. The second lyric data is composed of a second language different from the first language. For example, if the first language is "Japanese", the second language is a language other than Japanese (eg, "English"). The lyrics indicated by the first lyric data and the second lyric data are segmented according to each language so as to match the karaoke performance.

(ログイン処理部)
ログイン処理部200は、カラオケ装置Kを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者識別情報を取得する。
(Login processing part)
The login processing unit 200 acquires the user identification information of the user who uses the karaoke machine K according to the login operation from the portable terminal owned by the user.

利用者は、カラオケ装置Kの利用にあたって、最初にログイン操作(自己の利用者IDやパスワードの入力)を行なう。具体的に、利用者は、自己の携帯端末でカラオケアプリを起動させてペアリングが完了した後、利用者ID及びパスワードを入力する。携帯端末は、入力された利用者ID及びパスワードを、携帯端末を識別するための情報(端末ID)と併せてカラオケ装置Kに送信する。ログイン処理部200は、利用者ID等を取得し、当該利用者ID等に基づいて利用者がカラオケ装置Kにログインする処理を行う。ログイン処理を行うことにより、カラオケ装置Kは、現在の利用者(及び利用者が所有する携帯端末)を特定することができる。複数の利用者でカラオケ装置Kを利用する場合、利用者毎にログイン操作を行う。 When using the karaoke machine K, the user first performs a login operation (entering his/her own user ID and password). Specifically, the user activates the karaoke application on his/her own mobile terminal and inputs the user ID and password after the pairing is completed. The mobile terminal transmits the inputted user ID and password to the karaoke machine K together with information (terminal ID) for identifying the mobile terminal. The login processing unit 200 acquires a user ID or the like, and performs processing for the user to log in to the karaoke apparatus K based on the user ID or the like. By performing the login process, the karaoke apparatus K can identify the current user (and the mobile terminal owned by the user). When a plurality of users use the karaoke apparatus K, a login operation is performed for each user.

ここで、図1の例において、利用者U1~利用者U3が自己の携帯端末を介してカラオケ装置Kにログインした後、利用者U1が携帯端末M1を介して楽曲Xの予約を行うとする。また、楽曲Xには、日本人アーティストが歌唱するオリジナルバージョン(日本語)と、米国人アーティストが歌唱するカバーバージョン(英語)があるとする。この場合、楽曲データ記憶部100には、楽曲Xの演奏データ、日本語による歌詞データ、及び英語による歌詞データが記憶されている。 Here, in the example of FIG. 1, after users U1 to U3 have logged into the karaoke machine K via their mobile terminals, user U1 reserves music X via mobile terminal M1. . It is also assumed that the song X has an original version (Japanese) sung by a Japanese artist and a cover version (English) sung by an American artist. In this case, the music data storage unit 100 stores performance data of music X, lyric data in Japanese, and lyric data in English.

利用者U1は、楽曲Xの予約にあたり、オリジナルバージョンとカバーバージョンのいずれのカラオケ歌唱を行うかを選択する。利用者U1は日本人であるため、オリジナルバージョンを選択したとする。この場合、第1の言語は「日本語」であり、第2の言語は「英語」となる。携帯端末M1は、楽曲Xの楽曲ID、利用者が選択したバージョンを示すバージョン情報、及び利用者U1の利用者IDをカラオケ装置Kに送信する。 The user U1 selects which karaoke version, the original version or the cover version, is to be sung when reserving the song X. - 特許庁Since the user U1 is Japanese, it is assumed that the original version is selected. In this case, the first language is "Japanese" and the second language is "English". The portable terminal M1 transmits the music ID of the music X, version information indicating the version selected by the user, and the user ID of the user U1 to the karaoke machine K. FIG.

制御部41は、受信した楽曲IDに基づいて楽曲データ記憶部100から楽曲Xの演奏データを読み出し、音響処理部44を制御して、楽曲Xのカラオケ演奏を行う。また、制御部41は、受信したバージョン情報に基づいて楽曲データ記憶部100から楽曲Xの日本語による歌詞データを読み出し、表示処理部45を制御して、当該歌詞データに基づく歌詞テロップ(日本語の歌詞テロップ)を表示装置60やリモコン装置80に表示する。この例において、日本語による歌詞データは「第1の歌詞データ」に相当する。 The control unit 41 reads the performance data of the music piece X from the music piece data storage unit 100 based on the received music piece ID, and controls the sound processing unit 44 to play the music piece X in karaoke. Further, the control unit 41 reads the Japanese lyric data of the music piece X from the music data storage unit 100 based on the received version information, and controls the display processing unit 45 to display lyric telops (Japanese text) based on the lyric data. lyrics telop) is displayed on the display device 60 or the remote control device 80 . In this example, the lyric data in Japanese corresponds to "first lyric data".

(抽出部)
抽出部300は、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。
(Extraction part)
The extraction unit 300 extracts singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song. Extract.

音高データや音量データの抽出は、公知の手法(たとえば、特開2011-215292号公報)を用いることができる。 A known technique (for example, JP-A-2011-215292) can be used to extract pitch data and volume data.

上記例において楽曲Xの予約を行った利用者U1は、楽曲Xのカラオケ演奏に合わせて、日本語の歌詞テロップを参照しながら楽曲Xのカラオケ歌唱を行う。 In the above example, the user U1 who has made a reservation for the song X performs karaoke singing of the song X while referring to Japanese telops of the lyrics.

抽出部300は、楽曲Xのカラオケ演奏に合わせて利用者U1が日本語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する。 The extraction unit 300 extracts singing voice data including pitch data and volume data from the singing voice obtained when the user U1 sings karaoke in Japanese along with the karaoke performance of the song X.

(作成部)
作成部400は、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第2の歌詞データ、及びカラオケ歌唱を行う利用者の利用者識別情報に応じてサーバ装置Sから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する。
(creation department)
The creating unit 400 creates voice quality parameters acquired from the server device S in accordance with the extracted singing voice data, the second lyric data of a certain song read in accordance with the karaoke performance, and the user identification information of the user who sings karaoke. create a synthesized singing voice signal based on

合成歌唱音声信号の作成は、公知の手法(たとえば、特開2007-240564号公報)を用いて行うことができる。たとえば、作成部400は、第2の歌詞データに基づいて歌唱音声信号の元となる音声波形を合成し、歌唱音声データに含まれる音高データ及び音量データを、合成した音声波形に適用して音高変化及び音量変化を付与した歌唱音声信号を生成する。作成部400は、生成した歌唱音声信号に、声質パラメータに基づいたイコライジング処理やフォルマント・フィルタ処理などを施すことにより、合成歌唱音声信号を作成する。 A synthesized singing voice signal can be created using a known technique (eg, Japanese Patent Application Laid-Open No. 2007-240564). For example, the creating unit 400 synthesizes a voice waveform that is the source of the singing voice signal based on the second lyric data, and applies pitch data and volume data included in the singing voice data to the synthesized voice waveform. A singing voice signal to which pitch change and volume change are added is generated. The creating unit 400 creates a synthesized singing voice signal by subjecting the generated singing voice signal to equalizing processing, formant filtering, etc. based on voice quality parameters.

声質パラメータは利用者の声そのものを規定し、歌唱音声データは利用者の歌い方を規定する。従って、これらに基づいて作成した合成歌唱音声信号に基づく音声は、利用者がある楽曲を第2の言語でカラオケ歌唱した場合の音声と類似する。 The voice quality parameter defines the user's voice itself, and the singing voice data defines how the user sings. Therefore, the voice based on the synthesized singing voice signal created based on these is similar to the voice when the user sings a song in karaoke in the second language.

上述のように利用者U1が楽曲Xのカラオケ歌唱を日本語で行った場合、作成部400は、抽出部300により抽出された歌唱音声データを取得する。また、作成部400は、楽曲Xのカラオケ演奏に合わせて楽曲データ記憶部100から楽曲Xの英語の歌詞データを取得する。この例において、英語の歌詞データは「第2の歌詞データ」に相当する。更に、作成部400は、利用者U1の利用者IDに基づいて、サーバ装置Sから利用者U1の声質パラメータを取得する。作成部400は、取得した各データ及びパラメータに基づいて、合成歌唱音声信号を作成する。 As described above, when the user U1 sings the karaoke song X in Japanese, the creating unit 400 acquires the singing voice data extracted by the extracting unit 300 . In addition, the creation unit 400 acquires the English lyric data of the song X from the song data storage unit 100 in time with the karaoke performance of the song X. FIG. In this example, the English lyric data corresponds to the "second lyric data". Furthermore, the creating unit 400 acquires the voice quality parameter of the user U1 from the server device S based on the user ID of the user U1. The creating unit 400 creates a synthesized singing voice signal based on the acquired data and parameters.

(送信処理部)
送信処理部500は、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する。
(Transmission processing unit)
The transmission processing unit 500 transmits the created synthesized singing voice signal to portable terminals owned by audience members who are users other than the karaoke singing users among the plurality of users who have performed the login operation.

上述のように利用者U1~利用者U3がログイン操作を行った後、利用者U1が楽曲Xのカラオケ歌唱を行う場合、利用者U2及び利用者U3は聴衆にあたる。送信処理部500は、利用者U2が所有する携帯端末M2、及び利用者U3が所有する携帯端末M3に対し、作成した合成歌唱音声信号を送信する。 After the users U1 to U3 perform the login operations as described above, when the user U1 sings the song X in karaoke, the users U2 and U3 are the audience. The transmission processing unit 500 transmits the created synthesized singing voice signal to the mobile terminal M2 owned by the user U2 and the mobile terminal M3 owned by the user U3.

合成歌唱音声信号を受信した携帯端末は、当該携帯端末が備えるスピーカを介して、合成歌唱音声信号に基づく音声を放音する。 The mobile terminal that has received the synthesized singing voice signal emits a sound based on the synthesized singing voice signal through a speaker included in the mobile terminal.

==カラオケシステムにおける処理について==
次に、図5を参照して本実施形態に係るカラオケシステム1における処理の具体例について述べる。図5は、カラオケシステム1における処理例を示すフローチャートである。この例では、利用者U1~利用者U3がカラオケ装置Kを利用する。また、サーバ装置Sの利用者情報記憶部10aは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶しているとする。また、楽曲Xは、日本語のバージョンと英語のバージョンがあるとする。更に、カラオケ装置Kの楽曲データ記憶部100は、楽曲Xについて、カラオケ演奏を行うための演奏データ、日本語による歌詞データ、及び英語による歌詞データを記憶しているとする。
==About the processing in the karaoke system==
Next, a specific example of processing in the karaoke system 1 according to this embodiment will be described with reference to FIG. FIG. 5 is a flow chart showing an example of processing in the karaoke system 1. As shown in FIG. In this example, the karaoke machine K is used by users U1 to U3. It is also assumed that the user information storage unit 10a of the server device S stores a voice quality parameter indicating the voice quality of the user in association with user identification information for identifying the user. Also, it is assumed that song X has a Japanese version and an English version. Further, it is assumed that the music data storage unit 100 of the karaoke machine K stores performance data for karaoke performance, Japanese lyric data, and English lyric data for the music X. FIG.

各利用者は、自己の携帯端末においてカラオケアプリを起動させ、カラオケ装置Kに対してログイン操作を行う。 Each user activates a karaoke application on his/her mobile terminal and performs a login operation to the karaoke apparatus K.

ログイン処理部200は、各携帯端末を介して行われたログイン操作に応じて、各利用者の利用者IDを取得する(ログイン処理。ステップ10)。 The login processing unit 200 acquires the user ID of each user according to the login operation performed via each mobile terminal (login processing, step 10).

その後、利用者U1が、楽曲Xについて日本語のバージョンでの歌唱予約を行ったとする。カラオケ装置Kは、楽曲Xの演奏データを楽曲データ記憶部100から読み出し、楽曲Xのカラオケ演奏を開始する(カラオケ演奏の開始。ステップ11)。 After that, assume that the user U1 makes a singing reservation for the Japanese version of the song X. The karaoke apparatus K reads the performance data of the music piece X from the music piece data storage unit 100 and starts the karaoke performance of the music piece X (start of karaoke performance, step 11).

利用者U1がカラオケ歌唱を開始する前(楽曲Xの前奏中)に、作成部400は、利用者U1の利用者IDをサーバ装置Sに送信する(利用者IDの送信。ステップ12)。 Before the user U1 starts singing karaoke (during the prelude of the music piece X), the creation unit 400 transmits the user ID of the user U1 to the server device S (transmission of the user ID, step 12).

サーバ装置Sは、ステップ12で送信された利用者IDに関連付けられた声質パラメータを利用者情報記憶部10aから読み出し、カラオケ装置Kに送信する(声質パラメータの送信。ステップ13)。 The server device S reads the voice quality parameter associated with the user ID transmitted in step 12 from the user information storage section 10a and transmits it to the karaoke machine K (transmission of voice quality parameter; step 13).

その後、楽曲Xの前奏が終了し、歌唱区間(カラオケ歌唱を行うための歌詞が付与されている区間)のカラオケ演奏が開始される。カラオケ装置Kは、表示装置60に、日本語による歌詞データに基づく歌詞テロップを表示させる。利用者U1は、歌詞テロップを参照しながら、楽曲Xのカラオケ演奏に合わせて、日本語でカラオケ歌唱を行う(カラオケ歌唱の開始。ステップ14)。 After that, the prelude of the song X ends, and the karaoke performance of the singing section (the section in which the lyrics for singing karaoke are given) is started. The karaoke machine K causes the display device 60 to display lyric telops based on the lyric data in Japanese. The user U1 sings karaoke in Japanese along with the karaoke performance of the song X while referring to the telop of the lyrics (start of karaoke singing, step 14).

抽出部300は、利用者U1の歌唱音声から、歌唱音声データを抽出する(歌唱音声データの抽出。ステップ15)。 The extraction unit 300 extracts singing voice data from the singing voice of the user U1 (extraction of singing voice data, step 15).

作成部400は、ステップ15で抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した楽曲Xの英語による歌詞データ、及びステップ13で送信された利用者U1の声質パラメータに基づいて、合成歌唱音声信号を作成する(合成歌唱音声信号の作成。ステップ16)。 The creating unit 400 generates a synthesized singing voice signal based on the singing voice data extracted in step 15, the lyric data in English of the song X read out in time with the karaoke performance, and the voice quality parameters of the user U1 transmitted in step 13. (Creation of synthesized singing voice signal, step 16).

送信処理部500は、ステップ10でログイン操作を行った複数の利用者のうち、利用者U1のカラオケ歌唱を聴いている利用者U2及び利用者U3が所有する携帯端末それぞれに対し、ステップ16で作成した合成歌唱音声信号を送信する(合成歌唱音声信号の送信。ステップ17)。各携帯端末は、合成歌唱音声信号に基づく音声(利用者U1が楽曲Xを英語でカラオケ歌唱した場合の音声と類似する音声)を放音する。各利用者は、楽曲Xのカラオケ演奏に合わせて、合成歌唱音声信号に基づく音声を聴くことができる。 In step 16, the transmission processing unit 500 sends a message to each of the portable terminals owned by user U2 and user U3 who are listening to karaoke singing by user U1 among the plurality of users who have performed the login operation in step 10. The created synthetic singing voice signal is transmitted (transmission of synthetic singing voice signal, step 17). Each portable terminal emits sound based on the synthesized singing voice signal (sound similar to the sound when the user U1 sings the song X in karaoke in English). Each user can listen to the voice based on the synthesized singing voice signal along with the karaoke performance of the song X.

カラオケ装置Kは、楽曲Xのカラオケ歌唱が終了するまで(ステップ18でYの場合)、ステップ15~ステップ17の処理を繰り返し行う。 The karaoke machine K repeats the processing of steps 15 to 17 until the karaoke singing of the song X is completed (in the case of Y in step 18).

このように、本実施形態に係るカラオケシステム1は、サーバ装置Sとカラオケ装置Kとが通信可能に接続されている。サーバ装置Sは、利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者IDと関連付けて記憶する利用者情報記憶部10aを有する。カラオケ装置Kは、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部100と、カラオケ装置Kを利用する利用者が所有する携帯端末からのログイン操作に応じて、当該利用者の利用者IDを取得するログイン処理部200と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部300と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出したある楽曲の第2の歌詞データ、及びカラオケ歌唱を行う利用者の利用者IDに応じてサーバ装置Sから取得した声質パラメータに基づいて、合成歌唱音声信号を作成する作成部400と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部500と、を有する。 Thus, in the karaoke system 1 according to this embodiment, the server device S and the karaoke device K are connected so as to be able to communicate with each other. The server device S has a user information storage unit 10a that stores a voice quality parameter indicating the voice quality of a user in association with a user ID for identifying the user. The karaoke device K stores performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language for each song. a log-in processing unit 200 for acquiring the user ID of a user using the karaoke apparatus K in response to a log-in operation from a mobile terminal owned by the user using the karaoke apparatus K; and performance data of a certain song. An extraction unit 300 for extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on, and the extracted singing Synthetic singing voice signal is generated based on the voice data, the second lyric data of a certain song read in accordance with the karaoke performance, and the voice quality parameter obtained from the server device S according to the user ID of the user who sings karaoke. Transmission for transmitting the created synthesized singing voice signal to the creating unit 400 that creates it and the mobile terminals owned by the audience who are the users other than the karaoke singing user among the plurality of users who have performed the login operation. and a processing unit 500 .

このようなカラオケシステム1によれば、たとえば利用者U1が楽曲Xについて第1の言語によりカラオケ歌唱を行う際に、利用者U2及び利用者U3は、自己の携帯端末を介して、利用者U1が楽曲Xについて第2の言語によりカラオケ歌唱を行った場合と類似する音声を聴くことができる。従って、第2の言語を母国語とする利用者は、楽曲Xのカラオケ演奏と当該音声を合わせて歌として聴くことができる。また、第2の言語による歌詞が音声として放音されるため、第2の言語を母国語とする利用者は、聴覚的に歌詞の内容を理解できる。すなわち、本実施形態に係るカラオケシステム1によれば、カラオケ歌唱を行う利用者と母国語が異なる利用者であっても、カラオケ演奏に合わせて歌を楽しむことができる。 According to such a karaoke system 1, for example, when user U1 sings karaoke for song X in the first language, user U2 and user U3, via their own portable terminals, sing karaoke to user U1. can hear sounds similar to those of singing karaoke for song X in the second language. Therefore, a user whose native language is the second language can listen to the karaoke performance of the song X and the corresponding voice together as a song. In addition, since the lyrics in the second language are emitted as voice, users whose native language is the second language can understand the content of the lyrics aurally. That is, according to the karaoke system 1 according to the present embodiment, even users whose mother tongue is different from that of users who sing karaoke can enjoy singing along with karaoke performances.

なお、上記実施形態において、送信処理部500は、合成歌唱音声信号と併せて第2の歌詞データを送信してもよい。この場合、携帯端末は、当該携帯端末が備える表示画面に、第2の歌詞データに基づく歌詞テロップを表示できる。従って、聴衆はカラオケ歌唱を視覚的にも楽しむことができる。 In addition, in the above embodiment, the transmission processing unit 500 may transmit the second lyric data together with the synthesized singing voice signal. In this case, the mobile terminal can display the lyric telop based on the second lyric data on the display screen of the mobile terminal. Therefore, the audience can visually enjoy karaoke singing.

また、楽曲データ記憶部100は、楽曲毎に、第2の言語によるカラオケ歌唱を評価するためのリファレンスデータを記憶することができる。この場合、抽出部300は、抽出した歌唱音声データを、リファレンスデータに基づいて補正して出力することができる。 The song data storage unit 100 can also store reference data for evaluating karaoke singing in the second language for each song. In this case, the extraction unit 300 can correct the extracted singing voice data based on the reference data and output it.

リファレンスデータは、楽曲の主旋律等を示す音高データである。リファレンスデータは、利用者によるカラオケ歌唱を採点する際の基準として用いられる。 The reference data is pitch data indicating the main melody of a piece of music. The reference data are used as criteria for scoring karaoke singing by users.

たとえば、上記実施形態の例において、利用者U1の歌唱音声から抽出された音高データは、日本語でカラオケ歌唱を行った場合の音高に基づく。ところで、ある歌詞を日本語で歌唱した場合の音高と英語で歌唱した場合の音高を比べたときに、先頭の音高が一致している場合であっても音節としてみると音高のずれが生じている場合もありうる。 For example, in the example of the above-described embodiment, the pitch data extracted from the singing voice of user U1 is based on the pitch when karaoke is sung in Japanese. By the way, when comparing the pitch of a certain lyric sung in Japanese and the pitch of the song sung in English, even if the pitch at the beginning of the song is the same, the pitch is different when viewed as a syllable. There may be deviations.

そこで、抽出部300は、抽出した音高データのうち、第1の言語と第2の言語で音高が異なる部分については、第2の言語のリファレンスデータが示す音高で置き換える。 Therefore, the extracting unit 300 replaces the portions of the extracted pitch data that differ in pitch between the first language and the second language with the pitch indicated by the reference data of the second language.

作成部400は、補正された歌唱音声データを用いて合成歌唱音声信号を作成する。このような合成歌唱音声信号に基づく音声は、第2の言語を母国語とする利用者がカラオケ歌唱した場合に近い音声である。従って、たとえば第2の言語が英語の場合、聴衆は、英語としてより自然な音声として聴くことができる。 The creation unit 400 creates a synthesized singing voice signal using the corrected singing voice data. A voice based on such a synthesized singing voice signal is a voice similar to karaoke singing by a user whose native language is the second language. Therefore, if the second language is English, for example, the audience can hear the speech as more natural as English.

<第2実施形態>
次に、第2実施形態に係るカラオケシステムについて説明する。本実施形態では、カラオケ歌唱を行っている利用者と母国語が異なる利用者に対してのみ合成歌唱音声信号を送信する例について述べる。第1実施形態と同様の構成については詳細な説明を省略する。
<Second embodiment>
Next, a karaoke system according to the second embodiment will be described. In this embodiment, an example will be described in which a synthesized singing voice signal is transmitted only to users whose mother tongue is different from that of users singing karaoke. A detailed description of the configuration similar to that of the first embodiment will be omitted.

本実施形態に係る利用者情報記憶部10aは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。 The user information storage unit 10a according to the present embodiment stores native language information indicating the native language of the user in association with user identification information.

たとえば、図1に示した利用者U1及び利用者U2の母国語情報は「日本語」である。一方、利用者U3の母国語情報は「英語」である。母国語情報の記憶は、たとえば声質データを記憶する際に併せて行うことができる。 For example, the native language information of user U1 and user U2 shown in FIG. 1 is "Japanese". On the other hand, user U3's native language information is "English". The native language information can be stored together with voice quality data, for example.

本実施形態に係る送信処理部500は、聴衆の母国語情報に基づいて、第2の言語を母国語とする聴衆のみに合成歌唱音声信号を送信する。 The transmission processing unit 500 according to the present embodiment transmits the synthesized singing voice signal only to the audience whose native language is the second language based on the audience's native language information.

たとえば、第1実施形態と同様、利用者U1が楽曲Xのカラオケ歌唱を日本語で行ったとする。 For example, as in the first embodiment, assume that user U1 sings song X in karaoke in Japanese.

この場合、カラオケ装置Kは、サーバ装置Sに対して聴衆である利用者U2及び利用者U3の利用者IDを送信する。サーバ装置Sは、利用者U2及び利用者U3の利用者IDに基づいて、各利用者の母国語情報を利用者情報記憶部10aから読み出し、カラオケ装置Kに送信する。 In this case, the karaoke machine K transmits the user IDs of the audience members U2 and U3 to the server device S. FIG. The server device S reads the native language information of each user from the user information storage unit 10a based on the user IDs of the user U2 and the user U3, and transmits it to the karaoke machine K. FIG.

その後、作成部400は、利用者U1のカラオケ歌唱に伴って合成歌唱音声信号を作成する。 After that, the creating unit 400 creates a synthesized singing voice signal in accompaniment with user U1's karaoke singing.

送信処理部500は、作成された合成歌唱音声信号を送信する際に、当該信号の作成に用いた第2の歌詞データに対応する第2の言語を特定する。送信処理部500は、特定した第2の言語と、サーバ装置Sから受信した母国語情報に対応する言語とを比較する。送信処理部500は、第2の言語と母国語情報に対応する言語が一致する利用者に対してのみ合成歌唱音声信号を送信する。 The transmission processing unit 500 specifies the second language corresponding to the second lyric data used to generate the synthesized singing voice signal when transmitting the generated synthesized singing voice signal. The transmission processing unit 500 compares the specified second language with the language corresponding to the native language information received from the server device S. FIG. The transmission processing unit 500 transmits the synthesized singing voice signal only to users whose native language information matches the second language.

上述の通り、利用者U1は楽曲Xのカラオケ歌唱を日本語で行っている。よって、送信処理部500は、楽曲Xの第2の言語(英語)と、母国語情報に対応する言語が一致する利用者U3(母国語が英語)について合成歌唱音声信号を送信する。一方、送信処理部500は、楽曲Xの第2の言語(英語)と、母国語情報に対応する言語が一致しない利用者U2(母国語が日本語)については合成歌唱音声信号を送信しない。 As described above, the user U1 sings the song X in karaoke in Japanese. Therefore, the transmission processing unit 500 transmits the synthesized singing voice signal for the user U3 whose native language is English whose language corresponds to the second language (English) of the music piece X and the language corresponding to the native language information. On the other hand, the transmission processing unit 500 does not transmit the synthesized singing voice signal to the user U2 (whose mother tongue is Japanese) whose language corresponding to the mother tongue information does not match the second language (English) of the song X.

このように、本実施形態に係るカラオケシステム1における利用者情報記憶部10aは、利用者の母国語を示す母国語情報を、利用者識別情報と関連付けて記憶する。また、送信処理部500は、聴衆の母国語情報に基づいて、第2の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信する。 Thus, the user information storage unit 10a in the karaoke system 1 according to the present embodiment stores the native language information indicating the native language of the user in association with the user identification information. Further, the transmission processing unit 500 transmits the synthesized singing voice signal only to the audience whose mother tongue is the second language based on the audience's mother tongue information.

このように、第2の言語と同じ母国語である利用者に対してのみ合成歌唱音声信号を送信することにより、当該利用者はカラオケ演奏に合わせて歌を楽しむことができる。一方、カラオケシステム1は、第2の言語を母国語としない利用者(たとえば、カラオケ歌唱されている第1の言語を母国語とする利用者)の携帯端末に対して、合成歌唱音声信号を送信する処理を省略できる。 In this way, by transmitting the synthesized singing voice signal only to the users whose native language is the same as the second language, the users can enjoy singing along with the karaoke performance. On the other hand, the karaoke system 1 transmits a synthesized singing voice signal to the mobile terminal of a user whose mother tongue is not the second language (for example, a user whose mother tongue is the first language being sung in karaoke). You can omit the sending process.

<その他>
上記実施形態におけるカラオケシステム1をカラオケ装置Kのみで構成することも可能である。
<Others>
It is also possible to configure the karaoke system 1 in the above embodiment only with the karaoke machine K. FIG.

このようなカラオケ装置Kは、カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部100と、カラオケ装置Kの利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部200と、ある楽曲の演奏データに基づくカラオケ演奏に合わせて利用者が第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部300と、抽出した歌唱音声データ、カラオケ演奏に合わせて読み出した第2の歌詞データ、及びカラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部400と、ログイン操作を行った複数の利用者のうち、カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した合成歌唱音声信号を送信する送信処理部500と、を有する。 Such a karaoke apparatus K converts performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language into music. and a login processing unit 200 for acquiring user identification information of the user of the karaoke machine K according to the login operation performed via the portable terminal owned by the user of the karaoke machine K. , an extraction unit for extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song 300, and a creation unit 400 that creates a synthesized singing voice signal based on the extracted singing voice data, the second lyric data read in accordance with the karaoke performance, and the voice quality parameter indicating the voice quality of the user singing karaoke. , a transmission processing unit 500 that transmits the created synthesized singing voice signal to the mobile terminals owned by the audience who are users other than the karaoke singing users among the plurality of users who have performed the login operation. have.

この例において、声質パラメータは、たとえばサーバ装置Sから取得することができる。また、サーバ装置Sが備える利用者情報記憶部10aに相当する構成をカラオケ装置K側に設けてもよい。この場合、カラオケ装置Kが備える記憶部43の記憶領域の一部が利用者情報記憶部10aとして機能する。或いは、声質パラメータは、カラオケ装置Kを利用する際に都度、取得してもよい。 In this example, the voice quality parameters can be obtained from the server device S, for example. Also, a configuration corresponding to the user information storage unit 10a included in the server device S may be provided on the karaoke device K side. In this case, part of the storage area of the storage section 43 provided in the karaoke machine K functions as the user information storage section 10a. Alternatively, the voice quality parameter may be obtained each time the karaoke machine K is used.

上記実施形態では、一の楽曲について異なる言語による歌詞データが2つ(第1の歌詞データ及び第2の歌詞データ)記憶されていた。一方、一の楽曲について、異なる言語による歌詞データが3つ以上(たとえば、日本語による歌詞データ、英語による歌詞データ、及び中国語による歌詞データ)が記憶されていてもよい。 In the above embodiment, two sets of lyric data (first lyric data and second lyric data) in different languages are stored for one piece of music. On the other hand, three or more pieces of lyric data in different languages (for example, lyric data in Japanese, lyric data in English, and lyric data in Chinese) may be stored for one song.

上記実施形態は、例として提示したものであり、発明の範囲を限定するものではない。上記の構成は、適宜組み合わせて実施することが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 The above embodiments are presented as examples and are not intended to limit the scope of the invention. The above configurations can be implemented in combination as appropriate, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. The above-described embodiments and modifications thereof are included in the scope and spirit of the invention as well as the scope of the invention described in the claims and their equivalents.

1 カラオケシステム
10a 利用者情報記憶部
100 楽曲データ記憶部
200 ログイン処理部
300 抽出部
400 作成部
500 送信処理部
K カラオケ装置
S サーバ装置
1 karaoke system 10a user information storage unit 100 music data storage unit 200 login processing unit 300 extraction unit 400 creation unit 500 transmission processing unit K karaoke device S server device

Claims (5)

サーバ装置とカラオケ装置とが通信可能に接続されたカラオケシステムであって、
前記サーバ装置は、
利用者の声質を示す声質パラメータを、当該利用者を識別するための利用者識別情報と関連付けて記憶する利用者情報記憶部を有し、
前記カラオケ装置は、
カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、
前記カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記ある楽曲の第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の利用者識別情報に応じて前記サーバ装置から取得した前記声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケシステム。
A karaoke system in which a server device and a karaoke device are communicably connected,
The server device
a user information storage unit that stores a voice quality parameter indicating the voice quality of the user in association with user identification information for identifying the user;
The karaoke device is
A song data storage unit that stores, for each song, performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language. When,
A login processing unit that acquires user identification information of the user in response to a login operation performed via a mobile terminal owned by a user of the karaoke device;
Extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song. Department and
The extracted singing voice data, the second lyric data of the certain song read in accordance with the karaoke performance, and the voice quality parameter acquired from the server device according to the user identification information of the user who sings the karaoke. a creating unit that creates a synthesized singing voice signal based on
A transmission processing unit that transmits the created synthetic singing voice signal to a mobile terminal owned by an audience member who is a user other than the karaoke singing user among the plurality of users who have performed the login operation;
karaoke system.
前記送信処理部は、前記合成歌唱音声信号と併せて前記第2の歌詞データを送信することを特徴とする請求項1記載のカラオケシステム。 2. The karaoke system according to claim 1, wherein said transmission processing unit transmits said second lyric data together with said synthesized singing voice signal. 前記楽曲データ記憶部は、楽曲毎に、前記第2の言語によるカラオケ歌唱を評価するためのリファレンスデータを記憶し、
前記抽出部は、抽出した前記歌唱音声データを、前記リファレンスデータに基づいて補正して出力することを特徴とする請求項1または2記載のカラオケシステム。
The song data storage unit stores reference data for evaluating karaoke singing in the second language for each song,
3. The karaoke system according to claim 1, wherein the extracting unit corrects the extracted singing voice data based on the reference data and outputs the corrected singing voice data.
前記利用者情報記憶部は、前記利用者の母国語を示す母国語情報を、前記利用者識別情報と関連付けて記憶し、
前記送信処理部は、前記聴衆の母国語情報に基づいて、前記第2の言語を母国語とする聴衆のみに前記合成歌唱音声信号を送信することを特徴とする請求項1~3のいずれか一つに記載のカラオケシステム。
The user information storage unit stores native language information indicating the native language of the user in association with the user identification information,
4. The transmission processing unit according to any one of claims 1 to 3, wherein the transmission processing unit transmits the synthesized singing voice signal only to the audience whose native language is the second language based on the native language information of the audience. A karaoke system according to one.
カラオケ演奏を行うための演奏データ、第1の言語による第1の歌詞データ、及び当該第1の言語とは異なる第2の言語による第2の歌詞データを、楽曲毎に記憶する楽曲データ記憶部と、
カラオケ装置の利用者が所有する携帯端末を介して行われたログイン操作に応じて、当該利用者の利用者識別情報を取得するログイン処理部と、
ある楽曲の前記演奏データに基づくカラオケ演奏に合わせて利用者が前記第1の言語でカラオケ歌唱を行った際に得られる歌唱音声から、音高データ及び音量データを含む歌唱音声データを抽出する抽出部と、
抽出した前記歌唱音声データ、前記カラオケ演奏に合わせて読み出した前記第2の歌詞データ、及び前記カラオケ歌唱を行う利用者の声質を示す声質パラメータに基づいて、合成歌唱音声信号を作成する作成部と、
前記ログイン操作を行った複数の利用者のうち、前記カラオケ歌唱を行う利用者以外の利用者である聴衆が所有する携帯端末に対し、作成した前記合成歌唱音声信号を送信する送信処理部と、
を有するカラオケ装置。
A song data storage unit that stores, for each song, performance data for karaoke performance, first lyric data in a first language, and second lyric data in a second language different from the first language. When,
A login processing unit that acquires user identification information of a user of the karaoke machine in response to a login operation performed via a mobile terminal owned by the user;
Extracting singing voice data including pitch data and volume data from the singing voice obtained when the user sings karaoke in the first language in accordance with the karaoke performance based on the performance data of a certain song. Department and
a creation unit for creating a synthesized singing voice signal based on the extracted singing voice data, the second lyric data read in accordance with the karaoke performance, and a voice quality parameter indicating the voice quality of the user singing karaoke; ,
A transmission processing unit that transmits the created synthetic singing voice signal to a mobile terminal owned by an audience member who is a user other than the karaoke singing user among the plurality of users who have performed the login operation;
A karaoke device having
JP2018219997A 2018-11-26 2018-11-26 karaoke system, karaoke machine Active JP7117228B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018219997A JP7117228B2 (en) 2018-11-26 2018-11-26 karaoke system, karaoke machine

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018219997A JP7117228B2 (en) 2018-11-26 2018-11-26 karaoke system, karaoke machine

Publications (2)

Publication Number Publication Date
JP2020086113A JP2020086113A (en) 2020-06-04
JP7117228B2 true JP7117228B2 (en) 2022-08-12

Family

ID=70907875

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018219997A Active JP7117228B2 (en) 2018-11-26 2018-11-26 karaoke system, karaoke machine

Country Status (1)

Country Link
JP (1) JP7117228B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112331234A (en) * 2020-10-27 2021-02-05 北京百度网讯科技有限公司 Song multimedia synthesis method and device, electronic equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244789A (en) 2008-03-31 2009-10-22 Daiichikosho Co Ltd Karaoke system with guide vocal creation function
WO2015060340A1 (en) 2013-10-23 2015-04-30 ヤマハ株式会社 Singing voice synthesis

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890692B2 (en) * 1997-08-29 2007-03-07 ソニー株式会社 Information processing apparatus and information distribution system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009244789A (en) 2008-03-31 2009-10-22 Daiichikosho Co Ltd Karaoke system with guide vocal creation function
WO2015060340A1 (en) 2013-10-23 2015-04-30 ヤマハ株式会社 Singing voice synthesis

Also Published As

Publication number Publication date
JP2020086113A (en) 2020-06-04

Similar Documents

Publication Publication Date Title
US10229669B2 (en) Apparatus, process, and program for combining speech and audio data
JP2006195385A (en) Device and program for music reproduction
JP6457326B2 (en) Karaoke system that supports transmission delay of singing voice
JP6452229B2 (en) Karaoke sound effect setting system
JP7117228B2 (en) karaoke system, karaoke machine
WO2013089202A1 (en) Language teaching material customization system, language teaching material customization method, and storage medium
JP2010140278A (en) Voice information visualization device and program
JP6114634B2 (en) User-specific singing history update system
JP4327165B2 (en) Music playback device
CN114783408A (en) Audio data processing method and device, computer equipment and medium
JP7331645B2 (en) Information provision method and communication system
JP6596903B2 (en) Information providing system and information providing method
JP6587459B2 (en) Song introduction system in karaoke intro
JP6144593B2 (en) Singing scoring system
JP7281386B2 (en) karaoke device
JP7308135B2 (en) karaoke system
JP7299810B2 (en) karaoke device
JP6492754B2 (en) Musical instruments and musical instrument systems
JP6832253B2 (en) Artificial laryngeal device
JP2015191162A (en) Karaoke device, information processing apparatus and program
KR101694365B1 (en) Method of helping piano performance and apparatus performing the same
CN113703882A (en) Song processing method, device, equipment and computer readable storage medium
JP6508567B2 (en) Karaoke apparatus, program for karaoke apparatus, and karaoke system
JP6337723B2 (en) Karaoke device and method for controlling karaoke device
KR101512500B1 (en) Method for Providing Music Chatting Service

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7117228

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150