JP2016206575A - Karaoke system responding to transmission delay of singing voice - Google Patents

Karaoke system responding to transmission delay of singing voice Download PDF

Info

Publication number
JP2016206575A
JP2016206575A JP2015091134A JP2015091134A JP2016206575A JP 2016206575 A JP2016206575 A JP 2016206575A JP 2015091134 A JP2015091134 A JP 2015091134A JP 2015091134 A JP2015091134 A JP 2015091134A JP 2016206575 A JP2016206575 A JP 2016206575A
Authority
JP
Japan
Prior art keywords
singing
voice
karaoke
singing voice
partner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015091134A
Other languages
Japanese (ja)
Other versions
JP6457326B2 (en
JP2016206575A5 (en
Inventor
政之 鎌田
Masayuki Kamata
政之 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daiichikosho Co Ltd
Original Assignee
Daiichikosho Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daiichikosho Co Ltd filed Critical Daiichikosho Co Ltd
Priority to JP2015091134A priority Critical patent/JP6457326B2/en
Publication of JP2016206575A publication Critical patent/JP2016206575A/en
Publication of JP2016206575A5 publication Critical patent/JP2016206575A5/ja
Application granted granted Critical
Publication of JP6457326B2 publication Critical patent/JP6457326B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To resolve an incongruous feeling of a singer due to a deviation between a karaoke performance sound emission timing and a singing partner's singing voice emission timing by responding to a transmission delay of the singing voice transmitted from the singing partner, in simultaneously singing the same karaoke musical piece by using multiple karaoke performance devices disposed at different places.SOLUTION: A karaoke system comprises delayed singing voice supplementation means 109 that, when performing remote singing (for example, a remote duet), outputs substituting reproduction sound generated by substituting reproduction sound generation means 108, during a period from a singing voice emission start timing based on reference data of a karaoke musical piece until a transmission delay time of the singing partner's singing voice measured by delay time measurement means 107 has passed, and that outputs an adjusted singing voice using substituting reproduction sound and the singing partner's received singing voice from the time point when the transmission delay time has passed to a singing voice output end timing based on the reference data.SELECTED DRAWING: Figure 1

Description

本発明は歌唱音声の伝送遅延に対応したカラオケシステムに関するものであり、詳しくは、異なる場所(例えば、異なるカラオケ店)に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、伝送路を介して送信されてくる歌唱相手の歌唱音声の伝送遅延に対応して、カラオケ演奏音の放音タイミングと歌唱相手の歌唱音声の放音タイミングとのずれによる歌唱者の違和感を解消することが可能なカラオケ演奏装置に関するものである。   The present invention relates to a karaoke system that copes with a transmission delay of singing voice, and in particular, sings the same karaoke song at the same time using a plurality of karaoke performance devices installed in different places (for example, different karaoke shops). In response to the transmission delay of the singing partner's singing voice transmitted through the transmission path, the singer's singing voice's singing voice's singing voice's singing voice's The present invention relates to a karaoke performance device capable of eliminating a sense of incongruity.

現在普及しているカラオケ演奏装置では、異なる場所(例えば、異なるカラオケ店)に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する機能(例えば、遠隔デュエット機能)を有しているものがある。このようなカラオケ演奏装置では、電気通信回線等の伝送路を介して歌唱相手の歌唱音声が送信されてくるため、伝送路におけるトラフィック等の影響により歌唱相手の歌唱音声が遅延して到達することが想定される。   The currently popular karaoke performance apparatus has a function (for example, a remote duet function) for simultaneously singing the same karaoke music using a plurality of karaoke performance apparatuses installed in different places (for example, different karaoke shops). There is something to do. In such a karaoke performance device, the singing partner's singing voice is transmitted via a transmission line such as a telecommunication line, so that the singing party's singing voice arrives with a delay due to the influence of traffic or the like in the transmission line. Is assumed.

そこで、このような遠隔歌唱における不都合を解消するための技術が種々提案されている(例えば、特許文献1、特許文献2参照)。特許文献1に記載された技術は、通信デュエットが行われる前に、伝送路の通信状態が通信デュエットに適しているか否かを確認することが可能なカラオケシステムに関するものである。このカラオケシステムは、ホスト装置(サーバ)と伝送路を介して接続された多数のカラオケ演奏装置の中から複数を選択し、通信デュエットを行わせることが可能なシステムにおいて、ホスト装置の機能手段である使用状態判別手段、通信テスト実行手段、通信状態判定手段により、カラオケ演奏装置が使用されているか否かを判別する。そして、使用されていないと判別された非使用カラオケ演奏装置とホスト装置との間で、伝送路に対する通信テストを実行し、通信テストの結果に基づき、伝送路の通信状態が通信デュエットに適しているか否かを判定するようになっている。   Therefore, various techniques for solving such inconveniences in remote singing have been proposed (see, for example, Patent Document 1 and Patent Document 2). The technique described in Patent Document 1 relates to a karaoke system capable of confirming whether or not the communication state of a transmission path is suitable for a communication duet before the communication duet is performed. This karaoke system is a system capable of selecting a plurality of karaoke performance apparatuses connected to a host apparatus (server) via a transmission path and performing a communication duet. It is determined whether or not the karaoke performance device is being used by a certain use state determination unit, communication test execution unit, and communication state determination unit. Then, a communication test for the transmission line is performed between the non-use karaoke performance device determined to be unused and the host device, and the communication state of the transmission line is suitable for the communication duet based on the result of the communication test. Whether or not it is determined.

また、特許文献2に記載された技術は、相手の音声の遅延を気にせずに楽曲のデュエットを行うための遠隔デュエットシステムに関するものである。この遠隔デュエットシステムは、楽曲を歌唱者A(例えば、男性)のみが歌う部分(A)、歌唱者B(例えば、女性)のみが歌う部分(B)、歌唱者Aと歌唱者Bが一緒に歌う部分(D)、誰も歌わない部分(M)の各部分に分類する。そして、各カラオケ演奏装置において、部分(A)および部分(B)の再生タイミングを、その楽曲の担当パートに応じて調整する。その後、担当パートが歌唱者Aの担当パートであれば、部分(A)の再生タイミングをL(ネットワーク遅延時間)/2だけ速め、部分(B)の再生タイミングをL/2だけ遅くする。担当パートが歌唱者Bの担当パートであれば、部分(B)の再生タイミングをL/2だけ速め、部分(A)の再生タイミングをL/2だけ遅くするようになっている。   Moreover, the technique described in Patent Document 2 relates to a remote duet system for performing a duet of music without worrying about the delay of the other party's voice. In this remote duet system, a part (A) where only a singer A (for example, a male) sings a music, a part (B) where only a singer B (for example, a female) sings, a singer A and a singer B together It categorizes into each part of the singing part (D) and the part (M) where no one sings. And in each karaoke performance apparatus, the reproduction | regeneration timing of a part (A) and a part (B) is adjusted according to the charge part of the music. Thereafter, if the part in charge is the part in charge of the singer A, the playback timing of the part (A) is accelerated by L (network delay time) / 2, and the playback timing of the part (B) is delayed by L / 2. If the part in charge is the part in charge of the singer B, the playback timing of the part (B) is accelerated by L / 2 and the playback timing of the part (A) is delayed by L / 2.

特開2015−22176号公報JP 2015-22176 A 特開2010−91794号公報JP 2010-91794 A

しかしながら、特許文献1に記載された技術は、遠隔デュエットに適しているカラオケ演奏装置を事前に判定するものであり、各カラオケ演奏装置を利用する利用者には、いずれのカラオケ演奏装置との間であれば遠隔デュエットを行うことができるかを事前に報知していない。したがって、実際に遠隔デュエットを行おうとした場合に、遠隔デュエットに適していないカラオケ演奏装置の組み合わせであるとして遠隔デュエットを行うことができない場合がある。   However, the technique described in Patent Document 1 determines in advance a karaoke performance device suitable for a remote duet, and a user who uses each karaoke performance device has no karaoke performance device. If so, it is not notified in advance whether a remote duet can be performed. Therefore, when actually trying to perform a remote duet, it may not be possible to perform the remote duet because it is a combination of karaoke performance devices that are not suitable for the remote duet.

また、特許文献2に記載された技術は、異なる場所(例えば、異なるカラオケ店)に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、各カラオケ楽曲を予めパート分けし記憶しておく必要がある。このため、近年、生音や本人映像対応のように、デュエット曲に関しても様々なバージョンの楽曲を収録しているカラオケシステムでは、遠隔デュエットのためだけにパート分けを行うことや、パート毎に遅延時間を判断して、各カラオケ演奏装置の再生タイミングを調整することは非現実的である。すなわち、このような事前作業は、カラオケ楽曲の楽曲データを作成する際に多大な労力を要するものであり、さらに、再生タイミングの調整によるカラオケシステムへの負荷も大きいという問題がある。   In addition, the technique described in Patent Document 2 uses a plurality of karaoke performance devices installed in different places (for example, different karaoke shops) to sing each karaoke piece in advance when singing the same karaoke piece at the same time. It is necessary to divide and memorize the parts. For this reason, in recent years, karaoke systems that have recorded various versions of duet songs, such as live sound and personal video, can divide parts only for remote duets, and delay time for each part. It is impractical to adjust the reproduction timing of each karaoke performance device by judging the above. That is, such prior work requires a great deal of labor when creating music data of karaoke music, and there is also a problem that the load on the karaoke system due to adjustment of reproduction timing is large.

本発明は、上述した事情に鑑み提案されたもので、異なる場所に設置された複数のカラオケ演奏装置を用いて、同一のカラオケ楽曲を同時に歌唱する際に、伝送路を介して伝送されてくる歌唱相手の歌唱音声の伝送遅延に対応して、カラオケ演奏音の放音タイミングと歌唱相手の歌唱音声の放音タイミングとのずれによる歌唱者の違和感を解消することが可能なカラオケシステムを提供することを目的とする。   The present invention has been proposed in view of the above-described circumstances, and is transmitted through a transmission line when simultaneously singing the same karaoke piece using a plurality of karaoke performance apparatuses installed in different places. Provided is a karaoke system capable of eliminating a sense of incongruity of a singer due to a difference between a sound emission timing of a karaoke performance sound and a sound emission timing of a singing partner's singing sound in response to a transmission delay of the singing partner's singing sound. For the purpose.

本発明の歌唱音声の伝送遅延に対応したカラオケシステムは、上述した目的を達成するため、以下の特徴点を有している。すなわち、本発明の歌唱音声の伝送遅延に対応したカラオケシステムは、それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱において、伝送路を介して受信する歌唱相手の歌唱音声の遅延を解消して、複数の利用者の歌唱音声が同時にスピーカから放音されるようにしたカラオケシステムであって、遅延時間計測手段と、代理再生音声生成手段と、遅延歌唱音声補充手段とを備えたことを特徴とするものである。   The karaoke system corresponding to the transmission delay of the singing voice according to the present invention has the following features in order to achieve the above-described object. That is, the karaoke system corresponding to the transmission delay of the singing voice according to the present invention uses a plurality of karaoke performance devices installed in different places, and a remote singing in which a plurality of users sing the same karaoke music at the same time. A karaoke system in which the delay of the singing voice of the singing partner that is received via the transmission path is canceled and the singing voices of a plurality of users are simultaneously emitted from the speaker, the delay time measuring means, It is characterized by comprising proxy reproduction voice generation means and delayed singing voice supplement means.

遅延時間計測手段は、遠隔歌唱を行う歌唱相手のカラオケ演奏装置との間における受信歌唱音声の伝送遅延時間を計測するための手段である。代理再生音声生成手段は、歌唱音声の伝送遅延時間に対応して、スピーカから放音する代理再生音声を生成するための手段である。遅延歌唱音声補充手段は、カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから、遅延時間計測手段で計測された伝送遅延時間が経過するまでの間は、代理再生音声生成手段で生成した代理再生音声を出力し、遅延時間計測手段で計測された伝送遅延時間が経過してから、リファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、代理再生音声生成手段で生成した代理再生音声及び受信歌唱音声を用いた調整歌唱音声を出力するための手段である。   The delay time measuring means is means for measuring the transmission delay time of the received singing voice with the karaoke performance device of the singing partner who performs the remote singing. The proxy reproduction sound generation means is means for generating proxy reproduction sound to be emitted from the speaker in accordance with the transmission delay time of the singing sound. The delayed singing voice supplementing means is generated by the proxy reproduction voice generating means from the start timing of the singing voice based on the reference data of the karaoke music until the transmission delay time measured by the delay time measuring means elapses. The proxy playback voice generated by the proxy playback voice generation means is output from the time when the transmission delay time measured by the delay time measuring means has elapsed until the end timing of the singing voice output based on the reference data. And means for outputting adjusted singing voice using the received singing voice.

上述した構成からなる歌唱音声の伝送遅延に対応したカラオケシステムにおいて、代理再生音声は、歌唱相手の属性情報に対応した合成音声とすることが可能であり、また、歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した当該歌唱相手の歌唱音声とすることが可能である。   In the karaoke system corresponding to the transmission delay of the singing voice having the above-described configuration, the proxy reproduction voice can be a synthesized voice corresponding to the attribute information of the singing party, and the singing party is the same karaoke in the past. It is possible to use the singing voice of the singing partner stored when singing the music.

本発明の歌唱音声の伝送遅延に対応したカラオケシステムによれば、それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱(例えば、遠隔デュエット)を行う際に、伝送路の状況により歌唱相手の歌唱音声に遅延が生じた場合であっても、計測された伝送遅延時間が経過するまでの間は、ガイドボーカルや、歌唱相手が過去に歌唱した歌唱音声等を代理再生音声として出力することができる。   According to the karaoke system corresponding to the transmission delay of the singing voice according to the present invention, the remote singing in which a plurality of users sing the same karaoke music at the same time using a plurality of karaoke performance devices installed in different places ( For example, when performing a remote duet), even if there is a delay in the singing voice of the singing partner due to the condition of the transmission path, until the measured transmission delay time elapses, the guide vocal or singing Singing voice or the like sung by the other party in the past can be output as proxy playback voice.

したがって、利用者は、遠隔デュエットにおいても、同一のカラオケ演奏装置を用いて行う遅延が発生しない通常の歌唱(例えば、デュエット)と同様に、歌唱相手の歌唱音声やカラオケ演奏音、歌詞テロップの色替えタイミングに合わせて違和感なく歌唱を行うことができる。   Therefore, even in a remote duet, the user can use the same karaoke performance sound and karaoke performance sound and lyrics telop color as in the case of a normal singing (for example, duet) in which no delay occurs using the same karaoke performance device. Singing can be performed without a sense of incongruity according to the timing of replacement.

また、代理再生音声として、歌唱相手の属性情報に対応した合成音声や、歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱相手の歌唱音声を用いることにより、より一層、違和感なく代理再生音声を放音することができる。   In addition, by using the synthetic voice corresponding to the attribute information of the singing partner or the singing voice of the singing partner stored when the singing party sang the same karaoke song in the past as the proxy playback voice, there is no more discomfort. The proxy reproduction sound can be emitted.

本発明の実施形態に係る歌唱音声の伝送遅延に対応したカラオケシステムの概略構成を示すブロック図。The block diagram which shows schematic structure of the karaoke system corresponding to the transmission delay of the song voice which concerns on embodiment of this invention. 伝送遅延時間における代理再生音声の放音を説明するための説明図。Explanatory drawing for demonstrating sound emission of the proxy reproduction | regeneration audio | voice in transmission delay time.

以下、図面を参照して、本発明の歌唱音声の伝送遅延に対応したカラオケシステム(以下、カラオケシステムと略記する)の実施形態について説明する。図1及び図2は本発明の実施形態に係るカラオケシステムを説明するもので、図1はカラオケシステムの概略構成を示すブロック図、図2は伝送遅延時間における代理再生音声の放音を説明するための説明図である。   Hereinafter, an embodiment of a karaoke system (hereinafter abbreviated as karaoke system) corresponding to the transmission delay of singing voice according to the present invention will be described with reference to the drawings. 1 and 2 illustrate a karaoke system according to an embodiment of the present invention, FIG. 1 is a block diagram showing a schematic configuration of the karaoke system, and FIG. 2 explains the sound emission of proxy playback sound during transmission delay time. It is explanatory drawing for.

<カラオケシステムの概要>
図1に示すように、本発明の実施形態に係る歌唱音声の伝送遅延に対応したカラオケシステム100は、それぞれ異なる場所に設置された複数のカラオケ演奏装置10を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱(例えば、遠隔デュエット)において、伝送路(以下、データ通信回線80という)を介して受信する歌唱相手の歌唱音声が遅延を伴って放音されるカラオケ演奏装置10に適用するシステムであり、サーバ90、カラオケ演奏装置10及びこれに付帯するマイクロホン30、スピーカ40を主要な構成要素とする。図1に示す例では、データ通信回線80を介して接続された2台のカラオケ演奏装置10の間で遠隔歌唱を行う遠隔デュエットについて説明を行うが、本発明はデータ通信回線80を介して接続された3台以上のカラオケ演奏装置10の間で遠隔歌唱を行う場合にも適用することができる。
<Outline of Karaoke System>
As shown in FIG. 1, the karaoke system 100 corresponding to the transmission delay of the singing voice according to the embodiment of the present invention uses a plurality of karaoke performance apparatuses 10 installed at different places, so that a plurality of users can use the karaoke system. Karaoke performance in which a singing voice of a singing partner received via a transmission line (hereinafter referred to as a data communication line 80) is emitted with a delay in a remote singing (for example, a remote duet) simultaneously singing the same karaoke song The system is applied to the apparatus 10, and the server 90, the karaoke performance apparatus 10, the microphone 30 attached thereto, and the speaker 40 are main components. In the example shown in FIG. 1, a remote duet for performing a remote singing between two karaoke performance apparatuses 10 connected via a data communication line 80 will be described, but the present invention is connected via a data communication line 80. The present invention can also be applied to a case where a remote singing is performed between three or more karaoke performance apparatuses 10 that have been made.

なお、カラオケ演奏装置10を、専用ソフトウェアがインストールされたパーソナル・コンピュータやゲーム機器により構成したり、カラオケリモコン装置20を、専用アプリケーションがインストールされた携帯情報端末により構成したりすることもできる。パーソナル・コンピュータやゲーム機器は、無線通信回線やインターネット回線等のデータ通信回線80を介して、相互に歌唱音声を送受信することができるため、カラオケ演奏装置10と同様に、データ通信回線80の状況により、歌唱相手の歌唱音声の放音タイミングが、利用者が違和感を覚えない許容時間を超えて遅延する場合がある。   Note that the karaoke performance device 10 can be configured by a personal computer or game device in which dedicated software is installed, and the karaoke remote control device 20 can be configured by a portable information terminal in which a dedicated application is installed. Since personal computers and game machines can transmit and receive singing voices to and from each other via a data communication line 80 such as a wireless communication line or an Internet line, the situation of the data communication line 80 is the same as that of the karaoke performance apparatus 10. Therefore, the sound emission timing of the singing partner's singing voice may be delayed beyond an allowable time during which the user does not feel uncomfortable.

以下の説明において、プログラムとは、RAM等に記憶され、CPU等のハードウェアで実行されることにより、その機能を発揮するソフトウェアだけではなく、同等の機能を発揮することが可能な論理回路も含む概念である。   In the following description, a program is stored in a RAM or the like and executed by hardware such as a CPU, so that not only software that exhibits its function but also a logic circuit that can exhibit an equivalent function. It is a concept that includes.

<サーバ>
サーバ90は、複数のカラオケ演奏装置10と通信を行うことにより、種々の制御信号及びデータを送受信して、カラオケ演奏装置10を総合的に管理するための装置である。また、図示しないが、サーバ90は、データ通信回線80や通信基地局を介して、利用者が所持する携帯情報端末、パーソナル・コンピュータ、ゲーム機器とデータ通信を行うことができるように構成してもよい。
<Server>
The server 90 is a device for comprehensively managing the karaoke performance device 10 by transmitting and receiving various control signals and data by communicating with the plurality of karaoke performance devices 10. Although not shown, the server 90 is configured to be able to perform data communication with a portable information terminal, personal computer, or game device possessed by a user via the data communication line 80 or a communication base station. Also good.

サーバ90は、基本的機能手段として、図1に示すように、CPU等を含むサーバ制御手段91、サーバ通信制御手段92、サーバ90で管理する各種のデータを記憶するサーバ記憶手段93を備えている。   As shown in FIG. 1, the server 90 includes server control means 91 including a CPU, server communication control means 92, and server storage means 93 for storing various data managed by the server 90 as basic function means. Yes.

<サーバ制御手段>
サーバ制御手段91は、サーバ90を総合的に制御するための電子機器であり、図示しないが、例えばCPU及びその周辺機器により構成されており、CPU等がROM等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
<Server control means>
The server control unit 91 is an electronic device for comprehensively controlling the server 90. Although not shown, the server control unit 91 includes, for example, a CPU and its peripheral devices, and the CPU or the like operates according to a program stored in a ROM or the like. Thus, the control function can be exhibited.

<サーバ通信制御手段>
サーバ通信制御手段92は、カラオケ演奏装置10や携帯情報端末との間で、また、遠隔デュエット時には、各カラオケ演奏装置10との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。なお、このサーバ通信制御手段92にて、代理再生音声を生成するために用いる利用者の属性情報や、歌唱相手が過去に歌唱した歌唱音声が各カラオケ演奏装置10に送信される。
<Server communication control means>
The server communication control means 92 is an electronic device and program for controlling transmission and reception of data and signals between the karaoke performance device 10 and the portable information terminal and with each karaoke performance device 10 during remote duet. Consists of. The server communication control unit 92 transmits the user's attribute information used to generate the proxy reproduction voice and the singing voice sung by the singing partner in the past to each karaoke performance device 10.

<サーバ記憶手段>
サーバ記憶手段93は、サーバ90で管理する各種のデータを記憶するための装置であり、本実施形態では、データ通信回線80を介して接続された各カラオケ演奏装置10のIPアドレスや、利用者の属性情報、過去に歌唱を行った際の歌唱音声が記憶されている。なお、各カラオケ演奏装置10のIPアドレスは、当該カラオケ演奏装置10を開局した際に記憶され、利用者の属性情報に関しては、利用者IDを取得した際に記憶され、過去に歌唱を行った歌唱音声は、利用者がカラオケ楽曲を歌唱終了後に、利用者ID、楽曲IDと紐付けして記憶される。
<Server storage means>
The server storage means 93 is a device for storing various data managed by the server 90. In the present embodiment, the server storage means 93 is configured to store the IP address of each karaoke performance device 10 connected via the data communication line 80, and the user. Attribute information, singing voice when singing in the past is stored. In addition, the IP address of each karaoke performance apparatus 10 is stored when the karaoke performance apparatus 10 is opened, and the user attribute information is stored when the user ID is acquired and sung in the past. The singing voice is stored in association with the user ID and the music ID after the user finishes singing the karaoke music.

<カラオケ演奏装置及び付帯機器>
本発明の実施形態に係るカラオケシステム100を適用するカラオケ演奏装置10には、図1に示すように、カラオケリモコン装置20、マイクロホン30、スピーカ40、表示装置50、ミキシングアンプ60が付帯している。また、カラオケ演奏装置10と、サーバ90及びカラオケリモコン装置20は、ルータ70及びLAN回線やインターネット回線等のデータ通信回線80を介してネットワーク接続されている。
<Karaoke performance device and incidental equipment>
As shown in FIG. 1, a karaoke remote control device 20, a microphone 30, a speaker 40, a display device 50, and a mixing amplifier 60 are attached to a karaoke performance device 10 to which a karaoke system 100 according to an embodiment of the present invention is applied. . The karaoke performance device 10, the server 90, and the karaoke remote control device 20 are network-connected via a router 70 and a data communication line 80 such as a LAN line or an Internet line.

<カラオケリモコン装置>
カラオケリモコン装置20は、ユーザインタフェース機能を備えており、ルータ70及びデータ通信回線80(LAN回線)を介して、カラオケ演奏装置10との間でデータの送受信を行うようになっている。このカラオケリモコン装置20は、楽曲検索手段20aとして機能するプログラム、楽曲索引データベース20b、種々のデータを記憶するデータ記憶部20c、データの入出力を行うための入出力表示部20dを備えている。
<Karaoke remote control device>
The karaoke remote control device 20 has a user interface function, and transmits / receives data to / from the karaoke performance device 10 via a router 70 and a data communication line 80 (LAN line). The karaoke remote control device 20 includes a program that functions as a music search means 20a, a music index database 20b, a data storage unit 20c that stores various data, and an input / output display unit 20d that inputs and outputs data.

このカラオケリモコン装置20に付帯するスイッチ類や、入出力表示部20dに表示される各種のアイコン等を操作することにより、選曲操作、音量調整、テンポ調整、キー調整、選曲予約履歴の参照等の処理が行われる。また、利用者の属性情報や、過去に歌唱した歌唱音声とを紐付けし管理する利用者IDの取得に関しては、カラオケリモコン装置20の入力表示部20dを用いて取得し、あるいは利用者の携帯情報端末(図示せず)を用いて取得することも可能であり、携帯情報端末を用いる場合には、携帯情報端末の端末IDに紐付けされた利用者IDを取得してもよい。   By operating switches attached to the karaoke remote control device 20 and various icons displayed on the input / output display unit 20d, etc., music selection operation, volume adjustment, tempo adjustment, key adjustment, reference to the music selection reservation history, etc. Processing is performed. Moreover, regarding the acquisition of the user ID associated with the user's attribute information and the singing voice sung in the past, the user ID is acquired using the input display unit 20d of the karaoke remote control device 20, or the user's mobile phone. It is also possible to obtain using an information terminal (not shown), and when using a portable information terminal, a user ID associated with the terminal ID of the portable information terminal may be obtained.

<マイクロホン/スピーカ>
マイクロホン30は、歌唱音声の入力を行うための装置である。マイクロホン30から入力された歌唱音声信号は、カラオケ演奏装置10にて、代理再生音声の生成、遅延歌唱音声の補充が行われた歌唱相手の歌唱音声信号とともに、ミキシングアンプ60に入力され、音楽再生制御手段110から送出されるカラオケ演奏信号とミキシングされるとともに増幅され、スピーカ40へ出力される。また、マイクロホン30からの音声入力信号は、歌唱音声入力部111を介してカラオケ演奏装置10に入力され、歌唱相手のカラオケ演奏装置10へ送信されるとともに、歌唱採点値の算出や歌唱音声の録音に使用することができる。
<Microphone / Speaker>
The microphone 30 is a device for inputting singing voice. The singing voice signal input from the microphone 30 is input to the mixing amplifier 60 together with the singing voice signal of the singing partner in which the proxy playback voice is generated and the delayed singing voice is supplemented by the karaoke performance device 10 to play the music. It is mixed with the karaoke performance signal sent from the control means 110 and amplified and outputted to the speaker 40. The voice input signal from the microphone 30 is input to the karaoke performance device 10 via the singing voice input unit 111 and transmitted to the karaoke performance device 10 of the singing party, and the singing score is calculated and the singing voice is recorded. Can be used for

<表示装置>
表示装置50は、カラオケ楽曲に関連した背景映像や歌詞テロップ、歌唱相手のカラオケ演奏装置10に接続されたカメラ(図示せず)にて撮影された、歌唱相手の映像等を表示するための装置で、例えば、液晶ディスプレイ等により構成される。
<Display device>
The display device 50 is a device for displaying a background image or lyrics telop related to karaoke music, a video of a singing partner, etc. taken by a camera (not shown) connected to the karaoke performance device 10 of the singing partner. For example, a liquid crystal display is used.

<カラオケ演奏装置>
カラオケ演奏装置10は、中央制御手段101、ROM102、RAM103、HDD104、通信制御手段105、予約楽曲管理手段106、遅延時間計測手段107、代理再生音声生成手段108、遅延歌唱音声補充手段109、音楽再生制御手段110、歌唱音声入力部111、映像再生制御手段112を備えている。
<Karaoke performance device>
The karaoke performance apparatus 10 includes a central control unit 101, a ROM 102, a RAM 103, an HDD 104, a communication control unit 105, a reserved music management unit 106, a delay time measurement unit 107, a substitute reproduction voice generation unit 108, a delayed singing voice supplement unit 109, and a music reproduction. A control unit 110, a singing voice input unit 111, and a video reproduction control unit 112 are provided.

<中央制御手段>
中央制御手段101は、カラオケ演奏装置10を総合的に制御するための電子機器であり、例えばCPU及びその周辺機器により構成されており、CPU等がROM102等に記憶されたプログラムに従って動作することにより、制御機能を発揮することができるようになっている。
<Central control means>
The central control means 101 is an electronic device for comprehensively controlling the karaoke performance device 10, and is composed of, for example, a CPU and its peripheral devices, and the CPU or the like operates according to a program stored in the ROM 102 or the like. The control function can be demonstrated.

<ROM/RAM>
ROM102は、カラオケ演奏装置10を構成する各機器を制御するためのプログラムデータや数値データを記憶するための電子機器である。また、RAM103は、プログラムや各種データを一時的に記憶する一時記憶領域として機能する電子機器である。本実施形態では、RAM103に、予約楽曲管理テーブル103aが一時的に記憶される。
<ROM / RAM>
The ROM 102 is an electronic device for storing program data and numerical data for controlling each device constituting the karaoke performance apparatus 10. The RAM 103 is an electronic device that functions as a temporary storage area for temporarily storing programs and various data. In the present embodiment, the reserved music management table 103 a is temporarily stored in the RAM 103.

<HDD>
HDD104は、大容量記憶装置として機能するもので、楽曲データベース104a、背景映像データベース104bが格納されている。なお、HDD104に替えて、あるいはHDD104と共に、データを書き替え可能なDVD等の大容量記憶手段を用いてもよい。
<HDD>
The HDD 104 functions as a mass storage device, and stores a music database 104a and a background video database 104b. Note that a large-capacity storage unit such as a DVD that can rewrite data may be used instead of the HDD 104 or together with the HDD 104.

<楽曲データベース/背景映像データベース>
楽曲データベース104aは、演奏制御データ(MIDI規格のデータ)及び歌詞描出データが同期されて構成される楽曲データについて、楽曲IDと対応付けしてそれぞれ構成されたデータベースである。演奏制御データは、各楽曲の演奏を制御するためのデジタルデータであり、歌詞描出データは演奏に同期した歌詞文字の表示タイミングデータ及び色変わりデータ、ガイドボーカルデータ(詳細は後述する)、演奏楽曲の主旋律等からなり歌唱採点の基準となるリファレンスデータを含んでいる。背景映像データベース104bは、演奏されるカラオケ楽曲に対応した背景映像を、当該カラオケ楽曲の楽曲IDに対応させた背景映像ファイルとして所定数格納したデータベースである。
<Music database / background video database>
The music database 104a is a database configured by associating music performance data (MIDI standard data) and lyrics rendering data in synchronization with music IDs. The performance control data is digital data for controlling the performance of each song, and the lyric rendering data is the display timing data and color change data of lyric characters synchronized with the performance, guide vocal data (details will be described later), the performance song data It consists of main melody etc. and includes reference data that is the standard for singing. The background video database 104b is a database that stores a predetermined number of background videos corresponding to karaoke songs to be played as background video files corresponding to the song IDs of the karaoke songs.

<通信制御手段>
通信制御手段105は、カラオケリモコン装置20、サーバ90、他のカラオケ演奏装置10との間で、データ及び信号の送受信を制御するための電子機器及びプログラムからなる。この通信制御手段105の機能により、カラオケリモコン装置20、サーバ90、他のカラオケ演奏装置10との間で送受信するデータ及び信号の同期や誤り制御等を行い、遠隔デュエット時には、歌唱相手のカラオケ演奏装置10との間で歌唱音声の送受信を行う。なお、遠隔デュエットに関しては、別途、歌唱音声の送受信専用に通信制御手段を設けてもよい。
<Communication control means>
The communication control unit 105 includes an electronic device and a program for controlling transmission and reception of data and signals with the karaoke remote control device 20, the server 90, and other karaoke performance devices 10. The function of this communication control means 105 performs synchronization and error control of data and signals transmitted / received to / from the karaoke remote control device 20, the server 90, and other karaoke performance devices 10, and the karaoke performance of the singing partner during remote duet. Singing voice is transmitted to and received from the device 10. In addition, regarding remote duet, you may provide a communication control means for exclusive use of transmission / reception of song voice separately.

<予約楽曲管理手段/予約楽曲管理テーブル>
予約楽曲管理手段106は、任意の利用者がカラオケ楽曲の予約を行う際に、カラオケリモコン装置20を用いて決定された予約楽曲の情報がカラオケ演奏装置10に送信された後に、カラオケ演奏装置10において、当該利用者の利用者IDと予約楽曲の楽曲IDとを対応付けして、予約楽曲管理テーブル103aにて管理するためのプログラムからなる。すなわち、予約楽曲管理手段106は予約楽曲管理テーブル103aを作成し、この予約楽曲管理テーブル103aをRAM103に記憶して管理する。予約楽曲管理テーブル103aは、利用者により楽曲検索手段20aの機能を用いて選曲された楽曲の楽曲ID及び利用者IDを関連付けて、演奏順に並べたデータテーブルである。
<Reserved music management means / reserved music management table>
The reserved music management means 106 transmits the reserved music information determined by using the karaoke remote control device 20 to the karaoke performance apparatus 10 when an arbitrary user makes a reservation for the karaoke music apparatus 10. The user ID of the user and the music ID of the reserved music are associated with each other and managed by the reserved music management table 103a. That is, the reserved music management means 106 creates a reserved music management table 103 a and stores this reserved music management table 103 a in the RAM 103 for management. The reserved music management table 103a is a data table in which music IDs and user IDs of music pieces selected by the user using the function of the music search means 20a are associated with each other and arranged in order of performance.

<遅延時間計測手段>
遅延時間計測手段107は、遠隔歌唱を行う歌唱相手のカラオケ演奏装置10との間における受信歌唱音声の伝送遅延時間を計測するための電子機器及びプログラムからなる。例えば、遠隔デュエットを行う場合には、歌唱相手確定後に歌唱相手が利用しているカラオケ演奏装置10のIPアドレスをサーバ90から取得する。そして、自ら利用するカラオケ演奏装置10と、歌唱相手が利用するカラオケ演奏装置10との間における伝送遅延時間を測定する。具体的には、TCP/IPネットワークにおいて、pingコマンドのecho機能を用いてパケットを送受信し、その平均応答時間を測定することにより、遠隔デュエットに使用するカラオケ演奏装置10の間における伝送遅延時間を計測することができる。なお、本実施形態では、図2に示すように、歌唱相手のカラオケ演奏装置10との伝送遅延時間は約80msecであり、歌唱相手の歌唱音声に関しても約80msec遅延して、カラオケ演奏装置10に伝送されてくる。
<Delay time measurement means>
The delay time measuring means 107 includes an electronic device and a program for measuring the transmission delay time of the received singing voice with the karaoke performance device 10 of the singing partner who performs the remote singing. For example, when performing a remote duet, the IP address of the karaoke performance device 10 used by the singing partner is acquired from the server 90 after the singing partner is determined. Then, the transmission delay time between the karaoke performance device 10 used by itself and the karaoke performance device 10 used by the singing partner is measured. Specifically, in a TCP / IP network, packets are transmitted / received using the echo function of the ping command, and the average response time is measured, whereby the transmission delay time between the karaoke performance apparatuses 10 used for remote duets is reduced. It can be measured. In this embodiment, as shown in FIG. 2, the transmission delay time with the karaoke performance device 10 of the singing partner is about 80 msec, and the singing voice of the singing partner is also delayed by about 80 msec. Will be transmitted.

伝送遅延時間を計測するタイミングは、データ通信回線80の状況等に応じて適宜間隔とするが、例えば、選曲予約情報を送信する毎に計測を行ったり、カラオケ楽曲の演奏開始から適宜間隔毎に行ったりすればよい。   The timing for measuring the transmission delay time is set at an appropriate interval according to the status of the data communication line 80. For example, the transmission delay time is measured every time music selection reservation information is transmitted, or at every appropriate interval from the start of performance of karaoke music. Just go.

本来の歌唱音声の発声タイミング(遅延がない場合におけるスピーカ40からの放音タイミング)は、リファレンスデータに基づいて検知することができ、そのタイミングとは、図2に例示した「き」など、歌詞を構成する各音節の発音の開始タイミングや、音節の発音の途中でピッチを変えたタイミングなどである。   The utterance timing of the original singing voice (sound emission timing from the speaker 40 when there is no delay) can be detected based on the reference data, and the timing includes lyrics such as “ki” illustrated in FIG. The start timing of the pronunciation of each syllable constituting the syllable, the timing at which the pitch is changed during the syllable pronunciation, and the like.

<代理再生音声生成手段>
代理再生音声生成手段108は、歌唱音声の伝送遅延に対応して、スピーカ40から放音する代理再生音声を生成するための電子機器及びプログラムからなる。すなわち、代理再生音声生成手段108では、データ通信回線80を介して送信されてきた歌唱相手の歌唱音声に伝送遅延が生じ、この遅延時間が、例えば、歌唱者が遅延に違和感を持つ40msec程度から、代理再生音声が不自然に聴こえない上限である120msec程度である場合を想定して、当該遅延時間における無音状態を補充して放音するための代理再生音声を生成する。
<Proxy playback audio generation means>
The proxy reproduction sound generation means 108 includes an electronic device and a program for generating proxy reproduction sound to be emitted from the speaker 40 in response to the transmission delay of the singing sound. In other words, in the proxy reproduction sound generation means 108, a transmission delay occurs in the singing partner's singing voice transmitted via the data communication line 80, and this delay time is, for example, from about 40 msec where the singer feels uncomfortable with the delay. Assuming a case where the proxy reproduction sound is about 120 msec which is an upper limit at which the substitute reproduction sound cannot be heard unnaturally, the proxy reproduction sound for supplementing the silent state in the delay time and generating the sound is generated.

代理再生音声は、例えば、カラオケ楽曲に対して用意されているガイドボーカルを用いることができる。ガイドボーカルとは、模範歌唱音声のことであり、歌唱者が得意でないカラオケ楽曲を歌唱する際や歌唱練習を行う際等に、カラオケ歌唱の補助として出力する補助歌唱音声のことである。本実施形態では、カラオケ楽曲のリファレンスデータに基づいてガイドボーカルの歌唱音声を選択して、その放音タイミングを決定する。   As the proxy playback voice, for example, a guide vocal prepared for karaoke music can be used. The guide vocal is an exemplary singing voice, and is an auxiliary singing voice that is output as an auxiliary to the karaoke singing when singing karaoke music that the singer is not good at or singing. In the present embodiment, the singing voice of the guide vocal is selected based on the reference data of the karaoke music, and the sound emission timing is determined.

また、代理再生音声として、カラオケ歌唱を行う歌唱相手の属性情報に対応した合成音声を用いることができる。すなわち、歌唱相手の利用者がシステムログインすると、当該歌唱相手の利用者の属性情報である、男女の区別、年齢等のデータを取得することができ、当該取得した歌唱相手の属性情報を、カラオケ演奏装置10の通信制御手段105で受信した後、受信した属性情報に基づいて、歌唱相手が実際に歌唱する歌唱音声に近似した代理再生音声を生成することにより、歌唱相手本人の歌唱音声と代理再生音声とを繋ぎ合わせた場合に、音質の違いによる違和感をなくすことができる。   Moreover, the synthetic | combination audio | voice corresponding to the attribute information of the other party who performs karaoke singing can be used as substitute reproduction | regeneration audio | voice. That is, when the user of the singing partner logs in to the system, data such as gender distinction, age, etc., which is the attribute information of the user of the singing partner, can be acquired. After being received by the communication control means 105 of the performance device 10, based on the received attribute information, by generating a proxy playback voice that approximates the singing voice that the singing party actually sings, the singing voice of the singing party and the proxy When connected to the reproduced sound, it is possible to eliminate the uncomfortable feeling caused by the difference in sound quality.

また、代理再生音声として、遠隔デュエットを行う歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱音声を用いることができる。すなわち、歌唱相手がシステムログインすると、当該歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した歌唱音声がサーバ90に記憶されている場合には、当該記憶した歌唱音声を代理再生音声とする。この場合には、代理再生音声が歌唱相手である歌唱者本人の歌唱音声であるため、代理再生音声を放音したとしても何ら違和感を生じることはない。   Moreover, the singing voice memorize | stored when the singing partner who performs a remote duet sings the same karaoke music in the past can be used as a substitute reproduction | regeneration audio | voice. That is, when the singing partner logs in to the system, when the singing voice stored when the singing party sang the same karaoke song in the past is stored in the server 90, the stored singing voice is used as the proxy playback voice. To do. In this case, since the proxy reproduction voice is the singing voice of the singer who is the singing partner, even if the proxy reproduction voice is emitted, there is no sense of incongruity.

なお、サーバ90に記憶されている歌唱相手の属性情報や、過去に記憶した歌唱音声を代理再生音声とする場合には、属性情報のデータや歌唱音声のダウンロードにおける伝送遅延時間を考慮して、遠隔デュエットを行う歌唱相手が確定した時や、歌唱相手と遠隔デュエットを行うカラオケ楽曲が確定したタイミングなどを用いて、これらのデータを予めダウンロードしてカラオケ演奏装置10に記憶しておくことが好ましい。   In addition, when the attribute information of the singing partner stored in the server 90 and the singing voice stored in the past are used as the proxy playback voice, the transmission delay time in downloading the attribute information data and the singing voice is considered, It is preferable to download these data in advance and store them in the karaoke performance device 10 using the timing when the singing partner performing the remote duet is confirmed or when the karaoke music piece performing the remote duet with the singing partner is confirmed. .

<遅延歌唱音声補充手段>
遅延歌唱音声補充手段109は、カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから、遅延時間計測手段107で計測された伝送遅延時間が経過するまでの間は、代理再生音声を出力し、遅延時間計測手段107で計測された伝送遅延時間が経過してからリファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、代理再生音声生成手段108で生成した代理再生音声及び受信歌唱音声を用いた調整歌唱音声を出力するための電子機器及びプログラムからなる。
<Delayed singing voice supplement means>
The delayed singing voice supplementing means 109 outputs the proxy playback voice from the time when the singing voice is released based on the reference data of the karaoke music until the transmission delay time measured by the delay time measuring means 107 elapses. The proxy playback voice and the received singing voice generated by the proxy playback voice generation means 108 are output from the passage of the transmission delay time measured by the delay time measuring means 107 to the end timing of the singing voice based on the reference data. It consists of an electronic device and a program for outputting the adjusted singing voice used.

<代理再生音声の放音>
本来の歌唱相手の歌唱音声の放音開始タイミング(伝送遅延がない場合におけるスピーカ40からの放音開始タイミング)と、歌唱相手の歌唱音声の出力終了タイミング(伝送遅延がない場合におけるスピーカ40からの放音終了タイミング)は、当該カラオケ楽曲のリファレンスデータに基づいて決定することができる。
<Sound of substitute playback sound>
The sounding start timing of the original singing partner's singing voice (sounding start timing from the speaker 40 when there is no transmission delay) and the output end timing of the singing partner's singing voice (from the speaker 40 when there is no transmission delay) The sound emission end timing) can be determined based on the reference data of the karaoke music piece.

上述したように、本来の歌唱相手の歌唱音声の放音開始タイミング(伝送遅延がない場合におけるスピーカ40からの放音開始タイミング)と、実際に遠隔歌唱の歌唱相手から送信されてきた歌唱音声の放音タイミングとの間には遅延時間がある。したがって、何ら対策を施さないと、カラオケ演奏音の放音タイミングと、自らの歌唱音声及び歌唱相手の歌唱音声の放音タイミングとにずれが生じて、歌唱者は違和感を覚えることになる。したがって、本発明では、歌唱相手の歌唱音声の伝送遅延に対応して代理再生音声(例えば、図2(a))に示すようなガイドボーカル)を発生させることにより、歌唱者の違和感を解消している。   As described above, the sound emission start timing of the original singing partner's singing voice (sounding start timing from the speaker 40 when there is no transmission delay) and the singing voice actually transmitted from the remote singing party There is a delay time between the sound emission timings. Therefore, if no measures are taken, the singer feels uncomfortable because there is a difference between the sound emission timing of the karaoke performance sound and the sound emission timing of his / her singing voice and the singing voice of the singing partner. Therefore, in the present invention, by generating proxy reproduction sound (for example, a guide vocal as shown in FIG. 2 (a)) corresponding to the transmission delay of the singing partner's singing sound, the uncomfortable feeling of the singer is eliminated. ing.

すなわち、図2(b)に示すように、「キ(KI)」とうい歌唱音声(音節)の場合には、本来の歌唱相手の歌唱音声の放音開始タイミング(伝送遅延がない場合におけるスピーカ40からの放音開始タイミング)から、実際に遠隔デュエットの歌唱相手から送信されてきた「キ(KI)」の歌唱音声の放音タイミングとの間にずれが生じているため、何ら対策を行わないと、この間(図2に示す例では約80msec)は無音状態となってしまう。そこで、図2(c)に示すように、当該ずれが生じている伝送遅延区間では、代理再生音声を出力して無音状態を解消する。   That is, as shown in FIG. 2 (b), in the case of a singing voice (syllable) called “KI”, the sounding start timing of the original singing voice of the singing partner (the speaker in the case of no transmission delay) Since there is a discrepancy between the sound emission timing of the “KI” singing voice actually transmitted from the remote duet singing partner, no countermeasures are taken. Otherwise, there will be no sound during this period (about 80 msec in the example shown in FIG. 2). Therefore, as shown in FIG. 2 (c), in the transmission delay section in which the shift occurs, the proxy reproduction sound is output to cancel the silence state.

そして、実際に遠隔デュエットの歌唱相手から送信されてきた歌唱音声がスピーカ40から放音されるタイミングが到来すると、代理再生音声と歌唱相手の歌唱者本人の歌唱音声とを合成(クロスフェード)して、代理再生音声から歌唱相手の歌唱者本人の歌唱者音声へ繋げる。   Then, when the timing at which the singing voice actually transmitted from the remote duet singing partner is emitted from the speaker 40 is reached, the proxy reproduction voice and the singing voice of the singing partner singer are synthesized (crossfade). Then, the proxy playback voice is connected to the singer voice of the singer of the other party.

その後、リファレンスデータに基づく歌唱音声の出力終了タイミング(伝送遅延がない場合におけるスピーカ40からの放音終了タイミング)で、歌唱相手の歌唱音声の振幅を急速に減衰させ、違和感なく当該歌唱相手の歌唱音声における音節の放音を終了させる。ここで、「キ(KI)」の歌唱音声のように、音節が子音プラス母音(例えば、「K」プラス「I」)で構成される場合、受信した歌唱相手の歌唱音声において、音節の最初から放音すると、代理再生音声の「KI」に続いて受信した歌唱相手の歌唱音声の「KI」が放音されることになり、「KIKI」と放音されるので不自然に聴こえる。したがって、代理再生音声の「KI」に続く歌唱相手の歌唱音声の音節は、子音を除外して母音のみとし「KII」と放音することにより、自然に聴こえるようにする。   Then, at the output end timing of the singing voice based on the reference data (the timing of the end of sound emission from the speaker 40 when there is no transmission delay), the amplitude of the singing party's singing voice is rapidly attenuated, and the singing party's singing without any sense of incongruity Terminates syllable sound in speech. Here, when the syllable is composed of consonant plus vowels (for example, “K” plus “I”) as in the singing voice of “KI”, the first syllable of the singing partner's singing voice is received. When the sound is released from the sound, “KI” of the singing partner's singing voice received after the “KI” of the proxy reproduction sound is emitted, and “KIKI” is emitted, so that it is unnaturally heard. Therefore, the syllable of the singing partner's singing voice following the proxy playback voice “KI” is made to be heard naturally by excluding the consonant and only vowels and releasing it as “KII”.

歌唱相手のカラオケ演奏装置10においても、同様の処理を行うことにより、遠隔歌唱を行う利用者は、同一のカラオケ演奏装置10を用いて行う遅延が発生しない通常の歌唱(例えば、デュエット)と同様に、歌唱相手の歌唱音声やカラオケ演奏音、歌詞テロップの色替えタイミングに合わせて違和感なく歌唱を行うことができる。   Also in the karaoke performance apparatus 10 of the singing partner, the user who performs the remote singing is similar to the normal singing (for example, duet) in which the delay performed using the same karaoke performance apparatus 10 does not occur by performing the same processing. In addition, it is possible to sing with no sense of incongruity according to the singing voice of the singer, the karaoke performance sound, and the color change timing of the lyrics telop.

<音楽再生制御手段>
音楽再生制御手段110は、楽曲IDに対応する楽曲データから抽出された演奏制御データに基づいて、音源(シンセサイザ)を駆動しカラオケ演奏信号を構成する楽音信号を生成するとともにアナログ変換してミキシングアンプ60に出力するための電子機器である。また、ミキシングアンプ60は、マイクロホン30から入力される歌唱音声信号と、遅延歌唱音声補充手段109から入力される遅延対策処理が行われた歌唱相手の歌唱音声信号と、音楽再生制御手段110から送出されるカラオケ演奏信号とをミキシングすると共に、アンプ機能により増幅してスピーカ40より出力するための装置である。
<Music playback control means>
The music reproduction control means 110 drives a sound source (synthesizer) based on the performance control data extracted from the music data corresponding to the music ID, generates a musical sound signal constituting a karaoke performance signal, and converts it into an analog signal for mixing. 60 is an electronic device for outputting to 60. Also, the mixing amplifier 60 sends out the singing voice signal input from the microphone 30, the singing voice signal of the singing partner subjected to the delay countermeasure processing input from the delayed singing voice supplementing means 109, and the music reproduction control means 110. This is a device for mixing the karaoke performance signal to be output and amplifying it by an amplifier function and outputting it from the speaker 40.

<映像再生制御手段>
映像再生制御手段112は、カラオケ楽曲の演奏中に、背景映像データベース104bから抽出した背景映像データと、楽曲データに含まれる歌詞描出データに基づいて作成される歌詞文字とを、当該カラオケ楽曲の楽曲データに同期させるとともに、遠隔デュエット時には、歌唱相手のカメラで撮影された歌唱動画等を表示装置50に出力するための電子機器である。
<Video playback control means>
The video reproduction control means 112 uses the background video data extracted from the background video database 104b and the lyric characters created based on the lyric rendering data included in the music data during the performance of the karaoke music, as the music of the karaoke music. The electronic device is used to synchronize with data and output a singing moving image or the like shot by the camera of the singing partner to the display device 50 during remote duet.

100 カラオケシステム
10 カラオケ演奏装置
20 カラオケリモコン装置
20a 楽曲検索手段
20b 楽曲索引データベース
20c データ記憶部
20d 入出力表示部
30 マイクロホン
40 スピーカ
50 表示装置
60 ミキシングアンプ
70 ルータ
80 データ通信回線
90 サーバ
91 サーバ制御手段
92 サーバ通信制御手段
93 サーバ記憶手段
101 中央制御手段
102 ROM
103 RAM
103a 予約楽曲管理テーブル
104 HDD
104a 楽曲データベース
104b 背景映像データベース
105 通信制御手段
106 予約楽曲管理手段
107 遅延時間計測手段
108 代理再生音声生成手段
109 遅延歌唱音声補充手段
110 音楽再生制御手段
111 歌唱音声入力部
112 映像再生制御手段
DESCRIPTION OF SYMBOLS 100 Karaoke system 10 Karaoke performance apparatus 20 Karaoke remote control apparatus 20a Music search means 20b Music index database 20c Data storage part 20d Input / output display part 30 Microphone 40 Speaker 50 Display apparatus 60 Mixing amplifier 70 Router 80 Data communication line 90 Server 91 Server control means 92 Server communication control means 93 Server storage means 101 Central control means 102 ROM
103 RAM
103a Reserved music management table 104 HDD
104a Music database 104b Background video database 105 Communication control means 106 Reserved music management means 107 Delay time measurement means 108 Proxy reproduction voice generation means 109 Delayed singing voice supplement means 110 Music reproduction control means 111 Singing voice input unit 112 Video reproduction control means

Claims (3)

それぞれ異なる場所に設置された複数のカラオケ演奏装置を利用して、複数の利用者が同一のカラオケ楽曲を同時に歌唱する遠隔歌唱において、伝送路を介して受信する歌唱相手の歌唱音声の遅延を解消して、前記複数の利用者の歌唱音声が同時にスピーカから放音されるようにしたカラオケシステムであって、
前記遠隔歌唱を行う歌唱相手のカラオケ演奏装置との間における受信歌唱音声の伝送遅延時間を計測する遅延時間計測手段と、
前記歌唱音声の伝送遅延時間に対応して、スピーカから放音する代理再生音声を生成する代理再生音声生成手段と、
前記カラオケ楽曲のリファレンスデータに基づく歌唱音声の放音開始タイミングから前記計測された伝送遅延時間が経過するまでの間は、前記代理再生音声を出力し、前記伝送遅延時間が経過してから前記リファレンスデータに基づく歌唱音声の出力終了タイミングまでの間は、前記代理再生音声及び前記受信歌唱音声を用いた調整歌唱音声を出力する遅延歌唱音声補充手段と、
を備えたことを特徴とする歌唱音声の伝送遅延に対応したカラオケシステム。
In remote singing where multiple users sing the same karaoke song at the same time using multiple karaoke performance devices installed at different locations, the delay of the singing partner's singing voice received via the transmission path is eliminated A karaoke system in which singing voices of the plurality of users are simultaneously emitted from a speaker,
A delay time measuring means for measuring a transmission delay time of the received singing voice with the karaoke performance device of the singing partner performing the remote singing;
In response to the transmission delay time of the singing voice, proxy playback voice generating means for generating proxy playback voice to be emitted from a speaker;
The proxy playback sound is output until the measured transmission delay time elapses from the sounding start timing of the singing voice based on the reference data of the karaoke music, and the reference is made after the transmission delay time elapses. Until the output end timing of the singing voice based on the data, the delayed singing voice supplementing means for outputting the adjusted singing voice using the proxy reproduction voice and the received singing voice,
A karaoke system corresponding to a transmission delay of singing voice, characterized by comprising:
前記代理再生音声は、前記歌唱相手の属性情報に対応した合成音声であることを特徴とする請求項1に記載の歌唱音声の伝送遅延に対応したカラオケシステム。   The karaoke system according to claim 1, wherein the substitute reproduction voice is a synthetic voice corresponding to the attribute information of the singing partner. 前記代理再生音声は、前記歌唱相手が過去に同一のカラオケ楽曲を歌唱した際に記憶した前記歌唱相手の歌唱音声であることを特徴とする請求項1に記載の歌唱音声の伝送遅延に対応したカラオケシステム。   The said proxy reproduction | regeneration audio | voice is the singing audio | voice of the said singing partner memorize | stored when the said singing partner sang the same karaoke music in the past, It respond | corresponded to the transmission delay of the singing audio | voice of Claim 1 characterized by the above-mentioned. Karaoke system.
JP2015091134A 2015-04-28 2015-04-28 Karaoke system that supports transmission delay of singing voice Active JP6457326B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015091134A JP6457326B2 (en) 2015-04-28 2015-04-28 Karaoke system that supports transmission delay of singing voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015091134A JP6457326B2 (en) 2015-04-28 2015-04-28 Karaoke system that supports transmission delay of singing voice

Publications (3)

Publication Number Publication Date
JP2016206575A true JP2016206575A (en) 2016-12-08
JP2016206575A5 JP2016206575A5 (en) 2018-03-08
JP6457326B2 JP6457326B2 (en) 2019-01-23

Family

ID=57487714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015091134A Active JP6457326B2 (en) 2015-04-28 2015-04-28 Karaoke system that supports transmission delay of singing voice

Country Status (1)

Country Link
JP (1) JP6457326B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018187360A3 (en) * 2017-04-03 2018-11-15 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
KR101987473B1 (en) * 2017-12-12 2019-06-10 미디어스코프 주식회사 System for synchronization between accompaniment and singing voice of online singing room service and apparatus for executing the same
US11310538B2 (en) 2017-04-03 2022-04-19 Smule, Inc. Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
US11488569B2 (en) 2015-06-03 2022-11-01 Smule, Inc. Audio-visual effects system for augmentation of captured performance based on content thereof
WO2022269796A1 (en) * 2021-06-23 2022-12-29 ヤマハ株式会社 Device, ensemble system, audio reproduction method, and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163192A (en) * 2008-01-10 2009-07-23 Yamaha Corp Audio reproduction device and audio reproduction system
JP2009244607A (en) * 2008-03-31 2009-10-22 Daiichikosho Co Ltd Duet part singing generation system
JP2010112981A (en) * 2008-11-04 2010-05-20 Ipix Co Remote demonstration reproducing method and device
JP2011242560A (en) * 2010-05-18 2011-12-01 Yamaha Corp Session terminal and network session system
JP2014167519A (en) * 2013-02-28 2014-09-11 Daiichikosho Co Ltd Communication karaoke system allowing continuation of duet singing during communication failure
JP2014167520A (en) * 2013-02-28 2014-09-11 Daiichikosho Co Ltd Communication karaoke system allowing continuation of duet singing during communication failure
JP2015022176A (en) * 2013-07-19 2015-02-02 株式会社第一興商 Karaoke system having feature in communication duet delay determination scheme
JP2015045796A (en) * 2013-08-29 2015-03-12 株式会社第一興商 Communication karaoke system and control method of the same, characterized in singer selection of duet singing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009163192A (en) * 2008-01-10 2009-07-23 Yamaha Corp Audio reproduction device and audio reproduction system
JP2009244607A (en) * 2008-03-31 2009-10-22 Daiichikosho Co Ltd Duet part singing generation system
JP2010112981A (en) * 2008-11-04 2010-05-20 Ipix Co Remote demonstration reproducing method and device
JP2011242560A (en) * 2010-05-18 2011-12-01 Yamaha Corp Session terminal and network session system
JP2014167519A (en) * 2013-02-28 2014-09-11 Daiichikosho Co Ltd Communication karaoke system allowing continuation of duet singing during communication failure
JP2014167520A (en) * 2013-02-28 2014-09-11 Daiichikosho Co Ltd Communication karaoke system allowing continuation of duet singing during communication failure
JP2015022176A (en) * 2013-07-19 2015-02-02 株式会社第一興商 Karaoke system having feature in communication duet delay determination scheme
JP2015045796A (en) * 2013-08-29 2015-03-12 株式会社第一興商 Communication karaoke system and control method of the same, characterized in singer selection of duet singing

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11488569B2 (en) 2015-06-03 2022-11-01 Smule, Inc. Audio-visual effects system for augmentation of captured performance based on content thereof
WO2018187360A3 (en) * 2017-04-03 2018-11-15 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
CN110692252A (en) * 2017-04-03 2020-01-14 思妙公司 Audio-visual collaboration method with delay management for wide area broadcast
US11032602B2 (en) 2017-04-03 2021-06-08 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
US11310538B2 (en) 2017-04-03 2022-04-19 Smule, Inc. Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
US11553235B2 (en) 2017-04-03 2023-01-10 Smule, Inc. Audiovisual collaboration method with latency management for wide-area broadcast
US11683536B2 (en) 2017-04-03 2023-06-20 Smule, Inc. Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
KR101987473B1 (en) * 2017-12-12 2019-06-10 미디어스코프 주식회사 System for synchronization between accompaniment and singing voice of online singing room service and apparatus for executing the same
WO2022269796A1 (en) * 2021-06-23 2022-12-29 ヤマハ株式会社 Device, ensemble system, audio reproduction method, and program

Also Published As

Publication number Publication date
JP6457326B2 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
US9779708B2 (en) Networks of portable electronic devices that collectively generate sound
JP6457326B2 (en) Karaoke system that supports transmission delay of singing voice
US11120782B1 (en) System, method, and non-transitory computer-readable storage medium for collaborating on a musical composition over a communication network
JP6452229B2 (en) Karaoke sound effect setting system
WO2016017622A1 (en) Reference display device, reference display method, and program
JP6196839B2 (en) A communication karaoke system characterized by voice switching processing during communication duets
JP2011138130A (en) Karaoke co-performance method using mobile electronic device
JP2008304821A (en) Musical piece concert release system
KR20190091990A (en) Music score video output device connected to karaoke system and musical score output method using the same
JP7117228B2 (en) karaoke system, karaoke machine
JP6587459B2 (en) Song introduction system in karaoke intro
JP6485955B2 (en) A karaoke system that supports delays in singing voice
WO2013151140A1 (en) Acoustic processing device and communication acoustic processing system
JP6144593B2 (en) Singing scoring system
JP6415341B2 (en) Karaoke system with pitch shift function for harmony singing
JP2015011155A (en) Communication karaoke system featuring communication duet by multiple people
JP6208439B2 (en) Performance key matching system in network chorus
JP6924119B2 (en) Karaoke equipment
Ratnaningsih et al. The Analyze of Android's microphone audio streaming BeatME
JP6236807B2 (en) Singing voice evaluation device and singing voice evaluation system
JP2013231881A (en) Karaoke scoring system
JP2015191162A (en) Karaoke device, information processing apparatus and program
JP2022114309A (en) Online session server device
JP6144605B2 (en) Singing scoring system
JP2022130028A (en) karaoke system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181220

R150 Certificate of patent or registration of utility model

Ref document number: 6457326

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250