JP5660408B1 - Posted music performance system and posted music performance method - Google Patents

Posted music performance system and posted music performance method Download PDF

Info

Publication number
JP5660408B1
JP5660408B1 JP2013178256A JP2013178256A JP5660408B1 JP 5660408 B1 JP5660408 B1 JP 5660408B1 JP 2013178256 A JP2013178256 A JP 2013178256A JP 2013178256 A JP2013178256 A JP 2013178256A JP 5660408 B1 JP5660408 B1 JP 5660408B1
Authority
JP
Japan
Prior art keywords
singing
data
posted
user
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013178256A
Other languages
Japanese (ja)
Other versions
JP2015045824A (en
Inventor
直久 八田
直久 八田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2013178256A priority Critical patent/JP5660408B1/en
Application granted granted Critical
Publication of JP5660408B1 publication Critical patent/JP5660408B1/en
Publication of JP2015045824A publication Critical patent/JP2015045824A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

【課題】歌唱ユーザが、投稿ユーザの投稿楽曲のメロディラインを知らなかった場合であっても、容易かつ円滑に当該楽曲の歌唱を行う。【解決手段】通信カラオケシステム1は、楽曲データ224、楽譜情報222、歌詞データ223を送信し、それらを投稿データ220として投稿データ記憶部22に記憶し、特定の歌唱ユーザの指示に基づき、楽曲データ224及び歌詞データ223を取得し、当該歌唱ユーザの歌唱履歴情報を歌唱履歴記憶部21から取得し、取得された楽曲データ224が含まれる投稿データ220に、歌唱音声データが含まれず、投稿データ220の歌唱メロディに対する知見がないと判定された場合に、対応するガイドボーカル音声を人工音声により生成し、生成されたガイドボーカル音声を、楽曲データ224とともに音源106等により再生する。【選択図】図2Even if a singing user does not know the melody line of the posted user's posted music, the user can sing the music easily and smoothly. A communication karaoke system 1 transmits music data 224, musical score information 222, and lyrics data 223, stores them as post data 220 in a post data storage unit 22, and based on instructions from a specific singing user, The data 224 and the lyric data 223 are acquired, the singing history information of the singing user is acquired from the singing history storage unit 21, and the singing voice data is not included in the posting data 220 including the acquired music data 224. When it is determined that there is no knowledge about 220 singing melodies, the corresponding guide vocal voice is generated by artificial voice, and the generated guide vocal voice is reproduced by the sound source 106 together with the music data 224. [Selection] Figure 2

Description

本発明は、ユーザから投稿されたオリジナル楽曲を演奏する投稿楽曲演奏システム及び投稿楽曲演奏方法に関する。   The present invention relates to a posted music performance system and a posted music performance method for playing original music posted by a user.

サーバとこのサーバに接続されたカラオケ装置とを備えたシステムにおいて、歌唱者(歌唱ユーザ)から投稿された歌唱動画をサーバに記憶することで、他のユーザから閲覧可能とするサービスが、既に知られている(例えば、特許文献1参照)。   In a system including a server and a karaoke device connected to the server, a service that allows a user to view a song video posted by a singer (singing user) in the server is already known. (For example, refer to Patent Document 1).

特開2012−73310号公報JP 2012-73310 A

ところで、近年、ユーザ(投稿ユーザ)が個人的に作成した歌唱用のオリジナル楽曲をサーバに投稿可能とし、そのオリジナル楽曲を他のユーザ(歌唱ユーザ)が歌唱可能とするサービスが、考えられつつある。このようにして投稿された楽曲は上記投稿ユーザのオリジナル作品であることから、上記歌唱ユーザが上記投稿楽曲の再生に合わせて歌唱しようとしても、そのままではメロディラインが分からず、歌唱困難となる可能性があった。   By the way, in recent years, a service that allows an original song for singing created by a user (contributing user) to be posted on a server and that allows other users (singing users) to sing the original song is being considered. . Since the music posted in this way is the original work of the posting user, even if the singing user tries to sing along with the playback of the posted music, the melody line is not understood as it is, and it may be difficult to sing. There was sex.

本発明の目的は、歌唱ユーザが、投稿ユーザの投稿楽曲のメロディラインを知らなかった場合であっても、容易かつ円滑に当該楽曲の歌唱を行える、投稿楽曲演奏システム及び投稿楽曲演奏方法を提供することにある。   An object of the present invention is to provide a posted music performance system and a posted music performance method in which a singing user can easily and smoothly sing the music even when the singing user does not know the melody line of the posted music of the posting user. There is to do.

上記目的を達成するために、第1の発明の投稿楽曲演奏システムは、投稿ユーザにより作成された楽曲に係わる、投稿楽曲データ、歌唱メロディの楽譜情報、及び、歌詞データを送信する投稿送信手段と、前記投稿送信手段からの送信に応じて、少なくとも、前記投稿楽曲データ、前記楽譜情報、及び前記歌詞データを、投稿データとして記憶する投稿記憶手段と、複数の歌唱ユーザそれぞれの歌唱履歴情報を記憶する歌唱履歴記憶手段と、特定の歌唱ユーザの指示に基づき、前記投稿記憶手段に記憶された前記投稿データに含まれる前記投稿楽曲データ及び前記歌詞データを前記投稿記憶手段から取得する投稿楽曲取得手段と、前記特定の歌唱ユーザの指示に基づき、前記投稿楽曲取得手段により取得された前記投稿楽曲データが含まれる前記投稿データに、対応する歌唱音声データが含まれているか否かを判定する歌唱音声判定手段と、前記特定の歌唱ユーザの指示に基づき、対応する当該特定の歌唱ユーザの歌唱履歴情報を前記歌唱履歴記憶手段から取得する歌唱履歴取得手段と、前記歌唱履歴取得手段により取得された前記歌唱履歴情報に基づき、前記投稿楽曲取得手段により取得された前記投稿楽曲データの前記歌唱メロディに対する、前記特定の歌唱ユーザの知見の有無を判定するメロディ知見判定手段と、前記歌唱音声判定手段により前記投稿データに前記歌唱音声データが含まれていないと判定され、かつ、前記メロディ知見判定手段により前記投稿楽曲データの前記歌唱メロディに対し前記特定の歌唱ユーザの知見がないと判定された場合に、前記投稿記憶手段に記憶された当該投稿データに含まれる前記楽譜情報及び前記歌詞データに基づき、対応するガイドボーカル音声を人工音声により生成するガイドボーカル生成手段と、前記ガイドボーカル生成手段により生成された前記ガイドボーカル音声を、前記投稿楽曲取得手段により取得された前記投稿楽曲データとともに再生する音声・楽曲再生手段と、を有することを特徴とする。   In order to achieve the above object, a posted music performance system according to a first aspect of the present invention is a posted transmission means for transmitting posted music data, musical score information of singing melody, and lyrics data relating to a music created by a posting user. In response to transmission from the posting transmission means, at least the posted music data, the score information, and the lyrics data are stored as posting data, and singing history information of each of a plurality of singing users is stored. Singing history storage means for performing, and based on an instruction from a specific singing user, posted music piece acquisition means for acquiring the posted music data and the lyrics data included in the posting data stored in the posting storage means from the posting storage means And the posted music data acquired by the posted music acquisition means based on the instruction of the specific singing user The singing history information of the corresponding specific singing user is based on the singing voice determining means for determining whether or not the corresponding singing voice data is included in the post data and the instruction of the specific singing user. Based on the singing history acquisition means acquired from the history storage means, and the singing history information acquired by the singing history acquisition means, the specific music for the singing melody of the posted music data acquired by the posted music acquisition means The melody knowledge determination means for determining the presence or absence of the knowledge of the singing user and the singing voice determination means determine that the singing voice data is not included in the posted data, and the melody knowledge determination means determines the posted music data. When it is determined that there is no knowledge of the specific singing user with respect to the singing melody, Based on the musical score information and the lyric data included in the stored post data, guide vocal generation means for generating a corresponding guide vocal voice by artificial voice, and the guide vocal voice generated by the guide vocal generation means And audio / music reproducing means for reproducing together with the posted music data acquired by the posted music acquiring means.

本願発明においては、ユーザ(投稿ユーザ)が個人的に作成した歌唱用のオリジナル楽曲を投稿することで、他のユーザ(歌唱ユーザ)が歌唱可能に閲覧することができる。   In this invention, the other user (singing user) can browse so that other users (singing user) can sing by posting the original music for singing which the user (posting user) personally created.

すなわち、投稿ユーザが楽曲を作成すると、その作成された楽曲に係わる、投稿楽曲データ、歌唱メロディ(旋律)の楽譜情報、及び、歌詞データが、投稿送信手段によって送信される。そして、その送信に応じて、少なくとも上記投稿楽曲データ、上記楽譜情報、上記歌詞データを含む投稿データが、投稿記憶手段に記憶される。   That is, when the posting user creates a song, the posted transmission data, the musical score information of the singing melody (melody), and the lyrics data related to the created song are transmitted by the posting transmission means. In response to the transmission, posted data including at least the posted music data, the score information, and the lyrics data is stored in the posted storage means.

このとき、このような投稿データは上記投稿ユーザのオリジナル作品であることから、上記歌唱ユーザが上記投稿楽曲データの再生に合わせて歌唱しようとしても、そのままではメロディラインが分からず、歌唱困難となる可能性がある。   At this time, since such posted data is the original work of the posting user, even if the singing user tries to sing along with the reproduction of the posted music data, the melody line is not understood as it is and it becomes difficult to sing. there is a possibility.

そこで本願発明においては、上記楽譜情報に基づき、人工的にガイドボーカルが生成される。但し、歌唱ユーザが、一度でも自らが歌唱したことがあったり他人が歌うのを見たことがある場合には、上記ガイドボーカルの生成は行われない。また、上記投稿データにたまたま歌唱音声データが含まれていた場合も、(歌唱音声データによりそのままメロディラインを確認できるので)同様にガイドボーカルの生成は行われない。   Therefore, in the present invention, guide vocals are artificially generated based on the score information. However, if the singing user has sang once or has seen others singing, the above-mentioned guide vocal is not generated. In addition, even when singing voice data happens to be included in the post data, the guide vocal is not generated in the same manner (because the melody line can be confirmed as it is based on the singing voice data).

すなわち、まず、特定の歌唱ユーザからの指示に応じて、上記投稿データに含まれる投稿楽曲データ及び歌詞データが、投稿楽曲取得手段によって上記投稿記憶手段から取得される。その後、取得された投稿楽曲データに係わる上記投稿データに歌唱音声データが含まれているか否かが、歌唱音声判定手段によって判定される。   That is, first, in accordance with an instruction from a specific singing user, posted music data and lyric data included in the posted data are acquired from the posted storage means by the posted music acquisition means. Thereafter, it is determined by the singing voice determination means whether or not singing voice data is included in the posted data related to the acquired posted music data.

一方このとき、複数の歌唱ユーザそれぞれの歌唱履歴情報が、予め歌唱履歴記憶手段に記憶されている。そして、上記特定の歌唱ユーザからの指示に応じて、歌唱履歴取得手段により、当該特定の歌唱ユーザの歌唱履歴情報が歌唱履歴記憶手段から取得される。その後、この取得された歌唱履歴情報に基づき、メロディ知見判定手段により、上記投稿楽曲データの歌唱メロディに対する、当該特定の歌唱ユーザの知見の有無(例えば特定の歌唱ユーザ自身の歌唱履歴があるか、当該特定の歌唱ユーザと同時利用の別ユーザの歌唱履歴があるか、等)が判定される。   On the other hand, the singing history information of each of the plurality of singing users is stored in advance in the singing history storage means. And according to the instruction | indication from the said specific song user, the song history acquisition means acquires the song history information of the specific song user from the song history storage means. Thereafter, based on the acquired singing history information, the melody knowledge determination means determines whether or not the specific singing user has knowledge of the singing melody of the posted music data (for example, whether there is a specific singing user's own singing history, Whether there is a singing history of another user simultaneously used with the specific singing user, etc.).

上記歌唱音声判定手段及びメロディ知見判定手段の判定において、上記投稿データに歌唱音声データが含まれておらず、かつ当該投稿楽曲データに対する特定の歌唱ユーザの知見がない、とされた場合には、上記メロディラインの不明による歌唱困難が生じる。そこで、この場合には、ガイドボーカル生成手段により、投稿データ中の上記楽譜情報と上記歌詞データに基づき、人工音声を用いてガイドボーカル音声が生成される。生成されたガイドボーカル音声は、音声・楽曲再生手段によって投稿楽曲データとともに再生される。   In the determination of the singing voice determination means and the melody knowledge determination means, when it is determined that the singing voice data is not included in the posted data and there is no specific singing user knowledge regarding the posted music data, Difficult to sing due to unknown melody line. Therefore, in this case, guide vocal sound is generated by the guide vocal generating means using artificial speech based on the score information and the lyrics data in the post data. The generated guide vocal voice is reproduced together with the posted music data by the voice / music reproducing means.

以上の結果、本願発明においては、歌唱ユーザが、投稿ユーザの投稿楽曲データのメロディラインを知らなかった場合であっても、容易かつ円滑に当該楽曲の歌唱を行うことができる。したがって、利便性を向上することができる。   As a result, in the present invention, even if the singing user does not know the melody line of the posted song data of the posting user, the song can be sung easily and smoothly. Therefore, convenience can be improved.

第2発明は、上記第1発明において、前記歌唱履歴取得手段により取得された前記歌唱履歴情報に基づき、前記特定の歌唱ユーザの歌唱ジャンルを決定する歌唱ジャンル決定手段を有し、前記ガイドボーカル生成手段は、前記歌唱ジャンル決定手段により決定された前記歌唱ジャンルに対応したパラメータを用いて、前記ガイドボーカル音声を生成することを特徴とする。   2nd invention has the singing genre determination means which determines the singing genre of the said specific singing user based on the said singing history information acquired by the said singing history acquisition means in the said 1st invention, The said guide vocal production | generation The means is characterized in that the guide vocal sound is generated using a parameter corresponding to the singing genre determined by the singing genre determining means.

これにより、ガイドボーカル生成手段による人工音声によるガイドボーカル音声の生成の際、上記特定の歌唱ユーザの歌唱嗜好に合致した、より最適な音声態様のガイドボーカル音声を生成することができる。この結果、さらに利便性を向上することができる。   Thereby, when the guide vocal sound is generated by the artificial voice by the guide vocal generating means, it is possible to generate the guide vocal sound having a more optimal voice mode that matches the singing preference of the specific singing user. As a result, the convenience can be further improved.

上記目的を達成するために、第3発明は、投稿ユーザにより作成された楽曲に係わる、投稿楽曲データ、歌唱メロディの楽譜情報、及び、歌詞データを送信する投稿送信手段と、前記投稿送信手段からの送信に応じて、少なくとも、前記投稿楽曲データ、前記楽譜情報、及び前記歌詞データを、投稿データとして記憶する投稿記憶手段と、複数の歌唱ユーザそれぞれの歌唱履歴情報を記憶する歌唱履歴記憶手段と、を有する投稿処理システムが実行する投稿楽曲演奏方法であって、特定の歌唱ユーザの指示に基づき、前記投稿記憶手段に記憶された前記投稿データに含まれる前記投稿楽曲データ及び前記歌詞データを前記投稿記憶手段から取得する投稿楽曲取得手順と、前記特定の歌唱ユーザの指示に基づき、前記投稿楽曲取得手順で取得された前記投稿楽曲データが含まれる前記投稿データに、対応する歌唱音声データが含まれているか否かを判定する歌唱音声判定手順と、前記特定の歌唱ユーザの指示に基づき、対応する当該特定の歌唱ユーザの歌唱履歴情報を前記歌唱履歴記憶手段から取得する歌唱履歴取得手順と、前記歌唱履歴取得手順で取得された前記歌唱履歴情報に基づき、前記投稿楽曲取得手順で取得された前記投稿楽曲データの前記歌唱メロディに対する、前記特定の歌唱ユーザの知見の有無を判定するメロディ知見判定手順と、前記歌唱音声判定手順で前記投稿データに前記歌唱音声データが含まれていないと判定され、かつ、前記メロディ知見判定手順で前記投稿楽曲データの前記歌唱メロディに対し前記特定の歌唱ユーザの知見がないと判定された場合に、前記投稿記憶手段に記憶された当該投稿データに含まれる前記楽譜情報及び前記歌詞データに基づき、対応するガイドボーカル音声を人工音声により生成するガイドボーカル生成手順と、前記ガイドボーカル生成手順で生成された前記ガイドボーカル音声を、前記投稿楽曲取得手順で取得された前記投稿楽曲データとともに再生する音声・楽曲再生手順と、を有することを特徴とする。   In order to achieve the above-mentioned object, the third aspect of the invention relates to post transmission means for transmitting post song data, singing melody score information, and lyric data related to music created by a post user, and the post transmission means. And at least the posted music data, the score information, and the lyric data as post data, and a singing history storage unit that stores singing history information of each of the plurality of singing users. The posted music performance method executed by the posting processing system having the post song data and the lyric data included in the posted data stored in the post storage means based on an instruction of a specific singing user Based on the posted music acquisition procedure acquired from the posting storage means and the instructions of the specific singing user, Based on the singing voice determination procedure for determining whether or not the corresponding singing voice data is included in the posted data including the posted music data and the specific singing user's instruction, the corresponding specific singing Based on the singing history acquisition procedure for acquiring the singing history information of the user from the singing history storage means and the singing history information acquired in the singing history acquisition procedure, It is determined that the singing voice data is not included in the posting data in the melody knowledge determination procedure for determining the presence or absence of the knowledge of the specific singing user with respect to the singing melody, and the melody voice data is included in the posted data. When it is determined that there is no knowledge of the specific singing user for the singing melody of the posted music data in the knowledge determining procedure, Based on the musical score information and the lyric data included in the post data stored in the post storage means, a guide vocal generation procedure for generating a corresponding guide vocal voice by artificial voice, and the guide vocal generation procedure And a voice / music playback procedure for playing back the guide vocal voice together with the posted music data acquired in the posted music acquisition procedure.

本発明によれば、歌唱ユーザが、投稿ユーザの投稿楽曲のメロディラインを知らなかった場合であっても、容易かつ円滑に当該楽曲の歌唱を行うことができる。   According to the present invention, even if the singing user does not know the melody line of the posted user's posted music, the music can be easily and smoothly sung.

本発明の一実施形態に係わる通信カラオケシステムの全体構成を表す機能ブロック図である。It is a functional block diagram showing the whole structure of the communication karaoke system concerning one Embodiment of this invention. 外部端末、リモコン、カラオケ装置の装置本体、及びホストサーバにおける、データ・信号の流れ及び処理手順を表すシーケンス図である。It is a sequence diagram showing the flow of data and signals and the processing procedure in the external terminal, the remote controller, the apparatus main body of the karaoke apparatus, and the host server. ホストサーバの投稿データ記憶部に記憶された投稿データのデータ構造の一例を表す説明図である。It is explanatory drawing showing an example of the data structure of the posting data memorize | stored in the posting data storage part of the host server. ホストサーバにより実行される、ステップSS3の詳細手順を表すフローチャートである。It is a flowchart showing the detailed procedure of step SS3 performed by the host server. ホストサーバの歌唱履歴記憶部に記憶された各歌唱ユーザの歌唱履歴の一例を表す図である。It is a figure showing an example of each song user's song history memorize | stored in the song history memory | storage part of the host server. カラオケ装置の装置本体の制御部により実行される、ステップSC3の詳細手順を表すフローチャートである。It is a flowchart showing the detailed procedure of step SC3 performed by the control part of the apparatus main body of a karaoke apparatus. 歌唱ジャンルごとのパラメータ設定の内容を表すパラメータテーブルである。It is a parameter table showing the content of the parameter setting for every song genre.

以下、本発明の一実施の形態について、図面を参照しつつ説明する。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings.

図1は、本実施形態に係わる通信カラオケシステムの全体構成を表す機能ブロック図である。   FIG. 1 is a functional block diagram showing the overall configuration of the communication karaoke system according to the present embodiment.

図1において、通信カラオケシステム1(投稿楽曲演奏システム、投稿処理システムに相当)は、少なくとも1つのカラオケ装置(この例では第1カラオケ装置10A及び第2カラオケ装置10B)と、ホストサーバ20と、少なくとも1つ(この例では2つ)の外部端末Pと、を有している。   In FIG. 1, a communication karaoke system 1 (corresponding to a posted music performance system and a posting processing system) includes at least one karaoke device (first karaoke device 10A and second karaoke device 10B in this example), a host server 20, And at least one (two in this example) external terminal P.

<カラオケ装置>
カラオケ装置10A,10B(以下適宜、これらを総称して単に「カラオケ装置10」という)は、例えばカラオケ店舗等のカラオケルームKRに設置されている。カラオケ装置10は、楽曲データとしてのMusical Instrument Digital Interface(MIDI;登録商標)データ及び映像データを用いて、カラオケ楽曲の再生サービスを提供する装置である。カラオケ装置10、ホストサーバ20、及び外部端末Pは、例えば通信ネットワーク等のネットワークNWとを介し、互いに情報送受信可能に接続されている。
<Karaoke equipment>
Karaoke devices 10A and 10B (hereinafter, collectively referred to as “karaoke device 10” where appropriate) are installed in a karaoke room KR such as a karaoke store. The karaoke device 10 is a device that provides a karaoke music reproduction service using Musical Instrument Digital Interface (MIDI; registered trademark) data and video data as music data. The karaoke apparatus 10, the host server 20, and the external terminal P are connected to each other so as to be able to transmit / receive information to / from each other via a network NW such as a communication network.

カラオケ装置10は、装置本体100と、リモコン35と、マイク30と、を有している。なお、装置本体100とリモコン35とは、例えば無線又は有線のLAN等のネットワークを介し、互いに情報送受信可能に接続されている。装置本体100とマイク30とは、無線回線又は有線回線により接続されている。   The karaoke device 10 includes a device main body 100, a remote control 35, and a microphone 30. The apparatus main body 100 and the remote controller 35 are connected to each other so as to be able to transmit / receive information to / from each other via a network such as a wireless or wired LAN. The apparatus main body 100 and the microphone 30 are connected by a wireless line or a wired line.

装置本体100は、制御部101と、大容量記憶装置103と、操作部104と、受信部105と、音源106と、音声制御部107と、スピーカ108と、表示部109と、通信制御部110とを有している。   The apparatus main body 100 includes a control unit 101, a mass storage device 103, an operation unit 104, a reception unit 105, a sound source 106, a sound control unit 107, a speaker 108, a display unit 109, and a communication control unit 110. And have.

制御部101は、図示しないCPUや、RAM及びROM等のメモリを備えている。この制御部101は、RAMの一時記憶機能を利用しつつ、ROMや上記大容量記憶装置103に予め記憶された各種プログラム(後述の図2及び図6に示す処理を実行するための制御プログラムを含む)を実行する。これにより、装置本体100全体の制御を行う。   The control unit 101 includes a CPU (not shown) and a memory such as a RAM and a ROM. The control unit 101 uses various programs stored in advance in the ROM and the large-capacity storage device 103 (control programs for executing processes shown in FIGS. 2 and 6 described later) while using the temporary storage function of the RAM. Include). Thereby, the entire apparatus main body 100 is controlled.

大容量記憶装置103は、例えばHard Disk Drive(HDD)などから構成される。この大容量記憶装置103は、楽曲データ(MIDIデータ)、背景映像データ、及び歌詞データ等の各種情報が記憶されている。   The mass storage device 103 is composed of, for example, a hard disk drive (HDD). The large-capacity storage device 103 stores various information such as music data (MIDI data), background video data, and lyrics data.

操作部104は、例えば複数のキーやスイッチなどから構成される。ユーザは、この操作部104又は後述のリモコン35を用いて、カラオケ楽曲の予約操作等の各種操作を行うことができる。   The operation unit 104 includes, for example, a plurality of keys and switches. The user can perform various operations such as a reservation operation for karaoke music using the operation unit 104 or a remote controller 35 described later.

受信部105は、上記のマイク30から出力された歌唱者の歌唱による音声信号を受信する。   The receiving part 105 receives the audio | voice signal by the singer's song output from said microphone 30. FIG.

音源106は、上記制御部101によって大容量記憶装置103から読み出された楽曲データを再生して音声制御部107へ出力する。なお、この音源106には、後述のガイドボーカル音声を生成するための人工音声の音源も含まれている。音声制御部107は、音源106から出力された楽曲データ及びガイドボーカル音声信号(後述)、及び、受信部105を介してマイク30により入力された音声信号を増幅し、スピーカ108へ出力する。スピーカ108は、音声制御部107から出力された楽曲データ及び音声信号(後述のガイドボーカル音声を含む)を音声出力する。   The sound source 106 reproduces the music data read from the mass storage device 103 by the control unit 101 and outputs the music data to the audio control unit 107. The sound source 106 includes an artificial sound source for generating a guide vocal sound to be described later. The audio control unit 107 amplifies the music data and the guide vocal audio signal (described later) output from the sound source 106 and the audio signal input by the microphone 30 via the receiving unit 105 and outputs the amplified signal to the speaker 108. The speaker 108 outputs the music data and the audio signal (including the guide vocal sound described later) outputted from the audio control unit 107 as audio.

なお、以下適宜、音源106、音声出力部107、及びスピーカ108を、省略して「音源106等」と称する。   Hereinafter, the sound source 106, the audio output unit 107, and the speaker 108 are appropriately omitted and referred to as “sound source 106 etc.”.

表示部109は、例えば液晶ディスプレイなどから構成され、各種映像を表示する。特に、表示部109は、上記音源106等により楽曲データの再生が行われるのにしたがい、楽曲データの再生に同期して、大容量記憶装置103から読み出された背景映像データ、及び歌詞データに対応したテロップ等を表示する。   The display unit 109 is composed of a liquid crystal display, for example, and displays various videos. In particular, the display unit 109 displays the background video data and the lyrics data read from the large-capacity storage device 103 in synchronization with the reproduction of the music data, as the music data is reproduced by the sound source 106 or the like. Display the corresponding telop.

通信制御部110は、リモコン35やホストサーバ20との間で情報通信の制御を行う。   The communication control unit 110 controls information communication with the remote controller 35 and the host server 20.

リモコン35は、利用者がカラオケ楽曲の予約操作等の各種操作を複数のキーやスイッチ等で行うための操作端末である。   The remote controller 35 is an operation terminal for a user to perform various operations such as a reservation operation for karaoke music with a plurality of keys and switches.

<ホストサーバ>
ホストサーバ20は、例えば大容量記憶装置等からなる図示しない情報記憶手段を備えている。また、ホストサーバ20は、歌唱履歴記憶部21と、投稿データ記憶部22と、視聴有無判定部24と、を機能的に備えている。これら各機能部の詳細機能については、後述する。
<Host server>
The host server 20 includes information storage means (not shown) composed of, for example, a large capacity storage device. In addition, the host server 20 functionally includes a singing history storage unit 21, a post data storage unit 22, and a viewing presence / absence determination unit 24. Detailed functions of these functional units will be described later.

<処理シーケンス>
以上において、本実施形態のカラオケ装置10を備えた通信カラオケシステム1では、ユーザ(以下適宜、「投稿ユーザ」という)が個人的に作成した歌唱用のオリジナル楽曲を例えば上記外部端末Pを用いてホストサーバ20へ投稿することで、他のユーザ(以下適宜、「歌唱ユーザ」という)が例えばカラオケ装置10において(歌唱可能に)閲覧することができる。以下、その詳細を、図2のシーケンス図を参照しつつ説明する。
<Processing sequence>
In the above, in the communication karaoke system 1 provided with the karaoke apparatus 10 of the present embodiment, an original song for singing personally created by a user (hereinafter referred to as “posting user” as appropriate) is used, for example, using the external terminal P. By posting to the host server 20, other users (hereinafter referred to as “singing users” as appropriate) can browse (for example, singing) in the karaoke apparatus 10. The details will be described below with reference to the sequence diagram of FIG.

<楽曲投稿>
すなわち、投稿ユーザが自らのオリジナル楽曲を作成すると、その作成された楽曲に係わる投稿データが外部端末Pからホストサーバ20へと送信される(ステップSP1)。この投稿データには、上記楽曲の楽曲データ(=投稿楽曲データに相当。例えばMIDIデータ)、歌唱メロディ(旋律)の楽譜情報、及び、歌詞データが含まれている。なお、この投稿データには、投稿ユーザ自らの歌唱による、当該楽曲データの歌唱音声データが含まれている場合もある。なお、このステップSP1を実行する外部端末Pが、各請求項記載の投稿送信手段として機能する。この投稿データを受信したホストサーバ20は、当該投稿データに固有の識別情報である曲IDを付与し、上記投稿データ記憶部22に記憶する。なお、この投稿データ記憶部22が、各請求項記載の投稿記憶手段として機能する。
<Music submission>
That is, when the posting user creates his or her own original music, post data relating to the created music is transmitted from the external terminal P to the host server 20 (step SP1). The posted data includes music data of the music (= corresponding to posted music data, for example, MIDI data), musical score information of singing melody (melody), and lyrics data. In addition, this contribution data may include the singing voice data of the music data by the posting user's own singing. Note that the external terminal P that executes this step SP1 functions as a posting transmission means described in each claim. The host server 20 that has received the posted data assigns a song ID, which is unique identification information, to the posted data and stores it in the posted data storage unit 22. The posted data storage unit 22 functions as posted storage means described in each claim.

<データ構造>
図3に、上記ホストサーバ20の投稿データ記憶部22に記憶された投稿データのデータ構造の一例を示す。図3において、この例では、投稿データ220は、上記のようにして付与された、曲識別情報としての曲ID(あるいは曲名等でもよい)221と、演奏データとしての上記楽曲データ224と、歌唱メロディ(旋律)の楽譜情報222と、歌詞データ223と、を備えている。
<Data structure>
FIG. 3 shows an example of the data structure of the posted data stored in the posted data storage unit 22 of the host server 20. In FIG. 3, in this example, the post data 220 includes a song ID (or a song name or the like) 221 given as described above, the song data 224 as performance data, and a song. Music score information 222 of melody (melody) and lyrics data 223 are provided.

曲ID221は、投稿データ220のヘッダとして置かれている。楽曲データ224は、上述したように例えばMIDIデータによって構成され、後述のようにホストサーバ20からダウンロードされてカラオケ装置10の大容量記憶装置103に記憶された後、読み出されて上記音源106等によって再生されることで、音声としてスピーカ108から放出することができる。   The song ID 221 is placed as a header of the post data 220. The music data 224 is composed of, for example, MIDI data as described above, and is downloaded from the host server 20 and stored in the large-capacity storage device 103 of the karaoke apparatus 10 as will be described later, and then read out to read the sound source 106 and the like. Can be emitted from the speaker 108 as sound.

歌詞データ223は、前述したように投稿ユーザのオリジナル作詞によるものであり、上記同様にホストサーバ20からダウンロードされて大容量記憶装置103に記憶された後、読み出されることで、歌詞テロップとして表示部109に表示することができる。この例では、歌詞データには、「あの言葉さえ 言わなければ あなたのこと きっと もう少し ・・」という内容の歌詞が含まれている。   The lyric data 223 is based on the original lyrics of the posting user as described above, and is downloaded from the host server 20 and stored in the large-capacity storage device 103 in the same manner as described above. 109 can be displayed. In this example, the lyric data contains the lyrics that say "If you don't even say that word, I'm sure a little more ...".

楽譜情報222は、上述したように、投稿ユーザの作曲によるオリジナルの歌唱メロディ(旋律)を表しており、典型的には、図示のように五線譜で表される。   As described above, the musical score information 222 represents an original singing melody (melody) created by the posting user, and is typically represented by a staff notation as shown.

なお、この例では、上記歌詞データ223や楽譜情報222が楽曲データ224と同一のファイルに組み込まれているが、これに限られない。すなわち、歌詞データ223や楽譜情報222が、楽曲データ224とは別ファイルで構成され、同じ曲名で対応付けられていてもよい。   In this example, the lyrics data 223 and the score information 222 are incorporated in the same file as the music data 224, but the present invention is not limited to this. That is, the lyrics data 223 and the score information 222 may be configured as a separate file from the music data 224 and may be associated with the same music title.

<歌唱困難の可能性>
このとき、既に述べたように、上記のような投稿データ220は上記投稿ユーザのオリジナル作品であることから、上記歌唱ユーザが上記楽曲データ224が再生されるのに合わせて歌唱しようとしても、そのままではメロディラインが分からず、歌唱困難となる可能性がある。そこで本実施形態においては、上記楽譜情報222に基づき、人工的にガイドボーカルが生成される。
<Possibility of singing difficulty>
At this time, as described above, the posting data 220 as described above is the original work of the posting user. Therefore, even if the singing user tries to sing along with the reproduction of the music data 224, it remains as it is. In this case, the melody line is not known and singing may be difficult. Therefore, in this embodiment, a guide vocal is artificially generated based on the score information 222.

<歌唱ユーザによる投稿楽曲のダウンロード>
すなわち、例えば特定の歌唱ユーザによるカラオケ装置10のリモコン35での適宜の操作により、上記ホストサーバ20の投稿データ記憶部22に上記投稿データが記憶された投稿楽曲の一覧がリモコン35で取得され、表示される(ステップSR1)。上記歌唱ユーザによるリモコン35での適宜の操作により特定の投稿楽曲が予約されると(ステップSR2)、当該歌唱ユーザのユーザID(この時点でログインしている)と、上記特定の投稿楽曲の上記曲ID221とが、装置本体100へ送信される。当該特定の投稿楽曲の曲ID221が装置本体100の制御部101により取得されると、この曲IDを含む投稿楽曲のダウンロード要求が、制御部101からホストサーバ20へと送信される(ステップSC1)。これに応じて、ホストサーバ20では、上記投稿データ記憶部22において上記曲IDを含む投稿データの検索が行われ、当該曲IDを備えた投稿データ220(楽曲データ224、歌詞データ223、楽譜情報222を含む)が、ホストサーバ20からカラオケ装置10へと送信されて制御部101において取得され、大容量記憶装置103に記憶される(ステップSS2)。なお、このステップSS2が各請求項記載の投稿楽曲取得手順に相当し、このステップSS2で上記のように投稿データ220を取得する制御部101が、各請求項記載の投稿楽曲取得手段として機能する。
<Downloading songs submitted by singing users>
That is, for example, by a suitable operation on the remote control 35 of the karaoke device 10 by a specific singing user, a list of posted music pieces in which the posted data is stored in the posted data storage unit 22 of the host server 20 is acquired by the remote control 35. Is displayed (step SR1). When a specific posted music is reserved by an appropriate operation of the singing user with the remote control 35 (step SR2), the user ID of the singing user (logged in at this time) and the above of the specific posted music The song ID 221 is transmitted to the apparatus main body 100. When the music ID 221 of the specific posted music is acquired by the control unit 101 of the apparatus main body 100, a request for downloading the posted music including the music ID is transmitted from the control unit 101 to the host server 20 (step SC1). . In response to this, the host server 20 searches the posted data storage unit 22 for posted data including the song ID, and the posted data 220 (music data 224, lyrics data 223, score information having the song ID). 222 is transmitted from the host server 20 to the karaoke apparatus 10, is acquired by the control unit 101, and is stored in the mass storage device 103 (step SS2). This step SS2 corresponds to the posted music acquisition procedure described in each claim, and the control unit 101 that acquires the posted data 220 as described above in this step SS2 functions as the posted music acquisition means described in each claim. .

<歌唱履歴の参照>
ところで、上記のように投稿ユーザによるオリジナルの楽曲であっても、既に歌唱ユーザが一度でも歌唱したことがあったり、あるいは他人が歌うのを見たことがある場合には、上記ガイドボーカルの生成を行う必要がない。したがって、上記のような、歌唱ユーザ自身が歌唱したあるいは他人の歌唱を見たことがある(このような場合を、以下適宜「投稿楽曲の視聴歴あり」という)か、若しくは、歌唱ユーザ自身が歌唱したあるいは他人の歌唱を見たことがない(このような場合を、以下適宜「投稿楽曲の視聴歴なし」という)か、の見極めを行うために、上記歌唱ユーザの歌唱履歴が参照される。すなわち、ホストサーバ20の歌唱履歴記憶部21には、複数のユーザそれぞれの歌唱履歴情報が、予め記憶されている。そして、上記ステップSS2で投稿データ220の取得が行われた後は、ステップSC2において、カラオケ装置10の制御部101からホストサーバ20へ、視聴有無の判断結果の要求が送信される。なお、この要求には、上記特定の歌唱ユーザのユーザIDが付されている(後述の図4のステップS120参照)。
<Reference to singing history>
By the way, even if it is the original music by the posting user as described above, if the singing user has already sung once or has seen others singing, the generation of the above guide vocal There is no need to do. Therefore, as described above, the singing user himself / herself has sang or has seen other people's singing (this case is referred to as “viewed history of posted music” as appropriate), or the singing user himself / herself The singing history of the singing user is referred to ascertain whether or not he / she has sang or has ever seen another person's singing (this case is referred to as “no viewing history of posted music” as appropriate). . That is, the singing history information of each of a plurality of users is stored in advance in the singing history storage unit 21 of the host server 20. Then, after the posting data 220 is obtained in step SS2, a request for a viewing result is transmitted from the control unit 101 of the karaoke apparatus 10 to the host server 20 in step SC2. Note that the user ID of the specific singing user is attached to this request (see step S120 in FIG. 4 described later).

上記要求を受信したホストサーバ20では、視聴有無判断処理が実行される(ステップSS3)。この視聴有無判断処理の詳細を表すフローチャートを図4に示す。   Upon receiving the request, the host server 20 performs viewing presence / absence determination processing (step SS3). FIG. 4 is a flowchart showing details of the viewing presence / absence determination processing.

図4において、まずステップS100で、ホストサーバ20は、上記ステップSC2においてカラオケ装置10の制御部101から受信した上記特定の歌唱ユーザのユーザIDに基づき、歌唱履歴記憶部21(歌唱履歴記憶手段に相当)に記憶された当該歌唱ユーザの歌唱履歴を取得する。   In FIG. 4, first, in step S100, the host server 20 is based on the user ID of the specific singing user received from the control unit 101 of the karaoke apparatus 10 in step SC2, and the singing history storage unit 21 (in the singing history storage unit). The singing history of the singing user stored in (equivalent) is acquired.

歌唱履歴記憶部21に記憶された各歌唱ユーザの歌唱履歴の一例を図5に示す。この例では、各歌唱ユーザのユーザIDに、歌唱したことのある楽曲の曲ID、及び、当該楽曲のジャンルが、対応付けられて記憶されている。図示の例では、ユーザ「AAA」は、ID「555」の楽曲(ジャンル:ポップ)と、ID「666」の楽曲(ジャンル:ポップ)と、ID「999」の楽曲(ジャンル:レゲエ)と、を過去に歌唱している。ユーザ「BBB」は、ID「111」の楽曲(ジャンル:ポップ)と、ID「222」の楽曲(ジャンル:演歌)と、ID「444」の楽曲(ジャンル:演歌)と、を過去に歌唱している。ユーザ「CCC」は、ID「111」の楽曲(ジャンル:ポップ)と、ID「222」の楽曲(ジャンル:演歌)と、ID「333」の楽曲(ジャンル:POP)と、ID「777」の楽曲(ジャンル:POP)と、を過去に歌唱している。ユーザ「DDD」は、ID「888」の楽曲(ジャンル:レゲエ)と、ID「999」の楽曲(ジャンル:レゲエ)と、を過去に歌唱している。   An example of the singing history of each singing user stored in the singing history storage unit 21 is shown in FIG. In this example, the song ID of a song that has been sung and the genre of the song are stored in association with the user ID of each singing user. In the example shown in the figure, the user “AAA” has a music piece with ID “555” (genre: pop), a music piece with ID “666” (genre: pop), a music piece with ID “999” (genre: reggae), Singing in the past. The user “BBB” has sung in the past the music with the ID “111” (genre: pop), the music with the ID “222” (genre: enka), and the music with the ID “444” (genre: enka). ing. The user “CCC” has a song with ID “111” (genre: pop), a song with ID “222” (genre: enka), a song with ID “333” (genre: POP), and an ID “777”. The song (genre: POP) has been sung in the past. The user “DDD” has sung the song with the ID “888” (genre: reggae) and the song with the ID “999” (genre: reggae) in the past.

なお、上記ステップS100が各請求項記載の歌唱履歴取得手順に相当し、このステップS100を実行するホストサーバ20が、各請求項記載の歌唱履歴取得手段として機能する。   In addition, said step S100 is corresponded to the song history acquisition procedure as described in each claim, and the host server 20 which performs this step S100 functions as a song history acquisition means as described in each claim.

その後、ステップS110に移り、ホストサーバ20は、上記視聴有無判断部24により、上記ステップS100で取得された歌唱履歴に、上記ステップSC1で受信した曲IDが含まれているか否かを判定する。当該曲IDが含まれていたら判定が満たされ(S110:YES)、後述のステップS140に移る。当該曲IDが含まれていなかったら判定が満たされず(S110:NO)、ステップS120に移る。   Thereafter, the process proceeds to step S110, and the host server 20 determines whether or not the singing history acquired in step S100 includes the song ID received in step SC1 by the viewing presence / absence determination unit 24. If the song ID is included, the determination is satisfied (S110: YES), and the process proceeds to step S140 described later. If the song ID is not included, the determination is not satisfied (S110: NO), and the process proceeds to step S120.

ステップS120では、ホストサーバ20は、上記視聴有無判断部24により、この時点で、上記特定の歌唱ユーザとともにログインしていた他の歌唱ユーザのユーザID(ステップSC2で取得済み)を所定の条件(後述)により抽出し、当該他の歌唱ユーザが、上記ステップSC1で受信した曲IDの投稿楽曲が歌唱されたか否かを判定する。当該投稿楽曲が歌唱されていたら判定が満たされ(S120:YES)、後述のステップS140に移る。当該投稿楽曲が歌唱されていなかったら判定が満たされず(S120:NO)、ステップS130に移る。   In step S120, the host server 20 uses the viewing presence / absence determination unit 24 to obtain the user IDs (obtained in step SC2) of other singing users who have logged in together with the specific singing user at the predetermined condition (at step SC120). The other singing user determines whether or not the posted song with the song ID received in step SC1 has been sung. If the posted music is sung, the determination is satisfied (S120: YES), and the process proceeds to step S140 described later. If the posted music is not sung, the determination is not satisfied (S120: NO), and the process proceeds to step S130.

なお、上述の他の歌唱ユーザを抽出する上記所定の条件とは、例えば、ホストサーバ20の歌唱履歴記憶部21には、ユーザそれぞれの歌唱履歴情報が記憶されている。歌唱履歴情報には、ユーザがログインした時間情報とログアウトした時間情報(ログインからログアウト迄の時間帯もしくは、ログイン、ログアウト時間の一方を基準とした時間長でもよい)と、歌唱したカラオケ装置10を特定する情報(例えば、シリアル番号,IPアドレスなど)も含まれている。ホストサーバ20は、特定のユーザがログインからログアウト迄の時間帯で歌唱したカラオケ装置と同じカラオケ装置を利用し、同じ時間帯でログインしていた他のユーザを、特定の歌唱ユーザとともにログインしていた他の歌唱ユーザとして、抽出する。   In addition, with the said predetermined conditions which extract the other above-mentioned song user, each user's song history information is memorize | stored in the song history memory | storage part 21 of the host server 20, for example. The singing history information includes the time information when the user logged in and the time information when the user logged out (the time period from login to logout or the time length based on one of the login and logout times) and the singing karaoke apparatus 10. Information to be specified (for example, serial number, IP address, etc.) is also included. The host server 20 uses the same karaoke device as the karaoke device that the specific user sang in the time period from login to logout, and logs in another user who has logged in in the same time zone together with the specific singing user. Extract as other singing users.

ステップS130では、ホストサーバ20は、上記視聴有無判断部24により、上記特定の歌唱ユーザ自身が当該投稿楽曲を歌唱したこともなく、上記他の歌唱ユーザが当該投稿楽曲を歌唱するのを見たこともない、とみなし、当該投稿楽曲に対する上記特定の歌唱ユーザの視聴履歴を「視聴歴なし」とする。そして、このルーチンを終了する。   In step S130, the host server 20 saw that the other singing user sings the posted music without the specific singing user singing the posted music by the viewing presence / absence judging unit 24. The viewing history of the specific singing user with respect to the posted music is “no viewing history”. Then, this routine ends.

一方、ステップS140では、ホストサーバ20は、上記視聴有無判断部24により、上記特定の歌唱ユーザ自身が当該投稿楽曲を歌唱したことがあるか、若しくは、上記他の歌唱ユーザが当該投稿楽曲を歌唱するのを見たことがある、とみなし、当該投稿楽曲に対する上記特定の歌唱ユーザの視聴履歴を「視聴歴あり」とする。そして、このルーチンを終了する。なお、上記ステップS130及びステップS140が、各請求項記載のメロディ知見判定手順に相当し、これらのステップS130及びステップS140を実行するホストサーバ20が、各請求項記載のメロディ知見判定手段として機能する。   On the other hand, in step S140, the host server 20 causes the viewing presence / absence determination unit 24 to sing the posted song by the specific singing user or the other singing user sings the posted song. The viewing history of the specific singing user with respect to the posted music is assumed to be “with viewing history”. Then, this routine ends. In addition, the said step S130 and step S140 are equivalent to the melody knowledge determination procedure of each claim, and the host server 20 which performs these steps S130 and S140 functions as the melody knowledge determination means described in each claim. .

図2に戻り、上記ステップS130又はステップS140が終了すると、ホストサーバ20は、上記ステップS130又はステップS140で得た判定結果、すなわち「視聴歴なし」又は「視聴歴あり」の旨を、カラオケ装置10へ送信する(ステップSS4)。   Returning to FIG. 2, when step S130 or step S140 is completed, the host server 20 indicates the determination result obtained in step S130 or step S140, that is, “no viewing history” or “with viewing history” as a karaoke device. 10 (step SS4).

上記「視聴歴なし」又は「視聴歴あり」の判定結果を受信したカラオケ装置10の制御部101では、この受信結果に基づき、ガイドボーカル付与処理が実行される(ステップSC3)。このガイドボーカル付与処理の詳細を表すフローチャートを図6に示す。   The control unit 101 of the karaoke apparatus 10 that has received the determination result “no viewing history” or “with viewing history” executes a guide vocal provision process based on the reception result (step SC3). FIG. 6 is a flowchart showing details of the guide vocal imparting process.

前述したように、投稿ユーザにより作成された投稿データ220には、当該投稿楽曲の楽曲データ224、楽譜情報222、及び、歌詞データ223に加え、投稿ユーザ自らの歌唱による、当該楽曲データの歌唱音声データが含まれている場合がある。このような場合には、当該歌唱音声データによりそのままメロディラインを確認できるので、ガイドボーカル音声の生成を行う必要がない。したがって、図6において、まずステップS200で、制御部101は、上記ステップSS2でホストサーバ20から受信した投稿データ220に、上記歌唱音声データが含まれているか否か、を判断する。なお、この判断の手法は、例えば各投稿データ220に、歌唱音声データが含まれているか否かのフラグが付されている場合には、当該フラグをチェックすればよい。あるいは、投稿データ220に対し、公知の音声周波数検出を実行して判断するようにしてもよい。このステップS200が各請求項記載の歌唱音声判定手順に相当し、このステップS200を実行する制御部101が、各請求項記載の歌唱音声判定手段として機能する。   As described above, the posted data 220 created by the posting user includes the song data 224, the score information 222, and the lyrics data 223 of the posted song, and the singing voice of the song data based on the singing of the posting user himself / herself. May contain data. In such a case, since the melody line can be confirmed as it is based on the singing voice data, it is not necessary to generate a guide vocal voice. Therefore, in FIG. 6, first, in step S200, the control unit 101 determines whether or not the singing voice data is included in the post data 220 received from the host server 20 in step SS2. For example, when each posting data 220 is flagged as to whether or not singing voice data is included, this determination method may be checked. Alternatively, it may be determined by performing known audio frequency detection on the post data 220. This step S200 corresponds to a singing voice determination procedure described in each claim, and the control unit 101 that executes this step S200 functions as a singing voice determination unit described in each claim.

その後、上記ステップSS4でホストサーバ20から受信した「視聴歴なし」又は「視聴歴あり」の判断結果と、ステップS201で、上記ステップS200における歌唱音声有無の判断結果と、に基づき、制御部101は、上記ホストサーバ20から受信した判断結果が「視聴歴なし」であって、かつ上記ステップS200における判断結果が「歌唱音声が含まれていない」であったか否かを判定する。「視聴歴なし」「歌唱音声が含まれていない」の判断結果であった場合には判定が満たされ(S201:YES)、ステップS220に移る。「視聴歴あり」又は「歌唱音声が含まれている」のいずれかの判断結果があった場合には判定が満たされず(S201:NO)、このルーチンを終了して、図2のステップSC4に移る。   Then, based on the determination result “no viewing history” or “with viewing history” received from the host server 20 in step SS4 and the determination result of the presence or absence of singing voice in step S200 in step S201, the control unit 101 Determines whether the determination result received from the host server 20 is “no viewing history” and the determination result in step S200 is “no singing voice”. If the determination result is “no viewing history” or “no singing voice”, the determination is satisfied (S201: YES), and the process proceeds to step S220. If there is a determination result of either “viewing history” or “singing voice is included”, the determination is not satisfied (S201: NO), this routine is terminated, and the process proceeds to step SC4 in FIG. Move.

上記「視聴歴なし」「歌唱音声が含まれていない」の判断結果であった場合には、前述のメロディラインの不明による歌唱困難が生じる。そこで、この場合には、ガイドボーカル音声を生成するために、ステップS220で、制御部101は、ホストサーバ20に対し、当該特定の歌唱ユーザの歌唱ジャンルの要求を送信する。図5に示したように、ホストサーバ20の歌唱履歴記憶部21に記憶された歌唱履歴には、各ユーザの歌唱した楽曲のジャンルも併せて記録されている。上記歌唱ジャンルの要求を受信したホストサーバ20は、上記歌唱履歴中に記録されたジャンルを参照して、要求された特定の歌唱ユーザの歌唱ジャンルを決定する(図2のステップSS5)。この決定では、ユーザが歌唱した各楽曲をジャンル毎に集計したときに、最も楽曲数が多いジャンルを当該ユーザの歌唱ジャンル、とすればよい。図5に示した例では、ユーザ「AAA」は、ジャンル:POPの曲を最も多く歌唱していることから歌唱ジャンルは「POP」となる。ユーザ「BBB」は、ジャンル:演歌の曲を最も多く歌唱していることから歌唱ジャンルは「演歌」となる。ユーザ「CCC」は、ジャンル:POPの曲を最も多く歌唱していることから歌唱ジャンルは「POP」となる。ユーザ「DDD」は、ジャンル:レゲエの曲を最も多く歌唱していることから歌唱ジャンルは「レゲエ」となる。なお、上記ステップSS5を実行するホストサーバ20が、各請求項記載の歌唱ジャンル決定手段として機能する。なお、この歌唱ジャンルの決定は、随時ホストサーバ20において実行され、その決定結果が保存されているようにしてもよい。   When the determination result is “no viewing history” or “no singing voice”, singing difficulty due to the unknown melody line occurs. Therefore, in this case, in order to generate a guide vocal voice, the control unit 101 transmits a request for the singing genre of the specific singing user to the host server 20 in step S220. As shown in FIG. 5, the genre of music sung by each user is also recorded in the singing history stored in the singing history storage unit 21 of the host server 20. The host server 20 that has received the request for the singing genre refers to the genre recorded in the singing history and determines the singing genre of the requested specific singing user (step SS5 in FIG. 2). In this determination, when the songs sung by the user are aggregated for each genre, the genre with the largest number of songs may be set as the singing genre of the user. In the example shown in FIG. 5, since the user “AAA” sings the genre: POP most frequently, the singing genre is “POP”. Since the user “BBB” sings the genre: Enka song most, the singing genre is “Enka”. Since the user “CCC” sings the genre: POP most frequently, the singing genre is “POP”. Since the user “DDD” sings the genre: reggae song most, the singing genre is “reggae”. In addition, the host server 20 which performs said step SS5 functions as a singing genre determination means as described in each claim. The determination of the singing genre may be executed by the host server 20 as needed, and the determination result may be stored.

その後、制御部101は、ステップS230において、上記のようにして決定された後にホストサーバ20からカラオケ装置10へ送信された、上記特定の歌唱ユーザの歌唱ジャンルを取得する。その後、ステップS240に移る。   Thereafter, in step S230, the control unit 101 acquires the singing genre of the specific singing user transmitted from the host server 20 to the karaoke apparatus 10 after being determined as described above. Thereafter, the process proceeds to step S240.

ステップS240では、上記ステップS230で取得された歌唱ジャンルに基づき、当該特定の歌唱ユーザの歌唱のためにガイド音声ボーカルを合成するときの、パラメータを決定する。この決定は、例えば図7に示すテーブルを用いて行われる。図7に示す例では、上記パラメータとして、高音域、中音域、低音域、重低音域の各周波数帯域において、相対的に音量を増大させる(「UP」で表す)か、相対的に音量を減少させる(「DOWN」で表す)か、増大も減少もしない(「UP/DOWNなし」で表す)か、をそれぞれ選択されることにより、音質設定が上記歌唱ジャンルごとに行われる。この例では、例えば歌唱ジャンル「POP」の場合には、高音域は音量増大、中音域は音量増大・減少なし、低音域は音量増大・減少なし、重低音は音量増大、という音質設定がなされる。歌唱ジャンル「演歌」の場合には、高音域は音量増大・減少なし、中音域は音量増大、低音域は音量増大・減少なし、重低音は音量減少、という音質設定がなされる。歌唱ジャンル「レゲエ」の場合には、高音域は音量増大・減少なし、中音域は音量増大・減少なし、低音域は音量増大、重低音は音量増大、という音質設定がなされる。その後、ステップS250に移る。   In step S240, parameters for synthesizing the guide voice vocal for the song of the specific singing user are determined based on the singing genre acquired in step S230. This determination is performed using, for example, the table shown in FIG. In the example shown in FIG. 7, as the parameter, the volume is relatively increased (represented by “UP”) or the volume is relatively increased in each of the high frequency range, middle frequency range, low frequency range, and heavy low frequency range. The sound quality is set for each singing genre by selecting whether to decrease (represented by “DOWN”) or not increase or decrease (represented by “no UP / DOWN”). In this example, for example, in the case of the singing genre “POP”, the sound quality is set such that the volume is increased in the high range, the volume is not increased or decreased in the middle range, the volume is not increased or decreased in the low range, and the volume is increased in the deep bass. The In the case of the singing genre “enka”, the sound quality is set such that there is no increase / decrease in volume in the high range, volume increase in the middle range, no increase / decrease in volume in the low range, and volume decrease in heavy bass. In the case of the singing genre “reggae”, the sound quality is set such that there is no volume increase / decrease in the high sound range, there is no volume increase / decrease in the middle sound range, the sound volume is increased in the low sound range, and the sound volume is increased in the heavy bass sound. Thereafter, the process proceeds to step S250.

ステップS250では、制御部101は、上記音源106に備えられている人工音声の音源を用いて、上記ステップSS2で取得されたメロディの楽譜情報222及び歌詞データ223に従い、さらに上記ステップS240で決定されたパラメータによって、当該投稿楽曲のガイドボーカル音声を合成する。この合成により生成されたガイドボーカル音声は、例えば上記大容量記憶装置103に記憶される。このステップS250が各請求項記載のガイドボーカル生成手順に相当し、このステップS250を実行する制御部101が、各請求項記載のガイドボーカル生成手段として機能する。   In step S250, the control unit 101 uses the artificial sound source provided in the sound source 106 according to the musical score information 222 and the lyrics data 223 acquired in step SS2, and is further determined in step S240. According to the parameters, the guide vocal sound of the posted music is synthesized. The guide vocal voice generated by this synthesis is stored in the mass storage device 103, for example. This step S250 corresponds to a guide vocal generating procedure described in each claim, and the control unit 101 that executes this step S250 functions as a guide vocal generating unit described in each claim.

図2に戻り、以上のようにしてステップSC3のガイドボーカル付与処理が終了すると、制御部101の制御に基づき、上記投稿楽曲の楽曲データ224が上記大容量記憶装置103から読み出されて音源106等によって再生されると共に、これに同期して、上記ステップS250で合成されたガイドボーカル音声が大容量記憶装置103から読み出されて再生される(ステップSC4)。言い換えれば、当該投稿楽曲がガイドボーカル付きで再生される。また、このとき、歌詞データ223による歌詞表示が上記表示部109によって行われる。このステップSC4が各請求項記載の音声・楽曲再生手順に相当し、このステップSC4を実行する制御部101が、各請求項記載の音声・楽曲再生手段として機能する。   Returning to FIG. 2, when the guide vocal imparting process in step SC <b> 3 is completed as described above, the music data 224 of the posted music is read from the large-capacity storage device 103 based on the control of the control unit 101 and the sound source 106. The guide vocal voice synthesized in step S250 is read out from the mass storage device 103 and reproduced in synchronism with the reproduction (step SC4). In other words, the posted music is played with a guide vocal. At this time, lyrics display by the lyrics data 223 is performed by the display unit 109. This step SC4 corresponds to the voice / music reproduction procedure described in each claim, and the control unit 101 that executes this step SC4 functions as the voice / music reproduction means described in each claim.

以上説明したように、本実施形態においては、投稿ユーザによるオリジナル投稿楽曲の投稿データ220に歌唱音声データが含まれておらず、かつ当該投稿楽曲に対し、特定の歌唱ユーザの歌唱履歴や他ユーザの歌唱を見た履歴がない場合には、人工音声を用いてガイドボーカル音声が生成されて再生される。これにより、上記特定の歌唱ユーザが、投稿ユーザの投稿した楽曲のメロディラインを知らなくても、容易かつ円滑に当該楽曲の歌唱を行うことができる。したがって、利便性を向上することができる。   As described above, in the present embodiment, the singing voice data is not included in the posting data 220 of the original posted music by the posting user, and the specific singing user's singing history and other users are included in the posted music. If there is no history of seeing the song, a guide vocal voice is generated and reproduced using an artificial voice. Thereby, even if the said specific singing user does not know the melody line of the music which the contribution user contributed, the said music can be sung easily and smoothly. Therefore, convenience can be improved.

また、本実施形態では特に、歌唱履歴に基づき上記特定の歌唱ユーザの歌唱ジャンルが決定され、その歌唱ジャンルに対応したパラメータを用いてガイドボーカル音声が生成される。これにより、人工音声によるガイドボーカル音声の生成の際、上記特定の歌唱ユーザの歌唱嗜好に合致した、より最適な音声態様のガイドボーカル音声を生成することができる。この結果、さらに利便性を向上することができる。   In the present embodiment, in particular, the singing genre of the specific singing user is determined based on the singing history, and the guide vocal sound is generated using the parameters corresponding to the singing genre. Thereby, when generating the guide vocal voice by the artificial voice, it is possible to generate the guide vocal voice in a more optimal voice mode that matches the singing preference of the specific singing user. As a result, the convenience can be further improved.

なお、以上において、図2、図4、図6等に示すフローチャートは本発明を上記フローに示す手順に限定するものではなく、発明の趣旨及び技術的思想を逸脱しない範囲内で手順の追加・削除又は順番の変更等をしてもよい。   In the above, the flowcharts shown in FIG. 2, FIG. 4, FIG. 6 and the like do not limit the present invention to the procedure shown in the above-described flow, and additional procedures / additions can be made without departing from the spirit and technical idea of the invention. You may delete or change the order.

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。   In addition to those already described above, the methods according to the above-described embodiments and modifications may be used in appropriate combination.

その他、一々例示はしないが、本発明は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。   In addition, although not illustrated one by one, the present invention is implemented with various modifications within a range not departing from the gist thereof.

1 通信カラオケシステム(投稿楽曲演奏システム)
21 歌唱履歴記憶部(歌唱履歴記憶手段)
22 投稿データ記憶部(投稿記憶手段)
106 音源
107 音声制御部
108 スピーカ
220 投稿データ
222 楽譜情報
223 歌詞データ
224 楽曲データ(カラオケ楽曲データ)
1 Online karaoke system (contributed music performance system)
21 Singing history storage unit (singing history storage means)
22 Post Data Storage Unit (Post Storage Unit)
106 sound source 107 audio control unit 108 speaker 220 post data 222 score information 223 lyrics data 224 music data (karaoke music data)

Claims (3)

投稿ユーザにより作成された楽曲に係わる、投稿楽曲データ、歌唱メロディの楽譜情報、及び、歌詞データを送信する投稿送信手段と、
前記投稿送信手段からの送信に応じて、少なくとも、前記投稿楽曲データ、前記楽譜情報、及び前記歌詞データを、投稿データとして記憶する投稿記憶手段と、
複数の歌唱ユーザそれぞれの歌唱履歴情報を記憶する歌唱履歴記憶手段と、
特定の歌唱ユーザの指示に基づき、前記投稿記憶手段に記憶された前記投稿データに含まれる前記投稿楽曲データ及び前記歌詞データを前記投稿記憶手段から取得する投稿楽曲取得手段と、
前記特定の歌唱ユーザの指示に基づき、前記投稿楽曲取得手段により取得された前記投稿楽曲データが含まれる前記投稿データに、対応する歌唱音声データが含まれているか否かを判定する歌唱音声判定手段と、
前記特定の歌唱ユーザの指示に基づき、対応する当該特定の歌唱ユーザの歌唱履歴情報を前記歌唱履歴記憶手段から取得する歌唱履歴取得手段と、
前記歌唱履歴取得手段により取得された前記歌唱履歴情報に基づき、前記投稿楽曲取得手段により取得された前記投稿楽曲データの前記歌唱メロディに対する、前記特定の歌唱ユーザの知見の有無を判定するメロディ知見判定手段と、
前記歌唱音声判定手段により前記投稿データに前記歌唱音声データが含まれていないと判定され、かつ、前記メロディ知見判定手段により前記投稿楽曲データの前記歌唱メロディに対し前記特定の歌唱ユーザの知見がないと判定された場合に、前記投稿記憶手段に記憶された当該投稿データに含まれる前記楽譜情報及び前記歌詞データに基づき、対応するガイドボーカル音声を人工音声により生成するガイドボーカル生成手段と、
前記ガイドボーカル生成手段により生成された前記ガイドボーカル音声を、前記投稿楽曲取得手段により取得された前記投稿楽曲データとともに再生する音声・楽曲再生手段、
を有することを特徴とする投稿楽曲演奏システム。
Post transmission means for transmitting posted music data, singing melody score information, and lyrics data related to the music created by the posting user;
Post storage means for storing at least the posted music data, the score information, and the lyrics data as post data in response to transmission from the post transmission means;
Singing history storage means for storing singing history information of each of a plurality of singing users;
Based on an instruction from a specific singing user, posted music acquisition means for acquiring the posted music data and the lyrics data included in the posted data stored in the posting storage means from the posting storage means;
Based on the instruction of the specific singing user, the singing voice determining means for determining whether or not the corresponding singing voice data is included in the posted data including the posted music data acquired by the posted music acquisition means. When,
Based on the instruction of the specific singing user, singing history acquisition means for acquiring the corresponding singing history information of the specific singing user from the singing history storage means,
Melody knowledge determination for determining presence / absence of knowledge of the specific singing user with respect to the singing melody of the posted music data acquired by the posted music acquisition means based on the singing history information acquired by the singing history acquisition means Means,
It is determined by the singing voice determination means that the singing voice data is not included in the post data, and the melody knowledge determination means has no knowledge of the specific singing user with respect to the singing melody of the posted music data. A guide vocal generating means for generating a corresponding guide vocal voice by an artificial voice based on the musical score information and the lyrics data included in the posting data stored in the posting storage means,
Voice / music playback means for playing back the guide vocal sound generated by the guide vocal generation means together with the posted music data acquired by the posted music acquisition means;
The contribution music performance system characterized by having.
請求項1記載の投稿楽曲演奏システムにおいて、
前記歌唱履歴取得手段により取得された前記歌唱履歴情報に基づき、前記特定の歌唱ユーザの歌唱ジャンルを決定する歌唱ジャンル決定手段を有し、
前記ガイドボーカル生成手段は、
前記歌唱ジャンル決定手段により決定された前記歌唱ジャンルに対応したパラメータを用いて、前記ガイドボーカル音声を生成する
ことを特徴とする投稿楽曲演奏システム。
The posted music performance system according to claim 1,
Based on the singing history information acquired by the singing history acquisition means, the singing genre determining means for determining the singing genre of the specific singing user,
The guide vocal generating means includes
The posted music performance system, wherein the guide vocal sound is generated using a parameter corresponding to the singing genre determined by the singing genre determining means.
投稿ユーザにより作成された楽曲に係わる、投稿楽曲データ、歌唱メロディの楽譜情報、及び、歌詞データを送信する投稿送信手段と、前記投稿送信手段からの送信に応じて、少なくとも、前記投稿楽曲データ、前記楽譜情報、及び前記歌詞データを、投稿データとして記憶する投稿記憶手段と、複数の歌唱ユーザそれぞれの歌唱履歴情報を記憶する歌唱履歴記憶手段と、を有する投稿処理システムが実行する投稿楽曲演奏方法であって、
特定の歌唱ユーザの指示に基づき、前記投稿記憶手段に記憶された前記投稿データに含まれる前記投稿楽曲データ及び前記歌詞データを前記投稿記憶手段から取得する投稿楽曲取得手順と、
前記特定の歌唱ユーザの指示に基づき、前記投稿楽曲取得手順で取得された前記投稿楽曲データが含まれる前記投稿データに、対応する歌唱音声データが含まれているか否かを判定する歌唱音声判定手順と、
前記特定の歌唱ユーザの指示に基づき、対応する当該特定の歌唱ユーザの歌唱履歴情報を前記歌唱履歴記憶手段から取得する歌唱履歴取得手順と、
前記歌唱履歴取得手順で取得された前記歌唱履歴情報に基づき、前記投稿楽曲取得手順で取得された前記投稿楽曲データの前記歌唱メロディに対する、前記特定の歌唱ユーザの知見の有無を判定するメロディ知見判定手順と、
前記歌唱音声判定手順で前記投稿データに前記歌唱音声データが含まれていないと判定され、かつ、前記メロディ知見判定手順で前記投稿楽曲データの前記歌唱メロディに対し前記特定の歌唱ユーザの知見がないと判定された場合に、前記投稿記憶手段に記憶された当該投稿データに含まれる前記楽譜情報及び前記歌詞データに基づき、対応するガイドボーカル音声を人工音声により生成するガイドボーカル生成手順と、
前記ガイドボーカル生成手順で生成された前記ガイドボーカル音声を、前記投稿楽曲取得手順で取得された前記投稿楽曲データとともに再生する音声・楽曲再生手順と、
を有することを特徴とする投稿楽曲演奏方法。
Posting music data related to the music created by the posting user, musical score information of singing melody, and post transmission means for transmitting lyrics data, and at least the posted music data in response to transmission from the post transmission means, A posted music performance method executed by a posting processing system including post storage means for storing the musical score information and the lyrics data as post data, and singing history storage means for storing singing history information of each of a plurality of singing users. Because
Based on an instruction from a specific singing user, a posted song acquisition procedure for acquiring the posted song data and the lyrics data included in the posted data stored in the posted storage unit from the posted storage unit;
Based on the instruction of the specific singing user, the singing voice determination procedure for determining whether or not the corresponding singing voice data is included in the posted data including the posted music data acquired in the posted music acquisition procedure. When,
Based on the instruction of the specific singing user, the singing history acquisition procedure for acquiring the corresponding singing history information of the specific singing user from the singing history storage means,
Melody knowledge determination for determining the presence or absence of knowledge of the specific singing user for the singing melody of the posted music data acquired in the posted music acquisition procedure based on the singing history information acquired in the singing history acquisition procedure Procedure and
In the singing voice determination procedure, it is determined that the singing voice data is not included in the post data, and in the melody knowledge determination procedure, there is no knowledge of the specific singing user with respect to the singing melody of the posted music data. A guide vocal generating procedure for generating a corresponding guide vocal voice by an artificial voice based on the musical score information and the lyrics data included in the post data stored in the post storage means,
An audio / music reproduction procedure for reproducing the guide vocal audio generated in the guide vocal generation procedure together with the posted music data acquired in the posted music acquisition procedure;
A posted music performance method characterized by comprising:
JP2013178256A 2013-08-29 2013-08-29 Posted music performance system and posted music performance method Active JP5660408B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013178256A JP5660408B1 (en) 2013-08-29 2013-08-29 Posted music performance system and posted music performance method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013178256A JP5660408B1 (en) 2013-08-29 2013-08-29 Posted music performance system and posted music performance method

Publications (2)

Publication Number Publication Date
JP5660408B1 true JP5660408B1 (en) 2015-01-28
JP2015045824A JP2015045824A (en) 2015-03-12

Family

ID=52437517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013178256A Active JP5660408B1 (en) 2013-08-29 2013-08-29 Posted music performance system and posted music performance method

Country Status (1)

Country Link
JP (1) JP5660408B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110741430A (en) * 2017-06-14 2020-01-31 雅马哈株式会社 Singing synthesis method and singing synthesis system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143170A (en) * 1996-11-07 1998-05-29 Yamaha Corp Musical piece data forming device and karaoke sing-along machine
JP2003091291A (en) * 2001-09-19 2003-03-28 Yamaha Corp Karaoke system, karaoke device and server device, for karaoke system
JP2005241848A (en) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd Model vocal offer system of contribution work editing type in online karaoke system
JP2009244789A (en) * 2008-03-31 2009-10-22 Daiichikosho Co Ltd Karaoke system with guide vocal creation function
JP2011017987A (en) * 2009-07-10 2011-01-27 Brother Industries Ltd Data collection and delivery system and communication karaoke system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143170A (en) * 1996-11-07 1998-05-29 Yamaha Corp Musical piece data forming device and karaoke sing-along machine
JP2003091291A (en) * 2001-09-19 2003-03-28 Yamaha Corp Karaoke system, karaoke device and server device, for karaoke system
JP2005241848A (en) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd Model vocal offer system of contribution work editing type in online karaoke system
JP2009244789A (en) * 2008-03-31 2009-10-22 Daiichikosho Co Ltd Karaoke system with guide vocal creation function
JP2011017987A (en) * 2009-07-10 2011-01-27 Brother Industries Ltd Data collection and delivery system and communication karaoke system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110741430A (en) * 2017-06-14 2020-01-31 雅马哈株式会社 Singing synthesis method and singing synthesis system
CN110741430B (en) * 2017-06-14 2023-11-14 雅马哈株式会社 Singing synthesis method and singing synthesis system

Also Published As

Publication number Publication date
JP2015045824A (en) 2015-03-12

Similar Documents

Publication Publication Date Title
JP2009244789A (en) Karaoke system with guide vocal creation function
JP5269829B2 (en) Karaoke system, karaoke system control method, karaoke system control program, and information recording medium thereof
JP5713048B2 (en) Karaoke system
JP6501344B2 (en) Karaoke scoring system considering listener&#39;s evaluation
JP2010237257A (en) Evaluation device
JP6065703B2 (en) Reference data creation system and performance terminal device
JP5459331B2 (en) Post reproduction apparatus and program
JP5986387B2 (en) Information processing program, information processing apparatus, lyrics display method, and communication system
JP5660408B1 (en) Posted music performance system and posted music performance method
JP5173380B2 (en) Karaoke device that can make karaoke music selection reservations based on personal music composition
JP6316099B2 (en) Karaoke equipment
JP5708735B2 (en) Posted music performance system and posted music performance method
JP2009058806A (en) Request accepting system for karaoke
JP6219750B2 (en) Singing battle karaoke system
JP2005037846A (en) Information setting device and method for music reproducing device
JP5234950B2 (en) Singing recording system
JP5046862B2 (en) Karaoke system with automatic selection function
JP6144593B2 (en) Singing scoring system
JP7312683B2 (en) karaoke device
JP5191336B2 (en) Sound system with group performance practice support function
JP7295777B2 (en) karaoke device
JP7063533B2 (en) Karaoke system
JP6574697B2 (en) Karaoke system
JP6057079B2 (en) Karaoke device and karaoke program
JP2023064385A (en) karaoke device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141119

R150 Certificate of patent or registration of utility model

Ref document number: 5660408

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150