JP2010060630A - Karaoke machine - Google Patents

Karaoke machine Download PDF

Info

Publication number
JP2010060630A
JP2010060630A JP2008223593A JP2008223593A JP2010060630A JP 2010060630 A JP2010060630 A JP 2010060630A JP 2008223593 A JP2008223593 A JP 2008223593A JP 2008223593 A JP2008223593 A JP 2008223593A JP 2010060630 A JP2010060630 A JP 2010060630A
Authority
JP
Japan
Prior art keywords
time
evaluation
series
singing
karaoke apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008223593A
Other languages
Japanese (ja)
Other versions
JP5224517B2 (en
Inventor
Nagayoshi Takasaki
修禎 高崎
Yoshihiro Kirihara
恵洋 桐原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BMB International Corp
Original Assignee
BMB International Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BMB International Corp filed Critical BMB International Corp
Priority to JP2008223593A priority Critical patent/JP5224517B2/en
Publication of JP2010060630A publication Critical patent/JP2010060630A/en
Application granted granted Critical
Publication of JP5224517B2 publication Critical patent/JP5224517B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To compare singing with one's own past singing evaluation or other person's singing evaluation, when carrying out singing practice. <P>SOLUTION: A karaoke machine performs: playback processing in which performance information of a specified musical piece specified by a specifying means is played back by a playback means, while a voice signal which is input through a microphone; and compared with melody information, time sequential evaluation is created; communication processing, in which a sequential reference record regarding the specified musical piece is received from a host device, and the created time sequential evaluation is transmitted to the host device; and display processing in which the created time sequential evaluation and at least one time sequential reference record, corresponding to the performance information on which the sequential evaluation is performed, are displayed concurrently in a display means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、指定された楽曲の再生を行うと共に、マイクロフォンから入力される歌唱者の音声信号に基づいて歌唱評価を行うカラオケ装置に関する。   The present invention relates to a karaoke apparatus for performing singing evaluation based on a voice signal of a singer input from a microphone while reproducing a designated music piece.

カラオケ装置は、本来、伴奏の演奏に合わせて歌唱を楽しむ装置であるが、マイクロフォンから入力される歌唱音声とメロディに関する情報を比較することで得点を算出する採点機能を備えたカラオケ装置も広く知られるている。また、この採点機能に類似した機能として、歌唱音声とメロディに関する情報を比較し、メロディに対する歌唱音声の音程の高低、歌唱音声の大小、あるいは、歌唱タイミングなどの比較結果を歌唱者に提示するなどの歌唱練習機能を備えたカラオケ装置も、特許文献1〜特許文献4にみられるようによく知られている。   Karaoke devices are originally devices that enjoy singing along with the performance of accompaniment, but karaoke devices with a scoring function that calculates scores by comparing singing voices input from microphones with information about melodies are also widely known. It has been. In addition, as a function similar to this scoring function, the information related to the singing voice and the melody is compared, and the comparison result such as the pitch of the singing voice relative to the melody, the magnitude of the singing voice, or the singing timing is presented to the singer. A karaoke apparatus having a singing practice function is well known as seen in Patent Documents 1 to 4.

特許文献1の画像表示機能付カラオケ再生装置は、マイクロホン7に入力される音声信号を歌声音符信号に変換し、楽譜音符と歌声音符とを重ね合わせた画像を表示する際、楽譜音符と歌声音符とが一致しない場合には、歌声音符を楽譜音符とは異なる色に点滅表示させるものであって、この点滅表示にて音程、リズムの正しさを視覚的に認識させるものである。   When the karaoke reproducing apparatus with an image display function of Patent Document 1 converts a voice signal input to the microphone 7 into a singing voice note signal and displays an image in which a musical score note and a singing voice note are superimposed, a musical score note and a singing voice note are displayed. Is not displayed, the singing voice note blinks in a color different from that of the musical score note, and the correctness of the pitch and rhythm is visually recognized by this blinking display.

特許文献2のカラオケシステムは、演奏されるカラオケ楽曲信号と歌唱者の音声信号とを比較して部分フレーズ毎の評価結果を記憶すると共に、歌唱者の音声信号と演奏されたカラオケ楽曲信号との合成信号を部分フレーズ毎に記憶しておき、入力手段で指定された部分フレーズの評価結果を表示すると共に、当該部分フレーズの合成信号を再生するカラオケシステムである。このカラオケシステムによれば、歌唱者は自己の歌唱の善し悪しを部分フレーズ毎に理解でき、評価の低い部分を重点的に練習することで歌唱力を向上させることができる。   The karaoke system of Patent Literature 2 compares the karaoke music signal to be played with the voice signal of the singer and stores the evaluation result for each partial phrase, and the karaoke music signal of the singer and the played karaoke music signal. This is a karaoke system that stores a synthesized signal for each partial phrase, displays the evaluation result of the partial phrase designated by the input means, and reproduces the synthesized signal of the partial phrase. According to this karaoke system, the singer can understand the good or bad of his / her singing for each partial phrase, and can improve the singing ability by intensively practicing the low evaluation part.

特許文献3の歌唱練習機能付きカラオケ装置は、再生手段によって再生された伴奏音声に合わせて歌い手が歌唱したときの一致度を評価し、一致程度が所定範囲を超えた箇所の伴奏音声を再度再生させることで、効率的な練習を行うことができるものである。   The karaoke apparatus with the singing practice function of Patent Document 3 evaluates the degree of coincidence when the singer sings in accordance with the accompaniment sound reproduced by the reproducing means, and reproduces the accompaniment sound at a place where the degree of coincidence exceeds a predetermined range again. By doing so, you can practice efficiently.

特許文献4の歌声ピッチの誤差をバーグラフに表示するカラオケ装置では、初回演奏モードで歌声ピッチの誤差をバーグラフの着色情報として格納しておき、再演奏モードにて、当該着色情報にてバーグラフを着色して表示し、再度の歌唱に伴う歌声ピッチの誤差に基づいてバーグラフの色を上書きしていくものであって、歌唱者はどの箇所が正しく歌えなかったかを認識できる。
特許第2666240号公報 特許第3615378号公報 特開2001−34278号公報 特許第3949544号公報
In the karaoke apparatus displaying the error of the singing voice pitch on the bar graph of Patent Document 4, the error of the singing voice pitch is stored as the coloring information of the bar graph in the first performance mode, and the bar information is displayed in the coloring information in the replay mode. The graph is colored and displayed, and the color of the bar graph is overwritten based on the error of the singing voice pitch associated with the re-singing, and the singer can recognize which part cannot be sung correctly.
Japanese Patent No. 2666240 Japanese Patent No. 3615378 JP 2001-34278 A Japanese Patent No. 3949544

しかしながら、特許文献1に開示の技術は、歌唱中において音程やリズムの正しさを歌唱者に認識させることはできるが、歌唱後にどこが上手く歌えなかったかを確認させることはできない。特許文献2に開示の技術は、歌唱後に評価の低い部分フレーズを得点として認識することはできるが、その回の歌唱に限られ、同楽曲の他の歌唱との比較を行うこ
とはできない。特許文献3に開示の技術は、歌唱後に一致程度が所定範囲を超えた箇所の伴奏音声を再度再生させるものであって、特許文献2と同様、評価はその回の歌唱に限られるものとなっている。特許文献4に開示の技術は、前回行った歌唱評価を確認しながら、歌唱を行い歌唱評価を行うものであって、バーグラフの色は上書きされることから分かるように、過去の歌唱評価について管理を行うものではない。
However, the technique disclosed in Patent Document 1 can make the singer recognize the correct pitch and rhythm during singing, but cannot confirm where the singing has failed after singing. The technique disclosed in Patent Literature 2 can recognize a partial phrase having a low evaluation after singing as a score, but is limited to the singing of that time, and cannot be compared with other singing of the same music. The technique disclosed in Patent Document 3 is to reproduce the accompaniment sound at a place where the degree of coincidence exceeds a predetermined range after singing. Like Patent Document 2, the evaluation is limited to the singing of that time. ing. The technique disclosed in Patent Document 4 is to perform singing and singing evaluation while confirming the singing evaluation performed last time, and the past graph evaluation is overwritten as the color of the bar graph is overwritten. It does not manage.

このように従来のカラオケ装置における歌唱練習機能では、歌唱評価の記録を管理し、過去の自分の歌唱評価や他の歌唱者の歌唱記録との比較はできない。   Thus, in the singing practice function in the conventional karaoke apparatus, the record of singing evaluation is managed, and comparison with the past singing evaluation of the past and the singing records of other singers cannot be performed.

本発明は、歌唱練習を行うに際し、過去の自分の歌唱評価、あるいは、他人の歌唱評価などとの比較を行うための管理を提供するものである。   The present invention provides management for making a comparison with past singing evaluations or other person's singing evaluations when performing singing practice.

そのため、請求項1に係るカラオケ装置は、記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、記憶手段は、メロディ情報を含む演奏情報を記憶し、再生手段は、制御手段の制御に基づき演奏情報を再生し、通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、送信処理は、作成された時系列評価をホスト装置に送信し、表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも1つの時系列参照記録とを併せて表示手段に表示させることを特徴とするものである。   Therefore, the karaoke apparatus according to claim 1 is a karaoke apparatus comprising storage means, reproduction means, communication means, and control means, wherein the storage means stores performance information including melody information, and reproduction means. Reproduces performance information based on the control of the control means, the communication means enables communication with the host device based on the control of the control means, and the control means performs reproduction processing, reception processing, transmission processing, and display processing. In the playback process, the performance information of the designated music designated by the designation means is reproduced at the playback stage, and a time series evaluation is created by comparing the audio signal input from the microphone with the melody information. The reception process receives a time-series reference record related to the designated music from the host apparatus, the transmission process transmits the created time-series evaluation to the host apparatus, and the display process includes the created time-series evaluation and It is characterized in that the display in at least one time display means together with series reference record corresponding to the performance information was time series evaluation.

さらに、請求項2に係るカラオケ装置は、請求項1に記載のカラオケ装置において、時系列参照記録は、複数の中から切り替え表示可能とすることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 2 is characterized in that, in the karaoke apparatus according to claim 1, the time-series reference record can be switched and displayed from a plurality.

さらに、請求項3に係るカラオケ装置は、請求項1または請求項2に記載のカラオケ装置において、個人認証によりユーザがログイン可能な個人認証手段を更に備え、時系列参照記録は、ログインしているユーザの時系列評価に基づく記録であることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 3 further includes personal authentication means that allows the user to log in by personal authentication in the karaoke apparatus according to claim 1 or 2, and the time-series reference record is logged in. The recording is based on the user's time series evaluation.

さらに、請求項4に係るカラオケ装置は、請求項3に記載のカラオケ装置において、時系列参照記録は、指定楽曲に関するログインユーザの過去n回分の時系列評価であることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 4 is characterized in that, in the karaoke apparatus according to claim 3, the time-series reference record is a time-series evaluation for the past n times of the logged-in user regarding the designated music. .

さらに、請求項5に係るカラオケ装置は、請求項3に記載のカラオケ装置において、時系列参照記録は、指定楽曲に関するログインユーザの総合評価の高い時系列評価であることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 5 is characterized in that, in the karaoke apparatus according to claim 3, the time-series reference record is a time-series evaluation with a high overall evaluation of the login user regarding the designated music. .

さらに、請求項6に係るカラオケ装置は、請求項3に記載のカラオケ装置において、時系列参照記録は、指定楽曲に関するログインユーザの過去の時系列評価の平均記録であることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 6 is the karaoke apparatus according to claim 3, wherein the time-series reference record is an average record of past time-series evaluations of the logged-in user regarding the designated music. is there.

さらに、請求項7に係るカラオケ装置は、請求項1または請求項2に記載のカラオケ装置において、系列評価記録は、指定楽曲に関する複数の時系列評価平均記録であることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 7 is characterized in that, in the karaoke apparatus according to claim 1 or 2, the series evaluation record is a plurality of time series evaluation average records relating to the designated music piece. .

さらに、請求項8に係るカラオケ装置は、請求項1乃至請求項7のいずれか1つに記載のカラオケ装置において、表示処理は、再生処理の終了後に実行されることを特徴とする
ものである。
Furthermore, the karaoke apparatus according to claim 8 is the karaoke apparatus according to any one of claims 1 to 7, wherein the display process is executed after the end of the reproduction process. .

さらに、請求項9に係るカラオケ装置は、請求項1乃至請求項8のいずれか1つに記載のカラオケ装置において、表示処理は、再生処理と同時に実行されることを特徴とするものである。   Furthermore, the karaoke apparatus according to claim 9 is the karaoke apparatus according to any one of claims 1 to 8, wherein the display process is executed simultaneously with the reproduction process.

本発明によれば、歌唱練習を行うに際し、歌唱評価を行った際の時系列記録評価をホスト装置にて管理することで、過去の自分の歌唱評価、あるいは、他人の歌唱評価との比較を可能とするものである。ホスト装置にて時系列記録評価の管理を行うため、カラオケ店舗に再来店した場合や、異なるカラオケ店舗で利用する場合においても自分の歌唱記録を参照し、歌唱練習の進捗を把握することができる。   According to the present invention, when performing the singing practice, the host device manages the time-series recording evaluation when performing the singing evaluation, so that the past singing evaluation or the comparison with the singing evaluation of others can be performed. It is possible. Because the host device manages time-series recording evaluation, you can see the progress of singing practice by referring to your own singing records even when you visit the karaoke store again or when you use it at a different karaoke store. .

以下、本発明の実施形態を図面を参照しながら説明を行う。図1は、本発明の実施形態に係るカラオケシステムの実施形態を示した図であって、1つの店舗に複数のコマンダが設置されたカラオケボックスとしての営業形態を示している。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an embodiment of a karaoke system according to an embodiment of the present invention, and shows a sales form as a karaoke box in which a plurality of commanders are installed in one store.

図1において、50は通信網、60はルータ、70は無線アクセスポイント、100はホスト装置、200はリモコン装置、300はコマンダをそれぞれ示している。本実施形態において、各コマンダ300はroom1〜room4毎に1台ずつ配置され、リモコン装置200から指示された楽曲を演奏する。例えば、コマンダ1が設置されるroom1では1台のリモコン装置1が配置され、コマンダ1はリモコン装置1からの楽曲指示を受け付ける。また、コマンダ4が設置されるroom4では2台のリモコン装置4−1、4−2が配置され、コマンダ4は、リモコン装置4−1、4−2のどちらからも楽曲リクエストを受け付ける。なお、楽曲の指示は、リモコン装置200のみならず、各コマンダ300のフロントパネルに設けられた入力部からも可能となっている。   In FIG. 1, 50 is a communication network, 60 is a router, 70 is a wireless access point, 100 is a host device, 200 is a remote control device, and 300 is a commander. In the present embodiment, each commander 300 is arranged for each of room 1 to room 4 and plays the music instructed from the remote control device 200. For example, in the room 1 where the commander 1 is installed, one remote control device 1 is arranged, and the commander 1 receives a music instruction from the remote control device 1. In the room 4 where the commander 4 is installed, two remote control devices 4-1 and 4-2 are arranged, and the commander 4 receives music requests from both the remote control devices 4-1 and 4-2. Note that music instructions can be given not only from the remote control device 200 but also from an input unit provided on the front panel of each commander 300.

各コマンダ300は、LANを介してルータ60と接続されており、ルータ60はインターネット回線などの通信網50を介してホスト装置100に通信接続される。このような通信接続により、各コマンダ300は、ホスト装置100から楽曲情報や、プログラムなどの各種配信を受けることができると共に、ホスト装置100では各コマンダ300の利用履歴管理や各利用者の会員サービス管理を行うことが可能となっている。   Each commander 300 is connected to a router 60 via a LAN, and the router 60 is connected to the host apparatus 100 via a communication network 50 such as an Internet line. With such a communication connection, each commander 300 can receive various distributions of music information, programs, and the like from the host device 100. In the host device 100, the usage history management of each commander 300 and the membership service of each user are provided. Management is possible.

LAN上には、無線アクセスポイント70が接続されており、各リモコン装置200と無線通信可能に設定されている。このように設定することで、各リモコン装置200は予め対応付けられたコマンダ300と通信可能となる。また、各リモコン装置200は、コマンダ300のみならず、通信網50を介してホスト装置100との通信も可能となる。ホスト装置100は、ユーザがログインしているリモコン装置200に対して会員サービスを提供することができる。   A wireless access point 70 is connected on the LAN, and is set to be able to perform wireless communication with each remote control device 200. With this setting, each remote control device 200 can communicate with the commander 300 associated in advance. In addition, each remote control device 200 can communicate with not only the commander 300 but also the host device 100 via the communication network 50. The host device 100 can provide a member service to the remote control device 200 to which the user is logged in.

会員サービスは、各会員の個人設定情報をホスト装置100で管理することで、利用者がどのリモコン装置200からログインしても、各利用者に対して各種サービスを提供することができるサービスである。この会員サービスには、例えば、個人設定情報にユーザの予約履歴を記録しておくことで、再来店した場合に自分の予約履歴を参照可能としたり、ユーザが気に入った歌手を個人設定情報に登録しておくことでその歌手の持ち歌を参照可能としたり、登録しておいた十八番を参照可能としたり、採点履歴に基づいて他の利用者と得点を競ったりすることなどが考えられる。   The member service is a service that can provide various services to each user regardless of which remote controller 200 the user logs in by managing the personal setting information of each member with the host device 100. . In this member service, for example, the user's reservation history is recorded in the personal setting information, so that the user's reservation history can be referred to when visiting the store again, or the user's favorite singer is registered in the personal setting information. It is possible to refer to the song held by the singer, to be able to refer to the registered eighteenth, and to compete for scores with other users based on the scoring history.

本実施形態では、LANを介して接続された複数のコマンダ300による、いわゆるカ
ラオケボックスとしての営業形態を説明したが、スナックなどのナイト店では、1台のコマンダ300に対して、1台乃至複数台のリモコン装置200が設置される構成が採用される営業形態となる。
In the present embodiment, a business form as a so-called karaoke box using a plurality of commanders 300 connected via a LAN has been described. However, in a night store such as a snack, one or more units are provided for one commander 300. A configuration in which a remote control device 200 is installed is employed.

次に、カラオケ装置の一構成となるコマンダ300についてより詳しく説明する。図2は本発明の実施の形態に係るコマンダ300及びその周辺のブロック構成を示す図である。301は制御部、302は通信部、303はフロントパネル表示部、304は表示制御部、305は記憶部、306は入力部、307は音源部、308はミキシング部、309はAD変換部、401はアンプ、402はスピーカー、403はマイクロフォン、404はディスプレイをそれぞれ示している。   Next, the commander 300 as one configuration of the karaoke apparatus will be described in more detail. FIG. 2 is a diagram showing a block configuration of the commander 300 and its surroundings according to the embodiment of the present invention. 301 is a control unit, 302 is a communication unit, 303 is a front panel display unit, 304 is a display control unit, 305 is a storage unit, 306 is an input unit, 307 is a sound source unit, 308 is a mixing unit, 309 is an AD conversion unit, 401 Denotes an amplifier, 402 denotes a speaker, 403 denotes a microphone, and 404 denotes a display.

コマンダ300には、CRTやTFT等の映像表示装置としてのディスプレイ404、音声増幅装置としてのアンプ401、音声入力手段としてのマイクロフォン403が接続されている。コマンダ300におけるカラオケ楽曲の演奏信号は、アンプ401へ送出されスピーカー402から演奏音が得られる。一方、楽曲の再生に同期した歌詞映像は、背景映像と重畳され、出力映像信号としてディスプレイ404に出力される。ユーザは、演奏音と歌詞映像に合わせてマイクロフォン403を用いて歌唱を行う。   Connected to the commander 300 are a display 404 as an image display device such as a CRT or TFT, an amplifier 401 as an audio amplifying device, and a microphone 403 as an audio input means. The performance signal of the karaoke musical piece in the commander 300 is sent to the amplifier 401, and a performance sound is obtained from the speaker 402. On the other hand, the lyrics video synchronized with the reproduction of the music is superimposed on the background video and output to the display 404 as an output video signal. The user sings using the microphone 403 in accordance with the performance sound and the lyrics video.

制御部301は、CPU、RAMなどの一時記憶部を含んで構成され、コマンダ300におけるシステム全体の制御を司る。ハードディスクなどの記憶部305には、楽曲情報、映像情報、各種プログラムなどが記憶されている。通信部302は、周知規格の有線LANなどが用いられ、リモコン装置200との間で各種制御命令の送受信を可能としている。また、ホスト装置100との間で楽曲情報や個人設定情報など各種情報の送受信を可能としている。   The control unit 301 includes a temporary storage unit such as a CPU and a RAM, and controls the entire system in the commander 300. A storage unit 305 such as a hard disk stores music information, video information, various programs, and the like. The communication unit 302 uses a well-known standard wired LAN or the like, and can transmit and receive various control commands to and from the remote control device 200. In addition, various information such as music information and personal setting information can be transmitted to and received from the host device 100.

入力部306は、フロントパネルなどに設けられた各種スイッチ群であり、予約選曲、音程コントロールなど各種機能を手動設定可能としている。表示制御部304は、制御部301と連携し、記憶部305に記憶されている楽曲情報中の歌詞情報に基づいて歌詞映像を作成する。そして、映像情報に基づいて背景映像を作成し、背景映像に歌詞映像を重畳した出力映像信号をディスプレイ404に出力する表示制御を行う。その他、表示制御部304は、各種コンテンツ、広告情報などをディスプレイ404にて表示するための表示制御を行う。   The input unit 306 is a group of various switches provided on the front panel or the like, and can manually set various functions such as reserved music selection and pitch control. The display control unit 304 cooperates with the control unit 301 to create a lyric video based on the lyrics information in the music information stored in the storage unit 305. Then, display control is performed so that a background video is created based on the video information and an output video signal in which lyrics video is superimposed on the background video is output to the display 404. In addition, the display control unit 304 performs display control for displaying various contents, advertisement information, and the like on the display 404.

音源部307は、MIDI、PCM、MPEGなど各種規格に基づいた演奏情報に基づいて楽音信号を形成する再生手段として機能する。この音源部307では単一規格で構成された演奏情報のみならず、異なる複数規格で構成された演奏情報を扱うことも可能である。例えば、MIDIにて伴奏を再生すると同時に、PCM、あるいは、MPEGにて模範歌唱、バックコーラス、あるいは、録音音声情報を再生することができる。ミキシング部308は、音源部307で形成した楽音信号と、マイクロフォン403から入力される歌唱者の歌唱音声信号を適宜なバランスで混合する。混合された信号はアンプ401に出力されてスピーカー402から放音出力される。   The sound source unit 307 functions as a reproducing unit that forms a musical tone signal based on performance information based on various standards such as MIDI, PCM, and MPEG. The sound source unit 307 can handle not only performance information composed of a single standard but also performance information composed of different standards. For example, the accompaniment can be played back by MIDI, and at the same time, the model song, back chorus, or recorded voice information can be played back by PCM or MPEG. The mixing unit 308 mixes the musical sound signal formed by the sound source unit 307 and the singing voice signal of the singer input from the microphone 403 with an appropriate balance. The mixed signal is output to the amplifier 401 and output from the speaker 402.

また、歌唱を録音するため、歌唱音声信号はAD変換部309にも入力される。デジタル信号に変換された歌唱音声信号は、制御部301によるエンコード処理で録音音声情報に音声圧縮されて記憶部305に格納される。歌唱音声信号のみが録音される場合には、音源部307での再生時、録音時に使用した演奏情報と同期を取って再生することで歌唱を再現できる。また、歌唱音声信号と演奏音をミキシングした上で録音音声情報を作成するのであれば、録音音声情報のみの再生により歌唱を再現することができる。   In addition, in order to record a song, the song voice signal is also input to the AD conversion unit 309. The singing voice signal converted into the digital signal is voice-compressed into recorded voice information by the encoding process by the control unit 301 and stored in the storage unit 305. When only the singing voice signal is recorded, the singing can be reproduced by reproducing in synchronism with the performance information used at the time of recording at the sound source unit 307. Further, if the recorded voice information is created after mixing the singing voice signal and the performance sound, the singing can be reproduced by reproducing only the recorded voice information.

以上、コマンダ300の主要構成について説明したが、IR信号を送受信可能とする通
信部をさらに設け、IR信号を利用する従来のリモコン装置からの制御命令に対応できる構成を採用してもよい。
The main configuration of the commander 300 has been described above. However, a configuration may be adopted in which a communication unit that can transmit and receive IR signals is further provided to respond to control commands from a conventional remote control device that uses IR signals.

次に、本発明の指定手段としての一実施形態であるリモコン装置200について説明する。図3は、リモコン装置200の外観(正面図)を示したものであり、筐体中央にはタッチパネル207が配置され、ユーザに対して各種表示を行うと共に、スタイラス405あるいは指を接触させることでのユーザ入力を受け付ける。本実施形態では、このタッチパネル207のみを利用したものとなっているが、この実施形態に限るものではなく、例えば、表示部と各種キーにてユーザ入力を受け付ける形態や、各種キーのみで構成される周知のリモコン形態などが採用できる。   Next, the remote controller 200 which is an embodiment as the specifying means of the present invention will be described. FIG. 3 shows the external appearance (front view) of the remote control device 200. A touch panel 207 is arranged in the center of the casing, and various displays are made to the user and the stylus 405 or a finger is brought into contact therewith. Accept user input. In the present embodiment, only the touch panel 207 is used. However, the present invention is not limited to this embodiment. For example, the touch panel 207 is configured to accept user input using a display unit and various keys or only various keys. A well-known remote control form can be employed.

タッチパネル207の右上には認証手段としての指紋読取部203が設けられる。この指紋読取部203上にユーザが指をスライドさせることで指紋が読み取られる。読み取られた指紋は適宜アルゴリズムで特徴が抽出され指紋情報に変換される。認証手段はこの形態に限るものではなく、各種生体認証や、IDとパスワードによる各種のものが採用可能である。   A fingerprint reading unit 203 as an authentication unit is provided on the upper right of the touch panel 207. A fingerprint is read by the user sliding his / her finger on the fingerprint reading unit 203. Features of the read fingerprint are extracted as appropriate by an algorithm and converted into fingerprint information. The authentication means is not limited to this form, and various biometric authentications and various types using IDs and passwords can be employed.

図4は、リモコン装置のブロック構成を示した図であって、201はリモコン制御部、202はリモコン通信部、203は指紋読取部、204はリモコン記憶部、205はリモコン表示部、206はタッチ式センサを示している。タッチ式センサ206は透明であってリモコン表示部205の表面に配置され、両者にてタッチパネル207を構成する。   FIG. 4 is a diagram showing a block configuration of the remote control device, in which 201 is a remote control control unit, 202 is a remote control communication unit, 203 is a fingerprint reading unit, 204 is a remote control storage unit, 205 is a remote control display unit, and 206 is a touch 1 shows a type sensor. The touch sensor 206 is transparent and is disposed on the surface of the remote control display unit 205, and configures the touch panel 207 together.

リモコン制御部201はリモコン装置200全体の制御を司る。リモコン記憶部204には、RAMなど各種メモリやハードディスクが用いられ、楽曲選択のための楽曲リストやサービス処理を行う際に必要となる個人設定情報などが格納される。   The remote control control unit 201 controls the entire remote control device 200. The remote control storage unit 204 uses various memories such as a RAM and a hard disk, and stores a music list for music selection, personal setting information necessary for performing service processing, and the like.

タッチ式センサ206は、利用者の指やスタイラスなどの接触による入力操作を可能としている。タッチ式センサ206による入力を可能とするため、リモコン表示部205にはタッチ式センサ206に対する制御と連動した表示画像が表示されるようにプログラムされている。なお、入力手段としては、タッチ式センサ206に限定されるものではなく、例えば、キーボード、カーソルキーなどの機械的な入力手段を採用してもよい。   The touch sensor 206 enables an input operation by contact with a user's finger or stylus. In order to enable input by the touch sensor 206, the remote control display unit 205 is programmed to display a display image that is linked to control of the touch sensor 206. Note that the input means is not limited to the touch sensor 206, and mechanical input means such as a keyboard and cursor keys may be employed.

リモコン通信部202は、無線アクセスポイント70との間で、例えば、無線LAN規格(IEEE802.11a/b/gなど)による無線通信を行う。このリモコン通信部202にて、リ
モコン装置200は、コマンダ300やホスト装置100との通信を行う。なお、このリモコン通信部202は、例えば、Bluetooth規格(登録商標)により実現することもでき
る。その場合、受け手側のコマンダ300側に設けられた同規格の通信部により、リモコン装置200とコマンダ300は無線通信を行う。更に、リモコン装置200はコマンダ300を経由してホスト装置100との通信を行うこととなる。
The remote control communication unit 202 performs wireless communication with the wireless access point 70 in accordance with, for example, a wireless LAN standard (IEEE802.11a / b / g). In this remote control communication unit 202, the remote control device 200 communicates with the commander 300 and the host device 100. The remote control communication unit 202 can also be realized by, for example, the Bluetooth standard (registered trademark). In that case, the remote control device 200 and the commander 300 perform wireless communication by the communication unit of the same standard provided on the commander 300 side on the receiver side. Furthermore, the remote control device 200 communicates with the host device 100 via the commander 300.

リモコン装置200からコマンダ300に対する楽曲指定などの各種コマンドは、この通信部202を介して送信される。すなわち、リモコン装置200は、LAN上に配置された無線アクセスポイント70と無線通信を行うこととなるが、コマンダ300とリモコン装置200が予め対応付けられているため、コマンダ300は自分に対する各種コマンドを判別することができる。   Various commands such as music designation from the remote control device 200 to the commander 300 are transmitted via the communication unit 202. That is, the remote control device 200 performs wireless communication with the wireless access point 70 arranged on the LAN. However, since the commander 300 and the remote control device 200 are associated in advance, the commander 300 sends various commands to itself. Can be determined.

指紋読取部203は、ユーザがその表面を指で押圧、もしくは、スライドさせることで指紋を読み取る機能を備えている。読み取られた指紋はホスト装置100との間で認証処理が行われ、認証に成功したユーザはログインユーザとして各種サービスの提供を受けることが可能となる。なお、ユーザによってはログインのための認証方法として、指紋認証
を好まない場合がある。そこで、本実施形態におけるカラオケシステムでは、この指紋読取部203を利用した認証と、タッチパネル207からのユーザIDと、パスワードを入力することによる認証を選択できるようになっている。
The fingerprint reading unit 203 has a function of reading a fingerprint by the user pressing or sliding the surface with a finger. The read fingerprint is subjected to authentication processing with the host device 100, and a user who has succeeded in authentication can receive various services as a login user. Some users do not like fingerprint authentication as an authentication method for login. Therefore, in the karaoke system according to the present embodiment, authentication using the fingerprint reading unit 203, authentication by inputting a user ID from the touch panel 207, and a password can be selected.

以上、本カラオケ装置におけるハードウェア構成を説明したが、次に、これらハードウェア構成を利用した歌唱練習機能について図を用いて説明を行う。   As mentioned above, although the hardware configuration in this karaoke apparatus was demonstrated, next, the singing practice function using these hardware configurations is demonstrated using figures.

図5はカラオケ練習機能の一連の処理を示したフロー図である。タッチパネル207などの入力手段により歌唱練習機能が指定されると歌唱練習が開始される(S100)。コマンダ300側の表示手段であるディスプレイ404には歌唱練習モードのタイトル画面が表示され、ユーザに対し楽曲の選択を促す(S101)。リモコン200から楽曲の指定を受け付けると当該楽曲の演奏情報を音源部307に再生させる。一方、歌唱練習を終了する旨の指定を受け付けた場合には歌唱練習を終了し、通常のカラオケモードに戻る(S103)。   FIG. 5 is a flowchart showing a series of processes of the karaoke practice function. When the singing practice function is designated by the input means such as the touch panel 207, the singing practice is started (S100). The title screen in the singing practice mode is displayed on the display 404 as the display means on the commander 300 side, and prompts the user to select a song (S101). When the music specification is received from the remote controller 200, the sound source unit 307 reproduces the performance information of the music. On the other hand, when the designation to end the singing practice is accepted, the singing practice is finished and the normal karaoke mode is returned (S103).

S104にて、演奏情報の再生に伴い、歌唱者はマイクロフォンから歌唱音声信号を入力して歌唱することとなるが、演奏情報の再生開始と同時にマイクロフォン403からの歌唱音声信号の録音処理も開始される。この録音処理では、歌唱音声信号だけを録音して録音音声情報を作成してもよいし、歌唱音声信号と演奏情報による演奏音を混合した上で録音音声情報を作成してもよい。歌唱音声信号だけによる録音音声情報に基づいて歌唱を再現する場合には、演奏情報と録音音声情報を同時に再生開始すればよい。歌唱音声信号はモノラル信号で扱われるため、録音音声情報の容量を節約することができる。一方、歌唱音声信号と演奏情報による演奏音を混合した録音音声情報に基づいて歌唱を再現する場合には、録音音声情報だけを再生すればよい。この場合には、ステレオ信号としての演奏音を一緒に録音するため容量は大きくなるものの、再現時の早送り、早戻しが簡単に行える。これらは必要に応じて適宜選択される。   In S104, along with the reproduction of the performance information, the singer inputs the singing voice signal from the microphone and sings, but the recording processing of the singing voice signal from the microphone 403 is started simultaneously with the start of the reproduction of the performance information. The In this recording process, only the singing voice signal may be recorded to create the recorded voice information, or the recorded voice information may be created after mixing the singing voice signal and the performance sound based on the performance information. When reproducing a song based on the recorded voice information based only on the singing voice signal, the performance information and the recorded voice information may be started simultaneously. Since the singing voice signal is handled as a monaural signal, the capacity of the recorded voice information can be saved. On the other hand, when reproducing a song based on recorded voice information obtained by mixing a song voice signal and performance sound based on performance information, it is only necessary to reproduce the recorded voice information. In this case, since the performance sound as a stereo signal is recorded together, the capacity increases, but fast-forward and fast-reverse during reproduction can be easily performed. These are appropriately selected as necessary.

演奏情報の再生中、ディスプレイ404に表示される再生途中画面にて、歌唱者は歌唱者の歌唱と楽曲のメロディとの一致度合いを確認することができる(S105)。図6はこの再生途中画面を示した図であり、図中、501は音階表示欄、502は音階ライン、503は通過バー、504は音符マーク、505は歌詞を示している。歌唱者はこの再生途中画面において、演奏情報の再生に同期して表示される歌詞505を見ながら歌唱を行うことができる。図には示していないが、歌詞505は演奏情報の再生に同期して、歌唱タイミングを示すようにその表示色を変更していく。   During the reproduction of the performance information, the singer can check the degree of coincidence between the singer's singing and the melody of the music on the playback screen displayed on the display 404 (S105). FIG. 6 is a diagram showing the screen during reproduction, in which 501 indicates a scale display field, 502 indicates a scale line, 503 indicates a passage bar, 504 indicates a note mark, and 505 indicates lyrics. The singer can sing while watching the lyrics 505 displayed in synchronization with the reproduction of the performance information on the screen during reproduction. Although not shown in the figure, the display color of the lyrics 505 is changed to indicate the singing timing in synchronization with the reproduction of the performance information.

音階表示欄501には、12本の音階ライン502が横方向に平行に表示されており、上にいくほど高い音階となる12音階を示している。また、音階表示欄501の中央には通過バー503が表示されており、歌唱者はここを通過する音符マーク504により歌唱音階と歌唱タイミングを確認することができる。   In the scale display column 501, twelve scale lines 502 are displayed in parallel in the horizontal direction, and the 12 scales that are higher in scale are shown. A passing bar 503 is displayed at the center of the scale display column 501, and the singer can confirm the singing scale and the singing timing by the note mark 504 passing there.

音符マーク504は演奏情報に含まれるメロディ情報、そして、歌唱者の歌唱音声信号に基づく歌唱音階に基づいて表示される。音符マーク504はそれが位置する音階ライン502にて音階を示し、横方向の長さにて音の長さを示したものであり、ちょうど音符を実時間で時系列的に示した形となっている。演奏情報の再生に従って、メロディ情報に基づく音符マーク504が画面右から左へスクロールしていき、通過バー503を通過する時点が歌唱タイミングとなる。   The musical note mark 504 is displayed based on the melody information included in the performance information and the singing scale based on the singing voice signal of the singer. The musical note mark 504 indicates the musical scale by the musical scale line 502 where it is located, and indicates the length of the sound by the length in the horizontal direction. ing. As the performance information is reproduced, the musical note mark 504 based on the melody information scrolls from the right to the left of the screen, and the point in time when it passes the passing bar 503 is the singing timing.

通過バー503を通過した音符マーク504は、歌唱音声信号に基づく歌唱音階との比較に基づいてその表示形態が変更される。メロディ情報と歌唱音階とがマッチ条件に適合する場合には、図に示すような白抜きの形態で音符マークに変更される。一方、メロディ
情報と歌唱音階がマッチ条件に適合しない場合には、メロディ情報に基づく音符マーク504を歌唱タイミング前と同じ表示形態に維持し、歌唱音階に基づく音符マーク504がその上下に新たに表示される。この場合、歌唱音階がメロディよりも高かったか、低かったかを示すため表示形態を図のように異ならせるとよい。また、歌唱音声信号入力が無かった、すなわち、歌唱しなかった場合には、新たな音符マーク504を表示することなく、メロディ情報に基づく音符マーク504だけが残ることになる。このように、本実施形態では、メロディ情報の音符単位毎に歌唱音声と比較することとなるが、この実施形態に限られるものではなく、その比較や表示について音符よりも細かい単位で行うこととしてもよい。
The display form of the note mark 504 that has passed through the passage bar 503 is changed based on the comparison with the singing scale based on the singing voice signal. When the melody information and the singing scale meet the matching condition, the melody information and the singing scale are changed to note marks in a white shape as shown in the figure. On the other hand, when the melody information and the singing scale do not meet the matching condition, the note mark 504 based on the melody information is maintained in the same display form as before the singing timing, and the note mark 504 based on the singing scale is newly displayed above and below it. Is done. In this case, the display form may be varied as shown in the figure to indicate whether the singing scale is higher or lower than the melody. Further, when there is no singing voice signal input, that is, when no singing is performed, only the note mark 504 based on the melody information remains without displaying the new note mark 504. Thus, in this embodiment, it will be compared with the singing voice for each note unit of the melody information, but it is not limited to this embodiment, and the comparison and display are performed in units smaller than the note. Also good.

また、メロディ情報と歌唱音階とのマッチ条件は種々形態のアルゴリズムを採用することができる。例えば、メロディ音階内での歌唱タイミングで1回でも歌唱音階が一致した場合にはマッチしたとみなしてもよいし、所定時間以上一致した場合にマッチしたとみなすようにしてもよい。以上、再生途中画面の表示について説明を行ったが、再生中のメロディ情報と歌唱音階との比較結果は随時、制御部301内の一時記憶部や記憶部305に格納される。後で説明する時系列評価作成や、レビュー再生のために用いられることとなる。また、メロディ情報と歌唱音声信号の比較は、これら音階による比較に限らず、例えば、歌唱タイミング、歌唱音声の大小にて行ってもよい。   In addition, various forms of algorithms can be adopted as the matching conditions between the melody information and the singing scale. For example, if the singing scales match even once at the singing timing within the melody scale, it may be considered that they match, or may be considered that they match if they match for a predetermined time or more. The display of the screen during playback has been described above, but the comparison result between the melody information being played and the singing scale is stored in the temporary storage unit or the storage unit 305 in the control unit 301 as needed. It will be used for time series evaluation creation and review reproduction, which will be described later. Further, the comparison between the melody information and the singing voice signal is not limited to the comparison based on these scales, and for example, the singing timing and the magnitude of the singing voice may be used.

演奏情報が最後まで再生されるか、ユーザによる再生終了指示により演奏情報の再生が終了(S106)すると、録音処理や比較処理についても終了し、S107にて再生時間がn秒以上行われたか否かを判断する。この判断は、再生時間があまりにも短い場合には、歌唱の総合評価ができないことや、時系列評価などの情報を管理することも意味をなさないことを考慮したものである。この場合、S108にてディスプレイ404上に採点不可能とするメッセージを表示した後、S101に戻って選曲待ち画面を表示し、ユーザの指示を待つ。   When the performance information is reproduced to the end, or when the reproduction of the performance information is terminated by the user's reproduction termination instruction (S106), the recording process and the comparison process are also terminated, and whether or not the reproduction time has been performed for n seconds or more in S107. Determine whether. This determination takes into account that when the reproduction time is too short, the overall evaluation of the singing cannot be performed, and it does not make sense to manage information such as time-series evaluation. In this case, after displaying a message indicating that scoring is not possible on the display 404 in S108, the process returns to S101 to display a music selection waiting screen and waits for a user instruction.

一方、再生時間がn秒以上の場合には、S108以降の処理に進み総合評価を行うこととなる。まず、S109では,メロディ情報と歌唱音階との比較結果に基づいて時系列評価を作成する。図7は、この時系列評価のデータ構成を示したものであり、時系列データはインデックスと、実体データにて構成される。インデックスには、使用した演奏情報の楽曲ID、認証手段によるログインユーザによる歌唱練習である場合にはユーザID、歌唱練習を行った練習日時、マッチ率などの総合評価などが含まれる。   On the other hand, if the playback time is n seconds or more, the process proceeds to S108 and subsequent steps, and comprehensive evaluation is performed. First, in S109, a time series evaluation is created based on the comparison result between the melody information and the singing scale. FIG. 7 shows the data structure of this time series evaluation. The time series data is composed of an index and entity data. The index includes the song ID of the used performance information, the user ID in the case of the singing practice by the logged-in user by the authentication means, the comprehensive date and time of the practice of singing, the overall evaluation such as the match rate, and the like.

また、実体データは、メロディ情報と歌唱音階との比較結果に基づいて作成される時系列情報であって、本実施形態では5秒単位での比較結果の平均が記述される。この実施形態に限ることなく、比較結果をそのまま用いてもよいし、演奏情報の小節単位毎など適宜な単位での平均を採用する形態としてもよい。   The entity data is time-series information created based on the comparison result between the melody information and the singing scale. In this embodiment, the average of the comparison results in units of 5 seconds is described. Without being limited to this embodiment, the comparison result may be used as it is, or an average in an appropriate unit such as every measure unit of performance information may be adopted.

S110では、総合評価画面Aの表示を行う。図8はこの総合評価画面Aを図示したものであって、図中、506は音階別評価欄、507はマッチ率、508はコメント欄、509はスイッチを示している。音階別評価欄506には、メロディ情報と歌唱音階の比較結果に応じた音符マーク504の個数がそれぞれ示されている。歌唱者は、この音階別評価欄506を参照することで、自分の歌唱がメロディと比較して高めの傾向にあるのか、低めの傾向にあるのかを確認することができる。マッチ率507は音階別評価欄の数値に対応して表示されるパーセント表示であり、メロディ情報の音階中いくつマッチして歌唱できたかの割合を示す数値である。このマッチ率507は歌唱全体の評価として用いられ、時系列評価や時系列参照記録の総合評価として利用される。コメント欄508には、音階別評価欄506やマッチ率507の数値に対応したコメントが表示される。   In S110, the comprehensive evaluation screen A is displayed. FIG. 8 shows the comprehensive evaluation screen A. In the figure, 506 indicates an evaluation column by scale, 507 indicates a match rate, 508 indicates a comment column, and 509 indicates a switch. The scale-specific evaluation field 506 shows the number of note marks 504 corresponding to the comparison result between the melody information and the singing scale. The singer can check whether his / her singing tends to be higher or lower than the melody by referring to the scale-specific evaluation field 506. The match rate 507 is a percentage display displayed corresponding to the numerical value in the scale-by-scale evaluation column, and is a numerical value indicating the number of matches in the scale of the melody information that can be sung. This match rate 507 is used as an evaluation of the entire song, and is used as a comprehensive evaluation of time series evaluation and time series reference recording. In the comment field 508, comments corresponding to the numerical values of the scale-specific evaluation field 506 and the match rate 507 are displayed.

このように、この総合評価画面Aではユーザは自己の歌唱評価を数値的に把握することができる。確認を終えたユーザはタッチパネル207に表示されるカーソルキーなどを利用してスイッチ509を選択し、次の総合評価画面Bへと進む。   Thus, on this comprehensive evaluation screen A, the user can grasp his / her singing evaluation numerically. The user who has finished the confirmation selects the switch 509 using a cursor key displayed on the touch panel 207 and proceeds to the next comprehensive evaluation screen B.

総合評価画面Bでは、今回行った歌唱に基づく時系列評価とホスト装置100から取り寄せた時系列参照記録との比較表示を行うことが可能となる。S111ではこの時系列参照記録をホスト装置100から取り寄せるための通信処理が実行される。図9は、この通信処理について詳しく説明した図であり、コマンダ300とホスト装置100間での情報のやりとりを示したものである。   On the comprehensive evaluation screen B, it is possible to perform a comparative display between the time series evaluation based on the singing performed this time and the time series reference record obtained from the host device 100. In S111, communication processing for obtaining this time-series reference record from the host device 100 is executed. FIG. 9 is a diagram for explaining this communication process in detail, and shows the exchange of information between the commander 300 and the host device 100.

通信処理が開始される(S200)と、まず、コマンダ300は今回の歌唱練習で作成した時系列評価をホスト装置100へ送信する(S201)。時系列評価を受け取ったホスト装置100は、受信した時系列評価に基づいて、後の歌唱練習のために利用する時系列参照記録を作成、管理することとなる。S203では、歌唱練習を行っているユーザがログインユーザでない場合には、今回練習を行った楽曲の楽曲IDをホスト装置100に送信して、当該楽曲に関する時系列参照記録の問い合わせを行う(S204)。この場合、自己の時系列参照記録を取り寄せることはできないが、ホスト装置100で管理する同楽曲の統計情報としての時系列参照記録を取り寄せることができる。一方、ログインユーザの場合には、楽曲IDに加えてユーザIDを送信し、当該楽曲に関する自己の時系列参照記録の問い合わせを行う(S205)。この場合、統計情報としての時系列参照記録を一緒に取り寄せることができる。   When the communication process is started (S200), first, the commander 300 transmits the time series evaluation created by the current singing practice to the host device 100 (S201). The host device 100 that has received the time series evaluation creates and manages a time series reference record used for later singing practice based on the received time series evaluation. In S203, when the user who is practicing singing is not a login user, the music ID of the music that has been practiced this time is transmitted to the host device 100, and the time-series reference recording related to the music is inquired (S204). . In this case, it is not possible to obtain its own time-series reference record, but it is possible to obtain a time-series reference record as statistical information of the music managed by the host device 100. On the other hand, in the case of a logged-in user, the user ID is transmitted in addition to the music ID, and an inquiry is made about the time series reference record for the music (S205). In this case, time series reference records as statistical information can be obtained together.

コマンダ300からの問い合わせに応じて、ホスト装置100は時系列参照記録を検索・抽出しコマンダ300に送信する(S206)。その際、送信する時系列参照記録は複数であっても構わない。図10は、この時系列参照記録のデータ構成を示した図であって、時系列評価と同様、インデックスと実体データで構成される。ホスト装置は、コマンダ300から受信した1乃至複数の時系列評価に基づいて時系列参照記録を作成する。インデックスは、楽曲ID、種別、種別毎の各種情報などを含んで構成される。   In response to the inquiry from the commander 300, the host device 100 searches and extracts the time series reference record and transmits it to the commander 300 (S206). At that time, there may be a plurality of time-series reference records to be transmitted. FIG. 10 is a diagram showing the data structure of this time-series reference record, and is composed of an index and entity data as in the time-series evaluation. The host device creates a time series reference record based on one or more time series evaluations received from the commander 300. The index includes a music ID, a type, and various types of information for each type.

時系列参照記録としては、同一楽曲に関する1又は複数の時系列評価に基づいて作成されることとなるが、その例をいくつか挙げる。例えば、コマンダ300から受信した時系列参照記録をそのまま用いて、自分の過去の時系列評価を参照できるようにしてもよい。この場合、ユーザID、録音日時、総合評価などが各種情報として格納される(図中、種別が個人1の場合)。また、同じユーザについて複数の時系列評価の時系列での平均をとり、ユーザが過去の時系列評価の平均を参照できるようにしてもよい。この場合、ユーザID、練習回数、総合評価の平均などが各種情報として格納される(図中、種別が個人2の場合)。また、ユーザに関係なく複数の時系列評価の平均をとり、当該楽曲に関して一般的な練習状況を参照できるようにしてもよい(図中、種別が楽曲別の場合)。さらに、同じユーザが過去に行った複数の時系列評価を利用し、部分毎に一番良かった時系列評価を接続して時系列参照記録を作成し、これまでの歌唱練習で最もよい記録を仮想的に参照できるようにしてもよい。
実体データの平均であって、インデックスには歌唱回数などが格納されている。実体データは時系列評価と同様、5秒単位での比較結果の平均であって、インデックスの種別に対応した内容となっている。
The time-series reference record is created based on one or a plurality of time-series evaluations regarding the same music piece, and some examples are given. For example, the time series reference record received from the commander 300 may be used as it is, and the user's past time series evaluation may be referred to. In this case, the user ID, recording date and time, comprehensive evaluation, etc. are stored as various types of information (when the type is individual 1 in the figure). In addition, an average of a plurality of time-series evaluations for the same user may be taken so that the user can refer to an average of past time-series evaluations. In this case, the user ID, the number of exercises, the average of the comprehensive evaluation, and the like are stored as various types of information (when the type is individual 2 in the figure). In addition, an average of a plurality of time-series evaluations may be taken regardless of the user, and a general practice situation regarding the music may be referred to (in the case where the type is by music). In addition, using multiple time series evaluations performed by the same user in the past, connecting the best time series evaluation for each part and creating a time series reference record, the best record in singing practice so far Virtual reference may be made.
It is an average of entity data, and the index stores the number of times of singing. Similar to the time series evaluation, the actual data is an average of the comparison results in units of 5 seconds and has contents corresponding to the index type.

通信処理にてログインユーザが問い合わせを行った場合(S205)、コマンダ300は楽曲IDを参照し、全ての種別の時系列参照記録を取り寄せることができる。しかしながら、ログインユーザではない問い合わせの場合(S204)には、楽曲別の時系列参照記録を取り寄せることとなる。このような各種時系列参照記録をホスト装置100から取り寄せることで、コマンダ300では時系列評価と時系列参照記録を併せて表示し、ユー
ザは自己の歌唱の進捗状況や、他者も含めた当該楽曲平均と比較することができる。
When the logged-in user makes an inquiry in the communication process (S205), the commander 300 can obtain the time series reference records of all types by referring to the music ID. However, in the case of an inquiry that is not a logged-in user (S204), a time-series reference record for each music piece is ordered. By obtaining such various time-series reference records from the host device 100, the commander 300 displays both the time-series evaluation and the time-series reference record, and the user can display the progress of his / her singing and the others including others. It can be compared with the song average.

S112では、今回の時系列評価とホスト装置100から取り寄せた時系列参照記録を併せて表示する総合評価画面Bの表示が実行される。図11はこの総合評価画面Bを示した図であり、510は時系列評価欄、511、512はスイッチを示している。時系列評価欄510には、今回の時系列評価とホスト装置100から取り寄せた時系列参照記録とが折れ線グラフ状に同一時間軸上一緒に表示される。図では、今回の時系列評価と、前回、前々回に行った過去2回分の時系列評価に基づく時系列参照記録が併せて表示されたものとなっており、ユーザは歌唱練習の進捗状況や、苦手とする部分を視覚的に確認できる。表示する時系列参照記録は、この形態に限られるものではなく、例えば、図10に示す個人2、楽曲別といった種別の時系列参照記録を一緒に表示してもよい。また、ユーザの指定に基づいて複数の時系列参照記録を切り替え可能に表示できるようにしてもよい。例えば、過去n回分の記録、自分の歌唱練習の平均記録、総合評価の高い記録、他者を含めた歌唱練習の平均記録などのように切り替え可能とすることが考えられる。   In S <b> 112, display of the comprehensive evaluation screen B displaying the current time series evaluation and the time series reference record obtained from the host device 100 is executed. FIG. 11 is a diagram showing the comprehensive evaluation screen B, 510 is a time series evaluation column, 511 and 512 are switches. In the time series evaluation column 510, the current time series evaluation and the time series reference record obtained from the host device 100 are displayed together on the same time axis in the form of a line graph. In the figure, the time series evaluation of this time and the time series reference record based on the previous two time series evaluations performed the previous time are displayed together, and the user can check the progress of singing practice, You can visually check the parts you do not like. The time-series reference record to be displayed is not limited to this form. For example, the time-series reference record of a type such as the individual 2 and the music shown in FIG. 10 may be displayed together. In addition, a plurality of time-series reference records may be displayed so as to be switchable based on user designation. For example, it is conceivable that the recording can be switched to the past n recordings, the average recording of one's own singing practice, the recording with a high overall evaluation, the average recording of singing practice including others.

確認を終えたユーザは、スイッチ512を選択して選曲待ち画面に戻るか、スイッチ511を選択してレビュー再生画面に移動することとなる。本実施形態のレビュー再生画面では、再生処理で録音した録音音声情報をレビュー再生することで聴覚的に自己の歌唱を確認することができるものであり、さらに、図6で説明した音階表示欄501、歌詞505、図11で説明した時系列評価欄510を一緒に表示するため効率的な歌唱練習が行うことができる。   The user who has completed the confirmation selects the switch 512 and returns to the music selection waiting screen, or selects the switch 511 and moves to the review reproduction screen. In the review playback screen of the present embodiment, the recorded voice information recorded by the playback process can be reviewed and played back, and the user's own singing can be audibly confirmed. Further, the scale display field 501 described with reference to FIG. Since the lyrics 505 and the time series evaluation column 510 described in FIG. 11 are displayed together, efficient singing practice can be performed.

図12はこのレビュー再生画面を示した図であって、上から順に音階表示欄501、時系列評価欄510、歌詞505が表示され、その下にはスイッチ514、再生制御スイッチ群515、再生時間516が表示される。時系列評価欄510は、図11と同じ楽曲全体の時系列評価を示したものとなっているが、このレビュー再生画面では、さらに再生位置を示すカーソル513が表示される。ユーザはこのカーソル513の位置で再生位置を確認できると共に、その再生位置での評価についても確認することができる。再生制御スイッチ群515は左から、早戻しスイッチ、再生・一時停止スイッチ、停止スイッチ、早送りスイッチで構成され、ユーザはこれらのスイッチを選択して録音音声情報をレビュー再生することができる。   FIG. 12 is a diagram showing the review reproduction screen, in which a scale display column 501, a time series evaluation column 510, and lyrics 505 are displayed in order from the top, and below that a switch 514, a reproduction control switch group 515, a reproduction time. 516 is displayed. The time-series evaluation column 510 shows the same time-series evaluation of the entire music as in FIG. 11, but on this review reproduction screen, a cursor 513 indicating the reproduction position is further displayed. The user can confirm the reproduction position at the position of the cursor 513 and can also confirm the evaluation at the reproduction position. The playback control switch group 515 includes, from the left, a fast reverse switch, a playback / pause switch, a stop switch, and a fast forward switch. The user can select these switches to review and playback the recorded audio information.

レビュー再生処理では、音階表示欄501、歌詞505は再生処理と同様、歌唱音声情報の再生に同期して行われるが、音階表示欄501に表示される音符マーク504は、再生処理において一時記憶手段に記憶しておいた比較結果に基づいて表示される。ユーザは録音音声情報の再生にあわせて、この音階表示欄501にて、音程の一致、不一致を詳細に確認することができる。一方、時系列表示欄510には、今回の歌唱練習での時系列評価が歌唱全体にわたって確認できるため、ユーザは歌唱全体における良かった箇所、悪かった箇所を確認することができる。さらに、この時系列表示欄510には時系列参照記録が併せて表示されるため、自己の過去の記録と比較して、歌唱練習の進捗状況や伸び悩んでいる箇所を確認することができ、効率的な歌唱練習に役立つものとなる。また、この時系列参照記録の表示については、図11の総合評価画面Bと同様、ホスト装置100から取り寄せた他の時系列参照記録を併せて、或いは、切り替え可能に表示できる形態としてもよい。   In the review reproduction process, the scale display column 501 and the lyrics 505 are performed in synchronization with the reproduction of the singing voice information as in the reproduction process, but the note mark 504 displayed in the scale display column 501 is temporarily stored in the reproduction process. Is displayed based on the comparison result stored in the. The user can confirm in detail the coincidence and inconsistency of the pitches in this scale display field 501 as the recorded voice information is reproduced. On the other hand, in the time series display column 510, since the time series evaluation in the current singing practice can be confirmed over the entire song, the user can confirm a good place or bad place in the entire song. In addition, since the time series reference record is also displayed in the time series display column 510, the progress of the singing practice and the place where it is sluggish can be confirmed as compared with the past record of the self, efficiency. It will be useful for practical singing practice. Further, the display of this time-series reference record may be configured such that other time-series reference records obtained from the host apparatus 100 can be displayed together with or in a switchable manner as in the comprehensive evaluation screen B of FIG.

録音音声情報のレビュー再生を終了したユーザは、スイッチ514を選択し総合評価画面Bに戻ることができる。以上、本実施形態によれば、歌唱者の歌唱に基づく時系列評価と、ホスト装置100から取り寄せた時系列参照記録とを併せて表示手段に表示することで、効率的に歌唱練習を行うことが可能となる。   The user who has finished the review reproduction of the recorded voice information can select the switch 514 and return to the comprehensive evaluation screen B. As described above, according to the present embodiment, the time series evaluation based on the singing of the singer and the time series reference record obtained from the host device 100 are displayed together on the display means, so that the singing practice can be performed efficiently. Is possible.

なお、本発明の特徴となる時系列評価欄510は、図11の総合評価画面Bや、図12のレビュー再生画面のみならず、図6の演奏途中画面上に音階表示欄501と一緒に表示するようにしてもよい。歌唱者は時系列参照記録を参照しながら歌唱することができると共に、歌唱の経過に従って表示される時系列評価と比較することで歌唱中に歌唱評価を確認することができる。また、図11や図12で説明したように、この演奏途中画面においても複数の時系列参照記録を同時に表示したり、切り替えて表示できるように構成してもよい。この場合には、時系列参照記録は、再生処理開始前にホスト装置100から取り寄せておく必要がある。例えば、S102における選曲後にホスト装置100との時系列参照記録取得のための受信処理を行えばよい。また、ログインユーザの場合には、ログインした際、ホスト装置100から取得する個人設定情報に、これまで練習した楽曲に関する時系列参照記録を含めて受信することで、2回目以降の練習楽曲については歌唱練習を行う毎にホスト装置100から時系列参照記録を取り寄せる必要がなくなる。   The time series evaluation column 510, which is a feature of the present invention, is displayed together with the scale display column 501 not only on the comprehensive evaluation screen B in FIG. 11 and the review reproduction screen in FIG. You may make it do. The singer can sing while referring to the time series reference record, and can confirm the singing evaluation during the singing by comparing with the time series evaluation displayed according to the progress of the singing. Further, as described with reference to FIGS. 11 and 12, a plurality of time-series reference records may be displayed at the same time on the performance screen, or may be displayed by switching. In this case, the time-series reference recording needs to be obtained from the host device 100 before starting the reproduction process. For example, a reception process for obtaining a time-series reference record with the host device 100 may be performed after the music selection in S102. In the case of a logged-in user, the personal setting information acquired from the host device 100 when logging in includes the time-series reference record regarding the music practiced so far. It is not necessary to obtain a time-series reference record from the host device 100 each time singing practice is performed.

以上、本発明の種々の実施形態について説明したが、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。   Although various embodiments of the present invention have been described above, the present invention is not limited to these embodiments, and embodiments configured by appropriately combining the configurations of the respective embodiments also fall within the scope of the present invention. Is.

本発明の実施形態に係るカラオケシステムを示した図。The figure which showed the karaoke system which concerns on embodiment of this invention. 本発明の実施形態に係るコマンダを示した図。The figure which showed the commander which concerns on embodiment of this invention. 本発明の実施形態に係るリモコン装置の外観を示した図。The figure which showed the external appearance of the remote control device which concerns on embodiment of this invention. 本発明の実施形態に係るリモコン装置の内部構成を示した図。The figure which showed the internal structure of the remote control apparatus which concerns on embodiment of this invention. 本発明の実施形態に係る歌唱練習処理のフロー図。The flowchart of the song practice process which concerns on embodiment of this invention. 本発明の実施形態に係る再生途中画面を示した図。The figure which showed the screen in the middle of reproduction | regeneration which concerns on embodiment of this invention. 本発明の実施形態に係る時系列評価のデータ構成を示した図。The figure which showed the data structure of the time series evaluation which concerns on embodiment of this invention. 本発明の実施形態に係る総合評価画面Aを示した図。The figure which showed the comprehensive evaluation screen A which concerns on embodiment of this invention. 本発明の実施形態に係るコマンダとホスト装置の通信処理を示した図。The figure which showed the communication process of the commander and host device which concern on embodiment of this invention. 本発明の実施形態に係る時系列参照記録のデータ構成を示した図。The figure which showed the data structure of the time series reference recording which concerns on embodiment of this invention. 本発明の実施形態に係る総合評価画面Bを示した図。The figure which showed the comprehensive evaluation screen B which concerns on embodiment of this invention. 本発明の実施形態に係るレビュー再生画面を示した図。The figure which showed the review reproduction | regeneration screen which concerns on embodiment of this invention.

符号の説明Explanation of symbols

50…通信網、60…ルータ、70…無線アクセスポイント、100…ホスト装置、200…リモコン装置、201…リモコン制御部、202…リモコン通信部、203…指紋読取部、204…リモコン記憶部、205…リモコン表示部、206…タッチ式センサ、207…タッチパネル、300…コマンダ、301…制御部、302…通信部、303…フロントパネル表示部、304…表示制御部、305…記憶部、306…入力部、307…音源部、308…ミキシング部、309…AD変換部、401…アンプ、402…スピーカ、403…マイクロフォン、404…ディスプレイ、405…スタイラス、501…音階表示欄、502…音階ライン、503…通過バー、504…音符マーク、505…歌詞、506…音階別評価欄、507…マッチ率、508…コメント欄、509…スイッチ、510…時系列評価欄、511、512…スイッチ、513…カーソル、514…スイッチ、515…再生制御スイッチ群、516…再生時間   DESCRIPTION OF SYMBOLS 50 ... Communication network, 60 ... Router, 70 ... Wireless access point, 100 ... Host device, 200 ... Remote control device, 201 ... Remote control unit, 202 ... Remote control communication unit, 203 ... Fingerprint reading unit, 204 ... Remote control storage unit, 205 ... Remote control display unit, 206 ... Touch sensor, 207 ... Touch panel, 300 ... Commander, 301 ... Control unit, 302 ... Communication unit, 303 ... Front panel display unit, 304 ... Display control unit, 305 ... Storage unit, 306 ... Input 307 ... sound source unit, 308 ... mixing unit, 309 ... AD conversion unit, 401 ... amplifier, 402 ... speaker, 403 ... microphone, 404 ... display, 405 ... stylus, 501 ... scale display column, 502 ... scale line, 503 ... Passing bar, 504 ... Note mark, 505 ... Lyrics, 506 ... Evaluation column by scale 5 7 ... match rate, 508 ... comment column, 509 ... switch, 510 ... chronological evaluation column, 511 and 512 ... switch, 513 ... cursor, 514 ... switch, 515 ... playback control switches, 516 ... playback time

Claims (9)

記憶手段と、再生手段と、通信手段と、制御手段とを備えるカラオケ装置であって、
記憶手段は、メロディ情報を含む演奏情報を記憶し、
再生手段は、制御手段の制御に基づき演奏情報を再生し、
通信手段は、制御手段の制御に基づきホスト装置と通信を可能とし、
制御手段は、再生処理と、受信処理と、送信処理と、表示処理とを可能とし、
再生処理は、指定手段にて指定された指定楽曲の演奏情報を再生段に再生させると共に、マイクロフォンから入力される音声信号とメロディ情報とを比較して時系列評価を作成し、
受信処理は、指定楽曲に関する時系列参照記録をホスト装置から受信し、
送信処理は、作成された時系列評価をホスト装置に送信し、
表示処理は、作成された時系列評価と、当該時系列評価を行った演奏情報に対応する少なくとも1つの時系列参照記録とを併せて表示手段に表示させる
カラオケ装置。
A karaoke apparatus comprising storage means, reproduction means, communication means, and control means,
The storage means stores performance information including melody information,
The reproduction means reproduces the performance information based on the control of the control means,
The communication means enables communication with the host device based on the control of the control means,
The control means enables reproduction processing, reception processing, transmission processing, and display processing,
The reproduction process reproduces the performance information of the designated music designated by the designation means in the reproduction stage, creates a time series evaluation by comparing the audio signal input from the microphone and the melody information,
The reception process receives a time-series reference record related to the specified music from the host device,
The transmission process transmits the created time series evaluation to the host device,
The karaoke apparatus in which the display process displays the created time series evaluation and at least one time series reference record corresponding to the performance information for which the time series evaluation has been performed on the display means.
時系列参照記録は、複数の中から切り替え表示可能とする
請求項1に記載のカラオケ装置。
The karaoke apparatus according to claim 1, wherein the time-series reference record can be switched and displayed from among a plurality of time-series reference records.
個人認証によりユーザがログイン可能な個人認証手段を更に備え、
時系列参照記録は、指定楽曲に関するログインユーザの時系列評価に基づく記録である
請求項1または請求項2に記載のカラオケ装置。
A personal authentication means that allows the user to log in by personal authentication;
The karaoke apparatus according to claim 1, wherein the time-series reference record is a record based on a time-series evaluation of a logged-in user regarding a designated music piece.
時系列参照記録は、指定楽曲に関するログインユーザの過去n回分の時系列評価である
請求項3に記載のカラオケ装置。
The karaoke apparatus according to claim 3, wherein the time-series reference record is a time-series evaluation for the past n times of the logged-in user regarding the designated music piece.
時系列参照記録は、指定楽曲に関するログインユーザの総合評価の高い時系列評価である
請求項3に記載のカラオケ装置。
The karaoke apparatus according to claim 3, wherein the time-series reference record is a time-series evaluation having a high overall evaluation of the login user regarding the designated music.
時系列参照記録は、指定楽曲に関するログインユーザの過去の時系列評価の平均記録である
請求項3に記載のカラオケ装置。
The karaoke apparatus according to claim 3, wherein the time-series reference record is an average record of past time-series evaluations of the logged-in user regarding the designated music.
時系列評価記録は、指定楽曲に関する複数の時系列評価の平均記録である
請求項1または請求項2に記載のカラオケ装置。
The karaoke apparatus according to claim 1, wherein the time-series evaluation record is an average record of a plurality of time-series evaluations regarding a designated music piece.
表示処理は、再生処理の終了後に実行される
請求項1乃至請求項7のいずれか1つに記載のカラオケ装置。
The karaoke apparatus according to any one of claims 1 to 7, wherein the display process is executed after the end of the reproduction process.
表示処理は、再生処理と同時に実行される
請求項1乃至請求項8のいずれか1つに記載のカラオケ装置。
The karaoke apparatus according to any one of claims 1 to 8, wherein the display process is performed simultaneously with the reproduction process.
JP2008223593A 2008-09-01 2008-09-01 Karaoke equipment Active JP5224517B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008223593A JP5224517B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223593A JP5224517B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Publications (2)

Publication Number Publication Date
JP2010060630A true JP2010060630A (en) 2010-03-18
JP5224517B2 JP5224517B2 (en) 2013-07-03

Family

ID=42187529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223593A Active JP5224517B2 (en) 2008-09-01 2008-09-01 Karaoke equipment

Country Status (1)

Country Link
JP (1) JP5224517B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016050974A (en) * 2014-08-29 2016-04-11 株式会社第一興商 Karaoke scoring system
JP2016071046A (en) * 2014-09-29 2016-05-09 ブラザー工業株式会社 Karaoke system, karaoke device, and program
JP2016070970A (en) * 2014-09-26 2016-05-09 株式会社第一興商 Karaoke device and karaoke point rating system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822293A (en) * 1994-07-11 1996-01-23 Canon Inc Musical tone reproducing device and its method
JP2008216337A (en) * 2007-02-28 2008-09-18 Brother Ind Ltd Karaoke system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822293A (en) * 1994-07-11 1996-01-23 Canon Inc Musical tone reproducing device and its method
JP2008216337A (en) * 2007-02-28 2008-09-18 Brother Ind Ltd Karaoke system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016050974A (en) * 2014-08-29 2016-04-11 株式会社第一興商 Karaoke scoring system
JP2016070970A (en) * 2014-09-26 2016-05-09 株式会社第一興商 Karaoke device and karaoke point rating system
JP2016071046A (en) * 2014-09-29 2016-05-09 ブラザー工業株式会社 Karaoke system, karaoke device, and program

Also Published As

Publication number Publication date
JP5224517B2 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
JP2009244789A (en) Karaoke system with guide vocal creation function
JP4926756B2 (en) Karaoke sound effect output system
JP5771498B2 (en) Music playback system, apparatus, and music playback method
JP2014130187A (en) Karaoke device
JP5224517B2 (en) Karaoke equipment
JP5190950B2 (en) Karaoke equipment
JP6065703B2 (en) Reference data creation system and performance terminal device
JP6763334B2 (en) Music selection device, karaoke system, and music selection program
JP5622679B2 (en) Karaoke equipment
JP5218796B2 (en) Karaoke system, karaoke equipment
JP5123012B2 (en) Karaoke system
JP6944357B2 (en) Communication karaoke system
JP4516944B2 (en) Karaoke singing assistance system
JP5137203B2 (en) Karaoke equipment
JP5598685B2 (en) Karaoke device and karaoke program
JP2010060635A (en) Karaoke device
JP2016157010A (en) Singing evaluation device and program for singing evaluation
JP2010060844A (en) Karaoke device
JP4356713B2 (en) Karaoke system, karaoke equipment
JP4423212B2 (en) Karaoke system
JP5046862B2 (en) Karaoke system with automatic selection function
JP5240840B2 (en) Karaoke equipment
JP5150437B2 (en) Control device and karaoke device
JP2010060634A (en) Karaoke device
JP4404758B2 (en) Karaoke performance device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130308

R150 Certificate of patent or registration of utility model

Ref document number: 5224517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3