JP2008145973A - Content reproducing device - Google Patents

Content reproducing device Download PDF

Info

Publication number
JP2008145973A
JP2008145973A JP2006336244A JP2006336244A JP2008145973A JP 2008145973 A JP2008145973 A JP 2008145973A JP 2006336244 A JP2006336244 A JP 2006336244A JP 2006336244 A JP2006336244 A JP 2006336244A JP 2008145973 A JP2008145973 A JP 2008145973A
Authority
JP
Japan
Prior art keywords
lyrics telop
performance
lyrics
telop
jump
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006336244A
Other languages
Japanese (ja)
Other versions
JP4506748B2 (en
Inventor
Takahiro Tanaka
孝浩 田中
Takuro Sone
卓朗 曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2006336244A priority Critical patent/JP4506748B2/en
Publication of JP2008145973A publication Critical patent/JP2008145973A/en
Application granted granted Critical
Publication of JP4506748B2 publication Critical patent/JP4506748B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a content reproducing device capable of synchronously reproducing a screen image of a lyric telop following up an external musical performance sound of a live musical performance etc., input in real time even if the external musical performance sound has a skip. <P>SOLUTION: Audio/video data are input from a studio device 3 installed in a studio where the live musical performance is carried out, and reproduced after being delayed through a buffer 11. A time code generating section 16 outputs a time code signal with a delay of the same time with the buffer 11. When detecting a skip of the musical performance, the time code generating section 16 inputs skip information thereof to a lyric telop generating section 18 without any delay. The lyric telop generating section 18 once inputting the skip information changes the display mode of the lyric telop to eliminate a sense of incompatibility before and after the skip. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、外部から入力されるオーディオ信号に同期した映像を表示するコンテンツ再生装置に関する。   The present invention relates to a content reproduction apparatus that displays a video synchronized with an audio signal input from the outside.

カラオケ装置による演奏では、楽曲の演奏と同期して歌詞テロップが表示される(たとえば特許文献1)。これは予め曲データ中に演奏用の演奏トラックと歌詞テロップを表示するための歌詞トラックとを並列に記憶しているからである。   In the performance by the karaoke apparatus, the lyrics telop is displayed in synchronization with the performance of the music (for example, Patent Document 1). This is because the performance track for performance and the lyrics track for displaying the lyrics telop are previously stored in the song data in parallel.

特開2000−99044号公報JP 2000-99044 A

この歌詞テロップの表示は、いずれも事前に映像にテロップを合成したものを再生表示するものであり、たとえば演奏の生中継(いわゆるライブ中継)などのリアルタイムに行われ、ストリーミングで到来する演奏や発言等をテロップとしてスーパーインポーズ表示しているものではなかった。   The display of lyrics telop is to reproduce and display the telop synthesized with the video in advance, for example, live performance of live performance (so-called live relay), etc. Etc. was not displayed as a superimpose as a telop.

また、ライブ演奏では、レコーディングされ、カラオケ曲の楽曲データにインプリメントされている曲の進行とは異なる曲の進行(ジャンプ)がされることがよくある。たとえば、聴衆の盛り上がりに合わせてリフレインの繰り返し回数を増やす場合等がある。このような場合、楽曲データの歌詞テロップをそのまま表示していたのでは、演奏と歌詞テロップがずれてしまうという問題点があった。   In live performances, the progress of a song (jump) is often different from the progress of a song recorded and implemented in the song data of a karaoke song. For example, the number of refrain repetitions may be increased in accordance with the audience's excitement. In such a case, if the lyrics telop of the music data is displayed as it is, there is a problem that the performance and the lyrics telop are shifted.

この発明は、ライブ演奏等のリアルタイムに入力される外部演奏音に対応づけ、且つ曲がジャンプした場合でもこれに追従して歌詞テロップの映像を同期再生することができるコンテンツ再生装置を提供することを目的とする。   The present invention provides a content playback apparatus that can correspond to an external performance sound that is input in real time such as a live performance, and that can reproduce the video of the lyrics telop synchronously following the jump even when the song jumps. With the goal.

請求項1の発明は、楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを含む楽曲データを記憶する記憶部と、外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音を入力する外部演奏音入力部と、前記外部演奏音入力部から入力された外部演奏音に同期した演奏位置情報を生成するとともに、外部演奏音のジャンプを検出する演奏位置検出部と、前記演奏位置検出部が検出した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成する歌詞テロップ生成部と、を備えたことを特徴とする。   The invention according to claim 1 stores music data including performance tracks that are time-series data of musical sounds of music and lyrics tracks that are time-series data for generating lyrics telop in synchronization with the progress of the music. An external performance sound input unit for inputting an external performance sound that is played from outside including a jump that is a progression different from the time-series data, and an external performance sound input from the external performance sound input unit Generating a performance position information synchronized with the performance position detecting section for detecting a jump of an external performance sound, and reading out a lyric track of the music data based on the performance position information detected by the performance position detecting section And a lyric telop generation unit for generating

請求項2の発明は、請求項1の発明において、前記外部演奏音を所定時間遅延させて出力する遅延部をさらに備え、前記演奏位置検出部は、前記歌詞テロップ生成部に対して演奏位置情報を前記所定時間遅延させて出力し、前記外部演奏音のジャンプを検出したとき、これを遅延させることなく前記歌詞テロップ生成部に出力することを特徴とする。   The invention of claim 2 further comprises a delay unit that outputs the external performance sound with a predetermined time delay, according to the invention of claim 1, wherein the performance position detection unit performs performance position information with respect to the lyrics telop generation unit. Is output with a delay of the predetermined time, and when the jump of the external performance sound is detected, the jump is output to the lyrics telop generation unit without delay.

請求項3の発明は、請求項1、2の発明において、前記歌詞テロップ生成部は、歌詞テロップを、その歌唱期間の所定時間前から先行して表示するとともに、その歌唱期間の所定時間後まで表示を残すものであって、ジャンプ直前に、ジャンプ元の演奏位置後に歌唱期間がある歌詞テロップは先行して表示せず、ジャンプ先の演奏位置後に歌唱期間がある歌詞テロップを先行して表示することを特徴とする。   According to a third aspect of the present invention, in the first and second aspects of the invention, the lyrics telop generation unit displays the lyrics telop in advance from a predetermined time before the singing period and until a predetermined time after the singing period. The display is to be left, and immediately before the jump, the lyrics telop that has a singing period after the performance position of the jump source is not displayed in advance, and the lyrics telop with the singing period after the performance position of the jump destination is displayed in advance. It is characterized by that.

請求項4の発明は、請求項1〜3の発明において、前記歌詞テロップ生成部は、歌詞テロップを、その歌唱期間の所定時間前から先行して表示するとともに、その歌唱期間の所定時間後まで表示を残すものであって、ジャンプ直後に、ジャンプ先の演奏位置前に歌唱期間がある歌詞テロップは表示を残さず、ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残すことを特徴とする。   According to a fourth aspect of the present invention, in the first to third aspects of the invention, the lyrics telop generation unit displays the lyrics telop in advance from a predetermined time before the singing period and until a predetermined time after the singing period. Immediately after the jump, the lyrics telop that has a singing period before the performance position of the jump destination is not displayed, and the display of the lyrics telop that has the singing period before the performance position of the jump source is left immediately after the jump. Features.

請求項5の発明は、請求項4の発明において、前記歌詞テロップ生成部は、前記ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残す処理に合わせて、その後の歌詞テロップを先行して表示するタイミングを制御することを特徴とする。   According to a fifth aspect of the present invention, in the fourth aspect of the invention, the lyrics telop generation unit precedes the subsequent lyrics telop in accordance with a process of leaving a display of the lyrics telop having a singing period before the performance position of the jump source. The display timing is controlled.

この発明では、外部演奏音(主として生演奏の演奏音)から歌詞トラックのクロック信号を生成することにより、ライブ演奏であっても歌詞テロップを表示することができる。さらに、演奏位置検出部が外部演奏音のジャンプを検出して、これに歌詞テロップの表示を追従させるため、ライブ演奏特有の同じフレーズの繰り返し等のジャンプが発生しても、歌詞テロップをこれに追従させることができる。   In the present invention, the lyrics telop can be displayed even in a live performance by generating the clock signal of the lyrics track from the external performance sound (mainly the performance sound of the live performance). In addition, since the performance position detector detects the jump of the external performance sound and causes the display of the lyrics telop to follow this, even if a jump such as repetition of the same phrase peculiar to live performance occurs, Can be followed.

図1を参照してこの発明の実施形態であるネットワークライブシステムについて説明する。
このシステムは、たとえば、バンドが生演奏しているライブ会場やスタジオとカラオケボックスとをネットワークで接続し、カラオケボックス側の装置であるカラオケ装置でその生演奏の映像・音声を再生するとともに、カラオケ演奏用の曲データを用いて、生演奏に歌詞テロップを表示するシステムである。
A network live system according to an embodiment of the present invention will be described with reference to FIG.
This system, for example, connects a live venue or studio where a band is performing live with a karaoke box via a network, plays back the live performance video / audio on a karaoke device, which is a device on the karaoke box side, and karaoke This is a system that displays lyrics telop in live performance using song data for performance.

図1において、ライブ演奏が行われるスタジオに設置されたスタジオ装置3は、ネットワーク2を介してカラオケボックス側の装置であるカラオケ装置1に接続されている。
スタジオ装置3は、映像・音声エンコード部4、曲情報入力部5、ソングポインタ生成部6を備えている。映像・音声エンコード部4は、マイクで収音されたライブ演奏の演奏音およびビデオカメラで撮影されたライブ映像をMPEG4等のデジタルストリーミングフォーマットにエンコードする。曲情報生成部5は、ライブ演奏されている曲を検索するために参照される情報、および/または、曲のビートを検出するために参照される情報を生成する。曲を検索するために参照される情報としては、たとえばカラオケ装置で楽曲を指定する番号である曲番号や曲名,歌い出しの歌詞等がある。また、曲のビートを検出するために参照される情報としては、たとえば大まかなテンポやビートタイプ等の情報である。ここで、ビートタイプとは、リズムの種類やアフタービートか否か等の情報である。この曲情報は、ライブ演奏の演奏者や係員の操作によって生成されてもよく、生成エンジンによって自動的に生成されるものであってもよい。ソングポインタ生成部6は、ソングポインタを生成する。ソングポインタとは、ライブ演奏の演奏位置を示す情報であり、たとえば、1番、2番、サビ、クライマックス、イントロ、間奏、エンディング等の区間情報等からなる。ライブ演奏の場合、時間の制約で3コーラス目を省略したり、聴衆の反応に合わせてサビを繰り返したりするなど、レコーディングされた通常の演奏と異なる進行で演奏される場合がある。このような場合に、演奏が通常の演奏順から外れてどこにジャンプしたか(またはどこにジャンプしそうかという予測)をソングポインタ情報として生成する。ソングポインタ生成部は歌唱区間リスト参照部7を含み、このソングポインタを生成するときに、カラオケ装置1から送られてきた歌唱区間リストを参照する。このソングポインタも、上記曲情報と同様に、ライブ演奏の演奏者や係員の操作によって生成されてもよく、生成エンジンによって自動的に生成されるものであってもよい。
In FIG. 1, a studio apparatus 3 installed in a studio where live performance is performed is connected to a karaoke apparatus 1 that is an apparatus on the karaoke box side via a network 2.
The studio apparatus 3 includes a video / audio encoding unit 4, a song information input unit 5, and a song pointer generation unit 6. The video / audio encoding unit 4 encodes the performance sound of the live performance picked up by the microphone and the live video shot by the video camera into a digital streaming format such as MPEG4. The song information generation unit 5 generates information referred to search for a song being played live and / or information referred to detect a beat of the song. As information referred to search for a song, for example, there are a song number, a song name, a lyric to be sung, etc., which are numbers for designating a song by a karaoke apparatus. The information referred to for detecting the beat of the music is, for example, information such as a rough tempo and beat type. Here, the beat type is information such as the type of rhythm and whether or not it is an after beat. This music information may be generated by the operation of a live performance performer or a staff member, or may be automatically generated by a generation engine. The song pointer generator 6 generates a song pointer. The song pointer is information indicating the performance position of the live performance, and includes, for example, section information such as No. 1, No. 2, chorus, climax, intro, interlude, and ending. In the case of live performance, there is a case where the third chorus is omitted due to time restrictions, or the chorus is repeated in accordance with the audience's reaction, and the performance is different from the recorded normal performance. In such a case, the song pointer information is generated where the performance jumps out of the normal performance order (or prediction of where the performance is likely to jump). The song pointer generating unit includes a singing section list referring unit 7 and refers to the singing section list sent from the karaoke apparatus 1 when generating the song pointer. This song pointer may be generated by the operation of a live performer or a staff member as in the case of the music information, or may be automatically generated by a generation engine.

一方、カラオケ装置1は、通常のカラオケ曲演奏機能(この実施形態では通常のカラオケ装置の機能説明は省略する。)に加えて、以下の機能部を備えている。すなわち、バッファ11、映像・音声デコード部12、スーパーインポーズ部13、ビート検出部15、タイムコード生成部16、曲検索・歌詞トラック抽出部17、歌詞テロップ生成部(歌詞レンダラー)18を備えている。   On the other hand, the karaoke apparatus 1 includes the following functional units in addition to a normal karaoke song performance function (in this embodiment, description of functions of a normal karaoke apparatus is omitted). That is, a buffer 11, a video / audio decoding unit 12, a superimpose unit 13, a beat detection unit 15, a time code generation unit 16, a song search / lyric track extraction unit 17, and a lyrics telop generation unit (lyric renderer) 18 are provided. Yes.

スタジオ装置3から送られてきた映像・音声データは、映像・音声デコード部12でデコードされ、バッファ11に入力される。また、映像・音声データのうち音声データは、さらに、ライブ演奏音に基づいて演奏のビート(拍)を検出するために、ビート検出部15に入力される。ここで、ビートは、テンポ(周期)と拍タイミングからなる演奏情報である。ビート検出部15は、音声信号波形 (特にエンベロープ)から、ビートすなわち音声の脈動を抽出し、この脈動の周期とタイミングを検出することにより、ビートを検出する。音声信号中のドラム等のリズム楽器の楽音にフィルタリングして取り出すことにより、このビート検出が容易になる。音声信号がマルチトラックで送られてくる場合には、リズムパートのトラックを用いてビートを検出すればよい。   The video / audio data sent from the studio apparatus 3 is decoded by the video / audio decoding unit 12 and input to the buffer 11. Further, the audio data of the video / audio data is further input to the beat detector 15 in order to detect a performance beat based on the live performance sound. Here, the beat is performance information including a tempo (cycle) and beat timing. The beat detector 15 detects beats by extracting beats, that is, voice pulsations from the sound signal waveform (particularly the envelope), and detecting the period and timing of the pulsations. This beat detection is facilitated by filtering out the musical sound of a rhythm instrument such as a drum in the audio signal. When audio signals are sent in multiple tracks, beats may be detected using a rhythm part track.

さらに、ビート検出部15は、スタジオ装置3から送られてくる曲情報および/または曲検索部17から送られてくる楽曲データを用いてビート検出の精度を高める。曲情報には、ライブ演奏されている曲の大まかなテンポ情報が含まれているため、そのテンポ情報で基本のビート間隔を推定する。これにより、リズムが細かく刻まれているときに1/2拍を1拍とカウントしないように、またリズムが粗く刻まれているときに2拍を1拍とカウントしないようにすることができる。また、カラオケ演奏用の楽曲データは、ライブ演奏されている曲のメロディや伴奏の楽音を発生するための楽音トラックを含んでいるため(図3参照)、この楽音トラックで発生されるべき楽音とスタジオ装置3から送られてきた音声信号とを対比することにより、ビートの検出精度を高くすることができる。また、楽音トラックを読めば曲のフレーズが分かるため、ドラムのフィルイン(いわゆる「おかず」)の箇所を予測することができ、フィルインのドラム音でビートを誤カウントしてしまうことを防止することができる。   Furthermore, the beat detection unit 15 increases the accuracy of beat detection using the music information sent from the studio apparatus 3 and / or the music data sent from the music search unit 17. Since the song information includes rough tempo information of the song being played live, the basic beat interval is estimated based on the tempo information. Thereby, 1/2 beat is not counted as 1 beat when the rhythm is finely cut, and 2 beats are not counted as 1 beat when the rhythm is coarsely cut. The music data for karaoke performance includes a music track for generating a melody of a song being played live and an accompaniment tone (see FIG. 3). By comparing the audio signal sent from the studio apparatus 3, the beat detection accuracy can be increased. In addition, since the phrase of the song can be understood by reading the musical sound track, it is possible to predict the location of the drum fill-in (so-called “side dish”), and prevent the beats from being miscounted by the drum sound of the fill-in. it can.

ビート検出部15は、上記のような手法で検出したビートに基づいた周期,クロックタイミングでテンポクロック信号を生成する。テンポクロック信号は、タイムコード生成部16および歌詞テロップ生成部18に入力される。タイムコード生成部16および歌詞テロップ生成部18には、曲検索部17から、現在ライブ演奏中の曲のカラオケ演奏用のデータである楽曲データが入力されている。   The beat detection unit 15 generates a tempo clock signal at a cycle and clock timing based on the beat detected by the above method. The tempo clock signal is input to the time code generation unit 16 and the lyrics telop generation unit 18. The time code generation unit 16 and the lyrics telop generation unit 18 are input with music data, which is data for karaoke performance of a song currently being played live, from the music search unit 17.

タイムコード生成部16は、ビート検出部15から入力されたテンポクロック信号およびスタジオ装置3の曲情報入力部5から送られてくる曲情報、ソングポインタ生成部6から送られてくるソングポインタに基づいて、楽曲データ上の演奏位置を示すタイムコードを生成する。タイムコードは、小節番号/拍/TickからなるMTCコード(MIDI Time Code)である。ここでTickとは、1拍を8分割したクロックカウント値である。タイムコード生成部16は、ビート検出部15から入力されるテンポクロック信号にしたがってTickを進めて行くが、現在の演奏位置がどこであるかを上記曲情報やソングポインタ情報に基づいて割り出す。このMTCコードは、歌詞テロップ生成部18に入力される。なお、タイムコード生成部が生成するタイムコードは、MTCコードに限定されない。   The time code generator 16 is based on the tempo clock signal input from the beat detector 15, the song information sent from the song information input unit 5 of the studio apparatus 3, and the song pointer sent from the song pointer generator 6. Thus, a time code indicating the performance position on the music data is generated. The time code is an MTC code (MIDI Time Code) composed of measure number / beat / tick. Here, Tick is a clock count value obtained by dividing one beat into eight. The time code generation unit 16 advances Tick according to the tempo clock signal input from the beat detection unit 15, and determines where the current performance position is based on the song information and song pointer information. This MTC code is input to the lyrics telop generation unit 18. Note that the time code generated by the time code generation unit is not limited to the MTC code.

曲情報には、リズムの種類(2ビート、アフタービートなど)を示す情報が含まれているため、楽曲データの演奏トラックが異なるリズムの種類でアレンジされたものであっても、曲情報で示されたリズムの種類でテンポクロック信号に基づき楽音トラックをトレースすることにより正確なMTCコードを生成することができる。また、ソングポインタ情報は、上述したように、現在のライブ演奏の演奏位置を示す情報であり、1番、2番、サビ、クライマックス、イントロ、間奏、エンディング等の区間情報等からなる。このソングポインタ情報により、同じメロディが演奏されていても、その演奏が1番の演奏であるか2番の演奏であるかを識別することができる。   Since the song information includes information indicating the type of rhythm (2 beats, afterbeat, etc.), even if the performance track of the song data is arranged with a different rhythm type, it is indicated by the song information. An accurate MTC code can be generated by tracing the musical sound track based on the tempo clock signal with the type of rhythm that has been set. Further, as described above, the song pointer information is information indicating the performance position of the current live performance, and includes section information such as No. 1, No. 2, chorus, climax, intro, interlude, and ending. With this song pointer information, even if the same melody is played, it is possible to identify whether the performance is the first performance or the second performance.

ここで、タイムコード生成部16は、バッファ(ディレイ)11と連動して、送られてきた映像・音声を数秒(5秒程度)遅らせる。すなわち、バッファ11が入力部20から入力した映像信号・音声信号を数秒遅延させ、これに連動して、タイムコード生成部16は、同じ時間だけ遅れたMTCコードを出力する。   Here, the time code generation unit 16 delays the transmitted video / audio by several seconds (about 5 seconds) in conjunction with the buffer (delay) 11. That is, the video signal / audio signal input from the input unit 20 by the buffer 11 is delayed by several seconds, and in conjunction with this, the time code generation unit 16 outputs the MTC code delayed by the same time.

さらに、タイムコード生成部16は、ライブ演奏されている曲のジャンプ、すなわち楽曲データに記録されている進行と異なる曲の進行を検出し、事前に歌詞テロップ生成部18に入力する。曲のジャンプは、上述したように、スタジオ装置3から送られてくる曲情報やソングポインタに基づいて検出する。上記のように演奏位置を示すMTCコードは、バッファ11と連動して数秒遅らせているため、曲のジャンプが事前に判明している場合は勿論、突然曲がジャンプした場合でもMTCコードがそのジャンプ位置に進行する前に、歌詞テロップ生成部18に対して、曲がジャンプする旨およびそのジャンプ先等のジャンプ情報を伝えることができる。   Further, the time code generation unit 16 detects the jump of the song being played live, that is, the progression of the song different from the progression recorded in the song data, and inputs it to the lyrics telop generation unit 18 in advance. The song jump is detected based on the song information and song pointer sent from the studio apparatus 3 as described above. As described above, the MTC code indicating the performance position is delayed by a few seconds in conjunction with the buffer 11, so that the MTC code jumps even when the song jumps suddenly, as well as when the song jump is known in advance. Before proceeding to the position, it is possible to inform the lyrics telop generation unit 18 of the jumping information such as the fact that the song jumps and the jump destination.

歌詞テロップ生成部18は、タイムコード生成部16から入力されたMTCコードで読出位置を決定し、ビート検出部15から入力されたテンポクロックに従って歌詞テロップを生成し出力する。この歌詞テロップは、図4に示すように曲の進行に同期して色変えされるものである。   The lyrics telop generation unit 18 determines a reading position based on the MTC code input from the time code generation unit 16, and generates and outputs a lyrics telop according to the tempo clock input from the beat detection unit 15. The lyrics telop is color-changed in synchronization with the progress of the music as shown in FIG.

歌詞テロップ生成部18は、ビート検出部15から入力されるテンポクロック信号およびタイムコード生成部16から入力されるMTCコードに基づいて歌詞テロップの映像を生成する。歌詞テロップは、図3,図4に示す歌詞表示データのMTCコードで指示される位置をテンポクロック信号に従ってレンダリングすることによって生成される。   The lyrics telop generation unit 18 generates a video of the lyrics telop based on the tempo clock signal input from the beat detection unit 15 and the MTC code input from the time code generation unit 16. The lyrics telop is generated by rendering the position indicated by the MTC code of the lyrics display data shown in FIGS. 3 and 4 according to the tempo clock signal.

ここで、歌詞テロップ生成部18は、タイムコード生成部16から、曲のジャンプ情報が入力されたとき、ジャンプ直前の歌詞テロップの表示およびジャンプ直後の歌詞テロップの表示を歌詞表示データによって指示される態様から、そのジャンプに適した態様に変更する。この表示態様の変更の詳細については後述する。   Here, when the song jump information is input from the time code generator 16, the lyrics telop generator 18 is instructed by the lyrics display data to display the lyrics telop immediately before the jump and the lyrics telop immediately after the jump. The mode is changed to a mode suitable for the jump. Details of the change of the display mode will be described later.

歌詞テロップ生成部18が生成し出力した歌詞テロップは、スーパーインポーズ部13に入力される。映像・音声デコード部12でデコードされた映像・音声データは、バッファ11で所定時間遅延されたのち、音声データは、音声信号としてそのまま出力され、映像データは、スーパーインポーズ部13に入力される。スーパーインポーズ部13は、デコードされた映像に歌詞テロップをスーパーインポーズ合成してモニタに出力する。デコードされた音声もスピーカに出力される。   The lyrics telop generated and output by the lyrics telop generator 18 is input to the superimpose unit 13. The video / audio data decoded by the video / audio decoding unit 12 is delayed for a predetermined time in the buffer 11, and then the audio data is output as it is as an audio signal, and the video data is input to the superimposing unit 13. . The superimpose unit 13 superimposes the lyrics telop on the decoded video and outputs the synthesized text to the monitor. The decoded sound is also output to the speaker.

ここで、バッファ11は、スタジオ装置3から入力された映像・音声データを、タイムコード生成部16と連動して数秒間遅延させる。この遅延時間は、タイムコード生成部16がMTCコードの出力を遅らせる遅延時間に加えて、ビート検出部15→タイムコード生成部16→歌詞テロップ生成部18の処理時間に相当する時間である。これにより、映像・音声デコード部12でデコードされた音声信号に同期して生成出力された歌詞テロップと、映像・音声デコード部12でデコードされた映像・音声信号とを正確に同期させることができるとともに、曲がジャンプした場合でも、歌詞テロップの表示をそのジャンプ位置に同期して追従させることができる。   Here, the buffer 11 delays the video / audio data input from the studio apparatus 3 for several seconds in conjunction with the time code generation unit 16. This delay time is a time corresponding to the processing time of the beat detection unit 15 → time code generation unit 16 → lyric telop generation unit 18 in addition to the delay time in which the time code generation unit 16 delays the output of the MTC code. Thereby, the lyrics telop generated and output in synchronization with the audio signal decoded by the video / audio decoding unit 12 and the video / audio signal decoded by the video / audio decoding unit 12 can be accurately synchronized. In addition, even when a song jumps, the display of the lyrics telop can be made to follow the jump position in synchronization.

なお、曲検索部17は、スタジオ装置3から入力された曲情報に基づいて現在演奏されている曲を検索し、その曲の楽曲データをタイムコード生成部16および歌詞テロップ生成部18に入力する。また、図3に示すように、楽曲データに1番,2番等の歌唱区間の開始点を示すジャンプマークが書き込まれたマークトラックが含まれている。曲検索部17は、このマークトラックの内容を歌唱区間リスト19としてリスト化してスタジオ装置3に送信する。スタジオ装置3のソングポインタ生成部6は、送信された歌唱区間リスト19を記憶し、この歌唱区間リスト19に含まれるジャンプマーク等を指定することによりソングポインタ情報を生成する。   Note that the song search unit 17 searches for the currently played song based on the song information input from the studio apparatus 3, and inputs the song data of the song to the time code generation unit 16 and the lyrics telop generation unit 18. . Further, as shown in FIG. 3, a mark track in which a jump mark indicating the start point of the first and second singing sections is included in the music data. The song search unit 17 lists the contents of the mark track as a singing section list 19 and transmits it to the studio apparatus 3. The song pointer generation unit 6 of the studio apparatus 3 stores the transmitted song section list 19 and generates song pointer information by designating jump marks and the like included in the song section list 19.

図2は前記カラオケ装置1の構成を示すブロック図である。カラオケ装置1は、ハードディスク111に記憶している楽曲データに基づいてカラオケ曲を演奏することができるとともに、上述したように、スタジオ装置3から送られてきた映像・音声を再生する。   FIG. 2 is a block diagram showing the configuration of the karaoke apparatus 1. The karaoke apparatus 1 can play a karaoke song based on the song data stored in the hard disk 111 and reproduces the video / audio sent from the studio apparatus 3 as described above.

カラオケ装置1は、装置全体の動作を制御するCPU110と、このCPU110に接続された各種機器で構成されている。CPU110には、ハードディスク111、RAM112、音源113、ミキサ(エフェクタ)114、音声デコーダ119、映像デコーダ120、合成回路121、操作部123、ネットワークインタフェース124等が接続されている。   The karaoke apparatus 1 includes a CPU 110 that controls the operation of the entire apparatus and various devices connected to the CPU 110. Connected to the CPU 110 are a hard disk 111, a RAM 112, a sound source 113, a mixer (effector) 114, an audio decoder 119, a video decoder 120, a synthesis circuit 121, an operation unit 123, a network interface 124, and the like.

ハードディスク111は、カラオケ曲を演奏するための楽曲データ140やモニタ122に背景映像として表示するための映像データ141などを記憶している。図1のバッファ11は、RAM112およびハードディスク111に設定される。
CPU110は、プログラムで実行される機能部として、曲演奏部、同期処理部、歌詞テロップ生成部を備えている。曲演奏部は、楽曲データ140を用いてカラオケ曲を演奏する。同期処理部は、図1に示した再生クロックの生成を実行する。歌詞テロップ生成部は、カラオケ曲の演奏および図1の再生クロックに同期して歌詞テロップを生成する。音声デコーダ119および映像デコーダ120は、図1の映像・音声デコード部12に対応する。また、合成回路121は、図1のスーパーインポーズ部13に対応する。
The hard disk 111 stores music data 140 for playing karaoke music, video data 141 for display as a background video on the monitor 122, and the like. The buffer 11 in FIG. 1 is set in the RAM 112 and the hard disk 111.
The CPU 110 includes a music performance unit, a synchronization processing unit, and a lyrics telop generation unit as functional units executed by the program. The song performance unit plays a karaoke song using the song data 140. The synchronization processing unit executes the generation of the recovered clock shown in FIG. The lyrics telop generation unit generates the lyrics telop in synchronization with the performance of the karaoke song and the reproduction clock of FIG. The audio decoder 119 and the video decoder 120 correspond to the video / audio decoding unit 12 in FIG. The synthesis circuit 121 corresponds to the superimpose unit 13 in FIG.

音源113は、CPU110から入力されたデータ(楽音トラックやガイドメロディトラックのノートイベントデータ)に応じて楽音信号を生成する。生成した楽音信号はミキサ114に入力される。ミキサ114は、音源113から出力された楽音信号または音声デコーダ119がデコードした音声信号、および、マイク117−A/Dコンバータ118を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタル音声データはサウンドシステム115に入力される。サウンドシステム115はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル音声データをアナログ信号に変換して増幅し、スピーカ116から放音する。ミキサ114が各音声信号に付与する効果およびミキシングのバランスはCPU110によって制御される。   The sound source 113 generates a musical sound signal according to data input from the CPU 110 (note event data of a musical sound track or a guide melody track). The generated musical sound signal is input to the mixer 114. The mixer 114 echoes the musical sound signal output from the sound source 113 or the audio signal decoded by the audio decoder 119 and the singer's singing audio signal input via the microphone 117-A / D converter 118. In addition to providing an effect, these signals are mixed with an appropriate balance. The mixed digital audio data is input to the sound system 115. The sound system 115 includes a D / A converter and a power amplifier, converts input digital audio data into an analog signal, amplifies it, and emits sound from the speaker 116. The effect that the mixer 114 gives to each audio signal and the balance of mixing are controlled by the CPU 110.

なお、ライブ演奏の映像・音声データの再生時、映像デコーダ120は、スタジオ装置3から送られてきたライブ映像を再生するが、通常のカラオケ曲の演奏時には、映像デコーダ120は、HDD111に記憶されている映像データ141を読み出して背景映像を再生する。   The video decoder 120 reproduces the live video sent from the studio apparatus 3 when the live performance video / audio data is reproduced. However, the video decoder 120 is stored in the HDD 111 during normal karaoke music performance. The video data 141 being read is read to reproduce the background video.

操作部123は、操作パネル面に設けられた各種キースイッチおよびこのキースイッチの操作を検出するパネルスイッチインタフェースを有している。上記各種キースイッチは、カラオケ曲を指定する曲番号を入力するためのテンキーを含んでいる。ネットワークインタフェース124は、ネットワークを介して、スタジオ装置3やサーバ装置と通信するためのインタフェースである。   The operation unit 123 has various key switches provided on the operation panel surface and a panel switch interface for detecting operations of the key switches. The various key switches include a numeric keypad for inputting a song number for specifying a karaoke song. The network interface 124 is an interface for communicating with the studio apparatus 3 and the server apparatus via the network.

図3,図4は、ハードディスク111に記憶されている楽曲データの構成を示す図である。
図3において、楽曲データは、同図(A)に示すように、ヘッダ、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲の区切り位置を示すジャンプマークが書き込まれたマークトラック等からなっている。マークトラックには、たとえば、1番、2番、サビ、クライマックス、イントロ、間奏、エンディング等を示すジャンプマークが書き込まれる。
3 and 4 are diagrams showing the configuration of music data stored in the hard disk 111. FIG.
In FIG. 3, the music data includes a header, a musical sound track for playing karaoke music, a guide melody track for generating a guide melody, and a lyrics track for displaying a lyrics telop, as shown in FIG. It consists of a mark track or the like on which jump marks indicating the song separation positions are written. On the mark track, for example, jump marks indicating the first, second, chorus, climax, intro, interlude, ending and the like are written.

各トラックは、MIDIフォーマットに従って記述されている。たとえば、楽音トラックやガイドメロディトラックは、同図(B)に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音の音高や音量を指定する。この楽音は、対応するノートオフイベントデータが読み出されるまで継続する。
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
Each track is described according to the MIDI format. For example, a musical tone track and a guide melody track are composed of event data such as note-on event data and note-off event data and timing data indicating the read timing of each event data, as shown in FIG. The note-on event data includes pitch data, and designates the pitch and volume of a musical sound generated by the note-on. This musical sound continues until the corresponding note-off event data is read out.
The timing data can be composed of duration data indicating the time interval between the event data, absolute time data indicating the absolute time from the start time of the music, and the like.

楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン/オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源113に入力することにより、音源113はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック(パート)で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のMIDIデータで構成されている。   The event data of the musical tone track and the guide melody track is composed of the note event data indicating the pitch, volume, on / off, etc. of the musical tone as described above, and by inputting this note event data to the sound source 113, the sound source A sound 113 corresponding to the event data is generated or muted. The musical sound track is composed of a plurality of tracks (parts) for generating musical sounds of a large number of musical instruments, and the guide melody track is composed of single melody MIDI data for guiding the singing melody.

歌詞トラックは、カラオケ曲の曲名や歌詞を表示するための各種データをインプリメントしたシーケンスデータであり、図4(A)に示すように、タイミングデータに基づいて読み出される歌詞表示データを有している。   The lyrics track is sequence data that implements various data for displaying the song title and lyrics of the karaoke song, and has lyrics display data that is read based on the timing data, as shown in FIG. .

歌詞表示データは1行分の歌詞表示に関する全てのデータを内包しており、表示オンタイミング、表示オフタイミング、文字列データ(表示ポイント数、表示座標、文字間データなどを含む)、色1データ、色2データ、歌詞の色変えデータなどからなっている。   The lyric display data includes all data related to lyric display for one line, display on timing, display off timing, character string data (including the number of display points, display coordinates, character spacing data, etc.), color 1 data , Color 2 data, lyric color change data, etc.

同図(B)を参照して、歌詞表示データによる歌詞テロップの表示態様について説明する。この図のグラフは、縦軸が時間、横軸が歌詞テロップ(モニタ画面)のx座標を表している。曲の演奏がこの歌詞の箇所に到達するton前に、1行分の歌詞を色1で先行表示する。歌唱者は、歌詞テロップを見て解釈して歌唱するため、事前に歌詞を表示することが必要である。そして、曲の演奏がこの歌詞の箇所まで進行してくるまでの間色1で表示し続ける。曲の演奏がこの歌詞の箇所に到達すると、曲の進行に合わせて表示色を左から順に色1から色2に色変え(ワイプ)してゆく。ワイプが終了したのちも暫くの間(te)色2で残表示したのちこの歌詞テロップを消去する。   With reference to FIG. 5B, the display mode of the lyrics telop by the lyrics display data will be described. In the graph of this figure, the vertical axis represents time and the horizontal axis represents the x-coordinate of the lyrics telop (monitor screen). Prior to ton when the performance of a song reaches the location of the lyrics, the lyrics for one line are displayed in advance in color 1. The singer needs to display the lyrics in advance in order to view and interpret the lyrics telop. The display continues in color 1 until the performance of the song progresses to the lyrics. When the performance of the song reaches the location of the lyrics, the display color is changed from color 1 to color 2 (wipe) in order from the left as the song progresses. After the wipe is completed, the telop is erased after being displayed in color 2 for a while (te).

歌詞の色変えデータは同図(B)に示すようにワイプの(時間−x座標)曲線の主要な点を示す複数のプロッティングデータで構成されている。CPU110が機能的に内蔵する歌詞テロップ生成部18は、このプロッティングデータを2次曲線で補間して色変え(ワイプ)を行う。歌詞テロップ生成部18は、ビート検出部15およびタイムコード生成部16により、ライブ演奏の映像・音声と正確に同期し、且つ曲のジャンプに追従した歌詞テロップを生成する。すなわち、歌詞テロップの色変えも、演奏の進行に正確に同期している。   The color change data of the lyrics is composed of a plurality of plotting data indicating the main points of the wipe (time-x coordinate) curve as shown in FIG. The lyrics telop generation unit 18 functionally built in the CPU 110 interpolates this plotting data with a quadratic curve and changes the color (wipe). The lyrics telop generation unit 18 uses the beat detection unit 15 and the time code generation unit 16 to generate a lyrics telop that is accurately synchronized with the video / audio of the live performance and follows the jump of the song. In other words, the color change of the lyrics telop is accurately synchronized with the progress of the performance.

ここで、図5,図6を参照して、複数行の歌詞テロップの表示態様および曲がジャンプした場合の歌詞テロップの表示態様の変更について説明する。
図5は、通常の歌詞テロップの表示態様を説明する図である。この図において横軸は、時間経過を表しており、ポイントAは、たとえば1番の歌いだし、ポイントBは、たとえばサビの開始、などの歌唱区間の切れ目(ジャンプポイント)を示している。また、この図の縦軸は、モニタのY座標に対応しており、図中に記載した帯状の図形が1行ずつの歌詞テロップa1,a2,・・・,e1の表示位置および表示時間を表している。歌詞テロップa,b,c,・・・の符号は、同じフレーズ(表示ページ)の歌詞テロップを表し、そのあとの番号は、そのフレーズの行数を表す。各歌詞テロップの表示時間帯において、中央のハッチング部が、その歌詞テロップの色変え時間帯すなわちその歌詞テロップの歌唱時間帯を示しており、ハッチング部の左側の白帯部分が先行表示区間(ton)、ハッチング部の右側の白帯部分が残表示区間(te)を表している。
Here, with reference to FIG. 5 and FIG. 6, a change in the display mode of the lyrics telop in a plurality of lines and the display mode of the lyrics telop when the song jumps will be described.
FIG. 5 is a diagram for explaining a display format of a normal lyrics telop. In this figure, the horizontal axis represents the passage of time, and point A indicates the first singing, for example, and point B indicates the break (jump point) of the singing section such as the start of rust. The vertical axis in this figure corresponds to the Y coordinate of the monitor, and the strip-like figure shown in the figure shows the display position and display time of the lyrics telops a1, a2,. Represents. The signs of the lyrics telops a, b, c,... Represent the lyrics telop of the same phrase (display page), and the number after that represents the number of lines of the phrase. In the display time zone of each lyric telop, the central hatching portion indicates the color changing time zone of the lyric telop, that is, the singing time zone of the lyric telop, and the white belt portion on the left side of the hatching portion is the preceding display section (ton ), The white band on the right side of the hatched portion represents the remaining display section (te).

同図において、1番の歌いだしの数秒ΔT5前に3行の表示ページaの歌詞テロップa1,a2,a3を同時に表示する。そして、歌いだしポイントAから歌詞テロップa1の色変えを開始し、順次重なることなく連続して、曲の進行に合わせてa2,a3の色変えを行う。1段目の歌詞テロップa1の歌唱(色変え)が終了しても直ぐにこの歌詞テロップの表示を消去せず、歌唱が3段目の歌詞テロップa3に移行して数秒が経過したのち、1段目の歌詞テロップa1,2段目の歌詞テロップa2を同時に消去する。これは、各歌詞テロップを歌唱が終了する毎に即座に消去してしまうと、歌唱者に画面がチラついている印象を与えるため、歌唱が終了したのち若干時間を置いて、可能であれば複数行同時に消去することで、画面がチラつく印象を少なくしている。   In the same figure, the lyrics telops a1, a2, and a3 of the display page “a” of three lines are simultaneously displayed several seconds ΔT5 before the first singing. Then, the color change of the lyrics telop a1 is started from the singing point A, and the color change of a2 and a3 is performed continuously in accordance with the progress of the music without sequentially overlapping. Even if the singing (color change) of the first lyric telop a1 is finished, the display of this lyric telop is not erased immediately, and after a few seconds have passed since the singing has moved to the third lyric telop a3 Erase the lyrics telop a1 and lyric telop a2 in the second row at the same time. This is because if each lyric telop is erased immediately after the singing ends, the singer will have an impression that the screen is flickering. Erasing the lines at the same time reduces the impression that the screen flickers.

歌詞テロップa1,a2の消去ののち、次の表示ページの歌詞テロップb1を先行表示する。そして、歌唱が歌詞テロップb1に移行したのち、歌詞テロップa3を数秒間残表示して消去し、そのあとに歌詞テロップb2を先行表示する。歌詞テロップa1の歌唱が終了して、歌唱が歌詞テロップb2に移行したのち、歌詞テロップb1を消去する。   After deleting the lyrics telops a1 and a2, the lyrics telop b1 of the next display page is displayed in advance. Then, after the singing has moved to the lyrics telop b1, the lyric telop a3 is left and displayed for a few seconds, and then the lyric telop b2 is displayed in advance. After the singing of the lyrics telop a1 ends and the singing moves to the lyrics telop b2, the lyrics telop b1 is deleted.

次のページcは、4行表示であるが、歌詞テロップb2が歌唱期間中に1行目の歌詞テロップc1のみを先行表示する。そして、歌唱が歌詞テロップc1に移行し、歌詞テロップb2が消去されたのち、歌詞テロップc2,c3,c4を先行表示する。このように、歌唱が前ページの最終行(b2)から次ページの第1行(c1)に移行するときは、次ページの第1行の歌詞テロップのみを表示して2行目以後の歌詞テロップ(c2,c3)は、歌詞テロップc1の歌唱中に先行表示する。これは、歌唱者の視線が下の歌詞テロップb2から上の歌詞テロップc1に移動するとき、途中に別の歌詞テロップが表示されていると、スムーズに歌詞テロップc1に視線を移せない可能性があるためであり、歌唱者の視線が歌詞テロップc1に集中するようになったのち、すなわち歌詞テロップc1の歌唱が始まったのち、2行目以後の歌詞テロップc2,c3,c4を表示するようにしている。
表示ページcから表示ページdへの移行時も、前ページの最終行(c4)から次ページの第1行 (d1)への視線の移動を考慮して2行目以後の歌詞テロップd2,d3の先行表示を歌詞テロップd1の歌唱がスタートしてからにしている。
The next page c is a four-line display, but the lyrics telop b2 displays only the first-line lyrics telop c1 during the singing period. Then, after the singing moves to the lyrics telop c1 and the lyrics telop b2 is deleted, the lyrics telops c2, c3, and c4 are displayed in advance. Thus, when the singing moves from the last line (b2) of the previous page to the first line (c1) of the next page, only the lyrics telop of the first line of the next page is displayed and the lyrics after the second line are displayed. The telop (c2, c3) is displayed in advance during the singing of the lyrics telop c1. This is because, when the singer's line of sight moves from the lower lyrics telop b2 to the upper lyrics telop c1, if another lyrics telop is displayed on the way, there is a possibility that the line of sight cannot be smoothly transferred to the lyrics telop c1. This is because the lyrics telops c2, c3, and c4 in the second and subsequent lines are displayed after the singer's line of sight concentrates on the lyrics telop c1, that is, after the singing of the lyrics telop c1 starts. ing.
In the transition from the display page c to the display page d, the lyrics telops d2 and d3 in the second and subsequent lines are considered in consideration of the line of sight movement from the last line (c4) of the previous page to the first line (d1) of the next page Is displayed after the singing of the lyrics telop d1 starts.

なお、表示ページdの最後は、歌唱区間の境目であり、ポイントBの前後では、歌詞テロップd3の残表示と歌詞テロップe1の先行表示があるが、歌唱(色変え)は行われていない。   Note that the end of the display page d is the boundary of the singing section. Before and after point B, there are the remaining display of the lyrics telop d3 and the preceding display of the lyrics telop e1, but the singing (color change) is not performed.

以上の態様で歌詞テロップを表示するよう作成された歌詞トラックを用いて、歌詞テロップを表示しているときに曲がジャンプした場合の表示態様の制御を図6を用いて説明する。   The control of the display mode when a song jumps while displaying the lyrics telop using the lyrics track created to display the lyrics telop in the above manner will be described with reference to FIG.

図6は、曲がポイントBからポイントAへジャンプした場合の歌詞テロップの表示制御を説明する図である。上記のように、映像信号・音声信号を数秒間遅延させることにより、映像・音声の進行に先立って、歌詞テロップ生成部18には、ジャンプ情報が通知されている。このジャンプ情報に基づき、ジャンプ直前の歌詞テロップの表示とジャンプ直後の歌詞テロップの表示が違和感なくつながるように表示制御を行う。   FIG. 6 is a diagram for explaining the display control of the lyrics telop when the music jumps from point B to point A. As described above, by delaying the video signal / audio signal for several seconds, the lyrics telop generation unit 18 is notified of the jump information prior to the progress of the video / audio. Based on this jump information, display control is performed so that the display of the lyrics telop immediately before the jump and the display of the lyrics telop immediately after the jump are connected without a sense of incongruity.

同図(A)は、第1の態様の表示制御を示す図である。この表示制御では以下の処理をしている。   FIG. 4A is a diagram showing display control of the first mode. In this display control, the following processing is performed.

通常はポイントB直前に表示をスタートする歌詞テロップe1の先行表示を取りやめる。歌唱されない歌詞の先行表示は不要だからである。   Normally, the preceding display of the lyrics telop e1 that starts displaying immediately before point B is canceled. This is because there is no need to display the lyrics that are not sung.

ポイントB直前に(ポイントA直前と同様に)歌詞テロップa1,a2の先行表示を行う。歌唱者が歌いだしに遅れないためには先行表示が必要だからである。   Just before point B (same as immediately before point A), the lyrics telops a1 and a2 are displayed in advance. This is because a prior display is necessary for the singer to keep up with the singing.

ポイントA直後に(ポイントB直後と同様に)歌詞テロップd3の残表示を行う。チラつき感なく歌詞を消去するためである。   Immediately after point A (same as immediately after point B), the remaining display of the lyrics telop d3 is performed. This is to erase the lyrics without a flickering feeling.

このため、歌詞テロップd3の残表示と重ならないように歌詞テロップa3の先行表示タイミングを遅らせる。   For this reason, the preceding display timing of the lyrics telop a3 is delayed so as not to overlap with the remaining display of the lyrics telop d3.

同図(B)は、第2の態様の表示制御を示す図である。この表示態様では、上記第1の態様の表示制御に加えて、以下の処理をしている。   FIG. 5B is a diagram showing display control of the second mode. In this display mode, the following processing is performed in addition to the display control of the first mode.

歌詞テロップd3の残表示を歌詞表示データの設定時間よりも早く切り上げる。ジャンプした歌唱区間の切れ目であることを示すためである。なお、同図ではポイントB→Aのジャンプタイミングで消去するようにしているが、タイミングはこれに限定しない。   The remaining display of the lyrics telop d3 is rounded up earlier than the set time of the lyrics display data. This is to show that it is a break in the jumped song section. In the figure, the erasing is performed at the point B → A jump timing, but the timing is not limited to this.

歌詞テロップa2の先行表示タイミングを、上記歌詞テロップa3の先行表示タイミングまで遅らせる。上述したように、前ページの最終行の歌詞テロップd3から次ページの第1行の歌詞テロップa1への歌唱者の視線移動をスムーズに行わせるためには、中間行の歌詞テロップが表示されていないほうがよいからである。   The preceding display timing of the lyrics telop a2 is delayed until the preceding display timing of the lyrics telop a3. As described above, in order to smoothly move the singer's line of sight from the lyrics telop d3 on the last line of the previous page to the lyrics telop a1 on the first line of the next page, the lyrics telop on the intermediate line is displayed. Because it is better not.

このような表示態様の制御を行うことにより、ライブ演奏等の演奏位置がジャンプした場合でも違和感のない歌詞テロップの表示を実現することができる。   By controlling the display mode like this, it is possible to realize display of a lyrics telop without any sense of incongruity even when a performance position such as live performance jumps.

なお、上記説明では、曲のジャンプが、歌詞テロップの表示ページの境目から境目に行われる場合について説明しているが、一般的に曲のジャンプは、フレーズの境目すなわち歌詞テロップのページの境目にジャンプすることが通常であるため、上記表示態様制御でほぼ全ての曲のジャンプに対応することができる。   In the above description, the case where the jump of the song is performed from the boundary of the display page of the lyrics telop is described. However, the jump of the song is generally performed at the boundary of the phrase, that is, the boundary of the page of the lyrics telop. Since it is normal to jump, it is possible to cope with jumps of almost all songs by the display mode control.

なお、上記実施形態では、スタジオ装置3とカラオケ装置1を接続したネットワークライブシステムを示したが、より広い会場でのライブ演奏を配信するようにしてもよい。また、この発明は、ストック映像・音声を再生するシステムや通常のカラオケ曲の演奏時の曲のジャンプにも適用することができる。   In the above embodiment, the network live system in which the studio apparatus 3 and the karaoke apparatus 1 are connected is shown. However, live performances in a wider venue may be distributed. The present invention can also be applied to a system for reproducing stock video / sound and jumping of a song during performance of a normal karaoke song.

この発明の実施形態であるネットワークライブシステムの機能ブロック図Functional block diagram of a network live system according to an embodiment of the present invention 前記ネットワークライブシステムに用いられるカラオケ装置のブロック図Block diagram of a karaoke device used in the network live system 前記カラオケ装置が記憶する楽曲データの構成を示す図The figure which shows the structure of the music data which the said karaoke apparatus memorize | stores 前記楽曲データの歌詞トラックの構成を示す図The figure which shows the structure of the lyric track of the said music data 前記複数ページにわたる歌詞トラックの表示態様を説明する図The figure explaining the display mode of the lyric track over the plurality of pages 前記曲がジャンプした場合の歌詞トラックの表示態様制御を説明する図The figure explaining the display mode control of the lyric track when the said music jumps

符号の説明Explanation of symbols

1 カラオケ装置
2 ネットワーク
3 スタジオ装置
1 Karaoke device 2 Network 3 Studio device

Claims (5)

楽曲の楽音の時系列データである演奏トラック、および、楽曲の進行に同期して歌詞テロップを生成するための時系列データである歌詞トラックを含む楽曲データを記憶する記憶部と、
外部から前記楽曲を前記時系列データと異なる進行であるジャンプを含んで演奏される外部演奏音を入力する外部演奏音入力部と、
前記外部演奏音入力部から入力された外部演奏音に同期した演奏位置情報を生成するとともに、外部演奏音のジャンプを検出する演奏位置検出部と、
前記演奏位置検出部が生成した演奏位置情報に基づいて前記楽曲データの歌詞トラックを読み出して歌詞テロップを生成する歌詞テロップ生成部と、
を備えたコンテンツ再生装置。
A storage unit that stores music data including a performance track that is time-series data of musical tone of music and a lyrics track that is time-series data for generating lyrics telop in synchronization with the progress of the music;
An external performance sound input unit for inputting an external performance sound that is played from outside including a jump that is a progression different from the time-series data;
A performance position detection unit that generates performance position information synchronized with the external performance sound input from the external performance sound input unit and detects a jump of the external performance sound;
A lyrics telop generation unit that reads out the lyrics track of the music data based on the performance position information generated by the performance position detection unit and generates a lyrics telop;
A content playback apparatus comprising:
前記外部演奏音を所定時間遅延させて出力する遅延部をさらに備え、
前記演奏位置検出部は、前記歌詞テロップ生成部に対して演奏位置情報を前記所定時間遅延させて出力し、前記外部演奏音のジャンプを検出したとき、これを遅延させることなく前記歌詞テロップ生成部に出力する請求項1に記載のコンテンツ再生装置。
A delay unit that outputs the external performance sound with a predetermined time delay;
The performance position detection unit outputs performance position information with a delay of the predetermined time to the lyrics telop generation unit, and detects the jump of the external performance sound without delaying the lyrics telop generation unit. The content reproduction apparatus according to claim 1, which is output to
前記歌詞テロップ生成部は、歌詞テロップを、その歌唱期間の所定時間前から先行して表示するとともに、その歌唱期間の所定時間後まで表示を残すものであって、
ジャンプ直前に、ジャンプ元の演奏位置後に歌唱期間がある歌詞テロップは先行して表示せず、ジャンプ先の演奏位置後に歌唱期間がある歌詞テロップを先行して表示する請求項1または請求項2に記載のコンテンツ再生装置。
The lyrics telop generation unit displays the lyrics telop in advance from a predetermined time before the singing period and leaves the display until a predetermined time after the singing period,
The lyrics telop having a singing period after the performance position of the jump source is not displayed immediately before the jump, and the lyrics telop having the singing period after the performance position of the jump destination is displayed in advance. The content reproduction device described.
前記歌詞テロップ生成部は、歌詞テロップを、その歌唱期間の所定時間前から先行して表示するとともに、その歌唱期間の所定時間後まで表示を残すものであって、
ジャンプ直後に、ジャンプ先の演奏位置前に歌唱期間がある歌詞テロップは表示を残さず、ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残す請求項1、請求項2または請求項3に記載のコンテンツ再生装置。
The lyrics telop generation unit displays the lyrics telop in advance from a predetermined time before the singing period and leaves the display until a predetermined time after the singing period,
3. The lyrics telop having a singing period before the performance position of the jump destination is not displayed immediately after the jump, and the display of the lyrics telop having the singing period is left before the performance position of the jump source. 4. The content reproduction device according to 3.
前記歌詞テロップ生成部は、前記ジャンプ元の演奏位置前に歌唱期間がある歌詞テロップの表示を残す処理に合わせて、その後の歌詞テロップを先行して表示するタイミングを制御する請求項4に記載のコンテンツ表示装置。   The lyric telop generation unit controls the timing of displaying a subsequent lyric telop in advance in accordance with a process of leaving a display of a lyric telop having a singing period before the performance position of the jump source. Content display device.
JP2006336244A 2006-12-13 2006-12-13 Content playback device Expired - Fee Related JP4506748B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006336244A JP4506748B2 (en) 2006-12-13 2006-12-13 Content playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006336244A JP4506748B2 (en) 2006-12-13 2006-12-13 Content playback device

Publications (2)

Publication Number Publication Date
JP2008145973A true JP2008145973A (en) 2008-06-26
JP4506748B2 JP4506748B2 (en) 2010-07-21

Family

ID=39606193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006336244A Expired - Fee Related JP4506748B2 (en) 2006-12-13 2006-12-13 Content playback device

Country Status (1)

Country Link
JP (1) JP4506748B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016513307A (en) * 2013-02-04 2016-05-12 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Method and system for performing audio information collection and querying
JP2020109918A (en) * 2019-01-07 2020-07-16 ヤマハ株式会社 Video control system and video control method

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0627944A (en) * 1992-07-07 1994-02-04 Casio Comput Co Ltd Automatic playing device
JPH06124094A (en) * 1992-10-09 1994-05-06 Yamaha Corp Karaoke @(3754/24)accompaniment of recorded music) device
JPH08306167A (en) * 1995-03-06 1996-11-22 Fujitsu Ltd Method for storing data in storage medium, reproducing device of storage medium, and information management device of storage medium using storage medium, and use method of storage medium
JPH1124674A (en) * 1997-06-27 1999-01-29 Ricoh Co Ltd Information processing device
JP2000099044A (en) * 1998-09-24 2000-04-07 Yamaha Corp Karaoke device
JP2001056684A (en) * 1990-05-25 2001-02-27 Casio Comput Co Ltd Automatic playing device
JP2001126459A (en) * 1999-10-26 2001-05-11 Kenwood Corp Bank type reproducing device
JP2001175267A (en) * 1999-12-20 2001-06-29 Sony Corp System and method for authoring display lyrics, recording medium with display lyrics authoring program recorded thereon and automatic lyrics display system
JP2002093127A (en) * 2000-09-18 2002-03-29 Sanyo Electric Co Ltd Setting method for control point of magnetooptic disk
JP2002333893A (en) * 2002-03-28 2002-11-22 Daiichikosho Co Ltd Song lyrics display control method for karaoke system
JP2003255968A (en) * 2002-02-28 2003-09-10 Sanyo Electric Co Ltd System and device for communication karaoke, distribution server, and distributing method for karaoke data
JP2004212473A (en) * 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd Karaoke machine and karaoke reproducing method
JP2006195385A (en) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd Device and program for music reproduction
JP2006267871A (en) * 2005-03-25 2006-10-05 Daiichikosho Co Ltd Lyrics displaying method for displaying lyrics while changing color synchronously with performance of song, lyrics display program and portable information terminal

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001056684A (en) * 1990-05-25 2001-02-27 Casio Comput Co Ltd Automatic playing device
JPH0627944A (en) * 1992-07-07 1994-02-04 Casio Comput Co Ltd Automatic playing device
JPH06124094A (en) * 1992-10-09 1994-05-06 Yamaha Corp Karaoke @(3754/24)accompaniment of recorded music) device
JPH08306167A (en) * 1995-03-06 1996-11-22 Fujitsu Ltd Method for storing data in storage medium, reproducing device of storage medium, and information management device of storage medium using storage medium, and use method of storage medium
JPH1124674A (en) * 1997-06-27 1999-01-29 Ricoh Co Ltd Information processing device
JP2000099044A (en) * 1998-09-24 2000-04-07 Yamaha Corp Karaoke device
JP2001126459A (en) * 1999-10-26 2001-05-11 Kenwood Corp Bank type reproducing device
JP2001175267A (en) * 1999-12-20 2001-06-29 Sony Corp System and method for authoring display lyrics, recording medium with display lyrics authoring program recorded thereon and automatic lyrics display system
JP2002093127A (en) * 2000-09-18 2002-03-29 Sanyo Electric Co Ltd Setting method for control point of magnetooptic disk
JP2003255968A (en) * 2002-02-28 2003-09-10 Sanyo Electric Co Ltd System and device for communication karaoke, distribution server, and distributing method for karaoke data
JP2002333893A (en) * 2002-03-28 2002-11-22 Daiichikosho Co Ltd Song lyrics display control method for karaoke system
JP2004212473A (en) * 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd Karaoke machine and karaoke reproducing method
JP2006195385A (en) * 2005-01-17 2006-07-27 Matsushita Electric Ind Co Ltd Device and program for music reproduction
JP2006267871A (en) * 2005-03-25 2006-10-05 Daiichikosho Co Ltd Lyrics displaying method for displaying lyrics while changing color synchronously with performance of song, lyrics display program and portable information terminal

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016513307A (en) * 2013-02-04 2016-05-12 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド Method and system for performing audio information collection and querying
JP2020109918A (en) * 2019-01-07 2020-07-16 ヤマハ株式会社 Video control system and video control method
JP7226709B2 (en) 2019-01-07 2023-02-21 ヤマハ株式会社 Video control system and video control method

Also Published As

Publication number Publication date
JP4506748B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4949899B2 (en) Pitch display control device
JP5151245B2 (en) Data reproducing apparatus, data reproducing method and program
JP4182750B2 (en) Karaoke equipment
JP4053387B2 (en) Karaoke device, scoring result display device
JP4175337B2 (en) Karaoke equipment
JP4913638B2 (en) Evaluation device and karaoke device
JP4204941B2 (en) Karaoke equipment
JP4458096B2 (en) Data reproducing apparatus, data reproducing method and program
JP2009063714A (en) Audio playback device and audio fast forward method
JP4506748B2 (en) Content playback device
JP2009031549A (en) Melody display control device and karaoke device
JP4561735B2 (en) Content reproduction apparatus and content synchronous reproduction system
JP4380694B2 (en) Content playback device
JP4506750B2 (en) Content playback device
JP4891135B2 (en) Evaluation device
JP2007334202A (en) Karaoke device
JP4586787B2 (en) Live performance karaoke system
JP4161714B2 (en) Karaoke equipment
JP4470947B2 (en) Data reproducing apparatus, data reproducing method and program
JP4539647B2 (en) Content playback device
JP4182898B2 (en) Karaoke equipment
JP4169555B2 (en) Karaoke equipment
JP4561736B2 (en) Content playback device
JP4506749B2 (en) Content playback device
JP4318441B2 (en) Karaoke equipment

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees