JP2013029744A

JP2013029744A - Karaoke device

Info

Publication number: JP2013029744A
Application number: JP2011166893A
Authority: JP
Inventors: Masahiro Yamamoto; 匡宏山本; Fumitoshi Uno; 文敏宇野; Takuma Kuno; 琢磨久野
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2011-07-29
Filing date: 2011-07-29
Publication date: 2013-02-07
Anticipated expiration: 2031-07-29
Also published as: JP5454802B2

Abstract

PROBLEM TO BE SOLVED: To accurately synchronize performance of a musical piece and display of lyrics with each other to make the musical piece easier to sing, in a karaoke device.SOLUTION: The karaoke device executes: calibration processing of measuring and storing a delay time on the basis of output timing of a digital signal outputted to display means and an image signal of imaging means which images a screen of the display means; lyric reproducing processing of displaying lyrics on the display means on the basis of lyric information corresponding to a musical piece designated by input means and changing a color of displayed lyrics; and adjustment processing of executing at least one of accelerating color change timing in the lyric reproducing processing and delaying performance timing in performance processing on the basis of the delay time stored by the calibration processing.

Description

本発明は、演奏にあわせて歌唱を楽しむカラオケ装置に関するものであり、特に、演奏に同期して表示手段に歌詞を表示することのできるカラオケ装置に関するものである。 The present invention relates to a karaoke apparatus that enjoys singing along with a performance, and more particularly to a karaoke apparatus that can display lyrics on a display means in synchronization with a performance.

従来、社交の場あるいは個人の楽しみとして、自動演奏に合わせて歌唱を楽しむカラオケ装置が知られている。このカラオケ装置では、演奏に合わせて歌詞を表示することで、歌詞を知らない、あるいは、正確に記憶していない歌唱者に対しても、歌唱すべき歌詞を告知することが可能とされている。現在では一定区間の歌詞を表示した上で、歌唱すべきタイミングに合わせて順次色替えをすることで、歌詞の歌唱タイミングを告知することが主流となっている。 2. Description of the Related Art Conventionally, karaoke apparatuses that enjoy singing along with automatic performances are known as a place for socializing or for personal enjoyment. In this karaoke device, it is possible to notify the lyrics to be sung even to a singer who does not know the lyrics or does not memorize them accurately by displaying the lyrics according to the performance. . At present, it is the mainstream to announce the singing timing of the lyrics by displaying the lyrics in a certain section and then changing the color sequentially according to the timing to sing.

このような歌唱すべき歌詞の色替えを行うカラオケ装置について、特許文献１には、音声タイミング検出部で検出した発生タイミングと、ガイドメロディーデータの出力タイミングに基づいて、歌詞テロップ遅延出力部を制御し、歌詞テロップの色変わりを実際の歌唱タイミングに合わせることが開示されている。 Regarding a karaoke apparatus that changes the color of lyrics to be sung, Japanese Patent Laid-Open No. 2004-228561 controls the lyrics telop delay output unit based on the generation timing detected by the audio timing detection unit and the output timing of the guide melody data. In addition, it is disclosed that the color change of the lyrics telop is matched to the actual singing timing.

特開２００５−１７３２５６公報JP 2005-173256 A

特許文献１に開示されるカラオケ装置では、歌唱者の発声に追従して、画面に表示する歌詞テロップの色変わりのタイミングが変化することで、歌唱者の満足度を向上させることができるものの、色変わりのタイミングは、本来歌うべき模範的なタイミングとは異なるものであって、歌唱すべきタイミングを教示する点においては不都合が生じる。 In the karaoke apparatus disclosed in Patent Document 1, the timing of the color change of the lyrics telop displayed on the screen changes following the utterance of the singer, but the satisfaction of the singer can be improved, but the color change This timing is different from the exemplary timing that should originally be sung, and inconvenience arises in teaching the timing to sing.

ところで、現在、デジタル化された薄型テレビが一般化される中、カラオケ装置の歌詞表示のために利用される表示手段として使用されている。このようなデジタル化されたテレビ（モニター）を利用する際には、カラオケ装置からデジタル信号として出力された映像信号をモニター側で復号化して表示することが行われる。さらには表示する映像の高画質化、高解像度化などを図るため、カラオケ装置から入力された映像信号に対して、モニター側で画像処理（例えば、映像の高解像度化が図られる超解像処理など）が行われている。 By the way, nowadays, while digitalized flat-screen televisions are generalized, they are used as display means used for displaying lyrics of a karaoke apparatus. When such a digitized television (monitor) is used, a video signal output as a digital signal from the karaoke device is decoded and displayed on the monitor side. Furthermore, in order to improve the image quality and resolution of the displayed video, image processing (for example, super-resolution processing that increases the resolution of the video) is performed on the video signal input from the karaoke device. Etc.) has been made.

デジタルテレビ内で実行される復号化、あるいは、画像処理には時間を要することとなるが、デジタル映像をカラオケ装置に適用した場合、ＭＩＤＩ情報などに基づく演奏音を出力するための音響系統と、デジタル映像信号を出力する映像系統が異なるため、演奏音に対して表示に遅延が生じることとなる。カラオケ装置側で、デジタル映像の複合化と演奏音の再生を全て処理できるのであれば、予め、映像の遅延時間を考慮して設計することが可能である。 Although decoding or image processing executed in the digital television will take time, when digital video is applied to a karaoke device, an acoustic system for outputting performance sounds based on MIDI information, Since the video system for outputting the digital video signal is different, the display is delayed with respect to the performance sound. If the karaoke device can process all of the composite of digital video and the reproduction of performance sound, it can be designed in consideration of video delay time in advance.

しかしながら、デジタルテレビを内蔵しないカラオケ装置において、歌詞を表示出力する表示手段として、外部接続した汎用のデジタルテレビを利用した場合、カラオケ装置では、ＭＩＤＩ情報などに基づいて演奏行う音響系の出力と、背景映像や歌詞映像などの映像系の出力が異なる系統となるため、音響系の出力タイミングに対して、デジタルテレビ
内で実行される処理が介在した映像系の出力タイミングに遅延が生じてしまうこととなる。特に、歌詞の歌唱タイミングを告知する色替えについて、遅延が生じた場合には、わずかな遅延時間であっても歌唱者にとっては違和感が生じることとなる。 However, in a karaoke apparatus that does not have a built-in digital TV, when an externally connected general-purpose digital TV is used as display means for displaying and outputting lyrics, the karaoke apparatus has an acoustic output that performs based on MIDI information, Since the output of the video system such as background video and lyrics video is different, the output timing of the video system intervening with the processing executed in the digital television may be delayed with respect to the output timing of the audio system It becomes. In particular, when there is a delay in the color change that announces the singing timing of the lyrics, the singers will feel uncomfortable even with a slight delay time.

また、デジタルテレビで生じる遅延時間は、デジタルテレビの機種毎、各種設定あるいは実機毎に異なる場合があるため、カラオケ装置側で一定の遅延時間を設けることで対応することも困難な状況となっている。 In addition, the delay time that occurs in digital television may vary from one digital television model to another, various settings, or from one device to another, so it is difficult to deal with by providing a certain delay time on the karaoke device side. Yes.

本発明は、デジタルテレビを利用したカラオケ装置に関して、このような状況を鑑みてなされたものである。
そのため、本発明に係るカラオケ装置は、
表示手段にデジタル映像信号を出力する映像出力端子を備えるカラオケ装置において、
表示手段に出力したデジタル信号の出力タイミングと、撮像手段にて撮像された前記表示手段の画面を撮像する撮像手段の撮像信号に基づいて、遅延時間を計測して記憶するキャリブレーション処理と、
入力手段にて指定された楽曲に対応する演奏情報に基づいて演奏を行う演奏処理と、
前記入力手段にて指定された楽曲に対応する歌詞情報に基づいて前記表示手段に歌詞を表示させ、表示させた歌詞の色替えを行う歌詞再生処理と、
前記キャリブレーション処理で記憶した遅延時間に基づいて、前記歌詞再生処理における色替えタイミングを早める、あるいは、前記演奏処理における演奏タイミングを遅延させる少なくとも一方を実行する調整処理と、を実行することを特徴とする。 This invention is made | formed in view of such a situation regarding the karaoke apparatus using a digital television.
Therefore, the karaoke apparatus according to the present invention is
In a karaoke apparatus provided with a video output terminal for outputting a digital video signal to a display means,
A calibration process for measuring and storing a delay time based on the output timing of the digital signal output to the display means and the imaging signal of the imaging means for imaging the screen of the display means imaged by the imaging means;
Performance processing for performing performance based on performance information corresponding to the music specified by the input means;
Lyrics reproduction processing for displaying lyrics on the display means based on lyrics information corresponding to the music specified by the input means, and changing the color of the displayed lyrics,
An adjustment process for executing at least one of advancing the color change timing in the lyrics reproduction process or delaying the performance timing in the performance process based on the delay time stored in the calibration process is performed. And

さらに本発明に係るカラオケ装置において、
前記映像出力端子から出力されるデジタル映像信号は、ＨＤＭＩ規格の信号であることを特徴とする。 Furthermore, in the karaoke apparatus according to the present invention,
The digital video signal output from the video output terminal is an HDMI standard signal.

本発明によれば、デジタル映像信号に基づいて表示を行う表示手段に対して、歌詞映像を表示するカラオケ装置において、キャリブレーション処理で記憶された遅延時間に基づいて、色替えタイミングを早める、あるいは、演奏タイミングを遅延させる少なくとも一方を実行する調整処理を行うことで、演奏タイミングと歌詞の色替えタイミングの誤差を抑えることを可能としている。 According to the present invention, in the karaoke apparatus that displays the lyrics video with respect to the display unit that performs display based on the digital video signal, the color change timing is advanced based on the delay time stored in the calibration process, or By performing adjustment processing for executing at least one of delaying the performance timing, it is possible to suppress an error between the performance timing and the color change timing of the lyrics.

本発明の実施形態に係るカラオケ装置の構成を示す図The figure which shows the structure of the karaoke apparatus which concerns on embodiment of this invention. 本発明の実施形態に係るキャリブレーション処理を示すフロー図The flowchart which shows the calibration process which concerns on embodiment of this invention 本発明の実施形態におけるタイミングチャートを示す図The figure which shows the timing chart in embodiment of this invention 本発明の実施形態に係る楽曲情報のデータ構成を示す図The figure which shows the data structure of the music information which concerns on embodiment of this invention. 本発明の実施形態に係る楽曲情報再生処理を示すフロー図The flowchart which shows the music information reproduction process which concerns on embodiment of this invention 本発明の実施形態に係る歌詞再生処理を示すフロー図The flowchart which shows the lyrics reproduction process which concerns on embodiment of this invention 本発明の実施形態に係るキャリブレーション情報のデータ構成を示す図The figure which shows the data structure of the calibration information which concerns on embodiment of this invention.

図１は、本発明の実施形態に係るカラオケ装置の構成を示す図である。本実施形態のカラオケ装置１（「コマンダ」ともいう）は、ＣＰＵ１４、ＲＡＭ１５、ＲＯＭ１６などで構成される制御部を中心として、ＨＤＤ（ハードディスク）１３、音声処理部１８、出力映像処理部１１、入力映像処理部１２、操作パネル１０、通信インタフェイス１７などを備えて構成されている。 FIG. 1 is a diagram showing a configuration of a karaoke apparatus according to an embodiment of the present invention. The karaoke apparatus 1 (also referred to as “commander”) of the present embodiment is centered on a control unit including a CPU 14, a RAM 15, a ROM 16, and the like, with an HDD (hard disk) 13, an audio processing unit 18, an output video processing unit 11, and an input. The image processing unit 12, the operation panel 10, the communication interface 17 and the like are provided.

制御手段を構成するＣＰＵ１４、ＲＡＭ１５、ＲＯＭ１６は、コンピューターにおいて一般的に使用される構成であって、ＣＰＵ１４は、プログラムの実行などに基づく各種制御を、ＲＡＭ１５、ＲＯＭ１６、ハードディスク１３などに記憶する各種プログラム、各種データに基づいて行う。 The CPU 14, RAM 15, and ROM 16 constituting the control means are generally used in computers, and the CPU 14 stores various controls based on program execution and the like in the RAM 15, ROM 16, hard disk 13, and the like. , Based on various data.

カラオケ装置１における音声処理部１８は、主として演奏情報に基づく演奏処理を実行する手段である。演奏情報はＭＩＤＩ規格に基づいて作成されたデータの他、コーラスなどを担当する音声データなどを含んで構成されている。音声処理部１８では、ユーザーが指定した楽曲に対応する演奏情報に基づいて演奏処理を実行することで、所望の楽曲の演奏を行う。また、オーディオ入力端子に接続されたマイクから入力された音声情報と、演奏情報に基づく演奏音をミキシングしてアンプに出力し、アンプに接続されているスピーカーから放音する。なお、マイクから入力される音声情報に対しては、エコーなどの効果を付加することも可能としている。 The voice processing unit 18 in the karaoke apparatus 1 is means for executing performance processing mainly based on performance information. The performance information includes data created based on the MIDI standard, as well as audio data in charge of chorus and the like. The audio processing unit 18 performs a desired musical piece by performing a musical performance process based on performance information corresponding to the musical piece designated by the user. Also, audio information input from a microphone connected to the audio input terminal and performance sound based on the performance information are mixed and output to an amplifier, and sound is emitted from a speaker connected to the amplifier. Note that an effect such as echo can be added to audio information input from the microphone.

出力映像処理部１１は、歌詞再生処理、並びに、背景映像表示処理など、ディスプレイ２１（表示手段）を介してユーザーに視覚的情報を提供する処理を実行する。本実施形態では、出力遺贈処理部１１から出力するデジタル映像信号として、ＨＤＭＩ規格の信号を利用している。ディスプレイ２１では、受信したデジタル映像信号を復号化するとともに、高解像度化、高画質化などの各種画像処理を行って、その表示画面に表示を行う。 The output video processing unit 11 executes processing for providing visual information to the user via the display 21 (display means) such as lyrics reproduction processing and background video display processing. In the present embodiment, an HDMI standard signal is used as the digital video signal output from the output bequest processing unit 11. The display 21 decodes the received digital video signal, performs various image processing such as higher resolution and higher image quality, and displays on the display screen.

歌詞再生処理は、楽曲情報に含まれる歌詞情報に基づいて歌詞をディスプレイ２１に表示させる処理であって、演奏処理に同期して実行される。ディスプレイ２１に表示された歌詞は、演奏に同期して歌唱すべき箇所が色替え表示され、歌唱者に歌唱箇所を教示する。また、背景映像表示処理は、演奏される楽曲の対応した各種映像を表示することで、歌唱の雰囲気を盛り上げる処理である。そのため、記憶手段としてのハードディスク１３には、ＭＰＥＧ形式などによる圧縮が施された背景映像情報が記憶されており、映像処理部１１では、この背景映像情報をデコードし、歌詞映像を重畳した映像をディスプレイ１２に表示する。 The lyrics reproduction process is a process of displaying lyrics on the display 21 based on the lyrics information included in the music information, and is executed in synchronization with the performance process. In the lyrics displayed on the display 21, the part to be sung in color is displayed in synchronization with the performance, and the singing part is taught to the singer. In addition, the background video display process is a process of raising the singing atmosphere by displaying various videos corresponding to the music to be played. Therefore, the hard disk 13 as the storage means stores the background video information that has been compressed in the MPEG format or the like, and the video processing unit 11 decodes the background video information and displays the video on which the lyrics video is superimposed. Displayed on the display 12.

通信インタフェイス１７は、ネットワーク接続端子を介してインターネットに接続され、図示しないホスト装置から、新しくリリースされた楽曲情報や、背景映像情報、プログラムなどを受信するとともに、ホスト装置に対して利用履歴などを送信する。近年では、ユーザーの利用履歴、登録楽曲などを含んだユーザー情報をホスト装置で管理し、当該ユーザーの利用時に受信することで、各個ユーザーに即したサービスを提供することも可能としている。 The communication interface 17 is connected to the Internet via a network connection terminal, receives newly released music information, background video information, a program, and the like from a host device (not shown) and uses a history of the host device. Send. In recent years, it is also possible to provide a service suitable for each individual user by managing user information including a user's usage history, registered music, and the like by a host device and receiving the information when the user uses the user information.

カラオケ装置１に対して行われる楽曲指定（予約）など、ユーザーからの各種指示は、操作パネル１０から行うことも可能であるが、通常、店舗内のネットワークに接続されたリモコン装置（図示せず）から行われる。リモコン装置は、タッチパネルなどのインタフェイスを備えており、ユーザーに各種情報を表示提供するとともに、タッチ指示による入力受付を行うことが可能となっている。 Various instructions from the user such as music designation (reservation) performed on the karaoke apparatus 1 can also be performed from the operation panel 10, but usually a remote control device (not shown) connected to a network in the store. ) The remote control device is provided with an interface such as a touch panel, and can display and provide various types of information to the user, and can accept input by a touch instruction.

記憶手段として機能するハードディスク１３には、楽曲を演奏するための楽曲情報の他、ディスプレイ２１に背景を表示するための背景映像情報、そして、カラオケ装置１において各種処理を実行するためのプログラムを記憶している。また、前述したホスト装置から各種データを受信することで、記憶しているデータの追加、更新が実行される。本実施形態で説明する歌詞再生処理についても、プログラムとして受信させることで既存のカラオケ装置１に機能追加することも可能である。 The hard disk 13 functioning as a storage means stores music information for playing music, background video information for displaying the background on the display 21, and programs for executing various processes in the karaoke apparatus 1. doing. Further, by receiving various data from the above-described host device, addition and update of stored data are executed. The lyrics reproduction process described in the present embodiment can also be added to the existing karaoke apparatus 1 by being received as a program.

さらに本実施形態では、カラオケ装置１による撮像を可能とするためのカメラ２２（撮
像手段）を接続するためのビデオ入力端子が設けられている。カメラ２２は、歌唱しているユーザーを撮像し、記録するために用いられる他、本実施形態のキャリブレーション処理にて利用される。本実施形態のビデオ入力信号（撮像信号）には、コンポジット映像信号が採用されているが、この他、カメラ２２からの出力としてコンポーネント映像信号を用いることや、カメラ２２としてＵＳＢカメラを採用し、ビデオ入力端子としてＵＳＢ端子を利用することも考えられる。ビデオ入力端子から入力された撮像信号は、入力映像制御部１２にて処理される。 Further, in the present embodiment, a video input terminal for connecting a camera 22 (imaging means) for enabling imaging by the karaoke apparatus 1 is provided. The camera 22 is used for capturing and recording a user who is singing, and is used in the calibration process of the present embodiment. A composite video signal is employed as the video input signal (imaging signal) of the present embodiment, but in addition to this, a component video signal is used as an output from the camera 22, or a USB camera is employed as the camera 22, It is also conceivable to use a USB terminal as a video input terminal. The imaging signal input from the video input terminal is processed by the input video control unit 12.

では、本発明の特徴となるキャリブレーション処理について説明する。図２は、本発明の実施形態に係るキャリブレーション処理を示すフロー図であり、図３は、そのタイムチャートを示している。キャリブレーション処理は、カラオケ業者が利用できるメンテナンスモードなどからの開始指示にて開始することが可能とされている。キャリブレーション処理にて利用するカメラ２２は、通常、歌唱者などを撮影するため、モニタ２１の画面外に向けられているが、このメンテナンス処理を実行するときにはモニタ２１の画面を撮影する方向に向けられる。 Now, a calibration process that is a feature of the present invention will be described. FIG. 2 is a flowchart showing a calibration process according to the embodiment of the present invention, and FIG. 3 shows a time chart thereof. The calibration process can be started by a start instruction from a maintenance mode or the like that can be used by a karaoke dealer. The camera 22 used in the calibration process is usually directed to the outside of the screen of the monitor 21 in order to photograph a singer or the like. However, when executing this maintenance process, the camera 22 is directed in the direction of photographing the screen of the monitor 21. It is done.

キャリブレーション処理が開始され、カメラ２２がモニタ２１の画面を撮影するように向けられると、カラオケ装置１は、ユーザーによる映像再生開始指示を待つ。ユーザー（カラオケ業者）が、操作パネル１０などから開始指示を入力する（Ｓ１０１：Ｙｅｓ）と、制御部として機能するＣＰＵ１４は、出力映像処理部１１に対して所定色のデジタル映像信号を出力する。そして、ＣＰＵ１４は、撮像信号が入力されているか（Ｓ１０２）、また、撮像信号が入力されているときには、撮像信号から所定の色情報を抽出できるか（Ｓ１０３）を判定する。これらの判定について所定時間、クリアできない場合には、モニタ２２に対してエラーメッセージを表示させることや、キャリブレーション処理を中断することとしてもよい。 When the calibration process is started and the camera 22 is directed to capture the screen of the monitor 21, the karaoke apparatus 1 waits for a video playback start instruction from the user. When the user (karaoke dealer) inputs a start instruction from the operation panel 10 or the like (S101: Yes), the CPU 14 functioning as a control unit outputs a digital video signal of a predetermined color to the output video processing unit 11. Then, the CPU 14 determines whether an imaging signal is input (S102) and, when an imaging signal is input, whether predetermined color information can be extracted from the imaging signal (S103). If these determinations cannot be cleared for a predetermined time, an error message may be displayed on the monitor 22 or the calibration process may be interrupted.

一方、撮像信号から所定の色情報が抽出できた場合には、ＣＰＵ１４は出力映像処理部１１に対して、出力映像処理部１１に対して表示色を変更する指示を実行する（Ｓ１０４）。ＣＰＵ１４は、指示を発した時点からの時間のカウントを開始する（Ｓ１０５）。Ｓ１０４の色替え指示から所定時間経過したことが判定される（Ｓ１０６：Ｙｅｓ）と、出力映像処理部１１に対して、異なる色に表示色を変更する指示が発せられる（Ｓ１０７）。この後、ＣＰＵ１４は、カメラ２２からの撮像信号を監視し、Ｓ１０７にて変更した色情報が抽出されたかの判定を行う（Ｓ１０８）。判定できた場合（Ｓ１０８：Ｙｅｓ）には、カウントを終了し、カウント開始からの時間を遅延時間Ｔとして記録し（Ｓ１１０）、キャリブレーション処理を終了する。一方、撮像信号から色情報が抽出できない場合（Ｓ１０８：Ｎｏ）には、再度、Ｓ１０４からの処理を実行する。このような場合、カメラ２２の撮像方向が、モニタ２１の画面に対して正しく設置されていない場合が、考えられる。そのため、ユーザーに対してカメラ２２の撮像方向を確認する指示を表示させることとしてもよい。 On the other hand, when the predetermined color information can be extracted from the imaging signal, the CPU 14 instructs the output video processing unit 11 to change the display color to the output video processing unit 11 (S104). The CPU 14 starts counting the time from when the instruction is issued (S105). When it is determined that a predetermined time has elapsed from the color change instruction in S104 (S106: Yes), an instruction to change the display color to a different color is issued to the output video processing unit 11 (S107). Thereafter, the CPU 14 monitors the imaging signal from the camera 22 and determines whether or not the color information changed in S107 is extracted (S108). If it can be determined (S108: Yes), the count ends, the time from the start of the count is recorded as a delay time T (S110), and the calibration process ends. On the other hand, when color information cannot be extracted from the imaging signal (S108: No), the processing from S104 is executed again. In such a case, the case where the imaging direction of the camera 22 is not correctly installed with respect to the screen of the monitor 21 is considered. Therefore, an instruction for confirming the imaging direction of the camera 22 may be displayed to the user.

図３には、このキャリブレーション処理に関するタイムチャートが示されている。図３（ａ）、（ｂ）に示されるように色替えタイミングクロックの立ち上がりを判定することで、所定時間毎の色替えが実行される。キャリブレーション処理で計測される遅延時間Ｔは、図３（ａ）の色替え開始指示からカメラ２２にて色換えを判定するまでの時間Ｔとなるが、このＴには、ＣＰＵ１４が色替え開始指示を出力してから、デジタル映像信号を出力するのに要する遅延時間Ｔ１（カラオケ装置１の内部処理に要する時間）と、カメラ２２から撮像信号を取得して、色替え判定に要する遅延時間Ｔ３を含んだものとなっている。 FIG. 3 shows a time chart relating to the calibration process. By determining the rising edge of the color change timing clock as shown in FIGS. 3A and 3B, color change is executed every predetermined time. The delay time T measured in the calibration process is the time T from the color change start instruction shown in FIG. 3A until the camera 22 determines the color change. At this time, the CPU 14 starts the color change. Delay time T1 required for outputting the digital video signal after outputting the instruction (time required for internal processing of the karaoke apparatus 1), and delay time T3 required for obtaining the imaging signal from the camera 22 and determining the color change Is included.

遅延時間Ｔ１については、カラオケ装置１に依存するため既知の値として取得すること
ができる。そして、遅延時間Ｔ３についても使用するカメラ２２に依存することとなるが、使用するカメラ２２が事前に分かっていれば既知の値として取得できる。したがって、カウントした遅延時間Ｔから、これら既知の遅延時間Ｔ１とＴ３を差し引くことで、モニタ２１の内部処理による遅延時間Ｔ２を判定することが可能となる。 Since the delay time T1 depends on the karaoke apparatus 1, it can be acquired as a known value. The delay time T3 also depends on the camera 22 to be used, but can be acquired as a known value if the camera 22 to be used is known in advance. Therefore, by subtracting these known delay times T1 and T3 from the counted delay time T, the delay time T2 due to the internal processing of the monitor 21 can be determined.

実際のカラオケ楽曲の再生時には、演奏情報の再生タイミングに対し、歌詞情報の再生タイミング（特に色替え）を、遅延時間Ｔ２だけ先行するようにすることで、モニタ２１の内部処理による遅延を防ぐことが可能となる。なお、遅延時間Ｔ１、Ｔ３は無視して、計測した遅延時間Ｔをそのまま再生時に利用することとしてもよい。特に、遅延時間Ｔ１、Ｔ３が小さい場合には視覚的影響も少ないものとなる。また、使用するカメラ２２をカラオケ装置１に設定し、そのカメラ２２に応じた遅延時間Ｔ３が設定されるようにしてもよい。さらには、カラオケ装置１に接続されているカメラ２２を自動判定して、遅延時間Ｔ３を設定することとしてもよい。 When reproducing the actual karaoke music, the reproduction timing of the lyrics information (especially color change) precedes the reproduction timing of the performance information by a delay time T2, thereby preventing delay due to internal processing of the monitor 21. Is possible. Note that the delay times T1 and T3 may be ignored and the measured delay time T may be used as it is during reproduction. In particular, when the delay times T1 and T3 are small, the visual influence is small. Alternatively, the camera 22 to be used may be set in the karaoke apparatus 1 and a delay time T3 corresponding to the camera 22 may be set. Furthermore, the delay time T3 may be set by automatically determining the camera 22 connected to the karaoke apparatus 1.

では、キャリブレーション処理で測定された遅延時間を利用した歌詞再生処理について説明する。図４は、本発明の実施形態に係る楽曲情報のデータ構成を示す図である。この図に示されるように楽曲情報は、楽曲情報の各種属性を示すメタデータ、演奏のために使用される演奏情報、歌詞表示のために使用される歌詞情報を含んで構成されている。本実施形態では、メタデータとして曲名、作曲者名、曲番号、ジャンル、個別素材画像の有無などを含んで構成されている。曲名、作曲者名、曲番号、ジャンルは、楽曲を検索、指定するための情報として用いられる。個別素材画像は、背景映像として当該楽曲に特化したものを有しているか否かを示す情報であって、有りの場合には、アーティストのライブ映像など当該楽曲に特化した映像が使用可能である。 Now, the lyrics reproduction process using the delay time measured in the calibration process will be described. FIG. 4 is a diagram showing a data structure of music information according to the embodiment of the present invention. As shown in this figure, the music information includes metadata indicating various attributes of the music information, performance information used for performance, and lyrics information used for displaying lyrics. In the present embodiment, the metadata includes the song title, composer name, song number, genre, presence / absence of an individual material image, and the like. The song name, composer name, song number, and genre are used as information for searching and specifying the song. The individual material image is information indicating whether or not the background image has a specific material for the music, and if there is, an image specific to the music such as an artist's live video can be used. It is.

本実施形態の演奏情報は、ＭＩＤＩ規格に即して作成されたＭＩＤＩデータとされているが、この他、バックコーラスなどの音声情報を含ませることとも考えられる。ＭＩＤＩデータの場合には、演奏手段としてのＭＩＤＩ音源に演奏させることで楽音が奏でられる。 The performance information of this embodiment is MIDI data created in accordance with the MIDI standard, but it is also conceivable to include audio information such as back chorus. In the case of MIDI data, a musical tone is played by causing a MIDI sound source as a performance means to perform.

歌詞情報（テロップデータ）は、演奏情報による演奏に同期してディスプレイ１２に歌詞を表示させるためのデータである。本実施形態では、１つのタイミングで１度に表示させるブロックデータを単位として構成されている。演奏情報の演奏に同期して出力されるステップ値をに基づいて、このブロックデータを読み出し、表示制御することで、演奏に同期した歌詞表示が実行されることとなる。 The lyrics information (telop data) is data for displaying lyrics on the display 12 in synchronization with the performance based on the performance information. In the present embodiment, block data to be displayed at a time at one timing is configured as a unit. Based on the step value output in synchronism with the performance information, the block data is read out and displayed, so that the lyrics display synchronized with the performance is executed.

各ブロックデータは、表示データ、属性データを含んで構成されている。表示データは、表示させるべき歌詞の文字列（歌詞文字情報）、及び、当該文字列の位置決めのための座標を含んで構成されている。なお、１画面内に表示させるブロックデータは、複数設けることが可能であって、歌唱終了した箇所のブロックデータの歌詞を消去し、新たなブロックデータの歌詞を表示させることで、スムースな歌唱を行うことが可能となる。 Each block data includes display data and attribute data. The display data includes a character string of lyrics to be displayed (lyric character information) and coordinates for positioning the character string. In addition, it is possible to provide a plurality of block data to be displayed in one screen. By erasing the lyrics of the block data at the end of the singing and displaying the lyrics of the new block data, a smooth singing can be performed. Can be done.

属性データは、表示データに含まれる文字列に含まれる文字列の表示、消去、色替えタイミングを決めるための情報を含んだデータ群である。これらタイミングを決めるため、本実施形態では、演奏情報の進行に同期して出力されるステップ値（ＭＩＤＩステップ値）に対応づけられている。表示ステップ、消去ステップは、表示データの文字列の表示タイミング、消去タイミングを示すステップ値である。また、変化ステップは、表示データ、ルビブロックデータの文字列を色替えを開始するためのステップ値であって、本実施形態では文字列の色替え速度を示す変化速度を含んで構成されている。 The attribute data is a data group including information for determining the display, deletion, and color change timing of the character string included in the character string included in the display data. In order to determine these timings, in this embodiment, they are associated with step values (MIDI step values) output in synchronization with the progress of the performance information. The display step and the erasure step are step values indicating the display timing and erasure timing of the character string of the display data. The change step is a step value for starting the color change of the character string of the display data and the ruby block data, and in the present embodiment, the change step includes a change speed indicating the color change speed of the character string. .

以上、本実施形態の楽曲情報のデータ構成について説明したが、データ構成については
、本発明の趣旨を変更しない限り適宜形態を採用することができる。 As mentioned above, although the data structure of the music information of this embodiment was demonstrated, a form can be employ | adopted suitably about a data structure, unless the meaning of this invention is changed.

本実施形態において楽曲情報を再生させる処理について詳細に説明する。図５は、発明の実施形態に係る楽曲情報再生処理を示すフロー図である。カラオケ装置を操作するユーザーは、図１の操作パネル１０、あるいは、ネットワークに接続されたリモコン装置などの指定手段を利用して歌唱したい楽曲を指定する。楽曲の指定は通常、予約という形態で行うことが可能となっており、予約された楽曲は、その識別子（例えば、曲番号）をＲＡＭ１５内の予約テーブルに記録し、予約テーブルから識別子を順次、読み出して楽曲情報の再生が実行される。 A process for reproducing music information in the present embodiment will be described in detail. FIG. 5 is a flowchart showing music information reproduction processing according to the embodiment of the invention. A user who operates the karaoke device designates a song to be sung using designation means such as the operation panel 10 in FIG. 1 or a remote control device connected to a network. The designation of the music can usually be performed in the form of reservation, and the reserved music is recorded with its identifier (for example, music number) in the reservation table in the RAM 15, and the identifier is sequentially stored from the reservation table. Reading and reproduction of the music information is executed.

操作パネル１０などから指定された楽曲について、楽曲情報の再生が開始されると、まず、Ｓ２０１にてハードディスク１３に格納されている楽曲情報が読み出される。Ｓ２０２では、読み出された楽曲情報に基づいて再生が開始されることとなるが、ここでは、演奏処理Ｓ４００と、歌詞再生処理Ｓ３００とが並列実行される。演奏処理は、読み出された楽曲情報内に含まれる演奏情報を、音声処理部１８に演奏されることで実行される。 When reproduction of music information is started for music specified from the operation panel 10 or the like, first, music information stored in the hard disk 13 is read in S201. In S202, the reproduction is started based on the read music information, but here, the performance process S400 and the lyrics reproduction process S300 are executed in parallel. The performance processing is executed by playing the performance information included in the read music information by the sound processing unit 18.

演奏処理Ｓ４００は、カラオケ装置ではよく知られる処理であって、順次、読み出される音符に相当する楽音発生指令（ＭＩＤＩコマンド）を、音声処理部１８に内蔵するＭＩＤＩ音源に出力することで実行される。本実施形態では、Ｓ４０１にて読み出された演奏情報に対して、遅延時間Ｔ２を持たせる遅延処理（Ｓ４０２：本発明における「調整処理」）を行った後、音声処理部１８にて発音させることとしている（Ｓ４０３）。また、演奏情報を読み出す際（Ｓ４０１）には、演奏情報の読み出しの進行を示すステップ値が順次出力されており（Ｓ２０３）、歌詞再生処理Ｓ３００では、このステップ値に基づいて歌詞再生処理が実行される。楽曲情報の再生は、これら演奏処理Ｓ４００、歌詞再生処理Ｓ３００が終了するまで（Ｓ２０４）実行されることとなる。そして、演奏処理Ｓ４００で発生する楽曲情報再生信号は、演奏情報に基づく演奏音として、音声処理部１８へ入力された、歌唱者のマイクからの音声情報とミックスされ、オーディオ出力端子へ出力される。 The performance process S400 is a process well known in the karaoke apparatus, and is executed by sequentially outputting musical tone generation commands (MIDI commands) corresponding to the read out notes to the MIDI sound source built in the audio processing unit 18. . In this embodiment, the performance information read in S401 is subjected to a delay process (S402: “adjustment process” in the present invention) for giving a delay time T2, and then the sound processing unit 18 generates a sound. (S403). Further, when reading the performance information (S401), step values indicating the progress of reading the performance information are sequentially output (S203). In the lyrics reproduction process S300, the lyrics reproduction process is executed based on the step values. Is done. The reproduction of the music information is executed until the performance process S400 and the lyrics reproduction process S300 are completed (S204). Then, the music information reproduction signal generated in the performance processing S400 is mixed with the audio information from the singer's microphone input to the audio processing unit 18 as a performance sound based on the performance information, and output to the audio output terminal. .

このように、本実施形態では、演奏処理による発音が歌詞再生処理Ｓ３００に対して、遅延時間Ｔ２だけ遅延されて実行される。したがって、歌詞再生処理Ｓ３００は、見かけ上、遅延時間Ｔ２だけ先行して実行され、モニタ２１の内部処理による遅延を抑えることが可能となっている。歌唱者は、自身の目で歌唱すべき歌詞の色替えを見るとともに、耳で演奏音を聴きながら歌唱を行うこととなる。本実施形態では、演奏のタイミングと歌唱時期を告知する色替えタイミングとが、本来のタイミングで同期されたものとなっており、歌唱者は、モニタ２１特有の遅延、演奏音に対して行われた遅延処理に気付くことなく、違和感の無いカラオケ歌唱を楽しむことが可能となる。 As described above, in this embodiment, the pronunciation by the performance process is executed with a delay of the delay time T2 with respect to the lyrics reproduction process S300. Accordingly, the lyric reproduction process S300 is apparently executed in advance by the delay time T2, and the delay due to the internal process of the monitor 21 can be suppressed. The singer sees the color change of the lyrics to be sung with his own eyes and sings while listening to the performance sound with his ears. In the present embodiment, the performance timing and the color change timing that announces the singing time are synchronized at the original timing, and the singer is performed on the delay and performance sound specific to the monitor 21. It is possible to enjoy karaoke singing without any sense of incongruity without noticing the delay processing.

では、この歌詞再生処理Ｓ３００の詳細について説明しておく。図６は、本発明の実施形態に係る歌詞再生処理を示すフロー図である。歌詞再生処理は、図６の右上に示されるように楽曲データ内の歌詞情報、歌詞文字を表示するためのフォントデータ、演奏処理に伴って出力されるステップ値に基づいて実行される。 Now, details of the lyrics reproduction process S300 will be described. FIG. 6 is a flowchart showing lyrics reproduction processing according to the embodiment of the present invention. The lyric reproduction process is executed based on the lyric information in the music data, the font data for displaying the lyric characters, and the step value output with the performance process as shown in the upper right of FIG.

歌詞情報に含まれる各ブロックデータに対して、Ｓ３０１〜Ｓ３１１のブロックデータ処理ループが順次実行される。Ｓ３０２では、演奏処理で出力されるステップ値と読み出されているブロックデータ中、属性データに含まれる各ステップ（表示ステップ、消去ステップ、変化ステップ）との比較が行われる。Ｓ３０３、Ｓ３０５、Ｓ３０９ではこの比較に基づいて後続の各処理に進むこととなる。 The block data processing loop of S301 to S311 is sequentially executed for each block data included in the lyrics information. In S302, the step value output in the performance process is compared with each step (display step, erase step, change step) included in the attribute data in the read block data. In S303, S305, and S309, the process proceeds to subsequent processes based on this comparison.

表示ステップであることが判定された場合（Ｓ３０３：Ｙｅｓ）には、該当するブロッ
クデータの文字列が表示される（Ｓ３０４）。一方、ステップ値との比較の結果、変化ステップであると判定された場合（Ｓ３０５：Ｙｅｓ）には、当該ブロックの文字列（本体文字、ルビ）に対して色替えが実行される。この色換えは、ブロック描画Ｓ３０４にて、画面に表示された文字列について、左端から順に色替えを行い、歌唱者に対して歌唱位置を告知する処理である。この処理は、ブロックデータの属性データに含まれる変化ステップのタイミングで開始される。Ｓ３０６では、属性データ内に含まれる変化速度に基づいて、１回の描画にて変更される色替えの変更幅（ドット数）が算出される。 If it is determined that it is a display step (S303: Yes), the character string of the corresponding block data is displayed (S304). On the other hand, if it is determined that the step is a change step as a result of the comparison with the step value (S305: Yes), color change is executed on the character string (main character, ruby) of the block. This color change is a process of performing color change in order from the left end of the character string displayed on the screen in block drawing S304 and notifying the singer of the singing position. This process is started at the timing of the change step included in the attribute data of the block data. In S306, based on the change speed included in the attribute data, the change width (number of dots) of color change to be changed in one drawing is calculated.

Ｓ３０７では、算出された変更幅にて順次、表示されている文字列の色替え描画が実行される。なお、本実施形態では、１つのブロックデータについて１つの変化速度としているが、ブロックデータ内で変化速度を変更することも可能であり、その場合、変化タイミングと変更後の変化速度が必要となる。 In step S307, color change rendering of the displayed character string is sequentially performed with the calculated change width. In the present embodiment, one change rate is set for one block data. However, the change rate can be changed in the block data. In this case, the change timing and the changed change rate are required. .

ステップ値との比較の結果、消去ステップであることが判定された場合（Ｓ３０８：Ｙｅｓ）には、当該ブロックの文字列の消去が実行される（Ｓ３０９）。以上の処理を演奏情報の演奏が終了するまで（Ｓ３１０：Ｙｅｓ）実行することで、演奏処理に同期した歌詞表示が実行されることとなる。 As a result of the comparison with the step value, when it is determined that it is an erasure step (S308: Yes), the character string of the block is erased (S309). By executing the above processing until the performance information is finished (S310: Yes), lyrics display synchronized with the performance processing is executed.

以上、本実施形態では、演奏情報の読み出しに基づいて出力されるステップ値に基づいて、歌詞再生処理を同期実行することとしている。すなわち、演奏情報の再生進行の主導の下、歌詞再生処理が実行されることとしている。演奏と歌詞表示の同期については、このような形態に限らず、各種形態の採用が考えられ、例えば、歌詞再生処理の主導の下、演奏処理を実行することとしてもよい。その場合、演奏処理に対して歌詞再生処理のタイミングが早められることとなる。あるいは、演奏処理を遅らせるとともに、歌詞再生処理を速めることで、両者が遅延時間Ｔ２を有するようにしてもよい。 As described above, in the present embodiment, the lyrics reproduction process is performed synchronously based on the step value output based on the reading of the performance information. That is, the lyrics reproduction process is executed under the leadership of the reproduction progress of the performance information. The synchronization between the performance and the lyric display is not limited to such a form, and various forms are conceivable. For example, the performance process may be executed under the leadership of the lyric reproduction process. In that case, the timing of the lyrics reproduction process is advanced with respect to the performance process. Alternatively, both the performance process and the lyric reproduction process may be delayed so that both have a delay time T2.

また、本実施形態では、演奏に対して、ブロックデータの表示タイミング、色替えタイミング、消去タイミングそれぞれが遅延時間Ｔ２だけ先行することとしているが、遅延時間Ｔ２の反映は、少なくとも色替えタイミングに対して行うこととすればよい。歌詞の表示、消去タイミングはある程度、歌唱に対して余裕を持ったタイミングで行われるのに対し、色替えタイミングは、歌唱すべきタイミングとぴったり同期して行うことが好ましいため、モニタ２１で発生する遅延時間Ｔ２を反映させる必要がある。 In this embodiment, the block data display timing, color change timing, and erase timing are preceded by the delay time T2 with respect to the performance. However, the delay time T2 is reflected at least with respect to the color change timing. You can do it. The display and erasure timing of the lyrics is performed to a certain extent with a margin for the singing, whereas the color change timing is preferably performed in synchronization with the timing at which the singing should be performed. It is necessary to reflect the delay time T2.

キャリブレーション処理で測定された遅延時間Ｔ２は、測定時の各種状況を含んだ情報を含め、キャリブレーション情報としてホスト装置に対して送信することとしてもよい。ホスト装置は、測定時の状況に対応した他のカラオケ装置に対してこのキャリブレーション情報を送信し、受信したカラオケ装置は、キャリブレーション処理を行うことなく、楽曲の演奏と歌詞表示を同期して行うことが可能となる。 The delay time T2 measured in the calibration process may be transmitted to the host device as calibration information including information including various situations at the time of measurement. The host device transmits this calibration information to another karaoke device corresponding to the situation at the time of measurement, and the received karaoke device synchronizes the performance of the music and the lyric display without performing the calibration process. Can be done.

図７には、キャリブレーション情報のデータ構成の一例が示されている。ここでは、キャリブレーション処理にて使用したディスプレイ２１の識別子と、遅延時間Ｔ２を含んで記憶したデータ構成となっている。ホスト装置に送信されたキャリブレーション情報は、同じディスプレイ２１を使用するカラオケ装置１に対して送信され、受信したカラオケ装置１では、キャリブレーション情報に含まれる遅延時間Ｔ２を使用することで、演奏処理と歌詞再生処理を同期して行うことが可能となる。なお、キャリブレーション情報には、測定時の各種状況を示す情報として、このディスプレイ識別子以外に、各種ディスプレイの設定を示す情報を含めておくこととしてもよい。 FIG. 7 shows an example of the data structure of the calibration information. Here, the data structure is stored including the identifier of the display 21 used in the calibration process and the delay time T2. The calibration information transmitted to the host device is transmitted to the karaoke device 1 that uses the same display 21, and the received karaoke device 1 uses the delay time T2 included in the calibration information to perform performance processing. And lyric reproduction processing can be performed synchronously. The calibration information may include information indicating various display settings in addition to the display identifier as information indicating various situations at the time of measurement.

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。 Note that the present invention is not limited to these embodiments, and embodiments configured by appropriately combining the configurations of the respective embodiments also fall within the scope of the present invention.

１…カラオケ装置、１０…操作パネル、１１…出力映像処理部、１２…入力映像処理部、１３…ＨＤＤ（ハードディスク）、１４…ＣＰＵ（制御部）、１５…ＲＡＭ、１６…ＲＯＭ、１７…通信インタフェース、１８…音声処理部、２１…ディスプレイ（表示部）、２２…カメラ DESCRIPTION OF SYMBOLS 1 ... Karaoke apparatus, 10 ... Operation panel, 11 ... Output image processing part, 12 ... Input image processing part, 13 ... HDD (hard disk), 14 ... CPU (control part), 15 ... RAM, 16 ... ROM, 17 ... Communication Interface: 18 ... Audio processing unit, 21 ... Display (display unit), 22 ... Camera

Claims

In a karaoke apparatus provided with a video output terminal for outputting a digital video signal to a display means,
A calibration process for measuring and storing a delay time based on the output timing of the digital signal output to the display means and the imaging signal of the imaging means for imaging the screen of the display means imaged by the imaging means;
Performance processing for performing performance based on performance information corresponding to the music specified by the input means;
Lyrics reproduction processing for displaying lyrics on the display means based on lyrics information corresponding to the music specified by the input means, and changing the color of the displayed lyrics,
An adjustment process for executing at least one of advancing the color change timing in the lyrics reproduction process or delaying the performance timing in the performance process based on the delay time stored in the calibration process is performed. Karaoke equipment.

The karaoke apparatus according to claim 1, wherein the digital video signal output from the video output terminal is an HDMI standard signal.