JP2007079413A - Audio reproduction device, audio distribution system, audio reproduction program and authoring program - Google Patents
Audio reproduction device, audio distribution system, audio reproduction program and authoring program Download PDFInfo
- Publication number
- JP2007079413A JP2007079413A JP2005269971A JP2005269971A JP2007079413A JP 2007079413 A JP2007079413 A JP 2007079413A JP 2005269971 A JP2005269971 A JP 2005269971A JP 2005269971 A JP2005269971 A JP 2005269971A JP 2007079413 A JP2007079413 A JP 2007079413A
- Authority
- JP
- Japan
- Prior art keywords
- data
- audio
- singing sound
- canceling
- multimedia file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
Description
本発明は、オーディオデータを再生可能なオーディオ再生装置、オーディオ配信システム、オーディオ再生プログラムおよびオーディオデータを編集するオーサリングプログラムに関する。 The present invention relates to an audio playback device capable of playing back audio data, an audio distribution system, an audio playback program, and an authoring program for editing audio data.
従来、楽曲データを再生可能な携帯電話機等の楽曲再生装置においては、歌唱音のないMIDI(Musical Instruments Digital Interface)形式の楽曲データを用いたカラオケ機能を有するものが開発されている。このような携帯電話機におけるカラオケ機能は、MIDI音源を使用して再生する音楽と同期してグラフィックデータやテキストデータを表示することによって実現されている。 2. Description of the Related Art Conventionally, music playback devices such as mobile phones that can play back music data have been developed that have a karaoke function using music data in MIDI (Musical Instruments Digital Interface) format without singing sound. Such a karaoke function in a mobile phone is realized by displaying graphic data and text data in synchronization with music reproduced using a MIDI sound source.
一方、通信回線の大容量化に伴い、オリジナルの歌唱音付きの楽曲をCD(Compact Disc)のクオリティに匹敵するオーディオデータとして携帯電話機に配信するサービスが開始されている。
なお、本出願に関する従来技術の参考文献として、特許文献1が知られている。
Note that
しかし、上記従来の携帯電話機においては、カラオケ機能でMIDI形式の楽曲データを用いるため、再生される演奏はCDのクオリティと比較してリアル感に欠けるものとなる。また、カラオケ機能を利用する際には、携帯電話機内に歌唱音付きのオリジナルの楽曲を保持していたとしても、新たにMIDI形式の楽曲データを取得する必要があった。 However, in the conventional mobile phone, since the music data in the MIDI format is used for the karaoke function, the performance to be played is less realistic than the CD quality. Further, when using the karaoke function, it is necessary to newly acquire MIDI format music data even if the original music with singing sound is held in the mobile phone.
本発明は上記事情を考慮してなされたもので、その目的は、歌唱音付きのオーディオデータを用いてカラオケ機能を実現することが可能なオーディオ再生装置を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an audio reproducing apparatus capable of realizing a karaoke function using audio data with singing sound.
本発明は上記の課題を解決するためになされたもので、請求項1に記載の発明は、オーディオデータと一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを記憶するデータ記憶手段と、前記オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手段と、前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手段と、前記オーディオ再生手段でのオーディオデータ再生時に前記シーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段とを具備することを特徴とするオーディオ再生装置である。 The present invention has been made to solve the above problems, and the invention according to claim 1 stores audio data, one or more text data, and sequence data indicating sequence information for displaying the text data. Data storage means, singing sound canceling means for canceling singing sound from the audio data, audio reproducing means for reproducing audio data after canceling the singing sound, and the sequence at the time of audio data reproduction by the audio reproducing means An audio reproducing apparatus comprising: a drawing control unit that controls display of the text data based on data.
また、請求項2に記載の発明は、請求項1に記載の発明において、前記データ記憶手段は、一または複数の画像データと前記画像データ表示用のシーケンス情報を示す第2のシーケンスデータとをさらに記憶し、前記描画制御手段は、前記オーディオ再生手段でのオーディオデータ再生時にさらに前記第2のシーケンスデータに基づいて前記画像データの表示を制御することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the data storage means includes one or a plurality of image data and second sequence data indicating the sequence information for displaying the image data. Further, the drawing control means further controls the display of the image data based on the second sequence data when the audio reproduction means reproduces the audio data.
また、請求項3に記載の発明は、請求項1または請求項2に記載の発明において、前記データ記憶手段は、MIDI形式の楽曲データをさらに記憶し、前記オーディオ再生手段は、前記歌唱音をキャンセル後のオーディオデータの再生と同期して前記楽曲データを再生することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the invention, the data storage means further stores MIDI format music data, and the audio reproduction means receives the singing sound. The music data is reproduced in synchronization with the reproduction of the audio data after cancellation.
また、請求項4に記載の発明は、請求項1から請求項3のいずれか1項に記載の発明において、前記データ記憶手段は、歌唱音をキャンセルする期間を指定するキャンセル期間情報をさらに記憶し、前記歌唱音キャンセル手段は、前記キャンセル期間情報に基づいて前記オーディオデータの歌唱音をキャンセルすることを特徴とする。
The invention according to
また、請求項5に記載の発明は、請求項1から請求項4のいずれか1項に記載の発明において、前記オーディオデータ再生手段でのオーディオデータ再生時に、ユーザの指示により前記歌唱音キャンセル手段の歌唱音キャンセル処理を実行または停止させることが可能であることを特徴とする。 According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the singing sound canceling means is in accordance with a user instruction when the audio data is reproduced by the audio data reproducing means. It is possible to execute or stop the singing sound canceling process.
また、請求項6に記載の発明は、オーディオデータとテキストデータを記憶する記憶手段と、前記オーディオデータに対して一または複数の前記テキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを付加したマルチメディアファイルを制作するマルチメディアファイル制作手段と、前記制作したマルチメディアファイルを配信する配信手段を具備する配信サーバと、前記配信されたマルチメディアファイルを受信し記憶するデータ記憶手段と、前記マルチメディアファイルに含まれるオーディオデータから歌唱音をキャンセルする歌唱音キャンセル手段と、前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手段と、前記オーディオ再生手段でのオーディオデータ再生時に前記マルチメディアファイルに含まれるシーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段とを具備するオーディオ再生装置とから構成されることを特徴とするオーディオ配信システムである。 According to a sixth aspect of the present invention, there is provided storage means for storing audio data and text data, sequence data indicating one or a plurality of the text data and sequence information for displaying the text data for the audio data, A multimedia file production means for producing a multimedia file to which is added, a delivery server comprising a delivery means for delivering the produced multimedia file, and a data storage means for receiving and storing the delivered multimedia file Singing sound canceling means for canceling the singing sound from the audio data included in the multimedia file, audio playback means for playing back the audio data after canceling the singing sound, and at the time of audio data playback by the audio playback means Maru An audio distribution system characterized in that it is composed of an audio reproducing apparatus for and a drawing control unit for controlling the display of the text data on the basis of the sequence data contained in the media file.
また、請求項7に記載の発明は、オーディオデータとテキストデータとを記憶する記憶手段と、前記オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手段と、前記歌唱音をキャンセル後のオーディオデータに対して一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータを付加したマルチメディアファイルを制作するマルチメディアファイル制作手段と、前記制作したマルチメディアファイルを配信する配信手段を具備する配信サーバと、前記配信されたマルチメディアファイルを受信し記憶するデータ記憶手段と、前記マルチメディアファイル内のオーディオデータを再生するオーディオ再生手段と、前記オーディオ再生手段でのオーディオデータ再生時に前記マルチメディアファイルに含まれるシーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段とを具備するオーディオ再生装置とから構成されることを特徴とするオーディオ配信システムである。
Further, the invention according to
また、請求項8に記載の発明は、コンピュータに、オーディオデータと一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを記憶させるデータ記憶手順と、前記オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手順と、前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手順と、前記オーディオ再生手順でのオーディオデータ再生時に前記シーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手順とを実行させるためのオーディオ再生プログラムである。 According to an eighth aspect of the present invention, there is provided a data storage procedure for causing a computer to store audio data, one or more text data, and sequence data indicating the sequence information for displaying the text data, and singing from the audio data. A singing sound canceling procedure for canceling the sound, an audio playing procedure for playing back the audio data after canceling the singing sound, and controlling the display of the text data based on the sequence data during the audio data playing in the audio playing procedure And an audio playback program for executing a drawing control procedure to be executed.
また、請求項9に記載の発明は、コンピュータに、オーディオデータに対して、一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを付加する手順を実行させるためのオーサリングプログラムである。
The invention according to
また、請求項10に記載の発明は、コンピュータに、オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手順と、前記歌唱音をキャンセル後のオーディオデータに対して、一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを付加する手順を実行させるためのオーサリングプログラムである。
The invention according to
本発明によれば、オリジナルの歌唱曲のオーディオデータに対して歌唱音をキャンセルする処理を行った上で再生可能であるため、ユーザはオリジナルの歌唱曲の伴奏に合わせてカラオケを楽しむことができる。また、一つの歌唱音付きのオーディオデータを、そのまま再生して音楽鑑賞に用いることも歌唱音をキャンセルしてカラオケに用いることもできる。さらにまた、オーディオデータから歌唱音をキャンセルする期間を指定することで、歌唱音キャンセル処理による伴奏部分の音質の劣化を防止することができる。 According to the present invention, the user can enjoy karaoke according to the accompaniment of the original song because the audio data of the original song can be reproduced after performing the process of canceling the song sound. . Also, audio data with one singing sound can be reproduced as it is and used for music appreciation, or the singing sound can be canceled and used for karaoke. Furthermore, by designating a period during which the singing sound is canceled from the audio data, it is possible to prevent deterioration of the sound quality of the accompaniment portion due to the singing sound canceling process.
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の実施形態に係る携帯電話機(オーディオ再生装置)の構成を示す構成図である。図1において、CPU1は携帯電話機内の各部を制御するCPU(Central Processing Unit)である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a configuration diagram showing the configuration of a mobile phone (audio playback device) according to an embodiment of the present invention. In FIG. 1, a
ROM2は、CPU1が実行するプログラム等を保持するROM(Read Only Memory)である。RAM3は、CPU1が使用するメモリ領域を提供するRAM(Random Access Memory)である。
The
インタフェース4は、シリアル通信またはパラレル通信によりデータディスク5と接続するためのインタフェースである。データディスク5(データ記憶手段)は、マルチメディアファイルを格納するディスクであり、CPU1はインタフェース4を介してデータディスク5内のマルチメディアファイルを読み取る。ここで、マルチメディアファイルとは、オーディオデータにグラフィックデータ(画像データ)、テキストデータ、MIDIデータ等を合わせたファイルを指す。
The
図2は、マルチメディアファイルのフォーマット構造の一例を示した図である。図2において、フォーマット構造内のデータはChunk単位で管理される。Contents Info Chunkには、コンテンツの種別やコンテンツ複製許可等の、ファイル管理用のデータが格納される。Optional Data Chunkには、楽曲データの固有情報が含まれる。 FIG. 2 is a diagram showing an example of the format structure of the multimedia file. In FIG. 2, data in the format structure is managed in chunk units. Contents Info Chunk stores data for file management such as content type and content duplication permission. Optional Data Chunk includes unique information of music data.
MIDI Track Chunkには、音源11によって再生されるシーケンスデータ等が格納される。Setup Data Chunkには、MIDI Track Chunk全体における設定パラメータや音色パラメータ、エフェクトデータ等が格納される。Sequence Data Chunkには、音源11によって再生されるシーケンスデータが格納される。
The MIDI Track Chunk stores sequence data that is reproduced by the
ここで、シーケンスデータとは、時間情報を持つMIDIイベントの集合体である。MIDIイベントは、例えば、発音イベント(ノートオン/オフ)や音色イベント(プログラムチェンジ)、音量変更やパンポット変更のためのイベント(コントロールチェンジ)、ピッチ変更イベント(ピッチチェンジ)等である。 Here, the sequence data is a collection of MIDI events having time information. The MIDI event is, for example, a sound generation event (note on / off), a tone color event (program change), a volume change or pan pot change event (control change), a pitch change event (pitch change), or the like.
Audio Track Chunkには、サンプリングされたオーディオデータと実際の発音を行うためのシーケンスデータが格納される。Setup Data Chunkには、Audio Track Chunk全体における設定パラメータが格納される。Sequence Data Chunkには、オーディオデータを発音するためのシーケンスデータが格納される。 Audio Track Chunk stores sampled audio data and sequence data for actual sound generation. Setup Data Chunk stores setup parameters for the entire Audio Track Chunk. The Sequence Data Chunk stores sequence data for generating audio data.
ここで、シーケンスデータは、時間に同期して発音、消音するためにオーディオデータと結び付けられたイベントと、タイミングを指定するためのDurationからなる。また、音量変更やパンポット変更のためのイベント等もシーケンスデータに含まれる。 Here, the sequence data includes an event associated with audio data for sounding and muting in synchronization with time, and a duration for designating timing. In addition, events for changing the volume or panpot are included in the sequence data.
Wave Data Chunkには、実際のオーディオデータが特定の圧縮オーディオフォーマットで圧縮されて格納される。Wave Data Chunkのヘッダーには、オーディオデータの種類やサンプリング周波数、ビット等の情報が格納される。なお、一つのWave Data Chunkが一つのオーディオデータに対応しており、Audio Track Chunk内に複数のWave Data Chunk(すなわち、複数のオーディオデータ)を格納することも可能である。 In the Wave Data Chunk, actual audio data is compressed and stored in a specific compressed audio format. The Wave Data Chunk header stores information such as the type of audio data, sampling frequency, and bits. One Wave Data Chunk corresponds to one audio data, and a plurality of Wave Data Chunks (that is, a plurality of audio data) can be stored in the Audio Track Chunk.
Audio Track Chunk内では、各Wave Data Chunkに対してIDを割り当てることで管理され、このIDによってSequence Data Chunkの発音イベントと関連付けられる。なお、本実施形態は、一つのオーディオデータに同期して一つまたは複数のグラフィック(画像)やテキストを表示するものであるため、Audio Track Chunk内には一つのWave Data Chunkが格納される。 In the Audio Track Chunk, management is performed by assigning an ID to each Wave Data Chunk, and this ID is associated with the sounding event of the Sequence Data Chunk. In the present embodiment, one or a plurality of graphics (images) and text are displayed in synchronization with one audio data. Therefore, one Wave Data Chunk is stored in the Audio Track Chunk.
Graphics Track Chunkには、ディスプレイ10に表示を行うための描画シーケンスデータ、グラフィックデータ(画像データ)、テキストデータ等が格納される。Setup Data Chunkには、Graphics Track Chunk全体における設定パラメータが格納される。Sequence Data Chunkには、ディスプレイ10に描画するためのシーケンスデータが格納される。
The Graphics Track Chunk stores drawing sequence data, graphic data (image data), text data, and the like for display on the
ここで、シーケンスデータは、座標を指定するための数値表現(Coordinates)と表示タイミングや表示時間長等を指定するための数値表現(Duration)で表され、テキストや画像を時間に同期して表示、消去するためのシーケンスが記述される。 Here, the sequence data is represented by a numerical expression (Coordinates) for specifying coordinates and a numerical expression (Duration) for specifying display timing, display time length, etc., and text and images are displayed in synchronization with time. A sequence for erasing is described.
Graphics Track Chunkは複数の仮想プレーンを持つ表示デバイスを想定しており、Graphics Track Chunkには各仮想プレーンに対応したSequence Data Chunkを複数格納することができる。この場合、実際の表示デバイス(ディスプレイ10)には仮想プレーンを合成した結果が表示される。 The Graphics Track Chunk assumes a display device having a plurality of virtual planes, and the Graphics Track Chunk can store a plurality of Sequence Data Chunks corresponding to each virtual plane. In this case, the result of combining the virtual planes is displayed on the actual display device (display 10).
図1に戻って、DSP6は、図2のAudio Track Chunk内に格納されたオーディオデータのファイル形式に対してリアルタイムでデコード処理を行うDSP(Digital Signal Processor)である。D/A部7は、DSP6でデコードされたオーディオデータまたは、音源11で生成されたデジタル楽音データをアナログ音声信号に変換するDAC(Digital-to-Analog Converter)である。スピーカ8(オーディオ再生手段)は、D/A部7で変換されたアナログ音声信号を発音するスピーカである。
Returning to FIG. 1, the
描画モジュール9(描画制御手段)は、マルチメディアファイル内のグラフィックデータおよびテキストデータに基づいて、ディスプレイ10への表示を制御するものである。ディスプレイ10は、描画モジュール9の出力を表示する表示器である。音源11は、図2のMIDI Track Chunk内に格納されたMIDI形式のメロディデータを解釈し、FM(Frequency Modulation)方式やWT(Wave Table)方式によってデジタル楽音データを生成する音源である。バスライン12は、携帯電話機内の各部を相互に接続するバスラインである。入力部13は、ユーザの指示を入力する操作キー等を有する入力部である。
The drawing module 9 (drawing control means) controls display on the
なお、本発明の携帯電話機は図1に示した機能以外に電話機能を備えているほか、電子メールによるファイルを送受信する機能およびインターネットによりファイルを取得する機能を備えている。また、LED(Light Emitting Diode)等の発光機能やバイブレータ等の振動機能を備えている。 In addition to the functions shown in FIG. 1, the cellular phone of the present invention has a telephone function, a function for transmitting / receiving files by e-mail, and a function for acquiring files via the Internet. Further, it has a light emitting function such as an LED (Light Emitting Diode) and a vibration function such as a vibrator.
次に、上述した実施形態の動作を、図3から図5を参照して説明する。図3は、図1の携帯電話機で実行される機能を示す機能構成図であり、図4は図1の携帯電話機で歌唱曲を再生する手順を示す図である。 Next, the operation of the above-described embodiment will be described with reference to FIGS. FIG. 3 is a functional configuration diagram showing functions executed by the mobile phone of FIG. 1, and FIG. 4 is a diagram showing a procedure for playing a song by the mobile phone of FIG.
ユーザが入力部13を使用して歌唱曲の選択指示を行うと(ステップS101)、CPU1の一機能として実現されるプレイヤー22は、データディスク5から該当するマルチメディアファイル21を読み出す(ステップS102)。ここで、マルチメディアファイル21は図2に示すフォーマット形式であり、一つのファイルの中に歌唱付きオリジナルのオーディオデータ(Audio Track Chunk内に格納される)と、一つまたは複数のテキストデータと一つまたは複数のグラフィックデータ(Graphics Track Chunk内に格納される)を含み、各データを時間軸上で同期することが可能である。
When the user gives an instruction to select a song using the input unit 13 (step S101), the
続いて、ユーザが入力部13を使用して選択した歌唱曲の再生指示を行うと(ステップS103)、プレイヤー22はステップS102で読み出したマルチメディアファイル21の再生処理を開始する(ステップS104)。この後、プレイヤー22は、マルチメディアファイル21の各Chunk内に格納されたシーケンスデータに従って各時刻に行う処理を判断し、処理の対象となるデータの種類に応じて、当該データの出力先を振り分ける(ステップS105)。
Subsequently, when the user gives an instruction to reproduce the song selected using the input unit 13 (step S103), the
Audio Track Chunk内のオーディオデータを処理する場合は、プレイヤー22はDSP6の一機能であるオーディオデコーダ23へオーディオデータを出力する。オーディオデコーダ23は、入力したオーディオデータをリニアなオーディオデータフォーマットにリアルタイムでデコードする(ステップS106)。ここで、マルチメディアファイル21内に格納されるオーディオデータはMP3形式やAAC形式等のフォーマットで圧縮されている。
When processing the audio data in the Audio Track Chunk, the
オーディオデコーダ23でデコードされたオーディオデータは、続いてDSP6の一機能である歌唱音キャンセルモジュール24(歌唱音キャンセル手段)へ出力される。歌唱音キャンセルモジュール24は、入力したオーディオデータから歌唱音を検出し、検出した歌唱音をキャンセルする処理を行い、歌唱なしオーディオデータ25を生成する(ステップS107)。
The audio data decoded by the
ここで、図2のマルチメディアファイルに歌唱音をキャンセルする期間(例えば、歌唱曲の開始からの時間)を指定するデータを加え、歌唱音キャンセルモジュール24は、指定された期間内のオーディオデータに対してのみ歌唱音キャンセルの処理を行うようにすることも可能である。 Here, the data for designating the period for canceling the singing sound (for example, the time from the start of the singing song) is added to the multimedia file of FIG. It is also possible to perform the singing sound cancellation process only for the singing sound.
また、ディスプレイ10の画面に歌唱音キャンセルのオン/オフを選択するためのボタンを表示し、歌唱曲の再生中にユーザが入力部13を操作して歌唱音キャンセルのオン/オフを可能である。ユーザの指示により歌唱音キャンセルモジュール24は歌唱音キャンセル処理を実行または停止する。
In addition, a button for selecting on / off of the singing sound cancellation is displayed on the screen of the
歌唱音をキャンセルする方法に関しては、例えば、左右のステレオ音声信号からセンターに定位する成分を除去したり、中域の成分を除去するなどの方法が知られており、この歌唱音キャンセルの過程で行う帯域制限等の処理により歌唱音だけでなく演奏音の音質にも影響を与えるが、上述のように歌唱音をキャンセルする区間を指定することにより、演奏音のみの部分に関しては音質を維持することができる。 With regard to the method of canceling the singing sound, for example, there are known methods such as removing the component localized at the center from the left and right stereo audio signals, or removing the middle range component. The processing such as band limitation that affects not only the singing sound but also the sound quality of the performance sound, but by specifying the section where the singing sound is canceled as described above, the sound quality is maintained for only the performance sound. be able to.
歌唱音キャンセルモジュール24により生成された歌唱なしオーディオデータ25は、D/A部7でアナログオーディオ信号に変換され、アンプ(図示せず)で増幅された後にスピーカ8から発音される(ステップS108)。
The
一方、ステップS105においてGraphic Track Chunk内のグラフィックデータを処理する場合には、プレイヤー22はCPU1の一機能であるグラフィックデコーダ26へグラフィックデータを出力する。グラフィックデコーダ26は、プレイヤー22から入力したグラフィックデータ(例えば、JPEG形式やPNG形式で圧縮されている)をディスプレイ10に表示するための実データにデコードする(ステップS109)。
On the other hand, when processing the graphic data in the Graphic Track Chunk in step S105, the
ステップS105においてGraphic Track Chunk内のテキストデータを処理する場合には、プレイヤー22はCPU1の一機能であるテキストデコーダ27へテキストデータを出力する。テキストデコーダ27は、プレイヤー22から入力したテキストデータをフォントに置き換え、ディスプレイ10に表示するための実データにデコードする(ステップS110)。
When processing the text data in the Graphic Track Chunk in step S105, the
ステップS109、ステップS110でデコードされたグラフィックデータおよびテキストデータは描画モジュール9へと出力される。描画モジュール9は、入力したグラフィックデータおよびテキストデータを元に、描画の時刻シーケンスに従って、歌詞(テキスト)のワイプやグラフィックの移動、表示切り替え等の処理を施し(ステップS111)、ディスプレイ10に表示する(ステップS112)。
The graphic data and text data decoded in steps S109 and S110 are output to the
ステップS105においてMIDI Track Chunk内のMIDIデータを処理する場合には、プレイヤー22は音源11へMIDIデータを出力する。音源11は、入力したMIDIDデータに基づいてデジタル楽音データを生成する。生成されたデジタル楽音データは、D/A部7でアナログ楽音信号に変換され、アンプ(図示せず)で増幅された後にスピーカ8からメロディとして再生される(ステップS113)。
When processing the MIDI data in the MIDI Track Chunk in step S105, the
その他、図2のマルチメディアファイルのフォーマット形式には記載していないが、歌唱曲の再生と同期してLEDを駆動すること(ステップS114)や、バイブレータを駆動すること(ステップS115)も可能である。 In addition, although not described in the format format of the multimedia file in FIG. 2, it is also possible to drive the LED in synchronization with the playback of the song (step S114) or drive the vibrator (step S115). is there.
一つのデータに関する処理が終了すると、歌唱曲の再生が終了していなければ(ステップS116:No)、ステップS105に戻り、プレイヤー22は次の時刻に行う処理を判断し、処理の対象となるデータの種類に応じて、当該データの出力先を振り分ける。以降、歌唱曲の再生中はステップS105〜ステップS116の処理を繰り返し実行する。
When the process related to one piece of data is finished, if the reproduction of the song is not finished (step S116: No), the process returns to step S105, the
このように、本実施形態に係る携帯電話機を用いることで、ユーザは歌唱付きのオーディオデータから歌唱音がキャンセルされた曲を聴き、携帯電話機のディスプレイ11に表示されるテキストやグラフィックを見ながらカラオケを楽しむことができる。
In this way, by using the mobile phone according to the present embodiment, the user listens to a song in which the singing sound has been canceled from the audio data with singing, and karaoke while watching the text and graphics displayed on the
また、カラオケで用いるオーディオデータは、従来使用されていたMIDIデータではなく、オリジナルの歌唱曲のデータであるため、ユーザはオリジナルの伴奏で歌唱することができる。さらにまた、音楽鑑賞用とカラオケ用とで複数のオーディオデータを用意する必要がなくなり、一つのオーディオデータを音楽鑑賞とカラオケの双方に用いることができる。 Moreover, since the audio data used in karaoke is not the MIDI data conventionally used but the data of the original song, the user can sing with the original accompaniment. Furthermore, it is not necessary to prepare a plurality of audio data for music appreciation and for karaoke, and one audio data can be used for both music appreciation and karaoke.
続いて、歌唱付きのオーディオデータに歌詞(テキスト)データやグラフィックデータを組み合わせたマルチメディアファイルを制作する方法に関して説明する。マルチメディアファイルの制作方法は大きく分けて、ユーザが制作する方法と、歌唱曲を配信する配信サーバで行う方法の二通りが考えられる。 Next, a method for producing a multimedia file in which lyrics (text) data and graphic data are combined with audio data with a song will be described. Multimedia file production methods can be broadly divided into two methods: a user-created method and a distribution server that distributes song songs.
ユーザがマルチメディアファイルを制作する場合には、既存の歌唱付きのオーディオデータと歌詞となるテキストデータやグラフィックデータを用意する。ユーザはパソコン上で専用のオーサリングツールを用いてテキストデータやグラフィックデータの表示タイミング等を示すシーケンスデータを作成し、オーディオデータに付加してマルチメディアファイルを制作する。マルチメディアファイルの制作後は、何らかの通信手段により、パソコンから携帯電話機へとマルチメディアファイルを転送する。 When a user creates a multimedia file, existing audio data with singing and text data and graphic data as lyrics are prepared. A user creates sequence data indicating the display timing of text data and graphic data using a dedicated authoring tool on a personal computer, and adds it to audio data to produce a multimedia file. After production of the multimedia file, the multimedia file is transferred from the personal computer to the mobile phone by some communication means.
次に、配信サーバでマルチメディアファイルを作成する場合に関しては、図5を参照して説明する。図5は、配信サーバから携帯電話機へオーディオをマルチメディアファイルの形式で配信するオーディオ配信システムの構成を示す構成図である。 Next, a case where a multimedia file is created by the distribution server will be described with reference to FIG. FIG. 5 is a configuration diagram showing the configuration of an audio distribution system that distributes audio from a distribution server to a mobile phone in the form of a multimedia file.
図5において、携帯電話機51(オーディオ再生装置)は、図1に示す構造の携帯電話機である。公衆回線網52は、携帯電話機51と配信サーバ53とを接続するネットワークである。配信サーバ53は、マルチメディアファイルを作成し、携帯電話機51へ配信するサーバである。データベース54(記憶手段)は、配信サーバ53と接続されたデータベースであり、歌唱曲のオーディオデータ、歌詞データ、グラフィックデータ等を保持する。
In FIG. 5, a mobile phone 51 (audio reproduction device) is a mobile phone having the structure shown in FIG. The public line network 52 is a network that connects the
続いて、図5のオーディオ配信ネットワークでマルチメディアファイルを携帯電話機51に配信するまでの手順を説明する。まず、ユーザは携帯電話機51のWEB画面上で配信を希望する歌唱曲を配信サーバ53に対して指定する。配信サーバ53は、指定された歌唱曲のオーディオデータと、対応する歌詞データおよびグラフィックデータとをデータベース54から読み出す。
Subsequently, a procedure until the multimedia file is distributed to the
続いて、配信サーバ53は、読み出したオーディオデータ、歌詞データおよびグラフィックデータから図2のフォーマット形式のマルチメディアファイルを制作する(マルチメディアファイル制作手段)。最後に、配信サーバ53は、作成したマルチメディアファイルを携帯電話機51へと配信する(配信手段)。
Subsequently, the
なお、一つのオーディオデータに対応する歌詞データおよびグラフィックデータをデータベース54に複数用意し、ユーザが携帯電話機51のWEB画面上で複数の歌詞データ・グラフィックデータの中から一つを選択し、配信サーバ53は選択された歌詞データ・グラフィックデータとオーディオデータとからマルチメディアファイルを制作することも可能である。
A plurality of lyrics data and graphic data corresponding to one audio data are prepared in the database 54, and the user selects one of the plurality of lyrics data and graphic data on the WEB screen of the
また、ユーザがすでに歌唱付きのオーディオデータを所持している場合には、そのオーディオデータを携帯電話機51から配信サーバ53へと送信し、配信サーバ53からマルチメディアファイルの配信を受ける方法も考えられる。このとき、配信サーバ53は受信した歌唱付きオーディオデータに対応する歌詞データ・グラフィックデータをデータベース54から読み出し、マルチメディアファイルを作成した上で、オーディオデータの送信元である携帯電話機51へ当該マルチメディアファイルを配信する。
In addition, when the user already possesses audio data with a song, a method of transmitting the audio data from the
以上、本発明の実施形態を詳述してきたが、具体的な構成は本実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本実施形態では、歌唱音をキャンセルする処理をオーディオの再生時に携帯電話機がリアルタイムに行っているが、パソコン上でオーサリングツール等を用いて行ってもよいし、図5の配信サーバ53でマルチメディアファイルの配信前に行ってもよい。また、オーディオデータは特定の形式で圧縮されている必要はなく、圧縮されていないオーディオデータに対しても本発明を適用できる。
As mentioned above, although embodiment of this invention was explained in full detail, the concrete structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included. For example, in the present embodiment, the mobile phone performs the process of canceling the singing sound in real time during the reproduction of the audio, but it may be performed on the personal computer using an authoring tool or the like, and the
本発明は、カラオケ機能を有し、オーディオデータを再生可能なオーディオ再生装置に用いて好適である。 The present invention is suitable for use in an audio reproducing apparatus having a karaoke function and capable of reproducing audio data.
1…CPU、2…ROM、3…RAM、4…インタフェース、5…データディスク(データ記憶手段)、6…DSP、7…D/A部、8…スピーカ(オーディオ再生手段)、9…描画モジュール(描画制御手段)、10…ディスプレイ、11…音源、12…バスライン、13…入力部、24…歌唱音キャンセルモジュール(歌唱音キャンセル手段)、51…携帯電話機(オーディオ再生装置)、52…公衆回線網、53…配信サーバ、54…データベース(記憶手段)
DESCRIPTION OF
Claims (10)
前記オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手段と、
前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手段と、
前記オーディオ再生手段でのオーディオデータ再生時に前記シーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段と
を具備することを特徴とするオーディオ再生装置。 Data storage means for storing audio data, one or more text data, and sequence data indicating sequence information for displaying the text data;
Singing sound canceling means for canceling the singing sound from the audio data;
Audio playback means for playing back the audio data after canceling the singing sound;
An audio reproducing apparatus comprising: a drawing control unit that controls display of the text data based on the sequence data when the audio reproducing unit reproduces audio data.
前記描画制御手段は、前記オーディオ再生手段でのオーディオデータ再生時にさらに前記第2のシーケンスデータに基づいて前記画像データの表示を制御することを特徴とする請求項1に記載のオーディオ再生装置。 The data storage means further stores one or a plurality of image data and second sequence data indicating the sequence information for displaying the image data,
2. The audio reproducing apparatus according to claim 1, wherein the drawing control unit further controls display of the image data based on the second sequence data when the audio data is reproduced by the audio reproducing unit.
前記オーディオ再生手段は、前記歌唱音をキャンセル後のオーディオデータの再生と同期して前記楽曲データを再生することを特徴とする請求項1または請求項2に記載のオーディオ再生装置。 The data storage means further stores music data in MIDI format,
The audio reproducing apparatus according to claim 1 or 2, wherein the audio reproducing means reproduces the music data in synchronization with reproduction of the audio data after canceling the singing sound.
前記歌唱音キャンセル手段は、前記キャンセル期間情報に基づいて前記オーディオデータの歌唱音をキャンセルすることを特徴とする請求項1から請求項3のいずれか1項に記載のオーディオ再生装置。 The data storage means further stores cancellation period information for specifying a period for canceling the singing sound,
The audio playback device according to any one of claims 1 to 3, wherein the singing sound canceling unit cancels the singing sound of the audio data based on the cancellation period information.
前記配信されたマルチメディアファイルを受信し記憶するデータ記憶手段と、前記マルチメディアファイルに含まれるオーディオデータから歌唱音をキャンセルする歌唱音キャンセル手段と、前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手段と、前記オーディオ再生手段でのオーディオデータ再生時に前記マルチメディアファイルに含まれるシーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段とを具備するオーディオ再生装置と
から構成されることを特徴とするオーディオ配信システム。 Multimedia for producing a multimedia file in which storage means for storing audio data and text data, and one or more text data and sequence data indicating sequence information for displaying the text data are added to the audio data A file production means; a distribution server comprising distribution means for distributing the produced multimedia file;
Data storage means for receiving and storing the distributed multimedia file, singing sound cancellation means for canceling the singing sound from the audio data included in the multimedia file, and reproducing the audio data after canceling the singing sound An audio playback device comprising: audio playback means; and drawing control means for controlling display of the text data based on sequence data included in the multimedia file when the audio data is played back by the audio playback means. An audio distribution system characterized by that.
前記配信されたマルチメディアファイルを受信し記憶するデータ記憶手段と、前記マルチメディアファイル内のオーディオデータを再生するオーディオ再生手段と、前記オーディオ再生手段でのオーディオデータ再生時に前記マルチメディアファイルに含まれるシーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手段とを具備するオーディオ再生装置と
から構成されることを特徴とするオーディオ配信システム。 Storage means for storing audio data and text data, singing sound cancellation means for canceling a singing sound from the audio data, one or more text data and the text data for the audio data after canceling the singing sound A multimedia file production means for producing a multimedia file to which sequence data indicating sequence information for display is added; a distribution server comprising a distribution means for distributing the produced multimedia file;
Data storage means for receiving and storing the distributed multimedia file; audio playback means for playing back audio data in the multimedia file; and audio data playback by the audio playback means included in the multimedia file An audio distribution system comprising: an audio playback device comprising drawing control means for controlling display of the text data based on sequence data.
オーディオデータと一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを記憶させるデータ記憶手順と、
前記オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手順と、
前記歌唱音をキャンセル後のオーディオデータを再生するオーディオ再生手順と、
前記オーディオ再生手順でのオーディオデータ再生時に前記シーケンスデータに基づいて前記テキストデータの表示を制御する描画制御手順と
を実行させるためのオーディオ再生プログラム。 On the computer,
A data storage procedure for storing audio data, one or more text data, and sequence data indicating sequence information for displaying the text data;
Singing sound cancellation procedure for canceling the singing sound from the audio data;
An audio playback procedure for playing back the audio data after canceling the singing sound;
An audio reproduction program for executing a drawing control procedure for controlling display of the text data based on the sequence data during reproduction of audio data in the audio reproduction procedure.
オーディオデータに対して、一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを付加する手順を実行させるためのオーサリングプログラム。 On the computer,
An authoring program for executing a procedure for adding one or more text data and sequence data indicating sequence information for displaying the text data to audio data.
オーディオデータから歌唱音をキャンセルする歌唱音キャンセル手順と、
前記歌唱音をキャンセル後のオーディオデータに対して、一または複数のテキストデータと前記テキストデータ表示用のシーケンス情報を示すシーケンスデータとを付加する手順と
を実行させるためのオーサリングプログラム。 On the computer,
Singing sound cancellation procedure for canceling singing sound from audio data,
An authoring program for executing a procedure for adding one or more text data and sequence data indicating sequence information for displaying the text data to the audio data after canceling the singing sound.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005269971A JP2007079413A (en) | 2005-09-16 | 2005-09-16 | Audio reproduction device, audio distribution system, audio reproduction program and authoring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005269971A JP2007079413A (en) | 2005-09-16 | 2005-09-16 | Audio reproduction device, audio distribution system, audio reproduction program and authoring program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007079413A true JP2007079413A (en) | 2007-03-29 |
Family
ID=37939754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005269971A Pending JP2007079413A (en) | 2005-09-16 | 2005-09-16 | Audio reproduction device, audio distribution system, audio reproduction program and authoring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007079413A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419471A (en) * | 2020-11-19 | 2021-02-26 | 腾讯科技(深圳)有限公司 | Data processing method and device, intelligent equipment and storage medium |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271386A (en) * | 1994-03-31 | 1995-10-20 | Yamaha Corp | 'karaoke' singing equipment |
JPH07306687A (en) * | 1994-05-13 | 1995-11-21 | Sega Enterp Ltd | Sound reproducing processor and its system |
JPH08129394A (en) * | 1994-10-31 | 1996-05-21 | Yamaha Corp | Karaoke device |
JPH1011096A (en) * | 1996-06-19 | 1998-01-16 | Yamaha Corp | Karaoke device |
JPH1055186A (en) * | 1996-08-09 | 1998-02-24 | Yamaha Corp | 'karaoke' device |
JPH1173192A (en) * | 1997-08-29 | 1999-03-16 | Sony Corp | Information processor and information delivery system |
JP2002108357A (en) * | 2000-09-29 | 2002-04-10 | Casio Comput Co Ltd | Downloading system, information processor, and recording medium |
JP2004212473A (en) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | Karaoke machine and karaoke reproducing method |
JP2005134671A (en) * | 2003-10-30 | 2005-05-26 | Yamaha Corp | Musical piece data production apparatus, musical piece data production method and program for the same |
JP2005250242A (en) * | 2004-03-05 | 2005-09-15 | Pioneer Electronic Corp | Device, method, and program for information processing, and recording medium |
-
2005
- 2005-09-16 JP JP2005269971A patent/JP2007079413A/en active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07271386A (en) * | 1994-03-31 | 1995-10-20 | Yamaha Corp | 'karaoke' singing equipment |
JPH07306687A (en) * | 1994-05-13 | 1995-11-21 | Sega Enterp Ltd | Sound reproducing processor and its system |
JPH08129394A (en) * | 1994-10-31 | 1996-05-21 | Yamaha Corp | Karaoke device |
JPH1011096A (en) * | 1996-06-19 | 1998-01-16 | Yamaha Corp | Karaoke device |
JPH1055186A (en) * | 1996-08-09 | 1998-02-24 | Yamaha Corp | 'karaoke' device |
JPH1173192A (en) * | 1997-08-29 | 1999-03-16 | Sony Corp | Information processor and information delivery system |
JP2002108357A (en) * | 2000-09-29 | 2002-04-10 | Casio Comput Co Ltd | Downloading system, information processor, and recording medium |
JP2004212473A (en) * | 2002-12-27 | 2004-07-29 | Matsushita Electric Ind Co Ltd | Karaoke machine and karaoke reproducing method |
JP2005134671A (en) * | 2003-10-30 | 2005-05-26 | Yamaha Corp | Musical piece data production apparatus, musical piece data production method and program for the same |
JP2005250242A (en) * | 2004-03-05 | 2005-09-15 | Pioneer Electronic Corp | Device, method, and program for information processing, and recording medium |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112419471A (en) * | 2020-11-19 | 2021-02-26 | 腾讯科技(深圳)有限公司 | Data processing method and device, intelligent equipment and storage medium |
CN112419471B (en) * | 2020-11-19 | 2024-04-26 | 腾讯科技(深圳)有限公司 | Data processing method and device, intelligent equipment and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1105378C (en) | Musical apparatus creating chorus sound to accompany live vocal sound | |
JP4174940B2 (en) | Karaoke equipment | |
d'Escrivan | Music technology | |
JP2006084748A (en) | Device and method for reproduction | |
JP5544961B2 (en) | server | |
JP4595828B2 (en) | Audio playback device | |
JP2011191357A (en) | Karaoke system | |
JP4983012B2 (en) | Apparatus and program for adding stereophonic effect in music reproduction | |
JP2007079413A (en) | Audio reproduction device, audio distribution system, audio reproduction program and authoring program | |
JP4400363B2 (en) | Sound source system, computer-readable recording medium recording music files, and music file creation tool | |
JP4595827B2 (en) | Music playback device and data file production tool | |
JP3637196B2 (en) | Music player | |
JP2009163192A (en) | Audio reproduction device and audio reproduction system | |
JP3867633B2 (en) | Karaoke equipment | |
JP3788280B2 (en) | Mobile communication terminal | |
JPH10319977A (en) | Karaoke (sign-along machine) playing device and portable test hearing terminal for karaoke | |
JP2005189878A (en) | Music player, music playing method, and program | |
KR20100072476A (en) | Method and apparatus for generation and playback of object based audio contents | |
JP3975698B2 (en) | Mobile communication terminal | |
JP2007102103A (en) | Audio data playback apparatus and portable terminal apparatus | |
JP5273402B2 (en) | Karaoke equipment | |
JP5510435B2 (en) | Karaoke device and program | |
JP3592373B2 (en) | Karaoke equipment | |
JP3675361B2 (en) | Communication terminal | |
JPH0876775A (en) | Karaoke data distributing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110111 |