JP2010237442A - Sound effect attaching system - Google Patents

Sound effect attaching system Download PDF

Info

Publication number
JP2010237442A
JP2010237442A JP2009085395A JP2009085395A JP2010237442A JP 2010237442 A JP2010237442 A JP 2010237442A JP 2009085395 A JP2009085395 A JP 2009085395A JP 2009085395 A JP2009085395 A JP 2009085395A JP 2010237442 A JP2010237442 A JP 2010237442A
Authority
JP
Japan
Prior art keywords
sound effect
audio stream
stream data
data
effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009085395A
Other languages
Japanese (ja)
Other versions
JP5663842B2 (en
Inventor
Yukio Tada
幸生 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009085395A priority Critical patent/JP5663842B2/en
Publication of JP2010237442A publication Critical patent/JP2010237442A/en
Application granted granted Critical
Publication of JP5663842B2 publication Critical patent/JP5663842B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrophonic Musical Instruments (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a sound effect attaching system in which sound effect is attached in real time, to voice obtained by a terminal connected through network. <P>SOLUTION: A user selects a classification of effect processing and a musical piece in a Karaoke device 3, and the selected classification of effect processing and the musical piece are requested from the Karaoke device 3 to a host server 2. The Karaoke device 3 reproduces a musical piece data distributed from the host server 2, and sequentially transmits a voice data which the user sings, to the host server 2. The host server 2 performs effect processing for each classification of effect processing, which is requested to the singing voice data transmitted from the Karaoke device 3, transmits it to the Karaoke device 3, and outputs voice of a voice signal of the singing voice data and the musical piece data which are subjected to effect processing in the Karaoke device 3. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、ネットワークを介して接続された端末から送信された音声に音響効果を付与する技術に関する。   The present invention relates to a technique for imparting an acoustic effect to sound transmitted from a terminal connected via a network.

ある端末においてエフェクト処理された音声データとエフェクト処理時の音声制御パラメータを、その端末と通信網を介して接続された他の機器に送信し、その機器において、音声制御パラメータに基づいて、一部のエフェクト処理を解除した音声データを送信元の端末に送信する技術が下記の特許文献1に開示されている。この技術は、悪意者からのエフェクト処理された音声データをできるだけ元の音声に戻すことができるので犯罪等を未然に防止することに対して効果的に用いることができる。   Audio data processed by an effect at a certain terminal and audio control parameters at the time of effect processing are transmitted to another device connected to that terminal via a communication network. Japanese Patent Application Laid-Open Publication No. 2004-228688 discloses a technique for transmitting audio data for which the effect processing is canceled to a transmission source terminal. This technique can be effectively used for preventing crimes and the like because the voice data subjected to the effect processing from the Service-to-Self can be restored to the original voice as much as possible.

特開2002−6900号公報Japanese Patent Laid-Open No. 2002-6900

ところで、例えば、楽器の演奏音や歌声等にエコー等の音響効果をリアルタイムで付与して聞きたい場合、音響効果を付与するためのエフェクタ装置がなければこれを実現することはできない。上記従来技術は、エフェクト処理された音声を元の音声に戻す技術であり、通信網を介してリアルタイムでエフェクト処理を行うことはできない。
本発明は、ネットワークを介して接続された端末において取得された音声に対してリアルタイムで音響効果を付与することができる音響効果付与システムを提供する。
By the way, for example, when it is desired to listen to a musical performance sound or a singing voice with an acoustic effect such as an echo in real time, this cannot be realized without an effector device for imparting the acoustic effect. The above prior art is a technique for returning the voice subjected to the effect processing to the original voice, and the effect processing cannot be performed in real time via the communication network.
The present invention provides an acoustic effect imparting system capable of imparting an acoustic effect in real time to voice acquired at a terminal connected via a network.

本発明に係る音響効果付与システムは、ネットワーク接続された第1装置と第2装置を有する音響効果付与システムであって、前記第1装置は、オーディオ信号を遂次取得する取得手段と、前記取得手段により取得された前記オーディオ信号を順次符号化した第1のオーディオストリームデータを前記第2装置へ送信する送信手段と、前記送信手段により送信した前記第1のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第2のオーディオストリームデータを前記第2装置から受信する受信手段と、前記受信手段により受信された前記第2のオーディオストリームデータを復号して出力する出力手段とを備え、前記第2装置は、前記第1装置から前記第1のオーディオストリームデータを受信する受信手段と、前記受信手段により受信された前記第1のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第2のオーディオストリームデータを生成する音響効果付与手段と、前記音響効果付与手段により生成された前記第2のオーディオストリームデータを前記第1装置へ送信する送信手段とを備える。   The acoustic effect imparting system according to the present invention is an acoustic effect imparting system having a first device and a second device connected to a network, wherein the first device sequentially acquires an audio signal, and the acquisition Transmitting means for sequentially transmitting the first audio stream data obtained by sequentially encoding the audio signals obtained by the means to the second device; and a predetermined sound in real time for the first audio stream data transmitted by the transmitting means. Receiving means for receiving the second audio stream data to which the effect is given from the second device; and output means for decoding and outputting the second audio stream data received by the receiving means, A second device comprising: receiving means for receiving the first audio stream data from the first device; Produced by the acoustic effect imparting means, the acoustic effect imparting means for providing the predetermined audio effect to the first audio stream data received by the receiving means, and generating the second audio stream data Transmitting means for transmitting the second audio stream data to the first device.

本発明によれば、第1装置に音響効果付与手段を備えなくとも、ネットワークを介して接続された第2装置で第1のオーディオストリームデータに音響効果を付与した第2のオーディオストリームデータを第1装置において出力することができる。   According to the present invention, even if the first device is not provided with the sound effect applying means, the second audio stream data in which the sound effect is applied to the first audio stream data by the second device connected via the network is obtained. It can output in one device.

また、前記第1装置において、音響効果の種別を指示する指示手段を備え、前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第1のオーディオストリームデータと共に前記第2装置へ送信し、前記第2装置において、前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、前記受信手段は、前記第1装置から前記第1のオーディオストリームデータと前記種別情報を受信し、前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第1のオーディオストリームデータに付与し、前記第2のオーディオストリームデータを生成することとしてもよい。この構成によれば、第1装置において所望する音響効果の種別を任意に指定することができる。   The first apparatus further includes instruction means for instructing a sound effect type, and the transmission means includes type information indicating the sound effect type instructed by the instruction means and the first audio stream data. Storage means for storing the type of the acoustic effect that is transmitted to the second apparatus and can be applied by the acoustic effect applying means in the second apparatus; and the receiving means is configured to receive the first audio from the first apparatus. The stream data and the type information are received, and the sound effect imparting unit receives the sound effect of the type stored in the storage unit corresponding to the type information received by the receiving unit. The second audio stream data may be generated by giving the audio stream data. According to this configuration, it is possible to arbitrarily specify the type of sound effect desired in the first device.

また、前記第1装置において、前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、前記送信手段は、前記第1のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、前記第2装置において、前記受信手段は、前記第1のオーディオストリームデータと前記音響効果付与プログラムとを受信し、前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第1のオーディオストリームデータに付与して前記第2のオーディオストリームデータを生成することとしてもよい。
この構成によれば、第2装置において音響効果付与プログラムを備えていない場合であっても、第1装置から送信された音響効果付与プログラムを用いて、第1装置から送信されたオーディオストリームデータに音響効果を付与することができる。
The first apparatus further comprises storage means for storing a sound effect applying program for applying the predetermined sound effect, and the transmission means is stored in the first audio stream data and the storage means. In the second device, the receiving means receives the first audio stream data and the sound effect giving program, and the sound effect giving means is received by the receiving means. The received sound effect adding program may be executed, and the second audio stream data may be generated by adding the sound effect specified in the sound effect applying program to the first audio stream data. .
According to this configuration, even if the second device does not include the sound effect imparting program, the audio stream data transmitted from the first device is added to the audio stream data transmitted from the first device using the sound effect imparting program transmitted from the first device. An acoustic effect can be imparted.

また、前記第1装置において、前記第1のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、前記第2装置において、前記音響効果付与手段は、前記第1のオーディオストリームデータに含まれる前記指示情報に従って前記第2のオーディオストリームデータを生成することとしてもよい。
この構成によれば、オーディオストリームデータに予め設定された音響効果の指示情報に従って音響効果が付与されるので、オーディオストリームデータの内容に適応した音響効果を付与することができる。
In the first device, the first audio stream data includes instruction information for applying the predetermined sound effect. In the second device, the sound effect applying means includes the first audio stream data. The second audio stream data may be generated according to the instruction information included in the data.
According to this configuration, since the sound effect is given according to the instruction information of the sound effect set in advance in the audio stream data, it is possible to give the sound effect adapted to the contents of the audio stream data.

実施形態に係る音響効果付与システムの構成例を示す図である。It is a figure which shows the structural example of the acoustic effect provision system which concerns on embodiment. 実施形態に係るホストサーバ2とカラオケ装置3のブロック図である。It is a block diagram of the host server 2 and karaoke apparatus 3 which concern on embodiment. 実施形態における楽曲データのデータ構成例を示す図である。It is a figure which shows the data structural example of the music data in embodiment. 実施形態に係る音響効果付与システムの動作フロー図である。It is an operation | movement flowchart of the acoustic effect provision system which concerns on embodiment. 実施形態における楽曲及びエフェクト処理種別選択画面の例を示す図である。It is a figure which shows the example of the music and effect process classification selection screen in embodiment. 変形例におけるエフェクトポート番号情報のデータ例を示す図である。It is a figure which shows the example of data of the effect port number information in a modification. 変形例におけるホストサーバ2とカラオケ装置3のブロック図である。It is a block diagram of the host server 2 and the karaoke apparatus 3 in a modification. 変形例における音響効果付与システムの構成例を示す図である。It is a figure which shows the structural example of the acoustic effect provision system in a modification.

以下、図面を参照して本発明に係る実施形態の音響効果付与システムについて説明する。
<実施形態>
(構成)
図1は、本実施形態に係る音響効果付与システムの構成を示している。音響効果付与システム1は、第2装置として構成されたホストサーバ2、及び第1装置として構成されたカラオケ装置3を含み、ホストサーバ2とカラオケ装置3はIPネットワーク網のネットワーク4を介して接続されている。本実施形態では、ホストサーバ2は、ネットワーク4を介してカラオケの楽曲データをカラオケ装置3に提供すると共に、カラオケ装置3を用いてユーザが歌った音声にリバーブ等のエフェクト処理をリアルタイムで行うサービスを提供する。
Hereinafter, an acoustic effect imparting system according to an embodiment of the present invention will be described with reference to the drawings.
<Embodiment>
(Constitution)
FIG. 1 shows a configuration of a sound effect imparting system according to the present embodiment. The sound effect imparting system 1 includes a host server 2 configured as a second device and a karaoke device 3 configured as a first device. The host server 2 and the karaoke device 3 are connected via a network 4 of an IP network. Has been. In the present embodiment, the host server 2 provides karaoke music data to the karaoke device 3 via the network 4 and performs a real-time effect process such as reverb on the voice sung by the user using the karaoke device 3. I will provide a.

以下、音響効果付与システム1の詳細について図2を用いて説明する。図2は、本実施形態に係るホストサーバ2とカラオケ装置3のブロック図である。まず、ホストサーバ2について説明する。ホストサーバ2は、制御部200、記憶部210、エフェクト処理部220、及び通信I/F230を含んで構成されている。制御部200は、CPU(Central Processing Unit)と、ROM(Read only Memory)及びRAM(Random Access Memory)のメモリを含んで構成されており、RAMをワーキングエリアとしてROMに記憶されている制御プログラムを実行することにより制御部200と接続されている各部を制御する。   Hereinafter, the details of the acoustic effect imparting system 1 will be described with reference to FIG. FIG. 2 is a block diagram of the host server 2 and the karaoke apparatus 3 according to the present embodiment. First, the host server 2 will be described. The host server 2 includes a control unit 200, a storage unit 210, an effect processing unit 220, and a communication I / F 230. The control unit 200 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). The control unit 200 stores a control program stored in the ROM using the RAM as a working area. By executing the control, each unit connected to the control unit 200 is controlled.

記憶部210は、ハードディスク等の大容量記憶媒体で構成されており、複数の楽曲データ及びエフェクト処理部220によって実行されるエフェクト処理プログラムが記憶されている。ここで、楽曲データについて説明する。図3は、楽曲データのデータ構成例を示している。楽曲データ20は、楽曲ヘッダ20aと演奏情報20b及び歌詞情報20cを含んで構成されている。楽曲ヘッダ20aには、楽曲を一意に識別する曲番号、楽曲の曲名、楽曲の演奏時間の各々を示すデータが格納されている。また、演奏情報20bには、楽曲の演奏を行う各パートの楽器の演奏音や歌唱音声を示すWAVE形式やMP3(MPEG-1 Audio Layer-3)等の形式で表現された演奏データが記憶されている。また、歌詞情報20cには、楽曲の歌詞の内容を示す歌詞データと、歌詞データを表示するタイミングや表示位置等のデータが対応づけて記憶されている。   The storage unit 210 is configured by a large-capacity storage medium such as a hard disk, and stores a plurality of music data and an effect processing program executed by the effect processing unit 220. Here, the music data will be described. FIG. 3 shows a data configuration example of music data. The music data 20 includes a music header 20a, performance information 20b, and lyrics information 20c. The music header 20a stores data indicating a music number for uniquely identifying a music, a music title, and a performance time of the music. The performance information 20b stores performance data expressed in a WAVE format or MP3 (MPEG-1 Audio Layer-3) format indicating the performance sound or singing sound of the musical instrument of each part performing the music. ing. The lyrics information 20c stores lyrics data indicating the contents of the lyrics of music and data such as timing and display position for displaying the lyrics data in association with each other.

図2に戻り説明を続ける。エフェクト処理部220は、DSP(Digital Signal Processor)等の信号処理機能を有するハードウェアで構成されており、制御部200の制御の下、記憶部210に記憶されている所定のエフェクト処理プログラムを実行し、予めエフェクト処理プログラムにおいて指定されているパラメータに従って入力される音声データに対してエフェクト処理を行う。なお、本実施形態ではリバーブとディレイのエフェクト処理を行うエフェクト処理プログラムが記憶されているが、これら以外のエフェクト処理を行うプログラムが記憶されていてもよい。
通信I/F230は、制御部200から送出されるデータのIPパケットを生成してネットワーク4に送信すると共に、ネットワーク4を介してカラオケ装置3からIPパケットを受信してIPパケット内のデータを制御部200へ送出する。
Returning to FIG. The effect processing unit 220 is configured by hardware having a signal processing function such as a DSP (Digital Signal Processor), and executes a predetermined effect processing program stored in the storage unit 210 under the control of the control unit 200. Then, effect processing is performed on the audio data input according to the parameters specified in advance in the effect processing program. In the present embodiment, an effect processing program for performing reverb and delay effect processing is stored, but a program for performing effect processing other than these may be stored.
The communication I / F 230 generates an IP packet of data sent from the control unit 200 and transmits it to the network 4, and receives the IP packet from the karaoke device 3 via the network 4 and controls the data in the IP packet. To the unit 200.

次に、カラオケ装置3の構成について説明する。カラオケ装置3は、制御部300、音源装置310、音声処理部320、スピーカ321、マイク322、操作部330、表示部340、通信I/F350及び記憶部360を含んで構成されている。制御部300は、CPUと、ROM及びRAMのメモリを含んで構成されており、RAMをワーキングエリアとしてROMに記憶されている制御プログラムを実行することにより制御部300と接続されている各部を制御する。   Next, the configuration of the karaoke apparatus 3 will be described. The karaoke apparatus 3 includes a control unit 300, a sound source device 310, a sound processing unit 320, a speaker 321, a microphone 322, an operation unit 330, a display unit 340, a communication I / F 350, and a storage unit 360. The control unit 300 includes a CPU, and ROM and RAM memories, and controls each unit connected to the control unit 300 by executing a control program stored in the ROM using the RAM as a working area. To do.

音源装置310は、例えばMIDI音源であり、ホストサーバ2から配信される楽曲データに基づいて楽音データを生成して音声処理部320へ送出する。音声処理部320は、音源装置310から送出される楽音データと、制御部300から入力される音声データをアナログの音声信号に変換し、各音声信号をミキシングして増幅し、スピーカ321から出力すると共に、マイク322から入力される音声信号をデジタル変換した音声データを制御部300へ送出する。スピーカ321は、音声処理部320から入力される音声信号を出力し、マイク322はユーザの音声を収音して音声処理部320へ出力する。   The sound source device 310 is, for example, a MIDI sound source, and generates musical tone data based on music data distributed from the host server 2 and sends it to the audio processing unit 320. The audio processing unit 320 converts the musical sound data transmitted from the sound source device 310 and the audio data input from the control unit 300 into analog audio signals, mixes and amplifies each audio signal, and outputs from the speaker 321. At the same time, audio data obtained by digitally converting the audio signal input from the microphone 322 is sent to the control unit 300. The speaker 321 outputs the audio signal input from the audio processing unit 320, and the microphone 322 collects the user's audio and outputs it to the audio processing unit 320.

操作部330は、テンキーや方向キーなどの各種キースイッチを有する。ユーザは楽曲の選択やエフェクト処理の選択等をこれらのキーを用いて行い、ユーザによってなされたキー操作の情報が制御部300に送出される。
表示部340は、液晶等のディスプレイを有し、制御部300の制御の下、カラオケ装置3を操作するためのメニュー画面、楽曲及びエフェクト処理種別を選択するための楽曲・エフェクト処理種別選択画面、所定の背景画像に楽曲の歌詞を重ね合わせたカラオケ画面などの各種画面を表示する。
通信I/F350は、制御部300から送出される楽曲の曲番号とエフェクト処理種別を含む要求データや音声データを所定データ単位にパケット化してネットワーク4へ送信すると共に、ネットワーク4を介してホストサーバ2からIPパケットを受信してIPパケット内の楽曲データや音声データを制御部300へ送出する。記憶部360は、ハードディスク等の記憶媒体で構成されており、ホストサーバ2において提供されているエフェクト処理種別の情報(リバーブ、ディレイ)や、カラオケ画面を表示する際の背景画像データ等の各種データを記憶している。
なお、本実施形態においては、背景画像データを、カラオケ装置3の記憶部360に記憶する構成としているが、ホストサーバ2において背景画像データと楽曲データを記憶し、ネットワーク4を通じて、ホストサーバ2から背景画像データ及び楽曲データをリアルタイムでカラオケ装置3に送る構成としてもよい。また、ネットワーク4を介してカラオケ装置3と接続された他のサーバにおいて記憶されている背景画像データをカラオケ装置3に送信し、カラオケ装置3は、その他のサーバから送信された背景画像データをホストサーバ2から受信した楽曲データと共に再生して表示部340に表示するようにしてもよい。
The operation unit 330 has various key switches such as a numeric keypad and direction keys. The user performs selection of music, selection of effect processing, and the like using these keys, and information on key operations performed by the user is transmitted to the control unit 300.
The display unit 340 includes a display such as a liquid crystal, and under the control of the control unit 300, a menu screen for operating the karaoke device 3, a music / effect processing type selection screen for selecting a music and an effect processing type, Various screens such as a karaoke screen in which the lyrics of music are superimposed on a predetermined background image are displayed.
The communication I / F 350 packetizes request data and audio data including the song number and effect processing type of the song sent from the control unit 300 into predetermined data units and transmits the packet to the network 4, and also via the network 4 to the host server 2 receives the IP packet and sends the music data and audio data in the IP packet to the control unit 300. The storage unit 360 is configured by a storage medium such as a hard disk, and various types of data such as effect processing type information (reverb, delay) provided in the host server 2 and background image data when displaying a karaoke screen. Is remembered.
In the present embodiment, the background image data is stored in the storage unit 360 of the karaoke apparatus 3, but the background image data and the music data are stored in the host server 2, and are transmitted from the host server 2 through the network 4. It is good also as a structure which sends background image data and music data to the karaoke apparatus 3 in real time. In addition, the background image data stored in another server connected to the karaoke apparatus 3 via the network 4 is transmitted to the karaoke apparatus 3, and the karaoke apparatus 3 hosts the background image data transmitted from the other server. It may be reproduced together with the music data received from the server 2 and displayed on the display unit 340.

(動作)
次に、本実施形態に係る音響効果付与システム1の動作について説明する。図4は、音響効果付与システム1の動作フローを示す図である。カラオケ装置3において、ユーザが操作部330を用いて楽曲・エフェクト処理種別選択画面を表示する操作を行うと、制御部300は、記憶部360からエフェクト処理種別情報を読み出し、図5に示す楽曲・エフェクト処理種別選択画面30を表示部340に表示し、ユーザから楽曲の曲番号30a及びエフェクト処理種別30bを入力する操作を受付ける(ステップS10)。
(Operation)
Next, operation | movement of the acoustic effect provision system 1 which concerns on this embodiment is demonstrated. FIG. 4 is a diagram illustrating an operation flow of the sound effect imparting system 1. In the karaoke apparatus 3, when the user performs an operation of displaying the music / effect processing type selection screen using the operation unit 330, the control unit 300 reads out the effect processing type information from the storage unit 360 and displays the music / effect processing type information shown in FIG. 5. The effect processing type selection screen 30 is displayed on the display unit 340, and an operation for inputting the music number 30a and the effect processing type 30b of the music is accepted from the user (step S10).

制御部300は、操作部330を介してユーザから楽曲の曲番号の入力とエフェクト処理種別を選択する操作を受付けると(ステップS11:YES)、入力された楽曲の曲番号とエフェクト処理種別のデータを含む要求データのIPパケットを通信部I/F350を介してホストサーバ2へ送信する(ステップ12)。   When the control unit 300 receives an operation for inputting a song number and selecting an effect processing type from the user via the operation unit 330 (step S11: YES), the control unit 300 receives the input song number and effect processing type data. The IP packet of the request data including is transmitted to the host server 2 via the communication unit I / F 350 (step 12).

ホストサーバ2の通信I/F230は、カラオケ装置3から要求データを含むIPパケットを受信し、IPパケット内の曲番号とエフェクト処理種別の各データを制御部200へ送出する(ステップ20)。制御部200は、通信I/F230から送出されたエフェクト処理種別データをRAMに記憶し、曲番号データが示す楽曲データを記憶部210の楽曲データ20から読み出し、その楽曲データを含むIPパケットを通信I/F部230を介してカラオケ装置3へ送信する(ステップS21)。   The communication I / F 230 of the host server 2 receives the IP packet including the request data from the karaoke apparatus 3, and sends each piece of music number and effect processing type data in the IP packet to the control unit 200 (step 20). The control unit 200 stores the effect processing type data transmitted from the communication I / F 230 in the RAM, reads the music data indicated by the music number data from the music data 20 of the storage unit 210, and communicates the IP packet including the music data. It transmits to the karaoke apparatus 3 via the I / F unit 230 (step S21).

カラオケ装置3の制御部300は、楽曲データを通信I/F部350を介してホストサーバ2から受信し、楽曲データをRAMに記憶する(ステップS13)。そして、制御部300は、RAMから楽曲データの演奏情報を順次読み出して音源装置310へ送出し、音源装置310により演奏情報に応じた楽音データを生成し、音声処理部320により楽音データをアナログ変換してスピーカ321から出力する。また、制御部300は、記憶部360に記憶されている背景画像データと楽曲データの歌詞情報を表示部340に送出し、表示部340により歌詞情報に基づく文字データと背景画像データとを重ね合わせたカラオケ画面を生成して表示する。これにより楽曲データの演奏が開始される。また、制御部300は、マイク322によって収音された音声信号を音声処理部320により順次デジタル変換して歌唱音声データを生成する (ステップS14)。   The control unit 300 of the karaoke apparatus 3 receives the music data from the host server 2 via the communication I / F unit 350, and stores the music data in the RAM (step S13). Then, the control unit 300 sequentially reads out the performance information of the music data from the RAM and sends it to the sound source device 310. The sound source device 310 generates musical sound data according to the performance information, and the voice processing unit 320 converts the musical sound data into analog data. And output from the speaker 321. Further, the control unit 300 sends the background image data stored in the storage unit 360 and the lyrics information of the music data to the display unit 340, and the display unit 340 superimposes the character data and the background image data based on the lyrics information. Generate and display a karaoke screen. Thereby, the performance of the music data is started. In addition, the control unit 300 sequentially converts the audio signal collected by the microphone 322 by the audio processing unit 320 to generate singing audio data (step S14).

制御部300は、音声処理部320において順次生成された歌唱音声データを所定の通信プロトコル(例えばRTPプロトコル)に従ってパケット化した歌唱音声パケットを生成する。そして、通信I/F350により歌唱音声パケットを含むIPパケットを順次ホストサーバ2へ送信する(ステップS15)。なお、この歌唱音声パケットのパケットヘッダには、送信先のホストサーバ2のIPアドレス、送信元のカラオケ装置3のIPアドレス、及びタイムスタンプ情報としてパケットの送信開始からの時刻を含めて送信する。   The control unit 300 generates a singing voice packet obtained by packetizing the singing voice data sequentially generated by the voice processing unit 320 according to a predetermined communication protocol (for example, RTP protocol). Then, the IP packet including the singing voice packet is sequentially transmitted to the host server 2 by the communication I / F 350 (step S15). The packet header of this singing voice packet is transmitted including the IP address of the destination host server 2, the IP address of the karaoke apparatus 3 of the transmission source, and the time from the start of packet transmission as time stamp information.

ホストサーバ2の通信I/F230は、カラオケ装置3から歌唱音声パケットを含むIPパケットを順次受信し、その歌唱音声パケットを制御部200へ順次送出する(ステップS22)。
制御部200は、通信I/F230から送出される歌唱音声パケット内のタイムスタンプ情報をRAMに記憶し、歌唱音声パケット内の歌唱音声データをエフェクト処理部220に順次送出すると共に、RAMに記憶されているエフェクト処理種別に応じたエフェクト処理を行うことを指示するコマンドをエフェクト処理部220に送出する。エフェクト処理部220は、指示されたエフェクト処理種別に対応するエフェクト処理プログラムを記憶部210から読み出して実行し、制御部200から順次入力される歌唱音声データに対してエフェクト処理を行い、エフェクト処理後のエフェクト音声データを制御部200へ順次出力する(ステップS23)。
The communication I / F 230 of the host server 2 sequentially receives IP packets including a singing voice packet from the karaoke apparatus 3 and sequentially sends out the singing voice packet to the control unit 200 (step S22).
The control unit 200 stores the time stamp information in the singing voice packet transmitted from the communication I / F 230 in the RAM, sequentially transmits the singing voice data in the singing voice packet to the effect processing unit 220, and is stored in the RAM. A command for instructing to perform the effect processing according to the effect processing type is sent to the effect processing unit 220. The effect processing unit 220 reads out and executes the effect processing program corresponding to the instructed effect processing type from the storage unit 210, performs the effect processing on the singing voice data sequentially input from the control unit 200, and after the effect processing Are sequentially output to the control unit 200 (step S23).

制御部200は、エフェクト処理部220によって出力されたエフェクト音声データに対応するタイムスタンプ情報をRAMから読み出し、読み出したタイムスタンプ情報をエフェクト音声データに対応づけて通信I/F230に送出する。通信I/F230は、エフェクト音声データとタイムスタンプ情報を含むIPパケットを生成してカラオケ装置3へ送信する(ステップS24)。制御部200は、歌唱音声データの受信を終了するまで上記ステップS22以下の処理を繰り返し行い(ステップS25:NO)、歌唱音声データの受信を終了したときに処理を終了する(ステップS25:YES)。   The control unit 200 reads time stamp information corresponding to the effect sound data output by the effect processing unit 220 from the RAM, and sends the read time stamp information to the communication I / F 230 in association with the effect sound data. The communication I / F 230 generates an IP packet including the effect sound data and time stamp information and transmits it to the karaoke apparatus 3 (step S24). The control unit 200 repeatedly performs the process from step S22 onward until the reception of the singing voice data is finished (step S25: NO), and ends the process when the reception of the singing voice data is finished (step S25: YES). .

カラオケ装置3の通信I/F350は、ステップS24においてホストサーバ2から順次送信されるIPパケットを受信し、受信したIPパケット内のエフェクト音声データとタイムスタンプ情報を制御部300へ順次送出する(ステップS16)。制御部300は、通信I/F350から順次送信されてくるエフェクト音声データのタイムスタンプ情報を参照し、タイムスタンプ情報の時刻順となるようにエフェクト音声データを音声処理部320へ出力する。音声処理部320は、制御部300から入力されるエフェクト音声データをアナログ変換した音声信号と、音源装置310によって再生された楽音データの楽音信号とをミキシングして増幅し、スピーカ321から出力する(ステップS17)。これにより、ユーザが歌唱した音声にリバーブ等のエフェクト処理がなされた音声がスピーカ321から出力される。   The communication I / F 350 of the karaoke apparatus 3 receives the IP packets sequentially transmitted from the host server 2 in step S24, and sequentially transmits the effect voice data and the time stamp information in the received IP packet to the control unit 300 (step S24). S16). The control unit 300 refers to the time stamp information of the effect sound data sequentially transmitted from the communication I / F 350, and outputs the effect sound data to the sound processing unit 320 so that the time stamp information is in time order. The sound processing unit 320 mixes and amplifies a sound signal obtained by analog conversion of the effect sound data input from the control unit 300 and a sound signal of the sound data reproduced by the sound source device 310, and outputs the result from the speaker 321 ( Step S17). As a result, sound obtained by performing effect processing such as reverb on the sound sung by the user is output from the speaker 321.

制御部300は、楽曲データの演奏が終了するまでステップS14以下の処理を繰り返し行い(ステップS18:NO)、演奏が終了したときに処理を終了する(ステップS18:YES)。また、ステップS11において、制御部300は、ユーザから楽曲の曲番号及びエフェクト処理種別の選択を受付けるまで楽曲及びエフェクト選択画面を表示して待機する(ステップS11:NO)。なお、本実施形態では、楽曲の曲番号と共にエフェクト処理種別の選択を行わなければ次のステップの処理を行わないように制御する例であるが、楽曲の曲番号のみを選択し、エフェクト処理種別の選択が行われなった場合には、選択された楽曲データをホストサーバ2から受信して通常のカラオケ演奏を行うようにしてもよい。
上述の本実施形態では、ホストサーバ2にアクセスし、ホストサーバ2によって提供されているエフェクト処理種別を選択するだけで、カラオケ装置3においてユーザが歌唱した音声がリアルタイムにエフェクト処理されて楽曲と共に出力される。従って、カラオケ装置3にエフェクト処理の機能が搭載されていない場合であっても、容易にユーザの音声にエコー等の音響効果を付与することができる。
The control unit 300 repeatedly performs the processing from step S14 onward until the performance of the music data ends (step S18: NO), and ends the processing when the performance ends (step S18: YES). In step S11, the control unit 300 displays the music and effect selection screen and waits until the selection of the music number and the effect processing type is received from the user (step S11: NO). In this embodiment, it is an example in which the processing of the next step is not performed unless the effect processing type is selected together with the music number of the music, but only the music number of the music is selected and the effect processing type is selected. If the selection is not performed, the selected music data may be received from the host server 2 and a normal karaoke performance may be performed.
In the above-described embodiment, simply by accessing the host server 2 and selecting the effect processing type provided by the host server 2, the voice sung by the user in the karaoke device 3 is effect processed in real time and output together with the music. Is done. Therefore, even if the karaoke apparatus 3 is not equipped with an effect processing function, an acoustic effect such as echo can be easily imparted to the user's voice.

<変形例>
以下、本発明の変形例について説明する。
(1)上述した実施形態では、エフェクト処理種別の選択をカラオケ装置3の操作部330を用いて行う例であったが、楽曲データに予め設定されたエフェクト処理情報に従ってユーザの音声にエフェクト処理を行うようにしてもよい。この場合には、エフェクト処理を行う演奏タイミングとエフェクト処理種別を示すエフェクト処理情報を楽曲データのシーケンス情報として予め設定しておく。カラオケ装置3の音源装置310が楽曲データを再生する際にシーケンス情報を参照し、エフェクト処理種別が設定されている演奏タイミング時において、その演奏タイミングにおける楽音データとエフェクト処理種別を音声処理部320へ送出する。そして、音声処理部320は、その楽音データの音声信号をスピーカ321から出力すると共に、マイク322により収音した音声信号の歌唱音声データとエフェクト処理種別を制御部300に送出する。制御部300は、音声処理部320から送出された歌唱音声データとエフェクト処理種別を通信I/F部350を介してホストサーバ2へ送信する。ホストサーバ2の制御部200は、カラオケ装置3から受信した歌唱音声データとエフェクト処理種別をエフェクト処理部220に出力して、実施形態と同様に、エフェクト処理部220によりエフェクト処理を行い、エフェクト音声データをカラオケ装置3へ送信する。カラオケ装置3は、ホストサーバ2から受信したエフェクト音声データの音声信号と楽音データの音声信号を音声処理部320においてミキシングしてスピーカ321から出力する。
<Modification>
Hereinafter, modifications of the present invention will be described.
(1) In the above-described embodiment, the effect processing type is selected using the operation unit 330 of the karaoke apparatus 3. However, the effect processing is performed on the user's voice according to the effect processing information set in advance in the music data. You may make it perform. In this case, performance processing information indicating the performance timing for effect processing and the effect processing type is set in advance as sequence information of music data. When the tone generator 310 of the karaoke apparatus 3 reproduces the music data, the sequence information is referred to, and at the performance timing at which the effect processing type is set, the musical sound data and the effect processing type at the performance timing are sent to the audio processing unit 320. Send it out. Then, the sound processing unit 320 outputs a sound signal of the musical sound data from the speaker 321, and sends the singing sound data of the sound signal collected by the microphone 322 and the effect processing type to the control unit 300. The control unit 300 transmits the singing voice data and the effect processing type sent from the voice processing unit 320 to the host server 2 via the communication I / F unit 350. The control unit 200 of the host server 2 outputs the singing voice data and the effect processing type received from the karaoke apparatus 3 to the effect processing unit 220, and performs the effect processing by the effect processing unit 220 as in the embodiment, and effects sound Data is transmitted to the karaoke apparatus 3. The karaoke apparatus 3 mixes the audio signal of the effect audio data and the audio signal of the musical sound data received from the host server 2 in the audio processing unit 320 and outputs them from the speaker 321.

(2)また、上述した実施形態では、カラオケ装置3においてユーザに選択されたエフェクト処理種別を要求データとしてホストサーバ2へ送信するものとしたが、カラオケ装置3からホストサーバ2へ歌唱音声データを送信する際にエフェクト処理種別を示す情報を付加して送信するようにしてもよい。この場合には、ホストサーバ2において予めエフェクト処理プログラムに対応するホストサーバ2のポート番号等の識別情報を設定し、カラオケ装置3においてエフェクトポート番号情報を予め記憶する。図6は、エフェクトポート番号情報40のデータ例を示している。図6に示すようにエフェクトポート番号情報40は、エフェクト処理プログラムを識別するエフェクト処理種別と、エフェクト処理プログラムに割当てられたポート番号とを対応づけて記憶している。
そして、カラオケ装置3において、ユーザによって指定されたエフェクト処理種別に対応するポート番号を歌唱音声データの送信パケットに含めて送信し、ホストサーバ2は、受信したパケットに含まれるポート番号に対応するエフェクト処理プログラムをエフェクト処理部220により実行して歌唱音声データにエフェクト処理を行うようにする。
(2) In the above-described embodiment, the effect processing type selected by the user in the karaoke apparatus 3 is transmitted to the host server 2 as request data. However, the singing voice data is transmitted from the karaoke apparatus 3 to the host server 2. When transmitting, information indicating the effect processing type may be added and transmitted. In this case, identification information such as the port number of the host server 2 corresponding to the effect processing program is set in the host server 2 in advance, and the effect port number information is stored in the karaoke apparatus 3 in advance. FIG. 6 shows an example of data of the effect port number information 40. As shown in FIG. 6, the effect port number information 40 stores the effect processing type for identifying the effect processing program and the port number assigned to the effect processing program in association with each other.
Then, in the karaoke apparatus 3, the port number corresponding to the effect processing type designated by the user is included in the transmission packet of the singing voice data and transmitted, and the host server 2 has the effect corresponding to the port number included in the received packet. The processing program is executed by the effect processing unit 220 to effect the singing voice data.

(3)また、上述した実施形態では、ホストサーバ2は予め設定されたエフェクト処理プログラムを実行してエフェクト処理を行う例であったが、カラオケ装置3からエフェクト処理プログラムをホストサーバ2に送信してエフェクト処理を行うようにしてもよい。この場合には、あらかじめカラオケ装置3においてエフェクト処理種別毎のエフェクト処理プログラムを記憶し、ユーザによって選択されたエフェクト処理種別のエフェクト処理プログラムを楽曲データの要求データと共にホストサーバ2に送信する。そして、ホストサーバ2の制御部200は、送信されたエフェクト処理プログラムを記憶部210に記憶し、カラオケ装置3から歌唱音声データが送信されてきた際に、記憶部210に記憶されているエフェクト処理プログラムを実行するコマンドと歌唱音声データをエフェクト処理部220に送出し、エフェクト処理部220によりエフェクト処理プログラムを実行して歌唱音声データにエフェクト処理を行うようにする。 (3) In the above-described embodiment, the host server 2 executes the effect processing by executing a preset effect processing program, but the effect processing program is transmitted from the karaoke apparatus 3 to the host server 2. Effect processing may be performed. In this case, the effect processing program for each effect processing type is stored in advance in the karaoke apparatus 3, and the effect processing program of the effect processing type selected by the user is transmitted to the host server 2 together with the request data of the music data. And the control part 200 of the host server 2 memorize | stores the transmitted effect processing program in the memory | storage part 210, and when singing voice data are transmitted from the karaoke apparatus 3, the effect process memorize | stored in the memory | storage part 210 is stored. A command for executing the program and the singing voice data are transmitted to the effect processing unit 220, and the effect processing unit 220 executes the effect processing program to perform the effect processing on the singing voice data.

(4)また、上述した実施形態では、カラオケ装置3においてユーザの音声を収音し、その収音した音声にエフェクト処理を行う例について説明したが、楽器等を演奏したオーディオ信号を収音し、そのオーディオ信号のオーディオデータにエフェクト処理を行うように構成してもよい。この場合の構成例を図7に示す。図7において、PC等で構成された情報端末5は、実施形態のカラオケ装置3に設けられていた音源装置310を除く実線で示す各部を有し、楽器6のオーディオ信号をマイク322により収音する構成である。また、ホストサーバ2は、実施形態と同様の実線で示す各部を備えているものとする。このような構成において、ユーザは楽器6の演奏開始前に、操作部330を用いてホストサーバ2が提供するエフェクト処理の種別を選択する。制御部300は選択されたエフェクト処理種別の情報を通信I/F350を介してホストサーバ2に送信し、ホストサーバ2の制御部200は、情報端末5から送信されたエフェクト処理種別をRAMに記憶する。ユーザが楽器6の演奏を開始すると、マイク322により楽器6のオーディオ信号を収音し、制御部300は、収音されたオーディオ信号のオーディオデータを音声処理部320により順次生成してホストサーバ2に送信する。ホストサーバ2の制御部200は、実施形態と同様、エフェクト処理部220により、情報端末5から順次送信されてくるオーディオデータをRAMに記憶されているエフェクト処理種別に従ってエフェクト処理を行い、エフェクト処理後のオーディオデータを情報端末5に送信する。情報端末5は、ホストサーバ2から順次送信されてくるオーディオデータを音声処理部320によりアナログ変換してスピーカ321から出力する。 (4) In the above-described embodiment, the example in which the user's voice is collected in the karaoke apparatus 3 and the effect processing is performed on the collected voice has been described. However, the audio signal obtained by playing a musical instrument or the like is collected. The effect processing may be performed on the audio data of the audio signal. A configuration example in this case is shown in FIG. In FIG. 7, the information terminal 5 configured by a PC or the like has each unit indicated by a solid line excluding the sound source device 310 provided in the karaoke apparatus 3 of the embodiment, and collects the audio signal of the musical instrument 6 by the microphone 322. It is the structure to do. In addition, the host server 2 is provided with each unit indicated by a solid line similar to the embodiment. In such a configuration, the user selects the type of effect processing provided by the host server 2 using the operation unit 330 before the performance of the musical instrument 6 is started. The control unit 300 transmits information on the selected effect processing type to the host server 2 via the communication I / F 350, and the control unit 200 of the host server 2 stores the effect processing type transmitted from the information terminal 5 in the RAM. To do. When the user starts playing the musical instrument 6, the audio signal of the musical instrument 6 is collected by the microphone 322, and the control unit 300 sequentially generates the audio data of the collected audio signal by the voice processing unit 320 and the host server 2. Send to. Similar to the embodiment, the control unit 200 of the host server 2 performs the effect processing on the audio data sequentially transmitted from the information terminal 5 by the effect processing unit 220 according to the effect processing type stored in the RAM. Are transmitted to the information terminal 5. The information terminal 5 converts the audio data sequentially transmitted from the host server 2 into an analog signal by the sound processing unit 320 and outputs it from the speaker 321.

また、楽器を演奏するための操作子を用いてエフェクト処理種別を指定するようにしてもよい。この場合には、情報端末5及びホストサーバ2は、図7の実線で示す構成に加えて破線で示した構成を備える。即ち、ホストサーバ2はMIDIデータを再生する音源装置240を備え、情報端末5には楽器7を接続し、楽器7からMIDI形式の演奏データを入力する。また、例えば、楽器7がMIDIキーボードである場合には、キーボードにエフェクト処理種別を選択するための選択ボタンを予め設定しておく。このような構成において、キーボードの演奏にエフェクト処理を行う場合、ユーザはキーボードの演奏中に選択ボタンを押下してエフェクト処理種別を指定する。制御部300は、エフェクト処理種別が割当てられたボタンが押下されている間は、演奏データに加えてそのエフェクト処理種別をホストサーバ2へ順次送信する。ホストサーバ2の制御部200は、送信されてくる演奏データを音源装置230により再生して楽音データを生成し、情報端末5から送信されたエフェクト処理種別に従ってエフェクト処理部220によりその楽音データにエフェクト処理を行い、エフェクト処理された楽音データを情報端末5に送信する。情報端末5の制御部300は、ホストサーバ2から送信されてくるエフェクト処理後の楽音データを音声処理部320においてアナログ変換してスピーカ321から出力する。   Further, the effect processing type may be designated using an operator for playing a musical instrument. In this case, the information terminal 5 and the host server 2 have a configuration indicated by a broken line in addition to the configuration indicated by the solid line in FIG. That is, the host server 2 includes a sound source device 240 that reproduces MIDI data, and a musical instrument 7 is connected to the information terminal 5 and MIDI performance data is input from the musical instrument 7. For example, when the musical instrument 7 is a MIDI keyboard, a selection button for selecting an effect processing type is set in advance on the keyboard. In such a configuration, when effect processing is performed on the performance of the keyboard, the user presses the selection button during performance of the keyboard and designates the effect processing type. While the button to which the effect processing type is assigned is pressed, the control unit 300 sequentially transmits the effect processing type to the host server 2 in addition to the performance data. The control unit 200 of the host server 2 generates musical tone data by reproducing the transmitted performance data using the tone generator 230, and effects the musical data by the effect processing unit 220 according to the effect processing type transmitted from the information terminal 5. Processing is performed, and the musical sound data subjected to the effect processing is transmitted to the information terminal 5. The control unit 300 of the information terminal 5 converts the musical sound data after the effect processing transmitted from the host server 2 into an analog signal in the audio processing unit 320 and outputs it from the speaker 321.

また、情報端末5の機能を携帯電話機に設け、携帯電話機に内蔵されているマイクで収音したユーザの音声を、携帯電話網を介して接続されたホストサーバ2によりエフェクト処理を行うようにしてもよい。この場合には、ホストサーバ2が提供しているエフェクト処理種別を選択するための選択画面を携帯電話機に表示し、エフェクト処理種別の選択をユーザから受付ける。そして、携帯電話機においてユーザが選択したエフェクト処理種別とユーザの音声データとをホストサーバ2へ送信する。ホストサーバ2は携帯電話機から送信された音声データに対して指定されたエフェクト処理種別のエフェクト処理を行い、エフェクト処理後の音声データを携帯電話機へ送信する。携帯電話機は、ホストサーバ2から受信した音声データを携帯電話機に内蔵されているスピーカから出力してもよいし、その音声データを携帯電話機のメモリに記憶するようにしてもよい。このように構成することにより携帯電話機をボイスチェンジャーのように利用することができる。   Further, the function of the information terminal 5 is provided in the mobile phone, and the user's voice picked up by the microphone built in the mobile phone is subjected to effect processing by the host server 2 connected through the mobile phone network. Also good. In this case, a selection screen for selecting the effect processing type provided by the host server 2 is displayed on the mobile phone, and the selection of the effect processing type is accepted from the user. Then, the effect processing type selected by the user on the mobile phone and the user's voice data are transmitted to the host server 2. The host server 2 performs effect processing of the designated effect processing type on the audio data transmitted from the mobile phone, and transmits the audio data after the effect processing to the mobile phone. The cellular phone may output the audio data received from the host server 2 from a speaker built in the cellular phone, or store the audio data in the memory of the cellular phone. With this configuration, the mobile phone can be used like a voice changer.

(5)また、上述した実施形態では、カラオケ装置3は、ホストサーバ2において提供されているエフェクト処理種別を予め記憶部360に記憶している例であったが、図4のステップS10の前に、カラオケ装置3からホストサーバ2にエフェクト処理種別を問い合わせる処理を行い、ホストサーバ2からエフェクト処理種別の情報を受信した後、楽曲・エフェクト処理種別画面を表示するようにしてもよい。 (5) In the embodiment described above, the karaoke apparatus 3 is an example in which the effect processing type provided in the host server 2 is stored in the storage unit 360 in advance, but before step S10 in FIG. Alternatively, after the karaoke apparatus 3 inquires the host server 2 about the effect processing type and receives information on the effect processing type from the host server 2, the music / effect processing type screen may be displayed.

(6)上述した実施形態では、ホストサーバ2は複数のエフェクト処理を行うよう構成されていたが、図8に示すように、提供するエフェクト処理が異なるホストサーバ2a〜2cを複数設置するようにしてもよい。この場合には、カラオケ装置3においてホストサーバ2a〜2cのIPアドレスと各ホストサーバに対応するエフェクト処理種別とを対応づけて記憶し、ユーザによって選択されたエフェクト処理種別に対応するホストサーバのIPアドレスやドメイン情報など、ホストサーバを識別する識別情報を指定してエフェクト処理の要求データをそのホストサーバに送信するように構成する。 (6) In the above-described embodiment, the host server 2 is configured to perform a plurality of effect processes. However, as shown in FIG. 8, a plurality of host servers 2a to 2c that provide different effect processes are installed. May be. In this case, the karaoke apparatus 3 stores the IP addresses of the host servers 2a to 2c in association with the effect processing types corresponding to the host servers, and the IP of the host server corresponding to the effect processing type selected by the user. The identification information for identifying the host server, such as address and domain information, is specified, and the request data for effect processing is transmitted to the host server.

(7)上述した実施形態では、カラオケ装置3において再生されたカラオケの楽曲データの音声信号は、ネットワーク4のネットワーク遅延時間を考慮せずに出力する例であったが、ネットワーク遅延時間分だけ遅延させて楽曲データの音声信号をスピーカ321により出力してもよい。 (7) In the above-described embodiment, the audio signal of the karaoke music data reproduced in the karaoke apparatus 3 is an example of output without considering the network delay time of the network 4, but is delayed by the network delay time. The audio signal of the music data may be output from the speaker 321.

(8)また、所定のエフェクト処理機能を有するアンプ等のエフェクタ装置からホストサーバ2にアクセスし、エフェクタ装置において取得したオーディオデータに対して、エフェクタ装置が有する所定のエフェクト処理機能とは異なるエフェクト処理をホストサーバ2に要求し、ホストサーバ2においてエフェクト処理されたオーディオデータを取得して出力するようにしてもよい。この場合には、エフェクタ装置は、エフェクト処理種別を指定する指定手段と、楽器等のオーディオ信号を取得するオーディオ信号取得手段と、取得したオーディオ信号のオーディオデータに所定のエフェクト処理を行って第1のエフェクトオーディオデータを生成するエフェクト処理手段と、指定されたエフェクト処理種別と当該オーディオデータをホストサーバ2へ送信し、当該オーディオデータに対して指定したエフェクト処理種別のエフェクト処理がなされた第2のエフェクトオーディオデータをホストサーバ2から受信する通信手段と、受信した第2のエフェクトオーディオデータと第1のエフェクトオーディオデータを合成して出力する出力手段とを備えるように構成する。 (8) Further, an effect process different from a predetermined effect processing function possessed by the effector device for the audio data obtained by accessing the host server 2 from an effector device such as an amplifier having a predetermined effect processing function and acquired by the effector device. May be requested to the host server 2 and the audio data subjected to the effect processing in the host server 2 may be acquired and output. In this case, the effector device performs a predetermined effect process on the audio data of the acquired audio signal by performing a predetermined effect process on the audio data of the audio signal acquiring means for acquiring an audio signal such as a musical instrument, etc. The effect processing means for generating the effect audio data, the designated effect processing type and the audio data are transmitted to the host server 2, and the effect processing of the designated effect processing type is performed on the audio data. A communication unit that receives the effect audio data from the host server 2 and an output unit that synthesizes and outputs the received second effect audio data and the first effect audio data are provided.

1・・・音響効果付与システム、2・・・ホストサーバ、3・・・カラオケ装置、4・・・ネットワーク、200、300・・・制御部、210,360・・・記憶部、220・・・エフェクト処理部、230,350・・・通信I/F、230,310・・・音源装置、320・・・音声処理部、321・・・スピーカ、322・・・マイク、330・・・操作部、340・・・表示部   DESCRIPTION OF SYMBOLS 1 ... Sound effect provision system, 2 ... Host server, 3 ... Karaoke apparatus, 4 ... Network, 200, 300 ... Control part, 210, 360 ... Storage part, 220 ... Effect processing unit, 230, 350 ... Communication I / F, 230, 310 ... Sound source device, 320 ... Audio processing unit, 321 ... Speaker, 322 ... Microphone, 330 ... Operation Part, 340... Display part

Claims (4)

ネットワーク接続された第1装置と第2装置を有する音響効果付与システムであって、
前記第1装置は、
オーディオ信号を遂次取得する取得手段と、
前記取得手段により取得された前記オーディオ信号を順次符号化した第1のオーディオストリームデータを前記第2装置へ送信する送信手段と、
前記送信手段により送信した前記第1のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第2のオーディオストリームデータを前記第2装置から受信する受信手段と、
前記受信手段により受信された前記第2のオーディオストリームデータを復号して出力する出力手段とを備え、
前記第2装置は、
前記第1装置から前記第1のオーディオストリームデータを受信する受信手段と、
前記受信手段により受信された前記第1のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第2のオーディオストリームデータを生成する音響効果付与手段と、
前記音響効果付与手段により生成された前記第2のオーディオストリームデータを前記第1装置へ送信する送信手段と
を備えることを特徴とする音響効果付与システム。
A sound effect imparting system having a first device and a second device connected to a network,
The first device includes:
Acquisition means for sequentially acquiring audio signals;
Transmitting means for transmitting first audio stream data obtained by sequentially encoding the audio signals acquired by the acquiring means to the second device;
Receiving means for receiving, from the second device, second audio stream data in which a predetermined acoustic effect is given in real time to the first audio stream data transmitted by the transmitting means;
Output means for decoding and outputting the second audio stream data received by the receiving means,
The second device includes:
Receiving means for receiving the first audio stream data from the first device;
Sound effect applying means for applying the predetermined sound effect to the first audio stream data received by the receiving means and generating the second audio stream data;
A sound effect imparting system comprising: a transmission means for transmitting the second audio stream data generated by the sound effect imparting means to the first device.
前記第1装置において、
音響効果の種別を指示する指示手段を備え、
前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第1のオーディオストリームデータと共に前記第2装置へ送信し、
前記第2装置において、
前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、
前記受信手段は、前記第1装置から前記第1のオーディオストリームデータと前記種別情報を受信し、
前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第1のオーディオストリームデータに付与し、前記第2のオーディオストリームデータを生成することを特徴とする請求項1記載の音響効果付与システム。
In the first device,
Instructing means for instructing the type of sound effect,
The transmitting means transmits to the second device together with type information indicating the type of the sound effect instructed by the instructing means and the first audio stream data,
In the second device,
Storage means for storing the type of the acoustic effect that can be applied by the acoustic effect applying means;
The receiving means receives the first audio stream data and the type information from the first device;
The sound effect imparting means imparts the sound effect of the type stored in the storage means corresponding to the type information received by the receiving means to the first audio stream data, and the second The sound effect imparting system according to claim 1, wherein the audio stream data is generated.
前記第1装置において、
前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、
前記送信手段は、前記第1のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、
前記第2装置において、
前記受信手段は、前記第1のオーディオストリームデータと前記音響効果付与プログラムとを受信し、
前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第1のオーディオストリームデータに付与して前記第2のオーディオストリームデータを生成することを特徴とする請求項1記載の音響効果付与システム。
In the first device,
Storage means for storing a sound effect applying program for applying the predetermined sound effect;
The transmission means transmits the first audio stream data and the sound effect applying program stored in the storage means,
In the second device,
The receiving means receives the first audio stream data and the sound effect applying program,
The sound effect applying unit executes the sound effect applying program received by the receiving unit, and adds the sound effect specified in the sound effect applying program to the first audio stream data. The sound effect imparting system according to claim 1, wherein the audio stream data is generated.
前記第1装置において、
前記第1のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、
前記第2装置において、
前記音響効果付与手段は、前記第1のオーディオストリームデータに含まれる前記指示情報に従って前記第2のオーディオストリームデータを生成することを特徴とする請求項1記載の音響効果付与システム。
In the first device,
The first audio stream data includes instruction information for giving the predetermined sound effect,
In the second device,
The sound effect imparting system according to claim 1, wherein the sound effect imparting means generates the second audio stream data according to the instruction information included in the first audio stream data.
JP2009085395A 2009-03-31 2009-03-31 Sound effect system Expired - Fee Related JP5663842B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009085395A JP5663842B2 (en) 2009-03-31 2009-03-31 Sound effect system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009085395A JP5663842B2 (en) 2009-03-31 2009-03-31 Sound effect system

Publications (2)

Publication Number Publication Date
JP2010237442A true JP2010237442A (en) 2010-10-21
JP5663842B2 JP5663842B2 (en) 2015-02-04

Family

ID=43091825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009085395A Expired - Fee Related JP5663842B2 (en) 2009-03-31 2009-03-31 Sound effect system

Country Status (1)

Country Link
JP (1) JP5663842B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185148A (en) * 1997-09-09 1999-03-30 N T T Data:Kk Effector experiment service system
JP2001042865A (en) * 1999-08-03 2001-02-16 Sony Corp Device and method for audio data transmitting, device and method for audio data receiving, and recording medium
JP2002236490A (en) * 2001-02-09 2002-08-23 Seiko Epson Corp Data transfer system, transfer origin terminal and intermediate processing terminal
JP2004094683A (en) * 2002-08-30 2004-03-25 Casio Comput Co Ltd Server, communication method, and spectator terminal
JP2005055672A (en) * 2003-08-05 2005-03-03 Onkyo Corp Functionally distributed type contents reproducing system
JP2006171549A (en) * 2004-12-17 2006-06-29 Yamaha Corp Transmitting device and receiving device for audio data
JP2007093921A (en) * 2005-09-28 2007-04-12 Yamaha Corp Information distribution device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185148A (en) * 1997-09-09 1999-03-30 N T T Data:Kk Effector experiment service system
JP2001042865A (en) * 1999-08-03 2001-02-16 Sony Corp Device and method for audio data transmitting, device and method for audio data receiving, and recording medium
JP2002236490A (en) * 2001-02-09 2002-08-23 Seiko Epson Corp Data transfer system, transfer origin terminal and intermediate processing terminal
JP2004094683A (en) * 2002-08-30 2004-03-25 Casio Comput Co Ltd Server, communication method, and spectator terminal
JP2005055672A (en) * 2003-08-05 2005-03-03 Onkyo Corp Functionally distributed type contents reproducing system
JP2006171549A (en) * 2004-12-17 2006-06-29 Yamaha Corp Transmitting device and receiving device for audio data
JP2007093921A (en) * 2005-09-28 2007-04-12 Yamaha Corp Information distribution device

Also Published As

Publication number Publication date
JP5663842B2 (en) 2015-02-04

Similar Documents

Publication Publication Date Title
US9602388B2 (en) Session terminal apparatus and network session system
JP5630155B2 (en) Storage system and storage device
JP6457326B2 (en) Karaoke system that supports transmission delay of singing voice
JP6733781B2 (en) Audio equipment
CN102394860A (en) Signal transmission system, method, computer program product and computer readable storage media
JP2003255935A (en) Reproduction switching device and program
JP5663842B2 (en) Sound effect system
JP5966531B2 (en) COMMUNICATION SYSTEM, TERMINAL DEVICE, REPRODUCTION CONTROL METHOD, AND PROGRAM
JP6627325B2 (en) Sound system and sound device
JP2011138130A (en) Karaoke co-performance method using mobile electronic device
JP4574299B2 (en) Music player
JP4968109B2 (en) Audio data conversion / reproduction system, audio data conversion device, audio data reproduction device
JP2001209389A (en) Karaoke system using mobile phone
JP6459379B2 (en) Acoustic system
US20160112799A1 (en) Acoustic system, acoustic system control device, and acoustic system control method
JP3770153B2 (en) Communication setting device and communication setting program
JP2004094163A (en) Network sound system and sound server
JP2004093975A (en) Communication terminal and program
JP2019040167A (en) Karaoke device and control method thereof
JP3975698B2 (en) Mobile communication terminal
JP2005292655A (en) Performance system of electronic musical instrument
US9681230B2 (en) Acoustic system, output device, and acoustic system control method
JP2008197501A (en) Electronic instrument and performance data utilization program
JP6170738B2 (en) A communication karaoke system characterized by the communication method during communication duets
JP6159581B2 (en) Online karaoke system using sound collecting microphone

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R151 Written notification of patent or utility model registration

Ref document number: 5663842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees