JP2011145541A - Reproduction device, musical sound signal output device, reproduction system and program - Google Patents

Reproduction device, musical sound signal output device, reproduction system and program Download PDF

Info

Publication number
JP2011145541A
JP2011145541A JP2010007150A JP2010007150A JP2011145541A JP 2011145541 A JP2011145541 A JP 2011145541A JP 2010007150 A JP2010007150 A JP 2010007150A JP 2010007150 A JP2010007150 A JP 2010007150A JP 2011145541 A JP2011145541 A JP 2011145541A
Authority
JP
Japan
Prior art keywords
sound signal
musical sound
watermark information
musical
reproduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010007150A
Other languages
Japanese (ja)
Inventor
Fukutaro Okuyama
福太郎 奥山
Shinya Koseki
信也 小関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2010007150A priority Critical patent/JP2011145541A/en
Priority to US13/004,446 priority patent/US8796527B2/en
Priority to CN201110008711.XA priority patent/CN102169705B/en
Publication of JP2011145541A publication Critical patent/JP2011145541A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • G10H1/08—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour by combining tones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/041—File watermark, i.e. embedding a hidden code in an electrophonic musical instrument file or stream for identification or authentification purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325—Synchronizing two or more audio tracks or files according to musical features or musical timings

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce a musical piece data by synchronizing it to a musical sound signal, based on information which is acquired from the musical sound signal. <P>SOLUTION: When a musical sound signal acquisition unit 211 acquires a second musical sound signal in which water mark information indicating a content of a musical piece data (for example, MIDI data) to be reproduced by synchronizing it to a first musical sound signal, is superposed, a first reproduction unit 212 reproduces a second musical sound signal (for example, the second musical sound signal after removing a frequency component of the water mark information). A decoder unit 213 decodes the water mark information from the acquired second musical sound signal. A reading unit 214 reads a musical piece data to be reproduced by synchronizing it to the second musical piece signal which is reproduced by the first reproduction unit 212. A second reproduction unit 215 specifies a content of the musical piece data to be reproduced by synchronizing it to the second musical piece signal to be reproduced by the first reproduction unit 212, based on a time code included in the decoded water mark information, and the specified content is reproduced. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、同期再生に関する。   The present invention relates to synchronous playback.

オーディオデータに同期して別の曲データを再生するための技術として、例えば特許文献１に開示されたものがある。特許文献１に記載された技術は、デジタルオーディオデータのＬＳＢ（Least Significant Bit）にＭＩＤＩ（Musical Instrument Digital Interface：登録商標）データを格納し、これらの関連付けに基づいて各データを再生するものである。   As a technique for reproducing another piece of music data in synchronization with audio data, for example, there is one disclosed in Patent Document 1. The technique described in Patent Document 1 stores MIDI (Musical Instrument Digital Interface: registered trademark) data in LSB (Least Significant Bit) of digital audio data, and reproduces each data based on the association thereof. .

特開２００３−３１６３５６号公報JP 2003-316356 A

ところで、インターネットなどの通信網を経由して曲データやオーディオデータを配信することがあるが、その際にそれらのデータを圧縮することがある。特許文献１に記載された技術では、オーディオデータを圧縮したり、アナログ形式の楽音信号に変換したりした場合に、同期再生に必要な情報が失われてしまい、その同期再生の妨げとなることがある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することを可能にする。 By the way, music data and audio data may be distributed via a communication network such as the Internet. At that time, the data may be compressed. In the technique described in Patent Document 1, when audio data is compressed or converted into an analog musical tone signal, information necessary for synchronized playback is lost, which hinders synchronized playback. There is.
The present invention has been made in view of the above-described problems, and an object thereof is to make it possible to reproduce music data in synchronization with a musical tone signal based on information obtained from the musical tone signal.

上述した目的を達成するために、本発明に係る再生装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段とを備えることを特徴とする。   In order to achieve the above-described object, the playback device according to the present invention has a band in which watermark information indicating the content of music data to be played back in synchronization with the first musical tone signal is higher than the frequency component of the first musical tone signal. Acquisition means for acquiring a second musical sound signal superimposed on the first musical sound signal; first reproduction means for reproducing the second musical sound signal acquired by the acquisition means; and decoding the watermark information from the acquired second musical sound signal. Decoding means; second playback means for specifying the content to be played back in synchronization with the second musical tone signal played back by the first playback means based on the decoded watermark information, and playing back the specified content; It is characterized by providing.

本発明の好ましい態様において、前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生することを特徴とする。   In a preferred aspect of the present invention, the watermark information includes song identification information for identifying song data and position information indicating a position where the song data is to be reproduced, and is identified by the song identification information and the song identification information. Reading means for reading out music data associated with music identification information included in the watermark information decoded by the decoding means from music data storage means for storing the music data in association with each other, and the second reproduction means Is characterized in that the content of the position indicated by the position information included in the watermark information of the song data read by the reading means is reproduced.

本発明に係る楽音信号出力装置は、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段とを備えることを特徴とする。
本発明に係る再生システムは、上記構成の楽音信号出力装置と、上記いずかの構成の再生装置とを備えることを特徴とする。 The musical sound signal output device according to the present invention includes superimposing means for superimposing watermark information indicating the content of music data to be reproduced in synchronization with the first musical sound signal in a band higher than the frequency component of the first musical sound signal, Output means for outputting a second musical sound signal on which watermark information is superimposed by the superimposing means.
A reproduction system according to the present invention includes a musical sound signal output device having the above-described configuration and a reproduction device having any one of the above-described configurations.

本発明に係るプログラムは、コンピュータを、第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、前記取得手段により取得された第２楽音信号を再生する第１再生手段と、前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段として機能させる。   The program according to the present invention is a second musical tone in which watermark information instructing the content of music data to be reproduced in synchronization with the first musical tone signal is superimposed on a band higher than the frequency component of the first musical tone signal. Acquisition means for acquiring a signal; first reproduction means for reproducing the second musical sound signal acquired by the acquisition means; decoding means for decoding the watermark information from the acquired second musical sound signal; and the first The contents to be reproduced in synchronization with the second musical tone signal reproduced by the reproducing means are specified based on the decoded watermark information, and function as second reproducing means for reproducing the specified contents.

本発明によれば、楽音信号から得られる情報に基づいて、その楽音信号に曲データを同期して再生することができる。   According to the present invention, music data can be reproduced in synchronization with a musical sound signal based on information obtained from the musical sound signal.

再生システムの構成を示すブロック図。The block diagram which shows the structure of a reproduction | regeneration system. 楽音信号出力装置の構成を示すブロック図。The block diagram which shows the structure of a musical tone signal output device. オーディオファイルの構造を説明する図。The figure explaining the structure of an audio file. 自動演奏装置のハードウェア構成を示すブロック図。The block diagram which shows the hardware constitutions of an automatic performance apparatus. ＭＩＤＩファイルの構造を説明する図。The figure explaining the structure of a MIDI file. 楽音信号出力装置の制御部が実現する機能的構成を示す機能ブロック図。The functional block diagram which shows the functional structure which the control part of a musical tone signal output device implement | achieves. 第２楽音信号の構造を説明する図。The figure explaining the structure of a 2nd musical sound signal. 第２楽音信号の時系列的な変化を説明するグラフ。The graph explaining the time-sequential change of a 2nd musical sound signal. 自動演奏装置の制御部が実現する機能的構成を示す機能ブロック図。The functional block diagram which shows the functional structure which the control part of an automatic performance apparatus implement | achieves. 第２再生部において実行される処理の内容を説明する図。The figure explaining the content of the process performed in a 2nd reproducing part. 再生システムの構成を示すブロック図。The block diagram which shows the structure of a reproduction | regeneration system. 再生システムの構成を示すブロック図。The block diagram which shows the structure of a reproduction | regeneration system.

以下、図面を参照しつつ本発明の一実施形態について説明する。
図１は、この実施形態の再生システム１の構成を示すブロック図である。
再生システム１は、楽音信号出力装置１０と自動演奏装置２０とを備える。楽音信号出力装置１０と自動演奏装置２０とはオーディオケーブル１００によって接続されている。楽音信号出力装置１０は、本発明の楽音信号出力装置の一例に相当し、オーディオケーブル１００を介して自動演奏装置２０に対して楽音信号を出力する。自動演奏装置２０は、本発明の再生装置の一例に相当し、ここでは自動演奏機能を有している電子ピアノである。なお、この明細書において、「楽音信号」は、楽音の波形を表すアナログ形式の波形信号である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing the configuration of the playback system 1 of this embodiment.
The reproduction system 1 includes a musical sound signal output device 10 and an automatic performance device 20. The musical tone signal output device 10 and the automatic performance device 20 are connected by an audio cable 100. The musical tone signal output device 10 corresponds to an example of the musical tone signal output device of the present invention, and outputs a musical tone signal to the automatic performance device 20 via the audio cable 100. The automatic performance device 20 corresponds to an example of a playback device of the present invention, and here is an electronic piano having an automatic performance function. In this specification, the “musical sound signal” is an analog waveform signal representing a musical sound waveform.

図２は、楽音信号出力装置１０の構成を示すブロック図である。図２に示すように、楽音信号出力装置１０は、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、出力インタフェース１５とを備える。
制御部１１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。ＣＰＵは、ＲＡＭをワークエリアとして用いてＲＯＭや記憶部１２に記憶されたプログラムを実行して、楽音信号出力装置１０の各部を制御する。記憶部１２は、例えばハードディスク装置を備えた記憶手段である。記憶部１２は、制御部１１が動作するためのプログラムを記憶するとともに、オーディオファイルが記憶されているオーディオファイル記憶領域１２１を有している。操作部１３は、例えばキーボードやマウスなどであり、利用者によって操作が行われると、その操作内容に応じた操作信号を制御部１１へ出力する。表示部１４は、例えば液晶ディスプレイを備える表示手段であり、各種の情報を表示する。出力インタフェース１５は、本発明の出力手段の一例に相当し、オーディオケーブル１００が接続される出力端子である。出力インタフェース１５は、制御部１１から供給される楽音信号を、オーディオケーブル１００を介して接続される自動演奏装置２０に出力するものである。 FIG. 2 is a block diagram showing the configuration of the musical tone signal output device 10. As shown in FIG. 2, the musical sound signal output device 10 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, and an output interface 15.
The control unit 11 includes a central processing unit (CPU), a read only memory (ROM), and a random access memory (RAM). The CPU executes each program stored in the ROM or the storage unit 12 using the RAM as a work area, and controls each unit of the musical tone signal output device 10. The storage unit 12 is a storage unit including a hard disk device, for example. The storage unit 12 stores a program for operating the control unit 11 and has an audio file storage area 121 in which an audio file is stored. The operation unit 13 is, for example, a keyboard or a mouse. When an operation is performed by a user, the operation unit 13 outputs an operation signal corresponding to the operation content to the control unit 11. The display unit 14 is a display unit including a liquid crystal display, for example, and displays various types of information. The output interface 15 corresponds to an example of output means of the present invention, and is an output terminal to which the audio cable 100 is connected. The output interface 15 outputs the musical sound signal supplied from the control unit 11 to the automatic performance device 20 connected via the audio cable 100.

図３は、オーディオファイル記憶領域１２１に記憶されているオーディオファイルＡｕｄの構造を説明する図である。
オーディオファイルＡｕｄは、ＳｏｎｇＩＤとオーディオデータとの各情報を対応付けたものである。オーディオデータは、或る楽曲の楽器演奏や歌唱などによって発生する音が時系列的に規定されたデータである。オーディオデータは、例えば、音を表すアナログ形式の波形信号が特定のサンプリング周波数（例えば、４４．１ｋＨｚ）に従って標本化された後、量子化されたデジタルデータを表す。ＳｏｎｇＩＤは、オーディオファイル記憶領域１２１に記憶される各オーディオファイルを一意に識別する識別情報である。 FIG. 3 is a diagram for explaining the structure of the audio file Aud stored in the audio file storage area 121.
The audio file Aud associates each information of SongID and audio data. The audio data is data in which sounds generated by playing a musical instrument or singing a certain music are defined in time series. The audio data represents, for example, digital data quantized after an analog waveform signal representing sound is sampled according to a specific sampling frequency (for example, 44.1 kHz). SongID is identification information for uniquely identifying each audio file stored in the audio file storage area 121.

図４は、自動演奏装置２０のハードウェア構成を示すブロック図である。図４に示すように、自動演奏装置２０は、制御部２１と、入力インタフェース２２と、記憶部２３と、スピーカ２４と、演奏操作部２５と、楽音信号生成部２６とを備える。
制御部２１は、制御部１１と同等の構成のほかシーケンサ（ここでは、ＭＩＤＩシーケンサ）としての機能を実現するための構成を有している。制御部２１のＣＰＵは、ＲＯＭや記憶部２３に記憶されたプログラムを実行して自動演奏装置２０の各部を制御する。入力インタフェース２２は、オーディオケーブル１００が接続される入力端子である。入力インタフェース２２には、楽音信号出力装置１０から供給される楽音信号が入力される。記憶部２３は、例えばハードディスク装置を備えた記憶手段であり、制御部２１が動作するためのプログラムを記憶するとともに、ＭＩＤＩファイルが記憶されているＭＩＤＩファイル記憶領域２３１を有している。スピーカ２４は、制御部２１により再生される楽音信号や、本発明の曲データの一例に相当するＭＩＤＩデータに応じて放音する放音手段に相当するものである。演奏操作部２５は、演奏者の演奏操作を受け付けるものであり、複数の鍵を有するピアノ鍵盤などの演奏操作子や、演奏操作を検知するセンサ、演奏者の操作がなくとも各鍵を押下させるための駆動回路などを有している。演奏操作部２５は、演奏者による演奏操作を受け付けると、その演奏操作をセンサによって検出し、検出した内容を示す演奏情報を制御部２１に出力する。楽音信号生成部２６は、音源回路やＤＳＰ（Digital Signal Processor）を備え、制御部２１から供給される演奏情報に従って音声処理を行い、演奏情報に応じた楽音信号を生成して制御部２１に出力する。制御部２１は、その楽音信号をスピーカ２４に出力して、楽音信号に応じた楽音を放音させる。 FIG. 4 is a block diagram showing a hardware configuration of the automatic performance device 20. As shown in FIG. 4, the automatic performance device 20 includes a control unit 21, an input interface 22, a storage unit 23, a speaker 24, a performance operation unit 25, and a musical sound signal generation unit 26.
The control unit 21 has a configuration for realizing a function as a sequencer (here, a MIDI sequencer) in addition to the same configuration as the control unit 11. The CPU of the control unit 21 controls each unit of the automatic performance device 20 by executing a program stored in the ROM or the storage unit 23. The input interface 22 is an input terminal to which the audio cable 100 is connected. A musical sound signal supplied from the musical sound signal output device 10 is input to the input interface 22. The storage unit 23 is a storage unit including, for example, a hard disk device, and stores a program for operating the control unit 21 and has a MIDI file storage area 231 in which a MIDI file is stored. The speaker 24 corresponds to sound emitting means for emitting sound according to a musical sound signal reproduced by the control unit 21 and MIDI data corresponding to an example of music data of the present invention. The performance operation unit 25 receives a performance operation of the performer, and performs a performance operation element such as a piano keyboard having a plurality of keys, a sensor for detecting the performance operation, and presses each key without any operation by the performer. For example, a driving circuit. When the performance operation unit 25 receives a performance operation by the performer, the performance operation unit 25 detects the performance operation by a sensor and outputs performance information indicating the detected content to the control unit 21. The tone signal generation unit 26 includes a tone generator circuit and a DSP (Digital Signal Processor), performs sound processing according to performance information supplied from the control unit 21, generates a tone signal corresponding to the performance information, and outputs the tone signal to the control unit 21. To do. The control unit 21 outputs the musical sound signal to the speaker 24 and emits a musical sound corresponding to the musical sound signal.

図５は、ＭＩＤＩファイル記憶領域２３１に記憶されているＭＩＤＩファイルの構造を説明する図である。ＭＩＤＩファイルＭｉｄは、例えば１つの楽曲に対応しており、曲ＩＤと、ＳｏｎｇＩＤと、ＭＩＤＩデータとの各情報を対応付けたものである。曲ＩＤは、各ＭＩＤＩファイルを一意に識別する識別情報である。ＭＩＤＩデータは、特定の楽音の発音や消音などといった演奏制御を指示するイベントや、イベント間の発生時間間隔を示すデルタタイムを含む演奏制御情報である。ＳｏｎｇＩＤは、本発明の曲識別情報の一例に相当し、オーディオファイル記憶領域１２１に記憶されたオーディオファイルＡｕｄに割り当てられたものと対応している。このＳｏｎｇＩＤは、自動演奏装置２０がオーディオファイルＡｕｄを基に生成された楽音信号を再生する際に、どのＭＩＤＩデータを再生するかを選択可能にするために割り当てられた識別情報である。
以上の構造を有するＭＩＤＩファイル記憶領域２３１は、本発明の曲データ記憶手段の一例に相当するものである。 FIG. 5 is a diagram for explaining the structure of the MIDI file stored in the MIDI file storage area 231. The MIDI file Mid corresponds to, for example, one piece of music, and associates each piece of information of music ID, Song ID, and MIDI data. The song ID is identification information for uniquely identifying each MIDI file. The MIDI data is performance control information including an event instructing performance control such as sound generation and muting of a specific musical sound, and a delta time indicating an occurrence time interval between events. The SongID corresponds to an example of the music identification information of the present invention, and corresponds to the one assigned to the audio file Aud stored in the audio file storage area 121. This SongID is identification information assigned to enable selection of which MIDI data to reproduce when the automatic performance apparatus 20 reproduces a musical tone signal generated based on the audio file Aud.
The MIDI file storage area 231 having the above structure corresponds to an example of the music data storage means of the present invention.

次に、楽音信号出力装置１０及び自動演奏装置２０によって実現される機能について説明する。
［楽音信号出力装置１０］
楽音信号出力装置１０によって実現される機能について説明する。
図６は、楽音信号出力装置１０の制御部１１が実現する機能的構成を示す機能ブロック図である。制御部１１は、再生時刻特定部１１１、透かし情報生成部１１２、前処理部１１３、及び重畳部１１４に相当する機能を実現する。なお、後述する透かし情報が重畳される前の楽音信号であり、制御部１１が実現する各機能において処理対象となる楽音信号のことを、以下では「第１楽音信号」と称する。なお、制御部１１は、利用者により操作部１３が操作されて指定されたオーディオファイルＡｕｄをオーディオファイル記憶領域１２１から読み出し、そこに含まれるオーディオデータを基に第１楽音信号を生成する。 Next, functions realized by the musical tone signal output device 10 and the automatic performance device 20 will be described.
[Music signal output device 10]
The functions realized by the tone signal output device 10 will be described.
FIG. 6 is a functional block diagram showing a functional configuration realized by the control unit 11 of the musical tone signal output device 10. The control unit 11 realizes functions corresponding to the reproduction time specifying unit 111, the watermark information generating unit 112, the preprocessing unit 113, and the superimposing unit 114. Note that a tone signal that is a tone signal before superimposing watermark information, which will be described later, and is a processing target in each function realized by the control unit 11 is hereinafter referred to as a “first tone signal”. The control unit 11 reads the audio file Aud designated by the operation of the operation unit 13 by the user from the audio file storage area 121, and generates a first musical sound signal based on the audio data included therein.

再生時刻特定部１１１は、第１楽音信号の再生位置を表す再生時刻を特定する。再生時刻は、オーディオデータの開始位置を基準としたとき（ここでは、「０：００」とする。）の再生位置を表すものである。再生時刻特定部１１１は、オーディオファイルＡｕｄを参照することにより再生時刻を特定し得る。
透かし情報生成部１１２は、第１楽音信号に重畳されることとなる透かし情報を生成する。ここでの透かし情報は、ＳｏｎｇＩＤと、再生時刻（つまり、再生位置）を示す位置情報（以下、「タイムコード」という。）とを含むビット列である。なお、透かし情報生成部１１２は、オーディオファイルＡｕｄからＳｏｎｇＩＤを特定し得る。
前処理部１１３は、例えばＬＰＦ（Low Pass Filter）を備えており、第１楽音信号に前処理を施す。具体的には、前処理部１１３は、前処理としてＬＰＦを用いたフィルタリング処理を第１楽音信号に施し、第１楽音信号の周波数成分のうち透かし情報が重畳されることとなる帯域に含まれる周波数成分を遮断する。すなわち、このＬＰＦは、遮断周波数をｆ0とする特性を持つものである。 The reproduction time specifying unit 111 specifies a reproduction time representing the reproduction position of the first musical sound signal. The reproduction time represents the reproduction position when the start position of the audio data is used as a reference (here, “0:00”). The playback time specifying unit 111 can specify the playback time by referring to the audio file Aud.
The watermark information generation unit 112 generates watermark information to be superimposed on the first musical sound signal. The watermark information here is a bit string including SongID and position information (hereinafter referred to as “time code”) indicating a reproduction time (that is, reproduction position). Note that the watermark information generation unit 112 can specify the Song ID from the audio file Audi.
The preprocessing unit 113 includes, for example, an LPF (Low Pass Filter), and preprocesses the first musical sound signal. Specifically, the preprocessing unit 113 performs filtering processing using LPF as preprocessing on the first musical sound signal, and is included in a band in which watermark information is superimposed among frequency components of the first musical sound signal. Cuts off frequency components. That is, this LPF has a characteristic in which the cutoff frequency is f 0 .

重畳部１１４は、上記前処理が施された後の第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報を、その第１楽音信号に重畳する。ここでは、重畳部１１４は、第１楽音信号を搬送するための搬送波を表す搬送波信号を透かし情報に基づいて位相変調することにより、第１楽音信号の周波数成分よりも高い帯域に透かし情報が含まれるようにする。このようにして、第１楽音信号に透かし情報が重畳された楽音信号のことを、以下では「第２楽音信号」と称する。すなわち、第２楽音信号は、第１楽音信号と、透かし情報の波形を表す波形信号とが合成された楽音信号である。
なお、オーディオデータが複数チャネルからなる場合には、重畳部１１４は少なくとも１チャネルの第１楽音信号に透かし情報を重畳して第２楽音信号を生成すればよい。 The superimposing unit 114 superimposes the watermark information indicating the content of the music data to be reproduced in synchronization with the first musical sound signal after the above preprocessing is performed on the first musical sound signal. Here, the superimposing unit 114 includes the watermark information in a band higher than the frequency component of the first musical sound signal by phase-modulating the carrier signal representing the carrier wave for carrying the first musical sound signal based on the watermark information. To be. The tone signal in which watermark information is superimposed on the first tone signal in this way is hereinafter referred to as a “second tone signal”. That is, the second musical tone signal is a musical tone signal obtained by synthesizing the first musical tone signal and the waveform signal representing the waveform of the watermark information.
When the audio data is composed of a plurality of channels, the superimposing unit 114 may generate the second music signal by superimposing the watermark information on the first music signal of at least one channel.

図７は、第２楽音信号の構造を説明する図である。図７に示すグラフにおいて、横軸は周波数ｆを表しており、縦軸は周波数成分の音圧レベルを模式的に表したものである。図７に示すように、第２楽音信号にあっては、周波数ｆ0よりも低い周波数帯域に第１楽音信号の周波数成分が含まれており、周波数ｆ0よりも高い周波数帯域に透かし情報の周波数成分が含まれている。第１楽音信号は例えば可聴域（およそ２０Ｈｚ〜２０ｋＨｚ）に周波数成分を持つものであり、可聴域よりも高い帯域に透かし情報を重畳する帯域が確保されるからである。周波数ｆ0は、例えば２０ｋＨｚ以上のように可聴域外であることが好ましい。この場合、第２楽音信号に応じた楽音が放音された場合であっても、人間の耳には透かし情報に相当する音声を聴き取ることができないため聴感上の影響が少ないからである。また、楽音信号を圧縮するときのエンコーダの特性や、Ａ（アナログ）／Ｄ（デジタル）変換に用いるＡ／Ｄ変換器の特性などにより、可聴域外に重畳された透かし情報を維持することができない場合などには、例えば１５ｋＨｚ以上のように可聴域の比較的帯域に透かし情報が重畳されてもよい。要するに、第１楽音信号の周波数成分よりも高い帯域であって、聴感上の影響が低い帯域に透かし情報が重畳されることが好ましい。
出力インタフェース１５は、重畳部１１４により透かし情報が重畳された楽音信号である第２楽音信号を、自動演奏装置２０の制御部２１によって取得されるように出力する。制御部１１は、或る処理単位毎に供給される第１楽音信号に対して上記各機能により実現される処理を繰り返し行って、自動演奏装置２０に出力するための第２楽音信号を生成する。 FIG. 7 is a diagram for explaining the structure of the second musical sound signal. In the graph shown in FIG. 7, the horizontal axis represents the frequency f, and the vertical axis schematically represents the sound pressure level of the frequency component. As shown in FIG. 7, in the second tone signal, the frequency band lower than the frequency f 0 includes frequency components of the first tone signal, the watermark information in a frequency band higher than the frequency f 0 Contains frequency components. This is because the first musical sound signal has, for example, a frequency component in an audible range (approximately 20 Hz to 20 kHz), and a band for superimposing watermark information on a band higher than the audible range is secured. The frequency f 0 is preferably outside the audible range, for example 20 kHz or more. In this case, even when a musical sound corresponding to the second musical sound signal is emitted, the human ear cannot hear the sound corresponding to the watermark information, so that the influence on the audibility is small. Also, the watermark information superimposed outside the audible range cannot be maintained due to the characteristics of the encoder when compressing the musical sound signal and the characteristics of the A / D converter used for A (analog) / D (digital) conversion. In some cases, watermark information may be superimposed on a relatively audible band such as 15 kHz or higher. In short, it is preferable that the watermark information is superimposed on a band that is higher in frequency than the frequency component of the first musical sound signal and has a low influence on hearing.
The output interface 15 outputs a second musical sound signal, which is a musical sound signal on which watermark information is superimposed by the superimposing unit 114, so as to be acquired by the control unit 21 of the automatic performance device 20. The control unit 11 repeatedly performs the processing realized by the above functions on the first musical tone signal supplied for each processing unit, and generates a second musical tone signal to be output to the automatic performance device 20. .

図８は、出力インタフェース１５により出力される第２楽音信号の時系列的な変化を説明する図である。図８に示すグラフにおいて、横軸は時刻ｔを表しており、縦軸は第２楽音信号の振幅を表す。図８において、実線で示す波形が第２楽音信号を表すものであり、それに沿って描かれる破線はエンベロープを表す。
図８に示すように、第２楽音信号にはあっては、図中矢印で示す各区間にそれぞれ対応する再生時刻を示すタイムコードと、ＳｏｎｇＩＤとを含む透かし情報が重畳されている。ここでは、１つのオーディオファイルＡｕｄから生成される第２楽音信号は１つの楽曲に対応するので、ＳｏｎｇＩＤはすべて「００１」と共通している。また、タイムコードが示す再生時刻は時系列的に順番に「０：０１」、「０：０２」、・・・とされており、ここでは１秒刻みで定められている。 FIG. 8 is a diagram for explaining a time-series change in the second musical sound signal output from the output interface 15. In the graph shown in FIG. 8, the horizontal axis represents time t, and the vertical axis represents the amplitude of the second musical sound signal. In FIG. 8, a waveform indicated by a solid line represents the second musical sound signal, and a broken line drawn along the waveform represents an envelope.
As shown in FIG. 8, in the second musical sound signal, watermark information including a time code indicating a reproduction time corresponding to each section indicated by an arrow and a Song ID is superimposed. Here, since the second musical tone signal generated from one audio file Aud corresponds to one piece of music, all SongIDs are common to “001”. In addition, the reproduction times indicated by the time code are “0:01”, “0:02”,... In order of time series, and are set in increments of 1 second here.

［自動演奏装置２０］
次に、自動演奏装置２０によって実現される機能について説明する。
図９は、自動演奏装置２０の制御部２１が実現する機能的構成を示す機能ブロック図である。制御部２１はプログラムを実行することにより、楽音信号取得部２１１、第１再生部２１２、復号部２１３、読出部２１４、及び第２再生部２１５に相当する各機能を実現する。
楽音信号取得部２１１は、楽音信号出力装置１０により出力された第２楽音信号を入力インタフェース２２から取得する。すなわち、楽音信号取得部２１１は、本発明の取得手段の一例に相当する。 [Automatic performance device 20]
Next, functions realized by the automatic performance device 20 will be described.
FIG. 9 is a functional block diagram showing a functional configuration realized by the control unit 21 of the automatic performance device 20. The control unit 21 executes the program to realize functions corresponding to the musical sound signal acquisition unit 211, the first reproduction unit 212, the decoding unit 213, the reading unit 214, and the second reproduction unit 215.
The tone signal acquisition unit 211 acquires the second tone signal output by the tone signal output device 10 from the input interface 22. That is, the tone signal acquisition unit 211 corresponds to an example of an acquisition unit of the present invention.

第１再生部２１２は、例えば遮断周波数をｆ0とするＬＰＦを備えており、楽音信号取得部２１１により取得された第２楽音信号にこのＬＰＦを用いたフィルタリング処理を施してから、第２楽音信号を再生する。これにより、第１再生部２１２は、透かし情報の周波数成分を除去した後の第２楽音信号を再生することになるから、その再生内容は理想的には第１楽音信号の場合と同等となる。つまり、第１再生部２１２は、第１楽音信号に応じた楽音がスピーカ２４によって放音されるように、第２楽音信号を再生することとなる。すなわち、第１再生部２１２は、本発明の第１再生手段の一例に相当する。
なお、可聴域外に透かし情報の周波数成分が含まれる場合や、透かし情報の周波数成分の音圧レベルが低い場合などには、透かし情報に相当する音声に対する聴感上の影響が少ないため、上記フィルタリング処理を省略してもよい。つまり、第１再生部２１２は、楽音信号取得部２１１により取得された第２楽音信号をそのまま再生してもよい。 The first reproduction unit 212 includes an LPF having a cutoff frequency of f 0 , for example, and performs a filtering process using this LPF on the second musical tone signal acquired by the musical tone signal acquisition unit 211 and then the second musical tone. Play the signal. As a result, the first reproduction unit 212 reproduces the second musical sound signal after removing the frequency component of the watermark information, so that the reproduction content is ideally equivalent to the case of the first musical sound signal. . That is, the first reproduction unit 212 reproduces the second musical sound signal so that the musical sound corresponding to the first musical sound signal is emitted by the speaker 24. That is, the first reproduction unit 212 corresponds to an example of the first reproduction unit of the present invention.
In addition, when the frequency component of the watermark information is included outside the audible range, or when the sound pressure level of the frequency component of the watermark information is low, the above-described filtering process is performed because the audible effect on the sound corresponding to the watermark information is small. May be omitted. That is, the first reproduction unit 212 may reproduce the second music signal acquired by the music signal acquisition unit 211 as it is.

復号部２１３は、例えば遮断周波数をｆ0とするＨＰＦ（High Pass Filter）を備え、第２楽音信号から透かし情報を復号する。上述したように、透かし情報の周波数成分は第１楽音信号よりも高い帯域に含まれる。よって、復号部２１３は、このＨＰＦを用いたフィルタリング処理を施して、第２楽音信号から透かし情報に相当する周波数成分を取り出すことができる。そして、復号部２１３は、このフィルタリング処理により取り出した信号を復調することによって透かし情報を復号する。すなわち、復号部２１３は、本発明の復号手段の一例に相当する。
読出部２１４は、復号部２１３により復号された透かし情報に基づいてＳｏｎｇＩＤを特定し、特定したＳｏｎｇＩＤに対応付けられたＭＩＤＩデータを、ＭＩＤＩファイル記憶領域２３１から読み出す。すなわち、読出部２１４は、本発明の読出手段の一例に相当する。 The decoding unit 213 includes, for example, an HPF (High Pass Filter) having a cutoff frequency of f 0, and decodes watermark information from the second musical sound signal. As described above, the frequency component of the watermark information is included in a higher band than the first musical tone signal. Therefore, the decoding unit 213 can perform a filtering process using the HPF to extract a frequency component corresponding to the watermark information from the second musical sound signal. And the decoding part 213 decodes watermark information by demodulating the signal taken out by this filtering process. That is, the decoding unit 213 corresponds to an example of the decoding unit of the present invention.
The reading unit 214 identifies the Song ID based on the watermark information decoded by the decoding unit 213, and reads the MIDI data associated with the specified Song ID from the MIDI file storage area 231. That is, the reading unit 214 corresponds to an example of the reading unit of the present invention.

第２再生部２１５は、第１再生部２１２により再生される第２楽曲信号に同期して再生すべき曲データの内容を透かし情報に基づいて特定し、特定した内容を再生する。第２再生部２１５は、読出部２１４により読み出されたＭＩＤＩデータのうち、復号部２１３により復号された透かし情報から復号したタイムコードが示す再生時刻の内容を再生する。これにより、第２再生部２１５は、第１再生部２１２により再生される第２楽音信号に同期して、その第２楽音信号の再生時刻に対応するＭＩＤＩデータの内容を再生することができる。すなわち、第２再生部２１５は、本発明の第２再生手段の一例に相当する。   The second playback unit 215 specifies the content of music data to be played back in synchronization with the second music signal played back by the first playback unit 212 based on the watermark information, and plays back the specified content. The second reproduction unit 215 reproduces the content of the reproduction time indicated by the time code decoded from the watermark information decoded by the decoding unit 213 among the MIDI data read by the reading unit 214. As a result, the second playback unit 215 can play back the content of the MIDI data corresponding to the playback time of the second music signal in synchronization with the second music signal played back by the first playback unit 212. That is, the second reproduction unit 215 corresponds to an example of the second reproduction unit of the present invention.

図１０は、第２再生部２１５において実行される処理の内容を説明する図である。
第２再生部２１５が再生時刻を特定すると、ＭＩＤＩデータのうちこの再生時刻に対応するイベントを特定する。例えば再生時刻が「０：０４」である場合に同期して再生すべき曲データ内容が、図中実線矢印で示すイベントＥ３であるとする。この場合、第２再生部２１５は、イベントＥ３を表すイベントデータに基づいてＭＩＤＩデータを再生する。ところで、例えば復号部２１３、読出部２１４及び第２再生部２１５において実行される処理には或る処理時間を要する。よって、その処理時間（例えば、１００ｍｓ）をあらかじめ見込んでおき、第２再生部２１５は透かし情報から特定した再生時刻よりもその処理時間だけ先のイベントデータに基づいてＭＩＤＩデータを再生するとよい。また、第２再生部２１５が再生時刻「０：０４」を特定したときに、図中点線矢印で示すようにイベントＥ１を表すイベントデータに基づいてＭＩＤＩデータを再生している場合のように、ＭＩＤＩデータと第２楽音信号との再生タイミングが意図するものからずれている場合には、第２再生部２１５は、イベントＥ１，Ｅ２を省略したり、テンポを早くしたりする（デルタタイムを短くする）などして、同期再生が実現されるようにするとよい。 FIG. 10 is a diagram for explaining the contents of processing executed in the second playback unit 215.
When the second playback unit 215 specifies the playback time, the event corresponding to the playback time is specified in the MIDI data. For example, when the reproduction time is “0:04”, the music data content to be reproduced in synchronization is event E3 indicated by a solid line arrow in the figure. In this case, the second playback unit 215 plays back the MIDI data based on the event data representing the event E3. By the way, for example, processing executed in the decoding unit 213, the reading unit 214, and the second reproduction unit 215 requires a certain processing time. Therefore, the processing time (for example, 100 ms) is expected in advance, and the second playback unit 215 may play back the MIDI data based on the event data that is earlier than the playback time specified from the watermark information by the processing time. Further, when the second playback unit 215 specifies the playback time “0:04”, the MIDI data is played back based on the event data representing the event E1 as indicated by the dotted arrow in the figure. If the playback timing of the MIDI data and the second musical tone signal deviates from the intended timing, the second playback unit 215 omits the events E1 and E2 or speeds up the tempo (shortens the delta time). Etc.) to achieve synchronized playback.

制御部１１は、以上の手順により同期再生を行うとともに、さらに、演奏操作部２５により受け付けられた演奏操作に応じて生成された楽音信号を合成し、その合成後の楽音信号に応じた楽音をスピーカ２４に放音させる。また、制御部１１は、ＭＩＤＩデータの再生内容に応じて演奏操作部２５の駆動回路を駆動することにより、演奏者の操作がなくとも対応する各鍵を押下させる。   The control unit 11 performs synchronized playback according to the above procedure, and further synthesizes the musical sound signals generated according to the performance operation accepted by the performance operation unit 25, and generates the musical sound according to the synthesized musical sound signal. The speaker 24 emits sound. Further, the control unit 11 drives the drive circuit of the performance operation unit 25 in accordance with the reproduction content of the MIDI data, thereby pressing the corresponding key even if there is no operation by the performer.

以上説明した実施形態によると、楽音信号出力装置１０は、第１楽音信号とＭＩＤＩデータとを同期再生するために使用する透かし情報をその第１楽音信号に重畳し、それを第２楽音信号として出力する。自動演奏装置２０は、第２楽音信号に同期して再生すべきＭＩＤＩデータの内容を透かし情報に基づいて特定し、特定したＭＩＤＩデータの内容と第２楽音信号とを同期再生する。また、楽音信号出力装置１０や自動演奏装置２０が第２楽音信号をデータ圧縮した場合に、仮にＳｏｎｇＩＤやタイムコードの一部が失われたとしても、その失われた期間においてのみＭＩＤＩデータの再生すべき内容を特定できないもののその期間においてもＭＩＤＩデータを継続して再生することはできるので、さほど同期再生の妨げとはならない。
以上のように、再生システム１によれば、楽音信号から得られる情報に基づいて、その楽音信号と曲データとを同期再生することができる。 According to the embodiment described above, the musical tone signal output device 10 superimposes watermark information used for synchronously reproducing the first musical tone signal and the MIDI data on the first musical tone signal, and uses it as the second musical tone signal. Output. The automatic performance device 20 identifies the content of the MIDI data to be reproduced in synchronization with the second musical tone signal based on the watermark information, and reproduces the content of the identified MIDI data and the second musical tone signal in synchronization. Further, when the musical tone signal output device 10 or the automatic performance device 20 compresses the second musical tone signal, even if a part of the SongID or time code is lost, the MIDI data is reproduced only in the lost period. Although the contents to be specified cannot be specified, MIDI data can be continuously played back during that period, so that it does not hinder synchronous playback so much.
As described above, according to the reproduction system 1, the music signal and the music data can be synchronously reproduced based on the information obtained from the music signal.

［変形例］
本発明は、上述した実施形態と異なる形態で実施することが可能である。また、以下に示す変形例は、各々を適宜に組み合わせてもよい。
（変形例１）
上述した実施形態では、楽音信号出力装置１０は、ＳｏｎｇＩＤとタイムコードとを含む透かし情報を第１楽音信号に重畳していた。これに代えて、楽音信号出力装置１０は、透かし情報としてＭＩＤＩデータを第１楽音信号に重畳するようにしてもよい。この場合も透かし情報は、第１楽音信号に同期して再生すべきＭＩＤＩデータの内容を指示する情報である。この変形例の構成においては、上述した実施形態の自動演奏装置２０が記憶していたＭＩＤＩファイルを楽音信号出力装置１０が記憶すればよく、自動演奏装置２０はそれを記憶していなくてもよい。 [Modification]
The present invention can be implemented in a form different from the above-described embodiment. Further, the following modifications may be combined as appropriate.
(Modification 1)
In the embodiment described above, the musical sound signal output device 10 superimposes watermark information including SongID and time code on the first musical sound signal. Instead, the musical tone signal output device 10 may superimpose MIDI data as watermark information on the first musical tone signal. Also in this case, the watermark information is information indicating the content of the MIDI data to be reproduced in synchronization with the first musical tone signal. In the configuration of this modification, the music signal output device 10 may store the MIDI file stored in the automatic performance device 20 of the above-described embodiment, and the automatic performance device 20 may not store the MIDI file. .

この変形例の構成において、透かし情報生成部１１２は、第１楽音信号と同期して再生するべきＭＩＤＩデータの内容を特定し、その内容を示すビット列を透かし情報として生成する。重畳部１１４は、その透かし情報を実施形態で説明したものと同じ態様で第１楽音信号に重畳する。楽音信号出力装置１０が実行するその他の処理は、実施形態で説明したものと同じである。一方、自動演奏装置２０の第２再生部２１５は、第２楽音信号から復号された透かし情報に基づいてＭＩＤＩデータの内容を特定し、特定した内容を再生する。
この構成によれば、同期再生すべきＭＩＤＩデータを楽音信号出力装置１０側で指定することができるため、新たなＭＩＤＩファイルを自動演奏装置２０に記憶させなくてもよい。一方で、この構成の場合、透かし情報のデータ量が実施形態の構成よりも大きくなり得るので、透かし情報の重畳やその復号に要する処理時間が実施形態の場合よりも長くなるいことが考えられる。しかしながら、この場合も、それらの処理に要する処理時間をあらかじめ見込んで第２再生部２１５が再生時刻を特定することにより、同期再生は実施形態と同じように実現される。 In the configuration of this modification, the watermark information generation unit 112 specifies the content of MIDI data to be reproduced in synchronization with the first musical tone signal, and generates a bit string indicating the content as watermark information. The superimposing unit 114 superimposes the watermark information on the first musical sound signal in the same manner as described in the embodiment. Other processes executed by the tone signal output apparatus 10 are the same as those described in the embodiment. On the other hand, the second reproduction unit 215 of the automatic performance device 20 identifies the content of the MIDI data based on the watermark information decoded from the second musical tone signal, and reproduces the identified content.
According to this configuration, since the MIDI data to be synchronously reproduced can be designated on the musical tone signal output device 10 side, a new MIDI file need not be stored in the automatic performance device 20. On the other hand, in this configuration, the data amount of the watermark information can be larger than that in the configuration of the embodiment, so it is considered that the processing time required for the superimposition and decoding of the watermark information is longer than in the embodiment. . However, in this case as well, synchronous playback is realized in the same manner as in the embodiment by allowing the second playback unit 215 to specify the playback time by estimating the processing time required for these processes in advance.

（変形例２）
上述した実施形態では、楽音信号出力装置１０と自動演奏装置２０とがオーディオケーブル１００によって接続されていたが、以下に説明する再生システム１ａの構成としてもよい。
図１１は、再生システム１ａの構成を示すブロック図である。再生システム１ａは、楽音信号出力装置１０ａと自動演奏装置２０ａとにより構成される。なお、図１１においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ａは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ａは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ａは、出力インタフェース１５に代えて、例えば自装置に着脱自在なスピーカ１６を備える。スピーカ１６は、制御部１１から供給される楽音信号に応じて放音する放音手段に相当する。一方、自動演奏装置２０ａは、入力インタフェース２２に代えて、例えば自装置に着脱自在なマイクロホン２７を備える。マイクロホン２７は、収音し、収音した音声を表す音声信号を制御部２１に出力する収音手段に相当するものである。また、スピーカ１６によって放音された音がマイクロホン２７によって収音されるように、楽音信号出力装置１０ａと自動演奏装置２０ａとは或る程度近接して設置される。 (Modification 2)
In the above-described embodiment, the musical sound signal output device 10 and the automatic performance device 20 are connected by the audio cable 100. However, a configuration of a reproduction system 1a described below may be employed.
FIG. 11 is a block diagram showing the configuration of the playback system 1a. The reproduction system 1a includes a musical tone signal output device 10a and an automatic performance device 20a. In FIG. 11, the musical tone signal output device 10a has the same configuration as the musical tone signal output device 10 except for the control units 11 and 21, and the automatic performance device 20a has an automatic performance. It has the same configuration as the device 20.
The musical sound signal output device 10a includes, for example, a speaker 16 that is detachable from the device itself, instead of the output interface 15. The speaker 16 corresponds to sound emitting means that emits sound according to a musical sound signal supplied from the control unit 11. On the other hand, the automatic performance device 20a includes, for example, a microphone 27 that is detachable from the own device instead of the input interface 22. The microphone 27 corresponds to sound collection means for collecting sound and outputting a sound signal representing the collected sound to the control unit 21. In addition, the musical sound signal output device 10a and the automatic performance device 20a are installed to some extent so that the sound emitted by the speaker 16 is collected by the microphone 27.

この構成において、楽音信号出力装置１０ａの制御部１１は、生成した第２楽音信号をスピーカ１６に出力（つまり、放音出力）し、この第２楽音信号に応じた楽音をスピーカ１６に放音させる。自動演奏装置２０ａの制御部２１は、スピーカ１６によって放音された楽音をマイクロホン２７に収音させ、その収音結果を表す音声信号を第２楽音信号として取得する。制御部２１は、この第２楽音信号から実施形態と同じ手順により透かし情報を復号することで、実施形態と同等の同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この変形例の構成であっても実施形態の場合と同等の効果を奏する。   In this configuration, the control unit 11 of the tone signal output device 10a outputs the generated second tone signal to the speaker 16 (that is, outputs sound) and emits the tone corresponding to the second tone signal to the speaker 16. Let The control unit 21 of the automatic performance device 20a collects the musical sound emitted by the speaker 16 on the microphone 27, and acquires a sound signal representing the sound collection result as the second musical sound signal. The control unit 21 decodes the watermark information from the second musical sound signal by the same procedure as in the embodiment, thereby realizing synchronized playback equivalent to that in the embodiment. The other processes are the same as those described in the embodiment, and even the configuration of this modified example has the same effect as that of the embodiment.

また、以下の再生システム１ｂの構成に変形してもよい。図１２は、再生システム１ｂの構成を示すブロック図である。再生システム１ｂは、楽音信号出力装置１０ｂと自動演奏装置２０ｂとにより構成される。なお、図１２においては、制御部１１，２１を除く、図示するもの以外の構成については、楽音信号出力装置１０ｂは楽音信号出力装置１０と同等の構成を有し、自動演奏装置２０ｂは自動演奏装置２０と同等の構成を有している。
楽音信号出力装置１０ｂは、第２楽音信号を送信出力する機能を持つ送信機であり、例えば放送局の送信機である。自動演奏装置２０ｂは、楽音信号出力装置１０ｂにより送信出力された第２楽音信号を受信する機能を持つ受信機であり、例えば放送局により放送された音声を聴く利用者により所有される。楽音信号出力装置１０ｂは、出力インタフェース１５に代えて送信部１７を備える。送信部１７は、制御部１１から供給される第２楽音信号に応じて搬送波を表す搬送波信号を変調して送信用信号を生成し、これを送信出力する。自動演奏装置２０ｂは、入力インタフェース２２に代えて受信部２８を備える。受信部２８は、楽音信号出力装置１０ｂにより送信された送信用信号を受信すると、これを復調することによって第２楽音信号を取り出し、制御部２１に出力する。制御部２１は、この第２楽音信号から実施形態と同等の手法により透かし情報を復号し、同期再生を実現する。その他の処理は実施形態で説明したものと同じであり、この構成であっても実施形態の場合と同等の効果を奏する。
この構成によれば、自動演奏装置２０ｂを所有する利用者は、自身の自動演奏装置２０ｂを用いて遠隔地にある楽音信号出力装置１０ｂにより出力された楽音信号が表す楽音と同期演奏（同期再生）を楽しむことができる。一方、自動演奏装置２０ｂを所有しない利用者であっても、楽音の聴取上の悪影響は少ない。 Moreover, you may deform | transform into the structure of the following reproduction | regeneration systems 1b. FIG. 12 is a block diagram showing the configuration of the playback system 1b. The reproduction system 1b includes a musical tone signal output device 10b and an automatic performance device 20b. In FIG. 12, the musical tone signal output device 10b has the same configuration as the musical tone signal output device 10 except for the control units 11 and 21, and the automatic performance device 20b has an automatic performance. It has the same configuration as the device 20.
The tone signal output device 10b is a transmitter having a function of transmitting and outputting the second tone signal, for example, a transmitter of a broadcasting station. The automatic performance device 20b is a receiver having a function of receiving the second musical tone signal transmitted and output by the musical tone signal output device 10b, and is owned by, for example, a user who listens to a sound broadcast by a broadcasting station. The musical sound signal output device 10 b includes a transmission unit 17 instead of the output interface 15. The transmission unit 17 modulates a carrier wave signal representing a carrier wave according to the second musical tone signal supplied from the control unit 11, generates a transmission signal, and transmits this signal. The automatic performance device 20 b includes a receiving unit 28 instead of the input interface 22. When receiving the signal for transmission transmitted by the musical tone signal output device 10 b, the receiving unit 28 demodulates the received signal to extract the second musical tone signal and outputs it to the control unit 21. The control unit 21 decodes the watermark information from the second musical sound signal by the same method as in the embodiment, and realizes synchronous reproduction. Other processes are the same as those described in the embodiment, and even this configuration has the same effects as in the embodiment.
According to this configuration, the user who owns the automatic performance device 20b can perform synchronized performance (synchronous reproduction) with the musical sound represented by the musical sound signal output by the musical sound signal output device 10b at a remote location using the automatic musical performance device 20b. ) Can enjoy. On the other hand, even a user who does not own the automatic performance device 20b has little adverse effects on listening to the musical sound.

また、楽音信号出力装置１０ｂと自動演奏装置２０ｂとをインターネットなどの通信網を介して接続し、オーディオデータなどを圧縮して音声や動画を配信するサービスに本発明を適用することができる。この場合、楽音信号出力装置１０ｂはコンテンツプロバイダなどのサーバ装置である。一方、自動演奏装置２０ｂはコンテンツプロバイダからのコンテンツの提供を受けるクライアントにより所有される。この場合、楽音信号出力装置１０ｂは配信するコンテンツに含まれる第２楽音信号に透かし情報を重畳して送信出力する。そして、自動演奏装置２０ｂは受信した第２楽音信号から透かし情報を復号して、同期再生を実現する。   Further, the present invention can be applied to a service in which a musical sound signal output device 10b and an automatic performance device 20b are connected via a communication network such as the Internet, and audio data and the like are compressed to distribute voice and moving images. In this case, the tone signal output device 10b is a server device such as a content provider. On the other hand, the automatic performance device 20b is owned by a client that receives content from a content provider. In this case, the musical tone signal output device 10b superimposes the watermark information on the second musical tone signal included in the content to be distributed and transmits it. Then, the automatic performance device 20b decodes the watermark information from the received second musical tone signal and realizes synchronized playback.

（変形例３）
上述した実施形態において楽音信号出力装置１０が透かし情報を重畳するための構成を以下のように変形してもよい。例えばＭ系列、Ｇｏｌｄ系列を用いた擬似ノイズ信号を用いた方法を採用してもよい。この場合、重畳部１１４は擬似ノイズ信号を発生し、これを透かし情報に基づいて位相変調する。一方、復号部２１３は、重畳部１１４と同じ擬似ノイズ信号を生成し、第２楽音信号との相関を求める。第２楽音信号に重畳される擬似ノイズ信号として自己相関性の非常に高い信号が用いられた場合に、その第２楽音信号と擬似ノイズ信号との相関を求めると、急峻なピークの現れる波形が抽出される。この波形が透かし情報を示しており、復号部２１３はこの波形を抽出して透かし情報を復号することができる。また、この擬似ノイズ信号を用いてスペクトラム拡散を行うようにしてもよいし、直交周波数分割多重方式（ＯＦＤＭ変調：Orthogonal Frequency-Division Multiplexing）の採用により透かし情報を重畳してもよい。後者の場合、制御部１１は、第１楽音信号の周波数成分のうち高周波数側の一部の帯域を除去した後、ＯＦＤＭ変調した透かし情報を元の第１楽音信号の周波数分布に合わせてその帯域に重畳する。この重畳の態様であっても、楽音信号出力装置１０は第１楽音信号の周波数成分よりも高周波数の帯域に透かし情報を重畳しており、上述の実施形態の構成と同等の効果を奏する。 (Modification 3)
In the embodiment described above, the configuration for the music signal output apparatus 10 to superimpose the watermark information may be modified as follows. For example, a method using a pseudo noise signal using an M series or a Gold series may be employed. In this case, the superimposing unit 114 generates a pseudo noise signal and performs phase modulation on the pseudo noise signal based on the watermark information. On the other hand, the decoding part 213 produces | generates the same pseudo noise signal as the superimposition part 114, and calculates | requires a correlation with a 2nd musical sound signal. When a signal having a very high autocorrelation is used as a pseudo noise signal to be superimposed on the second musical sound signal, when a correlation between the second musical sound signal and the pseudo noise signal is obtained, a waveform in which a steep peak appears is obtained. Extracted. This waveform indicates the watermark information, and the decoding unit 213 can extract the waveform and decode the watermark information. Further, spectrum spreading may be performed using the pseudo noise signal, or watermark information may be superimposed by adopting an orthogonal frequency division multiplexing (OFDM modulation). In the latter case, the control unit 11 removes a part of the high frequency side band from the frequency component of the first musical tone signal, and then matches the OFDM modulated watermark information with the frequency distribution of the original first musical tone signal. Superimpose on the band. Even in this superposition mode, the musical sound signal output device 10 superimposes watermark information on a frequency band higher than the frequency component of the first musical sound signal, and has the same effect as the configuration of the above-described embodiment.

上述した実施形態において、自動演奏装置２０は、ＭＩＤＩデータ以外の形式（例えば、ＭＰ３）の曲データを用いてもよい。また、自動演奏装置２０は自動演奏機能を有する電子ピアノであったが、エレキアコースティックギターや電子エレクトーンなどの他の種類の電子楽器であってもよい。また、電子楽器として機能する装置に限定されず、少なくとも、楽音信号を再生する一方で、曲データを再生する機能を持つ再生装置に本発明を適用することができる。
上述した実施形態において、前処理部１１３に相当する機能を省略してもよい。例えば、周波数ｆ0以上よりも周波数の高い帯域に楽音信号の周波数成分が含まれない場合や、透かし情報の周波数成分に対して楽音信号の周波数成分の音圧レベルがかなり小さい場合には、この前処理を省略しても聴感上の影響がほとんどないし、透かし情報の復号における悪影響はほとんど生じないと考えられるからである。 In the embodiment described above, the automatic performance device 20 may use music data in a format (for example, MP3) other than MIDI data. Further, although the automatic performance device 20 is an electronic piano having an automatic performance function, it may be another type of electronic musical instrument such as an electric guitar or an electronic electone. The present invention is not limited to a device that functions as an electronic musical instrument, and the present invention can be applied to a playback device that has at least a function of playing back music data while playing back a musical sound signal.
In the above-described embodiment, a function corresponding to the preprocessing unit 113 may be omitted. For example, when the frequency component of the musical sound signal is not included in a band having a frequency higher than the frequency f 0 or higher, or when the sound pressure level of the frequency component of the musical sound signal is considerably smaller than the frequency component of the watermark information, This is because even if the preprocessing is omitted, it is considered that there is almost no audible effect and almost no adverse effect on the decoding of the watermark information occurs.

上述した実施形態における楽音信号出力装置１０の制御部１１や、自動演奏装置２０の制御部２１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。このように制御部１１や制御部２１によって実現される機能は、１又は複数のソフトウェアにより実現されてもよいし、１又は複数のハードウェアにより実現されてもよい。   The program executed by the control unit 11 of the musical tone signal output device 10 and the control unit 21 of the automatic performance device 20 in the above-described embodiment is a magnetic recording medium (magnetic tape, magnetic disk (HDD, FD), etc.), optical recording. It can be provided in a state where it is recorded on a computer-readable recording medium such as a medium (such as an optical disk (CD, DVD)), a magneto-optical recording medium, or a semiconductor memory. It is also possible to download via a network such as the Internet. The functions realized by the control unit 11 and the control unit 21 in this way may be realized by one or a plurality of software, or may be realized by one or a plurality of hardware.

１，１ａ，１ｂ…再生システム、１０，１０ａ，１０ｂ…楽音信号出力装置、１００…オーディオケーブル、１１…制御部、１１１…再生時刻特定部、１１２…透かし情報生成部、１１３…前処理部、１１４…重畳部、１２…記憶部、１２１…オーディオファイル記憶領域、１３…操作部、１４…表示部、１５…出力インタフェース、１６…スピーカ、１７…送信部、２０，２０ａ，２０ｂ…自動演奏装置、２１…制御部、２１１…楽音信号取得部、２１２…第１再生部、２１３…復号部、２１４…読出部、２１５…第２再生部、２２…入力インタフェース、２３…記憶部、２３１…ＭＩＤＩファイル記憶領域、２４…スピーカ、２５…演奏操作部、２６…楽音信号生成部、２７…マイクロホン、２８…受信部 DESCRIPTION OF SYMBOLS 1, 1a, 1b ... Reproduction | regeneration system 10, 10a, 10b ... Music signal output device, 100 ... Audio cable, 11 ... Control part, 111 ... Reproduction time specific | specification part, 112 ... Watermark information generation part, 113 ... Pre-processing part, DESCRIPTION OF SYMBOLS 114 ... Superimposition part, 12 ... Memory | storage part, 121 ... Audio file storage area, 13 ... Operation part, 14 ... Display part, 15 ... Output interface, 16 ... Speaker, 17 ... Transmission part, 20, 20a, 20b ... Automatic performance apparatus , 21 ... control unit, 211 ... musical sound signal acquisition unit, 212 ... first reproduction unit, 213 ... decoding unit, 214 ... reading unit, 215 ... second reproduction unit, 22 ... input interface, 23 ... storage unit, 231 ... MIDI File storage area, 24 ... speaker, 25 ... performance operation unit, 26 ... musical signal generation unit, 27 ... microphone, 28 ... reception unit

Claims (5)

第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段と
を備えることを特徴とする再生装置。 Acquisition means for acquiring a second musical sound signal in which watermark information indicating the content of music data to be reproduced in synchronization with the first musical sound signal is superimposed on a band higher than the frequency component of the first musical sound signal;
First reproduction means for reproducing the second musical sound signal acquired by the acquisition means;
Decoding means for decoding the watermark information from the acquired second musical sound signal;
A second reproduction unit for identifying the content to be reproduced in synchronization with the second musical tone signal reproduced by the first reproduction unit based on the decoded watermark information and reproducing the identified content. A playback device. 前記透かし情報は、曲データを識別する曲識別情報と、その曲データの再生すべき位置を示す位置情報とを含み、
前記曲識別情報とその曲識別情報により識別される曲データとを対応付けて記憶する曲データ記憶手段から、前記復号手段により復号された透かし情報に含まれる曲識別情報に対応付けられた曲データを読み出す読出手段を備え、
前記第２再生手段は、前記読出手段により読み出された曲データの前記透かし情報に含まれる位置情報が示す位置の内容を再生する
ことを特徴とする請求項１に記載の再生装置。 The watermark information includes song identification information for identifying song data, and position information indicating a position where the song data is to be reproduced,
Song data associated with song identification information included in watermark information decoded by the decoding means from song data storage means for storing the song identification information and song data identified by the song identification information in association with each other Reading means for reading
The playback apparatus according to claim 1, wherein the second playback means plays back the content of the position indicated by the position information included in the watermark information of the music data read by the read means. 第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報をその第１楽音信号の周波数成分よりも高い帯域に重畳する重畳手段と、
前記重畳手段により透かし情報が重畳された第２楽音信号を出力する出力手段と
を備えることを特徴とする楽音信号出力装置。 Superimposing means for superimposing watermark information instructing the content of music data to be reproduced in synchronization with the first musical sound signal in a band higher than the frequency component of the first musical sound signal;
An output means for outputting a second musical sound signal on which watermark information is superimposed by the superimposing means. 請求項３に記載の楽音信号出力装置と、
請求項１又は２に記載の再生装置と
を備えることを特徴とする再生システム。 A musical sound signal output device according to claim 3,
A playback system comprising: the playback device according to claim 1. コンピュータを、
第１楽音信号に同期して再生すべき曲データの内容を指示する透かし情報がその第１楽音信号の周波数成分よりも高い帯域に重畳された第２楽音信号を取得する取得手段と、
前記取得手段により取得された第２楽音信号を再生する第１再生手段と、
前記取得された第２楽音信号から前記透かし情報を復号する復号手段と、
前記第１再生手段により再生される第２楽音信号に同期して再生すべき前記内容を復号された前記透かし情報に基づいて特定し、特定した内容を再生する第２再生手段
として機能させるためのプログラム。 Computer
Acquisition means for acquiring a second musical sound signal in which watermark information indicating the content of music data to be reproduced in synchronization with the first musical sound signal is superimposed on a band higher than the frequency component of the first musical sound signal;
First reproduction means for reproducing the second musical sound signal acquired by the acquisition means;
Decoding means for decoding the watermark information from the acquired second musical sound signal;
For specifying the content to be reproduced in synchronization with the second musical tone signal reproduced by the first reproduction means based on the decoded watermark information, and for functioning as a second reproduction means for reproducing the identified content program.
JP2010007150A 2010-01-15 2010-01-15 Reproduction device, musical sound signal output device, reproduction system and program Pending JP2011145541A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010007150A JP2011145541A (en) 2010-01-15 2010-01-15 Reproduction device, musical sound signal output device, reproduction system and program
US13/004,446 US8796527B2 (en) 2010-01-15 2011-01-11 Tone reproduction apparatus and method
CN201110008711.XA CN102169705B (en) 2010-01-15 2011-01-17 tone reproduction apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010007150A JP2011145541A (en) 2010-01-15 2010-01-15 Reproduction device, musical sound signal output device, reproduction system and program

Publications (1)

Publication Number Publication Date
JP2011145541A true JP2011145541A (en) 2011-07-28

Family

ID=44276562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010007150A Pending JP2011145541A (en) 2010-01-15 2010-01-15 Reproduction device, musical sound signal output device, reproduction system and program

Country Status (3)

Country Link
US (1) US8796527B2 (en)
JP (1) JP2011145541A (en)
CN (1) CN102169705B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014029406A (en) * 2012-07-31 2014-02-13 Ritsumeikan Information transmission device, information transmission program, information reception device, information reception program, and information communication method
US11545122B2 (en) * 2019-09-30 2023-01-03 Spotify Ab Systems and methods for embedding data in media content

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101983403B (en) 2008-07-29 2013-05-22 雅马哈株式会社 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
JP5782677B2 (en) 2010-03-31 2015-09-24 ヤマハ株式会社 Content reproduction apparatus and audio processing system
US9967600B2 (en) * 2011-05-26 2018-05-08 Nbcuniversal Media, Llc Multi-channel digital content watermark system and method
JP6119133B2 (en) * 2011-09-25 2017-04-26 ヤマハ株式会社 Electronic acoustic device linkage apparatus and program
EP2573761B1 (en) 2011-09-25 2018-02-14 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
JP5494677B2 (en) * 2012-01-06 2014-05-21 ヤマハ株式会社 Performance device and performance program
JPWO2014141413A1 (en) * 2013-03-13 2017-02-16 株式会社東芝 Information processing apparatus, output method, and program
CN104424934A (en) * 2013-09-11 2015-03-18 威海碧陆斯电子有限公司 Instrument-type loudspeaker
CN103594105B (en) * 2013-11-08 2016-07-27 宜昌金宝乐器制造有限公司 A kind of method that the CD of use laser disc carries out playing on auto-play piano
JP6574551B2 (en) * 2014-03-31 2019-09-11 培雄 唐沢 Arbitrary signal transmission method using sound
CN106162321A (en) * 2016-08-31 2016-11-23 成都广电视讯文化传播有限公司 The audio signal identification method that a kind of vocal print feature and audio frequency watermark combine
JP6887923B2 (en) * 2017-09-11 2021-06-16 ホシデン株式会社 Voice processing device
CN110446060A (en) * 2018-05-03 2019-11-12 尼尔森网联媒介数据服务有限公司 Media information recognition methods, exchange method and the equipment of TV

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058148A (en) * 2001-08-10 2003-02-28 Seiko Epson Corp Document display device
JP2003163897A (en) * 2001-11-22 2003-06-06 Nippon Hoso Kyokai <Nhk> Contents transmission method, contents transmitter, contents transmission program, contents reception control method, contents reception controller, contents reception control program, and contents time control system
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
JP2004158913A (en) * 2002-11-01 2004-06-03 Canon Inc Audiovisual processor
JP2007524865A (en) * 2004-01-15 2007-08-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ How to assign watermark payload bits
JP2008286946A (en) * 2007-05-16 2008-11-27 Yamaha Corp Data reproduction device, data reproduction method, and program

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01199385A (en) * 1988-02-03 1989-08-10 Yamaha Corp Source reproducing device
US5189237A (en) * 1989-12-18 1993-02-23 Casio Computer Co., Ltd. Apparatus and method for performing auto-playing in synchronism with reproduction of audio data
US5313011A (en) * 1990-11-29 1994-05-17 Casio Computer Co., Ltd. Apparatus for carrying out automatic play in synchronism with playback of data recorded on recording medium
JP3149093B2 (en) * 1991-11-21 2001-03-26 カシオ計算機株式会社 Automatic performance device
US6959288B1 (en) * 1998-08-13 2005-10-25 International Business Machines Corporation Digital content preparation system
JP2001042866A (en) * 1999-05-21 2001-02-16 Yamaha Corp Contents provision method via network and system therefor
US7543148B1 (en) * 1999-07-13 2009-06-02 Microsoft Corporation Audio watermarking with covert channel and permutations
US6738744B2 (en) * 2000-12-08 2004-05-18 Microsoft Corporation Watermark detection via cardinality-scaled correlation
JP4403658B2 (en) * 2001-01-18 2010-01-27 ヤマハ株式会社 Music data output device and music data output method
US7328337B2 (en) * 2001-05-25 2008-02-05 America Online, Incorporated Trust grant and revocation from a master key to secondary keys
US6737571B2 (en) * 2001-11-30 2004-05-18 Yamaha Corporation Music recorder and music player for ensemble on the basis of different sorts of music data
ITRM20020042U1 (en) * 2002-03-01 2003-09-01 F I M M S P A MODULAR HANDLE PERFECTED, IN PARTICULAR HANDLE FOR PURPOSES AND SIMILAR.
US7863513B2 (en) * 2002-08-22 2011-01-04 Yamaha Corporation Synchronous playback system for reproducing music in good ensemble and recorder and player for the ensemble
US20040158913A1 (en) * 2002-10-18 2004-08-19 The Hipsaver Co., Inc. Washable protective pad
JP2005084625A (en) * 2003-09-11 2005-03-31 Music Gate Inc Electronic watermark composing method and program
DE102004021404B4 (en) * 2004-04-30 2007-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Watermark embedding
WO2006078597A2 (en) * 2005-01-18 2006-07-27 Haeker Eric P Method and apparatus for generating visual images based on musical compositions
SI1684265T1 (en) 2005-01-21 2008-12-31 Unltd Media Gmbh Method of embedding a digital watermark in a useful signal
US7507900B2 (en) * 2005-09-02 2009-03-24 Qrs Music Technologies, Inc. Method and apparatus for playing in synchronism with a DVD an automated musical instrument
CN101339790A (en) 2007-07-06 2009-01-07 英业达股份有限公司 Audio signal playing apparatus and monitoring method and device of broadcasting system sound quality
WO2009018562A2 (en) * 2007-08-02 2009-02-05 Sony Bmg Music Entertainment Method and apparatus for distributing digital content
CN101983403B (en) * 2008-07-29 2013-05-22 雅马哈株式会社 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6737957B1 (en) * 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
JP2003058148A (en) * 2001-08-10 2003-02-28 Seiko Epson Corp Document display device
JP2003163897A (en) * 2001-11-22 2003-06-06 Nippon Hoso Kyokai <Nhk> Contents transmission method, contents transmitter, contents transmission program, contents reception control method, contents reception controller, contents reception control program, and contents time control system
JP2004158913A (en) * 2002-11-01 2004-06-03 Canon Inc Audiovisual processor
JP2007524865A (en) * 2004-01-15 2007-08-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ How to assign watermark payload bits
JP2008286946A (en) * 2007-05-16 2008-11-27 Yamaha Corp Data reproduction device, data reproduction method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014029406A (en) * 2012-07-31 2014-02-13 Ritsumeikan Information transmission device, information transmission program, information reception device, information reception program, and information communication method
US11545122B2 (en) * 2019-09-30 2023-01-03 Spotify Ab Systems and methods for embedding data in media content

Also Published As

Publication number Publication date
CN102169705A (en) 2011-08-31
US8796527B2 (en) 2014-08-05
CN102169705B (en) 2017-09-08
US20110174137A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
JP2011145541A (en) Reproduction device, musical sound signal output device, reproduction system and program
JP5782677B2 (en) Content reproduction apparatus and audio processing system
RU2523934C2 (en) Transmitter
US20080276793A1 (en) Beat enhancement device, sound output device, electronic apparatus and method of outputting beats
JP5733321B2 (en) Automatic performance device
JP2007104598A (en) Modulation apparatus, modulation method, demodulation apparatus, and demodulation method
JP5556075B2 (en) Performance information output device and performance system
WO2004066264A1 (en) Information transmission method and device, information recording or reproduction method and device, and recording medium
JP5549319B2 (en) Sound equipment and sound system
JP5604824B2 (en) Tempo information output device, sound processing system, and electronic musical instrument
JP5568999B2 (en) Playback device, musical sound signal output device, playback system, and program
JP5556076B2 (en) Sequence data output device, sound processing system, and electronic musical instrument
WO2015107941A1 (en) Recording method
JP2010278996A (en) Acoustic playback system, acoustic playback apparatus, and control methods thereof
JP5459019B2 (en) Signal generation apparatus and signal processing apparatus
JP2006279555A (en) Signal regeneration apparatus and method
CN108632439A (en) A kind of communication means and device of mobile terminal and audio reception device
JP2008147840A (en) Voice signal generating device, sound field reproducing device, voice signal generating method, and computer program
JP6631005B2 (en) Information transmitting apparatus, acoustic communication system, and acoustic watermark superimposing method
JP5181660B2 (en) Sound signal conversion apparatus, microphone, program, and sound signal conversion method
JP5050868B2 (en) Sound signal converter, microphone and singing evaluation system
JP2009169278A (en) Microphone and singing evaluation system
JP2003348685A (en) Acoustic reproduction processing method and acoustic reproduction processing apparatus
JP2017156578A (en) Sound data editing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150512