JP2010072629A - Sequence data output device, voice processing system, and electronic musical instrument - Google Patents

Sequence data output device, voice processing system, and electronic musical instrument Download PDF

Info

Publication number
JP2010072629A
JP2010072629A JP2009171322A JP2009171322A JP2010072629A JP 2010072629 A JP2010072629 A JP 2010072629A JP 2009171322 A JP2009171322 A JP 2009171322A JP 2009171322 A JP2009171322 A JP 2009171322A JP 2010072629 A JP2010072629 A JP 2010072629A
Authority
JP
Japan
Prior art keywords
reference clock
audio signal
sequence data
timing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009171322A
Other languages
Japanese (ja)
Other versions
JP5556076B2 (en
Inventor
Hiroyuki Iwase
裕之 岩瀬
Takuro Sone
卓朗 曽根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2009171322A priority Critical patent/JP5556076B2/en
Priority to PCT/JP2009/063510 priority patent/WO2010013752A1/en
Priority to CN2009801120370A priority patent/CN101983403B/en
Priority to US12/935,463 priority patent/US8697975B2/en
Priority to EP09802994.5A priority patent/EP2261896B1/en
Publication of JP2010072629A publication Critical patent/JP2010072629A/en
Priority to US13/955,451 priority patent/US9006551B2/en
Application granted granted Critical
Publication of JP5556076B2 publication Critical patent/JP5556076B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a sequence data output device and a voice processing system, superimposing information which indicates timing for embedding sequence data with high accuracy, without depending on content of an audio signal. <P>SOLUTION: A reference clock creation section 17 obtains, for example, tempo information according to a performance tempo (a set tempo), and generate a reference clock. A timing calculation section 18 obtains performance information from a performance information acquiring section 12, and obtains the reference clock from the reference clock generation section 17. The timing calculation section 18 calculates time difference between performance start timing and performance information acquiring timing by difference from the reference clock, and outputs it to a data superimposing section 15 as an offset value. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

この発明は、演奏者の操作入力によって生成される制御信号を正確なタイミングでオーディオ信号と共に出力するシーケンスデータ出力装置に関する。   The present invention relates to a sequence data output device that outputs a control signal generated by a player's operation input together with an audio signal at an accurate timing.

従来、オーディオ信号に種々のデータを埋め込む技術が提案されている。例えば、特許文献1においては、著作権保護を目的として、電子透かしを用いてオーディオ信号にデータを埋め込む技術が提案されている。   Conventionally, techniques for embedding various data in an audio signal have been proposed. For example, Patent Document 1 proposes a technique for embedding data in an audio signal using a digital watermark for the purpose of copyright protection.

また、特許文献2においては、電子透かしを用いてオーディオ信号に制御信号を時系列に埋め込む技術が提案されている。   Patent Document 2 proposes a technique for embedding a control signal in an audio signal in time series using a digital watermark.

特開2006−251676号公報JP 2006-251676 A 特開2006−323161号公報JP 2006-323161 A

しかし、特許文献1の方式では、情報を埋め込むタイミングについては何ら考慮されていなかった。そのため、例えば無音部分が存在した場合、情報を重畳することができず、実際に埋め込むべきタイミングから大きくずれて情報が重畳されてしまうという問題があった。   However, in the method of Patent Document 1, no consideration is given to the timing of embedding information. Therefore, for example, when there is a silent part, there is a problem in that information cannot be superimposed, and information is superimposed with a large deviation from the timing to be actually embedded.

一方、特許文献2においては、オーディオ信号の先頭からの時間差を埋め込んでおり、再生時において制御信号を用いるためには、常に先頭から読み出す必要があった。また、特許文献2に記載されている方式は、制御信号のタイミングと演奏のタイミングとの関係を示したテーブル(コードリスト)を予め用意しておく必要があり、演奏者がランダムに(リアルタイムに)演奏操作等を行う場合に用いることができないものであった。さらには、特許文献2の方式は、フレーム単位で制御信号を埋め込むものであり、楽器演奏のような高い分解能(例えば数msec以下)が必要な場合に用いることができないものであった。   On the other hand, in Patent Document 2, the time difference from the head of the audio signal is embedded, and in order to use the control signal at the time of reproduction, it is necessary to always read from the head. Further, the method described in Patent Document 2 requires that a table (code list) showing the relationship between the timing of the control signal and the timing of performance be prepared in advance, so that the performer can randomly (in real time) ) It cannot be used when performing performance operations. Furthermore, the method of Patent Document 2 embeds control signals in units of frames and cannot be used when high resolution (for example, several msec or less) is required as in musical instrument performance.

そこで、この発明は、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳するシーケンスデータ出力装置、および音声処理システムを提供することを目的とする。   Accordingly, an object of the present invention is to provide a sequence data output apparatus and a sound processing system that superimpose information indicating the timing of embedding sequence data with high accuracy without depending on the content of an audio signal.

この発明のシーケンスデータ出力装置は、演奏者の演奏操作に応じて発生するオーディオ信号を出力する出力手段を備えている。オーディオ信号には、基準クロックと演奏者の操作によるシーケンスデータ(演奏情報や外部機器の制御情報)が、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。基準クロックとしてテンポ情報を利用する場合、テンポ情報は、MIDIクロックのようなビート情報(テンポクロック)として重畳される。このビート情報は、例えば自動演奏システム(シーケンサ)により常に出力される。さらに、オーディオ信号には、シーケンスデータの重畳タイミングと基準クロックとの時間差に関する情報も、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。   The sequence data output device according to the present invention comprises output means for outputting an audio signal generated in response to a performance operation of the performer. In the audio signal, the reference clock and sequence data (performance information and control information of the external device) operated by the performer are superimposed on a band higher than the frequency component of the audio signal. When tempo information is used as a reference clock, the tempo information is superimposed as beat information (tempo clock) such as a MIDI clock. This beat information is always output by, for example, an automatic performance system (sequencer). Furthermore, information related to the time difference between the sequence data superimposition timing and the reference clock is also superimposed on the audio signal in a band higher than the frequency component of the audio signal.

そのため、シーケンスデータ出力装置は、基準クロック、シーケンスデータ、時間差に関する情報をオーディオ信号に含めて(ライン1本で)出力することができる。また、出力したオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、録音機等で録音して汎用のオーディオデータとして用いる事ができる。また、基準クロックにテンポ情報を利用する場合は、オーディオ信号には、テンポクロックと、シーケンスデータが重畳されるタイミングとの時間差が埋め込まれているため、シーケンスデータがMIDIデータ(演奏情報)であれば、既存の自動演奏装置との同期が可能になる。また、基準クロックとの時間差を補正することにより、演奏情報の生成遅延、楽音発生までの機械的遅延等をリアルタイムで補正することができる。   Therefore, the sequence data output device can include (output with one line) information relating to the reference clock, sequence data, and time difference included in the audio signal. Further, since the output audio signal can be handled in the same manner as a normal audio signal, it can be recorded by a recorder or the like and used as general-purpose audio data. Also, when tempo information is used as the reference clock, the time difference between the tempo clock and the timing at which the sequence data is superimposed is embedded in the audio signal, so that the sequence data is MIDI data (performance information). Thus, synchronization with an existing automatic performance device is possible. Further, by correcting the time difference from the reference clock, it is possible to correct performance information generation delay, mechanical delay until musical tone generation, and the like in real time.

また、本発明では、一定間隔で発生する基準クロックとの時間差を重畳する方式であるため、オーディオ信号の先頭から読み出す必要がなく、高い分解能で時間差に関する情報を埋め込むことができる。例えば時間差に関する情報を直前の基準クロックとの差分(オフセット値)で表す場合、サンプリング周波数44.1kHzで、2047ポイントのM系列信号を16倍オーバーサンプリングした際の周期である約740msec周期の基準クロックに対し、8bitでのオフセット値とすると、3msec程度の分解能が得られ、楽器演奏のような高い分解能を必要とするものにも用いることができる。   In the present invention, since the time difference from the reference clock generated at regular intervals is superimposed, it is not necessary to read from the head of the audio signal, and information about the time difference can be embedded with high resolution. For example, when the information regarding the time difference is expressed as a difference (offset value) from the immediately preceding reference clock, the reference clock having a period of about 740 msec, which is a period when the M-sequence signal of 2047 points is oversampled 16 times at a sampling frequency of 44.1 kHz. On the other hand, if the offset value is 8 bits, a resolution of about 3 msec can be obtained, and it can be used for a musical instrument performance requiring a high resolution.

シーケンスデータ出力装置は、演奏操作に応じて発生したオーディオ信号の周波数成分よりも高い帯域に重畳する情報(例えば上記時間差に関する情報)の変調成分が含まれるように、当該情報を重畳して出力する。例えば、M系列擬似ノイズ(PN符号)を上記時間差に関する情報で位相変調することにより符号化することも可能である。時間差に関する情報を重畳する周波数帯域は20kHz以上の非可聴域にすることが望ましいが、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域に時間差に関する情報を重畳し、聴感上の影響を少なくする。なお、シーケンスデータやテンポ情報についても、時間差に関する情報と同様の重畳方式を用いることができる。   The sequence data output device superimposes and outputs the information so as to include a modulation component of information to be superimposed on a band higher than the frequency component of the audio signal generated according to the performance operation (for example, information on the time difference). . For example, it is possible to encode the M-sequence pseudo noise (PN code) by phase-modulating the information regarding the time difference. The frequency band for superimposing the information on the time difference is desirably a non-audible range of 20 kHz or more. However, in the case where the non-audible range cannot be used due to D / A conversion or encoding of compressed audio, for example, a high frequency of 15 kHz or more. Superimpose information on time difference in the band to reduce the effect on hearing. For the sequence data and tempo information, the same superposition method as that for the information regarding the time difference can be used.

また、上記発明において、シーケンスデータは、演奏者の操作入力に応じて生成されるようにしてもよい。この場合、操作入力タイミング(例えば楽音発生タイミング)とシーケンスデータの重畳タイミングとの差分が重畳される。   In the above invention, the sequence data may be generated in accordance with a player's operation input. In this case, the difference between the operation input timing (for example, musical sound generation timing) and the sequence data superimposition timing is superimposed.

なお、シーケンスデータ出力装置は、電子ピアノ等の電子楽器に内蔵される態様や、既存の楽器からオーディオ信号を入力する態様、アコースティック楽器や歌唱音をマイクで収音してオーディオ信号を入力する態様、等を含むものである。   Note that the sequence data output device is an aspect built in an electronic musical instrument such as an electronic piano, an aspect in which an audio signal is input from an existing musical instrument, an aspect in which an acoustic signal or singing sound is collected by a microphone and an audio signal is input. , Etc.

また、請求項1または請求項2に記載のシーケンスデータ出力装置を用いて、前記シーケンスデータを復号する復号装置をさらに備えた音声処理システムとする態様も可能である。   In addition, an aspect in which the speech data processing system further includes a decoding device that decodes the sequence data using the sequence data output device according to claim 1 or 2 is also possible.

この場合、復号装置は、オーディオ信号をバッファしておくか、または予めオーディオ信号から各種情報を復号しておき、復号した基準クロックおよびオフセット値に基づいて、オーディオ信号とシーケンスデータとを同期させる。   In this case, the decoding apparatus buffers the audio signal or previously decodes various information from the audio signal, and synchronizes the audio signal and the sequence data based on the decoded reference clock and offset value.

また、シーケンスデータ出力装置の重畳手段は、前記基準クロックに基づいたタイミングで前記オーディオ信号に疑似ノイズを重畳することで前記基準クロックを重畳する。疑似ノイズとしては、例えばPN符号のような自己相関性の高い信号を用いる。基準クロックとしてテンポ情報を用いる場合、シーケンスデータ出力装置は、自己相関性の高い信号を演奏テンポに基づくタイミングで(例えば拍毎に)生成し、オーディオ信号に重畳する。よって、アナログのオーディオ信号として放音したとしても重畳されているテンポ情報が失われることもない。   The superimposing means of the sequence data output device superimposes the reference clock by superimposing pseudo noise on the audio signal at a timing based on the reference clock. As the pseudo noise, a signal having high autocorrelation such as a PN code is used. When tempo information is used as the reference clock, the sequence data output device generates a signal with high autocorrelation at a timing based on the performance tempo (for example, for each beat) and superimposes it on the audio signal. Therefore, even if sound is output as an analog audio signal, the superimposed tempo information is not lost.

復号装置は、前記オーディオ信号を入力する入力手段と、基準クロックを復号する復号手段を備えている。復号手段は、入力手段に入力されたオーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、復号装置でオーディオ信号と、疑似ノイズとの相関を求めると、一定周期の相関のピークが抽出される。したがって、相関のピーク発生タイミングが基準クロックを示すこととなる。   The decoding device includes input means for inputting the audio signal and decoding means for decoding the reference clock. The decoding unit obtains a correlation between the audio signal input to the input unit and the pseudo noise, and decodes the reference clock based on the peak generation timing of the correlation. Since the pseudo noise superimposed on the audio signal is a signal having a very high autocorrelation, when a correlation between the audio signal and the pseudo noise is obtained by the decoding device, a correlation peak of a certain period is extracted. Therefore, the correlation peak generation timing indicates the reference clock.

PN符号のような自己相関性の高い疑似ノイズは、低レベルであっても相関のピークを抽出することができるため、聴感上違和感のない音声(聞き取りにくい音声)でありながらも、高精度にテンポ情報を重畳、復号することができる。また、疑似ノイズを20kHz以上等の高域にのみ重畳すればさらに聞き取りにくくすることもできる。   Pseudo noise with high autocorrelation such as PN code can extract the peak of correlation even at low level, so it is highly accurate even though it is sound that is not uncomfortable on hearing (sound that is difficult to hear). Tempo information can be superimposed and decoded. Further, if pseudo noise is superimposed only on a high frequency band of 20 kHz or higher, it is possible to make it more difficult to hear.

この発明によれば、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳することができる。   According to the present invention, it is possible to superimpose information indicating the timing of embedding sequence data with high accuracy without depending on the content of the audio signal.

本発明の実施形態に係る音声処理システムの構成を示す図である。It is a figure which shows the structure of the speech processing system which concerns on embodiment of this invention. データ重畳部およびタイミング抽出部の構成を示す図である。It is a figure which shows the structure of a data superimposition part and a timing extraction part. オーディオ信号に重畳されるデータ例、および基準クロックとオフセット値の関係を示した図である。It is the figure which showed the example of the data superimposed on an audio signal, and the relationship between a reference clock and an offset value. オーディオ信号に重畳されるデータの他の例を示した図である。It is the figure which showed the other example of the data superimposed on an audio signal. 演奏開始タイミングが演奏情報記録タイミングより遅い場合の例を示す図である。It is a figure which shows an example in case performance start timing is later than performance information recording timing.

図1は、本発明の実施形態に係る音声処理システムの構成を示す図である。音声処理システムは、シーケンスデータ出力装置および復号装置からなる。図1(A)では、電子楽器(電子ピアノ)が基準クロックとなるテンポ情報を出力する装置を兼ねている例を示す。本実施形態では、シーケンスデータとして演奏情報をオーディオ信号に重畳する例について説明する。   FIG. 1 is a diagram showing a configuration of a speech processing system according to an embodiment of the present invention. The voice processing system includes a sequence data output device and a decoding device. FIG. 1A shows an example in which an electronic musical instrument (electronic piano) also serves as a device that outputs tempo information serving as a reference clock. In the present embodiment, an example in which performance information is superimposed on an audio signal as sequence data will be described.

図1(A)に示す電子ピアノ1は、制御部11、演奏情報取得部12、楽音発生部13、基準クロック重畳部14、データ重畳部15、出力インタフェース(I/F)16、基準クロック生成部17、およびタイミング計算部18を備えている。   1A includes a control unit 11, a performance information acquisition unit 12, a musical tone generation unit 13, a reference clock superimposition unit 14, a data superposition unit 15, an output interface (I / F) 16, and a reference clock generation. A unit 17 and a timing calculation unit 18 are provided.

演奏情報取得部12は、演奏者の演奏操作に応じて演奏情報を取得する。取得した演奏情報は、楽音発生部13およびタイミング計算部18に出力される。演奏情報は、例えば押下された鍵盤の情報(ノートナンバ)、押鍵のタイミング(ノートオン、ノートオフ)、鍵盤を押す速度(ベロシティ)、等である。どの演奏情報を出力するか(どの演奏情報に基づいて楽音を発生するか)は、制御部11により指示される。   The performance information acquisition unit 12 acquires performance information according to the performance operation of the performer. The acquired performance information is output to the tone generator 13 and the timing calculator 18. The performance information includes, for example, information on the pressed keyboard (note number), timing of key pressing (note on, note off), speed of pressing the keyboard (velocity), and the like. Which performance information is output (which music information is used to generate a musical sound) is instructed by the control unit 11.

楽音発生部13は、音源を内蔵しており、制御部11の指示(ボリューム等の設定)に応じて演奏情報取得部12より演奏情報を入力して楽音(オーディオ信号)を発生する。なお、本発明のオーディオ信号は、アナログ信号に限るものではなく、デジタル信号であってもよい。   The musical sound generator 13 has a built-in sound source, and generates musical sounds (audio signals) by inputting performance information from the performance information acquisition unit 12 in accordance with an instruction (setting of a volume or the like) from the control unit 11. The audio signal of the present invention is not limited to an analog signal, and may be a digital signal.

基準クロック生成部17は、設定されたテンポに応じた基準クロックを生成する。基準クロックとしてテンポクロックを利用する場合、テンポクロックは、例えば、MIDIクロック(4部音符あたり24クロック)に準じたクロックであり、常時出力されるものである。基準クロック生成部17は、生成した基準クロックを基準クロック重畳部14およびタイミング計算部18に出力する。   The reference clock generation unit 17 generates a reference clock corresponding to the set tempo. When the tempo clock is used as the reference clock, the tempo clock is, for example, a clock that conforms to a MIDI clock (24 clocks per quad note) and is always output. The reference clock generation unit 17 outputs the generated reference clock to the reference clock superimposition unit 14 and the timing calculation unit 18.

なお、テンポクロックに応じてメトロノーム音を発生するメトロノーム音発生部を設け、メトロノーム音を演奏による楽音とミキシングしてヘッドフォンI/F等から出力してもよい。この場合、演奏者は、ヘッドフォンから聞こえるメトロノーム音(テンポ)を聴きながら演奏を行うことができる。   Note that a metronome sound generating section that generates a metronome sound according to the tempo clock may be provided, and the metronome sound may be mixed with a musical sound by performance and output from a headphone I / F or the like. In this case, the performer can perform while listening to the metronome sound (tempo) heard from the headphones.

なお、電子ピアノ1にテンポ情報の入力専用の操作子(タップスイッチ等、図中破線のテンポ情報入力部)を設け、演奏者が刻む拍を基準テンポ信号として入力し、テンポ情報を抽出するように構成することも可能である。   The electronic piano 1 is provided with an operator dedicated to inputting tempo information (a tap switch or the like, a tempo information input unit indicated by a broken line in the figure), and a beat engraved by the performer is input as a reference tempo signal to extract tempo information. It is also possible to configure.

基準クロック重畳部14は、楽音発生部13から入力されるオーディオ信号に基準クロックを重畳する。重畳方式は、重畳された信号が聴取し難いような手法を用いる。例えば、PN符号(M系列)のような疑似ノイズを、聴感上違和感のない微弱なレベルで重畳する。このとき、疑似ノイズを重畳させる帯域は、可聴外(20kHz以上)の帯域に限っておいてよい。なお、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域であっても、聴感上の影響を少なくすることができる。M系列のような疑似ノイズは、自己相関性が非常に高いため、復号側でオーディオ信号と、重畳されている疑似ノイズと同じ符号と、の相関を求めることで、基準クロックを抽出することができる。なお、M系列に限らず、Gold系列など、他の乱数を用いてもよい。   The reference clock superimposing unit 14 superimposes the reference clock on the audio signal input from the musical sound generating unit 13. The superimposing method uses a technique that makes it difficult to hear the superimposed signal. For example, pseudo noise such as a PN code (M series) is superimposed at a weak level that does not cause a sense of discomfort. At this time, the band on which the pseudo noise is superimposed may be limited to a band outside the audible range (20 kHz or more). In the case of a configuration in which a non-audible range cannot be used due to D / A conversion, compressed audio encoding, or the like, the audible influence can be reduced even in a high frequency band of 15 kHz or higher, for example. Since pseudo-noise such as M-sequence has very high autocorrelation, the reference clock can be extracted by obtaining the correlation between the audio signal and the same code as the pseudo-noise superimposed on the decoding side. it can. In addition, you may use other random numbers, such as not only M series but Gold series.

図1(B)および同図(C)を用いて復号側の基準クロック抽出処理について説明する。同図(B)に示す復号装置2は、オーディオ信号を録音する録音機としての機能と、オーディオ信号を再生する再生機としての機能と、オーディオ信号に重畳されている基準クロックを復号する復号機としての機能と、を備えている。ここでは、同図(B)に示す復号装置2について、主に、オーディオ信号に重畳されている基準クロックを復号する機能について説明する。   The reference clock extraction process on the decoding side will be described with reference to FIG. 1B and FIG. The decoding device 2 shown in FIG. 2B has a function as a recorder that records an audio signal, a function as a player that reproduces the audio signal, and a decoder that decodes a reference clock superimposed on the audio signal. As a function. Here, the function of decoding the reference clock superimposed on the audio signal will be mainly described with respect to the decoding device 2 shown in FIG.

図1(B)において、復号装置2は、入力I/F21、制御部22、記憶部23、基準クロック抽出部24、およびタイミング抽出部25を備えている。制御部22は、入力I/F21から入力されたオーディオ信号を録音し、記憶部23に汎用のオーディオデータとして記録する。また、制御部22は、記憶部23に記録されているオーディオデータを読み出し、基準クロック抽出部24に出力する。   1B, the decoding device 2 includes an input I / F 21, a control unit 22, a storage unit 23, a reference clock extraction unit 24, and a timing extraction unit 25. The control unit 22 records the audio signal input from the input I / F 21 and records it as general-purpose audio data in the storage unit 23. In addition, the control unit 22 reads the audio data recorded in the storage unit 23 and outputs it to the reference clock extraction unit 24.

基準クロック抽出部24は、電子ピアノ1の基準クロック重畳部14で発生する疑似ノイズと同じ疑似ノイズを生成し、再生したオーディオ信号との相関を求める。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、オーディオ信号と疑似ノイズとの相関を求めると、同図(C)に示すように、定期的に急峻なピークが抽出される。この相関のピーク発生タイミングが基準クロックを示す。   The reference clock extraction unit 24 generates the same pseudo noise as the pseudo noise generated by the reference clock superimposing unit 14 of the electronic piano 1 and obtains a correlation with the reproduced audio signal. Since the pseudo noise superimposed on the audio signal is a signal having a very high autocorrelation, when the correlation between the audio signal and the pseudo noise is obtained, as shown in FIG. Peaks are extracted. This correlation peak generation timing indicates the reference clock.

なお、基準クロックとしてテンポ情報を用いる場合は、拍タイミングと小節タイミングで、複数の異なる疑似ノイズを重畳することで、復号側で拍タイミングと小節タイミングを区別することもできる。この場合、拍タイミング抽出用と小節タイミング抽出用のテンポクロック抽出部を複数設けるとよい。拍タイミングと小節タイミングで異なるパターンの疑似ノイズを重畳することで、互いの疑似ノイズが干渉することなく、拍タイミング、小節タイミングを別々に高精度に重畳、復号することができる。   When tempo information is used as the reference clock, the beat timing and the bar timing can be distinguished on the decoding side by superimposing a plurality of different pseudo noises at the beat timing and the bar timing. In this case, it is preferable to provide a plurality of tempo clock extraction units for beat timing extraction and measure timing extraction. By superimposing different patterns of pseudo-noise at beat timing and measure timing, the beat timing and measure timing can be superimposed and decoded separately with high accuracy without interfering with each other's pseudo-noise.

以上のようにして抽出した基準クロックは、MIDIクロック等のテンポ情報に準じたものであればシーケンサによる自動演奏に用いることが可能である。例えば、シーケンサにより自身の演奏テンポを反映した自動演奏を実現することができる。   The reference clock extracted as described above can be used for automatic performance by a sequencer as long as it conforms to tempo information such as MIDI clock. For example, an automatic performance reflecting its own performance tempo can be realized by a sequencer.

図1(A)において、基準クロック重畳部14は、基準クロック生成部17から基準クロックが入力される度に、所定長の疑似ノイズを発生してオーディオ信号に重畳し、データ重畳部15に出力する。また、タイミング計算部18は、演奏情報取得部12から演奏情報を取得し、データ重畳部15に出力する。   In FIG. 1A, the reference clock superimposing unit 14 generates a pseudo-noise of a predetermined length and superimposes it on the audio signal every time the reference clock is input from the reference clock generating unit 17 and outputs it to the data superimposing unit 15. To do. The timing calculation unit 18 acquires performance information from the performance information acquisition unit 12 and outputs the performance information to the data superimposition unit 15.

データ重畳部15は、基準クロック重畳部14から入力されるオーディオ信号に演奏情報を重畳する。このとき、タイミング計算部18は、基準クロックとデータ重畳部15における演奏情報の重畳タイミングとの時間差を計算し、この時間差に関する情報を演奏情報とともにデータ重畳部15に出力する。時間差に関する情報は、基準クロックとの差分(オフセット値)で表される。なお、タイミング計算部18は、オーディオ信号に演奏情報およびオフセット値を重畳することができるように、所定のデータ形式に変換してデータ重畳部15に出力するものである(図3(A)参照)。   The data superimposing unit 15 superimposes performance information on the audio signal input from the reference clock superimposing unit 14. At this time, the timing calculation unit 18 calculates a time difference between the reference clock and the performance information superimposition timing in the data superimposition unit 15, and outputs information related to the time difference to the data superimposition unit 15 together with the performance information. Information regarding the time difference is represented by a difference (offset value) from the reference clock. The timing calculation unit 18 converts the data into a predetermined data format and outputs the data to the data superimposition unit 15 so that the performance information and the offset value can be superimposed on the audio signal (see FIG. 3A). ).

データ重畳部15は、タイミング計算部18から入力された演奏情報およびオフセット値をオーディオ信号に重畳する。重畳方式は高周波数のキャリア信号を演奏情報やオフセット値(0,1のデータ符号列とする。)で位相変調することにより、オーディオ信号の周波数成分(音響信号成分)と異なる帯域に変調成分が含まれるようにする。また、以下の様なスペクトラム拡散を用いることも可能である。   The data superimposing unit 15 superimposes the performance information and the offset value input from the timing calculating unit 18 on the audio signal. In the superimposing method, a high frequency carrier signal is phase-modulated with performance information or an offset value (a data code string of 0, 1) so that a modulation component is in a band different from the frequency component (acoustic signal component) of the audio signal. To be included. It is also possible to use the following spread spectrum.

図2(A)は、スペクトラム拡散を用いる場合のデータ重畳部15の構成の一例を示すブロック図である。なお、同図においては、全てデジタル信号処理として説明するが、外部に出力される信号はアナログ信号(アナログ変換後の信号)であってもよい。   FIG. 2A is a block diagram illustrating an example of the configuration of the data superimposing unit 15 when using spread spectrum. In the figure, all digital signal processing is described, but the signal output to the outside may be an analog signal (signal after analog conversion).

この例では、拡散符号発生部154が出力するM系列の疑似ノイズ符号(PN符号)と演奏情報およびオフセット値(0,1のデータ符号列とする。)とを乗算器155で乗算することにより、データ符号列をスペクトラム拡散する。拡散後のデータ符号列は、XOR回路156に入力される。XOR回路156は、乗算器155から入力された符号と遅延器157を経て入力された1サンプル前の出力符号の排他的論理和を出力し、拡散後のデータ符号列を差動符号化する。差動符号化後の信号は、−1,1で2値化しておくものとする。−1,1に2値化した差動符号を出力することで、復号側では、連続する2サンプルの差動符号を乗算することにより拡散後のデータ符号列を抽出することができる。   In this example, the multiplier 155 multiplies the M-sequence pseudo noise code (PN code) output from the spread code generator 154 by the performance information and the offset value (which is a data code string of 0 and 1). Spread spectrum of the data code string. The spread data code string is input to the XOR circuit 156. The XOR circuit 156 outputs an exclusive OR of the code input from the multiplier 155 and the output code one sample before input via the delay unit 157, and differentially encodes the spread data code string. The signal after differential encoding is binarized by -1,1. By outputting the differential code binarized to −1 and 1, the decoding side can extract the data code string after spreading by multiplying the differential code of two consecutive samples.

そして、差動符号化したデータ符号列は、LPF(ナイキストフィルタ)158においてベースバンド内で帯域制限され、乗算器160に入力される。乗算器160は、キャリア信号発生器159が出力するキャリア信号(音響信号成分より高域のキャリア信号)とLPF158の出力信号を乗算し、差動符号化後のデータ符号列をパスバンドに周波数シフトする。なお、差動符号化後のデータ符号列は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後のデータ符号列は、ゲイン調整器161でゲイン調整され、加算器153でオーディオ信号とミキシングされて出力I/F16に出力される。   The differentially encoded data code string is band-limited within the baseband by an LPF (Nyquist filter) 158 and input to the multiplier 160. Multiplier 160 multiplies the carrier signal output from carrier signal generator 159 (carrier signal higher in frequency than the acoustic signal component) and the output signal of LPF 158, and frequency-shifts the data code string after differential encoding to the passband. To do. The data code string after differential encoding may be frequency shifted after up-sampling. The data code string after the frequency shift is gain-adjusted by the gain adjuster 161, mixed with the audio signal by the adder 153, and output to the output I / F 16.

なお、基準クロック重畳部14から出力されたオーディオ信号は、LPF151でパスバンドの帯域がカットされ、ゲイン調整器152でゲイン調整された後に加算器153に入力されるが、LPF151は必須ではなく、音響信号成分と変調信号の成分(重畳されるデータ符号列の周波数成分)とを完全に帯域分割する必要はない。例えば、キャリア信号を20〜25kHz程度にすれば、音響信号成分と変調信号の成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつデータ符号列を復号できる程度のSN比を確保することができる。なお、データ符号列を重畳する周波数帯域は20kHz以上の非可聴域にすることが望ましいが、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域にデータ符号列を重畳することで、聴感上の影響を少なくすることができる。   The audio signal output from the reference clock superimposing unit 14 is cut in the passband band by the LPF 151 and gain-adjusted by the gain adjuster 152 and then input to the adder 153. However, the LPF 151 is not essential. It is not necessary to completely divide the band of the acoustic signal component and the modulation signal component (the frequency component of the superimposed data code string). For example, if the carrier signal is set to about 20 to 25 kHz, even if the acoustic signal component and the modulated signal component are slightly overlapped, the SN ratio is such that the listener can hardly hear the modulated signal and can decode the data code string. Can be secured. Note that the frequency band for superimposing the data code string is desirably a non-audible range of 20 kHz or more. However, in the case where the non-audible range cannot be used by D / A conversion, compression audio encoding, or the like, for example, a frequency band of 15 kHz or more is used. By superimposing the data code string on the high frequency band, the influence on hearing can be reduced.

以上のようにして、データ符号列(演奏情報およびオフセット値)ならびに基準クロックが重畳されたオーディオ信号は、オーディオ出力端子である出力I/F16から出力される。   As described above, the audio signal on which the data code string (performance information and offset value) and the reference clock are superimposed is output from the output I / F 16 which is an audio output terminal.

復号装置2は、上述のように基準クロック抽出部24にて基準クロックの復号を行うとともに、タイミング抽出部25にて、オーディオ信号に重畳されている演奏情報およびオフセット値の復号を行う。上述のスペクトラム拡散を用いる場合、以下のようにして行う。   In the decoding device 2, the reference clock extraction unit 24 decodes the reference clock as described above, and the timing extraction unit 25 decodes the performance information and the offset value superimposed on the audio signal. When the above-described spread spectrum is used, it is performed as follows.

図2(B)は、タイミング抽出部25の構成の一例を示すブロック図である。タイミング抽出部25に入力されたオーディオ信号は、HPF251に入力される。HPF251は、音響信号成分を除去するためのフィルタである。HPF251の出力信号は、遅延器252および乗算器253に入力される。遅延器252の遅延量は、差動符号の1サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の1サンプル分の時間に設定される。乗算器253は、HPF251から入力される信号と、遅延器252から出力される1サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−1,1に2値化されており、1サンプル前の符号からの位相変化を示したものであるため、1サンプル前の信号と乗算することにより、差動符号化前の演奏情報およびオフセット値(拡散後の符号)が抽出される。   FIG. 2B is a block diagram illustrating an example of the configuration of the timing extraction unit 25. The audio signal input to the timing extraction unit 25 is input to the HPF 251. The HPF 251 is a filter for removing acoustic signal components. The output signal of the HPF 251 is input to the delay unit 252 and the multiplier 253. The delay amount of the delay unit 252 is set to a time corresponding to one sample of the differential code. When the differential code is upsampled, it is set to the time for one sample after the upsampling. The multiplier 253 multiplies the signal input from the HPF 251 by the signal one sample before output from the delay unit 252 and performs delay detection processing. The differentially encoded signal is binarized to −1 and 1, and indicates the phase change from the code one sample before. Therefore, by multiplying the signal one sample before, the difference is obtained. The performance information before dynamic coding and the offset value (spread code) are extracted.

そして、乗算器253の出力信号は、ナイキストフィルタであるLPF254を経てベースバンド信号として抽出され、相関器255に入力される。相関器255は、上記拡散符号発生部254が出力した拡散符号と同じ拡散符号で入力信号との相関を求める。拡散符号は、自己相関性の高いPN符号を用いているため、相関器255が出力する相関値は、ピーク検出部256で拡散符号の周期(データ符号の周期)で正負のピーク成分が抽出される。符号判定部257は、各ピーク成分を演奏情報およびオフセット値のデータ符号(0,1)として復号する。このようにして、オーディオ信号に重畳されている演奏情報およびオフセット値が復号される。なお、重畳側の差動符号化の処理、復号側の遅延検波処理は必須ではない。また、基準クロックについても、拡散符号を基準クロックで位相変調することによりオーディオ信号に重畳することができる。   The output signal of the multiplier 253 is extracted as a baseband signal through the LPF 254 that is a Nyquist filter, and is input to the correlator 255. The correlator 255 obtains the correlation with the input signal using the same spreading code as the spreading code output from the spreading code generator 254. Since the spreading code uses a PN code with high autocorrelation, the correlation value output from the correlator 255 is extracted by the peak detector 256 with positive and negative peak components in the spreading code period (data code period). The The code determination unit 257 decodes each peak component as performance information and a data code (0, 1) of an offset value. In this way, the performance information and the offset value superimposed on the audio signal are decoded. Note that the superposition-side differential encoding process and the decoding-side delay detection process are not essential. Also, the reference clock can be superimposed on the audio signal by phase-modulating the spreading code with the reference clock.

次に、図3は、オーディオ信号に重畳されるデータ例、および基準クロックとオフセット値の関係を示した図である。まず、図3(A)では、実際の演奏開始タイミング(楽音発生タイミング)と演奏情報記録タイミングが一致する例について示している。この場合、タイミング計算部18は、直前の基準クロックとの差分を検出して楽音発生からの時間差(オフセット値)を計算し、図3(B)に示すようなデータを生成する。   Next, FIG. 3 is a diagram illustrating an example of data superimposed on an audio signal and a relationship between a reference clock and an offset value. First, FIG. 3A shows an example in which the actual performance start timing (musical sound generation timing) matches the performance information recording timing. In this case, the timing calculation unit 18 detects a difference from the immediately preceding reference clock, calculates a time difference (offset value) from the generation of the musical sound, and generates data as shown in FIG.

図3(B)に示すように、オーディオ信号に重畳されるデータは、オフセット値および演奏情報からなる。オフセット値は、演奏情報記録タイミング(演奏開始タイミング)と直前の基準クロックとの時間差時間差(msec)を表すものである。   As shown in FIG. 3B, the data superimposed on the audio signal includes an offset value and performance information. The offset value represents the time difference (msec) between the performance information recording timing (performance start timing) and the immediately preceding reference clock.

同図(A)および同図(B)に示す例では、演奏開始タイミングと基準クロックとの時間差が200msecであるため、オフセット値=200となる。よって、タイミング計算部18は、「オフセット値=200」の情報、および演奏情報が含まれたデータをデータ重畳部15に出力する。   In the example shown in FIGS. 6A and 6B, the time difference between the performance start timing and the reference clock is 200 msec, so that the offset value = 200. Therefore, the timing calculation unit 18 outputs data including “offset value = 200” information and performance information to the data superimposing unit 15.

このように、電子ピアノ1は、基準クロックとのオフセット値をオーディオ信号に重畳して出力するため、高い分解能で時間差に関する情報を埋め込むことができる。例えば、サンプリング周波数44.1kHzで、2047ポイントのM系列信号を16倍オーバーサンプリングした際の周期である約740msec周期の基準クロックに対し、8bitでのオフセット値とすると、3msec程度の高い分解能が得られる。また、基準クロックとのオフセット値を時間差に関する情報として記録しているため、再生側ではオーディオ信号を先頭から読み出す必要がない。   Thus, since the electronic piano 1 outputs the offset value with respect to the reference clock superimposed on the audio signal, information regarding the time difference can be embedded with high resolution. For example, an offset value of 8 bits with respect to a reference clock having a period of about 740 msec, which is a period when an M-sequence signal of 2047 points is oversampled 16 times at a sampling frequency of 44.1 kHz, a high resolution of about 3 msec can be obtained. It is done. Further, since the offset value with respect to the reference clock is recorded as information relating to the time difference, there is no need to read the audio signal from the head on the playback side.

次に、図4は、オーディオ信号に重畳されるデータの他の例を示した図である。図4(A)では、演奏開始タイミングから7拍遅れてデータ重畳部15がデータを重畳する例について示している。楽音の発生からデータ重畳までの遅れは、例えば無音区間が存在して各種情報を重畳できない場合や演奏情報取得までの遅延が大きい場合等に発生する。タイミング計算部18は、上記無音区間を検出して楽音発生からの時間差を計算し、図4(B)に示すようなデータを生成する。   Next, FIG. 4 is a diagram showing another example of data superimposed on the audio signal. FIG. 4A shows an example in which the data superimposing unit 15 superimposes data with a delay of 7 beats from the performance start timing. The delay from the generation of the musical sound to the data superimposition occurs, for example, when there is a silent section and various information cannot be superimposed or when the delay until the performance information acquisition is large. The timing calculation unit 18 detects the silent section and calculates the time difference from the generation of the musical sound, and generates data as shown in FIG.

図4(B)に示すように、この例では、オフセット値として、基準クロックオフセット値とクロック内オフセット値を規定している。基準クロックオフセット値は、演奏情報記録タイミングの直前の基準クロックと、実際の演奏開始タイミングの直前の基準クロックとの差(クロックの数)を表すものである。クロック内オフセット値は、演奏開始タイミングと、その直前の基準クロックとの時間差(msec)を表すものである。   As shown in FIG. 4B, in this example, a reference clock offset value and an in-clock offset value are defined as offset values. The reference clock offset value represents the difference (number of clocks) between the reference clock immediately before the performance information recording timing and the reference clock immediately before the actual performance start timing. The in-clock offset value represents the time difference (msec) between the performance start timing and the reference clock immediately before it.

同図(A)および同図(B)に示す例では、演奏開始タイミングの直前の基準クロックから演奏情報記録タイミングの直前の基準クロックまでの差が7クロック存在するため、基準クロックオフセット値=7となる。また、演奏開始タイミングと直前の基準クロックとの時間差が200msecであるため、クロック内オフセット値=200となる。よって、タイミング計算部18は、「基準クロックオフセット値=7、クロック内オフセット値=200」の情報、および演奏情報が含まれたデータをデータ重畳部15に出力する。   In the example shown in FIGS. 6A and 6B, there are 7 clock differences from the reference clock immediately before the performance start timing to the reference clock immediately before the performance information recording timing, so the reference clock offset value = 7. It becomes. Further, since the time difference between the performance start timing and the immediately preceding reference clock is 200 msec, the in-clock offset value = 200. Therefore, the timing calculation unit 18 outputs data including “reference clock offset value = 7, in-clock offset value = 200” information and performance information to the data superimposing unit 15.

なお、演奏開始の指示から楽音発生までの遅延時間が一定である場合、タイミング計算部18は、演奏情報を取得したタイミングから常に一定の値を差し引いてオフセット値を計算すればよい。   If the delay time from the start of performance to the generation of musical tone is constant, the timing calculation unit 18 may calculate the offset value by always subtracting a constant value from the timing at which the performance information is acquired.

また、基準クロックオフセット値が0であれば、基準クロックオフセット値に関する情報が不要となるため、図3(A)および図3(B)に示した例と同様となる。実使用上、図3(A)および図3(B)に示した状況が多い場合、以下のように基準クロックオフセット値の有無を1ビットのフラグとして規定しておき、データ容量を低減するようにしてもよい。   Further, if the reference clock offset value is 0, information regarding the reference clock offset value is not necessary, and therefore, the example is the same as the example shown in FIGS. 3A and 3B. In actual use, when there are many situations shown in FIGS. 3A and 3B, the presence / absence of the reference clock offset value is defined as a 1-bit flag as follows to reduce the data capacity. It may be.

すなわち、図4(C)に示すように、データの先頭に基準クロックオフセット値の有無を示すフラグ(flag)を規定しておく。フラグが0である場合、基準クロックオフセット値が0であるため、同図(D)に示すようなクロック内オフセット値だけをデータに含める。フラグが1である場合、基準クロックオフセット値が1以上(または後述のように−1以下)であるため、同図(E)に示すように基準クロックオフセット値、クロック内オフセット値、および演奏情報を含んだデータとする。   That is, as shown in FIG. 4C, a flag indicating the presence / absence of the reference clock offset value is defined at the beginning of the data. When the flag is 0, since the reference clock offset value is 0, only the in-clock offset value as shown in FIG. When the flag is 1, since the reference clock offset value is 1 or more (or -1 or less as will be described later), the reference clock offset value, the in-clock offset value, and the performance information as shown in FIG. Is included.

また、図5に示すように、演奏開始タイミングが演奏情報記録タイミングより遅い場合(未来の時間を指定する場合)でもオフセット値を計算して重畳することが可能である。この場合、基準クロックオフセット値をマイナスの値(例えば基準クロックオフセット値=−3)とすればよい。例えば、自動演奏ピアノ等、演奏開始の指示から実際の楽音が発生するまで長い機械的遅延が発生する場合に好適である。また、オーディオ信号に重畳させるシーケンスデータが、外部機器(エフェクタや、照明等)を制御するための制御情報であった場合、演奏者が数秒先に動作を開始するように操作入力を行った場合等にも適用される。   Further, as shown in FIG. 5, even when the performance start timing is later than the performance information recording timing (when a future time is designated), the offset value can be calculated and superimposed. In this case, the reference clock offset value may be a negative value (for example, reference clock offset value = −3). For example, it is suitable for a case where a long mechanical delay occurs until an actual musical tone is generated from an instruction to start performance, such as an automatic performance piano. In addition, when the sequence data to be superimposed on the audio signal is control information for controlling an external device (effector, lighting, etc.), when the performer inputs an operation so that the operation starts several seconds ahead And so on.

次に、基準クロックとオフセット値の利用態様について説明する。図1(B)において、出力I/F16から出力されたオーディオ信号は、復号装置2に入力される。なお、電子ピアノ1から出力されたオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、他の一般的な録音機で録音することが可能である。また、録音したオーディオデータは、汎用のオーディオデータであるため、一般的なオーディオ再生機で再生することも可能である。   Next, how to use the reference clock and the offset value will be described. In FIG. 1B, the audio signal output from the output I / F 16 is input to the decoding device 2. Since the audio signal output from the electronic piano 1 can be handled in the same manner as a normal audio signal, it can be recorded with another general recording device. Further, since the recorded audio data is general-purpose audio data, it can be reproduced by a general audio player.

制御部22は、記憶部23に記録されているオーディオデータを読み出し、タイミング抽出部25に出力する。タイミング抽出部25は、オーディオ信号に重畳されているオフセット値および演奏情報を復号し、制御部22に入力する。制御部22は、基準クロック抽出部24から入力された基準クロックと、上記オフセット値に基づいて、オーディオ信号と演奏情報を同期させて外部に出力する。なお、基準クロックにテンポクロックを用いる場合、このときにテンポクロックも出力してもよい。   The control unit 22 reads the audio data recorded in the storage unit 23 and outputs it to the timing extraction unit 25. The timing extraction unit 25 decodes the offset value and performance information superimposed on the audio signal and inputs them to the control unit 22. Based on the reference clock input from the reference clock extraction unit 24 and the offset value, the control unit 22 synchronizes and outputs the audio signal and performance information to the outside. If a tempo clock is used as the reference clock, the tempo clock may also be output at this time.

出力されたオーディオ信号と演奏情報は、楽譜表示等に用いられる。例えば、演奏情報に含まれるノートナンバに基づいて楽譜をモニタに表示するとともに楽音を放音することで、練習用教材として用いることができる。また、シーケンサ等に出力してオーディオ信号に同期した自動演奏を行うこともできる。上記のように、基準クロックオフセット値はマイナスの値を適用することも可能であるため、演奏開始タイミングが演奏情報記録タイミングより遅い場合であっても、正確に同期演奏を行うことができる。   The output audio signal and performance information are used for musical score display and the like. For example, a musical score can be displayed on a monitor based on a note number included in performance information and a musical sound can be emitted to be used as an educational material for practice. It is also possible to perform an automatic performance that is output to a sequencer or the like and synchronized with an audio signal. As described above, since a negative value can be applied as the reference clock offset value, a synchronized performance can be accurately performed even when the performance start timing is later than the performance information recording timing.

なお、制御部22は、ある程度のオーディオデータを内蔵RAM(図示せず)等にバッファしてから再生するか、事前に復号を行っておき、演奏情報とオフセット値を予め読み出しておくことが望ましい。   It is desirable that the control unit 22 buffers a certain amount of audio data in a built-in RAM (not shown) and reproduces it, or decodes it in advance and reads out performance information and an offset value in advance. .

なお、本発明のシーケンスデータ出力装置は、電子楽器に内蔵されている態様に限るものではなく、既存の楽器に後で取り付けすることも可能である。この場合、オーディオ信号の入力端子を設け、入力端子から入力されたオーディオ信号に制御信号を重畳する。例えば、ライン出力端子を有したエレキギターを接続したり、通常のマイクを接続したりすることでオーディオ信号を取得し、また、後付でセンサー回路を装着することで演奏情報を取得することも可能である。これにより、アコースティック楽器であっても、本発明のシーケンスデータ出力装置を用いることが可能である。   Note that the sequence data output device of the present invention is not limited to a mode built in an electronic musical instrument, and can be attached to an existing musical instrument later. In this case, an audio signal input terminal is provided, and the control signal is superimposed on the audio signal input from the input terminal. For example, you can get an audio signal by connecting an electric guitar with a line output terminal or connecting a normal microphone, or you can get performance information by attaching a sensor circuit on the back. Is possible. Accordingly, the sequence data output device of the present invention can be used even for an acoustic instrument.

1−電子ピアノ
11−制御部
12−演奏情報取得部
13−楽音発生部
14−基準クロック重畳部
15−データ重畳部
16−出力I/F
17−基準クロック生成部
18−タイミング計算部
1-electronic piano 11-control unit 12-performance information acquisition unit 13-music sound generation unit 14-reference clock superimposition unit 15-data superposition unit 16-output I / F
17-reference clock generator 18-timing calculator

Claims (7)

一定間隔の基準クロックを生成する基準クロック生成手段と、
演奏者の演奏操作に応じて発生するオーディオ信号に、前記基準クロックを重畳する基準クロック重畳手段と、
前記オーディオ信号シーケンスデータを重畳するデータ重畳手段と、
前記シーケンスデータの重畳タイミングと前記基準クロックとの時間差を検出する時間差検出手段と、
前記基準クロック重畳手段および前記データ重畳手段で前記基準クロックおよび前記シーケンスデータが重畳されたオーディオ信号を出力する出力手段と、
を備え、
前記データ重畳手段は、前記時間差に関する情報を前記シーケンスデータとともに前記オーディオ信号に重畳し、
前記オーディオ信号の周波数成分よりも高い帯域に、重畳される情報の変調成分が含まれることを特徴とするシーケンスデータ出力装置。
A reference clock generating means for generating a reference clock at regular intervals;
A reference clock superimposing means for superimposing the reference clock on an audio signal generated in accordance with the performance operation of the performer;
Data superimposing means for superimposing the audio signal sequence data;
A time difference detecting means for detecting a time difference between the sequence data superimposition timing and the reference clock;
An output means for outputting an audio signal on which the reference clock and the sequence data are superimposed by the reference clock superimposing means and the data superimposing means;
With
The data superimposing means superimposes information on the time difference together with the sequence data on the audio signal,
A sequence data output apparatus, wherein a modulation component of information to be superimposed is included in a band higher than a frequency component of the audio signal.
演奏者の操作を入力する操作入力手段と、
前記操作入力手段の操作入力に応じて前記シーケンスデータを生成するデータ生成手段と、を備え、
前記時間差検出手段は、前記操作入力のタイミングと前記シーケンスデータの重畳タイミングとの時間差を、前記基準クロックとの差分で検出し、前記時間差に関する情報を、前記差分で表したことを特徴とする請求項1に記載のシーケンスデータ出力装置。
Operation input means for inputting a player's operation;
Data generation means for generating the sequence data in response to an operation input of the operation input means,
The time difference detecting means detects a time difference between the operation input timing and the sequence data superimposition timing by a difference from the reference clock, and represents information related to the time difference by the difference. Item 4. The sequence data output device according to Item 1.
前記データ重畳手段は、所定の周期を有する拡散符号を発生する拡散符号発生部と、
重畳する情報に基づき、前記拡散符号を前記周期ごとに位相変調する変調部と、
位相変調された前記拡散符号に基づいて生成された変調信号を、前記オーディオ信号の周波数よりも高い周波数帯域に、前記オーディオ信号と合成し、合成信号として出力する合成部と、
を備えた請求項1または2に記載のシーケンスデータ出力装置。
The data superimposing means includes a spreading code generating unit that generates a spreading code having a predetermined period;
A modulation unit that phase-modulates the spreading code for each period based on superimposition information;
A synthesis unit that synthesizes a modulation signal generated based on the phase-modulated spreading code with the audio signal in a frequency band higher than the frequency of the audio signal, and outputs the synthesized signal;
The sequence data output device according to claim 1 or 2, further comprising:
請求項1〜3のいずれかに記載のシーケンスデータ出力装置、および前記オーディオ信号に重畳された情報を復号する復号装置を備えた音声処理システムであって、
前記復号装置は、前記オーディオ信号を予め入力しておき、前記オーディオ信号から復号した前記基準クロックおよび前記時間差に関する情報に基づいて、前記オーディオ信号と前記シーケンスデータとを同期させる同期手段を備えた音声処理システム。
A speech processing system comprising: the sequence data output device according to any one of claims 1 to 3; and a decoding device that decodes information superimposed on the audio signal.
The decoding device includes a synchronization unit that inputs the audio signal in advance and synchronizes the audio signal and the sequence data based on the reference clock and the time difference information decoded from the audio signal. Processing system.
前記シーケンスデータ出力装置の基準クロック重畳手段は、前記基準クロックに基づいたタイミングで前記オーディオ信号に疑似ノイズを重畳することで前記基準クロックを重畳し、
前記復号装置は、前記オーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する復号手段を備えた請求項4に記載の音声処理システム。
The reference clock superimposing means of the sequence data output device superimposes the reference clock by superimposing pseudo noise on the audio signal at a timing based on the reference clock,
The audio processing system according to claim 4, wherein the decoding device includes a decoding unit that obtains a correlation between the audio signal and the pseudo noise and decodes the reference clock based on a peak generation timing of the correlation.
前記基準クロックとして、演奏者の演奏テンポを反映したテンポ情報を用いる請求項1〜5のいずれかに記載のシーケンスデータ出力装置。   6. The sequence data output device according to claim 1, wherein tempo information reflecting a performance tempo of a performer is used as the reference clock. 請求項1〜6のいずれかに記載のシーケンスデータ出力装置を内蔵した電子楽器。   An electronic musical instrument incorporating the sequence data output device according to claim 1.
JP2009171322A 2008-07-29 2009-07-22 Sequence data output device, sound processing system, and electronic musical instrument Expired - Fee Related JP5556076B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2009171322A JP5556076B2 (en) 2008-08-20 2009-07-22 Sequence data output device, sound processing system, and electronic musical instrument
PCT/JP2009/063510 WO2010013752A1 (en) 2008-07-29 2009-07-29 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
CN2009801120370A CN101983403B (en) 2008-07-29 2009-07-29 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
US12/935,463 US8697975B2 (en) 2008-07-29 2009-07-29 Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
EP09802994.5A EP2261896B1 (en) 2008-07-29 2009-07-29 Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument
US13/955,451 US9006551B2 (en) 2008-07-29 2013-07-31 Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008211284 2008-08-20
JP2008211284 2008-08-20
JP2009171322A JP5556076B2 (en) 2008-08-20 2009-07-22 Sequence data output device, sound processing system, and electronic musical instrument

Publications (2)

Publication Number Publication Date
JP2010072629A true JP2010072629A (en) 2010-04-02
JP5556076B2 JP5556076B2 (en) 2014-07-23

Family

ID=42204411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009171322A Expired - Fee Related JP5556076B2 (en) 2008-07-29 2009-07-22 Sequence data output device, sound processing system, and electronic musical instrument

Country Status (1)

Country Link
JP (1) JP5556076B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017022A (en) * 2011-07-04 2013-01-24 Nippon Hoso Kyokai <Nhk> Audio signal mixing device and program thereof, and audio signal restoration device and program thereof
JP2013068899A (en) * 2011-09-26 2013-04-18 Yamaha Corp Musical sound reproducing device, information processing device and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654388A (en) * 1992-04-07 1994-02-25 Yamaha Corp Sound parameter controller
JP2000020054A (en) * 1998-07-06 2000-01-21 Yamaha Corp Karaoke sing-along machine
JP3264668B2 (en) * 1991-12-17 2002-03-11 ボルト ベラネック アンド ニューマン インコーポレイテッド Embedded signal system
JP2003186500A (en) * 2001-12-17 2003-07-04 Sony Corp Information transmission system, information encoding device and information decoding device
JP2003316356A (en) * 2002-04-23 2003-11-07 Yamaha Corp Method and device for superimposing playing data on digital audio data, or extracting playing data from digital audio data
JP2006323161A (en) * 2005-05-19 2006-11-30 Dainippon Printing Co Ltd Control code embedding device to sound signal, and control system for time series driving gear using sound signal
JP4030036B2 (en) * 1998-07-16 2008-01-09 ニールセン メディア リサーチ インコーポレイテッド System and apparatus for encoding an audible signal by adding an inaudible code to an audio signal for use in a broadcast program identification system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3264668B2 (en) * 1991-12-17 2002-03-11 ボルト ベラネック アンド ニューマン インコーポレイテッド Embedded signal system
JPH0654388A (en) * 1992-04-07 1994-02-25 Yamaha Corp Sound parameter controller
JP2000020054A (en) * 1998-07-06 2000-01-21 Yamaha Corp Karaoke sing-along machine
JP4030036B2 (en) * 1998-07-16 2008-01-09 ニールセン メディア リサーチ インコーポレイテッド System and apparatus for encoding an audible signal by adding an inaudible code to an audio signal for use in a broadcast program identification system
JP2003186500A (en) * 2001-12-17 2003-07-04 Sony Corp Information transmission system, information encoding device and information decoding device
JP2003316356A (en) * 2002-04-23 2003-11-07 Yamaha Corp Method and device for superimposing playing data on digital audio data, or extracting playing data from digital audio data
JP2006323161A (en) * 2005-05-19 2006-11-30 Dainippon Printing Co Ltd Control code embedding device to sound signal, and control system for time series driving gear using sound signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013017022A (en) * 2011-07-04 2013-01-24 Nippon Hoso Kyokai <Nhk> Audio signal mixing device and program thereof, and audio signal restoration device and program thereof
JP2013068899A (en) * 2011-09-26 2013-04-18 Yamaha Corp Musical sound reproducing device, information processing device and program

Also Published As

Publication number Publication date
JP5556076B2 (en) 2014-07-23

Similar Documents

Publication Publication Date Title
US8697975B2 (en) Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument
JP5782677B2 (en) Content reproduction apparatus and audio processing system
CN102169705B (en) tone reproduction apparatus and method
JP5556075B2 (en) Performance information output device and performance system
JP4949687B2 (en) Beat extraction apparatus and beat extraction method
US7534951B2 (en) Beat extraction apparatus and method, music-synchronized image display apparatus and method, tempo value detection apparatus, rhythm tracking apparatus and method, and music-synchronized display apparatus and method
JP5556074B2 (en) Control device
JP5953687B2 (en) Information processing apparatus and program
JP5604824B2 (en) Tempo information output device, sound processing system, and electronic musical instrument
JP5556076B2 (en) Sequence data output device, sound processing system, and electronic musical instrument
JP5549319B2 (en) Sound equipment and sound system
JP5168165B2 (en) Apparatus and program for embedding and extracting digital watermark information
JP5510121B2 (en) Extraction device for extracting digital watermark information embedded in carrier signal, and embedding device for embedding digital watermark information in carrier signal
JP5459069B2 (en) Apparatus for removing digital watermark information embedded in audio signal, and apparatus for embedding digital watermark information in audio signal
JP4133064B2 (en) Waveform playback device
JP5568999B2 (en) Playback device, musical sound signal output device, playback system, and program
JP2002358078A (en) Musical source synchronizing circuit and musical source synchronizing method
JP5747974B2 (en) Information processing apparatus and program
JP2010160289A (en) Midi (r) karaoke system which automatically corrects interval
JP2008225234A (en) Audio signal processor
JP2007122085A (en) Device and method for performing synchronous playback of voice data and performance data
JPH08167243A (en) Digital audio system and reproducing device as well as recording device and digital copying method
JP2005274721A (en) Sound effect device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R150 Certificate of patent or registration of utility model

Ref document number: 5556076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees