JP2010072629A - Sequence data output device, voice processing system, and electronic musical instrument - Google Patents
Sequence data output device, voice processing system, and electronic musical instrument Download PDFInfo
- Publication number
- JP2010072629A JP2010072629A JP2009171322A JP2009171322A JP2010072629A JP 2010072629 A JP2010072629 A JP 2010072629A JP 2009171322 A JP2009171322 A JP 2009171322A JP 2009171322 A JP2009171322 A JP 2009171322A JP 2010072629 A JP2010072629 A JP 2010072629A
- Authority
- JP
- Japan
- Prior art keywords
- reference clock
- audio signal
- sequence data
- timing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Electrophonic Musical Instruments (AREA)
Abstract
Description
この発明は、演奏者の操作入力によって生成される制御信号を正確なタイミングでオーディオ信号と共に出力するシーケンスデータ出力装置に関する。 The present invention relates to a sequence data output device that outputs a control signal generated by a player's operation input together with an audio signal at an accurate timing.
従来、オーディオ信号に種々のデータを埋め込む技術が提案されている。例えば、特許文献1においては、著作権保護を目的として、電子透かしを用いてオーディオ信号にデータを埋め込む技術が提案されている。
Conventionally, techniques for embedding various data in an audio signal have been proposed. For example,
また、特許文献2においては、電子透かしを用いてオーディオ信号に制御信号を時系列に埋め込む技術が提案されている。
しかし、特許文献1の方式では、情報を埋め込むタイミングについては何ら考慮されていなかった。そのため、例えば無音部分が存在した場合、情報を重畳することができず、実際に埋め込むべきタイミングから大きくずれて情報が重畳されてしまうという問題があった。
However, in the method of
一方、特許文献2においては、オーディオ信号の先頭からの時間差を埋め込んでおり、再生時において制御信号を用いるためには、常に先頭から読み出す必要があった。また、特許文献2に記載されている方式は、制御信号のタイミングと演奏のタイミングとの関係を示したテーブル(コードリスト)を予め用意しておく必要があり、演奏者がランダムに(リアルタイムに)演奏操作等を行う場合に用いることができないものであった。さらには、特許文献2の方式は、フレーム単位で制御信号を埋め込むものであり、楽器演奏のような高い分解能(例えば数msec以下)が必要な場合に用いることができないものであった。
On the other hand, in
そこで、この発明は、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳するシーケンスデータ出力装置、および音声処理システムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a sequence data output apparatus and a sound processing system that superimpose information indicating the timing of embedding sequence data with high accuracy without depending on the content of an audio signal.
この発明のシーケンスデータ出力装置は、演奏者の演奏操作に応じて発生するオーディオ信号を出力する出力手段を備えている。オーディオ信号には、基準クロックと演奏者の操作によるシーケンスデータ(演奏情報や外部機器の制御情報)が、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。基準クロックとしてテンポ情報を利用する場合、テンポ情報は、MIDIクロックのようなビート情報(テンポクロック)として重畳される。このビート情報は、例えば自動演奏システム(シーケンサ)により常に出力される。さらに、オーディオ信号には、シーケンスデータの重畳タイミングと基準クロックとの時間差に関する情報も、当該オーディオ信号の周波数成分よりも高い帯域に重畳される。 The sequence data output device according to the present invention comprises output means for outputting an audio signal generated in response to a performance operation of the performer. In the audio signal, the reference clock and sequence data (performance information and control information of the external device) operated by the performer are superimposed on a band higher than the frequency component of the audio signal. When tempo information is used as a reference clock, the tempo information is superimposed as beat information (tempo clock) such as a MIDI clock. This beat information is always output by, for example, an automatic performance system (sequencer). Furthermore, information related to the time difference between the sequence data superimposition timing and the reference clock is also superimposed on the audio signal in a band higher than the frequency component of the audio signal.
そのため、シーケンスデータ出力装置は、基準クロック、シーケンスデータ、時間差に関する情報をオーディオ信号に含めて(ライン1本で)出力することができる。また、出力したオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、録音機等で録音して汎用のオーディオデータとして用いる事ができる。また、基準クロックにテンポ情報を利用する場合は、オーディオ信号には、テンポクロックと、シーケンスデータが重畳されるタイミングとの時間差が埋め込まれているため、シーケンスデータがMIDIデータ(演奏情報)であれば、既存の自動演奏装置との同期が可能になる。また、基準クロックとの時間差を補正することにより、演奏情報の生成遅延、楽音発生までの機械的遅延等をリアルタイムで補正することができる。 Therefore, the sequence data output device can include (output with one line) information relating to the reference clock, sequence data, and time difference included in the audio signal. Further, since the output audio signal can be handled in the same manner as a normal audio signal, it can be recorded by a recorder or the like and used as general-purpose audio data. Also, when tempo information is used as the reference clock, the time difference between the tempo clock and the timing at which the sequence data is superimposed is embedded in the audio signal, so that the sequence data is MIDI data (performance information). Thus, synchronization with an existing automatic performance device is possible. Further, by correcting the time difference from the reference clock, it is possible to correct performance information generation delay, mechanical delay until musical tone generation, and the like in real time.
また、本発明では、一定間隔で発生する基準クロックとの時間差を重畳する方式であるため、オーディオ信号の先頭から読み出す必要がなく、高い分解能で時間差に関する情報を埋め込むことができる。例えば時間差に関する情報を直前の基準クロックとの差分(オフセット値)で表す場合、サンプリング周波数44.1kHzで、2047ポイントのM系列信号を16倍オーバーサンプリングした際の周期である約740msec周期の基準クロックに対し、8bitでのオフセット値とすると、3msec程度の分解能が得られ、楽器演奏のような高い分解能を必要とするものにも用いることができる。 In the present invention, since the time difference from the reference clock generated at regular intervals is superimposed, it is not necessary to read from the head of the audio signal, and information about the time difference can be embedded with high resolution. For example, when the information regarding the time difference is expressed as a difference (offset value) from the immediately preceding reference clock, the reference clock having a period of about 740 msec, which is a period when the M-sequence signal of 2047 points is oversampled 16 times at a sampling frequency of 44.1 kHz. On the other hand, if the offset value is 8 bits, a resolution of about 3 msec can be obtained, and it can be used for a musical instrument performance requiring a high resolution.
シーケンスデータ出力装置は、演奏操作に応じて発生したオーディオ信号の周波数成分よりも高い帯域に重畳する情報(例えば上記時間差に関する情報)の変調成分が含まれるように、当該情報を重畳して出力する。例えば、M系列擬似ノイズ(PN符号)を上記時間差に関する情報で位相変調することにより符号化することも可能である。時間差に関する情報を重畳する周波数帯域は20kHz以上の非可聴域にすることが望ましいが、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域に時間差に関する情報を重畳し、聴感上の影響を少なくする。なお、シーケンスデータやテンポ情報についても、時間差に関する情報と同様の重畳方式を用いることができる。 The sequence data output device superimposes and outputs the information so as to include a modulation component of information to be superimposed on a band higher than the frequency component of the audio signal generated according to the performance operation (for example, information on the time difference). . For example, it is possible to encode the M-sequence pseudo noise (PN code) by phase-modulating the information regarding the time difference. The frequency band for superimposing the information on the time difference is desirably a non-audible range of 20 kHz or more. However, in the case where the non-audible range cannot be used due to D / A conversion or encoding of compressed audio, for example, a high frequency of 15 kHz or more. Superimpose information on time difference in the band to reduce the effect on hearing. For the sequence data and tempo information, the same superposition method as that for the information regarding the time difference can be used.
また、上記発明において、シーケンスデータは、演奏者の操作入力に応じて生成されるようにしてもよい。この場合、操作入力タイミング(例えば楽音発生タイミング)とシーケンスデータの重畳タイミングとの差分が重畳される。 In the above invention, the sequence data may be generated in accordance with a player's operation input. In this case, the difference between the operation input timing (for example, musical sound generation timing) and the sequence data superimposition timing is superimposed.
なお、シーケンスデータ出力装置は、電子ピアノ等の電子楽器に内蔵される態様や、既存の楽器からオーディオ信号を入力する態様、アコースティック楽器や歌唱音をマイクで収音してオーディオ信号を入力する態様、等を含むものである。 Note that the sequence data output device is an aspect built in an electronic musical instrument such as an electronic piano, an aspect in which an audio signal is input from an existing musical instrument, an aspect in which an acoustic signal or singing sound is collected by a microphone and an audio signal is input. , Etc.
また、請求項1または請求項2に記載のシーケンスデータ出力装置を用いて、前記シーケンスデータを復号する復号装置をさらに備えた音声処理システムとする態様も可能である。
In addition, an aspect in which the speech data processing system further includes a decoding device that decodes the sequence data using the sequence data output device according to
この場合、復号装置は、オーディオ信号をバッファしておくか、または予めオーディオ信号から各種情報を復号しておき、復号した基準クロックおよびオフセット値に基づいて、オーディオ信号とシーケンスデータとを同期させる。 In this case, the decoding apparatus buffers the audio signal or previously decodes various information from the audio signal, and synchronizes the audio signal and the sequence data based on the decoded reference clock and offset value.
また、シーケンスデータ出力装置の重畳手段は、前記基準クロックに基づいたタイミングで前記オーディオ信号に疑似ノイズを重畳することで前記基準クロックを重畳する。疑似ノイズとしては、例えばPN符号のような自己相関性の高い信号を用いる。基準クロックとしてテンポ情報を用いる場合、シーケンスデータ出力装置は、自己相関性の高い信号を演奏テンポに基づくタイミングで(例えば拍毎に)生成し、オーディオ信号に重畳する。よって、アナログのオーディオ信号として放音したとしても重畳されているテンポ情報が失われることもない。 The superimposing means of the sequence data output device superimposes the reference clock by superimposing pseudo noise on the audio signal at a timing based on the reference clock. As the pseudo noise, a signal having high autocorrelation such as a PN code is used. When tempo information is used as the reference clock, the sequence data output device generates a signal with high autocorrelation at a timing based on the performance tempo (for example, for each beat) and superimposes it on the audio signal. Therefore, even if sound is output as an analog audio signal, the superimposed tempo information is not lost.
復号装置は、前記オーディオ信号を入力する入力手段と、基準クロックを復号する復号手段を備えている。復号手段は、入力手段に入力されたオーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、復号装置でオーディオ信号と、疑似ノイズとの相関を求めると、一定周期の相関のピークが抽出される。したがって、相関のピーク発生タイミングが基準クロックを示すこととなる。 The decoding device includes input means for inputting the audio signal and decoding means for decoding the reference clock. The decoding unit obtains a correlation between the audio signal input to the input unit and the pseudo noise, and decodes the reference clock based on the peak generation timing of the correlation. Since the pseudo noise superimposed on the audio signal is a signal having a very high autocorrelation, when a correlation between the audio signal and the pseudo noise is obtained by the decoding device, a correlation peak of a certain period is extracted. Therefore, the correlation peak generation timing indicates the reference clock.
PN符号のような自己相関性の高い疑似ノイズは、低レベルであっても相関のピークを抽出することができるため、聴感上違和感のない音声(聞き取りにくい音声)でありながらも、高精度にテンポ情報を重畳、復号することができる。また、疑似ノイズを20kHz以上等の高域にのみ重畳すればさらに聞き取りにくくすることもできる。 Pseudo noise with high autocorrelation such as PN code can extract the peak of correlation even at low level, so it is highly accurate even though it is sound that is not uncomfortable on hearing (sound that is difficult to hear). Tempo information can be superimposed and decoded. Further, if pseudo noise is superimposed only on a high frequency band of 20 kHz or higher, it is possible to make it more difficult to hear.
この発明によれば、オーディオ信号の内容に依存せず、シーケンスデータを埋め込むタイミングを示した情報を高精度に重畳することができる。 According to the present invention, it is possible to superimpose information indicating the timing of embedding sequence data with high accuracy without depending on the content of the audio signal.
図1は、本発明の実施形態に係る音声処理システムの構成を示す図である。音声処理システムは、シーケンスデータ出力装置および復号装置からなる。図1(A)では、電子楽器(電子ピアノ)が基準クロックとなるテンポ情報を出力する装置を兼ねている例を示す。本実施形態では、シーケンスデータとして演奏情報をオーディオ信号に重畳する例について説明する。 FIG. 1 is a diagram showing a configuration of a speech processing system according to an embodiment of the present invention. The voice processing system includes a sequence data output device and a decoding device. FIG. 1A shows an example in which an electronic musical instrument (electronic piano) also serves as a device that outputs tempo information serving as a reference clock. In the present embodiment, an example in which performance information is superimposed on an audio signal as sequence data will be described.
図1(A)に示す電子ピアノ1は、制御部11、演奏情報取得部12、楽音発生部13、基準クロック重畳部14、データ重畳部15、出力インタフェース(I/F)16、基準クロック生成部17、およびタイミング計算部18を備えている。
1A includes a
演奏情報取得部12は、演奏者の演奏操作に応じて演奏情報を取得する。取得した演奏情報は、楽音発生部13およびタイミング計算部18に出力される。演奏情報は、例えば押下された鍵盤の情報(ノートナンバ)、押鍵のタイミング(ノートオン、ノートオフ)、鍵盤を押す速度(ベロシティ)、等である。どの演奏情報を出力するか(どの演奏情報に基づいて楽音を発生するか)は、制御部11により指示される。
The performance
楽音発生部13は、音源を内蔵しており、制御部11の指示(ボリューム等の設定)に応じて演奏情報取得部12より演奏情報を入力して楽音(オーディオ信号)を発生する。なお、本発明のオーディオ信号は、アナログ信号に限るものではなく、デジタル信号であってもよい。
The
基準クロック生成部17は、設定されたテンポに応じた基準クロックを生成する。基準クロックとしてテンポクロックを利用する場合、テンポクロックは、例えば、MIDIクロック(4部音符あたり24クロック)に準じたクロックであり、常時出力されるものである。基準クロック生成部17は、生成した基準クロックを基準クロック重畳部14およびタイミング計算部18に出力する。
The reference
なお、テンポクロックに応じてメトロノーム音を発生するメトロノーム音発生部を設け、メトロノーム音を演奏による楽音とミキシングしてヘッドフォンI/F等から出力してもよい。この場合、演奏者は、ヘッドフォンから聞こえるメトロノーム音(テンポ)を聴きながら演奏を行うことができる。 Note that a metronome sound generating section that generates a metronome sound according to the tempo clock may be provided, and the metronome sound may be mixed with a musical sound by performance and output from a headphone I / F or the like. In this case, the performer can perform while listening to the metronome sound (tempo) heard from the headphones.
なお、電子ピアノ1にテンポ情報の入力専用の操作子(タップスイッチ等、図中破線のテンポ情報入力部)を設け、演奏者が刻む拍を基準テンポ信号として入力し、テンポ情報を抽出するように構成することも可能である。
The
基準クロック重畳部14は、楽音発生部13から入力されるオーディオ信号に基準クロックを重畳する。重畳方式は、重畳された信号が聴取し難いような手法を用いる。例えば、PN符号(M系列)のような疑似ノイズを、聴感上違和感のない微弱なレベルで重畳する。このとき、疑似ノイズを重畳させる帯域は、可聴外(20kHz以上)の帯域に限っておいてよい。なお、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域であっても、聴感上の影響を少なくすることができる。M系列のような疑似ノイズは、自己相関性が非常に高いため、復号側でオーディオ信号と、重畳されている疑似ノイズと同じ符号と、の相関を求めることで、基準クロックを抽出することができる。なお、M系列に限らず、Gold系列など、他の乱数を用いてもよい。
The reference
図1(B)および同図(C)を用いて復号側の基準クロック抽出処理について説明する。同図(B)に示す復号装置2は、オーディオ信号を録音する録音機としての機能と、オーディオ信号を再生する再生機としての機能と、オーディオ信号に重畳されている基準クロックを復号する復号機としての機能と、を備えている。ここでは、同図(B)に示す復号装置2について、主に、オーディオ信号に重畳されている基準クロックを復号する機能について説明する。
The reference clock extraction process on the decoding side will be described with reference to FIG. 1B and FIG. The
図1(B)において、復号装置2は、入力I/F21、制御部22、記憶部23、基準クロック抽出部24、およびタイミング抽出部25を備えている。制御部22は、入力I/F21から入力されたオーディオ信号を録音し、記憶部23に汎用のオーディオデータとして記録する。また、制御部22は、記憶部23に記録されているオーディオデータを読み出し、基準クロック抽出部24に出力する。
1B, the
基準クロック抽出部24は、電子ピアノ1の基準クロック重畳部14で発生する疑似ノイズと同じ疑似ノイズを生成し、再生したオーディオ信号との相関を求める。オーディオ信号に重畳されている疑似ノイズは、自己相関性の非常に高い信号であるため、オーディオ信号と疑似ノイズとの相関を求めると、同図(C)に示すように、定期的に急峻なピークが抽出される。この相関のピーク発生タイミングが基準クロックを示す。
The reference
なお、基準クロックとしてテンポ情報を用いる場合は、拍タイミングと小節タイミングで、複数の異なる疑似ノイズを重畳することで、復号側で拍タイミングと小節タイミングを区別することもできる。この場合、拍タイミング抽出用と小節タイミング抽出用のテンポクロック抽出部を複数設けるとよい。拍タイミングと小節タイミングで異なるパターンの疑似ノイズを重畳することで、互いの疑似ノイズが干渉することなく、拍タイミング、小節タイミングを別々に高精度に重畳、復号することができる。 When tempo information is used as the reference clock, the beat timing and the bar timing can be distinguished on the decoding side by superimposing a plurality of different pseudo noises at the beat timing and the bar timing. In this case, it is preferable to provide a plurality of tempo clock extraction units for beat timing extraction and measure timing extraction. By superimposing different patterns of pseudo-noise at beat timing and measure timing, the beat timing and measure timing can be superimposed and decoded separately with high accuracy without interfering with each other's pseudo-noise.
以上のようにして抽出した基準クロックは、MIDIクロック等のテンポ情報に準じたものであればシーケンサによる自動演奏に用いることが可能である。例えば、シーケンサにより自身の演奏テンポを反映した自動演奏を実現することができる。 The reference clock extracted as described above can be used for automatic performance by a sequencer as long as it conforms to tempo information such as MIDI clock. For example, an automatic performance reflecting its own performance tempo can be realized by a sequencer.
図1(A)において、基準クロック重畳部14は、基準クロック生成部17から基準クロックが入力される度に、所定長の疑似ノイズを発生してオーディオ信号に重畳し、データ重畳部15に出力する。また、タイミング計算部18は、演奏情報取得部12から演奏情報を取得し、データ重畳部15に出力する。
In FIG. 1A, the reference
データ重畳部15は、基準クロック重畳部14から入力されるオーディオ信号に演奏情報を重畳する。このとき、タイミング計算部18は、基準クロックとデータ重畳部15における演奏情報の重畳タイミングとの時間差を計算し、この時間差に関する情報を演奏情報とともにデータ重畳部15に出力する。時間差に関する情報は、基準クロックとの差分(オフセット値)で表される。なお、タイミング計算部18は、オーディオ信号に演奏情報およびオフセット値を重畳することができるように、所定のデータ形式に変換してデータ重畳部15に出力するものである(図3(A)参照)。
The
データ重畳部15は、タイミング計算部18から入力された演奏情報およびオフセット値をオーディオ信号に重畳する。重畳方式は高周波数のキャリア信号を演奏情報やオフセット値(0,1のデータ符号列とする。)で位相変調することにより、オーディオ信号の周波数成分(音響信号成分)と異なる帯域に変調成分が含まれるようにする。また、以下の様なスペクトラム拡散を用いることも可能である。
The
図2(A)は、スペクトラム拡散を用いる場合のデータ重畳部15の構成の一例を示すブロック図である。なお、同図においては、全てデジタル信号処理として説明するが、外部に出力される信号はアナログ信号(アナログ変換後の信号)であってもよい。
FIG. 2A is a block diagram illustrating an example of the configuration of the
この例では、拡散符号発生部154が出力するM系列の疑似ノイズ符号(PN符号)と演奏情報およびオフセット値(0,1のデータ符号列とする。)とを乗算器155で乗算することにより、データ符号列をスペクトラム拡散する。拡散後のデータ符号列は、XOR回路156に入力される。XOR回路156は、乗算器155から入力された符号と遅延器157を経て入力された1サンプル前の出力符号の排他的論理和を出力し、拡散後のデータ符号列を差動符号化する。差動符号化後の信号は、−1,1で2値化しておくものとする。−1,1に2値化した差動符号を出力することで、復号側では、連続する2サンプルの差動符号を乗算することにより拡散後のデータ符号列を抽出することができる。
In this example, the
そして、差動符号化したデータ符号列は、LPF(ナイキストフィルタ)158においてベースバンド内で帯域制限され、乗算器160に入力される。乗算器160は、キャリア信号発生器159が出力するキャリア信号(音響信号成分より高域のキャリア信号)とLPF158の出力信号を乗算し、差動符号化後のデータ符号列をパスバンドに周波数シフトする。なお、差動符号化後のデータ符号列は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後のデータ符号列は、ゲイン調整器161でゲイン調整され、加算器153でオーディオ信号とミキシングされて出力I/F16に出力される。
The differentially encoded data code string is band-limited within the baseband by an LPF (Nyquist filter) 158 and input to the
なお、基準クロック重畳部14から出力されたオーディオ信号は、LPF151でパスバンドの帯域がカットされ、ゲイン調整器152でゲイン調整された後に加算器153に入力されるが、LPF151は必須ではなく、音響信号成分と変調信号の成分(重畳されるデータ符号列の周波数成分)とを完全に帯域分割する必要はない。例えば、キャリア信号を20〜25kHz程度にすれば、音響信号成分と変調信号の成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつデータ符号列を復号できる程度のSN比を確保することができる。なお、データ符号列を重畳する周波数帯域は20kHz以上の非可聴域にすることが望ましいが、D/A変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合は、例えば15kHz以上の高周波数帯域にデータ符号列を重畳することで、聴感上の影響を少なくすることができる。
The audio signal output from the reference
以上のようにして、データ符号列(演奏情報およびオフセット値)ならびに基準クロックが重畳されたオーディオ信号は、オーディオ出力端子である出力I/F16から出力される。
As described above, the audio signal on which the data code string (performance information and offset value) and the reference clock are superimposed is output from the output I /
復号装置2は、上述のように基準クロック抽出部24にて基準クロックの復号を行うとともに、タイミング抽出部25にて、オーディオ信号に重畳されている演奏情報およびオフセット値の復号を行う。上述のスペクトラム拡散を用いる場合、以下のようにして行う。
In the
図2(B)は、タイミング抽出部25の構成の一例を示すブロック図である。タイミング抽出部25に入力されたオーディオ信号は、HPF251に入力される。HPF251は、音響信号成分を除去するためのフィルタである。HPF251の出力信号は、遅延器252および乗算器253に入力される。遅延器252の遅延量は、差動符号の1サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の1サンプル分の時間に設定される。乗算器253は、HPF251から入力される信号と、遅延器252から出力される1サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−1,1に2値化されており、1サンプル前の符号からの位相変化を示したものであるため、1サンプル前の信号と乗算することにより、差動符号化前の演奏情報およびオフセット値(拡散後の符号)が抽出される。
FIG. 2B is a block diagram illustrating an example of the configuration of the
そして、乗算器253の出力信号は、ナイキストフィルタであるLPF254を経てベースバンド信号として抽出され、相関器255に入力される。相関器255は、上記拡散符号発生部254が出力した拡散符号と同じ拡散符号で入力信号との相関を求める。拡散符号は、自己相関性の高いPN符号を用いているため、相関器255が出力する相関値は、ピーク検出部256で拡散符号の周期(データ符号の周期)で正負のピーク成分が抽出される。符号判定部257は、各ピーク成分を演奏情報およびオフセット値のデータ符号(0,1)として復号する。このようにして、オーディオ信号に重畳されている演奏情報およびオフセット値が復号される。なお、重畳側の差動符号化の処理、復号側の遅延検波処理は必須ではない。また、基準クロックについても、拡散符号を基準クロックで位相変調することによりオーディオ信号に重畳することができる。
The output signal of the
次に、図3は、オーディオ信号に重畳されるデータ例、および基準クロックとオフセット値の関係を示した図である。まず、図3(A)では、実際の演奏開始タイミング(楽音発生タイミング)と演奏情報記録タイミングが一致する例について示している。この場合、タイミング計算部18は、直前の基準クロックとの差分を検出して楽音発生からの時間差(オフセット値)を計算し、図3(B)に示すようなデータを生成する。
Next, FIG. 3 is a diagram illustrating an example of data superimposed on an audio signal and a relationship between a reference clock and an offset value. First, FIG. 3A shows an example in which the actual performance start timing (musical sound generation timing) matches the performance information recording timing. In this case, the
図3(B)に示すように、オーディオ信号に重畳されるデータは、オフセット値および演奏情報からなる。オフセット値は、演奏情報記録タイミング(演奏開始タイミング)と直前の基準クロックとの時間差時間差(msec)を表すものである。 As shown in FIG. 3B, the data superimposed on the audio signal includes an offset value and performance information. The offset value represents the time difference (msec) between the performance information recording timing (performance start timing) and the immediately preceding reference clock.
同図(A)および同図(B)に示す例では、演奏開始タイミングと基準クロックとの時間差が200msecであるため、オフセット値=200となる。よって、タイミング計算部18は、「オフセット値=200」の情報、および演奏情報が含まれたデータをデータ重畳部15に出力する。
In the example shown in FIGS. 6A and 6B, the time difference between the performance start timing and the reference clock is 200 msec, so that the offset value = 200. Therefore, the
このように、電子ピアノ1は、基準クロックとのオフセット値をオーディオ信号に重畳して出力するため、高い分解能で時間差に関する情報を埋め込むことができる。例えば、サンプリング周波数44.1kHzで、2047ポイントのM系列信号を16倍オーバーサンプリングした際の周期である約740msec周期の基準クロックに対し、8bitでのオフセット値とすると、3msec程度の高い分解能が得られる。また、基準クロックとのオフセット値を時間差に関する情報として記録しているため、再生側ではオーディオ信号を先頭から読み出す必要がない。
Thus, since the
次に、図4は、オーディオ信号に重畳されるデータの他の例を示した図である。図4(A)では、演奏開始タイミングから7拍遅れてデータ重畳部15がデータを重畳する例について示している。楽音の発生からデータ重畳までの遅れは、例えば無音区間が存在して各種情報を重畳できない場合や演奏情報取得までの遅延が大きい場合等に発生する。タイミング計算部18は、上記無音区間を検出して楽音発生からの時間差を計算し、図4(B)に示すようなデータを生成する。
Next, FIG. 4 is a diagram showing another example of data superimposed on the audio signal. FIG. 4A shows an example in which the
図4(B)に示すように、この例では、オフセット値として、基準クロックオフセット値とクロック内オフセット値を規定している。基準クロックオフセット値は、演奏情報記録タイミングの直前の基準クロックと、実際の演奏開始タイミングの直前の基準クロックとの差(クロックの数)を表すものである。クロック内オフセット値は、演奏開始タイミングと、その直前の基準クロックとの時間差(msec)を表すものである。 As shown in FIG. 4B, in this example, a reference clock offset value and an in-clock offset value are defined as offset values. The reference clock offset value represents the difference (number of clocks) between the reference clock immediately before the performance information recording timing and the reference clock immediately before the actual performance start timing. The in-clock offset value represents the time difference (msec) between the performance start timing and the reference clock immediately before it.
同図(A)および同図(B)に示す例では、演奏開始タイミングの直前の基準クロックから演奏情報記録タイミングの直前の基準クロックまでの差が7クロック存在するため、基準クロックオフセット値=7となる。また、演奏開始タイミングと直前の基準クロックとの時間差が200msecであるため、クロック内オフセット値=200となる。よって、タイミング計算部18は、「基準クロックオフセット値=7、クロック内オフセット値=200」の情報、および演奏情報が含まれたデータをデータ重畳部15に出力する。
In the example shown in FIGS. 6A and 6B, there are 7 clock differences from the reference clock immediately before the performance start timing to the reference clock immediately before the performance information recording timing, so the reference clock offset value = 7. It becomes. Further, since the time difference between the performance start timing and the immediately preceding reference clock is 200 msec, the in-clock offset value = 200. Therefore, the
なお、演奏開始の指示から楽音発生までの遅延時間が一定である場合、タイミング計算部18は、演奏情報を取得したタイミングから常に一定の値を差し引いてオフセット値を計算すればよい。
If the delay time from the start of performance to the generation of musical tone is constant, the
また、基準クロックオフセット値が0であれば、基準クロックオフセット値に関する情報が不要となるため、図3(A)および図3(B)に示した例と同様となる。実使用上、図3(A)および図3(B)に示した状況が多い場合、以下のように基準クロックオフセット値の有無を1ビットのフラグとして規定しておき、データ容量を低減するようにしてもよい。 Further, if the reference clock offset value is 0, information regarding the reference clock offset value is not necessary, and therefore, the example is the same as the example shown in FIGS. 3A and 3B. In actual use, when there are many situations shown in FIGS. 3A and 3B, the presence / absence of the reference clock offset value is defined as a 1-bit flag as follows to reduce the data capacity. It may be.
すなわち、図4(C)に示すように、データの先頭に基準クロックオフセット値の有無を示すフラグ(flag)を規定しておく。フラグが0である場合、基準クロックオフセット値が0であるため、同図(D)に示すようなクロック内オフセット値だけをデータに含める。フラグが1である場合、基準クロックオフセット値が1以上(または後述のように−1以下)であるため、同図(E)に示すように基準クロックオフセット値、クロック内オフセット値、および演奏情報を含んだデータとする。 That is, as shown in FIG. 4C, a flag indicating the presence / absence of the reference clock offset value is defined at the beginning of the data. When the flag is 0, since the reference clock offset value is 0, only the in-clock offset value as shown in FIG. When the flag is 1, since the reference clock offset value is 1 or more (or -1 or less as will be described later), the reference clock offset value, the in-clock offset value, and the performance information as shown in FIG. Is included.
また、図5に示すように、演奏開始タイミングが演奏情報記録タイミングより遅い場合(未来の時間を指定する場合)でもオフセット値を計算して重畳することが可能である。この場合、基準クロックオフセット値をマイナスの値(例えば基準クロックオフセット値=−3)とすればよい。例えば、自動演奏ピアノ等、演奏開始の指示から実際の楽音が発生するまで長い機械的遅延が発生する場合に好適である。また、オーディオ信号に重畳させるシーケンスデータが、外部機器(エフェクタや、照明等)を制御するための制御情報であった場合、演奏者が数秒先に動作を開始するように操作入力を行った場合等にも適用される。 Further, as shown in FIG. 5, even when the performance start timing is later than the performance information recording timing (when a future time is designated), the offset value can be calculated and superimposed. In this case, the reference clock offset value may be a negative value (for example, reference clock offset value = −3). For example, it is suitable for a case where a long mechanical delay occurs until an actual musical tone is generated from an instruction to start performance, such as an automatic performance piano. In addition, when the sequence data to be superimposed on the audio signal is control information for controlling an external device (effector, lighting, etc.), when the performer inputs an operation so that the operation starts several seconds ahead And so on.
次に、基準クロックとオフセット値の利用態様について説明する。図1(B)において、出力I/F16から出力されたオーディオ信号は、復号装置2に入力される。なお、電子ピアノ1から出力されたオーディオ信号は、通常のオーディオ信号と同様に扱うことができるため、他の一般的な録音機で録音することが可能である。また、録音したオーディオデータは、汎用のオーディオデータであるため、一般的なオーディオ再生機で再生することも可能である。
Next, how to use the reference clock and the offset value will be described. In FIG. 1B, the audio signal output from the output I /
制御部22は、記憶部23に記録されているオーディオデータを読み出し、タイミング抽出部25に出力する。タイミング抽出部25は、オーディオ信号に重畳されているオフセット値および演奏情報を復号し、制御部22に入力する。制御部22は、基準クロック抽出部24から入力された基準クロックと、上記オフセット値に基づいて、オーディオ信号と演奏情報を同期させて外部に出力する。なお、基準クロックにテンポクロックを用いる場合、このときにテンポクロックも出力してもよい。
The
出力されたオーディオ信号と演奏情報は、楽譜表示等に用いられる。例えば、演奏情報に含まれるノートナンバに基づいて楽譜をモニタに表示するとともに楽音を放音することで、練習用教材として用いることができる。また、シーケンサ等に出力してオーディオ信号に同期した自動演奏を行うこともできる。上記のように、基準クロックオフセット値はマイナスの値を適用することも可能であるため、演奏開始タイミングが演奏情報記録タイミングより遅い場合であっても、正確に同期演奏を行うことができる。 The output audio signal and performance information are used for musical score display and the like. For example, a musical score can be displayed on a monitor based on a note number included in performance information and a musical sound can be emitted to be used as an educational material for practice. It is also possible to perform an automatic performance that is output to a sequencer or the like and synchronized with an audio signal. As described above, since a negative value can be applied as the reference clock offset value, a synchronized performance can be accurately performed even when the performance start timing is later than the performance information recording timing.
なお、制御部22は、ある程度のオーディオデータを内蔵RAM(図示せず)等にバッファしてから再生するか、事前に復号を行っておき、演奏情報とオフセット値を予め読み出しておくことが望ましい。
It is desirable that the
なお、本発明のシーケンスデータ出力装置は、電子楽器に内蔵されている態様に限るものではなく、既存の楽器に後で取り付けすることも可能である。この場合、オーディオ信号の入力端子を設け、入力端子から入力されたオーディオ信号に制御信号を重畳する。例えば、ライン出力端子を有したエレキギターを接続したり、通常のマイクを接続したりすることでオーディオ信号を取得し、また、後付でセンサー回路を装着することで演奏情報を取得することも可能である。これにより、アコースティック楽器であっても、本発明のシーケンスデータ出力装置を用いることが可能である。 Note that the sequence data output device of the present invention is not limited to a mode built in an electronic musical instrument, and can be attached to an existing musical instrument later. In this case, an audio signal input terminal is provided, and the control signal is superimposed on the audio signal input from the input terminal. For example, you can get an audio signal by connecting an electric guitar with a line output terminal or connecting a normal microphone, or you can get performance information by attaching a sensor circuit on the back. Is possible. Accordingly, the sequence data output device of the present invention can be used even for an acoustic instrument.
1−電子ピアノ
11−制御部
12−演奏情報取得部
13−楽音発生部
14−基準クロック重畳部
15−データ重畳部
16−出力I/F
17−基準クロック生成部
18−タイミング計算部
1-electronic piano 11-control unit 12-performance information acquisition unit 13-music sound generation unit 14-reference clock superimposition unit 15-data superposition unit 16-output I / F
17-reference clock generator 18-timing calculator
Claims (7)
演奏者の演奏操作に応じて発生するオーディオ信号に、前記基準クロックを重畳する基準クロック重畳手段と、
前記オーディオ信号シーケンスデータを重畳するデータ重畳手段と、
前記シーケンスデータの重畳タイミングと前記基準クロックとの時間差を検出する時間差検出手段と、
前記基準クロック重畳手段および前記データ重畳手段で前記基準クロックおよび前記シーケンスデータが重畳されたオーディオ信号を出力する出力手段と、
を備え、
前記データ重畳手段は、前記時間差に関する情報を前記シーケンスデータとともに前記オーディオ信号に重畳し、
前記オーディオ信号の周波数成分よりも高い帯域に、重畳される情報の変調成分が含まれることを特徴とするシーケンスデータ出力装置。 A reference clock generating means for generating a reference clock at regular intervals;
A reference clock superimposing means for superimposing the reference clock on an audio signal generated in accordance with the performance operation of the performer;
Data superimposing means for superimposing the audio signal sequence data;
A time difference detecting means for detecting a time difference between the sequence data superimposition timing and the reference clock;
An output means for outputting an audio signal on which the reference clock and the sequence data are superimposed by the reference clock superimposing means and the data superimposing means;
With
The data superimposing means superimposes information on the time difference together with the sequence data on the audio signal,
A sequence data output apparatus, wherein a modulation component of information to be superimposed is included in a band higher than a frequency component of the audio signal.
前記操作入力手段の操作入力に応じて前記シーケンスデータを生成するデータ生成手段と、を備え、
前記時間差検出手段は、前記操作入力のタイミングと前記シーケンスデータの重畳タイミングとの時間差を、前記基準クロックとの差分で検出し、前記時間差に関する情報を、前記差分で表したことを特徴とする請求項1に記載のシーケンスデータ出力装置。 Operation input means for inputting a player's operation;
Data generation means for generating the sequence data in response to an operation input of the operation input means,
The time difference detecting means detects a time difference between the operation input timing and the sequence data superimposition timing by a difference from the reference clock, and represents information related to the time difference by the difference. Item 4. The sequence data output device according to Item 1.
重畳する情報に基づき、前記拡散符号を前記周期ごとに位相変調する変調部と、
位相変調された前記拡散符号に基づいて生成された変調信号を、前記オーディオ信号の周波数よりも高い周波数帯域に、前記オーディオ信号と合成し、合成信号として出力する合成部と、
を備えた請求項1または2に記載のシーケンスデータ出力装置。 The data superimposing means includes a spreading code generating unit that generates a spreading code having a predetermined period;
A modulation unit that phase-modulates the spreading code for each period based on superimposition information;
A synthesis unit that synthesizes a modulation signal generated based on the phase-modulated spreading code with the audio signal in a frequency band higher than the frequency of the audio signal, and outputs the synthesized signal;
The sequence data output device according to claim 1 or 2, further comprising:
前記復号装置は、前記オーディオ信号を予め入力しておき、前記オーディオ信号から復号した前記基準クロックおよび前記時間差に関する情報に基づいて、前記オーディオ信号と前記シーケンスデータとを同期させる同期手段を備えた音声処理システム。 A speech processing system comprising: the sequence data output device according to any one of claims 1 to 3; and a decoding device that decodes information superimposed on the audio signal.
The decoding device includes a synchronization unit that inputs the audio signal in advance and synchronizes the audio signal and the sequence data based on the reference clock and the time difference information decoded from the audio signal. Processing system.
前記復号装置は、前記オーディオ信号と、前記疑似ノイズと、の相関を求め、当該相関のピーク発生タイミングに基づいて前記基準クロックを復号する復号手段を備えた請求項4に記載の音声処理システム。 The reference clock superimposing means of the sequence data output device superimposes the reference clock by superimposing pseudo noise on the audio signal at a timing based on the reference clock,
The audio processing system according to claim 4, wherein the decoding device includes a decoding unit that obtains a correlation between the audio signal and the pseudo noise and decodes the reference clock based on a peak generation timing of the correlation.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009171322A JP5556076B2 (en) | 2008-08-20 | 2009-07-22 | Sequence data output device, sound processing system, and electronic musical instrument |
CN2009801120370A CN101983403B (en) | 2008-07-29 | 2009-07-29 | Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument |
EP09802994.5A EP2261896B1 (en) | 2008-07-29 | 2009-07-29 | Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument |
PCT/JP2009/063510 WO2010013752A1 (en) | 2008-07-29 | 2009-07-29 | Performance-related information output device, system provided with performance-related information output device, and electronic musical instrument |
US12/935,463 US8697975B2 (en) | 2008-07-29 | 2009-07-29 | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
US13/955,451 US9006551B2 (en) | 2008-07-29 | 2013-07-31 | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008211284 | 2008-08-20 | ||
JP2008211284 | 2008-08-20 | ||
JP2009171322A JP5556076B2 (en) | 2008-08-20 | 2009-07-22 | Sequence data output device, sound processing system, and electronic musical instrument |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010072629A true JP2010072629A (en) | 2010-04-02 |
JP5556076B2 JP5556076B2 (en) | 2014-07-23 |
Family
ID=42204411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009171322A Expired - Fee Related JP5556076B2 (en) | 2008-07-29 | 2009-07-22 | Sequence data output device, sound processing system, and electronic musical instrument |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5556076B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013017022A (en) * | 2011-07-04 | 2013-01-24 | Nippon Hoso Kyokai <Nhk> | Audio signal mixing device and program thereof, and audio signal restoration device and program thereof |
JP2013068899A (en) * | 2011-09-26 | 2013-04-18 | Yamaha Corp | Musical sound reproducing device, information processing device and program |
WO2024154194A1 (en) * | 2023-01-16 | 2024-07-25 | ローランド株式会社 | Electronic apparatus, output program, and output method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0654388A (en) * | 1992-04-07 | 1994-02-25 | Yamaha Corp | Sound parameter controller |
JP2000020054A (en) * | 1998-07-06 | 2000-01-21 | Yamaha Corp | Karaoke sing-along machine |
JP3264668B2 (en) * | 1991-12-17 | 2002-03-11 | ボルト ベラネック アンド ニューマン インコーポレイテッド | Embedded signal system |
JP2003186500A (en) * | 2001-12-17 | 2003-07-04 | Sony Corp | Information transmission system, information encoding device and information decoding device |
JP2003316356A (en) * | 2002-04-23 | 2003-11-07 | Yamaha Corp | Method and device for superimposing playing data on digital audio data, or extracting playing data from digital audio data |
JP2006323161A (en) * | 2005-05-19 | 2006-11-30 | Dainippon Printing Co Ltd | Control code embedding device to sound signal, and control system for time series driving gear using sound signal |
JP4030036B2 (en) * | 1998-07-16 | 2008-01-09 | ニールセン メディア リサーチ インコーポレイテッド | System and apparatus for encoding an audible signal by adding an inaudible code to an audio signal for use in a broadcast program identification system |
-
2009
- 2009-07-22 JP JP2009171322A patent/JP5556076B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3264668B2 (en) * | 1991-12-17 | 2002-03-11 | ボルト ベラネック アンド ニューマン インコーポレイテッド | Embedded signal system |
JPH0654388A (en) * | 1992-04-07 | 1994-02-25 | Yamaha Corp | Sound parameter controller |
JP2000020054A (en) * | 1998-07-06 | 2000-01-21 | Yamaha Corp | Karaoke sing-along machine |
JP4030036B2 (en) * | 1998-07-16 | 2008-01-09 | ニールセン メディア リサーチ インコーポレイテッド | System and apparatus for encoding an audible signal by adding an inaudible code to an audio signal for use in a broadcast program identification system |
JP2003186500A (en) * | 2001-12-17 | 2003-07-04 | Sony Corp | Information transmission system, information encoding device and information decoding device |
JP2003316356A (en) * | 2002-04-23 | 2003-11-07 | Yamaha Corp | Method and device for superimposing playing data on digital audio data, or extracting playing data from digital audio data |
JP2006323161A (en) * | 2005-05-19 | 2006-11-30 | Dainippon Printing Co Ltd | Control code embedding device to sound signal, and control system for time series driving gear using sound signal |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013017022A (en) * | 2011-07-04 | 2013-01-24 | Nippon Hoso Kyokai <Nhk> | Audio signal mixing device and program thereof, and audio signal restoration device and program thereof |
JP2013068899A (en) * | 2011-09-26 | 2013-04-18 | Yamaha Corp | Musical sound reproducing device, information processing device and program |
WO2024154194A1 (en) * | 2023-01-16 | 2024-07-25 | ローランド株式会社 | Electronic apparatus, output program, and output method |
Also Published As
Publication number | Publication date |
---|---|
JP5556076B2 (en) | 2014-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8697975B2 (en) | Musical performance-related information output device, system including musical performance-related information output device, and electronic musical instrument | |
JP5782677B2 (en) | Content reproduction apparatus and audio processing system | |
CN102169705B (en) | tone reproduction apparatus and method | |
JP5556075B2 (en) | Performance information output device and performance system | |
JP4949687B2 (en) | Beat extraction apparatus and beat extraction method | |
US7534951B2 (en) | Beat extraction apparatus and method, music-synchronized image display apparatus and method, tempo value detection apparatus, rhythm tracking apparatus and method, and music-synchronized display apparatus and method | |
JP2010055077A (en) | Controller | |
JP5953687B2 (en) | Information processing apparatus and program | |
JP5556076B2 (en) | Sequence data output device, sound processing system, and electronic musical instrument | |
JP5604824B2 (en) | Tempo information output device, sound processing system, and electronic musical instrument | |
JP5549319B2 (en) | Sound equipment and sound system | |
JP5168165B2 (en) | Apparatus and program for embedding and extracting digital watermark information | |
JP5459069B2 (en) | Apparatus for removing digital watermark information embedded in audio signal, and apparatus for embedding digital watermark information in audio signal | |
JP4133064B2 (en) | Waveform playback device | |
JP5568999B2 (en) | Playback device, musical sound signal output device, playback system, and program | |
JP2012013808A (en) | Extraction device that extracts electronic watermark information embedded in carrier signal, and embedding device that embeds electronic watermark information in carrier signal | |
JP2002358078A (en) | Musical source synchronizing circuit and musical source synchronizing method | |
KR20010008954A (en) | Encoder and decoder for music file | |
JP5747974B2 (en) | Information processing apparatus and program | |
JP2010160289A (en) | Midi (r) karaoke system which automatically corrects interval | |
JP2008225234A (en) | Audio signal processor | |
JP2007122085A (en) | Device and method for performing synchronous playback of voice data and performance data | |
JP2000010555A (en) | Automatic player and sound signal processor | |
JPH08167243A (en) | Digital audio system and reproducing device as well as recording device and digital copying method | |
JP2005274721A (en) | Sound effect device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120521 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5556076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |