JP2008005541A - Modulation device, modulation method, demodulation device and demodulation method - Google Patents
Modulation device, modulation method, demodulation device and demodulation method Download PDFInfo
- Publication number
- JP2008005541A JP2008005541A JP2007216198A JP2007216198A JP2008005541A JP 2008005541 A JP2008005541 A JP 2008005541A JP 2007216198 A JP2007216198 A JP 2007216198A JP 2007216198 A JP2007216198 A JP 2007216198A JP 2008005541 A JP2008005541 A JP 2008005541A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frame
- acoustic signal
- frame synchronization
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、音波で情報を伝達する音波情報通信技術に関するものである。 The present invention relates to a sound wave information communication technique for transmitting information by sound waves.
音波を用いて情報を伝達する通信技術には、超音波を用いるものと可聴音波を用いるものがある。2つの音波のうち可聴音波を利用することにより次のような利点がある。まず、現在市販されているスピーカ及びマイクロフォン等を用いて通信を行うことができることである。また、音波の伝搬は媒質の粘性による吸収減衰が生じる為、この吸収減衰は周波数に比例して大きくなる。よって、可聴音波の方が超音波よりも減衰は小さくなり、可聴音波の方が超音波よりも通信距離を長くすることができる。 Communication technologies for transmitting information using sound waves include those using ultrasonic waves and those using audible sound waves. The use of an audible sound wave of the two sound waves has the following advantages. First, it is possible to perform communication using commercially available speakers and microphones. Further, since the propagation of sound waves causes absorption attenuation due to the viscosity of the medium, this absorption attenuation increases in proportion to the frequency. Therefore, the attenuation of the audible sound wave is smaller than that of the ultrasonic wave, and the communication distance of the audible sound wave can be made longer than that of the ultrasonic wave.
しかし、可聴音波で通信する場合は、伝送信号の音が人間に聞こえるため、人間にとっては不快な騒音が発生することとなる。そこで、伝送信号をスペクトル拡散して音声又は音楽に重畳する技術がある(下記特許文献1参照)。この特許文献1に記載された技術では、心理音響モデルを用いて周波数マスキング閾値を計算し、伝送信号に拡散符号系列を乗算して全周波数帯に拡散させた拡散信号をマスキング閾値以下になるようにして重畳している。
上記特許文献1に記載の方法では、音声・音楽から伝送信号を抽出するため拡散符号の拡散利得を高くする必要がある。しかし、拡散利得を高くすることにより伝送できる情報量が少なくなる。実際に人間の聴覚に知覚できないレベルに伝送信号のレベルを抑えると、上記特許文献1に記載の方法では1秒間で数ビット程度しか情報を伝送できない。
In the method described in
本発明は、上記問題点を解消するためになされたものであり、人間の聴覚に不快でないレベルに基づいた可聴音波で情報を伝送すると共に伝送情報のビットレートを向上させることを課題とする。 The present invention has been made to solve the above problems, and it is an object of the present invention to transmit information with an audible sound wave based on a level that is not unpleasant to human hearing and to improve the bit rate of transmitted information.
本発明の変調装置は、入力された音響信号をフーリエ変換し、前記音響信号のスペクトル包絡を計算するスペクトル包絡振幅調整部と、前記入力された音響信号における搬送波の周波数帯域の成分を除去するバンドパスフィルタと、前記スペクトル包絡振幅調整部により計算された前記音響信号のスペクトル包絡の計算結果に基づいて、OFDM変調方式に基づく搬送波周波数における前記搬送波の振幅を前記音響信号のスペクトル包絡に合わせると共に、前記搬送波周波数における前記搬送波をOFDM変調方式に基づいて変調し、変調後の各搬送波を合成して信号フレームを形成する変調部と、前記変調部により形成された信号フレームの後方区間を複製し、複製した後方区間をガード時間信号として前記信号フレームの前方に連結させるガード時間信号生成部と、フレーム同期を取るためのフレーム同期信号を生成するフレーム同期信号生成部と、前記バンドパスフィルタにより前記搬送波の周波数帯域の成分が除去された前記音響信号と、前記ガード時間信号生成部により連結された前記ガード時間信号及び前記信号フレームと、前記フレーム同期信号生成部により生成された前記フレーム同期信号と、を重畳して合成音響信号を生成する音響信号生成部と、を備え、前記音響信号生成部は、前記合成音響信号を生成する際に、前記ガード時間信号及び前記信号フレームを伝送する周波数帯とは異なる、前記音響信号を伝送する周波数帯に、前記フレーム同期信号を配置する、ことを特徴とする。 The modulation device according to the present invention includes a spectrum envelope amplitude adjusting unit that performs Fourier transform on an input acoustic signal and calculates a spectral envelope of the acoustic signal, and a band that removes a frequency band component of a carrier wave in the input acoustic signal. Based on the calculation result of the spectral envelope of the acoustic signal calculated by the pass filter and the spectral envelope amplitude adjusting unit, the amplitude of the carrier at the carrier frequency based on the OFDM modulation scheme is matched with the spectral envelope of the acoustic signal, Modulating the carrier at the carrier frequency based on an OFDM modulation scheme, and combining the modulated carriers to form a signal frame, and copying a rear section of the signal frame formed by the modulator, The duplicated back section is connected to the front of the signal frame as a guard time signal. A guard time signal generation unit; a frame synchronization signal generation unit that generates a frame synchronization signal for frame synchronization; the acoustic signal from which a component of a frequency band of the carrier wave is removed by the bandpass filter; and the guard time An acoustic signal generation unit that generates a synthesized acoustic signal by superimposing the guard time signal and the signal frame connected by a signal generation unit and the frame synchronization signal generated by the frame synchronization signal generation unit; And the acoustic signal generation unit generates the frame synchronization signal in a frequency band for transmitting the acoustic signal different from a frequency band for transmitting the guard time signal and the signal frame when generating the synthesized acoustic signal. It is characterized by arranging.
本発明の復調装置は、フレーム同期信号成分のある周波数帯域と、信号フレーム成分のある周波数帯域と、を含む音響信号を復調する復調装置において、前記音響信号を、前記フレーム同期信号成分のある周波数帯域の信号としてのフレーム同期信号と、前記信号フレーム成分のある周波数帯域の信号としてのOFDM変調信号とに、分割するバンドパスフィルタと、前記バンドパスフィルタにより分割された前記フレーム同期信号に基づいてフレーム同期ポイントを認識し、認識したフレーム同期ポイントに応じて前記OFDM変調信号をフレーム単位に分割するフレーム同期部と、を備えたことを特徴とする。 The demodulating device of the present invention is a demodulating device that demodulates an acoustic signal including a frequency band having a frame synchronization signal component and a frequency band having a signal frame component, wherein the acoustic signal is converted to a frequency having the frame synchronization signal component. Based on a frame synchronization signal as a band signal and an OFDM modulation signal as a signal in a frequency band with the signal frame component, based on the band synchronization filter and the frame synchronization signal divided by the bandpass filter A frame synchronization unit that recognizes a frame synchronization point and divides the OFDM modulated signal into frame units according to the recognized frame synchronization point.
本発明の変調方法は、OFDM変調方式に基づく変調を行う変調装置により実行される変調方法であって、入力された音響信号をフーリエ変換し、前記音響信号のスペクトル包絡を計算するステップと、前記入力された音響信号における搬送波の周波数帯域の成分を除去するステップと、前記計算された前記音響信号のスペクトル包絡の計算結果に基づいて、OFDM変調方式に基づく搬送波周波数における前記搬送波の振幅を前記音響信号のスペクトル包絡に合わせると共に、前記搬送波周波数における前記搬送波をOFDM変調方式に基づいて変調し、変調後の各搬送波を合成して信号フレームを形成するステップと、前記形成された信号フレームの後方区間を複製し、複製した後方区間をガード時間信号として前記信号フレームの前方に連結させるステップと、フレーム同期を取るためのフレーム同期信号を生成するステップと、前記搬送波の周波数帯域の成分が除去された前記音響信号と、前記連結された前記ガード時間信号及び前記信号フレームと、前記生成された前記フレーム同期信号と、を重畳して合成音響信号を生成するステップと、を備え、前記合成音響信号を生成する際には、前記ガード時間信号及び前記信号フレームを伝送する周波数帯とは異なる、前記音響信号を伝送する周波数帯に、前記フレーム同期信号を配置する、ことを特徴とする。 The modulation method of the present invention is a modulation method executed by a modulation device that performs modulation based on an OFDM modulation scheme, and performs a Fourier transform on an input acoustic signal to calculate a spectral envelope of the acoustic signal; Removing the component of the frequency band of the carrier wave in the input acoustic signal, and calculating the amplitude of the carrier wave at the carrier frequency based on the OFDM modulation scheme based on the calculated spectral envelope of the acoustic signal. Matching the spectral envelope of the signal, modulating the carrier at the carrier frequency based on an OFDM modulation scheme, and combining the modulated carriers to form a signal frame; and a rear section of the formed signal frame And the copied rear section is used as a guard time signal in front of the signal frame. Connecting, generating a frame synchronization signal for frame synchronization, the acoustic signal from which the frequency band component of the carrier wave is removed, the connected guard time signal and the signal frame, Generating a synthesized acoustic signal by superimposing the generated frame synchronization signal, and when generating the synthesized acoustic signal, a frequency band for transmitting the guard time signal and the signal frame The frame synchronization signal is arranged in a frequency band different from the above in which the acoustic signal is transmitted.
本発明の復調方法は、フレーム同期信号成分のある周波数帯域と、信号フレーム成分のある周波数帯域と、を含む音響信号を復調する復調装置、により実行される復調方法において、前記音響信号を、前記フレーム同期信号成分のある周波数帯域の信号としてのフレーム同期信号と、前記信号フレーム成分のある周波数帯域の信号としてのOFDM変調信号とに、分割するステップと、前記分割された前記フレーム同期信号に基づいてフレーム同期ポイントを認識し、認識したフレーム同期ポイントに応じて前記OFDM変調信号をフレーム単位に分割するステップと、を備えたことを特徴とする。 The demodulation method of the present invention is a demodulation method executed by a demodulation device that demodulates an acoustic signal including a frequency band having a frame synchronization signal component and a frequency band having a signal frame component. Dividing into a frame synchronization signal as a signal in a frequency band having a frame synchronization signal component and an OFDM modulation signal as a signal in a frequency band having a signal frame component; and based on the divided frame synchronization signal Recognizing a frame synchronization point, and dividing the OFDM modulated signal into frame units according to the recognized frame synchronization point.
本発明の変調装置および変調方法によれば、合成音響信号を生成する際に、ガード時間信号及び信号フレームを伝送する周波数帯とは異なる、音響信号を伝送する周波数帯に、フレーム同期信号を配置するため、フレーム同期を取るために特別な周波数帯域を必要としない。 According to the modulation device and the modulation method of the present invention, when generating a synthesized acoustic signal, a frame synchronization signal is arranged in a frequency band for transmitting an acoustic signal different from a frequency band for transmitting a guard time signal and a signal frame. Therefore, no special frequency band is required for frame synchronization.
本発明の復調装置および復調方法によれば、フレーム同期信号成分のある周波数帯域と信号フレーム成分のある周波数帯域とを含む音響信号を復調するにあたり、OFDM変調信号をフレーム単位に適切に分割することができる。 According to the demodulation device and the demodulation method of the present invention, when demodulating an acoustic signal including a frequency band having a frame synchronization signal component and a frequency band having a signal frame component, the OFDM modulation signal is appropriately divided into frame units. Can do.
本発明に係る第1〜第3実施形態のシステムは、可聴音の音波で情報を伝達する音波情報通信システムである。以下、図面を参照しながら第1〜第3実施形態について説明する。 The system according to the first to third embodiments of the present invention is a sound wave information communication system that transmits information using an audible sound wave. Hereinafter, first to third embodiments will be described with reference to the drawings.
(第1実施形態)
図1に第1実施形態に係る音響信号送信システムTS1の構成図を示し、図2に第1実施形態に係る音響信号受信システムRS1の構成図を示す。本実施形態の音波情報通信システムは、図1、2に示す音響信号送信システムTS1と音響信号受信システムRS1とを備えて構成される。本実施形態の音波情報通信システムにおいて、音響信号送信システムTS1が、伝達する情報を含む伝送データ信号1Tを音波7に乗せて出力する。そして、音響信号受信システムRS1が、音響信号送信システムTS1から出力された音波7を受信して、音波7から伝送データ信号1Rを抽出する。
(First embodiment)
FIG. 1 shows a configuration diagram of an acoustic signal transmission system TS1 according to the first embodiment, and FIG. 2 shows a configuration diagram of an acoustic signal reception system RS1 according to the first embodiment. The sound wave information communication system according to the present embodiment includes the acoustic signal transmission system TS1 and the acoustic signal reception system RS1 shown in FIGS. In the sound wave information communication system of the present embodiment, the acoustic signal transmission system TS1 puts a transmission data signal 1T including information to be transmitted on the sound wave 7 and outputs it. Then, the acoustic signal reception system RS1 receives the sound wave 7 output from the acoustic signal transmission system TS1, and extracts the transmission data signal 1R from the sound wave 7.
音響信号送信システムTS1は、伝送データ信号1Tを誤り訂正符号で符号化する誤り訂正符号装置2と、誤り訂正符号で符号化された符号化伝送信号3(ベースバンド信号)を可聴音帯域の音響信号である送信音響信号5A(音響信号)に変換する変調装置4Aと、送信音響信号5Aを可聴音の音波7として再生するスピーカ6と、を備えて構成される。
The acoustic signal transmission system TS1 includes an error
音響信号受信システムRS1は、音波7を受信して音響信号である受信音響信号9A(音響信号)を生成するマイクロフォン8と、受信音響信号9Aを復調して受信伝送信号11を抽出する復調装置10Aと、受信伝送信号11の誤りを訂正して伝送データ信号1Rを出力する誤り訂正復号装置12と、を備えて構成される。
The acoustic signal receiving system RS1 receives a sound wave 7 and generates a received acoustic signal 9A (acoustic signal) that is an acoustic signal, and a
以下、本実施形態に係る変調装置4A及び復調装置10Aについて詳細に説明する。
Hereinafter, the
図3に、第1実施形態に係る変調装置4Aの構成図を示す。変調装置4Aは、S/P変換部41、変調部51(変調手段)、ガード時間信号生成部43、マスカー音生成部44(マスカー音生成手段)、音響信号生成部52(音響信号生成手段)、フレーム同期信号生成部45、及びD/A変換部46を備えて構成される。
FIG. 3 shows a configuration diagram of the
S/P変換部41は、符号化伝送信号3を入力して、シングルビットストリームの符号化伝送信号3をパラレルビットストリームに変換する。S/P変換部41は、変換したパラレルビットストリームを変調部51へ出力する。
The S /
変調部51は、入力したパラレルビットストリームの各パラレル伝送ビットで各周波数の搬送波42を変調し、変調した搬送波42の信号を合成し、信号フレーム(変調信号)を形成する。変調部51は、OFDM変調方式を用いて変調する。すなわち、搬送波42の周波数(搬送波周波数)は、互いに直交関係にある直交周波数である。また、搬送波42は、可聴音帯域の音波である。変調部51は、各パラレル伝送ビットを各搬送波周波数のスペクトル係数として割り当てて、逆フーリエ変換をすることで搬送波42の変調を行う。そして、変調部51は、変調した各周波数の搬送波42を合成して、信号フレームを形成する。変調部51は、形成した信号フレームをガード時間信号生成部43へ出力する。
The
ガード時間信号生成部43では、入力した信号フレームの後方区間を複製して、複製した後方区間をガード時間信号として信号フレームの前方に連結させる。このガード時間信号によって反射波等のマルチパス干渉を回避することができる。ガード時間信号生成部43は、信号フレーム及び生成したガード時間信号をマスカー音生成部44へ出力する。
The guard time
マスカー音生成部44は、マスカー信号を生成する。マスカー信号とは、信号フレームおよびガード時間信号と共に音波7として伝送した場合に、信号フレーム及びガード時間信号のマスカー音として出力される信号である。マスカー音は、信号フレーム及びガード時間信号が伝送される際の音をマスキングして人間に聞こえにくくする音である。マスカー音生成部44は、マスカー音として少なくとも1つの周波数の正弦波を選択してマスカー信号を生成する。
The masker
また、マスカー音生成部44は、各マスカー音のうち少なくとも一部の連続したマスカー音の周波数が所定のパターンとなるようにマスカー信号の周波数を選択する。より具体的には、マスカー音生成部44は、各信号フレームに含まれる各マスカー音が伝送される際に一連のメロディとなるように、挿入するマスカー音の周波数を選択する。マスカー音生成部44は、複数の正弦波を合成してマスカー音を生成し、マスカー音の音色を変化させてもよい。更に、マスカー音生成部44は、マスカー音の周波数として、搬送波42の周波数帯域と関連付けられた周波数又は周波数パターンが選択される。すなわち、生成されたマスカー信号は、搬送波42の周波数帯域を示す情報を含むこととなる。マスカー音生成部44は、生成したマスカー信号、信号フレーム、及びガード時間信号を音響信号生成部52へ出力する。
Further, the masker
音響信号生成部52は、信号フレームにマスカー信号を付加して音響信号を生成する。音響信号生成部52は、ガード時間信号の前方および信号フレームの後方にマスカー信号を付加して音響信号を生成する。つまり、音響信号生成部52は、マスカー信号が挿入された音響信号を生成する。また、音響信号生成部52は、マスカー音とガード時間および信号フレームが位相不連続になるのを防ぐために、マスカー音区間の前方では、まず前方の信号フレームをフェードアウトさせ、マスカー音をフェードインさせるように音響信号を生成する。そして、音響信号生成部52は、マスカー音の終端では、マスカー音をフェードアウトさせ、ガード時間をフェードインさせるように音響信号を生成する。
The
より具体的には、音響信号生成部52は、前方信号フレームの前方を複製して複製を後方に連結して、前方信号フレームをフェードアウトさせるフェードアウト信号を生成する。また、音響信号生成部52は、あらかじめガード時間を長く生成して、ガード時間をフェードインさせるフェードイン信号を生成する。音響信号生成部52は、生成した音響信号をフレーム同期信号生成部45へ出力する。
More specifically, the acoustic
フレーム同期信号生成部45は、フレーム同期信号を生成して音響信号に付加する。フレーム同期信号は、音響信号に含まれる信号フレーム、ガード時間信号、及びマスカー信号のそれぞれの場所を受信側で特定するための信号である。具体的には、フレーム同期信号は、M系列符号で変調したPN(疑似ノイズ)信号である。フレーム同期信号生成部45は、フレーム同期信号を付加した音響信号をD/A変換部46へ出力する。
The frame synchronization
D/A変換部46は、音響信号をアナログ信号に変換し、送信音響信号5Aとしてスピーカ6へ出力する。 The D / A converter 46 converts the acoustic signal into an analog signal and outputs the analog signal to the speaker 6 as the transmission acoustic signal 5A.
図4に、送信音響信号5Aに含まれる信号フレーム、ガード時間信号、マスカー信号、フレーム同期信号の周波数利用例を示す。フレーム同期信号の先頭は、マスカー音の開始ポイントと一致させる。スペクトル拡散したフレーム同期信号は、環境雑音の多い低音域で伝送される。マスカー音、ガード時間、及び信号フレームは、高音域で伝送される。すなわち、フレーム同期信号は、信号フレーム、ガード時間及びマスカー信号を伝送する周波数帯とは異なる周波数帯で伝送する。 FIG. 4 shows an example of frequency usage of the signal frame, guard time signal, masker signal, and frame synchronization signal included in the transmission acoustic signal 5A. The head of the frame synchronization signal is matched with the start point of the masker sound. The spread spectrum frame synchronization signal is transmitted in a low sound region with a lot of environmental noise. The masker sound, guard time, and signal frame are transmitted in the high sound range. That is, the frame synchronization signal is transmitted in a frequency band different from the frequency band for transmitting the signal frame, the guard time, and the masker signal.
引き続いて、変調装置4Aにおける変調方法について図5を参照しながら説明する。図5は、第1実施形態に係る変調方法のフローチャートである。
Subsequently, a modulation method in the
まず、符号化伝送信号3が、S/P変換部41によってシングルビットストリームからパラレルビットストリームに変換される(S11)。すると、各搬送波42が、パラレルビットストリームの各パラレル伝送ビットで変調部51によって変調(逆フーリエ変換)され、変調された各搬送波42が合成されて信号フレームが形成される(S12)。
First, the encoded transmission signal 3 is converted from a single bit stream to a parallel bit stream by the S / P converter 41 (S11). Then, each carrier 42 is modulated (inverse Fourier transform) by the
形成された信号フレームの後方区間が、ガード時間信号生成部43によって複製されて前方に連結され、ガード時間信号が生成される(S13)。ガード時間が生成されると、マスカー信号が、マスカー音生成部44によって生成される(S14)。生成されたマスカー信号が、音響信号生成部52によってガード時間の前方および信号フレームの後方に付加され、音響信号が生成される(S15)。
The rear section of the formed signal frame is duplicated by the guard time
音響信号が生成されると、M系列符号で変調したPN(疑似ノイズ)信号が、フレーム同期信号生成部45によって生成され、フレーム同期信号として音響信号に付加される(S16)。このように生成した音響信号が、D/A変換部46によってアナログ信号に変換され、送信音響信号5Aとして出力される。
When the acoustic signal is generated, a PN (pseudo noise) signal modulated by the M-sequence code is generated by the frame synchronization
このようにして出力された送信音響信号5Aは、スピーカ6から音波7として出力され、マスカー信号に基づくマスカー音がメロディを奏でると共に空間を信号が伝搬する。そして、音波7がマイクロフォン8によって受信される。マイクロフォン8によって受信された音波7は、受信音響信号9Aとして復調装置10Aへ出力される。
The transmission acoustic signal 5A output in this way is output as a sound wave 7 from the speaker 6, and the masker sound based on the masker signal plays a melody and the signal propagates through the space. Then, the sound wave 7 is received by the microphone 8. The sound wave 7 received by the microphone 8 is output as a received acoustic signal 9A to the
次に復調装置10Aについて説明する。図6に、第1実施形態に係る復調装置10Aの構成図を示す。復調装置10Aは、A/D変換部101、フレーム同期部102、マスカー音・ガード時間除去部103(除去手段)、復調部112(復調手段)、格納部113(格納手段)、検出部114(検出手段)、及びP/S変換部105を備えて構成される。
Next, the
A/D変換部101は、受信音響信号9Aをサンプリングし、デジタル信号に変換する。A/D変換部101は、変換したデジタル信号をフレーム同期部102へ出力する。
The A /
フレーム同期部102は、入力したデジタル信号を1サンプルおよび数サンプルずつずらしながらM系列符号で変調したPN信号との相関をとり、相関値の最も高いポイントをフレーム同期ポイントと認識し、フレーム単位に分割する。フレーム同期部102は、フレーム単位に分割した分割信号をマスカー音・ガード時間除去部103へ出力する。
The
マスカー音・ガード時間除去部103は、分割されたフレームごとにマスカー信号及びガード時間を分割信号から除去し、信号フレームを抽出する。マスカー音・ガード時間除去部103は、抽出した信号フレームを復調部112へ出力する。マスカー音・ガード時間除去部103は、信号フレームから除去したマスカー信号を検出部114へ出力する。
The masker sound / guard
復調部112は、信号フレームを各搬送波104で復調する。復調部112に入力される信号フレームにおいて、搬送波104の周波数帯が異なる信号フレームが混在する場合、復調部112は、それぞれの搬送波104の周波数帯に対応して復調する。すなわち、復調部112は、格納部113及び検出部114の機能を利用して復調する搬送波104の周波数帯を選択する。
The
格納部113は、搬送波104の周波数帯とマスカー信号の周波数とを関連付けて格納している。マスカー信号の周波数は、音響信号に含まれる特定のマスカー信号でもよいし、一連のメロディを構成する周波数パターンでもよい。例えば、格納部113は、搬送波104の周波数帯Aとマスカー信号の周波数aとを関連付けて格納する。また、例えば格納部113は、搬送波104の周波数帯Bとマスカー信号の周波数パターンを示す周波数パターン情報bとを関連付けて格納する。
The
検出部114は、マスカー音・ガード時間除去部103から入力したマスカー信号をフーリエ変換してマスカー信号の周波数を検出する。検出部114は、検出したマスカー信号の周波数を示す情報を復調部112へ出力する。
The
復調部112は、マスカー信号の周波数を示す情報を入力すると、入力したマスカー信号の周波数と格納部113によって関連付けて格納された周波数帯に基づいて、復調する搬送波104の周波数帯を決定する。そして、復調部112は、決定して周波数帯の搬送波104で信号フレームを復調する。
When receiving information indicating the frequency of the masker signal, the
復調部112が、例えば、OFDM復調方式で復調する場合は、信号フレームをフーリエ変換する。復調部112は復調により得た各搬送波104のスペクトル係数をP/S変換部105へ出力する。
For example, when the
P/S変換部105は、入力したスペクトル係数からパラレル伝送ビットを抽出する。そして、P/S変換部105は、抽出したパラレル伝送ビットをシングルビットストリームに変換し、受信伝送信号11として出力する。
The P /
以上のように構成された復調装置10Aは、以下のように動作する。まず、受信音響信号9Aが入力されると、受信音響信号9AがA/D変換部101によってデジタル信号に変換される。変換されたデジタル信号が、フレーム同期部102によってフレーム単位に分割される。分割された信号が、マスカー音・ガード時間除去部103によってフレームごとにマスカー信号及びガード時間信号が除去され、信号フレームが抽出される。また、除去されたマスカー信号は、検出部114によってフーリエ変換され、マスカー音の周波数が検出される。
The
検出したマスカー音の周波数と関連付けて格納部113によって格納された周波数帯の搬送波104で、抽出されたそれぞれの信号フレームが復調部112によって復調される。復調により得られた搬送波104のスペクトル係数からパラレル伝送ビットがP/S変換部105によって抽出される。抽出されたパラレル伝送ビットは、シングルビットストリームにP/S変換部105によって変換されて受信伝送信号11が生成される。
Each of the extracted signal frames is demodulated by the
引き続いて、第1実施形態に係る変調装置4A及び変調方法、並びに、復調装置10A及び復調方法についての作用効果について説明する。
Subsequently, functions and effects of the
上記変調装置4A及び変調方法では、変調部51が、可聴音帯域の搬送波42をパラレル伝送ビット3で変調して信号フレームを生成するので、可聴音波によってパラレル伝送ビットに含まれる情報をより高いビットレートで伝送可能な状態とすることができる。そして、マスカー音生成部44が信号フレームの伝送音を聞こえにくくするマスカー音として出力されるマスカー信号を生成し、音響信号生成部52が信号フレームにマスカー信号を付加して音響信号を生成するので、情報を伝送する可聴音波を聞こえにくい状態で伝送することができる。すなわち、人間の聴覚に不快でないレベルにもとづいた可聴音波で情報を伝送すると共に伝送情報のビットレートを向上させることができる。
In the
また、マスカー音生成部44は、変調信号に挿入された各マスカー信号を正弦波で構成し、各マスカー音のうち少なくとも一部の連続したマスカー音の周波数が所定のパターンとなるようにマスカー信号の周波数を選択することも好ましい。このようにすることにより、伝送情報のビットレートを維持すると共に、音響信号の伝送中にマスカー音によって奏でる音のパターンを選択することができる。特に、マスカー音生成部44が、各信号フレームに含まれる各マスカー音が伝送される際に一連のメロディとなるように、マスカー音の周波数を選択することにより、音響信号の伝送中にメロディを奏でることができる。
Further, the masker
上記復調装置10Aでは、マスカー音・ガード時間除去部103が、フレーム単位に分割された受信変調信号からマスカー信号を除去し信号フレームを抽出し、復調部112が信号フレームを復調するので、信号フレームとマスカー信号とを含む音響信号から信号フレームに含まれる情報を抽出することができる。
In the
上記復調装置10Aでは、搬送波104の周波数帯域とマスカー音の周波数とを関連付けて格納部113が格納し、検出部114がマスカー信号の周波数を検出するので、搬送波の周波数帯域を把握するために必要な情報を提供することができる。よって、復調部112が、検出部114が検出したマスカー信号の周波数と格納部113によって関連付けて格納された周波数帯域において音響信号を復調するので、的確に復調を行うことができる。
In the
(第2実施形態)
本実施形態に係る音波情報伝送システムは、音声・音楽と並列に伝送信号をスピーカから再生させて情報を伝送するシステムである。本実施形態の音波情報伝送システムは、音響信号送信システムと音響信号受信システムとを備えて構成される。図7に、第2実施形態に係る音響信号送信システムTS2の構成図を示す。
(Second Embodiment)
The sound wave information transmission system according to the present embodiment is a system for transmitting information by reproducing a transmission signal from a speaker in parallel with voice / music. The sound wave information transmission system according to the present embodiment includes an acoustic signal transmission system and an acoustic signal reception system. In FIG. 7, the block diagram of acoustic signal transmission system TS2 which concerns on 2nd Embodiment is shown.
本実施形態の音響信号送信システムTS2は、誤り訂正符号装置2、変調装置4B、及びスピーカ6を備えて構成される。変調装置4Bの入力信号は、符号化伝送信号3に加えて音声または音楽等の音響信号13がある。本実施形態に係る音響信号送信システムTS2と第1実施形態に係る音響信号送信システムTS1との相違点は、変調装置4Aに換えて変調装置4Bを備え、変調装置4Bが音響信号13を入力する点である。
The acoustic signal transmission system TS2 of the present embodiment includes an error
本実施形態の音響信号受信システムは、第1実施形態の音響信号受信システムRS1と同様な構成であり、復調装置10Aに換えて復調装置10Bを備える。
The acoustic signal receiving system of this embodiment has the same configuration as the acoustic signal receiving system RS1 of the first embodiment, and includes a
変調装置4Bは、符号化伝送信号3を音響信号として伝送できるように変換し、音響信号13と合成して合成音響信号14Bを出力する。合成音響信号14Bは、音響信号受信システムのマイクロフォン8によって受信音響信号9Bとして受信される。復調装置10Bは、受信音響信号9Bから受信伝送信号11を抽出する。引き続いて、変調装置4Bと復調装置10Bとについて詳細に説明する。
The
図8に、第2実施形態に係る変調装置4Bの構成図を示す。変調装置4Bは、S/P変換部41、スペクトル包絡振幅調整部47、変調部53(変調手段)、ガード時間信号生成部43、フレーム同期信号生成部45、バンドパスフィルタ48、音響信号生成部54(音響信号生成手段)、及びD/A変換部46を備えて構成される。S/P変換部41、ガード時間信号生成部43、フレーム同期信号生成部45、及びD/A変換部46が有する機能は、第1実施形態に係る変調装置4Aに含まれる部分と同様なので説明を省略する。
FIG. 8 shows a configuration diagram of a
スペクトル包絡振幅調整部47は、音響信号13を入力として、入力した音響信号をフーリエ変換し、音響信号13のスペクトル包絡を計算する。すなわち、スペクトル包絡振幅調整部47は、音響信号13の各周波数における振幅を計算する。そして、スペクトル包絡振幅調整部47は、スペクトル包絡の計算結果を変調部53へ出力する。また、スペクトル包絡振幅調整部47は、入力した音響信号13をバンドパスフィルタ48へ出力する。
The spectrum envelope
変調部53は、S/P変換部41から入力したパラレルビットストリームに受信側(復調装置10B)で既知の伝送ビットをパイロット信号49としてパラレルに付加する。次に、変調部53は、スペクトル包絡振幅調整部47から出力されたスペクトル包絡の計算結果に基づいて、パイロット信号49を含めたパラレル伝送ビットの各ビットに、音響信号13の各周波数の振幅情報をそれぞれ対応させて付加する。そして、変調部53は、音響信号13の振幅情報が付加された各伝送ビットで搬送波42を変調する。
The
このようにして、変調部53は、各搬送波42の振幅を音響信号13のスペクトル包絡に合わせると共に、パイロット信号49を含めたパラレル伝送ビットの各ビットで各搬送波42を変調する。変調部53は、OFDM変調方式を用いて変調する。すなわち、変調部53は、搬送波42の周波数として互いに直交関係にある直交周波数を用い、スペクトル包絡とパラレル伝送ビットを各搬送波周波数のスペクトル係数として割り当て、逆フーリエ変換することで変調する。
In this manner, the
また、変調部53は、計算結果が示すスペクトル包絡において可聴レベルに基づく所定の閾値に満たない周波数がある場合に、その周波数のスペクトルのパワーを閾値まで増幅する。閾値は、例えば、可聴レベル以下又は許容範囲の値以下に設定される。変調部53は、変調した各搬送波42の信号を合成し、信号フレームを形成する。変調部53は、形成した信号フレームをガード時間信号生成部43へ出力する。
In addition, when there is a frequency that does not satisfy a predetermined threshold value based on the audible level in the spectrum envelope indicated by the calculation result, the
バンドパスフィルタ48は、入力した音響信号13における搬送波42の周波数帯域の成分を除去して音響信号生成部54へ出力する。
The band-
音響信号生成部54は、フレーム同期信号生成部45から出力されるフレーム信号とガード時間信号とフレーム同期信号と、バンドパスフィルタ48から出力される音響信号13と、を重畳して合成音響信号14Bを生成する。すなわち、音響信号生成部54は、音響信号13における搬送波42の周波数帯域の成分を変調信号と置き換えて合成音響信号14Bを生成することとなる。音響信号生成部54は、生成した合成音響信号14BをD/A変換部46へ出力する。
The acoustic
合成音響信号の生成方法について図9を参照してより詳細に説明する。図9(a)は、音響信号13のスペクトルの例を示す。バンドパスフィルタ48は、図9(b)に示すように、図9(a)に示す音響信号13から搬送波42の周波数帯域Dの成分を除去する。図9(b)において、実線部分が周波数帯域Dの成分が除去された音響信号13を示し、点線が除去した周波数帯域Dを示す。
A method for generating a synthesized sound signal will be described in more detail with reference to FIG. FIG. 9A shows an example of the spectrum of the
変調部53は、図9(c)に示すように、各搬送波42の振幅をスペクトル包絡に合わせ、各搬送波42を変調して変調信号42Fを生成する。音響信号生成部54は、図9(c)に示すように、変調信号42Fと周波数帯域Dの成分が除去された音響信号13とを重畳して合成変調信号14Bを生成する。
As shown in FIG. 9C, the
図10に、合成音響信号14Bに含まれる信号フレーム、ガード時間信号、マスカー信号、フレーム同期信号の周波数利用例を示す。フレーム同期信号の先頭は、ガード時間の開始ポイントと一致させる。スペクトル拡散したフレーム同期信号は、音響信号13の成分が残っている低音域で伝送される。ガード時間、及び信号フレームは、高音域で伝送される。すなわち、フレーム同期信号は、信号フレーム及びガード時間を伝送する周波数帯とは異なる周波数帯で伝送する。
FIG. 10 shows an example of frequency usage of the signal frame, guard time signal, masker signal, and frame synchronization signal included in the synthesized acoustic signal 14B. The head of the frame synchronization signal is matched with the start point of the guard time. The spread spectrum frame synchronization signal is transmitted in the low sound range where the component of the
引き続いて、変調装置4Bにおける変調方法について図11を参照しながら説明する。図11は、第2実施形態に係る変調方法のフローチャートである。
Subsequently, a modulation method in the
まず、符号化伝送信号3が、S/P変換部41によってシングルビットストリームからパラレルビットストリームに変換される(S21)。また、音響信号13のスペクトル包絡が、スペクトル包絡振幅調整部47によって計算される(S22)。閾値に満たない音響信号13の周波数がある場合に、該当する周波数のパワーが変調部53によって増幅される(S23)。
First, the encoded transmission signal 3 is converted from a single bit stream to a parallel bit stream by the S / P converter 41 (S21). Further, the spectral envelope of the
その後、スペクトル包絡の計算結果に示される音響信号13の各周波数の振幅情報が、パイロット信号49を含めたパラレル伝送ビットの各ビットに、それぞれ対応させて付加される。そして、音響信号13の振幅情報が付加された各伝送ビットで搬送波42が変調される。すなわち、搬送波42の振幅を音響信号13がスペクトル包絡に合わせて変調部53によって調整されると共に各搬送波42が各伝送ビットで変調(逆フーリエ変換)される。そして、変調された各搬送波42の信号が合成されて信号フレームが形成される(S24)。
Thereafter, the amplitude information of each frequency of the
形成された信号フレームの後方区間が、ガード時間信号生成部43によって複製されて前方に連結され、ガード時間信号が生成される(S25)。ガード時間が生成されると、M系列符号で変調したPN(疑似ノイズ)信号が、フレーム同期信号生成部45によって生成され、フレーム同期信号として信号フレームに付加される(S26)。
The rear section of the formed signal frame is duplicated by the guard time
搬送波42の周波数帯域が削除された音響信号13と信号フレームとが、音響信号生成部54によって重畳されて、合成音響信号が生成される(S27)。生成した合成音響信号14Bが、D/A変換部46によってアナログ信号に変換されて出力される(S28)。
The
このようにして出力された合成音響信号14Bは、スピーカ6から音波7として出力され、音響信号13に基づくメロディを奏でると共に空間を信号が伝搬する。そして、音波7が音響信号受信システムに含まれるマイクロフォン8によって受信される。マイクロフォン8によって受信された音波7は、受信音響信号9Bとして復調装置10Bへ出力される。
The synthesized acoustic signal 14B output in this way is output as a sound wave 7 from the speaker 6, plays a melody based on the
次に復調装置10Bについて説明する。図12に、第2実施形態に係る復調装置10Bの構成図を示す。復調装置10Bは、A/D変換部101、バンドパスフィルタ106、フレーム同期部102、ガード時間除去部115、復調部112、位相補正部109、及びP/S変換部105を備えて構成される。このうち、A/D変換部101、フレーム同期部102、及びP/S変換部105は、上述した第1実施形態に係る復調装置10Aが備える部分と同様な機能を有するので、説明を省略する。
Next, the
バンドパスフィルタ106は、A/D変換部101によって出力されたデジタル信号を入力し、入力したデジタル信号をフレーム同期信号成分のある帯域と、信号フレーム成分のある帯域に分割する。フレーム同期信号成分のある帯域の信号をフレーム同期信号107とし、信号フレーム成分のある帯域の信号をOFDM変調信号108とする。バンドパスフィルタ106は、フレーム同期信号107とOFDM変調信号108とをそれぞれフレーム同期部102へ出力する。
The
フレーム同期部102は、フレーム同期信号107を1サンプルおよび数サンプルずつずらしながらM系列符号で変調したPN信号との相関をとり、相関値の最も高いポイントをフレーム同期ポイントと認識する。そして、フレーム同期部102は、認識したフレーム同期ポイントに応じてOFDM変調信号108をフレーム単位に分割する。フレーム同期部102は、分割したOFDM変調信号108をガード時間除去部115へ出力する。
The
ガード時間除去部115は、分割されたフレームごとにガード時間を除去し、信号フレームを抽出する。ガード時間除去部115は、抽出した信号フレームを復調部116へ出力する。
The guard
復調部116は、抽出した信号フレームに対して各搬送波104で復調する。復調部116は、信号フレームをフーリエ変換してOFDM復調方式により復調する。
The
位相補正部109は、復調された搬送波104からパイロット信号を抽出する。そして位相補正部109は、抽出したパイロット信号のスペクトル係数と既知のパイロット信号49のスペクトル係数とを比較することにより、パイロット信号の信号変化を検出する。そして位相補正部109は、検出した信号変化に基づいて他の搬送波104の信号の補正をする。位相補正部109は、補正した信号をP/S変換部105へ出力する。
The
P/S変換部105は、入力した信号からパラレル伝送ビットを抽出する。そして、P/S変換部105は、抽出したパラレル伝送ビットをシングルビットストリームに変換し、受信伝送信号11として出力する。
The P /
以上のように構成された復調装置10Bは、以下のように動作する。まず、受信音響信号9Bが入力されると、受信音響信号9BがA/D変換部101によってデジタル信号に変換される。変換されたデジタル信号が、フレーム同期信号107とOFDM変調信号108とにバンドパスフィルタ106によって分割される。OFDM変調信号108がフレーム同期信号107に基づいてフレーム同期部102によってフレーム単位に分割される。分割されたデジタル信号が、ガード時間除去部115によってフレームごとにガード時間信号が除去され、信号フレームが抽出される。
The
抽出されたそれぞれの信号フレームが搬送波104で復調部116によって復調される。復調された信号フレームからパイロット信号が位相補正部109によって抽出され、抽出されたパイロット信号と既知のパイロット信号49との変化から他の搬送波104の信号が補正される。搬送波104の補正後、搬送波104のスペクトル係数からパラレル伝送ビットがP/S変換部105によって抽出される。抽出されたパラレル伝送ビットは、シングルビットストリームにP/S変換部105によって変換されて受信伝送信号11が生成される。
Each extracted signal frame is demodulated by the
引き続いて、第2実施形態に係る変調装置4B、変調方法、及び復調装置10Bについての作用効果について説明する。
Subsequently, functions and effects of the
上記変調装置4B及び変調方法では、変調部53が可聴音帯域の搬送波42の振幅を音響信号13のスペクトル包絡に合わせると共に搬送波42をベースバンド信号で変調して変調信号を生成するので、音響信号13に基づく音を奏でる可聴音波を生成すると共に可聴音波によってベースバンド信号に含まれる信号をより高いビットレートで伝送可能な状態とすることとなる。そして音響信号生成部54が搬送波42の周波数帯域を変調信号と置き換えて合成音響信号を生成するので、音響信号13に基づく音を奏でると共に伝送情報ビットレートを向上させて情報を伝送することができる。
In the
また、変調部53は、音響信号13のスペクトル包絡において可聴レベルに基づく所定の閾値に満たない周波数がある場合に、該周波数のスペクトルのパワーを閾値まで増幅するので、伝送中に不快な音を発生することなく伝送信号のSN比を向上させることができる。
Further, when there is a frequency that does not satisfy a predetermined threshold based on the audible level in the spectral envelope of the
また、位相補正部109は、既知の信号(例えば、パイロット信号)で変調された搬送波42の信号の変化から他の搬送波42の信号の変化を推定して信号を補正するので、信号伝搬中に生じた信号の振幅又は位相の変化を補正することができる。よって、信号の変化による信号の識別の誤りを低減することができる。
The
また、上記変調装置4Aにおいて、信号フレームに含まれる特定の搬送波42をパイロット信号49で変調し、上記復調装置10Bにおいて、特定の搬送波42の信号変化から他の搬送波42の信号を補正するとした。これに対して、特定の信号フレームの全ての搬送波42をパイロット信号49で変調し、その信号フレームの各搬送波42の信号変化から、他の信号フレームのそれぞれ同じ搬送波42の信号を補正してもよい。このように、既知の信号で変調されたある時間帯の信号の変化から他の時間帯の信号の変化を推定し、信号を補正してもよい。このようにすることにより、信号の変化による信号の識別の誤りを低減することができる。
Further, the
(第3実施形態)
本実施形態に係る音波情報伝送システムは、上記第2実施形態と同様に音声・音楽と並列に伝送信号及びマスカー音を加えてスピーカから再生させて伝送するシステムである。また、この音波情報伝送システムは、受信側において、送信側と受信側とのサンプリング周波数の微小なずれを補正する。
(Third embodiment)
The sound wave information transmission system according to the present embodiment is a system for transmitting a transmission signal and a masker sound in parallel with voice / music and reproducing and transmitting from a speaker as in the second embodiment. Further, this sound wave information transmission system corrects a small deviation in sampling frequency between the transmission side and the reception side on the reception side.
本実施形態に係る音波情報伝送システムは、上記第2実施形態の音波情報伝送システムと同様に、音響信号送信システム(送信側)と音響信号受信システム(受信側)とを備えて構成される。本実施形態の変調装置4Cは、符号化伝送信号3を音波として伝送できるように変換し、音響信号13と合成して合成音響信号14Bを出力する。復調装置10Cは、受信音響信号9Cから受信伝送信号11を抽出する。
Similar to the sound wave information transmission system of the second embodiment, the sound wave information transmission system according to the present embodiment includes an acoustic signal transmission system (transmission side) and an acoustic signal reception system (reception side). The
本実施形態の音響信号送信システムは、第2実施形態の音響信号送信システムRS2と同様な構成であり、変調装置4Bに換えて変調装置4Cを備える。本実施形態の音響信号受信システムは、第2実施形態の音響信号受信システムと同様な構成であり、復調装置10Bに換えて復調装置10Cを備える。引き続いて変調装置4C及び復調装置10Cについて詳細に説明する。
The acoustic signal transmission system of the present embodiment has the same configuration as the acoustic signal transmission system RS2 of the second embodiment, and includes a
図13に、第3実施形態に係る変調装置4Cの構成を示す。変調装置4Cは、S/P変換部41、スペクトル包絡振幅調整部47、変調部53、ガード時間信号生成部43、マスカー音生成部44、音響信号生成部52、フレーム同期信号生成部45、バンドパスフィルタ48、音響信号生成部54、及びD/A変換部46を備える。これらの構成要素は、第1実施形態及び第2実施形態の変調装置4B,4Cに含まれる構成要素と同様な機能を有するので、各構成要素の詳細な説明は省略する。
FIG. 13 shows a configuration of a
引き続いて、変調装置4Cにおける変調方法について説明する。まず、符号化伝送信号3がS/P変換部41に入力されて、シングルビットストリームの符号化伝送信号3がパラレルビットストリームに変換される。変換されたパラレルビットストリームにパイロット信号49がパラレルに変調部53によって付加される。一方で、音響信号13がスペクトル包絡振幅調整部47によって入力され、スペクトル包絡が計算される。
Subsequently, a modulation method in the
計算されたスペクトル包絡を用いて、各搬送波42の振幅が音響信号13のスペクトル包絡に合わせて調節されると共に、パイロット信号49を含めたパラレル伝送ビットの各ビットで各搬送波42が変調部53によって変調される。変調された各搬送波42の信号は、変調部53によって合成され、信号フレームが形成される。信号フレームの後方区間が、ガード時間信号生成部43によって複製されて信号フレームの前方にガード時間信号として連結される。
Using the calculated spectral envelope, the amplitude of each carrier wave 42 is adjusted in accordance with the spectral envelope of the
この信号フレームおよびガード時間信号をマスキングするマスカー音のマスカー信号がマスカー音生成部44によって生成される。生成されたマスカー信号は、音響信号生成部52によってガード時間信号の前方および信号フレームの後方に付加される。そして、信号フレーム、ガード時間信号、及びマスカー信号の場所を受信側で特定するためのフレーム同期信号が、フレーム同期信号生成部45によって生成され、信号フレームに付加される。
A masker sound masker signal for masking the signal frame and the guard time signal is generated by the
一方で、スペクトル包絡振幅調整部47によって入力された音響信号13は、バンドパスフィルタ48によって搬送波周波数帯の成分が除去される。搬送波42の周波数帯域が除去された音響信号13と、信号フレームとガード時間信号とマスカー信号とが、音響信号生成部54によって重畳されて、合成音響信号が生成される。生成した合成音響信号14Cが、D/A変換部46によってアナログ信号に変換されて出力される。
On the other hand, the component of the carrier frequency band is removed from the
図14に、このようにして生成された合成音響信号14Cに含まれる信号フレーム、ガード時間信号、マスカー信号、フレーム同期信号、及び音響信号13の周波数利用配置の例を示す。フレーム同期信号は、搬送波42とは異なる周波数帯で伝送する。すなわち、音響信号13の成分が残っている低音域で、スペクトル拡散したフレーム同期信号を伝送する。マスカー音は低音域、高音域の双方の周波数を用いてメロディを形成する。また、ガード時間、信号フレームを高音域で伝送する。また、フレーム同期信号の先頭は、マスカー音区間の先頭と一致させる。
FIG. 14 shows an example of the frequency utilization arrangement of the signal frame, guard time signal, masker signal, frame synchronization signal, and
また、マスカー音は、搬送波周波数帯と異なる帯域で、任意の場所に挿入してもよい。その場合、ガード時間信号と前の信号フレームが隣接し、ガード時間信号の位相と前の信号フレームの位相とが不連続になる。そこで、位相が不連続な部分をスムージングするか、または、位相不連続な部分をマスキングするように、前の信号フレームとガード時間信号の境界付近にマスカー音を挿入する。 Further, the masker sound may be inserted at an arbitrary place in a band different from the carrier frequency band. In that case, the guard time signal and the previous signal frame are adjacent to each other, and the phase of the guard time signal and the phase of the previous signal frame are discontinuous. Therefore, a masker sound is inserted in the vicinity of the boundary between the previous signal frame and the guard time signal so as to smooth the portion where the phase is discontinuous or mask the portion where the phase is discontinuous.
次に復調装置10Cについて説明する。図15に、第3実施形態に係る復調装置10Cの構成を示す。復調装置10Cは、周波数多重方式で変調された受信音響信号9Cを復調する装置である。本実施形態では、受信音響信号9Cは、OFDM変調方式で変調された信号である。復調装置10Cは、A/D変換部101、バンドパスフィルタ106、フレーム同期部102、マスカー音・ガード時間除去部103、OFDMフレーム連結部110(連結手段)、復調部116、サブキャリア選択部111(検出手段及び補正手段)、位相補正部109、及びP/S変換部105を備えて構成される。復調装置10A及び10Cに含まれる構成要素は、復調装置10Cにおいても同様な機能を有する。
Next, the
以下、OFDMフレーム連結部110とサブキャリア選択部111について説明すると共に、関連してマスカー音・ガード時間除去部103及び復調部116について図16及び図17を参照して説明する。図16及び図17は、第3実施形態に係る復調方法を説明するための図である。
Hereinafter, the OFDM
図16(a)にマスカー信号及びガード時間信号とOFDM変調信号とが合成された信号を示す。マスカー音・ガード時間除去部103は、図16(a)に示す合成された信号からマスカー信号及びガード時間信号を除去して、信号フレームを抽出する。図16(b)が1つの信号フレームを示す。マスカー音・ガード時間除去部103は、抽出した信号フレームをOFDMフレーム連結部へ出力する。
FIG. 16A shows a signal obtained by combining a masker signal, a guard time signal, and an OFDM modulation signal. The masker sound / guard
OFDMフレーム連結部110は、信号フレームを複製し、複製した信号フレームを連結する。例えば、OFDMフレーム連結部110は、図16(c)に示すように1つの信号フレームを4つに複製し、複製した4つの信号フレームを連結する。OFDMフレーム連結部110は、連結した複数の信号フレームを復調部116へ出力する。
The OFDM
復調部116は、複数連結された信号フレームをフーリエ変換してOFDM復調方式によって復調する。このように、複数連結された信号フレームをフーリエ変換して復調することの効果を説明する。図17(a)は、従来のように信号フレームを一つずつフーリエ変換した場合の信号スペクトルを示す。図17において横軸は周波数を示し、太線の目盛りは変調装置4Cにおける搬送波42の周波数を示す。図17(a)には、信号スペクトルを識別した搬送波104の周波数(図17における信号スペクトルの中心周波数)が搬送波42の各周波数と一致している場合の理想的な信号スペクトルを図17(a)に示す。
The
図17(b)は、4個に複製して連結した信号フレームをフーリエ変換した場合の信号スペクトルを示す。図17において横軸の細線の目盛りは、信号スペクトルを識別する搬送波104の周波数を示す。また、図17(b)は、図17(a)と同様に、信号スペクトルを識別した搬送波104の周波数が搬送波42の周波数と一致している場合の理想的な信号スペクトルを示す。図17(a)と(b)とを比較すると、図17(b)における周波数分解能が図17(a)における周波数分解能の4倍となる。すなわち、n個に複製して連結した信号フレームをフーリエ変換することにより、1つの信号フレームをフーリエ変換した場合のn倍の周波数分解能を得ることができる。つまり、信号フレームを複数に複製して連結してフーリエ変換の対象時間を大きくすることにより、周波数分解能を高くできる。 FIG. 17B shows a signal spectrum when Fourier transform is performed on a signal frame duplicated and connected in four. In FIG. 17, the fine scale on the horizontal axis indicates the frequency of the carrier 104 that identifies the signal spectrum. FIG. 17B shows an ideal signal spectrum when the frequency of the carrier 104 identifying the signal spectrum matches the frequency of the carrier 42, as in FIG. 17A. When comparing FIGS. 17A and 17B, the frequency resolution in FIG. 17B is four times the frequency resolution in FIG. That is, by subjecting n signal frames that are duplicated and connected to each other to Fourier transform, it is possible to obtain a frequency resolution that is n times that of a single signal frame that is Fourier transformed. That is, the frequency resolution can be increased by duplicating and connecting a plurality of signal frames to increase the Fourier transform target time.
ところで、送信側のサンプリング周波数と受信側のサンプリング周波数に微小なずれがあった場合、もしくはドップラー効果により搬送波42の周波数がずれた場合、フーリエ変換により信号スペクトルを識別する搬送波104の周波数が搬送波42の周波数からずれることとなる。この場合、図17(a)に示すように周波数分解能が低いと、ずれた信号スペクトルを識別した搬送波104の周波数が隣の信号スペクトルに対応した周波数を干渉するために、それぞれの信号スペクトルを認識できない。 By the way, when there is a slight difference between the sampling frequency on the transmission side and the sampling frequency on the reception side, or when the frequency of the carrier 42 is shifted due to the Doppler effect, the frequency of the carrier 104 for identifying the signal spectrum by Fourier transform is Will deviate from this frequency. In this case, as shown in FIG. 17A, when the frequency resolution is low, the frequency of the carrier wave 104 that identifies the shifted signal spectrum interferes with the frequency corresponding to the adjacent signal spectrum, so that each signal spectrum is recognized. Can not.
図17(c)に、4個に複製して連結した信号フレームをフーリエ変換した場合の信号スペクトルであって、信号スペクトルを識別する搬送波104の周波数が搬送波42の周波数からずれた場合を示す。この場合、周波数分解能が高いので、ずれた信号スペクトルを識別した直交周波数が隣の信号に対応した直交周波数を干渉しない。よって、それぞれの信号スペクトルを識別できる。 FIG. 17C shows a signal spectrum when the signal frame duplicated and connected in four is subjected to Fourier transform, and shows a case where the frequency of the carrier 104 for identifying the signal spectrum deviates from the frequency of the carrier 42. In this case, since the frequency resolution is high, the orthogonal frequency that identifies the shifted signal spectrum does not interfere with the orthogonal frequency corresponding to the adjacent signal. Therefore, each signal spectrum can be identified.
以上説明したように、信号フレームを複製して複数連結した信号フレームをフーリエ変換することにより周波数分解能を高めることができる。周波数分解能が高いので、信号スペクトルを識別する搬送波104の周波数がずれた場合であっても、それぞれの信号スペクトルを識別することができる。 As described above, the frequency resolution can be increased by performing Fourier transform on a plurality of concatenated signal frames by duplicating signal frames. Since the frequency resolution is high, each signal spectrum can be identified even when the frequency of the carrier wave 104 for identifying the signal spectrum is shifted.
図15に戻って、サブキャリア選択部111は、復調された信号スペクトル(伝送信号)の搬送波104の周波数のずれを検出し、検出した搬送波104の周波数のずれに基づいて信号スペクトルの搬送波104の周波数を補正する。すなわち、サブキャリア選択部111は、信号スペクトルの搬送波104の周波数のずれを検出すると、その搬送波104の周波数から最も近い搬送波42の周波数に補正する。信号スペクトルの搬送波104の周波数のずれは周波数ごとに異なるため、信号スペクトル毎に補正することが好ましい。
Returning to FIG. 15, the
また、サブキャリア選択部111は、いくつかの搬送波104の周波数のずれから、ずれた割合を推定して、補正を行うことも好ましい。搬送波104の周波数のずれは、搬送波42の周波数から一定の割合で増減している場合が多いので、この方法は有効である。この方法によって、より大きな周波数シフト、ドップラーシフトも補正することができる。
In addition, it is preferable that the
以上のように構成された復調装置10Bは、以下のように動作する。アナログの受信音響信号9Bが入力されると、受信音響信号9BがA/D変換部101によってデジタル信号に変換される。変換されたデジタル信号が、フレーム同期信号107とOFDM変調信号108とにバンドパスフィルタ106によって分割される。OFDM変調信号108がフレーム同期信号107に基づいてフレーム同期部102によってフレーム単位に分割される。分割されたデジタル信号が、マスカー音・ガード時間除去部103によってフレームごとにマスカー信号及びガード時間信号が除去され、信号フレームが抽出される。
The
抽出された信号フレームが、OFDMフレーム連結部110によって複製され連結される。複数連結された信号フレームが、復調部116によって復調される。復調された信号において、信号スペクトルの搬送波104の周波数が、サブキャリア選択部111によって補正される。
The extracted signal frame is duplicated and concatenated by the OFDM
復調された信号フレームからパイロット信号が位相補正部109によって抽出され、パイロット信号の変化から他の搬送波104の位相が補正される。搬送波104の補正後、搬送波104のスペクトル係数からパラレル伝送ビットがP/S変換部105によって抽出される。抽出されたパラレル伝送ビットは、シングルビットストリームにP/S変換部105によって変換されて受信伝送信号11が生成される。
A pilot signal is extracted from the demodulated signal frame by the
引き続いて、第3実施形態に係る変調装置4C、復調装置10C及び復調方法についての作用効果について説明する。
Subsequently, effects of the
上記変調装置4Cによれば、変調部53が搬送波104の振幅を音響信号13のスペクトル包絡に合わせると共に搬送波104を符号化伝送信号3で変調して信号フレームを生成するので、音響信号に基づく音を奏でる可聴音波を生成すると共に可聴音波によってベースバンド信号に含まれる信号をより高いビットレートで伝送可能な状態とすることとなる。また、マスカー音生成部44が信号フレームの伝送時の音を聞こえにくくするマスカー音として出力されるマスカー信号を生成し信号フレームに付加し、音響信号生成部54が音響信号13における搬送波104の周波数帯域の成分を変調信号(信号フレーム)と置き換えて合成音響信号を生成するので、情報を含む可聴音波をマスカー信号のマスカー音によって聞こえにくい状態で伝送することができる。すなわち、人間の聴覚に不快でないレベルにもとづいた可聴音波で情報を伝送すると共に伝送情報のビットレートを向上させることができる。
According to the
また、上記復調装置10C及び復調方法によれば、OFDMフレーム連結部110によって複製して連結された複数の信号フレームをフーリエ変換するので、復調に用いる直交周波数である搬送波104の周波数の幅を狭くすることができる。すなわち、周波数分解能を向上させることができる。周波数分解能が向上したことにより、サブキャリア選択部111がフーリエ変換された信号フレームにおける伝送信号の搬送波104の周波数のずれを的確に検出し、搬送波104の周波数を補正することができる。
Further, according to the
1T…伝送データ信号、1R…伝送データ信号、2…誤り訂正符号装置、3…符号化伝送信号、4A〜4C…変調装置、5A…送信音響信号、6…スピーカ、7…音波、8…マイクロフォン、9A〜9C…受信音響信号、10A〜10C…復調装置、11…受信伝送信号、12…誤り訂正復号装置、13…音響信号、14B,14C…合成音響信号、41…S/P変換部、42…搬送波、43…ガード時間信号生成部、44…マスカー音生成部、45…フレーム同期信号生成部、46…D/A変換部、47…スペクトル包絡振幅調整部、48…バンドパスフィルタ、49…パイロット信号、51…変調部、52…音響信号生成部、53…変調部、54…音響信号生成部、101…A/D変換部、102…フレーム同期部、103…マスカー音・ガード時間除去部、104…搬送波、105…P/S変換部、106…バンドパスフィルタ、107…フレーム同期信号、108…OFDM変調信号、109…位相補正部、110…OFDMフレーム連結部、111…サブキャリア選択部、112…復調部、113…格納部、114…検出部、115…ガード時間除去部、116…復調部、RS1,RS2…音響信号送信システム、TS1,TS2…音響信号送信システム。
DESCRIPTION OF SYMBOLS 1T ... Transmission data signal, 1R ... Transmission data signal, 2 ... Error correction encoding device, 3 ... Encoded transmission signal, 4A-4C ... Modulation device, 5A ... Transmission acoustic signal, 6 ... Speaker, 7 ... Sound wave, 8 ... Microphone , 9A to 9C ... received acoustic signal, 10A to 10C ... demodulator, 11 ... received transmission signal, 12 ... error correction decoding device, 13 ... acoustic signal, 14B, 14C ... synthesized acoustic signal, 41 ... S / P converter, 42 ... carrier wave, 43 ... guard time signal generation unit, 44 ... masker sound generation unit, 45 ... frame synchronization signal generation unit, 46 ... D / A conversion unit, 47 ... spectrum envelope amplitude adjustment unit, 48 ... band pass filter, 49 ...
Claims (4)
前記入力された音響信号における搬送波の周波数帯域の成分を除去するバンドパスフィルタと、
前記スペクトル包絡振幅調整部により計算された前記音響信号のスペクトル包絡の計算結果に基づいて、OFDM変調方式に基づく搬送波周波数における前記搬送波の振幅を前記音響信号のスペクトル包絡に合わせると共に、前記搬送波周波数における前記搬送波をOFDM変調方式に基づいて変調し、変調後の各搬送波を合成して信号フレームを形成する変調部と、
前記変調部により形成された信号フレームの後方区間を複製し、複製した後方区間をガード時間信号として前記信号フレームの前方に連結させるガード時間信号生成部と、
フレーム同期を取るためのフレーム同期信号を生成するフレーム同期信号生成部と、
前記バンドパスフィルタにより前記搬送波の周波数帯域の成分が除去された前記音響信号と、前記ガード時間信号生成部により連結された前記ガード時間信号及び前記信号フレームと、前記フレーム同期信号生成部により生成された前記フレーム同期信号と、を重畳して合成音響信号を生成する音響信号生成部と、
を備え、
前記音響信号生成部は、前記合成音響信号を生成する際に、前記ガード時間信号及び前記信号フレームを伝送する周波数帯とは異なる、前記音響信号を伝送する周波数帯に、前記フレーム同期信号を配置する、
ことを特徴とする変調装置。 A spectral envelope amplitude adjustment unit that Fourier-transforms the input acoustic signal and calculates a spectral envelope of the acoustic signal;
A bandpass filter for removing a frequency band component of a carrier wave in the input acoustic signal;
Based on the calculation result of the spectral envelope of the acoustic signal calculated by the spectral envelope amplitude adjustment unit, the amplitude of the carrier at the carrier frequency based on the OFDM modulation scheme is matched to the spectral envelope of the acoustic signal, and at the carrier frequency A modulation unit that modulates the carrier wave based on an OFDM modulation scheme and combines the modulated carrier waves to form a signal frame;
A guard time signal generation unit that replicates a rear section of the signal frame formed by the modulation section and connects the copied rear section to the front of the signal frame as a guard time signal;
A frame synchronization signal generator for generating a frame synchronization signal for frame synchronization;
The acoustic signal from which the frequency band component of the carrier wave has been removed by the bandpass filter, the guard time signal and the signal frame connected by the guard time signal generation unit, and the frame synchronization signal generation unit. An acoustic signal generation unit that generates a synthesized acoustic signal by superimposing the frame synchronization signal;
With
The acoustic signal generation unit arranges the frame synchronization signal in a frequency band for transmitting the acoustic signal different from a frequency band for transmitting the guard time signal and the signal frame when generating the synthesized acoustic signal. To
A modulation device.
前記音響信号を、前記フレーム同期信号成分のある周波数帯域の信号としてのフレーム同期信号と、前記信号フレーム成分のある周波数帯域の信号としてのOFDM変調信号とに、分割するバンドパスフィルタと、
前記バンドパスフィルタにより分割された前記フレーム同期信号に基づいてフレーム同期ポイントを認識し、認識したフレーム同期ポイントに応じて前記OFDM変調信号をフレーム単位に分割するフレーム同期部と、
を備えた復調装置。 In a demodulator that demodulates an acoustic signal including a frequency band having a frame synchronization signal component and a frequency band having a signal frame component,
A band-pass filter that divides the acoustic signal into a frame synchronization signal as a signal in a frequency band with the frame synchronization signal component and an OFDM modulation signal as a signal in a frequency band with the signal frame component;
A frame synchronization unit that recognizes a frame synchronization point based on the frame synchronization signal divided by the bandpass filter, and divides the OFDM modulation signal into frame units according to the recognized frame synchronization point;
A demodulator comprising:
入力された音響信号をフーリエ変換し、前記音響信号のスペクトル包絡を計算するステップと、
前記入力された音響信号における搬送波の周波数帯域の成分を除去するステップと、
前記計算された前記音響信号のスペクトル包絡の計算結果に基づいて、OFDM変調方式に基づく搬送波周波数における前記搬送波の振幅を前記音響信号のスペクトル包絡に合わせると共に、前記搬送波周波数における前記搬送波をOFDM変調方式に基づいて変調し、変調後の各搬送波を合成して信号フレームを形成するステップと、
前記形成された信号フレームの後方区間を複製し、複製した後方区間をガード時間信号として前記信号フレームの前方に連結させるステップと、
フレーム同期を取るためのフレーム同期信号を生成するステップと、
前記搬送波の周波数帯域の成分が除去された前記音響信号と、前記連結された前記ガード時間信号及び前記信号フレームと、前記生成された前記フレーム同期信号と、を重畳して合成音響信号を生成するステップと、
を備え、
前記合成音響信号を生成する際には、前記ガード時間信号及び前記信号フレームを伝送する周波数帯とは異なる、前記音響信号を伝送する周波数帯に、前記フレーム同期信号を配置する、
ことを特徴とする変調方法。 A modulation method executed by a modulation apparatus that performs modulation based on an OFDM modulation scheme,
Fourier transforming the input acoustic signal and calculating a spectral envelope of the acoustic signal;
Removing a component of a frequency band of a carrier wave in the input acoustic signal;
Based on the calculated calculation result of the spectrum envelope of the acoustic signal, the amplitude of the carrier wave at the carrier frequency based on the OFDM modulation scheme is matched with the spectrum envelope of the acoustic signal, and the carrier wave at the carrier frequency is converted into the OFDM modulation scheme. And modulating the modulated carrier waves to form a signal frame;
Duplicating a rear section of the formed signal frame and connecting the copied rear section as a guard time signal in front of the signal frame;
Generating a frame synchronization signal for frame synchronization;
A synthesized acoustic signal is generated by superimposing the acoustic signal from which the frequency band component of the carrier wave has been removed, the connected guard time signal and the signal frame, and the generated frame synchronization signal. Steps,
With
When generating the synthesized acoustic signal, the frame synchronization signal is arranged in a frequency band for transmitting the acoustic signal different from a frequency band for transmitting the guard time signal and the signal frame.
A modulation method characterized by the above.
前記音響信号を、前記フレーム同期信号成分のある周波数帯域の信号としてのフレーム同期信号と、前記信号フレーム成分のある周波数帯域の信号としてのOFDM変調信号とに、分割するステップと、
前記分割された前記フレーム同期信号に基づいてフレーム同期ポイントを認識し、認識したフレーム同期ポイントに応じて前記OFDM変調信号をフレーム単位に分割するステップと、
を備えた復調方法。
In a demodulation method executed by a demodulator that demodulates an acoustic signal including a frequency band having a frame synchronization signal component and a frequency band having a signal frame component,
Dividing the acoustic signal into a frame synchronization signal as a signal in a frequency band with the frame synchronization signal component and an OFDM modulation signal as a signal in a frequency band with the signal frame component;
Recognizing a frame synchronization point based on the divided frame synchronization signal, and dividing the OFDM modulation signal into frame units according to the recognized frame synchronization point;
A demodulation method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007216198A JP4398494B2 (en) | 2007-08-22 | 2007-08-22 | Modulation apparatus and modulation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007216198A JP4398494B2 (en) | 2007-08-22 | 2007-08-22 | Modulation apparatus and modulation method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005295526A Division JP4398416B2 (en) | 2005-10-07 | 2005-10-07 | Modulation device, modulation method, demodulation device, and demodulation method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008005541A true JP2008005541A (en) | 2008-01-10 |
JP4398494B2 JP4398494B2 (en) | 2010-01-13 |
Family
ID=39009468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007216198A Expired - Fee Related JP4398494B2 (en) | 2007-08-22 | 2007-08-22 | Modulation apparatus and modulation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4398494B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246789A (en) * | 2008-03-31 | 2009-10-22 | Yamaha Corp | Modulation apparatus, demodulation apparatus, and information communication system |
US8818273B2 (en) | 2008-10-31 | 2014-08-26 | Samsung Electronics Co., Ltd | Method and apparatus for wireless communication using an acoustic signal |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009094558A (en) * | 2007-10-03 | 2009-04-30 | Ntt Docomo Inc | Modulator and modulation method |
-
2007
- 2007-08-22 JP JP2007216198A patent/JP4398494B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009246789A (en) * | 2008-03-31 | 2009-10-22 | Yamaha Corp | Modulation apparatus, demodulation apparatus, and information communication system |
US8818273B2 (en) | 2008-10-31 | 2014-08-26 | Samsung Electronics Co., Ltd | Method and apparatus for wireless communication using an acoustic signal |
US9338002B2 (en) | 2008-10-31 | 2016-05-10 | Samsung Electronics Co., Ltd | Method and apparatus for wireless communication using an acoustic signal |
Also Published As
Publication number | Publication date |
---|---|
JP4398494B2 (en) | 2010-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4398416B2 (en) | Modulation device, modulation method, demodulation device, and demodulation method | |
JP2007104598A5 (en) | ||
WO2010016589A1 (en) | Modulation device and demodulation device | |
RU2624549C2 (en) | Watermark signal generation and embedding watermark | |
JP5582508B2 (en) | Data transmitting apparatus, data receiving apparatus, data transmitting method, and data receiving method | |
US8428756B2 (en) | Data embedding device, data embedding method, data extraction device, and data extraction method | |
US8411531B2 (en) | Modulation device, demodulation device, and acoustic signal transmission method | |
RU2614855C2 (en) | Watermark generator, watermark decoder, method of generating watermark signal, method of generating binary message data depending on watermarked signal and computer program based on improved synchronisation concept | |
JP2013512474A (en) | Apparatus and method for acoustic communication | |
JP2011145541A (en) | Reproduction device, musical sound signal output device, reproduction system and program | |
RU2666647C2 (en) | Water mark generator, water mark decoder, method of water mark signal generation based on data of binary message, method for forming data of binary message based on signal with water mark and computer program using two-dimensional bit expansion | |
US20050286725A1 (en) | Pseudo-stereo signal making apparatus | |
JP2010074398A (en) | Ofdm modulation/demodulation method, ofdm modulator, ofdm demodulator, and ofdm modulation/demodulation system | |
JP4398494B2 (en) | Modulation apparatus and modulation method | |
KR20120112884A (en) | Watermark decoder and method for providing binary message data | |
Matsuoka et al. | Acoustic communication system using mobile terminal microphones | |
JP2009296617A (en) | Modulation apparatus, modulation method, demodulation apparatus, and demodulation method | |
JP5487989B2 (en) | Information transmission device using sound | |
JP5447072B2 (en) | Echo canceller and speech processing system | |
JP2009094558A (en) | Modulator and modulation method | |
KR101406748B1 (en) | Digital audio device for improving sound quality | |
JP2010204499A (en) | Data superposing device, communication system and sound communication method | |
JP5304593B2 (en) | Acoustic modulation device, transmission device, and acoustic communication system | |
JP5532900B2 (en) | Information transmission device using sound | |
JP2010081248A (en) | Modulation apparatus, demodulation apparatus, communication system, and communication method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090818 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091020 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091022 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4398494 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |