JP2008109491A - Air check device - Google Patents
Air check device Download PDFInfo
- Publication number
- JP2008109491A JP2008109491A JP2006291619A JP2006291619A JP2008109491A JP 2008109491 A JP2008109491 A JP 2008109491A JP 2006291619 A JP2006291619 A JP 2006291619A JP 2006291619 A JP2006291619 A JP 2006291619A JP 2008109491 A JP2008109491 A JP 2008109491A
- Authority
- JP
- Japan
- Prior art keywords
- level
- music
- audio signal
- period
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuits Of Receivers In General (AREA)
Abstract
Description
本発明は、エアチェック装置に関し、さらに詳しくは、放送局から放送された種々の音声の中から楽曲を自動的に抽出して録音することができるエアチェック装置に関する。 The present invention relates to an air check device, and more particularly, to an air check device that can automatically extract and record music from various sounds broadcast from a broadcasting station.
エアチェックは一般に、ラジオやテレビで放送された楽曲を記憶媒体に録音しておき、その録音した楽曲を後で再生して楽しむもので、無料で音楽を取得できることから視聴者の間で広く利用されている。 Air check is generally used by recording music broadcast on radio or television on a storage medium, and playing the recorded music later for enjoyment. Has been.
しかしながら、視聴者には所望の楽曲がいつ放送されるかはわからない。たとえばラジオのFM放送では、所望の楽曲がある番組中に放送されることがあらかじめわかる場合もあるが、番組中にはCMやDJが入るので、所望の楽曲が番組中のいつ放送されるかまではわからない。したがって、所望の楽曲を録音するためには、視聴者は番組を最初から注意深く聴き続けなければならない。 However, the viewer does not know when the desired music will be broadcast. For example, in FM radio broadcasting, it may be known in advance that a desired song is broadcasted in a program, but since CM and DJ are included in the program, when the desired song is broadcast in the program I do not know until. Therefore, in order to record the desired music, the viewer must listen carefully to the program from the beginning.
特開平11−177511号公報(特許文献1)は、デジタル放送の音楽番組において放送中あるいは放送済みの楽曲をその演奏開始点から再生するデジタル放送用受信再生装置を開示している。この装置は、番組データストリームに多重化され、各放送楽曲の演奏開始時点及び終了時点にそれぞれ送信される制御データを利用し、音声データを1曲毎の録音楽曲として録音するために録音開始点及び録音終了点を管理している。しかしながらこの装置は、制御データを多重化したデジタル放送にしか用いることができない。 Japanese Patent Application Laid-Open No. 11-177511 (Patent Document 1) discloses a digital broadcast receiving and reproducing apparatus for reproducing a song being broadcast or broadcast from a performance start point in a digital broadcast music program. This apparatus uses the control data multiplexed in the program data stream and transmitted at the start and end of the performance of each broadcast song, and the recording start point for recording the audio data as a recorded song for each song. And the recording end point. However, this apparatus can be used only for digital broadcasting in which control data is multiplexed.
特開平11−73730号公報(特許文献2)は、エアチェックを行う際に楽曲を簡単に録音でき、しかも録音した楽曲の中から所望の楽曲を簡単に再生できるようにした放送記録装置を開示している。この装置は、タイマで記録開始時刻を設定し、その設定された記録開始時刻になったら受信された音声データを記録するとともに、曲名及びその曲の放送開始時刻情報を含むオンエア情報を記憶し、エアチェック終了後において、放送開始時刻情報及び記録開始時刻から記録媒体上の再生開始位置を設定し、その再生開始位置からの再生動作を指示している。また、曲名の一覧表示から再生操作できるようになっている。しかしながらこの装置も、オンエア情報を多重化した文字多重放送にしか用いることができない。 Japanese Patent Laid-Open No. 11-73730 (Patent Document 2) discloses a broadcast recording apparatus that can easily record music when performing an air check, and can easily reproduce desired music from the recorded music. is doing. This device sets a recording start time with a timer, records the received audio data when the set recording start time is reached, stores on-air information including the song name and broadcast start time information of the song, After the air check is finished, the playback start position on the recording medium is set from the broadcast start time information and the recording start time, and a playback operation from the playback start position is instructed. In addition, playback operation can be performed from the list display of song names. However, this apparatus can also be used only for text multiplex broadcasting in which on-air information is multiplexed.
なお、本出願人は、特願2005−285583号(特許文献4)及び特願2005−340069号(特許文献5)において、楽曲のタイトルや放送時間が記載されたキューシートを参照し、所望の楽曲を自動的に録音できるようにしたエアチェックシステムを開示している。しかしながらこのシステムは、キューシートがなければ、所望の楽曲を自動的に録音することはできない。
本発明の目的は、上述した制御データ、オンエア情報、キューシートなどがなくても、放送局から放送された種々の音声の中から楽曲を自動的に抽出して録音することができるエアチェック装置を提供することである。 An object of the present invention is to provide an air check device capable of automatically extracting and recording music from various sounds broadcast from a broadcasting station without the above-described control data, on-air information, cue sheets, and the like. Is to provide.
本発明によるエアチェック装置は、受信手段と、放送記憶手段と、楽曲探索手段と、楽曲選択手段と、楽曲記憶手段とを備える。受信手段は、放送局から放送された音声信号を受信する。放送記憶手段は、受信手段により受信された音声信号を記憶する。楽曲探索手段は、放送記憶手段により記憶された音声信号の中から音声信号が所定期間以上連続して相互に一致する複数の楽曲期間を探索する。楽曲選択手段は、楽曲探索手段により探索された複数の楽曲期間の中から1つ、好ましくは最長のものを選択する。楽曲記憶手段は、楽曲選択手段により選択された楽曲期間の音声信号を記憶する。 An air check device according to the present invention includes receiving means, broadcast storage means, music search means, music selection means, and music storage means. The receiving means receives an audio signal broadcast from a broadcasting station. The broadcast storage means stores the audio signal received by the receiving means. The music search means searches the audio signals stored by the broadcast storage means for a plurality of music periods in which the audio signals continuously match each other for a predetermined period or more. The music selection means selects one, preferably the longest, of the plurality of music periods searched by the music search means. The music storage means stores the audio signal of the music period selected by the music selection means.
本発明によれば、音声信号が所定期間以上連続して相互に一致する複数の楽曲期間が探索され、そのうち1つの楽曲期間が選択され、その楽曲期間の音声信号が記憶される。 According to the present invention, a plurality of music periods in which audio signals coincide with each other continuously for a predetermined period or longer are searched, one music period is selected, and the audio signal of that music period is stored.
好ましくは、音声信号は左チャネル音声信号及び右チャネル音声信号を含む。楽曲探索手段は、反転手段と、合成手段と、パルス化手段と、パルスマッチング手段とを含む。反転手段は、左チャネル音声信号及び右チャネル音声信号の一方を反転する。合成手段は、反転手段により反転された信号と左チャネル音声信号及び右チャネル音声信号の他方とを合成して合成音声信号を生成する。パルス化手段は、合成手段により生成された合成音声信号のレベルを所定レベルと比較し、合成音声信号のレベルが所定レベルよりも大きいとき第1の論理レベルのパルス信号を出力し、合成音声信号のレベルが所定レベルよりも小さいとき第2の論理レベルのパルス信号を出力する。パルスマッチング手段は、パルス化手段により出力されたパルス信号のうち、論理レベルが所定期間以上連続して一致する期間を楽曲期間と特定する。 Preferably, the audio signal includes a left channel audio signal and a right channel audio signal. The music searching means includes an inverting means, a synthesizing means, a pulsing means, and a pulse matching means. The inverting means inverts one of the left channel audio signal and the right channel audio signal. The synthesizing unit synthesizes the signal inverted by the inverting unit and the other of the left channel audio signal and the right channel audio signal to generate a synthesized audio signal. The pulsing unit compares the level of the synthesized speech signal generated by the synthesizer with a predetermined level, and outputs a pulse signal having a first logic level when the level of the synthesized speech signal is greater than the predetermined level. When the level is lower than the predetermined level, a pulse signal of the second logic level is output. The pulse matching means identifies a period in which the logic level continuously matches for a predetermined period or more among the pulse signals output from the pulsing means as the music period.
この場合、楽曲期間に含まれるボーカル成分は反転手段及び合成手段により相殺され、合成音声信号はほぼゼロになる。このとき、パルス化手段により出力されるパルス信号は、合成音声信号がほぼゼロのとき第2の論理レベルになり、それ以外のとき第1の論理レベルになる。このようなパルス信号の論理レベルが所定期間以上連続して一致する期間が楽曲期間と特定されるので、楽曲期間の音声信号が簡単に抽出される。 In this case, the vocal component included in the music period is canceled by the inverting means and the synthesizing means, and the synthesized speech signal becomes almost zero. At this time, the pulse signal output by the pulsing means becomes the second logic level when the synthesized speech signal is substantially zero, and becomes the first logic level otherwise. Since a period in which the logic levels of such pulse signals continuously coincide with each other for a predetermined period or more is specified as a music period, an audio signal in the music period is easily extracted.
好ましくは、楽曲探索手段は、サンプリング手段と、変化率算出手段と、レベルマッチング手段とを含む。サンプリング手段は、放送記憶手段により記憶された音声信号のレベルを所定期間ごとにサンプリングする。変化率算出手段は、サンプリング手段によりサンプリングされたレベルをそれよりも前にサンプリングされたレベルで除算してレベル変化率を算出する。レベルマッチング手段は、変化率算出手段により算出されたレベル変化率の中からレベル変化率が所定期間以上連続して一致する期間を楽曲期間と特定する。 Preferably, the music searching means includes sampling means, change rate calculating means, and level matching means. The sampling means samples the level of the audio signal stored by the broadcast storage means every predetermined period. The change rate calculation means calculates the level change rate by dividing the level sampled by the sampling means by the level sampled before that. The level matching means specifies a period in which the level change rate continuously matches a predetermined period or more from the level change rates calculated by the change rate calculation means as the music period.
この場合、音声信号のレベル変化率が所定期間以上連続して一致する期間が楽曲期間と特定されるので、楽曲期間の音声信号が正確に抽出される。 In this case, since the period in which the level change rate of the audio signal continuously matches for a predetermined period or more is specified as the music period, the audio signal of the music period is accurately extracted.
好ましくは、楽曲探索手段はさらに、放送記憶手段により記憶された音声信号の中から、第1の中音域成分と、第1の中音域成分よりも高い第2の中音域成分と、第2の中音域成分よりも高い第3の中音域成分とを抽出してサンプリング手段に提供する抽出手段を含む。 Preferably, the music search means further includes a first midrange component, a second midrange component higher than the first midrange component, and a second midrange component from the audio signal stored by the broadcast storage means. Extraction means for extracting a third mid-range component higher than the mid-range component and providing it to the sampling means is included.
この場合、少なくとも3種類の周波数でレベル変化率が対比されるので、楽曲期間の音声信号がさらに正確に抽出される。 In this case, since the level change rates are compared at least at three types of frequencies, the sound signal of the music period is extracted more accurately.
好ましくは、エアチェック装置はさらに、楽曲選択手段により選択された楽曲期間以外の音声信号を記憶する非楽曲記憶手段を備える。 Preferably, the air check device further includes non-music storage means for storing an audio signal other than the music period selected by the music selection means.
この場合、楽曲とは別に、その楽曲に関する情報が含まれるMCなども録音される。 In this case, separately from the music, an MC or the like including information related to the music is also recorded.
好ましくは、音声信号は左チャネル音声信号及び右チャネル音声信号を含む。楽曲探索手段は、反転手段と、合成手段と、パルス化手段と、パルスマッチング手段と、同期化手段と、サンプリング手段と、変化率算出手段と、レベルマッチング手段とを含む。反転手段は、左チャネル音声信号及び右チャネル音声信号の一方を反転する。合成手段は、反転手段により反転された信号と左チャネル音声信号及び右チャネル音声信号の他方とを合成して合成音声信号を生成する。パルス化手段は、合成手段により生成された合成音声信号のレベルを所定レベルと比較し、合成音声信号のレベルが所定レベルよりも大きいとき第1の論理レベルのパルス信号を出力し、合成音声信号のレベルが所定レベルよりも小さいとき第2の論理レベルのパルス信号を出力する。パルスマッチング手段は、パルス化手段により出力されたパルス信号のうち論理レベルが所定期間以上連続して一致する期間をパルス一致期間と特定する。同期化手段は、パルスマッチング手段により特定されたパルス一致期間の最初が揃うように音声信号を同期化する。サンプリング手段は、放送記憶手段により記憶された音声信号のレベルを所定期間ごとにサンプリングする。変化率算出手段は、サンプリング手段によりサンプリングされたレベルをそれよりも前にサンプリングされたレベルで除算してレベル変化率を算出する。レベルマッチング手段は、同期化手段により同期化された音声信号のレベル変化率を互いに同じタイミングで対比することにより、変化率算出手段により算出されたレベル変化率の中からレベル変化率が所定期間以上連続して一致する期間を楽曲期間と特定する。 Preferably, the audio signal includes a left channel audio signal and a right channel audio signal. The music searching means includes an inverting means, a synthesizing means, a pulsing means, a pulse matching means, a synchronizing means, a sampling means, a change rate calculating means, and a level matching means. The inverting means inverts one of the left channel audio signal and the right channel audio signal. The synthesizing unit synthesizes the signal inverted by the inverting unit and the other of the left channel audio signal and the right channel audio signal to generate a synthesized audio signal. The pulsing unit compares the level of the synthesized speech signal generated by the synthesizer with a predetermined level, and outputs a pulse signal having a first logic level when the level of the synthesized speech signal is greater than the predetermined level. When the level is lower than the predetermined level, a pulse signal of the second logic level is output. The pulse matching means specifies a period in which the logic levels of the pulse signals output from the pulsing means coincide continuously for a predetermined period or more as a pulse coincidence period. The synchronizing means synchronizes the audio signal so that the beginning of the pulse matching period specified by the pulse matching means is aligned. The sampling means samples the level of the audio signal stored by the broadcast storage means every predetermined period. The change rate calculation means calculates the level change rate by dividing the level sampled by the sampling means by the level sampled before that. The level matching means compares the level change rates of the audio signals synchronized by the synchronization means at the same timing, so that the level change rate is equal to or greater than a predetermined period from the level change rates calculated by the change rate calculation means. A period that coincides continuously is specified as a music period.
この場合、第一段階でパルス信号の論理レベルが所定期間以上連続して一致する期間が楽曲期間と大まかに特定され、第2段階で音声信号のレベル変化率が所定期間以上連続して一致する期間が楽曲期間と特定されるので、楽曲期間の音声信号が簡単かつ正確に抽出される。 In this case, the period in which the logic level of the pulse signal continuously matches for a predetermined period or more in the first stage is roughly specified as the music period, and the level change rate of the audio signal continuously matches for a predetermined period or more in the second stage. Since the period is specified as the music period, the audio signal of the music period is easily and accurately extracted.
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings, the same or corresponding parts are denoted by the same reference numerals and description thereof will not be repeated.
図1を参照して、本発明の実施の形態によるエアチェック装置は、FM(Frequency Modulation)チューナ10と、AD(Analog to Digital)コンバータ(ADC)11と、MP3(MPEG Audio Layer-3)エンコーダ12と、MP3データファイル13とを備える。
Referring to FIG. 1, an air check device according to an embodiment of the present invention includes an FM (Frequency Modulation) tuner 10, an AD (Analog to Digital) converter (ADC) 11, and an MP3 (MPEG Audio Layer-3) encoder. 12 and an
FMチューナ10は、FM放送局から放送されたアナログ音声信号を受信する。アナログ音声信号はステレオ方式で、右チャネル音声信号及び左チャネル音声信号を含む。ADコンバータ11は、FMチューナ10で受信されたアナログ音声信号をデジタル音声信号に変換する。MP3エンコーダ12は、ADコンバータ11から出力されるデジタル音声信号をMP3データにエンコードする。MP3データファイル13は、MP3エンコーダ12から出力されるMP3データを記憶する。
The FM tuner 10 receives an analog audio signal broadcast from an FM broadcast station. The analog audio signal is stereo and includes a right channel audio signal and a left channel audio signal. The
FMチューナ10、ADコンバータ11及びMP3エンコーダ12は、原則として常に動作し、FM放送局からの全ての放送内容をMP3データファイル13に録音する。したがって、MP3データファイル13には、楽曲だけでなく、DJ等のMC(Master of Ceremony)も一緒に録音されている。MP3データは、たとえば番組ごとに1つのファイルにされ、保存される。このようにMP3データファイル13にはFMステレオ放送の全番組がMP3データで保存されるので、この中には同じ楽曲が複数回繰り返し録音されている可能性がある。本発明の実施の形態は、MCは毎回異なるのに対し、楽曲は毎回同じである点に着目し、MP3データファイル13の中から同じデータを探すことにより、楽曲だけを自動的に見つけ出すものである。
The FM tuner 10, the
エアチェック装置はさらに、MP3デコーダ14と、DA(Digital to Analog)コンバータ(DAC)15とを備える。MP3デコーダ14は、MP3データファイル13に記憶されたMP3データをデジタル音声信号にデコードする。DAコンバータ15は、MP3デコーダ14から出力されるデジタル音声信号をアナログ音声信号に変換する。
The air check device further includes an
エアチェック装置はさらに、パルスマッチング手法を実現するために、バンドパスフィルタ(BPF)16及び17と、反転器18と、合成器19と、パルス化器20と、パルスデータ生成モジュール21と、パルスデータファイル22とを備える。
The air check device further includes bandpass filters (BPF) 16 and 17, an
バンドパスフィルタ16は、DAコンバータ15から出力される左チャネル音声信号の中から中音域(たとえば800〜3kHz)を抽出する。バンドパスフィルタ17は、DAコンバータ15から出力される右チャネル音声信号の中から中音域(たとえば800〜3kHz)を抽出する。反転器18は、バンドパスフィルタ16から出力される中音域の左チャネル音声信号を反転する。合成器19は、反転器18により反転された中音域の左チャネル音声信号と、バンドパスフィルタ17から出力される中音域の右チャネル音声信号とを合成(加算)して合成音声信号を生成する。
The
合成音声信号の例を図2に示す。ここに示された合成音声信号C1〜C4はそれぞれ異なる番組の音声信号から生成されたものである。楽曲中にはボーカル成分VOしか含まれていない期間が存在するが、このような期間では両チャネルの音声信号が相殺され、合成音声信号C1〜C4はゼロになる。MC成分MCのタイミングはランダムであるのに対し、ボーカル成分VOのタイミングは番組が違っても同じである。図2に示した例では、合成音声信号C1〜C4のいずれにおいても、500ミリ秒のボーカル成分VOが1秒の間隔をおいて2回現れている。したがって、この期間には同じ楽曲が録音されている可能性が高い。 An example of the synthesized speech signal is shown in FIG. The synthesized audio signals C1 to C4 shown here are generated from audio signals of different programs. The music includes a period in which only the vocal component VO is included. In such a period, the audio signals of both channels are canceled and the synthesized audio signals C1 to C4 become zero. The timing of the MC component MC is random, while the timing of the vocal component VO is the same even if the program is different. In the example shown in FIG. 2, in any of the synthesized speech signals C1 to C4, the vocal component VO of 500 milliseconds appears twice with an interval of 1 second. Therefore, there is a high possibility that the same music is recorded during this period.
パルス化器20は、合成器19により生成された合成音声信号C1〜C4のレベルを所定レベルと比較し、合成音声信号C1〜C4のレベルが所定レベルよりも大きいときH(論理ハイ)レベルのパルス信号P1〜P4を出力し、合成音声信号C1〜C4のレベルが所定レベルよりも小さいときL(論理ロウ)レベルのパルス信号P1〜P4を出力する。図2に示した例では、パルス信号P1〜P4はボーカル成分VOが含まれる期間ではLレベルになり、それ以外の期間ではHレベルになる。所定レベルは、左右のボーカル成分VOが完全に相殺される理想的な場合は0Vに設定されるが、実際にはマージンを考慮して、たとえば500mVに設定される。
The pulsator 20 compares the level of the synthesized speech signals C1 to C4 generated by the
パルスデータ生成モジュール21はコンピュータプログラムであり、パルス化器20から出力されるパルス信号P1〜P4に基づいて次の表1に示されるようなパルスデータPD1〜PD4を生成する。
パルスデータPD1〜PD4は、パルス信号P1〜P4がHレベルのとき、Hレベルを示す「1」と、パルス信号P1〜P4がHレベルにある期間(ミリ秒)とが対応づけられ、パルス信号P1〜P4がLレベルのとき、Lレベルを示す「0」と、パルス信号P1〜P4がLレベルにある期間とが対応づけられる。パルスデータファイル22は、パルスデータ生成モジュール21で生成されたパルスデータPD1〜PD4を記憶する。
In the pulse data PD1 to PD4, when the pulse signals P1 to P4 are at the H level, “1” indicating the H level is associated with a period (milliseconds) in which the pulse signals P1 to P4 are at the H level. When P1 to P4 are at the L level, “0” indicating the L level is associated with a period in which the pulse signals P1 to P4 are at the L level. The pulse data file 22 stores the pulse data PD1 to PD4 generated by the pulse
パルスデータPD1〜PD4を相互にマッチングしていくことにより、同じ楽曲が録音されている期間を特定することは可能である。しかしながら、このようなパルスマッチング手法だけでは楽曲とMCとを正確に切り分けることできないという問題がある。以下、この問題を説明する。 By matching the pulse data PD1 to PD4 with each other, it is possible to specify the period during which the same music is recorded. However, there is a problem that music and MC cannot be accurately separated only by such a pulse matching method. Hereinafter, this problem will be described.
たとえばMCの途中から楽曲がフェードインされる場合、図3(a)に示されるように、音声信号A1にはMC成分MCと楽曲成分BGMとが同じ期間に含まれる。MC成分MCは相殺されるので合成音声信号C1には現れないが、楽曲成分BGMがあるので合成音声信号C1はゼロにはならない。また、MCの終了後に楽曲が開始される場合、図3(b)に示されるように、音声信号A2にはMC成分MCのみが含まれる期間があり、その次に楽曲成分BGMのみが含まれる期間がある。MC成分しか含まれない期間ではMC成分MCは相殺されるので合成音声信号C2はゼロになる。また、楽曲の途中でMCが入る場合、図3(c)に示されるように、音声信号A3にはMC成分MCと楽曲成分BGMとが同じ期間に含まれる。MC成分MCは相殺されるので合成音声信号C3には現れないが、楽曲成分BGMがあるので合成音声信号C3はゼロにはならない。 For example, when the music is faded in from the middle of the MC, as shown in FIG. 3A, the audio signal A1 includes the MC component MC and the music component BGM in the same period. Since the MC component MC cancels out, it does not appear in the synthesized speech signal C1, but the synthesized speech signal C1 does not become zero because of the music component BGM. When the music is started after the end of MC, as shown in FIG. 3B, the audio signal A2 has a period in which only the MC component MC is included, and then only the music component BGM is included. There is a period. In the period in which only the MC component is included, the MC component MC cancels out, so the synthesized speech signal C2 becomes zero. Further, when MC enters in the middle of the music, as shown in FIG. 3C, the audio signal A3 includes the MC component MC and the music component BGM in the same period. Since the MC component MC cancels out, it does not appear in the synthesized audio signal C3, but the synthesized audio signal C3 does not become zero because of the music component BGM.
これらの合成音声信号C1〜C3をパルス化器20でパルス化すると、パルス信号P1〜P3を得ることができる。この例の場合、パルス信号P1〜P3が互いに一致する期間は少なくとも3秒間ある。したがって、この期間に相当するMP3データを抽出すれば楽曲のみを切り出すことは可能であるが、最初の1秒間に図3(b)のように楽曲成分BGMしか含まれていないものもあれば、図3(a),(c)のように楽曲成分BGMだけでなくMC成分MCも含まれているものもある。このようにパルスマッチング手法だけでは楽曲とMCとを正確に切り分けることできないため、後述するレベルマッチング手法を併用するのが好ましい。 When these synthesized speech signals C1 to C3 are pulsed by the pulse generator 20, pulse signals P1 to P3 can be obtained. In this example, the period in which the pulse signals P1 to P3 coincide with each other is at least 3 seconds. Therefore, if MP3 data corresponding to this period is extracted, it is possible to cut out only a piece of music, but there are some in which only the music component BGM is included in the first second as shown in FIG. As shown in FIGS. 3A and 3C, there are some which include not only the music component BGM but also the MC component MC. As described above, since the music and MC cannot be accurately separated only by the pulse matching method, it is preferable to use the level matching method described later together.
レベルマッチング手法を実現するために、エアチェック装置はさらに、バンドパスフィルタ(BPF)23〜25と、ADコンバータ26〜28と、レベル変化率算出モジュール29〜31と、レベルデータ生成モジュール32〜34と、レベルデータファイル35とを備える。バンドパスフィルタ23は、DAコンバータ15から出力される音声信号の中から500Hzの中音域成分を抽出する。バンドパスフィルタ24は、DAコンバータ15から出力される音声信号の中から1kHzの中音域成分を抽出する。バンドパスフィルタ25は、DAコンバータ15から出力される音声信号の中から2kHzの中音域成分を抽出する。
In order to realize the level matching method, the air check device further includes bandpass filters (BPF) 23 to 25,
ADコンバータ26は、バンドパスフィルタ23から出力される500Hzの音声信号のレベルを所定期間(たとえば1秒)ごとにサンプリングしてレベルデータにAD変換する。ADコンバータ27は、バンドパスフィルタ24から出力される1kHzの音声信号のレベルを所定期間(たとえば1秒)ごとにサンプリングしてレベルデータにAD変換する。ADコンバータ28は、バンドパスフィルタ25から出力される2kHzの音声信号のレベルを所定期間(たとえば1秒)ごとにサンプリングしてレベルデータにAD変換する。
The
レベル変化率算出モジュール29は、ADコンバータ26でサンプリングされたレベルデータをそれよりも所定期間前にサンプリングされたレベルデータで除算して所定期間ごとのレベル変化率を算出する。レベル変化率算出モジュール30は、ADコンバータ27でサンプリングされたレベルデータをそれよりも所定期間前にサンプリングされたレベルデータで除算して所定期間ごとのレベル変化率を算出する。レベル変化率算出モジュール31は、ADコンバータ28でサンプリングされたレベルデータをそれよりも所定期間前にサンプリングされたレベルデータで除算して所定期間ごとのレベル変化率を算出する。
The level change
レベルデータ生成モジュール32は、ADコンバータ26から所定時間ごとに出力されるレベルデータを順に並べるとともに、レベル変化率算出モジュール29で算出されたレベル変化率をレベルデータに対応付けて順に並べる。レベルデータ生成モジュール33は、ADコンバータ27から所定時間ごとに出力されるレベルデータを順に並べるとともに、レベル変化率算出モジュール30で算出されたレベル変化率をレベルデータに対応付けて順に並べる。レベルデータ生成モジュール34は、ADコンバータ28から所定時間ごとに出力されるレベルデータを順に並べるとともに、レベル変化率算出モジュール31で算出されたレベル変化率をレベルデータに対応付けて順に並べる。レベルデータファイル35は、レベルデータ生成モジュール32〜34で生成されたレベルデータを記憶する。レベルデータの一例を次の表2に示す。
上段にはADコンバータ26から所定時間ごとに出力された500Hzのレベルデータが順に並べられ、中段にはADコンバータ27から所定時間ごとに出力された1kHzのレベルデータが順に並べられ、下段にはADコンバータ28から所定時間ごとに出力された2kHzのレベルデータが順に並べられている。
Level data of 500 Hz output from the
また、500Hzのレベルデータの下にはレベル変化率算出モジュール29で算出されたレベル変化率が順に並べられ、1kHzのレベルデータの下にはレベル変化率算出モジュール30で算出されたレベル変化率が順に並べられ、2kHzのレベルデータの下にはレベル変化率算出モジュール31で算出されたレベル変化率が順に並べられる。たとえば500Hzのレベルデータのうち、200mVのレベルデータとその1秒後の150mVのレベルデータとの間には75%(=150/200×100)の変化率が記録されている。
The level change rates calculated by the level change
図3(a)に示した音声信号A1からレベルデータLD1が得られ、図3(b)に示した音声信号A2からレベルデータLD2が得られ、図3(c)に示した音声信号A3からレベルデータLD3が得られる。レベルデータLD1〜LD3のレベル変化率を相互に比較すると、表2中に太枠で囲ったレベル変化率が概ね一致している。したがって、図3(a)に示したように楽曲開始直後にMCが含まれる場合、その期間はレベル変化率が一致しないので楽曲の抽出対象外となる。また、図3(c)に示したように楽曲の途中でMCが含まれる場合、その期間はレベル変化率が一致しないので楽曲の抽出対象外となる。 Level data LD1 is obtained from the audio signal A1 shown in FIG. 3 (a), level data LD2 is obtained from the audio signal A2 shown in FIG. 3 (b), and from the audio signal A3 shown in FIG. 3 (c). Level data LD3 is obtained. When the level change rates of the level data LD1 to LD3 are compared with each other, the level change rates surrounded by a thick frame in Table 2 are almost the same. Therefore, when MC is included immediately after the start of music as shown in FIG. 3A, the level change rate does not match during that period, so the music is not extracted. Also, as shown in FIG. 3C, when MC is included in the middle of the music, the level change rate does not match during that period, so the music is not extracted.
このようなレベルマッチング手法によれば、上述したパルスマッチング手法よりも正確に楽曲とMCとを切り分けることができる。また、レベルマッチング手法だけを用いても楽曲とMCとを切り分けることは可能であるが、レベルマッチング手法だけでは演算量が非常に多くなってしまう。したがって、これらの手法を併用し、最初にパルスマッチング手法で大まかに楽曲を特定し、その次にレベルマッチング手法で詳細に楽曲を特定するのが好ましい。 According to such a level matching method, music and MC can be separated more accurately than the pulse matching method described above. Further, although it is possible to separate music and MC using only the level matching method, the amount of computation becomes very large only by the level matching method. Therefore, it is preferable to use these methods in combination, first specify the music roughly by the pulse matching method, and then specify the music in detail by the level matching method.
エアチェック装置はさらに、分離モジュール36と、楽曲データファイル37と、MC(Master of Ceremony)データファイル38とを備える。分離モジュール36はコンピュータプログラムであり、パルスデータファイル22に記憶されたパルスデータに基づいてパルスマッチング処理を行い、かつ、レベルデータファイル35に記憶されたレベルデータに基づいてレベルマッチング処理を行うことにより、MP3データファイル13に記憶されたMP3データを楽曲データとそれ以外のMCデータ(非楽曲データ)とに分離する。楽曲データファイル37は、分離モジュール36から出力される楽曲データを記憶する。MCデータファイル38は、分離モジュール36から出力されるMCデータを記憶する。
The air check device further includes a
分離モジュール36の処理内容を図4に示す。分離モジュール36は、パルスデータを相互に対比することにより、パルスが所定時間(たとえば2秒)以上連続して一致している期間(以下「パルス一致期間」という。)を探し出す(S1)。図2及び表1に示した例では、4つのパルスデータPD1〜PD4の間で、500ミリ秒間のLレベル、1秒間のHレベル及び500ミリ秒間のLレベルが連続して一致し、かつ、その合計期間が2秒であるから、この期間がパルス一致期間PMとして特定される。楽曲データはパルス一致期間PM辺りから始まっている。楽曲データの開始時期さえ見つけ出せればよいので、これ以降どこまでパルスが一致しているかまで特定する必要はない。
The processing contents of the
パルス一致期間PMの時期はパルスデータごとに異なっているので、分離モジュール36は、その特定したパルス一致期間PMに基づいてMP3データを同期化する(S2)。具体的には図5に示すように、パルス一致期間PMが揃うようにパルス信号P1〜P4及び合成音声信号C1〜C4の位相をシフトし、パルス一致期間PMに相当するMP3データを特定する。これにより、番組ごとのMP3データの中で楽曲データの開始位置を概ね特定することができる。
Since the timing of the pulse coincidence period PM differs for each pulse data, the
次に、分離モジュール36は、レベル変化率を相互に対比することにより、レベル変化率が所定時間(たとえば10秒)以上連続して一致している期間(以下「レベル変化率一致期間」という。)を探し出す(S3)。ただし、レベル変化率が完全に一致している必要はなく、マージンとして±10%の範囲内で一致していればよい。表2に示した例では、レベルデータLD1及びLD2の間で、左から3つ目以降のレベル変化率がほぼ一致しているため、この期間がレベル変化率一致期間LM1として特定される。また、レベルデータLD2及びLD3の間で、左から4つ目以降のレベル変化率がほぼ一致しているため、この期間がレベル変化率一致期間LM2として特定される。また、レベルデータLD3及びLD1の間で、左から4つ目以降のレベル変化率がほぼ一致しているため、この期間がレベル変化率一致期間LM3として特定される。
Next, the
このレベルマッチング処理でも前のパルスマッチング処理と同様にレベル変化率を相互に対比しているが、パルスマッチング処理で既に楽曲データの開始位置を概ね特定しているので、レベル変化率を総当たりで対比する必要はない。レベルマッチング処理それ自体はパルスマッチング処理それ自体よりも演算量が多いが、既に特定されている楽曲データの開始位置から順番にレベル変化率を対比していけばよいので、レベルマッチング処理の演算量はそれほど多くならない。 Even in this level matching process, the level change rate is compared with each other as in the previous pulse matching process. However, since the start position of the music data has already been specified in the pulse matching process, the level change rate is brute force. There is no need to contrast. The level matching process itself is more computationally intensive than the pulse matching process itself, but it is only necessary to compare the level change rate in order from the start position of the already specified music data. Is not so much.
次に、分離モジュール36は、レベル変化率一致期間LM1〜LM3の中から最も長いものを選択し、その期間に対応するMP3データを選択する(S4)。次に、分離モジュール36は、選択したMP3データを、対応するレベル変化率一致期間に基づいて楽曲データとMCデータとに分割する(S5)。すなわち、MP3データのうちレベル変化率一致期間に対応する部分は楽曲データと判定され、それ以外の部分はMCデータと判定される。そして、分離モジュール36は、楽曲データを楽曲データファイル37に保存し、MCデータをMCデータファイル38に保存する(S6)。
Next, the
以上のように本発明の実施の形態によれば、MP3データが所定期間以上連続して相互に一致する複数の楽曲期間が探し出され、そのうち最長の楽曲期間が選択され、その楽曲期間のMP3データが楽曲データとして保存されるので、従来のように制御データ、オンエア情報、キューシートなどがなくても、放送局から放送された種々の音声の中から楽曲を自動的に抽出して録音することができる。 As described above, according to the embodiment of the present invention, a plurality of music periods in which MP3 data match each other continuously for a predetermined period or longer are searched for, the longest music period is selected, and the MP3 of the music period is selected. Since data is stored as music data, music can be automatically extracted and recorded from various audio broadcasts from broadcast stations without conventional control data, on-air information, cue sheets, etc. be able to.
上記実施の形態は第1段階のパルスマッチング処理で大まかに楽曲期間の始まりを特定し、第2段階のレベルマッチング処理で詳細に楽曲期間を特定するようにしているが、パルスマッチング処理だけで楽曲期間を特定することも可能である。この場合、レベルマッチング処理を行わないので、同期化処理(S2)の他、レベルデータを生成するための処理(23〜34)は必要ない。 In the above embodiment, the beginning of the music period is roughly specified by the pulse matching process in the first stage, and the music period is specified in detail by the level matching process in the second stage. It is also possible to specify the period. In this case, since the level matching process is not performed, the process (23 to 34) for generating the level data is not required in addition to the synchronization process (S2).
一方、レベルマッチング処理だけで楽曲期間を特定することも可能である。この場合、パルスマッチング処理を行わないので、同期化処理(S2)の他、パルスデータを生成するための処理(16〜21)は必要ない。 On the other hand, it is also possible to specify the music period only by level matching processing. In this case, since the pulse matching process is not performed, the process (16 to 21) for generating the pulse data is not required in addition to the synchronization process (S2).
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。 While the embodiments of the present invention have been described above, the above-described embodiments are merely examples for carrying out the present invention. Therefore, the present invention is not limited to the above-described embodiment, and can be implemented by appropriately modifying the above-described embodiment without departing from the spirit thereof.
10 FMチューナ
13 MP3データファイル
16,17,23〜25 バンドパスフィルタ
18 反転器
19 合成器
20 パルス化器
21 パルスデータ生成モジュール
22 パルスデータファイル
29〜31 レベル変化率算出モジュール
32〜34 レベルデータ生成モジュール
35 レベルデータファイル
36 分離モジュール
37 楽曲データファイル
38 データファイル
DESCRIPTION OF SYMBOLS 10
Claims (6)
前記受信手段により受信された音声信号を記憶する放送記憶手段と、
前記放送記憶手段により記憶された音声信号の中から音声信号が所定期間以上連続して相互に一致する複数の楽曲期間を探索する楽曲探索手段と、
前記楽曲探索手段により探索された複数の楽曲期間の中から1つを選択する楽曲選択手段と、
前記楽曲選択手段により選択された楽曲期間の音声信号を記憶する楽曲記憶手段とを備えたことを特徴とするエアチェック装置。 Receiving means for receiving an audio signal broadcast from a broadcasting station;
Broadcast storage means for storing the audio signal received by the receiving means;
Music search means for searching for a plurality of music periods in which the audio signals continuously match each other from the audio signals stored by the broadcast storage means; and
Music selection means for selecting one of a plurality of music periods searched by the music search means;
An air check apparatus comprising: a music storage unit that stores an audio signal of a music period selected by the music selection unit.
前記音声信号は左チャネル音声信号及び右チャネル音声信号を含み、
前記楽曲探索手段は、
左チャネル音声信号及び右チャネル音声信号の一方を反転する反転手段と、
前記反転手段により反転された信号と左チャネル音声信号及び右チャネル音声信号の他方とを合成して合成音声信号を生成する合成手段と、
前記合成手段により生成された合成音声信号のレベルを所定レベルと比較し、合成音声信号のレベルが所定レベルよりも大きいとき第1の論理レベルのパルス信号を出力し、合成音声信号のレベルが所定レベルよりも小さいとき第2の論理レベルのパルス信号を出力するパルス化手段と、
前記パルス化手段により出力されたパルス信号のうち論理レベルが所定期間以上連続して一致する期間を前記楽曲期間と特定するパルスマッチング手段とを含むことを特徴とするエアチェック装置。 The air check device according to claim 1,
The audio signal includes a left channel audio signal and a right channel audio signal,
The music searching means is
Inverting means for inverting one of the left channel audio signal and the right channel audio signal;
Synthesizing means for synthesizing the signal inverted by the inverting means and the other of the left channel audio signal and the right channel audio signal to generate a synthesized audio signal;
The level of the synthesized voice signal generated by the synthesizing means is compared with a predetermined level, and when the level of the synthesized voice signal is larger than the predetermined level, a pulse signal having the first logic level is output, and the level of the synthesized voice signal is predetermined. Pulsing means for outputting a pulse signal of the second logic level when the level is smaller than the level;
An air check apparatus comprising: pulse matching means for specifying a period in which a logic level continuously matches a predetermined period or more among pulse signals output by the pulsing means as the music period.
前記楽曲探索手段は、
前記放送記憶手段により記憶された音声信号のレベルを所定期間ごとにサンプリングするサンプリング手段と、
前記サンプリング手段によりサンプリングされたレベルをそれよりも前にサンプリングされたレベルで除算してレベル変化率を算出する変化率算出手段と、
前記変化率算出手段により算出されたレベル変化率の中からレベル変化率が所定期間以上連続して一致する期間を前記楽曲期間と特定するレベルマッチング手段とを含むことを特徴とするエアチェック装置。 The air check device according to claim 1,
The music searching means is
Sampling means for sampling the level of the audio signal stored by the broadcast storage means every predetermined period;
A rate of change calculation means for calculating a level change rate by dividing the level sampled by the sampling means by a level sampled before that;
An air check apparatus comprising: a level matching unit that identifies a period in which a level change rate continuously matches a predetermined period or more from among the level change rates calculated by the change rate calculating unit.
前記楽曲探索手段はさらに、
前記放送記憶手段により記憶された音声信号の中から、第1の中音域成分と、前記第1の中音域成分よりも高い第2の中音域成分と、前記第2の中音域成分よりも高い第3の中音域成分とを抽出して前記サンプリング手段に提供する抽出手段を含むことを特徴とするエアチェック装置。 The air check device according to claim 3,
The music search means further includes
Among the audio signals stored by the broadcast storage means, a first mid-range component, a second mid-range component higher than the first mid-range component, and higher than the second mid-range component An air check device comprising: extraction means for extracting a third mid-range component and providing it to the sampling means.
前記楽曲選択手段により選択された楽曲期間以外の音声信号を記憶する非楽曲記憶手段を備えたことを特徴とするエアチェック装置。 The air check device according to claim 1, further comprising:
An air check apparatus comprising non-music storage means for storing an audio signal other than the music period selected by the music selection means.
前記音声信号は左チャネル音声信号及び右チャネル音声信号を含み、
前記楽曲探索手段は、
左チャネル音声信号及び右チャネル音声信号の一方を反転する反転手段と、
前記反転手段により反転された信号と左チャネル音声信号及び右チャネル音声信号の他方とを合成して合成音声信号を生成する合成手段と、
前記合成手段により生成された合成音声信号のレベルを所定レベルと比較し、合成音声信号のレベルが所定レベルよりも大きいとき第1の論理レベルのパルス信号を出力し、合成音声信号のレベルが所定レベルよりも小さいとき第2の論理レベルのパルス信号を出力するパルス化手段と、
前記パルス化手段により出力されたパルス信号のうち論理レベルが所定期間以上連続して一致する期間をパルス一致期間と特定するパルスマッチング手段と、
前記パルスマッチング手段により特定されたパルス一致期間の最初が揃うように前記音声信号を同期化する同期化手段と、
前記放送記憶手段により記憶された音声信号のレベルを所定期間ごとにサンプリングするサンプリング手段と、
前記サンプリング手段によりサンプリングされたレベルをそれよりも前にサンプリングされたレベルで除算してレベル変化率を算出する変化率算出手段と、
前記同期化手段により同期化された音声信号のレベル変化率を互いに同じタイミングで対比することにより、前記変化率算出手段により算出されたレベル変化率の中からレベル変化率が所定期間以上連続して一致する期間を前記楽曲期間と特定するレベルマッチング手段とを含むことを特徴とするエアチェック装置。
The air check device according to claim 1,
The audio signal includes a left channel audio signal and a right channel audio signal,
The music searching means is
Inverting means for inverting one of the left channel audio signal and the right channel audio signal;
Synthesizing means for synthesizing the signal inverted by the inverting means and the other of the left channel audio signal and the right channel audio signal to generate a synthesized audio signal;
The level of the synthesized voice signal generated by the synthesizing means is compared with a predetermined level, and when the level of the synthesized voice signal is larger than the predetermined level, a pulse signal having the first logic level is output, and the level of the synthesized voice signal is predetermined. Pulsing means for outputting a pulse signal of the second logic level when the level is smaller than the level;
Pulse matching means for specifying a period in which the logic level of pulse signals output by the pulsing means coincides continuously for a predetermined period or more as a pulse matching period;
Synchronizing means for synchronizing the audio signal so that the beginning of the pulse matching period specified by the pulse matching means is aligned;
Sampling means for sampling the level of the audio signal stored by the broadcast storage means every predetermined period;
A rate of change calculation means for calculating a level change rate by dividing the level sampled by the sampling means by a level sampled before that;
By comparing the level change rates of the audio signals synchronized by the synchronization means at the same timing, the level change rates continuously calculated from the level change rates calculated by the change rate calculation means for a predetermined period or more. An air check device comprising: level matching means for specifying a matching period as the music period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006291619A JP4853639B2 (en) | 2006-10-26 | 2006-10-26 | Music storage device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006291619A JP4853639B2 (en) | 2006-10-26 | 2006-10-26 | Music storage device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008109491A true JP2008109491A (en) | 2008-05-08 |
JP2008109491A5 JP2008109491A5 (en) | 2010-04-22 |
JP4853639B2 JP4853639B2 (en) | 2012-01-11 |
Family
ID=39442466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006291619A Expired - Fee Related JP4853639B2 (en) | 2006-10-26 | 2006-10-26 | Music storage device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4853639B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267725A (en) * | 2008-04-24 | 2009-11-12 | Onkyo Corp | Air check system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024611A (en) * | 1999-07-09 | 2001-01-26 | Sony Corp | Information processor, information processing method and medium |
JP2004090724A (en) * | 2002-08-30 | 2004-03-25 | Pioneer Electronic Corp | Play back control system for moving body, its method, and its program and recording medium recording it |
JP2005274991A (en) * | 2004-03-25 | 2005-10-06 | Sony Corp | Musical data storing device and deleting method of overlapped musical data |
-
2006
- 2006-10-26 JP JP2006291619A patent/JP4853639B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001024611A (en) * | 1999-07-09 | 2001-01-26 | Sony Corp | Information processor, information processing method and medium |
JP2004090724A (en) * | 2002-08-30 | 2004-03-25 | Pioneer Electronic Corp | Play back control system for moving body, its method, and its program and recording medium recording it |
JP2005274991A (en) * | 2004-03-25 | 2005-10-06 | Sony Corp | Musical data storing device and deleting method of overlapped musical data |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009267725A (en) * | 2008-04-24 | 2009-11-12 | Onkyo Corp | Air check system |
JP4577400B2 (en) * | 2008-04-24 | 2010-11-10 | オンキヨー株式会社 | Air check system |
Also Published As
Publication number | Publication date |
---|---|
JP4853639B2 (en) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8139165B2 (en) | Television receiver | |
CN103886881B (en) | A kind of method and its system of extension point library | |
KR20170113087A (en) | Systems and method for audio playback | |
KR101554399B1 (en) | Automatic musical performance device, storage device, performance information output device and performance system | |
JP2006195385A (en) | Device and program for music reproduction | |
CN104333802A (en) | Video playing method and video player | |
US20100142925A1 (en) | Data processing device, data processing method, and program | |
CN101119461B (en) | System and method for maintaining video frame and audio frame synchronous broadcasting | |
JP2004212473A (en) | Karaoke machine and karaoke reproducing method | |
JP4853639B2 (en) | Music storage device | |
JP2009094796A (en) | Television receiver | |
JP4423551B2 (en) | Broadcast recording / playback apparatus and broadcast recording / playback processing program | |
JP2016092772A (en) | Signal processor and signal processing method and program thereof | |
US6815601B2 (en) | Method and system for delivering music | |
JP4093739B2 (en) | Audio equipment | |
JP4916988B2 (en) | Video / audio playback apparatus and video / audio playback method | |
JP2006330541A (en) | Audio-receiving and reproducing device | |
JP6343171B2 (en) | Receiver | |
JP2011205439A (en) | Reproducing apparatus and method | |
JP7051923B2 (en) | Video generator, video generation method, video generator, playback device, video distribution device, and video system | |
KR100761568B1 (en) | A Karaoke System Having Function For Interfacing With Outer Sound Player | |
JP7197688B2 (en) | Playback control device, program and playback control method | |
JP2006279555A (en) | Signal regeneration apparatus and method | |
JP5568999B2 (en) | Playback device, musical sound signal output device, playback system, and program | |
JP6196437B2 (en) | Receiver and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100308 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20101227 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110426 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110624 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110712 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110901 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110912 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111011 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141104 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |