JP2002236496A - 信号検出方法、信号検出装置、記録媒体及びプログラム - Google Patents
信号検出方法、信号検出装置、記録媒体及びプログラムInfo
- Publication number
- JP2002236496A JP2002236496A JP2001031388A JP2001031388A JP2002236496A JP 2002236496 A JP2002236496 A JP 2002236496A JP 2001031388 A JP2001031388 A JP 2001031388A JP 2001031388 A JP2001031388 A JP 2001031388A JP 2002236496 A JP2002236496 A JP 2002236496A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- similarity
- feature amount
- feature
- accumulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
り高速な信号検出を可能とする。 【解決手段】 目的特徴量計算手段1と、蓄積特徴量計
算手段2と、蓄積特徴量計算手段により得られた各特徴
量系列を、予め定義された距離に基づいて分類し、その
分類の代表特徴量系列を決定する蓄積特徴量分類手段3
と、前記距離に対する選択閾値を計算する選択閾値設定
手段4と、前記分類について、目的特徴量計算手段で導
かれた特徴量系列との類似度が、前記選択閾値から導か
れる条件を満たすような代表特徴量系列を持つ分類に含
まれる特徴量系列を選択する蓄積特徴量選択手段5と、
蓄積特徴量選択手段で選択された特徴量系列と、目的特
徴量計算手段で導かれた特徴量系列との類似度を計算す
る類似度計算手段6と、目的信号が、蓄積信号の当該箇
所に存在するかどうかを決定する類似度判定手段8とを
有する。
Description
ら、予め登録した信号と類似した信号の場所を探し出す
のに用いて好適な、信号検出方法、信号検出装置、記録
媒体及びプログラムに関する。
ャルが放映された時刻を検出し、自動記録したり、ある
いは、特定のテーマソングを検出してビデオ録画を開始
したり、停止したりするのに音響信号検出技術が用いら
れる。上記した音響信号検出技術により、ある信号系列
の中から、予め登録した信号と類似した信号の位置を割
り出すことが可能となる。また、放送から拍手音の発せ
られた時刻や、笑い声が発せられた時刻等を自動的に監
視したり、あるいは特定シーンの検索を行なうこともで
きる。上述した音響信号検出技術の代表的なものに、平
成12年5月12日に登録された特許第3065314
号「高速信号探索方法、装置およびその記録媒体」があ
る。
従来技術によれば、信号検出処理を行いながら蓄積信号
特徴ヒストグラムを作成するために、蓄積信号が極めて
長時間に及ぶ場合は、信号検出処理に多大な処理時間を
要し、目的とする類似した箇所を高速に探索することが
できなかった。本発明はこのような事情に鑑みてなされ
たものであり、新たに蓄積特徴量分類過程、選択閾値設
定過程及び蓄積特徴量選択過程を設けることにより、上
記特許明細書に記載の実施例に比べて、同一の精度を保
証したまま、探索の範囲を効率的に小さくすることで、
より高速な信号検出を可能とした信号検出方法、信号検
出装置、記録媒体及びプログラムを提供することを目的
とする。
に、請求項1に記載の発明は、蓄積信号から、あらかじ
め登録した目的信号に類似した部分を探し出す信号検出
方法であって、目的信号から特徴量系列を導く目的特徴
量計算過程と、蓄積信号に注目窓を設定し、注目窓内の
信号から特徴量系列を導く蓄積特徴量計算過程と、前記
蓄積特徴量計算過程による処理を、注目窓をずらしなが
ら繰り返し行うことで導かれた各特徴量系列を、予め定
義された距離に基づいて分類し、その分類の代表特徴量
系列を決定する蓄積特徴量分類過程と、前記蓄積特徴量
分類過程で定義された距離に対する選択閾値を、特徴量
同士の類似度に関して予め設定した閾値である探索閾値
から計算する選択閾値設定過程と、前記蓄積特徴量分類
過程で導かれた分類について、前記目的特徴量計算過程
で導かれた特徴量系列との類似度が、選択閾値から導か
れる条件を満たすような代表特徴量系列を持つ分類に含
まれる特徴量系列を選択する蓄積特徴量選択過程と、前
記蓄積特徴量選択過程で選択された特徴量系列と、前記
目的特徴量計算過程で導かれた特徴量系列との類似度を
計算する類似度計算過程と、前記類似度計算過程による
計算結果に基づいて得られた、蓄積信号のいくつかの箇
所についての目的信号との前記類似度と、探索閾値とを
比較することにより、目的信号が、蓄積信号の当該箇所
に存在するかどうかを決定する類似度判定過程とを有す
ることを特徴とする。
の信号検出方法において、さらに、前記類似度計算過程
で計算された類似度に基づいて、注目窓のスキップ幅を
計算し、そのスキップ幅だけ注目窓を移動するスキップ
幅計算過程を有し、前記類似度計算過程からスキップ幅
計算過程に至る処理を繰り返して、蓄積信号のいくつか
の箇所について、目的信号との類似度を計算し、前記類
似度と、探索閾値とを比較することにより、目的信号
が、蓄積信号の当該箇所に存在するか否かを決定するこ
とを特徴とする。
2のいずれかに記載の信号検出方法において、前記目的
特徴量計算過程および前記蓄積特徴量計算過程では、特
徴量系列に対してヒストグラムを作成し、前記蓄積特徴
量分類過程において該ヒストグラムに基づいて距離を計
算し、前記蓄積特徴量選択過程および前記類似度計算過
程において該ヒストグラムに基づいて類似度を計算する
ことを特徴とする。
の信号検出方法において、前記蓄積特徴量選択過程およ
び前記類似度計算過程は、ヒストグラム重なり率によっ
て類似度を計算することを特徴とする。
4のいずれかに記載の信号検出方法において、前記蓄積
特徴量分類過程は、L2距離(ユークリッド距離)に基
づいて各特徴量系列を分類することを特徴とする。
あらかじめ登録した目的信号に類似した部分を探し出す
信号検出装置であって、目的信号から特徴量系列を導く
目的特徴量計算手段と、蓄積信号に注目窓を設定し、注
目窓内の信号から特徴量系列を導く蓄積特徴量計算手段
と、前記蓄積特徴量計算手段による処理を、前記注目窓
をずらしながら繰り返し行うことで導かれた各特徴量系
列を、予め定義された距離に基づいて分類し、その分類
の代表特徴量系列を決定する蓄積特徴量分類手段と、前
記蓄積特徴量分類手段で定義された距離に対する選択閾
値を、特徴量同士の類似度に関して予め設定した閾値で
ある探索閾値から計算する選択閾値設定手段と、前記蓄
積特徴量分類手段で導かれた分類について、前記目的特
徴量計算手段で導かれた特徴量系列との類似度が、前記
選択閾値から導かれる条件を満たすような代表特徴量系
列を持つ分類に含まれる特徴量系列を選択する蓄積特徴
量選択手段と、前記蓄積特徴量選択手段で選択された特
徴量系列と、前記目的特徴量計算手段で導かれた特徴量
系列との類似度を計算する類似度計算手段と、前記類似
度計算手段手段による計算結果に基づいて得られた、蓄
積信号のいくつかの箇所についての目的信号との前記類
似度と、探索閾値とを比較することにより、目的信号
が、蓄積信号の当該箇所に存在するかどうかを決定する
類似度判定手段とを有することを特徴とする。
の信号検出装置において、さらに、前記類似度計算手段
で計算された類似度に基づいて、注目窓のスキップ幅を
計算し、そのスキップ幅だけ注目窓を移動するスキップ
幅計算手段を有し、前記類似度計算手段からスキップ幅
計算手段に至る処理を繰り返して、蓄積信号のいくつか
の箇所について、目的信号との類似度を計算し、前記類
似度と、探索閾値とを比較することにより、目的信号
が、蓄積信号の当該箇所に存在するか否かを決定するこ
とを特徴とする。
あらかじめ登録した目的信号に類似した部分を探し出す
信号検出装置に用いられる信号検出プログラムが記録さ
れたコンピュータ読み取り可能な記録媒体において、前
記信号検出プログラムは、目的信号から特徴量系列を導
く第1のステップと、蓄積信号に注目窓を設定し、注目
窓内の信号から特徴量系列を導く第2のステップと、前
記第2のステップにおける処理を、注目窓をずらしなが
ら繰り返し行うことで導かれた各特徴量系列を、予め定
義された距離に基づいて分類し、その分類の代表特徴量
系列を決定する第3のステップと、前記第3のステップ
で定義された距離に対する選択閾値を、特徴量同士の類
似度に関して予め設定した閾値である探索閾値から計算
する第4のステップと、前記第3のステップで導かれた
分類について、前記第1のステップで導かれた特徴量系
列との類似度が、選択閾値から導かれる条件を満たすよ
うな代表特徴量系列を持つ分類に含まれる特徴量系列を
選択する第5のステップと、 前記第5のステップで選
択された特徴量系列と、前記第1のステップで導かれた
特徴量系列との類似度を計算する第6のステップと、前
記第6のステップによる計算結果に基づいて得られた、
蓄積信号のいくつかの箇所についての目的信号との前記
類似度と、探索閾値とを比較することにより、目的信号
が、蓄積信号の当該箇所に存在するかどうかを決定する
第7のステップとをコンピュータに実行させる信号検出
プログラムを記録したことを特徴とする。
の記録媒体において、前記信号検出プログラムは、さら
に、前記第6のステップで計算された類似度に基づい
て、注目窓のスキップ幅を計算し、そのスキップ幅だけ
注目窓を移動する第8のステップを有し、前記第6のス
テップから第8のステップに至る処理を繰り返して、蓄
積信号のいくつかの箇所について、目的信号との類似度
を計算し、前記類似度と、探索閾値とを比較することに
より、目的信号が、蓄積信号の当該箇所に存在するか否
かを決定するようにコンピュータに実行させる信号検出
プログラムを記録したことを特徴とする。
ら、あらかじめ登録した目的信号に類似した部分を探し
出す信号検出装置に用いられる信号検出プログラムであ
って、該信号検出プログラムは、目的信号から特徴量系
列を導く第1のステップと、蓄積信号に注目窓を設定
し、注目窓内の信号から特徴量系列を導く第2のステッ
プと、前記第2のステップにおける処理を、注目窓をず
らしながら繰り返し行うことで導かれた各特徴量系列
を、予め定義された距離に基づいて分類し、その分類の
代表特徴量系列を決定する第3のステップと、前記第3
のステップで定義された距離に対する選択閾値を、特徴
量同士の類似度に関して予め設定した閾値である探索閾
値から計算する第4のステップと、前記第3のステップ
で導かれた分類について、前記第1のステップで導かれ
た特徴量系列との類似度が、選択閾値から導かれる条件
を満たすような代表特徴量系列を持つ分類に含まれる特
徴量系列を選択する第5のステップと、前記第5のステ
ップで選択された特徴量系列と、前記第1のステップで
導かれた特徴量系列との類似度を計算する第6のステッ
プと、前記第6のステップによる計算結果に基づいて得
られた、蓄積信号のいくつかの箇所についての目的信号
との前記類似度と、探索閾値とを比較することにより、
目的信号が、蓄積信号の当該箇所に存在するかどうかを
決定する第7のステップとをコンピュータに実行させる
ことを特徴とする。
記載の信号検出プログラムにおいて、該信号検出プログ
ラムは、さらに、前記第6のステップで計算された類似
度に基づいて、注目窓のスキップ幅を計算し、そのスキ
ップ幅だけ注目窓を移動する第8のステップを有し、前
記第6のステップから第8のステップに至る処理を繰り
返して、蓄積信号のいくつかの箇所について、目的信号
との類似度を計算し、前記類似度と、探索閾値とを比較
することにより、目的信号が、蓄積信号の当該箇所に存
在するか否かを決定するようにコンピュータに実行させ
ることを特徴とする。
面を参照して詳細に説明する。本発明では、様々な処理
対象信号を用いることができるが、ここでは、該処理対
象信号の一例として、音響信号を用いる。図1は、本発
明の実施の形態に係る信号検出装置の構成を示すブロッ
ク図である。
信号から、あらかじめ登録した目的信号に類似した部分
を探し出す信号検出方法であって、目的信号から特徴量
系列を導く目的特徴量計算過程と、蓄積信号に注目窓を
設定し、注目窓内の信号から特徴量系列を導く蓄積特徴
量計算過程と、前記蓄積特徴量計算過程による処理を、
注目窓をずらしながら繰り返し行うことで導かれた各特
徴量系列を、予め定義された距離に基づいて分類し、そ
の分類の代表特徴量系列を決定する蓄積特徴量分類過程
と、前記蓄積特徴量分類過程で定義された距離に対する
選択閾値を、特徴量同士の類似度に関して予め設定した
閾値である探索閾値から計算する選択閾値設定過程と、
前記蓄積特徴量分類過程で導かれた分類について、前記
目的特徴量計算過程で導かれた特徴量系列との類似度
が、選択閾値から導かれる条件を満たすような代表特徴
量系列を持つ分類に含まれる特徴量系列を選択する蓄積
特徴量選択過程と、前記蓄積特徴量選択過程で選択され
た特徴量系列と、前記目的特徴量計算過程で導かれた特
徴量系列との類似度を計算する類似度計算過程と、前記
類似度計算過程による計算結果に基づいて得られた、蓄
積信号のいくつかの箇所についての目的信号との前記類
似度と、探索閾値とを比較することにより、目的信号
が、蓄積信号の当該箇所に存在するかどうかを決定する
類似度判定過程とを有することを特徴とする信号検出方
法を実施するための装置である。
出装置は、目的特徴量計算手段1と、蓄積特徴量計算手
段2と、蓄積特徴量分類手段3と、選択閾値設定手段4
と、蓄積特徴量選択手段5と、類似度計算手段6と、ス
キップ幅計算手段7と、類似度判定手段8とで構成さ
れ、目的信号すなわち見本となる検索したい音響信号
と、蓄積信号すなわち検索される音響信号を入力とし、
目的信号との類似度があらかじめ設定した値(これを探
索閾値という)θ以上となる蓄積信号中の箇所を出力す
る。
は、目的信号から特徴量系列を導く機能を有している。
また、蓄積特徴量計算手段2は、蓄積信号に注目窓(注
目個所)を設定し、設定された注目窓内の蓄積信号から
特徴量系列を導く機能を有している。蓄積特徴量分類手
段3は、蓄積特徴量計算手段2により、蓄積信号に設定
した注目窓をずらしながら特徴量抽出を繰り返し行うこ
とで得られた各特徴量系列を、予め定義された距離に基
づいて分類し、その分類の代表特徴量系列を決定する機
能を有している。
段3で定義された距離に対する選択閾値を、特徴量同士
の類似度に関して予め設定した閾値である探索閾値から
計算する機能を有する。蓄積特徴量選択手段5は、蓄積
特徴量分類手段3から出力された分類について、目的特
徴量計算手段1から出力された特徴量系列との類似度
が、選択閾値から導かれる条件を満たすような代表特徴
量系列を持つ分類に含まれる特徴量系列を選択する機能
を有する。類似度計算手段6は、蓄積特徴量選択手段5
から出力された特徴量系列と、目的特徴量計算手段1か
ら出力された特徴量系列との類似度を計算する機能を有
する。
算手段で計算された類似度に基づいて、注目窓のスキッ
プ幅を計算し、そのスキップ幅だけ注目窓を移動する機
能を有する。さらに、類似度判定手段8は、類似度計算
手段6による計算結果に基づいて得られた、蓄積信号の
いくつかの箇所についての目的信号との類似度と、探索
閾値とを比較することにより、目的信号が、蓄積信号の
当該箇所に存在するかどうかを決定する機能を有する。
作を図2に示すフローチャートを参照して具体的に説明
する。なお、以下では、説明を簡潔にするために、注目
窓の長さを目的信号と同一とした場合について説明する
が、「高速信号探索方法、装置及びその記録媒体」(特
許第3065314号)のように注目窓を時間的に分割
する場合にも同様に適用できる。図2において、目的特
徴量計算手段1では、はじめに、与えられた目的信号を
読み込む(ステップ11)。
出を行う(ステップ12)。本実施の形態では、特徴と
してスペクトル特徴を用いるので、特徴抽出は、例え
ば、帯域通過フィルタによって行うことができる。例え
ば、テレビやラジオ等の放送信号から15秒程度の音響
信号を探索したい場合、特徴抽出の具体的な設定を次の
ようにすると、良い結果が得られる。すなわち、7個の
帯域通過フィルタを用い、それらの中心周波数を対数軸
上で等間隔に設定し、60ミリ秒程度の時間長の分析窓
を10ミリ秒ずつ移動させながら、分析窓内の各帯域通
過フィルタの出力の自乗の平均値を計算し、得られた7
個の値を一組にして7次元特徴ベクトルとする。この場
合特徴ベクトルは10ミリ秒ごとに1つ得られる。
ベクトルのヒストグラムHoを作成する(ステップ1
3)。ヒストグラムHoは、特徴ベクトルを、ベクトル
量子化を用いて符号化することによって作成する。例え
ば、ベクトル量子化の符号語数が512であれば、ヒス
トグラム全体のビン(区間)の数は512となり、各特
徴ベクトルは、この512個のビンのうちどれか1つに
分類されることになる。次いで、蓄積特徴量計算手段2
では、はじめに、蓄積音響信号を読み込む(ステップ1
4)。
だ蓄積音響信号に対してスキップ注目窓を設定する。ま
ず、目的特徴量計算手段1に与えられた目的信号と同じ
長さの注目窓を設定する。処理の開始時は、注目窓を蓄
積信号の先頭に設定するが、処理の過程で、注目窓を順
次1特徴ベクトルずつずらしながら処理を進めていく。
続いて、蓄積特徴量計算手段2は、注目窓内の音響信号
に対して特徴抽出を行う(ステップ15)。特徴抽出
は、目的特徴量計算手段1において行ったのと同じ操作
を行う。さらに、注目窓内の特徴ベクトルの時系列か
ら、特徴ベクトルのヒストグラムを作成する(ステップ
16)。ヒストグラムの作成の仕方は、目的特徴量計算
手段1で行ったのと同じ方法によって行う。
積特徴量計算手段2において、注目窓をずらしながら繰
り返し行って出力される特徴ベクトルのヒストグラムの
系列を読み込む。蓄積特徴量計算手段2から出力される
ヒストグラムをHsとする。ただし、Sはヒストグラム
が蓄積信号の特徴ベクトルから作られたものであること
を表す。次に、蓄積特徴量分類手段3は、ヒストグラム
系列Hsの各ヒストグラムを、例えば、以下で定める距
離に従って分類する(ステップ17)。すなわち、2つ
のヒストグラムHiとHjとの距離dij (2) 、ユーク
リッド距離を用いて、以下のように定義する。
512)であり、hil,hjlは、それぞれHi,Hjの
l番目のビンに含まれる特徴ベクトルの数(度数)を表
す。また、距離dij (2)の右上につく2は、距離の尺度
が2次距離(ユークリッド距離)であることを示す。
を、そのビンの数と等しい次元数を持ったベクトルと考
えて、そのベクトルをベクトル量子化を用いて符号化す
ることによって行う。例えば、ベクトル量子化の符号語
数が512個であれば、ヒストグラムを512個の集合
(本出願ではこれをクラスタと呼ぶ)のいずれか1つに
分類されることになる。そして、各クラスタに所属する
ヒストグラムの重心となるヒストグラム(重心ヒストグ
ラムと呼ぶ)によって、クラスタを代表させることにす
る。このとき、クラスタは、それに所属するヒストグラ
ムと重心ヒストグラムとの距離の総和が最小になるよう
に、かつそのクラスタに所属するヒストグラムについ
て、所属するクラスタの重心ヒストグラムとの距離が、
他のどのクラスタの重心ヒストグラムとの距離よりも小
さくなるように構成される。
ら選択閾値θ2バー(bar)を決定する(ステップ18)。
ここで、探索閾/値は、目的信号が蓄積信号中のある時
点に存在すると判断する、例えば、目的信号側のヒスト
グラムと蓄積信号側のヒストグラムとの類似度の下限を
指す。目的信号のヒストグラムHoと、蓄積信号のヒス
トグラムHsとの類似度Sosは、次のように定義され
る。
ら導かれた特徴ベクトルの総数)を表し、oはヒストグ
ラムが目的信号の特徴ベクトルから作られたものである
ことを示す。
応する蓄積信号側のヒストグラムを含む可能性のあるク
ラスタを選択する際の、目的信号側のヒストグラムとク
ラスタとの距離の上限を指す。探索閾値θ1から選択閾
値θ2バー(bar)を決定する原理を以下で説明する。式
(2)で定義された類似度Sosは、以下のように、1次
距離を用いて表すことができる。
お、dos(1)は、
1距離に基づくので、改めてSos(1)として書き表すこと
とする。L1距離とL2距離との間に成り立つ関係から、
ある。また、Sos(2)は
ら1までの値を取る。選択閾値θ2バー(bar)によっ
て選択されたヒストグラム、すなわち,
によって検出されるヒストグラム、すなわち、
あるので、式(6)より、
索閾値θ1によって、次のように与えられる。
手段1から出力される特徴べクトルのヒストグラムH
o、蓄積特徴量分類手段3から出力されるヒストグラム
Hsの分類(クラスタ)、および選択閾値設定手段4か
ら出力される選択閾値を読み込む(ステップ19)。次
に、読み込んだ目的信号側のヒストグラムHoと、蓄積
信号側の各クラスタの重心ヒストグラムとの距離を計算
する(ステップ20)。距離の計算は、蓄積特徴量分類
手段3で行ったのと同じ操作を行う。
るべき信号に対応するヒストグラムを含む可能性のある
クラスタを選択する(ステップ21)。この原理を以下
に説明する。図2は、R,C1,C2の3点が乗るよう
な平面でヒストグラム空間(上記の例では512次元)
を切り出した様子を示している。ここで、Rは目的特徴
量計算手段1から出力された特徴べクトルのヒストグラ
ム、C1はヒストグラムRが所属しているクラスタの重
心ヒストグラム、C2はある他のクラスタの重心ヒスト
グラムを表し、dR1、dR2、d12はそれぞれ、式(1)
で定義されたRとC1との距離、RとC2との距離、C1
とC2との距離を示す。
内であるヒストグラムに対応する蓄積信号の箇所を検出
しなければならないとすると、Rを中心とする半径dの
超球(図3においては円)の内部にあるヒストグラムが
検出すべき蓄積信号の箇所に対応する。Rを中心とする
超球の半径が図3におけるdθより大きくなったとき、
C2に代表されるクラスタに属するヒストグラムの中
に、検出すべき蓄積信号の箇所と対応するヒストグラム
が含まれている可能性がある。そこで、選択閾値θ2バ
ー(bar)がdθより入きくなったとき、C2に代表され
るクラスタを選択する。
り、次の式が成り立つ。
ストグラムを全て選択する。
ラスタを除く全てのクラスタに対して行い、最終的に選
択されたヒストグラムを時刻順に並べ、時間的に連続し
ているヒストグラムに関しては、連結して時系列を構成
する。得られた各ヒストグラムの系列は、蓄積特徴量計
算手段2から出力されるヒストグラム時系列の部分系列
となっている。このヒストグラム系列の集合を出力する
(ステップ22)。類似度計算手段6では、はじめに、
目的特徴量計算手段1から出力される特徴べクトルのヒ
ストグラムと、蓄積特徴量選択手段5から出力されるヒ
ストグラム時系列の集合を読み込み、目的信号と蓄積信
号のヒストグラムとの類似度を計算する(ステップ2
4)。
を、ヒストグラム時系列集合の第1要素の先頭から取り
出していくが、後に述べるように、処理の過程で、ヒス
トグラムを取り出す位置を順次時間方向にずらしながら
処理を進めていく。時間方向にずらす量は、注目窓をス
キップさせるスキップ幅を計算するスキップ幅計算手段
7により与えられる(ステップ25)。類似度計算手段
6は、類似度の値を、スキップ幅計算手段7及び類似度
判定手段8に対して出力する。類似度判定手段は、も
し、類似度の値が探索閾値θ1を越えている場合(注目
窓を時間方向に分割した場合にあっては、全ての時間分
割において類似度の値がθ1を越えていることが判明し
た場合)は、その目的信号が蓄積信号中に存在したこと
を意味するので、信号検出結果として、蓄積信号に対す
る時系列中の現在位置を出力する(ステップ26、2
7、28)。
作実験例について示す。本発明の効果を確認するため、
24時間の音響信号を蓄積信号とし、無作為に選択した
12個の参照信号(15秒間)に対して探索を行い、類
似度が探索閾値以下であった照合回数について、本発明
を適用しなかった場合が、本発明を適用した場合に比べ
てどのくらいの割合であるか(本出願ではこれを照合回
数削減比と呼ぶ)、及び目的特徴量計算手段1から蓄積
特徴量選択手段5を除いた処理に要する時間、すなわち
探索のみに要する時間について、本発明を適用しなかっ
た場合が、本発明を適用した場合に比べてどのくらいの
割合であるか(探索時間短縮比という)について調べ
た。
=11.025kHz、帯域フィルタの数=7、周波数
分析の分析窓長=60ms、分析窓シフト=10ms、
ヒストグラムのビン数=512、時間窓分割なし、クラ
スタ数=512とした。また、探索閾値θ1は、0.5
から1の間で0.05刻みに変化させ、選択閾値θ2
は、式(13)に基づいて、探索閾値θ1から決定し
た。本実験の結果を43及び図5に示す。図4は、探索
閾値を変化させたときの上記探索時間の平均と探索時間
短縮比を示している。例えば、探索閾値θ1=0.85
において、探索時間の平均は、従来法で0.39秒、提
案法(本発明)で0.03秒、探索時間短縮比は13.
0であった。
照合回数の平均と照合回数削減比を示している。例え
ば、探索閾値θ1=0.85において、照合回数の平均
は、従来法で11427回、提案法(本発明)で112
6回、照合回数削減比は10.2であった。本実施の形
態によれば、予め目的信号に類似した蓄積信号の箇所を
選択する蓄積特徴量選択手段、選択閾値設定手段、蓄積
特徴量分類手段を設けて、無駄な照合計算を省きながら
目的とする信号の検索を行うことによって、公知の方法
に比較して、より少ない照合計算回数で、より高速な信
号探索を行うことができる。
のステップと、蓄積信号に注目窓を設定し、注目窓内の
信号から特徴量系列を導く第2のステップと、前記第2
のステップにおける処理を、注目窓をずらしながら繰り
返し行うことで導かれた各特徴量系列を、予め定義され
た距離に基づいて分類し、その分類の代表特徴量系列を
決定する第3のステップと、前記第3のステップで定義
された距離に対する選択閾値を、特徴量同士の類似度に
関して予め設定した閾値である探索閾値から計算する第
4のステップと、前記第3のステップで導かれた分類に
ついて、前記第1のステップで導かれた特徴量系列との
類似度が、選択閾値から導かれる条件を満たすような代
表特徴量系列を持つ分類に含まれる特徴量系列を選択す
る第5のステップと、前記第5のステップで選択された
特徴量系列と、前記第1のステップで導かれた特徴量系
列との類似度を計算する第6のステップと、前記第6の
ステップによる計算結果に基づいて得られた、蓄積信号
のいくつかの箇所についての目的信号との前記類似度
と、探索閾値とを比較することにより、目的信号が、蓄
積信号の当該箇所に存在するかどうかを決定する第7の
ステップとをコンピュータに実行させることを特徴とす
る信号検出プログラムをコンピュータ読み取り可能な記
録媒体に記録し、この記録媒体に記録された信号検出プ
ログラムをコンピュータシステムに読み込ませ実行する
ことにより、蓄積信号から、あらかじめ登録した目的信
号に類似した部分を探し出す信号検出装置の機能を実現
するようにしてもよい。
に、前記第6のステップで計算された類似度に基づい
て、注目窓のスキップ幅を計算し、そのスキップ幅だけ
注目窓を移動する第8のステップを有し、前記第6のス
テップから第8のステップに至る処理を繰り返して、蓄
積信号のいくつかの箇所について、目的信号との類似度
を計算し、前記類似度と、探索閾値とを比較することに
より、目的信号が、蓄積信号の当該箇所に存在するか否
かを決定するようにコンピュータに実行させるものであ
ってもよい。
ム」とは、OSや周辺機器等のハードウェアを含むもの
とする。また、「コンピュータ読み取り可能な記録媒
体」とは、フロッピー(登録商標)ディスク、光磁気デ
ィスク、ROM、CD−ROM等の可般媒体、コンピュ
ータシステムに内蔵されるハードディスク等の記憶装置
のことをいう。さらに、「コンピュータ読み取り可能な
記録媒体」とは、インターネット等のネットワークや電
話回線等の通信回線を介してプログラムを送信する場合
の通信線のように、短時間の間、動的にプログラムを保
持するもの(伝送媒体ないしは伝送波)、その場合のサー
バやクライアントとなるコンピュータシステム内部の揮
発性メモリのように、一定時間プログラムを保持してい
るものも含むものとする。
一部を実現するためのものであっても良く、さらに前述
した機能をコンピュータシステムにすでに記録されてい
るプログラムとの組み合わせで実現できるもの、いわゆ
る差分ファイル(差分プログラム)であっても良い。
ば、蓄積信号から、あらかじめ登録した目的信号に類似
した部分を探し出す信号検出装置であって、目的信号か
ら特徴量系列を導く目的特徴量計算手段と、蓄積信号に
注目窓を設定し、注目窓内の信号から特徴量系列を導く
蓄積特徴量計算手段と、前記蓄積特徴量計算手段による
処理を、前記注目窓をずらしながら繰り返し行うことで
導かれた各特徴量系列を、予め定義された距離に基づい
て分類し、その分類の代表特徴量系列を決定する蓄積特
徴量分類手段と、前記蓄積特徴量分類手段で定義された
距離に対する選択閾値を、特徴量同士の類似度に関して
予め設定した閾値である探索閾値から計算する選択閾値
設定手段と、前記蓄積特徴量分類手段で導かれた分類に
ついて、前記目的特徴量計算手段で導かれた特徴量系列
との類似度が、前記選択閾値から導かれる条件を満たす
ような代表特徴量系列を持つ分類に含まれる特徴量系列
を選択する蓄積特徴量選択手段と、前記蓄積特徴量選択
手段で選択された特徴量系列と、前記目的特徴量計算手
段で導かれた特徴量系列との類似度を計算する類似度計
算手段と、前記類似度計算手段手段による計算結果に基
づいて得られた、蓄積信号のいくつかの箇所についての
目的信号との前記類似度と、探索閾値とを比較すること
により、目的信号が、蓄積信号の当該箇所に存在するか
どうかを決定する類似度判定手段とを有するので、従来
に比して同一の精度を保証したまま、探索の範囲を効率
的に小さくすることで、より高速な信号検出を行うこと
が可能となる。
成を示すブロック図。
検出装置の動作を示すフローチャート。
号検出装置における、蓄積信号のヒストグラムを選択す
る原理を示す説明図。
号検出装置による実験結果のうち、本発明を適用した場
合の探索時間を測定した結果を示す図。
号検出装置による実験結果のうち、本発明を適用した場
合の照合回数を測定した結果を示す図。
Claims (11)
- 【請求項1】 蓄積信号から、あらかじめ登録した目的
信号に類似した部分を探し出す信号検出方法であって、 目的信号から特徴量系列を導く目的特徴量計算過程と、 蓄積信号に注目窓を設定し、注目窓内の信号から特徴量
系列を導く蓄積特徴量計算過程と、 前記蓄積特徴量計算過程による処理を、注目窓をずらし
ながら繰り返し行うことで導かれた各特徴量系列を、予
め定義された距離に基づいて分類し、その分類の代表特
徴量系列を決定する蓄積特徴量分類過程と、 前記蓄積特徴量分類過程で定義された距離に対する選択
閾値を、特徴量同士の類似度に関して予め設定した閾値
である探索閾値から計算する選択閾値設定過程と、 前記蓄積特徴量分類過程で導かれた分類について、前記
目的特徴量計算過程で導かれた特徴量系列との類似度
が、選択閾値から導かれる条件を満たすような代表特徴
量系列を持つ分類に含まれる特徴量系列を選択する蓄積
特徴量選択過程と、 前記蓄積特徴量選択過程で選択された特徴量系列と、前
記目的特徴量計算過程で導かれた特徴量系列との類似度
を計算する類似度計算過程と、 前記類似度計算過程による計算結果に基づいて得られ
た、蓄積信号のいくつかの箇所についての目的信号との
前記類似度と、探索閾値とを比較することにより、目的
信号が、蓄積信号の当該箇所に存在するかどうかを決定
する類似度判定過程と、 を有することを特徴とする信号検出方法。 - 【請求項2】 さらに、前記類似度計算過程で計算され
た類似度に基づいて、注目窓のスキップ幅を計算し、そ
のスキップ幅だけ注目窓を移動するスキップ幅計算過程
を有し、 前記類似度計算過程からスキップ幅計算過程に至る処理
を繰り返して、蓄積信号のいくつかの箇所について、目
的信号との類似度を計算し、前記類似度と、探索閾値と
を比較することにより、目的信号が、蓄積信号の当該箇
所に存在するか否かを決定することを特徴とする請求項
1に記載の信号検出方法。 - 【請求項3】 前記目的特徴量計算過程および前記蓄積
特徴量計算過程では、特徴量系列に対してヒストグラム
を作成し、前記蓄積特徴量分類過程において該ヒストグ
ラムに基づいて距離を計算し、前記蓄積特徴量選択過程
および前記類似度計算過程において該ヒストグラムに基
づいて類似度を計算することを特徴とする、請求項1ま
たは2のいずれかに記載の信号検出方法。 - 【請求項4】 前記蓄積特徴量選択過程および前記類似
度計算過程は、ヒストグラム重なり率によって類似度を
計算することを特徴とする請求項3に記載の信号検出方
法。 - 【請求項5】 前記蓄積特徴量分類過程は、L2距離
(ユークリッド距離)に基づいて各特徴量系列を分類す
ることを特徴とする請求項1ないし4のいずれかに記載
の信号検出方法。 - 【請求項6】 蓄積信号から、あらかじめ登録した目的
信号に類似した部分を探し出す信号検出装置であって、 目的信号から特徴量系列を導く目的特徴量計算手段と、 蓄積信号に注目窓を設定し、注目窓内の信号から特徴量
系列を導く蓄積特徴量計算手段と、 前記蓄積特徴量計算手段による処理を、前記注目窓をず
らしながら繰り返し行うことで導かれた各特徴量系列
を、予め定義された距離に基づいて分類し、その分類の
代表特徴量系列を決定する蓄積特徴量分類手段と、 前記蓄積特徴量分類手段で定義された距離に対する選択
閾値を、特徴量同士の類似度に関して予め設定した閾値
である探索閾値から計算する選択閾値設定手段と、 前記蓄積特徴量分類手段で導かれた分類について、前記
目的特徴量計算手段で導かれた特徴量系列との類似度
が、前記選択閾値から導かれる条件を満たすような代表
特徴量系列を持つ分類に含まれる特徴量系列を選択する
蓄積特徴量選択手段と、 前記蓄積特徴量選択手段で選択された特徴量系列と、前
記目的特徴量計算手段で導かれた特徴量系列との類似度
を計算する類似度計算手段と、 前記類似度計算手段手段による計算結果に基づいて得ら
れた、蓄積信号のいくつかの箇所についての目的信号と
の前記類似度と、探索閾値とを比較することにより、目
的信号が、蓄積信号の当該箇所に存在するかどうかを決
定する類似度判定手段と、 を有することを特徴とする信号検出装置。 - 【請求項7】 さらに、前記類似度計算手段で計算され
た類似度に基づいて、注目窓のスキップ幅を計算し、そ
のスキップ幅だけ注目窓を移動するスキップ幅計算手段
を有し、 前記類似度計算手段からスキップ幅計算手段に至る処理
を繰り返して、蓄積信号のいくつかの箇所について、目
的信号との類似度を計算し、前記類似度と、探索閾値と
を比較することにより、目的信号が、蓄積信号の当該箇
所に存在するか否かを決定することを特徴とする請求項
6に記載の信号検出装置。 - 【請求項8】 蓄積信号から、あらかじめ登録した目的
信号に類似した部分を探し出す信号検出装置に用いられ
る信号検出プログラムが記録されたコンピュータ読み取
り可能な記録媒体において、 前記信号検出プログラムは、 目的信号から特徴量系列を導く第1のステップと、 蓄積信号に注目窓を設定し、注目窓内の信号から特徴量
系列を導く第2のステップと、 前記第2のステップにおける処理を、注目窓をずらしな
がら繰り返し行うことで導かれた各特徴量系列を、予め
定義された距離に基づいて分類し、その分類の代表特徴
量系列を決定する第3のステップと、 前記第3のステップで定義された距離に対する選択閾値
を、特徴量同士の類似度に関して予め設定した閾値であ
る探索閾値から計算する第4のステップと、 前記第3のステップで導かれた分類について、前記第1
のステップで導かれた特徴量系列との類似度が、選択閾
値から導かれる条件を満たすような代表特徴量系列を持
つ分類に含まれる特徴量系列を選択する第5のステップ
と、 前記第5のステップで選択された特徴量系列と、前記第
1のステップで導かれた特徴量系列との類似度を計算す
る第6のステップと、 前記第6のステップによる計算結果に基づいて得られ
た、蓄積信号のいくつかの箇所についての目的信号との
前記類似度と、探索閾値とを比較することにより、目的
信号が、蓄積信号の当該箇所に存在するかどうかを決定
する第7のステップと、 をコンピュータに実行させる信号検出プログラムを記録
した記録媒体。 - 【請求項9】 前記信号検出プログラムは、 さらに、前記第6のステップで計算された類似度に基づ
いて、注目窓のスキップ幅を計算し、そのスキップ幅だ
け注目窓を移動する第8のステップを有し、 前記第6のステップから第8のステップに至る処理を繰
り返して、蓄積信号のいくつかの箇所について、目的信
号との類似度を計算し、前記類似度と、探索閾値とを比
較することにより、目的信号が、蓄積信号の当該箇所に
存在するか否かを決定するようにコンピュータに実行さ
せる信号検出プログラムを記録した請求項8に記載の記
録媒体。 - 【請求項10】 蓄積信号から、あらかじめ登録した目
的信号に類似した部分を探し出す信号検出装置に用いら
れる信号検出プログラムであって、 該信号検出プログラムは、 目的信号から特徴量系列を導く第1のステップと、 蓄積信号に注目窓を設定し、注目窓内の信号から特徴量
系列を導く第2のステップと、 前記第2のステップにおける処理を、注目窓をずらしな
がら繰り返し行うことで導かれた各特徴量系列を、予め
定義された距離に基づいて分類し、その分類の代表特徴
量系列を決定する第3のステップと、 前記第3のステップで定義された距離に対する選択閾値
を、特徴量同士の類似度に関して予め設定した閾値であ
る探索閾値から計算する第4のステップと、 前記第3のステップで導かれた分類について、前記第1
のステップで導かれた特徴量系列との類似度が、選択閾
値から導かれる条件を満たすような代表特徴量系列を持
つ分類に含まれる特徴量系列を選択する第5のステップ
と、 前記第5のステップで選択された特徴量系列と、前記第
1のステップで導かれた特徴量系列との類似度を計算す
る第6のステップと、 前記第6のステップによる計算結果に基づいて得られ
た、蓄積信号のいくつかの箇所についての目的信号との
前記類似度と、探索閾値とを比較することにより、目的
信号が、蓄積信号の当該箇所に存在するかどうかを決定
する第7のステップと、 をコンピュータに実行させることを特徴とする信号検出
プログラム。 - 【請求項11】 前記信号検出プログラムは、 さらに、前記第6のステップで計算された類似度に基づ
いて、注目窓のスキップ幅を計算し、そのスキップ幅だ
け注目窓を移動する第8のステップを有し、 前記第6のステップから第8のステップに至る処理を繰
り返して、蓄積信号のいくつかの箇所について、目的信
号との類似度を計算し、前記類似度と、探索閾値とを比
較することにより、目的信号が、蓄積信号の当該箇所に
存在するか否かを決定するようにコンピュータに実行さ
せることを特徴とする請求項10に記載の信号検出プロ
グラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001031388A JP3574075B2 (ja) | 2001-02-07 | 2001-02-07 | 信号検出方法、信号検出装置、記録媒体及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001031388A JP3574075B2 (ja) | 2001-02-07 | 2001-02-07 | 信号検出方法、信号検出装置、記録媒体及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002236496A true JP2002236496A (ja) | 2002-08-23 |
JP3574075B2 JP3574075B2 (ja) | 2004-10-06 |
Family
ID=18895478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001031388A Expired - Lifetime JP3574075B2 (ja) | 2001-02-07 | 2001-02-07 | 信号検出方法、信号検出装置、記録媒体及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3574075B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202357A (ja) * | 2003-10-24 | 2005-07-28 | Microsoft Corp | オーディオ重複検出器 |
WO2006004050A1 (ja) * | 2004-07-01 | 2006-01-12 | Nippon Telegraph And Telephone Corporation | 特定音響信号含有区間検出システム及びその方法並びにプログラム |
US7797160B2 (en) | 2002-12-06 | 2010-09-14 | Nippon Telegraph And Telephone Corporation | Signal compression method, device, program, and recording medium; and signal retrieval method, device, program, and recording medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7653241B2 (en) | 2004-07-15 | 2010-01-26 | Nippon Telegraph And Telephone Corporation | Signal detection method, signal detection system, signal detection processing program, and recording medium recorded with program thereof |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04198999A (ja) * | 1990-11-29 | 1992-07-20 | Oki Electric Ind Co Ltd | 音声認識におけるマッチング距離値の極小値探索方法 |
JPH06274200A (ja) * | 1993-03-08 | 1994-09-30 | Internatl Business Mach Corp <Ibm> | 音声コード化装置及び方法 |
JPH10136297A (ja) * | 1996-10-01 | 1998-05-22 | Matsushita Electric Ind Co Ltd | デジタルビデオデータから索引付け情報を抽出する方法と装置 |
JP2000035796A (ja) * | 1998-05-07 | 2000-02-02 | Canon Inc | 音楽情報処理装置及び方法 |
JP3065314B1 (ja) * | 1998-06-01 | 2000-07-17 | 日本電信電話株式会社 | 高速信号探索方法、装置およびその記録媒体 |
-
2001
- 2001-02-07 JP JP2001031388A patent/JP3574075B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04198999A (ja) * | 1990-11-29 | 1992-07-20 | Oki Electric Ind Co Ltd | 音声認識におけるマッチング距離値の極小値探索方法 |
JPH06274200A (ja) * | 1993-03-08 | 1994-09-30 | Internatl Business Mach Corp <Ibm> | 音声コード化装置及び方法 |
JPH10136297A (ja) * | 1996-10-01 | 1998-05-22 | Matsushita Electric Ind Co Ltd | デジタルビデオデータから索引付け情報を抽出する方法と装置 |
JP2000035796A (ja) * | 1998-05-07 | 2000-02-02 | Canon Inc | 音楽情報処理装置及び方法 |
JP3065314B1 (ja) * | 1998-06-01 | 2000-07-17 | 日本電信電話株式会社 | 高速信号探索方法、装置およびその記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7797160B2 (en) | 2002-12-06 | 2010-09-14 | Nippon Telegraph And Telephone Corporation | Signal compression method, device, program, and recording medium; and signal retrieval method, device, program, and recording medium |
JP2005202357A (ja) * | 2003-10-24 | 2005-07-28 | Microsoft Corp | オーディオ重複検出器 |
WO2006004050A1 (ja) * | 2004-07-01 | 2006-01-12 | Nippon Telegraph And Telephone Corporation | 特定音響信号含有区間検出システム及びその方法並びにプログラム |
US7860714B2 (en) | 2004-07-01 | 2010-12-28 | Nippon Telegraph And Telephone Corporation | Detection system for segment including specific sound signal, method and program for the same |
Also Published As
Publication number | Publication date |
---|---|
JP3574075B2 (ja) | 2004-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6826350B1 (en) | High-speed signal search method device and recording medium for the same | |
US20140205141A1 (en) | Systems and methods for tracking and detecting a target object | |
US20090265174A9 (en) | Robust and invariant audio pattern matching | |
CN110502962B (zh) | 视频流中目标的检测方法、装置、设备和介质 | |
CN110460838B (zh) | 一种镜头切换的检测方法、装置及计算机设备 | |
Ben-Ari et al. | TAEN: temporal aware embedding network for few-shot action recognition | |
JP2000312343A (ja) | 高速信号探索方法、装置およびその記録媒体 | |
CN113239855B (zh) | 一种视频检测方法、装置、电子设备以及存储介质 | |
US7054388B2 (en) | Signal detection method and apparatus, relevant program, and storage medium storing the program | |
JP2002236496A (ja) | 信号検出方法、信号検出装置、記録媒体及びプログラム | |
JP4447602B2 (ja) | 信号検出方法,信号検出システム,信号検出処理プログラム及びそのプログラムを記録した記録媒体 | |
CN116450576A (zh) | 一种档案归档方法、装置、电子设备及存储介质 | |
JP3884006B2 (ja) | 信号圧縮方法、装置、そのプログラムと記録媒体、信号検索方法、装置、プログラムとその記録媒体 | |
CN113761269B (zh) | 音频识别方法、装置和计算机可读存储介质 | |
CN115078616A (zh) | 基于信噪比的多窗口谱峰识别方法、设备、介质及产品 | |
JP3730179B2 (ja) | 信号検索装置、信号検索方法、信号検索プログラム及び信号検索プログラムを記録した記録媒体 | |
JP3474131B2 (ja) | 高速信号探索方法、装置及びその記録媒体 | |
CN111599378A (zh) | 音频匹配方法,电子设备及存储介质 | |
JP4349574B2 (ja) | 動画像データのシーン分割装置 | |
JP4979029B2 (ja) | 動画像データのシーン分割装置 | |
JP2001242880A (ja) | 信号検出方法、信号の検索方法及び認識方法並びに記録媒体 | |
JP4459940B2 (ja) | 信号検索方法、装置、プログラムとその記録媒体 | |
CN115099372B (zh) | 分类识别方法和装置 | |
JP2010224481A (ja) | 類似区間検出装置 | |
CN117672200B (zh) | 一种物联网设备的控制方法、设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040622 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040630 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3574075 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 9 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |