JP4597714B2 - 情報検索装置および方法ならびにコンピュータプログラム - Google Patents
情報検索装置および方法ならびにコンピュータプログラム Download PDFInfo
- Publication number
- JP4597714B2 JP4597714B2 JP2005055644A JP2005055644A JP4597714B2 JP 4597714 B2 JP4597714 B2 JP 4597714B2 JP 2005055644 A JP2005055644 A JP 2005055644A JP 2005055644 A JP2005055644 A JP 2005055644A JP 4597714 B2 JP4597714 B2 JP 4597714B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- search
- music
- search target
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
しかしながら上記した音楽情報検索システムでは、ユーザの「好きな」曲を検索することはできない。このため、音楽情報の自動分類技術を応用し、ユーザの嗜好に基づいて音楽データの分類を行う音楽情報検索システムが提案されている。
すなわち、ツリーベクト量子化技術(例えば、非特許文献1参照)を利用し、学習データに含まれる楽曲のジャンル間を識別するためのツリーを作成することによって特徴空間を構築する。そして、検索対象楽曲のベクトル化は、上記した処理によって構築された特徴空間に各楽曲をプロットすることにより行われる。また、ユーザの嗜好を表すユーザプロファイルは、ユーザが検索対象楽曲もしくは学習データに含まれる楽曲の中から選択した「好きな」楽曲の和ベクトルを算出することなどにより構築し、音楽情報を検索処理する際、ユーザプロファイルと検索対象楽曲との間の類似度を算出し、類似度が高い楽曲をユーザに提示することにより行われる。
「Foote,"Content-based retrieval of music and audio",Proceedings of SPIE,Vol.3229,pp.136-147,1997」
まず、図6のステップS61において、カテゴリ(集合Cg)に予め分類された複数の音楽データMg1,Mg2,・・・,Mgnと、カテゴリ(集合Cb)に予め分類された複数の音楽データMb1,Mb2,・・・,Mbpと、検索対象の音楽データX1,X2,・・・,Xkとがデータ入力される。集合Cg,Cbの音楽データは学習用のデータである。そして、集合Cbの音楽データは集合Cgのカテゴリには含まれない音楽データである。
これによりMFCCフレームは、12個のMFCCと音量とを要素に持つ13次元ベクトルとして表される。そして、各音楽データMg1,Mg2,・・・,Mgnは、それぞれにMFCCフレーム群として表される(S73)。
そして、集合Cg,Cbの各音楽データについてそれぞれに、各MFCCフレームの13次元ベクトルを分類し、ベクトル量子化のためのツリーTgを生成する。この生成したツリーTgに対して、集合Cgの各音楽データについての各MFCCフレームの13次元ベクトルを入力し、ツリーTgの末端の枝毎に蓄積されるデータ度数のヒストグラムを作成する。このヒストグラムが集合Cgを表すカテゴリベクトルVgとなる(S74、S75)。
そして、この類似度Sim(Xi,Vg)の大きい順に、検索対象データX1,X2,・・・,Xkを並べ替えし、上位N件の検索対象データを検索結果としてユーザに提示する(S65)。
また、一般的に楽曲に付与されている(学習データのテカゴリ情報として利用できる)属性情報の多くは、楽曲自体の音響的特徴に依存していない。代表的な属性情報として、楽曲のジャンル情報があげられるが、市販CDの収録曲のジャンル情報は、実質、演奏アーティストもしくはアルバムに応じて付与されており、個々の楽曲の音響的な特徴とは無関係である。このため、事前に学習データを用意することも困難であるといえる。
また、ユーザプロファイル構築時に必要なユーザ嗜好情報収集時に、上記したクラスタリング処理の結果得られた個々のクラスタから選択される検索対象情報をユーザに提示してユーザの評価情報を得ることにより、ユーザの負担を軽減しながらユーザの嗜好に適合する情報検索を実現し、また、インターフェース性能が貧弱な端末を用いても効率良くユーザ嗜好情報を得ることのできる、情報検索装置および方法ならびにコンピュータプログラムを提供することも目的とする。
また、個々のクラスタから、ユーザ嗜好情報収集に利用する検索対象情報を選択させることで、ユーザの嗜好情報を精度良く収集することができ、ユーザの負担を軽減しながらユーザ嗜好に基づく情報検索の精度向上につながる。さらに、携帯電話などでユーザ嗜好情報を収集する場合、クラスタリングの結果を考慮し、離れたクラスタから選択された少ない楽曲等の検索対象情報をユーザに提示し、提示した検索対象情報に対する嗜好情報を収集することで貧弱なインターフェースでも効率よくユーザ嗜好情報を得ることができる。
図1において、音楽配信サーバ1は、音楽情報DB(データベース)2に格納されている検索対象音楽情報22の中から個々のユーザの嗜好情報に基づいて音楽情報を検索し、配信する、本発明の情報検索装置として機能する。また、音楽配信サーバ1は、インターネット4に接続され、このインターネット4を介し希望する音楽情報をユーザが所有する端末3に配信する。なお、ここで、嗜好情報とは、初期特徴空間構築時に利用されているカテゴリ情報あるいはジャンル情報を含む情報をいう。
音楽情報DB2には、配信の対象とする音楽情報として、ポップス、ロック、クラシック、演歌など各種ジャンルの楽曲に関する音楽情報が蓄積されており、音楽配信サーバ1からアクセス可能である。また、端末3は、音楽情報DB2を、インターネット4を介してアクセス可能であり、音楽配信サーバ1から音楽情報の配信を受けて音楽を再生することができる。
図2に示されるように、音楽配信サーバ1は、ジャンル嗜好入力取り込み部11と、ジャンルプロファイル生成部12と、ユーザプロファイル生成部13と、情報検索部14と、検索結果出力部15と、評価入力取り込み部16と、ユーザプロファイル更新部17で構成される。
また、ジャンルプロファイル生成部12は、事前に分類され用意されたジャンル毎の検索対象情報であるジャンルプロファイル生成用音楽情報21によって構築されるジャンルプロファイル(後述する学習データ)を生成する機能を持ち、ユーザプロファイル生成部13は、事前に分類されたジャンル毎の検索対象情報により構築されたジャンルプロファイルならびに取り込まれたユーザのジャンル嗜好情報に基づき、各ジャンルのユーザの嗜好を示すユーザプロファイルを生成する機能を持つ。
情報検索部14は、ユーザプロファイルを利用して前記検索対象情報の検索を行う機能を持ち、検索結果出力部15を介してその検索結果を要求のあったユーザの端末3へ出力する。ここで、情報検索部14は、ジャンル毎、あらかじめ分類された学習データにより生成されるベクトル量子化のためのツリーを用いてベクトル化された検索対象音楽情報22ならびにユーザプロファイルの類似度に基づいて検索結果を出力する。
なお、音楽情報DB2は、ジャンルプロファイル生成用音楽情報21と、検索対象音楽情報22で構成され、前者は、ジャンルプロファイル生成のためにあらかじめ分類されたジャンル毎の音楽情報であり、後者は検索対象となる多ジャンルの音楽情報である。
以下、図5に示すフローチャートを参照しながら図1、図2に示す本発明実施形態の動作について詳細に説明する。
音楽情報の検索に先立ち、まず、ユーザの音楽ジャンルに対する嗜好入力の取り込みが行われる。ユーザ嗜好情報の取り込みはジャンル嗜好入力取り込み部11によって行われる。具体的に、ジャンル嗜好入力取り込み部11は、音楽に関して好きなジャンルと嫌いなジャンルをユーザに問合せ、これに対し、ユーザは端末3を操作することによって好きなジャンル(例えば、ポップス、ロック)、嫌いなジャンル(例えば、クラシック、演歌)といった具合に音楽に対するユーザ嗜好情報を入力し(S42)、ジャンル嗜好入力取込み部11は、ここで入力されたユーザ嗜好情報を取込んでユーザプロファイル生成部13へ提供する。
情報検索部14は、このユーザプロファイルを利用して音楽情報検索を行い、検索結果出力部15を介して要求のあったユーザの端末3へインターネット4経由で配信する(S44)。具体的に、情報検索部14は、図6および図7を用いて説明したように、ジャンル毎、あらかじめ分類された学習データにより生成されるベクトル量子化のためのツリーを用いてベクトル化された検索対象情報22ならびにユーザプロファイルの類似度に基づき、類似度の大きい順に検索対象音楽情報22を並べ替えし、上位N件の検索対象音楽情報22を検索結果として出力し、ユーザに対し検索結果の評価入力を促す。
このことにより、ユーザの負担を軽減しながらユーザの嗜好に適合する情報検索を実現することができる。
このため、ユーザは、端末3により、受信した音楽情報の再生がなされると、その楽曲の評価を行い、その評価値を適合フィードバック情報として音楽配信サーバ1へ送信する。なお、楽曲の評価方法としては、例えば、配信された楽曲について、好みに合う度合いを5段階式、あるいは○×式で評価する方法がある。
後者の場合には、ユーザが、聴きたくない楽曲については端末3の音楽再生機能を用いて早送り再生を行い、この操作情報を×の評価値として利用する。
このことによりユーザプロファイルを精緻化することができ、情報検索部14は、ステップS34以降の処理を繰り返すことによって高精度な音楽情報検索を実現することができる(S47)。
ジャンルプロファイル生成部12は、あらかじめ分類されたジャンル毎の検索対象音楽情報に対応した特徴空間を構築し、当該特徴空間を用いてベクトル化された学習データを生成する機能を持ち、機能的には、初期特徴空間構築部121と、音楽情報ベクトル化部122と、特徴空間再構築部123と、音楽情報再ベクトル化部124とで構成される。
特徴空間再構築部123は、音楽情報ベクトル化部122により得られるベクトルを元に検索対象音楽情報のクラスタリング処理を実行し、当該クラスタリング処理の結果得られる個々のクラスタから選択される検索対象音楽情報にカテゴリ情報として個々のクラスタIDを付与して新たな量子化ツリーを作成する機能を持つ。また、音楽情報再ベクトル化部124は、特徴空間再構築部123で作成される新たな量子化ツリーを利用して検索対象音楽情報を再度ベクトル化して情報検索部14へ供給する。
以下、図5に示すフローチャートを参照しながら図3に示すジャンルプロファフイル生成部12の動作について詳細に説明する。
まず、初期特徴空間構築部123において、初期学習データを基に、初期特徴空間を構築する。この初期学習データの例として、上記したジャンルカテゴリ情報付きの音楽情報(楽曲)などを利用することができる。具体的には、学習データ内に含まれる音楽情報と、個々の楽曲等に付与されているジャンル情報を利用し、当該楽曲のジャンルを識別するためのツリーを構築して音楽情報ベクトル化部122へ供給する(S411)。
このことにより、音楽情報ベクトル化部122では、ツリーを利用して検索対象となる楽曲をベクトル化し(S412)、特徴空間再構築部123においてその結果得られる検索対象楽曲を基に当該検索対象楽曲のクラスタリングを行う(S413)。このクラスタリングのためにk−means法などを利用することができる。ここで、「k−means法」とは、データを与えられたK個のクラスタに分割し、クラスタの中心値をそのクラスタの代表値とし、クラスタの中心値との距離を計算することで、データがどのクラスタに属するかを判断する周知の量子化問題解析手法である。
ユーザプロファイル生成部13は、ユーザプロファイル構築時にユーザから得られた嗜好情報(例:好きな楽曲・嫌いな楽曲の例)を元に、上記した新しいツリーを利用してユーザプロファイルを構築する。検索を行う際には、情報検索部14が、ユーザプロファイルと検索対象楽曲のベクトル間の類似度をスコアとして利用し、スコアが上位の楽曲を、検索結果出力部16を介してユーザに提示する。ユーザは提示された検索結果に対して適合フィードバック情報を返すことができ、システムは、評価入力取り込み部16を介して取り込まれる適合フィードバック情報に基づきユーザプロファイルを更新し、以降の検索精度向上を図ることができる。
また、図2、図3に示されるジャンル嗜好入力取り込み部11と、ジャンルプロファイル生成部12と、ユーザプロファイル生成部13と、情報検索部14と、検索結果出力部15と、評価入力取り込み部16と、ユーザプロファイル更新部17と、初期特徴空間構築部121と、音楽情報ベクトル化部122と、特徴空間再構築部123と、音楽情報再ベクトル化部124のそれぞれで実行される手順をコンピュータ読取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の情報検索装置が実現されるものとする。ここでいうコンピュータシステムとは、OSや周辺機器等のハードウェアを含むものである。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (5)
- 音楽情報データベース内の検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置であって、
ユーザの音楽ジャンルに対する嗜好の入力を取り込む嗜好入力取り込み部と、
初期学習データに含まれる前記検索対象情報と、前記初期学習データに含まれる個々の検索対象情報に付与されているジャンル情報とを利用し、前記初期学習データに含まれる前記検索対象情報のジャンルを識別する量子化ツリーを作成する初期特徴空間構築部と、
前記作成された量子化ツリーを利用して前記音楽情報データベース内の前記検索対象情報をベクトル化する音楽情報ベクトル化部と、
前記音楽情報ベクトル化部により得られるベクトルを元に前記音楽情報データベース内の前記検索対象情報のクラスタリング処理を実行し、前記クラスタリング処理の結果得られる個々のクラスタから選択される検索対象情報にカテゴリ情報として個々のクラスタIDを付与して新たな量子化ツリーを作成する特徴空間再構築部と、
前記新たな量子化ツリーを利用して前記音楽情報データベース内の前記検索対象情報を再度ベクトル化する音楽情報再ベクトル化部と、
前記再度ベクトル化された検索対象情報に基づき、ユーザの嗜好を示すユーザプロファイルを生成するユーザプロファイル生成部と、
前記ユーザプロファイルおよび前記再度ベクトル化された検索対象情報を利用して検索を行う情報検索部と、
を備えたことを特徴とする情報検索装置。 - 前記情報検索部は、
あらかじめ分類された検索対象情報により生成されるベクトル量子化のためのツリーを用いてベクトル化された前記検索対象情報ならびに前記ユーザプロファイルの類似度に基づいて検索結果を出力することを特徴とする請求項1に記載の情報検索装置。 - 前記情報検索部による検索結果に対するユーザの評価入力の結果を取り込む評価入力取り込み部と、
前記評価入力の結果をユーザプロファイル生成部によって生成された前記ユーザプロファイルに反映させ、前記ユーザプロファイルのベクトルを更新するユーザプロファイル更新部と
を備えたことを特徴とする請求項1に記載の情報検索装置。 - 音楽情報データベース内の検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置における情報検索方法であって、
前記情報検索装置の嗜好入力取り込み手段が、ユーザの音楽ジャンルに対する嗜好の入力を取り込み、
前記情報検索装置の初期特徴空間構築手段が、初期学習データに含まれる前記検索対象情報と、前記初期学習データに含まれる個々の検索対象情報に付与されているジャンル情報とを利用し、前記初期学習データに含まれる前記検索対象情報のジャンルを識別する量子化ツリーを作成し、
前記情報検索装置の音楽情報ベクトル化手段が、前記作成された量子化ツリーを利用して前記音楽情報データベース内の前記検索対象情報をベクトル化し、
前記情報検索装置の特徴空間再構築手段が、前記音楽情報ベクトル化手段により得られるベクトルを元に前記音楽情報データベース内の前記検索対象情報のクラスタリング処理を実行し、前記クラスタリング処理の結果得られる個々のクラスタから選択される検索対象情報にカテゴリ情報として個々のクラスタIDを付与して新たな量子化ツリーを作成し、
前記情報検索装置の音楽情報再ベクトル化手段が、前記新たな量子化ツリーを利用して音楽情報データベース内の前記検索対象情報を再度ベクトル化し、
前記情報検索装置のユーザプロファイル生成手段が、前記再度ベクトル化された検索対象情報に基づき、ユーザの嗜好を示すユーザプロファイルを生成し、
前記情報検索装置の情報検索手段が、前記ユーザプロファイルおよび前記再度ベクトル化された検索対象情報を利用して検索を行うことを特徴とする情報検索方法。 - 音楽情報データベース内の検索対象情報の中からユーザの嗜好に適合した情報を検索する情報検索装置のコンピュータに、
ユーザの音楽ジャンルに対する嗜好の入力を取り込む嗜好入力取り込みステップと、
初期学習データに含まれる前記検索対象情報と、前記初期学習データに含まれる個々の検索対象情報に付与されているジャンル情報とを利用し、前記初期学習データに含まれる前記検索対象情報のジャンルを識別する量子化ツリーを作成する初期特徴空間構築ステップと、
前記作成された量子化ツリーを利用して前記音楽情報データベース内の前記検索対象情報をベクトル化する音楽情報ベクトル化ステップと、
前記音楽情報ベクトル化ステップにより得られるベクトルを元に前記音楽情報データベース内の前記検索対象情報のクラスタリング処理を実行し、前記クラスタリング処理の結果得られる個々のクラスタから選択される検索対象情報にカテゴリ情報として個々のクラスタIDを付与して新たな量子化ツリーを作成する特徴空間再構築ステップと、
前記新たな量子化ツリーを利用して前記音楽情報データベース内の前記検索対象情報を再度ベクトル化する音楽情報再ベクトル化ステップと、
前記再度ベクトル化された検索対象情報に基づき、ユーザの嗜好を示すユーザプロファイルを生成するユーザプロファイル生成ステップと、
前記ユーザプロファイルおよび前記再度ベクトル化された検索対象情報を利用して前記検索を行う情報検索ステップと、
を実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005055644A JP4597714B2 (ja) | 2005-03-01 | 2005-03-01 | 情報検索装置および方法ならびにコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005055644A JP4597714B2 (ja) | 2005-03-01 | 2005-03-01 | 情報検索装置および方法ならびにコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006243887A JP2006243887A (ja) | 2006-09-14 |
JP4597714B2 true JP4597714B2 (ja) | 2010-12-15 |
Family
ID=37050268
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005055644A Expired - Fee Related JP4597714B2 (ja) | 2005-03-01 | 2005-03-01 | 情報検索装置および方法ならびにコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4597714B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4979000B2 (ja) | 2007-01-05 | 2012-07-18 | Kddi株式会社 | 情報検索方法、装置およびプログラム |
JP5085577B2 (ja) * | 2009-01-16 | 2012-11-28 | Kddi株式会社 | プレイリスト作成装置、楽曲再生装置、プレイリスト作成方法およびプレイリスト作成プログラム |
JP6601965B2 (ja) * | 2016-08-25 | 2019-11-06 | Kddi株式会社 | 探索木を用いて量子化するプログラム、装置及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339350A (ja) * | 1999-01-26 | 2000-12-08 | Xerox Corp | マルチモード情報アクセス |
JP2002269120A (ja) * | 2001-03-14 | 2002-09-20 | Ricoh Co Ltd | 文書分類装置、文書分類方法及び該文書分類方法を実行するプログラム記録媒体 |
JP2003316818A (ja) * | 2002-02-21 | 2003-11-07 | Kddi Corp | 情報検索方法及びその装置、コンピュータプログラム |
-
2005
- 2005-03-01 JP JP2005055644A patent/JP4597714B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339350A (ja) * | 1999-01-26 | 2000-12-08 | Xerox Corp | マルチモード情報アクセス |
JP2002269120A (ja) * | 2001-03-14 | 2002-09-20 | Ricoh Co Ltd | 文書分類装置、文書分類方法及び該文書分類方法を実行するプログラム記録媒体 |
JP2003316818A (ja) * | 2002-02-21 | 2003-11-07 | Kddi Corp | 情報検索方法及びその装置、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2006243887A (ja) | 2006-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8438168B2 (en) | Scalable music recommendation by search | |
US8392414B2 (en) | Hybrid audio-visual categorization system and method | |
US8170702B2 (en) | Method for classifying audio data | |
US20100223223A1 (en) | Method of analyzing audio, music or video data | |
JP4274221B2 (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
JP2019501466A (ja) | 検索エンジンの選択および最適化のための方法およびシステム | |
CN109165302A (zh) | 多媒体文件推荐方法及装置 | |
Santana et al. | Music4all: A new music database and its applications | |
JP5066963B2 (ja) | データベース構築装置 | |
JP2009508156A (ja) | 音楽分析 | |
WO2009044341A2 (en) | Classifying a set of content items | |
West et al. | A model-based approach to constructing music similarity functions | |
US20220238087A1 (en) | Methods and systems for determining compact semantic representations of digital audio signals | |
Schedl et al. | User-aware music retrieval | |
JP4597714B2 (ja) | 情報検索装置および方法ならびにコンピュータプログラム | |
KR100916310B1 (ko) | 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법 | |
Álvarez et al. | Riada: a machine-learning based infrastructure for recognising the emotions of Spotify songs | |
JP2003316818A (ja) | 情報検索方法及びその装置、コンピュータプログラム | |
Li et al. | Music data mining: an introduction | |
JP2005346347A (ja) | 情報検索装置、情報検索方法、情報検索プログラムおよび記録媒体 | |
CN114817582A (zh) | 资源信息的推送方法和电子装置 | |
JP2005056021A (ja) | 情報検索装置および方法ならびにコンピュータプログラム | |
Park et al. | MRTB framework: a robust content-based music retrieval and browsing | |
CN109710797B (zh) | 音频文件的推送方法、装置、电子装置和存储介质 | |
Qin | A historical survey of music recommendation systems: Towards evaluation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070905 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071012 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100518 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100716 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100914 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100922 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4597714 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131001 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |