JP2004145706A - マルチメディアデータ検索システム - Google Patents
マルチメディアデータ検索システム Download PDFInfo
- Publication number
- JP2004145706A JP2004145706A JP2002310995A JP2002310995A JP2004145706A JP 2004145706 A JP2004145706 A JP 2004145706A JP 2002310995 A JP2002310995 A JP 2002310995A JP 2002310995 A JP2002310995 A JP 2002310995A JP 2004145706 A JP2004145706 A JP 2004145706A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- search
- multimedia data
- query
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】検索効率をより向上させることが可能となるマルチメディアデータ検索システムを提供する。
【解決手段】始めに「結婚式」というキーワードで、検索を行ったとすると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される。同様に「披露宴」というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される。次に、「○×教会」というキーワードで検索対象が見つかったとすると、クエリキーワード履歴内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベースには、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の２つのキーワードがデータベースに追加登録される。
【選択図】 図７
【解決手段】始めに「結婚式」というキーワードで、検索を行ったとすると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される。同様に「披露宴」というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される。次に、「○×教会」というキーワードで検索対象が見つかったとすると、クエリキーワード履歴内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベースには、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の２つのキーワードがデータベースに追加登録される。
【選択図】 図７
Description
【０００１】
【発明の属する技術分野】
本発明は、キーワードを用いてマルチメディアデータを検索するマルチメディアデータ検索システム、マルチメディアデータ検索方法および該検索方法を実現するためのプログラムに関する。
【０００２】
【従来の技術】
キーワードを用いた検索は、従来から行われており、検索を補助するシステムも多く登場している。例えば、入力されたキーワードの類義語を用いて、検索を行うようにしたものがある（例えば、特許文献１参照）。しかし、実際にキーワードを用いて、所望の画像を検索することは容易ではない。なぜなら、検索用に入力するキーワードは、ユーザ個人の主観によって大きく異なり、類義語ではカバーできないことが多いからである。例えば、ある山の写真を見て、「高い」と感じる人もいれば、「低い」と感じる人もいるからである。そのため、検索結果を得るために何度も検索し直すということが頻繁に発生し得る。
【０００３】
また、検索用に登録されたキーワード数が少ない場合もある。例えば、運動会で撮影した画像があり、場所と時間のキーワードしか登録されていないとする。そのような画像に対して、ユーザが「運動会」というキーワードを思いつき、検索を行っても、その画像は検索できない。このような場合、例えば、文書検索においては、検索用にユーザが入力したキーワードを新たなキーワードとして、登録する方法も存在する（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開平１１−２７２７０６号公報
【特許文献２】
特開平９−１９８３９５号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の方法は、文書の全文検索に適用できるものの、メタデータを用いた静止画像検索などには適用できない。
【０００６】
本発明は、この点に着目してなされたものであり、検索効率をより向上させることが可能となるマルチメディアデータ検索システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載のマルチメディアデータ検索システムは、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、クエリとなるキーワードを入力する入力手段と、該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録手段とを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【０００９】
（第１の実施の形態）
本実施の形態では、画像検索を繰り返すことによって、検索用キーワードを増加させる（検索効率を上げる）ことができる検索システムの構築方法について説明する。
【００１０】
図１は、本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【００１１】
同図に示すように、マルチメディアデータ検索システム１は、入力装置２と、表示装置３と、蓄積装置４と、ＣＰＵ５と、ＲＯＭ６と、ＲＡＭ７とにより、主として構成されている。そして、上記構成要素２〜７は、バス８を介して、相互に接続されている。
【００１２】
入力装置２は、ユーザからの指示や、データを入力するものであり、キーボードやマウスなどのポインティングシステムを含む。本実施の形態では、文字の入力にはキーボードを用い、ボタンの押下（クリック）にはマウスを用いている。
【００１３】
表示装置３は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示するものであり、通常はＣＲＴ（Ｃａｔｈｏｄｅ−ｒａｙ Ｔｕｂｅ）や、液晶ディスプレイなどが用いられる。
【００１４】
蓄積装置４は、画像データや、検索用キーワードのデータベースを蓄積するものであり、通常は、ハードディスク装置（ＨＤＤ）が用いられる。
【００１５】
ＣＰＵ５は、上述した各構成要素の処理の全てに関わる。
【００１６】
ＲＯＭ６およびＲＡＭ７は、ＣＰＵ５が実行する処理に必要なプログラム、データおよび作業領域などをＣＰＵ５に提供する。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置４に格納されているか、ＲＯＭ６に格納されているものとする。蓄積装置４に格納されている場合は、一旦ＲＡＭ３に読み込まれてから実行される。
【００１７】
なお、本実施の形態のマルチメディアデータ検索システムには、上記以外にも、様々な構成要素が存在するが、本発明の特徴ではないので、その説明は省略する。
【００１８】
図２は、画像データ（ＤＣＦ＿０００１．ｊｐｇ）１１にメタデータ１２が登録されている様子を示した図である。なお、本実施の形態では、説明の都合上、マルチメディアデータとして、画像データ（静止画像データ）を例に挙げて説明するが、これに限らず、動画像データや音声データ等、どのようなデータであってもよい。
【００１９】
メタデータとは、データに付随するデータのことで、画像データにおいては、主に撮影日時や被写体の情報などを意味する。通常、画像データを検索する際には、このメタデータをキーワードとして、データベースに登録しておき、このデータベースのキーワードを用いて、検索を行う。もちろん、このメタデータを直接用いて、検索を行っても良い。
【００２０】
なお、本実施の形態では、メタデータ１２を画像データ１１に登録する際には、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述する。もちろん、ＸＭＬ以外にも、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）など、データを記述できるものなら、何を採用してもよい。
【００２１】
図３は、図２のメタデータ１２を画像データ１１に登録する方法の一例を示した概略図である。
【００２２】
図３に示すように、画像データの末尾に、メタデータを付加する形式になっている。もちろん、この方法以外にも、画像データのヘッダ部分にメタデータを記述する方法でも構わないし、メタデータを別ファイルとして持ち、画像データには、メタデータファイルへのリンクのみを記述するような方法であっても構わない。
【００２３】
図４は、メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である。
【００２４】
同図に示すように、キーワードデータベース１３内には、画像ファイル名、画像ファイルへのパス、メタデータから取り出した検索用キーワードが登録されている。
【００２５】
図５は、一般的な画像検索アプリケーションの概要を表した図である。
【００２６】
同図に示すように、クエリとなるキーワードを、クエリキーワード入力領域２２に入力し、検索開始ボタン２４をクリックすると、検索を開始する。検索が終了すると、検索結果一覧表示画面２６に、検索された画像群のサムネイル一覧が表示される。サムネイル一覧の中から、サムネイルを一つ選んでクリックすると、画像選択カーソル２７がそのサムネイルに移動する。画像選択カーソル２７によって、選択されているサムネイルを、ダブルクリックすると、画像表示画面２８が現れ、選択されているサムネイルを拡大表示する。拡大表示された画像が検索対象である場合には、ＯＫボタン２９をクリックする。検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０をクリックする。
【００２７】
また、複数のキーワードで検索を行う場合には、ＡＮＤ／ＯＲ指定を、検索モード切り替えスイッチ２３を用いて行う。なお、本実施の形態では、単数キーワードでの検索を考えているので、特に言及しない。
【００２８】
また、検索クリアボタン２５は、現在の検索を中止して、新たに検索を行う場合に使用する。
【００２９】
図６は、図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【００３０】
同図において、まず、ステップＳ１では、ユーザが検索を行うかどうかを判別する。検索を行う場合には、ステップＳ２に進み、検索を行わない場合には、全ての処理を終了する。
【００３１】
ステップＳ２では、クエリとなるキーワードを入力する。
【００３２】
次に、ステップＳ３では、検索開始ボタン２４をクリックする。
【００３３】
そして、ステップＳ４では、システム側により、クエリキーワードが、クエリキーワード履歴に保存される。クエリキーワード履歴とは、ＲＡＭ７に作成されたメモリ領域で、検索に利用したクエリキーワードを全て保存できる。例えば、図７において、始めに「結婚式」（第１クエリキーワード４１）というキーワードで、検索を行ったとする。すると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される（クエリキーワード履歴４２）。同様に、「披露宴」（第２クエリキーワード４３）というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される（クエリキーワード履歴４４）。このように、所望の画像を検索するために、異なるキーワードで検索を何度も繰り返すと、その都度、クエリキーワード履歴にキーワードが追加されていく。
【００３４】
次に、ステップＳ５では、入力したクエリキーワードと、データベースに登録されているキーワードとの一致が、システムにより調査され、データベースに一致するキーワードが見つかれば、その画像データのサムネイルが検索結果一覧表示画面２６に表示される。なお、このときの一致とは、全文一致でも、部分一致でも構わない。
【００３５】
そして、ステップＳ６では、検索結果一覧表示画面２６に表示されたサムネイルの中から、検索対象と思われる画像があるかどうかを判断し、ある場合には、ステップＳ７に進む一方、ない場合には、ステップＳ１に戻る。
【００３６】
ステップＳ１に戻った際に、別の画像を検索する場合は、図５の検索クリアボタン２５を押す。すると、クエリキーワード履歴の内容が全て消去され、新たな検索を行える。
【００３７】
ステップＳ７では、検索対象と思われるサムネイルをダブルクリックし、画像表示画面２８を用いて、画像を閲覧する。
【００３８】
続くステップＳ８では、閲覧した画像が検索対象であるかどうかを判断し、検索対象であった場合には、ＯＫボタン２９をクリックし、ステップＳ９に進む一方、検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０を押し、ステップＳ６に戻る。
【００３９】
ステップＳ９では、クエリキーワード履歴に保存されているキーワードが、データベースに追加登録される。具体的には、図７のクエリキーワード履歴４６の状態で検索対象が見つかったとすると、クエリキーワード履歴４６内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベース４７には、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の２つのキーワードがデータベースに追加登録される。もちろん、追加するキーワードをユーザが選定するような構成であっても、構わない。
【００４０】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４１】
（第２の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＡＮＤ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４２】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４３】
図８は、ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＡＮＤ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４４】
まず始めに、第１クエリキーワード５１で、検索を行うと、クエリキーワード履歴５２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード５３で、再び検索を行う。すると、本来であれば、第２クエリキーワード５３に含まれるキーワード全てが、クエリキーワード履歴に追加されるはずであるが、ＡＮＤ検索の場合は、第１クエリキーワード５１と、第２クエリキーワード５３に同じキーワードが含まれる場合がある。よって、この場合は、「７月１日」はもう既に、クエリキワード履歴に存在するので、「○×教会」のみ、追加される（クエリキーワード履歴５４）。ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「７月１日」および「○×教会」の４つのキーワードが追加されるはずであるが、もともとデータベース５５には、「○×教会」と「７月１日」が登録されているので、この場合は、「結婚式」と「披露宴」のみ追加登録される（キーワードデータベース５６）。
【００４５】
このように、本実施の形態では、ＡＮＤ検索においても、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４６】
（第３の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＯＲ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４７】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４８】
図９は、ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＯＲ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４９】
まず始めに、第１クエリキーワード６１で、検索を行うと、クエリキーワード履歴６２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード６３で、再び検索を行うと、クエリキーワード履歴６４のようになる。ＡＮＤ検索と違い、第１クエリキーワードと、第２クエリキーワードが重なることはないので、ＯＲ検索の場合は、クエリキーワード全てがクエリキーワード履歴に保存される。
【００５０】
ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「○×教会」および「佐藤○△」の４つのキーワードが追加されるはずであるが、もともとデータベース６５には、「○×教会」が登録されてあるので、この場合は、「結婚式」、「披露宴」および「佐藤○△」のみ追加登録される（キーワードデータベース６６）。
【００５１】
このように、本実施の形態では、ＯＲ検索においても、ユーザが検索時に思い浮かんだキーワードをデータベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００５２】
（第４の実施の形態）
本実施の形態では、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する方法について説明する。
【００５３】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００５４】
図１０は、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【００５５】
同図において、まず、ステップＳ１１で、ユーザが検索システムを立ち上げると、図１２の検索システムログインウィンドウが起動される。そこで、初めて検索を行う場合は、ユーザ新規登録ボタン８４を押し、ステップＳ１２に進む。もう既に一度以上検索を行ったことがある場合は、ステップＳ１４に進む。
【００５６】
ステップＳ１２では、図１３のユーザ新規登録ウィンドウ９１が起動される。そして、ユーザ名入力フィールド９２に希望のユーザ名を入力し、ユーザ登録・検索開始ボタン９３を押下することによって、検索システム内で、新規ユーザとして登録され、同時にそのユーザ独自のキーワードデータベースが新規に作成される。
【００５７】
次に、ステップＳ１３では、作成された新規キーワードデータベースの読み出しが行われ、図５の画像検索アプリケーション２１が起動される。そこで、新規キーワードデータベースを用いた検索システムが提供される。
【００５８】
ステップＳ１４では、図１２の検索システムログインウィンドウ８１の、ユーザ名入力フィールド８２にユーザ名を入力し、ログインボタン８３を押すことによって、検索システムにログインすることができる。
【００５９】
ステップＳ１５では、ログインしたユーザのユーザデータベースが読み出され、画像検索アプリケーション２１が起動される。そこで、ユーザ独自のキーワードデータベースを用いた検索システムが提供される。
【００６０】
ステップＳ１６では、検索作業を行う。検索作業の詳細については、前記第１〜第３の実施の形態で説明済みであるので、ここでの説明は省略する。
【００６１】
ステップＳ１７では、検索が終了すると、検索システムからユーザがログオフする。
【００６２】
このように、本実施の形態では、ユーザごとに異なったデータベースを用意し、それぞれが検索を行うことによって、独自のキーワードを追加登録することができ、ユーザの個性に合わせた検索システムを構築することができる。
【００６３】
図１１は、実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【００６４】
画像データＤＣＦ＿０００２．ｊｐｇには、エメラルドグリーンの海が写っており、「海」と「夏」の２つのキーワードがデータベースに登録されている（新規キーワードデータベース７１）。この画像データＤＣＦ＿０００２．ｊｐｇ（「海」の写った画像）を、ユーザＡとユーザＢが検索を行う。
【００６５】
ユーザＡは、「海」という言葉に対して、「青い」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７２にする。
【００６６】
一方、ユーザＢは、「海」という言葉に対して、「透明」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７４にする。
【００６７】
画像データＤＣＦ＿０００２．ｊｐｇをＯＲ検索で検索後、両者のキーワードデータベースは、それぞれ、ユーザＡ用キーワードデータベース７３およびユーザＢ用キーワードデータベース７５となり、ユーザ毎に異なったデータベースが構築される。こうすることで、本来エメラルドグリーンである画像に対しても、ユーザＡは「青い」というキーワードで、今後検索できるようになる。同様に、本来エメラルドグリーンである画像に対しても、ユーザＢは「透明」というキーワードで、今後検索できるようになる。
【００６８】
このように、それぞれのユーザが思い浮かんだキーワードを、そのままデータベースに登録できるので、ユーザは、自分の思い浮かんだキーワードで検索を行うことができるようになる。
【００６９】
（第５の実施の形態）
本実施の形態では、画像データに付加されたメタデータから直接、検索・キーワードの追加登録を行う方法について説明する。
【００７０】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００７１】
ある画像データに、図１４のように、メタデータ１０１が付加されていたとする。前記第１〜第４の実施の形態では、このメタデータ内にあるキーワードをデータベースに登録して、検索を行っていたが、ここでは、メタデータ内にあるキーワードを、そのまま検索用キーワードとして使用する。例えば、クエリキーワード１０２を用いて、ＯＲ検索を行うとする。
【００７２】
前記第１〜第４の実施の形態では、データベース内にあるキーワードと、クエリキーワード１０２との一致を調査したが、この場合は、メタデータ１０１を直接読み出して、その中にあるキーワードとの一致を調査する。すると、「○×教会」というキーワードが一致し、検索が終了する。このとき、クエリキーワード履歴には、「佐藤○△」が保存されており、このキーワードがメタデータに追加登録される（メタデータ１０３）。
【００７３】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードをメタデータに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００７４】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７５】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７６】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００７７】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
以下、本発明の実施態様の例を列挙する。
【００８０】
（実施態様１） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、
クエリとなるキーワードを入力する入力手段と、
該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、
前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、
該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録手段と
を有することを特徴とするマルチメディアデータ検索システム。
【００８１】
（実施態様２） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースと、
クエリとなるキーワードを入力する入力手段と、
該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、
前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、
該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録手段と
を有することを特徴とするマルチメディアデータ検索システム。
【００８２】
（実施態様３） 前記データベースは、検索を行うユーザごとに用意されることを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８３】
（実施態様４） 前記マルチメディアデータは、静止画像データ、音声データおよび動画像データを含むことを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８４】
（実施態様５） 前記クエリキーワード記憶手段に記憶されているクエリキーワードを消去する消去手段をさらに有することを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８５】
（実施態様６） 前記検索用キーワード追加登録手段は、検索用キーワードを前記データベースに追加登録するときに、クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加登録することを特徴とする請求項１に記載のマルチメディアデータ検索システム。
【００８６】
（実施態様７） 前記メタデータ追加登録手段は、キーワードを当該メタデータに追加登録するときに、クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加登録することを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８７】
（実施態様８） 前記メタデータは、ＸＭＬで記述されることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８８】
（実施態様９） 前記メタデータは、当該マルチメディアデータのヘッダ部分に記載されていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８９】
（実施態様１０） 前記メタデータは、当該マルチメディアデータの終端部分に記載されていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００９０】
（実施態様１１） 上記メタデータは、当該マルチメディアデータとは、別のファイルとして保存されており、当該マルチメディアデータと、リンクで結ばれていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００９１】
（実施態様１２） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録ステップと
を有することを特徴とするマルチメディアデータ検索方法。
【００９２】
（実施態様１３） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録ステップと
を有することを特徴とするマルチメディアデータ検索方法。
【００９３】
（実施態様１４） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
前記マルチメディアデータ検索方法は、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録ステップと
を有する
ことを特徴とするプログラム。
【００９４】
（実施態様１５） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
前記マルチメディアデータ検索方法は、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録ステップと
を有する
ことを特徴とするプログラム。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、一度検索に用いたキーワードを、新たな検索用キーワードとして、データベースやメタデータに追加登録することによって、検索効率を上げることができ、検索にかかる煩わしさを軽減することができる。
【００９６】
また、ユーザごとに、異なったデータベースを用意することによって、ユーザの個性に合わせた画像検索システムが構築できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【図２】画像データにメタデータが登録されている様子を示した図である。
【図３】図２のメタデータを画像データに登録する方法の一例を示した概略図である。
【図４】メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である 。
【図５】一般的な画像検索アプリケーションの概要を表した図である。
【図６】図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【図７】図５のキーワード追加処理を説明するための図である。
【図８】ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図９】ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図１０】異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【図１１】実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【図１２】起動された検索システムログインウィンドウの一例を示す図である。
【図１３】起動されたユーザ新規登録ウィンドウ９１の一例を示す図である。
【図１４】メタデータのキーワードが増加する様子を表した概要図である。
【符号の説明】
１ マルチメディアデータ検索システム
２ 入力装置
３ 表示装置
４ 蓄積装置
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ バス
【発明の属する技術分野】
本発明は、キーワードを用いてマルチメディアデータを検索するマルチメディアデータ検索システム、マルチメディアデータ検索方法および該検索方法を実現するためのプログラムに関する。
【０００２】
【従来の技術】
キーワードを用いた検索は、従来から行われており、検索を補助するシステムも多く登場している。例えば、入力されたキーワードの類義語を用いて、検索を行うようにしたものがある（例えば、特許文献１参照）。しかし、実際にキーワードを用いて、所望の画像を検索することは容易ではない。なぜなら、検索用に入力するキーワードは、ユーザ個人の主観によって大きく異なり、類義語ではカバーできないことが多いからである。例えば、ある山の写真を見て、「高い」と感じる人もいれば、「低い」と感じる人もいるからである。そのため、検索結果を得るために何度も検索し直すということが頻繁に発生し得る。
【０００３】
また、検索用に登録されたキーワード数が少ない場合もある。例えば、運動会で撮影した画像があり、場所と時間のキーワードしか登録されていないとする。そのような画像に対して、ユーザが「運動会」というキーワードを思いつき、検索を行っても、その画像は検索できない。このような場合、例えば、文書検索においては、検索用にユーザが入力したキーワードを新たなキーワードとして、登録する方法も存在する（例えば、特許文献２参照）。
【０００４】
【特許文献１】
特開平１１−２７２７０６号公報
【特許文献２】
特開平９−１９８３９５号公報
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の方法は、文書の全文検索に適用できるものの、メタデータを用いた静止画像検索などには適用できない。
【０００６】
本発明は、この点に着目してなされたものであり、検索効率をより向上させることが可能となるマルチメディアデータ検索システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載のマルチメディアデータ検索システムは、各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、クエリとなるキーワードを入力する入力手段と、該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録手段とを有することを特徴とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【０００９】
（第１の実施の形態）
本実施の形態では、画像検索を繰り返すことによって、検索用キーワードを増加させる（検索効率を上げる）ことができる検索システムの構築方法について説明する。
【００１０】
図１は、本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【００１１】
同図に示すように、マルチメディアデータ検索システム１は、入力装置２と、表示装置３と、蓄積装置４と、ＣＰＵ５と、ＲＯＭ６と、ＲＡＭ７とにより、主として構成されている。そして、上記構成要素２〜７は、バス８を介して、相互に接続されている。
【００１２】
入力装置２は、ユーザからの指示や、データを入力するものであり、キーボードやマウスなどのポインティングシステムを含む。本実施の形態では、文字の入力にはキーボードを用い、ボタンの押下（クリック）にはマウスを用いている。
【００１３】
表示装置３は、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示するものであり、通常はＣＲＴ（Ｃａｔｈｏｄｅ−ｒａｙ Ｔｕｂｅ）や、液晶ディスプレイなどが用いられる。
【００１４】
蓄積装置４は、画像データや、検索用キーワードのデータベースを蓄積するものであり、通常は、ハードディスク装置（ＨＤＤ）が用いられる。
【００１５】
ＣＰＵ５は、上述した各構成要素の処理の全てに関わる。
【００１６】
ＲＯＭ６およびＲＡＭ７は、ＣＰＵ５が実行する処理に必要なプログラム、データおよび作業領域などをＣＰＵ５に提供する。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置４に格納されているか、ＲＯＭ６に格納されているものとする。蓄積装置４に格納されている場合は、一旦ＲＡＭ３に読み込まれてから実行される。
【００１７】
なお、本実施の形態のマルチメディアデータ検索システムには、上記以外にも、様々な構成要素が存在するが、本発明の特徴ではないので、その説明は省略する。
【００１８】
図２は、画像データ（ＤＣＦ＿０００１．ｊｐｇ）１１にメタデータ１２が登録されている様子を示した図である。なお、本実施の形態では、説明の都合上、マルチメディアデータとして、画像データ（静止画像データ）を例に挙げて説明するが、これに限らず、動画像データや音声データ等、どのようなデータであってもよい。
【００１９】
メタデータとは、データに付随するデータのことで、画像データにおいては、主に撮影日時や被写体の情報などを意味する。通常、画像データを検索する際には、このメタデータをキーワードとして、データベースに登録しておき、このデータベースのキーワードを用いて、検索を行う。もちろん、このメタデータを直接用いて、検索を行っても良い。
【００２０】
なお、本実施の形態では、メタデータ１２を画像データ１１に登録する際には、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）で記述する。もちろん、ＸＭＬ以外にも、ＳＧＭＬ（Ｓｔａｎｄａｒｄ Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＣＳＶ（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅ）など、データを記述できるものなら、何を採用してもよい。
【００２１】
図３は、図２のメタデータ１２を画像データ１１に登録する方法の一例を示した概略図である。
【００２２】
図３に示すように、画像データの末尾に、メタデータを付加する形式になっている。もちろん、この方法以外にも、画像データのヘッダ部分にメタデータを記述する方法でも構わないし、メタデータを別ファイルとして持ち、画像データには、メタデータファイルへのリンクのみを記述するような方法であっても構わない。
【００２３】
図４は、メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である。
【００２４】
同図に示すように、キーワードデータベース１３内には、画像ファイル名、画像ファイルへのパス、メタデータから取り出した検索用キーワードが登録されている。
【００２５】
図５は、一般的な画像検索アプリケーションの概要を表した図である。
【００２６】
同図に示すように、クエリとなるキーワードを、クエリキーワード入力領域２２に入力し、検索開始ボタン２４をクリックすると、検索を開始する。検索が終了すると、検索結果一覧表示画面２６に、検索された画像群のサムネイル一覧が表示される。サムネイル一覧の中から、サムネイルを一つ選んでクリックすると、画像選択カーソル２７がそのサムネイルに移動する。画像選択カーソル２７によって、選択されているサムネイルを、ダブルクリックすると、画像表示画面２８が現れ、選択されているサムネイルを拡大表示する。拡大表示された画像が検索対象である場合には、ＯＫボタン２９をクリックする。検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０をクリックする。
【００２７】
また、複数のキーワードで検索を行う場合には、ＡＮＤ／ＯＲ指定を、検索モード切り替えスイッチ２３を用いて行う。なお、本実施の形態では、単数キーワードでの検索を考えているので、特に言及しない。
【００２８】
また、検索クリアボタン２５は、現在の検索を中止して、新たに検索を行う場合に使用する。
【００２９】
図６は、図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【００３０】
同図において、まず、ステップＳ１では、ユーザが検索を行うかどうかを判別する。検索を行う場合には、ステップＳ２に進み、検索を行わない場合には、全ての処理を終了する。
【００３１】
ステップＳ２では、クエリとなるキーワードを入力する。
【００３２】
次に、ステップＳ３では、検索開始ボタン２４をクリックする。
【００３３】
そして、ステップＳ４では、システム側により、クエリキーワードが、クエリキーワード履歴に保存される。クエリキーワード履歴とは、ＲＡＭ７に作成されたメモリ領域で、検索に利用したクエリキーワードを全て保存できる。例えば、図７において、始めに「結婚式」（第１クエリキーワード４１）というキーワードで、検索を行ったとする。すると、始めは空だったクエリキーワード履歴に、「結婚式」というキーワードが追加される（クエリキーワード履歴４２）。同様に、「披露宴」（第２クエリキーワード４３）というキーワードで検索を行った場合、クエリキーワード履歴に「披露宴」が追加される（クエリキーワード履歴４４）。このように、所望の画像を検索するために、異なるキーワードで検索を何度も繰り返すと、その都度、クエリキーワード履歴にキーワードが追加されていく。
【００３４】
次に、ステップＳ５では、入力したクエリキーワードと、データベースに登録されているキーワードとの一致が、システムにより調査され、データベースに一致するキーワードが見つかれば、その画像データのサムネイルが検索結果一覧表示画面２６に表示される。なお、このときの一致とは、全文一致でも、部分一致でも構わない。
【００３５】
そして、ステップＳ６では、検索結果一覧表示画面２６に表示されたサムネイルの中から、検索対象と思われる画像があるかどうかを判断し、ある場合には、ステップＳ７に進む一方、ない場合には、ステップＳ１に戻る。
【００３６】
ステップＳ１に戻った際に、別の画像を検索する場合は、図５の検索クリアボタン２５を押す。すると、クエリキーワード履歴の内容が全て消去され、新たな検索を行える。
【００３７】
ステップＳ７では、検索対象と思われるサムネイルをダブルクリックし、画像表示画面２８を用いて、画像を閲覧する。
【００３８】
続くステップＳ８では、閲覧した画像が検索対象であるかどうかを判断し、検索対象であった場合には、ＯＫボタン２９をクリックし、ステップＳ９に進む一方、検索対象でなかった場合には、Ｃａｎｃｅｌボタン３０を押し、ステップＳ６に戻る。
【００３９】
ステップＳ９では、クエリキーワード履歴に保存されているキーワードが、データベースに追加登録される。具体的には、図７のクエリキーワード履歴４６の状態で検索対象が見つかったとすると、クエリキーワード履歴４６内に保存されている、「結婚式」、「披露宴」、「○×教会」がデータベースへの追加候補として挙げられる。しかし、データベース４７には、もともと、「○×教会」が登録済みであるので、「○×教会」はここでは登録されず、結局、「結婚式」、「披露宴」の２つのキーワードがデータベースに追加登録される。もちろん、追加するキーワードをユーザが選定するような構成であっても、構わない。
【００４０】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４１】
（第２の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＡＮＤ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４２】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４３】
図８は、ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＡＮＤ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４４】
まず始めに、第１クエリキーワード５１で、検索を行うと、クエリキーワード履歴５２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード５３で、再び検索を行う。すると、本来であれば、第２クエリキーワード５３に含まれるキーワード全てが、クエリキーワード履歴に追加されるはずであるが、ＡＮＤ検索の場合は、第１クエリキーワード５１と、第２クエリキーワード５３に同じキーワードが含まれる場合がある。よって、この場合は、「７月１日」はもう既に、クエリキワード履歴に存在するので、「○×教会」のみ、追加される（クエリキーワード履歴５４）。ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「７月１日」および「○×教会」の４つのキーワードが追加されるはずであるが、もともとデータベース５５には、「○×教会」と「７月１日」が登録されているので、この場合は、「結婚式」と「披露宴」のみ追加登録される（キーワードデータベース５６）。
【００４５】
このように、本実施の形態では、ＡＮＤ検索においても、ユーザが検索時に思い浮かんだキーワードを、データベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００４６】
（第３の実施の形態）
本実施の形態では、複数のキーワードを用いて、ＯＲ検索を行うことにより、検索用キーワードを増加させる（検索効率を上げる）ことのできる検索システムの構築方法について説明する。
【００４７】
本実施の形態におけるシステム構成等は、上記第１の実施の形態のそれを用いればよいので、その説明を省略する。また、検索によって、データベースに登録されるキーワード数が増加する過程も、上記第１の実施の形態と同様であるので、その詳細な説明は省略する。
【００４８】
図９は、ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。ＯＲ検索を行う場合は、キーワードとキーワードの間にスペースを入れる。
【００４９】
まず始めに、第１クエリキーワード６１で、検索を行うと、クエリキーワード履歴６２のようになる。ここで、検索対象が見つからなかったとして、第２クエリキーワード６３で、再び検索を行うと、クエリキーワード履歴６４のようになる。ＡＮＤ検索と違い、第１クエリキーワードと、第２クエリキーワードが重なることはないので、ＯＲ検索の場合は、クエリキーワード全てがクエリキーワード履歴に保存される。
【００５０】
ここで、検索対象が見つかったとすると、データベースには、「結婚式」、「披露宴」、「○×教会」および「佐藤○△」の４つのキーワードが追加されるはずであるが、もともとデータベース６５には、「○×教会」が登録されてあるので、この場合は、「結婚式」、「披露宴」および「佐藤○△」のみ追加登録される（キーワードデータベース６６）。
【００５１】
このように、本実施の形態では、ＯＲ検索においても、ユーザが検索時に思い浮かんだキーワードをデータベースに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００５２】
（第４の実施の形態）
本実施の形態では、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する方法について説明する。
【００５３】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００５４】
図１０は、異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【００５５】
同図において、まず、ステップＳ１１で、ユーザが検索システムを立ち上げると、図１２の検索システムログインウィンドウが起動される。そこで、初めて検索を行う場合は、ユーザ新規登録ボタン８４を押し、ステップＳ１２に進む。もう既に一度以上検索を行ったことがある場合は、ステップＳ１４に進む。
【００５６】
ステップＳ１２では、図１３のユーザ新規登録ウィンドウ９１が起動される。そして、ユーザ名入力フィールド９２に希望のユーザ名を入力し、ユーザ登録・検索開始ボタン９３を押下することによって、検索システム内で、新規ユーザとして登録され、同時にそのユーザ独自のキーワードデータベースが新規に作成される。
【００５７】
次に、ステップＳ１３では、作成された新規キーワードデータベースの読み出しが行われ、図５の画像検索アプリケーション２１が起動される。そこで、新規キーワードデータベースを用いた検索システムが提供される。
【００５８】
ステップＳ１４では、図１２の検索システムログインウィンドウ８１の、ユーザ名入力フィールド８２にユーザ名を入力し、ログインボタン８３を押すことによって、検索システムにログインすることができる。
【００５９】
ステップＳ１５では、ログインしたユーザのユーザデータベースが読み出され、画像検索アプリケーション２１が起動される。そこで、ユーザ独自のキーワードデータベースを用いた検索システムが提供される。
【００６０】
ステップＳ１６では、検索作業を行う。検索作業の詳細については、前記第１〜第３の実施の形態で説明済みであるので、ここでの説明は省略する。
【００６１】
ステップＳ１７では、検索が終了すると、検索システムからユーザがログオフする。
【００６２】
このように、本実施の形態では、ユーザごとに異なったデータベースを用意し、それぞれが検索を行うことによって、独自のキーワードを追加登録することができ、ユーザの個性に合わせた検索システムを構築することができる。
【００６３】
図１１は、実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【００６４】
画像データＤＣＦ＿０００２．ｊｐｇには、エメラルドグリーンの海が写っており、「海」と「夏」の２つのキーワードがデータベースに登録されている（新規キーワードデータベース７１）。この画像データＤＣＦ＿０００２．ｊｐｇ（「海」の写った画像）を、ユーザＡとユーザＢが検索を行う。
【００６５】
ユーザＡは、「海」という言葉に対して、「青い」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７２にする。
【００６６】
一方、ユーザＢは、「海」という言葉に対して、「透明」というイメージを持っている。そこで、クエリキーワードを、クエリキーワード７４にする。
【００６７】
画像データＤＣＦ＿０００２．ｊｐｇをＯＲ検索で検索後、両者のキーワードデータベースは、それぞれ、ユーザＡ用キーワードデータベース７３およびユーザＢ用キーワードデータベース７５となり、ユーザ毎に異なったデータベースが構築される。こうすることで、本来エメラルドグリーンである画像に対しても、ユーザＡは「青い」というキーワードで、今後検索できるようになる。同様に、本来エメラルドグリーンである画像に対しても、ユーザＢは「透明」というキーワードで、今後検索できるようになる。
【００６８】
このように、それぞれのユーザが思い浮かんだキーワードを、そのままデータベースに登録できるので、ユーザは、自分の思い浮かんだキーワードで検索を行うことができるようになる。
【００６９】
（第５の実施の形態）
本実施の形態では、画像データに付加されたメタデータから直接、検索・キーワードの追加登録を行う方法について説明する。
【００７０】
本実施の形態におけるシステム構成等は、前記第１の実施の形態の用いればよいので、その説明を省略する。
【００７１】
ある画像データに、図１４のように、メタデータ１０１が付加されていたとする。前記第１〜第４の実施の形態では、このメタデータ内にあるキーワードをデータベースに登録して、検索を行っていたが、ここでは、メタデータ内にあるキーワードを、そのまま検索用キーワードとして使用する。例えば、クエリキーワード１０２を用いて、ＯＲ検索を行うとする。
【００７２】
前記第１〜第４の実施の形態では、データベース内にあるキーワードと、クエリキーワード１０２との一致を調査したが、この場合は、メタデータ１０１を直接読み出して、その中にあるキーワードとの一致を調査する。すると、「○×教会」というキーワードが一致し、検索が終了する。このとき、クエリキーワード履歴には、「佐藤○△」が保存されており、このキーワードがメタデータに追加登録される（メタデータ１０３）。
【００７３】
このように、本実施の形態では、ユーザが検索時に思い浮かんだキーワードをメタデータに追加登録できるので、二回目以降の検索においては、直感的に思い浮かんだキーワードで検索できるようになり、検索にかかる煩わしさを軽減することができる。
【００７４】
なお、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７５】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７６】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００７７】
また、コンピュータが読出したプログラムコードを実行することにより、上述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した各実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７９】
以下、本発明の実施態様の例を列挙する。
【００８０】
（実施態様１） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、
クエリとなるキーワードを入力する入力手段と、
該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、
前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、
該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録手段と
を有することを特徴とするマルチメディアデータ検索システム。
【００８１】
（実施態様２） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースと、
クエリとなるキーワードを入力する入力手段と、
該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、
前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、
該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録手段と
を有することを特徴とするマルチメディアデータ検索システム。
【００８２】
（実施態様３） 前記データベースは、検索を行うユーザごとに用意されることを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８３】
（実施態様４） 前記マルチメディアデータは、静止画像データ、音声データおよび動画像データを含むことを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８４】
（実施態様５） 前記クエリキーワード記憶手段に記憶されているクエリキーワードを消去する消去手段をさらに有することを特徴とする請求項１または２に記載のマルチメディアデータ検索システム。
【００８５】
（実施態様６） 前記検索用キーワード追加登録手段は、検索用キーワードを前記データベースに追加登録するときに、クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加登録することを特徴とする請求項１に記載のマルチメディアデータ検索システム。
【００８６】
（実施態様７） 前記メタデータ追加登録手段は、キーワードを当該メタデータに追加登録するときに、クエリキーワード記憶手段に記憶されているクエリキーワードのうち、任意の一部のクエリキーワードのみを追加登録することを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８７】
（実施態様８） 前記メタデータは、ＸＭＬで記述されることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８８】
（実施態様９） 前記メタデータは、当該マルチメディアデータのヘッダ部分に記載されていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００８９】
（実施態様１０） 前記メタデータは、当該マルチメディアデータの終端部分に記載されていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００９０】
（実施態様１１） 上記メタデータは、当該マルチメディアデータとは、別のファイルとして保存されており、当該マルチメディアデータと、リンクで結ばれていることを特徴とする請求項２に記載のマルチメディアデータ検索システム。
【００９１】
（実施態様１２） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録ステップと
を有することを特徴とするマルチメディアデータ検索方法。
【００９２】
（実施態様１３） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法において、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録ステップと
を有することを特徴とするマルチメディアデータ検索方法。
【００９３】
（実施態様１４） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
前記マルチメディアデータ検索方法は、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録ステップと
を有する
ことを特徴とするプログラム。
【００９４】
（実施態様１５） 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを含むメタデータを対応付けて記憶するデータベースに基づいて、所望のマルチメディアデータを検索するマルチメディアデータ検索方法を、コンピュータに実現させるためのプログラムであって、
前記マルチメディアデータ検索方法は、
クエリとなるキーワードを入力する入力ステップと、
該入力ステップによってキーワードが入力される度に、該キーワードを累積してクエリキーワード記憶手段に記憶する記憶ステップと、
前記入力ステップによって入力されたキーワードに基づいて、マルチメディアデータを検索する検索ステップと、
該検索ステップによって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対応するメタデータに追加登録するメタデータ追加登録ステップと
を有する
ことを特徴とするプログラム。
【００９５】
【発明の効果】
以上説明したように、本発明によれば、一度検索に用いたキーワードを、新たな検索用キーワードとして、データベースやメタデータに追加登録することによって、検索効率を上げることができ、検索にかかる煩わしさを軽減することができる。
【００９６】
また、ユーザごとに、異なったデータベースを用意することによって、ユーザの個性に合わせた画像検索システムが構築できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るマルチメディアデータ検索システムの概略システム構成を示すブロック図である。
【図２】画像データにメタデータが登録されている様子を示した図である。
【図３】図２のメタデータを画像データに登録する方法の一例を示した概略図である。
【図４】メタデータから取り出した情報を、キーワードとして、データベースに登録した様子を表した図である 。
【図５】一般的な画像検索アプリケーションの概要を表した図である。
【図６】図５の画像検索アプリケーションを用いて、検索を繰り返すことにより、データベースのキーワード数を増加させる手順を示すフローチャートである。
【図７】図５のキーワード追加処理を説明するための図である。
【図８】ＡＮＤ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図９】ＯＲ検索によって、データベースに登録されるキーワード数が増加する様子を表した概要図である。
【図１０】異なるユーザごとに、異なるキーワードデータベースを用意することによって、ユーザの個性に合わせた検索システムを構築する手順を示すフローチャートである。
【図１１】実際に２人のユーザが、新規にユーザ登録し、「海」の画像を検索する様子を示した図である。
【図１２】起動された検索システムログインウィンドウの一例を示す図である。
【図１３】起動されたユーザ新規登録ウィンドウ９１の一例を示す図である。
【図１４】メタデータのキーワードが増加する様子を表した概要図である。
【符号の説明】
１ マルチメディアデータ検索システム
２ 入力装置
３ 表示装置
４ 蓄積装置
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
８ バス
Claims (1)
- 各マルチメディアデータにそれぞれ、少なくとも１つのキーワードを対応付けて記憶するデータベースと、
クエリとなるキーワードを入力する入力手段と、
該入力手段によってキーワードが入力される度に、該キーワードを累積して記憶するクエリキーワード記憶手段と、
前記入力手段によって入力されたキーワードに基づいて、マルチメディアデータを検索する検索手段と、
該検索手段によって所望のマルチメディアデータが検索されたときに、前記クエリキーワード記憶手段に記憶されているキーワードを、当該マルチメディアデータに対する検索用キーワードとして、前記データベースに追加登録する検索用キーワード追加登録手段と
を有することを特徴とするマルチメディアデータ検索システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002310995A JP3994188B2 (ja) | 2002-10-25 | 2002-10-25 | マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002310995A JP3994188B2 (ja) | 2002-10-25 | 2002-10-25 | マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004145706A true JP2004145706A (ja) | 2004-05-20 |
| JP2004145706A5 JP2004145706A5 (ja) | 2005-04-07 |
| JP3994188B2 JP3994188B2 (ja) | 2007-10-17 |
Family
ID=32456353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002310995A Expired - Fee Related JP3994188B2 (ja) | 2002-10-25 | 2002-10-25 | マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3994188B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164225A (ja) * | 2005-12-09 | 2007-06-28 | Toyota Motor Corp | 情報検索装置 |
| WO2008114433A1 (ja) * | 2007-03-20 | 2008-09-25 | Fujitsu Limited | 情報検索システム、情報検索プログラムおよび情報検索方法 |
| JP2009277015A (ja) * | 2008-05-14 | 2009-11-26 | Fujitsu Ltd | 入力支援プログラム、入力支援装置および入力支援方法 |
| JP2011215723A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | シソーラス構築システム、シソーラス構築方法およびシソーラス構築プログラム |
| JP4976572B1 (ja) * | 2011-04-28 | 2012-07-18 | テンソル・コンサルティング株式会社 | 商品キーワード管理システム |
| US8473471B2 (en) | 2008-10-24 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, method, program and storage medium |
| JP2016024570A (ja) * | 2014-07-18 | 2016-02-08 | 日本電気株式会社 | 作業手順書作成装置、作業手順書作成システム及び作業手順書作成方法 |
| JP2016189215A (ja) * | 2016-07-05 | 2016-11-04 | ヤフー株式会社 | 抽出装置、抽出方法および抽出プログラム |
-
2002
- 2002-10-25 JP JP2002310995A patent/JP3994188B2/ja not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007164225A (ja) * | 2005-12-09 | 2007-06-28 | Toyota Motor Corp | 情報検索装置 |
| WO2008114433A1 (ja) * | 2007-03-20 | 2008-09-25 | Fujitsu Limited | 情報検索システム、情報検索プログラムおよび情報検索方法 |
| JP2009277015A (ja) * | 2008-05-14 | 2009-11-26 | Fujitsu Ltd | 入力支援プログラム、入力支援装置および入力支援方法 |
| US8473471B2 (en) | 2008-10-24 | 2013-06-25 | Canon Kabushiki Kaisha | Information processing apparatus, method, program and storage medium |
| JP2011215723A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | シソーラス構築システム、シソーラス構築方法およびシソーラス構築プログラム |
| JP4976572B1 (ja) * | 2011-04-28 | 2012-07-18 | テンソル・コンサルティング株式会社 | 商品キーワード管理システム |
| JP2016024570A (ja) * | 2014-07-18 | 2016-02-08 | 日本電気株式会社 | 作業手順書作成装置、作業手順書作成システム及び作業手順書作成方法 |
| JP2016189215A (ja) * | 2016-07-05 | 2016-11-04 | ヤフー株式会社 | 抽出装置、抽出方法および抽出プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3994188B2 (ja) | 2007-10-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4445509B2 (ja) | 構造化文書検索システム及びプログラム | |
| US9367637B2 (en) | System and method for searching a bookmark and tag database for relevant bookmarks | |
| US8060514B2 (en) | Methods and systems for managing composite data files | |
| US7606794B2 (en) | Active Abstracts | |
| RU2427896C2 (ru) | Аннотирование документов в совместно работающих приложениях данными в разрозненных информационных системах | |
| US7921092B2 (en) | Topic-focused search result summaries | |
| US9183261B2 (en) | Lexicon based systems and methods for intelligent media search | |
| US20060294476A1 (en) | Browsing and previewing a list of items | |
| US20090043749A1 (en) | Extracting query intent from query logs | |
| US20060195435A1 (en) | System and method for providing query assistance | |
| US20090094189A1 (en) | Methods, systems, and computer program products for managing tags added by users engaged in social tagging of content | |
| US20130268554A1 (en) | Structured document management apparatus and structured document search method | |
| US20100077300A1 (en) | Computer Method and Apparatus Providing Social Preview in Tag Selection | |
| US20060173755A1 (en) | Catalog management apparatus, catalog generation method and catalog retrieval method | |
| JP2002189757A (ja) | データ検索装置及び方法 | |
| JP3994188B2 (ja) | マルチメディアデータ検索システム、マルチメディア検索方法および該検索方法を実現するためのプログラム | |
| US20110252313A1 (en) | Document information selection method and computer program product | |
| US7949656B2 (en) | Information augmentation method | |
| JP2008234078A (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び情報処理プログラムを記録した記録媒体 | |
| US8131752B2 (en) | Breaking documents | |
| US9020995B2 (en) | Hybrid relational, directory, and content query facility | |
| JP4477931B2 (ja) | 検索リクエスト装置、検索リクエスト方法、検索リクエストプログラムおよび検索リクエストプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004126770A (ja) | 構造化文書検索方法、構造化文書検索システム及び構造化文書データベース管理装置 | |
| JP2007025831A (ja) | コンテンツ検索装置及びその方法 | |
| JP3405957B2 (ja) | 検索装置、検索方法、並びに、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040521 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040521 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070202 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070427 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070522 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20070627 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |