JP2000067057A - 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 - Google Patents
画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体Info
- Publication number
- JP2000067057A JP2000067057A JP10231757A JP23175798A JP2000067057A JP 2000067057 A JP2000067057 A JP 2000067057A JP 10231757 A JP10231757 A JP 10231757A JP 23175798 A JP23175798 A JP 23175798A JP 2000067057 A JP2000067057 A JP 2000067057A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- similarity
- key
- sequential display
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storing Facsimile Image Data (AREA)
- Processing Or Creating Images (AREA)
Abstract
装置を得る。 【解決手段】 画像特徴量抽出手段31は各画像データ
の画像特徴量を抽出する。類似度計算手段35はキー画
像データの画像特徴量とキー画像データ以外の各画像デ
ータ(検索対象画像データ)の画像特徴量との比較結果
に基づき、各画像データのキー画像データに対する類似
性の尺度となる類似度を計算する。ソート画像逐次表示
手段37は、スライド条件設定手段34より得られるス
ライド条件設定値の類似度変化関数情報に基づき、キー
画像データを起点として、類似度別画像ソート手段36
より得られる類似度別ソート結果あるいは類似度変化関
数に沿って画像データを逐次表示してスライドショーを
実行する。
Description
数の画像データを逐次表示する画像データ逐次表示装
置、画像データ逐次表示方法及びその方法を実行するプ
ログラムが記録された記録媒体に関する。
く、特にパソコンなどの性能が向上したことに伴い、ビ
ジネス分野等の特定用途のみならず、一般ユーザ(コン
シューマ)界においても、画像データベース装置や電子
ファイリング装置等が普及してきている。画像データベ
ース装置及び電子ファイリング装置は画像や文書を入力
機器で取り込み、キーワード等の付加情報と共に画像デ
ータあるいは文書データとしてデータベースに蓄積し、
データベースを管理し、必要に応じてデータベースから
画像データあるいは文書データを検索し、検索したデー
タを出力装置にてディスプレイ表示あるいは印刷するこ
とが可能な装置である。
れた画像データベース内の画像データには適切なキーワ
ード等の付加情報が対応付けられていないと、検索が効
率的に行うことが不可能となるため、所望の画像データ
を速やかに得ることが困難となり実用性に乏しくなる傾
向にある。
付けがなされているか否かに関係なく、大量の画像デー
タが画像データベースに蓄積された場合の画像データの
有効な活用法が検討されている。
間間隔毎に画像データを逐次表示していくスライドショ
ーによる画像データ逐次表示方法があり、例えば、特公
平4−17545号公報、特公平4−24747号公報
等に開示されている。上記した公報にはスライドショー
の表示間隔を可変設定する機能が開示されている。
画像データ逐次表示方法における画像データの表示順
は、画像データの蓄積番地順等の予め定められている順
序でしか行えないため、画像データの内容を考慮した逐
次表示が全く行えておらず、検索効率が非常に悪いとい
う問題点があった。
されたもので、検索効率の向上を図った画像データ逐次
表示装置を得ることを目的とする。
1記載の画像データ逐次表示装置は、複数の画像データ
を格納する画像データ格納手段と、前記画像データ格納
手段から前記複数の画像データを受け、前記複数の画像
データそれぞれの画像特徴量を抽出する画像特徴量抽出
手段と、一の前記複数の画像データであるキー画像デー
タの画像特徴量と他の前記複数の画像データである検索
対象画像データの画像特徴量それぞれとの比較結果に基
づき、前記検索対象画像データそれぞれの前記キー画像
データに対する類似性の尺度を示す類似度を計算する類
似度計算手段と、前記検索対象画像データそれぞれの類
似度に基づき前記画像データ格納手段から得た前記検索
対象画像データを逐次表示する画像データ逐次表示手段
とを備えている。
装置において、前記画像データ逐次表示手段は、前記検
索対象画像データから一つ選択して新たな前記キー画像
データとして採用することで前記キー画像データを変更
するキー画像データ変更処理をさらに行っている。
装置は、前記キー画像データ変更処理を行うタイミング
を規定したキー画像データ変更情報を含む表示条件設定
値を前記画像データ逐次表示手段に付与する表示条件設
定値付与手段をさらに備えている。
装置において、前記表示条件設定値は、前記キー画像デ
ータを選択する基準を規定したキー画像データ選択情報
をさらに含んでいる。
装置は、前記検索対象画像データの逐次表示基準を規定
した逐次表示基準情報を含む表示条件設定値を前記画像
データ逐次表示手段に付与する表示条件設定値付与手段
をさらに備えている。
装置において、前記逐次表示基準情報は前記類似度が示
す類似性が近い順での前記検索対象画像データの逐次表
示を指示する前記逐次表示基準を規定した情報を含んで
いる。
装置において、前記逐次表示基準情報は、一の画像デー
タの表示毎に比較用類似度が変化する類似度変化関数に
基づき、該類似度変化関数より得られる前記比較用類似
度と最も近い前記類似度を有する前記検索対象画像デー
タの表示を指示する逐次表示基準を規定した情報を含ん
でいる。
タ逐次表示方法は、(a) 複数の画像データそれぞれの画
像特徴量を抽出するステップと、(b) 前記複数の画像デ
ータのうち一の画像データをキー画像データに設定する
ステップと、(c) 前記キー画像データの画像特徴量と他
の前記複数の画像データである検索対象画像データの画
像特徴量それぞれとの比較結果に基づき、前記検索対象
画像データそれぞれの前記キー画像データに対する類似
性の尺度を示す類似度を計算するステップと、(d) 前記
検索対象画像データそれぞれの類似度に基づき前記検索
対象画像データを逐次表示するステップとを備えてい
る。
方法において、前記ステップ(d) は、(d-1) 前記検索対
象画像データから一つ選択して新たな前記キー画像デー
タとして採用することで前記キー画像データを変更し、
変更した前記キー画像データに基づき前記ステップ(c)
の処理を実行させるステップを含んでいる。
体は、請求項8記載の画像データ逐次表示方法を実行さ
せるためのプログラムが記録されており、コンピュータ
読み取り可能である。
体は、請求項9記載のステップ(d-1)を実行させるため
のプログラムが記録されており、コンピュータ読み取り
可能である。
の実施の形態である画像データ逐次表示装置を実現する
ためのハードウェアシステムの構成を示す説明図であ
る。同図に示すように、ハードウェアシステムは、内部
にCPUを有しシステム全体を制御する制御装置である
コンピュータ1を中心として構成される。コンピュータ
1に付属される装置として、画像データあるいは文字デ
ータを視覚認識可能に表示するディスプレイ2と、各種
情報の入力、指示操作等を行うキーボード3及びマウス
4がある。
体であるフレキシブルディスク(一般的にフロッピーデ
ィスクと呼ばれている)をドライブするフレキシブルデ
ィスクドライバ5及びハードディスクドライバ6、画像
データあるいは画像編集によって作成した図面データを
視覚認識可能に印刷するプリンタ7、画像データを取り
込むためのスキャナー8、画像データが蓄積可能なCD
−ROMをドライブするCD−ROMドライバ9、音声
出力用のスピーカ10及び音声入力用のマイクロフォン
11が接続される。
ブロック図である。同図に示すように、コンピュータ1
の中心的役割を果たすCPU201が設けられ、CPU
201として例えばインテル社製の品番i80486が
採用される。
が接続され、クロック生成回路202から生成される基
準クロックに同期して動作する。
ROM203、RAM204、表示制御回路(CRTC
NT)205、キーボード制御回路(KBCNT)20
6、マウス制御回路(マウスCNT)207、フレキシ
ブルディスクドライバ制御回路(FDCNT)208、
ハードディスクドライバ制御回路(HDCNT)20
9、プリンタ制御回路(PRCNT)210、スキャナ
ー制御回路(SCANCNT)211、CD−ROMド
ライバ制御回路(CD−ROMCNT)212、スピー
カ制御回路(SPCNT)213、マイクロフォン制御
回路(MICCNT)214及び拡張スロット215に
接続され、各構成部203〜215それぞれと信号の授
受が可能である。
ラム等を記憶し、RAM204はデータ及びプログラム
等を一時的に記憶することができる。内部記録媒体であ
るROM203にスライドショー実行プログラムを記憶
させておけば、外部からプログラムを読み込む手間を省
くことができる。
ィスク、ハードディスクあるいはCD−ROMにスライ
ドショー実行プログラムを記憶させておき、コンピュー
タ1が上記外部記録媒体からスライドショー実行プログ
ラムをRAM204上に読みだして当該プログラムを実
行させることもできる。
データに基づき、ディスプレイ2上で画像あるいは文字
等の表示制御を行い、キーボード制御回路206及びマ
ウス制御回路207はそれぞれキーボード3及びマウス
4からの入力情報をデータバス220上に転送する。
08、ハードディスクドライバ制御回路209及びCD
−ROMドライバ制御回路212はそれぞれフレキシブ
ルディスクドライバ5、ハードディスクドライバ6及び
CD−ROMドライバ9の動作制御をそれぞれ行う。プ
リンタ制御回路210はプリンタ7の印刷動作の制御を
行い、スキャナー制御回路211はスキャナー8の画像
データ取り込み動作の制御を行う。スピーカ制御回路2
13及びマイクロフォン制御回路214はそれぞれスピ
ーカ10及びマイクロフォン11の音声出力及び音声入
力の動作制御をそれぞれ行う。
置することができ、設置された拡張ボードを介して外部
装置と接続することができる。例えば、拡張スロット2
15にSCSIボードを設置すれば、SCSI(規格)
対応のフレキシブルディスクドライバ5、ハードディス
クドライバ6、スキャナー8、CD−ROMドライバ9
及びそれ以外の外部装置と接続することが可能となる。
行プログラム、画像データ等の保管媒体としてフレキシ
ブルディスク及びハードディスクを示したが、MO(光
磁気)ディスク等の他の媒体を代用しても良い。また、
スキャナー8の代用としてデジタルカメラ等の他の画像
データ入力装置を用いても良く、プリンタ7の代用とし
てデジタルコピア等の他の出力装置を用いても良い。
である画像データ逐次表示装置の機能構成を示すブロッ
ク図である。同図に示すように、画像特徴量抽出手段3
1が画像データ格納手段32に格納された画像データベ
ースから画像データを順次受け、各画像データの画像特
徴量を抽出して画像特徴量格納手段33に格納する。こ
の際、画像データ及び画像特徴量それぞれに共通の識別
符号等を付す等により、画像データと画像特徴量との1
対1の対応づけを可能にしておく。
度変化関数の指定の有無及び関数の内容、キー画像デー
タの変更タイミングを規定したキー画像データ変更情報
並びにその選択基準を規定したキー画像データ選択情報
を含むスライド条件設定値を設定する。また、スライド
条件設定値としてスタート時のキー画像データを規定し
たスタートキー画像データ情報を含めても良い。
33から各画像データの画像特徴量をロードし、キー画
像データの画像特徴量とキー画像データ以外の画像デー
タ(検索対象画像データ)の画像特徴量との比較結果に
基づき、各画像データのキー画像データに対する類似性
の尺度となる類似度を計算する。なお、スタート時のキ
ー画像データは、スライド条件設定値にスタート時のキ
ー画像データの指示内容が存在する場合はスライド条件
設定値に基づき、それ以外の場合は類似度計算手段35
自身によってランダムに決定される。
ータを類似度別に昇順にソーティングして類似度別ソー
ト結果を得る。
画像ソート手段36から得た類似度別ソート結果とスラ
イド条件設定手段34から得たスライド条件設定値とを
受ける。そして、スライド条件設定値の類似度変化関数
情報が類似度変化関数の指定していない場合、キー画像
データを起点として、類似度別ソート結果に沿って画像
データを逐次表示してスライドショーを実行する。
ライド条件設定値の類似度変化関数情報が何らかの類似
度変化関数の指定を行っている場合、類似度変化関数の
値(比較用類似度)に最も近い類似度を有する画像デー
タを逐次表示してスライドショーを実行する。但し比較
用類似度は画像の表示順序の関数である。
スライド条件設定手段34からのスライド条件設定値中
のキー画像データ変更情報で規定された変更タイミング
で、スライドショー実行中に複数の画像データから選択
した画像データを新たなキー画像データとして採用する
ことで変更し、変更したキー画像データに基づく複数の
画像データそれぞれの類似度の計算を類似度計算手段3
5に実行させるキー画像データ変更処理を行う。この
際、スライド条件設定値のキー画像データ選択情報で規
定された選択基準に基づき、新たにキー画像データとな
る画像データを選択する。
特徴量抽出手段31、スライド条件設定手段34、類似
度計算手段35、類似度別画像ソート手段36及びソー
ト画像逐次表示手段37の動作制御を行う全体制御手段
が存在する。
になる。画像特徴量抽出手段31は、後に詳述する特徴
量抽出サブルーチンを実行するコンピュータ1のCPU
201が該当し、画像データ格納手段32はフレキシブ
ルディスクドライバ5、ハードディスクドライバ6及び
CD−ROMドライバ9が該当し、画像特徴量格納手段
33としてフレキシブルディスクドライバ5及びハード
ディスクドライバ6並びにコンピュータ1のRAM20
4が該当する。また、画像データ格納手段32から得ら
れる画像データは一旦、RAM204上にロードするこ
とができる。
スライドショー設定サブルーチンを実行するコンピュー
タ1のCPU201が該当し、スライド条件設定手段3
4のスライド条件設定用の入力手段としてキーボード
3、マウス4等が利用される。スライド条件設定手段3
4のメモリバッファとしてRAM204あるいはハード
ディスクドライバ6等が利用される。
手段36及びソート画像逐次表示手段37は後に詳述す
るスライドショー実行サブルーチンを実行するコンピュ
ータ1のCPU201が該当し、類似度計算手段35が
ロードする各画像データの画像特徴量、類似度計算手段
35で得られた各画像データの類似度あるいは類似度別
画像ソート手段36で得られた類似度別ソート結果は、
内部のRAM204、外部のハードディスクドライバ6
(内のハードディスク)等に一時的に格納することによ
り、自身で処理したり後段の手段に伝達することができ
る。また、ソート画像逐次表示手段37へのスライドシ
ョー終了の要求するためにキーボード3、マウス4ある
いはマイクロフォン11等が利用される。
チンを実行するコンピュータ1のCPU201が該当す
る。また、メニュー画面の表示にディスプレイ2が利用
され、メニュー画面の案内用にスピーカ10が利用さ
れ、メニュー画面の選択用にキーボード3、マウス4あ
るいはマイクロフォン11が利用される。
の形態である画像データ逐次表示装置で実行されるスラ
イドショー実行プログラムのメインルーチンを示すフロ
ーチャートである。メインルーチンは全体制御手段の制
御下で行われる。
プログラム実行時に実施されるデフォルト値の設定、実
行履歴のクリア等の初期設定を行う。そして、ステップ
S2でディスプレイ2上にメニュー画面を表示し、必要
に応じてスピーカ10から案内用に音声出力して、メニ
ュー画面から実行を望むサブルーチンのメニュー選択を
促す。
れ、特徴量抽出サブルーチンのメニューが選択されると
ステップS3に移行し、スライドショー設定サブルーチ
ンのメニューが選択されるとステップS4に移行し、ス
ライドショー実行サブルーチンのメニューが選択される
とステップS5に移行し、その他の処理のサブルーチン
のメニューが選択されるとステップS6に移行する。
サブルーチン、ステップS4におけるスライドショー設
定サブルーチン、ステップS5におけるスライドショー
実行サブルーチンあるいはステップS6におけるその他
の処理のサブルーチンが実行された後、ステップS2に
戻る。
のステップS3で実行される特徴量抽出サブルーチンの
処理手順を示すフローチャートである。
像特徴量抽出手段31は、画像データ格納手段32の画
像データベースから検索対象となるすべての画像データ
をロードする。
抽出手段31はロードされた各画像データの画像サイズ
の正規化を実行する。
出手段31は、ステップS302で正規化された各画像
データの画像特徴量を抽出する。
量がある。テクスチャの特徴量は、画像データに基づき
フーリエ変換によりフーリエスペクトラム画像を生成
し、スペクトラム画像を解析することにより画像の周期
性を特徴量として抽出することにより得られる。上記以
外に、テクスチャの特徴量としてフラクタル次元やフラ
クタル次元の分散等、多様な特徴量がある。
ある。色の特徴量は、各画素のRGB値をHSV値に変
換し、色相(Hue)、彩度(Saturation)及び明度
(Value)のヒストグラムや、全画素のHSV値の平均
値を画像データの色の特徴量として抽出する。上記以外
に、色の特徴量としてHSV値の代わりにHLS値、X
YZ値、L*a*b*値、L*u*v*値等を用いてもよい。
なお、テクスチャ,色以外の画像特徴量としては、明る
さ、コントラストに着目した画像特徴量がある。
31はステップS303で求めた各画像データの画像特
徴量を画像特徴量格納手段33の画像データベースに保
存する。
量が画像特徴量抽出手段31によって求められる。
はスライドショー設定処理のサブルーチンの処理手順を
示すフローチャートである。同図において、「キー画像
データ」を「キー画像」と略記している。
ライド条件設定手段34はユーザの指定に基づき、類似
度変化関数の指定の有無及び指定した場合の関数内容を
規定した類似度変化関数情報を設定する。ユーザによる
類似度変化関数の指定として代表的に以下の3つがあ
る。
似度変化関数として、i=1,2,…で変化させた場合
のf(i)と最も近い類似度の画像データの表示を指示
する。比例関数f(i)は単調増加する。このため、類
似度変化関数として比例関数f(i)が設定されると、
キー画像からの類似性が一定の度合いで薄れながら画像
データの表示が行われることになる。したがって、スラ
イドショー表示対象の画像データのうち、同じ画像デー
タが複数個存在した場合でも、同じ画像データが何度も
スライドショー表示される不具合を解消することができ
る。
a:定数,i:表示順)を類似度変化関数として、i=
1,2,…で変化させた場合のg(i)と最も近い類似
度の画像データの表示を指示する。ゆらぎ関数g(i)
がゆらぎながら徐々に増加する。このため、類似度変化
関数としてゆらぎ関数g(i)が設定されると、キー画
像に大いに類似する画像データや少ししか類似しない画
像データが交互に表示されたりしながら、キー画像から
の類似性が徐々に薄れた画像データの表示が行われるこ
とになる。
変化関数の定数(k,a等)もユーザの指定により設定
可能にして上記類似度変化関数情報に含ませても良い。
設定手段34はユーザの指定に基づきキー画像データの
変更タイミングを規定したキー画像データ変更情報を設
定する。キー画像データの変更タイミングの指定内容と
して代表的に以下の2つがある。
定の枚数(キー画像変更枚数)の画像データが表示され
た場合(表示枚数の設定) 2.キー画像データから指定の類似度距離(キー画像変
更距離)以上離れた類似度を有する画像データが表示さ
れた場合(類似度距離の設定) なお、上記1.の場合は画像枚数、上記2.の場合は類
似度距離を規定する値が同時にキー画像データ変更情報
として設定される。上記画像枚数及び類似度距離もユー
ザの指定によって設定するようにしても良い。
件設定手段34はユーザの指定に基づきキー画像データ
の選択方法を規定したキー画像データ選択情報を設定す
る。キー画像データの選択方法の指定内容として代表的
に以下の2つがある。
像データとする(カレントキー画像) この場合、スライドショー実行処理中にキー画像データ
が変更される毎に新たなキー画像データに類似する画像
データの表示を行うことができる。
(ランダムキー画像) 直前の画像データの表示内容に関係ないキー画像データ
を選択したい場合に有効である。
イド条件設定手段34は上記ステップS401〜403
で設定した情報を含むスライド条件設定値をメモリバッ
ファに保持する。なお、ステップS303の処理時にス
タート時のキー画像データの設定も併せて行い、スター
ト時のキー画像データを規定した情報をキー画像データ
選択情報に含まるようにしても良い。
1)>図7はスライド処理実行処理のサブルーチンの第
1の処理手順を示すフローチャートである。なお、図7
において、類似度変化関数の指定なし、キー画像の変更
タイミングは「表示枚数」、キー画像データ選択内容は
「カレントキー画像」をそれぞれ規定した各種情報を含
むスライド条件設定値がスライド条件設定手段34によ
って設定された場合の処理手順を示している。また、図
7において、「キー画像データ」を「キー画像」、「画
像データ」を「画像」と略記している。
ート画像逐次表示手段37は、スライド条件設定手段3
4から得られるスライド条件設定値のキー画像データ変
更情報に基づき、キー画像変更枚数をキー画像切り替え
変数Nとして認識する。
逐次表示手段37はスタート時のキー画像データを設定
する。スタート時のキー画像データの設定は、スライド
条件設定値のキー画像データ選択情報内にスタート時の
キー画像データが規定されている場合にその設定値に基
づいて設定しても、ソート画像逐次表示手段37が自身
でランダムに設定しても、この段階でユーザにキー画像
データの設定を促しても良い。
段35は画像特徴量格納手段33の画像データベースに
格納されたキー画像データの画像特徴量をロードする。
手段35は、画像特徴量格納手段33から各画像データ
の画像特徴量を順次ロードしながら、キー画像データの
画像特徴量とキー画像データ以外の画像データ(検索対
象画像データ)の画像特徴量との比較結果に基づき、各
画像データのキー画像データに対する類似性の尺度とな
る類似度を計算する。最も単純な比較方法として、両者
の画像特徴量の値の差の自乗和を類似度とする方法があ
る。
像ソート手段36は、類似度計算手段35で得られた類
似度計算結果に基づき、検索対象画像データを類似度別
昇順にソーティングしたリストである類似度別ソート結
果を得る。
逐次表示手段37は、表示画像枚数カウント値iを
“0”にリセットする。
逐次表示手段37は、表示画像枚数カウント値iを
“1”インクリメントし、ステップS508で第i番目
の画像データを表示する。
逐次表示手段37はスライドショー終了の指示の有無を
確認し、スライドショー終了の指示があれば(YE
S)、スライドショー実行サブルーチンを終了し、なけ
れば(NO)続くステップS510に移行する。なお、
スライドショー終了の指示としては、ユーザがキーボー
ド3上で所定のキー操作(ESCキーの入力、Contorol
キーとアルファベットキー“C”との同時入力等)を行
う等が考えられる。
ト値iとキー画像切り替え変数Nとの関係がi<Nであ
るか否かの比較が行われ、i<Nの場合(YES)にス
テップS507に戻り、i≧Nの場合(NO)にステッ
プS511に移行する。
の終了指示あるいはステップS510でi≧Nと判断さ
れるまで、ステップS507〜S510を繰り返して、
ステップS507で表示画像枚数カウント値iをインク
リメントしながら、ステップS508で第i番目の画像
データを逐次表示することにより、スライド表示処理が
実行される。
は、類似度別ソート結果に基づき画像データを逐次表示
するため、キー画像データに対する類似性が近い関係に
ある画像データを逐次表示することにより、検索効率の
向上を図ることができる。特に、キー画像データに類似
した画像データの検索を所望する場合に有効である。
ステップS511に移り、カレント(第i番目)の画像
データを新たなキー画像データに変更して、ステップS
503に戻る。
たなキー画像データに基づく類似度計算、類似度別ソー
ティング及びスライド表示が実行される。
ほとんどない画像データが表示される枚数をキー画像変
更枚数に設定しておけば、常に最新のキー画像データに
類似性がある(相関の強い)画像データを逐次表示させ
続けることにより、キー画像データを固定して類似性の
ほとんどない(類似度が大きい)画像データまでもが逐
次表示される場合に比べて検索効率の向上を図ることが
できる。
2)>図8はスライド処理実行処理のサブルーチンの第
2の処理手順を示すフローチャートである。なお、図8
において、類似度変化関数f(i)の指定あり、キー画
像の変更タイミングは「表示枚数」、キー画像データ選
択内容は「カレントキー画像」であることをそれぞれ規
定した各種情報を含むスライド条件設定値がスライド条
件設定手段34によって設定された場合の処理手順を示
している。また、図8において、「キー画像データ」を
「キー画像」、「画像データ」を「画像」と略記してい
る。
ート画像逐次表示手段37は、スライド条件設定手段3
4から得られるスライド条件設定値のキー画像データ変
更情報に基づき、キー画像変更表示枚数をキー画像切り
替え変数Nとして認識する。
502と同様、ソート画像逐次表示手段37はスタート
時のキー画像データを設定する。
段35は画像特徴量格納手段33の画像データベースに
格納されたキー画像データの画像特徴量をロードする。
手段35は、ステップS504と同様、キー画像データ
の画像特徴量とキー画像データ以外の画像データの画像
特徴量との比較結果に基づき、各画像データのキー画像
データに対する類似度を計算する。
像ソート手段36は、類似度計算手段35で得られた類
似度計算結果に基づき、各画像データを類似度別に昇順
にソーティングして類似度別ソート結果を得る。
逐次表示手段37は、表示画像枚数カウント値iを
“0”にリセットする。
逐次表示手段37は、表示画像枚数カウント値iを
“1”インクリメントし、インクリメント後の表示画像
枚数カウント値iにおける類似度変化関数を求め、その
値を比較用類似度Sとして認識する。
逐次表示手段37は、類似度別にソートされた画像デー
タのうち、比較用類似度Sに最も類似度が近い画像デー
タを表示する。
逐次表示手段37は、ステップS509同様、スライド
ショー終了の指示の有無を確認し、スライドショー終了
の指示があれば(YES)、スライドショー実行サブル
ーチンを終了し、なければ(NO)続くステップS61
0に移行する。
ト値iとキー画像切り替え変数Nとの関係がi<Nであ
るか否かの比較が行われ、i<Nの場合(YES)にス
テップS607に戻り、i≧Nの場合(NO)にステッ
プS611に移行する。
の終了指示あるいはステップS610でi≧Nと判断さ
れるまで、ステップS607〜S610を繰り返して、
ステップS607で比較用類似度Sを求めながら、ステ
ップS608で比較用類似度Sに最も近い類似度の画像
データを逐次表示することにより、スライド表示処理が
実行される。
は、比較用類似度Sに最も近い類似度の画像データを逐
次表示するため、類似度変化関数の固有の変化に沿った
画像データを逐次表示することができる。
数f(i)及びゆらぎ関数g(i)の一例を示すグラフ
である。同図(a) のグラフL1に示すように、比例関数
f(i)=kiは表示画像枚数カウント値iに比例して
増加する。したがって、同じキー画像データのスライド
表示が進行するに従って、キー画像データから類似度合
いが単調に薄れていく。
ぎ関数g(i)=ki+sin(ai)は、表示画像枚
数カウント値iに対して不規則に変化しながら徐々に増
加する。したがって、同じキー画像データのスライド表
示が進行するに従って、類似度が近い画像データが連続
して表示されたり、急に類似度がかけ離れた画像データ
が表示されたりしながら、キー画像データからの類似度
距離が徐々に広がっていく。
ステップS611に移り、カレントの画像データを新た
なキー画像データに変更して、ステップS603に戻
る。
たなキー画像データに基づく類似計計算、類似度別ソー
ティング、比較用類似度Sの計算及びスライド表示が実
行される。
ほとんどないと判断される距離をキー画像変更距離に設
定しておけば、常に最新のキー画像データに類似性があ
る(相関の強い)画像データを逐次表示させ続けること
により、逐次表示による検索効率の向上を図ることがで
きる。
他)>図7,図8はスライド処理実行処理のサブルーチ
ンのフローチャートはいずれも、キー画像の変更タイミ
ングは「表示枚数」である場合を示したが、「類似度距
離」の場合も勿論実行可能である。
プS501及びS601の処理を、「ソート画像逐次表
示手段37が、スライド条件設定手段34から得られる
スライド条件設定値のキー画像データ変更情報に基づ
き、キー画像変更距離をキー画像切り替え変数Mとして
認識する。」処理に変更し、ステップS510及びS6
10の処理を「カレントの画像データの類似度Siとキ
ー画像切り替え変数Mとの関係がSi<Mであるか否か
の比較が行われ、Si<Mの場合(YES)にステップ
S507(S607)に戻り、Si≧Mの場合(NO)
にステップS511(S611)に移行する。」処理に
変更すれば良い。
れも、キー画像データ選択内容は「カレントキー画像」
である場合を示したが、「ランダムキー画像」の場合も
勿論実行可能である。
1及びS611の処理を、「ランダムに選択したの画像
データを新たなキー画像データに変更する。」処理に変
更すれば良い。
をフレキシブルディスク、CD−ROM等の外部記録媒
体に記録させる場合、プログラム全体を記録させておく
のが一般的であるが、プログラムの一部(例えば、ステ
ップS501,S510及びS511(S601,S6
10及びS611)によるキー画像データ変更ルーチ
ン)のみを外部記録媒体に記録させもよい。この場合、
他のプログラムはROM203内に予め書き込んでお
き、スライドショー実行プログラムの実行時にROM2
03及び外部記録媒体それぞれからプログラムをロード
して実行することになる。
請求項1記載の画像データ逐次表示装置における画像デ
ータ逐次表示手段は検索対象画像データそれぞれの類似
度に基づき、画像データ格納手段から得た検索対象画像
データを逐次表示するため、キー画像データに対する類
似度という検索対象画像データの内容に基づいた画像デ
ータを逐次表示することにより、逐次表示による検索効
率の向上を図ることができる。
装置における画像データ逐次表示手段は、検索対象画像
データから一つ選択した画像データを新たなキー画像デ
ータとして採用することでキー画像データを変更するキ
ー画像データ変更処理をさらに行う。
うタイミングを適切に設定しておけば、常に最新のキー
画像データに相関の強い画像データを逐次表示させ続け
ることによって検索効率の向上を図ることができる。
おける画像データ逐次表示手段は、表示条件設定値のキ
ー画像データ変更情報で規定されたタイミングでキー画
像データ変更処理を行う。したがって、キー画像データ
変更情報を用いて多様な変更タイミングでキー画像デー
タ変更処理を画像データ逐次表示手段に行わせることが
できる。
ー画像データの設定(変更)から指定の枚数の画像デー
タが表示された場合、あるいはキー画像データから指定
の類似度距離以上離れた画像データが表示された場合等
がある。
おける画像データ逐次表示手段は、表示条件設定値のキ
ー画像データ選択情報で規定された選択基準に基づき、
検索対象画像データからキー画像データを選択して採用
することでキー画像データを変更する。したがって、キ
ー画像データ選択情報を用いて多様な選択方法でキー画
像データとして採用する検索対象画像データを画像デー
タ逐次表示手段に選択させることができる。
おける画像データ逐次表示手段は、表示条件設定値の逐
次表示基準情報で規定された逐次表示基準に従い、検索
対象画像データの逐次表示を行う。したがって、逐次表
示基準情報を用いて多様な逐次表示基準で複数の画像デ
ータの逐次表示を画像データ逐次表示手段に行わせるこ
とができる。
6記載の画像データ逐次表示装置のように、類似度が示
す類似性が近い順での検索対象画像データの逐次表示を
指示する逐次表示基準がある。
データに類似性が近い順に画像データが逐次表示される
ことになり、キー画像データに類似した画像データの検
索を所望する場合に特に有効である。
求項7記載の画像データ逐次表示装置のように、一の画
像データの表示毎に比較用類似度が変化する類似度変化
関数より得られる比較用類似度と最も近い類似度を有す
る画像データの表示を指示する逐次表示基準がある。
化関数固有の類似度変化に沿った類似度の画像データを
逐次表示させることができる。
タ逐次表示方法におけるステップ(d)は、検索対象画像
データそれぞれの類似度に基づき、検索対象画像データ
を逐次表示するため、キー画像データに対する類似度と
いう検索対象画像データの内容に基づいた画像データを
逐次表示することにより、逐次表示による検索効率の向
上を図ることができる。
方法は、ステップ(d)中の(d-1)は、検索対象画像データ
から一つ選択して新たなキー画像データとして採用する
ことでキー画像データを変更し、変更したキー画像デー
タに基づきステップ(c)の類似度計算処理を実行させて
いる。
ータ変更処理を行うタイミングを適切に設定しておけ
ば、常に最新のキー画像データに相関の強い画像データ
を逐次表示させ続けることにより、逐次表示による検索
効率の向上を図ることができる。
体は、請求項8記載の画像データ逐次表示方法を実行さ
せるためのプログラムが記録されているため、このプロ
グラムをコンピュータに実行させることにより、キー画
像データに対する類似度という検索対象画像データの内
容に基づいた画像データを逐次表示することにより、逐
次表示による検索効率の向上を図ることができる。
体は、請求項9記載のステップ(d-1)を実行させるため
のプログラムが記録されているため、ステップ(dー1)の
キー画像データ変更処理を行うタイミングを適切に設定
しておけば、常に最新のキー画像データに相関の強い画
像データを逐次表示させ続けることにより、逐次表示に
よる検索効率の向上を図ることができる。
表示装置を実現するためのハードウェアシステムの構成
を示す説明図である。
ブロック図である。
構成を示すブロック図である。
チンの処理手順を示すフローチャートである。
示すフローチャートである。
理手順を示すフローチャートである。
の1)の処理手順を示すフローチャートである。
の2)の処理手順を示すフローチャートである。
ド、4 マウス、5 フレキシブルディスク、6 ハー
ドディスク、7 プリンタ、8 スキャナー、9CD−
ROM、10 スピーカ、11 マイクロフォン、31
画像特徴量抽出手段、32 画像データ格納手段、3
3 画像特徴量格納手段、34 スライド条件設定手
段、35 類似度計算手段、36 類似度別画像ソート
手段、37ソート画像表示手段。
Claims (11)
- 【請求項1】 複数の画像データを格納する画像データ
格納手段と、 前記画像データ格納手段から前記複数の画像データを受
け、前記複数の画像データそれぞれの画像特徴量を抽出
する画像特徴量抽出手段と、 一の前記複数の画像データであるキー画像データの画像
特徴量と他の前記複数の画像データである検索対象画像
データの画像特徴量それぞれとの比較結果に基づき、前
記検索対象画像データそれぞれの前記キー画像データに
対する類似性の尺度を示す類似度を計算する類似度計算
手段と、 前記検索対象画像データそれぞれの類似度に基づき前記
画像データ格納手段から得た前記検索対象画像データを
逐次表示する画像データ逐次表示手段とを備える、画像
データ逐次表示装置。 - 【請求項2】 前記画像データ逐次表示手段は、前記検
索対象画像データから一つ選択して新たな前記キー画像
データとして採用することで前記キー画像データを変更
するキー画像データ変更処理をさらに行うことを特徴と
する、請求項1記載の画像データ逐次表示装置。 - 【請求項3】 前記キー画像データ変更処理を行うタイ
ミングを規定したキー画像データ変更情報を含む表示条
件設定値を前記画像データ逐次表示手段に付与する表示
条件設定値付与手段をさらに備える、請求項2記載の画
像データ逐次表示装置。 - 【請求項4】 前記表示条件設定値は、前記キー画像デ
ータを選択する基準を規定したキー画像データ選択情報
をさらに含む、請求項3記載の画像データ逐次表示装
置。 - 【請求項5】 前記検索対象画像データの逐次表示基準
を規定した逐次表示基準情報を含む表示条件設定値を前
記画像データ逐次表示手段に付与する表示条件設定値付
与手段をさらに備える、請求項1あるいは請求項2記載
の画像データ逐次表示装置。 - 【請求項6】 前記逐次表示基準情報は前記類似度が示
す類似性が近い順での前記検索対象画像データの逐次表
示を指示する前記逐次表示基準を規定した情報を含む、
請求項5記載の画像データ逐次表示装置。 - 【請求項7】 前記逐次表示基準情報は、一の画像デー
タの表示毎に比較用類似度が変化する類似度変化関数に
基づき、該類似度変化関数より得られる前記比較用類似
度と最も近い前記類似度を有する検索対象画像データの
表示を指示する逐次表示基準を規定した情報を含む、請
求項5記載の画像データ逐次表示装置。 - 【請求項8】 (a) 複数の画像データそれぞれの画像特
徴量を抽出するステップと、 (b) 前記複数の画像データのうち一の画像データをキー
画像データに設定するステップと、 (c) 前記キー画像データの画像特徴量と他の前記複数の
画像データである検索対象画像データの画像特徴量それ
ぞれとの比較結果に基づき、前記検索対象画像データそ
れぞれの前記キー画像データに対する類似性の尺度を示
す類似度を計算するステップと、 (d) 前記検索対象画像データそれぞれの類似度に基づき
前記検索対象画像データを逐次表示するステップと、を
備える画像データ逐次表示方法。 - 【請求項9】 前記ステップ(d) は、 (d-1) 前記検索対象画像データから一つ選択して新たな
前記キー画像データとして採用することで前記キー画像
データを変更し、変更した前記キー画像データに基づき
前記ステップ(c)の処理を実行させるステップを含む、
画像データ逐次表示方法。 - 【請求項10】 請求項8記載の画像データ逐次表示方
法を実行させるためのプログラムが記録されている、コ
ンピュータ読み取り可能な記録媒体。 - 【請求項11】 請求項9記載のステップ(d-1)を実行
させるためのプログラムが記録されている、コンピュー
タ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23175798A JP4214568B2 (ja) | 1998-08-18 | 1998-08-18 | 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 |
US09/365,184 US6463432B1 (en) | 1998-08-03 | 1999-08-02 | Apparatus for and method of retrieving images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23175798A JP4214568B2 (ja) | 1998-08-18 | 1998-08-18 | 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000067057A true JP2000067057A (ja) | 2000-03-03 |
JP4214568B2 JP4214568B2 (ja) | 2009-01-28 |
Family
ID=16928565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23175798A Expired - Fee Related JP4214568B2 (ja) | 1998-08-03 | 1998-08-18 | 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214568B2 (ja) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006252025A (ja) * | 2005-03-09 | 2006-09-21 | Konica Minolta Holdings Inc | 画像管理装置、画像管理方法、および画像管理プログラム |
JP2006260405A (ja) * | 2005-03-18 | 2006-09-28 | Ricoh Co Ltd | 画像情報更新システム、画像入力装置、画像処理装置、画像更新装置、画像情報更新方法、画像情報更新プログラム、及び該プログラムが記録された記録媒体 |
JP2008065670A (ja) * | 2006-09-08 | 2008-03-21 | Fujifilm Corp | 画像レイアウト装置および方法並びにプログラム |
JP2009238249A (ja) * | 2009-07-14 | 2009-10-15 | Fujitsu Ltd | 画像処理装置 |
US7634141B2 (en) | 2003-07-11 | 2009-12-15 | Sony Corporation | Information processing apparatus, method and program |
US7657157B2 (en) | 2004-01-15 | 2010-02-02 | Panasonic Corporation | Still image producing apparatus |
KR100956322B1 (ko) | 2007-04-16 | 2010-05-10 | 후지쯔 가부시끼가이샤 | 화상 표시 장치 |
JP2011044140A (ja) * | 2009-08-20 | 2011-03-03 | Xerox Corp | 画像セットからの動画コンテンツの生成 |
JP2014016816A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
EP2741292A1 (en) * | 2012-12-06 | 2014-06-11 | Samsung Electronics Co., Ltd | Display apparatus for displaying images and method thereof |
US9002172B2 (en) | 2010-06-16 | 2015-04-07 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
JP2016500881A (ja) * | 2012-10-26 | 2016-01-14 | グーグル インコーポレイテッド | 写真に関連した分類 |
US9954916B2 (en) | 2012-06-27 | 2018-04-24 | Google Llc | System and method for event content stream |
US10115118B2 (en) | 2012-10-23 | 2018-10-30 | Google Llc | Obtaining event reviews |
US10140552B2 (en) | 2011-02-18 | 2018-11-27 | Google Llc | Automatic event recognition and cross-user photo clustering |
US10432728B2 (en) | 2017-05-17 | 2019-10-01 | Google Llc | Automatic image sharing with designated users over a communication network |
US10476827B2 (en) | 2015-09-28 | 2019-11-12 | Google Llc | Sharing images and image albums over a communication network |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7838193B2 (en) | 2006-02-14 | 2010-11-23 | Ricoh Company Limited | Toner and image forming method using the toner |
JP4771835B2 (ja) | 2006-03-06 | 2011-09-14 | 株式会社リコー | トナー及び画像形成方法 |
US7817946B2 (en) | 2006-09-07 | 2010-10-19 | Ricoh Company, Ltd. | Developing device, image developing method, image forming apparatus, image forming method, and process cartridge |
-
1998
- 1998-08-18 JP JP23175798A patent/JP4214568B2/ja not_active Expired - Fee Related
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7634141B2 (en) | 2003-07-11 | 2009-12-15 | Sony Corporation | Information processing apparatus, method and program |
US7657157B2 (en) | 2004-01-15 | 2010-02-02 | Panasonic Corporation | Still image producing apparatus |
JP4650034B2 (ja) * | 2005-03-09 | 2011-03-16 | コニカミノルタホールディングス株式会社 | 画像管理装置、画像管理方法、および画像管理プログラム |
JP2006252025A (ja) * | 2005-03-09 | 2006-09-21 | Konica Minolta Holdings Inc | 画像管理装置、画像管理方法、および画像管理プログラム |
JP2006260405A (ja) * | 2005-03-18 | 2006-09-28 | Ricoh Co Ltd | 画像情報更新システム、画像入力装置、画像処理装置、画像更新装置、画像情報更新方法、画像情報更新プログラム、及び該プログラムが記録された記録媒体 |
JP2008065670A (ja) * | 2006-09-08 | 2008-03-21 | Fujifilm Corp | 画像レイアウト装置および方法並びにプログラム |
KR100956322B1 (ko) | 2007-04-16 | 2010-05-10 | 후지쯔 가부시끼가이샤 | 화상 표시 장치 |
JP2009238249A (ja) * | 2009-07-14 | 2009-10-15 | Fujitsu Ltd | 画像処理装置 |
JP2011044140A (ja) * | 2009-08-20 | 2011-03-03 | Xerox Corp | 画像セットからの動画コンテンツの生成 |
US9002172B2 (en) | 2010-06-16 | 2015-04-07 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
US10140552B2 (en) | 2011-02-18 | 2018-11-27 | Google Llc | Automatic event recognition and cross-user photo clustering |
US11263492B2 (en) | 2011-02-18 | 2022-03-01 | Google Llc | Automatic event recognition and cross-user photo clustering |
US10270824B2 (en) | 2012-06-27 | 2019-04-23 | Google Llc | System and method for event content stream |
US9954916B2 (en) | 2012-06-27 | 2018-04-24 | Google Llc | System and method for event content stream |
JP2014016816A (ja) * | 2012-07-09 | 2014-01-30 | Canon Inc | 情報処理装置、情報処理方法、およびプログラム |
US10115118B2 (en) | 2012-10-23 | 2018-10-30 | Google Llc | Obtaining event reviews |
JP2016500881A (ja) * | 2012-10-26 | 2016-01-14 | グーグル インコーポレイテッド | 写真に関連した分類 |
US10514818B2 (en) | 2012-10-26 | 2019-12-24 | Google Llc | System and method for grouping related photographs |
US9626076B2 (en) | 2012-12-06 | 2017-04-18 | Samsung Electronics Co., Ltd. | Display apparatus for displaying images and method thereof |
KR102057937B1 (ko) | 2012-12-06 | 2019-12-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 이미지 표시 방법 |
EP2741292A1 (en) * | 2012-12-06 | 2014-06-11 | Samsung Electronics Co., Ltd | Display apparatus for displaying images and method thereof |
US10476827B2 (en) | 2015-09-28 | 2019-11-12 | Google Llc | Sharing images and image albums over a communication network |
US11146520B2 (en) | 2015-09-28 | 2021-10-12 | Google Llc | Sharing images and image albums over a communication network |
US10432728B2 (en) | 2017-05-17 | 2019-10-01 | Google Llc | Automatic image sharing with designated users over a communication network |
US11212348B2 (en) | 2017-05-17 | 2021-12-28 | Google Llc | Automatic image sharing with designated users over a communication network |
US11778028B2 (en) | 2017-05-17 | 2023-10-03 | Google Llc | Automatic image sharing with designated users over a communication network |
Also Published As
Publication number | Publication date |
---|---|
JP4214568B2 (ja) | 2009-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4214568B2 (ja) | 画像データ逐次表示装置、画像データ逐次表示方法及び記録媒体 | |
JP5353148B2 (ja) | 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム | |
US7392233B2 (en) | Image searching system, image searching method, and a recording medium storing an image searching program | |
US5644765A (en) | Image retrieving method and apparatus that calculates characteristic amounts of data correlated with and identifying an image | |
US6522782B2 (en) | Image and text searching techniques | |
KR102403964B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 저장 매체 | |
US8482808B2 (en) | Image processing apparatus and method for displaying a preview of scanned document data | |
EP0130050A2 (en) | Data management apparatus | |
JP3609225B2 (ja) | 類似オブジェクト検索装置 | |
JP2010073114A6 (ja) | 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム | |
JP2002288219A (ja) | 情報検索システムおよび方法 | |
JP2003141540A (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
US6522780B1 (en) | Indexing of images and/or text | |
US6070161A (en) | Method of attaching keyword or object-to-key relevance ratio and automatic attaching device therefor | |
US6522779B2 (en) | Representing an image with a posterized joint histogram | |
JP3812161B2 (ja) | 画像比較装置、画像比較方法及び記録媒体 | |
US7730100B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2007079736A (ja) | データ編集装置、データ編集方法およびデータ編集プログラム | |
JPH11250077A (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
JP2007065763A (ja) | 画像データ検索装置、画像データ検索方法、プログラム及び記録媒体 | |
JPH08263522A (ja) | 画像検索方法 | |
US6671402B1 (en) | Representing an image with weighted joint histogram | |
JP3671691B2 (ja) | 類似画像検索装置、類似画像検索方法及び記録媒体 | |
JP2001016470A (ja) | 画像処理装置 | |
JP4205517B2 (ja) | 奥行情報を含んだ画像の分類装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080722 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20080729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081027 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |