JP2013152607A - 管理プログラムおよび装置 - Google Patents

管理プログラムおよび装置 Download PDF

Info

Publication number
JP2013152607A
JP2013152607A JP2012013018A JP2012013018A JP2013152607A JP 2013152607 A JP2013152607 A JP 2013152607A JP 2012013018 A JP2012013018 A JP 2012013018A JP 2012013018 A JP2012013018 A JP 2012013018A JP 2013152607 A JP2013152607 A JP 2013152607A
Authority
JP
Japan
Prior art keywords
type
image
unlearned
types
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012013018A
Other languages
English (en)
Other versions
JP5810937B2 (ja
Inventor
Susumu Endo
進 遠藤
Shugo Nakamura
秋吾 中村
Masaki Ishihara
正樹 石原
Takayuki Baba
孝之 馬場
Masahiko Sugimura
昌彦 杉村
Yusuke Uehara
祐介 上原
Daiki Masumoto
大器 増本
Hirohisa Naito
宏久 内藤
Akira Miyazaki
あきら 宮崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012013018A priority Critical patent/JP5810937B2/ja
Priority to US13/713,611 priority patent/US9323787B2/en
Publication of JP2013152607A publication Critical patent/JP2013152607A/ja
Application granted granted Critical
Publication of JP5810937B2 publication Critical patent/JP5810937B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像の特徴が未学習である種別のうち、優先して特徴を学習させるべき種別を特定することを課題とする。
【解決手段】複数の画像の各々と複数の種別のうちの少なくとも一部の種別とが対応付けられて記憶される画像DBから、端末装置から受信した検索要求により指定される第一の種別に対応する画像と、該第一の種別に関連する第二の種別に対応する画像とを検索する画像管理システムを、管理するコンピュータに、前記複数の種別のそれぞれについて、各種別に対応付けられる画像の特徴に係る特徴量が算出済みかを示す学習状況を記憶する学習状況記憶部を参照し、前記複数の種別のうち、前記特徴量を算出済みでない未学習種別を検索し、前記未学習種別と関連する関連種別を特定し、前記関連種別の学習状況に応じて、前記特徴量の算出候補として特定した前記未学習種別を出力する処理を実行させることを特徴とする管理プログラム。
【選択図】図1

Description

本明細書に開示する技術は、画像を画像の特徴に応じた種別毎に管理する技術に関する。
従来、管理された多数の画像に対する画像検索を受け付けることが行われている。例えば、カテゴリごとに画像を分類し、管理する技術がある(例えば、特許文献1)。画像検索時には、ユーザから指定されたカテゴリに分類された画像が、検索結果としてユーザに返却される。
また、画像を収集するための技術として、インターネット上からキーワードに合致する画像を検索して、キーワードと画像とを関連づける技術がある(例えば、特許文献2)。例えば、ある画像分類装置は、キーワードが掲載されている複数のHTMLページ内の画像をWebから収集し、各画像の画像特徴量を算出する。そして、ある画像分類装置は、特徴空間上での分布特性から複数の画像をクラスタリングし、分散の小さいクラスタに属する画像を、指定されたキーワードに関連する画像として蓄積する。
特開2008−131377号公報 特開2011−70408号公報
例えば、特許文献1のように、画像と種別とを対応付けて記憶する画像データベースから画像を検索する場合、検索者は、検索結果である画像をより多く得たい。そこで、画像検索装置の管理者は、画像データベースに、種別を対応付けたより多くの画像を、蓄積することが求められる。なお、種別とは、上記カテゴリのように、画像の特徴を識別するための情報である。例えば、画像に移っている物体の名称や、状況の名称などが種別として採用される。
また、上記のような画像データベースの構築においては、大量の画像と種別の対応付けを行う事になるため、画像分類を行う技術を利用して、画像と種別の分類を行うことが考えられる。
例えば、画像データベースに画像を追加する為に、特許文献2にあるような画像分類装置を利用することが考えられる。つまり、画像分類装置が、キーワードとして種別を入力して、対応するHTMLページの画像を収集し、該収集された画像と該入力された種別とを対応付けて画像データベースに蓄積することが考えられる。
しかし、特許文献2のような従来技術では、HTMLページ内の画像以外の画像には適用できないという問題があった。つまり、特許文献2の画像分類装置では、HTMLページ内の画像と種別とを対応付けしているため、HTMLに関連付けが行われていない画像は、種別と対応付けすることができない。
そこで、各種別に、当該種別に分類されるべき画像の特徴を、予め学習させることが考えられる。 つまり、画像分類装置が、種別毎に予め学習した特徴と、新たに画像データベースに追加される画像から抽出した特徴とを比較する事で、画像に適した種別を判別する。
このように、予め、各種別について、特徴を学習することで、新たに入手した画像に種別を自動で対応付けることが可能となる。各種別に対応する画像は順次増えることが予想されるため、画像検索において、検索者には、より多くの画像が提供される。
しかし、画像データベースでは、一般に、多くの種別の画像の分類管理を行っており、全種別について、特徴を予め学習することは、非常に時間がかかる。なぜなら、特徴を学習するためには、学習対象の種別に関連する画像を大量に集めなければならない。
そこで、一度に全ての種別に対して学習するのではなく、一部の種別について特徴を学習させるとともに、未学習の種別については、必要に応じて、順次、特徴を学習させていくことが望ましい。
上記に鑑み、本実施の形態に開示の技術は、特徴が未学習である種別のうち、優先して特徴を学習させるべき種別を特定することを目的とする。
上記課題を解決する為に、複数の画像の各々と複数の種別のうちの少なくとも一部の種別とが対応付けられて記憶される画像DBから、端末装置から受信した検索要求により指定される第一の種別に対応する画像と、該第一の種別に関連する第二の種別に対応する画像とを検索する画像管理システムを、管理するコンピュータに、前記複数の種別のそれぞれについて、各種別に対応付けられる画像の特徴に係る特徴量が算出済みかを示す学習状況を記憶する学習状況記憶部を参照し、前記複数の種別のうち、前記特徴量を算出済みでない未学習種別を検索し、前記未学習種別と関連する関連種別を特定し、前記関連種別の学習状況に応じて、前記特徴量の算出候補として特定した前記未学習種別を出力する処理を実行させることを特徴とする管理プログラムを、本発明に開示する。
本発明の一観点によれば、特徴が未学習である種別のうち、優先して特徴を学習させるべき種別を、管理者へ通知することが可能になる。
図1は、実施例に係る画像管理システムの構成図の一例である。 図2は、画像DB3のテーブルイメージ図である。 図3は、管理装置および画像検索装置の機能ブロック図である。 図4は、学習状況テーブル131のテーブル構成のイメージ図である。 図5は、構造テーブル132のテーブル構成のイメージ図である。 図6は、各種別で構成される構造を説明する為の図である。 図7は、履歴テーブル133のテーブル構成のイメージ図である。 図8は、検索処理の処理フローチャートである。 図9は、関連種別を特定する処理のフローチャートである。 図10は、画像管理システムを管理する処理の処理フローチャート(その1)である。 図11は、画像管理システムを管理する処理の処理フローチャート(その2)である。 図12は、画像管理システムを管理する処理の処理フローチャート(その3)である。 図13(a)乃至図13(c)は、リンクテーブル134のイメージ図(その1)である。 図14(a)および図14(b)は、リンクテーブル134のイメージ図(その2)である。 図15は、距離テーブル135のテーブル構成のイメージ図である。 図16は管理装置1のハードウェア構成の一例を示す図である。
以下詳細な本発明の実施例に関して説明する。なお、以下の各実施例は、処理の内容を矛盾させない範囲で適宜組み合わせることが可能である。
図1は、実施例に係る画像管理システムの構成図の一例である。画像管理システム0は、管理装置1、画像検索装置2、画像データベース3(以下、画像DB3)、管理者端末4、分類装置5を有する。管理装置1、画像検索装置2、画像DB3、管理者端末4は、互いに有線通信または無線通信する。
なお、管理装置1と管理者端末4は、同一の装置で実現されてもよい。また、画像検索装置2が、管理装置1の機能を有してもよい。さらに、管理装置1が、分類装置5の機能を有してもよい。
画像管理システム0は、検索者端末6−1や検索者端末6−2(以下、検索者端末6)と、ネットワークを介して通信する。ネットワークは、例えば、インターネット、携帯電話網、電話網等の通信網である。通信網は、有線通信網または無線通信網である。
画像DB3は、画像と種別とを対応付けて記憶する記憶装置である。図2は、画像DB3のテーブルイメージ図である。画像DB3は、画像情報と、種別IDとを対応付けて記憶する。なお、対応付ける処理は、分類装置5により行われる。詳細は後述する。
画像情報は、画像を識別可能な情報である。例えば、画像情報は、画像のファイル名や、画像へのパスである。また、画像ファイルそのものを記憶してもよい。
種別IDは、各種別について一意に付与される値である。種別とは、上記カテゴリのように、画像の特徴を識別するための情報である。例えば、複数の画像を、画像に映っている物体で分類する場合は、種別IDは、物体の物体ごとに付与される。また、複数の画像を、画像に映っている状態で分類する場合は、種別IDは、シーンごとに付与される。
図1の説明に戻る。分類装置5は、画像DB3に画像情報と、種別とを対応付けて記憶するコンピュータである。画像情報と種別とを対応付ける一つ目の方法は、管理者による指示に基づく方法である。具体的には、分類装置5は、管理者端末4等から、各々の画像に対する種別を入力を受け付ける。なお、入力は、種別に相当する文字列の入力であってもよいし、全種別の一覧表示から指定を受け付ける形式であってもよい。そして、分類装置5は、当該画像の画像情報と、当該画像に対して入力された種別とを対応付けて画像DB3に記憶する。
分類装置5における画像情報と種別とを対応付ける二つ目の方法は、事前に学習された特徴を利用して画像と種別とを対応付ける方法である。なお、種別毎に分類されるべき画像の特徴を学習するとは、当該特徴に関する特徴量を算出することを言う。特徴量は、画像が持つ特徴をベクトル化したもので、本実施の形態においては、各種別に分類するための値として使用される。
なお、特徴量の代わりに、各種別毎に特徴量の分布を学習する形態であってもよい。つまり、種別毎に分類されるべき画像の取りえる範囲を算出することで、新たな画像の特徴量が与えられた時、与えられた特徴量が、各種別に属する確率を求めることができる。
画像管理システム0が、新たに画像を取得した場合に、分類装置5は、当該画像に種別を対応付ける処理を行う。新たに取得した画像の特徴量Aを算出する。そして、分類装置5は、予め算出したある種別の特徴量Bと、特徴量Aとを比較し、新たな画像を、特徴量Bに対応する種別に分類するか否かを判定する。分類装置5は、例えば、特徴量Bと特徴量Aとの差分が閾値以下であれば、特徴量Aに係る画像を、特徴量Bに係る種別に対応付ける。
また、特等量の分布を学習する形態であれば、種別毎の特徴量の分布において、特徴量Aに相当する特徴量の存在確率が閾値以上である種別を、特徴量Aに係る画像に対応付けて画像DB3に記憶する。
ここで、新たに取得した画像の特徴量Aに相当する特徴量が、予め算出されたいずれの特徴量Bとの類似しない場合や、いずれの特徴量の分布においても存在確率が低い場合は、新たに取得した画像に種別を対応付けることはできない。つまり、分類装置5は、新たに取得した画像と種別とを対応付けて、画像DB3に記憶することができない。
そこで、特徴量が予め学習されていない種別が存在する場合に、新たに取得した画像が、画像DB3のいずれかの種別に対応付けて記憶するべき画像であったとして、画像と種別とを対応付けて画像DB3で管理されないという状況が発生する。以下に述べる管理装置1は、このような状況をできるだけ回避する為に、各種別について特徴量の算出を進めるような状況において、画像管理システム0の管理者を支援することができる。
管理装置1は、画像管理システム0を管理するコンピュータである。例えば、管理装置1は、特徴量が算出されている種別と、算出されていない種別とを区別して管理する。さらに、特徴量が算出されていない種別のうち、優先的に特徴量を算出すべき種別を出力する。
画像検索装置2は、検索者端末6からの検索要求に基づいて、画像DB3を検索するコンピュータである。検索要求は、検索対象とする種別を指定するキーワード等が含まれる。
管理者端末4は、画像管理システム0を管理する管理者が操作するコンピュータである。例えば、管理装置1により出力された種別の情報を表示する。また、特徴量の算出を行う装置(図示せず)に対し、ある種別に係る特徴量を算出するよう、指示する。例えば、管理者は、表示された種別を、特徴量の算出対象の種別として指定する。
なお、特徴量の算出方法は、従来の手法が利用される。例えば、特徴量を算出するコンピュータは、ある物体についても特徴量を算出する場合は、ある物体が確実に映っている画像群と、映っていない画像群とを収集する。そして当該コンピュータは、各々の画像群の特徴を抽出し、抽出した特徴からある物体についての特徴量を算出する。
図3は、管理装置1および画像検索装置2の機能ブロック図である。
管理装置1は、通信部11、制御部12、記憶部13を有する。通信部11は、受信部14と送信部15を含む。記憶部13は、学習状況テーブル131、構造テーブル132、履歴テーブル133、リンクテーブル134、距離テーブル135等を記憶する。なお、これらのテーブルは、物理的に異なる記憶部に記憶されてもよい。例えば、学習状況テーブル131と構造テーブル132と履歴テーブル133とを第一の記憶部に、リンクテーブル134と距離テーブル135とを第二の記憶部に記憶してもよい。
通信部11は、他の装置と通信を行う処理部である。例えば、通信部11は、画像検索装置2や、管理者端末4、画像DB3と通信することで、データの授受を行う。具体的には、受信部14が、他の装置からデータを受信する。送信部15が、他の装置へデータを送信する。
制御部12は、特徴量が算出されていない種別のうち、優先して特徴量を算出すべき種別を特定する処理部である。なお、以下、特徴量が算出されている種別を、学習済種別とし、特徴量が算出されていない種別を、未学習種別とする。例えば、制御部12は、各未学習種別について、未学習種別に関連する他の種別も未学習種別である場合に、当該未学習種別を優先して特徴量を算出すべき種別として特定する。
記憶部13は、各種テーブルや、各種閾値を記憶する記憶部である。学習状況テーブル131と構造テーブル132と履歴テーブル133について、説明する。なお、リンクテーブル134と距離テーブル135、および各種閾値については、処理フローの説明と合わせて後述する。また、学習状況テーブル131と構造テーブル132と履歴テーブル133は、別々のテーブルとして以下説明するが、一つのテーブルであってもよい。
図4は、学習状況テーブル131のテーブル構成のイメージ図である。学習状況テーブル131は、種別IDと学習状況とを対応付けて記憶する。種別IDは、各種別について一意に付与される値である。学習状況は、各種別IDに対応する種別について、特徴量が算出済みであるか否かを示す情報である。
図4の例では、学習状況テーブル131は、学習状況として、学習済みか否かを示すフラグを記憶する。フラグ「0」は、対応する種別IDの種別が、未学習種別であることを示す。一方、フラグ「1」は、対応する種別IDの種別が、学習済種別であることを示す。例えば、図4において、種別ID「A」の種別は、未学習種別である。
なお、学習状況として、学習済種別に対応付けて、算出された特徴量を記憶してもよい。ただし、未学習種別については、学習状況は空欄となる。
図5は、構造テーブル132のテーブル構成のイメージ図である。構造テーブル132は、種別IDと上位種別IDとを対応付けて記憶する。上位種別IDは、各種別がツリー構造を構成する場合に、ある種別に対して上位に定義された種別の種別IDである。
ここで、図6を用いて、本実施例におけるツリー構造と上位種別IDについて説明する。図6は、各種別で構成される構造を説明する為の図である。図6における、実線で囲まれた文字、および破線で囲まれた文字は、各種別IDに対応する種別を表す。実線は、各種別が学習済種別であることを示す。一方、破線は、各種別が未学習種別であることを示す。図6の例では、種別「A」は、未学習種別である。
ツリー構造において、ある種別に対して下位に対応付けて定義されている種別は、意味的に上位の種別に包含される種別である。よって、画像管理システム0の管理者は、ツリー構造に対応するように、上位種別IDを構造テーブルを定義する。
例えば、図6において、種別「L」「M」「N」は、ツリー構造上では、種別「F」の下位に定義づけられている。例えば、種別「F」が「乗用車」である場合に、種別「L」「M」「N」は、乗用車の車種となる。さらに、種別「D」「E」「F」は、種別「B」の下位に定義づけられている。例えば、種別「B」が「車」である場合に、種別「D」「E」「F」は、車の種類となる。例えば、種別「D」は、「トラック」となる。また、種別「B」「C」は、種別「A」の下位に定義づけられている。例えば、種別「A」が「乗り物」である場合に、種別「B」「C」は、乗り物の種類となる。例えば、種別「C」は、「電車」となる。
図5では、各種別について、ある種別の上位に定義づけられている種別を記憶する。例えば、種別「F」に対応づいて、上位種別ID「B」が記憶されている場合に、図6のツリー構造であらわすと、種別「F」の上位に、種別「B」が存在する。
図7は、履歴テーブル133のテーブル構成のイメージ図である。履歴テーブル133は、種別IDと履歴情報とを対応付けて記憶する。
履歴情報は、各種別IDに対応する種別に対する検索履歴にかかる情報である。つまり、履歴情報は、画像検索装置2が検索要求に基づいて実行した検索の履歴に関する情報である。なお、履歴情報は、定期的に画像検索装置から管理装置に出力される。図7の例では、履歴情報として検索回数が記憶される。なお、検索回数以外にも最新の検索日時などを記憶しても良い。図7の例では、種別ID「A」の種別に対して、「100」回の検索がなされたことを示す。
次に、図3に戻り、画像検索装置2の機能的構成について説明する。画像検索装置2は、通信部21、検索部22、記憶部23を有する。通信部21は、受信部24と送信部25を含む。
通信部21は、他の装置と通信を行う処理部である。例えば、通信部21は、管理装置1や、管理者端末4、画像DB3とデータの授受を行う。そして、受信部24は、他の装置からデータを受信する。送信部25は、他の装置へデータを送信する。
検索部22は、検索要求に応じて、画像DB3を検索する処理部である。検索要求は、上記のとおりいずれかの種別を指定するキーワードが含まれる。なお、キーワードは種別の名称そのものであってもよいし、種別を特定可能な情報であれば良い。例えば、検索部22は、検索要求により指定される種別と、当該種別に関連する他の種別とをキーに、画像DB3から画像を取得する。
記憶部23は、履歴テーブルおよび構造テーブルを記憶する。なお、画像検索装置2に記憶される履歴テーブルは、管理装置1に記憶される履歴テーブル133と同様のテーブル構成である。例えば、種別IDと履歴情報とを対応付けて記憶する。なお、検索履歴は、所定のタイミングで画像検索装置2から管理装置1へ送信される。また、画像検索装置2に記憶される構造テーブルは、管理装置1に記憶される構造テーブル132と同様のテーブル構成である。例えば、種別IDと上位種別IDとを対応付けて記憶する。
次に、画像検索装置2による画像の検索処理について説明する。図8は、検索処理の処理フローチャートである。
受信部24は、検索者端末6から検索要求を受信する(Op.11)。検索部22は、検索要求に基づいて、検索対象の種別に対応する画像を検索する(Op.12)。画像DB3から、当該種別に対応付けられた画像情報を取得する。
そして、検索部22は、記憶部23に記憶された履歴テーブルの履歴情報を更新する(Op.13)。例えば、検索対象の種別について、履歴情報として管理される検索回数に1を加算する。
次に検索部22は、関連種別を特定する(Op.14)。関連種別とは、検索対象の種別と関連する種別である。例えば、検索対象の種別と、意味的に類似する他の種別である。詳細は後述する。
そして、検索部22は、関連種別に対応づいた画像を検索する(Op.15)。つまり、関連種別を検索キーとして画像DB3を検索し、対応する画像情報を取得する。送信部25は、Op.12およびOp.15で検索された画像を、検索結果として、検索者端末6へ送信する(Op.16)。検索結果には、検索された画像の画像情報が含まれる。なお、Op.12とOp.15の処理を、同時に行ってもよい。
ここで、Op.14の処理について図9を用いて説明する。図9は、関連種別を特定する処理のフローチャートである。検索部22は、検索対象の種別に連結する種別を抽出する(Op.141)。例えば、検索部22は、構造テーブルを参照し、検索対象の種別IDを上位種別IDとする種別を抽出する。さらに、検索部22は、構造テーブルを参照し、検索対象の種別IDに対応づいた上位種別IDを抽出する。
例えば、検索対象の種別が種別ID「F」であった場合に、検索部22は、種別ID「F」に対応づいた上位種別ID「B」を抽出する。さらに、検索部22は、上位種別IDに種別ID「F」を有する種別ID「L」を抽出する。なお、図6の様なツリー構造を構造テーブルで管理する場合に、種別ID「F」に連結する種別として、種別ID「B」、「L」、「M」、「N」が抽出される。
検索部22は、カウンタに1を加算する(Op.142)。なお、カウンタは、検索対象の種別から見て、どの程度リンクをたどったかを示す。リンクは、ツリー構造において、種別と種別との連結を示す。カウンタの初期値は「0」である。
次に、検索部22は、カウンタの値と閾値とを比較する(Op.143)。閾値は、関連する種別とみなすかを決定する値である。閾値は、管理者によって適宜設定される。
なお、本実施例においては、ツリー構造において、検索対象から見て上位方向にリンクをたどった場合と、下位方向にリンクをたどった場合を区別なく、ひとつのカウンタで管理する。しかし、上位方向にリンクをたどった場合のカウンタと、下位方向にリンクをたどった場合のカウンタを別々に設けてもよい。そして、検索部は、Op.143において、上位方向と下位方向各々の閾値と、各カウンタの値とを比較してもよい。
カウンタの値が閾値未満であれば(Op.143 NO)、検索部22は、抽出した連結種別に、さらに連結する種別を抽出する(Op.145)。なお、連結種別に対する連結種別を抽出する方法は、Op.141と同様である。
一方、カウンタの値が閾値以上であれば(Op.143 YES)、検索部22は、抽出した種別を関連種別として特定する(Op.144)。例えば、閾値を「1」とした場合は、Op.141で抽出された種別ID「B」、「L」、「M」、「N」が、関連種別として特定される。
以上の処理によって、画像検索装置2は、検索結果として、検索対象の種別に対応づいた画像だけでなく、関連種別に対応づいた画像も出力することができる。例えば、画像DB3において、検索対象の種別の種別ID「F」に対応する画像情報は、「file_100、file_101、file_103、file_104、file_105」の5つの画像情報であったとする。本実施例の画像検索処理を実行することで、種別ID「B」に対応する「file_010・・・file_020」の画像情報も検索結果として検索者端末6へ提供することができる。さらに、種別ID「L」、「M」、「N」に対応する画像情報も、検索者端末6へ提供することができる。
ここで、種別ID「F」が未学習種別である場合、画像DB3において、種別ID「F」に対応する画像情報は、分類装置5を介して管理者が種別を対応付ける処理を行った画像に関する画像情報に限られる。つまり、分類装置5が、自動で種別ID「F」に画像情報を対応付けることができない。
よって、検索者が検索要求で種別ID「F」を指定した場合には、検索結果として返却される画像の枚数が少ないことが予想される。そこで、上記の画像検索処理にように、検索対象の種別に関連する種別を特定し、関連種別に対応する画像情報も検索結果として返却することで、検索者には、より多くの画像を提供することができる。
なお、画像検索処理において、Op.11の後に、検索要求で指定された種別が、学習済種別であるか否かを判定してもよい。そして、検索要求で指定された種別が、未学習種別である場合にのみ、画像検索装置2は、関連種別を特定する処理を実行するとしてもよい。
検索要求で指定された種別が、未学習種別である場合には、画像DBに検索対象の種別に対応づいた画像情報が少数であることが予測されるため、関連種別の画像情報も検索結果として出力することで、検索者により多くの画像を提供することができる。一方、検索要求で指定された種別が、学習済種別である場合は、検索要求で指定された種別に対応する画像情報のみを検索者端末へ提供する。関連種別に対応する画像情報を検索結果に含めないことで、検索者の検索要求に合致する画像のみを提供することができる。
次に、管理装置1による画像管理システムの管理処理について説明する。図10乃至図12は、画像管理システム0を管理する処理の処理フローチャートである。より具体的には、管理処理は、未学習種別のうち、より優先的に学習すべき種別を特定する処理である。管理者端末4からの指示を受けて、管理装置は、管理処理を開始する。
制御部12は、学習状況テーブル131および履歴テーブル133を参照し、所定の検索履歴を有し、かつ未学習である種別があるか判定する(Op.21)。つまり、制御部12は、各種別のうち、学習状況が特徴量を算出済みでないことを示す種別であって、さらに、所定の条件に合致する履歴情報を有する種別の有無を判定する。例えば、制御部12は、学習状況としてフラグ「0」である種別の有無を判定する。また、制御部12は、履歴情報が検索回数である場合は、ある値以上の検索回数を有する種別の有無を判定する。
未学習種別がなければ(Op.21NO)、制御部12は、管理処理を終了する。一方、未学習種別がある場合は(Op.21YES)、制御部12は、未処理の未学習種別があるか判定する(Op.22)。なお、管理処理が未処理であるか否かについては、処理対象とした種別を記憶領域に一時的に記憶することで、管理する。
未処理の未学習種別がある場合(Op.22YES)、制御部12は、未処理の未学習種別の内、処理対象とする種別を設定する(Op.23)。次に、制御部12は、構造テーブル132から、処理対象の種別に連結する種別を検索する。そして、連結する種別を、リンクテーブル134に登録する(Op.24)。なお、連結する種別を検索する処理については、Op.141と同様である。
ここで、リンクテーブル134について、説明する。図13(a)乃至図13(c)、図14(a)および図14(b)は、リンクテーブル134のテーブル構成のイメージ図である。なお、図13(a)乃至図13(c)、図14(a)および図14(b)は、管理処理が進むにつれて、リンクテーブル134に記憶される情報が更新される様子を示す。
リンクテーブル134は、リンク元種別IDとリンク先種別IDと上位リンク数と下位リンク数と終了フラグとを対応付けて記憶する。リンク元種別IDは、ツリー構造においてリンクをたどる場合に、起点となる種別である。リンク先種別IDは、起点となる種別と連結する種別である。
例えば、Op,23で、未学習種別「F」を処理対象とした場合に、例えば種別「B」「L」「M」「N」が連結種別として検索される。リンクテーブル134には、リンク元種別IDに種別「F」が、リンク先種別IDに種別「B」が記憶されたレコードが追加される。さらに、リンク元種別IDに種別「F」が、リンク先種別IDに種別「L」「M」「N」の各々が記憶された3つのレコードも追加される。つまり、図13(a)に示すリンクテーブル134の4つのレコードが作成される。
上位リンク数は、処理対象とした種別から見て、リンク先種別IDの種別は、ツリー構造において上位方向にいくつリンクをたどった先に存在するかを示す情報が記憶される。例えば、図5の構造テーブルにあるように、リンク先種別ID「B」は処理対象の種別「F」に対して、上位方向に「1」リンクした先に定義されている。よって、リンク先種別ID「B」のレコードについては、上位リンク数に「1」が登録される。なお、図13(a)に示すリンクテーブル134の4つのレコードには、初期状態として「0」が記憶されている。
下位リンク数は、処理対象とした種別から見て、リンク先種別IDの種別は、ツリー構造において下位方向にいくつリンクをたどった先に存在するかを示す情報が記憶される。例えば、図5の構造テーブルにあるように、リンク先種別ID「L」は、処理対象の種別「F」に対して、下位方向に「1」リンクした先に定義されている。よって、リンク先種別ID「L」のレコードについては、下位リンク数に「0」が登録される。なお、図13(a)に示すリンクテーブル134の4つのレコードには、初期状態として「0」が記憶されている。
終了フラグは、該当するレコードについて、リンクを辿る処理が終了したか否かを示す情報が記憶される。例えば、終了フラグが「0」である場合は、処理が終了していないことを示す。一方、終了フラグが「1」である場合は、処理が終了していることを示す。なお、図13(a)に示すリンクテーブル134の4つのレコードには、初期状態として「0」が記憶されている。
ここで、図10の説明に戻る。制御部12は、リンクテーブル134における上位または下位リンク数に1を加算する(Op.25)。リンク元種別IDとリンク先種別IDとの各組み合わせについて、リンク元種別ID(処理対象の種別)からリンク先種別IDまでにたどった方向に応じて、上位リンク数または下位リンク数のいずれかに、1を加算する。
例えば、処理対象の種別を「F」として場合に、Op.24が終了した時点では、リンクテーブル134は、図13(a)の様になっている。つぎに、Op25において、図13(a)のリンク先種別ID「B」のレコードについて、上位リンク数および下位リンク数の初期状態は「0」に対して、上位リンク数に「1」が加算される。つまり、図13(b)のレコード1300のように、上位リンク数「1」、下位リンク数「0」という値が、リンク先種別ID「B」に対応付けて記憶される。なお、Op.25が終了した時点で、リンクテーブル134は、図13(b)のようになる。
Op.25の次は、制御部12は、図11のOp.26に処理を進める。制御部12は、リンクテーブル134を参照し、終了フラグが「0」であるレコードが存在するか否かを判定する(Op.26)。終了フラグが「0」であるレコードが存在する場合は(Op.26YES)、制御部12は、リンクテーブル134の終了フラグが「0」であるレコードから、リンク先種別IDを取得する(Op.27)。
続いて、制御部12は、学習状況テーブル131を参照し、取得したリンク先種別IDが、学習済みであるか否かを判定する(Op.28)。
学習済みでない場合(Op.28No)、制御部12は、終了条件に合致するか否かを判定する(Op.29)。終了条件とは、処理対象の種別からどの範囲までを、関連するとみなすかを定義する条件である。終了条件は、予め設定される。例えば、上位リンク数の上限値、または下位リンク数の下限値が規定される。制御部12は、終了条件と、各レコードに記憶された上位リンク数および下位リンク数とが比較される。なお、処理対象の種別を起点に、終了条件に合致するまでの範囲に存在する種別を、関連種別と称する。
また、終了条件は、上位リンク数と下位リンク数との和の上限値であってもよい。さらに、終了条件は、画像検索装置2において、関連種別を特定する際の、カウンタ値の閾値と同じであってもよい。
例えば、図13(b)のレコード1300からリンク先種別ID「B」を取得した場合、制御部12は、学習状況テーブルを参照し、種別ID「B」が学習済みであるか否かを判定する。図4のとおり、種別「B」は学習済みではないため、Op.29において、制御部12は、図13(b)のレコード1300における上位リンク数および下位リンク数と、終了条件とを比較する。
例えば、終了条件が、上位リンク数の上限値「2」、下位リンク数の下限値「2」である場合は、レコード1300の上位リンク数「1」と下位リンク数「0」とがいずれも終了条件に合致しないため、Op.29において、判定結果はNOとなる。
なお、上位リンク数の上限値と下位リンク数の下限値の少なくとも一方に、処理対象のリンク先種別IDの上位リンク数と下位リンク数の少なくとも一方が、合致した場合に、制御部12は、判定結果をYESとしてもよい。もしくは、両方に合致した場合に、制御部12は、判定結果をYESとしてもよい。
次に、終了条件に合致しない場合は(Op.29NO)、制御部12は、新たなレコードをリンクテーブル134に追加する(Op.32)。新たなレコードとは、Op.27にて取得した種別IDを、リンク元種別IDとするレコードである。そして、リンク先種別IDには、新たなリンク元種別IDに連結する種別IDが格納される。
例えば、Op.27にて、リンク先種別ID「B」が取得された場合は、Op.32において、新たに追加されるレコードは、リンク元種別IDに種別ID「B」が格納される。そして、制御部12は、構造テーブル132を参照し、種別ID「B」に連結する種別ID「A」「D」「E」を検索する。制御部12は、リンク先種別ID「B」に対応付けて、検索した種別IDの各々をリンク先種別IDとして登録する。
例えば、Op.32により、図13(b)のリンクテーブルに対して、図13(c)に示すレコード1310、1320、1330が、新たに追加される。なお、上位リンク数および下位リンク数は、Op.32の時点では、「0」である。図13(c)は、Op.38により、上位リンク数と下位リンク数とが更新されたことを示す。
処理フローの説明に戻る。制御部12は、リンクテーブルから、リンク元種別IDと同様の種別IDを、リンク先種別IDに有するレコードから、上位リンク数および下位リンク数を取得する。そして制御部12は、新たに追加したレコードの上位リンク数および下位リンク数を、取得した値に更新する(Op.38)。
例えば、図13(c)のように、リンク元種別ID「B」をリンク先種別IDとするレコード1300から、上位リンク数「1」および下位リンク数「0」を取得する。そして、制御部12は、新たに追加したレコード1310、1320、1330の上位リンク数を「1」にする。さらに、制御部12は、新たに追加したレコード1310および1320の下位リンク数を「0」にする。
続いて、制御部12は、Op.32で追加したレコードの各々について、上位リンク数または下位リンク数に「1」を加算する(Op.39)。具体的には、制御部12は、構造テーブル132を参照し、リンク先種別IDと同一の種別IDが、リンク元種別IDを上位種別IDに有する場合は、上位リンク数に「1」を加算する。一方、制御部12は、構造テーブル132を参照し、リンク先種別IDと同一の種別IDが、リンク元種別IDに対する上位種別IDである場合は、下位リンク数に「1」を加算する。
ここで、図13(c)のレコード1310について、構造テーブル132を参照すると、リンク先種別ID「A」が、リンク元種別ID「B」を上位種別IDに有する。よって、制御部12は、レコード1310に対して、上位リンク数に「1」を加算する。Op.39により、図13(c)のレコード1310は、図14(a)のレコード142に更新される。
次に、制御部12は、Op.27で取得したリンク先種別IDと同一の種別IDが、リンク先種別IDとして含まれるレコードに、処理フラグ「1」を設定する(Op.40)。例えば、Op.27でリンク先種別ID「B」を取得した場合に、図14(a)のように、リンク先種別IDに「B」を含むレコード141に、終了フラグ「1」が設定される。そして、制御部12は、処理を、Op.26に戻す。
また、Op.29において、上位リンク数および下位リンク数が終了条件に合致した場合は(Op.29YES)、制御部12は、Op.27で取得したリンク先種別IDを含むレコードに処理フラグ「1」を設定する(Op.31)。そして、制御部12は、処理を、Op.26に戻す。
一方、Op.28において、リンク先種別IDが学習済みである場合(Op.28YES)は、処理対象の種別から、リンク先種別IDの種別までの距離を算出する(Op.30)。距離は、種別同士の関連度を示す。つまり、種別間の関連が大きいほど、距離は小さくなる。一方、種別間の関連が小さいほど、距離は大きくなる。
例えば、制御部12は、上位リンク数と下位リンク数とに基づいて、距離を算出する。例えば、上位リンク数と下位リンク数との和を、距離とする。なお、制御部12は、各々を重みづけした値を加算して、距離としても良い。例えば、下位リンク数よりも、上位リンク数に大きな重みを与えるようにしてもよい。
例えば、制御部12がリンクをたどる毎に、リンクテーブルが更新され、図14(b)で示したリンクテーブル134の状態になっているとする。そして、図14(b)のレコード143から、Op.27でリンク先種別IDとして種別「C」を取得した場合に、種別「C」が学習済みであったとする。このとき、制御部12は、上位リンク数「2」と下位リンク数「1」とに基づいて、処理対象の種別「F」から、学習済みの種別「C」までの距離「3」を算出する。
次に、制御部12は、距離テーブル135に記憶された最短距離の値と、Op.30で算出した距離の値とを比較する(Op.33)。最短距離は、処理対象の種別から、学習済種別までの距離のうち、最小の値をいう。最短距離の値よりも、Op.30で算出した値が小さい場合は(Op.33YES)、制御部12は、距離テーブル135における最短距離の値を、Op.30で算出した値に更新する(Op.34)。そして、Op.26へ戻る。一方、最短距離の値よりも、Op.30で算出した値が小さくない場合は(Op.33NO)、そして、制御部12は、処理を、Op.26に戻す。
ここで、距離テーブル135について、説明する。図15は、距離テーブル135のテーブル構成のイメージ図である。距離テーブル135は、未学習種別の種別IDと、最短距離と、評価値とを対応付けて記憶する。未学習種別の種別IDには、Op.23で処理対象とされた種別IDがそれぞれ記憶される。
最短距離には、各々の未学習種別について、学習済種別までの最短距離が記憶される。ここで、最短距離の初期値は、十分に大きな値である。例えば、「9999」が格納される。そして、最短距離は、Op.34により、適宜更新される。評価値には、各々の未学習種別について、優先して学習をすべき度合を示す値が記憶される。なお、評価値についての詳細は後述する。評価値の初期値は「0」である。
例えば、処理対象の種別を「F」とした場合に、Op.30において、処理対象の種別「F」から、学習済みの種別「C」までの距離「3」が算出されたとする。距離テーブル135の最短距離に初期値が格納されている場合は、「9999」よりも「3」が小さい為(Op.33YES)、 距離テーブル135において、未学習種別「F」対する最短距離の値は、「3」に更新される(Op.34)。
管理処理の処理フローの説明に戻る。Op.26において、リンクテーブルにおける全レコードの終了フラグが「1」である場合(Op.26NO)、制御部12は、距離テーブル135を参照し、処理対象の未学習種別に対応する最短距離が、初期値であるか否かを判定する(Op.35)。初期値である場合(Op.35YES)、制御部12は、処理をOp.22に進める。
一方、最短距離が初期値でない場合(Op.35NO)、制御部12は、評価値を算出する(Op.36)。そして、制御部12は、処理を図10のOp.22へ進める。
評価値は、最短距離そのものであってもよいし、最短距離に基づく他の値であってもよい。例えば、最短距離Xと履歴情報Yとに基づいて、評価値Zは算出される。履歴情報が検索回数である場合は、数1のように算出される。なお、αおよびβは、適宜設定される値であって、最短距離と履歴情報との重みに相当する。
(数1)

(α+X) ・ (β+Y) = Z
さらに、処理対象の未学習種別よりも下位の種別に、学習済みの種別が多ければ多いほど、評価値を低くする重みづけを行ってもよい。なぜなら、下位に学習済みの種別が多ければ、検索処理で提供される画像に、より有用な画像が多く含まれる可能性が高くなるためである。
また、画像の収集のしやすさを示す収集容易度Mを加味して、評価値を算出してもよい。収集容易度Mは、管理者が種別毎に任意の値を設定してもよいし、画像の収集枚数と必要数との割合を、収集容易度Mとして管理装置1が算出してもよい。画像の収集は、インターネットを利用した画像検索などを利用することができる。また、必要数は、信頼性の高い特徴量を算出する為に、必要な枚数である。通常数百枚から数千枚である。
また、収集容易度Mは、収集した画像の中で、種別の特徴量算出に適した画像の割合をさらに加味してもよい。特等量が未学習であるため、高精度に画像を収集することは期待できない。よって、画像検索によって収集した画像には、目的の物体が映っていない画像が含まれる場合がある。
したがって、画像の収集枚数と必要数との割合に、さらに、種別の特徴量算出に適した画像の割合を乗算して、収集容易度Mを算出してもよい。なお、種別の特徴量算出に適した画像の割合は、管理者が適した画像か否かを判別するなどして得られる。
さらに、別途、収集した画像が、特徴量の算出に適しているか否かを示す学習容易度Nを加味して、評価値Zを算出してもよい。学習容易度Nは、収集画像の特徴のばらつきに基づいて、算出される。例えば、画像iと画像jとの間の特徴量に基づき、制御部12は、ユークリッド距離を算出する。そして、ユークリッド距離EDと数2に基づいて、学習容易度Nが算出される。なお、学習容易度Nは、ユークリッド距離EDが大きいほど、小さな値となる。数2におけるNは、ユークリッド距離を算出する際の次元数である。Tは、予め設定された閾値である。
Figure 2013152607
評価値Zは、収集容易度M、学習容易度Nに基づいて、数3のように算出されてもよい。なお、γおよびθは、予め設定される値であって、1から0の間の値である。
(数3)
(α+X) ・ (β+Y) ・ (γM) ・ (θN) = Z
処理フローの説明に戻る。制御部12は、図11のOp.36またはOp.37を経て、図10のOp.22に処理を戻す。そして、未処理の未学習種別がなくなるまで、処理対象の種別を変更しながら、処理を行う。そして、未処理の未学習種別がなくなった場合(Op.22NO)、制御部12は、図12のOp.42へ処理を進める。
制御部12は、要学習種別があるか否か判定する(Op.42)。例えば、制御部12は、距離テーブルを参照し、最短距離に初期値が設定されている種別が存在するか判定する。
つまり、最短距離が初期値であるという事は、ある処理対象の未学習種別について、終了条件に合致するまでの範囲に含まれる種別の中に、学習済みの種別が存在しないことを意味する。言い換えると、処理対象の種別に対する関連種別は、いずれも未学習種別であることとなる。したがって、制御部12は、処理対象の種別は、当該種別および関連種別のいずれも未学習であるため、特徴量を優先的に学習させる必要があるとし、要学習種別とする。
要学習種別が存在する場合は(OP.42YES)、制御部12は、距離テーブル135から要学習種別について、種別IDを取得する(Op.44)。一方、要学習種別が存在しない場合は(OP.42NO)、所定の条件に合致する未学習種別IDを、距離テーブルから取得する(Op.43)。例えば、制御部12は、評価値が多い順に、所定個数の未学習種別IDを取得する。
例えば、所定の条件が、上位1つの未学習種別を取得するであった場合に、制御部12は、図15の距離テーブルから、未学習種別ID「F」を取得する。
そして、送信部15は、Op.43またはOp.44にて取得した種別IDに対応する種別を、管理者端末へ出力する。
以上の処理によって、管理装置1は、分類装置5が画像に種別を対応付ける為に利用される特徴量を、優先的に学習させるべき種別を特定することができる。つまり、未学習種別の中で、当該未学習種別および関連種別のいずれも、未学習種別である種別を、特徴量を優先的に学習させるべき種別として、管理者へ通知することができる。
管理処理により優先的に学習すべき種別を判定することは、次の様な場合に有効である。
画像検索装置2による検索処理において、検索要求で指定された種別と、関連する種別とに対応づいた画像を、検索結果として、検索者に提供する。したがって、検索対象の種別および関連種別について、特徴量が算出されていなければ、分類装置5が、新たに画像を取得したとしても、画像DBに種別と対応付けて記憶することができない。画像DB3を利用して行われる画像検査の結果は、画像枚数が少なくなる可能性が高くなる。
よって、管理者は管理装置1からの通知を受けて、従来の手法で、要学習種別について特徴量を算出する。その後、分類装置5は、新たに取得した画像が、予め算出された特徴量と一致する特徴を有する場合に、特徴量に対応する種別と画像とを対応付けて画像DB3へ格納することができる。引いては、画像検索装置2は、検索要求に対する検索結果として、より多くの画像を検索者端末6へ送信できる可能性が高くなる。
また、未学習種別の中で、関連種別に学習済種別が含まれる場合に、管理装置1は、未学習種別から学習済種別までの距離が遠いほど、優先的に学習させるべき種別として、管理者へ通知することができる。画像検索装置2が、検索対象の種別の画像と、関連する種別との画像とを検索結果として返却する場合に、関連種別の中でも、検索要求で指定された種別により近い種別に対応づいた画像の方が、検索者によって、所望の画像である可能性が高い。そこで、管理装置1側では、より距離が近いところに学習済み種別がある未学習種別よりも、より距離が遠いところに学習済み種別を持つ未学習種別を、優先して学習させるべきと判断する。管理装置1は、検索者によって利用価値が高い画像を提供するために、事前に特徴量を学習させるべき種別を特定することができる。
なお、管理処理では、ツリー構造上の距離に基づいて、出力する未学習種別を決定したが、優先的に学習させるべき未学習種別の特定の方法は、これに限られない。例えば、種別の名称同士の意味的な近さを数値化することで、ツリー構造で管理されていない場合でも、種別間の距離を算出することができる。例えば、管理装置1は、名称として規定された単語同士の包含関係や、類義関係などに基づいて、単語が持つ意味の類似性や近さを距離として数値化してもよい。そして、管理装置1は、閾値以上の距離を有する未学習種別について、優先的に学習させる種別として、管理者へ通知する。
図16は管理装置1のハードウェア構成の一例を示す図である。コンピュータ1000は、上述した管理処理を実行し、管理装置として機能する。コンピュータ1000はCPU(Central Processing Unit)1001、ROM(Read Only Memory)1002,RAM(Random Access Memory)1003,通信装置1004、HDD(Hard Disk Drive)1005、入力装置1006、表示装置1007、媒体読取装置1009を有しており、各部はバス1008を介して相互に接続されている。そしてCPU1001による管理下で相互にデータの送受を行うことができる。
各実施例のフローチャートに示した管理処理を記述した管理プログラムは、コンピュータが読み取り可能な記録媒体に記録される。コンピュータが読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、HDD、フレキシブルディスク(FD)、磁気テープ(MT)などがある。
光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM(Compact Disc − Read Only Memory)、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録媒体には、MO(Magneto − Optical disk)などがある。このプログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売されることが考えられる。
そして管理プログラムを実行するコンピュータ1000は、例えば媒体読取装置1009が、管理プログラムを記録した記録媒体から、該プログラムを読み出す。なお、読みだすプログラムによって、コンピュータ1000は、管理装置1として機能する。CPU1001は、読み出されたプログラムをHDD1005若しくはROM1002、RAM1003に格納する。
CPU1001は、管理装置全体の動作制御を司る中央処理装置である。通信装置1004はネットワークを介して管理者端末4などからの信号を受信し、その信号の内容をCPU1001に渡す。さらに通信装置1004はCPU1001からの指示に応じてネットワークを介して管理者端末4などに信号を送信する。
HDD1005には、上記の各実施例に示した管理装置1と同様の機能をコンピュータに発揮させるプログラムとして、各処理をコンピュータに実行させるプログラムが記憶されている。
そして、CPU1001が、管理プログラムをHDD1005から読み出して実行することで、図3に示す通信部11、制御部12として機能するようになる。また、管理プログラムはCPU1001とアクセス可能なROM1002またはRAM1003に格納されていても良い。
さらにHDD1005にはCPU1001の管理下で図3に示した各テーブルに相当する情報が記憶される。プログラム同様、記憶部のデータテーブルに相当する情報はCPU1001とアクセス可能なROM1002またはRAM1003に格納されても良い。つまり、記憶部のデータテーブルは、HDD1005や、ROM1002またはRAM1003などの記憶装置に格納される。そして入力装置1006はCPU1001の管理下でデータの入力を受付ける。表示装置1007は、各情報を出力する。
一方、画像検索装置2は、管理装置1と同様のハードウェア構成である。そして、図8および図9に示した処理が記述されたプログラムを、コンピュータが実行することで、画像検索装置2として機能する。
1 管理装置
2 画像検索装置
3 画像DB
4 管理者端末
5 分類装置
6−1 検索者端末
6−2 検索者端末
11 通信部
12 制御部
13 記憶部
21 通信部
22 検索部
23 記憶部

Claims (7)

  1. 複数の画像の各々と複数の種別のうちの少なくとも一部の種別とが対応付けられて記憶される画像DBから、端末装置から受信した検索要求により指定される第一の種別に対応する画像と、該第一の種別に関連する第二の種別に対応する画像とを検索する画像管理システムを、管理するコンピュータに、
    前記複数の種別のそれぞれについて、各種別に対応付けられる画像の特徴に係る特徴量が算出済みかを示す学習状況を記憶する学習状況記憶部を参照し、
    前記複数の種別のうち、前記特徴量を算出済みでない未学習種別を検索し、
    前記未学習種別と関連する関連種別を特定し、
    前記関連種別の学習状況に応じて、前記特徴量の算出候補として特定した前記未学習種別を出力する処理を実行させることを特徴とする管理プログラム。
  2. 前記コンピュータに、前記出力する処理において、
    前記関連種別が未学習である場合に、前記特定した未学習種別を出力することを特徴とする請求項1記載の学習管理プログラム。
  3. 前記関連種別が複数である場合に、複数の該関連種別がいずれも未学習である場合に、前記特定した未学習種別を出力することを特徴とする請求項1または2記載の学習管理プログラム。
  4. 前記コンピュータに、
    前記関連種別が学習済みである場合に、前記特定した未学習種別と該学習済みである種別との関連度に基づいて、評価値を算出し、
    前記評価値に基づいて、前記特定した未学習種別を出力するか否かを判定する処理をさらに実行させ、
    出力すると判定した場合に、前記出力する処理において、前記特徴量の学習候補として前記未学習種別を出力させることを特徴とする請求項1乃至請求項3のいずれか一項に学習管理プログラム。
  5. 前記関連種別を特定する処理において、前記コンピュータに、
    前記複数の種別間の関係を階層形式で定義した構造テーブルを参照し、
    前記未学習種別と階層間の距離に基づいた関連度が、所定以内である種別を特定する処理を実行させることを特徴とする請求項1乃至請求項4のいずれか一項に記載の管理プログラム。
  6. 前記コンピュータに、
    前記未学習種別を検索する処理において、
    前記複数の種別それぞれについて、前記画像管理システムにおいて過去に検索された履歴を記憶する履歴テーブルを参照し、所定条件に合致する該履歴を有する前記未学習種別を検索する請求項1乃至請求項5のいずれか一項に記載の管理プログラム。
  7. 複数の画像の各々と複数の種別のうちの少なくとも一部の種別とが対応付けられて記憶される画像DBから、端末装置から受信した検索要求により指定される第一の種別に対応する画像と、該第一の種別に関連する第二の種別に対応する画像とを検索する画像管理システムを、管理するコンピュータに、
    前記複数の種別のそれぞれについて、各種別に対応付けられる画像の特徴に係る特徴量が算出済みかを示す学習状況を記憶する学習状況記憶部と、
    前記学習状況テーブルから、前記複数の種別のうち、前記特徴量を算出済みでない未学習種別を検索するとともに、前記未学習種別と関連する関連種別を特定する制御部と、
    前記関連種別の学習状況に応じて、前記特徴量の算出候補として特定した前記未学習種別を出力する送信部と
    を有することを特徴とする管理装置。
JP2012013018A 2012-01-25 2012-01-25 管理プログラムおよび装置 Expired - Fee Related JP5810937B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012013018A JP5810937B2 (ja) 2012-01-25 2012-01-25 管理プログラムおよび装置
US13/713,611 US9323787B2 (en) 2012-01-25 2012-12-13 Computer-readable recording medium storing system management program, device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012013018A JP5810937B2 (ja) 2012-01-25 2012-01-25 管理プログラムおよび装置

Publications (2)

Publication Number Publication Date
JP2013152607A true JP2013152607A (ja) 2013-08-08
JP5810937B2 JP5810937B2 (ja) 2015-11-11

Family

ID=48798106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012013018A Expired - Fee Related JP5810937B2 (ja) 2012-01-25 2012-01-25 管理プログラムおよび装置

Country Status (2)

Country Link
US (1) US9323787B2 (ja)
JP (1) JP5810937B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3350728B1 (en) * 2015-09-18 2022-04-06 Commvault Systems, Inc. Data storage management operations in a secondary storage subsystem using image recognition and image-based criteria
CN110147459B (zh) * 2017-07-28 2021-08-20 杭州海康威视数字技术股份有限公司 一种图像检索方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175317A (ja) * 2000-12-06 2002-06-21 Canon Inc 情報検索方法及び装置並びに記憶媒体
US20060140455A1 (en) * 2004-12-29 2006-06-29 Gabriel Costache Method and component for image recognition
WO2010129630A1 (en) * 2009-05-08 2010-11-11 Dolby Laboratories Licensing Corporation Storing and searching fingerprints derived from media content based on a classification of the media content

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7035873B2 (en) * 2001-08-20 2006-04-25 Microsoft Corporation System and methods for providing adaptive media property classification
US8386469B2 (en) * 2006-02-16 2013-02-26 Mobile Content Networks, Inc. Method and system for determining relevant sources, querying and merging results from multiple content sources
JP2008131377A (ja) 2006-11-21 2008-06-05 Ricoh Co Ltd 表示装置、表示方法、および表示プログラム
JP5346756B2 (ja) 2009-09-25 2013-11-20 Kddi株式会社 画像分類装置
US8577131B1 (en) * 2011-07-12 2013-11-05 Google Inc. Systems and methods for visual object matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002175317A (ja) * 2000-12-06 2002-06-21 Canon Inc 情報検索方法及び装置並びに記憶媒体
US20060140455A1 (en) * 2004-12-29 2006-06-29 Gabriel Costache Method and component for image recognition
WO2010129630A1 (en) * 2009-05-08 2010-11-11 Dolby Laboratories Licensing Corporation Storing and searching fingerprints derived from media content based on a classification of the media content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015023144; 松尾 祥和: '欠陥分類のための選択的査定による逐次TFCの効率的学習' 情報処理学会研究報告 [CD-ROM] 2011(平成23)年度(3), 20111015, 一般社団法人情報処理学会 *

Also Published As

Publication number Publication date
JP5810937B2 (ja) 2015-11-11
US20130191407A1 (en) 2013-07-25
US9323787B2 (en) 2016-04-26

Similar Documents

Publication Publication Date Title
US9589208B2 (en) Retrieval of similar images to a query image
JP5092165B2 (ja) データ構築方法とシステム
JP5116775B2 (ja) 情報検索方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体
CN102197394A (zh) 通过基于注释聚集搜索结果来进行数字图像取得
JP2010055618A (ja) トピックを基にした検索を提供する方法及びシステム
JP2009151760A (ja) オブジェクト間競合指標計算方法およびシステム
CN103886020B (zh) 一种房地产信息快速搜索方法
CN104573130A (zh) 基于群体计算的实体解析方法及装置
CN113190687B (zh) 知识图谱的确定方法、装置、计算机设备及存储介质
CN111538931A (zh) 基于大数据的舆情监控方法、装置、计算机设备及介质
CN111557000B (zh) 针对媒体的准确性确定
CN114661902A (zh) 基于多特征融合的文献库冷启动作者同名消歧方法及设备
JP2024091709A (ja) 文作成装置、文作成方法および文作成プログラム
CN114117038A (zh) 一种文档分类方法、装置、系统及电子设备
JP5810937B2 (ja) 管理プログラムおよび装置
JP2010134651A (ja) 商品idサーバ装置、および商品idサーバ装置の制御方法
CN116842099B (zh) 一种多源异构数据处理方法和系统
TW201243627A (en) Multi-label text categorization based on fuzzy similarity and k nearest neighbors
CN103020095B (zh) 信息处理设备和信息处理方法
TW202004519A (zh) 影像自動分類的方法
AU2019290658B2 (en) Systems and methods for identifying and linking events in structured proceedings
CN110737749B (zh) 创业计划评价方法、装置、计算机设备及存储介质
JP5954742B2 (ja) 文書を検索する装置及び方法
CN112579841B (zh) 一种多模态数据库建立方法、检索方法及系统
CN111984807B (zh) 一种内容筛选存储方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150831

R150 Certificate of patent or registration of utility model

Ref document number: 5810937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees