JP2016167236A - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP2016167236A
JP2016167236A JP2015047686A JP2015047686A JP2016167236A JP 2016167236 A JP2016167236 A JP 2016167236A JP 2015047686 A JP2015047686 A JP 2015047686A JP 2015047686 A JP2015047686 A JP 2015047686A JP 2016167236 A JP2016167236 A JP 2016167236A
Authority
JP
Japan
Prior art keywords
image
noun
priority
keyword
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015047686A
Other languages
English (en)
Other versions
JP6578679B2 (ja
Inventor
真人 藤垣
Makoto Fujigaki
真人 藤垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2015047686A priority Critical patent/JP6578679B2/ja
Publication of JP2016167236A publication Critical patent/JP2016167236A/ja
Application granted granted Critical
Publication of JP6578679B2 publication Critical patent/JP6578679B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】キーワード付与対象画像と似た特徴を有する画像を含むhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補を提供する。
【解決手段】特徴抽出部14はキーワード付与対象画像から特徴を抽出し、ウェブページ取得部16は、その特徴に類似する特徴を有する類似画像が含まれるウェブページを取得する。キーワード候補選定部18は、そのウェブページから名詞群を抽出し、類似画像との位置関係に基づいて、個々の名詞の画像関連度(第1優先度)を決定し、個々の名詞のフォントサイズと出現回数とに基づいて出現スコア(第2優先度)を決定する。抽出された名詞群を示す情報がキーワード候補として端末装置40に出力されるとともに、第1及び第2優先度を示す情報が端末装置40に送信される。
【選択図】図2

Description

本発明は、画像処理装置及びプログラムに関する。
画像群の中から画像を検索する仕組みを実現するために、作業者が、画像の内容を表す画像属性情報(例えばキーワードやタグ情報)を予め画像に付与することがある。この場合、通常、作業者が個々の画像の内容を確認した上で、画像属性情報を決定して画像に付与している。
特許文献1に記載のシステムにおいては、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページが検索され、そのhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される。
特開2011−54006号公報
作業者が画像属性情報を画像に付与する場合においては、対象となる画像の数が多くなるほど、当該画像の内容を表現する画像属性情報を決定して付与するための作業が増大し、作業者の負担が増大するという問題が生じ得る。また、画像内容を適切に表現する画像属性情報が画像に付与されない場合、画像の検索性が低下するという問題が生じ得る。
本発明の目的は、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補を提供することである。
請求項1に係る発明は、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴と類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、を有する画像処理装置である。
請求項2に係る発明は、前記第1優先度決定手段は、前記抽出対象データにおいて前記類似画像に近い位置に表された名詞ほど高い前記第1優先度を付与する、ことを特徴とする請求項1に記載の画像処理装置である。
請求項3に係る発明は、前記第1優先度は、前記抽出された名詞と前記類似画像との関連度を示す情報である、ことを特徴とする請求項1又は請求項2に記載の画像処理装置である。
請求項4に係る発明は、前記抽出された名詞のフォントサイズに応じて、個々の名詞の優先度であって前記第1優先度とは異なる第2優先度を決定する第2優先度決定手段を更に有し、前記出力手段は、前記第2優先度を示す情報を更に出力する、ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置である。
請求項5に係る発明は、前記第2優先度決定手段は、前記抽出対象データ中の個々の名詞の出現回数とフォントサイズとに基づいて前記第2優先度を決定する、ことを特徴とする請求項4に記載の画像処理装置である。
請求項6に係る発明は、前記第2優先度決定手段は、フォントサイズが大きい名詞ほど高い前記第2優先度を付与する、ことを特徴とする請求項4又は請求項5に記載の画像処理装置である。
請求項7に係る発明は、前記抽出対象データは、ウェブページ、画像と文字列とを含むデータ、及び、画像データの中の少なくとも1つである、ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置である。
請求項8に係る発明は、コンピュータを、画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴に類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、として機能させるプログラムである。
請求項1,7,8に係る発明によると、キーワード付与対象画像と似た特徴を有する画像を含むhtmlページに含まれる名詞群の中で出現頻度の高い名詞がキーワード候補として提供される場合と比較して、より当該画像の内容を適切に表現する画像属性情報の候補が提供される。
請求項2,3に係る発明によると、類似画像との関連性が高い名詞ほど高い優先度が付与される。
請求項4−6に係る発明によると、より強調されている名詞に対してより高い優先度が付与される。
本発明の実施形態に係る画像属性情報付与システムを示すブロック図である。 本実施形態に係るキーワード選定装置を示すブロック図である。 ウェブページの一例を示す図である。 HTMLソースの一例を示す図である。 ウェブページの一例を示す図である。 キーワード候補リストの一例を示す図である。 本実施形態に係る処理の一例を示すフローチャートである。
図1には、本発明の実施形態に係る画像属性情報付与システムの一例が示されている。このシステムは、一例として、画像処理装置としてのキーワード選定装置10と、複数のウェブサーバ30と、端末装置40とを含む。キーワード選定装置10と個々のウェブサーバ30とは、インターネット等の通信経路によって接続されており、キーワード選定装置10と端末装置40とは、インターネット等の通信経路によって接続されている。もちろん、端末装置40と個々のウェブサーバ30とが、インターネット等の通信経路によって接続されていてもよい。なお、図1に示す例では、複数のウェブサーバ30が画像属性情報付与システムに含まれているが、これは一例に過ぎず、1つのウェブサーバ30が画像属性情報付与システムに含まれていてもよい。また、複数の端末装置40がキーワード選定装置10に接続されていてもよい。
本実施形態では、画像の内容を表す画像属性情報(例えばキーワードやタグ情報)の候補がキーワード選定装置10によって選定され、端末装置40に提供される。以下の説明では、画像属性情報の付与対象となる画像のことを、キーワード付与対象画像と称することとする。
キーワード選定装置10は、端末装置40から提供された画像(キーワード付与対象画像)から特徴を抽出する機能、その特徴と類似する特徴を有する類似画像が含まれるウェブページ(HTMLページ)のデータをウェブサーバ30から取得する機能、及び、そのウェブページを解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定し、その候補を端末装置40に提供する機能、を備えている。また、キーワード選定装置10は、外部装置との間でデータの送受信を行う機能を備えている。
各ウェブサーバ30は、キーワード選定装置10からの要求に応じて、上記類似画像が含まれるウェブページを検索してキーワード選定装置10に提供する機能を備えている。また、ウェブサーバ30は、外部装置との間でデータの送受信を行う機能を備えている。
端末装置40は、PC(パーソナルコンピュータ)、タブレットPC、スマートフォン又は携帯電話等の装置であり、キーボードやマウスやタッチパネル等の操作部、ディスプレイとして機能する表示部、通信インターフェースとして機能する通信部、及び、CPUを含む制御部を備えている。端末装置40は、外部装置との間でデータの送受信を行う機能を備えている。本実施形態では、ユーザによって指定されたキーワード付与対象画像が端末装置40からキーワード選定装置10に提供され、画像属性情報の候補がキーワード選定装置10から端末装置40に提供される。
図2には、キーワード選定装置10の一例が示されている。
通信部12は通信インターフェースであり、外部装置からデータを受信する機能、及び、外部装置にデータを送信する機能を備えている。本実施形態では、通信部12は、端末装置40からキーワード付与対象画像のデータを受信し、ウェブサーバ30からウェブページのデータを受信する。また、通信部12は、画像属性情報の候補のデータを端末装置40に送信する。
特徴抽出部14は、端末装置40からキーワード対象画像のデータを受け、そのキーワード付与対象画像から特徴を表す情報を抽出する機能を備えている。例えば、建物の画像、山の画像、空の画像、雲の画像、海の画像、川の画像、人物の画像、動物の画像、植物の画像、物品の画像等が、キーワード付与対象画像の特徴情報として抽出される。この抽出処理は、例えば、公知の画像解析プログラムを利用することにより実現される。
ウェブページ取得部16は、キーワード付与対象画像から抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページのデータ(抽出対象データ)を、各ウェブサーバ30から取得する。本実施形態においては、類似という概念には、同一という概念も含まれるものとする。例えば、キーワード付与対象画像から山の画像が特徴情報として抽出された場合、形状が類似する山の画像を含むウェブページが各ウェブサーバ30において検索されてキーワード選定装置10に提供される。なお、ウェブページ取得部16は、キーワード選定装置10とは別の装置(例えば検索サーバ)に設けられていてもよい。
キーワード候補選定部18は、ウェブページ取得部16によって取得されたウェブページの内容を解析することにより、キーワード付与対象画像に付与される画像属性情報(例えばキーワード)の候補を選定する。本実施形態では、キーワード候補選定部18は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。このときに、個々の名詞(キーワード候補)に優先度が付与される。例えば、キーワード候補選定部18は、ウェブページにおける類似画像との位置関係に基づいて、個々の名詞に第1優先度を付与する。第1優先度は、類似画像との関連性を示す情報である。例えば、類似画像に近い位置に記述された名詞ほど高い優先度(画像関連度)が付与される。また、キーワード候補選定部18は、名詞のフォントサイズに基づいて、個々の名詞に、第1優先度とは異なる第2優先度を付与する。例えば、フォントサイズが大きい名詞ほど、高い優先度が付与される。また、キーワード候補選定部18は、名詞のフォントサイズと出現回数とに基づいて、個々の名詞に第2優先度を付与してもよい。この場合、フォントサイズが大きく出現回数が多い名詞ほど、高い優先度が付与される。第1及び第2優先度が付与されたキーワード候補を示す情報は、キーワード選定装置10から端末装置40に送信される。なお、キーワード候補選定部18は、文字列群の中に含まれる固有名詞(例えば、人物名、店舗名等)をキーワード候補から除外してもよい。固有名詞は個人情報等を表していると想定されるからである。例えば、除外対象となる固有名詞を示す情報を予めキーワード選定装置10に記憶しておき、キーワード候補選定部18は、その記憶されている固有名詞と一致する固有名詞をキーワード候補から除外する。
別の例として、キーワード候補選定部18は、ウェブページ以外のデータ(抽出対象データ)を解析することにより、キーワード付与対象画像に付与される画像属性情報の候補を選定してもよい。抽出対象データとして、例えば、画像と文字列とが混在したデータ(例えば文書データ等)や、画像データ等がある。この場合、ウェブページ取得部16は、抽出対象データが格納されている図示しない記憶装置から、類似画像が含まれる抽出対象データを取得する。画像と文字列とが混在している抽出対象データが解析対象となる場合、キーワード候補選定部18は、その抽出対象データに含まれる文字列群の中から名詞をキーワード候補として抽出し、類似画像との位置関係に基づいて第1優先度を決定する。また、キーワード候補選定部18は、抽出された名詞のフォントサイズと出現回数とに基づいて第2優先度を決定する。画像データ自体が抽出対象データとして解析される場合、キーワード候補選定部18は、その画像データに対してOCR(optical character recognition)処理を適用することにより、その画像データから文字列群を抽出し、その文字列群から名詞をキーワード候補として抽出する。そして、キーワード候補選定部18は、上記と同様に、第1及び第2優先度を決定する。このように、本実施形態では、解析対象のデータはウェブページに限定されるものではなく、画像と文字列とが混在するデータや、画像データ自体であってもよい。以下では、解析対象のデータとしてウェブページを用いる場合について説明する。
制御部20は、キーワード選定装置10の各部の動作を制御する。
次に、キーワード選定装置10による処理について具体例を挙げて説明する。以下の説明では、キーワード付与対象画像に「豆腐」が表されているものとする。この場合、特徴抽出部14によって、「豆腐の画像」が特徴情報としてキーワード付与対象画像から抽出される。そして、各ウェブサーバ30において、その「豆腐の画像」に類似する画像を含むウェブページが検索され、キーワード選定装置10に提供される。
まず、図3,4を参照して、第1優先度(画像関連度)の決定方法について説明する。図3には、ウェブサーバ30から提供されたウェブページの一例が示されており、図4には、そのウェブページのHTMLソースの一例が示されている。このウェブページ100には画像110が含まれている。画像110は豆腐を表す画像であり、キーワード付与対象画像の特徴に類似する画像であるものとする。このようなウェブページ100のデータが検索されてウェブサーバ30からキーワード選定装置10に送信される。
キーワード候補選定部18は、ウェブページ100に記述されている文字列群の中から名詞をキーワード候補として抽出する。例えば、キーワード候補選定部18は、形態素解析を利用することにより、文字列を複数の単語に分割して名詞を抽出する。図3に示す例では、「豆腐」、「有限会社」、「AAA(店舗名)」、「店」、「健康」等の名詞が、キーワード候補として抽出される。また、キーワード候補選定部18は、類似画像としての画像110との位置関係に基づいて、個々の名詞に第1優先度(画像関連度)を付与する。例えば、キーワード候補選定部18は、画像110に最も近い位置に記述されている文字列に含まれる名詞に最も高い画像関連度を付与し、画像110から遠い位置に記述されている文字列に含まれる名詞ほど、低い画像関連度を付与する。類似画像としての画像110に近い位置に記述されている名詞ほど、その画像110との関連性、つまり、キーワード付与対象画像の特徴との関連性が高いと想定されるからである。例えば、キーワード候補選定部18は、画像110から予め決定された距離内に記述されている文字列に含まれる名詞の画像関連度を「高」とし、その距離外に記述されている文字列に含まれる名詞の画像関連度を「低」とする。ウェブページが解析対象のデータとして用いられる場合、キーワード候補選定部18は、図4に示されているHTMLソースの階層構造を解析することにより、画像110と各文字列との位置関係を特定すればよい。図3に示す例では、文字列120が、画像110に最も近い位置に記述されている文字列である。それ故、文字列120に含まれる名詞「豆腐」、「有限会社」及び「AAA(店舗名)」に、最も高い画像関連度が付与される。
なお、類似画像以外の画像の周辺には、特徴情報とは関係のない内容の説明文が記述されていると想定されるので、類似画像以外の画像は、上記の処理対象にならない。
次に、図5を参照して、第2優先度の決定方法について説明する。図5には、ウェブサーバ30から提供されたウェブページの一例が示されている。このウェブページ100は、図3に示されているウェブページと同じものである。
キーワード候補選定部18は、ウェブページ100に記述されている各名詞のフォントサイズをウェブページ100のデータから取得し、各名詞の平均フォントサイズを計算する。そして、キーワード候補選定部18は、平均フォントサイズに対するフォントサイズの割合(フォントサイズ/平均フォントサイズ)を、重み係数として計算する。キーワード候補選定部18は、同一名詞についてフォントサイズ毎に重み係数を計算する。そして、キーワード候補選定部18は、同一名詞について、各フォントサイズの重み係数の総和を計算する。このとき、キーワード候補選定部18は、同一フォントサイズを有する同一名詞の出現回数をカウントし、各フォントサイズの重み係数を、その出現回数分、加算する。このようにして計算された総和が、第2優先度としての出現スコアとして用いられる。
ここで、名詞「豆腐」の出現スコア(第2優先度)について説明する。図5に示す例では、名詞200〜208が名詞「豆腐」を示している。名詞200〜208の平均フォントサイズを100%とする。100%を基準とした場合において、名詞200のフォントサイズが140%であり、名詞202,204のフォントサイズが100%であり、名詞206のフォントサイズが90%であり、名詞208のフォントサイズが80%であるものとする。
上記の例においては、名詞200の重み係数は1.4となり、名詞202,204の重み係数は1.0となり、名詞206の重み係数は0.9となり、名詞208の重み係数は0.8となる。これらの総和(5.1)が、名詞「豆腐」の出現スコア(第2優先度)として用いられる。以下に、この出現スコアの計算例を示す。
(140/100)+(100/100)×2+(90/100)+(80/100)=5.1
図5に示す例では、100%のフォントサイズを有する2つの名詞(名詞202,204)がウェブページ100に含まれているため、100%のフォントサイズの重み係数については、2回分、加算されている。
以上のように、第1優先度(画像関連度)と第2優先度(出現スコア)とが求められると、キーワード候補選定部18は、キーワード候補(ウェブページから抽出された名詞)と、画像関連度と、出現スコアと、を示すキーワード候補リストを作成する。制御部20は、通信部12を利用して、そのキーワード候補リストのデータを端末装置40に送信する。端末装置40の表示部には、そのキーワード候補リストが表示される。ユーザは、そのキーワード候補リストを参照することにより、キーワード付与対象画像に対してキーワードを付与する。これにより、キーワード付与対象画像に、画像属性情報としてのキーワードが対応付けられる。
図6には、キーワード候補リストの一例が示されている。キーワード候補リストにおいて、「名詞」は、ウェブページ100からキーワード候補として抽出された情報である。一例として、「豆腐」、「有限会社」、「AAA(店舗名)」、「店」、及び、「健康」等の名詞が、キーワード候補として抽出されている。なお、「AAA(店舗名)」は固有名詞であるため、キーワード候補選定部18は、「AAA(店舗名)」をキーワード候補から除外してもよい。この場合、「AAA(店舗名)」は、キーワード候補リストに掲載されない。
「画像関連度」は、キーワード候補選定部18によって決定された第1優先度である。「高」は、類似画像(画像110)との関連度が相対的に高いことを示しており、「低」は、類似画像との関連度が相対的に低いことを示している。類似画像(画像110)に対して相対的に近い位置に記述されている名詞には、画像関連度「高」が付与され、相対的に遠い位置に記述されている名詞には、画像関連度「低」が付与される。図6に示す例では、「豆腐」、「有限会社」、「AAA(店舗名)」、及び、「店」に対して画像関連度「高」が付与されており、「健康」に対して画像関連度「低」が付与されている。
「出現スコア」は、キーワード候補選定部18によって計算された第2優先度である。個々の名詞毎に出現スコアが計算されてリストに含まれる。
図6に示されているリストが端末装置40の表示部に表示され、ユーザはそのリストを参照することにより、キーワード付与対象画像に対応付けるキーワード(名詞)を決定することになる。このとき、キーワードを決定する上で、画像関連度や出現スコアが参考情報としてユーザによって参照されることが想定される。なお、端末装置40においては、画像関連度が「高」に設定されている名詞が上位に表示され、画像関連度が「低」に設定されている名詞が下位に表示されてもよい。また、同一の画像関連度が設定されている名詞群の中において、出現スコアが大きい名詞ほど上位に表示されてもよい。図6に示す例では、名詞「豆腐」、「有限会社」、「AAA(店舗名)」、及び、「店」に、画像関連度「高」が設定されているが、名詞「豆腐」の出現スコアがそれらの中で最も大きく、名詞「豆腐」以外の名詞の出現スコアは同一である。それ故、名詞「豆腐」の順位が1番となり、名詞「有限会社」、「AAA(店舗名)」及び「店」の順位は同順位の2番となる。
次に、図7に示されているフローチャートを参照して、キーワード選定装置10による処理について説明する。
まず、ユーザが端末装置40を利用してキーワード付与対象画像を指定し、キーワード付与対象画像の送信指示とキーワード候補の取得指示を与える。これにより、端末装置40からキーワード選定装置10にキーワード付与対象画像が送信され、キーワード選定装置10はキーワード付与対象画像を受信する(S01)。キーワード選定装置10においては、特徴抽出部14が、キーワード付与対象画像から特徴情報を抽出する(S02)。例えば、「豆腐の画像」が特徴情報として抽出される。次に、ウェブページ取得部16が、抽出された特徴と類似する特徴を有する類似画像が含まれるウェブページをウェブサーバ30から取得する(S03)。具体的には、ウェブページ取得部16は、類似画像が含まれるウェブページの検索命令を各ウェブサーバ30に送信する。各ウェブサーバ30においては、類似画像を含むウェブページの検索処理が実行され、そのウェブページのデータがキーワード選定装置10に送信される。複数のウェブページが検索された場合、それら複数のウェブページのデータがキーワード選定装置10に送信される。そして、キーワード候補選定部18は、ウェブページに記述されている文字列群の中から名詞をキーワード候補として抽出する。次に、キーワード候補選定部18は、ウェブページ内の画像を検索する(S04)。検索された画像が類似画像に該当する場合(S05,Yes)、キーワード候補選定部18は、その類似画像との位置関係に基づいて、各名詞の画像関連度(第1優先度)を決定する(S06)。例えば、類似画像に最も近い位置に記述されている文字列に含まれる名詞に対して高い画像関連度が付与される。それ以外の名詞には、低い画像関連度が付与される。検索された画像が類似画像に該当しない場合(S05,No)、処理はステップS07に移行する。そして、ウェブページ内で検索されていない画像が存在する場合(S07,No)、処理はステップS04に戻り、ステップS04以降の処理が実行される。ウェブページ内の全画像の検索が完了した場合(S07,Yes)、キーワード候補選定部18は、各名詞のフォントサイズと出現回数とに基づいて、各名詞の出現スコア(第2優先度)を計算する(S08)。取得された複数のウェブページの中でステップS04以降の処理が実行されていないウェブページが存在する場合(S09,No)、処理はステップS04に戻り、未処理のウェブページを対象としてステップS04以降の処理が実行される。全ウェブページについてステップS04以降の処理が完了した場合(S09,Yes)、キーワード候補選定部18は、キーワード候補と画像関連度と出現スコアとを示すキーワード候補リストを作成する(S10)。このキーワード候補リストのデータは、キーワード選定装置10から端末装置40に送信される。端末装置40においては、キーワード候補リストが表示部に表示される。そのリストを参照することにより、キーワード付与対象画像に対応付けられるキーワードがユーザによって決定される。ウェブページ取得部16によって複数のウェブページが取得された場合、各ウェブページに対して上記の処理が実行されてキーワード候補が選定される。
以上のように、本実施形態では、類似画像との位置関係に基づいて画像関連度が決定されてユーザに提供される。ウェブページにおいて類似画像に近い位置ほど、類似画像との関連性、つまり、キーワード付与対象画像との関連性が高い内容の説明文が記述されていると想定される。それ故、位置関係に基づいて決定された画像関連度をユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。
また、名詞のフォントサイズと出現回数とに基づいて出現スコアが決定されてユーザに提供される。ウェブページにおいて強調したい内容ほど、その内容を表す名詞のフォントサイズが大きくなり、その名詞の出現回数も増大することが想定される。それ故、出現スコアをユーザに提供することにより、キーワードを決定する上で有用となる情報がユーザに提供される。
ユーザは、画像関連度や出現スコアを参考にしてキーワードを決定することが想定される。それ故、キーワード候補(名詞)のみを提供する場合と比べて、キーワード付与対象画像の内容を適切に表すキーワードの選択が容易となる。
上述した実施形態では、キーワード候補選定部18は、画像関連度及び出現スコアの両方を求めているが、画像関連度又は出現スコアのうちのいずれか一方のみを求めてもよい。この場合、画像関連度又は出現スコアのうちのいずれか一方が、キーワード候補とともに、端末装置40に提供される。この場合であっても、キーワードを決定する上で有用となる情報がユーザに提供されることになる。
なお、キーワード候補選定部18は、画像関連度が「高」に設定されている名詞のみを、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞が、キーワード候補として提供されることになる。別の例として、キーワード候補選定部18は、出現スコアが予め設定された閾値以上となる名詞のみを、キーワード候補として選定してもよい。これにより、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。更に別の例として、キーワード候補選定部18は、出現スコアが閾値以上となる名詞であって、画像関連度が「高」に設定されている名詞を、キーワード候補として選定してもよい。これにより、キーワード付与対象画像の特徴との関連性が相対的に高い名詞であって、ウェブページにおいて強調されている名詞が、キーワード候補として提供されることになる。これらの手法によると、キーワード付与対象画像の内容を適切に表すと想定されるキーワード候補が提供される。
上記のキーワード選定装置10は、一例としてハードウェア資源とソフトウェアとの協働により実現される。具体的には、キーワード選定装置10は、図示しないCPU等のプロセッサを備えている。当該プロセッサが、図示しない記憶装置に記憶されたプログラムを読み出して実行することにより、キーワード選定装置10の各部の機能が実現される。上記プログラムは、CDやDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶装置に記憶される。または、キーワード選定装置10の各部は、例えばプロセッサや電子回路等のハードウェア資源により実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。別の例として、キーワード選定装置10の各部は、DSP(Digital Signal Processor)やFPGA(Field Programmable Gate Array)等によって実現されてもよい。
10 キーワード選定装置、12 通信部、14 特徴抽出部、16 ウェブページ取得部、18 キーワード候補選定部、20 制御部、30 ウェブサーバ、40 端末装置。

Claims (8)

  1. 画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴と類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、
    前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、
    前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、
    を有する画像処理装置。
  2. 前記第1優先度決定手段は、前記抽出対象データにおいて前記類似画像に近い位置に表された名詞ほど高い前記第1優先度を付与する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1優先度は、前記抽出された名詞と前記類似画像との関連度を示す情報である、
    ことを特徴とする請求項1又は請求項2に記載の画像処理装置。
  4. 前記抽出された名詞のフォントサイズに応じて、個々の名詞の優先度であって前記第1優先度とは異なる第2優先度を決定する第2優先度決定手段を更に有し、
    前記出力手段は、前記第2優先度を示す情報を更に出力する、
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の画像処理装置。
  5. 前記第2優先度決定手段は、前記抽出対象データ中の個々の名詞の出現回数とフォントサイズとに基づいて前記第2優先度を決定する、
    ことを特徴とする請求項4に記載の画像処理装置。
  6. 前記第2優先度決定手段は、フォントサイズが大きい名詞ほど高い前記第2優先度を付与する、
    ことを特徴とする請求項4又は請求項5に記載の画像処理装置。
  7. 前記抽出対象データは、ウェブページ、画像と文字列とを含むデータ、及び、画像データの中の少なくとも1つである、
    ことを特徴とする請求項1から請求項6のいずれか一項に記載の画像処理装置。
  8. コンピュータを、
    画像の内容を表す画像属性情報の付与対象となる付与対象画像の特徴に類似する特徴を有する類似画像が含まれる抽出対象データを取得する取得手段と、
    前記抽出対象データに表された文字列群の中から名詞群を抽出し、前記類似画像との位置関係に基づいて、個々の名詞の第1優先度を決定する第1優先度決定手段と、
    前記抽出された名詞群を前記画像属性情報の候補として出力するとともに、前記第1優先度を示す情報を出力する出力手段と、
    として機能させるプログラム。
JP2015047686A 2015-03-10 2015-03-10 画像処理装置及びプログラム Active JP6578679B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015047686A JP6578679B2 (ja) 2015-03-10 2015-03-10 画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015047686A JP6578679B2 (ja) 2015-03-10 2015-03-10 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2016167236A true JP2016167236A (ja) 2016-09-15
JP6578679B2 JP6578679B2 (ja) 2019-09-25

Family

ID=56897536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015047686A Active JP6578679B2 (ja) 2015-03-10 2015-03-10 画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6578679B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460206A (zh) * 2020-04-03 2020-07-28 百度在线网络技术(北京)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217701A (ja) * 2007-03-07 2008-09-18 Sharp Corp メタデータ付与装置,メタデータ付与方法,メタデータ付与プログラム,及びメタデータ付与プログラムを記録した記録媒体
WO2008152805A1 (ja) * 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
JP2010205060A (ja) * 2009-03-04 2010-09-16 Nomura Research Institute Ltd 文書内画像検索方法および文書内画像検索システム
JP2011054006A (ja) * 2009-09-03 2011-03-17 Fujifilm Corp 画像のキーワード決定システム
JP2011113130A (ja) * 2009-11-24 2011-06-09 Kddi Corp 画像検索装置、画像検索方法及び画像検索プログラム
JP2011192091A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
JP2013054658A (ja) * 2011-09-06 2013-03-21 Canon Inc 情報処理装置、制御方法、プログラム
JP2014102827A (ja) * 2012-11-21 2014-06-05 Hon Hai Precision Industry Co Ltd 検索システム及びその検索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217701A (ja) * 2007-03-07 2008-09-18 Sharp Corp メタデータ付与装置,メタデータ付与方法,メタデータ付与プログラム,及びメタデータ付与プログラムを記録した記録媒体
WO2008152805A1 (ja) * 2007-06-14 2008-12-18 Panasonic Corporation 画像認識装置及び画像認識方法
JP2010205060A (ja) * 2009-03-04 2010-09-16 Nomura Research Institute Ltd 文書内画像検索方法および文書内画像検索システム
JP2011054006A (ja) * 2009-09-03 2011-03-17 Fujifilm Corp 画像のキーワード決定システム
JP2011113130A (ja) * 2009-11-24 2011-06-09 Kddi Corp 画像検索装置、画像検索方法及び画像検索プログラム
JP2011192091A (ja) * 2010-03-15 2011-09-29 Omron Corp 画像属性判別装置、属性判別支援装置、画像属性判別方法、属性判別支援装置の制御方法、および、制御プログラム
JP2013054658A (ja) * 2011-09-06 2013-03-21 Canon Inc 情報処理装置、制御方法、プログラム
JP2014102827A (ja) * 2012-11-21 2014-06-05 Hon Hai Precision Industry Co Ltd 検索システム及びその検索方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111460206A (zh) * 2020-04-03 2020-07-28 百度在线网络技术(北京)有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
JP2021163477A (ja) * 2020-04-03 2021-10-11 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
KR20210124033A (ko) * 2020-04-03 2021-10-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체
JP7121819B2 (ja) 2020-04-03 2022-08-18 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
KR102609616B1 (ko) * 2020-04-03 2023-12-04 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체

Also Published As

Publication number Publication date
JP6578679B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
JP6278893B2 (ja) 対話型マルチモード画像検索
KR102354716B1 (ko) 딥 러닝 모델을 이용한 상황 의존 검색 기법
JP6047550B2 (ja) 検索方法、クライアント及びサーバ
JP2017502533A (ja) モバイルビデオ検索
JP4746439B2 (ja) 文書検索サーバおよび文書検索方法
US20150309988A1 (en) Evaluating Crowd Sourced Information Using Crowd Sourced Metadata
KR20150048751A (ko) 피처 기반 후보 선택
US9507805B1 (en) Drawing based search queries
CN105550217B (zh) 场景音乐搜索方法及场景音乐搜索装置
JP2014056503A (ja) 多言語環境でのコミュニケーションに適する非テキスト要素を特定するためのコンピュータ実装方法、プログラム、および、システム
KR101931859B1 (ko) 전자문서의 대표 단어 선정 방법, 전자 문서 제공 방법, 및 이를 수행하는 컴퓨팅 시스템
US10838995B2 (en) Generating distinct entity names to facilitate entity disambiguation
RU2631975C2 (ru) Способ и система для обработки входных команд пользователя
JP6578679B2 (ja) 画像処理装置及びプログラム
CN106202127B (zh) 一种垂直搜索引擎对检索请求的处理方法及装置
RU2711123C2 (ru) Способ и система компьютерной обработки одной или нескольких цитат в цифровых текстах для определения их автора
US20160004697A1 (en) Bilingual Search Engine for Mobile Devices
JP6696344B2 (ja) 情報処理装置及びプログラム
JP6640519B2 (ja) 情報分析装置及び情報分析方法
JP2016045552A (ja) 特徴抽出プログラム、特徴抽出方法、および特徴抽出装置
JP6676700B2 (ja) 予約語及び属性言語間の関連度を用いた情報提供方法及び装置
JP2021163477A (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
CN110147488B (zh) 页面内容的处理方法、处理装置、计算设备及存储介质
JP5644558B2 (ja) 文書関連度算出装置
JP5394512B2 (ja) 教師データ生成装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190812

R150 Certificate of patent or registration of utility model

Ref document number: 6578679

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350