JP2017162025A - 分類ラベル付与装置、分類ラベル付与方法、およびプログラム - Google Patents
分類ラベル付与装置、分類ラベル付与方法、およびプログラム Download PDFInfo
- Publication number
- JP2017162025A JP2017162025A JP2016043896A JP2016043896A JP2017162025A JP 2017162025 A JP2017162025 A JP 2017162025A JP 2016043896 A JP2016043896 A JP 2016043896A JP 2016043896 A JP2016043896 A JP 2016043896A JP 2017162025 A JP2017162025 A JP 2017162025A
- Authority
- JP
- Japan
- Prior art keywords
- classification label
- classification
- unit
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
図1は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号1は分類ラベル付与装置である。図示するように、分類ラベル付与装置1は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部106と、説明規則記憶部107と、説明情報生成部108と、出力部109と、を持つ。これら各部は、電子回路を用いて構成され、回路内の電気的状態(例えば電圧値)を情報に対応付けて処理することによって所望の機能を実現する。なお、後述するようにコンピューター(パーソナルコンピューター等)を用いて各部の機能を実現するようにしてもよい。また、分類情報記憶部103と知識記憶部105と説明規則記憶部107は、磁気ディスク装置や半導体メモリ等を用いて、情報を記憶できるようにする。このような構成により、分類ラベル付与装置1は、精度よく、自動的に、画像の分類ラベルを付与する。なお、分類ラベルは、処理対象の画像が何を示しているかを表す情報である。分類ラベルは、「タグ」あるいは「タグ情報」と呼ばれる場合もある。例えば、画像が太陽を表すものである場合には、その画像には「太陽」という分類ラベルが付与される。また、例えば、画像が本を著すものである場合には、その画像には「本」という分類ラベルが付与される。
なお、分類ラベル付与装置1の利用目的は、ここで例示したものには限定されず、他にも様々な利用方法が可能である。
以下において、分類ラベル付与装置1を構成する各部の処理の詳細について説明する。
なお、入力部101が、イメージスキャナ等の機能により、例えば印刷されている画像をスキャンして読み込むようにしてもよい。また、入力部101が、既に電子データとして存在している画像データファイルを、分類ラベル付与装置1内の記憶手段から、あるいは外部から取得するようにしてもよい。また、入力部101が、カメラで撮影された画像のファイルを読み込むようにしてもよい。
なお、分割部102による部分画像の分割の処理自体は、既存技術を用いて行うことが可能である。一例として、領域成長法を用いて画像を分割することができる。領域成長法では、画像内の画素の特徴とその近傍の特徴とに基づいて、ある画素と他の画素とが同じ領域に属するかどうかを判断する。特徴が互いに似ていれば、それらの画素を併合してより大きな領域とする。この操作を繰り返して起用していくことによって、画像全体を、複数の部分画像の領域に分割する。参考文献["Seeded region growing." Pattern Analysis and Machine Intelligence, IEEE Transactions on 16.6 (1994): pp. 641-647.]にも、この領域成長法について記載されている。
また、分割部102は、他の、例えば分割統合法を用いたり、色などの特徴量によるクラスタリングを行ったりして、画像を分割するようにしてもよい。
なお、本実施形態における認識スコアは、0以上且つ1以下の実数値である。認識スコアは、その画像に対する分類ラベルの正しさの度合いを表す。認識スコアが0のとき、その画像に対してその分類ラベルが付与されることはあり得ない。認識スコアが1のとき、その画像に対してその分類ラベルを付与することは確定的に正しい。
なお、認識スコアの値を、0以上且つ1以下の範囲に限定しない形で実施してもよい。
本実施形態による知識記憶部105は、共起情報記憶部111を持つ。共起情報記憶部111は、ある分類ラベルと他の分類ラベルとの共起しやすさの度合い(「共起尤度」とも呼ぶ)を表す数値データを保持するものである。共起情報記憶部111におけるデータ構成については、後で別の図を参照して詳しく説明する。
なお、上記の説明規則は一例であり、説明規則記憶部107が他の様々な説明規則を保持するようにしてもよい。説明規則の他の具体例については、後でも説明する。
なお、説明情報の生成処理の具体例等については、後でも説明する。
同図に示す具体的なデータの例は、下記の通りである。即ち、例えば、分類ラベル「本」を前提として分類ラベル「ペン」が共起する尤度は、0.5である。また、分類ラベル「太陽」を前提として分類ラベル「月」が共起する尤度は、0.8である。また、分類ラベル「地図」を前提として分類ラベル「棒」が共起する尤度は、0.08である。その他の場合についても、図示されている通りであるが、ここでは説明を省略する。
まずステップS11において、入力部101は、画像を取得する。具体的には、例えば、入力部101は、ユーザーが指定したパス名にしたがって、画像データファイルを記憶装置(例えば、磁気ハードディスク装置)から読み込む。なお、パス名は、コンピューターで管理されるファイルシステムにおいて、データファイルをユニークに特定できる名称であり、ディレクトリ名とファイル名から成るものである。そして、入力部101は、読み取った画像のデータを分割部102に渡す。
なお、認識処理の詳細については、後で述べる。
なお、更新処理の詳細については、後で述べる。
なお、説明情報生成の処理の詳細については、後で実例を参照しながら説明する。
なお、グループ化の具体例について、後で説明する。
分類ラベルの総数がN(N≧1)で、画像の特徴量x(xは、ベクトルである)が与えられた時の分類ラベルCiの事後確率p(Ci|x;θi)は、下の式(1)で計算できる。
また、ロジスティック回帰で用いる特徴量xには、上述した色ヒストグラム以外に、画像全体の特徴量や、HOG特徴量(Histogram of Oriented Gradient)等、局所的特徴量を用いても良い。例えば、HOG特徴量に関しては、文献["Histograms of oriented gradients for human detection." CVPR 2005. IEEE Computer Society Conference on (Vol. 1, pp. 886-893).]にも記載されている。
更新部106は、分類ラベルCjを前提としたときの、分類ラベルCiの更新スコアqi´を、下の式(2)によって算出する。
図4は、分類ラベル付与装置1による処理の流れを、具体例(画像およびスコア数値)により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図(a)は、入力部101が取得した画像を示す。符号801が取得された画像であり、この画像は本とペンを含んでいる。
同図(b)は、分割部102による領域分割の処理の結果として抽出された複数の部分画像を示す。符号802および803は、それぞれ、部分画像である。部分画像802は、本を含む。また、部分画像803は、ペンを含む。
同図(c)は、認識部104が部分画像802について認識処理を行った結果を示す。ここで、分類ラベル候補の上位3位までは、「本」、「新聞」、「地図」であり、それぞれの分類ラベル候補の認識スコアは、0.5、0.3、0.1である。
同図(d)は、認識部104が部分画像803について認識処理を行った結果を示す。ここで、分類ラベル候補の上位3位までは、「棒」、「ペン」、「針」であり、それぞれの分類ラベル候補の認識スコアは、0.2、0.18、0.16である。
同図(f)は、部分画像803に関して、前記分類ラベル候補のそれぞれの更新スコアを更新部106が算出した結果を示す。分類ラベル候補「ペン」、「棒」、「針」の更新スコアは、それぞれ、0.09、0.02、0.008である。部分画像803に関しては、分類ラベル候補「ペン」と「棒」の、認識スコアにおける順位と更新スコアにおける順位とが逆転している。この逆転は共起情報(知識)の作用によるものである。分類ラベル候補「針」は、認識スコアにおいても更新スコアにおいても第3位で変わらない。
図5は、更新部106が更新スコアを算出する過程を説明するための概略図である。同図において、(1)から(3)までは、第1の部分画像(図4において符号802で示した部分画像)について、各分類ラベル候補の更新スコアの算出過程を示す。また、(4)から(6)までは、第2の部分画像(図4において符号803で示した部分画像)について、各分類ラベル候補の更新スコアの算出過程を示す。
更新部106は、これらの尤度をそれぞれ「本」の認識スコアである0.5に掛ける処理を行う。その結果、「棒」を前提とした場合の「本」の認識スコア×尤度の値は0.05である。「ペン」を前提とした場合の「本」の認識スコア×尤度の値は0.25である。「針」を前提とした場合の「本」の認識スコア×尤度の値は0.025である。
また、更新部106は、第2の部分画像の分類ラベル候補についても同様の処理を行う。即ち、(4)の「棒」と、(5)の「ペン」と、(6)の「針」について、共起する部分画像の分類ラベル候補「本」、「新聞」、「地図」を用いた同様の計算を行い、認識スコア×尤度の値を算出する。
「ペン」を前提としたときの、第1の部分画像に関する各分類ラベル候補の更新スコアは、次の通りである。即ち、「本」の更新スコアは0.25、「新聞」の更新スコアは0.09、「地図」の更新スコアは0.04である。また、「本」を前提としたときの、第2の部分画像に関する各分類ラベル候補の更新スコアは、次の通りである。即ち、「棒」の更新スコアは0.02、「ペン」の更新スコアは0.09、「針」の更新スコアは0.008である。
したがって、更新部106による処理の結果、第1の部分画像の分類ラベルとして、更新スコアが第1位である「本」が選ばれる。また、第2の部分画像の分類ラベルとして、更新スコアが第1位である「ペン」が選ばれる。
図6は、説明規則の一つを基に生成される説明情報を示す概略図である。図示する説明規則は、「<分類ラベルの更新前と更新後のどちらでも第1位であった分類ラベル>があるので、この部分は<分類ラベルの更新前は第2位以下であったが、更新後に第1位になった分類ラベル>です。」という規則である。説明情報生成部108は、認識スコア(更新前のスコア)による分類ラベル候補の順位と、更新スコアによる分類ラベル候補の順位を確認する。ここで、<分類ラベルの更新前と更新後のどちらでも第1位であった分類ラベル>と<分類ラベルの更新前は第2位以下であったが、更新後に第1位になった分類ラベル>は変数である。図4,図5で説明した具体例では、<分類ラベルの更新前と更新後のどちらでも第1位であった分類ラベル>に該当するのは、分類ラベル「本」である。また、<分類ラベルの更新前は第2位以下であったが、更新後に第1位になった分類ラベル>に該当するのは、分類ラベル「ペン」である。よって、説明情報生成部108は、これらの変数に、それぞれ、具体的な分類ラベルを適用し、説明情報を生成する。その結果、「『本』があるので、この部分は『ペン』です。」という説明情報が得られる。
次に、第2の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図7は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号2は分類ラベル付与装置である。図示するように、分類ラベル付与装置2は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部126と、説明規則記憶部107と、説明情報生成部108と、出力部109と、を持つ。つまり、分類ラベル付与装置2は、前実施形態の分類ラベル付与装置1における更新部106に代えて、更新部126を持つ。また、本実施形態における知識記憶部105は、集合分類情報記憶部112を持つ。
本実施形態の特徴は、更新部126が、集合分類情報記憶部112に記憶されている集合分類情報に基づいて、複数の部分画像から成る画像に集合分類ラベルを付与する点である。
この集合分類ラベルの付与の処理については、後でも説明する。
第2行目は、「月と太陽」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「月と太陽」に対応する分類ラベルの個数は2個であり、それらの分類ラベルは「月」および「太陽」である。
第3行目は、「二人の人」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「二人の人」に対応する分類ラベルの個数は2個であり、それらの分類ラベルはいずれも「人」である。つまり、分類ラベル「人」が付与された部分画像を2個含む画像には、集合分類ラベル「二人の人」が付与されることを表す。
第4行目は、「三人の人」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「三人の人」に対応する分類ラベルの個数は3個であり、それらの分類ラベルはいずれも「人」である。つまり、分類ラベル「人」が付与された部分画像を3個含む画像には、集合分類ラベル「三人の人」が付与されることを表す。
第5行目は、「二人の男性」という集合分類ラベルに関するデータである。そして、この集合分類ラベル「二人の男性」に対応する分類ラベルの個数は2個であり、それらの分類ラベルはいずれも「男性」である。つまり、分類ラベル「男性」が付与された部分画像を2個含む画像には、集合分類ラベル「二人の男性」が付与されることを表す。
なお、集合分類情報記憶部112には、任意の数の集合分類ラベルの情報を格納することができる。
ステップS31からS33までの処理は、それぞれ、図3に示したステップS11からS13までの処理と同様である。つまり、ステップS33までの処理で、部分画像の分類ラベル候補が得られている。
次にステップS34で、更新部126は、知識記憶部105内の集合分類情報記憶部112を検索する。具体的には、更新部126は、認識部104によるステップS33の処理で得られた、部分画像の分類ラベル候補の上位(例えば、第1位)の組み合わせを検索鍵として、集合分類情報記憶部112を検索する。つまり例えば、第1の部分画像の分類ラベル候補の第1位が「太陽」であり、第2の分類ラベル候補の第1位が「月」であるとき、更新部126は、これらの分類ラベル候補「太陽」および「月」の組み合わせを検索鍵として集合分類情報記憶部112を検索する。すると、図8に例示した集合分類情報の場合、第2行目の集合分類情報「月」と「太陽」がヒットすることとなる。このとき、複数の分類ラベル情報の順序は問われない。
なお、認識部104において1つの部分画像に対して複数の分類ラベルの候補が得られている場合には、更新部126は、それら複数の分類ラベル候補から1つを選んで使用する。具体的には、例えば、1つの部分画像に対して複数の分類ラベルの候補が得られている場合、更新部126は、認識スコアが最も高い(第1位)分類ラベルの候補をその部分画像の分類ラベルとして採用する。そして、更新部126は、第1位の分類ラベルによって集合分類情報記憶部112を検索する。
次にステップS36に進んだ場合、同ステップにおいて、更新部126は、得られた集合分類ラベルの基となった部分画像をグループ化して、そのグループ化された画像に、得られた集合分類ラベルを付与する。即ち、更新部126は、要素である部分画像の分類ラベルを、集合分類情報記憶部112から得られた集合分類ラベルで更新する。例えば、分類ラベル「太陽」に該当する部分画像と、分類ラベル「月」に該当する部分画像がある場合、更新部126は、それらの部分画像をグループ化(統合)し、その画像に「月と太陽」という集合分類ラベルを付与する。
次にステップS38で、出力部109は、説明情報生成部108から渡された情報を出力する。具体的には、出力部109は、情報を画面等に表示する。
ここまでの処理が終了すると、分類ラベル付与装置2は、本フローチャート全体の処理を終了する。
図10は、分類ラベル付与装置2による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図(a)は、入力部101が取得した画像を示す。符号821が、取得された画像であり、この画像は複数の人を含んでいる。
同図(b)は、分割部102による領域分割の処理の結果として抽出された複数の部分画像を示す。符号822および823は、それぞれ、部分画像である。部分画像822および部分画像823は、それぞれ、人を含んでいる。
同図(d)は、更新部126が集合分類ラベルを付与した結果を示す。同図(b)において、2つの部分画像にそれぞれ「人」という分類ラベルが付与されていた。したがって、更新部126は、分類ラベル「人」と分類ラベル「人」の組み合わせを検索鍵として、集合分類情報記憶部112を検索した。その結果、分類ラベル「人」が2個存在するパターンを有する集合分類情報がヒットしたため、更新部126は集合分類ラベル「二人の人」を得た。更新部126は、2つの部分画像(822および823)を統合するとともに、統合された画像に集合分類ラベル「二人の人」を付与した。つまり、更新部126は、分類ラベルを更新した。更新部126は、画像(821,822,823)と、各部分画像(822,823)に対応する分類ラベル「人」と、集合分類ラベル「二人の人」と、グループIDとを説明情報生成部108に渡す。ここで、グループIDは、2つの部分画像(822,823)と集合分類ラベル「二人の人」から成るグループに付与された識別情報である。
次に、第3の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図12は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号3は分類ラベル付与装置である。図示するように、分類ラベル付与装置3は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部146と、説明規則記憶部107と、説明情報生成部108と、出力部109と、を持つ。つまり、分類ラベル付与装置3は、第1の実施形態の分類ラベル付与装置1における更新部106に代えて、更新部146を持つ。また、本実施形態における知識記憶部105は、共起情報記憶部111と集合分類情報記憶部112とを持つ。
本実施形態の特徴は、更新部146が、共起情報記憶部111に記憶されている共起情報に基づいて分類ラベルを更新するとともに、集合分類情報記憶部112に記憶されている集合分類情報に基づいて、集合分類ラベルを付与することである。
また、更新部146は、複数の部分画像それぞれに対応する分類ラベルの組み合わせが、集合分類情報記憶部112に記憶されている集合分類情報が含む複数の分類ラベルの組み合わせである場合に、次の処理を行う。即ち、そのような場合、更新部146は、当該複数の分類ラベルに関して共起情報記憶部111に記憶されている共起尤度のデータよりも高い共起尤度として当該複数の分類ラベルを扱う。この、集合分類情報が含む複数の分類ラベルの組み合わせの場合に関して、そうでない場合よりも共起尤度が相対的に高い部分を「加点要素」と呼ぶ場合がある。この加点要素は、共起尤度において、集合分類情報が含む複数の分類ラベルの組み合わせを強調するためのものである。
同図におけるステップS51からS54までの処理は、それぞれ、図3に示したステップS11からS14までの処理と同様である。つまり、ステップS54までの処理で、部分画像の分類ラベル候補が付与され、また共起情報に基づいて分類ラベルが更新されている。
次にステップS56で、更新部146は、上のステップS55での検索の結果、ヒットした集合分類ラベルがあったか否かを判定する。ヒットした集合分類ラベルがあった場合(ステップS56:YES)、次のステップS57に進む。ヒットした集合分類ラベルがなかった場合(ステップS56:NO)、次に、ステップS58に飛ぶ。
ただし、更新部146は、共起情報記憶部111に記憶されている共起情報と集合分類情報記憶部112に記憶されている集合分類情報の両方に基づいて分類ラベルの更新を行う。ここで、更新部146は、複数の部分画像の分類ラベル候補の組み合わせが集合分類情報に含まれているものである場合には、それらの分類ラベル候補の組み合わせに対して加点要素を含んだスコアを与える。具体的には、加点要素を含んだスコアを与えるために、1より大きい係数を使用する。そして、更新部146は、複数の部分画像の分類ラベル候補の組み合わせが集合分類情報に含まれているものである場合には、それらの分類ラベル候補の更新スコアに、上記の係数(1より大きい係数)を乗算して、更新スコアを計算し直す。この加点要素を作用させる例については、後の図14で説明する。
次にステップS59において、出力部109は、説明情報生成部108から渡された情報を出力する。具体的には、出力部109は、情報を画面等に表示する。
ここまでの処理が終了すると、分類ラベル付与装置3は、本フローチャート全体の処理を終了する。
図14は、分類ラベル付与装置3による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図(a)は、入力部101が取得した画像を示す。符号841が、取得された画像であり、この画像は月と太陽を含んでいる。
同図(b)は、分割部102による領域分割の処理の結果として抽出された複数の部分画像を示す。符号842および843は、それぞれ、部分画像である。部分画像842および部分画像843は、それぞれ、月および太陽を含んでいる。
同図(d)は、認識部104が部分画像843について認識処理を行った結果を示す。部分画像822に関して、分類ラベル候補は、「太陽」、「花」、「電球」であり、その認識スコアは、それぞれ、0.2、0.18、0.16である。
さらに、更新部146は、集合分類情報を検索する。このとき、更新部146は、部分画像822に関する分類ラベル候補(「地球」、「クッキー」、「月」)と、部分画像823に関する分類ラベル候補(「太陽」、「花」、「電球」)との組み合わせを検索鍵として、集合分類情報を検索する。その結果、更新部146は、分類ラベル「月」と分類ラベル「太陽」とで成る集合分類ラベル「月と太陽」を集合分類情報から取得する。また、この集合分類ラベル「月と太陽」が存在し、その分類ラベルは「月」および「太陽」であるため、更新部146は、既に計算した更新スコアに、さらに加点要素を得るための係数を乗算することによって更新スコアを再計算する。
同図(f)もまた、更新部146によるスコアの再計算の結果を示す。即ち、部分画像843について、分類スコア候補「太陽」、「花」、「電球」の、再計算された更新スコアは、それぞれ、0.5、0.08、0.01である。
この結果、部分画像842および843に関して、それぞれ、最高のスコアを有する分類ラベル「月」および分類ラベル「太陽」が決定される。
同図(g)は、決定された分類ラベル「月」および「太陽」に対応する集合分類ラベル「月と太陽」が入力画像に付与されている状態を示す。
また、代わりに、集合分類ラベルを構成する分類ラベルの組み合わせについて、共起情報記憶部111に記憶されている尤度を予め高く設定しておいてもよい。具体的には、集合分類ラベルを構成するiとjに関して、更新部146が更新スコアqi´を計算する(式(2)による)際の、尤度p(Ci|Cj)の値を、集合分類ラベルを構成しない分類ラベルの組み合わせによる尤度よりも高く設定しておくようにする。これにより、集合分類ラベルを構成する分類ラベルの更新スコアqi´が相対的に高くなりやすい。
次に、第4の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図15は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号4は分類ラベル付与装置である。図示するように、分類ラベル付与装置4は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部166と、説明規則記憶部107と、説明情報生成部108と、出力部109と、操作入力部161と、操作反映部162と、認識情報記憶部163とを持つ。つまり、分類ラベル付与装置4は、第1の実施形態の分類ラベル付与装置1における更新部106に代えて、更新部166を持つ。また、分類ラベル付与装置4は、操作入力部161と、操作反映部162と、認識情報記憶部163とを持つことが特徴である。また、本実施形態における知識記憶部105は、共起情報記憶部111を持つ。
なお、認識情報記憶部163のデータ例については、後で説明する。
次にステップS72において、操作反映部162は、上記の操作の情報に基づいて、画像に付与された分類ラベルを強制的に修正するよう、更新部166に指示する。
次にステップS73において、更新部166は、操作反映部162からの指示にしたがって、画像に付与された分類ラベルを更新する。また、更新部166は、操作反映部162からの指示に基づく分類ラベルの更新の結果、更新後の分類ラベルとの共起の尤度に基づいて、共起する画像の分類ラベルをも更新する。このとき、更新部166は、知識記憶部105の中の共起情報記憶部111を参照することにより、更新スコアを計算し直す。
次にステップS74において、説明情報生成部108は、前ステップにおける更新部166の処理の結果に応じて、説明規則記憶部107から読み出す説明規則に基づいて、説明情報を生成する。
次にステップS75において、出力部109は、画像と、その分類ラベルと、説明情報とを出力する。具体的には、出力部109は、これらの情報を画面等に表示する。
図17は、分類ラベル付与装置4による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図(a)は、入力部101が取得した画像を示す。符号861が、取得された画像であり、この画像は本とペンを含んでいる。
同図(b)は、分割部102による領域分割の処理の結果として抽出された複数の部分画像を示す。符号862および863は、それぞれ、部分画像である。部分画像862および部分画像863は、それぞれ、月および太陽を含んでいる。
なお、ここでは、ユーザーの操作に基づいて選択された分類ラベルのスコアを1.0に更新したが、このような分類ラベルのスコアを必ずしも1.0まで引き上げなくてもよい。スコアを、従来値よりも所定量だけ引き上げる処理を行ってもよい。逆に、ユーザーの操作に基づいて選択された分類ラベルのスコアを必ずしも0.0まで引き下げなくてもよい。スコアを、従来値よりも所定量だけ引き下げる処理を行ってもよい。
このようにして、部分画像862の分類ラベルは、最高スコアを有する「本」に更新される。また、部分画像863の分類ラベルは、最高スコアを有する「ペン」に更新される。
同図(g)は、各部分画像と、それぞれの分類ラベルと、説明情報とを、出力部109が表示している状態を示す。
具体例として、次の処理の通りである。即ち、ユーザーの操作によって、更新部166は、部分画像862の分類ラベルを「新聞」から「本」に変更する。更新部166は、部分画像863については、共起情報に基づく分類ラベルの更新を行わない。つまり、その時点では、分類ラベル「本」と「ペン」との共起の尤度がそれほど高くない。そして、ユーザーの操作によって、部分画像863の分類ラベルを「棒」から「ペン」に変更する。つまり、ユーザーの操作によって、分類ラベル「本」と分類ラベル「ペン」とが共起する例が入力された。このユーザーからの入力に基づいて、更新部166は、分類ラベル「本」と分類ラベル「ペン」とが共起する尤度の値を引き上げるよう、共起情報記憶部111を更新する。このように共起情報記憶部111を更新することにより、次回以降に同様の例が発生した場合に、共起情報は、分類ラベル「本」と分類ラベル「ペン」とが共起する尤度が高くなるように作用を及ぼす。即ち、ユーザーの操作による入力を基に、分類ラベル付与装置4が徐々に学習していく効果がある。この学習の処理は、事例によって共起情報記憶部111を最適化していく過程である。
次に、第5の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図20は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号5は分類ラベル付与装置である。図示するように、分類ラベル付与装置5は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部186と、説明規則記憶部107と、説明情報生成部108と、出力部109と、操作入力部161と、操作反映部162と、認識情報記憶部163とを持つ。つまり、分類ラベル付与装置5は、第4の実施形態の分類ラベル付与装置4における更新部166に代えて、更新部186を持つ。そして、本実施形態における知識記憶部105は、集合分類情報を保持するための集合分類情報記憶部112を持つ。
次にステップS92において、操作反映部162は、上記の操作の情報に基づいて、画像に付与された分類ラベルを強制的に修正するよう、更新部186に指示する。そして、更新部186は、操作反映部162からの指示にしたがって、画像に付与された分類ラベルを更新する。
次にステップS93において、更新部186は、更新後の分類ラベルと、集合分類情報記憶部112から読み出す集合分類情報とに基づいて、集合分類ラベルを更新する。
次にステップS94において、説明情報生成部108は、前ステップにおける更新部186の処理の結果に応じて、説明規則記憶部107から読み出す説明規則に基づいて、説明情報を生成する。
次にステップS95において、出力部109は、画像と、その分類ラベルと、説明情報とを出力する。具体的には、出力部109は、これらの情報を画面等に表示する。
図22は、分類ラベル付与装置5による処理の流れを、具体例により説明するための概略図である。以下、同図に沿って順を追って説明する。
同図(a)は、入力部101が取得した画像を示す。符号881が、取得された画像であり、この画像は二人の人を含んでいる。
同図(b)は、分割部102による領域分割の処理の結果として抽出された複数の部分画像を示す。符号882および883は、それぞれ、部分画像である。部分画像882および部分画像883のそれぞれは、人を含んでいる。
同図(c)は、更新部186によって付与された集合分類ラベル「二人の人」と、説明情報生成部108によって生成された説明情報が付与された状態を示す。ここでの説明情報は、「『人』が2つあるので、『二人の人』です」である。
同図(f)は、説明情報生成部108から出力された情報を出力部109が表示している状態を示す。即ち、出力部109は、画像と、その画像に付与された集合分類ラベルと、説明情報とを表示する。説明情報生成部108が生成した説明情報は、「『男性』が2つあるので、『二人の男性』です」というものである。
図23は、認識情報記憶部163内の一部を示す概略図である。同図は、部分画像と、その分類画像に付与された分類ラベルとの関係を表すデータを示している。同図に示すデータは、表形式のデータであり、項目として、分類ラベルID、部分画像、分類ラベル(または分類ラベル候補)を持つ。このデータは2行分のレコードを保持している。第1行目のレコードの分類ラベルIDは「A01」であり、第2行目のレコードの分類ラベルIDは「A02」である。分類ラベルID「A01」で識別される行は、部分画像として男性の画像(図22における部分画像882)を格納している。また、この部分画像に付与されている分類ラベルは「男性」である。分類ラベルID「A02」で識別される行は、部分画像として男性の画像(図22における部分画像883)を格納している。また、この部分画像に付与されている分類ラベルもまた「男性」である。
更新部186は、ユーザーからの操作情報に基づいてある部分画像の分類ラベルを更新したとき、認識情報記憶部163に記憶されている分類ラベル(図23のデータ)と、更新後の分類ラベルとを比較する。そして、いずれかの部分画像について、分類ラベルに不一致がある場合、不一致の分類ラベルが関連付けられている集合分類ラベルのレコードを削除する。つまり、例えば、図23における分類ラベルID「A01」のレコードが有する分類ラベルと更新後の分類ラベルとが異なる場合、分類ラベルID「A01」を含んでいる集合分類ラベルのレコード、即ち、図24の集合分類ラベル「G01」のレコードを削除する。その後、更新後の分類ラベルの組み合わせ(例えば、「男性」と「男性」)を検索鍵として、更新部186は、知識記憶部105内の集合分類情報記憶部112を検索する。その結果、分類ラベルの組み合わせ(「男性」と「男性」)に対応する集合分類ラベル「二人の男性」が得られると、更新部186は、その新たな集合分類ラベルを、画像に付与する。そして、更新部186は、認識情報記憶部163にも、更新後の分類ラベルの情報および集合分類ラベルの情報を書き込む。
次に、第6の実施形態について説明する。なお、既に説明した実施形態と共通の事項については、説明を省略する場合がある。以下では、本実施形態に特有の事項を中心に説明する。
図25は、本実施形態による分類ラベル付与装置の概略機能構成を示すブロック図である。同図において、符号6は分類ラベル付与装置である。図示するように、分類ラベル付与装置6は、入力部101と、分割部102と、分類情報記憶部103と、認識部104と、知識記憶部105と、更新部206と、説明規則記憶部107と、説明情報生成部108と、出力部109と、操作入力部161と、操作反映部162と、認識情報記憶部163とを持つ。つまり、分類ラベル付与装置6は、第4の実施形態の分類ラベル付与装置4における更新部166に代えて、更新部206を持つ。そして、本実施形態における知識記憶部105は、共起情報を保持するための共起情報記憶部111と、集合分類情報を保持するための集合分類情報記憶部112とを持つ。
次にステップS112において、操作反映部162は、上記の操作の情報に基づいて、画像に付与された分類ラベルを修正するよう、更新部206に指示する。そして、更新部206は、操作反映部162からの指示にしたがって、画像に付与された分類ラベルを更新する。
次にステップS113において、更新部206は、更新後の分類ラベルと、共起情報記憶部111から読み出す共起情報とに基づいて、分類ラベルを更新する。また、更新部206は、更新後の分類ラベルと、集合分類情報記憶部112から読み出す集合分類情報とに基づいて、集合分類ラベルを更新する。このとき、第3の実施形態と同様に、更新部206が、集合分類ラベルを構成する要素である分類ラベルの組み合わせについて、共起する尤度を高める調整を行うようにしてもよい。
次にステップS114において、説明情報生成部108は、前ステップにおける更新部206の処理の結果に応じて、説明規則記憶部107から読み出す説明規則に基づいて、説明情報を生成する。
次にステップS115において、出力部109は、画像と、得られた分類ラベルと、説明情報とを出力する。具体的には、出力部109は、これらの情報を画面等に表示する。
Claims (9)
- 画像と分類ラベルとの関係についての知識の情報を記憶する知識記憶部と、
画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与する認識部と、
前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する更新部と、
を備える分類ラベル付与装置。 - 前記更新部による分類ラベルの更新処理に対応した説明規則を記憶する説明規則記憶部と、
前記説明規則記憶部から読み出した前記説明規則と、前記更新部による分類ラベルの更新処理の内容とに基づいて説明情報を生成する説明情報生成部と、
前記画像と、当該画像に付与された前記分類ラベルと、生成された前記説明情報とを出力する出力部と、
をさらに備える請求項1に記載の分類ラベル付与装置。 - 前記画像を複数の部分画像の領域に分割する分割部、をさらに備え、
前記認識部は、前記部分画像の認識処理を行うことによって前記部分画像にも分類ラベルを付与する、
請求項1または2のいずれかに記載の分類ラベル付与装置。 - 前記知識記憶部は、前記知識として複数の分類ラベルの共起尤度のデータを保持する共起情報記憶部を備え、
前記更新部は、前記画像が含む複数の部分画像にそれぞれ付与された前記分類ラベルと、前記共起情報記憶部から読み出した前記共起尤度のデータとに基づいて、複数の前記部分画像に対応する前記分類ラベルのうちの少なくとも一つを別の分類ラベルに更新する、
請求項3に記載の分類ラベル付与装置。 - 前記知識記憶部は、前記知識として、集合分類ラベルと複数の前記分類ラベルとの対応関係を表す集合分類情報を保持する集合分類情報記憶部を備え、
前記更新部は、前記画像が含む複数の部分画像にそれぞれ付与された前記分類ラベルと、前記集合分類情報記憶部から読み出した前記集合分類情報とに基づいて、前記複数の部分画像に対応する前記集合分類ラベルを用いて前記画像に付与されていた前記分類ラベルを更新する、
請求項3または4のいずれかに記載の分類ラベル付与装置。 - 前記知識記憶部は、前記知識として複数の分類ラベルの共起尤度のデータを保持する共起情報記憶部を備え、
前記更新部は、前記集合分類情報記憶部に記憶されている前記集合分類情報が、ある集合分類ラベルと前記複数の分類ラベルとの対応関係を含む場合に、当該複数の分類ラベルに関して前記共起情報記憶部に記憶されている共起尤度のデータよりも高い共起尤度として当該複数の分類ラベルを扱って、複数の前記部分画像に対応する前記分類ラベルのうちの少なくとも一つを別の分類ラベルに更新する、
請求項5に記載の分類ラベル付与装置。 - 外部からの操作に基づく操作情報を取得する操作入力部と、
前記操作情報にしたがって、前記画像に付与されている分類ラベルを更新するよう前記更新部に指示する操作反映部と、
をさらに備え、
前記更新部は、前記操作反映部からの指示があった場合には当該指示にしたがって前記画像または前記部分画像に付与された分類ラベルを更新する、
請求項3から6までのいずれか一項に記載の分類ラベル付与装置。 - 画像と分類ラベルとの関係についての知識の情報を記憶する知識記憶部を備える分類ラベル付与装置が、
画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与する認識過程と、
前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する更新過程と、
を含む分類ラベル付与方法。 - コンピューターを、
画像と分類ラベルとの関係についての知識の情報を記憶する知識記憶部、
画像の認識処理を行うことによって前記画像に対応する分類ラベルを付与する認識部、
前記知識記憶部から読み出した前記知識に基づいて前記画像に付与された前記分類ラベルを別の分類ラベルに更新する更新部、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043896A JP6486853B2 (ja) | 2016-03-07 | 2016-03-07 | 分類ラベル付与装置、分類ラベル付与方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016043896A JP6486853B2 (ja) | 2016-03-07 | 2016-03-07 | 分類ラベル付与装置、分類ラベル付与方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017162025A true JP2017162025A (ja) | 2017-09-14 |
JP6486853B2 JP6486853B2 (ja) | 2019-03-20 |
Family
ID=59857108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016043896A Active JP6486853B2 (ja) | 2016-03-07 | 2016-03-07 | 分類ラベル付与装置、分類ラベル付与方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6486853B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108494A (zh) * | 2018-01-18 | 2018-06-01 | 厦门理工学院 | 一种图片分类智能终端 |
JP2020101968A (ja) * | 2018-12-21 | 2020-07-02 | 株式会社 日立産業制御ソリューションズ | マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム |
WO2020149242A1 (ja) * | 2019-01-17 | 2020-07-23 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
JP2020166526A (ja) * | 2019-03-29 | 2020-10-08 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
WO2021152801A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
WO2023032345A1 (ja) * | 2021-09-02 | 2023-03-09 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
WO2024044014A1 (en) * | 2022-08-21 | 2024-02-29 | Nec Laboratories America, Inc. | Concept-conditioned and pretrained language models based on time series to free-form text description generation |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250712A (ja) * | 2004-03-03 | 2005-09-15 | Univ Waseda | 人物属性識別方法およびそのシステム |
WO2011089884A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
JP2014048798A (ja) * | 2012-08-30 | 2014-03-17 | Canon Inc | 医療診断支援装置、医療診断支援方法及びプログラム |
JP2014164499A (ja) * | 2013-02-25 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置及び画像分類プログラム |
JP2015005172A (ja) * | 2013-06-21 | 2015-01-08 | ソニー株式会社 | 情報処理装置、情報処理システム、及びプログラムを記憶した記憶媒体 |
-
2016
- 2016-03-07 JP JP2016043896A patent/JP6486853B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005250712A (ja) * | 2004-03-03 | 2005-09-15 | Univ Waseda | 人物属性識別方法およびそのシステム |
WO2011089884A1 (ja) * | 2010-01-25 | 2011-07-28 | パナソニック株式会社 | 画像分類装置、方法、プログラム、プログラムを記録する記録媒体及び集積回路 |
JP2014048798A (ja) * | 2012-08-30 | 2014-03-17 | Canon Inc | 医療診断支援装置、医療診断支援方法及びプログラム |
JP2014164499A (ja) * | 2013-02-25 | 2014-09-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像分類装置及び画像分類プログラム |
JP2015005172A (ja) * | 2013-06-21 | 2015-01-08 | ソニー株式会社 | 情報処理装置、情報処理システム、及びプログラムを記憶した記憶媒体 |
Non-Patent Citations (1)
Title |
---|
岡部 孝弘、外3名: ""カテゴリーの共起を考慮した回帰による複数物体認識"", 電子情報通信学会論文誌, vol. 92, no. 8, JPN6018037033, 1 August 2009 (2009-08-01), JP, pages 1115 - 1124, ISSN: 0003960054 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108108494A (zh) * | 2018-01-18 | 2018-06-01 | 厦门理工学院 | 一种图片分类智能终端 |
JP2020101968A (ja) * | 2018-12-21 | 2020-07-02 | 株式会社 日立産業制御ソリューションズ | マルチラベルデータ学習支援装置、マルチラベルデータ学習支援方法およびマルチラベルデータ学習支援プログラム |
WO2020149242A1 (ja) * | 2019-01-17 | 2020-07-23 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
JP2020166526A (ja) * | 2019-03-29 | 2020-10-08 | Arithmer株式会社 | 作業支援装置、作業支援方法、プログラム、及び対象物検知モデル。 |
WO2021152801A1 (ja) * | 2020-01-30 | 2021-08-05 | 日本電気株式会社 | 学習装置、学習方法、及び、記録媒体 |
JPWO2021152801A1 (ja) * | 2020-01-30 | 2021-08-05 | ||
WO2023032345A1 (ja) * | 2021-09-02 | 2023-03-09 | 富士フイルム株式会社 | 情報処理装置、方法およびプログラム |
WO2024044014A1 (en) * | 2022-08-21 | 2024-02-29 | Nec Laboratories America, Inc. | Concept-conditioned and pretrained language models based on time series to free-form text description generation |
Also Published As
Publication number | Publication date |
---|---|
JP6486853B2 (ja) | 2019-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6486853B2 (ja) | 分類ラベル付与装置、分類ラベル付与方法、およびプログラム | |
US11657084B2 (en) | Correlating image annotations with foreground features | |
US20200050632A1 (en) | Method and apparatus for generating knowledge graph, device and computer readable storage medium | |
CN108463814B (zh) | 一种医学图像标注方法及系统 | |
US9430719B2 (en) | System and method for providing objectified image renderings using recognition information from images | |
US10628474B2 (en) | Probabalistic generation of diverse summaries | |
US8649572B2 (en) | System and method for enabling the use of captured images through recognition | |
US7809722B2 (en) | System and method for enabling search and retrieval from image files based on recognized information | |
US9886669B2 (en) | Interactive visualization of machine-learning performance | |
US7809192B2 (en) | System and method for recognizing objects from images and identifying relevancy amongst images and information | |
CN112287187A (zh) | 利用对象属性检测模型来自动地选择图像中所检测的对象的实例 | |
CN110390033A (zh) | 图像分类模型的训练方法、装置、电子设备及存储介质 | |
JP2015032308A (ja) | 畳み込みニューラルネットワークの分類器、及びその分類方法、訓練方法 | |
Carin | On artificial intelligence and deep learning within medical education | |
US9081825B1 (en) | Querying of reputation scores in reputation systems | |
CN107391577B (zh) | 一种基于表示向量的作品标签推荐方法和系统 | |
CN111312354A (zh) | 基于多智能体强化学习的乳腺病历实体识别标注增强系统 | |
CN107862322A (zh) | 结合图片和文本进行图片属性分类的方法、装置及系统 | |
US9129216B1 (en) | System, method and apparatus for computer aided association of relevant images with text | |
CN110321437A (zh) | 一种语料数据处理方法、装置、电子设备及介质 | |
Shete et al. | Tasselgan: An application of the generative adversarial model for creating field-based maize tassel data | |
CN111522979B (zh) | 图片排序推荐方法、装置、电子设备、存储介质 | |
US20210390251A1 (en) | Automatic generation of form application | |
Stacchio et al. | Toward a Holistic Approach to the Socio-historical Analysis of Vernacular Photos | |
JP2014078100A (ja) | 配信装置及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170830 Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20170830 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6486853 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |