JP2013161109A - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2013161109A JP2013161109A JP2012019827A JP2012019827A JP2013161109A JP 2013161109 A JP2013161109 A JP 2013161109A JP 2012019827 A JP2012019827 A JP 2012019827A JP 2012019827 A JP2012019827 A JP 2012019827A JP 2013161109 A JP2013161109 A JP 2013161109A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- score
- target
- similarity score
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】少ない計算量で、識別対象を精度良く識別する。
【解決手段】特徴量抽出部は、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出し、抽出した第2の識別対象から、第2の識別対象の特徴量を抽出し、スコア算出部は、第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、第2の識別対象の特徴量に基づいて、算出対象と第2の識別対象との類似の程度を表す第2の類似スコアを算出し、識別部は、複数の異なる算出対象毎に、第1の類似スコアと第2の類似スコアを比較して得られる比較結果に基づいて、第1の識別対象と第2の識別対象とが同一の対象であるか否かを識別する。本開示は、例えばコンテンツを記憶するコンピュータなどに適用できる。
【選択図】図2
【解決手段】特徴量抽出部は、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出し、抽出した第2の識別対象から、第2の識別対象の特徴量を抽出し、スコア算出部は、第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、第2の識別対象の特徴量に基づいて、算出対象と第2の識別対象との類似の程度を表す第2の類似スコアを算出し、識別部は、複数の異なる算出対象毎に、第1の類似スコアと第2の類似スコアを比較して得られる比較結果に基づいて、第1の識別対象と第2の識別対象とが同一の対象であるか否かを識別する。本開示は、例えばコンテンツを記憶するコンピュータなどに適用できる。
【選択図】図2
Description
本開示は、情報処理装置、情報処理方法、及びプログラムに関し、特に、例えば、少ない計算量で、識別対象を精度良く識別できるようにした情報処理装置、情報処理方法、及びプログラムに関する
従来、例えば、予め行われる学習により得られた識別器(関数)を用いて、画像上に存在する顔などが、所定の人物の顔であるか否かを識別する識別方法が存在する(例えば、特許文献1乃至3参照)。
なお、識別器は、例えば、大量の学習用画像を用いて、ブースティング(boosting)やバギング(bagging)などの機械学習により学習される。
上述したように、従来の識別方法では、大量の学習用画像を用いて識別器を学習させる必要があり、この学習には、膨大な計算量が必要であった。
特に、例えば、ブースティングによる機械学習では、所定の処理が再帰的に繰り返されて識別器が学習されるため、計算量がより膨大となってしまっていた。
本開示は、このような状況に鑑みてなされたものであり、例えば、学習に膨大な計算を要する識別器を用いることなく、少ない計算量で識別対象を精度良く識別できるようにするものである。
本開示の一側面の情報処理装置は、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部とを含む情報処理装置である。
特徴量を定義する特徴量空間上における、前記第1の識別対象の特徴量と前記第2の識別対象の特徴量との距離を算出する距離算出部をさらに設けることができ、前記識別部は、前記距離にも基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別することができる。
前記識別部は、前記距離が第1の閾値以下である場合、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別し、前記距離が前記第1の閾値よりも大である場合、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別することができる。
前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が第2の閾値以上とされた前記複数の異なる算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別することができる。
前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が前記第2の閾値以上とされた前記算出対象の個数が予め決められた個数以上である場合のみ、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別することができる。
前記類似スコア算出部は、前記算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、予め決められた複数の値のいずれかを、前記第2の類似スコアとして算出し、前記識別部は、前記第1の類似スコアと前記第2の類似スコアとが一致する回数を、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が予め決められた類似スコア以上とされた回数で除算した除算結果が、第3の閾値以上であるとの比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別することができる。
前記類似スコア算出部は、ユーザの指示操作により、前記算出対象と前記第2の識別対象とが同一の対象であるか否かが指示されている場合、前記第2の類似スコアの算出結果に拘らず、前記第2の類似スコアをユーザの指示操作に応じた値とすることができる。
前記類似スコア算出部は、特徴量を定義する特徴量空間上における、第1の前記算出対象の特徴量と第2の前記算出対象の特徴量との距離が、予め決められた距離未満である場合、前記第1の算出対象、及び前記第2の算出対象を、1個の算出対象として、前記第2の類似スコアを算出することができる。
前記コンテンツは、複数の画像により構成される動画であり、前記識別対象抽出部は、前記動画を構成する前記複数の画像のうちの所定の画像から、前記第2の識別対象を抽出した後、前記所定の画像よりも未来方向の画像を対象として、前記第2の識別対象をトラッキングし、トラッキングしている前記第2の識別対象を抽出の対象から除外することができる。
本開示の一側面の情報処理方法は、所定の識別対象を識別する情報処理装置の情報処理方法であって、前記情報処理装置による、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出ステップと、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出ステップと、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出ステップと、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別ステップとを含む情報処理方法である。
本開示の一側面のプログラムは、コンピュータを、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部として機能させるためのプログラムである。
本開示によれば、コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象が抽出され、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量が抽出され、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアが算出され、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かが識別される。
本開示によれば、例えば、学習に膨大な計算を要する識別器を用いることなく、少ない計算量で識別対象を精度良く識別することが可能となる。
以下、本開示における実施の形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態(類似スコアどうしの比較結果に基づいて、識別対象を識別するときの一例)
2.第2の実施の形態(特徴量空間上の距離にも基づいて、識別対象を識別するときの一例)
3.変形例
1.第1の実施の形態(類似スコアどうしの比較結果に基づいて、識別対象を識別するときの一例)
2.第2の実施の形態(特徴量空間上の距離にも基づいて、識別対象を識別するときの一例)
3.変形例
<1.第1の実施の形態>
[第1の実施の形態の概要]
図1は、第1の実施の形態の概要を示している。
[第1の実施の形態の概要]
図1は、第1の実施の形態の概要を示している。
なお、図1には、図中水平方向と垂直方向に、それぞれ、顔a1,a2,b1,b2,b3が示されている。顔a1,a2は、人物Aの顔を表しており、顔b1,b2,b3は、人物Aとは異なる人物Bの顔を表している。
また、図1には、図中水平方向に並ぶ顔a1,a2,b1,b2,b3と、図中垂直方向に並ぶ顔a1,a2,b1,b2,b3とが、それぞれ、同一の人物の顔であるか否かを表す数字(0又は1)が示されている。ここで、数字「0」は同一の人物の顔ではないことを表し、数字「1」は同一の人物の顔であることを表す。
すなわち、図1において、1行目には、顔a1が、顔a1,a2,b1,b2,b3のそれぞれと同一であるか否かを表す数字「1,1,0,0,0」が、2行目には、顔a2が、顔a1,a2,b1,b2,b3のそれぞれと同一であるか否かを表す数字「1,1,1,0,0」が示されている。
また、図1において、3行目には、顔b1が、顔a1,a2,b1,b2,b3のそれぞれと同一であるか否かを表す数字「0,1,1,1,1」が、4行目には、顔b2が、顔a1,a2,b1,b2,b3のそれぞれと同一であるか否かを表す数字「0,0,1,1,1」が示されている。さらに、図1において、5行目には、顔b3が、顔a1,a2,b1,b2,b3のそれぞれと同一であるか否かを表す数字「0,0,1,1,1」が示されている。
本開示では、例えば、顔a1,a2,b1,b2,b3から特徴量を抽出し、抽出した特徴量に基づいて、図中水平方向に並ぶ顔a1,a2,b1,b2,b3と、図中垂直方向に並ぶ顔a1,a2,b1,b2,b3どうしの類似の程度を表す類似スコアを算出する。
また、例えば、本開示では、算出した類似スコアが、予め決められた閾値Th1以上であるか否かに応じて、類似スコアを0又は1の一方に2値化する。
ここで、閾値Th1は、例えば、情報処理装置1や後述の情報処理装置101を製造する製造業者等が行う実験などにより、最も識別の精度が高くなるような値に予め設定される。また、閾値Th1は、ユーザの設定操作等により設定(又は変更)するようにしてもよい。このことは、後述するその他の閾値(例えば、閾値Th_ts,Th2,Th3,Th_k,Th_dなど)についても同様である。
さらに、本開示では、例えば、顔a1と顔a2が同一の人物Aの顔であるか否かを識別する場合、1行目に示された顔a1の類似スコア1,1,0,0,0と、2行目に示された顔a2の類似スコア1,1,1,0,0とを比較する。
そして、本開示では、その比較結果に基づいて、顔a1と顔a2が同一の人物Aの顔であるか否かを識別する。
すなわち、例えば、図1に示されるように、顔a1の類似スコア1,1,0,0,0と、顔a2の類似スコア1,1,1,0,0との対応する類似スコアどうしを比較し、対応する類似スコアどうしが、いずれも1となる回数Num1(いまの場合、Num1=2)を算出する。
さらに、例えば、顔a1の類似スコア1,1,0,0,0と、顔a2の類似スコア1,1,1,0,0との対応する類似スコアどうしの少なくとも一方の類似スコアが1となる回数Num2(いまの場合、Num2=3)を算出する。
また、回数Num1を回数Num2で除算し、その除算結果Num1/Num2(いまの場合、Num1/Num2=2/3)を、顔a1と顔a2との類似の程度を総合的に表す総合スコアTS(a1,a2)として算出する。
そして、算出された統合スコアTS(a1,a2)が、予め決められた閾値Th_ts以上である場合に、顔a1と顔a2は同一の人物Aの顔であると識別し、統合スコアTS(a1,a2)が、閾値Th_ts未満である場合に、顔a1と顔a2は同一の人物Aの顔ではないと識別する。
[情報処理装置1の構成例]
図2は、第1の実施の形態である情報処理装置1の構成例を示している。
図2は、第1の実施の形態である情報処理装置1の構成例を示している。
この情報処理装置1は、コンテンツ記憶部21、特徴量抽出部22、スコア算出部23、識別部24、表示部25、操作部26、及び制御部27から構成される。
コンテンツ記憶部21は、コンテンツとして、例えば静止画を記憶(保持)する。なお、コンテンツとしては、静止画に限定されず、動画や、音楽、音声等を採用することができる。第1の実施の形態では、説明を簡単にするために、コンテンツ記憶部21には、コンテンツとして、静止画が記憶されているものとして説明する。
特徴量抽出部22は、コンテンツ記憶部21に保持されているコンテンツから、識別対象の特徴量を抽出する特徴量抽出処理を行う。
すなわち、例えば、特徴量抽出部22は、コンテンツ記憶部21に保持されているコンテンツとしての静止画を読み出し、読み出した静止画から、その静止画に写っている識別対象としての顔(を表す画像)を抽出する。そして、特徴量抽出部22は、抽出した顔から、その顔の特徴を表す特徴量を抽出し、スコア算出部23に供給する。
なお、特徴量抽出部22が、例えば、コンテンツ記憶部21に保持されているコンテンツとしての動画から、顔を抽出する抽出方法の一例については、図18を参照して詳述する。
次に、図3は、特徴量抽出部22が行う特徴量抽出処理の一例を示している。
なお、図3A乃至図3Dには、それぞれ、顔a1が写っている静止画41、顔a2及び顔b1が写っている静止画42、顔b2が写っている静止画43、又は顔b3が写っている静止画44が示されている。
特徴量抽出部22は、例えば、コンテンツ記憶部21から、静止画41乃至44を読み出す。また、特徴量抽出部22は、図3Aに示されるように、静止画41から、顔a1を抽出し、抽出した顔a1(を表す画像)から、顔a1の特徴量x1を抽出して、スコア算出部23に供給する。
さらに特徴量抽出部22は、同様にして、図3B乃至図3Dに示されるように、静止画42から顔a2及び顔b1を、静止画43から顔b2を、静止画44から顔b3をそれぞれ抽出する。
そして、特徴量抽出部22は、抽出した顔a2から顔a2の特徴量x2を、抽出した顔b1から顔b1の特徴量x3を、抽出した顔b2から顔b2の特徴量x4を、抽出した顔b3から顔b3の特徴量x5をそれぞれ抽出して、スコア算出部23に供給する。
図2に戻る。スコア算出部23は、特徴量抽出部22からの特徴量に基づいて、静止画から抽出された顔どうしの類似の程度(度合い)を表す類似スコアScoreを算出し、算出した類似スコアを0又は1の一方の値である2値化スコアScore'に2値化するスコア算出処理を行う。
なお、このスコア算出処理において、類似スコアScoreを算出する処理の詳細は、図4を参照して詳述し、算出した類似スコアScoreを2値化スコアScore'に2値化する処理の詳細は、図5を参照して詳述する。
次に、図4は、スコア算出部23が行うスコア算出処理において、類似スコアScoreを算出したときの算出結果の一例を示している。
図4には、複数の顔a1,a2,b1,b2,b3のうち、任意の2個の異なる顔どうしの類似スコアScoreが示されている。なお、類似スコアScoreは、例えば、0から100までの値とされる。
スコア算出部23は、特徴量抽出部22から供給される特徴量x1乃至x5に基づいて、図4に示されるような類似スコアScoreを算出する。
具体的には、例えば、スコア算出部23は、特徴量抽出部22から供給される特徴量x1乃至x5のうち、顔a1の特徴量x1と顔a2の特徴量x2とに基づいて、顔a1と顔a2との類似スコアScore(x1,x2)=30を算出する。
同様にして、スコア算出部23は、顔a1と顔b1との類似スコアScore(x1,x3)=10, 顔a1と顔b2との類似スコアScore(x1,x4)=5,顔a1と顔b3との類似スコアScore(x1,x5)=6を算出する。
また、スコア算出部23は、顔a2と顔b1との類似スコアScore(x2,x3)=12, 顔a2と顔b2との類似スコアScore(x2,x4)=8,顔a2と顔b3との類似スコアScore(x2,x5)=9を算出する。
さらに、スコア算出部23は、顔b1と顔b2との類似スコアScore(x3,x4)=40, 顔b1と顔b3との類似スコアScore(x3,x5)=30を算出し、顔b2と顔b3との類似スコアScore(x4,x5)=50を算出する。
なお、同一の顔どうし(例えば、顔a1と顔a1)の類似スコアScore(x1,x1)は、スコア算出部23において算出するまでもなく、100とされる。このため、スコア算出部23では、図4において、同一の顔どうしの類似スコアScore(xi,xi)を算出していない。
また、類似スコアScore(x2,x1),Score(x3,x1),Score(x4,x1),Score(x5,x1)は、それぞれ、類似スコアScore(x1,x2)=30,Score(x1,x3)=10,Score(x1,x4)=5,Score(x1,x5)=6と同一となる。
さらに、類似スコアScore(x3,x2),Score(x4,x2),Score(x5,x2)は、それぞれ、類似スコアScore(x2,x3)=12,Score(x2,x4)=8,Score(x2,x5)=9と同一となる。また、類似スコアScore(x4,x3),Score(x5,x3)は、それぞれ、類似スコアScore(x3,x4)=40,Score(x3,x5)=30と同一となり、類似スコアScore(x5,x4)は、類似スコアScore(x4,x5)=50と同一となる。
このため、スコア算出部23では、図4において、類似スコアScore(x2,x1),Score(x3,x1),Score(x4,x1),Score(x5,x1),Score(x3,x2),Score(x4,x2),Score(x5,x2),Score(x4,x3),Score(x5,x3),Score(x5,x4)を算出していない。
すなわち、類似スコアScore(xi,xj)と類似スコアScore(xj,xi)は同一の値となる。したがって、スコア算出部23は、例えばN個の特徴量x1乃至xNのうち、異なる2個の特徴量xi及びxjに基づいて、NC2個(=N(N-1)/2)の類似スコアScore(xi,xj)を算出すればよく、N個の特徴量x1乃至xNの総当りの個数であるN2個の類似スコアScore(xi,xj)を算出する必要がない。
具体的には、例えば、スコア算出部23は、図4において、5C2個(=10個)の類似スコアScore(x1,x2)乃至Score(x1,x5),Score(x2,x3)乃至Score(x2,x5),Score(x3,x4)乃至Score(x3,x5),Score(x4,x5)のみを算出すればよい。
したがって、スコア算出部23によれば、少ない計算量で迅速に、識別に必要な類似スコアScore(xi,xj)を算出することが可能となる。
次に、図5は、スコア算出部23が行うスコア算出処理において、類似スコアScoreを0又は1の一方である2値化スコアScore'に2値化するときの一例を示している。
図5Aには、特徴量xiと特徴量xjに基づいて算出された複数の類似スコアScore(xi,xj)が示されている。なお、i及びjは、1から5までの自然数とされる。
また、図5Bには、類似スコアScore(xi,xj)が閾値Th1に応じて2値化された2値化スコアScore(xi,xj)'が示されている。
スコア算出部23は、算出した類似スコアScore(xi,xj)が閾値Th1(いまの場合、例えばTh1=10)以上である場合、類似スコアScore(xi,xj)を1とし、算出した類似スコアScore(xi,xj)が閾値Th1未満である場合、類似スコアScore(xi,xj)を値0とする2値化を行う。そして、スコア算出部23は、2値化後の類似スコアScore(xi,xj)を、2値化スコアScore(xi,xj)'として、識別部24に供給する。
ところで、図5では、スコア算出部23が、類似スコアScore(xi,xj)を、0又は1の一方である2値化スコアScore(xi,xj)'に変換するようにした。しかしながら、類似スコアScore(xi,xj)を、3つ以上の異なる値のいずれかとするp値化(pは3以上の自然数)を行うようにしてもよい。
なお、後述する図9では、類似スコアScore(xi,xj)を、例えば0,0.5又は1のいずれかとする3値化を行う場合について説明する。
図2に戻る。識別部24は、スコア算出部23からの2値化スコアScore(xi,xj)'に基づいて、例えば、顔a1と顔a2とが同一の人物Aの顔であるか否かなどを識別する識別処理を行う。
この識別処理において、例えば、顔a1と顔a2とが同一の人物Aの顔であると認識されるときの一例を、図6を参照して詳述する。また、例えば、顔a2と顔b1とが同一の人物Aの顔ではないと認識されるときの一例を、図7を参照して詳述する。
図6は、識別部24が行う識別処理において、例えば、スコア算出部23からの2値化スコアScore(xi,xj)'に基づいて、顔a1,a2,b1,b2,b3のうち、例えば、顔a1と顔a2が同一の人物Aの顔であると識別されるときの様子の一例を示している。
なお、図6には、図5Bと同様の図が示されている。このことは、後述する図7についても同様である。
識別部24は、スコア算出部23からの2値化スコアScore(xi,xj)'に基づいて、識別対象である顔の擬似ベクトルを生成する。
すなわち、例えば、識別部24は、スコア算出部23からの2値化スコアScore(xi,xj)'のうち、2値化スコアScore(x1,x1)',Score(x1,x2)',Score(x1,x3)',Score(x1,x4)'及びScore(x1,x5)'を要素とする、顔a1の擬似ベクトルVa1=(1,1,0,0,0)を生成する。
また、識別部24は、同様にして、顔a2の擬似ベクトルVa2=(1,1,1,0,0)、顔b1の擬似ベクトルVb1=(0,1,1,1,1)、顔b2の擬似ベクトルVb2=(0,0,1,1,1)、及び顔b3の擬似ベクトルVb3=(0,0,1,1,1)を生成する。
そして、識別部24は、生成した擬似ベクトルどうしを比較し、その比較結果に基づいて、識別対象とされた顔どうしが同一の人物の顔であるか否かを識別する。
すなわち、例えば、識別部24は、2値化スコアScore(x1,xj)'と2値化スコアScore(x2,xj)'との比較結果に基づいて、2値化スコアScore(x1,xj)'と2値化スコアScore(x2,xj)'がいずれも1となる回数Num1と、2値化スコアScore(x1,xj)'と2値化スコアScore(x2,xj)'の少なくとも一方が1となる回数Num2を算出する。
また、識別部24は、算出した回数Num1を、同じく算出した回数Num2で除算した除算結果Num1/Num2を、顔a1と顔a2との総合的な類似の程度を表す総合スコアTS(a1,a2)として算出する。
そして、識別部24は、算出した総合スコアTS(a1,a2)が予め決められた閾値Th_ts以上であるか否かを判定し、統合スコアが閾値Th_ts以上であると判定した場合、顔a1と顔a2とを同一の人物の顔であると識別する。
また、識別部24は、算出した総合スコアが予め決められた閾値Th_ts未満であると判定した場合、顔a1と顔a2とを異なる人物の顔と識別する。
図6では、2値化スコアScore(x1,x1)',Score(x1,x2)',Score(x2,x1)',Score(x2,x2)'及びScore(x2,x3)'が1となり、2値化スコアScore(x1,x3)',Score(x1,x4)',Score(x1,x5)',Score(x2,x4)'及びScore(x2,x5)'が0となる。
この場合、Num1=2,Num2=3となり、したがって、識別部24は、2値化スコアScore(x1,xj)'と2値化スコアScore(x2,xj)'の比較結果に基づいて、統合スコアTS(a1,a2)として2/3を算出する。いま、閾値Th_ts=0.6とすれば、統合スコアTS(a1,a2)=2/3=0.666…≧Th_tsとなるため、識別部24は、顔a1と顔a2とを同一の人物の顔であると識別する。
なお、図6において、顔a1と顔a2とが同一の顔であるか否かを識別する場合、顔a1の2値化スコアScore(x1,x4)'及び2値化スコアScore(x1,x5)'と、それに対応する顔a2の2値化スコアScore(x2,x4)'及び2値化スコアScore(x2,x5)'は、いずれも0である。
したがって、顔a1の2値化スコアScore(x1,x4)'及び2値化スコアScore(x1,x5)'と、それに対応する顔a2の2値化スコアScore(x2,x4)'及び2値化スコアScore(x2,x5)'は、統合スコアTS(a1,a2)(=Num1/Num2)の算出に用いられない。すなわち、顔a1と顔a2とが同一の顔であるか否かを識別する際には用いられない。
次に、図7は、識別部24が行う識別処理において、例えば、スコア算出部23からの2値化スコアScore(xi,xj)'に基づいて、顔a1,a2,b1,b2,b3のうち、例えば、顔a2と顔b1が同一の人物の顔ではないと識別されるときの様子の一例を示している。
図7では、2値化スコアScore(x2,x1)',Score(x2,x2)',Score(x2,x3)',Score(x3,x2)',Score(x3,x3)',Score(x3,x4)'及びScore(x3,x5)'が1となり、2値化スコアScore(x2,x4)',Score(x2,x5)'及びScore(x3,x1)'が0となる。
この場合、Num1=2,Num2=5となり、したがって、識別部24は、2値化スコアScore(x2,xj)'と2値化スコアScore(x3,xj)'の比較結果に基づいて、統合スコアTS(a2,b1)として2/5を算出する。いま、閾値Th_ts=0.6とすれば、統合スコアTS(a2,b1)=2/5=0.4<Th_tsとなるため、識別部24は、顔a2と顔b1とを別の人物の顔であると識別する。
図2に戻る。識別部24は、コンテンツ記憶部21から、静止画41乃至44を読み出す。そして、識別部24は、顔の識別結果に基づいて、人物毎に、その人物の顔が写っていると識別された静止画を分類し、コンテンツ記憶部21に供給して記憶させる。
また、識別部24は、静止画41乃至44の分類結果を、表示部25に供給して表示させる。
次に、図8は、識別部24による分類結果が、表示部25の表示画面に表示されたときの一例を示している。
表示部25の表示画面には、図8に示されるように、顔の識別結果を表すウインドウ画面61が表示される。
ウインドウ画面61には、図8左側に示されるように、コンテンツ記憶部21に保持される複数のフォルダ81乃至86が表示される。
フォルダ81は、コンテンツを格納するためのフォルダであり、フォルダ81の下位階層には、コンテンツとしての静止画を格納するためのフォルダ82、コンテンツとしての動画を格納するためのフォルダ83が格納されている。
また、フォルダ82の下位階層には、所定の人物1が写っている静止画を格納するためのフォルダ84、人物1とは異なる人物2が写っている静止画を格納するためのフォルダ85、及び分類できなかった静止画を格納するためのフォルダ86が格納されている。
識別部24は、例えば、フォルダ81の直下に格納されていた静止画41乃至44を分類する際、コンテンツ記憶部21から、フォルダ81内の静止画41乃至44を読み出す。そして、識別部24は、顔の識別結果に基づいて、静止画41乃至44を、フォルダ84乃至86のうち少なくとも1のフォルダに分類して得られる分類結果を、コンテンツ記憶部21に供給して記憶させる。
図8において、例えば、フォルダ84には、静止画41及び42が格納され、フォルダ85には、静止画42乃至44が格納される。
なお、フォルダ81の下位階層に格納されるフォルダ82乃至フォルダ86等は、識別部24による分類が行なわれる際に、識別部24により適宜作成される。
また、例えば、ユーザが、操作部26を用いて、ウインドウ画面61上のフォルダ84を指定する指定操作を行った場合、ウインドウ画面61には、図8右側に示されるように、フォルダ84に分類(格納)された静止画41及び42が表示される。
図2に戻る。表示部25は、識別部24からの制御に従い、図8に示したような、識別部24による分類結果などを表示する。
また、表示部25は、識別部24による分類の途中結果として、例えば顔の抽出結果や類似スコアScoreの算出結果も表示することができる。具体的には、例えば、表示部25は、識別部24からの制御に従い、図1に示したような、顔a1,a2,b1,b2,b3の抽出結果、及び0又は1で表される類似スコアScoreの算出結果を表示する。なお、図1では、顔の抽出結果として、抽出された顔a1,a2,b1,b2,b3が、抽出された順序で、上から下に並んでいる。
操作部26は、ユーザにより操作されるボタン等であり、ユーザの操作に応じて、ユーザの操作に対応する操作信号を、制御部27に供給する。
ここで、例えば、ユーザは、表示部25に表示された顔の抽出結果や類似スコアScoreの算出結果(図1)を参照しながら、操作部26を用いて、顔a1,a2,b1,b2,b3のうち、例えば顔a2と顔b1とは異なる人物の顔である旨を指示する指示操作を行うことができる。この場合、操作部26は、ユーザの指示操作に対応する操作信号を、制御部27に供給する。制御部27は、操作部26からの操作信号に応じて、スコア算出部23を制御する。
スコア算出部23は、制御部27からの制御にしたがって、顔a2と顔b1との類似スコアScore(x2,x3)を、特徴量x2及びx3により算出される類似スコアScore(x2,x3)の値に拘らず、閾値Th1未満の値に設定する。
これにより、2値化スコアScore(x2,x3)'は、ユーザの指示操作に応じた値0とされる。なお、この値0は、顔a2と顔b1とは異なる人物の顔である旨を表す。
その他、例えば、ユーザは、操作部26を用いて、顔a1,a2,b1,b2,b3のうち、例えば顔a1と顔a2とは同一の顔である旨を指示する指示操作を行うことができる。この場合、顔a1と顔a2との類似スコアScore(x1,x2)は、特徴量x1及びx2により算出される類似スコアScore(x1,x2)の値に拘らず、閾値Th1以上の値とされ、2値化スコアScore(x1,x2)'は、ユーザの指示操作に応じた値1とされる。なお、この値1は、顔a1と顔a2とは同一の人物の顔である旨を表す。
このように、情報処理装置1では、ユーザからの指示操作も加味することにより、より正確な類似スコアScoreを得ることができ、ひいては識別の精度をより向上させることが可能となる。
制御部27は、例えば、操作部26からの操作信号に基づいて、特徴量抽出部22乃至識別部24を制御する。
[スコア算出部23が行うスコア算出処理の他の例]
次に、図9は、スコア算出部23が行うスコア算出処理において、類似スコアScore(xi,xj)を3値化スコアScore(xi,xj)''に3値化したときの結果の一例を示している。
次に、図9は、スコア算出部23が行うスコア算出処理において、類似スコアScore(xi,xj)を3値化スコアScore(xi,xj)''に3値化したときの結果の一例を示している。
図9Aには、特徴量xiと特徴量xjとに基づいて算出された複数の類似スコアScore(xi,xj)が示されている。
また、図9Bには、類似スコアScore(xi,xj)が閾値Th2及び閾値Th3(Th2<Th3)に応じて値0,0.5又は1のいずれかに変換された3値化スコアScore(xi,xj)''が示されている。なお、図9では、例えば、閾値Th2=50とされ、閾値Th3=75とされる。
スコア算出部23は、算出した類似スコアScore(xi,xj)が閾値Th3以上である場合、類似スコアScore(xi,xj)を1とし、閾値Th2以上であって閾値Th3未満である場合、類似スコアScore(xi,xj)を0.5とし、閾値Th2未満である場合、類似スコアScore(xi,xj)を0とする3値化を行う。そして、スコア算出部23は、3値化後の類似スコアScore(xi,xj)を、3値化スコアScore(xi,xj)''として、識別部24に供給する。
なお、例えば、3値化スコアScore(xi,xj)''において、値1は類似していることを表し、値0.5は類似している可能性が高いことを表し、値0は類似していないことを表す。
この場合、識別部24は、3値化スコアScore(x1,xj)''と3値化スコアScore(x2,xj)''との比較結果に基づいて、3値化スコアScore(x1,xj)''と3値化スコアScore(x2,xj)''がいずれも0.5又は1の一方となる回数Num1と、3値化スコアScore(x1,xj)''と3値化スコアScore(x2,xj)''の少なくとも一方が0.5又は1となる回数Num2を算出する。
そして、識別部24は、算出した回数Num1を、同じく算出した回数Num2で除算した除算結果Num1/Num2を、顔a1と顔a2との総合的な類似の程度を表す総合スコアTS(a1,a2)として算出する。
スコア算出部23において、類似スコアScore(xi,xj)を3値化スコア(xi,xj)''に3値化した場合、例えば2値化する場合と比較して、3値化スコア(xi,xj)''により、類似の状態をより詳細に表すことができる。よって、識別部24において、識別対象を識別する際の精度をより向上させることができる。
なお、第1の実施の形態では、スコア算出部23は、2値化により、類似スコアScore(xi,xj)を2値化スコアScore(xi,xj)'に2値化するものとして、以下説明する。
[情報処理装置1の動作説明]
次に、図10のフローチャートを参照して、情報処理装置1が行う第1のコンテンツ分類処理の詳細を説明する。
次に、図10のフローチャートを参照して、情報処理装置1が行う第1のコンテンツ分類処理の詳細を説明する。
なお、この第1のコンテンツ分類処理は、例えば、ユーザが操作部26を操作して、第1のコンテンツ分類処理の開始を指示したときに開始される。このとき、制御部27は、操作部26からの操作信号に応じて、特徴量抽出部22乃至識別部24を制御して、第1のコンテンツ分類処理を行わせる。
ステップS1では、例えば、特徴量抽出部22は、コンテンツ記憶部21に保持されているコンテンツとしての静止画41乃至44から、識別対象としての顔a1,a2,b1,b2,b3の特徴量x1乃至x5を抽出する特徴量抽出処理を行う。そして、特徴量抽出部22は、特徴量抽出処理により抽出した特徴量x1乃至x5を、スコア算出部23に供給する。
なお、ステップS1における特徴量抽出処理の詳細は、図11のフローチャートを参照して詳述する。
ステップS2では、スコア算出部23は、特徴量抽出部22からの特徴量x1乃至x5に基づいて、識別対象としての顔どうしの類似の程度(度合い)を表す類似スコアScore(xi,xj)を算出し、算出した類似スコアScore(xi,xj)を0又は1の一方の値である2値化スコアScore(xi,xj)'に2値化するスコア算出処理を行う。そして、スコア算出部23は、スコア算出処理により得られた2値化スコアScore(xi,xj)'を、識別部24に供給する。
なお、ステップS2におけるスコア算出処理の詳細は、図12のフローチャートを参照して詳述する。
ステップS3では、識別部24は、スコア算出部23からの2値化スコアScore(xi,xj)'に基づいて、顔a1,a2,b1,b2,b3のうち、任意の2個の顔どうしが同一の人物の顔であるか否かを識別する識別処理を行う。
なお、ステップS3における識別処理の詳細は、図13のフローチャートを参照して詳述する。
ステップS4では、識別部24は、識別処理により得られた識別結果に基づいて、コンテンツ記憶部21に保持されている静止画41乃至44を分類し、その分類結果を、表示部25に供給して表示させ、第1のコンテンツ分類処理は終了される。
[特徴量抽出部22が行う特徴量抽出処理の詳細]
次に、図11を参照して、図10のステップS1における特徴量抽出処理の詳細を説明する。
次に、図11を参照して、図10のステップS1における特徴量抽出処理の詳細を説明する。
ステップS21では、特徴量抽出部22は、コンテンツ記憶部21から、例えば、分類の対象である複数の静止画41乃至44を読み出す。
ステップS22では、特徴量抽出部22は、コンテンツ記憶部21から読み出した複数の静止画41乃至44に順次注目し、注目している静止画(以下、注目静止画という)から、顔の抽出を試みる。
なお、特徴量抽出部22は、注目静止画から、識別対象とされる顔を抽出できなかった場合、複数の静止画のうち、まだ注目静止画とされていない静止画を、新たな注目静止画とし、新たな注目静止画から顔の抽出を試みる処理を繰り返す。
特徴量抽出部22は、注目静止画から顔fnを抽出した場合、ステップS23に進み、抽出した顔fn(を表す画像)から、顔fnの特徴を表す特徴量xnを抽出し、スコア算出部23に供給する。
なお、顔fnは、特徴量抽出部22において、n番目に抽出された顔を表す。したがって、例えば、顔f1,f2,f3,f4,f5は、それぞれ、図1に示した顔a1,a2,b1,b2,b3に対応する。
特徴量抽出部22は、ステップS22の処理で、コンテンツ記憶部21から読み出した複数の静止画41乃至44の全てに注目して顔fnを抽出し、ステップS23の処理で、顔fnの特徴量xnを抽出した後、処理を、ステップS1に戻す。そして、特徴量抽出部22は、抽出した特徴量xn(いまの場合、特徴量x1乃至x5)をスコア算出部23に供給する。
[スコア算出部23が行うスコア算出処理の詳細]
次に、図12を参照して、図10のステップS2におけるスコア算出処理の詳細を説明する。
次に、図12を参照して、図10のステップS2におけるスコア算出処理の詳細を説明する。
ステップS41では、スコア算出部23は、変数iに1を代入する。また、ステップS42では、スコア算出部23は、変数jにi+1を代入する。なお、変数i及び変数jは、いずれも、スコア算出部23が内蔵する図示せぬメモリに保持されているものとする。
ステップS43において、スコア算出部23は、特徴量抽出部22からの特徴量xiと特徴量xjとに基づいて、顔fiと顔fjの類似スコアScore(xi,xj)を算出する。
ステップS44において、スコア算出部23は、変数jに1を加算(インクリメント)する。そして、ステップS45では、スコア算出部23は、変数jが、抽出された顔fnの総数Nよりも大であるか否かを判定し、変数jが総数Nよりも大ではないと判定した場合、処理をステップS43に戻し、それ以降同様の処理を行う。
また、ステップS45では、スコア算出部23は、変数jが総数Nよりも大であると判定した場合、処理をステップS46に進め、スコア算出部23は、変数iに1を加算する。
ステップS47では、スコア算出部23は、変数iが総数N以上であるか否かを判定し、変数iが総数N以上ではないと判定した場合、処理をステップS42に戻し、それ以降、同様の処理を行う。
また、ステップS47では、スコア算出部23は、変数iが総数N以上であると判定した場合、処理をステップS48に進める。そして、スコア算出部23は、ステップS41乃至ステップS47の処理で算出した類似スコアScore(xi,xj)が、予め決められた閾値Th1以上であるか否かを判定し、類似スコアScore(xi,xj)が閾値Th1以上であると判定した場合、その類似スコアScore(xi.xj)を1に変換する。
また、ステップS48では、スコア算出部23は、類似スコアScore(xi,xj)が閾値Th1以上ではない(閾値Th1未満である)と判定した場合、その類似スコアScore(xi,xj)を0に変換する。以上でスコア算出処理は終了され、処理は、図10のステップS2に戻り、スコア算出部23は、0又は1の一方に変換後の類似スコアScore(xi,xj)を、2値化スコアScore(xi,xj)'として、識別部24に供給して、処理はステップS3に進められる。
[識別部24が行う識別処理の詳細]
次に、図13を参照して、図10のステップS3における識別処理の詳細を説明する。
次に、図13を参照して、図10のステップS3における識別処理の詳細を説明する。
ステップS61では、識別部24は、変数kに0を代入する。ステップS62では、識別部24は、変数mに1を代入する。なお、識別部24は、図示せぬ内蔵のメモリに、変数k及びmを予め保持しているものとする。
また、以下では、識別部24は、顔fiと顔fj(i≠j)が同一の人物の顔であるか否かを識別するものとする。
ステップS63では、識別部24は、スコア算出部23からの2値化スコアScore(xi,xm)'が1であるか否かを判定し、2値化スコアScore(xi,xm)'が1であると判定した場合、処理をステップS64に進める。
なお、ステップS63の処理は、類似スコアScore(xi,xm)が閾値Th1以上であるか否かを判定する処理と、実質的に等価の処理であると言える。このことは、後述するステップS66の処理についても同様である。
ステップS64では、識別部24は、特徴量xmを有する顔fmを利用軸に設定し、ステップS65において、変数kに1を加算する。なお、利用軸は、後述するステップS70の処理において、顔fiの擬似ベクトル、及び顔fjの擬似ベクトルの生成時に利用される。
また、ステップS63では、識別部24は、スコア算出部23からの2値化スコアScore(xi,xm)'が1ではない(0である)と判定した場合、処理をステップS66に進める。
ステップS66では、識別部24は、スコア算出部23からの2値化スコアScore(xj,xm)'が1であるか否かを判定し、2値化スコアScore(xj,xm)'が1であると判定した場合、処理をステップS64に進め、それ以降同様の処理を行う。
また、ステップS66では、識別部24は、スコア算出部23からの2値化スコアScore(xj,xm)'が1ではない(0である)と判定した場合、処理をステップS67に進める。
ステップS67では、識別部24は、変数mに1を加算し、処理をステップS68に進め、ステップS67の処理後の変数mが、顔fnの総数Nよりも大であるか否かを判定し、変数mが総数Nよりも大ではないと判定した場合、処理をステップS63に戻し、それ以降同様の処理を行う。
またステップS68では、識別部24は、変数mが総数Nよりも大であると判定した場合、処理をステップS69に進め、変数kが予め決められた閾値Th_k以上であるか否かを判定する。
なお、閾値Th_kは、顔fiと顔fjが同一の人物の顔であるか否かを精度良く識別するために、最低限、必要な利用軸の個数を表す。
ステップS69において、識別部24は、変数kが閾値Th_k以上であると判定した場合、処理をステップS70に進め、i番目に抽出された顔fiの擬似ベクトルvi、及びj番目に抽出された顔fjの擬似ベクトルvjを生成する。
ここで、擬似ベクトルviは、i番目に抽出された顔fiの特徴量xiと、ステップS64の処理で利用軸として設定されたk個の特徴量xmとの2値化スコアScore(xi,xm)'を要素とするベクトルを表す。
また、擬似ベクトルvjは、j番目に抽出された顔fjの特徴量xjと、ステップS64の処理で利用軸として設定されたk個の特徴量xmとの2値化スコアScore(xj,xm)'を要素とするベクトルを表す。
なお、擬似ベクトルviを、i番目に抽出された顔fiの特徴量xiと、N個の特徴量x1乃至xNとの2値化スコアScore(xi,xm)'を要素とするベクトルとするようにしてもよい。しかしながら、この場合、擬似ベクトルviの要素として、統合スコアTS(fi,fj)の算出に用いられない2値化スコアScore(xi,xm)'も含まれることが生じ得る。
そこで、ステップS70では、識別部24は、ステップS63乃至ステップS68の処理により設定された利用軸に基づいて、統合スコアTS(fi,fj)の算出に用いられる2値化スコアScore(xi,xm)'のみを要素として含む擬似ベクトルviを生成するようにしている。このことは、識別部24が、擬似ベクトルvjを生成する場合についても同様である。
ステップS71では、識別部24は、生成した擬似ベクトルvi及び擬似ベクトルvjの、対応する各要素を比較し、その比較結果に基づいて、顔fiと顔fjとの総合スコアTS(fi,fj)を算出する。
ステップS72では、識別部24は、算出した統合スコアTS(fi,fj)が予め決められた閾値Th_ts以上であるか否かを判定し、その判定結果に基づいて、顔fiと顔fjが同一の顔であるか否かを識別する。
すなわち、ステップS72では、識別部24は、算出した統合スコアTS(fi,fj)が閾値Th_ts以上であると判定した場合、処理をステップS73に進め、顔fiと顔fjが同一の顔であると識別する。また、識別部24は、算出した統合スコアTS(fi,fj)が閾値Th_ts以上ではないと判定した場合、処理をステップS74に進め、顔fiと顔fjが異なる顔であると識別する。
なお、ステップS69において、識別部24は、変数kが閾値Th_k以上ではないと判定した場合、上述したステップS70乃至ステップS74の処理(顔fiと顔fjとが同一であるか否かを識別する処理)をスキップする。
これは、利用軸の個数k、すなわち、擬似ベクトルvi及び擬似ベクトルvjの要素の個数kが、顔の識別に十分でないことによる。
また、ステップS69において、識別部24は、変数kが閾値Th_k以上ではないと判定した場合、処理をステップS74に進め、顔fiと顔fjが異なる顔であると識別するようにしてもよい。
ステップS69において、上述したステップS70乃至ステップS74の処理がスキップされた後、ステップS73の処理の終了後、又はステップS74の処理の終了後に、識別部24は、以下の処理を行う。
すなわち、例えば、識別部24は、識別対象とされる、顔fiと顔fjの異なる全ての組合せ(fi,fj)のうち、まだ識別していない組合せ(fi,fj)が存在する場合、処理をステップS61に戻し、まだ識別していない組合せ(fi,fj)について識別を行う。
また、例えば、識別部24は、識別対象とされる、顔fiと顔fjの異なる全ての組合せ(fi,fj)について識別を行った後、識別処理を終了し、処理を図10のステップS3に戻し、ステップS4に進め、ステップS4の処理の終了後、第1のコンテンツ分類処理は終了される。
以上説明したように、第1のコンテンツ分類処理によれば、顔fiと顔fjの、対応する2値化スコアScore(xi,xj)'どうしを比較し、その比較結果に基づいて、顔fiと顔fjが同一人物の顔であるか否かを識別するようにした。
このため、例えば、識別器等を用いる場合と比較して、より少ない計算量で、精度良く識別を行うことが可能となる。
<2.第2の実施の形態>
[第2の実施の形態の概要]
次に、図14を参照して、第2の実施の形態の概要を説明する。
[第2の実施の形態の概要]
次に、図14を参照して、第2の実施の形態の概要を説明する。
図14は、特徴量を定義する特徴量空間の一例を示している。
図14において、バツ(×)印は、それぞれ、人物Aの顔a1乃至a5の特徴量を表している。また、三角(△)印は、それぞれ、人物Aとは異なる人物Bの顔b1乃至b6の特徴量を表している。なお、図14には、図面が煩雑になるのを避けるため、特徴量空間として、2次元の座標空間を表している。しかしながら、特徴量空間の次元数は、2次元に限定されず、3次元以上であってもよい。
図14において、円Ra1は、顔a1の特徴量を中心とする円を表しており、円Rb1は、顔b1の特徴量を中心とする円を表している。また、円Ra5は、顔a5の特徴量を中心とする円を表している。円Ra1,Rb1,Ra5の半径は、いずれも同一であり、半径d(以下、距離dともいう)とされる。
さらに、図14において、円Ra1'は、顔a1の特徴量を中心とする円であって、円Ra1よりも半径Th_d(以下、閾値Th_dともいう)が小さい円である。
例えば、顔a1と顔a2が同一の人物Aの顔であるか否かを識別する場合、特徴量空間における、顔a1の特徴量と顔a2の特徴量との距離が予め決められた距離d以下であるか否か、すなわち、顔a2の特徴量が円Ra1の範囲内に含まれるか否かに基づいて、顔a1と顔a2が同一の人物Aの顔であるか否かを識別する距離判定方法も考えられる。
この距離判定方法は、顔a2の特徴量が円Ra1内に含まれるか否かを判定するだけでよいため、計算量を少なくできる。
しかしながら、上述の距離判定方法によれば、例えば、顔a1と顔a5が同一の人物Aの顔であるか否かを識別する場合、顔a5の特徴量が円Ra1の範囲内に含まれないため、顔a1と顔a5は同一の人物Aの顔ではないと誤って識別されてしまう。
また、上述の距離判定方法によれば、例えば、顔b1の特徴量が円Ra1の範囲内に含まれてしまうため、顔a1と顔b1は同一の人物Aの顔であると誤って認識されてしまう。
そこで、第2の実施の形態では、例えば、顔a1と顔a5などが同一の人物Aの顔であるか否かを識別する場合、顔a5の特徴量が、距離dよりも短い距離を表す閾値Th_d以下であるか否か、すなわち、円Ra1よりも小さな円Ra1'の範囲内に含まれるか否かを識別することにより、誤って識別される事態を抑止するようにしている。
第2の実施の形態では、例えば、顔a2,a3の特徴量が、円Ra1よりも小さな円Ra1'の範囲内に含まれるため、顔a1と顔a2は同一の人物Aの顔であると識別するとともに、顔a1と顔a3は同一の人物Aの顔であると識別する。
また、第2の実施の形態では、例えば、顔a4,a5の特徴量が、円Ra1よりも小さな円Ra1'の範囲内に含まれない。この場合、円Ra1'の範囲外に存在する顔a4,a5についても、人物Aの顔であると識別できるように、上述した第1の実施の形態と同様の方法を用いて識別する。
これは、上述した第1の実施の形態による方法が、距離dを用いた上述の距離判定方法では誤って識別してしまう顔a5や顔b1についても、精度良く識別することができることによる。
[情報処理装置101の構成例]
次に、図15は、第2の実施の形態である情報処理装置101の構成例を示している。
次に、図15は、第2の実施の形態である情報処理装置101の構成例を示している。
なお、図15において、第1の実施の形態である情報処理装置1(図2)と同様に構成される部分について同一の符号を付すようにしているため、それらの説明は以下、適宜省略する。
すなわち、情報処理装置101において、新たに距離算出部121が設けられているとともに、図2の識別部24に代えて識別部122が設けられている他は、図2の情報処理装置1と同様に構成される。
距離算出部121には、特徴量抽出部22から、例えば特徴量x1乃至x5が供給される。距離算出部121は、特徴量抽出部22からの特徴量x1乃至x5のうち、任意の異なる特徴量xi及びxjに基づいて、特徴量xi及びxjどうしの距離D(xi,xj)を算出する。
ここで、例えば、特徴量xi及びxjは、特徴量空間上に定義されるベクトルであり、距離D(xi,xj)は、ベクトルとしての特徴量xiの終点から、ベクトルとしての特徴量xjの終点までの距離を表す。
次に、図16は、距離算出部121が、距離D(xi,xj)を算出したときの算出結果の一例を示している。
図16には、特徴量x1乃至x5のうち、任意の2個の異なる特徴量xi及びxjどうしの距離D(xi,xj)が示されている。
距離算出部121は、図16に示されるように、特徴量抽出部22からの特徴量x1乃至x5のうち、特徴量xi及びxjに基づいて、距離D(xi,xj)を算出し、図15の識別部122に供給する。
なお、距離D(xi,xj)と距離D(xj,xi)は等距離となる。このため、距離算出部121は、図4で説明したスコア算出部23と同様に、5C2個(=10個)の距離D(x1,x2)乃至D(x1,x5),D(x2,x3)乃至D(x2,x5),D(x3,x4)乃至D(x3,x5),D(x4,x5)のみを算出するようにしている。
したがって、距離算出部121によれば、図4で説明したスコア算出部23の場合と同様に、少ない計算量で迅速に、識別に必要な距離D(xi,xj)を算出することが可能となる。
図15に戻り、識別部122は、距離算出部121からの距離D(xi,xj)が、予め決められた閾値Th_d以下であるか否かを判定し、距離D(xi,xj)が閾値Th_d以下であると判定した場合、顔fiと顔fjが同一人物の顔であると識別する。
ここで、閾値Th_dは、距離D(xi,xj)が閾値Th_d以下である場合に、非常に高い確率で、顔fiと顔fjが同一の人物の顔となるような値とされる。
また、識別部122は、距離D(xi,xj)が閾値Th_d以下ではないと判定した場合、スコア算出部23を制御し、スコア算出部23に2値化スコアScore(xi,xm)'及び2値化スコアScore(xj,xm)'を算出させ、識別部122に供給させる。
すなわち、例えば、図16において、距離算出部121により算出された距離D(xi,xj)のうち、距離D(x1,x2)のみが、閾値Th_d以下ではない場合、識別部122は、スコア算出部23を制御し、スコア算出部23に2値化スコアScore(x1,xm)'及び2値化スコアScore(x2,xm)'を算出させ、識別部122に供給させる。
そして、識別部122は、図2の識別部24と同様に、スコア算出部23からの2値化スコアScore(x1,xm)'及び2値化スコアScore(x2,xm)'に基づいて、図13に示したような識別処理を行うことにより、顔f1と顔f2が同一人物の顔であるか否かを識別する。
[情報処理装置101の動作説明]
次に、図17のフローチャートを参照して、情報処理装置101が行う第2のコンテンツ分類処理について説明する。
次に、図17のフローチャートを参照して、情報処理装置101が行う第2のコンテンツ分類処理について説明する。
なお、この第2のコンテンツ分類処理は、例えば、ユーザが操作部26を操作して、第2のコンテンツ分類処理の開始を指示したときに開始される。このとき、制御部27は、操作部26からの操作信号に応じて、特徴量抽出部22、スコア算出部23、距離算出部121、及び識別部122を制御して、第2のコンテンツ分類処理を行わせる。
ステップS91では、特徴量抽出部22は、例えば、図10のステップS1の処理と同様に、コンテンツ記憶部21に保持されている静止画41乃至44から、特徴量x1乃至x5を抽出する特徴量抽出処理を行う。そして、特徴量抽出部22は、特徴量抽出処理により抽出した特徴量x1乃至x5を、スコア算出部23及び距離算出部121に供給する。
ステップS92では、距離算出部121は、特徴量抽出部22からの特徴量x1乃至x5のうち、任意の異なる特徴量xi及び特徴量xjに基づいて、図16に示したように10個の距離D(xi,xj)を算出し、識別部122に供給する。
ステップS93では、識別部122は、距離算出部121からの距離D(xi,xj)が予め決められた閾値Th_d以下であるか否かを判定する。そして、ステップS94において、識別部122は、距離D(xi,xj)が閾値Th_d以下であると判定した場合、顔fiと顔fjは同一の人物の顔であると識別する。
なお、ステップS94において、識別部122は、距離算出部121からの距離D(xi,xj)全てが閾値Th_d以下であると判定した場合、ステップS95及びステップS96をスキップして、処理をステップS97に進め、図10のステップS4と同様の処理を行う。
また、ステップS94では、識別部122は、距離算出部121からの距離D(xi,xj)のうち、少なくとも1個の距離D(xi,xj)が閾値Th_d以下ではないと判定した場合、スコア算出部23を制御し、スコア算出部23に2値化スコアScore(xi,xm)'及び2値化スコアScore(xj,xm)'を算出させ、識別部122に供給させ、処理をステップS95に進める。
そして、ステップS95及びS96において、距離D(xi,xj)が閾値Th_d以下ではないと判定された顔どうし(顔fiと顔fj)が同一の人物の顔であるか否かを識別するための処理が行われる。
すなわち、ステップS95では、スコア算出部23は、識別部122からの制御にしたがって、図10のステップS2と同様の処理を行う。またステップS96では、識別部122は、スコア算出部23からの2値化スコアScore(xi,xm)'及び2値化スコアScore(xj,xm)'に基づいて、図10のステップS3と同様の処理を行う。
その後、処理はステップS97に進められ、識別部122は、図10のステップS4と同様の処理を行う。以上で第2のコンテンツ分類処理は終了される。
以上説明したように、第2のコンテンツ分類処理によれば、識別部122は、ステップS93において距離D(xi,xj)が閾値Th_d以下であると判定した場合、ステップS95及びステップS96の処理を行うことなく、顔fiと顔fjが同一人物の顔であると識別するようにした。
また、識別部122は、ステップS93において距離D(xi,xj)が閾値Th_d以下ではないと判定した場合、ステップS95及びステップS96の処理により、顔fiと顔fjが同一人物の顔であると識別するようにした。
したがって、例えば、第2のコンテンツ分類処理によれば、ステップS95のスコア算出処理において、距離D(xi,xj)が閾値Th_d以下ではない顔(顔fiと顔fj)どうしの識別に用いる類似スコアScoreのみを算出すればよいものとなる。よって、類似スコアScoreの算出に要する計算量を抑えつつ、精度良く識別を行うことが可能となる。
次に、図18は、特徴量抽出部22が、複数の画像により構成される動画から、識別対象としての顔を抽出するときの一例を示している。
図18A乃至図18Eには、動画を構成する各画像のうち、時間的に連続する複数の画像141乃至145が示されている。
すなわち、例えば、複数の画像141乃至145は、人物Aをビデオカメラで撮影(撮像)している状態から、ビデオカメラを図中左方向に移動したときに得られる画像を表している。
なお、画像141及び142には、人物Aが写っており、画像143には、いずれの人物も写っていない。また、画像144及び145には、人物Aとは異なる人物Bが写っている。
特徴量抽出部22は、コンテンツ記憶部21に記憶されているコンテンツとしての動画から、識別対象とされる顔を抽出する場合、例えば、動画を構成する各画像141乃至145を対象として、顔を抽出することができる。
しかしながら、この場合、特徴量抽出部22は、画像141から人物Aの顔f1を抽出し、画像142から人物Aの顔f2を抽出し、画像144から人物Bの顔f3を抽出し、画像145から人物Bの顔f4を抽出することとなる。
この場合、特徴量抽出部22は、例えば、複数の画像141乃至145を構成する動画から、複数の、人物Aの顔を抽出する必要があり、処理の負担が大となることが生じ得る。
そこで、特徴量抽出部22は、例えば、画像141から抽出した顔f1をトラッキング(追跡)し、顔f1としてトラッキングされている顔については抽出しないようすることができる。
すなわち、例えば、特徴量抽出部22は、画像141から、人物Aの顔f1を抽出し、抽出した顔f1を、画像141よりも未来方向の画像(例えば、画像142乃至145)を対象としてトラッキングする。
画像142には、人物Aの顔が写っているため、特徴量抽出部22は、トラッキングにより、画像141から抽出した顔f1が、画像142にも写っていることを識別し、画像142に写っている顔f1を抽出の対象から除外する。
また、画像143には、人物Aの顔が写っていないため、特徴量抽出部22は、画像143においてトラッキングを中止する。
そして、特徴量抽出部22は、例えば、抽出対象の画像に新たな顔が写っている場合に、その顔を抽出し、抽出した顔についてトラッキングを開始する。
すなわち、例えば、顔が写っていない画像143の次の画像144には、人物Bの顔が写っている。このため、特徴量抽出部22は、画像144から、新たに現れた人物Bの顔f2を抽出し、抽出した顔f2を、画像144よりも未来方向の画像(例えば、画像145以降の画像)を対象としてトラッキングする。
画像145には、人物Bの顔f2が写っているため、特徴量抽出部22は、トラッキングにより、画像144から抽出した顔f2が、画像145にも写っていることを識別し、画像145に写っている顔f2を抽出の対象から除外する。
例えば、コンテンツが動画である場合、特徴量抽出部22は、上述したトラッキングによる技術を用いることにより、動画を構成する各画像に表示される同一人物の顔が、全て抽出される事態を防止できる。
これにより、動画を構成する各画像に表示される同一人物の顔を全て抽出する場合と比較して、第1及び第2のコンテンツ分類処理の計算量を少なくすることが可能となる。
<3.変形例>
上述した第1及び第2の実施の形態では、例えば、顔fiと顔fjが同一人物の顔であるか否かを識別するようにしたが、識別対象は顔に限定されず、静止画上のどのような対象を識別対象とするようにしてもよい。
上述した第1及び第2の実施の形態では、例えば、顔fiと顔fjが同一人物の顔であるか否かを識別するようにしたが、識別対象は顔に限定されず、静止画上のどのような対象を識別対象とするようにしてもよい。
また例えば、利用軸として設定された特徴量xmのうち、特徴量xm1及びxm2どうしが殆ど同一の特徴量である場合、すなわち、例えば、特徴量xm1及びxm2どうしの距離D(xm1,xm2)が非常に短い(距離D(xm1,xm2)が予め決められた閾値ε未満である)場合、特徴量xm1及びxm2のうち、一方の特徴量のみを利用軸とし、特徴量xm1及びxm2とは異なる特徴量を新たな利用軸として採用してもよい。
この場合、利用軸として、異なる特徴量を採用することができるので、そのような利用軸を用いて生成される擬似ベクトルどうしを比較して行われる識別の精度を、より向上させることが可能となる。
その他、例えば、人物Aの顔として識別された複数の顔を対象として、さらに識別処理を行うようにしてもよい。この場合、例えば、人物Aの顔として誤って識別された顔が、再度の識別処理により検出できる可能性があるため、識別の精度をより向上できる。
なお、情報処理装置1及び101としては、例えばパーソナルコンピュータを採用することができる。また、例えば、情報処理装置1が行う第1のコンテンツ分類処理を、例えばインターネット等のネットワークを介して接続された複数のコンピュータが分担して行うようにしてもよい。このことは、情報処理装置101が行う第2のコンテンツ分類処理についても同様である。
ところで、本技術は、以下の構成をとることができる。
(1)コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部とを含む情報処理装置。
(2)特徴量を定義する特徴量空間上における、前記第1の識別対象の特徴量と前記第2の識別対象の特徴量との距離を算出する距離算出部をさらに含み、前記識別部は、前記距離にも基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(1)に記載の情報処理装置。
(3)前記識別部は、前記距離が第1の閾値以下である場合、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別し、前記距離が前記第1の閾値よりも大である場合、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(2)に記載の情報処理装置。
(4)前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が第2の閾値以上とされた前記複数の異なる算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(1)乃至(3)に記載の情報処理装置。
(5)前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が前記第2の閾値以上とされた前記算出対象の個数が予め決められた個数以上である場合のみ、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(4)に記載の情報処理装置。
(6)前記類似スコア算出部は、前記算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、予め決められた複数の値のいずれかを、前記第2の類似スコアとして算出し、前記識別部は、前記第1の類似スコアと前記第2の類似スコアとが一致する回数を、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が予め決められた類似スコア以上とされた回数で除算した除算結果が、第3の閾値以上であるとの比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別する前記(1)乃至(5)に記載の情報処理装置。
(7)前記類似スコア算出部は、ユーザの指示操作により、前記算出対象と前記第2の識別対象とが同一の対象であるか否かが指示されている場合、前記第2の類似スコアの算出結果に拘らず、前記第2の類似スコアをユーザの指示操作に応じた値とする前記(1)乃至(6)に記載の情報処理装置。
(8)前記類似スコア算出部は、特徴量を定義する特徴量空間上における、第1の前記算出対象の特徴量と第2の前記算出対象の特徴量との距離が、予め決められた距離未満である場合、前記第1の算出対象、及び前記第2の算出対象を、1個の算出対象として、前記第2の類似スコアを算出する前記(1)乃至(7)に記載の情報処理装置。
(9)前記コンテンツは、複数の画像により構成される動画であり、前記識別対象抽出部は、前記動画を構成する前記複数の画像のうちの所定の画像から、前記第2の識別対象を抽出した後、前記所定の画像よりも未来方向の画像を対象として、前記第2の識別対象をトラッキングし、トラッキングしている前記第2の識別対象を抽出の対象から除外する前記(1)乃至(8)に記載の情報処理装置。
(1)コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部とを含む情報処理装置。
(2)特徴量を定義する特徴量空間上における、前記第1の識別対象の特徴量と前記第2の識別対象の特徴量との距離を算出する距離算出部をさらに含み、前記識別部は、前記距離にも基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(1)に記載の情報処理装置。
(3)前記識別部は、前記距離が第1の閾値以下である場合、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別し、前記距離が前記第1の閾値よりも大である場合、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(2)に記載の情報処理装置。
(4)前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が第2の閾値以上とされた前記複数の異なる算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(1)乃至(3)に記載の情報処理装置。
(5)前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が前記第2の閾値以上とされた前記算出対象の個数が予め決められた個数以上である場合のみ、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する前記(4)に記載の情報処理装置。
(6)前記類似スコア算出部は、前記算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、予め決められた複数の値のいずれかを、前記第2の類似スコアとして算出し、前記識別部は、前記第1の類似スコアと前記第2の類似スコアとが一致する回数を、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が予め決められた類似スコア以上とされた回数で除算した除算結果が、第3の閾値以上であるとの比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別する前記(1)乃至(5)に記載の情報処理装置。
(7)前記類似スコア算出部は、ユーザの指示操作により、前記算出対象と前記第2の識別対象とが同一の対象であるか否かが指示されている場合、前記第2の類似スコアの算出結果に拘らず、前記第2の類似スコアをユーザの指示操作に応じた値とする前記(1)乃至(6)に記載の情報処理装置。
(8)前記類似スコア算出部は、特徴量を定義する特徴量空間上における、第1の前記算出対象の特徴量と第2の前記算出対象の特徴量との距離が、予め決められた距離未満である場合、前記第1の算出対象、及び前記第2の算出対象を、1個の算出対象として、前記第2の類似スコアを算出する前記(1)乃至(7)に記載の情報処理装置。
(9)前記コンテンツは、複数の画像により構成される動画であり、前記識別対象抽出部は、前記動画を構成する前記複数の画像のうちの所定の画像から、前記第2の識別対象を抽出した後、前記所定の画像よりも未来方向の画像を対象として、前記第2の識別対象をトラッキングし、トラッキングしている前記第2の識別対象を抽出の対象から除外する前記(1)乃至(8)に記載の情報処理装置。
上述した一連の処理は、例えばハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
[コンピュータの構成例]
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
図19は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示している。
CPU(Central Processing Unit)201は、ROM(Read Only Memory)202、又は記憶部208に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)203には、CPU201が実行するプログラムやデータ等が適宜記憶される。これらのCPU201、ROM202、及びRAM203は、バス204により相互に接続されている。
CPU201にはまた、バス204を介して入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホン等よりなる入力部206、ディスプレイ、スピーカ等よりなる出力部207が接続されている。CPU201は、入力部206から入力される指令に対応して各種の処理を実行する。そして、CPU201は、処理の結果を出力部207に出力する。
入出力インタフェース205に接続されている記憶部208は、例えばハードディスクからなり、CPU201が実行するプログラムや各種のデータを記憶する。通信部209は、インターネットやローカルエリアネットワーク等のネットワークを介して外部の装置と通信する。
また、通信部209を介してプログラムを取得し、記憶部208に記憶してもよい。
入出力インタフェース205に接続されているドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア211が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータ等を取得する。取得されたプログラムやデータは、必要に応じて記憶部208に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを記録(記憶)する記録媒体は、図19に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク(MD(Mini-Disc)を含む)、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア211、又は、プログラムが一時的もしくは永続的に格納されるROM202や、記憶部208を構成するハードディスク等により構成される。記録媒体へのプログラムの記録は、必要に応じてルータ、モデム等のインタフェースである通信部209を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を利用して行われる。
なお、本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
さらに、本開示は、上述した第1及び第2の実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
1 情報処理装置, 21 コンテンツ記憶部, 22 特徴量抽出部, 23 スコア算出部, 24 識別部, 25 表示部, 26 操作部, 27 制御部, 101 情報処理装置, 121 距離算出部, 122 識別部
Claims (11)
- コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、
抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、
前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、
複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部と
を含む情報処理装置。 - 特徴量を定義する特徴量空間上における、前記第1の識別対象の特徴量と前記第2の識別対象の特徴量との距離を算出する距離算出部をさらに含み、
前記識別部は、前記距離にも基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する
請求項1に記載の情報処理装置。 - 前記識別部は、
前記距離が第1の閾値以下である場合、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別し、
前記距離が前記第1の閾値よりも大である場合、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する
請求項2に記載の情報処理装置。 - 前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が第2の閾値以上とされた前記複数の異なる算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する
請求項1に記載の情報処理装置。 - 前記識別部は、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が前記第2の閾値以上とされた前記算出対象の個数が予め決められた個数以上である場合のみ、前記比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する
請求項4に記載の情報処理装置。 - 前記類似スコア算出部は、前記算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、予め決められた複数の値のいずれかを、前記第2の類似スコアとして算出し、
前記識別部は、前記第1の類似スコアと前記第2の類似スコアとが一致する回数を、前記第1の類似スコア又は前記第2の類似スコアの少なくとも一方が予め決められた類似スコア以上とされた回数で除算した除算結果が、第3の閾値以上であるとの比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であると識別する
請求項1に記載の情報処理装置。 - 前記類似スコア算出部は、ユーザの指示操作により、前記算出対象と前記第2の識別対象とが同一の対象であるか否かが指示されている場合、前記第2の類似スコアの算出結果に拘らず、前記第2の類似スコアをユーザの指示操作に応じた値とする
請求項1に記載の情報処理装置。 - 前記類似スコア算出部は、特徴量を定義する特徴量空間上における、第1の前記算出対象の特徴量と第2の前記算出対象の特徴量との距離が、予め決められた距離未満である場合、前記第1の算出対象、及び前記第2の算出対象を、1個の算出対象として、前記第2の類似スコアを算出する
請求項1に記載の情報処理装置。 - 前記コンテンツは、複数の画像により構成される動画であり、
前記識別対象抽出部は、前記動画を構成する前記複数の画像のうちの所定の画像から、前記第2の識別対象を抽出した後、前記所定の画像よりも未来方向の画像を対象として、前記第2の識別対象をトラッキングし、トラッキングしている前記第2の識別対象を抽出の対象から除外する
請求項1に記載の情報処理装置。 - 所定の識別対象を識別する情報処理装置の情報処理方法において、
前記情報処理装置による、
コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出ステップと、
抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出ステップと、
前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出ステップと、
複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別ステップと
を含む情報処理方法。 - コンピュータを、
コンテンツから、第1の識別対象と同一の対象であるか否かが識別される第2の識別対象を抽出する識別対象抽出部と、
抽出された前記第2の識別対象から、前記第2の識別対象の特徴量を抽出する特徴量抽出部と、
前記第1の識別対象との類似の程度を表す第1の類似スコアが算出される算出対象の特徴量と、前記第2の識別対象の特徴量に基づいて、前記算出対象と前記第2の識別対象との類似の程度を表す第2の類似スコアを算出する類似スコア算出部と、
複数の異なる前記算出対象毎に、前記第1の類似スコアと前記第2の類似スコアを比較して得られる比較結果に基づいて、前記第1の識別対象と前記第2の識別対象とが同一の対象であるか否かを識別する識別部と
して機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012019827A JP2013161109A (ja) | 2012-02-01 | 2012-02-01 | 情報処理装置、情報処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012019827A JP2013161109A (ja) | 2012-02-01 | 2012-02-01 | 情報処理装置、情報処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013161109A true JP2013161109A (ja) | 2013-08-19 |
Family
ID=49173340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012019827A Pending JP2013161109A (ja) | 2012-02-01 | 2012-02-01 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013161109A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037713A1 (ja) * | 2013-09-13 | 2015-03-19 | 日本電気株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2012
- 2012-02-01 JP JP2012019827A patent/JP2013161109A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015037713A1 (ja) * | 2013-09-13 | 2015-03-19 | 日本電気株式会社 | 情報処理装置、情報処理方法およびプログラム |
JPWO2015037713A1 (ja) * | 2013-09-13 | 2017-03-02 | エヌイーシー ホンコン リミテッド | 情報処理装置、情報処理方法およびプログラム |
US9690978B2 (en) | 2013-09-13 | 2017-06-27 | Nec Hong Kong Limited | Information processing apparatus, information processing and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110909651B (zh) | 视频主体人物的识别方法、装置、设备及可读存储介质 | |
CN108805170B (zh) | 形成用于全监督式学习的数据集 | |
CN108986186B (zh) | 文字转化视频的方法和系统 | |
JP7007829B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5929896B2 (ja) | 画像認識システム、画像認識方法および画像認識用プログラム | |
KR20160096460A (ko) | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 | |
US9767352B2 (en) | Apparatus and method for analyzing body part association | |
Kumar et al. | Recent trends in multicue based visual tracking: A review | |
US11823128B2 (en) | Large-scale automated image annotation system | |
KR20100014092A (ko) | 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법 | |
US20110235926A1 (en) | Information processing apparatus, method and program | |
Liu et al. | Towards 3D object detection with bimodal deep Boltzmann machines over RGBD imagery | |
Ayub et al. | Centroid based concept learning for rgb-d indoor scene classification | |
JP2011154501A (ja) | 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム | |
KR101762010B1 (ko) | 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법 | |
KR102508067B1 (ko) | 약지도 학습 기반 시멘틱 영상 분할 학습 데이터 생성 장치 및 방법 | |
JP2017228224A (ja) | 情報処理装置、情報処理方法及びプログラム | |
Wilson et al. | Avot: Audio-visual object tracking of multiple objects for robotics | |
Gunawardena et al. | Real-time automated video highlight generation with dual-stream hierarchical growing self-organizing maps | |
Wang et al. | Machine learning for vision-based motion analysis: Theory and techniques | |
Li et al. | Multi-task structure-aware context modeling for robust keypoint-based object tracking | |
Lin et al. | Region-based context enhanced network for robust multiple face alignment | |
JP2011154500A (ja) | 学習装置、学習方法、識別装置、識別方法、及びプログラム | |
Baraka et al. | Weakly-supervised temporal action localization: a survey | |
Ciarfuglia et al. | A discriminative approach for appearance based loop closing |