JP2018081491A - 訓練画像選択装置、方法、及びプログラム - Google Patents

Abstract

【課題】テスト画像に写った被写体を効率よく認識するための訓練画像を選出することができる。
【解決手段】被写体認識部３０が、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する。評価値算出部３２が、算出された組み合わせの各々のスコアに基づいて、訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出する。訓練画像選択部が、算出された訓練画像の各々の評価値に基づいて、訓練画像群から評価値が高い訓練画像を選択する。終了条件判定部が、予め定められた終了条件を満たすまで、評価、及び選択を繰り返す。評価値算出部３２は、評価値の算出において、テスト画像の各々についての、選択済の訓練画像のうち、テスト画像を正しく認識する訓練画像の数を更に考慮して算出する。
【選択図】図１

Description

本発明は、訓練画像選択装置、方法、及びプログラムに係り、特に、被写体を認識することを可能にするための訓練画像選択装置、方法、及びプログラムに関する。

カメラ等により空間を撮像したテスト画像に写った被写体の認識や検出を行うための技術として、特許文献１に記載の方法等、テスト画像が予め被写体を撮影した訓練画像群の何れに類似するかを推定する技術が知られている。

特開２０１５−２０１１２３号公報

ところで、このような技術では、被写体を様々な方向から撮像した場合でも認識や検出を可能とするために、訓練画像も複数の方向から撮像した物を用意する必要がある。この時、認識させたい撮像角度の範囲、照明条件、時間帯、天候等の撮像条件のバリエーションによっては、用意しなければならない訓練画像の数が膨大になりテスト画像の認識・検出に長い処理時間を要するようになってしまったり、想定したテスト画像の一部を用意した訓練画像では認識できなかったりするという問題がある。

また、複数の被写体を識別して認識しようとする場合、被写体同士の類似具合や訓練画像の内容によっては、ある被写体の認識用に用意された訓練画像が他の被写体を撮影したテスト画像に類似していると認識してしまう、すなわち誤検出が発生してしまう場合もある。訓練画像の規模が膨大である場合、このように誤検出を引き起こす訓練画像を特定・抽出するのは困難であるため、そのような訓練画像を効率よく特定する方法が望まれる。

本発明は、上記事情を鑑みて成されたものであり、テスト画像に写った被写体を効率よく認識するための訓練画像を選出することができる訓練画像選択装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る訓練画像選択装置は、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出する評価値算出部と、前記評価値算出部により算出された前記訓練画像の各々の前記評価値に基づいて、前記訓練画像群から前記評価値が高い訓練画像を選択する訓練画像選択部と、予め定められた終了条件を満たすまで、評価値算出部による評価、及び訓練画像選択部による選択を繰り返させる終了条件判定部と、を含んで構成されており、前記評価値算出部は、前記テスト画像の各々についての、選択済の前記訓練画像のうち、前記テスト画像を正しく認識する前記訓練画像の数を更に考慮して、前記評価値を算出する。

また、第１の発明に係る訓練画像選択装置において、前記スコアは、予め指定した訓練画像とテスト画像との組み合わせについてのみ取得し、前記訓練画像の各々と、前記テスト画像の各々との組み合わせのうち、前記指定した前記組み合わせ以外の組み合わせについてのスコアは前記評価値の算出に使用しないことを特徴とするようにしてもよい。

また、第１の発明に係る訓練画像選択装置において、前記訓練画像の各々の前記評価値は、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小であるテスト画像群と、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小ではなくかつ所定の閾値未満であるテスト画像群と、該訓練画像で誤認識するテスト画像群とのそれぞれについて定める重みを用いて、該テスト画像群に含まれるテスト画像の数に応じて算出される値、または該テスト画像群に含まれる各テスト画像と該訓練画像の組み合わせに対するスコアの重み付き加算値であることを特徴とするようにしてもよい。

また、第１の発明に係る訓練画像選択装置において、前記訓練画像で誤認識する前記テスト画像群は、テスト画像のうち、該訓練画像が該テスト画像を誤認識するスコアが、選択済の訓練画像で該テスト画像を正しく認識できる際のスコアの最大値以上である前記テスト画像のみを含むことを特徴とするようにしてもよい。

また、第１の発明に係る訓練画像選択装置において、前記終了条件判定部は、選択済の訓練画像の数が所定の閾値に達した時点か、各テスト画像を認識できる選択済の訓練画像の数のうち最小の値が所定の閾値に達した時点か、及び未選択の前記訓練画像群において、前記評価値の最大値が０以下となった時点かのいずれかで、前記訓練画像選択部による選択を終了させることを特徴とするようにしてもよい。

また、第１の発明に係る訓練画像選択装置において、前記選択された前記訓練画像群によって正しく認識された前記テスト画像の認識回数と、前記テスト画像群のうち、前記テスト画像を認識できる選択済の訓練画像の数が所定の閾値に満たないテスト画像のリストとの少なくとも一方を提示する結果提示部を更に含むことを特徴とするようにしてもよい。

また、第１の発明に係る訓練画像選択装置において、前記テスト画像のリストは、各テスト画像を識別できる選択済の訓練画像の数を、該テスト画像と関連付けて提示することを特徴とするようにしてもよい。

第２の発明に係る訓練画像選択方法は、被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、評価値算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出するステップと、訓練画像選択部が、前記評価値算出部により算出された前記訓練画像の各々の前記評価値に基づいて、前記訓練画像群から前記評価値が高い訓練画像を選択するステップと、終了条件判定部が、予め定められた終了条件を満たすまで、評価値算出部による評価、及び訓練画像選択部による選択を繰り返させるステップと、を含んで実行することを特徴とし、前記評価値算出部が算出するステップは、前記テスト画像の各々についての、選択済の前記訓練画像のうち、前記テスト画像を正しく認識する前記訓練画像の数を更に考慮して、前記評価値を算出する。

第３の発明に係る訓練画像選択装置において、コンピュータを、第１の発明に係る訓練画像選択装置の各部として機能させるためのプログラムである。

本発明の訓練画像選択装置、方法、及びプログラムによれば、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、算出された組み合わせの各々のスコアに基づいて、訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出し、算出された訓練画像の各々の評価値に基づいて、訓練画像群から評価値が高い訓練画像を選択し、予め定められた終了条件を満たすまで、評価、及び選択を繰り返し、評価値の算出において、テスト画像の各々についての、選択済の訓練画像のうち、テスト画像を正しく認識する訓練画像の数を更に考慮して算出することにより、テスト画像に写った被写体を効率よく認識するための訓練画像を選出することができる、という効果が得られる。

本発明の実施の形態に係る訓練画像選択装置の構成を示すブロック図である。 本発明の実施の形態に係る訓練画像選択装置における訓練画像選択処理ルーチンを示すフローチャートである。 訓練画像とテスト画像との組み合わせの絞り方の一例を示す図である。 訓練画像の選択の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態に係る概要について説明する。

本発明の実施の形態に係る手法によって、被写体を撮影した訓練画像の集合である訓練画像群から、被写体を効率よく認識するための訓練画像を選択する。訓練画像群は、別時刻、別の位置・角度で撮影されたテスト画像が、訓練画像群のいずれの被写体を撮影したかを推定するために用いる。なお、訓練画像選択装置において、下記の手順を実施するにあたって、被写体認識部は、訓練画像の選択候補となる画像群を訓練画像群としてテスト画像を認識し、各訓練画像に含まれる被写体が各テスト画像にも含まれる確からしさをスコアとして数値化できる状態になっていることを前提とする。これは、例えば上記特許文献１に記載された方法で実現することができる。また、テスト画像群は、それぞれに写っている被写体が何であるか、または何の被写体として認識したいかが事前に判っているものとする。

また、本発明の実施の形態に係る手法によれば、被写体認識装置の運用時に入力が想定されるテスト画像群を認識・検出するために最適な訓練画像を選出し、その総数を最小限にするとともに、選出した訓練画像で認識できないテスト画像を提示し認識率向上のために必要な訓練画像追加の指針を示すことができる。

＜本発明の実施の形態に係る訓練画像選択装置の構成＞

次に、本発明の実施の形態に係る訓練画像選択装置の構成について説明する。図１に示すように、本発明の実施の形態に係る訓練画像選択装置１００は、ＣＰＵと、ＲＡＭと、後述する訓練画像選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この訓練画像選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、正解となる被写体が付された、空間を撮影したテスト画像からなるテスト画像群と、正解となる被写体が付された、被写体を撮影した訓練画像からなる訓練画像群とを受け付ける。

演算部２０は、記憶部２８と、被写体認識部３０と、評価値算出部３２と、終了条件判定部３６と、訓練画像選択部３４と、結果提示部３８と、を含んで構成されている。なお、各処理部の具体的な処理フローについては後述する訓練画像選択装置１００の作用の説明において述べる。

被写体認識部３０は、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出し、認識結果として記憶部２８に記憶する。

記憶部２８には、被写体認識部３０で算出された訓練画像の各々と、テスト画像の各々との組み合わせに対するスコアが格納されている。

評価値算出部３２は、被写体認識部３０により算出された、訓練画像とテスト画像との組み合わせの各々のスコアに基づいて、訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像がテスト画像群を効率よく認識するためにどれだけ有効かを表す評価値を算出する。ここで、スコアは、予め指定した訓練画像とテスト画像との組み合わせについてのみ取得し、訓練画像の各々と、テスト画像の各々との組み合わせのうち、指定した組み合わせ以外の組み合わせについてのスコアは評価値の算出に使用しないようにしてもよい。

ここで、評価値は、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小であるテスト画像群と、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小ではなくかつ所定の閾値未満であるテスト画像群と、該訓練画像で誤認識するテスト画像群とのそれぞれについて定める重みを用いて算出される、該テスト画像群に含まれる各テスト画像と該訓練画像の組み合わせに対するスコアの重み付き加算値である。また、評価値は、該訓練画像とテスト画像の各々との組み合わせのうち、算出されたスコアが予め定めた閾値以上である組み合わせに基づいて算出する。なお、評価値は、該テスト画像群に含まれるテスト画像の数に応じて算出される値の重み付き加算値としてもよい。

このように、評価値算出部３２は、２回目以降の評価値の算出において、後述する訓練画像選択部３４によって訓練画像が順次選択される毎に、テスト画像の各々についての、選択済の訓練画像のうち、該テスト画像を正しく認識する訓練画像の数を考慮して評価値を算出する。

訓練画像選択部３４は、評価値算出部３２により算出された訓練画像の各々の評価値に基づいて、訓練画像群から評価値が高い訓練画像群を選択する。本実施の形態では、未選択の訓練画像のうち評価値が最大の訓練画像を選択する操作を反復することにより、訓練画像群から評価値が高い訓練画像群を選択する。また、訓練画像選択部３４は、評価値算出部３２により算出された訓練画像の各々の評価値に基づいて、訓練画像群から未選択の訓練画像を順次選択すると共に、テスト画像の各々について、選択された訓練画像のうち、テスト画像を正しく認識できる訓練画像の数を表す認識回数をカウントする。

終了条件判定部３６は、終了条件を満たすまで、評価値算出部３２の評価値の算出、及び訓練画像選択部３４の訓練画像の選択を繰り返させる。終了条件は、選択された訓練画像の総数が閾値以上となった場合とする。また、他の終了条件としては、例えば、テスト画像の各々の認識回数のうち、最小となる認識回数が、予め定めた最小認識回数の閾値に達した場合に、訓練画像の選択を終了させることを条件とする。また、他の終了条件としては、認識回数が最小のテスト画像において、該テスト画像に共通の被写体が含まれる確からしさを表すスコアが所定の閾値以上である未選択の訓練画像が存在しない場合に、訓練画像の選択を終了させることを条件とする。本実施の形態では、評価値の最大値が０以下となるか否かにより、上記他の終了条件を満たしたか否かを判定する。

結果提示部３８は、訓練画像選択部３４で選択した訓練画像群を提示する。また、テスト画像の各々についての、選択された訓練画像群によって正しく認識された該テスト画像の認識回数と、テスト画像群のうち、テスト画像を認識できる選択済の訓練画像の数が閾値に満たないテスト画像（認識回数が閾値未満となるテスト画像）のリストとを提示する。また、テスト画像のリストは、各テスト画像を識別できる選択済の訓練画像の数をテスト画像と関連付けて提示することができる。また、選択済の訓練画像群のうち、認識回数が閾値未満となるテスト画像を認識できる訓練画像の数を提示することができる。

＜本発明の実施の形態に係る訓練画像選択装置の作用＞

次に、本発明の実施の形態に係る訓練画像選択装置１００の作用について説明する。入力部１０において空間を撮影したテスト画像からなるテスト画像群と、被写体を撮影した訓練画像からなる訓練画像群とを受け付けると、訓練画像選択装置１００は、図２に示す訓練画像選択処理ルーチンを実行する。

まず、ステップＳ１００では、被写体認識部３０は、入力部１０で受け付けたテスト画像群と、訓練画像群とに基づいて、訓練画像群における訓練画像の各々と、テスト画像群におけるテスト画像の各々との組み合わせに対し、該テスト画像が該訓練画像に含まれる被写体を撮影したものである確からしさを表すスコアを算出し、認識結果として記憶部２８に保存する。

この時、テスト画像群は、被写体認識装置の運用時に入力されることが想定される画像の撮影角度、照明条件、背景等のバリエーションを網羅するように構成されたものであることが望ましい。また、テスト画像群には訓練画像群にも含まれる画像が含まれていてもよい。その場合、認識結果の中に同一の画像同士を比較したスコアが含まれることになるが、そのスコアは削除してもよい。また、本ステップを実行してスコアを算出するのではなく、認識結果は予め生成し保存しておいたものを後続のステップにおいて利用してもよい。また、本ステップでは、必ずしもテスト画像と訓練画像との組み合わせ全てに対して認識結果を取得する必要はない。テスト画像と訓練画像の総数が膨大である場合、本ステップの実行に時間が掛かりすぎてしまう場合がある。その場合、認識結果を取得する組み合わせを絞ってもよい。

図３は、組み合わせの絞り方の例である。被写体がＡ、Ｂ、Ｃの３種類存在し、各被写体について訓練画像とテスト画像を５枚ずつ用意した場合を示している（この例では簡略化のために枚数を少なくしているが、実際は被写体１００種類、訓練画像１０００枚など、規模が大きい場合により有効な方法である）。例えば、誤認識の防止を考慮しないのであれば、被写体が異なる組み合わせについては認識処理をスキップしてよい。この場合、図３（Ａ）に示すように、同じ被写体を撮影した組み合わせについてのみ認識結果を取得する。そうでない場合でも、特に似通っている被写体同士の組み合わせのみ認識処理をする方法も考えられる。例えば、被写体Ａと被写体Ｂが似通っており、被写体Ｃは似ていない場合、認識結果を取得する組み合わせは図３（Ｂ）のようになる。また、被写体が異なる組み合わせについては限られたテスト画像についてのみ（例えば、特に良い条件で撮影されたテスト画像のみ）認識処理をする、といった方法も考えられる。図３（Ｃ）は、被写体が異なる組み合わせではテスト画像１枚についてのみ認識結果を取得する場合である。

次に、ステップＳ１０２では、記憶部２８に保存した認識結果を参照し、被写体認識部３０により算出された組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群を効率よく認識するためにどれだけ有効かを表す評価値を算出する。評価値は、その訓練画像によって正しく認識できるテスト画像が多いほど、また、誤認識するテスト画像が少ないほど大きくなるような指標で算出する。例えば、各訓練画像が何枚のテスト画像を正しく認識できるか、および、何枚のテスト画像を誤認識するか、に基づいて算出する。訓練画像ｊの評価値をＣ_ｊとすると、評価値Ｃ_ｊは以下の（１）式で算出することができる。

・・・（１）

以下、（１）式中に現れる変数の定義および意義を説明する。ｓ_ｉｊはテスト画像ｉと訓練画像ｊとの組み合わせに対するスコア、ｔ_ｊは訓練画像ｊがテスト画像を認識したと見做すスコアの閾値である。すなわち、（１）式のｉの条件ｓ_ｉｊ≧ｔ_ｊは、訓練画像がテスト画像を認識した場合のみ考慮する事を表す。ｔ_ｊの値はすべての訓練画像について共通としてもよいし、個別に設定してもよい。また、被写体の種類ごとに設定してもよい（同じ被写体の訓練画像は閾値も同じとする方法で可能である）。

ｆ_ｉｊは、ステップＳ１００においてテスト画像ｉと訓練画像ｊの組み合わせについて認識結果を得たか否かを表すフラグであり、認識結果を得ている組み合わせの場合は１、得ていない組み合わせの場合は０となる。

Ｗ_ｉは、テスト画像の条件によって定める評価値への影響の重みパラメータである。ｗ_ｐ１、ｗ_ｐ２、ｗ_ｎがそれぞれどのような場合を表すかは後述する。Ｏ_ｉ（Ｏ_ｊ）は、画像ｉ（ｊ）に含まれる被写体の種類を表すＩＤである。訓練画像であれば、その画像がどの被写体の訓練画像であるかを、テスト画像であれば、その画像がどの被写体として認識されるのが正解であるかを表す。Ｏ_ｉ＝Ｏ_ｊであれば画像ｉと画像ｊは共通の被写体を撮影した物である。すなわち、ｗ_ｐ１およびｗ_ｐ２は認識結果が正解である場合、ｗ_ｎは誤認識の場合に対応する。基本的に、ｗ_ｐ１とｗ_ｐ２は０以上、ｗ_ｎは０以下である。例えば、ｗ_ｎの絶対値をｗ_ｐ１やｗ_ｐ２のそれと比べて十分大きくすることにより、正しく認識できるテスト画像の数がどんなに多くても、誤認識するテスト画像が１枚でもあれば、その訓練画像を選択しない、という事が可能である。なお、誤認識の場合でも、そのテスト画像を選択済の他の訓練画像でより高いスコアで正しく認識できる場合は、評価値に反映しない事としてもよい。これは、ある訓練画像があるテスト画像を誤認識しても、該テスト画像の認識を他の訓練画像でカバーできるのであれば選択しても問題ないと見做すことを意味する。

ｒ_ｉは、テスト画像ｉを正しく認識する選択済の訓練画像の数を表す認識回数であり、初期値は０である。ｒ_ｍａｘは予め定める最小認識回数の閾値であり、各テスト画像を最低何枚の訓練画像で認識できるようにするかを表す値である。ｒ_ｍａｘの値は基本的には１であるが、テスト画像のバリエーションの想定が不十分であった場合を考慮し、訓練画像のバリエーションに余裕を持たせたい場合等には２以上としてもよい。ｒ_ｍｉｎはｒ_ｉのうち最小の値である。すなわち、Ｗ_ｉがｗ_ｐ１となる条件ｒ_ｉ＝ｒ_ｍｉｎは、テスト画像が、該訓練画像ｊで正しく認識できるテスト画像ｉのうち、テスト画像ｉを正しく認識できる選択済の訓練画像の数が全テスト画像の中で最小であるという事を表す。また、Ｗ_ｉがｗ_ｐ２となる条件ｒ_ｍａｘ＞ｒ_ｉ＞ｒ_ｍｉｎは、テスト画像が、該訓練画像ｊで正しく認識できるテスト画像ｉのうち、テスト画像ｉを正しく認識できる選択済の訓練画像の数が最小ではないが、ｒ_ｍａｘ未満であり十分多くもないという事を表す。例えば、ｗ_ｐ１＞ｗ_ｐ２とすることにより、正しく認識できる選択済の訓練画像の数が最小であるテスト画像を正しく認識できる訓練画像を優先的に選択する事ができる。ｃ_ｉｊは評価値の算出方法に合わせて決定する値であり、本実施の形態ではｃ_ｉｊ＝ｓ_ｉｊとする。ｃ_ｉｊ＝ｓ_ｉｊとすれば、より高いスコアで認識したテスト画像ほど評価値への影響が大きくなる。また、例えばｃ_ｉｊを一律１とすれば、評価値は訓練画像が認識するテスト画像の枚数（組み合わせの数）に基づいて算出する事になる。

ステップＳ１０４では、終了条件判定部３６は、現時点で選択されていない訓練画像群を対象に、ステップＳ１０２で計算された訓練画像群の評価値のうちの最大値を確認し、評価値の最大値が０以下であった場合には、ステップＳ１１２へ移行し、評価値の最大値が０より大きい場合にはステップＳ１０６へ移行する。評価値の最大値が０以下の場合とは、すなわち、認識回数がｒ_ｍａｘ未満で不足しているテスト画像のいずれかを正しく認識でき、かつ、いずれかのテスト画像を誤認識する度合いよりも、正しくテスト画像を認識できる度合いが高い訓練画像が存在しない場合である。

ステップＳ１０６では、訓練画像選択部３４は、選択されていない訓練画像群のうち評価値が最大となった訓練画像を選択するとともに、選択した訓練画像で正しく認識できたテスト画像の認識回数ｒ_ｉを＋１とカウントアップする。評価値が最大となった訓練画像が複数存在する場合は、その中から１枚の訓練画像を選択する。選択方法についてはここでは限定しないが、具体的には、訓練画像の各々について、該訓練画像で正しく認識できたテスト画像群における該訓練画像に対応するスコアの合計を算出し、合計値が最大の訓練画像を選択する方法や、ｊが最小ないし最大の訓練画像を選択する方法、無作為に選択する方法等が考えられる。

ステップＳ１０８では、終了条件判定部３６は、各テスト画像の認識回数の最小値を確認し、最小認識回数ｒ_ｍｉｎが閾値ｒ_ｍａｘ以上であれば、訓練画像の選択を終了してステップＳ１１２へ移行し、閾値ｒ_ｍａｘ未満であればステップＳ１１０へ移行する。

ステップＳ１１０では、終了条件判定部３６は、ここまでで選択された訓練画像の総数を確認し、選択された訓練画像の総数が、予め決定した総数の上限値ｎ_ｍａｘ以上であれば、訓練画像の選択を終了し、ステップＳ１１２へ移行し、上限値ｎ_ｍａｘ未満であればステップＳ１０２へ移行する。上限値ｎ_ｍａｘの値は、被写体認識の運用時に許容される処理時間を充足できる訓練画像数とすればよい。

最後に、ステップＳ１１２では、結果提示部３８は、最終的に選択された訓練画像群を出力部５０に提示する。また、テスト画像の各々についての、選択された訓練画像群によって正しく認識されたテスト画像の認識回数と、認識回数が所定の予め定めた閾値ｒ_ｑ未満であるテスト画像及びその認識回数を組としたリストとを出力部５０に提示し、訓練画像選択処理ルーチンを終了する。また、出力のバリエーションとして、選択した訓練画像群のうち、認識回数が閾値ｒ_ｑ未満となるテスト画像を認識できる訓練画像の数を出力するようにしてもよい。ここで、閾値ｒ_ｑの決定方法はここでは限定しないが、例えばｒ_ｍａｘとすれば、選択された訓練画像群で所望の認識回数を満足できないテスト画像のリストを得る事ができる。また、出力の際に、選択された各訓練画像の評価値を併せて提示してもよい。どのようなテスト画像の組み合わせに対する評価値を提示するかは限定しないが、具体的には、全テスト画像に対する評価値、選択された訓練画像が選択された時点で認識回数が最小であったテスト画像に対する評価値、テスト画像１枚１枚に対する評価値、それらの組み合わせ等が考えられる。また、提示方法はディスプレイへの表示、ファイルへの書き出し等様々な方法が考えられるが、ここでは限定しない。提示に用いる項目についても、訓練画像の通し番号、訓練画像に付与した名称、それらの組み合わせ等、様々なものが考えるが、ここでは限定しない。

ここで、ステップＳ１０２〜Ｓ１０８の訓練画像の選択の例を図４に示す。図４の上部に示された条件の場合、１枚目の訓練画像の選択時はすべてのテスト画像の選択回数ｒ_ｉが０すなわち最小であるため、正しい認識の重みはすべてｗ_ｐ１＝２となる。また、誤認識の重みはｗ_ｎ＝−１００である。したがって評価値はスコア表左の訓練画像から２６，２４，２０，１８，２２、−１６８となり、一番左の訓練画像が選択される。２枚目の選択時は、スコア表上から３枚のテスト画像は１枚目の訓練画像で正しく認識でき、ｒ_ｉが最小ではなくなったので、左から２，３番目の訓練画像は正しい認識の重みがｗ_ｐ２となり、評価値が低くなる。一方、誤認識によって評価値が負になっていた一番右の訓練画像は、誤認識しているテスト画像を選択済の訓練画像がより高いスコアで認識できるため、誤認識が評価値に反映されなくなる。その結果評価値が最大となり、２枚目の訓練画像として選択される。３枚目の選択時も同様に評価値が算出され、左から２番目の訓練画像が評価値最大となり選択される。ここで選択済訓練画像の枚数がｎ_ｍａｘに達したため、下から３枚目までのテスト画像はｒ_ｉがｒ_ｍａｘに満たないが、選択は終了となる。

以上説明したように、本発明の実施の形態に係る訓練画像選択装置によれば、訓練画像の各々と、テスト画像の各々との組み合わせに対し、該訓練画像に含まれる被写体が該テスト画像にも含まれる確からしさを表すスコアを算出し、組み合わせの各々のスコアに基づいて、訓練画像の各々について、テスト画像群の認識に寄与する度合いを表す評価値を算出し、算出された訓練画像の各々の評価値に基づいて、未選択の訓練画像のうち評価値が最大の訓練画像を選択する操作を反復することにより、訓練画像群から評価値が高い訓練画像群を選択し、テスト画像に写った被写体の認識に適した訓練画像を選出することができる。

また上述した実施の形態によれば、被写体認識装置の運用時に入力が想定されるテスト画像群を認識・検出するために最適な訓練画像を選出するとともに、選出した訓練画像で認識できないテスト画像を提示し認識率向上のために必要な訓練画像追加の指針を示すことができる。

また、撮像条件のバリエーションが多い場合でも、被写体認識に貢献が小さい訓練画像を排除し、貢献が大きい訓練画像に絞ることで、被写体認識率を下げることなく効率的な訓練画像の集合を選出し、認識・検出に要する処理時間を短く抑える事が可能となる。また、既存の訓練画像では認識できない、あるいは認識が困難なテスト画像を特定するとともに、それらを認識できる訓練画像を追加する事で、認識率を高める事が可能となる。

また、上述した実施の形態によれば、複数の被写体を認識する場合に、訓練画像の数が膨大な場合でも、それらの中から誤認識の原因となる訓練画像を効率よく特定・除外することによって、誤認識率の低い訓練画像群を選出することができる。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

例えば、上述した実施の形態における訓練画像選択装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

１０ 入力部
２０ 演算部
２８ 記憶部
３０ 被写体認識部
３２ 評価値算出部
３４ 訓練画像選択部
３６ 終了条件判定部
３８ 結果提示部
５０ 出力部
１００ 訓練画像選択装置

Claims (9)

1. 空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出する被写体認識部と、
   前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出する評価値算出部と、
   前記評価値算出部により算出された前記訓練画像の各々の前記評価値に基づいて、前記訓練画像群から前記評価値が高い訓練画像を選択する訓練画像選択部と、
   予め定められた終了条件を満たすまで、評価値算出部による評価、及び訓練画像選択部による選択を繰り返させる終了条件判定部と、を含み
   前記評価値算出部は、前記テスト画像の各々についての、選択済の前記訓練画像のうち、前記テスト画像を正しく認識する前記訓練画像の数を更に考慮して、前記評価値を算出する
   訓練画像選択装置。
2. 前記スコアは、予め指定した訓練画像とテスト画像との組み合わせについてのみ取得し、前記訓練画像の各々と、前記テスト画像の各々との組み合わせのうち、前記指定した前記組み合わせ以外の組み合わせについてのスコアは前記評価値の算出に使用しないことを特徴とする請求項１に記載の訓練画像選択装置。
3. 前記訓練画像の各々の前記評価値は、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小であるテスト画像群と、該訓練画像で正しく認識できるテスト画像のうち、該テスト画像を認識できる選択済の訓練画像の数が最小ではなくかつ所定の閾値未満であるテスト画像群と、該訓練画像で誤認識するテスト画像群とのそれぞれについて定める重みを用いて、該テスト画像群に含まれるテスト画像の数に応じて算出される値、または該テスト画像群に含まれる各テスト画像と該訓練画像の組み合わせに対するスコアの重み付き加算値であることを特徴とする請求項１または請求項２に記載の訓練画像選択装置。
4. 前記訓練画像で誤認識する前記テスト画像群は、テスト画像のうち、該訓練画像が該テスト画像を誤認識するスコアが、選択済の訓練画像で該テスト画像を正しく認識できる際のスコアの最大値以上である前記テスト画像のみを含むことを特徴とする請求項１から請求項３のいずれか１項に記載の訓練画像選択装置。
5. 前記終了条件判定部は、選択済の訓練画像の数が所定の閾値に達した時点か、各テスト画像を認識できる選択済の訓練画像の数のうち最小の値が所定の閾値に達した時点か、及び未選択の前記訓練画像群において、前記評価値の最大値が０以下となった時点かのいずれかで、前記訓練画像選択部による選択を終了させることを特徴とする請求項１から請求項４のいずれか１項に記載の訓練画像選択装置。
6. 前記選択された前記訓練画像群によって正しく認識された前記テスト画像の認識回数と、前記テスト画像群のうち、前記テスト画像を認識できる選択済の訓練画像の数が所定の閾値に満たないテスト画像のリストとの少なくとも一方を提示する結果提示部を更に含むことを特徴とする請求項１から請求項５のいずれか１項に記載の訓練画像選択装置。
7. 前記テスト画像のリストは、各テスト画像を識別できる選択済の訓練画像の数を、該テスト画像と関連付けて提示することを特徴とする請求項６に記載の訓練画像選択装置。
8. 被写体認識部が、空間を撮影したテスト画像からなるテスト画像群と、予め被写体を撮影した訓練画像からなる訓練画像群とに基づいて、前記訓練画像の各々と、前記テスト画像の各々との組み合わせに対し、該訓練画像と該テスト画像とに共通の被写体が含まれる確からしさを表すスコアを算出するステップと、
   評価値算出部が、前記被写体認識部により算出された前記組み合わせの各々の前記スコアに基づいて、前記訓練画像の各々について、該訓練画像と同一の被写体を撮影したテスト画像を正しく認識する度合いと、該訓練画像と異なる被写体を撮影したテスト画像を誤認識する度合いとから、該訓練画像の前記テスト画像群の認識に対する評価値を算出するステップと、
   訓練画像選択部が、前記評価値算出部により算出された前記訓練画像の各々の前記評価値に基づいて、前記訓練画像群から前記評価値が高い訓練画像を選択するステップと、
   終了条件判定部が、予め定められた終了条件を満たすまで、評価値算出部による評価、及び訓練画像選択部による選択を繰り返させるステップと、を含み
   前記評価値算出部が算出するステップは、前記テスト画像の各々についての、選択済の前記訓練画像のうち、前記テスト画像を正しく認識する前記訓練画像の数を更に考慮して、前記評価値を算出する
   訓練画像選択方法。
9. コンピュータを、請求項１〜請求項７のいずれか１項に記載の訓練画像選択装置の各部として機能させるためのプログラム。