JP2016224821A - 学習装置、学習装置の制御方法及びプログラム - Google Patents
学習装置、学習装置の制御方法及びプログラム Download PDFInfo
- Publication number
- JP2016224821A JP2016224821A JP2015112536A JP2015112536A JP2016224821A JP 2016224821 A JP2016224821 A JP 2016224821A JP 2015112536 A JP2015112536 A JP 2015112536A JP 2015112536 A JP2015112536 A JP 2015112536A JP 2016224821 A JP2016224821 A JP 2016224821A
- Authority
- JP
- Japan
- Prior art keywords
- identification target
- target region
- learning
- domain
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】学習データの数が十分でなく、データ間に意味的な関係がない場合においても、識別器の検出の精度を向上させることを目的とする。【解決手段】学習データを識別対象領域と非識別対象領域とに分割し、領域間の距離に基づいて非識別対象領域の重みパラメータを決定し、学習データの識別対象領域における特徴量と学習データの非識別対象領域における特徴量と非識別対象領域の重みパラメータとに基づいて、識別対象領域の識別器を生成する。【選択図】図6
Description
本発明は、例えば、異常検出などを行うための識別器を生成するために用いて好適な学習装置、学習装置の制御方法及びプログラムに関する。
入力画像中に、検出すべき欠陥があるか否かといった識別や、動画像中に異常な行動や物体が存在するか否かといった識別を行う方法として、様々な方法が提案されている。近年、このような識別問題では、機械学習と呼ばれる技術を使用する方法が多く行われている。機械学習では、識別器の生成を行う学習装置は、教師付き学習データを大量に必要とし、従来、教師情報が手動で学習データに入力されることが多かった。しかし、大量のデータに教師情報を付与することは、費用や人的資源、時間等の制約により、困難な場合がある。
異常検出では、学習装置によって学習データが十分に得られない場合は、識別器の検出性能が低下する可能性がある。そこで、特許文献1に記載の方法では、学習データから得られた特徴量の最大値から最小値の範囲内で、ランダムに値を生成して新たな学習データとし、学習データ数を増やすことにより、学習データが不十分な場合でも、異常検出の精度を向上させている。
異常検出では、学習装置によって学習データが十分に得られない場合は、識別器の検出性能が低下する可能性がある。そこで、特許文献1に記載の方法では、学習データから得られた特徴量の最大値から最小値の範囲内で、ランダムに値を生成して新たな学習データとし、学習データ数を増やすことにより、学習データが不十分な場合でも、異常検出の精度を向上させている。
また、学習データが少ない場合に、特許文献2に示すような転移学習技術を用いて、識別精度を向上させる方法がある。さらに識別精度を向上させる技術として、特許文献3には、音声認識のための特定の話者の音響モデルを学習する際に、転移学習技術を活用する例が開示されている。特許文献3では、転移学習技術を活用することにより、特定話者のデータのみではなく、複数の他人のデータや音響モデルを利用して、特定話者の識別精度を向上させる。以下、転移学習において、特定話者の音響モデルのように、データや音響モデルの転移先を目標ドメインと呼び、他人のデータや音響モデルのような転移元を元ドメインと呼ぶ。
また、別の例として、非特許文献1には、物体認識問題に転移学習技術を利用する方法が開示されている。この方法では、例えば、猫を識別するモデルを学習する際に、トラやライオンといった、概念的に近い物体のデータを利用して、識別性能の向上を実現する。この場合は、猫が目標ドメインとなり、トラやライオンがそれぞれ元ドメインとなる。
また、別の例として、非特許文献1には、物体認識問題に転移学習技術を利用する方法が開示されている。この方法では、例えば、猫を識別するモデルを学習する際に、トラやライオンといった、概念的に近い物体のデータを利用して、識別性能の向上を実現する。この場合は、猫が目標ドメインとなり、トラやライオンがそれぞれ元ドメインとなる。
しかしながら、目標ドメインと元ドメインとの特徴が大きく異なる場合には、識別精度が低下する。そのため、非特許文献2には、目標ドメインの情報に対して、どの程度、元ドメインの情報を用いて学習を行うかを決定する重みパラメータを適切に設定する必要性が示されている。
Rodner Erik and Denzler Joachim, "One−shot Learning of Object Categories using Dependent Gaussian Processes", Proceedings of the 32nd DAGM conference on Pattern recognition, pp. 232 − 241, 2010.
神嶌 敏弘, "転移学習", 人工知能学会誌, vol.25, no.4, pp.572−580, 2010.
特許文献1に記載の方法では、特徴量の要素毎に、最大値から最小値の範囲内でランダムな値を用いるため、学習データとして誤った組み合わせの特徴量が生成される可能性がある。その場合、生成された学習データを用いることによって、学習結果の精度が低下する可能性がある。また、既に得られている特徴量の最大値から最小値の範囲内で値が生成されるため、その範囲を超える特徴量は得られない。そのため、学習データに偏りがある場合には、真のデータ分布には近づかないこととなる。
一方、転移学習技術を用いた特許文献2に記載の手法では、目標ドメインに対する元ドメインの重要度を調整する重みパラメータを、目標ドメインと元ドメインとのそれぞれで学習した結果の類似度に基づいて決定する。しかしながら、類似度の算出に用いる学習結果は、データ数が不足している状態で学習されているため、十分な信頼度が得られない。そのため、ドメイン間の類似度が正しく求められず、重みパラメータが適切に設定されない可能性がある。
一方、転移学習技術を用いた特許文献2に記載の手法では、目標ドメインに対する元ドメインの重要度を調整する重みパラメータを、目標ドメインと元ドメインとのそれぞれで学習した結果の類似度に基づいて決定する。しかしながら、類似度の算出に用いる学習結果は、データ数が不足している状態で学習されているため、十分な信頼度が得られない。そのため、ドメイン間の類似度が正しく求められず、重みパラメータが適切に設定されない可能性がある。
また、非特許文献1に記載の方法では、目標ドメインと元ドメインとの意味的距離に基づき、複数の元ドメイン候補の中から、元ドメインが選択される。そのため、各ドメインに意味的な差異がない場合には、元ドメインの選択を行うことが難しい。
以上のような課題より、従来技術に開示されている方法では、学習データが少ない場合に識別器による異常等の検出の精度の向上に限界があった。
本発明は、このような点に鑑みてなされたものであり、学習データの数が十分でなく、データ間に意味的な関係がない場合においても、識別器の検出の精度を向上させることを目的とする。
以上のような課題より、従来技術に開示されている方法では、学習データが少ない場合に識別器による異常等の検出の精度の向上に限界があった。
本発明は、このような点に鑑みてなされたものであり、学習データの数が十分でなく、データ間に意味的な関係がない場合においても、識別器の検出の精度を向上させることを目的とする。
そこで、本発明の学習装置は、学習データに含まれるデータのそれぞれを、識別対象領域と非識別対象領域との領域に分割する分割手段と、前記学習データの前記識別対象領域から、第1の特徴量を抽出し、前記学習データの前記非識別対象領域から、第2の特徴量を抽出する抽出手段と、前記識別対象領域と前記非識別対象領域との領域間距離を取得する取得手段と、前記取得手段により取得された前記領域間距離に基づき、前記識別対象領域に対する前記非識別対象領域の重要度を示す重みパラメータを決定する決定手段と、前記決定手段により決定された前記重みパラメータと、前記抽出手段により抽出された前記第1の特徴量及び前記第2の特徴量と、に基づき、前記識別対象領域の識別器を生成する生成手段と、を有する。
本発明によれば、学習データの数が十分でなく、データ間に意味的な関係がない場合においても、識別器の検出の精度を向上させることができる。
以下、添付図面を参照しながら、本発明の実施形態を説明する。
<実施形態1>
本実施形態として、特定の検査対象物体を撮影し、撮影した画像に基づいて、物体の表面上に検出すべき欠陥が存在するか否かを識別する情報処理方法の例を示す。欠陥検出では、学習データが十分に得られない状況となる場合がある。そこで、本実施形態では、入力画像を分割し、分割した領域を1つのデータとして扱うことで、学習データを増加させる処理について説明する。
図1は、パターン識別システムのシステム構成の一例を示す図である。本実施形態におけるパターン識別システムにおいては、パターン識別装置10と撮影装置20とが通信網を介して接続されている。パターン識別装置10は、パターン識別に利用される識別器を生成したり、学習した識別器に基づいてパターン識別処理を行ったりする。撮影装置20は、パターン識別装置10による識別器の生成処理に利用される学習画像、パターン識別装置10によるパターン識別処理の対象である識別対象画像等を撮影し、パターン識別装置10に送信する。
本実施形態として、特定の検査対象物体を撮影し、撮影した画像に基づいて、物体の表面上に検出すべき欠陥が存在するか否かを識別する情報処理方法の例を示す。欠陥検出では、学習データが十分に得られない状況となる場合がある。そこで、本実施形態では、入力画像を分割し、分割した領域を1つのデータとして扱うことで、学習データを増加させる処理について説明する。
図1は、パターン識別システムのシステム構成の一例を示す図である。本実施形態におけるパターン識別システムにおいては、パターン識別装置10と撮影装置20とが通信網を介して接続されている。パターン識別装置10は、パターン識別に利用される識別器を生成したり、学習した識別器に基づいてパターン識別処理を行ったりする。撮影装置20は、パターン識別装置10による識別器の生成処理に利用される学習画像、パターン識別装置10によるパターン識別処理の対象である識別対象画像等を撮影し、パターン識別装置10に送信する。
図2は、パターン識別装置10のハードウェア構成の一例を示す図である。本実施形態におけるパターン識別装置10は、CPU11、一次記憶装置12、二次記憶装置13、及び通信I/F14を含む。CPU11、一次記憶装置12、二次記憶装置13、及び通信I/F14は、システムバス15を介して互いに接続されている。二次記憶装置13は、コンピュータで読込可能な記憶媒体の一例である。
CPU11は、パターン識別装置10の処理を制御する中央演算装置である。一次記憶装置12は、CPU11のワークエリアやデータの記憶領域として機能する。二次記憶装置は、各種プログラム、各種閾値等の設定値、学習画像データ群等を格納する。通信I/F14は、撮影装置20やその他の外部装置との間でデータの入出力を行う。パターン識別装置10は、学習画像データ群を、外部メモリから取得してもよいし、ネットワークを介して不図示の外部装置等から通信I/F14を介して取得してもよい。
CPU11が、二次記憶装置13等に記録されたプログラムに基づき処理を実行することによって、後述するパターン識別装置10の機能及び後述するフローチャートの処理が実現される。
CPU11は、パターン識別装置10の処理を制御する中央演算装置である。一次記憶装置12は、CPU11のワークエリアやデータの記憶領域として機能する。二次記憶装置は、各種プログラム、各種閾値等の設定値、学習画像データ群等を格納する。通信I/F14は、撮影装置20やその他の外部装置との間でデータの入出力を行う。パターン識別装置10は、学習画像データ群を、外部メモリから取得してもよいし、ネットワークを介して不図示の外部装置等から通信I/F14を介して取得してもよい。
CPU11が、二次記憶装置13等に記録されたプログラムに基づき処理を実行することによって、後述するパターン識別装置10の機能及び後述するフローチャートの処理が実現される。
撮影装置20が検査対象物体を撮影した画像は、画像全体で一様であるとは限らない。例えば、照明が検査対象物体に対して、斜めの位置に存在し、検査対象物体の表面全体に均一に光が当たらない場合などに、画像中に、輝度値のグラデーションが発生する。また、検査対象物体の表面が、複数種類の材質でできている場合は、材質の異なる領域毎に、輝度値が異なる画像となる。そのため、画像全体を一つのデータとして扱うことにより、検出性能が低下する可能性がある。
そこで、本実施形態では、CPU11は、検査対象画像を検査対象領域とそれ以外の領域とに分割する。図3(A)に示す検査対象画像101の場合は、検査対象領域を目標ドメイン領域102とし、それ以外の領域として元ドメイン領域103、109を含む複数の領域に分割する。そして、学習画像データ群の全ての目標ドメイン領域102の画像の集合を目標ドメイン104とし、例えば元ドメイン領域103、109の画像の集合をそれぞれ、元ドメイン105、110とする。
目標ドメイン104のデータのみを学習に用いることにより、目標ドメインの識別器を、照明条件や材質が一定の領域のみのデータから学習された識別器とすることができる。これにより、異なる性質を持つ領域が学習データに含まれなくなり、目標ドメインの識別器は、目標ドメインの特徴に特化される。その結果、画像中の領域毎に異なる性質を持つ場合であっても、それぞれの領域で学習を行い、識別器を生成することにより、それぞれの領域に対応した識別器を用意することが可能となる。目標ドメインは、識別対象領域の一例である。また、元ドメインは、非識別対象領域の一例である。
そこで、本実施形態では、CPU11は、検査対象画像を検査対象領域とそれ以外の領域とに分割する。図3(A)に示す検査対象画像101の場合は、検査対象領域を目標ドメイン領域102とし、それ以外の領域として元ドメイン領域103、109を含む複数の領域に分割する。そして、学習画像データ群の全ての目標ドメイン領域102の画像の集合を目標ドメイン104とし、例えば元ドメイン領域103、109の画像の集合をそれぞれ、元ドメイン105、110とする。
目標ドメイン104のデータのみを学習に用いることにより、目標ドメインの識別器を、照明条件や材質が一定の領域のみのデータから学習された識別器とすることができる。これにより、異なる性質を持つ領域が学習データに含まれなくなり、目標ドメインの識別器は、目標ドメインの特徴に特化される。その結果、画像中の領域毎に異なる性質を持つ場合であっても、それぞれの領域で学習を行い、識別器を生成することにより、それぞれの領域に対応した識別器を用意することが可能となる。目標ドメインは、識別対象領域の一例である。また、元ドメインは、非識別対象領域の一例である。
一方で、領域分割を行って目標ドメインのデータのみで学習を行った場合、学習データの多様性を十分に確保できない可能性がある。例えば、図4に示すように、欠陥201が発生している検査対象画像が学習データに含まれていたとする。検査対象画像101全体を用いて学習された場合には、欠陥201を含む特徴が学習される。そのため、画像の分割を行わず、画像全体を一つのデータとして学習された識別器は、欠陥201を検出できる。
しかし、領域分割を行い目標ドメイン104のみで学習された識別器は、目標ドメイン104には欠陥201が含まれないため、欠陥201の特徴を学習しないことになる。欠陥の発生位置は、変化することが多く、欠陥は、位置によらず発生する可能性がある。
そのため、目標ドメイン領域102で欠陥201が発生した場合、目標ドメイン104のみで学習された識別器は、目標ドメイン領域102で発生した欠陥を検出できない可能性がある。そこで、転移学習技術を用いて、欠陥201を含む元ドメイン105の情報を目標ドメイン104の識別器の生成に利用することにより、学習された識別器は、目標ドメイン領域102で発生した欠陥201と同様の欠陥を検出することが可能となる。
しかし、領域分割を行い目標ドメイン104のみで学習された識別器は、目標ドメイン104には欠陥201が含まれないため、欠陥201の特徴を学習しないことになる。欠陥の発生位置は、変化することが多く、欠陥は、位置によらず発生する可能性がある。
そのため、目標ドメイン領域102で欠陥201が発生した場合、目標ドメイン104のみで学習された識別器は、目標ドメイン領域102で発生した欠陥を検出できない可能性がある。そこで、転移学習技術を用いて、欠陥201を含む元ドメイン105の情報を目標ドメイン104の識別器の生成に利用することにより、学習された識別器は、目標ドメイン領域102で発生した欠陥201と同様の欠陥を検出することが可能となる。
転移学習では、目標ドメインの識別器を生成する際に、元ドメインの情報を、どの程度用いるかを調整する重みパラメータを決定する必要がある。そこで、目標ドメインと元ドメインとの類似度を各ドメインの特徴量のデータ分布とは異なる指標に基づいて取得し、取得した類似度に基づいて重みパラメータを決定する。
本実施形態では、CPU11は、元ドメインの重みパラメータを、それぞれのドメインを構成する領域の位置に基づき算出する。例えば、元ドメイン105の場合には、図5(A)に示す目標ドメイン領域102の中心301と元ドメイン領域103の中心302との距離に基づき元ドメイン105の重みパラメータを算出する。
本実施形態では、CPU11は、元ドメインの重みパラメータを、それぞれのドメインを構成する領域の位置に基づき算出する。例えば、元ドメイン105の場合には、図5(A)に示す目標ドメイン領域102の中心301と元ドメイン領域103の中心302との距離に基づき元ドメイン105の重みパラメータを算出する。
領域同士は、空間的に近いほど、照明による影響や検査対象物体が得られるまでの過程で発生する差異が小さくなり、ドメイン間に共通する情報を多く持つ可能性が高くなる。そこで、本実施形態では、ドメイン間の関係を領域間の距離が近いほど、より重要な共通する情報を持つという仮定を与える。これにより、学習データの数が十分でない場合においても、CPU11は、目標ドメインと元ドメインとの類似度を適切に設定し、識別器における欠陥の検出精度を向上させることができる。
本実施形態では、CPU11は、図3(A)に示すように、検査対象画像101を所定のブロックに分割し、得られた領域の中から一つの領域を目標ドメイン領域102とする。そして、CPU11は、学習画像データ群から抽出した目標ドメイン領域102の画像の集合を目標ドメイン104とする。しかし、CPU11は、例えば他の元ドメイン領域103の画像の集合を目標ドメインとすることとしてもよい。また、CPU11は、図3(B)に示すような領域107、108の関係のように、検査対象画像101を、重複する部分を含むようなブロックに分割してもよい。
本実施形態では、CPU11は、図3(A)に示すように、検査対象画像101を所定のブロックに分割し、得られた領域の中から一つの領域を目標ドメイン領域102とする。そして、CPU11は、学習画像データ群から抽出した目標ドメイン領域102の画像の集合を目標ドメイン104とする。しかし、CPU11は、例えば他の元ドメイン領域103の画像の集合を目標ドメインとすることとしてもよい。また、CPU11は、図3(B)に示すような領域107、108の関係のように、検査対象画像101を、重複する部分を含むようなブロックに分割してもよい。
図6は、パターン識別装置10における識別器を生成するための機能構成等の一例を示す図である。また、図7は、パターン識別装置10の識別器学習処理の一例を示すフローチャートである。以下、図6、及び、図7を用いて、本実施形態のパターン識別装置10の処理について説明する。
パターン識別装置10は、画像入力部400、領域分割部401、特徴抽出部402、距離算出部403、重みパラメータ算出部404、及び学習部405を含む。以下、これらの各構成が行う処理について説明する。
パターン識別装置10は、画像入力部400、領域分割部401、特徴抽出部402、距離算出部403、重みパラメータ算出部404、及び学習部405を含む。以下、これらの各構成が行う処理について説明する。
まず、図7のS500において、画像入力部400は、検査対象を撮影した画像で構成された学習画像データ群を入力として受け付ける。
次に、S501において、領域分割部401は、画像入力部400により受付けられた学習画像データ群に含まれる各画像に対して、領域分割を行う。本実施形態では、図3(A)に示すように、検査対象画像101を設定されたブロックに分割する。
どのようなブロックに分割するかを示す分割情報は、設定ファイル等として二次記憶装置13等に記録されているものとする。どのようなブロックに分割するかの情報は、例えば、分割されるブロックごとのブロックの左上端の座標値とブロックの右下端の座標値との情報を含むものである。CPU11は、パターン識別装置10の例えばユーザインターフェースを介したユーザの操作に基づいて、二次記憶装置13等に記録されている設定ファイルの内容を変更することができるものとする。
どのようなブロックに分割するかを示す分割情報は、設定ファイル等として二次記憶装置13等に記録されているものとする。どのようなブロックに分割するかの情報は、例えば、分割されるブロックごとのブロックの左上端の座標値とブロックの右下端の座標値との情報を含むものである。CPU11は、パターン識別装置10の例えばユーザインターフェースを介したユーザの操作に基づいて、二次記憶装置13等に記録されている設定ファイルの内容を変更することができるものとする。
領域分割部401は、分割した領域の中から任意の領域を目標ドメイン領域とし、その領域の画像の集合を目標ドメインとする。また、領域分割部401は、検査対象領域以外の分割された領域の画像の集合をそれぞれ、元ドメインとする。そのため、領域分割部401は、領域分割により得られた領域数をMとしたとき、M−1個の元ドメインを得る。
なお、図6における目標ドメイン401d1は、例えば図3(A)に示す目標ドメイン領域102の画像の集合に相当する。また、元ドメイン401d2は、元ドメイン領域103、109等の領域の画像の集合に相当する。
なお、図6における目標ドメイン401d1は、例えば図3(A)に示す目標ドメイン領域102の画像の集合に相当する。また、元ドメイン401d2は、元ドメイン領域103、109等の領域の画像の集合に相当する。
次に、S502において、特徴抽出部402は、目標ドメイン401d1、及び、元ドメイン401d2の各画像に対して、設定された複数の特徴量を抽出する処理を行う。特徴量には、様々なものが挙げられるが、本実施形態では、特徴抽出部402は、画像の輝度値の平均、分散、歪度、尖度、最頻値、エントロピー等といった特徴量を抽出することとしてもよい。また、特徴抽出部402は、参考文献1に記載されたCo−occurrence Matrixを用いたテクスチャー特徴量や参考文献2に記載のSIFTを用いた局所特徴量等を抽出してもよい。本実施形態では、特徴抽出部402は、1つの画像から複数個の異なる特徴量を抽出し、抽出した特徴量を順に並べた特徴ベクトルを最終的な特徴量として取得する。
どのような特徴量を抽出するかの情報は、設定ファイル等として二次記憶装置13等に記録されているものとする。CPU11は、パターン識別装置10のユーザインターフェースを介したユーザの操作に基づいて、二次記憶装置13等に記録されている設定ファイルの内容を変更することができるものとする。
どのような特徴量を抽出するかの情報は、設定ファイル等として二次記憶装置13等に記録されているものとする。CPU11は、パターン識別装置10のユーザインターフェースを介したユーザの操作に基づいて、二次記憶装置13等に記録されている設定ファイルの内容を変更することができるものとする。
・参考文献1:Robert M. Haralick, K. Shanmugam, and Itshak Dinstein, ”Texture Features
for Image Classification”, IEEE Transac
tions on System, Man and Cybernatic, Vol. 6, pp. 610−621, 1973.
・参考文献2:Lowe, David G, ”Object Recogniti
on from Local Scale−invariant Features”,
Proceedings of the International Conference on Computer Vision 2, pp. 1150−1157, 1999.
for Image Classification”, IEEE Transac
tions on System, Man and Cybernatic, Vol. 6, pp. 610−621, 1973.
・参考文献2:Lowe, David G, ”Object Recogniti
on from Local Scale−invariant Features”,
Proceedings of the International Conference on Computer Vision 2, pp. 1150−1157, 1999.
特徴抽出部402は、このように設定された特徴量を目標ドメイン401d1、及び、元ドメイン401d2の各画像から抽出する。そして、特徴抽出部402は、抽出した特徴量を順に並べた特徴ベクトルの集合である目標ドメイン特徴量402d1、及び、元ドメイン特徴量402d2を生成する。ドメイン特徴量とは、対応するドメインの画像の集合から取得された特徴量のことであるとする。
次に、S503において、距離算出部403は、目標ドメインと元ドメインとの距離を算出する処理部である。距離算出部403は、領域分割部401から分割情報を入力し、特徴抽出部402で算出した特徴量と異なる指標で距離を算出する。
本実施形態では、距離算出部403は、図5(A)に示すように、目標ドメイン領域102の中心301と元ドメイン領域の中心とのユークリッド距離を入力として受け付ける。図5(A)の目標ドメイン領域102の中心301の座標を(xt、yt)とし、元ドメインの中心の座標を(xs、ys)とする。そうすると、パターン識別装置10は、目標ドメイン領域102の中心と元ドメインの中心との距離(lts)を、以下の数式1を用いて算出する。
本実施形態では、距離算出部403は、図5(A)に示すように、目標ドメイン領域102の中心301と元ドメイン領域の中心とのユークリッド距離を入力として受け付ける。図5(A)の目標ドメイン領域102の中心301の座標を(xt、yt)とし、元ドメインの中心の座標を(xs、ys)とする。そうすると、パターン識別装置10は、目標ドメイン領域102の中心と元ドメインの中心との距離(lts)を、以下の数式1を用いて算出する。
本実施形態では、ドメイン同士が近いほど、ドメインの画像の特徴量は、似た特徴量となることを仮定している。
本実施形態では、距離算出部403は、図5(A)のように領域の中心座標位置に基づいたドメイン間の距離を算出したが、目標ドメインと元ドメインとの距離を表現する値であれば、その他の値でも構わない。例えば、照明条件により、各領域の特徴が大きく変わる場合には、距離算出部403は、領域間の空間的な距離ではなく、照明からの位置や角度を考慮した距離を用いることにより、より適切なドメイン間距離を算出することができる。例えば図5(B)に示すように、照明304と目標ドメイン領域102の中心301との距離をdt、照明304と元ドメイン領域103の中心との距離をdsとする。そうすると、パターン識別装置10は、目標ドメイン領域102の中心と元ドメイン領域103の中心との距離(lts)を、以下の数式2を用いて算出する。
本実施形態では、距離算出部403は、図5(A)のように領域の中心座標位置に基づいたドメイン間の距離を算出したが、目標ドメインと元ドメインとの距離を表現する値であれば、その他の値でも構わない。例えば、照明条件により、各領域の特徴が大きく変わる場合には、距離算出部403は、領域間の空間的な距離ではなく、照明からの位置や角度を考慮した距離を用いることにより、より適切なドメイン間距離を算出することができる。例えば図5(B)に示すように、照明304と目標ドメイン領域102の中心301との距離をdt、照明304と元ドメイン領域103の中心との距離をdsとする。そうすると、パターン識別装置10は、目標ドメイン領域102の中心と元ドメイン領域103の中心との距離(lts)を、以下の数式2を用いて算出する。
数式2のように照明からの距離に基づいてドメイン間の距離を表す場合には、各領域の特徴量のデータ分布は、照明位置からの距離に依存して変化すると仮定している。
また、ドメイン間の距離は、数式1に示すユークリッド距離であるとしたが、以下の数式3に示すようなマハラノビス距離等、その他の距離尺度であってもよい。
また、ドメイン間の距離は、数式1に示すユークリッド距離であるとしたが、以下の数式3に示すようなマハラノビス距離等、その他の距離尺度であってもよい。
数式3において、zは中心座標のベクトルであり、行列[x、y]の転置行列である。また、μtsは全ての(zt−zs)の平均ベクトルである。また、Σtsは全ての(zt−zs)の共分散行列である。
次に、S504において、重みパラメータ算出部404は、距離算出部403にて算出されたドメイン間の距離に基づいて、目標ドメインに対する、元ドメインの影響を調整する重みパラメータ404dを算出する。
本実施形態では、重みパラメータ算出部404は、以下の数式4を用いて距離算出部403により算出されたドメイン間距離に基づいて、重みパラメータζtsを算出する。ドメイン間距離は、識別対象領域と非識別対象領域との領域間距離の一例である。
本実施形態では、重みパラメータ算出部404は、以下の数式4を用いて距離算出部403により算出されたドメイン間距離に基づいて、重みパラメータζtsを算出する。ドメイン間距離は、識別対象領域と非識別対象領域との領域間距離の一例である。
本実施形態では、重みパラメータ算出部404は、距離算出部403により算出された値ltsを用いて数式4により重みパラメータζtsを算出するが、数式5に示すシグモイド関数を用いて変換する等、その他の方法で変換してもよい。
数式5において、aは、ゲインであり、μltsは、距離算出部403で算出された値ltsの平均である。
次に、S505において、学習部405は、事前に定義されたクラス分類のための識別モデルを用いて、目標ドメイン特徴量402d1、元ドメイン特徴量402d2、及び、重みパラメータ404dに基づいて、識別モデルのパラメータを求める。
本実施形態では、学習部405は、クラス分類のための識別モデルとして、参考文献3に記載されたLeast Squared Support Vector Machine(LS−SVM)を用いる。
本実施形態では、学習部405は、クラス分類のための識別モデルとして、参考文献3に記載されたLeast Squared Support Vector Machine(LS−SVM)を用いる。
・参考文献3:Massimiliano Pontil, ”Regularize
d Multi−Task Learning”, Proceedings of t
he tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 109 − 117, 2004.
参考文献3では、数式6を用いて、転移学習を実現している。
d Multi−Task Learning”, Proceedings of t
he tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pp. 109 − 117, 2004.
参考文献3では、数式6を用いて、転移学習を実現している。
なお、参考文献3に記載の方法では、目標ドメインに対する元ドメインの重みパラメータは、全ての元ドメインで等価となる。しかしながら、本実施形態では、目標ドメインに対する元ドメインの重みパラメータは、目標ドメインと元ドメインとの組み合わせの数だけ存在する。そこで、学習部405は、重みパラメータ算出部404で算出された値ζjsを用いて、以下の数式7によりモデルパラメータの推定を行う。
数式7において、ξjiは、スラック変数であり、wjは、モデルパラメータであり、Mは、全てのドメインの総数であり、mjは、ドメインjに属する要素数である。また、ρ1及びρ2は、それぞれ正則化パラメータであり、xjiは、ドメインjに属するi番目の特徴ベクトルであり、yji={+1、−1}は、特徴ベクトルxjiのラベルであるとする。
本実施形態では、学習部405は、クラス分類のための識別モデルとしてLS−SVMを用いることとした。しかし、学習部405は、転移学習を行うことが可能なモデルであれば、ロジスティック回帰や最小二乗法、非特許文献1に記載されたGaussian Processes等を用いてもよい。
本実施形態では、学習部405は、クラス分類のための識別モデルとしてLS−SVMを用いることとした。しかし、学習部405は、転移学習を行うことが可能なモデルであれば、ロジスティック回帰や最小二乗法、非特許文献1に記載されたGaussian Processes等を用いてもよい。
次に、本実施形態により以上のような処理によって学習した識別器を用いたパターン識別方法について、図8、及び、図9を用いて説明する。図8は、パターン識別装置10において識別器を用いてパターン識別処理を行うための機能構成等の一例を示す図である。図9は、パターン識別装置10のパターン識別処理の一例を示すフローチャートである。
パターン識別装置10は、画像入力部600、領域分割部601、特徴抽出部602、識別処理部603を含む。以下、これらの各構成が行う処理について説明する。
パターン識別装置10は、画像入力部600、領域分割部601、特徴抽出部602、識別処理部603を含む。以下、これらの各構成が行う処理について説明する。
まず、S700において、画像入力部600は、撮影装置20から識別対象となる画像を入力として受け付ける。なお、画像入力部600は、二次記憶装置13等に記録された画像を入力画像として取得することとしてもよいし、ネットワークを介して外部装置等から入力画像を受け付けることとしてもよい。
次に、S701において、領域分割部601は、画像入力部600により受付けられた画像を設定されたブロックに分割し、目標ドメイン601dを取得する。このとき、領域分割部601は、学習時に行った領域分割部401と同じ分割を行う。領域分割部601は、領域分割部401と同様に、二次記憶装置13等に記録されている設定ファイル内の分割情報に基づいて、画像を分割する。
次に、S702において、特徴抽出部602は、領域分割部601により得られた目標ドメイン601dから特徴量602dを抽出し、特徴量ベクトルを生成する。このとき、特徴抽出部602は、学習時の特徴抽出部402と同じ特徴量を抽出し、同じ特徴ベクトルを生成する。
次に、S703において、識別処理部603は、特徴抽出部602により生成された特徴ベクトルを用いて識別処理を実行し、欠陥の検出を行う。
本実施形態では、識別処理部603は、識別処理において、学習部405で求められたパラメータを含む識別モデルに基づいて、以下の数式8を用いて識別結果603dを算出する。
本実施形態では、識別処理部603は、識別処理において、学習部405で求められたパラメータを含む識別モデルに基づいて、以下の数式8を用いて識別結果603dを算出する。
ただし、数式8のwjは、学習部405により推定された識別モデルのパラメータを表し、xjiは、特徴抽出部602により生成された特徴ベクトルを表す。
最後に、S704において、識別処理部603は、生成した識別結果603dを外部に出力し、パターン識別処理を終了する。例えば、識別処理部603は、S703の識別処理の結果を、パターン識別装置10の不図示の表示装置に表示する等の処理を行う。
以上、本実施形態の処理により、パターン識別装置10は、学習データの数が十分でなく、ドメイン間に意味的な関係がない場合においても、目標ドメインの識別器による検出の精度を向上させることができる。
<実施形態2>
本実施形態では、特定の検査対象物体が撮影された画像に基づいて、パターン識別装置が物体の表面上に検出すべき欠陥が存在するか否かを識別する処理について説明する。
実施形態1では、入力されたドメイン間の距離から、各元ドメインの重みパラメータを決定した。それに対して、本実施形態では、パターン識別装置10は、入力されたドメイン間の距離値に加えて、目標ドメインのデータ、元ドメインのデータを考慮して、各元ドメインの重みパラメータを算出する。各ドメインのデータのみから推定されたデータ分布は、データの数が少ないほど、信頼度が低くなる。そこで、本実施形態では、パターン識別装置10は、各ドメインのデータのみではなく、ドメイン間距離、目標ドメインのデータ、及び元ドメインのデータを用いて、各ドメインのデータ分布を求める。パターン識別装置10は、求めたドメインのデータ分布を指標として用いることにより、重みパラメータの信頼性をより向上させる。
本実施形態では、特定の検査対象物体が撮影された画像に基づいて、パターン識別装置が物体の表面上に検出すべき欠陥が存在するか否かを識別する処理について説明する。
実施形態1では、入力されたドメイン間の距離から、各元ドメインの重みパラメータを決定した。それに対して、本実施形態では、パターン識別装置10は、入力されたドメイン間の距離値に加えて、目標ドメインのデータ、元ドメインのデータを考慮して、各元ドメインの重みパラメータを算出する。各ドメインのデータのみから推定されたデータ分布は、データの数が少ないほど、信頼度が低くなる。そこで、本実施形態では、パターン識別装置10は、各ドメインのデータのみではなく、ドメイン間距離、目標ドメインのデータ、及び元ドメインのデータを用いて、各ドメインのデータ分布を求める。パターン識別装置10は、求めたドメインのデータ分布を指標として用いることにより、重みパラメータの信頼性をより向上させる。
尚、本実施形態においては、実施形態1と異なる部分について、説明する。本実施形態における、検査対象を撮影した画像、目標ドメイン、及び元ドメインは、図3(A)に示した場合と同様である。
図10は、パターン識別装置10における識別器を生成するための機能構成等の一例を示す図である。また、図11は、パターン識別装置10の処理の一例を示すフローチャートである。以下、図10、及び、図11を用いて、本実施形態のパターン識別装置10の処理について説明する。
図10は、パターン識別装置10における識別器を生成するための機能構成等の一例を示す図である。また、図11は、パターン識別装置10の処理の一例を示すフローチャートである。以下、図10、及び、図11を用いて、本実施形態のパターン識別装置10の処理について説明する。
パターン識別装置10は、画像入力部800、領域分割部801、特徴抽出部802、距離算出部803、重みパラメータ推定部804、及び学習部805を含む。画像入力部800、領域分割部801、特徴抽出部802、距離算出部803、学習部805は、それぞれ、画像入力部400、領域分割部401、特徴抽出部402、距離算出部403、学習部405と同様である。重みパラメータ推定部804は、重みパラメータ算出部404と異なる。また、図11のS900〜S903は、それぞれ図7のS500〜S503と同様である。
図11のS904においては、重みパラメータ推定部804は、距離算出部803により入力されたドメイン間距離と、特徴抽出部802により生成された目標ドメイン特徴量802d1及び元ドメイン特徴量802d2と、に基づいて、以下の処理を行う。即ち、重みパラメータ推定部804は、目標ドメインと元ドメインとの間の影響を調整する重みパラメータを推定する。また、重みパラメータ推定部804は、後述する数式10等を用いてドメイン間距離を更新している場合、更新したドメイン間距離と目標ドメイン特徴量802d1及び元ドメイン特徴量802d2とに基づいて、重みパラメータの推定を行う。この処理を後述する終了条件を満たすまで続ける。
図11のS904においては、重みパラメータ推定部804は、距離算出部803により入力されたドメイン間距離と、特徴抽出部802により生成された目標ドメイン特徴量802d1及び元ドメイン特徴量802d2と、に基づいて、以下の処理を行う。即ち、重みパラメータ推定部804は、目標ドメインと元ドメインとの間の影響を調整する重みパラメータを推定する。また、重みパラメータ推定部804は、後述する数式10等を用いてドメイン間距離を更新している場合、更新したドメイン間距離と目標ドメイン特徴量802d1及び元ドメイン特徴量802d2とに基づいて、重みパラメータの推定を行う。この処理を後述する終了条件を満たすまで続ける。
本実施形態では、重みパラメータ推定部804は、距離算出部803により算出されたドメイン間距離を用いて、元ドメインから目標ドメインへデータを転移し、転移後の目標ドメインの特徴量のデータ分布を推定する。
重みパラメータ推定部804は、特徴量のデータ分布の推定処理を、図3(A)の目標ドメイン104、元ドメイン105等の全てのドメインに対して行い、各ドメインについての特徴量のデータ分布を得る。推定された特徴量のデータ分布は、各ドメインのデータのみから推定された特徴量のデータ分布に比べ、真のデータ分布に近くなる。そこで、重みパラメータ推定部804は、各ドメインについて推定された特徴量のデータ分布に基づいて、ドメイン間距離を更新する。
重みパラメータ推定部804は、特徴量のデータ分布の推定処理を、図3(A)の目標ドメイン104、元ドメイン105等の全てのドメインに対して行い、各ドメインについての特徴量のデータ分布を得る。推定された特徴量のデータ分布は、各ドメインのデータのみから推定された特徴量のデータ分布に比べ、真のデータ分布に近くなる。そこで、重みパラメータ推定部804は、各ドメインについて推定された特徴量のデータ分布に基づいて、ドメイン間距離を更新する。
更新されたドメイン間距離は、距離算出部803により算出されたドメイン間距離に比べて、各ドメインのデータの特徴量のデータ分布を考慮したものとなっている。そのため、重みパラメータ推定部804は、更新したドメイン間距離に基づいて、より適切な重みパラメータを算出することができるようになる。そして、重みパラメータ推定部804は、算出又は更新されたドメイン間距離と、各ドメインの推定した特徴量のデータ分布と、に基づいて、ドメイン間距離の更新と、各ドメインの特徴量のデータ分布の推定とを繰り返し行う。これにより、重みパラメータ推定部804は、ドメイン間距離に基づいて算出される重みパラメータの信頼度を向上させることができる。本実施形態では、重みパラメータ推定部804は、繰り返しドメイン間距離の算出処理とデータ分布の推定処理とを行うことにより、信頼度の高い重みパラメータの算出を可能とし、学習する識別器の識別性能をより向上させる。
より具体的には、重みパラメータ推定部804は、まず、初期設定として実施形態1と同様に、数式4により、距離算出部803で得られたドメイン間距離(lts)から重みパラメータ(ζts)を算出する。
次に、S905において、重みパラメータ推定部804は、数式4を用いて算出した重みパラメータを用いて、元ドメインから目標ドメインへデータを転移した場合の特徴量のデータ分布を推定する。重みパラメータ推定部804が重みパラメータを用いてデータを転移したデータ分布を推定する方法として、本実施形態では、以下の数式9に示すカーネル密度推定を用いる。
次に、S905において、重みパラメータ推定部804は、数式4を用いて算出した重みパラメータを用いて、元ドメインから目標ドメインへデータを転移した場合の特徴量のデータ分布を推定する。重みパラメータ推定部804が重みパラメータを用いてデータを転移したデータ分布を推定する方法として、本実施形態では、以下の数式9に示すカーネル密度推定を用いる。
ここで、Ntは、データの総数であり、αは、カーネル幅である。このとき、カーネル密度推定により、転移した後の目標ドメインの確率密度関数を求めるためには、転移した後の目標ドメインのデータ分布から発生したデータ集合が必要となる。そこで、本実施形態では、重みパラメータ推定部804は、このデータ集合を、重みパラメータの比に近くなるように、各ドメインからデータをサンプリングすることによって得る。
次に、重みパラメータ推定部804は、数式9で得られた確率密度関数を用いて、以下の数式10に示すように、ドメイン間距離(lts)を更新する。
次に、重みパラメータ推定部804は、数式9で得られた確率密度関数を用いて、以下の数式10に示すように、ドメイン間距離(lts)を更新する。
ここで、KL(p||q)は、分布間距離であるKullback−Leibler divergenceを表す。
次に、S906において、重みパラメータ推定部804は、数式10を用いて得られたドメイン間距離(lts)から、数式4を用いて重要度を示す重みパラメータ(ζts)を更新する。この処理は、図7のS504と同様の処理である。
本実施形態では、重みパラメータ推定部804は、カーネル密度推定を用いて、Kullback−Leibler divergenceにより、ドメイン間距離ltsを算出した。しかし、重みパラメータ推定部804は、その他のデータ分布間の差異を算出可能な指標であれば、ドメイン間距離でなく、以下の数式11で求まる確率密度比(rts)等の指標を用いてもよい。
また、重みパラメータ推定部804は、確率密度を直接求めることなく、確率密度比を参考文献4に示されている手法を用いて求めてもよい。
参考文献4:Sugiyama, M., Suzuki, T., Nakajima, S., Kashima, Hl, von Bunau, P. and Kawanabe, M., ”Direct importance estimatio
n for covariate shift adaptation”, Annal
s of the Institute of Statistical Mathematics, 60, 699 − 746, 2008.
参考文献4:Sugiyama, M., Suzuki, T., Nakajima, S., Kashima, Hl, von Bunau, P. and Kawanabe, M., ”Direct importance estimatio
n for covariate shift adaptation”, Annal
s of the Institute of Statistical Mathematics, 60, 699 − 746, 2008.
また、重みパラメータ推定部804は、転移した後の各ドメインの確率密度を、各ドメインそれぞれの確率密度の線形結合で得られると仮定し、参考文献4の方法を用いることで、サンプリングすることなく、確率密度比を推定してもよい。
次に、S907において、重みパラメータ推定部804は、データ分布推定の終了条件が満たされているか確認を行い、満たされている場合は、データ分布推定処理を終了してS908に進み、満たされていない場合には、S905の処理に戻る。
本実施形態では、重みパラメータ推定部804は、データ分布推定の終了条件を満たすか否かを、S905の処理で更新したドメイン間距離と、その前の繰り返しで更新されたドメイン間距離と、に基づき、以下の数式12を用いて判断する。
本実施形態では、重みパラメータ推定部804は、データ分布推定の終了条件を満たすか否かを、S905の処理で更新したドメイン間距離と、その前の繰り返しで更新されたドメイン間距離と、に基づき、以下の数式12を用いて判断する。
数式12において、ηは、設定された終了条件が満たすべき正の実数である。lts (i)は、i回目の繰り返しの際に算出されたドメイン間距離である。
本実施形態では、重みパラメータ推定部804は、データ分布推定の終了条件として、数式12を用いたが、S905で推定されたデータ分布とその前の繰り返しで算出されたデータ分布とに基づく以下の数式13を用いてもよく、その他の終了条件を用いてもよい。
本実施形態では、重みパラメータ推定部804は、データ分布推定の終了条件として、数式12を用いたが、S905で推定されたデータ分布とその前の繰り返しで算出されたデータ分布とに基づく以下の数式13を用いてもよく、その他の終了条件を用いてもよい。
数式13において、pt (i)は、i回目の繰り返しの際に算出されたデータ分布を表す。
最後にS908において、学習部805は、実施形態1と同様に、事前に定義されたクラス分類のための識別モデルを用いて、以下の処理を行う。即ち、学習部805は、目標ドメイン特徴量802d1、元ドメイン特徴量802d2、重みパラメータ804dに基づき、識別モデルのパラメータを求める処理を行う。この処理は図7のS505と同様である。
以上、本実施形態の処理により、パターン識別装置10は、入力されたドメイン間の距離だけでなく、目標ドメインのデータ、元ドメインのデータを考慮して、重みパラメータを算出する。それにより、パターン識別装置10は、実施形態1の場合と比べて、重みパラメータの信頼性をより向上させることができる。
<実施形態3>
本実施形態では、特定の検査対象物体を撮影し、撮影した画像に基づいて物体の表面上に検出すべき欠陥が存在するか否かを識別する処理について説明する。
本実施形態においても、学習データが十分に得られない場合を想定し、パターン識別装置10は、実施形態1と同様に、入力画像を分割し、分割した領域を一つのデータとして扱い、学習データを増加させる。より具体的には、パターン識別装置10は、図3(A)に示すように検査対象画像101を、設定されたブロックに分割する。そして、パターン識別装置10は、目標ドメイン領域102の画像の集合を目標ドメイン104とし、例えばその他の元ドメイン領域103、109の画像の集合を、それぞれ元ドメイン105、110とする。
本実施形態では、特定の検査対象物体を撮影し、撮影した画像に基づいて物体の表面上に検出すべき欠陥が存在するか否かを識別する処理について説明する。
本実施形態においても、学習データが十分に得られない場合を想定し、パターン識別装置10は、実施形態1と同様に、入力画像を分割し、分割した領域を一つのデータとして扱い、学習データを増加させる。より具体的には、パターン識別装置10は、図3(A)に示すように検査対象画像101を、設定されたブロックに分割する。そして、パターン識別装置10は、目標ドメイン領域102の画像の集合を目標ドメイン104とし、例えばその他の元ドメイン領域103、109の画像の集合を、それぞれ元ドメイン105、110とする。
実施形態1では、パターン識別装置10は、元ドメインのデータと目標ドメインのデータとの差異を考慮した識別器を用いて、転移学習を実現している。一方で、本実施形態では、元ドメインのデータを目標ドメインに適合するように変換を行い、ドメイン間のデータの差異を考慮した識別器ではない識別器を用いて機械学習する方法を用いる。
元ドメインのデータを目標ドメインに適合するように変換するための変換写像は、特徴空間において、目標ドメインのデータ分布と元ドメインのデータ分布との誤差が可能な限り小さくなるように求められる。この場合、目標ドメインのデータ分布と元ドメインのデータ分布とが適切に推定可能であれば、データ分布間の差異は、ドメイン間の差異に相当する。そのため、変換写像を用いることにより、目標ドメインと元ドメインとの差異を減少させることが可能となる。その結果、元ドメインから目標ドメインへデータを変換し、変換したデータを利用することにより、目標ドメインのデータを増加させ、目標ドメインの識別器を生成することが可能となる。
元ドメインのデータを目標ドメインに適合するように変換するための変換写像は、特徴空間において、目標ドメインのデータ分布と元ドメインのデータ分布との誤差が可能な限り小さくなるように求められる。この場合、目標ドメインのデータ分布と元ドメインのデータ分布とが適切に推定可能であれば、データ分布間の差異は、ドメイン間の差異に相当する。そのため、変換写像を用いることにより、目標ドメインと元ドメインとの差異を減少させることが可能となる。その結果、元ドメインから目標ドメインへデータを変換し、変換したデータを利用することにより、目標ドメインのデータを増加させ、目標ドメインの識別器を生成することが可能となる。
しかしながら、データ数が少ない場合には、各ドメインの真のデータ分布を求めることは難しくなる。そのため、目標ドメインと元ドメインとの真のデータ分布が近い場合においても、推定されたデータ分布間には、差異が発生する可能性がある。この差異を最小とするような変換写像を用いた場合、必要以上に変換され、有用な情報が失われる可能性がある。
そこで、本実施形態では、パターン識別装置10は、実施形態1と同様にドメイン間距離を算出する。そして、パターン識別装置10は、目標ドメインと元ドメインとの距離が小さいほど、変換が小さくなるようにする。例えば、パターン識別装置10は、元ドメインのうち目標ドメインとの距離との距離が相対的に小さいものについて、元ドメインのうち目標ドメインとの距離との距離が相対的に大きいものよりも変換が小さくなるようにする。また、パターン識別装置10は、目標ドメインとの距離が設定された閾値よりも小さい元ドメインについては、目標ドメインとの距離が設定された閾値よりも大きい元ドメインよりも変換が小さくなるようにしてもよい。これにより、パターン識別装置10は、目標ドメインと元ドメインとの距離が近いほど、元ドメインの情報を多く保持した状態で、転移を行う。
そこで、本実施形態では、パターン識別装置10は、実施形態1と同様にドメイン間距離を算出する。そして、パターン識別装置10は、目標ドメインと元ドメインとの距離が小さいほど、変換が小さくなるようにする。例えば、パターン識別装置10は、元ドメインのうち目標ドメインとの距離との距離が相対的に小さいものについて、元ドメインのうち目標ドメインとの距離との距離が相対的に大きいものよりも変換が小さくなるようにする。また、パターン識別装置10は、目標ドメインとの距離が設定された閾値よりも小さい元ドメインについては、目標ドメインとの距離が設定された閾値よりも大きい元ドメインよりも変換が小さくなるようにしてもよい。これにより、パターン識別装置10は、目標ドメインと元ドメインとの距離が近いほど、元ドメインの情報を多く保持した状態で、転移を行う。
図12は、パターン識別装置10における識別器を生成するための機能構成等の一例を示す図である。また、図13は、パターン識別装置10の処理の一例を示すフローチャートである。以下、図12、及び、図13を用いて、本実施形態の情報処理方法の例について説明する。尚、本実施形態にでは、実施形態1と異なる部分について説明する。
パターン識別装置10は、画像入力部1000、領域分割部1001、特徴抽出部1002、距離算出部1003、重みパラメータ算出部1004、特徴変換部1005、及び学習部1006を含む。画像入力部1000、領域分割部1001、特徴抽出部1002、距離算出部1003、重みパラメータ算出部1004は、それぞれ、画像入力部400、領域分割部401、特徴抽出部402、距離算出部403、重みパラメータ算出部404と同様である。また、学習部1006は、学習部405と同様である。本実施形態のパターン識別装置10は、特徴変換部1005を含む点が、実施形態1の場合と異なる。また、図13のS1100〜S1104及びS1106は、それぞれ図7のS500〜S505と同様である。
パターン識別装置10は、画像入力部1000、領域分割部1001、特徴抽出部1002、距離算出部1003、重みパラメータ算出部1004、特徴変換部1005、及び学習部1006を含む。画像入力部1000、領域分割部1001、特徴抽出部1002、距離算出部1003、重みパラメータ算出部1004は、それぞれ、画像入力部400、領域分割部401、特徴抽出部402、距離算出部403、重みパラメータ算出部404と同様である。また、学習部1006は、学習部405と同様である。本実施形態のパターン識別装置10は、特徴変換部1005を含む点が、実施形態1の場合と異なる。また、図13のS1100〜S1104及びS1106は、それぞれ図7のS500〜S505と同様である。
図13のS1105においては、特徴変換部1005は、元ドメイン特徴量1002d2を、特徴量のデータ分布を目標ドメイン特徴量1002d1のデータ分布に現状よりも近づけるように変換する。特徴変換部1005は、重みパラメータ1004dに基づいて、元ドメイン特徴量のデータ分布を目標ドメイン特徴量のデータ分布へ、どの程度近づけるかを決定する。本実施形態では、特徴変換部1005は、各ドメインの特徴量のデータ分布を正規分布で近似し、各ドメインの特徴量の正規分布を近づけるような変換を行う。具体的には、目標ドメイン104の特徴量のデータ分布の平均をμtとし、分散をσtとする。また、元ドメインの特徴量のデータ分布の平均をμsとし、分散をσsとする。このとき、特徴変換部1005は、元ドメインのデータxsの変換を、以下の数式14により行う。
特徴変換部1005は、目標ドメインと距離が近い元ドメインの特徴量ほど、元の特徴量に近い値に変換する。一方、特徴変換部1005は、目標ドメインとの距離が大きいほど、元ドメインの特徴量を、目標ドメインのデータ分布に適合するように変換するため、目標ドメインとの距離が大きい元ドメインの特徴量は大きく変換される。本実施形態では、特徴変換部1005は、各ドメインの特徴量のデータ分布を正規分布であると仮定し、変換を行ったが、他の分布であると仮定し変換を行ってもよい。
以上、本実施形態の処理により、パターン識別装置10は、元ドメインの特徴量を目標ドメインの特徴量のデータ分布と類似するように変換することにより、元ドメインのデータと目標ドメインとの差異を考慮しない識別器の生成を行うことができる。
<実施形態4>
実施形態1〜3では、検査対象物体を撮影した画像から欠陥を検出する例を説明した。しかしながら、パターン識別装置10は、その他、監視カメラ映像からの異常物体や異常行動の検出も可能である。そこで、本実施形態では、実施形態1〜3の手法を、監視カメラの映像に基づく監視エリア内の異常物体や異常行動の検出処理に適用する例を示す。以下、実施形態1〜3と異なる点についてのみ説明する。
監視カメラ映像も、画像全体で、特徴が一定であるとは限らない。例えば、人通りの多い領域と少ない領域とでは、人の動き方は異なる。そのため、画像内を領域に分割した場合には、全ての領域を、そのまま一つのドメインとして扱うことは難しい。更に、監視カメラ映像は、時刻によっても、人の量や動き方が異なる。そのため、同じ領域でも、時間に関係なく一つのドメインとして扱うことは難しい。
実施形態1〜3では、検査対象物体を撮影した画像から欠陥を検出する例を説明した。しかしながら、パターン識別装置10は、その他、監視カメラ映像からの異常物体や異常行動の検出も可能である。そこで、本実施形態では、実施形態1〜3の手法を、監視カメラの映像に基づく監視エリア内の異常物体や異常行動の検出処理に適用する例を示す。以下、実施形態1〜3と異なる点についてのみ説明する。
監視カメラ映像も、画像全体で、特徴が一定であるとは限らない。例えば、人通りの多い領域と少ない領域とでは、人の動き方は異なる。そのため、画像内を領域に分割した場合には、全ての領域を、そのまま一つのドメインとして扱うことは難しい。更に、監視カメラ映像は、時刻によっても、人の量や動き方が異なる。そのため、同じ領域でも、時間に関係なく一つのドメインとして扱うことは難しい。
そこで、パターン識別装置10は、学習データについて、画像内での領域の分割に加えて、時間軸上で設定された期間ごとの時分割も行うこととする。より具体的には、図14に示すように、異常検出画像1201が時間軸方向に連続して存在するとする。このとき、パターン識別装置10は、時間方向に設定された割合で区間を分割し、区間1202と区間1203とに分ける。パターン識別装置10は、区間1202に含まれる画像に対して、設定されたブロックに分割し、領域1204や領域1205を得る。パターン識別装置10は、区間1202の期間内のすべての画像における領域1205の画像の集合を一つのドメイン1207とする。
各ドメインに含まれる画像が空間情報に加えて、時間情報を持つ場合には、パターン識別装置10は、目標ドメインと元ドメインとの距離として、時間方向の情報を考慮した距離を求めることが可能である。より具体的に、ドメイン1207を目標ドメインとし、ドメイン1208を元ドメインとする。このとき、区間1202の中間1209の時刻をtt、区間1203の中間1210の時刻をtsとし、区間1202の領域1205の中心1212の座標を(xt,yt)、区間1203の領域1206の中心1213の座標を(xs,ys)とする。パターン識別装置10は、目標ドメインと元ドメインとの距離を、以下の数式15により算出できる。
各ドメインに含まれる画像が空間情報に加えて、時間情報を持つ場合には、パターン識別装置10は、目標ドメインと元ドメインとの距離として、時間方向の情報を考慮した距離を求めることが可能である。より具体的に、ドメイン1207を目標ドメインとし、ドメイン1208を元ドメインとする。このとき、区間1202の中間1209の時刻をtt、区間1203の中間1210の時刻をtsとし、区間1202の領域1205の中心1212の座標を(xt,yt)、区間1203の領域1206の中心1213の座標を(xs,ys)とする。パターン識別装置10は、目標ドメインと元ドメインとの距離を、以下の数式15により算出できる。
また、監視エリアに対して、複数の監視カメラが設置されている場合、パターン識別装置10は、カメラの位置関係等の複数の監視カメラの情報を考慮した値を、ドメイン間距離として求めることが可能である。
以上、本実施形態の処理により、パターン識別装置10は、ドメイン間の距離だけでなく、時間の経過による変化も考慮に入れた重みパラメータを決定できる。そのため、パターン識別装置10は、時間の経過による変化に対応できるように、識別器を生成することができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10 パターン識別装置、11 CPU、20 撮影装置
Claims (12)
- 複数の学習画像データのそれぞれを、識別対象領域と非識別対象領域との領域に分割する分割手段と、
前記複数の学習画像データの前記識別対象領域から、第1の特徴量を抽出し、前記複数の学習画像データの前記非識別対象領域から、第2の特徴量を抽出する抽出手段と、
前記識別対象領域と前記非識別対象領域との領域間距離を取得する取得手段と、
前記取得手段により取得された前記領域間距離に基づき、前記識別対象領域に対する前記非識別対象領域の重要度を示す重みパラメータを決定する決定手段と、
前記決定手段により決定された前記重みパラメータと、前記抽出手段により抽出された前記第1の特徴量及び前記第2の特徴量と、に基づき、前記識別対象領域の識別器を生成する生成手段と、
を有する学習装置。 - 前記取得手段は、前記識別対象領域と前記非識別対象領域との位置関係に基づき、前記領域間距離を取得する請求項1に記載の学習装置。
- 前記決定手段は、前記取得手段により取得された前記領域間距離が大きくなるほど、前記識別対象領域に対する前記非識別対象領域の重要度を小さくするように前記重みパラメータを決定する請求項1又は2記載の学習装置。
- 前記決定手段は、前記取得手段により取得された前記領域間距離と、前記抽出手段により抽出された前記第1の特徴量及び前記第2の特徴量と、に基づき、前記識別対象領域に対する前記非識別対象領域の重要度を示す重みパラメータを決定する請求項1乃至3何れか1項記載の学習装置。
- 前記取得手段は、前記第1の特徴量と前記第2の特徴量との分布間距離、前記第1の特徴量と前記第2の特徴量との確率密度比、のうち何れか1つを前記領域間距離として取得する請求項4に記載の学習装置。
- 前記決定手段により決定された前記重みパラメータに基づき、前記第2の特徴量を変換する変換手段をさらに有し、
前記生成手段は、前記第1の特徴量と前記変換した第2の特徴量とに基づき、前記識別対象領域の識別器を生成する請求項1乃至5何れか1項記載の学習装置。 - 前記変換手段は、前記決定手段で決定された前記重みパラメータに基づき、前記第2の特徴量のデータ分布が前記第1の特徴量のデータ分布に近づくように、前記第2の特徴量を変換することを特徴とする請求項6に記載の学習装置。
- 前記変換手段は、前記第1の特徴量のデータ分布と前記第2の特徴量のデータ分布とを正規分布で近似し、前記第2の特徴量のデータ分布の平均、及び、分散を、前記第1の特徴量のデータ分布の平均、及び、分散に近づくように、前記第2の特徴量を変換する請求項6に記載の学習装置。
- 前記分割手段は、前記複数の学習画像データのうち、所定の期間が経過した後の学習画像データの識別対象領域を非識別対象領域として分割し、
前記取得手段は、前記所定の期間が経過した後の学習画像データの非識別対象領域と、前記所定の期間内の学習画像データにおける識別対象領域との距離を前記領域間距離として取得する請求項1乃至8何れか1項記載の学習装置。 - 前記分割手段は、前記複数の学習データのそれぞれを、1つの識別対象領域と複数の非識別対象領域とに分割する請求項1乃至9何れか1項記載の学習装置。
- 複数の学習画像データのそれぞれを、識別対象領域と非識別対象領域との領域に分割する分割ステップと、
前記複数の学習画像データの前記識別対象領域から、第1の特徴量を抽出し、前記複数の学習画像データの前記非識別対象領域から、第2の特徴量を抽出する抽出ステップと、
前記識別対象領域と前記非識別対象領域との領域間距離を取得する取得ステップと、
前記取得ステップで取得された前記領域間距離に基づき、前記識別対象領域に対する前記非識別対象領域の重要度を示す重みパラメータを決定する決定ステップと、
前記決定ステップで決定された前記重みパラメータと、前記抽出ステップで抽出された前記第1の特徴量及び前記第2の特徴量と、に基づき、前記識別対象領域の識別器を生成する生成ステップと、
を含む学習装置の制御方法。 - 複数の学習画像データのそれぞれを、識別対象領域と非識別対象領域との領域に分割する分割ステップと、
前記複数の学習画像データの前記識別対象領域から、第1の特徴量を抽出し、前記複数の学習画像データの前記非識別対象領域から、第2の特徴量を抽出する抽出ステップと、
前記識別対象領域と前記非識別対象領域との領域間距離を取得する取得ステップと、
前記取得ステップで取得された前記領域間距離に基づき、前記識別対象領域に対する前記非識別対象領域の重要度を示す重みパラメータを決定する決定ステップと、
前記決定ステップで決定された前記重みパラメータと、前記抽出ステップで抽出された前記第1の特徴量及び前記第2の特徴量と、に基づき、前記識別対象領域の識別器を生成する生成ステップと、
をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015112536A JP2016224821A (ja) | 2015-06-02 | 2015-06-02 | 学習装置、学習装置の制御方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015112536A JP2016224821A (ja) | 2015-06-02 | 2015-06-02 | 学習装置、学習装置の制御方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016224821A true JP2016224821A (ja) | 2016-12-28 |
Family
ID=57748289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015112536A Pending JP2016224821A (ja) | 2015-06-02 | 2015-06-02 | 学習装置、学習装置の制御方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016224821A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018155507A (ja) * | 2017-03-15 | 2018-10-04 | 日新電機株式会社 | 部分放電検出装置及び部分放電検出方法 |
KR101936029B1 (ko) * | 2018-07-18 | 2019-01-11 | 한국과학기술정보연구원 | 딥러닝 기반의 가치 평가 방법 및 그 장치 |
JPWO2021245819A1 (ja) * | 2020-06-03 | 2021-12-09 | ||
WO2022249415A1 (ja) * | 2021-05-27 | 2022-12-01 | 日本電信電話株式会社 | 情報提供装置、情報提供方法及び情報提供プログラム |
-
2015
- 2015-06-02 JP JP2015112536A patent/JP2016224821A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018155507A (ja) * | 2017-03-15 | 2018-10-04 | 日新電機株式会社 | 部分放電検出装置及び部分放電検出方法 |
KR101936029B1 (ko) * | 2018-07-18 | 2019-01-11 | 한국과학기술정보연구원 | 딥러닝 기반의 가치 평가 방법 및 그 장치 |
WO2020022639A1 (ko) * | 2018-07-18 | 2020-01-30 | 한국과학기술정보연구원 | 딥러닝 기반의 가치 평가 방법 및 그 장치 |
JPWO2021245819A1 (ja) * | 2020-06-03 | 2021-12-09 | ||
WO2021245819A1 (ja) * | 2020-06-03 | 2021-12-09 | 日本電気株式会社 | 学習装置、学習済みモデル生成方法、及び、記録媒体 |
JP7396479B2 (ja) | 2020-06-03 | 2023-12-12 | 日本電気株式会社 | 学習装置、学習済みモデル生成方法、及び、プログラム |
WO2022249415A1 (ja) * | 2021-05-27 | 2022-12-01 | 日本電信電話株式会社 | 情報提供装置、情報提供方法及び情報提供プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10896351B2 (en) | Active machine learning for training an event classification | |
JP6884517B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110782483B (zh) | 基于分布式相机网络的多视图多目标跟踪方法及系统 | |
US20180157892A1 (en) | Eye detection method and apparatus | |
CN105404884B (zh) | 图像分析方法 | |
US11113576B2 (en) | Information processing apparatus for training neural network for recognition task and method thereof | |
US20220129712A1 (en) | Deep neural network hardener | |
US20220129758A1 (en) | Clustering autoencoder | |
JP2008262331A (ja) | オブジェクト追跡装置およびオブジェクト追跡方法 | |
JP2017102906A (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20200410709A1 (en) | Location determination apparatus, location determination method and computer program | |
JP2016224821A (ja) | 学習装置、学習装置の制御方法及びプログラム | |
JP7150918B2 (ja) | 試料の検査のためのアルゴリズムモジュールの自動選択 | |
WO2019188054A1 (en) | Method, system and computer readable medium for crowd level estimation | |
JP2020119154A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111937003A (zh) | 用于人群估计技术的集成和自动切换的方法、系统和计算机可读介质 | |
US20230134508A1 (en) | Electronic device and method with machine learning training | |
WO2019188458A1 (en) | Method, system, and computer readable medium for performance modeling of crowd estimation techniques | |
JP5776694B2 (ja) | 物体識別向けの学習装置、学習システム、学習方法、及び学習プログラム | |
Chen et al. | Learning to count with back-propagated information | |
Bandi et al. | Assessing car damage with convolutional neural networks | |
JPWO2019215904A1 (ja) | 予測モデル作成装置、予測モデル作成方法、および予測モデル作成プログラム | |
Yang et al. | Improved visual background extractor with adaptive range change | |
JP4238537B2 (ja) | 画像処理装置 | |
JP2019211914A (ja) | 物体らしさ推定装置、方法、およびプログラム |