JP2007334755A - 学習データ生成装置及びオブジェクト判別装置、並びにプログラム - Google Patents
学習データ生成装置及びオブジェクト判別装置、並びにプログラム Download PDFInfo
- Publication number
- JP2007334755A JP2007334755A JP2006167716A JP2006167716A JP2007334755A JP 2007334755 A JP2007334755 A JP 2007334755A JP 2006167716 A JP2006167716 A JP 2006167716A JP 2006167716 A JP2006167716 A JP 2006167716A JP 2007334755 A JP2007334755 A JP 2007334755A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- data
- feature amount
- learning data
- feature quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】マハラノビス平方距離による判別分析において、オブジェクトの内部構造の情報を反映させて、判別の精度を上げる。
【解決手段】本発明による学習データ生成装置は、マハラノビス平方距離によるオブジェクト判別分析のための学習データを生成する学習データ生成装置であって、抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成し、複数の小領域間の隣接関係を表すグラフを生成し、複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量として、その全ての特徴量を含む特徴量データを生成する。そして、生成された特徴量データをオブジェクト領域のオブジェクト種類ごとにまとめ、この特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加して学習用データとする。
【選択図】図1
【解決手段】本発明による学習データ生成装置は、マハラノビス平方距離によるオブジェクト判別分析のための学習データを生成する学習データ生成装置であって、抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成し、複数の小領域間の隣接関係を表すグラフを生成し、複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量として、その全ての特徴量を含む特徴量データを生成する。そして、生成された特徴量データをオブジェクト領域のオブジェクト種類ごとにまとめ、この特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加して学習用データとする。
【選択図】図1
Description
本発明は、学習データ生成装置及びオブジェクト判別装置に関し、特に、オブジェクトが異なる複数の形状等を含む内部構造を持つ場合に適合する学習データ生成装置及びオブジェクト判別装置に関するものである。
例えば食品を扱う工場や販売店では、衛生管理のために常時害虫の調査を行っている。この調査のため、従来は接着剤を塗った紙、いわゆる捕虫紙を一定の時間の間、所定の場所に配置し、捕虫紙に捕らえられた虫を人手で分類していた。このような虫の分類作業は人が虫眼鏡を用いて1つ1つの虫を確認するので時間がかかるとともに、経験や能力の個人差が大きいことから結果にばらつきがあることが問題となっていた。
そこで、コンピュータを用いて分類及び識別作業の自動化することが望まれている。
そこで、コンピュータを用いて分類及び識別作業の自動化することが望まれている。
そして、オブジェクトを分類するには幾何特徴量を用いる手法が良く使われている。幾何特徴量というのはオブジェクトの面積・周囲長・円形度・縦横比など図形の形状に関する測度である。この手法では、まず、複数のオブジェクトが撮影された濃淡画像を2値化して2値画像を生成し、次に、ラベリングの処理により連結成分を取り出し、さらに、各連結成分の幾何特徴量(オブジェクトの面積、高さ、幅等)を計算し、最後に幾何特徴量に閾値処理を行うことによりオブジェクトの分類をする。例えば、非特許文献1では、バナナ・りんご・みかんなどの果物を対象として円形度の違いから長い形状のバナナを取り出した例が記述されている。
C言語で学ぶ実践画像処理(平成4年、八木伸行・他7名著、オーム社)
http://kuva.mis.hiroshima-u.ac.jp/~asano/Kougi/99s/JouhouToukei2/6-16.html
しかしながら、幾何特徴量を用いる手法はオブジェクトの一面しか捉えていない。すなわち、幾何特徴量はオブジェクトの輪郭の情報だけに基づいているが、オブジェクトが内部構造を持つ場合がある。例えば、虫を考えると、虫は頭・胸・腹・足から構成されており、さらに、頭は触角・眼・口などの下部構造を持っている。
このような場合、オブジェクト全体を一つの領域で扱うのは適切でなく、幾何特徴量を用いる方法ではオブジェクトを確実に認識することは困難である。従って、オブジェクトを構成する小領域に分けて、それぞれの小領域について処理する必要があるが、これには幾何特徴量を用いる手法は向いていない。
本発明は上述のような状況に鑑みてなされたものであり、輪郭だけでは正確に判別できないようなオブジェクトをより正確に判別できるようにするための特徴量を生成する学習データ生成装置、及びその特徴を用いてオブジェクトの判別を行うオブジェクト判別装置を提供するものである。
上記課題を解決するために、本発明では、学習用のオブジェクト特徴量を生成するときには、まず、画像入力装置から入力された画像はそのまま濃淡画像としてメモリに格納され、それと並行して入力画像は2値化されて2値画像もメモリに格納される。そして、処理装置内の各モジュール(オブジェクトの領域の特徴量算出、特徴量データの分類、ダミーの特徴量の追加、ランダムに並び替えた特徴量データの追加)の処理が実行され、それによって生成された特徴量データが学習用データとして特徴量データ格納部に格納される。この学習用データとしての特徴量データは、オブジェクト判別に用いられる。
また、オブジェクトを判別するときには、まず判別対象の画像が画像入力装置から入力され、その濃淡画像及び2値画像がメモリに格納される。そして、入力画像の特徴量がモジュール(オブジェクトの領域の特徴量算出)によって算出される。一方、他のモジュール(平均と分散・共分散行列算出、逆行列算出)によって学習用のオブジェクト特徴量からオブジェクト種毎に平均及び分散・共分散行列、並びにその逆行列を求める。そして、モジュール(マハラノビス距離算出)によって判別対象の特徴量データと各オブジェクト種のマハラノビス平方距離を算出し、最小の距離を与えるオブジェクト種を判別結果として出力する。
即ち、本発明による学習データ生成装置は、マハラノビス平方距離によるオブジェクト判別分析のための学習データを生成する学習データ生成装置であって、複数のオブジェクトが撮影された濃淡画像からオブジェクト領域を抽出する領域抽出手段と、前記抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成するオブジェクト領域分割手段と、前記複数の小領域間の隣接関係を表すグラフを生成する隣接関係グラフ生成手段と、前記複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量として、その全ての特徴量を含む特徴量データを生成する特徴量データ生成手段と、前記生成された特徴量データを前記オブジェクト領域のオブジェクト種類ごとにまとめる特徴量データ整理手段と、前記特徴量データ整理手段によってまとめられた特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加する特徴量追加手段と、を備え、前記特徴量追加手段で得られた特徴量データを学習用データとすることを特徴とする。
学習データ生成装置は、さらに、前記特徴量追加手段によって得られた特徴量データの個数がその特徴量の個数に満たない場合に、既存の特徴量データの特徴量の順序をランダムに並び替えて新しい特徴量データを生成し、追加することにより、特徴量データの個数が特徴量データの特徴量の個数と同じになるようにする特徴量データ追加手段を備える。
また、前記特徴量追加手段は、前記ダミーの特徴量として前記まとめられた特徴量データが有する特徴量のうち最大値を示す特徴量を追加する。
本発明によるオブジェクト判別装置は、マハラノビス平方距離によるオブジェクト判別装置であって、判別対象のオブジェクトの特徴量データを生成する特徴量データ生成手段と、学習データとして、オブジェクト種ごとの特徴量データを記憶する学習データ記憶手段と、前記学習データについて前記オブジェクト種毎に平均及び分散・共分散行列を算出する演算手段と、前記判別対象のオブジェクトの特徴量データと前記学習データのオブジェクト種毎の平均及び分散・共分散行列に基づいて、マハラノビス平方距離を計算し、最小距離を取るオブジェクト種を判別結果として出力する判別手段と、を備える。ここで、前記学習データ記憶手段は、学習データ生成用の複数のオブジェクトが撮影された濃淡画像からオブジェクト領域を抽出し、前記抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成し、前記複数の小領域間の隣接関係を表すグラフを生成し、前記複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量としてその全ての特徴量を含む特徴量データを生成し、前記生成された特徴量データを前記オブジェクト領域のオブジェクト種類ごとにまとめ、このまとめられた特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加することによって生成された学習データを記憶している。
さらに、オブジェクト判別装置は、前記判別対象のオブジェクトの特徴量データが有する特徴量の個数が前記オブジェクト種毎の学習データが有する特徴量の個数よりも少ない場合に、前記判別対象のオブジェクトの特徴量データにダミーの特徴量を追加して前記学習データの特徴量の個数に合わせる特徴量追加手段を備えることを特徴とする。
前記学習データ記憶手段は、さらに、特徴量データの個数がその特徴量の個数に満たない場合に、既存の特徴量データの特徴量の順序をランダムに並び替えて新しい特徴量データを生成し、追加することにより、特徴量データの個数が特徴量データの特徴量の個数と同じになるようにして得られた学習データを記憶することを特徴とする。なお、前記学習データ記憶手段は、前記ダミーの特徴量として前記まとめられた特徴量データが有する特徴量のうち最大値を示す特徴量を追加することにより生成された学習データ記憶する。
さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。
本発明の学習データ生成装置によれば、輪郭だけでは正確に判別できないようなオブジェクトをより正確に判別できるようにするための特徴量データ(学習データ)を提供することができる。また、本発明のオブジェクト判別装置によれば、そのような学習データを用いているので未知のオブジェクトをより正確に判別することができる。
本発明に係る実施形態は、オブジェクト判別に用いる学習データを生成する過程とその学習データに基づいて実際に未知のオブジェクトを判別する過程に大別される。以下、添付図面を用いて本発明の実施形態について説明する。
<装置のハードウェア構成>
図1は、本発明の一実施形態に係るハードウェアシステム(特徴量生成装置並びにオブジェクト判別装置)の構成を示すブロック図である。ハードウェアシステムは、入力装置、出力装置、処理装置、および記憶装置で構成されている。入力装置として、スキャナやデジカメなどの画像入力装置101とキーボード102がシステムに結合されている。キーボード102はパラメータの入力やコマンドの起動などに使われる。出力装置として、ディスプレイ112がシステムに結合している。ディスプレイ112は各種の画像の表示などに使われる。
図1は、本発明の一実施形態に係るハードウェアシステム(特徴量生成装置並びにオブジェクト判別装置)の構成を示すブロック図である。ハードウェアシステムは、入力装置、出力装置、処理装置、および記憶装置で構成されている。入力装置として、スキャナやデジカメなどの画像入力装置101とキーボード102がシステムに結合されている。キーボード102はパラメータの入力やコマンドの起動などに使われる。出力装置として、ディスプレイ112がシステムに結合している。ディスプレイ112は各種の画像の表示などに使われる。
処理装置103は、オブジェクトの領域の特徴量を算出するモジュール104、特徴量データの分類を支援するモジュール105、ダミーの特徴量を追加するモジュール106、および、ランダムに並び替えた特徴量データを追加するモジュール107の四つのモジュールを含む。記憶装置108は、モジュール104の入出力である濃淡画像格納部109と2値画像格納部110と4つの全てのモジュールからアクセスされる特徴量データ格納部111とを含む。
学習用のオブジェクト特徴量を生成するときには、まず、画像入力装置101から入力された画像はそのまま濃淡画像として濃淡画像格納部109に格納され、それと並行して入力画像は2値化されて2値画像格納部110にも格納される。そして、処理装置103内の各モジュール104乃至107の処理が実行され、それによって生成された特徴量データが学習用データとして特徴量データ格納部111に格納される。この学習用データとしての特徴量データは、オブジェクト判別に用いられる。
また、オブジェクトを判別するときには、まず判別対象の画像が画像入力装置101から入力され、その濃淡画像が濃淡画像格納部109に、2値画像が2値画像格納部110に格納される。そして、入力画像の特徴量がモジュール104によって算出される。一方、モジュール113及び114によって学習用のオブジェクト特徴量からオブジェクト種毎に平均及び分散・共分散行列、並びにその逆行列を求める。そして、モジュール115によって判別対象の特徴量データと各オブジェクト種のマハラノビス平方距離を算出し、最小の距離を与えるオブジェクト種を判別結果として出力する。
<学習用のオブジェクト特徴量生成処理>
図2は、学習用のオブジェクト特徴量生成処理の概要を示すフローチャートである。なお、各ステップの処理は、各モジュール104乃至107及び記憶装置108が協働して実行される。
図2は、学習用のオブジェクト特徴量生成処理の概要を示すフローチャートである。なお、各ステップの処理は、各モジュール104乃至107及び記憶装置108が協働して実行される。
図2において、ステップS201では、モジュール104が、複数のオブジェクトが撮影された濃淡画像からオブジェクトの領域を抽出し、オブジェクトの領域ごとに特徴量を算出する。ここでの特徴量は、従来とは異なり、オブジェクトの領域を濃度にしたがって領域分割して生成された小領域間の隣接関係を表すグラフのエッジの属性値である。ここで隣接関係とは、分割されて生成された各小領域のどれとどれが隣接するかを示す情報である。そして、属性値は、エッジの両端のノードが表す小領域の濃度・高さ・幅の差の絶対値の重み付き和として定義される。したがって、オブジェクトの領域の特徴量は隣接する小領域の組の数だけある。また、あるオブジェクトに対してその全ての特徴量の集合を特徴量データと呼ぶことにする。なお、ステップS201の動作の詳細はさらに後述する。
ステップS202では、一枚の濃淡画像には多種のオブジェクトが混在するので、利用者によって識別されたオブジェクトの種類が入力され、モジュール105がステップS201で得られた特徴量データを入力されたオブジェクトの種類ごとにまとめる。つまり入力された画像を目視してその画像が示すオブジェクトの種類(後述するクラス:例えば虫の種類)を特定され、その特定されたオブジェクトの種類ごとに特徴量が整理される。
ステップS203では、モジュール106は、特徴量の個数が少ない特徴量データにダミーの特徴量を追加して数を合わせる(処理の具体的内容はさらに後述する)。一般に特徴量データの特徴量の個数は様々であるが、マハラノビス距離を示すコストの算出の際には個数を合わせた方が特徴ベクトルの次元を単一にでき、演算の正確性・単純化を実現できるからである。なお、ダミーの特徴量の値は実際の特徴量の最大値としている。
ステップS204では、モジュール107が「特徴量データの個数≧特徴量データの特徴量の個数」という条件を満たすように、乱数を用いて特徴量データを追加する。この条件は後半の過程で生成される分散・共分散行列のランク(階数)が特徴量の個数より少なくならないようになるための必要条件である。既存の特徴量データ中の特徴量の順序をランダムに並び替えて新しい特徴量データを生成して、追加する。
以上のようにして生成された特徴量データは、オブジェクト種毎に特徴量データ格納部111に格納される。
<ステップS201の処理の詳細>
図3は、図2におけるステップS201のオブジェクトの領域の特徴量を算出する処理の詳細を示すフローチャートである。また、図4は特徴量算出処理の具体例を示す図であり、図5はステップS306におけるナンバリング処理の具体的内容を示す図である。なお、図3のフローチャートにおける動作主体は特に断らない限り、モジュール104である。
図3は、図2におけるステップS201のオブジェクトの領域の特徴量を算出する処理の詳細を示すフローチャートである。また、図4は特徴量算出処理の具体例を示す図であり、図5はステップS306におけるナンバリング処理の具体的内容を示す図である。なお、図3のフローチャートにおける動作主体は特に断らない限り、モジュール104である。
ステップS301において、複数のオブジェクトの像401及び402を含む入力の濃淡画像(図4A)の2値化画像403及び404(オブジェクトの領域を“1”とする画像:図4B参照)を取得する。なお、図4において、背景は見易さを考慮して“・”で示されている。
つぎに、ステップS302で、2値画像403及び404をラベリング処理して画像405及び406を生成する。ここでラベリングとは、同じ連結成分に属する画素に同じ番号を付け、異なる連結成分には異なる番号を付ける処理である。図4Cにおいては、オブジェクト405が1に、オブジェクト406が2にそれぞれ番号付けされている。ここでは画像のスキャン順に番号を付しているが、必ずしもこの順番である必要はなく、406を1に405を2にラベリングしてもよい。なお、ラベリングのアルゴリズムについては周知であり、例えば非特許文献1の中にも記載されている。
続いて、ステップS303で、変数iに初期値0を設定する。また、ステップS304では、図4Cの画像からi番目のオブジェクトの領域を取り出した画像を取得する。図4Dでは、2と番号付けされたオブジェクトを取り出した画像407が取得されている。
次に、ステップS305では、濃淡画像402と画像407を参照し、i番目のオブジェクトの領域上の画素の濃度のレベル数を多段階の閾値により減らして、小領域に領域分割する。小領域の画素は一定の減らされた濃度を持つことになる。例えば、図4Eにおいて、濃淡画像402と画像407を参照して、オブジェクトの領域の濃度を2で除算した結果である画像408が画素の濃度レベルが減らされた画像となっている。画像408では、画素の値が3の小領域が2つ、画素の値が4の小領域が1つ存在している。
次に、ステップS306で、画像408にナンバリングを行って、小領域を番号付けした画像409を生成する。なお、ナンバリングの処理は、詳しくは図5に示すような処理である。すなわち、画像501はナンバリングの対象となる画像で、値4と値3の画素を含んでいる。まず、値4の画素を切り出して、2値画像502を生成する。次に、この2値画像502にラベリングを適用して、画像504を生成する。同様に、画像501から値3の画素を切り出して、2値画像503を生成する。次に、この2値画像503にラベリングを適用して、画像505を生成する。画像505は2つの小領域を含む。次に、画像504と画像505を合成して画像506を生成する。まず、画像504の値1の画素を画像506にそのまま複写する。次に、既に画像506中には値1の画素があるので、画像505の値1と値2の画素を画像506に1だけ加えた値にして複写する。一般に、ナンバリングは以上のような切り出し・ラベリング・合成によって実現することができる。図4Fは、画像408の小領域をナンバリングしてできた画像409を示している。小領域1と小領域2は隣接しており、小領域1と小領域3は隣接している。小領域2と小領域3は離れている。
ステップS307では、ステップS306でラベリングされた画像における各小領域の濃度・高さ・幅などを計測する。そして、ステップS308で、画像409から、各小領域をノードとし、隣接する小領域の組をエッジとする隣接グラフを生成する。この隣接関係を表したものが図4Gの隣接グラフである。
ステップS309で、隣接グラフを参照して、隣接する小領域の濃度・高さ・幅のそれぞれの差の絶対値の重み付き和を算出して、エッジの属性値とする。オブジェクトの特徴量Pijは隣接グラフのエッジの情報により隣接する小領域の組 (i,j)にアクセスし、次式(1)により算出される。
最後に、ステップS310で、全てのオブジェクトの領域を処理したか判定して、そうであれば終了し、そうでなければステップS311で変数iを一つ増やし、ステップS304に戻ってループする。
以上のような処理に従って、学習用のオブジェクト特徴量データが生成される。
以上のような処理に従って、学習用のオブジェクト特徴量データが生成される。
<オブジェクト特徴量データの内容>
図6Aはオブジェクトの特徴量を算出した結果、生成される特徴量データのレコードのフォーマットを示す図である。このレコードはidの要素とオブジェクトの種類を示す種別と特徴量の要素の並びから構成されている。特徴量の個数は隣接グラフ(図4G参照)のエッジの数だけあるので、固定されるものではない。
図6Aはオブジェクトの特徴量を算出した結果、生成される特徴量データのレコードのフォーマットを示す図である。このレコードはidの要素とオブジェクトの種類を示す種別と特徴量の要素の並びから構成されている。特徴量の個数は隣接グラフ(図4G参照)のエッジの数だけあるので、固定されるものではない。
また、図6Bは、複数の特徴量データをオブジェクトの種類ごとに分類する様子を示したものである。画像A1には4つのオブジェクトがあり、その種類はクラス1・クラス2・クラス3の3種類があるとする。また、画像A2には3つのオブジェクトがあり、その種類は同じく3種類あるとする。なお、オブジェクトの種類の判別は人手によって行われる(ステップS202に相当)。矢印の下には、特徴量データが種類に従って分類された結果が示されている。クラス1には3つの特徴量データが属し、クラス2とクラス3には共に2つの特徴量データが属している。
特徴量データの分類を支援するモジュール105はユーザに一個のオブジェクトの像をディスプレイ112に表示し、そのオブジェクトの種類(クラス)の入力を要求する。この機能によってユーザによるオブジェクト分類の労力負担が軽減されるという効果を奏するものである。
上述のように特徴量データの特徴量の個数は一定ではない。例えば、図6BのidがP101の特徴量データは4つの特徴量を含み、idがP103の特徴量データは5つの特徴量を含む。しかし、判別の過程で特徴量ベクトルの次元をユニークにするためには、特徴量データの特徴量の個数は同じである必要がある。
そこで、本実施形態では、特徴量の少ない特徴量データにダミーの特徴量を追加する。ダミーの特徴量の値は全ての実際の特徴量の最大値である。図7Aでは、idがP101とP203の特徴量データにダミーの特徴量Maxが追加されて、特徴量の個数が5つになるようにしてある。例えば、図7Aにおける各特徴量データの中でc3が最大値を示している場合には、Maxにc3がダミーの特徴量として追加される。
また、分散・共分散行列のランク(階数)が特徴量の個数より少なくなると、マハラノビス平方距離が異常値を取ることがある。異常値を取らないためには、特徴量データの個数が特徴量データの特徴量の個数以上であるという条件を満たす必要がある。このため、既存の特徴量データ中の特徴量の順序をランダムに並び替えて新しい特徴量データを生成して、追加する。図7Bは図7AのidがP101とP203の特徴量データから2つの特徴量データを生成して、追加したものである。なお、ランダムに並べ替えたものを追加するのは、行列の一次独立性を担保するためである。
図8は特徴量データの特徴量をランダムに並び替えるアルゴリズムを示すフローチャートである。配列Pは入力の特徴量の配列であり、配列Qは出力の並び替えられた特徴量の配列である。配列P0は作業用の配列である(例えば、図7におけるP101とP103が該当する)。定数sizeは特徴量の個数を示す。ステップS801からステップS804までは変数iについてのループを形成し、配列Pを配列P0に複写する。ステップS805からステップS813までは変数iについての別のループを形成している。ステップS807で、変数idxに0から(size-i-1)の間の一様乱数を取得する。rand()は十分大きな正の整数の乱数を発生する関数である。記号%は除算の余りを与える演算子である。ステップS808で、配列P0のidx番目の要素P0[idx]の値をQ[i]に代入する。言い換えると、配列P0の要素をランダムに選んで、それを配列Qに先頭から詰めて順次代入する。ステップS809からステップS812までは変数jについてのループを形成している。このループで、配列P0に対してidx番目の要素を取り除いて後ろから詰める。
<オブジェクト判別処理の概要>
図9は、入力された画像のオブジェクトを判別する処理の概要を示すフローチャートである。なお、各ステップの処理は、各モジュール104、113乃至115及び記憶装置108が協働して実行される。
図9は、入力された画像のオブジェクトを判別する処理の概要を示すフローチャートである。なお、各ステップの処理は、各モジュール104、113乃至115及び記憶装置108が協働して実行される。
まずステップS901では、判別対象のオブジェクトの特徴量データを算出する。この処理は、図2のステップS201と同様なのでここではその説明を省略する。なお、判別対象のオブジェクトの特徴量の個数が学習用データの特徴量の個数よりも少ないときには、判別対象に対して特徴量の最大値を追加して特徴量の個数を合わせる。逆に判別対象のオブジェクトの特徴量の個数が学習用データの特徴量の個数よりも多いときには、判別困難であるとして判別不能であることを利用者に通知し、またそのオブジェクトを学習用データとして登録するように利用者に促すようにしてもよい。
ステップS902では、オブジェクト種ごとの特徴量データを学習データとして、平均と分散・共分散行列を算出する。j番目の特徴量の平均は次式(2)で定義される。
続いて、ステップS903では、オブジェクト種ごとに分散・共分散行列からその逆行列を算出する。
そして、ステップS904では、判別対象のオブジェクトの特徴量データとオブジェクト種ごとの平均と分散・共分散行列の逆行列からマハラノビス平方距離を計算し、最小値をとるオブジェクト種を判別対象のオブジェクトの種類であると判別する。マハラノビス平方距離は次式(4)のように定義される。
そして、マハラノビス平方距離が最小のオブジェクト種を判別されたオブジェクトとして出力する。なお、マハラノビス距離の詳細については、上記非特許文献2で詳細に説明されている。
<オブジェクト判別処理の詳細>
図9で説明したオブジェクト判別処理の詳細について、図10を用いてさらに説明する。
図10は、学習データに基づいて未知のオブジェクトを判別する過程を詳細に示すフローチャートである。なお、図10における各ステップの処理も、各モジュール104、113乃至115及び記憶装置108が協働して実行される。
図9で説明したオブジェクト判別処理の詳細について、図10を用いてさらに説明する。
図10は、学習データに基づいて未知のオブジェクトを判別する過程を詳細に示すフローチャートである。なお、図10における各ステップの処理も、各モジュール104、113乃至115及び記憶装置108が協働して実行される。
ステップS1001からステップS1005までは変数iについてのループを形成している。n_kObjはオブジェクト種の個数を示す。また、kObj[i]はi番目のオブジェクト種を示す。このループでは各オブジェクト種の平均と分散・共分散行列とその逆行列を算出している。ステップS1006以降は未知のオブジェクトと各オブジェクト種とのマハラノビス平方距離を計算し、その最小値をとるオブジェクト種を見出して、判別対象のオブジェクトの種類であると判別している。ステップS1006で、0番目のオブジェクト種と判別対象のオブジェクトObjectのマハラノビス平方距離を計算して、その値をdMinに代入する。関数dはオブジェクト種と判別対象のオブジェクトの間のマハラノビス距離を値として返す関数である。ステップS1007で、この時のオブジェクト種をkMinに記録しておく。ステップS1008からステップS1014までは変数iについてのループを形成している。残りの各オブジェクト種についてマハラノビス平方距離を計算し(ステップS1010)、その値vがdMinより小さければ(ステップS1011)、vをdMinに代入し(ステップS1012)、その時のオブジェクト種をkMinに代入する(ステップS1013)。全てのオブジェクト種について調べ終えると、ループから脱出して、マハラノビス平方距離の最小値をとるオブジェクト種の情報を返す。このオブジェクト種が判別結果となる。
以上、本実施形態によれば、オブジェクトの内部構造の情報を考慮して学習用の特徴量データを生成し、その特徴量データを用いてマハラノビス平方距離を演算しているので、高精度のオブジェクトの判別が実現可能となる。
また、学習用の特徴量データを生成するときに各クラスにおいて特徴量の個数が少ない特徴量データに対してはダミーの特徴量として対象クラスにおける特徴量の最大値を追加している(図6及び図7参照)ので、オブジェクト判別の際のマハラノビス平方距離演算で扱う特徴量ベクトルの次元をユニークにすることができ、よって演算を安定的に実行することができるようになる。
さらに、各クラスにおいて、特徴量データの個数が特徴量の個数よりも少ない場合には、既存の特徴量データの何れかから特徴量の順序をランダムに並び替えて新しい特徴量データとして生成して追加しているので、マハラノビス平方距離が常に正常値をとることができ、よって正確にオブジェクトを判別することができるようになる。
なお、実施形態の機能を実現するソフトウェアのプログラムコードによっても本発明は実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ(登録商標)ディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
また、実施の形態の機能を実現するソフトウェアのプログラムコードがネットワークを介して配信されることにより、システム又は装置のハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納され、そのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行することによっても、達成されるようにしてもよい。
101…画像入力装置、102…キーボード、103…処理装置、104…オブジェクトの領域の特徴量算出モジュール、105…特徴量データの分類の支援モジュール、106…ダミーの特徴量の追加モジュール、107…ランダムに並び替えた特徴量データの追加モジュール、108…記憶装置、109…濃淡画像格納部、110…2値画像格納部、111…特徴量データ格納部、112…ディスプレイ、113…オブジェクト種毎の平均・分散・共分散行列算出モジュール、114…逆行列算出モジュール、115…マハラノビス距離算出モジュール
Claims (9)
- マハラノビス平方距離によるオブジェクト判別分析のための学習データを生成する学習データ生成装置であって、
複数のオブジェクトが撮影された濃淡画像からオブジェクト領域を抽出する領域抽出手段と、
前記抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成するオブジェクト領域分割手段と、
前記複数の小領域間の隣接関係を表すグラフを生成する隣接関係グラフ生成手段と、
前記複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量として、その全ての特徴量を含む特徴量データを生成する特徴量データ生成手段と、
前記生成された特徴量データを前記オブジェクト領域のオブジェクト種類ごとにまとめる特徴量データ整理手段と、
前記特徴量データ整理手段によってまとめられた特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加する特徴量追加手段と、を備え、
前記特徴量追加手段で得られた特徴量データを学習用データとすることを特徴とする学習データ生成装置。 - さらに、前記特徴量追加手段によって得られた特徴量データの個数がその特徴量の個数に満たない場合に、既存の特徴量データの特徴量の順序をランダムに並び替えて新しい特徴量データを生成し、追加することにより、特徴量データの個数が特徴量データの特徴量の個数と同じになるようにする特徴量データ追加手段を備えることを特徴とする請求項1に記載の学習データ生成装置。
- 前記特徴量追加手段は、前記ダミーの特徴量として前記まとめられた特徴量データが有する特徴量のうち最大値を示す特徴量を追加することを特徴とする請求項1又は2に記載の学習データ生成装置。
- マハラノビス平方距離によるオブジェクト判別装置であって、
判別対象のオブジェクトの特徴量データを生成する特徴量データ生成手段と、
学習データとして、オブジェクト種ごとの特徴量データを記憶する学習データ記憶手段と、
前記学習データについて前記オブジェクト種毎に平均及び分散・共分散行列を算出する演算手段と、
前記判別対象のオブジェクトの特徴量データと前記学習データのオブジェクト種毎の平均及び分散・共分散行列に基づいて、マハラノビス平方距離を計算し、最小距離を取るオブジェクト種を判別結果として出力する判別手段と、を備え、
前記学習データ記憶手段は、学習データ生成用の複数のオブジェクトが撮影された濃淡画像からオブジェクト領域を抽出し、前記抽出されたオブジェクト領域とそのオブジェクト領域を構成する画素の濃度に従って領域分割を行い、複数の小領域を生成し、前記複数の小領域間の隣接関係を表すグラフを生成し、前記複数の小領域のうち隣接する小領域の濃度・高さ・幅の差の絶対値の重み付き和であるグラフのエッジの属性値を特徴量としてその全ての特徴量を含む特徴量データを生成し、前記生成された特徴量データを前記オブジェクト領域のオブジェクト種類ごとにまとめ、このまとめられた特徴量データに関し、最大個数の特徴量を有する特徴量データに合わせて特徴量の個数がその最大個数よりも少ない特徴量データにダミーの特徴量を追加することによって生成された学習データを記憶することを特徴とするオブジェクト判別装置。 - さらに、前記判別対象のオブジェクトの特徴量データが有する特徴量の個数が前記オブジェクト種毎の学習データが有する特徴量の個数よりも少ない場合に、前記判別対象のオブジェクトの特徴量データにダミーの特徴量を追加して前記学習データの特徴量の個数に合わせる特徴量追加手段を備えることを特徴とする請求項4に記載のオブジェクト判別装置。
- 前記学習データ記憶手段は、さらに、特徴量データの個数がその特徴量の個数に満たない場合に、既存の特徴量データの特徴量の順序をランダムに並び替えて新しい特徴量データを生成し、追加することにより、特徴量データの個数が特徴量データの特徴量の個数と同じになるようにして得られた学習データを記憶することを特徴とする請求項4又は5に記載のオブジェクト判別装置。
- 前記学習データ記憶手段は、前記ダミーの特徴量として前記まとめられた特徴量データが有する特徴量のうち最大値を示す特徴量を追加することにより生成された学習データ記憶することを特徴とする請求項4乃至6の何れか1項に記載のオブジェクト判別装置。
- コンピュータを請求項1乃至3のいずれかに記載の学習データ生成装置として機能させるためのプログラム。
- コンピュータを請求項4乃至8のいずれかに記載のオブジェクト判別装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006167716A JP2007334755A (ja) | 2006-06-16 | 2006-06-16 | 学習データ生成装置及びオブジェクト判別装置、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006167716A JP2007334755A (ja) | 2006-06-16 | 2006-06-16 | 学習データ生成装置及びオブジェクト判別装置、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007334755A true JP2007334755A (ja) | 2007-12-27 |
Family
ID=38934158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006167716A Pending JP2007334755A (ja) | 2006-06-16 | 2006-06-16 | 学習データ生成装置及びオブジェクト判別装置、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007334755A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012161269A (ja) * | 2011-02-04 | 2012-08-30 | Univ Of Tokushima | 虫の画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記憶媒体 |
JP2015185034A (ja) * | 2014-03-25 | 2015-10-22 | キヤノン株式会社 | 画像認識装置、画像認識方法およびプログラム |
KR20190060673A (ko) * | 2017-11-24 | 2019-06-03 | 건국대학교 산학협력단 | 데이터 처리 방법, 장치, 처리된 데이터를 이용한 객체 검출 방법 |
US11556785B2 (en) | 2019-01-11 | 2023-01-17 | Fujitsu Limited | Generation of expanded training data contributing to machine learning for relationship data |
-
2006
- 2006-06-16 JP JP2006167716A patent/JP2007334755A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012161269A (ja) * | 2011-02-04 | 2012-08-30 | Univ Of Tokushima | 虫の画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記憶媒体 |
JP2015185034A (ja) * | 2014-03-25 | 2015-10-22 | キヤノン株式会社 | 画像認識装置、画像認識方法およびプログラム |
KR20190060673A (ko) * | 2017-11-24 | 2019-06-03 | 건국대학교 산학협력단 | 데이터 처리 방법, 장치, 처리된 데이터를 이용한 객체 검출 방법 |
KR102134640B1 (ko) | 2017-11-24 | 2020-07-16 | 주식회사 드로너 | 데이터 처리 방법, 장치, 처리된 데이터를 이용한 객체 검출 방법 |
US11556785B2 (en) | 2019-01-11 | 2023-01-17 | Fujitsu Limited | Generation of expanded training data contributing to machine learning for relationship data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180336683A1 (en) | Multi-Label Semantic Boundary Detection System | |
US20180232599A1 (en) | Learning Contour Identification System Using Portable Contour Metrics Derived From Contour Mappings | |
WO2002073521A2 (en) | Automatic algorithm generation | |
FR2974433A1 (fr) | Evaluation de la qualite d'image | |
Bestgen et al. | Where is it (in the Map)? Recall and recognition of spatial information | |
Morgenstern et al. | An image-computable model of human visual shape similarity | |
CN113936287A (zh) | 基于人工智能的表格检测方法、装置、电子设备及介质 | |
CN114913942A (zh) | 患者招募项目智能匹配方法及装置 | |
JP2007334755A (ja) | 学習データ生成装置及びオブジェクト判別装置、並びにプログラム | |
AU2015204339B2 (en) | Information processing apparatus and information processing program | |
CN113822283A (zh) | 文本内容处理方法、装置、计算机设备及存储介质 | |
CN111062385A (zh) | 一种用于图像文本信息检测的网络模型构建方法与系统 | |
CN113850632B (zh) | 用户类别确定方法、装置、设备及存储介质 | |
US11915348B2 (en) | Visual content optimization | |
JP6509391B1 (ja) | 計算機システム | |
US11514311B2 (en) | Automated data slicing based on an artificial neural network | |
JP2004038744A (ja) | 画像認識アルゴリズム生成方法,画像認識アルゴリズム生成装置,画像認識アルゴリズム生成プログラムおよび画像認識アルゴリズム生成プログラムを記録した記録媒体 | |
JP7382461B2 (ja) | 画像解析装置、画像解析方法、コンピュータプログラム、及び記録媒体 | |
AU2021105721A4 (en) | System and method for classifying skin cancer lesions using deep neural networks and transfer learning | |
JP7004768B2 (ja) | 等高線マッピングから導き出される移植可能な等高線メトリックを使用する学習型等高線識別システム | |
KR102365429B1 (ko) | 불성실응답자를 판별하는 인공지능을 이용한 온라인 모바일 설문조사 플랫폼 | |
WO2022137393A1 (en) | Design space reduction apparatus, control method, and computer-readable storage medium | |
JP2023043087A (ja) | 情報処理プログラム、情報処理方法、および情報処理装置 | |
JP2009207585A (ja) | 医用画像解析システム、コンピュータプログラム及び医用画像解析方法 | |
Slettevold | Deep learning in Dynamic Imager-A convolutional neural network module |