JP2004038744A

JP2004038744A - Image recognition algorithm generation method, image recognition algorithm generation device, image recognition algorithm generation program, and recording medium recorded with image recognition algorithm generation program

Info

Publication number: JP2004038744A
Application number: JP2002197216A
Authority: JP
Inventors: Yoshinori Kusachi; 草地　良規; Kyoko Sudo; 数藤　恭子; Hiroko Takahashi; 高橋　裕子; Masashi Okudaira; 奥平　雅士
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-07-05
Filing date: 2002-07-05
Publication date: 2004-02-05

Abstract

<P>PROBLEM TO BE SOLVED: To assist development of generation of image recognition algorithm by automatically generating and evaluating a characteristic extraction method when learning data of an image as a subject of recognition is given. <P>SOLUTION: By storing image processing program modules sorted by input/output types and combining the image processing program modules in accordance with a search condition, a characteristic extraction method is generated. By utilizing the input image as a subject of recognition and a plurality of learning samples composed of desired output data, a character vector of each of the learning samples is calculated by the characteristic extraction method. By performing dimensional compression on the characteristic vector, a compressed characteristic vector is calculated. Based on evaluation values of a distribution of the compressed characteristic vectors, a plurality of compressed characteristic vectors are combined to configure a characteristic space, the characteristic space is evaluated, and a recognition algorithm indicating a high evaluation value is searched by a recognition rate. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は，認識すべき対象画像の学習データ（画像データ＋該画像の属するカテゴリーを示すデータ）が与えられた際に，特徴抽出方法の生成および評価を自動で行い，対象画像認識アルゴリズムの開発または生成を支援する技術であって，画像処理技術の中の一分野である画像認識技術の分野に属する。
【０００２】
【従来の技術】
画像認識技術は，画像データ内のある領域がどのカテゴリーに属するかを特定する技術である。画像認識方法は，大きく分けて，パターンマッチング方法と統計的識別方法がある。
【０００３】
パターンマッチング方法では，入力画像の中にあらかじめ作成した標準パターンと同じものがあるか，あるいは近いものがあるかを検出する。標準パターンは，そのパターンを良く示す特徴を用いて表現される。代表的な手法であるテンプレートマッチング方法では，濃淡画像を特徴としたテンプレートや，濃淡画像を微分した微分濃淡画像を特徴とするテンプレートを標準パターンとして利用するのが一般的であり，テンプレートサイズや解像度等は研究開発者のノウハウによって決定される。
【０００４】
統計的識別方法では，入力画像の特徴ベクトルとあるカテゴリーの同時生起確率を計算して，これが最大となるカテゴリーを入力画像が属するカテゴリーとする。あるカテゴリーの同時生起確率は，カテゴリー範疇をよく区別する特徴および特徴抽出方法を研究開発者が複数考案し，複数の特徴により構成される特徴空間での学習サンプル分布を評価することによって，あらかじめ作成しておく必要がある。
【０００５】
代表的な手法であるベイズ推定方法においても，識別に有効な特徴群はその識別対象に依存しており，特徴空間は研究開発者のノウハウによって決定されるのが一般的である。
【０００６】
以上のように，従来の画像認識技術では，システム開発にあたり，研究開発者が対象の学習データを吟味し，経験・ノウハウを基に特徴および特徴抽出方法を決定する必要があった。
【０００７】
【発明が解決しようとする課題】
近年，画像認識において，より複雑な対象や撮影条件の緩やかな対象を識別して欲しいという需要が大きくなっている。その際，前述のように，研究者が特徴および特徴抽出方法を決定する必要があるが，従来手法によって対処するには，以下の５つの問題がある。
【０００８】
１．ある特徴抽出方法によって抽出される特徴は，特徴抽出処理の手順や特徴抽出処理のパラメータによって性質が異なるため，考えられる特徴の種類は膨大であり，その中から有効な特徴を選択するのは難しい。
【０００９】
２．研究開発者は経験・ノウハウによって特徴を選択してきたが，経験・ノウハウという情報は伝達しにくく，また，特徴抽出方法に関する論文・資料も膨大であるために，再利用が困難となりつつある。
【００１０】
３．有効な特徴がわかったとしても，照明条件や撮影位置など，撮影条件が複雑な場合，該特徴を抽出する方法がわからないという問題が多々ある。例えば，人間の抽出というタスクを考えると，人間の特徴は，顔の中に目・鼻・口がある，というように定義できるが，照明条件が複雑であると，該特徴を安定的に抽出するのは一般的に困難である。
【００１１】
４．複雑な対象を認識したい場合や，撮影条件が複雑である場合，研究者にも経験・ノウハウが溜まっておらず，識別に有効な特徴がわかっていない問題が多々ある。
【００１２】
５．特徴空間における真の分布を知ることができないため，学習サンプルに対して高い認識率を示す認識アルゴリズムが，実際の入力に対して高い認識率を実現するかどうかはわからない。そのため，学習サンプルに対する認識率のみから，アルゴリズムを評価できない。
【００１３】
本発明は，上記問題点を解決するために，前記２つの画像認識方法に必要な特徴およびその抽出方法の生成・評価を自動で行い，対象画像認識アルゴリズムの開発を支援・生成する技術を提供する。
【００１４】
【課題を解決するための手段】
本発明では，上記の課題１〜５を解決するために，以下の手段１〜３を用いる。
【００１５】
１．入出力の型によって分類した画像処理プログラムモジュールを蓄積しておき，検索条件に従って画像処理プログラムモジュールを組み合わせ，かつ，画像処理プログラムモジュールに固有のパラメータを決定して特徴抽出方法を生成し，入力された認識対象となる画像および所望する出力データから構成される複数の学習サンプルを利用して，生成された特徴抽出方法によって各学習サンプルの特徴ベクトルを計算し，該特徴ベクトルを次元圧縮して圧縮特徴ベクトルを計算し，圧縮特徴ベクトルの分布の評価値を計算し，該評価値を基に複数の圧縮特徴ベクトルを組み合わせて特徴空間を構成し，該特徴空間を評価し，最終的に認識率によって高い評価値を示す認識アルゴリズムを検索する。
【００１６】
２．検索条件として，検索対象となる画像処理プログラムモジュールを組み合わせるパターンと，検索対象となる画像処理プログラムモジュールと，画像処理プログラムモジュールの組合せ方法と，画像処理プログラムモジュールに固有のパラメータの検索範囲および刻み幅と，前記パラメータの設定方法を選択するパラメータ検索方法と，認識アルゴリズム評価段階にて用いる識別方法とを選択可能とする。
【００１７】
３．各検索毎に，特徴ベクトルと，前記圧縮特徴ベクトルと，前記圧縮特徴ベクトルの分布評価値を保存し，かつ，特徴抽出方法の生成の際に，保存されたベクトルおよび評価値を利用する。
【００１８】
本発明を用いることにより，以下の６つの作用が得られる。
【００１９】
１．入出力の型によって分類した画像処理プログラムモジュールを蓄積しておき，検索条件に従って，最終的に認識率によって高い評価値を示す認識アルゴリズムを検索するため，特徴抽出処理の手順や特徴抽出処理のパラメータによって異なる特徴抽出方法の性質を，画像認識アルゴリズム開発者が詳細に知らなくても，高い識別率を実現する画像認識アルゴリズムを見つけることができる。
【００２０】
２．検索条件として，検索対象となる画像処理プログラムモジュールを組み合わせるパターンと，検索対象となる画像処理プログラムモジュールと，画像処理プログラムモジュールの組合せ方法と，画像処理プログラムモジュールに固有のパラメータの検索範囲および刻み幅と，前記パラメータの設定方法を選択するパラメータ検索方法と，画像認識アルゴリズム評価段階にて用いる識別方法を選択することができるため，膨大な量の検索空間を，探索範囲を絞って研究開発者のノウハウを利用して所望の検索を行うことができる。
【００２１】
３．各検索毎に，特徴ベクトルと，前記圧縮特徴ベクトルと，前記圧縮特徴ベクトルの分布評価値を保存し，かつ，特徴抽出方法の生成の際に，保存されたベクトル，および評価値を利用するため，他の検索で高い評価値を示した特徴抽出方法から順に検索を行うことができ，認識アルゴリズムの検索を効率化することができる。
【００２２】
上記１〜３の作用により，課題１〜２が解決できる。
【００２３】
４．照明条件の変動や多様な形状変化を含む学習サンプルと，該学習サンプルから抽出される特徴量を基に，高い識別率を実現する画像認識アルゴリズムを検索する。このため，課題３，４の問題は，発生しない。
【００２４】
さらに，本発明を用いることにより，以下の作用が得られる。
【００２５】
５．特徴ベクトルを次元圧縮して圧縮特徴ベクトルを計算し，圧縮特徴ベクトルの分布の評価値を計算するため，物理的な意味を持つ特徴ベクトルの評価を直感的に得やすい。
【００２６】
６．該評価値を基に複数の圧縮特徴ベクトルを組み合わせて特徴空間を構成し，該特徴空間を評価するため，学習サンプル数および分布に応じた特徴空間を構成することができ，認識アルゴリズムの汎用性を確保できる。
【００２７】
【発明の実施の形態】
本発明を市街地認識アルゴリズム開発に用いる場合を例として，本発明の実施の形態を説明する。市街地認識アルゴリズムは，市街地の画像を入力すると，各画素に対して，市街地／非市街地のカテゴリを判別するアルゴリズムである。
【００２８】
図１は，本発明の第１の実施の形態を示す図である。図１において，画像認識アルゴリズム生成装置１は，画像処理プログラムモジュールデータベース（以下，データベースをＤＢと記す）３と，画像処理プログラム検索手段４とにより構成される。画像処理プログラム検索手段４は，認識アルゴリズム評価手段５を持つ。本発明の第１の実施の形態においては，学習サンプルＤＢ２を入力し，画像の入力に対して高精度な認識を実現するための市街地認識アルゴリズム６の部品となる画像処理プログラムモジュールを画像処理プログラムモジュールＤＢ３から検索し，検索結果から市街地認識アルゴリズム６を出力する。
【００２９】
図２は，本発明の第２の実施の形態を示す図である。図２において，画像処理プログラム検索手段４は，検索条件入力手段８および認識アルゴリズム評価手段５から構成される。検索条件７は，検索条件入力手段８を介して入力され，認識アルゴリズム評価手段５は，学習サンプルＤＢ２に記載された画像とカテゴリとの組の情報をもとに高精度な認識を実現するための市街地認識アルゴリズム６の部品となる画像処理プログラムモジュールを画像処理プログラムモジュールＤＢ３から検索し，その検索結果から市街地認識アルゴリズム６を出力する。
【００３０】
図３は，本発明の第３の実施の形態を示す図である。図３において，画像処理プログラム検索手段４は，検索条件入力手段８，特徴抽出方法評価ＤＢ９および認識アルゴリズム評価手段５から構成される。認識アルゴリズム評価手段５は，特徴抽出方法評価ＤＢ９に記載された特徴抽出方法評価値を参考にし，かつ，検索の途中で評価する特徴抽出方法の評価結果を特徴抽出方法評価ＤＢ９に記録しながら学習サンプルＤＢ２に記載された画像とカテゴリの組の情報をもとに，高精度な認識を実現するための市街地認識アルゴリズム６の部品となる画像処理プログラムモジュールを画像処理プログラムモジュールＤＢ３から検索し，その検索結果から市街地認識アルゴリズム６を出力する。
【００３１】
以下では，本発明の第３の実施の形態を例としてその構成および動作を説明するが，本発明は，第３の実施の形態に限定されるものではない。
【００３２】
〔各システム／ＤＢの構成〕
図４は，画像処理プログラムモジュールＤＢ３の一例を示す図である。図４に示すように，画像処理プログラムモジュールＤＢ３は，画像処理プログラムモジュールの登録／削除／出力要請の入力に対し，画像処理プログラムモジュールをデータベース中に登録し，またはデータベースから削除し，またはデータベースから読み出して出力する。以下，その構成について説明する。
【００３３】
画像処理プログラムモジュールＤＢ３は，特徴抽出方法を処理毎にモジュール化したプログラムを格納するプログラムモジュールデータテーブル３１と，画像処理プログラムモジュールへの入力パラメータの型を格納するパラメータデータテーブル３２を持つ。プログラムモジュールデータテーブル３１は，プログラム番号，プログラムの名称，プログラムの型，パラメータデータテーブル３２へのインデックスであるパラメータ番号群をエントリとして持つ。プログラムの型には，各プログラムモジュールデータを，画像−画像変換，画像−部分画像変換，画像−Ｎ次元特徴変換，Ｎ次元特徴−１次元特徴変換のいずれかに分類した結果が記載されている。
【００３４】
パラメータデータテーブル３２は，パラメータ番号，パラメータ名，パラメータタイプ，次元数，値，上限値，下限値をエントリとして持つ。
【００３５】
図５は，学習サンプルＤＢ２の一例を示す図である。図５に示すように，学習サンプルＤＢ２は，サンプルの登録／削除／出力要請の入力に対し，サンプルをデータベース中に登録し，またはデータベースから削除し，またはデータベースから読み出して出力する。以下，その構成例について説明する。
【００３６】
学習サンプルＤＢ２は，学習サンプルデータテーブル２１を持ち，また原画像ファイル２２とカテゴリ画像ファイル２３のテーブルを持つ。学習サンプルデータテーブル２１は，サンプルデータ番号，原画像ファイル２２へのインデックスであるファイル名，カテゴリ画像ファイル２３へのインデックスであるファイル名をエントリとして持つ。原画像ファイル２２は，ファイル名，画像サイズ，画像形式，画像をエントリとして持つ。カテゴリ画像ファイル２３は，ファイル名，画像サイズ，画像形式，画像，市街地領域の値，非市街地領域の値をエントリとして持つ。
【００３７】
ここで，カテゴリ画像ファイル２３から生成する１サンプルのデータ構造の例としては，｛サンプル番号，画像座標ｘ，画像座標ｙ，カテゴリ値，周辺画像データ｝がある。周辺画像データとは，画像座標ｘ，画像座標ｙの周辺の画像データ（隣接する画素の画素値など）を意味する。ここで示した学習サンプルＤＢ２およびサンプルデータ構造は一例であって，各アプリケーションによって異なる構造であってもよい。
【００３８】
図６は，検索条件入力手段８の構成を示す図である。図６に示すように，検索条件入力手段８は，終了条件，パターン検索条件，モジュール検索条件，パラメータ検索条件などの検索条件の入力インタフェースをユーザ１０に提供し，ユーザ１０から入力した検索条件を認識アルゴリズム評価手段５に出力する。以下，その構成について説明する。
【００３９】
検索条件入力手段８は，外部システムとの通信を担う通信部８１，各種条件を一時保存するバッファ部８２，終了条件の入力インタフェースを提供する終了条件入力インタフェース８３，特徴抽出方法のモジュール組合せパターンに関する条件の入力インタフェースを提供するパターン検索条件入力インタフェース８４，モジュール検索条件の入力インタフェースを提供するモジュール検索条件入力インタフェース８５，パラメータ検索条件の入力インタフェースを提供するパラメータ検索条件入力インタフェース８６から構成される。
【００４０】
図７は，終了条件入力インタフェース８３の一例であって，ユーザ１０は検索時間と認識率に関する終了条件を入力できる。図７の例では，検索時間の終了条件として最大検索時間が２４時間，認識率の終了条件として９０％以上の認識率が設定されている。
【００４１】
図８は，パターン検索条件入力インタフェース８４の一例を示す図である。ユーザ１０はパターンリスト８４１より，特徴抽出方法のモジュール組合せのパターンを選択する。選択されたパターンに対し，パターン詳細８４２に手順およびモジュールパターンが表示される。本例では，各手順の候補モジュールが複数個のモジュールで構成される場合は六角形で，１個のモジュールで構成される場合は四角形で，各手順が表示される。
【００４２】
手順１が「画像−画像変換」であって，その候補モジュールは，モジュールリスト８４３の手順１に示されている。この候補モジュールのリストは，画像処理プログラムモジュールＤＢ３を介して得られ，「画像−画像変換」は，「ラプラシアン」，「平滑化」，「中間値フィルタ」の複数のモジュールにより構成されているため，パターン詳細８４２における手順１は６角形で示されている。手順２が「ヒストグラム化」であって，その候補モジュールは，モジュールリスト８４３の手順２に示されており，これは「ヒストグラム化」の１個のモジュールにより構成されているため，手順２は，４角形で示されている。手順３も同様である。
【００４３】
また，ユーザ１０は，認識アルゴリズム評価手段５で利用する識別方法，最大特徴空間次元，モジュールの組合せ方法をパターン検索条件入力インタフェース８４から入力できる。モジュールの組合せ方法として，全部の組合せを探索する全探索，確率的な探索の一種である遺伝的アルゴリズムによる探索がある。図示省略したが一般的な確率的探索を用いることもできる。
【００４４】
図９は，各モジュール検索条件の入力インタフェースの一例を示す図であって，図８のモジュールリスト８４３の手順１のモジュールである「平滑化」のモジュール検索条件入力画面を示している。このモジュール検索条件入力画面は，図８のパターン検索条件入力インタフェース８４におけるモジュールリスト８４３において，一つのモジュールを選択し，「モジュールの詳細設定を行う」というボタンをクリックすることにより表示される。ユーザ１０は，このモジュール検索条件入力インタフェース８５を介してモジュール検索を行うかどうかを入力できる。また，付随パラメータについて，詳細設定を行う旨の指示をすることができる。
【００４５】
図１０は，パラメータ検索条件入力インタフェース８６の一例を示す図であって，図９の付随パラメータで選択した窓サイズ（平滑化フィルタのフィルタサイズ）の検索条件入力画面を示している。この検索条件入力画面は，図９のモジュール検索条件入力インタフェース８５において，付随パラメータの「詳細設定を行う」というボタンをクリックすることにより表示される。ユーザ１０は，パラメータ検索条件入力インタフェース８６から，パラメータの検索を行うかどうかを入力できる。検索を行う場合，パラメータ検索方法，パラメータ上限値，パラメータ下限値，パラメータ刻み幅を入力できる。検索を行わない場合，パラメータ値を入力できる。パラメータ検索方法として，全部の組合せを探索する全探索，確率的な探索の一種である遺伝的アルゴリズムによる探索がある。図示省略したが一般的な確率的探索を用いることもできる。
【００４６】
図１１は，特徴抽出方法評価ＤＢ９の一例を示す図である。図１１に示すように，特徴抽出方法評価ＤＢ９は，特徴抽出方法評価の登録／削除／出力要請の入力に対し，特徴抽出方法評価データをデータベース中に登録し，またはデータベースから削除し，またはデータベースから読み出して出力する。以下，その構成例について説明する。
【００４７】
特徴抽出方法評価ＤＢ９は，特徴抽出方法評価データテーブル９１を持ち，エントリとして，特徴抽出方法評価番号，特徴抽出方法，評価値，対象アプリケーション名を持つ。特徴抽出方法として，手順毎に，画像処理プログラムモジュール番号および付随パラメータの値が記載される。対象アプリケーション名は，特徴抽出方法ごとに必要に応じてユーザが付与した認識アルゴリズム（プログラム）の名称である。特徴抽出方法評価ＤＢ９の特徴抽出方法評価データテーブル９１は，最初はデータを持たないが，画像認識アルゴリズム生成装置１が使用されることにより，認識アルゴリズム評価手段５が特徴抽出方法を生成し，その特徴抽出方法で評価の高いものがあれば自動的にデータが登録され，データが蓄積されるようになっている。
【００４８】
図１２は，認識アルゴリズム評価手段５の構成を示す図である。図１２において，認識アルゴリズム評価手段５は，画像処理プログラムモジュールＤＢ３，学習サンプルＤＢ２，検索条件７，特徴抽出方法評価ＤＢ９と連携し，市街地認識アルゴリズム６を出力する。
【００４９】
認識アルゴリズム評価手段５は，外部システムとの通信を担う通信部５１，各種条件を一時保存するバッファ部５２，画像処理プログラムモジュールを組み合わせて特徴抽出方法を生成する特徴抽出方法生成部５３，生成された特徴抽出方法に従って全学習サンプルの特徴量を計算して特徴ベクトルとする特徴ベクトル計算部５４，特徴ベクトルを圧縮する圧縮特徴ベクトル計算部５５，特徴抽出方法の評価を行う特徴抽出方法評価部５６，特徴抽出方法同士の類似度を評価する特徴抽出方法類似度評価部５７，評価の高い複数の特徴抽出方法を組み合わせる特徴空間生成部５８，生成された特徴空間を評価して認識アルゴリズムを出力する認識アルゴリズム評価部５９から構成される。
【００５０】
〔画像処理プログラム検索手段４の処理フロー〕
図１３は，本発明の画像処理プログラム検索手段４の処理フローを示す図であり，以下で説明する。
ステップＳ１：学習サンプル群Ｓおよび検索条件を読み込む。
ステップＳ２：プログラムの初期化を行う。初期化の詳細は，図１４に示す初期化処理フローに従って後述する。
ステップＳ３：初期特徴抽出方法群を生成する。その詳細な処理内容は，図１５に示す初期特徴抽出方法群の生成処理フローに従って後述する。特徴抽出方法は，モジュール組合せ方法とその付随パラメータ群によって定義される。
ステップＳ４：特徴抽出方法ｆｅｔ（ｊ）を生成する。その詳細な処理内容は，図１６に示す特徴抽出方法の生成処理フローに従って後述する。ただし，ｊは，特徴抽出方法を特定する番号であり，生成される特徴抽出方法の数がｊの最大値である。
ステップＳ５：特徴抽出方法に基づき，学習サンプル群すべての特徴ベクトルＶ（ｊ，サンプル番号）を求める。例えば，Ｖ（ｊ，サンプル番号）＝（特徴量ベクトル，カテゴリ）となる。ここで特徴量ベクトルとは，特徴抽出方法により算出される特徴であって，１次以上のベクトルで表現される。
ステップＳ６：特徴抽出方法に基づき，すべての特徴量ベクトルに対し圧縮特徴ベクトルを計算する。例えば，特徴ベクトルと対応するカテゴリからフィッシャー軸を求め，特徴量ベクトルをフィッシャー軸に投影して圧縮特徴ベクトルＣＶ（ｊ，サンプル番号）とする。ＣＶ＝（射影ベクトル，カテゴリ）である。また，主成分分析によって第一主成分軸を求め，特徴ベクトルを第一主成分軸に投影して圧縮特徴ベクトルとしてもよい。
ステップＳ７：すべての圧縮特徴ベクトルを利用し，特徴抽出方法の評価値Ｔ（ｊ）を計算する。例えば，情報エントロピーＨを評価値とする。情報エントロピーＨは，
【００５１】
【数１】

【００５２】
によって示される。ただし，ｐ_ｃｔ（ｘ）は特徴量（圧縮特徴ベクトル）がｘの場合に，サンプルがカテゴリｃｔに属する確率であって，圧縮特徴ベクトルの分布より計算可能である。ＣＮはカテゴリ数である。また，利用する評価値は情報エントロピーに限らず，例えばマハラノビス距離であってもよい。上記ステップＳ５〜ステップＳ７は個体数（生成された特徴抽出方法の数）分ループする。
ステップＳ８：特徴空間の構成と評価を行う。詳細は，図２４に示す特徴空間の構成および評価の処理フローにて後述する。
ステップＳ９：検索終了条件のチェックをする。検索時間および認識率などを検索条件と比較し，検索条件を満たしていなければ，ステップＳ４へ進む。検索条件を満たしていれば，次のステップＳ１０へ進む。
ステップＳ１０：認識アルゴリズム（この例では市街地認識アルゴリズム６）を出力して終了する。
【００５３】
〔初期化処理フロー〕
図１４に，図１３のステップＳ２で行う初期化処理の詳細について示し，以下で説明する。
ステップＳ２１：検索条件を満たすすべてのモジュール組合せ方法に対して，番号ａを割り振り対応づける。「Ｋ＝すべてのモジュール組合せ方法の数」とする。
ステップＳ２２：モジュール組合せ方法ａの検索条件を満たすすべての付随パラメータの組合せに対し，番号ｂ（ａ）を対応づける。「Ｐ（ａ）＝モジュール組合せ方法ａのパラメータ組合せ数」とする。
ステップＳ２３：変数の初期化を行う。「ａ＝１」，「ｂ＝０」，「ｃ＝０」とする。
【００５４】
〔初期特徴抽出方法群の生成処理フロー〕
図１５に，図１３のステップＳ３で行う初期特徴抽出方法群の生成処理フローを示し，以下で説明する。
ステップＳ３１：２Ｉを定義する。２Ｉはシステム固有の値，もしくは，入力によってユーザが与える値である。また，「ｉ＝１」とする。
ステップＳ３２：特徴抽出方法評価ＤＢ９より，評価の高い特徴抽出方法をＩ個選択し，バッファ部５２に一時記憶する。対応する番号（１，２，…，Ｉ）を個体番号とする。これにより，過去に行った評価によって特徴抽出方法評価ＤＢ９に保存されている特徴抽出方法がＩ個選択されることになる。さらにＩ個の新しい特徴抽出方法を生成するため，「ｉ＝Ｉ＋１」とし，以下の処理を行う。
ステップＳ３３：検索条件を満たす特徴抽出方法を作成する。詳細は図１７〜図２３に示す検索条件を満たす特徴抽出方法の生成処理フローにて後述する。
ステップＳ３４：生成した特徴抽出方法を個体番号ｉとともにバッファ部５２に一時記憶する。
ステップＳ３５：「ｉ＝ｉ＋１」とする。
ステップＳ３６：「２Ｉ＜ｉ」を満たすかどうかを判断し，満たさなければ，ステップＳ３３に戻り，満たす場合には処理を終了し，図１３のステップＳ５に進む。
【００５５】
〔特徴抽出方法の生成処理フロー〕
図１６に特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ４１：「ｉ＝１」とする。
ステップＳ４２：検索条件を満たす特徴抽出方法を作成する。詳細は図１７〜図２３に示す検索条件を満たす特徴抽出方法の生成処理フローにて後述する。
ステップＳ４３：特徴抽出方法を個体番号ｉとともにバッファ部５２に一時記憶する。
ステップＳ４４：「ｉ＝ｉ＋１」とする。
ステップＳ４５：「必要個体数＜ｉ」かを判断し，「必要個体数＜ｉ」を満たさなければ，ステップＳ４２に戻り，満たす場合には，次のステップＳ５（図１３）に進む。必要個体数は，あらかじめ定めた１世代分の評価対象とする特徴抽出方法の数である。
【００５６】
〔検索条件を満たす特徴抽出方法の生成処理フロー〕
図１７に，モジュール組合せ方法が全探索，パラメータの検索方法が全探索である場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２０１：「ｂ＝ｂ＋１」とする。
ステップＳ２０２：「Ｐ（ａ）＜ｂ」かを判断し，「Ｐ（ａ）＜ｂ」ならば，ステップＳ２０５へ進む。「Ｐ（ａ）＜ｂ」でない場合（ａ番目のモジュール組合せ方法のパラメータのすべての組合せが終了した場合）には，ステップＳ２０３へ進む。
ステップＳ２０３：「ｂ＝０」，「ａ＝ａ＋１」とし，次のモジュール組合せ方法の探索に移る。
ステップＳ２０４：「Ｋ＜ａ」かを判断し，「Ｋ＜ａ」ならば，図１３のステップＳ５に進む。「Ｋ＜ａ」でなければ，ステップＳ２０１へ進む。
ステップＳ２０５：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００５７】
図１８に，モジュール組合せ方法が全探索，パラメータの検索方法が確率的探索である場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２１１：検索条件を満たす範囲でランダムにｂを決定する。「ｃ＝ｃ＋１」とする。ｃは，パラメータ組合せ数のカウント用変数である。
ステップＳ２１２：「Ｃ＜ｃ」かを判断し，「Ｃ＜ｃ」ならば，ステップＳ２１５へ進む。ただし，Ｃはシステム固有の値もしくはユーザによって与えられる値である。また，「Ｃ＜ｃ」でなければ，ステップＳ２１３へ進む。
ステップＳ２１３：「ｃ＝０」，「ａ＝ａ＋１」とする。
ステップＳ２１４：「Ｋ＜ａ」かを判断し，「Ｋ＜ａ」ならば図１３のステップＳ５へ進み，「Ｋ＜ａ」でなければステップＳ２１１へ戻る。
ステップＳ２１５：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００５８】
図１９に，モジュール組合せ方法が確率的探索，パラメータの検索方法が全探索である場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２２１：「ｂ＝ｂ＋１」とする。
ステップＳ２２２：「Ｐ（ａ）＜ｂ」かを判断し，「Ｐ（ａ）＜ｂ」ならば，ステップＳ２２４へ進み，「Ｐ（ａ）＜ｂ」でない場合には，ステップＳ２２３へ進む。
ステップＳ２２３：「ｂ＝０」とし，検索条件を満たす範囲でランダムにａを決定し，ステップＳ２２１へ戻る。
ステップＳ２２４：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００５９】
図２０に，モジュール組合せ方法が確率的探索，パラメータの検索方法が確率的探索である場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２３１：検索条件を満たす範囲でランダムにｂを決定する。「ｃ＝ｃ＋１」とする。
ステップＳ２３２：「Ｃ＜ｃ」かを判断し，「Ｃ＜ｃ」ならば，ステップＳ２３５へ進む。ただし，Ｃはシステム固有の値もしくはユーザによって与えられる値である。「Ｃ＜ｃ」でない場合には，ステップＳ２３３へ進む。
ステップＳ２３３：「ｃ＝０」，「ａ＝ａ＋１」とする。
ステップＳ２３４：「ｂ＝０」とし，検索条件を満たす範囲でランダムにａを決定し，ステップＳ２３１へ戻る。
ステップＳ２３５：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００６０】
図２１に，モジュール組合せ方法が全探索，パラメータの検索方法が遺伝的アルゴリズムである場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２４１：既に評価済みの特徴抽出方法（モジュールの組合せ方法ａ）の評価値Ｔを利用し，複数の既に評価済みの特徴抽出方法のパラメータを選択し，そのパラメータを交叉・突然変異することによってｂを決定する。「ｃ＝ｃ＋１」とする。
ステップＳ２４２：「Ｃ＜ｃ」かを判断し，「Ｃ＜ｃ」ならば，ステップＳ２４５へ進む。ただし，Ｃはシステム固有の値もしくはユーザによって与えられる値である。「Ｃ＜ｃ」でない場合には，ステップＳ２４３へ進む。
ステップＳ２４３：「ａ＝ａ＋１」，「ｃ＝０」とする。
ステップＳ２４４：「Ｋ＜ａ」かを判断し，「Ｋ＜ａ」ならば図１３のステップＳ５へ進み，「Ｋ＜ａ」でなければステップＳ２４１へ戻る。
ステップＳ２４５：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００６１】
図２２に，モジュール組合せ方法が遺伝的アルゴリズム，パラメータの検索方法が全探索である場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２５１：「ｂ＝ｂ＋１」とする。
ステップＳ２５２：「Ｐ（ａ）＜ｂ」かを判断し，「Ｐ（ａ）＜ｂ」ならば，ステップＳ２５４へ進み，「Ｐ（ａ）＜ｂ」でない場合には，ステップＳ２５３へ進む。
ステップＳ２５３：既に評価済みの特徴抽出方法の評価値Ｔを利用し，複数の既に評価済みの特徴抽出方法を選択し，その特徴抽出方法を交叉・突然変異することによってａを決定する。評価済みの特徴抽出方法がない場合，ランダムにａを決定する。その後，ステップＳ２５１へ戻る。
ステップＳ２５４：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００６２】
図２３に，モジュール組合せ方法が遺伝的アルゴリズム，パラメータの検索方法が遺伝的アルゴリズムである場合の，検索条件を満たす特徴抽出方法の生成処理フローを示し，以下で説明する。
ステップＳ２６１：既に評価済みの特徴抽出方法（モジュールの組合せ方法ａ）の評価値Ｔを利用し，複数の既に評価済みの特徴抽出方法のパラメータを選択し，そのパラメータを交叉・突然変異することによってｂを決定する。「ｃ＝ｃ＋１」とする。
ステップＳ２６２：「Ｃ＜ｃ」かを判断し，「Ｃ＜ｃ」ならば，ステップＳ２６５へ進む。ただし，Ｃはシステム固有の値もしくはユーザによって与えられる値である。「Ｃ＜ｃ」でない場合には，ステップＳ２６３へ進む。
ステップＳ２６３：「ａ＝ａ＋１」，「ｃ＝０」とする。
ステップＳ２６４：既に評価済みの特徴抽出方法の評価値Ｔを利用し，複数の既に評価済みの特徴抽出方法を選択し，その特徴抽出方法を交叉・突然変異することによってａを決定する。評価済みの特徴抽出方法がない場合，ランダムにａを決定する。その後，ステップＳ２６１へ戻る。
ステップＳ２６５：ａ番目に対応するモジュール組合せ方法と，ｂ番目に対応するパラメータ組合せを作成する。その後，呼び出し元へ戻る。
【００６３】
〔特徴空間の構成および評価の処理フロー〕
図２４は，特徴空間の構成と評価処理フローを示し，以下で説明する。
ステップＳ８０１：「ｎ＝１」とする。評価値の最も高い圧縮特徴ベクトルを選択しＦ（ｎ）とする。
ステップＳ８０２：すべての特徴抽出方法ｆｅｔ（ｊ）の圧縮特徴ベクトルＦ（ｊ）と，選択された圧縮特徴ベクトルＦ（ｎ）の類似度Ｃｏｖ（ｊ，ｎ）を計算する。例えば，Ｃｏｖ（ｊ，ｎ）は，Ｆ（ｊ）とＦ（ｎ）の相関値として定義する。
ステップＳ８０３：「ｎ＝ｎ＋１」とする。特徴抽出方法の評価値Ｔ（ｊ）と類似度Ｃｏｖ（ｊ，ｎ−１）を基に，次の圧縮特徴ベクトルを選択し，Ｆ（ｎ）とする。ここでは，評価値が高く，かつ，選択済みの圧縮特徴ベクトルと性質の異なる圧縮特徴ベクトルを選ぶ。例えば，選択されていない圧縮特徴ベクトルの中でＴ（ｊ）−Σ_ｋ＝１ ^ｎ−１Ｃｏｖ（ｊ，ｋ）が最大となる圧縮特徴ベクトルをＦ（ｎ）とすることで実現できる。
ステップＳ８０４：「Ｄｉｍ＜ｎ」かを判断し，「Ｄｉｍ＜ｎ」ならばステップＳ８０５へ進み，「Ｄｉｍ＜ｎ」でない場合には，ステップＳ８０２へ進む。ただし，Ｄｉｍはユーザによって入力される最大特徴空間次元数である。
ステップＳ８０５：Ｆ（１）〜Ｆ（ｎ）で構成される特徴空間に対し，入力された認識アルゴリズムを用いて認識率を求める。例えば，市街地領域のサンプル分布を生起分布と仮定し，生起分布のパラメータを求める。同様にして非市街地領域のサンプル分布のパラメータを求める。この分布から，ベイズ推定を適用して認識率を求める。また，特徴空間上の分布を用いて特徴空間の評価値Ｅ（ｎ）を計算する。例えば，Ｅ（ｎ）は，以下のＡＩＣやＭＤＬを用いる。
【００６４】
ＡＩＣ＝−２×（最大対数尤度）＋２×（特徴抽出方法数）
ＭＤＬ＝−（最大対数尤度）＋（（特徴抽出方法数）×ｌｏｇ（学習サンプル数））／２
ステップＳ８０６：「ｎ＝ｎ−１」とする。
ステップＳ８０７：「ｎ＝０」かを判断し，「ｎ＝０」ならばステップＳ８０８へ進み，「ｎ＝０」でなければ，ステップＳ８０５へ進む。
ステップＳ８０８：評価値Ｅ（ｎ）が最小となる特徴空間を選択する。
ステップＳ８０９：Ｔ（ｊ）の高い特徴抽出方法を特徴抽出方法評価ＤＢ９に登録する。
【００６５】
以上の画像処理プログラム検索手段４が行う処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【００６６】
実施の形態３と実施の形態２の違いは，実施の形態３では，過去に評価した特徴抽出方法の評価情報を特徴抽出方法評価ＤＢ９に保存し，その保存した特徴抽出方法の評価情報を利用することにより，画像処理プログラムモジュールの検索の効率化を図っているのに対し，実施の形態２では，特にそのような過去に評価した特徴抽出方法の評価情報を用いることはしていないことである。
【００６７】
また，実施の形態１では，画像処理プログラムモジュールの検索条件をユーザから入力する手段を持たないので，画像処理プログラムモジュールＤＢ３に格納されている画像処理プログラムモジュールを選択するときに，検索条件を判断しない点が他の実施の形態と異なる。
【００６８】
以上，市街地認識アルゴリズム開発に適用する例を示したが，本発明は，この例に限定されるものではなく，学習サンプルを変えれば，様々な認識の開発にも利用できる。
【００６９】
【発明の効果】
以上述べたように，本発明によると入出力の型によって分類した画像処理プログラムモジュールを蓄積しておき，検索条件に従って，最終的に認識率によって高い評価値を示す認識アルゴリズムを検索するため，特徴抽出処理の手順や特徴抽出処理のパラメータによって異なる性質を，画像認識アルゴリズム開発者が詳細に知らなくても，高い識別率を実現する画像認識アルゴリズムを見つけることができる。
【００７０】
また，検索条件として，検索対象となる画像処理プログラムモジュールを組み合わせるパターンと，検索対象となる画像処理プログラムモジュールと，画像処理プログラムモジュールの組合せ方法と，画像処理プログラムモジュールに固有のパラメータの検索範囲および刻み幅と，前記パラメータの設定方法を選択するパラメータ検索方法と，認識アルゴリズム評価段階にて用いる識別方法を選択することができるため，膨大な量の検索空間を，探索範囲を絞って研究開発者のノウハウを利用して所望の検索を行うことができる。
【００７１】
また，各検索毎に，特徴ベクトルと，前記圧縮特徴ベクトルと，前記圧縮特徴ベクトルの分布評価値を保存し，かつ，特徴抽出方法の生成の際に，保存されたベクトル，および評価値を利用するため，他の検索で高い評価値を示した特徴抽出方法から順に検索を行うことができ，認識アルゴリズムの検索を効率化することができる。
【００７２】
また，特徴ベクトルを次元圧縮して圧縮特徴ベクトルを計算し，圧縮特徴ベクトルの分布の評価値を計算するため，物理的な意味を持つ特徴ベクトルの評価を直感的に得やすい。該評価値を基に複数の圧縮特徴ベクトルを組み合わせて特徴空間を構成し，該特徴空間を評価するため，学習サンプル数および分布に応じた特徴空間を構成することができ，認識アルゴリズムの汎用性を確保できる。
【００７３】
以上により，本発明によって認識アルゴリズムの開発が効率化される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示す図である。
【図２】本発明の第２の実施の形態を示す図である。
【図３】本発明の第３の実施の形態を示す図である。
【図４】画像処理プログラムモジュールＤＢの一例を示す図である。
【図５】学習サンプルＤＢの一例を示す図である。
【図６】検索条件入力手段の構成を示す図である。
【図７】終了条件入力インタフェースの一例を示す図である。
【図８】パターン検索条件入力インタフェースの一例を示す図である。
【図９】各モジュール検索条件の入力インタフェースの一例を示す図である。
【図１０】パラメータ検索条件入力インタフェースの一例を示す図である。
【図１１】特徴抽出方法評価ＤＢの一例を示す図である。
【図１２】認識アルゴリズム評価手段の構成を示す図である。
【図１３】本発明の画像処理プログラム検索手段の処理フローを示す図である。
【図１４】初期化処理の詳細について示す図である。
【図１５】初期特徴抽出方法群の生成処理フローを示す図である。
【図１６】特徴抽出方法の生成処理フローを示す図である。
【図１７】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図１８】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図１９】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図２０】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図２１】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図２２】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図２３】検索条件を満たす特徴抽出方法の生成処理フローを示す図である。
【図２４】特徴空間の構成と評価処理フローを示す図である。
【符号の説明】
１　　画像認識アルゴリズム生成装置
２　　学習サンプルＤＢ
３　　画像処理プログラムモジュールＤＢ
４　　画像処理プログラム検索手段
５　　認識アルゴリズム評価手段
６　　市街地認識アルゴリズム
７　　検索条件
８　　検索条件入力手段
９　　特徴抽出方法評価ＤＢ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention automatically generates and evaluates a feature extraction method when learning data (image data + data indicating a category to which the image belongs) of a target image to be recognized is developed, and develops a target image recognition algorithm. Alternatively, it is a technology that supports generation and belongs to the field of image recognition technology, which is one of the image processing technologies.
[0002]
[Prior art]
The image recognition technology is a technology for specifying which category a certain region in image data belongs to. Image recognition methods can be broadly classified into pattern matching methods and statistical identification methods.
[0003]
In the pattern matching method, it is detected whether an input image has the same pattern as a standard pattern created in advance or a similar pattern. The standard pattern is expressed using features that show the pattern well. In a typical template matching method, a template featuring a grayscale image or a template featuring a differential grayscale image obtained by differentiating a grayscale image is generally used as a standard pattern. Etc. are determined by the know-how of the research and development staff.
[0004]
In the statistical identification method, the co-occurrence probability of a feature vector of an input image and a certain category is calculated, and the category having the maximum occurrence is defined as the category to which the input image belongs. The co-occurrence probability of a certain category is created in advance by the researcher and developer devising multiple features and feature extraction methods that distinguish the category categories well and evaluating the learning sample distribution in the feature space composed of multiple features. It is necessary to keep.
[0005]
In the Bayesian estimation method, which is a typical method, a feature group effective for discrimination depends on an object to be discriminated, and a feature space is generally determined by know-how of a research and development person.
[0006]
As described above, in the conventional image recognition technology, in developing a system, it is necessary for a researcher / developer to examine target learning data and determine a feature and a feature extraction method based on experience and know-how.
[0007]
[Problems to be solved by the invention]
2. Description of the Related Art In recent years, in image recognition, there has been an increasing demand for identifying more complicated objects and objects with moderate shooting conditions. At that time, as described above, it is necessary for the researcher to determine the feature and the feature extraction method. However, there are the following five problems in dealing with the conventional method.
[0008]
1. The features extracted by a certain feature extraction method have different properties depending on the procedure of the feature extraction process and the parameters of the feature extraction process, so the types of possible features are enormous, and it is difficult to select an effective feature from them. .
[0009]
2. Researchers have selected features based on their experience and know-how, but it is becoming difficult to reuse them because information on experience and know-how is difficult to convey, and the volume of papers and materials on feature extraction methods is enormous.
[0010]
3. Even if effective features are known, there are many problems in that when the shooting conditions such as lighting conditions and shooting positions are complicated, the method of extracting the features is not known. For example, considering the task of extracting humans, human features can be defined as having eyes, nose, and mouth in the face. However, if lighting conditions are complicated, the features can be extracted stably. It is generally difficult to do.
[0011]
4. When a complex object is to be recognized or the imaging conditions are complicated, there are many problems that the researcher does not have much experience and know-how and does not know the effective features for identification.
[0012]
5. Since it is not possible to know the true distribution in the feature space, it is not known whether a recognition algorithm that shows a high recognition rate for a learning sample achieves a high recognition rate for an actual input. Therefore, the algorithm cannot be evaluated only from the recognition rate for the learning sample.
[0013]
The present invention provides a technique for automatically generating and evaluating features required for the two image recognition methods and an extraction method thereof to support and generate a target image recognition algorithm in order to solve the above problems. I do.
[0014]
[Means for Solving the Problems]
In the present invention, the following means 1 to 3 are used to solve the above problems 1 to 5.
[0015]
1. The image processing program modules classified according to the input / output type are stored, the image processing program modules are combined according to the search condition, and a parameter specific to the image processing program module is determined to generate a feature extraction method. Using a plurality of learning samples composed of the image to be recognized and desired output data, a feature vector of each learning sample is calculated by a generated feature extraction method, and the feature vector is dimensionally compressed and compressed. A feature vector is calculated, an evaluation value of the distribution of the compressed feature vector is calculated, a feature space is constructed by combining a plurality of compressed feature vectors based on the evaluation value, and the feature space is evaluated. Is searched for a recognition algorithm showing a high evaluation value.
[0016]
2. As the search conditions, a pattern for combining the image processing program modules to be searched, a method for combining the image processing program modules to be searched, the image processing program modules, and a search range and a step size of parameters unique to the image processing program modules And a parameter search method for selecting the parameter setting method and an identification method used in the recognition algorithm evaluation stage.
[0017]
3. For each search, a feature vector, the compressed feature vector, and a distribution evaluation value of the compressed feature vector are stored, and the generated vector and evaluation value are used when generating a feature extraction method.
[0018]
By using the present invention, the following six functions can be obtained.
[0019]
1. Image processing program modules categorized by input / output type are stored, and according to the search conditions, a recognition algorithm that finally shows a high evaluation value by the recognition rate is searched. It is possible to find an image recognition algorithm that achieves a high recognition rate without the developer of the image recognition algorithm knowing in detail the characteristics of the feature extraction methods that differ depending on the type.
[0020]
2. As the search conditions, a pattern for combining the image processing program modules to be searched, a method for combining the image processing program modules to be searched, the image processing program modules, and a search range and a step size of parameters unique to the image processing program modules And a parameter search method for selecting the parameter setting method and an identification method used in the image recognition algorithm evaluation stage, so that a huge amount of search space can be narrowed down by the research and development A desired search can be performed using the know-how.
[0021]
3. To store a feature vector, the compressed feature vector, and a distribution evaluation value of the compressed feature vector for each search, and to use the stored vector and the evaluation value when generating a feature extraction method. In addition, the search can be performed in order from the feature extraction method that shows a high evaluation value in another search, and the search of the recognition algorithm can be made more efficient.
[0022]

Problems

1 and 2 can be solved by the above operations 1 to 3.
[0023]
4. An image recognition algorithm that realizes a high identification rate is searched based on a learning sample including a change in lighting conditions and various shape changes and a feature amount extracted from the learning sample. Therefore, the

problems

3 and 4 do not occur.
[0024]
Further, the following effects can be obtained by using the present invention.
[0025]
5. Since the feature vector is dimensionally compressed to calculate the compressed feature vector and the evaluation value of the distribution of the compressed feature vector is calculated, the evaluation of the feature vector having a physical meaning can be easily obtained intuitively.
[0026]
6. Based on the evaluation value, a plurality of compressed feature vectors are combined to form a feature space, and the feature space is evaluated. Therefore, a feature space according to the number and distribution of learning samples can be formed. Can be secured.
[0027]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described by taking as an example a case where the present invention is used for developing an urban area recognition algorithm. The city area recognition algorithm is an algorithm that, when an image of a city area is input, discriminates a category of a city area / non-city area for each pixel.
[0028]
FIG. 1 is a diagram showing a first embodiment of the present invention. In FIG. 1, the image recognition algorithm generation device 1 is configured by an image processing program module database (hereinafter, referred to as DB) 3 and an image processing program search unit 4. The image processing program search means 4 has a recognition algorithm evaluation means 5. In the first embodiment of the present invention, an image processing program module, which is a part of a city area recognition algorithm 6 for inputting a learning sample DB2 and realizing high-precision recognition of an image input, includes an image processing program. A search is performed from the module DB3, and a city area recognition algorithm 6 is output from the search result.
[0029]
FIG. 2 is a diagram showing a second embodiment of the present invention. In FIG. 2, the image processing program search means 4 includes a search condition input means 8 and a recognition algorithm evaluation means 5. The search condition 7 is input via a search condition input unit 8, and the recognition algorithm evaluation unit 5 is for realizing high-precision recognition based on information of a set of an image and a category described in the learning sample DB 2. The image processing program module which is a part of the city area recognition algorithm 6 is searched from the image processing program module DB3, and the city area recognition algorithm 6 is output from the search result.
[0030]
FIG. 3 is a diagram showing a third embodiment of the present invention. 3, the image processing program search means 4 includes a search condition input means 8, a feature extraction method evaluation DB 9, and a recognition algorithm evaluation means 5. The recognition algorithm evaluation means 5 refers to the feature extraction method evaluation value described in the feature extraction method evaluation DB 9 and learns while recording the evaluation result of the feature extraction method evaluated during the search in the feature extraction method evaluation DB 9. Based on the information of the set of image and category described in the sample DB2, an image processing program module which is a part of the city area recognition algorithm 6 for realizing high-precision recognition is searched from the image processing program module DB3. The city area recognition algorithm 6 is output from the search result.
[0031]
Hereinafter, the configuration and operation of the third embodiment of the present invention will be described as an example, but the present invention is not limited to the third embodiment.
[0032]
[Configuration of each system / DB]
FIG. 4 is a diagram illustrating an example of the image processing program module DB3. As shown in FIG. 4, the image processing program module DB3 registers the image processing program module in the database, deletes the image processing module from the database, or deletes the image processing program module from the database in response to the input of the registration / deletion / output request of the image processing program module. Read and output. Hereinafter, the configuration will be described.
[0033]
The image processing program module DB3 has a program module data table 31 for storing a program obtained by modularizing the feature extraction method for each process, and a parameter data table 32 for storing types of input parameters to the image processing program module. The program module data table 31 has, as entries, a program number, a program name, a program type, and a parameter number group which is an index to the parameter data table 32. The program type describes the result of classifying each program module data into one of image-image conversion, image-partial image conversion, image-N-dimensional feature conversion, and N-dimensional feature-one-dimensional feature conversion. .
[0034]
The parameter data table 32 has a parameter number, a parameter name, a parameter type, the number of dimensions, a value, an upper limit, and a lower limit as entries.
[0035]
FIG. 5 is a diagram illustrating an example of the learning sample DB2. As shown in FIG. 5, in response to the input of the sample registration / deletion / output request, the learning sample DB2 registers the sample in the database, deletes the sample from the database, or reads out the sample from the database and outputs the sample. Hereinafter, an example of the configuration will be described.
[0036]
The learning sample DB 2 has a learning sample data table 21 and a table of an original image file 22 and a category image file 23. The learning sample data table 21 has, as entries, a sample data number, a file name as an index to the original image file 22, and a file name as an index to the category image file 23. The original image file 22 has a file name, an image size, an image format, and an image as entries. The category image file 23 has, as entries, a file name, an image size, an image format, an image, a value of an urban area, and a value of a non-urban area.
[0037]
Here, as an example of the data structure of one sample generated from the category image file 23, there is {sample number, image coordinates x, image coordinates y, category value, peripheral image data}. The peripheral image data means image data (pixel values of adjacent pixels, etc.) around image coordinates x and image coordinates y. The learning sample DB2 and the sample data structure shown here are examples, and may have different structures depending on each application.
[0038]
FIG. 6 is a diagram showing the configuration of the search condition input means 8. As shown in FIG. 6, the search condition input means 8 provides the user 10 with an interface for inputting search conditions such as an end condition, a pattern search condition, a module search condition, and a parameter search condition. Output to the recognition algorithm evaluation means 5. Hereinafter, the configuration will be described.
[0039]
The search condition input means 8 includes a communication unit 81 for communicating with an external system, a buffer unit 82 for temporarily storing various conditions, an end condition input interface 83 for providing an end condition input interface, and a module combination pattern of a feature extraction method. It comprises a pattern search condition input interface 84 that provides a condition input interface, a module search condition input interface 85 that provides a module search condition input interface, and a parameter search condition input interface 86 that provides a parameter search condition input interface.
[0040]
FIG. 7 is an example of the end condition input interface 83, and the user 10 can input an end condition relating to the search time and the recognition rate. In the example of FIG. 7, a maximum search time of 24 hours is set as the end condition of the search time, and a recognition rate of 90% or more is set as the end condition of the recognition rate.
[0041]
FIG. 8 is a diagram showing an example of the pattern search condition input interface 84. The user 10 selects a pattern of the module combination of the feature extraction method from the pattern list 841. The procedure and the module pattern are displayed in the pattern details 842 for the selected pattern. In this example, each procedure is displayed as a hexagon when the candidate module of each procedure is composed of a plurality of modules, and as a rectangle when it is composed of one module.
[0042]
The procedure 1 is “image-image conversion”, and the candidate modules are shown in the procedure 1 of the module list 843. This list of candidate modules is obtained via the image processing program module DB3, and the "image-image conversion" is constituted by a plurality of modules of "Laplacian", "smoothing", and "intermediate value filter". , The procedure 1 in the pattern details 842 is indicated by a hexagon. The procedure 2 is “histogram conversion”, and the candidate module is shown in the procedure 2 of the module list 843. Since this is composed of one module of “histogram conversion”, the procedure 2 is It is shown as a square. Procedure 3 is the same.
[0043]
The user 10 can input the identification method, the maximum feature space dimension, and the combination method of the modules used by the recognition algorithm evaluation means 5 from the pattern search condition input interface 84. As a module combination method, there are a full search for searching all combinations and a search by a genetic algorithm which is a kind of stochastic search. Although not shown, a general stochastic search can be used.
[0044]
FIG. 9 is a diagram showing an example of an input interface of each module search condition, and shows a module search condition input screen of “smoothing” which is a module of procedure 1 of the module list 843 in FIG. This module search condition input screen is displayed by selecting one module in the module list 843 in the pattern search condition input interface 84 of FIG. 8 and clicking a button "Detailed module settings". The user 10 can input via the module search condition input interface 85 whether or not to perform a module search. Further, it is possible to give an instruction to make detailed settings for the accompanying parameters.
[0045]
FIG. 10 is a diagram showing an example of the parameter search condition input interface 86, and shows a search condition input screen for the window size (filter size of the smoothing filter) selected by the accompanying parameters in FIG. This search condition input screen is displayed by clicking a button of “perform detailed settings” of the associated parameter in the module search condition input interface 85 of FIG. The user 10 can input, from the parameter search condition input interface 86, whether to search for a parameter. When performing a search, the parameter search method, parameter upper limit value, parameter lower limit value, and parameter step width can be input. If you do not search, you can enter parameter values. As a parameter search method, there are a full search for searching all combinations and a search by a genetic algorithm which is a kind of stochastic search. Although not shown, a general stochastic search can be used.
[0046]
FIG. 11 is a diagram illustrating an example of the feature extraction method evaluation DB 9. As shown in FIG. 11, the feature extraction method evaluation DB 9 registers the feature extraction method evaluation data in the database or deletes it from the database in response to the registration / deletion / output request input of the feature extraction method evaluation. And output it. Hereinafter, an example of the configuration will be described.
[0047]
The feature extraction method evaluation DB 9 has a feature extraction method evaluation data table 91 and has, as entries, a feature extraction method evaluation number, a feature extraction method, an evaluation value, and a target application name. As a feature extraction method, an image processing program module number and a value of an associated parameter are described for each procedure. The target application name is the name of the recognition algorithm (program) given by the user as needed for each feature extraction method. The feature extraction method evaluation data table 91 of the feature extraction method evaluation DB 9 initially has no data, but the recognition algorithm evaluation means 5 generates a feature extraction method by using the image recognition algorithm generation device 1, and the If there is a feature extraction method with a high evaluation, the data is automatically registered and the data is accumulated.
[0048]
FIG. 12 is a diagram showing the configuration of the recognition algorithm evaluation means 5. 12, the recognition algorithm evaluation means 5 outputs the city area recognition algorithm 6 in cooperation with the image processing program module DB3, the learning sample DB2, the search condition 7, and the feature extraction method evaluation DB9.
[0049]
The recognition algorithm evaluation means 5 includes a communication unit 51 for communicating with an external system, a buffer unit 52 for temporarily storing various conditions, and a feature extraction method generation unit 53 for generating a feature extraction method by combining image processing program modules. A feature vector calculating unit 54 that calculates the feature amounts of all the learning samples according to the feature extraction method to obtain a feature vector, a compressed feature vector calculating unit 55 that compresses the feature vector, and a feature extraction method evaluation unit 56 that evaluates the feature extraction method. A feature extraction method similarity evaluation unit 57 for evaluating the similarity between feature extraction methods, a feature space generation unit 58 that combines a plurality of highly evaluated feature extraction methods, and outputs a recognition algorithm by evaluating the generated feature space. It comprises a recognition algorithm evaluation unit 59.
[0050]
[Processing flow of image processing program search means 4]
FIG. 13 is a diagram showing a processing flow of the image processing program search means 4 of the present invention, which will be described below.
Step S1: The learning sample group S and the search condition are read.
Step S2: Initialize the program. Details of the initialization will be described later according to the initialization processing flow shown in FIG.
Step S3: Generate an initial feature extraction method group. The detailed processing content will be described later according to the generation processing flow of the initial feature extraction method group shown in FIG. The feature extraction method is defined by the module combination method and its associated parameter group.
Step S4: Generate a feature extraction method fet (j). The detailed processing contents will be described later according to the generation processing flow of the feature extraction method shown in FIG. Here, j is a number specifying the feature extraction method, and the number of generated feature extraction methods is the maximum value of j.
Step S5: The feature vectors V (j, sample numbers) of all the learning sample groups are obtained based on the feature extraction method. For example, V (j, sample number) = (feature vector, category). Here, the feature amount vector is a feature calculated by a feature extraction method, and is expressed by a primary or higher order vector.
Step S6: Calculate compressed feature vectors for all feature vectors based on the feature extraction method. For example, a Fisher axis is obtained from a category corresponding to the feature vector, and the feature vector is projected on the Fisher axis to obtain a compressed feature vector CV (j, sample number). CV = (projection vector, category). Further, the first principal component axis may be obtained by principal component analysis, and the feature vector may be projected on the first principal component axis to be a compressed feature vector.
Step S7: An evaluation value T (j) of the feature extraction method is calculated using all the compressed feature vectors. For example, information entropy H is set as an evaluation value. Information entropy H is
[0051]
(Equation 1)

[0052]
Indicated by Where p_ct(X) is the probability that the sample belongs to the category ct when the feature amount (compressed feature vector) is x, and can be calculated from the distribution of the compressed feature vector. CN is the number of categories. The evaluation value to be used is not limited to the information entropy, and may be, for example, a Mahalanobis distance. Steps S5 to S7 are looped by the number of individuals (the number of generated feature extraction methods).
Step S8: Perform configuration and evaluation of the feature space. Details will be described later in the processing flow of the configuration and evaluation of the feature space shown in FIG.
Step S9: A search end condition is checked. The search time and the recognition rate are compared with the search conditions. If the search conditions are not satisfied, the process proceeds to step S4. If the search condition is satisfied, the process proceeds to the next step S10.
Step S10: Output the recognition algorithm (in this example, the city area recognition algorithm 6) and end.
[0053]
[Initialization process flow]
FIG. 14 shows details of the initialization processing performed in step S2 of FIG. 13, and will be described below.
Step S21: Assign a number a to all module combination methods that satisfy the search condition. Let “K = the number of all module combination methods”.
Step S22: The number b (a) is associated with all the combinations of the accompanying parameters that satisfy the search condition of the module combination method a. Let “P (a) = the number of parameter combinations in module combination method a”.
Step S23: Initialize variables. It is assumed that "a = 1", "b = 0", and "c = 0".
[0054]
[Generation processing flow of initial feature extraction method group]
FIG. 15 shows a flow of a process of generating an initial feature extraction method group performed in step S3 of FIG. 13, and will be described below.
Step S31: 2I is defined. 2I is a value unique to the system or a value given by the user through input. Also, “i = 1” is set.
Step S32: Select I feature extraction methods with high evaluation from the feature extraction method evaluation DB 9 and temporarily store them in the buffer unit 52. The corresponding number (1, 2,..., I) is an individual number. As a result, I feature extraction methods stored in the feature extraction method evaluation DB 9 are selected by the evaluation performed in the past. Further, in order to generate I new feature extraction methods, “i = I + 1” and the following processing is performed.
Step S33: Create a feature extraction method that satisfies the search condition. Details will be described later in the generation processing flow of the feature extraction method satisfying the search condition shown in FIGS.
Step S34: The generated feature extraction method is temporarily stored in the buffer unit 52 together with the individual number i.
Step S35: “i = i + 1” is set.
Step S36: It is determined whether or not “2I <i” is satisfied. If not, the process returns to step S33. If so, the process ends and the process proceeds to step S5 in FIG.
[0055]
[Generation processing flow of feature extraction method]
FIG. 16 shows a generation processing flow of the feature extraction method, which will be described below.
Step S41: "i = 1" is set.
Step S42: Create a feature extraction method that satisfies the search condition. Details will be described later in the generation processing flow of the feature extraction method satisfying the search condition shown in FIGS.
Step S43: The feature extraction method is temporarily stored in the buffer unit 52 together with the individual number i.
Step S44: “i = i + 1” is set.
Step S45: It is determined whether “the required number of individuals <i”. If the “the required number of individuals <i” is not satisfied, the process returns to the step S42. The required number of individuals is a predetermined number of feature extraction methods to be evaluated for one generation.
[0056]
[Generation processing flow of feature extraction method that satisfies search conditions]
FIG. 17 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a full search and the parameter search method is a full search, and will be described below.
Step S201: “b = b + 1” is set.
Step S202: It is determined whether “P (a) <b”. If “P (a) <b”, the process proceeds to step S205. If “P (a) <b” is not satisfied (if all combinations of the parameters of the a-th module combination method have been completed), the process proceeds to step S203.
Step S203: Set “b = 0” and “a = a + 1”, and proceed to search for the next module combination method.
Step S204: It is determined whether “K <a”. If “K <a”, the process proceeds to step S5 in FIG. If not “K <a”, the process proceeds to step S201.
Step S205: Create an a-th module combination method and a b-th parameter combination. Then, return to the caller.
[0057]
FIG. 18 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a full search and the parameter search method is a stochastic search, which will be described below.
Step S211: b is randomly determined within a range satisfying the search condition. It is assumed that “c = c + 1”. c is a variable for counting the number of parameter combinations.
Step S212: It is determined whether “C <c”. If “C <c”, the process proceeds to step S215. Here, C is a value unique to the system or a value given by the user. If “C <c” is not satisfied, the process proceeds to step S213.
Step S213: “c = 0” and “a = a + 1” are set.
Step S214: It is determined whether “K <a”. If “K <a”, the process proceeds to step S5 in FIG. 13, and if “K <a”, the process returns to step S211.
Step S215: Create a module combination method corresponding to the ath and a parameter combination corresponding to the bth. Then, return to the caller.
[0058]
FIG. 19 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a stochastic search and the parameter search method is a full search, and will be described below.
Step S221: “b = b + 1” is set.
Step S222: It is determined whether "P (a) <b". If "P (a) <b", the process proceeds to step S224. If not "P (a) <b", the process proceeds to step S223.
Step S223: “b = 0”, a is randomly determined within a range satisfying the search condition, and the process returns to step S221.
Step S224: Create a module combination method corresponding to the a-th and a parameter combination corresponding to the b-th. Then, return to the caller.
[0059]
FIG. 20 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a stochastic search and the parameter search method is a stochastic search, and will be described below.
Step S231: b is randomly determined within a range satisfying the search condition. It is assumed that “c = c + 1”.
Step S232: It is determined whether “C <c”. If “C <c”, the process proceeds to step S235. Here, C is a value unique to the system or a value given by the user. If “C <c” is not satisfied, the process proceeds to step S233.
Step S233: “c = 0” and “a = a + 1” are set.
Step S234: “b = 0”, a is randomly determined within a range satisfying the search condition, and the process returns to step S231.
Step S235: A module combination method corresponding to the a-th and a parameter combination corresponding to the b-th are created. Then, return to the caller.
[0060]
FIG. 21 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a full search and the parameter search method is a genetic algorithm, and will be described below.
Step S241: Using the evaluation value T of the already evaluated feature extraction method (module combination method a), selecting a plurality of parameters of the already evaluated feature extraction method, and crossing and mutating the parameters. Determine b. It is assumed that “c = c + 1”.
Step S242: It is determined whether “C <c”. If “C <c”, the process proceeds to step S245. Here, C is a value unique to the system or a value given by the user. If “C <c” is not satisfied, the process proceeds to step S243.
Step S243: “a = a + 1” and “c = 0” are set.
Step S244: It is determined whether “K <a”. If “K <a”, the process proceeds to step S5 in FIG. 13, and if “K <a”, the process returns to step S241.
Step S245: A module combination method corresponding to the a-th and a parameter combination corresponding to the b-th are created. Then, return to the caller.
[0061]
FIG. 22 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a genetic algorithm and the parameter search method is a full search, which will be described below.
Step S251: “b = b + 1” is set.
Step S252: It is determined whether “P (a) <b”. If “P (a) <b”, the process proceeds to step S254. If not “P (a) <b”, the process proceeds to step S253.
Step S253: Using the evaluation value T of the already evaluated feature extraction method, a plurality of already evaluated feature extraction methods are selected, and a is determined by crossing and mutating the feature extraction methods. If there is no evaluated feature extraction method, a is determined at random. Then, the process returns to step S251.
Step S254: Create a module combination method corresponding to the a-th and a parameter combination corresponding to the b-th. Then, return to the caller.
[0062]
FIG. 23 shows a generation processing flow of a feature extraction method that satisfies a search condition when the module combination method is a genetic algorithm and the parameter search method is a genetic algorithm, and will be described below.
Step S261: Using the evaluation value T of the already evaluated feature extraction method (module combination method a), selecting a plurality of parameters of the already evaluated feature extraction method, and crossing and mutating the parameters. Determine b. It is assumed that “c = c + 1”.
Step S262: It is determined whether “C <c”. If “C <c”, the process proceeds to step S265. Here, C is a value unique to the system or a value given by the user. If “C <c” is not satisfied, the process proceeds to step S263.
Step S263: “a = a + 1” and “c = 0” are set.
Step S264: A plurality of already-evaluated feature extraction methods are selected using the evaluation value T of the already-evaluated feature extraction method, and a is determined by crossing and mutating the feature extraction methods. If there is no evaluated feature extraction method, a is determined at random. Then, the process returns to step S261.
Step S265: Create a module combination method corresponding to the ath and a parameter combination corresponding to the bth. Then, return to the caller.
[0063]
[Feature space configuration and evaluation processing flow]
FIG. 24 shows a configuration of the feature space and an evaluation processing flow, which will be described below.
Step S801: “n = 1” is set. The compressed feature vector having the highest evaluation value is selected and set as F (n).
Step S802: Calculate the similarity Cov (j, n) between the compressed feature vector F (j) of all feature extraction methods fet (j) and the selected compressed feature vector F (n). For example, Cov (j, n) is defined as a correlation value between F (j) and F (n).
Step S803: “n = n + 1” is set. The next compressed feature vector is selected based on the evaluation value T (j) of the feature extraction method and the similarity Cov (j, n-1), and is set as F (n). Here, a compressed feature vector having a high evaluation value and different in properties from the selected compressed feature vector is selected. For example, among the unselected compressed feature vectors, T (j) −Σ_{k = 1} ^n-1This can be realized by setting the compressed feature vector that maximizes Cov (j, k) to F (n).
Step S804: It is determined whether “Dim <n”. If “Dim <n”, the process proceeds to step S805. If “Dim <n”, the process proceeds to step S802. Here, Dim is the maximum feature space dimension number input by the user.
Step S805: A recognition rate is obtained for the feature space composed of F (1) to F (n) using the input recognition algorithm. For example, assuming a sample distribution in an urban area as an occurrence distribution, parameters of the occurrence distribution are obtained. Similarly, the parameters of the sample distribution in the non-urban area are obtained. From this distribution, the recognition rate is obtained by applying Bayesian estimation. Further, the evaluation value E (n) of the feature space is calculated using the distribution on the feature space. For example, E (n) uses the following AIC or MDL.
[0064]
AIC = -2 × (maximum log likelihood) + 2 × (number of feature extraction methods)
MDL = − (maximum log likelihood) + ((number of feature extraction methods) × log (number of learning samples)) / 2
Step S806: “n = n−1” is set.
Step S807: It is determined whether “n = 0”. If “n = 0”, the process proceeds to step S808. If not “n = 0”, the process proceeds to step S805.
Step S808: Select a feature space in which the evaluation value E (n) is minimum.
Step S809: A feature extraction method with a high T (j) is registered in the feature extraction method evaluation DB 9.
[0065]
The processing performed by the image processing program search means 4 can be realized by a computer and a software program, and the program is stored in an appropriate recording medium such as a computer-readable portable medium memory, a semiconductor memory, and a hard disk. It can be executed by a computer by storing it and reading it out.
[0066]
The difference between the third embodiment and the second embodiment is that, in the third embodiment, the evaluation information of the feature extraction method evaluated in the past is stored in the feature extraction method evaluation DB 9 and the stored evaluation information of the feature extraction method is used. By doing so, the search for the image processing program module is made more efficient, whereas the second embodiment does not particularly use such evaluation information of the feature extraction method evaluated in the past. is there.
[0067]
Further, in the first embodiment, since there is no means for inputting the search condition of the image processing program module from the user, the search condition is determined when the image processing program module stored in the image processing program module DB3 is selected. This is different from the other embodiments in that it is not performed.
[0068]
Although the example applied to the development of the city area recognition algorithm has been described above, the present invention is not limited to this example, and can be used for development of various recognitions by changing learning samples.
[0069]
【The invention's effect】
As described above, according to the present invention, image processing program modules classified according to input / output types are stored, and a recognition algorithm that finally shows a high evaluation value by a recognition rate is searched according to search conditions. An image recognition algorithm that realizes a high identification rate can be found without the developer of the image recognition algorithm knowing in detail the properties that differ depending on the procedure of the extraction process and the parameters of the feature extraction process.
[0070]
The search conditions include a pattern for combining the image processing program modules to be searched, a method for combining the image processing program modules to be searched, and the image processing program module, and a search range and a parameter specific to the image processing program module. The step size, the parameter search method for selecting the parameter setting method, and the identification method used in the evaluation step of the recognition algorithm can be selected. A desired search can be performed by utilizing the know-how of (1).
[0071]
Also, for each search, the feature vector, the compressed feature vector, and the distribution evaluation value of the compressed feature vector are stored, and the generated vector and the evaluation value are used when generating the feature extraction method. Therefore, the search can be performed in order from the feature extraction method that showed a high evaluation value in another search, and the search of the recognition algorithm can be made more efficient.
[0072]
Further, since the feature vector is dimensionally compressed to calculate the compressed feature vector and the evaluation value of the distribution of the compressed feature vector is calculated, the evaluation of the feature vector having a physical meaning can be easily obtained intuitively. Based on the evaluation value, a plurality of compressed feature vectors are combined to form a feature space, and the feature space is evaluated. Therefore, a feature space according to the number and distribution of learning samples can be formed. Can be secured.
[0073]
As described above, the development of the recognition algorithm is made more efficient by the present invention.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram showing a second embodiment of the present invention.
FIG. 3 is a diagram showing a third embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of an image processing program module DB.
FIG. 5 is a diagram illustrating an example of a learning sample DB.
FIG. 6 is a diagram showing a configuration of a search condition input unit.
FIG. 7 is a diagram illustrating an example of an end condition input interface.
FIG. 8 is a diagram illustrating an example of a pattern search condition input interface.
FIG. 9 is a diagram illustrating an example of an input interface of each module search condition.
FIG. 10 is a diagram illustrating an example of a parameter search condition input interface.
FIG. 11 is a diagram illustrating an example of a feature extraction method evaluation DB.
FIG. 12 is a diagram showing a configuration of a recognition algorithm evaluation unit.
FIG. 13 is a diagram showing a processing flow of an image processing program search means of the present invention.
FIG. 14 is a diagram illustrating details of an initialization process.
FIG. 15 is a diagram illustrating a generation processing flow of an initial feature extraction method group.
FIG. 16 is a diagram showing a generation processing flow of a feature extraction method.
FIG. 17 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 18 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 19 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 20 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 21 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 22 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 23 is a diagram illustrating a generation processing flow of a feature extraction method satisfying a search condition.
FIG. 24 is a diagram showing a configuration of a feature space and an evaluation processing flow.
[Explanation of symbols]
1 Image recognition algorithm generator
2. Learning sample DB
3. Image processing program module DB
4 Image processing program search means
5. Recognition algorithm evaluation means
6 Urban Area Recognition Algorithm
7 Search conditions
8. Search condition input means
9 Feature extraction method evaluation DB

Claims

An image recognition algorithm generation method for generating a desired image recognition algorithm by combining image processing program modules serving as parts stored in advance, comprising:
Inputting a learning sample composed of an image to be recognized and desired output data;
Generating a plurality of image recognition algorithms combining the stored image processing program modules, and evaluating the generated image recognition algorithms based on the input learning samples;
Outputting an image recognition algorithm having a good evaluation result as a desired image recognition algorithm.

An image recognition algorithm generation method for generating a desired image recognition algorithm by combining image processing program modules serving as parts stored in advance, comprising:
Inputting search conditions of the image processing program module;
Searching the image processing program module according to the input search condition;
Inputting a learning sample composed of an image to be recognized and desired output data;
Evaluating the feature extraction method realized by the combination of the image processing program modules of the search results with the input learning sample;
Constructing at least one feature space combining the one or more feature extraction methods, and evaluating the feature space;
Applying an image recognition algorithm comprising a combination of the image processing program modules to the feature space having a high evaluation, calculating a recognition rate for the learning sample, and evaluating the image recognition algorithm based on the calculated recognition rate; ,
Outputting an image recognition algorithm having a good evaluation result as a desired image recognition algorithm.

In the process of evaluating the feature extraction method,
3. The image recognition algorithm generating method according to claim 2, wherein information on the evaluated feature extraction method and the evaluation result are stored, and the stored information on the feature extraction method and the evaluation result are used.

In the process of evaluating the feature extraction method,
Generating a feature extraction method by combining the image processing program module according to the search condition and the stored evaluation result of the feature extraction method;
For some or all of the learning samples, the feature amount is calculated according to a feature extraction method,
4. The image recognition algorithm generation method according to claim 3, wherein the feature extraction method is evaluated based on the distribution of the feature amount to obtain an evaluation value of the feature extraction method.

In the step of inputting the search condition of the image processing program module,
Selection information of the pattern combining the image processing program modules to be searched, and
Selection information of the image processing program module to be searched;
Selection information of the combination method of the image processing program module,
Selection range and step size selection information of parameters attached to the image processing program module,
Selection information of a setting method of the parameter,
Information for selecting whether to search the image processing program module or the parameter by a full search or a stochastic search;
5. The image recognition algorithm generation according to claim 2, wherein at least one selection information among selection information of an identification method used in the evaluation step of the image recognition algorithm is input. Method.

In the process of constructing and evaluating the feature space,
Select the feature extraction method with the highest evaluation value,
The similarity between the selected feature extraction method and the unselected feature extraction method is obtained, and the process of selecting the next feature extraction method is repeated a predetermined number of times based on the similarity and the evaluation value of the feature extraction method.
The feature space is constructed using all the selected feature extraction methods, and the process of calculating the space evaluation value based on the number of feature extraction methods and the distribution of the feature values is repeated.
6. The image recognition algorithm generation method according to claim 2, wherein a feature space showing the best space evaluation value is selected.

An image recognition algorithm generation device that generates and evaluates an image recognition algorithm that realizes an effective feature extraction method for image recognition,
Image processing program module storage means for storing a plurality of image processing program modules which are parts of an image recognition algorithm;
Learning sample input means for inputting a learning sample composed of an image to be recognized and desired output data;
Means for generating a plurality of image recognition algorithms combining the stored image processing program modules, and evaluating the generated image recognition algorithms based on the input learning samples;
Means for outputting an image recognition algorithm having a good evaluation result as a desired image recognition algorithm.

An image recognition algorithm generation device that generates and evaluates an image recognition algorithm that realizes an effective feature extraction method for image recognition,
Image processing program module storage means for storing a plurality of image processing program modules which are parts of an image recognition algorithm;
Learning sample input means for inputting a learning sample composed of an image to be recognized and desired output data;
Means for inputting search conditions of the image processing program module;
Means for searching for the image processing program module according to the input search condition;
Means for evaluating the feature extraction method realized by the combination of the image processing program modules of the search results with the input learning sample;
Means for configuring at least one feature space combining the one or more feature extraction methods, and evaluating the feature space;
Means for applying an image recognition algorithm comprising a combination of the image processing program modules to the highly evaluated feature space to calculate a recognition rate for the learning sample, and evaluating the image recognition algorithm based on the calculated recognition rate; ,
Means for outputting an image recognition algorithm having a good evaluation result as a desired image recognition algorithm.

An image recognition algorithm generation device that generates and evaluates an image recognition algorithm that realizes an effective feature extraction method for image recognition,
Means for storing an image processing program module which is a component of an image recognition algorithm classified according to an input / output type;
Learning sample input means for inputting a learning sample composed of an image to be recognized and desired output data;
Means for inputting search conditions of the image processing program module;
Combining the image processing program modules according to the input search conditions, determining a parameter unique to the image processing program module, generating a feature extraction method, and using a plurality of learning samples input by the learning sample input means, The feature vector of each learning sample is calculated by the generated feature extraction method, the feature vector is dimensionally compressed to calculate a compressed feature vector, an evaluation value of the distribution of the compressed feature vector is calculated, and based on the evaluation value, A recognition algorithm evaluation means for constructing a feature space by combining a plurality of compressed feature vectors, evaluating the feature space, and finally searching for a recognition algorithm that shows a high evaluation value according to a recognition rate;
Means for outputting an image recognition algorithm having a good evaluation result as a desired image recognition algorithm.

The means for searching for the image processing program includes:
10. The image recognition apparatus according to claim 7, further comprising: a calculation result reuse unit that stores an evaluation result of the feature extraction method and uses the stored evaluation result. Algorithm generator.

An image recognition algorithm generation program for causing a computer to execute the image recognition algorithm generation method according to any one of claims 1 to 6.

A recording medium storing an image recognition algorithm generation program for causing a computer to execute the image recognition algorithm generation method according to any one of claims 1 to 6.