JP2008204103A - 画像認識システム - Google Patents
画像認識システム Download PDFInfo
- Publication number
- JP2008204103A JP2008204103A JP2007038440A JP2007038440A JP2008204103A JP 2008204103 A JP2008204103 A JP 2008204103A JP 2007038440 A JP2007038440 A JP 2007038440A JP 2007038440 A JP2007038440 A JP 2007038440A JP 2008204103 A JP2008204103 A JP 2008204103A
- Authority
- JP
- Japan
- Prior art keywords
- recognizer
- image
- recognizers
- learning
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とする。
【解決手段】学習部4は、教師データの入力をトリガとして現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。認識器の更新は、個々の認識器の評価結果を入替選択部11で参照し、最適な認識器の組み合わせを決定する。組み合わせるべき候補がない場合には、逐次学習部12でGPを用いた学習により新たな認識器を作成する。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせで現在の認識処理部2の複数の認識器を入れ替える。これにより、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【選択図】図5
【解決手段】学習部4は、教師データの入力をトリガとして現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。認識器の更新は、個々の認識器の評価結果を入替選択部11で参照し、最適な認識器の組み合わせを決定する。組み合わせるべき候補がない場合には、逐次学習部12でGPを用いた学習により新たな認識器を作成する。そして、逐次学習で順次追加された認識器を含めた組み合わせが反復評価され、最終的に決定された最適な認識器の組み合わせで現在の認識処理部2の複数の認識器を入れ替える。これにより、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
【選択図】図5
Description
本発明は、複数の認識器を用いて認識処理を行う画像認識システムに関する。
従来、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術においては、各種の認識器が開発されている。
例えば、非特許文献1には、各種画像フィルタを木構造状に組み合わせた認識器を用いる技術が開示されており、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化することで、より複雑な画像認識が可能となる(木構造状画像変換の自動構築法;ACTIT)。
また、特許文献1には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ACTITを拡張した技術が開示されている。特許文献1の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、車載カメラ等による動画像処理の自動構築などが可能となる。
特開2006−178857号公報
青木紳也、外1名、「木構造状画像変換の自動構築法ACTIT」、映像情報メディア学会誌、社団法人映像情報メディア学会、1999年、第53巻、第6号、p.888〜894
しかしながら、上述した技術のように一つの認識構造を用いる技術では、事前にある程度十分な学習をさせたとしても、多様な環境や対象に対応することは困難であり、特に、車載カメラによる車外環境認識等においては、天候等の環境変化、歩行者、車、路上の構造物等、多様な条件に対応する必要があり、それらの多様な環境・対象を一つの認識器で対応することは困難である。
さらに、車両等に装置を組み込んだオンラインでの学習を考慮した場合、処理時間やメモリ空間等の関係から認識器の大きさや数などに制限があり、多様な環境、対象に合わせて適応的に認識器自身が学習し、高精度且つロバストな認識構造を得ることは困難である。
本発明は上記事情に鑑みてなされたもので、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることのできる画像認識システムを提供することを目的としている。
上記目的を達成するため、本発明による画像認識システムは、画像データを複数の認識器を用いて認識処理する画像認識システムであって、上記複数の認識器の出力を統合し、統合結果を出力する統合部と、上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部とを備えることを特徴とする。
本発明による画像認識システムは、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
以下、図面を参照して本発明の実施の形態を説明する。図1〜図10は本発明の実施の一形態に係り、図1は画像認識システムの基本構成図、図2は人抽出問題への適用例を示す説明図、図3は木構造状画像フィルタを示す説明図、図4は認識器出力の統合を示す説明図、図5は学習部における処理の流れを示す説明図、図6は統合画像の評価を示す説明図、図7は入れ替え選択の説明図、図8は逐次学習の説明図、図9は全体の処理の流れを示す説明図、図10は処理例を示す説明図である。
本発明の画像認識システムは、オンラインで入力される画像データを認識器で処理しながら、現在用いている認識器を環境に合わせて適応的に更新し、多様な環境、対象に対して、より高精度でロバストなシステムを構築するものである。すなわち、認識器は、処理時間やメモリ空間等の関係からその大きさや数に制限があり、また、天候・環境等によっても要求される認識器の性能が変わる。このような状況においても、多様な環境、対象に合わせて適応的に学習し、高精度かつロバストに認識するためには、過去に入力された画像データを元に自律的に学習し、認識器をオンラインで更新する必要がある。
尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の2次元的な分布を検出した疑似画像形態のデータも含むものとする。
図1に示すように、本形態の画像認識システム1は、入力される画像データを複数の認識器5,…で並列に処理する認識処理部2、各認識器5,…の出力を統合する統合部3、処理の目標となる教師データを用いて認識器を学習的に更新する学習部4を基本構成としている。学習部4は、過去に作成された認識器及び新たに作成する認識器を保存する認識器データベースDB1と、過去に入力された教師データ及び新たに入力される教師データを保存する教師データベースDB2とを備えている。
学習部4の構成について詳細に述べると、学習部4は、個々の認識器を評価する認識器評価部10、全ての認識器(現在使用している認識器及びストックしている認識器)の中から最適な組み合わせを求め、現在使用している認識器の組み合わせを最適な組み合わせに入れ替える入替選択部11、教師データを元に新たに認識器を作成する逐次学習部12を備えて構成されている。
以下では、画像認識システム1を自動車等の車両に搭載して車載カメラからの動画像を処理し、歩行者を抽出する例について説明する。これは、図2に示すように、異なるシーンの動画像Q1,Q2,Q3の中から破線で示す領域QR1,QR2,QR3に写っている人を抽出する人抽出問題への適用例である。
入力画像を撮像する車載カメラとしては、例えば、CCDやCMOS等の撮像素子を有するカメラを用い、自動車の車室内のルームミラー付近のフロントガラス内側に車載カメラとして配設する。この車載カメラにより、所定の時間周期(例えば、1/30sec)毎に車両前方が撮像され、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を経て所定の階調(例えば256階調のグレースケール)のデジタル画像に変換された入力画像が認識処理部2に入力される。
尚、認識処理部2には、現在の時刻t及びそれ以前の時刻(t−k)の画像がMフレーム毎にメモリから読み出されて入力される。k及びMの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。
認識処理部2は、複数の認識器5,…で入力画像を並列に処理し、対象を抽出した処理画像を出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像の中から歩行者のみを抽出した画像が出力される。
また、認識器5として、本形態においては、図3に示すように複数の画像フィルタF1,F2,…,Fn(図においては、n=8)を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ(例えば、平均値フィルタ、ソベルフィルタ、2値化フィルタ等)や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム(GA;Genetic Algorithm)の遺伝子型を構造的な表現(木構造やグラフ構造等)が扱えるように拡張した遺伝的プログラミング(GP;Genetic Programming)によって学習的に獲得される。
尚、認識器5としては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。
本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開2006−178857号公報に詳述されている。ここでは、その概要について説明する。
本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、GPによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。
[適応度評価]
木構造状画像フィルタを個体として、ランダムに生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の(1)式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値(例えば40)を超えないように制限される。
K=1.0−(1/R)・Σf(ΣpW・│O−T│/ΣpW・V)…(1)
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:適応度
R:学習セット数(入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数)
O:出力画像
T:目標画像(最適化された処理で出力すべき画像
W:重み画像(目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
木構造状画像フィルタを個体として、ランダムに生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の(1)式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値(例えば40)を超えないように制限される。
K=1.0−(1/R)・Σf(ΣpW・│O−T│/ΣpW・V)…(1)
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:適応度
R:学習セット数(入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数)
O:出力画像
T:目標画像(最適化された処理で出力すべき画像
W:重み画像(目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
[選 択]
個体の複製のために親集団を選択する過程であり、適応度Kに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Kが最大の個体のエリート保存を同時に行う。
個体の複製のために親集団を選択する過程であり、適応度Kに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Kが最大の個体のエリート保存を同時に行う。
[交叉、突然変異]
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
[適応度評価、終了判定]
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か(目的とする個体が得られたか否か)等によって判定される。
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か(目的とする個体が得られたか否か)等によって判定される。
世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。
以上の木構造の最適化は、各種シーンに対応するため、予めオフラインの事前学習においても実行され、典型的なシーン、例えば、昼、夜、天候、環境(高速道路、幹線道路、市街地等)に特化した認識器として認識器データベースDB1にストックされる。
尚、以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。
画像認識システム1における通常の入力画像の処理は、認識処理部2及び統合部3で実行され、オンラインで常に送られてくる入力画像の中から対象が抽出される。すなわち、入力画像が認識処理部2の複数の木構造フィルタ列で並列に処理されると、この並列出力が統合部3で平均化されて統合され、統合画像が認識結果として出力される。
例えば、図4に示すように、入力データとなる原画像を4本の木構造フィルタ列A,B,C,Dで処理する場合、各木構造フィルタ列A,B,C,Dで処理した複数枚の出力画像に対して、それぞれ、出力重みWi(i=1,2,3,4)が設定され、この出力重みWiで統合された画像が出力される。
統合画像中のn番目のピクセル値Pnは、以下の(2)式に示すように、各木構造フィルタ列FA,FB,FC,FDからの出力画像の対応するピクセル値PAn,PBn,PCn,PDnを、出力重みW1,W2,W3,W4で加重平均した値で与えられる。尚、出力重みWiについての詳細は、以下の学習部4における認識器の入れ替え選択処理の中で説明する。
Pn=(PAn×W1+PBn×W2+PCn×W3+PDn×W4)/4…(2)
Pn=(PAn×W1+PBn×W2+PCn×W3+PDn×W4)/4…(2)
一方、学習部4は、オンラインで常に送られている入力画像の中から対象を認識する認識処理部2及び統合部3の処理とは別に、図5に示すように、教師データの入力をトリガとして、現在用いている認識器を環境に合わせて適応的に更新する処理をバックグラウンドにて実行する。尚、図5において、太線で示す矢印線が学習処理の流れを示し、破線の矢印線、細線の矢印線は、それぞれ、学習用画像、認識器の流れを示している。
概略的には、入力データから教師データが作成されると、この教師データが教師データベースDB2にストックされ、また、この教師データを用いて、認識器評価部10で、現在用いている木構造フィルタ列、認識器データベースDB1にストックされている木構造フィルタ列が個別に評価される。
個々の木構造フィルタ列の評価結果は、入替選択部11で参照され、最適な木構造フィルタ列の組み合わせが決定される。最適な木構造フィルタ列の組み合わせは、認識処理部2を形成する現在の木構造フィルタ列すなわち現在使用している複数の木構造フィルタ列の統合結果よりも良好な評価を得られることが前提であり、絶対的な条件として、現在の木構造フィルタ列の組み合わせよりも評価が悪くならないことが必要である。
使うべき候補の木構造フィルタ列がない場合には、逐次学習部12において、前述した進化的最適化手法であるGPを用いた学習により、新たな木構造フィルタ列が作成される(逐次学習)。そして、逐次学習で順次追加された木構造フィルタ列を含めた組み合わせが反復評価され、最終的に決定された最適な木構造フィルタ列の組み合わせにより、現在の認識処理部2の複数の木構造フィルタ列が部分的或いは全面的に入れ替えられる。
以下、学習部4の処理の詳細について説明する。先ず、認識器評価部10は、教師データとなる画像の入力により、現在使用している木構造フルタ列、及び認識器データベースDB1にストックされている木構造フィルタ列を個別に評価する。この木構造フィルタ列の評価に際しては、先ず、認識器データベースDB1の整理を行い、木構造フィルタ列の数が発散しないように、評価の低い木構造フィルタ列を認識器データベースDB1から削除する。
具体的には、教師データを用いて個々の木構造フィルタ列の画像評価値を求め、更に、以下の(a)〜(d)の条件を加算的に或いは選択的に考慮して評価を行う。木構造フィルタ列の画像評価値としては、(1)式の適応度Kに準じた値を用いることができる。
(a)寿命
(現在の時間−作られた時間)を木の寿命とし、最近作られた若い木ほど、評価値を高くする。
(b)使用回数
過去に使用された回数が多い木は、評価値を高くする。
(c)サイズ
サイズの小さい木ほど、評価値を高くする。
(d)使用状態
現在使用している木に対しては、過去に使用した木よりも評価を高くする。
(現在の時間−作られた時間)を木の寿命とし、最近作られた若い木ほど、評価値を高くする。
(b)使用回数
過去に使用された回数が多い木は、評価値を高くする。
(c)サイズ
サイズの小さい木ほど、評価値を高くする。
(d)使用状態
現在使用している木に対しては、過去に使用した木よりも評価を高くする。
例えば、画像評価値G、寿命L、使用回数S、使用状態Tを加算的に考慮して木を評価する場合、評価値Fは、以下の(3)式により求めることができる。
F=G×α+L×β+S×γ+T×δ …(3)
但し、α,β,γ,δ:定数
F=G×α+L×β+S×γ+T×δ …(3)
但し、α,β,γ,δ:定数
求めた評価値は過去に遡り、累積した値が現在の評価値となる。全ての木構造フィルタ列の評価が終わり次第、入替選択部11の処理へ移る。
入替選択部11は、現在用いている木とストックしている木とを含めて全ての木の中から、最も評価が高くなるN本の木の組み合わせを求める。組み合わせの数Nが一定数Mに満たない場合には、逐次学習により新しい木を作成して木を追加し、N=Mとなった時点で、常に入力データを処理していた木群を新しい木群に入れ替える。一定数Mは、認識処理部2を形成する木構造フィルタ列の数であり、実際には、認識器データベースDB1に20本の木構造フィルタ列がストックされ、常時使用する木として最大10本までの最適な組み合わせを求めている。
木群の入れ替えに際しては、現在使用している木の組み合わせによる統合画像の評価結果を基準とする。すなわち、図6に示すように、新しい教師データである原画像を現在の木群TRで並列処理して統合し、その統合画像を目標画像と比較して評価し、この評価結果を基準として、新しい組み合わせの木群を入れ替えるか否かを判断する。
また、最適な木の組み合わせに際しては、組み合わせた木群の統合画像を用いて評価を行う。例えば、図7に示すように、認識器データベースDB1に、A,B,C,Dという木があり、木A,B,C,Dの中から、木A,Bの2本を選択した場合、木A,Bを用いて作成した統合画像を目標画像と比較して評価値を算出する。算出した評価値が他の組み合わせの評価値よりも高ければ、木A,Bを選択し、低ければ、他の木を選択して同様に評価を行う。このような処理を反復して全ての組み合わせを評価し、評価が最も高い組み合わせを求める。
評価については以下に定義する式を用いて、評価値を算出する。
[評価方法]
評価値は、新しい組み合わせの木群によって作られた統合画像の目標画像に対する類似度で定義され、以下の(1)’式を用いて算出される。
K=1.0−Σf(ΣpW・│O−T│/ΣpW・V)…(1)’
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:評価値
O:統合画像
T:目標画像(最適化された処理で出力すべき画像)
W:重み画像(目標とする画像内での領域の重要度を表し、
統合画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
[評価方法]
評価値は、新しい組み合わせの木群によって作られた統合画像の目標画像に対する類似度で定義され、以下の(1)’式を用いて算出される。
K=1.0−Σf(ΣpW・│O−T│/ΣpW・V)…(1)’
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:評価値
O:統合画像
T:目標画像(最適化された処理で出力すべき画像)
W:重み画像(目標とする画像内での領域の重要度を表し、
統合画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
尚、どの木を使うかという組み合わせ中で最適なものを選ぶのと同時に、各木の出力の強弱を最適化するようにしても良い。この出力の強弱は、前述の(2)式で説明した出力重みWiを、個々の木の評価値を参照して決定することで最適化することができる。例えば、木Aの出力画像(のピクセル値)PAnに対する出力重みが[0.3]、木Bの出力画像(のピクセル値)PBnに対する出力重みが[0.8]とすると、統合画像中のn番目のピクセル値Pnにおいて、以下の(2)’式の値となり、上記と同様に出力重みが付いた統合画像から、評価値を求めることができる。
Pn=(PAn×0.3+PBn×0.8)/2 …(2)’
Pn=(PAn×0.3+PBn×0.8)/2 …(2)’
この場合、出力重みと木の組み合わせは、[重みの種類]を[木の本数]で累乗した数となり、例えば、出力重みの候補が[0],[0.3],[0.8],[1.0]の4種類あり、2本の木があるとすると、出力重みと木の組み合わせは計16種類となり、この16種類について評価値を求め、評価値が最大となった組み合わせを求めることになる。尚、実際の出力重みは、0〜1まで0.1刻みの10種類が設定されている。
入替選択部11において、全ての木構造フィルタ列の組み合わせが評価され、最適な組み合わせとなる木群の数Nが一定数Mに満たない場合、逐次学習部12での逐次学習が実行される。
逐次学習部12は、入替選択部11によって選択された最適な組み合わせのN本の木の出力結果を更に修正し、最適な組み合わせの木の本数Nが一定数Mになるまで、逐次的に学習して木を追加する。
学習の流れとしては、例えば、図8に示すように、入替選択部11で選ばれた組み合わせが木A,Bであったとすると、この木A,Bの統合画像と目標画像との差から木A,Bが間違った箇所について重み付けを行い、間違った個所を修正点として重み付けした画像(修正重み画像)を作成する。
例えば、目標画像の値のうち、人であると教師している領域を輝度値255(最重要)、統合画像と目標画像を比べて間違った部分を輝度値127(重要)、それ以外の領域を輝度値1(やや重要)として、修正重み画像を作成する。そして、作成した修正重み画像を用いて新たな木C’を一つ作成し、木構造のバッファへ追加する。
尚、新たな木とは、前述したGP(遺伝的プログラミング)により、ストックされている木を初期個体として進化させたもののみならず、現在使用している木を初期個体として進化させたものも含むが、シーンに応じて学習対象を選択するようにしても良い。
次に、木A,B,C’の統合画像を求め、この統合画像の目標画像に対する評価値に基づいて、新しい木C’を追加するか否かを判定する。評価値が閾値を超えていれば、図8に示すように、木C’を追加して新たな組み合わせの木群A,B,C’とし、評価値が閾値以下の場合には、今回作成された木C’は追加せず、学習を逐次的にやり直す。すなわち、同様に、修正重み画像を作成し、更に新たな別の木Dを作成し、木A,B,Dの組み合わせによる統合画像を評価するという具合に、木構造の数Nが一定数Mになるまで木を追加する。
実際には、一定数Mを10本と定め、入れ替え選択によって選ばれた木が10本になるまで、木の追加を行う。そして、木の数NがM本になった時点で逐次学習を終了し、常に入力データを処理していた木群を、作成した新しい木群に入れ替える。
全体の処理の流れを、図9を中心として図10を併用して説明する。図9に示すように、原画像が新しい教師データとして入力されると、認識処理部2で現在の組み合わせのM本の認識器(木構造フィルタ列)によって並列に処理され、それぞれの出力結果が統合される。図10のQ1’が原画像の例であり、この原画像Q1’を認識器で処理して統合した画像がQ2’である。この統合画像Q2’では、現在用いている認識器が新しい教師データに対して人を全く抽出していないことが分かる。
次に、認識器評価部10で各認識器を評価した後、入替選択部11で認識器データベースDB1から認識器の新たな組み合わせを決定し、認識器をN本選択してその統合画像を評価する。図10のQ3’は、木構造フィルタ列3本の新たな組み合わせを選択した場合の統合画像を示しており、この統合画像Q3’では、人を抽出しているが、背景に誤抽出があることが分かる。
この背景の誤抽出は、逐次学習部12での逐次学習により、画像を修正するように学習され、図10のQ4’に示すような統合画像が得られる。図10の統合画像Q4’は、人を抽出しつつ、背景の誤抽出が減っているのが分かる。この逐次学習の繰り返しを経て、最終的に決定される認識器の組み合わせの数がM本に達したとき、現在の認識処理部2が新しい組み合わせの認識器で更新され、背景の誤抽出を排除することができる。
以上のように、本実施の形態の画像認識システムは、各認識器の統合画像により最適な認識器の組み合わせを求め、その統合結果を修正する新たな認識器を学習・追加することで、オンライン上で常時使用する認識器を適応的に変化させる。これにより、認識器に制限がある状況においても、多様な環境や対象に合わせて適応的に認識器を学習更新し、高精度且つロバストな認識を可能とすることができる。
1 画像認識システム
2 認識処理部
3 統合部
4 学習部
5 認識器
10 認識器評価部
11 入替選択部
12 逐次学習部
DB1 認識器データベース
Fn 画像フィルタ
2 認識処理部
3 統合部
4 学習部
5 認識器
10 認識器評価部
11 入替選択部
12 逐次学習部
DB1 認識器データベース
Fn 画像フィルタ
Claims (9)
- 画像データを複数の認識器を用いて認識処理する画像認識システムであって、
上記複数の認識器の出力を統合し、統合結果を出力する統合部と、
上記統合結果を教師データを用いて評価し、上記複数の認識器を適応的に学習更新する学習更新部と
を備えることを特徴とする画像認識システム。 - 上記学習更新部は、
上記複数の認識器の統合結果を逐次学習し、新たな認識器を作成する逐次学習部と、
上記逐次学習によって作成された認識器を含めて現在保有している全ての認識器の中から最適な組み合わせを求め、現在使用している複数の認識器と選択的に入れ替える入替選択部と
を備えることを特徴とする請求項1記載の画像認識システム。 - 各認識器を個別に評価し、該評価結果に基づいて各認識器の出力を重みを付けして統合することを特徴とする請求項1又は2の何れか一に記載の画像認識システム。
- 上記複数の認識器の統合結果を、上記教師データに基づいて重み付け修正し、該修正結果を用いて上記認識器の組み合わせを評価することを特徴とする請求項2記載の画像認識システム。
- 上記認識器の評価に際して、作成時期が早い認識器、過去の使用回数が多い認識器、サイズの小さい認識器ほど、上記評価値を高くすることを特徴とする請求項3又は4記載の画像認識システム。
- 上記認識器の評価に際して、過去の評価値を累積して評価を行うことを特徴とする請求項3又は4記載の画像認識システム。
- 上記認識器の評価に際して、現在使用している認識器の評価値を過去に使用した認識器の評価値よりも高くすることを特徴とする請求項3又は4記載の画像認識システム。
- 上記認識器を保存する認識器データベースを備え、該認識器データベースから評価値の低い認識器を削除することを特徴とする請求項3〜7の何れか一に記載の画像認識システム。
- 上記認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項1〜8の何れか一に記載の画像認識システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007038440A JP2008204103A (ja) | 2007-02-19 | 2007-02-19 | 画像認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007038440A JP2008204103A (ja) | 2007-02-19 | 2007-02-19 | 画像認識システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008204103A true JP2008204103A (ja) | 2008-09-04 |
Family
ID=39781560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007038440A Pending JP2008204103A (ja) | 2007-02-19 | 2007-02-19 | 画像認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008204103A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244363A (ja) * | 2009-04-07 | 2010-10-28 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法およびプログラム |
JP2010257233A (ja) * | 2009-04-24 | 2010-11-11 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム |
JP2011014049A (ja) * | 2009-07-03 | 2011-01-20 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム |
JP2011034459A (ja) * | 2009-08-04 | 2011-02-17 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法およびプログラム |
JP2011118891A (ja) * | 2009-12-01 | 2011-06-16 | Honda Research Inst Europe Gmbh | 追跡モデル化レベルの知識ベースの自律的適応を用いた多物体追跡 |
EP2793171A1 (en) | 2013-04-15 | 2014-10-22 | Omron Corporation | Classifier update device, information processing device, and classifier update method |
US8965114B2 (en) | 2010-12-16 | 2015-02-24 | Canon Kabushiki Kaisha | Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system |
US9053395B2 (en) | 2012-03-15 | 2015-06-09 | Omron Corporation | Image processor, image processing method, control program and recording medium |
JP2016015116A (ja) * | 2014-06-12 | 2016-01-28 | パナソニックIpマネジメント株式会社 | 画像認識方法、カメラシステム |
WO2019049365A1 (ja) | 2017-09-11 | 2019-03-14 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2020022110A1 (ja) * | 2018-07-27 | 2020-01-30 | パナソニック株式会社 | レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 |
JP6801149B1 (ja) * | 2020-01-20 | 2020-12-16 | 楽天株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11170486B2 (en) | 2017-03-29 | 2021-11-09 | Nec Corporation | Image analysis device, image analysis method and image analysis program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100121A (ja) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 |
JP2006178857A (ja) * | 2004-12-24 | 2006-07-06 | Yokohama National Univ | 画像処理装置 |
JP2006251955A (ja) * | 2005-03-09 | 2006-09-21 | Fuji Photo Film Co Ltd | 判別器生成装置、判別器生成方法およびそのプログラム |
-
2007
- 2007-02-19 JP JP2007038440A patent/JP2008204103A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005100121A (ja) * | 2003-09-25 | 2005-04-14 | Fuji Photo Film Co Ltd | 識別処理に用いる特徴量の種類と識別条件を決定する装置、プログラムならびにプログラムを記録した記録媒体、および特定内容のデータを選別する装置 |
JP2006178857A (ja) * | 2004-12-24 | 2006-07-06 | Yokohama National Univ | 画像処理装置 |
JP2006251955A (ja) * | 2005-03-09 | 2006-09-21 | Fuji Photo Film Co Ltd | 判別器生成装置、判別器生成方法およびそのプログラム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244363A (ja) * | 2009-04-07 | 2010-10-28 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法およびプログラム |
JP2010257233A (ja) * | 2009-04-24 | 2010-11-11 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム |
JP2011014049A (ja) * | 2009-07-03 | 2011-01-20 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法、および遺伝的処理プログラム |
JP2011034459A (ja) * | 2009-08-04 | 2011-02-17 | Nikon Corp | 遺伝的処理装置、遺伝的処理方法およびプログラム |
JP2011118891A (ja) * | 2009-12-01 | 2011-06-16 | Honda Research Inst Europe Gmbh | 追跡モデル化レベルの知識ベースの自律的適応を用いた多物体追跡 |
US8965114B2 (en) | 2010-12-16 | 2015-02-24 | Canon Kabushiki Kaisha | Object recognition apparatus, object recognition method, learning apparatus, learning method, storage medium and information processing system |
US9053395B2 (en) | 2012-03-15 | 2015-06-09 | Omron Corporation | Image processor, image processing method, control program and recording medium |
EP2793171A1 (en) | 2013-04-15 | 2014-10-22 | Omron Corporation | Classifier update device, information processing device, and classifier update method |
US9324008B2 (en) | 2013-04-15 | 2016-04-26 | Omron Corporation | Classifier update device, information processing device, and classifier update method |
JP2016015116A (ja) * | 2014-06-12 | 2016-01-28 | パナソニックIpマネジメント株式会社 | 画像認識方法、カメラシステム |
US11170486B2 (en) | 2017-03-29 | 2021-11-09 | Nec Corporation | Image analysis device, image analysis method and image analysis program |
US11386536B2 (en) | 2017-03-29 | 2022-07-12 | Nec Corporation | Image analysis device, image analysis method and image analysis program |
WO2019049365A1 (ja) | 2017-09-11 | 2019-03-14 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US11328176B2 (en) | 2017-09-11 | 2022-05-10 | Fujitsu Limited | Information processing apparatus, information processing method, and storage medium |
CN112470033A (zh) * | 2018-07-27 | 2021-03-09 | 松下电器产业株式会社 | 雷达数据处理装置、物体判别装置、雷达数据处理方法以及物体判别方法 |
JP2020016597A (ja) * | 2018-07-27 | 2020-01-30 | パナソニック株式会社 | レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 |
WO2020022110A1 (ja) * | 2018-07-27 | 2020-01-30 | パナソニック株式会社 | レーダデータ処理装置、物体判別装置、レーダデータ処理方法、および物体判別方法 |
JP6801149B1 (ja) * | 2020-01-20 | 2020-12-16 | 楽天株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2021149118A1 (ja) * | 2020-01-20 | 2021-07-29 | 楽天株式会社 | 情報処理装置、情報処理方法およびプログラム |
TWI781461B (zh) * | 2020-01-20 | 2022-10-21 | 日商樂天集團股份有限公司 | 資訊處理裝置、資訊處理方法及程式 |
US11928698B2 (en) | 2020-01-20 | 2024-03-12 | Rakuten Group, Inc. | Information processing apparatus, information processing method and program thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008204103A (ja) | 画像認識システム | |
JP4910090B2 (ja) | 画像処理システム | |
JP2009064162A (ja) | 画像認識システム | |
KR102235745B1 (ko) | 컨볼루션 순환 신경망을 훈련시키는 방법 및 훈련된 컨볼루션 순환 신경망을 사용하는 입력된 비디오의 의미적 세그먼트화 방법 | |
CN108304795B (zh) | 基于深度强化学习的人体骨架行为识别方法及装置 | |
US8290883B2 (en) | Learning system and learning method comprising an event list database | |
CN109978807B (zh) | 一种基于生成式对抗网络的阴影去除方法 | |
Stauffer et al. | Efficient Hopfield pattern recognition on a scale-free neural network | |
CN105960647A (zh) | 紧凑人脸表示 | |
US20080069399A1 (en) | Image Processor | |
CN112800906A (zh) | 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法 | |
CN109345525B (zh) | 一种去鬼影高动态范围图像质量评价方法 | |
CN117292283B (zh) | 一种基于无人机的目标识别方法 | |
CN114125216B (zh) | 一种面向软件定义卫星的成像系统及成像方法 | |
CN110929649B (zh) | 一种面向小目标检测的网络和困难样本挖掘方法 | |
JP7190951B2 (ja) | 画像認識システムおよび画像認識方法 | |
CN110281949A (zh) | 一种自动驾驶统一分层决策方法 | |
Graffieti et al. | Continual learning in real-life applications | |
CN114580718A (zh) | 一种基于条件变分生成对抗网络的行人轨迹预测方法 | |
JP7292178B2 (ja) | 領域分割装置、領域分割方法および領域分割プログラム | |
CN106157278A (zh) | 基于改进遗传算法的阈值图像分割方法 | |
KR102652117B1 (ko) | 이미지 보정 방법 및 이미지 보정 시스템 | |
CN109507792B (zh) | 一种基于机器学习的光学显微镜自动聚焦方法 | |
CN1497494A (zh) | 用于低景深图像分割的方法和装置 | |
JP4376199B2 (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111018 |