JP2018092610A - 画像認識装置、画像認識方法及びプログラム - Google Patents

Abstract

【課題】変動に対して頑健な画像認識を行えるようにする画像認識装置、画像認識方法及びプログラムを提供する。
【解決手段】画像認識装置は、画像を取得する取得手段と、取得した画像のパラメータを変更する変更手段と、パラメータが異なる画像ごとに特徴量を抽出する抽出手段と、抽出した特徴量に基づいて、パラメータの異なる画像ごとに画像の認識を行う認識手段と、認識手段による認識結果を統合する統合手段とを有する。方法は、入力画像の画像パラメータを変更して生成した複数の画像それぞれから特徴量を抽出して、それらの特徴量に基づいて、各画像に含まれる領域のカテゴリーを判定し、その結果を統合する。
【選択図】図１

Description

本発明は、入力画像中の被写体の検出、被写体ごとに領域を分割する領域分割、および画像のシーンを判別するシーン判別等の画像認識の技術に関する。

画像中の被写体を学習、認識する際、理想的には多数の撮像条件および複数の撮像機器で被写体を撮影して学習事例とすることが望ましい。少数の学習事例から学習を行うと、被写体そのものの特徴ではなく、露出値による明るさや暗さといった撮影時の撮像条件や、レンズのボケといった撮影機器の個々の特性など、被写体に無関係な要素まで特徴の一部と誤って学習してしまうことがある。

このような問題に対し、特許文献１には、画像を加工することにより学習事例のバリエーションを増やすことが開示されている。画像の加工とは、具体的には、ノイズの印加、輝度値の変更、アフィン変形の操作等である。

米国特許出願公開第２００４／００１５４６４号公報

Ｒ． Ａｃｈａｎｔａ， Ａ． Ｓｈａｊｉ， Ｋ． Ｓｍｉｔｈ， Ａ． Ｌｕｃｃｈｉ， Ｐ． Ｆｕａ， ａｎｄ Ｓ． Ｓｕｓｓｔｒｕｎｋ， ＳＬＩＣ Ｓｕｐｅｒｐｉｘｅｌｓ Ｃｏｍｐａｒｅｄ ｔｏ Ｓｔａｔｅ−ｏｆ−ｔｈｅ−ａｒｔ Ｓｕｐｅｒｐｉｘｅｌ Ｍｅｔｈｏｄｓ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ． ３４， ｎｕｍ． １１， ｐ． ２２７４ − ２２８２， ２０１２． Ｂ． Ｗｉｌｂｕｒｎ， Ｍ． Ｌｅｖｏｙ， ｅｔ．ａｌ．， Ｈｉｇｈ ｐｅｒｆｏｒｍａｎｃｅ ｉｍａｇｉｎｇ ｕｓｉｎｇ ｌａｒｇｅ ｃａｍｅｒａ ａｒｒａｙｓ， ｐｐ．７６５−７７６， Ｐｒｏｃ ｏｆ ＳＩＧＧＲＡＰＨ’０５， ２００５ Ｋｏｅｎ Ｅ． Ａ． ｖａｎ ｄｅ Ｓａｎｄｅ， Ｊａｓｐｅｒ Ｒ． Ｒ． Ｕｉｊｌｉｎｇｓ， Ｔｈｅｏ Ｇｅｖｅｒｓ， Ａｒｎｏｌｄ Ｗ．Ｍ． Ｓｍｅｕｌｄｅｒｓ， Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｓ ＳｅｌｅｃｔｉｖｅＳｅａｒｃｈ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１１ Ａ． Ｋｒｉｚｈｅｖｓｋｙ ｅｔ ａｌ．， ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ＮＩＰＳ ２０１２

しかしながら、特許文献１の方法では、画像の加工によるバリエーションは実際の画像の変動の分布とは部分的に異なってしまう。例えば、学習事例として赤い車の画像があり、輝度値の変更および画像の変形によって学習事例を増やしたとする。しかし、ここでは車体の色についての変更を行っていないため、車の学習事例中の「赤い車」の割合が著しく増える。その結果、認識が変動に対して頑健になる一方で、赤い領域の物体があればそれは車である、といった過学習が誘発され易くなってしまう。

そこで、本発明は、変動に対して頑健な画像認識を行えるようにすることを目的とする。

上記課題を解決するために、本発明は、画像を取得する取得手段と、前記取得した画像のパラメータを変更する変更手段と、前記パラメータが異なる画像ごとに特徴量を抽出する抽出手段と、前記抽出した特徴量に基づいて、前記パラメータの異なる画像ごとに前記画像の認識を行う認識手段と、前記認識手段による認識結果を統合する統合手段と、を有することを特徴とする。

本発明によれば、変動に対して頑健な画像認識を行えるようになる。

第１の実施形態に係る画像認識装置の概略ブロック図。 第１の実施形態に係る画像認識処理のフローチャート。 第１の実施形態における画像認識処理の結果を示す図。 第１の実施形態に係る画像認識処理の効果を説明する図。 第１の実施形態に用いられる撮像装置の構成を説明する図。 第２の実施形態に係る画像認識処理のフローチャート。 第２の実施形態において画像パラメータ変更部が行う幾何的変形の例を示す図。 第２の実施形態において結果統合部の変形例を説明する図。 第３の実施形態に係る画像認識処理のフローチャート。 第３の実施形態において人体検出処理の結果を示す図。 第３の実施形態において局所領域を抽出する処理の変形例のフローチャート。 第３の実施形態において局所領域を抽出する処理の概略を説明する図。 第１の実施形態の変形例に係る画像認識処理の概要を説明する図。 第１の実施形態の変形例に係る画像認識処理のフローチャート。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。本実施形態は、画像認識タスクが、入力画像の被写体のカテゴリーを判別し、その領域ごとに分ける意味的領域分割の例について説明する。なお、被写体のカテゴリーとしては、空、人体、草木、建物、車、道路といった一般的なＣ個のカテゴリーとする。

図１は、本実施形態に係る画像認識装置の機能構成を示すブロック図である。本画像認識装置は、画像認識を行う対象の画像を取得するための画像取得部１０１、取得された画像のパラメータを変更する画像パラメータ変更部１０２、画像パラメータの異なる複数の画像からそれぞれ特徴を抽出する特徴量抽出部１０３を有する。また、前記特徴量に基づいてそれぞれの画像について被写体が何であるかを認識する被写体認識部１０４、上記の複数の認識結果を統合して最終的な判別を行う認識結果統合部１０５、上記認識結果を出力する結果出力部１０６を有する。特徴量抽出部１０３は、入力画像から局所領域を抽出する局所領域抽出部１０３ａ、上記局所領域より特徴量を抽出する局所領域特徴量抽出部１０３ｂにより構成されている。

なお、本実施形態の画像認識装置は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備え、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、上述の各機能構成や後述するフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラムに関するデータ等を含む各種のデータを格納する記憶領域を有する。

次に、図２を用いて、本実施形態の画像認識装置による画像認識処理の詳細について説明する。まず、ステップＳ１で、画像取得部１０１が、カメラ等の撮像装置等から画像を１枚取得する。ここでの画像は、静止画像、もしくは動画像中の１フレームの画像である。

次に、ステップＳ２からステップＳ７までは、ｎ回の繰り返し処理である。ここでは、画像のパラメータの異なるｎ個の画像を作成し、それぞれについて被写体の判別を行う。なお、本実施形態では、以下の手順をループとして記述するが、これらを並行に処理してもよい。

ステップＳ３では、画像パラメータ変更部１０２が画像のパラメータの変更を行う。具体的には、以下の数式１で表わされるガンマ値変換処理により画像の全体的な輝度値を変更する。
Ｉｉ（Ｒ）＝（Ｉ０（Ｒ））^γｉ
Ｉｉ（Ｇ）＝（Ｉ０（Ｇ））^γｉ
Ｉｉ（Ｂ）＝（Ｉ０（Ｂ））^γｉ ・・・（数式１）
ただし、Ｉｉはガンマ値変換を行って作成したｉ番目の画像であり、これを以降バリエーション画像Ｉｉと呼ぶ。Ｉ０は、画像取得部１０１が取得した静止画像である。Ｉ０（・）は、画像の各ＲＧＢチャンネルの値である。また、γｉはバリエーション画像Ｉｉのガンマ値のパラメータである。なお、画像Ｉ０の各ＲＧＢチャンネルの値は、予め画像中の最小値と最大値が０と１となるように正規化してあるものとする。

ここで、γ＝１であれば、上記変換後の画素値は元画像Ｉ０と同じ値である。γ＞１であれば画像は全体的に暗く、γ＜１であれば全体的に明るく変換される。画像のバリエーションの数はｎ＝５とし、γ１〜γ５の値をΓ＝［１／２，１／√２，１，√２，２］とする。撮像時に露出が適切に設定されなかった画像でも、上記のように複数パターンのガンマ値の変換処理を施すことで、変換後の画像のいずれかが適正露出で撮像した画像に近くなることが期待できる。

次に、ステップＳ４で、特徴量抽出部１０３が、各領域を判別するための特徴を抽出する。ここでは、まず、局所領域抽出部１０３ａが、バリエーション画像Ｉｉから局所領域を抽出する。具体的には、非特許文献１等の方法を用いて、Ｓｕｐｅｒ−ｐｉｘｅｌと呼ばれる色の類似した画素の塊に画像を分ける。

図３は、本実施形態における画像認識処理の結果を示す図であり、図３（Ａ）が入力画像、図３（Ｂ）が局所領域抽出の処理を施した結果を示している。図３（Ｂ）では、ｎ個あるバリエーションの画像のうちの２つについての処理の結果を示している（記号Ｂ１およびＢｎを付して示す）。ここでは、Ｓｕｐｅｒ−ｐｉｘｅｌの手法として非特許文献１で開示されているＳＬＩＣと呼ばれる手法を用いており、局所領域の一部にＳＰ_１１〜ＳＰ_１６の記号を付して示している。

ステップＳ５では、局所領域特徴量抽出部１０３ｂが、前段で得られた局所領域から特徴量を抽出する。ここでは、色の分布のヒストグラムやＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）といった一般的な特徴量を抽出するものとする。

ステップＳ６で、被写体認識部１０４が、局所領域ごとにカテゴリー判別を行う。被写体認識部１０４は、サポートベクトルマシン（以下ＳＶＭと略す）の識別器からなる。ＳＶＭには、予め学習画像としてカテゴリーの教師値が与えられ、局所領域の特徴量を入力変数、正解カテゴリーを目標変数として、与えられた入力変数に対して正しいカテゴリー（目標値）が出力できるように前もって学習が行われている。なお、ＳＶＭは基本的に２クラス判別器であるため、対象カテゴリーを正事例とし、その他の全てのカテゴリーを負事例としてカテゴリーごとに学習を行い、Ｃ個のＳＶＭを用意するものとする。このステップＳ６での判別処理の結果、１つの局所領域に対してＣ個のカテゴリーの判別スコアが得られる。

なお、ここではＳＶＭの学習時にはガンマ値の変換は行わず、取得した元画像だけを用いて学習するとする。そして判別時には、どのバリエーション画像Ｉｉに対しても上記で学習した判別辞書のＳＶＭを用いることとする。このようにして局所領域ごとに画像のカテゴリーを判別した結果例を、図３（Ｃ）に記号Ｃ１およびＣｎを付して示す。同図では、最大のＳＶＭスコアが得られたカテゴリーの名称を各領域に付して示している。そして、このようにしてステップＳ７までのｎ回の繰り返し処理が済んだらループを終了する。

次に、ステップＳ８で、認識結果統合部１０５がバリエーション画像Ｉ１からＩｎまでのカテゴリー判別結果を統合して最終的な結果を生成する。この処理では、画素単位で判別と統合を行う。各画素の最終的なカテゴリーの尤度は下記の数式２を用いて計算される。
Ｐ（Ｌ（ｘ，ｙ）＝ｃ）＝σ（Σ_ｉΣ_ｊβ_ｉｊ×Ｓ_ｉｊ（ｘ，ｙ）＋β_ｃ） ・・・（数式２）
ただし、Ｓ_ｉｊ（ｘ，ｙ）は、前段で判別したＳＶＭの判別結果のスコアであり、バリエーション画像Ｉｉの画素（ｘ，ｙ）のカテゴリーｊらしさを意味する。β_ｉｊ，β_ｃは、学習係数である。全ての学習係数｛β｝は、学習データの教師値に対して出力結果の誤差が最少になるようにロジスティック回帰と呼ばれる一般的な学習手法で予め決定されている。また、σ（・）は下記の数式３で定義されるシグモイド関数である。
σ（ｘ）＝１／（１＋ｅｘｐ^−ｘ） ・・・（数式３）
このように、ステップＳ８で二段階目の判別を行うことにより、画像の画素（ｘ，ｙ）ごとに、カテゴリーｃらしいかどうかの最終的な尤度Ｐ（Ｌ（ｘ，ｙ）＝ｃ）が得られる。

最後に、ステップＳ９では、画像認識装置のＣＰＵが、このようにして得られたカテゴリーの尤度の結果を出力して終了する。図３（Ｄ）には、その出力例として、各画素の最大の尤度のカテゴリーの名称を付して出力した例を示す。以上が、本実施形態の画像認識処理の手順の説明となる。

本実施形態では、上述の構成を備えることによって、説明した図３（Ａ）〜（Ｄ）に示した入力から出力に至るまでの処理において、以下の３つの効果を奏することができる。

（１．画像パラメータの変更による判別精度の向上）
図３（Ｃ）の結果画像Ｃ_１において、車のフロントガラスの一部の領域３０１が空と誤って認識されている。この誤判別は、図中で車のフロントガラスが空を反射して輝いているために、特徴量が空と類似していることが原因である。このような被写体は、通常の露出値で撮像した画像では判別が難しい。ただし、ガンマ値変換で画像を暗く変更すると、ガラスと空の二つのテクスチャの違いが際立ち、判別が容易になることがある。同様の現象として、画像全体を明るく変換すると陰影の中の暗い被写体が見易くなって区別が容易になることが挙げられる。

これに対し、本実施形態では、画像パラメータの変更を行って画像を認識することにより、後に統合すると結果の精度が向上する可能性がある。本実施形態では、図３（Ｄ）に示す統合後に、これが正しく訂正される様子を示している。

（２．非系統的な誤判別の低減）
学習データが少ない場合、学習事例の輝度や色味の微妙な違いまでを被写体カテゴリーの特徴であると誤って過学習する傾向がある。そのような場合、僅かな特徴量の違いによって局所領域が正しく判別できたり、できなかったりする。その結果の例を図３（Ｃ）の領域３０２ａ〜３０２ｃとして示す。同図の画像の車の車体の色は赤であることを想定しており、僅かな輝度や色味の違いによって、部分的に夕焼けの空と誤りやすく、誤判別が起きているものである。

上記の誤りは非系統的なものであり、特徴量や位置に対して不規則に生じる。そのため本実施形態のように複数のバリエーション画像の認識を行って統合すれば、平均化の効果によって誤りが低減し、結果を安定させることができる。例として、統合後にこれが正しく訂正される様子を図３（Ｄ）に示している。

（３．画像パラメータ変更に伴う局所領域の変化）
最後に、被写体の領域の一部が欠損したり、はみ出したりする誤判別が起こることがある。この誤りの具体例を、図３（Ｃ）に記号３０３ａ〜３０３ｅを付して示す。この誤りは、前段の局所領域抽出部１０３ａによる局所領域（Ｓｕｐｅｒ−ｐｉｘｅｌ）の抽出の失敗に起因する。例えば、図３（Ｂ）の記号ＳＰ_１６を付した局所領域は、人物の帽子の一部と背景にまたがった領域を抽出しているため、後段の領域判別３０３ａの境界にも誤りが生じているものである。

一般に、Ｓｕｐｅｒ−ｐｉｘｅｌの抽出結果は常に完全ではなく、たまたま色が類似している等の理由で異なるカテゴリー間をまたぐ局所領域が生じることがある。このような誤り（未分割）を防ぐためには、Ｓｕｐｅｒ−ｐｉｘｅｌのサイズを小さくする必要があるが、小さすぎる局所領域は特徴量が安定せず、領域判別の精度そのものを下げてしまう（過分割）。未分割も過分割もない理想的な局所領域を得ることは領域分割と等価な困難な課題である。そのため、局所領域をベースとする領域判別手法の結果はどうしても図３（Ｃ）に示すような「欠け」や「バリ状」の判別の誤りを含みやすい。

この「欠け」や「バリ」の問題に対処するために、従来の方法では、後段で条件付き確率場（Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）などのスムージング処理を行うことも多かった。これに対し、本実施形態では、複数の領域判別の結果を統合することで上記問題の発生を軽減している。

ここで、重要なのは、局所領域の形状が画像のバリエーションごとに微妙に異なっていることである。図の例では、図３（Ｂ）のＢ１とＢｎの局所領域抽出の結果がそれぞれ異なっている。同図では、比較し易いように一部の局所領域に記号ＳＰ１１〜ＳＰ１６、及び記号ＳＰｎ１〜ＳＰｎ６を付して示す。本実施形態で用いたＳＬＩＣのようなＳｕｐｅｒ−ｐｉｘｅｌ手法は、２つの基準に基づいてＳｕｐｅｒ−ｐｉｘｅｌを生成する。（１）色の類似性が近い画素同士をなるべくまとめる。（２）領域の形状がなるべくコンパクトになるようにする。Ｓｕｐｅｒ−ｐｉｘｅｌは、この２つの基準の微妙なバランスの元に作られる。そのため、画像全体の輝度値を変化させると、Ｓｕｐｅｒ−ｐｉｘｅｌの形状に変化が生じ、「欠け」や「バリ」の場所も変動する。

このように形状がそれぞれ微妙に異なる複数の局所領域を被写体認識部１０４で認識させると、「欠け」や「バリ」のある局所領域（例えば局所領域ＳＰ_１６）についてはＣ個いずれのカテゴリーに関しても低い判別スコアが得られる傾向がある。対して、正しい輪郭が得られている局所領域（例えば局所領域ＳＰ_ｎ６）については、正しいカテゴリーについて高い判別スコアが得られる傾向がある。そのため、これらの判別スコアを統合した最終結果は、正しい結果がより優先され、図３（Ｄ）で示されるように個々の判別結果よりも境界の精度の高い結果が得られる。

（従来技術との比較）
ここで、本実施形態と従来技術の方法との差異について、図４を用いて説明する。２つの方法はいずれも、少ない学習事例からいかに画像のパラメータの変動に影響されずに認識を行うかという課題を解決するものである。目的は同じであるが、その構成、効果は以下のように相違する。

図４（Ａ）は、特許文献１等にあるような学習データを加工して増やす従来の方法である。従来の方法では、画像のパラメータを変更して複数枚の画像を合成し、これを全て学習することで、明暗の違いといった変動に左右されないような判別辞書を得ることを目指す。同図には学習事例に変動を加えて加工し、作成したデータの特徴空間上の分布の様子を示している。同図に示すように、合成後のデータは多かれ少なかれ元のデータ（例として記号４０１ａを付して示す）の周囲に低次元の多様態として分布し易い。この合成後のデータに基づいて学習を行うと、識別境界４０２ａのように局所的で細かな境界が生成される。同境界は汎化性能が低いため、テストデータ４０３ａを判別させたときの結果の信頼度が低い。また、特徴量の僅かな違いによって結果が不安定に変動し易い。

これに対して、本実施形態は、図４（Ｂ）に示すように学習データの合成を行わずに学習を行う。そのため同図の識別境界４０２ｂの形状は先ほどの識別境界４０２ａよりも緩やかである。そして、認識時には、テストデータ４０３ｂを加工して複数の画像バリエーションを生成し、それぞれ認識させる。図４（Ｂ）の例では、複数の画像バリエーションのうち、２つの事例が正事例であると判別されており、これらの結果を統合すると最終的に正事例であるとの認識結果が得られる。この結果は複数の画像のバリエーションの結果の多数決で決めているため、特徴量の変動に対して不安定に変動することがない。

以上のように、本実施形態においては、入力画像の画像パラメータを変更して生成した複数の画像それぞれから特徴量を抽出して、各画像において特徴量に基づいて各領域のカテゴリーを判定し、その結果を統合するようにした。この構成によって、変動に対して頑健な画像認識を行えるようになる。

（変形例）
上述の第１の実施形態では、被写体認識部１０４としてＳＶＭを用いたが、別の識別器を用いるようにしてもよい。その例としては、例えばロジスティック回帰、ニューラルネットワーク、ランダムフォレスト等を用いることが考えられる。

また、被写体認識部１０４は異なるバリエーションの画像を判別する際に、同一の判別辞書の識別器を用いたが、この判別辞書を変更するようにしてもよい。例えば、認識時と学習時で画像のパラメータを合わせるような形態でもよい。具体的には、ｍ枚の学習データに対して、ｉ番目のバリエーションのガンマ値のパラメータγｉで画像の変換を行う。変換後に得られたｍ枚の画像でＳＶＭを学習し、得られた結果をｉ番目のバリエーション画像を判別するＳＶＭの判別辞書とすればよい。

ここで、図４（Ａ）の従来の手法のように、ｍ枚の元画像から各ｎ枚の画像を加工し、これらを混在させたｎ×ｍ枚の画像セットを学習データとして用いると過学習の危険性がある。それに対して、本実施形態は、ｎ個の識別器それぞれはｍ枚の画像のみを学習に用いるため、過学習の懸念がない。

また、本実施形態では、認識結果統合部１０５としてロジスティック回帰を用いたが、統合の方法はこれに限るものでなく、ＳＶＭやブースティングなどその他様々な種類の識別器であってよい。また、識別器を用いるのでなく、単純にスコアを平均して最大値を出力するだけのより簡単な処理でもよい。

また、本実施形態では、認識結果統合部１０５は画素ごとのＣ個のクラスのスコアを入力変数として二段階目の学習と認識を行ったが、認識結果統合部１０５の形態はこれに限らない。例えば１画素のみではなく、対象画素の周辺のＮ×Ｎ画素の広さの領域のスコアを全て連結して入力変数として学習してもよい。また認識結果のスコア以外に、画像特徴量を併せて用いてもよい。このように、より多数の変数を考慮した学習と認識を行えば、一段階目の領域判別結果が部分的に失敗していても、その失敗の傾向を特徴として、二段階目の推定で正しい結果を出力できる可能性が高くなる。

また、本実施形態では、画像を取得した後に画像パラメータ変更部１０２によって画像のパラメータを変更する加工を行ったが、撮像時にこれを行うようにしてもよい。例えば、被写体が動きの少ない対象であれば露出値を変えて連続的に複数回の撮像を行い、これらを画像のバリエーションとしてもよい。また例えば、図５に示すように露出ゲインの異なる撮像素子からなるような特殊な撮像デバイスを用いて、一度の撮像で露出の異なる複数の画像を取得してもよい。なお、図５は撮像素子のベイヤ配列の一部を図示したものであり、露出のゲインの異なる画素の規則的な繰り返しにより構成されている。ここでは画素のゲインの大小に応じてゲインレベル１〜４として記号を付して示している。

また本実施形態の変形例として、バリエーション画像のパラメータを認識結果統合部１０５の手がかりの一つとして統合する形態について説明する。図１３は本変形例に係る画像認識処理の効果を説明する図であり、図１３（Ａ）は本変形例の画像認識処理の概要を説明するための図である。本変形例では、認識結果統合部１０５に各バリエーション画像の認識結果１３０１ａ〜１３０１ｃが入力される。さらに各バリエーション画像に関するパラメータとして露出値１３０２ａ〜ｃが入力される。認識結果統合部１０５は多入力１出力の全結合型ニューラルネットワーク１３０５である。内部構成の例を図１３（Ｂ）に示す。ここでは、説明の簡略化のために認識対象を正事例か負事例の２クラスのみに限定して説明する。

図１４は、認識結果統合部１０５による処理の詳細を示すフローチャートである。統合の動作が開始されるとニューラルネットワークの第１の入力層１３０６にＮ枚のバリエーション画像の認識結果１３０１が入力される（ステップＳ１３０１〜Ｓ１３０３）。ここで認識結果１３０１は局所領域（ｘ，ｙ）が正事例かどうかを示すＮ個の尤度である。さらに第２の入力層１３０７にバリエーションの露出パラメータであるＮ個のパラメータ１３０２が入力される（ステップＳ１３０４）。

第１の入力層と第２の入力層は全結合層である中間層に結合している。入力されたデータは各層で数値変換され、最終的に出力層に局所領域（ｘ，ｙ）の結果が出力される（Ｓ１３０６）。さらに各局所領域の結果を１枚の画像にまとめて統合結果とする（Ｓ１３０７）。ネットワーク各層の結合重みは予め学習データを与えて正しい結果を出力できるように事例学習しておく。以上の構成により、認識結果統合部１３０５に与えたバリエーション画像の情報が統合に用いられる。これにより、画像のバリエーションがさまざまに変化しても、変化に追随して結果を都度適切に統合することが可能となる。

またさらに、認識結果統合部１０５に入力する情報に、カメラの焦点距離といった撮像条件に関するパラメータを加えることも考えられる。またさらに、画像のシーン分類のカテゴリーの値などを加えることも考えられる。シーン分類のカテゴリーは、別途シーン認識モジュールを用意し、その結果を用いればよい。これら付加的なパラメータを加えた上でニューラルネットワークで事例を学習すれば、パラメータに応じてより高精度に結果を統合することも可能である。

またさらに、各局所領域としてＳｕｐｅｒ−ｐｉｘｅｌでなくピクセルやブロックなどを用いる場合は、認識結果統合部１０５としてコンボリューショナル・ニューラルネットワーク（以下ＣＮＮ）を用いることもできる。この形態の例を図１３（Ｃ）に示す。この例では、まず３値のバリエーションのパラメータをコピーして、画像と同一サイズの３チャンネルのマップ１３１２を生成する。同マップ１３１２と認識結果１３０１を合わせて６チャンネルの画像としてＣＮＮに入力する。ＣＮＮの中間層の畳み込み係数は最終的に正しい統合結果１３１６が得られるよう、予め学習しておく。ＣＮＮの詳細動作についてはニューラルネットワークの代表的手法であり、非特許文献４等にも開示されているため、ここではその説明は省略する。

また、さらに別の形態として、本実施形態の画像認識装置を主被写体領域の抽出に適用することも可能である。その場合、まず被写体認識部１０４が学習に用いる学習データとして、画像中の主被写体の領域を示した教師値のデータを別途用意する。次に、局所領域特徴量抽出部１０３ｂが抽出する特徴量を以下に変更する。１つの例としては、Ｓｕｐｅｒ−ｐｉｘｅｌの特徴量と、その周囲に接するＳｕｐｅｒ−ｐｉｘｅｌの特徴量との類似度である。これは顕著度と呼ばれる値であり、例えば色分布のヒストグラムやＬＢＰ特徴といった特徴量を２つのＳｕｐｅｒ−ｐｉｘｅｌ間で比較した際の類似距離である。ここでの特徴量同士の比較には特徴量間のＫＬダイバージェンスやヒストグラム交差などの値を用いる。以上の構成により、主被写体領域の抽出を行う画像認識装置を容易に構成することもできる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。本実施形態は、画像認識タスク、画像パラメータの変更、統合の方法等が第１の実施形態と異なる。特に、本実施形態に係る画像認識装置は、静止画像一枚を入力とし、入力画像のシーンの種別（カテゴリー）を判別することを目的とする。ここでのカテゴリーとは、山岳風景、街中の景色、人物ポートレート、などあらかじめユーザが分類しておいた所定のＣ個のシーンのカテゴリーである。なお、第１の実施形態について既に説明をした構成については同一の符号を付し、その説明は省略する。

図６は、本実施形態に係る画像認識処理のフローチャートである。まず、ステップＳ２０１では、第１の実施形態と同様に、画像取得部１０１が認識対象画像の取得を行う。次に、ステップＳ２０２からＳ２０８までを行い、所定の画像パラメータの変更を施したｎ個のバリエーション画像についてそれぞれシーン判別を行う。ここで、ｎ個の画像パラメータの変更のうちのいくつかのバリエーションは幾何的変形である。図７（Ａ）、（Ｂ）は入力画像を示し、図７（Ｃ）に画像パラメータ変更部１０２がステップＳ２０３で行う幾何的変形の例を示す。

画像パラメータ変更部１０２は、同図で示すようなアフィン変形や透視投影変換などの幾何変形を行って画像を変更する（ステップＳ２０３）。さらに、画像パラメータ変更部１０２は変形後の画像から矩形領域Ｉ_１１〜Ｉ_１４を抽出し、これを変換後の新たな画像とする（ステップＳ２０４）。なお、図７（Ｃ）に示すように、ここでは矩形領域Ｉ_１１〜Ｉ_１４を変形後の画像に内接する最大の矩形としているが、これに限らず外接矩形などを用いるようにしてもよい。なお、ｎ個のバリエーションのうちの、さらに別のいくつかは画像中の部分領域の切り出しである。位置ずれやサイズなどを変えて切り出した例を図７（Ｄ）の矩形Ｉ_２１〜Ｉ_２４として示す。

これらの変形および切り出しのパラメータは、変換後の画像が不自然にならない程度の範囲内で値をパラメトリックに変えて複数個用意しておく。このように様々なバリエーションの画像を用意することで、一枚の画像のみで認識するよりも安定したシーン認識を行うことが可能となる。

次に、特徴量抽出部１０３は、図７（Ｂ）に示すように各バリエーション画像を所定の数の矩形領域に分割し（ステップＳ２０５）、それぞれからＳＩＦＴ特徴量を抽出する（ステップＳ２０６）。さらに、特徴量抽出部１０３は、上記ＳＩＦＴ特徴量をコードブック化し、その頻度ヒストグラムを集計して、Ｂａｇ Ｏｆ Ｗｏｒｄｓ特徴と呼ばれる特徴量を得る（ステップＳ２０７）。これにより、バリエーション画像１枚に対して１個の特徴ベクトルが得られる。ＳＩＦＴ特徴およびＢａｇ Ｏｆ Ｗｏｒｄｓ特徴は、画像認識の手法として広く公知のためここでは詳細は省く。

さらに、被写体認識部１０４は、上記の特徴量ベクトルを入力変数とし、ＳＶＭ等の識別器を用いて各バリエーション画像のシーンを判別する。ＳＶＭは、各画像が所定のＣ個のシーンのカテゴリーのうちのいずれであるかのスコアを出力する（ステップＳ２０８）。これにより、一つの画像に対してＣ個の判別スコアが得られる。

画像のバリエーションの数をｎ個とすると、シーン判別の結果、ｎ×Ｃ個のＳＶＭのスコアが得られる。認識結果統合部１０５は、これらを連結して特徴量とする。認識結果統合部１０５は、同特徴量を入力変数とし、シーンの正解カテゴリーを出力できるようにあらかじめ学習してあるロジスティック回帰等の識別器を用いて、最終的なシーンカテゴリーの判別を行う（ステップＳ２１０）。以上が、本実施形態の画像認識処理の手順となる。

ここで、本実施形態の変形例として、用いる画像パラメータの種類は、画像の変形や切り出しに限らず、他の様々なものを併せてもよい。例えば、第１の実施形態と同様に輝度値の変換、色調補正による色味の変換、特許文献１に用いられたようなノイズの印加、画像全体あるいは画像の周辺に対するボケの印加など、画像のバリエーションを生成するためのパラメータは様々に考えられる。また、画像の幾何変形とノイズの印加を同時に行うなど、複数の加工を同時に施す形態でもよい。本実施形態は、これらのいずれかに限定されるものではない。

また別の変形例として、局所領域抽出部１０３ａが抽出する局所領域は、ここで説明したような等間隔の矩形ではなく、第１の実施形態で用いたようなＳｕｐｅｒ−ｐｉｘｅｌを用いてもよい。

また別の変形例として、認識結果統合部１０５は認識結果を統合する際に、ｎ個のシーン判別結果を一度に統合するのでなく、段階的に２段階以上で統合を行ってもよい。その処理の手順の例を図８（Ａ）に示す。また、図８（Ｂ）にその処理の概略を表わす模式図を示す。ここでは、ｍ個のバリエーションのグループごとに一度統合を行い（ステップＳ２０９ａ，ステップＳ２０９ｂ）、その結果を再び特徴量として用いて識別器８０４で再度の統合を行う（ステップＳ２０９ｄ）。このようにすると、画像のバリエーションが増えたことによる過学習を避けつつ、精度の高い学習と認識を行うことが期待できる。

また、複数段階で統合を行うための構成は図８（Ｂ）に例示したものに限られるものではなく、各バリエーション画像の認識結果を入力特徴とし、多層のニューラルネットワークを構成してもよい。また、各バリエーション画像の認識結果を弱識別器として、顔認識の技術で一般的なカスケード型のブースティング学習を行ってもよい。このように、様々な構成に適用することが可能である。

以上、本実施形態によれば、シーン判別を認識タスクとする画像認識装置においても、変動に対して頑健な画像認識を行えるようになる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。本実施形態に係る画像認識装置は、画像一枚を入力とし、画像中から人物検出を行うことを目的とする。本実施形態において、画像パラメータの変更は、画像の焦点位置の変更である。焦点深度が浅い画像では焦点面から外れた位置にある被写体がボケるため、焦点の合っている被写体を分離することが比較的容易である。そのため、本実施形態で述べるように複数の焦点位置の画像を用いて認識を行うと、全ての被写体に焦点が合っている画像（パンフォーカス画像）を１枚だけ用いて認識する場合よりも、人物検出の精度を向上させる効果がある。以下に本実施形態の詳細について説明を行うが、上述の第１、第２の実施形態で既に説明を行った構成については、同一の符号を付し、その説明を省略する。

図９は、本実施形態に係る画像認識処理のフローチャートである。ステップＳ３０１では、画像取得部１０１が画像の取得を行う。ここでは、多眼のレンズおよび複数の撮像素子からなる多眼カメラにより撮像された画像である。非特許文献２で示されるような方法に拠ると、このような構成のカメラで撮像した画像から任意の撮像面に焦点位置を置いた画像を生成することが可能である。

次に、ステップＳ３０２からステップＳ３０９までは、焦点位置をｎ段階の位置に変えたバリエーション画像を生成し、それぞれについて人体検出を行うステップである。それぞれの人体検出処は、一般的な人体検出の手法と同一のものである。

まずステップＳ３０３では、画像パラメータ変更部１０２が、所定のｉ番目の位置に焦点位置を設定したバリエーション画像Ｉｉを生成する。次に、ステップＳ３０４以降では、特徴量抽出部１０３が矩形形状の検出窓を用意し、この検出窓を用いてバリエーション画像Ｉｉ上でパターンの走査を行う。図１２は、本実施形態において局所領域を抽出する処理の概略を説明する図であり、図１２（Ａ）にこの矩形形状の検出窓の一例を示す。

手順としては、まず局所領域抽出部１０３ａが画像Ｉｉ上の各位置で複数のサイズの矩形領域を抽出し、各領域のサイズを正規化する（ステップＳ３０５）。次に、局所領域特徴量抽出部１０３ｂが、それぞれの矩形領域からＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ特徴（ＨＯＧ特徴）を抽出する（ステップＳ３０６）。そして、被写体認識部１０４がＨＯＧ特徴をＳＶＭ識別器に入力し、矩形領域中のパターンが人体であるか否かの判別スコアを得る（ステップＳ３０７）。

図１０は、この人体検出の結果を示す図である。図１０（Ｂ）の画像Ｆ１およびＦｎは、焦点位置の異なるｎ枚のバリエーション画像のうちの２枚を図示したものである。また図１０（Ｃ）の矩形１００１〜矩形１００３は画像Ｆ１およびＦｎのうち特に人体の判別スコアの高かった検出窓の位置およびサイズを示している。

次に、ステップＳ３１０で、認識結果統合部１０５は前段階で得られた人体の判別スコアを入力変数とし、各画像位置（ｘ，ｙ）に人体があるかどうかの最終的な判別を行う。ここでの判別スコアとは、各画像位置（ｘ，ｙ）について、サイズが異なるｍ個の検出窓、および焦点位置の異なるｎ枚の画像の結果からなるｍ×ｎ個のスコアである。認識結果統合部１０５は、これらを全て連結したベクトルを入力変数とする。ＳＶＭ等の識別器から成る認識結果統合部１０５は、同入力変数を教師データに基づいて学習、認識し、人体があるかないかの判定スコアを出力する。

次に、ステップＳ３１１で、結果出力部１０６が前述の判定スコアのうち閾値以上の値が得られた位置（ｘ，ｙ）に人体があるとして結果を出力し、処理を終了する。なお、ここで検出結果の精度を上げるために、さらに非最大値抑制（Ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ）と呼ばれる一般的な後処理を行ってもよい。最終結果の例を図１０（Ｄ）の矩形窓１００４として示す。

（検出窓の変形例）
上述の説明では、人体検出手法で一般的な矩形領域でパターンの走査を行った。ここで、変形例として、矩形領域以外の領域で人体の検出を行うようにしてもよい。例えば、焦点距離の変更や画像上の位置に応じて、局所領域の形状を変更することが考えられる。具体的な例を、以降で説明する。

図１１は、局所領域を抽出する処理の変形例に対応するフローチャートである。図１１は、図９のフローチャートにおけるステップＳ３０５を詳細化したものである。また、この派生形態の処理結果の図を図１２（Ｂ），（Ｃ）に併せて示す。まず局所領域抽出部１０３ａは画像の検出窓１２０１の中心を前景のシード領域１２０２として抽出する（ステップＳ３０５ａ）。同様に画像の周辺領域を背景のシード領域１２０３として抽出する（ステップＳ３０５ｂ）。さらに局所領域抽出部１０３ａはこれらのシード領域に基づいて前景・背景の分離手法として一般的なグラフカット処理を行う（ステップＳ３０５ｃ）。次に得られた前景領域１２０４を人体の候補領域とする（ステップＳ３０５ｄ）。以上がステップＳ３０５の派生形態の詳細な説明であり、上記処理は検出窓を移動させるたびに行う。なお局所領域特徴量抽出部１０３ｂがステップＳ３０６でＨＯＧ特徴の抽出を行う時には、前景領域１２０４内のみからＨＯＧ特徴を抽出する。

上記のようにして抽出した前景領域１２０４は、画像の焦点がどこにあるかによって形状が変化する。具体的には、図１２（Ｂ）の人体の例で示すように焦点が人体に合っている状態であるなら、背景のボケた領域は省かれ、人体の領域のみが前景領域として抽出され易い。そのため、後段の被写体認識部１０４において人体の判別がより容易になる。

このような構成を用いて、画像の撮像時のパラメータの変更とその後の局所領域の抽出を併せて行うことにより、さらに人体検出の精度を上げることができる。

また、局所領域の抽出は、ここで説明した構成にのみ限定されるものではない。例えば、非特許文献３のような方法でＳｕｐｅｒ−ｐｉｘｅｌを生成し、連結することで物体の可能性の高い候補領域だけを抽出するといった構成などでもよい。また、本実施形態は、人体の検出を目的としたが、学習データの教師値を変更して検出対象を人体以外の動物や車等、特定の被写体を検出する構成に変更することも可能である。

以上、本実施形態によれば、人物検出を認識タスクとする画像認識装置においても、変動に対して頑健な画像認識を行えるようになる。また、上述の第１、第２の実施形態では、画像パラメータ変更部１０２が行う画像パラメータの変更が画像の合成により行われていた。しかし、本発明は、本実施形態のように、撮像時にパラメータを異ならせた複数の画像を取得する形態にも適用されるものである。

［その他の実施形態］
また、本発明は、各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 画像取得部
１０２ 画像パラメータ変更部
１０３ 特徴量抽出部
１０３ａ 局所領域抽出部
１０３ｂ 局所領域特徴量抽出部
１０４ 被写体認識部
１０５ 認識結果統合部
１０６ 結果出力部

Claims (12)

1. 画像を取得する取得手段と、
   前記取得した画像のパラメータを変更する変更手段と、
   前記パラメータが異なる複数の画像それぞれから特徴量を抽出する抽出手段と、
   前記抽出した特徴量に基づいて、前記パラメータの異なる複数の画像それぞれの認識を行う認識手段と、
   前記認識手段の結果を入力とし教師値を目標値として出力されるよう予め学習された識別器により、前記認識手段による認識結果を統合する統合手段と、
   を有することを特徴とする画像認識装置。
2. 前記認識手段は、前記画像に含まれる領域のカテゴリーを判別することを特徴とする請求項１に記載の画像認識装置。
3. 前記認識手段は、前記画像のシーンの種別を判別することを特徴とする請求項１に記載の画像認識装置。
4. 前記認識手段は、前記画像に含まれる特定の被写体を検出することを特徴とする請求項１に記載の画像認識装置。
5. 前記認識手段は、前記画像に含まれる主被写体を検出することを特徴とする請求項１に記載の画像認識装置。
6. 前記統合手段は、前記統合手段は、さらに画像に関する前記パラメータあるいは撮像時のカメラ情報あるいは画像の分類結果のいずれかを入力とし教師値を目標値として出力されるよう予め学習された識別器から成ることを特徴とする請求項１から５のいずれか１項に記載の画像認識装置。
7. 前記統合手段は、前記パラメータが異なる複数の画像それぞれの認識の結果を段階的に統合することを特徴とする請求項１から６のいずれか１項に記載の画像認識装置。
8. 前記変更手段によるパラメータの変更は、前記画像の露出値の変更、前記画像の輝度値の変更、前記画像の変形、前記画像の切り抜き、前記画像に対するノイズの印加、前記画像に対するボケの印加、前記画像の焦点位置の変更のいずれか１つ以上を含むことを特徴とする請求項１から７のいずれか１項に記載の画像認識装置。
9. 前記取得手段は、撮像において前記パラメータを異ならせた複数の画像を取得することを特徴とする請求項１から８のいずれか１項に記載の画像認識装置。
10. 前記取得手段は、撮像された画像に対して前記パラメータを異ならせることにより複数の画像を取得することを特徴とする請求項１から９のいずれか１項に記載の画像認識装置。
11. 画像を取得するステップと、
    前記取得した画像のパラメータを変更するステップと、
    前記パラメータが異なる複数の画像それぞれから特徴量を抽出するステップと、
    前記抽出した特徴量に基づいて、前記パラメータの異なる複数の画像それぞれの認識を行うステップと、
    前記認識の結果を入力とし教師値を目標値として出力されるよう予め学習された識別器により、前記認識の結果を統合するステップと、
    を有することを特徴とする画像認識方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の画像認識装置として機能させるためのプログラム。

Images