JP2019139618A - 情報処理装置、被写体の判別方法及びコンピュータプログラム - Google Patents

Abstract

【課題】特段の制約なしに取得した画像中の被写体を精度よく判別することができる情報処理装置を提供する。【解決手段】第１特徴生成部１０２で入力画像の第１特徴を生成するとともに、尤度生成部１０６ａで被写体の尤度を生成し、画像に存在する被写体の候補を検出する。第２特徴生成部１０３は、第１特徴よりも粗い領域ごとに入力画像の第２特徴を生成する。判別パラメータ設定部１０４は、第２特徴に基づいて入力画像に存在する被写体を判別するための判別パラメータを領域ごとに設定する。被写体判別部１０６は、閾値処理部１０６ｂで、被写体の候補の尤度と判別パラメータとを比較することにより、被写体を判別する。【選択図】図２

Description

本発明は、画像に映った被写体を判別するための情報処理技術に関する。

画像に映った被写体（人物、物体等）を認識する装置では、認識精度を高めるためのさまざまな工夫が行われている。例えば、特許文献１に開示された技術では、物体を認識する際に画像が撮影されたシーンの分類を行う。すなわち物体の画像上の出現位置をシーンごとに集計し、分類する。そして、分類の結果に応じて物体の事前知識を表すスコアを調整する。これにより、例えば「街角」のシーンの画面上方には、「車」が出現する頻度は少ないといった事前知識に基づいた物体検出を行うことにより誤検出を低減させている。

ＷＯ２０１２／０４６４２６

特許文献１に示されるシーンの分類を前提とする手法では、分類精度が適切でない場合は、逆に認識精度が低下してしまう。また、カメラの方位や仰角が異なると物体の出現位置の分布が変化するため、認識精度を高めるには多数のシーンの分類結果を用意する必要がある。そのため、効果が期待できるのは一部の画像に限られるという問題がある。

本発明は、特段の制約なしに取得した画像中の被写体を精度よく判別することができる技術を提供することを目的とする。

本発明の一つの側面における情報処理装置は、画像を取得する取得手段と、前記画像の第１特徴を生成する第１特徴生成手段と、前記画像の前記第１特徴と異なる第２特徴を生成する第２特徴生成手段と、前記第２特徴から前記画像に存在する被写体を判別するための判別パラメータを前記画像に対して設定する設定手段と、前記第１特徴と前記判別パラメータとに基づいて前記被写体を判別する判別手段と、を備えることを特徴とする。

本発明によれば、特段の制約なしに撮影された画像中の被写体を精度よく判別することができる情報処理装置を提供することができる。

第１実施形態に係る情報処理装置のハードウェア構成図。 第１実施形態に係る情報処理装置の機能ブロック構成図。 第１実施形態における被写体の判別方法の手順説明図。 ベース特徴の生成処理の詳細手順説明図。 （Ａ）は局所特徴、（Ｂ）は広域特徴の生成処理の手順説明図。 判別パラメータを推定する処理の詳細手順説明図。 被写体判別動作の詳細処理手順説明図。 特徴マップの生成過程を示す説明図。 カメラ情報と連結して広域特徴の生成過程を示す説明図。 （Ａ）〜（Ｃ）は入力画像と各種カメラ情報との関係を示す説明図。 学習処理時の機能構成を示すブロック図。 判別パラメータ設定部における学習処理の手順説明図。 判別パラメータ設定部における回帰器学習処理の手順説明図。 （Ａ），（Ｂ）は学習処理に用いる学習データの例を示す説明図。 判別パラメータ設定学習の流れを示す説明図。 第２実施形態の情報処理装置の機能構成図。 （Ａ），（Ｂ）は第２実施形態における被写体の判別方法の手順説明図。 第３実施形態の情報処理装置の機能構成を示すブロック図。 第３実施形態における被写体の判別方法の手順説明図。 （Ａ）〜（Ｄ）は判別パラメータ学習の模式図。

以下、本発明を適用した情報処理装置の実施の形態例を説明する。
情報処理装置は、ストレージを有するコンピュータとコンピュータプログラムとを用いて実施することができる。
［第１実施形態］
図１は第１実施形態に係る情報処理装置のハードウェア構成図である。この情報処理装置は、コンピュータ１０とその周辺デバイスとを有する。コンピュータ１０は、システムバス１９に接続されたＣＰＵ１１、ＧＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、外部記憶装置１５を有する。システムバス１９には、また、入力デバイスインタフェース１６、出力デバイスインタフェース１７、映像機器インタフェース１８も接続される。

ＣＰＵ（Central Processing Unit）１１は、コンピュータ１０全体を制御する。ＧＰＵ（Graphics Processing Unit）１２は、画像処理などの高負荷の演算を行う演算装置として機能する。ＲＯＭ（Read Only Memory）１３は、変更を必要としない制御プログラムやパラメータなどを格納する。ＲＡＭ（Random Access Memory）１４は、ＣＰＵ１１のワークメモリであり、プログラムやデータなどを一時記憶する。外部記憶装置１５は、ストレージの一例として、半導体メモリ、ハードディスク、光磁気ディスク、着脱可能なメモリカード等の記憶メディアを有するものである。外部記憶装置１５には、本発明のコンピュータプログラム、画像（映像を含む）、後述する各種特徴マップ、判別パラメータ、特徴変換に用いる所定の規則、カメラ情報などが記憶される。また、特徴生成の学習に用いる学習画像、被写体判別に用いられる教師値、学習済ニューラルネットワークモデルなども記憶される。

入力デバイスインタフェース１６は、ポインティングデバイスやキーボードなどの入力デバイス２１とのインタフェースである。出力デバイスインタフェース１７は、データ表示用のモニタ２２とのインタフェースである。映像機器インタフェース１８は、カメラ２３等の撮像機器とのインタフェースである。

コンピュータ１０は、ＣＰＵ１１が本発明のコンピュータプログラムを読み込んで実行することにより、被写体の判別方法の実施に適した情報処理装置として動作する。なお、ニューラルネットワーク等による学習、パラメータ設定、判別、画像処理等については、ＧＰＵ１２が処理する。もちろん、ＣＰＵ１１が十分高性能である場合には、ＧＰＵ１２は省略してよい。

コンピュータ１０が情報処理装置として動作するときの機能ブロック構成例を図２に示す。また、本実施形態の情報処理装置が実行する被写体の判別方法の処理手順例を図３に示す。以後の説明では処理の各ステップを、以下「Ｓ」と略記する。
画像入力部１０１は、画像を取得する（Ｓ１０）。本実施形態では、カメラで撮影した撮影画像を取り込むものとする。取り込んだ画像を「入力画像」と呼ぶ。カメラ情報入力部１１０は撮影時の条件などを表すカメラ情報の入力処理を行う。カメラ情報の内容については、後で詳しく説明する。

ベース特徴生成部１０８は、入力画像における特徴抽出のベースとなるベース特徴を生成し、これを記憶する（Ｓ１１）。ベース情報の内容及びその生成過程については、後で詳しく説明する。

第１特徴生成部１０２は、ベース特徴を所定の規則に従って変換することにより入力画像の局所領域の特徴を含む第１特徴を生成し、生成した第１特徴を記憶する（Ｓ１２）。局所領域の特徴を、以後、「局所特徴」と呼ぶ。第２特徴生成部１０３は、ベース特徴を所定の規則に従って変換するとともに、必要に応じてカメラ情報をも考慮することにより、入力画像の広域領域の特徴を含む第２特徴を生成し、生成した第２特徴を記憶する（Ｓ１３）。「広域領域」とは局所領域よりも広い範囲にわたる特徴をいう。この広域領域の特徴を、以後「広域特徴」と呼ぶ。

被写体のうち例えば人物の顔を検出対象とし、その顔の検出をタスクとする場合、入力画像に人物と人工物や自然物とが乱雑に映っていると誤検出や未検出が多数生じてしまう場合がある。本実施形態では、誤検出や未検出を抑制するため、判別パラメータ設定部１０４で、入力画像に応じて、被写体を判別する際に用いる判別パラメータを推定する。そして、これを入力画像を構成する領域ブロックごとに設定する（Ｓ１４）。「領域ブロック」は座標で特定される画素群の領域をいう。判別パラメータには、例えば被写体の候補の尤度がそれ以上であればその候補が被写体であると判別するための閾値（θ）を用いる。この閾値（θ）は、第２特徴に基づいて決定される推定値であり、判別の誤りが所定値以下となるように予め学習により決定された閾値である。

被写体判別部１０６は、第１特徴と判別パラメータとに基づいて入力画像中の被写体を判別する（Ｓ１５）。本実施形態では、検出対象である人物（あるいは人物の顔）を判別するために、被写体判別部１０６が、３種類の尤度生成部１０６ａ、１０６ｂ、１０６ｃと閾値処理部１０６ｄの機能を備えるものとする。尤度生成部１０６ａ、１０６ｂ、１０６ｃは、第１特徴生成部１０２で生成された第１特徴に基づいて尤度スコアを生成する。この尤度スコアは、入力画像の領域ブロックごとに、顔が小さい人物、顔が中程度の人物、顔が大きい人物がそれぞれ存在することの確からしさ（尤度）を表す尤度スコアを並べたものである。被写体判別部１０６は、これらの尤度マップに基づいて被写体の候補を決定する。そして、閾値処理部１０６ｄで、入力画像に応じて推定された閾値（θ）と被写体の候補とを閾値処理することにより、当該候補が、検出対象である人物（あるいは人物の顔）かどうかを判別する。結果出力部１０７は、判別結果をモニタ２２等に出力する（Ｓ１６）。

＜ベース特徴の生成＞
図３のＳ１１の処理の内容を図４及び図８を参照して詳しく説明する。図４はベース特徴生成部１０８が実行する処理の詳細手順説明図であり、図８は処理の概念説明図である。ベース特徴は、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク、以下ＣＮＮと略す）を用いて生成することができる。ただし、Ｓ１１の処理では、ＣＮＮの全結合層と呼ばれる層は用いず、畳み込み層と呼ばれる種類の層のみを用いる。図８中、「ｃｈ」が付された数字は、特徴マップの枚数である。

ベース特徴生成部１０８は、まず、ベース特徴Ｆ（ｘ，ｙ）を格納する空の配列を用意する（Ｓ１２０１）。つまり、上記の配列を初期化する。（ｘ，ｙ）は画素の座標（Ｘ，Ｙ座標系）を表す添え字である。初期化後、ベース特徴生成部１０８は、ＣＮＮにより、図８に示された複数回の畳み込み演算を繰り返すことで複数層の特徴マップを生成する（図４のＳ１２０２〜Ｓ１２０７）。図８の例で言えば、ベース特徴生成部１０８は、ＲＧＢ（赤、緑、青）の３ｃｈの入力画像Ｉ（ｘ，ｙ）４０１に対して、畳み込み演算４０２ａを行い、６４ｃｈの特徴マップ４０３ａを生成する。また、この特徴マップ４０３ａについて、再度畳み込み演算４０２ｂを行い、その演算結果について１／２プーリング４０４ａを行うことで１２８ｃｈの特徴マップ４０３ｂを生成する。同様にして、特徴マップ４０３ｂについて再度畳み込み演算４０２ｃを行い、その演算結果について１／２プーリング４０４ｂを行うことで２５６ｃｈの特徴マップ４０３ｃを生成する。１／２プーリング４０４ａ、４０４ｂは、特徴マップ４０３ａ，４０３ｂをそれぞれ所定の局所領域ごとに代表値で代表させることにより、マップサイズを縮小する処理である。この処理には、ＣＮＮの認識性能をロバストにする効果がある（ただし、演算が進むに従って解像度が低くなる）。本実施形態の１／２プーリング４０４ａ、４０４ｂでは、それぞれ特徴マップを（２×２画素）ごとに統合して、１／２の解像度の特徴マップに縮小する。Ｌ番目の層の畳み込み演算及び１／２プーリングの処理を数式で表すと下記のようになる。

［数１］
ｆ^Ｌ（ｘ，ｙ，ｚ）
＝θ（Σ_CHINΣ_{Δx,Δy=-K〜+K} ｗ^Ｌ（Δｘ，Δｙ，ＣＨＩＮ，ＣＨＯＵＴ）
×ｆ^Ｌ−１（ｘ＋Δｘ，ｙ＋Δｘ，ＣＨＩＮ）＋Ｂ^Ｌ _CHOUT）

ここで、ｆ^Ｌ（ｘ，ｙ，ｚ）は、Ｌ番目の層が出力する特徴マップの出力結果であり、ｚ枚の特徴マップを表す。ｘ，ｙは画素の位置（座標）を表す。また、θ（・）は、半波整流よりなる活性化関数（ReLU（Rectified Linear Unit）function）であり、入力した値が０以下のとき０となり、１より大きいとき入力をそのまま出力される。また、ｗ^Ｌ（Δｘ，Δｙ，ＣＨＩＮ，ＣＨＯＵＴ）（ただしΔｘ，Δｙ∈｛−Ｋ，．．．，０，．．．，Ｋ｝）は、Ｌ番目の層の畳み込みの重みパラメータである。Ｂ^ＬはＬ番目の層のバイアス項である。ＣＨＩＮは、Ｌ−１番目の層が出力する特徴マップの識別番号、ＣＨＯＵＴは、Ｌ番目の層が出力する特徴マップの識別番号を表す。
なお、上式では入力画像Ｉ（ｘ，ｙ）は、特徴マップｆ^０（ｘ，ｙ，ｚ）として扱うものとする。ここでは、畳み込み演算の前後で特徴マップのｘ，ｙ方向のサイズが変化しないように、畳み込み演算の前に特徴マップｆＬ−１の周囲の画素に０値を充填してから畳み込む。このようにして、ＣＮＮの各層において、それぞれ複数層となる特徴マップ４０３ａ、４０３ｂ、４０３ｃが生成される。

ＣＮＮでは、大規模データベースを用いた画像の分類タスクにより予め重みパラメータを学習しておく。これにより、ＣＮＮの入力画像４０１（＝Ｉ（ｘ，ｙ））に近い所定数の層（低層）１０９ｌの特徴マップ４０３ａは、画像中の線分の傾きのような単純な模様によく反応する特徴マップとなり得る。また、ＣＮＮの入力画像４０１から最も遠い所定数の層（高層）１０９ｈの特徴マップ４０３ｃは、より広い範囲の画像パターンを集約し、複雑なパターン形状に反応する特徴マップとなり得る。中間の層（中層）１０９ｍの特徴マップ４０３ｂは、特徴マップ４０３ａと特徴マップ４０３ｃとの中間のパターン形状に反応する特徴マップとなり得る。

ベース特徴生成部１０８は、ＣＮＮにおいて処理中の層が、特徴抽出の対象となる所定の層か否かを判定する（Ｓ１２０４）。所定の層は、本実施形態の例では予め定められた枚数（ｃｈ数）を表す低層、中層、高層のいずれかである。所定の層でない場合は（Ｓ１２０４：Ｎｏ）、Ｓ１２０７へ移行する。所定の層であれば（Ｓ１２０４：Ｙｅｓ）、特徴マップを所定サイズへアップサンプリングし（Ｓ１２０５）、特徴マップをベース特徴Ｆ（ｘ，ｙ）の配列に追加する（Ｓ１２０６）。このような処理をループの条件（特徴マップがｎ（自然数）枚に達したかどうか）を満たすまで繰り返し（Ｓ１２０７）、最終的にｎ枚の特徴マップが連結されたベース特徴Ｆ（ｘ，ｙ）が生成される。上記のベース特徴生成の処理は、数式では下記のように表される。
［数２］
Ｆ（ｘ，ｙ）
＝［ｆ^１（ｘ，ｙ）^Ｔ，ｆ^２（ｘ，ｙ）^Ｔ，・・・，ｆ^ｎ（ｘ，ｙ）^Ｔ］^Ｔ

ここで、ｆ^１，ｆ^２，・・・，ｆ^ｎは抽出された特徴マップであり、ベース特徴Ｆ（ｘ，ｙ）は、上記のように抽出された特徴マップをｚ次元方向に統合したものとなる。なお、ＣＮＮは１／２プーリング４０４ａ，４０４ｂを行うため、特徴マップの解像度は、層によって異なるものとなる。そのため、ベース特徴生成部１０８は、上記の統合前に、各特徴マップを所定の解像度、例えば入力画像Ｉ（ｘ，ｙ）の解像度に合致させる処理を行う（Ｓ１２０５）。具体的には、特徴マップ４０３ｂについて２倍のアップサンプリング（X2 up-sample）４０５ａを行う。また、特徴マップ４０３ｃについて４倍のアップサンプリング（X4 up-sample）４０５ｂを行う。解像度を合致させるための変更は、画素値のコピーや線形補間といった一般的な方法を行えばよい。

以上のようにして、ＣＮＮの低層１０９ｌ、中層１０９ｍ及び高層１０９ｈを統合した４４８ｃｈのベース特徴Ｆ（ｘ，ｙ）が生成される。これにより、第１の性質として、様々な被写体の、様々なスケール及びバリエーションの情報が、ベース特徴Ｆ（ｘ，ｙ）の中に含まれることとなる。第２の性質として、２次元の画素群の領域（ｘ，ｙ）ごとに３次元以上の高次元の特徴ベクトルが対応したものとなる。
このような二つの性質により、ベース特徴Ｆ（ｘ，ｙ）は、様々な被写体の検出ないし認識のタスクに有効に用いることができるようになる。

なお、本実施形態では、入力画像Ｉ（ｘ，ｙ）とベース特徴Ｆ（ｘ，ｙ）の解像度を合致させるようにしたが、この限りでない。アップサンプリング処理の倍率を検出対象に応じて変更することで、入力画像Ｉ（ｘ，ｙ）よりも粗い解像度、または、細かい解像度のベース特徴Ｆ’（ｘ’，ｙ’）を生成することもできる。そのため、本明細書では、上述した「領域ブロック」を、ベース特徴Ｆ（ｘ，ｙ）の画素群の領域を表す一般化した名称として用いる。

＜第１特徴の生成＞
次に、第１特徴生成部１０２による第１特徴を生成する処理（Ｓ１２）の詳細手順について、図５（Ａ）を参照して説明する。この処理は、Ｓ１２０８からＳ１２１１のループとなる。第１特徴生成部１０２は、所定の規則の例として、ベース特徴Ｆ（ｘ，ｙ）から第１解像度となる低層の特徴１０９ｌを抽出し、低層の特徴１０９ｌから領域ブロックｘｙ（座標（ｘ，ｙ）の位置の画素群、以下同じ）ごとの局所特徴Ｆ_ｘｙを生成し、これを記憶する。局所特徴Ｆ_ｘｙは、入力画像４０１に判別の検出対象、例えば人物が映っている場合に、後段で人物の顔などの局所的な部分の特徴が各領域ブロックｘ，ｙに存在するか否かの判別に用いる。その特徴量は、後段において判別に必要なデータをコンパクトに表現したベクトルとなる。

第１特徴生成部１０２は、多次元の特徴マップであるベース特徴Ｆ（ｘ，ｙ）及び８近傍の特徴を取得する（Ｓ１２０９）。具体的には、ベース特徴Ｆ（ｘ，ｙ）のうち領域ブロックｘｙに対応する特徴ベクトル、及び、各領域ブロックの周囲の８つの領域ブロックの特徴ベクトルを抽出する。そして、これらを１次元に連結して局所特徴Ｆ_xyとして記憶する（Ｓ１２１０）。数式で表すと以下のとおりである。次式において、Ｔはベクトルの転置である。
［数３］
Ｆ_xy＝［Ｆ(x-1,y-1)^Ｔ，Ｆ(x,y-1)^Ｔ，Ｆ(x+1,y-1)^Ｔ，
Ｆ(x-1,y )^Ｔ，Ｆ(x,y )^Ｔ，Ｆ(x+1,y )^Ｔ，
Ｆ(x-1,y+1)^Ｔ，Ｆ(x,y+1)^Ｔ，Ｆ(x+1,y+1)^Ｔ，］^Ｔ

＜第２特徴の生成＞
次に、第２特徴生成部１０３による第２特徴を生成する処理（Ｓ１３）の詳細について図５（Ｂ）及び図９を参照して説明する。この処理は、Ｓ１３０１からＳ１３０７の順に行われるが、Ｓ１０３から１３０５はループとなる。第２特徴は、入力画像の広域特徴を含む特徴であり、判別パラメータである閾値（θ）を推定する際の手掛かりに用いられる。第２特徴も第１特徴と同じくベース特徴Ｆ（ｘ，ｙ）に基づいて生成する。

第２特徴生成部１０３は、まず、ベース特徴Ｆ（ｘ，ｙ）から第１解像度よりも粗い第２解像度となる高層の特徴１０９ｈを抽出する（Ｓ１３０１）。そして、抽出した高層の特徴１０９ｈを１次元に整列させる（Ｓ１３０２）。つまり、並べ直す。これは、図８の例でいえば特徴マップ４０３ｃを整列させたものに相当する。整列に際しては、特徴マップ４０３ｃをＲＡＭ１４に記憶しておき、随時読みだして使用できるようにする。

次に、第２特徴生成部１０３は、Ｓ１３０３からＳ１３０５のループで、高層の特徴１０９ｈについて、ニューラルネットワークの全結合層の演算処理によって特徴変換を行う。全結合層の演算処理では、１次元に整列された高層の特徴１０９ｈについて重み付けを行う。全結合層の重み付けは、本実施形態では、図９に画像分類カテゴリ２０８として示す出力層を用いて、予め画像分類タスクが判定できるように学習しておく。このような学習形態を「マルチタスク学習」と呼ぶ。ここでは、例えば１０００クラス程度の分類タスクの学習を行う。このマルチタスク学習を行った後に、出力層の前の中間層を用いて特徴変換を行うことで、人物やその人物の目の大きさ、髪色など、検出対象の大まかな画像の特徴を表す画像分類特徴１１５を得ることができる。

第２特徴生成部１０３は、次に、画像分類特徴１１５とカメラ情報入力部１１０を通じて入力されたカメラ情報とを連結して広域特徴Ｇを生成する（Ｓ１３０６）。カメラ情報は入力画像の撮像時の条件を表す情報である。カメラ情報の一例として、本実施形態では図１０（Ａ）に示されるように、カメラの焦点がどの領域ブロックに合っているかを表す合焦情報１５０１を数値化した合焦情報値１５０２を用いる。合焦情報値１５０２は、焦点があっている領域ブロックでは０、そうでない場合は焦点の深さに応じた＋の数値となる。この合焦情報値１５０２を領域ブロックごとの閾値（θ）に加算することにより、例えば「焦点の合っていないエリアは被写体の誤検出が多いために閾値（θ）を上げる」といった、状況に応じた閾値（θ）の設定ができる。その後、第２特徴生成部１０３は、連結した特徴を広域特徴Ｇとして記憶し、第２特徴の生成処理を終える（Ｓ１３０７）。

なお、カメラ情報は、合焦情報値１５０２のほか、図１０（Ｂ）に示すような水平線推定結果１５０３と各領域ブロックとの位置関係に関する水平線情報値１５０４を使用することもできる。水平線は、カメラが重力センサを有する場合、その重力センサの検出情報から推定することができる。そして、領域ブロックごとの閾値（θ）に加算する数値として、水平線より上の領域ブロックは−１，それ以外の領域ブロックは、近くになるほどプラスの数値となるようにする。カメラ情報の他の種類としては、図１０（Ｃ）に示す物理的な測光値に関する測光情報値１５０５などを使用することもできる。なお、図１０（Ａ）〜（Ｃ）はカメラ情報の例示であって、被写体の適切な判別パラメータ（閾値（θ））の推定及び設定の際に手がかりとなる情報であれば、あらゆる種類のカメラ情報を用いることができる。カメラ情報は、外部記憶装置１５に保持され、随時、カメラ情報入力部１１０から第２特徴生成部１０３に提供される。

＜判別パラメータ設定＞
次に、図３のＳ１４に示した判別パラメータを設定する処理について詳細に説明する。ここでは、判別パラメータ設定部１０４が、判別パラメータとして人物の顔を検出する際に用いる閾値（θ）を算出し、領域ブロックごとに設定する場合の例を説明する。
判別パラメータ設定部１０４は、顔サイズｓごとに、かつ、入力画像の領域ブロック（ｉ，ｊ）ごとに適切な閾値（θ）が設定されるように、図９に示される３つのパラメータ回帰器１０４ａ、１０４ｂ、１０４ｃを備える。パラメータ回帰器１０４ａは、小さい顔の閾値（顔（小）閾値）用の回帰器である。パラメータ回帰器１０４ｃは大きい顔の閾値（顔（大）閾値）用の回帰器である。パラメータ回帰器１０４ｂは、中間のサイズの顔の閾値（顔（中）閾値）用の回帰器である。領域ブロックの添え字を（ｉ，ｊ）とするのは、局所特徴の領域ブロック（ｘ，ｙ）よりも解像度を低くするためである。

局所特徴では、顔の尤度スコアのほかに位置精度が重要となるため、より高い解像度の領域ブロック単位（ｘ，ｙ）で判別を行う必要があるが、判別パラメータ設定部１０４による閾値（θ）の推定では、位置精度はそれほど重要でない。むしろ、より粗い解像度の領域ブロック単位（ｉ，ｊ）で推定を行うのが好適である。その理由として、本実施形態では、閾値（θ）を入力画像の領域ブロックごとに異なるパラメータ回帰器でそれぞれ学習するため、領域ブロックの解像度が高すぎると処理量やメモリ消費の点で不利になる。また学習時の事例が少なくなるため、過学習が起こりやすい点も理由の一つに挙げられる。このように被写体の尤度判別と閾値（θ）の設定とが相補的な関係にある点が本実施形態における特長の一つである。

判別パラメータ設定部１０４による具体的な処理の手順は以下の通りである。判別パラメータ設定部１０４は、図７に示すように、顔サイズｓ（ただしｓ∈｛小，中，大｝）、及び入力画像上の各領域ブロック（ｉ，ｊ）について処理を繰り返す（Ｓ１４０１〜Ｓ１４０５）。判別パラメータ設定部１０４は、抽出された広域特徴Ｇを用いて、各顔サイズｓ及び各領域ブロック（ｉ、ｊ）に閾値（θ_ijs）を算出する（Ｓ１４０３）。算出は、下記式に示される一般的なロジスティック回帰器の演算により行う。
［数４］
θ_ijs＝１／（１＋ｅｘｐ｛−Ｗ_ijs ^Ｔ・Ｇ＋ｂ_ijs｝）

ただし、Ｗは広域特徴Ｇと同じ長さのベクトルからなる重みパラメータ、ｂはバイアス値である。また。重みＷの値及びバイアス値ｂは予め学習して得ているものとする。以上の演算により、判別パラメータである閾値（θ_ijs）が、顔サイズｓ及び入力画像の領域ブロック（ｉｊ）ごとに算出され、設定される。

判別パラメータ設定部１０４の処理により設定される閾値（θ_ijs）の例が図９に示されている。図９では、閾値（θ_ijs）が０に近い領域ブロックほど白く、閾値（θ_ijs）が１に近い領域ブロックほど黒く示されている。すなわち、閾値（θ_ijs）が１に近い黒い領域ブロックほど検出を抑制し、尤度スコアが高くない限り検出をしないという設定がなされる。

＜被写体判別＞
次に、図３のＳ１５に示された判別処理の詳細な手順例を図７及び図９を参照して説明する。図７において、被写体判別部１０６は、人物の顔のサイズｓごとにＳ１５０１からＳ１５０９のループ処理を行う。すなわち、被写体判別部１０６は、顔（小）尤度スコアを生成する尤度生成部１０６ａ、顔（中）尤度スコアを生成する尤度生成部１０６ｂ、顔（大）尤度スコアを生成する尤度生成部１０６ｃとして機能する。
各尤度スコアは、各領域ブロック（ｘ，ｙ）について局所特徴Ｆ_ｘｙを入力とし、サイズｓの顔が被写体の候補としてその領域ブロックに存在する確度を表す評価情報である（Ｓ１５０１〜Ｓ１５０４）。具体的には、局所特徴Ｆ_ｘｙを入力変数とし、例えばサポートベクトルマシン（ＳＶＭ：support vector machine）を用いて、各領域ブロック（ｘ，ｙ）についてのサイズｓの顔の尤度スコアＬ_s（ｘ，ｙ）を以下の式により算出する。
［数５］
Ｌ_s（ｘ，ｙ）＝Ｒ（Σ_k α_sk ｖ_sk・Ｆ_xy＋ｂ_s）

ｖ_skは、ＳＶＭがサイズｓの顔を判別するためのｋ番目のサポートベクトル、α_skは同じくサポートベクトルの重み係数、ｂ_sはバイアス項である。これらのパラメータは、顔サイズｓごとに予め後述する方法で学習を行い、記憶してあるものとする。Ｒ（・）は、ＳＶＭの出力を尤度に変換するための規格化関数である。ここでは簡易に下式のような関数でＳＶＭのスコアを０〜１に規格化する。なお、τは定数である。
［数６］
規格化関数ｚ’＝Ｒ（ｚ）の定義：
ｚ’＝１ ｉｆ ｚ≧τ
ｚ’＝ｚ／τ ｉｆ ０≦ｚ＜τ
ｚ’＝０ ｉｆ ｚ＜０

ＳＶＭは、線形入力素子を利用した２クラスのパターン識別器の一つである。尤度生成部１０６ａ、１０６ｂ、１０６ｃは、全ての領域ブロック（ｘ，ｙ）と全ての顔サイズｓについて条件判定の処理を行う。そのために、ＳＶＭのように軽い処理の判別器であることが好適である。換言すれば処理が軽ければ決定木や多層パーセプトロン等、どのような判別器を用いることができる。

尤度生成部１０６ａ、１０６ｂ、１０６ｃは、また、抽出したＬ_s（ｘ，ｙ）の値を閾値（θ_ijs）と比較する。ただし、被写体の尤度スコアを算出した領域ブロック（ｘ，ｙ）と、閾値（θ_ijs）を設定した領域ブロック（ｉ，ｊ）とは解像度が異なるため、下記の式に示すように座標を変換して得られる領域ブロックの閾値（θ_i'j's）と比較する。下記の式において、δとγは２つの領域ブロック間の座標変換のパラメータである。
［数７］
ｉ’＝δ_1x＋γ₁
ｊ’＝δ_2y＋γ₂

そして、次の数式に示す条件を判定する。
［数８］
Ｌ_s（ｘ，ｙ）≧θ_i'j's

このようにして尤度生成部１０６ａ、１０６ｂ、１０６ｃは、図９に示す通り、顔（小）尤度スコア、顔（中）尤度スコア、顔（大）尤度スコアを生成する。
各尤度スコアが生成されると、被写体判別部１０６は、閾値処理部１０６ｄで各領域ブロック（ｘ，ｙ）について条件判定を行う（Ｓ１５０６）。すなわち、閾値処理部１０６ｄは、尤度スコアＬ_ｓ（ｘ，ｙ）が８近傍の尤度スコアの中で最大の値か否かを判定する。また、閾値（θ_i'j's）以上かどうかを判定する。肯定的の場合（Ｓ１５０６：Ｙｅｓ）、条件を満たす領域ブロック（ｉ番目の領域ブロック）の座標（ｘ，ｙ）を中心とする位置にサイズｓの顔が存在すると判定する（Ｓ１５０７）。つまり、そのサイズｓの顔を図９に示される被写体の候補と判定する。その後、Ｓ１５０５の処理に戻る。
一方、Ｓ１５０６の結果が否定的である場合（Ｓ１５０６：Ｎｏ）、ただちにＳ１５０５の処理に戻る。図３のＳ１６では、上記の被写体判別部１０６による判定の結果が、最終検出結果１２１として結果出力部１０７に出力される。

＜学習処理＞
次に、情報処理装置が行う学習処理について、図１１から図１４を参照して説明する。図１１は、学習処理を行うときの情報処理装置の機能ブロック構成図である。図２の機能ブロック構成図に、カメラ情報保持部１３０、学習画像保持部１３１、教師値保持部１３２、尤度集計部１３３、判別パラメータ教師値保持部１３４が追加されている。なお、ベース特徴生成部１０８については、図示を省略してある。

図１２に示す学習処理の手順説明図を参照すると、画像入力部１０１は、学習画像保持部１３１から学習画像を取得する。また、尤度生成部１０６ａ、１０６ｂ、１０６ｃは、各画像に対応する顔の教師値を教師値保持部１３２から取得する。なお、ここでは、各画像に対応する人物の顔の教師値を用いるが、必ずしも顔に限られない。図１４（Ａ）は学習画像セットＸ、同（Ｂ）は学習画像セットＹを示す。各学習画像セットＸ，Ｙは、それぞれの図の（１）行に示される学習画像と、図の（２）行に示される顔の教師値のセットからなる。顔の教師値は、領域ブロックが小サイズの顔、中サイズの顔、大サイズの顔、のいずれかを含むか、あるいはいずれも含まないかを表す値である。具体的には、顔の基準点を含む領域ブロックを正事例（顔があった）“１”、それ以外の領域ブロックを負事例（顔がなかった）“０”の教師値とする。各教師値は、簡便には、顔サイズごとに入力デバイス２１を介して操作者が付与してもよいが、自動認識処理によってそれを行うようにしてもよい。顔の基準点は、顔領域の重心とするが、この限りでない。

第１特徴生成部１０２は、各学習画像から局所特徴を生成する（Ｓ１１２）。局所特徴を生成する処理の内容は、Ｓ１２の処理と同様となる。
まず、尤度生成部１０６ａ，１０６ｂ，１０６ｃは、局所特徴に基づき被写体（顔）を正しく判別できるよう尤度判定用のＳＶＭを次のように学習する（Ｓ１１３）。すなわち、尤度生成部１０６ａ，１０６ｂ，１０６ｃは、与えられた顔についての教師値の“０”、“１”の値を目標変数、対応する領域ブロックの連結層特徴量Ｆ_xyを説明変数とし、顔の正事例と負事例が判別できるようにＳＶＭを学習する。学習は、サイズｓごとに行い、ＳＶＭのパラメータ（［ｖ_sk，α_sk，ｂ_s］）を得る。以上が、尤度生成部１０６ａの学習手順である。

情報処理装置では、その後、判別パラメータ設定部１０４の回帰器１０４ａ，１０４ｂ，１０４ｃを学習する（Ｓ１１４）。回帰器１０４ａ，１０４ｂ，１０４ｃは、画像の領域ブロックごとに備えられるパラメータ回帰器Φ_ijである。パラメータ回帰器Φ_ijは、それぞれが、前述した数２式に従うロジスティック回帰器である。学習の目的は、これらのロジスティック回帰器が入力画像の広域特徴に応じて適切な閾値（θ_ij）が推定できるように、回帰器Φ_ijの重みパラメータ（［Ｗ_ij，ｂ_ij］）を得ることである。ここでは、説明の簡単のために以降では顔のサイズｓについては考慮せず、全て同じ顔として扱うものとする。サイズｓを考慮したときにも本質的に学習動作は同一であり、単純に以降に述べる学習手順をサイズ別に行えばよい。

図１３はこの学習の手順説明図であり、Ｓ１１４１からＳ１１４９の処理のループを実行する。図１５は、学習処理の概念説明図である。図１３及び図１５を参照すると、画像入力部１０１は、学習画像保持部１３１に保持された複数の画像からランダムにｎ個サンプリングしてバッチセット５０１を選択する（Ｓ１１４２）。
尤度生成部１０６ａは、このバッチセット５０１に対してＳＶＭを用いて、各学習画像の被写体の尤度を並べた尤度マップを生成する（Ｓ１１４３）。
尤度集計部１３３は、尤度マップの局所的なピークの位置を抽出して記憶する（Ｓ１１４４）。そして、尤度集計部１３３は、ピークを集計して正事例（ピークの位置に顔があった）か負事例（ピークの位置に顔はなかった）の尤度のピークのスコアを領域ごとに集計して尤度スコアの分布を生成する（Ｓ１１４５）。このようにして集計された結果が図１５に示す尤度スコア分布５０３ａ，５０３ｂである。尤度スコア分布５０３ａ，５０３ｂとして示されるように、尤度スコアは画像中の位置ごと、すなわち領域ブロック（ｉ，ｊ）ごとに集計する。なお、尤度スコア分布５０３ａ，５０３ｂの細線の曲線は、各画像のスコア分布、太線の曲線はバッチの平均のスコア分布である。

一般に、画像のパターンから特徴を判別する場合、画像中央部では比較的精度がよく、画像の端ではパターンの一部が隠れるために認識精度が下がる。すなわち、図１５に示すように、正事例と負事例のスコア分布は、画像や領域ブロックの場所によって変化する。本実施形態では、各バッチセット５０１の画像の領域ブロック（ｉ，ｊ）ごとに適切な目標となる閾値（θ_ij）を設定する。例えば、顔検出の誤検出率が一定未満に抑えられるように、バッチセット５０１中の負事例の９５％を棄却できるような閾値を目標閾値（θ＾）として設定する。例えば、画像中央付近のパラメータ回帰器Φ_3,2に対してはθ＾_3,2＝０．４と比較的低い閾値を、画像隅のパラメータ回帰器Φ_4,3に対してはθ＾_4,3＝０．７と高い閾値を回帰推定の目標値として与える（Ｓ１１４６）。

次に、第２特徴生成部１０３は、バッチセット５０１の各バッチの画像の広域特徴５０５を生成する（Ｓ１１４７）。ついで、第２特徴生成部１０３は、広域特徴５０５を説明変数とし、目標の閾値（θ＾_ij）に近い閾値（θ_ij）が、前述した数４の式で算出できるように重みパラメータ（［Ｗ_ij，ｂ_ij］）を求める。これは目標値θ＾_ijと推定値θ_ijの誤差の総和の値Ｅをバッチごとに算出し、これを減らすような勾配方向に重みパラメータを更新すればよい。具体的には機械学習で広く公知な勾配法を用いて下式のように重みの値を微小に更新する（Ｓ１１４８）。
［数９］
Ｗ_ij ^t+1＝η∂Ｅ／∂Ｗ_ij ^t＋Ｗ_ij ^t
ｂ_ij ^t+1＝η∂Ｅ／∂ｂ_ij ^t＋ｂ_ij ^t

ただし、ηは微小な係数である。上記の更新動作を所定のｍ回数繰り返し、得られた重みパラメータ（［Ｗ_ijm，ｂ_ijm］）をパラメータ回帰器Φ_ijのパラメータとする。
このようにして学習されたパラメータ回帰器Φ_ijは、画像の広域特徴に応じて、領域ブロックごとに適切な目標閾値が設定できるように鍛えられたものとなる。

以上の学習処理は、前述のように、顔のサイズｓごとにパラメータ回帰器Φ_ijsとして学習を行う。その結果、例えば乱雑な背景があるような画像では、誤検出しやすい小サイズの顔の検出が抑制されるような閾値（θ）が設定される。また、例えば、ポートレート写真のような画像特徴を持つ画像に対しては、中心付近の大サイズの顔の失敗事例が少ないと考えられるため、中心近辺の閾値が低く設定され、大サイズの顔が検出され易くなる。
以上が被写体判別部１０６、判別パラメータ設定部１０４の学習処理の内容となる。

＜変形例＞
本実施形態の別の派生的形態として、第１特徴はＣＮＮの低層の特徴マップ４０３ａのみを用いて生成し、第２特徴は高層の特徴マップ４０３ｃのみを使って生成するといったベース特徴の使い分けをしてもよい。また、ニューラルネットワーク以外の特徴の形態として、色のヒストグラム、ＳＩＦＴ特徴といった従来の画像特徴も適応可能である。また、本実施形態の特徴は、矩形のブロック領域を要素単位として算出したが、第１特徴の生成単位は矩形ブロック形状に限定されない。例えば、色味の近さ等で画素をグループ分けして得られるスーパーピクセルと呼ばれる領域を単位とし、各領域について被写体の尤度スコアの計算を行ってもよい。
また、本実施形態では、判別パラメータ設定部１０４は、領域ブロック別かつ顔サイズ別に適切な閾値設定を行ったが、閾値の学習・推定を領域ブロックごとに行わない形態も考えられる。すなわち、領域ブロックに対してではなく、画像全体に対して顔サイズごとに一つの閾値を得てもよい。さらに顔サイズにも分けない、といった派生の形態も考えられる。また、判別パラメータ設定部１０４に与えた閾値の目標値は誤検出率が所定条件を満たすようにという基準で決定したが、この限りでない。他の派生として適合率（precision）が所定値以上であるという基準や、ベイズエラーを最小にする基準、といった形態を採用することも考えられる。

［第２実施形態］
第２実施形態では、意味的領域分割などの他のタスクにも適応できることを説明する。この場合、判別パラメータとして、第１実施形態のような閾値（θ）ではなく、認識結果を統合する際のスコアバランスの重み係数βを設定する。第２実施形態の情報処理装置は、ハードウェア構成は第１実施形態と同じであるが、コンピュータプログラムにより実現される機能ブロック構成が第１実施形態と異なるものとなる。

図１６は、第２実施形態の情報処理装置の機能ブロック構成図である。第２実施形態の情報処理装置では、画像入力部２０１が、撮影画像の中から必要な入力画像を取り込む。また、第１特徴生成部２０２が、取り込んだ入力画像の局所領域の特徴を含む第１特徴を生成する。また、第２特徴生成部２０３が、取り込んだ入力画像の広域特徴を含む第２特徴を生成する。また、判別パラメータ設定部２０４が、第２特徴から判別パラメータを設定する。また、被写体判別部２０６が、第１特徴及び設定された判別パラメータに基づいて画像中の被写体を判別する。また、結果出力部２０７が、判別結果を出力する。また、ベース特徴生成部２０８が、第１特徴及び第２特徴を生成するベースとなる特徴情報を生成し、記憶する。また、カメラ情報入力部２１０が、カメラ情報をベース特徴生成部２０８に入力する処理を行う。この実施形態では、新たに、領域ブロックのカテゴリごとの判定を行う領域カテゴリ判定部２１１を有する。

ベース特徴生成部２０８は、図１６に示すように、ＲＧＢヒストグラム２０８ａ、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴２０８ｂをベース特徴として生成する。また、カメラ情報入力部２１０から、水平線情報値２０８ｃ、測光情報値２０８ｄといった、領域ブロックのカテゴリを判別する際に有効となるカメラ情報もベース特徴として取り込む。ここでは図１０（Ａ）〜（Ｃ）に示す合焦情報値１５０２、水平線情報値１５０４、測光情報値１５０５を用いる。

領域カテゴリ判定部２１１は、入力画像の各領域ブロックの領域カテゴリの尤度スコアを算出する。領域カテゴリは、例えば、空、地面、建物、それ以外の物体の各属性を表す。領域カテゴリの教師値は、図１４（Ａ），（Ｂ）の（３）行に示すようなものである。このような領域カテゴリの判別を行うことが、第２実施形態によるタスクの目的である。

第２実施形態では、第１実施形態と異なり、ベース特徴生成部２０８がニューラルネットワークを用いていない。また、領域カテゴリ判定部２１１を、空領域判定部２１１ａ、地面領域判定部２０１１ｂ、建物領域判定部２１１ｃ、及び、物体領域判定部２１１ｄで構成する。これらの判定部２１１ａ〜２１１ｄは、第１特徴生成部２０２で生成される第１特徴に基づいて領域カテゴリをスコア化したマップ、すなわち領域カテゴリスコアマップを生成する。この領域カテゴリスコアマップは、被写体判別部２０６及び第２特徴生成部２０３で使用される。

第２実施形態における被写体の判別方法の処理手順例を図１７（Ａ），（Ｂ）を参照して説明する。まず、第１実施形態と同様に、画像入力部２０１で取り込んだ入力画像からベース特徴生成部２０８でベース特徴を生成する（Ｓ２１、Ｓ２２）。第１特徴生成部２０２は、ベース特徴から局所特徴及び広域特徴を抽出し、第１特徴を生成する（Ｓ２３）。
領域カテゴリ判定部２１１は、領域カテゴリスコアマップを生成する（Ｓ２４）。このＳ２４の詳細な処理の手順を図１７（Ｂ）に示す。すなわち、領域カテゴリ判定部２１１は、例えば上述のＳＶＭを用いて、空、地面、建物、その他の物体の４種類の属性を表す領域ブロックのカテゴリの尤度スコアを算出する。そしてこれらの尤度スコアを並べて領域カテゴリスコアマップを生成する（Ｓ２４０１〜Ｓ２４０５）。第２特徴生成部２０３は、ベース特徴と領域カテゴリスコアマップとから、第２特徴を生成する（Ｓ２５）。

判別パラメータ設定部２０４は、領域カテゴリの重み係数のパラメータβ＝［β₁，β₂，β₃，β₄］を推定する（Ｓ２６）。ここでは、領域カテゴリごとにロジスティック回帰器を用意し、説明変数を広域特徴Ｇとして用いて、適切なカテゴリ間のバランスの係数βを下式で推定する。
［数１０］
β_c＝１／（１＋exp｛−Ｗ_c ^T・Ｇ＋ｂ_c｝） （ｃ＝１，・・・，４）

被写体判別部２０６では、尤度生成部２０６ａが、推定された重みβ＝［β₁，β₂，β₃，β₄］と各カテゴリの領域カテゴリスコアマップとを掛け算して調整後の尤度スコアを算出する（Ｓ２７）。
［数１１］
Ｌ' _c（ｘ，ｙ）＝β_c・Ｌ_c（ｘ，ｙ） （ｃ＝１，・・・，４）

上記のロジスティック回帰器では、予め、適切な係数βｃが得られるように、重みパラメータ［Ｗ_c，ｂ_c］を調整しておく。具体的には、調整後の尤度Ｌ'_c（ｘ，ｙ）が平均的に各カテゴリの教師値（［０，１］の二値）との誤差を縮小するように勾配法等で調整すればよい。このとき、第１実施形態と異なり、広域特徴に領域カテゴリのスコアマップを連結して用いることも考えられる。このような工夫を追加すると、各領域カテゴリの間の誤検出の起こし易さなどを考慮した学習が可能となる。例えば建物と物体は取り間違えやすい、といったカテゴリ間の共起性も一種の情報として考慮し、適切な重み係数βの学習を行うことができる。例えば、建物と物体の両方の尤度スコアが高い場合は、どちらの重み係数も下げるように学習されるようにする。
閾値処理部２０６ｄは、領域カテゴリを閾値処理する（Ｓ２８）。結果出力部２０７は、判別結果を、例えばモニタ２２に出力して表示させる（Ｓ２９）。

＜変形例＞
第２実施形態の変形例として、重み係数を領域カテゴリごとに掛け算するのでなく、例えば４×４のパラメータを持つ行列βＭＡＴを用いて、全カテゴリのスコアマップの結果を混合して調整後の尤度スコアを求めてもよい。この場合の領域ブロック（ｘ，ｙ）の４つのカテゴリの尤度Ｌ（ｘ，ｙ）は、下式により算出することができる。この式は、領域ブロック（ｘ，ｙ）の４つのカテゴリの尤度を４×１サイズのベクトルとして並べたものに相当する。
［数１２］
Ｌ'（ｘ，ｙ）＝β_MAT・Ｌ（ｘ，ｙ）

［第３実施形態］
情報処理装置の第３実施形態について説明する。この実施形態では、これまで説明したような定形の領域ブロックに対してではなく、不定形の領域ブロックをベースとしたタスクに対しても適応可能であることを説明する。第３実施形態の情報処理装置のハードウェア構成は第１実施形態と同じであり、コンピュータプログラムによって実現される機能ブロック構成が異なる。第３実施形態の情報処理装置の機能ブロック構成図を図１８に示す。第１及び第２実施形態と異なる点は、被写体の判別を領域ブロックではなく、人間が画像に注意を向ける関心領域（ＲＯＩ：Region of Interest）に着目して判別する点である。

第３実施形態の情報処理装置は、図１８に示されるように、特徴生成部３０２、ＲＯＩ選択部３０４、ＲＯＩ特徴抽出部３０６、被写体尤度生成部３０７、領域尤度生成部３０９、判別パラメータ設定部３１１、閾値処理部３１５の機能を有する。これらは、撮像モードによって検出したい被写体の種類や適切な閾値が異なると考えられ、これについて対応するための機能である。

第３実施形態の情報処理装置は、また、風景モードや追尾撮像モードといったカメラ側のインタフェースであって、ユーザーが選択する撮像モードを指示する撮像モード指示部３１２を有する。さらに、判別パラメータ設定部３１１において用いるサポートベクトル回帰器（ＳＶＲ）の係数を保持するＳＶＲ係数保持部３１３を有する。

第３実施形態における被写体の判別方法を図１９を参照して説明する。ここでは、検出対象となる被写体を特定の人物とする場合の例を示す。情報処理装置は、まず、入力画像の取り込み及びその入力画像の局所特徴の生成処理を行う（Ｓ３１〜Ｓ３２）。これらの処理の内容は、第１実施形態と同様となる。
ＲＯＩ選択部３０４は、「人物らしさ」の高いＲＯＩを複数選択し、それぞれ対応する候補領域を生成する（Ｓ３３）。ＲＯＩ特徴抽出部３０６は、ＲＯＩごとにその位置（座標（ｘ，ｙ））及びサイズｓを検出するとともに、各ＲＯＩの特徴量を算出し、集計する（Ｓ３４、ＲＯＩプーリング処理と呼ばれる）。被写体尤度生成部３０７は、第１及び第２実施形態と同様の手法で被写体尤度（人物の尤度）を算出し、算出結果を基に検出候補を生成する（Ｓ３５）。

また、領域尤度生成部３０９は、特徴生成部３０２で生成された局所特徴を用いて、領域ブロックごとに、芝生，群衆、ボールといった領域カテゴリ（属性）の尤度を推定して領域カテゴリ尤度を生成する（Ｓ３６）。判別パラメータ設定部３１１は、例えば情報処理装置の操作者が撮像モード指示部３１２で指示したモードに応じて、予めモードごとに学習済であるの重みパラメータであるＳＶＲ係数をＳＶＲ係数保持部３１３から読み出す（Ｓ３７）。指示されるモードには、例えば風景モード、マクロモード、追尾モード、ポートレートモードなどがある。

判別パラメータ設定部３１１は、ＲＯＩ特徴抽出部３０６が抽出したＲＯＩのサイズｓ、及び、ＲＯＩの座標（ｘ、ｙ）と、領域尤度生成部３０９が生成したＲＯＩ中の領域カテゴリの尤度３１０とに基づいて判別パラメータを生成する（Ｓ３８）。本実施形態の判別パラメータは、各ＲＯＩの判別に用いる閾値（θ_ROI）である（Ｓ３８）。閾値処理部３１５は、閾値（θ_ROI）とＳ３５で生成した検出候補の尤度とを比較し、すなわち閾値処理し、検出候補が被写体（人物）かどうかを判別し（Ｓ３９）、その結果を出力する（Ｓ４０）。情報処理装置は、このような形態の処理により、例えば“ボールの周辺にある小サイズの人物は検出対象の被写体である可能性が高い”などの情報を考慮して、人物の判別を行うことができる。

なお、ＳＶＲはサポートベクトルのマージン最大化を基準として回帰学習を行う手法である。ＳＶＲで最適な閾値（θ）を推定するためには、まず、各学習事例について目標閾値（θ＾）を準備する。まず、図２０（Ａ）に示すように、ＲＯＩの位置及びサイズを特徴次元とする特徴空間上の人物の正事例と負事例の分布を考える。各事例には、被写体尤度生成部３０７が生成した人物の尤度の値（Ｌ）が予め付されている。

判別パラメータ設定部３１１は、以下のようにして、ＳＶＲの教師値となる最適な閾値（θ＾）を事例ごとに設定する。具体的には、各事例について周囲のｋ近傍（当該事例の領域に隣り合うｋ（所定の定数）の領域）の事例を判別する際の適切な閾値（θ＾）を設定する。ここでは、図２０（Ａ）中の正事例８０１について、周囲の事例の尤度スコアを参照し、近傍のいずれの事例についても閾値（θ＾）を越えるような負事例がないように、θ＾＝０．５を目標閾値として設定している。同様にして、全ての事例について、閾値（θ＾）を設定する。設定した結果の例を図２０（Ｂ）に示す。
このようにして得られた閾値（θ＾）のセットがＳＶＲの学習時の教師値となる。ＳＶＲには、図２０（Ｃ）に入力事例８０３として示すように、事例が存在しない位置に入力事例が入ってくる。そのため、ロバスト性を持たせて適切な閾値が推定できるように、マージン最大化の基準でＳＶＲの係数の学習を行う。以上がＳＶＲの学習方法になる。

また、図２０（Ｄ）のように説明変数の特徴量としてより高次元での特徴を推定するときにも、同様の方法を用いることができる。また。このような閾値の推定の手法はＳＶＲ以外に、カーネル密度推定等の方法を用いてもよく、特定の方法に限定されない。
また、操作者が選択する撮像モードに応じて学習データと教師値の複数のセットを用意し、それぞれ学習することもできる。これにより、追尾モードの時はそれ以外のモードの時よりも、大サイズの人物の検出が抑制される、といった学習を行うことも可能である。

第３実施形態では、第１実施形態と異なり、定形的な領域ブロックをベースとしない認識手法にも適用可能となる。特に、判別パラメータの設定についても、ＳＶＲなどの手法を使うことによって、位置やサイズ等の連続値を考慮した判別パラメータの設定が行える。

本発明は、以下の処理を実行することによっても実現される。すなわち、上述した各実施形態の機能を実現するコンピュータプログラムを、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給する。そしてそのシステム或いは装置のコンピュータ（またはＣＰＵ等）がコンピュータプログラムを読み出して実行する処理によっても本発明の実施は可能である。この場合、そのコンピュータプログラム、および該コンピュータプログラムを記憶した記録媒体は本発明を構成することになる。

Claims (18)

1. 画像を取得する取得手段と、
   前記画像の第１特徴を生成する第１特徴生成手段と、
   前記画像の前記第１特徴と異なる第２特徴を生成する第２特徴生成手段と、
   前記第２特徴から前記画像に存在する被写体を判別するための判別パラメータを前記画像に対して設定する設定手段と、
   前記第１特徴と前記判別パラメータとに基づいて前記被写体を判別する判別手段と、
   を備えることを特徴とする情報処理装置。
2. 前記判別手段は、前記第１特徴から前記被写体の候補を検出するとともに検出された前記候補の尤度と前記判別パラメータとを比較することにより当該候補が前記被写体であるかどうかを判別することを特徴とする、請求項１に記載の情報処理装置。
3. 前記判別手段は、前記第１特徴に基づいて前記画像中に前記被写体が存在する尤度を表す尤度スコアを前記画像を構成する領域ブロックごとに算出し、各尤度スコアを全ての領域ブロックについて統合することにより前記候補を検出することを特徴とする、請求項２に記載の情報処理装置。
4. 前記画像の特徴抽出のベースとなるベース特徴を生成するベース特徴生成手段をさらに備えており、前記第１特徴生成手段は、前記ベース特徴を第１解像度で変換することにより前記第１特徴を生成し、前記第２特徴生成手段は、前記ベース特徴を前記第１解像度よりも粗い第２解像度で変換することにより前記第２特徴を生成することを特徴とする、請求項１から３のいずれか一項に記載の情報処理装置。
5. 前記ベース特徴生成手段は、前記画像に対してニューラルネットワークで複数回の畳み込み演算を行うことにより、演算が進むに従って解像度が低くなる複数層の特徴マップを生成するとともに、これらの層の特徴マップを統合することにより前記ベース特徴を生成することを特徴とする、請求項４に記載の情報処理装置。
6. 前記ベース特徴生成手段は、統合前に全ての層の特徴マップの解像度を合致させることを特徴とする、請求項５に記載の情報処理装置。
7. 前記第１特徴生成手段は、前記複数層の特徴マップのうち前記第１解像度の層の特徴マップを変換することにより前記第１特徴を生成し、前記第２特徴生成手段は、前記第２解像度の層の特徴マップを変換することにより前記第２特徴を生成することを特徴とする、請求項５又は６に記載の情報処理装置。
8. 前記第１特徴は、前記入力画像の局所領域の特徴である局所特徴を含み、
   前記第２特徴は、前記局所特徴よりも広い領域の特徴である広域特徴を含むことを特徴とする、請求項７に記載の情報処理装置。
9. 前記画像がカメラで撮像された画像であり、
   前記取得手段は、前記画像の撮像時の条件を表すカメラ情報と共に取得し、
   前記第２特徴生成手段は、前記第２解像度の層の特徴マップについて前記ニューラルネットワークの全結合層の演算を行うことにより、予め分類された画像特徴である画像分類特徴を生成するとともに、前記画像分類特徴と前記カメラ情報とを連結することにより前記広域特徴を生成することを特徴とする、請求項８に記載の情報処理装置。
10. 前記設定手段は、前記第２特徴に含まれる前記画像分類特徴を用いて前記被写体のサイズを推定するとともに、前記被写体のサイズごと及び前記画像を構成する領域ブロックごとに前記判別パラメータを設定することを特徴とする、請求項９に記載の情報処理装置。
11. 前記判別パラメータは、前記判別の誤りが所定値以下となるように予め学習により決定された閾値であることを特徴とする、請求項１ないし１０のいずれか一項に記載の情報処理装置。
12. 前記画像を構成する複数の領域ブロックのうち個々の領域ブロックの属性を表す領域カテゴリを予め保持されている学習データに基づいて判定するとともに、判定した領域カテゴリごとに当該領域カテゴリの尤度を表す尤度スコアを算出する領域カテゴリ判定手段を備えており、前記第２特徴生成手段は、前記領域カテゴリごとの尤度スコアに基づいて前記第２特徴を生成することを特徴とする、請求項１から３のいずれか一項に記載の情報処理装置。
13. 前記設定手段は、予め領域カテゴリごとに学習された学習データに基づいてそれぞれの前記領域カテゴリの前記尤度スコアを重み付けし、重み付け後の前記尤度スコアを用いて前記判別パラメータを前記領域ブロックごとに設定することを特徴とする、請求項１２に記載の情報処理装置。
14. 画像を取得する取得手段と、
    前記画像の局所領域の特徴を表す局所特徴を生成する特徴生成手段と、
    前記局所特徴から前記画像を構成する複数の領域ブロックの各々が、予め定められたカテゴリの尤度を表す領域カテゴリ尤度を生成する領域尤度生成手段と、
    前記領域カテゴリ尤度に基づいて複数の関心領域を選択する選択手段と、
    前記局所特徴及び選択された前記複数の関心領域の各々の位置及びサイズを検出するとともに、各関心領域の特徴を抽出する特徴抽出手段と、
    抽出された各関心領域の特徴に基づいて当該関心領域における被写体の尤度を生成する被写体尤度生成手段と、
    前記特徴抽出手段で検出された各関心領域の位置及びサイズと前記領域尤度生成手段で生成された前記領域カテゴリ尤度とに基づいて前記被写体を判別するための判別パラメータを前記関心領域ごとに設定する設定手段と、
    前記被写体尤度生成手段で生成された被写体の尤度と前記判別パラメータとを比較することにより前記被写体を判別する判別手段と、
    を備えることを特徴とする情報処理装置。
15. 画像を構成する第１解像度の領域ブロックごとに、前記入力画像に被写体が存在することの尤度を表す尤度スコアを算出するとともに、算出した各尤度スコアを評価することにより、前記被写体の候補を検出するステップと、
    前記画像を構成する、前記第１解像度よりも粗い第２解像度の領域ブロックごとに、前記被写体を判別するための判別パラメータを設定するステップと、
    前記候補の尤度と前記判別パラメータとを比較することにより当該候補が前記被写体であるかどうかを判別するステップと、を有する被写体の判別方法。
16. 画像の第１特徴を生成するステップと、
    前記第１特徴から前記画像を構成する領域ブロックごとに、当該領域ブロックのカテゴリの尤度を表す領域カテゴリスコアを算出し、各領域カテゴリスコアに基づいて前記画像に存在する被写体の尤度を生成するステップと、
    算出した各領域カテゴリスコアと前記画像とに基づいて前記第１特徴と異なる第２特徴を生成し、生成した前記第２特徴に基づいて前記領域カテゴリスコアの重み係数を推定するとともに、前記各領域カテゴリスコアを前記重み係数で調整するステップと、
    調整された前記各領域カテゴリスコアと前記被写体の尤度とを比較することにより前記被写体を判別するステップと、を有することを特徴とする被写体の判別方法。
17. 画像の局所領域の特徴を表す局所特徴を生成するステップと、
    前記局所特徴に含まれる複数の関心領域を選択し、選択した各関心領域の特徴を抽出することにより、前記各関心領域における被写体の尤度を生成するステップと、
    前記局所特徴における領域カテゴリの尤度を生成し、生成した前記尤度と前記関心領域のサイズ及び位置に基づいて前記被写体を判別するための判別パラメータを前記関心領域ごとに設定するステップと、
    前記被写体の尤度と前記判別パラメータとを前記関心領域ごとに比較することにより前記被写体を判別するステップと、を有することを特徴とする被写体の判別方法。
18. コンピュータを請求項１から１４のいずれか一項に記載された情報処理装置として機能させるためのコンピュータプログラム。