JP2015204030A - 認識装置及び認識方法 - Google Patents

Abstract

【課題】様々な被写体を手掛かりにして処理負荷の低い方法で画像のシーンの判別を行うことができるようにする。
【解決手段】画像から、被写体の候補領域を抽出する候補領域抽出手段と、前記候補領域抽出手段により抽出された被写体の候補領域から前記画像の属性に関する特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された特徴量に基づいて、前記候補領域抽出手段により抽出された被写体の候補領域の属性を判定する属性判定手段と、前記属性判定手段の判定結果を統合することにより、画像の属性を同定する判定結果統合手段とを有する。
【選択図】図１

Description

本発明は認識装置及び認識方法に関し、特に、静止画、動画または距離画像などの画像情報を入力画像とし、画像中の物体を手掛かりとしてシーン、イベント、構図、もしくは主被写体といった画像の属性情報を推定するために用いて好適な技術に関する。

画像中の物体を手掛かりとして、画像のシーンやイベントを推定する従来の方法として、例えば非特許文献１がある。非特許文献１は、複数の特定のクラスの物体が画像中に存在するか否かを調べ、その有無の結果の分布を特徴量として画像のシーン判別を行う。

Ｌｉ−Ｊｉａ Ｌｉ， Ｈａｏ Ｓｕ， Ｙｏｎｇｗｈａｎ Ｌｉｍ， Ｌｉ Ｆｅｉ−Ｆｅｉ， "Ｏｂｊｅｃｔｓ ａｓ Ａｔｔｒｉｂｕｔｅｓ ｆｏｒ Ｓｃｅｎｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ"， Ｐｒｏｃ． ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆ． ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （ＥＣＣＶ ２０１０）． Ｐ． Ｆｅｌｚｅｎｓｚｗａｌｂ， Ｒ． Ｇｉｒｓｈｉｃｋ， Ｄ． ＭｃＡｌｌｅｓｔｅｒ， ａｎｄ Ｄ． Ｒａｍａｎａｎ． "Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ Ｐａｒｔ Ｂａｓｅｄ Ｍｏｄｅｌｓ"， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２０１０ Ｋｏｅｎ Ｅ． Ａ． ｖａｎ ｄｅ Ｓａｎｄｅ， Ｊａｓｐｅｒ Ｒ． Ｒ． Ｕｉｊｌｉｎｇｓ， Ｔｈｅｏ Ｇｅｖｅｒｓ， Ａｒｎｏｌｄ Ｗ． Ｍ． Ｓｍｅｕｌｄｅｒｓ， Ｓｅｇｍｅｎｔａｔｉｏｎ Ａｓ Ｓｅｌｅｃｔｉｖｅ Ｓｅａｒｃｈ ｆｏｒ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１１ Ｊｉａｎｂｏ Ｓｈｉ ａｎｄ Ｊｉｔｅｎｄｒａ Ｍａｌｉｋ， Ｎｏｒｍａｌｉｚｅｄ Ｃｕｔｓ ａｎｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， Ｖｏｌ． ２２， Ｎｏ． ８， ２０００ Ｊｏａｏ Ｃａｒｒｅｉｒａ ａｎｄ Ｃｒｉｓｔｉａｎ Ｓｍｉｎｃｈｉｓｅｓｃｕ， Ｃｏｎｓｔｒａｉｎｅｄ Ｐａｒａｍｅｔｒｉｃ Ｍｉｎ−Ｃｕｔｓ ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｏｂｊｅｃｔ Ｓｅｇｍｅｎｔａｔｉｏｎ， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２０１０ Ｓｖｅｔｌａｎａ Ｌａｚｅｂｎｉｋ， Ｃｏｒｄｅｌｉａ Ｓｃｈｍｉｄ， Ｊｅａｎ Ｐｏｎｃｅ， Ｂｅｙｏｎｄ Ｂａｇｓ ｏｆ Ｆｅａｔｕｒｅｓ： Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｍａｔｃｈｉｎｇ ｆｏｒ Ｒｅｃｏｇｎｉｚｉｎｇ Ｎａｔｕｒａｌ Ｓｃｅｎｅ Ｃａｔｅｇｏｒｉｅｓ， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００６ Ｐ． Ｆｅｌｚｅｎｓｚｗａｌｂ， Ｄ． ＭｃＡｌｌｅｓｔｅｒ， Ｄ． Ｒａｍａｎａｎ， Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ， Ｍｕｌｔｉｓｃａｌｅ， Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ， ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００８ Ｔ．Ｋｏｂａｙａｓｈｉ ａｎｄ Ｎ．Ｏｔｓｕ． Ａｃｔｉｏｎ ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｍｕｌｔｉｐｌｅ−Ｐｅｒｓｏｎ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇ Ｃｕｂｉｃ Ｈｉｇｈｅｒ−Ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ−Ｃｏｒｒｅｌａｔｉｏｎ"， Ｉｎ Ｐｒｏｃ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐｐ． ７４１−７４４， ２００４．

このような方法では、シーン判別の手掛かりとなる被写体を認識する検出器（例えば、非特許文献２のような手法を用いる）を複数用意し、犬や車といった特定の被写体ごとに検出処理を行う必要がある。この時、以下のような課題が存在する。

第１に、多数のシーンの種類を正確に判別するには、各シーンに関連する多数の被写体の検出器を用意する必要がある。非特許文献２のような検出器の処理は、検出器ごとにスライディング窓と呼ばれる画像走査を行うために計算量が多く、シーン数が増えるのに応じてシーン判別にかかる処理時間が著しく増大する可能性がある。

第２に、シーンを判別する際に、いずれの被写体が重要かは一般に未知のため、微妙なシーンを見分ける場合、どのような被写体の検出器を用意すればよいかを事前に決めづらい問題がある。

第３に、例えば誕生パーティと結婚式の披露宴のシーンを見分ける際に、人物の服装が普段着かドレスかといった差異が手掛かりになるなど、被写体の有無ではなくバリエーションの違いが重要な場合がある。非特許文献１のような従来手法では、そのままでは被写体のバリエーションの違いを判別の手掛かりにすることができない問題点があった。
本発明は前述の問題点に鑑み、様々な被写体を手掛かりにして処理負荷の低い方法で画像のシーンの判別を行うことができるようにすることを目的とする。

本発明の認識装置は、画像から、被写体の候補領域を抽出する候補領域抽出手段と、前記候補領域抽出手段により抽出された被写体の候補領域から前記画像の属性に関する特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段で抽出された特徴量に基づいて、前記候補領域抽出手段により抽出された被写体の候補領域の属性を判定する属性判定手段と、前記属性判定手段の判定結果を統合することにより、画像の属性を同定する判定結果統合手段とを有することを特徴とする。

本発明によれば、様々な被写体を手掛かりにして処理負荷の低い方法で画像のシーンの判別を行うことが可能となる。また、各シーンにおいてどのような被写体を識別するべきか予め教示する必要がない。

第１の実施形態の認識装置の基本構成を示すブロック図である。 第１の実施形態の認識装置の処理の流れを説明するフローチャートである。 候補領域を抽出する処理の手順を説明するフローチャートである。 候補領域の特徴を抽出する処理の手順を説明するフローチャートである。 属性判定処理部の模式図である。 属性の判定処理の手順を説明するフローチャートである。 属性の判定処理の結果例を示す図である。 第１の実施形態の学習フェーズの基本構成を示すブロック図である。 第１の実施形態の学習フェーズの処理の手順を説明するフローチャートである。 学習フェーズにおける学習用物体領域の抽出の結果例を示す図である。 学習フェーズにおける分類木の学習処理の手順を説明するフローチャートである。 属性判定処理部の学習結果の模式図である。 第１の実施形態の派生形態の構成例を示すブロック図である。 第２の実施形態の認識装置の基本構成を示すブロック図である。 第３の実施形態の認識装置の基本構成を示すブロック図である。 第３の実施形態の被写体の候補領域の抽出結果例を示す図である。 第４の実施形態の認識装置の基本構成を示すブロック図である。 構図クラスおよび推定結果の例を示す図である。 主被写体領域の推定結果の例を示す図である。

［第１の実施形態］
以下、図面を参照して本発明の認識装置を実施するための形態の例を説明する。本認識装置は、入力画像を受け取り、その画像があらかじめ定められた複数のシーンのクラスのいずれに属するかを正しく判別することを目的とする。

図１に、本実施形態による認識装置の基本的な構成図を示す。画像入力部１０１は、画像データを入力する。候補領域抽出部１０２は、画像の属性情報を判別するための画像の属性に関連する被写体の領域を抽出する。特徴量抽出部１０３は、候補領域抽出部１０２において抽出された被写体の候補領域から画像特徴量を抽出する。属性判定部１０４は、特徴量抽出部１０３で抽出された特徴量に基づいて候補領域がいずれのシーンクラスの画像に含まれる領域であるかを判定する。判定結果統合部１０５は、属性判定部１０４の結果をまとめて最終的に画像のシーンクラスを判定する。

なおここで、画像のシーンクラスには誕生パーティ、クリスマスパーティ、結婚式、キャンプ、運動会、学芸会、といった様々なシーンやイベントの種別が含まれる。本実施形態では、前述したような数十クラスのシーンがユーザーによって与えられているものとし、入力画像からこれらのシーンクラスを判別する。

さらに、本発明は、前述の例のような日常の出来事に関わるシーンのクラス以外にも適用可能である。例えば、夜景・光源の方向（順光、逆光、右からの斜光、左からの斜光）、花のクロースアップ、といった、カメラが撮影を行う際に撮影のパラメータを調整する目的で設定される撮影モードと呼ばれる種別をシーンクラスとして定義して用いることもできる。このように、本発明は様々な対象の画像の属性の判別に適用可能である。

次に、本実施形態の認識装置の認識処理と学習処理の流れについて説明する。
＜認識フェーズ＞
まず、認識処理の流れを図２のフローチャートを用いて説明する。
Ｓ２０１では、画像入力部１０１が画像データを受け取る。ここで、本発明の実施形態における画像データとは、カラー画像、動画、または距離画像といった様々な形式の映像情報、およびそれらの組み合わせを指す。本実施形態においては、画像入力部１０１には静止画のカラー画像が入力されるものとする。さらに、本ステップでは画像に応じてサイズの拡大縮小や輝度値の正規化等、以降の認識処理に必要な前処理を必要に応じて行う。

次に、Ｓ２０２では、候補領域抽出部１０２が画像のシーンクラスを見分けるための手掛かりとなる複数の被写体の候補領域を抽出する処理を行う。被写体には主に人体、犬、およびコップといった、ある程度決まった形状やサイズを持つ物体の領域と、空、芝生、山といった比較的サイズが大きく形状の不定な背景に関する領域とが存在する。

本実施形態では、このうちの物体を分析することで、画像シーンを類別する形態について述べる。それは、例えば画像中に料理と思われる物体領域が存在していればパーティのシーンの可能性が高く、ランプのような形状の物体があればキャンプのシーンである可能性が高いと考える、といった具合である。

候補領域抽出部１０２では、画像中に存在する物体の領域全体をなるべく正確に抽出することが望ましい。それは、物体に基づいてシーンを判別する際に、抽出された領域が物体の一部しか含んでいなかったり、あるいは異なる物体が混じっていたりすると誤判別の可能性が高くなるためである。

ただし、画像中に存在している様々な物体について、その物体が何であるかを知らずして、一つ一つの物体の境界を正確に切り出すことは極めて困難である。そのため、ここでは完璧な物体領域の切り出しは期待せずに、物体の領域らしいと考えられる候補領域を複数個抽出する。そして、そのうちのいくつかはある程度の正確さで物体領域を含んでいると仮定して、各候補領域で画像のシーンの判別を行う。その結果を多数決することで、誤りが多少含まれていても最終的に正しくシーンのクラスを判定できることを期待する。

このような条件において、候補領域を抽出するために用いることのできる公知の手法は種々あるが、本実施形態では公知の技術である非特許文献３の方法を参考に用いる。処理の流れを図３のフローチャートを用いて簡単に説明する。

まず、Ｓ３０１では、画像をＳｕｐｅｒ−ｐｉｘｅｌ（以下、ＳＰと表記する）と呼ばれる色が近い画素をまとめた小領域に分割する。
次に、Ｓ３０２では、隣接する全てのＳＰのペアについて、（１）テクスチャ特徴の類似度、および（２）サイズの類似度を算出する。これを数式１のように所定の係数α（０≦α≦１）で重み付け和した値をＳＰペアの類似度とする。

ここで、テクスチャ特徴としては、特徴量として広く一般的な色ＳＩＦＴ特徴の頻度ヒストグラムを用いる（詳細は、非特許文献３を参照）。テクスチャ特徴の類似度としては、広く一般に用いられる距離尺度であるヒストグラム交差を用いる。ＳＰサイズの類似度としては、ＳＰペアのうち小さい方のＳＰの面積を大きいＳＰの面積で割った値とする。テクスチャの類似度もサイズの類似度も、類似度が最少のときに０、最大のときに１となる。

次に、Ｓ３０３では、最も類似性の高かった２つの隣接ＳＰのペアを連結し、被写体の候補領域とする。連結したＳＰを新たなＳＰとし、特徴量と隣接ＳＰとの類似度を算出しなおす。すべてのＳＰが連結されるまでこれを繰り返す（Ｓ３０２〜Ｓ３０６）。このようにすることで、ＳＰの数から１を引いた数だけ、大小様々な候補領域が抽出される。ただし、小さすぎる被写体領域は誤判別の原因になりやすいので、所定値より大きな面積を持つＳＰのみを候補領域とする（Ｓ３０４〜Ｓ３０５）。以上の候補領域の生成処理の詳細は非特許文献３を参照されたい。

なお、ここでは、非特許文献３の方法を参考にして説明したが、物体らしい領域を抽出する方法はこれに限らず、様々な方法が考えられる。例えば、グラフカットと呼ばれる前景と背景を分離する手法、またはテクスチャ分析を行って画像をテクスチャごとに分割する手法（詳細は、非特許文献４を参照のこと）などが広く公知である。

図２のフローチャートの説明に戻る。
Ｓ２０３では、特徴量抽出部１０３が各候補領域から特徴量を抽出する。抽出する特徴量は複数の種類を含む。ここでは、図４のフローチャートのように、６種類の特徴量の抽出を行う。

（１）Ｓ４０１では、候補領域内の色ＳＩＦＴ特徴の頻度ヒストグラムを抽出する。
（２）Ｓ４０２では、候補領域の面積と位置を出力する。ただし、ここで面積の値は画像全体を１として正規化した値とし、位置は画像の縦横の長さを１として正規化した領域の重心位置とする。

（３）Ｓ４０３では、候補領域の周囲の領域から色ＳＩＦＴ特徴を抽出し頻度ヒストグラムを生成する。これは、物体を認識する際に背景の特徴も手掛かりになるため、周囲の領域の特徴を別に与えるものである。なお、候補領域の周囲の領域とは、候補領域の所定の幅だけ膨張させた領域とする。

次に、候補領域が真に物体の領域か否かを判別する手掛かりとなる特徴量として、以下の第４から第６の特徴量を、Ｓ４０４〜Ｓ４０６で算出する。
（４）Ｓ４０４では、候補領域内の色ＳＩＦＴ特徴と、候補領域の周囲の色ＳＩＦＴ特徴の頻度ヒストグラムの類似度を、特徴量として算出する。なお、ここで類似度としてはヒストグラム交差を用いる。

（５）Ｓ４０５では、候補領域輪郭のエッジの強度の平均値を、特徴量として算出する。ここでは、画像の輝度勾配の絶対値（ｄｘ²＋ｄｙ²）^1/2を、領域の輪郭上で計算して平均値を求める。ただし、ｄｘとｄｙはそれぞれ画像のｘ方向とｙ方向の輝度勾配の値である。

（６）Ｓ４０６では、候補領域の凸形状度を特徴量として算出する。ただし、ここで凸形状度とは、候補領域の面積と候補領域の凸包の面積との比である。この値は、候補領域が凸形状であれば１になり、凹形状であれば０に近づく。
以上のような特徴を用いることで、候補領域がその周囲から独立した物体領域か否かをある程度判別することが可能となる。

以上が、Ｓ２０３で行われる特徴抽出の処理となる。なお、ここで用いた特徴量の他にも、候補領域のアスペクト比やモーメント長など、領域に関する特徴量は様々なものが利用可能である。本発明の実施形態としては、前述した特徴量に限るものではないことを留意されたい。

次に、Ｓ２０４では属性判定部１０４が、各候補領域の特徴を見てどのシーンクラスに関連のある領域かを判別する。なお、ここで判別されるのは候補領域自体の種別ではなく、候補領域が関連するシーンクラスの種別であることが本発明の重要な特徴である。

本実施形態では、属性判定部１０４は、図５（ａ）に模式図で表すように、複数の分類木５０２ａ〜５０２ｃの集合（アンサンブル）によって構成されるアンサンブル分類木５０２からなる。各分類木は、候補領域の特徴量から正解のシーンクラスを推定し、推定結果を図５（ｂ）のシーンクラスの投票空間へ投票する。

分類木の各判別ノード（一部に記号５０３ａ〜５０３ｃを付して示す）は、線形判別器で構成されている。各葉ノード（一部に記号５０３ｄ〜５０３ｆを付して示す）には、学習フェーズにおいてその葉ノードに割り振られた学習データの情報が格納されている。学習データの一部に記号５０４ａ〜５０４ｃ、対応するシーンクラスのラベルに記号５０５ａ〜５０５ｃを付して示す。後に学習フェーズで詳細を説明するように、各判別ノードは、学習データの候補領域がなるべくシーンクラスごとに分かれるように学習されている。

図６のフローチャートを参照しながらアンサンブル分類木による判定処理の手順を説明する。
Ｓ６０１で、候補領域をアンサンブル分類木に入力すると、判定処理をＳ６０３〜Ｓ６０７において、各々の分類木ごとに行う。

まずＳ６０３で、分類木の根ノード５０３ａからシーンクラス判別処理を開始する。各ノードでは、候補領域の特徴に基づいて判別器による判別を行う。
Ｓ６０４では、判別結果によって次の枝を決定して進む。
Ｓ６０５では、葉ノードに到達したか否かを判断し、到達していない場合はＳ６０４に戻り、各ノードでの判別と移動を葉ノードにたどり着くまで繰り返す。葉ノードに到達したら、葉ノードに格納されている学習データのシーンクラスの比率を参照する。これが入力候補領域のシーンクラスの尤度スコアになる。

ただしここで、記号φが付された学習データ（物体でない領域のデータなのでここではこれを非物体領域クラスと呼ぶ）の比率の多い葉ノードにたどり着いた場合は、入力した候補領域も物体領域でない可能性が高い。そのため、所定の比率以上に非物体領域クラスのデータがある葉ノードからは投票を行わない（Ｓ６０６）。そうでない場合は、各クラスに対して尤度スコアの値を投票して加算する。（Ｓ６０７）。図５（ａ）の例では、到達した葉ノードでは誕生パーティクラスの割合が２／３のため、０．６６７の値を加算している。
なお、投票の方法はこれ以外にもいくつかバリエーションがある。例えば葉ノードの最大比率のシーンクラスを一つ選んで１票のみを投票するような形態でもよい。

以上のようにして全ての分類木が全ての候補領域について判別して投票を行ったら、投票処理Ｓ２０５を終了する。
次に、Ｓ２０６では、こうして得られた投票の合計数の最大のシーンクラスを入力画像のシーンクラスとして出力する。ただし、ここで別の形態として、いずれのシーンクラスの投票数も所定の閾値に未たない場合には、シーンクラスは不明であると出力してもよい。また逆に、複数のシーンクラスの投票数が同時に所定の閾値を超えている場合は、該当するシーンクラス全てを出力してもよい。

図７に、候補領域の抽出からシーンクラスの判定までの結果の例を示す。図７（ａ）は、入力画像の例である。図７（ｂ）は、候補領域抽出部１０２によって抽出された物体の候補領域を矩形枠で示したものである（ただし、煩雑さを避けるためすべての候補領域を図示していない）。

図７（ｃ）は全候補領域を属性判定部１０４で判定させた結果、非物体領域クラスと判断された候補領域を除いた後の図である。このようにして、残った候補領域からシーンクラスの投票を行った結果例を図７（ｄ）に示す。図中の記号θはシーンクラスを判定するための闘値である。この例ではパーティのシーンが閾値θを上回っているため、パーティシーンとして出力して認識処理を終了する。

＜学習フェーズ＞
次に、学習フェーズと呼ばれる、アンサンブル分類木の学習の処理について説明する。
本処理の目的は、ユーザーから提供される（１）学習画像セット、およびそれに対応する（２）シーンクラスの教師値、および（３）物体の位置の教師値、の３つを属性判定部１０４に与えて訓練する。そして、入力画像に対して正しくシーンクラスの種別が出力できるようなアンサンブル分類木を作成することである。

図８に、学習フェーズにおける本認識装置の構成図を示す。これは、認識フェーズでの基本構成図の図１に準ずるものである。図１との相違点は、物体位置データ入力部１０６および画像属性データ入力部１０７が存在して、画像のシーンクラスおよび物体の位置の教師値を入力する点である。

図９（ａ）のフローチャートを参照しながら学習フェーズの動作処理の説明を行う。
まず、Ｓ９０１では、画像入力部１０１が学習画像を入力する。また同時に、画像属性データ入力部１０７が各学習画像に対応するシーンクラスの教師値を入力する。

次に、Ｓ９０２では、各学習画像について、物体位置データ入力部１０６が物体の領域の位置の教師値を入力する。
ここでの物体位置データとは、学習画像１枚１枚について、図１０（ａ）に示すように、画像に含まれる物体領域の位置をユーザーが教師値として用意しておいたものである。図１０（ａ）では、物体領域の位置の教師値の形態の一例として物体の領域に外接する矩形で表している（教師値の矩形の一部に記号１００２ａ〜１００２ｄを付して示している）。

なお、ユーザーにとってどの物体がそのシーンを判別する際に大きく寄与するかという判断は、判別対象シーン数が多い場合は困難である。そのため、ユーザーは各物体についての余計な推定はせず、物体であるか否かのみを判断してなるべく多くの物体の位置を教示するものとする。ただし、小さすぎる物体、遮蔽されていてよく見えていないような物体については学習を困難にするため教示を省いてもよい。

次に、Ｓ９０３では、認識フェーズで行ったのと同じ方法によって候補領域抽出部１０２が候補領域を抽出する。図１０（ｂ）は、その結果例である。ここでは、候補領域の矩形のいくつかに記号１００３ａ〜１００３ｃを付して示す。

次に、Ｓ９０４では、抽出した候補領域について、最も近くにある教師値の物体領域の重なりの度合い（オーバーラップ値）を調べる。領域ｘと領域ｙのオーバーラップ値は以下の数式２で算出する。

次に、Ｓ９０５では、物体領域とのオーバーラップ値が所定の値以上（ここでは、０．５以上とする）の候補領域を学習に用いる物体領域として採用する。学習用に採用された物体領域を、図１０（ｃ）において記号１００４ａ〜１００４ｅを付して示す。
さらに、オーバーラップ値が所定の値未満（ここでは、０．２未満とする）だった候補領域を、非物体クラスの領域として以降の学習に用いる。但し非物体クラスの領域数は物体の領域の数よりも多数のため、適当にサンプリングして数を減らして用いる。

次に、Ｓ９０６では、ここまでの処理で得られた物体領域の学習用データと非物体領域の学習用データを用いて属性判定部１０４の学習を行う。以降は、重要な処理であるので特に詳細なフローを図１１にて示して説明を行う。

まず、図１１のＳ１１０１で特徴量抽出部１０３が認識フェーズと同様の方法で、全ての物体領域と非物体領域より特徴量を抽出する。以下、Ｓ１１０２〜Ｓ１１０６において、各々の領域ごとに特徴量の抽出を行う。
Ｓ１１０３では、根ノードから学習を開始する。まず学習データが存在するシーンクラスを２グループにランダムに分ける。更に、非物体領域も独立した一つのシーンクラスとして見なし、これも２グループのどちらかをランダムに選んでまとめて割り振る。

次にＳ１１０４では、各学習データの特徴量を入力として、先に定義した２グループに判別できるように判別器の学習を行う。ここでは、機械学習の方法として一般的な線形のサポートベクトルマシン（以降ＳＶＭと呼ぶ）の手法を用いる。なおこの時、一部の学習データをランダムにサンプルして評価用のデータとして学習に使わずに別にとっておく。

次のＳ１１０５では、この評価用のデータを用いてＳＶＭの判別能力の有効性を評価する。まず評価用データをＳＶＭで判別して２分割する。そして、分類木の学習に一般的に使われる下記の（数式３）の情報量を計算する。

ただし、ここで、ｃはシーンクラスの変数、ｐ_kcは２つに分割されたデータのうち、ｋ側（ここでは、分割後のデータをＬとＲの記号で示している）のデータでシーンクラスｃが占める割合を意味する。Ｎは分割前のデータ数、ｎ_kはｋ側に分割されたデータの数、を意味する。判別器によって２分割された時に、分割後の各群のデータにクラスの分布の偏りが生じていれば情報量の値は大きくなり、偏りがなければ情報量の値は小さい。
Ｓ１１０２〜Ｓ１１０６では、このようにしてランダムな２グループの定義と、ＳＶＭの学習と、ＳＶＭの判別結果の評価を所定の回数繰り返す。

所定の回数が終われば、次にＳ１１０７で、それまでに得られた中で最も情報量の大きな結果が得られたＳＶＭのパラメータをこのノードの判別器として採用する。
Ｓ１１０８では、採用したＳＶＭの学習パラメータを用いて学習データを改めて判別してＳＶＭスコアが正か負かで２つに分割し、それぞれを右と左の枝のノードに割り当てる。そして、左右の各枝においてＳ１１０２からの処理を再帰的に繰り返す。

ただし、分割した結果、シーンクラスの種類が一種類のみになった場合（Ｓ１１０９）、もしくは分割後のデータ数が所定数を下回った場合（Ｓ１１１０）、その枝の学習を打ち切って葉ノードとする。そして、その時点で残っている学習データの情報を葉ノードに記憶して、再帰処理を終了する。

このように、各ノードでの分割ごとにシーンクラスの出現頻度に偏りを生じさせる判別を行っていくことで、シーンクラスの分類が行われる。このような学習結果の模式的な例を図１２に示す。

図１２では、分類木５０２ａの各葉ノード（一部に、５０３ｄ〜５０３ｆの記号を付して示す）に、形態の特徴量が近いか、もしくはシーンクラスの同じ領域のデータが固まっている。必ずしも完全な分類はなされていないものの、このような分類木を多数学習してアンサンブル分類木として投票によって統合することで、精度の高いシーンクラスの判別結果が得られる。

またここで、誕生日ケーキ５０４ｂとクリスマスケーキ５０４ｃが別の葉ノード５０３ｅと５０３ｄにあることに留意されたい。本手法では被写体をケーキや帽子といった種別ごとに分類するのではなく、被写体の属する画像のシーンクラスごとに分類を行う。そのため、ケーキという同じ種別の物体であっても、誕生日とクリスマスという異なるシーンクラスに属し、且つ見えのバリエーションが異なるものであれば、この図１２のように、異なる枝への分類が自動的に行われることも可能なことを示すものである。これは、本発明の形態の重要な効果であるので特にここで強調しておく。

なお、ここで判別器の学習にＳＶＭを用い、評価基準として情報量基準を用いたが、学習方法や評価基準は、本発明において特にこれに限定するものではなく、公知の判別器の手法が広く適用可能である。例えば、ＳＶＭの代わりに線形判別分析でもよいし、評価基準には一般的なジニ係数などを用いてもよい。

以上が分類木の学習の方法である。ここでは、一本の分類木の学習についてのみ述べた。アンサンブル分類木は複数の分類木で構成されており、他の分類木を学習する際には、分類木ごとにバリエーションを持たせる必要がある。その方法としては、複数の公知の方法があるが、ここでは最も一般的な方法を用いる。即ち、分類木ごとに学習データをサブサンプリングし、それぞれの木で異なる学習データセットに基づいて学習を行えばよい。

＜被写体の位置の教示方法についての派生の形態＞
ここまでの説明では、被写体の存在位置を教師値として与える学習の方法について述べたが、学習時の被写体の位置の教示は本発明において必須の要件ではない。本発明の適用の範囲がこの形態に限定されないことを示すために、以下に被写体の教示方法の他の派生形態の説明を行う。

被写体の教師値の方法の例として、以下の４つの方法が考えられる。
（１）ユーザーが被写体の位置を全ての画像について多数教示する。
（２）ユーザーが被写体の位置を一部のみ教示する。
（３）ユーザーが被写体の位置を教示しない。
（４）ユーザーがシーンクラスに特に関連が強いと考える被写体の位置のみ教示する。

ここで、（１）はすでに説明を行った方法である。（４）はクリスマスパーティにおけるクリスマスツリーなど、そのシーンとの関連の顕著な物体のみを指示するものである。以降、（２）〜（４）の派生の形態について順に簡単な説明を行う。

まず、被写体の位置を一部のみ教示する形態例（２）について説明する。ここでは、形態例（１）との相違点のみに絞って説明する。
形態例（２）は、半教師学習と呼ばれる公知の学習手法に類する。具体的には、まず物体位置が教示されている学習画像から物体領域の特徴量を抽出する。次に、教師値の与えられてない学習画像からも候補領域を抽出し、それらの特徴量を求める。次に、候補領域のうち、いずれかの教示された領域と所定値以上に特徴量が類似している領域があれば、それらも学習用の物体領域として優先的に採用する。所定値以下の領域は、非物体クラスの学習データとする。以上が形態例（２）の方法の説明である。

次に、被写体の情報を全く教示しない形態例（３）について説明する。本形態例（３）では、学習画像から抽出した全ての候補領域を物体領域データか非物体領域かの区別なく使って分類木の学習を行う。学習フェーズのフローは図９（ｂ）のフローチャートのようになる。

図９（ｂ）のフローチャートにおいて、Ｓ９１１はＳ９０１に対応し、Ｓ９１２はＳ９０３に対応し、Ｓ９１３はＳ９０６に対応する。この形態においては、先に用いた「非物体領域のクラス」は設定しない。そのため不完全に切り出された領域や物体に無関係な領域も多数シーンクラスに関係する被写体領域として学習に用いられることになる。

形態例（３）の方法は、ユーザーの教示に費やす負担は軽減されるが、その分判別精度が低い。これについての対策の工夫は複数考えられる。
まず、第１の工夫として、データの数および分類木の数を増やし、認識時の投票の数を増やすことである。アンサンブル学習の一般的性質として、個々の弱識別器（分類木）の判別精度が低くても、バリエーションが大きければ弱識別器の数の増加につれて判別精度が漸近的に上がることは広く公知である。

さらに、被写体の教示方法の形態例（３）の別の付加的な工夫としては、候補領域抽出部１０２において候補領域を抽出した後に、どの程度物体の領域が正しく抽出されているか（以降、これを物体度と呼ぶ）を推定する。物体度が低いと判定された領域は学習にも認識にも使わないことである。このような物体度の推定方法は種々の方法が公知になっており、例えば非特許文献５のような方法が挙げられる。

非特許文献５では、候補領域の特徴量を入力とし、候補領域と真の物体領域の重なりの量であるオーバーラップ値を推定する回帰の問題を解いている（詳細は非特許文献５を参照のこと）。

これを踏まえて処理フローを図９（ｃ）のフローチャートのように改変する。
即ち、Ｓ９２２で候補領域を抽出した後に、Ｓ９２３でオーバーラップ値を推定して物体度とし、Ｓ９２４で所定の値よりも物体度の低い領域を除いた上で、Ｓ９２５で学習および認識を行う。

次に、重要な被写体のみを教示する形態例（４）の方法について説明する。（４）の方法の実現形態の一つの例は以下のようになる。即ち、ユーザーが指定した重要物体と重なる物体候補領域は、重なりの量に応じた分だけ分類木の学習の際に重視して重み付けして学習を行う。そして重なりのないその他の物体候補領域は、通常のまま重みを付けずに学習する。

以降、形態例（４）の方法を詳細に説明する。まず、物体位置を教示しない形態例（３）の方法と同様、全ての物体候補領域を抽出する。さらに、物体度を推定して物体度の低い領域を除く。次に、残った全ての領域について、ユーザーの指示した重要物体とのオーバーラップ値を算出する。次に、オーバーラップ値に基づいて物体候補領域ｘに以下の数式４のｗ（ｘ）で重みを付けて分類木の学習を行う。

ただし、ここでＯ（ｘ）は、領域ｘと重要物体とのオーバーラップ度、βは０以上の係数であり、この値が大きければ重要物体をより強く重視して学習を行う。βは交差確認法等で適切な値を設定する。
次に、数式４の情報量を拡張し、学習データの重要性の重みを考慮した情報量基準として、数式３を拡張して以下のように定義する。これを用いて判別器の学習を行えばよい。

ただし、ｐ_kc（ｗ）はシーンクラスｃの学習データ数の重み付きの割合で、

である。これにより、重要な物体に近い領域をより重視して区別するよう学習することが可能である。なお、上式はβが０のとき、もしくは重要な物体が学習事例の中に存在しない時は、これまでの学習の式と同じ値になる。
以上、ここまで学習フェーズにおける被写体領域の教示方法の派生の形態例（１）〜（４）について述べた。

＜大分類と小分類を用いる派生の形態＞
以降では、本発明に係る認識装置の全体構成の派生の形態について述べる。
ここでは、本実施形態の派生の形態として、既存のシーン分類の方法で一度大まかにシーンを分けておいて、その後に本発明を適用して詳細なシーンを判別する形態について述べる。

以降では、大まかなシーンクラスの分類を大分類シーン、その後の詳細なシーンクラスの分類を小分類シーンと呼ぶ。たとえば、大分類シーンはパーティや野外スポーツといった分類であり、小分類シーンとしてはクリスマスパーティや誕生日パーティ、スポーツシーンであればサッカーや野球、などのクラスを考える。

大分類シーンを判別する方法としては、例えばＢａｇ ｏｆ Ｗｏｒｄｓ手法と呼ばれる手法が有効であることが非特許文献６などにおいて公知である。
図１３に認識装置の構成図を示す。
画像入力部１１１には、カメラの画像が入力される。大分類判定部１１２は、非特許文献６のＢａｇ ｏｆ Ｗｏｒｄｓ手法により、パーティシーン、スポーツシーン、風景画像シーン、その他さまざまなシーンを分類する。

小分類判定部１１３ａ〜１１３ｃは大分類判定部１１２での判別に基づいていずれか一つかが選ばれて以降の処理が行われる。
小分類判定部１１３ａ〜１１３ｃがそれぞれ備える属性判定部は大分類ごとに異なった学習データで学習した異なったパラメータ（判定辞書）を備える。

これは例えば、パーティのシーンを分析する小分類判定部１１３ａであれば、様々な種類のパーティの画像のみを学習データとして与えて学習することを意味する。また、候補領域抽出部と特徴量抽出部についても、小分類のシーンを見分けるのに適した候補領域の抽出の基準や特徴量の種別を定めてよい。

これらの適切な基準や特徴量はユーザーが手で調整してもよいが、複数のパラメータの組み合わせを与えて最も精度の高くなるパラメータを交差確認法等で探索してもよい。これにより、大分類ごとに特化した、より正確なシーンクラス判別が行われる。以上が本実施形態の派生の形態の説明である。このようにして、本発明は既存手法と組み合わせるような形態の適応も可能であることが示された。

以上で第１の実施形態の説明を終える。
前述したように、第１の実施形態の認識装置によれば、画像中の物体を分析して詳細に画像のシーンを判別することができる。また、各シーンにおいてどのような被写体を識別するべきか予め教示することなくシーン判別の学習を行うことができる。
また、判別対象のシーン数が増えても、認識処理時間が著しく増加しない。また、被写体の有無のみならず被写体のバリエーションの差異に基づいて類似のシーンを判別することも可能である。

［第２の実施形態］
第２の実施形態は、第１の実施の形態を拡張した形態である。拡張であるので、ここでは相違点のみに絞って簡便に説明する。
第１の実施形態では、物体の領域を手掛かりとして、これを分類することでシーンクラスを推定した。この場合、物体が存在しないような画像シーン、例えば海や山といった風景のみのシーンでは判別の手掛かりが存在しない。

そこで、本第２の実施形態では、物体以外のタイプの被写体領域も分析の対象として採用し、それぞれのタイプの候補領域を抽出し、それぞれ異なった属性判別器でどのシーンクラスに関連するかを判定する。このように、複数のタイプの被写体を用いて多面的にシーンクラスの解析を行うことにより、物体領域のみを手掛かりにした場合よりもシーンクラスの判別が頑健になることが期待される。

図１４に、本実施形態の基本構成図を示す。第１の実施形態の構成図と本構成図の異なる点は、タイプの異なる３種類の被写体の候補領域の抽出部、特徴量抽出部および属性判定部を備えることである。具体的には、本認識装置は物体の候補領域を抽出する物体候補領域抽出部１２２ａ、人体の領域を抽出する人体候補領域抽出部１２２ｂ、空や山や床といった背景の領域を抽出する背景候補領域抽出部１２２ｃ、を備える。

物体候補領域抽出部１２２ａ〜１２２ｃでは、第１の実施形態と同様に物体の抽出を行う。人体候補領域抽出部では、非特許文献７のような公知の方法を用いて人体の候補領域を抽出する。背景候補領域抽出部では、色もしくはテクスチャの均一性が高く、面積の広い領域を抽出して背景領域とする。具体的には、非特許文献４のようなテクスチャ分析の方法で画像を複数領域に分割してそれぞれを背景候補領域として抽出する。

特徴量抽出部１２３ａ〜１２３ｃでは、被写体のタイプにあった特徴量を抽出する。ここでは、物体の特徴量抽出部１２３ａおよび背景領域の特徴量抽出部１２３ｃは第１の実施形態で述べたものと同じ特徴量を抽出する。人体領域の特徴量抽出部１２３ｂでは服装や頭部の被り物の有無等を重点的に見るために、検出された人体領域を頭部、上半身、下半身、の３か所のパーツに分けて、それぞれから色ＳＩＦＴ特徴量を抽出して連結し、特徴ベクトルとする。

それぞれの属性判定部１２４ａ〜１２４ｃは、このように、タイプの異なる被写体に特化して学習を行う。学習の仕方は第１の実施形態の方法と同様であるが、ここで、多少バリエーションを加える。

それは、背景領域に関しては、例えば一様な青空の領域からは屋外であることは分かっても、それがキャンプのシーンなのか野球のシーンなのかは知り得ない、というようなことが起こりやすいことである。そのため、第１の実施形態の方法で背景属性判定部１２４ｃを学習すると過学習を起こし易くなる可能性がある。

そこで、ここでは、以下のような工夫を行う。例えば一つの工夫としては、分類木の深さが所定数以上になったら学習を早期に打ち切って過学習を防ぐことである。また別の工夫としては、各ノードの判別器を訓練する際に情報量基準を用いずに、データを単にランダムに分割するだけの判別器を採用することである。

これは、各分類木の判別器の判別関数の係数をランダムな値にすることで実現される。この判別器はハッシュ法、ランダム射影、類似事例データの探索、近似最近傍探索といわれる公知の機械学習の方法と数理的に同種の操作である。即ち、本発明の属性判定部の判別器には、アンサンブル分類木に限らず、上に挙げたような様々な機械学習の方法が適用可能である。

次に、判定結果統合部１２５では、属性判定部１２４ａ〜１２４ｃの投票結果を統合する。このとき、被写体のタイプによって得られる判定の信頼性に差があるのでそのまま加算せずに重みＷ＝［ｗ₁，ｗ₂，ｗ₃］^Tを定義して重み付和を求めて最終的に画像の属性を同定して最終の判定結果とする。ただし、Ｗは複数の候補値から交差確認法で決定するか、平均的に判別精度が最良となる値を最小二乗法で解いて決定するとよい。また単純に重み付和するのではなく、上記の投票結果を入力とし、画像の属性が出力されるようにサポートベクトルマシンなどの判別器を用いて学習するような形態でもよい。

以上が複数のタイプの被写体を用いてシーンクラスの判別を行う第２の実施形態の説明になる。

［第３の実施形態］
第３の実施形態の認識装置は、動画を用いて動画のシーンクラスを判別することを目的とするものである。本実施形態では特に監視カメラ画像の正常状態・異常状態について判別を行う形態について述べる。監視カメラ画像の異常状態としては複数のタイプが考えられるが、ここでは群衆の異常行動を判別するような認識装置について述べる。

図１５に、本実施形態の認識装置の基本構成図を示す。
画像入力部１３１には、監視カメラの動画像が入力される。人体候補領域抽出部１３２ａは、第２の実施形態と同様にして非特許文献７等の人体検出器の手法によって人体を検出する部位である。ここで抽出された人体は、人体特徴量抽出部１３３ａにて人体候補領域中の見えの特徴量を算出する。

また、前後の動画フレームを参照して人体の移動方向と移動速度、および動き特徴ベクトルも抽出して特徴量に加える。ここで見えの特徴とは第１の実施形態と同様に色ＳＩＦＴ特徴のヒストグラム、動き特徴ベクトルとしては例えばＣＨＬＡＣと呼ばれる非特許文献８に開示されているような公知の方法の特徴量を抽出する。

次に、人体属性判定部１３４ａで人体領域の特徴量をアンサンブル分類木からなる判別器で判定させて第１の実施形態と同様にして個々の人体の候補領域が異常シーンの人体か正常シーンの人体かの尤度スコアを得る。人体属性判定部１３４ａは第１の実施形態と同様にあらかじめ異常行動の動画像と正常なシーンの動画像の学習データから人体候補領域抽出部１３２ａによって人体を抽出し、両者の特徴量を分類木によって学習してある。これにより、武器を振りまわしている人物や、逃げる人物、格闘している人物の動きなど、異常な行動下にある人体領域を異常度が高いとして判定することができる。

なお、非特許文献７のような人体検出手法は、遮蔽のない立位の人体の検出精度は高いが、雑踏の中に頭部が一部だけ見えている人物や、見えのサイズの小さな人物、立位以外の姿勢の人物、に対しては検出が困難であるという課題がある。図１６（ａ）に、群衆の動画像のシーンの例を示すが、図１６（ｂ）で黒矩形枠で例示するように、このような条件下では人体として検出されるのは少数にとどまることも多い。

そこで、このような課題に対する工夫として本認識装置は個々の人体のみならず、群衆候補領域抽出部１３２ｂによって群衆が存在している可能性が高いと判断できる候補領域を抽出する。そして、同領域が正常シーンにおける群衆か、異常シーンの群衆であるか、領域の特徴量を手掛かりに調べて判定を行う。

群衆の候補領域の抽出には先に動き特徴ベクトルとして用いたＣＨＬＡＣ特徴（詳細は、非特許文献８を参照されたい）を用いる。これを用いて以下のように処理を行う。
まず、あらかじめ学習データとして様々な群衆の動画と、群衆は含まれていないが様々な動きのある動画とを用意する。これらの動画を１６画素×１６画素×１６フレームといった一定サイズの時空間のブロックに分割し、それぞれのブロックからＣＨＬＡＣ特徴ベクトルを抽出する。

ＣＨＬＡＣ特徴は２５１次元の特徴量であるので、２５１次元空間上にブロック数と等しい数のサンプルの２群の分布が得られる。次にこの２群のデータに対して一般的な判別手法である線形判別分析を行い、２群のデータを分ける最良の１次元の基底への射影ベクトルを得る。

次に、認識時の群衆候補領域抽出部１３２ｂの動作について述べる。まず入力動画を受け取ったら、学習時と同じサイズのブロックデータに分割する（ブロックは互いに重なっていてもよい）。各ブロックからＣＨＬＡＣ特徴を抽出し、先に線形判別分析で得た１次元基底上に射影して基底上の値を得る。

この基底上の値が各ブロックの群衆らしさの尤度となるので、所定の閾値で切って群衆候補領域としてこれを抽出する。図１６（ｃ）に黒太枠線で結果の例を示す。後の処理はこれまでの形態と同様に群衆特徴量抽出部１３３ｂで見えおよび動きの特徴を抽出し、群衆属性判定部１３４ｂで異常か正常かの判別を行って判別スコアを得る。

次に、物体候補領域抽出部１３２ｃが抽出対象とする領域は、異常な群衆行動に伴って観察されることのある、不特定な被写体の領域である。例えば発煙灯の煙や、路上の物が燃やされることで発生する炎、破壊行為による破片の散乱、等々様々な被写体が考えられる。

本発明を適用して得られる本実施形態の認識装置は、学習時に予めどのような特定の被写体がシーンクラスの判別に関連するかの前提を持たずに学習を行うことが特長の一つである。そのため、ここでは様々な物体候補領域が抽出できるように物体候補領域抽出部１３２ｃを構成する。具体的には、動きおよび見えの特徴が似たまとまった領域を物体候補領域として抽出するようにする。

物体候補領域の具体的な抽出の仕方は、第１の実施形態で図３により説明したＳｕｐｅｒ−ｐｉｘｅｌ（以降、ＳＰと表記する）を用いる方法を拡張したものである。図３の方法との相違点は２点ある。一点目はＳＰの連結の際に画素の見え特徴のみならず、動き特徴も類似度として用いるようにすることである。二点目は動きのないＳＰ領域を始めに候補領域から除外することである。以下に詳細を説明する。

まず、動画像中の１フレームについて、動画像解析で一般的な手法であるオプティカルフローを画素ごとに計算する。次にＳＰを作成するが、このときに領域内のオプティカルフローの平均量が一定以下のＳＰは削除する。

次に、図３のＳ３０２〜Ｓ３０６と同様に類似する隣接ＳＰを連結していくが、この際に用いる類似度として、ＳＰのＲＧＢの色分布、およびオプティカルフローの方位の分布、の両方を連結してまとめたベクトルについて類似度を算出する。このようにすることで、見えおよび動きの似たまとまった領域を物体候補領域として抽出することができる。

図１６（ｄ）に、物体候補領域抽出部１３２ｃの動作の結果の例を黒太枠線で示す。ここでは、炎と煙の領域、および群衆の一部、が物体候補領域として抽出されている。
なお、物体候補領域の抽出の仕方はここで述べた方法に限定するものではなく、見えや動きの似たまとまった領域を抽出する方法であればいずれも適用可能である。
以降の物体特徴量抽出部１３３ｃと物体属性判定部１３４ｃでは、先の群衆領域に対するものと同一である。繰り返しになるので詳細な説明を省略する。

以上のようにして、複数のタイプの候補領域を手掛かりとして、入力動画の映像が正常な群衆のシーンか否かのスコアが各候補領域から得られた。
次いで、第２の実施形態と同様に判定結果統合部１３５で判別スコアを投票して各被写体タイプごとに集計する。次に得られたスコアを重み付け和する。さらに、１フレームごとの結果は安定しない場合があるので、前後の複数フレーム間で結果を移動平均し、最終結果とする。

なお、動きベクトル特徴としてはＣＨＬＡＣ特徴以外に、時空間勾配のヒストグラムを用いる方法や、隠れマルコフモデルを用いるものなど様々あるので被写体のタイプにあったものを選べばよい。

なお、前述の実施形態の派生として、それぞれの属性判定部を学習する際に、例えば火災の動画データと正常シーンの動画データを学習データとして与えて２クラスのシーン判別を学習すれば、火災検出機能を持った認識装置を実現することができる。またあるいは火災・異常行動・正常の３シーンのクラスの教師値を与えてクラス判別するように学習するようなこともできる。このように、本発明は様々な現実問題の課題に対して適用が可能である。

また、本実施形態では動画像を用いたが、監視カメラとしての精度を増すために距離画像を併用して使う派生の形態も考えられる。この場合、輝度画像、距離画像、どちらの画像からも特徴量を抽出して連結し、判別器で判別を行うような工夫を用いればよい。
以上で、動画から群衆およびシーンの異常状態を判別する形態の第３の実施形態の説明を終える。

［第４の実施形態］
第４の実施形態は、静止画像を入力として画像の構図のクラスを判別するものである。またさらに本実施形態では画像構図のクラスの判別と同時に、画像の主被写体の領域も推定する。本実施形態の開示によって、本発明はシーンクラスのような一変数の情報を判別するのみならず、適切な工夫によって主被写体領域のような複雑な画像属性の推定に用いることも可能であることを示すものである。

一般に、画像構図のクラスには様々な種類が提唱されており「日の丸構図」、「（黄金比の近似である）三分割構図」、「対角線構図」、「三角構図」、などのタイプが知られている。

写真撮影時に自動で写真構図を推定することができれば、焦点位置や露出などの撮影時のカメラパラメータを構図に合った適切な値を決定することができる。また被写体に合った写真構図の枠線をユーザーに教示するなどして、構図の修正を容易にすることもできる。

また、主被写体の領域が分かれば、焦点や露出を主被写体に合わせて適切に制御することが可能になる。また画像の整理やハイライト作成などの画像の二次利用においても主被写体の情報は極めて重要な情報である。

但し、従来の主被写体認識の方法にはいくつか課題があった。例えば、色コントラスト差などの顕著度に基づいて判断する方法の場合、意味的に重要でない領域であっても周囲との色や輝度のコントラストが強いと主被写体として誤って認識されてしまうことがあった。

例えば、室内の写真で部屋の隅にだけ光が明るく当たっているような場合や、路上で家と家の隙間から白い空が僅かに見えているような場合に、誤って主被写体と判別することがあった。

また、例えば他の主被写体認識の方法に、人体検出や顔検出などの物体検出を利用して主被写体を決定する方法があるが、このような物体検出を用いる方法では、不特定の様々な物体に対して適応できない問題があった。

本実施形態では、画像を構成する被写体を抽出し、属性判定部で分類・判別して被写体個々に構図クラスおよび主被写体領域を推定し、統合することで、これらの画像属性を自動判別することが可能であることを示す。

図１８（ａ）に、本実施形態の判別対象のクラスである７種類の画像の構図クラスを示す。学習データの各画像には、この７クラスのどれに該当するかの教師値があらかじめ付与されている。また各画像の主被写体の領域は、二値画像によって主被写体の教師値が与えられている。

図１７に、本実施形態の基本構成図を示す。これは、第２の実施形態の形態に準じる構成になっている。第２の実施形態との相違点の一つは、判定結果統合部１４５が画像構図判定統合部１４５ａと、主被写体領域判定統合部１４５ｂの二つの機能部位を備える点である。

以降では、第２の実施形態との相違点に絞って説明を行う。
本実施形態で候補領域として抽出する被写体のタイプは物体、線分、人体の３タイプである。構図を推定するのに直接的な効果があると考えられる線分の情報が被写体として新たに用いられている点が大きな相違点である。

線分候補領域を抽出するには、入力画像からハフ変換によって線分を抽出し、所定以上のエッジ強度および長さを持った線分のみを候補線分として残すという処理を行う。
図１８（ｂ）に、記号１４０２ｂを付して線分候補領域の抽出結果の例を示す。更に線分特徴量抽出部１４３ｂでは、候補線分の所定の周囲の範囲から色ＳＩＦＴ特徴を抽出してこれを候補線分の見えの特徴量とする。この他に候補線分の重心位置、長さ、傾きなども算出して全て連結し、特徴量とする。

その他の物体候補領域や人体候補領域については、第２の実施形態と同様の方法で特徴量を抽出する。ただし、第２の実施形態で用いた特徴量に加えて、構図を決定する上で重要と考えられる各領域の重心位置や、領域形状の２次モーメントの特徴量も抽出して加える。さらに、高いコントラストの領域やピントのあっている領域は構図を決定する上で影響が大きいことを考慮し、領域の内外の色のコントラストの差や、領域の内外のエッジの量の比、などコントラストやピントに関連のある特徴量も追加して抽出しておく。

各被写体の属性判定部１４４ａ〜１４４ｃでは、被写体の特徴量と、被写体の属する画像の構図クラスとを関連付けてあらかじめアンサンブル分類木を学習させてある。これは、第２の実施形態で各被写体候補領域の特徴量とシーンクラスとを関連付けて学習判別したことと相同の関係である。各被写体の特徴量である位置やサイズや境界の強度などに、構図クラスを判別する手掛かりとなる情報が多少ずつでも存在していれば、これらを統合することによってシーンクラスを判別する時と同じように構図クラスも正しく判別することができる。

図１８（ｂ）に、このようなアンサンブル分類木で構図クラスを推定した結果の模式的な例を示す。抽出された各被写体領域１４０２ａ〜１４０２ｃの個々の被写体領域について構図クラスを推定し、それぞれを投票した結果を投票空間１４０３ａ〜１４０３ｃに表している。これを重み付け和して統合し、最終結果１４０４を得る。結果の例の図では三分割構図が最終的な答えとして出力されている。

次に、主被写体領域の推定の方法について説明する。主被写体領域を構図クラスと同時に推定するために、本実施形態ではアンサンブル分類木で構図クラスを学習する時に以下のような工夫を併せて行う。即ち、各分類器の葉ノードに、学習データの構図クラスの比率だけでなく、学習データの主被写体領域の情報も記憶させておく。このような、学習の目標変数以外のデータのことをメタデータと呼ぶ。

メタデータである主被写体領域の情報は、まずそれぞれ縦横比１対１の画像に比率を正規化する。次に葉ノードの中で主被写体領域画像を平均化して、これをその葉ノードにおける主被写体の事前分布とする。さらに、これをガウス分布で近似してガウス分布のパラメータのみを記憶する。事前分布そのものを使わないで近似を行うのは、分類木のサイズが大きくなると記憶容量および投票の計算処理にかかる速度が膨大になるためである。この点の問題がなければ近似せずに分布そのものを記憶して用いてもよい。またガウス分布も混合ガウス分布等で近似してもよい。

こうして得られた主被写体領域のメタデータの例を図１９（ａ）に示す。ここでは、物体候補領域として抽出された空の領域１４１１を分類木で判別させたときに到達した葉ノードに記憶されている主被写体の領域の事前分布（をガウス分布で近似したもの）を記号１４１２を付して示している。

この結果例では、空の領域１４１１のように、均一の領域が画像上部に写っている画像の場合、主被写体領域は上方には存在しないことが多いため、図１９（ａ）のように中央付近を中心とした位置に主被写体領域がある可能性が高いことを示している。

このように、候補被写体ごとに主被写体領域の事前分布のメタデータを参照し、それを投票した結果の例の模式図を図１９（ｂ）に示す。ここでは、各被写体からの投票結果を記号１４１３ａ〜１４１３ｃを付し、重み付けして統合した後の最終的な推定結果を記号１４１４を付して示す。本図では主被写体の位置（人物）の近辺をある程度正しく推定している様子を示している。

以上で画像の構図クラスおよび主被写体領域を推定する第４の実施形態についての説明を終える。本発明を適用した実現例により、画像中の被写体のパターンを手掛かりにして、構図推定を行えることを示した。また、被写体の分類結果にメタデータを付随させて用いることにより、主被写体領域の推定も学習的に行うことができることを示した。これは、顕著度のように機械的な基準で決める従来の方法と大きく相違する点である。

本発明の実施形態によれば、画像の構図や、画像中の群衆の行動の正常・異常の判別や、主被写体の判別など、画像中の被写体を手掛かりにして様々な画像の属性を判別することが可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像入力部
１０２ 候補領域抽出部
１０３ 特徴量抽出部
１０４ 属性判定部
１０５ 判定結果統合部

Claims (16)

1. 画像から、被写体の候補領域を抽出する候補領域抽出手段と、
   前記候補領域抽出手段により抽出された被写体の候補領域から前記画像の属性に関する特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段で抽出された特徴量に基づいて、前記候補領域抽出手段により抽出された被写体の候補領域の属性を判定する属性判定手段と、
   前記属性判定手段の判定結果を統合することにより、画像の属性を同定する判定結果統合手段とを有することを特徴とする認識装置。
2. 前記候補領域抽出手段は、所定の候補領域の基準に基づいて複数の被写体の候補領域を抽出することを特徴とする請求項１に記載の認識装置。
3. 前記候補領域抽出手段は、複数の異なる前記基準に基づく複数の候補領域抽出手段とからなることを特徴とする請求項２に記載の認識装置。
4. 前記属性判定手段は、複数の異なる前記候補領域抽出手段にそれぞれ対応する複数の属性判定手段とからなることを特徴とする請求項３に記載の認識装置。
5. 前記候補領域抽出手段は、前記画像から人体候補領域を抽出する人体候補領域抽出手段を備えることを特徴とする請求項１〜４の何れか１項に記載の認識装置。
6. 前記属性判定手段は、前記候補領域の属性を学習する際に前記候補領域がその画像の属性に応じて分かれるように分類することで前記学習を行うことを特徴とする請求項１〜５の何れか１項に記載の認識装置。
7. 前記属性判定手段は、前記候補領域を分類する際に、重要な候補領域として教示された領域を優先して分類するように学習を行うことを特徴とする請求項６に記載の認識装置。
8. 前記属性判定手段は、前記画像の属性に関連しない被写体の候補領域に基づいて学習を行うことを特徴とする請求項１〜７の何れか１項に記載の認識装置。
9. 前記属性判定手段は、分類木に基づく手法で構成されることを特徴とする請求項１〜８の何れか１項に記載の認識装置。
10. 前記属性判定手段は、類似事例データの探索に基づく手法で構成されることを特徴とする請求項１〜８の何れか１項に記載の認識装置。
11. 前記属性判定手段は、ハッシュ法に基づく手法で構成されることを特徴とする請求項１〜８の何れか１項に記載の認識装置。
12. 前記属性判定手段の判定する属性は、画像のシーン、画像中の群衆の行動、画像の構図の種類、画像の主被写体の情報、画像の光源の方向に関する情報の何れかであることを特徴とする請求項１〜１１の何れか１項に記載の認識装置。
13. 前記属性を判定する対象の画像は動画像であることを特徴とする請求項１〜１２の何れか１項に記載の認識装置。
14. 前記属性を判定する対象の画像は距離画像であることを特徴とする請求項１〜１２の何れか１項に記載の認識装置。
15. 画像から、被写体の候補領域を抽出する候補領域抽出工程と、
    前記候補領域抽出工程において抽出された被写体の候補領域から前記画像の属性に関する特徴量を抽出する特徴量抽出工程と、
    前記特徴量抽出工程で抽出された特徴量に基づいて、前記候補領域抽出工程において抽出された被写体の候補領域の属性を判定する属性判定工程と、
    前記属性判定工程の判定結果を統合することにより、画像の属性を同定する判定結果統合工程とを有することを特徴とする認識方法。
16. 画像から、被写体の候補領域を抽出する候補領域抽出工程と、
    前記候補領域抽出工程において抽出された被写体の候補領域から前記画像の属性に関する特徴量を抽出する特徴量抽出工程と、
    前記特徴量抽出工程で抽出された特徴量に基づいて、前記候補領域抽出工程において抽出された被写体の候補領域の属性を判定する属性判定工程と、
    前記属性判定工程の判定結果を統合することにより、画像の属性を同定する判定結果統合工程とをコンピュータに実行させることを特徴とするプログラム。

Images