JP2008250908A - 映像判別方法および映像判別装置 - Google Patents

Abstract

【課題】入力映像があらかじめ定められたカテゴリに含まれるものか否かを正確かつ高速に判別することが可能な映像判別方法を提供する。
【解決手段】カメラにより撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する場合、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合し、この統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する。
【選択図】 図１

Description

本発明は、たとえば、車両に搭載されて車両の後側方を監視する映像監視システムや被監視エリアに対する映像を用いた侵入者監視システム、顔画像を用いた生体認証システム等において、入力映像があらかじめ定められたカテゴリに含まれるものであるか否か、たとえば、入力映像が本来のシステムが取扱うことを想定していないクラスであるかどうかを判別する映像判別方法および映像判別装置に関する。

一般に、たとえば、車両に搭載されて車両の後側方を監視する映像監視システムや被監視エリアに対する映像を用いた侵入者監視システム、顔画像を用いた生体認証システム等において、入力映像が本来のシステムが取扱うことを想定していないクラスであるかどうかを判別する機能を備えたものは少ない。
また、対象とする映像を映像蓄積データベースから、映像特徴にしたがって高速かつ高精度に検索するための手法が望まれている。

前者の例で監視・警報装置において、入力映像が本来の監視処理に対して適正かどうかを判別するものとして、逆光やスミヤのような輝度レベルの問題に注目し、画面内の輝度レベルの代表値をある対象問題にのみ依存する閾値にしたがって評価し、判別するものがある（たとえば、特許文献１、特許文献２参照）。

特許文献１では、画面内の水平方向の輝度分布を異常時の分布と比較することで正常、異常のカテゴリ判別を行なっている。また、特許文献２においては、映像の水平方向のエッジが少なく、かつ、平均輝度が高いときに異常と判別するものである。

後者の例では、映像中の輝度ヒストグラムの類似度をデータベース中の画像のそれと順次比較し、判別することで最も類似するものを求める方法がある。また、映像中に存在することがあらかじめわかっている特定対象物について、その対象物の映像から生成した統計的情報をデータベースに蓄積し、入力映像からも同様な統計情報を抽出することで、それら統計情報同士の類似度を比較し、判別することで最も類似するものを求める方法がある。この場合の対象物として、たとえば、人物の顔や車両の外観といったものがあげられる。
特開２００１−４３３７７号公報 特開２００１−４３３５２号公報

前述したシステムへの適正映像クラスか否かを判別するための従来技術からなる装置の大部分では、判別する特徴量が陽に特定された場合に有効な方式であり、入力映像のクラスを判別するための特徴量が明確に特定しにくい場合には条件を満たさないことも考えられる。

このような例として、入力映像の輝度が非常に不足している場合、および、悪天候による雨滴、雪等、または、その他なんらかの汚れ、ゴミ等の撮像面への付着、故意に正常映像が遮られてしまった場合、画面が著しく振動して振れた画像となってしまった場合に生じる映像とそうでない場合の映像との判別を行なう場合がある。

たとえば、前述の特許文献１や特許文献２などでは、逆光やスミヤのような輝度レベルの影響によって起こる異常な映像と正常な映像とを判別するものであるが、判別に用いる特徴としての輝度分布やエッジ量の判定を水平方向のみで行なっており、車両の進行方向が暗に画面垂直方向に仮定されたもののみを判別するものとなっており、一般に不充分と考えられる。

また、一般に車両に搭載されて車両の後側方を監視する映像監視システムにおいて起こりうる異常状態としては、このような輝度レベルの問題以外に、カメラの撮像系レンズ面等に付着物が存在するために起こるものも多く、そのための対策が考慮されていない。

一方、映像蓄積データベースからの検索の従来技術に用いられる判別特徴は、輝度ヒストグラムや映像そのものである場合が多く、汎用性が高いと考えられる。また、これらは厳密な判別特徴量を与えている代わりに、判別すべき典型的映像をカテゴリ分けして記憶しておき、入力映像がどのカテゴリに存在するのかを判別しているものとも考えられる。

これらの手法では、統計的に判別に有効な特徴を自動的に算出するものであるが、従来一般的に用いられている単純類似度を用いたもの、部分空間を用いたもの、判別分析を用いたものなどでは、対象とする映像として一般環境下の自然画像、自然映像が用いられる場合、その複雑さのため、判別が困難になる場合がある。

また、判別に有効な手法として非線形サポートベクターマシンがあるが、この手法では一般に判別に要する時間が他の手法に比べて多く、問題である。

そこで、本発明は、入力映像があらかじめ定められたカテゴリに含まれるものか否かを正確かつ高速に判別することが可能な映像判別方法および映像判別装置を提供することを目的とする。

本発明の映像判別方法は、撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別方法であって、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合する学習ステップと、この学習ステップによる統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別ステップとを具備している。

また、本発明の映像判別方法は、撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別方法であって、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、そのカテゴリごとに分割されたクラスを選択して、その分割クラスと入力映像との関係から求められる識別結果について、分割クラスの組合わせを複数用意し、その各組合わせにおける識別結果の重みつき加算を用いることで統合する学習ステップと、この学習ステップによる統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別ステップとを具備している。

また、本発明の映像判別装置は、撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別装置であって、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合する学習手段と、この学習手段による統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別手段とを具備している。

また、本発明の映像判別装置は、撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別装置であって、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、そのカテゴリごとに分割されたクラスを選択して、その分割クラスと入力映像との関係から求められる識別結果について、分割クラスの組合わせを複数用意し、その各組合わせにおける識別結果の重みつき加算を用いることで統合する学習手段と、この学習手段による統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別手段とを具備している。

本発明によれば、入力映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する場合、あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合し、この統合結果に基づき前記入力映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別することにより、入力映像があらかじめ定められたカテゴリに含まれるものか否かを正確かつ高速に判別することが可能な映像判別方法および映像判別装置を提供できる。

以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の実施の形態に係る映像判別装置の構成を概略的に示すものである。この映像判別装置は、たとえば、車両に搭載されて車両の後側方を監視する車載映像監視システムや被監視エリアに対する映像を用いた侵入者監視システム等において、入力された映像があらかじめ定められた監視適合映像（正常）であるか不適合映像（異常）であるかを判別するもので、映像入力手段としての映像入力部１１、判定教示手段としての判定教示部１２、学習手段としての学習部１３、記憶手段としての記憶部１４、判別手段としての判別部１５、判別結果通知手段としての判別結果通知部１６、および、映像監視手段としての映像監視部１７を有して構成される。

映像入力部１１は、後述のように映像処理の状態（学習処理中か否か）を保持する記憶制御手段とカメラおよびＡ／Ｄ変換器、あるいは、ディジタル映像入力手段等を有して構成される。ここでの映像はアナログ、ディジタルのいずれでもよく、前者であれば、たとえばＮＴＳＣ映像として入力した後、Ａ／Ｄ変換してディジタル映像化して取込み、後者であれば、ディジタル映像として直接取込むが、ディジタル化されたときのフォーマットとしては各画素についてモノクロの８〜１６ビット長のデータとして取込むもの、あるいは、カラーのＲＧＢそれぞれ８〜１６ビット長として取込んだものからモノクロ成分を抽出したものとしてもよい。

判定教示部１２は、入力映像や監視処理結果等を表示する表示装置、および、ユーザの映像判定結果（入力映像が正常あるいは異常という判定結果、つまり教示属性）を入力するための入力手段（たとえば、マウス、キーボード等）を有して構成されるもので、たとえば、ディジタルコンピュータの構成品によって実現してよい。

学習部１３は、判定教示部１２からの教示属性に基づき、入力映像に対する学習処理を実行することで識別器パラメータを求めるもので、詳細は後述する。記憶部１４は、学習部１３で求められた識別器パラメータ等を記憶する。

判別部１５は、記憶部１４に記憶された識別器パラメータに基づき、入力映像に対する映像判別処理を行なうもので、詳細は後述する。判別結果通知部１６は、判別部１５の判別結果をユーザに対して出力・通報する。

これら学習部１３、記憶部１４、判別部１５、判別結果通知部１６も、たとえば、ディジタルコンピュータによって実現してよい。

映像監視部１７は、本実施の形態において判別しようとしている入力映像を用いて本来の監視動作を実施するための処理手段であり、映像を用いた一般の侵入者監視システム、生体認証システム、あるいは、車載映像監視システム等が該当する。

次に、上記のような構成において全体的な処理について説明する。
本映像判別装置の処理は大きく分けると、入力映像が監視映像として適切なものかどうかを判断するために、サンプル映像を映像監視部１７に与えて、その結果が適切かどうかを教示するための映像登録学習ステップと、その結果を用いて実際に与えられた入力映像について正常／異常を判定する映像判定ステップとからなる。この場合の全体的な処理の流れを図２のフローチャートに示し、以下順に説明を行なうが、映像登録学習ステップは図２におけるステップＳ１〜Ｓ８の処理に対応し、映像判定ステップは図２におけるステップＳ１，Ｓ９〜Ｓ１３の処理に対応する。

以下、図２のフローチャートを参照して全体的な処理の流れを説明する。
まず、映像入力部１１において、学習処理を実施中か否かを判定し（ステップＳ１）、映像を入力する（ステップＳ２またはＳ９）。すなわち、ステップＳ１における判定の結果、現在学習処理中であったならば、映像入力部１１により入力サンプル映像を入力し（ステップＳ２）、当該サンプル映像に対して映像監視部１７による映像監視処理を適用し（ステップＳ３）、その監視結果および入力映像を判定教示部１２に表示する（ステップＳ４）。

ユーザは、判定教示部１２に表示された監視結果および入力映像を目視することで、入力映像が正常であるか異常であるかを判定し、その判定結果（教示属性）を判定教示部１２によって教示する（ステップＳ５）。この教示された判定結果は、このときの入力映像とともに学習部１３に一時蓄積される。

次に、上記処理が全サンプル映像について終了したか否かを判定し（ステップＳ６）、全サンプル映像にいたっていない場合にはステップＳ１に戻り、上記同様な処理が繰り返される。ステップＳ６における判定の結果、全サンプル映像にいたっている場合には、映像入力部１１によるサンプル映像の入力を終了する（ステップＳ７）。

次に、学習部１３は、判定教示部１２からの教示属性に基づき、入力映像に対する学習処理を実行することで識別器パラメータを求め、その求めた識別器パラメータを記憶部１４に記憶する（ステップＳ８）。

一方、ステップＳ１における判定の結果、現在学習処理中でなければ、これは実際の映像監視中での適用ということになり、映像入力部１１により監視映像を判別部１５に入力する（ステップＳ９）。

次に、判別部１５は、記憶部１４に記憶された識別器パラメータに基づき、入力映像に対する映像判別処理を行ない（ステップＳ１０）、その判別結果を判別結果通知部１６によりユーザに対して出力・通報する（ステップＳ１１）。

次に、監視映像の入力が継続されているか否かを判定し（ステップＳ１２）、継続されていればステップＳ１に戻り、上記同様な処理が繰り返される。ステップＳ１２における判定の結果、継続されていなければ当該映像判別処理を終了する（ステップＳ１３）。

次に、入力映像が監視映像として適切なものかどうかを判断するための映像登録学習ステップの処理について説明する。
前述のように、映像入力部１１から取込まれた映像について、映像監視部１７での処理結果を参照しながら、判定教示部１２をユーザが操作することによって、「異常」あるいは「正常」と分類する。さらに、この分類結果と、入力映像に対して学習部１３において行なわれる統計処理結果を用いて、上述の入力映像、正常／異常の関係を学習する。

以下、学習部１３にて行なわれる学習処理の流れについて図３に示すフローチャートを参照して説明する。
学習部１３内に蓄積された各サンプル入力映像、および、それぞれについての映像分類（カテゴリ）教示結果を、学習部１３内に設けられた映像登録学習処理を実施するためのメモリエリア上に取得する（ステップＳ２１，Ｓ２２）。なお、ステップＳ２１では、実際は入力映像を後述の特徴ベクトルに変換（以下「サンプル入力特徴ベクトル」と呼ぶ）して用いる。

ここで、サンプル入力特徴ベクトルは、映像中のある瞬時画像全体から抽出した特徴量を用いることとし、たとえば、サンプル映像シーン中の各フレーム画像について各画素の輝度値を１次元ベクトルとして用いてもよいし、各画像の輝度頻度分布、フレーム間差分画像の頻度分布、フレーム間差分画像の頻度分布、オプティカルフローの方向ごとの頻度分布などを１つのベクトルとして合成して用いてもよい。また、瞬時画像を用いず、ある複数フレームごとにサンプリングした画像列から上述の特徴量を抽出し、それら複数画像内のベクトルとしてまとめて扱ってもよい。

次に、ステップＳ１１にてサンプル入力特徴ベクトルをカテゴリごとに、さらに複数の分類（サブカテゴリ）に分割する（ステップＳ２３）。この分割方法としては、従来知られたＫ−ｍｅａｎｓ法など一般的な統計的クラスタリング手法を用いてよい。

次に、各サブカテゴリに分割された各サンプルを線形判別分析し、線形判別空間を示す行列（線形判別行列）を保存する（ステップＳ２４）。ここに、線形判別分析は、代表ベクトル同士のサブカテゴリ内分散Ｗｉとサブカテゴリ内分散Ｗｏとの比（Ｗｉ／Ｗｏ）を最小化するような変換であり、サブカテゴリ間の距離を拡大し、サブカテゴリ内のベクトル同士の距離を縮小する効果がある。つまり、これによって、ある入力がどのサブカテゴリに含まれるのかを判定する際の識別性能を向上させる効果をもたらす。

次に、各カテゴリについて、属する各サンプルを前記線形判別空間に射影させることで、サブカテゴリの代表ベクトルを算出し、保存する（ステップＳ２５）。代表ベクトルの算出方法は数種類考えられるが、本実施の形態では線形判別分析を各サンプル入力特徴ベクトルについて適用する。

ここに、各サブカテゴリの代表ベクトルは、各サブカテゴリ内に存在するサンプル入力特徴ベクトルの重心ベクトルを前記線形判別空間に射影させることで生成するもので、そのサブカテゴリが元来いずれのカテゴリ（ここでは「正常」または「異常」のいずれか）から分割されて生じたかを示す属性を付与する。

なお、このような代表ベクトル算出方法としては、これ以外に例えばサンプル映像シーン中の各フレーム画像について上述の特徴ベクトルを抽出し、これらを前記同様にサブカテゴリに分類し、各サブカテゴリ内のベクトルを主成分分析してそれぞれを上位ｎ個（ｎはサブカテゴリ数未満の整数）の固有ベクトルから張られる部分空間で代表させることを利用してもよい。ただし、この方法の場合には、前述の線形判別分析を用いる方法のようにサブカテゴリ間距離を強制的に拡大する効果はない。

次に、ステップＳ２６の処理を実行し、続いてステップＳ２７〜Ｓ３１までの処理を、ステップＳ３２の条件が満たされている間繰り返す。ここに、ステップＳ２６は本繰り返し処理の初期化処理であり、後述の（ａ）に示す処理である。

また、ステップＳ２７〜Ｓ３１までの処理では、前記各サンプル入力特徴ベクトルを線形判別空間に射影したもの（以下、「サンプル入力射影ベクトル」と呼ぶ）とサブカテゴリ代表ベクトル同士の距離を比較することで、入力がどのカテゴリ（ここでは「正常」カテゴリか「異常」カテゴリ）に所属するのかを判別する識別器（弱識別器）を複数の候補から１つずつ選択し、サンプル入力に対するその応答を決定する。

ここに、入力から弱識別器の応答を決定するためには、各カテゴリから入力と比較するためのサブカテゴリ代表ベクトルをそれぞれ１つずつ抽出することと、後述する式（５）、式（６）に示す特徴量に対する頻度分布が必要である。したがって、本ステップの結果として、弱識別器での距離比較対照となるサブカテゴリ代表ベクトルの番号（弱識別器構成用サブカテゴリ代表ベクトル番号）、および、頻度分布表を弱識別器パラメータとして記憶部１４に保存する。

すなわち、ステップＳ２６では、サンプル入力の重みを初期化する。次に、ステップＳ２７では、あるカテゴリと他カテゴリとについて、それらに属するサブカテゴリ代表ベクトルを１つずつ選択して距離ペアｊとする。次に、ステップＳ２８では、入力ｉと距離ペアｊ内の代表ベクトルのうち、より近い代表ベクトルのカテゴリを特徴量ｆ_ｉｊとする。

次に、ステップＳ２９では、全サンプル入力を用いて特徴量ラベルと興じ結果との一致、不一致の分布を算出し、保存する。次に、ステップＳ３０では、正解、不正解の分布を基準にして、全距離ペアのうちから特定の特徴量（弱識別器）を選択するとともに、それに対する応答を決定する。次に、ステップＳ３１では、サンプル入力の重みを更新する。

一方、ステップＳ３２の条件が満たされた場合には、ステップＳ２７〜Ｓ３１までの処理が終了され、繰り返し回数、つまり選択された弱識別器の数が識別器のパラメータとして記憶部１４に登録され保存される。ここに、ステップＳ３２の条件としては、繰り返し数が弱識別器の総数に一致する場合か、あるいは、選択済みの弱識別器を全て用いた全サンプル入力に対する識別正解率があらかじめ設定した目標値を超えた場合のいずれかとする。

ステップＳ２６〜Ｓ３１までの処理にはいろいろな方法が考えられるが、本実施の形態においては、たとえば、周知のＡｄａｂｏｏｓｔアルゴリズムを用いて実現する例を示す。概略すると、その処理は以下の（ａ）〜（ｄ）となり、全サンプル入力に対する弱識別器の応答を評価していずれかの弱識別器を選択し、さらに、その応答結果の分布に応じて各サンプル入力の重みを更新するものとなる。

（ａ）下記式（１）により、各サンプル入力の重みＤ（ｉ）を均等化する。これは図３におけるステップＳ２６の処理に相当する。
Ｄ（ｉ）＝１／Ｍ ……式（１）
Ｍ：サンプル入力数
（ｂ）サブカテゴリ代表ベクトルｉからの距離ペア（Ｎ個：サブカテゴリの組合せ数）を生成し（図３におけるステップＳ２７の処理に相当）、当該距離ペアの大小判定結果を識別特徴量とする（図３におけるステップＳ２８の処理に相当）。

（ｃ）全サンプル入力に対し上記全識別特徴量についての頻度分布を算出し（図３におけるステップＳ２９の処理に相当）、繰り返しｔラウンドでの弱識別器応答ｈ_ｔ（ｘ）を決定する（図３におけるステップＳ３０の処理に相当）。

（ｄ）ｈ_ｔ（ｘ）を使って、入力の確率分布Ｄ_ｔ（ｉ）の更新を下記式（２）にしたがって実施する。この処理は図３におけるステップＳ３１の処理に相当する。
Ｄ_ｔ＋１（ｉ）＝Ｄ_ｔ（ｉ）ｅｘｐ（−ｙ_ｉｈ_ｔ（ｘ_ｉ）） ……式（２）
ｔ：各繰り返しラウンド
なお、上記（ａ）〜（ｄ）までの繰り返し処理に対する終了条件であるステップＳ３は２つの条件からなっているが、そのうちの後者は、全入力に対してその繰り返しラウンドｔの時点までに選択された弱識別器の合成結果Ｈ（ｘ）を下記式（３）にて構成し、評価することで求められる。ここに、Ｈ（ｘ）＜０は「異常」を表し、Ｈ（ｘ）≧０は「正常」を表す。なお、ｂはバイアス定数である。

以上のうち、（ｂ）の処理を詳細に説明すると以下のようになる。まず、サブカテゴリ代表ベクトル同士を比較して元カテゴリへの従属を判別する識別特徴は次のように構成する。今、ある入力が、あるカテゴリＡと他のカテゴリＢのいずれに属するものかを判別しようとしている場合、各カテゴリからそれぞれ１つずつサブカテゴリを選び、その代表ベクトルＶａ（このサブカテゴリはカテゴリＡに属している：本例では「正常」）およびＶ_ｂ（このサブカテゴリはカテゴリＢに属している：本例では「異常」）を抽出する。

次に、それら２つのサブカテゴリ代表ベクトルと入力ベクトルＶとの距離に基づいて以下の識別特徴を出力する。
ｆ_ｊ＝１：ｉｆカテゴリＡとの距離＜カテゴリＢとの距離
ｆ_ｊ＝−１：ｉｆカテゴリＢとの距離＜カテゴリＡとの距離
ここに、上述のような識別特徴の構成方法概念図を図４に示す。

このとき、上記のような識別特徴は最大でサブカテゴリ代表ベクトル同士のペアの組合せ数と同数だけ生成することができる。すなわち、上述のように２つのカテゴリを判別する場合に、それぞれがＮｎ個、Ｎａ個のサブカテゴリを有するとした場合の組合せ数の上限は
Ｎ＝Ｎｎ×Ｎａ
となる。

次に、上述の識別特徴を用いて識別器を以下のようにして構成する。前記サンプルを用いて識別器での正解（教示ラベルが識別特徴値と等しい）の場合、および、不正解（教示ラベルが識別特徴値と等しくはない）の場合、それぞれについて下記式にしたがって頻度分布
Ｆ（ｙ_ｉ＝１｜ｆ_ｊ），Ｆ（ｙ_ｉ＝−１｜ｆ_ｊ）
を算出する。

Ａサンプル入力ｘ_ｉに対して識別器特徴量ｆ_ｊ＝−１，１の頻度分布を生成する場合
Ｆ（ｙ_ｉ＝１｜ｆ_ｊ）＝Σｉ｜ｘ_ｉ∈ｆ_ｊ∧ｙ_ｊ＝１Ｄ（ｉ） ……式（４）
Ｂサンプル入力ｘ_ｉに対して識別器特徴量ｆｊ＝−１，１の頻度分布を生成する場合
Ｆ（ｙ_ｉ＝−１｜ｆ_ｊ）＝Σｉ｜ｘ_ｉ∈ｆ_ｊ∧ｙ_ｊ＝−１Ｄ（ｉ） ……式（５）
ここに、ｙ_ｉはサンプルｘ_ｉのラベル（正解値）であり、その意味は以下に示すものとなる。
ｘ_ｉはカテゴリＡに属する：ｙ_ｉ＝１
ｘ_ｉはカテゴリＢに属する：ｙ_ｉ＝−１
上記分布を用いることで、ｋ番目の識別器ｈ_ｋ（ｘ）は下記式（６）で構成できる。

次に、以上のうち、（ｃ）の処理においては、全弱識別器のうちから現状の入力分布に対して最適な応答を出力するものを、下記式（７）による損失Ｚを最小とする条件によって選択し、繰り返しｔラウンドにおける識別器ｈ_ｔ（ｘ）とする。

次に、実際に与えられた入力映像について正常／異常を判定する映像判定ステップの処理について説明する。
映像判定ステップでは、判別部１５において構成される前記各識別器を統合した識別器に入力映像を適用して、その映像がいずれのカテゴリに属するものかを判別し、その結果を判別結果通知部１６にて通知する。この処理の流れは図５に示すフローチャートのようになり、以下、それについて説明する。

まず、前述した学習処理の学習結果として記憶部１４に保存された情報を用いて、実際に入力されている映像が各カテゴリクラスのうちのどれに相当するかを確認する。すなわち、映像の入力を開始する前に、前述した学習処理の学習結果として記憶部１４に保存された線形判別行列および各サブカテゴリ代表ベクトルを、図示しない処理用メモリ上に準備する（ステップＳ４１）。

次に、前述した弱識別器を構成するための弱識別器構成用サブカテゴリ代表ベクトル番号および特徴量頻度分布を、図示しない処理用メモリ上に展開し、これらをもって弱識別器を構成する（ステップＳ４２）。

次に、前述同様な手続きにより、撮像した映像を入力し、この入力した映像から前述した学習時と同じ特徴量を抽出し（ステップＳ４３）、各サブカテゴリ代表空間へ射影して入力射影ベクトルを生成する（ステップＳ４４）。

次に、ステップＳ４２にて構成ずみの各弱識別器に対して弱識別器構成用サブカテゴリ代表ベクトル番号を参照し、２つないしはそれ以上の複数のサブカテゴリ代表ベクトルを抽出し、それらのうちで入力射影ベクトルとの距離が最小なるものが属するカテゴリから前記ｆ_ｊを求める。この求めたｆ_ｊを前記式（６）に代入することで現入力に対する弱識別器応答が求められるので、全弱識別器についての総和を求める（ステップＳ４５）。

最後に、上記弱識別器応答の総和の符号を判定することで（ステップＳ４６）、入力映像が属すると思われるカテゴリを推定することができる。

以上説明したように、上記実施の形態によれば、映像を用いた様々な認識システムにおいて、処理がうまく機能する／しないという結果だけを用い、そのときの入力映像との対応付け学習結果を用いた映像判別方式に適用した場合、もともとの認識処理手法の内部処理がどのような原因でうまく動作しないのかを本来の処理ごとに調査する必要がないため、映像を用いた様々な認識システムに利用可能であり、その場合に判別速度の高速と高精度化に貢献できる。

また、映像がなんらかのカテゴリに分類されている場合に、入力映像がどのカテゴリに属するのかを判断する映像データベース検索の応用についても本方式を適用することで、検索の高速、高精度化が実現できる。

本発明の実施の形態に係る映像判別装置の構成を概略的に示すブロック図。 全体的な処理の流れを説明するフローチャート。 学習部にて行なわれる学習処理の流れについて説明するフローチャート。 識別特徴の構成方法概念図。 映像判定ステップの処理の流れについて説明するフローチャート。

符号の説明

１１…映像入力部（映像入力手段）、１２…判定教示部（判定教示手段）、１３…学習部（学習手段）、１４…記憶部（記憶手段）、１５…判別部（判別手段）、１６…判別結果通知部（判別結果通知手段）、１７…映像監視部（映像監視手段）。

Claims (5)

1. 撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別方法であって、
   あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合する学習ステップと、
   この学習ステップによる統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別ステップと、
   を具備したことを特徴とする映像判別方法。
2. 撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別方法であって、
   あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、そのカテゴリごとに分割されたクラスを選択して、その分割クラスと入力映像との関係から求められる識別結果について、分割クラスの組合わせを複数用意し、その各組合わせにおける識別結果の重みつき加算を用いることで統合する学習ステップと、
   この学習ステップによる統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別ステップと、
   を具備したことを特徴とする映像判別方法。
3. 前記分割されたクラスの各識別結果に対する組合わせに付与される重みは、前記各組合わせにおける入力サンプルに対する識別結果に依存して逐次的に決定されることを特徴とする請求項２記載の映像判別方法。
4. 撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別装置であって、
   あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、その分割結果に基づいて学習した識別器それぞれの識別結果を統合する学習手段と、
   この学習手段による統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別手段と、
   を具備したことを特徴とする映像判別装置。
5. 撮像手段により撮像されて入力される映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する映像判別装置であって、
   あらかじめ前記カテゴリに属する映像サンプルを複数のクラスに分割し、そのカテゴリごとに分割されたクラスを選択して、その分割クラスと入力映像との関係から求められる識別結果について、分割クラスの組合わせを複数用意し、その各組合わせにおける識別結果の重みつき加算を用いることで統合する学習手段と、
   この学習手段による統合結果に基づき前記入力された映像があらかじめ定められたカテゴリに含まれるものであるか否かを判別する判別手段と、
   を具備したことを特徴とする映像判別装置。

Images