JP2006146626A

JP2006146626A - パターン認識方法および装置

Info

Publication number: JP2006146626A
Application number: JP2004336849A
Authority: JP
Inventors: Masato Kazui; 誠人数井; Shigeki Keumi; 茂樹毛海; Tatsuo Miyasoi; 竜生宮副; Junichi Tanimoto; 順一谷本; Kazuyuki Maebayashi; 和幸前林
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2004-11-22
Filing date: 2004-11-22
Publication date: 2006-06-08
Anticipated expiration: 2024-11-22
Also published as: US20060110029A1; JP4479478B2

Abstract

【課題】
検出対象の姿勢変動によって生じるみかけの変化に対応して、同じカテゴリーに属するがそれぞれ個性を持つ検出対象、たとえば車両や人の顔などを、増分符号を用いて検出できる。
【解決手段】
検出対象の姿勢変動によって生じるみかけの変化に対応したパターン検出を達成するために、検出対象の画像からなるデータベースから増分符号の統計的な性質を抽出し、その性質を用いた特徴ベクトルの学習によってパターン検出のための最適な識別器を設計するものであり、これを最も主要な特徴とする。
【選択図】図１

Description

本発明は、カメラで撮影した画像から特定のパターンを持つ検出対象物を検出する方法および装置に関するものである。

従来、ＦＡ用途の基板検査技術や郵便区分機における宛先自動読み取り技術において特定の基板や配線パターンを探して検査したり、文字を認識したりしていた。これらの技術には画像パターンの正規化相関によるマッチング手法，エッジ情報を抽出して検出対象固有の特徴量を計算し、この特徴量を用いたマッチング手法が用いられてきた。これらの技術は基本的に２次元の平面パターンを対象として、照明が安定しているという条件下、すなわち整備環境におけるパターンマッチングが主に行われてきた。

しかし、近年監視システムやセキュリティシステムの市場が発達するにつれて、外界の実環境においてカメラが取得した画像から特定のパターンを持つ検出対象物を認識し、検出する技術が必要となってきている。この場合、上述の整備環境とは異なり、天候の変動，時間帯による明るさの変動によって画像のコントラストが変化したり、部分的に影がかかったりして検出対象パターンの見え方が大きく変化する。また、検出対象には２次元の平面パターンではなく、車両や人間の顔のような３次元構造を持つものもあるので、視点位置が変化したり物体の姿勢が変化したりすると対象の見かけの変形が生じる。このように、実環境対応のパターン検出は整備環境下におけるパターン検出と異なり、大きさの変化，みかけの形状変化，照明変動が同時に生じる。このため、従来のテンプレートマッチングに基づく手法を持ちようとすると、用意すべきテンプレートの数が膨大になり非現実的な計算量が必要になっていた。

この改善策としては大別して次に述べる２つの方法に分けられる。ひとつはパターンから明示的な特徴量、たとえば顔であれば目，鼻，口などの顔器官を抽出して、これらの特徴のマッチングでパターンを検出するという手法である。もうひとつは、画像そのものを特徴ベクトルとしてニューラルネットで判別したり、特徴ベクトルを主成分分析して次元数を削減し、識別器にかけて判別したりする。前者はパターンの検出精度が特徴量の抽出精度に依存するため、実環境下でのパターン検出ではあまり用いられていない。後者の方法は基本的に画像そのものを参照パターンとするため、顔パーツ検出のような高度な前処理が不要であり、ロバストなサーチ処理が可能である。

後者の方法では、輝度信号の微分値、または非特許文献４に示されたこれに類似した特徴量を用いることが多い。たとえば非特許文献３に示されたウェーブレット変換を用いる手法が提案されている。ところがこのような手法では輝度変化に敏感であり、しきい値設定を撮像条件に応じて適応的に変えるか、大量の学習データを用いて照明変動にロバストなしきい値を学習によって得る必要がある。

また、上記の輝度値の微分ではなく、微分の符号のみを用いた手法として非特許文献１に示された増分符号を用いた非特許文献２のＰＩＳ（Peripheral Incremental Sign
Correlation) 、また、特許文献１に示されたＲＲＣ(Radial Reach Correlation) という手法がある。ＰＩＳでは注目画素を中心とする５×５画素から縦横斜めの１６方向で中心画素と５×５画素領域周辺画素との２画素間で輝度値の差を計算し、その差が正であれば１、負であれば０の符号を計算し、１画素につき１６方向の符号で１６ビットの情報を計算する。この１６ビットの符号情報を用いてパターンマッチングを行う用途や、背景画像と入力画像とで符号情報を比較し、背景と異なる符号情報を持つ領域を移動体領域とみなして侵入者検知などの用途に適用される。

ＲＲＣでは注目画素から８方向に輝度値を探索していき、探索画素の輝度値と注目画素の輝度値との差がある設定しきい値以上になったら探索を中止し、そのときの８ビットの増分符号情報が保存される。この符号情報を用いてＰＩＳと同様にパターンマッチングを行ったり、背景画像との比較により移動体の検知を行ったりする。

ただし、ＰＩＳやＲＲＣはパターンマッチングの用途においては基本的に剛体の検出のみを行い、移動体検知では固定カメラから撮像した動画像処理のように背景画像を利用できる場合やフレーム間差分情報を利用できる場合に限られる。よって、静止画像において姿勢変動や照明変動の影響で見かけの変化が生じるパターンの認識、例えば静止画像中の顔検出などの用途においては、直接ＰＩＳやＲＲＣを適用することは困難であった。

特開２００３−１４１５４６公報村瀬、金子、五十嵐、"増分符号相関によるロバスト画像照合"、電子情報通信学会論文誌、D-II、Vol. J83-D-II No.5, pp.1323-1331, 2000年５月. 佐藤、金子、五十嵐、"周辺増分符号相関画像に基づくロバスト物体検出および分離"、電子情報通信学会論文誌、D-II、Vol. J84-D-II No.12, pp. 2585-2594, 2001年12月. H. Schneiderman and T. Kanade "Object Detection Using the Statistics of Parts," International Journal of Computer Vision, 2002. P.Viola and M.Jones:"Rapid Object Detection using a BoostedCascade of Simple Features,"Proc. of IEEE Conf. On Computer Vision and Pattern Recognition, 2001.

このため、従来の技術では、検出対象の姿勢変動によって生じるみかけの変化に対応できず、同じカテゴリーに属するがそれぞれ個性を持つ検出対象、たとえば車両や人の顔などの検出に対応できなかった。

本発明は上記従来技術と比較して、同じカテゴリーに属するがそれぞれ個性を持つ検出対象物、たとえば車両や人の顔などをより高い確率で検出するようにしたものである。

本発明は、検出対象の姿勢変動によって生じるみかけの変化に対応したパターン検知を達成するために、検出対象の画像からなるデータベースから増分符号の統計的な性質を抽出し、その性質を用いた特徴ベクトルの学習によってパターン検出のための最適な識別器を設計するものである。

上記課題を達成するために、本発明はカメラで撮像した画像から、検出対象物を検知するパターン認識方法において、少なくとも１つの画素と他の画素の輝度値の差から増分を計算し、各画素の前記増分の符号から成る増分符号ビット列を要素とする特徴ベクトルを持ち、該特徴ベクトルの撮影空間での発生確率を入力画像と予め検出対象物に関する画像データベースから求め、該特徴ベクトルの発生確率により、入力画像に前記データベースに属する検出対象物が存在するか否かを判断することを特徴とするものである。

また、本発明のパターン認識方法は、前記画像に対応する画素の領域内で、少なくとも１つの画素と他の画素の輝度値の差から増分を計算する際に、その値が正であれば１、負であれば０である増分符号を計算することを特徴とするものである。

また、本発明のパターン認識方法は、前記データベースから画像の各画素位置における前記特徴ベクトルの各要素である前記増分符号ビット列の発生確率を求め、検出対象物に応じて生じる固有な前記増分符号ビット列の発生確率から検出対象物の識別、および検出に有効な前記増分符号ビット列を選択し、該ビット列を要素とした特徴ベクトルを用いて前記検出対象物の検出、あるいは前記検出対象物の前記データベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識方法は、前記増分符号ビット列の発生確率の空間的分布と入力画像から計算された増分符号ビット列の空間的分布を重ね合わせ、同一の増分符号ビット列を持つ画素数を計数した値、および同一の増分符号を持つ画素位置における前記増分符号ビット列の発生確率を加算した値のうち、少なくともいずれか一つを入力画像の特徴ベクトル要素として、検出対象物の検出、あるいは検出対象物の前記データベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識方法は、検出対象物の画像を含むデータベースと、非検出対象の画像を含むデータベースの両者から前記特徴ベクトルの各要素の発生頻度を求め、それらの分布から前記検出対象と前記非検出対象とを識別する識別境界を求め、検出対象物の検出や前記検出対象物の画像を含むデータベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識方法は、検出対象物が入力画像の一部のみに存在するときに、検出対象領域を入力画像中で水平方向、及び垂直方向に走査して各走査位置における前記検出対象物領域が検出すべき対象であるか否かを判定する際、前記増分符号ビット列の発生確率が最も高い画素を用いて部分特徴ベクトルを生成し、この部分特徴ベクトルを用いて検出対象の検出や前記検出対象の画像を含むデータベースとの照合を行った後、前記増分符号列の発生確率が高い画素の情報を逐次加算して前記部分特徴ベクトルを更新し、誤検出をした領域に対して更新した部分特徴ベクトルを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を繰り返して検出対象物の検出精度を向上させることを特徴とするものである。

また、本発明のパターン認識方法は、前記増分符号と同時に入力画像中の全ての位置において注目画素を中心とする領域内で、２つの画素の組み合わせを少なくとも一つ以上選択し、それらの画素の組み合わせから輝度値の差を計算し、その値が、ユーザが設定した閾値、あるいは前記データベースから学習手段によって求められた閾値以上であれば１、負であれば０である勾配強度符号を計算する手段を有し、前記増分符号と併用、または勾配強度符号のみを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識方法は、パターン認識方法を実装したハードウェアの動作確認のために、ユーザが指定した特定の画像パターンを入力する手段を備え、この特定の画像パターンをシステムに入力したときに出力される情報と、前記増分符号、または前記勾配強度符号の性質から予想される出力とを比較し、前記ハードウェアが正常に動作しているかを判定することを特徴とするものである。

また、本発明のパターン認識方法は、演算処理手段の計算能力に応じて、前記検出対象領域を走査する際のパラメータとして、前記検出対象領域を移動させるステップ幅、任意の大きさの対象を検出するために現画像を縮小させるときの縮小率と縮小回数、又は前記部分特徴ベクトルを生成して検出処理や照合処理を繰り返す回数を入力し、処理するフレームレートや対象の検出率、および照合率を調節することを特徴とするものである。

上記課題を達成するために、本発明はカメラで撮像した画像から、検出対象物を検知するパターン認識装置において、少なくとも１つの画素と他の画素の輝度値の差から増分を計算する特徴抽出手段と、前記各画素の増分の符号から成る増分符号ビット列を要素とする特徴ベクトルを持ち、該特徴ベクトルの撮影空間での発生確率を入力画像と予め検出対象物に関する画像データベースから求めるパターン認識手段と、該特徴ベクトルの発生確率により、入力画像に前記データベースに属する検出対象物が存在するか否かを判断することを特徴とするものである。

また、本発明のパターン認識装置は、前記データベースから画像の各画素位置における前記特徴ベクトルの各要素である前記増分符号ビット列の発生確率を求める演算手段と、検出対象物に応じて生じる固有な前記増分符号ビット列の発生確率から検出対象物の識別、および検出に有効な前記増分符号ビット列を選択し、該ビット列を要素とした特徴ベクトルを用いて前記検出対象物の検出、あるいは前記検出対象物の前記データベースとの照合を行うパターン認識手段を備えたことを特徴とするものである。

また、本発明のパターン認識装置は、前記パターン認識手段は、前記増分符号ビット列の発生確率の空間的分布と入力画像から計算された増分符号ビット列の空間的分布を重ね合わせ、同一の増分符号ビット列を持つ画素数を計数した値、および同一の増分符号を持つ画素位置における前記増分符号ビット列の発生確率を加算した値のうち、少なくともいずれか一つを入力画像の特徴ベクトル要素として、検出対象物の検出、あるいは検出対象物の前記データベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識装置は、前記パターン認識手段は、前記検出対象物の画像を含むデータベースと、非検出対象の画像を含むデータベースの両者から前記特徴ベクトルの各要素の発生頻度を求め、それらの分布から前記検出対象と前記非検出対象とを識別する識別境界を求め、検出対象物の検出や前記検出対象物の画像を含むデータベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識装置は、前記パターン認識手段は、検出対象物が入力画像の一部のみに存在するときに、検出対象領域を入力画像中で水平方向、及び垂直方向に走査して各走査位置における前記検出対象物領域が検出すべき対象であるか否かを判定する際、前記増分符号ビット列の発生確率が最も高い画素を用いて部分特徴ベクトルを生成し、この部分特徴ベクトルを用いて検出対象の検出や前記検出対象の画像を含むデータベースとの照合を行った後、前記増分符号列の発生確率が高い画素の情報を逐次加算して前記部分特徴ベクトルを更新し、誤検出をした領域に対して更新した部分特徴ベクトルを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を繰り返して検出対象物の検出精度を向上させることを特徴とするものである。

また、本発明のパターン認識装置は、前記パターン認識手段は、前記増分符号と同時に入力画像中の全ての位置において注目画素を中心とする領域内で、２つの画素の組み合わせを少なくとも一つ以上選択し、それらの画素の組み合わせから輝度値の差を計算し、その値が、ユーザが設定した閾値、あるいは前記データベースから学習手段によって求められた閾値以上であれば１、負であれば０である勾配強度符号を計算する手段を有し、前記増分符号と併用、または勾配強度符号のみを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を行うことを特徴とするものである。

また、本発明のパターン認識装置は、前記パターン認識方法を実装したハードウェアの動作確認のために、ユーザが指定した特定の画像パターンを入力する手段を備え、この特定の画像パターンをシステムに入力したときに出力される情報と、前記増分符号、または前記勾配強度符号の性質から予想される出力とを比較し、前記ハードウェアが正常に動作しているかを判定することを特徴とするものである。

また、本発明のパターン認識装置は、演算処理手段の計算能力に応じて、前記検出対象領域を走査する際のパラメータとして、前記検出対象領域を移動させるステップ幅、任意の大きさの対象を検出するために現画像を縮小させるときの縮小率と縮小回数、又は前記部分特徴ベクトルを生成して検出処理や照合処理を繰り返す回数を入力し、処理するフレームレートや対象の検出率、および照合率を調節することを特徴とするものである。

本発明によれば、増分符号の統計的性質、およびその性質から生成されるパターン検出のための特徴ベクトルを生成するのに必要な大規模な画像データベースを作成することで、より検出精度の高いパターン認識方法および装置が実現できる。

本発明のパターン認識方法および装置によれば、照明変動に強く、計算コストが低いという増分符号特有の性質を用いて、検出対象の姿勢変動によるパターンの見かけの変動がある場合や、同じカテゴリーに属するがそれぞれ個性を持ちパターンが微妙に異なる検出対象、例えば車両や人の顔などを検出する場合において高速でロバストな検出を実現できる。

以下、本発明の実施例を図面を用いて説明する。

図１は、本発明のパターン認識装置の一実施例の処理機能ブロックを示したものである。この構成はカメラからの信号入力部１０１，特徴抽出部１０２，パターン識別器１０３，検出ウィンドウ走査部１０４，学習用データベース１０５，学習部１０６，検出画像表示部１０７，検出画像配信部１０８，検出画像を蓄積するデータベース蓄積部１０９，警報発報部１１０を備えており、これらの演算処理を行う処理機能ブロックはＣＰＵを有する電子計算機により構築されたシステム上に、ソフトウェアにより構成されて処理されている。また、学習用データベース１０５はメモリやハードディスク等の記憶手段に構築されている。

本実施例では信号入力部１０１から検出ウィンドウ走査部１０４で入力信号が検出対象であるか否かを判定することを目的としており、学習用データベース１０５と学習部106が学習のための部分であり、ここで学習した結果をパターン識別器１０３へ渡すことにより所望のパターンを検出できる。検出画像表示部１０７から警報発報部１１０は検出結果を利用する部分であり、検出結果を検出画像表示部１０７で表示してセキュリティシステムのガイダンスに使うことができる。検出画像配信部１０８は検出結果のみをネットワークに配信する部分であり、例えば監視システムにおいて人が入退室するシーン、あるいは車両を検知した時の映像だけを見たい場合に用いられる。データベース蓄積部１０９は検出画像を蓄積する部分であり、例えばある区域の入場者の履歴を作りたい場合に用いられる。また、検出結果画像だけを保存することにより、画像の保存容量が少ない機器においても、長期間の画像を保存できる。警報発報部１１０はセキュリティシステムに用いられる警報発報部であり、例えば車両の検知結果に基づいてナンバープレートを認識して車両通行流の解析に用いたり、人の顔の検出結果に基づいて顔認証を行うことで入退室管理に用いたり、ライセンスの不正使用防止システムなどに用いる。

対象の検出に先立って、学習部１０６で対象に関する特徴情報を抽出し、学習する。この学習部１０６の処理手順およびその内容を図２に示す。
図２の実施例において入力画像の特徴計算部２０１，特徴積算部２０２，特徴ベクトル計算部２０３，学習部２０４の処理機能ブロックを備えている。学習部１０６での処理の流れは次のようになる。学習用データベース１０５から逐次入力画像が特徴計算部２０１へ送られ、画像の各画素位置において増分符号が計算される。次にこの増分符号を前述した逐次入力の過程において特徴積算部２０２で積算し、データベース中の全ての画像の処理が終わるまで繰り返す。そして、特徴ベクトル計算部２０３において増分符号の発生頻度を出力する。以下、学習部１０６の各部の詳細について説明する。

図２の特徴計算部２０１の詳細な処理内容を図３（ａ）に示す。特徴計算部２０１では入力画像の各画素位置において、注目画素を中心とする矩形領域、ここでは例として３×３画素の領域を考える。尚、この領域は３×３画素に限定されるものではなく任意であり、最大入力画像のサイズまで広げることが可能である。この領域の中で任意の２画素の組を少なくとも１組選択し、輝度値の差分を計算する。このとき差分が正の値であれば１を、負の値であれば０をとる増分符号ビットを定義し、２画素の組の数を要素数とする増分符号ビット列を求める。図３（ａ）では例として３×３画素の領域内で縦横斜めのａ，ｂ，ｃ，ｄの４方向の輝度値の差分を計算し、４ビットの増分符号列を求める。この増分符号を〔非特許文献２〕ではＰＩＳ(Peripheral Incremental Sign Correlation) と呼んでおり、以下増分符号としてこの用語を用いる。また、４ビット（２⁴ ）のＰＩＳを輝度表示したものをＰＩＳ画像と呼ぶ。図３(ａ)の一番右側に入力画像に対するＰＩＳ画像を示す。ＰＩＳは輝度値の増分符号をビット表現するが、この他２画素間の輝度値の差があるしきい値以上ならば１、しきい値以下ならば０をとる勾配強度ビット列を定義して用い、同様にビット表現することも可能である。この場合ＰＩＳ画像に対応するように勾配強度画面が生成される。これらのビット表現手法はこれ以降の処理でそれぞれ独立に用いることも併用することも可能である。

次に図２特徴積算部２０２において画像データベース中同一対象物の画像に対して上述のＰＩＳ画像、あるいは勾配強度画像を計算し重ね合わせる。この処理結果を図３（ｂ）に示す。データベース中にＮ枚の画像があり、ＰＩＳ、あるいは勾配強度の各ビットをそれぞれ個別に重ねていくと、図３（ｂ）に示すようにａｂｃｄの符号毎に２⁴ ＝１６通りのＰＩＳビット列に対応する出現頻度が得られる。図中、明るい画素ほど、その符号の出現頻度が高いことを示している。図３では検出対象を人物の顔とした例を示しているが、各ＰＩＳビット列の出現頻度の画像を見て分かるように、顔の各パーツが持つ勾配方向に対応してＰＩＳビット列の出現頻度が特徴的であることが分かる。例えば、ＰＩＳビット列１１１１や１１１０は目や眉毛、および口の構造を表現しており、ＰＩＳビット列0111や１１００は鼻の構造を表現している。

これは、ＰＩＳビット列１１１１や１１１０は主に上，下方向で画像の変化が起きていることを示し、また、ＰＩＳビット列０１１１や１１００は左，右方向で画像の変化が起きていることを示している。

そして、対象を検出するためのＰＩＳビット列を要素とする特徴ベクトルの生成を図２の特徴ベクトル計算部２０３において行う。特徴ベクトル計算部の詳細な処理内容の実施例を図４に示す。まず入力画像に対してＰＩＳ画像を計算する。次に図３（ｂ）で示した各ＰＩＳビット列の分布にＰＩＳ画像を重ねて、各画素位置における入力画像のＰＩＳビット列と一致した場合に、ＰＩＳビット毎に一致した画素数と、そのときの出現頻度をそれぞれ別に加算していく。入力画像の全ての画素において以上の処理が終了すると、最終的に入力画像に対する特徴ベクトルが計算される（図４４０１）。これを、ここでは顔を例にしているのでFacial−PIS ベクトルと呼ぶ。ここでは発生頻度が低いFacial−PIS 、具体的には００１０，０１００，０１０１，０１１０，１００１，１０１０，１０１１，１１０１の符号ビットは特徴ベクトルは用いず、符号ビットとして００００，１０００，１１００，０００１，１１１０，００１１，０１１１，１１１１を用いる。この実施例ではFacial−PIS 特徴ベクトルとして顔の例を示したが、この手法は顔に限らず、文字や車両など、人間が識別に利用できる特定パターンを持つ画像に対して適用できる。

このFacial−PIS ベクトルを用いて顔の検出を行うにあたり、Facial−PIS ベクトルの性質を用いた処理手順の内容を図５に示す。図５（ａ）は顔画像データベースと背景画像データベースの両者の画像情報と、上述したFacial−PIS ベクトルの要素毎のヒストグラムを表している。横軸はFacial−PIS の各要素の出力値であるベクトル要素の大きさの一致度を示し、値が大きい程一致性が高いことを示している。縦軸は画像データベース中で横軸の値がどの程度の頻度で発生するかを計数した値である。図５（ａ）から分かるように、背景画像に対するFacial−PIS 出力は全体的に小さくなり、顔画像に対するFacial−PIS 出力は全体的に大きくなる。この性質を利用して、例えば単純に顔と背景のFacial−PIS 分布から両者のヒストグラムが交差する点をしきい値として、顔と背景を識別することが可能である。ただしこの場合、ヒストグラムが重なる領域については誤識別をすることになるので、例えばFacial−PIS ベクトルを識別器に通して顔か背景かを識別することもできる。識別器として、例えばベイズ推定，ニューラルネットワーク，サポートベクターマシン，ブースティングを使うことができる。

以上の説明した識別方法は顔と背景というカテゴリーの画像が直接入力された場合の処理を示している。入力が例えばカメラで撮影した画像の場合は検出対象の位置や大きさは様々である。よって、画像中で検出ウィンドウの大きさを変えながらウィンドウの位置をずらしていき、各位置において例えば顔と背景との識別を行う必要がある。この場合、ウィンドウの走査による照合回数が膨大になるため監視やセキュリティシステムのように実時間処理が必要な用途では計算量を低減する必要がある。検出ウィンドウの走査方法については後述するとして、ここではFacial−PIS の計算に工夫をして処理の高速化を図る方法について説明する。図５（ｂ）に対象の高速検出を可能にするFacial−PIS の性質を用いた処理手順の内容を示す。図５（ｂ）は図５（ａ）と異なり、横軸はFacial−PIS ベクトル要素の総和の出力値である。これは、図５（ａ）は検出ウィンドウの全ての画素を用いるの対し、図５（ｂ）ではFacial−PISの出現頻度の高い画素から選択してFacial−PISの総和のヒストグラムを計算している。この図から分かるように、Facial−PIS の出現頻度が一番高い上位１画素のみを用いた場合でも、顔の分布と背景の分布が分離していることが分かる。すなわち、検出ウィンドウサイズが２４×２４画素でありウィンドウ内の全画素数が全５７６画素だとすると、上位１画素のみを用いた場合は１／５７６の計算量で検出処理を行うことができる。この性質により、まず少ない画素数で過剰検出を含む大まかな検出処理をした後、検出に用いる画素数を増やしていき、絞込み検出をカスケードして行うことが可能になる。この処理手順を図６に示す。

この図６に示した処理手順においては、まず１段目の識別器で上位１位の出現頻度の画素を用いたFacial−PIS 出力と、背景の分布の一致度の出現確率を比較して、しきい値より背景の分布の一致度の出願確率が少ない場合は入力した画像は背景と判断する。

そして、この１段目の識別器でしきい値により分別が困難な場合は、２段目の識別器に移り、例えば上位１０位の出現頻度の画素を用いたFacial−PIS 出力と、背景の分布の一致度の出現確率を比較して、この識別器のしきい値より背景の分布の一致度の出願確率が少ない場合は、入力した画像は背景と判断する。そして、これでも背景と判断されない場合は次の識別器で判断を行う。

このように、Ｎ段の識別器に対応したFacial−PIS 出力と背景の分布を比較することにより、しきい値より小さい出現確率の画像を背景と判断し、最終的にしきい値より小さい出現確率にならなかった画像データについては顔の画像であると判定する。

この処理により最初から検出ウィンドウ内の全ての画素を用いることなく、また検出ウィンドウの走査をスキップすることなく検出処理の高速化を図ることができる。図５(ｂ)には例として上位１，５，１０，５０，１００、全画素の画素を用いた場合のFacial−
PIS の分布を示している。ここで、各段の顔と背景を分離するしきい値によっては過剰検出や検出漏れが問題となるが、データベースや用途に応じて最適なしきい値を前述のベイズ推定，ニューラルネットワーク，サポートベクターマシン，ブースティングによって学習させることができる。

次に、検出ウィンドウの走査方法を図７に示す。ここでは検出ウィンドウのサイズを変えずに現画像を縮小して相対的に大きな検出ウィンドウを走査できるようにする。まず現画像７０１が入力されると、画像縮小部７０２において一定の縮小率で画像が縮小される。つぎに検出ウィンドウ走査部７０３で固定サイズの検出ウィンドウを一定画素数ずつ走査方向にずらしていき、走査位置の座標を検出ウィンドウ情報出力部７０４で出力する。この座標は図１において１０４から出力されるものであり、この座標値を用いて現画像から検出ウィンドウ内の画素をクリッピングして図１の信号入力部１０１へ渡す。以上の処理を検出ウィンドウが画面内で走査が完了するまで行う。ある縮小画像で走査が終わったら、その画像を前述の縮小率で再度縮小し、その画像内での走査を行う。以上の処理を縮小画像の高さ、あるいは横幅が検出ウィンドウのそれと同じになるまで縮小を繰り返す。ここで、検出ウィンドウの走査に必要なパラメータ、具体的には画像の縮小率，検出ウィンドウを走査するためにずらす画素数，検出ウィンドウサイズ、そして画像縮小を行う回数は図７の検出ウィンドウ走査用パラメータ入力部７０５から入力する。この入力部の役目は検出ウィンドウ走査用パラメータを調節することで、処理時間と検出精度を調節することである。例えば、計算能力が高いプロセッサを用いる場合はパラメータの値を小刻みに変化させて、検出ウィンドウの大きさや位置の微妙な変化に対応させることにより、対象の検出感度を高くできる。一方、計算能力が低いプロセッサではパラメータの値を大きく変化させて計算量を減らす。例えば、検出ウィンドウを走査するずらし幅を大きくすると計算量は減るが、検出精度は落ちる。あるいは、画像縮小率を大きく変化させると、計算量は減るが、中間サイズの対象の検出漏れが生じる。また、画像縮小回数を減らすことで計算量を減らすことができる。この場合は縮小していない画像サイズでの検出ができないが、検出対象の画面上での大きさが予め予想される場合には高速化に有効な処理手段となる。

以上のような検出ウィンドウのパラメータ設定は、例えば組み込み機器でパターン検出をする必要がある用途で有効である。組み込み機器ではＰＣで用いるような高速なプロセッサは消費電力や発熱量，コストの問題で搭載できないことがある。よって低消費電力で発熱量が低く、低コストである組み込みマイコンやＤＳＰを搭載する必要がある。例えばスタンドアロンで動作するハードディスクレコーダ，ＤＣＣＴＶ，小型画像処理ユニットなどである。これらの機器でパターン検出を行う場合は、検出ウィンドウ走査用パラメータを調節して、組み込みマイコンやＤＳＰで処理できる位に計算量を低減させる。その代わり検出能力が落ちるが、組み込み機器をクライアントとして見た場合、これらクライアントに検出漏れを極力少なくして過剰検出した結果を出力させ、この検出結果を高速な計算が可能なプロセッサを搭載するサーバに送り、サーバで最終的な検出処理をするシステムを構築できる。サーバにはクライアントから撮像した全ての画像が送られてくるわけではないので、クライアントの数が増えても計算量が飽和することなく、またデータの保存領域の節約につながるという利点がある。

尚、上述した一連の演算処理を行う処理機能ブロック、及び処理手段はＣＰＵを有する電子計算機により構築されたシステム上に、ソフトウェアにより構成されて処理されているが、これらは色々な形態の電子計算機システムで構成することが可能であり、組み込み機器やワンチップ化された画像処理プロセッサ中に構築することも可能である。

また、ＰＩＳとして輝度値の増分符号をビット表現した例を用いているが、前述したように勾配強度ビット列を定義して用いることも可能である。

以上説明した実施例では主に顔の検出について説明したが、顔の他に人物の胴体，文字，記号，車両の検出にも本発明は適用できる。

パターン検出方法の実施方法を示した説明図である。パターンの学習の実施方法を示した説明図である。パターン検出用の特徴量を計算する実施方法を示した説明図である。パターン検出用の特徴ベクトルを計算する実施方法を示した説明図である。パターン検出用の特徴ベクトルの性質を示した説明図である。パターン検出をするときの識別方法を説明した図である。検出ウィンドウを走査する実施方法を示した説明図である。

符号の説明

１０１…信号入力部、１０２…特徴抽出部、１０３…パターン識別器、１０４，７０３…検出ウィンドウ走査部、１０５…学習用データベース、１０６，２０４…学習部、107…検出画像表示部、１０８…検出画像配信部、１０９…データベース蓄積部、１１０…警報発報部、２０１…特徴計算部、２０２…特徴積算部、２０３…特徴ベクトル計算部、
４０１…Facial−PIS ベクトル、７０１…現画像、７０２…画像縮小部、７０４…検出ウィンドウ情報出力部。

Claims

カメラで撮像した画像から、検出対象物を検知するパターン認識方法において、
少なくとも１つの画素と他の画素の輝度値の差から増分を計算し、
各画素の前記増分の符号から成る増分符号ビット列を要素とする特徴ベクトルを持ち、該特徴ベクトルの撮影空間での発生確率を入力画像と予め検出対象物に関する画像データベースから求め、該特徴ベクトルの発生確率により、入力画像に前記データベースに属する検出対象物が存在するか否かを判断することを特徴とするパターン認識方法。
請求項１に記載のパターン認識方法において、
前記画像に対応する画素の領域内で、少なくとも１つの画素と他の画素の輝度値の差から増分を計算する際に、その値が正であれば１、負であれば０である増分符号を計算することを特徴とするパターン認識方法。
請求項１に記載のパターン認識方法において、
前記データベースから画像の各画素位置における前記特徴ベクトルの各要素である前記増分符号ビット列の発生確率を求め、検出対象物に応じて生じる固有な前記増分符号ビット列の発生確率から検出対象物の識別、および検出に有効な前記増分符号ビット列を選択し、該ビット列を要素とした特徴ベクトルを用いて前記検出対象物の検出、あるいは前記検出対象物の前記データベースとの照合を行うことを特徴とするパターン認識方法。
請求項３に記載のパターン認識方法において、
前記増分符号ビット列の発生確率の空間的分布と入力画像から計算された増分符号ビット列の空間的分布を重ね合わせ、同一の増分符号ビット列を持つ画素数を計数した値、および同一の増分符号を持つ画素位置における前記増分符号ビット列の発生確率を加算した値のうち、少なくともいずれか一つを入力画像の特徴ベクトル要素として、検出対象物の検出、あるいは検出対象物の前記データベースとの照合を行うことを特徴とするパターン認識方法。
請求項１のパターン認識方法において、
検出対象物の画像を含むデータベースと、非検出対象の画像を含むデータベースの両者から前記特徴ベクトルの各要素の発生頻度を求め、それらの分布から前記検出対象と前記非検出対象とを識別する識別境界を求め、検出対象物の検出や前記検出対象物の画像を含むデータベースとの照合を行うことを特徴とするパターン認識方法。
請求項１に記載のパターン認識方法において、
検出対象物が入力画像の一部のみに存在するときに、検出対象領域を入力画像中で水平方向、及び垂直方向に走査して各走査位置における前記検出対象物領域が検出すべき対象であるか否かを判定する際、前記増分符号ビット列の発生確率が最も高い画素を用いて部分特徴ベクトルを生成し、この部分特徴ベクトルを用いて検出対象の検出や前記検出対象の画像を含むデータベースとの照合を行った後、前記増分符号列の発生確率が高い画素の情報を逐次加算して前記部分特徴ベクトルを更新し、誤検出をした領域に対して更新した部分特徴ベクトルを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を繰り返して検出対象物の検出精度を向上させることを特徴とするパターン認識方法。
請求項１から請求項５のうちの１つのパターン認識方法において、
前記増分符号と同時に入力画像中の全ての位置において注目画素を中心とする領域内で、２つの画素の組み合わせを少なくとも一つ以上選択し、それらの画素の組み合わせから輝度値の差を計算し、その値が、ユーザが設定した閾値、あるいは前記データベースから学習手段によって求められた閾値以上であれば１、負であれば０である勾配強度符号を計算する手段を有し、前記増分符号と併用、または勾配強度符号のみを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を行うことを特徴とするパターン認識方法。
請求項１から請求項７のうちの１つのパターン認識方法において、
パターン認識方法を実装したハードウェアの動作確認のために、ユーザが指定した特定の画像パターンを入力する手段を備え、この特定の画像パターンをシステムに入力したときに出力される情報と、前記増分符号、または前記勾配強度符号の性質から予想される出力とを比較し、前記ハードウェアが正常に動作しているかを判定するパターン認識方法。
請求項１から請求項８のうちの１つのパターン認識方法において、
演算処理手段の計算能力に応じて、前記検出対象領域を走査する際のパラメータとして、前記検出対象領域を移動させるステップ幅、任意の大きさの対象を検出するために現画像を縮小させるときの縮小率と縮小回数、又は前記部分特徴ベクトルを生成して検出処理や照合処理を繰り返す回数を入力し、処理するフレームレートや対象の検出率、および照合率を調節することを特徴とするパターン認識方法。
カメラで撮像した画像から、検出対象物を検知するパターン認識装置において、
少なくとも１つの画素と他の画素の輝度値の差から増分を計算する特徴抽出手段と、
前記各画素の増分の符号から成る増分符号ビット列を要素とする特徴ベクトルを持ち、該特徴ベクトルの撮影空間での発生確率を入力画像と予め検出対象物に関する画像データベースから求めるパターン認識手段と、該特徴ベクトルの発生確率により、入力画像に前記データベースに属する検出対象物が存在するか否かを判断することを特徴とするパターン認識装置。
請求項１０に記載のパターン認識装置において、
前記データベースから画像の各画素位置における前記特徴ベクトルの各要素である前記増分符号ビット列の発生確率を求める演算手段と、
検出対象物に応じて生じる固有な前記増分符号ビット列の発生確率から検出対象物の識別、および検出に有効な前記増分符号ビット列を選択し、該ビット列を要素とした特徴ベクトルを用いて前記検出対象物の検出、あるいは前記検出対象物の前記データベースとの照合を行うパターン認識手段を備えたことを特徴とするパターン認識装置。
請求項１０に記載のパターン認識装置において、
前記パターン認識手段は、前記増分符号ビット列の発生確率の空間的分布と入力画像から計算された増分符号ビット列の空間的分布を重ね合わせ、同一の増分符号ビット列を持つ画素数を計数した値、および同一の増分符号を持つ画素位置における前記増分符号ビット列の発生確率を加算した値のうち、少なくともいずれか一つを入力画像の特徴ベクトル要素として、検出対象物の検出、あるいは検出対象物の前記データベースとの照合を行うことを特徴とするパターン認識装置。
請求項１０のパターン認識装置において、
前記パターン認識手段は、前記検出対象物の画像を含むデータベースと、非検出対象の画像を含むデータベースの両者から前記特徴ベクトルの各要素の発生頻度を求め、それらの分布から前記検出対象と前記非検出対象とを識別する識別境界を求め、検出対象物の検出や前記検出対象物の画像を含むデータベースとの照合を行うことを特徴とするパターン認識装置。
請求項１０に記載のパターン認識装置において、
前記パターン認識手段は、検出対象物が入力画像の一部のみに存在するときに、検出対象領域を入力画像中で水平方向、及び垂直方向に走査して各走査位置における前記検出対象物領域が検出すべき対象であるか否かを判定する際、前記増分符号ビット列の発生確率が最も高い画素を用いて部分特徴ベクトルを生成し、この部分特徴ベクトルを用いて検出対象の検出や前記検出対象の画像を含むデータベースとの照合を行った後、前記増分符号列の発生確率が高い画素の情報を逐次加算して前記部分特徴ベクトルを更新し、誤検出をした領域に対して更新した部分特徴ベクトルを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を繰り返して検出対象物の検出精度を向上させることを特徴とするパターン認識装置。
請求項１０から請求項１４のちの１つのパターン認識装置において、
前記パターン認識手段は、前記増分符号と同時に入力画像中の全ての位置において注目画素を中心とする領域内で、２つの画素の組み合わせを少なくとも一つ以上選択し、それらの画素の組み合わせから輝度値の差を計算し、その値が、ユーザが設定した閾値、あるいは前記データベースから学習手段によって求められた閾値以上であれば１、負であれば０である勾配強度符号を計算する手段を有し、前記増分符号と併用、または勾配強度符号のみを用いて対象の検出や前記検出対象の画像を含むデータベースとの照合を行うことを特徴とするパターン認識装置。
請求項１０から請求項１５のうちの１つのパターン認識装置において、
前記パターン認識方法を実装したハードウェアの動作確認のために、ユーザが指定した特定の画像パターンを入力する手段を備え、この特定の画像パターンをシステムに入力したときに出力される情報と、前記増分符号、または前記勾配強度符号の性質から予想される出力とを比較し、前記ハードウェアが正常に動作しているかを判定するパターン認識装置。
請求項１０から請求項１６のうちの１つのパターン認識装置において、
演算処理手段の計算能力に応じて、前記検出対象領域を走査する際のパラメータとして、前記検出対象領域を移動させるステップ幅、任意の大きさの対象を検出するために現画像を縮小させるときの縮小率と縮小回数、又は前記部分特徴ベクトルを生成して検出処理や照合処理を繰り返す回数を入力し、処理するフレームレートや対象の検出率、および照合率を調節することを特徴とするパターン認識装置。