JP2012527664A - 画像分類方法、装置、プログラム製品および記憶媒体 - Google Patents

Abstract

画像に対して分類を行う方法及び装置である。方法は、前記画像から、１グループの特徴を抽出して特徴ベクトルとする（ここで、前記抽出は、前記特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定すること、前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出すること、前記の第１差及び第２差に基づいて勾配の大きさ及び勾配の方向を算出して、前記の各特徴のそれぞれを形成するようにすることを含む）こと、前記の抽出された特徴ベクトルにより、前記画像に対して分類を行うこと、を含む。
【選択図】図１

Description

本発明は、ビデオ又は画像に対する分類（対象が含まれる／対象が含まれない）、即ち、ビデオ又は画像における対象の検出又は認識に関し、特に、ビデオ又は画像において検出しようとする対象が含まれるか否かを区別するための分類器を生成する方法及び装置、並びに、生成された分類器で画像に対して分類を行う方法及び装置に関する。

ビデオモニターや人工知能、コンピュータ視覚等の応用の普及に伴って、ビデオ及び画像において現れる特定対象、例えば、人、動物や車両等を検出する技術への要求が益々増えていく。ビデオ又は画像における対象を検出するための方法には、以下のような種類の方法が周知されており、即ち、静態的な画像特徴を採用してビデオ又は画像において対象または非対象が含まれるか否かを区別するための分類器を構築し、この分類器で画像に対して分類を行い、即ち画像において対象を検出し、ここで、ビデオに対し、各フレームのそれぞれを一枚の画像と見なして検出を行う。

Ｐａｕｌ ＶｉｏｌａとＭｉｃｈａｅｌ Ｊｏｎｅｓとが、「Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ」、Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ Ｏｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｔｈｅｏｒｉｅｓ Ｏｆ Ｖｉｓｉｏｎ−Ｍｏｄｅｌｉｎｇ、Ｌｅａｒｎｉｎｇ、Ｃｏｍｐｕｔｉｎｇ、Ａｎｄ Ｓａｍｐｌｉｎｇ、Ｖａｎｃｏｕｖｅｒ、Ｃａｎａｄａ、Ｊｕｌｙ１３，２００１には、このような技術の一種を開示している。Ｐａｕｌ Ｖｉｏｌａらの技術では、画像から矩形ブロックの画素和間の差を抽出して特徴とし、ＡｄａＢｏｏｓｔ方法で抽出された特徴から、対象または非対象を区別するためのに、より適する特徴を選出して弱分類器を形成するとともに、弱分類器を融合することによって強分類器を形成する。このような方法は、画像において例えば人の顔のような対象を検出することに適しているが、人のような対象に対する検出のロバスト性が高くはない。

前記の課題に鑑みて、本発明の目的として、画像における対象の検出のロバスト性を向上するため、分類器を生成する方法及び装置、並びに画像に対して分類を行う方法及び装置を提供することにある。

本発明の一実施例は、対象画像と非対象画像とを区別するための分類器を生成する方法であって、複数の入力画像のそれぞれから、特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定すること、前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出すること、前記の第１差及び第２差に基づいて勾配の大きさ及び勾配の方向を算出して、前記の各特徴のそれぞれを形成するようにすることで１グループの特徴を抽出して特徴ベクトルとすることと、前記の抽出された特徴ベクトルにより、訓練して前記分類器を得ること、を含む。

本発明のほかの一実施例は、対象画像と非対象画像とを区別するための分類器を生成する装置であって、前記装置は、複数の入力画像のそれぞれから、１グループの特徴を抽出して特徴ベクトルとし、前記装置は、前記特徴ベクトルの各特徴のそれぞれに対して第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定する特定手段と、前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出する差分算出手段と、前記の第１差及び第２差に基づいて勾配の大きさ及び勾配の方向を算出して前記の各特徴のそれぞれを形成する勾配算出手段と、前記抽出された特徴ベクトルにより訓練して前記分類器を得る訓練手段と、を含む。

本発明の前記実施例によれば、二つの方向に沿って配置された領域の画素に基づいて勾配の方向および勾配の大きさを含む特徴を算出することで、抽出された特徴は、相応の画像部分における対象のエッジの分布をより真実的に反映することができる。このような特徴に基づいて生成された分類器は、画像において、例えば、人または動物の対象、特に各種の姿勢を有する対象をよりロバストに検出することができる。

更に、前記方法及び装置において、各領域は矩形領域であってもよい。ここで、第１領域同士は互いに接しており、且つ第２領域同士も互いに接している。

前記方法及び装置において、第１領域の数及び第２領域の数の何れも２であり、第１領域同士が接しており且つ第２領域同士が接している場合に、第１軸と第２軸との交点は、第１領域の接続線上または接続点からの予め定められた範囲内に位置するとともに、第２領域の接続線上または接続点からの予め定められた範囲内に位置する。

前記方法及び装置において、第１領域の数及び第２領域の数のいずれも２であり、第１領域同士は間隔を有しており、且つ第２領域同士は間隔を有している場合に、第１軸と第２軸との交点は、第１領域の位置中心間の中点及び第２領域の位置中心間の中点からの予め定められた範囲内に位置する。

前記方法及び装置において、第１領域の数及び第２領域の数のいずれも３である場合に、第１軸と第２軸との交点は、それぞれ第１領域のうち中間にある第１領域内及び第２領域のうち中間にある第２領域内に位置する。

前記方法及び装置において、少なくとも二つの特徴が基づいた領域の配置の間の区別には、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つまたは複数を含む。これによって、考察可能な特徴がより豊富となり、対象及び非対象を区別するに適する特徴の選択により有利である。

前記方法及び装置において、複数の特徴ベクトルの少なくとも一つの次元の特徴に対して変換を行い、変換される特徴は、勾配方向及び勾配の大きさを含み、前記変換は、前記勾配方向を複数の予め定められた区間のうち前記勾配方向が属する区間に変換することを含む。前記の少なくとも一つの次元の各次元毎に、前記予め定められた区間にそれぞれ対応するサブ分類器を含む分類器を生成する。ここで、前記予め定められた区間毎に、前記特徴ベクトルのうちその区間が予め定められた区間と同じである当該次元の特徴の勾配の大きさの分布に基づいて、相応するサブ分類器の閾値を取得する。

本発明のほかの一実施例は、画像に対して分類を行う方法であって、複数画像から、１グループの特徴を抽出して特徴ベクトルとする（ここで、前記抽出は、前記特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定すること、前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出すること、前記第１差及び第２差の基づいて勾配の大きさ及び勾配方向を算出して、前記の各特徴のそれぞれを形成することを含む）こと、前記の抽出された特徴ベクトルにより前記画像に対して分類を行うこと、を含む。

本発明のほかの一実施例は、画像に対して分類を行う装置であって、複数画像から、１グループの特徴を抽出して特徴ベクトルとする特徴抽出装置（ここで、前記特徴抽出装置は、前記特徴ベクトルの各特徴のそれぞれに対して第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定する特定手段と、前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出する差算出手段と、前記第１差及び第２差の基づいて勾配の大きさ及び勾配方向を算出して前記の各特徴のそれぞれを形成する勾配算出手段とを含む）と、前記抽出された特徴ベクトルにより、画像に対して分類を行う分類手段と、を含む。

前記方法及び装置において、前記のように、複数の領域の画素に基づいて画像部分の勾配を算出することができるので、抽出された特徴は、相応の画像部分における対象のエッジの分布をより全面に反映できることによって、対象姿勢の変化の影響を受けることが少なくなる。このような特徴に基づいて生成された分類器は、画像において、例えば人または動物の対象、特に、各種の姿勢を有する対象をよりロバストに検出することができる。

前記方法及び装置において、各領域は矩形領域であってもよい。ここで、第１領域同士は互いに接しており、且つ第２領域同士は接している。

前記方法及び装置において、第１領域の数及び第２領域の数のいずれも２であり、第１領域同士が互いに接しており、且つ第２領域同士が互いに接している場合に、第１軸と第２軸との交点は、第１領域の接続線上または接続点からの予め定められた範囲内に位置するとともに、第２領域の接続線上または接続点からの予め定められた範囲内に位置する。

前記方法及び装置において、第１領域の数及び第２領域の数のいずれも２であり、第１領域同士は間隔を有しており、且つ第２領域同士は間隔を有している場合に、第１軸と第２軸との交点は、第１領域の位置中心間の中点及び第２領域の位置中心間の中点からの予め定められた範囲内に位置する。

前記方法及び装置において、第１領域の数及び第２領域の数のいずれも３である場合に、第１軸と第２軸との交点は、第１領域のうち中間にある第１領域内及び第２領域のうち中間にある第２領域内にそれぞれ位置する。

さらに、前記方法及び装置いおいて、少なくとも二つの特徴が基づいた領域配置の間の区別には、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つまたは複数を含む。これによって、考察可能な特徴がより豊富となり、対象及び非対象を区別するに適する特徴の選択により有利である。

さらに、前記方法及び装置において、画像に対して分類を行うことは、各特徴毎の勾配方向及び勾配の大きさに対して複数の勾配方向区間のうちその勾配方向が属する勾配方向区間を特定する（各勾配方向区間は相応する閾値を有する）こと、前記の勾配の大きさ及び特定された勾配方向区間の相応の閾値を比較すること、比較結果により分類結果を生成することを含む。

以下の図面による本発明の実施例に対する説明を参照することにより、本発明の以上及びその他の目的、特徴、利点をより容易に理解することができる。図面において、同一又は対応の技術的特徴又は部品は、同一又は対応の符号で示される。図面において、手段のサイズ及び相対する位置を縮尺に従って作成する必要がない。

図１のブロック図は、本発明の一実施例による、対象または非対象を区別するための分類器を生成する装置の構造を示す。

図２ａ乃至図２ｈは、特定手段により特定された領域配置の例を示す模式図である。

図３ａは、対象（人体）のエッジ輪郭の分布の一例を示す。

図３ａ及び図３ｃそれぞれは、図２ａ及び図２ｂに示された領域配置に基づいて図３ａに示された部分において第１領域及び第２領域を特定する模式図である。

図４ａは、図３ａに示された部分３０２において含まれた対象エッジ輪郭を示す模式図である。

図４ｂは、勾配算出手段が、差算出手段により図３ｂ及び図３ｃに示された第１領域及び第２領域に基づいて算出された第１差及び第２差に基づいて算出された勾配の模式図である。

図５は、本発明の一実施例による対象と非対象とを区別するための分類器を生成する方法のフローチャートである。

図６のブロック図は、本発明の一つの好適実施例による、対象と非対象とを区別するための分類器を生成する訓練手段の構造を示す。

図７は、本発明の一つの好適な実施例による、対象画像と非対象画像とを区別するための分類器を生成する訓練方法を示すフローチャートである。

図８のブロック図は、本発明の一実施例による、画像に対して分類を行う装置の構造を示す。

図９は、本発明の一つの実施例による、画像における対象を検出する方法を示すフローチャートである。

図１０のブロック図は、本発明の一つの好適な実施例による分類手段の構造を示す。

図１１は、本発明の一つの好適な実施例による分類方法を示すフローチャートである。

図１２は、本発明を実現するコンピュータの例示的な構造を示すブロック図である。

以下、図面を参照しながら本発明の実施例を説明する。ここで注意すべきなのは、明瞭にするために、図面及び説明において本発明と関係しない、当業者が既知している部品及び処理の表記及び説明は省略されたことである。

図１のブロック図は、本発明の一実施例による、対象または非対象を区別するための分類器を生成する装置１００の構造を示す。

図１に示したように、装置１００は、特定手段１０１と、差算出手段１０２と、勾配算出手段１０３及び訓練手段１０４とを含む。

静態的な画像特徴を採用して分類器を構築する技術において、対象画像と非対象画像とを収集し、収集した対象画像及び非対象画像から特徴を抽出し、ＡｄａＢｏｏｓｔ法で抽出された特徴に対して選出及び融合を行って、対象画像と非対象画像とを区別する分類器が得られる。Ｄｉｎｇらのテーマが「Ａ Ｒｏｂｕｓｔ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ Ｉｎ Ｃｏｍｐｌｉｃａｔｅｄ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅ」の特許出願ＷＯ ２００８／１５１４７０において、このような対象画像と非対象画像とを収集及び準備する方法（明細書、第２ページないし第３ページ参照）が開示されている。収集及び準備された対象画像と非対象画像を装置１００の入力画像とすることができる。装置１００は、複数の入力画像のそれぞれから、１グループの特徴を抽出して特徴ベクトルとする。

特定手段１０１が、前記特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する（例えば、直角や非直角で交差）第２軸の方向に沿って配置された複数の第２領域とを特定する。

抽出しようとする特徴は、通常は、入力画像における画素に基づいたものである。特定手段１０１は、抽出しようとする各特徴のそれぞれが基づく、入力画像における画素を特定するためのものである。特定手段１０１は、予め定められた領域配置により、その基づいた入力画像における画素を特定することができる。

第１領域及び第２領域の配置は各種の方式があることができる。一つの例において、複数の第１領域の画素の位置の加重平均位置、及び複数の第２領域の画像の位置の加重平均位置が、前記の第１軸と第２軸との交点からの予め定められた範囲内にある。具体的に第１領域を例として、第１領域の画素の位置を（ｘ_ｉｊ， ｙ_ｉｊ ）と表すことができ、なお、ｘ_ｉｊは、第ｉ番目の第１領域における第ｊ番目の画素の、第１軸（即ちＸ軸）上での座標を表し、ｙ_ｉｊは、第ｉ番目の第１領域における第ｊ番目の画素の、第２軸（即ちＹ軸）上での座標を表す。第１領域の画像の位置の加重平均位置（ｘａ， ｙａ）を下式のように定義することができる。

ただし、Ｎは第１領域の数であり、Ｍ_ｉは第ｉ番目の第１領域における画素の数であり、ｗ_ｉは第ｉ番目の第１領域の重みであり、且つ、

更にまたは選択可能に、前記の例において、すべての第１領域の重みは、同じであってもよいが、少なくとも部分的に異なっても良い。異なる場合に、画像が多く含まれた第１領域に比較的に小さい重みを割り当てることができ、画像が少なく含まれた第１領域に比較的に大きい重みを割り当てることができる。

上記に第１領域を例として加重平均位置を説明したが、上記の説明が第２領域にも適用することができる。

その他の例において、領域は矩形領域であっても良い。第１領域同士は接しているものであり、且つ、第２領域同士は接しているものである。

図２は、特定手段１０１により特定された領域配置の他の例を示す概略図である。図２において、Ｘは第１軸、Ｙは第２軸を示し、且つ矩形ブロックの白色と黒色とは、ただ区別の目的をとしている。図２の第１軸と第２軸とは、互いに直交していると示しているが、第１軸と第２軸とは非直角の角度で交差することもできる。

一種の領域配置によれば、第１領域の数と第２領域の数とはいずれも２であり、第１領域同士が接しており、且つ第２領域同士は接している。このような配置では、第１軸と第２軸との交点は、第１領域の接続線上又は接続点（例えば、矩形領域の頂点が接している場合）からの予め定められた範囲内（例えば、基本的に重ね合い）にあり、且つ、第２領域の接続線上または接続点からの予め定められた範囲内にある。

図２ａ及び図２ｂは、このような配置の一つの例を示している。具体的には、図２ａは、第１軸における第１領域の配置を示している。なお、白色の矩形ブロック２０１と黒色の矩形ブロック２０２とが何れも第１領域を示しており、且つ接続線上で接している。しかも、第１軸と第２軸との交点は、接続線上にある。図２ｂは第２軸における第２領域の配置を示している。なお、白色の矩形ブロック２０３と黒色の矩形ブロック２０４とが、何れも第２領域を示しており、且つ接続線上で接している。しかも、第１軸と第２軸との交点は、接続線上にある。図２ａ及び図２ｂのそれぞれが第１軸及び第１軸における領域配置を示したが、実際に反映したのは、図２ａと図２ｂとが合併され、即ち、図２ａの第１軸及び第２軸は、それぞれ図２ｂの第１軸及び第２軸と同じとなるときの領域配置である。選択可能に、矩形ブロック２０１と２０２、及び矩形ブロック２０３と２０４は、それぞれの頂点を通して互いに接することができる。

他の一種の領域配置によれば、第１領域の数と第２領域の数とはいずれも２であり、第１領域同士は間隔を有しており、第２領域同士は間隔を有している。このような配置では、第１軸と第２軸との交点は、第１領域の位置中心間の中点と第２領域の位置中心間の中点からの予め定められた範囲内にある。

図２ｃ及び図２ｄは、この種の領域配置の一つの例を示す。図２ｃは、第１軸上での第１領域の配置を示し、白色の矩形ブロック２０５と黒色の矩形ブロック２０６とも第１領域を示し、この両者の間に間隔を有している。第１軸と第２軸との交点は、白色の矩形ブロック２０５と黒色の矩形ブロック２０６との位置中心間の中点からの予め定められた範囲内にある。図２ｄは、第２軸における第２領域の配置を示しており、白色の矩形ブロック２０７と黒色の矩形ブロック２０８とはいずれも第２領域を示しており、且つ間隔を有している。第１軸と第２軸との交点は、白色の矩形ブロック２０７と黒色の矩形ブロック２０８との位置中心間の中点からの予め定められた範囲内にある。図２ｃ及び図２ｄのそれぞれが第１軸及び第２時軸における領域の配置を示しているが、実際に反映しているのは、図２ｃと図２ｄとが合併され、即ち、図２ｃの第１軸及び第２軸は、それぞれ図２ｄの第１軸及び第２軸と同じとなるときの領域配置である。

図２ｇ及び図２ｈは、このような領域配置の他の例を示している。なお、矩形ブロックの頂点が対向している。図２ｇは、第１軸における第１領域の配置を示しており、白色の矩形ブロック２１５と黒色の矩形ブロック２１６とはいずれも第１領域を示しており、且つ、間隔を有している。第１軸と第２軸との交点は、白色の矩形ブロック２１５と黒色の矩形ブロック２１６との位置中心間の中点からの予め定められた範囲内にある。図２ｈは第２軸における第２領域の配置を示しており、白色の矩形ブロック２１７と黒色の矩形ブロック２１８とはいずれも第２領域を示しており、且つ、間隔を有している。第１軸と第２軸との交点は、白色の矩形ブロック２１７と黒色の矩形ブロック２１８との位置中心間の中点からの予め定められた範囲内にある。図２ｇ及び図２ｈのそれぞれが、第１軸及び第２軸における領域の配置を示しているが、実際に反映しているのは、図２ｇと図２ｈとが合併され、即ち、図２ｇの第１軸及び第２軸はそれぞれ図２ｈの第１軸及び第２軸と同じとなるときの領域配置である。

他の種の領域配置によれば、第１領域の数と第２領域の数とはいずれも３である。このような配置では、第１軸及び第２軸との交点は、それぞれ第１領域のうち中間にある第１領域内、及び、第２領域のうち中間にある第２領域内に位置する。

図２ｅ及び図２ｆは、このような領域配置の一つの例を示している。図２ｅは、第１軸における第１領域の配置を示しおり、なお、白色の矩形ブロック２１０と黒色の矩形ブロック２０９、２１１とは何れも第１領域を示しており、且つ、第１軸と第２軸との交点は、中間に位置する白色の矩形ブロック２１０内にある。図２ｆは、第２軸における第２領域の配置を示しており、白色の矩形ブロック２１３と黒色の矩形ブロック２１２、２１４とは何れも第２領域を示しており、且つ、第１軸と第２軸との交点は、中間に位置する白色の矩形ブロック２１３内にある。図２ｅ及び図２ｆのそれぞれは、第１軸及び第２軸における領域の配置を示しているが、実際に反映しているのは、図２ｅと図２ｆとが合併され、即ち、図２ｅの第１軸及び第２軸はそれぞれ図２ｆの第１軸及び第２軸と同じとなるときの領域配置である。選択可能に、矩形ブロック２０９、２１０及び２１１、並びに矩形ブロック２１２、２１３及び２１４は接しているものでなく、離れているものであってもよい。

注意すべきなのは、第１領域と第２領域との形状は、矩形に限定されず、他の形状であっても良いことである。他の形状、例えば、多辺形、三角形や円形、環状、不規則形状であってもよい。第１領域と第２領域との形状は異なるものであっても良く、且つ、異なる第１／第２領域の形状も異なるものであってもよい。

また、矩形形状を持つ場合に、第１領域のうち異なる領域の辺は、互いに平行しているものであってもよく、互いにある角度を相対的に回転したものであってもよい。同様に、矩形形状を持つ場合に、第２領域のうち異なっている領域の辺は互いに平行しているものであってもよく、互いにある角度を相対的に回転したものであってもよい。矩形形状を持つ場合に、矩形領域が接していることは、各自の辺を介して接している場合（即ち、第１軸と第２軸との交点がこれらの辺にある）と、各自の角部の頂点を介して接している場合（即ち、第１軸と第２軸との交点は、こられの頂点の箇所にある）とを含む。

さらに注意すべきなのは、第１軸において配置した第１領域と、第２軸において配置した第２領域の数は、図２に示した数に限定されなく、且つ、第１領域の数は必ず第２領域の数と同じである必要がないことである。第１領域の画素の位置の加重平均位置、及び第２領域の画素の位置の加重平均位置は、第１軸と第２軸との交点からの予め定められた範囲内にあればよい。好ましくは、第１領域の数と第２領域の数とは何れも３を超えないことである。

さらに注意すべきなのは、第１領域の相対的な位置関係、及び第２領域の相対的な位置関係は、任意なものであってもよい。例えば、第１軸において配置した第１領域は、互いに接しているものや離れているもの、部分的に接しているもの、部分的に離れているものであってもよく、第２軸において配置した第２領域は、互いに接しているものや離れているもの、部分的に接しているもの、部分的に離れているものであってもよい。第１領域の画素の位置の加重平均位置及び第２領域の画素の位置の加重平均位置は第１軸と第２軸との交点からの予め定められた範囲内にあればよい。

収集された対象画像において、対象のエッジ輪郭は、非対象と区別する特徴を現れる。対象のエッジ輪郭が対象画像において各種の分布を有する可能性がある。対象のエッジ輪郭を反映する特徴を十分に抽出することができるために、特定手段１０１は、入力画像の異なっている位置にある、大きさが異なっている部分内に第１領域と第２領域を特定して、当該部分内のエッジ輪郭を取得するようにすることができる。

図３ａは、対象（人体）のエッジ輪郭の分布の一つ例を示している。図３ａに示したように、入力画像において、人体のエッジ輪郭は、例えば、部分３０１、３０２、３０３の大きさが異なる、位置が異なる各部分にある。

図３ｂ及び３ｃは、図２ａ及び２ｂに示された領域配置に基づいて、図３ａに示された部分３０２において、第１領域及び第２領域を特定することを示す模式図である。図３ｂにおいて、図面の符号３０４は、第１領域の配置を示す。図３ｃにおいて、図面の符号３０５は、第１領域の配置を示す。

一つの実施例において、特定手段１０１は、ある種の領域配置に基づいて入力画像の異なっている位置において第１領域及び第２領域を特定することができる。次に、この種の領域配置における領域の大きさ及び／または領域の縦横比を変更することによって、新しい領域配置を取得するとともに、新しい領域配置に基づいて入力画像の異なっている位置において、第１領域及び第２領域を特定する。この種の領域配置のすべての可能な領域の大きさ又は領域の縦横比が試みられるまで、この過程を繰り返す。

更に、又は、選択可能に、前記実施例において、特定手段１０１は、領域配置における領域の相対位置関係を変更することによって、新しい領域配置を取得することができる。

更に、又は、選択可能に、前記実施例において、特定手段１０１は、領域配置における領域の数を変更することによって、新しい領域配置を取得することができる。

更に、又は、選択可能に、前記実施例において、特定手段１０１は、領域配置における領域の形状を変更することによって、新しい領域配置を取得することができる。

特定手段１０１がある種の領域配置に基づいて入力画像のある位置において特定した第１領域及び第２領域は、一つの抽出しようとする特徴を決めた。概括に言うと、少なくとも二つの特徴が基づいた領域は異なっているものである。例えば、異なる領域配置間の区別は、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つ又は複数を含むことができる。

図１に戻ると、差算出手段１０２は、特定手段１０１が各領域配置のそれぞれに基づいて入力画像における各位置において特定した第１領域及び第２領域に対して、第１領域の画素和間又は平均値（階調）間の第１差ｄｘ、及び第２領域の画素和間または平均値（階調）間の第２差ｄｙを算出する。

例えば、図２ａ及び２ｂに示された領域配置に対して、下式により第１差及び第２差を算出することができる。
第１差＝矩形ブロック２０２の画素和、又は平均値−矩形ブロック２０１の画素和、又は平均値、
第２差＝矩形ブロック２０２の画素和、又は平均値−矩形ブロック２０１の画素和、又は平均値。

また、例えば、図２ｃ及び２ｄに示した領域配置に対して、下式により第１差及び第２差を算出することができる。
第１差＝矩形ブロック２０６の画素和、又は平均値−矩形ブロック２０５の画素和、又は平均値、
第２差＝矩形ブロック２０８の画素和、又は平均値−矩形ブロック２０７の画素和、又は平均値。

また、例えば、図２ｅ及び２ｆに示された領域配置に対して、下式により第１差及び第２差を算出することができる。
第１差＝矩形ブロック２０９の画素和、又は平均値＋矩形ブロック２１１の画素和、又は平均値―矩形ブロック２１０の画素和または平均値×２、
第２差＝矩形ブロック２１２の画素和、又は平均値＋矩形ブロック２１４の画素和、又は平均値−矩形ブロック２１３の画素和または平均値×２。

また、例えば、図２ｇ及び２ｈに示された領域配置に対して、下式により第１差及び第２差を算出することができる。
第１差＝矩形ブロック２１６の画素和、または平均値―矩形ブロック２１５の画素和、又は平均値、
第２差＝矩形ブロック２１８の画素和、又は平均値―矩形ブロック２１７の画素和、又は平均値。

軸方向における領域の画素和間、又は平均値（階調）間の差を算出する目的として、相応する軸方向における画素階調の変化を反映する情報を取得することにある。異なっている領域配置に対して、このような変化を反映することができれば、第１差及び第２差を算出する相応の方法を有することができる。

図１に戻ると、勾配算出手段１０３は、差算出手段により計算された第１差及び第２差に基づいて、勾配の大きさ及び勾配方向を算出して、抽出される特徴を形成する。下式により勾配の方向及び大きさを算出することができる。

上式（１）により、勾配方向の角度範囲は０〜１８０度である。選択可能な実施例において、下式により勾配方向を算出することができる。

上式（１’）により、勾配方向の角度範囲は、０〜３６０度である。

図４ａは、図３ａに示した部分３０２に含まれた対象エッジ輪郭を示している模式図である。図４ａに示したように、エッジ４０１は部分３０２に含まれたエッジ輪郭を模式的に示す。

図４ｂは、勾配算出手段１０３が、差算出手段１０２が図３ｂおよび３ｃに示した第１領域および第２領域に基づいて算出した第１差および第２差に基づいて算出した勾配方向を示している模式図である。図４ｂにおいて、斜線４０２の法線４０３は、算出した勾配方向を示す。

二つの方向に沿って配置した、協同して定位した領域の画素によって勾配方向および勾配の大きさを含む特徴を算出することで、抽出された特徴は、相応する画像部分における対象エッジの分布をより真実的に反映することができる。それに応じて、このような特徴に基づいて生成された分類器は、画像における、例えば、人または動物の対象、特に各種の姿勢を有する対象をよりロバストに検出することができる。

入力画像ごとに抽出したすべての特徴は、一つの特徴ベクトルを形成する。

図１に戻ると、訓練手段１０４は、抽出された特徴ベクトルに基づいて分類器を訓練する。

方向性勾配ヒストグラムを採用することができ、例えばＳＶＭ（サポートベクターマシン）による機械学習方法で、前記実施例において取得した特徴ベクトルに基づいて分類器を訓練する。Ｄａｌａｌらの「Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ」，Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５：８８６ −８９３及びＴｒｉｇｇｓらの「Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｏｒｉｅｎｔｅｄ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｆｌｏｗ ａｎｄ Ａｐｐｅａｒａｎｃｅ」，Ｐｒｏｃ． Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００６の文献においてこのような勾配特徴に基づいて分類器を訓練する方法を記述した。

図５は、本発明の一実施例による、対象画像と非対象画像とを区別するための分類器を生成する方法５００を示すフローチャートである。

図５に示したように、方法５００はステップ５０１からスタートする。ステップ５０３、５０５及び５０７は、現在の入力画像から１グループの特徴を抽出して特徴ベクトルとするために用いられる。ステップ５０３において、特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置した複数の第１領域と、前記の第１軸と交差する（例えば、直角または非直角で交差する）第２軸の方向に沿って配置した複数の第２領域とを特定する。

図１に基づいた説明ように、Ｄｉｎｇらのテーマが「Ａ Ｒｏｂｕｓｔ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ Ｉｎ Ｃｏｍｐｌｉｃａｔｅｄ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅ」である特許出願ＷＯ ２００８／１５１４７０に開示された方法（明細書第２ページ乃至第３ページを参照）により、対象画像と非対象画像とを含む入力画像を収集し及び準備する。

第１領域及び第２領域の配置は、前記の図１に基づいた実施例の説明における領域配置であってもよい。

ステップ５０３において、入力画像の異なっている位置における大きさの異なっている部分内において第１領域及び第２領域を特定して、当該部分内のエッジ輪郭特徴を取得するようにすることができる。

方法５００の一つの修正実施例において、ステップ５０３には、ある種の領域配置に基づいて入力画像の異なっている位置において第１領域と第２領域とを特定することができる。次に、この種の領域配置における、領域の大きさ及び／または領域の縦横比を変更することによって新しい領域配置を取得し、さらに新しい領域配置に基づいて、入力画像の異なっている位置において第１領域と第２領域とを特定する。この種の領域配置の、すべての可能な領域の大きさまたは領域の縦横比が試みられるまで、この過程を繰り返す。

更に、又は、選択可能に、前記実施例においてステップ５０３は領域配置における領域の相対位置関係を変更することによって新しい領域配置を取得することができる。

更に、又は、選択可能に、前記実施例においてステップ５０３は領域配置における領域の数を変更することによって新しい領域配置を取得することができる。

更に、又は、選択可能に、前記実施例においてステップ５０３は領域配置における領域の形状を変更することによって新しい領域配置を取得することができる。

ステップ５０３において、ある種の領域配置に基づいて入力画像におけるある位置において特定した第１領域及び第２領域は、一つの抽出しようとする特徴を決めた。概括に言うと、少なくとも二つの特徴が基づいた領域配置は異なっている。例えば、異なる領域配置間の区別は、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つまたは複数を含むことができる。

ステップ５０５において、第１領域の画素和間または平均値間の第１差と、第２領域の画素和間または平均値間の第２差を算出する。前記の図１に基づいた実施例の説明の方法により、第１差及び第２差を算出することができる。

ステップ５０７において、算出した第１差及び第２差に基づいて、勾配の大きさ及び勾配方向を算出して、抽出される特徴を形成する。公式（１）（または（１’））及び（２）により勾配方向及び勾配の大きさを算出することができる。

次に、ステップ５０９において、現在の入力画像に対して、抽出されていない特徴が存在するか否かを特定する。存在すると、ステップ５０３に戻って、次の特徴を抽出する過程を実行する。そうでないと、ステップ５１１を実行する。

ステップ５１１において、特徴ベクトルの抽出されていない入力画像が存在するか否かを特定する。存在すると、ステップ５０３に戻って、次の入力画像の特徴ベクトルを抽出する過程を実行する。そうでないと、方法は、ステップ５１３に進む。

方法５００では、二つの方向に沿って配置した、協同して定位された領域の画素により勾配方向および勾配の大きさを含む特徴を算出することで、抽出された特徴は、相応する画像部分における対象エッジの分布をより真実的に反映することができる。それに応じて、このような特徴に基づいて生成された分類器は、画像における、例えば、人または動物の対象、特に各種の姿勢を有する対象をよりロバストに検出することができる。

入力画像ごとに抽出したすべての特徴は、一つの特徴ベクトルを形成する。

ステップ５１３において、抽出された特徴ベクトルに基づいて分類器を訓練する。

方向性勾配ヒストグラムを採用することができ、例えばＳＶＭ（サポートベクターマシン）による機械学習方法で、前記実施例において取得した特徴ベクトルに基づいて分類器を訓練する。例えば、Ｄａｌａｌらの「Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ」，Ｐｒｏｃ．ｏｆ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５：８８６ −８９３及びＴｒｉｇｇｓらの「Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ Ｏｒｉｅｎｔｅｄ Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｆｌｏｗ ａｎｄ Ａｐｐｅａｒａｎｃｅ」，Ｐｒｏｃ． Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００６の文献においてこのような勾配特徴に基づいて分類器を訓練する方法を記述した。

方法５００は、ステップ５１５において終了する。

以下に説明するように、方向性勾配ヒストグラムを採用せずに前記実施例において取得した勾配特徴に基づいて分類器を訓練してもよい。

図６のブロック図は、本発明の一つの好適実施例による、対象と非対象とを区別するための分類器を生成する訓練手段１０４の構造を示している。

図６に示したように、訓練手段１０４は、変換手段６０１と分類器生成手段６０２とを含む。

変換手段６０１は、複数の特徴ベクトルのうちの少なくとも一つの次元の特徴に対して変換を行う。おな、変換される特徴は、勾配方向及び勾配の大きさを含む。例えば、特徴ベクトルは、前記の図１及び図５を参照して説明した実施例において生成した特徴ベクトルであってもよい。変換手段６０１により行われた変換は、勾配方向を、複数の予め定められた区間のうち当該勾配方向の属する区間に変換することを含む。

例えば、勾配方向の角度範囲（即ち、複数の予め定められた区間の角度により覆われた範囲）は１８０度である。この範囲を若干の予め定められた区間（勾配方向区間とも称す）に区分することができ、例えば、０〜６０度と、６０〜１２０度と、１２０〜１８０度との三つの区間に区分することができる。勿論、ほかの区分にしてもよい。勾配方向の角度範囲は３６０度となってもよい。予め定められた区間の数は３〜１５であることは好ましい。予め定められた数が大きいほど、角度の区分が細かくなり、より強い分類能力（より低い誤り率）が得られることにより有利となる。しかしながら、検出する際に過剰学習現象がより生じやすくなり、分類効果が悪化するとなる。予め定められた区間の数が小さいほど、角度の区分が粗くなり、分類能力が弱くなるが、角度の変化に敏感しなくなり、姿勢変化に対するロバスト性を高めるに有利である。具体的な実現の需要に応じて分類能力と姿勢のロバスト性との間で折衷を取って、予め定められた区間の数を特定することができる。

変換手段６０１は、特徴の勾配方向が位置する区間に基づいて、勾配方向を相応する区間に変換する。

仮に、Ｎ個の予め定められた区間があり、特徴ベクトルは＜ｆ_１， …， ｆ_Ｍ＞と示され、ｆ_ｉは、勾配の大きさＩ_ｉと勾配方向Ｏ_ｉとを含む。変換しようとする特徴ｆ_ｉに対し、変換された特徴はｆ’_ｉと示され、ｆ’_ｉは、勾配の大きさＩ_ｉ と区間Ｒ_ｉとを含む。

各特徴ベクトルの同一次元の特徴ｆ_ｉに基づいて当該次元に相応する分類器を生成することができる。当該分類器は、ｈ_ｉ（Ｉ， Ｏ）と示すことができ、Ｉは勾配の大きさを示し、Ｏは勾配方向を示す。分類器は、それぞれＮ個の予め定められた区間Ｋ_ｊに対応するＮ個の分類器ｈ_ｉｊ（Ｉ）を含み、ここで、０＜ｊ＜Ｎ＋１であり、その勾配方向が相応の予め定められた区間に属する特徴に対して分類を行うために用いられる。各サブ分類器のそれぞれｈ_ｉｊ（Ｉ）は、相応の閾値θ_ｉｊと、当該閾値に基づいて特定された分類ａ_ｉｊ及びｂ_ｉｊ（対象、非対象）とを有する。ｈ_ｉｊ（Ｉ）の処理は、以下のように示されることができ、即ち、Ｉ＜θ_ｉｊである場合、ｈ_ｉｊ（Ｉ）＝ ａ_ｉｊなり、そうでないと、ｈ_ｉｊ（Ｉ）＝ ｂ_ｉｊとなる。各サブ分類器のそれぞれｈ_ｉｊ（Ｉ）に対し、各変換された特徴ベクトルの特徴ｆ’_ｉのうち区間Ｒ_ｉと区間Ｋ_ｊとが同じである特徴の勾配の大きさの分布に基づいて学習して、閾値θ_ｉｊと、分類ａ_ｉｊ及びｂ_ｉｊとが得られる。

分類器生成手段６０２は、前記の少なくとも一つの次元の各次元に対して、それぞれ前記予め定められた区間のサブ分類器に対応する分類器を生成する。なお、前記の予め定められた区間毎に対して、前記特徴ベクトルのうちその区間が前記予め定められた区間と同じである当該次元の特徴の勾配の大きさの分布に基づいて、相応するサブ分類器の閾値と、当該閾値に基づいて特定した分類とを取得する。選択可能に、特定された分類和の信頼性の度量をさらに取得することもできる。

一つの簡単の実現において、一つの次元のみに対して変換及び分類器の生成を行い、生成された分類器を、対象画像と非対象画像とを区別するための分類器とする。

好ましくは、前記の少なくとも一つの次元は、特徴ベクトルの少なくとも二つの次元またはすべての次元を含むことができる。この場合は、次元毎に相応する分類器をそれぞれ生成するとともに、生成された各分類器により、最終の分類器を取得することができる。

既知の方法により各次元に対応する分類器を最終の分類器に組み合わせることができる。例えば、Ａｄａｂｏｏｓｔ方法は、分類用の方法であり、各次元に対して生成した分類器を一緒に融合して、新しい非常に強い分類器を組み合わせることができる。

Ａｄａｂｏｏｓｔ方法では、サンプル毎に重みを付け、繰り返し方法により分類器を組み合わせる。毎回繰り返し行う時に、分類器が幾らかのサンプルに対する分類を正確にを行うと、これらのサンプルの重み値を減少し、誤った分類を行うと、これらのサンプルの重みを増やして、学習アゴリズムは後続の学習において難しい訓練サンプルに集中して学習するようにして、最終には、認識の正確率が満足である分類器を取得する。

Ｐａｕｌ Ｖｉｏｌａ及びＭｉｃｈａｅｌ Ｊｏｎｅｓの文章“Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ”，Ｓｅｃｏｎｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｗｏｒｋｓｈｏｐ Ｏｎ Ｓｔａｔｉｓｔｉｃａｌ Ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｔｈｅｏｒｉｅｓ Ｏｆ Ｖｉｓｉｏｎ − Ｍｏｄｅｌｉｎｇ， Ｌｅａｒｎｉｎｇ， Ｃｏｍｐｕｔｉｎｇ， Ａｎｄ Ｓａｍｐｌｉｎｇ，Ｖａｎｃｏｕｖｅｒ， Ｃａｎａｄａ， Ｊｕｌｙ １３， ２００１においてこのような、複数の分類器を選択、融合して最終の分類器を形成する技術が記載されている。

一つの好適な実施例において、予め定められた区間の一つとしては、弱い勾配を代表する区間がある。この場合に、変換手段６０１は、特徴の勾配大きさが予め定められた閾値より小さい場合に、勾配方向を弱い勾配を代表する区間に変換する。弱い勾配を代表する区間に相応するサブ弱分類器に対して、勾配の大きさにかかわらず、特徴を非対象に分類する。

図７は、本発明の一つの好適な実施例による、対象画像と非対象画像とを区別するための分類器を生成する訓練方法７００を示すフローチャートである。

図７に示したように、方法７００は、ステップ７０１からスタートする。ステップ７０３において、複数の特徴ベクトルの少なくとも一つの次元の特徴に対して変換を行い、変換される特徴は、勾配方向と勾配の大きさとを含む。例えば、特徴ベクトルは、前の図１及び図５を参照して説明した実施例において生じた特徴ベクトルであってもよい。行われた変換は、勾配方向を複数の予め定められた区間のうち当該勾配方向が属する区間に変換することを含む。

ステップ７０５において、変換された特徴ベクトルの現在の次元に対し、それぞれ前記の予め定められた区間に対応するサブ分類器を含む分類器を生成する。なお、前記の予め定められた区間毎に対して、前記特徴ベクトルうちその区間が前記予め定められた区間と同じである現在の次元の特徴の勾配大きさの分布に基づいて、相応するサブ分類器の閾値と、当該閾値に基づいて特定した分類とを取得する。選択可能に、特定された分類和の信頼性の度量をさらに取得することもできる。

ステップ７０７において、分類器を生成していない次元があるか否かを特定する。ある場合に、ステップ７０５へ戻って、次の次元の分類器を生成し、そうでないと、方法はステップ７０９において終了する。

一つの簡単な実現において、一つの次元のみに対して変換及び分類器の生成を行い、生成された分類器が、対象画像と非対象画像とを区別するための分類器とされる。

好ましくは、前記の少なくとも一つの次元は、特徴ベクトルの少なくとも二つの次元またはすべての次元を含むことができる。この場合は、次元ごとに相応する分類器をそれぞれ生成するとともに、生成された各分類器に基づいて最終の分類器を取得することができる。

既知の方法により各次元に対応する分類器を最終の分類器に組み合わせることができる。例えば、Ｐａｕｌ ＶｉｏｌａらのＡｄａＢｏｏｓｔ方法により、生成された分類器に基づいて最終の分類器を形成する。

一つの好適な実施例において、予め定められた区間の一つとしては、弱い勾配を代表する区間がある。この場合に、ステップ７０３において、特徴の勾配大きさが予め定められた閾値より小さい場合には、勾配方向を弱い勾配を代表する区間に変換する。弱い勾配を代表する区間に相応するサブ弱分類器に対して、勾配の大きさにかかわらず、特徴を非対象に分類する。

図８のブロック図は、本発明の一実施例による、画像に対して分類を行う装置８００の構造を示す。

図８に示したように、装置８００は、特定手段８０１と、差算出手段８０２と、勾配算出手段８０３と、分類手段８０４とを含む。

装置８００に入力される画像は、スキャンウインドウにより処理しようとする画像から予め定められたサイズを取得した画像であってもよい。Ｄｉｎｇらのテーマが「Ａ Ｒｏｂｕｓｔ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ Ｉｎ Ｃｏｍｐｌｉｃａｔｅｄ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅ」である特許出願ＷＯ ２００８／１５１４７０に記述した方法で画像を取得することができる（明細書第５ページを参照）。

この実施例において、抽出しようとする特徴ベクトルは、分類手段８０４が使用した分類器が基づいた特徴ベクトルである。

特徴手段８０１は、前記特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置した複数の第１領域と、前記第１軸と交差（例えば、直角または非直角で交差する）する第２軸の方向に沿って配置した複数の第２領域とを特定する。

特徴手段８０１が基づいた第１領域及び第２領域の領域配置は、前記特徴手段８０１を結合して記述した領域配置であってもよい。

差算出手段８０２は、特徴手段８０１が各領域配置のそれぞれに基づいて入力画像における各位置において特定した第１領域及び第２領域に対して、第１領域の画素和間または平均値（階調）間の第１差ｄｘと、第２領域の画素和間または平均値（階調）間の第２差ｄｙとを算出する。公式（１）（または（１’））及び（２）に基づいて勾配方向及び勾配の大きさを算出することができる。

勾配算出手段８０３は、差算出手段８０２により算出された第１差及び第２差に基づいて勾配の大きさ及び勾配方向を算出して、抽出される特徴を形成する。勾配算出手段１０３を結合して記述した方法により、勾配の大きさ及び勾配方向を算出することができる。

入力画像に対して抽出したすべての特徴は、一つの特徴ベクトルを形成する。分類手段８０４は、抽出された特徴ベクトルに基づいて、入力画像に対して分類を行う。分類手段８０４が採用する分類器は、前の実施例において生成された分類器であってもよい。例えば、方向性勾配ヒストグラムを採用して生成した分類器や勾配方向区間に基づいて生成された分類器である。

図９は、本発明の一つの実施例による、画像に対して分類を行う方法９００を示すフローチャートである。

図９に示したように、方法９００はステップ９０１からスタートする。ステップ９０３、９０５及び９０７は、現在の入力画像から１グループの特徴を抽出して特徴ベクトルとするために用いられる。抽出しようとする特徴ベクトルは、使用される分類器が基づいた特徴ベクトルである。入力画像は、スキャンウインドウにより処理しようとする画像から予め定められたサイズを取得した画像であってもよい。Ｄｉｎｇらのテーマが「Ａ Ｒｏｂｕｓｔ Ｈｕｍａｎ Ｆａｃｅ Ｄｅｔｅｃｔｉｎｇ Ｍｅｔｈｏｄ Ｉｎ Ｃｏｍｐｌｉｃａｔｅｄ Ｂａｃｋｇｒｏｕｎｄ Ｉｍａｇｅ」である特許出願ＷＯ ２００８／１５１４７０に記述した方法で画像を取得することができる（明細書第５ページを参照）。

ステップ９０３において、前記特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置した複数の第１領域と、前記第１軸と交差（例えば、直角または非直角で交差する）する第２軸の方向に沿って配置した複数の第２領域とを特定する。ステップ９０３が基づいた第１領域及び第２領域の領域配置は、前の特定手段１０１を結合して記述した領域配置であってもよい。

次にステップ９０７において、計算された第１差と第２差に基づいて勾配の大きさ及び勾配方向を計算して、抽出される特徴を形成する。公式（１）（または（１’））及び（２）に基づいて勾配方向及び勾配の大きさを算出することができる。

次に、ステップ９０９において、現在の入力画像に対して、抽出されていない特徴が存在するか否かを特定する。存在すると、ステップ９０３に戻って、次の特徴を抽出する過程を実行する。そうでないと、ステップ９０１を実行する。

入力画像に対して抽出したすべての特徴は、一つの特徴ベクトルを形成する。ステップ９１１において、抽出された特徴ベクトルに基づいて、入力画像に対して分類を行う。ステップ９１１が採用する分類器は、前の実施例において生成された分類器であってもよい。例えば、方向性勾配ヒストグラムを採用して生成した分類器や勾配方向区間に基づいて生成された分類器である。

方法９００はステップ９１３において終了する。

図１０のブロック図は、本発明の一つの好適な実施例による分類手段１０４の構造を示す。

図１２に示したように、分類手段１０４は、分類器１００１乃至１００Ｍを含み、Ｍは、抽出される特徴ベクトルにおける特徴の数である。各分類器のそれぞれが一つの特徴に対応する。分類器１００１乃至１００Ｍは、前に図６を参照して記述した分類器であってもよい。分類器１００１を例として、分類器１００１は、複数のサブ分類器１００１−１乃至１００１−Ｎを含む。前に図６を参照して記述したように、サブ分類器１００１−１乃至１００１−Ｎのそれぞれは一つの異なっている勾配方向区間に対応し、且つ各勾配方向区間のそれぞれは相応する閾値を有する。

抽出された特徴ベクトルの各特徴のそれぞれに対して、相応の分類器（例えば分類器１００１）において、当該特徴の勾配方向が属する一つのサブ分類器（例えばサブ分類器１０００−１乃至１００１−Ｎのうちの一つ）が対応する勾配方向区間である場合に、当該サブ分類器により当該特徴の勾配の大きさ及び当該勾配方向区間の相応の閾値を比較し、さらに、比較結果によって分類結果を生じる。分類結果は、画像の分類（対象、非対象）であってもよい。選択可能に、分類結果は、画像分類の信頼性をさらに含むこともできる。

示されていない手段において、既知の方法により、各分類器が特徴ベクトルの相応の特徴に基づいて生じた分類結果を最終の分類結果に組み合わせることができる。例えば、Ａｄａｂｏｏｓｔ方法を採用することができる。

図１１は、本発明の一つの好適な実施例による分類方法を示すフローチャートである。当該方法は、図９のステップ９１１を実現することができる。

図１１に示したように、方法はステップ１１０１からスタートする。ステップ１０３において、抽出された特徴ベクトルの一つの特徴に対して、当該特徴と関連する複数の勾配方向区間（例えば、図６を基づいて記述したもの）のうち当該特徴の勾配方向が属する勾配方向区間を特定する。図６に基づいて記述したように、各勾配方向区間のそれぞれは、相応する閾値を有する。

ステップ１１０５において当該特徴の勾配の大きさ及び特定された勾配方向区間の相応の閾値を比較する。

ステップ１１０７において、比較結果により分類結果を生成する。分類結果は、画像の分類（対象、非対象）であってもよい。選択可能に、分類結果は、画像分類の信頼性をさらに含むこともできる。

ステップ１１０９において、特徴ベクトルにおいてまだ処理されていない特徴があるか否かを特定する。ある場合に、ステップ１１０３へ戻り、続いて次の特徴を処理する。ない場合に、方法は、ステップ１１１１において終了する。

図１２は、本発明を実現するコンピュータの例示的な構造のブロック図である。

本発明の装置及び方法の実現環境は、図１２のように示される。

図１２において、中央処理ユニット（ＣＰＵ）１２０１は、リードオンリメモリ（ＲＯＭ）１２０２に記憶されたプログラムまたは記憶部１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードしたプログラムに基づいて、各種の処理を実行する。ＲＡＭ１２０３において、必要に応じて、ＣＰＵ１２０１が各種の処理等を実行するときに必要なデータも記憶される。

ＣＰＵ１２０１、ＲＯＭ１２０２及びＲＡＭ１２０３はバス１２０４を介して互いに接続される。入力／出力インターフェース１２０５もバス１２０４に接続される。

入力部１２０６（キーボード、マウス等を含む）と、出力部１２０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等とスピーカ等を含む）と、記憶部１２０８（ハードディスク等を含む）と、通信部１２０９（ネットワークインターフェースカード、例えばＬＡＮカード、モデム等を含む）とは、入力／出力インタフェース１１０５に接続されている。通信部１２０９はネットワーク、例えばインターネットを経由して通信処理を実行する。

必要に応じて、入力／出力インタフェース１１０５にはドライブ１２１０も接続されている。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等のような取り外し可能な媒体１２１１は、必要に応じてドライブ１２１０に取り付けられており、その中から読み出されたコンピュータプログラムが必要に応じて記憶部１２０８にインストールされる。

ソフトウェアで前記のステップ及び処理を実現する場合、ネットワーク例えばインターネット、又は記憶媒体例えば取り外し可能な媒体１２１１からソフトウェアを構成するプログラムをインストールする。

このような記憶媒体は、図１２に示されたような、その中にプログラムが記憶されているものであって、デバイスから離れて配送されることでユーザにプログラムを提供する取り外し可能な媒体１２１１に限定されないことは、当業者が理解すべきである。取り外し可能な媒体１２１１の例として、磁気ディスク、光ディスク（コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）やディジタルヴァーサタイルディスク（ＤＶＤ）を含む）、光磁気ディスク（ミニディスク（ＭＤ））を含む）及び半導体メモリを含む。または、記憶媒体はＲＯＭ１２０２、記憶部１２０８に含まれるハードディスクなどであっても良い。その中にプログラムが記憶されており、且つこれらを含むデバイスと一緒にユーザに配送される。

前記の明細書において、特定の実施例を参照しながら本発明を説明したが、特許請求の範囲に限定された本発明の範囲を逸脱しない前提で各種の修正及び変更を行えることは、当業者が理解すべきである。

Claims (14)

1. 画像を分類する方法であって、
   前記画像から、特徴ベクトルの各特徴のそれぞれに対して、第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定することと、
   前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出することと、
   前記の第１差及び第２差に基づいて勾配の大きさ及び勾配の方向を算出して、前記の各特徴のそれぞれを形成するようにすることで１グループの特徴を抽出して特徴ベクトルとすることと、
   前記の抽出された特徴ベクトルにより、前記画像に対して分類を行うこと、
   を含む方法。
2. 前記領域は矩形領域であり、前記第１領域同士は接しており、且つ第２領域同士は接している請求項１に記載の方法。
3. 前記第１領域の数及び前記第２領域の数のいずれも２であり、前記第１領域同士が接しており、且つ第２領域同士が接している場合に、前記第１軸と第２軸との交点は、前記第１領域の接続線上または接続点からの予め定められた範囲内に位置するとともに、前記第２領域の接続線上または接続点からの予め定められた範囲内に位置し、
   前記第１領域の数及び前記第２領域の数のいずれも２であり、前記第１領域同士は間隔を有しており、且つ前記第２領域同士は間隔を有している場合に、前記第１軸と第２軸との交点は、前記第１領域の位置中心間の中点及び前記第２領域の位置中心間の中点からの予め定められた範囲内に位置し、
   前記第１領域の数及び前記第２領域の数のいずれも３である場合に、前記第１軸と第２軸との交点は、前記第１領域のうち中間にある第１領域内及び前記第２領域のうち中間にある第２領域内にそれぞれ位置する請求項１に記載の方法。
4. 少なくとも二つの前記特徴が基づいた領域配置間の区別には、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つまたは複数を含む請求項１に記載の方法。
5. 前記画像に対して分類を行うことは、
   前記各特徴のそれぞれに対して、前記特徴と関連する複数の勾配方向区間のうち前記特徴の勾配方向の属する勾配方向区間を特定することと、
   前記特徴の勾配の大きさ及び特定された勾配方向区間の相応の閾値を比較することと、
   比較結果により分類結果を生じること、
   を含む請求項１に記載の方法。
6. 前記の複数の勾配方向区間の数は３〜１５である請求項５に記載の方法。
7. 複数の勾配方向区間により覆われた範囲は、１８０度または３６０度である請求項５に記載の方法。
8. 画像に対して分類を行う装置であって、
   前記装置は、前記画像から、１グループの特徴を抽出して特徴ベクトルとし、且つ、
   前記特徴ベクトルの各特徴のそれぞれに対して第１軸の方向に沿って配置された複数の第１領域と、前記第１軸と交差する第２軸の方向に沿って配置された複数の第２領域とを特定する特定手段と、
   前記の複数の第１領域の画素和間または平均値間の第１差と、前記の複数の第２領域の画素和間または平均値間の第２差とを算出する差分算出手段と、
   前記の第１差及び第２差に基づいて勾配の大きさ及び勾配の方向を算出して前記の各特徴のそれぞれを形成する勾配算出手段と、
   前記抽出された特徴ベクトルにより画像に対して分類する分類手段と、
   を含む装置。
9. 前記領域は矩形領域であり、前記第１領域同士は接しており、且つ前記第２領域同士は接している請求項８に記載の装置。
10. 前記第１領域の数及び前記第２領域の数のいずれも２であり、前記第１領域同士が接しており、且つ第２領域同士が接している場合に、前記第１軸と第２軸との交点は、前記第１領域の接続線上または接続点からの予め定められた範囲内に位置するとともに、前記第２領域の接続線上または接続点からの予め定められた範囲内に位置し、
    前記第１領域の数及び前記第２領域の数のいずれも２であり、前記第１領域同士は間隔を有しており、且つ前記第２領域同士は間隔を有している場合に、前記第１軸と第２軸との交点は、前記第１領域の位置中心間の中点及び前記第２領域の位置中心間の中点からの予め定められた範囲内に位置し、
    前記第１領域の数及び前記第２領域の数のいずれも３である場合に、前記第１軸と第２軸との交点は、前記第１領域のうち中間にある第１領域内及び前記第２領域のうち中間にある第２領域内にそれぞれ位置する請求項８に記載の装置。
11. 少なくとも二つの前記特徴が基づいた領域配置間の区別には、領域の相対位置関係、領域の数、領域の形状、領域の大きさ、領域の縦横比のうちの一つまたは複数を含む請求項８に記載の装置。
12. 前記各特徴のそれぞれに対して、前記分類手段は相応する分類器を含み、前記分類器は、
    それぞれが一つの異なっている勾配方向区間に対応する複数のサブ分類器を含み、
    各サブ分類器のそれぞれは、前記特徴の勾配方向が、前記サブ分類器に対応する勾配方向区間に属する場合に、前記特徴の勾配の大きさ及び前記勾配方向区間の相応の閾値を比較して、比較結果により分類結果を生成するように配置される請求項８に記載の装置。
13. 前記勾配方向区間の数は３〜１５である請求項１２に記載の装置。
14. 前記勾配方向区間のすべてにより覆われた範囲は、１８０度または３６０度である請求項１２に記載の装置。