JP2004013319A

JP2004013319A - 画像中の物体認識方法

Info

Publication number: JP2004013319A
Application number: JP2002163062A
Authority: JP
Inventors: Shinya Sato; 佐藤　信也
Original assignee: EARTH BEAT Inc
Current assignee: EARTH BEAT Inc
Priority date: 2002-06-04
Filing date: 2002-06-04
Publication date: 2004-01-15

Abstract

【課題】被認識画像中の物体の認識精度および効率を高める。
【解決手段】手書き入力画像をテンプレート画像として被認識画像と比較するものである。すなわち、座標指示入力装置からの手書き画像データを入力してこれを正規化し、前記で入力されたままの手書き画像データまたは前記で正規化された手書き画像データをグレースケール化または輝度信号化してこれを量子化したものをテンプレート画像とし、このテンプレート画像を別途入力された被認識画像と比較するものである。このような処理を実行することにより、たとえばユーザがマウス等で眼鏡を描いた場合にもこの眼鏡を特徴点として画像中の眼鏡をかけた人物の特定が可能となる。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像中に表示された物体を認識するための技術に適用して有効な技術に関する。
【０００２】
【従来の技術】
デジタル処理された写真画像データ中から物体を認識する従来技術としては、情報処理装置内にあらかじめ多数のテンプレート画像を用意しておき、パターンマッチング等の比較技術により、撮影された写真中の画像が特定の物体であると認識するものが一般的だった。
【０００３】
この種の従来技術としてたとえば、特開２００２？８３２９７号公報がある。この先行技術では、画像処理と物体認識の精度を両立させるために、複数代のカメラを用いて物体を撮影し、これらのカメラの位置状態に基づいて３次元処理を行い当該物体を把握するものだった。
【０００４】
【発明が解決しようとする課題】
ところで、前記のような従来技術は、複数のカメラを用いることにより三次元処理を効率的に行うことができるものの、物体の認識については、画像中から特徴点を見いだして、あらかじめ記憶しているパターンを照合する方式であるため、比較画像間の誤差を尺度として認識を行わざるを得なかった。
【０００５】
そのため、これらの従来技術では、被認識対象データ中の対象物（オブジェクト）の大きさや傾きが異なっていると正確な物体認識ができないという問題があった。
【０００６】
たとえば、特定の個人を認識したい場合、テンプレート画像は正面からの顔写真であり、オブジェクトは横顔の写真であるような場合、認識が困難であった。
【０００７】
本発明は、このような従来技術に鑑みてなされたものであり、テンプレート画像に対して変形されたオブジェクトであっても認識可能な物体認識技術を提供することを技術的課題とする。
【０００８】
【課題を解決するための手段】
本発明は、第１に、手書き入力画像をテンプレート画像として被認識画像と比較するものである。すなわち、座標指示入力装置からの手書き画像データを入力してこれを正規化し、前記で入力されたままの手書き画像データまたは前記で正規化された手書き画像データをグレースケール化または輝度信号化してこれを量子化したものをテンプレート画像とし、このテンプレート画像を別途入力された被認識画像と比較するものである。このような処理を実行することにより、たとえばユーザがマウス等で眼鏡を描いた場合にもこの眼鏡を特徴点として画像中の眼鏡をかけた人物の特定が可能となる。
【０００９】
また、本発明は、第２に、認識画像を読み込んで、類似物体認識のために当該認識画像を縦または横方向に分割し、前記分割領域毎に異なる縮尺率で認識画像を変換し、類似物体認識用の複数のテンプレート画像とするものである。テンプレート画像が正面から撮影された顔写真のみである場合、被認識画像中の正面顔は認識可能であるが、同一人物であっても横顔である場合には認識が困難となる。この点について本発明では分割領域毎に縮尺率を変化させて画像を変換し、正面からの顔写真のみが与えられている場合であっても右横、左横、斜め上、斜め下方向からの顔写真をテンプレート画像として生成できる。そのため、複数のカメラ画像を用いることなく同一物体の認識精度を高めることができる。
より具体的には、認識画像を類似物体認識のために当該認識画像を縦または横方向に分割し、この分割領域毎に以下の式に基づいて元画像の縮尺率を決定し、領域毎の画像変換を実行し、
ｘ　＝　（（　Ｘ　−　ｘ０　）　ＣＯＳθ　−　（　Ｙ　−　ｙ０　）　ＳＩＮθ　）　／　ａ　＋　ｘ０
ｙ　＝　（（　Ｘ　−　ｘ０　）　ＳＩＮθ　−　（　Ｙ　−　ｙ０　）　ＣＯＳθ　）　／　ｂ　＋　ｙ０
（ただし、画像上の任意の点ｘ０，ｙ０を中心として横方向にａ倍、縦方向にｂ倍したものとする。
前記変換後の複数のテンプレート画像を生成して、これら複数のテンプレート画像を別途入力された被認識画像と比較するようにした。上記式において、座標（ｘ、ｙ）が拡大・縮小された画像位置であるが、これに対応するもとの画像位置（Ｘ、Ｙ）にある画素データを、そのまま拡大・縮小画素として利用する事ができる利点がある。
【００１０】
さらに、本発明は、第３に、被認識画像に対して、複数のテンプレート画像を用いて段階的に絞り込みを行ったり、同時に複数のテンプレート画像を用いて比較処理を行うことにより、物体認識処理の高速化・高効率化を実現することができる。
【００１１】
【発明の実施の形態】
【実施例】
以下、図面に基づいて、本発明の実施の形態を説明する。
【００１２】
図１は、本発明のシステム構成を示している。本システムは同図に示すように、認識画像テンプレート画像作成部と被認識画像入力部とからなる入力インターフェース部と、物体画像認識エンジン部とで構成されている。
【００１３】
本システムは、汎用のパーソナルコンピュータ等で実現することができ、入力装置としては、マウスまたはデジタイザ等の座標入力手段、またはキーボード等を用いることができる。また、記憶手段としてはハードディスク装置を備えており、この記憶手段内に、認識画像、被認識画像および本実施例の機能を実現するための各種プログラムが格納されている。
【００１４】
（認識画像テンプレート画像作成部）
認識画像テンプレート画像作成部は、マウスまたはデジタイザから座標入力された図形または、記憶手段内の認識画像（画像ファイルまたは画像ソース）を入力するようになっており、機能部としては、ビットマップ画像入力部と、画像変換部と、２ビット相当量子化器と、テンプレート画像展開部とで構成されている。
【００１５】
ここで、ビットマップ画像入力部は、上記で入力された画像データをコンピュータ上で扱える様、ビットマップ・データ（ＲＧＢのカラーデータ）に変換し、さらに効率のよい認識処理のためにグレー・スケール（２５６レベル、８ｂｉｔ相当）または、輝度信号Ｙに変換する。このようにして変換された画像データが、検索対象画像として後段の物体画像認識エンジン部に渡され、認識処理されるようになっている。
【００１６】
ところで、認識用テンプレート画像を、画像ファイルまたは画像ソースより作成する方法としては以下の３通りがある。
（１）．画像ファイルや画像ソースから作成する方法
（２）．マウスやデジタイザ等による手描き画像から作成する方法
（３）．認識テンプレート画像から、その画像変形による複数のテンプレート画像を作成する方法
【００１７】
以下、それぞれの方法について説明する。
（１）．画像ファイルや画像ソースから作成する方法
画像データをコンピュータ上で扱える様にするため、当該画像データをビットマップ・データに変換し、マウスやデジタイザ等による入力機器を用い、認識したい物体の領域を指定する。そして、さらに効率のよい認識処理のためにグレー・スケール（２５６レベル、８ｂｉｔ相当）または、輝度信号Ｙに変換する。ここで、同一画像認識の場合と類似が像認識の場合では、以下の通り処理が別れる；
【００１８】
▲１▼同一画像認識の場合、この領域の画像データをそのまま変換する。
【００１９】
▲２▼類似画像認識の場合、この領域の画像データを正規化して利用する。正規化の方法は、ｘ座標を３２点の画素に正規化し、ｙ座標をこれの縮尺に合わせ正規化する。ここで、正規化処理を説明したものが図２である。同図に示すように、まず、得られたビットマップ画像データ中から認識したい物体をマウスやデジタイザを用いて領域指定する。そして、指定領域の画像を正規化し、ビットマップ画像とする。
【００２０】
▲３▼上記▲１▼と▲２▼の処理後、ＲＧＢにより構成されるビットマップ・データをグレー・スケール（２５６レベル、８ｂｉｔ相当）または、輝度信号Ｙに変換し、認識処理の高速化を計る。これらの処理終了後、後段の物体認識エンジン部へ入力する。この変換式は図３に示す通りである。
【００２１】
（２）．マウスやデジタイザ等による手描き画像から作成する方法
コンピュータ上で、マウスやデジタイザ等による入力機器を用い、認識したい物体を描き、これを以下の通り処理し効率のよい画像認識を行う場合であり、以下の処理を行う。
【００２２】
▲１▼同一画像認識の場合、マウスやデジタイザで描画された画像データをそのまま利用する。
【００２３】
▲２▼類似画像認識の場合、この描画された画像データを正規化して利用する。正規化の方法は、ｘ座標を３２点の画素に正規化し、ｙ座標をこれの縮尺に合わせ正規化する。
【００２４】
▲３▼上記▲１▼と▲２▼の処理後、グレー・スケール（２５６レベル、８ｂｉｔ相当）または、輝度信号Ｙに変換し、これをさらに２ビット相当に量子化し効率のよい認識処理を行う。このようにして量子化するためのデータは図１０に示すような量子化テーブルとしてハードディスク装置のような記憶手段に記憶される。
【００２５】
これらの処理終了後、変換されたデータは、後段の物体認識エンジン部へ入力する。
【００２６】
図４は、マウスで「眼鏡」を描画し、この眼鏡を装着した人物を認識する場合の入力インターフェース部の処理例を示したものである。
【００２７】
このように、本実施例では、与えられた自然画像に対し、手描き画像を用いて認識を効果的に行うことができる。
【００２８】
ヒストグラムを用いた自然画像と手描き画像の典型的なモデルは、図１１（各ヒストグラムと処理の流れを示した図）の通りとなる。
【００２９】
たとえば、自然画像がガウス分布および白色ノイズ過程に帰結されるのに対し、手描き画像はそのキャンバス色（白色）とペン色（黒色）の２色程度の突出した分布を持つ。つまり、このままではその画像モデルが異なるため、後段の認識部で積算誤差が大きくなり、的確な認識処理が行われない。このため、２ビット相当の量子化器を用いて手描き画像データの正規化（つまり、ガウス分布に近付ける）を行うことで、後段の認識部で効果的に処理が可能となる。　実際の画像による処理の流れを図１２に示す。
図１２は、手描き画像データと自然画像でのヒストグラム分布の違いを示し、本処理により同一の分布モデルに近付けている例である。
また図１２には参考として、自然画像のデータから「目」の特長情報を消したヒストグラム分布も示した。　このヒストグラムと本処理後の手描き画像のヒストグラム分布の間に類似性が出てきている点を観察する事ができる。
【００３０】
（３）．認識テンプレート画像から、その画像変形による複数のテンプレート画像を作成する方法
【００３１】
この方法では、まず類似画像認識のための変形された複数のテンプレート画像を作成する。この変形された認識テンプレート画像も併用することにより、たとえば、物体正面画像と共に、横方向や上下方向から見た物体画像も認識可能となる
【００３２】
変形テンプレート画像作成は、基本となる認識テンプレート画像に対し上下方向と左右方向に対し行われる。これにより、同一の物体画像に対し上下左右から見た画像に対しても的確に認識処理を行うことが可能となる
【００３３】
認識用テンプレート画像を作成後に、類似物体画像（変形されたオブジェクトとしてモデル化）の認識も可能とするため以下の手順で認識用テンプレート画像を変形する。
【００３４】
ここでは、以下の一般的に用いられている式から、類似画像認識のための変形されたテンプレート画像を作成する。
ｘ　＝　（（　Ｘ　−　ｘ０　）　ＣＯＳθ　−　（　Ｙ　−　ｙ０　）　ＳＩＮθ　）　／　ａ　＋　ｘ０
ｙ　＝　（（　Ｘ　−　ｘ０　）　ＳＩＮθ　−　（　Ｙ　−　ｙ０　）　ＣＯＳθ　）　／　ｂ　＋　ｙ０
【００３５】
上式では、任意の画像上の点（ｘ０，　ｙ０）を中心にして横方向にａ倍、縦方向にｂ倍の拡大・縮小処理を行う。　また、中心点（ｘ０，　ｙ０）に対しθ回転も行うことができるが、縦横方向だけの処理の場合、θ＝０で演算を行う。ここで、座標（ｘ、ｙ）が拡大・縮小された画像位置であるが、これに対応するもとの画像位置（Ｘ、Ｙ）にある画素データを、そのまま拡大・縮小画素として利用する事ができる利点がある。
【００３６】
この変形された認識テンプレート画像も併用することにより、たとえば、物体正面画像と共に、横方向や上下方向から見た物体画像も認識可能となる；
【００３７】
図５は、変形画像テンプレート画像の作成方法を示す具体例である。
【００３８】
同図では、基になる画像テンプレート画像を縦に４分割、横に４分割してから、各分割領域の縮尺を変えることでそれぞれの変形画像テンプレート画像を作成している。このとき、プログラム上では基になる画像テンプレート画像の縮尺および、各変形方向に対する縮尺はテーブルとして可変可能とする。
【００３９】
このような、変形画像テンプレート画像を作成しておくことにより、たとえば、同一人物の顔画像が含まれている全ての画像ファイルを検索する場合、その人物の１画像を入力することにより、その人物が上下左右から写っている画像も検索可能となる。　これにより、検索するために複数のテンプレート画像を用意することなく、効率的な画像検索が可能となる。
【００４０】
実際のプログラム上では基になる画像テンプレート画像の縮尺および、各変形方向に対する縮尺はテーブルとして可変可能である。また、ブロックの分割数も可変となる。
これは、コンピュータのＣＰＵ性能向上速度が早く、また複数のＣＰＵを搭載したサーバ等も考慮されていることによる。実際の変形されたテンプレート画像例を図６に示す。同図では、基になる画像テンプレート画像を４分割し、それぞれの分割領域において縮尺率を変更している。すなわち、右図の場合、縮尺率は左側の領域から順番に、１．７５→１．２５→０．７５→０．２５となっている。このように変形させることにより、人物の正面からの顔写真画像しか与えられていなくても、当該人物が左方向または右方向に向いた顔の状態をテンプレート画像として用意することができる。
【００４１】
（物体画像認識エンジン部）
物体認識エンジン部は、認識画像中の物体を種々のアルゴリズムに基づいて認識する機能部である。物体認識のアルゴリズムについては種々の公知技術があるのでここでは説明を省略する。
（被認識画像入力部）
被認識画像入力部は、認識対象となる画像データを入力するインターフェース部であり、ビットマップ画像入力部と、画像変換部とで構成されている。これらの各構成部は図１で説明した認識用画像テンプレート画像作成部におけるビットマップ画像入力部と画像変換部と同様であるので説明を省略する。
【００４２】
次に、物体認識エンジンにおける検索方法について説明する。
物体認識エンジンは、認識画像テンプレート画像作成部からテンプレート画像データが、被認識画像入力部から被認識画像データが入力されると、この被認識画像データに対して物体認識のための検索処理を開始する。
【００４３】
具体的な物体認識のための絞り込み方法としては、第１に、認識用テンプレート画像により検索された結果に対し、さらに新たな認識テンプレート画像を用いて絞り込み検索を行う手法、第２に、一度に２つ以上の異なった認識テンプレート画像を用い、効率的な絞り込み検索を行う手法とがある。たとえば、眼鏡をかけている男性を認識する場合において、眼鏡が認識のための主要なオブジェクトとなり、男女を見分けることがむすかしい場合がある。この場合、眼鏡と鼻および口といった顔の特徴を表すオブジェクトを併用することにより的確な物体画像認識が可能となる。
【００４４】
以下、それぞれの手法について説明する。
（１）．認識用テンプレート画像により検索された結果に対し、さらに新たな認識テンプレート画像を用い絞りみ検索を行う手法
【００４５】
図１２および図１３に処理のフローチャートを示す。
【００４６】
本方法では、まず、最初に読み込んだテンプレート画像を用い、類似画像と認識される全てのファイルをリストアップする
【００４７】
次に、これらのリストアップされたファイル群に対し、別のテンプレート画像を用いることにより、絞り込み検索機能を実現する。
つまり、検索条件の論理和であり、（１項　ＡＮＤ　２項）の処理を行う。
【００４８】
また、図１３のフローチャートでは、何度でもＡＮＤ項（論理積）を追加できる処理になっている。
【００４９】
（２）．一度に２つ以上の異なった認識テンプレート画像を用い、効率的な絞り込み検索を行う手法。
【００５０】
図１４および図１５に処理のフローチャートを示す。
本方法は、一度に複数のテンプレート画像を用い、一括で絞り込み検索を行う手法であり、主に処理能力の高いＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｓｅｓｓｉｎｇ　Ｕｎｉｔ）およびマルチプロセッサ型サーバを動作プラットフォームとして想定している。
【００５１】
この方法では、最初にランダムに選択したテンプレート画像を基に、この物体画像にマッチングした画像に対し、残りのテンプレート画像とのマッチングを次々に行って行く。そして、全てのテンプレート画像に対しマッチングして被認識画像を検索結果として出力・表示するようになっている。
【００５２】
以上述べたように、本実施例によれば、画像ファイルに限らず、マウスやデジタイザ等の手書き画像からも認識用テンプレート画像を作成できる。また、認識テンプレート画像から複数の変形テンプレート画像を作成しておくことにより、物体の大きさや角度が異なっていたとしても、　指定された被認識画像から、この被認識画像と本来同じものと見える変形された物体をも認識することが可能となる。
【発明の効果】
本発明によれば、被認識画像中からより精度の高い物体の認識を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明のシステム構成を示す図
【図２】実施例においてビットマップ画像データに対して正規化処理行った場合の例を示す説明図
【図３】入力インターフェース部における画像変換の変換式
【図４】手書き描画に基づく処理を説明する図
【図５】変形画像テンプレート画像の作成方法を示す図
【図６】変形画像テンプレート画像の具体例を示す図
【図７】同一画像検索と類似画像検索におけるパラメータの適用関係を示す図
【図８】検索モード毎のテンプレートの適用関係を示す図
【図９】入力インターフェース部における量子化テーブルへの変換例を示す図
【図１０】手書き描画の類似検索におけるヒストグラムと処理の流れを示した図
【図１１】手書き描画の類似検索の概念を説明するための図
【図１２】実施例の処理手順を示す概念図（１）
【図１３】実施例の処理手順を示すフローチャート（１）
【図１４】実施例の処理手順を示す概念図（２）
【図１５】実施例の処理手順を示すフローチャート（２）

Claims

座標指示入力装置からの手書き画像データを入力し、
前記手書き画像データを正規化し、
前記で入力されたままの手書き画像データまたは前記で正規化された手書き画像データをグレースケール化または輝度信号化し、
前記グレースケール化信号または輝度信号を量子化したものをテンプレート画像とし、
前記テンプレート画像を別途入力された被認識画像と比較することにより物体認識を行う画像中の物体認識方法。
認識画像を読み込んで、類似物体認識のために当該認識画像を縦または横方向に分割し、前記分割領域毎に異なる縮尺率で認識画像を変換し、類似物体認識用の複数のテンプレート画像とし、
前記複数のテンプレート画像を別途入力された被認識画像と比較することにより物体認識を行う画像中の物体認識方法。
認識画像を読み込んで、類似物体認識のために、当該認識画像を以下の式に基づいて拡大または縮小処理を行い、
ｘ　＝　（（　Ｘ　−　ｘ０　）　ＣＯＳθ　−　（　Ｙ　−　ｙ０　）　ＳＩＮθ　）　／　ａ　＋　ｘ０
ｙ　＝　（（　Ｘ　−　ｘ０　）　ＳＩＮθ　−　（　Ｙ　−　ｙ０　）　ＣＯＳθ　）　／　ｂ　＋　ｙ０
（ただし、画像上の任意の点ｘ０，ｙ０を中心として横方向にａ倍、縦方向にｂ倍したものとする）
該拡大または縮小処理した類似物体認識用の複数のテンプレート画像を用意し、
前記複数のテンプレート画像を別途入力された被認識画像と比較することにより物体認識を行う画像中の物体認識方法。
第１のテンプレート画像と被認識画像とを比較して物体認識の候補を索出し、
さらに第２のテンプレート画像と前記被認識画像とを比較して絞り込み検索を行う画像中の物体認識方法。
少なくとも２以上のテンプレート画像と被認識画像とを比較して物体認識を行う画像中の物体認識方法。
被認識画像中の物体を認識するコンピュータ実行可能なプログラムであって、
座標指示入力装置からの手書き画像データを入力し、
前記手書き画像データを正規化し、
前記で入力されたままの手書き画像データまたは前記で正規化された手書き画像データをグレースケール化または輝度信号化し、
前記グレースケール化信号または輝度信号を量子化したものをテンプレート画像とし、
前記テンプレート画像を別途入力された被認識画像と比較することにより物体認識を行うコンピュータ実行可能なプログラム。
読み込まれた認識画像からテンプレート画像を生成し、当該テンプレート画像を別途入力された被認識画像と比較することにより被認識画像中の物体を認識するコンピュータ実行可能なプログラムであって、
認識画像を読み込むステップと、
前記認識画像を類似物体認識のために当該認識画像を縦または横方向に分割するステップと、
前記分割された認識画像の分割領域毎に異なる縮尺率で当該領域画像を変換するステップと、
前記分割領域毎に前記とは異なる縮尺率で当該領域画像を変換するステップと、
前記分割領域毎に縮尺率を変更した画像を２以上のテンプレート画像とし、
これらのテンプレート画像を別途入力された被認識画像と比較するステップとからなるコンピュータ実行可能なプログラム。
読み込まれた認識画像からテンプレート画像を生成し、当該テンプレート画像を別途入力された被認識画像と比較することにより被認識画像中の物体を認識するコンピュータ実行可能なプログラムであって、
前記認識画像を類似物体認識のために当該認識画像を縦または横方向に分割するステップと、
前記分割領域毎に以下の式に基づいて元画像の縮尺率を決定し、領域毎の画像変換を実行するステップと、
ｘ　＝　（（　Ｘ　−　ｘ０　）　ＣＯＳθ　−　（　Ｙ　−　ｙ０　）　ＳＩＮθ　）　／　ａ　＋　ｘ０
ｙ　＝　（（　Ｘ　−　ｘ０　）　ＳＩＮθ　−　（　Ｙ　−　ｙ０　）　ＣＯＳθ　）　／　ｂ　＋　ｙ０
（ただし、画像上の任意の点ｘ０，ｙ０を中心として横方向にａ倍、縦方向にｂ倍したものとする）
前記変換後の複数のテンプレート画像を生成するステップと、
前記複数のテンプレート画像を別途入力された被認識画像と比較するステップとからなるコンピュータ実行可能なプログラム。
読み込まれた認識画像からテンプレート画像を生成し、当該テンプレート画像を別途入力された被認識画像と比較することにより被認識画像中の物体を認識する物体認識装置であって、
認識画像を読み込む手段と、
前記認識画像を類似物体認識のために当該認識画像を縦または横方向に分割する手段と、
前記分割された認識画像の分割領域毎に異なる縮尺率で当該領域画像を変換する手段と、
前記分割領域毎に前記とは異なる縮尺率で当該領域画像を変換する手段と、
前記分割領域毎に縮尺率を変更した画像を２以上のテンプレート画像を生成する手段と、
これらのテンプレート画像を別途入力された被認識画像と比較する手段とからなる物体認識装置。
読み込まれた認識画像からテンプレート画像を生成し、当該テンプレート画像を別途入力された被認識画像と比較することにより被認識画像中の物体を認識するコンピュータ実行可能なプログラムであって、
認識画像を読み込むステップと、
前記認識画像を類似物体認識のために当該認識画像を縦または横方向に分割するステップと、
前記分割された認識画像の分割領域毎に異なる縮尺率で当該領域画像を変換するステップと、
前記分割領域毎に前記とは異なる縮尺率で当該領域画像を変換するステップと、
前記分割領域毎に縮尺率を変更した画像を２以上のテンプレート画像とし、
これらのテンプレート画像を別途入力された被認識画像と比較するステップとからなるプログラムを記憶したコンピュータ実行可能な媒体。