JP2007148820A - 画像処理方法、その装置およびプログラム - Google Patents

Abstract

【課題】画像内の特徴パターンの検出処理に伴う計算量を削減できる及びロバスト性を上げる画像処理方法を提供する。
【解決手段】探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索する。このとき、探索対象の画像から、単数または複数の特徴点を抽出する第１の工程と、前記第１の工程で抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する第２の工程とを有する。
【選択図】図４

Description

本発明は、画像内の特徴パターンを探索する画像処理方法、その装置およびプログラムに関する。

例えば、撮像画像内に存在する手の像の姿勢を検出するシステムがある。このようなシステムでは、例えば、撮像画像内を複数の矩形領域に分割し、各矩形領域毎に、当該矩形領域内に映し出された像のパターンと、予め用意した複数の姿勢の各々に対応したテンプレートパターン（特徴パターン）とを比較して、当該像内に映し出された手の像の姿勢を検出している。
Verri, A., Uras, C., Frosini, P., Ferri, M.. On the Use of Size Functions for Shape-Analysis. Biological Cybernetics, Vol.70(2), pp.99-107, 1993

しかしながら、上述した従来のシステムでは、例えば、テンプレートパターンの比較処理に伴う計算負荷が大きいという問題がある。そして、どうやってロバストに照合するかという問題もある。

本発明は上述した従来技術の問題点を解決するために、画像内の特徴パターンの検出処理に伴う計算量を削減できる及びロバスト性を上げる画像処理方法、その装置およびプログラムを提供することを目的とする。

上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理方法は、探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索する画像処理方法であって、前記探索対象の画像から、単数または複数の特徴点を抽出する第１の工程と、前記第１の工程で抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する第２の工程とを有する。

また、本発明の画像処理装置は、探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索する画像処理装置であって、前記探索対象の画像から、単数または複数の特徴点を抽出する抽出手段と、前記抽出手段が抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する探索手段とを有する。

また、本発明のプログラムは、探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索するコンピュータが実行するプログラムであって、前記探索対象の画像から、単数または複数の特徴点を抽出する第１の手順と、前記第１の手順で抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する第２の手順とを前記コンピュータに実行させる。

本発明によれば、画像内の特徴パターンの検出処理に伴う計算量を削減できる画像処理方法、その装置およびプログラムを提供することができる。

以下、本発明の実施形態に係わる画像処理装置について説明する。
先ず、本実施形態の構成要素と本発明の構成要素との対応関係を説明する。
本実施形態の探索ウィンドウＷが本発明の探索ウィンドウの一例である。また、画像データＳ１８の画像が本発明の第１の画像の一例であり、図５等に示す検出対象データＭの画像が本発明の第２の画像の一例である。また、図８に示すＳＦデータのＳＦ値が本発明の特徴点の一例である。また、式（１）〜（４）に示す関係が本発明の位置関係の一例である。また、本実施形態のテンプレートパターンが本発明の特徴パターンの一例である。
また、本発明の画像処理装置の各手段は、処理回路４３がプログラムに基づいて各ステップを実行することで実現される。

図１は、本発明の実施形態に係わる画像処理装置１０の全体構成図である。
図１に示すように、画像処理装置１０は、例えば、スキン・確率イメージ抽出部１４、スキン・セグメンテーション１６、演算部１８および姿勢検出部２０を有する。
カメラ１２の撮像結果に応じたオリジナル画像データＳ１２がスキン・確率イメージ抽出部１４およびスキン・セグメンテーション１６に出力される。

スキン・確率イメージ抽出部１４は、オリジナル画像データＳ１２からスキン確率イメージデータＳ１４を生成し、これを演算部１８に出力する。
スキン・確率イメージ抽出部１４は、例えば、オリジナル画像データＳ１２内の各画素データについて、それがスキン（人間の皮膚）に対応している確率（確率密度）を示す確率イメージデータＳ１４を生成する。このとき、スキン・確率イメージ抽出部１４は、例えば、予め色と確率とを対応付けテーブルを参照して、各画素データが示す色に基づいて上記確率を決定する。

スキン・セグメンテーション１６は、オリジナル画像データＳ１２のうちスキンの部分とスキン以外の部分とを区別したスキン・セグメンテーションデータＳ１６を生成する。
当該手法は、例えば、米国特許出願20020048401に記載されている手法を用いる。

演算部１８は、スキン・確率イメージ抽出部１４からの確率イメージデータＳ１４と、スキン・セグメンテーション１６からのスキン・セグメンテーションデータＳ１６とを乗じて（論理積を演算して）画像データＳ１８を生成する。

姿勢検出部２０は、演算部１８から入力した画像データＳ１８を基に、その画像内に映し出されている手の姿勢を検出する。本実施形態において、手の姿勢は、例えば、「グー」、「チョキ」、「パー」などの指の姿勢を含めた手全体の姿勢を意味する。

図２は、図１に示す姿勢検出部２０の構成図である。
図２に示すように、姿勢検出部２０は、例えば、インターフェース４１、メモリ４２および処理回路４３を有する。
インターフェース４１は、演算部１８から画像データＳ１８を入力する。
メモリ４２は、処理回路４３が実行するプログラムＰＲＧを記憶する。
また、メモリ４２は、予め直径が異なる複数の円パターンの探索ウィンドウＷに関する情報を記憶している。
処理回路４３は、メモリ４２から読み出したプログラムＰＲＧを実行して姿勢検出部２０全体の動作を制御する。

処理回路４３は、図３に示すように、上記複数の探索ウィンドウＷのうち、半径が最小のものから順に選択を行う。
そして、処理回路４３は、図３に示すように、選択した探索ウィンドウＷを用いて、画像データＳ１８に対応する画像をＺ方向に走査し、各走査位置において画像データＳ１８の画素データを用いて以下に示す演算を行う。
ここで、探索ウィンドウＷの半径の最適な範囲およびピッチは、視差マップデータなどを用いて予め決定される。

処理回路４３は、各走査位置で選択している探索ウィンドウＷにおいて、図４に示すように、角度θを０〜３６０°の範囲で所定のピッチ（例えば、１°）で順に選択する。
姿勢検出部２０は、上記選択した角度θにおいて、探索ウィンドウＷの中心から周辺に向けて画素データを累積し、角度θを所定角度ピッチで０〜３６０°の間で更新することで図５に示す検出対象データＭＦを生成する。
処理回路４３は、指と指以外の部分との凹凸を強調するフィルタ処理を上記検出対象データＭＦに施して検出対象データＦを生成する。
処理回路４３は、下記式（１）に示すフィルタ処理を検出対象データＭＦに施す。
下記式（１）において、「ｉ」はフィルタ対象位置（角度）を示し、ＭＦ（ｉ）は位置ｉにおける検出対象データＭＦの画素データを示す。ｆｗは探索ウィンドウＷ内の指画像の半分の幅に対応する角度を示している。また、Ｆ（ｉ）はフィルタ処理後の検出対象データＦの位置ｉにおける画素データを示している。

（数１）
Ｆ（ｉ）＝２ＭＦ（ｉ）−ＭＦ（ｉ−ｆｗ）−ＭＦ（ｉ＋ｆｗ）
…（１）

処理回路４３は、上記フィルタ処理後の検出対象データＦ内のピーク値ＰＶを指領域の中心位置として特定する。
また、処理回路４３は、図６に示すように、検出対象データＭＦ内の上記特定した中心位置から所定の範囲内の領域に対応するデータを指領域ＦＡの検出対象データＭＦ＿Ｆとして特定する。

処理回路４３は、上記指領域の検出対象データＭＦ＿ＦからＳＦ(Size Function)特徴を抽出する処理を行う。
具体的には、処理回路４３は、図７（Ａ）に示す検出対象データＭＦ＿Ｆの指の輪郭を示す線パターンＬＰに対して、図７（Ｂ），（Ｃ）に示すように、「ｙ＞ｘ」という条件でｘ，ｙの全組み合わせを考える。
そして、処理回路４３は、図７に示すように、線パターンＬＰのうち、ＭＦ＿Ｆ（ｉ）＝ｘより下の閉じた領域のうち、ＭＦ＿Ｆ（ｉ）＝ｙより下の閉じた領域においても独立している（水平、垂直方向で連結していない）領域の数を（ｘ，ｙ）のＳＦ値としてＳＦデータを生成する（図７（Ｄ），図８）。
次に、処理回路４３は、上記ＳＦデータ内において、不連続点が水平・垂直方向に広がる点をＡＰ(Angular Point)点（ＡＰｉ（ｘ，ｙ））として特定する。当該ＡＰ点がＳＦ特徴である。
このＡＰ点は、ＳＦデータの全情報を含んでいる。また、ＡＰｉ（ｘ，ｙ）の数は、任意であるが、本実施形態では、例えば、「４」を想定する。

処理回路４３は、ＡＰｉ（ｘ，ｙ）を、そのとき用いた探索ウィンドウＷの半径ｒによって正規化してＡＰｉ（ｘ／ｒ，ｙ／ｒ）を生成する。
これにより、探索ウィンドウＷのサイズに依存しないＡＰｉ（ｘ／ｒ，ｙ／ｒ）を生成できる。これにより、同じ動作をカメラ１２を近づけて撮像した場合と遠ざけて撮像した場合とで同じＡＰｉ（ｘ／ｒ，ｙ／ｒ）が得られる。
なお、最大値を用いる方法では、カーブの鋭いトーンが正規化されたＳＦ特徴に大きな変化を生じさせ、ＳＦ特徴が非常に不安定になる。半径を用いることにより、より安定化し、実際の環境に対するロバスト性を高めることができる。

処理回路４３は、対象画像について上記生成した単数または複数のＡＰｉ（ｘ／ｒ，ｙ／ｒ）と、予め用意したテンプレートパターンのＡＰ点とを１対１対応でマッチング処理を行う。
以下、Ｎ個のＡＰｉ（ｘ／ｒ，ｙ／ｒ）として集合｛ｂ_１，ｂ_２，．．．ｂ_Ｎ｝が得られ、Ｍ個のＡＰ点のテンプレートパターンとして集合｛ａ_１，ａ_２，．．．ａ_Ｍ｝が規定されている場合を考える。
ここで、下記式（２）の行列Ｍを定義する。行列ＭはＭ×Ｎの距離マトリックスである。下記式（２）において、ｄ（ａ，ｂ）はＡＰ点であるａとｂとの距離である。また、ｄ_ｎ（ａ）は、点ａとＮＵＬＬ点との間の距離を示す。

上記式（２）において、Ｎ＞Ｍの場合は、ｙ／ｘの順番でＭ個しか残らない。

処理回路４３は、上記式（２）を基に、下記式（３）により、ｍｉｎＤ（Ｍ）を生成する。

上記式（３）において、Ｍ_ｉ１は、上記式（２）のＭから、ｉ行目と１列目とを取り除いた（Ｍ−１）×（Ｎ−１）行列である。

処理回路４３は、上記式（２），（３）に示すｄ（ａ，ｂ）およびｄ_ｎ（ａ）を、それぞれ下記式（４），（５）に示すように演算する。これらの演算は、例えば、絶対値、ユークリッド幾何などを用いて行う。本実施形態では、２つのＡＰ点の各々が２次元ガウス分布であることを前提とするマハラノビス距離を用いる。
式（４），（５）において、（ｘ _ａ ，ｙ _ａ ）はトレーニングしたガウス分布aのxとyの平均値を示し、（ｘ _ｂ ，ｙ _ｂ ）はＡＰ点ｂの（ｘ、ｙ）を示す。また、σ _ｘa 、σ _ｙa は、それぞれガウス分布aの分散を示す。
テンプレートを検討する手順では、Ｋ法クラスタリングを用いて、ＡＰ点のＭガウス分布をを検討する。本実施形態では、親指を考慮せずに、Ｍ＝４として処理を行う。

ｄ_ｎ（ａ）の定義は、ＡＰ点の物理的意味による。これは、処理対象の探索ウィンドウＷに指画像が存在する場合としない場合との相違を示すためのものである。

すなわち、上記式（３）は以下のことを意味する。
処理回路４３は、複数のテンプレートパターンのうち選択した一つのテンプレートパターンのＭ（Ｍは自然数）個の参照特徴点の集合｛ａ_１，ａ_２，．．．ａ_Ｍ｝のなかから未選択の一つを選択する。
そして、処理回路４３は、上記選択した参照特徴点と、上記Ｎ個の特徴点の集合｛ｂ_１，ｂ_２，．．．ｂ_Ｎ｝の予め決められた一つ「ｂ_１」との第１の距離を計算する。
次に、処理回路４３は、上記Ｍ個の参照特徴点のうち、上記選択した参照特徴点以外の特徴点と、上記Ｎ個の特徴点の集合｛ｂ_１，ｂ_２，．．．ｂ_Ｎ｝のうち上記予め決められた一つ以外の特徴点との距離のうち最小の第２の距離を計算する。
次に、処理回路４３は、上記Ｍ個の参照特徴点について、上記第１の距離と上記第２の距離との和を計算し、その和のうち最小のものを上記選択したテンプレートパターンの距離とし、当該距離に応じて当該テンプレートパターンＴＰ（ｋ）の確率Ｐｒ（ｋ）を算出する。

ところで、上記行列Ｍの各要素の重要度が異なる場合がある。従って、各要素の重み付けを決めてもよい。すなわち、ベクトルｗ＝（ｗ_１，ｗ_２，．．．，ｗ_Ｍ）を、ｗ_１〜ｗ_Ｍの総和が１となるように決定する。そして、これらをｄ（ａ，ｂ）およびｄ_ｎ（ａ）の対応する値に乗じる。

姿勢検出部２０は、上記生成した行列Ｍ_ｉ１からｍｉｎＤ（Ｍ_ｉ１）を特定する。
ここで、ｍｉｎＤ（Ｍ_ｉ１）は、行列Ｍ_ｉ１の各要素が示す距離のうち、最小の距離を示す。
姿勢検出部２０は、上記複数のテンプレートのうち、上記式（３）において、ｍｉｎＤ（Ｍ）を最小にするテンプレートを特定する。

［画像処理装置１の全体動作例］
図９は、画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ１：
図２に示す処理回路４３は、メモリ４２に記憶している情報に基づいて、予め決めた異なる複数の半径の円パターンの探索ウィンドウＷのなかで未選択の探索ウィンドウＷのうち、半径が最小のものを選択する。

ステップＳＴ２：
処理回路４３は、図３に示すＺパターン上の位置を選択する。このとき、処理回路４３は、演算部１８から入力した画像データＳ１８を、それに対応する画像の左上から右下に向けてＺパターンに沿って順に位置を選択する。

ステップＳＴ３：
処理回路４３は、ステップＳＴ２で選択した位置において、ステップＳＴ１で選択した半径の探索ウィンドウＷにおいて、図４に示すように、角度θを０〜３６０°の範囲で所定のピッチ（例えば、１°）で順に選択する。
処理回路４３は、上記選択した角度θにおいて、探索ウィンドウＷの中心から周辺に向けて画素データを累積し、角度θを所定角度ピッチで０〜３６０°の間で更新することで図５に示す検出対象データＭＦを生成する。

ステップＳＴ４：
処理回路４３は、上記ステップＳＴ３で生成した検出対象データＭＦに対して、指と指以外の部分との凹凸を強調するフィルタ処理を施して検出対象データＦを生成する。

ステップＳＴ５：
処理回路４３は、ステップＳＴ４で生成した上記フィルタ処理後の検出対象データＦ内のピーク値ＰＶを指領域の中心位置として特定する。
そして、処理回路４３は、図６に示すように、検出対象データＭＦ内の上記特定した中心位置から所定の範囲内の領域に対応するデータを指領域ＦＡの検出対象データＭＦ＿Ｆとして特定する。

ステップＳＴ６：
処理回路４３は、ステップＳＴ５で特定した上記指領域の検出対象データＭＦ＿ＦからＳＦ(Size Function)特徴を抽出する処理を行う。
すなわち、処理回路４３は、図７を用いて説明したように、検出対象データＭＦ＿ＦからＳＦデータを生成する。
次に、処理回路４３は、上記ＳＦデータ内において、不連続点が水平・垂直方向に広がる点をＡＰ(Angular Point)点（ＡＰｉ（ｘ，ｙ））として特定する。当該ＡＰ点がＳＦ特徴である。

ステップＳＴ７：
処理回路４３は、ステップＳＴ６で生成したＡＰｉ（ｘ，ｙ）を、そのとき用いた探索ウィンドウＷの半径ｒによって正規化してＡＰｉ（ｘ／ｒ，ｙ／ｒ）を生成する。

ステップＳＴ８：
処理回路４３は、対象画像内の選択した探索ウィンドウＷの選択した位置についてステップＳＴ７で生成した単数または複数のＡＰｉ（ｘ／ｒ，ｙ／ｒ）と、予め用意した複数のテンプレートパターンのＡＰ点とを１対１対応でマッチング処理を行う。当該１対１対応のマッチング処理の手順を図１０に示す。
そして、処理回路４３は、選択した探索ウィンドウＷの選択した位置において、複数のテンプレートパターンＴＰ（ｋ）の各々に対応する画像が存在する確率Ｐｒ（ｋ）をそれぞれ算出する。ここで、ｋは、１〜Ｋ（２以上の整数）の整数である。

ステップＳＴ９：
処理回路４３は、対象画像内の選択した探索ウィンドウＷの選択した位置に、Ｋ個のテンプレートパターンのうち、Ｐｒ（ｋ）が最高値のテンプレートパターンに対応した手の像があると判断する。なお、このとき、当該最高値のＰｒ（ｋ）が所定のしきい値を超えていることを条件に、上記手の像があると判断してもよい。

ステップＳＴ１０：
処理回路４３は、選択したサイズの探索ウィンドウＷにおいて、図３に示すＺパターン上の全ての走査位置においてステップＳＴ３〜ＳＴ９の処理を行ったか否かを判断し、行っていないと判断するとステップＳＴ２に戻り、行ったと判断するとステップＳＴ１１に進む。

ステップＳＴ１１：
処理回路４３は、探索ウィンドウＷの全てのサイズについてステップＳＴ２〜ＳＴ１０の処理を行ったか否かを判断し、行っていないと判断するとステップＳＴ１に戻り、行ったと判断すると処理を終了する。

［１対１対応のマッチング処理の動作例］
図１０は、図９に示すステップＳＴ８において処理回路４３が行うステップＳＴ７で生成した単数または複数のＡＰｉ（ｘ／ｒ，ｙ／ｒ）と、予め用意したテンプレートパターンのＡＰ点とを１対１対応でのマッチング処理を説明するためのフローチャートである。
処理回路４３は、複数のテンプレートパターンの各々について図１０に示す処理を行う。
本動作例においても、選択した探索ウィンドウＷの選択した走査位置において、Ｎ個のＡＰｉ（ｘ／ｒ，ｙ／ｒ）として集合｛ｂ_１，ｂ_２，．．．ｂ_Ｎ｝が得られ、Ｍ個のＡＰ点のテンプレートパターンとして集合｛ａ_１，ａ_２，．．．ａ_Ｍ｝が規定されている場合を考える。

ステップＳＴ１１：
処理回路４３は、変数ｉに初期値「１」を代入する。

ステップＳＴ１２：
処理回路４３は、上記式（１）のＭ×Ｎの行列Ｍを基に、ｉ行目と１列目とを取り除いた（Ｍ−１）×（Ｎ−１）行列である行列Ｍ_ｉ１を生成する。

ステップＳＴ１３：
処理回路４３は、ステップＳＴ１２で生成した行列Ｍ_ｉ１からｍｉｎＤ（Ｍ_ｉ１）を特定する。

ステップＳＴ１４：
処理回路４３は、「ｄ（ａ_ｉ，ｂ_１）＋ｍｉｎＤ（Ｍ_ｊ１）」を計算する。

ステップＳＴ１５：
処理回路４３は、「ｉ＝Ｍ」の条件を満たすか否かを判断し、満たすと判断するとステップＳＴ１７に進み、そうでない場合にはステップＳＴ１６に進む。

ステップＳＴ１６：
処理回路４３は、ｉを「１」だけインクリメントする。

ステップＳＴ１７：
処理回路４３は、１〜Ｍの各々のｉについてステップＳＴ１４で計算した「ｄ（ａ_ｉ，ｂ_１）＋ｍｉｎＤ（Ｍ_ｊ１）」のうち、最小のものをｍｉｎＤ（Ｍ）として特定する。

ステップＳＴ１８：
処理回路４３は、選択した探索ウィンドウＷの選択した走査位置に映し出された指の像が、ステップＳＴ１７で特定した最小のｍｉｎＤ（Ｍ）の生成に用いた変数ｉ（ｉ＝ｋとする）のテンプレートパターンに対応した姿勢であると判断する。
また、処理回路４３は、いろいろな手の姿勢のモデルに対して上記の処理で計算した距離minD(M)をD(k)で示す（kはテンプレートモデルの番号である）、下記式（６）により、選択した探索ウィンドウＷの選択した走査位置に映し出された指の像が、テンプレートパターンＴＰ（ｋ）である確率Ｐｒ（ｋ）を算出する。

（数６）
Ｐｒ（ｋ）＝ｅｘｐ（−Ｄ（ｋ）／２）
…（６）

以上説明したように、画像処理装置１０によれば、上述したように、探索ウィンドウＷ内の像とテンプレートパターンとのマッチング処理を、ＳＦデータを基に行うため、従来に比べて、計算量を大幅に削減できる。
また、画像処理装置１０によれば、上述したように、式（２）〜（５）に基づいて、各テンプレートパターンの確率を算出するため、例えば、下記式（７）によりＳＦデータの差異を示す距離Ｄを計算する場合に比べて演算量を大幅に削減できる。

…（７）

また、画像処理装置１０によれば、姿勢検出部２０は、各走査位置で選択している探索ウィンドウＷにおいて、図４に示すように、角度θを０〜３６０°の範囲で所定のピッチ（例えば、１°）で順に選択する。そして、姿勢検出部２０は、上記選択した角度θにおいて、探索ウィンドウＷの中心から周辺に向けて画素データを累積し、角度θを所定角度ピッチで０〜３６０°の間で更新することで図５に示す検出対象データＭＦを生成する。
これにより、中心から半径方向に延びる指で構成される手などの像の特徴を強調することができ、後に生成されるＳＦデータを手の姿勢を強調したものにできる。これにより、手の姿勢の検出精度を高めることができる。

また、画像処理装置１０によれば、上述したように、異なる複数の半径の円形パターンである探索ウィンドウＷを用いることで、広い範囲の手の像の大きさに適切に対応でき、手の姿勢の検出精度を高めることができる。また、この場合に、図９に示すステップＳＴ７で説明したように探索ウィンドウＷの半径ｒを基にＡＰｉ（ｘ，ｙ）を正規化することで、異なる半径の探索ウィンドウＷの間でステップＳＴ８、ＳＴ９の処理を共通化できる。

また、画像処理装置１０によれば、確率イメージデータＳ１４とスキン・セグメンテーションデータＳ１６とを乗じて生成した画像データＳ１８を対象に特徴パターンを検出するため、何れか一方のみを用いる場合に比べて手の姿勢を高精度に検出できる。

本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、上述した実施形態では、本発明の特徴パターンとして手（指）の姿勢を例示したが、特徴パターンは特に限定されず、例えば、顔の向きやその他のパターンでもよい。
また、上述した処理回路４３の処理の一部を専用のハードウェアを用いて実行してもよい。

図１は、本発明の実施形態に係わる画像処理装置の全体構成図である。 図２は、図１に示す姿勢検出部の構成図である。 図３は、図２に示す姿勢検出部において、画像を走査するパターンを説明するための図である。 図４は、図２に示す姿勢検出部において、各走査位置においてウィンドウ内の画像を走査するパターンを説明するための図である。 図５は、図２に示す姿勢検出部が生成する検出対象データＭＦ＿Ｆを説明するための図である。 図６は、図５に示す検出対象データＭＦ＿Ｆから手領域を抽出する処理を説明するための図である。 図７は、検出対象データＭＦ＿ＦからＳＦデータを生成する手順を説明するための図である。 図８は、検出対象データＭＦ＿ＦからＳＦデータを生成する手順を説明するための図である。 図９は、本発明の実施形態の画像処理装置の全体動作例を説明するためのフローチャートである。 図１０は、図９に示すステップＳＴ８において処理回路が行う１対１対応でのマッチング処理を説明するためのフローチャートである。

符号の説明

１０…画像処理装置、１２…カメラ、１４…スキン・確率イメージ抽出部、１６…スキン・セグメンテーション、２０…姿勢検出部、４１…インターフェース、４２…メモリ、４３…処理回路

Claims (9)

1. 探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索する画像処理方法であって、
   前記探索対象の画像から、単数または複数の特徴点を抽出する第１の工程と、
   前記第１の工程で抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する第２の工程と
   を有する画像処理方法。
2. 複数の特徴パターンの各々について、それぞれ複数の参照特徴点を予め規定している場合に、
   前記第２の工程は、前記複数の特徴パターンを順に選択し、前記第１の工程で抽出した特徴点の各々について、前記選択した特徴パターンに規定された前記複数の参照特徴点との距離とを算出し、そのなかで最小の距離に応じて、前記選択した特徴パターンである確率を算出し、
   前記複数の特徴パターンのうち、前記算出した確率が最高の特徴パターンを特定する
   請求項１に記載の画像処理方法。
3. 前記複数の特徴パターンのうち選択した一つの特徴パターンのＭ（Ｍは自然数）個の参照特徴点のなかから未選択の一つを選択する第３の工程と、
   前記選択した参照特徴点と、前記第１の工程で抽出した特徴点の予め決められた一つとの距離を計算する第４の工程と、
   前記Ｍ個の参照特徴点のうち前記第３の工程で選択した参照特徴点以外の特徴点と、前記第１の工程で抽出した特徴点のち前記予め決められた一つ以外の特徴点との距離のうち最小の距離を計算する第５の工程と、
   前記Ｍ個の参照特徴点について、前記第４の工程で計算した距離と前記第５の工程で計算した距離との和を計算し、その和のうち最小のものを前記選択した特徴パターンの距離とし、当該距離に応じて当該特徴パターンの確率を算出する第６の工程と
   を有する請求項２に記載の画像処理方法。
4. 前記探索対象の第１の画像を円形パターンの前記探索ウィンドウで走査し、各走査位置において前記探索ウィンドウの中心位置から周縁位置に向けて半径方向に沿って走査を行って画素値を累積し、半径方向に走査する角度を順に更新して前記探索ウィンドウ全域を走査して第２の画像を生成する第７の工程
   をさらに有し、
   前記第２の工程は、各走査位置について前記第７の工程で生成した前記第２の画像から、単数または複数の特徴点を抽出する
   請求項１に記載の画像処理方法。
5. 前記第７の工程は、前記探索対象の第１の画像上で前記探索ウィンドウをＺパターンで移動させて走査を行う
   請求項４に記載の画像処理方法。
6. 前記第７の工程は、各走査位置において、異なる半径の複数の円形パターンの前記探索ウィンドウを各々用いて複数の前記第２の画像を生成する
   請求項４に記載の画像処理方法。
7. 前記第７の工程で生成した前記第２の画像から指画像を抽出する第８の工程
   をさらに有し、
   前記第１の工程は、前記第８の工程で抽出した前記指画像から、前記特徴点を抽出する
   請求項４に記載の画像処理方法。
8. 探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索する画像処理装置であって、
   前記探索対象の画像から、単数または複数の特徴点を抽出する抽出手段と、
   前記抽出手段が抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する探索手段と
   を有する画像処理装置。
9. 探索対象の画像を走査して探索対象の画像内の所定の特徴パターンを探索するコンピュータが実行するプログラムであって、
   前記探索対象の画像から、単数または複数の特徴点を抽出する第１の手順と、
   前記第１の手順で抽出した特徴点の各々と、前記所定の特徴パターンに対して予め決められた参照特徴点との位置関係に基づいて、前記特徴パターンを探索する第２の手順と
   を前記コンピュータに実行させるプログラム。

Images