JP2016143077A - 指先位置推定装置、指先位置推定方法、及び、プログラム - Google Patents

Abstract

【課題】ネイルをしている指先の位置を推定することを可能とする指先位置推定装置、指先位置推定方法、及び、プログラムを提供する。【解決手段】指先位置特定部１３Ｂは、手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定する。領域面積算出部１３Ｃは、第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、画像の背景とは異なる領域の面積を算出する。先端位置推定部１３Ｅは、面積が所定の閾値より大きい場合に、第１の指先位置より指先が指し示す方向に離れた位置にある第２の指先位置（ネイル先端の位置）を推定する。【選択図】図２

Description

本発明は、指先位置推定装置、指先位置推定方法、及び、プログラムに関する。

近年、現実の物体にプロジェクタなどを用いて仮想画像を投影し、現実の物体に関連付けられた注釈やメニューなどを提示する拡張現実技術の研究開発が盛んに行われている。

また、近年、パーソナルコンピュータやスマートフォンなどの情報端末装置の使いやすさを向上させるために、人間にとってより自然で、より直感的な動作による操作を可能とするナチュラルユーザインターフェースの研究開発が盛んに行われている。例えば、手のジェスチャー操作による画面操作や音声対話が実用化され、キーボード、マウス、タッチパネルに代わる新しいユーザインターフェースとして活用され始めている。

また、よりリアルなユーザインターフェースを実現する試みとして、実物に触る、動かすなどの動作を用いることも提案されている。例えば、手指やその他の道具を利用して、プロジェクタなどにより投影表示された表示物を直接制御しているように扱うユーザインターフェース技術が実現されている。

手指を利用して、表示物を直接制御しているように扱うユーザインターフェース技術などでは、撮像素子により撮像された画像から手指の領域（以下、手指領域という）を検出することで、手指の認識が行われている。手指領域を検出する技術として、例えば、撮像された画像から肌色領域を抽出し、抽出した形状の特徴に基づいて、手指領域を検出する方法が知られている（例えば、特許文献１）。

特許文献１で提案されている方法では、撮像された画像をＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）表色系の画像（以下、ＨＳＶ画像という）に変換し、肌色抽出及び二値化処理を行うことで、手指領域の検出を行うものである。

肌色抽出は、ＨＳＶ表色系において定義された肌色領域に含まれる画素を肌色として抽出する。しかしながら、爪に着色や付け爪などの装飾を施している場合には、爪領域の色分布が肌色領域から外れてしまうことがある。そのため、爪先までの手指領域の正確な検出が困難となってしまう。以下、着色や付け爪などの装飾を施している爪を、ネイルを施している爪と称することとする。

手指を利用して、表示物を直接制御しているように扱うユーザインターフェース技術では、指先位置にしたがって表示物を制御することから、指先位置の正確な検出は非常に重要である。

これに対して、ネイルを施している爪の色分布を包含するように、手指領域として検出する色領域を調整する方法が提案されている（例えば、特許文献２又は３）。しかしながら、色領域を調整する方法では、ネイルの色は多種多様であることから、必ずしもネイル先端までの手指領域を検出できるとは限らない。また、ネイルをしている爪の色分布を包含するように色領域を広げるため、背景を手指領域として誤検出してしまう可能性が増大してしまう。

特開２００３−３４６１６２号公報 特開２００２−２０９０８２号公報 特開２００９−２６５８０９号公報

一つの側面では、本発明は、ネイルをしている指先の位置を推定することを可能とする指先位置推定装置、指先位置推定方法、及び、プログラムを提供することを課題とする。

一態様における指先位置推定装置は、手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定する第１特定手段と、第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、画像の背景とは異なる領域の面積を算出する第１算出手段と、面積が所定の閾値より大きい場合に、第１の指先位置より指先が指し示す方向に離れた位置にある第２の指先位置を推定する推定手段と、を備えることを特徴としている。

一態様における指先位置推定方法は、画像に含まれる手指の指先位置を推定する指先位置推定装置の指先位置推定方法であって、手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定し、第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、画像の背景とは異なる領域の面積を算出し、面積が所定の閾値より大きい場合に、第１の指先位置より指先が指し示す方向に離れた位置にある第２の指先位置を推定する、ことを特徴としている。

一態様におけるプログラムは、画像に含まれる手指の指先位置を推定する指先位置推定装置のコンピュータに、手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定し、第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、画像の背景とは異なる領域の面積を算出し、面積が所定の閾値より大きい場合に、第１の指先位置より指先が指し示す方向に離れた位置にある第２の指先位置を推定する、処理を実行させることを特徴としている。

一つの側面では、ネイルをしている指先の位置を推定することが可能となる。

実施形態におけるインターフェースシステムの構成例を示す図である。 実施形態における情報処理装置の構成例を示す機能ブロック図である。 ＡとＢは、いずれも、肌色定義領域について説明するための図である。 ＡとＢは、いずれも、ネイルをしていない場合の指先位置について説明するための図である。 ＡとＢは、いずれも、ネイルをしている場合の指先位置について説明するための図である。 実施形態におけるネイルウィンドウについて説明するための図である。 二値化し、ノイズ除去した後のネイルウィンドウ画像の例を示す図である。 傾き角度について説明するための図である。 回転角度について説明するための図である。 直線ＣＬと、手指の重心と指先位置とを結ぶ直線がなす角の角度について説明するための図である。 実施形態における指先追跡処理のフローを説明するためのフローチャートの例である。 実施形態におけるオフセット値算出処理のフローを説明するためのフローチャートの例である。 実施形態における指先検出処理のフローを説明するためのフローチャートの例である。 実施形態における情報処理装置のハードウェア構成の例を示す図である。

以下に本発明の実施の形態について図面を参照しながら詳細に説明する。
図１は、本実施形態におけるインターフェースシステム１００の構成例を示す図である。インターフェースシステム１００は、作業台ＰＬ上に画像を投影表示するプロジェクタ２０と、作業台ＰＬ上の投影表示を撮像するカメラ３０と、プロジェクタ２０とカメラ３０とが接続されている情報処理装置１０とを含んでいる。なお、手指の三次元位置情報を必要とする場合には、インターフェースシステム１００が２台のカメラ３０を備えるようにし、２台のカメラ３０がほぼ同じ場所をステレオで撮像するようにすればよい。

図２は、本実施形態における情報処理装置１０の構成例を示す機能ブロック図である。本実施形態における情報処理装置１０は、接続されているカメラ３０により撮像された画像ＩＭＧに基づいて、投影表示に対する手指の位置やタッチなどの操作を検出するインターフェース装置である。また、本実施形態における情報処理装置１０は、接続されているカメラ３０により撮像された画像ＩＭＧに基づいて、ユーザの爪にネイルＮが施されている場合に、ネイル先端の位置を推定する指先位置推定装置でもある。本実施形態における情報処理装置１０は、図２に示すように、入力部１１と、記憶部１２と、制御部１３と、を備えている。

入力部１１は、例えば、カメラインターフェース、あるいは、通信モジュールなどを備えており、接続されている撮像装置（本実施形態においては、カメラ３０）から投影表示が撮像された画像ＩＭＧを順次受け付ける。そして、入力部１１は、受け付けた画像ＩＭＧをフレームメモリ（不図示）に一時的に格納する。フレームメモリに格納された画像ＩＭＧは、画像取得部１３Ａ（詳しくは後述）により、処理のタイミングに合わせて順次取得される。なお、画像ＩＭＧの入力のタイミングと取得のタイミングを同期させるようにしてもよい。

記憶部１２は、例えば、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）などを備えている。記憶部１２は、制御部１３が備える、例えば、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）のワークエリア、情報処理装置１０全体を制御するための動作プログラムなどの各種プログラムを格納するプログラムエリア、手指がない状態の投影表示を撮像した背景画像などの各種データを格納するデータエリアとして機能する。

制御部１３は、例えば、ＣＰＵなどを備えており、記憶部１２のプログラムエリアに格納されている動作プログラムを実行して、図２に示すように、画像取得部１３Ａと、指先位置特定部１３Ｂと、領域面積算出部１３Ｃと、オフセット値算出部１３Ｄと、先端位置推定部１３Ｅとしての機能を実現する。また、制御部１３は、動作プログラムを実行して、情報処理装置１０全体を制御する制御処理や詳しくは後述の指先追跡処理などの処理を実行する。

画像取得部１３Ａは、入力部１１に順次入力される画像ＩＭＧを、処理のタイミングに合わせて順次取得する。

指先位置特定部１３Ｂは、画像処理部１３Ａにより取得された画像ＩＭＧの手指領域を抽出し、指先位置ＦＴを特定する。より具体的には、指先位置特定部１３Ｂは、画像ＩＭＧの色情報がＨＳＶ表色系以外の表色系で定義されている場合には、画像ＩＭＧをＨＳＶ画像ＩＭＧに変換する。ＨＳＶ画像ＩＭＧへの変換は、一般的な変換式を用いることで可能である。

そして、指先位置特定部１３Ｂは、ＨＳＶ表色系において定義されている肌色定義領域ＦＣに基づいて、ＨＳＶ画像ＩＭＧの肌色領域を抽出する。より具体的には、指先位置特定部１３Ｂは、画素の色が肌色定義領域ＦＣに含まれるか否かをそれぞれ判定し、画素の色が肌色定義領域ＦＣに含まれる場合には、当該画素を肌色領域の画素として抽出する。

図３Ａと図３Ｂは、いずれも、肌色定義領域ＦＣについて説明するための図である。肌色定義領域ＦＣは、図３に示すように、色相（Ｈ）と彩度（Ｓ）と明度（Ｖ）のそれぞれに対して下限閾値と上限閾値とを設定することで、肌色（手指の色）として抽出する色の領域を定義したものである。つまり、肌色定義領域ＦＣは、以下の式１にしたがって、定義されている。

肌色定義領域ＦＣの一例として、Ｈｍｉｎ＝２５、Ｈｍａｘ＝１７５、Ｓｍｉｎ＝４５、Ｓｍａｘ＝２００、Ｖｍｉｎ＝４５、Ｖｍａｘ＝２５５と定義することができる。このように、肌色定義領域ＦＣは、爪にネイルＮが施されている場合を考慮することなく、肌色を抽出するように定義されている。

そして、指先位置特定部１３Ｂは、例えば、肌色定義領域ＦＣに含まれる画素に対して、“１（白）”を設定し、肌色定義領域ＦＣに含まれない画素に対して、“０（黒）‘を設定することで、ＨＳＶ画像ＩＭＧを二値化する。このようにして、指先位置特定部１３Ｂは、入力された画像ＩＭＧから手指領域を抽出する。以下、二値化された画像ＩＭＧを二値化画像ＩＭＧと称することとする。

そして、指先位置特定部１３Ｂは、抽出した手指領域の形状に基づいて、指先位置ＦＴを特定する。より具体的には、指先位置特定部１３Ｂは、例えば、抽出した手指領域の特徴点を抽出し、二値化画像ＩＭＧにおける各特徴点に対応する画素の座標（ｘ，ｙ）を取得する。この際、指先位置特定部１３Ｂは、指の先端形状モデルと、抽出した手指領域の形状とをパターンマッチングすることで、指先位置ＦＴの画素の座標（ｘ、ｙ）を取得する。

手指領域を抽出するための肌色定義領域ＦＣは、上述したように、爪にネイルＮが施されている場合を考慮していないため、手指位置特定部１３Ｂにより特定された指先位置ＦＴは、爪にネイルＮが施されている場合には、実際の指先位置ＦＴと異なってしまうことがある。図４Ａと図４Ｂは、いずれも、ネイルＮをしていない場合の指先位置ＦＴについて説明するための図である。図５Ａと図５Ｂは、いずれも、ネイルＮをしている場合の指先位置ＦＴについて説明するための図である。

図４Ａに示すように、ユーザの爪にネイルＮが施されていない場合には、指先位置特定部１３Ｂは、図４Ｂに示すように、爪の先端を指先位置ＦＴとして特定することができる。一方、図５Ａに示すように、ユーザの爪にネイルＮが施されている場合には、指先位置特定部１３Ｂは、図５Ｂに示すように、ネイルＮにおける指の付け根側の端（下端）を指先位置ＦＴとして特定する。

図２に戻り、領域面積算出部１３Ｃは、ネイルＮの領域の面積を算出する。より具体的には、領域面積算出部１３Ｃは、ＨＳＶ画像ＩＭＧに対して、図６に示すような所定サイズのネイルウィンドウＮＷを設定し、ネイルウィンドウＮＷ内の画像を切り出して、ネイルウィンドウ画像ＮＩＭＧを生成する。そして、領域面積算出部１３Ｃは、記憶部１２のデータエリアに格納されている背景画像における、ＨＳＶ画像ＩＭＧに設定されたネイルウィンドウＮＷに対応する領域の画像と、ネイルウィンドウ画像ＮＩＭＧとの差分画像ＮＩＭＧを生成する。そして、領域面積算出部１３Ｃは、差分画像ＮＩＭＧを二値化し、更に、例えば、オープニング・クロージング処理によりノイズを除去する。この際、領域面積算出部１３Ｃは、例えば、差分部分の領域の画素に“１（白）”を設定し、背景と同じ領域の画素に“０（黒）”を設定することで、二値化を行う。

そして、領域面積算出部１３Ｃは、ノイズ除去後の二値化画像ＮＩＭＧの“１（白）”の画素の領域の面積を算出することにより、ネイルＮの領域の面積を算出する。ネイルＮの領域の面積は、“１（白）”の画素数を求めることで算出することができる。

図６は、本実施形態におけるネイルウィンドウＮＷについて説明するための図である。ネイルウィンドウＮＷは、図６に示すように、指先位置特定部１３Ｂにより特定された指先位置ＦＴを通る、指（人差し指）が指し示す方向を表す直線ＣＬがネイルウィンドウＮＷを左右に２等分し、下端が指先位置ＦＴになるように設定される。図７は、二値化し、ノイズ除去した後のネイルウィンドウ画像ＮＩＭＧの例を示す図である。

図２に戻り、オフセット値算出部１３Ｄは、領域面積算出部１３Ｃにより算出されたネイルＮの領域の面積が所定の面積閾値Ｔｈより大きい場合に、指先による操作を開始する前の手指の画像（例えば、最初のフレームの画像）ＩＭＧに基づいて、オフセット値Ｖ_ＯＳを算出する。オフセット値Ｖ_ＯＳは、手指が基準姿勢Ｐ１（詳しくは後述）の状態にある際のネイル先端と指先位置ＦＴとの間の距離である。操作を開始する前の手指の画像ＩＭＧに基づいて、オフセット値Ｖ_ＯＳを算出するのは、操作を開始する前の手指は基準姿勢Ｐ１に近いと考えられるからである。なお、ユーザの手指が基準姿勢Ｐ１の状態の画像を、操作開始前に登録させ、その基準姿勢Ｐ１の状態の画像に基づいて、オフセット値Ｖ_ＯＳを算出するようにしてもよい。

より具体的には、オフセット値算出部１３Ｄは、領域面積算出部１３Ｃにより生成されたノイズ除去後の二値化画像ＮＩＭＧにおけるネイルＮの領域のｙ軸方向（指が指し示す方向）の高さＤｙを、オフセット値Ｖ_ＯＳとして算出する。高さＤｙは、図７を参照して、ノイズ除去後の二値化画像ＮＩＭＧの“１（白）”が設定されている画素の内でｙの値が最小の画素と指先位置ＦＴに対応する画素との距離である。

なお、平均的な人差し指の爪の基準姿勢Ｐ１時の長さＬが、オフセット値Ｖ_ＯＳとして、用いられてもよい。

図２に戻り、先端位置推定部１３Ｅは、領域面積算出部１３Ｃにより算出されたネイルＮの領域の面積が面積閾値Ｔｈより大きい場合に、操作中の手指の画像（例えば、２番目以降のフレームの画像）ＩＭＧに基づいて、処理対象の画像ＩＭＧにおけるネイル先端の位置（Ｎｘ，Ｎｙ）を推定する。より具体的には、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧにおける基準姿勢Ｐ１に対する傾き角度θ１を算出する。

図８は、傾き角度θ１について説明するための図である。手指の基準姿勢Ｐ１は、図８に示すように、作業台ＰＬの上面（投影面）に対してネイルＮが水平となる手指の姿勢である。しかしながら、投影表示のアイコンをタッチするなどの操作を行う際には、手指の姿勢は、姿勢Ｐ２のように、基準姿勢Ｐ１から傾いた状態となる。

そこで、先端位置推定部１３Ｅは、以下の式２にしたがって、基準姿勢Ｐ１に対する実際の手指の傾き角度θ１を算出する。なお、式２中のＤは基準姿勢Ｐ１における指先位置ＦＴと手指の重心Ｇとの距離である。また、式２中のＤ’は実際の手指を上方から見た場合の指先位置ＦＴと手指の重心Ｇとの距離、つまり、処理対象の画像ＩＭＧにおける指先位置ＦＴと手指の重心Ｇとの距離である。なお、手指の重心Ｇは、手指位置特定部１３Ｂにより抽出された手指領域に基づいて、特定することが可能である。また、基準姿勢Ｐ１の距離Ｄは、予め登録したユーザの手指が基準姿勢Ｐ１の状態の画像に基づいて算出するようにしてもよい。また、操作を開始する前の手指は基準姿勢Ｐ１に近いと考えられることから、例えば、最初のフレームの画像ＩＭＧにおける指先位置ＦＴと手指の重心Ｇとの距離Ｄ’を距離Ｄとみなしてもよい。

そして、先端位置推定部１３Ｅは、画像ＩＭＧの測辺をｙ軸とした場合における、ｙ軸に対する指（人差し指）が指し示す方向を表す直線ＣＬとなす角の角度θ２、つまり、直線ＣＬのｙ軸に対する回転角度θ２を算出する。より具体的には、図９を参照して、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧにおける直線ＣＬの傾きに基づいて、回転角度θ２を算出する。直線ＣＬの傾きを“ｍ”とした場合、先端位置推定部１３Ｅは、以下の式３にしたがって、回転角度θ２を算出ことができる。ここで、図９は、回転角度θ２について説明するための図である。なお、図９中の角度θ３とθ４については後述する。

そして、先端位置推定部１３Ｅは、算出した傾き角度θ１と回転角度θ２とに基づいて、オフセット値算出部１３Ｄにより算出されたオフセット値Ｖ_ＯＳを補正する。つまり、先端位置推定部１３Ｅは、オフセット値Ｖ_ＯＳに処理対象の画像ＩＭＧにおける手指の傾きと回転とを反映させることで、処理対象の画像ＩＭＧにおける指先位置ＦＴを基準（原点）とした場合のネイル先端の座標（Ｖｘ，Ｖｙ）を、以下の式４にしたがって、算出する。

そして、先端位置推定部１３Ｅは、傾き角度θ１と回転角度θ２とに基づいて補正したオフセット値（Ｖｘ，Ｖｙ）と指先位置ＦＴとに基づいて、処理対象の画像ＩＭＧにおけるネイル先端の位置（Ｎｘ，Ｎｙ）を推定する。より具体的には、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧにおける指先がｙ軸に対して、左側に傾いている姿勢Ｐ４の場合、つまり、直線ＣＬの傾きが正（ｍ＞０）の場合には、以下の式５にしたがって、処理対象の画像ＩＭＧにおけるネイル先端の位置（Ｎｘ，Ｎｙ）を推定する。

一方、処理対象の画像ＩＭＧにおける指先がｙ軸に対して、右側に傾いている姿勢Ｐ５の場合、つまり、直線ＣＬの傾きが負（ｍ＜０）の場合には、先端位置推定部１３Ｅは、以下の式７にしたがって、処理対象の画像ＩＭＧにおけるネイル先端の位置（Ｎｘ，Ｎｙ）を推定する。

このようにして、先端位置推定部１３Ｅは、爪にネイルが施されている場合に、手指の傾き角度θ１と回転角度θ２を求め、処理対象の画像ＩＭＧにおける実際の手指の姿勢に対応したネイル先端の位置（Ｎｘ，Ｎｙ）を推定することができる。

なお、指が指し示す方向を表す直線ＣＬが画像ＩＭＧのｙ軸に平行であって、手指の姿勢が基準姿勢Ｐ１の状態の画像を予め登録することで、先端位置推定部１３Ｅは、角度θ３と角度θ３とに基づいて、以下の式７にしたがって、回転角度θ２を算出することも可能である。ここで、図９を参照して、角度θ３は、処理対象の画像ＩＭＧにおける、指が指し示す方向を表す直線ＣＬと、手指の重心Ｇと指先位置ＦＴとを結ぶ直線がなす角の角度である。角度θ４は、処理対象の画像ＩＭＧにおける、画像ＩＭＧのｙ軸と、手指の重心Ｇと指先位置ＦＴとを結ぶ直線がなす角の角度である。つまり、直線ＣＬがｙ軸と平行の場合には、角度θ３と角度θ４は等しくなる。

角度θ３は、手指の傾き度合いにより変化する。そのため、予め登録されている画像における、指が指し示す方向を表す直線ＣＬ（ｙ軸と平行）と、手指の重心Ｇと指先位置ＦＴとを結ぶ直線がなす角の角度を、手指の傾き角度θ１を考慮して補正することで、角度θ３を算出する。以下において、予め登録されている画像における、指が指し示す方向を表す直線ＣＬ（ｙ軸と平行）と、手指の重心Ｇと指先位置ＦＴとを結ぶ直線がなす角の角度を角度θ５と称することとする。

図１０は、処理対象の画像ＩＭＧにおける、直線ＣＬと、手指の重心Ｇと指先位置ＦＴとを結ぶ直線がなす角の角度θ３について説明するための図である。図１０中のＦＴ１は、直線ＣＬがｙ軸に平行であって、手指の姿勢が基準姿勢Ｐ１の状態の画像（予め登録されている画像）における指先位置ＦＴを表している。また、図１０中のＦＴ２は、処理対象の画像ＩＭＧの指先位置ＦＴを表している。この場合、図１０に示すように、処理対象の画像ＩＭＧにおける指先位置ＦＴ２は、手指の傾きの影響で、より指の付け根方向にある直線ＣＬ上の点に移動する。

そこで、先端位置推定部１３Ｅは、以下の式８にしたがって、処理対象の画像ＩＭＧにおける角度θ３を算出する。なお、式８中のＲ２は、図１０に示すように、点Ｚが重心Ｇを通る直線ＣＬに直交する直線と直線ＣＬとの交点であるとすると、点Ｚと処理対象の画像ＩＭＧにおける指先位置ＦＴ２との間の距離である。また、式８中のＳは、図１０に示すように、点Ｚと重心Ｇとの間の距離である。

先端位置推定部１３Ｅは、距離Ｒ２は手指が傾き角度θ１だけ傾いている場合の点Ｚと指先位置ＦＴ２との間の距離であることから、以下の式９にしたがって、距離Ｒ２を算出することができる。式９中のＲ１は、図１０に示すように、点Ｚと予め登録されている画像における指先位置ＦＴ１との間の距離である。

先端位置推定部１３Ｅは、図１０に示すように、予め登録されている画像における指先位置ＦＴ１と重心Ｇとの間の距離をＴとすると、距離Ｔと角度θ５とに基づいて、以下の式１０にしたがって、距離Ｒ１を算出することができる。

また、先端位置推定部１３Ｅは、距離Ｔと角度θ５とに基づいて、以下の式１１にしたがって、距離Ｓを算出することができる。

したがって、予め登録されている画像の距離Ｔと角度θ５を算出することで、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧにおける角度θ３を算出することができる。先端位置推定部１３Ｅは、予め登録されている画像における指先位置ＦＴ（図１０中ではＦＴ１）の座標と重心Ｇの座標とに基づいて、距離Ｔを算出することができる。また、先端位置推定部１３Ｅは、予め登録されている画像の指が指し示す方向を表す直線ＣＬはｙ軸と平行であることから、指先位置ＦＴから重心Ｇへのベクトルに基づいて、以下の式１２にしたがって、角度θ５を算出することができる。なお、予め登録されている画像における指先位置ＦＴの座標は（ｘ１，ｙ１）であり、予め登録されている画像における重心Ｇの座標は（ｘ２，ｙ２）であるものとする。

次に、角度θ４の求め方を説明する。角度θ４は、上述したように、処理対象の画像ＩＭＧにおける指先位置ＦＴと重心Ｇとを結ぶ直線とｙ軸とがなす角の角度である。したがって、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧにおける指先位置ＦＴから重心Ｇへのベクトルに基づいて、以下の式１３にしたがって、角度θ４を算出することができる。なお、処理対象の画像ＩＭＧにおける指先位置ＦＴの座標は（ｘ３，ｙ３）であり、処理対象の画像ＩＭＧにおける重心Ｇの座標は（ｘ４，ｙ４）であるものとする。

次に、図１１を参照して、本実施形態における指先追跡処理の流れについて説明する。図１１は、本実施形態における指先追跡処理のフローを説明するためのフローチャートの例である。なお、以下の説明においては、全フレームの画像ＩＭＧに手指領域が含まれているものとして説明する。

画像取得部１３Ａは、カメラ３０により撮像された画像ＩＭＧを取得する（ステップＳ００１）。そして、画像取得部１３Ａは、取得した画像ＩＭＧが最初のフレームの画像か否かを判定する（ステップＳ００２）。画像取得部１３Ａにより、取得した画像ＩＭＧが最初のフレームの画像であると判定された場合には（ステップＳ００２；ＹＥＳ）、指先位置特定部１３Ｂは、オフセット値算出部１３Ｄなどと連係して、オフセット値算出処理を行う（ステップＳ００３）。

そして、画像取得部１３Ａは、全てのフレームを取得したか否かを判定することで、全てのフレームが処理されたか否かを判定する（ステップＳ００４）。画像取得部１３Ａにより、全てのフレームが処理されたと判定された場合には（ステップＳ００４；ＹＥＳ）、本処理は終了する。一方、画像取得部１３Ａにより、全てのフレームが処理されていないと判定された場合には（ステップＳ００４；ＮＯ）、処理はステップＳ００１の処理へと戻り、前述の処理を繰り返す。

ステップＳ００２の処理において、画像取得部１３Ａにより、取得した画像ＩＭＧが最初のフレームの画像ではないと判定された場合には（ステップＳ００２；ＮＯ）、指先位置特定部１３Ｂは、先端位置推定部１３Ｅと連係して、指先検出処理を行う（ステップＳ００５）。そして、処理は前述のステップＳ００４の処理へと進む。

次に、図１２を参照して、本実施形態におけるオフセット値算出処理の流れについて説明する。図１２は、本実施形態におけるオフセット値算出処理のフローを説明するためのフローチャートの例である。本オフセット値算出処理は、前述の指先追跡処理のステップＳ００３の処理に対応する処理である。

指先位置特定部１３Ｂは、取得された画像ＩＭＧの色情報がＨＳＶ表色系以外の表色系で定義されている場合には、画像ＩＭＧをＨＳＶ画像に変換する（ステップＳ１０１）。そして、指先位置特定部１３Ｂは、ＨＳＶ表色系で定義されている肌色定義領域ＦＣに基づいて、肌色領域を抽出し（ステップＳ１０２）、抽出した肌色領域に基づいて、処理対象の画像ＩＭＧから手指領域を抽出する（ステップＳ１０３）。

そして、指先位置特定部１３Ｂは、抽出した手指領域に基づいて、指先位置ＦＴを算出する（ステップＳ１０４）。そして、領域面積算出部１３Ｃは、ＨＳＶ画像上にネイルウィンドウＮＷを設定して、差分画像ＮＩＭＧを生成する（ステップＳ１０５）。そして、領域面積算出部１３Ｃは、生成した差分画像ＮＩＭＧを二値化し（ステップＳ１０６）、ノイズを除去する（ステップＳ１０７）。そして、領域面積算出部１３Ｃは、ノイズ除去後の二値化画像ＮＩＭＧにおけるネイル領域の面積を算出する（ステップＳ１０８）。

そして、オフセット値算出部１３Ｄは、算出されたネイル領域の面積が面積閾値Ｔｈより大きいか否かを判定する（ステップＳ１０９）。オフセット値算出部１３Ｄにより、ネイル領域の面積が面積閾値Ｔｈ以下であると判定された場合には（ステップＳ１０９；ＮＯ）、本処理は終了し、前述の指先追跡処理のステップＳ００４の処理へと移行する。

一方、ネイル領域の面積が面積閾値Ｔｈより大きいと判定した場合には（ステップＳ１０９；ＹＥＳ）、オフセット値算出部１３Ｄは、処理対象の画像ＩＭＧ、つまり、ノイズ除去後の二値化画像ＮＩＭＧにおけるネイル領域の高さＤｙ（＝オフセット値Ｖ_ＯＳ）を算出する（ステップＳ１１０）。そして、本処理は終了して、前述の指先追跡処理のステップＳ００４の処理へと移行する。

次に、図１３を参照して、本実施形態における指先検出処理の流れについて説明する。図１３は、本実施形態における指先検出処理のフローを説明するためのフローチャートの例である。本指先検出処理は、前述の指先追跡処理のステップＳ００５の処理に対応する処理である。

指先位置特定部１３Ｂは、取得された画像ＩＭＧの色情報がＨＳＶ表色系以外の表色系で定義されている場合には、画像ＩＭＧをＨＳＶ画像に変換する（ステップＳ２０１）。そして、指先位置特定部１３Ｂは、ＨＳＶ表色系で定義されている肌色定義領域ＦＣに基づいて、肌色領域を抽出し（ステップＳ２０２）、抽出した肌色領域に基づいて、処理対象の画像ＩＭＧから手指領域を抽出する（ステップＳ２０３）。

そして、指先位置特定部１３Ｂは、抽出した手指領域に基づいて、指先位置ＦＴを算出する（ステップＳ２０４）。そして、先端位置推定部１３Ｅは、オフセット値算出部１３Ｄによりオフセット値Ｖ_ＯＳが算出されたか否かを判定する（ステップＳ２０５）。先端位置推定部１３Ｅにより、オフセット値Ｖ_ＯＳは算出されなかったと判定された場合には（ステップＳ２０５；ＮＯ）、本処理は終了して、前述の指先追跡処理のステップＳ００４の処理へと移行する。

一方、オフセット値Ｖ_ＯＳが算出されたと判定した場合には（ステップＳ２０５；ＹＥＳ）、先端位置推定部１３Ｅは、基準姿勢Ｐ１に対する手指の傾き角度θ１を算出すると共に（ステップＳ２０６）、手指の回転角度θ２を算出する（ステップＳ２０７）。そして、先端位置推定部１３Ｅは、算出した手指の傾き角度θ１と回転角度θ２とに基づいて、オフセット値Ｖ_ＯＳを補正する（ステップＳ２０８）。

そして、先端位置推定部１３Ｅは、処理対象の画像ＩＭＧの指先位置ＦＴと補正後のオフセット値（Ｖｘ，Ｖｙ）とに基づいて、処理対象の画像ＩＭＧにおけるネイル先端の位置（Ｎｘ，Ｎｙ）を推定する（ステップＳ２０９）。そして、本処理は終了して、前述の指先追跡処理のステップＳ００４の処理へと移行する。

上記実施形態によれば、情報処理装置１０は、手指の色を定義した肌色定義領域ＦＣに基づいて、撮像された画像に含まれる手指の指先位置ＦＴを特定する。そして、情報処理装置１０は、指先位置に接し、且つ指先が指し示す方向に位置するネイルウィンドウＮＷ内の領域における、投影表示とは異なる領域の面積を算出する。そして、情報処理装置１０は、面積が面積閾値Ｔｈより大きい場合に、指先位置ＦＴより指先が指し示す方向に離れた位置にあるネイル先端の位置を推定する。このようにすることで、ネイルをしている指先の位置を推定することが可能となる。

また、上記実施形態によれば、情報処理装置１０は、爪にネイルが施されている場合を考慮せずに手指の色を定義した肌色定義領域ＦＣに基づいて、撮像された画像に含まれる手指の指先位置ＦＴを特定する。このようにすることで、背景の誤検出を抑制しつつ、ネイルをしている指先の位置を推定することが可能となる。

また、上記実施形態によれば、情報処理装置１０は、ネイルウィンドウＮＷ内の領域における投影表示とは異なる領域の指先が指し示す方向の長さに基づいて、ネイル先端の位置を推定する。このようにすることで、ネイルをしている指先の位置を、より正確に推定することが可能となる。

また、上記実施形態によれば、情報処理装置１０は、基準姿勢Ｐ１に対する処理対象の画像ＩＭＧにおける手指の姿勢の傾き角度θ１を考慮して、ネイル先端の位置を推定する。このようにすることで、ネイルをしている指先の位置の推定精度を、更に向上させることができる。

図１４は、実施形態における情報処理装置１０のハードウェア構成の例を示す図である。図２に示す情報処理装置１０は、例えば、図１４に示す各種ハードウェアにより実現されてもよい。図１４の例では、情報処理装置１０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、プロジェクタ２０やカメラ３０を接続するための機器インターフェース２０５、通信モジュール２０６、読取装置２０７を備え、これらのハードウェアはバス２０８を介して接続されている。

ＣＰＵ２０１は、例えば、ＨＤＤ２０４に格納されている動作プログラムをＲＡＭ２０２にロードし、ＲＡＭ２０２をワーキングメモリとして使いながら各種処理を実行する。ＣＰＵ２０１は、動作プログラムを実行することで、図２に示す制御部１３の各機能部を実現することができる。

なお、上記動作を実行するための動作プログラムを、フレキシブルディスク、Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＣＤ−ＲＯＭ）、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ（ＤＶＤ）、Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ ｄｉｓｋ（ＭＯ）などのコンピュータで読み取り可能な記録媒体２０９に記憶して配布し、これを情報処理装置１０の読取装置２０７で読み取ってコンピュータにインストールすることにより、上述の処理を実行するようにしてもよい。さらに、インターネット上のサーバ装置が有するディスク装置等に動作プログラムを記憶しておき、通信モジュール２０６を介して、情報処理装置１０のコンピュータに動作プログラムをダウンロード等するものとしてもよい。

なお、実施形態に応じて、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４以外の他の種類の記憶装置が利用されてもよい。例えば、情報処理装置１０は、Ｃｏｎｔｅｎｔ Ａｄｄｒｅｓｓａｂｌｅ Ｍｅｍｏｒｙ（ＣＡＭ）、Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＳＲＡＭ）、Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＳＤＲＡＭ）などの記憶装置を有してもよい。

なお、実施形態に応じて、情報処理装置１０のハードウェア構成は図１４とは異なっていてもよく、図１４に例示した規格・種類以外のその他のハードウェアを情報処理装置１０に適用することもできる。

例えば、図２に示す情報処理装置１０の制御部１３の各機能部は、ハードウェア回路により実現されてもよい。具体的には、ＣＰＵ２０１の代わりに、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）などのリコンフィギュラブル回路や、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＡＳＩＣ）などにより、図２に示す制御部１３の各機能部が実現されてもよい。もちろん、ＣＰＵ２０１とハードウェア回路の双方により、これらの機能部が実現されてもよい。

以上において、いくつかの実施形態及びその変形例について説明した。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態及びその変形例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定する第１特定手段と、
前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出する第１算出手段と、
前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する推定手段と、
を備える、
ことを特徴とする指先位置推定装置。
（付記２）
前記推定手段は、平均的な大きさの爪のサイズに基づいて、前記第２の指先位置を推定する、
ことを特徴とする付記１に記載の指先位置推定装置。
（付記３）
前記推定手段は、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さに基づいて、前記第２の指先位置を推定する、
ことを特徴とする付記１に記載の指先位置推定装置。
（付記４）
手指を含まない前記背景のみを予め撮像した背景画像における前記所定サイズの領域に対応する領域と前記所定サイズの領域との差分画像を生成する第１生成手段と、
前記差分画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する第２算出手段と、
を、更に、備える、
ことを特徴とする付記３に記載の指先位置推定装置。
（付記５）
前記差分画像を二値化して二値化画像を生成する第２生成手段を、更に、備え、
前記第２算出手段は、前記二値化画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する、
ことを特徴とする付記４に記載の指先位置推定装置。
（付記６）
前記二値化画像のノイズを除去する除去手段を、更に、備え、
前記第２算出手段は、前記ノイズが除去された後の二値化画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する、
ことを特徴とする付記５に記載の指先位置推定装置。
（付記７）
前記長さは、指先による操作を開始する前に撮像された前記手指を含む画像における、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さである、
ことを特徴とする付記３乃至６のいずれか一に記載の指先位置推定装置。
（付記８）
前記面積が所定の閾値より大きい場合に、前記指先が指し示す方向を特定する第２特定手段を、更に、備える、
ことを特徴とする付記１乃至７のいずれか一に記載の指先位置推定装置。
（付記９）
前記第２特定手段は、画像の縦軸と当該画像中の前記指先が指し示す方向がなす角の角度を算出することにより、前記指先が指し示す方向を特定する、
ことを特徴とする付記８に記載の指先位置推定装置。
（付記１０）
前記画像は、投影表示を撮像した画像である、
ことを特徴とする付記１乃至９のいずれか一に記載の指先位置推定装置。
（付記１１）
前記投影表示を投影する投影面に略水平な手指の第１姿勢に対する、撮像時の手指の姿勢の傾き角度に基づいて、前記第２の指先位置を補正する補正手段を、更に、備える、
ことを特徴とする付記１０に記載の指先位置推定装置。
（付記１２）
前記色領域モデルは、前記手指の爪にネイルが施されている場合を考慮せずに手指の色を定義したものである、
ことを特徴とする付記１乃至１１のいずれか一に記載の指先位置推定装置。
（付記１３）
画像に含まれる手指の指先位置を推定する指先位置推定装置の指先位置推定方法であって、
手指の色を定義した色領域モデルに基づいて、前記画像に含まれる手指の第１の指先位置を特定し、
前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出し、
前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する、
ことを特徴とする指先位置推定方法。
（付記１４）
画像に含まれる手指の指先位置を推定する指先位置推定装置のコンピュータに、
手指の色を定義した色領域モデルに基づいて、前記画像に含まれる手指の第１の指先位置を特定し、
前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出し、
前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する、
処理を実行させる、
ことを特徴とするプログラム。
（付記１５）
画像に含まれる手指の指先位置を推定する指先位置推定装置のコンピュータに、
手指の色を定義した色領域モデルに基づいて、前記画像に含まれる手指の第１の指先位置を特定し、
前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出し、
前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する、
処理を実行させることを特徴とするプログラムを記憶した記録媒体。

１００ インターフェースシステム
１０ 情報処理装置
１１ 入力部
１２ 記憶部
１３ 制御部
１３Ａ 画像取得部
１３Ｂ 指先位置特定部
１３Ｃ 領域面積算出部
１３Ｄ オフセット値算出部
１３Ｅ 先端位置推定部
２０ プロジェクタ
３０ カメラ
ＰＬ 作業台
ＦＣ 肌色定義領域
ＦＴ 指先位置
ＩＮＧ 画像
Ｎ ネイル
ＣＬ 指先位置を通り指（人差し指）が指し示す方向を表す直線
ＮＷ ネイルウィンドウ
Ｄｙ 背景以外の領域のｙ軸方向の高さ
Ｇ 手指の重心
Ｐ１ 手指の基準姿勢
Ｐ２〜５ 手指の姿勢
θ１ 傾き角度
θ２ 回転角度
２０１ ＣＰＵ
２０２ ＲＡＭ
２０３ ＲＯＭ
２０４ ＨＤＤ
２０５ 機器インターフェース
２０６ 通信モジュール
２０７ 読取装置
２０８ バス
２０９ 記録媒体

Claims (14)

1. 手指の色を定義した色領域モデルに基づいて、画像に含まれる手指の第１の指先位置を特定する第１特定手段と、
   前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出する第１算出手段と、
   前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する推定手段と、
   を備える、
   ことを特徴とする指先位置推定装置。
2. 前記推定手段は、平均的な大きさの爪のサイズに基づいて、前記第２の指先位置を推定する、
   ことを特徴とする請求項１に記載の指先位置推定装置。
3. 前記推定手段は、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さに基づいて、前記第２の指先位置を推定する、
   ことを特徴とする請求項１に記載の指先位置推定装置。
4. 手指を含まない前記背景のみを予め撮像した背景画像における前記所定サイズの領域に対応する領域と前記所定サイズの領域との差分画像を生成する第１生成手段と、
   前記差分画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する第２算出手段と、
   を、更に、備える、
   ことを特徴とする請求項３に記載の指先位置推定装置。
5. 前記差分画像を二値化して二値化画像を生成する第２生成手段を、更に、備え、
   前記第２算出手段は、前記二値化画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する、
   ことを特徴とする請求項４に記載の指先位置推定装置。
6. 前記二値化画像のノイズを除去する除去手段を、更に、備え、
   前記第２算出手段は、前記ノイズが除去された後の二値化画像に基づいて、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さを算出する、
   ことを特徴とする請求項５に記載の指先位置推定装置。
7. 前記長さは、指先による操作を開始する前に撮像された前記手指を含む画像における、前記所定サイズの領域における前記背景とは異なる領域の前記指先が指し示す方向の長さである、
   ことを特徴とする請求項３乃至６のいずれか一に記載の指先位置推定装置。
8. 前記面積が所定の閾値より大きい場合に、前記指先が指し示す方向を特定する第２特定手段を、更に、備える、
   ことを特徴とする請求項１乃至７のいずれか一に記載の指先位置推定装置。
9. 前記第２特定手段は、画像の縦軸と当該画像中の前記指先が指し示す方向がなす角の角度を算出することにより、前記指先が指し示す方向を特定する、
   ことを特徴とする請求項８に記載の指先位置推定装置。
10. 前記画像は、投影表示を撮像した画像である、
    ことを特徴とする請求項１乃至９のいずれか一に記載の指先位置推定装置。
11. 前記投影表示を投影する投影面に略水平な手指の第１姿勢に対する、撮像時の手指の姿勢の傾き角度に基づいて、前記第２の指先位置を補正する補正手段を、更に、備える、
    ことを特徴とする請求項１０に記載の指先位置推定装置。
12. 前記色領域モデルは、前記手指の爪にネイルが施されている場合を考慮せずに手指の色を定義したものである、
    ことを特徴とする請求項１乃至１１のいずれか一に記載の指先位置推定装置。
13. 画像に含まれる手指の指先位置を推定する指先位置推定装置の指先位置推定方法であって、
    手指の色を定義した色領域モデルに基づいて、前記画像に含まれる手指の第１の指先位置を特定し、
    前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出し、
    前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する、
    ことを特徴とする指先位置推定方法。
14. 画像に含まれる手指の指先位置を推定する指先位置推定装置のコンピュータに、
    手指の色を定義した色領域モデルに基づいて、前記画像に含まれる手指の第１の指先位置を特定し、
    前記第１の指先位置に接し、且つ指先が指し示す方向に位置する所定サイズの領域における、前記画像の背景とは異なる領域の面積を算出し、
    前記面積が所定の閾値より大きい場合に、前記第１の指先位置より前記指先が指し示す方向に離れた位置にある第２の指先位置を推定する、
    処理を実行させる、
    ことを特徴とするプログラム。

Images