JP2015153120A

JP2015153120A - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP2015153120A
Application number: JP2014026020A
Authority: JP
Inventors: 厚一郎新沼; Atsuichiro Niinuma
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2014-02-14
Filing date: 2014-02-14
Publication date: 2015-08-24
Anticipated expiration: 2034-02-14
Also published as: JP6326847B2; EP2908267A1; EP2908267B1; US9870059B2; US20150234471A1

Abstract

【課題】背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる画像処理装置を提供する。【解決手段】画像処理装置は、ユーザの第１部位と第２部位を含む画像を取得する取得部と、第１部位の生体的特徴に基づいて、画像に含まれる第１部位と第２部位の候補となる候補群から第１部位に相当する候補を検出する検出部を備える。更に、当該画像処理装置は、第１部位に相当する候補の外縁に基づいて第１部位と第２部位の接続方向を規定する規定部を備える。更に、当該画像処理装置は、接続方向に基づいて候補群から第２部位に相当する候補を選定する選定部を備える。【選択図】図１

Description

本発明は、例えば、ユーザの手指の検知に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

近年において、例えば、紙面文書とプロジェクタを用いて紙面文書に投影された投影画像に対してインタラクション操作を行うことで、ユーザの作業支援を実現させる為の技術が開発されている。例えば、ユーザが紙面文書の単語を手指で示した場合、当該単語に関連付けられた投影画像が投影され、更に当該投影画像の一部を手指を示すことで、当該単語に関連付けられた注釈などを提示する拡張現実感（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ：ＡＲ）技術が開示されている。

上述のインタフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの手指の位置を正確に特定することが必要となる。手指の位置を特定する方法として、例えば、撮像画像から、肌色の色成分（色特徴量と称しても良い）を抽出することで手の輪郭を抽出し、当該輪郭から手指の位置を特定する技術が開示されている。

Survey on Skin Tone Detection using Color Spaces, C. Prema et al., International Journal of Applied Information Systems 2(2):18-26, May 2012. Published by Foundation of Computer Science, New York, USA. Skin Detection - a Short Tutorial, Ahmed et al., Encyclopedia of Biometrics by Springer-Verlag Berlin Heidelberg 2009. A survey of skin-color modeling and detection methods, Kakumanu et al., Pattern Recognition, Volume 40, Issue 3, March 2007, Pages 1106-1122 A Survey on Pixel-Based Skin Color Detection Techniques, Vladimir et al., IN PROC. GRAPHICON-2003.

しかしながら、色特徴量を用いたユーザの手指の位置を検出する技術においては、投影画像が投影される紙面等の背景が肌色の場合は、手指の肌色成分と背景の肌色成分を分離することが出来なくなる為に、手指の位置の特定が困難となる。本発明は、背景色に依存せずにユーザの手指の位置を正確に特定することが出来る画像処理装置を提供することを目的とする。

本発明が開示する画像処理装置は、ユーザの第１部位と第２部位を含む画像を取得する取得部と、第１部位の生体的特徴に基づいて、画像に含まれる第１部位と第２部位の候補となる候補群から第１部位に相当する候補を検出する検出部を備える。更に、当該画像処理装置は、第１部位に相当する候補の外縁に基づいて第１部位と第２部位の接続方向を規定する規定部を備える。更に、当該画像処理装置は、接続方向に基づいて候補群から第２部位に相当する候補を選定する選定部を備える。

なお、本発明の目的及び利点は、例えば、請求項におけるエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。

一つの実施形態による画像処理装置１の機能ブロック図である。図２（ａ）は、取得部２が取得する画像の一例である。図２（ｂ）は、抽出部３が画像から抽出する肌色領域の一例である。図２（ｃ）は、抽出部３が肌色領域の隣接画素の画素値の差分に基づいて抽出する第１部位と第２部位の候補となる候補群の一例である。検出部４が検出する第１部位に相当する候補の一例である。規定部５が規定する接続方向の一例である。（ａ）は、第１部位に相当する候補と接続方向、ならびに第２部位の候補となる候補群を示す図である。（ｂ）は、検出部４が検出した第１部位に相当する候補と、選定部６が選定した第２部位に相当する候補を示す図である。画像処理装置１による画像処理のフローチャートである。一つの実施形態による画像処理装置１のハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、抽出部３、検出部４、規定部５、選定部６を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。

取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部２は、外部装置が撮像する画像を受け取る。画像を撮像する外部装置は、例えば撮像素子である。撮像素子は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。取得部２は、撮像素子から受け取る画像がアナログ画像の場合は、離散的な位置におけるアナログ信号と信号を摘出する処理となる標本化を行った後に、有限分解能の数値に返還する処理となる量子化を行うことでディジタル画像に変換しても良い。また、取得部２は、例えば、３０ｆｐｓの間隔で、撮像素子に画像撮像の指示を行うことで画像を取得しても良い。また、撮像素子をＨＭＣ（ＨｅａｄＭｏｕｎｔｅｄＣａｍｅｒａ）として利用することも可能である。撮像素子は、例えば、ユーザの第１部位と第２部位を含む画像を撮像する。また、撮像素子は、必要に応じて画像処理装置１に含めることも可能である。なお、実施例１においては、説明の便宜上、第１部位は手背（手の甲と称しても良い）と手指の第２関節から第３関節を含む部位を示し、第２部位は第２関節から手指の指先までの方向に属する部位を示すものとして説明する。なお、第２部位について換言すると、第２関節から手指の指先までの方向に属する部位は、例えば、指先から第２関節までの部位、第１関節から第２関節までの部位、ならびに、指先から第１関節まで部位等を示す。また、実施例１においては、説明の便宜上、手背と手指が撮像素子の方向を向いた状態（換言すると撮像素子と対向する状態）であり、かつ、インタラクション操作の為に一本の手指（例えば、人差し指）が伸びた状態であるものとして説明する。取得部２は、取得した画像を抽出部３に出力する。

抽出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部３は、取得部２から画像を受け取る。抽出部３は、処理負荷の軽減の観点から、画像の肌色領域と肌色領域以外を区別し、肌色領域以外を一連の画像処理対象から除外しても良い。実施例１においては、説明の便宜上、抽出部３は、画像の肌色領域と肌色領域以外を区別し、肌色領域以外を一連の画像処理対象から除外するものとして説明する。なお、肌色領域は、ＲＧＢ、ＨＳＶ、ＹＣｂＣｒなどの任意の色空間上において規定することが出来る。例えば、ＲＧＢ色空間を使用する場合は、ＲＧＢの色成分（色特徴量と称しても良い）のそれぞれの画素値が任意範囲内（例えば、１００＜Ｒ＜２５５、０＜Ｇ＜７０、０＜Ｂ＜７０）に収まっているか否かによって肌色領域を規定する方法や、画素値ごとに肌色領域を規定する方法（例えば、画素値が（Ｒ１、Ｇ１、Ｂ１）の場合は肌色領域であり、画素値が（Ｒ２、Ｇ２、Ｂ２）の場合は肌色領域以外と規定する方法）などがある。また、ＲＧＢ、ＨＳＶ、ＹＣｂＣｒ色空間は、それぞれ相互変換が可能であり、他の色空間でも上述したＲＢＧ色空間と同様に肌色領域の規定が可能となる。

抽出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位と第２部位の候補となる候補群を、画像の画素値に基づいて抽出する。換言すると、抽出部３は、例えば、画像の隣接画素の画素値の差分に基づいて規定され、かつ、第１部位と第２部位が分離して抽出される所定の第１画素値に基づいて候補群を抽出する。具体的には、抽出部３は、肌色領域に含まれる画素を複数の領域（第１部位と第２部位の候補となる候補群）に分離する。抽出部３は、例えば、肌色領域内の隣接画素間の画素値の差分を用いて候補群を抽出することが出来る。ここで、互いに隣接する画素Ａと画素Ｂの画素値をそれぞれ（Ｒａ、Ｇａ、Ｂａ）、（Ｒｂ、Ｇｂ、Ｂｂ）とした場合、画素値の差分（距離と称しても良い）Ｄ＿ａｂは、次式で表現出来る。
（数１）
D_ab = sqrt((Ra - Rb)² + (Ga - Gb)² + (Ba - Bb)²)
抽出部３は、上述の（数１）において、画素値の差分Ｄ＿ａｂが、所定の第１画素値（例えば、第１画素値＝５）未満であれば、同一のグループの候補として抽出し、画素値の差分Ｄ＿ａｂが閾値以上であれば異なるグループの候補として抽出する。

図２（ａ）は、取得部２が取得する画像の一例である。図２（ｂ）は、抽出部３が画像から抽出する肌色領域の一例である。図２（ｃ）は、抽出部３が肌色領域の隣接画素の画素値の差分に基づいて抽出する第１部位と第２部位の候補となる候補群の一例である。図２（ａ）において、取得部２が取得する画像は、写真等の情報を含む背景が肌色の紙面上に、ユーザの第１部位と第２部位が重畳している。図２（ａ）に示される通り、ユーザの手背と手指は撮像素子の方向を向いた状態であり、かつ、インタラクション操作の為に一本の手指（人差し指）が真直ぐに伸びた状態である。図２（ｂ）に示される通り、抽出部３は、上述に開示した方法を用いて、画像に含まれる肌色領域を抽出することが出来る。図２（ｂ）においては、ユーザの第１部位と第２部位、ならびに紙面の背景領域が肌色領域として抽出される。抽出部３は、上述に開示した方法を用いて肌色領域から隣接画素の画素値の差分に基づいて第１部位と第２部位の候補となる候補群を抽出する。図２（ｃ）においては、第１部位が１つのグループで候補として抽出され、第２部位は、複数のグループに分離された状態で複数の候補として抽出されている。また、紙面の背景領域も複数のグループに分離された状態で候補群として抽出されている。これは、例えば、光の表面反射の影響で紙面の画素値が変化することに起因するものである。

ここで、隣接画素の画素値の差分に基づいて規定される第１画素値を規定する条件について説明する。第１画素値は、第１部位、第２部位、ならびに背景領域が分離されて抽出される値であれば良い。なお、当該第１画素値の概念は、本発明者らの鋭意検証によって新たに見出された概念であり、従来においては開示されていない概念である。手背と手指が含まれる画像においては、手指の第１関節と第２関節上に存在する皮膚の皺や爪の部位は形状が複雑な為、隣接画素の画素値の差分は、当該部位特有の画素値を有する。

一方、手背とインタラクション操作を行っている手指の第２関節から第３関節を含む部位は、顕著な特有の形状は存在しない為、隣接画素の画素値の差分は殆ど無い。この為、抽出部３は、第１部位と第２部位を分離出来る所定の第２画素値（例えば、第２画素値＝７）を予め規定することが出来る。また、第１部位・第２部位と背景領域の境界部分は、背景領域が肌色領域である場合においても光の陰影の影響により、境界部位においては、当該境界部位特有の隣接画素の画素値の差分値を有する。この為、抽出部３は、第１部位・第２部位と背景領域を分離出来る所定の第３画素値（例えば、第３画素値＝５）を予め規定することが出来る。ここで、第１画素値は、第２画素値と第３画素値を比較し、小さい方の値（第１部位と第２部位を分離可能であり、かつ、第１部位・第２部位と背景領域を分離出来る値）を第１画素値として規定することが出来る。当該第１画素値を用いることより、抽出部３は、第１部位、第２部位、ならびに第１部位・第２部位以外（背景領域）から、第１部位と第２部位の候補となる候補群を抽出することが出来る。

なお、抽出部３は、例えば、「N. Senthilkumaran et al., Edge Detection Techniques for Image Segmentation, A Survey of Soft Computing Approaches, International Journal of Recent Trends in Engineering, Vol. 1, No. 2, May 2009」に開示されるエッジ抽出に基づいて第１部位と第２部位の候補となる候補群を抽出しても良い。抽出部３は、抽出した候補群を検出部４と選定部６に出力する。

図１における検出部４は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部４は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部４は、候補群を抽出部３から受け取る。検出部４は、第１部位の生体的特徴に基づいて候補群から第１部位に相当する候補を検出する。なお、生体的特徴は、例えば、第１部位の面積、第１部位の形状、または、第１部位の画素値の統計量の少なくとも一つを含んでいれば良い。検出部４は、検出した第１部位の候補を規定部５に出力する。以下に検出部４における第１部位の各生体的特徴に応じた検出処理の詳細を記載するが、検出部４は、堅牢性を向上させる為に各生体的特徴を組み合わせて第１部位に相当する候補を検出しても良い。

（第１部位の面積に基づく第１部位に相当する候補の検出方法）
検出部４は、生体的特徴の一例となる第１部位の面積に基づいて、第１部位に相当する候補を検出する。検出部４は、抽出部３から受け取った候補群の各面積（単位は例えば画素数であれば良い）をＳｎとした場合、第１部位に相当する候補を次式に基づいて検出することが出来る。
（数２）
TH01 < Sn < TH02
但し、上述の（数２）において、ＴＨ０１とＴＨ０２は、画像処理装置１を使用する単数または複数のユーザの平均的な第１部位を予め計測することによって定めることが出来る任意の閾値である。例えば、取得部２が取得する画像サイズを７６８００画素（３２０画素×２４０画素）と仮定し、撮像素子と第１部位の距離を５０ｃｍと仮定した場合、ＴＨ０１＝２０００画素となり、ＴＨ０２＝１００００画素と規定することが出来る。なお、検出部４は、上述の（数２）の条件を満たす複数の第１部位に相当する候補を検出した場合、例えば、ＴＨ０１とＴＨ０２の平均値に最も近い候補を第１部位に相当する候補として検出すれば良い。

（第１部位の形状に基づく第１部位に相当する候補を検出方法）
検出部４は、生体的特徴の一例となる第１部位の形状に基づいて、第１部位に相当する候補を検出する。検出部４は、候補群の各候補の外縁と、例えば、予め計測した単数または複数のユーザの第１部位の外縁を、任意のテンプレートマッチングを行うことで第１部位に相当する候補を検出することが出来る。また、検出部４は候補群の各候補の外縁の平行線分（手指の幅は略一定であるため、手指の外縁と左端と右端は平行線分となる）を検出し、検出した平行線分が所定の閾値（第２関節から第３関節の長さに基づいて適宜規定することが可能）以内である候補を、第１候補に相当する候補を検出することも出来る。なお、検出部４は、平行線分の検出方法として、例えば、「Zheng et. al., A Parallel-Line Detection Algorithm Based on HMM Decoding, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 5, MAY 2005」または、「Song et. al., A Hough transform based line recognition method utilizing both parameter space and image space, Pattern Recognition, 38, 2005, p.539 - p.552」に開示される方法を用いることが出来る。なお、検出部４は、上記の条件を満たす複数の第１部位に相当する候補を検出した場合、例えば、テンプレートに対して最も類似度が高い候補、または、所定の閾値に最も近い候補を第１部位に相当する候補として検出すれば良い。

（第１部位の画素値の統計量に基づく第１部位に相当する候補の検出方法）
検出部４は、生体的特徴の一例となる第１部位の画素値の統計量に基づいて、第１部位に相当する候補を検出する。検出部４は、抽出部３から受け取った候補群の各候補の（例えば、ＲＧＢ色空間における）平均画素値（Ａｒ、Ａｇ、Ａｂ）、標準偏差（σｒ、σｂ、σｇ）を用いて、次式の条件に基づいて第１部位に相当する候補を検出することが出来る。
（数３）
TH03 < Ar < TH04
TH05 < Ag < TH06
TH07 < Ab < TH08
TH09 <σr < TH10
TH11 <σg < TH12
TH13 <σb < TH14
但し、上述の（数３）において、ＴＨ０３ないしＴＨ１４は、画像処理装置１を使用する単数または複数のユーザの平均的な第１部位を予め計測することによって規定することが出来る任意の閾値である。例えば、ＴＨ０３＝１７０、ＴＨ０４＝２００、ＴＨ０５＝６０、ＴＨ０６＝１２０、ＴＨ０７＝１１０、ＴＨ０８＝１６０、ＴＨ０９＝５、ＴＨ１０＝１５、ＴＨ１１＝１０、ＴＨ１２＝３０、ＴＨ＝１３、ＴＨ１４＝３０であれば良い。

ここで、生体的特徴の一例となる第１部位の画素値の統計量に基づいて、検出部４が第１部位に相当する候補を検出することが出来る技術的な理由について説明する。手背と第２関節から第３関節までの領域の色彩（色特徴量と称しても良い）は、若干赤い部分や若干白い部分、または、若干黒い部分（血管の上など）など、微小な領域毎に若干色彩が異なる。その為、背景の一例となる肌色単色の紙面等と比較した場合、画素値の標準偏差が大きくなる為である。なお、検出部４は、標準偏差の代わりに分散を用いることも可能である。また、検出部４は、上述の（数３）の条件を満たす複数の第１部位に相当する候補を検出した場合、例えば、ＴＨ０３とＴＨ０４、または、ＴＨ０９とＴＨ１０の平均値に最も近い候補を第１部位に相当する候補として検出すれば良い。

図３は、検出部４が検出する第１部位に相当する候補の一例である。図３に示す通り、検出部４は、第１部位の生体的特徴に基づいて、図２（ｃ）に示す候補群から第１部位に相当する候補を検出する。検出部４は検出した第１部位に相当する候補を規定部５に出力する。

図１における規定部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、規定部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。規定部５は、検出部４が検出した第１部位に相当する候補を検出部４から受け取る。規定部５は、第１部位の候補の外縁に基づいて第１部位と第２部位の接続方向を規定する。

先ず、規定部５は、第１部位に相当する候補から外縁を検出する。規定部５は、外縁の検出方法として、様々な公知の方法を用いることが出来る。規定部５は、外縁の検出方法として、例えば、「Song et. al., A Hough transform based line recognition method utilizing both parameter space and image space, Pattern Recognition, 38, ,2005, p.539 - p.552」に開示される方法を用いることが出来る。次に、規定部５は、検出した外縁から平行線分を検出する。なお、当該平行線分は、例えば、手指の第２関節から第３関節の外縁に対応する（手指の幅は略一定であるため、手指の外縁の左端と右端は平行線分となる）。規定部５は、平行線分の検出方法として、例えば、「Zheng et. al., A Parallel-Line Detection Algorithm Based on HMM Decoding, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 27, NO. 5, MAY 2005」または「新沼ら、濃度等高線表現に基づく陰影領域の抽出、情報処理学会研究報告、２００１、３６、ｐ３９−４６」に開示される方法を用いることが出来る。なお、手指の幅は略一定であるが、厳密には平行ではない。この為、規定部５は、平行線分の検出において任意の閾値判定を用いても良い。当該閾値は、画像処理装置１を使用する単数または複数のユーザの平均的な手指の外縁の左端と右端のなす角を計測することによって規定されれば良い。例えば、規定部５は、２つの線分がなす角が５°未満であれば、平行線分と判定することが出来る。なお、この場合、規定部５は、平行と判定した２つの線分の角度を、例えば、なす角を２で除算した値に基づいてそれぞれ補正することで、完全な平行線分を規定することが出来る。また、規定部５は、複数の平行線分を検出した場合（換言すると、親指と人差し指の第２関節から第３関節の部位の平行線分を検出した場合）は、例えば、一番長い平行線分を、ユーザがインタラクティブ操作を実施している手指とみなしても良い。

図４は、規定部５が規定する接続方向の一例である。図４に示す通り、規定部５は外縁から平行線分を規定し、当該平行線分から接続方向を規定する。なお、接続方向は、例えば、平行線分と平行であれば良い。また、規定部５は、例えば、取得部２が取得する画像の左上端を原点、横方向をｘ、縦方向をｙとした場合、接続方向としてｙ＝ａｘ＋ｂ（ａとｂは任意の係数）で表現される情報を規定することが出来る。なお、当該情報を平均線分の中線の延長線と称しても良い。規定部５は、規定した第１部位と第２部位の接続方向を選定部６に出力する。

図１における選定部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、選定部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。選定部６は、接続方向を規定部５から受け取り、候補群を抽出部３から受け取る。選定部６は、接続方向に基づいて第１部位に相当する候補を除いた候補群から第２部位に相当する候補を選定する。選定部６は、例えば、平行線分の中線の延長線と候補群の外縁の距離、または、平行線分の延長線間の領域に基づいて第２部位に相当する候補を選定する。更に、選定部６は、例えば、選定部６は、候補群の面積、または、第１部位と候補群の画素値に更に基づいて第２部位に相当する候補を選定する。以下に選定部６における選定処理の詳細を記載するが、選定部６は、堅牢性を向上させる為に各選定処理を組み合わせて第２部位に相当する候補を検出しても良い。

図５（ａ）は、第１部位に相当する候補と接続方向、ならびに第２部位の候補となる候補群を示す図である。図５（ｂ）は、検出部４が検出した第１部位に相当する候補と、選定部６が選定した第２部位に相当する候補を示す図である。図５（ａ）においては、第１部位と第２部位の接続方向（平行線分の中線の延長線と称しても良い）、平行線分、ならびに、平行線分の延長線が図示されている。選定部６は、例えば、接続方向上に存在する候補を第２部位に相当する候補として選定する。また、選定部６は、例えば、平行線分の延長線間の領域に基づいて第２部位に相当する候補を選定しても良い。これは、指先から第１関節、第２関節、第３関節までの部位の外縁（手指の外縁）は、略直線である生体的特徴を利用するものである。

図１における選定部６は、例えば、平行線分の延長線と候補群の外縁（例えば、平行線分の中線の延長線と外縁が最遠となる外縁上の点との距離）までの距離Ｂ＿ｄｉｓｔａｎｃｅ（単位は例えば画素数であれば良い）に基づいて第２部位に相当する候補を選定しても良い。選定部６は、例えば、次式の条件を満たす候補を第２部位に相当する候補として選定することが出来る。
（数４）
B_distance < TH15
但し、上述の（数４）において、ＴＨ１５は、画像処理装置１を使用する単数または複数のユーザの平均的な第２部位を予め計測することによって規定される任意の閾値である。例えば、ＴＨ１５＝１０であれば良い。上述の（数４）を適用することで、平行線分の中線の延長線上に存在する候補において、手指の形状に対応しない横長の形状の候補を、第２部位に相当する候補として選定しないことが可能となる。

選定部６は、例えば、候補群の候補の面積Ｂ＿ａｒｅａ（単位は例えば画素数であれば良い）に基づいて、第２部位に相当する候補を選定しても良い。選定部６は、例えば、次式の条件を満たす候補を第２部位に相当する候補として選定することが出来る。
（数５）
TH16 < B_area < TH17
但し、上述の（数５）において、ＴＨ１６、１７は、画像処理装置１を使用する単数または複数のユーザの平均的な第２部位を予め計測することによって規定される任意の閾値である。例えば、ＴＨ１６＝２、ＴＨ１７＝３００であれば良い。上述の（数５）を適用することで、平行線分の中線の延長線上に存在する候補において、手指の形状には対応することが無い大きな面積を有する候補や小さい面積を有する候補を、第２部位に相当する候補として選定しないことが可能となる。なお、ＴＨ１６は、光の陰影により発生する極小領域の面積に基づいて規定しても良い。

選定部６は、例えば、候補群の各候補の画素値の平均値Ｂ_ａｖｅと標準偏差Ｂσならびに、第１部位に相当する候補の画素値の平均値Ａ_ａｖｅと標準偏差Ａσに基づいて第２部位に相当する候補を選定しても良い。選定部６は、例えば、次式の条件を満たす候補を第２部位に相当する候補として選定することが出来る。
（数６）
|B_ave - A_ave| < TH18
|B_σ - A_σ| < TH19
但し、上述の（数６）において、ＴＨ１８、１９は、画像処理装置１を使用する単数または複数のユーザの平均的な第１部位と第２部位を予め計測することによって規定される任意の閾値である。例えば、ＴＨ１８＝２０、ＴＨ１９＝５であれば良い。なお、ＴＨ１８、ＴＨ１９は、近接する皮膚の色素は類似している生体的特徴に基づいて規定することが出来る。

図５（ｂ）に示す通り、画像処理装置１（例えば、選定部６）は、検出部４が検出した第１部位に相当する候補と、選定部６が選定した第２部位に相当する候補を結合させたものをユーザの手指として、当該手指の外縁（輪郭）から任意の方法で手指先位置を検出することが出来る。画像処理装置１は、手指先位置の検出方法として、例えば、「Survey on Skin Tone Detection using Color Spaces, C. Prema et al., International Journal of Applied Information Systems 2(2):18-26, May 2012. Published by Foundation of Computer Science, New York, USA.」に開示される方法を用いることが出来る。画像処理装置１は検出した手指先位置を外部装置（例えば、情報処理端末装置など）に出力する。

なお、画像処理装置１は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路で構成しても良い。

図６は、画像処理装置１による画像処理のフローチャートである。取得部２は、例えば、撮像素子が撮像する少なくともユーザの第１部位と第２部位が含まれる画像を撮像素子から受け取る（ステップＳ６０１）。なお、ステップＳ６０１においては、取得部２は、撮像素子から受け取る画像がアナログ画像の場合は、離散的な位置におけるアナログ信号と信号を摘出する処理となる標本化を行った後に、有限分解能の数値に返還する処理となる量子化を行うことでディジタル画像に変換しても良い。また、取得部２は、例えば、３０ｆｐｓの間隔で、撮像素子に画像撮像の指示を行うことで画像を取得しても良い。なお、第１部位は手背（手の甲と称しても良い）と手指の第２関節から第３関節を含む部位を示し、第２部位は第２関節から手指の指先までの方向に属する部位を示すものとして説明する。また、説明の便宜上、手背と手指が撮像素子の方向を向いた状態（換言すると撮像素子と対向する状態）であり、かつ、インタラクション操作の為に一本の手指（例えば、人差し指）が伸びた状態であるものとして説明する。取得部２は、取得した画像を抽出部３に出力する。

抽出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位と第２部位の候補となる候補群を、画像の画素値に基づいて抽出する（ステップＳ６０２）。換言すると、抽出部３は、例えば、画像の隣接画素の画素値の差分に基づいて規定され、かつ、第１部位と第２部位が分離して抽出される所定の第１画素値に基づいて候補群を抽出する。具体的には、抽出部３は、肌色領域に含まれる画素を複数の領域（第１部位と第２部位の候補となる候補群）に分離する。抽出部３は、例えば、肌色領域内の隣接画素間の画素値の差分を用いて候補群を上述した抽出部３の処理方法を用いて抽出する。ここで、図示はしないが、ステップＳ６０２において、候補群が抽出されない場合は、異なる時間（例えば、次フレーム）に取得部２が画像を取得し（ステップＳ６０１）、抽出部３はステップＳ６０２の処理を再度実行しても良い。

更に、ステップＳ６０２において、抽出部３は、処理負荷の軽減の観点から、上述した抽出部３の処理方法を用いて画像の肌色領域と肌色領域以外を区別し、肌色領域以外を一連の画像処理対象から除外しても良い。図６に示すフローチャートにおいては、説明の便宜上、抽出部３は、画像の肌色領域と肌色領域以外を区別し、肌色領域以外を一連の画像処理対象から除外するものとして説明する。抽出部３は、抽出した候補群を検出部４と選定部６に出力する。

検出部４は、候補群を抽出部３から受け取る。検出部４は、上述した検出部４の処理方法を用いて第１部位の生体的特徴に基づいて候補群から第１部位に相当する候補を検出する（ステップＳ６０３）。なお、生体的特徴は、例えば、第１部位の面積、第１部位の形状、または、第１部位の画素値の統計量の少なくとも一つを含んでいれば良い。検出部４は、検出した第１部位の候補を規定部５に出力する。

規定部５は、検出部４が検出した第１部位に相当する候補を検出部４から受け取る。規定部５は、第１部位の候補の外縁に基づいて第１部位と第２部位の接続方向を、上述した規定部５の処理方法を用いて規定する（Ｓ６０４）。なお、ステップＳ６０２において、なお、規定部５は、複数の平行線分を検出した場合（換言すると、親指と人差し指の第２関節から第３関節の部位の平行線分を検出した場合）は、例えば、一番長い平行線分を、ユーザがインタラクティブ操作を実施している手指とみなしても良い。規定部５は、規定した第１部位と第２部位の接続方向を選定部６に出力する。

選定部６は、接続方向を規定部５から受け取り、候補群を抽出部３から受け取る。選定部６は、接続方向に基づいて第１部位に相当する候補を除いた候補群から第２部位に相当する候補を、上述した選定部６の処理方法を用いて選定する（ステップＳ６０５）。選定部６は、例えば、平行線分の中線の延長線と候補群の外縁の距離、または、平行線分の延長線間の領域に基づいて第２部位に相当する候補を選定する。更に、選定部６は、例えば、選定部６は、候補群の面積、または、第１部位と候補群の画素値に更に基づいて第２部位に相当する候補を選定する。なお、ステップＳ６０５において、選定部６は、堅牢性を向上させる為に、上述した各選定処理を組み合わせて第２部位に相当する候補を検出しても良い。

画像処理装置１（例えば、選定部６）は、検出部４が検出した第１部位に相当する候補と、選定部６が選定した第２部位に相当する候補を結合させたものをユーザの手指として、当該手指の外縁（輪郭）から任意の方法で手指先の位置を検出する（ステップＳ６０６）ことで、画像処理装置１は図６のフローチャートに示す画像処理を終了する。

実施例１の画像処理装置においては、背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。なお、実施例１では、手が肌色であり、かつ背景も肌色であり方法が類似している場合を例として説明したが、実施の形態はこれに限定されない。例えば、手指が手袋などで覆われていて、手袋の色に類似した背景を使用する場合などにも、実施例１の形態が適用できることは言うまでもない。

（実施例２）
図７は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図７に示す通り、画像処理装置１は、コンピュータ１００、およびコンピュータ１００に接続する入出力装置（周辺機器）を含んで構成される。

コンピュータ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０２と複数の周辺機器が接続されている。なお、プロセッサ１０１は、マルチプロセッサであってもよい。また、プロセッサ１０１は、例えば、ＣＰＵ、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、またはＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）である。更に、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、例えば、プロセッサ１０１は、図１の取得部２、抽出部３、検定部４、規定部５、選定部６等の機能ブロックの処理を実行することが出来る。

ＲＡＭ１０２は、コンピュータ１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。

バス１０９に接続されている周辺機器としては、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。

ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、例えば、コンピュータ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することも出来る。

グラフィック処理装置１０４には、モニタ１１０が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、各種画像をモニタ１１０の画面に表示させる。モニタ１１０としては、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）を用いた表示装置や液晶表示装置などがある。

入力インタフェース１０５には、キーボード１１１とマウス１１２とが接続されている。入力インタフェース１０５は、キーボード１１１やマウス１１２から送られてくる信号をプロセッサ１０１に送信する。なお、マウス１１２は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク１１３に記録されたデータの読み取りを行う。光ディスク１１３は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク１１３には、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＣＤ−Ｒ（Ｒｅｃｏｒｄａｂｌｅ）／ＲＷ（ＲｅＷｒｉｔａｂｌｅ）などがある。可搬型の記録媒体となる光ディスク１１３に格納されたプログラムは光学ドライブ装置１０６を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１より実行可能となる。

機器接続インタフェース１０７は、コンピュータ１００に周辺機器を接続するための通信インタフェースである。例えば、機器接続インタフェース１０７には、メモリ装置１１４、メモリリーダライタ１１５、ならびに撮像素子１１８を接続することが出来る。メモリ装置１１４は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ１１５は、メモリカード１１６へのデータの書き込み、またはメモリカード１１６からのデータの読み出しを行う装置である。メモリカード１１６は、カード型の記録媒体である。撮像素子１１８は、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子１１８は、例えば、ユーザの第１部位と第２部位を含む画像を撮像する。

ネットワークインタフェース１０８は、ネットワーク１１７に接続されている。ネットワークインタフェース１０８は、ネットワーク１１７を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。

コンピュータ１００は、たとえば、コンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、上述した画像処理機能を実現する。コンピュータ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことが出来る。上記プログラムは、１つのまたは複数の機能モジュールから構成することが出来る。例えば、図１に記載の取得部２、抽出部３、検出部４、規定部５、選定部６の処理を実現させた機能モジュールからプログラムを構成することが出来る。なお、コンピュータ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、コンピュータ１００に実行させるプログラムを、光ディスク１１３、メモリ装置１１４、メモリカード１１６などの可搬型記録媒体に記録しておくことも出来る。可搬型記録媒体に格納されたプログラムは、例えば、プロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することも出来る。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出する検出部と、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定する規定部と、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定する選定部
を備えることを特徴とする画像処理装置。
（付記２）
前記画像に含まれる前記候補群を前記画像の画素値に基づいて抽出する抽出部を更に備えることを特徴とする付記１記載の画像処理装置。
（付記３）
前記第１部位は手背と手指の第２関節から第３関節を含む部位であり、前記第２部位は前記第２関節から前記手指の指先までの方向に属する部位であることを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記抽出部は、前記画像の隣接画素の前記画素値の差分に基づいて規定され、かつ、前記第１部位と前記第２部位が分離して抽出される所定の第１画素値に基づいて前記候補群を抽出することを特徴とする付記２または付記３記載の画像処理装置。
（付記５）
前記規定部は、前記外縁から規定される前記外縁の平行線分に基づいて前記接続方向を規定することを特徴とする付記１ないし付記４の何れか一つに記載の画像処理装置。
（付記６）
前記生体的特徴は、前記第１部位の面積、前記第１部位の形状、または、前記第１部位の前記画素値の統計量の少なくとも一つを含むことを特徴とする付記１ないし付記５の何れか一つに記載の画像処理装置。
（付記７）
前記選定部は、前記平行線分の中線の延長線と前記候補群の外縁の距離、または、前記平行線分の延長線間の領域に基づいて前記第２部位に相当する前記候補を選定することを特徴とする付記５または付記６記載の画像処理装置。
（付記８）
前記選定部は、前記候補群の面積、または、前記第１部位と前記候補群の画素値に更に基づいて前記第２部位に相当する前記候補を選定することを特徴とする付記５ないし付記７の何れか一つに記載の画像処理装置。
（付記９）
ユーザの第１部位と第２部位を含む画像を取得し、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出し、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定し、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定すること
を含むことを特徴とする画像処理方法。
（付記１０）
前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群を、前記画像の画素値に基づいて抽出することを更に含む付記９記載の画像処理方法。
（付記１１）
前記第１部位は手背と手指の第２関節から第３関節を含む部位であり、前記第２部位は前記第２関節から前記手指の指先までの方向に属する部位であることを特徴とする付記９または付記１０記載の画像処理方法。
（付記１２）
前記抽出することは、前記画像の隣接画素の前記画素値の差分に基づいて規定され、かつ、前記第１部位と前記第２部位が分離して抽出される所定の第１画素値に基づいて前記候補群を抽出することを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記規定することは、前記外縁から規定される前記外縁の平行線分に基づいて前記接続方向を規定することを特徴とする付記９ないし付記１２の何れか一つに記載の画像処理方法。
（付記１４）
前記生体的特徴は、前記第１部位の面積、前記第１部位の形状、または、前記第１部位の前記画素値の統計量の少なくとも一つを含むことを特徴とする付記９ないし付記１３の何れか一つに記載の画像処理方法。
（付記１５）
前記選定することは、前記平行線分の中線の延長線と前記候補群の外縁の距離、または、前記平行線分の延長線間の領域に基づいて前記第２部位に相当する前記候補を選定することを特徴とする付記１３または付記１４記載の画像処理方法。
（付記１６）
前記選定することは、前記候補群の面積、または、前記第１部位と前記候補群の画素値に更に基づいて前記第２部位に相当する前記候補を選定することを特徴とする付記１３ないし付記１５の何れか一つに記載の画像処理方法。
（付記１７）
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出し、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定し、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定すること
を実行させることを特徴とする画像処理プログラム。

１画像処理装置
２取得部
３抽出部
４検出部
５規定部
６選定部

Claims

ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出する検出部と、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定する規定部と、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定する選定部
を備えることを特徴とする画像処理装置。
前記画像に含まれる前記候補群を前記画像の画素値に基づいて抽出する抽出部を更に備えることを特徴とする請求項１記載の画像処理装置。
前記第１部位は手背と手指の第２関節から第３関節を含む部位であり、前記第２部位は前記第２関節から前記手指の指先までの方向に属する部位であることを特徴とする請求項１または請求項２記載の画像処理装置。
前記抽出部は、前記画像の隣接画素の前記画素値の差分に基づいて規定され、かつ、前記第１部位と前記第２部位が分離して抽出される所定の第１画素値に基づいて前記候補群を抽出することを特徴とする請求項２または請求項３記載の画像処理装置。
前記規定部は、前記外縁から規定される前記外縁の平行線分に基づいて前記接続方向を規定することを特徴とする請求項１ないし請求項４の何れか一項に記載の画像処理装置。
前記生体的特徴は、前記第１部位の面積、前記第１部位の形状、または、前記第１部位の前記画素値の統計量の少なくとも一つを含むことを特徴とする請求項１ないし請求項５の何れか一項に記載の画像処理装置。
前記選定部は、前記平行線分の中線の延長線と前記候補群の外縁の距離、または、前記平行線分の延長線間の領域に基づいて前記第２部位に相当する前記候補を選定することを特徴とする請求項５または請求項６記載の画像処理装置。
前記選定部は、前記候補群の面積、または、前記第１部位と前記候補群の画素値に更に基づいて前記第２部位に相当する前記候補を選定することを特徴とする請求項５ないし請求項７の何れか一項に記載の画像処理装置。
ユーザの第１部位と第２部位を含む画像を取得し、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出し、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定し、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定すること
を含むことを特徴とする画像処理方法。
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記第１部位の生体的特徴に基づいて、前記画像に含まれる前記第１部位と前記第２部位の候補となる候補群から前記第１部位に相当する前記候補を検出し、
前記第１部位に相当する前記候補の外縁に基づいて前記第１部位と前記第２部位の接続方向を規定し、
前記接続方向に基づいて前記候補群から第２部位に相当する前記候補を選定すること
を実行させることを特徴とする画像処理プログラム。