JP2012146182A - 爪領域検出装置およびネイルアートシミュレータ - Google Patents

Abstract

【課題】照明による影やハレーションに対する耐性が高く、指領域と爪領域を正確に分離できる爪領域検出方法および装置ならびにネイルアートシミュレータを提供する。
【解決手段】指領域分離部２０１は、手指の画像を指領域とその背景領域とに分離する。指軸検出部２０２は、指領域の対称軸を指軸として検出する。軸対称平滑化部２０３は、前記指軸を中心に軸対称の位置関係にある画素ペアの画素値を平滑化する。爪領域抽出部２０４は、軸対称で画素値を平滑化された指領域を、その輝度を代表できる画素値に基づいて爪領域と肌領域とに分離して爪領域を抽出する。ネイル画像重畳部２０５は、抽出された爪領域にネイルアート画像を重畳表示することでネイルアートをシミュレートする。
【選択図】図３

Description

本発明は、携帯電話に実装されたデジタルカメラ機能により撮影された指の画像から爪領域を検出する爪領域検出装置および前記検出された爪領域にネイルアートをシミュレートするネイルアートシミュレータに関する。

ファッションとしてのネイルアートはデザインの多様化・技術の進歩が進んでおり、近年では光沢があって立体的にデザインできる施術方法として「ジェルネイル」が人気である。しかしながら、ジェルネイルでは紫外線を照射してアクリル樹脂のジェルを固める必要があるため、手軽に脱着することができない。そのため、付け爪の結果を事前かつ容易に確認できるシミュレーションシステムの実現が望まれている。

一方、広く普及している携帯電話の多くにはデジタルカメラ機能が実装されているので、このカメラ機能を利用してユーザが自身の指画像を撮影し、爪領域を自動認識させて所望のネイルアートを擬似的に重畳することにより、付け爪の結果を事前かつ容易に確認できるようになる。ここで、指画像から爪領域を検出する際には、爪領域の反射率が肌領域の反射率に較べて高いことに着目し、輝度の高い領域を爪領域と認識するアルゴリズムが多く採用される。

しかしながら、被写体からの反射光の状態は光源の位置とカメラの向きとの相対的な位置関係に依存するため、携帯カメラを利用した簡易撮影のように、光源（照明）の位置を最適化できない環境下で撮影された指画像では、ハレーションや影の影響により爪領域を正確に検出することが困難であった。

このような技術課題に対して、非特許文献１には、ブルーバックで手領域を抽出した後、抽出領域を細線化した際の端点を爪位置と認識してネイルアート画像を重畳する技術が開示されている。非特許文献2には、被験者の肌領域の色分布を学習させ、爪の有無を検出することで手の表裏を判断する技術が開示されている。非特許文献３には、爪と肌との反射率の違いに着目し、撮影の際にフラッシュを用いることで、輝度情報に基づいて携帯カメラ画像から爪領域を検出する手法が開示されている。

斉藤久美子，"カメラ付き携帯電話を用いたネイルアートシミュレーション"，東京工科大学工学部情報工学科卒業論文(Feb.2005)． 玉城絵美，"インタラクションシステムのための高精度な3次元ハンドジェスチャ認識手法"，情報処理学会論文誌 vol.51 No.2 pp.229-239(Feb.2010) 津田藍花，"ライトによる輝度分布特性を用いたネイルアートシミュレーション"，映像情報メディア学会2009年年次大会 (Aug.2009)

非特許文献１では、爪領域そのものは検出されておらず、手や指の形状に基づいて爪領域が推定されるのみであり、手や指に対する爪の大きさや形状には個人差があるために位置ずれが発生し易い。非特許文献2では、システムが手の表裏を判定するために想定する爪領域の抽出率が爪領域全体の20%程度であり、爪領域全体の抽出は困難である。そのため、特にファッションとして利用されるネイルアートのための爪領域検出の精度としては十分ではなかった。

非特許文献３では、携帯カメラのフラッシュが照明として利用されるため、撮影画像の一部に白飛びが生じる可能性があり、爪領域の検出に好適な画像を取得することが難しい。また、フラッシュの位置が爪領域の中心に向かって当該爪領域の中心の法線ベクトル線上にある場合を除いて、照明位置の影響で爪領域内であっても反射率が異なったり影が生じたりして画素が均一にならないことがある。

本発明の目的は、上記した従来技術の課題を解決し、照明による影やハレーションに対する耐性が高く、照明の条件にかかわらず指領域と爪領域とを正確に分離できる爪領域検出装置およびネイルアートシミュレータを提供することにある。

上記の目的を達成するために、本発明の爪領域検出装置は、以下のような手段を講じた点に特徴がある。

(1)指を含む画像から指領域を分離する指領域分離手段と、前記指領域の対称軸を指軸として検出する指軸検出手段と、前記指領域において前記指軸を中心に軸対称の位置関係にある画素ペアについて、その輝度を代表できる画素値を平滑化する軸対称平滑化手段と、

前記指領域から前記平滑化された画素値に基づいて爪領域を抽出する爪領域抽出手段とを具備し、爪領域抽出手段は、輝度が相対的に高い領域を爪領域として抽出するようにした。

(2)爪領域抽出手段は、前記指領域を各画素の画素値に基づいて複数の領域に分割し、最高輝度の領域をシードとする分水嶺方式により爪領域を抽出するようにした。

(3)指軸検出手段は、前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、各左右端部の中点集合を通る直線群を検出する第２手順と、各直線群が前記ラスタスキャンの方向と直交するように当該ラスタスキャンの方向を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とするようにした。

(4)指軸検出手段は、前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、各左右端部の中点集合を通る直線群を検出する第２手順と、各直線群が前記ラスタスキャンの方向と一直線で直交するように 前記指領域を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とするようにした。

(5)本発明のネイルアートシミュレータはさらに、ネイルアート模様を爪領域の形状に加工して当該爪領域に重畳表示するネイルアートシミュレート手段を具備した。

本発明によれば、以下のような効果が達成される。

(1)指および爪の形状が軸対称であることに着目し、指領域の画像において軸対称の位置関係にある画素ペアについて、その輝度を代表できる画素値を平滑化するので、光源の位置にかかわらず、爪領域の輝度を肌領域の輝度よりも常に高くできる。したがって、光源の位置にかかわらず画素値に基づいて爪領域を正確に検出できるようになる。

(2)指領域の画像の輝度情報を地図の高度ないしは深度の情報に見立てることで、爪領域がWatershed（分水嶺）法により検出されるので、環状に分布して閉形状となる爪領域を正確に検出できるようになる。

(3)指領域の画像をラスタスキャンして左右の端部を検出し、その中点集合を通る直線を指軸に設定すると共に、指が曲がっているなどして直線が一意に定まらないときには、直線群がラスタスキャンの方向と直交するように当該ラスタスキャンの方向を各直線群の範囲ごとに回転させながら前記中点集合および直線群の検出が繰り返されるので、指が曲がっていても対称軸を正確に検出できるようになる。

(4)指領域の画像をラスタスキャンして左右の端部を検出し、その中点集合を通る線分を指軸に設定すると共に、指が曲がっているなどして指軸が一意に定まらないときには、直線群がラスタスキャンの方向と一直線で直交するように前記指領域を各直線群の範囲ごとに回転させながら前記中点集合および直線群の検出が繰り返されるので、指が曲がっていても対称軸を正確に検出できるようになる。

(5)検出された爪領域に所望のネイルアート画像を重畳表示できるので、所望のネイルアートを簡単にシミュレートできるようになる。

本発明の概要を示した図である。 本発明の一実施形態に係る携帯電話の機能ブロック図である。 ネイルアートシミュレータとしての動作手順を示した機能ブロック図である。 指軸の検出方法（その１）を示した図である。 指軸の検出手順（その１）を示したフローチャートである。 指軸の検出手順（その２）を示したフローチャートである。 指軸の検出方法（その２）を示した図である。 軸対称平滑化処理を説明するための図である。 軸対称平滑化処理の有無による爪領域の検出結果を比較した図である。 本発明による爪領域の検出結果を従来技術と比較した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の概要を示した図であり、ここでは、本発明の一実施形態に係るネイルアートシミュレータが携帯電話１に実装されている場合を例にして説明する。

ネイルアートのシミュレーションを所望するユーザは、自身の携帯電話１に予めインストールされているネイルアートシミュレータのアプリケーション（以下、ネイルアートアプリと表現する）を起動し、案内表示にしたがってデジタルカメラ機能により自身の手の指画像を撮影する[同図(a)]。次いで、撮影された指画像に対して、後述する背景分離処理および爪検出処理が実行されて前記指画像から爪領域１１が検出される[同図(b)]。

次いで、ネイルアート模様のデータベース２を備えたサーバ３にアクセス[同図(d)]して所望のネイルアート模様を取得するか、あるいは予め携帯電話１に記憶されている様々なネイルアート模様の一つを端末ユーザがキー操作で選択すると、当該ネイルアート模様１２が前記抽出された爪領域の形状に加工されて当該爪領域に重畳表示される[同図(c)]。

図２は、本発明の一実施形態に係る携帯電話の機能ブロック図であり、内蔵されたデジカメ機能により撮影された指画像から爪領域を検出し、この爪領域にネイルアートを仮想的に試行するネイルアートシミュレータ機能を搭載している。

携帯電話１において、MＰＵ(Micro Processing Unit)１０は、携帯電話１の主要動作を制御する。ＲＯＭ１１には、各種の制御プログラムや制御データが不揮発に記憶されている。RAM１２は、前記MPU２１にワークエリアを提供する。

カメラ制御部１７は、撮像ユニット１８を制御して手の指画像を撮影する。撮影された指画像は、バス３０経由でビデオRAM２３上に展開されて表示制御部１５により液晶表示パネル１６に表示される。また、操作キー２５に対する端末ユーザの保存操作が入力操作受付部２４により検知されると、前記撮影画像は画像処理部１９へ転送されて符号化圧縮された後にRAM１２へ記憶される。

通信制御部１３は、アンテナ１４を介して基地局との間で電波の送受信を行い、受信波から得られる音声コードを音声コーデック２０へ転送する一方、音声コーデック２０から転送された音声コードを送信波に変換してアンテナ１４から送信する。前記音声コーデック２０は、前記通信制御部１３から転送された音声コードを復号してスピーカ２１へ音声信号として出力する一方、マイクロフォン２２で検知された音声信号を符号化して前記通信制御部１３へ転送する。

測位部２６は、GPS受信部２７が複数のGPS衛星から受信したGPS信号を解読して現在位置を測位する。赤外線インターフェース２８は、赤外線通信部２９を制御して近接端末との間で赤外線通信を実行する。

図３は、ネイルアートシミュレータの機能ブロック図であり、主にMPU１０がROM１１に記憶されている制御プログラムおよび制御データに基づいて各部を制御することにより実現される。

指領域分離部２０１は、前記カメラ制御部１７および撮像ユニット１８により撮影された手指の画像を、指領域とその背景領域とに分離する。指軸検出部２０２は、前記指領域の対称軸を指軸として検出する。軸対称平滑化部２０３は、指領域のグレースケール化された画像を対象に、前記指軸を中心に軸対称の位置関係にある画素ペアの画素値（輝度値）を平滑化する。

爪領域抽出部２０４は、前記軸対称で画素値を平滑化された指領域を、その画素値（輝度値）に基づいて爪領域と肌領域とに分離して爪領域を抽出する。ネイル画像重畳部２０５は、前記抽出された爪領域に、別途に選択あるいは取得されたネイルアート画像を重畳表示することでネイルアートをシミュレートする。

次いで、各部の動作について更に詳細に説明する。前記指領域分離部２０１は、撮影画像の色空間をRGB色空間からHSV(Hue[色相]、Saturation[彩度]、Brightness[明度])色空間に変換する色空間変換部２０１ａを具備し、指領域の分離に先だって、前記指画像の色空間を次式(1)に基づいて、RGB色空間からHSV色空間に変換する。なお、MAXはR，G，Bの３つの値の内で最大のもの、MINは最小のものを表している。

前記指領域分離部２０１は更に、指の色は肌色であって肌色の検出には特にH成分が有効であるという経験則に基づいて、例えば６≦H≦３０の画素領域を指領域候補として検出し、この検出結果に基づいて指領域(爪領域およびそれ以外の肌領域を含む)を背景画像から分離する。この分離には、例えばGrabcut（非特許文献：Carsten Rother，""GrabCut": interactive foreground extraction using iterated graph cuts"，In Proceeding of ACM SIGGRAPH 2004 vol.23 Issue 3）を利用できる。

前記Grabcutは、手動で与えられたシードに対して画素値をエネルギーとして領域分割のエネルギーを最適化することで領域を分割する手法である。本手法は、例えば公開されているソフトウエア(Open CV：http://opencv.jp/)を携帯電話１に実装することで実現できる。Open CVでは、特に手動でシードを与えず、先に検出された指領域候補をそのままシードとして適用することにより、指領域候補を背景画像から分離できる。この指領域候補に対して、メディアンフィルタなどを利用して背景との境界部分を滑らかにすることで、最終的に指領域が分離される。

前記指軸検出部２０２は、背景から分離された指領域[図４(a)]の対称軸（指軸）を検出する。図５は、前記指軸検出部２０２の動作を示したフローチャートであり、ステップＳ１０１では、前記指領域の画像を、その長手方向と垂直にラスタスキャン[同図(b)]することにより、指領域の左右端部が検知[同図(c)]される。ステップＳ１０２では、前記各左右端部の中点が算出[同図(d)]される。ステップＳ１０３では、前記中点の集合にHough変換を適用して当該中点集合を通る直線または直線群が検出されて指軸候補とされる。

ステップＳ１０４では、各指軸候補と前記スキャン方向とのなす角度が所定の範囲内であるか否かが判定される。本実施形態では、各指軸候補とスキャン方向とが略直交関係にあるか否かが判定される。各指軸候補がスキャン方向と略直交関係になければ[同図(e)]ステップＳ１０６へ進み、各指軸候補が前記スキャン方向と直交するように、前記指領域の画像が前記検出された指軸候補の範囲ごとに回転(アフィン変換)されて各指軸候補が一直線化される。

その後、当該処理はステップＳ１０１へ戻り、前記各指軸候補が一直線化するように加工された指領域の画像を対象に前記指軸検出の各処理が繰り返され、ステップＳ１０４において、各指軸候補がスキャン方向と略直交関係にある指領域画像が得られると、ステップＳ１０５へ進んで現在の指軸候補が指軸Aに決定[同図(f)]される。

図６は、前記指軸検出部２０２による指軸検出の他の動作を示したフローチャートであり、前記と同一の符号を付した手順では同一または同等の処理が実施される。

ここでは、前記ステップＳ１０４において、各指軸候補がスキャン方向と略直交関係にないと判定されるとステップＳ１０７へ進み、各指軸候補とスキャン方向とが直交するようにスキャン方向が指軸候補の範囲ごとに回転される。

その後、当該処理はステップＳ１０１へ戻り、前記各指軸候補とスキャン方向とが直行するようにスキャン方向の修正が繰り返され、ステップＳ１０４において、各指軸候補がスキャン方向と略直交関係にあると判定[図７(a)]されると、ステップＳ１０５へ進んで現在の各指軸候補を結んだ線分が指軸Aに決定[同図(b)]される。

次いで、前記軸対称平滑化部２０３の動作について説明する。物体の色は、その反射光が人の目に入射することで認識される。輝度は照明の反射の影響を受けており、Phongの反射モデルを用いれば、強度Lの点光源による物体面上の点Pの反射光Eは次式(2)で表すことができる。

ただし、ρは点Pの双方向反射率分布関数であり、材質および光源方向と視点方向によって定まる値である。rは点光源と点Pとの距離、θは光源の入射方向と点Pの接平面の法線とがなす角を表している。また、光は重ね合わせの原理が成り立つので、n個の照明が存在する場合の反射光Eは次式(3)で表現できる。

ある照明Aが存在するとき、軸対称の位置関係にある物体面上の点P，Qについて、軸上の点で観測される点P，Qの各反射光E_P，E_Qは次式(4)で与えられる。

ただし、ρ_APは点Pにおける照明Aの入射方向と視点方向とによって定まる双方向反射率を示す。一方向から照明を当てることによって発生した輝度ムラを防ぐには、対称位置から同じ照明を当てればよい。そこで、図８に示したように、照明Aと軸対称の位置関係にある照明Bについて考えるとき、点P，Qの各反射光E_P'，E_Q'は次式(5)で表される。

このとき、対称性よりL_A＝L_B，ρ_BP＝ρ_AQ，ｒ_BP=r_AQ，θ_BP＝θ_AQが成り立つため、点Pにおける反射光E_P'は，点P，Qにおける照明Aの反射のみで次式(6)のように表現できる。

つまり、対称関係にある2点の反射の和を考えることで、光源の方向や数を推定することなく、照明の影響を軽減することができる。本実施形態では、このような原理を利用して、グレースケール化された指領域の画像を対象に、軸対称の位置関係にある全ての画素ペアの画素値（ここでは、輝度値）Iを、各画素の画素値Ia，Ibの和（Ia＋Ib）に書き換えることで画素値が平滑化される

次いで、前記爪領域抽出部２０４の動作について説明する。当該爪領域抽出部２０４は、前記平滑化された指領域にWaterShed法を適用して爪領域候補を抽出し、さらに楕円フィッティングを適用することで爪領域の枠を決定する。本実施形態では、前記平滑化された指領域における各画素の輝度値を地図の高度情報または深度情報に見立てて同一輝度の範囲が等高線または等深線で囲い込み、所定のシード点から水を流し込んだ際の分水領を検出することで指領域を爪領域と肌領域とに分離する。

図９は、指画像に前記軸対称平滑化部２０４により平滑化処理を行うことなく前記WaterShed法を適用した場合[同図(a)]と、前記平滑化処理を行った後に前記WaterShed法を適用した場合[同図(b)]とを比較した図である。同図(a)では、照明の影響で左側が明るくなっており、WaterShed法でも爪領域と肌領域を分離できない。これに対して、本発明を適用した同図(b)では、等高(等深)線が爪領域の輪郭に沿って形成されており、WaterShed法を適用することで爪領域を正確に抽出できることが判る。

なお、WaterShed法はSeedを必要とするが、本実施形態では、輝度が最も高い領域を爪領域のseedとする一方、前記指軸上で前記爪領域から所定の距離理以上離れた位置、あるいはH成分が30以下となる範囲のうち画面内に占める割合が最大の範囲を肌領域のseedとする。以上のようにして爪領域候補が抽出されると、当該爪領域候補に楕円フィッティングを適用することで爪領域の枠が決定される。

図１０は、２種の指画像を対象に前記平滑化処理を適用することなく爪領域抽出を行った結果[同図(a)，(b)]と、前記平滑化処理を適用して爪領域抽出を行った結果[同図(c)，(d)]とを示した図であり、本発明を適用した(c)，(d)では、画素値が軸対称で平滑化されているので爪領域が正確に抽出されていることが判る。

２０１…指領域分離部，２０２…指軸検出部，２０３…軸対称平滑化部，２０４…爪領域抽出部，２０５…ネイル画像重畳部

Claims (10)

1. 指を撮影した画像から爪領域を検出する爪領域検出装置において、
   指を含む画像から指領域を分離する指領域分離手段と、
   前記指領域の対称軸を指軸として検出する指軸検出手段と、
   前記指領域において前記指軸を中心に軸対称の位置関係にある画素ペアの画素値を平滑化する軸対称平滑化手段と、
   前記指領域から前記平滑化された画素値に基づいて爪領域を抽出する爪領域抽出手段とを具備し、
   前記画素値は輝度を代表し、
   前記爪領域抽出手段は、輝度が相対的に高い領域を爪領域として抽出することを特徴とする爪領域検出装置。
2. 前記爪領域抽出手段は、前記平滑化された画素値に基づいて抽出された爪領域に楕円フィッティングを適用して当該爪領域の境界を決定することを特徴とする請求項１に記載の爪領域検出装置。
3. 前記爪領域抽出手段は、前記指領域を各画素の画素値に基づいて複数の領域に分割し、最高輝度の領域をシードとする分水嶺方式により爪領域を抽出することを特徴とする請求項１または２に記載の爪領域検出装置。
4. 前記指軸検出手段は、
   前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、
   各左右端部の中点集合を通る直線群を検出する第２手順と、
   各直線群が前記ラスタスキャンの方向と直交するように当該ラスタスキャンの方向を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、
   前記各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とすることを特徴とする請求項１ないし３のいずれかに記載の爪領域検出装置。
5. 前記指軸検出手段は、
   前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、
   各左右端部の中点集合を通る直線群を検出する第２手順と、
   各直線群が前記ラスタスキャンの方向と直交するように前記指領域を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、
   前記各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とすることを特徴とする請求項１ないし３のいずれかに記載の爪領域検出装置。
6. 指を撮影した画像から爪領域を検出してネイルアートをシミュレートするネイルアートシミュレータにおいて、
   指を撮影する撮影手段と、
   前記指の撮影画像から指領域を分離する指領域分離手段と、
   前記指領域の対称軸を指軸として検出する指軸検出手段と、
   前記指領域において前記指軸を中心に軸対称の位置関係にある画素ペアの画素値を平滑化する軸対称平滑化手段と、
   前記指領域から前記平滑化された画素値に基づいて爪領域を抽出する爪領域抽出手段と、
   ネイルアート模様を前記爪領域の形状に加工して当該爪領域に重畳表示するネイルアートシミュレート手段とを具備し、
   前記画素値は輝度を代表し、
   前記爪領域抽出手段は、輝度が相対的に高い領域を爪領域として抽出することを特徴とするネイルアートシミュレータ。
7. 前記爪領域抽出手段は、前記平滑化された画素値に基づいて抽出された爪領域に楕円フィッティングを適用して当該爪領域の境界を決定することを特徴とする請求項６に記載のネイルアートシミュレータ。
8. 前記爪領域抽出手段は、前記指領域を各画素の画素値に基づいて複数の領域に分割し、最高輝度の領域をシードとする分水嶺方式により爪領域を抽出することを特徴とする請求項６または７に記載のネイルアートシミュレータ。
9. 前記指軸検出手段は、
   前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、
   各左右端部の中点集合を通る直線群を検出する第２手順と、
   各直線群が前記ラスタスキャンの方向と直交するように当該ラスタスキャンの方向を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、
   前記各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とすることを特徴とする請求項６ないし８のいずれかに記載のネイルアートシミュレータ。
10. 前記指軸検出手段は、
    前記指領域をその長手方向と垂直にラスタスキャンして左右端部を検出する第１手順と、
    各左右端部の中点集合を通る直線群を検出する第２手順と、
    各直線群が前記ラスタスキャンの方向と直交するように 前記指領域を前記各直線群の範囲ごとに回転させながら前記第１および第２手順を繰り返す第３手順とを含み、
    前記各ラスタスキャンの方向と略直交している直線群を結んだ線分を指軸とすることを特徴とする請求項６ないし８のいずれかに記載のネイルアートシミュレータ。