JP2022116375A - ネイルサイズ推定装置 - Google Patents

Abstract

【課題】被験者の手の爪に適合するネイルチップを判定するネイルサイズ推定装置を提供する。【解決手段】ネイルサイズ推定装置は、被験者の手の撮影平面画像を、二色画像から手の輪郭画像を抽出する手輪郭抽出手段と、前記手の輪郭画像から各指の位置座標を特定・設定し、設定された各指の位置座標のうち手の重心の位置座標からの距離が最大となる位置座標を各指候補として設定する指位置特定手段と、被験者の手の撮影平面画像を、爪のカラーヒストグラムを基準として設定された閾値のカラー値を境界として二色画像化した二色画像とし、該二色画像から各爪の輪郭画像を抽出し、該爪の輪郭画像から各爪の重心の位置座標を算出して前記各指候補の位置座標との距離が最小となる指候補を対応する前記各爪の輪郭画像として設定する爪輪郭抽出手段と、該爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から爪サイズ推定手段と、を有する。【選択図】図１

Description

本発明は、スマートフォン等で撮影したユーザの手の撮影画像を画像処理してユーザ個々の爪サイズを計測（推定）し得るネイルサイズ推定装置に関する。

ネイルアートが女性を中心に多くの関心を集めており、当該ネイルアートに関する様々な施術を行うネイルサロンも数多く経営されている。従来、ネイルアートは、ユーザがネイルサロンにおいて所望の施術を受け、自身の爪に装飾を行うものであるが、近年では市販品のネイルグッズを用いてネイルサロン又はユーザ自身が簡易に比較的簡便に本格的なネイルアートを楽しむことができるものとしてネイルチップが人気である（特許文献１～特許文献３参照）。

ネイルチップは、ユーザの爪のサイズ・形状を考慮してさまざまな種類（例えば、Ｏ，ＯＳ、Ｐ，Ｓ，ＳＳ，ＳＬ）が規格として設定されており、どの種類のネイルチップがユーザに適合するものであるかというユーザの爪サイズの計測は、実際のネイルチップをユーザの爪にあてて行っていた。

特開２００５－２３０５０１号公報 特開２０１６－２１６５３９号公報 特開２０１９－００１９２４号公報

しかしながら、上記従来の方法でユーザの爪サイズの計測を行う際、ネイルチップはある程度の可撓性を有するため計測者の力の入れ加減によってユーザに適合すると判断されるネイルチップのサイズが変わってくるものである。したがって、計測者ごとにユーザの使用に影響が出る程度の誤差が生じていた。

また、上述するさまざまな種類（例えば、Ｏ，ＯＳ、Ｐ，Ｓ，ＳＳ，ＳＬ）のネイルチップは、多様なユーザの爪の縦横長さ・湾曲に応じて代表的な複数のサイズ・形状で分類したものであり、実際のネイルチップをユーザの爪にあてて計測する場合、結局、ネイルチップ全種類をユーザの爪にあてて適合状態を試してみる必要があり、煩雑で計測者の勘頼りの計測となっていた。

このような事情は、発注ミスや指への装着後の交換等、製品歩留まりが悪く、製品価格への転嫁などネイルチップ市場の活性化への阻害要因の１つとなっていた。

さらに、従来は爪サイズの計測を手作業に頼っていたため、ＥＣ販売のような対面しないエンドユーザに対して適合サイズのネイルチップを提供することができず、ネイルチップ自体の普及、特にＥＣ販売市場の拡大が妨げられてた。

上記課題に鑑みて本発明は創作されたものであり、本発明は、サイズ計測者ごとの誤差が発生せず、ユーザ個々の全種類の爪に最適な爪サイズを計測することができるネイルサイズ推定装置を提供することを目的とする。

本発明は、被験者の手の爪に適合するネイルチップを判定するネイルサイズ推定装置を提供する。

本ネイルサイズ推定装置は、被験者の手の撮影平面画像を、色判定を基準として設定された閾値を境界として二色画像化した二色画像（二値化画像）とし、該手の二色画像から手の輪郭画像を抽出する手輪郭抽出手段と、前記手の輪郭画像から各指の位置座標を特定・設定し、設定された各指の位置座標のうち手の重心の位置座標からの距離が最大となる位置座標を各指候補として設定する指位置特定手段と、被験者の手の撮影平面画像を、爪のカラーヒストグラムを基準として設定された閾値のカラー値を境界として二色画像化した二色画像（二値化画像）とし、該二色画像から各爪の輪郭画像を抽出し、該爪の輪郭画像から各爪の重心の位置座標を算出して前記各指候補の位置座標との距離が最小となる指候補を対応する前記各爪の輪郭画像として設定する爪輪郭抽出手段と、該爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から被験者の爪サイズを推定する爪サイズ推定手段と、を有する。

本発明のネイルサイズ推定装置では少なくとも、手輪郭抽出手段と、指位置特定手段と、爪輪郭抽出手段と、爪サイズ推定手段と、を有している。手輪郭抽出手段は概ね、スマートフォン等で撮影したユーザの開いた手の写真画像から手の輪郭を探索してノイズを除去して輪郭抽出する。具体的には、例えば、色判定（ＨＳＶ色空間）によって白黒のみの手の撮影写真画像として二値化し、隣接する画素の最大面積を抽出し（一体物の手の画像として境界領域を確定）、その他の画素をノイズとして除去している。

また、指位置特定手段では概ね、手輪郭抽出手段で抽出した手の輪郭画像から各指の位置座標（位置座標群）を特定し、ラベリング（設定）する。そして、手の輪郭画像から算出した手の重心の位置座標からの距離が極大となる各指の位置座標（点）を各指候補として設定している。

また、爪輪郭抽出手段では概ね、手の撮影平面画像を爪のカラーヒストグラム（色ヒストグラム）から二値化し、爪の輪郭を抽出する。手輪郭抽出手段で行った二値化では手と背景との境界分けとしてグレースケールの所定明度を閾値として白黒で分類することを行っていた。一方、この爪輪郭抽出手段では、爪の色が他の手・指と異なるカラーヒストグラムを有していることに注目し、カラーヒストグラム上で閾値を設けて２つに分類する二値化を行い、所定の隣接する画素の面積領域をもつ領域を各指の爪に相当する画素として設定し、その他の画素を爪以外の領域として設定することで各指の爪輪郭を抽出する。そして、抽出された爪輪郭の画素（群）からそれぞれの重心を算出し、算出された爪の重心の位置座標と指位置特定手段で各指候補として設定された各指の位置座標との距離が最小となるものをマッチングして、各爪の輪郭画像としてラベリング（設定）する。

これにより各指ごとに対応するそれぞれの爪の位置座標（重心点を含む）が画像処理上、紐づけられたこととなる。なお、閾値の設定は、個々の画素で閾値を設けるとノイズが発生するため所定画素領域の平均値でノイズを排除して境界分けするなどの補正処理を行うことが好ましい。

さらに、爪サイズ推定手段では概ね、上記爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から被験者の爪サイズを推定する。詳細には後述する。
本ネイルサイズ推定装置によれば、スマートフォン等で撮影した単なる二次元写真画像から手の輪郭と各指の爪とを認識し、単なる画素集合の画像から各指ごとの爪を認識・設定することを可能としている。これはネイルアートに長年従事し、多数のユザーの指や手の平の特徴情報を経験則で集積している発明者特有の視点で開発した技術であることが理解されよう。

また、前記爪サイズ推定手段は、前記爪輪郭抽出工程で設定された各爪の輪郭画像の領域を長方形画像又は楕円形画像とフィッティングし、フィッティングした長方形の縦横の画素数又は楕円形の長径及び短径の画素数を算出し、算出された長方形の縦横の画素数又は楕円形の長径及び短径の画素数と長さ基準となる対象物の画素数とを比較して、被験者の爪サイズと推定する、ことが好ましい。

本ネイルサイズ推定装置では、上述した手輪郭抽出手段、指位置特定手段、爪輪郭抽出手段、爪サイズ推定手段のうち、爪サイズ推定手段を具体的に示している。

この爪サイズ推定手段では、まず上述した手輪郭抽出手段から爪輪郭抽出手段においてラベリング（設定）された各爪の輪郭画像領域に長方形画像又は楕円形画像（長方形画像又は楕円形画像の輪郭線画像でも良い）をフィッティングし、爪の縦横の画素数を取得する。爪の縦横のサイズを測定するにはフィッティングとして直角の縦横辺で構成される長方形又は長径と短径からの所定距離の軌跡で形成される楕円形を用いれば良い。

但し、爪の縦横の画素数では初期に撮影した条件が設定されていないため単に画素数である。本ネイルサイズ推定装置では、同時に撮影している長さの基準となる撮影画像の画素数を取得し、これと爪の縦横の画素数とを比較することで爪サイズを測定することができる。長さ基準の具体例は以下に説明する。

具体的には、前記手の撮影平面画像の撮影時に、前記長さ基準となる対象物としての円形硬貨が被験者の手と離間した位置で手と同時（又は別途）に撮影されており、前記爪サイズ推定手段は、前記手の撮影平面画像からハフ変換による円検出を用いて前記円形硬貨を検出し、該円形硬貨の径の画素数を算出する。そして、算出された円形硬貨の径の画素数と前記爪輪郭抽出工程で設定された各爪の輪郭画像の画素数とを比較して、両者のサイズ比から被験者の爪サイズを推定する、ことが例示される。

本ネイルチップ推定装置例における爪サイズ推定手段では、上述する長さ基準となる撮影画像として円形の硬貨を用いている。硬貨は統一基準の規格の径で作られた円形物であり、且つどのようなユーザ（計測者）でも所持しているもので全ユーザ対応として有益である。

具体的には、ハフ変換（Hough変換）による円検出を用いる。Hough変換は、通常の直交座標上の硬貨画像を、極座標の三次元の空間に変換して最も頻度の高い位置を求め、それを逆変換して、円を検出する。円の検出の場合には、元になる直角座標上の点（x, y）を、円の中心点（centerX, centerY）と半径radiusの三次元空間に変換し、角度θと距離ρごとに、その個数をメモリ配列上に加算して行く。そして、個数が最大になった組み合わせ（角度θと距離ρの）を元の直角座標に戻したものが、最も円らしい点の集まりとなる。個数を下げてゆくと、次の候補が順次得られ、度θと距離ρを細かく分けることで、精度が上げることができる。

また、前記爪サイズ推定手段で推定された爪サイズと前記手の撮影平面画像に基づく爪画像と実際に使用した爪サイズとを含む画像情報を集積記憶する記憶手段と、爪サイズの推定を所望する被験者の爪画像の爪画像入力手段と、該被験者で実際に使用された爪サイズを爪サイズ入力手段と、前記記憶手段で集積記憶された画像情報から畳み込みニューラルネットワークを用いて入力手段で入力された爪画像の特徴抽出して爪サイズを分類・出力する抽出手段と、前記抽出手段で出力された爪サイズと前記爪サイズ入力手段で入力された被験者で実際に使用された爪サイズとの誤差を算出する算出手段と、を有しても良い。

本ネイルサイズ推定装置によれば、上述する爪サイズ推定手段で計測された爪サイズを含む画像情報を固定サーバやクラウドサーバで集積記憶（更新含む）しておき、畳み込みニューラルネットワーク（CNN）で集積（学習）された爪画像の特徴を抽出し、計測対象の爪画像の入力データと畳み込んで、規定の爪サイズに自動的に分類する。ここで分類された爪サイズと上述してきた爪サイズ推定手段で計測した実際の爪サイズとの誤差を算出する。この誤差は、例えば、別途、計測者に送信する集積記憶された爪サイズを含む画像情報に誤差情報として学習させるなどが考えられる。その結果、上述する手輪郭抽出手段、指位置特定手段、爪輪郭抽出手段、爪サイズ推定手段のうち、爪サイズ推定手段で計測されたユーザ個々の爪の実際の計測サイズの誤差補正に活用することができ、計測精度の向上を図ることができる。

なお、手輪郭抽出手段、指位置特定手段、爪輪郭抽出手段、爪サイズ推定手段と代替えとして、このCNNを活用して出力された爪サイズを誤差補正としてではなく一次的に出力される計測サイズ（実際に計測（推定）された被験者の爪サイズ）として提供することも考えられる。

さらに、被験者の手の爪に適合するネイルチップを判定するネイルサイズ推定装置例として、手の輪郭を有限個の頂点でモデル化し、該モデルを被験者の手の撮影画像に対してフィッティングすることにより、被験者の手の特徴点を抽出することで手の輪郭を抽出する手輪郭抽出手段と、爪の輪郭を有限個の頂点でモデル化し、該モデルを前記手の撮影画像内の各爪画像に対してフィッティングすることにより、被験者の各爪の特徴点を抽出することで爪の輪郭を抽出する爪輪郭抽出手段と、該爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から被験者の爪サイズを推定する爪サイズ推定手段と、を有しても良い。

本ネイルサイズ推定装置によれば、ＡＡＭ（Active Appearance Models）法を用いた自動抽出を利用し、被験者の手の輪郭と爪の輪郭それぞれを有限個の頂点でモデル化し、それらのモデルを実際の入力撮影画像にフィッティングし、手や爪の特徴点を抽出することで、爪等の輪郭を抽出し、その輪郭画像の画素数に基づいて被験者の爪サイズを自動的に推定している。この推定データを上述する手輪郭抽出手段、指位置特定手段、爪輪郭抽出手段、爪サイズ推定手段からの計測データの誤差補正に用いて計測精度を向上させることができる。

本発明のネイルサイズ推定装置によれば、スマートフォン等で撮影した手の撮影画像から爪サイズを計測（推定）することができるため、計測者の力加減や勘による誤差が発生せず、統一した基準で自動算出した爪サイズに基づいた最適なネイルチップを提供することができる。

また、本ネイルサイズ推定装置によれば上述したようにユーザ（被験者）の各爪（親指～小指）全ての形状を一括で計測することができるため有利である。

さらに、本ネイルサイズ推定装置では、ＥＣ販売のような対面しないエンドユーザに対しても自己の手の撮影画像を送信するだけで自身の各指の爪サイズに適合するネイルチップを得ることができ、ユーザ個々に対応したＥＣ販売が可能になる。

ユーザ向けアプリケーションで行うスマートフォンのディスプレイ上の操作で示している。 図１のアプリケーションで実行する本ネイルサイズ推定装置で行っている画像処理のフロー図例を示している。 図１のアプリケーションで実行する本ネイルサイズ推定装置で行っている画像処理のフロー図例を示している。 図１のアプリケーションで実行する本ネイルサイズ推定装置で行っている画像処理のフロー図例を示している。 図２に示す手輪郭抽出の説明の参照図を示している。 図２に示す指位置特定の説明の参照図を示している。 図２に示す爪輪郭抽出の説明の参照図を示している。 図３に示す爪サイズ推定の説明の参照図を示している。 図４に示す爪サイズ推定の説明の参照図を示している。 ＡＡＭ法図２に示す手輪郭抽出の説明の参照図を示している。 ＣＮＮを利用した爪画像の特徴抽出・誤差補正の説明の参照図を示している。

以下、本発明に係るネイルサイズ推定装置の代表的な実施形態を、図１～図 を参照しながら詳細に説明するが、本発明は本実施形態に限られないことはいうまでもない。

図１は、ネイルチップの使用を所望するユーザ向けアプリケーションで行う爪サイズ計測の画像処理フローをスマートフォンのディスプレイ上の操作で示している。また、図２～図４は、図１のアプリケーションで実行する本ネイルサイズ推定装置で行っている画像処理のフロー図例を示している。図５は、図２に示す手輪郭抽出の説明の参照図、図５は、図２に示す手輪郭抽出の説明の参照図、図６は、図２に示す指位置特定の説明の参照図、図７は、図２に示す爪輪郭抽出の説明の参照図、図８は、図３に示す爪サイズ推定の説明の参照図、図９は、図４に示す爪サイズ推定の説明の参照図、図１０は、ＡＡＭ法図２に示す手輪郭抽出の説明の参照図、図１１は、ＣＮＮを利用した爪画像の特徴抽出・誤差補正の説明の参照図である。

図１に示すように本ネイルサイズ推定装置のスマートフォンのディスプレイ上でのアプリケーションでは、まず計測者が手の平の撮影平面画像を取得する（Ｓ１～Ｓ１１）。ここでは特徴的であり他の指と爪の向きが異なる親指とその他の指とを別撮影し。重ね合わせて１つの手の撮影平面画像とする例で説明する。具体的には、計測者はアプリケーションを起動して（Ｓ１）、ディスプレイ上の「フィッティング」をタップする（Ｓ２）。その後、「右手親指撮影用カメラ」を起動して（Ｓ３）、右手親指近傍を撮影対象として「撮影ボタン」をタップし右手親指近傍の手の撮影平面画像を取得する（Ｓ４）。

次に「右手親指以外撮影用カメラ」を起動して（Ｓ５）、右手親指近以外を撮影対象として「撮影ボタン」をタップし右手親指以外の手の撮影平面画像を取得する（Ｓ６）。同様に、「左手親指撮影用カメラ」を起動して（Ｓ７）、左手親指近傍を撮影対象として「撮影ボタン」をタップし左手親指近傍の手の撮影平面画像を取得し（Ｓ８）、「左親指以外撮影用カメラ」を起動して（Ｓ９）、「撮影ボタン」をタップし左手親指以外の手の撮影平面画像を取得する（Ｓ１０）。

撮影された右手親指近傍撮影画像、右手親指以外撮影画像、左手親指近傍撮影画像、及び左手親指以外撮影画像を重ね合わせて右手撮影画像及び左手撮影画像を取得する。この重ね合わせは汎用の技術を用いる場合や、後述する手の輪郭画像を二値化（二色画像化）する際に、親指近傍撮影画像と親指以外撮影画像とを二値化した後に重ね合わせても良い。また、計測者に親指が上方に向くように指示して親指とその他の指とを同時に撮影しても良い。これらは一般的な技術であるため、ここでは重ね合わせられた手全体の撮影平面画像が取得されていることを前提にその後の画像処理例（図２～図４参照）を後述する。

次に、撮影された手の撮影平面画像をデータベースへアップする（Ｓ１１）。この処理は、このユーザの将来的なネールチップ購入の際の便宜の役割だけでなく、ユーザの手・爪情報のビッグデータ化や、後述する畳み込みニューラルネットワーク（CNN）で集積（学習）された爪画像の特徴を抽出し、爪サイズ測定の誤差補正するためにも用いられる。

その後、手の撮影平面画像の解析がスタートする（Ｓ１２）。まず、図１のＳ１３，図２のＳＴ２、及び図５に示すように、手輪郭抽出手段によりユーザの手の撮影平面画像から手の輪郭を探索してノイズを除去して輪郭抽出する。具体的には、色判定（ＨＳＶ色空間）を基準として設定された閾値を境界として二色画像化した二色画像（グレースケールの所定明度を閾値とした二値化）とし（ＳＴ２ａ）、手の二色画像から手の輪郭画像（ＳＴ２ｂ）を抽出する。

例えば、図５左に示す手の撮影画像１を色判定によって白黒のみの手の撮影写真画像として二値化し、隣接する画素の最大面積の手の輪郭画像３として抽出する。これは単なる画素の集合である撮影画像から一体物の手の画像として境界領域を確定し、その他の画素（背景画像）２をノイズとして除去している。

次に、図１のＳ１４，図２のＳＴ３、及び図６に示すように、指位置特定手段により手輪郭抽出手段で抽出した手の輪郭画像から各指の位置座標を探索・特定し、ラベリング（設定）する（ＳＴ３ａ）。そして、手の輪郭画像３から算出した手の重心４の位置座標からの距離が極大となる各指（親指～小指）の位置座標（点）を各指候補５として設定している。

その後、図１のＳ１５，図２のＳＴ４、及び図７に示すように、爪輪郭抽出手段により手の撮影平面画像１を爪のカラーヒストグラムから二値化し（ＳＴ４ａ）、爪の輪郭画像を抽出する。具体的に爪輪郭抽出手段では、爪の色が他の手・指と異なるカラーヒストグラムを有していることに注目し、カラーヒストグラム上で閾値を設けて２つに分類する二値化を行う（ＳＴ４ａ、図７中図参照）。そして、二色画像６（二値化された画像６）から各爪の輪郭画像７を抽出し（ＳＴ４ｂ）、該爪の輪郭画像７から各爪の重心の位置座標を算出して各指候補５の位置座標との距離が最小となる指候補５を対応する各爪の輪郭画像７として設定する（ＳＴ４ｃ、図７右図参照）。

詳細には、所定の隣接する画素の面積領域をもつ領域を各指の爪に相当する画素として設定し、その他の画素を爪以外の領域として設定することで各指の爪輪郭を抽出する。そして、抽出された爪輪郭の画素（群）からそれぞれの重心を算出し、算出された爪の重心の位置座標と指位置特定手段で各指候補として設定された各指の位置座標との距離が最小となるものをマッチングして、各爪の輪郭画像としてラベリング（設定）する。これにより各指ごとに対応するそれぞれの爪の位置座標（重心点を含む）が画像処理上、紐づけられたこととなる。なお、閾値の設定は、個々の画素で閾値を設けるとノイズが発生するため所定画素領域の平均値でノイズを排除して境界分けするなどの補正処理を行う場合もある。

次に、図１のＳ１６，図３のＳＴ５及び図８に示すように、爪サイズ推定手段により爪輪郭抽出手段で設定された各爪の輪郭画像の画素数からユーザの爪サイズを推定する。具体的には、図８に示すように手輪郭抽出（ＳＴ１３）から爪輪郭抽出（ＳＴ１５）においてラベリング（設定）された各爪の輪郭画像領域７に長方形画像８（楕円形画像でも良い）をフィッティングし（ＳＴ５ａ）、爪の縦横の画素数（pixel数）を取得する（ＳＴ５ｂ）。また、手の撮影平面撮影画像１に撮影されている長さの基準となる撮影画像の画素数を取得し、これと爪の縦横の画素数とを比較し、爪サイズを計測する（ＳＴ５ｃ）。

爪サイズ推定にあたって、長さ基準となるものとしてこの例では統一基準の規格の径で作られた円形物である硬貨９を用いている。図１のＳ１７，図４のＳＴ５’、及び図９に示すように、手の撮影平面画像１からハフ変換（Hough変換）による円検出を用いて円形硬貨９を検出し（ＳＴ５’ａ、図９（ａ）参照）、円形硬貨９の径の画素数を算出し（ＳＴ５’ｂ）、算出された円形硬貨の径の画素数と上述する各爪の輪郭画像７の縦横の画素数とを比較して（ＳＴ５’ｃ）、両者のサイズ比からユーザの爪サイズを推定する（ＳＴ５’ｄ）。

なお、硬貨のハフ変換による円検出は、元になる直角座標上の点（x, y）を、円の中心点（centerX, centerY）と半径radiusの三次元空間に変換し、角度θと距離ρごとに、その個数をメモリ配列上に加算して行き、個数が最大になった組み合わせ（角度θと距離ρの）を元の直角座標に戻したものを最も円らしい点の集まりとして検出する。

最後に図１のＳ１７，及び図１０に示すように、爪サイズ推定（ＳＴ５、ＳＴ５’参照）で計測された爪サイズを含む画像情報を固定サーバやクラウドサーバで記憶・更新し（ＳＴ１１）、畳み込みニューラルネットワーク（CNN）で集積（学習）された爪画像の特徴を抽出し、計測対象の爪画像の入力データと畳み込んで、規定の爪サイズに自動的に分類する。ここで分類された爪サイズとＳＴ１２～ＳＴ１６で計測した実際の爪イサイズとの誤差を算出し、計測結果をアプリケーションに送信する。又は、同時に爪サイズ誤差補正して、その結果をjpson形式でアプリケーションに送信し、アプリケーションは終了する（ＳＴ１７～ＳＴ１８、Ｓ６）。この誤差は、集積記憶された爪サイズを含む画像情報（ＳＴ１１）に誤差情報として学習させる場合もある。図１０の例では、Ｓ２～Ｓ５’で実際に計測された爪サイズが４であったが（図１０の１０段階のサイズのうち４番）、ＣＮＮに基づく推定では爪サイズが５であり（図１０の１０段階のサイズのうち５番）、誤差サイズが－1である。

概ね上述したＳＴ１２～ＳＴ１７による爪サイズの計測以外に、図１１（特にShape 1）に示すようにＡＡＭ（Active Appearance Models）法を用いた自動抽出を利用し、ユーザの手の輪郭と爪の輪郭それぞれを有限個の頂点でモデル化し、それらのモデルを実際の入力撮影画像にフィッティングし、手や爪の特徴点を抽出することで、爪等の輪郭を抽出し、その輪郭画像の画素数に基づいて被験者の爪サイズを自動的に推定する場合もある。

以上、本発明の実施形態について図面を参照しつつ説明してきたが、本発明は、これらの実施形態に限定されるものではなく、特許請求の範囲の記載の精神及び教示を逸脱しない範囲でその他の改良例、変形が存在することを当業者に容易に理解されるであろう。

本発明のネイルサイズ推定装置は、スマートフォン等で撮影した手の撮影画像から爪サイズを自動的に計測（推定）することができ、ＥＣ販売のような対面しないエンドユーザに対しても自己の手の撮影画像を送信するだけで自身の各指の爪サイズに適合するネイルチップを得ることができるため、ネイルチップのＥＣ販売促進される。

１…手の撮影平面画像
２…背景画像
３…手の輪郭画像
４…手の重心
５…指候補
６…二色画像
７…爪の輪郭画像（爪の輪郭画像領域）
８…長方形画像
９…硬貨

Claims (5)

1. 被験者の手の爪に適合するネイルチップを判定するネイルサイズ推定装置であって、
   被験者の手の撮影平面画像を、色判定を基準として設定された閾値を境界として二色画像化した二色画像とし、該手の二色画像から手の輪郭画像を抽出する手輪郭抽出手段と、
   前記手の輪郭画像から各指の位置座標を特定・設定し、設定された各指の位置座標のうち手の重心の位置座標からの距離が最大となる位置座標を各指候補として設定する指位置特定手段と、
   被験者の手の撮影平面画像を、爪のカラーヒストグラムを基準として設定された閾値のカラー値を境界として二色画像化した二色画像とし、該二色画像から各爪の輪郭画像を抽出し、該爪の輪郭画像から各爪の重心の位置座標を算出して前記各指候補の位置座標との距離が最小となる指候補を対応する前記各爪の輪郭画像として設定する爪輪郭抽出手段と、
   該爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から被験者の爪サイズを推定する爪サイズ推定手段と、を有するネイルサイズ推定装置。
2. 前記爪サイズ推定手段は、前記爪輪郭抽出工程で設定された各爪の輪郭画像の領域を長方形画像又は楕円形画像とフィッティングし、フィッティングした長方形の縦横の画素数又は楕円形の長径及び短径の画素数を算出し、算出された長方形の縦横の画素数又は楕円形の長径及び短径の画素数と長さ基準となる対象物の画素数とを比較して、被験者の爪サイズと推定する、請求項１に記載のネイルサイズ推定装置。
3. 前記手の撮影平面画像の撮影時に、前記長さ基準となる対象物としての円形硬貨が被験者の手と離間した位置で手と同時に撮影されており、
   前記爪サイズ推定手段は、
   前記手の撮影平面画像からハフ変換による円検出を用いて前記円形硬貨を検出し、該円形硬貨の径の画素数を算出し、算出された円形硬貨の径の画素数と前記爪輪郭抽出工程で設定された各爪の輪郭画像の画素数とを比較して、両者のサイズ比から被験者の爪サイズを推定する、請求項２に記載のネイルサイズ推定装置。
4. 前記爪サイズ推定手段で推定された爪サイズと前記手の撮影平面画像に基づく爪画像と実際に使用した爪サイズとを含む画像情報を集積記憶する記憶手段と、
   爪サイズの推定を所望する被験者の爪画像の爪画像入力手段と、
   該被験者で実際に使用された爪サイズを爪サイズ入力手段と、
   前記記憶手段で集積記憶された画像情報から畳み込みニューラルネットワークを用いて入力手段で入力された爪画像の特徴抽出して爪サイズを分類・出力する抽出手段と、
   前記抽出手段で出力された爪サイズと前記爪サイズ入力手段で入力された被験者で実際に使用された爪サイズとの誤差を算出する算出手段と、を有する請求項１～３のいずれか１項に記載のネイルサイズ推定装置。
5. 被験者の手の爪に適合するネイルチップを判定するネイルサイズ推定装置であって、
   手の輪郭を有限個の頂点でモデル化し、該モデルを被験者の手の撮影画像に対してフィッティングすることにより、被験者の手の特徴点を抽出することで手の輪郭を抽出する手輪郭抽出手段と、
   爪の輪郭を有限個の頂点でモデル化し、該モデルを前記手の撮影画像内の各爪画像に対してフィッティングすることにより、被験者の各爪の特徴点を抽出することで爪の輪郭を抽出する爪輪郭抽出手段と、
   該爪輪郭抽出手段で設定された各爪の輪郭画像の画素数から被験者の爪サイズを推定する爪サイズ推定手段と、を有する請求項１～４のいずれか１項に記載のネイルサイズ推定装置。
   
   
   

Images