JP2020177578A - 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム - Google Patents

爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム Download PDF

Info

Publication number
JP2020177578A
JP2020177578A JP2019081192A JP2019081192A JP2020177578A JP 2020177578 A JP2020177578 A JP 2020177578A JP 2019081192 A JP2019081192 A JP 2019081192A JP 2019081192 A JP2019081192 A JP 2019081192A JP 2020177578 A JP2020177578 A JP 2020177578A
Authority
JP
Japan
Prior art keywords
image
nail
dimensional shape
user
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019081192A
Other languages
English (en)
Other versions
JP7342413B2 (ja
Inventor
ひとみ 古谷
Hitomi Furuya
ひとみ 古谷
集 田邉
Tsudoi Tanabe
集 田邉
森本 哲郎
Tetsuo Morimoto
哲郎 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP2019081192A priority Critical patent/JP7342413B2/ja
Publication of JP2020177578A publication Critical patent/JP2020177578A/ja
Application granted granted Critical
Publication of JP7342413B2 publication Critical patent/JP7342413B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

【課題】3次元レーザスキャナ、型取り用シリコンゲルなどを用いる必要なく高精度な爪の3次元形状を得ることができる爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムを提供する。【解決手段】爪3次元形状推定システムは、手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得部と、爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得部と、右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得部と、前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定部とを備え、前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる。【選択図】図2

Description

本発明は、爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムに関する。
従来から、ユーザの爪形状を計測し、オーダーメイドのネイルチップを提供するサービスが知られている。このサービスでは、ユーザの爪の3次元形状を得るために、3種類の手法が用意されている。
第1の手法では、スキャン登録会の会場において、ユーザの爪形状の3Dスキャンが行われる。第2の手法では、スキャン登録会の会場において、歯科用の印象材と硬化剤とを用いたユーザの爪形状の型取りが行われる。
https://hintos.jp/articles/opennail_20171028/
ところで、スキャン登録会の会場においてユーザの爪の3次元形状が得られる従来のサービスでは、ユーザがスキャン登録会の会場に出向く必要があり、移動時間および交通費がかかってしまう。
第3の手法では、ユーザが、ポリエチレン樹脂素材の型取りキットを利用して、自宅で爪の型取りを行う。
https://make.dmm.com/easy/nailchip/
ところで、第3の手法では、型取りに不慣れなユーザが自分で爪の型取りを行うと、失敗したり、長時間を要したりするおそれがある。また、ユーザは、ネイルチップを作成可能な程度に適切な型取りが行われたか否かを、自宅において判断することができない。更に、返送時に、硬化した型取りキットが破損したり、紛失したりするおそれもある。
また、従来から、ユーザが自分の指爪画像を所望のネイルデザインと共に送るだけで、ユーザ本人の爪部の形状に合う合成爪画像の提供および付け爪(ネイルチップ)の提供を受けることができる付け爪サービス提供装置および端末装置が知られている(特許文献1参照)。特許文献1に記載された技術では、10円コイン等を含むユーザの指爪画像が利用される。
ところで、特許文献1に記載された技術では、撮影部によって、寸法の基準となる10円コイン等と共にユーザの爪部を含む対象指の指爪が撮影され、その指爪画像が用いられる。詳細には、特許文献1に記載された技術では、例えば爪甲の側のような、1方向のみから撮影された指爪画像が用いられる。そのため、特許文献1に記載された技術では、爪の立体的形状を正確に把握することができず、高精度な爪の3次元形状を得ることができない。
また、従来から、ネイルチップの3次元データ作成方法が知られている(特許文献2参照)。特許文献2に記載された技術では、模型作成工程において、ネイルチップが取り付けられる自爪を含む指先部分の型取りが行われる。また、データ作成工程において、3D測定器によって、被測定対象物体の三次元形状が測定され、被測定対象物体の3次元データが出力される。
ところで、特許文献2に記載された技術では、型取りを行う必要があるため、上述した型取りの問題点が生じてしまう。また、特許文献2に記載され技術では、3D測定器が用いられるため、ユーザは、3D測定器が設置されている会場に出向く必要がある。
特開2012−232042号公報 特開2011−067385号公報
本発明者等は、鋭意研究において、手または足の甲側から撮像された爪の画像と、爪先の側から撮像された爪の画像と、右側爪甲縁または左側爪甲縁の側から撮像された爪の画像とがあれば、それらの画像を用いることによって爪の3次元形状を簡易に推定できることを見い出した。
そこで、本発明は、3次元レーザスキャナ、型取り用シリコンゲルなどを用いる必要なく高精度な爪の3次元形状を得ることができる爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムを提供することを目的とする。
本発明の一態様は、手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得部と、爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得部と、右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得部と、前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定部とを備え、前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、爪3次元形状推定システムである。
本発明の一態様の爪3次元形状推定システムは、前記指標を含む前記第1画像、前記第2画像および前記第3画像の少なくともいずれかに対する偏位修正を実行する補正部を更に備えてもよい。
本発明の一態様の爪3次元形状推定システムは、前記爪の領域と前記爪以外の領域とを含む前記第1画像、前記第2画像および前記第3画像から前記爪の領域を抽出する抽出部と、前記爪の領域と前記爪以外の領域とを含む教師画像と、前記教師画像から抽出される前記爪の領域との組である教師データに基づいて、前記抽出部の教師あり学習を実行する機械学習部とを更に備えてもよい。
本発明の一態様の爪3次元形状推定システムでは、前記指標は前記第1画像に含められ、前記第1画像と前記第2画像とに基づいて、前記爪の幅寸法の実寸法を算出する第1算出部と、前記第1画像と前記第3画像とに基づいて、前記第3画像に含まれる前記爪の爪甲の曲率または曲率半径の実寸法を算出する第2算出部と、前記第1画像と前記第2画像とに基づいて、前記第2画像に含まれる前記爪の爪甲の曲率または曲率半径の実寸法を算出する第3算出部とを更に備え、前記爪3次元形状推定部は、前記第1算出部によって算出された幅寸法の実寸法と、前記第2算出部によって算出された曲率または曲率半径の実寸法と、前記第3算出部によって算出された曲率または曲率半径の実寸法とに基づいて、前記爪の3次元形状を推定してもよい。
本発明の一態様の爪3次元形状推定システムは、前記第1画像に含まれる前記爪の爪甲と爪上皮との境界線の形状を分類する分類部を更に備えてもよい。
本発明の一態様の爪3次元形状推定システムでは、前記爪3次元形状推定部は、前記爪の3次元形状に基づいて、前記爪の3次元形状データを生成してもよい。
本発明の一態様は、前記爪3次元形状推定部によって生成された前記爪の3次元形状データは、ネイルチップの作成に利用される、爪3次元形状推定システムの利用方法である。
本発明の一態様の爪3次元形状推定システムの利用方法では、0.5mm〜1mmの厚さの前記ネイルチップが作成されてもよい。
本発明の一態様は、手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得部と、爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得部と、右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得部と、前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定部とを備え、前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、端末装置である。
本発明の一態様の端末装置は、前記第1画像と前記第2画像と前記第3画像とを撮像する撮像部と、通信部とを更に備え、前記爪3次元形状推定部は、前記爪の3次元形状に基づいて、前記爪の3次元形状データを生成し、前記通信部は、前記爪3次元形状推定部によって生成された前記爪の3次元形状データを前記端末装置の外部に送信してもよい。
本発明の一態様の端末装置は、前記第1画像、前記第2画像および前記第3画像のいずれかが前記撮像部によって撮像される時に前記撮像部による撮像対象の画像を表示する表示部を更に備え、前記表示部は、前記第1画像、前記第2画像および前記第3画像のいずれかが前記撮像部によって撮像される時に、前記撮像対象の画像を表示すると共に、ガイドを表示してもよい。
本発明の一態様は、手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得ステップと、爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得ステップと、右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得ステップと、前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定ステップとを備え、前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、爪3次元形状推定方法である。
本発明の一態様は、コンピュータに、手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得ステップと、爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得ステップと、右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得ステップと、前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定ステップとを実行させるためのプログラムであって、前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、プログラムである。
本発明によれば、3次元レーザスキャナ、型取り用シリコンゲルなどを用いる必要なく高精度な爪の3次元形状を得ることができる爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムを提供することができる。
爪および指の構造を説明するための図である。 第1実施形態の爪3次元形状推定システムの概略構成の一例を示す図である。 ユーザの右手の甲側から撮像部によって撮像されたユーザの右手の親指の爪を含む画像(第1画像)の一例を示す図である。 ユーザの右手の甲側から撮像部によって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪を含む画像(第1画像)、および、ユーザの左手の甲側から撮像部によって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪を含む画像(第1画像)の一例を示す図である。 ユーザの右手の親指の爪先の側から撮像部によって撮像されたユーザの右手の親指の爪を含む画像(第2画像)の一例を示す図である。 ユーザの右手の指の爪先の側から撮像部によって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪を含む画像(第2画像)、および、ユーザの左手の指の爪先の側から撮像部によって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪を含む画像(第2画像)の一例を示す図である。 ユーザの右手の親指の左側爪甲縁の側から撮像部によって撮像されたユーザの右手の親指の爪を含む画像(第3画像)の一例を示す図である。 ユーザの右手の指の左側爪甲縁Nの側から撮像部によって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪Nを含む画像(第3画像)、および、ユーザの左手の指の右側爪甲縁の側から撮像部によって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪Nを含む画像(第3画像)の一例を示す図である。 補正部による偏位修正が必要な第1画像の一例を示す図である。 抽出部によって図3に示す第1画像から抽出された爪の領域を示す図である。 抽出部によって図5に示す第2画像から抽出された爪の領域を示す図である。 抽出部によって図7に示す第3画像から抽出された爪の領域を示す図である。 第1実施形態の爪3次元形状推定システムにおいて実行される処理の一例を説明するためのシーケンス図である。 第1実施形態の爪3次元形状推定システムの第1適用例において実行される処理の一例を説明するための図である。 第1実施形態の爪3次元形状推定システムの第2適用例において実行される処理の一例を説明するための図である。 第2実施形態の端末装置の概略構成の一例を示す図である。 第2実施形態の端末装置において実行される処理の一例を説明するためのフローチャートである。
本発明の爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムの実施形態を説明する前に、本発明の爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムが適用される爪および爪を有する指の構造について説明する。
図1は爪Nおよび指Fの構造を説明するための図である。詳細には、図1(A)は手の甲側から見た爪Nおよび指Fを示している。図1(B)は図1(A)のA−A線に沿った断面図、図1(C)は図1(A)のB−B線に沿った断面図である。
図1に示すように、指Fは、爪Nと、爪母(ネイルマトリクス)F1と、爪床(ネイルベッド)F2と、後爪郭(ネイルフォルド)F3と、側爪郭(サイドウォール)F4と、爪溝(ネイルグルーブ)F5と、爪下皮(ハイポニキウム)F6と、爪上皮(エポニキウム)F7と、末節骨F8と、中節骨F9と、側骨間靭帯F10とを備えている。
爪Nは、爪根(ネイルルート)N1と、爪甲(ネイルプレート)N2と、爪半月(ヌルーラ)N3と、爪先(フリーエッジ)N4と、黄線(イエローライン)N5と、右側爪甲縁(右サイドライン)N6と、左側爪甲縁(左サイドライン)N7とを備えている。
爪母F1は、爪Nを形成する部分であり、血管と神経とが通っている。爪床F2は、皮下組織の一部であり、爪Nの爪甲N2を支える役割を有する。後爪郭F3は、爪Nの爪根N1を覆って保護する皮膚の部分であり、爪Nの爪甲N2を根元で固定する役割を有する。側爪郭F4は、爪Nの右側(図1(A)および図1(C)の右側)および左側(図1(A)および図1(C)の左側)に位置する皮膚の部分であり、爪Nを支える役割と、爪Nを衝撃から保護する役割とを有する。爪溝F5は、爪床F2と側爪郭F4との間に位置する溝であり、爪Nを支える役割を有する。
爪下皮F6は、爪床F2と爪Nの爪甲N2との間に位置する皮膚の部分であり、細菌などの侵入を防ぐ役割を有する。爪上皮F7は、後爪郭F3に隣接する皮膚の部分であり、後爪郭F3を保護し、細菌などの侵入を防ぐ役割を有する。末節骨F8は、指Fの先端の骨である。中節骨F9は、末節骨F8よりも指Fの根元側(図1(B)の左側)に位置する骨である。側骨間靭帯F10は、末節骨F8に沿って指Fの根元側の側に延びている靭帯である。
爪根N1は、爪Nの根元の部分である。爪甲N2は、爪Nのうちの爪床F2の上に位置する部分である。爪半月N3は、爪甲N2のうちの根元側(図1(A)の下側、図1(B)の左側)の端に位置する部分であり、水分含有量が多い乳白色の部分である。爪先N4は、爪Nのうちの爪床F2から離れて指Fの先端側(図1(A)の上側、図1(B)の右側)に突出している部分であり、水分含有量が少なく不透明の部分である。黄線N5は、爪甲N2のうちの爪先N4の根元側(図1(A)の下側、図1(B)の左側)に位置する部分であり、黄白色を帯びた弓状の線である。右側爪甲縁N6は、爪甲N2の右側面に相当する部分である。左側爪甲縁N7は、爪甲N2の左側面に相当する部分である。
以下、本発明の爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムの実施形態について説明する。
<第1実施形態>
図2は第1実施形態の爪3次元形状推定システム1の概略構成の一例を示す図である。
図2に示す例では、爪3次元形状推定システム1が、端末装置11と、サーバ装置12とを備えている。
端末装置11は、撮像部11Aと、通信部11Bと、表示部11Eとを備えている。撮像部11Aは、例えば爪N(図1参照)を含む画像(つまり、指F(図1参照)を含む画像)を撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、第1画像としての、ユーザの右手の親指の爪Nを含む画像を、ユーザの右手の甲側から撮像する。
図2に示す例では、撮像部11Aが、静止画モードにおいて撮影を行うが、他の例では、撮像部11Aが、動画モードにおいて撮影を行ってもよい。
図3はユーザの右手の甲側から撮像部11Aによって撮像されたユーザの右手の親指の爪Nを含む画像(第1画像)の一例を示す図である。
図3に示す例では、ユーザの右手の甲側から撮像部11Aによって撮像された画像(第1画像)に、ユーザの右手の親指の爪Nが含まれるのみならず、親指のうちの爪以外の部分も含まれる。また、ユーザの右手の甲側から撮像部11Aによって撮像された画像には、ユーザの右手の親指の爪Nの実寸法の算出に利用される指標D1〜D4が含められる。
図3に示す例では、4個の円形の指標D1と円形の指標D2と円形の指標D3と円形の指標D4とが用いられているが、他の例では、例えば特許文献1に記載されている指標のように、任意の数かつ任意の形状の公知の指標を用いてもよい。
図4はユーザの右手の甲側から撮像部11Aによって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪Nを含む画像(第1画像)、および、ユーザの左手の甲側から撮像部11Aによって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪Nを含む画像(第1画像)の一例を示す図である。詳細には、図4(A)はユーザの右手の人差し指の爪Nを含む画像(第1画像)を示しており、図4(B)はユーザの右手の中指の爪Nを含む画像(第1画像)を示しており、図4(C)はユーザの右手の薬指の爪Nを含む画像(第1画像)を示しており、図4(D)はユーザの右手の小指の爪Nを含む画像(第1画像)を示している。図4(E)はユーザの左手の親指の爪Nを含む画像(第1画像)を示しており、図4(F)はユーザの左手の人差し指の爪Nを含む画像(第1画像)を示しており、図4(G)はユーザの左手の中指の爪Nを含む画像(第1画像)を示しており、図4(H)はユーザの左手の薬指の爪Nを含む画像(第1画像)を示しており、図4(I)はユーザの左手の小指の爪Nを含む画像(第1画像)を示している。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の甲側から、ユーザの右手の人差し指の爪Nを含む画像(図4(A)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の甲側から、ユーザの右手の中指の爪Nを含む画像(図4(B)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の甲側から、ユーザの右手の薬指の爪Nを含む画像(図4(C)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の甲側から、ユーザの右手の小指の爪Nを含む画像(図4(D)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の甲側から、ユーザの左手の親指の爪Nを含む画像(図4(E)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の甲側から、ユーザの左手の人差し指の爪Nを含む画像(図4(F)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の甲側から、ユーザの左手の中指の爪Nを含む画像(図4(G)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の甲側から、ユーザの左手の薬指の爪Nを含む画像(図4(H)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の甲側から、ユーザの左手の小指の爪Nを含む画像(図4(I)参照)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の甲側から、ユーザの右足の親指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の甲側から、ユーザの右足の人差し指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の甲側から、ユーザの右足の中指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の甲側から、ユーザの右足の薬指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の甲側から、ユーザの右足の小指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の甲側から、ユーザの左足の親指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の甲側から、ユーザの左足の人差し指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の甲側から、ユーザの左足の中指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の甲側から、ユーザの左足の薬指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の甲側から、ユーザの左足の小指の爪Nを含む画像(図示せず)を第1画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、第2画像としての、ユーザの右手の親指の爪Nを含む画像を、ユーザの右手の親指の爪先N4(図1参照)の側から撮像する。
図5はユーザの右手の親指の爪先N4の側から撮像部11Aによって撮像されたユーザの右手の親指の爪Nを含む画像(第2画像)の一例を示す図である。
図5に示す例では、ユーザの右手の親指の爪先N4の側から撮像部11Aによって撮像された画像(第2画像)に、ユーザの右手の親指の爪Nが含まれるのみならず、親指のうちの爪以外の部分なども含まれる。
図6はユーザの右手の指の爪先N4の側から撮像部11Aによって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪Nを含む画像(第2画像)、および、ユーザの左手の指の爪先N4の側から撮像部11Aによって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪Nを含む画像(第2画像)の一例を示す図である。詳細には、図6(A)はユーザの右手の人差し指の爪Nを含む画像(第2画像)を示しており、図6(B)はユーザの右手の中指の爪Nを含む画像(第2画像)を示しており、図6(C)はユーザの右手の薬指の爪Nを含む画像(第2画像)を示しており、図6(D)はユーザの右手の小指の爪Nを含む画像(第2画像)を示している。図6(E)はユーザの左手の親指の爪Nを含む画像(第2画像)を示しており、図6(F)はユーザの左手の人差し指の爪Nを含む画像(第2画像)を示しており、図6(G)はユーザの左手の中指の爪Nを含む画像(第2画像)を示しており、図6(H)はユーザの左手の薬指の爪Nを含む画像を示しており、図6(I)はユーザの左手の小指の爪Nを含む画像(第2画像)を示している。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の人差し指の爪先N4の側から、ユーザの右手の人差し指の爪Nを含む画像(図6(A)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の中指の爪先N4の側から、ユーザの右手の中指の爪Nを含む画像(図6(B)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の薬指の爪先N4の側から、ユーザの右手の薬指の爪Nを含む画像(図6(C)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の小指の爪先N4の側から、ユーザの右手の小指の爪Nを含む画像(図6(D)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の親指の爪先N4の側から、ユーザの左手の親指の爪Nを含む画像(図6(E)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の人差し指の爪先N4の側から、ユーザの左手の人差し指の爪Nを含む画像(図6(F)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の中指の爪先N4の側から、ユーザの左手の中指の爪Nを含む画像(図6(G)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の薬指の爪先N4の側から、ユーザの左手の薬指の爪Nを含む画像(図6(H)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の小指の爪先N4の側から、ユーザの左手の小指の爪Nを含む画像(図6(I)参照)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の親指の爪先N4の側から、ユーザの右足の親指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の人差し指の爪先N4の側から、ユーザの右足の人差し指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の中指の爪先N4の側から、ユーザの右足の中指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の薬指の爪先N4の側から、ユーザの右足の薬指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の小指の爪先N4の側から、ユーザの右足の小指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の親指の爪先N4の側から、ユーザの左足の親指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の人差し指の爪先N4の側から、ユーザの左足の人差し指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の中指の爪先N4の側から、ユーザの左足の中指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の薬指の爪先N4の側から、ユーザの左足の薬指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の小指の爪先N4の側から、ユーザの左足の小指の爪Nを含む画像(図示せず)を第2画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、第3画像としての、ユーザの右手の親指の爪Nを含む画像を、ユーザの右手の親指の左側爪甲縁N7(図1参照)の側から撮像する。
図7はユーザの右手の親指の左側爪甲縁N7の側から撮像部11Aによって撮像されたユーザの右手の親指の爪Nを含む画像(第3画像)の一例を示す図である。
図7に示す例では、ユーザの右手の親指の左側爪甲縁N7の側から撮像部11Aによって撮像された画像(第3画像)に、ユーザの右手の親指の爪Nが含まれるのみならず、親指のうちの爪以外の部分なども含まれる。
他の例では、第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の親指の爪Nの3次元形状を得る場合に、撮像部11Aが、第3画像としての、ユーザの右手の親指の爪Nを含む画像を、ユーザの右手の親指の右側爪甲縁N6(図1参照)の側から撮像してもよい。
図8はユーザの右手の指の左側爪甲縁N7の側から撮像部11Aによって撮像されたユーザの右手の人差し指、中指、薬指、小指の爪Nを含む画像(第3画像)、および、ユーザの左手の指の右側爪甲縁N6の側から撮像部11Aによって撮像されたユーザの左手の親指、人差し指、中指、薬指、小指の爪Nを含む画像(第3画像)の一例を示す図である。詳細には、図8(A)はユーザの右手の人差し指の爪Nを含む画像(第3画像)を示しており、図8(B)はユーザの右手の中指の爪Nを含む画像(第3画像)を示しており、図8(C)はユーザの右手の薬指の爪Nを含む画像(第3画像)を示しており、図8(D)はユーザの右手の小指の爪Nを含む画像(第3画像)を示している。図8(E)はユーザの左手の親指の爪Nを含む画像(第3画像)を示しており、図8(F)はユーザの左手の人差し指の爪Nを含む画(第3画像)像を示しており、図8(G)はユーザの左手の中指の爪Nを含む画像(第3画像)を示しており、図8(H)はユーザの左手の薬指の爪Nを含む画像(第3画像)を示しており、図8(I)はユーザの左手の小指の爪Nを含む画像(第3画像)を示している。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の人差し指の左側爪甲縁N7の側から、ユーザの右手の人差し指の爪Nを含む画像(図8(A)参照)を第3画像として撮像するか、あるいは、ユーザの右手の人差し指の右側爪甲縁N6の側から、ユーザの右手の人差し指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の中指の左側爪甲縁N7の側から、ユーザの右手の中指の爪Nを含む画像(図8(B)参照)を第3画像として撮像するか、あるいは、ユーザの右手の中指の右側爪甲縁N6の側から、ユーザの右手の中指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の薬指の左側爪甲縁N7の側から、ユーザの右手の薬指の爪Nを含む画像(図8(C)参照)を第3画像として撮像するか、あるいは、ユーザの右手の薬指の右側爪甲縁N6の側から、ユーザの右手の薬指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右手の小指の左側爪甲縁N7の側から、ユーザの右手の小指の爪Nを含む画像(図8(D)参照)を第3画像として撮像するか、あるいは、ユーザの右手の小指の右側爪甲縁N6の側から、ユーザの右手の小指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の親指の右側爪甲縁N6の側から、ユーザの左手の親指の爪Nを含む画像(図8(E)参照)を第3画像として撮像するか、あるいは、ユーザの左手の親指の左側爪甲縁N7の側から、ユーザの左手の親指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の人差し指の右側爪甲縁N6の側から、ユーザの左手の人差し指の爪Nを含む画像(図8(F)参照)を第3画像として撮像するか、あるいは、ユーザの左手の人差し指の左側爪甲縁N7の側から、ユーザの左手の人差し指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の中指の右側爪甲縁N6の側から、ユーザの左手の中指の爪Nを含む画像(図8(G)参照)を第3画像として撮像するか、あるいは、ユーザの左手の中指の左側爪甲縁N7の側から、ユーザの左手の中指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の薬指の右側爪甲縁N6の側から、ユーザの左手の薬指の爪Nを含む画像(図8(H)参照)を第3画像として撮像するか、あるいは、ユーザの左手の薬指の左側爪甲縁N7の側から、ユーザの左手の薬指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左手の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左手の小指の右側爪甲縁N6の側から、ユーザの左手の小指の爪Nを含む画像(図8(I)参照)を第3画像として撮像するか、あるいは、ユーザの左手の小指の左側爪甲縁N7の側から、ユーザの左手の小指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の親指の左側爪甲縁N7の側または右側爪甲縁N6の側から、ユーザの右足の親指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の人差し指の左側爪甲縁N7の側または右側爪甲縁N6の側から、ユーザの右足の人差し指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の中指の左側爪甲縁N7の側または右側爪甲縁N6の側から、ユーザの右足の中指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の薬指の左側爪甲縁N7の側または右側爪甲縁N6の側から、ユーザの右足の薬指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの右足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの右足の小指の左側爪甲縁N7の側または右側爪甲縁N6の側から、ユーザの右足の小指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の親指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の親指の右側爪甲縁N6の側または左側爪甲縁N7の側から、ユーザの左足の親指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の人差し指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の人差し指の右側爪甲縁N6の側または左側爪甲縁N7の側から、ユーザの左足の人差し指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の中指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の中指の右側爪甲縁N6の側または左側爪甲縁N7の側から、ユーザの左足の中指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の薬指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の薬指の右側爪甲縁N6の側または左側爪甲縁N7の側から、ユーザの左足の薬指の爪Nを含む画像(図示せず)を第3画像として撮像する。
第1実施形態の爪3次元形状推定システム1によって例えばユーザの左足の小指の爪Nの3次元形状を得る場合には、撮像部11Aが、ユーザの左足の小指の右側爪甲縁N6の側または左側爪甲縁N7の側から、ユーザの左足の小指の爪Nを含む画像(図示せず)を第3画像として撮像する。
図2に示す例では、通信部11Bが、例えば撮像部11Aによって撮像された爪Nを含む画像(第1画像、第2画像および第3画像)のデータを、例えばネットワーク(図示せず)を介してサーバ装置12に送信する。
表示部11Eは、例えば爪Nを含む画像(第1画像、第2画像および第3画像のいずれか)の撮像時に、爪Nを含む画像(撮像対象の画像)と、ガイド(例えばガイドライン、ガイド枠など)とを表示する。端末装置11の利用者は、表示部11Eに表示されている爪Nとガイドとを確認しながら、撮像部11Aによって爪N(つまり、可能な限り拡大された状態の爪N)を含む画像を撮像することができる。
図2に示す例では、端末装置11が通信部11Bを備えているが、他の例では、端末装置11が通信部11Bを備えていなくてもよい。この例では、撮像部11Aによって撮像された爪Nを含む画像のデータが、端末装置11とは別個に設けられた通信装置(図示せず)によって、例えばネットワークを介してサーバ装置12に送信される。
図2に示す例では、サーバ装置12が、通信部12Aと、機械学習部12Bと、第1画像取得部12C1と、第2画像取得部12C2と、第3画像取得部12C3と、演算部12Dとを備えている。
通信部12Aは、例えば端末装置11から送信された爪Nを含む画像(第1画像、第2画像および第3画像)(図3〜図8参照)のデータなどを受信する。機械学習部12Bは、後述する教師あり学習を実行する。
第1画像取得部12C1は、端末装置11の撮像部11Aによって撮像された第1画像を取得する。
詳細には、第1実施形態の爪3次元形状推定システム1によってユーザの右手の親指の爪Nの3次元形状を得る場合に、第1画像取得部12C1が、撮像部11Aによってユーザの右手の甲側から撮像された、ユーザの右手の親指の爪N(図3参照)と指標D1〜D4(図3参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の人差し指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの右手の甲側から撮像された、ユーザの右手の人差し指の爪N(図4(A)参照)と指標D1〜D4(図4(A)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の中指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの右手の甲側から撮像された、ユーザの右手の中指の爪N(図4(B)参照)と指標D1〜D4(図4(B)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の薬指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの右手の甲側から撮像された、ユーザの右手の薬指の爪N(図4(C)参照)と指標D1〜D4(図4(C)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の小指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの右手の甲側から撮像された、ユーザの右手の小指の爪N(図4(D)参照)と指標D1〜D4(図4(D)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の親指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左手の甲側から撮像された、ユーザの左手の親指の爪N(図4(E)参照)と指標D1〜D4(図4(E)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の人差し指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左手の甲側から撮像された、ユーザの左手の人差し指の爪N(図4(F)参照)と指標D1〜D4(図4(F)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の中指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左手の甲側から撮像された、ユーザの左手の中指の爪N(図4(G)参照)と指標D1〜D4(図4(G)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の薬指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左手の甲側から撮像された、ユーザの左手の薬指の爪N(図4(H)参照)と指標D1〜D4(図4(H)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の小指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左手の甲側から撮像された、ユーザの左手の小指の爪N(図4(I)参照)と指標D1〜D4(図4(I)参照)とを含む第1画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの右足の甲側から撮像された、ユーザの右足の親指、人差し指、中指、薬指および小指の爪N(図示せず)と指標D1〜D4(図示せず)とを含む第1画像をそれぞれ取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第1画像取得部12C1は、撮像部11Aによってユーザの左足の甲側から撮像された、ユーザの左足の親指、人差し指、中指、薬指および小指の爪N(図示せず)と指標D1〜D4(図示せず)とを含む第1画像をそれぞれ取得する。
第2画像取得部12C2は、端末装置11の撮像部11Aによって撮像された第2画像を取得する。
詳細には、第1実施形態の爪3次元形状推定システム1によってユーザの右手の親指の爪Nの3次元形状を得る場合に、第2画像取得部12C2が、撮像部11Aによってユーザの右手の親指の爪先N4(図1参照)の側から撮像された、ユーザの右手の親指の爪N(図5参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の人差し指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右手の人差し指の爪先N4の側から撮像された、ユーザの右手の人差し指の爪N(図6(A)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の中指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右手の中指の爪先N4の側から撮像された、ユーザの右手の中指の爪N(図6(B)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の薬指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右手の薬指の爪先N4の側から撮像された、ユーザの右手の薬指の爪N(図6(C)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の小指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右手の小指の爪先N4の側から撮像された、ユーザの右手の小指の爪N(図6(D)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の親指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左手の親指の爪先N4(図1参照)の側から撮像された、ユーザの左手の親指の爪N(図6(E)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の人差し指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左手の人差し指の爪先N4の側から撮像された、ユーザの左手の人差し指の爪N(図6(F)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の中指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左手の中指の爪先N4の側から撮像された、ユーザの左手の中指の爪N(図6(G)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の薬指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左手の薬指の爪先N4の側から撮像された、ユーザの左手の薬指の爪N(図6(H)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の小指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左手の小指の爪先N4の側から撮像された、ユーザの左手の小指の爪N(図6(I)参照)を含む第2画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右足の指の爪先N4(図1参照)の側から撮像された、ユーザの右足の親指、人差し指、中指、薬指および小指の爪N(図示せず)を含む第2画像をそれぞれ取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの左足の指の爪先N4の側から撮像された、ユーザの左足の親指、人差し指、中指、薬指および小指の爪N(図示せず)を含む第2画像をそれぞれ取得する。
第3画像取得部12C3は、端末装置11の撮像部11Aによって撮像された第3画像を取得する。
詳細には、第1実施形態の爪3次元形状推定システム1によってユーザの右手の親指の爪Nの3次元形状を得る場合に、第3画像取得部12C3が、撮像部11Aによってユーザの右手の親指の左側爪甲縁N7(図1参照)の側から撮像されたユーザの右手の親指の爪N(図7参照)を含む第3画像、または、撮像部11Aによってユーザの右手の親指の右側爪甲縁N6(図1参照)の側から撮像されたユーザの右手の親指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の人差し指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの右手の人差し指の左側爪甲縁N7の側から撮像されたユーザの右手の人差し指の爪N(図8(A)参照)を含む第3画像、または、撮像部11Aによってユーザの右手の人差し指の右側爪甲縁N6の側から撮像されたユーザの右手の人差し指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の中指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの右手の中指の左側爪甲縁N7の側から撮像されたユーザの右手の中指の爪N(図8(B)参照)を含む第3画像、または、撮像部11Aによってユーザの右手の中指の右側爪甲縁N6の側から撮像されたユーザの右手の中指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の薬指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの右手の薬指の左側爪甲縁N7の側から撮像されたユーザの右手の薬指の爪N(図8(C)参照)を含む第3画像、または、撮像部11Aによってユーザの右手の薬指の右側爪甲縁N6の側から撮像されたユーザの右手の薬指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右手の小指の爪Nの3次元形状を得る場合に、第2画像取得部12C2は、撮像部11Aによってユーザの右手の小指の左側爪甲縁N7の側から撮像されたユーザの右手の小指の爪N(図8(D)参照)を含む第3画像、または、撮像部11Aによってユーザの右手の小指の右側爪甲縁N6の側から撮像されたユーザの右手の小指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の親指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左手の親指の右側爪甲縁N6(図1参照)の側から撮像されたユーザの左手の親指の爪N(図8(E)参照)を含む第3画像、または、撮像部11Aによってユーザの左手の親指の左側爪甲縁N7(図1参照)の側から撮像されたユーザの左手の親指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の人差し指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左手の人差し指の右側爪甲縁N6の側から撮像されたユーザの左手の人差し指の爪N(図8(F)参照)を含む第3画像、または、撮像部11Aによってユーザの左手の人差し指の左側爪甲縁N7の側から撮像されたユーザの左手の人差し指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の中指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左手の中指の右側爪甲縁N6の側から撮像されたユーザの左手の中指の爪N(図8(G)参照)を含む第3画像、または、撮像部11Aによってユーザの左手の中指の左側爪甲縁N7の側から撮像されたユーザの左手の中指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の薬指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左手の薬指の右側爪甲縁N6の側から撮像されたユーザの左手の薬指の爪N(図8(H)参照)を含む第3画像、または、撮像部11Aによってユーザの左手の薬指の左側爪甲縁N7の側から撮像されたユーザの左手の薬指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左手の小指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左手の小指の右側爪甲縁N6の側から撮像されたユーザの左手の小指の爪N(図8(I)参照)を含む第3画像、または、撮像部11Aによってユーザの左手の小指の左側爪甲縁N7の側から撮像されたユーザの左手の小指の爪Nを含む第3画像を取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの右足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの右足の指の左側爪甲縁N7(図1参照)の側から撮像されたユーザの右足の親指、人差し指、中指、薬指および小指の爪Nを含む第3画像をそれぞれ取得するか、あるいは、撮像部11Aによってユーザの右足の指の右側爪甲縁N6(図1参照)の側から撮像されたユーザの右足の親指、人差し指、中指、薬指および小指の爪Nを含む第3画像をそれぞれ取得する。
第1実施形態の爪3次元形状推定システム1によってユーザの左足の親指、人差し指、中指、薬指および小指の爪Nの3次元形状を得る場合に、第3画像取得部12C3は、撮像部11Aによってユーザの左足の指の右側爪甲縁N6の側から撮像されたユーザの左足の親指、人差し指、中指、薬指および小指の爪Nを含む第3画像をそれぞれ取得するか、あるいは、撮像部11Aによってユーザの左足の指の左側爪甲縁N7の側から撮像されたユーザの左足の親指、人差し指、中指、薬指および小指の爪Nを含む第3画像をそれぞれ取得する。
図3〜図8に示す例では、爪Nの実寸法の算出に利用される指標D1〜D4が第1画像に含められているが、他の例では、指標D1〜D4が第2画像に含められてもよい。更に他の例では、指標D1〜D4が第3画像に含められてもよい。望ましいのは第1画像に含められることである。
図2に示す例では、演算部12Dが、第1画像取得部12C1によって取得された第1画像と、第2画像取得部12C2によって取得された第2画像と、第3画像取得部12C3によって取得された第3画像とに基づいて、ユーザの指の爪Nの3次元形状を得るために必要な演算を行う。演算部12Dは、補正部12D1と、抽出部12D2と、第1算出部12D31と、第2算出部12D32と、第3算出部12D33と、分類部12D4と、爪3次元形状推定部12D5とを備えている。
補正部12D1は、指標D1〜D4(図3および図4参照)を含む第1画像に対する偏位修正を実行する。詳細には、補正部12D1は、例えば「独立偏位修正法による多重撮影画像の特徴探索」(https://www.jstage.jst.go.jp/article/jsprs1975/47/2/47_2_16/_pdf/-char/ja)、「平面より構成された被写体のディジタル偏位修正写真の段階的作成」
(http://library.jsce.or.jp/jsce/open/00037/476/476-121558.pdf)などに記載されている公知の技術と同様の偏位修正を、指標D1〜D4を含む第1画像に対して実行する。
図9は補正部12D1による偏位修正が必要な第1画像の一例を示す図である。
図9に示す第1画像は、端末装置11の撮像部11Aの光軸と、指標D1〜D4が印刷されたシートの法線とが平行になっていない状態で、撮像部11Aによって撮像されたものである。仮に、図9に示す第1画像がそのまま用いられると、爪3次元形状推定システム1によって不正確な爪Nの3次元形状が推定されてしまう。
そこで、第1実施形態の爪3次元形状推定システム1では、補正部12D1が、図9に示すような第1画像に対して偏位修正を実行する。その結果、図9に示すような第1画像から、図3および図4に示すような第1画像が得られる。
つまり、第1実施形態の爪3次元形状推定システム1では、図9に示すような第1画像に対して偏位修正を実行することによって得られる図3および図4に示すような第1画像を用いて、爪Nの3次元形状が推定される。そのため、第1実施形態の爪3次元形状推定システム1では、偏位修正が実行されない場合よりも高精度な爪Nの3次元形状を得ることができる。
図2に示す例では、抽出部12D2が、爪N(図3および図4参照)の領域と爪以外の領域とを含む第1画像から爪Nの領域を抽出する。
図10は抽出部12D2によって図3に示す第1画像(爪Nの領域と爪以外の領域とを含む第1画像)から抽出された爪Nの領域を示す図である。
詳細には、抽出部12D2が、図3に示す爪Nの領域と爪以外の領域とを含む第1画像から、図10に示す爪Nの領域を抽出する前に、機械学習部12Bが、抽出部12D2の教師あり学習を実行する。機械学習部12Bは、爪Nの領域と爪以外の領域とを含む教師画像(図示せず)と、教師画像から抽出される爪Nの領域(つまり、正解)との組である教師データに基づいて、抽出部12D2の教師あり学習を実行する。
また、抽出部12D2は、爪N(図5および図6参照)の領域と爪以外の領域とを含む第2画像から爪Nの領域を抽出する。
図11は抽出部12D2によって図5に示す第2画像(爪Nの領域と爪以外の領域とを含む第2画像)から抽出された爪Nの領域を示す図である。
抽出部12D2が、図5に示す爪Nの領域と爪以外の領域とを含む第2画像から、図11に示す爪Nの領域を抽出する前に、機械学習部12Bは、上述した抽出部12D2の教師あり学習を実行する。
また、抽出部12D2は、爪N(図7および図8参照)の領域と爪以外の領域とを含む第3画像から爪Nの領域を抽出する。
図12は抽出部12D2によって図7に示す第3画像(爪Nの領域と爪以外の領域とを含む第3画像)から抽出された爪Nの領域を示す図である。
抽出部12D2が、図7に示す爪Nの領域と爪以外の領域とを含む第3画像から、図12に示す爪Nの領域を抽出する前に、機械学習部12Bは、上述した抽出部12D2の教師あり学習を実行する。
図2に示す例では、第1算出部12D31が、図10に示す第1画像(爪Nの領域の抽出後の第1画像)と、図11に示す第2画像(爪Nの領域の抽出後の第2画像)とに基づいて、爪Nの幅寸法WN(図10参照)の実寸法を算出する。
第2算出部12D32は、図10に示す第1画像(爪Nの領域の抽出後の第1画像)と、図12に示す第3画像(爪Nの領域の抽出後の第3画像)とに基づいて、図12に示す第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
第3算出部12D33は、図10に示す第1画像(爪Nの領域の抽出後の第1画像)と、図11に示す第2画像(爪Nの領域の抽出後の第2画像)とに基づいて、図11に示す第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
分類部12D4は、図3および図10に示す第1画像に含まれる爪Nの爪甲N2(図1参照)と爪上皮F7(図1参照)との境界線BD(図3参照)の形状を分類する。詳細には、分類部12D4は、境界線BDの形状を、四角形状、丸形状および尖り形状など予め決められたカテゴリーのいずれかに分類する。
詳細には、分類部12D4が分類を実行する前に、機械学習部12Bが、分類部12D4の教師あり学習を実行する。機械学習部12Bは、爪Nの爪甲N2と爪上皮F7とそれらの境界線BDとを含む教師画像(図示せず)と、教師画像に対する分類結果(つまり、正解)との組である教師データに基づいて、分類部12D4の教師あり学習を実行する。
爪3次元形状推定部12D5は、第1算出部12D31によって算出された幅寸法WNの実寸法と、第2算出部12D32によって算出された曲率または曲率半径の実寸法と、第3算出部12D33によって算出された曲率または曲率半径の実寸法とに基づいて、図10に示す第1画像と図11に示す第2画像と図12に示す第3画像とに含まれる爪Nの3次元形状を推定する。つまり、爪3次元形状推定部12D5は、図3および図10に示す第1画像と、図5および図11に示す第2画像と、図7および図12に示す第3画像とに基づいて、爪Nの3次元形状を推定する。
更に、爪3次元形状推定部12D5は、爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
図13は第1実施形態の爪3次元形状推定システム1において実行される処理の一例を説明するためのシーケンス図である。詳細には、図13は第1実施形態の爪3次元形状推定システム1によってユーザの右手の親指の爪Nの3次元形状を得る場合に実行される処理の一例を説明するためのシーケンス図である。
図13に示す例では、ステップS11において、端末装置11の撮像部11Aが、図3に示す指標D1〜D4を含む第1画像と、図5に示す第2画像と、図7に示す第3画像とを撮像する。
次いで、ステップS12では、端末装置11の通信部11Bが、ステップS11において撮像された第1画像のデータと、第2画像のデータと、第3画像のデータとをサーバ装置12に送信する。
次いで、ステップS13Aでは、サーバ装置12の第1画像取得部12C1が、ステップS11において撮像された図3に示す指標D1〜D4を含む第1画像を取得する。
また、ステップS13Bでは、サーバ装置12の第2画像取得部12C2が、ステップS11において撮像された図5に示す第2画像を取得する。
また、ステップS13Cでは、サーバ装置12の第3画像取得部12C3が、ステップS11において撮像された図7に示す第3画像を取得する。
次いで、ステップS14では、サーバ装置12の補正部12D1が、ステップS13Aにおいて取得された指標D1〜D4を含む第1画像に対する偏位修正を実行する。
次いで、ステップS15Aでは、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の抽出部12D2が、ステップS14において偏位修正が実行された第1画像(爪N(図3参照)の領域と爪以外の領域とを含む第1画像)から爪Nの領域を抽出し、図10に示す抽出後の第1画像を得る。
また、ステップS15Bでは、サーバ装置12の学習後の抽出部12D2が、ステップS13Bにおいて取得された第2画像(爪N(図5参照)の領域と爪以外の領域とを含む第2画像)から爪Nの領域を抽出し、図11に示す抽出後の第2画像を得る。
また、ステップS15Cでは、サーバ装置12の学習後の抽出部12D2が、ステップS13Cにおいて取得された第3画像(爪N(図7参照)の領域と爪以外の領域とを含む第3画像)から爪Nの領域を抽出し、図12に示す抽出後の第3画像を得る。
次いで、ステップS16Aでは、サーバ装置12の第1算出部12D31が、ステップS15Aにおいて得られた爪N(図10参照)の領域の抽出後の第1画像と、ステップS15Bにおいて得られた爪N(図11参照)の領域の抽出後の第2画像とに基づいて、爪Nの幅寸法WN(図10参照)の実寸法を算出する。
また、ステップS16Bでは、サーバ装置12の第2算出部12D32が、ステップS15Aにおいて得られた爪Nの領域の抽出後の第1画像と、ステップS15Cにおいて得られた爪N(図12参照)の領域の抽出後の第3画像とに基づいて、図12に示す第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
また、ステップS16Cでは、サーバ装置12の第3算出部12D33が、ステップS15Aにおいて得られた爪Nの領域の抽出後の第1画像と、ステップS15Bにおいて得られた爪Nの領域の抽出後の第2画像とに基づいて、図11に示す第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
次いで、ステップS17では、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の分類部12D4が、図3および図10に示す第1画像に含まれる爪Nの爪甲N2と爪上皮F7(図1参照)との境界線BD(図3参照)の形状を分類する。
次いで、ステップS18Aでは、サーバ装置12の爪3次元形状推定部12D5が、ステップS16Aにおいて算出された幅寸法WNの実寸法と、ステップS16Bにおいて算出された曲率または曲率半径の実寸法と、ステップS16Cにおいて算出された曲率または曲率半径の実寸法とに基づいて、図10に示す第1画像と図11に示す第2画像と図12に示す第3画像とに含まれる爪Nの3次元形状を推定する。
次いで、ステップS18Bでは、サーバ装置12の爪3次元形状推定部12D5が、ステップS18Aにおいて推定された爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
<適用例>
上述した第1実施形態の爪3次元形状推定システム1は、3次元形状の推定が行われた爪Nにフィットするネイルチップの作成に利用される。つまり、サーバ装置12の爪3次元形状推定部12D5によって生成された爪Nの3次元形状データが、ネイルチップ(図示せず)の作成に利用される。具体的には、サーバ装置12の爪3次元形状推定部12D5によって生成された爪Nの3次元形状データを利用することによって、例えば0.5mm〜1mmの厚さのネイルチップが作成される。
図14は第1実施形態の爪3次元形状推定システム1の第1適用例において実行される処理の一例を説明するための図である。
図14に示す例では、ステップS101において、端末装置11の爪計測アプリが起動する。
次いで、ステップS102では、端末装置11の撮像部11Aが、例えばユーザの右手および左手のそれぞれの指について、爪Nと指標D1〜D4とを含む第1画像と、爪Nを含む第2画像と、爪Nを含む第3画像とを撮像する。
次いで、ステップS103では、端末装置11が、ユーザによるネイルデザインの選択の入力を受け付ける。
次いで、ステップS104では、端末装置11の通信部11Bが、ステップS102において撮像された第1画像のデータと第2画像のデータと第3画像のデータとを、サーバ装置12を有するネイルチップ提供サービス部に送信する。
また、ステップS104では、端末装置11の通信部11Bが、ステップS103において入力されたネイルデザインの情報を、サーバ装置12を有するネイルチップ提供サービス部に送信する。
次いで、ステップS201では、サーバ装置12を有するネイルチップ提供サービス部が、ステップS104において送信された第1画像のデータと第2画像のデータと第3画像のデータとネイルデザインの情報とを受信する。
次いで、ステップS202では、サーバ装置12の第1画像取得部12C1が、ステップS102において撮像された爪Nと指標D1〜D4とを含む第1画像を取得する。
また、ステップS202では、サーバ装置12の第2画像取得部12C2が、ステップS102において撮像された爪Nを含む第2画像を取得する。
また、ステップS202では、サーバ装置12の第3画像取得部12C3が、ステップS102において撮像された爪Nを含む第3画像を取得する。
次いで、ステップS203では、サーバ装置12の補正部12D1が、ステップS202において取得された爪Nと指標D1〜D4とを含む第1画像に対する偏位修正を実行する。
次いで、ステップS204では、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の抽出部12D2が、ステップS203において偏位修正が実行された第1画像(爪Nの領域と爪以外の領域とを含む第1画像)から爪Nの領域を抽出し、抽出後の第1画像を得る。
また、ステップS204では、サーバ装置12の学習後の抽出部12D2が、ステップS202において取得された第2画像(爪Nの領域と爪以外の領域とを含む第2画像)から爪Nの領域を抽出し、抽出後の第2画像を得る。
また、ステップS204では、サーバ装置12の学習後の抽出部12D2が、ステップS202において取得された第3画像(爪Nの領域と爪以外の領域とを含む第3画像)から爪Nの領域を抽出し、抽出後の第3画像を得る。
次いで、ステップS205では、サーバ装置12の第1算出部12D31が、ステップS204において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第2画像とに基づいて、爪Nの幅寸法WNの実寸法を算出する。
また、ステップS205では、サーバ装置12の第2算出部12D32が、ステップS204において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第3画像とに基づいて、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
また、ステップS205では、サーバ装置12の第3算出部12D33が、ステップS204において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第2画像とに基づいて、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
次いで、ステップS206では、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の分類部12D4が、第1画像に含まれる爪Nの爪甲N2と爪上皮F7との境界線BDの形状を分類する。
次いで、ステップS207では、サーバ装置12の爪3次元形状推定部12D5が、ステップS205において算出された幅寸法WNの実寸法と、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法と、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法とに基づいて、第1画像と第2画像と第3画像とに含まれる爪Nの3次元形状を推定する。
また、ステップS207では、サーバ装置12の爪3次元形状推定部12D5が、爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
更に、ステップS207では、ネイルチップ提供サービス部のCADモデル作成部が、爪Nの3次元形状データと、ステップS206における分類の結果とに基づいて、ネイルチップのCADモデルを作成する。
次いで、ステップS208では、ネイルチップ提供サービス部のネイルチップ作成部(例えば3Dプリンタ)が、ネイルチップのCADモデルに基づいて、ネイルチップを作成する。
図15は第1実施形態の爪3次元形状推定システム1の第2適用例において実行される処理の一例を説明するための図である。
図15に示す例では、図示しないステップにおいて、図14に示すステップS101〜ステップS104と同様の処理が実行される。
次いで、ステップS301では、サーバ装置12を有するネイルチップ提供サービス部が、ステップS104において送信された第1画像のデータと第2画像のデータと第3画像のデータとネイルデザインの情報とを受信する。
次いで、ステップS301Aでは、サーバ装置12のデータベース部が、ステップS301において受信された第1画像のデータと第2画像のデータと第3画像のデータとを取り込む。
次いで、ステップS302では、サーバ装置12の第1画像取得部12C1が、ステップS102において撮像された爪Nと指標D1〜D4とを含む第1画像をデータベース部から取得する。
また、ステップS302では、サーバ装置12の第2画像取得部12C2が、ステップS102において撮像された爪Nを含む第2画像をデータベース部から取得する。
また、ステップS302では、サーバ装置12の第3画像取得部12C3が、ステップS102において撮像された爪Nを含む第3画像をデータベース部から取得する。
次いで、ステップS303では、サーバ装置12の補正部12D1が、ステップS302において取得された爪Nと指標D1〜D4とを含む第1画像に対する偏位修正を実行する。
次いで、ステップS304では、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の抽出部12D2が、ステップS303において偏位修正が実行された第1画像(爪Nの領域と爪以外の領域とを含む第1画像)から爪Nの領域を抽出し、抽出後の第1画像を得る。
また、ステップS304では、サーバ装置12の学習後の抽出部12D2が、ステップS302において取得された第2画像(爪Nの領域と爪以外の領域とを含む第2画像)から爪Nの領域を抽出し、抽出後の第2画像を得る。
また、ステップS304では、サーバ装置12の学習後の抽出部12D2が、ステップS302において取得された第3画像(爪Nの領域と爪以外の領域とを含む第3画像)から爪Nの領域を抽出し、抽出後の第3画像を得る。
次いで、ステップS305Aでは、サーバ装置12の第1算出部12D31が、ステップS304において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第2画像とに基づいて、爪Nの幅寸法WNの実寸法を算出する。
次いで、ステップS305Bでは、サーバ装置12の第2算出部12D32が、ステップS304において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第3画像とに基づいて、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
また、ステップS305Bでは、サーバ装置12の第3算出部12D33が、ステップS304において得られた爪Nの領域の抽出後の第1画像と爪Nの領域の抽出後の第2画像とに基づいて、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
次いで、ステップS306では、サーバ装置12の機械学習部12Bによる教師あり学習が実行された後(学習後)の分類部12D4が、第1画像に含まれる爪Nの爪甲N2と爪上皮F7との境界線BDの形状を分類する。
次いで、ステップS307では、サーバ装置12の爪3次元形状推定部12D5が、ステップS305において算出された幅寸法WNの実寸法と、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法と、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法とに基づいて、第1画像と第2画像と第3画像とに含まれる爪Nの3次元形状を推定する。
また、ステップS307では、サーバ装置12の爪3次元形状推定部12D5が、爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
更に、ステップS307では、ネイルチップ提供サービス部のCADモデル作成部が、爪Nの3次元形状データと、ステップS206における分類の結果とに基づいて、ネイルチップのCADモデルを作成する。
次いで、ステップS308では、ネイルチップ提供サービス部のネイルチップ作成部(例えば3Dプリンタ)が、ネイルチップのCADモデルに基づいて、ネイルチップベースを作成する。
次いで、ステップS309では、ステップS308において作成されたネイルチップベースに対し、ステップS103において選択されたネイルデザインがデコレートされ、ネイルチップが完成する。
上述したように第1実施形態の爪3次元形状推定システム1では、爪3次元形状推定部12D5が、ユーザの手または足の甲側から撮像された爪Nの画像である第1画像と、爪先N4の側から撮像された爪Nの画像である第2画像と、右側爪甲縁N6または左側爪甲縁N7の側から撮像された爪Nの画像である第3画像とに基づいて、爪Nの3次元形状を推定する。また、第1画像、第2画像および第3画像の少なくともいずれかには、爪Nの実寸法の算出に利用される指標D1〜D4が含められる。
そのため、第1実施形態の爪3次元形状推定システム1では、3次元レーザスキャナ、型取り用シリコンゲルなどを用いる必要なく高精度な爪Nの3次元形状を得ることができる。
また、第1実施形態の爪3次元形状推定システム1では、抽出部12D2が、爪Nの領域と爪以外の領域とを含む第1画像から爪Nの領域を抽出し、爪Nの領域と爪以外の領域とを含む第2画像から爪Nの領域を抽出し、爪Nの領域と爪以外の領域とを含む第3画像から爪Nの領域を抽出する。また、機械学習部12Bが、爪Nの領域と爪以外の領域とを含む教師画像と、教師画像から抽出される(抽出すべき)爪Nの領域との組である教師データに基づいて、抽出部12D2の教師あり学習を実行する。
そのため、第1実施形態の爪3次元形状推定システム1では、爪Nの領域と爪以外の領域とを含む第1画像、第2画像および第3画像から爪Nの領域を適切に抽出することができ、その結果、高精度な爪Nの3次元形状を得ることができる。
また、第1実施形態の爪3次元形状推定システム1では、第1算出部12D31が、指標D1〜D4が含められている第1画像と、第2画像とに基づいて、爪Nの幅寸法WNの実寸法を算出し、第2算出部12D32が、第1画像と第3画像とに基づいて、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出し、第3算出部12D33が、第1画像と第2画像とに基づいて、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。また、爪3次元形状推定部12D5が、爪Nの幅寸法WNの実寸法と、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法と、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法とに基づいて、爪Nの3次元形状を推定する。
そのため、第1実施形態の爪3次元形状推定システム1では、3次元レーザスキャナなどが用いられる場合よりも演算量を抑制しつつ、高精度な爪Nの3次元形状を得ることができる。
<第2実施形態>
以下、本発明の爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラムの第2実施形態について説明する。
第2実施形態の端末装置11は、後述する点を除き、上述した第1実施形態の爪3次元形状推定システム1の端末装置11と同様に構成されている。従って、第2実施形態の端末装置11によれば、後述する点を除き、上述した第1実施形態の爪3次元形状推定システム1の端末装置11と同様の効果を奏することができる。
図16は第2実施形態の端末装置11の概略構成の一例を示す図である。
図16に示す例では、端末装置11が、撮像部11Aと、通信部11Bと、第1画像取得部11C1と、第2画像取得部11C2と、第3画像取得部11C3と、演算部11Dと、表示部11Eとを備えている。
上述したように、図2に示す例では、通信部11Bが、例えば撮像部11Aによって撮像された爪Nを含む画像(第1画像、第2画像および第3画像)のデータを、例えばネットワーク(図示せず)を介してサーバ装置12に送信する。
一方、図16に示す例では、通信部11Bが、端末装置11において生成された爪Nの3次元形状データなどをネイルチップ提供サービス部に送信する。
他の例では、通信部11Bが、端末装置11において算出された爪Nの幅寸法WNの実寸法のデータと、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法のデータと、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法のデータとをネイルチップ提供サービス部に送信してもよい。
図16に示す例では、図2に示す例と同様に、表示部11Eが、例えば爪Nを含む画像(第1画像、第2画像および第3画像のいずれか)の撮像時に、爪Nを含む画像(撮像対象の画像)と、ガイド(例えばガイドライン、ガイド枠など)とを表示する。
図16に示す例では、第1画像取得部11C1が、撮像部11Aによってユーザの手または足の甲側から撮像された爪Nと指標D1〜D4とを含む第1画像を取得する。第2画像取得部11C2は、撮像部11Aによって爪先N4の側から撮像された爪Nを含む第2画像を取得する。第3画像取得部11C3は、撮像部11Aによって右側爪甲縁N6または左側爪甲縁N7の側から撮像された爪Nを含む第3画像を取得する。
演算部11Dは、補正部11D1と、抽出部11D2と、第1算出部11D31と、第2算出部11D32と、第3算出部11D33と、分類部11D4と、爪3次元形状推定部11D5とを備えている。
補正部11D1は、図2に示すサーバ装置12の演算部12Dの補正部12D1と同等の機能を有する。つまり、補正部11D1は、第1画像取得部11C1によって取得された指標D1〜D4を含む第1画像に対する偏位修正を実行する。
抽出部11D2は、図2に示すサーバ装置12の機械学習部12Bによる教師ありが実行された後の演算部12Dの抽出部12D2と同等の機能を有する。つまり、抽出部11D2は、補正部11D1よって偏位修正が実行された後の第1画像に含まれる爪Nの領域を抽出する。また、抽出部11D2は、第2画像取得部11C2によって取得された第2画像に含まれる爪Nの領域を抽出する。更に、抽出部11D2は、第3画像取得部11C3によって取得された第3画像に含まれる爪Nの領域を抽出する。
図16に示す例では、第1算出部11D31が、図2に示すサーバ装置12の演算部12Dの第1算出部12D31と同等の機能を有する。つまり、第1算出部11D31は、抽出部11D2によって第1画像から抽出された爪Nの領域と第2画像から抽出された爪Nの領域とに基づいて、爪Nの幅寸法WNの実寸法を算出する。
第2算出部11D32は、図2に示すサーバ装置12の演算部12Dの第2算出部12D32と同等の機能を有する。つまり、第2算出部11D32は、抽出部11D2によって第1画像から抽出された爪Nの領域と第3画像から抽出された爪Nの領域とに基づいて、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
第3算出部11D33は、図2に示すサーバ装置12の演算部12Dの第3算出部12D33と同等の機能を有する。つまり、第3算出部11D33は、抽出部11D2によって第1画像から抽出された爪Nの領域と第2画像から抽出された爪Nの領域とに基づいて、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
図16に示す例では、分類部11D4が、図2に示すサーバ装置12の機械学習部12Bによる教師ありが実行された後の演算部12Dの分類部12D4と同等の機能を有する。つまり、分類部11D4は、第1画像に含まれる爪Nの爪甲N2と爪上皮F7(図1参照)との境界線BD(図3参照)の形状を分類する。
図16に示す例では、爪3次元形状推定部11D5が、図2に示すサーバ装置12の演算部12Dの爪3次元形状推定部12D5と同等の機能を有する。つまり、爪3次元形状推定部11D5は、第1算出部11D31によって算出された幅寸法WNの実寸法と、第2算出部11D32によって算出された曲率または曲率半径の実寸法と、第3算出部11D33によって算出された曲率または曲率半径の実寸法とに基づいて、第1画像と第2画像と第3画像とに含まれる爪Nの3次元形状を推定する。つまり、爪3次元形状推定部11D5は、第1画像取得部11C1によって取得された第1画像と、第2画像取得部11C2によって取得された第2画像と、第3画像取得部11C3によって取得された第3画像とに基づいて、爪Nの3次元形状を推定する。
更に、爪3次元形状推定部11D5は、爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
上述したように、通信部11Bは、爪3次元形状推定部11D5によって生成された爪Nの3次元形状データを、端末装置11の外部のネイルチップ提供サービス部に送信する。また、通信部11Bは、分類部11D4による分類の結果を、端末装置11の外部のネイルチップ提供サービス部に送信する。
図16に示す例では、第1画像のデータと第2画像のデータと第3画像のデータとが端末装置11から端末装置11の外部に送信される場合よりも端末装置11からの通信量を抑制しつつ、端末装置11においてネイルチップの作成に利用される爪Nの3次元形状データを生成することができる。
図16に示す例では、演算部11Dが、分類部11D4と爪3次元形状推定部11D5とを備えているが、他の例では、演算部11Dが、分類部11D4および爪3次元形状推定部11D5の少なくともいずれかを備えていなくてもよい。
演算部11Dが分類部11D4および爪3次元形状推定部11D5を備えていない例では、通信部11Bが、第1算出部11D31によって算出された幅寸法WNの実寸法のデータと、第2算出部11D32によって算出された曲率または曲率半径の実寸法のデータと、第3算出部11D33によって算出された曲率または曲率半径の実寸法のデータとを、端末装置11の外部のネイルチップ提供サービス部に送信する。
この例では、第1画像のデータと第2画像のデータと第3画像のデータとが端末装置11から端末装置11の外部に送信される場合よりも端末装置11からの通信量を抑制しつつ、端末装置11において爪Nの3次元形状の推定に利用される爪Nの幅寸法WNの実寸法と、第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法と、第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法とを算出することができる。
図17は第2実施形態の端末装置11において実行される処理の一例を説明するためのフローチャートである。詳細には、図17は第2実施形態の端末装置11によってユーザの右手の親指の爪Nの3次元形状を得る場合に実行される処理の一例を説明するためのフローチャートである。
図17に示す例では、ステップS61において、端末装置11の撮像部11Aが、図3に示す指標D1〜D4を含む第1画像と、図5に示す第2画像と、図7に示す第3画像とを撮像する。
次いで、ステップS63Aでは、端末装置11の第1画像取得部11C1が、ステップS61において撮像された図3に示す指標D1〜D4を含む第1画像を取得する。
また、ステップS63Bでは、端末装置11の第2画像取得部11C2が、ステップS61において撮像された図5に示す第2画像を取得する。
また、ステップS63Cでは、端末装置11の第3画像取得部11C3が、ステップS61において撮像された図7に示す第3画像を取得する。
次いで、ステップS64では、端末装置11の補正部11D1が、ステップS63Aにおいて取得された指標D1〜D4を含む第1画像に対する偏位修正を実行する。
次いで、ステップS65Aでは、端末装置11の抽出部11D2が、ステップS64において偏位修正が実行された第1画像(爪N(図3参照)の領域と爪以外の領域とを含む第1画像)から爪Nの領域を抽出し、図10に示す抽出後の第1画像を得る。
また、ステップS65Bでは、抽出部11D2が、ステップS63Bにおいて取得された第2画像(爪N(図5参照)の領域と爪以外の領域とを含む第2画像)から爪Nの領域を抽出し、図11に示す抽出後の第2画像を得る。
また、ステップS65Cでは、抽出部11D2が、ステップS63Cにおいて取得された第3画像(爪N(図7参照)の領域と爪以外の領域とを含む第3画像)から爪Nの領域を抽出し、図12に示す抽出後の第3画像を得る。
次いで、ステップS66Aでは、端末装置11の第1算出部11D31が、ステップS65Aにおいて得られた爪N(図10参照)の領域の抽出後の第1画像と、ステップS65Bにおいて得られた爪N(図11参照)の領域の抽出後の第2画像とに基づいて、爪Nの幅寸法WN(図10参照)の実寸法を算出する。
また、ステップS66Bでは、端末装置11の第2算出部11D32が、ステップS65Aにおいて得られた爪Nの領域の抽出後の第1画像と、ステップS65Cにおいて得られた爪N(図12参照)の領域の抽出後の第3画像とに基づいて、図12に示す第3画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
また、ステップS66Cでは、端末装置11の第3算出部11D33が、ステップS65Aにおいて得られた爪Nの領域の抽出後の第1画像と、ステップS65Bにおいて得られた爪Nの領域の抽出後の第2画像とに基づいて、図11に示す第2画像に含まれる爪Nの爪甲N2の曲率または曲率半径の実寸法を算出する。
次いで、ステップS67では、端末装置11の分類部11D4が、図3および図10に示す第1画像に含まれる爪Nの爪甲N2と爪上皮F7(図1参照)との境界線BD(図3参照)の形状を分類する。
次いで、ステップS68Aでは、端末装置11の爪3次元形状推定部11D5が、ステップS66Aにおいて算出された幅寸法WNの実寸法と、ステップS66Bにおいて算出された曲率または曲率半径の実寸法と、ステップS66Cにおいて算出された曲率または曲率半径の実寸法とに基づいて、図10に示す第1画像と図11に示す第2画像と図12に示す第3画像とに含まれる爪Nの3次元形状を推定する。
次いで、ステップS68Bでは、端末装置11の爪3次元形状推定部11D5が、ステップS68Aにおいて推定された爪Nの3次元形状に基づいて、爪Nの3次元形状データを生成する。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。上述した各実施形態および各例に記載の構成を適宜組み合わせてもよい。
なお、上述した実施形態における爪3次元形状推定システム1が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
1…爪3次元形状推定システム、11…端末装置、11A…撮像部、11B…通信部、11C1…第1画像取得部、11C2…第2画像取得部、11C3…第3画像取得部、11D…演算部、11D1…補正部、11D2…抽出部、11D31…第1算出部、11D32…第2算出部、11D33…第3算出部、11D4…分類部、11D5…爪3次元形状推定部、11E…表示部、12…サーバ装置、12A…通信部、12B…機械学習部、12C1…第1画像取得部、12C2…第2画像取得部、12C3…第3画像取得部、12D…演算部、12D1…補正部、12D2…抽出部、12D31…第1算出部、12D32…第2算出部、12D33…第3算出部、12D4…分類部、12D5…爪3次元形状推定部、D1、D2、D3、D4…指標、BD…境界線、F…指、F1…爪母(ネイルマトリクス)、F2…爪床(ネイルベッド)、F3…後爪郭(ネイルフォルド)、F4…側爪郭(サイドウォール)、F5…爪溝(ネイルグルーブ)、F6…爪下皮(ハイポニキウム)、F7…爪上皮(エポニキウム)、F8…末節骨、F9…中節骨、F10…側骨間靭帯、N…爪、N1…爪根(ネイルルート)、N2…爪甲(ネイルプレート)、N3…爪半月(ヌルーラ)、N4…爪先(フリーエッジ)、N5…黄線(イエローライン)、N6…右側爪甲縁(サイドライン)、N7…左側爪甲縁(サイドライン)

Claims (13)

  1. 手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得部と、
    爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得部と、
    右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得部と、
    前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定部とを備え、
    前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、
    爪3次元形状推定システム。
  2. 前記指標を含む前記第1画像、前記第2画像および前記第3画像の少なくともいずれかに対する偏位修正を実行する補正部を更に備える、
    請求項1に記載の爪3次元形状推定システム。
  3. 前記爪の領域と前記爪以外の領域とを含む前記第1画像、前記第2画像および前記第3画像から前記爪の領域を抽出する抽出部と、
    前記爪の領域と前記爪以外の領域とを含む教師画像と、前記教師画像から抽出される前記爪の領域との組である教師データに基づいて、前記抽出部の教師あり学習を実行する機械学習部とを更に備える、
    請求項1または請求項2に記載の爪3次元形状推定システム。
  4. 前記指標は前記第1画像に含められ、
    前記第1画像と前記第2画像とに基づいて、前記爪の幅寸法の実寸法を算出する第1算出部と、
    前記第1画像と前記第3画像とに基づいて、前記第3画像に含まれる前記爪の爪甲の曲率または曲率半径の実寸法を算出する第2算出部と、
    前記第1画像と前記第2画像とに基づいて、前記第2画像に含まれる前記爪の爪甲の曲率または曲率半径の実寸法を算出する第3算出部とを更に備え、
    前記爪3次元形状推定部は、前記第1算出部によって算出された幅寸法の実寸法と、前記第2算出部によって算出された曲率または曲率半径の実寸法と、前記第3算出部によって算出された曲率または曲率半径の実寸法とに基づいて、前記爪の3次元形状を推定する、
    請求項1から請求項3のいずれか一項に記載の爪3次元形状推定システム。
  5. 前記第1画像に含まれる前記爪の爪甲と爪上皮との境界線の形状を分類する分類部を更に備える、
    請求項1から請求項4のいずれか一項に記載の爪3次元形状推定システム。
  6. 前記爪3次元形状推定部は、前記爪の3次元形状に基づいて、前記爪の3次元形状データを生成する、
    請求項1から請求項5のいずれか一項に記載の爪3次元形状推定システム。
  7. 請求項6に記載の爪3次元形状推定システムの利用方法であって、
    前記爪3次元形状推定部によって生成された前記爪の3次元形状データは、ネイルチップの作成に利用される、
    爪3次元形状推定システムの利用方法。
  8. 0.5mm〜1mmの厚さの前記ネイルチップが作成される、
    請求項7に記載の爪3次元形状推定システムの利用方法。
  9. 手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得部と、
    爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得部と、
    右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得部と、
    前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定部とを備え、
    前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、
    端末装置。
  10. 前記第1画像と前記第2画像と前記第3画像とを撮像する撮像部と、通信部とを更に備え、
    前記爪3次元形状推定部は、前記爪の3次元形状に基づいて、前記爪の3次元形状データを生成し、
    前記通信部は、前記爪3次元形状推定部によって生成された前記爪の3次元形状データを前記端末装置の外部に送信する、
    請求項9に記載の端末装置。
  11. 前記第1画像、前記第2画像および前記第3画像のいずれかが前記撮像部によって撮像される時に前記撮像部による撮像対象の画像を表示する表示部を更に備え、
    前記表示部は、前記第1画像、前記第2画像および前記第3画像のいずれかが前記撮像部によって撮像される時に、前記撮像対象の画像を表示すると共に、ガイドを表示する、
    請求項10に記載の端末装置。
  12. 手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得ステップと、
    爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得ステップと、
    右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得ステップと、
    前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定ステップとを備え、
    前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、
    爪3次元形状推定方法。
  13. コンピュータに、
    手または足の甲側から撮像された爪の画像である第1画像を取得する第1画像取得ステップと、
    爪先の側から撮像された前記爪の画像である第2画像を取得する第2画像取得ステップと、
    右側爪甲縁または左側爪甲縁の側から撮像された前記爪の画像である第3画像を取得する第3画像取得ステップと、
    前記第1画像と前記第2画像と前記第3画像とに基づいて前記爪の3次元形状を推定する爪3次元形状推定ステップと
    を実行させるためのプログラムであって、
    前記第1画像、前記第2画像および前記第3画像の少なくともいずれかには、前記爪の実寸法の算出に利用される指標が含められる、
    プログラム。
JP2019081192A 2019-04-22 2019-04-22 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム Active JP7342413B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019081192A JP7342413B2 (ja) 2019-04-22 2019-04-22 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019081192A JP7342413B2 (ja) 2019-04-22 2019-04-22 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020177578A true JP2020177578A (ja) 2020-10-29
JP7342413B2 JP7342413B2 (ja) 2023-09-12

Family

ID=72936529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019081192A Active JP7342413B2 (ja) 2019-04-22 2019-04-22 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム

Country Status (1)

Country Link
JP (1) JP7342413B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022131A1 (ja) * 2021-08-20 2023-02-23 シチズン時計株式会社 判定装置、判定方法、及び判定プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209082A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2014064892A (ja) * 2012-09-06 2014-04-17 Casio Comput Co Ltd ネイルプリント装置及びネイルプリント装置の印刷制御方法
JP2015066408A (ja) * 2013-09-26 2015-04-13 てる美 瀬谷 ぐにゃり付け爪
JP2017018158A (ja) * 2015-07-07 2017-01-26 株式会社Agt&T 3dネイルアートモデリング方法
JP2019057111A (ja) * 2017-09-21 2019-04-11 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209082A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
JP2014064892A (ja) * 2012-09-06 2014-04-17 Casio Comput Co Ltd ネイルプリント装置及びネイルプリント装置の印刷制御方法
JP2015066408A (ja) * 2013-09-26 2015-04-13 てる美 瀬谷 ぐにゃり付け爪
JP2017018158A (ja) * 2015-07-07 2017-01-26 株式会社Agt&T 3dネイルアートモデリング方法
JP2019057111A (ja) * 2017-09-21 2019-04-11 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SATOSHI KONDO: "Study on a method of restoring the 3D virtual nail model from the 2D image data based on the GFFD de", 2011 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION, JPN6023008207, 7 August 2011 (2011-08-07), pages 1987 - 1992, XP032019862, ISSN: 0005005556, DOI: 10.1109/ICMA.2011.5985980 *
近藤 聡 ほか: "GFFD空間変形手法を用いたカメラ画像からの爪形状モデリング", 情報処理学会研究報告 グラフィクスとCAD(CG) NO.138, vol. Vol.2010-CG-138 No.4, JPN6023008208, 6 May 2010 (2010-05-06), pages 1 - 6, ISSN: 0005005557 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023022131A1 (ja) * 2021-08-20 2023-02-23 シチズン時計株式会社 判定装置、判定方法、及び判定プログラム

Also Published As

Publication number Publication date
JP7342413B2 (ja) 2023-09-12

Similar Documents

Publication Publication Date Title
Weissler et al. The evolution of photography and three-dimensional imaging in plastic surgery
WO2019131327A1 (ja) 口内撮影装置、医療装置及びプログラム
KR102294927B1 (ko) 가상 성형 sns 서비스 방법 및 장치
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
CN107341762B (zh) 拍照处理方法、装置和终端设备
Andrade et al. Repeatability study of angular and linear measurements on facial morphology analysis by means of stereophotogrammetry
Mai et al. Accuracy of Mobile device–Compatible 3D scanners for facial digitization: Systematic review and meta-analysis
JP2008009769A (ja) 顔認証システム及び顔認証方法
Düppe et al. Evaluation of facial anthropometry using three-dimensional photogrammetry and direct measuring techniques
KR102202490B1 (ko) 3차원 신체 모델 측정 장치 및 방법
CN113257372B (zh) 口腔健康管理相关系统、方法、装置及设备
CN115721263A (zh) 具有身体成分分析电路的电子设备
JP2015046069A (ja) 情報処理装置、特定方法および特定プログラム
US20240041569A1 (en) Method for analyzing an image of a dental arch
JP2020177578A (ja) 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム
JP6914526B2 (ja) 衛生評価装置、衛生評価撮影システム、撮影用架台、及び衛生評価方法
CN106461982B (zh) 用于确定至少一个行为参数的方法
US9738036B2 (en) Method of manufacture of a surgical model for an anatomical feature
KR20150114194A (ko) 치아 정보 서비스 관리 방법 및 시스템
KR100874186B1 (ko) 피검사자의 설진 영상을 스스로 촬영할 수 있는 방법 및 그장치
JP6593673B2 (ja) 身体情報取得装置および身体情報取得方法
JP6195336B2 (ja) 撮影装置、認証方法及びプログラム
CN117503099A (zh) 人体成分分析仪、测量方法、装置、设备及存储介质
KR101656088B1 (ko) 임플란트의 제조방법
Tan et al. An improved hearing aid fitting journey; the role of 3D scanning, additive manufacturing, and sustainable practices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230814

R150 Certificate of patent or registration of utility model

Ref document number: 7342413

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150