CN109558784A - 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质 - Google Patents

指甲轮廓检测装置、指甲轮廓检测方法以及记录介质 Download PDF

Info

Publication number
CN109558784A
CN109558784A CN201811104626.1A CN201811104626A CN109558784A CN 109558784 A CN109558784 A CN 109558784A CN 201811104626 A CN201811104626 A CN 201811104626A CN 109558784 A CN109558784 A CN 109558784A
Authority
CN
China
Prior art keywords
nail
characteristic point
outline
thumbnail image
nail outline
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811104626.1A
Other languages
English (en)
Other versions
CN109558784B (zh
Inventor
佐佐木雅昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN109558784A publication Critical patent/CN109558784A/zh
Application granted granted Critical
Publication of CN109558784B publication Critical patent/CN109558784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00—Manicuring or pedicuring implements
    • A45D29/11—Polishing devices for nails
    • A45D29/14—Polishing devices for nails motor-driven
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00—Manicuring or pedicuring implements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/476—Contour-based spatial representations, e.g. vector-coding using statistical shape modelling, e.g. point distribution models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种指甲轮廓检测装置，具备处理器，所述处理器获取从对手或者脚的指头的指甲进行拍摄而得到的第1指甲图像检测的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、从对与所述第1指甲图像相同的指头的指甲进行拍摄而获取的第2指甲图像检测的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。

Description

指甲轮廓检测装置、指甲轮廓检测方法以及记录介质
本申请基于并主张申请号2017-185568、在2017年9月27日提出的35 USC 119下的日本申请的优先权，并将其全部内容(包括说明书、权利要求书、说明书附图以及说明书摘要)援引至本申请中。
技术领域
本发明涉及指甲轮廓检测装置、指甲轮廓检测方法以及记录介质。
背景技术
以往，已知通过图像处理从拍摄了对象物的图像检测对象物(检测对象)的轮廓的手法。
若使用这种技术，例如，在拍摄人物来获取拍摄图像的情况下，能够从包含于其的眼、鼻、口等的特征部分检测该人物的脸部的轮廓、眼、鼻、口等的各部分的轮廓。
此外，例如，在对指甲的表面实施指甲打印的描绘装置等自动对指甲进行任何按摩的情况下，作为其前提，必须准确地切出作为按摩的对象的指甲的轮廓。
考虑在这种情况下也使用上述的轮廓检测的技术。
作为轮廓检测的技术，例如考虑集合多个样本图像并收集学习数据，通过使用了该学习数据的机械学习来进行轮廓的检测的手法，例如，非专利文献(Xudong Cao，YichenWei，Fang Wen，Jian Sun“Face alignment by Explicit Shape Regression.”CVPR 2012：2887-2894.)中，公开了通过被称为ESR的算法来对检测对象的轮廓进行检测的技术。
在进行基于机械学习的轮廓检测的情况下，能够在不麻烦用户的手的情况下，从图像切出之后的指甲打印等的各种处理中所需的指甲等的对象物的轮廓。
本发明的优点在于，提供一种能够得到可靠性更高的指甲轮廓的指甲轮廓检测装置、指甲轮廓检测方法以及记录介质。
发明内容
一种指甲轮廓检测装置，其特征在于，
具备处理器，
所述处理器
获取从对手或者脚的指头的指甲进行拍摄而获取的第1指甲图像检测的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、从对与所述第1指甲图像相同的指头的指甲进行拍摄而获取的第2指甲图像检测的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
一种指甲轮廓检测方法，其特征在于，
获取拍摄指甲而得到的第1指甲图像，
获取拍摄与所述第1指甲图像相同的指头的指甲而得到的第2指甲图像，
获取从拍摄手或者脚的指头的指甲而得到的第1指甲图像检测到的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、和从拍摄与所述第1指甲图像相同的指头的指甲而获取的第2指甲图像检测到的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
一种可读取的记录介质，其特征在于，记录有程序，该程序用于使指甲轮廓检测装置的计算机实现以下功能：
获取拍摄指甲而得到的第1指甲图像；
获取拍摄与拍摄所述第1指甲图像时相同的指头的指甲而得到的第2指甲图像，
获取从拍摄手或者脚的指头的指甲而得到的第1指甲图像检测到的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、和从拍摄与所述第1指甲图像相同的指头的指甲而获取的第2指甲图像检测到的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
附图说明
图1是表示本实施方式中的指甲轮廓检测装置的外观结构的立体图。
图2是表示本实施方式中的指甲轮廓检测装置的功能性结构的主要部分结构图。
图3A是在第1指甲图像中使第1指甲轮廓以及构成其的第1特征点重叠的俯视图，图3B是在第2指甲图像中使第2指甲轮廓以及构成其的第2特征点重叠的俯视图。
图4是表示本实施方式中的可靠性图的一个例子的俯视图。
图5是表示本实施方式中的可靠性图的内容的一个例子的图。
图6是表示本实施方式中的指甲轮廓检测装置的整体处理的流程图。
图7是表示本实施方式中的指甲轮廓检测装置的对位处理的流程图。
图8A以及图8B是表示第1指甲轮廓与第2指甲轮廓的对位的例子的俯视图。
图9是表示本实施方式中的指甲轮廓检测装置的合并处理的流程图。
图10是示意性地表示本实施方式中的合并处理的说明图。
具体实施方式
参照图1至图10，对本发明所涉及的指甲轮廓检测装置的一实施方式进行说明。
以下，赋予了为了实施本发明而技术上优选的各种限定，但并不将本发明的范围限定于以下的实施方式以及图示例。
图1是表示本实施方式中的指甲轮廓检测装置的外观的立体图。
如图1所示，本实施方式中的指甲轮廓检测装置1具有形成为几乎箱形的壳体11。
在壳体11的上表面(顶板)设置操作部12。
操作部12是用户进行各种输入的输入部。
在操作部12，例如配置有：将指甲轮廓检测装置1的电源接通的电源开关按钮、使动作停止的停止开关按钮、指示指甲T的轮廓检测的开始的检测开始按钮等用于进行各种输入的操作按钮。
此外，在壳体11的上表面(顶板)设置显示部13。
显示部13例如由液晶显示器(LCD：Liquid Crystal Display)、有机电致发光显示器、其他平板显示器等构成。
在本实施方式中，在该显示部13，适当地显示例如拍摄手指U1而得到的指甲图像(包含指甲T的图像的手指图像)、该指甲图像中包含的指甲T的轮廓线等的图像、显示各种指示的指示画面等。
另外，也可以在显示部13的表面一体构成用于进行各种输入的触摸面板。在该情况下，触摸面板作为操作部12而发挥作用。
进一步地，在壳体11的前面侧(图1中为近前侧)，形成用于在基于指甲轮廓检测装置1的拍摄时插入作为检测对象的指甲T所对应的手指U1，且设置于能够进行基于摄影部50的拍摄的可拍摄位置的开口部14。
在开口部14的内侧，配置对本实施方式中的检测对象即指甲T(包含指甲T的手指U1)进行固定的手指固定部3。
图2是功能性表示本实施方式的指甲轮廓检测装置的主要部分结构的说明图。
如图2所示，手指固定部3是在装置近前侧具有开口部31的箱状的部件，在手指固定部3内部配置固定手指U1的手指固定部件32。
手指固定部件32是从下侧顶起支承手指U1的部件，例如由具有柔软性的树脂等形成。
手指固定部3的顶面里侧开口，插入到手指固定部3内的手指U1的指甲T从该开口部分露出。
此外，手指固定部3的顶面近前侧成为防止手指U1的上浮并限制手指U1的上方向的位置的指压脚34。手指U1以及其指甲T被手指固定部件32从下侧支承，手指U1的上侧被指压脚34按压，从而高度方向的位置被定位于规定的位置。
此外，在本实施方式中，在手指插入方向的里侧，设置载置指甲T的指甲载置部35。
通过使指甲T的前端载置于该指甲载置部35，从而指甲T的水平方向(即，X方向以及Y方向)的位置被规定，并且其高度方向的位置也被限制。
在将手指U1插入到壳体11内、即手指固定部3内时指甲T所被配置的位置的上方，配置摄影部50。
摄影部50是拍摄指甲T并获取指甲图像的获取单元。所谓指甲图像，是指通过拍摄指甲T(包含指甲T的手指U1)而得到的包含指甲T的手指U1的图像。
在本实施方式中，在通过指甲载置部35来对指甲T进行定位的状态下，进行基于摄影部50的拍摄。
摄影部50具备摄影装置51和照明装置52。
摄影装置51例如是构成为具备具有200万像素程度以上的像素的固体摄影元件和透镜等的小型照相机。
照明装置52例如是白色LED等的照明灯。在本实施方式中，多个照明装置52被配置为包围摄影装置51。
另外，摄影装置51以及照明装置52的位置并不限定于图示例。例如，摄影部50的摄影装置51以及照明装置52也可以被固定配置于指甲T的上方位置，在摄影部50构成为能够通过移动单元来移动的情况下，能够移动到指甲T的上方位置即可。
该摄影部50与后述的控制装置80的摄影控制部811连接，被该摄影控制部811控制。
另外，由摄影部50拍摄的图像的图像数据也可以存储于后述的存储部82等。
此外，如图2所示，本实施方式的指甲轮廓检测装置1具备控制装置80。
控制装置80例如被设置于在壳体11的顶面的下表面侧等配置的未图示的基板等。
控制装置80是具备由未图示的CPU(Central Processing Unit)构成的控制部81和由ROM(Read Only Memory)以及RAM(Random Access Memory)等(均未图示)构成的存储部82的计算机。
在存储部82，设置保存用于使指甲轮廓检测装置1动作的各种程序等的程序存储区域820。
在本实施方式中，在程序存储区域820，例如保存用于根据拍摄指甲T而得到的指甲图像来检测指甲T的轮廓的轮廓检测程序等。
此外，在本实施方式中，在存储部82，设置对轮廓检测部813进行轮廓检测时参照的与轮廓检测有关的信息进行存储的轮廓检测信息存储区域821、对由轮廓检测部813检测的指甲T的轮廓的信息进行存储的轮廓信息存储区域822等。
在功能上观察的情况下，控制部81具备摄影控制部811、轮廓检测部813等。作为这些摄影控制部811、轮廓检测部813等的功能通过控制部81的CPU与存储部82的程序存储区域820中存储的程序的配合来实现。
摄影控制部811通过控制摄影部50的摄影装置51以及照明装置52，从而通过摄影装置51来拍摄包含轮廓检测的对象即指甲T的图像的手指U1的图像(指甲图像)。
在本实施方式中，如后面所述，在指甲轮廓检测装置1的购入时等，获取用户的指甲T(过去的指甲、图3A等中设为“指甲Tp”。)的轮廓信息，摄影控制部811控制摄影部50，使其拍摄该装置购入等的时刻的指甲Tp并获取指甲Tp的指甲图像(以下将此称为“第1指甲图像”。参照图3A)。
这里，所谓指甲Tp的轮廓信息，是指构成第1指甲轮廓Ta的第1特征点A1～An(在本实施方式中为特征点A19)的坐标数据(第1特征点数据)(以下，也简称为“特征点A”。参照图3A)。
在本实施方式中，针对该装置购入等的时刻的指甲Tp，针对用户日后预定参照指甲T的轮廓形状来进行各种处理(例如向指甲T的指甲打印、自动地修整指甲T的表面的自动修磨指甲、自动指甲护理等)的全部手指U1的指甲T，进行基于摄影部50的拍摄，获取指甲Tp的指甲图像(第1指甲图像)。
在本实施方式中，若获取到该指甲Tp的指甲图像(第1指甲图像)，则将其显示于显示部13等，用户自己将判断为轮廓的线描绘在形成于显示部13的触摸面板上等，从而通过手动来切出(获取)第1指甲轮廓Ta。
另外，用户通过手动来切出第1指甲轮廓Ta的手法并不被特别限定。例如，也可以将由摄影部50拍摄的指甲Tp的指甲图像(第1指甲图像)发送到外部的终端装置等(未图示)，在终端装置等的显示部上使用触控笔等来进行指甲轮廓(第1指甲轮廓Ta)的切出作业。
此外，在本实施方式中，在用户通过未图示的描绘装置来进行对指甲T实施描绘等具体的处理的情况下，为了确定该描绘等的处理的对象区域而获取用户的现状的指甲T(作为检测对象的指甲，图3B等中设为“指甲Tn”)的轮廓信息。摄影控制部811控制摄影部50，拍摄该处理等的时刻的指甲T并获取指甲Tn的指甲图像(以下将其称为“第2指甲图像”。参照图3B)。
这里，所谓指甲Tn的轮廓信息，是指构成第2指甲轮廓Td的第2特征点D1～Dn(在本实施方式中为特征点D19)的坐标数据(第2特征点数据)(以下，也简称为“特征点D”。参照图3B)。
轮廓检测部813基于所述的装置购入等的时刻的与指甲Tp有关的轮廓信息(即，第1轮廓Ta和构成其的第1特征点数据(即，特征点A1～A19的坐标数据))、处理等的时刻的与指甲Tn有关的轮廓信息(即，第2轮廓Td和构成其的第2特征点数据(即，特征点D1～D19的坐标数据))，针对处理等的时刻的指甲Tn(检测对象)，检测可靠性更高的指甲轮廓。
以下，对本实施方式中的轮廓检测部813的轮廓检测处理详细进行说明。
首先，在获取装置购入等的时刻的与指甲Tp有关的轮廓信息时，若用户通过描绘判断为指甲Tp的指甲图像中轮廓的线等来手动地获取第1指甲轮廓Ta，则轮廓检测部813将构成该第1指甲轮廓Ta的第1特征点数据(即，特征点A1～A19的坐标数据)设定在第1指甲轮廓Ta上。
具体而言，轮廓检测部813首先求出第1指甲轮廓Ta的重心Ac(参照图3A)，将从该重心Ac向指甲T(指甲Tp)的前端方向笔直地划线时的与第1指甲轮廓Ta的交点设为特征点A1，从该处起沿着第1指甲轮廓Ta，逆时针地几乎等间隔地自动设定A2、A3…An(在本实施方式中为A19)。
另外，这里，所谓“重心”，是指图形(本件中为指甲(指甲Tp))内的一次矩的总和为0的点。
另外，在图3A等中，作为特征点，表示了A1～A19的19个点被设定在第1指甲轮廓Ta上的例子，但设定在第1指甲轮廓Ta上的特征点的数量并不限定于19个，也可以还更多，也可以比此少。
此外，特征点A1～A19并不限定于由轮廓检测部813自动地设定的情况，也可以与第1指甲轮廓Ta同样地，用户通过手动来设定。
第1指甲轮廓Ta和构成其的第1特征点数据(即，特征点A1～A19的坐标数据)是按照该用户的各指(即，从右手的大拇指到小拇指，从左手的大拇指到小拇指)的每一个而获取的，与该用户以及确定各手指种类的信息建立对应，存储于存储部82的轮廓信息存储区域822。
此外，在获取处理等的时刻的与指甲Tn有关的轮廓信息时，轮廓检测部813针对处理等的时刻的指甲Tn，从获取到的指甲图像(第2指甲图像)切出(检测)指甲Tn的轮廓(将其称为“第2指甲轮廓Td”。参照图3B)。
轮廓检测部813进行轮廓检测的手法并不被特别限定，例如使用ESR(ExplicitShape Regression，显式形状回归)的手法，根据检测对象图像(第2指甲图像)来进行检测对象即指甲T(指甲Tn)的轮廓(第2指甲轮廓Td)的检测。
ESR生成在重心的周围配置有特征点的初始形状(形状模型)，进行其与包含检测对象(在本实施方式中为指甲Tn)的图像(指甲图像)的拟合。例如“Xudong Cao，YichenWei，Fang Wen，Jian Sun“Face alignment by Explicit Shape Regression.”CVPR 2012：2887-2894.”(非专利文献1)等中介绍那样，在使用ESR的轮廓检测中，组合应用2阶段的弱回归(弱识别器)，作为使初始形状(形状模型)逐渐向正解位置即检测对象的轮廓收束这一回归问题，进行轮廓检测。
若轮廓检测部813检测到指甲Tn的轮廓(即，第2指甲轮廓Td)，则将构成该第2指甲轮廓Td的第2特征点数据(即，特征点D1～D19的坐标数据)设定在第2指甲轮廓Td上。
具体而言，轮廓检测部813首先求出第2指甲轮廓Td的重心Dc(参照图3B)，将从该重心Dc向指甲T的前端方向笔直地划线时的与第2指甲轮廓Td的交点设为特征点D1，从该处起沿着第2指甲轮廓Td，逆时针地几乎等间隔地自动设定D2、D3…Dn。另外，设定的特征点的数量设为与针对指甲Tp的轮廓(即，第1指甲轮廓Ta)设定的特征点A1～A19相同的19个。
另外，在本实施方式中，若轮廓检测部813设定了特征点D1～D19，则根据其位置关系来将各特征点D1～D19分组为多个框(位置组)。
在图3B中，表示了将特征点D1～D19分组为属于指甲T的上部位置的上部组G1、属于指甲T的下部位置的下部组G2、属于指甲T的左侧部位置的左侧组G3、属于指甲T的右侧部位置的右侧组G4这4个位置组的例子。另外，分组的位置、设定的位置组的数量等并不被特别限定，并不限定于图示例。
另外，如ESR那样作为回归问题来进行轮廓检测的手法相比于使形状模型拟合并进行轮廓检测的AAM等的手法，鲁棒性优良，因此即使未那么严密地设定使用什么样的形状作为初始形状、配置初始形状的初始位置，对检测结果的精度的影响也较少。
因此，例如，即使在被输入的检测对象图像为粗手指的指甲的图像或者细小手指的指甲的图像这种存在较大差别的情况下，也能够应用共用的初始形状来进行轮廓检测。
但是，在使用ESR这种算法的轮廓检测中，不存在评价检测结果的可靠性的指标。因此，优选另外评价被检测为指甲轮廓的点具有什么程度的指甲T的轮廓的类似性，得到可靠性更高的轮廓检测结果。
因此，在本实施方式中，针对由轮廓检测部813自动检测的指甲Tn的指甲轮廓(构成第2指甲轮廓Td的第2特征点数据(即，特征点D1～D19的坐标数据)，计算可靠性。
具体而言，在本实施方式的指甲轮廓检测装置1的存储部82的轮廓检测信息存储区域821，存储通过预先学习而得到的识别器C，轮廓检测部813首先通过将该识别器C应用于检测对象图像(第2指甲图像)，来评价该图像(第2指甲图像)的全像素，做成指甲轮廓(第2指甲轮廓Td)的可靠性图M(参照图4)。
识别器C针对包含轮廓(在本实施方式中为指甲Tn的轮廓)的图像中的任意的点，评价其“轮廓类似性”，即，是否为构成检测对象(在本实施方式中为指甲Tn)的第2指甲轮廓Td的轮廓。
为了生成识别器C，获取多个包含学习对象(在本实施方式中为指甲)的轮廓的学习用的样本图像(未图示)，使用该多个学习用的样本图像来进行学习。
用于生成识别器C的学习方法并不被特别限定，例如能够通过支持向量机(support vector machine，SVM)等具有教师的学习。
在具有教师的学习中，针对全部学习用的样本图像，人们预先输入作为正解的检测对象(在本实施方式中为指甲T)的轮廓(正解轮廓)，样本图像与正解轮廓被建立对应。然后，对位于轮廓(正解轮廓)上的轮廓点(该点的坐标数据)赋予正例的等级标签，对位于轮廓(正解轮廓)以外的部分的非轮廓点(该点的坐标数据)赋予负例的等级标签，从而分类为2类，将包含该学习用的样本图像的正例群和负例群的学习数据群作为学习样本来存储于存储部82等。
然后，从这些样本图像任意地选择“点”，针对该“点”，根据样本图像来计算特征量。
作为特征量，例如能够使用HOG(Histograms of Oriented Gradients，直方图)。所谓HOG，是将局部区域(单元)中的亮度的梯度方向直方图化的特征量。
为了计算HOG特征量，根据图像(样本图像)来计算亮度梯度，根据计算出的梯度强度和梯度方向来做成亮度的梯度方向直方图并进行标准化。
另外，使用什么作为特征量并不被特别限定，也可以使用HOG以外。
进一步地，将计算出的特征量输入到识别器，通过使其识别正例或者负例来进行识别器的学习。若生成作为学习的结果的识别器C，则存储于轮廓检测信息存储区域821。
另外，识别器C可以作为图像整体来生成一个，也可以按照特征不同的区域来分割图像，按照该分割的区域(例如属于图3B所示的位置组G1～G4的区域)的每一个来分别生成识别器C。
识别器C可以在本指甲轮廓检测装置1中生成，也可以在其他装置中预先生成，存储于轮廓检测信息存储区域821。
图4是表示通过轮廓检测部813将识别器C应用于检测对象图像(第2指甲图像)，从而得到为对该第2指甲图像的全像素进行评价的结果的指甲轮廓的可靠性图M的一个例子的图，图5是将构成第2指甲轮廓Td的第2特征点D1～D19各自的可靠性TD一览表示的表。
在图5中，可靠性TD1、TD2...TD19分别对应于第2特征点D1、D2...D19。
在图5中，可靠性的MAX为“250”，该数值越高表示该特征点的可靠性的等级越高，越低则表示该特征点的可靠性的等级越低。
在图5所示的例子中，第2特征点D8的可靠性TD8为100，第2特征点D9的可靠性TD9为105，第2特征点D15的可靠性TD15为120，可靠性较低。
若轮廓检测部813如上述那样获取到构成从第1指甲图像切出的第1指甲轮廓Ta的第1特征点A1～An(在本实施方式中，n＝19，参照图3A)、构成从第2指甲图像切出的第2指甲轮廓Td的第2特征点D1～Dn(在本实施方式中，n＝19，参照图3B)、可靠性图M(参照图4)，则进行第1指甲轮廓Ta与第2指甲轮廓Td的对位。
以下，对具体的对位的手法详细进行说明。
在本实施方式中，轮廓检测部813如特征点A1与特征点D1、特征点A2与特征点D2...特征点An与特征点Dn那样分别将编号对应的特征点作为对应点来使第1指甲轮廓Ta与第2指甲轮廓Td匹配。
并且，轮廓检测部813从n个(在本实施方式中为19个)匹配中随机地选择2对，作成相似变换矩阵G，将未被选择的剩余匹配以变换矩阵G进行变换，根据匹配的合群来计算评价点并评价变换矩阵G。关于具体的评价点的赋予方式，使用以下的手法。
即，例如，在使用n个(在本实施方式中为19个)的特征点之中的某个特征点(将此设为“m”。)的匹配(本例中为特征点Am与特征点Dm的匹配)来评价变换矩阵G的情况下，以变换矩阵G来变换特征点Am，通过变换后的特征点Am的位置与特征点Dm的位置的误差的大小来评价变换矩阵G。
在进行变换矩阵G的评价时，参照特征点Dm的可靠性即TDm。在TDm大于某个阈值的情况下，认为特征点Dm是处于轮廓上的“点”，因此在误差的大小小于一定的情况下(即，将一定的误差(误差的阈值)设为“eerTH1”时，计算出的误差＜eerTH1时)，匹配为误差范围内，加上评价点。
另一方面，在特征点Dm的可靠性TDm小于某个阈值的情况下，认为特征点Dm是不处于轮廓上的“点”，因此在误差的大小为一定以上且一定以下时(即，将一定的误差(下误差的阈值)设为“eerTH2”、将一定的误差(上误差的阈值)设为“eerTH3”时，eerTH2＜误差＜eerTH3时)，匹配为误差范围内，加上评价点。
另外，将各一定的误差(误差的阈值)设为何种程度是被适当地设定的事项。
如以上那样，进行如下评价：轮廓检测部813在特征点Dm处于轮廓上的情况下，在更正确地匹配的情况下相加，在特征点Dm稍从轮廓偏离的情况下，以具有宽度的匹配相加，在特征点Dm完全从轮廓偏离的情况下不相加。
进一步地，轮廓检测部813针对变换矩阵G，根据误差范围内的匹配的各点(特征点)所属的位置组(即，在本实施方式中，上部组G1、下部组G2、左侧组G3、右侧组G4的4个位置组)来加上评价点。
考虑了位置组的相加通过如下手法进行：对被匹配的各点(特征点Am与Dm的对)分别属于哪个位置组进行计数，若各点不偏离各位置组地(特征点Am与Dm的对)属于则相加。由此，不偏离轮廓整体地对位的变换矩阵G的评价点比误差范围内的变换矩阵G的评价点高出在一部分偏离的点(特征点的对)。
轮廓检测部813进行多次以上那样的变换矩阵G的评价，使用评价点最高的变换矩阵G来进行对位处理。另外，进行多少次该评价是被适当地设定的事项。
将通过进行这样的对位处理而求出的轮廓设为指甲轮廓Ti，将轮廓上的特征点设为I1、I2...In(在本实施方式中为I19)(参照图10)。此外，使用可靠性图M来求出轮廓Ti的各特征点I1、I2...In的可靠性，将特征点I1的可靠性设为TI1，将特征点I2的可靠性设为TI2，将In的可靠性设为TIn。
轮廓检测部813将轮廓Ti、构成轮廓Ti的各特征点I1、I2...In以及各特征点I1、I2...In的可靠性TI1、TI2...Tin存储于轮廓检测信息存储区域821等。
接下来，轮廓检测部813针对一个相同的手指的指甲T(Tp以及Tn)，针对通过ESR等而自动切出的第2轮廓Td、和进行通过与第2轮廓Td不同的手法(例如基于用户的手动输入)而切出的第1指甲轮廓Ta与第2指甲轮廓Td的对位处理从而得到的基于对位处理的指甲轮廓Ti，使用通过应用可靠性图M而求出的可靠性来进行合并(合成)。
然后，将通过该合并处理(合成处理)而求出的轮廓设为合成指甲轮廓Tm，将该合成指甲轮廓Tm上的特征点设为M1、M2...Mn。
即，例如，在将n个(在本实施方式中为19个)特征点之中的某个特征点设为“1”的情况下，针对第2指甲轮廓Td的特征点Di和对位处理后的轮廓Ti的特征点I1，在各自的可靠性TD1和可靠性TI1双方都高出一定以上时，由于轮廓检测部813认为使用其指甲T(Tn)来进行检测的第2指甲轮廓Td更接近于正解，因此使用第2特征点D1来设为合并处理后的特征点M1(即，M1＝D1)。
此外，针对第2指甲轮廓Td的特征点D1和对位处理后的指甲轮廓Ti的特征点I1，在各自的可靠性TD1和可靠性TI1的一个高出一定以上时，轮廓检测部813选择可靠性较高的。
即，在第2指甲轮廓Td的第2特征点D1的可靠性TD1比对位处理后的指甲轮廓Ti的特征点I1的可靠性TI1高出一定以上的情况下(即，TD1＞TI11)，轮廓检测部813使用第2特征点D1来设为合并处理后的特征点M1(即，M1＝D1)。
另一方面，在对位处理后的指甲轮廓Ti的特征点I1的可靠性TI1比第2指甲轮廓Td的第2特征点D1的可靠性TD1高出一定以上的情况下(即，TI1＞TD1)，轮廓检测部813使用对位处理后的指甲轮廓T1的特征点I1来设为合并处理后的特征点M1(即，M1＝I1)。
此外，在第2指甲轮廓Td的第2特征点D1的可靠性TDi以及对位处理后的指甲轮廓Ti的特征点I1的可靠性TI1双方都低了一定以上时，将双方的可靠性TD1以及可靠性TI1作为系数来进行混合。其结果，M1＝(TI1＊I1+TD1＊D1)/(I1+D1)。
另外，被设为这种情况下的“高出一定以上”或者“低了一定以上”的基准(阈值)被适当地设定。
接下来，参照图6至图10，对本实施方式中的指甲轮廓检测方法进行说明。
图6是表示通过本实施方式的指甲轮廓检测装置1来进行的指甲轮廓检测处理的整体流程的流程图。
如图6所示，在本实施方式中，首先，指甲轮廓检测装置1的购入时等，摄影控制部811控制摄影部50来拍摄包含用户的指甲T(指甲Tp)的手指U1，获取第1指甲图像(步骤S1)。
然后，用户从该第1指甲图像手动地指定认为是指甲T的轮廓的线，从而第1指甲轮廓Ta(参照图3A)被切出，其通过控制部81而被获取(步骤S2)，并存储于轮廓信息存储区域822。另外，在本实施方式中，例如针对从左右的大拇指到小拇指的全部10指，获取第1指甲图像以及第1指甲轮廓Ta，分别和用户以及确定手指种类的信息一起被存储、注册。
若获取到第1指甲轮廓Ta，则通过轮廓检测部813，设定构成第1指甲轮廓Ta的第1特征点A1～An(在本实施方式中为到A1～A19的19个)，针对该坐标数据(第1特征点数据)也与第1指甲轮廓Ta等建立对应并存储于轮廓信息存储区域822。
接下来，在对指甲T进行各种处理、按摩等情况下，作为其前提，获取检测对象即指甲T的轮廓时，摄影控制部811控制摄影部50来拍摄包含用户的指甲T(指甲Tn)的手指U1，获取第2指甲图像(检测对象图像)(步骤S3)。
然后，通过ESR等的机械学习的手法，从该第2指甲图像检测指甲T的第2指甲轮廓Td(步骤S4)，获取第2指甲轮廓Td(步骤S5)。轮廓检测部813针对该第2指甲轮廓Td，设定构成其的第2特征点D1～D19，针对该坐标数据(第2特征点数据)也与第2指甲轮廓Td建立对应并存储于轮廓信息存储区域822。
此外，若获取到第2指甲图像，则轮廓检测部813针对构成该图像的全像素，进行评价可靠性的可靠性图生成处理(步骤S6)，生成可靠性图M(参照图4)(步骤S7)。
然后，轮廓检测部813使用第1指甲轮廓Ta、第2指甲轮廓Td以及可靠性图M来进行第1指甲轮廓Ta与第2指甲轮廓Td的对位处理(步骤S8)。
这里，参照图7等，对本实施方式中的对位处理详细进行说明。
如图7所示，在进行对位处理的情况下，轮廓检测部813首先使第1指甲轮廓Ta的特征点A1～A19与第2指甲轮廓Td的特征点D1～D19对应来作成对应点的组，从该对应点的组中随机地选择2组(步骤S21)。
然后，通过该选择的2组来求出变换矩阵G(步骤S22)，针对第1指甲轮廓Ta的特征点A1～A19的任意一个(图7等中为“特征点Am”)，进行基于变换矩阵G的变换处理(步骤S23)。
轮廓检测部813判断进行了基于变换矩阵G的变换处理的特征点Am是否为对位处理的对象即特征点A1～An(在本实施方式中为特征点A19)之中的任意一个(图7中“m＝0；m＜n；m？”)(步骤S24)。其中，针对求出变换矩阵G时选择的点，跳过。在特征点Am为特征点A1～An之中的任意一个(但是，求出变换矩阵G时选择的点以外)的情况下(步骤S24；是)，轮廓检测部813计算特征点Dm与变换处理后的特征点Am的误差(图7中为“Err”)(步骤S25。图7中为“计算Err＝Dm-(Am＊G)”)。
接下来，轮廓检测部813应用可靠性图M，判断特征点Dm的可靠性TDm是否大于一定的值(步骤S26)。另外，将这种情况下的“一定的值”设为何种程度是能够适当设定的事项。
然后，在可靠性TDm大于一定的值的情况下(步骤S26；是)，轮廓检测部813进一步判断特征点Dm与变换处理后的特征点Am的误差“Err”是否小于规定的阈值“errTH1”(步骤S27)，在误差小于规定的阈值的情况下(步骤S27；是)，轮廓检测部813判断为特征点Am与特征点Dm的匹配为误差范围内(即，判定为特征点Am与特征点Dm是阈值以内的对应点(对)。步骤S28)，针对该变换矩阵G将评价点相加(步骤S29)。
另一方面，在可靠性TDm未大于一定的值的情况下(步骤S26；否)，轮廓检测部813进一步判断特征点Dm与变换处理后的特征点Am的误差“Err”是否大于规定的阈值“errTH2”且小于规定的阈值“errTH3”(步骤S30)，在误差“Err”大于“errTH2”且小于“errTH3”的情况下(步骤S30；是)，轮廓检测部813判断为特征点Am与特征点Dm的匹配为误差范围内(即，判断为特征点Am与特征点Dm是阈值以内的对应点(对)。步骤S28)，将该变换矩阵G评价点相加(步骤S29)。与此相对地，在误差“Err”不满足“errTH2＜Err＜errTH3”的条件的情况下(步骤S30；否)，轮廓检测部813不针对该变换矩阵G将评价点相加(步骤S31)。
这样，在本实施方式中，在通过应用可靠性图M来导出的可靠性TDm较低的情况(即，步骤S26；否的情况)下，进行使比可靠性TDm较高的情况(即，步骤S26；是的情况)更允许的误差“Err”的范围变窄的加权。在可靠性TDm较低的、错误的可能性较高的特征点Dm对应于变换处理的结果特征点Am的情况下，被用于变换处理的变换矩阵G错误的可能性较高。因此，在这样的情况下，通过进行加权以使得评价点难以被相加，从而能够降低该变换矩阵G的评价值。
另外，将判定是否为允许误差“Err”时的规定的阈值即“errTH1”“errTH2”“errTH3”设为何种程度是能够适当地设定的事项。
这里，参照图8A以及图8B，对特征点Am与特征点Dm的匹配的具体例进行说明。
图8A以及图8B是表示将第1指甲轮廓Ta(构成第1指甲轮廓Ta的特征点A1～A19)与第2指甲图像(检测对象图像)中包含的第2指甲轮廓Td(构成第2指甲轮廓Td的特征点D1～D19)对位的例子的图。图8A表示尝试对位以使得在第2指甲轮廓Td的上部重叠第1指甲轮廓Ta的上部的例子，图8B表示尝试对位以使得在第2指甲轮廓Td的下部重叠第1指甲轮廓Ta的下部的例子。
在图8A所示的例子中，特征点A1～A19以及特征点D1～D19之中，(A1，D1)(A2，D2)(A3，D3)(A4，D4)(A19，D19)相互全部或者几乎重合。此外，(A5，D5)(A6，D6)(A8，D8)(A9，D9)(A17，D17)(A18，D18)被配置于一定距离内。与此相对地，(A7，D7)(A10，D10)(A11，D11)(A12，D12)(A13，D13)(A14，D14)(A15，D15)(A16，D16)相互分开距离。
轮廓检测部813参照可靠性图M(参照图4)，获取各特征点D1～D19的可靠性TD1～TD19(参照图5)的值，若可靠性高于规定值，则若特征点Am与特征点Dm的误差为规定的误差“errTH1”以下则判断为误差范围内并将评价点相加。
如图5所示，在本实施方式中，特征点D1、D2、D3、D4、D19的可靠性的值均较高(例如，特征点D1的可靠性TD1＝250，特征点D2的可靠性TD2＝230等)。因此，(A1，D1)(A2，D2)(A3，D3)(A4，D4)(A19，D19)例如即使未完全重合，若几乎重合，就判断为误差范围内并将评价点相加。
此外，例如，特征点D8、D9、D15的可靠性的值均较低(特征点D8的可靠性TD8＝100，特征点D9的可靠性TD9＝105，特征点D15的可靠性TD15＝120)。
因此，针对特征点D8、D9、D15，仅在特征点Am与特征点Dm的误差“Err”满足“errTH2＜Err＜errTH3”的条件的情况下，即误差较少的情况下(被配置于一定距离内的情况下)，判断为误差范围内并将评价点相加。在图8A的例子中，由于(A8，D8)(A9，D9)处于规定的误差范围内的距离，因此轮廓检测部813判断为误差范围内并将评价点相加。另一方面，由于特征点(A15，D15)的误差较大，因此轮廓检测部813判断为误差范围外并不将评价点相加。
此外，在图8B所示的例子中，特征点A1～A19以及特征点D1～D19之中，(A4，D4)(A5，D5)(A6，D6)(A7，D7)(A10，D10)(A11，D11)(A12，D12)(A13，D13)相互全部重合或者几乎重合。此外，(A3，D3)(A9，D9)(A14，D14)(A15，D15)(A16，D16)(A17，D17)被配置于一定距离内。与此相对地，(A1，D1)(A2，D2)(A8，D8)(A18，D18)(A19，D19)相互分开距离。
如所述那样，在本实施方式中，特征点D8、D9、D15的可靠性的值均较低(特征点D8的可靠性TD8＝100，特征点D9的可靠性TD9＝105，特征点D15的可靠性TD15＝120)。
因此，轮廓检测部813针对(A8，D8)(A9，D9)(A15，D15)，仅在特征点Am与特征点Dm的误差“Err”满足“errTH2＜Err＜errTH3”的条件的情况下，即误差较少的情况下(被配置于一定距离内的情况下)，判断为误差范围内并将评价点相加。在图8B的例子中，由于特征点(A9，D9)(A15，D15)处于规定的误差范围内的距离，因此轮廓检测部813判断为误差范围内并将评价点相加。另一方面，由于特征点(A8，D8)的误差较大，因此轮廓检测部813判断为误差范围外并不将评价点相加。
若评价点的相加(步骤S29)或者非相加(步骤S31)的处理结束，则设定以下的特征点Am(Am+1)，同样反复从步骤S23到步骤S31的处理。
然后，针对一个变换矩阵G，若针对特征点A1～An(在本实施方式中，特征点A1～特征点A19)的全部，进行变换处理(步骤S24；否)，则轮廓检测部813判定误差范围内的特征点(特征点的对)属于哪个位置组(步骤S32)。
在本实施方式中，如所述那样，将特征点D1～D19分组为属于指甲T的上部位置的上部组G1、属于指甲T的下部位置的下部组G2、属于指甲T的左侧部位置的左侧组G3、属于指甲T的右侧部位置的右侧组G4的4个位置组，轮廓检测部813将误差范围内的特征点(特征点的对)分类为这些任意一个的位置组。
进一步地，轮廓检测部813判定误差范围内的特征点(特征点的对)所属的位置组是否分散(步骤S33)。所谓所属的位置组分散，是指误差范围内的各特征点(特征点的对)不偏离于各位置组G1～G4地配置。
在位置组分散的情况下(步骤S33；是)，轮廓检测部813对该变换矩阵G加上评价点(步骤S34)。另一方面，在位置组未分散的情况下(即，误差范围内的各特征点(特征点的对)的配置存在偏离的情况下。)步骤S33；否)，轮廓检测部813不对该变换矩阵G加上评价点(步骤S35)。
由此，将整体对位的变换矩阵G(即，特征点与位置组G1～G4分别几乎未偏离地合群的结果的变换矩阵G)的评价点比误差范围内的变换矩阵G(即，特征点分别几乎不偏离位置组G1～G4地合群的结果的变换矩阵G)高出一部分的特征点。
若这样结束了针对一个变换矩阵G的评价点的计算，则轮廓检测部813再次反复从步骤S21到步骤S35的处理，进行针对多个变换矩阵G的评价点的计算。并且，其中，使用评价点最高的变换矩阵G来进行第1指甲轮廓Ta与第2指甲轮廓Td的对位处理，得到对位处理后的指甲轮廓Ti(步骤S36)。
若得到指甲轮廓Ti，则轮廓检测部813将第1指甲轮廓Ta的特征点A1～An(在本实施方式中An＝A19)以及第2指甲轮廓Td的特征点D1～Dn(在本实施方式中Dn＝D19)所对应的点分别设为特征点I1～In(在本实施方式中In＝I19)，应用可靠性图M，求出这些特征点I1～In(在本实施方式中In＝I19)的可靠性。另外，以下，可靠性是将特征点I1的可靠性设为可靠性TI1，将特征点I2的可靠性设为可靠性TI2，...将特征点In的可靠性设为可靠性TIn。
接下来，轮廓检测部813对于一个指甲，针对通过ESR等而自动求出的第2指甲轮廓Td、和通过将第1指甲轮廓Ta与第2指甲轮廓Td对位而求出的对位后的指甲轮廓Ti，使用来自可靠性图M的可靠性来进行合并处理(参照图10)。
然后，轮廓检测部813将通过合并处理而求出的轮廓设为指甲轮廓Tm，在指甲轮廓Tm上设定特征点M1、M2...Mn(在本实施方式中Mn＝M19)。另外，特征点M1，M2...Mn分别对应于第2指甲轮廓Td的特征点D1～Dn(在本实施方式中Dn＝D19)以及对位后的指甲轮廓Ti的特征点I1～In(在本实施方式中In＝I19)。
参照图9以及图10来对合并处理的详细进行说明。
图9是合并处理的流程图，图10是示意性地表示针对第2指甲轮廓Td和指甲轮廓Ti，使用可靠性图M来进行合并处理的样子的说明图。
另外，在图9等中，将第2指甲轮廓Td的特征点D1～D19的任意一个设为“特征点D1”，将构成与其对应的对位后的指甲轮廓Ti的特征点I1～I19的任意一个设为“特征点I1”。此外，将构成这些“特征点D1”“特征点I1”所对应的合并处理后的指甲轮廓Tm的特征点M1～M19的任意一个设为“特征点M1”，分别针对各特征点“特征点D1”“特征点I1”“特征点M1”的每一个，将应用可靠性图M而得到的可靠性分别设为“可靠性TD1”“可靠性TI1”“可靠性TM1”。
如图9所示，在进行合并处理的情况下，轮廓检测部813针对特征点D1和特征点I1，判断各自的可靠性TD1和可靠性TI1是否双方都高于一定的阈值(图9中，将针对可靠性TD1的阈值设为“阈值A”，将针对可靠性TI1的阈值设为“阈值B”。)(步骤S41)。
在双方都高于一定的阈值的情况下(步骤S41；是)，认为使用作为检测对象的指甲T来进行检测的指甲轮廓Td的更接近于正解轮廓，因此轮廓检测部813将指甲轮廓Td的特征点D1设为合并处理后的特征点M1(图9中，M1＝D1，步骤S42)。
另一方面，在并不是双方都高于一定的阈值的情况下(步骤S41；否)，轮廓检测部813进一步判断是否可靠性TD1或者可靠性TI1的任意一个高于一定的阈值(步骤S43)。
在可靠性TD1或者可靠性TI1的任意一个高于一定的阈值的情况下(步骤S43；是)，轮廓检测部813进一步判断是否可靠性TD1高于可靠性TI1(步骤S44)。
然后，在可靠性TD1高于可靠性TI1的情况下(步骤S44；是)，轮廓检测部813将指甲轮廓Td的特征点D1设为合并处理后的特征点M1(图9中M1＝D1，步骤S45)。
此外，在可靠性TD1不高于可靠性TI1的情况下(即，可靠性TI1高于可靠性TD1的情况下，步骤S44；否)，轮廓检测部813将指甲轮廓Ti的特征点I1设为合并处理后的特征点M1(图9中M1＝I1，步骤S46)。
另一方面，在可靠性TD1或者可靠性TI1的双方都低于一定的阈值的情况下(步骤S43；否)，轮廓检测部813将特征点D1以及特征点I1的双方的可靠性(即，可靠性TD1以及可靠性TI1)作为系数来进行混合，将混合结果设为合并处理后的特征点M1(图9中“M1＝(TI1＊I1+TD1＊D1)/(I1+D1)”，步骤S47)。
轮廓检测部813针对全部特征点，判断求取特征点M1的合并处理是否结束(步骤S48)，在针对全部特征点，处理未结束的情况下(步骤S48；否)，返回到步骤S41并反复处理，在针对全部特征点，处理结束的情况下(步骤S48；是)，结束合并处理。
由此，如图10所示，生成由特征点M1～M19构成的指甲轮廓(合成指甲轮廓Tm)。
这样，在本实施方式中，考虑各特征点的可靠性，将第1指甲轮廓Ta与第2指甲轮廓Td，进一步合并为一个指甲轮廓，从而能够将更接近于正解轮廓的指甲轮廓(合成指甲轮廓Tm)检测为进行针对指甲T的各种处理的当前时刻的指甲轮廓。
如以上那样，根据本实施方式，将构成从某个时刻获取的第1指甲图像检测的指甲Tp的轮廓即第1指甲轮廓Ta的第1特征点A1～An(第1特征点数据)、构成从对与获取到第1指甲图像的指甲相同的手指的指甲Tn进行拍摄而获取的当前时刻的指甲Tn的图像即第2指甲图像检测到的指甲Tn的轮廓即第2指甲轮廓Td的第2特征点D1～Dn(第1特征点数据)存储于轮廓检测信息存储区域821，基于构成指甲轮廓的特征点数据的可靠性，进行第1指甲轮廓Ta与第2指甲轮廓Td的对位，并且采用可靠性更高的特征点数据来得到一个合成指甲轮廓Tm。
因此，相比于通过1次轮廓检测来检测指甲轮廓的情况，能够进行准确性更高的指甲轮廓的检测。
由此，在使用检测到的指甲轮廓(合成指甲轮廓Tm)，例如在指甲区域实施指甲打印的情况下，能够在不露出或者不产生漏涂的情况下，进行高精细的描绘处理。此外，在自动进行指甲护理等的情况下也能够在正确的范围实施按摩。
此外，在本实施方式中，第1指甲轮廓Ta和第2指甲轮廓Td是通过不同的手法而从所述指甲图像检测到的。
因此，第1指甲轮廓Ta和第2指甲轮廓Td中能够得到不同的检测结果，其中，通过选择可靠性较高的特征点来生成最终的指甲轮廓(合成指甲轮廓Tm)，能够得到可靠性更高的指甲轮廓。
此外，在本实施方式中，第1指甲轮廓Ta是用户从指甲图像手动检测指甲Tp的轮廓而得到的。
例如，指甲T的生成时等、指甲与皮肤等的边界部分等的对比度较小，机械学习中正确的检测较难，但若为基于手动作业的检测，则也能够正确地切割这样的部分。
对此，指甲T的前端部分由于伸出或者剪指甲而长度、形状变化。因此，过去的某个时刻通过手动而切出的指甲轮廓(第1指甲轮廓Td)错误的可能性较高。另一方面，指甲T的前端部分相比于生成时等，指甲T与其以外的部分的对比度较大，基于机械学习等的自动检测的精度较高。
在本实施方式中，在第1指甲轮廓Ta与第2指甲轮廓Td的对位、合并处理(合成处理)中，考虑构成轮廓的各特征点的可靠性。因此，在指甲的生成时部分等，通过机械学习等而自动地检测的指甲轮廓(第2指甲轮廓Td)的可靠性变低，在作为最终检测结果的合成指甲轮廓Tm中，通过手动来切出的指甲轮廓(第1指甲轮廓Ta)被优先采用。与此相对地，指甲的前端部分的通过机械学习等来自动检测的指甲轮廓(第2指甲轮廓Td)的可靠性较高，因此作为最终检测结果的合成指甲轮廓Tm中，被优先采用。
由此，能够将准确性高的轮廓彼此组合来设为合成指甲轮廓Tm，能够更精密地进行可靠性高的指甲轮廓的检测。
此外，在本实施方式中，在轮廓检测信息存储区域821，预先存储表示构成指甲轮廓的各特征点数据的可靠性的可靠性图M，轮廓检测部813通过参照该可靠性图M，来进行反映了构成指甲轮廓的特征点(特征点数据)的可靠性的指甲的轮廓检测。
由此，能够将可靠性高的特征点组合来设为最终的轮廓检测结果，能够进行更高精度的轮廓检测。
另外，以上对本发明的实施方式进行了说明，但本发明并不限定于该实施方式，在不脱离其主旨的范围内能够进行各种变形。
例如，在本实施方式中，示例了在指甲轮廓检测装置1的购入时等拍摄指甲T(指甲Tp)来获取第1指甲图像、在要对指甲T进行各种处理等时拍摄指甲T(指甲Tn)来获取第2指甲图像的情况，虽然假定了获取第1指甲图像的时刻与获取第2指甲图像的时刻之间存在时间迟延的情况，但获取第1指甲图像的时刻与获取第2指甲图像的时刻之间不是必须存在时间迟延。
例如，也可以在装置购入时等用户获取自己的指甲T的信息，为了注册而获取第1指甲图像并进行基于手动的指甲Tp的轮廓的切出等，继续获取作为对指甲T进行各种处理等的前提的指甲Tn的第2指甲图像(检测对象图像)并进行基于机械学习等的指甲Tp的轮廓的切出等。
在该情况下也能够根据两种轮廓检测结果来采用可靠性高的特征点并设为最终的指甲轮廓，因此相比于通过一次检测结果而进行检测的情况，能够期待进行高精度的轮廓检测。
此外，在本实施方式中，表示了通过手动来从第1指甲图像切出指甲Tp的轮廓(第1指甲轮廓Ta)、通过机械学习(ESR等)来从第2指甲图像切出指甲Tn的轮廓(第2指甲轮廓Td)的例子，但切出指甲Tp的轮廓(第1指甲轮廓Ta)以及指甲Tn的轮廓(第2指甲轮廓Td)的手法并不限定于此。
例如，也可以在从第1指甲图像切出指甲Tp的轮廓时也通过ESR等的机械学习来进行。
在使用相同的检测手法来进行两次检测的情况下，也能够根据多个轮廓检测结果来采用可靠性更高的特征点并设为最终的指甲轮廓，因此相比于通过一次的检测结果来进行检测的情况，能够期待进行高精度的轮廓检测。
此外，在本实施方式中，示例了基于第1指甲轮廓Ta以及第2指甲轮廓Td这两个轮廓检测结果来最终求取一个指甲轮廓(合成指甲轮廓Tm)的情况，但最终求取一个指甲轮廓的轮廓检测结果是多个即可，例如，也可以获取多个第1指甲轮廓Ta、第2指甲轮廓Td并基于三个以上的轮廓检测结果来进行对位处理、合并处理。
此外，在本实施方式中，示例了使单体的指甲轮廓检测装置1具有全部功能的情况，但不是必须全部通过单体的指甲轮廓检测装置1来进行。
例如，也可以将指甲轮廓检测装置1与智能电话等外部的终端装置合作，在外部的终端装置的触摸面板上进行通过手动来从第1指甲图像切出指甲Tp的轮廓(第1指甲轮廓Ta)的作业。
在该情况下，能够使指甲轮廓检测装置的结构简单化，也能够使用个人计算机、触摸面板终端等的较大画面来进行基于手动作业的轮廓检测，作业容易并且方便。
以上对本发明的几个实施方式进行了说明，但本发明的范围并不限定于上述的实施方式，包含权利要求书中所述的发明的范围以及其均等的范围。

Claims (9)

1.一种指甲轮廓检测装置，其特征在于，
具备处理器，
所述处理器
获取从对手或者脚的指头的指甲进行拍摄而获取的第1指甲图像检测的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、从对与所述第1指甲图像相同的指头的指甲进行拍摄而获取的第2指甲图像检测的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
2.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述处理器
基于所述第1特征点数据以及所述第2特征点数据的可靠性，进行所述第1指甲轮廓与所述第2指甲轮廓的对位，并且从所述第1特征点数据以及所述第2特征数据中采用可靠性高的特征点数据并获取一个指甲轮廓。
3.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述第1指甲轮廓与所述第2指甲轮廓是分别通过不同的手法而从所述第1指甲图像以及第2指甲图像检测到的轮廓。
4.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述第1指甲轮廓是用户通过手动从所述第1指甲图像检测所述指甲的轮廓而得到的。
5.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述处理器
在所述第1特征点数据以及所述第2特征点数据之中任意一个的可靠性为阈值以上的情况下，采用所述可靠性较高的特征点数据来获取所述一个指甲轮廓。
6.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述处理器
在所述第1特征点数据以及所述第2特征点数据的可靠性都为阈值以上的情况下，采用所述第2特征点数据来获取所述一个指甲轮廓。
7.根据权利要求1所述的指甲轮廓检测装置，其特征在于，
所述指甲轮廓检测装置还具备：存储器，预先存储有表示构成指甲轮廓的各特征点数据的可靠性的可靠性图，
所述处理器通过参照所述可靠性图，来进行反映了构成指甲轮廓的特征点数据的可靠性的指甲的轮廓检测。
8.一种指甲轮廓检测方法，其特征在于，
获取拍摄指甲而得到的第1指甲图像，
获取拍摄与所述第1指甲图像相同的指头的指甲而得到的第2指甲图像，
获取从拍摄手或者脚的指头的指甲而得到的第1指甲图像检测到的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、和从拍摄与所述第1指甲图像相同的指头的指甲而获取的第2指甲图像检测到的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
9.一种可读取的记录介质，其特征在于，记录有程序，该程序用于使指甲轮廓检测装置的计算机实现以下功能：
获取拍摄指甲而得到的第1指甲图像；
获取拍摄与拍摄所述第1指甲图像时相同的指头的指甲而得到的第2指甲图像，
获取从拍摄手或者脚的指头的指甲而得到的第1指甲图像检测到的所述指甲的轮廓即第1指甲轮廓中的第1特征点数据、和从拍摄与所述第1指甲图像相同的指头的指甲而获取的第2指甲图像检测到的所述指甲的轮廓即第2指甲轮廓中的第2特征点数据，
基于所述第1特征点数据和所述第2特征点数据来获取一个指甲轮廓。
CN201811104626.1A 2017-09-27 2018-09-20 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质 Active CN109558784B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017185568A JP6992367B2 (ja) 2017-09-27 2017-09-27 爪輪郭検出装置、爪輪郭検出方法及び爪輪郭検出プログラム
JP2017-185568 2017-09-27

Publications (2)

Publication Number Publication Date
CN109558784A true CN109558784A (zh) 2019-04-02
CN109558784B CN109558784B (zh) 2023-05-30

Family

ID=65806738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811104626.1A Active CN109558784B (zh) 2017-09-27 2018-09-20 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质

Country Status (3)

Country Link
US (1) US11170250B2 (zh)
JP (1) JP6992367B2 (zh)
CN (1) CN109558784B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113170966A (zh) * 2021-04-16 2021-07-27 宋彦震 基于人工智能的自适应电动磨甲器控制方法
CN114193941A (zh) * 2020-09-18 2022-03-18 卡西欧计算机株式会社 印刷装置、指甲姿势确认方法以及记录介质
JP2022062925A (ja) * 2020-10-09 2022-04-21 菊水電子工業株式会社 爪の採寸方法、ネイルシール製造方法、情報処理装置、ネイルシール製造システム、及びプログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7039991B2 (ja) * 2017-12-22 2022-03-23 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム
US10939738B2 (en) * 2019-02-26 2021-03-09 Elementree Inc. Automatic nail polish application system and method
AU2020373040A1 (en) 2019-10-29 2022-06-16 NailPro, Inc. Automated total nail care systems, devices and methods
JP2021108010A (ja) * 2019-12-27 2021-07-29 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、学習モデルの生成方法、およびプログラム
WO2023177890A1 (en) * 2022-03-17 2023-09-21 Elementree Inc. Automated nail shaping or modification
CN116189083B (zh) * 2023-01-11 2024-01-09 广东汇通信息科技股份有限公司 一种用于社区安检辅助的危险品识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5073950A (en) * 1989-04-13 1991-12-17 Personnel Identification & Entry Access Control, Inc. Finger profile identification system
US20030001837A1 (en) * 2001-05-18 2003-01-02 Baumberg Adam Michael Method and apparatus for generating confidence data
JP2009003813A (ja) * 2007-06-22 2009-01-08 Univ Of Tsukuba 手指形状推定装置及び手指形状推定方法、並びにプログラム
US20090186202A1 (en) * 2008-01-18 2009-07-23 Seiko Epson Corporation Color filter manufacturing method, color filter, image display device, and electronic device
US20110158542A1 (en) * 2009-12-28 2011-06-30 Canon Kabushiki Kaisha Data correction apparatus and method
CN102906786A (zh) * 2010-05-26 2013-01-30 日本电气株式会社 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
CN102922880A (zh) * 2011-08-12 2013-02-13 卡西欧计算机株式会社 指甲打印装置及印刷控制方法
CA3051912A1 (en) * 2012-02-24 2013-08-29 Thomas J. Moscarillo Gesture recognition devices and methods
US20140294289A1 (en) * 2013-03-29 2014-10-02 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
US20150007841A1 (en) * 2013-07-05 2015-01-08 Casio Computer Co., Ltd. Nail printing device, print control method for nail printing device, and computer readable medium
JP2015126953A (ja) * 2015-04-08 2015-07-09 カシオ計算機株式会社 ネイルプリント装置及び印刷制御方法
CN104957846A (zh) * 2015-07-24 2015-10-07 刘燕西 具有指甲装饰的物品及其制备方法
CN105975694A (zh) * 2016-05-06 2016-09-28 西北工业大学 构建解决组合爆炸问题的级联贝叶斯网络的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09120453A (ja) * 1995-10-23 1997-05-06 Oki Electric Ind Co Ltd データの論理演算方法およびデータの論理演算装置
JP5724802B2 (ja) * 2011-09-29 2015-05-27 カシオ計算機株式会社 ネイルプリント装置および印刷制御方法
JP6575060B2 (ja) * 2014-12-19 2019-09-18 カシオ計算機株式会社 描画装置、描画装置の動作制御方法及び描画装置の動作制御プログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5073950A (en) * 1989-04-13 1991-12-17 Personnel Identification & Entry Access Control, Inc. Finger profile identification system
US20030001837A1 (en) * 2001-05-18 2003-01-02 Baumberg Adam Michael Method and apparatus for generating confidence data
JP2009003813A (ja) * 2007-06-22 2009-01-08 Univ Of Tsukuba 手指形状推定装置及び手指形状推定方法、並びにプログラム
US20090186202A1 (en) * 2008-01-18 2009-07-23 Seiko Epson Corporation Color filter manufacturing method, color filter, image display device, and electronic device
US20110158542A1 (en) * 2009-12-28 2011-06-30 Canon Kabushiki Kaisha Data correction apparatus and method
CN102906786A (zh) * 2010-05-26 2013-01-30 日本电气株式会社 脸部特征点位置校正设备、脸部特征点位置校正方法以及脸部特征点位置校正程序
CN102922880A (zh) * 2011-08-12 2013-02-13 卡西欧计算机株式会社 指甲打印装置及印刷控制方法
CA3051912A1 (en) * 2012-02-24 2013-08-29 Thomas J. Moscarillo Gesture recognition devices and methods
US20140294289A1 (en) * 2013-03-29 2014-10-02 Sony Computer Entertainment Inc. Image processing apparatus and image processing method
US20150007841A1 (en) * 2013-07-05 2015-01-08 Casio Computer Co., Ltd. Nail printing device, print control method for nail printing device, and computer readable medium
CN104272921A (zh) * 2013-07-05 2015-01-14 卡西欧计算机株式会社 指甲打印装置、指甲打印装置的打印方法
JP2015126953A (ja) * 2015-04-08 2015-07-09 カシオ計算機株式会社 ネイルプリント装置及び印刷制御方法
CN104957846A (zh) * 2015-07-24 2015-10-07 刘燕西 具有指甲装饰的物品及其制备方法
CN105975694A (zh) * 2016-05-06 2016-09-28 西北工业大学 构建解决组合爆炸问题的级联贝叶斯网络的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114193941A (zh) * 2020-09-18 2022-03-18 卡西欧计算机株式会社 印刷装置、指甲姿势确认方法以及记录介质
JP2022062925A (ja) * 2020-10-09 2022-04-21 菊水電子工業株式会社 爪の採寸方法、ネイルシール製造方法、情報処理装置、ネイルシール製造システム、及びプログラム
JP7161512B2 (ja) 2020-10-09 2022-10-26 菊水電子工業株式会社 爪の採寸方法、ネイルシール製造方法、情報処理装置、ネイルシール製造システム、及びプログラム
CN113170966A (zh) * 2021-04-16 2021-07-27 宋彦震 基于人工智能的自适应电动磨甲器控制方法

Also Published As

Publication number Publication date
US20190095747A1 (en) 2019-03-28
CN109558784B (zh) 2023-05-30
US11170250B2 (en) 2021-11-09
JP6992367B2 (ja) 2022-01-13
JP2019058367A (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
CN109558784A (zh) 指甲轮廓检测装置、指甲轮廓检测方法以及记录介质
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN102520796B (zh) 一种基于逐步回归分析映射模型的视线跟踪方法
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
CN1892702B (zh) 追踪装置
US20160335495A1 (en) Apparatus and method for acquiring image for iris recognition using distance of facial feature
US20050201594A1 (en) Movement evaluation apparatus and method
EP2945372A1 (en) Electronic mirror device
Lu et al. A novel method for gaze tracking by local pattern model and support vector regressor
US20050163344A1 (en) System, program, and method for generating visual-guidance information
EP3241151A1 (en) An image face processing method and apparatus
JP4501003B2 (ja) 顔姿勢検出システム
Pascali et al. Face morphology: Can it tell us something about body weight and fat?
CN109299658A (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
KR20210038644A (ko) 생체 인증 시스템, 생체 인증 방법 및 프로그램
KR20130043366A (ko) 시선 추적 장치와 이를 이용하는 디스플레이 장치 및 그 방법
US9361705B2 (en) Methods and systems for measuring group behavior
CN104252828A (zh) 保护视力的显示方法、显示装置和终端设备
Marinoiu et al. Pictorial human spaces: How well do humans perceive a 3d articulated pose?
CN108986137A (zh) 人体跟踪方法、装置及设备
Cazzato et al. Real-time gaze estimation via pupil center tracking
WO2015079054A1 (en) Estimating gaze from un-calibrated eye measurement points
Parada et al. ExpertEyes: Open-source, high-definition eyetracking
CN106534673A (zh) 基于特征识别的拍照方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant