CN106307967A - 绘图装置以及绘图装置的绘图方法 - Google Patents

绘图装置以及绘图装置的绘图方法 Download PDF

Info

Publication number
CN106307967A
CN106307967A CN201610511470.3A CN201610511470A CN106307967A CN 106307967 A CN106307967 A CN 106307967A CN 201610511470 A CN201610511470 A CN 201610511470A CN 106307967 A CN106307967 A CN 106307967A
Authority
CN
China
Prior art keywords
mentioned
fingernail
finger
object image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610511470.3A
Other languages
English (en)
Other versions
CN106307967B (zh
Inventor
手岛义裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN106307967A publication Critical patent/CN106307967A/zh
Application granted granted Critical
Publication of CN106307967B publication Critical patent/CN106307967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00Manicuring or pedicuring implements
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D34/04Appliances specially adapted for applying liquid, e.g. using roller or ball
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B41PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41JTYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D20/00Hair drying devices; Accessories therefor
    • A45D20/04Hot-air producers
    • A45D20/08Hot-air producers heated electrically
    • A45D20/10Hand-held drying devices, e.g. air douches
    • A45D20/12Details thereof or accessories therefor, e.g. nozzles, stands
    • A45D2020/126Stands therefor
    • A45D2020/128Stands therefor involving features of the hand-held hair dryer
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D29/00Manicuring or pedicuring implements
    • A45D2029/005Printing or stamping devices for applying images or ornaments to nails

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Ink Jet (AREA)
  • Coating Apparatus (AREA)

Abstract

本发明涉及一种绘图装置以及绘图装置的绘图方法,绘图装置具备:绘图部,其以有指甲的手指或脚趾为对象物,对上述指甲实施绘图;以及控制部,其控制上述绘图部的动作。上述控制部提取第1特征点和第2特征点,根据上述第1特征点和上述第2特征点,获取上述第2对象物图像中的上述指甲的位置,根据上述获取到的上述第2对象物图像中的上述指甲的位置,控制在获取上述第2对象物图像之后上述绘图部对上述指甲实施第2绘图时的绘图位置。

Description

绘图装置以及绘图装置的绘图方法
技术领域
本发明涉及一种绘图装置以及绘图装置的绘图方法。
背景技术
以往,已知一种对人的手指指甲印刷喜欢的指甲设计的指甲打印装置。例如,在日本特表2003-534083号公报中记载了这种指甲打印装置。
如果使用这种装置,则不使用指甲沙龙等,而能够轻松地享受指甲打印。
然而,在使用多个颜色的墨水进行指甲设计的印刷的情况下,有时对各颜色的墨水,多次反复进行如下的步骤:在使用某种颜色的墨水进行绘图之后,使涂的墨水干燥。在该情况下,每次在使用各颜色的墨水进行绘图时,有时作为绘图对象的指甲的位置相互偏移。
在此,当在指甲的位置偏移的状态下进行绘图时,产生针对指甲的设计的绘图位置偏移,或涂在各颜色重叠的位置上等问题,从而有时难以进行高质量的绘图。
发明内容
本发明具有能够提供如下的绘图装置以及绘图装置的绘图方法的优点:在分多次实施对指甲的指甲设计的绘图的情况下,即使在一个绘图结束后开始下一绘图期间指甲的位置移动的情况下,也能够防止相对于指甲的绘图位置从标准的位置偏移,从而能够进行高质量的绘图。
根据本发明的一实施方式,提供一种绘图装置,其特征在于,具备:绘图部,其以有指甲的手指或脚趾为对象物,对上述指甲实施绘图;以及控制部,其控制上述绘图部的动作,上述控制部提取如下的特征点:(1)第1特征点,其是成像未对上述指甲实施上述绘图的上述对象物而获取到的第1对象物图像中的、从表示上述对象物的轮廓的第1对象物轮廓的内侧的第1区域去除上述指甲的区域而得到的第2区域中的特征点,(2)第2特征点,其是在对上述指甲实施第1绘图之后成像上述对象物而获取到的第2对象物图像中的、表示上述对象物的轮廓的第2对象物轮廓的内侧的第3区域中的特征点,根据上述第1特征点和上述第2特征点,获取上述第2对象物图像中的上述指甲的位置,根据上述获取到的上述第2对象物图像中的上述指甲的位置,控制在获取上述第2对象物图像之后上述绘图部对上述指甲实施第2绘图时的绘图位置。
根据本发明的其他实施方式,提供一种绘图装置的绘图方法,其中,上述绘图装置具备:绘图部,其以有指甲的手指或脚趾为对象物,对上述指甲实施绘图,上述绘图方法包括以下步骤:获取成像未对上述指甲实施上述绘图的上述对象物而得到的第1对象物图像的步骤;提取上述第1对象物图像中的、从表示上述对象物的轮廓的第1对象物轮廓的内侧的第1区域去除上述指甲的区域而得到的第2区域中的第1特征点的步骤;在对上述指甲实施第1绘图之后,获取成像上述对象物而得到的第2对象物图像的步骤;提取上述第2对象物图像中的、表示上述对象物的轮廓的第2对象物轮廓的内侧的第3区域中的第2特征点的步骤;根据上述第1特征点和上述第2特征点,获取上述第2对象物图像中的上述指甲的位置的步骤;以及根据上述获取到的上述第2对象物图像中的上述指甲的位置,控制在获取上述第2对象物图像之后上述绘图部对上述指甲实施第2绘图时的绘图位置的步骤。
附图说明
图1A是本实施方式中的绘图装置的主视图,图1B是表示图1A示出的绘图装置的内部结构的侧视图。
图2是图1A中的II-II截面图。
图3A是本实施方式中的绘图头的平面图,图3B是本实施方式中的绘图头的侧视图。
图4是表示本实施方式所涉及的绘图装置的控制结构的主要部分框图。
图5A是表示第1手指图像中的特征点的提取对象区域的图,图5B是表示第2手指图像中的特征点的提取对象区域的图。
图6A、图6B是表示本实施方式中的绘图处理的过程的说明图。
图7是表示本实施方式中的绘图处理的概要的流程图。
图8是表示本实施方式中的指甲轮廓的检测处理的流程图。
图9A是包括绘图前的初始状态的指甲的印刷手指的平面图,图9B是包括第1绘图后且第2绘图前的指甲的印刷手指的平面图,图9C是包括第2绘图后的指甲的印刷手指的平面图。
具体实施方式
以下,根据附图详细说明本发明所涉及的指甲打印装置(绘图装置)和指甲打印装置(绘图装置)的绘图方法的实施方式。
此外,在以下说明的实施方式中,为了实施本发明而附加了技术上优选的各种限定,但本发明的范围并不限定于以下的实施方式和图示例。
在以下的实施方式中,将指甲打印装置1说明为以手指指甲的表面为绘图对象面,在该手指指甲的表面进行绘图的装置。但是,本发明的绘图对象面并不限定于手指指甲的表面,例如也可以将脚指趾甲的表面作为绘图对象面。
图1A是表示指甲打印装置的内部结构的指甲打印装置的主视图,图1B是表示图1A示出的指甲打印装置的内部结构的侧视图。
图2是沿图1A中的II-II线的截面图。
如图1A和图1B所示,本实施方式中的指甲打印装置1具备绘图头(drawing head)43为绘图工具的笔41以及喷墨绘图部71,是并用绘图方式和喷墨方式来对印刷手指U1的指甲T实施绘图的绘图装置。
该指甲打印装置1具备壳主体2以及收纳于该壳主体2内的装置主体10。
在壳主体2的侧面上部一端上设有盖部23,该盖部23为了更换后述的绘图部40的笔41和喷墨绘图部71而可开闭地构成。
盖部23例如经由铰链等,如图1A所示那样从关闭状态至打开状态为止自由旋转。
在壳主体2的上表面(顶板)设置有操作部25(参照图4)。
操作部25是用户进行各种输入的输入部。
在操作部25中,例如配置有接通指甲打印装置1的电源的电源开关按钮、使动作停止的停止开关按钮、选择在指甲T上进行绘图的设计图像的设计选择按钮、指示绘图开始的绘图开始按钮等用于进行各种输入的未图示的操作按钮。
在壳主体2的上表面(顶板)的大致中央部设置有显示部26。
显示部26例如由液晶显示器(LCD:Liquid Crystal Display)、有机电致发光显示器,或其它平板显示器等构成。
在本实施方式中,在该显示部26中例如适当地显示对印刷手指U1进行成像而得到的手指图像(包括指甲T的图像的印刷手指U1的图像)、该手指图像所包含的指甲T的轮廓等图像、用于选择应对指甲T进行绘图的设计图像的设计选择画面、设计确认用缩略图图像、显示各种指示的指示画面等。
此外,也可以在显示部26的表面一体地构成用于进行各种输入的触摸面板。
装置主体10大致形成为箱状,具备设置于壳主体2的内部下方的下部机壳11以及设置于该下部机壳11的上方且壳主体2的内部上方的上部机壳12。
首先,说明下部机壳11。
下部机壳11具有背面板111、底板112、左右一对的侧板113a、113b、X方向移动台收纳部114、Y方向移动台收纳部115以及隔膜116。
侧板113a、113b的下端部分别与底板112的左右两端部连接,将侧板113a、113b设为相对于底板112竖立的状态。
背面板111的下部形成为向前方(插入手指方向近侧)两级凹陷。背面板111的下端部与底板112的前端部连接。背面板111将被底板112和侧板113a、113b围住的区域分隔为前后。
在该凹陷的背面板111的后侧形成的空间成为X方向移动台收纳部114、Y方向移动台收纳部115(参照图1B)。
在X方向移动台收纳部114内,在绘图部40向前方(插入手指方向近侧)移动时收纳绘图部40的X方向移动台45。
在Y方向移动台收纳部115内,配置有绘图部40的Y方向移动台47。
隔膜116被设置于下部机壳11内侧,以便将下部机壳11的内部前方侧的空间(被背面板111、底板112和侧板113a、113b围住的插入手指方向近侧的空间)分隔为前后。
隔膜116被设置成大致水平,隔膜116的左右两端部分别与侧板113a、113b连接,隔膜116的后端部与背面板111连接。
在该下部机壳11上一体地设有手指固定部30(参照图1B)。
手指固定部30由以下部分构成:手指接受部31,其接受与实施绘图的指甲T对应的手指(以下,将其称为“印刷手指U1”);以及手指退避部32,其使该印刷手指U1以外的手指(以下,将其称为“非印刷手指U2”)退避。
手指接受部31配置于隔膜116的上侧且下部机壳11的宽度方向的大致中央部。
通过隔膜116在下部机壳11的下侧分隔的空间构成手指退避部32。
例如,在对无名指的指甲T实施绘图的情况下,向手指接受部31插入作为印刷手指U1的无名指,将作为非印刷手指U2的其它四个手指(大拇指、食指、中指、小指)插入到手指退避部32。
如图1B和图2所示,手指接受部31向下部机壳11的前面侧(印刷手指插入方向的近侧)开口,下侧被构成隔膜116的一部分的手指载置部116a划分,两侧被隔开部31a、31b划分,后侧被隔开部31c划分。
手指载置部116a将实施绘图的指甲T的手指(印刷手指U1)载置于XY平面上。
此外,在本实施方式中,如后所述,以手指载置部116a为背景进行印刷手指U1的成像,根据与作为背景的手指载置部116a的颜色、亮度的差等来进行印刷手指U1的手指区域的检测,因此手指载置部116a尽可能期望是在图像处理中容易与印刷手指U1区别的颜色,例如优选肤色的相反颜色即蓝色、黑色等。
手指接受部31的上侧被顶部31d划分。在顶部31d上形成有用于使插入到手指接受部31的印刷手指U1的指甲T露出的窗31e。
在隔膜116的上表面且下部机壳11的前面侧的两侧部设立有挡住下部机壳11的前面侧的前壁31f(参照图1A)。
在隔膜116的上表面设立有一对引导壁31g(参照图1A),该一对引导壁31g从该前壁31f的靠中央部的端部朝向上述手指接受部31变狭窄,将印刷手指U1引导到手指接受部31内。
用户能够在插入到手指接受部31的印刷手指U1与插入到手指退避部32的非印刷手指U2之间夹入隔膜116。因此,稳定地固定插入到手指接受部31内的印刷手指U1。
在下部机壳11的上表面且手指接受部31的旁边(与壳主体2的介质插出口24对应的位置,在本实施方式中,在图1A和图2中为左侧)设置有预热写(warm-up drawing)部61,该预热写部61在后述的绘图头43的可绘图的范围内,进行用于消除后述的笔41的笔尖(前端部)413书写时的擦除等的预热写。
预热写部61为平板状的部分,载置从上述壳主体2的介质插出口24插入的绘图介质61a。
载置于预热写部61的绘图介质61a只要是能够进行笔尖(前端部)413的预热写即可,例如为纸片。
在下部机壳11的上表面且手指接受部31的旁边(在本实施方式中,在图1A和图2中为右侧)设有待机区域(home area)60,在该待机区域60中,在后述的绘图头43的可移动的范围内,在非绘图时,绘图头43待机。
在待机区域60中设置有与后述的笔杆42对应的数量(在本实施方式中为一个)的笔盖62。
在待机区域60内,在将笔尖413收纳于笔盖62时与配置有喷墨绘图部71的位置对应的位置上设有喷墨维护部63。
喷墨维护部63例如由用于清洁后述的喷墨绘图部71的墨水喷出部(喷嘴面)的清洁机构、用于保持墨水喷出部(喷嘴面)的保湿状态的盖机构等(均未图示)构成。
此外,待机区域内的笔盖62、喷墨维护部63等的配置并不限定于在此例示的配置。
绘图部40具备绘图头43、用于支持绘图头43的单元支持部件44、用于使绘图头43向X方向(图1A和图2中的X方向、绘图装置1的左右方向)移动的X方向移动台45、X方向移动电动机46、用于使绘图头43向Y方向(图1B和图2中的Y方向、绘图装置1的前后方向)移动的Y方向移动台47、Y方向移动电动机48等。
图3A是本实施方式中的绘图头的平面图,图3B是绘图头的侧视图。
如图3A和图3B所示,在本实施方式的绘图头43上相邻地配置有用于保持笔41的笔杆42以及用于保持喷墨绘图部71的喷墨保持件72。
喷墨绘图部71例如是与黄色(Y;YELLOW)、品红色(M;MAGENTA)、青色(C;CYAN)的墨水对应的未图示的墨盒以及各墨盒中设置于与绘图对象(指甲T)相对的面(在本实施方式中,为图1A等中的下面)的未图示的墨水喷出部一体地形成的墨盒一体型的头。
墨水喷出部具备喷头阵列,该喷头阵列由喷射各颜色的墨水的多个喷嘴构成。喷墨绘图部71使墨水微粉化(micronize),从墨水喷出部向绘图对象(指甲T)的被绘图面直接喷涂墨水来进行绘图。
此外,喷墨绘图部71并不限定于吐出上述三个颜色的墨水的喷墨绘图部。也可以具备用于积存其它墨水的墨盒和墨水喷出部。
在本实施方式的笔杆42上能够安装一个笔41。
笔41是以指甲T的表面为绘图对象面,前端部与绘图对象面即指甲T的表面进行接触而实施绘图的书写工具。
如图3B等所示,笔41是在棒状的笔轴部411的前端侧(在图3B中为下侧)设有笔尖413的笔。
笔轴部411的内部为用于收纳各种墨水的墨水收纳部。
作为收纳于笔轴部411的内部的墨水,能够应用各种墨水。并不对墨水的粘度、色料的粒径(粒子的大小)等进行特别的限定,例如也能够应用有金属丝的墨水或白色墨水、UV硬化型墨水或凝胶指甲、底层用墨水、上层用墨或指甲油等。
在本实施方式中,笔41例如是通过将笔尖413按压至指甲T的表面而使收纳于笔轴部411内的墨水渗出并绘图的、笔尖413成为圆珠笔型的笔。
此外,笔41并不限定于圆珠笔型的笔。笔41例如也可以是使墨水渗入于毡状的笔尖而进行绘图的签字笔型、使墨水渗入于捆绑的毛而进行绘图的毛笔型的笔等。
笔尖413的粗细也能够准备各种粗细。
更换多个笔41而安装到笔杆42上。更换安装在笔杆42上的多个笔41中的各个比41既可以是全部具有同一类型的笔尖413的笔,也可以是具有不同类型的笔尖413的笔。
仅从上方插入到笔杆42来保持笔41。因此,打开设置于壳主体2的盖部23,例如用手、镊子将笔轴部411的上端部摘除等,由此能够容易地进行更换。
由此,用户根据想要绘图的指甲设计将安装于笔杆42的笔41适当地更换为颜色、笔尖413的种类、墨水的种类不同的笔41,由此能够实现广泛的指甲设计。
笔杆42具备:筒状部件421,其向上下开口并向内部插入笔41;笔卡合部件422,其被配置成堵住筒状部件421下侧(图3B中的下侧)的开口;以及辅助轴部件423,其与笔41一起进行上下移动。
在笔卡合部件422上形成有卡合孔422a,该卡合孔422a对笔41的笔轴部411中的前端侧进行卡合。
笔轴部411的前端侧被嵌入到笔卡合部件422的卡合孔422a,由此笔41被卡合于笔杆42内。
此外,也可以在笔轴部411的前端侧的外周面形成未图示的螺纹槽,在卡合孔422a的内周面形成能够与轴部的螺纹槽进行拧接的未图示的螺纹槽,使笔轴部411侧的螺纹槽拧接于卡合孔422a侧的螺纹槽,由此使笔41与卡合孔422a卡合。
在本实施方式中,以夹持笔41的方式配置有两个辅助轴部件423。
各辅助轴部件423的下端部被嵌入于笔卡合部件422。由此,以与笔41的笔轴部411平行的方式固定辅助轴部件423。
在辅助轴部件423上设有向从笔41的轴中心远离的方向突出的卡合突起424。
在辅助轴部件423的轴周围缠绕有线圈弹簧425。
线圈弹簧425在不施加外力的状态下使辅助轴部件423向上方向施力,在非绘图状态下,将笔41的位置保持为笔尖413不与指甲T接触的位置。
在笔杆42附近设有:笔上下用电动机426,其由步进电动机构成;齿轮428,其与安装于笔上下用电动机426的旋转轴上的齿轮427齿合;以及板簧429,其追随该齿轮428的旋转地转动。
在本实施方式中,由这些笔上下用电动机426、齿轮427、齿轮428、板簧429等构成笔41的升降机构。
在此,板簧429与设置于辅助轴部件423的卡合突起424卡合,通过按下该卡合突起424,能够向下方按下笔41。
即,随着笔上下用电动机426的旋转而板簧429转动,板簧429与卡合突起424卡合,向下方按下卡合突起424时,笔41抵抗线圈弹簧425的作用力而向下方按下。
这样,在本实施方式中,并不是用板簧429直接按下笔41,而是设为按下卡合突起424的结构,成为板簧429不覆盖笔41的上方的结构。因此,能够容易地进行笔41的更换,并且将笔41的升降机构的高度抑制得较低,从而能够实现节省空间。
在此,具体地说明笔41的升降机构的动作。
首先,在非绘图时,成为板簧429不对卡合突起424施加外力的状态。
这样,在不施加外力(板簧429的按压力)的状态下,笔41通过线圈弹簧425的作用力,被按向上方向(在图1A和图3B中为上方向)的位置,笔41的前端部即笔尖413从绘图对象面即指甲T的表面离开,保持不与该表面接触的高度。
与此相对,在绘图时,使笔上下用电动机426以预定步数旋转,通过板簧429按下卡合突起424。由此,笔41被按下。
根据插入到手指接受部31的印刷手指U1的指甲T的高度等,适当地设定驱动笔上下用电动机426时的预定步数。
即,在本实施方式的指甲打印装置1中,事先获取后述的指甲信息。然后,根据该指甲信息,笔41的前端部即笔尖413识别与指甲T接触的接触位置的指甲T的高度,根据该高度来决定笔上下用电动机426的步数。
以这样决定的步数来驱动笔上下用电动机426,通过板簧429按下笔41,由此使笔41的笔尖413接近指甲T的表面并接触,施加适当的笔压。
此外,在绘图时,在指甲T的高度随着绘图变化时,每次增减笔上下用电动机426的步数并调整笔41的笔压,调整为笔压大致固定的同时进行绘图。
在此,基于笔上下用电动机426的步数的增减的笔压的调整,每次指甲T的高度变化仅变化预定量(例如,0.5mm)时进行,在指甲T的高度变化小于预定量时不进行笔压的调整。然而,此时根据指甲T的形状板簧429发生挠曲变形(弹性变形),由此笔41自动地上下移动,因此能够使笔41与指甲T可靠地接触的同时,将笔压保持为适当的值。
此外,板簧429的弹簧常数并不大,将该弹簧常数设定为将板簧429的按压力(外力)施加到指甲T时不会使指甲T感到疼痛等程度的值。
在进行绘图时,通过板簧429适当地挠曲而吸收由笔41的上下移动而产生的冲击,并且在维持对笔尖413施加大致固定的适当的笔压的状态下笔41追随指甲T的高度而上下移动,从而能够在绘图对象即指甲T的表面清楚地绘制期望的指甲设计。
单元支持部件44被固定在安装于X方向移动台45的X方向移动部451上。
X方向移动部451通过X方向移动电动机46的驱动在X方向移动台45上沿未图示的引导件而向X方向移动。
由此,安装于单元支持部件44的绘图头43向X方向(图1A中的X方向、指甲打印装置1的左右方向)移动。
X方向移动台45被固定于Y方向移动台47的Y方向移动部471。
Y方向移动部471通过Y方向移动电动机48的驱动在Y方向移动台47上沿未图示的引导件向Y方向移动。
由此,安装于单元支持部件44的绘图头43向Y方向(图1B中的Y方向、指甲打印装置1的前后方向)移动。
此外,在本实施方式中,通过对X方向移动电动机46、Y方向移动电动机48和未图示的滚珠丝杠和引导件进行组合来构成X方向移动台45和Y方向移动台47。
在本实施方式中,通过X方向移动电动机46和Y方向移动电动机48等构成作为将具备笔41的绘图头43向X方向和Y方向驱动的XY驱动部的头移动部49。
绘图部40中的笔上下用电动机426、喷墨绘图部71、X方向移动电动机46以及Y方向移动电动机48与后述的控制装置80的绘图控制部815(参照图4)连接,通过该绘图控制部815进行控制。
成像部50具备成像装置51和照明装置52。
该成像部50通过照明装置52对插入到手指接受部31内并从窗31e观察的指甲T(包括指甲T的印刷手指U1)进行照明。
然后,通过成像装置51对该印刷手指U1进行成像,获取印刷手指U1的图像即手指图像(包括指甲T的指甲图像的手指图像、对象物图像)。
如图1A和图1B所示,在本实施方式中,成像装置51和照明装置52被设置于上部机壳12。
即,在上部机壳12上设置有基板13。
构成成像部50的成像装置51和照明装置52被设置成在该基板13的下面与隔膜116相对。
此外,安装于基板13的成像装置51和照明装置52的位置并不限定于图示例。
成像装置51例如是具备具有200万像素程度以上的像素的固体成像元件和透镜等的小型成像装置。
在本实施方式中,通过成像部50的成像装置51获取如下的图像:第1手指图像(第1对象物图像)g1,其对包括实施绘图前的初始状态的指甲T的印刷手指U1进行成像;以及第2手指图像(第2对象物图像)g2,其在对指甲T实施第1绘图之后,且对指甲T实施第2绘图前,对包括指甲T的印刷手指U1进行成像。
成像装置51在紧接着对指甲T实施第1绘图之后,也对包括指甲T的印刷手指U1进行成像,由此获取绘图后的手指图像。
并且,后述的轮廓检测部812、对位处理部813以及指甲轮廓搜索部814使用这些第1手指图像g1、第2手指图像g2以及绘图后的手指图像,在第2绘图前检测印刷手指U1和指甲T的轮廓。
照明装置52例如是将白色LED等作为光源而具备的照明装置。
在本实施方式中,照明装置52具有4个光源,各光源配置成在成像装置51的两侧、近侧和后侧包围成像装置51。
照明装置52的各光源朝下方照射光,对成像装置51下方的成像范围进行照明。
此外,照明装置52所具有的光源的数量、其配置等并不限于图示例。
该成像部50与后述的控制装置80的成像控制部811(参照图4)连接,通过该成像控制部811进行控制。
此外,将通过成像部50获取到的图像(即,第1手指图像g1、第2手指图像g2以及绘图后的手指图像)的图像数据存储到后述的存储部82的指甲图像存储区域821中。
例如,将控制装置80设置在配置于上部机壳12的基板13等上。
图4是表示本实施方式中的控制结构的主要部分框图。
如图4所示,控制装置80是具备由未图示的CPU(Central Processing Unit:中央处理器)构成的控制部81以及由ROM(Read Only Memory:只读存储器)和RAM(RandomAccess Memory:随机存取存储器)等(均未图示)构成的存储部82的计算机。
在存储部82中存储有用于使指甲打印装置1动作的各种程序、各种数据等。
具体地,在存储部82的ROM中存储有用于检测印刷手指U1的轮廓、指甲T的轮廓的轮廓检测程序、用于进行对位处理的对位处理程序、用于搜索指甲T的区域的指甲轮廓搜索程序、用于修正绘图位置的绘图位置修正程序、用于生成绘图数据的绘图数据生成程序以及用于进行绘图处理的绘图程序等各种程序。
通过控制装置80执行这些程序,对指甲打印装置1的各部进行统一控制。
在本实施方式中,在存储部82中设有:指甲图像存储区域821,其存储通过成像部50获取的用户的印刷手指U1的指甲T的手指图像;指甲信息存储区域822,其存储通过轮廓检测部812检测出的指甲信息(印刷手指U1的轮廓、指甲T的轮廓等);以及指甲设计存储区域823,其存储对指甲T绘制的指甲设计的图像数据。
从功能上,控制部81具备成像控制部811、轮廓检测部812、对位处理部813、指甲轮廓搜索部814、绘图位置修正部815、绘图数据生成部816、显示控制部817、以及绘图控制部818等。
通过控制部81的CPU和存储在存储部82的ROM中的程序的协作来实现作为这些成像控制部811、轮廓检测部812、对位处理部813、指甲轮廓搜索部814、绘图位置修正部815、绘图数据生成部816、显示控制部817以及绘图控制部818等的功能。
成像控制部811对成像部50的成像装置51和照明装置52进行控制,通过成像装置51对插入于手指接受部31的印刷手指U1的手指图像(包括指甲T的图像的印刷手指U1的图像)进行成像。
在本实施方式中,成像控制部811获取如下的图像:第1手指图像g1(参照图6B),其使包括通过笔4、喷墨绘图部71实施绘图前的初始状态的指甲T的印刷手指U1进行成像;以及第2手指图像g2(参照图6B),其在对指甲T实施第1绘图之后,且实施第2绘图前,对包括指甲T的印刷手指U1进行成像。
成像装置51在紧接着对指甲T实施第1绘图之后也对包括指甲T的印刷手指U1进行成像而获取绘图后的手指图像(未图示)。
将通过成像部50获取到的手指图像的图像数据存储到存储部82的指甲图像存储区域821中。
此外,以下,说明根据通过成像部50获取到的手指图像(第1手指图像g1、第2手指图像g2)将印刷手指U1、指甲T的轮廓等检测为指甲信息的情况。但是,根据手指图像检测出的指甲信息并不限定于此,例如还可以根据手指图像检测出指甲T的曲率等。
轮廓检测部812从包括通过成像部50的成像装置51获取到的绘图前的指甲T的印刷手指U1的图像即第1手指图像g1,检测出对印刷手指U1的区域进行划分的第1手指轮廓(第1对象物轮廓)f1和对指甲T的区域进行划分的第1指甲轮廓n1。
轮廓检测部812从第2手指图像g2检测出对印刷手指U1的区域进行划分的第2手指轮廓(第2对象物轮廓)f2,其中,该第2手指图像g2是在实施第1绘图之后,且实施第2绘图前,通过成像装置51对包括指甲T的印刷手指U1进行成像而获得。
例如,在本实施方式中假定如下的情况:作为第1绘图而通过笔41涂抹底色(底层)之后,一旦进行使通过第1绘图涂在指甲T的墨水干燥的处理之后,作为第2绘图而通过笔41、喷墨绘图部71绘制各种图样等。因此,进行第1绘图时的印刷手指U1中的指甲T的位置与进行第2绘图时的印刷手指U1中的指甲T的位置有时相互偏离。
此外,在本实施方式中,在分三次以上的次数对一个指甲T进行绘图的情况下,将第2次以后的绘图全部设为“第2绘图”。
轮廓检测部812的各检测方法例如如下所示。
首先,轮廓检测部812进行的第1手指轮廓f1、第1指甲轮廓n1的检测(即,绘图前的初始状态的指甲T和包括指甲T的印刷手指U1的轮廓的检测)例如使用AdaBoost(AdaptiveBoosting:自适应增强)等学习算法来进行。
具体地,在装置制造阶段中,预先收集普通人的手指、指甲的多个样品并存储于装置侧。然后,在轮廓检测部812检测第1手指轮廓f1、第1指甲轮廓n1时,与这些样品进行匹配等。由此,能够难以被噪声左右的检测。
此外,也能够在事后更新对用户的手指、指甲T进行识别并将其增加到样品等使用于检测的数据。在该情况下,能够期望如下的效果:进一步提高轮廓检测部812进行的第1手指轮廓f1、第1指甲轮廓n1的检测精度,或能够以进行与用户的手指、指甲T的形状更一致的检测的方式定制。
此外,并不对轮廓检测部812检测第1手指轮廓f1、第1指甲轮廓n1的方法进行特别的限定。在此,还能够使用例示以外的各种方法。
接着,轮廓检测部812对第2手指轮廓f2(即,包括绘图后的指甲T的印刷手指U1的轮廓)的检测,例如使用图形的最小切断(图形切割)算法来进行。
具体地,在紧接着第1绘图之后获取到的绘图后的手指图像(未图示)中,作为印刷手指U1的颜色样品而获取与从第1手指图像g1检测出的第1手指轮廓f1的内侧区域对应的区域的颜色分布,作为背景色的样品而获取成为背景的手指载置部116a的颜色。
然后,根据两个两样品颜色分别生成每个颜色的直方图,将颜色变化大的位置检测为印刷手指U1与手指载置部116a的边界,即第2手指轮廓f2。
此外,并不对轮廓检测部812检测第2手指轮廓f2的方法进行特别的限定。在此还能够使用例示以外的各种方法。
对位处理部813对由轮廓检测部812检测出的第1手指轮廓f1的位置进行修正,进行接近第2手指轮廓f2的位置的对位处理。
在此,第1手指轮廓f1和第2手指轮廓f2为相同手指的轮廓。然而,在检测出第1手指轮廓f1的时间点和检测出第2手指轮廓f2的时间点,有时印刷手指U1中的指甲T的位置相互偏移。在该情况下,第1手指轮廓f1的位置和第2手指轮廓f2的位置成为相互偏移的位置。并且,在检测出第1手指轮廓f1的时间点和检测出第2手指轮廓f2的时间点,有时以印刷手指U1的长度方向为轴的旋转方向的朝向也相互不同。在该情况下,第1手指轮廓f1的形状与第2手指轮廓f2的形状,即使调整相互的位置也不一致。由此,仅通过对位处理,有时无法以高精度求出相对于第1手指轮廓f1的第2手指轮廓f2的错位。
因此,在本实施方式中,设为使用以下说明的特征点来进行对位处理的结构。
此外,如后所述,例如在由于找不出有效的特征点等某种情形而无法良好地进行特征点的对位处理的情况下,对位处理部813根据第1、第2手指轮廓f1、f2来进对位位处理。
对位处理部813在使用特征点的对位处理中,具体地,从第1手指图像g1和第2手指图像g2中分别提取用于对位的特征点。在此,特征点例如为皮肤的皱纹、肌肉等的特有形状、由皮肤的斑点、黑痣等引起的特有的颜色变化等。
此时,第1手指图像g1中的特征点仅从相当于手指的区域(即,不是指甲T的区域,皮肤的区域)的区域中提取。
图5A是表示第1手指图像g1中的特征点的提取对象区域和特征点的一例的图,图5B是表示第2手指图像g2中的特征点的提取对象区域和特征点的一例的图。
如图5A所示,第1手指图像g1中的特征点的提取对象区域是从检测为第1手指轮廓f1的印刷手指U1的轮廓的内侧区域减去检测为第1指甲轮廓n1的指甲T的轮廓的内侧区域而得到的区域e1(在图5A中为用白色表示的区域)。此外,在图5A中,第1指甲轮廓n1中,用虚线表示与手指的皮肤部分接触的部位,用虚线包围来表示特征点C1。
如图5B所示,第2手指图像g2中的特征点C2的提取对象区域是检测为第2手指轮廓f2的印刷手指U1的轮廓的内侧区域e2(在图5B中用白色表示的区域)。在图5B中,用虚线包围来表示特征点C2。
在此,关于第2手指图像g2,在轮廓检测部812中未进行指甲轮廓的检测,因此第2手指图像g2中的特征点C2还包括指甲T区域内的特征点。
然而,指甲T区域的特征点在进行与第1手指图像g1中的特征点C1的匹配时,实质上被排除。因此,不对事后的检测产生影响。
当对第1手指图像g1和第2手指图像g2提取各自的特征点C1、C2时,对位处理部813使用提取出的特征点C1、C2来生成对位的变换矩阵。
具体地,对从第1手指图像g1和第2手指图像g2提取出的特征点C1、C2之间进行匹配,使用对应的特征点的组,生成式1所示那样的变换矩阵。
[公式1]
此外,在变换矩阵中包含手指的二维的平行移动、二维的旋转以及放大/缩小的要素。
在此,将变换矩阵设为相似变换矩阵,对位处理部813根据该相似变换矩阵,进行使第1手指轮廓f1与第2手指轮廓f2的位置一致的对位处理。
此外,并不对对位处理部813进行对位处理的方法进行特别的限定。作为对位处理,也可以使用在此例示以外的各种方法。
例如,在特征点的匹配数少的情况下,或在无法生成变换矩阵的情况下,对位处理部813使用基于第1、第2手指轮廓f1、f2的手指区域地图来进行对位处理。
在进行基于地图的对位处理的情况下,例如使用基于相位信息的图案匹配即相位限定相关法等。
指甲轮廓搜索部814与对位处理部813的对位处理后的第1手指轮廓f1对应地对第1指甲轮廓n1的坐标进行变换,从第2手指图像g2内搜索与坐标变换后的第1指甲轮廓n1对应的第2指甲轮廓n2。
并不对指甲轮廓搜索部814对第1指甲轮廓n1的坐标进行变换的方法进行特别的限定。
例如,存在通过对位处理部813生成的变换矩阵(参照上述式1)的情况下,使用该变换矩阵对第1指甲轮廓n1的坐标进行变换,得到与对位处理后的第1手指轮廓f1对应的指甲轮廓的坐标。
在此,认为该坐标变换后的第1指甲轮廓n1与第2手指图像g2所包含的指甲T的指甲轮廓n2大致一致。
接着,指甲轮廓搜索部814将指甲T的区域(即,坐标变换后的第1指甲轮廓n1的内侧区域)分割为指甲T的延伸方向(图6A中的纵向)上的上部区域(指甲前端侧的区域)和下部区域(指甲根侧的区域)。
图6A是表示指甲T的区域的分割位置的一例的说明图。
在本实施方式中,如图6A所示,示出了在指甲T的上端部(即,指甲轮廓的坐标中处于指甲的最前端侧的部分)与指甲T的下端部(即,指甲轮廓的坐标中处于指甲的最根侧的部分)的中间部分,分割指甲T的区域的例子。
指甲轮廓搜索部814在指甲T的下部区域中,针对对位处理部813的对位处理后的第1手指图像g1中的与坐标变换后的第1指甲轮廓n1之间的边界部分,进行使用手指的皮肤区域的纹理的模板匹配,由此搜索第2指甲轮廓n2。
图6B是示意性地示出基于指甲轮廓搜索部814的模板匹配的成像的说明图。
在基于指甲轮廓搜索部814的模板匹配中,在对位处理后的第1手指图像g1的亮度图像中,将构成第1指甲轮廓n1的点中的、属于指甲T的下部区域的点i(在图6A中用黑点表示)的各坐标设为(x1,y1)~(xn,yn)。
并且,如图6B所示,将各点i的周围p×p的区域d1~dn(在图6B中用实线四角形表示的区域)的手指的皮肤区域的纹理设为模板Ti。
并且,指甲轮廓搜索部814在第2手指图像g2的亮度图像中,在坐标(x1,y1)~(xn,yn)的周边w×w的区域(在图6B中用虚线四角形表示的区域)内,搜索最接近点i的点。
此外,在对位处理后的第1手指图像g1中构成第1指甲轮廓n1的点,例如在指甲T的全周上例如设定100个程度。
并且,位于指甲T的下部区域的点i(在图6A中用黑点表示)为其中的大致1/2即例如50个程度。
此外,将p×p的区域和w×w的区域分别设为什么程度并不特别进行限定,根据图像的尺寸等适当地设定。
此外,优选w×w的区域为p×p的区域的两倍程度的大小。
另一方面,对于指甲T的上部区域,通常,手指皮肤的区域比下部区域较少。因此,难以进行上述模板匹配。因此,针对指甲T的上部区域,指甲轮廓搜索部814检测指甲T相对于背景的边缘,搜索第2指甲轮廓n2。
在此,背景是指在第2手指图像g2中与包括指甲T的印刷手指U1一起成像的手指载置部116a。
如上所述,为了提高与包括指甲T的印刷手指U1的对比度,手指载置部116a由肤色的相反色、黑色的部件构成。
指甲轮廓搜索部814通过观察手指载置部116a与指甲T的颜色差异、亮度差异,在对位处理后的第1手指图像g1中构成第1指甲轮廓n1的点中的、属于指甲T的上部区域的点(在图6A中用白点表示)中,相对于轮廓的法线方向的范围内搜索边缘强度最高的位置。
由此,指甲轮廓搜索部814检测指甲T的边缘,生成边缘图像。
此外,在指甲T短,且指甲T位于比手指的前端部分更内侧的情况下,手指的皮肤区域成为“背景”。在该情况下,指甲轮廓搜索部814针对手指的皮肤区域检测指甲T的边缘。
并且,指甲轮廓搜索部814使通过各方法分别搜索的指甲T的下部区域以及指甲T的上部区域的轮廓一致地,进行平滑(Smoothing)处理。
并不对进行该平滑处理的方法进行特别的限定。例如,作为进行平滑处理的方法,能够使用Snakes(Active Contour Model:主动轮廓模型)等方法。
Snakes是基于能量最小化原理的方法,使用该方法得到的轮廓成为如式2所示使能量函数最小化的轮廓。
此外,在式2中,Econt,i为与相邻的轮廓点的距离,Ecurv,i为曲率,Eimage,i为与边缘强度有关的项。
[公式2]
Ei=αEcont,i+βEcurv,i+γEimage,i···式2
绘图位置修正部815根据第1指甲轮廓n1与通过指甲轮廓搜索部814搜索到的第2指甲轮廓n2的相互位置偏移量,计算出用于修正第2绘图时的绘图位置的修正值。
通过绘图位置修正部815计算出的修正值被发送到绘图数据生成部816,绘图数据生成部816根据该修正值进行图像数据的修正。
绘图数据生成部816根据由轮廓检测部812、指甲轮廓搜索部814检测出的指甲T的轮廓,生成由绘图头43对印刷手指U1的指甲T实施的绘图用数据。
绘图数据生成部816根据指甲T的轮廓,使指甲设计的图像数据与指甲T的形状一致,适当地进行曲面修正等。
并且,在绘图位置修正部815计算出绘图位置的修正值的情况下,使该修正值反映于图像数据。
由此,生成通过笔41、喷墨绘图部71绘制的指甲设计的绘图用的数据。
显示控制部817控制显示部26,使显示部26显示各种显示画面。
在本实施方式中,显示控制部814例如使显示部26显示指甲设计的选择画面、设计确认用缩略图图像、对印刷手指U1进行成像而获取到的手指图像、各种指示画面、操作画面等。
绘图控制部818根据由绘图数据生成部816生成的绘图数据,向绘图部40输出控制信号,对绘图部40的X方向移动电动机46、Y方向移动电动机48、笔上下用电动机426、喷墨绘图部71等进行控制以便对指甲T实施与该绘图数据对应的绘图。
具体地,绘图控制部818在笔41的非绘图时,控制笔上下用电动机426,通过板簧429维持卡合突起424被按下的状态。
在笔41的绘图时,使笔上下用电动机426动作,通过板簧429按下卡合突起424,控制笔上下用电动机426的动作以便使笔41的前端部(笔尖413)与指甲T的表面接触。
此外,在仅通过指甲T的高度发生大变化而板簧429挠曲变形(弹性变形)无法应对的位置,绘图控制部815适当地增减笔上下用电动机426的步数来调整笔41的笔压,优选以笔压大致固定的方式进行调整。
接着,参照图7至图9说明本实施方式中的指甲打印装置1的绘图方法。
图7是表示本实施方式的指甲打印装置1的绘图处理的概要的流程图。
图8是表示本实施方式中的指甲轮廓的检测处理的流程图。
图9A是包括绘图前的初始状态的指甲T的印刷手指U1的平面图,图9B是包括第1绘图后且第2绘图前的指甲T的印刷手指U1的平面图,图9C是包括第2绘图后的指甲T的印刷手指U1的平面图。
在通过该指甲打印装置1进行绘图的情况下,首先,用户接通电源开关来启动控制装置80。
当选择对指甲T绘图的指甲设计并将印刷手指U1放在手指接受部31上时,如图7所示,在开始绘图动作之前,首先,成像控制部811控制成像部50,一边通过照明装置52照明印刷手指U1,一边通过成像装置51对印刷手指U1进行成像。
由此,成像控制部811获取图9A所示那样的向指甲T绘图前的初始状态的印刷手指U1的第1手指图像g1(步骤S1)。
之后,绘图控制部818使绘图部40动作来进行第1绘图(步骤S2)。由此,例如图9B所示,成为对指甲T整体涂了墨水的状态。
当进行第1绘图时,紧接着,成像控制部811使成像装置51动作而对印刷手指U1进行成像。
由此,成像控制部811获取针对指甲T实施了第1绘图的绘图后的手指图像(步骤S3)。
之后,进行使涂于指甲T上的墨水干燥等(步骤S4)。
然后,在进行第2绘图之前,成像控制部811再次使成像装置51动作来对印刷手指U1进行成像。
由此,成像控制部811获取针对指甲T实施第1绘图,且实施第2绘图前的印刷手指U1的图像即第2手指图像g2(步骤S5)。
当获取第2手指图像g2时,在开始第2绘图之前,在当前时间点,即紧接着开始第2绘图之前的指甲T的指甲轮廓(第2指甲轮廓n2)的位置检测(步骤S6)。
在此,参照图8详细说明第2绘图开始前的指甲T的指甲轮廓的位置检测(步骤S6)。
如图8所示,首先,轮廓检测部812从包括绘图前的指甲T的印刷手指U1的图像即第1手指图像g1检测出第1手指轮廓f1和第1指甲轮廓n1(步骤S11)。
接着,轮廓检测部812从第2手指图像g2检测出第2手指轮廓f2(步骤S12)。
接着,对位处理部813从第1手指图像g1和第2手指图像g2分别提取用于对位的特征点C1、C2(步骤S13)。
在分别对第1手指图像g1和第2手指图像g2提取特征点C1、C2之后,对位处理部813使用提取出的特征点C1、C2,尝试生成对位的变换矩阵。
然后,判断是否生成了变换矩阵(步骤S14)。
在能够生成变换矩阵的情况下(步骤S14:“是”),使用该变换矩阵,进行使第1手指轮廓f1与第2手指轮廓f2的位置一致的对位处理(步骤S15)。
另外,在未能生成变换矩阵的情况下(步骤S14:“否”),对位处理部813使用基于第1、第2手指轮廓f1、f2的手指区域地图,进行使第1手指轮廓f1与第2手指轮廓f2的位置一致的对位处理(步骤S16)。
当基于对位处理部813的对位处理完成时,指甲轮廓搜索部814与对位处理后的第1手指轮廓f1对应地对第1指甲轮廓n1的坐标进行变换(步骤S17)。
接着,指甲轮廓搜索部814将指甲T的区域(即,坐标变换后的第1指甲轮廓n1的内侧区域)分割为指甲T的延伸方向上的上部(指甲前端侧)与下部(指甲根侧)(步骤S18)。
然后,在指甲T的下部区域中,指甲轮廓搜索部814通过针对对位处理后的第1手指图像g1中的与坐标变换后的第1指甲轮廓n1之间的边界部分进行模板匹配,由此搜索第2指甲轮廓n2(步骤S19)。
在指甲T的上部区域中,指甲轮廓搜索部814检测相对于背景的指甲T的边缘,由此搜索第2指甲轮廓n2(步骤S20)。
当分别对指甲T的下部区域和指甲T的上部区域搜索第2指甲轮廓n2时,指甲轮廓搜索部814进一步与指甲T的下部区域和指甲T的上部区域的第2指甲轮廓n2一致地,进行平滑处理(步骤S21)。
由此,检测出进行第2绘图之前的指甲T的位置(即,第2指甲轮廓n2的位置)。
接着,在进行绘图前的初始状态的指甲T的位置(即,第1指甲轮廓n1的位置)与进行第2绘图前的指甲T的位置(即,第2指甲轮廓n2的位置)存在相互偏移的情况下,绘图位置修正部815计算出用于修正绘图位置的修正值(步骤S7)。
通过绘图位置修正部815计算出的修正值在绘图数据生成部816中反映于第2绘图中的绘图数据(步骤S8)。
然后,绘图控制部818使绘图部40动作,由此根据绘图位置修正后的绘图数据进行第2绘图。
由此,图9C所示那样的图案不会错位地绘制于指甲T上(步骤S9)。
如上所述,根据本实施方式,在绘图前获取第1手指图像g1,在实施第1绘图之后,在实施第2绘图前获取第2手指图像g2,从第1手指图像g1检测出第1手指轮廓f1和第1指甲轮廓n1,并且从第2手指图像g2检测出第2手指轮廓f2。
然后,进行使第1手指轮廓f1与第2手指轮廓f2的位置一致的对位处理,与对位处理后的第1手指轮廓f1对应地对第1指甲轮廓n1的坐标进行变换,从第2手指图像g2中搜索与坐标变换后的第1指甲轮廓n1对应的第2指甲轮廓n2。
这样,在分多次对指甲T实施绘图的情况下,在第2次以后的绘图前判断指甲T的指甲轮廓有无错位。因此,在进行下一绘图为止期间指甲T的位置移动的情况下,也能够防止绘图位置偏移,进行高质量的绘图。
然后,在第2绘图前检测第2指甲轮廓n2时,首先,根据手指的轮廓来检测指甲T的大致位置,之后,精确地搜索指甲T的轮廓。
由此,与仅搜索指甲T的轮廓相比,能够高效率地检测指甲T的位置。
当实施绘图时,指甲T的颜色、亮度与绘图前的初始状态的指甲T不同,因此仅简单地比较第1绘图前后的指甲T,难以检测第1绘图后的指甲T的轮廓。
这一点,在本实施方式中,至少关于与手指的皮肤区域接触的指甲T的下部区域,通过使与指甲T相邻的手指的皮肤区域的纹理匹配来搜索指甲T的轮廓。
这样,根据在绘图前后无变化的区域来搜索指甲T的轮廓,由此通过绘图而指甲T的颜色、亮度发生变化,也能够准确地掌握指甲T的位置。
然后,根据这样得到的指甲T的轮廓来适当地进行绘图位置的修正,因此即使分多次对指甲实施绘图的情况下,也能够进行绘图位置无偏移的高质量的绘图。
此外,以上说明了本发明的实施方式,但是本发明并不限定于上述实施方式,能够在不脱离其宗旨的范围内进行各种变形。
例如,在本实施方式中示出了将指甲轮廓搜索部814分割指甲区域时的分割位置设为指甲T的上端部与指甲T的下端部的中间部分的例子。但是,指甲区域的分割位置并不限定于此。
对于指甲T的下部区域,为了进行高精度的模板匹配,因此分类为下部区域的区域越大则匹配精度越提高。因此,例如也可以将指甲T的上部与下部的比例设为4比6等,下部区域比上部区域大。
在与指甲T相邻的皮肤区域进行针对下部区域进行的模板匹配。因此,例如指甲T短且指甲T的外周几乎被皮肤区域包围的情况下,几乎将全部指甲区域分类为下部区域而在更大范围内进行模板匹配,例如指甲T长且指甲T的下部的极小区域被皮肤部分包围的情况下,无法在不被皮肤部分包围的部分进行模板匹配。因此,也可以与用户的手指、指甲的形状对应地适当地改变指甲区域的分割位置,以便几乎将全部的指甲区域分类为上部区域。
这样,能够进行更适合于用户指甲的指甲轮廓的搜索。
在本实施方式中,例示了绘图头43具备一个笔杆42的情况。但是,设置于绘图头43的笔杆42的数量并不限定于一个。例如,也可以具备两个以上的笔杆42,保持两个以上绘图用的笔41。
在本实施方式中,例示了用户适当地以手动方式更换使笔杆42保持的笔41的情况。但是,例如也可以在待机区域60等中设置使笔41待机的待机空间,通过未图示的笔更换机构自动地从待机空间内获取所需的笔41并更换为笔杆42。
在本实施方式中,例示了在指甲打印装置1的顶部部分等固定配置成像装置51和照明装置52的情况。但是,设置成像装置51、照明装置52的位置并不限定于此。
例如,也可以在绘图头43上搭载成像装置51、照明装置52,成像装置51和照明装置52通过头移动部49与绘图头43一体地移动。
在该情况下,例如能够从相互不同的多个方向对指甲T进行成像,能够准确地获取指甲T的曲率等,能够进行高精度的曲面修正。
此外,在将成像部50设为这种结构的情况下,也优选第1手指图像g1、第2手指图像g2和绘图后的手指图像全部从同一位置、同一方向成像。
在本实施方式中,以将手指一个一个地插入于装置并依次进行绘图的指甲打印装置1为例。但是,还能够将本发明应用于如下的装置:对于多个手指,能够不抽出各手指而连续地进行绘图、墨水的去除的装置。
例如,还能够通过扩大笔的运转范围来扩大可绘图的范围,由此在同时插入多个印刷手指U1的状态下,连续地对各手指的指甲实施绘图。
以上,说明了本发明的几个实施方式,但是本发明的范围并不限定于上述实施方式,还包括要求专利保护的范围所记载的发明的范围及其均等范围。

Claims (14)

1.一种绘图装置,其特征在于,具备:
绘图部,其以有指甲的手指或脚趾为对象物,对上述指甲实施绘图;以及控制部,其控制上述绘图部的动作,
上述控制部提取如下的特征点:
(1)第1特征点,其是成像未对上述指甲实施上述绘图的上述对象物而获取到的第1对象物图像中的、从表示上述对象物的轮廓的第1对象物轮廓的内侧的第1区域去除上述指甲的区域而得到的第2区域中的特征点,(2)第2特征点,其是在对上述指甲实施第1绘图之后成像上述对象物而获取到的第2对象物图像中的、表示上述对象物的轮廓的第2对象物轮廓的内侧的第3区域中的特征点,
根据上述第1特征点和上述第2特征点,获取上述第2对象物图像中的上述指甲的位置,
根据上述获取到的上述第2对象物图像中的上述指甲的位置,控制在获取上述第2对象物图像之后上述绘图部对上述指甲实施第2绘图时的绘图位置。
2.根据权利要求1所述的绘图装置,其特征在于,
上述绘图部对上述指甲涂墨水并实施上述绘图,
上述控制部在对上述指甲实施第1绘图并进行了使通过上述第1绘图涂在上述指甲上的上述墨水干燥的干燥处理之后,在实施上述第2绘图之前,获取成像上述对象物而得到的上述第2对象物图像。
3.根据权利要求1所述的绘图装置,其特征在于,
上述控制部具有:对位处理部,其根据上述第1特征点和上述第2特征点,对上述第1对象物轮廓的位置进行修正,进行接近上述第2对象物轮廓的位置的对位处理,
根据上述对位处理部中的上述对位处理的结果,获取上述第2对象物图像中的上述指甲的位置。
4.根据权利要求3所述的绘图装置,其特征在于,
上述控制部具有:轮廓检测部,其从上述第1对象物图像中检测出上述第1对象物轮廓以及对上述指甲的区域进行划分的第1指甲轮廓,
根据上述第1对象物轮廓和上述第1指甲轮廓,提取上述第1对象物图像中的上述第2区域。
5.根据权利要求4所述的绘图装置,其特征在于,
上述控制部具备:指甲轮廓搜索部,其与上述对位处理部进行的上述第1对象物轮廓的位置的修正对应地修正上述第1指甲轮廓的位置,根据上述修正后的上述第1指甲轮廓的位置,搜索对上述第2对象物图像中的上述指甲的轮廓进行划分的第2指甲轮廓的位置。
6.根据权利要求5所述的绘图装置,其特征在于,
上述指甲轮廓搜索部将上述第2对象物图像中的上述指甲的区域分割为上述指甲的延伸方向上的上述指甲的前端侧的上部区域以及上述指甲的根侧的下部区域,
针对上述下部区域,进行基于上述第1对象物图像中的、与上述第1指甲轮廓的边界区域的上述第1指甲轮廓的内侧区域以外的区域的纹理的模板匹配,由此搜索上述第2指甲轮廓,
针对上述上部区域,在上述第2对象物图像中,检测出上述指甲的区域与成为上述指甲的背景的区域的边缘,由此搜索上述第2指甲轮廓。
7.根据权利要求5所述的绘图装置,其特征在于,
上述控制部具备:绘图位置修正部,其根据由上述指甲轮廓搜索部检测出的上述第2指甲轮廓的位置,计算出用于修正上述绘图部对上述指甲实施上述第2绘图时的上述绘图位置的修正值。
8.一种绘图装置的绘图方法,其中,上述绘图装置具备:绘图部,其以有指甲的手指或脚趾为对象物,对上述指甲实施绘图,
上述绘图方法包括以下步骤:
获取成像未对上述指甲实施上述绘图的上述对象物而得到的第1对象物图像的步骤;
提取上述第1对象物图像中的、从表示上述对象物的轮廓的第1对象物轮廓的内侧的第1区域去除上述指甲的区域而得到的第2区域中的第1特征点的步骤;
在对上述指甲实施第1绘图之后,获取成像上述对象物而得到的第2对象物图像的步骤;
提取上述第2对象物图像中的、表示上述对象物的轮廓的第2对象物轮廓的内侧的第3区域中的第2特征点的步骤;
根据上述第1特征点和上述第2特征点,获取上述第2对象物图像中的上述指甲的位置的步骤;以及
根据上述获取到的上述第2对象物图像中的上述指甲的位置,控制在获取上述第2对象物图像之后上述绘图部对上述指甲实施第2绘图时的绘图位置的步骤。
9.根据权利要求8所述的绘图装置的绘图方法,其特征在于,
该绘图方法包括如下步骤:
上述绘图部对上述指甲涂墨水并实施上述绘图的步骤;以及
使通过上述绘图涂在上述指甲上的上述墨水干燥的步骤,
在对上述指甲实施第1绘图并进行使通过上述第1绘图涂在上述指甲上的上述墨水干燥的步骤之后,在实施上述第2绘图之前,执行获取上述第2对象物图像的步骤。
10.根据权利要求8所述的绘图装置的绘图方法,其特征在于,
该绘图方法包括如下步骤:根据上述第1特征点和上述第2特征点,对上述第1对象物轮廓的位置进行修正,进行接近上述第2对象物轮廓的位置的对位处理的步骤,
获取上述第2对象物图像中的上述指甲的位置的步骤包括如下步骤:根据上述对位处理的结果,获取上述第2对象物图像中的上述指甲的位置的步骤。
11.根据权利要求10所述的绘图装置的绘图方法,其特征在于,
该绘图方法包括如下步骤:
从上述第1对象物图像中检测上述第1对象物轮廓以及对上述指甲的区域进行划分的第1指甲轮廓的步骤;以及
根据上述第1对象物轮廓和上述第1指甲轮廓,提取上述第1对象物图像中的上述第2区域。
12.根据权利要求11所述的绘图装置的绘图方法,其特征在于,
该绘图方法包括如下步骤:
与上述对位处理进行的上述第1对象物轮廓的位置的修正对应地修正上述第1指甲轮廓的位置的步骤;以及
根据上述修正后的上述第1指甲轮廓的位置,搜索对上述第2对象物图像中的上述指甲的轮廓进行划分的第2指甲轮廓的位置。
13.根据权利要求12所述的绘图装置的绘图方法,其特征在于,
搜索上述第2指甲轮廓的步骤包括如下步骤:
将上述第2对象物图像中的上述指甲的区域分割为上述指甲的延伸方向上的上述指甲的前端侧的上部区域以及上述指甲的根侧的下部区域;
在上述下部区域中,进行基于上述第1对象物图像中的、与上述第1指甲轮廓的边界区域的上述第1指甲轮廓的内侧区域以外的区域的纹理的模板匹配,由此搜索上述第2指甲轮廓;以及
在上述上部区域中,在上述第2对象物图像中,检测上述指甲的区域与成为上述指甲的背景的区域的边缘,由此搜索上述第2指甲轮廓。
14.根据权利要求12所述的绘图装置的绘图方法,其特征在于,
该绘图方法包括如下步骤:根据通过搜索上述第2指甲轮廓的位置的步骤检测出的上述第2指甲轮廓的位置,计算出用于修正上述绘图部对上述指甲实施上述第2绘图时的上述绘图位置的修正值。
CN201610511470.3A 2015-06-30 2016-06-30 绘图装置以及绘图装置的绘图方法 Active CN106307967B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-130630 2015-06-30
JP2015130630A JP6596979B2 (ja) 2015-06-30 2015-06-30 描画装置及び描画装置の描画方法

Publications (2)

Publication Number Publication Date
CN106307967A true CN106307967A (zh) 2017-01-11
CN106307967B CN106307967B (zh) 2019-08-02

Family

ID=57682730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610511470.3A Active CN106307967B (zh) 2015-06-30 2016-06-30 绘图装置以及绘图装置的绘图方法

Country Status (3)

Country Link
US (1) US9743740B2 (zh)
JP (1) JP6596979B2 (zh)
CN (1) CN106307967B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109203729A (zh) * 2018-10-29 2019-01-15 徐悦 自动美甲设备
CN109272517A (zh) * 2017-07-18 2019-01-25 卡西欧计算机株式会社 绘图装置、绘图方法以及记录有程序的记录介质
CN109349774A (zh) * 2018-10-29 2019-02-19 徐悦 一种自动美甲方法和设备
CN109532255A (zh) * 2018-12-28 2019-03-29 武汉朋谊科技有限公司 打印机的打印控制平台
CN109892791A (zh) * 2019-02-28 2019-06-18 秒针信息技术有限公司 目标操作的执行方法及装置、存储介质、电子装置
CN110754770A (zh) * 2019-10-29 2020-02-07 上海魅奈儿科技有限公司 一种美甲方法及美甲机
CN111311743A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111728344A (zh) * 2019-03-25 2020-10-02 卡西欧计算机株式会社 印刷装置以及印刷方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11265444B2 (en) * 2013-08-23 2022-03-01 Preemadonna Inc. Apparatus for applying coating to nails
US9687059B2 (en) * 2013-08-23 2017-06-27 Preemadonna Inc. Nail decorating apparatus
JP7182058B2 (ja) 2017-01-31 2022-12-02 ネイロマティック リミテッド ネイルポリッシュ用成膜ポリマーを備えたブラシ一体化カプセル
CN110325074B (zh) * 2017-01-31 2023-10-03 纽尔罗玛蒂克有限公司 自动化指甲油涂抹装置
JP7022299B2 (ja) * 2017-06-29 2022-02-18 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の制御方法
WO2019070886A1 (en) 2017-10-04 2019-04-11 Preemadonna Inc. SYSTEMS AND METHODS FOR ADAPTIVE NAILS PRINTING AND COLLABORATIVE BEAUTY PLATFORM HOSTING
JP7039991B2 (ja) * 2017-12-22 2022-03-23 カシオ計算機株式会社 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム
WO2020049469A1 (en) * 2018-09-05 2020-03-12 Elitron Ipm S.R.L. A method for printing images on flat articles of various dimensions
CA3125965A1 (en) 2019-01-22 2020-07-30 Nailomatic Ltd. Nail polish application and solidification apparatus
JP7111088B2 (ja) 2019-01-24 2022-08-02 カシオ計算機株式会社 画像検索装置、学習方法及びプログラム
CA3131318A1 (en) * 2019-02-26 2020-09-03 Elementree Inc. Automatic nail polish application system and method
US20240074560A1 (en) 2019-10-29 2024-03-07 NailPro, Inc. Automated total nail care systems, devices and methods
JP7547108B2 (ja) 2020-07-31 2024-09-09 キヤノン株式会社 プログラム、情報処理装置、および情報処理装置の制御方法
GR20200100684A (el) * 2020-11-18 2022-06-08 Αθανασιος Δημητριου Κυριαζης Ψηφιακη συσκευη τοποθετησης ανω ή κατω ακρων για περιποιηση ή θεραπεια

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156452A (ja) * 1997-08-18 1999-03-02 Jitsuto Seremonii:Kk インクジェットプリンタによるネイルアート方法及び装置
CN1522621A (zh) * 2000-05-26 2004-08-25 ���鼼���ع��������ι�˾ 使用喷墨术美化手指甲和脚趾甲
CN102555526A (zh) * 2010-11-04 2012-07-11 卡西欧计算机株式会社 指甲印刷装置及印刷控制方法
CN102774130A (zh) * 2011-05-09 2012-11-14 卡西欧计算机株式会社 具备对手指指甲实施印刷的印刷头的指甲印刷装置及印刷控制方法
CN102922880A (zh) * 2011-08-12 2013-02-13 卡西欧计算机株式会社 指甲打印装置及印刷控制方法
US20150027480A1 (en) * 2013-07-26 2015-01-29 Casio Computer Co., Ltd. Drawing apparatus and control method of drawing apparatus
CN104414105A (zh) * 2013-09-05 2015-03-18 卡西欧计算机株式会社 指甲打印装置及其打印方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5728885B2 (ja) * 2010-10-22 2015-06-03 カシオ計算機株式会社 ネイルプリント装置及び印刷制御方法
JP6186975B2 (ja) * 2012-09-06 2017-08-30 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の印刷制御方法
JP5915571B2 (ja) * 2013-03-14 2016-05-11 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の印刷方法
JP6268771B2 (ja) * 2013-07-05 2018-01-31 カシオ計算機株式会社 ネイルプリント装置、ネイルプリント装置の印刷方法及びプログラム
JP6303413B2 (ja) * 2013-11-11 2018-04-04 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の印刷方法
JP6303434B2 (ja) * 2013-11-21 2018-04-04 カシオ計算機株式会社 ネイルプリント装置及びネイルプリント装置の印刷方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1156452A (ja) * 1997-08-18 1999-03-02 Jitsuto Seremonii:Kk インクジェットプリンタによるネイルアート方法及び装置
CN1522621A (zh) * 2000-05-26 2004-08-25 ���鼼���ع��������ι�˾ 使用喷墨术美化手指甲和脚趾甲
CN102555526A (zh) * 2010-11-04 2012-07-11 卡西欧计算机株式会社 指甲印刷装置及印刷控制方法
CN102774130A (zh) * 2011-05-09 2012-11-14 卡西欧计算机株式会社 具备对手指指甲实施印刷的印刷头的指甲印刷装置及印刷控制方法
CN102922880A (zh) * 2011-08-12 2013-02-13 卡西欧计算机株式会社 指甲打印装置及印刷控制方法
US20150027480A1 (en) * 2013-07-26 2015-01-29 Casio Computer Co., Ltd. Drawing apparatus and control method of drawing apparatus
CN104414105A (zh) * 2013-09-05 2015-03-18 卡西欧计算机株式会社 指甲打印装置及其打印方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272517A (zh) * 2017-07-18 2019-01-25 卡西欧计算机株式会社 绘图装置、绘图方法以及记录有程序的记录介质
CN109203729A (zh) * 2018-10-29 2019-01-15 徐悦 自动美甲设备
CN109349774A (zh) * 2018-10-29 2019-02-19 徐悦 一种自动美甲方法和设备
CN109532255A (zh) * 2018-12-28 2019-03-29 武汉朋谊科技有限公司 打印机的打印控制平台
CN109532255B (zh) * 2018-12-28 2020-06-02 北京数科网维技术有限责任公司 打印机的打印控制平台
CN109892791A (zh) * 2019-02-28 2019-06-18 秒针信息技术有限公司 目标操作的执行方法及装置、存储介质、电子装置
CN111728344A (zh) * 2019-03-25 2020-10-02 卡西欧计算机株式会社 印刷装置以及印刷方法
CN111728344B (zh) * 2019-03-25 2023-09-01 卡西欧计算机株式会社 印刷装置以及印刷方法
CN110754770A (zh) * 2019-10-29 2020-02-07 上海魅奈儿科技有限公司 一种美甲方法及美甲机
CN111311743A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备
CN111311743B (zh) * 2020-03-27 2023-04-07 北京百度网讯科技有限公司 三维重建精度测试方法、测试装置和电子设备

Also Published As

Publication number Publication date
JP2017012340A (ja) 2017-01-19
CN106307967B (zh) 2019-08-02
US9743740B2 (en) 2017-08-29
US20170000235A1 (en) 2017-01-05
JP6596979B2 (ja) 2019-10-30

Similar Documents

Publication Publication Date Title
CN106307967A (zh) 绘图装置以及绘图装置的绘图方法
US9462869B2 (en) Drawing apparatus and control method of drawing apparatus
CN107020830B (zh) 描绘装置以及描绘装置的描绘方法
US9675159B2 (en) Drawing apparatus and control method of drawing apparatus
CN103660611B (zh) 美甲打印装置及其印刷控制方法
US9642436B2 (en) Drawing device and method for detecting shape of nail in the same
US9386834B2 (en) Nail printing apparatus and printing control method for nail print apparatus
US9930951B2 (en) Drawing apparatus and drawing method for drawing apparatus
US20150128981A1 (en) Drawing apparatus and method for drawing with drawing apparatus
US20170071314A1 (en) Drawing apparatus and drawing method for drawing apparatus
CN106494095B (zh) 描绘装置以及描绘装置的描绘方法
US20160088917A1 (en) Nail design device, nail printing apparatus, nail design method, and computer-readable recording medium storing nail design program
US9205672B1 (en) Drawing apparatus with a drawing head and a drawing tool and control method
US9931865B2 (en) Holding apparatus and drawing apparatus
JP6859780B2 (ja) 描画装置、描画方法及びプログラム
JP2018000649A (ja) 描画装置及び描画装置の描画方法
CN106313905A (zh) 绘图装置以及绘图装置的绘图控制方法
JP2017176800A (ja) 描画装置及び描画装置の描画方法
JP2017055933A (ja) 爪形状検出装置及び描画装置、並びに爪形状検出方法
JP6349718B2 (ja) 描画装置
JP6825244B2 (ja) 描画装置及び描画装置の描画方法
JP6344497B2 (ja) ネイルプリント装置及びネイルプリント装置の印刷方法
JP7184131B2 (ja) 描画装置及び描画方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant