CN109544573A - 轮廓检测装置,印刷装置,轮廓检测方法以及记录介质 - Google Patents
轮廓检测装置,印刷装置,轮廓检测方法以及记录介质 Download PDFInfo
- Publication number
- CN109544573A CN109544573A CN201811034749.2A CN201811034749A CN109544573A CN 109544573 A CN109544573 A CN 109544573A CN 201811034749 A CN201811034749 A CN 201811034749A CN 109544573 A CN109544573 A CN 109544573A
- Authority
- CN
- China
- Prior art keywords
- profile
- test object
- contour detecting
- characteristic point
- nail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 122
- 238000007639 printing Methods 0.000 title claims description 60
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000003321 amplification Effects 0.000 claims description 11
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 11
- 210000000282 nail Anatomy 0.000 description 185
- 230000005484 gravity Effects 0.000 description 20
- 238000013461 design Methods 0.000 description 15
- 210000004905 finger nail Anatomy 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005267 amalgamation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41M—PRINTING, DUPLICATING, MARKING, OR COPYING PROCESSES; COLOUR PRINTING
- B41M5/00—Duplicating or marking methods; Sheet materials for use therein
- B41M5/0082—Digital printing on bodies of particular shapes
- B41M5/0088—Digital printing on bodies of particular shapes by ink-jet printing
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D29/00—Manicuring or pedicuring implements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
- B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
- B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
- B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D29/00—Manicuring or pedicuring implements
- A45D2029/005—Printing or stamping devices for applying images or ornaments to nails
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
- A45D29/00—Manicuring or pedicuring implements
- A45D29/22—Finger-supports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种轮廓检测装置,具备以下部分:显示器;和处理器,所述处理器取得拍摄了检测对象的检测对象图像,进行轮廓检测处理,所述轮廓检测处理中,多次进行对所述检测对象的轮廓的形状进行识别的形状识别,从所述检测对象图像检测所述检测对象的轮廓,使所述显示器显示基于所述轮廓检测处理的检测结果,在所述轮廓检测处理中,针对构成通过多次所述形状识别而得到的所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将计算出的离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
Description
本申请基于并主张申请号2017-180795、在2017年9月21日提出的35 USC 119下的日本申请的优先权,并将其全部内容(包括说明书、权利要求书、说明书附图以及说明书摘要)援引至本申请中。
技术领域
本发明涉及轮廓检测装置、印刷装置、轮廓检测方法以及记录介质。
背景技术
以往,公知通过图像处理从拍摄了检测对象的图像中对检测对象的轮廓进行检测的手法。
例如,在用相机拍摄了人物的情况下,通过使用轮廓检测的技术,从而能够从拍摄图像中检测该人物的面部的轮廓、或眼睛、鼻、口等各器官的轮廓。
再有,轮廓检测的对象未被限定于面部或面部的器官,在指甲的轮廓形状等各种的轮廓检测中都能够使用轮廓检测的技术。
非专利文献1公开了一种利用被称为ESR(Explicit Shape Regression)的算法对检测对象的轮廓进行检测的技术。
在ESR中,也生成在重心的周围配置了特征点的形状模型(初始形状),进行该形状模型与包括检测对象在内的图像的拟合。此时,在不ESR中,如非专利文献(Xudong Cao,Yichen Wei,Fang Wen,Jian Sun“Face alignment by Explicit Shape Regression.”CVPR 2012:2887-2894.)所记载的,将两阶段的弱回归量(regressors)(弱识别器)组合应用,作为使形状模型(初始形状)逐渐地向正确位置即检测对象的轮廓收敛的回归问题来进行轮廓检测。
发明内容
本发明的优点在于,提供一种在从图像自动地对检测对象的轮廓进行检测的情况下,能够容易地判别检测可靠度低的部分的轮廓检测装置、印刷装置、轮廓检测方法以及记录介质。
一种轮廓检测装置,具备以下部分:
显示器;和
处理器,
所述处理器
取得拍摄了检测对象的检测对象图像,
进行轮廓检测处理,所述轮廓检测处理中,多次进行对所述检测对象的轮廓的形状进行识别的形状识别,从所述检测对象图像检测所述检测对象的轮廓,
使所述显示器显示基于所述轮廓检测处理的检测结果,
在所述轮廓检测处理中,针对构成通过多次所述形状识别而得到的所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将计算出的离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
一种印刷装置,具备以下部分:
显示器;
印刷头;和
处理器,
所述处理器
取得拍摄了检测对象的检测对象图像,
进行轮廓检测处理,所述轮廓检测处理中,多次进行对所述检测对象的轮廓的形状进行识别的形状识别处理,从所述检测对象图像中检测所述检测对象的轮廓,
使所述显示器显示基于所述轮廓检测处理的检测结果,
通过所述印刷头对所述轮廓内实施印刷,
在所述轮廓检测处理中,针对构成通过多次所述形状识别处理而得到的所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将计算出的离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
一种轮廓检测方法,包括:
取得拍摄了检测对象的检测对象图像的步骤;
多次进行对所述检测对象的轮廓的形状进行识别的形状识别处理,并从所述检测对象图像中检测所述检测对象的轮廓的步骤;以及
显示所述轮廓的检测结果的显示步骤,
在所述检测所述检测对象的轮廓的步骤中,针对构成所述形状识别处理中的识别结果即所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别处理中的离差,将离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
一种记录介质,记录了使轮廓检测装置的计算机实现以下处理的程序:
取得处理,取得拍摄了检测对象的检测对象图像;
轮廓检测处理,多次进行对所述检测对象的轮廓的形状进行识别的形状识别,并从所述检测对象图像中检测所述检测对象的轮廓;和
显示处理,显示所述轮廓检测处理中的检测结果,
通过所述轮廓检测处理,针对构成所述形状识别中的识别结果即所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
附图说明
图1是表示本实施方式中的轮廓检测装置的外观结构的立体图。
图2A是表示手指固定部的立体图,图2B是从上面观察手指固定部的俯视图。
图3是示出本实施方式中的轮廓检测装置的功能性结构的主要部位结构图。
图4是示意性地示出将样本指甲配置到手指固定部的状态的图。
图5是示意性地表示从多个样本指甲生成初始形状的样子的说明图。
图6A~图6C分别是示出将初始形状与检测对象图像拟合的情况下的特征点的位置的图,图6D是将图6A~图6C的识别结果合并后的图,图6E以及图6F是示出将合并识别结果后的结果离差为阈值以上的部分放大显示的状态的图。
图7是表示本实施方式中的轮廓检测处理的流程图。
图8是表示本实施方式中的指甲打印装置的内部结构的立体图。
图9是示出本实施方式中的指甲打印装置的控制结构的框图。
图10是表示本实施方式中的印刷处理的流程图。
图11A~图11E分别是示出将初始形状与检测对象图像拟合的情况下的特征点的位置的图,图11F是将图11A~图11E的识别结果合并后的图,图11G是示出将合并了识别结果的结果离差为阈值以上的部分放大显示的状态的图。
具体实施方式
参照图1~图7,对本发明所涉及的轮廓检测装置的第一实施方式进行说明。
需要说明的是,在以下的本实施方式中,以进行轮廓检测的对象即检测对象为手指的指甲的情况为例来说明。
以下,为了实施本发明在技术上被赋以优选的各种限定,但并未将本发明的范围限定于以下的实施方式以及图示例。
图1是表示本实施方式中的轮廓检测装置的外观的立体图。
如图1所示那样,本实施方式中的轮廓检测装置1具有几乎形成为箱形的壳体11。
在壳体11的上表面(顶板)设置有操作部12。
操作部12是用户进行各种输入的输入部。
在操作部12,例如配置有将轮廓检测装置1的电源接通的电源开关按钮、使动作停止的停止开关按钮、指示指甲T的轮廓检测的开始的检测开始按钮等用于进行各种输入的操作按钮。
再有,在壳体11的上表面(顶板)设置显示部13。
显示部13是显示后述的轮廓检测单元即轮廓检测部813(参照图3)的检测结果的显示单元。
显示部13例如由液晶显示器(LCD:Liquid Crystal Display)、有机电致发光显示器、其他平板显示器等构成。
本实施方式中,在该显示部13,适宜显示例如各种指示等、使拍摄手指U1而得到的指甲图像(包括指甲T的图像的手指图像)、该指甲图像中所包含的指甲T的轮廓线等的图像显示的各种指示的指示画面等。
再有,作为显示单元的显示部13,如后述,可进行显示,以使得通过作为轮廓检测单元的轮廓检测部813能将被判断为可靠度低的特征点t的部分和其他部分区别开。
在本实施方式中,作为通过轮廓检测部813而与其他部分区别开进行显示的手法,将被判断为可靠度低的特征点t的部分放大显示于显示部13。
再有,在本实施方式的显示部13的表面,触摸面板式输入部121(参照图3)和未图示的显示面板一体地构成。
触摸面板式输入部121,例如被构成为通过指尖或测针笔(未图示,以下,简称为“笔”。)或者前端削尖的棒状的书写工具等的输入构件进行触摸显示部13的表面的触摸操作,由此能进行够各种的输入操作,作为操作部发挥功能。
进而,在壳体11的前面侧(图1中近前侧),形成开口部14,其用于在轮廓检测装置1的拍摄时将与作为检测对象的指甲T对应的手指U1插入,并安置于拍摄部50的拍摄成为可能的能拍摄位置。
在开口部14的内侧,配置有对本实施方式中的作为检测对象的指甲T(包括指甲T的手指U1)进行固定的手指固定部3。
图2A是手指固定部3的立体图,图2B是从上方观察手指固定部3的俯视图。
图2A中,用双点划线来表示包括指甲T的手指U1被配置于手指固定部3内的样子。
如图2A等所示那样,手指固定部3是在装置近前侧具有开口部31的箱状的构件,在手指固定部3内部配置固定手指U1的手指固定构件32。手指固定部3在壳体11内被配置于开口部31与壳体11的开口部14对应的位置上。
手指固定构件32是从下侧对手指U1进行提升支承的构件,例如由具有柔软性的树脂等形成。需要说明的是,手指固定构件32只要是从下侧支承手指U1以能进行轮廓检测即可,其结构未特别地加以限定。例如,也可以通过弹簧等的弹性构件从下方施力。再有,例如手指固定构件32也可以采取被构成为无需使内压变化就能膨胀收缩,在膨胀状态下将手指U1提升,并对其位置进行固定的结构。
手指固定部3的顶面里侧成为开口的窗部33。被插入到手指固定部3内的手指U1的指甲T从窗部33露出。
再有,手指固定部3的顶面近前侧成为防止手指U1的浮起且对手指U1的上方的位置进行限制的手指压脚34。手指U1及其指甲T由手指固定构件32从下侧支承,手指U1的上侧被手指压脚34按压,由此高度方向的位置被定位于规定的位置。
还有,在本实施方式中,在手指插入方向的里侧设置有载置指甲T的指甲载置部35。通过使指甲T的前端载置于指甲载置部35,从而指甲T的水平方向(即,X方向以及Y方向)的位置被规定,并且其高度方向的位置也被限制。
图3是功能性地示出本实施方式的轮廓检测装置的主要部位结构的说明图。
如图3所示那样,在将手指U1插入手指固定部3内之际,在配置指甲T的位置的上方,配置有拍摄部50。
拍摄部50具备拍摄装置51和照明装置52。
拍摄装置51例如是构成为包括具有200万像素程度以上的像素的固体摄像元件和透镜等的小型相机。
照明装置52例如是白色LED等的照明灯。在本实施方式中,配置多个照明装置52,以使得包围拍摄装置51。
需要说明的是,拍摄装置51以及照明装置52的位置未被限定于图示例。例如,拍摄部50的拍摄装置51以及照明装置52可以被固定配置于指甲T的上方位置,只要在拍摄部50构成为通过移动单元而能移动的情况下,能够向指甲T的上方位置移动即可。
拍摄部50是拍摄作为检测对象的指甲T,以取得包括检测对象(指甲T)的区域在内的检测对象图像TI(即,包括指甲T的手指U1的图像即指甲图像)的拍摄单元。在本实施方式中,在通过指甲载置部35间指甲T定位的状态下可进行拍摄部50的拍摄。
该拍摄部50,与后述的控制装置80的拍摄控制部811连接,通过该拍摄控制部811而被控制。
需要说明的是,通过拍摄部50拍摄到的图像的图像数据也可以存储于后述的存储部82等。
另外,如图3所示那样,本实施方式的轮廓检测装置1具备控制装置80。
控制装置80例如设置于壳体11的顶面的下表面侧等配置的未图示的基板等。
控制装置80是具备由未图示的CPU(Central Processing Unit)构成的控制部81、由ROM(Read Only Memory)以及RAM(Random Access Memory)等(均未图示)构成的存储部82的计算机。
存储部82中设置有记录介质821等储存有用于使轮廓检测装置1动作的各种程序等的程序存储区域820。
此外,本实施方式中,在存储部82设置有:存储轮廓检测部813为了从图像检测指甲T的轮廓而使用的轮廓检测信息的轮廓检测信息存储区域822;以及存储由轮廓检测部813检测到的指甲T的轮廓的信息的轮廓信息存储区域823等。
轮廓检测信息存储区域822所存储的轮廓检测信息,是构成作为形状模型的初始形状Tm的轮廓Tmb的各特征点t的坐标值、包括初始形状Tm的重心Tc的位置、位移量函数(回归函数)的回归量(识别器)等通过预先的学习而得到的学习数据。
如后述,在本实施方式中,基于作为该学习结果的学习数据,轮廓检测部813对作为检测对象的指甲T的轮廓等进行检测。
轮廓检测信息存储区域822所存储的轮廓检测信息(学习数据),是通过学习数据生成部83而生成的。
即,学习数据生成部83取得多个学习用样本(在本实施方式中样本指甲TL)的图像(学习用图像),该学习用样本是使用轮廓检测装置1进行拍摄并取得的,使用该多个学习用样本的图像(学习用图像)进行学习,由此生成作为该学习的结果的学习数据。
具体地说,学习数据生成部83进行从各学习用图像提取对轮廓检测有用的特征量的特征提取。特征量例如是各像素的亮度值或颜色、相邻的像素间的亮度值或颜色的变化量等。一旦提取了特征量,那么学习数据生成部83针对各学习用图像生成表征指甲区域的形状的特征点的x、y坐标值的数据,将该x、y坐标值的数据与各学习用图像建立对应。
进而,学习数据生成部83使用针对各学习用图像而建立对应的特征点的x、y坐标值的数据来进行图形学习,生成包含作为像检测对象即指甲T那样的形状的初始形状Tm(构成初始形状Tm的轮廓Tmb的特征点t的坐标值)、初始形状Tm的重心Tc、识别器等的学习结果的学习数据。需要说明的是,学习通常可通过机械学习来进行。
需要说明的是,学习对象图像是生成学习数据的源,优选在与作为检测对象的指甲T的数据尽可能相同的条件下取得。
因此,例如优选在使用相同的指甲载置部35将作为学习对象的样本指甲TL和作为检测对象的指甲T定位的状态下通过拍摄部50来进行拍摄,以取得指甲图像(学习用图像以及检测用图像)。
这样一来,指甲图像内的指甲的位置变得几乎相同,并且能够通过同样结构的拍摄部50来拍摄,拍摄条件也几乎相同。
需要说明的是,在此,“相同的”指甲载置部35并不是完全相同的装置的相同的指甲载置部的含义,而是具备同样结构的装置的同样的指甲载置部35以及拍摄部50的含义。
即,基于学习用样本的拍摄的学习对象图像的取得或使用学习对象图像的学习数据的生成在工厂出货阶段之前结束,学习结果作为轮廓检测信息而预先存储于轮廓检测信息存储区域822。因此,学习对象图像的取得等使用出货前的模型机即可进行,相对于此,检测对象图像的取得等则可在各用户下在各个装置中进行。
因此,虽然完全相同的装置的可能性低、作为个体不同,但使用具备相同的结构、相同的构件,能够在相同的条件下取得数据。
图4示意性地示出将作为学习用样本而被集中的多个指甲(在本实施方式中为样本指甲TL1~TL3)配置于手指固定部3内,将指甲TL的前端载置并定位于指甲载置部35的状态。需要说明的是,图4中,将作为第一学习用样本的样本指甲设为TL1(图4中用单点划线表示。),将作为第二学习用样本的样本指甲设为TL2(图4中用虚线表示。),将作为第三学习用样本的样本指甲设为TL3(图4中用双点划线表示。),实际上将顺次一个一个地配置于手指固定部3内的样本指甲TL1~TL3示意性地重叠配置并加以表示。
再有,图4中,将样本指甲TL1的重心设为TL1c,将样本指甲TL2的重心设为TL2c,将样本指甲TL3的重心设为TL3c,将取这些重心TL1c~TL3c的平均值的平均重心设为Tp。
在此,“重心”指的是图形(本件中为指甲(样本指甲TL))内的1次力矩的总和为0的点。
需要说明的是,图4中,作为学习用样本而图示三个样本指甲TL1~TL3,但样本指甲TL的数量未被限定于此。将多到某种程度的样本指甲TL集中来进行学习的话,可期待获得可靠度更高的学习数据。
图5是示意性地示出针对样本指甲TL1~TL3分别检测由特征点TL1d~TL3d构成的轮廓TL1b~TL3b以及重心TL1c~TL3c,并基于这些多个样本指甲TL1~TL3来生成初始形状Tm(形状模型)的样子的说明图。
初始形状Tm是在重心Tc的周围设定有构成轮廓Tmb的特征点T的形状。
初始形状Tm的重心Tc,既可以是全部样本指甲TL1~TL3的重心TL1c~TL3c的平均值,也可以是通过任一加权而被选择的位置。还有,初始形状Tm的特征点t,既可以是全部样本指甲TL1~TL3的各特征点TL1d~TL3d的平均值,也可以是从全部样本指甲TL1~TL3的各特征点TL1d~TL3d之中随机地被选择的特征点。
控制部81在功能性地观察的情况下,具备拍摄控制部811、轮廓检测部813、显示控制部816等。作为这些拍摄控制部811、轮廓检测部813、显示控制部816等的功能,能够通过控制部81的CPU与存储部82的ROM所存储的程序的配合来实现。
拍摄控制部811控制拍摄部50的拍摄装置51以及照明装置52,使拍摄装置51拍摄包括通过手指固定部3的指甲载置部35而被定位固定的手指U1的指甲T的图像在内的手指的图像(指甲图像,“检测对象图像TI”)。
轮廓检测部813是进行从检测对象图像TI对作为检测对象的指甲T的轮廓(构成轮廓的特征点的坐标值)进行检测的轮廓检测处理的轮廓检测单元。
在本实施方式中,轮廓检测部813使用ESR(Explicit Shape Regression)的手法来进行指甲T的轮廓的检测。
即,轮廓检测部813生成在重心Tc的周围配置了特征点t的初始形状Tm(形状模型),进行其与包括作为检测对象的指甲T的区域在内的图像的拟合。
在使用了ESR的轮廓检测中,此时,如非专利文献1所记载的那样,组合2阶段的弱回归量(弱识别器)并加以应用,作为使初始形状Tm(形状模型)逐渐地向作为正确位置的检测对象的轮廓收敛的回归问题来进行轮廓检测。
具体地说,轮廓检测部813在输入检测对象图像后,将初始形状Tm配置于检测对象图像TI内的适当的位置(初始位置)。
需要说明的是,如ESR那样作为回归问题来进行轮廓检测的手法,与使形状模型拟合来进行轮廓检测的AAM等的手法相比较,在耐用性方面优越,因此对于作为初始形状Tm使用何种形状或配置初始形状Tm的初始位置来说,严格来说即便并不是那样设定,对检测结果的精度的影响也会很少。
因此,即便是在所输入的检测对象图像TI因指甲T的大小或手指U1的粗细度等而不同的情况,也能够应用共用的初始形状Tm。
本实施方式中,轮廓检测部813配置初始形状Tm,以使得初始形状Tm的重心Tc位于学习数据中的重心的平均值即平均重心Tp的位置或者趋于其附近。
若配置初始形状Tm,则轮廓检测部813根据通过预先的学习而生成且预先存储于存储部82的轮廓信息存储区域823的包括位移量函数(回归函数)的回归量(ESR的情况下为2阶段的弱识别器),多次进行初始形状Tm的位移,使得逐渐向正确位置即指甲T的轮廓(即,指甲区域的边界)收敛。
这样,通过使初始形状Tm位移,以使各特征点t接近指甲T的轮廓,从而轮廓检测部813最终对指甲T的轮廓进行推断。
本实施方式中,轮廓检测部813多次进行上述的形状识别处理(即使初始形状Tm向指甲T的轮廓逐渐收敛来检测指甲T的轮廓的处理)。
图6A~图6C分别是示出通过形状识别处理而得到的检测结果的图。在本实施方式中,表示将检测出的轮廓Tmb的重心设为Tc,在其周围以指甲尖为顶点,逆时针地设定有19个特征点t(t1~t19)的例子。需要说明的是,设定的特征点t的数量或特征点t的配置方式等并未特别限定,能够适宜设定。
再有,在图6A~图6C中,表示三次的检测结果,反复进行形状识别处理的次数未被限定于三次。能够适宜设定反复进行形状识别处理几次。
轮廓检测部813按该多次形状识别处理中的检测结果即构成轮廓的每个特征点t来计算离差。此时,优选轮廓检测部813在每次变更配置初始形状Tm的位置的同时反复进行形状识别处理。需要说明的是,将配置初始形状Tm的初始位置以何种程度如何错开是能够适宜设定的事项。
如前述ESR那样作为回归问题来进行轮廓检测的手法在耐用性方面是优越的,因此这样在将初始形状Tm的配置稍微变更的同时进行形状识别处理的情况下,能每次在几乎相同的位置检测很多特征点t,离差较小(例如,图6A~图6C中为特征点t1~t8、特征点t17~t19)。
可是,在与周边的亮度差等小的部分等难以检测轮廓的部分中,特征点t的离差增大(例如,图6A~图6C中为特征点t9~t16)。
轮廓检测部813在离差为规定值以上的特征点t(图6A~图6C中为特征点t9~t16)存在的情况下,将其判断为可靠度低的特征点t。
具体地说,例如,在存储部82的轮廓检测信息存储区域822等中预先存储了离差的阈值,轮廓检测部813将计算出的离差比该阈值大的特征点t判断为可靠度低。需要说明的是,将阈值设定为何种程度是能适宜决定的事项。再有,也可以并不特地具备阈值,将离差大的上位的特征点t判断为可靠度低。
进而,轮廓检测部813将多次形状识别处理的检测结果合并。作为合并后的结果的值,例如,既可以设为多次形状识别处理的检测结果的平均值,也可以设为中央值。
图6D将表示图6A~图6C所示的形状识别处理的识别结果合并后的合并结果。
图6D所示的例子中,指甲T的根部的生长之际周边的特征点t9~t12和指甲T的右侧部周边的特征点t13~t16(分别在图6D中用虚线包围的部分)的离差大。
轮廓检测部813将上述那样的离差为规定值以上的特征点t(图6A~图6C中为特征点t9~t16)判断为可靠度低的特征点。
显示控制部816控制显示部13,使显示部13显示各种的显示画面。在本实施方式中,显示控制部816使显示部13显示例如指甲外观设计的选择画面、外观设计确认用的缩略图图像、拍摄印刷手指U1而取得的指甲图像、各种的指示画面、操作画面等。
在本实施方式中,显示控制部816使显示部13显示轮廓检测部813的检测结果。
再有,在存在由轮廓检测部813判断为可靠度低的特征点t的部分的情况下,显示控制部816控制显示部13的显示,以使得该部分(被设为可靠度低的特征点t,根据需要包括其周边部分)能与其他部分区别地显不。
在本实施方式中,显示控制部816如图6E以及图6F所示那样,使指甲T的根部的生长之际将周边的特征点t9~t12(参照图6E)放大后的图像、将指甲T的右侧部周边的特征点t13~t16(参照图6F)放大后的图像依次显示于显示部13的显示画面。
在被判断为可靠度低的特征点t的部分存在多个的情况下,也可以从被判断为可靠度更低的部分开始优先地显示。
再有,在图6E以及图6F中,示出使多个特征点t集中显示于1个画面的例子,但显示的方式未被限定于图示例,例如,也可以使离差大的特征点t一个一个地依次显示。
需要说明的是,显示的方式未特别地加以限定。例如,为了容易知道被放大的部分是图像整体的哪一部分,也可以将图6D所示的知道放大部分与检测对象(在本实施方式中为指甲T)整体的位置关系的图像和图6E、图6F一起显示。
还有,使被判断为可靠度低的特征点t的部分显示为可与其他部分区别的手法,未被限定于放大显示。
例如,既可以如图6D所示那样,将相应的部分用框包围起来显示,也可以将相应的特征点t的颜色改变为其他部分后加以显示。再者,也可以将箭头或注释等的注解与相应的部分重叠后加以显示。
另外,在如本实施方式那样在显示部13设置触摸面板式输入部121的情况下,如图6D所示那样,显示对相应的部分赋予了框的画面,若用户在触摸面板上对该框部分进行触摸操作等,则也可以变焦显示赋予了该框的部分的图像。
此外,既可以将此处示出的手法多个组合,也可以使用例示出的以外的手法。
接下来,参照图7,对本实施方式中的轮廓检测装置1的轮廓检测方法进行说明。
首先,如图7所示那样,在本实施方式中的轮廓检测处理中,用户将手指U1插入手指固定部3内,若在通过指甲载置部35而将作为检测对象的指甲T定位的状态下对处理开始的开关进行操作,则拍摄控制部811使拍摄部50动作,拍摄已被指甲载置部35定位的状态下的指甲T,取得作为检测对象图像TI的指甲图像(步骤S1)。
若取得检测对象图像TI,则轮廓检测部813配置初始形状Tm,以使得通过预先的学习而得到的轮廓检测信息存储区域822所存储的初始形状Tm的重心Tc来到平均重心Tp(参照图4)或者其附近(步骤S2)。
接下来,轮廓检测部813进行初始形状Tm与检测用图像TI所包含的指甲区域的拟合,由此识别指甲区域的轮廓形状(步骤S3)。
具体地说,通过识别器使初始形状Tm的各个特征点t多次位移,并向正确位置逐渐地收敛,以便接近正确位置即指甲区域的轮廓。
轮廓检测部813判断是否已结束规定次数的形状识别处理(步骤S4),在未达到规定次数的情况(步骤S4;否)下,变更初始位置的配置位置(步骤S5),反复步骤S2~步骤S4的处理。
另一方面,在形状识别处理达到了规定次数的情况(步骤S4;是)下,轮廓检测部813针对多次识别结果,按每个特征点来计算离差(步骤S6)。
再者,轮廓检测部813将多次识别结果合并(步骤S7)。
而且,轮廓检测部813将离差比规定值大的特征点部分判断为检测可靠度低的部分(步骤S8)。
在由轮廓检测部813判断为检测可靠度低的部分存在的情况下,显示控制部816使显示部13放大显示该可靠度低的部分、即针对合并结果来说离差大的特征点部分(图6D中为特征点t9~t16)(步骤S9,参照图6E以及图6F)。
需要说明的是,在没有离差比规定值大的特征点t的情况下,也可以不进行放大显示而结束处理。该情况下,也可以使显示部13显示表示该意思的消息等。再有,即便是在没有超过规定阈值的特征点的情况下,也可以从离差大的特征点t起按顺序放大显示于显示部13,向用户寻求确以。
在已将离差大的特征点部分(图6D中为特征点t9~t16)放大显示到显示部13的情况下,用户确认显示部13的放大显示画面,如果存在人为需要修正检测结果的部分,那么通过用笔、指尖等对触摸面板式输入部121进行触摸等而使从实际的指甲T的轮廓偏离的特征点t适宜移动,进行调整,以使得成为描绘所希望的指甲区域的轮廓。在进行了用户的手动调整的情况下,将调整后的轮廓(构成轮廓的特征点t)作为检测对象即用户的指甲T的轮廓而存储于轮廓信息存储区域823。
需要说明的是,在确认了显示部13的显示画面的结果是判断为可正确地检测描绘所希望的指甲区域的轮廓的情况下,用户对操作部12的未图示的OK按钮等进行操作,由此可以将通过轮廓检测部813而自动检测到的轮廓(构成轮廓的特征点t)作为最终的检测结果,该情况下将该自动检测到的轮廓(构成轮廓的特征点t)作为检测对象即用户的指甲T的轮廓而存储于轮廓信息存储区域823。
如上所述,根据本实施方式,多次进行对作为检测对象的指甲T的轮廓的形状进行识别的形状识别处理、且进行从检测对象图像TI检测指甲T的轮廓的轮廓检测处理的轮廓检测部813按构成多次形状识别处理中的识别结果即轮廓的每个特征点t来计算离差,将离差为规定值以上的特征点t判断为可靠度低的特征点t。而且,使通过轮廓检测部813判断为可靠度低的特征点t的部分可与其他部分区别地显示于显示部13。
由此,在基于轮廓检测装置1的自动的轮廓检测中有无法正确检测的可能性的部分存在的情况下,能够容易理解地显示该部分。
因此,能够促使用户唤起注意,还有,用户无需花费通过自己目视来搜索检测精度低的部分的时间工夫,就能依次检查放大显示在显示画面上的区域的特征点t,如果有修正的需要,那么用户能够适宜地手动修正检测结果,进行调整而获得更正确的轮廓形状。
再有,通过使被认为检测精度低的倾向较强的部分放大显示,从而在手动修正并进行调整的情况下,也易于作业。
还有,本实施方式的轮廓检测部813将初始形状Tm配置于初始位置,并使该初始形状Tm与检测对象图像TI拟合,由此来识别轮廓的形状,轮廓检测部813在改变配置初始形状Tm的初始位置的同时多次进行形状识别处理。
在改变配置初始形状Tm的位置的同时多次进行形状识别处理的情况下在,在检测可靠度高的部分中,识别结果未产生偏差,相对于此,在可靠度低的部分中,作为识别结果的特征点t会产生偏差。因此,通过观察特征点t之中离差的程度,从而能够把握检测结果的可靠度。
再者,在本实施方式中,显示部13放大显示通过轮廓检测部813而被判断为可靠度低的特征点的部分。
由此,检测可靠度低且需要检查的部分变得明确,在用户对自动检测结果进行修正等之际,能够容易地发现应该修正的位置。
[第二实施方式]
接下来,参照图8~图10,作为第二实施方式,对将本发明所涉及的轮廓检测装置应用于在指甲印刷指甲外观设计的印刷装置(以下,称为“指甲打印装置”。)的例子进行说明。
需要说明的是,在本实施方式中,轮廓检测装置的结构以及作用/效果和第一实施方式中说明过的同样,以下,尤其针对与第一实施方式不同的点进行说明。
图8是示出应用了轮廓检测装置1的指甲打印装置100的主要部位结构例的立体图。
需要说明的是,图8中虽然省略图示,但指甲打印装置100构成为将图8所示的内部结构容纳于具备例如图1所示的操作部12或显示部13等的壳体11内。
如图8所示那样,指甲打印装置100除了图1以及图3所示的结构以外,还具备印刷部40。
印刷部40构成为具备:作为印刷部主体的印刷头41;单元支承构件42;用于使单元支承构件42在X方向(图8等中的X方向,指甲打印装置100的左右方向)上移动的X方向移动平台45;X方向移动马达46;用于使单元支承构件42在Y方向(图8等中的Y方向,指甲打印装置100的前后方向)上移动的Y方向移动平台47;Y方向移动马达48等。
本实施方式的印刷头41是以喷墨方式进行印刷的喷墨头。需要说明的是,印刷头41未被限定于以喷墨方式进行印刷的结构。例如,也可以构成为具备使前端部直接接触指甲T的表面而进行印刷的笔等。
图8中,表示通过单元支承构件42来支承印刷头41以及拍摄部50的例子,通过X方向移动马达46与Y方向移动马达48等来构成使被单元支承构件42支承的印刷头41以及拍摄部50移动的头移动部49(参照图9)。
通过具备头移动部49,从而能够适宜移动,以使得在对作为检测对象的指甲进行拍摄之际,拍摄部50配置于手指固定部3的上方,在印刷时印刷头41配置于手指固定部3的上方。
印刷部40中的印刷头41、X方向移动马达46、Y方向移动马达48和后述的控制装置80的印刷控制部815(参照图9)连接,通过该印刷控制部815而被控制。
图9是表示本实施方式中的控制结构的主要部位框图。
如图9所示那样,控制装置80的控制部81除了针对轮廓检测装置1而在图3示出的拍摄控制部811之外,还具备包括轮廓检测部813的指甲信息检测部812、印刷数据生成部814、印刷控制部815和显示控制部816。
指甲信息检测部812基于通过拍摄装置51拍摄到的被手指固定部3固定的印刷手指U1的指甲T的图像,来检测关于印刷手指U1的指甲T的指甲信息。
在此,指甲信息除了由轮廓检测部813检测的指甲T的轮廓(指甲形状,指甲T的水平位置的XY坐标等)之外,是指例如指甲T的高度(指甲T的垂直方向的位置,指甲T的垂直位置)、指甲T的表面的相对于XY平面的倾斜角度(指甲T的倾斜角度,指甲曲率)等。
印刷数据生成部814基于由指甲信息检测部812检测到的指甲信息,生成由印刷头41对印刷手指U1的指甲T实施的印刷用的数据。
具体地说,印刷数据生成部814进行拟合处理,即基于通过指甲信息检测部812检测到的指甲T的轮廓形状等,通过将指甲外观设计的图像数据放大、缩小、切出等而与指甲T的形状拟合。
再有,印刷数据生成部814根据由指甲信息检测部812检测到的指甲信息,适宜地进行曲面补正等。
由此,生成通过印刷头41印刷的指甲外观设计的印刷用数据。
印刷控制部815是基于由印刷数据生成部814生成的印刷用数据,向印刷部40输出控制信号,控制印刷部40的X方向移动马达46、Y方向移动马达48、印刷头41等,以便对指甲T实施依据于该印刷用数据的印刷的控制部。
还有,存储部82除了针对轮廓检测装置1而在图3示出的部分之外,还具备指甲外观设计存储区域824、指甲图像存储区域825、包括轮廓信息存储区域823的指甲信息存储区域826等。
指甲外观设计存储区域824中存储有被印刷于指甲T的指甲外观设计的图像数据。
指甲图像存储区域825中存储有通过拍摄部50取得的用户的印刷手指U1的指甲T的指甲图像。
另外,指甲信息存储区域826中,除了在轮廓信息存储区域823中存储由轮廓检测部813检测的指甲T的轮廓(指甲形状、指甲T的水平位置的XY坐标等)之外,还存储着由指甲信息检测部812检测到的指甲T的高度(指甲T的垂直方向的位置,指甲T的垂直位置)、指甲T的表面相对于XY平面的倾斜角度(指甲T的倾斜角度,指甲曲率)等。
需要说明的是,其他结构和第一实施方式同样,因此针对相同构件赋予相同的附图标记,并省略其说明。
接下来,参照图10,对本实施方式中的指甲打印装置100的印刷处理进行说明。
本实施方式中,在利用指甲打印装置100进行对指甲T的印刷的情况下,用户将装置电源接通,进而操作印刷开始按钮等的操作部12。由此,根据操作的印刷开始指示被输入指甲打印装置100的控制装置80(步骤S21)。
若输入印刷开始指示,则显示控制部816使显示部13显示可选择指甲外观设计的指甲外观设计选择画面(步骤S22),促使用户的选择。
若用户从操作部12等选择所希望的指甲外观设计,则根据该选择指示,选择应该印刷于指甲T的指甲外观设计(步骤S23)。
若选择指甲外观设计,则显示控制部816使显示部13显示指示为在手指固定部的规定位置配置成为印刷对象的指甲的手指的指示画面(步骤S24),促使用户固定指甲T(以及其手指U1)。
用户根据指示将手指U1插入手指固定部3,通过将指甲T的前端载置于作为定位单元的指甲载置部35而进行定位固定。
而且,这样在指甲T已被指甲载置部35定位的状态下,拍摄控制部811使拍摄部50动作来拍摄指甲T(步骤S25),取得包括作为检测对象的指甲T的区域在内的检测对象图像即指甲图像TI。
若取得指甲图像(检测对象图像)TI,则轮廓检测部813进行对该图像内的指甲区域的轮廓进行检测的轮廓检测处理(步骤S26)。需要说明的是,该轮廓检测处理的内容和第一实施方式的图7中说明过的内容同样,因此省略其说明。
再有,指甲信息检测部812从指甲图像(检测对象图像)TI检测指甲T的高度(指甲T的垂直方向的位置,指甲T的垂直位置)、指甲T的表面相对于XY平面的倾斜角度(指甲T的倾斜角度,指甲曲率)等。
若检测指甲T的轮廓等的指甲信息,则印刷数据生成部814将所选择的指甲外观设计与所检测到的指甲T的轮廓拟合,进而适宜进行曲面补正等的补正,生成印刷用数据(指甲外观设计的印刷数据)(步骤S27)。
需要说明的是,在针对步骤S26中检测出的指甲T的轮廓而在显示部13显示了可靠度低的位置时,用户适宜地进行特征点t的移动等必要的修正。而且,在进行了手动的修正的情况下,修正后的轮廓(构成轮廓的特征点t)成为指甲T的轮廓,印刷数据生成部814基于修正后的轮廓,进行指甲外观设计的拟合等。
而且,若由印刷数据生成部814生成印刷用数据,则印刷控制部815向印刷部40输出印刷用数据,并且使头移动部49动作,一边使印刷头41适宜移动、一边进行基于印刷用数据的印刷处理。由此,基于印刷用数据的指甲外观设计被印刷于指甲T(步骤S28)。
需要说明的是,关于其他点,和第一实施方式同样,因此省略其说明。
如上所述,根据本实施方式,除了能够获得与第一实施方式同样的效果之外,还能够获得以下的效果。
即,在本实施方式中,作为印刷装置的指甲打印装置100具备第一实施方式中示出的轮廓检测装置1。
因此,对于指甲T这样的难以检测与手指部分的边界等的对象来说,能够进行基于轮廓检测装置1的高精度的轮廓检测。
而且,在轮廓检测处理后、进行印刷之前,针对在自动的轮廓检测中无法担保可靠度的部分、被认为检测精度低的部分而言,使显示部13放大显示并促使用户进行确认/修正,因此能够节省用户自己通过目视搜索检测精度低的部分的工夫时间,以最小限度的工夫就能精密地确定成为印刷范围的指甲区域,能够进行无突出等的漂亮的外观的指甲打印。
需要说明的是,以上针对本发明的实施方式进行了说明,但本发明未被限定于该实施方式,在未脱离其主旨的范围内能够进行各种变形,是毋庸置疑的。
例如,在上述各实施方式中,例示出轮廓检测部813使用ESR的手法进行初始形状Tm与检测对象的区域的拟合的情况,但轮廓检测部813进行初始形状Tm与检测对象的区域的拟合之际能够使用的算法未被限定于ESR。
例如,也可以应用Random Forest那样的、构建具备多个决策树构造的多级别识别器的学习算法。Random Forest通过对学习样本随机取样而创建多个子套组,按每个子套组分别构建决策树,将多个决策树的结果综合来进行识别。因而,在作为算法而使用RandomForest的情况下,为了获得在可靠度低的特征点部分产生离差这样的识别结果,使用基于不同的子套组的训练结果,多次进行形状识别处理等,获得多次形状识别结果。
再有,例如,在轮廓检测部813进行初始形状Tm与检测对象的区域的拟合之际,也可将AAM(Active appearance model)、ASM(Active Shape model)、ACM(Active ContourModel)等作为算法来使用,该情况下,与本实施方式示出的使用ESR的情况同样,在使配置初始形状Tm的位置变化的同时获得多次形状识别结果。
还有,在本实施方式中,例示出在获得多次识别结果的情况下,使用相同的算法,通过将初始形状Tm的配置位置等错开而进行对应,但例如也可以使用不同的算法来获得多次识别结果。该情况下,识别结果也会产生偏差,检测可靠度低的部分的特征点t的离差增大。
另外,上述各实施方式中,例示出检测对象为指甲T的情况,但能够通过轮廓检测装置进行轮廓检测的检测对象未被限定于指甲T。
例如,也可以将面部的轮廓或眼睛/鼻子/嘴等面部器官的轮廓等作为检测对象。
该情况下,也能获得图11A~图11E所示的多个形状识别结果。
图11A~图11E中,表示以下例子:作为表示眉毛的轮廓的特征点而设定特征点t21~t25,作为表示眼睛的轮廓的特征点而设定特征点t31~t40,作为表示鼻子的轮廓的特征点而设定特征点t51~t54,作为表示嘴的轮廓的特征点而设定特征点t61~t65,作为表示顎的线的轮廓的特征点而设定特征点t71~t73。
图11F示出将图11A~图11E示出的多次识别结果合并后的合并结果。
图11A~图11E所示的例子中,特征点t之中,表示顎的线的轮廓的特征点t71~t73的离差大。因而在该情况下,如图11G所示那样,使特征点t71~t73及其周边部分(即,图11F中用虚线包围起来的部分)放大后的图像显示于显示部13的显示画面。
由此,例如,能够减轻面向肖像变换系统的面部器官的轮廓识别结果的修正的工夫。
此外,除了指甲T、面部的轮廓、面部器官的轮廓检测以外,关于针对图像所包含的任一对象检测轮廓的装置,都能广泛地应用该轮廓检测装置。
例如,在将用相机拍摄到的人物或对象物(建筑物/交通工具等)从图像中裁剪出并粘贴于其他图像,或者将连拍到的对象物从图像中裁剪出并接连起来,构成动态图像等,进行各种加工之际虽然也需要精密地检测各对象的轮廓,但在这样从图像中将确定的对象裁剪之际,也通过应用本轮廓检测装置,从而能够减轻区域调整的工夫。
再有,第二实施方式中,例示出印刷装置是对指甲T实施印刷的指甲打印装置100的情况,但印刷装置未被限定于指甲打印装置100,也可以是对指甲T以外的对象实施印刷的装置。在印刷对象是指甲T以外的对象的情况下,可应用用于对描绘该印刷对象的区域的轮廓进行检测的轮廓检测装置。
还有,在轮廓检测装置1是对指甲T的轮廓进行检测的装置的情况下,在第二实施方式中,示出在检测出指甲T的轮廓后在所检测到的轮廓内实施印刷的例子,但轮廓检测后的处理未被限定于印刷处理。例如,也可以将自动地修整指甲T的表面的自动指甲打磨、自动指甲护理等作为后处理来进行。
另外,在检测对象是利用医疗用拍摄装置拍摄到的医疗用图像所包含的各种脏器等的情况下,作为进行了轮廓检测后的处理,也可以进行医师等的图像诊断或对患者的健康状况的信息提供等。
以上,对本发明的几种实施方式进行了说明,但本发明的范围未被限定于上述实施方式,包括权利要求书所记载的发明范围及与其均等的范围。
Claims (7)
1.一种轮廓检测装置,具备以下部分:
显示器;和
处理器,
所述处理器
取得拍摄了检测对象的检测对象图像,
进行轮廓检测处理,所述轮廓检测处理中,多次进行对所述检测对象的轮廓的形状进行识别的形状识别,从所述检测对象图像检测所述检测对象的轮廓,
使所述显示器显示基于所述轮廓检测处理的检测结果,
在所述轮廓检测处理中,针对构成通过多次所述形状识别而得到的所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将计算出的离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
2.根据权利要求1所述的轮廓检测装置,其中,
在所述形状识别中,将初始形状配置于初始位置,通过使该初始形状与所述检测对象图像拟合来识别所述轮廓的形状,一边改变所述初始位置,一边进行多次所述形状识别。
3.根据权利要求1所述的轮廓检测装置,其中,
所述处理器使所述显示器进行显示,以使得能识别通过所述形状识别而得到的所述轮廓中被判断为所述可靠度低的所述特征点所对应的部分。
4.根据权利要求3所述的轮廓检测装置,其中,
所述处理器使所述显示器放大显示通过所述形状识别而得到的所述轮廓中被判断为所述可靠度低的所述特征点所对应的部分。
5.一种印刷装置,具备以下部分:
显示器;
印刷头;和
处理器,
所述处理器
取得拍摄了检测对象的检测对象图像,
进行轮廓检测处理,所述轮廓检测处理中,多次进行对所述检测对象的轮廓的形状进行识别的形状识别处理,从所述检测对象图像中检测所述检测对象的轮廓,
使所述显示器显示基于所述轮廓检测处理的检测结果,
通过所述印刷头对所述轮廓内实施印刷,
在所述轮廓检测处理中,针对构成通过多次所述形状识别处理而得到的所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将计算出的离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
6.一种轮廓检测方法,包括:
取得拍摄了检测对象的检测对象图像的步骤;
多次进行对所述检测对象的轮廓的形状进行识别的形状识别处理,并从所述检测对象图像中检测所述检测对象的轮廓的步骤;以及
显示所述轮廓的检测结果的显示步骤,
在所述检测所述检测对象的轮廓的步骤中,针对构成所述形状识别处理中的识别结果即所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别处理中的离差,将离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
7.一种记录介质,记录了使轮廓检测装置的计算机实现以下处理的程序:
取得处理,取得拍摄了检测对象的检测对象图像;
轮廓检测处理,多次进行对所述检测对象的轮廓的形状进行识别的形状识别,并从所述检测对象图像中检测所述检测对象的轮廓;和
显示处理,显示所述轮廓检测处理中的检测结果,
通过所述轮廓检测处理,针对构成所述形状识别中的识别结果即所述轮廓的特征点,分别按对应的每个特征点,计算多次所述形状识别中的离差,将离差的值为所设定的值以上的所述特征点判断为可靠度低的特征点。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017180795A JP7035405B2 (ja) | 2017-09-21 | 2017-09-21 | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム |
JP2017-180795 | 2017-09-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544573A true CN109544573A (zh) | 2019-03-29 |
CN109544573B CN109544573B (zh) | 2022-11-25 |
Family
ID=65719180
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811034749.2A Active CN109544573B (zh) | 2017-09-21 | 2018-09-05 | 轮廓检测装置,印刷装置,轮廓检测方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10384483B2 (zh) |
JP (1) | JP7035405B2 (zh) |
CN (1) | CN109544573B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142753A (zh) * | 2019-12-27 | 2020-05-12 | 杭州依图医疗技术有限公司 | 交互方法、信息处理方法及存储介质 |
CN114092709A (zh) * | 2021-11-23 | 2022-02-25 | 北京百度网讯科技有限公司 | 一种识别图像中目标轮廓的方法、装置、设备及存储介质 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7039991B2 (ja) * | 2017-12-22 | 2022-03-23 | カシオ計算機株式会社 | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム |
WO2020110351A1 (ja) * | 2018-11-30 | 2020-06-04 | 船井電機株式会社 | プリンタ |
CA3131318A1 (en) * | 2019-02-26 | 2020-09-03 | Elementree Inc. | Automatic nail polish application system and method |
JP7342413B2 (ja) * | 2019-04-22 | 2023-09-12 | 凸版印刷株式会社 | 爪3次元形状推定システム、爪3次元形状推定システムの利用方法、端末装置、爪3次元形状推定方法およびプログラム |
US20240074560A1 (en) | 2019-10-29 | 2024-03-07 | NailPro, Inc. | Automated total nail care systems, devices and methods |
JP7474580B2 (ja) * | 2019-11-07 | 2024-04-25 | エスアイアイ・プリンテック株式会社 | 予測システムおよび予測方法 |
JP2021108010A (ja) * | 2019-12-27 | 2021-07-29 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、学習モデルの生成方法、およびプログラム |
CN116080282A (zh) * | 2020-05-14 | 2023-05-09 | 卡西欧计算机株式会社 | 印刷装置、印刷方法以及记录介质 |
CN113031793B (zh) * | 2021-04-06 | 2024-05-31 | 维沃移动通信有限公司 | 轮廓采集方法、装置以及智能笔 |
CN113160223A (zh) * | 2021-05-17 | 2021-07-23 | 深圳中科飞测科技股份有限公司 | 轮廓的确定方法、确定装置、检测设备及存储介质 |
CN114998614B (zh) * | 2022-08-08 | 2023-01-24 | 浪潮电子信息产业股份有限公司 | 一种图像处理方法、装置、设备及可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1786980A (zh) * | 2005-12-08 | 2006-06-14 | 上海交通大学 | 用二维轮廓进行人脸特征点新位置搜索的方法 |
US20070269111A1 (en) * | 2006-05-16 | 2007-11-22 | Eastman Kodak Company | Shape detection using coherent appearance modeling |
JP2009059165A (ja) * | 2007-08-31 | 2009-03-19 | Hiroshima Univ | 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN102201061A (zh) * | 2011-06-24 | 2011-09-28 | 常州锐驰电子科技有限公司 | 基于多阶层过滤人脸识别的智能安全监控系统及方法 |
CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
CN102880877A (zh) * | 2012-09-28 | 2013-01-16 | 中科院成都信息技术有限公司 | 一种基于轮廓特征的目标识别方法 |
US20140355821A1 (en) * | 2013-06-04 | 2014-12-04 | Apple Inc. | Object Landmark Detection in Images |
CN105740862A (zh) * | 2014-10-27 | 2016-07-06 | 江苏慧眼数据科技股份有限公司 | 一种基于宏特征点描述的行人轮廓检测方法 |
US9642436B2 (en) * | 2015-03-20 | 2017-05-09 | Casio Computer Co., Ltd. | Drawing device and method for detecting shape of nail in the same |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5382078B2 (ja) * | 2011-08-12 | 2014-01-08 | カシオ計算機株式会社 | ネイルプリント装置及び印刷制御方法 |
-
2017
- 2017-09-21 JP JP2017180795A patent/JP7035405B2/ja active Active
-
2018
- 2018-08-02 US US16/053,554 patent/US10384483B2/en active Active
- 2018-09-05 CN CN201811034749.2A patent/CN109544573B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1786980A (zh) * | 2005-12-08 | 2006-06-14 | 上海交通大学 | 用二维轮廓进行人脸特征点新位置搜索的方法 |
US20070269111A1 (en) * | 2006-05-16 | 2007-11-22 | Eastman Kodak Company | Shape detection using coherent appearance modeling |
JP2009059165A (ja) * | 2007-08-31 | 2009-03-19 | Hiroshima Univ | 輪郭検出装置、それを用いた視線検出装置、偽の輪郭データの除去をコンピュータに実行させるためのプログラム、視線方向の検出をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
CN102201061A (zh) * | 2011-06-24 | 2011-09-28 | 常州锐驰电子科技有限公司 | 基于多阶层过滤人脸识别的智能安全监控系统及方法 |
CN102842033A (zh) * | 2012-08-17 | 2012-12-26 | 苏州两江科技有限公司 | 基于人脸识别进行人物表情情感语义识别方法 |
CN102880877A (zh) * | 2012-09-28 | 2013-01-16 | 中科院成都信息技术有限公司 | 一种基于轮廓特征的目标识别方法 |
US20140355821A1 (en) * | 2013-06-04 | 2014-12-04 | Apple Inc. | Object Landmark Detection in Images |
CN105740862A (zh) * | 2014-10-27 | 2016-07-06 | 江苏慧眼数据科技股份有限公司 | 一种基于宏特征点描述的行人轮廓检测方法 |
US9642436B2 (en) * | 2015-03-20 | 2017-05-09 | Casio Computer Co., Ltd. | Drawing device and method for detecting shape of nail in the same |
Non-Patent Citations (5)
Title |
---|
SEOKHOON KANG等: "Patch Classifier of Face Shape Outline Using Gray-Value Variance with Bilinear Interpolation", 《JOURNAL OF SENSORS》 * |
VYTAUTAS PERLIBAKAS等: "Automatical detection of face features and exact face contour", 《PATTERN RECOGNITION LETTERS》 * |
王艳霞: "图像轮廓提取与三维重建关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
赵前程等: "图像轮廓提取与三维重建关键技术研究", 《计量学报》 * |
顾步云等: "一种新的截面轮廓特征点识别与分段曲线类型判别算法", 《机械科学与技术》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111142753A (zh) * | 2019-12-27 | 2020-05-12 | 杭州依图医疗技术有限公司 | 交互方法、信息处理方法及存储介质 |
CN114092709A (zh) * | 2021-11-23 | 2022-02-25 | 北京百度网讯科技有限公司 | 一种识别图像中目标轮廓的方法、装置、设备及存储介质 |
CN114092709B (zh) * | 2021-11-23 | 2023-10-31 | 北京百度网讯科技有限公司 | 一种识别图像中目标轮廓的方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20190084331A1 (en) | 2019-03-21 |
CN109544573B (zh) | 2022-11-25 |
JP7035405B2 (ja) | 2022-03-15 |
JP2019057111A (ja) | 2019-04-11 |
US10384483B2 (en) | 2019-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544573A (zh) | 轮廓检测装置,印刷装置,轮廓检测方法以及记录介质 | |
US20220241056A1 (en) | Monitoring of dentition | |
CN102922880B (zh) | 指甲打印装置及印刷控制方法 | |
ES2363759T3 (es) | Métodos para tomar imágenes de la piel y analizar la piel. | |
US9696897B2 (en) | Image-based measurement tools | |
US10945506B2 (en) | Contour detection apparatus, drawing apparatus, contour detection method, and storage medium | |
CN110123257A (zh) | 一种视力检测方法、装置、视力检测仪及计算机存储介质 | |
US9992409B2 (en) | Digital mirror apparatus | |
US20150193650A1 (en) | Patient interface identification system | |
CN105433577A (zh) | 指甲信息检测装置、描画装置以及指甲信息检测方法 | |
EP4035587A1 (en) | Handheld vision tester and calibration thereof | |
US20140198298A1 (en) | Image stitching method and camera system | |
JP2007087346A5 (zh) | ||
JP7047294B2 (ja) | 輪郭検出装置、描画装置、輪郭検出方法及び輪郭検出プログラム | |
FI2427095T3 (fi) | Muotojen erotteluun perustuva näönarviointi ja seurantajärjestelmä | |
JP2007087345A5 (zh) | ||
US10318838B2 (en) | Drawing apparatus, operation control method for drawing apparatus, and computer-readable recording medium | |
JP6540021B2 (ja) | プリント装置、プリント装置の動作制御方法及びプリント装置の動作制御プログラム | |
CN103919525B (zh) | 拼接图像的方法及摄像系统 | |
CN109767822B (zh) | 选择外科植入物的方法和相关装置 | |
CN110140145A (zh) | 图像处理装置、图像打印装置、拍摄装置及图像处理程序 | |
CN209514619U (zh) | 辅助填表设备及系统 | |
US20110063464A1 (en) | Video playing system and method | |
TWI837039B (zh) | 用於人體穴位的擴增實境的影像疊合方法、影像顯示方法及臨床測驗方法 | |
CN109559585B (zh) | 一种模拟训练仿真控制系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |