CN110191661B - 涂布控制装置、涂布装置、涂布控制方法以及记录介质 - Google Patents

涂布控制装置、涂布装置、涂布控制方法以及记录介质 Download PDF

Info

Publication number
CN110191661B
CN110191661B CN201780083304.0A CN201780083304A CN110191661B CN 110191661 B CN110191661 B CN 110191661B CN 201780083304 A CN201780083304 A CN 201780083304A CN 110191661 B CN110191661 B CN 110191661B
Authority
CN
China
Prior art keywords
image
coating
skin
head
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780083304.0A
Other languages
English (en)
Other versions
CN110191661A (zh
Inventor
胜山智祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shiseido Co Ltd
Original Assignee
Shiseido Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shiseido Co Ltd filed Critical Shiseido Co Ltd
Publication of CN110191661A publication Critical patent/CN110191661A/zh
Application granted granted Critical
Publication of CN110191661B publication Critical patent/CN110191661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00—Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D34/04—Appliances specially adapted for applying liquid, e.g. using roller or ball
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J2/00—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed
    • B41J2/005—Typewriters or selective printing mechanisms characterised by the printing or marking process for which they are designed characterised by bringing liquid or particles selectively into contact with a printing material
    • B41J2/01—Ink jet
    • B41J2/015—Ink jet characterised by the jet generation process
    • B41J2/04—Ink jet characterised by the jet generation process generating single droplets or particles on demand
    • B41J2/045—Ink jet characterised by the jet generation process generating single droplets or particles on demand by pressure, e.g. electromechanical transducers
    • B41J2/04501—Control methods or devices therefor, e.g. driver circuits, control circuits
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/445—Printers integrated in other types of apparatus, e.g. printers integrated in cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/46—Printing mechanisms combined with apparatus providing a visual indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/22—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using plotters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Coating Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Cosmetics (AREA)
  • Ink Jet (AREA)
  • Signal Processing (AREA)

Abstract

本发明的一实施方式所涉及的涂布控制装置包括：存储部，所述存储部存储肌肤的规定范围的第1图像；获取部，所述获取部从与能够将化妆品涂布于肌肤的涂布头连接的摄像部获取比第1图像的范围小的范围的肌肤的第2图像；以及识别部，所述识别部识别第2图像在第1图像中的位置。

Description

涂布控制装置、涂布装置、涂布控制方法以及记录介质
技术领域
本发明涉及涂布控制装置、涂布装置、涂布控制方法以及记录介质。
背景技术
已知有在将化妆品涂布于肌肤时，并不是利用手指、海绵等而以手涂方式进行，而是使用喷墨等印刷设备而自动进行涂布的技术。在专利文献1中，公开有包括排出化妆油墨的头和能够使头移动的移动装置的化妆装置。专利文献1的化妆装置测量被化妆面(肌肤)的凹凸、明度分布等的数据，并根据该数据而判断斑点、皱纹等在被化妆面中的位置。
现有技术文献
专利文献
专利文献1：日本特开2006-271654号公报
发明内容
发明要解决的技术课题
但是，在专利文献1中未具体公开有将头定位在成为涂布对象的斑点、皱纹等的方法。专利文献1的移动装置能够使头沿着肌肤移动，但是为了进行定位，需要知道头位于肌肤的哪个位置。
本发明是鉴于这样的问题而完成的，其目的在于提供一种能够识别涂布头在肌肤中的位置的涂布控制装置、涂布装置、涂布控制方法以及记录介质。
用于解决技术课题的手段
本发明的一实施方式所涉及的涂布控制装置包括：存储部，所述存储部存储肌肤的规定范围的第1图像；获取部，所述获取部从摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像，其中，所述摄像部与能够将化妆品涂布于肌肤的涂布头连接；以及识别部，所述识别部识别所述第2图像在所述第1图像中的位置。
本发明的一实施方式所涉及的涂布控制方法包括：存储肌肤的规定范围的第1图像的步骤；从摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像的步骤，其中，所述摄像部与能够将化妆品涂布于肌肤的涂布头连接；以及识别所述第2图像在所述第1图像中的位置的步骤。
本发明的一实施方式所涉及的记录介质记录有使计算机执行以下步骤的程序：存储肌肤的规定范围的第1图像的步骤；从与能够将化妆品涂布于肌肤的涂布头连接的摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像的步骤；以及识别所述第2图像在所述第1图像中的位置的步骤。
发明效果
根据本发明，能够提供一种能够识别涂布头在肌肤中的位置的涂布控制装置、涂布装置、涂布控制方法以及记录介质。
附图说明
图1是示出第1实施方式所涉及的涂布系统的结构的示意图。
图2是第1实施方式所涉及的涂布装置以及涂布控制装置的框图。
图3是第1实施方式所涉及的涂布控制装置的功能框图。
图4是示出第1实施方式所涉及的涂布控制方法的流程图。
图5是用于对第1实施方式所涉及的相关值处理进行说明的图。
图6是示出第1实施方式所涉及的涂布处理的详细内容的流程图。
图7是第2实施方式所涉及的涂布装置的示意图以及剖视图。
图8是示出第3实施方式所涉及的涂布系统的结构的示意图。
图9是第3实施方式所涉及的涂布装置以及涂布控制装置的框图。
具体实施方式
[第1实施方式]
图1是示出本实施方式所涉及的涂布系统10的结构的示意图。涂布系统10包括涂布装置100、摄像部200以及涂布控制装置300。涂布装置100是用于将化妆品(化妆料)涂布于肌肤的装置，被用户抓握。涂布装置100具有棱柱状的壳体，在壳体的一端面设置有涂布头101。涂布装置100的形状只要是用户易于抓握的形状，则无限定，也可以呈圆柱状、半球状。并且，涂布装置100也可以具有手柄等抓握部件。
涂布头101例如由注入头构成，具有排出化妆料的多个喷嘴。多个喷嘴二维排列，能够对肌肤的规定区域涂布化妆料。在涂布装置100安装有化妆料罐102，从化妆料罐102向涂布头101供给化妆料。化妆料罐102也可以设置在涂布装置100内。作为化妆料，能够使用用于遮盖肌肤的斑点、雀斑、毛孔等的液状遮瑕膏。
在涂布装置100的壳体侧面(上表面)以与涂布头101相同的朝向设置有摄像部200。摄像部200包括透镜、摄像元件等，能够拍摄通过涂布头101进行涂布的窄范围的肌肤的图像(第2图像)。摄像部200与涂布头101连接，摄像部200相对于涂布头101的相对位置固定。摄像部200也可以与涂布头101一体地形成。
涂布装置100以及摄像部200由涂布控制装置300控制。涂布控制装置300经由USB(Universal Serial Bus)电缆等有线连接或Bluetooth(注册商标)、WiFi等无线连接，与涂布装置100以及摄像部200连接。涂布控制装置300也可以内置于涂布装置100内。涂布控制装置300预先存储有包含成为涂布对象的斑点、雀斑、毛孔等的肌肤的宽范围的图像(第1图像)。涂布控制装置300通过将从摄像部200获取的第2图像与第1图像进行比较，能够掌握涂布头101在肌肤中的位置。涂布控制装置300具有显示器301，在显示器301中显示肌肤的图像、涂布头101的状态等各种信息。
若用户抓握涂布装置100并使涂布头101靠近肌肤，则涂布控制装置300识别涂布头101在肌肤中的位置，并将涂布头101的当前位置显示于显示器301。用户确认显示器301的同时使涂布头101沿着肌肤移动，当涂布头101到达涂布对象所在的位置时，自动进行化妆料的涂布。
图2是本实施方式所涉及的涂布装置100以及涂布控制装置300的框图。涂布装置100包括涂布头101、化妆料罐102、移动机构103、操作部104、距离传感器105以及动作传感器106。涂布控制装置300包括显示器301、图像处理电路302、间隙控制电路303、头控制电路304、CPU305、RAM306、ROM307、存储装置308以及扬声器309。
涂布头101是例如压电方式的注入头，由喷嘴、压力室、压电元件以及驱动电路等构成。在压力室内填充有化妆料，若从驱动电路向压电元件施加电压，则压力室的体积通过压电元件的变形而发生变化。由此，从喷嘴呈液滴状排出化妆料。另外，涂布头101也可以是通过加热体对化妆料进行加热并通过所产生的气泡的压力排出化妆料的热敏式的注入头。涂布头101根据来自头控制电路304的控制信号而工作。
化妆料罐102收纳化妆料，向涂布头101供给化妆料。化妆料罐102能够设成容易更换的盒式类型。化妆料是能够从涂布头101排出的具有规定的粘性的液体，能够包含遮瑕膏、粉底、腮红、扑粉、眼影等。化妆料罐102也可以为了收纳种类或色调不同的多个化妆料而设置有多个。例如，为了能够涂布四个颜色的化妆料，能够设置四个化妆料罐102，并将与各颜色对应的四个喷嘴组设置于涂布头101。
移动机构103由致动器、导向部件等构成，能够驱动涂布头101在涂布装置100的长度方向上进退，该长度方向是在使涂布头101与肌肤相对时垂直于肌肤的方向。移动机构103按照来自间隙控制电路303的控制信号进行涂布头101的位置控制。
操作部104包括电源开关、菜单按钮以及用于执行涂布的涂布按钮等操作部件，用于用户对涂布装置100提供指示。涂布控制装置300按照从操作部104输入的用户的指示，对涂布装置100的动作进行控制。涂布按钮优选配置于在用户抓握涂布装置100的状态下能够容易地操作的位置处，例如配置于在用户抓握涂布装置100时与手指接触这样的位置处。由此，即使在将涂布装置100移动到无法直接目视确认的部位(脸颊等)时，用户也能够摸索操作涂布按钮。
距离传感器105例如是红外线传感器、超声波传感器等，朝向物体照射红外线、超声波等检测波，并接收其反射波。距离传感器105能够根据在照射检测波之后到接收反射波为止的时间而检测与物体之间的距离。并且，距离传感器105在涂布头101的周围设置有多个，还能够检测涂布头101相对于肌肤的倾斜度。涂布控制装置300能够根据来自距离传感器105的检测信号而恒定地保持肌肤与涂布头101之间的距离，并且以例如在涂布头101相对于肌肤倾斜的情况下不排出化妆料的方式对涂布头101进行控制。
动作传感器106包含加速度传感器、陀螺仪传感器以及地磁传感器，检测涂布头101的移动、旋转等移动。加速度传感器例如由静电电容检测元件构成，能够检测施加于涂布头101的加速度。陀螺仪传感器例如由压电振动元件构成，具有检测涂布头101的朝向的功能。地磁传感器能够通过检测地磁而掌握涂布头101的方位。涂布控制装置300能够根据来自动作传感器106的检测信号，以例如在涂布头101的移动较快的情况下不排出化妆料的方式对涂布头101进行控制。
摄像部200包括光学系统、摄像元件以及A/D(Analog/Digital)变换器。光学系统包含光学滤波器、固定透镜以及聚焦透镜，使来自被摄体(肌肤)的光成像于摄像元件的摄像面，形成被摄体像。在光学系统中能够安装偏振滤光片，从而能够减少镜面反射。摄像元件例如是CMOS(Complementary Metal Oxide Semiconductor)图像传感器、CCD(ChargeCoupled Device)图像传感器，包括二维排列的多个像素、滤色器以及微透镜。多个像素能够包含摄像用的像素、焦点检测用的像素。并且，摄像元件具有控制电荷蓄积时间的电子快门功能。多个像素分别输出基于来自光学系统的入射光的像素信号。A/D变换器由比较电路、锁存电路等构成，将来自摄像元件的模拟的像素信号变换为数字的RAW数据。摄像部200除了能够输出静态图像之外，还能够输出规定帧频的动态图像。
显示器301例如由液晶显示器、有机EL(Electro Luminescence)显示器构成。显示器301根据来自CPU305的数据，进行来自摄像部200的图像、存储装置308内存储的图像、涂布头101的状态信息、菜单画面等的各种显示。显示器301也可以是触摸面板，还能够作为操作部104发挥功能。
图像处理电路302包含数值运算电路，对来自摄像部200的RAW数据进行去马赛克处理，按照每个像素生成具有R(红色)、G(绿色)、B(蓝色)这各色值的图像数据(RGB图像)。图像处理电路302还具有对图像数据进行白平衡调整、伽马校正、轮廓强调、灰度变换、减噪、压缩等数字图像处理的功能。
间隙控制电路303通过向移动机构103输出控制信号，对肌肤与涂布头101之间的间隔(间隙)进行控制。间隙控制电路303能够根据来自距离传感器105的检测信号，以相对于肌肤保持固定距离的方式对涂布头101的位置进行控制。头控制电路304根据来自CPU305的指示，将排出化妆料的喷嘴的信息、表示涂布量等的控制信号输出到涂布头101。
CPU(Central Processing Unit)305包括CPU核、高速缓冲存储器等，对涂布控制装置300的各部分进行统括控制。RAM(Random Access Memory)306例如是DRAM(DynamicRAM)，使用于CPU305的工作区域、程序的加载区域等。RAM306暂时性地存储CPU305的处理所需的数据、在图像处理电路302中生成的图像数据、从存储装置308中读出的图像数据等。ROM(Read Only Memory)307例如是EEPROM(Electrically Erasable Programmable ROM)，存储各种设定文件、OS(Operating System)等基本程序、用于对涂布装置100的动作进行控制的控制程序。
存储装置(存储部)308例如是闪存、硬盘，存储来自摄像部200的LAW数据、在图像处理电路302中生成的图像数据等。存储装置308还能够存储通过外部的摄像装置获取的图像数据。存储装置308也可以是便携式存储介质，能够构成为能够借助存储卡槽、USB连接器等而相对于涂布控制装置300安装或拆卸。
扬声器309包括压电式的振动单元、驱动电路等，输出基于来自CPU305的数据的声波信号。扬声器309能够再生语音信息、效果音等，例如使用于向用户通知涂布装置100的动作状态。
图3是本实施方式所涉及的涂布控制装置300的功能框图。涂布控制装置300具有存储部308、获取部310、识别部311、计算部312的功能。涂布控制装置300的功能通过CPU305将ROM307内存储的规定的控制程序读出到RAM306并执行而实现。
在存储部308存储肌肤的规定范围的第1图像。第1图像是拍摄包含成为涂布对象的斑点、雀斑、毛孔等的肌肤的宽范围而得的图像。第1图像能够使用专用的摄像设备或者通常的数字照相机进行拍摄，事先存储于存储部308。第1图像还能够使用摄像部200进行拍摄。
获取部310从摄像部200获取第2图像。第2图像是比第1图像的范围小的范围的肌肤的图像。获取部310每隔规定时间获取一次第2图像，并将第2图像交接到识别部311。摄像部200与涂布头101连接，涂布头101的位置能够根据摄像部200的位置而求出。
识别部311将来自获取部310的第2图像与存储部308内存储的第1图像进行比较，识别第2图像在第1图像中的位置。识别部311能够进行图像数据的相关值运算，能够从第1图像中提取与第2图像之间的相关值最高的区域。
计算部312将第1图像或第2图像分割成多个区段，并按照每个区段计算所需的化妆料的涂布量。涂布量的计算方法是任意的，例如能够以涂布后的肌肤的亮度分布均匀的方式计算涂布量。涂布头101能够按照来自计算部312的涂布量，将化妆品涂布于肌肤。
图4是本实施方式所涉及的涂布控制方法的流程图。在此，对将化妆品涂布于脸颊的斑点的例进行说明。首先，CPU305从存储装置308读出包含多个斑点的图像(第1图像)，并存储于RAM306内(步骤S401)。第1图像是拍摄脸颊的宽范围(例如纵3cm×横4cm)而得的图像。第1图像也可以使用偏振滤光片进行拍摄。而且，CPU305将第1图像显示于显示器301。CPU305也可以根据第1图像确定多个斑点的位置，并将向用户显示斑点的位置的图标等显示于显示器301。斑点的位置能够根据例如图像的特征量(亮度分布等)而确定。
接着，用户抓握涂布装置100，使涂布头101靠近肌肤。用户在已经使涂布头101靠近肌肤的情况下，使涂布头101沿着肌肤移动(步骤S402)。用户能够观察显示器301的同时使涂布头101向斑点所在的方向移动。摄像部200以规定的帧频拍摄肌肤的动态图像。
CPU305从摄像部200获取第2图像(步骤S403)。第2图像是动态图像的一个帧，是拍摄脸颊的窄范围(例如纵1cm×横1cm)而得的图像。与第1图像同样地，第2图像也可以使用偏振滤光片进行拍摄。CPU305在图像处理电路302中生成关于第2图像的图像数据，并将该图像数据存储于RAM306。另外，第2图像也可以是一张静态图像，第2图像的数据形式并无特别限定。
接着，CPU305计算第1图像与第2图像之间的相关值(步骤S404)。具体地说，CPU305计算以下式(1)所示的评价函数F(τ、υ)的值。
[数式1]
Figure BDA0002127576540000081
另外，作为计算相关值的方法，除了以下叙述的按照每个像素查找相关值的方法之外，还可以是提取特征点而查找特征量的相关值的方法。
如图5所示，f(x、y)表示第2图像502的坐标(x、y)中的像素值，g(x、y)表示第1图像501的坐标(x、y)中的像素值。在第1图像501、第2图像502中，画阴影线的部分表示斑点。
第1图像501以及第2图像502的原点O分别设定于左下角的像素。第2图像502的尺寸是纵M像素×横N像素，第1图像501的尺寸比第2图像502的尺寸大，是纵M1像素×横N1像素(M＜M1以及N＜N1)。参数τ、υ表示窗口区域501a在第1图像中的位移量。窗口区域501a是与第2图像502相同的尺寸。通过改变参数τ、υ的值，能够在第1图像501内扫描窗口区域501a。评价函数F(τ、υ)相当于在第2图像502与窗口区域501a之间对应的像素值的积和运算。评价函数F(τ、υ)并不限定于式(1)，也可以是关于所对应的像素值的差分的绝对值之和、像素值的差分的平方和、相关系数等。
另外，作为像素值，能够利用图像数据的亮度值、RGB图像的各色值(R值、G值、B值)、对各色值适当地进行加权相加的值、其他RGB以外的表色系所示的值等。图像的相关值可以利用特定的波长成分进行计算，优选利用例如540nm以下的波长成分(B信号)。
在步骤S404中，CPU305一边分别在0≤τ≤N1-N、0≤υ≤M1-M的范围内改变参数τ以及υ，一边计算评价函数F(τ、υ)的值。即，CPU305一边在纵向或横向上将窗口区域501a的位置每次错开一个像素一边扫描第1图像501的整个区域，计算第2图像502与窗口区域501a之间的相关值。
接着，CPU305识别第2图像在第1图像中的位置(步骤S405)。CPU305判断为评价函数F(τ、υ)的值越大，则相关值越高，将评价函数F(τ、υ)取最大值时的窗口区域501a的位置(τ、υ)识别为第2图像502的位置。CPU305根据第2图像502的位置而计算涂布头101的位置，并将涂布头101的位置信息显示于显示器301。例如，CPU305将表示涂布头101当前可涂布的区域的框与第1图像重叠显示。
接着，CPU305判断涂布对象(斑点)是否存在于涂布头101的位置处(步骤S406)。例如，CPU305参照在步骤S401中确定的斑点的位置，判断涂布头101当前可涂布的区域中是否包含斑点。CPU305在判断为涂布头101的位置处不存在斑点的情况下(步骤S406中否)，返回到步骤S402，待机至涂布头101被用户移动到其他位置处。CPU305在判断为涂布头101的位置处存在斑点的情况下(步骤S406中是)，执行图6的涂布处理(步骤S407)。CPU305也可以使用显示器301、扬声器309通知用户执行涂布处理。
在执行涂布处理之后，CPU305判断是否完成对所有涂布对象的涂布(步骤S408)。即，CPU305判断是否对第1图像中所含的所有斑点执行了涂布处理。CPU305在判断未完成涂布的情况下(步骤S408中否)，返回到步骤S402，待机至涂布头101被用户移动到其他位置处。CPU305在判断完成了涂布的情况下(步骤S408中是)，在显示器301中显示已完成涂布的主旨，结束处理。
图6是示出本实施方式所涉及的涂布处理(步骤S407)的详细内容的流程图。首先，CPU305根据从摄像部200获取的第2图像而计算化妆料的涂布量(步骤S601)。例如，CPU305相对于分割第2图像而获得的多个区段分别计算所需的涂布量。区段能够设成由多个像素构成的正方形的像素块，CPU305按照每个区段独立地计算涂布量。CPU305也可以根据包含对象区段及其周围的区段的多个区段而计算相对于对象区段的涂布量。另外，化妆料的涂布量也可以在图4的步骤S401中根据第1图像而进行计算。与第2图像同样地，CPU305能够相对于分割第1图像而获得的多个区段分别计算所需的涂布量。
接着，CPU305调节涂布头101与肌肤之间的距离(步骤S602)。即，CPU305经由间隙控制电路303向移动机构103输出基于来自距离传感器105的检测值的控制信号。移动机构103通过使涂布头101进退，恒定地保持与肌肤之间的间隙。在间隙的大小超过能够通过移动机构103调节的范围的情况下，CPU305能够使用显示器301、扬声器309等催促用户将涂布头101更加靠近或稍微远离肌肤。另外，间隙调节处理(步骤S602)也可以与上述的涂布量计算处理(步骤S601)并行执行。
接着，CPU305使化妆料排出到涂布头101(步骤S603)。即，CPU305经由头控制电路304向涂布头101输出进行排出的喷嘴的识别信息、涂布量等控制信号。涂布头101按照来自头控制电路304的控制信号而从喷嘴排出化妆料。另外，CPU305也可以只在从用户发出执行指示时容许排出化妆料。例如，CPU305也可以在由用户操作涂布按钮时进行化妆料的排出处理(步骤S603)，在涂布按钮在规定时间内未被进行操作的情况下，不进行化妆料的排出处理，可以返回到图4的流程图。
并且，CPU305也可以根据来自距离传感器105、动作传感器106的检测信号而获取涂布头101的移动、姿势等状态信息。CPU305能够根据涂布头101的状态信息而对排出的时刻进行控制。例如，在涂布头101的手抖量或涂布头101相对于肌肤的倾斜度超过规定范围的情况下，CPU305使用显示器301、扬声器309警告用户延迟排出的时刻，直至涂布头101相对于肌肤呈适当的姿势。
根据本实施方式，通过将从与涂布头101连接的摄像部200获取的第2图像与拍摄包含涂布对象的整个肌肤而得的第1图像进行比较，能够准确地识别涂布头101在整个肌肤中的位置。由此，涂布头101与涂布对象在肌肤中的位置关系变得明确，用户能够毫不犹豫地将涂布头101引导至涂布对象。
并且，第1图像和第2图像是使尺寸不同而拍摄相同部位的肌肤而得的图像，但是不仅尺寸不同，而且拍摄的时刻、肌肤的隆起、肤色、镜面反射的映入情况等也不同。因此，仅仅通过图像的对照，有时很难检测第2图像在第1图像中的位置，但是根据本实施方式，通过利用第1图像与第2图像之间的相关值，能够准确地检测第2图像在第1图像中的位置。
[第2实施方式]
接着，对本发明的第2实施方式所涉及的涂布装置700进行说明。本实施方式所涉及的涂布装置700由于与第1实施方式所涉及的涂布装置100相同地构成，因此以与第1实施方式的不同点为中心进行说明。
图7(a)是示出涂布装置700的外观的示意图，图7(b)是图7(a)的A-A’线的剖视图。涂布装置700在设置有涂布头101以及摄像部200的端面(以下为头面)具有导向部件(保持部)710。导向部件710的内部呈空腔的棱柱状，由透明或半透明的合成树脂等形成。导向部件710沿头面的边缘配置，固定于涂布装置700的壳体711。导向部件710的末端部分为了容易按压肌肤而向内侧弯曲。用户抓握涂布装置700，向肌肤轻轻地按压导向部件710的末端部分。通过导向部件710，涂布头101被保持成在z轴方向上与肌肤保持固定距离D。
根据本实施方式，由于在涂布装置700的头面设置有导向部件710，因此无需通过移动机构103进行间隙的调节。并且，通过按压导向部件710，能够抑制肌肤的隆起，提高肌肤的平面度。由此，能够提高通过涂布头101的涂布精度。
[第3实施方式]
接着，对本发明的第3实施方式所涉及的涂布系统80进行说明。图9是示出本实施方式所涉及的涂布系统80的结构的示意图。涂布系统80包括涂布装置800、摄像部200以及涂布控制装置900。涂布装置800包括涂布头801、机器人臂810，摄像部200与涂布头801连接。涂布头801安装于机器人臂810的末端。
机器人臂810是多关节的臂型机器人，能够通过改变臂的姿势而自如变更涂布头801的位置以及朝向。例如，机器人臂810能够根据来自涂布控制装置900的驱动指令，使涂布头801向沿肌肤的任意方向移动。在机器人臂810连接有涂布控制装置900，涂布控制装置900能够利用驱动指令对机器人臂810的动作进行控制。涂布控制装置900具有显示器301，在显示器301中显示有肌肤的图像、涂布头801的状态等各种信息。
图9是本实施方式所涉及的涂布装置800以及涂布控制装置900的框图。涂布装置800包括涂布头801、机器人臂810、化妆料罐102、操作部104以及距离传感器105。涂布控制装置900包括机器人控制器910、显示器301、图像处理电路302、头控制电路304、CPU305、RAM306、ROM307、存储装置308以及扬声器309。
涂布头801与第1实施方式所涉及的涂布头101相同地构成，但是在涂布头801中多个喷嘴一维(例如线状)排列。机器人臂810能够在与排列有多个喷嘴的方向垂直的方向上扫描涂布头801而进行化妆料的涂布。涂布装置800也可以具有分别收纳不同色调的化妆料的多个化妆料罐102，与各颜色对应的多个喷嘴列设置于涂布头801。机器人控制器910将根据来自CPU305的指示而生成的驱动指令输出到机器人臂810。
化妆料罐102、操作部104、距离传感器105、显示器301、图像处理电路302、头控制电路304、CPU305、RAM306、ROM307、存储装置308以及扬声器309与第1实施方式相同，因此省略说明。另外，操作部104只要设置于对机器人臂810进行支承的底座、显示器301等即可。并且，也可以在存储装置308中事先以三维坐标等形式存储有与第1图像建立关联的肌肤的形状。机器人控制器910能够根据肌肤的形状而以将涂布头801与肌肤保持固定距离的方式对机器人臂810进行控制。
涂布控制装置900进行与图4的流程图相同的处理，但是本实施方式的不同点是，在步骤S402中，机器人臂810使涂布头801移动。即，CPU305根据在步骤S405中识别的第2图像在第1图像中的位置，确定应使涂布头101移动的方向、距离，并借助机器人控制器910驱动机器人臂810。
根据本实施方式，CPU305能够识别涂布头801在肌肤中的位置，并使用机器人臂810使涂布头801移动到涂布对象的位置。即使在涂布头801的移动中用户活动的情况下，由于CPU305能够实时识别涂布头801的位置，因此也能够立即修正涂布头801的移动方向以及移动量。
[其他实施方式]
本发明并不限定于上述的实施方式，在不脱离本发明的主旨的范围内能够实施变更。例如，在计算第1图像与第2图像之间的相关值时(步骤S404)，也可以从各图像中提取斑点、痣、毛孔等特征点，并只关于特征点计算相关值。由此，能够大幅削减评价函数F(τ、υ)的计算量。
并且，上述的实施方式的控制处理还能够适用于利用针头注入药剂的注入、向肌肤的痣等照射激光这样的作用于肌肤的特定部位的美容设备。
符号说明
100 涂布装置
101 涂布头
200 摄像部
300 涂布控制装置
308 存储装置(存储部)
310 获取部
311 识别部
312 计算部
501 第1图像
502 第2图像

Claims (11)

1.一种涂布控制装置，其包括：
存储部，所述存储部存储肌肤的规定范围的第1图像；
获取部，所述获取部从摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像，其中，该摄像部与能够将化妆品涂布于肌肤的涂布头连接、且相对于所述涂布头的相对位置固定；以及
识别部，所述识别部识别所述第2图像在所述第1图像中的位置。
2.根据权利要求1所述的涂布控制装置，其中，
所述识别部通过从所述第1图像中提取与所述第2图像之间的相关值最高的区域来识别所述位置。
3.根据权利要求2所述的涂布控制装置，其中，
所述识别部利用所述第1图像以及所述第2图像的特定的波长成分而计算所述相关值。
4.根据权利要求3所述的涂布控制装置，其中，
所述特定的波长成分具有540nm以下的波长。
5.根据权利要求1所述的涂布控制装置，其中，
所述第1图像以及所述第2图像是利用偏振滤光片而被拍摄的。
6.根据权利要求1所述的涂布控制装置，其中，
所述涂布控制装置还具有计算部，所述计算部将所述第1图像或所述第2图像分割成多个区段，并按照每个所述区段计算所需的涂布量，
所述涂布头按照所述涂布量涂布化妆品。
7.根据权利要求1所述的涂布控制装置，其中，
所述涂布控制装置还具有保持部，所述保持部以相对于肌肤保持固定距离的方式保持所述涂布头。
8.根据权利要求1所述的涂布控制装置，其中，
所述涂布头是排出液滴状的化妆品的注入头。
9.一种涂布装置，其包括：
涂布头；
摄像部；以及
权利要求1所述的涂布控制装置。
10.一种涂布控制方法，其包括：
存储肌肤的规定范围的第1图像的步骤；
从摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像的步骤，其中，所述摄像部与能够将化妆品涂布于肌肤的涂布头连接、且相对于所述涂布头的相对位置固定；以及
识别所述第2图像在所述第1图像中的位置的步骤。
11.一种记录介质，其记录有使计算机执行以下步骤的程序：
存储肌肤的规定范围的第1图像的步骤；
从摄像部获取比所述第1图像的范围小的范围的肌肤的第2图像的步骤，其中，所述摄像部与能够将化妆品涂布于肌肤的涂布头连接、且相对于所述涂布头的相对位置固定；以及
识别所述第2图像在所述第1图像中的位置的步骤。
CN201780083304.0A 2016-12-20 2017-12-18 涂布控制装置、涂布装置、涂布控制方法以及记录介质 Active CN110191661B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-246656 2016-12-20
JP2016246656 2016-12-20
PCT/JP2017/045303 WO2018117022A1 (ja) 2016-12-20 2017-12-18 塗布制御装置、塗布装置、塗布制御方法および記録媒体

Publications (2)

Publication Number Publication Date
CN110191661A CN110191661A (zh) 2019-08-30
CN110191661B true CN110191661B (zh) 2022-07-05

Family

ID=62626310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083304.0A Active CN110191661B (zh) 2016-12-20 2017-12-18 涂布控制装置、涂布装置、涂布控制方法以及记录介质

Country Status (7)

Country Link
US (1) US10799009B2 (zh)
EP (1) EP3560375B1 (zh)
JP (1) JPWO2018117022A1 (zh)
KR (1) KR102555594B1 (zh)
CN (1) CN110191661B (zh)
TW (1) TW201826969A (zh)
WO (1) WO2018117022A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7108127B2 (ja) * 2018-08-21 2022-07-27 ザ プロクター アンド ギャンブル カンパニー 毛穴の色を特定する方法
JP7024695B2 (ja) * 2018-11-27 2022-02-24 カシオ計算機株式会社 塗布装置及び塗布システム
JP2021000761A (ja) * 2019-06-21 2021-01-07 ロレアル 化粧インク塗布装置および化粧インクを塗布する方法
US11501457B2 (en) 2020-05-08 2022-11-15 The Procter & Gamble Company Methods for identifying dendritic pores

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141581A (ja) * 2004-11-18 2006-06-08 Kao Corp 被験部位の特定方法
JP2008234362A (ja) * 2007-03-20 2008-10-02 Sharp Corp 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101832763A (zh) * 2009-01-23 2010-09-15 株式会社其恩斯 图像测量设备及计算机程序
JP2015159975A (ja) * 2014-02-27 2015-09-07 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
JP2016166853A (ja) * 2015-03-04 2016-09-15 パナソニックＩｐマネジメント株式会社 位置推定装置および位置推定方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2810761B1 (fr) * 2000-06-26 2003-09-05 Oreal Procede et dispositif de traitement cosmetique,notamment de soin, de maquillage ou de coloration
JP2006271654A (ja) 2005-03-29 2006-10-12 Canon Inc 液体吐出法を用いた化粧システム及び化粧方法
JP4919028B2 (ja) * 2006-03-03 2012-04-18 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP5521888B2 (ja) * 2010-08-19 2014-06-18 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び電子装置
JP5733032B2 (ja) * 2011-06-06 2015-06-10 ソニー株式会社 画像処理装置および方法、画像処理システム、プログラム、および、記録媒体
WO2014168930A1 (en) * 2013-04-09 2014-10-16 University Of Washington Through Its Center For Commercialization Methods and systems for determining hemodynamic properties of a tissue
JP6295561B2 (ja) * 2013-09-17 2018-03-20 株式会社リコー 画像検査結果判断装置、画像検査システム及び画像検査結果の判断方法
WO2015060376A1 (ja) * 2013-10-23 2015-04-30 日立マクセル株式会社 表面状態測定分析情報管理システムおよび表面状態測定分析情報管理方法
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
US10535131B2 (en) * 2015-11-18 2020-01-14 Kla-Tencor Corporation Systems and methods for region-adaptive defect detection
JP6650819B2 (ja) * 2016-04-15 2020-02-19 株式会社 資生堂 色ムラ部位の評価方法、色ムラ部位評価装置及び色ムラ部位評価プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006141581A (ja) * 2004-11-18 2006-06-08 Kao Corp 被験部位の特定方法
JP2008234362A (ja) * 2007-03-20 2008-10-02 Sharp Corp 画像位置合わせ方法、画像位置合わせ装置、画像処理システム、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
CN101832763A (zh) * 2009-01-23 2010-09-15 株式会社其恩斯 图像测量设备及计算机程序
JP2015159975A (ja) * 2014-02-27 2015-09-07 カシオ計算機株式会社 肌処理装置、肌処理方法及びプログラム
JP2016127333A (ja) * 2014-12-26 2016-07-11 株式会社リコー 撮像素子および撮像装置および撮像情報認識システム
JP2016166853A (ja) * 2015-03-04 2016-09-15 パナソニックＩｐマネジメント株式会社 位置推定装置および位置推定方法

Also Published As

Publication number Publication date
KR20190099228A (ko) 2019-08-26
KR102555594B1 (ko) 2023-07-14
EP3560375A1 (en) 2019-10-30
JPWO2018117022A1 (ja) 2019-10-24
CN110191661A (zh) 2019-08-30
US20190307231A1 (en) 2019-10-10
TW201826969A (zh) 2018-08-01
WO2018117022A1 (ja) 2018-06-28
EP3560375A4 (en) 2020-07-15
US10799009B2 (en) 2020-10-13
EP3560375B1 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
CN110191661B (zh) 涂布控制装置、涂布装置、涂布控制方法以及记录介质
JP5404866B2 (ja) アイメイクアップ装置
US9712727B2 (en) Nail information detection device, drawing apparatus, and nail information detection method
US9687059B2 (en) Nail decorating apparatus
US20140060560A1 (en) Nail printing apparatus and printing control method
US10599920B2 (en) Automated digital magnifier system with hand gesture controls
US20120016231A1 (en) System and method for three dimensional cosmetology imaging with structured light
US20140037135A1 (en) Context-driven adjustment of camera parameters
JP2020513347A (ja) モバイル画像形成装置、そのイメージ補正方法及び非一時的なコンピュータ読み取り可能な記録媒体
CN118303714A (zh) 美甲装置和美甲方法及基于美甲装置的健康管理、信息推送方法
CN101441388A (zh) 聚焦设备和方法
US20230333677A1 (en) Optical stylus for optical position determination device
US9862218B2 (en) Method for printing on a media object in a flatbed printing system
JP2022173205A (ja) 塗布装置、塗布方法及びプログラム
KR101542671B1 (ko) 공간 터치 방법 및 공간 터치 장치
CN111216451B (zh) 涂布装置、便携终端以及涂布系统
JP7289308B2 (ja) 画像解析装置、画像解析方法およびプログラム
JP2019111004A (ja) 描画システム、描画装置及び端末装置
CN114423315A (zh) 印刷装置、印刷方法及程序
JP7524566B2 (ja) 印刷装置、印刷制御方法及びプログラム
JP7289309B2 (ja) 画像解析装置、画像解析方法およびプログラム
CN113665252B (zh) 印刷装置、印刷装置的控制方法以及记录介质
CN118494027A (zh) 印刷控制装置、印刷控制方法以及存储介质
JP2024102670A (ja) 印刷装置、印刷制御方法及びプログラム
KR20230068320A (ko) 다양한 보조 기구와 결합 가능한 프린팅 장치 및 이의 작동 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant