JP2017153555A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2017153555A
JP2017153555A JP2016037336A JP2016037336A JP2017153555A JP 2017153555 A JP2017153555 A JP 2017153555A JP 2016037336 A JP2016037336 A JP 2016037336A JP 2016037336 A JP2016037336 A JP 2016037336A JP 2017153555 A JP2017153555 A JP 2017153555A
Authority
JP
Japan
Prior art keywords
area
region
color
image
skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016037336A
Other languages
English (en)
Other versions
JP6722866B2 (ja
Inventor
雅世 篠田
Masayo Shinoda
雅世 篠田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016037336A priority Critical patent/JP6722866B2/ja
Priority to CN201710063507.5A priority patent/CN107125904B/zh
Priority to US15/430,406 priority patent/US10027854B2/en
Priority to EP17155937.0A priority patent/EP3211566A1/en
Publication of JP2017153555A publication Critical patent/JP2017153555A/ja
Application granted granted Critical
Publication of JP6722866B2 publication Critical patent/JP6722866B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/002—Masks for cosmetic treatment of the face
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K8/00—Cosmetics or similar toiletry preparations
    • A61K8/02—Cosmetics or similar toiletry preparations characterised by special physical form
    • A61K8/0204—Specific forms not provided for by any of groups A61K8/0208 - A61K8/14
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61Q—SPECIFIC USE OF COSMETICS OR SIMILAR TOILETRY PREPARATIONS
    • A61Q1/00—Make-up preparations; Body powders; Preparations for removing make-up
    • A61Q1/02—Preparations containing skin colorants, e.g. pigments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/021—Adaptations for printing on specific media
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18—Conditioning data for presenting it to the physical printing elements
    • G06K15/1867—Post-processing of the composed and rasterized print image
    • G06K15/1872—Image enhancement
    • G06K15/1878—Adjusting colours
    • G06K15/188—Adjusting colours with provisions for treating some of the print data differently
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00023—Colour systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00034—Measuring, i.e. determining a quantity by comparison with a standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00039—Analysis, i.e. separating and studying components of a greater whole
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00092—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to the original or to the reproducing medium, e.g. imperfections or dirt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F13/00—Bandages or dressings; Absorbent pads
    • A61F2013/00089—Wound bandages
    • A61F2013/00153—Wound bandages coloured or with decoration pattern or printing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F13/00—Bandages or dressings; Absorbent pads
    • A61F2013/00361—Plasters
    • A61F2013/00365—Plasters use
    • A61F2013/0037—Plasters use for cosmesis
    • A61F2013/00378—Plasters use for cosmesis coloured as the skin
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K2800/00—Properties of cosmetic compositions or active ingredients thereof or formulation aids used therein and process related aspects
    • A61K2800/10—General cosmetic use
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K2800/00—Properties of cosmetic compositions or active ingredients thereof or formulation aids used therein and process related aspects
    • A61K2800/80—Process related aspects concerning the preparation of the cosmetic composition or the storage or application thereof
    • A61K2800/805—Corresponding aspects not provided for by any of codes A61K2800/81 - A61K2800/95
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61K—PREPARATIONS FOR MEDICAL, DENTAL OR TOILETRY PURPOSES
    • A61K2800/00—Properties of cosmetic compositions or active ingredients thereof or formulation aids used therein and process related aspects
    • A61K2800/80—Process related aspects concerning the preparation of the cosmetic composition or the storage or application thereof
    • A61K2800/87—Application Devices; Containers; Packaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2215/00—Arrangements for producing a permanent visual presentation of the output data
    • G06K2215/0082—Architecture adapted for a particular function
    • G06K2215/0094—Colour printing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2215/00—Arrangements for producing a permanent visual presentation of the output data
    • G06K2215/0082—Architecture adapted for a particular function
    • G06K2215/0097—Printing on special media, e.g. labels, envelopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Abstract

【課題】肌の複数の変色領域を簡単に目立たなくする事を可能にする画像処理装置を提供する事。【解決手段】画像処理装置２００は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する装置であって、肌を撮影した肌画像を取得する画像取得部２２０と、肌画像から、肌のうち、周辺との色の差異が所定レベル以上である変色領域と、変色領域の周辺の色である周辺色と、を抽出する画像解析部２３０と、複数の変色領域をグルーピングし、グループ化された複数の変色領域のまとまり、あるいは、グループ化されなかった１つの変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するグルーピング処理部２４０と、シートのうち包含領域に対応する領域に対して包含領域を周辺色に近付ける色素材料を印刷する内容の、画像データを生成する印刷制御部２５０とを有する。【選択図】図７

Description

本開示は、肌に貼り付け可能なシートに画像を印刷するための画像データを生成する画像処理装置および画像処理方法に関する。
従来、頬のシミといった肌の変色領域を目立たなくするための技術が存在している（例えば、特許文献１参照）。特許文献１に記載の技術（以下「従来技術」という）は、肌を撮影した画像から肌の変色領域を識別し、肌に貼り付け可能であって非変色領域の色が印刷されたシートを、変色領域と同一または変色領域よりも大きいサイズで生成する。このような従来技術によれば、シートを肌に貼り付けるといった簡単な作業で、肌の変色領域を目立たなくする事ができる。
特開２０１５−４３８３６号公報 特開２０１４−１４０９７８号公報 特開平３−１５７３１３号公報 特開平９−３０２２９４号公報 特開２０１２−２０３４２５号公報 特開２００３−４４８３７号公報
しかしながら、従来技術では、肌に変色領域が多数存在している場合、シートの生成や貼付に時間と手間が掛かる。一方で、特に顔の頬等には、シミやそばかすといった多数の小さい変色領域が分布している場合が多い。したがって、肌の複数の変色領域を、簡単に目立たなくさせる事が可能な技術が望まれる。
本開示の目的は、肌の複数の変色領域を簡単に目立たなくする事を可能にする画像処理装置および画像処理方法を提供する事である。
本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置であって、前記肌を撮影した肌画像を取得する画像取得部と、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、複数の前記変色領域をグルーピングし、グループ化された複数の前記変色領域のまとまり、あるいは、グループ化されなかった１つの変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するグルーピング処理部と、前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成する印刷制御部と、を有する。
本開示の画像処理方法は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理方法であって、前記肌を撮影した肌画像を取得するステップと、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、複数の前記変色領域をグルーピングし、グループ化された複数の前記変色領域のまとまり、あるいは、グループ化されなかった１つの変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するステップと、前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成するステップと、を有する。
本開示によれば、肌の複数の変色領域を簡単に目立たなくする事を可能にする。
本開示に係るメイク支援システムの一例の概要を示す模式図 本開示における肌の様子およびメイクシートの一例を示す図 本開示におけるメイクシートの貼り付け状態の第１の例を示す図 本開示におけるメイクシートの貼り付け状態の第２の例を示す図 本開示におけるメイクシートの貼り付け状態の第３の例を示す図 本開示における変色領域のグルーピングの様子およびメイクシートの一例を示す図 本開示に係る画像処理装置の構成の一例を示すブロック図 本開示におけるグルーピングルール情報の一例を示す図 本開示におけるグループ分離ルール情報の一例を示す図 本開示における包含領域設定ルール情報の一例を示す図 本開示に係る画像処理装置の動作の一例を示すフローチャート 本開示における変色領域の変換の様子の一例を示す図 本開示におけるグルーピングの様子の一例を示す図 本開示における包含領域の設定の様子の一例を示す図 本開示における包含領域の設定の仕方の第１の例を示す図 本開示における包含領域の設定の仕方の第２の例を示す図 本開示における包含領域の設定の仕方の第３の例を示す図 本開示における包含領域の設定の仕方の第４の例を示す図 本開示における肌の様子の他の例を示す図 本開示における包含領域の設定および画像データの生成の様子の一例を示す図
以下、本開示の一実施の形態について、図面を参照して詳細に説明する。
＜システム構成＞
まず、本実施の形態に係る画像処理装置を含むメイク支援システムの概要について説明する。
図１は、メイク支援システムの一例の概要を示す模式図である。
図１において、メイク支援システム１００は、照明部２０１、カメラ２０２、およびタッチパネル付き液晶ディスプレイ等の表示部２０３を備えた画像処理装置２００と、画像処理装置２００と通信可能に接続された印刷装置３００とを含む。画像処理装置２００および印刷装置３００は、例えば、工場、化粧品販売店舗、美容室、医療機関、身だしなみを整えるメイクルーム、イベント会場、および個人宅等に配置される。なお、画像処理装置２００は、容易に持ち運ぶことも可能なポータブル型の装置であってもよい。
画像処理装置２００は、表示部２０３の正面に位置するユーザ４００の顔を、照明部２０１により照明した状態で、表示部２０３の近傍に配置されたカメラ２０２により撮影する。そして、画像処理装置２００は、撮影された画像を左右方向において反転された画像（以下「顔画像」という）５００を、表示部２０３に表示させる。すなわち、画像処理装置２００は、鏡を覗き込んでいるような感覚をユーザ４００に与えるように構成されている。
また、画像処理装置２００は、得られた顔画像５００から（あるいは反転前の画像から）、肌画像５１０の変色領域５１１を抽出し、１つまたは複数の変色領域５１１を包含する包含領域５１５を決定する。そして、画像処理装置２００は、変色領域５１１の周辺５１３の色（以下「周辺色」という）の領域を、包含領域５１５の形状および大きさで形成する画像の画像データを生成し、印刷装置３００へ出力する。
印刷装置３００は、画像処理装置２００から出力された画像データに基づいて、肌５３１に貼り付け可能なシート５２０への画像の印刷を行う。例えば、印刷装置３００は、メイクシート５２０が剥離可能な支持体（台紙）に貼り付けられた状態において、メイクシート５２０に対する印刷を行う。
より具体的には、印刷装置３００は、周辺色に近似する色の色素材料（化粧料等）を、包含領域５１５に対応する領域に付与する事により、カバー領域（遮蔽層、肌色補正カラー層）５２１が形成されたメイクシート５２０を生成する。印刷装置３００は、例えば、色素材料のみならず、メイクシート５２０の肌側面の包含領域５１５に対応する領域に対して、変色領域５１１の改善を促す薬剤を印刷する事も可能である。
メイクシート５２０には、肌５３１に密着して貼り付けられる側の面（以下「肌側面」という）と、反対側の面（以下「外側面」という）とが存在する。印刷装置３００は、肌側面および外側面のうち、予め定められた側の面に対してカバー領域５２１の印刷を行う。例えば、メイクシート５２０は、肌５３１への密着により、肌側面に印刷されたカバー領域５２１を、肌５３１に転写させる。あるいは、メイクシート５２０は、肌５３１に密着したままの状態に保たれる事により、肌側面あるいは外側面に印刷されたカバー領域５２１を、肌５３１の上に担持する。
カバー領域５２１は、上述の通り、変色領域５１１の周辺色で形成されている。したがって、包含領域５１５に対応する肌の領域５３２は、カバー領域５２１に覆われ、変色領域５１１がより目立たない状態となる。
すなわち、メイク支援システム１００は、メイクシート５２０を肌５３１に貼るといった簡単かつ短時間な動作により、肌５３１の色を均一化するメイクを行う事を可能にする。
なお、メイクシート５２０は、人の肌に貼り付けても違和感が無く、かつ、生体適合性を有するシートである。具体的には、メイクシート５２０は、例えば、ポリ乳酸、ポリグリコール酸、ポリカプロラクトン、あるいはこれらの共重合体、ヒアルロン酸、およびキトサン等の、生体適合性ポリマーから成る層を有する、厚さ１０ｎｍ〜５００ｎｍの薄膜である。メイクシート５２０として用いることができる薄膜については、例えば特許文献２に記載されているため、ここでの詳細な説明を省略する。
また、印刷装置３００において印刷に用いられる材料（インク）および各部の具体的構成については、例えば特許文献３〜特許文献５に記載されているため、ここでの詳細な説明を省略する。
画像処理装置２００は、更に、肌５３１に変色領域５１１が多数存在している場合を考慮して、カバー領域５２１の基となる包含領域５１５を決定する。
図２は、変色領域５１１が多数存在している肌の様子と、当該肌について単純に変色領域５１１毎に包含領域５１５が決定された場合のメイクシート５２０の一例を示す図である。なお、かかるメイクシート５２０の一例は、画像処理装置２００が生成する画像データではない画像データから生成されるメイクシートの例である。
図２に示すように、多数の変色領域５１１が存在している肌画像５１０について、変色領域５１１毎に包含領域５１５を決定した場合、メイクシート５２０には多数の包含領域５１５に対応した多数のカバー領域５２１が配置される事になる。
ところが、カバー領域５２１の数が多いほど、メイクシート５２０を正しく肌に貼り付ける事が困難となる。
図３は、図２に示すメイクシート５２０を正しく貼り付けたときの状態の一例を示す図である。図４は、図２に示すメイクシート５２０を誤った角度で貼り付けたときの状態の一例を示す図である。図５は、図２に示すメイクシート５２０を誤った位置で貼り付けたときの状態の一例を示す図である。
図３に示すように、メイクシート５２０が正しい角度および位置で貼り付けられた場合、変色領域５１１は全てカバー領域５２１によりおおわれ、目立たなくなる。ところが、図４および図５に示すように、メイクシート５２０が誤った角度あるいは位置で貼り付けられた場合、変色領域５１１がカバー領域５２１に完全に覆われずに露出し、目立つ事になる。
そこで、画像処理装置２００は、複数の変色領域５１１をグルーピングし、グループ化された複数の変色領域５１１のまとまり、あるいは、グループ化されなかった１つの変色領域５１１（以下「領域グループ」という）を包含する包含領域５１５を決定する。
図６は、変色領域５１１のグルーピングの様子、および、当該グルーピングにより生成されるメイクシート５２０の一例を示す図である。
図６に示すように、画像処理装置２００は、例えば、変色領域５１１のうち距離が近いもの同士をグループ化して、領域グループ５１４を設定する。そして、画像処理装置２００は、領域グループ５１４毎に、当該領域グループ５１４に属する変色領域５１１を包含する包含領域５１５を決定する。そして、かかる包含領域５１５をカバー領域５２１とする画像データを生成して、印刷装置３００へ出力する。
このようにして生成されるメイクシート５２０であれば、貼り付けの角度や位置のずれが多少あったとしても、複数の変色領域５１１をより確実にカバーすることができる。
なお、本実施の形態において抽出の対象となる変色領域５１１には、その変色の要因が異なるものが含まれる。すなわち、変色領域５１１は、その変色の要因の種別（以下「要因種別」という）により、色素斑、肝斑、扁平母斑、色素細胞性母斑、太田母斑、後天性真皮メラノサイトーシス、紅斑、紫斑、白斑、青あざ、ほくろ、毛穴の黒ずみ、日焼け領域、ざ瘡（ニキビ）、ニキビ痕、摩擦や炎症による色素沈着、しわ、雀卵斑（そばかす）、タトゥー、疣贅、瘢痕等に区分される。そして、要因種別により、変色領域５１１に対して行うべき対策は異なってくる。
本実施の形態では、メイクシート５２０の包含領域５１５に対して、変色領域５１１の色を目立たなくする色素材料（化粧料）だけでなく、メイクシート５２０の肌側面の対応部分に要因種別に応じた薬剤（有効成分）を付与する事により、変色領域５１１の改善を図る。
＜装置の構成＞
次に、画像処理装置２００の構成について説明する。
図７は、画像処理装置２００の構成の一例を示すブロック図である。
図７において、画像処理装置２００は、情報格納部２１０、画像取得部２２０、画像解析部２３０、グルーピング処理部２４０、および印刷制御部２５０を有する。
情報格納部２１０は、画像解析部２３０による画像解析に必要な各種情報、および、グルーピング処理部２４０による包含領域５１５の設定に必要な各種情報を、予め格納する。
画像取得部２２０は、例えば上述のカメラ２０２（図１参照）を含み、撮影を行い、撮影された画像を画像解析部２３０へ出力する。撮影画像には、顔を撮影した顔画像、および、肌を撮影した肌画像が含まれ得る。
画像解析部２３０は、顔を撮影した顔画像から顔部品を抽出し、抽出された顔部品の顔画像における位置に基づいて、顔画像から肌領域の画像（肌画像）を抽出する。更に、画像解析部２３０は、画像解析部２３０は、肌画像から、当該肌画像に含まれる肌（肌画像）のうち、周辺との色の差異が所定レベル以上である変色領域５１１と、変色領域５１１の周辺色とを抽出する。そして、画像解析部２３０は、抽出された顔部品の位置、変色領域５１１、および周辺色を示す解析結果情報と、顔画像とを、グルーピング処理部２４０へ出力する。
グルーピング処理部２４０は、解析結果情報に基づいて、複数の変色領域５１１をグルーピングして領域グループを設定し、設定された領域グループ毎に、当該領域グループを包含する包含領域５１５を決定する。そして、グルーピング処理部２４０は、顔画像における、顔部品の位置および包含領域５１５の位置を示すグルーピング結果情報と、顔画像とを、印刷制御部２５０へ出力する。
なお、グルーピング処理部２４０は、上記グルーピングを、例えば、情報格納部２１０に格納されたグルーピングルール情報およびグループ分離ルール情報に基づいて行う。また、グルーピング処理部２４０は、上記包含領域５１５の決定を、例えば、情報格納部２１０に格納された包含領域設定ルール情報に基づいて行う。グルーピングルール情報、グループ分離ルール情報、および包含領域設定ルール情報の詳細については、後述する。
印刷制御部２５０は、メイクシート５２０のうち包含領域５１５に対応する領域に対して包含領域５１５を周辺色に近付ける色素材料を印刷する内容の画像データを生成する。そして、印刷制御部２５０は、生成された画像データを、無線通信および／または有線通信等により印刷装置３００へ送信する。
なお、印刷制御部２５０は、生成された画像データを必ずしも直接に印刷装置３００に送信する必要はなく、他の情報記録デバイス等を介して間接的に送信してもよい。例えば、印刷制御部２５０は、生成された画像データをポータブルメモリーデバイスなどの記録媒体に記録してもよく、または、ポータブルデバイス（スマートフォン、タブレット、ＰＣ等）に送信してもよい。この場合、ユーザは、当該記録媒体やポータブルデバイスを介して印刷装置３００に画像データを送信し、ユーザの指示等により適宜必要な印刷を行う。
画像処理装置２００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。
このような画像処理装置２００は、顔の変色領域５１１を自動で抽出し、複数の変色領域５１１をまとめてカバーするカバー領域５２１を有するメイクシート５２０を、印刷装置３００を使用して生成する事ができる。
＜各種情報の内容＞
ここで、グルーピングルール情報、グループ分離ルール情報、および包含領域設定ルール情報のそれぞれの内容について説明する。グルーピングルール情報は、複数の変色領域５１１をグルーピングして１つの領域グループとするか否かの判定基準を定義する情報である。グループ分離ルール情報は、一旦グループ化された複数の領域グループを、複数の領域グループに分離させるか否かの判定基準を定義する情報である。包含領域設定ルール情報は、領域グループに対する包含領域５１５の設定の仕方を定義する情報である。
図８は、グルーピングルール情報の一例を示す図である。
図８に示すように、グルーピングルール情報６１０は、例えば、第１および第２のグルーピングルールを記述している。
第１のグルーピングルールは、例えば、「間隔が所定の閾値以下の複数の変色領域をグループ化する」という内容である。ここで「間隔」とは、例えば、顔画像のピクセル距離、あるいは、カメラ２０２からユーザ４００の顔まで（図１参照）の距離とピクセル距離から算出される、顔表面における変色領域５１１間の最小距離である。カメラ２０２からユーザ４００の顔までの距離は、例えば、ステレオカメラにより得られる顔部品の視差や、撮影画像上の顔の大きさ等から、推定する事ができる。
第２のグルーピングルールは、例えば、「色の差異が所定の範囲内である複数の変色領域をグループ化する」という内容である。色の差異とは、例えば、ＲＧＢ等の所定の色空間における色座標の距離である。すなわち、色の差異が所定の範囲内である複数の変色領域５１１とは、色が似ている複数の変色領域５１１である。
なお、グルーピングルール情報６１０の内容は、かかる例に限定されない。例えば、グルーピングルール情報６１０は、ＲＧＢの比率構成の差異が所定の範囲内である複数の変色領域５１１をグループ化するというルールや、要因種別が同一の複数の変色領域５１１をグループ化するというルールを含んでいてもよい。
図９は、グループ分離ルール情報の一例を示す図である。
図９に示すように、グループ分離ルール情報６２０は、例えば、第１〜第３のグループ分離ルールを記述している。
第１のグループ分離ルールは、例えば、「色の差異が所定の範囲を超える場合、領域グループを色の類似性に基づき分離する」という内容である。ここで「色の類似性に基づき分離」とは、例えば、所定の色空間において直線により分割される領域で分離する事、つまり、色がより似通ったグループに分割する事である。
第２のグループ分離ルールは、例えば、「要因種別が異なる複数の変色領域が含まれる場合、領域グループを要因種別に基づき分離する」という内容である。ここで「要因種別に基づき分離」とは、例えば、適切な処置（有効成分）が異なるものを分離する事である。
第３のグループ分離ルールは、例えば、「領域グループの変色領域の個数が所定の閾値以上である場合、位置、色、あるいは要因種別に基づき分離する」という内容である。ここで「位置、色、あるいは要因種別に基づき分離」とは、例えば、複数の変色領域５１１が分布する領域をその中央を通る線で分割する事により分離する事、所定の色空間において直線により分割される領域で分離する事、および適切な処置（有効成分）が異なるものを分離する事である。
なお、グループ分離ルール情報６２０の内容は、かかる例に限定されない。例えば、グループ分離ルール情報６２０は、ＲＧＢの比率構成の差異が所定の範囲内にない領域グループに属する複数の変色領域５１１を異なる領域グループに分離するという内容を含んでいてもよい。
図１０は、包含領域設定ルール情報の一例を示す図である。
図１０に示すように、包含領域設定ルール情報６３０は、例えば、第１および第２の包含領域設定ルールを記述している。
第１の包含領域設定ルールは、例えば、「各変色領域の一回り大きい領域に外接する円領域（楕円領域）を、包含領域として設定する」という内容である。ここで「各変色領域の一回り大きい領域」とは、例えば、変色領域５１１に外接する円、矩形、あるいは５角形等の所定の形状の領域、あるいは、かかる領域を外側に所定幅拡張した領域である。
第２の包含領域設定ルールは、例えば、「各変色領域を最小面積で包含する楕円領域を、包含領域として設定する」という内容である。ここで「最小面積で包含する楕円領域」とは、例えば、各変色領域５１１および各変色領域５１１の間の領域により形成される変色領域分布領域に外接する楕円のうち、変色領域５１１以外の領域の面積が最小となる楕円の領域である。
第３の包含領域設定ルールは、例えば、「各変色領域を所定の面積比で包含する楕円領域を、包含領域として設定する」という内容である。ここで「所定の面積比で包含する楕円領域」とは、例えば、各変色領域５１１および各変色領域５１１の間の領域により形成される変色領域分布領域に外接する楕円を、その変色領域５１１が占める面積の比が所定の面積比となるように、縮小あるいは拡大した楕円の領域である。
なお、包含領域設定ルール情報６３０の内容は、かかる例に限定されない。例えば、グループ分離ルール情報６２０は、上述の変色領域分布領域を外側に所定幅拡張し、その外形を平滑化した領域を、包含領域５１５として設定するという内容を含んでいてもよい。
＜装置の動作＞
次に、画像処理装置２００の動作について説明する。
図１１は、画像処理装置２００の動作の一例を示すフローチャートである。
ステップＳ１１００において、画像取得部２２０は、顔画像（肌画像）を取得する。
ステップＳ１２００において、画像解析部２３０は、顔画像から、顔部品、変色領域５１１、および各変色領域５１１の周辺色を抽出する。
具体的には、例えば、画像解析部２３０は、まず、所定のカラーチャートを撮影した画像を取得し、画像中のカラーチャートの色に基づいて、撮影環境に応じた色補正の補正値を決定する。そして、決定された補正値により色補正を行った上で、画像解析部２３０は、パターンマッチング等の既知の画像認識処理により、顔画像から、顔部品の位置を検出する。画像からの顔部品の抽出手法については、例えば、特許文献６に記載されているため、ここでの詳細な説明を省略する。
更に、画像解析部２３０は、顔画像のうち顔部品を除いた領域から、予め定められた色範囲の領域を肌領域として取得し、かかる肌領域を、所定の画素値（例えば明度）を境界として、変色領域５１１と非変色領域とに区分する事により、変色領域５１１を抽出する。なお、このとき、画像解析部２３０は、所定の面積以下の変色領域５１１については、非変色領域として取り扱うようにしてもよい。そして、画像解析部２３０は、変色領域５１１の近傍の非変色領域の平均値を、周辺色として抽出する。なお、画像解析部２３０は、特許文献１に記載の手法により、変色領域５１１および周辺色の抽出を行ってもよい。
また、画像解析部２３０は、変色領域５１１の配置、大きさ、色等から、その要因種別を判定してもよい。
例えば、肝斑は、両頬、額、鼻の下、下顎等に、顔の中心に対して左右対称に出現するという特徴を有する。したがって、画像解析部２３０は、顔部品（例えば両目）の位置に対する各変色領域５１１の相対位置等から、変色領域５１１が左右対称に出現しているか否かを判定し、該当する場合には肝斑と判定する。
また、例えば、雀卵斑（そばかす）は、鼻の位置に、１〜２ミリ程度の大きさの小さな斑点として多数分布する。したがって、画像解析部２３０は、鼻の位置に多数分布する小さな斑点については、雀卵斑であると判定する。
また、画像解析部２３０は、ユーザの年齢情報、人種、地域、季節等、各種の情報を取得し、取得された情報に基づいて各変色領域５１１の要因種別を判定してもよい。
なお、実際の変色領域５１１の形状および大きさは様々である。したがって、画像解析部２３０は、各変色領域５１１をより単純な図形領域に変換してもよい。
図１２は、変色領域５１１の変換の様子の一例を示す図である。
図１２に示すように、画像解析部２３０は、不特定の形状および大きさの変色領域５１１ａを肌画像から抽出する。そして、画像解析部２３０は、抽出された変色領域５１１ａを、例えば、かかる変色領域５１１ａと略同面積であって重心が略同一の多角形領域５１１ｂに変換し、得られた多角形領域５１１ｂを、後続の処理に用いる変色領域５１１として決定する。変色領域５１１の位置は、例えば、４つあるいは５つの頂点の座標により定義される。
ステップＳ１３００において、グルーピング処理部２４０は、グルーピングルール情報６１０（図８参照）に基づき、複数の変色領域５１１をグルーピングし、領域グループを設定する。グルーピング処理部２４０は、例えば、第１のグルーピングルールに基づいて、距離優先での変色領域５１１のグルーピングを行う。
なお、グルーピング処理部２４０は、グルーピングルール情報６１０に記述されたルールの一部のみに基づいてグルーピングを行ってもよいし、全部に基づいてグルーピングを行ってもよい。また、グルーピング処理部２４０は、どのようなルールに基づいてグルーピングを行うかについての設定をユーザから受け付けてもよい。
図１３は、グルーピングの様子の一例を示す図である。
図１３に示すように、例えば、第１〜第３の変色領域５１１１〜５１１３が存在していたとする。第１の変色領域５１１１と第２の変色領域５１１２との間の距離ｄ１は所定の閾値よりも大きく、第１および第２の変色領域５１１１、５１１２と第３の変色領域５１１３との間の距離ｄ２、ｄ３は所定の閾値よりも短い。この場合、グルーピング処理部２４０は、第１および第２の変色領域５１１１、５１１２を第１の領域グループ５１４１に設定し、第３の変色領域５１１３を第２の領域グループ５１４２に設定する。
図１１のステップＳ１４００において、グルーピング処理部２４０は、グループ分離ルール情報６２０（図９参照）が定義する所定の条件に該当する領域グループが存在するか否かを判断する。グルーピング処理部２４０は、所定の条件に該当する領域グループが存在する場合（Ｓ１４００：ＹＥＳ）、処理をステップＳ１５００へ進める。また、グルーピング処理部２４０は、所定の条件に該当する領域グループが存在しない場合（Ｓ１４００：ＮＯ）、処理を後述のステップＳ１６００へ進める。
ステップＳ１５００において、グルーピング処理部２４０は、グループ分離ルール情報６２０に従って、領域グループに属する複数の変色領域５１１を複数の領域グループに分離する。
例えば、グルーピング処理部２４０は、１つの領域グループに属する変色領域５１１の個数が所定の閾値以上である場合、ステップＳ１５００において、かかる領域グループを複数の領域グループに分割する。また、グルーピング処理部２４０は、１つの領域グループに属する変色領域５１１に要因種別が異なるものが混在している場合、要因種別毎にまとまるように、領域グループを分割する。
ステップＳ１６００において、印刷制御部２５０は、包含領域設定ルール情報６３０（図１０参照）に従って、領域グループ毎に包含領域５１５を決定する。
図１４は、包含領域５１５の設定の様子の一例を示す図である。
図１４に示すように、印刷制御部２５０は、まず、同一の領域グループ５１４に属する１つまたは複数の変色領域５１１の多角形領域５１１ｂの各頂点５１１ｃを取得する。そして、印刷制御部２５０は、同一の領域グループ５１４に属する全ての頂点５１１ｃからなる点の集合に対して、かかる点の集合を包含する楕円のうち、点の集合に対する二乗誤差が最小になる楕円を、包含領域５１５の外形として算出する。
なお、印刷制御部２５０は、所定のルールに基づいて、包含領域５１５が決定された後に、当該包含領域５１５に基づいて、元の領域グループの分割を行い、包含領域５１５の決定のし直しを行ってもよい。例えば、印刷制御部２５０は、「包含領域の変色領域に対する非変色領域の面積比が所定の閾値以上の場合、元の領域グループを分割して再度包含領域を設定する」というルールに基づいて、包含領域５１５の決定のし直しを行う。
また、印刷制御部２５０は、算出された楕円を顔画像に重畳して表示部２０３に表示し、かかる楕円の形状、大きさ、向き等に対する修正操作を、ユーザから受け付けてもよい。
このような処理を行う事により、包含領域５１５を、メイクシート５２０の貼り付け誤差を吸収しつつ、できるだけ小さい面積に設定する事ができる。すなわち、カバー領域５２１の印刷に使用される色素材料（化粧料等）の無駄な消費を低減し、かつ、薬剤等の有効成分を含む場合には、肌の必要な範囲に適切に付与する事ができ、その効果を高める事ができる。
図１１のステップＳ１７００において、印刷制御部２５０は、顔部品の配置から、シート形状を決定する。具体的には、印刷制御部２５０は、顔部品の位置（鼻の穴、目、口、眉毛等）を避けて、抽出された１つまたは複数の変色領域５１１（あるいは、変色領域５１１の外側に所定の幅を持たせた領域）を覆う事ができる閉じた形状（例えば、図２〜図６に示すメイクシート５２０のような形状）を、シート形状として決定する。なお、顔は立体形状を有し、シートは基本形状が平面であるため、シート形状の大きさには５ｃｍ×５ｃｍ以下等の制限が設けられている事が望ましい。
また、印刷制御部２５０は、予め切り込みを設けたメイクシート５２０を用いることにより、あるいは、切り込みが入ったシート形状を決定することにより、シート形状の大きさの制限なく顔の立体形状に適合させるようにしてもよい。例えば、シートの端部に顔の中心から輪郭方向に向かう切り込みを複数個所設けてもよい。さらに鼻等の顔の突起部分を覆う部分については、当該突起部分の両脇に切り込みを設けるようにしてもよく、または点線状の切り込み（スリット）を複数個所設けることにより、顔の立体形状にシートが適合するようにしてもよい。
なお、印刷制御部２５０は、複数の領域グループが存在する場合、かかる領域グループを表示部２０３に表示し、１枚のメイクシート５２０に印刷する領域グループを指定する操作を、ユーザから受け付けてもよい。１枚のメイクシート５２０により多くの領域グループを包含させる場合、一度のシート貼付作業でより多くの変色領域５１１をカバーできるというメリットがある。また、より多くのメイクシート５２０に複数の領域グループを分散させる場合、メイクシート５２０の消費量を抑え、貼り付け位置のハンドリングがし易いというメリットがある。
ステップＳ１８００において、印刷制御部２５０は、ステップＳ１７００で決定されたシート形状を含み、ステップＳ１２００において抽出された周辺色で包含領域５１５に画像を形成する内容の印刷の画像データを、生成する。画像データは、例えば、ＣＭＹＫ形式のデータである。
なお、印刷制御部２５０は、カバー領域５２１の画像のドット密度がカバー領域５２１の外周に近付くにつれて低くなるような画像データ、つまり、カバー領域５２１の外周をぼかした（グラデーションを付けた）画像データを生成する事が望ましい。あるいは、印刷制御部２５０は、このようなぼかしを、カバー領域５２１の外周の外側において行ってもよい。これにより、印刷制御部２５０は、非変色領域との色馴染みが良く自然な仕上がりを実現するようなカバー領域５２１が、メイクシート５２０に印刷されるように、印刷装置３００を制御する事ができる。
また、印刷制御部２５０は、メイクシート５２０の肌側面の包含領域５１５に対応する領域対して、抗炎症成分や美白成分等を有する薬剤を印刷する内容の、画像データを生成する。すなわち、印刷制御部２５０は、メイクシート５２０の各位置に対して、どの薬剤を印刷すべきかを指定する情報を、画像データに含める。印刷制御部２５０は、例えば、情報格納部２１０に予め格納された、要因種別と適切な薬剤との対応関係を記述した情報を参照して、かかる画像データを生成する。
例えば、印刷制御部２５０は、肝斑であると判定された変色領域５１１に対応する包含領域５１５に対し、シミ隠しのための色素材料に加えて、ハイドロキノン系の薬剤を印刷する事を決定する。また、印刷制御部２５０は、雀卵斑であると判定された変色領域５１１に対応する包含領域５１５に対し、シミ隠しのための色素材料に加えて、ＵＶ吸収剤やＵＶ反射剤等の薬剤を印刷する事を決定する。
このように薬剤の印刷についても行う場合、グルーピング処理部２４０が要因種別に基づいてグルーピングを行う事により、薬剤を的確に肌に付与する事ができ、薬剤の無駄な消費を抑えられるだけでなく、その効果を高める事ができる。
ステップＳ１９００において、印刷制御部２５０は、生成された画像データを、印刷装置３００へ出力する。
そして、ステップＳ２０００において、画像取得部２２０は、ユーザ操作等により処理の終了を指示されたか否かを判断する。画像取得部２２０は、処理の終了を指示されていない場合（Ｓ２０００：ＮＯ）、処理をステップＳ１１００へ戻す。また、画像取得部２２０は、処理の終了を指示された場合（Ｓ２０００：ＹＥＳ）、一連の処理を終了する。
このような動作により、画像処理装置２００は、顔の変色領域５１１を自動で抽出し、複数の変色領域５１１をまとめてカバーするカバー領域５２１を有するメイクシート５２０を、印刷装置３００を使用して生成する事ができる。
なお、画像処理装置２００は、複数のメイクシート５２０を印刷する場合に、１枚ずつ順次印刷するか、一度に印刷するかを指定する操作を、ユーザから受け付けてもよい。
＜グルーピングおよび包含領域の具体例＞
次に、複数の変色領域５１１のグルーピングおよび包含領域５１５の具体例を、いくつか列挙する。
図１５〜図１８は、包含領域５１５の設定の仕方の例を示す図である。
例えば、第１のグルーピングルール（図８参照）および第１の包含領域設定ルール（図１０参照）が適用されたとする。この場合、図１５に示すように、変色領域５１１よりも一回り大きい領域（以下「拡張変色領域」という）５１６のうち、距離が近い複数の拡張変色領域５１６がグループ化され、これらに外接する円領域が、包含領域５１５として決定される。
また、例えば、第２のグルーピングルール（図８参照）および第２の包含領域設定ルール（図１０参照）が適用されたとする。この場合、図１６に示すように、複数の変色領域５１１を最小面積で包含する楕円領域が、包含領域５１５として決定される。
また、例えば、第１のグルーピングルール（図８参照）および第３の包含領域設定ルール（図１０参照）が適用されたとする。この場合、図１７に示すように、複数の変色領域５１１を包含し、かつ、変色領域５１１が占める面積の比が所定値となるような楕円領域が、包含領域５１５として決定される。
また、例えば、まず、第１のグルーピングルール（図８参照）、第３のグループ分離ルール（図９参照）、および第３の包含領域設定ルール（図１０参照）が適用されたとする。この場合、図１８に示すように、多数の近接する複数の変色領域５１１は、その配置に応じて２つの領域グループに分割される。そして、それぞれの領域グループを包含し、かつ、変色領域５１１が占める面積の比が所定値となるような２つ楕円領域が、包含領域５１５１、５１５２として決定される。
なお、図１８に示すように、画像処理装置２００は、一旦、第１の包含領域設定ルール（図１０参照）を適用して全ての複数の変色領域５１１の拡張変色領域５１６に外接する楕円領域を包含領域５１５０として生成してもよい。そして、画像処理装置２００は、変色領域５１１が占める面積の比が所定値よりも小さい事を条件として、領域グループの分割を行うようにしてもよい。
図１９は、薄い変色領域５１１の内部に濃い変色領域５１１が存在する肌の様子の一例を示す図である。
図１９に示すように、大きくて薄い変色領域５１１Ｌの内部に、小さくて濃い変色領域５１１Ｓが存在していたとする。薄い変色領域５１１Ｌは、例えば肝斑であり、濃い変色領域５１１Ｓは、例えば老人性色素斑である。言い換えると、薄い変色領域５１１Ｌは、周辺との色の差異が第１のレベル以上の領域であり、濃い変色領域５１１Ｓは、薄い変色領域５１１Ｌの内部において、薄い変色領域５１１Ｌの周辺との色の差異が第１のレベルよりも大きい第２のレベル以上の領域である。
このような場合、画像解析部２３０は、薄い変色領域５１１Ｌと濃い変色領域５１１Ｓとを、レイヤ化して抽出する。すなわち、画像解析部２３０は、内側に位置する濃い変色領域５１１Ｓを含む領域を、薄い変色領域５１１Ｌとして抽出する。すなわち、薄い変色領域５１１Ｌには、濃い変色領域５１１Ｓと重複する領域が含まれる。なお、このような変色領域５１１のレイヤ化は、各変色領域５１１の色に基づいて行ってもよいし、各変色領域５１１の要因種別に基づいて行ってもよい。
図２０は、図１９に示す肌に対する包含領域５１５の設定および画像データの生成の様子の一例を示す図である。
図２０に示すように、例えば、薄い変色領域５１１Ｌおよび濃い変色領域５１１Ｓについて、大きい包含領域５１５Ｌおよび小さい包含領域５１５Ｓが決定される。印刷制御部２５０は、これらの大きい包含領域５１５Ｌおよび小さい包含領域５１５Ｓをレイヤ化して、２つの画像データ５１７Ｉ、５１７Ｏを生成する。
画像データ５１７Ｉは、メイクシート５２０の肌により近い側（下側）で、大きい包含領域５１５Ｌに対応するカバー領域５２１Ｌの印刷を指示するデータである。画像データ５１７Ｏは、メイクシート５２０のより肌からより遠い側（上側）で、小さい包含領域５１５Ｓに対応するカバー領域５２１Ｓの印刷を指示するデータである。
印刷装置３００は、メイクシート５２０の外側面に対して印刷を行う場合、まず画像データ５１７Ｉを印刷し、次いで画像データ５１７Ｏを重ねて印刷する。印刷装置３００は、メイクシート５２０の肌側面に対して印刷を行う場合、まず画像データ５１７Ｏを印刷し、次いで画像データ５１７Ｉを重ねて印刷する。
このように、レイヤ化して包含領域５１５を決定し、画像データ５１７を生成する事により、メイクシート５２０の生成を効率的に行う事ができる。また、上述の例でいえば、濃い変色領域５１１Ｓは、老人性色素斑であるものの、肝斑の一部でもある。したがって、印刷装置３００において色素材料だけでなく薬剤を印刷する場合、薬剤の付与を適切に行う事ができる。
＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る画像処理装置２００は、メイクシート５２０への画像の印刷に用いられる画像データを生成する装置である。画像処理装置２００は、肌画像を取得する画像取得部２２０と、肌画像から変色領域５１１およびその周辺色を抽出する画像解析部２３０とを有する。また、画像処理装置２００は、複数の変色領域５１１をグルーピングし、グループ化された複数の変色領域５１１のまとまり、あるいは、グループ化されなかった１つの変色領域５１１である領域グループ毎に、当該領域グループを包含する包含領域５１５を決定するグルーピング処理部２４０を有する。そして、画像処理装置２００は、メイクシート５２０のうち包含領域５１５に対応する領域に対して包含領域５１５を周辺色に近付ける色素材料を印刷する内容の、画像データを生成する印刷制御部３００を有する。
これにより、本実施の形態に係る画像処理装置２００は、肌への貼り付け時の角度や位置に多少のずれがあったとしても、各変色領域５１１を色素材料により適切に覆うようなメイクシート５２０を実現する事ができる。すなわち、画像処理装置２００は、メイクシート５２０を貼り付ける際の角度調整や座標合わせに許容幅を広く持たせる事ができるため、肌の複数の変色領域５１１を簡単に目立たなくする事を可能にする。
なお、変色領域５１１の配置によらず、できるだけ広い面積で色素材料がメイクシート５２０に印刷されるような画像データを生成する事も考えられる。しかしながら、この場合、ファンデーションを画一的に厚塗りしたような状態になる。したがって、本実施の形態に係る画像処理装置２００は、肌の外観をより自然に保ちつつ、変色領域５１１を目立たなくさせる事ができる。
＜本実施の形態の変形例＞
なお、変色領域５１１の抽出手法、要因種別の判断手法、変色領域５１１のグルーピング手法、包含領域５１５の決定手法、印刷する材料の決定手法、および印刷手法は、上述の例に限定されない。例えば、変色領域５１１の抽出手法、要因種別の判断手法、および変色領域５１１のグルーピング手法としては、既知の分類手法、パターン認識手法、クラスタリング手法、および最適化手法を採用する事ができる。
既知の分類手法としては、例えば、決定木分析、ニューラルネットワーク（深層学習を含む）、およびナイーブベイズが挙げられる。既知のパターン認識手法としては、例えば、ニューラルネットワーク（深層学習を含む）およびサポートベクターマシン（ＳＶＭ）が挙げられる。既知のクラスタリング手法としては、例えば、ｋ−Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ（ｋ−ＮＮ、ｋ近傍法）、ｋ−ｍｅａｎｓ、および階層的クラスタリングが挙げられる。また、既知の最適化手法としては、例えば、遺伝的アルゴリズムが挙げられる。
また、シート形状の決定手法は、上述の例に限定されない。例えば、印刷制御部２５０は、メイクシート５２０のカバー領域５２１以外の部分に、メイクシート５２０を持つための担持部を形成してもよい。
また、画像データの生成手法は、上述の例に限定されない。例えば、画像処理装置２００は、画像解析部２３０において、目尻や口角といった顔特徴点を取得し、印刷制御部２５において、これらの顔特徴点に近接する位置まで拡張したメイクシート形状を決定してもよい。そして、印刷制御部２５０は、かかる顔特徴点に合わせるべき位置を示すマーカを、メイクシート５２０に対して印刷する内容の画像データを生成してもよい。なお、肌に貼り付けた状態が保持されるメイクシート５２０を採用する場合、マーカは、支持体に印刷されるか、温度や乾燥等により時間の経過と共に視認されなくなる素材から成る事が望ましい。
また、印刷制御部２５０は、カバー領域５２１に対して、色や明度にグラデーションを与える内容の画像データを生成してもよい。この場合、画像解析部２３０あるいは印刷制御部２５０は、包含領域５１５の周辺の複数の位置について個別に周辺色を抽出し、抽出された複数の周辺色に基づいて、滑らかに色あるいは明度が変化するカバー領域５２１の画像データを生成する。
また、画像処理装置２００は、画像データ以外の各種情報を出力（表示、音声出力、送信）してもよい。例えば、ユーザのスマートフォン等の外部の表示装置と連携し、ユーザに対して、変色領域５１１の改善に効果的な内服薬や食事メニューの提案を行ってもよい。例えば、肝斑の場合、画像処理装置２００は、トラネキサム酸やビタミンＣの摂取を提案する事ができる。
また、画像処理装置２００が処理の対象とする画像は、顔画像以外であってもよく、例えば、手の甲や腕の肌を撮影した画像であってもよい。
また、画像処理装置２００の構成の一部は、当該装置の構成の他の部分と物理的に離隔していてもよい。この場合、それらの離隔した複数の部分は、互いに通信を行うための通信部をそれぞれ備える必要がある。例えば、画像処理装置２００の機能の一部は、クラウド化されていてもよい。また、画像処理装置２００および印刷装置３００は、一体的に構成されていてもよい。また、画像処理装置２００および印刷装置３００の配置は、上述の例に限定されない。例えば、印刷装置３００は、印刷工場等、画像処理装置２００から離隔した場所に配置され、インターネット等の通信網を介して画像データを受信してもよい。
＜本開示のまとめ＞
本開示の画像処理装置は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置であって、前記肌を撮影した肌画像を取得する画像取得部と、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、複数の前記変色領域をグルーピングし、グループ化された前記複数の変色領域のまとまり、あるいは、グループ化されなかった１つの前記変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するグルーピング処理部と、前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成する印刷制御部と、を有する。
なお、上記画像処理装置において、前記画像解析部は、前記肌画像が顔を撮影した顔画像であるとき、前記顔画像から顔部品を抽出し、前記グルーピング処理部は、前記顔部品の位置および前記変色領域の位置に基づいて、前記グルーピングを行うと共に前記包含領域を決定してもよい。
また、上記画像処理装置において、前記印刷制御部は、前記顔部品の位置および前記包含領域の位置に基づいて、前記顔における前記シートの形状を決定し、決定された前記形状で前記シートを形成する旨の指示を含む前記画像データを出力してもよい。
また、上記画像処理装置において、前記グルーピング処理部は、前記複数の変色領域の間の距離に基づいて、前記領域グループを決定してもよい。
また、上記画像処理装置において、前記グルーピング処理部は、前記複数の変色領域のそれぞれの色に基づいて、前記領域グループを決定してもよい。
また、上記画像処理装置において、前記グルーピング処理部は、前記領域グループに属する１つまたは複数の前記変色領域の配置に基づいて、前記包含領域の形状を決定してもよい。
また、上記画像処理装置において、前記グルーピング処理部は、前記変色領域毎に当該変色領域の要因種別を判定し、判定された前記要因種別に基づいて前記領域グループを決定し、前記印刷制御部は、前記包含領域に対して前記要因種別に対応する薬剤が付与される内容の前記画像データを生成してもよい。
また、上記画像処理装置において、前記画像解析部は、前記肌において、周辺との色の差異が第１のレベル以上である第１の変色領域と、第１の変色領域内において、前記周辺との色の差異が第１のレベルよりも大きい第２のレベル以上である第２の変色領域と、が存在するとき、前記肌画像から前記第１の変色領域および前記第２の変色領域を抽出し、前記グルーピング処理部は、前記第１の変色領域と前記第２の変色領域とで分離して前記グルーピングを行い、前記第１の変色領域に対応する第１の前記包含領域および前記第２の変色領域に対応する第２の前記包含領域を決定し、前記印刷制御部は、前記シートのうち、前記第１の包含領域に対応する領域に対して、前記第１の包含領域を前記周辺色に近付ける色素材料を印刷する内容の第１の前記画像データと、前記シートのうち、前記第２の包含領域に対応する領域に対して、前記第２の包含領域を前記周辺色に近付ける色素材料を印刷する内容の第２の前記画像データと、を生成してもよい。
また、上記画像処理装置において、前記印刷制御部は、前記シートへの印刷を行う印刷部に用いられる前記画像データを出力してもよい。
本開示の画像処理方法は、肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理方法であって、前記肌を撮影した肌画像を取得するステップと、前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、複数の前記変色領域をグルーピングし、グループ化された複数の前記変色領域のまとまり、あるいは、グループ化されなかった１つの変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するステップと、前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成するステップと、を有する。
本開示に係る画像表示装置および画像処理方法は、肌の複数の変色領域を簡単に目立たなくする事を可能にする画像処理装置および画像処理方法として有用である。
１００ メイク支援システム
２００ 画像処理装置
２０１ 照明部
２０２ カメラ
２０３ 表示部
２１０ 情報格納部
２２０ 画像取得部
２３０ 画像解析部
２４０ グルーピング処理部
２５０ 印刷制御部
３００ 印刷装置

Claims (10)

  1. 肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理装置であって、
    前記肌を撮影した肌画像を取得する画像取得部と、
    前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出する画像解析部と、
    複数の前記変色領域をグルーピングし、グループ化された前記複数の変色領域のまとまり、あるいは、グループ化されなかった１つの前記変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するグルーピング処理部と、
    前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成する印刷制御部と、を有する、
    画像処理装置。
  2. 前記画像解析部は、
    前記肌画像が顔を撮影した顔画像であるとき、前記顔画像から顔部品を抽出し、
    前記グルーピング処理部は、
    前記顔部品の位置および前記変色領域の位置に基づいて、前記グルーピングを行うと共に前記包含領域を決定する、
    請求項１に記載の画像処理装置。
  3. 前記印刷制御部は、
    前記顔部品の位置および前記包含領域の位置に基づいて、前記顔における前記シートの形状を決定し、決定された前記形状で前記シートを形成する旨の指示を含む前記画像データを出力する、
    請求項２に記載の画像処理装置。
  4. 前記グルーピング処理部は、
    前記複数の変色領域の間の距離に基づいて、前記領域グループを決定する、
    請求項１に記載の画像処理装置。
  5. 前記グルーピング処理部は、
    前記複数の変色領域のそれぞれの色に基づいて、前記領域グループを決定する、
    請求項１に記載の画像処理装置。
  6. 前記グルーピング処理部は、
    前記領域グループに属する１つまたは複数の前記変色領域の配置に基づいて、前記包含領域の形状を決定する、
    請求項１に記載の画像処理装置。
  7. 前記グルーピング処理部は、
    前記変色領域毎に当該変色領域の要因種別を判定し、判定された前記要因種別に基づいて前記領域グループを決定し、
    前記印刷制御部は、
    前記包含領域に対して前記要因種別に対応する薬剤が付与される内容の前記画像データを生成する、
    請求項１に記載の画像処理装置。
  8. 前記画像解析部は、
    前記肌において、周辺との色の差異が第１のレベル以上である第１の変色領域と、第１の変色領域内において、前記周辺との色の差異が第１のレベルよりも大きい第２のレベル以上である第２の変色領域と、が存在するとき、前記肌画像から前記第１の変色領域および前記第２の変色領域を抽出し、
    前記グルーピング処理部は、
    前記第１の変色領域と前記第２の変色領域とで分離して前記グルーピングを行い、前記第１の変色領域に対応する第１の前記包含領域および前記第２の変色領域に対応する第２の前記包含領域を決定し、
    前記印刷制御部は、
    前記シートのうち、前記第１の包含領域に対応する領域に対して、前記第１の包含領域を前記周辺色に近付ける色素材料を印刷する内容の第１の前記画像データと、前記シートのうち、前記第２の包含領域に対応する領域に対して、前記第２の包含領域を前記周辺色に近付ける色素材料を印刷する内容の第２の前記画像データと、を生成する、
    請求項１に記載の画像処理装置。
  9. 前記印刷制御部は、
    前記シートへの印刷を行う印刷部において用いられる前記画像データを出力する、
    請求項１に記載の画像処理装置。
  10. 肌に貼り付け可能なシートへの画像の印刷に用いられる画像データを生成する画像処理方法であって、
    前記肌を撮影した肌画像を取得するステップと、
    前記肌画像から、前記肌のうち、周辺との色の差異が所定レベル以上である変色領域と、前記変色領域の周辺の色である周辺色と、を抽出するステップと、
    複数の前記変色領域をグルーピングし、グループ化された複数の前記変色領域のまとまり、あるいは、グループ化されなかった１つの変色領域である領域グループ毎に、当該領域グループを包含する包含領域を決定するステップと、
    前記シートのうち前記包含領域に対応する領域に対して前記包含領域を前記周辺色に近付ける色素材料を印刷する内容の、前記画像データを生成するステップと、を有する、
    画像処理方法。
JP2016037336A 2016-02-29 2016-02-29 画像処理装置および画像処理方法 Active JP6722866B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016037336A JP6722866B2 (ja) 2016-02-29 2016-02-29 画像処理装置および画像処理方法
CN201710063507.5A CN107125904B (zh) 2016-02-29 2017-02-03 图像处理装置以及图像处理方法
US15/430,406 US10027854B2 (en) 2016-02-29 2017-02-10 Image processing apparatus and method to generate image data for printing on skin attachable sheet based on discolored skin region and color of surrounding skin
EP17155937.0A EP3211566A1 (en) 2016-02-29 2017-02-14 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016037336A JP6722866B2 (ja) 2016-02-29 2016-02-29 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2017153555A true JP2017153555A (ja) 2017-09-07
JP6722866B2 JP6722866B2 (ja) 2020-07-15

Family

ID=58094194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016037336A Active JP6722866B2 (ja) 2016-02-29 2016-02-29 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10027854B2 (ja)
EP (1) EP3211566A1 (ja)
JP (1) JP6722866B2 (ja)
CN (1) CN107125904B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022528128A (ja) * 2019-04-12 2022-06-08 アークソフト コーポレイション リミテッド 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3015927A1 (fr) * 2013-12-27 2015-07-03 Oreal Procede de maquillage par transfert et dispositif associe.
JP6868847B2 (ja) * 2016-06-29 2021-05-12 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法
CN109522839A (zh) * 2018-11-15 2019-03-26 北京达佳互联信息技术有限公司 一种人脸皮肤区域确定方法、装置、终端设备及存储介质
WO2023028483A1 (en) * 2021-08-25 2023-03-02 L'oreal Systems, devices, and methods including color-coded substrates for spot-correction of blemishes, acne, and secondary skin concerns
FR3129577B1 (fr) * 2021-12-01 2024-02-09 Oreal SYSTÈMES, dispositifs et PROCÉDÉS comportant des substrats À code couleur pour la correction ponctuelle d’imperfections, de l’ACNÉ et de PROBLÈMES de peau secondaires

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142005A (ja) * 2004-10-22 2006-06-08 Shiseido Co Ltd 肌状態診断システムおよび美容のためのカウンセリングシステム
JP2008543450A (ja) * 2005-06-16 2008-12-04 バイオレーズ テクノロジー インコーポレイテッド カスタマイズされた組織画像を担持する組織被覆材
JP2009003842A (ja) * 2007-06-25 2009-01-08 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP2014120122A (ja) * 2012-12-19 2014-06-30 Canon Inc 領域抽出装置、領域抽出方法、及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03157313A (ja) 1989-11-15 1991-07-05 Miyauchi Kako Kk カード型化粧品
JPH09302294A (ja) 1996-05-15 1997-11-25 Sanei Gen F F I Inc インクジェット印刷用可食性インキ
JP3779570B2 (ja) 2001-07-30 2006-05-31 デジタルファッション株式会社 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5547730B2 (ja) * 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
FR2944899B1 (fr) * 2009-04-23 2014-04-25 Lvmh Rech Procede et appareil de caracterisation des taches pigmentaires et procede d'appreciation de l'effet de traitement d'une tache pigmentaire par un produit cosmetique
FR2944898B1 (fr) * 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique
JP2012203425A (ja) 2011-03-23 2012-10-22 Seiko Epson Corp 画像処理装置、画像処理方法、および印刷装置
CN103649987B (zh) * 2011-07-07 2018-05-25 花王株式会社 脸印象分析方法、美容信息提供方法和脸图像生成方法
JP5997068B2 (ja) 2013-01-22 2016-09-21 ナノシータ株式会社 シート状積層体およびシート状積層体の製造方法
WO2014132594A1 (ja) * 2013-03-01 2014-09-04 パナソニック株式会社 転写装置および印刷装置
JP5671708B1 (ja) * 2013-03-01 2015-02-18 パナソニックＩｐマネジメント株式会社 生体適合性を有する薄膜に機能性材料を印刷する装置および印刷する方法
JP2015043836A (ja) 2013-08-27 2015-03-12 大日本印刷株式会社 画像処理装置、プログラム及び画像処理システム
JP6138745B2 (ja) * 2014-11-19 2017-05-31 株式会社 資生堂 シミ評価装置、及びシミ評価プログラム
JP6655789B2 (ja) * 2016-03-08 2020-02-26 パナソニックＩｐマネジメント株式会社 画像処理装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006142005A (ja) * 2004-10-22 2006-06-08 Shiseido Co Ltd 肌状態診断システムおよび美容のためのカウンセリングシステム
JP2008543450A (ja) * 2005-06-16 2008-12-04 バイオレーズ テクノロジー インコーポレイテッド カスタマイズされた組織画像を担持する組織被覆材
JP2009003842A (ja) * 2007-06-25 2009-01-08 Noritsu Koki Co Ltd 画像処理装置及び画像処理方法
JP2014120122A (ja) * 2012-12-19 2014-06-30 Canon Inc 領域抽出装置、領域抽出方法、及びコンピュータプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022528128A (ja) * 2019-04-12 2022-06-08 アークソフト コーポレイション リミテッド 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
JP7413400B2 (ja) 2019-04-12 2024-01-15 アークソフト コーポレイション リミテッド 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
CN107125904B (zh) 2021-01-29
US20170251130A1 (en) 2017-08-31
US10027854B2 (en) 2018-07-17
CN107125904A (zh) 2017-09-05
JP6722866B2 (ja) 2020-07-15
EP3211566A1 (en) 2017-08-30

Similar Documents

Publication Publication Date Title
JP6722866B2 (ja) 画像処理装置および画像処理方法
EP3216370B1 (en) Image processing apparatus, printer apparatus, and image processing method
US10413042B2 (en) Makeup support device, makeup support method, and makeup support program
US11147357B2 (en) System and method for applying a reflectance modifying agent to improve the visual attractiveness of human skin
JP6868847B2 (ja) 画像処理装置および画像処理方法
AU2013200395B2 (en) System and method for applying a reflectance modifying agent to improve the visual attractiveness of human skin
JPWO2018061595A1 (ja) 薄膜および薄膜形成方法
JP7117541B2 (ja) シート

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200604

R151 Written notification of patent or utility model registration

Ref document number: 6722866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151