CN108399364A - 一种主副摄像头设置的脸部状态评估方法 - Google Patents

一种主副摄像头设置的脸部状态评估方法 Download PDF

Info

Publication number
CN108399364A
CN108399364A CN201810084780.0A CN201810084780A CN108399364A CN 108399364 A CN108399364 A CN 108399364A CN 201810084780 A CN201810084780 A CN 201810084780A CN 108399364 A CN108399364 A CN 108399364A
Authority
CN
China
Prior art keywords
face
image
assessment
detection zone
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810084780.0A
Other languages
English (en)
Inventor
陈碧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Mei Jie Technology Co Ltd
Original Assignee
Hangzhou Mei Jie Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Mei Jie Technology Co Ltd filed Critical Hangzhou Mei Jie Technology Co Ltd
Priority to CN201810084780.0A priority Critical patent/CN108399364A/zh
Publication of CN108399364A publication Critical patent/CN108399364A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种主副摄像头设置的脸部状态评估方法,属于皮肤检测技术领域;方法包括:采用第一图像采集装置持续获取外部图像,并将外部图像发送至处理装置;采用预设于处理装置内部的人脸模板对外部图像进行匹配:采用第二图像采集装置获取外部图像以作为待检测图像,并将待检测图像上传至与第二图像采集装置远程连接的一云服务器中;云服务器识别得到待检测图像中的所有脸部皮肤特征点,并根据脸部皮肤特征点对每个第一检测区域进行定位;云服务器采用对应的第一评估单元进行皮肤状态评估,并分别输出评估结果;上述技术方案的有益效果是:提供给用户自动化的脸部状态评估服务,无需用户手动控制,用户体验佳,且功耗和成本低。

Description

一种主副摄像头设置的脸部状态评估方法
技术领域
本发明涉及皮肤检测技术领域,尤其涉及一种主副摄像头设置的脸部状态评估方法。
背景技术
随着人们生活品质的提升,越来越多的人特别是女性开始关注自身的皮肤状况,越来越多的针对皮肤状况的保养产品也在市场上占据了非常重要的地位。其中,女性尤其会关注脸部的皮肤状况,例如眼角是否有皱纹、面部是否有法令纹等,并且会根据这些皮肤状况选择使用不同的保养产品。
目前的市场上,虽然存在一些皮肤检测设备,例如皮肤检测仪等,但是这些皮肤检测设备的价格比较昂贵,并且操作非常复杂,不适合用户在家中使用。同时,这类皮肤检测设备无法准确地区分皮肤的不同区域检测这些区域内特有的一些皮肤问题,从而导致皮肤检测结果比较笼统,无法准确反应用户皮肤的真实状态。
一些皮肤检测产品已经能够提供较为准确和综合的皮肤检测服务了,但是使用过程中往往需要手动操作控制产品的启动,自动化程度不高,限制了产品的使用范围,用户体验较差,若保持产品长时间开启则功耗较大。
发明内容
根据现有技术中存在的上述问题,现提供一种主副摄像头设置的脸部状态评估方法的技术方案,旨在提供给用户全面和准确的脸部状态评估结果,帮助用户随时掌握脸部状态,并且实现简单,检测和评估过程无需专业设备,降低检测门槛。
上述技术方案具体包括:
一种主副摄像头设置的脸部状态评估方法,其中,于人脸区域内设置多个脸部皮肤特征点,并将所有所述脸部皮肤特征点划分为用于定位不同的多个第一检测区域内,每个所述第一检测区域被用于评估人脸的一项皮肤状态,以及针对每个所述第一检测区域分别设置至少一个第一评估单元,还包括一持续工作的第一图像采集装置,一初始处于关闭状态的第二图像采集装置以及一分别连接所述第一图像采集装置和所述第二图像采集装置的处理装置;
所述脸部状态评估方法具体包括:
步骤S1,采用所述第一图像采集装置持续获取外部图像,并将所述外部图像发送至所述处理装置;
步骤S2,采用预设于所述处理装置内部的人脸模板对所述外部图像进行匹配:
若所述外部图像匹配于所述人脸模板,则执行步骤S3;
若所述外部图像不匹配于所述人脸模板,则返回所述步骤S1;
步骤S3,采用所述第二图像采集装置获取所述外部图像以作为待检测图像,并将所述待检测图像上传至与所述图像采集装置远程连接的一云服务器中;
步骤S4,所述云服务器识别得到所述待检测图像中的所有所述脸部皮肤特征点,并根据所述脸部皮肤特征点对每个所述第一检测区域进行定位;
步骤S5,所述云服务器采用对应的所述第一评估单元分别对每个所述第一检测区域进行皮肤状态评估,并分别输出评估结果;
步骤S6,所述云服务器将所述评估结果下发至远程连接所述云服务器的用户终端,以供用户查看。
优选的,该脸部状态评估方法,其中,所述第一图像采集装置、所述第二图像采集装置均设置在一化妆镜上,所述第二图像采集装置连接设置于所述化妆镜内的通讯装置;
所述处理装置设置于所述化妆镜内部;
所述化妆镜通过所述通讯装置远程连接所述云服务器,并通过所述通讯装置将所述第二图像采集装置采集得到的所述外部图像上传至所述云服务器中;
所述第一图像采集装置和所述第二图像采集装置均设置于所述化妆镜上的同一个图像采集支架上。
优选的,该脸部状态评估方法,其中,所述第一检测区域包括一用于对用户人脸的皮肤油分状态进行评估的油分检测区域;
所述油分检测区域进一步包括:
用户人脸的额头区域;和/或
用户人脸的左脸颊区域;和/或
用户人脸的右脸颊区域;和/或
用户人脸的下巴区域。
优选的,该脸部状态评估方法,其中,所述第一检测区域包括一用于对用户人脸的皮肤清洁状态进行评估的清洁度检测区域;
所述清洁度检测区域进一步包括:
用户人脸的鼻子区域;和/或
用户人脸的全脸区域。
优选的,该脸部状态评估方法,其中,对应所述清洁度检测区域的所述评估结果包括:
用于表示所述鼻子区域的皮肤清洁度的第一评估子结果;和/或
用于表示所述全脸区域是否有彩妆残留的第二评估子结果;和/或
用于表示所述全脸区域是否有荧光的第三评估子结果。
优选的,该脸部状态评估方法,其中,所述第一检测区域包括一用于对用户人脸的皮肤过敏状态进行评估的过敏检测区域;
所述过敏检测区域进一步包括:
用户人脸的左脸颊区域;和/或
用户人脸的右脸颊区域。
优选的,该脸部状态评估方法,其中,所述第一检测区域包括一用于对用户人脸的皮肤色斑状态进行评估的色斑检测区域;
所述色斑检测区域进一步包括:
用户人脸的全脸区域。
优选的,该脸部状态评估方法,其中,每个所述第一评估单元中包括一预先训练形成的评估模型;
采用深度神经网络,根据预先设置的多个训练数据对对所述评估模型进行评估;
每个所述训练数据对中包括对应的所述第一检测区域内的图像以及针对所述图像的评估结果。
优选的,该脸部状态评估方法,其中,还包括一第二检测区域,所述第二检测区域用于对用户人脸的皮肤肤色状态进行评估;
所述步骤S3中,在采用所述第一评估单元对所述第一检测区域进行评估的同时,采用一第二评估单元对所述第二检测区域进行评估,并输出相应的评估结果;
所述步骤S4中,将所述第一评估单元输出的评估结果和所述第二评估单元输出的评估结果下发至远程连接所述云服务器的用户终端,以供用户查看;
所述第二检测区域进一步包括:
用户人脸的左脸颊区域,以及用户人脸的右脸颊区域。
优选的,该脸部状态评估方法,其中,所述步骤S5中,采用所述第二评估单元进行处理的过程具体包括:
步骤S51,处理得到所述左脸颊区域的每个像素的RGB值,以及处理得到所述右脸颊区域的每个像素的RGB值;
步骤S52,根据所述左脸颊区域的每个像素的RGB值和所述右脸颊区域的每个像素的RGB值进行平均计算,以得到一肤色数值;
步骤S53,根据预先设定的肤色数值表格对所述肤色数值进行查询,以得到用于表示用户肤色的所述评估结果并输出。
上述技术方案的有益效果是:提供一种主副摄像头设置的脸部状态评估方法,能够提供给用户自动化的脸部状态评估服务,无需用户手动控制,用户体验佳,且功耗和成本低。
附图说明
图1是本发明的较佳的实施例中,一种主副摄像头设置的脸部状态评估方法的总体流程示意图;
图2-7是本发明的较佳的实施例中,人脸区域内的不同的检测区域的示意图;
图8是本发明的较佳的实施例中,采用第二评估单元对第二检测区域进行评估的具体流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明,但不作为本发明的限定。
根据现有技术中存在的上述问题,现提供一种主副摄像头设置的脸部状态评估方法,该方法中,首先于人脸区域内设置多个脸部皮肤特征点,并将所有脸部皮肤特征点划分为用于定位不同的多个检测区域内,每个检测区域被用于评估人脸的一项皮肤状态,以及针对每个检测区域分别设置至少一个评估单元,还包括一持续工作的第一图像采集装置,一初始处于关闭状态的第二图像采集装置以及一分别连接第一图像采集装置和第二图像采集装置的处理装置。
该方法具体如图1中所示,包括:
步骤S1,采用第一图像采集装置持续获取外部图像,并将外部图像发送至处理装置;
步骤S2,采用预设于处理装置内部的人脸模板对外部图像进行匹配:
若外部图像匹配于人脸模板,则执行步骤S3;
若外部图像不匹配于人脸模板,则返回步骤S1;
步骤S3,采用第二图像采集装置获取外部图像以作为待检测图像,并将待检测图像上传至与第二图像采集装置远程连接的一云服务器中;
步骤S4,云服务器识别得到待检测图像中的所有脸部皮肤特征点,并根据脸部皮肤特征点对每个第一检测区域进行定位;
步骤S5,云服务器采用对应的第一评估单元分别对每个第一检测区域进行皮肤状态评估,并分别输出评估结果;
步骤S6,云服务器将评估结果下发至远程连接云服务器的用户终端,以供用户查看。
具体地,本实施例中,在皮肤状态评估的过程中,首先执行一个皮肤信息采集的过程,该过程中,采用第一图像采集装置获取外部图像,并将外部图像发送至处理装置,采用预设于处理装置内部的人脸模板对外部图像进行匹配,于匹配结果为是时,采用第二图像采集装置获取外部图像作为待检测图像,上传至远程连接该第二图像采集装置的一云服务器中。判断是否匹配人脸模板的方法可以是于外部图像中的人脸与人脸模板的匹配度达到一预设值时,判断结果为匹配,反之则认为是不匹配。常开的第一图像采集装置可以是功耗和/或清晰度较低的设备,从而起到节省功耗和/或成本的目的。
本实施例中,上述云服务器获取到外部图像后,根据之前预设的脸部皮肤特征点对外部图像进行识别,以根据识别得到的脸部皮肤特征点来对外部图像进行划分,从而形成多个不同的第一检测区域。具体地,本发明中预设的脸部皮肤特征点有68个,其分布情况详见图2。云服务器从该外部图像中识别得到所有预设的脸部特征点,以组成如图2中所示的由脸部特征点形成的特征图像。
并且,云服务器根据位于上述特征图像中的所有脸部特征点对整个特征图像进行划分,从而形成多个第一检测区域,不同的第一检测区域提供给云服务器对一种皮肤状态进行检测和评估。
在外部图像上分别划分形成各个第一检测区域后,云服务器针对每个第一检测区域,分别采用对应的第一评估单元进行评估,从而输出评估结果。云服务器将各个评估结果发送至远程连接云服务器的用户终端,从而完成脸部皮肤状态的评估。
本发明的较佳的实施例中,为了便于用户使用皮肤评估的功能,将上述第一图像采集装置、第二图像采集装置均设置在一化妆镜上。当用户使用化妆镜时,就可以通过第一图像采集装置和第二图像采集先后采集用户的外部图像。
进一步地,上述第一图像采集装置和/或第二图像采集装置可以为一个摄像头,即将摄像头安装在化妆镜上,以对用户人脸进行拍摄,获得外部图像。
更进一步地,为了将外部图像上传至云服务器,在上述化妆镜内部还应当设置一个通讯装置,上述第二图像采集装置连接通讯装置,并且通过通讯装置将上述外部图像上传至云服务器中。具体地,上述通讯装置可以为内置于化妆镜内部的无线通讯模块,并且通过室内的路由器连接至远程的云服务器;上述处理装置也可以设置于化妆镜内部;第一图像采集装置和第二图像采集装置可以均设置于化妆镜上的同一个图像采集支架上。
本发明的较佳的实施例中,不同的第一检测区域所对应的皮肤评估的类型各不相同,具体如下:
1)第一检测区域包括一用于对用户人脸的皮肤油分状态进行评估的油分检测区域;
油分检测区域进一步包括下文中所述的一种或几种:
用户人脸的额头区域;
用户人脸的左脸颊区域;
用户人脸的右脸颊区域;
用户人脸的下巴区域。
上述油分检测区域具体如图4中所示,其中1区域为额头区域,2区域为左脸颊区域,3区域为右脸颊区域,4区域为下巴区域。图4中的这些区域都是脸部最容易出油的部分,通过对这些区域的检测和评估就能对脸部的皮肤油分状态进行评估。
进一步地,在实际检测的过程中,可以选择上述区域中的任意一个或者几个区域构成油分检测区域,也可以为了检测的准确程度选择所有上述区域构成油分检测区域,来对脸部的皮肤油分状态进行检测和评估。
2)第一检测区域包括一用于对用户人脸的皮肤清洁状态进行评估的清洁度检测区域;
清洁度检测区域进一步包括下文中所述的一种或几种:
用户人脸的鼻子区域;
用户人脸的全脸区域。
上述清洁度检测区域具体如图5中所示,其中1区域为鼻子区域,全脸区域即为整体的外部图像,在图5中不进行标注。通过对图5中的这些区域的检测和评估就能对脸部的皮肤清洁度状态进行评估。
进一步地,在实际检测的过程中,可以选择上述区域中的任意一个区域构成清洁度检测区域,也可以为了检测的准确程度选择所有上述区域构成清洁度检测区域,来对脸部的皮肤清洁度状态进行检测和评估。
更进一步地,对应清洁度检测区域的评估结果包括用于表示鼻子区域的皮肤清洁度的第一评估子结果;和/或用于表示全脸区域是否有彩妆残留的第二评估子结果;和/或用于表示全脸区域是否有荧光的第三评估子结果。
具体地,清洁度评估总共分为三部分:第一部分是鼻子部分图像的清洁度评估,即上述第一评估子结果;第二部分是全脸部分图像的彩妆残留检测,即上述第二评估子结果,当第二评估子结果表示有彩妆残留时可以通过云服务器向用户终端进行报警提示;第三部分是全脸部分图像的荧光检测,即上述第三评估子结果,当第三评估子结果表示脸部有荧光时可以通过云服务器向用户终端进行报警提示。
由于清洁度检测分为三个部分,因此对应于清洁度检测区域的评估单元也应当包括三个单元,即对应于第一评估子结果的第一评估子单元、对应于第二评估子结果的第二评估子单元和对应于第三评估子结果的第三评估子单元。上述第一评估子单元、第二评估子单元和第三评估子单元的形成和工作原理与其他评估单元相同,在下文中会详述。
3)第一检测区域包括一用于对用户人脸的皮肤过敏状态进行评估的过敏检测区域;
过敏检测区域进一步包括下文中的一种或者几种:
用户人脸的左脸颊区域;
用户人脸的右脸颊区域。
上述过敏检测区域具体如图6中所示,其中1区域为左脸颊区域,2区域为右脸颊区域。通过对图6中的这些区域的检测和评估就能对脸部的皮肤过敏状态进行评估。
进一步地,在实际检测的过程中,可以选择上述区域中的任意一个区域构成过敏检测区域,也可以为了检测的准确程度选择所有上述区域构成过敏检测区域,来对脸部的皮肤过敏状态进行检测和评估。
更进一步地,在实际检测的过程中,需要对左脸颊和/或右脸颊的红血丝图像进行检测来评估皮肤过敏状态,即对应于过敏检测区域的上述评估单元的输入数据为左脸颊区域和/或右脸颊区域的红血丝图像。
4)第一检测区域包括一用于对用户人脸的皮肤色斑状态进行评估的色斑检测区域;
色斑检测区域进一步包括用户人脸的全脸区域。
具体地,如图7中所示,上述色斑检测区域包括外部图像中的全脸区域,但是其重点检测区域为颧骨以上眼睛以下的位置,即图7中的1区域和2区域。换言之,1区域和2区域检测和评估的结果在整体色斑评估结果中的权重比较高,其余全脸区域的比重较低。通过上述检测和评价即可以对脸部的皮肤色斑状态进行检测和评估。
本发明的较佳的实施例中,每个第一评估单元中包括一预先训练形成的评估模型;
采用深度神经网络,根据预先设置的多个训练数据对对评估模型进行评估;
每个训练数据对中包括对应的第一检测区域内的图像以及针对该图像的评估结果。
具体地,本实施例中,上述训练数据对中的评估结果可以为人工标注的评估分数。
以皮肤油分评估为例,训练对应于油分检测区域的第一评估单元中的评估模型的每个训练数据对中包括一幅上述油分检测区域的图像,以及针对该图像的人工标注的评估分数,通过多个训练数据对的训练最终形成该评估模型。
再以皮肤过敏评估为例,训练对应于过敏检测区域的第一评估单元中的评估模型的每个训练数据对中包括一幅上述过敏检测区域的图像,以及针对该图像的人工标注的评估分数,通过多个训练数据对的训练最终形成该评估模型。
本实施例中,对应于上述清洁度检测区域的第一评估子单元、第二评估子单元和第三评估子单元中的评估模型也根据上述方式训练形成,具体为:
第一评估子单元的训练数据对中包括一幅上述鼻子区域的图像,以及针对该图像的人工标注的用于表示鼻子部分是否清洁的评估分数;
第二评估子单元的训练数据对中包括一幅上述全脸区域的图像,以及针对该图像的人工标注的用于表示全脸检测是否有彩妆残留的评估结果,该评估结果可以直接为“是”或者“否”的判断结果,无需用具体的分数数值来表示。更进一步地,只有当第二评估子单元输出的评估结果为“是”时,云服务器才向用户终端下发评估结果,即向用户终端报警提示。
第三评估子单元的训练数据对中包括一幅上述全脸区域的图像,以及针对该图像的人工标注的用于表示全脸荧光检测的评估结果,该评估结果同样可以为“是”或者“否”的判断结果,无需用具体的分数数值来表示。更进一步地,只有当第三评估子单元输出的评估结果为“是”时,云服务器才向用户终端下发评估结果,即向用户终端报警提示。
本发明的较佳的实施例中,上述方法中,还在外部图像上设置一第二检测区域,该第二检测区域用于对用户人脸的皮肤肤色状态进行评估,其具体包括用户人脸的左脸颊区域,以及用户人脸的右脸颊区域。
上述第二检测区域同样由上述识别得到的脸部特征点划分形成,其形成的原理与上述第一检测区域相同,在此不再赘述。
具体地,上述第二检测区域与图6中所示的过敏检测区域重合,即1区域表示左脸颊区域,2区域表示右脸颊区域。因此同样采用图6来表示肤色检测区域。
对上述第二检测区域的检测采用第二评估单元进行,即上述步骤S5中,在采用第一评估单元对第一检测区域进行评估的同时,采用一第二评估单元对第二检测区域进行评估,并输出相应的评估结果;
上述步骤S6中,将第一评估单元输出的评估结果和第二评估单元输出的评估结果下发至远程连接云服务器的用户终端,以供用户查看。
进一步地,本发明的较佳的实施例中,上述步骤S5中,采用第二评估单元进行处理的过程具体如图8中所示,包括:
步骤S51,处理得到左脸颊区域的每个像素的RGB值,以及处理得到右脸颊区域的每个像素的RGB值;
步骤S52,根据左脸颊区域的每个像素的RGB值和右脸颊区域的每个像素的RGB值进行平均计算,以得到一肤色数值;
步骤S53,根据预先设定的肤色数值表格对肤色数值进行查询,以得到用于表示用户肤色的评估结果并输出。
具体地,本实施例中,上述第二评估单元与第一评估单元不同,其不是根据训练形成的评估模型来对第二检测区域进行检测的,而是根据左脸颊区域每个像素的RGB值和右脸颊区域每个像素的RGB值进行平均计算得到上述评估结果。
本发明的一个实施例中,如上文中所述,上述步骤S6中,云服务器可以选择将所有第一评估单元输出的评估结果以及第二评估单元输出的评估结果全部下发至用户终端,以供用户查看。
本发明的另一个实施例中,上述步骤S6中,云服务器可以整合所有第一评估单元输出的评估结果,并连同第二评估单元输出的评估结果一起下发至用户终端,以供用户查看。本实施例中,可以采用为每个第一评估单元的评估结果设定权重值的方式来根据所有第一评估单元的评估结果加权计算得到一个整体评估结果,并将其连同第二评估单元输出的评估结果一起下发到用户终端。需要注意的是,上述第二评价子结果和第三评价子结果由于不是分数数值形式的,因此不参与加权计算,需要单独下发至用户终端。
本发明的另一个实施例中,上述步骤S6中,云服务器还可以整合所有第一评估单元输出的评估结果以及第二评估单元输出的评估结果,同样采用加权计算的方式计算得到一个整体评估结果并下发至用户终端。同样地,上述第二评价子结果和第三评价子结果由于不是分数数值形式的,因此不参与加权计算,需要单独下发至用户终端。
以上所述仅为本发明较佳的实施例,并非因此限制本发明的实施方式及保护范围,对于本领域技术人员而言,应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案,均应当包含在本发明的保护范围内。

Claims (10)

1.一种主副摄像头设置的脸部状态评估方法,其特征在于,于人脸区域内设置多个脸部皮肤特征点,并将所有所述脸部皮肤特征点划分为用于定位不同的多个第一检测区域内,每个所述第一检测区域被用于评估人脸的一项皮肤状态,以及针对每个所述第一检测区域分别设置至少一个第一评估单元,还包括一持续工作的第一图像采集装置,一初始处于关闭状态的第二图像采集装置以及一分别连接所述第一图像采集装置和所述第二图像采集装置的处理装置;
所述脸部状态评估方法具体包括:
步骤S1,采用所述第一图像采集装置持续获取外部图像,并将所述外部图像发送至所述处理装置;
步骤S2,采用预设于所述处理装置内部的人脸模板对所述外部图像进行匹配:
若所述外部图像匹配于所述人脸模板,则执行步骤S3;
若所述外部图像不匹配于所述人脸模板,则返回所述步骤S1;
步骤S3,采用所述第二图像采集装置获取所述外部图像以作为待检测图像,并将所述待检测图像上传至与所述第二图像采集装置远程连接的一云服务器中;
步骤S4,所述云服务器识别得到所述待检测图像中的所有所述脸部皮肤特征点,并根据所述脸部皮肤特征点对每个所述第一检测区域进行定位;
步骤S5,所述云服务器采用对应的所述第一评估单元分别对每个所述第一检测区域进行皮肤状态评估,并分别输出评估结果;
步骤S6,所述云服务器将所述评估结果下发至远程连接所述云服务器的用户终端,以供用户查看。
2.如权利要求1所述的脸部状态评估方法,其特征在于,所述第一图像采集装置、所述第二图像采集装置均设置在一化妆镜上,所述第二图像采集装置连接设置于所述化妆镜内的通讯装置;
所述处理装置设置于所述化妆镜内部;
所述化妆镜通过所述通讯装置远程连接所述云服务器,并通过所述通讯装置将所述第二图像采集装置采集得到的所述外部图像上传至所述云服务器中;
所述第一图像采集装置和所述第二图像采集装置均设置于所述化妆镜上的同一个图像采集支架上。
3.如权利要求1所述的脸部状态评估方法,其特征在于,所述第一检测区域包括一用于对用户人脸的皮肤油分状态进行评估的油分检测区域;
所述油分检测区域进一步包括:
用户人脸的额头区域;和/或
用户人脸的左脸颊区域;和/或
用户人脸的右脸颊区域;和/或
用户人脸的下巴区域。
4.如权利要求1所述的脸部状态评估方法,其特征在于,所述第一检测区域包括一用于对用户人脸的皮肤清洁状态进行评估的清洁度检测区域;
所述清洁度检测区域进一步包括:
用户人脸的鼻子区域;和/或
用户人脸的全脸区域。
5.如权利要求4所述的脸部状态评估方法,其特征在于,对应所述清洁度检测区域的所述评估结果包括:
用于表示所述鼻子区域的皮肤清洁度的第一评估子结果;和/或
用于表示所述全脸区域是否有彩妆残留的第二评估子结果;和/或
用于表示所述全脸区域是否有荧光的第三评估子结果。
6.如权利要求1所述的脸部状态评估方法,其特征在于,所述第一检测区域包括一用于对用户人脸的皮肤过敏状态进行评估的过敏检测区域;
所述过敏检测区域进一步包括:
用户人脸的左脸颊区域;和/或
用户人脸的右脸颊区域。
7.如权利要求1所述的脸部状态评估方法,其特征在于,所述第一检测区域包括一用于对用户人脸的皮肤色斑状态进行评估的色斑检测区域;
所述色斑检测区域进一步包括:
用户人脸的全脸区域。
8.如权利要求1所述的脸部状态评估方法,其特征在于,每个所述第一评估单元中包括一预先训练形成的评估模型;
采用深度神经网络,根据预先设置的多个训练数据对对所述评估模型进行评估;
每个所述训练数据对中包括对应的所述第一检测区域内的图像以及针对所述图像的评估结果。
9.如权利要求1所述的脸部状态评估方法,其特征在于,还包括一第二检测区域,所述第二检测区域用于对用户人脸的皮肤肤色状态进行评估;
所述步骤S3中,在采用所述第一评估单元对所述第一检测区域进行评估的同时,采用一第二评估单元对所述第二检测区域进行评估,并输出相应的评估结果;
所述步骤S4中,将所述第一评估单元输出的评估结果和所述第二评估单元输出的评估结果下发至远程连接所述云服务器的用户终端,以供用户查看;
所述第二检测区域进一步包括:
用户人脸的左脸颊区域,以及用户人脸的右脸颊区域。
10.如权利要求9所述的脸部状态评估方法,其特征在于,所述步骤S5中,采用所述第二评估单元进行处理的过程具体包括:
步骤S51,处理得到所述左脸颊区域的每个像素的RGB值,以及处理得到所述右脸颊区域的每个像素的RGB值;
步骤S52,根据所述左脸颊区域的每个像素的RGB值和所述右脸颊区域的每个像素的RGB值进行平均计算,以得到一肤色数值;
步骤S53,根据预先设定的肤色数值表格对所述肤色数值进行查询,以得到用于表示用户肤色的所述评估结果并输出。
CN201810084780.0A 2018-01-29 2018-01-29 一种主副摄像头设置的脸部状态评估方法 Pending CN108399364A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810084780.0A CN108399364A (zh) 2018-01-29 2018-01-29 一种主副摄像头设置的脸部状态评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810084780.0A CN108399364A (zh) 2018-01-29 2018-01-29 一种主副摄像头设置的脸部状态评估方法

Publications (1)

Publication Number Publication Date
CN108399364A true CN108399364A (zh) 2018-08-14

Family

ID=63095136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810084780.0A Pending CN108399364A (zh) 2018-01-29 2018-01-29 一种主副摄像头设置的脸部状态评估方法

Country Status (1)

Country Link
CN (1) CN108399364A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109381165A (zh) * 2018-09-12 2019-02-26 维沃移动通信有限公司 一种皮肤检测方法及移动终端
CN109618045A (zh) * 2018-11-27 2019-04-12 Oppo广东移动通信有限公司 电子装置、信息推送方法及相关产品
CN110312033A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 电子装置、信息推送方法及相关产品
WO2021139471A1 (zh) * 2020-01-06 2021-07-15 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质
CN113674829A (zh) * 2021-07-13 2021-11-19 广东丸美生物技术股份有限公司 一种化妆配方的推荐方法及装置
CN113971823A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 外表分析的方法和电子设备
CN115644810A (zh) * 2022-10-18 2023-01-31 浙江妆芝美科技有限公司 一种皮肤检测方法、系统及存储介质
CN115829910A (zh) * 2022-07-07 2023-03-21 广州莱德璞检测技术有限公司 一种肌肤的感官评价装置以及肌肤的评价方法
WO2024037287A1 (zh) * 2022-08-19 2024-02-22 厦门松霖科技股份有限公司 一种脸部皮肤检测方法及检测装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152476A (zh) * 2013-01-31 2013-06-12 广东欧珀移动通信有限公司 检测皮肤状态的手机及其使用方法
CN104586364A (zh) * 2015-01-19 2015-05-06 武汉理工大学 一种肤质检测系统及方法
CN104732214A (zh) * 2015-03-24 2015-06-24 吴亮 一种基于人脸图像识别的定量化肤质检测方法
CN104887183A (zh) * 2015-05-22 2015-09-09 杭州雪肌科技有限公司 基于光学的肌肤健康监测和预诊断智能方法
CN105101836A (zh) * 2013-02-28 2015-11-25 松下知识产权经营株式会社 化妆辅助装置、化妆辅助方法以及化妆辅助程序
CN105120747A (zh) * 2013-04-26 2015-12-02 株式会社资生堂 皮肤的暗沉评价装置以及皮肤的暗沉评价方法
CN106388781A (zh) * 2016-09-29 2017-02-15 深圳可思美科技有限公司 一种皮肤肤色及其色素沉淀情况的检测方法
CN107157447A (zh) * 2017-05-15 2017-09-15 精诚工坊电子集成技术(北京)有限公司 基于图像rgb颜色空间的皮肤表面粗糙度的检测方法
CN107184023A (zh) * 2017-07-18 2017-09-22 上海勤答信息科技有限公司 一种智能镜子
CN107395988A (zh) * 2017-08-31 2017-11-24 华勤通讯技术有限公司 移动终端的摄像头的控制方法及系统
CN107437073A (zh) * 2017-07-19 2017-12-05 竹间智能科技(上海)有限公司 基于深度学习与生成对抗网路的人脸肤质分析方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152476A (zh) * 2013-01-31 2013-06-12 广东欧珀移动通信有限公司 检测皮肤状态的手机及其使用方法
CN105101836A (zh) * 2013-02-28 2015-11-25 松下知识产权经营株式会社 化妆辅助装置、化妆辅助方法以及化妆辅助程序
CN105120747A (zh) * 2013-04-26 2015-12-02 株式会社资生堂 皮肤的暗沉评价装置以及皮肤的暗沉评价方法
CN104586364A (zh) * 2015-01-19 2015-05-06 武汉理工大学 一种肤质检测系统及方法
CN104732214A (zh) * 2015-03-24 2015-06-24 吴亮 一种基于人脸图像识别的定量化肤质检测方法
CN104887183A (zh) * 2015-05-22 2015-09-09 杭州雪肌科技有限公司 基于光学的肌肤健康监测和预诊断智能方法
CN106388781A (zh) * 2016-09-29 2017-02-15 深圳可思美科技有限公司 一种皮肤肤色及其色素沉淀情况的检测方法
CN107157447A (zh) * 2017-05-15 2017-09-15 精诚工坊电子集成技术(北京)有限公司 基于图像rgb颜色空间的皮肤表面粗糙度的检测方法
CN107184023A (zh) * 2017-07-18 2017-09-22 上海勤答信息科技有限公司 一种智能镜子
CN107437073A (zh) * 2017-07-19 2017-12-05 竹间智能科技(上海)有限公司 基于深度学习与生成对抗网路的人脸肤质分析方法及系统
CN107395988A (zh) * 2017-08-31 2017-11-24 华勤通讯技术有限公司 移动终端的摄像头的控制方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109381165A (zh) * 2018-09-12 2019-02-26 维沃移动通信有限公司 一种皮肤检测方法及移动终端
CN109618045A (zh) * 2018-11-27 2019-04-12 Oppo广东移动通信有限公司 电子装置、信息推送方法及相关产品
CN110312033A (zh) * 2019-06-17 2019-10-08 Oppo广东移动通信有限公司 电子装置、信息推送方法及相关产品
WO2021139471A1 (zh) * 2020-01-06 2021-07-15 华为技术有限公司 一种健康状态检测方法、设备和计算机存储介质
CN113971823A (zh) * 2020-07-24 2022-01-25 华为技术有限公司 外表分析的方法和电子设备
WO2022017270A1 (zh) * 2020-07-24 2022-01-27 华为技术有限公司 外表分析的方法和电子设备
EP4181014A4 (en) * 2020-07-24 2023-10-25 Huawei Technologies Co., Ltd. APPEARANCE ANALYSIS METHOD AND ELECTRONIC DEVICE
CN113674829A (zh) * 2021-07-13 2021-11-19 广东丸美生物技术股份有限公司 一种化妆配方的推荐方法及装置
CN115829910A (zh) * 2022-07-07 2023-03-21 广州莱德璞检测技术有限公司 一种肌肤的感官评价装置以及肌肤的评价方法
WO2024037287A1 (zh) * 2022-08-19 2024-02-22 厦门松霖科技股份有限公司 一种脸部皮肤检测方法及检测装置
CN115644810A (zh) * 2022-10-18 2023-01-31 浙江妆芝美科技有限公司 一种皮肤检测方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN108399364A (zh) 一种主副摄像头设置的脸部状态评估方法
CN109949193B (zh) 可变光环境下学习注意力检测与预判装置
US20200078114A1 (en) Regional location tracking of components of a modular energy system
US20080079843A1 (en) Imaging Apparatus and Methods for Capturing and Analyzing Digital Images of the Skin
CN108960315B (zh) 一种调理肉制品品质智能评价系统及方法
CN110824942B (zh) 烹饪设备及其控制方法、控制系统、计算机可读存储介质
CN104866717A (zh) 互选式网络医院系统及网络医院系统的信息交互方法
CN105866118B (zh) 一种动物排泄物成分检测系统及方法
CN108198043A (zh) 一种基于用户推荐的脸部护肤品推荐方法
TW201914524A (zh) 頭皮檢測設備
CN108553083A (zh) 一种语音指示下的脸部状态评估方法
CN108363965A (zh) 一种分布式的脸部状态评估方法
CN109581981A (zh) 一种基于数据评估与系统协调模块的数据融合系统及其工作方法
CN107157721A (zh) 视力训练方法、装置及视力训练仪
CN107919167A (zh) 一种生理特征监测方法、装置与系统
CN108354590A (zh) 一种基于连拍模式的脸部状态评估方法
CN109242329A (zh) 表征室内环境综合质量的综合指标计算方法
CN108389185A (zh) 一种脸部状态评估方法
WO2013114356A1 (en) System and method for automatic analysis and treatment of a condition
CN108335727A (zh) 一种基于历史记录的脸部护肤品推荐方法
CN107462757A (zh) 一种led指示测量设备及测量方法
CN107169399A (zh) 一种人脸生物特征获取装置及方法
CN117064346A (zh) 智能皮肤护理方法、设备和介质
CN205691511U (zh) 一种动物排泄物成分检测系统
CN104317866B (zh) 一种成衣匹配方法及其电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180814

RJ01 Rejection of invention patent application after publication