CN111325732A - 面部残留物检测方法及相关设备 - Google Patents

面部残留物检测方法及相关设备 Download PDF

Info

Publication number
CN111325732A
CN111325732A CN202010105428.8A CN202010105428A CN111325732A CN 111325732 A CN111325732 A CN 111325732A CN 202010105428 A CN202010105428 A CN 202010105428A CN 111325732 A CN111325732 A CN 111325732A
Authority
CN
China
Prior art keywords
residual
image
suspected
face
amplified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010105428.8A
Other languages
English (en)
Other versions
CN111325732B (zh
Inventor
王晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202010105428.8A priority Critical patent/CN111325732B/zh
Publication of CN111325732A publication Critical patent/CN111325732A/zh
Application granted granted Critical
Publication of CN111325732B publication Critical patent/CN111325732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Dermatology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)

Abstract

本申请提供面部残留物检测方法及相关设备，其中，方法包括：获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；将所述面部放大紫光图像输入至面部残留物检测模型，以获取所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置；根据所述残留疑似物在所述面部放大紫光图像中的位置，在所述面部放大紫光图像中截取所述残留疑似物对应的局部图像；在根据所述局部图像确定所述残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定所述残留疑似物为所述面部中的残留物。通过该技术方案，可以实现对面部残留物的检测，并提高面部中残留物检测的精准度和准确性。

Description

面部残留物检测方法及相关设备
技术领域
本申请涉及物质检测领域，尤其涉及面部残留物检测方法及相关设备。
背景技术
容貌及外形一直是一个亘古不变的讨论话题，随着时代的发展，人们越来越关注自身的容貌及外形。特别是对于女性来说，更希望能够通过某些方式准确获知自己的面部皮肤状态以便能够进行有针对性地保养。因此，用于检测皮肤状态的各种测肤仪器应运而生。
目前，大多数测肤仪器主要是用于检测面部有无色斑、痘痘或者面部皮肤的干湿度情况等反映面部皮肤本身特性的一些皮肤情况，但是对于不属于面部皮肤自身的但肉眼难以识别的一些残留物，却未有相关技术方案。
发明内容
本申请提供面部残留物检测方法及相关设备，以解决目前未有检测面部残留物的相关技术方案的技术问题。
第一方面，提供一种面部残留物检测方法，该方法可以应用于测肤仪器或与测肤仪器相关联的设备上，该方法包括：获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；将面部放大紫光图像输入至残留物检测模型，以获取面部放大紫光图像对应的面部中的残留疑似物，以及残留疑似物在面部放大紫光图像中的位置；根据残留疑似物在面部放大紫光图像中的位置，在面部放大紫光图像中截取残留疑似物对应的局部图像；在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定前述残留疑似物为面部放大紫光图像对应的面部中的残留物。
在上述技术方案中，先通过获取经过放大测肤仪器基于紫光外成像采集到的面部放大紫光图像，将面部放大紫光图像输入到面部残留物检测模型中，获取到面部放大紫光图像中的残留疑似物，首先确定了面部中可能为残留物的物质；然后在面部放大紫光图像中截取残留疑似物对应的局部图像，并在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定残留疑似物确实为面部中的残留物，实现了面部中残留物的检测。为了防止面部残留物模型的检测度不够精准，通过进一步分析面部残留物检测模型检测出的残留疑似物(即残留物)的物质的颜色和形状特征，从而实现对残留物的进一步筛选和确认，提高了面部残留物检测的精确度和准确性。
结合第一方面，在一些可能的实现方式中，上述将面部放大紫光图像输入至残留物检测模型，以获取面部放大紫光图像对应的面部中的残留疑似物，以及残留疑似物在面部放大紫光图像中的位置的步骤，具体包括：基于面部残留物检测模型对应的至少一个图像备选区域，以及，面部残留物检测模型中的至少一个卷积特征层，提取面部放大紫光图像的局部图像特征，以得到用于表征面部放大紫光图像的局部图像特征的多个局部卷积特征图，图像备选区域用于在面部放大紫光图像中定位残留疑似物的位置；基于面部残留物检测模型中的类别识别层，识别各局部卷积特征图所属的特征图类别，特征图类别为残留疑似物特征或非残留疑似物特征图中的一种；根据各局部卷积特征图所属的特征图类别，确定面部放大紫光图像对应的面部中的残留疑似物，以及，该残留疑似物在面部放大紫光图像中的位置。基于卷积的方式提取用于表征面部放大紫光图像的局部图像特征的局部卷积特征图，并根据局部卷积特征图所属的特征图类别确定面部放大紫光图像对应的面部中的残留疑似物以及残留疑似物的位置，卷积的方式可以使得面部放大紫光图像中的多个像素能够共享卷积层中的部分参数，从而减少面部残留物检测模型中参数的数量，降低运算量，进而可以提高对残留疑似物和残留疑似物的位置的检测速度。
结合第一方面，在一些可能的实现方式中，上述根据各局部卷积特征图所属的特征图类别，确定面部放大紫光图像对应的面部中的残留疑似物，以及，该残留疑似物在面部放大紫光图像中的位置的步骤，具体包括：根据各局部卷积特征图所属的特征图类别，在多个局部卷积特征图中确定目标局部卷积特征图以及目标局部卷积特征图对应的置信度，目标局部卷积特征图为特征图类别为残留疑似物特征图的局部卷积特征图，置信度指目标局部卷积特征图属于残留疑似物特征图的概率；将置信度大于预设置信度阈值的一个或多个目标局部卷积特征图对应的目标图像区域确定为面部放大紫光图像对应的面部中的残留疑似物，并将目标图像区域在面部放大紫光图像中的位置确定为残留疑似物在面部放大紫光图像中的位置，目标图像区域为将目标局部卷积特征图映射回面部放大紫光图像所得到的图像区域。通过设置置信度阈值，将置信度大于置信度阈值的局部卷积特征图对应的图像区域确定为残留疑似物，能提高残留疑似物识别的准确度。
结合第一方面，在一些可能的实现方式中，在确定残留疑似物为面部中的残留物之前，该方法还可以包括：将残留疑似物对应的局部图像转化为残留疑似物对应的黑白图像，并计算上述黑白图像中的黑色像素在上述黑白图像中的面积占比，在面积占比小于或等于预设占比阈值的情况下，确定残留疑似物符合预设的形状条件。通过将图像转换为黑白图像，并确定黑色像素在黑白图像中的面积占比，实现了对残留疑似物形状的判断，方式简单高效。
结合第一方面，在一些可能的实现方式中，上述确将残留疑似物对应的局部图像转化为残留疑似物对应的黑白图像的步骤，具体包括：对局部图像进行灰度处理，以得到残留疑似物对应的灰度图像；对残留疑似物对应的灰度图像进行阈值分割，以得到残留疑似物对应的黑白图像。通过简单地灰度处理和阈值分割，可以得到残留疑似对应的局部图像所对应的黑白图像，凸显了残留物的颜色特征，从而有利于提高残留物检测的精度。
结合第一方面，在一些可能的实现方式中，在确定残留疑似物为面部中的残留物之前，还包括：确定局部图像中各像素对应的蓝色通道值，并计算局部图像中各像素对应的蓝色通道值的均值；在局部图像中各像素对应的蓝色通道值的均值属于预设通道阈值范围的情况下，确定局部图像满足预设的颜色要求。通过将局部图像中的蓝色通道像素均值与预设的通道阈值进行比较，筛除掉了颜色不符合残留物的颜色特征的残留疑似物，有利于提高残留物检测的精度。
结合第一方面，在一些可能的实现方式中，上述方法还包括：在残留疑似物不符合预设的颜色条件的情况下，确定残留疑似物不为面部中的残留物。
结合第一方面，在一些可能的实现方式中，上述方法还包括：在残留疑似物不符合预设的形状条件的情况下，确定残留疑似物不为面部中的残留物。
结合第一方面，在一些可能的实现方式中，上述方法还包括：在面部放大紫光图像中标记残留物的位置，以及残留物的量化数据，残留物的量化数据用于以数值的形式体现残留物的一种或多种特征；显示标记后的面部放大紫光图像。通过标记出残留物的位置以及量化数据并显示出来，便于让用户获取面部上的残留物的具体情况，从而可以对面部上的残留物进行清除等操作。
第二方面，提供一种面部残留物检测装置，该装置包括：
图像获取模块，用于获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；
预估模块，用于将面部放大紫光图像输入至残留物检测模型，以获取面部放大紫光图像对应的面部中的残留疑似物，以及残留疑似物在面部放大紫光图像中的位置；
截取模块，用于根据残留疑似物在面部放大紫光图像中的位置，在面部放大紫光图像中截取残留疑似物对应的局部图像；
残留物确定模块，用于在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定残留疑似物为面部中的残留物。
结合第二方面，在一些可能的设计中，预估模块具体用于：基于面部残留物检测模型对应的至少一个图像备选区域，以及，面部残留物检测模型中的至少一个卷积特征层，提取面部放大紫光图像的局部图像特征，以得到用于表征面部放大紫光图像的局部图像特征的多个局部卷积特征图，图像备选区域用于在面部放大紫光图像中定位残留疑似物的位置；基于面部残留物检测模型中的类别识别层，识别各局部卷积特征图所属的特征图类别，特征图类别为残留疑似物特征或非残留疑似物特征图中的一种；根据各局部卷积特征图所属的特征图类别，确定面部放大紫光图像对应的面部中的残留疑似物，以及，该残留疑似物在面部放大紫光图像中的位置。
结合第二方面，在一些可能的设计中，上述预估模块具体用于：根据各局部卷积特征图所属的特征图类别，在多个局部卷积特征图中确定目标局部卷积特征图以及目标局部卷积特征图对应的置信度，目标局部卷积特征图为特征图类别为残留疑似物特征图的局部卷积特征图，置信度指目标局部卷积特征图属于残留疑似物特征图的概率；将置信度大于预设置信度阈值的一个或多个目标局部卷积特征图对应的目标图像区域确定为面部放大紫光图像对应的面部中的残留疑似物，并将目标图像区域在面部放大紫光图像中的位置确定为残留疑似物在面部放大紫光图像中的位置，目标图像区域为将目标局部卷积特征图映射回面部放大紫光图像所得到的图像区域。
结合第二方面，在一些可能的设计中，上述装置还包括：面积占比计算模块，用于将残留疑似物对应的局部图像转化为残留疑似物对应的黑白图像，并计算残留疑似物对应的黑白图像中的黑色像素在残留疑似物对应的黑白图像中的面积占比，在面积占比小于或等于预设占比阈值的情况下，确定残留疑似物符合预设的形状条件。
结合第二方面，在一些可能的设计中，上述面积占比计算模块具体用于：对局部图像进行灰度处理，以得到残留疑似物对应的灰度图像；对残留疑似物对应的灰度图像进行阈值分割，以得到残留疑似物对应的黑白图像。
结合第二方面，在一些可能的设计中，上述装置还包括：颜色计算模块，用于确定局部图像中各像素对应的蓝色通道值，并计算局部图像中各像素对应的蓝色通道值的均值；在局部图像中各像素对应的蓝色通道值的均值属于预设通道阈值范围的情况下，确定局部图像满足预设的颜色要求。
结合第二方面，在一些可能的设计中，上述残留物确定模块还用于：在局部图像不符合预设的颜色条件的情况下，确定残留疑似物不为面部中的残留物。
结合第二方面，在一些可能的设计中，上述残留物确定模块还用于：在残留疑似物不符合预设的形状条件的情况下，确定残留疑似物不为面部中的残留物。
结合第二方面，在一些可能的设计中，上述装置还包括：标记模块，用于在面部放大紫光图像中标记残留物的位置，以及残留物的量化数据，残留物的量化数据用于以数值的形式体现残留物的一种或多种特征；显示模块，用于显示标记后的面部放大紫光图像。
第三方面，提供另一种面部残留物检测装置，包括存储器以及一个或多个处理器，一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序，一个或多个处理器在执行一个或多个计算机程序时，使得该装置实现上述第一方面的面部残留物检测方法。
第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的面部残留物检测方法。
本申请可以实现如下有益效果：实现了对面部残留物的检测，同时提高了面部中残留物检测的精准度和准确性。
附图说明
图1是本申请提供的一种肌肤检测网络的系统架构示意图；
图2是本申请实施例提供的一种面部残留物检测方法的流程示意图；
图3是本申请实施例提供的通过面部残留物检测模型获取残留疑似物以及残留疑似物位置的方法的流程示意图；
图4是本申请实施例提供的一种利用图像备选区域滑动遍历面部放大紫光过程的示意图；
图5A-图5B是本申请实施例提供的一种面部残留物检测模型的网络结构示意图；
图6是本申请实施例提供的卷积前后的几个图像的示意图；
图7是本申请实施例提供的一种面部残留物检测装置的结构示意图
图8是本申请实施例提供的另一种面部残留物检测装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
本申请的技术方案适用于对面部皮肤进行检测以确定面部皮肤中存在的不属于面部皮肤自身特征的残留物的场景。其中，本申请的残留物可以是指化妆棉、纸巾、丝巾等擦脸时留下的丝状物等。
在一些可能的实施场景中，该技术方案可以应用在直接采集用户的面部图像的护肤/测肤仪器上，其中，该护肤/测肤仪器具备紫外光成像和放大面部图像的功能。具体地，该护肤/测肤仪器可以包括紫外光源、放大镜片、摄像头等硬件，其可以通过紫光光源发射紫外光，以将紫外光照射在面部上，然后通过摄像头采集经过放大镜片放大面部所得到的面部放大紫光图像。可选地，该护肤/测肤仪器还可以包括电源、充电接口、电池等维持护肤/测肤仪器正常工作的部件。对于护肤/测肤仪器具体是何种形态或何种结构的何种产品，本申请不做限制。
在另一些可能的实施场景中，该技术方案也可以应用在护肤/测肤仪器与服务器所组成的肌肤检测网络结构中，如图1所示，该肌肤检测网络结构可包括一个或多个护肤/测肤仪器101，以及，一个或多个服务器102，其中，有关于护肤/测肤仪器101的描述可参考前述对护肤/测肤仪器的描述，护肤/测肤仪器101可以将采集到的面部放大紫光图像发送给服务器102，再由服务器102实现对该面部放大紫光图像对应的面部中的残留物的检测。
接下来具体介绍本申请的技术方案。
参见图2，图2是本申请实施例提供的一种面部残留物检测方法的流程示意图，该方法可以应用在前述提到的测肤/护肤仪器上或服务器上，如图2所示，该方法包括如下步骤：
S201，获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像。
本申请实施例中，放大测肤仪器是指前述提到的具备紫外光成像和放大面部图像的功能的护肤/测肤仪器。面部放大紫光图像是指通过紫外光照射面部皮肤，并放大面部皮肤后所采集到的面部皮肤的图像，该面部放大紫光图像可以是指整个面部皮肤(即整张脸)经过紫光外照射并放大后所形成的图像，也可以是指面部部位皮肤(如左脸颊、右脸颊、额头、鼻子等部位)经过紫光外照射并放大后所形成的图像。面部放大紫光图像的内容取决于放大测肤仪器的放大倍数(即放大测肤仪器可以将原面部图像放大至多少倍的图像)，以及放大测肤仪器的成像视角。通过将面部皮肤的图像放大，可以放大面部图像的纹理特征，从而更有助于对面部皮肤的特征的识别。
S202，将面部放大紫光图像输入至面部残留物检测模型，以获取面部放大紫光图像对应的面部中的残留疑似物，以及，残留疑似物在面部放大紫光图像中的位置。
本申请实施例中，残留物检测模型是通过机器学习的方法预先训练得到的，用于检测和定位面部放大紫光图像对应的面部中的残留物的机器学习模型。该残留物检测模型可以通过提取面部放大紫光图像中的特征并结合特征进行分类的方式获取面部放大紫光图像对应的面部中的残留疑似物，以及，残留疑似物在面部放大紫光图像中的位置，有关于残留物检测模型获取面部放大紫光图像对应的面部中的残留疑似物，以及，残留疑似物在面部放大紫光图像中的位置的具体实现方式，可参见后续实施例的描述，此处不做过多描述。
S203，根据残留疑似物在面部放大紫光图像中的位置，在面部放大紫光图像中截取残留疑似物对应的局部图像。
在一些可能的实施方式中，通过面部残留物检测模型获取到的残留疑似物在面部放大紫光图像中的位置是以多个坐标的形式来体现的，则根据面部残留物检测模型输出的多个坐标，可以在面部放大紫光图像中截取出残留疑似物对应的局部图像。
在另一些可能的实施方式中，通过面部残留物检测模型获取到的残留疑似物在面部放大紫光图像中的位置是以坐标和长宽的形式来体现的，则根据面部残留物模型输出的坐标和长宽，可以在面部放大紫光图像中截取出残留疑似物对应的局部图像。
S204，在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定残留疑似物为面部放大紫光图像对应的面部中的残留物。
本申请实施例中，残留疑似物符合预设的颜色条件是指残留疑似物的颜色符合真实残留物在紫外光成像下的颜色。根据残留疑似物对应的局部图像判断残留疑似物是否符合预设的颜色条件的实现方式可以有多种。
在一种可行的实施方式中，可以将局部图像转化为单一颜色通道的图像，根据单一颜色通道的图像中的各像素的颜色通道值确定残留疑似物对应的残留疑似物符合预设的颜色条件。
在一种具体实施方式中，可以确定残留疑似物对应的局部图像中各像素对应的蓝色通道值，并计算各像素对应的蓝色通道值的均值；在各像素对应的蓝色通道的均值属于预设通道阈值范围的情况下，确定残留疑似物符合预设的颜色条件。
其中，蓝色通道值是指将各像素的颜色量化为红(R)、绿(G)、蓝(B)三个通道的数值时，蓝色通道的数值；预设通道阈值范围是指残留物在紫光成像下所呈现的蓝色通道的数值范围；残留物在紫光成像下所呈现的蓝色通道的数值范围可以通过多次测量求平均值得到。
例如，残留疑似物对应的局部图像为一副大小为3*3的图像，该局部图像中9个像素的颜色分别为WhiteSmoke、Linen、PapayaWhip、FloralWhite、AntiqueWhite、FloralWhite、Moccasin、Cornsilk、Seashell，则将局部图像的各像素的颜色转换为RGB三个通道的数值，得到的结果为(245，245，245)、(250，230，240)、(255，239，213)、(255，245，245)、(250，235，215)、(255，245，245)、(255，228，181)、(255，248，220)，(255，245，238)。从而可确定局部图像中各像素对应的蓝色通道值分别为245、240、213、245、215、245、181、220、238，进一步可确定各像素的蓝色通道值的均值为(245+240+213+245+215+181+220+238)/9＝199.67。如果199.67在残留物在紫光成像下所呈现的蓝色通道的数值范围内，则确定该局部图像满足预设的颜色要求。
可选地，在各像素对应的蓝色通道的均值不属于预设通道阈值范围的情况下，确定局部图像不满足预设的颜色要求。即如果前述计算得到的199.67不在残留物紫光成像下所呈现的蓝色通道数值范围内，则确定该局部图像不符合预设的颜色条件。
在另一些具体实施方式中，还可以通过确定局部图像中蓝色通道值在预设通道阈值范围内的像素占该局部图像的面积占比来确定局部图像是否符合预设的颜色条件，这里不做过多描述。
通过将局部图像转化为单一通道的图像，根据单一颜色通道的图像中的各像素的颜色通道值确定残留疑似物是否符合预设的颜色条件，以一种简单的方式检测除了不符合残留物的颜色特征的残留疑似物，从而提高了残留物检测的精度。
在另一些可行的实施方式中，还可以通过将残留疑似物对应的局部图像与预设的残留物对应的模板图像进行颜色特征匹配等方式来判断残留疑似物是否符合预设的颜色条件，其中，模板图像可以是预先获取的残留物的图像。
可选地，在残留疑似物不符合预设的颜色条件的情况下，确定残留疑似物不为面部紫光放大图像对应的面部中的残留物，进而在面部残留物检测模型输出的残留疑似物有多个的情况下，从面部残留物检测模型输出的多个残留疑似物中筛除该不为残留物的疑似物，有助于残留物检测精度的提高。
本申请实施例中，残留疑似物符合预设的形状条件是指残留疑似物的形状符合真实残留物的形状特征。根据残留疑似物对应的局部图像判断残留疑似物是否符合预设的形状条件的实现方式可以有多种。
在一种可行的实施方式中，可以将残留疑似物对应的局部图像转化为黑白图像，并计算黑白图像中的黑色像素在黑白图像中的面积占比；在黑白图像中的黑色像素在黑白图像中的面积占比小于或等于预设占比阈值的情况下，确定残留疑似物符合预设的形状条件。这里，预设占比阈值是指符合真实残留物的面积与局部图像的面积的比值，可以基于统计学的方法得到。
例如，残留疑似物对应的局部图像为3*3的图像，预设占比阈值为50％，将局部图像转换为黑白图像后，黑色像素点的个数为4个，白色像素点的个数为5个，则确定黑色图像在黑白图像中的面积占比为4/9，小于50％，进而确定残留疑似物为残留物。
由于残留物的颜色在紫光成像并转换成黑白颜色后更接近于黑色，通过判断黑色像素在黑白图像中的面积占比则可确定残留疑似物的面积，进而可以剔除面积不符合残留物的面积的残留疑似物，有利于提高残留物检测精度。
在一种具体的实现方式中，在将残留疑似物对应的局部图像转化为黑白图像的过程中，可以先对局部图像进行灰度处理，以得到残留疑似物对应的灰度图像；再对灰度图像进行阈值分割，以得到残留疑似物对应的黑白图像。
具体地，将局部图像中各像素的RGB通道值转化为各像素各自对应的灰度值，则可以将局部图像变成灰度图像。在一种示例中，灰度值与RGB通道值的转化关系可以为：灰度值＝R通道值*0.299+G通道值*0.587+B通道值*0.144。需要说明的是，由于各种彩色标准不太相同，所以灰度值与RGB通道值的转化关系会有一定的差异，本申请并不限定灰度值与RGB通道值的转化关系。
具体地，将灰度图像进行阈值分割，得到残留疑似物对应的黑白图像的过程的实质是将灰度图像中的各像素二值化的过程。可以将灰度图像中的目标像素的灰度值与预设的灰度阈值进行比较，如果目标像素的灰度值大于预设的灰度阈值，则将目标像素的灰度值转化为最大灰度值，如果目标像素的灰度值小于预设的灰度阈值，则将目标像素的灰度值的灰度值转换为最小灰度值，其中，目标像素可以为黑白图像中的任一像素，从而将灰度图像的各像素都转化为最大灰度值或最小灰度值中的其中一个数值，完成了各个像素的二值化。由于灰度值为最大灰度值时颜色为黑色，而灰度值为最小灰度值时颜色为白色，实现了将图像由灰度图像至黑白图像的转化。这里，预设的灰度阈值可以为灰度值的中间值，如为50。通过简单地灰度处理和阈值分割，可以比较容易地得到残留疑似物对应的局部图像所所对应的黑白图像，凸显了残留疑似物的颜色特征。
在另一些可行的实施方式中，还可以通过判断局部图像中各像素相互之间的差异来确定残留疑似物的形状，进而实现对残留疑似物的形状是否符合预设的形状条件的判断。
可选地，在残留疑似物不符合预设的形状条件的情况下，确定残留疑似物不为面部中的残留物。
在上述技术方案中，先通过获取经过放大测肤仪器基于紫光外成像采集到的面部放大紫光图像，将面部放大紫光图像输入到面部残留物检测模型中，获取到面部放大紫光图像中的残留疑似物，首先确定了面部中可能为残留物的物质；然后在面部放大紫光图像中截取残留疑似物对应的局部图像，并在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定残留疑似物确实为面部中的残留物，实现了面部中残留物的检测。为了防止面部残留物模型的检测度不够精准，通过进一步分析面部残留物检测模型检测出的残留疑似物(即残留物)的物质的颜色和形状特征，从而实现对残留物的进一步筛选和确认，提高了面部残留物检测的精确度和准确性。
可选地，在通过面部残留物模型检测出残留疑似物后，除了判断残留疑似物的颜色特征和形状特征外，进一步还可以判断残留疑似物的长度特征、宽度特征等图像特征，在残留疑似物满足了残留物的各种图像特征后，确定面积残留物检测模型检测出的残留疑似物为面部中的残留物。如果残留疑似物不满足任意一项残留物的图像特征，则确定面部残留物检测模型检测出来的残留疑似物不为残留物。通过进一步的多种图像特征的组合判断，可进一步提高检测的精确度和准确定。有关于判断残留疑似物的长度特征、宽度特征等图像特征的方式，本申请不做限制。
可选地，在确定出面部中的残留物后，还可以在面部放大紫光图像中标记残留物的位置，以及残留物的量化数据；并显示标记后的面部放大紫光图像。
其中，残留物的量化数据用于以数值的形式体现残留物的一种或多种特征。例如，残留物的量化数据可以是指通过面部残留物检测模型检测出的该位置属于残留物的概率；又如，残留物的量化数据可以是指该残留物的长度；又如，残留物的量化数据的形状、类型，等等，不限于这里的描述。
具体地，可以根据面部残留物模型的输出在面部放大紫光图像中标记残留物的位置。
通过标记出残留物的位置以及量化数据并显示出来，便于让用户获取面部上的残留物的具体情况，从而可以对面部上的残留物进行清除等操作。
在一些可能的实施例中，上述步骤S202涉及的面部残留物检测模型可以是通过训练卷积神经网络得到的卷积神经网络模型。
参见图3，图3是本申请实施例提供的通过面部残留物检测模型获取残留疑似物以及残留疑似物位置的方法的流程示意图，如图所示，该方法可以包括如下步骤：
S301，基于面部残留物检测模型对应的至少一个图像备选区域，以及面部残留物检测模型中的至少一个卷积特征层，提取面部放大紫光图像的局部图像特征，以得到用于表征面部放大紫光图像的局部图像特征的多个局部卷积特征图。
本申请实施例中，图像备选区域可以理解为用于将面部放大紫光图像划分为多个局部图的滑动窗。通过图像备选区域在面部放大紫光图像或图像备选区域对应的卷积特征图上滑动遍历，当图像备选区域滑动至面部放大紫光图像或图像备选区域对应的卷积特征图的末尾(即图像备选区域的最后一个像素与面部放大紫光图像或图像备选区域对应的卷积特征图的最后一个像素重合)时，可得到与图像备选区域的尺寸相同的多个局部图，该多个局部图属于面部放大紫光图像或图像备选区域对应的卷积特征图的一部分。其中，图像备选区域在面部放大紫光图像或图像区域对应的卷积特征图上滑动一次移动的距离称之为步长。面部残留物检测模型对应的至少一个图像备选区域可以为预先设置的，也可以为通过基于机器学习的方式训练确定的。
举例来进行说明。如图4所示，图4描述的是一种利用图像备选区域滑动遍历面部放大紫光图像的一个过程。如图4所示，面部放大紫光图像40为一张6*6的图像。图像备选区域41的尺寸为3*3的滑动窗。从面部放大紫光图像的第一个像素点开始，按从左往右、从上往下的滑动方式，每次滑动一个像素的距离，可得到16个尺寸为3*3的局部区域。
本申请实施例中，卷积特征层是用于提取面部放大紫光图像的局部图像特征的卷积层。面部放大紫光图像的局部图像特征指的是面部放大紫光图像的局部某个区域的图像特征。基于面部残留物检测模型对应的至少一个图像备选区域，以及面部残留物检测模型中的至少一个卷积特征层，提取面部放大紫光图像的局部图像特征，以得到用于表征面部放大紫光图像的局部图像特征的多个局部卷积特征图的方式可以有如下两种：基于先划分再卷积的方式得到多个局部卷积特征图；基于先卷积再划分的方式得到多个局部卷积特征图。
以下分别介绍上述两种方式。
一、基于先划分再卷积的方式得到多个局部卷积特征图。
基于先划分再卷积的方式得到多个局部卷积特征图的面部残留物检测模型的网络结构可以如图5A所示。该网络结构的特征提取部分由图像分割层和卷积层组成。其中，图像分割层用于基于一个或多个图像备选区域将面部放大紫光图像划分为多个子图，并将划分得到的多个子图划分传输至卷积层。卷积层可以由一般卷积层和卷积特征层组成。一般卷积层用于对上一层传输至该一般卷积层的图像进行卷积处理，得到卷积图，并将卷积图传输至该一般卷积层的下一层。一般卷积层可以起到对提取图像特征和压缩图像的作用。卷积特征层与类别识别层相连接，用于对上一层传输至该卷积特征层的图像进行卷积处理，得到局部卷积特征图，再将局部卷积特征图输入至类别识别层中，以识别卷积特征图对应的类别。
相应地，基于先划分再卷积的方式得到多个局部卷积特征图的过程可以简单描述如下：基于图像分割层中的图像备选区域，将面部放大紫光图像划分为多个子图；基于面部放大紫光图像中的卷积层，分别提取各个子图的图像特征，以得到多个局部卷积特征图。
其中，图像备选区域可以有多个，在图像备选区域有多个的情况下，图像备选区域的尺寸各不相同，从而可以提取到多种尺寸的子图。每个卷积层中可以有多个卷积核。
下面举例来对基于先划分再卷积的方式得到多个局部卷积特征图的具体过程进行描述。假设面部放大紫光图像的尺寸为n*n，图像分割层中的图像备选区域有m种。卷积层中有1层一般卷积层和2层卷积特征层(卷积特征层1和卷积特征图2)，其中，一般卷积层与图像分割层连接，卷积特征层1与一般卷积层和类别识别层连接，卷积特征层2与卷积特征层1和类别识别层连接。一般卷积层中有2个卷积核，卷积特征层1和卷积特征层2均有3个卷积核。
则具体过程如下：1)分别利用图像分割层中的图像备选区域滑动遍历面部放大紫光图像，得到
Figure BDA0002388386820000131
个子图，b1i＝(n-a1i+2p1i)/s1i+1，b2i＝(n-a2i+2p1i)/s1i+1，其中，a1i为第i个图像备选区域的宽，a2i为第i个图像备选区域的高，p1i为分割前根据第i个图像备选区域在面部放大紫光图像周围填充的数据的圈数，这是为了能够更好获得面部放大紫光图像的边缘的内容所设置的参数，s1i为第i个图像备选区域对应的步长，即第i图像备选区域滑动一次所移动的距离；2)利用一般卷积层中的2个卷积核分别对每个子图进行卷积，得到
Figure BDA0002388386820000141
个特征子图1；3)利用卷积特征层1分别对每个特征子图1进行卷积，得到
Figure BDA0002388386820000142
个局部卷积特征图1；4)利用卷积特征层2分别对每个局部卷积特征图1进行卷积，得到
Figure BDA0002388386820000143
个卷积特征图2。由于有两个卷积特征层，则得到的局部卷积特征图共有
Figure BDA0002388386820000144
个。
二、基于先卷积再划分的方式得到多个局部卷积特征图。
基于先划分再卷积的方式得到多个局部卷积特征图的面部残留物检测模型的网络结构可以如图5B所示。该网络结构的特征提取部分包括卷积层，其中，卷积层的结构和功能与图5A所示的结构和功能类似，这里不再赘述。
基于先卷积再划分的方式得到多个卷积局部特征的过程可以简单描述如下：基于卷积层，提取面部放大紫光图像的图像特征，以得到多个卷积特征图；基于各卷积特征层对应的图像备选区域，确定多个局部卷积特征图，局部卷积特征图属于卷积特征图的一部分。
下面举例来对基于先卷积再划分的方式得到多个卷积局部特征的具体过程进行描述。假设面部放大紫光图像的尺寸为n*n。卷积层中有1层一般卷积层和2层卷积特征层(卷积特征层1和卷积特征图2)，其中，一般卷积层与图像分割层连接，卷积特征层1与一般卷积层和类别识别层连接，卷积特征层2与卷积特征层1和类别识别层连接。一般卷积层中有2个卷积核，卷积特征层1和卷积特征层2均有3个卷积核，每个卷积特征层分别对应m个图像备选区域。
则具体过程如下：1)利用一般卷积层中的2个卷积核对面部放大紫光图像进行卷积，得到2个卷积特征图1；3)利用卷积特征层1分别对每个卷积特征图1进行卷积，得到3个卷积特征图2；4)利用卷积特征层1对应的图像备选区域对卷积特征图2进行滑动遍历，得到
Figure BDA0002388386820000145
个局部卷积特征图，c1i＝(d1-e1i+2p2i)/s2i+1，c2i＝(d2-e2i+2p2i)/s2i+1，其中，d1为卷积特征图2的宽，e1i为卷积特征层1对应的第i个图像备选区域的宽，d2为卷积特征图2的高，e2i为卷积特征层1对应的第i个图像备选区域的高，p2i为分割前在卷积特征图2周围填充的数据的圈数，这是为了能够更好获得卷积特征图2的边缘的内容所设置的参数，s2i为卷积特征层1对应的第i个图像备选区域的步长；5)利用卷积特征层2分别对每个卷积特征图2进行卷积，得到3个卷积特征图3；6)利用卷积特征层2对应的图像备选区域对卷积特征图3进行滑动遍历，得到
Figure BDA0002388386820000151
个局部卷积特征图，f1i＝(g1-h1i+2p3i)/s3i+1，f2i＝(g2-h2i+2p3i)/s3i+1，其中，g1为卷积特征图3的宽，h1i为卷积特征层2对应的第i个图像备选区域的宽，g2为卷积特征图3的高，h2i为卷积特征层2对应的第i个图像备选区域的高，p3i为分割前在卷积特征图2周围填充的数据的圈数，这是为了能够更好获得卷积特征图3的边缘的内容所设置的参数，s3i为卷积特征层2对应的第i个图像备选区域的步长。则得到的局部卷积特征图有
Figure BDA0002388386820000152
个。
上述可知，c1i、c2i、f1i、f2i小于b1i、b2i，通过上述第二种方式得到的局部卷积特征图的数量一般会小于上述第一种方式得到局部卷积特征图的数量，因此，通过上述第一种方式得到的局部卷积特征图的运算量大于通过上述第二种方式得到的局部卷积特征图的运算量，也就是说，通过上述第二种方式得到局部卷积特征图的速度高于上述第一种方式得到的局部卷积特征图的速度。
应理解的是，上述对于网络结构的层次以及卷积核数量的举例仅为本申请实施例为描述前述两种方式所举的例子，并不对本申请造成限制，网络结构的层次和卷积核数量可以根据实际情况设定。
由于前述两种方式均涉及到卷积，下面对卷积的过程进行详细描述。
假设从上一层(可以为卷积层，也可以为图像分割层)输出至当前卷积层的图像数量为r个，当前卷积层的卷积核的数量为k个，则利用第z(z的取值为1～k个)卷积核卷积r个图像得到的第z个卷积特征图的尺寸为O1z*O2z，其中，O1z＝(u1-v1+2pz)/sz+1，O2z＝(u2-v2+2pz)/sz+1，其中，u1为上一层输出的图像的宽，v1为第z个卷积核的宽，u2为上一层输出的图像的高，v2为第z个卷积核的高，pz为卷积前在上一层输出的图像的2周围填充的数据的圈数，sz为第z个卷积核卷积的步长。
对于第z个卷积特征图中的第L(L的取值为1～O1z*O2z)个像素的取值，为将目标值带入第z个卷积核对应的激活函数所得到的函数值，目标值等于该卷积核中的值分别与该第L个像素在r个图像中分别对应的(v1*v2)个像素的乘积之和。
举例来进行说明，例如，激活函数为
Figure BDA0002388386820000161
图像的数量为2个，图像的尺寸2*2，第z个卷积核的尺寸为2*2，pz为1，sz为2，则卷积得到的卷积特征图的尺寸为2*2。如图6所示，假设第1个图像中的像素值依次为T1～T4，第2个图像中的像素值依次为S1～S4，卷积核中的值依次为J1～J4，在图像周围补的一圈数据为0，卷积特征图中的像素值依次为R1～R4，则
Figure BDA0002388386820000162
N1＝U1+V1，U1＝(0*J1+0*J2+0*J3+T1*J4)，V1＝(0*J1+0*J2+0*J3+S1*J4)；
Figure BDA0002388386820000163
N2＝U2+V2，U2＝(0*J1+0*J2+T2*J3+0*J4)，V2＝(0*J1+0*J2+S2*J3+0*J4)；
Figure BDA0002388386820000164
N3＝U3+V3，U3＝(0*J1+T3*J2+0*J3+0*J4)，V3＝(0*J1+S3*J2+0*J3+0*J4)；
Figure BDA0002388386820000165
N4＝U4+V4，U4＝(T4*J1+0*J2+0*J3+0*J4)，V4＝(S4*J1+0*J2+0*J3+0*J4)。
应理解的是，上述网络结构中涉及卷积层中的卷积核的参数均为预先训练面部残留物检测模型学习得到的，通过上述卷积核，可以提取到通过学习得到的有关于残留物的特征，如纹理特征以及由各种纹理特征组合形成的高层语义特征，从而可以根据这些有关于残留物的特征将残留物从面部放大紫光图像中识别出来。
S302，基于面部残留物检测模型中的类别识别层，识别各局部卷积特征图所属的特征图类别。
本申请实施例中，类别识别层为与卷积特征层连接的神经元，用于计算各局部卷积特征图分别属于各个特征图类别的概率，以根据前述概率识别各局部卷积特征图所属的特征图类别。这里，局部卷积特征图所属的特征图类别有两种情况，一种是局部卷积特征图属于残留疑似物特征图，即与该局部卷积特征图对应的在面部放大紫光图像中的图像区域为残留疑似物；另一种是局部卷积特征图属于非残留疑似物特征图，即与该局部卷积特征图对应的在面部放大紫光图像中的图像区域为非残留疑似物。应理解的是，前述与该局部卷积特征图对应的在面部放大紫光图像中的图像区域是指将局部卷积特征图映射回面部放大紫光图像所得到的区域。根据图6以及卷积的定义可知，卷积是将输入的图像的多个像素点映射为一个像素点，相应地，将局部卷积特征图映射回面部放大紫光图像所得到的区域为将局部卷积特征图中的各像素点分别还原为多个像素点后所得到的图像区域。
这里，根据步骤S501中采用的得到多个局部卷积特征图的方式不同，识别各局部卷积特征图所属的特征图类别会有所不同。
具体地，如果是基于先划分再卷积的方式得到多个局部卷积特征图，则类别识别层可以由一个或多个分类器组成。通过类别识别层中的一个或多个分类器，可以确定各局部卷积特征图属于残留疑似物特征图的概率和属于非残留疑似物特征图的概率，以及各局部卷积特征图所属的特征图类别，各局部卷积特征图对应的最大概率所对应的特征图类别即为各局部卷积特征图所属的特征图类别。示例性地，分类器可以为SVM分类器。
具体地，如果是基于先卷积再划分的方式得到多个局部卷积特征图，则类别识别层可以由一个或多个全连接层组成，通过全连接层与前一卷积层之间连接的各权重参数(包含属于残留疑似物特征图的权重参数和属于非残留疑似特征图的权重参数)分别对各局部卷积特征图做加权处理，可以确定各个局部卷积特征图对应的加权值，加权值反映了各个局部卷积特征图属于各个特征图类别的可能性，通过全连接层对应的归一化函数将各个加权值归一化可求得各局部卷积特征图属于残留疑似物特征图的概率和属于非残留疑似物特征图的概率，各局部卷积特征图对应的最大概率所对应的特征图类别即为各局部卷积特征图所属的特征图类别。
举例进行说明，例如，通过前述的分类器或者全连接层确定局部卷积特征图属于残留疑似物特征图的概率和属于非残留疑似物特征图的概率分别为W1和W2，如果W1大于W2，则确定局部卷积特征图为残留物疑似特征图，如果W1小于W2，则确定局部卷积特征图为非残留物疑似特征图。
S303，根据各局部卷积特征图所属的特征图类别，确定面部放大紫光图像对应的面部中的残留疑似物，以及残留疑似物在面部放大紫光图像中的位置。
在一种可行的实施方式中，可根据各局部卷积特征图所属的特征图类别，在多个局部卷积特征图中确定目标局部卷积特征图以及目标局部卷积特征图对应的置信度，目标局部卷积特征图为特征图类别为残留疑似物特征图的局部卷积特征图，置信度为目标局部卷积特征图属于残留疑似物特征图的概率；将置信度大于预设置信度阈值的一个或多个目标局部卷积特征图对应的目标图像区域确定为面部放大紫光图像对应的面部中的残留疑似物，并将目标图像区域在面部放大紫光图像中的位置确定为残留疑似物在所述面部放大紫光图像中的位置，目标图像区域为将目标局部卷积特征图映射回面部放大紫光图像所得到的图像区域。
具体地，预设置信度阈值为一个较大概率值，其具体可以为90％、95％等值。
在上述实施方式中，在置信度大于预设置信度阈值的一个或多个目标局部卷积特征图的数量为多个的情况下，进一步还可以通过非极大值抑制的方式去除部分目标局部卷积特征图，减少将目标局部卷积特征图映射回面部放大紫光图像所得到的图像区域的数量，从而使得确定的残留物的位置更加准确。
上述可知，通过卷积特征层提取图像特征和类别识别层识别类别的方式，确定残留疑似物和残留疑似物在面部放大紫光图像中的位置，使得面部放大紫光图像中的多个像素共享卷积特征层中的部分参数，减少了模型参数的数量，降低了运算量，提高了检测速度。另外，若是基于先划分再卷积的方式得到多个局部卷积特征图，由于得到的局部卷积特征图的数量较多，故能够更准确地在面部放大紫光图像中定位残留疑似物的位置，使得检测结果更加精确。若是基于先卷积再划分的方式得到多个局部卷积特征图，由于得到的局部特征卷积图相对较少，因而可以进一步减少计算量，提高检测速度。
上述介绍了本申请的方法，为了更好地实施本申请的方法，接下来介绍本申请的装置。
参见图7，图7是本申请实施例提供的一种面部残留物检测装置的结构示意图，如图所示，该装置70包括：
图像获取模块701，用于获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；
预估模块702，用于将所述面部放大紫光图像输入至面部残留物检测模型，以获取所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置；
截取模块703，用于根据残留疑似物在面部放大紫光图像中的位置，在面部放大紫光图像中截取残留疑似物对应的局部图像；
残留物确定模块704，用于在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定所述残留疑似物为所述面部中的残留物。
在一些可能的设计中，上述预估模块702具体用于：
基于面部残留物检测模型对应的至少一个图像备选区域，以及，面部残留物检测模型中的至少一个卷积特征层，提取面部放大紫光图像的局部图像特征，以得到用于表征面部放大紫光图像的局部图像特征的多个局部卷积特征图，图像备选区域用于在面部放大紫光图像中定位残留疑似物的位置；
基于面部残留物检测模型中的类别识别层，识别各局部卷积特征图所属的特征图类别，特征图类别为残留疑似物特征或非残留疑似物特征图中的一种；
根据各局部卷积特征图所属的特征图类别，确定面部放大紫光图像对应的面部中的残留疑似物，以及，该残留疑似物在面部放大紫光图像中的位置。
在一些可能的设计中，上述预估模块702具体用于：根据各局部卷积特征图所属的特征图类别，在多个局部卷积特征图中确定目标局部卷积特征图以及目标局部卷积特征图对应的置信度，目标局部卷积特征图为特征图类别为残留疑似物特征图的局部卷积特征图，置信度指目标局部卷积特征图属于残留疑似物特征图的概率；
将置信度大于预设置信度阈值的一个或多个目标局部卷积特征图对应的目标图像区域确定为面部放大紫光图像对应的面部中的残留疑似物，并将目标图像区域在面部放大紫光图像中的位置确定为残留疑似物在面部放大紫光图像中的位置，目标图像区域为将目标局部卷积特征图映射回面部放大紫光图像所得到的图像区域。
在一些可能的设计中，上述装置还包括：
面积占比计算模块705，用于将残留疑似物对应的局部图像转化为残留疑似物对应的黑白图像，并计算残留疑似物对应的黑白图像中的黑色像素在残留疑似物对应的黑白图像中的面积占比，在面积占比小于或等于预设占比阈值的情况下，确定残留疑似物符合预设的形状条件。
在一些可能的设计中，上述面积占比计算模块705具体用于：
对局部图像进行灰度处理，以得到残留疑似物对应的灰度图像；
对残留疑似物对应的灰度图像进行阈值分割，以得到残留疑似物对应的黑白图像。
在一些可能的设计中，上述装置还包括：
颜色计算模块706，用于确定局部图像中各像素对应的蓝色通道值，并计算局部图像中各像素对应的蓝色通道值的均值；
在局部图像中各像素对应的蓝色通道值的均值属于预设通道阈值范围的情况下，确定局部图像满足预设的颜色要求。
在一些可能的设计中，上述残留物确定模块704还用于：在局部图像不满足预设的颜色要求的情况下，确定残留疑似物部位面部中的残留物。
在一些可能的设计中，上述装置还包括：
标记模块707，用于在面部放大紫光图像中标记残留物的位置，以及残留物的量化数据，残留物的量化数据用于以数值的形式体现残留物的一种或多种特征；显示模块708，用于显示标记后的面部放大紫光图像。
需要说明的是，图7对应的实施例中未提及的内容可参见方法实施例的描述，这里不再赘述。
上述装置，先通过获取经过放大测肤仪器基于紫光外成像采集到的面部放大紫光图像，将面部放大紫光图像输入到面部残留物检测模型中，获取到面部放大紫光图像中的残留疑似物，首先确定了面部中可能为残留物的物质；然后在面部放大紫光图像中截取残留疑似物对应的局部图像，并在根据残留疑似物对应的局部图像确定残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定残留疑似物确实为面部中的残留物，实现了面部中残留物的检测。为了防止面部残留物模型的检测度不够精准，通过进一步分析面部残留物检测模型检测出的残留疑似物(即残留物)的物质的颜色和形状特征，从而实现对残留物的进一步筛选和确认，提高了面部残留物检测的精确度和准确性。
参见图8，图8是本申请实施例提供的另一种面部残留物检测装置的结构示意图，该装置80包括处理器801、存储器802。处理器801连接到存储器802，例如处理器801可以通过总线连接到存储器802。
处理器801被配置为支持该装置100执行图2或图3的方法中相应的功能。该处理器801可以是中央处理器(central processing unit，CPU)，网络处理器(networkprocessor，NP)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
存储器802用于存储程序代码等。存储器802可以包括易失性存储器(volatilememory，VM)，例如随机存取存储器(random access memory，RAM)；存储器1002也可以包括非易失性存储器(non-volatile memory，NVM)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-statedrive，SSD)；存储器802还可以包括上述种类的存储器的组合。
可选地，该装置还可以包括摄像头、显示屏、紫光光源、放大镜片等用于辅助处理器801实现上述功能的硬件。
处理器801可以调用所述程序代码以执行以下操作：
获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；
将面部放大紫光图像输入至残留物检测模型，以获取面部放大紫光图像对应的面部中的残留疑似物，以及残留疑似物在面部放大紫光图像中的位置；
根据残留疑似物在面部放大紫光图像中的位置，在面部放大紫光图像中截取残留疑似物对应的局部图像；
在残留疑似物对应的局部图像满足预设的颜色要求，以及残留疑似物符合预设的形状条件的情况下，确定前述残留疑似物为面部中的残留物。
需要说明的是，各个操作的实现还可以对应参照上述方法实施例的相应描述；所述处理器801还可以其他功能硬件配合执行上述方法实施例中的其他操作。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法，所述计算机可以为上述提到的面部残留物检测装置的一部分。例如为上述的处理器801。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (10)

1.一种面部残留物检测方法，其特征在于，包括：
获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；
将所述面部放大紫光图像输入至面部残留物检测模型，以获取所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置；
根据所述残留疑似物在所述面部放大紫光图像中的位置，在所述面部放大紫光图像中截取所述残留疑似物对应的局部图像；
在根据所述局部图像确定所述残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定所述残留疑似物为所述面部中的残留物。
2.根据权利要求1所述的方法，其特征在于，所述将所述面部放大紫光图像输入至面部残留物检测模型，以获取所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置，包括：
基于所述面部残留物检测模型对应的至少一个图像备选区域，以及，所述面部残留物检测模型中的至少一个卷积特征层，提取所述面部放大紫光图像的局部图像特征，以得到用于表征所述局部图像特征的多个局部卷积特征图，所述图像备选区域用于在所述面部放大紫光图像中定位所述残留疑似物的位置；
基于所述面部残留物检测模型中的类别识别层，识别各局部卷积特征图所属的特征图类别，所述特征图类别为残留疑似物特征图或非残留疑似物特征图中的一种；
根据所述各局部卷积特征图所属的特征图类别，确定所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置。
3.根据权利要求2所述的方法，其特征在于，所述根据所述各局部卷积特征图所属的特征图类别，确定所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置，包括：
根据所述各局部卷积特征图所属的特征图类别，在所述多个局部卷积特征图中确定目标局部卷积特征图以及所述目标局部卷积特征图对应的置信度，所述目标局部卷积特征图为特征图类别为所述残留疑似物特征图的局部卷积特征图，所述置信度为所述目标局部卷积特征图属于所述残留疑似物特征图的概率；
将置信度大于预设置信度阈值的一个或多个目标局部卷积特征图对应的目标图像区域，确定为所述面部放大紫光图像对应的面部中的残留疑似物，并将所述目标图像区域在所述面部放大紫光图像中的位置确定为所述残留疑似物在所述面部放大紫光图像中的位置，所述目标图像区域为将所述目标局部卷积特征图映射回所述面部放大紫光图像所得到的图像区域。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述残留疑似物为所述面部中的残留物之前，还包括：
将所述局部图像转换为所述残留疑似物对应的黑白图像，并计算所述黑白图像中的黑色像素在所述黑白图像中的面积占比；
在所述面积占比小于或等于预设占比阈值的情况下，确定所述残留疑似物符合预设的形状条件。
5.根据权利要求4所述的方法，其特征在于，所述将所述局部图像转换为所述残留疑似物对应的黑白图像，包括：
对所述局部图像进行灰度处理，以得到所述残留疑似物对应的灰度图像；
对所述灰度图像进行阈值分割，以得到所述残留疑似物对应的黑白图像。
6.根据权利要求1-3任一项所述的方法，其特征在于，所述确定所述残留疑似物为所述面部中的残留物之前，还包括：
确定所述局部图像中各像素对应的蓝色通道值，并计算所述各像素对应的蓝色通道值的均值；
在所述均值属于预设通道阈值范围的情况下，确定所述残留疑似物符合所述预设的颜色条件。
7.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
在所述面部放大紫光图像中标记所述残留物的位置，以及，所述残留物的量化数据，所述量化数据用于以数值的形式体现所述残留物的一种或多种特征；
显示标记后的面部放大紫光图像。
8.一种面部残留物检测装置，其特征在于，包括：
图像获取模块，用于获取经放大测肤仪器基于紫外光成像采集到的面部放大紫光图像；
预估模块，用于将所述面部放大紫光图像输入至面部残留物检测模型，以获取所述面部放大紫光图像对应的面部中的残留疑似物，以及所述残留疑似物在所述面部放大紫光图像中的位置；
截取模块，用于根据所述残留疑似物在所述面部放大紫光图像中的位置，在所述面部紫光图像中截取所述残留疑似物对应的局部图像；
残留物确定模块，用于在根据所述局部图像确定所述残留疑似物符合预设的颜色条件和预设的形状条件的情况下，确定所述残留疑似物为所述面部中的残留物。
9.一种面部残留物检测装置，其特征在于，包括存储器以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述一个或多个处理器在执行所述一个或多个计算机程序时，使得所述装置实现如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN202010105428.8A 2020-02-20 2020-02-20 面部残留物检测方法及相关设备 Active CN111325732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010105428.8A CN111325732B (zh) 2020-02-20 2020-02-20 面部残留物检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010105428.8A CN111325732B (zh) 2020-02-20 2020-02-20 面部残留物检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN111325732A true CN111325732A (zh) 2020-06-23
CN111325732B CN111325732B (zh) 2023-07-11

Family

ID=71172821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010105428.8A Active CN111325732B (zh) 2020-02-20 2020-02-20 面部残留物检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN111325732B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007035829A2 (en) * 2005-09-20 2007-03-29 Brightex Bio-Photonics, Llc Systems and methods for analyzing skin conditions of people using digital images
CN101571911A (zh) * 2008-04-30 2009-11-04 深圳市飞瑞斯科技有限公司 一种基于紫外光源的人脸识别系统
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109124575A (zh) * 2018-06-26 2019-01-04 广州市美锐美容健康设备实业有限公司 多光谱面部皮肤图像获取装置及系统
CN109730637A (zh) * 2018-12-29 2019-05-10 中国科学院半导体研究所 一种人脸面部图像定量分析系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007035829A2 (en) * 2005-09-20 2007-03-29 Brightex Bio-Photonics, Llc Systems and methods for analyzing skin conditions of people using digital images
CN101571911A (zh) * 2008-04-30 2009-11-04 深圳市飞瑞斯科技有限公司 一种基于紫外光源的人脸识别系统
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109124575A (zh) * 2018-06-26 2019-01-04 广州市美锐美容健康设备实业有限公司 多光谱面部皮肤图像获取装置及系统
CN109730637A (zh) * 2018-12-29 2019-05-10 中国科学院半导体研究所 一种人脸面部图像定量分析系统及方法

Also Published As

Publication number Publication date
CN111325732B (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
US11170897B2 (en) Method and system for assisting pathologist identification of tumor cells in magnified tissue images
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN110674804A (zh) 文本图像的检测方法、装置、计算机设备和存储介质
CN110147776B (zh) 确定人脸关键点位置的方法和装置
KR102177918B1 (ko) 딥 러닝 기반 퍼스널 컬러 진단 및 가상 메이크업 방법 및 장치
JP2013111420A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113269257A (zh) 一种图像分类方法、装置、终端设备及存储介质
CN111428552B (zh) 黑眼圈识别方法、装置、计算机设备和存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN111091055A (zh) 脸型识别方法、装置、设备及计算机可读存储介质
CN113707279A (zh) 医学影像图片的辅助分析方法、装置、计算机设备及介质
CN110956623B (zh) 皱纹检测方法、装置、设备及计算机可读存储介质
CN112102348A (zh) 图像处理设备
CN111325732B (zh) 面部残留物检测方法及相关设备
CN113112475B (zh) 一种基于机器学习的中医耳部五脏区域分割方法和装置
CN111428553B (zh) 人脸色素斑识别方法、装置、计算机设备和存储介质
Ma et al. Deep attention network for melanoma detection improved by color constancy
CN112837304B (zh) 一种皮肤检测方法、计算机存储介质及计算设备
CN114708237A (zh) 一种用于头发健康状况的检测算法
CN113724237A (zh) 齿痕识别方法、装置、计算机设备及存储介质
CN112069885A (zh) 人脸属性识别方法、装置及移动终端
JP6397439B2 (ja) 属性推定装置
CN111179226A (zh) 视野图的识别方法、装置及计算机存储介质
CN113920562B (zh) 年龄预测模型的训练方法、年龄预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant