CN109063601A - 唇纹检测方法、装置、计算机设备和存储介质 - Google Patents

唇纹检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN109063601A
CN109063601A CN201810770798.6A CN201810770798A CN109063601A CN 109063601 A CN109063601 A CN 109063601A CN 201810770798 A CN201810770798 A CN 201810770798A CN 109063601 A CN109063601 A CN 109063601A
Authority
CN
China
Prior art keywords
cheilogramma
image
characteristic
lip
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810770798.6A
Other languages
English (en)
Other versions
CN109063601B (zh
Inventor
赵越
张惠斌
王亚宁
何云志
曾庆婷
关蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGZHOU LAIDE PU DETECTION TECHNOLOGY Co.,Ltd.
Original Assignee
Beijing Collip Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Collip Cloud Technology Co Ltd filed Critical Beijing Collip Cloud Technology Co Ltd
Priority to CN201810770798.6A priority Critical patent/CN109063601B/zh
Publication of CN109063601A publication Critical patent/CN109063601A/zh
Application granted granted Critical
Publication of CN109063601B publication Critical patent/CN109063601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种唇纹检测方法、装置、计算机设备和存储介质。所述方法包括：获取脸部图像，并识别所述脸部图像的嘴唇区域；对所述嘴唇区域划分区块，并提取所述区块的区块图像；对所述区块图像进行唇纹提取处理，得到唇纹特征图像；获取所述唇纹特征图像的唇纹特征分量；根据所述唇纹特征分量进行唇纹检测。根据本申请实施例，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。

Description

唇纹检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种唇纹检测方法、装置、计算机设备和存储介质。
背景技术
目前，唇纹检测技术越来越多地应用在多个领域中。例如，在化妆品研发领域中，需要针对不同的唇纹设计适配的唇膏产品。
当前较为常见的唇纹检测方法，是针对唇纹采集唇纹图像，通过人的肉眼对唇纹图像进行观察，统计唇纹条数和形状，作为唇纹的检测结果。
然而，基于肉眼观察的唇纹检测方法，受到主观视觉因素影响，可靠性较低，对唇纹的检测并不准确。
因此，目前的唇纹检测方法存在着唇纹检测不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升唇纹检测准确性的唇纹检测方法、装置、计算机设备和存储介质。
一种唇纹检测方法，包括：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在其中一个实施例中，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在其中一个实施例中，所述对所述区块图像进行唇纹提取处理，得到唇纹特征图像，包括：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在其中一个实施例中，所述对所述区块图像进行优化处理，得到优化图像，包括：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在其中一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述获取所述唇纹特征图像的唇纹特征分量，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在其中一个实施例中，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在其中一个实施例中，还包括：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
一种唇纹检测装置，包括：
嘴唇识别模块，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；
分块模块，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块，用于获取所述唇纹特征图像的唇纹特征分量；
检测模块，用于根据所述唇纹特征分量进行唇纹检测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
上述唇纹检测方法、装置、计算机设备和存储介质，通过识别脸部图像的嘴唇区域，对所述嘴唇区域划分区块并提取区块图像，针对区块图像进行唇纹提取处理，得到唇纹特征图像，获取唇纹特征图像的唇纹特征分量，从而可以根据唇纹特征分量进行唇纹检测，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。
附图说明
图1是本实施例的一种唇纹检测方法的流程示意图；
图2是本实施例的一种唇纹检测方法的应用环境图；
图3是本实施例的一种嘴唇轮廓点的示意图；
图4是本实施例的一种嘴唇区域的示意图；
图5是本实施例的一种唇纹特征图像生成步骤的流程示意图；
图6是本实施例的一种获取唇纹特征分量的流程图；
图7是本实施例的一种唇纹检测装置的结构框图；
图8是一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种唇纹检测方法，该方法可以包括以下步骤：
步骤S101，获取脸部图像，并识别所述脸部图像的嘴唇区域。
其中，脸部图像可以为针对人脸采集到的图像。
其中，嘴唇区域可以为脸部图像中具有嘴唇特征的图像区域。
具体实现中，可以针对人脸采集图像，得到脸部图像。然后，通过标记模型对脸部图像的嘴唇轮廓点进行标记，根据标记的嘴唇轮廓点，确定嘴唇轮廓。
步骤S102，对所述嘴唇区域划分区块，并提取所述区块的区块图像。
其中，区块图像可以为针对嘴唇区域划分的多个矩形区域中的图像。例如，每个矩形区域的大小为100*100像素。
具体实现中，可以将嘴唇区域均匀划分为多个区块，每个区块的大小可以100*100像素，区块之间可以有20像素的重叠区域。然后，可以提取每个区块中的图像作为区块图像，从而在嘴唇区域中，提取出多个区块图像。
步骤S103，对所述区块图像进行唇纹提取处理，得到唇纹特征图像。
其中，唇纹特征图像可以为包含有唇纹特征的图像。
具体实现中，可以从区块图像中提取唇纹特征，以得到唇纹特征图像。针对多个区块图像，则可以得到多个唇纹特征图像。
实际应用中，可以对区块图像进行优化处理，得到优化图像，并针对优化图像中各个像素点，计算像素矩阵。根据优化图像中各个像素点的像素矩阵，计算优化图像的唇纹相似度矩阵，唇纹相似度矩阵中可以包含有个各个像素点的唇纹相似度，然后，通过阈值分割的手段，确定矩阵中的唇纹像素点和非唇纹像素点，根据唇纹像素点和非唇纹像素点生成唇纹特征图像。
步骤S104，获取所述唇纹特征图像的唇纹特征分量。
其中，唇纹特征分量可以为图像中反映唇纹特征的、相互连接的多个像素点。
具体实现中，可以针对唇纹特征图像中的各个唇纹像素点检测连通域，将连通的唇纹像素点，作为唇纹特征分量。
实际应用中，唇纹特征图像可以包括有水平唇纹特征图像和垂直唇纹特征图像，可以分别针对水平唇纹特征图像和垂直唇纹特征图像获取唇纹特征分量，将得到的两个唇纹特征分量进行合并，得到最终的唇纹特征分量。
步骤S105，根据所述唇纹特征分量进行唇纹检测。
具体实现中，可以根据唇纹特征分量，统计唇纹的数量、唇纹的长度、唇纹的分布情况等。
需要说明的是，本申请提供的唇纹检测方法，可以应用于如图2所示的应用环境中。其中，图像采集终端202通过网络与检测服务器204通过网络进行通信。其中，图像采集终端202可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，检测服务器204可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图像采集终端202可以针对人脸采集脸部图像，并将脸部图像发送至检测服务器204，由检测服务器404执行上述的唇纹检测方法。当然，在实际应用中，也可以由图像采集终端202执行上述的唇纹检测方法。
根据本实施例提供的脸部皱纹检测方法，通过识别脸部图像的嘴唇区域，对所述嘴唇区域划分区块并提取区块图像，针对区块图像进行唇纹提取处理，得到唇纹特征图像，获取唇纹特征图像的唇纹特征分量，从而可以根据唇纹特征分量进行唇纹检测，避免了肉眼观察受到主观视觉因素影响导致检测可靠性较低、检测结果不准确的问题，提升了唇纹检测的准确性。
在一个实施例中，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；筛选所述嘴唇轮廓点中的外嘴唇轮廓点；确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
其中，嘴唇轮廓点可以为脸部图像中反映人脸嘴唇轮廓特征的像素点。
其中，嘴唇轮廓点可以包括外嘴唇轮廓点和内嘴唇轮廓点。
具体实现中，可以通过样本嘴唇图像对轮廓标记模型进行机器训练和校验，采用经过机器训练的轮廓标记模型，标记脸部图像的嘴唇轮廓点，并在标记的多个嘴唇轮廓点中，识别出外嘴唇轮廓点和内嘴唇轮廓点，最后根据外嘴唇轮廓点在脸部图像中的坐标信息，确定其所形成的区域，作为脸部图像的嘴唇区域。
图3是本实施例的一种嘴唇轮廓点的示意图。从图中可见，通过轮廓标记模型，可以标记出脸部图像中的43个嘴唇轮廓点。其中，根据坐标信息，可以确定嘴唇轮廓点0、1、2……31为外嘴唇轮廓点，嘴唇轮廓点32、33、34……42为内嘴唇轮廓点。
图4是本实施例的一种嘴唇区域的示意图。从图中可见，将外嘴唇轮廓点0、1、2……31所形成的区域，作为脸部图像的嘴唇区域。
实际应用中，由于上下嘴唇交接处出现唇缝，该区域容易识别成唇纹，因此，需要将内嘴唇轮廓点剔除，以提升唇纹检测的准确性。
在一个实施例中，如图5所示，提供了一种唇纹特征图像生成步骤的流程图，所述步骤S103，具体包括：
步骤S11，对所述区块图像进行优化处理，得到优化图像；
步骤S12，计算所述优化图像的像素矩阵；
步骤S13，计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
步骤S14，根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
步骤S15，根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
其中，步骤S11的具体实现中，可以包括以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
例如，当前得到区块图像Pblock，分别对区块图像Pblock进行水平方向和垂直方向的滤波处理，得到水平滤波图像Ph1和垂直滤波图像Pv1。然后，分别对水平滤波图像Ph1和垂直滤波图像Pv1，进行图像锐化和图像增强等图像优化处理，得到水平优化图像Ph2和垂直优化图像Pv2，由此，得到上述的优化图像。
对图像进行滤波、锐化等优化处理，从而，在后续处理中，可以基于可以准确反映唇纹特征的图像进行唇纹检测，提升唇纹检测的准确性。
其中，步骤S12的具体实现中，在上述例子的基础上，可以针对于水平优化图像Ph2和垂直优化图像Pv2，提取图像中的多个像素点，针对每个像素点，计算其图像特征矩阵，例如Hessian矩阵(Hessian Matrix，黑塞矩阵)。
其中，Hessian矩阵可以包括三个子矩阵，分别为对水平方向求二阶导得到的子矩阵Hxx，对垂直方向求二阶导得到的子矩阵Hyy，以及，先对水平方向求导、再对垂直方向求导得到的子矩阵Hxy，以及，先对垂直方向求导、再对水平方向求导得到的子矩阵Hyx＝Hxy。由此，得到Hessian矩阵如下：
其中，步骤S13的具体实现中，在上述例子的基础上，可以计算图像中各个像素点矩阵H的最大特征值和最小特征值，分别为λ1、λ2,根据λ1、λ2计算像素点的唇纹相似度值，其计算公式如下：
其中，常数C用于控制唇纹相似度的大小，常数β用来控制唇纹的形状。
由此，得到了一个图像中各个像素点的唇纹相似度，可以将各个像素点的唇纹相似度，组成唇纹相似度矩阵F如下：
其中，m和n分别代表图像的水平分辨率垂直分辨率。
其中，步骤S14的具体实现中，在上述例子的基础上，可以采用阈值分割的方法，将fij(i，j表示矩阵F的行列坐标)与设定的相似度阈值f0做比较，当f值大于或等于相似度阈值f0时，则认为该像素点为唇纹像素点,标记其像素值为1；否则，认为该像素点为非唇纹像素点，标记其像素值为0。
其中，步骤S15的具体实现中，在上述例子的基础上，对于像素值为1的唇纹像素点，表示为黑色像素点，对于像素值为0的非唇纹像素点，表示为白色像素点，由此，将图像转换为黑白图，得到唇纹特征图像。
针对于水平优化图像Ph2和垂直优化图像Pv2，则可以得到水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3。
在一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述步骤S104，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
具体实现中，针对于水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3，可以检测唇纹像素点(即白色像素点)的连通域，确定具有邻接关系的多个唇纹像素点，连接该多个唇纹像素点，连接的多个唇纹像素点，则形成多个唇纹像素点的连通域，即为水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量。
然后，可以合并水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量，得到唇纹特征分量W0。
在一个实施例中，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
具体实现中，由于初始的唇纹特征分量W0可能存在很多噪声，因此，还可以对唇纹特征分量W0进行去噪处理，得到目标唇纹分量W，并基于目标唇纹分量W，进行唇纹数量、唇纹长度、唇纹分布特征的检测处理。
图6是本实施例的一种获取唇纹特征分量的流程图。从图中可见，在得到区块图像Pblock之后，分别对区块图像Pblock进行水平方向和垂直方向的滤波处理，得到水平滤波图像Ph1和垂直滤波图像Pv1，然后，进行图像锐化和图像增强等图像优化处理，得到水平优化图像Ph2和垂直优化图像Pv2。通过计算像素点的Hessian矩阵，构建唇纹相似度矩阵F，并生成水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3。针对图像获取唇纹特征分量，将水平唇纹特征图像Ph3和垂直唇纹特征图像Pv3的唇纹特征分量合并，得到如图中所示的唇纹特征分量W0。
在一个实施例中，还包括：
获取样本嘴唇图像和校验嘴唇图像；采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
具体实现中，在进行唇纹检测之前，可以首先获取若干正面脸部图像，其中部分用于对模型的机器训练，部分用于模型的校验。将脸部图像通过标记软件标记嘴唇轮廓点，将结果保存在.xml文件中。可以采用dlib算法库中face landmark detection算法(脸部检测标记算法)，dlib是一个包含许多机器学习算法的开源c++库，其中face landmarkdetection算法是一种基于人脸标注点的机器学习训练算法。
标记模型训练完成后，得到嘴唇轮廓点的轮廓标记模型。采用该轮廓标记模型对脸部图像进行标记，可以提升标记的准确率，以便在后续处理中，基于准确的嘴唇轮廓点确定嘴唇区域，从而进一步提升唇纹检测的准确性。
应该理解的是，虽然图1和图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种唇纹检测装置，包括：嘴唇识别模块701、分块模块702、图像提取模块703、分量获取模块704和检测模块705，其中：
嘴唇识别模块701，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；
分块模块702，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块703，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块704，用于获取所述唇纹特征图像的唇纹特征分量；
检测模块705，用于根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，所述嘴唇识别模块701，包括：
轮廓点标记子模块，用于标记所述脸部图像的嘴唇轮廓点；
筛选子模块，用于筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
区域确定子模块，用于确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，所述图像提取模块703，包括：
图像优化子模块，用于对所述区块图像进行优化处理，得到优化图像；
矩阵计算子模块，用于计算所述优化图像的像素矩阵；
相似度矩阵计算子模块，用于计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
分割子模块，用于根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
特征图像生成子模块，用于根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，所述图像优化子模块，包括：
滤波单元，用于对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
优化单元，用于对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
优化图像确定单元，用于将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述分量获取模块704，包括：
水平连通域子模块，用于根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
垂直连通域子模块，用于根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并子模块，用于合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，所述检测模块705，包括：
去噪子模块，用于对所述唇纹特征分量进行去噪，得到目标唇纹分量；
检测子模块，用于根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，还包括：
样本获取模块，用于获取样本嘴唇图像和校验嘴唇图像；
训练模块，用于采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述轮廓点标记子模块，包括：
模型标记单元，用于通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
关于唇纹检测装置的具体限定可以参见上文中对于唇纹检测方法的限定，在此不再赘述。上述唇纹检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储唇纹检测的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种唇纹检测方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种唇纹检测方法，其特征在于，包括：
获取脸部图像，并识别所述脸部图像的嘴唇区域；
对所述嘴唇区域划分区块，并提取所述区块的区块图像；
对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
获取所述唇纹特征图像的唇纹特征分量；
根据所述唇纹特征分量进行唇纹检测。
2.根据权利要求1所述的方法，其特征在于，所述识别所述脸部图像的嘴唇区域，包括：
标记所述脸部图像的嘴唇轮廓点；
筛选所述嘴唇轮廓点中的外嘴唇轮廓点；
确定所述外嘴唇轮廓点形成的区域，得到所述脸部图像的嘴唇区域。
3.根据权利要求1所述的方法，其特征在于，所述对所述区块图像进行唇纹提取处理，得到唇纹特征图像，包括：
对所述区块图像进行优化处理，得到优化图像；
计算所述优化图像的像素矩阵；
计算所述像素矩阵的唇纹相似度矩阵；所述唇纹相似度矩阵包括多个像素点及其相似度；
根据所述像素点的相似度，对所述唇纹相似度矩阵进行阈值分割，得到唇纹像素点和非唇纹像素点；
根据所述唇纹相似度矩阵的唇纹像素点和非唇纹像素点，生成所述唇纹特征图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述区块图像进行优化处理，得到优化图像，包括：
对所述区块图像进行水平方向的滤波处理，得到水平滤波图像，以及，对所述区块图像进行垂直方向的滤波处理，得到垂直滤波图像；
对所述水平滤波图像进行图像优化处理，得到水平优化图像，以及，对所述垂直滤波图像进行图像优化处理，得到垂直优化图像；
将所述水平优化图像和所述垂直优化图像，作为所述优化图像。
5.根据权利要求3所述的方法，其特征在于，所述唇纹特征图像包括水平唇纹特征图像和垂直唇纹特征图像，所述获取所述唇纹特征图像的唇纹特征分量，包括：
根据所述水平唇纹特征图像的唇纹像素点的连通域，连接所述水平唇纹特征图像的唇纹像素点，得到所述水平唇纹特征图像的水平唇纹特征分量；
根据所述垂直唇纹特征图像的唇纹像素点的连通域，连接所述垂直唇纹特征图像的唇纹像素点，得到所述垂直唇纹特征图像的垂直唇纹特征分量；
合并所述水平唇纹特征分量和所述垂直唇纹特征分量，得到所述唇纹特征图像的唇纹特征分量。
6.根据权利要求1所述的方法，其特征在于，所述根据所述唇纹特征分量进行唇纹检测，包括：
对所述唇纹特征分量进行去噪，得到目标唇纹分量；
根据所述目标唇纹分量，检测唇纹数量、唇纹长度和唇纹分布特征。
7.根据权利要求2所述的方法，其特征在于，还包括：
获取样本嘴唇图像和校验嘴唇图像；
采用所述样本嘴唇图像和所述校验嘴唇图像，对初始轮廓标记模型进行机器训练，得到目标轮廓标记模型；
所述标记所述脸部图像的嘴唇轮廓点，包括：
通过所述目标轮廓标记模型对所述脸部图像进行标记，得到所述脸部图像的嘴唇轮廓点。
8.一种唇纹检测装置，其特征在于，包括：
嘴唇识别模块，用于获取脸部图像，并识别所述脸部图像的嘴唇区域；
分块模块，用于对所述嘴唇区域划分区块，并提取所述区块的区块图像；
图像提取模块，用于对所述区块图像进行唇纹提取处理，得到唇纹特征图像；
分量获取模块，用于获取所述唇纹特征图像的唇纹特征分量；
检测模块，用于根据所述唇纹特征分量进行唇纹检测。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201810770798.6A 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质 Active CN109063601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810770798.6A CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810770798.6A CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN109063601A true CN109063601A (zh) 2018-12-21
CN109063601B CN109063601B (zh) 2020-12-22

Family

ID=64816486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810770798.6A Active CN109063601B (zh) 2018-07-13 2018-07-13 唇纹检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN109063601B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443015A (zh) * 2019-06-28 2019-11-12 北京市政建设集团有限责任公司 机电设备控制方法和控制设备
CN113420663A (zh) * 2021-06-23 2021-09-21 深圳市海清视讯科技有限公司 一种儿童人脸识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005042A (zh) * 2010-11-09 2011-04-06 东华大学 一种用于表征织物纹理的索贝尔算子滤波概貌特征提取方法
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
CN103593639A (zh) * 2012-08-15 2014-02-19 北京三星通信技术研究有限公司 嘴唇检测和跟踪方法及设备
CN106056080A (zh) * 2016-05-30 2016-10-26 东莞市中控电子技术有限公司 一种可视化的生物计量信息采集装置和方法
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005042A (zh) * 2010-11-09 2011-04-06 东华大学 一种用于表征织物纹理的索贝尔算子滤波概貌特征提取方法
CN103593639A (zh) * 2012-08-15 2014-02-19 北京三星通信技术研究有限公司 嘴唇检测和跟踪方法及设备
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
CN106056080A (zh) * 2016-05-30 2016-10-26 东莞市中控电子技术有限公司 一种可视化的生物计量信息采集装置和方法
CN106250829A (zh) * 2016-07-22 2016-12-21 中国科学院自动化研究所 基于唇部纹理结构的数字识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN-YAO LAI ET AL.: "Sparse Coding Based Lip Texture Representation For Visual Speaker Identification", 《PROCEEDINGS OF THE 19TH INTERNATIONAL CONFERENCE ON DIGTAL SIGNAL PROCESSING》 *
杨成佳: "唇纹识别图像分割系统的研究", 《山西青年》 *
林剑 等: "基于Hessian矩阵的手指静脉图像分割", 《机电工程》 *
梁洋洋 等: "基于深度自编码器网络的人脸特征点定位方法", 《计算机应用与软件》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443015A (zh) * 2019-06-28 2019-11-12 北京市政建设集团有限责任公司 机电设备控制方法和控制设备
CN113420663A (zh) * 2021-06-23 2021-09-21 深圳市海清视讯科技有限公司 一种儿童人脸识别方法及系统
CN113420663B (zh) * 2021-06-23 2022-02-22 深圳市海清视讯科技有限公司 一种儿童人脸识别方法及系统

Also Published As

Publication number Publication date
CN109063601B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US9305240B2 (en) Motion aligned distance calculations for image comparisons
CN107346414B (zh) 行人属性识别方法和装置
JP2015527625A (ja) 身体測定
CN110427970A (zh) 图像分类方法、装置、计算机设备和存储介质
CN107085728B (zh) 利用视觉系统对图像中的探针进行有效评分的方法及系统
CN112668573B (zh) 目标检测定位置信度确定方法、装置、电子设备及存储介质
CN112037267B (zh) 基于视频目标跟踪的商品摆放位置全景图形生成方法
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
CN105678778A (zh) 一种图像匹配方法和装置
CN109858504A (zh) 一种图像识别方法、装置、系统以及计算设备
CN113689578A (zh) 一种人体数据集生成方法及装置
CN115019370A (zh) 一种基于双细粒度伪影的深度伪造视频检测方法
WO2015035462A1 (en) Point feature based 2d-3d registration
US10192137B2 (en) Automatic ruler detection
US11544839B2 (en) System, apparatus and method for facilitating inspection of a target object
CN109063601A (zh) 唇纹检测方法、装置、计算机设备和存储介质
CN109086688A (zh) 脸部皱纹检测方法、装置、计算机设备和存储介质
CN116012432A (zh) 立体全景图像的生成方法、装置和计算机设备
Apdilah et al. A study of Frei-Chen approach for edge detection
CN113298187A (zh) 图像处理方法及装置、计算机可读存储介质
US20140341436A1 (en) Classifying materials using texture
CN110163910A (zh) 物体对象定位方法、装置、计算机设备和存储介质
CN110490020A (zh) 条码识别方法、装置、计算机设备和存储介质
CN113793402B (zh) 图像渲染方法、装置、电子设备及存储介质
CN112652056A (zh) 一种3d信息展示方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201125

Address after: Room 201, No. 9, Tengfei 2nd Street, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU LAIDE PU DETECTION TECHNOLOGY Co.,Ltd.

Address before: 102200 room 1, Building 29, life park, Changping District science and Technology Park, Beijing, B316-82

Applicant before: BEIJING KELAI PUYUN TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant