CN108492305A - 一种嘴唇内侧轮廓线的分割方法、系统和介质 - Google Patents

一种嘴唇内侧轮廓线的分割方法、系统和介质 Download PDF

Info

Publication number
CN108492305A
CN108492305A CN201810226530.6A CN201810226530A CN108492305A CN 108492305 A CN108492305 A CN 108492305A CN 201810226530 A CN201810226530 A CN 201810226530A CN 108492305 A CN108492305 A CN 108492305A
Authority
CN
China
Prior art keywords
image
lip
thin
curve
scoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810226530.6A
Other languages
English (en)
Other versions
CN108492305B (zh
Inventor
陈远
沈以诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tooth Collar Technology Co Ltd
Original Assignee
Shenzhen Tooth Collar Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tooth Collar Technology Co Ltd filed Critical Shenzhen Tooth Collar Technology Co Ltd
Priority to CN201810226530.6A priority Critical patent/CN108492305B/zh
Publication of CN108492305A publication Critical patent/CN108492305A/zh
Application granted granted Critical
Publication of CN108492305B publication Critical patent/CN108492305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种嘴唇内侧轮廓线的分割方法，具体包括：将嘴唇区域图像进行图像颜色空间变换，得到图像A和图像H；对图像A和图像H分别进行图像滤波处理，得到图像A1和图像H1，对图像A1和图像H1分别进行细化处理，得到图像Athin和图像Hthin；对图像Athin和图像Hthin分别进行噪声滤波处理，得到图像A2和图像H2；将图像A2和图像H2进行合并，对合并后的图像进行二值化，对二值化图像进行形态学滤波处理，得到平滑封闭区域；获取平滑封闭区域的边界轮廓线，平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线。本发明能完整分割出嘴唇内侧轮廓线，分割精确度高，有助于进一步对嘴唇内侧区域进行其他后续处理工作。

Description

一种嘴唇内侧轮廓线的分割方法、系统和介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种嘴唇内侧轮廓线的分割方法、系统和介质。
背景技术
口腔牙科患者在进行牙齿美容，如牙齿贴面、牙齿正畸整形等之前，并不能看到一个直观的牙齿美容效果。口腔牙科的新型AR技术则通过先进的虚拟增强可视化技术，将患者牙齿美容后的渲染效果实时地显示给患者观看，极大地加强了医生与患者之间的有效沟通。口腔AR技术中的一个重要环节是患者口腔图像/视频的嘴唇内轮廓区域的提取，即嘴唇内轮廓线的分割。现有的嘴唇轮廓分割往往集中在嘴外侧轮廓的分割。由于嘴唇颜色与皮肤颜色对比较大，因此嘴外侧轮廓往往比较容易分割。而嘴唇内侧区域包括嘴唇，牙齿，舌头，牙龈(或牙龈乳头)以及口内其他区域。其中嘴唇、牙龈(或牙龈乳头)以及舌头颜色极为接近，难以分割。
现有的嘴唇内轮廓线分割方法可以分为两大类，一类是定量计算方法，另一类是统计计算方法。其中第一类定量计算方法又可以分为基于区域的方法和基于轮廓的方法。具体来说，基于区域的方法有模糊聚类法，参数模型法等；基于轮廓的方法有基于梯度信息的插值法，这类方法有其应用的局限性，仅在特定的场合下有较好的效果，不具有通用性。第二类是基于统计学习的方法，具有代表性的有基于局部二值特征回归，集成回归树法，监督下降法等算法。这些方法使用大量的训练样本来建立人脸关键点的回归分析模型，训练时间往往较长，但一旦训练完成后，执行速度非常快。然而这类方法一方面需要大量的学习样本，训练之后才能够对人脸的整体五官特征具有较好的定位。另一方面其在内嘴唇上的定位上精度较差，且定位点较少。通常来说，这类算法往往对内嘴唇只有8个定位点，远远达不到嘴唇内侧轮廓的提取与分割目的，不能完整提取嘴唇内侧轮廓线，除此之外，嘴唇内侧轮廓关键点的精度不高，定位不准确，无法精确地分割出嘴唇内侧轮廓线。
发明内容
有鉴于此，本发明要解决的技术问题之一在于提供一种嘴唇内侧轮廓线的分割方法，能快速有效完整地提取嘴唇内侧轮廓线，实现嘴唇内侧轮廓的精确分割。
本发明通过以下技术手段解决上述技术问题：
本发明实施例提供了一种嘴唇内侧轮廓线的分割方法，具体包括以下步骤：
在原始图像中获取嘴唇区域图像；
将所述嘴唇区域图像进行图像颜色空间变换，得到图像A和图像H；
对所述图像A和图像H分别进行图像滤波处理，得到图像滤波后的图像A1和图像H1；对图像A1和图像H1分别进行细化处理，得到图像Athin和图像Hthin；
对所述图像Athin和图像Hthin分别进行噪声滤波处理，得到图像A2和图像H2；
将图像A2和图像H2进行合并，对合并后的图像进行二值化，得到二值图像，对二值图像进行形态学滤波处理，得到平滑封闭区域；
获取所述平滑封闭区域的边界轮廓线，所述平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线。
可选地，将所述嘴唇区域图像由RGB颜色空间变换到Lab色彩空间，Lab空间的a通道图像为图像A，所述图像H中的H的表达式为其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数。
可选地，对所述图像A和图像H分别进行图像滤波处理的具体方法包括：图像滤波处理采用的公式为：其中θ*(x,y)为：其中，
g(x,y)为滤波器，f(x,y)为输入的图像A和图像H，rst*为图像滤波的结果，图像的方向角度θ*(x,y)，当输入图像f(x,y)为图像A时，滤波器g(x,y)采用高斯一阶导数滤波器，高斯一阶导数滤波器定义为：
当输入图像f(x,y)为H时，滤波器g(x,y)采用高斯二阶导数滤波器，高斯二阶导数滤波器定义为：
经过图像滤波后得到rst*，所述rst*包括图像A1和H1，对所述rst*采用了非极大值抑制算法进行细化处理得到图像Athin和图像Hthin，非极大值抑制算法所需的方向角度由上述公式θ*(x,y)提供。
可选地，所述在原始图像中获取嘴唇图像区域采用OpenCV和Dlib开源库，其中，OpenCV用于寻找和探测原始图像中的人脸，Dlib库用于提取人脸的68个关键点，在Dlib库提取的关键点当中，嘴唇外轮廓有12个关键点以及嘴唇内侧轮廓有8个关键点，对所述嘴唇内侧轮廓的8个关键点进行插值拟合，得到封闭的拟合图形。
可选地，所述噪声滤波的方法具体包括：
根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
噪声滤波算法的好处在于，并不要求8个关键点的定位非常精确，在大致准确的情况下，就能得到较好的滤波效果。
可选地，所述对合并后的图像进行形态学滤波处理的具体方法包括，依次对二值图像进行闭运算、孔洞填充、开运算和闭运算。
第二方面，本发明的实施例提供了一种嘴唇内侧轮廓线的分割系统，包括嘴唇区域提取模块、颜色空间变换模块、图像滤波处理模块、图像噪声滤波处理模块、图像合并和形态学滤波模块以及嘴唇外侧轮廓线获取模块，其中，
所述嘴唇区域获取模块用于从原始图像中获取出嘴唇区域图像；
所述颜色空间变换模块用于将嘴唇区域图像由RGB颜色空间转换到Lab颜色空间，得到图像A和图像H；
所述图像滤波处理模块用于对所述图像A和图像H分别进行图像滤波处理，得到图像A1和图像H1，并对所述图像A1和图像H1分别进行细化处理得到细化后的图像Athin和Hthin；所述图像噪声滤波处理模块用于对图像滤波处理后的得到的图像Athin和Hthin分别进行噪声滤波处理得到图像A2和H2；
所述图像合并和形态学滤波模块用于对图像A2和图像H2进行合并和形态学滤波处理，得到平滑封闭区域；
所述嘴唇外侧轮廓线获取模块用于在获取所述平滑封闭区域的边界轮廓线，得到嘴唇内侧轮廓线。
可选地，将所述嘴唇区域图像由RGB颜色空间变换到Lab色彩空间，Lab空间的a通道图像为图像A，所述图像H中的H的表达式为
其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数。
可选地，所述噪声滤波处理模块处理的具体方法包括：
根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。在实际应用中，根据实际情况设定总评分的阈值，总评分高于总评分阈值的曲线保留，总评分低于总评分阈值的曲线滤除。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述的方法。
本发明的有益效果：
本发明实施例提供的一种嘴唇内侧轮廓线的分割方法、系统和介质，通过引入图像H，图像H是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。本发明通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像A2和图像H2。接着对A2和H2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明能完整分割出嘴唇内侧轮廓线，分割的准确度明显高于现有技术的分割方法。本发明有助于进一步对嘴唇内侧区域进行其他后续处理工作，例如患者牙齿的AR美容等。
附图说明
下面结合附图和实施例对本发明作进一步描述。
图1为本发明提供的一种嘴唇内侧轮廓线的分割方法第一实施例的流程图；
图2为采用现有技术提取的嘴唇外轮廓12个关键点以及嘴唇内侧轮廓8个关键点的图像；
图3为对图2中内嘴唇8个关键点进行插值拟合得到的图形；
图4为对图2进行图像颜色空间变换得到的图像A；
图5为对图2进行图像颜色空间变换得到的图像H；
图6为对图4进行图像滤波和细化处理后得到的图像Athin；
图7为对图5进行图像滤波和细化处理后得到的图像Hthin；
图8为对图像A2和图像H2合并后的二值图像；
图9为对图8进行闭运算得到的图像；
图10为对图9进行空洞填充得到的图像；
图11为对图10进行开运算和闭运算得到的图像；
图12为采用本发明实施例提供的嘴唇内侧轮廓线的分割方法获取的嘴唇内轮廓线的图像；
图13为发明提供的一种嘴唇内侧轮廓线的分割系统的第一实施例的原理框图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
下面结合附图和较佳的实施例对本发明作进一步说明。
如图1所示：图1示出了本发明实施例提供的一种嘴唇内侧轮廓线的分割方法的流程图，该方法具体包括以下步骤：
S101：在原始图像中获取嘴唇区域图像。
具体地，在原始图像中获取嘴唇区域图像的步骤包括：使用人脸检测算法，获取人脸的五官区域，在人脸标定关键点，根据嘴唇部分的关键点，进而获取嘴唇区域图像。本实施例利用了OpenCV和Dlib开源库，其中OpenCV用于寻找和探测原始图像中的人脸，Dlib库用于提取人脸的68个关键点。如图2所示，在Dlib库提取的关键点当中，嘴唇外轮廓有12个关键点以及嘴唇内侧轮廓有8个关键点。如图3所示，对所述嘴唇内侧轮廓的8个关键点进行插值拟合，得到封闭的拟合图形，具体的插值拟合处理方法包括：嘴内侧上部的1、2、3关键点之间采用线性插值；嘴内侧下部的5、6、7关键点之间采用线性插值；嘴角两侧关键点3、4、5采用三次样条插值；嘴角关键点1、8、7采用三次样条插值。
S102：将所述嘴唇区域图像进行图像颜色空间变换，得到图像A和图像H。
具体地，如图4所示，将嘴唇区域图像由RGB颜色空间转换到Lab颜色空间,Lab颜色空间的a通道图像为图像A，图像A能较好地区分嘴唇、牙齿、面部区别，但是有时图像A不能区分嘴唇与牙龈、舌头区域。如图5所示，图像H中的H的公式为：其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数，在本实施例中，采用a＝0.2，b＝0.5，c＝0.2。图像H能够在一定程度上凸显嘴唇内侧的轮廓区域，提高嘴唇内侧轮廓线分割的准确性。
S103：对所述图像A和图像H分别进行图像滤波处理，得到图像滤波后的图像A1和图像H1，对图像滤波后的图像A1和图像H1分别进行细化处理，得到图像Athin和图像Hthin。
具体地，对图像A和图像H分别进行图像滤波处理的具体方法包括：图像滤波处理采用的公式为：其中θ*(x,y)为：其中，
g(x,y)为滤波器，f(x,y)为输入的图像A和图像H，rst*为图像滤波的结果，图像的方向角度θ*(x,y)，当输入图像f(x,y)为图像A时，滤波器g(x,y)采用高斯一阶导数滤波器，高斯一阶导数滤波器定义为：
当输入图像f(x,y)为H时，滤波器g(x,y)采用高斯二阶导数滤波器，高斯二阶导数滤波器定义为：
σ代表滤波器的尺度，
如图6、7所示，经过图像滤波后得到rst*，所述rst*包括图像A1和H1，对所述rst*采用了非极大值抑制算法进行细化处理得到图像Athin和图像Hthin，非极大值抑制算法的方向角度采用θ*(x,y)，非极大值抑制算法所需要的方向角度θ*(x,y)由公式得到。细化后的图像可得到图像中独立的曲线。
S104：对图像滤波后的图像Athin和图像Hthin分别进行噪声滤波处理，得到噪声滤波后的图像A2和图像H2。
在实际应用中，往往会出现较多噪声，一方面由于图像的采集质量不高；一方面由于不同人的嘴唇颜色及形状各不相同，会得到不同结果，其中不乏出现噪声较多情况。因此，采用噪声滤波处理，可以进一步滤除噪声，降低噪声干扰。
噪声滤波处理的方法包括：
根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
对述细化后的图像Athin和Hthin采用上述方法进行噪声滤波处理，即使嘴唇内侧轮廓线8个关键点的封闭拟合图形并非很精确，在大致准确的情况下，也能得到较好的滤波效果。
S105：将经过噪声滤波处理后的图像A2和图像H2进行合并，对合并后的图像进行二值化，得到二值图像，对二值图像进行形态学滤波处理，得到平滑封闭区域。
具体地，在对图像Athin和图像Hthin噪声滤波处理后，采用大津法(OTSU)自动计算图像的阈值，得到二值图像。如图8所示，将二值化后的图像A2和图像H2合并叠加，使图像A2和图像H2相互补充，共同构建了一个封闭的区域。如图9、10、11所示，对封闭的区域进行形态学滤波处理，形态学滤波处理的方法依次包括第一次闭运算、孔洞填充、开运算和第二次闭运算。第一次闭运算使合并后的图像中未连接的间断曲线完整连接；孔洞填充，将完整连接的图像形成封闭的完整区域；开运算的作用是滤除封闭的完整区域的剩余噪声；第二次闭运算的作用是进一步填充和平滑不完整缺口，得到平滑封闭区域。
S106：提取所述平滑封闭区域的边界轮廓线，所述平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线，完成嘴唇内侧轮廓线的分割。如图12所示，为本实施例提取的嘴唇内侧轮廓线图像。
本发明实施例提供的一种嘴唇内侧轮廓线的分割方法，通过引入图像H，图像H是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像A2和图像H2。接着对A2和H2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明实施例能完整分割出嘴唇内侧轮廓线，分割精确度高，方便进一步对嘴唇进行图像处理。分割出的嘴唇内侧轮廓线的准确度明显高于现有技术的分割方法。
第二方面，如图13所示，本发明的实施例提供了一种嘴唇内侧轮廓线的分割系统，包括嘴唇区域获取模块201、颜色空间变换模块202、图像滤波处理模块203、图像噪声滤波处理模块204、图像合并和形态学滤波模块205以及嘴唇外侧轮廓线获取模块206，其中，
所述嘴唇区域获取模块201用于从人脸图像中提取出嘴唇区域图像；
所述颜色空间变换模块202用于将嘴唇区域图像由RGB颜色空间转换到Lab颜色空间，得到图像A。通过定义一种新的变换，得到图像H；
所述图像滤波处理模块203用于对所述图像A和图像H分别进行图像滤波处理，得到图像A1和图像H1，并对所述图像A1和图像H1分别进行细化处理得到细化后的图像Athin和Hthin；
所述图像噪声滤波处理模块204用于对图像滤波处理后的得到的图像Athin和Hthin分别进行噪声滤波处理得到图像A2和H2；
所述图像合并和形态学滤波模块205用于对进行噪声滤波处理后的图像A2和图像H2进行合并和形态学滤波处理，得到平滑封闭区域；
所述嘴唇外侧轮廓线获取模块206用于获取所述平滑封闭区域的边界轮廓线，得到嘴唇内侧轮廓线。
作为上述方案的进一步改进，将所述嘴唇区域图像由RGB颜色空间变换到Lab色彩空间，Lab空间的a通道图像为图像A，图像H中的H的表达式为其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数。在本实施例中，采用a＝0.2，b＝0.5，c＝0.2。图像H能够在一定程度上凸显嘴唇内侧的轮廓区域，提高嘴唇内侧轮廓线分割的准确性。
作为上述方案的进一步改进，所述噪声滤波处理模块处理的具体方法包括：根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
本发明实施例提供的一种嘴唇内侧轮廓线的分割系统，通过引入图像H，图像H是提出的一种新的图像变换算法，凸显嘴唇内侧的轮廓区域。通过进行图像滤波和细化滤波，初步得到嘴唇内侧轮廓线。然后通过对嘴唇内侧8个关键点进行插值拟合，对初步得到的嘴唇内侧轮廓线进行噪声滤波，得到噪声滤波后的图像A2和图像H2。接着对A2和H2合并，并进行一系列形态学滤波处理，获取完整的嘴唇内侧轮廓线。本发明实施例能完整分割出嘴唇内侧轮廓线，分割精确度高，有助于进一步对嘴唇内侧区域进行其他后续处理工作。分割出的嘴唇内侧轮廓线的准确度明显高于现有技术的分割方法。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述实施例描述的方法。
所述计算机可读存储介质可以是前述实施例所述的终端的内部存储单元，例如终端的硬盘或内存。所述计算机可读存储介质也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述终端的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的终端和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露终端和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种嘴唇内侧轮廓线的分割方法，其特征在于，具体包括以下步骤：
在原始图像中获取嘴唇区域图像；
将所述嘴唇区域图像进行图像颜色空间变换，得到图像A和图像H；
对所述图像A和图像H分别进行图像滤波处理，得到图像滤波后的图像A1和图像H1，对图像滤波后的图像A1和图像H1分别进行细化处理，得到图像Athin和图像Hthin；
对所述图像Athin和图像Hthin分别进行噪声滤波处理，得到图像A2和图像H2；
将所述图像A2和图像H2进行合并，对合并后的图像进行二值化，得到二值图像，对二值图像进行形态学滤波处理，得到平滑封闭区域；
获取所述平滑封闭区域的边界轮廓线，所述平滑封闭区域的边界轮廓线为嘴唇内侧轮廓线。
2.如权利要求1所述的嘴唇内侧轮廓线的分割方法，其特征在于，将所述嘴唇区域图像由RGB颜色空间变换到Lab色彩空间，Lab空间的a通道图像为图像A，所述图像H中的H的表达式为其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数。
3.如权利要求1所述的嘴唇内侧轮廓线的分割方法，其特征在于，对所述图像A和图像H分别进行图像滤波处理的具体方法包括：图像滤波处理采用的公式为：rst*(x,y)＝f(x,y)*h(Rθ*(x,y))，其中θ*(x,y)为：其中，
g(x,y)为滤波器，f(x,y)为输入的图像A和图像H，rst*为图像滤波的结果，图像的方向角度θ*(x,y)，当输入图像f(x,y)为图像A时，滤波器g(x,y)采用高斯一阶导数滤波器，高斯一阶导数滤波器定义为：
当输入图像f(x,y)为H时，滤波器g(x,y)采用高斯二阶导数滤波器，高斯二阶导数滤波器定义为：
经过图像滤波后得到rst*，所述rst*包括图像A1和H1，对所述rst*采用了非极大值抑制算法进行细化处理得到图像Athin和图像Hthin。
4.如权利要求3所述的嘴唇内侧轮廓线的分割方法，其特征在于，所述在原始图像中获取嘴唇图像区域采用OpenCV和Dlib开源库，其中，OpenCV用于寻找和探测原始图像中的人脸，Dlib库用于提取人脸的68个关键点，在Dlib库提取的关键点当中，嘴唇外轮廓有12个关键点以及嘴唇内侧轮廓有8个关键点，对所述嘴唇内侧轮廓的8个关键点进行插值拟合，得到封闭的拟合图形。
5.如权利要求4所述的嘴唇内侧轮廓线的分割方法，其特征在于，所述噪声滤波的方法具体包括：
根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
6.如权利要求1所述的嘴唇内侧轮廓线的分割方法，其特征在于，所述对合并后的图像进行形态学滤波处理的具体方法包括，依次对二值图像进行闭运算、孔洞填充、开运算和闭运算。
7.一种嘴唇内侧轮廓线的分割系统，其特征在于，包括嘴唇区域获取模块、颜色空间变换模块、图像滤波处理模块、图像噪声滤波处理模块、图像合并和形态学滤波模块以及嘴唇外侧轮廓线获取模块，其中，
所述嘴唇区域获取模块用于从原始图像中获取出嘴唇区域图像；
所述颜色空间变换模块用于将嘴唇区域图像由RGB颜色空间转换到Lab颜色空间，得到图像A和图像H；
所述图像滤波处理模块用于对所述图像A和图像H分别进行图像滤波处理，得到图像A1和图像H1，并对所述图像A1和图像H1分别进行细化处理得到细化后的图像Athin和Hthin；
所述图像噪声滤波处理模块用于对图像滤波处理后的得到的图像Athin和Hthin分别进行噪声滤波处理得到图像A2和H2；
所述图像合并和形态学滤波模块用于对图像A2和图像H2进行合并和形态学滤波处理，得到平滑封闭区域；
所述嘴唇外侧轮廓线获取模块用于在获取所述平滑封闭区域的边界轮廓线，得到嘴唇内侧轮廓线。
8.如权利要求7所述的嘴唇内侧轮廓线的分割系统，其特征在于，将所述嘴唇区域图像由RGB颜色空间变换到Lab色彩空间，Lab空间的a通道图像为图像A，所述图像H中的H的表达式为其中，R，G，B分别为图像的红色、绿色和蓝色通道，a，b，c分别为常数。
9.如权利要求7所述的嘴唇内侧轮廓线的分割系统，其特征在于，所述噪声滤波处理模块处理的具体方法包括：
根据所述细化后的图像Athin和Hthin中的每条曲线长度进行第一次评分，得到曲线第一评分，曲线长度值越大，则评分越高；
通过计算所述细化图像Athin和Hthin中的每条曲线落入拟合图像的比值，得到曲线第二次评分，比值越高，则评分越高；
对所述细化后的图像Athin和Hthin的每条曲线的平均亮度进行统计，得到曲线第三评分，平均亮度值越大，则评分越高；
每条曲线的第一评分、第二评分和第三评分之和为曲线的总评分，设定总评分阈值，保留所述细化后图像Athin和Hthin中总评分高于总评分阈值的曲线，滤除总评分低于总评分阈值的曲线。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。
CN201810226530.6A 2018-03-19 2018-03-19 一种嘴唇内侧轮廓线的分割方法、系统和介质 Active CN108492305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810226530.6A CN108492305B (zh) 2018-03-19 2018-03-19 一种嘴唇内侧轮廓线的分割方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810226530.6A CN108492305B (zh) 2018-03-19 2018-03-19 一种嘴唇内侧轮廓线的分割方法、系统和介质

Publications (2)

Publication Number Publication Date
CN108492305A true CN108492305A (zh) 2018-09-04
CN108492305B CN108492305B (zh) 2020-12-22

Family

ID=63318476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810226530.6A Active CN108492305B (zh) 2018-03-19 2018-03-19 一种嘴唇内侧轮廓线的分割方法、系统和介质

Country Status (1)

Country Link
CN (1) CN108492305B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751635A (zh) * 2019-10-12 2020-02-04 湖南师范大学 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN112365485A (zh) * 2020-11-19 2021-02-12 同济大学 一种基于Circular LBP和颜色空间转换算法的黑色素瘤识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662581A (zh) * 2009-09-09 2010-03-03 谭洪舟 多功能证件信息采集系统
EP2562746A1 (en) * 2011-08-25 2013-02-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing voice by using lip image
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
KR20140146840A (ko) * 2013-06-18 2014-12-29 한국과학기술연구원 입술 영상에서 추출된 다수의 입술 움직임 특징을 이용한 시각적 음성인식 시스템
CN104766316A (zh) * 2015-03-31 2015-07-08 复旦大学 中医望诊中新型嘴唇分割算法
CN106373128A (zh) * 2016-09-18 2017-02-01 上海斐讯数据通信技术有限公司 一种嘴唇精确定位的方法和系统
CN106997451A (zh) * 2016-01-26 2017-08-01 北方工业大学 嘴唇轮廓的定位方法
CN107194937A (zh) * 2017-05-27 2017-09-22 厦门大学 一种开放环境下中医舌象图像分割方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101662581A (zh) * 2009-09-09 2010-03-03 谭洪舟 多功能证件信息采集系统
EP2562746A1 (en) * 2011-08-25 2013-02-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing voice by using lip image
CN103268472A (zh) * 2013-04-17 2013-08-28 哈尔滨工业大学深圳研究生院 基于双色彩空间的嘴唇检测方法
KR20140146840A (ko) * 2013-06-18 2014-12-29 한국과학기술연구원 입술 영상에서 추출된 다수의 입술 움직임 특징을 이용한 시각적 음성인식 시스템
CN103914699A (zh) * 2014-04-17 2014-07-09 厦门美图网科技有限公司 一种基于色彩空间的自动唇彩的图像增强的方法
CN104766316A (zh) * 2015-03-31 2015-07-08 复旦大学 中医望诊中新型嘴唇分割算法
CN106997451A (zh) * 2016-01-26 2017-08-01 北方工业大学 嘴唇轮廓的定位方法
CN106373128A (zh) * 2016-09-18 2017-02-01 上海斐讯数据通信技术有限公司 一种嘴唇精确定位的方法和系统
CN107194937A (zh) * 2017-05-27 2017-09-22 厦门大学 一种开放环境下中医舌象图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QING-CAI CHEN ETAL.: "AN INNER CONTOUR BASED LIP MOVING FEATURE EXTRACTION METHOD FOR CHINESE SPEECH", 《PROCEEDINGS OF THE FIFTH INTERNATIONAL CONFERENCE ON MACHINE LEARNING AND CYBERNETICS》 *
梁亚玲等: "基于Lab色度空间a分量的唇部提取方法", 《计算机工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751635A (zh) * 2019-10-12 2020-02-04 湖南师范大学 一种基于帧间差分和hsv颜色空间的口腔检测方法
CN112365485A (zh) * 2020-11-19 2021-02-12 同济大学 一种基于Circular LBP和颜色空间转换算法的黑色素瘤识别方法

Also Published As

Publication number Publication date
CN108492305B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US11810271B2 (en) Domain specific image quality assessment
KR102176490B1 (ko) 구강 상태 진단, 예측 또는 관리를 위한 치아영상의 분할 및 처리 방법
CN109377534B (zh) 自动采样厚度检测的非线性口腔ct全景图像合成方法
Datta et al. Detection of dental caries lesion at early stage based on image analysis technique
CN107909630A (zh) 一种牙位图生成方法
CN111860538A (zh) 一种基于图像处理的舌体颜色鉴别方法和装置
CN106846307B (zh) 基于锥形束计算机体层摄影的图像处理方法及装置
CN108492305A (zh) 一种嘴唇内侧轮廓线的分割方法、系统和介质
CN114757960B (zh) 一种基于cbct图像的牙齿分割与重建方法及存储介质
CN110335230A (zh) 一种内镜图像病变实时检测方法及装置
Chen et al. Missing teeth and restoration detection using dental panoramic radiography based on transfer learning with CNNs
Lin et al. Tooth numbering and condition recognition on dental panoramic radiograph images using CNNs
WO2024103892A1 (zh) 罐印图像的颜色识别方法和装置
CN109272513A (zh) 基于深度相机的手与物体交互分割方法及装置
CN110619646B (zh) 一种基于全景图的单牙提取方法
Chen et al. Automated Detection System Based on Convolution Neural Networks for Retained Root, Endodontic Treated Teeth, and Implant Recognition on Dental Panoramic Images
WO2020108437A1 (zh) 舌下静脉特征提取装置及方法
Xu et al. Artificial intelligence assisted identification of therapy history from periapical films for dental root canal
Javid et al. Marking early lesions in labial colored dental images using a transfer learning approach
CN106214175A (zh) 一种估算三维牙轴的方法和装置
Salihah et al. Application of thresholding technique in determining ratio of blood cells for leukemia detection
CN114586069A (zh) 用于生成牙科图像的方法
Joseph et al. Teeth feature extraction and matching for human identification using morphological skeleton transform
CN113313722B (zh) 一种牙根图像交互标注方法
CN109934152A (zh) 一种针对手语图像的改进小弯臂图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A segmentation method, system and medium of lip inner contour

Effective date of registration: 20220402

Granted publication date: 20201222

Pledgee: Shenzhen meihaomei Technology Co.,Ltd.

Pledgor: SHENZHEN TOOLINK TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003816

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220824

Granted publication date: 20201222

Pledgee: Shenzhen meihaomei Technology Co.,Ltd.

Pledgor: SHENZHEN TOOLINK TECHNOLOGY Co.,Ltd.

Registration number: Y2022980003816