CN113781464B - 嘴唇润燥检测方法、装置、计算机设备及存储介质 - Google Patents

嘴唇润燥检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113781464B
CN113781464B CN202111094244.7A CN202111094244A CN113781464B CN 113781464 B CN113781464 B CN 113781464B CN 202111094244 A CN202111094244 A CN 202111094244A CN 113781464 B CN113781464 B CN 113781464B
Authority
CN
China
Prior art keywords
image
lip
detection
feature vector
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111094244.7A
Other languages
English (en)
Other versions
CN113781464A (zh
Inventor
赖柏霖
周宸
陈远旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202111094244.7A priority Critical patent/CN113781464B/zh
Publication of CN113781464A publication Critical patent/CN113781464A/zh
Application granted granted Critical
Publication of CN113781464B publication Critical patent/CN113781464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智慧医疗领域，提供一种嘴唇润燥检测方法、装置、计算机设备及存储介质，该方法包括：对包含被检测者的嘴唇部位的原图像进行质量检测；当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像，并对所述嘴唇图像进行质量检测；当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果，实现提高嘴唇润燥检测的准确性。本申请还涉及区块链技术，原图像、嘴唇图像以及用于基于纹理的分类网络模型训练的样本图像可以存储在区块链节点中。

Description

嘴唇润燥检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及智慧医疗技术领域，尤其涉及一种嘴唇润燥检测方法、装置、计算机设备及存储介质。
背景技术
随着计算机技术的成熟发展，现今可以通过线上问诊的方式进行疾病辅助诊断、健康管理、远程会诊等。由于嘴唇是否干燥是中医进一步判断患者体质、病症的重要依据，嘴唇干燥的患者常常会伴有阴虚的体质，故在线上问诊中，患者常被要求上传面部照片，以供医生根据照片进行诊断。
目前，基于照片进行嘴唇的润燥判断依赖于医生的主观感受，不同医生之间、同一医生在不同时空环境下得到的判断往往会有很大差异。同时，患者自身的拍摄角度、所处环境的亮度、拍摄的镜头成像质量均会对照片造成很大影响，会干扰医生对嘴唇润燥的检测结果。
因此，如何提高嘴唇润燥检测的准确性成为亟待解决的问题。
发明内容
本申请提供了一种嘴唇润燥检测方法、装置、计算机设备及存储介质，实现提高嘴唇润燥检测的准确性。
第一方面，本申请提供了一种嘴唇润燥检测方法，所述嘴唇润燥检测方法包括：
对包含被检测者的嘴唇部位的原图像进行质量检测；
当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像，并对所述嘴唇图像进行质量检测；
当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；
将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果。
第二方面，本申请还提供了一种嘴唇润燥检测装置，所述嘴唇润燥检测装置包括：
获取模块，用于获取包含被检测者的嘴唇部位的原图像；
图像提取模块，用于从所述原图像中提取出嘴唇图像；
图像处理模块，用于对所述嘴唇图像进行图像预处理，获得对应的被检图像，所述图像预处理包括归一化处理、图像尺寸缩放处理中至少一种；
分类检测模块，用于将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果。
第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的嘴唇润燥检测方法。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的嘴唇润燥检测方法。
本申请公开了一种嘴唇润燥检测方法、装置、计算机设备及存储介质，通过对包含被检测者的嘴唇部位的原图像进行质量检测，当原图像质量检测合格时，从原图像中提取出嘴唇图像，并对嘴唇图像进行质量检测，当嘴唇图像质量检测合格时，对嘴唇图像进行图像预处理，获得对应的被检图像，然后将被检图像输入预设的基于纹理的分类网络模型，获取被检图像中嘴唇的纹理特征信息，并根据纹理特征信息，输出嘴唇的润燥检测结果。由于嘴唇湿润和干燥时纹理会有所不同，通过嘴唇的纹理特征信息进行嘴唇润燥检测，提高了嘴唇润燥检测的准确性。并且，通过对原图像和嘴唇图像进行质量检测，输入模型的被检图像为高质量图像，从而也进一步提高了嘴唇润燥检测的准确性。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种嘴唇润燥检测方法的步骤示意性流程图；
图2是本申请实施例提供的一种从所述原图像中提取出嘴唇图像的子步骤示意性流程图；
图3是本申请实施例提供的一种将所述原图像输入关键点检测模型，输出嘴唇的关键点信息的子步骤示意性流程图；
图4是本申请实施例提供的一种将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息的子步骤示意性流程图；
图5是本申请实施例提供的一种进行嘴唇润燥检测的流程示意图；
图6是本申请实施例提供的一种嘴唇润燥检测装置的示意性框图；
图7是本申请实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
本申请的实施例提供了一种嘴唇润燥检测方法、装置、计算机设备及存储介质，用于实现提高嘴唇润燥检测的准确性。
请参阅图1，图1是本申请一实施例提供的嘴唇润燥检测方法的流程示意图。该方法可以应用于计算机设备中，本申请中对该方法的应用场景不做限定。下面以该嘴唇润燥检测方法应用于计算机设备中为例，对该嘴唇润燥检测方法进行详细介绍。
如图1所示，该嘴唇润燥检测方法具体包括步骤S101至步骤S104。
S101、对包含被检测者的嘴唇部位的原图像进行质量检测。
其中，包含被检测者的嘴唇部位的原图像可以为被检测者的人脸图像。由于图像质量会参差不齐，需要对低质量的原图像进行过滤，以使用高质量的原图像去进行嘴唇润燥检测，从而进一步确保嘴唇润燥检测结果的准确性。对原图像进行质量检测包括但不限于对原图像的模糊度、曝光度、亮度等进行检测。例如，以亮度为例，获取原图像的图像亮度，若原图像的图像亮度处于正常亮度区间范围内，则判定原图像的亮度符合图像亮度要求；反之，若原图像的图像亮度处于正常亮度区间范围外，则判定原图像的亮度不符合图像亮度要求。
示例性的，当原图像的各个图像参数，包括但不限于模糊度、曝光度、亮度等，均符合参数要求时，确定原图像质量检测合格。反之，只要原图像的其中一个图像参数不符合参数要求，则确定原图像质量检测不合格。
S102、当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像，并对所述嘴唇图像进行质量检测。
当原图像质量检测不合格时，原图像被过滤掉，输出相应的提示信息。例如，输出图像亮度低、请重新上传亮度高的原图像的提示信息。
当原图像质量检测合格时，原图像可以允许使用，从原图像中提取出被检测者的嘴唇图像。
在一些实施例中，如图2所示，步骤S102可以包括子步骤S1021至子步骤S1023。
S1021、将所述原图像输入关键点检测模型，输出嘴唇的关键点信息。
若原图像质量检测合格，则将原图像输入关键点检测模型，通过关键点检测模型对原图像中嘴唇的多个关键点进行检测，输出原图像中嘴唇的多个关键点对应的关键点信息。其中，关键点信息包括但不限于关键点坐标信息、关键点编号信息等。例如，输出嘴唇的100个关键点对应的关键点坐标信息、关键点编号信息等关键点信息。
S1022、根据所述关键点信息，生成所述嘴唇的包围框。
例如，根据嘴唇的100个关键点对应的关键点坐标信息、关键点编号信息等关键点信息，将各个关键点连接起来，生成被检测者的嘴唇的包围框。
S1023、基于所述包围框对所述原图像进行裁剪，获得所述嘴唇图像。
示例性的，沿着包围框对原图像进行裁剪，获得被检测者的嘴唇图像。
在一些实施例中，如图3所示，步骤S1021可以包括子步骤S10211，步骤S1022可以包括子步骤S10221。
S10211、将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度，所述关键点信息包括关键点坐标信息、关键点编号信息。
若原图像质量检测合格，则将原图像输入关键点检测模型，通过关键点检测模型对原图像中嘴唇的多个关键点进行检测，不仅输出原图像中嘴唇的多个关键点对应的关键点信息，还输出关键点检测的置信度。键点检测的置信度反映关键点信息的准确可靠性。置信度越高，相应地，关键点信息越准确可靠。
S10221、若所述置信度大于或等于预设置信度阈值，则将所述关键点坐标信息对应的关键点，按照所述关键点编号信息对应的编号顺序连接起来，生成所述嘴唇的包围框。
其中，预设置信度阈值可根据实际情况进行灵活设置，在此不做具体限制。将关键点检测的置信度与预设置信度阈值进行比对，若关键点检测的置信度大于或等于预设置信度阈值，也即说明输出的关键点信息准确可靠，此时，根据关键点坐标信息、关键点编号信息等关键点信息，将关键点坐标信息对应的各个关键点，按照关键点编号信息对应的编号顺序连接起来，生成被检测者的嘴唇的包围框。
示例性的，若关键点检测的置信度小于预设置信度阈值，也即说明输出的关键点信息准确可靠性不高，则检测失败，输出重新上传原图像的提示信息，提醒用户重新上传新的高质量的原图像。
由于嘴唇区域只在原图像中占据较小的区域，可能会存在原图像清晰但嘴唇区域有遮挡或模糊的情况，所以可能出现原图像质量检测合格，但是嘴唇图像质量其实并不符合要求的情况。因此，除了对原图像进行质量检测之外，还对嘴唇图像进行质量检测。具体检测操作可参考对原图像进行质量检测的操作，故不再赘述。
S103、当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像。
当嘴唇图像质量检测不合格时，原图像也不可用，输出重新上传原图像的提示信息，提醒用户重新上传新的高质量的原图像。
当嘴唇图像质量检测合格时，对嘴唇图像进行图像预处理，获得对应的被检图像。其中，图像预处理包括归一化处理、图像填充处理、图像缩放处理中至少一种。
示例性的，对嘴唇图像进行的归一化处理包括：计算所述嘴唇图像的像素点集合对应的像素值均值和方差，并基于所述像素值均值和方差对每个像素点对应的像素值进行归一化处理。
例如，若嘴唇图像的像素点集合为{a1，a2，a3…ai…an}，计算像素点a1，a2，a3…ai…an的像素值均值μ和方差σ2，根据像素值均值μ和方差σ2，对像素点a1，a2，a3…ai…an的像素值Xi进行归一化处理(Xi-μ)/σ2。
示例性的，对嘴唇图像进行的图像填充处理包括：在所述嘴唇的轮廓外围区域进行像素点填充，填充的像素点对应的像素值为零。
嘴唇的轮廓是不规则形状，通过在嘴唇的轮廓外围区域填充像素值为零的像素点，将嘴唇图像补成规则形状，如正方形、矩形等。
示例性的，对嘴唇图像进行的图像缩放处理包括：将所述嘴唇图像缩放至预设图像尺寸。
例如，预设图像尺寸为256*256，将嘴唇图像的尺寸缩放至256*256。
示例性的，可以先对嘴唇图像进行归一化处理后，再填充像素点将嘴唇图像补成规则形状，最后再将嘴唇图像缩放至预设图像尺寸。
通过对嘴唇图像进行图像预处理，使得处理后获得的被检图像与样本图像的图像规格一致，基于纹理的分类网络模型能够对被检图像进行嘴唇润燥检测处理。示例性的，基于纹理的分类网络模型可以为基于纹理的分类网络Deep TEN模型。
示例性的，预先构建基于纹理的分类网络模型，在已有的深度学习模型的最后一层卷积层之后加入纹理的编码层，构建出基于纹理的分类网络模型。并且，对构建的基于纹理的分类网络模型进行训练。在通过大量样本图像对基于纹理的分类网络模型进行训练，使基于纹理的分类网络模型学习到与空间位置无关的纹理特征信息。
S104、将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果。
在对嘴唇图像进行图像预处理，获得被检图像后，将被检图像输入训练好的基于纹理的分类网络模型，通过模型对被检图像进行嘴唇的润燥检测处理，输出嘴唇的润燥检测结果，也即嘴唇湿润或嘴唇干燥的检测结果。
在一些实施例中，如图4所示，步骤S104可以包括子步骤S1041至子步骤S1043。
S1041、将所述被检图像输入所述基于纹理的分类网络模型，获得第一特征向量集。
例如，假设基于纹理的分类网络模型最后一层特征尺寸为C*H*W，可以视为H*W个长度为C的向量结构，将被检图像输入基于纹理的分类网络模型，获得第一特征向量集。其中，第一特征向量集中的每个第一特征向量的长度为C。
S1042、将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集，其中，所述第一特征向量的长度与所述字典特征向量的长度相同。
示例性的，将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差之前可以包括：根据所述第一特征向量集中每个特征向量的长度，随机初始化多个所述字典特征向量。
例如，若第一特征向量集中每个第一特征向量的长度为C，则随机初始化多个字典特征向量，第一特征向量集中每个第一特征向量的长度与字典特征向量的长度相同，也即字典特征向量的长度也为C。
将第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集。例如，若第一特征向量集中包括H*W个第一特征向量，字典特征向量包括N个，则将第一特征向量集中的每个第一特征向量与N个字典特征向量逐一作差，得到第二特征向量数量为H*W*N的第二特征向量集。
S1043、对所述第二特征向量集中的全部第二特征向量求均值，将获得的均值特征向量确定为所述纹理特征信息。
例如，对第二特征向量集中的H*W*N个第二特征向量求均值，获得的均值特征向量即为嘴唇对应的纹理特征信息。
之后，根据纹理特征信息，基于纹理的分类网络模型进行嘴唇润燥分类预测，输出嘴唇湿润或嘴唇干燥的结果。
示例性的，如图5所示，进行嘴唇润燥检测的流程包括：
Step1：获取原图像(全局图像)；
Step2：对原图像进行质量检测；
Step3：原图像质量检测合格，将原图像输入关键点检测模型，获得关键点信息；
Step4：根据关键点信息，对原图像裁剪，获得嘴唇图像(局部图像)；
Step5：对嘴唇图像进行质量检测；
Step6：嘴唇图像质量检测合格，对嘴唇图像进行图像预处理后输入基于纹理的分类网络模型，输出嘴唇润燥检测结果。
相比于依赖医生，人工进行嘴唇润燥判断的方式，不受限于医生的主观感受和经验，从而提高了嘴唇润燥检测的准确性。除此之外，通过对原图像和嘴唇图像进行质量检测，去除低质量图像，采用高质量的图像进行嘴唇润燥检测，也进一步提高了嘴唇润燥检测的准确性。
上述实施例中，通过对包含被检测者的嘴唇部位的原图像进行质量检测，当原图像质量检测合格时，从原图像中提取出嘴唇图像，并对嘴唇图像进行质量检测，当嘴唇图像质量检测合格时，对嘴唇图像进行图像预处理，获得对应的被检图像，然后将被检图像输入预设的基于纹理的分类网络模型，获取被检图像中嘴唇的纹理特征信息，并根据纹理特征信息，输出嘴唇的润燥检测结果。由于嘴唇湿润和干燥时纹理会有所不同，通过嘴唇的纹理特征信息进行嘴唇润燥检测，提高了嘴唇润燥检测的准确性。并且，通过对原图像和嘴唇图像进行质量检测，输入模型的被检图像为高质量图像，从而也进一步提高了嘴唇润燥检测的准确性。
请参阅图6，图6是本申请的实施例提供的一种嘴唇润燥检测装置的示意性框图，该嘴唇润燥检测装置可以配置于计算机设备中，用于执行前述的嘴唇润燥检测方法。
如图6所示，该嘴唇润燥检测装置1000，包括：图像检测模块1001、图像提取模块1002、图像预处理模块1003及分类检测模块1004。
图像检测模块1001，用于对包含被检测者的嘴唇部位的原图像进行质量检测；
图像提取模块1002，用于当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像；
所述图像检测模块1001，还用于对所述嘴唇图像进行质量检测；
图像预处理模块1003，用于当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；
分类检测模块1004，用于将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果。
在一个实施例中，所述分类检测模块1004还用于：
将所述被检图像输入所述基于纹理的分类网络模型，获得第一特征向量集；将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集，其中，所述第一特征向量的长度与所述字典特征向量的长度相同；对所述第二特征向量集中的全部第二特征向量求均值，将获得的均值特征向量确定为所述纹理特征信息。
在一个实施例中，所述分类检测模块1004还用于：
根据所述第一特征向量的长度，随机初始化多个所述字典特征向量。
在一个实施例中，所述图像提取模块1002还用于：
将所述原图像输入关键点检测模型，输出嘴唇的关键点信息；根据所述关键点信息，生成所述嘴唇的包围框；基于所述包围框对所述原图像进行裁剪，获得所述嘴唇图像。
在一个实施例中，所述图像提取模块1002还用于：
将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度，所述关键点信息包括关键点坐标信息、关键点编号信息；若所述置信度大于或等于预设置信度阈值，则将所述关键点坐标信息对应的关键点，按照所述关键点编号信息对应的编号顺序连接起来，生成所述嘴唇的包围框。
在一个实施例中，所述嘴唇润燥检测装置还包括提示模块，用于：
若所述置信度小于所述预设置信度阈值，则检测失败，输出重新上传原图像的提示信息。
在一个实施例中，所述图像预处理包括归一化处理、图像填充处理、图像缩放处理中至少一种；所述图像预处理模块1003还用于：
计算所述嘴唇图像的像素点集合对应的像素值均值和方差，并基于所述像素值均值和方差对每个像素点对应的像素值进行归一化处理；
在所述嘴唇的轮廓外围区域进行像素点填充，填充的像素点对应的像素值为零；
将所述嘴唇图像缩放至预设图像尺寸。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述嘴唇润燥检测方法实施例中的对应过程，在此不再赘述。
本申请的方法、装置可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
示例性的，上述的方法、装置可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的结构示意性框图。
请参阅图7，该计算机设备包括通过系统总线连接的处理器和存储器，其中，存储器可以包括非易失性存储介质和内存储器。
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种嘴唇润燥检测方法。
应当理解的是，处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
对包含被检测者的嘴唇部位的原图像进行质量检测；当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像，并对所述嘴唇图像进行质量检测；当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果。
在一个实施例中，所述处理器在实现所述将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息时，用于实现：
将所述被检图像输入所述基于纹理的分类网络模型，获得第一特征向量集；将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集，其中，所述第一特征向量的长度与所述字典特征向量的长度相同；对所述第二特征向量集中的全部第二特征向量求均值，将获得的均值特征向量确定为所述纹理特征信息。
在一个实施例中，所述处理器在实现所述将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差之前，用于实现：
根据所述第一特征向量的长度，随机初始化多个所述字典特征向量。
在一个实施例中，所述处理器在实现所述从所述原图像中提取出嘴唇图像时，用于实现：
将所述原图像输入关键点检测模型，输出嘴唇的关键点信息；根据所述关键点信息，生成所述嘴唇的包围框；基于所述包围框对所述原图像进行裁剪，获得所述嘴唇图像。
在一个实施例中，所述处理器在实现所述将所述原图像输入关键点检测模型，输出嘴唇的关键点信息时，用于实现：
将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度，所述关键点信息包括关键点坐标信息、关键点编号信息；
所述处理器在实现所述根据所述关键点信息，生成所述嘴唇的包围框时，用于实现：
若所述置信度大于或等于预设置信度阈值，则将所述关键点坐标信息对应的关键点，按照所述关键点编号信息对应的编号顺序连接起来，生成所述嘴唇的包围框。
在一个实施例中，所述处理器在实现所述将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度之后，用于实现：
若所述置信度小于所述预设置信度阈值，则检测失败，输出重新上传原图像的提示信息。
在一个实施例中，所述图像预处理包括归一化处理、图像填充处理、图像缩放处理中至少一种；
所述处理器在实现所述归一化处理时，用于实现：
计算所述嘴唇图像的像素点集合对应的像素值均值和方差，并基于所述像素值均值和方差对每个像素点对应的像素值进行归一化处理；
所述处理器在实现所述图像填充处理时，用于实现：
在所述嘴唇的轮廓外围区域进行像素点填充，填充的像素点对应的像素值为零；
所述处理器在实现所述图像缩放处理时，用于实现：
将所述嘴唇图像缩放至预设图像尺寸。
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字卡(Secure Digital Card，SD Card)，闪存卡(Flash Card)等。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种嘴唇润燥检测方法，其特征在于，所述嘴唇润燥检测方法包括：
对包含被检测者的嘴唇部位的原图像进行质量检测；
当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像，并对所述嘴唇图像进行质量检测；
当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；
将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果；
所述将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，包括：
将所述被检图像输入所述基于纹理的分类网络模型，获得第一特征向量集；
将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集，其中，所述第一特征向量的长度与所述字典特征向量的长度相同；
对所述第二特征向量集中的全部第二特征向量求均值，将获得的均值特征向量确定为所述纹理特征信息。
2.根据权利要求1所述的嘴唇润燥检测方法，其特征在于，所述将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差之前，包括：
根据所述第一特征向量的长度，随机初始化多个所述字典特征向量。
3.根据权利要求1所述的嘴唇润燥检测方法，其特征在于，所述从所述原图像中提取出嘴唇图像，包括：
将所述原图像输入关键点检测模型，输出嘴唇的关键点信息；
根据所述关键点信息，生成所述嘴唇的包围框；
基于所述包围框对所述原图像进行裁剪，获得所述嘴唇图像。
4.根据权利要求3所述的嘴唇润燥检测方法，其特征在于，所述将所述原图像输入关键点检测模型，输出嘴唇的关键点信息，包括：
将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度，所述关键点信息包括关键点坐标信息、关键点编号信息；
所述根据所述关键点信息，生成所述嘴唇的包围框，包括：
若所述置信度大于或等于预设置信度阈值，则将所述关键点坐标信息对应的关键点，按照所述关键点编号信息对应的编号顺序连接起来，生成所述嘴唇的包围框。
5.根据权利要求4所述的嘴唇润燥检测方法，其特征在于，所述将所述原图像输入所述关键点检测模型，输出所述关键点信息、以及对所述原图像进行关键点检测的置信度之后，包括：
若所述置信度小于所述预设置信度阈值，则检测失败，输出重新上传原图像的提示信息。
6.根据权利要求1至5任一项所述的嘴唇润燥检测方法，其特征在于，所述图像预处理包括归一化处理、图像填充处理、图像缩放处理中至少一种；
所述归一化处理包括：
计算所述嘴唇图像的像素点集合对应的像素值均值和方差，并基于所述像素值均值和方差对每个像素点对应的像素值进行归一化处理；
所述图像填充处理包括：
在所述嘴唇的轮廓外围区域进行像素点填充，填充的像素点对应的像素值为零；
所述图像缩放处理包括：
将所述嘴唇图像缩放至预设图像尺寸。
7.一种嘴唇润燥检测装置，其特征在于，包括：
图像检测模块，用于对包含被检测者的嘴唇部位的原图像进行质量检测；
图像提取模块，用于当所述原图像质量检测合格时，从所述原图像中提取出嘴唇图像；
所述图像检测模块，还用于对所述嘴唇图像进行质量检测；
图像预处理模块，用于当所述嘴唇图像质量检测合格时，对所述嘴唇图像进行图像预处理，获得对应的被检图像；
分类检测模块，用于将所述被检图像输入预设的基于纹理的分类网络模型，获取所述被检图像中嘴唇的纹理特征信息，并根据所述纹理特征信息，输出嘴唇的润燥检测结果；
所述分类检测模块还用于：
将所述被检图像输入所述基于纹理的分类网络模型，获得第一特征向量集；将所述第一特征向量集中的每个第一特征向量依次与多个字典特征向量作差，将获得的向量差确定为第二特征向量，由各个第二特征向量生成第二特征向量集，其中，所述第一特征向量的长度与所述字典特征向量的长度相同；对所述第二特征向量集中的全部第二特征向量求均值，将获得的均值特征向量确定为所述纹理特征信息。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至6任一项所述的嘴唇润燥检测方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至6任一项所述的嘴唇润燥检测方法。
CN202111094244.7A 2021-09-17 2021-09-17 嘴唇润燥检测方法、装置、计算机设备及存储介质 Active CN113781464B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111094244.7A CN113781464B (zh) 2021-09-17 2021-09-17 嘴唇润燥检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111094244.7A CN113781464B (zh) 2021-09-17 2021-09-17 嘴唇润燥检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113781464A CN113781464A (zh) 2021-12-10
CN113781464B true CN113781464B (zh) 2024-05-07

Family

ID=78851886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111094244.7A Active CN113781464B (zh) 2021-09-17 2021-09-17 嘴唇润燥检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113781464B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074014A2 (en) * 2009-12-16 2011-06-23 Tata Consultancy Services Ltd. A system for lip corner detection using vision based approach
CN103034775A (zh) * 2011-09-29 2013-04-10 上海中医药大学 中医面诊分析与诊断系统
CN106971147A (zh) * 2017-03-06 2017-07-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于人脸区域分割的中医面诊系统及面诊方法
WO2018201662A1 (zh) * 2017-05-05 2018-11-08 广州视源电子科技股份有限公司 嘴唇渲染颜色的方法、装置及电子设备
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011074014A2 (en) * 2009-12-16 2011-06-23 Tata Consultancy Services Ltd. A system for lip corner detection using vision based approach
CN103034775A (zh) * 2011-09-29 2013-04-10 上海中医药大学 中医面诊分析与诊断系统
CN106971147A (zh) * 2017-03-06 2017-07-21 武汉嫦娥医学抗衰机器人股份有限公司 一种基于人脸区域分割的中医面诊系统及面诊方法
WO2018201662A1 (zh) * 2017-05-05 2018-11-08 广州视源电子科技股份有限公司 嘴唇渲染颜色的方法、装置及电子设备
CN111325823A (zh) * 2020-02-05 2020-06-23 腾讯科技（深圳）有限公司 人脸纹理图像的获取方法、装置、设备及存储介质
CN112613447A (zh) * 2020-12-29 2021-04-06 上海商汤智能科技有限公司 关键点检测方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113781464A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN110147717B (zh) 一种人体动作的识别方法及设备
US20190362181A1 (en) Using a probabilistic model for detecting an object in visual data
CN110135246A (zh) 一种人体动作的识别方法及设备
EP2879080B1 (en) Image processing device and method, and computer readable medium
JP6624794B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN112381782B (zh) 人脸图像质量评估方法、装置、计算机设备及存储介质
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
CN105590020B (zh) 改进的数据比较方法
US11574500B2 (en) Real-time facial landmark detection
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN111695462A (zh) 一种人脸识别方法、装置、存储介质和服务器
CN111626163A (zh) 一种人脸活体检测方法、装置及计算机设备
JP6969878B2 (ja) 識別器学習装置および識別器学習方法
CN111008935A (zh) 一种人脸图像增强方法、装置、系统及存储介质
WO2019085338A1 (zh) 电子装置、基于图像的年龄分类方法、系统及存储介质
CN111914775A (zh) 活体检测方法、装置、电子设备及存储介质
CN112949576B (zh) 姿态估计方法、装置、设备及存储介质
CN113781464B (zh) 嘴唇润燥检测方法、装置、计算机设备及存储介质
JP6202938B2 (ja) 画像認識装置および画像認識方法
CN115050069A (zh) 基于深度学习的人脸及属性识别方法、系统及计算机设备
CN112541436B (zh) 专注度分析方法、装置、电子设备及计算机存储介质
CN114299590A (zh) 人脸补全模型的训练方法、人脸补全方法及系统
JP2014199505A (ja) 画像認識装置、画像認識方法及びプログラム
CN112036504A (zh) 温度测量模型的训练方法、装置、设备及存储介质
CN108446653B (zh) 用于处理面部图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant