CN115953824A - 一种人脸皮肤图像处理方法及系统 - Google Patents
一种人脸皮肤图像处理方法及系统 Download PDFInfo
- Publication number
- CN115953824A CN115953824A CN202310237657.9A CN202310237657A CN115953824A CN 115953824 A CN115953824 A CN 115953824A CN 202310237657 A CN202310237657 A CN 202310237657A CN 115953824 A CN115953824 A CN 115953824A
- Authority
- CN
- China
- Prior art keywords
- image
- damage
- face
- skin
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000006378 damage Effects 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims abstract description 41
- 230000035876 healing Effects 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000001815 facial effect Effects 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 241000254158 Lampyridae Species 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 33
- 210000001508 eye Anatomy 0.000 claims description 22
- 208000027418 Wounds and injury Diseases 0.000 claims description 20
- 208000014674 injury Diseases 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 16
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000012706 support-vector machine Methods 0.000 claims description 15
- 210000004709 eyebrow Anatomy 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000000875 corresponding effect Effects 0.000 claims description 10
- 210000001061 forehead Anatomy 0.000 claims description 9
- 230000037380 skin damage Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 5
- 230000004224 protection Effects 0.000 claims description 5
- 210000001525 retina Anatomy 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 208000001034 Frostbite Diseases 0.000 claims description 3
- 206010042496 Sunburn Diseases 0.000 claims description 3
- 206010053615 Thermal burn Diseases 0.000 claims description 3
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000003902 lesion Effects 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 claims description 3
- 238000007493 shaping process Methods 0.000 claims description 3
- 150000001875 compounds Chemical class 0.000 claims description 2
- 208000028990 Skin injury Diseases 0.000 abstract description 9
- 230000029663 wound healing Effects 0.000 abstract description 3
- 210000003491 skin Anatomy 0.000 description 47
- 230000006870 function Effects 0.000 description 29
- 210000000214 mouth Anatomy 0.000 description 15
- 210000001331 nose Anatomy 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 210000003467 cheek Anatomy 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 206010040882 skin lesion Diseases 0.000 description 4
- 231100000444 skin lesion Toxicity 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 210000004207 dermis Anatomy 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 230000029142 excretion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003389 potentiating effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000028327 secretion Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种人脸皮肤图像处理方法及系统,所述方法包括采用图像采集装置进行人脸图像采集;进行图像预处理,其中包括图像去噪、提取脸部部分、高光去除以及图像增强;分割人脸不同区域;对不同区域皮肤分别进行损伤识别,其中包括损伤面积、损伤类型以及损伤程度;建立专家数据库预测损伤皮肤预计愈合时间。通过识别人脸皮肤损伤预测伤口愈合时间,帮助患者估计自行估计脸部皮肤损伤愈合时间。基于优化的多视角人脸图像高光去除方法实现了更加有效的图像预处理,为后续图像特征提取的准确性提供保障。考虑到脸部不同位置的皮肤损伤对愈合时间的影响,实现更加准确的愈合时间预测。
Description
技术领域
本发明涉及图像识别领域,尤其是一种人脸皮肤图像处理方法及系统。
背景技术
皮肤作为人体最大的器官,其具有保护、感觉、分泌、排泄、呼吸等功能。由表皮和真皮紧密结合而成。皮肤约占体重的16%。成人皮肤面积约为1.2—2.0平方米。全身各处皮肤的厚度不同,背部、项部、手掌和足底等处最厚,腋窝和面部最薄,平均厚度为0.5—4.0毫米。
皮肤损伤是指患者的皮肤受到了外力的伤害,有破皮的现象,或者是有微生物感染所引起的皮肤病变。而脸部由于没有衣物的包裹,更容易受到损伤。通常,当人脸皮肤受到损伤后,会由医生进行诊治,并告诉患者大致的愈合时间。
然而,在皮肤损伤愈合过程中由于不同体质的人愈合速度会有所差异,而患者经常去医院检查也不现实,因此,需要一种能够识别人脸皮肤受损伤程度的方法,根据人脸皮肤受损伤程度、面积以及位置对愈合时间进行预测。
发明内容
(一)解决的技术问题
为了解决上述技术问题,本发明提供一种人脸皮肤图像处理方法及系统。
(二)技术方案
为了解决上述存在的技术问题,实现发明目的,本发明是通过以下技术方案实现的:
一种人脸皮肤图像处理方法,包括如下步骤:
S1: 采用图像采集装置进行人脸图像采集,所述人脸图像包括对人脸进行正面以及两个侧面分别进行拍摄;
S2:进行图像预处理,其中包括图像去噪、提取脸部部分、高光去除以及图像增强;
所述高光去除基于优化的多视角人脸图像高光去除方法;
采用Lambertian反射模型和镜面反射模型对反射分量进行分解,然后将分解结果渲染到二维图像空间中,在二维图像空间的双色反射模型下,对高光部分进行像素级优化,利用Adam优化算法最小化目标函数估计参数;
S3:分割人脸不同区域;
S4:基于萤火虫算法改进的支持向量机算法对不同区域脸部皮肤分别进行损伤识别,其中包括损伤面积、损伤类型以及损伤程度;得到不同区域脸部皮肤不同类型损伤的损伤面积和损伤程度;
包括如下步骤:
S41:建立皮肤损伤图像数据集,其中包括若干种不同类型、不同程度的皮肤损伤图像;
S42:特征提取,所述特征包括纹理特征、形状特征以及颜色特征;
S43:将纹理特征与形状特征进行特征融合;
S44:识别分类,基于萤火虫算法改进的支持向量机算法对所提取的特征进行分类处理,以所提取的特征为输入,以识别的损伤类型以及损伤程度为输出;
所述所提取的特征包括纹理特征与形状特征融合后的特征以及颜色特征;
S45:计算损伤面积,采用标记连通域的方法对损伤对象进行逐个标记,计算出损伤面积;
S5:建立专家数据库预测损伤皮肤预计愈合时间。
进一步的,步骤S2中所述目标函数为:
所述数据项衡量的是反射模型和捕获的输入图像之间的差异;所述非负约束项为在所有条件下都为非负的物理光照参数之和组成的项;所述正交子空间投影项采用正交子空间投影算法,将高光污染图像的辐射度投影到两个正交的子空间上,一个与光色度平行,另一个与光色度正交;所述非负约束项系数、正交子空间投影系数通过迭代优化得到。
进一步的,图像增强步骤基于自适应多尺度视网膜增强算法对图像进行增强,结合自适应调节参数,将图像转换到对数域得到如下表示:
进一步的,所述损伤类型包括割伤、冻伤、烧伤、烫伤、晒伤之一或多种的组合。
进一步的,所述步骤S43的融合方法如下:
定义z为特征向量x和特征向量y融合后的特征向量,则融合特征向量z表示为:
进一步的,所述基于萤火虫算法改进的支持向量机算法包括:
最优分类决策函数:
式中,l为类别总数,对应不同损伤类型以及损伤程度的联合分类类别总数;为拉格朗日乘子;为核函数;表示不同于的样本点,、分别为第i类和第j类样本,不同分类类别对应不同损伤类型以及损伤程度的分类;为二元输出,对应样本为第i类的结果选择;表示返回整形变量的函数;
进一步的,所述改进的萤火虫算法包括计算荧光系数:
式中:为荧光系数;为第只萤火虫位置;为当前迭代次数中荧光素浓度最高的萤火虫位置;为当前迭代次数中最佳萤火虫位置与其余萤火虫位置距离的最大值;所述萤火虫位置对应于支持向量机算法的参数惩罚参数和核参数,位置的横坐标为C,纵坐标为g;最佳萤火虫位置对应最佳参数惩罚参数和核参使得支持向量机算法对应的目标函数最小。
并基于荧光系数计算自适应步长公式:
进一步的,所述步骤S5包括:
S51:建立专家数据库,不同损伤类型分为不同数据表,同一数据表中为相同的损伤类型,其中包括不同位置,不同损伤程度以及不同损伤面积的预计愈合时间;
本发明还提供一种人脸皮肤图像处理系统,其包括:
图像采集模块,其用于对人脸进行正面以及两个侧面分别进行拍摄;
图像预处理模块,其用于去除图像噪声、图像高光、提取脸部部分以及图像增强;
脸部图像分割模块,其用于将人脸按照不同的区域分为:额头、眉毛、眼睛、眼周、脸颊、鼻子、鼻周、嘴部、嘴周以及下巴;
损伤识别模块,其用于识别损伤面积、损伤类型以及损伤程度;
预测损伤皮肤预计愈合时间模块,其用于通过专家数据库结合损伤位置、损伤类型、损伤面积以及损伤程度得到预计愈合时间。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质, 所述计算机可读存储介质上存储有人脸皮肤图像处理方法的数据加密程序指令,所述人脸皮肤图像处理的数据保护程序指令可被一个或者多个处理器执行,以实现如上所述的人脸皮肤图像处理方法的步骤。
(三)有益效果
与现有技术相比,本发明的有益效果为:
(1)本发明通过识别人脸皮肤损伤预测伤口愈合时间,帮助患者估计在不需要医生介入的情况下估计脸部皮肤损伤愈合时间。
(2)本发明基于优化的多视角人脸图像高光去除方法实现了更加有效的图像预处理,为后续图像特征提取的准确性提供保障。
(3)本发明考虑到脸部不同位置的皮肤损伤对愈合时间的影响,实现更加准确的愈合时间预测。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种人脸皮肤图像处理方法流程示意图;
图2是根据本申请实施例的一种图像预处理流程示意图;
图3是根据本申请实施例的识别算法流程示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
参见图1,一种人脸皮肤图像处理方法包括以下步骤:
S1: 采用图像采集装置进行人脸图像采集,所述人脸图像包括对人脸进行正面以及两个侧面分别进行拍摄。
S2:进行图像预处理,其中包括图像去噪、提取脸部部分,去除背景、高光去除以及图像增强。
由于采集图像的图像采集装置采集到的数字图像中含有噪声以及由于光照造成的高光等问题,因此需要对图像进行预处理,如图2所示,预处理过程包括:
S21:图像去噪
人脸图像在采集和传输的过程中会受到噪声的干扰,从而影响图像质量,进而影响后续处理,因此首先需要对图像进行噪声抑制,从而尽可能恢复图像原始内容。
为了充分考虑到人脸皮肤图像包括一些细小的纹理特征部分,这部分纹理特征部分是去噪时需要进行保留的,因此在去噪处理时,采用非局部均值滤波来进行人脸皮肤去噪。
S22:提取脸部部分,去除背景
通过人脸检测提取脸部部分,排除背景部分,为后续的人脸皮肤损伤检测提供保障。本发明基于肤色进行人脸部分识别检测,具体包括如下步骤:
(1)初步确定人脸区域所在位置。
基于肤色初步确定人脸区域所在位置,具体包括:
因为色彩空间由RGB色彩空间线性变换得到,因此在色彩空间中色度信息并不是独立于亮度信息而单独存在,而是随着Y分量的不同值而呈现非线性的变化。由此可见,肤色的非线性映射可以使肤色聚类区域很好的适应亮度过明亮或过暗的区域,从而使肤色模型的鲁棒性大大提高。经过非线性分段色彩变换得到的色彩空间用表示,具体色彩空间变换过程如下:
得到色彩空间图像,因为肤色在空间上大致服从正态分布,其分布函数如下式。对图像中像素进行统计,使得90%以上的点满足,得到的像素点被认为是肤色,其中T为由实验得到的肤色分割的阈值。此时检测出来的区域包含一部分和肤色相近的背景区域等,所以对图像进行形态学开运算处理,消除杂散点和无关区域。在此基础上,对于给定一个阈值T,如果像素点满足则该点被认为是肤色。
(2)通过特征提取进行小窗口匹配,标记出人脸区域位置坐标。
在初步确定人脸区域所在位置基础上,基于YOLOv3算法进行进一步的标记。该算法将输入图片均匀分割成小单元,然后判断检测目标的中心点是否落入网格,若落入网格,则检测窗口对当前目标进行预测,根据设定的阈值保留预测结果较高的目标窗口。
YOLOv3算法在速度和精度上具有较好的性能,其于其他算法相比,在相近的精确度下,该算法的速度明显优于其他算法。
(3)去除图像中与人脸无关的部分,只保留人脸图像部分。利用人脸检测获取的人脸在图中的位置信息,将人脸部分区域切割出来。
S23:高光去除
现有技术中高光去除方法通常是基于单幅图像的,不同视角图像之间的高光去除结果并不一致,基于此本发明提出一种基于优化的多视角人脸图像高光去除方法,利用高光部分随视点方向变化而均匀反射光线的特性,在不同视点间一致地去除人脸图像高光部分,有效地减少了当光照色度与漫反射色度相似时分离高光部分和漫反射部分存在的歧义。
具体过程包括采用Lambertian反射模型和镜面反射模型对反射分量进行分解,然后将分解结果渲染到二维图像空间中,在二维图像空间的双色反射模型下,对高光部分进行像素级优化。利用Adam优化算法最小化目标函数估计参数,目标函数的变化决定了收敛准则。
所述反射分量分解如下表示:
假设将图像强度I标定为与图像辐照度线性相关,则分解可以表示为:
当远处的光线到达p处的人脸表面时,部分光线在边界处被反射,产生镜面反射:
其余部分折射进入面部皮肤,以漫反射的形式反射出去:
依据遵循朗伯(Lambertian )模型,L函数表示为:
所述目标函数为:
所述数据项衡量的是反射模型和捕获的输入图像之间的差异;所述非负约束项为在所有条件下都为非负的物理光照参数之和组成的项;所述正交子空间投影项采用正交子空间投影算法,将高光污染图像的辐射度投影到两个正交的子空间上,一个与光色度平行,另一个与光色度正交;所述非负约束项系数、正交子空间投影系数通过迭代优化得到。
进一步的,定义非负约束项为:
对于漫反射:
对于镜面反射:
g为镜面反射系数。
S24:图像增强
图像增强是通过一定方法有选择的突出图像中对结果有帮助的信息,处理后的图像与识别任务相关性相匹配。
本发明基于多尺度视网膜增强算法对图像进行增强,针对视网膜增强算法存在的光晕、亮区域细节丢失等问题,本发明对传统的视网膜增强算法进行改进,设计一种自适应视网膜增强算法,利用增加自适应光照调节参数对图像进行增强。
所述自适应视网膜增强算法结合自适应调节参数,将图像转换到对数域得到如下表示:
采用本发明的自适应视网膜增强算法对图像进行增强,实现了更好的颜色保真和边缘细节的保留,降低了由于光源照度不均匀对图像特征提取的影响。
S3:分割人脸不同区域
由于人脸不同的位置的损伤对于后期恢复影响不同,例如在眼部或者嘴部周围,由于需要眨眼或者进食,其周围受损皮肤恢复较慢,因此,为获得精确的人脸皮肤的损伤结果,需要对人脸不同区域进行区域化检测,因此,需要对人脸进行分割,确定不同区域。
本发明将人脸按照不同的区域分为:额头、眉毛、眼睛、眼周、脸颊、鼻子、鼻周、嘴部、嘴周以及下巴。
分割人脸不同区域包括如下步骤:
S31:图像二值化处理;根据选定的阈值对原图进行处理,小于阈值设定为黑色,大于阈值设定为白色,由此,脸部皮肤部分为白色,眉毛、眼睛、鼻子以及嘴部为黑色。
S32:确定眉毛、眼睛、鼻子以及嘴部位置。在二值图像中,脸部皮肤区域位于白色区域,而眼睛、眉毛、鼻孔以及嘴部属于黑色区域,根据二值图像的色彩值确定眼睛、眉毛、鼻孔以及嘴部区域位置。
S33:根据眉毛、眼睛、鼻子以及嘴部所在位置确定额头、脸颊、鼻周、嘴周、眼周以及下巴区域。
具体为:
对于正面图像,以眉毛区域为基准,向上搜索直到脸部边缘为额头部分;鼻周、嘴周、眼周分别为鼻子、嘴部以及眼睛区域分别向上下左右扩展一设定值,得到其周边的区域;其中眼睛向上扩展至眉毛下边缘部分都为眼周;下巴为以嘴周下边缘为基准,向下搜索直到脸部边缘的部分;脸颊为脸部除去上述区域的剩余部分。
对于侧面图像,以眉毛或眼睛区域为基准,区分出额头和脸颊区域。
S4:对不同区域皮肤分别进行损伤识别,其中包括损伤面积、损伤类型以及损伤程度。
可选的,所述损伤类型包括割伤、冻伤、烧伤、烫伤、晒伤之一或多种组合。
皮肤损伤识别包括如下步骤:
S41:建立皮肤损伤图像数据集,其中包括若干种不同类型、不同程度的皮肤损伤图像。
S42:特征提取,所述特征包括纹理特征、形状特征以及颜色特征。
(1)纹理特征
采用灰度共生矩阵进行纹理特征的分析,包括如下特征:
a.角二阶矩(Angular Second Moment, ASM)
角二阶矩反映了图像灰度分布均匀程度和纹理粗细度。ASM的数值与共生矩阵中的元素分布情况关系密切,当共生矩阵中的元素值近似相同时,ASM的数值较小;当共生矩阵中的元素值有较大的差异时,ASM的数值较大。ASM的数值大表明纹理变化较均匀和规则。
b. 对比度
对比度反映了图像的清晰度和纹理槽深浅的程度。纹理槽越深,其对比度越大,视觉效果越清晰;与之相反,纹理槽浅,则对比度小,效果模糊。灰度共生矩阵中远离对角线的元素值越大,对比度越大。
c. 相关性(Correlation)
相关性用于度量图像所具有的信息量,反映灰度共生矩阵中的元素与其邻域元素在水平和竖直方向的相似度。相关性的数值大小表示了图像中纹理的非均匀程度或复杂程度。如果图像中纹理走向大部分是水平方向,那水平方向即上的灰度共生矩阵的相关性要大于其他方向上灰度共生矩阵的相关性。
d.熵(Entropy)
熵是衡量图像包含信息量的指标,是图像内容随机性的度量,表示纹理的非均匀性以及复杂程度。
e.逆差矩(Inverse Difference Moment, IDM)
逆差矩用来度量图像纹理局部变化的均匀性,反映图像局部的同质性。逆差矩的数值越大说明图像纹理的不同区域间变化少,局部越均匀。
接下来将绝缘纸灰度图像输入到灰度共生矩阵中,通过上述的表达式得到绝缘纸纹理特征值,为了避免不同方向θ带来影响,将θ=0°,45°,90°和135°四个方向计算出来后求均值,从而保证一定的旋转不变性。
(2)形状特征
归一化中心矩后得:
最终构造出2个不变矩
(3)颜色特征
本发明选择颜色直方图的颜色特征提取方法,其原理是统计图像像素点的颜色分布,记录特定颜色范围内像素数量,通过分析像素点在不同范围内的占比来确定颜色特征。
可选的,本发明采用HSV颜色空间来提取颜色特征。
S43:特征融合
由于纹理特征与形状特征之间存在信息冗余,为消除冗余信息,本发明采用并行融合算法将纹理特征与形状特征进行特征融合,融合方法如下:
定义z为特征向量x和特征向量y融合后的特征向量,则融合特征向量z表示为:
S44:识别分类
(1)建立模型
如图3所示,本发明基于萤火虫算法改进的支持向量机算法对所提取的特征进行分类处理,以所提取的特征为输入,以识别的损伤类型以及损伤程度为输出。
所述所提取的特征包括纹理特征与形状特征融合后的特征以及颜色特征。
上式中的函数估计问题可以等效下式函数的最小化问题:
根据上式可以将寻找最优超平面问题归结为求解如下优化问题:
式中,l为类别总数,对应不同损伤类型以及损伤程度的联合分类类别总数,例如烧伤一级、烧伤二级…割伤一级,割伤二级…;为拉格朗日乘子;为核函数;表示不同于的样本点,、分别为第i类和第j类样本,不同分类类别对应不同损伤类型以及损伤程度的分类;为二元输出,对应样本为第i类的结果选择;表示返回整形变量的函数;
所述改进萤火虫算法主要步骤如下:
4)按照下式计算荧光系数:
式中:为荧光系数;为第只萤火虫位置;为当前迭代次数中荧光素浓度最高的萤火虫位置;为当前迭代次数中最佳萤火虫位置与其余萤火虫位置距离的最大值;所述萤火虫位置对应于支持向量机算法的参数惩罚参数和核参数,位置的横坐标为C,纵坐标为g;最佳萤火虫位置对应最佳参数惩罚参数和核参数使得支持向量机算法对应的目标函数最小。
基于荧光系数的自适应步长公式为:
5)更新位置:
6)更新动态决策域半径值:
其中:
(2)模型训练
基于训练图像集对模型进行训练,其中训练图像集包括不同类型和不同程度的皮肤损伤图片,并带有标记。
(3)识别分类分割后的图像
将分割后的待分类图像输入分类模型,根据输出结果判定皮肤损伤程度和类型。
S45:计算损伤面积
采用标记连通域的方法对损伤对象进行逐个标记,计算出损伤面积。
S5:预测损伤皮肤预计愈合时间
S51:建立专家数据库,不同损伤类型分为不同数据表,同一数据表中为相同的损伤类型,其中包括不同位置,不同损伤程度以及不同损伤面积的预计愈合时间,以烧伤为例,所述数据表如下表所示:
所在位置 | 烧伤程度 | 烧伤面积 | 预计愈合时间 |
额头 | A1 | S1 | T1 |
额头 | A2 | S2 | T2 |
… | … | … | … |
眉毛 | Ai | Si | Ti |
… | … | … | … |
眼睛 | An | Sn | Tn |
… | … | … | … |
在本实施方式中,通过识别人脸皮肤损伤预测伤口愈合时间,帮助患者估计在不需要医生介入的情况下估计脸部皮肤损伤愈合时间。同时,基于优化的多视角人脸图像高光去除方法实现了更加有效的图像预处理,为后续图像特征提取的准确性提供保障。并且考虑到脸部不同位置的皮肤损伤对愈合时间的影响,实现更加准确的愈合时间预测。
本发明实施例还提出一种人脸皮肤图像处理系统,包括:
图像采集模块,其用于对人脸进行正面以及两个侧面分别进行拍摄;
图像预处理模块,其用于去除图像噪声、图像高光、提取脸部部分以及图像增强;
脸部图像分割模块,其用于将人脸按照不同的区域分为:额头、眉毛、眼睛、眼周、脸颊、鼻子、鼻周、嘴部、嘴周以及下巴;
损伤识别模块,其用于识别损伤面积、损伤类型以及损伤程度;
预测损伤皮肤预计愈合时间模块,其用于通过专家数据库结合损伤位置、损伤类型、损伤面积以及损伤程度得到预计愈合时间。
此外,本发明实施例还提出一种计算机可读存储介质, 所述计算机可读存储介质上存储有人脸皮肤图像处理方法的数据加密程序指令,所述人脸皮肤图像处理程序指令可被一个或者多个处理器执行,以实现如上所述的人脸皮肤图像处理方法的步骤。
以上所述的实施例仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。
Claims (10)
1.一种人脸皮肤图像处理方法,其特征在于,包括如下步骤:
S1: 采用图像采集装置进行人脸图像采集,所述人脸图像包括对人脸进行正面以及两个侧面分别进行拍摄;
S2:进行图像预处理,其中包括图像去噪、提取脸部部分、高光去除以及图像增强;
所述高光去除基于优化的多视角人脸图像高光去除方法;
采用Lambertian反射模型和镜面反射模型对反射分量进行分解,然后将分解结果渲染到二维图像空间中,在二维图像空间的双色反射模型下,对高光部分进行像素级优化,利用Adam优化算法最小化目标函数估计参数;
S3:分割人脸不同区域;
S4:基于萤火虫算法改进的支持向量机算法对不同区域脸部皮肤分别进行损伤识别,其中包括损伤面积、损伤类型以及损伤程度;得到不同区域脸部皮肤不同类型损伤的损伤面积和损伤程度;
包括如下步骤:
S41:建立皮肤损伤图像数据集,其中包括若干种不同类型、不同程度的皮肤损伤图像;
S42:特征提取,所述特征包括纹理特征、形状特征以及颜色特征;
S43:将纹理特征与形状特征进行特征融合;
S44:识别分类,基于萤火虫算法改进的支持向量机算法对所提取的特征进行分类处理,以所提取的特征为输入,以识别的损伤类型以及损伤程度为输出;
所述所提取的特征包括纹理特征与形状特征融合后的特征以及颜色特征;
S45:计算损伤面积,采用标记连通域的方法对损伤对象进行逐个标记,计算出损伤面积;
S5:建立专家数据库预测损伤皮肤预计愈合时间。
4.根据权利要求1所述的人脸皮肤图像处理方法,其特征在于,所述损伤类型包括割伤、冻伤、烧伤、烫伤、晒伤之一或多种的组合。
5.根据权利要求1所述的人脸皮肤图像处理方法,其特征在于,所述步骤S43的融合方法如下:
定义z为特征向量x和特征向量y融合后的特征向量,则融合特征向量z表示为:
9.一种基于如权利要求1-8任一项所述的人脸皮肤图像处理方法的系统,其包括:
图像采集模块,其用于对人脸进行正面以及两个侧面分别进行拍摄;
图像预处理模块,其用于去除图像噪声、图像高光、提取脸部部分以及图像增强;
脸部图像分割模块,其用于将人脸按照不同的区域分为:额头、眉毛、眼睛、眼周、脸颊、鼻子、鼻周、嘴部、嘴周以及下巴;
损伤识别模块,其用于识别损伤面积、损伤类型以及损伤程度;
预测损伤皮肤预计愈合时间模块,其用于通过专家数据库结合损伤位置、损伤类型、损伤面积以及损伤程度得到预计愈合时间。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有人脸皮肤图像处理方法的数据加密程序指令,所述人脸皮肤图像处理的数据保护程序指令可被一个或多个处理器执行,以实现如权利要求1-8之一所述的人脸皮肤图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237657.9A CN115953824B (zh) | 2023-03-14 | 2023-03-14 | 一种人脸皮肤图像处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237657.9A CN115953824B (zh) | 2023-03-14 | 2023-03-14 | 一种人脸皮肤图像处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115953824A true CN115953824A (zh) | 2023-04-11 |
CN115953824B CN115953824B (zh) | 2023-07-28 |
Family
ID=87289922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310237657.9A Active CN115953824B (zh) | 2023-03-14 | 2023-03-14 | 一种人脸皮肤图像处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115953824B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274242A (zh) * | 2023-11-17 | 2023-12-22 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
CN117557201A (zh) * | 2024-01-12 | 2024-02-13 | 国网山东省电力公司菏泽供电公司 | 基于人工智能的智能仓储安全管理系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632132A (zh) * | 2012-12-11 | 2014-03-12 | 广西工学院 | 一种基于肤色分割和模板匹配的人脸检测与识别方法 |
CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
CN111524080A (zh) * | 2020-04-22 | 2020-08-11 | 杭州夭灵夭智能科技有限公司 | 脸部皮肤特征的识别方法、终端及计算机设备 |
CN111862118A (zh) * | 2020-07-20 | 2020-10-30 | 四川大学 | 压疮分期的训练方法、分期方法及分期系统 |
-
2023
- 2023-03-14 CN CN202310237657.9A patent/CN115953824B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103632132A (zh) * | 2012-12-11 | 2014-03-12 | 广西工学院 | 一种基于肤色分割和模板匹配的人脸检测与识别方法 |
CN110148121A (zh) * | 2019-05-09 | 2019-08-20 | 腾讯科技(深圳)有限公司 | 一种皮肤图像处理方法、装置、电子设备及介质 |
CN111524080A (zh) * | 2020-04-22 | 2020-08-11 | 杭州夭灵夭智能科技有限公司 | 脸部皮肤特征的识别方法、终端及计算机设备 |
CN111862118A (zh) * | 2020-07-20 | 2020-10-30 | 四川大学 | 压疮分期的训练方法、分期方法及分期系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117274242A (zh) * | 2023-11-17 | 2023-12-22 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
CN117274242B (zh) * | 2023-11-17 | 2024-01-26 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
CN117557201A (zh) * | 2024-01-12 | 2024-02-13 | 国网山东省电力公司菏泽供电公司 | 基于人工智能的智能仓储安全管理系统及方法 |
CN117557201B (zh) * | 2024-01-12 | 2024-04-12 | 国网山东省电力公司菏泽供电公司 | 基于人工智能的智能仓储安全管理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN115953824B (zh) | 2023-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vidya et al. | Skin cancer detection using machine learning techniques | |
Zaqout | Diagnosis of skin lesions based on dermoscopic images using image processing techniques | |
Javidi et al. | Vessel segmentation and microaneurysm detection using discriminative dictionary learning and sparse representation | |
Qiu et al. | Finger-vein recognition based on dual-sliding window localization and pseudo-elliptical transformer | |
EP1229493B1 (en) | Multi-mode digital image processing method for detecting eyes | |
CN115953824B (zh) | 一种人脸皮肤图像处理方法及系统 | |
CN103632132B (zh) | 一种基于肤色分割和模板匹配的人脸检测与识别方法 | |
Tan et al. | Automated segmentation of iris images using visible wavelength face images | |
Ramezani et al. | Automatic detection of malignant melanoma using macroscopic images | |
CN108985210A (zh) | 一种基于人眼几何特征的视线追踪方法及系统 | |
CN102902970A (zh) | 一种虹膜定位方法 | |
CN111291701B (zh) | 一种基于图像梯度和椭圆拟合算法的视线追踪方法 | |
WO2018019149A1 (zh) | 人体性别自动识别方法及装置 | |
Jung et al. | An eye detection method robust to eyeglasses for mobile iris recognition | |
Chen et al. | Hybrid facial image feature extraction and recognition for non-invasive chronic fatigue syndrome diagnosis | |
Sabharwal et al. | Recognition of surgically altered face images: an empirical analysis on recent advances | |
Dhanashree et al. | Fingernail analysis for early detection and diagnosis of diseases using machine learning techniques | |
US10956735B1 (en) | System and method for determining a refractive error from red reflex images of eyes | |
Zhou et al. | A comprehensive multimodal eye recognition | |
Lin et al. | A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images | |
Singh et al. | Improving verification accuracy by synthesis of locally enhanced biometric images and deformable model | |
Pathak et al. | Multimodal eye biometric system based on contour based E-CNN and multi algorithmic feature extraction using SVBF matching | |
Kavitha et al. | Classification of skin cancer segmentation using hybrid partial differential equation with fuzzy clustering based on machine learning techniques | |
Badejo et al. | A robust preprocessing algorithm for iris segmentation from low contrast eye images | |
CN111626181A (zh) | 人脸识别大数据分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |