CN111950637B - 紫质检测方法、装置、皮肤检测仪和可读存储介质 - Google Patents
紫质检测方法、装置、皮肤检测仪和可读存储介质 Download PDFInfo
- Publication number
- CN111950637B CN111950637B CN202010817412.XA CN202010817412A CN111950637B CN 111950637 B CN111950637 B CN 111950637B CN 202010817412 A CN202010817412 A CN 202010817412A CN 111950637 B CN111950637 B CN 111950637B
- Authority
- CN
- China
- Prior art keywords
- feature
- layer
- purple
- image
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000825 ultraviolet detection Methods 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000000605 extraction Methods 0.000 claims description 77
- 230000004927 fusion Effects 0.000 claims description 48
- 230000004913 activation Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 210000003491 skin Anatomy 0.000 description 28
- 238000013135 deep learning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000028327 secretion Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000004519 grease Substances 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 210000003780 hair follicle Anatomy 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000002874 Acne Vulgaris Diseases 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 2
- 206010000496 acne Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002503 metabolic effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种紫质检测方法、装置、皮肤检测仪和可读存储介质，涉及图像处理技术领域。该方法首先获取待检测图像。然后将待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像。其中，紫质检测模型是将包括紫质的原始图像作为训练样本，将原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到。如此，利用结构简单小巧的紫质检测模型对待检测图像进行紫质检测，可在保证检测精度的前提下，提高检测效率。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种紫质检测方法、装置、皮肤检测仪和可读存储介质。
背景技术
人脸皮肤的紫质是指人脸毛囊中产生的油脂分泌物，由于各种原因堆积在毛囊处，由此滋生出的细菌产生的分泌物(细菌的新陈代谢产物)在紫外光(Ultraviolet Rays，UV)照射下会发出荧光，发出荧光的区域即为紫质。
研究表明，如果人脸紫质很多，就会有爆发痤疮的可能，对人脸紫质进行检测能够揭示皮肤的清洁和健康状况，有助于人脸皮肤的健康防护。
目前，常利用传统的图像处理方法直接对原始图像进行紫质区域的分割，比如根据原始图像的亮度图，设定阈值进行二值化。但是此类方法准确率低，鲁棒性差。
比较前沿的方式是利用获取到的UV光原始图像和原始图像对应的标注掩膜图，共同训练深度学习网络。训练完成后，将需要检测的待检测图像输入训练好的深度学习网络中，即可检测出待检测图像中人脸的紫质区域。
但是，由于市面上流行的深度学习网络框架的结构较大且复杂，且并非是针对此问题设计出来的网络框架，训练过程往往困难且低效。
发明内容
有鉴于此，本申请提供了一种紫质检测方法、装置、皮肤检测仪和可读存储介质，以解决上述问题。
本申请的实施例可以这样实现：
第一方面，本申请实施例提供一种紫质检测方法，方法包括：
获取待检测图像；
将所述待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，所述紫质检测模型是将包括紫质的原始图像作为训练样本，将所述原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到。
在可选的实施方式中，所述紫质检测模型通过以下步骤训练得到：
获取包括紫质的原始图像和所述原始图像对应的紫质掩膜图像，其中，所述紫质掩膜图像为对所述原始图像进行紫质标注后得到的图像；
将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层；
将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像；
依据所述初步结果图像和所述紫质掩膜图像，计算预设的损失函数的损失值；
依据所述损失值，采用反向传播算法更新所述紫质检测网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述紫质检测模型。
在可选的实施方式中，所述编码网络包括第一特征提取模块和特征融合模块；
所述将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层的步骤包括：
将所述原始图像作为训练样本，输入所述第一特征提取模块，利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图层；
将所述原始特征图层输入所述特征融合模块，利用所述特征融合模块对所述原始特征图进行多尺度特征提取，得到多个中间特征图；
利用所述特征融合模块对所述多个中间特征图进行多尺度特征融合，得到中间特征图层。
在可选的实施方式中，所述解码网络包括第二特征提取模块、跳跃连接模块和第三特征提取模块；
所述将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像的步骤包括：
将所述中间特征图层输入所述第二特征提取模块，利用所述第二特征提取模块进行特征提取，得到第一特征图层；
将所述原始特征图层输入所述跳跃连接模块，利用所述跳跃连接模块进行特征提取，得到第二特征图层；
将所述第一特征图层与所述第二特征图层进行特征融合，并将特征融合后的第一特征图层与第二特征图层输入所述第三特征提取模块，利用所述第三特征提取模块进行特征提取，得到所述初步结果图像。
在可选的实施方式中，方法还包括：
计算所述结果图像中人脸的紫质数据，得到紫质分析结果。
在可选的实施方式中，所述计算所述结果图像中人脸的紫质数据，得到紫质分析结果的步骤包括：
计算所述结果图像中人脸的总面积和紫质区域的紫质面积；
计算所述紫质面积与所述总面积的比例，得到紫质分析结果。
在可选的实施方式中，所述计算所述结果图像中人脸的紫质数据，得到紫质分析结果的步骤包括：
将预先设定的窗口，按照固定步长在所述结果图像中进行滑动；
每一次滑动后，计算所述窗口中紫质区域的总面积，以及所述总面积与所述窗口的面积的比例，得到多个密度值；
筛除所述多个密度值中小于预设阈值的密度值，得到多个初始密度值；
计算所述多个初始密度值的平均值，得到所述紫质分析结果。
第二方面，本申请实施例提供一种紫质检测装置，装置包括：
获取模块，用于获取待检测图像；
输入模块，用于将所述待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，所述紫质检测模型是将包括紫质的原始图像作为训练样本，将所述原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到。
第三方面，本申请实施例提供一种皮肤检测仪，所述皮肤检测仪包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当皮肤检测仪运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行前述实施方式任意一项的紫质检测方法的步骤。
第四方面，本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序，计算机程序被执行时实现前述实施方式任意一项的紫质检测方法。
本申请实施例提供了一种紫质检测方法、装置、皮肤检测仪和可读存储介质。该方法首先获取待检测图像。然后将待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，紫质检测模型是将包括紫质的原始图像作为训练样本，将原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到。如此，利用结构简单小巧的紫质检测模型对待检测图像进行紫质检测，可在保证检测精度的前提下，提高检测效率。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的皮肤检测仪的结构框图。
图2为本申请实施例提供的紫质检测方法的流程图。
图3为本申请实施例提供的紫质检测模型的训练示意图。
图4为本申请实施例提供的紫质检测网络的结构图。
图5为本申请实施例提供的紫质检测装置的功能模块框图。
图标：100-皮肤检测仪；110-存储器；120-处理器；130-紫质检测装置；131-获取模块；132-输入模块；140-通信单元；200-紫质检测网络；211-第一特征提取模块；212-特征融合模块；221-第二特征提取模块；222-跳跃连接模块；223-第三特征提取模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。
如背景技术所介绍，人脸皮肤的紫质是指人脸毛囊中产生的油脂分泌物，由于各种原因堆积在毛囊处，由此滋生出的细菌产生的分泌物(细菌的新陈代谢产物)在紫外光照射下会发出荧光，发出荧光的区域即为紫质。
研究表明，如果人脸紫质很多，就会有爆发痤疮的可能，对人脸紫质进行检测能够揭示皮肤的清洁和健康状况，有助于人脸皮肤的健康防护。
目前，常利用传统的图像处理方法直接对原始图像进行紫质区域的分割，比如根据原始图像的亮度图，设定阈值进行二值化。但是此类方法准确率低，鲁棒性差。
比较前沿的方式是利用获取到的UV光原始图像和原始图像对应的标注掩膜图，共同训练深度学习网络。训练完成后，将需要检测的待检测图像输入训练好的深度学习网络中，即可检测出待检测图像中人脸的紫质区域。
但是，公开知名的深度学习网络往往结构复杂，是针对其他任务设计出的模型结构，训练过程困难且低效。
有鉴于此，本申请实施例提供了一种紫质检测方法、装置、皮肤检测仪100和可读存储介质，以解决上述问题。该紫质检测方法基于编码-解码的思想重新构建得到紫质检测网络，并利用获取到的原始图像训练紫质检测网络。使用时将待检测图像输入训练完成后的紫质检测模型即可。下面对上述方案进行详细阐述。
请参阅图1，图1为本申请实施例提供的一种皮肤检测仪100的结构框图。设备可以包括处理器120、存储器110、紫质检测装置130及通信单元140，存储器110存储有处理器120可执行的机器可读指令，当皮肤检测仪100运行时，处理器120及存储器110之间通过总线通信，处理器120执行机器可读指令，并执行紫质检测方法的步骤。
存储器110、处理器120以及通信单元140各元件相互之间直接或间接地电性连接，以实现信号的传输或交互。
例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。紫质检测装置130包括至少一个可以软件或固件(firmware)的形式存储于存储器110中的软件功能模块。
处理器120用于执行存储器110中存储的可执行模块，例如紫质检测装置130所包括的软件功能模块或计算机程序。
处理器120还可以是数字信号处理器120(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器120可以是微处理器120或者该处理器120也可以是任何常规的处理器120等。
本申请实施例中，存储器110用于存储程序，处理器120用于在接收到执行指令后，执行程序。本申请实施例任一实施方式所揭示的流程定义的方法可以应用于处理器120中，或者由处理器120实现。
通信单元140用于通过网络建立皮肤检测仪100与其他电子设备之间的通信连接，并用于通过网络收发数据。
在一些实施例中，网络可以是任何类型的有线或者无线网络，或者是他们的结合。仅作为示例，网络可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)、无线局域网(Wireless Local Area Networks，WLAN)、城域网(Metropolitan Area Network)、广域网(Wide Area Network，WAN)、公共电话交换网(Public Switched Telephone Network，PSTN)、蓝牙网络、ZigBee网络、或近场通信(Near Field Communication，NFC)网络等，或其任意组合。
可以理解，图1所示的结构仅为示意。皮肤检测仪100还可以具有比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。例如，皮肤检测仪100还可以具有图像采集设备，以采集待检测图像。
基于上述皮肤检测仪100的实现架构，本申请实施例提供了一种紫质检测方法，请结合参阅2，图2为本申请实施例提供的紫质检测方法的流程图。下面结合图2所示的具体流程进行详细描述。
步骤S1，获取待检测图像。
步骤S2，将待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，紫质检测模型是将包括紫质的原始图像作为训练样本，将所述原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络200进行训练得到。
其中，待检测图像可通过皮肤检测仪100在固定波段的UV光照下对人的面部进行图像采集得到，固定波段可以为320～400nm。同时为了使得采集得到的待检测图像的成像效果和检测结果更加准确，皮肤检测仪100在采集图像时可在相对稳定密闭的环境下进行。
作为一种可能的实施场景，用户通过皮肤检测仪100采集到自己的人像图作为待检测图像，皮肤检测仪100通过训练好的紫质检测模型对待检测图像进行处理，则可以得到紫质检测后的结果图像。
可以理解的是，上述紫质检测模型可以是其他电子设备中预先训练得到，之后迁移至当前皮肤检测仪100的，也可以是在当前皮肤检测仪100中预先训练，并存储得到的。
本申请实施例提供的紫质检测方法，利用包括紫质的原始图像作为训练样本，预先对包括编码网络和解码网络的紫质检测网络进行训练得到紫质检测模型。使用时将获取的待检测图像输入紫质检测模型中进行紫质检测，即可得到紫质检测后的结果图像。相比较平常的深度学习网络，本申请预先构建的紫质检测网络尺寸较小且结构简单，相对小巧高效，是特别针对此任务所设计出来的，训练和推理过程都相对更高效，模型占用存储空间小，且有很好的检测精度，鲁棒性也很好。可在保证检测结果精度较高的前提下，提升检测效率。
上述结果图像可直观地反映出人脸的紫质分布，为了更进一步直观地反应人脸的紫质情况，还可根据结果图像进一步进行数据分析。
因此，在上述基础上，还可以计算结果图像中人脸的紫质数据，得到紫质分析结果。
作为一种可选的实施方式，可进一步利用人脸的紫质面积占比反映检测结果。
首先，计算结果图像中人脸的总面积和紫质区域的紫质面积。
然后，计算紫质面积与总面积的比例，得到紫质分析结果。
其中，可以利用图像识别技术计算出结果图像中人脸的总面积，和紫质区域的紫质面积。例如对结果图像进行图像分割，得到紫质区域分割结果图。并进一步对紫质区域分割结果图进行二值化处理和简单的形态学操作，以得到结果图像中的紫质区域的连通图像，进一步计算紫质区域的面积。
可以理解的是，该总面积与紫质面积可以不是真实的人脸面积，而是以同一度量标准检测得到的同比例缩放的图像面积。利用紫质面积与总面积的比例作为紫质分析结果，即可反应人脸面部的紫质严重程度。
例如，可根据紫质面积与总面积的比例对应给出人脸面部的紫质严重程度的得分，分值越高，表示紫质越严重。如，紫质面积与总面积的比例为20％，则该待检测图像对应的人脸面部的紫质严重程度为20分(满分为100分)。
又例如，还可以根据预设区间及紫质面积与总面积的比例对应给出人脸面部的紫质严重程度。如，紫质面积与总面积的比例为0％-20％，则该待检测图像对应的人脸面部的紫质情况为“较好”。紫质面积与总面积的比例为20％-40％，则该待检测图像对应的人脸面部的紫质情况为“良好”。紫质面积与总面积的比例为40％-60％，则该待检测图像对应的人脸面部的紫质情况为“一般”。紫质面积与总面积的比例为60％-80％，则该待检测图像对应的人脸面部的紫质情况为“严重”。紫质面积与总面积的比例为80％-100％，则该待检测图像对应的人脸面部的紫质情况为“非常严重”。
作为另一种可选的实施方式，还可利用紫质密度反应检测结果：
将预先设定的窗口，按照固定步长在结果图像中进行滑动。每一次滑动后，计算窗口中紫质区域的总面积，以及总面积与所述窗口的面积的比例，得到多个密度值。筛除多个密度值中小于预设阈值的密度值，得到多个初始密度值。计算多个初始密度值的平均值，得到紫质分析结果。
其中，可以利用图像识别技术计算出设定的窗口的面积，并识别出该窗口内紫质区域的总面积。
可以理解的是，该窗口大小可以是小于结果图像的任意大小，例如，51*51。同时窗口的面积可以不是真实的人脸面积，而是以同一度量标准检测且经过同比例缩放后的图像面积。利用上述方式计算紫质区域的密度紫质分析结果，即可反应人脸面部的紫质严重程度。
请结合参阅图3与图4，图3为本申请实施例提供的一种紫质检测模型的训练示意图。图4为本申请实施例提供的一种紫质检测网络200的结构示意图。作为一种可能的实施方式，紫质检测模型可通过以下步骤训练得到：
步骤S100，获取包括紫质的原始图像和原始图像对应的紫质掩膜图像，其中，紫质掩膜图像为对原始图像进行紫质标注后得到的图像。
步骤S200，将原始图像作为训练样本，输入编码网络，利用编码网络对原始图像进行特征提取和特征融合，得到中间特征图层。
步骤S300，将中间特征图层输入解码网络，利用解码网络对中间特征图层进行解析，得到初步结果图像。
步骤S400，依据初步结果图像和紫质掩膜图像，计算预设的损失函数的损失值。
步骤S500，依据损失值，采用反向传播算法更新紫质检测网络200的参数，直至重新计算得到的损失值满足预设条件，得到训练后的紫质检测模型。
其中，预设的损失函数可以是交叉熵损失函数，也可以是IOU损失函数，通过预设的损失函数计算紫质检测网络200输出的初步结果图像与紫质掩膜图像之间的差距，当差距较大时，采用反向传播算法更新紫质检测网络200的参数，直至紫质检测网络200输出的初步结果图像与紫质掩膜图像之间的差距较小时，得到训练后的紫质检测模型，以保证训练好的紫质检测模型的精度。
作为一种可能的实施方式，紫质检测网络200包括编码网络和解码网络。编码网络包括第一特征提取模块211和特征融合模块212。解码网络包括第二特征提取模块221、跳跃连接模块222和第三特征提取模块223。
基于上述网络结构，可通过以下方式实现步骤S200，利用编码网络对原始图像进行特征提取和特征融合，得到中间特征图层：
首先，将原始图像作为训练样本，输入第一特征提取模块，利用第一特征提取模块对原始图像进行特征提取，得到原始特征图。
然后，将原始特征图层输入特征融合模块212，利用特征融合模块212对原始特征图层进行多尺度特征提取，得到多个中间特征图。
接着，利用特征融合模块212对多个中间特征图进行多尺度特征融合，得到中间特征图层。
其中，第一特征提取模块包括两个构成残差网络结构(Resblock)的卷积层，每个卷积层后均包括归一化层及激活层。该第一特征提取模块提取出原始图像的特征图后送入特征融合模块212，进行进一步特征提取。Resblock是ResNet中提出的一种能有效提取特征且有利于梯度回传的残差网络结构。该残差网络结构可提取中间层的特征，方便训练，同时提升了检测精度。
特征融合模块212可以为基于空洞卷积的空间金字塔池化结构(Atrous SpatialPyramid Pooling，ASPP)，其包括四个并列的卷积层，每个卷积层后均包括归一化层及激活层。采用ASPP结构可融合原始特征图的不同尺度信息，提高检测精度，第一特征提取模块与特征融合模块212共同完成编码部分。
基于上述网络结构，可通过以下方式实现步骤S300，利用解码网络对中间特征图层进行解析，得到初步结果图像：
首先，将中间特征图层输入第二特征提取模块221，利用第二特征提取模块221进行特征提取，得到第一特征图层。
其次，将中间特征图层输入跳跃连接模块222，利用跳跃连接模块222进行特征提取，得到第二特征图层。
最后，将第一特征图层与第二特征图层进行特征融合并将特征融合后的第一特征图层与第二特征图层输入第三特征提取模块223，利用第三特征提取模块223进行特征提取，得到初步结果图像。
其中，第二特征提取模块221与特征融合模块212连接，且包括多个卷积层，每个卷积层后均包括归一化层及激活层，以完成对图像的上采样。
跳跃连接模块222也与特征融合模块212连接，且包括卷积层，每个卷积层后均包括归一化层及激活层，跳接的作用主要是使得网络能够直接有效融合网络中浅层特征和深层特征的信息，促进训练过程，使得训练过程缩短，提升精度。
第三特征提取模块223包括多个卷积层，每个卷积层后均包括归一化层及激活层，以及上采样层，完成对图像的上采样。
如此，通过第二特征提取模块221、跳跃连接模块222及第三特征提取模块223共同完成语义分割，识别出待检测图像中的紫质区域。
基于同一发明构思，请结合参阅图5，本申请实施例中还提供了与上述紫质检测方法对应的紫质检测装置130，装置包括：
获取模块131，用于获取待检测图像。
输入模块132，用于将待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，紫质检测模型是将包括紫质的原始图像作为训练样本，将原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络200进行训练得到。
由于本申请实施例中的装置解决问题的原理与本申请实施例上述紫质检测方法相似，因此装置的实施原理可以参见方法的实施原理，重复之处不再赘述。
本实施例也提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序被执行时实现上述的紫质检测方法。
综上所述，本申请实施例提供了一种紫质检测方法、装置、皮肤检测仪100和可读存储介质。该方法首先获取待检测图像。然后将待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，紫质检测模型是将包括紫质的原始图像作为训练样本，将原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络200进行训练得到。如此，利用结构简单小巧的紫质检测模型对待检测图像进行紫质检测，可在保证检测精度的前提下，提高检测效率。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (7)
1.一种紫质检测方法，其特征在于，所述方法包括：
获取待检测图像；
将所述待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，所述紫质检测模型是将包括紫质的原始图像作为训练样本，将所述原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到；
所述紫质检测模型通过以下步骤训练得到：
获取包括紫质的原始图像和所述原始图像对应的紫质掩膜图像，其中，所述紫质掩膜图像为对所述原始图像进行紫质标注后得到的图像；
将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层；
将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像；
依据所述初步结果图像和所述紫质掩膜图像，计算预设的损失函数的损失值；
依据所述损失值，采用反向传播算法更新所述紫质检测网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述紫质检测模型；
所述编码网络包括第一特征提取模块和特征融合模块；所述第一特征提取模块包括两个构成残差网络结构的卷积层，每个卷积层后均包括归一化层及激活层；所述特征融合模块为基于空洞卷积的空间金字塔池化结构，所述特征融合模块包括四个并列的卷积层，每个卷积层后均包括归一化层及激活层；
所述将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层的步骤包括：
将所述原始图像作为训练样本，输入所述第一特征提取模块，利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图层；
将所述原始特征图层输入所述特征融合模块，利用所述特征融合模块对所述原始特征图层进行多尺度特征提取，得到多个中间特征图；
利用所述特征融合模块对所述多个中间特征图进行多尺度特征融合，得到中间特征图层；
所述解码网络包括第二特征提取模块、跳跃连接模块和第三特征提取模块；所述第二特征提取模块与特征融合模块连接，所述第二特征同去模块包括多个卷积层，每个卷积层后均包括归一化层及激活层；所述跳跃连接模块与特征融合模块连接，所述跳跃连接模块包括卷积层，每个卷积层后均包括归一化层及激活层；所述第三特征提取模块包括多个卷积层和上采样层，每个卷积层后均包括归一化层及激活层；
所述将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像的步骤包括：
将所述中间特征图层输入所述第二特征提取模块，利用所述第二特征提取模块进行特征提取，得到第一特征图层；
将所述原始特征图层输入所述跳跃连接模块，利用所述跳跃连接模块进行特征提取，得到第二特征图层；
将所述第一特征图层与所述第二特征图层进行特征融合，并将特征融合后的第一特征图层与第二特征图层输入所述第三特征提取模块，利用所述第三特征提取模块进行特征提取，得到所述初步结果图像。
2.根据权利要求1所述的紫质检测方法，其特征在于，所述方法还包括：
计算所述结果图像中人脸的紫质数据，得到紫质分析结果。
3.根据权利要求2所述的紫质检测方法，其特征在于，所述计算所述结果图像中人脸的紫质数据，得到紫质分析结果的步骤包括：
计算所述结果图像中人脸的总面积和紫质区域的紫质面积；
计算所述紫质面积与所述总面积的比例，得到紫质分析结果。
4.根据权利要求2所述的紫质检测方法，其特征在于，所述计算所述结果图像中人脸的紫质数据，得到紫质分析结果的步骤包括：
将预先设定的窗口，按照固定步长在所述结果图像中进行滑动；
每一次滑动后，计算所述窗口中紫质区域的总面积，以及所述总面积与所述窗口的面积的比例，得到多个密度值；
筛除所述多个密度值中小于预设阈值的密度值，得到多个初始密度值；
计算所述多个初始密度值的平均值，得到所述紫质分析结果。
5.一种紫质检测装置，其特征在于，所述装置包括：
获取模块，用于获取待检测图像；
输入模块，用于将所述待检测图像输入紫质检测模型进行紫质检测，得到紫质检测后的结果图像，其中，所述紫质检测模型是将包括紫质的原始图像作为训练样本，将所述原始图像对应的紫质掩膜图像作为目标图像，对预先构建的包括编码网络和解码网络的紫质检测网络进行训练得到；所述紫质检测模型通过以下步骤训练得到：获取包括紫质的原始图像和所述原始图像对应的紫质掩膜图像，其中，所述紫质掩膜图像为对所述原始图像进行紫质标注后得到的图像；将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层；将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像；依据所述初步结果图像和所述紫质掩膜图像，计算预设的损失函数的损失值；依据所述损失值，采用反向传播算法更新所述紫质检测网络的参数，直至重新计算得到的损失值满足预设条件，得到训练后的所述紫质检测模型；所述编码网络包括第一特征提取模块和特征融合模块；所述第一特征提取模块包括两个构成残差网络结构的卷积层，每个卷积层后均包括归一化层及激活层；所述特征融合模块为基于空洞卷积的空间金字塔池化结构，所述特征融合模块包括四个并列的卷积层，每个卷积层后均包括归一化层及激活层；所述将所述原始图像作为训练样本，输入所述编码网络，利用所述编码网络对所述原始图像进行特征提取和特征融合，得到中间特征图层的步骤包括：将所述原始图像作为训练样本，输入所述第一特征提取模块，利用所述第一特征提取模块对所述原始图像进行特征提取，得到原始特征图层；将所述原始特征图层输入所述特征融合模块，利用所述特征融合模块对所述原始特征图层进行多尺度特征提取，得到多个中间特征图；利用所述特征融合模块对所述多个中间特征图进行多尺度特征融合，得到中间特征图层；所述解码网络包括第二特征提取模块、跳跃连接模块和第三特征提取模块；所述第二特征提取模块与特征融合模块连接，所述第二特征同去模块包括多个卷积层，每个卷积层后均包括归一化层及激活层；所述跳跃连接模块与特征融合模块连接，所述跳跃连接模块包括卷积层，每个卷积层后均包括归一化层及激活层；所述第三特征提取模块包括多个卷积层和上采样层，每个卷积层后均包括归一化层及激活层；所述将所述中间特征图层输入所述解码网络，利用所述解码网络对所述中间特征图层进行解析，得到初步结果图像的步骤包括：将所述中间特征图层输入所述第二特征提取模块，利用所述第二特征提取模块进行特征提取，得到第一特征图层；将所述原始特征图层输入所述跳跃连接模块，利用所述跳跃连接模块进行特征提取，得到第二特征图层；将所述第一特征图层与所述第二特征图层进行特征融合，并将特征融合后的第一特征图层与第二特征图层输入所述第三特征提取模块，利用所述第三特征提取模块进行特征提取，得到所述初步结果图像。
6.一种皮肤检测仪，所述皮肤检测仪包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当皮肤检测仪运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行权利要求1-4任意一项所述的紫质检测方法的步骤。
7.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被执行时实现权利要求1-4任意一项所述的紫质检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817412.XA CN111950637B (zh) | 2020-08-14 | 2020-08-14 | 紫质检测方法、装置、皮肤检测仪和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010817412.XA CN111950637B (zh) | 2020-08-14 | 2020-08-14 | 紫质检测方法、装置、皮肤检测仪和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111950637A CN111950637A (zh) | 2020-11-17 |
| CN111950637B true CN111950637B (zh) | 2024-05-03 |
Family
ID=73343141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010817412.XA Active CN111950637B (zh) | 2020-08-14 | 2020-08-14 | 紫质检测方法、装置、皮肤检测仪和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950637B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561815B (zh) * | 2020-12-11 | 2024-03-05 | 浙江大华技术股份有限公司 | 一种图像处理方法、装置、存储介质及电子装置 |
| CN113052745B (zh) * | 2021-04-25 | 2022-01-07 | 景德镇陶瓷大学 | 数字水印模型训练方法、陶瓷水印图像的制作方法及陶瓷 |
| CN115082991A (zh) * | 2022-06-27 | 2022-09-20 | 平安银行股份有限公司 | 人脸活体检测方法、装置及电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0726695A2 (en) * | 1995-02-07 | 1996-08-14 | Matsushita Electric Industrial Co., Ltd. | Light irradiation method and its apparatus |
| CN106650215A (zh) * | 2016-10-11 | 2017-05-10 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于云平台的肤质检测及个性化评价系统及方法 |
| CN106983493A (zh) * | 2017-03-04 | 2017-07-28 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于三光谱的皮肤图像处理方法 |
| CN109363634A (zh) * | 2018-10-08 | 2019-02-22 | 蔡义文 | 皮肤的测评方法、装置、手机、计算机设备及存储介质 |
| CN110298304A (zh) * | 2019-06-27 | 2019-10-01 | 维沃移动通信有限公司 | 一种皮肤检测方法及终端 |
| CN111429421A (zh) * | 2020-03-19 | 2020-07-17 | 北京推想科技有限公司 | 模型生成方法、医学图像分割方法、装置、设备及介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7790442B2 (en) * | 2006-07-19 | 2010-09-07 | Syracuse University | Bacteriorhodopsin-based photochromic sensor for detection of chemical and environmental toxins |
| US7888030B2 (en) * | 2008-08-21 | 2011-02-15 | King's College London | Biomarkers |
-
2020
- 2020-08-14 CN CN202010817412.XA patent/CN111950637B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0726695A2 (en) * | 1995-02-07 | 1996-08-14 | Matsushita Electric Industrial Co., Ltd. | Light irradiation method and its apparatus |
| CN106650215A (zh) * | 2016-10-11 | 2017-05-10 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于云平台的肤质检测及个性化评价系统及方法 |
| CN106983493A (zh) * | 2017-03-04 | 2017-07-28 | 武汉嫦娥医学抗衰机器人股份有限公司 | 一种基于三光谱的皮肤图像处理方法 |
| CN109363634A (zh) * | 2018-10-08 | 2019-02-22 | 蔡义文 | 皮肤的测评方法、装置、手机、计算机设备及存储介质 |
| CN110298304A (zh) * | 2019-06-27 | 2019-10-01 | 维沃移动通信有限公司 | 一种皮肤检测方法及终端 |
| CN111429421A (zh) * | 2020-03-19 | 2020-07-17 | 北京推想科技有限公司 | 模型生成方法、医学图像分割方法、装置、设备及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 用菌紫质薄膜传感器进行图像边缘检测的研究;杨俭华, 王光毓, 张志广, 林书煌;生物工程进展;19970630(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111950637A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950637B (zh) | 紫质检测方法、装置、皮肤检测仪和可读存储介质 | |
| CN109410219A (zh) | 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质 | |
| CN111754520B (zh) | 一种基于深度学习的脑血肿分割方法及系统 | |
| Rajathi et al. | Varicose ulcer (C6) wound image tissue classification using multidimensional convolutional neural networks | |
| CN110246579B (zh) | 一种病理诊断方法及装置 | |
| CN109961446A (zh) | Ct/mr三维图像分割处理方法、装置、设备及介质 | |
| Rajput et al. | An accurate and noninvasive skin cancer screening based on imaging technique | |
| CN112434718B (zh) | 基于深度图的新冠肺炎多模态特征提取融合方法及系统 | |
| Luo et al. | A deep convolutional neural network for diabetic retinopathy detection via mining local and long‐range dependence | |
| Xu et al. | Intelligent emotion detection method based on deep learning in medical and health data | |
| CN111932522B (zh) | 一种基于脑成像大数据深度学习的阿尔兹海默症分类器 | |
| CN109658399A (zh) | 一种头颈斑块图像识别方法及装置 | |
| WO2021184195A1 (zh) | 医学图像重建方法、医学图像重建网络训练方法和装置 | |
| Sarica et al. | A dense residual U-net for multiple sclerosis lesions segmentation from multi-sequence 3D MR images | |
| CN114022742B (zh) | 红外与可见光图像融合方法、装置及计算机存储介质 | |
| Xu et al. | Multi-scale unsupervised network for infrared and visible image fusion based on joint attention mechanism | |
| CN117137488B (zh) | 基于脑电数据与面部表情影像的抑郁症病症辅助识别方法 | |
| Yueyuan et al. | Swin transformer combined with convolutional encoder for cephalometric landmarks detection | |
| Wang et al. | Msfnet: multistage fusion network for infrared and visible image fusion | |
| Guan et al. | Medical image fusion algorithm based on multi-resolution analysis coupling approximate spare representation | |
| CN113506274A (zh) | 基于视觉显著性差异图的用于人体认知状况的检测系统 | |
| CN111383217B (zh) | 大脑成瘾性状评估的可视化方法、装置及介质 | |
| CN116664592A (zh) | 基于图像的动静脉血管分离方法、装置、电子设备及介质 | |
| CN110705611A (zh) | 眼底图像样本扩展方法、装置、介质及电子设备 | |
| CN111145852A (zh) | 医学信息的处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211209 Address after: 361100 568, No. 942, tonglong Second Road, torch high tech Zone (Xiang'an) Industrial Zone, Xiang'an District, Xiamen City, Fujian Province Applicant after: Xiamen Meitu Yifu Technology Co.,Ltd. Address before: B1f-089, Zone C, Huaxun building, software park, torch high tech Zone, Xiamen City, Fujian Province Applicant before: XIAMEN HOME MEITU TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |