CN110570479B - 一种图像处理方法、装置及系统 - Google Patents
一种图像处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110570479B CN110570479B CN201910826380.7A CN201910826380A CN110570479B CN 110570479 B CN110570479 B CN 110570479B CN 201910826380 A CN201910826380 A CN 201910826380A CN 110570479 B CN110570479 B CN 110570479B
- Authority
- CN
- China
- Prior art keywords
- image
- channel component
- convolution
- processing
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 89
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 230000001815 facial effect Effects 0.000 claims abstract description 20
- 238000009825 accumulation Methods 0.000 claims abstract description 17
- 239000011148 porous material Substances 0.000 claims abstract description 17
- 238000003745 diagnosis Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 19
- 230000007704 transition Effects 0.000 claims description 18
- 238000005192 partition Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 claims description 6
- 239000004519 grease Substances 0.000 abstract description 11
- 238000011160 research Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像处理方法和相应的装置，包括：获取图像采集设备采集的用户面部的UV图像；利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图；对所述灰度纹理图进行锐化处理，得到反映所述用户面部毛孔油脂堆积情况的目标图像；输出所述目标图像。通过该技术方案，可以帮助用户了解自己面部的毛孔油脂堆积情况，以及为用户提出皮肤诊断建议和/或面膜定制方案等。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置及系统。
背景技术
人脸的肤质好坏是评价一个人美与健康的重要依据。随着时代的进步，人们对自己的容貌愈发重视，皮肤护理成为热点话题。拥有光滑亮洁的皮肤不仅对自己的健康有益，而且能提高自身的整体形象，在人际交往和日常生活中也有着至关重要的作用。由于人工智能的快速发展，自动化、智能化的人脸图像定量分析技术受到了美容院、皮肤研究机构、皮肤医疗机构等的广泛关注。
人脸皮肤评测系统一般包含两大部分：第一部分为多光谱光学成像部分，不仅可以检测已经暴露在肌肤表面的问题，还能够通过定量分析将隐藏在皮肤基底层的问题呈现出来；第二部分为检测与评估分析部分，可以精确、定量地诊断皮肤情况，并提供精确、清楚、易懂的皮肤诊断报告。它的出现使皮肤治疗告别了以往单凭肉眼和医生经验判断的历史，因此，研究、设计、开发一种人脸面部图像皮肤定量分析系统具有重要意义。站在科学研究的角度，它不仅可用于医疗大数据分析研究还可用于皮肤医疗诊断研究；站在实际应用的角度，它可以帮助皮肤科医生全面了解以肉眼无法透视的皮肤深层状况；根据分析结果，针对皮肤特征提出最佳个性治疗解决方案；还可实现全程电脑数控记录，保存电子病历档案，实现跨时期不同检测图片的细致对比分析，对治疗方案的功效做出客观科学的评价。
发明内容
鉴于上述问题，本发明提出了一种图像处理方法和相应的装置及系统，其可以通过预设卷积神经网络模型处理UV图像，得到灰度纹理图，再对灰度纹理图进行锐化处理，得到可以客观、真实反映用户面部毛孔油脂堆积情况的图像，从而帮助用户了解自己面部的毛孔油脂堆积情况，以及为用户提出皮肤诊断建议和/或面膜定制方案等。
根据本发明实施例的第一方面，提供一种图像处理方法，包括：
获取图像采集设备采集的用户面部的UV图像；
利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图；
对所述灰度纹理图进行锐化处理，得到反映所述用户面部毛孔油脂堆积情况的目标图像；
输出所述目标图像。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
针对所述UV图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；
针对每个通道分量，计算出一个规范因子；
根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述UV图像各个像素点对应的各个通道分量的处理后的像素值；
将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述UV图像对应的灰度纹理图。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
对所述UV图像进行裁剪，将所述UV图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述UV图像对应的灰度纹理图。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
对所述UV图像进行裁剪，将所述UV图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述UV图像对应的所述灰度纹理图。
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
在一个实施例中，优选地，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
在一个实施例中，优选地，所所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和卷积模块，利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块和第一解码模块、第二解码模块和卷积模块对所述UV图像进行处理，得到对应的灰度纹理图；
其中，所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，作为所述第二解码模块的输入，所述第一解码模块和所述第二解码模块的输出作为所述卷积模块的输入，所述卷积模块的输出即为所述灰度纹理图；
所述第一编码模块使用第一卷积层对输入的图像进行卷积处理，生成16×512×512的第一特征图，所述第一卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一编码模块使用第一全连接层对所述第一卷积层生成的第一特征图进行全连接处理，生成32×512×512的第二特征图，所述第一全连接层的稠密块个数为1，生长率为16；
所述第二编码模块使用过渡层对所述第一全连接层生成的第二特征图进行过渡处理，生成32×256×256的第三特征图，所述过渡层的过渡核大小为2×2，过渡核步长为2；
所述第二编码模块使用第二全连接层对所述过渡层生成的第三特征图进行全连接处理，生成80×256×256的第四特征图，所述第二全连接层的稠密块个数为3，生长率为16；
所述第一解码模块使用第一卷积层对所述第二特征图进行解码操作，生成第五特征图，所述第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第二解码模块使用第二卷积层对所述第四特征图进行解码操作，生成第六特征图，所述第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述卷积模块使用第三卷积层对两个解码模块生成的总特征图进行解码操作，生成解码特征图，所述第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第四卷积层对所述解码特征图进行解码操作，生成所述灰度纹理图，所述第四卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
在一个实施例中，优选地，所述方法还包括：
根据所述目标图像输出针对所述用户的皮肤诊断建议和/或面膜定制方案。
根据本发明实施例的第二方面，提供一种图像处理装置，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。
根据本发明实施例的第三方面，提供一种图像处理系统，包括：
第二方面所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的UV图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
由于UV图像能很好的反映纹理特征，本发明实施例中，采用UV图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理UV图像，目的是提取面部毛孔油脂堆积特征，得到突出毛孔油脂堆积而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行锐化处理，得到反映用户面部毛孔油脂堆积情况、且符合用户观察习惯的图像，从而帮助用户了解自己面部的毛孔油脂堆积情况。可见，本发明实施例提供的方法可以有效、准确地进行面部毛孔油脂堆积图像特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的图像处理方法流程图。
图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。
图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
图5示出了根据本发明一个实施例的预设卷积神经网络的解码过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了根据本发明一个实施例的图像处理方法流程图。
如图1所示，根据本发明的实施例的图像处理方法，包括：
步骤S101，获取图像采集设备采集的用户面部的UV图像；
步骤S102，利用预设卷积神经网络模型对UV图像进行处理，得到对应的灰度纹理图；
步骤S103，对灰度纹理图进行锐化处理，得到反映用户面部毛孔油脂堆积情况的目标图像；
步骤S104，输出目标图像。
由于UV图像能很好的反映纹理特征，本发明实施例中，采用UV图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理UV图像，目的是提取面部毛孔油脂堆积特征，得到突出毛孔油脂堆积而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行锐化处理，得到反映用户面部毛孔油脂堆积情况、且符合用户观察习惯的图像，从而帮助用户了解自己面部的毛孔油脂堆积情况。可见，本发明实施例提供的方法可以有效、准确地进行面部毛孔油脂堆积图像特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。
图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。
如图2所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S201，针对UV图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；
步骤S202，针对每个通道分量，计算出一个规范因子；
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
步骤S203，根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到UV图像各个像素点对应的各个通道分量的处理后的像素值；
步骤S204，将处理后的像素值作为预设卷积神经网络模型的输入，得到UV图像对应的灰度纹理图。
在该实施例中，为每个通道分量计算一个规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的输入，消除各种光照条件以及色差的影响。
图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
如图3所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S301，对UV图像进行裁剪，将UV图像分成多个区域；
步骤S302，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将原始像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
步骤S303，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到UV图像对应的灰度纹理图。
在该实施例中，将UV图像分成多个区域，如平均划分成九个区域，这样，每个区域的图像分别输入到预设卷积神经网络模型进行处理，得到对应的灰度纹理分区图，再将所有区域得到的灰度纹理分区图进行拼接，得到灰度纹理图，这样，可以加快处理速度，提高处理效率。
图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
如图4所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S401，对UV图像进行裁剪，将UV图像分成多个区域；
步骤S402，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将处理后的像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
步骤S403，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到UV图像对应的灰度纹理图。
在该实施例中，将UV图像分成多个区域，如平均划分成九个区域，并针对每个区域计算出各通道向量对应的规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的数据，消除各种光照条件以及色差的影响。而通过分区域处理和预设卷积神经网络模型得到各区域图像对应的灰度纹理分区图，再拼接得到灰度纹理图，则可以加快处理速度，提高处理效率。
在一个实施例中，优选地，根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
在该实施例中，通过通道分量的规范因子与该通道分量的原始像素值的乘积确定处理后的像素值，这样，可以消除光照和色差的影响。
在一个实施例中，优选地，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和卷积模块，利用预设卷积神经网络模型对UV图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块和第一解码模块、第二解码模块和卷积模块对UV图像进行处理，得到对应的灰度纹理图；
其中，如表1和图5所示，第一编码模块Stage 0的输出，一方面作为第二编码模块Stage 1的输入，另一方面作为第一解码模块D1的输入，第二编码模块Stage 1的输出，作为第二解码模块D2的输入，第一解码模块D1和第二解码模块D2的输出作为卷积模块D3的输入，卷积模块D3的输出即为灰度纹理图；
表1
第一编码模块Stage 0使用第一卷积层对输入的图像进行卷积处理，生成16×512×512的第一特征图，第一卷积层的卷积核大小为3×3，卷积核步长为1；
第一编码模块Stage 0使用第一全连接层对第一卷积层生成的第一特征图进行全连接处理，生成32×512×512的第二特征图，第一全连接层的稠密块个数为1，生长率为16；
第二编码模块Stage 1使用过渡层对第一全连接层生成的第二特征图进行过渡处理，生成32×256×256的第三特征图，过渡层的过渡核大小为2×2，过渡核步长为2；
第二编码模块Stage 1使用第二全连接层对过渡层生成的第三特征图进行全连接处理，生成80×256×256的第四特征图，第二全连接层的稠密块个数为3，生长率为16；
第一解码模块D1使用第一卷积层对第二特征图进行解码操作，生成第五特征图，第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
第二解码模块D2使用第二卷积层对第四特征图进行解码操作，生成第六特征图，第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
卷积模块D3使用第三卷积层对两个解码模块生成的总特征图进行解码操作，生成解码特征图，第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
卷积模块D3使用第四卷积层对解码特征图进行解码操作，生成灰度纹理图，第四卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
在一个实施例中，优选地，方法还包括：
根据目标图像输出针对用户的皮肤诊断建议和/或面膜定制方案。
根据本发明实施例的第二方面，提供一种图像处理装置，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在一个或多个存储器中并被配置为由一个或多个处理器执行，一个或多个程序被配置为执行如第一方面或第一方面任一实施例中的方法。
根据本发明实施例的第三方面，提供一种图像处理系统，包括：
第二方面的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的UV图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种图像处理装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
获取图像采集设备采集的用户面部的UV图像；
利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图；
对所述灰度纹理图进行锐化处理，得到反映所述用户面部毛孔油脂堆积情况的目标图像；
输出所述目标图像；
其中，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第一解码模块、第二解码模块和卷积模块，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块和第一解码模块、第二解码模块和卷积模块对所述UV图像进行处理，得到对应的灰度纹理图；
其中，所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，作为所述第二解码模块的输入，所述第一解码模块和所述第二解码模块的输出作为所述卷积模块的输入，所述卷积模块的输出即为所述灰度纹理图；
所述第一编码模块使用第一卷积层对输入的图像进行卷积处理，生成16×512×512的第一特征图，所述第一卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一编码模块使用第一全连接层对所述第一卷积层生成的第一特征图进行全连接处理，生成32×512×512的第二特征图，所述第一全连接层的稠密块个数为1，生长率为16；
所述第二编码模块使用过渡层对所述第一全连接层生成的第二特征图进行过渡处理，生成32×256×256的第三特征图，所述过渡层的过渡核大小为2×2，过渡核步长为2；
所述第二编码模块使用第二全连接层对所述过渡层生成的第三特征图进行全连接处理，生成80×256×256的第四特征图，所述第二全连接层的稠密块个数为3，生长率为16；
所述第一解码模块使用第一卷积层对所述第二特征图进行解码操作，生成第五特征图，所述第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第二解码模块使用第二卷积层对所述第四特征图进行解码操作，生成第六特征图，所述第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述卷积模块使用第三卷积层对两个解码模块生成的总特征图进行解码操作，生成解码特征图，所述第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第四卷积层对所述解码特征图进行解码操作，生成所述灰度纹理图，所述第四卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
2.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
针对所述UV图像，分别提取其各个像素点对应的R通道分量、G通道分量和B通道分量的原始像素值；
针对每个通道分量，计算出一个规范因子，其中，针对每个通道分量，计算出一个规范因子，包括如下步骤：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述UV图像各个像素点对应的各个通道分量的处理后的像素值；
将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述UV图像对应的灰度纹理图。
3.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
对所述UV图像进行裁剪，将所述UV图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述UV图像对应的灰度纹理图。
4.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述UV图像进行处理，得到对应的灰度纹理图，包括：
对所述UV图像进行裁剪，将所述UV图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述UV图像对应的所述灰度纹理图。
5.根据权利要求4所述的图像处理方法，其特征在于，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
6.根据权利要求2或4所述的图像处理方法，其特征在于，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
根据所述目标图像输出针对所述用户的皮肤诊断建议和/或面膜定制方案。
8.一种图像处理装置，其特征在于，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为执行权利要求1至7任一项所述的方法。
9.一种图像处理系统，其特征在于，包括：
如权利要求8所述的图像处理装置，用于发送图像采集命令至图像采集设备，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的UV图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826380.7A CN110570479B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826380.7A CN110570479B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110570479A CN110570479A (zh) | 2019-12-13 |
| CN110570479B true CN110570479B (zh) | 2022-03-18 |
Family
ID=68777482
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910826380.7A Active CN110570479B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110570479B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107403166A (zh) * | 2017-08-02 | 2017-11-28 | 广东工业大学 | 一种提取人脸图像毛孔特征的方法与装置 |
| CN107679507A (zh) * | 2017-10-17 | 2018-02-09 | 北京大学第三医院 | 面部毛孔检测系统及方法 |
| CN108629338A (zh) * | 2018-06-14 | 2018-10-09 | 五邑大学 | 一种基于lbp和卷积神经网络的人脸美丽预测方法 |
| CN108701323A (zh) * | 2016-03-21 | 2018-10-23 | 宝洁公司 | 用于提供定制的产品推荐的系统和方法 |
| CN109063598A (zh) * | 2018-07-13 | 2018-12-21 | 北京科莱普云技术有限公司 | 人脸毛孔检测方法、装置、计算机设备和存储介质 |
| CN109730637A (zh) * | 2018-12-29 | 2019-05-10 | 中国科学院半导体研究所 | 一种人脸面部图像定量分析系统及方法 |
| CN109948551A (zh) * | 2019-03-20 | 2019-06-28 | 合肥黎曼信息科技有限公司 | 一种皮肤黑头检测的有序分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460214B2 (en) * | 2017-10-31 | 2019-10-29 | Adobe Inc. | Deep salient content neural networks for efficient digital object segmentation |
-
2019
- 2019-09-03 CN CN201910826380.7A patent/CN110570479B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108701323A (zh) * | 2016-03-21 | 2018-10-23 | 宝洁公司 | 用于提供定制的产品推荐的系统和方法 |
| CN107403166A (zh) * | 2017-08-02 | 2017-11-28 | 广东工业大学 | 一种提取人脸图像毛孔特征的方法与装置 |
| CN107679507A (zh) * | 2017-10-17 | 2018-02-09 | 北京大学第三医院 | 面部毛孔检测系统及方法 |
| CN108629338A (zh) * | 2018-06-14 | 2018-10-09 | 五邑大学 | 一种基于lbp和卷积神经网络的人脸美丽预测方法 |
| CN109063598A (zh) * | 2018-07-13 | 2018-12-21 | 北京科莱普云技术有限公司 | 人脸毛孔检测方法、装置、计算机设备和存储介质 |
| CN109730637A (zh) * | 2018-12-29 | 2019-05-10 | 中国科学院半导体研究所 | 一种人脸面部图像定量分析系统及方法 |
| CN109948551A (zh) * | 2019-03-20 | 2019-06-28 | 合肥黎曼信息科技有限公司 | 一种皮肤黑头检测的有序分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110570479A (zh) | 2019-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679507B (zh) | 面部毛孔检测系统及方法 | |
| CN110148121B (zh) | 一种皮肤图像处理方法、装置、电子设备及介质 | |
| US20220051025A1 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| CN111369576B (zh) | 图像分割模型的训练方法、图像分割方法、装置及设备 | |
| CN107977969B (zh) | 一种内窥镜荧光图像的分割方法、装置及存储介质 | |
| CN108615236A (zh) | 一种图像处理方法及电子设备 | |
| CN110148085A (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
| CN112017185B (zh) | 病灶分割方法、装置及存储介质 | |
| CN114445670B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
| CN104881683A (zh) | 基于组合分类器的白内障眼底图像分类方法及分类装置 | |
| CN110633662B (zh) | 一种图像处理方法、装置及系统 | |
| CN109498037B (zh) | 基于深度学习提取特征和多重降维算法的脑认知测量方法 | |
| CN109698017B (zh) | 医疗病历数据生成方法及装置 | |
| CN110619598B (zh) | 一种图像处理方法、装置及系统 | |
| CN109241930B (zh) | 用于处理眉部图像的方法和装置 | |
| RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
| CN103169451B (zh) | 一种疾病诊断方法、装置及机顶盒 | |
| Hsu | A customer-oriented skin detection and care system in telemedicine applications | |
| Brown et al. | Efficient dataflow modeling of peripheral encoding in the human visual system | |
| CN110570479B (zh) | 一种图像处理方法、装置及系统 | |
| CN117422871A (zh) | 一种基于V-Net的轻量级脑肿瘤分割方法及系统 | |
| CN110020597B (zh) | 一种用于头晕/眩晕辅诊的眼部视频处理方法及系统 | |
| CN113763315B (zh) | 玻片图像的信息获取方法、装置、设备及介质 | |
| Jeyakumar et al. | A Survey on Computer-Aided Intelligent Methods to Identify and Classify Skin Cancer | |
| Khan et al. | ESDMR-Net: A lightweight network with expand-squeeze and dual multiscale residual connections for medical image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |