CN110619598B - 一种图像处理方法、装置及系统 - Google Patents
一种图像处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110619598B CN110619598B CN201910826440.5A CN201910826440A CN110619598B CN 110619598 B CN110619598 B CN 110619598B CN 201910826440 A CN201910826440 A CN 201910826440A CN 110619598 B CN110619598 B CN 110619598B
- Authority
- CN
- China
- Prior art keywords
- convolution
- image
- channel component
- processing
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 103
- 239000008280 blood Substances 0.000 claims abstract description 25
- 210000004369 blood Anatomy 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 230000001815 facial effect Effects 0.000 claims abstract description 17
- 238000003062 neural network model Methods 0.000 claims abstract description 15
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 238000011176 pooling Methods 0.000 claims description 36
- 238000013527 convolutional neural network Methods 0.000 claims description 20
- 238000010606 normalization Methods 0.000 claims description 20
- 238000005192 partition Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000011160 research Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法、装置及系统，方法包括：获取图像采集设备采集的用户面部的交叉偏振光图像；利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部红血丝分布情况的目标图像；输出所述目标图像。通过该技术方案，得到反映用户面部红血丝分布情况、且符合用户观察习惯的图像，从而帮助用户了解自己脸部的红血丝分布情况。可见，本发明实施例提供的方法可以有效、准确地进行面部红血丝图像特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。
Description
技术领域
本发明涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置及系统。
背景技术
人脸的肤质好坏是评价一个人美与健康的重要依据。随着时代的进步，人们对自己的容貌愈发重视，皮肤护理成为热点话题。拥有光滑亮洁的皮肤不仅对自己的健康有益，而且能提高自身的整体形象，在人际交往和日常生活中也有着至关重要的作用。由于人工智能的快速发展，自动化、智能化的人脸图像定量分析技术受到了美容院、皮肤研究机构、皮肤医疗机构等的广泛关注。
人脸皮肤评测系统一般包含两大部分：第一部分为多光谱光学成像部分，不仅可以检测已经暴露在肌肤表面的问题，还能够通过定量分析将隐藏在皮肤基底层的问题呈现出来；第二部分为检测与评估分析部分，可以精确、定量地诊断皮肤情况，并提供精确、清楚、易懂的皮肤诊断报告。它的出现使皮肤治疗告别了以往单凭肉眼和医生经验判断的历史，因此，研究、设计、开发一种人脸面部图像皮肤定量分析系统具有重要意义。站在科学研究的角度，它不仅可用于医疗大数据分析研究还可用于皮肤医疗诊断研究；站在实际应用的角度，它可以帮助皮肤科医生全面了解以肉眼无法透视的皮肤深层状况；根据分析结果，针对皮肤特征提出最佳个性治疗解决方案；还可实现全程电脑数控记录，保存电子病历档案，实现跨时期不同检测图片的细致对比分析，对治疗方案的功效做出客观科学的评价。
发明内容
鉴于上述问题，本发明提出了一种图像处理方法和相应的装置及系统，其可以通过预设卷积神经网络模型处理交叉偏振光图像，得到灰度纹理图，再对灰度纹理图进行彩色合成处理，得到可以客观、真实反映用户面部红血丝分布情况的图像，从而帮助用户了解自己面部的红血丝分布情况。
根据本发明实施例的第一方面，提供一种图像处理方法，包括：
获取图像采集设备采集的用户面部的交叉偏振光图像；
利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；
对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部红血丝分布情况的目标图像；
输出所述目标图像。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
针对所述交叉偏振光图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；
针对每个通道分量，计算出一个规范因子；
根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；
将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述交叉偏振光图像对应的灰度纹理图。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。
在一个实施例中，优选地，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
在一个实施例中，优选地，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
在一个实施例中，优选地，所述对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部红血丝分布情况的目标图像，包括：
将所述灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；
根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映所述用户面部红血丝分布情况的目标图像。
在一个实施例中，优选地，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和卷积模块，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和卷积模块对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；
其中，所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，一方面作为所述第三编码模块的输入，另一方面作为所述第二解码模块的输入，所述第三编码模块的输出作为所述第三解码模块的输入，所述第一解码模块、所述第二解码模块和所述第三解码模块的输出作为所述卷积模块的输入，所述卷积模块的输出即为所述灰度纹理图；
所述第一编码模块使用第一卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，所述第一卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一编码模块使用第二卷积层对所述第一卷积层生成的第一特征图进行卷积处理，生成32×512×512的第二特征图，所述第二卷积层的卷积核大小为3×3，卷积核步长为1；
所述第二编码模块使用第一池化层对所述第二卷积层生成的第二特征图进行池化处理，生成32×256×256的第三特征图，所述第一池化层的池化核大小为2×2，池化核步长为2；
所述第二编码模块使用第三卷积层对所述第一池化层生成的第三特征图进行卷积处理，生成64×256×256的第四特征图，所述第三卷积层的卷积核大小为3×3，卷积核步长为1；
所述第二编码模块使用第四卷积层对所述第三卷积层生成的第四特征图进行卷积处理，生成64×256×256的第五特征图，所述第四卷积层的卷积核大小为3×3，卷积核步长为1；
所述第三编码模块使用第二池化层对所述第四卷积层生成的第五特征图进行池化处理，生成64×128×128的第六特征图，所述第二池化层的池化核大小为2×2，池化核步长为2；
所述第三编码模块使用第五卷积层对所述第二池化层生成的第六特征图进行卷积处理，生成128×128×128的第七特征图，所述第五卷积层的卷积核大小为3×3，卷积核步长为1；
所述第三编码模块使用第六卷积层对所述第五卷积层生成的第七特征图进行卷积处理，生成128×128×128的第八特征图，所述第六卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一解码模块使用第一卷积层对所述第二特征图进行解码操作，生成第九特征图，所述第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第二解码模块使用第二卷积层和上采样对所述第五特征图进行解码操作，生成第十特征图，所述第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第三解码模块使用第三卷积层和上采样对所述第八特征图进行解码操作，生成第十一特征图，所述第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第四卷积层对三个解码模块生成的总特征图进行解码操作，生成第一解码特征图，所述第四卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第五卷积层对第一解码特征图进行解码操作，生成所述灰度纹理图，所述第五卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
在一个实施例中，优选地，所述方法还包括：
根据所述目标图像输出针对所述用户的皮肤诊断建议和/或面膜定制方案。
根据本发明实施例的第二方面，提供一种图像处理装置，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。
根据本发明实施例的第三方面，提供一种图像处理系统，包括：
第二方面所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
由于交叉偏振光图像可以有效避免反光造成的面部图像不清晰的问题，本发明实施例中，采用交叉偏振光图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理交叉偏振光图像，目的是提取面部红血丝图像特征，得到突出红血丝图像特征而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行彩色合成处理，得到反映用户面部红血丝分布情况、且符合用户观察习惯的图像，从而帮助用户了解自己脸部的红血丝分布情况。可见，本发明实施例提供的方法可以有效、准确地进行面部红血丝图像特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的图像处理方法流程图。
图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。
图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
图5示出了根据本发明一个实施例的图像处理方法中步骤S103的流程图。
图6示出了根据本发明一个实施例的预设卷积神经网络的解码过程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了根据本发明一个实施例的图像处理方法流程图。
如图1所示，根据本发明的实施例的图像处理方法，包括：
步骤S101，获取图像采集设备采集的用户面部的交叉偏振光图像；
步骤S102，利用预设卷积神经网络模型对交叉偏振光图像进行处理，得到对应的灰度纹理图；
步骤S103，对灰度纹理图进行彩色合成处理，得到反映用户面部红血丝分布情况的目标图像；
步骤S104，输出目标图像。
由于交叉偏振光图像可以有效避免反光造成的面部图像不清晰的问题，本发明实施例中，采用交叉偏振光图像进行处理得到目标图像，提高了图像处理的准确性。另外，通过预设卷积神经网络模型处理交叉偏振光图像，目的是提取面部红血丝图像特征，得到突出红血丝图像特征而弱化其他图像特征的灰度纹理图，再对灰度纹理图进行彩色合成处理，得到反映用户面部红血丝分布情况、且符合用户观察习惯的图像，从而帮助用户了解自己脸部的红血丝分布情况。可见，本发明实施例提供的方法可以有效、准确地进行面部红血丝图像特征的提取，进而得到目标图像，其处理方式具有较高的准确率和较好的效果。
图2示出了根据本发明一个实施例的图像处理方法中步骤S102的流程图。
如图2所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S201，针对交叉偏振光图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；
步骤S202，针对每个通道分量，计算出一个规范因子；
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
步骤S203，根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；
步骤S204，将处理后的像素值作为预设卷积神经网络模型的输入，得到交叉偏振光图像对应的灰度纹理图。
在该实施例中，为每个通道分量计算一个规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的数据，消除各种光照条件以及色差的影响。
图3示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
如图3所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S301，对交叉偏振光图像进行裁剪，将交叉偏振光图像分成多个区域；
步骤S302，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将原始像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
步骤S303，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到交叉偏振光图像对应的灰度纹理图。
在该实施例中，将交叉偏振光图像分成多个区域，如平均划分成九个区域，这样，每个区域的图像分别输入到预设卷积神经网络模型进行处理，得到对应的灰度纹理分区图，再将所有区域得到的灰度纹理分区图进行拼接，得到灰度纹理图，这样，可以加快处理速度，提高处理效率。
图4示出了根据本发明另一个实施例的图像处理方法中步骤S102的流程图。
如图4所示，在一个实施例中，优选地，上述步骤S102包括：
步骤S401，对交叉偏振光图像进行裁剪，将交叉偏振光图像分成多个区域；
步骤S402，针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将处理后的像素值作为预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
在一个实施例中，优选地，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
步骤S403，将各个区域的图像对应的灰度纹理分区图进行拼接，以得到交叉偏振光图像对应的灰度纹理图。
在该实施例中，将交叉偏振光图像分成多个区域，如平均划分成九个区域，并针对每个区域计算出各通道向量对应的规范因子，通过规范因子对通道分量的原始像素值进行处理，之后再输入到预设卷积神经网络模型，这样，可以规范输入预设卷积神经网络模型的数据，消除各种光照条件以及色差的影响。而通过分区域处理和预设卷积神经网络模型得到各区域图像对应的灰度纹理分区图，再拼接得到灰度纹理图，则可以加快处理速度，提高处理效率。
在一个实施例中，优选地，根据每个通道分量对应的规范因子对各个原始像素值进行处理，得到处理后的像素值，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
在该实施例中，通过通道分量的规范因子与该通道分量的原始像素值的乘积确定处理后的像素值，这样，可以消除光照和色差的影响。
图5示出了根据本发明一个实施例的图像处理方法中步骤S103的流程图。
如图5所示，在一个实施例中，优选地，上述步骤S103包括：
步骤S501，将灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；
步骤S502，根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映用户面部红血丝分布情况的目标图像。
在该实施例中，将灰度纹理图的各个像素点的像素值定义为R通道分量，G通道分量和B通道分量中的任一个通道分量的目标像素值，如将灰度纹理图的各个像素点的像素值定义为R通道分量的目标像素值，并通过像素值的线性变化生成G通道分量和B通道分量的目标像素值，进而合成反映用户面部红血丝分布情况的目标图像。
在一个实施例中，优选地，所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和卷积模块，利用预设卷积神经网络模型对交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和卷积模块对交叉偏振光图像进行处理，得到对应的灰度纹理图；
其中，如表1和图6所示，第一编码模块Stage 0的输出，一方面作为第二编码模块Stage 1的输入，另一方面作为第一解码模块D1的输入，第二编码模块Stage 1的输出，一方面作为第三编码模块Stage 2的输入，另一方面作为第二解码模块D2的输入，第三编码模块Stage 2的输出作为第三解码模块D3的输入，第一解码模块D1、第二解码模块D2和第三解码模块D3的输出作为卷积模块D4的输入，卷积模块D4的输出即为灰度纹理图；
表1
第一编码模块Stage 0使用第一卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，第一卷积层的卷积核大小为3×3，卷积核步长为1；
第一编码模块Stage 0使用第二卷积层对第一卷积层生成的第一特征图进行卷积处理，生成32×512×512的第二特征图，第二卷积层的卷积核大小为3×3，卷积核步长为1；
第二编码模块Stage 1使用第一池化层对第二卷积层生成的第二特征图进行池化处理，生成32×256×256的第三特征图，第一池化层的池化核大小为2×2，池化核步长为2；
第二编码模块Stage 1使用第三卷积层对第一池化层生成的第三特征图进行卷积处理，生成64×256×256的第四特征图，第三卷积层的卷积核大小为3×3，卷积核步长为1；
第二编码模块Stage 1使用第四卷积层对第三卷积层生成的第四特征图进行卷积处理，生成64×256×256的第五特征图，第四卷积层的卷积核大小为3×3，卷积核步长为1；
第三编码模块Stage 2使用第二池化层对第四卷积层生成的第五特征图进行池化处理，生成64×128×128的第六特征图，第二池化层的池化核大小为2×2，池化核步长为2；
第三编码模块Stage 2使用第五卷积层对第二池化层生成的第六特征图进行卷积处理，生成128×128×128的第七特征图，第五卷积层的卷积核大小为3×3，卷积核步长为1；
第三编码模块Stage 2使用第六卷积层对第五卷积层生成的第七特征图进行卷积处理，生成128×128×128的第八特征图，第六卷积层的卷积核大小为3×3，卷积核步长为1；
第一解码模块D1使用第一卷积层对第二特征图进行解码操作，生成第九特征图，第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
第二解码模块D2使用第二卷积层和上采样对第五特征图进行解码操作，生成第十特征图，第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
第三解码模块D3使用第三卷积层和上采样对第八特征图进行解码操作，生成第十一特征图，第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
卷积模块D4使用第四卷积层对三个解码模块生成的总特征图进行解码操作，生成第一解码特征图，第四卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；
卷积模块使用第五卷积层对第一解码特征图进行解码操作，生成灰度纹理图，第五卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
根据本发明实施例的第二方面，提供一种图像处理装置，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被配置为执行如第一方面或第一方面任一实施例中所述的方法。
根据本发明实施例的第三方面，提供一种图像处理系统，包括：
第二方面所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集设备，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种图像处理装置和系统进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种图像处理方法，其特征在于，包括：
获取图像采集设备采集的用户面部的交叉偏振光图像；
利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；
对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部红血丝分布情况的目标图像；
输出所述目标图像；
所述预设卷积神经网络模型包括第一编码模块、第二编码模块、第三编码模块、第一解码模块、第二解码模块、第三解码模块和卷积模块，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
利用第一编码模块、第二编码模块、第三编码模块和第一解码模块、第二解码模块、第三解码模块和卷积模块对所述交叉偏振光图像进行处理，得到对应的灰度纹理图；
其中，所述第一编码模块的输出，一方面作为所述第二编码模块的输入，另一方面作为所述第一解码模块的输入，所述第二编码模块的输出，一方面作为所述第三编码模块的输入，另一方面作为所述第二解码模块的输入，所述第三编码模块的输出作为所述第三解码模块的输入，所述第一解码模块、所述第二解码模块和所述第三解码模块的输出作为所述卷积模块的输入，所述卷积模块的输出即为所述灰度纹理图；
所述第一编码模块使用第一卷积层对输入的图像进行卷积处理，生成32×512×512的第一特征图，第一卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一编码模块使用第二卷积层对所述第一卷积层生成的第一特征图进行卷积处理，生成32×512×512的第二特征图，第二卷积层的卷积核大小为3×3，卷积核步长为1；
所述第二编码模块使用第一池化层对所述第二卷积层生成的第二特征图进行池化处理，生成32×256×256的第三特征图，所述第一池化层的池化核大小为2×2，池化核步长为2；
所述第二编码模块使用第三卷积层对所述第一池化层生成的第三特征图进行卷积处理，生成64×256×256的第四特征图，所述第三卷积层的卷积核大小为3×3，卷积核步长为1；
所述第二编码模块使用第四卷积层对所述第三卷积层生成的第四特征图进行卷积处理，生成64×256×256的第五特征图，所述第四卷积层的卷积核大小为3×3，卷积核步长为1；
所述第三编码模块使用第二池化层对所述第四卷积层生成的第五特征图进行池化处理，生成64×128×128的第六特征图，所述第二池化层的池化核大小为2×2，池化核步长为2；
所述第三编码模块使用第五卷积层对所述第二池化层生成的第六特征图进行卷积处理，生成128×128×128的第七特征图，所述第五卷积层的卷积核大小为3×3，卷积核步长为1；
所述第三编码模块使用第六卷积层对所述第五卷积层生成的第七特征图进行卷积处理，生成128×128×128的第八特征图，所述第六卷积层的卷积核大小为3×3，卷积核步长为1；
所述第一解码模块使用第一卷积层对所述第二特征图进行解码操作，生成第九特征图，所述第一卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第二解码模块使用第二卷积层和上采样对所述第五特征图进行解码操作，生成第十特征图，所述第二卷积层的卷积核数量为8个，卷积核大小为1×1，卷积核步长为1；
所述第三解码模块使用第三卷积层和上采样对所述第八特征图进行解码操作，生成第十一特征图，所述第三卷积层的卷积核数量为16个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第四卷积层对三个解码模块生成的总特征图进行解码操作，生成第一解码特征图，所述第四卷积层的卷积核数量为32个，卷积核大小为3×3，卷积核步长为1；
所述卷积模块使用第五卷积层对第一解码特征图进行解码操作，生成所述灰度纹理图，所述第五卷积层的卷积核数量为1个，卷积核大小为3×3，卷积核步长为1。
2.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
针对所述交叉偏振光图像，分别提取其各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；
针对每个通道分量，计算出一个规范因子；
其中，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到所述交叉偏振光图像各个像素点对应的各个通道分量的处理后的像素值；
将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到所述交叉偏振光图像对应的灰度纹理图。
3.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；将所述原始像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图。
4.根据权利要求1所述的图像处理方法，其特征在于，所述利用预设卷积神经网络模型对所述交叉偏振光图像进行处理，得到对应的灰度纹理图，包括：
对所述交叉偏振光图像进行裁剪，将所述交叉偏振光图像分成多个区域；
针对每个区域的图像进行处理，处理过程包括：分别提取各个像素点对应的R通道分量，G通道分量和B通道分量的原始像素值；针对每个通道分量，计算出一个规范因子；根据每个通道分量对应的规范因子对本通道分量的各个像素点的原始像素值进行处理，得到本区域的图像各个像素点对应的各个通道分量的处理后的像素值；将所述处理后的像素值作为所述预设卷积神经网络模型的输入，得到该区域的图像对应的灰度纹理分区图；
将各个区域的图像对应的灰度纹理分区图进行拼接，以得到所述交叉偏振光图像对应的所述灰度纹理图；
其中，针对每个通道分量，计算出一个规范因子，包括：
计算每个通道分量对应的像素值均值；
获取每个通道分量对应的预设均值；
根据每个通道分量对应的像素值均值与预设均值计算出该通道分量对应的规范因子，其中，
5.根据权利要求2或4所述的图像处理方法，其特征在于，所述根据每个通道分量对应的规范因子对各个原始像素值进行处理，包括：
分别利用每个通道分量对应的规范因子与本通道分量的各个像素点的原始像素值相乘。
6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述灰度纹理图进行彩色合成处理，得到反映所述用户面部红血丝分布情况的目标图像，包括：
将所述灰度纹理图的各个像素点的像素值定义为R通道分量、G通道分量和B通道分量中的任一个通道分量的目标像素值，并通过像素值的线性变化生成另外两个通道分量的目标像素值；
根据R通道分量，G通道分量和B通道分量的目标像素值，合成反映所述用户面部红血丝分布情况的目标图像。
7.一种图像处理装置，其特征在于，包括：
一个或多个处理器；
一个或多个存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序被配置为执行权利要求1至6任一项所述的方法。
8.一种图像处理系统，其特征在于，包括：
如权利要求7所述的图像处理装置，用于发送图像采集命令至图像采集装置，以及发送包含面膜定制参数的配置文件至面膜制作装置，所述面膜定制参数根据所述灰度纹理图确定；
所述图像采集装置，与所述图像处理装置连接，根据所述图像处理装置发送的图像采集命令采集用户面部的交叉偏振光图像；
所述面膜制作装置，与所述图像处理装置连接，用于根据所述图像处理装置发送的所述配置文件制作面膜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826440.5A CN110619598B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910826440.5A CN110619598B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619598A CN110619598A (zh) | 2019-12-27 |
| CN110619598B true CN110619598B (zh) | 2023-04-18 |
Family
ID=68922250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910826440.5A Active CN110619598B (zh) | 2019-09-03 | 2019-09-03 | 一种图像处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619598B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260634B (zh) * | 2020-01-17 | 2022-03-15 | 天津工业大学 | 一种面部血流分布提取方法与系统 |
| CN112164017B (zh) * | 2020-09-27 | 2023-11-17 | 中国兵器工业集团第二一四研究所苏州研发中心 | 一种基于深度学习的偏振彩色化方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105581937A (zh) * | 2015-10-10 | 2016-05-18 | 北京工商大学 | 具有美白功效的外用植物组合物、制剂及其制备方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463919A (zh) * | 2015-01-07 | 2015-03-25 | 上海添美信息技术有限公司 | 一种评估皮肤色素的全像素色彩分析方法 |
| CN105518709B (zh) * | 2015-03-26 | 2019-08-09 | 北京旷视科技有限公司 | 用于识别人脸的方法、系统和计算机程序产品 |
| CN105249926A (zh) * | 2015-10-20 | 2016-01-20 | 上海媚测信息科技有限公司 | 一种高清五模式面部皮肤检测系统 |
| KR20200026808A (ko) * | 2017-07-13 | 2020-03-11 | 시쉐이도 아메리카스 코포레이션 | 가상 얼굴 메이크업 제거, 빠른 얼굴 검출, 및 랜드마크 추적 |
| CN108629338B (zh) * | 2018-06-14 | 2021-10-19 | 五邑大学 | 一种基于lbp和卷积神经网络的人脸美丽预测方法 |
| CN108898112A (zh) * | 2018-07-03 | 2018-11-27 | 东北大学 | 一种近红外人脸活体检测方法及系统 |
| CN109008970A (zh) * | 2018-07-19 | 2018-12-18 | 上海试美网络科技有限公司 | 一种带有人工智能的皮肤检测仪 |
| CN109685801B (zh) * | 2018-12-10 | 2021-03-26 | 杭州帝视科技有限公司 | 结合纹理特征和深度神经网络信息的皮肤镜图像处理方法 |
| CN109730637B (zh) * | 2018-12-29 | 2021-04-23 | 中国科学院半导体研究所 | 一种人脸面部图像定量分析系统及方法 |
| CN110169754A (zh) * | 2019-05-20 | 2019-08-27 | 北京舰远科技有限公司大连分公司 | 投放在公共场所的自助皮肤检测系统 |
-
2019
- 2019-09-03 CN CN201910826440.5A patent/CN110619598B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105581937A (zh) * | 2015-10-10 | 2016-05-18 | 北京工商大学 | 具有美白功效的外用植物组合物、制剂及其制备方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619598A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887311B2 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| Kurvers et al. | Boosting medical diagnostics by pooling independent judgments | |
| MacEvoy et al. | Constructing scenes from objects in human occipitotemporal cortex | |
| CN114502061A (zh) | 使用深度学习的基于图像的自动皮肤诊断 | |
| CN108615236A (zh) | 一种图像处理方法及电子设备 | |
| CN109147890A (zh) | 一种医学报告的生成方法及设备 | |
| EP2545531B1 (en) | System for skin treatment analysis using spectral image data to generate 3d rgb model | |
| EP2987106A1 (en) | Physiologic data acquisition and analysis | |
| CN110175998A (zh) | 基于多尺度深度学习的乳腺癌图像识别方法、装置及介质 | |
| CN110619598B (zh) | 一种图像处理方法、装置及系统 | |
| CN110633662B (zh) | 一种图像处理方法、装置及系统 | |
| CN108694736A (zh) | 图像处理方法、装置、服务器及计算机存储介质 | |
| CN112971718A (zh) | 证候识别方法、装置、电子设备及存储介质 | |
| Hsu | A customer-oriented skin detection and care system in telemedicine applications | |
| RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
| An et al. | EIEN: endoscopic image enhancement network based on retinex theory | |
| Khan et al. | ESDMR-Net: A lightweight network with expand-squeeze and dual multiscale residual connections for medical image segmentation | |
| CN110570479B (zh) | 一种图像处理方法、装置及系统 | |
| KR20230054286A (ko) | 딥 러닝을 이용한 이미지 분석 기반의 피부 진단 시스템 및 방법 | |
| CN113763315B (zh) | 玻片图像的信息获取方法、装置、设备及介质 | |
| Gao et al. | Turner syndrome prognosis with facial features extraction and selection schemes | |
| KR20210154291A (ko) | 판옵틱 세그멘테이션 기술을 이용한 두피 관리 시스템 | |
| CN110600108A (zh) | 一种胶囊内镜的冗余图像处理方法 | |
| JP7520679B2 (ja) | いきいきとした顔の度合い推定方法、いきいきとした顔の度合い推定装置、及びいきいきとした顔の度合い推定プログラム | |
| Sendjasni et al. | Attention-Aware Patch-Based CNN for Blind 360-Degree Image Quality Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |