CN115631176A - 艺术设计教学系统及其方法 - Google Patents
艺术设计教学系统及其方法 Download PDFInfo
- Publication number
- CN115631176A CN115631176A CN202211361704.2A CN202211361704A CN115631176A CN 115631176 A CN115631176 A CN 115631176A CN 202211361704 A CN202211361704 A CN 202211361704A CN 115631176 A CN115631176 A CN 115631176A
- Authority
- CN
- China
- Prior art keywords
- image
- projected
- feature map
- encoder
- characteristic diagram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000013461 design Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims description 98
- 238000010586 diagram Methods 0.000 claims description 75
- 230000009467 reduction Effects 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 26
- 108010015046 cell aggregation factors Proteins 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 2
- 238000009826 distribution Methods 0.000 abstract description 9
- 238000003062 neural network model Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 15
- 238000003860 storage Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及艺术设计领域,其具体地公开了一种艺术设计教学系统及其方法,其通过采用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,并以两者源域的差分图像来表示两者在高维特征空间中的特征分布差异,将所述差分特征图通过分类器来作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据,以确保其图像质量满足投影要求。
Description
技术领域
本申请涉及艺术设计领域,且更为具体地,涉及一种艺术设计教学系统及其方法。
背景技术
艺术设计是一门独立的艺术学科,艺术设计是专业名词,主要包含:环境设计专业方向、平面设计专业方向、视觉传达专业方向,产品设计专业方向,等等方向。艺术设计,实际上是设计者自身综合素质(如表现能力、感知能力、想象能力)的体现。
在艺术设计教学过程中,常常需要使用相应的教学设备,在教学过程中,教师将教学电脑通过控制器与显示器相连,将教学内容输入到显示器内,使显示器显示教学内容,使更多的学生能看到、看清教学内容,从而教学质量和教学效果。但是,在教学者制造教学内容的过程中,其没有关注教学内容中待投影数据(尤其是图像)的投影清晰度要求,导致在教学过程中可能出现投影模糊的投影数据,影响教学效果。
因此,期待一种艺术设计教学系统,其能够对待投影的图像进行质量分析以确保其图像质量满足投影要求。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种艺术设计教学系统及其方法,其通过采用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,并以两者源域的差分图像来表示两者在高维特征空间中的特征分布差异,将所述差分特征图通过分类器来作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据,以确保其图像质量满足投影要求。
根据本申请的一个方面,提供了一种艺术设计教学系统,其包括:待投影图像采集模块,用于获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;降噪模块,用于将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;孪生检测模块,用于将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;数据流形校正模块,用于分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;差分模块,用于计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及评估结果生成模块,用于将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
在上述艺术设计教学系统中,所述降噪模块,包括:图像特征提取单元,用于使用所述自动编码器的编码器从所述待投影图像中提取待投影图像特征,其中,所述自动编码器的编码器为卷积层;以及,图像特征解码单元,用于使用所述自动编码器的解码器对所述待投影图像进行解码以得到所述降噪后待投影图像,其中,所述自动编码器的解码器为反卷积层。
在上述艺术设计教学系统中,所述降噪生成器的编码器为卷积层,所述降噪生成器的解码器为反卷积层。
在上述艺术设计教学系统中,所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。
在上述艺术设计教学系统中,所述孪生检测模块,包括:待投影图像编码单元,用于使用所述第一图像编码器对所述降噪后待投影图像进行深度卷积编码以得到所述检测特征图;以及,参考图像编码单元,用于使用所述第二图像编码器对所述参考图像进行深度卷积编码以得到所述参考特征图。
在上述艺术设计教学系统中,所述数据流形校正模块,包括:第一校正因子生成单元,用于以如下公式计算所述检测特征图的类小波函数族能量聚合因数;其中,所述公式为:
其中w1是所述检测特征图的类小波函数族能量聚合因数,是所述检测特征图的第(i,j,k)位置的特征值,且W、H和C是所述检测特征图的宽度、高度和通道数,log表示以2为底的对数;以及,第一校正因子作用单元,用于以所述检测特征图的类小波函数族能量聚合因数作为权重对所述检测特征图进行加权以得到所述校正后检测特征图。
在上述艺术设计教学系统中,所述数据流形校正模块,包括:第二校正因子生成单元,用于以如下公式计算所述参考特征图的类小波函数族能量聚合因数;其中,所述公式为:
其中w2是所述参考特征图的类小波函数族能量聚合因数,是所述参考特征图的第(i,j,k)位置的特征值,且W、H和C是所述参考特征图的宽度、高度和通道数,log表示以2为底的对数;以及,第二校正因子作用单元,用于以所述参考特征图的类小波函数族能量聚合因数作为权重对所述参考特征图进行加权以得到所述校正后参考特征图。
在上述艺术设计教学系统中,所述差分模块,进一步用于:以如下公式计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;
其中,所述公式为:
在上述艺术设计教学系统中,所述评估结果生成模块,包括:展开单元,用于将所述差分特征图基于行向量或列向量展开为分类特征向量;全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类结果生成单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一方面,提供了一种艺术设计教学方法,其包括:获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
根据本申请的再一方面,提供了一种电子设备,包括:处理器;以及,存储器,在所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的艺术设计教学方法。
根据本申请的又一方面,提供了一种计算机可读介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的艺术设计教学方法。
与现有技术相比,本申请提供的一种艺术设计教学系统及其方法,其通过采用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,并以两者源域的差分图像来表示两者在高维特征空间中的特征分布差异,将所述差分特征图通过分类器来作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据,以确保其图像质量满足投影要求。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的艺术设计教学系统的框图;
图2为根据本申请实施例的艺术设计教学系统的系统架构图;
图3为根据本申请实施例的艺术设计教学系统中降噪模块的框图;
图4为根据本申请实施例的艺术设计教学系统中孪生检测模块的框图;
图5为根据本申请实施例的艺术设计教学系统中评估结果生成模块的框图;
图6为根据本申请实施例的艺术设计教学方法的流程图;
图7为根据本申请实施例的电子设备的框图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
场景概述
如上所述,在艺术设计教学过程中,常常需要使用相应的教学设备,在教学过程中,教师将教学电脑通过控制器与显示器相连,将教学内容输入到显示器内,使显示器显示教学内容,使更多的学生能看到、看清教学内容,从而教学质量和教学效果。但是,在教学者制造教学内容的过程中,其没有关注教学内容中待投影数据(尤其是图像)的投影清晰度要求,导致在教学过程中可能出现投影模糊的投影数据,影响教学效果。
因此,期待一种艺术设计教学系统,其能够对待投影的图像进行质量分析以确保其图像质量满足投影要求。
相应地,在本申请的技术方案中,首先构造参考图像,所述参考图像的图像质量满足投射清晰度要求;然后,以所述参考图像作为参考标准,将待投影图像与所述参考图像进行对比,并以两者之间的差异作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据。应可以理解,可以以两者源域的差分图像(例如,计算所述待投影图像与所述参考图像之间的按像素位置差分以得到所述差分图像)来表示两者之间的差异,但是,在本申请的技术方案中,在投影过程中,并不需要关注图像内容之间的逐像素差异而只需要关注图像的实质特征(尤其是图像质量特0征)是否满足投影需求即可。
基于此,在本申请的技术方案中,使用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,其中,所述特征提取器在进行训练时采用适当的训练策略以使得所述特征提取器在进行特征提取时聚焦于能够反映图像质量是否满足投影清晰度要求的特征。在进行特征域映射之前,所述艺术设计教学系统,还能够基于自动编解码器的降噪生成器对所述待投影图像进行降噪处理以得到降噪后待投影图像。
在进行降噪后,将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构。在本申请实施例中,所述第一图像编码器和所述第二图像编码器采用深度卷积神经网络模型。
特别地,在本申请的技术方案中,考虑到标准的深度卷积神经网络模型受限于卷积核的尺寸,具有固定的特征感受野,导致其所提取的特征具有相对固定的尺度。为了扩大卷积神经网络模型的感受野,在本申请的技术方案中,将所述卷积神经网络模型的各层改造为混合卷积层,即,所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。
具体地,混合卷积层(mixed convolution layer,MCL)中,此模块的设计包括并联的四个分支,由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成,分别对输入特征图进行操作,将空洞卷积三个分支的扩张率分别设置为2、3、4,通过不同扩张率的设置可获得不同感受域的图像信息,即可得到不同尺度的特征图,在扩大感受野的同时,又避免了下采样损失信息,接着将4个分支特征图进行融合,使得采样更为密集,既拥有了高层特征,也没有增加额外的参数量。
在得到所述检测特征图和参考特征图后,进一步计算所述检测特征图和所述参考特征图之间的差分特征图,以此来表示两者在高维特征空间中的特征分布差异。进而,将所述差分特征图通过分类器就可以得到用于表示待投影图像的图像质量是否满足投影清晰度要求的分类结果。这样,对待投影的图像进行质量分析以确保其图像质量满足投影要求。
特别地,在本申请的技术方案中,将所述待投影图像通过基于自动编解码器的降噪生成器后,可以获得消除噪声信息的降噪后待投影图像,但是相应地,所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型后,会使得所述检测特征图和所述参考特征图具有不同的表达信息量。由此,如果直接计算所述检测特征图和所述参考特征图之间的差分特征图,会影响所述差分特征图的信息表达效果。
因此,对于所述检测特征图,例如记为F1和所述参考特征图,例如记为F2,分别计算其类小波函数族能量聚合因数,表示为:
具体地,本申请的申请人考虑到对于高维流形来说,信息表示倾向于集中在高频分量上,由此信息倾向于分布在流形边缘。这样,类小波函数族作为用于分离特征分布维度上的边缘的可分离变换,通过其可以将高维特征的隐状态转换为频率分量,并以类小波能量的方式表达信息量。将其作为加权系数对所述检测特征图F1和所述参考特征图F2加权,就可以提升所述检测特征图F1和所述参考特征图F2在表达信息量方面的一致程度,这样再计算其差分特征图,就可以提高所述差分特征图在其特征表达空间内的信息聚合程度,以提升所述差分特征图的信息表达效果。
基于此,本申请提出了一种艺术设计教学系统,其包括:待投影图像采集模块,用于获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;降噪模块,用于将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;孪生检测模块,用于将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;数据流形校正模块,用于分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;差分模块,用于计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及,评估结果生成模块,用于将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
在介绍了本申请的基本原理之后,下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1为根据本申请实施例的艺术设计教学系统的框图。如图1所示,根据本申请实施例的艺术设计教学系统300,包括:待投影图像采集模块310;降噪模块320;孪生检测模块330;数据流形校正模块340;差分模块350;以及,评估结果生成模块360。
其中,所述待投影图像采集模块310,用于获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;所述降噪模块320,用于将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;所述孪生检测模块330,用于将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;所述数据流形校正模块340,用于分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;所述差分模块350,用于计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及,所述评估结果生成模块360,用于将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
图2为根据本申请实施例的艺术设计教学系统的系统架构图。如图2所示,在所述艺术设计教学系统300的系统架构中,首先通过所述待投影图像采集模块310获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;接着,所述降噪模块320将所述待投影图像采集模块310获取的待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;所述孪生检测模块330将所述降噪模块320生成的降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;然后,所述数据流形校正模块340分别对所述孪生检测模块330得到的检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;然后,所述差分模块350计算所述数据流形校正模块340得到的校正后检测特征图和所述校正后参考特征图之间的差分特征图;进而,所述评估结果生成模块360将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
具体地,在所述艺术设计教学系统300的运行过程中,所述待投影图像采集模块310,用于获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求。在本申请的技术方案中,以所述参考图像作为参考标准,将待投影图像与所述参考图像进行对比,并以两者之间的差异作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据。因此,首先构造参考图像,所述参考图像的图像质量满足投射清晰度要求;再通过摄像头来获取待投影图像。
具体地,在所述艺术设计教学系统300的运行过程中,所述降噪模块320,用于将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像。应可以理解,在进行特征域映射之前,所述艺术设计教学系统,还能够基于自动编解码器的降噪生成器对所述待投影图像进行降噪处理以得到降噪后待投影图像,更具体地,考虑到所述图像采集的过程中会产生干扰和其他影响。因此,在获取待投影图像后,首先通过基于自动编码器的降噪器对所述待投影图像进行降噪处理以得到降噪后待投影图像。这里,所述基于自动编码器的降噪器包括特征编码器和特征解码器,其中,所述特征编码器用于提取所述降噪后待投影图像中的有效特征,接着以所述特征解码器作为生成器对所述有效特征进行解码回归以得到所述降噪后降噪后待投影图像,其中,所述降噪生成器的编码器为卷积层,所述降噪生成器的解码器为反卷积层。
图3为根据本申请实施例的艺术设计教学系统中降噪模块的框图。如图3所示,所述降噪模块320,包括:图像特征提取单元321,用于使用所述自动编码器的编码器从所述待投影图像中提取待投影图像特征,其中,所述自动编码器的编码器为卷积层;以及,图像特征解码单元322,用于使用所述自动编码器的解码器对所述待投影图像进行解码以得到所述降噪后待投影图像,其中,所述自动编码器的解码器为反卷积层。
具体地,在所述艺术设计教学系统300的运行过程中,所述孪生检测模块330,用于将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构。应可以理解,在进行降噪后,将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构。在本申请实施例中,所述第一图像编码器和所述第二图像编码器采用深度卷积神经网络模型。特别地,在本申请的技术方案中,考虑到标准的深度卷积神经网络模型受限于卷积核的尺寸,具有固定的特征感受野,导致其所提取的特征具有相对固定的尺度。为了扩大卷积神经网络模型的感受野,在本申请的技术方案中,将所述卷积神经网络模型的各层改造为混合卷积层,即,所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。具体地,混合卷积层(mixed convolution layer,MCL)中,此模块的设计包括并联的四个分支,由一个卷积核大小为3×3的普通卷积层以及三个卷积核大小为3×3的空洞卷积层构成,分别对输入特征图进行操作,将空洞卷积三个分支的扩张率分别设置为2、3、4,通过不同扩张率的设置可获得不同感受域的图像信息,即可得到不同尺度的特征图,在扩大感受野的同时,又避免了下采样损失信息,接着将4个分支特征图进行融合,使得采样更为密集,既拥有了高层特征,也没有增加额外的参数量。更具体地,所述将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,包括:将所述降噪后待投影图像和所述参考图像输入所述混合卷积层的第一卷积层以得到第一尺度特征图,其中,所述第一卷积层使用具有第一尺寸的第一卷积核;将所述降噪后待投影图像和所述参考图像输入所述混合卷积层的第二卷积层以得到第二尺度特征图,其中,所述第二卷积层使用具有第一空洞率的第一空洞卷积核;将所述降噪后待投影图像和所述参考图像输入所述混合卷积层的第三卷积层以得到第三尺度特征图,其中,所述第三卷积层使用具有第二空洞率的第二空洞卷积核;将所述降噪后待投影图像和所述参考图像输入所述混合卷积层的第四卷积层以得到第四尺度特征图,其中,所述第四卷积层使用具有第三空洞率的第三空洞卷积核;以及,融合所述第一尺度特征图、所述第二尺度特征图、所述第三尺度特征图和所述第四尺度特征图以得到检测特征图和参考特征图。
图4为根据本申请实施例的艺术设计教学系统中孪生检测模块的框图。如图4所示,所述孪生检测模块330,包括:待投影图像编码单元331,用于使用所述第一图像编码器对所述降噪后待投影图像进行深度卷积编码以得到所述检测特征图;以及,参考图像编码单元332,用于使用所述第二图像编码器对所述参考图像进行深度卷积编码以得到所述参考特征图。
具体地,在所述艺术设计教学系统300的运行过程中,所述数据流形校正模块340,用于分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图。特别地,在本申请的技术方案中,将所述待投影图像通过基于自动编解码器的降噪生成器后,可以获得消除噪声信息的降噪后待投影图像,但是相应地,所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型后,会使得所述检测特征图和所述参考特征图具有不同的表达信息量。由此,如果直接计算所述检测特征图和所述参考特征图之间的差分特征图,会影响所述差分特征图的信息表达效果。
因此,对于所述检测特征图,例如记为F1和所述参考特征图,例如记为F2,分别计算其类小波函数族能量聚合因数,表示为:
具体地,本申请的申请人考虑到对于高维流形来说,信息表示倾向于集中在高频分量上,由此信息倾向于分布在流形边缘。这样,类小波函数族作为用于分离特征分布维度上的边缘的可分离变换,通过其可以将高维特征的隐状态转换为频率分量,并以类小波能量的方式表达信息量。将其作为加权系数对所述检测特征图F1和所述参考特征图F2加权,就可以提升所述检测特征图F1和所述参考特征图F2在表达信息量方面的一致程度,这样再计算其差分特征图,就可以提高所述差分特征图在其特征表达空间内的信息聚合程度,以提升所述差分特征图的信息表达效果。
具体地,在所述艺术设计教学系统300的运行过程中,所述差分模块350,用于计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图。也就是,计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图,以此来表示两者在高维特征空间中的特征分布差异。进而,将所述差分特征图通过分类器就可以得到用于表示待投影图像的图像质量是否满足投影清晰度要求的分类结果。这样,对待投影的图像进行质量分析以确保其图像质量满足投影要求。在本申请的一个具体示例中,以如下公式计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;
其中,所述公式为:
具体地,在所述艺术设计教学系统300的运行过程中,所述评估结果生成模块360,用于将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。在本申请的一个具体示例中,所述将所述差分特征图通过分类器以得到分类结果,其中,所述公式为:
O=softmax{(Wn,Bn):…:(W1,B1)|Project(F)},其中Project(F)表示将所述差分特征图投影为向量,W1至Wn为各层全连接层的权重矩阵,B1至Bn表示各层全连接层的偏置向量。
图5为根据本申请实施例的艺术设计教学系统中评估结果生成模块的框图。如图5所示,所述评估结果生成模块360,包括:展开单元361,用于将所述差分特征图基于行向量或列向量展开为分类特征向量;全连接编码单元362,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类结果生成单元363,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上,根据本申请实施例的艺术设计教学系统300被阐明,其通过采用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,并以两者源域的差分图像来表示两者在高维特征空间中的特征分布差异,将所述差分特征图通过分类器来作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据,以确保其图像质量满足投影要求。
如上所述,根据本申请实施例的艺术设计教学系统可以实现在各种终端设备中。在一个示例中,根据本申请实施例的艺术设计教学系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该艺术设计教学系统300可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该艺术设计教学系统300同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该艺术设计教学系统300与该终端设备也可以是分立的设备,并且该艺术设计教学系统300可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
示例性方法
图6为根据本申请实施例的艺术设计教学方法的流程图。如图6所示,根据本申请实施例的艺术设计教学方法,包括步骤:S110,获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;S120,将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;S130,将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;S140,分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;S150,计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及,S160,将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
在一个示例中,在上述艺术设计教学方法中,所述步骤S120,包括:使用所述自动编码器的编码器从所述待投影图像中提取待投影图像特征,其中,所述自动编码器的编码器为卷积层;以及,使用所述自动编码器的解码器对所述待投影图像进行解码以得到所述降噪后待投影图像,其中,所述自动编码器的解码器为反卷积层。其中,所述降噪生成器的编码器为卷积层,所述降噪生成器的解码器为反卷积层。
在一个示例中,在上述艺术设计教学方法中,所述步骤S130,包括:使用所述第一图像编码器对所述降噪后待投影图像进行深度卷积编码以得到所述检测特征图;以及,使用所述第二图像编码器对所述参考图像进行深度卷积编码以得到所述参考特征图。其中,所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。
在一个示例中,在上述艺术设计教学方法中,所述步骤S140,包括:以如下公式计算所述检测特征图的类小波函数族能量聚合因数;其中,所述公式为:
其中w1是所述检测特征图的类小波函数族能量聚合因数,是所述检测特征图的第(i,j,k)位置的特征值,且W、H和C是所述检测特征图的宽度、高度和通道数,log表示以2为底的对数;以及,以所述检测特征图的类小波函数族能量聚合因数作为权重对所述检测特征图进行加权以得到所述校正后检测特征图。还包括:以如下公式计算所述参考特征图的类小波函数族能量聚合因数;其中,所述公式为:
其中w2是所述参考特征图的类小波函数族能量聚合因数,是所述参考特征图的第(i,j,k)位置的特征值,且W、H和C是所述参考特征图的宽度、高度和通道数,log表示以2为底的对数;以及,以所述参考特征图的类小波函数族能量聚合因数作为权重对所述参考特征图进行加权以得到所述校正后参考特征图。
在一个示例中,在上述艺术设计教学方法中,所述步骤S150,包括:以如下公式计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;
其中,所述公式为:
在一个示例中,在上述艺术设计教学方法中,所述步骤S160,包括:将所述差分特征图基于行向量或列向量展开为分类特征向量;使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上,根据本申请实施例的艺术设计教学方法被阐明,其通过采用基于深度神经网络模型的特征提取器将所述待投影图像和所述参考图像映射到高维特征空间中,并以两者源域的差分图像来表示两者在高维特征空间中的特征分布差异,将所述差分特征图通过分类器来作为判断所述待投影图像的图像质量是否满足投影清晰度要求的依据,以确保其图像质量满足投影要求。
示例性电子设备
下面,参考图7来描述根据本申请实施例的电子设备。
图7图示了根据本申请实施例的电子设备的框图。
如图7所示,电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器11可以运行所述程序指令,以实现上文所述的本申请的各个实施例的艺术设计教学系统中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如降噪后待投影图像等各种内容。
在一个示例中,电子设备10还可以包括:输入装置13和输出装置14,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息,包括分类结果等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然,为了简化,图7中仅示出了该电子设备10中与本申请有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的艺术设计教学方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性系统”部分中描述的根据本申请各种实施例的艺术设计教学方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理,但是,需要指出的是,在本申请中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
还需要指出的是,在本申请的装置、设备和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此,本申请不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种艺术设计教学系统,其特征在于,包括:待投影图像采集模块,用于获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;降噪模块,用于将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;孪生检测模块,用于将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;数据流形校正模块,用于分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;差分模块,用于计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及评估结果生成模块,用于将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
2.根据权利要求1所述的艺术设计教学系统,其特征在于,所述降噪模块,包括:图像特征提取单元,用于使用所述自动编码器的编码器从所述待投影图像中提取待投影图像特征,其中,所述自动编码器的编码器为卷积层;以及图像特征解码单元,用于使用所述自动编码器的解码器对所述待投影图像进行解码以得到所述降噪后待投影图像,其中,所述自动编码器的解码器为反卷积层。
3.根据权利要求2所述的艺术设计教学系统,其特征在于,所述降噪生成器的编码器为卷积层,所述降噪生成器的解码器为反卷积层。
4.根据权利要求3所述的艺术设计教学系统,其特征在于,所述第一图像编码器和所述第二图像编码器为包含多个混合卷积层的深度卷积神经网络模型。
5.根据权利要求4所述的艺术设计教学系统,其特征在于,所述孪生检测模块,包括:待投影图像编码单元,用于使用所述第一图像编码器对所述降噪后待投影图像进行深度卷积编码以得到所述检测特征图;以及参考图像编码单元,用于使用所述第二图像编码器对所述参考图像进行深度卷积编码以得到所述参考特征图。
9.根据权利要求8所述的艺术设计教学系统,其特征在于,所述评估结果生成模块,包括:展开单元,用于将所述差分特征图基于行向量或列向量展开为分类特征向量;全连接编码单元,用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量;以及分类结果生成单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
10.一种艺术设计教学方法,其特征在于,包括:获取待投影图像和参考图像,所述参考图像的图像质量满足投射清晰度要求;将所述待投影图像通过基于自动编解码器的降噪生成器以得到降噪后待投影图像;将所述降噪后待投影图像和所述参考图像通过包含第一图像编码器和第二图像编码器的孪生网络模型以得到检测特征图和参考特征图,所述第一图像编码器和所述第二图像编码器具有相同的网络结构;分别对所述检测特征图和所述参考特征图的高维数据流形进行校正以得到校正后检测特征图和校正后参考特征图;计算所述校正后检测特征图和所述校正后参考特征图之间的差分特征图;以及将所述差分特征图通过分类器以得到分类结果,所述分类结果用于表示待投影图像的图像质量是否满足投影清晰度要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211361704.2A CN115631176A (zh) | 2022-11-02 | 2022-11-02 | 艺术设计教学系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211361704.2A CN115631176A (zh) | 2022-11-02 | 2022-11-02 | 艺术设计教学系统及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115631176A true CN115631176A (zh) | 2023-01-20 |
Family
ID=84909474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211361704.2A Withdrawn CN115631176A (zh) | 2022-11-02 | 2022-11-02 | 艺术设计教学系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115631176A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051506A (zh) * | 2023-01-28 | 2023-05-02 | 东莞市言科新能源有限公司 | 聚合物锂离子电池的智能化生产系统及其方法 |
-
2022
- 2022-11-02 CN CN202211361704.2A patent/CN115631176A/zh not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116051506A (zh) * | 2023-01-28 | 2023-05-02 | 东莞市言科新能源有限公司 | 聚合物锂离子电池的智能化生产系统及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115375691B (zh) | 基于图像的半导体扩散纸源缺陷检测系统及其方法 | |
CN112823379B (zh) | 用于训练机器学习模型的方法和装置、用于视频风格转移的装置 | |
US11514694B2 (en) | Teaching GAN (generative adversarial networks) to generate per-pixel annotation | |
CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
CN112150347B (zh) | 从有限的修改后图像集合中学习的图像修改样式 | |
CN112164008A (zh) | 图像数据增强网络的训练方法及其训练装置、介质和设备 | |
CN115861887A (zh) | 用于黑蒜的菌类检测方法 | |
CN116665086A (zh) | 一种基于学习行为智能分析的教学方法及系统 | |
CN115984745A (zh) | 用于黑蒜发酵的水分控制方法 | |
CN115631176A (zh) | 艺术设计教学系统及其方法 | |
JP2011022864A (ja) | コンピュータ・システムにより実行されるアクセシビリティ・メタデータの作成・拡張・検証を支援する方法 | |
US20220398697A1 (en) | Score-based generative modeling in latent space | |
CN116168243A (zh) | 剃须刀的智能化生产系统及其方法 | |
CN113593598B (zh) | 音频放大器在待机状态下的降噪方法、装置和电子设备 | |
CN117788629A (zh) | 一种具有风格个性化的图像生成方法、装置及存储介质 | |
CN112960213A (zh) | 使用特征概率分布表示的智能包装质量检测方法 | |
CN113409307A (zh) | 基于异质噪声特性的图像去噪方法、设备及介质 | |
CN117593400A (zh) | 图像生成方法、模型训练方法及对应装置 | |
US20220375093A1 (en) | Image processing apparatus and operating method thereof | |
CN115495804A (zh) | 工业设计用辅助系统及其方法 | |
CN116503314A (zh) | 用于门制造的质量检测系统及方法 | |
CN115631497A (zh) | 一种工商管理系统及其方法 | |
CN112346126B (zh) | 低级序断层的识别方法、装置、设备及可读存储介质 | |
Wang et al. | Dynamic context-driven progressive image inpainting with auxiliary generative units | |
CN114091662B (zh) | 一种文本图像生成方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230120 |