CN117456208A - 一种基于显著性检测的双流法素描质量评价方法 - Google Patents

一种基于显著性检测的双流法素描质量评价方法 Download PDF

Info

Publication number
CN117456208A
CN117456208A CN202311472116.0A CN202311472116A CN117456208A CN 117456208 A CN117456208 A CN 117456208A CN 202311472116 A CN202311472116 A CN 202311472116A CN 117456208 A CN117456208 A CN 117456208A
Authority
CN
China
Prior art keywords
sketch
feature
quality evaluation
similarity
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311472116.0A
Other languages
English (en)
Other versions
CN117456208B (zh
Inventor
张超
陈燕洁
叶仕承
林凯欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Xinyu Information Technology Co ltd
Original Assignee
Guangdong Xinyu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Xinyu Information Technology Co ltd filed Critical Guangdong Xinyu Information Technology Co ltd
Priority to CN202311472116.0A priority Critical patent/CN117456208B/zh
Publication of CN117456208A publication Critical patent/CN117456208A/zh
Application granted granted Critical
Publication of CN117456208B publication Critical patent/CN117456208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于显著性检测的双流法素描质量评价方法，属于图像智能评分技术领域，包括以下步骤：素描图像显著性分割：对输入的素描图像采用多尺度级联注意力进行显著性分割；获取基准画：采用基准画应用素描质量评估模型进行学习；特征提取与重构：采用学习之后的素描质量评估模型分别对基准画和试卷画进行特征提取并进行特征重构；提取相似性：通过孪生对比网络将试题素描画和考生试卷画进行域不变相似性对比；获取试卷综合评分：根据素描试卷的特征得分和相似性得分获取学生试卷的综合评分。本发明通过将多维素描特征提取网络和孪生对比网络融合，实现特征提取并进行特征重构以及相似性提取，进而得出考生的试卷评分。

Description

一种基于显著性检测的双流法素描质量评价方法
技术领域
本发明属于图像智能评分技术领域，具体涉及一种基于显著性检测的双流法素描质量评价方法。
背景技术
素描考试从构图、透视、形体比例、黑白关系、空间结构等方面来考核学生的素描功底，由于从素描绘画中考核的内容较多，阅卷老师往往容易忽略某些内容，在成千上万份试卷中很容易“眼花缭乱”，且素描阅卷对于老师来说是一个相当费力的过程。其次，人力阅卷由于个人的主观意识和感知能力的不同，不同的阅卷老师会对同一份试卷给出不同的评分，这会导致评分不公平，影响考生的权益。
因此，如何公正公平地辅助老师进行素描阅卷，同时节省人力、节省时间是当前素描考试自动评分亟需解决的问题。
发明内容
为解决现有技术中存在的上述问题，本发明提供了一种基于显著性检测的双流法素描质量评价方法，通过将多维素描特征提取网络和孪生对比网络融合，实现特征提取并进行特征重构以及相似性提取，进而得出考生的试卷评分。
本发明的目的可以通过以下技术方案实现：
一种基于显著性检测的双流法素描质量评价方法，包括以下步骤：
S1、素描图像显著性分割：首先通过多尺度级联注意力显著性分割方法，对输入的素描图像进行显著性分割，确定素描的精细区域；
S2、获取基准画：在本场考试的试卷画中随机抽取20份考试试卷作为基准画，采用基准画应用素描质量评估模型进行学习；
S3、特征提取与重构：采用学习之后的素描质量评估模型分别对基准画和试卷画从空间结构、形体、比例、明暗、透视以及虚实对比方面进行特征提取并进行特征重构，对基准画从空间、整体、色彩、构图和比例五个方面获取特征得分；
S4、提取相似性：通过孪生对比网络根据自适应域对齐方法将试题素描画和考生试卷画进行域不变相似性对比，进而提取其相似性获得相似性得分；
S5、获取试卷综合评分：根据特征评估和相似性评估得出的素描试卷的特征得分和相似性得分获取学生试卷的综合评分。
进一步地，所述步骤S1中，素描图像显著性分割具体包括以下步骤：
S11、将输入的素描图像作为顶层特征，经过一个1x1卷积层进行降维和特征整合，将顶层特征通过上采样到与下一层特征图相同的尺寸，并与当前层特征图进行融合；
S12、将下一层特征图经过一个1x1卷积层进行降维和特征整合，然后将上一层的特征进行上采样和融合，并与当前层特征图进行融合；
S13、以同样的方法进行逐层融合，直到处理完所有的特征金字塔层；
S14、在最底层特征图的基础上，进行额外的卷积操作和融合操作，以生成最终的多尺度特征图；
S15、生成多尺度特征图后在每层特征图进行双注意力卷积进行细节融合，网络经过级联注意力特征提取后，再进行多层反卷积，进而得到最后的素描图像注意力分割图。
进一步地，所述步骤S1中，特征融合通常采用逐元素相加或串联的方式，实现跨尺度的信息传递。
进一步地，所述步骤S2中，素描质量评估模型的构建过程包括：
收集素描教学过程不同学生的大量素描作品,构建分类数据集，利用深度卷积神经网络在大规模的图像数据集上预训练卷积神经网络模型，提取第六层全连接层的输出作为卷积特征,根据素描作品的构图、形准、质感、以及画面整体黑白灰评价因素,将同一类作品分为优、良、中和差四个等级。
进一步地，所述步骤S3中，特征提取与重构采用双线性深度卷积模型来提取图像特征,同时结合双线性模型进行线性分类时的多项式核化表示,采用Tensor Sketch投影算法将特征降维。
进一步地，所述步骤S3中，双线性深度卷积模型采用VGG-net,输出的双线性卷积特征维度为m*n＝512*512；
VGG-net对图片数据库的每张图片抽取特征，存储于数据库中，对于待检测图片和目标图片，抽取同样大小的特征向量，并进行特征相似度计算。
进一步地，所述步骤S4中，孪生对比网络有两个输入，将两个输入两个神经网络，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示，通过Loss的计算，评价两个输入的相似度。
本发明的有益效果为：
本发明采用小样本学习方法来对网络进行训练，具有广泛的适应性和鲁棒性；采用双线性卷积特征在分类时的多项式核化计算推导，利用Tensor Sketch投影算法，将多项式核计算分别近似投影到低维的特征空间，在保持数据整体信息的情况下，减少存储和计算成本。
本发明以形似匹配的VGG-net图像相似度匹配算法和神似匹配的孪生网络进行相似度融合，更加拟合了试卷临摹在形似的同时又需要神似的实际情况。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1为本发明实施例提供的一种基于显著性检测的双流法素描质量评价方法的流程步骤示意图。
具体实施方式
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。
请参阅图1，一种基于显著性检测的双流法素描质量评价方法，包括以下步骤：
S1、素描图像显著性分割：首先通过多尺度级联注意力显著性分割方法，对输入的素描图像进行显著性分割，确定素描的精细区域；具体包括以下步骤：
S11、将输入的素描图像作为顶层特征，经过一个1x1卷积层进行降维和特征整合，将顶层特征通过上采样(例如双线性插值)操作上采样到与下一层特征图相同的尺寸，并与当前层特征图进行融合；
S12、将下一层特征图经过一个1x1卷积层进行降维和特征整合，然后将上一层的特征进行上采样和融合，并与当前层特征图进行融合；
S13、以同样的方法进行逐层融合，直到处理完所有的特征金字塔层；
S14、在最底层特征图的基础上，进行额外的卷积操作和融合操作，以生成最终的多尺度特征图；
S15、生成多尺度特征图后在每层特征图进行双注意力卷积进行细节融合，网络经过级联注意力特征提取后，再进行多层反卷积，进而得到最后的素描图像注意力分割图。
可理解的是，由于学生在作图的过程中素描主区域的位置不固定，本实施例首先对素描图像进行显著性分割，从而确定素描的精细区域，确定素描图像的精细区域后再对素描区域进行评价。
其中，特征融合通常采用逐元素相加或串联的方式，以实现跨尺度的信息传递。
S2、获取基准画：在本场考试的试卷画中随机抽取20份考试试卷作为基准画，采用基准画应用XYsketchAssessmentNet进行学习。
其中，素描质量评估模型(XYsketchAssessmentNet，XYSA-Net)的构建过程具体为：
在素描作品分类实验中,通过收集素描教学过程不同学生的大量素描作品,构建包含25个类别共2200幅作品的分类数据集，利用深度卷积神经网络(AlexNet)在大规模的图像数据集(ImageNet)上预训练卷积神经网络模型，提取第6层全连接层的输出作为卷积特征,根据素描作品的构图、形准、质感、画面整体黑白灰等评价因素,将同一类作品分为优、良、中和差4个等级,这样作品评价问题就转换为图像细粒度分类问题。
同时,选取用于分类的素描作品中的4类作品为代表,扩展这4类数据集的大小,使每类作品中每个等级包含200个样本。
S3、特征提取与重构：采用学习之后的XYsketchAssessmentNet分别对基准画和试卷画从空间结构、形体、比例、明暗、透视、虚实对比等方面进行特征提取并进行特征重构，对基准画从空间、整体、色彩、构图和比例5个方面获取特征得分。
具体的，采用双线性模型来提取图像特征用于素描作品评价,同时结合双线性模型进行线性分类时的多项式核化表示,采用Tensor Sketch投影算法将特征降维。
具体的，采用线性监督学习算法(Support Vector Machine，SVM)对双线性卷积模型内在特性进行对比分析发现,双线性深度卷积模型结合Tensor Sketch降维度后仍能够得到较好的素描作品评价效果。
其中，卷积模型采用的是VGG-net,输出的双线性卷积特征维度为m*n＝512*512。由于试卷临摹需要进行临摹相似度评判，在形似的同时又需要神似，所以该网络以这个理念为出发点，以形似匹配的VGG-net图像相似度匹配算法和神似匹配的孪生网络进行相似度融合。
需说明的是，VGG-net对图片数据库的每张图片抽取特征(一般形式为特征向量)，存储于数据库中，对于待检测图片和目标图片，抽取同样大小的特征向量，并进行特征相似度计算即计算其余弦距离。
S4、提取相似性：通过孪生对比网络根据自适应域对齐方法将试题素描画和考生试卷画进行域不变相似性对比，进而提取其相似性获得相似性得分。
孪生对比网络有两个输入(Input1 and Input2),将两个输入feed进入两个神经网络(Network1 and Network2)，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示。通过Loss的计算，评价两个输入的相似度。
S5、获取试卷综合评分：根据特征评估和相似性评估得出的素描试卷的特征得分和相似性得分获取学生试卷的综合评分。
本发明的有益效果：
本发明采用小样本学习方法来对网络进行训练，具有广泛的适应性和鲁棒性；采用双线性卷积特征在分类时的多项式核化计算推导，利用Tensor Sketch投影算法，将多项式核计算分别近似投影到低维的特征空间，在保持数据整体信息的情况下，减少存储和计算成本。
本发明以形似匹配的VGG-net图像相似度匹配算法和神似匹配的孪生网络进行相似度融合，更加拟合了试卷临摹在形似的同时又需要神似的实际情况。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (7)

1.一种基于显著性检测的双流法素描质量评价方法，其特征在于：包括以下步骤：
S1、素描图像显著性分割：首先通过多尺度级联注意力显著性分割方法，对输入的素描图像进行显著性分割，确定素描的精细区域；
S2、获取基准画：在本场考试的试卷画中随机抽取20份考试试卷作为基准画，采用基准画应用素描质量评估模型进行学习；
S3、特征提取与重构：采用学习之后的素描质量评估模型分别对基准画和试卷画从空间结构、形体、比例、明暗、透视以及虚实对比方面进行特征提取并进行特征重构，对基准画从空间、整体、色彩、构图和比例五个方面获取特征得分；
S4、提取相似性：通过孪生对比网络根据自适应域对齐方法将试题素描画和考生试卷画进行域不变相似性对比，进而提取其相似性获得相似性得分；
S5、获取试卷综合评分：根据特征评估和相似性评估得出的素描试卷的特征得分和相似性得分获取学生试卷的综合评分。
2.根据权利要求1所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S1中，素描图像显著性分割具体包括以下步骤：
S11、将输入的素描图像作为顶层特征，经过一个1x1卷积层进行降维和特征整合，将顶层特征通过上采样到与下一层特征图相同的尺寸，并与当前层特征图进行融合；
S12、将下一层特征图经过一个1x1卷积层进行降维和特征整合，然后将上一层的特征进行上采样和融合，并与当前层特征图进行融合；
S13、以同样的方法进行逐层融合，直到处理完所有的特征金字塔层；
S14、在最底层特征图的基础上，进行额外的卷积操作和融合操作，以生成最终的多尺度特征图；
S15、生成多尺度特征图后在每层特征图进行双注意力卷积进行细节融合，网络经过级联注意力特征提取后，再进行多层反卷积，进而得到最后的素描图像注意力分割图。
3.根据权利要求2所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S1中，特征融合通常采用逐元素相加或串联的方式，实现跨尺度的信息传递。
4.根据权利要求1所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S2中，素描质量评估模型的构建过程包括：
收集素描教学过程不同学生的大量素描作品,构建分类数据集，利用深度卷积神经网络在大规模的图像数据集上预训练卷积神经网络模型，提取第六层全连接层的输出作为卷积特征,根据素描作品的构图、形准、质感、以及画面整体黑白灰评价因素,将同一类作品分为优、良、中和差四个等级。
5.根据权利要求1所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S3中，特征提取与重构采用双线性深度卷积模型来提取图像特征,同时结合双线性模型进行线性分类时的多项式核化表示,采用Tensor Sketch投影算法将特征降维。
6.根据权利要求5所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S3中，双线性深度卷积模型采用VGG-net,输出的双线性卷积特征维度为m*n＝512*512；
VGG-net对图片数据库的每张图片抽取特征，存储于数据库中，对于待检测图片和目标图片，抽取同样大小的特征向量，并进行特征相似度计算。
7.根据权利要求1所述的一种基于显著性检测的双流法素描质量评价方法，其特征在于：所述步骤S4中，孪生对比网络有两个输入，将两个输入两个神经网络，这两个神经网络分别将输入映射到新的空间，形成输入在新的空间中的表示，通过Loss的计算，评价两个输入的相似度。
CN202311472116.0A 2023-11-07 2023-11-07 一种基于显著性检测的双流法素描质量评价方法 Active CN117456208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311472116.0A CN117456208B (zh) 2023-11-07 2023-11-07 一种基于显著性检测的双流法素描质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311472116.0A CN117456208B (zh) 2023-11-07 2023-11-07 一种基于显著性检测的双流法素描质量评价方法

Publications (2)

Publication Number Publication Date
CN117456208A true CN117456208A (zh) 2024-01-26
CN117456208B CN117456208B (zh) 2024-06-25

Family

ID=89596396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311472116.0A Active CN117456208B (zh) 2023-11-07 2023-11-07 一种基于显著性检测的双流法素描质量评价方法

Country Status (1)

Country Link
CN (1) CN117456208B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286798A1 (en) * 2016-03-31 2017-10-05 Ningbo University Objective assessment method for color image quality based on online manifold learning
CN110188600A (zh) * 2019-04-15 2019-08-30 广东智媒云图科技股份有限公司 一种绘画评价方法、系统及存储介质
CN110675311A (zh) * 2019-09-12 2020-01-10 厦门理工学院 一种素描序约束下的素描生成的方法、装置及存储介质
CN113592812A (zh) * 2021-07-29 2021-11-02 华南师范大学 一种素描图片评价方法及装置
CN114863125A (zh) * 2022-05-30 2022-08-05 江苏美育之星科技有限公司 一种书法/美术作品智能评分方法及系统
CN116778182A (zh) * 2023-07-03 2023-09-19 华南师范大学 一种基于多尺度特征融合的素描作品评级方法及模型
CN116935057A (zh) * 2023-06-06 2023-10-24 浙江大华技术股份有限公司 目标评价方法、电子设备和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170286798A1 (en) * 2016-03-31 2017-10-05 Ningbo University Objective assessment method for color image quality based on online manifold learning
CN110188600A (zh) * 2019-04-15 2019-08-30 广东智媒云图科技股份有限公司 一种绘画评价方法、系统及存储介质
CN110675311A (zh) * 2019-09-12 2020-01-10 厦门理工学院 一种素描序约束下的素描生成的方法、装置及存储介质
CN113592812A (zh) * 2021-07-29 2021-11-02 华南师范大学 一种素描图片评价方法及装置
CN114863125A (zh) * 2022-05-30 2022-08-05 江苏美育之星科技有限公司 一种书法/美术作品智能评分方法及系统
CN116935057A (zh) * 2023-06-06 2023-10-24 浙江大华技术股份有限公司 目标评价方法、电子设备和计算机可读存储介质
CN116778182A (zh) * 2023-07-03 2023-09-19 华南师范大学 一种基于多尺度特征融合的素描作品评级方法及模型

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李超等: "深度卷积特征在素描作品分类与评价中的应用", 《计算机辅助设计与图形学学报》, 31 October 2017 (2017-10-31), pages 1898 - 1904 *
杨秀芹;张华熊;: "双核压缩激活神经网络艺术图像分类", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16) *
钱文华;徐丹;徐瑾;何磊;韩镇阳;: "基于信息熵的风格绘画分类研究", 图学学报, no. 06, 15 December 2019 (2019-12-15) *

Also Published As

Publication number Publication date
CN117456208B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
CN108629338B (zh) 一种基于lbp和卷积神经网络的人脸美丽预测方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN110837947B (zh) 一种基于音视频分析技术的教师授课专注度的评估方法
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN113837366A (zh) 一种多风格字体生成方法
CN111832573A (zh) 一种基于类激活映射和视觉显著性的图像情感分类方法
CN112686258A (zh) 体检报告信息结构化方法、装置、可读存储介质和终端
CN110211127A (zh) 基于双相关性网络的图像分割方法
CN116597438A (zh) 一种基于Yolov5的改进型水果识别方法及识别系统
CN115205626A (zh) 一种应用于涂层缺陷检测领域的数据增强方法
CN116403262A (zh) 一种基于机器视觉的在线学习专注度监测方法、系统及介质
Kumar et al. Syn2real: Forgery classification via unsupervised domain adaptation
CN113468954B (zh) 基于多通道下局部区域特征的人脸伪造检测方法
KR20230147130A (ko) 이미지 세그먼트화 및 이미지 분석을 사용하여 수집물의 이미지를 등급화하기 위한 방법들 및 장치
Mohiuddin et al. A feature fusion based deep learning model for deepfake video detection
CN117746018A (zh) 面向平面扫描图像的用户定制化意图理解方法及系统
CN117557860A (zh) 基于YOLOv8的货运列车异物检测方法及系统
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN117456208B (zh) 一种基于显著性检测的双流法素描质量评价方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
Abraham Digital image forgery detection approaches: A review and analysis
CN115641344A (zh) 一种眼底图像中视盘图像的分割方法
CN109635874A (zh) 一种特征字典映射的图像盲评价方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant