CN117315438A - 基于兴趣点的图像色彩美学评估方法、装置及设备 - Google Patents

基于兴趣点的图像色彩美学评估方法、装置及设备 Download PDF

Info

Publication number
CN117315438A
CN117315438A CN202311247594.1A CN202311247594A CN117315438A CN 117315438 A CN117315438 A CN 117315438A CN 202311247594 A CN202311247594 A CN 202311247594A CN 117315438 A CN117315438 A CN 117315438A
Authority
CN
China
Prior art keywords
image
target
data
interest
evaluation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311247594.1A
Other languages
English (en)
Other versions
CN117315438B (zh
Inventor
明安龙
何帅
肖毅
马华东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202311247594.1A priority Critical patent/CN117315438B/zh
Publication of CN117315438A publication Critical patent/CN117315438A/zh
Application granted granted Critical
Publication of CN117315438B publication Critical patent/CN117315438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种基于兴趣点的图像色彩美学评估方法、装置及设备，属于图像处理技术领域。该方法包括：将原图像色彩美学评估数据集划分为训练集和测试集；将训练集进行数据预处理，得到目标训练集，并将测试集进行数据预处理，得到目标测试集；构建基于兴趣点分配的图像色彩美学评估模型；根据目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，根据目标测试集对初级评估模型进行参数调整处理，得到目标评估模型；得到待处理图像色彩美学数据；将待处理图像色彩美学数据输入目标评估模型，得到图像色彩美学评估结果。本申请能提高图像色彩美学评估结果的准确性和处理效率。

Description

基于兴趣点的图像色彩美学评估方法、装置及设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于兴趣点的图像色彩美学评估方法、装置及设备。
背景技术
随着数字摄影技术的迅速发展，ICAA(Image Color Aesthetics Assessment，图像色彩美学评估)作为IAA(Image Aesthetics Assessment，图像美学评估)的一个重要分支，已逐渐成为自动评估图像是否符合用户审美偏好的重要标准之一，对制造商进行拍摄设备如智能手机或相机的性能评估的基本手段。
目前，现有技术中，ICAA方法主要依赖于颜色直方图或颜色环等客观规则，基于图像像素的统计量化信息，定性分析得到待处理图像的图像色彩美学评估结果。
然而，发明人发现，现有技术中的ICAA方法仍然存在准确性差且处理效率低的缺点。
发明内容
本申请提供一种基于兴趣点的图像色彩美学评估方法、装置及设备，能提高图像色彩美学评估结果的准确性和处理效率。
第一方面，本申请提供一种基于兴趣点的图像色彩美学评估方法，包括：
获取原图像色彩美学评估数据集，并将所述原图像色彩美学评估数据集划分为训练集和测试集；
将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集；
根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型；
根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型；
获取待处理图像，并将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据；
将所述待处理图像色彩美学数据输入所述目标评估模型，得到图像色彩美学评估结果。
在一种可能的实现方式中，所述训练集和测试集均为存有图像文件名以及与对应的图像文件名标注信息的数据存储文件，相应地，所述将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集，包括：将所述训练集中的数据存储文件转换为数据框格式训练集，并将所述测试集中的数据存储文件转换为数据框格式测试集；将所述数据框格式训练集进行尺寸缩放处理，得到固定尺寸训练集，并将所述数据框格式测试集进行尺寸缩放处理，得到固定尺寸测试集；将所述固定尺寸训练集进行数据增强处理，得到目标训练集，并将所述固定尺寸测试集进行数据增强处理，得到目标测试集。
在一种可能的实现方式中，所述固定尺寸训练集和所述固定尺寸测试集中均包括多个图像；相应地，所述将所述固定尺寸训练集进行数据增强处理，得到目标训练集，并将所述固定尺寸测试集进行数据增强处理，得到目标测试集，包括：将所述固定尺寸训练集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标训练集；将所述固定尺寸测试集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标测试集。
在一种可能的实现方式中，所述预设网络结构包括局部注意力模块、基于兴趣点分配的注意力模块和色彩空间划分模块；相应地，所述根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型，包括：将局部注意力模块和基于兴趣点分配的注意力模块进行融合，得到中间模型；将色彩空间划分模块与所述中间模型进行结合处理，构建基于兴趣点分配的图像色彩美学评估模型。
在一种可能的实现方式中，所述基于兴趣点分配的图像色彩美学评估模型包括局部注意力模块、基于兴趣点分配的注意力模块和色彩空间划分模块；相应地，所述根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，包括：将所述目标训练集依次输入局部注意力模块和基于兴趣点分配的注意力模块，得到查询向量、键向量、数值向量和初始兴趣点；在所述基于兴趣点分配的注意力模块中根据所述查询向量、键向量、数值向量和初始兴趣点，确定兴趣点偏移量数据和输出特征图；将所述兴趣点偏移量和输出特征图输入兴趣点中间处理模块，得到调整并经过筛选的中间兴趣点；对所述中间兴趣点进行双线性差值处理，得到样本输出特征；将样本输出特征输入色彩空间划分模块，得到兴趣点概率分布数据；根据所述兴趣点概率分布数据对所述基于兴趣点分配的图像色彩美学评估模型进行参数调整处理，得到初级评估模型。
在一种可能的实现方式中，所述根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型，包括：将所述目标测试集输入所述初级评估模型，并对所述初级评估模型的参数按指定规则进行调整，输出多个评估结果；根据多个评估结果，确定每次调整参数后的初级评估模型的精度值；将最高精度值对应的初级评估模型确定为目标评估模型。
在一种可能的实现方式中，将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据，包括：将所述待处理图像进行归一化处理，得到归一化的图像色彩美学数据作为待处理图像色彩美学数据。
第二方面，本申请提供一种基于兴趣点的图像色彩美学评估装置，包括：
获取模块，用于获取原图像色彩美学评估数据集，并将所述原图像色彩美学评估数据集划分为训练集和测试集；
所述获取模块，还用于将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集；
模型构建模块，用于根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型；
模型训练模块，用于根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型；
所述获取模块，还用于获取待处理图像，并将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据；
图像评估模块，用于所述将所述待处理图像色彩美学数据输入所述目标评估模型，得到图像色彩美学评估结果。
第三方面，本申请提供了一种基于兴趣点的图像色彩美学评估设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上述第一方面描述的基于兴趣点的图像色彩美学评估方法。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机一项所执行指令，当处理器执行所述计算机执行指令时，实现如上述第一方面描述的基于兴趣点的图像色彩美学评估方法。
本申请提供的基于兴趣点的图像色彩美学评估方法、装置及设备，该方法通过将获取的原图像色彩美学评估数据集划分为训练集和测试集，再将训练集和测试集分别进行数据预处理，以得到目标训练集和目标测试集。然后使用目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，再利用目标测试集对初级评估模型进行参数调整处理，得到目标评估模型，以提高目标评估模型的准确度和数据处理效率。最后将获取的待处理图像输入目标评估模型，提高图像色彩美学数据评估结果的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于兴趣点的图像色彩美学评估方法的应用场景示意图；
图2为本申请实施例提供的基于兴趣点的图像色彩美学评估方法的流程示意图；
图3为本申请实施例提供的基于兴趣点分配的图像色彩美学评估网络模型实例：基于可变形门控的图像色彩美学评估网络模型的结构示意图；
图4为本申请实施例提供的基于兴趣点分配的注意力模块实例：可变形门控注意力模块的结构示意图；
图5为本申请实施例提供的融合局部注意力模块和基于兴趣点分配的注意力模块的中间模型实例：可变形门控模块的处理流程示意图；
图6为本申请实施例提供的色彩空间划分模型的结构示意图；
图7为本申请实施例提供的基于兴趣点的图像色彩美学评估装置的结构示意图；
图8为本申请实施例提供的基于兴趣点的图像色彩美学评估设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，图像美学评估ICAA方法是一种计算机视觉处理任务，旨在根据用户视觉感知和审美标准，对图像质量和美感进行评估。发明人发现，现有技术中，ICAA方法中，颜色的类型和组合本质上是复杂的，图像色彩美学取决于特定颜色及该特定颜色在色彩空间中的相对位置，但受限于用户人眼视觉感知能力，例如：人眼最多可感知8种颜色。因此依赖于ICAA方法中，从像素统计中提取的颜色信息受限。且由于缺乏之前的色彩知识，导致难以准确感知不同色彩空间对应的重要程度，并容易受多个视觉元素的干扰。因此，受限于人眼感知限值和基于像素的颜色信息统计方法的局限性，现有技术中，ICAA方法存在准确性差且处理效率低的问题。
为解决上述技术问题，本申请实施例提供了以下解决问题的技术构思：基于兴趣点分配的图像色彩美学评估技术(后续简写为IPD-ICAA技术)，实现对图像的空间和语义信息的提取并利用，从而更全面地对图像色彩美感进行评估，更高效且准确地获得图像色彩美学评估结果。
图1为本申请实施例提供的基于兴趣点的图像色彩美学评估方法的应用场景示意图，如图1所示，包括：终端101和服务器102。
其中，终端101，用于供用户输入图像色彩美学评估的相关信息和选择待处理图像，并将图像色彩美学评估结果和处理过程生成的数据进行显示。服务器102，用于接收从云端、其他服务器或移动端设备传输的待处理图像，并执行图像色彩美学评估，生成图像色彩美学评估结果。
图2为本申请实施例提供的基于兴趣点的图像色彩美学评估方法的流程示意图，本实施例的执行主体可以为图1所示实施例中的服务器102，也可以是其他的计算机的相关设备，对此实施例不作特别限制。
如图2所示，该基于兴趣点的图像色彩美学评估方法包括：
S201：获取原图像色彩美学评估数据集，并将原图像色彩美学评估数据集划分为训练集和测试集。
本实施例中，原图像色彩美学评估数据集可以是经用户选定的图像色彩待评估数据集，划分训练集和测试集时可采用按照特定的比例随机划分。
具体的，在本申请一可选的实施例中，原图像色彩美学评估数据集为存有图像文件名以及与对应的图像文件名标注信息的数据存储文件。相应地，步骤S201中将原图像色彩美学评估数据集划分为训练集和测试集包括：将数据存储文件按预设比例划分为训练集和测试集两部分。
本实施例中，预设比例可以是预先设定的比值，例如：训练集的数据存储文件数量与测试集中的数据存储文件数量之间的比值为8:2或7:3等人为设置的比值。本实施例中，数据存储文件可以是逗号分隔值CSV文件、标签和文本节点XML文件、初始化INI文件、数据交换格式JSON文件等。
S202：将训练集进行数据预处理，得到目标训练集，并将测试集进行数据预处理，得到目标测试集。
本实施例中，数据预处理可以是图像尺寸缩放或裁剪等图像处理方式。以上述实施例为基础，在本申请一可选的实施例中，步骤S202包括：
S202a：将训练集中的数据存储文件转换为数据框格式训练集，并将测试集中的数据存储文件转换为数据框格式测试集。
S202b：将数据框格式训练集进行尺寸缩放处理，得到固定尺寸训练集，并将数据框格式测试集进行尺寸缩放处理，得到固定尺寸测试集。
本实施例中，数据存储文件转换为数据框格式时可通过将数据存储文件读取到数据块dataframe数据结构中的方式完成。将数据框格式训练集进行尺寸缩放处理指的是针对数据框格式训练集中的图像按照预先设定的缩放比例进行图像尺寸缩放的过程，由此可知，固定尺寸训练集与数据框格式训练集的区别是图像尺寸大小的不同。得到固定尺寸测试集的过程与得到固定尺寸训练集的过程和原理类似，故此处不再赘述。
S202c：将固定尺寸训练集进行数据增强处理，得到目标训练集，并将固定尺寸测试集进行数据增强处理，得到目标测试集。
在本申请一可选的实施例中，数据增强处理可以是将固定尺寸训练集中的图像以随机水平翻转再随机裁剪至预先设定的特定尺寸的过程。
综上，本实施例提供的基于兴趣点的图像色彩美学评估方法，通过对训练集和测试集先后分别进行文件转换、尺寸缩放处理和数据增加处理，得到目标训练集和测试集，以满足模型训练和测试的要求，提高训练得到的模型的准确度和效率。
S203：根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型。
本实施例中，预设网络结构可以是人为地预先设计好的网络结构，构建基于兴趣点分配的图像色彩美学评估模型可通过引入局部注意力机制、基于兴趣点分配的注意力机制、可学习直方图等技术方案，以实现对图像不同层次、不同区域的精准感知和特征提取。
本实施例中，基于兴趣点分配可以是通过使用可变形门控模块、尺寸不变特征SIFT模块、Harrris角点检测器、区域兴趣点检测ROI检测或活动轮廓Active Contour等方法，也可以是其它能够实现兴趣点的选取和调整的相关方法，对此，本实施例此处不作特别限制。
其中，基于SIFT(尺度不变特征变换)的模块或方法为一个用于从图像中检测和描述局部特征的算法。SIFT特征是尺度不变的，可以在图像的尺度空间中检测到关键点，并为每个关键点生成一个特征描述符。基于Harris角点检测器的模块或方法可以检测出图像中的角点，这些角点往往是图像中的稀疏兴趣点。基于ROI检测的模块或方法可以识别图像中显著性物体所在区域，把兴趣点限制在ROI区域中。基于活动轮廓(Active Contour)的模块或方法是一种用于图像分割和形状建模的技术，可以用来调整兴趣点的位置，使其更准确地匹配目标结构。
以下，为便于理解本申请实施例提供的基于兴趣点的图像色彩美学评估方法，本申请实施例中用于实现兴趣点的选取和调整采用的是可变形门控模块。
具体的，在本申请一可选的实施例中，预设网络结构包括局部注意力模块、基于兴趣点分配的注意力模型和色彩空间划分模块，步骤S203包括：
S203a：将局部注意力模块和基于兴趣点分配的注意力模块进行融合，得到中间模型。
本实施例中，得到的第一模型在后续使用过程中，可通过设置稀疏兴趣点并进行分配，将模型注意力机制在图像的主要色彩区域，以排除其余无关部分的干扰。能更准确地捕捉并利用图像的空间和语义特征，使得本申请实施例提供的基于兴趣点的图像色彩美学评估方法能够从空间和语义信息的角度，对图像的色彩美感进行更全面的分析。
S203b：将色彩空间划分模块与中间模型进行结合处理，构建基于兴趣点分配的图像色彩美学评估模型。
本实施例中，结合处理可以是模型构建中的有机结合操作过程，色彩空间划分模块CSSM的使用过程中，能利用学习直方图的原理，采用两个一维卷积层，按照可学习直方图的形式，对提取到的色彩特征进行偏移量与权重的分配，从而使模型能够按主次关系区分出图像色彩空间进行更加合理准确地划分，区分出图像中不同色彩空间的重要程度。
S204：根据目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据目标测试集对初级图像色彩美学评估模型进行参数调整处理，得到目标评估模型。
本实施例中，基于兴趣点分配的图像色彩美学评估模型可以是按照预先设计好的网络结构，构建的基于兴趣点分配的图像色彩美学评估网络模型。
以上述实施例为基础，在本申请一可选的实施例中，基于兴趣点分配的图像色彩美学评估模型包括局部注意力模块、基于兴趣点分配的注意力模块、兴趣点中间处理模块和色彩空间划分模块。相应地，步骤S204中根据目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，包括：
S204a：将目标训练集依次输入局部注意力模块和基于兴趣点分配的注意力，得到查询向量、键向量、数值向量和初始兴趣点。
图3为本申请实施例提供的基于兴趣点分配的图像色彩美学评估网络模型的结构示意图。
图4为本申请实施例提供的基于兴趣点分配的注意力模块实例：可变形门控注意力模块的结构示意图。
图5为本申请实施例提供的融合局部注意力模块和基于兴趣点分配的注意力模块的中间模型实例：可变形门控模块的处理流程示意图。
图6为本申请实施例提供的色彩空间划分模型的结构示意图。
如图3所示，本实施例中，基于兴趣点分配的图像色彩美学评估模型包括四个Stage和一个色彩空间划分模块CSSM，目标训练集中的一个图像进入每个Stage中首先进行块状嵌入Patch Embedding，再送入Delegate Transformer Block(DTB)或SwinTransformer Block中。
如图5所示，DTB主要包括局部注意力Local Attention模块和可变形门控注意力Delegate Attention模块，以及两个多层感知机MLP和多个正则化层LN。其中，可变形门控注意力模块的处理流程如图3所示，输入原始特征图像X后，利用投影矩阵从原始特征图像X生成查询向量Q、键向量K和数值向量V，多头自注意力MSA可按照如下方式计算：
式中，MSA为多头自注意力，D表示查询/键向量的维度，m表示第m个注意力头，Q为查询向量，K为键向量，V为数值向量，T为矩阵转置。
本实施例中，相应的计算被分配给稀疏的兴趣点，以实现更少的计算量和更高的灵活度。继续参考图4，原始特征图像X被输入到一个轻量级子网络Neti中，以生成初始的兴趣点。
S204b：在可变形门控注意力模块中根据查询向量、键向量、数值向量和初始兴趣点，确定兴趣点偏移量数据和输出特征图。
本实施例中，可变形门控注意力模块中的另一个子网络Neto被用来计算从查询向量Q到兴趣点位置的偏移量，用以调整兴趣点的位置，计算表达式为：
式中，Q为查询向量，X为输入的原始特征向量，Xi为第i个阶段的输出特征图，W为权重矩阵，Neti、Neto分别为两个计算兴趣点的轻量级子网络，兴趣点interest points和偏移量offsets都由二维坐标表示，这些坐标被归一化到范围[-1,+1]内，其中(-1,-1)表示左上角，而(+1,+1)表示右下角。
S204c：将兴趣点偏移量和输出特征图输入兴趣点中间处理模块，得到调整并经过筛选的中间兴趣点。
本实施例中，兴趣点中间处理模块可以被设计为一个门控模块G，门控模块G被用于确定当前调整后的兴趣点坐标的激活，进一步减少空间中的冗余，防止异常值和重叠的兴趣点。门控模块G的计算表达式为：
G＝Sigmoid((X)*α)
式中，G为门控模块，X为输入的原始特征向量，α为一个设定的足够大的值，以确保门控矩阵为0或1，Sigmoid指的是用于将输入值映射到一个介于0和1之间的范围内的函数。
S204d：对中间兴趣点进行双线性差值处理，得到样本输出特征。
本实施例中，请继续参考图5，Netg为计算门控矩阵的子网络。在获得调整后并经过筛选的兴趣点后，会应用双线性插值来从获得调整后并经过筛选的兴趣点/>中采样输出特征。此时对应的计算表达式为：
式中，(px,py)和(qx,qy)各表示兴趣点的其中一个坐标，且(qx,qy)仅在距离(px,py)最近的X中的4个整数点上非零，M(a,b)＝max(0,1-|a-b|)，其中a为兴趣点的坐标中的横坐标值例如px，b为兴趣点的坐标中的纵坐标值例如py。最后，将多头注意力机制应用于计算输出即可。
S204e：将样本输出特征输入色彩空间划分模块，得到兴趣点概率分布数据。
S204f：根据兴趣点概率分布数据对基于兴趣点分配的图像色彩美学评估模型进行参数调整处理，得到初级评估模型。
本实施例中，4个stage处理完成后，得到的一组特征值输入到CSSM中。如图6所示，CSSM由两个带激活层的一维卷积组成，第一层卷积采用单位向量作为固定权重，将偏置权重设置为可学习参数并作为直方图的宽度Width，第二层卷积采用单位向量作为固定偏置，将权重作为可学习参数并作为直方图的中心center。此时，模型学习为每个兴趣点pj学习一个概率分布，以指示该兴趣点pj在k个颜色空间中的权重，该学习过程表示为：
S(pj)＝[S1(pj),…,Sk(pj)]
式中，Sk表示第k个颜色空间，其中k为大于0的自然数，pj分配给第i个空间的权重由如下函数确定：
Si(pj)＝max{0,1-wi*|pj-ci|}
式中，wi表示第i个颜色空间的宽度，pj是第j个兴趣点的向量形式，ci表示第i个颜色空间的中心，其中i为大于0的自然数，max{0,1-wi*|pj-ci|指的是取0和1-wi*|pj-ci|中的最大值，Si(pj)为兴趣点pj的一个概率分布，以指示兴趣点pj在第i个颜色空间中的权重。
以上述实施例为基础，在本申请一可选的实施例中，步骤S204中据目标测试集对初级评估模型进行参数调整处理，得到目标评估模型，包括：
S204g：将目标测试集输入初级评估模型，并对初级评估模型的参数按指定规则进行调整，输出多个评估结果；
S204h：根据多个评估结果，确定每次调整参数后的初级评估模型的精度值；
S204i：将最高精度值对应的初级评估模型确定为目标评估模型.
本实施例中，模型的优化训练可在训练过程中采用自动机器学习NNI工具自行搜索最优超参数组合，再将搜索到的最优超参数组合设定当前训练后的评估模型的超参数，以得到初级评估模型。得到初级评估模型后，再将目标测试集代入训练好的网络模型中调整模型参数并选择最高精度的模型作为最终的目标评估模型。
S205：获取待处理图像，并将待处理图像进行图像预处理，得到待处理图像色彩美学数据。
本实施例中，待处理图像可以是拍摄设备拍摄待评估的图像，待处理图像色彩美学数据可以是可以输入目标评估模型的数据。
具体地，在本申请一可选的实施例中，图像预处理可以是对待处理图像进行归一化处理，此时得到的待处理图像色彩美学数据可以是将特征值大小调整到相近的范围，使待处理图像转换为相应的标准形式。例如：对图像的色彩空间进行归一化处理，能去除光照和阴影对图像色彩的影响。
S206：将待处理图像色彩美学数据输入目标评估模型，得到图像色彩美学评估结果。
本实施例中，待处理图像色彩美学数据被输入目标评估模型之后，会在目标评估模型中进行推理，得到待评估图像的色彩美感评分，评分越高代表该图像的色彩美学质量越好，反之则表示该图像的色彩美学质量越差。
综上，本申请实施例提供的基于兴趣点的图像色彩美学评估方法，通过将获取的原图像色彩美学评估数据集划分为训练集和测试集，再将训练集和测试集分别进行数据预处理，以得到目标训练集和目标测试集。然后使用目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，再利用目标测试集对初级评估模型进行参数调整处理，得到目标评估模型，以提高目标评估模型的准确度和数据处理效率。最后将获取的待处理图像输入目标评估模型，提高图像色彩美学数据评估结果的准确性。
同时，还通过色彩空间划分模块CSSM，采用两个一维卷积层，按照可学习直方图的形式，对提取到的色彩特征进行偏移量与权重的分配，从而使模型能按主次关系区分出图像色彩空间进行更合理准确的划分，区分出图像中不同色彩空间的重要程度，进而提升其对图像颜色细粒度的感知能力。
同时，还通过在基于兴趣点分配的图像色彩美学评估模型的训练和参数调整过程中引入局部注意力机制，允许目标评估模型在处理图像时将注意力集中在与任务相关的局部区域，减少数据处理量，进而提高目标评估模型的效率。并且，还通过关注图像中与目标相关的局部区域，提高模型捕捉目标的特征的准确性。
同时，还通过基于稀疏、数据相关、可变形的注意力机制，通过设置稀疏的兴趣点来分配注意力，这样不仅能将注意力集中在主要颜色区域，还能采用稀疏的兴趣点进行注意力的分配，以减少网络参数，进一步提高模型效率。
图7为本申请实施例提供的基于兴趣点的图像色彩美学评估装置的结构示意图，该装置包括：获取模块71、模型构建模块72、模型训练模块73和图像评估模块74。
其中，获取模块71，用于获取原图像色彩美学评估数据集，并将原图像色彩美学评估数据集划分为训练集和测试集；
获取模块71，还用于将训练集进行数据预处理，得到目标训练集，并将测试集进行数据预处理，得到目标测试集；
模型构建模块72，用于根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型；
模型训练模块73，用于根据目标训练集对基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据目标测试集对初级评估模型进行参数调整处理，得到目标评估模型；
获取模块71，还用于获取待处理图像，并将待处理图像进行图像预处理，得到待处理图像色彩美学数据；
图像评估模块74，用于将待处理图像色彩美学数据输入目标评估模型，得到图像色彩美学评估结果。
在本申请一可选的实施例中，训练集和测试集均为存有图像文件名以及与对应的图像文件名标注信息的逗号分隔值数据存储文件，相应地，获取模块71，具体用于：将训练集中的数据存储文件转换为数据框格式训练集，并将测试集中的数据存储文件转换为数据框格式测试集；将数据框格式训练集进行尺寸缩放处理，得到固定尺寸训练集，并将数据框格式测试集进行尺寸缩放处理，得到固定尺寸测试集；将固定尺寸训练集进行数据增强处理，得到目标训练集，并将固定尺寸测试集进行数据增强处理，得到目标测试集。
在本申请一可选的实施例中，固定尺寸训练集和固定尺寸测试集中均包括多个图像，相应地，获取模块71，还具体用于：将固定尺寸训练集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标训练集；将固定尺寸测试集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标测试集。
在本申请一可选的实施例中，预设网络结构包括局部注意力模块、基于兴趣点分配的注意力模块和色彩空间划分模块，相应地，模型构建模块72，具体用于：将局部注意力模块和基于兴趣点分配的注意力模块进行融合，得到中间模型；将色彩空间划分模块与中间模型进行结合处理，构建基于兴趣点分配的图像色彩美学评估模型。
在本申请一可选的实施例中，基于兴趣点分配的图像色彩美学评估模型包括局部注意力模块、基于兴趣点分配的注意力模块、兴趣点中间处理模块和色彩空间划分模块，相应地，模型训练模块73，具体用于：将目标训练集依次输入局部注意力模块和基于兴趣点分配的注意力模块，得到查询向量、键向量、数值向量和初始兴趣点；在基于兴趣点分配的注意力模块中根据查询向量、键向量、数值向量和初始兴趣点，确定兴趣点偏移量数据和输出特征图；将兴趣点偏移量和输出特征图输入兴趣点中间处理模块，得到调整并经过筛选的中间兴趣点；对中间兴趣点进行双线性差值处理，得到样本输出特征；将样本输出特征输入色彩空间划分模块，得到兴趣点概率分布数据；根据兴趣点概率分布数据对基于兴趣点分配的图像色彩美学评估模型进行参数调整处理，得到初级评估模型。
在本申请一可选的实施例中，模型训练模块73，还具体用于：将目标测试集输入初级评估模型，并对初级评估模型的参数按指定规则进行调整，输出多个评估结果；根据多个评估结果，确定每次调整参数后的初级评估模型的精度值；将最高精度值对应的初级评估模型确定为目标评估模型。
在本申请一可选的实施例中，获取模块71，还具体用于：将待处理图像进行归一化处理，得到归一化的图像色彩美学数据作为待处理图像色彩美学数据。
本实施例提供的图像色彩美学评估装置，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。
图8为本申请实施例提供的基于兴趣点的图像色彩美学评估设备的硬件结构示意图，如图8所示，该设备包括：至少一个处理器801以及存储器802。
其中，存储器802，用于存储计算机执行指令。
处理器801，用于执行存储器802存储的计算机执行指令，以实现上述方法实施例中所涉及的各个步骤。具体可以参见前述方法实施例中的相关描述。
可选的，存储器802既可以是独立的，也可以跟处理器801集成在一起。
当存储器802独立设置时，该设备还包括总线803，用于连接存储器802和处理器801。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上的基于兴趣点的图像色彩美学评估方法。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现基于兴趣点的图像色彩美学评估方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块组成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例的方法的部分步骤。
应理解，上述处理器可以是中央处理单元(Central Processing Unit，简称CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，简称ISA)总线、外部设备互连(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种基于兴趣点的图像色彩美学评估方法，其特征在于，包括：
获取原图像色彩美学评估数据集，并将所述原图像色彩美学评估数据集划分为训练集和测试集；
将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集；
根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型；
根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型；
获取待处理图像，并将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据；
将所述待处理图像色彩美学数据输入所述目标评估模型，得到图像色彩美学评估结果。
2.根据权利要求1所述的方法，其特征在于，所述训练集和测试集均为存有图像文件名以及与对应的图像文件名标注信息的数据存储文件，相应地，所述将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集，包括：
将所述训练集中的数据存储文件转换为数据框格式训练集，并将所述测试集中的数据存储文件转换为数据框格式测试集；
将所述数据框格式训练集进行尺寸缩放处理，得到固定尺寸训练集，并将所述数据框格式测试集进行尺寸缩放处理，得到固定尺寸测试集；
将所述固定尺寸训练集进行数据增强处理，得到目标训练集，并将所述固定尺寸测试集进行数据增强处理，得到目标测试集。
3.根据权利要求2所述的方法，其特征在于，所述固定尺寸训练集和所述固定尺寸测试集中均包括多个图像；相应地，所述将所述固定尺寸训练集进行数据增强处理，得到目标训练集，并将所述固定尺寸测试集进行数据增强处理，得到目标测试集，包括：
将所述固定尺寸训练集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标训练集；
将所述固定尺寸测试集中的图像进行随机水平翻转处理和按特定尺寸随机裁剪处理，得到目标测试集。
4.根据权利要求1所述的方法，其特征在于，所述预设网络结构包括局部注意力模块、基于兴趣点分配的注意力模块和色彩空间划分模块；
相应地，所述根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型，包括：将局部注意力模块和所述基于兴趣点分配的注意力模块融合，得到中间模型；
将色彩空间划分模块与所述中间模型进行结合处理，构建基于兴趣点分配的图像色彩美学评估模型。
5.根据权利要求1所述的方法，其特征在于，所述基于兴趣点分配的图像色彩美学评估模型包括局部注意力模块、基于兴趣点分配的注意力模块、兴趣点中间处理模块和色彩空间划分模块；
相应地，所述根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，包括：
将所述目标训练集依次输入局部注意力模块和基于兴趣点分配的注意力模块，得到查询向量、键向量、数值向量和初始兴趣点；
在所述基于兴趣点分配的注意力模块中根据所述查询向量、键向量、数值向量和初始兴趣点，确定兴趣点偏移量数据和输出特征图；
将所述兴趣点偏移量和输出特征图输入兴趣点中间处理模块，得到调整并经过筛选的中间兴趣点；
对所述中间兴趣点进行双线性差值处理，得到样本输出特征；
将样本输出特征输入色彩空间划分模块，得到兴趣点概率分布数据；
根据所述兴趣点概率分布数据对所述基于兴趣点分配的图像色彩美学评估模型进行参数调整处理，得到初级评估模型。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型，包括：
将所述目标测试集输入所述初级评估模型，并对所述初级评估模型的参数按指定规则进行调整，输出多个评估结果；
根据多个评估结果，确定每次调整参数后的初级评估模型的精度值；
将最高精度值对应的初级评估模型确定为目标评估模型。
7.根据权利要求1至6任一项所述的方法，其特征在于，将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据，包括：
将所述待处理图像进行归一化处理，得到归一化的图像色彩美学数据作为待处理图像色彩美学数据。
8.一种基于兴趣点的图像色彩美学评估装置，其特征在于，包括：
获取模块，用于获取原图像色彩美学评估数据集，并将所述原图像色彩美学评估数据集划分为训练集和测试集；
所述获取模块，还用于将所述训练集进行数据预处理，得到目标训练集，并将所述测试集进行数据预处理，得到目标测试集；
模型构建模块，用于根据预设网络结构，构建基于兴趣点分配的图像色彩美学评估模型；
模型训练模块，用于根据所述目标训练集对所述基于兴趣点分配的图像色彩美学评估模型进行模型训练，得到初级评估模型，并根据所述目标测试集对所述初级评估模型进行参数调整处理，得到目标评估模型；
所述获取模块，还用于获取待处理图像，并将所述待处理图像进行图像预处理，得到待处理图像色彩美学数据；
图像评估模块，用于所述将所述待处理图像色彩美学数据输入所述目标评估模型，得到图像色彩美学评估结果。
9.一种基于兴趣点的图像色彩美学评估方法设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的基于兴趣点的图像色彩美学评估方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的基于兴趣点的图像色彩美学评估方法。
CN202311247594.1A 2023-09-25 2023-09-25 基于兴趣点的图像色彩美学评估方法、装置及设备 Active CN117315438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311247594.1A CN117315438B (zh) 2023-09-25 2023-09-25 基于兴趣点的图像色彩美学评估方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311247594.1A CN117315438B (zh) 2023-09-25 2023-09-25 基于兴趣点的图像色彩美学评估方法、装置及设备

Publications (2)

Publication Number Publication Date
CN117315438A true CN117315438A (zh) 2023-12-29
CN117315438B CN117315438B (zh) 2024-06-18

Family

ID=89284290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311247594.1A Active CN117315438B (zh) 2023-09-25 2023-09-25 基于兴趣点的图像色彩美学评估方法、装置及设备

Country Status (1)

Country Link
CN (1) CN117315438B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
CN112668638A (zh) * 2020-12-25 2021-04-16 山东大学 一种图像美学质量评估和语义识别联合分类方法及系统
WO2021092808A1 (zh) * 2019-11-13 2021-05-20 深圳市欢太科技有限公司 网络模型的训练方法、图像的处理方法、装置及电子设备
CN113822951A (zh) * 2021-06-25 2021-12-21 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN114429460A (zh) * 2022-01-24 2022-05-03 中国矿业大学 一种基于属性感知关系推理的通用图像美学评估方法和装置
CN115100490A (zh) * 2022-07-20 2022-09-23 广东工业大学 一种图像质量评价方法、系统以及可读存储介质
CN115880485A (zh) * 2022-12-19 2023-03-31 宁波市规划设计研究院 一种兴趣点的提取方法及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801256A (zh) * 2018-12-15 2019-05-24 华南理工大学 一种基于感兴趣区域和全局特征的图像美学质量评估方法
WO2021092808A1 (zh) * 2019-11-13 2021-05-20 深圳市欢太科技有限公司 网络模型的训练方法、图像的处理方法、装置及电子设备
CN112668638A (zh) * 2020-12-25 2021-04-16 山东大学 一种图像美学质量评估和语义识别联合分类方法及系统
CN113822951A (zh) * 2021-06-25 2021-12-21 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN114429460A (zh) * 2022-01-24 2022-05-03 中国矿业大学 一种基于属性感知关系推理的通用图像美学评估方法和装置
CN115100490A (zh) * 2022-07-20 2022-09-23 广东工业大学 一种图像质量评价方法、系统以及可读存储介质
CN115880485A (zh) * 2022-12-19 2023-03-31 宁波市规划设计研究院 一种兴趣点的提取方法及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄荣等: "基于自监督视觉 Transformer 的图像美学质量评价方法", 《计算机应用》, 7 August 2023 (2023-08-07) *

Also Published As

Publication number Publication date
CN117315438B (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
EP3937481A1 (en) Image display method and device
CN112036395B (zh) 基于目标检测的文本分类识别方法及装置
JP6798183B2 (ja) 画像解析装置、画像解析方法およびプログラム
CN109117801A (zh) 人脸识别的方法、装置、终端及计算机可读存储介质
CN110717851A (zh) 图像处理方法及装置、神经网络的训练方法、存储介质
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111985458B (zh) 一种检测多目标的方法、电子设备及存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN110675385A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN110610143A (zh) 多任务联合训练的人群计数网络方法、系统、介质及终端
Feng et al. A novel saliency detection method for wild animal monitoring images with WMSN
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN109741380B (zh) 纺织品图片快速匹配方法和装置
CN110007764B (zh) 一种手势骨架识别方法、装置、系统及存储介质
CN114998610A (zh) 一种目标检测方法、装置、设备及存储介质
CN118351118A (zh) 基于深度卷积神经网络的打印机外壳缺陷检测方法及装置
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN113822871A (zh) 基于动态检测头的目标检测方法、装置、存储介质及设备
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
CN117315438B (zh) 基于兴趣点的图像色彩美学评估方法、装置及设备
CN116975828A (zh) 一种人脸融合攻击检测方法、装置、设备及存储介质
CN116403064A (zh) 图片处理方法、模型、基本块结构、设备及介质
CN111862098B (zh) 基于光场语义的个体匹配方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant