CN116935138A - 图片主题内容多样性计算与自动选择方法及系统 - Google Patents

图片主题内容多样性计算与自动选择方法及系统 Download PDF

Info

Publication number
CN116935138A
CN116935138A CN202310977202.0A CN202310977202A CN116935138A CN 116935138 A CN116935138 A CN 116935138A CN 202310977202 A CN202310977202 A CN 202310977202A CN 116935138 A CN116935138 A CN 116935138A
Authority
CN
China
Prior art keywords
picture
diversity
module
sub
pictures
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310977202.0A
Other languages
English (en)
Inventor
邓莎莎
潘煜
王风华
张效初
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai international studies university
Original Assignee
Shanghai international studies university
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai international studies university filed Critical Shanghai international studies university
Priority to CN202310977202.0A priority Critical patent/CN116935138A/zh
Publication of CN116935138A publication Critical patent/CN116935138A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及图片主题内容多样性计算与自动选择方法技术领域，具体为图片主题内容多样性计算与自动选择方法及系统，包括以下步骤：数据准备与特征提取，相关性计算，获得相关性分数，多样性计算，获得多样性度量值，综合评分与自动选择。本发明中，通过深度学习模型利用大量数据进行端到端的训练，学习更准确的图像特征表示。进行特征提取，获得更具语义信息的特征描述，提高图片与主题相关性和内容多样性的计算准确性。通过结合实体语义特征和抽象语义特征，更全面地描述图片的语义。通过调整网络结构、增加训练数据等方式进行优化和改进，以适应特定的图片选择需求。通过在大规模数据上进行训练，学习到更具泛化能力的特征表示。

Description

图片主题内容多样性计算与自动选择方法及系统
技术领域
本发明涉及图片主题内容多样性计算与自动选择方法技术领域，尤其涉及图片主题内容多样性计算与自动选择方法及系统。
背景技术
图片主题内容多样性计算和自动选择方法是通过计算和评估一组图片的多样性程度，并自动选择最适合给定主题的图片的方法。为了计算多样性，使用聚类算法将图片分为不同的类别或簇，以捕捉其内容的差异性。这样可以确保每个类别中包含具有一定多样性的图片。自动选择方法将多样性计算与给定主题的相关性综合评估，为每个图片分配相应的分数或权重，并据此确定最终的选择结果。评分函数基于相关性和多样性的权重，可以根据具体需求进行调整。这些方法提供了一种自动化的方式，使得从大量图片中智能地选择与给定主题相关且内容多样性较高的图片变得更加高效。
在现有图片主题内容多样性计算和自动选择方法的执行过程中，传统方案通常采用手工设计的特征提取方法，这些方法往往是基于人工经验和启发式规则进行设计的。这种方式存在一定的主观性和局限性，无法充分挖掘图像的语义信息。且传统方案中的特征提取和相似度计算通常是分开进行的，无法进行端到端的学习和优化。这样的分离方式可能导致特征表示的失配问题，即提取的特征与相似度计算方法之间的不一致性，影响最终的选择效果。传统方案需要依赖人工设计的特征和规则来进行图片选择，这些特征和规则往往是基于专业领域知识和经验的。这种依赖使得传统方案在应对新领域或不同主题需求时面临困难，需要耗费大量时间和资源进行特征工程和规则设计。传统方案在处理复杂场景、大规模数据时，由于特征表示的限制和对领域知识的依赖，传统方案往往无法充分表达复杂场景中的语义信息，无法处理大规模数据中的多样性和差异性，需要进行改进。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的图片主题内容多样性计算与自动选择方法及系统。
为了实现上述目的，本发明采用了如下技术方案：图片主题内容多样性计算与自动选择方法，包括以下步骤：
图片数据集准备，并对所述图片数据集执行特征提取，获取特征向量；
基于所述特征向量执行相关性计算，获得相关性分数；
基于所述特征向量执行多样性计算，获得多样性度量值；
综合评分所述相关性分数及所述多样性度量值，获得最终得分，基于所述最终得分自动选择。
作为本发明的进一步方案，所述数据准备的步骤具体为：
使用公开的图像库ImageNet收集或获取与给定主题相关的图片数据集；
确保所选图片涵盖给定主题的不同方面，包括不同视角、不同场景、不同对象；
基于包括图像缩放、裁剪、旋转、正规化、标准化的预处理操作，减少数据的冗余性、增加数据的可用性；
采用数据增强技术，对原始图像进行随机变换，包括翻转、旋转、平移、缩放、调整亮度和对比度操作，生成更多的训练样本，扩充数据集规模。
作为本发明的进一步方案，所述特征提取的步骤具体为：
选择卷积神经网络CNN模型，对所述图片数据集进行特征提取；
将所述图片数据集的图片输入卷积神经网络CNN模型中，采用前向传播计算，在前向传播过程中，图像通过一系列的卷积、池化和激活函数操作，逐步提取出越加抽象和高级的特征表示；
对于中间层特征提取，在较浅层的卷积层获取低级特征，包括边缘、纹理，并在较深的卷积层获取高级特征，包括物体的形状、部件，结合多个层级的特征以获得更丰富的信息，特征提取过程中，采用注意力机制增强特征的重要性和表达能力，应用空间金字塔池化技术捕捉多尺度的特征；
将卷积层后的特征通过全连接层进行降维和压缩，得到更加抽象和高级的特征表示，通过提取全连接层的特征向量，执行分类、检测任务。
作为本发明的进一步方案，所述相关性计算的步骤具体为：
选择弦相似度作为相似度度量方法；
对于所述图片数据集中每张图片的所述特征向量和给定主题的特征向量，进行相似度计算，在相似度计算过程中，使用具体为主成分分析的降维方法将特征向量的维度减少，以提高计算效率和降低噪声的影响；
采用相关性分数计算公式，获取相关性分数，表示该张图片与给定主题的相关程度；
所述相关性分数计算公式具体为，相关性分数
＝(t×f)÷||t||||f||
其中，(t×f)表示主题向量t和特征向量f的内积，||t||表示主题向量t的范数，||f||表示特征向量f的范数。
将每张图片与给定主题的相关性分数进行排序或分类，所有大于等于0.8的相关性分数表示与主题的相关性较高，所有小于0.8的相关性分数表示与主题的相关性较低。
作为本发明的进一步方案，所述多样性计算的步骤具体为：
计算特征向量的均值；
计算差值向量；
计算方差和标准差。
作为本发明的进一步方案，所述计算特征向量的均值具体为，
其中，mean表示向量均值，n表示特征向量的数量，feature_vector表示一个特征向量
所述计算差值向量具体为，deviation_vector＝feature_vector-mean；
其中，deviation_vecto表示差值向量；
所述差值向量表示每个特征向量与均值向量之间的差异；
所述计算方差和标准差具体为，
其中，variance表示方差，standard_deviation表示标准差。
作为本发明的进一步方案，所述综合评分的步骤具体为：
将相关性分数和多样性度量值进行归一化，将它们的取值范围映射到一个统一的范围；
结合相关性和多样性，使用加权综合的方法，对归一化后的相关性分数和多样性度量值进行加权求和，根据权重设置平衡相关性和多样性，得到综合评分；
将综合评分应用于每张图片，得到每张图片的所述最终得分。
作为本发明的进一步方案，所述自动选择的步骤具体为：
将所有图片根据所述最终得分进行排序，按照得分从高到低的顺序排列；
根据需求，设定阈值来筛选出满足特定要求的图片，所述阈值包括绝对值和相对值；
根据具体需求选择单个或多个图片作为最终结果。
图片主题内容多样性计算与自动选择系统是由图片获取模块、图片特征提取模块、图片主题分析模块、图片多样性计算模块、图片自动选择模块组成；
所述图片获取模块包括数据源接口子模块、搜索关键词子模块、下载与缓存子模块，所述图片获取模块的输出端与图片特征提取模块的输入端通讯连接；
所述图片特征提取模块包括低级视觉特征提取子模块、高级语义特征提取子模块、特征存储与关联子模块，所述图片特征提取模块的输出端与图片主题分析模块的输入端通讯连接；
所述图片主题分析模块包括图像标签识别子模块、文字识别子模块、主题描述生成子模块，所述片主题分析模块的输出端与图片多样性计算模块的输入端通讯连接；
所述图片多样性计算模块包括相似度计算子模块、聚类分组子模块、多样性指标计算子模块，所述图片多样性计算模块的输出端与图片自动选择模块的输入端通讯连接；
所述图片自动选择模块包括多样性阈值与权重设置子模块、代表性图片筛选子模块、排序与展示功能子模块。
作为本发明的进一步方案，所述数据源接口子模块负责与不同的数据源进行交互，包括图库、API接口，以获取图片数据；
所述搜索关键词子模块接收用户输入的关键词，用于从数据源中检索相关的图片；
所述下载与缓存子模块将从数据源获取的图片进行下载，并进行缓存，以便后续的处理和使用；
所述低级视觉特征提取子模块提取图片的基本特征，包括颜色、纹理、形状特征；
所述高级语义特征提取子模块使用深度学习和自然语言处理技术，从图片中提取更高层次的语义特征，包括物体、场景、情感；
所述特征存储与关联子模块将提取的特征存储到数据库或其他存储介质中，并建立特征与图片之间的关联关系，以便后续的检索和分析；
所述图像标签识别子模块使用计算机视觉技术，识别图片中的标签或关键词，以描述图片的内容或主题；
所述文字识别子模块通过光学字符识别OCR技术，将图片中的文字转换为可编辑的文本形式，以便后续的主题分析和关联；
所述主题描述生成子模块根据图片的特征和识别结果，生成对图片主题的描述或摘要；
所述相似度计算子模块通过比较图片之间的特征相似度，计算出它们之间的相似性分数，用于后续的多样性计算和图片选择；
所述聚类分组子模块将图片根据其特征或主题进行聚类，将相似的图片放在一起，以便于后续的多样性计算和图片选择；
所述多样性指标计算子模块基于相似度和聚类结果，计算图片集合的多样性指标，评估图片集合的多样性程度；
所述多样性阈值与权重设置子模块允许用户根据需求设定多样性的阈值和权重，以调整系统在选择图片时的多样性水平；
所述代表性图片筛选子模块基于多样性计算和用户设定的阈值，筛选出集合中代表性较高的图片；
所述排序与展示功能子模块将选择的图片基于相似度、多样性得分降序方式呈现给用户。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过深度学习模型利用大量数据进行端到端的训练，能够学习到更准确的图像特征表示。通过使用卷积神经网络进行特征提取，可以获得更具语义信息的特征描述，从而提高图片与主题相关性和内容多样性的计算准确性。基于深度学习模型从图片中学习到更丰富的语义信息，包括实体语义特征和抽象语义特征，通过结合实体语义特征和抽象语义特征，可以更全面地描述图片的语义，提高与主题相关性的计算效果。通过调整网络结构、增加训练数据等方式进行优化和改进，以适应特定的图片选择需求。通过在大规模数据上进行训练，可以学习到更具泛化能力的特征表示，能够适应不同风格、场景和主题的图片选择需求。
附图说明
图1为本发明提出图片主题内容多样性计算与自动选择方法及系统的工作流程示意图；
图2为本发明提出图片主题内容多样性计算与自动选择方法及系统数据准备的步骤流程图；
图3为本发明提出图片主题内容多样性计算与自动选择方法及系统特征提取的步骤流程图；
图4为本发明提出图片主题内容多样性计算与自动选择方法及系统相关性计算的步骤流程图；
图5为本发明提出图片主题内容多样性计算与自动选择方法及系统多样性计算的步骤流程图；
图6为本发明提出图片主题内容多样性计算与自动选择方法及系统综合评分的步骤流程图；
图7为本发明提出图片主题内容多样性计算与自动选择方法及系统自动选择的步骤流程图；
图8为本发明提出图片主题内容多样性计算与自动选择方法及系统的系统框架示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
请参阅图1，本发明提供一种技术方案：图片主题内容多样性计算与自动选择方法，包括以下步骤：
图片数据集准备，并对图片数据集执行特征提取，获取特征向量；
基于特征向量执行相关性计算，获得相关性分数；
基于特征向量执行多样性计算，获得多样性度量值；
综合评分相关性分数及多样性度量值，获得最终得分，基于最终得分自动选择。
首先，通过准备和整理大量的图片数据，并提取低级视觉特征和高级语义特征，建立特征库。然后，通过相关性计算，计算图片之间的相似性和相关性得分，找到与用户查询或选定主题高度相关的其他图片。在相关性计算的基础上，进行聚类分组和多样性指标计算，量化衡量图片集合的多样性程度。最后，综合考虑相关性权重和多样性权重，计算每张图片的综合评分，自动选择出具有代表性和多样性的图片集合。该方法能够提供准确、多样化、代表性的图片选择结果，节省用户时间和精力，提高工作效率并满足用户需求。
请参阅图2，数据准备的步骤具体为：
使用公开的图像库ImageNet收集或获取与给定主题相关的图片数据集；
确保所选图片涵盖给定主题的不同方面，包括不同视角、不同场景、不同对象；
基于包括图像缩放、裁剪、旋转、正规化、标准化的预处理操作，减少数据的冗余性、增加数据的可用性；
采用数据增强技术，对原始图像进行随机变换，包括翻转、旋转、平移、缩放、调整亮度和对比度操作，生成更多的训练样本，扩充数据集规模。
首先，通过使用公开的图像库如ImageNet、COCO、PASCAL VOC等，收集或获取与给定主题相关的大量图片数据集，确保数据来源广泛，提供更多的选择空间。其次，针对特定领域的主题，选择专门针对该领域的数据集，确保数据集与任务和场景紧密相关，提高算法的适应性和性能。此外，通过确保数据集包含不同视角、场景和对象等多样性方面，可以提高系统在特定主题下的多样性评估和图片选择能力。此外，进行数据预处理操作如图像缩放、裁剪、旋转、正规化、标准化等，减少冗余性，增加数据可用性，提高算法的鲁棒性和准确性。最后，采用数据增强技术如翻转、旋转、平移、缩放、亮度和对比度调整等，生成更多的训练样本，扩充数据集规模，提高算法的泛化能力和鲁棒性。
请参阅图3，特征提取的步骤具体为：
选择卷积神经网络CNN模型，对图片数据集进行特征提取；
将图片数据集的图片输入卷积神经网络CNN模型中，采用前向传播计算，在前向传播过程中，图像通过一系列的卷积、池化和激活函数操作，逐步提取出越加抽象和高级的特征表示；
对于中间层特征提取，在较浅层的卷积层获取低级特征，包括边缘、纹理，并在较深的卷积层获取高级特征，包括物体的形状、部件，结合多个层级的特征以获得更丰富的信息，特征提取过程中，采用注意力机制增强特征的重要性和表达能力，应用空间金字塔池化技术捕捉多尺度的特征；
将卷积层后的特征通过全连接层进行降维和压缩，得到更加抽象和高级的特征表示，通过提取全连接层的特征向量，执行分类、检测任务。
请参阅图4，相关性计算的步骤具体为：
选择弦相似度作为相似度度量方法；
对于图片数据集中每张图片的特征向量和给定主题的特征向量，进行相似度计算，在相似度计算过程中，使用具体为主成分分析的降维方法将特征向量的维度减少，以提高计算效率和降低噪声的影响；
采用相关性分数计算公式，获取相关性分数，表示该张图片与给定主题的相关程度；
相关性分数计算公式具体为，相关性分数
＝(t×f)÷||t||||f||
其中，(t×f)表示主题向量t和特征向量f的内积，||t||表示主题向量t的范数，||f||表示特征向量f的范数。
将每张图片与给定主题的相关性分数进行排序或分类，所有大于等于0.8的相关性分数表示与主题的相关性较高，所有小于0.8的相关性分数表示与主题的相关性较低。
首先，选择卷积神经网络(CNN)模型，如ResNet，作为特征提取器，可以有效地捕捉图像数据集的特征。其次，通过前向传播计算，CNN模型可以逐步提取出越来越抽象和高级的特征表示，包括边缘、纹理、形状和物体部件等信息，有助于更好地理解图像内容。在特征提取过程中，选择不同深度的卷积层可以获取低级和高级特征，结合多个层级的特征可以获得更丰富的信息，并应用注意力机制增强特征的表达能力。同时，采用空间金字塔池化技术可以捕捉多尺度的特征，提高特征的多样性和对不同尺度物体的感知能力。最后，在卷积层后，通过全连接层对特征进行降维和压缩，得到更抽象和高级的特征表示，并通过提取全连接层的特征向量执行分类、检测等任务。
请参阅图5，多样性计算具体为，使用方差和标准差，作为多样性度量方法，方差和标准差均为衡量数据分布离散程度的统计指标，方差、标准差越大，表示特征向量之间的差异性和多样性越高；
多样性计算的步骤具体为：
计算特征向量的均值；
计算差值向量；
计算方差和标准差。
计算特征向量的均值具体为，
其中，mean表示向量均值，n表示特征向量的数量，feature_vector表示一个特征向量
计算差值向量具体为，deviation_vector＝feature_vector-mean；
其中，deviation_vecto表示差值向量；
差值向量表示每个特征向量与均值向量之间的差异；
计算方差和标准差具体为，
其中，variance表示方差，standard_deviation表示标准差。
方差和标准差是用来衡量数据分布离散程度的统计指标，可以评估特征向量之间的差异性和多样性程度。多样性计算的具体步骤包括计算特征向量的均值、计算差值向量，以及计算方差和标准差。首先，计算特征向量的均值，通过对图片集合中的所有特征向量进行求和并除以特征向量的数量，得到特征向量的均值向量。接着，计算差值向量，即将每个特征向量减去均值向量，得到表示差异的向量。最后，对差值向量进行平方操作得到平方差值向量，并对其进行求和并除以特征向量的数量，得到方差，再对方差进行平方根操作即可获得标准差。通过使用方差和标准差作为多样性度量方法，可以客观地评估特征向量的多样性程度，帮助系统选择具有更广泛覆盖和代表性的图片内容。这有助于系统提供更全面、富有多样性的内容选择，使得图片的选择更具多样性和代表性。
请参阅图6，综合评分的步骤具体为：
将相关性分数和多样性度量值进行归一化，将它们的取值范围映射到一个统一的范围；
结合相关性和多样性，使用加权综合的方法，对归一化后的相关性分数和多样性度量值进行加权求和，根据权重设置平衡相关性和多样性，得到综合评分；
将综合评分应用于每张图片，得到每张图片的最终得分。
首先，将相关性分数和多样性度量值进行归一化，将它们的取值范围映射到一个统一的范围，确保它们具有可比性。接下来，使用加权综合的方法，结合归一化后的相关性分数和多样性度量值，并根据权重设置平衡相关性和多样性的重要性，得出综合评分。最后，将综合评分应用于每张图片，用于衡量其质量和与主题的相关性。通过这样的综合评分，系统可以对图片进行排序或筛选，选择具有较高综合评分的图片作为最终的选择结果。这样的综合评分考虑了相关性和多样性，使得系统能够提供更全面、多样化且质量较高的图片内容选择。
请参阅图7，自动选择的步骤具体为：
将所有图片根据最终得分进行排序，按照得分从高到低的顺序排列；
根据需求，设定阈值来筛选出满足特定要求的图片，阈值包括绝对值和相对值；
根据具体需求选择单个或多个图片作为最终结果。
首先，将所有图片根据最终得分进行排序，按照得分从高到低的顺序排列。这样可以将得分较高的图片排在前面，以优先考虑质量较高的图片。然后，根据需求设定阈值，来筛选出满足特定要求的图片。阈值可以是绝对值或相对值，通过设定阈值而对图片进行筛选，满足特定的质量和多样性要求。最后，根据具体需求选择单个或多个图片作为最终结果。这样的自动选择步骤能够有效提高系统的效率和准确性，自动选择适合的图片，降低人工干预的需求，并根据具体要求灵活定制系统的行为。
请参阅图8，图片主题内容多样性计算与自动选择系统是由图片获取模块、图片特征提取模块、图片主题分析模块、图片多样性计算模块、图片自动选择模块组成；
图片获取模块包括数据源接口子模块、搜索关键词子模块、下载与缓存子模块，图片获取模块的输出端与图片特征提取模块的输入端通讯连接；
图片特征提取模块包括低级视觉特征提取子模块、高级语义特征提取子模块、特征存储与关联子模块，图片特征提取模块的输出端与图片主题分析模块的输入端通讯连接；
图片主题分析模块包括图像标签识别子模块、文字识别子模块、主题描述生成子模块，片主题分析模块的输出端与图片多样性计算模块的输入端通讯连接；
图片多样性计算模块包括相似度计算子模块、聚类分组子模块、多样性指标计算子模块，图片多样性计算模块的输出端与图片自动选择模块的输入端通讯连接；
图片自动选择模块包括多样性阈值与权重设置子模块、代表性图片筛选子模块、排序与展示功能子模块。
图片获取模块负责高效地获取和管理大量图片数据，通过数据源接口子模块、搜索关键词子模块和下载与缓存子模块的协作实现。图片特征提取模块利用低级视觉特征提取子模块和高级语义特征提取子模块，从图片中提取出不同层次的特征信息，为后续的分析和计算提供基础。图片主题分析模块通过图像标签识别子模块、文字识别子模块和主题描述生成子模块，对图片进行主题分析和描述，帮助用户更好地理解图片内容。图片多样性计算模块利用相似度计算子模块、聚类分组子模块和多样性指标计算子模块，度量图片集合的多样性，提供多样化和全面的选择结果。图片自动选择模块通过多样性阈值与权重设置子模块、代表性图片筛选子模块和排序与展示功能子模块，自动选择符合要求的图片并为用户提供最优选择结果。这些模块的协作能够实现高效、准确和多样化的图片选择，优化系统功能和性能，并满足不同应用场景对图片的需求。
请参阅图8，数据源接口子模块负责与不同的数据源进行交互，包括图库、API接口，以获取图片数据；
搜索关键词子模块接收用户输入的关键词，用于从数据源中检索相关的图片；
下载与缓存子模块将从数据源获取的图片进行下载，并进行缓存，以便后续的处理和使用；
低级视觉特征提取子模块提取图片的基本特征，包括颜色、纹理、形状特征；
高级语义特征提取子模块使用深度学习和自然语言处理技术，从图片中提取更高层次的语义特征，包括物体、场景、情感；
特征存储与关联子模块将提取的特征存储到数据库或其他存储介质中，并建立特征与图片之间的关联关系，以便后续的检索和分析；
图像标签识别子模块使用计算机视觉技术，识别图片中的标签或关键词，以描述图片的内容或主题；
文字识别子模块通过光学字符识别OCR技术，将图片中的文字转换为可编辑的文本形式，以便后续的主题分析和关联；
主题描述生成子模块根据图片的特征和识别结果，生成对图片主题的描述或摘要；
相似度计算子模块通过比较图片之间的特征相似度，计算出它们之间的相似性分数，用于后续的多样性计算和图片选择；
聚类分组子模块将图片根据其特征或主题进行聚类，将相似的图片放在一起，以便于后续的多样性计算和图片选择；
多样性指标计算子模块基于相似度和聚类结果，计算图片集合的多样性指标，评估图片集合的多样性程度；
多样性阈值与权重设置子模块允许用户根据需求设定多样性的阈值和权重，以调整系统在选择图片时的多样性水平；
代表性图片筛选子模块基于多样性计算和用户设定的阈值，筛选出集合中代表性较高的图片；
排序与展示功能子模块将选择的图片基于相似度、多样性得分降序方式呈现给用户。
工作原理：首先，系统需要准备和整理大量的图片数据，并对这些图片进行特征提取。低级视觉特征提取子模块可以提取图片的颜色、纹理、形状等视觉特征，而高级语义特征提取子模块则能通过对象识别、场景理解等技术提取出图片的语义信息。这样，系统能够以数值表示每张图片的特征。
接下来，利用特征表示的图片进行相似性和相关性计算。系统通过相似度计算子模块计算不同图片之间的相似度，得到相似性得分。相关性计算则通过比较图片与用户查询或选定主题之间的相关性，获得相关性分数。这些分数反映了图片与主题之间的相关程度。
在相关性计算的基础上，系统进行聚类分组和多样性指标计算。聚类分组子模块使用聚类算法将相关性高的图片归类到同一组，形成不同的图片群组。而多样性指标计算子模块则衡量每个群组内部和群组之间的多样性程度，基于不同的指标计算出多样性度量值。
最后，在综合考虑相关性权重和多样性权重的基础上，系统计算每张图片的综合评分。通过设定适当的权重，相关性较高的图片和多样性较高的图片会得到更高的评分。最终，系统自动选择出具有代表性和多样性的图片集合作为最终结果，以展示给用户。
通过以上步骤，图片主题内容多样性计算与自动选择方法能够高效地选取与用户需求相关且具有多样性的图片集合。这种方法的应用能够节省用户的时间和精力，提高工作效率，并确保所选取的图片集合在主题内容上具有代表性和多样性。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.图片主题内容多样性计算与自动选择方法，其特征在于，包括以下步骤：
图片数据集准备，并对所述图片数据集执行特征提取，获取特征向量；
基于所述特征向量执行相关性计算，获得相关性分数；
基于所述特征向量执行多样性计算，获得多样性度量值；
综合评分所述相关性分数及所述多样性度量值，获得最终得分，基于所述最终得分自动选择。
2.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述数据准备的步骤具体为：
使用公开的图像库ImageNet收集或获取与给定主题相关的图片数据集；
确保所选图片涵盖给定主题的不同方面，包括不同视角、不同场景、不同对象；
基于包括图像缩放、裁剪、旋转、正规化、标准化的预处理操作，减少数据的冗余性、增加数据的可用性；
采用数据增强技术，对原始图像进行随机变换，包括翻转、旋转、平移、缩放、调整亮度和对比度操作，生成更多的训练样本，扩充数据集规模。
3.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述特征提取的步骤具体为：
选择卷积神经网络CNN模型，对所述图片数据集进行特征提取；
将所述图片数据集的图片输入卷积神经网络CNN模型中，采用前向传播计算，在前向传播过程中，图像通过一系列的卷积、池化和激活函数操作，逐步提取出越加抽象和高级的特征表示；
对于中间层特征提取，在较浅层的卷积层获取低级特征，包括边缘、纹理，并在较深的卷积层获取高级特征，包括物体的形状、部件，结合多个层级的特征以获得更丰富的信息，特征提取过程中，采用注意力机制增强特征的重要性和表达能力，应用空间金字塔池化技术捕捉多尺度的特征；
将卷积层后的特征通过全连接层进行降维和压缩，得到更加抽象和高级的特征表示，通过提取全连接层的特征向量，执行分类、检测任务。
4.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述相关性计算的步骤具体为：
选择弦相似度作为相似度度量方法；
对于所述图片数据集中每张图片的所述特征向量和给定主题的特征向量，进行相似度计算，在相似度计算过程中，使用具体为主成分分析的降维方法将特征向量的维度减少，以提高计算效率和降低噪声的影响；
采用相关性分数计算公式，获取相关性分数，表示该张图片与给定主题的相关程度；
所述相关性分数计算公式具体为，相关性分数＝(t×f)÷||t||||f||
其中，(t×f)表示主题向量t和特征向量f的内积，||t||表示主题向量t的范数，||f||表示特征向量f的范数。
将每张图片与给定主题的相关性分数进行排序或分类，所有大于等于0.8的相关性分数表示与主题的相关性较高，所有小于0.8的相关性分数表示与主题的相关性较低。
5.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述多样性计算的步骤具体为：
计算特征向量的均值；
计算差值向量；
计算方差和标准差。
6.根据权利要求5所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述计算特征向量的均值具体为，
其中，mean表示向量均值，n表示特征向量的数量，feature_vector表示一个特征向量
所述计算差值向量具体为，deviation_vector＝feature_vector-mean；
其中，deviation_vecto表示差值向量；
所述差值向量表示每个特征向量与均值向量之间的差异；
所述计算方差和标准差具体为，
其中，variance表示方差，standard_deviation表示标准差。
7.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述综合评分的步骤具体为：
将相关性分数和多样性度量值进行归一化，将它们的取值范围映射到一个统一的范围；
结合相关性和多样性，使用加权综合的方法，对归一化后的相关性分数和多样性度量值进行加权求和，根据权重设置平衡相关性和多样性，得到综合评分；
将综合评分应用于每张图片，得到每张图片的所述最终得分。
8.根据权利要求1所述的图片主题内容多样性计算与自动选择方法，其特征在于，所述自动选择的步骤具体为：
将所有图片根据所述最终得分进行排序，按照得分从高到低的顺序排列；
根据需求，设定阈值来筛选出满足特定要求的图片，所述阈值包括绝对值和相对值；
根据具体需求选择单个或多个图片作为最终结果。
9.图片主题内容多样性计算与自动选择系统，其特征在于，由图片获取模块、图片特征提取模块、图片主题分析模块、图片多样性计算模块、图片自动选择模块组成；
所述图片获取模块包括数据源接口子模块、搜索关键词子模块、下载与缓存子模块，所述图片获取模块的输出端与图片特征提取模块的输入端通讯连接；
所述图片特征提取模块包括低级视觉特征提取子模块、高级语义特征提取子模块、特征存储与关联子模块，所述图片特征提取模块的输出端与图片主题分析模块的输入端通讯连接；
所述图片主题分析模块包括图像标签识别子模块、文字识别子模块、主题描述生成子模块，所述片主题分析模块的输出端与图片多样性计算模块的输入端通讯连接；
所述图片多样性计算模块包括相似度计算子模块、聚类分组子模块、多样性指标计算子模块，所述图片多样性计算模块的输出端与图片自动选择模块的输入端通讯连接；
所述图片自动选择模块包括多样性阈值与权重设置子模块、代表性图片筛选子模块、排序与展示功能子模块。
10.根据权利要求9所述的图片主题内容多样性计算与自动选择系统，其特征在于，所述数据源接口子模块负责与不同的数据源进行交互，包括图库、API接口，以获取图片数据；
所述搜索关键词子模块接收用户输入的关键词，用于从数据源中检索相关的图片；
所述下载与缓存子模块将从数据源获取的图片进行下载，并进行缓存，以便后续的处理和使用；
所述低级视觉特征提取子模块提取图片的基本特征，包括颜色、纹理、形状特征；
所述高级语义特征提取子模块使用深度学习和自然语言处理技术，从图片中提取更高层次的语义特征，包括物体、场景、情感；
所述特征存储与关联子模块将提取的特征存储到数据库或其他存储介质中，并建立特征与图片之间的关联关系，以便后续的检索和分析；
所述图像标签识别子模块使用计算机视觉技术，识别图片中的标签或关键词，以描述图片的内容或主题；
所述文字识别子模块通过光学字符识别OCR技术，将图片中的文字转换为可编辑的文本形式，以便后续的主题分析和关联；
所述主题描述生成子模块根据图片的特征和识别结果，生成对图片主题的描述或摘要；
所述相似度计算子模块通过比较图片之间的特征相似度，计算出它们之间的相似性分数，用于后续的多样性计算和图片选择；
所述聚类分组子模块将图片根据其特征或主题进行聚类，将相似的图片放在一起，以便于后续的多样性计算和图片选择；
所述多样性指标计算子模块基于相似度和聚类结果，计算图片集合的多样性指标，评估图片集合的多样性程度；
所述多样性阈值与权重设置子模块允许用户根据需求设定多样性的阈值和权重，以调整系统在选择图片时的多样性水平；
所述代表性图片筛选子模块基于多样性计算和用户设定的阈值，筛选出集合中代表性较高的图片；
所述排序与展示功能子模块将选择的图片基于相似度、多样性得分降序方式呈现给用户。
CN202310977202.0A 2023-08-04 2023-08-04 图片主题内容多样性计算与自动选择方法及系统 Pending CN116935138A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310977202.0A CN116935138A (zh) 2023-08-04 2023-08-04 图片主题内容多样性计算与自动选择方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310977202.0A CN116935138A (zh) 2023-08-04 2023-08-04 图片主题内容多样性计算与自动选择方法及系统

Publications (1)

Publication Number Publication Date
CN116935138A true CN116935138A (zh) 2023-10-24

Family

ID=88382561

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310977202.0A Pending CN116935138A (zh) 2023-08-04 2023-08-04 图片主题内容多样性计算与自动选择方法及系统

Country Status (1)

Country Link
CN (1) CN116935138A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725146A (zh) * 2023-12-22 2024-03-19 中信出版集团股份有限公司 一种基于人工智能的网络信息加工处理系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117725146A (zh) * 2023-12-22 2024-03-19 中信出版集团股份有限公司 一种基于人工智能的网络信息加工处理系统和方法
CN117725146B (zh) * 2023-12-22 2024-09-10 中信出版集团股份有限公司 一种基于人工智能的网络信息加工处理系统和方法

Similar Documents

Publication Publication Date Title
CN106919920B (zh) 基于卷积特征和空间视觉词袋模型的场景识别方法
CN107683469A (zh) 一种基于深度学习的产品分类方法及装置
US20150178321A1 (en) Image-based 3d model search and retrieval
EP2064677A1 (en) Extracting dominant colors from images using classification techniques
CN110175249A (zh) 一种相似图片的检索方法及系统
CN109710804B (zh) 一种教学视频图像知识点降维分析方法
CN108764084A (zh) 基于空域分类网络和时域分类网络融合的视频分类方法
CN110008365B (zh) 一种图像处理方法、装置、设备及可读存储介质
CN109308324A (zh) 一种基于手绘风格推荐的图像检索方法及系统
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN107622071B (zh) 通过间接相关反馈在无查源下的衣服图像检索系统及方法
CN103778206A (zh) 一种网络服务资源的提供方法
CN116935138A (zh) 图片主题内容多样性计算与自动选择方法及系统
CN108647729A (zh) 一种用户画像获取方法
KR20190008699A (ko) 토픽 모델링 기반 시맨틱 이미지 검색 방법, 시스템 및 컴퓨터 프로그램
CN115393666A (zh) 图像分类中基于原型补全的小样本扩充方法及系统
AU2019100969A4 (en) Chinese Food Recognition and Search System
Hung A study on a content-based image retrieval technique for Chinese paintings
CN115203408A (zh) 一种多模态试验数据智能标注方法
CN114358279A (zh) 图像识别网络模型剪枝方法、装置、设备及存储介质
CN113705310A (zh) 特征学习的方法、目标物体的识别方法和对应装置
Pandey et al. A hierarchical clustering approach for image datasets
CN111768214A (zh) 产品属性的预测方法、系统、设备和存储介质
Cao et al. Research about image mining technique
CN113641824A (zh) 基于深度学习的文本分类系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination