CN115082732A - 图像分类方法及装置、存储介质及电子设备 - Google Patents

图像分类方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
CN115082732A
CN115082732A CN202210681812.1A CN202210681812A CN115082732A CN 115082732 A CN115082732 A CN 115082732A CN 202210681812 A CN202210681812 A CN 202210681812A CN 115082732 A CN115082732 A CN 115082732A
Authority
CN
China
Prior art keywords
image
vector
projection length
target
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210681812.1A
Other languages
English (en)
Inventor
李响
韦怡
陈嘉伟
王文涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210681812.1A priority Critical patent/CN115082732A/zh
Publication of CN115082732A publication Critical patent/CN115082732A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，具体涉及一种图像分类方法及装置、计算机可读存储介质及电子设备，该方法包括：获取待处理图像的目标特征向量；获取多张参考图像，并对多张参考图像进行主成分分析得到参考向量；其中，多张参考图像为分类结果中的同一类图像；确定目标特征向量在参考向量形成的空间上的投影长度；根据投影长度对待处理图像进行分类。本公开实施例的技术方案提高图像分类的精度，降低图像分类的计算量。

Description

图像分类方法及装置、存储介质及电子设备
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像分类方法及装置、计算机可读存储介质及电子设备。
背景技术
在基于图像类的物体识别分类的使用越来广泛，用户对图像分类方法的要求也越来越大。
相关技术中的图像分类方法计算量较大，且精度较低。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像分类方法、图像分类装置、计算机可读介质和电子设备，进而至少在一定程度上提高图像分类的精度，降低图像分类的计算量。
根据本公开的第一方面，提供一种图像分类方法，包括：获取所述待处理图像的目标特征向量；获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量；确定所述目标特征向量在所述参考向量上的投影长度；根据所述投影长度对所述待处理图像进行分类。
根据本公开的第二方面，提供一种图像分类装置，包括：获取模块，用于获取所述待处理图像的目标特征向量；分析模块，用于获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量；确定模块，用于确定所述目标特征向量在所述参考向量上的投影长度；分类模块，用于根据所述投影长度对所述待处理图像进行分类。
根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第四方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的图像分类方法，获取待处理图像的目标特征向量；获取多张参考图像，并对多张参考图像进行主成分分析得到参考向量；确定目标特征向量在参考向量形成的空间上的投影长度；根据投影长度和预设阈值对待处理图像进行分类。相较于现有技术，对多张所述参考图像进行主成分分析得到参考向量，通过待处理图像的目标特征图像在参考向量形成的空间上的投影长度与预设阈值的关系完成对图像的分类，没有使用神经网络，无需训练模型以及人工标注，计算量较小，同时，利用多个参考图像作为标准来对上述待处理图像进行分类，提升了对图像分类的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图2示意性示出本公开示例性实施例中一种图像分类方法的流程图；
图3示意性示出本公开示例性实施例中一种同一图像不同通道的对比图；
图4示意性示出本公开示例性实施例中一种清晰图像与模糊图像的频谱对比图；
图5示意性示出本公开示例性实施例中一种获取目标特征向量的流程图；
图6示意性示出本公开示例性实施例中一种获取参考向量的流程图；
图7示意性示出本公开示例性实施例中一种计算参考向量的流程图；
图8示意性示出本公开示例性实施例中一种计算投影长度的流程图；
图9示意性示出本公开示例性实施例中一种对目标特征向量进行检测的空间向量图；
图10示意性示出本公开示例性实施例中一种图像分类方法的数据流向图；
图11示意性示出本公开示例性实施例中图像分类装置的组成示意图；
图12示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
相关技术中，在基于图像类的物体识别分类过程中，通常需要对图像进行预处理，图像模糊检测就是其中的一部分。当拍摄的图像比较模糊时，往往会影响识别分类的准确性，我们需要在预处理的过程中检测出图像是否模糊，以提高识别的准确性。除此之外，在深度学习领域，图像模糊检测又往往应用于训练数据清洗，清洗掉数据库中非常模糊的图像更有利于神经网络模型的收敛。
相关技术中的图像模糊检测算法有以下几类：
第一类计算像素值的梯度变换，使用不同算子对图像做卷积操作，提取不同种类的梯度，梯度变换越明显，则图像越清晰，常见的算子如Sobel算子、Laplacian算子。但是鲁棒性不强，针对不同的场景都需要人为的设置参考阈值，在不同场景下的阈值差别非常大，并且算法的准确率并不高。
另一种基于图像灰度值的方差计算，当图像最清晰时，图像的高频信息最多，因此灰度方差最大。但是不适用于纯色场景或者部分模糊场景的图像。
再一种是利用深度学习方法来进行模糊检测，将图像进行标注后送入神经网络模型训练，根据损失函数来迭代神经网络模型，最终实现图像模糊检测的任务。但是需要比较大的计算量，同时需要人工标注大量的数据集。
基于上述问题，本公开提出一种图像分类方法，可以应用于上述模糊检测场景，图1示出了能够实现上述图像分类方法的系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像分类相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
在一种实施方式中，可以由终端110执行上述图像分类方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取待处理图像后，由终端110对该图像进行分类，输出分类结果。
在一种实施方式中，可以由服务器120可以执行上述图像分类方法。例如，用户使用终端110拍摄图像或者用户在终端110的相册中选取待处理图像后，终端110将该图像上传至服务器120，由服务器120对该图像进行分类，向终端110返回分类结果。
由上可知，本示例性实施方式中的图像分类方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。
下面结合图2对本示例性实施方式中的图像分类方法进行说明，图2示出了该图像质量评价方法的示例性流程，可以包括：
步骤S210，获取所述待处理图像的目标特征向量；
步骤S220，获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量；
步骤S230，确定所述目标特征向量在所述参考向量上的投影长度；
步骤S240，根据所述投影长度对所述待处理图像进行分类。
基于上述方法，对多张所述参考图像进行主成分分析得到参考向量，通过待处理图像的目标特征图像在参考向量形成的空间上的投影长度与预设阈值的关系完成对图像的分类，没有使用神经网络，无需训练模型以及人工标注，计算量较小，同时，利用多个参考图像作为标准来对上述待处理图像进行分类，提升了对图像分类的精度。
下面对图2中的每个步骤进行具体说明。
参考图2，在步骤S210中，获取所述待处理图像的目标特征向量。
在一示例性实施例中，上述待处理图像可以由手机或者平板电脑移动终端的显微图像，拍摄时的放大倍率可以大于等于0.5且小于等于0.8，例如0.6、0.62等，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定，显微图像的分辨率可以是1um-5um之间，利用显微图像能够更精准的待处理图像上的特征，提升图像分类的精确度。
需要说明的是，本公开中的显微图像还可以泛指分辨率达到预设精度的图像，例如，泛指分辨率达在1um-5um之间的图像，只要拍摄设备能够达到上述精度即可，在本示例实施方式中不做拍摄设备做具体限定。
在本示例实施方式中，若上述待处理图像为RGB图像，上述图像分类可以是判断图像是否是清晰图像，则可以首先将上述待处理图像转换为YUV图像，提取Y通道的灰度分布。参照图3所示，由于在YUV图像中，Y通道的图像包含了大量的纹理细节，而U、V通道图像主要是色彩信息，为低频信息，因此，在判断图像是否是清晰图像可以舍弃，此时，只采用Y通道的数据能够降低计算量。
需要说明的是，在不同的场景下可以选取不同通道的图像来计算频谱特征，不局限于只采用Y通道的图像。
在本示例实施方式中，可以利用转换公式，将上述RGB图像转换为YCbCr图像，转换公式如下：
Y＝0.257*R+0.504*G+0.098*B+16
Cb＝-0.148*R-0.291*G+0.439*B+128
Cr＝0.439*R-0.368*G-0.071*B+128
根据上述公式，对每个像素值做变换，转换为YCbCr图像。
在得到上述Y通道图像之后，可以确定上述Y通道图像目标频谱特征，具体而言，可以首先对上述Y通道图像进行离散傅里叶变化得到上述频谱图像，具体的转换公式如下：
Figure BDA0003698683510000061
其中，a，b为空域坐标，u，v为频域坐标，经过傅里叶变换后，频域上的每个值为复数。A和B分别表示Y通道图像的第一方向的像素数量以及第二方向的像素数量，其中第一方向和第二方向重合。
在得到上述频谱图像之后，计算上述频谱图像中每一个像素的模值进而得到上述目标频谱特征。具体而言，假设频域(u，v)坐标的频谱值是c+di，i为虚部符号，则模值为：
Figure BDA0003698683510000062
在本示例实施方式中，在上述分类为对清晰图像以及模糊图像进行分类时，参照图4所示，由于清晰图像和模糊图像的频域分布特征差异十分明显，清晰图像的频谱特征中，高频有较多分量保留，而模糊图像的频谱，能量主要集中在中心低频区域。根据频谱对图像进行模糊程度检测进而对待处理图像进行精准分类。
在本示例实施方式中，获取上述待处理推向的目标特征向量时，可以包括步骤S510至步骤S520。
在步骤S510中，获取所述目标频谱特征相对称的互为对称部分的中间频谱特征。
在本示例实施方式中，参照图6所示，上述目标频谱特征具有共轭对称性，因此只需要获取上述目标频谱特征中互为对称部分的中间频谱特征计算即可，可以降低计算过程中的计算量。
在步骤S520中，对所述中间频谱特征进行后处理得到所述目标特征向量。
在本示例实施方式中，假设原始图像是B行A列图像，在进行傅里叶变换后获得B行A列的目标频谱特征，取一半频谱获得一个B/2行A列的中间频谱特征，然后将上述中间频谱特征进行后处理，即重新排列成一个1行B/2*A列的向量
Figure BDA0003698683510000071
作为上述目标特征向量。
在步骤S220中，获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量。
在本公开的一种示例实施方式中，以上述分类为种类为清晰图像和模糊图像为例对上述步骤进行详细说明，
在本示例实施方式中，上述多张参考图像可以是清晰图像，在对上述多张参考图像进行主成分分析得到参考向量时，可以包括步骤S610至步骤S630。
在步骤S610中，确定各所述参考图像的参考频谱特征。
在本示例实施方式中，上述参考图像可以是RGB图像，也可以是YUV图像，若上述参考图像为RGB图像，则可以使用上述转换公式将上述参考图像转换为YUV图像，然后提取上述上述参考图像的Y通道参考图像，然后可以对上述Y通道参考图像进行离散傅里叶变化得到参考频谱图像，在得到上述参考频谱图像之后，可以计算参考频谱图像中的每一个像素对应的模值，然后计算模值之后的参考频谱图像战来得到得到各参考图像的一维向量，将各参考图像的以为一维向量作为各参考图像的参考频谱特征。
需要说明的是，转换公式以及离散傅里变化的具体步骤上述对待处理图像进行说明时已经进行了详细介绍，因此，此处不再赘述。其次，在不同的场景下可以选取不同通道的图像来计算频谱特征，不局限于只采用Y通道的图像。
在步骤S620中，根据所述参考频谱特征和所述参考图像的数量确定多张多数参考图像的数据特征向量。
在本示例实施方式中，可以确定上述参考图像的数量，假设上述参考图像的数量为m，上述参考频谱特征为1*n的向量，则上述数据特征向量可以表示为m*n的向量。计上述数据特征向量为S，则S的形状为m*n。
在步骤S630中，对所述数据特征向量进行主成分分析得到所述参考向量。
在对上述数据特征向量进行主成分分析时可以包括步骤S710至步骤S730。
在步骤S710中，对所述数据特征向量进行去均值处理和方差归一化处理得到中间向量。
在本示例实施方式中，可以首选获取上述数据特征向量各元素的均值，并利用原有元素的值减去上述均值完成去均值处理，然后可以计算上述数据特征向量中的各个元素的方差，然后利用将各元素除以上述方差完成方差归一化处理得到上述中间向量。
在步骤S720中，计算所述中间向量的协方差矩阵，并确定所述协方差矩阵的特征值和候选特征向量，其中所述特征值与所述候选特征向量一一对应。
在本示例实施方式中，可以计算上述中间向量的协方差矩阵，具体而言，计中间向量为K，计算K的协方差矩阵
Figure BDA0003698683510000081
其中，C表示协方差矩阵，m表示参考图像的数量。
在得到上述协方差矩阵之后，可以计算上述协方差矩阵的特征值以及各特征值所对应的候选特征向量，其中上述输特征值与上述候选特征向量一一对应。其中，计算协方差矩阵的特征值以及特征值对应的候选特征向量的过程在相关技术中已经较为成熟，因此，此处不再赘述。
在步骤S730中，根据所述特征值对所述候选特征向量排序，根据排序结果选取部分所述候选特征构成所述参考向量。
在本示例实施方式中，上述参考向量可以包括主成分向量和残差向量，在计算上述参考向量时，可以对上述特征值的大小对上述候选特征向量进行排序，建设上述候选特征向量的数量为n，根据上述排序，取前k个候选特征向量作为主成分向量，将后面的n-k个候选特征向量作为残差向量。在本示例实施方式中，可以根据上述特征值由大到小进行排序，在另一种示例实施方式中，还可以由小到进行排序，不同的排序代表主成分图像对应的分类不同，可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在步骤S230，确定所述目标特征向量在所述参考向量形成空间上的投影长度。
在本公开的一种示例实施方式中，在计算上述投影长度时，可以包括步骤S810至步骤S820。
在步骤S810中，确定所述目标特征向量在所述参考向量形成空间上的投影距离。
在步骤S820中，利用所述目标特征向量与所述投影距离做差得到所述投影长度。
在本示例实施方式中，上述参考向量可以是主成分向量，也可以时残差向量，可以将上述多个主成分向量构成的空间，即主成分空间表征为由多个主成分向量构成的主成分特征矩阵，同理，可以将上述多个残差向量构成的空间，即残差空间表征为残差特征矩阵。
在本公开的一种示例实施方式中，可以通过投影长度计算公式计算上述投影长度，计算公式如下：
Xr＝X-X*P*PT
其中，X为上述目标特征向量，P为上述参考向量形成的空间，Xr计算长度为||Xr||。即，上述P可以是上述主成分特征矩阵，也可以是上述残差特征矩阵。
举例而言，假设原始图像是B行A列图像，在进行傅里叶变换后获得B行A列的目标频谱特征，取一半频谱获得一个B/2行A列的中间频谱特征，然后将上述中间频谱特征重新排列成一个1行B/2*A列的向量
Figure BDA0003698683510000091
作为上述目标特征向量。
若上述参考向量为主成分向量，则可以计算第一投影长度，具体如下：
Figure BDA0003698683510000092
其中乘法为矩阵乘法，求Xr向量的长度，计算公式如下：
Figure BDA0003698683510000093
若上述参考向量为残差向量，则可以计算第二投影长度，具体如下：
Figure BDA0003698683510000101
其中乘法为矩阵乘法，求Xr向量的长度，则计算公式如下:
Figure BDA0003698683510000102
步骤S240，根据所述投影长度对所述待处理图像进行分类。
在本公开的一种示例实施方式中，可以根据上述投影长度以及预设阈值来对上述待处理图像进行分类，其中，上述预设阈值可以包括第一一预设阈值和第二预设阈值。
在本公开的一种示例实施方式中，可以利用上述第一预设阈值和上述第一投影长度对上述待处理图像进行分类，以上述分类结果为清晰图形和模糊图像，主成分图像为清晰图像为例进行说明，若上述第一投影长度小于上述第一预设阈值，则判定上述待处理图像为模糊图像，若上述第一投影长度大于上述第一预设阈值，则判定上述待处理图像为清晰图像。
在本公开的另一种示例实施方式中，参照图9所示，可以利用上述第二预设阈值和上述第二投影长度对上述待处理图像进行分类，以上述分类结果为清晰图形和模糊图像，主成分图像为清晰图像为例进行说明，若上述第二投影长度小于上述第二预设阈值，则判定上述待处理图像为清晰图像，若上述第二投影长度大于上述第二预设阈值，则判定上述待处理图像为模糊图像。
需要说明的是，上述第一预设阈值以及第二预设阈值的值可以根据图像的不同进行自定义，在本示例实施方式中不做具体限定。
在本公开的另一种示例实施方式中，可以获取多张待处理图像的投影长度，然后对根据上述投影长度对上述待处理图像进行聚类以完成对上述待处理图像的分类。
下面参照图10对本公开的图像分类方法的一种实施例的整体流程进行详细说明，首先可以执行步骤S1001，获取多张参考图像，然后执行步骤S1002，对所述参考图像进行色彩空间转换，将多张参考图像变换为YUV参考图像，之后执行步骤S1003，对Y通道的参考图像进行傅里叶变化得到参考频谱特征，然后执行步骤S1004，根据上述参考频谱特征对参考图像进行主成分分析得到参考向量。之后执行步骤S1005，获取待处理图像，然后执行步骤S1006，对上述待处理图像色彩空间转换，将待处理图像的格式变换为YUV目标图像，之后执行步骤S1007，对Y通道的待处理图像进行傅里叶变化得到目标频谱频谱特征，然后执行步骤S1008，利用上述目标频谱特征得到目标特征向量，之后执行步骤S1009，确定所述目标特征向量在所述参考向量形成的空间上的投影长度，执行步骤S1010，根据上述投影长度对上述待处理图像进行分类得到分类结果。
需要说明的是，上述各个步骤的具体细节上述已将进行了详细说明，因此，此处不再追赘述。
综上所述，本示例性实施方式中，对多张所述参考图像进行主成分分析得到参考向量，通过待处理图像的目标特征图像在参考向量形成的空间上的投影长度与预设阈值的关系完成对图像的分类，没有使用神经网络，无需训练模型以及人工标注，计算量较小，同时，利用多个参考图像作为标准来对上述待处理图像进行分类，提升了对图像分类的精度，同时在计算参考向量以及目标特征向量时，可以只采用Y通道的图像进行计算，减少了图像分类的计算量。同时，在计算上述目标特征图像是，利用了待处理图像对应的一半的目标频谱特征，进一步的降低了图像分类的计算量，由于目标频谱特征是对称的，采用相互对称的一半的目标频谱特征也能够保证对图像分类的精度。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图11所示，本示例的实施方式中还提供一种图像分类装置1100，包括获取模块1110、分析模块1120、确定模块1130和分类模块1140。其中：
获取模块1110可以用于获取所述待处理图像的目标特征向量。
在本公开的一种示例实施方式中，获取模块1110可以宝配置为提取所述待处理图像的YUV图像中的Y通道图像；确定所述Y通道图像中的目标频谱特征；基于所述目标频谱特征得到所述目标特征向量。
在本示例实施方式中，所述目标频谱特征具有共轭对称性，在基于所述目标频谱特征得到所述目标特征向量时，获取模块1110可以宝配置为获取所述目标频谱特征中互为对称部分的中间频谱特征；对所述中间频谱特征进行后处理得到所述目标特征向量。
分析模块1120可以用于获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量。
在本公开的一种示例实施方式中，分析模块1120可以被配置为确定各所述参考图像的参考频谱特征；根据所述参考频谱特征和所述参考图像的数量确定多张所述参考图像的数据特征向量；对所述数据特征向量进行主成分分析得到所述参考向量。
在本示例实时方式中，在对所述数据特征向量进行主成分分析得到所述参考向量时，分析模块1120可以被配置为对所述数据特征向量进行去均值处理和方差归一化处理得到中间向量；计算所述中间向量的协方差矩阵，并确定所述协方差矩阵的特征值和候选特征向量，其中所述特征值与所述候选特征向量一一对应；根据所述特征值对所述候选特征向量排序，根据排序结果选取部分所述候选特征构成所述参考向量。
确定模块1130可以用于确定所述目标特征向量在所述参考向量上的投影长度。
在一种示例实施方式中，确定模块1130可以被配置为确定所述目标特征向量在所述参考向量上的投影距离；利用所述目标特征向量与所述投影距离做差得到所述投影长度。
分类模块1140可以用于根据所述投影长度对所述待处理图像进行分类。
在一种示例实施方式中，分类模块1140可以被配置为根据所述投影长度和预设阈值对所述待处理图像进行分类。
在本示例实施方式中，所述参考向量包括主成分向量和残差向量，所述投影长度包括第一投影长度和第二投影长度，其中，所述第一投影长度表征所述目标特征向量在所述主成分向量形成空间上的投影长度，所述第二投影长度表征所述目标特征向量在所述残差向量形成的空间上的投影长度；所述预设阈值包括第一预设阈值和第二预设阈值，在根据所述投影长度和预设阈值对所述待处理图像进行分类时，分类模块1140可以被配置为根据所述第一投影长度和所述第一预设阈值对所述待处理图像进行分类；或根据所述第二投影长度和所述第二预设阈值对所述待处理图像进行分类。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供一种用于执行上述图像分类方法的电子设备，该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像图像分类方法。
下面以图12中的移动终端1200为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。
如图12所示，移动终端1200具体可以包括：处理器1201、存储器1202、总线1203、移动通信模块1204、天线1、无线通信模块1205、天线2、显示屏1206、摄像模块1207、音频模块1208、电源模块1209与传感器模块1210。
处理器1201可以包括一个或多个处理单元，例如：处理器1201可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像分类方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。
编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原出目标图像的数据，进而对该数据进行图像分类的相关处理。移动终端1200可以支持一种或多种编码器和解码器。这样，移动终端1200可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(PortableNetwork Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(MovingPicture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High EfficiencyVideo Coding，高效率视频编码)等视频格式。
处理器1201可以通过总线1203与存储器1202或其他部件形成连接。
存储器1202可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器1201通过运行存储在存储器202的指令，执行移动终端1200的各种功能应用以及数据处理。存储器1202还可以存储应用数据，例如存储图像，视频等文件。
移动终端1200的通信功能可以通过移动通信模块1204、天线1、无线通信模块1205、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1204可以提供应用在移动终端1200上2G、3G、4G、5G等移动通信解决方案。无线通信模块1205可以提供应用在移动终端1200上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏1206用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1207用于实现拍摄功能，如拍摄图像、视频等，摄像模组还可以用于拍摄显微图像，即以预设倍率放大拍摄图像，关于显微图像的具体内容可以参考图像分类方法中的说明，在此不再赘述。音频模块1208用于实现音频功能，如播放音频，采集语音等。电源模块1209用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1210可以包括深度传感器12101、压力传感器12102、陀螺仪传感器12103、气压传感器12104等，以实现相应的感应检测功能。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种图像分类方法，其特征在于，包括：
获取所述待处理图像的目标特征向量；
获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量；其中，多张所述参考图像为分类结果中的同一类图像；
确定所述目标特征向量在所述参考向量形成的空间上的投影长度；
根据所述投影长度对所述待处理图像进行分类。
2.根据权利要求1所述的方法，其特征在于，所述对多张所述参考图像进行主成分分析得到参考向量包括：
确定各所述参考图像的参考频谱特征；
根据所述参考频谱特征和所述参考图像的数量确定多张所述参考图像的数据特征向量；
对所述数据特征向量进行主成分分析得到所述参考向量。
3.根据权利要求2所述的方法，其特征在于，所述对所述数据特征向量进行主成分分析得到所述参考向量包括：
对所述数据特征向量进行去均值处理和方差归一化处理得到中间向量；
计算所述中间向量的协方差矩阵，并确定所述协方差矩阵的特征值和候选特征向量，其中所述特征值与所述候选特征向量一一对应；
根据所述特征值对所述候选特征向量排序，根据排序结果选取部分所述候选特征构成所述参考向量。
4.根据权利要求1所述的方法，其特征在于，所述图像分类包括图像清晰度分类，获取所述待处理图像的目标特征向量，包括：
提取所述待处理图像的YUV图像中的Y通道图像；
确定所述Y通道图像中的目标频谱特征；
基于所述目标频谱特征得到所述目标特征向量。
5.根据权利要求4所述的方法，其特征在于，所述目标频谱特征具有共轭对称性；
所述基于所述目标频谱特征得到所述目标特征向量包括：
获取所述目标频谱特征中互为对称部分的中间频谱特征；
对所述中间频谱特征进行后处理得到所述目标特征向量。
6.根据权利要求1所述的方法，其特征在于，所述确定所述目标特征向量在所述参考向量上的投影长度包括：
确定所述目标特征向量在所述参考向量上的投影距离；
利用所述目标特征向量与所述投影距离做差得到所述投影长度。
7.根据权利要求1所述的方法，其特征在于，根据所述投影长度对所述待处理图像进行分类包括：
根据所述投影长度和预设阈值对所述待处理图像进行分类。
8.根据权利要求7所述的方法，其特征在于，所述参考向量包括主成分向量和残差向量，所述投影长度包括第一投影长度和第二投影长度，其中，所述第一投影长度表征所述目标特征向量在所述主成分向量形成空间上的投影长度，所述第二投影长度表征所述目标特征向量在所述残差向量形成的空间上的投影长度；
所述预设阈值包括第一预设阈值和第二预设阈值，所述根据所述投影长度和预设阈值对所述待处理图像进行分类包括：
根据所述第一投影长度和所述第一预设阈值对所述待处理图像进行分类；或
根据所述第二投影长度和所述第二预设阈值对所述待处理图像进行分类。
9.一种图像分类装置，其特征在于，包括：
获取模块，用于获取所述待处理图像的目标特征向量；
分析模块，用于获取多张参考图像，并对多张所述参考图像进行主成分分析得到参考向量；
确定模块，用于确定所述目标特征向量在所述参考向量上的投影长度；
分类模块，用于根据所述投影长度对所述待处理图像进行分类。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的图像分类方法。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的图像分类方法。
CN202210681812.1A 2022-06-16 2022-06-16 图像分类方法及装置、存储介质及电子设备 Pending CN115082732A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210681812.1A CN115082732A (zh) 2022-06-16 2022-06-16 图像分类方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210681812.1A CN115082732A (zh) 2022-06-16 2022-06-16 图像分类方法及装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN115082732A true CN115082732A (zh) 2022-09-20

Family

ID=83253071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210681812.1A Pending CN115082732A (zh) 2022-06-16 2022-06-16 图像分类方法及装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN115082732A (zh)

Similar Documents

Publication Publication Date Title
CN111598776B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
US8472745B2 (en) Image processing method, apparatus, program, and recording medium for the same
CN112465801B (zh) 一种分尺度提取掩码特征的实例分割方法
CN109614933B (zh) 一种基于确定性拟合的运动分割方法
CN112614110B (zh) 评估图像质量的方法、装置及终端设备
CN112257855B (zh) 一种神经网络的训练方法及装置、电子设备及存储介质
CN114612987A (zh) 一种表情识别方法及装置
CN114445633A (zh) 图像处理方法、装置和计算机可读存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116050496A (zh) 图片描述信息生成模型的确定方法及装置、介质、设备
Selimović et al. Analysis of content-aware image compression with VGG16
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN115222974A (zh) 特征点匹配方法及装置、存储介质及电子设备
CN114494942A (zh) 视频分类方法及装置、存储介质及电子设备
CN115775350A (zh) 一种图像增强方法和装置、计算设备
CN111612075A (zh) 基于联合特征重组和特征混合的兴趣点、描述符提取方法
CN114139703A (zh) 知识蒸馏方法及装置、存储介质及电子设备
CN113221977B (zh) 一种基于抗混叠语义重构的小样本语义分割方法
US9595113B2 (en) Image transmission system, image processing apparatus, image storage apparatus, and control methods thereof
CN113658122A (zh) 图像质量评价方法、装置、存储介质与电子设备
CN117237761A (zh) 对象重识别模型的训练方法、对象重识别方法和装置
CN116129417A (zh) 一种基于低质量图像的数字仪表读数检测方法
CN115082732A (zh) 图像分类方法及装置、存储介质及电子设备
CN114399648A (zh) 行为识别方法及装置、存储介质及电子设备
Sehli et al. WeLDCFNet: Convolutional Neural Network based on Wedgelet Filters and Learnt Deep Correlation Features for depth maps features extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination