CN109101946A - 一种图像特征的提取方法、终端设备及存储介质 - Google Patents

一种图像特征的提取方法、终端设备及存储介质 Download PDF

Info

Publication number
CN109101946A
CN109101946A CN201810981215.4A CN201810981215A CN109101946A CN 109101946 A CN109101946 A CN 109101946A CN 201810981215 A CN201810981215 A CN 201810981215A CN 109101946 A CN109101946 A CN 109101946A
Authority
CN
China
Prior art keywords
image
gradient
training sample
model
tree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810981215.4A
Other languages
English (en)
Other versions
CN109101946B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810981215.4A priority Critical patent/CN109101946B/zh
Publication of CN109101946A publication Critical patent/CN109101946A/zh
Application granted granted Critical
Publication of CN109101946B publication Critical patent/CN109101946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种图像特征的提取方法、终端设备及计算机可读存储介质，所述方法包括：获取待提取图像的初始特征，通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别，将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征，通过本申请可以提取到能够有效表征图像的目标特征。

Description

一种图像特征的提取方法、终端设备及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种图像特征的提取方法、终端设备及计算机可读存储介质。
背景技术
图像识别，是基于同一类物(例如人脸、风格等)的特征信息进行识别的一种识别技术，例如，人脸识别、风格识别等。随着计算机技术的成熟，图像识别应用在越来越多的领域。
目前，无论用于何种场景，在对图像的特征进行提取时均采用通用的特征提取方式。然而，在对两个图像的风格进行相似度计算时，提取的通用的特征是无法有效表征两个图像的风格；同理，在对两个图像的内容进行相似度计算时，提取的通用的特征也无法有效表征两个图像的内容。因此，目前提取的图像的特征无法有效的表征图像。
发明内容
有鉴于此，本申请实施例提供了一种图像特征的提取方法、终端设备及计算机可读存储介质，以解决目前提取的图像的特征无法有效表征图像的问题。
本申请实施例的第一方面提供了一种图像特征的提取方法，包括：
获取待提取图像的初始特征；
通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
本申请实施例的第二方面提供了一种终端设备，包括：
初始特征获取模块，用于获取待提取图像的初始特征；
特征向量获得模块，用于通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
目标特征获得模块，用于将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例的第五方面提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现本申请实施例第一方面提供的所述方法的步骤。
本申请实施例中首先需要获取待提取图像的初始特征，然后训练构建的梯度提升树模型，若需要提取能够表示待提取图像的风格的目标特征，就需要通过具有风格标签的训练样本对所述梯度提升树模型进行训练，获得梯度提升树模型的中间层叶子节点的特征向量就为与风格相关的特征向量，如果需要提取能够表示待提取图像的内容的目标特征，就需要通过具有内容标签的训练样本对所述梯度提升树模型进行训练，获得梯度提升树模型的中间层叶子节点的特征向量就为与内容相关的特征向量，最后，再将从待提取图像中提取的初始特征与所述特征向量进行融合，获得用于表示所述待提取图像的风格或内容的目标特征，当然，实际中不仅可以获得用于表示所述待提取图像的风格或内容的目标特征，还可以是其它目标类别的目标特征，由于最终获得的待提取图像的目标特征是通过待提取图像的初始特征和与待提取图像的目标类别相关的特征向量融合后获得的，因此，最终获得的目标特征是能够有效表示所述待提取图像的目标类别的特征。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像特征的提取方法的实现流程示意图；
图2是本申请实施例提供的另一种图像特征的提取方法的实现流程示意图；
图3是本申请实施例提供的一种终端设备的示意框图；
图4是本申请实施例提供的另一种终端设备的示意框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
图1是本申请实施例提供的一种图像特征的提取方法的实现流程示意图，如图所示该方法可以包括以下步骤：
步骤S101，获取待提取图像的初始特征。
在本申请实施例中，在对图像进行识别时，或者在对图像进行匹配时，还可以是在计算图像之间的相似度时，均需要获取图像的特征，在实际应用中，可以提取图像的纹理特征、布局特征、颜色特征等。作为举例，局部二值模式(Local Binary Pattern，LBP)是一种用来描述图像局部纹理特征的算子。通过这些特征中的一个或者多个进行与图像相关的识别、匹配或相似度计算等。
本申请实施例中，并非直接使用上述列举的纹理特征、布局特征、颜色特征进行与图像相关的识别、匹配或相似度计算等，而是将这些特征作为初始特征，对所述初始特征进行处理后获得目标特征，再将目标特征作为一幅图像信息的表征。
作为本申请又一实施例，为了能够更好的对一幅图像的信息进行全面的表征，在实际应用中，还可以获取一幅图像多个尺度多个层次的特征作为初始特征，例如，所述获取待提取图像的初始特征包括：
获取所述待提取图像的全局特征和局部特征，所述全局特征包括以下至少一种：全局颜色特征、全局纹理特征、全局空间布局特征，所述局部特征包括以下至少一种：局部颜色特征、局部纹理特征、局部空间布局特征；
将所述全局特征和所述局部特征作为待提取图像的初始特征。
在本申请实施例中，全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和空间布局特征，比如强度直方图等。由于是像素级的低层可视特征，因此，全局特征具有良好的不变性、计算简单、表示直观等特点，全局特征并不适用于图像混叠和有遮挡的情况。
局部特征则是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。局部图像特征具有在图像中蕴含数量丰富，特征间相关度小，遮挡情况下不会因为部分特征的消失而影响其他特征的检测和匹配等特点。局部特征对光照、旋转、视点变化等图像变换具有鲁棒性。
本申请实施例从全局和局部两个尺度提取图像的特征作为待提取图像的初始特征。当然，实际应用中，局部特征还可以是其它层次的特征，例如，角点类和区域类两大类描述方式。
步骤S102，通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别。
在本申请实施例中，梯度提升树模型可以获得分层分布式的图像的表征，采用非可微的组件构建多层模型，从而中间层的输出可以被当作分布式的图像的表征，本申请实施例中利用回归树(决策树)来获得分层和分布式表征。与传统的神经网络采用反向传播法训练不同的是，由于梯度提升树模型中每一个层级函数都是不可微或者非参数化的，所以不能采用反向传播法进行训练，本申请实施例中的梯度提升树模型采用迭代更新正向映射和逆向映射的过程。在训练结束后，就可以获得梯度提升树模型的中间层叶子节点的特征向量。
需要说明的是，若提取的待提取图像的目标特征用于表征图像的风格，则在对所述梯度提升树模型进行训练时，采用的训练样本集为带有图像风格标签的训练样本组成；若提取的待提取图像的目标特征用于表征图像的内容，则在对所述梯度提升树模型进行训练时，采用的训练样本集为带有图像内容标签的训练样本组成，即本申请实施例中的目标类别可以是风格、内容、自然场景等。假设目标类别为风格，则对应的训练样本的标签可以为油画风格、素描风格等。
步骤S103，将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
在本申请实施例中，所述待提取图像的初始特征为多个多维向量，而从梯度提升树模型中提取的能够表示图像的特征的特征向量也为多个多维向量。本申请实施例中，以图像风格为例，提取的特征向量就是与图像风格相关的特征向量，将待提取图像的初始特征和特征向量融合后，就可以将待提取图像的初始特征转化为能够表征待提取图像的风格的目标特征；同理，如果训练所述梯度提升树模型时采用的训练样本集是由标签为图像内容(例如，人物、风景等)的训练样本组成，那么提取的梯度提升树模型的中间层叶子节点的特征向量就是与图像内容相关的特征向量，那么将待提取图像的初始特征和特征向量融合后，就可以将待提取图像的初始特征转化为能够表征待提取图像的内容的目标特征。
将多个特征向量融合的过程，可以采用传统的图像特征融合的方式。
作为本申请又一实施例，所述将所述待提取图像的初始特征和所述特征向量进行融合，获得待提取图像的目标特征包括：
获取所述待提取图像的每个初始特征的权重和每个特征向量的权重，并计算所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果，将所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果求和后作为用于表示所述待提取图像的目标类别的目标特征。
在本申请实施例中，首先可以根据待提取图像的初始特征和每个特征向量所在的层级分别设置每个初始特征的权重和每个特征向量的权重，然后将待提取图像的每个初始特征和每个特征向量处理为相同维度的向量，最后，将每个初始特征和每个特征向量均作为目标特征的影响因素，计算所有影响因素的加权和，将加权和的结果作为待提取图像的目标特征。
作为本申请又一实施例，在将所述全局特征和所述局部特征作为待提取图像的初始特征之前，还包括：
对每种局部特征分别进行降维和整合处理。
在本申请实施例中，不管提取的全局特征还是局部特征都可能是高维的特征，为了能够降低计算的复杂度，需要对每一种全局特征或每一种局部特征进行降维处理。
作为本申请又一实施例，对每种局部特征分别进行降维处理包括：
基于预设的降维模型，根据所述梯度提升树模型的训练样本获得每种局部特征的降维向量，所述预设的降维模型为：其中，W表示降维向量，m表示训练样本的个数，xi表示第i个训练样本的局部特征的向量表达，表示m个训练样本的局部特征的向量表达的均值；
通过所述每种局部特征的降维向量，对每种局部特征分别进行降维处理。
在本申请实施例中，对局部特征进行降维处理是将高维的局部特征映射到低维的空间中，以此使用较少的数据维度，同时保留住较多的特性。为了能够获得合理的降维向量，可以基于所述训练样本集中训练样本获得降维向量，在基于所述训练样本集中训练样本获得降维向量时，可以期望训练样本集的图像的初始特征投影到低维空间后获得的所有低维向量的方差最大。这样在降低维度的同时还就能够保留更多的信息。我们以其中一种局部特征为例，通过公式获得降维向量，其中，W表示降维向量，m表示训练样本的个数，xi表示第i个训练样本的局部特征的向量表达，表示m个训练样本的局部特征的向量表达的均值；如果存在3个局部特征，那么就对应获得3个降维向量。需要降到多少维度，那么获得的降维向量就是多少维度。最后将降维向量进行转置后和每种局部特征相乘就可以对该种局部特征进行降维处理。
图2是本申请实施例提供的另一种图像特征的提取方法的实现流程示意图，如图所示，图2是在图1所示实施例的基础上，描述了如何通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，该方法可以包括以下步骤：
步骤S201，获取训练样本集，并根据训练样本集中的训练样本，将所述梯度提升树模型初始化为损失函数极小化的常数。
在本申请实施例中，训练样本集中包含多个训练样本，每个训练样本可以为一幅图像，当然，每个训练样本也可以为一幅图像的一组数据(xi,yi)，xi为第i个训练样本的初始特征，yi为第i个训练样本的标签，还可以定义损失函数L(y,f(x))。
所述根据训练样本集中的训练样本，将所述梯度提升树模型初始化为损失函数极小化的常数包括：
其中，f0(x)为初始化的梯度提升树模型，L(y,f(x))为损失函数，(xi,yi)为第i个训练样本，xi为第i个训练样本的初始特征，yi为第i个训练样本的标签，i∈[1,N]，共有N个训练样本，c为常数；
步骤S202，在每一次迭代训练过程中，计算每个训练样本对应的损失函数的负梯度在所述梯度提升树模型的值，并将该值作为每个训练样本的残差。
在本申请实施例中，每个训练样本对应的损失函数的负梯度在所述梯度提升树模型的值为：
其中，rmi表示第m次迭代训练过程中第i个训练样本对应的损失函数的负梯度在所述梯度提升树模型的值。
步骤S203，根据所有训练样本的残差拟合获得一个回归树，得到本次迭代训练过程对应的回归树的叶节点的区域。
步骤S204，估计使所述损失函数极小化的所述叶节点的区域的特征向量。
在本申请实施例中，第m颗树的第j个叶节点区域用Rmj表示。
所述估计使所述损失函数极小化的所述叶节点的区域的特征向量包括：
其中，所述cmj表示第m次迭代训练过程中第j个叶节点的区域的特征向量，Rmj表示第m次迭代训练过程中第j个叶节点的区域，j∈[1,J]，fm-1(xi)表示第m-1次迭代训练过程更新的梯度提升树模型；
步骤S205，根据所述叶节点的区域的特征向量，更新所述梯度提升树模型。
所述根据所述叶节点的区域的特征向量，更新所述梯度提升树模型包括：
其中，fm(x)表示第m次迭代训练过程更新的梯度提升树模型。
需要说明，1(x∈Rmj)表示，x∈Rmj时，取1，否则取0。
步骤S206，在达到预设的训练次数后，获取最后一次迭代训练过程的梯度提升树模型的中间层叶子节点的特征向量。
在本申请实施例中，可以设置预设的训练次数为M，当训练M次后，得到的梯度提升树模型可以看出，最终获得的梯度提升树模型实际上是多层回归树组成，就可以获得中间层叶子节点的特征向量。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图3是本申请一实施例提供的终端设备的示意框图，为了便于说明，仅示出与本申请实施例相关的部分。
该终端设备3可以是内置于手机、平板电脑、计算机等终端设备内的软件单元、硬件单元或者软硬结合的单元，也可以作为独立的挂件集成到所述手机、平板电脑、计算机等终端设备中。
所述终端设备3包括：
初始特征获取模块31，用于获取待提取图像的初始特征；
特征向量获得模块32，用于通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
目标特征获得模块33，用于将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
作为本申请又一实施例，所述初始特征获取模块31包括：
获取单元311，用于获取所述待提取图像的全局特征和局部特征，所述全局特征包括以下至少一种：全局颜色特征、全局纹理特征、全局空间布局特征，所述局部特征包括以下至少一种：局部颜色特征、局部纹理特征、局部空间布局特征；
确定单元312，用于将所述全局特征和所述局部特征作为待提取图像的初始特征。
作为本申请又一实施例，所述初始特征获取模块包括：
处理单元313，用于在将所述全局特征和所述局部特征作为待提取图像的初始特征之前，对每种局部特征分别进行降维和整合处理。
作为本申请又一实施例，所述处理单元313还用于：
基于预设的降维模型，根据所述梯度提升树模型的训练样本获得每种局部特征的降维向量，所述预设的降维模型为：其中，W表示降维向量，m表示训练样本的个数，xi表示第i个训练样本的局部特征的向量表达，表示m个训练样本的局部特征的向量表达的均值；
通过所述每种局部特征的降维向量，对每种局部特征分别进行降维处理。
作为本申请又一实施例，所述目标特征获得模块33还用于：
获取所述待提取图像的每个初始特征的权重和每个特征向量的权重，并计算所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果，将所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果求和后作为用于表示所述待提取图像的目标类别的目标特征。
作为本申请又一实施例，特征向量获得模块32包括：
初始化单元321，用于获取训练样本集，并根据训练样本集中的训练样本，将所述梯度提升树模型初始化为损失函数极小化的常数；
迭代训练单元322，用于在每一次迭代训练过程中，计算每个训练样本对应的损失函数的负梯度在所述梯度提升树模型的值，并将该值作为每个训练样本的残差；
根据所有训练样本的残差拟合获得一个回归树，得到本次迭代训练过程对应的回归树的叶节点的区域；
估计使所述损失函数极小化的所述叶节点的区域的特征向量；
根据所述叶节点的区域的特征向量，更新所述梯度提升树模型；
特征向量获得单元323，用于在达到预设的训练次数后，获取最后一次迭代训练过程的梯度提升树模型的中间层叶子节点的特征向量。
作为本申请又一实施例，初始化单元321还用于：
其中，f0(x)为初始化的梯度提升树模型，L(y,f(x))为损失函数，(xi,yi)为第i个训练样本，xi为第i个训练样本的初始特征，yi为第i个训练样本的标签，i∈[1,N]，共有N个训练样本，c为常数；
所述迭代训练单元322还用于：
其中，所述cmj表示第m次迭代训练过程中第j个叶节点的区域的特征向量，Rmj表示第m次迭代训练过程中第j个叶节点的区域，j∈[1,J]，fm-1(xi)表示第m-1次迭代训练过程更新的梯度提升树模型；
其中，fm(x)表示第m次迭代训练过程更新的梯度提升树模型。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述终端设备中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
图4是本申请又一实施例提供的终端设备的示意框图。如图4所示，该实施例的终端设备4包括：一个或多个处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42。所述处理器40执行所述计算机程序42时实现上述各个图像特征的提取方法实施例中的步骤，例如图1所示的步骤S101至S103。或者，所述处理器40执行所述计算机程序42时实现上述终端设备实施例中各模块/单元的功能，例如图3所示模块31至33的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述终端设备4中的执行过程。例如，所述计算机程序42可以被分割成初始特征获取模块、特征向量获得模块、目标特征获的模块。
初始特征获取模块，用于获取待提取图像的初始特征；
特征向量获得模块，用于通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
目标特征获的模块，用于将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
其它单元或者模块可参照图3所示的实施例中的描述，在此不再赘述。
所述终端设备包括但不仅限于处理器40、存储器41。本领域技术人员可以理解，图4仅仅是终端设备4的一个示例，并不构成对终端设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入设备、输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元，例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备，例如所述终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的终端设备和方法，可以通过其它的方式实现。例如，以上所描述的终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像特征的提取方法，其特征在于，包括：
获取待提取图像的初始特征；
通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
2.如权利要求1所述的图像特征的提取方法，其特征在于，所述获取待提取图像的初始特征包括：
获取所述待提取图像的全局特征和局部特征，所述全局特征包括以下至少一种：全局颜色特征、全局纹理特征、全局空间布局特征，所述局部特征包括以下至少一种：局部颜色特征、局部纹理特征、局部空间布局特征；
将所述全局特征和所述局部特征作为待提取图像的初始特征。
3.如权利要求2所述的图像特征的提取方法，其特征在于，在将所述全局特征和所述局部特征作为待提取图像的初始特征之前，还包括：
对每种局部特征分别进行降维和整合处理。
4.如权利要求3所述的图像特征的提取方法，其特征在于，对每种局部特征分别进行降维处理包括：
基于预设的降维模型，根据所述梯度提升树模型的训练样本获得每种局部特征的降维向量，所述预设的降维模型为：其中，W表示降维向量，m表示训练样本的个数，xi表示第i个训练样本的局部特征的向量表达，表示m个训练样本的局部特征的向量表达的均值；
通过所述每种局部特征的降维向量，对每种局部特征分别进行降维处理。
5.如权利要求1所述的图像特征的提取方法，其特征在于，所述将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征包括：
获取所述待提取图像的每个初始特征的权重和每个特征向量的权重，并计算所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果，将所述待提取图像的每个初始特征的加权和结果与每个特征向量的加权和结果求和后作为用于表示所述待提取图像的目标类别的目标特征。
6.如权利要求1至5任一项所述的图像特征的提取方法，其特征在于，所述通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量包括：
获取训练样本集，并根据训练样本集中的训练样本，将所述梯度提升树模型初始化为损失函数极小化的常数；
在每一次迭代训练过程中，计算每个训练样本对应的损失函数的负梯度在所述梯度提升树模型的值，并将该值作为每个训练样本的残差；
根据所有训练样本的残差拟合获得一个回归树，得到本次迭代训练过程对应的回归树的叶节点的区域；
估计使所述损失函数极小化的所述叶节点的区域的特征向量；
根据所述叶节点的区域的特征向量，更新所述梯度提升树模型；
在达到预设的训练次数后，获取最后一次迭代训练过程的梯度提升树模型的中间层叶子节点的特征向量。
7.如权利要求6所述的图像特征的提取方法，其特征在于，所述根据训练样本集中的训练样本，将所述梯度提升树模型初始化为损失函数极小化的常数包括：
其中，f0(x)为初始化的梯度提升树模型，L(y,f(x))为损失函数，(xi,yi)为第i个训练样本，xi为第i个训练样本的初始特征，yi为第i个训练样本的标签，i∈[1,N]，共有N个训练样本，c为常数；
所述估计使所述损失函数极小化的所述叶节点的区域的特征向量包括：
其中，所述cmj表示第m次迭代训练过程中第j个叶节点的区域的特征向量，Rmj表示第m次迭代训练过程中第j个叶节点的区域，j∈[1,J]，fm-1(xi)表示第m-1次迭代训练过程更新的梯度提升树模型；
所述根据所述叶节点的区域的特征向量，更新所述梯度提升树模型包括：
其中，fm(x)表示第m次迭代训练过程更新的梯度提升树模型。
8.一种终端设备，其特征在于，包括：
初始特征获取模块，用于获取待提取图像的初始特征；
特征向量获得模块，用于通过训练样本集中的训练样本对构建的梯度提升树模型进行训练，获得训练后的梯度提升树模型，并提取训练后的梯度提升树模型的中间层叶子节点的特征向量，所述训练样本的标签的类别为目标类别；
目标特征获得模块，用于将所述待提取图像的初始特征和所述特征向量进行融合，获得用于表示所述待提取图像的目标类别的目标特征。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201810981215.4A 2018-08-27 2018-08-27 一种图像特征的提取方法、终端设备及存储介质 Active CN109101946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810981215.4A CN109101946B (zh) 2018-08-27 2018-08-27 一种图像特征的提取方法、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810981215.4A CN109101946B (zh) 2018-08-27 2018-08-27 一种图像特征的提取方法、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN109101946A true CN109101946A (zh) 2018-12-28
CN109101946B CN109101946B (zh) 2021-02-12

Family

ID=64851223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810981215.4A Active CN109101946B (zh) 2018-08-27 2018-08-27 一种图像特征的提取方法、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN109101946B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110928889A (zh) * 2019-10-23 2020-03-27 深圳市华讯方舟太赫兹科技有限公司 训练模型更新方法、设备以及计算机存储介质
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN111382758A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 训练图像分类模型、图像分类方法、装置、设备及介质
CN111967515A (zh) * 2020-08-14 2020-11-20 Oppo广东移动通信有限公司 图像信息提取方法、训练方法及装置、介质和电子设备
CN112749705A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN112906726A (zh) * 2019-11-20 2021-06-04 北京沃东天骏信息技术有限公司 模型训练方法、图像处理方法、装置、计算设备、介质
CN113139563A (zh) * 2020-01-19 2021-07-20 深圳云天励飞技术有限公司 一种图像分类模型的优化方法及装置
CN114419375A (zh) * 2022-01-20 2022-04-29 北京百度网讯科技有限公司 图像分类方法、训练方法、装置、电子设备以及存储介质
CN117830246A (zh) * 2023-12-27 2024-04-05 广州极点三维信息科技有限公司 一种图像分析与质量评价方法及系统
CN112016685B (zh) * 2020-08-07 2024-06-07 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497431A (en) * 1992-11-18 1996-03-05 Fuji Photo Film Co., Ltd. Method of extracting characteristic image data and color data conversion device for image processing apparatus
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image
US8499008B2 (en) * 2009-07-24 2013-07-30 Yahoo! Inc. Mixing knowledge sources with auto learning for improved entity extraction
CN103810274A (zh) * 2014-02-12 2014-05-21 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
CN104376326A (zh) * 2014-11-02 2015-02-25 吉林大学 一种用于图像场景识别的特征提取方法
CN105550687A (zh) * 2015-12-02 2016-05-04 西安电子科技大学 一种基于isa模型的rgb-d图像的多通道融合特征提取方法
CN105701502A (zh) * 2016-01-06 2016-06-22 福州大学 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN105868324A (zh) * 2016-03-28 2016-08-17 天津大学 一种基于隐含状态模型的多视角目标检索方法
CN107103338A (zh) * 2017-05-19 2017-08-29 杭州电子科技大学 融合卷积特征和集成超限学习机的sar目标识别方法
CN107392892A (zh) * 2017-06-30 2017-11-24 天津大学 基于图像的玉米生育前期干旱胁迫自动识别方法
CN107563539A (zh) * 2017-07-24 2018-01-09 佛山市顺德区中山大学研究院 基于机器学习模型的短期和中长期电力负荷预测方法
CN107622236A (zh) * 2017-09-15 2018-01-23 安徽农业大学 基于蜂群与梯度提升决策树算法农作物病害诊断预警方法
CN108427658A (zh) * 2018-03-12 2018-08-21 北京奇艺世纪科技有限公司 一种数据预测方法、装置及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5497431A (en) * 1992-11-18 1996-03-05 Fuji Photo Film Co., Ltd. Method of extracting characteristic image data and color data conversion device for image processing apparatus
US8499008B2 (en) * 2009-07-24 2013-07-30 Yahoo! Inc. Mixing knowledge sources with auto learning for improved entity extraction
CN101770584A (zh) * 2009-12-30 2010-07-07 重庆大学 高光谱遥感数据鉴别特征提取方法
EP2431919A1 (en) * 2010-09-16 2012-03-21 Thomson Licensing Method and device of determining a saliency map for an image
CN103810274A (zh) * 2014-02-12 2014-05-21 北京联合大学 基于WordNet语义相似度的多特征图像标签排序方法
CN104376326A (zh) * 2014-11-02 2015-02-25 吉林大学 一种用于图像场景识别的特征提取方法
CN105550687A (zh) * 2015-12-02 2016-05-04 西安电子科技大学 一种基于isa模型的rgb-d图像的多通道融合特征提取方法
CN105701502A (zh) * 2016-01-06 2016-06-22 福州大学 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN105868324A (zh) * 2016-03-28 2016-08-17 天津大学 一种基于隐含状态模型的多视角目标检索方法
CN107103338A (zh) * 2017-05-19 2017-08-29 杭州电子科技大学 融合卷积特征和集成超限学习机的sar目标识别方法
CN107392892A (zh) * 2017-06-30 2017-11-24 天津大学 基于图像的玉米生育前期干旱胁迫自动识别方法
CN107563539A (zh) * 2017-07-24 2018-01-09 佛山市顺德区中山大学研究院 基于机器学习模型的短期和中长期电力负荷预测方法
CN107622236A (zh) * 2017-09-15 2018-01-23 安徽农业大学 基于蜂群与梯度提升决策树算法农作物病害诊断预警方法
CN108427658A (zh) * 2018-03-12 2018-08-21 北京奇艺世纪科技有限公司 一种数据预测方法、装置及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAVIER ANDREU等: "Automatic scene recognition for low-resource devices using evolving classifiers", 《2011 IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS (FUZZ-IEEE 2011)》 *
何竞: "图像语义标注中的块—全局特征提取方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382758B (zh) * 2018-12-28 2023-12-26 杭州海康威视数字技术股份有限公司 训练图像分类模型、图像分类方法、装置、设备及介质
CN111382758A (zh) * 2018-12-28 2020-07-07 杭州海康威视数字技术股份有限公司 训练图像分类模型、图像分类方法、装置、设备及介质
CN110928889A (zh) * 2019-10-23 2020-03-27 深圳市华讯方舟太赫兹科技有限公司 训练模型更新方法、设备以及计算机存储介质
CN112749705B (zh) * 2019-10-31 2024-06-11 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN112749705A (zh) * 2019-10-31 2021-05-04 深圳云天励飞技术有限公司 训练模型更新方法及相关设备
CN112906726A (zh) * 2019-11-20 2021-06-04 北京沃东天骏信息技术有限公司 模型训练方法、图像处理方法、装置、计算设备、介质
CN112906726B (zh) * 2019-11-20 2024-01-16 北京沃东天骏信息技术有限公司 模型训练方法、图像处理方法、装置、计算设备、介质
CN113139563B (zh) * 2020-01-19 2024-05-03 深圳云天励飞技术有限公司 一种图像分类模型的优化方法及装置
CN113139563A (zh) * 2020-01-19 2021-07-20 深圳云天励飞技术有限公司 一种图像分类模型的优化方法及装置
CN111325851A (zh) * 2020-02-28 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法及装置、电子设备和计算机可读存储介质
CN112016685B (zh) * 2020-08-07 2024-06-07 广州小鹏自动驾驶科技有限公司 一种数据处理的方法和装置
CN111967515A (zh) * 2020-08-14 2020-11-20 Oppo广东移动通信有限公司 图像信息提取方法、训练方法及装置、介质和电子设备
CN114419375B (zh) * 2022-01-20 2023-08-15 北京百度网讯科技有限公司 图像分类方法、训练方法、装置、电子设备以及存储介质
CN114419375A (zh) * 2022-01-20 2022-04-29 北京百度网讯科技有限公司 图像分类方法、训练方法、装置、电子设备以及存储介质
CN117830246A (zh) * 2023-12-27 2024-04-05 广州极点三维信息科技有限公司 一种图像分析与质量评价方法及系统
CN117830246B (zh) * 2023-12-27 2024-06-11 广州极点三维信息科技有限公司 一种图像分析与质量评价方法及系统

Also Published As

Publication number Publication date
CN109101946B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
CN109101946A (zh) 一种图像特征的提取方法、终端设备及存储介质
Lu et al. Class-agnostic counting
CN107862247B (zh) 一种人脸活体检测方法及终端设备
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN107506793B (zh) 基于弱标注图像的服装识别方法及系统
CN109117773A (zh) 一种图像特征点检测方法、终端设备及存储介质
CN105095902B (zh) 图片特征提取方法及装置
CN110532884A (zh) 行人重识别方法、装置及计算机可读存储介质
CN109086811A (zh) 多标签图像分类方法、装置及电子设备
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN113822209B (zh) 高光谱图像识别方法、装置、电子设备及可读存储介质
CN109359539A (zh) 注意力评估方法、装置、终端设备及计算机可读存储介质
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
Couprie et al. Convolutional nets and watershed cuts for real-time semantic labeling of rgbd videos
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN108228844A (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN110443120A (zh) 一种人脸识别方法及设备
CN115830402B (zh) 一种细粒度图像识别分类模型训练方法、装置及设备
CN109784394A (zh) 一种翻拍图像的识别方法、系统及终端设备
CN109657543A (zh) 人流量监控方法、装置及终端设备
CN108764351A (zh) 一种基于测地距离的黎曼流形保持核学习方法及装置
CN108805838A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN108664925A (zh) 人脸识别的方法及用户终端
CN109326324A (zh) 一种抗原表位的检测方法、系统及终端设备
CN108229263B (zh) 目标对象的识别方法和装置、机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant