CN110119749A - 识别产品图像的方法和装置、存储介质 - Google Patents

识别产品图像的方法和装置、存储介质 Download PDF

Info

Publication number
CN110119749A
CN110119749A CN201910407628.6A CN201910407628A CN110119749A CN 110119749 A CN110119749 A CN 110119749A CN 201910407628 A CN201910407628 A CN 201910407628A CN 110119749 A CN110119749 A CN 110119749A
Authority
CN
China
Prior art keywords
product image
neural networks
convolutional neural
description
differentiable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910407628.6A
Other languages
English (en)
Inventor
庞芸萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Intelligent Technology Co Ltd
Original Assignee
Beijing Xiaomi Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Intelligent Technology Co Ltd filed Critical Beijing Xiaomi Intelligent Technology Co Ltd
Priority to CN201910407628.6A priority Critical patent/CN110119749A/zh
Publication of CN110119749A publication Critical patent/CN110119749A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种识别产品图像的方法和装置、存储介质，用于解决相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题。所述识别产品图像的方法包括：获取产品图像；对所述产品图像进行预处理；基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。

Description

识别产品图像的方法和装置、存储介质
技术领域
本公开涉及图像识别技术领域，具体地，涉及一种识别产品图像的方法和装置、存储介质。
背景技术
利用人工手段进行产品识别的方法耗时耗力，不利于工业化应用，通过拍摄产品的图像进行机器识别可以解决该问题，目前图片识别基本都采用卷积神经网络(Constitutional Neural Networks,CNN)。卷积神经网络是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。卷积神经网络使用了针对图像识别的特殊结构，可以快速训练。
发明内容
本公开提供一种识别产品图像的方法和装置、存储介质，以解决相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题。
为实现上述目的，本公开实施例的第一方面，提供一种识别产品图像的方法，所述方法包括：
获取产品图像；
对所述产品图像进行预处理；
基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
可选地，还包括：
构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子；
根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
可选地，所述可微分的局部聚合描述子的计算方式为：
其中，给定N个D维度的局部图像描述子，所述Xi表示第i个局部图像描述子，V(j,k)表示图像特征在(j,k)位置的元素值；所述xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素；ak(Xi)为可微分的示性函数，取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。
可选地，ak(Xi)的计算方式为：
其中，Wk＝2αck，bk＝-α||ck||2，α是用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1。
本公开实施例的第二方面，提供一种识别产品图像的装置，所述装置包括：
获取模块，被配置为获取产品图像；
预处理模块，被配置为对所述产品图像进行预处理；
识别模块，被配置为基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
可选地，还包括：
构建模块，被配置为构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子；
训练模块，被配置为根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
可选地，所述可微分的局部聚合描述子的计算方式为：
其中，给定N个D维度的局部图像描述子，所述Xi表示第i个局部图像描述子，V(j,k)表示图像特征在(j,k)位置的元素值；所述xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素；ak(Xi)为可微分的示性函数，取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。
可选地，ak(Xi)的计算方式为：
其中，Wk＝2αck，bk＝-α||ck||2，α是用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1。
本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
本公开实施例的第四方面，提供一种识别产品图像的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取产品图像；
对所述产品图像进行预处理；
基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
采用上述技术方案，至少能够达到如下技术效果：
本公开通过对相关技术中的局部聚合描述子进行可微分的改进，使其能够实现梯度下降的更新过程，进而将其嵌入到涉及反向传播的神经网络结构中，使得改进后的神经网络结构提高了对图像的局部特征描述能力，解决了相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题，进而提高产品图片检测时的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开一示例性实施例示出的一种识别产品图像的方法流程图。
图2是本公开一示例性实施例示出的一种识别产品图像的方法中构建卷积神经网络模型的流程图。
图3是本公开一示例性实施例示出的一种识别产品图像的装置框图。
图4是本公开一示例性实施例示出的另一种识别产品图像的装置框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本申请的发明人在研究中发现，卷积神经网络对图片仿射变换的鲁棒性相对较弱，这是因为CNN经全连接层之后输出的特征为全局特征，对图像的局部特征描述能力较弱。在对产品图片进行识别的过程中，产品的拍摄图片的角度、尺度、位置等仿射相关的变化是非常明显的，因此用CNN特征来识别拍摄的产品图片的表现是比较差的。
在另一方面，局部聚合描述子(Vector of Locally Aggregated Descriptors,VLAD)对图像的局部特征具有较强的描述能力。卷积神经网络的训练过程涉及反向传播过程，所以需要可微分的参数计算过程，而VLAD的计算过程却是不可微的，这直接导致了目前的VLAD无法直接嵌入到神经网络结构中。
图1是本公开一示例性实施例示出的一种识别产品图像的方法流程图，以解决相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题。如图1所示，所述识别产品图像的方法可以包括以下步骤：
S11，获取产品图像。
S12，对所述产品图像进行预处理。
S13，基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
在步骤S11中，产品图像可以通过直接摄像头拍摄产品获得，也可以是摄像头拍摄产品后存储于终端设备中，进而通过调用终端设备中存储的产品图像而获得。本公开中的终端可能是计算机、智能手机、智能手表、智能手环、平板电脑等。
获取产品图像后，执行步骤S12，对所述产品图像进行预处理。所述对所述产品图像进行预处理可以包括将所述产品图像转化为灰度图像，采取图像调整和直方图均衡化操作来增强图像对比度。
所述产品图像进行预处理后，执行步骤S13，基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果。由于，所述预设的卷积神经网络模型的结构中嵌设可微分的局部聚合描述子，使得所述预设的卷积神经网络模型也可以对图像的局部特征进行描述，解决了相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题。
接下来，请参照图2，图2是本公开一示例性实施例示出的一种识别产品图像的方法中构建卷积神经网络模型的流程图。如图2所示，在执行步骤S13之前，首先需要构建改进后的卷积神经网络模型，即还需包括以下步骤：
S14，构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子。
S15，根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
其中，所述可微分的局部聚合描述子可以替代全连接层，嵌入到全连接层所在的层，进而使得构建的卷积神经网络可以对对图像的局部特征进行描述。
目前图片分类基本都采用卷积神经网络的结构，这种结构在训练过程中涉及反向传播过程(Back Propagation，BP)，BP算法的实质是，求取误差函数最小值问题，而采用的方法是非线性规划中的最速下降法，按照误差函数的负梯度方向修改权系数。即
其中Wij为参数，e为损失函数，η为学习率，不难看出，神经网络能够进行反向传播的前提是参数计算过程是可微分的。
然而，目前的局部聚合描述子(VLAD)虽然对图像的局部特征具有较强的描述能力，但VLAD的计算过程是不可微分的。VLAD保存了每个视觉单词的残差信息，给定N个D维度的局部图像描述子{Xi}，所述Xi表示第i个局部图像描述子，以及K个单词中心ck，VLAD将输出一个K×D维的矩阵V作为图像的特征，将这个矩阵按维度拼接为一个K×D维度的向量，归一化之后可以作为图像的特征描述子，V在(j,k)位置的元素值记为：
其中，xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素，ak(Xi)为示性函数，表示Xi是否属于单词中心k，示性函数ak(Xi)的取值为0或1,当ak(Xi)＝1时，表示Xi属于单词中心k，反之亦然。
上述公式可以看出，由于示性函数ak(Xi)的存在，使得VLAD的计算过程是不可微的，这直接导致了其无法直接嵌入到神经网络结构中，本发明针对该问题，通过改进ak(Xi)函数的计算方式，提出了一种可微的局部聚合图像描述方法，具体实现过程如下：
改进后的ak(Xi)取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。α用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1，而对其他的单词中心取值为0，也就是相关技术中的VLAD的计算过程。
将公式(3)展开，可以得到：
其中，Wk＝2αck，bk＝-α||ck||2。
最终的VLAD描述子的计算方式转换为：
即本公开将示性函数ak进行改进，替换为可微分的ak，使得VLAD的计算过程变成可微过程，因此可以将其嵌入到神经网络结构中，利用梯度下降实现反向传播。至此，便将VLAD嵌入到神经网络中，用以实现对产品图片的识别。
本公开通过对相关技术中的局部聚合描述子进行可微分的改进，使其能够实现梯度下降的更新过程，进而将其嵌入到涉及反向传播的神经网络结构中，使得改进后的神经网络结构提高了对图像的局部特征描述能力，解决了相关技术中图像识别过程中对图像的局部特征描述能力较弱的技术问题，进而提高产品图片检测时的效率。
值得说明的是，对于图1所示的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本公开所必须的。
图3是本公开一示例性实施例示出的一种识别产品图像的装置。如图3所示，所述识别产品图像的装置300包括：
获取模块310，被配置为获取产品图像；
预处理模块320，被配置为对所述产品图像进行预处理；
识别模块330，被配置为基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
可选地，如图3所示，所述识别产品图像的装置300还包括：
构建模块340，被配置为构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子；
训练模块350，被配置为根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
可选地，所述可微分的局部聚合描述子的计算方式为：
其中，给定N个D维度的局部图像描述子，所述Xi表示第i个局部图像描述子，V(j,k)表示图像特征在(j,k)位置的元素值；所述xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素；ak(Xi)为可微分的示性函数，取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。
可选地，ak(Xi)的计算方式为：
其中，Wk＝2αck，bk＝-α||ck||2，α是用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种识别产品图像的装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取产品图像；
对所述产品图像进行预处理；
基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项可选实施例所述识别产品图像的方法步骤。
图4是根据一示例性实施例示出的另一种识别产品图像的装置800的框图。例如，装置800可以是移动电话，计算机，平板设备等。
参照图4，装置800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制装置800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述识别产品图像的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当装置800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为装置800提供各个方面的状态评估。例如，传感器组件814可以检测到装置800的打开/关闭状态，组件的相对定位，例如所述组件为装置800的显示器和小键盘，传感器组件814还可以检测装置800或装置800一个组件的位置改变，用户与装置800接触的存在或不存在，装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述识别产品图像的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由装置800的处理器820执行以完成上述识别产品图像的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

Claims (10)

1.一种识别产品图像的方法，其特征在于，所述方法包括：
获取产品图像；
对所述产品图像进行预处理；
基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
2.根据权利要求1所述的方法，其特征在于，还包括：
构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子；
根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
3.根据权利要求2所述的方法，其特征在于，所述可微分的局部聚合描述子的计算方式为：
其中，给定N个D维度的局部图像描述子，所述Xi表示第i个局部图像描述子，V(j,k)表示图像特征在(j,k)位置的元素值；所述xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素；ak(Xi)为可微分的示性函数，取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。
4.根据权利要求3所述的方法，其特征在于，ak(Xi)的计算方式为：
其中，Wk＝2αck，bk＝-α||ck||2，α是用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1。
5.一种识别产品图像的装置，其特征在于，所述装置包括：
获取模块，被配置为获取产品图像；
预处理模块，被配置为对所述产品图像进行预处理；
识别模块，被配置为基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
6.根据权利要求5所述的装置，其特征在于，还包括：
构建模块，被配置为构建卷积神经网络的网络架构，所述架构包括依次连接的卷积层、池化层、全连接层和分类器层；其中，所述全连接层中设有可微分的局部聚合描述子；
训练模块，被配置为根据采集获得的产品图像样本集对构建的卷积神经网络进行训练，获得训练完毕的卷积神经网络模型。
7.根据权利要求6所述的装置，其特征在于，所述可微分的局部聚合描述子的计算方式为：
其中，给定N个D维度的局部图像描述子，所述Xi表示第i个局部图像描述子，V(j,k)表示图像特征在(j,k)位置的元素值；所述xi(j)表示图像描述子Xi的第j维元素，ck(j)表示第k个单词中心的第j维元素；ak(Xi)为可微分的示性函数，取值范围在[0,1]之间，表示Xi之于单词中心ck的隶属度。
8.根据权利要求7所述的装置，其特征在于，ak(Xi)的计算方式为：
其中，Wk＝2αck，bk＝-α||ck||2，α是用来控制ak(Xi)对距离大小的衰减程度，当α趋于正无穷时，ak(Xi)对距离最近的单词中心的取值为1。
9.一种识别产品图像的装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取产品图像；
对所述产品图像进行预处理；
基于预设的卷积神经网络模型识别预处理后的所述产品图像，并输出识别结果；其中，所述卷积神经网络模型的结构中设有可微分的局部聚合描述子。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述方法的步骤。
CN201910407628.6A 2019-05-16 2019-05-16 识别产品图像的方法和装置、存储介质 Pending CN110119749A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910407628.6A CN110119749A (zh) 2019-05-16 2019-05-16 识别产品图像的方法和装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910407628.6A CN110119749A (zh) 2019-05-16 2019-05-16 识别产品图像的方法和装置、存储介质

Publications (1)

Publication Number Publication Date
CN110119749A true CN110119749A (zh) 2019-08-13

Family

ID=67522710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910407628.6A Pending CN110119749A (zh) 2019-05-16 2019-05-16 识别产品图像的方法和装置、存储介质

Country Status (1)

Country Link
CN (1) CN110119749A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062434A (zh) * 2019-12-13 2020-04-24 国网重庆市电力公司永川供电分公司 一种无人机巡检多尺度融合检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN107463965A (zh) * 2017-08-16 2017-12-12 湖州易有科技有限公司 基于深度学习的面料属性图片采集和识别方法及识别系统
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN107967334A (zh) * 2017-11-30 2018-04-27 睿视智觉（深圳）算法技术有限公司 一种基于图像的珠宝首饰分类方法及相似产品查询方法
CN108921298A (zh) * 2018-06-12 2018-11-30 中国科学技术大学 强化学习多智能体沟通与决策方法
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN109684977A (zh) * 2018-12-18 2019-04-26 成都三零凯天通信实业有限公司 一种基于端到端深度学习的视图地标检索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN107463965A (zh) * 2017-08-16 2017-12-12 湖州易有科技有限公司 基于深度学习的面料属性图片采集和识别方法及识别系统
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN107967334A (zh) * 2017-11-30 2018-04-27 睿视智觉（深圳）算法技术有限公司 一种基于图像的珠宝首饰分类方法及相似产品查询方法
CN108921298A (zh) * 2018-06-12 2018-11-30 中国科学技术大学 强化学习多智能体沟通与决策方法
CN109446923A (zh) * 2018-10-10 2019-03-08 北京理工大学 基于训练特征融合的深度监督卷积神经网络行为识别方法
CN109684977A (zh) * 2018-12-18 2019-04-26 成都三零凯天通信实业有限公司 一种基于端到端深度学习的视图地标检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RELJA ARANDJELOVIC 等: "NetVLAD: CNN architecture for weakly supervised place recognition", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
陈仕江: "基于深度局部特征的图像表示方法研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062434A (zh) * 2019-12-13 2020-04-24 国网重庆市电力公司永川供电分公司 一种无人机巡检多尺度融合检测方法

Similar Documents

Publication Publication Date Title
CN108399409B (zh) 图像分类方法、装置及终端
CN105809704B (zh) 识别图像清晰度的方法及装置
CN107798669A (zh) 图像去雾方法、装置及计算机可读存储介质
CN106651955A (zh) 图片中目标物的定位方法及装置
CN109389162B (zh) 样本图像筛选方法和装置、电子设备及存储介质
CN108256549B (zh) 图像分类方法、装置及终端
CN109871896A (zh) 数据分类方法、装置、电子设备及存储介质
CN108256555A (zh) 图像内容识别方法、装置及终端
CN109326299A (zh) 基于全卷积神经网络的语音增强方法、装置及存储介质
CN106331504A (zh) 拍摄方法及装置
CN106778531A (zh) 人脸定位方法及装置
CN109919300A (zh) 神经网络训练方法及装置以及图像处理方法及装置
CN107995500B (zh) 视频水印识别方法、装置及终端
CN106295707B (zh) 图像识别方法和装置
CN107766820A (zh) 图像分类方法及装置
CN106778773A (zh) 图片中目标物的定位方法及装置
CN107845062A (zh) 图像生成方法及装置
CN109871843A (zh) 字符识别方法和装置、用于字符识别的装置
CN109934275A (zh) 图像处理方法及装置、电子设备和存储介质
CN109635920A (zh) 神经网络优化方法及装置、电子设备和存储介质
CN110931028B (zh) 一种语音处理方法、装置和电子设备
CN109977860A (zh) 图像处理方法及装置、电子设备和存储介质
CN110399934A (zh) 一种视频分类方法、装置及电子设备
CN109165738A (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190813