CN111428797B - 一种结合检索与分类的物品种类识别方法及系统 - Google Patents

一种结合检索与分类的物品种类识别方法及系统 Download PDF

Info

Publication number
CN111428797B
CN111428797B CN202010229596.8A CN202010229596A CN111428797B CN 111428797 B CN111428797 B CN 111428797B CN 202010229596 A CN202010229596 A CN 202010229596A CN 111428797 B CN111428797 B CN 111428797B
Authority
CN
China
Prior art keywords
category
images
identified
model
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010229596.8A
Other languages
English (en)
Other versions
CN111428797A (zh
Inventor
王天鹤
王晨浩
熊意超
朱彦嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Media Intelligence Co ltd
Original Assignee
Shanghai Media Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Media Intelligence Co ltd filed Critical Shanghai Media Intelligence Co ltd
Priority to CN202010229596.8A priority Critical patent/CN111428797B/zh
Publication of CN111428797A publication Critical patent/CN111428797A/zh
Application granted granted Critical
Publication of CN111428797B publication Critical patent/CN111428797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种结合检索与分类的物品种类识别方法，标注图像中物品种类，构造检索模型训练数据集；利用检索模型训练数据集，训练检索模型；利用检索模型对易匹配图像进行检索匹配，得到种类结果；挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；利用分类模型训练数据集，训练并得到分类模型；利用分类模型，对难匹配图像进行分类识别，得到种类结果。同时提供一种物品种类识别系统。本发明第一阶段利用检索模型进行种类识别，降低模型训练周期，保证模型部署上线效率，同时提升泛化性能，对实际应用场景鲁棒性高；第二阶段，对于第一阶段难以处理的图像采用分类模型进行种类识别，提高检索模型难识别物品的识别准确率。

Description

一种结合检索与分类的物品种类识别方法及系统
技术领域
本发明涉及深度学习和计算机视觉技术领域，具体地，涉及一种结合检索与分类的物品种类识别方法及系统。
背景技术
现有的基于深度学习的物品分类方法，通常采用如下方式：收集大量待识别物品的图像；标注后根据标注数据训练深度学习网络，如卷积神经网络；利用训练好的网络针对图像中的物品进行分类并得到种类信息，该方式有如下明显缺点：
1、需要收集大量指定种类的物品的图像并进行标注。收集数据和数据标注处理周期长，模型上线周期长。
2、已有的某类别物品的部分特征产生明显变化或图像中环境条件变化时，准确率无法保证，模型的泛化性能较差。需要重新收集和标注数据，重新训练模型，复用性和可扩展性差。例如原始待识别物品为黑色水杯，而在新场景下是识别白色水杯；或者原始光照条件为白天，而在新场景下为夜晚。
3、不同种类间的物品识别准确率难以统一，可能存在某一种或几种物品的识别准确率远超其他种类物品的情况。
目前没有发现同本发明类似技术的说明或报道，也尚未收集到国内外类似的资料。
发明内容
针对现有技术中存在的上述不足，本发明的目的提供了一种结合检索与分类的物品种类识别方法及系统，保证准确率的同时具有训练周期短、运行效率高、泛化性能强等特点，可快速上线实用。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种结合检索与分类的物品种类识别方法，包括：
采集种类范围确定的不同种类物品图像；
标注所得图像中物品的种类，构造检索模型训练数据集；
利用得到的检索模型训练数据集，训练并得到检索模型；
利用得到的检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
对于得到的易匹配图像，由得到的检索模型直接得到种类结果；
对于得到的难匹配图像，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；
利用得到的分类模型训练数据集，训练并得到分类模型；
利用得到的分类模型，对难匹配图像进行分类识别，得到种类结果。
优选地，所述种类范围确定，是指事先指定的一种或多种物品的种类；和/或
所述物品图像采用利用颜色空间进行表述的图像，其中，每一张图像仅包含一个种类的物品，且该种类物品的数量为1。
优选地，所述标注，是指针对图像中物品，人工标注出其所属种类。
优选地，所述检索模型采用深度学习模型，依据待识别种类图像中的物品图像和标注的目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类；其中：
将待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值(例如。设定阈值为0.2)时，则视作二者匹配成功；若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。
优选地，所述检索模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
优选地，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。
优选地，所述深度学习模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
根据本发明的另一个方面，提供了一种结合检索与分类的物品种类识别系统，包括：
图像采集模块，所述图像采集模块采集种类范围确定的不同种类物品图像；
检索模型生成模块，所述检索模型生成模块，根据标注的所得图像中物品的种类，构造检索模型训练数据集；利用得到的检索模型训练数据集，训练并得到检索模型；
分类模型生成模块，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；利用得到的分类模型训练数据集，训练并得到分类模型；
图像分类模块，利用检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
对于易匹配图像，利用检索模型直接得到种类结果；对于难匹配图像，利用分类模型，对难匹配图像进行分类识别，得到种类结果。
优选地，所述检索模型采用深度学习模型，依据待识别种类图像中的物品图像和标注的目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类；其中：
将待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值时，则视作二者匹配成功；若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。
优选地，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。
与现有技术相比，本发明具有如下至少一种有益效果：
1、本发明提供的结合检索与分类的物品种类识别方法及系统，采用检索模型进行一阶段的识别，对于新场景只需保证收集合适的目标种类图像，即可进行识别，模型的复用性高，缩短新场景上线周期。
2、本发明提供的结合检索与分类的物品种类识别方法及系统，降低种类识别过程中对于特征改变和环境改变的敏感程度，泛化性能好，鲁棒性好。
3、本发明提供的结合检索与分类的物品种类识别方法及系统，采用检索模型和分类模型结合的方式，利用检索模型高效率，复用性强的特点，同时利用分类模型提升检索模型难以识别的物品种类，使各个种类物品的识别准确率均得到保证。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明实施例所提供的结合检索与分类的物品种类识别方法流程图；
图2为本发明实施例所提供的结合检索与分类的物品种类识别系统结构框图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明实施例提供了一种结合检索与分类的物品种类识别方法，如图1所示，包括：
S1，采集种类范围确定的不同种类物品图像；
S2，标注S1中所得图像中物品的种类，构造检索模型训练数据集；
S3，利用S2中得到的检索模型训练数据集，训练并得到检索模型；
S4，利用S3中得到的检索模型对待识别种类图像中的物品进行种类检索匹配，按照检索匹配结果，将待识别种类图像分为易匹配图像和难匹配图像两类；其中：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
具体地，在检索过程中，对于待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值(如0.2)时，则视作二者匹配成功。若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。当某一类别在检索后得到的种类检索匹配结果与相应类别中标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；相对应的，如果在检索后，该类别中的种类检索匹配结果存在检索错误的结果，那么认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像。
S5a，对于S4中所得到的易匹配图像，由S3中得到的检索模型直接得到种类结果；
S5b，对于S4中所得到的难匹配图像，根据图像对应的标注中指示的物品种类，挑选S2中构造的检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；
S6，利用S5b中得到的分类模型训练数据集，训练并得到分类模型；
S7，利用S6中得到的分类模型，对难匹配图像进行分类识别，得到种类结果。
进一步地，S1中，所述种类范围确定，是指事先指定的一种或多种物品的种类。
进一步地，S1中，所述物品图像采用利用颜色空间进行表述的图像，如RGB图。
进一步地，所述物品图像中，每一张图像仅包含一个种类的物品，且该种类物品的数量为1。
进一步地，S2中，所述标注，是指针对图像中物品，人工标注出其所属种类。
进一步地，S3中，所述检索模型采用深度学习模型，依据待识别物品图像和目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类。
进一步地，将高维空间距离最小值的目标种类作为所述待识别物品的种类。
进一步地，所述检索模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
进一步地，S6中，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据。
进一步地，将最高置信度的目标种类作为待识别物品的种类。
进一步地，所述深度学习模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
基于本发明实施例所提供的结合检索与分类的物品种类识别方法，本发明实施例同时提供了一种结合检索与分类的物品种类识别系统，所述系统可以用于执行所述方法。
所述结合检索与分类的物品种类识别系统，包括：
图像采集模块，所述图像采集模块采集种类范围确定的不同种类物品图像；
检索模型生成模块，所述检索模型生成模块，根据标注的所得图像中物品的种类，构造检索模型训练数据集；利用得到的检索模型训练数据集，训练并得到检索模型；
分类模型生成模块，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；利用S5b中得到的分类模型训练数据集，训练并得到分类模型；
图像分类模块，利用检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
对于易匹配图像，利用检索模型直接得到种类结果；对于难匹配图像，利用分类模型，对难匹配图像进行分类识别，得到种类结果。
具体地，在检索过程中，对于待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值(如0.2)时，则视作二者匹配成功。若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。当某一类别在检索后得到的种类检索匹配结果与相应类别中标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；相对应的，如果在检索后，该类别中的种类检索匹配结果存在检索错误的结果，那么认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像。
进一步地，所述检索模型采用深度学习模型，依据待识别物品图像和目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类。
进一步地，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。
本发明上述实施例所提供的一种结合检索与分类的物品种类识别方法及系统，采集种类范围确定的不同种类物品图像；人工标注每张图像中物品种类，构造检索模型训练数据集；利用得到的检索模型训练数据集，训练检索模型；利用得到的检索模型对待识别种类图像中物品进行检索匹配，按照匹配难易程度，将图像分为易匹配图像和难匹配图像两类；对于易匹配图像，由检索模型直接得到种类结果；对于难匹配图像中物品，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；利用得到的分类模型训练数据集，训练并得到分类模型；利用得到的分类模型，对难匹配图像进行分类识别，得到种类结果。本发明上述实施例所提供的方法及系统，第一阶段利用检索模型进行种类识别，相对于普通分类模型，可降低模型训练周期，保证模型部署上线效率，同时提升泛化性能，对实际应用场景鲁棒性高。本发明第二阶段，对于第一阶段难以处理的图像采用分类模型进行种类识别，提高检索模型难识别物品的识别准确率。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (9)

1.一种结合检索与分类的物品种类识别方法，其特征在于，包括：
采集种类范围确定的不同种类物品图像；
标注所得图像中物品的种类，构造检索模型训练数据集；
利用得到的检索模型训练数据集，训练并得到检索模型；
利用得到的检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
对于得到的易匹配图像，由得到的检索模型直接得到种类结果；
对于得到的难匹配图像，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；
利用得到的分类模型训练数据集，训练并得到分类模型；
利用得到的分类模型，对难匹配图像进行分类识别，得到种类结果；
所述种类范围确定，是指事先指定的一种或多种物品的种类；和/或所述物品图像采用利用颜色空间进行表述的图像，其中，每一张图像仅包含一个种类的物品，且该种类物品的数量为1。
2.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述标注，是指针对图像中物品，人工标注出其所属种类。
3.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述检索模型采用深度学习模型，依据待识别种类图像中的物品图像和标注的目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类；其中：
将待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值时，则视作二者匹配成功；若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。
4.根据权利按要求3所述的结合检索与分类的物品种类识别方法，其特征在于，所述检索模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
5.根据权利按要求1所述的结合检索与分类的物品种类识别方法，其特征在于，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。
6.根据权利按要求4所述的结合检索与分类的物品种类识别方法，其特征在于，所述深度学习模型采用卷积神经网络，包括输入层、若干卷积层、若干池化层、若干全连接层以及输出层；其中：
所述输入层用于输入调整大小后图像尺寸相同的物品图像；
所述卷积层采用多个卷积核，用于得到食品图像的图像特征；其中，所述卷积层在进行特征学习时，采用梯度下降法调整卷积核的权重和偏置；
所述池化层用于对得到的图像特征进行均值池化操作，将图像特征的数据量降维到原来的四分之一；
所述全连接层用于连接当层神经元与前一层神经元；
所述输出层用于计算分类和回归结果。
7.一种结合检索与分类的物品种类识别系统，其特征在于，包括：
图像采集模块，所述图像采集模块采集种类范围确定的不同种类物品图像；
检索模型生成模块，所述检索模型生成模块，根据标注的所得图像中物品的种类，构造检索模型训练数据集；利用得到的检索模型训练数据集，训练并得到检索模型；
分类模型生成模块，根据图像对应的标注中指示的物品种类，挑选检索模型训练数据集中所对应种类的物品图像组成分类模型训练数据集；利用得到的分类模型训练数据集，训练并得到分类模型；
图像分类模块，利用检索模型对待识别种类图像中的物品进行种类检索匹配，并根据检索匹配结果，对待识别种类图像进行如下分类：
当某一类别的种类检索匹配结果与标注的物品种类完全吻合时，认定该类别为易匹配类别，该类别下的待识别种类图像属于易匹配图像；
当某一类别的种类检索匹配结果与标注的物品种类之间存在不同时，认定该类别为难匹配类别，该类别下的待识别种类图像属于难匹配图像；
对于易匹配图像，利用检索模型直接得到种类结果；对于难匹配图像，利用分类模型，对难匹配图像进行分类识别，得到种类结果；
所述种类范围确定，是指事先指定的一种或多种物品的种类；和/或所述物品图像采用利用颜色空间进行表述的图像，其中，每一张图像仅包含一个种类的物品，且该种类物品的数量为1。
8.根据权利要求7所述的结合检索与分类的物品种类识别系统，其特征在于，所述检索模型采用深度学习模型，依据待识别种类图像中的物品图像和标注的目标种类图像之间的高维空间距离，判断待识别物品是否属于目标种类；其中，将高维空间距离最小值的目标种类作为所述待识别物品的种类；其中：
将待识别种类图像中的物品特征与标注的目标物品种类特征之间的余弦距离作为高维空间距离，当该距离小于设定阈值时，则视作二者匹配成功；若此时有多个匹配成功的类别，则取与待识别种类图像中的物品的余弦距离最小的目标类别，作为检索匹配结果。
9.根据权利要求7所述的结合检索与分类的物品种类识别系统，其特征在于，所述分类模型采用深度学习模型，以待识别物品图像作为输入，输出所述待识别物品图像属于各个目标种类的置信度信息，以所得的各个目标种类的置信度作为判断种类的依据；其中，将最高置信度的目标种类作为待识别物品的种类。
CN202010229596.8A 2020-03-27 2020-03-27 一种结合检索与分类的物品种类识别方法及系统 Active CN111428797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010229596.8A CN111428797B (zh) 2020-03-27 2020-03-27 一种结合检索与分类的物品种类识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010229596.8A CN111428797B (zh) 2020-03-27 2020-03-27 一种结合检索与分类的物品种类识别方法及系统

Publications (2)

Publication Number Publication Date
CN111428797A CN111428797A (zh) 2020-07-17
CN111428797B true CN111428797B (zh) 2023-05-23

Family

ID=71555503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010229596.8A Active CN111428797B (zh) 2020-03-27 2020-03-27 一种结合检索与分类的物品种类识别方法及系统

Country Status (1)

Country Link
CN (1) CN111428797B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282705A (ja) * 1993-03-29 1994-10-07 Hitachi Eng Co Ltd 物品の数量検査方法及び装置
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
CN109145901A (zh) * 2018-08-14 2019-01-04 腾讯科技（深圳）有限公司 物品识别方法、装置、计算机可读存储介质和计算机设备
WO2019237646A1 (zh) * 2018-06-14 2019-12-19 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06282705A (ja) * 1993-03-29 1994-10-07 Hitachi Eng Co Ltd 物品の数量検査方法及び装置
CN108647588A (zh) * 2018-04-24 2018-10-12 广州绿怡信息科技有限公司 物品类别识别方法、装置、计算机设备和存储介质
WO2019237646A1 (zh) * 2018-06-14 2019-12-19 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109145901A (zh) * 2018-08-14 2019-01-04 腾讯科技（深圳）有限公司 物品识别方法、装置、计算机可读存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙奇平 ; .基于深度学习的图像检索研究.景德镇学院学报.2018,(03),全文. *
田国会 ; 王晓静 ; 张营 ; .一种家庭服务机器人的环境语义认知机制.华中科技大学学报(自然科学版).2018,(12),全文. *

Also Published As

Publication number Publication date
CN111428797A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN102208038B (zh) 基于视觉词典的图像分类方法
CN108171136B (zh) 一种多任务卡口车辆以图搜图的系统及方法
CN106845510B (zh) 基于深度层级特征融合的中国传统视觉文化符号识别方法
CN111222434A (zh) 基于局部二值模式和深度学习的合成人脸图像取证方法
CN110766042B (zh) 一种基于最大相关最小冗余的多标记特征选择方法及装置
CN109684922A (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN106557728B (zh) 查询图像处理和图像检索方法和装置以及监视系统
CN101021870A (zh) 一种图片查询方法及系统
CN104021375A (zh) 一种基于机器学习的车型识别方法
CN106557579A (zh) 一种基于卷积神经网络的车辆型号检索系统及方法
CN112766218B (zh) 基于非对称联合教学网络的跨域行人重识别方法和装置
CN113821674B (zh) 一种基于孪生神经网络的智能货物监管方法及系统
CN104298992A (zh) 一种基于数据驱动的自适应尺度行人重识别方法
CN104281572A (zh) 一种基于互信息的目标匹配方法及其系统
CN113869418A (zh) 一种基于全局注意力关系网络的小样本船舶目标识别方法
CN113486902A (zh) 基于元学习的三维点云分类算法自动选择方法
CN111882000A (zh) 一种应用于小样本细粒度学习的网络结构及方法
CN113628252A (zh) 一种基于热成像视频的泄漏气体云团检测方法
CN108960005B (zh) 一种智能视觉物联网中对象视觉标签的建立及显示方法、系统
CN111428797B (zh) 一种结合检索与分类的物品种类识别方法及系统
CN115240115B (zh) 一种语义特征和词袋模型相结合的视觉slam回环检测方法
CN114529517B (zh) 基于单样本学习的工业产品缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant