CN111209911A - 基于语义分割网络的自定义标签识别系统及识别方法 - Google Patents

基于语义分割网络的自定义标签识别系统及识别方法 Download PDF

Info

Publication number
CN111209911A
CN111209911A CN202010014306.8A CN202010014306A CN111209911A CN 111209911 A CN111209911 A CN 111209911A CN 202010014306 A CN202010014306 A CN 202010014306A CN 111209911 A CN111209911 A CN 111209911A
Authority
CN
China
Prior art keywords
image
scene
label
recognition
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010014306.8A
Other languages
English (en)
Inventor
柯政远
王炬
李锴莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Hefei Technology Co ltd
Original Assignee
Ainnovation Hefei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Hefei Technology Co ltd filed Critical Ainnovation Hefei Technology Co ltd
Priority to CN202010014306.8A priority Critical patent/CN111209911A/zh
Publication of CN111209911A publication Critical patent/CN111209911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/10—Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • G06Q20/102—Bill distribution or payments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种自定义标签识别系统、方法，其中系统包括：场景图像采集模块，用于采集智能货柜的场景图像，场景图像中的各目标商品对应有自定义标签；图像识别模块，用于基于预设的语义分割模型，对智能货柜柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果，然后对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；分割结果比对模块，用于通过比对第一图像分割识别结果和第二图像分割识别结果，得到自定义标签在柜门开合前后的变化情况；订单结算模块，用于根据自定义标签变化情况，对购物订单进行结算，本发明解决了现有的商品识别算法无法对非标类商品进行准确分类的问题。

Description

基于语义分割网络的自定义标签识别系统及识别方法
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于语义分割网络的自定义标签识别系统及识别方法。
背景技术
目前，智能货柜对货柜内商品进行自动订单结算的方法为，首先通过安装在智能货柜中的摄像头采集场景图像，然后依靠预先训练的商品识别模型对场景图像中的目标商品进行识别检测，最后根据增减的目标商品对应的商品信息对购买订单进行自动结算。然而，现有的基于神经网络的商品识别算法对标准商品的识别准确度较高，但对于一些非标类商品，比如形状异常或者商品尺寸异常的商品的识别准确率较低。如果需要提高现有的商品识别算法对非标类商品的识别能力，需要对商品识别模型进行重新训练，但现实情况是，对非标类商品的样本采集难以在短时间内完成，所以也就无法及时对商品识别模型进行更新。
发明内容
本发明的目的在于提供一种基于语义分割网络的自定义标签识别系统、方法，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，该系统包括：
商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；
图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；
模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；
场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；
图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；
所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；
分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；
订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。
作为本发明的一种优选方案，所述自定义标签识别系统还包括：
图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。
作为本发明的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。
本发明还提供了一种基于语义分割网络的自定义标签识别方法，通过应用所述自定义标签识别系统实现，该方法包括如下步骤：
步骤S1，所述自定义标签识别系统采集所述智能货柜的所述柜门开启前后的所述场景图像；
步骤S2，所述自定义标签识别系统基于预先训练的所述语义分割模型，对开启所述智能货柜的所述柜门前采集的所述第一场景图像进行图像分割识别，得到所述第一图像分割识别结果；
步骤S3，所述自定义标签识别系统基于预先训练的所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的所述第二场景图像进行图像分割识别，得到所述第二图像分割识别结果；
步骤S4，所述自定义标签识别系统通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到代表各所述目标商品的所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；
步骤S5，所述自定义标签识别系统根据所述自定义标签的所述变化情况，对所述买家的所述购物订单进行自动结算。
作为本发明的一种优选方案，所述步骤S2中，训练所述语义分割模型的方法包括如下步骤：
步骤S21，对所述场景图像中的各所述目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；
步骤S22，将经标签标注后的所述场景图像作为训练样本输入到一语义分割网络中，训练形成所述语义分割模型。
作为本发明的一种优选方案，将经标签标注后的所述场景图像进行图像增强，并将经图像增强后的所述场景图像作为训练样本以训练所述语义分割模型。
作为本发明的一种优选方案，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。
本发明通过为智能货柜内的各个商品赋予自定义标签，然后以经自定义标签标注后的场景图像为训练样本训练形成语义分割模型，最终通过该语义分割模型识别场景图像中的目标商品，解决了现有的商品识别算法无法对非标类商品进行准确分类识别的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于语义分割网络的自定义标签识别系统的结构示意图；
图2是本发明一实施例所述的基于语义分割网络的自定义标签识别方法的步骤图；
图3是本发明训练所述语义分割模型的方法步骤图；
图4是输入的场景图像的示意图；
图5是对场景图像进行特征提取后的特征提取结果图；
图6是本发明一实施例所述的自定义标签识别系统对场景图像进行图像分割识别的过程原理图；
图7是经图像增强后的所述场景图像图的示意图；
图8是对特征提取结果图中的目标商品特征进行人工标注的示意图；
图9是本发明一实施例所述的自定义标签识别系统对智能货柜内的商品进行自动结算的流程框图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明一实施例提供的基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，请参照图1，该系统包括：
商品标签标注模块1，用于提供给用户对场景图像中的各目标商品图像以及场景图像的背景图像进行自定义标签标注，得到各目标商品图像及场景图像的背景图像分别对应的自定义标签。由于有些商品为非标商品，比如为非标准的商品尺寸或非标准的商品形状，所以现有的商品特征识别算法难以对这些非标商品进行有效识别，为了解决这个问题，本发明引入了标注自定义标签的方法，即对每个非标商品(当然也可以包括标准商品)赋予对应的自定义标签，然后可以通过挂件(比如塑料盒)，将自定义标签包装在商品上，这样拍摄的商品图像中就包含该目标商品对应的自定义标签，本发明通过对场景图像中的自定义标签进行图像识别，然后通过比对智能货柜开门前后的自定义标签的数量变化情况，即可判断识别出智能货柜中的商品的增减情况，以及增减的商品种类，然后系统可基于自定义标签变化情况对买家的购物行为进行订单结算。
请继续参照图1，本发明实施例提供的自定义标签识别系统还包括：
图像特征提取模块2，连接商品标签标注模块1，用于提取经标签标注后的场景图像的目标图像特征；输入的场景图像的示意图请参照图4，对输入的场景图像进行图像特征提取，得到该场景图像对应的各特征图的示意图请参照图5。图5中，各个灰色闭合区域即为目标图像(商品)的特征图。
上述技术方案中，对于场景图像的目标图像特征提取的方法为现有技术，比如可以基于卷积神经网络对场景图像进行目标图像特征提取，并且对于场景图像的目标图像特征提取的过程也并非本发明要求权利保护的范围，所以具体的特征提取过程在此不作阐述。
优选地，请继续参照图1，本实施例提供的自定义标签识别系统还包括：
模型训练模块3，连接图像特征提取模块2，用于以场景图像对应的各特征图以及场景图像为训练样本，训练形成一语义分割模型。后续，系统将基于该语义分割模型对场景图像上的自定义标签进行图像识别，进而识别出目标商品的商品信息(包括图像特征信息和图像分类信息)。
上述技术方案中，为了进一步提升语义识别模型的识别精度，优选地，对场景图像提取的目标商品图像对应的特征图同样进行自定义标签标注，以验证模型识别结果的准确性，然后将人工标注的各特征图和原始输入的场景图像再次输入到训练网络，以更新语义分割模型。对特征图进行人工标注后的示意图请参照图8，图8中，矩形框围合的区域即为目标商品区域。
请继续参照图1，本实施例提供的自定义标签识别系统还包括：
场景图像采集模块4，用于采集智能货柜开门前后的场景图像，场景图像中的各目标商品对应有一自定义标签；
图像识别模块5，分别连接场景图像采集模块4和模型训练模块3，用于基于语义分割模型，对智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；
图像识别模块还用于基于语义分割模型，对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；
分割结果比对模块6，连接图像识别模块5，用于通过比对第一图像分割识别结果和第二图像分割识别结果，得到自定义标签在智能货柜的柜门开合前后的变化情况；这里所述的自定义标签的变化情况包括自定义标签的数量变化情况以及增减的自定义标签对应的目标商品的商品特征变化情况。这里的商品特征包括目标商品的形状特征以及商品种类特征。
订单结算模块7，连接分割结果比对模块6，用于根据自定义标签的变化情况，对卖家的购物订单进行结算。比如，当智能货柜柜门开启前后系统比对到第二场景图像中的自定义标签相比第一场景图像中的自定义标签的数量少了一个，系统然后开始分析所减少的该自定义标签对应的目标商品的商品信息，比如商品种类、商品价格，最终系统根据分析的商品信息对买家的购物订单进行自动结算。
上述技术方案中，系统基于语义分割模型，对智能货柜柜门开启前后采集的场景图像进行图像识别，输出的第一图像分割识别结果或第二图像分割识别结果请
为了提高对目标商品的识别精度(本案中主要为提高对自定义标签图像的识别精度)，请继续参照图1，自定义标签识别系统还包括：
图像增强模块8，分别连接商品标签标注模块1和图像特征提取模块2，用于对经标签标注后的场景图像进行图像增强，得到经图像增强后的场景图像并输出，然后系统以增强后的场景图像以及对增强后的场景图像所提取的各特征图为训练样本，训练形成语义分割模型。
优选地，对场景图像进行图像增强的方法包括但不限于在经标签标注后的场景图像中引入区别于目标商品图像的干扰图，比如可以在原始输入的场景图像的背景图像中粘贴其他商品图像块。经图像增强后的场景图像的示意图请参照图7。
请参照图9，本发明实施例提供的自定义标签识别系统对买家的购买订单进行自动结算的过程简述如下：
在买家开启智能货柜的柜门前，智能货柜会自动采集一柜门开启前智能货柜内的第一场景图像，系统然后基于预设的语义分割模型对第一场景图像进行语义分割识别，识别到智能货柜中代表各商品的自定义标签；
当该买家开启智能货柜柜门后，系统将连续采集智能货柜内的第二场景图像，然后同样基于预设的该语义分割模型对第一场景图像进行语义分割识别，识别到智能货柜中代表各商品的自定义标签；
系统然后对第一场景图像和各第二场景图像进行图像比对，当系统判断到对第二场景图像识别得到的第二图像分割识别结果与对第一场景图像识别得到的第一图像分割识别结果不一致时，系统开始分析所增减的自定义标签对应的目标商品的商品信息，然后基于该商品信息对买家的购物订单进行自动结算。
本发明还提供了一种基于语义分割网络的自定义标签识别方法，通过应用上述的自定义标签识别系统实现，请参照图2和图6，该方法包括如下步骤：
步骤S1，自定义标签识别系统采集智能货柜的柜门开启前后的场景图像；
步骤S2，自定义标签识别系统基于预先训练的语义分割模型，对开启智能货柜的柜门前采集的第一场景图像进行图像分割识别，得到一第一图像分割识别结果；
步骤S3，自定义标签识别系统基于预先训练的语义分割模型，对关闭智能货柜的柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；
步骤S4，自定义标签识别系统通过比对第一图像分割识别结果和第二图像分割识别结果，得到代表各目标商品的自定义标签在智能货柜的柜门开合前后的变化情况；
步骤S5，自定义标签识别系统根据自定义标签的变化情况，对买家的购物订单进行自动结算。
上述技术方案中，由于图像特征提取网络输出的特征图的尺寸小于原始输入的场景图像的尺寸，因此需要对各特征图进行图像上采样(upsample)，以得到与原始输入的场景图像同尺寸的特征图，然后通过argmax对特征图上的各像素点对应的分类特征值进行最大分类特征值取值，最终得到图像分割识别结果。
图6中的英文DCNN为深度神经网络，用于提取场景图像的目标商品特征。
请参照图，步骤S2中，训练语义分割模型的方法具体包括如下步骤：
步骤S21，对场景图像中的各目标商品图像以及场景图像的背景图像进行自定义标签标注，得到各目标商品图像及场景图像的背景图像分别对应的自定义标签；
步骤S22，将经标签标注后的场景图像作为训练样本输入到一语义分割网络中，训练形成语义分割模型。
步骤S21中，优选地，将经标签标注后的场景图像进行图像增强，并将经图像增强后的场景图像作为训练样本以训练语义分割模型。
对场景图像进行图像增强的方法包括但不限于在经标签标注后的场景图像中引入区别于目标商品图像的干扰图。
本发明提高了对智能货柜内的目标商品特别是非标商品的识别准确率。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (7)

1.一种基于语义分割网络的自定义标签识别系统，用于对智能货柜中的目标商品进行检测和分类，其特征在于，包括：
商品标签标注模块，用于提供给用户对场景图像中的各目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；
图像特征提取模块，连接商品标签标注模块，用于提取经标签标注后的所述场景图像的目标图像特征；
模型训练模块，连接所述图像特征提取模块，用于以所述场景图像对应的各特征图以及所述场景图像为训练样本，训练形成一语义分割模型；
场景图像采集模块，用于采集智能货柜开门前后的所述场景图像，所述场景图像中的各所述目标商品对应有一所述自定义标签；
图像识别模块，分别连接所述场景图像采集模块和所述模型训练模块，用于基于所述语义分割模型，对所述智能货柜的柜门开启前采集的第一场景图像进行图像分割识别，得到第一图像分割识别结果；
所述图像识别模块还用于基于所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的第二场景图像进行图像分割识别，得到第二图像分割识别结果；
分割结果比对模块，连接所述图像识别模块，用于通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；
订单结算模块，连接所述分割结果比对模块，用于根据所述自定义标签的所述变化情况，对买家的购物订单进行结算。
2.如权利要求1所述的自定义标签识别系统，其特征在于，还包括：
图像增强模块，分别连接所述商品标签标注模块和所述图像特征提取模块，用于对经标签标注后的所述场景图像进行图像增强，得到经图像增强后的所述场景图像并输出。
3.如权利要求2所述的自定义标签识别系统，其特征在于，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。
4.一种基于语义分割网络的自定义标签识别方法，通过应用如权1-3任意一项的所述自定义标签识别系统实现，其特征在于，包括如下步骤：
步骤S1，所述自定义标签识别系统采集所述智能货柜的所述柜门开启前后的所述场景图像；
步骤S2，所述自定义标签识别系统基于预先训练的所述语义分割模型，对开启所述智能货柜的所述柜门前采集的所述第一场景图像进行图像分割识别，得到所述第一图像分割识别结果；
步骤S3，所述自定义标签识别系统基于预先训练的所述语义分割模型，对关闭所述智能货柜的所述柜门后采集的所述第二场景图像进行图像分割识别，得到所述第二图像分割识别结果；
步骤S4，所述自定义标签识别系统通过比对所述第一图像分割识别结果和所述第二图像分割识别结果，得到代表各所述目标商品的所述自定义标签在所述智能货柜的所述柜门开合前后的变化情况；
步骤S5，所述自定义标签识别系统根据所述自定义标签的所述变化情况，对所述买家的所述购物订单进行自动结算。
5.如权利要求4所述的自定义标签识别方法，其特征在于，所述步骤S2中，训练所述语义分割模型的方法包括如下步骤：
步骤S21，对所述场景图像中的各所述目标商品图像以及所述场景图像的背景图像进行自定义标签标注，得到各所述目标商品图像及所述场景图像的所述背景图像分别对应的自定义标签；
步骤S22，将经标签标注后的所述场景图像作为训练样本输入到一语义分割网络中，训练形成所述语义分割模型。
6.如权利要求5所述的自定义标签识别方法，其特征在于，将经标签标注后的所述场景图像进行图像增强，并将经图像增强后的所述场景图像作为训练样本以训练所述语义分割模型。
7.如权利要求6所述的自定义标签识别方法，其特征在于，对所述场景图像进行图像增强的方法包括在经标签标注后的所述场景图像中引入区别于所述目标商品图像的干扰图。
CN202010014306.8A 2020-01-07 2020-01-07 基于语义分割网络的自定义标签识别系统及识别方法 Pending CN111209911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010014306.8A CN111209911A (zh) 2020-01-07 2020-01-07 基于语义分割网络的自定义标签识别系统及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010014306.8A CN111209911A (zh) 2020-01-07 2020-01-07 基于语义分割网络的自定义标签识别系统及识别方法

Publications (1)

Publication Number Publication Date
CN111209911A true CN111209911A (zh) 2020-05-29

Family

ID=70789590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010014306.8A Pending CN111209911A (zh) 2020-01-07 2020-01-07 基于语义分割网络的自定义标签识别系统及识别方法

Country Status (1)

Country Link
CN (1) CN111209911A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112295949A (zh) * 2020-10-13 2021-02-02 广州纳诺科技股份有限公司 一种基于深度神经网络的视觉智能分拣方法及系统
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053204A (zh) * 2017-12-20 2018-05-18 杭州几禾科技有限公司 自动结算方法及售卖设备
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技（宁波）有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109035629A (zh) * 2018-07-09 2018-12-18 深圳码隆科技有限公司 一种基于开放式自动售货机的购物结算方法和装置
CN109635690A (zh) * 2018-11-30 2019-04-16 任飞翔 基于视觉的商品识别检测方法及装置
CN110164036A (zh) * 2018-02-13 2019-08-23 青岛海尔特种电冰柜有限公司 自动售货机及其控制方法
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110189466A (zh) * 2019-03-22 2019-08-30 上海小萌科技有限公司 一种智能售货柜商品监测方法、装置及系统
CN110443118A (zh) * 2019-06-24 2019-11-12 上海了物网络科技有限公司 基于人造特征的商品识别方法、系统及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053204A (zh) * 2017-12-20 2018-05-18 杭州几禾科技有限公司 自动结算方法及售卖设备
CN110164036A (zh) * 2018-02-13 2019-08-23 青岛海尔特种电冰柜有限公司 自动售货机及其控制方法
CN108320379A (zh) * 2018-02-28 2018-07-24 成都果小美网络科技有限公司 基于图像比对的售货方法、装置和无人售货机
CN108491799A (zh) * 2018-03-23 2018-09-04 海深科技（宁波）有限公司 一种基于图像识别的智能售货柜商品管理方法及系统
CN109003390A (zh) * 2018-06-29 2018-12-14 深圳和而泰数据资源与云技术有限公司 一种商品识别方法、无人售货机及计算机可读存储介质
CN109035629A (zh) * 2018-07-09 2018-12-18 深圳码隆科技有限公司 一种基于开放式自动售货机的购物结算方法和装置
CN109635690A (zh) * 2018-11-30 2019-04-16 任飞翔 基于视觉的商品识别检测方法及装置
CN110189466A (zh) * 2019-03-22 2019-08-30 上海小萌科技有限公司 一种智能售货柜商品监测方法、装置及系统
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110443118A (zh) * 2019-06-24 2019-11-12 上海了物网络科技有限公司 基于人造特征的商品识别方法、系统及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. MARDER 等: "Using image analytics to monitor retail store shelves", 《IBM JOURNAL OF RESEARCH AND DEVELOP》 *
胡正委: "基于深度学习的超市商品图像识别方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112295949A (zh) * 2020-10-13 2021-02-02 广州纳诺科技股份有限公司 一种基于深度神经网络的视觉智能分拣方法及系统
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统
CN113052835B (zh) * 2021-04-20 2024-02-27 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统

Similar Documents

Publication Publication Date Title
EP3910608B1 (en) Article identification method and system, and electronic device
Wei et al. Deep learning for retail product recognition: Challenges and techniques
US9911033B1 (en) Semi-supervised price tag detection
Balali et al. Evaluation of multiclass traffic sign detection and classification methods for US roadway asset inventory management
CN107016387B (zh) 一种识别标签的方法及装置
CN110414532B (zh) 一种基于深度学习的商品图像识别方法
CN109685780B (zh) 一种基于卷积神经网络的零售商品识别方法
CN109583375B (zh) 一种多特征融合的人脸图像光照识别方法及系统
CN105869154A (zh) 一种250ml医药大输液可见异物与气泡的分类识别检测方法
CN111209911A (zh) 基于语义分割网络的自定义标签识别系统及识别方法
CN111814835A (zh) 计算机视觉模型的训练方法、装置、电子设备和存储介质
CN109635705A (zh) 一种基于二维码和深度学习的商品识别方法及装置
JP2012150552A (ja) 物体認識処理装置及び物体認識処理方法
CN111144417B (zh) 基于教师学生网络的智能货柜小目标检测方法及检测系统
CN111126384A (zh) 基于特征融合的商品分类系统及分类方法
CN110825896A (zh) 一种商标检索系统及检索方法
CN110956459A (zh) 一种商品处理方法及系统
CN112966681B (zh) 商品拍照智能识别建档检索的方法、设备及存储介质
CN117275011B (zh) 一种商品识别与商品价签匹配方法、系统、终端及介质
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
Ilayarajaa et al. Text recognition in moving vehicles using deep learning neural networks
CN110689005A (zh) 一种基于深度学习融合位置和形状信息的商品识别方法
CN103984965A (zh) 基于多分辨率特征关联的行人检测方法
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN116630947A (zh) 异物检测方法及装置、非瞬态计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200529

RJ01 Rejection of invention patent application after publication