CN111612000A - 一种商品分类方法、装置、电子设备及存储介质 - Google Patents

一种商品分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111612000A
CN111612000A CN202010458543.3A CN202010458543A CN111612000A CN 111612000 A CN111612000 A CN 111612000A CN 202010458543 A CN202010458543 A CN 202010458543A CN 111612000 A CN111612000 A CN 111612000A
Authority
CN
China
Prior art keywords
commodity
corrected
goods
category
fisheye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010458543.3A
Other languages
English (en)
Other versions
CN111612000B (zh
Inventor
柯政远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Qizhi Xi'an Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi Xi'an Technology Co ltd filed Critical Innovation Qizhi Xi'an Technology Co ltd
Priority to CN202010458543.3A priority Critical patent/CN111612000B/zh
Publication of CN111612000A publication Critical patent/CN111612000A/zh
Application granted granted Critical
Publication of CN111612000B publication Critical patent/CN111612000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种商品分类方法、装置、电子设备及存储介质。该方法包括：获得待修正鱼眼图像，待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；对待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；获取货道中待修正商品的类别信息；类别信息包括检测模型输出的待修正商品对应的至少一个类别的置信度；根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对待修正商品的类别进行修正。本申请实施例通过对商品进行货道划分，并根据商品类别的置信度获得待修正商品，然后利用待修正商品对应的类别的置信度与该货道中其他商品类别，对待修正图像进行修正，从而准确地获得商品的类别。

Description

一种商品分类方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种商品分类方法、装置、电子设备及存储介质。
背景技术
鱼眼图像是通过鱼眼镜头采集获得的图像，为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径很短且呈抛物状向镜头前部凸出，与鱼的眼睛颇为相似，鱼眼镜头因此而得名。
基于摄影视角广的优点，鱼眼镜头被广泛用于商场、超市等地方。以超市为例，一排货架上的商品一般都是同一类商品，并且相同品牌的商品会放在一起，通过鱼眼镜头可以采集到货架商品的图像。为了方便对货架商品进行分类，可以通过分类模型就鱼眼图像中的商品进行分类，从而获得货架上的商品类别。但是，由于鱼眼图像采集到的商品的形状会发生畸变，从而使得分类模型对商品识别不准确。
发明内容
本申请实施例的目的在于提供一种商品分类方法、装置、电子设备及存储介质，用以解决现有技术中使用分类模型对商品识别不准确的问题。
第一方面，本申请实施例提供一种商品分类方法，包括：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
本申请实施例通过对商品进行货道划分，并根据商品类别的置信度获得待修正商品，然后利用待修正商品对应的类别的置信度与该货道中其他商品类别，对待修正图像进行修正，从而准确地获得商品的类别。
进一步地，所述获得待修正鱼眼图像包括：获取初始鱼眼图像，所述初始鱼眼图像包括至少一个货道和每个货道中的商品；并将所述初始鱼眼图像输入检测模型中，获得所述检测模型输出的所述待修正鱼眼图像。
本申请实施例通过检测模型对初始鱼眼图像中的商品类别进行识别，一方面能够快速获知商品的类别，另一方面，给出后续确定待修正商品的依据，从而能够准确地挑选出哪些商品为待修正的商品。
进一步地，所述对所述待修正鱼眼图像中的商品进行货道划分，包括：获取各商品对应的检测框获得各商品对应的代表点坐标，并对所述代表点坐标进行极坐标转换，获得各商品分别对应的转换后代表点坐标；根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分。
本申请实施例通过对鱼眼图像进行极坐标变换，使得鱼眼图像中的代表点从非线性可分转化为线性可分。
进一步地，所述根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分，包括：根据每一商品的转换后代表点坐标计算对应代表点与极坐标原点之间的斜率；将所述待修正鱼眼图像中的商品的斜率按照大小进行排序，并分别计算相邻两个商品的斜率之间的比值；根据所述比值对所述待修正鱼眼图像中的商品进行货道划分。
本申请实施例通过利用斜率对待修正鱼眼图像中的商品进行货道划分，能够获知哪些商品属于同一货道，为后续对商品种类的修正提供依据。
进一步地，所述根据所述比值对所述待修正鱼眼图像中的商品进行货道划分，包括：利用预设划分规则对所述待修正鱼眼图像中的商品进行货道划分；所述划分规则包括：若所述比值与1的差值大于预设阈值，则相邻两个商品不属于同一货道；若所述比值与1的差值小于或等于预设阈值，则相邻两个商品属于同一货道。
本申请实施例通过划分规则能够准确地对商品货道进行划分，由于后续对待修正商品的类别进行修正时，需要使用同一货道上的其他商品的类别，因此，提高对待修正商品类别确定的准确性。
进一步地，所述根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正，包括：获取货道中置信度最大的第一预设数量的商品对应的第一商品类别，以及获取待修正商品对应的置信度最大的第二预设数量的第二商品类别；将所述第二商品类别逐个与所述第一商品类别进行匹配，若匹配成功，则使用匹配成功的第一商品类别对所述待修正商品的类别进行修正。
由于同一货道上的商品大多数为同一类别或相近类别，因此，本申请实施例通过根据货道中置信度最大的第一预设数量的第一商品类别对待修正商品的类别进行修正，从而提高了分类的准确性。
进一步地，在获得修正后的鱼眼图像之后，所述方法还包括：利用所述修正后的鱼眼图像对所述检测模型进行优化。以提高检测模型的检测准确度。
第二方面，本申请实施例提供一种商品分类装置，包括：图像获得模块，用于获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；货道划分模块，用于对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；信息获取模块，用于针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；修正模块，用于根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
第四方面，本申请实施例提供一种非暂态计算机可读存储介质，包括：所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种商品分类方法流程示意图；
图2为本申请实施例提供的另一种商品分类方法流程示意图；
图3为本申请实施例提供的装置结构示意图；
图4为本申请实施例提供的电子设备实体结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
在本申请之前，对货架上的商品进行类别的识别是通过预先构建并训练的分类模型对鱼眼图像进行分类。由于鱼眼图像中的商品的形状会发生畸变，因此，各货道的商品分布并非一个线性可分的状态，加上不同货道上摆放的商品各个种类都有，因此现有的分类模型对鱼眼图像中的商品分类不够准确。
为了解决上述技术问题，本申请实施例提供一种商品分类方法，该方法在检测模型对鱼眼图像中的商品类别进行识别，然后再对其中的某些商品的类别进行修正，获得最终的商品的类别，能够提高对商品类别识别的准确性。下面将详细介绍商品分类方法，如图1所示，本申请实施例提供的商品分类方法可以应用于终端设备(也可以称为电子设备)以及服务器；其中，终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(Personal Digital Assitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器。可以理解的是，本申请实施例适用的场景可以是对超市货道中的商品、商场货道中的商品或仓库货道中的商品等进行分类。为了方便描述，本申请实施例以对超市货道中的商品进行分类为例展开描述。
步骤101：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得。
在具体的实施过程中，待修正鱼眼图像是经过检测模型对初始鱼眼图像进行检测输出的，其中，初始鱼眼图像可以是安装在超市货架上方的鱼眼镜头采集获得。因此，终端设备可以直接获取检测模型输出的待修正鱼眼图像，而检测模型检测的过程在其他终端执行。当然，终端设备中也可以执行利用检测模型检测的过程，并获得检测模型输出的待修正鱼眼图像。其中，可以将初始鱼眼图像输入到检测模型中，检测模型对初始鱼眼图像进行分析，并输出待修正鱼眼图像。检测模型能够将初始鱼眼图像中的商品进行识别，即将每个商品都用检测框将其框起来，并且还会识别出检测框中商品的类别对应的置信度，比如是A品牌饮料的概率、B品牌饮料的概率以及C品牌饮料的概率等。检测框可以是矩形，也可以是其他形状，本申请实施例对此不作具体限定。
待修正鱼眼图像中包括至少一个货道，由于鱼眼镜头的视野有限，这里的货道可以是一个完整的货道，也可以是货道的一部分。
步骤102：对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品。
由于通过鱼眼镜头采集到的鱼眼图像中的商品在形状上发生了畸变，因此，货道上的商品并不是线性可分的。又由于属于同一货道上的商品一般来说在类别上比较相似，因此，为了能够更加准确的获得待修正鱼眼图像中商品的类别，可以先对待修正语言图像中的商品进行货道划分，即在待修正鱼眼图像中找到哪些商品属于同一货道。
步骤103：针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度。
在具体的实施过程中，在将商品进行货道划分之后，可以分别对待修正鱼眼图像中的每一个货道上的商品类别进行修正。即从每一个货道中选取待修正商品的类别信息，其具体选取的原则为：预先设定置信度阈值，例如0.7，如果货道中的某个商品对应的最高置信度小于0.7，那么将该商品作为待修正商品。应当说明的是，预先设定的置信度阈值可以是其他数值，可以根据实际情况进行设定。
所谓最高置信度是因为检测模型在对商品进行分析后，可以输出该商品对应的至少一个类别的置信度。对于只输出一个类别的置信度，那么该商品对应的最大置信度就是这个类别的置信度。如果输出多个类别的置信度，例如：A品牌的饼干的置信度为0.9，B品牌的饼干的置信度为0.85，C品牌的饮料的置信度为0.77，那么该商品对应的最大置信度的类别为A品牌的饼干。
可以理解的是，若一个货道中所有商品的最高置信度都大于预设置信度阈值，那么则说明该货道中没有待修正商品，此时，可以不对该货道中的商品进行后续处理。另外，若一个货道中只有一个商品，那么无论该商品的最大置信度是否小于预设置信度阈值，均不对该商品进行后续的修正处理。
步骤104：根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
在具体的实施过程中，由于属于同一货道上的商品一般来说在类别上比较相似，又由于置信度大于预设置信度阈值的商品的类别可以认为是正确的类别，因此，为了能够更加准确的获得待修正鱼眼图像中商品的类别，可以利用对应货道中除了待修正商品以外的商品的类别对待修正商品的类别进行修正。
本申请实施例通过对商品进行货道划分，并根据商品类别的置信度获得待修正商品，然后利用待修正商品对应的类别的置信度与该货道中其他商品类别，对待修正图像进行修正，从而准确地获得商品的类别。
在上述实施例的基础上，图2为本申请实施例提供的另一种商品分类方法流程示意图，如图2所示，该方法包括：
步骤201：获取初始鱼眼图像，所述初始鱼眼图像包括至少一个货道和每个货道中的商品；
步骤202：将所述初始鱼眼图像输入检测模型中，获得所述检测模型输出的所述待修正鱼眼图像；
步骤203：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；
步骤204：对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；
步骤205：针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；
步骤206：根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
在具体的实施过程中，步骤203-步骤206分别与步骤101-步骤104一致，此处不再赘述。初始鱼眼图像为通过鱼眼相机采集获得，终端设备中存储有已经训练好的检测模型，在终端设备获取到初始鱼眼图像后，将初始鱼眼图像输入检测模型中，检测模型输出对应的待修正鱼眼图像。可以理解的是，检测模型可以是深度学习网络，例如：卷积神经网络、快速卷积神经网络或squeeze net等。本申请实施例不对检测模型的具体结构进行限定，只要能够实现对初始鱼眼图像中的商品进行类别的识别即可。
本申请实施例通过检测模型对初始鱼眼图像中的商品类别进行识别，一方面能够快速获知商品的类别，另一方面，给出后续确定待修正商品的依据，从而能够准确地挑选出哪些商品为待修正的商品。
在上述实施例的基础上，所述对所述待修正鱼眼图像中的商品进行货道划分，包括：
获取各商品对应的检测框获得各商品对应的代表点坐标，并对所述代表点坐标进行极坐标转换，获得各商品分别对应的转换后代表点坐标；
根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分。
在具体的实施过程中，待修正鱼眼图像中包括各个商品对应的检测框，为了能够将待修正鱼眼图像从非线性可分变换为线性可分，可以获取待修正鱼眼图像中各个商品对应的代表点坐标。本申请实施例将检测框的中心点作为代表点，其代表点的获得方式为：获取检测框左上角对应的坐标，记为(Xmin,Ymin)，检测框的长记为h，宽记为w，因此可以根据如下公式计划获得代表点的坐标：
Xrep＝Xmin+w/2；
Yrep＝Ymin+h/2；
其中，Xrep为代表点的横坐标，Yrep为代表点的纵坐标。
在对代表点坐标进行极坐标转换时，可以先在待修正鱼眼图像中创建极坐标系，极坐标系的原点为待修正鱼眼图像的中心点。将待修正鱼眼图像中的各个代表点坐标转换为极坐标下的坐标，获得各个商品分别对应的转换后代表点坐标。
应当说明的是，代表点也可以是检测框的左上角的点、右下角的点等，每一检测框均取同一位置的点即可，即所有的检测框的代表点均为其对应的左上角的点或右下角的点。
在获得各个商品对应的转换后代表点坐标之后，计算各个转换后代表点坐标到极坐标原点的斜率，并将计算获得的斜率按照大小进行排序，可以从大到小排，也可以从小到大排。然后分别计算相邻两个商品的斜率之间的比值。例如：排序后的斜率为x1,x2,x3,x4,x5，计算获得的斜率分别为：w1:0.8。应当说明的是，转换后代表点坐标的个数根据待修正鱼眼图像中商品个数确定，本申请实施例中的5个只是一种示例。
在计算获得斜率的比值之后，将各个比值与1进行比较，如果比值与1的差值大于预设阈值，则相邻两个商品不属于同一货道，反之，若比值与1的差值小于或等于预设阈值，则相邻两个商品属于同一货道。
例如：预设阈值为0.1，若
Figure BDA0002508588700000091
为0.92，那么与1的差值为0.08，其小于0.1，说明x1和x2，属于同一货道；若
Figure BDA0002508588700000101
为0.85，那么与1的差值为0.15，其大于0.1，说明x2和x3，属于不同货道。应当说明的是，本申请实施例中的预设阈值可以根据实际情况进行设定，本申请实施例对此不作具体限定。
本申请实施例通过利用斜率对待修正鱼眼图像中的商品进行货道划分，能够获知哪些商品属于同一货道，为后续对商品种类的修正提供依据。
在上述实施例的基础上，所述根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正，包括：
获取货道中置信度最大的第一预设数量的商品对应的第一商品类别，以及获取待修正商品对应的置信度最大的第二预设数量的第二商品类别；
将所述第二商品类别逐个与所述第一商品类别进行匹配，若匹配成功，则使用匹配成功的第一商品类别对所述待修正商品的类别进行修正。
在具体的实施过程中，对于每个有待修正商品的货道，选择该货道中置信度最大的第一预设数量的第一商品类别，其中，第一预设数量可以是1，也可以是2，还可以是更大的数值，具体可以根据实际情况确定。若第一预设数量是1，则从该货道中选择置信度最大的商品类别作为第一商品类别。例如：一个货道中共有5个商品，其中包括1个待修正商品。剩余的4个商品分别对应的类别以及该类别对应的置信度分别为：y1:0.95，y2:0.97，y3:0.89，y4:0.9。假设第一预设数量为1，那么获得到的第一商品类别为y2。应当说明的是，虽然检测模型可以输出每个商品属于多个类别的置信度，但是本申请实施例将检测模型输出的最大置信度的类别作为对应商品的类别。
而对于待修正商品来说，获取检测模型输出多个类别的置信度中最大的第二预设数量的第二商品类别。其中，第二预设数量可以为3，也可以是其他数值，本申请实施例对此不作具体限定。例如：检测模型输出待修正商品对应的类别及置信度分别为：w1:0.8，w2:0.81，w3:0.69，w4:0.76，以第二预设数量为3为例，获取到的待修正商品对应的第二商品类别为：w2，w1，w4。
在获取到第一商品类别和第二商品类别后，判断第二商品类别中是否包括有第一商品类别，若包括，则将与第一商品类别相同的第二商品类别作为待修正商品的类别。
例如：上述待修正商品在修正之前，其对应的类别为w2，假设w1与y2相同，那么该待修正商品在修正之后的类别为w1。
在另一实施方式中，还可以从该货道中获取距离待修正商品的代表点最近的一个非待修正商品的代表点，判断待修正商品对应的第二商品类别中是否包括非待修正商品的代表点，若包括，则将非待修正商品的类别作为待修正商品的类别。
例如：待修正商品对应的第二商品类别为：w2，w1，w4，距离待修正商品的代表点最近的一个非待修正商品的代表点对应的类别为z，如果w4与z相同，那么将待修正商品的类别从w2修正为w4。
由于同一货道上的商品大多数为同一类别或相近类别，因此，本申请实施例通过根据货道中置信度最大的第一预设数量的第一商品类别对待修正商品的类别进行修正，从而提高了分类的准确性。
在上述实施例的基础上，在获得修正后的鱼眼图像之后，所述方法还包括：
利用所述修正后的鱼眼图像对所述检测模型进行优化。
在具体的实施过程中，将修正后的鱼眼图像及对应的各商品类别作为训练样本对检测模型进行再次优化，在优化时，将修正后的鱼眼图像作为输入，检测模型对修正后的鱼眼图像进行分析，输出预测结果，根据预测结果和修正后的鱼眼图像及对应的各商品类别构建损失函数，并根据损失函数优化检测模型中的参数，从而提高检测模型的检测准确率。
图3为本申请实施例提供的装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括图像获得模块301、货道划分模块302、信息获取模块303和修正模块304，其中：
图像获得模块301用于获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；货道划分模块302用于对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；信息获取模块303用于针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；修正模块304用于根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
在上述实施例的基础上，图像获得模块301具体用于：
获取初始鱼眼图像，所述初始鱼眼图像包括至少一个货道和每个货道中的商品；
将所述初始鱼眼图像输入检测模型中，获得所述检测模型输出的所述待修正鱼眼图像。
在上述实施例的基础上，货道划分模块302具体用于：
获取各商品对应的检测框获得各商品对应的代表点坐标，并对所述代表点坐标进行极坐标转换，获得各商品分别对应的转换后代表点坐标；
根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分。
在上述实施例的基础上，货道划分模块302具体用于：
根据每一商品的转换后代表点坐标计算对应代表点与极坐标原点之间的斜率；
将所述待修正鱼眼图像中的商品的斜率按照大小进行排序，并分别计算相邻两个商品的斜率之间的比值；
根据所述比值对所述待修正鱼眼图像中的商品进行货道划分。
在上述实施例的基础上，货道划分模块302具体用于：
利用预设划分规则对所述待修正鱼眼图像中的商品进行货道划分；
所述划分规则包括：
若所述比值与1的差值大于预设阈值，则相邻两个商品不属于同一货道；
若所述比值与1的差值小于或等于预设阈值，则相邻两个商品属于同一货道。
在上述实施例的基础上，修正模块304具体用于：
获取货道中置信度最大的第一预设数量的商品对应的第一商品类别，以及获取待修正商品对应的置信度最大的第二预设数量的第二商品类别；
将所述第二商品类别逐个与所述第一商品类别进行匹配，若匹配成功，则使用匹配成功的第一商品类别对所述待修正商品的类别进行修正。
在上述实施例的基础上，该装置还包括优化模块，用于：
利用所述修正后的鱼眼图像对所述检测模型进行优化。
综上所述，本申请实施例通过对商品进行货道划分，并根据商品类别的置信度获得待修正商品，然后利用待修正商品对应的类别的置信度与该货道中其他商品类别，对待修正图像进行修正，从而准确地获得商品的类别。
图4为本申请实施例提供的电子设备实体结构示意图，如图4所示，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；其中，
所述处理器401和存储器402通过所述总线403完成相互间的通信；
所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
处理器401可以是一种集成电路芯片，具有信号处理能力。上述处理器401可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器402可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种商品分类方法，其特征在于，包括：
获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；
对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；
针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；
根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
2.根据权利要求1所述的方法，其特征在于，所述获得待修正鱼眼图像包括：
获取初始鱼眼图像，所述初始鱼眼图像包括至少一个货道和每个货道中的商品；
将所述初始鱼眼图像输入检测模型中，获得所述检测模型输出的所述待修正鱼眼图像。
3.根据权利要求1所述的方法，其特征在于，所述对所述待修正鱼眼图像中的商品进行货道划分，包括：
获取各商品对应的检测框获得各商品对应的代表点坐标，并对所述代表点坐标进行极坐标转换，获得各商品分别对应的转换后代表点坐标；
根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分。
4.根据权利要求3所述的方法，其特征在于，所述根据各商品对应的转换后代表点坐标对所述待修正鱼眼图像中的商品进行货道划分，包括：
根据每一商品的转换后代表点坐标计算对应代表点与极坐标原点之间的斜率；
将所述待修正鱼眼图像中的商品的斜率按照大小进行排序，并分别计算相邻两个商品的斜率之间的比值；
根据所述比值对所述待修正鱼眼图像中的商品进行货道划分。
5.根据权利要求4所述的方法，其特征在于，所述根据所述比值对所述待修正鱼眼图像中的商品进行货道划分，包括：
利用预设划分规则对所述待修正鱼眼图像中的商品进行货道划分；
所述划分规则包括：
若所述比值与1的差值大于预设阈值，则相邻两个商品不属于同一货道；
若所述比值与1的差值小于或等于预设阈值，则相邻两个商品属于同一货道。
6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正，包括：
获取货道中置信度最大的第一预设数量的商品对应的第一商品类别，以及获取待修正商品对应的置信度最大的第二预设数量的第二商品类别；
将所述第二商品类别逐个与所述第一商品类别进行匹配，若匹配成功，则使用匹配成功的第一商品类别对所述待修正商品的类别进行修正。
7.根据权利要求6所述的方法，其特征在于，在获得修正后的鱼眼图像之后，所述方法还包括：
利用所述修正后的鱼眼图像对所述检测模型进行优化。
8.一种商品分类装置，其特征在于，包括：
图像获得模块，用于获得待修正鱼眼图像，所述待修正鱼眼图像包括至少一个货道和每个货道中各商品对应的检测框；其中，所述检测框为检测模型对所述待修正鱼眼图像中的各商品的类别进行检测获得；
货道划分模块，用于对所述待修正鱼眼图像中的商品进行货道划分，获得各个货道对应的商品；
信息获取模块，用于针对每一货道，获取货道中待修正商品的类别信息；所述类别信息包括所述检测模型输出的所述待修正商品对应的至少一个类别的置信度；
修正模块，用于根据待修正商品对应的至少一个类别的置信度以及对应货道中除待修正商品之外的商品的类别对所述待修正商品的类别进行修正。
9.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，
所述处理器和所述存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。
CN202010458543.3A 2020-05-26 2020-05-26 一种商品分类方法、装置、电子设备及存储介质 Active CN111612000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010458543.3A CN111612000B (zh) 2020-05-26 2020-05-26 一种商品分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010458543.3A CN111612000B (zh) 2020-05-26 2020-05-26 一种商品分类方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111612000A true CN111612000A (zh) 2020-09-01
CN111612000B CN111612000B (zh) 2023-09-12

Family

ID=72201486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010458543.3A Active CN111612000B (zh) 2020-05-26 2020-05-26 一种商品分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111612000B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990381A (zh) * 2021-05-11 2021-06-18 南京甄视智能科技有限公司 畸变图像目标识别方法及装置
CN113033286A (zh) * 2021-01-28 2021-06-25 上海耳序信息技术有限公司 一种货柜内商品的识别方法及装置
CN117152539A (zh) * 2023-10-27 2023-12-01 浙江由由科技有限公司 基于降维特征机器校验的生鲜商品分类修正方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置
CN110245580A (zh) * 2019-05-24 2019-09-17 北京百度网讯科技有限公司 一种检测图像的方法、装置、设备和计算机存储介质
WO2020048492A1 (zh) * 2018-09-05 2020-03-12 北京三快在线科技有限公司 商品状态识别

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020048492A1 (zh) * 2018-09-05 2020-03-12 北京三快在线科技有限公司 商品状态识别
CN109858436A (zh) * 2019-01-29 2019-06-07 中国科学院自动化研究所 基于视频动态前景掩膜的目标类别修正方法、检测方法
CN110245580A (zh) * 2019-05-24 2019-09-17 北京百度网讯科技有限公司 一种检测图像的方法、装置、设备和计算机存储介质
CN110175590A (zh) * 2019-05-31 2019-08-27 北京华捷艾米科技有限公司 一种商品识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘照邦;袁明辉;: "基于深度神经网络的货架商品识别方法" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033286A (zh) * 2021-01-28 2021-06-25 上海耳序信息技术有限公司 一种货柜内商品的识别方法及装置
CN113033286B (zh) * 2021-01-28 2024-02-27 上海耳序信息技术有限公司 一种货柜内商品的识别方法及装置
CN112990381A (zh) * 2021-05-11 2021-06-18 南京甄视智能科技有限公司 畸变图像目标识别方法及装置
CN112990381B (zh) * 2021-05-11 2021-08-13 南京甄视智能科技有限公司 畸变图像目标识别方法及装置
CN117152539A (zh) * 2023-10-27 2023-12-01 浙江由由科技有限公司 基于降维特征机器校验的生鲜商品分类修正方法
CN117152539B (zh) * 2023-10-27 2024-01-26 浙江由由科技有限公司 基于降维特征机器校验的生鲜商品分类修正方法

Also Published As

Publication number Publication date
CN111612000B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
US12067733B2 (en) Video target tracking method and apparatus, computer device, and storage medium
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110348294B (zh) Pdf文档中图表的定位方法、装置及计算机设备
CN108229341B (zh) 分类方法和装置、电子设备、计算机存储介质
CN111612000B (zh) 一种商品分类方法、装置、电子设备及存储介质
CN107527044B (zh) 一种基于搜索的多张车牌清晰化方法及装置
US8792722B2 (en) Hand gesture detection
CN111814785B (zh) 发票识别方法及相关模型的训练方法以及相关设备、装置
CN111444765B (zh) 图像重识别方法及相关模型的训练方法及相关装置、设备
CN112348778B (zh) 一种物体识别方法、装置、终端设备及存储介质
CN113963147B (zh) 一种基于语义分割的关键信息提取方法及系统
US11861669B2 (en) System and method for textual analysis of images
CN113837151B (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
CN113255501B (zh) 生成表格识别模型的方法、设备、介质及程序产品
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
CN110930087A (zh) 库存盘点方法及装置
CN111556362A (zh) 一种车身广告植入方法、装置、电子设备及存储介质
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
CN114494823A (zh) 零售场景下的商品识别检测计数方法及系统
CN112085063B (zh) 一种目标识别方法、装置、终端设备及存储介质
CN111414917B (zh) 一种低像素密度文本的识别方法
CN114998665B (zh) 一种图像类别识别方法、装置、电子设备及存储介质
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及系统
CN116311290A (zh) 基于深度学习的手写及打印文本检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240906

Address after: 569n, building 1, 668 SHANGDA Road, Baoshan District, Shanghai, 201900

Patentee after: Innovation wisdom (Shanghai) Technology Co.,Ltd.

Country or region after: China

Address before: No.530, East District, national e-commerce demonstration base, No.528, tianguba Road, software new town, Yuhua Street office, high tech Zone, Xi'an City, Shaanxi Province, 710000

Patentee before: Innovation Qizhi (Xi'an) Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right