CN112163600B - 一种基于机器视觉的商品识别方法 - Google Patents

一种基于机器视觉的商品识别方法 Download PDF

Info

Publication number
CN112163600B
CN112163600B CN202010941047.3A CN202010941047A CN112163600B CN 112163600 B CN112163600 B CN 112163600B CN 202010941047 A CN202010941047 A CN 202010941047A CN 112163600 B CN112163600 B CN 112163600B
Authority
CN
China
Prior art keywords
commodity
image model
target
similarity
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010941047.3A
Other languages
English (en)
Other versions
CN112163600A (zh
Inventor
赵义红
王权海
刘同�
张德钊
王铭宇
吴友良
李壮豪
莫子莉
涂晨鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yimi Intelligent New Retail Technology Shenzhen Co ltd
Chengdu Univeristy of Technology
Original Assignee
Yimi Intelligent New Retail Technology Shenzhen Co ltd
Chengdu Univeristy of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yimi Intelligent New Retail Technology Shenzhen Co ltd, Chengdu Univeristy of Technology filed Critical Yimi Intelligent New Retail Technology Shenzhen Co ltd
Priority to CN202010941047.3A priority Critical patent/CN112163600B/zh
Publication of CN112163600A publication Critical patent/CN112163600A/zh
Application granted granted Critical
Publication of CN112163600B publication Critical patent/CN112163600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements

Abstract

本发明公开了一种基于机器视觉的商品识别方法,包括以下步骤:确定需要识别的目标商品;基于所述目标商品,构建与所述目标商品对应的目标图像模型;根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型;根据所述参考图像模型对应的参考商品,获取所述目标商品的识别结果。通过本发明的技术方案,使得机器可基于图像模型对需要识别的商品自动进行识别,也可以进一步确定下出售的目标商品是否正确,从而在不正确时,可及时进行反馈,以提高所售商品的正确率。

Description

一种基于机器视觉的商品识别方法
技术领域
本发明涉及图像应用技术领域,尤其涉及一种基于机器视觉的商品识别方法。
背景技术
目前,很多设备都会自动出售商品以方便用户,例如:医院、车站很多自动售卖机上都会出售各种矿泉水、零食等各种商品,但这些自动售卖设备却无法对出售的商品进行识别,从而不确定出售的商品是否正确。
发明内容
本发明实施例提供了一种基于机器视觉的商品识别方法。所述技术方案如下:
确定需要识别的目标商品;
基于所述目标商品,构建与所述目标商品对应的目标图像模型;
根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型;
根据所述参考图像模型对应的参考商品,获取所述目标商品的识别结果。
在一个实施例中,所述方法还包括:
确定多个参考商品;
获取所述多个参考商品中各参考商品的当前参考信息;
对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型;
将所述各参考商品的参考图像模型存储在所述预设数据库中。
在一个实施例中,所述获取所述多个参考商品中各参考商品的当前参考信息,包括:
获取所述各参考商品在不同放置条件下的当前参考信息,其中,所述不同放置条件包括以下至少一项:不同摆放角度、不同光照强度以及不同摆放位置,所述当前参考信息包括图像信息、视频信息中的至少一项;
所述对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型,包括:
将所述各参考商品在不同放置条件下的当前参考信息按照放置条件的不同进行分类,获得所述各参考商品的多类参考信息;
依次将所述各参考商品的多类参考信息中的每类参考信息,输入至初始图像模型,以逐渐对所述初始图像模型进行多次迭代训练,从而获得所述各参考商品的参考图像模型。
在一个实施例中,所述预设数据库包括多个参考图像模型;
所述根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型,包括:
将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比;
确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型;
将与所述目标图像模型相似度最高的参考图像模型确定为所述与所述目标图像模型匹配的参考图像模型。
在一个实施例中,
所述确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型,包括:
确定所述多个参考图像模型中与所述目标图像模型的相似度均大于预设相似度的参考图像模型;
将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序;
将排序前N的相似度大于预设相似度的参考图像模型确定为与所述目标图像模型相似度最高的参考图像模型。
在一个实施例中,所述将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比,包括:
通过如下公式进行相似度对比,以计算所述目标图像模型与各参考图像模型之间的相似度:
Figure GDA0003010112140000031
上述公式中,sim(a,bi)为所述目标图像模型与第i个参考图像模型之间的相似度,i的取值为从1到m,m为所述预设数据库包含的参考图像模型的数目,αj为所述目标图像模型的第j个角度表征的商品信息,βij为第i个参考图像模型的第j个角度表征的参数信息,n为模型的角度数目,其中,所述参考图像模型与所述目标图像模型的角度数目取值相同;
所述确定所述多个参考图像模型中与所述目标图像模型的相似度均大于预设相似度的参考图像模型,包括:
根据下述公式对与所述目标图像模型相似度大于预设相似度的参考图像模型进行筛选:
W={sim(a,bi)|sim(a,bi)>c}
上述公式中,W为与所述目标图像模型相似度大于预设相似度的参考图像模型的集合,c为预设相似度;
所述将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序,包括:
根据下述公式确定相似度排序结果;
A={LARGE(W,p)},i=1,2,…,n
上述公式中,A为相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序的排序结果,LARGE为对比函数,p为对比函数的变参数,依次取值为1,2,…,s,s为W集合中包含的元素数目。
在一个实施例中,所述基于所述目标商品,构建与所述目标商品对应的目标图像模型,包括:
获取所述目标商品的当前商品信息,其中,所述当前商品信息包括以下至少一项:所述目标商品的形状、所述目标商品的大小、所述目标商品的至少一个摆放角度、所述目标商品的图像;
根据所述目标商品的当前商品信息,构建与所述目标商品对应的目标图像模型。
在一个实施例中,所述方法还包括:
在获取所述目标商品的识别结果之后,对所述目标商品进行验证,获得验证结果;
将所述验证结果与所述目标商品进行对应存储,其中,所述验证包括以下至少一项:重量验证、二维码验证以及商品编号验证。
在一个实施例中,所述方法还包括:
将所述目标商品的识别结果发送至后台服务器;
接收所述后台服务器基于所述目标商品的识别结果返回的商品参考信息;
将所述商品参考信息与所述参考图像模型进行匹配,以确定两者的匹配率;
根据所述匹配率,确定所述目标商品的识别结果的可信度;
根据所述目标商品的识别结果的可信度,确定是否对所述参考图像模型进行修正。
在一个实施例中,所述确定需要识别的目标商品,包括:
对商品所在的机器的取货口进行拍摄,获得拍摄图像;
对所述拍摄图像进行图像识别,判断所述取货口的当前操作者的状态信息是否符合预设状态;
当所述取货口的当前操作者的状态信息符合所述预设状态时,确定所述拍摄图像中显示的商品为所述目标商品;否则,确定所述拍摄图像中显示的商品并非所述目标商品。
通过本发明的技术方案可实现以下技术效果:
在确定需要识别的目标商品后,可基于目标商品自动构建对应的目标图像模型,然后根据目标图像模型在数据库中搜索相匹配的参考图像模型,从而根据参考图像模型所对应的参考商品,对目标商品进行识别,以获得识别结果,如此,使得机器可基于图像模型对需要识别的商品自动进行识别,也可以进一步确定下出售的目标商品是否正确,从而在不正确时,
可及时进行反馈,以提高所售商品的正确率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为本发明所提供的一种基于机器视觉的商品识别方法的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了解决上述技术问题,本发明实施例提供了一种基于机器视觉的商品识别方法,其执行主体可以是自动售货机等智能机器,如图1所示,该方法包括步骤S101至步骤S104:
在步骤S101中,确定需要识别的目标商品;
在步骤S102中,基于所述目标商品,构建与所述目标商品对应的目标图像模型;
在步骤S103中,根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型;
在步骤S104中,根据所述参考图像模型对应的参考商品,获取所述目标商品的识别结果。
在确定需要识别的目标商品后,可基于目标商品自动构建对应的目标图像模型,然后根据目标图像模型在数据库中搜索相匹配的参考图像模型,从而根据参考图像模型所对应的参考商品,对目标商品进行识别,以获得识别结果,如此,使得机器可基于图像模型对需要识别的商品自动进行识别,也可以进一步确定下出售的目标商品是否正确,从而在不正确时,可及时进行反馈,以提高所售商品的正确率。
在一个实施例中,所述方法还包括:
确定多个参考商品;多个参考商品可以是同一类产品中的多个或者来自不同类产品。
获取所述多个参考商品中各参考商品的当前参考信息;当前参考信息用于表征参考商品的名字、口味、重量、尺寸、形状、体积、生产日期、保质期等信息。
对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型;
将所述各参考商品的参考图像模型存储在所述预设数据库中。
通过获取多个参考商品中各参考商品的当前参考信息,当然,当前参考信息可通过图像、视频信息来表征,然后对当前参考信息进行图像识别训练,以获得每个参考商品的参考图像模型,进而将这些参考图像模型存储在预设数据库中,从而便于之后利用已经建立的图像模型对商品进行智能识别。
在一个实施例中,所述获取所述多个参考商品中各参考商品的当前参考信息,包括:
获取所述各参考商品在不同放置条件下的当前参考信息,其中,所述不同放置条件包括以下至少一项:不同摆放角度、不同光照强度以及不同摆放位置,所述当前参考信息包括图像信息、视频信息中的至少一项;
所述对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型,包括:
将所述各参考商品在不同放置条件下的当前参考信息按照放置条件的不同进行分类,获得所述各参考商品的多类参考信息;
依次将所述各参考商品的多类参考信息中的每类参考信息,输入至初始图像模型,以逐渐对所述初始图像模型进行多次迭代训练,从而获得所述各参考商品的参考图像模型。
由于任何商品在不同放置条件下的商品信息可能不同,如不同放置条件会影响商品的颜色、影响尺寸的显示、影响观看到的形状等,因而,在获取到每个参考商品在不同放置条件下的当前参考信息之后,可将该参考商品所有的参考信息按照放置条件的不同进行分类,得到每个参考商品的多类参考信息,进而将多类参考信息依次输入至初始图像模型中,以对初始图像模型不断进行训练,然后在已经训练完的基础上再次进行训练,即每次输入的一类参考信息均是对上一次训练后的初始图像模型进行的再次训练,直至所有的参考信息均输入完毕就逐渐完成了对初始图像模型的多次迭代训练,也就获得了各参考商品准确的参考图像模型,以便于之后使用这些参考图像模型对商品进行准确识别。
在一个实施例中,所述预设数据库包括多个参考图像模型;
所述根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型,包括:
将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比;
确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型;
将与所述目标图像模型相似度最高的参考图像模型确定为所述与所述目标图像模型匹配的参考图像模型。
通过将目标图像模型与各参考图像模型进行相似度比较,可从多个参考图像模型中确定出与目标图像模型相似度最高的参考图像模型,而该相似度最高的参考图像模型即与所述目标图像模型匹配的参考图像模型。
在一个实施例中,所述将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比,包括:
通过如下公式进行相似度对比,以计算所述目标图像模型与各参考图像模型之间的相似度:
Figure GDA0003010112140000081
上述公式中,sim(a,bi)为所述目标图像模型与第i个参考图像模型之间的相似度,i的取值为从1到m,m为所述预设数据库包含的参考图像模型的数目,αj为所述目标图像模型的第j个角度表征的商品信息,βij为第i个参考图像模型的第j个角度表征的参数信息,n为模型的角度数目,其中,所述参考图像模型与所述目标图像模型的角度数目取值相同;
所述确定所述多个参考图像模型中与所述目标图像模型的相似度均大于预设相似度的参考图像模型,包括:
根据下述公式对与所述目标图像模型相似度大于预设相似度的参考图像模型进行筛选:
W={sim(a,bi)|sim(a,bi)>c}
上述公式中,W为与所述目标图像模型相似度大于预设相似度的参考图像模型的集合,c为预设相似度;
所述将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序,包括:
根据下述公式确定相似度排序结果;
A={LARGE(W,p)},i=1,2,…,n
上述公式中,A为相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序的排序结果,LARGE为对比函数,p为对比函数的变参数,依次取值为1,2,…,s,s为W集合中包含的元素数目。
通过上述相似度计算方法将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比,不仅计算速度,即使多个参考图像模型也可以快速获得目标图像模型与各个参考图像模型之间的相似度,而且相似度是依据目标图像模型和参考图像模型的不同角度的信息而确定的,使得计算得到的目标图像模型与参考图像模型之间的相似度更加准确体现目标图像模型与参考图像模型之间的一致性。
此外,在确定相似度对比排序时,根据对比函数的变参数依次取值来确定与所述目标图像模型相似度较高的参考图像模型按照相似度从高到低进行排列的排列顺序,清楚有条理性,使得相似度对比排序出错率极低。
在一个实施例中,
所述确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型,包括:
确定所述多个参考图像模型中与所述目标图像模型的相似度均大于预设相似度的参考图像模型;
另外,无论是参考图像模型还是目标图像模型,角度的参考基准线是相同的,即所有图像模型的零角度是相同的,然后角度从小到大的方向可以是以参考基准线为0度,顺时针角度依次从0-360°或者逆时针角度依次从0变化到360°。
将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序;
将排序前N的相似度大于预设相似度的参考图像模型确定为与所述目标图像模型相似度最高的参考图像模型。
由于图像模型中每个角度表征的商品信息不同,因而,在进行相似度比较时,可将目标图像模型中每个角度表征的商品信息与所述各参考图像模型中相应角度表征的参考信息依次进行相似度对比,然后从多个参考图像模型中筛选出每个角度所表征的参考信息与目标图像模型中相应角度(即每个相同角度)表征的商品信息的相似度均大于预设相似度的参考图像模型,进而将这些相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序,从而将排序前N个相似度大于预设相似度的参考图像模型即相似度排序靠前的参考图像模型确定为与所述目标图像模型相似度最高的参考图像模型,以提高所选的参考图像模型的准确率。
在一个实施例中,所述基于所述目标商品,构建与所述目标商品对应的目标图像模型,包括:
获取所述目标商品的当前商品信息,其中,所述当前商品信息包括以下至少一项:所述目标商品的形状、所述目标商品的大小、所述目标商品的至少一个摆放角度、所述目标商品的图像;当前商品信息包括但不限于上述信息,还可以是目标商品的保质期、生产日期、体积等。
根据所述目标商品的当前商品信息,构建与所述目标商品对应的目标图像模型。
通过获取目标商品的当前商品信息,可自动构建与目标商品对应的目标图像模型,以便于利用图像模型进行模型搜索然后对目标商品进行识别。
在一个实施例中,所述方法还包括:
在获取所述目标商品的识别结果之后,对所述目标商品进行验证,获得验证结果;
将所述验证结果与所述目标商品进行对应存储,其中,所述验证包括以下至少一项:重量验证、二维码验证以及商品编号验证。
通过对目标商品进行验证,可获得目标商品的验证结果,然后将验证结果与目标商品进行对应存储,从而得到目标商品的验证信息,以便于为目标商品附上验证标签,确保该目标商品的产品质量、或者方便扫描该产品信息等。
在一个实施例中,所述方法还包括:
将所述目标商品的识别结果发送至后台服务器;
接收所述后台服务器基于所述目标商品的识别结果返回的商品参考信息;
将所述商品参考信息与所述参考图像模型进行匹配,以确定两者的匹配率;
根据所述匹配率,确定所述目标商品的识别结果的可信度;
根据所述目标商品的识别结果的可信度,确定是否对所述参考图像模型进行修正。
通过将目标商品的识别结果发送至后台服务器,可接收后台服务器基于所述目标商品的识别结果返回的商品参考信息,然后将商品参考信息与所述参考图像模型进行匹配,以确定商品参考信息与所述参考图像模型的匹配率,而匹配率直接反映了目标商品的识别结果的可信度,即匹配率越高,说明识别结果的可信度越高,匹配率越低,说明识别结果的可信度越低,进而根据所述目标商品的识别结果的可信度,确定是否对所述参考图像模型进行修正,即如果可信度低,则说明参考图像模型不准确,需要便于自动进行修正,而如果可信度高,则说明参考图像模型较为准确,并不需要进行修正,以确保参考图像模型的准确性,进而确保目标商品的识别准确率。
在一个实施例中,所述确定需要识别的目标商品,包括:
对商品所在的机器的取货口进行拍摄,获得拍摄图像;
对所述拍摄图像进行图像识别,判断所述取货口的当前操作者的状态信息是否符合预设状态;状态信息包括当前操作者距离取货口的距离,当前操作者的面部表情,当前操作者手持拍摄图像中所显示的商品的姿势等,而当前操作者即对拍摄图像中所显示的商品进行操作的人员。
当所述取货口的当前操作者的状态信息符合所述预设状态时,确定所述拍摄图像中显示的商品为所述目标商品;否则,确定所述拍摄图像中显示的商品并非所述目标商品。
通过获得取货口的拍摄图像,可基于该拍摄图像智能判断取货口当前操作者的状态是否符合预设状态,如果符合,则说明该拍摄图像中显示的商品为需要识别的目标商品,否则,说明该拍摄图像中显示的商品并非需要识别的目标商品,从而基于图像识别提高目标商品的判断效率,并过滤掉不需要识别的商品,以实现有针对性地识别商品。
最后,需要明确的是:本领域技术人员可根据实际需求,将上述多个实施例进行自由组合。
本领域技术用户员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于机器视觉的商品识别方法,其特征在于,包括以下步骤:
确定需要识别的目标商品;
基于所述目标商品,构建与所述目标商品对应的目标图像模型;
根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型;
根据所述参考图像模型对应的参考商品,获取所述目标商品的识别结果;
确定多个参考商品;
获取所述多个参考商品中各参考商品的当前参考信息;
对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型;
将所述各参考商品的参考图像模型存储在所述预设数据库中。
2.根据权利要求1所述方法,其特征在于,
所述获取所述多个参考商品中各参考商品的当前参考信息,包括:
获取所述各参考商品在不同放置条件下的当前参考信息,其中,所述不同放置条件包括以下至少一项:不同摆放角度、不同光照强度以及不同摆放位置,所述当前参考信息包括图像信息、视频信息中的至少一项;
所述对所述各参考商品的当前参考信息进行图像识别训练,以获得所述各参考商品的参考图像模型,包括:
将所述各参考商品在不同放置条件下的当前参考信息按照放置条件的不同进行分类,获得所述各参考商品的多类参考信息;
依次将所述各参考商品的多类参考信息中的每类参考信息,输入至初始图像模型,以逐渐对所述初始图像模型进行多次迭代训练,从而获得所述各参考商品的参考图像模型。
3.根据权利要求1所述方法,其特征在于,
所述预设数据库包括多个参考图像模型;
所述根据所述目标图像模型,在预设数据库中搜索与所述目标图像模型匹配的参考图像模型,包括:
将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比;
确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型;
将与所述目标图像模型相似度最高的参考图像模型确定为所述与所述目标图像模型匹配的参考图像模型。
4.根据权利要求3所述方法,其特征在于,
所述确定所述多个参考图像模型中与所述目标图像模型相似度最高的参考图像模型,包括:
确定所述多个参考图像模型中与所述目标图像模型的相似度大于预设相似度的参考图像模型;
将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序;
将排序前N的相似度大于预设相似度的参考图像模型确定为与所述目标图像模型相似度最高的参考图像模型。
5.根据权利要求4所述方法,其特征在于,
所述将所述目标图像模型与所述预设数据库中的所述多个参考图像模型中各参考图像模型进行相似度对比,包括:
通过如下公式进行相似度对比,以计算所述目标图像模型与各参考图像模型之间的相似度:
Figure FDA0003010112130000021
上述公式中,sim(a,bi)为所述目标图像模型与第i个参考图像模型之间的相似度,i的取值为从1到m,m为所述预设数据库包含的参考图像模型的数目,αj为所述目标图像模型的第j个角度表征的商品信息,βij为第i个参考图像模型的第j个角度表征的参数信息,n为模型的角度数目,其中,所述参考图像模型与所述目标图像模型的角度数目取值相同;
所述确定所述多个参考图像模型中与所述目标图像模型的相似度均大于预设相似度的参考图像模型,包括:
根据下述公式对与所述目标图像模型相似度大于预设相似度的参考图像模型进行筛选:
W={sim(a,bi)|sim(a,bi)>c}
上述公式中,W为与所述目标图像模型相似度大于预设相似度的参考图像模型的集合,c为预设相似度;
所述将相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序,包括:
根据下述公式确定相似度排序结果;
A={LARGE(W,p)},i=1,2,…,n
上述公式中,A为相似度大于预设相似度的参考图像模型按照相似度从高到低的顺序进行排序的排序结果,LARGE为对比函数,p为对比函数的变参数,依次取值为1,2,…,s,s为W集合中包含的元素数目。
6.根据权利要求1所述方法,其特征在于,
所述基于所述目标商品,构建与所述目标商品对应的目标图像模型,包括:
获取所述目标商品的当前商品信息,其中,所述当前商品信息包括以下至少一项:所述目标商品的形状、所述目标商品的大小、所述目标商品的至少一个摆放角度、所述目标商品的图像;
根据所述目标商品的当前商品信息,构建与所述目标商品对应的目标图像模型。
7.根据权利要求1所述方法,其特征在于,所述方法还包括:
在获取所述目标商品的识别结果之后,对所述目标商品进行验证,获得验证结果;
将所述验证结果与所述目标商品进行对应存储,其中,所述验证包括以下至少一项:重量验证、二维码验证以及商品编号验证。
8.根据权利要求1至7中任一项所述方法,其特征在于,所述方法还包括:
将所述目标商品的识别结果发送至后台服务器;
接收所述后台服务器基于所述目标商品的识别结果返回的商品参考信息;
将所述商品参考信息与所述参考图像模型进行匹配,以确定两者的匹配率;
根据所述匹配率,确定所述目标商品的识别结果的可信度;
根据所述目标商品的识别结果的可信度,确定是否对所述参考图像模型进行修正。
9.根据权利要求1至7中任一项所述方法,其特征在于,所述确定需要识别的目标商品,包括:
对商品所在的机器的取货口进行拍摄,获得拍摄图像;
对所述拍摄图像进行图像识别,判断所述取货口的当前操作者的状态信息是否符合预设状态;
当所述取货口的当前操作者的状态信息符合所述预设状态时,确定所述拍摄图像中显示的商品为所述目标商品;否则,确定所述拍摄图像中显示的商品并非所述目标商品。
CN202010941047.3A 2020-09-09 2020-09-09 一种基于机器视觉的商品识别方法 Active CN112163600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010941047.3A CN112163600B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的商品识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010941047.3A CN112163600B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的商品识别方法

Publications (2)

Publication Number Publication Date
CN112163600A CN112163600A (zh) 2021-01-01
CN112163600B true CN112163600B (zh) 2021-06-08

Family

ID=73858577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010941047.3A Active CN112163600B (zh) 2020-09-09 2020-09-09 一种基于机器视觉的商品识别方法

Country Status (1)

Country Link
CN (1) CN112163600B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668558A (zh) * 2021-03-12 2021-04-16 浙江口碑网络技术有限公司 基于人机交互的收银纠错方法及装置
CN113053024B (zh) * 2021-03-17 2022-08-16 广东便捷神科技股份有限公司 一种无人零售终端的控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063436A (zh) * 2009-11-18 2011-05-18 腾讯科技(深圳)有限公司 一种利用终端获取图像实现商品信息搜索的系统及方法
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN107944340A (zh) * 2017-10-25 2018-04-20 宁波大学 一种结合直接度量和间接度量的行人再识别方法
CN108564442A (zh) * 2018-04-11 2018-09-21 合肥美的智能科技有限公司 无人零售系统及其控制方法、售货装置和云服务器
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US20190080207A1 (en) * 2017-07-06 2019-03-14 Frenzy Labs, Inc. Deep neural network visual product recognition system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063436A (zh) * 2009-11-18 2011-05-18 腾讯科技(深圳)有限公司 一种利用终端获取图像实现商品信息搜索的系统及方法
CN106162213A (zh) * 2016-07-11 2016-11-23 福建方维信息科技有限公司 一种基于视频直播购物的商品展示方法及系统
CN107944340A (zh) * 2017-10-25 2018-04-20 宁波大学 一种结合直接度量和间接度量的行人再识别方法
CN107908685A (zh) * 2017-10-31 2018-04-13 西安交通大学 基于迁移学习的多视角商品图像检索与识别方法
CN108564442A (zh) * 2018-04-11 2018-09-21 合肥美的智能科技有限公司 无人零售系统及其控制方法、售货装置和云服务器
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统

Also Published As

Publication number Publication date
CN112163600A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN107463946B (zh) 一种结合模板匹配与深度学习的商品种类检测方法
CN108389316B (zh) 自动售货方法、装置和计算机可读存储介质
CN111340126B (zh) 物品识别方法、装置、计算机设备和存储介质
EP3182349A2 (en) Planogram matching
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
JP2019526848A (ja) 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備
CN112163600B (zh) 一种基于机器视觉的商品识别方法
US20120296900A1 (en) Adaptively learning a similarity model
US20210272088A1 (en) Method and system for item identification
CN110704659B (zh) 图像列表的排序方法和装置、存储介质及电子装置
CN109509228A (zh) 用于定位一个或多个候选数字图像的方法
CN106570015A (zh) 图像搜索方法和装置
CN111539468B (zh) 一种自动售卖设备的货物清点方法
JP2019174959A (ja) 商品棚位置登録プログラム、及び情報処理装置
US20120170809A1 (en) Procedure for recognizing objects
US11036964B2 (en) Method and system for item identification
CN109886206A (zh) 一种三维物体识别方法及设备
WO2020183837A1 (ja) 計数システム、計数装置、機械学習装置、計数方法、部品配置方法、および、プログラム
CN109446966B (zh) 基于图像采集识别的电子商务物流平台物品分类管理系统
CN111222388B (zh) 基于视觉识别的结算方法和系统
JP2021117849A (ja) 絞込処理システム
JP7190479B2 (ja) 学習装置、機械学習モデル及び学習方法
CN114235122A (zh) 基于ai图像识别的电子秤的称重结算方法及系统
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN109710793B (zh) 一种哈希参数确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant