CN111008210B - 商品识别方法、装置、编解码器及存储装置 - Google Patents

商品识别方法、装置、编解码器及存储装置 Download PDF

Info

Publication number
CN111008210B
CN111008210B CN201911127936.XA CN201911127936A CN111008210B CN 111008210 B CN111008210 B CN 111008210B CN 201911127936 A CN201911127936 A CN 201911127936A CN 111008210 B CN111008210 B CN 111008210B
Authority
CN
China
Prior art keywords
feature vector
searched
commodity
vector set
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911127936.XA
Other languages
English (en)
Other versions
CN111008210A (zh
Inventor
王赛捷
薛迪秀
熊剑平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201911127936.XA priority Critical patent/CN111008210B/zh
Publication of CN111008210A publication Critical patent/CN111008210A/zh
Application granted granted Critical
Publication of CN111008210B publication Critical patent/CN111008210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Abstract

本发明公开了一种商品识别方法、装置、编解码器及存储装置。该商品识别方法包括:获取待检索图像,所述待检索图像包含待检索商品;提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合;将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别。通过上述方式,本发明能够采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现商品在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。

Description

商品识别方法、装置、编解码器及存储装置
技术领域
本申请涉及图像检索领域,特别是涉及一种商品识别方法、装置、编解码器及存储装置。
背景技术
随着越来越多的机器学习或深度学习技术应用于新零售领域,其中商品识别或商品检索是其中一项重要技术。尤其是在进行商品结算时,对场景中的商品进行精确的识别是重要的挑战。
传统的结算场景中,通过专用设备扫描二维码进行商品识别。新零售场景下通过普通摄像头加图像处理算法完成。在对拍摄到的商品图像进行识别时,通常使用传统图像颜色、纹理、边缘特征或者使用神经网络进行特征提取,然后再对数据库中的注册特征进行比对检索。目前,有的方案基于单个特征向量进行比对检索,容易出现比对错误;另有的方案基于图像中的商品的全部特征进行比对检索,如果商品被部分遮住将会严重识别错误;也有的方案使用距离传感器来应对商品放置位置离摄像头远近的差异,在进行检索时加入对距离的判断,该方法需要距离传感器辅助,识别过程复杂,计算量大;还有的方案使用图像识别模块、动作识别模块、压力传感器辅助RFID来识别用户拿取商品的类别和数量,该方案的识别模块过度冗余。因此,如何提供快捷、高效、可靠的商品识别方法是人们日益关心的问题。
发明内容
本申请提供一种商品识别方法、装置、编解码器及存储装置,能够采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现商品在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种商品识别方法,包括:
获取待检索图像,所述待检索图像包含待检索商品;
提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合;
将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种商品识别装置,包括:
图像获取模块,用于获取待检索图像,所述待检索图像包含待检索商品;
特征提取模块,与所述图像获取模块耦接,用于提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合;
检索模块,与所述特征提取模块耦接,用于将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种编解码器,该编解码器包括处理器、与处理器耦接的存储器,其中,存储器存储有用于实现上述商品识别方法的程序指令;处理器用于执行存储器存储的程序指令以识别商品。
为解决上述技术问题,本申请采用的再一个技术方案是:提供一种存储装置,存储有能够实现上述商品识别方法的程序文件。
本申请的有益效果是:本申请提供了一种商品识别方法、装置、编解码器及存储装置,基于商品的局部特征检索,能够采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现商品在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。
附图说明
图1是本发明第一实施例的商品识别方法的流程示意图;
图2是本发明第二实施例的商品识别方法的流程示意图;
图3是本发明第三实施例的商品识别方法的流程示意图;
图4是本发明第四实施例的商品识别方法的流程示意图;
图5是本发明第一实施例的商品识别装置的结构示意图;
图6是本发明第二实施例的商品识别装置的结构示意图;
图7是本发明实施例的编解码器的结构示意图;
图8是本发明实施例的存储装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等,如果该特定姿态发生改变时,则该方向性指示也相应地随之改变。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
图1是本发明第一实施例的商品识别方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图1所示的流程顺序为限。如图1所示,该方法包括步骤:
步骤S101:获取待检索图像,待检索图像包含待检索商品。
在步骤S101中,采用摄像头采集图像视频流,从图像视频流中获得单帧图像,即待检索图像,待检索图像中可以包含一种待检索商品或者多种待检索商品。
步骤S102:提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
在步骤S102中,首先将待检索商品输入至预先经过训练的卷积神经网络模型中;然后采用卷积神经网络模型对待检索商品的的局部特征进行提取,输出特征图;最后对特征图进行拆分处理,得到多个特征向量,待检索商品的特征向量集合包含多个特征向量。
本实施例中,一个商品对应多个局部特征,特征向量表示某个位置的一定范围内的局部特征,卷积神经网络模型采用Delf局部特征模型,用于提取待检索商品的局部特征,输出结果为一个特征图。特征图包括多个局部特征点,每一个局部特征点对应一个特征向量,在将对特征图进行拆分处理,得到多个特征向量还包括:判断每一个局部特征点对应的响应值是否在预设阈值范围之内;若是,保留局部特征点,输出对应特征向量,组成所述待检索商品的特征向量集合;若否,舍弃局部特征点。该方式可以使网络输出响应更高的特征向量,提高检索结果的准确性。
在本实施例中,当待检索图像中包含一种待检索商品时,特征向量集合包含一种待检索商品的多个局部特征,当待检索图像中包含多种待检索商品时,特征向量集合包含多种待检索商品的局部特征,每种待检索商品的局部特征可以是一个或多个。
步骤S103:将特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据比对结果输出对应的商品类别。
本实施例中,预设数据库包括多个注册样本,每一个注册样本含有多个局部特性向量,多个局部特征向量组成局部特征向量集合,一个注册样本对应一种商品类别。
本发明第一实施例的商品识别方法通过采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现商品在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。
图2是本发明第二实施例的商品识别方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图2所示的流程顺序为限。如图2所示,该方法包括步骤:
步骤S201:获取待检索图像,待检索图像包含待检索商品。
在本实施例中,图2中的步骤S201和图1中的步骤S101类似,为简约起见,在此不再赘述。
步骤S202:提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
在本实施例中,图2中的步骤S201和图1中的步骤S102类似,为简约起见,在此不再赘述。
步骤S203:将特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据比对结果输出对应的商品类别。
在本实施例中,图2中的步骤S203和图1中的步骤S103类似,为简约起见,在此不再赘述。
步骤S204:将待检索商品的局部特征对应的特征向量集合保存至预设数据库,完成待检索商品的商品类别注册操作。
在本实施例中,将同一商品类别的所有特征向量保存至同一个注册样本中,即一个注册样本对应一种商品类别,商品类别注册操作可以丰富预设数据库中的商品类别,以便后续用户能够在预设数据库中成功检索到待检索商品的商品类别。
本发明第二实施例的步骤S203和步骤S204均在步骤S202之后执行,在步骤S202之后具体执行哪一个步骤由用户的设置决定。
本发明第二实施例的商品识别方法通过采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,在预设数据库中不存在待检索商品的商品类别时,完成注册操作,丰富预设数据库中的商品类别,以便后续用户能够在预设数据库中成功检索到待检索商品的商品类别。
图3是本发明第三实施例的商品识别方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图3所示的流程顺序为限。如图3所示,该方法包括步骤:
步骤S301:获取待检索图像,待检索图像包含待检索商品。
在步骤S301中,采用摄像头采集图像视频流,从图像视频流中获得单帧图像,即待检索图像,待检索图像中包含一种待检索商品。
步骤S302:提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
在本实施例中,图3中的步骤S202和图1中的步骤S102类似,但特征向量集合包含一种待检索商品的多个局部特征。
步骤S303:计算特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离。
在步骤S303中,首先依次将特征向量集合中的每一个特征向量与一个注册样本中的所有局部特征向量进行比对,获得每一个特征向量在该注册样本中的匹配向量;然后计算匹配向量集合中的每一个匹配向量与相匹配的特征向量之间的欧氏距离;最后将欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离作为特征向量集合与该注册样本的局部特征向量集合之间的豪斯多夫距离;依次将特征向量集合与每个注册样本的局部特征向量集合进行比对,获得特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离。
在本实施例中,豪斯多夫距离的计算公式如下:
h(A,B)=max(a∈A)min(b∈B)||a-b||,其中,h(A,B)表示集合A与集合B的豪斯多夫距离,a表示集合A的一个元素,b表示集合B的一个元素。
举例来说,预设数据库中包含注册样本的局部特征集合B、C、D,其中,B包括局部特征向量b1、b2…bi,待检索商品的特征向量集合为A,A包括特征向量a1、a2…ai,步骤S203需要计算注册样本的局部特征集合B与特征向量集合A之间、注册样本的局部特征集合C与特征向量集合A之间、注册样本的局部特征集合D与特征向量集合A之间的豪斯多夫距离。例如,计算注册样本的局部特征集合B与特征向量集合A之间的豪斯多夫距离时,对特征向量集合A中的每一个特征向量ai,寻找在注册样本的局部特征集合B中的匹配向量bi,计算特征向量ai与与之匹配的bi之间的欧氏距离,将欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离作为特征向量集合A与注册样本的局部特征集合B之间的豪斯多夫距离。按照同样的方法计算注册样本的局部特征集合C与特征向量集合A之间、注册样本的局部特征集合D与特征向量集合A之间的豪斯多夫距离。
在本实施例中,在进行特征向量集合与一个注册样本的局部特征向量集合比对时,判断特征向量集合中特征向量的个数是否小于该注册样本的局部特征向量,若是,用特征向量集合中特征向量来匹配该注册样本的局部特征向量,若否,调换匹配次序,用该注册样本的局部特征向量来匹配待检索商品的特征向量集合。该方式避免用较多的特征向量匹配较少的特征向量产生的错误匹配。
步骤S304:将豪斯多夫距离按照从小到大的顺序排列,获得第一距离和第二距离,当第一距离与第二距离的比值小于预设距离阈值时,将第一距离对应的注册样本作为匹配注册样本,输出匹配注册样本对应的商品类别。
本发明第三实施例的商品识别方法在第一实施例的基础上,通过采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现单个商品进行检索,在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。
图4是本发明第四实施例的商品识别方法的流程示意图。需注意的是,若有实质上相同的结果,本发明的方法并不以图4所示的流程顺序为限。如图4所示,该方法包括步骤:
步骤S401:获取待检索图像,待检索图像包含待检索商品。
在步骤S401中,采用摄像头采集图像视频流,从图像视频流中获得单帧图像,即待检索图像,待检索图像中包含多种待检索商品。
步骤S402:提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
在本实施例中,图4中的步骤S402和图1中的步骤S102类似,但特征向量集合包含多种待检索商品的局部特征,每种待检索商品的局部特征可以是一个或多个。
步骤S403:分别计算特征向量集合中的每一个特征向量与所有注册样本中的每一个局部特征向量的欧氏距离,对特征向量集合中的每一个特征向量获得对应的欧氏距离集合。
步骤S404:将每个欧氏距离集合所包含的欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离对应的局部特征向量作为匹配向量,将每个匹配向量所在的注册样本作为匹配注册样本,输出与匹配注册样本对应的商品类别。
在本实施例中,在输出与匹配注册样本对应的商品类别的步骤包括:当多个匹配向量均在同一个匹配注册样本内时,判断一个注册样本所在的匹配向量的个数是否大于预设个数阈值时;若是,输出与匹配注册样本对应的商品类别;若否,输出检索错误。
举例来说,当待检索图像中包括待检索商品1和待检索商品2,其中,待检索商品1与注册样本1对应,待检索商品2与注册样本2对应,提取到的待检索商品的特征向量集合包括待检索商品1的特征向量和待检索商品2的特征向量,计算该特征向量集合中的每一个特征向量与所有注册样本中的每一个局部特征向量之间的欧氏距离,对特征向量集合中的每一个特征向量获得对应的欧氏距离集合,根据欧氏距离集合,对特征向量集合中的每一个特征向量都找到匹配向量,当有k个匹配向量属于注册样本1,m个匹配向量属于注册样本2,判断k和m是否大于预设个数阈值时;若是,输出注册样本1对应的商品类别1,注册样本2对应的商品类别2;若否,输出检索错误。
本发明第四实施例的商品识别方法在第一实施例的基础上,通过采用卷积神经网络模型提取待检索图像中待检索商品的局部特征,针对一组特征向量进行特征匹配,实现多个商品进行检索,在部分被遮挡住的情况下仍可以进行有效检索,不需要借助除图像设备以外的其他硬件辅助,检索高效、结果可靠。
图5是本发明第一实施例的商品识别装置的结构示意图。如图5所示,该装置50包括图像获取模块51、特征提取模块52和检索模块53。
图像获取模块51用于获取待检索图像,待检索图像包含待检索商品。
本实施例中,图像获取模块51采用摄像头采集图像视频流,从图像视频流中获得单帧图像,即待检索图像,待检索图像中可以包含一种待检索商品或者多种待检索商品。
特征提取模块52与图像获取模块51耦接,用于提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
进一步地,特征提取模块52首先将待检索商品输入至预先经过训练的卷积神经网络模型中;然后采用卷积神经网络模型对待检索图像中的待检索商品进行特征提取,输出特征图;最后对特征图进行拆分处理,得到多个特征向量,待检索商品的特征向量集合包含多个特征向量。
本实施例中,一个商品对应多个局部特征,特征向量表示某个位置的一定范围内的局部特征,卷积神经网络模型采用Delf局部特征模型,用于提取待检索商品的局部特征,输出结果为一个特征图。特征图包括多个局部特征点,每一个局部特征点对应一个特征向量。
可选地,在将对特征图进行拆分处理,得到多个特征向量还包括:判断每一个局部特征点对应的响应值是否在预设阈值范围之内;若是,保留局部特征点,输出对应特征向量,组成所述待检索商品的特征向量集合;若否,舍弃局部特征点。该方式可以使网络输出响应更高的特征向量,提高检索结果的准确性。
在本实施例中,当待检索图像中包含一种待检索商品时,特征向量集合包含一种待检索商品的多个局部特征,当待检索图像中包含多种待检索商品时,特征向量集合包含多种待检索商品的局部特征,每种待检索商品的局部特征可以是一个或多个。
检索模块53与特征提取模块52耦接,用于将特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据比对结果输出对应的商品类别。
可选地,当待检索图像中包含一种待检索商品时,检索模块53计算特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离,将豪斯多夫距离按照从小到大的顺序排列,获得第一距离和第二距离,当第一距离与第二距离的比值小于预设距离阈值时,将第一距离对应的注册样本作为匹配注册样本,输出匹配注册样本对应的商品类别。
本实施例中,在计算特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离时,首先将特征向量集合中的每一个特征向量与一个注册样本中的所有局部特征向量进行比对,获得匹配向量集合;然后计算匹配向量集合中的每一个匹配向量与相匹配的特征向量之间的欧氏距离;最后将欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离作为特征向量集合与该注册样本的局部特征向量集合之间的豪斯多夫距离;依次将特征向量集合与每个注册样本的局部特征向量集合进行比对,获得特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离。
在本实施例中,在进行特征向量集合与一个注册样本的局部特征向量集合比对时,判断特征向量集合中特征向量的个数是否小于该注册样本的局部特征向量,若是,用特征向量集合中特征向量来匹配该注册样本的局部特征向量,若否,调换匹配次序,用该注册样本的局部特征向量来匹配待检索商品的特征向量集合。该方式避免用较多的特征向量匹配较少的特征向量产生的错误匹配。
可选地,当待检索图像中包含多种待检索商品时,检索模块53分别计算特征向量集合中的每一个特征向量与所有注册样本中的每一个局部特征向量的欧氏距离,对特征向量集合中的每一个特征向量获得对应的欧氏距离集合;将每个欧氏距离集合所包含的欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离对应的局部特征向量作为匹配向量,输出每个匹配向量所在的注册样本对应的商品类别。
在本实施例中,输出每个匹配向量所在的注册样本对应的商品类别包括:判断一个注册样本所在的匹配向量的个数是否大于预设个数阈值时;若是,输出与注册样本对应的商品类别;若否,输出检索错误。
图6是本发明第二实施例的商品识别装置的结构示意图。如图6所示,该装置60包括图像获取模块61、特征提取模块62、检索模块63和注册模块64。
图像获取模块61用于获取待检索图像,待检索图像包含待检索商品。
在本实施例中,图6中的图像获取模块61和图5中的图像获取模块51类似,为简约起见,在此不再赘述。
特征提取模块62与图像获取模块61耦接,用于提取待检索图像中待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合。
在本实施例中,图6中的特征提取模块62和图5中的特征提取模块52类似,为简约起见,在此不再赘述。
检索模块63与特征提取模块62耦接,用于在预设数据库中存在待检索商品的商品类别时,将特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据比对结果输出对应的商品类别。
在本实施例中,图6中的检索模块63和图5中的检索模块53类似,为简约起见,在此不再赘述。
注册模块64与特征提取模块62耦接,用于将待检索商品的局部特征对应的特征向量集合保存至预设数据库,完成待检索商品的商品类别注册操作。
本实施例的检索模块63和注册模块64由用户的设置决定执行。
请参阅图7,图7为本发明实施例的编解码器的结构示意图。如图7所示,该编解码器70包括处理器71及和处理器71耦接的存储器72。
存储器72存储有用于实现上述任一实施例所述的商品识别方法的程序指令。
处理器71用于执行存储器72存储的程序指令以识别商品。
其中,处理器71还可以称为CPU(Central Processing Unit,中央处理单元)。处理器71可能是一种集成电路芯片,具有信号的处理能力。处理器71还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
参阅图8,图8为本发明实施例的存储装置的结构示意图。本发明实施例的存储装置存储有能够实现上述所有方法的程序文件81,其中,该程序文件81可以以软件产品的形式存储在上述存储装置中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种商品识别方法,其特征在于,包括:
获取待检索图像,所述待检索图像包含待检索商品;
提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合;
将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别;
其中,当所述待检索图像包含一种待检索商品时,所述将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别包括:
依次将所述特征向量集合中的每一个特征向量与一个注册样本中的所有局部特征向量进行比对,获得每一个特征向量在该注册样本中的匹配向量;计算每一个匹配向量与相匹配的特征向量之间的欧氏距离;将所述欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当所述第一欧氏距离与所述第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离作为特征向量集合与该注册样本的局部特征向量集合之间的豪斯多夫距离;依次将所述特征向量集合与每个注册样本的局部特征向量集合进行比对,获得所述特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离;
将所述豪斯多夫距离按照从小到大的顺序排列,获得第一距离和第二距离,当所述第一距离与第二距离的比值小于预设距离阈值时,将第一距离对应的注册样本作为匹配注册样本,输出所述匹配注册样本对应的商品类别。
2.根据权利要求1所述的商品识别方法,其特征在于,所述提取所述待检索图像中所述待检索商品的局部特征,输出与待检索商品的局部特征对应的特征向量集合包括:
将所述待检索图像输入至预先经过训练的卷积神经网络模型;
采用所述卷积神经网络模型对所述待检索商品的局部特征进行提取,输出特征图;
对所述特征图进行拆分处理,得到多个特征向量,所述待检索商品的特征向量集合包含多个所述特征向量。
3.根据权利要求2所述的商品识别方法,其特征在于,所述特征图包括多个局部特征点,每一个所述局部特征点对应一个特征向量,所述对所述特征图进行拆分处理,得到多个特征向量还包括:
判断每一个所述局部特征点对应的响应值是否在预设阈值范围之内;
若是,保留所述局部特征点,输出对应特征向量,组成所述待检索商品的特征向量集合;
若否,舍弃所述局部特征点。
4.根据权利要求1所述的商品识别方法,其特征在于,在提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合之后还包括:
将所述待检索商品的局部特征对应的特征向量集合保存至预设数据库,完成所述待检索商品的商品类别注册操作。
5.根据权利要求1所述的商品识别方法,其特征在于,当所述待检索图像包含多种待检索商品时,所述将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别包括:
分别计算所述特征向量集合中的每一个特征向量与所有注册样本中的每一个局部特征向量的欧氏距离,对所述特征向量集合中的每一个特征向量获得对应的欧氏距离集合;
将每个欧氏距离集合所包含的欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当所述第一欧氏距离与第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离对应的局部特征向量作为匹配向量,将每个匹配向量所在的注册样本作为匹配注册样本,输出与匹配注册样本对应的商品类别。
6.根据权利要求5所述的商品识别方法,其特征在于,所述输出与匹配注册样本对应的商品类别包括:
当多个匹配向量均在同一个匹配注册样本内时,判断匹配向量的个数是否大于预设个数阈值时;
若是,输出与匹配注册样本对应的商品类别;
若否,输出检索错误。
7.一种商品识别装置,其特征在于,包括:
图像获取模块,用于获取待检索图像,所述待检索图像包含待检索商品;
特征提取模块,与所述图像获取模块耦接,用于提取所述待检索图像中所述待检索商品的局部特征,获得与待检索商品的局部特征对应的特征向量集合;
检索模块,与所述特征提取模块耦接,用于将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别;
其中,当所述待检索图像包含一种待检索商品时,所述将所述特征向量集合与预设数据库中每个注册样本的局部特征向量集合进行比对,获得比对结果,根据所述比对结果输出对应的商品类别包括:
依次将所述特征向量集合中的每一个特征向量与一个注册样本中的所有局部特征向量进行比对,获得每一个特征向量在该注册样本中的匹配向量;计算每一个匹配向量与相匹配的特征向量之间的欧氏距离;将所述欧氏距离按照从小到大的顺序排列,获得第一欧氏距离和第二欧氏距离,当所述第一欧氏距离与所述第二欧氏距离的比值小于预设欧氏距离阈值时,将第一欧氏距离作为特征向量集合与该注册样本的局部特征向量集合之间的豪斯多夫距离;依次将所述特征向量集合与每个注册样本的局部特征向量集合进行比对,获得所述特征向量集合与每个注册样本的局部特征向量集合之间的豪斯多夫距离;
将所述豪斯多夫距离按照从小到大的顺序排列,获得第一距离和第二距离,当所述第一距离与第二距离的比值小于预设距离阈值时,将第一距离对应的注册样本作为匹配注册样本,输出所述匹配注册样本对应的商品类别。
8.一种编解码器,其特征在于,所述编解码器包括处理器、与所述处理器耦接的存储器,其中,
所述存储器存储有用于实现如权利要求1-6中任一项所述的商品识别方法的程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以识别商品。
9.一种存储装置,其特征在于,存储有被处理器执行时能够实现如权利要求1-6中任一项所述的商品识别方法的程序文件。
CN201911127936.XA 2019-11-18 2019-11-18 商品识别方法、装置、编解码器及存储装置 Active CN111008210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911127936.XA CN111008210B (zh) 2019-11-18 2019-11-18 商品识别方法、装置、编解码器及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911127936.XA CN111008210B (zh) 2019-11-18 2019-11-18 商品识别方法、装置、编解码器及存储装置

Publications (2)

Publication Number Publication Date
CN111008210A CN111008210A (zh) 2020-04-14
CN111008210B true CN111008210B (zh) 2023-08-11

Family

ID=70112728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911127936.XA Active CN111008210B (zh) 2019-11-18 2019-11-18 商品识别方法、装置、编解码器及存储装置

Country Status (1)

Country Link
CN (1) CN111008210B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883061B (zh) * 2020-12-07 2022-08-16 浙江大华技术股份有限公司 危险品检测方法、装置、系统和计算机设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536035A (zh) * 2006-08-31 2009-09-16 公立大学法人大阪府立大学 图像识别方法、图像识别装置以及图像识别程序
WO2011078174A1 (ja) * 2009-12-24 2011-06-30 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
CN102509111A (zh) * 2011-11-02 2012-06-20 大连理工大学 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法
CN103049513A (zh) * 2012-12-14 2013-04-17 杭州淘淘搜科技有限公司 一种服饰鞋包类商品图像多视觉特征融合方法
CN104376052A (zh) * 2014-11-03 2015-02-25 杭州淘淘搜科技有限公司 一种基于商品图像的同款商品合并方法
CN105205135A (zh) * 2015-09-15 2015-12-30 天津大学 一种基于主题模型的3d模型检索方法及其检索装置
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
CN107169425A (zh) * 2017-04-26 2017-09-15 深圳美云智数科技有限公司 一种商品属性的识别方法及装置
CN110019917A (zh) * 2018-08-29 2019-07-16 北京旷视科技有限公司 商品检索方法、装置及电子设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101536035A (zh) * 2006-08-31 2009-09-16 公立大学法人大阪府立大学 图像识别方法、图像识别装置以及图像识别程序
WO2011078174A1 (ja) * 2009-12-24 2011-06-30 株式会社ニコン 検索支援システム、検索支援方法及び検索支援プログラム
CN102509111A (zh) * 2011-11-02 2012-06-20 大连理工大学 基于局部特征多级聚类及图像-类距离计算的商品图像自动分类算法
CN103049513A (zh) * 2012-12-14 2013-04-17 杭州淘淘搜科技有限公司 一种服饰鞋包类商品图像多视觉特征融合方法
US9720934B1 (en) * 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
CN104376052A (zh) * 2014-11-03 2015-02-25 杭州淘淘搜科技有限公司 一种基于商品图像的同款商品合并方法
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN106445939A (zh) * 2015-08-06 2017-02-22 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN105205135A (zh) * 2015-09-15 2015-12-30 天津大学 一种基于主题模型的3d模型检索方法及其检索装置
CN107169425A (zh) * 2017-04-26 2017-09-15 深圳美云智数科技有限公司 一种商品属性的识别方法及装置
CN110019917A (zh) * 2018-08-29 2019-07-16 北京旷视科技有限公司 商品检索方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邬惠远.中国优秀硕士学位论文全文数据库.(03),全文. *

Also Published As

Publication number Publication date
CN111008210A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
US8798357B2 (en) Image-based localization
US11494573B2 (en) Self-checkout device to which hybrid product recognition technology is applied
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
US20150039583A1 (en) Method and system for searching images
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
JP2016201093A (ja) 画像処理装置及び画像処理方法
US11475500B2 (en) Device and method for item recommendation based on visual elements
CN101950351A (zh) 使用图像识别算法识别目标图像的方法
CN111368772B (zh) 身份识别方法、装置、设备及存储介质
CN112417970A (zh) 目标对象识别方法、装置和电子系统
CN113033271A (zh) 利用人工智能模块学习脸部辨识的处理方法
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN111340213A (zh) 神经网络的训练方法、电子设备、存储介质
CN113849687B (zh) 视频处理方法以及装置
CN111126457A (zh) 信息的获取方法和装置、存储介质和电子装置
CN111126384A (zh) 基于特征融合的商品分类系统及分类方法
CN113743359B (zh) 车辆重识别方法、模型训练方法及相关装置
Wang et al. Elastic sequence correlation for human action analysis
CN114120309A (zh) 一种仪表读数识别方法、装置及计算机设备
CN113486761A (zh) 一种指甲识别方法、装置、设备及存储介质
Lömker et al. A multimodal system for object learning
Aly et al. Adaptive feature selection and data pruning for 3D facial expression recognition using the Kinect
CN112270275B (zh) 基于图片识别的商品搜索方法、装置及计算机设备
US20230377188A1 (en) Group specification apparatus, group specification method, and computer-readable recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant