CN109886092A - 对象识别方法及其装置 - Google Patents

对象识别方法及其装置 Download PDF

Info

Publication number
CN109886092A
CN109886092A CN201910014345.5A CN201910014345A CN109886092A CN 109886092 A CN109886092 A CN 109886092A CN 201910014345 A CN201910014345 A CN 201910014345A CN 109886092 A CN109886092 A CN 109886092A
Authority
CN
China
Prior art keywords
classification
identified
information
identification
identification model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910014345.5A
Other languages
English (en)
Other versions
CN109886092B (zh
Inventor
乐志能
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910014345.5A priority Critical patent/CN109886092B/zh
Publication of CN109886092A publication Critical patent/CN109886092A/zh
Application granted granted Critical
Publication of CN109886092B publication Critical patent/CN109886092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明技术领域涉及图像检测中的图像分类,其中公开对象识别方法,包括:通过拍摄获取待识别的对象的若干图片;从图片中提取得到对象的特征信息;将特征信息输入到预先训练的分类识别模型中,识别得到对象的分类;根据分类及对象对应关系列表识别出对象的标定信息。本发明还相应提供一种对象识别装置,包括:处理器;用于存储处理器可执行指令的存储器;采集置于所述对象识别装置中待识别对象的图片,并将所述图片发送于处理器的摄像头;所述处理器被配置为执行所述对象识别方法的步骤。本发明的方案识别效率高、识别准确率高,不仅能够针对包装的商品进行识别,还能够对散装的商品进行有效的识别,适用的待识别对象广,适应场景多。

Description

对象识别方法及其装置
技术领域
本发明涉及图像识别领域,更具体地,涉及一种对象识别方法及其装置。
背景技术
目前生活场景中,例如是在超市购物的场景中,对某些对象进行识别成为一个耗时较多的环节。这些需要识别的对象中可以包括固定包装的产品、散装的产品,尤其是对散装的产品进行计价的时间较长,影响效率。
现有技术中,一般是将散装的产品预先经过打包、称重、输入单价、贴标签等繁琐的过程,最终借助标签实现对散装的产品的计价。在产品种类较多的情况下,甚至还需要对不同的产品分区域计价,严重影响效率。
上述对产品识别的过程,耗时较长,效率低,准确率也不高,对应适用识别的产品数量较少,不能适应现在产品数量和种类较多的识别场合。
发明内容
鉴于上述问题,本发明提出了一种对象识别方法和相应的对象识别装置,其能够通过待识别对象的图片,快速高效识别待识别对象,并输出标定信息。
第一方面,本发明提供一种对象识别方法,包括:
通过拍摄获取待识别的对象的若干图片;
从所述图片中提取得到所述对象的特征信息;
将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;
根据分类及对象对应关系列表识别出所述对象的标定信息。
结合第一方面,所述特征信息包括轮廓、颜色,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
将轮廓和颜色输入所述分类识别模型生成对应不同对象的匹配值;
根据匹配值进行排序得到最大匹配值;
将所述最大匹配值对应对象的分类作为图片中对象的分类。
结合第一方面,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
获取当前环境的光照信息,调用对应所述光照信息的分类识别模型;
所述特征信息和光照信息输入到预先训练的分类识别模型中,识别得到所述对象的分类。
结合第一方面,所述分类识别模型通过以下步骤建立:
采集样本的原始图像和对应采集场景的光照信息;
提取所述原始图像中用于匹配的特征;
获取所述样本的分类信息;
将所述特征、分类信息以及光照信息关联并构建对应当前场景的分类识别模型。
结合第一方面,所述通过拍摄获取待识别的对象的若干图片的步骤,包括:通过三维成像以所述对象为中心围绕拍摄得到待识别的对象的全角度图片。
结合第一方面,通过三维成像以样本为中心采集样本得到的原始图像,根据原始图像训练所述分类识别模型。
结合第一方面,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
将所述特征信息输入数量识别模型中,识别得到所述对象的数量信息;
将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;
将所述数量信息和当前待识别的对象关联,与所述标定信息同步输出数量信息。
第二方面,本发明提供一种对象识别装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
采集置于所述对象识别装置中待识别对象的图片,并将所述图片发送于处理器的摄像头;
其中,所述处理器被配置为如上述技术方案任一中技术方案中所述对象识别方法的步骤。
结合第二方面,还包括向所述处理器发送待识别对象的计量信息的称重设备。
结合第二方面,还包括供所述摄像头移动的滑轨,所述处理器控制摄像头在滑轨上的移动
第三方面,本发明还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述对象识别方法的步骤。
相对于现有技术,本发明的技术方案能对待识别对象通过分类识别模型进行识别,得到分类后,再通过对象对应关系列表得到待识别对象的标定信息,识别效率高、识别准确率高。本发明不仅能够针对包装的商品进行识别,还能够对散装的商品进行有效的识别,适用的待识别对象广,适应场景多。本发明的技术方案还提供一种对象识别装置,能够用于实现上述技术方案的方法步骤,能识别待识别对象得到标定信息。
本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的对象识别方法的方法流程图;
图2是利用本发明的方法对对象识别得到分类的方法流程图;
图3示出了本发明一个实施例中其中一个对象的特征示意图;
图4示出了本发明一个实施例中另一个对象的特征示意图;
图5是利用本发明的方法根据光照信息选择对应的分类识别模型的方法流程图;
图6是利用本发明的方法根据光照信息训练对应分类识别模型的方法流程图;
图7是利用本发明的方法根据数量识别模型得到数量信息的方法流程图;
图8是利用本发明的方法其中一个对象识别得到数量信息的过程示意图;
图9是利用本发明的方法另一对象识别得到数量信息的过程示意图;
图10是本发明提供的一种对象识别装置的装置结构示意图;
图11是本发明提供的一种对象识别装置的装置结构正视图;
图12是本发明提供的另一种对象识别装置的装置结构正视图;
图13示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如101、102等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1示出了根据本发明一个实施例的对象识别方法的方法流程图。为了能够对放置在一定区域的对象进行有效快捷的识别进而输出标定信息,本实施例提供一种对象识别方法,包括步骤:
步骤S11:通过拍摄获取待识别的对象的若干图片。
待识别对象可以是在超市、商店中售卖的产品,例如是散装的水果、农副产品等产品。若干图片的拍摄可以是连续或同时采集待识别对象多个角度图像。当然,还可以采集待识别对象在不同外界环境下的图片,例如是不同光照环境下的图片。
步骤S12:从所述图片中提取得到所述对象的特征信息。
从上述图片中提取得到待识别对象的特征信息,例如是颜色及其组合、轮廓、光斑、条纹等等特征。
步骤S13:将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类。
将上述特征信息输入到分类识别模型中时,分类识别模型根据预先训练中获得的数据,可以识别得到待识别对象的分类。分类可以是对应待识别对象的对应的分类编号或者是能确定待识别对象的其他信息。以包装的商品为例,分类可以是计算机可以识别的条码、二维码、货物编号等等。结合这个例子,对于散装的商品也不难理解,可以是一些能够特定指向商品的编号。
步骤S14:根据分类及对象对应关系列表识别出所述对象的标定信息。
根据待识别对象的分类,从对象对应关系列表中识别得到标定信息。其中,标定信息是指待识别对象的详细信息。以前述的散装水果为例,标定信息可以是散装水果的名称、单价、计价方式、产地等信息。其中,对象对应关系列表可以是分类与标定信息一一对应的列表,还可以是包括分类和标定信息之间关联关系的数据库。
为了更好识别得到本实施例中的待识别对象的标定信息,本实施例还提供一种得到对象分类的方法,请参考图2,图2是利用本发明的方法对对象识别得到分类的方法流程图。所述对象识别方法的步骤S13包括:
步骤S21:将轮廓和颜色输入所述分类识别模型生成对应不同对象的匹配值。
以轮廓和颜色作为特征信息,有较高的通用度,通常采用轮廓和颜色就可以区分出大部分的对象,例如是各种商品。将轮廓和颜色的特征信息输入到分类识别模型中,分类识别模型将输出对应不同对象的匹配值,匹配值的量化数值各有不同。
请参考图3,图3示出了本发明一个实施例中其中一个对象的特征示意图。为了更好的描述本技术方案,图3引入一个具体的待识别对象——“花牛苹果”。在提取特征信息时,提取到图3中待识别对象的特征信息A是近球状轮廓和红色的特征,在待识别对象的顶部识别到特征信息B为圆形凹陷,在待识别对象表面识别得到特征信息C为反光光斑,在待识别对象的底部识别得到特征信息D为若干突起结构。
将上述特征信息A~特征信息D输入到分类识别模型中,可以识别的到与不同分类之间的匹配值。例如,待识别对象与代表“花牛苹果”的分类的匹配值为95%,待识别对象与代表“红富士苹果”的分类的匹配值为60%,待识别对象与代表“红火龙果”的分类的匹配值为30%,待识别对象与代表“黄豆”的分类的匹配值为5%。获得匹配值的方法可以是将待识别对象的特征信息与各个分类的特征信息进行比较,量化两者之间的相似度。
步骤S22:根据匹配值进行排序得到最大匹配值。
针对上述得到的匹配值进行数值由大到小的排序,得到最大匹配值为95%。
步骤S23:将所述最大匹配值对应对象的分类作为图片中对象的分类。
95%的最大匹配值对应对象的分类,对应的标定信息为“花牛苹果”,将“花牛苹果”的分类编号可以作为当前图片中待识别对象的分类,例如“花牛苹果”的分类是编号K001。将最大匹配值对应对象的分类作为待识别对象的分类具有较高的可靠性,为了获得可靠性较高的识别结果,在本例子中还可以设定最低匹配值的要求,当匹配值小于最低匹配值条件时,输出识别失败的信息或重新采集待识别对象的图片。例如,在上述的识别过程中,如果最大匹配值最高都不超过50%,说明识别得到的分类可靠性较低,识别结果的准确性不能满足要求。
为了更好展示本实施例的技术方案,本例中还尝试列举另一待识别对象——“红富士苹果”为例,辅助解释本发明技术方案的细节。请参考图4,图4示出了本发明一个实施例中另一个对象的特征示意图。
首先提取图4中待识别对象的特征信息,得到特征信息E~特征信息H,在提取之前还可以针对待识别对象的放置位置和角度进行一定的旋转、裁剪等调整。下面以待识别对象正置状态进行描述,其中特征信息E是待识别对象的轮廓信息和颜色信息,待识别对象的轮廓为圆形球状,颜色信息为粉红与黄色条纹组合间隔;在待识别对象的顶部提取得到的特征信息F为圆形凹陷特征;在待识别对象的底部提取得到的特征信息G为平底部特征;在待识别对象的表面提取得到的特征信息H为无反光特征。
将上述特征信息E~特征信息H的输入前述的分类识别模型,得到待识别对象特征信息与内置于分类识别模型的对象的特征信息的若干匹配值:待识别对象与代表“花牛苹果”的分类的匹配值为65%,待识别对象与代表“红富士苹果”的分类的匹配值为93%,待识别对象与代表“山东苹果”的分类的匹配值为80%,待识别对象与代表“花生”的分类的匹配值为8%。得到最大匹配值对应对象的分类,即待识别对象的分类为代表“红富士苹果”的编号K002。获得匹配值的方法可以是将待识别对象的特征信息与各个分类的特征信息进行比较,量化两者之间的相似度。
获得上述分类(在本例中分类表现为一段的计算机可以识别代码的计算机可读语言,例如是编号K001、K002),可以通过对象对应关系列表得到待识别对象的标定信息,例如K001的分类对应标定信息“花牛苹果”,K002的分类对应标定信息“红富士苹果”。由此,分类通过对象对应关系列表的关联关系得到待识别对象的标定信息。
上述特征信息的选择可以根据特征的识别难度、对角度或光照的要求、是否具有可变性等因素考虑,根据不同识别对象可以采用不同的特征信息用于识别对象的分类。例如,针对火龙果,可以提取是否具有鳞片卵状披针形叶片的特征,为了提升识别的速度兼顾准确性,可以在训练模型时提取为鳞片近圆形叶片特征;针对豆类,可以着重提取轮廓特征信息和颜色信息等足以区分的特征信息;针对肉类,例如猪肉、羊肉可以识别肉的颜色和脂肪机理等特征。总的来说,颜色和轮廓的特征信息是经常涉及、可靠性较高的识别特征信息。
为了获得更好的识别准确性,本发明中还根据识别场景的环境因素选择不同的分类识别模型。请参考图5,图5是利用本发明的方法根据光照信息选择对应的分类识别模型的方法流程图。前述对象识别方法的步骤步骤S13包括:
步骤S51:获取当前环境的光照信息,调用对应所述光照信息的分类识别模型。
通过光线传感器等光学传感设备获得当前的光照信息,其中光照信息可以包括光通量、光照强度、光照角度等。根据得到的光照信息选择适应当前识别场景的分类识别模型。例如,针对光照强度预先训练有高强度分类识别模型、普通光照分类识别模型、低强度分类识别模型。
步骤S52:所述特征信息和光照信息输入到预先训练的分类识别模型中,识别得到所述对象的分类。
将识别得到的特征信息和光照信息输入匹配当前识别场景的分类识别模型,得到待识别对象的分类。
在上述过程中,针对一些受光照影响明显的特征信息,在不同光照条件下都会有不同的识别结果,例如是图3中的特征信息C和图4中的特征信息H。由此,还可以采集待识别对象在不同光照条件下的特征信息变化,将这种变化输入对应的分类识别模型中得到更准确的识别结果,有效避免匹配值相近的识别结果。
在图3中,由于待识别对象的特性,在高光强度的条件下,识别得到特征信息C1的光斑数量和特征信息C2的光斑强度都高于在低光强度条件下识别得到的特征信息C3中包含的光斑数量和特征信息C4的光斑强度。因此,可以计算光斑数量变化量δC和光斑强度变化量ΔC:
δC=|C1-C3|;
ΔC=|C2-C4|。
分类识别模型得到上述光斑数量变化量δC和光斑强度变化量ΔC后进行识别,得到若干匹配值。在图4中,由于待识别对象的特性,红富士苹果的光斑数量变化量δC和光斑强度变化量ΔC都明显小于花牛苹果的光斑数量变化量δC和光斑强度变化量ΔC。
在上述过程中,为了得到不同光照条件下的光斑数量变化量δC和光斑强度变化量ΔC作为特征信息C的信息内容,本发明还需要改变当前识别场景的光照条件,识别设备或者用户可以通过调节光源的光照或者通过LED闪光灯获得瞬时的高强度光照环境以便于相应设备采集在高强度光照条件下待识别对象的图片。当然,如果对应分类识别模型是适应高强度光照条件下的分类识别模型,可以仅采集在高强度光照条件下的待识别对象的图片,而不需要计算变化量,可以减少数据采集量和数据处理量。
为了得到上述在不同光照条件下,即适应不同光照信息的分类识别模型,本实施例提供了相应的技术方案。请参考图6,图6是利用本发明的方法根据光照信息训练对应分类识别模型的方法流程图。所述分类识别模型通过以下步骤训练得到:
步骤S61:采集样本的原始图像和对应采集场景的光照信息。
在上述过程中,可以通过光线传感器采集用于训练的样本所在场景的光照信息,通过摄像头采集样本的原始图像用于后续的分类识别模型训练。
步骤S62:提取所述原始图像中用于匹配的特征。
在本实施例中,在原始图像中的各个部分通过扫描确定图像中的特征,并取相应特征信息。为了更好定位待识别对象,还可以在待识别对象的放置区域,设置辅助识别的标记,例如是位置框、定位点等标记。设置辅助识别标记也能便于在原始图像、待识别对象的图像中,快速准确地提取特征,尤其是反映轮廓的特征信息和反映颜色的特征信息。值得注意的是,本发明的方法也可以使用于当所述待识别对象是具有固定包装的商品的识别场景中,此时特征信息可以是商品包装的轮廓或关键字词、条形码、二维码等文本信息。
步骤S63:获取所述样本的分类信息。
样本的分类信息一般是指样本的名称或种类,一般在购物等商品识别场景中是指能唯一确定待识别对象的名称或者识别编号。以生鲜水果为例,待识别对象的分类信息可以是编号“A001”也可以是“花牛苹果”。当待识别对象在相应的识别场景中仅有一种时,例如是只有一种苹果时,那么分类信息可以是“苹果”,以简化输出分类信息的数据量,也便于后续辨识。
步骤S64:将所述特征、分类信息以及光照信息关联并构建对应当前场景的分类识别模型。
将前述特征、分类信息以及当前光照条件对应的光照信息之间建立映射关系,相互关联的特征、分类信息以及光照信息构建得到对应当前场景的分类识别模型。其中,当前场景是指当前训练环境下的光照条件。当然,在其他可能影响到识别的场景中,环境的因素也可以作为训练时需要考虑的场景信息,作为训练、选择分类识别模型的参数。
在一些情况下,待识别对象的放置位置、放置角度并不是规整的,并且对于特定的待识别对象可能在多个角度或者在立体的状态下具有更便于识别的特征信息。为了解决在上述情况下待识别对象的识别问题,本发明推出一种技术方案,过三维成像以所述对象为中心围绕拍摄得到待识别的对象的全角度图片。其中的三维成像技术通过以待识别对象为中心,采集待识别对象全角度的图像信息。三维成像的过程中可以采用旋转连续的拍摄方式得到相应的图片,还可以采用在一个圆周上均等的三点布设摄像头采集待识别对象的图片。除此之外,还可以通过红外传感器采集待识别对象的三维轮廓的特征信息,相对于平面的图像的轮廓,三维轮廓的特征信息更能体现待识别对象的轮廓。
相应地,在训练所述分类识别模型的过程中,所采集的原始图片为通过三维成像以样本为中心采集样本得到原始图像。同时为了能够识别三维轮廓特征信息,在训练分类识别模型时还可以通过在圆周等分的三点布设散点红外发射端和接收器,获取样本的三维轮廓特征信息。
在本发明常用的使用场景中,例如是在超市购物的过程中,某些商品是不是按照重量计价的,而是按照数量计算价格的场景。请参考图7,图7是利用本发明的方法根据数量识别模型得到数量信息的方法流程图。对此,本发明还提出一种技术方案,所述对象识别方法中,步骤S13将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类包括:
步骤S71:将所述特征信息输入数量识别模型中,识别得到所述对象的数量信息。
请辅助参考填图8,图8是利用本发明的方法其中一个对象识别得到数量信息的过程示意图。图8中展示的待识别对象为两个红富士苹果,在提取特征信息时,提取得到轮廓的特征信息I,提取得到的轮廓的特征信息I中包括交叠的圆形轮廓。将特征信息I输入数量识别模型中,识别得到交叠的圆形轮廓有两个,相应输出数量信息为“2”。
步骤S72:将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类。
将轮廓特征信息、颜色特征信息等特征信息输入到分类识别模型中就可以得到待识别对象的分类,具体的步骤可以参考上述识别过程。
步骤S73:将所述数量信息和当前待识别的对象关联,与所述标定信息同步输出数量信息。
在输出上述标定信息的同时可以同步展示数量信息,例如输出“红富士苹果2个”。在一些场景中,还可以结合用户的支付场景,用户将待识别对象放置在指定区域后,获取得到待识别对象的标定信息和数量信息。标定信息和数量信息可以记录在用户的账户中等待结算,或者可以生成二维码、价格标签等便于后续计价的实体结算工具。
本实施例还提供另一种对象的数量识别的过程展示,请参考图9,图9是利用本发明的方法另一对象识别得到数量信息的过程示意图。图9中待识别对象是一堆4个的带叶橙子,通过提取特征信息得到特征信息J为若干重叠的圆形轮廓图形。将特征信息J输入数量识别模型中,得到数量信息为“4”。在一些场景中,可能由于待识别对象的堆叠、遮挡,识别得到的特征信息不准确,还可以采集多个角度待识别对象的图片,通过多角度的特征信息得到的数量信息进行比较和分析,得到准确的数量信息。例如是通过分层分析或者分区域识别等方法,一定程度降低待识别对象堆叠、遮挡带来的影响。
上述的对象识别方法可以应用在对象识别装置上,请参考图10,图10是本发明提供的一种对象识别装置的装置结构示意图。一种对象识别装置,包括:
处理器101;
用于存储处理器可执行指令的存储器102;
采集置于所述对象识别装置中待识别对象的图片,并将所述图片发送于处理器的摄像头103;
其中,所述处理器被配置为执行上述任一技术方案中所述对象识别方法的步骤。
为了更好地展示上述对象识别装置的具体结构,请参考图11,图11是本发明提供的一种对象识别装置的装置结构正视图。本发明中提供一种对象识别装置——对象识别台110,用于识别待识别对象并得到标定信息,包括:
集合处理器101和存储器102功能的计算机设备111,计算机设备111设置在对象识别台110的底部;
用于采集待识别对象的图片的摄像头113,摄像头113通过连接架112连接到对象识别台110的主体上,摄像头113可以通过内置与连接架112的数据线与计算机设备111进行数据传输;
用于承托待识别对象的承托平台114。
以用户在购物场景中为例,用户在承托平台114上放置5根香蕉,用户可通过手机终端或客户端、对象识别台110的操作界面向计算机设备111中的处理器发出执行上述对象识别方法的步骤。计算机设备111向摄像头113发出采集待识别对象的指令,摄像头113将采集得到待识别对象的图片发送至计算机设备111,处理器相应提取图片中特征信息,例如是颜色特征信息、轮廓特征信息,并将特征信息输入内置在处理器的分类识别模型中,分类识别模型通过识别得到待识别对象的分类。处理器根据待识别对象的分类对象对应关系列表中识别的到待识别对象的标定信息是“香蕉”。
为了获得待识别对象的计量信息,对象识别台110还包括向所述处理器发送待识别对象的计量信息的称重设备。在本实施例中提供的对象识别台110中,称重设备与承托平台114一体成型,使承托平台114具有称重的功能。其中,计量信息是指待识别对象的重量、质量、个数等用于计量的信息。当需要识别待识别对象的数量时,可以关闭称重设备,承托平台114承托待识别对象,并可以通过标识在承托平台114表面的标识,定位待识别对象。在上述例子中,待识别对象“香蕉”可以通过承托平台114称重得到重量信息,处理器还可以通过“香蕉”的标定信息获取对应的单价进行计价。
为了便于摄像头113能采集待识别对象的多角度图片,所示对象识别台110还包括供所述摄像头113移动的滑轨(未示出),所述处理器控制摄像头113在滑轨上的移动。当然,在图11出示的对象识别台110可以通过连接架112移动带动摄像头113的移动。为了获取当前识别场景的光照信息,在摄像头113的背侧还设有光线传感器115。
本实施例还提供另一种对象识别装置,请参考图12是本发明提供的另一种对象识别装置的装置结构正视图。本发明中提供一种对象识别装置——对象识别柜120,包括:
集合处理器101和存储器102功能的计算机设备121,计算机设备121设置在对象识别台120的底部;
用于采集待识别对象的图片的摄像头122,摄像头122可以通过无线数据传输方式与计算机设备121进行数据传输。摄像头122通过在滑轨125上移动实现滑动,进而实现待识别对象的图片的多角度采集;
用于承托待识别对象的承托平台126;
用于盖合形成封闭区域的柜门123。
在一些应用场景中,柜门123可以触动点动开关或者传感器,处理器可以开始执行上述识别对象方法的相关步骤。更进一步,还可以进一步在上述对象识别柜120中设置打包装置,避免待识别对象的数量发生改变。这一技术方案可以应用在购物场景中,一定程度避免已经经过计量的待识别对象出现数量变化。
为了降低设备的制造成本,摄像头122可以替换为安置手机的支架,用户可以将手机放置在支架上,支架可以在处理器的控制下在滑轨125上滑动,采集得到的标定信息可以通过手机内置客户端或者手机与计算机设备121之间的数据传输而交互。这种技术方案可以适用于一些新零售或者智慧超市、无人超市的场景中。更进一步,手机上的闪光灯也可以改变当前识别场景的光照条件,改变所采集的特征信息。手机上的其他传感器,例如红外发射和接收传感器,还可以辅助采集待识别对象的三维特征信息。分类识别模型和对象对应关系列表等数据可以保存在云端数据库中,服务器也可以执行上述方法,将标定信息向手机等用户终端或客户端下发。
本发明实施例还提供了一种终端设备,如图13所示,为了便于说明,仅示出了与本发明实施例相关的部分,具体技术细节未揭示的,请参照本发明实施例方法部分。该终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Pointof Sales,销售终端)、车载电脑等任意终端设备,以终端为手机为例:
图13示出的是与本发明实施例提供的终端相关的手机的部分结构的框图。参考图13,手机包括:射频(Radio Frequency,RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity,WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解,图13中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍:
RF电路1310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1380处理;另外,将设计上行的数据发送给基站。通常,RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication,GSM)、通用分组无线服务(General Packet RadioService,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1320可用于存储软件程序以及模块,处理器1380通过运行存储在存储器1320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1320可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1380,并能接收处理器1380发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331,输入单元1330还可以包括其他输入设备1332。具体地,其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341,可选的,可以采用液晶显示器(LiquidCrystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1341。进一步的,触控面板1331可覆盖显示面板1341,当触控面板1331检测到在其上或附近的触摸操作后,传送给处理器1380以确定触摸事件的类型,随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中,触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1341和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1360、扬声器1361,传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号,传输到扬声器1361,由扬声器1361转换为声音信号输出;另一方面,传声器1362将收集的声音信号转换为电信号,由音频电路1360接收后转换为音频数据,再将音频数据输出处理器1380处理后,经RF电路1310以发送给比如另一手机,或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1320内的软件程序和/或模块,以及调用存储在存储器1320内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1380可包括一个或多个处理单元;优选的,处理器1380可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池),优选的,电源可以通过电源管理系统与处理器1380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本发明实施例中,该终端所包括的处理器1380还具有以下功能:
通过拍摄获取待识别的对象的若干图片;
从所述图片中提取得到所述对象的特征信息;
将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;
根据分类及对象对应关系列表识别出所述对象的标定信息。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
本发明还提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述对象识别方法的步骤。
相对于现有技术,本发明提供的上述方案,通过拍摄获取待识别的对象的若干图片;从所述图片中提取得到所述对象的特征信息;将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;根据分类及对象对应关系列表识别出所述对象的标定信息。
本发明的技术方案能对待识别对象通过分类识别模型进行识别,得到分类后,再通过对象对应关系列表得到待识别对象的标定信息,识别效率高、识别准确率高。本发明不仅能够针对包装的商品进行识别,还能够对散装的商品进行有效的识别,适用的待识别对象广,适应场景多。本发明的技术方案还提供一种对象识别装置,能够用于实现上述技术方案的方法步骤,能识别待识别对象得到标定信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的一种终端设备进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种对象识别方法,其特征在于,包括:
通过拍摄获取待识别的对象的若干图片;
从所述图片中提取得到所述对象的特征信息;
将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;
根据分类及对象对应关系列表识别出所述对象的标定信息。
2.根据权利要求1所述的对象识别方法,其特征在于,所述特征信息包括轮廓、颜色,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
将轮廓和颜色输入所述分类识别模型生成对应不同对象的匹配值;
根据匹配值进行排序得到最大匹配值;
将所述最大匹配值对应对象的分类作为图片中对象的分类。
3.根据权利要求1所述的对象识别方法,其特征在于,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
获取当前环境的光照信息,调用对应所述光照信息的分类识别模型;
所述特征信息和光照信息输入到预先训练的分类识别模型中,识别得到所述对象的分类。
4.根据权利要求3所述的对象识别方法,其特征在于,所述分类识别模型通过以下步骤建立:
采集样本的原始图像和对应采集场景的光照信息;
提取所述原始图像中用于匹配的特征;
获取所述样本的分类信息;
将所述特征、分类信息以及光照信息关联并构建对应当前场景的分类识别模型。
5.根据权利要求1所述的对象识别方法,其特征在于,所述通过拍摄获取待识别的对象的若干图片的步骤,包括:通过三维成像以所述对象为中心围绕拍摄得到待识别的对象的全角度图片。
6.根据权利要求5所述的对象识别方法,其特征在于,通过三维成像以样本为中心采集样本得到的原始图像,根据原始图像训练所述分类识别模型。
7.根据权利要求5所述的对象识别方法,其特征在于,将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类的步骤,包括:
将所述特征信息输入数量识别模型中,识别得到所述对象的数量信息;
将所述特征信息输入到预先训练的分类识别模型中,识别得到所述对象的分类;
将所述数量信息和当前待识别的对象关联,与所述标定信息同步输出数量信息。
8.一种对象识别装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
采集置于所述对象识别装置中待识别对象的图片,并将所述图片发送于处理器的摄像头;
其中,所述处理器被配置为执行如权利要求1至7中任一项权利要求所述对象识别方法的步骤。
9.根据权利要求8所述的对象识别装置,其特征在于,还包括向所述处理器发送待识别对象的计量信息的称重设备。
10.根据权利要求8所述的对象识别装置,其特征在于,还包括供所述摄像头移动的滑轨,所述处理器控制摄像头在滑轨上的移动。
CN201910014345.5A 2019-01-08 2019-01-08 对象识别方法及其装置 Active CN109886092B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910014345.5A CN109886092B (zh) 2019-01-08 2019-01-08 对象识别方法及其装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910014345.5A CN109886092B (zh) 2019-01-08 2019-01-08 对象识别方法及其装置

Publications (2)

Publication Number Publication Date
CN109886092A true CN109886092A (zh) 2019-06-14
CN109886092B CN109886092B (zh) 2024-05-10

Family

ID=66925681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910014345.5A Active CN109886092B (zh) 2019-01-08 2019-01-08 对象识别方法及其装置

Country Status (1)

Country Link
CN (1) CN109886092B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427998A (zh) * 2019-07-26 2019-11-08 上海商汤智能科技有限公司 模型训练、目标检测方法及装置、电子设备、存储介质
CN111310748A (zh) * 2020-03-17 2020-06-19 郑州航空工业管理学院 一种汉画像石体育图像采集比对装置
CN112199997A (zh) * 2020-09-07 2021-01-08 青岛海信移动通信技术股份有限公司 一种终端及工具处理方法
CN112270664A (zh) * 2020-04-16 2021-01-26 上海扩博智能技术有限公司 透明包装产品检测方法、系统、设备和存储介质
CN112653900A (zh) * 2020-12-21 2021-04-13 Oppo广东移动通信有限公司 视频直播中的目标显示方法、装置及设备
CN113044349A (zh) * 2021-03-25 2021-06-29 佛山隆深机器人有限公司 一种基于机器臂的产品贴标控制方法及装置
WO2021169207A1 (zh) * 2020-02-27 2021-09-02 平安科技(深圳)有限公司 基于机器学习的物品识别方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN107767590A (zh) * 2016-08-16 2018-03-06 深圳仪普生科技有限公司 物品自动识别商用条码电子秤及物品自动识别方法
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质及设备
CN107944504A (zh) * 2017-12-14 2018-04-20 北京木业邦科技有限公司 木板识别及木板识别的机器学习方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
CN107767590A (zh) * 2016-08-16 2018-03-06 深圳仪普生科技有限公司 物品自动识别商用条码电子秤及物品自动识别方法
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN107895369A (zh) * 2017-11-28 2018-04-10 腾讯科技(深圳)有限公司 图像分类方法、装置、存储介质及设备
CN107944504A (zh) * 2017-12-14 2018-04-20 北京木业邦科技有限公司 木板识别及木板识别的机器学习方法、装置及电子设备

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427998A (zh) * 2019-07-26 2019-11-08 上海商汤智能科技有限公司 模型训练、目标检测方法及装置、电子设备、存储介质
WO2021169207A1 (zh) * 2020-02-27 2021-09-02 平安科技(深圳)有限公司 基于机器学习的物品识别方法及装置
CN111310748A (zh) * 2020-03-17 2020-06-19 郑州航空工业管理学院 一种汉画像石体育图像采集比对装置
CN112270664A (zh) * 2020-04-16 2021-01-26 上海扩博智能技术有限公司 透明包装产品检测方法、系统、设备和存储介质
CN112199997A (zh) * 2020-09-07 2021-01-08 青岛海信移动通信技术股份有限公司 一种终端及工具处理方法
CN112653900A (zh) * 2020-12-21 2021-04-13 Oppo广东移动通信有限公司 视频直播中的目标显示方法、装置及设备
CN113044349A (zh) * 2021-03-25 2021-06-29 佛山隆深机器人有限公司 一种基于机器臂的产品贴标控制方法及装置
CN113044349B (zh) * 2021-03-25 2022-07-05 佛山隆深机器人有限公司 一种基于机器臂的产品贴标控制方法及装置

Also Published As

Publication number Publication date
CN109886092B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
CN109886092A (zh) 对象识别方法及其装置
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
US10846938B2 (en) User device augmented reality based item modeling
US10628695B2 (en) Fast item identification for checkout counter
CN103954781B (zh) 基于便携通讯设备的畜肉品质轻便无损检测仪
US20140279613A1 (en) Detecting counterfeit items
CN104281833B (zh) 色情图像识别方法和装置
US11557080B2 (en) Dynamically modeling an object in an environment from different perspectives
CN109142279A (zh) 一种光谱检测方法、移动终端及计算机可读存储介质
CN110263729A (zh) 一种镜头边界检测的方法、模型训练方法以及相关装置
CN109243112A (zh) 一种开放式环境购物控制方法和装置
WO2021218489A1 (zh) 光谱检测方法、移动终端及芯片系统
CN109993234A (zh) 一种无人驾驶训练数据分类方法、装置及电子设备
CN107820203A (zh) 室内位置吸附方法、系统、服务器和计算机可读介质
CN109658198B (zh) 一种商品推荐方法及移动终端
KR20140089675A (ko) 이미지 검색 서버, 이미지 검색 서비스 제공 단말, 시스템 및 방법
CN108346083B (zh) 一种信息处理方法及移动终端
CN111523966A (zh) 一种推荐方法、装置、电子设备及存储介质
JP2016024596A (ja) 情報処理装置
CN107491312A (zh) 应用程序的触发方法、装置和移动终端
CN114219590B (zh) 一种基于服务器与客户端app的门窗信息服务系统及方法
CN110516689A (zh) 图像处理方法、装置以及电子设备、存储介质
CN109710786A (zh) 一种点餐方法、移动终端及服务器
CN110113468A (zh) 一种状态检测装置和方法
CN105717059A (zh) 一种基于光谱分析的热量摄入自动测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant