CN109886112A - 一种基于图像的物体识别方法、商品自助收银系统及电子设备 - Google Patents
一种基于图像的物体识别方法、商品自助收银系统及电子设备 Download PDFInfo
- Publication number
- CN109886112A CN109886112A CN201910043223.9A CN201910043223A CN109886112A CN 109886112 A CN109886112 A CN 109886112A CN 201910043223 A CN201910043223 A CN 201910043223A CN 109886112 A CN109886112 A CN 109886112A
- Authority
- CN
- China
- Prior art keywords
- under test
- object under
- image
- plane
- identification method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
本发明属于图像识别领域，特别涉及一种基于图像的物体识别方法、商品自助收银系统及电子设备，其包括如下步骤：先利用深度相机获得第一图像的深度数据以及RGB数据，通过RGB数据初步识别出待测物体最有可能的几个初始类别，再通过深度数据获得待测物体的特征参数，将计算获得的待测物体的特征参数与预存物体的特征参数进行对比，进一步确认了待测物体的最终类别，使待测物体的识别更加准确，减少了在商品自助结算过程中因为错误识别造成的结算错误。同时减少了神经网络的计算量，提高了计算效率。
Description
【技术领域】
本发明属于图像识别领域，特别涉及一种基于图像的物体识别方法、商品自助收银系统及电子设备。
【背景技术】
图像识别技术已经越来越多地应用于人们的生活中，例如在商场对顾客购买商品的种类进行准确识别或电子设备的物体识别功能，都应用到了图像识别技术。图像识别技术可用于对图像内的物体进行分类，使生活和工作更加便捷和智能。
在现有的技术中，商品自助结算的方法是通过识别图像内物体的种类后，根据获得种类的价格进行结算。图像识别过程一般是通过深度神经网络直接对物体进行识别和分类，但单纯利用神经网络进行识别分类，对某些特征非常相似的物体则很难准确识别，例如商场中体积不同的同类饮料、具有相似特征的各类面包、蛋糕等烘焙类食品，要达到准确识别，需要对神经网络进行大量的训练。
所以，运用深度相机对物体进行识别分类，相对于二维数据，增加了物体的深度数据，使得识别结果更加可靠。但在现有的运用深度相机对物体进行识别分类的技术中，一般是通过计算物体的体积值进行对比获得分类，计算物体体积的过程包含有较大的计算量，识别效率较低。比如规则的物体可通过简单的面积乘于高度获得，但是由于许多物体存在不规则的形状，导致简单的面积乘于高度获得体积的方式与不规则物体的体积值相差较大，就会使得计算的难度加大。
【发明内容】
为克服目前的基于图像的物体识别方法存在的识别效率较低的问题，本发明提供一种基于图像的物体识别方法、商品自助收银系统及电子设备。
本发明解决技术问题的技术方案是提供一种基于图像的物体识别方法，其包括如下步骤：步骤S1：获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；步骤S3：通过将所述深度数据转化为三维点云，获得待测物体的特征参数；步骤S4：将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别；及步骤S5：根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
优选地，所述待测物体包括非标物体。
优选地，上述步骤S3中，所述特征参数包括高度和/或面积。
优选地，所述特征参数为面积，在上述步骤S3中具体包括如下步骤：通过将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积。
优选地，所述特征参数为高度，在步骤S3中，在上述步骤S3中具体包括如下步骤：步骤S31：获取三维点云中的平面，所述平面对应于待测物体的放置平面；步骤S32：利用所述深度数据获得所述待测物体相对于平面的高度数据。
优选地，在上述步骤S31中具体包括如下步骤：步骤S311：将所述深度数据进行处理，转换为三维点云；步骤S312：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。
优选地，在上述步骤S4具体包括如下步骤：步骤S41：基于步骤S2中获得的待测物体的初始类别，将待测物体的高度和/或面积与该类别预存物体的高度和/或面积进行对比；步骤S42：判断待测物体的高度和/或面积是否与预存物体的高度和/或面积匹配，若是，则进入步骤S43，若否，则进入步骤S44；步骤S43：确认待测物体的最终类别；步骤S44：发出异常信号，重新进入步骤S2。
优选地，在上述步骤S2中具体包括如下步骤：步骤S21：利用RGB数据，将第一图像输入至基于图像识别的神经网络，所述神经网络在待测物体所在的区域生成一个候选框；步骤S22：将所述候选框区域内的待测物体与所述第一图像分离；及步骤S23：对所述候选框内的待测物体进行识别，获得待测物体的类别，并记录待测物体的数量。
本发明为了解决上述技术问题还提供一种商品自助结算系统，其包括：图像获取单元，用于获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；图像识别单元，用于利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；参数计算单元，用于通过将所述深度数据转化为三维点云，获得待测物体的特征参数；类别确认单元，用于将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别；及结算单元，用于根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
本发明为了解决上述技术问题还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一步骤中所述的基于图像的物体识别方法；所述处理器被设置为通过所述计算机程序执行上述任一步骤中所述的基于图像的物体识别方法。
与现有的技术相比，现有的基于图像的物体识别方法中，先利用深度相机获得第一图像的深度数据以及RGB数据，通过RGB数据初步识别出待测物体最有可能的几个初始类别，再通过深度数据获得待测物体的特征参数，将计算获得的待测物体的特征参数与预存物体的特征参数进行对比，进一步确认了待测物体的最终类别，使待测物体的识别更加准确，减少了物体识别中的错误，特别的，当该基于图像的物体识别方法用于商品自助结算过程中时，也可以减少在商品自助结算过程中因为错误识别造成的结算错误。同时减少了神经网络的计算量，提高了计算效率。
上述有益效果同样适用于本发明的一种商品自助结算系统及具备该基于图像的物体识别的电子设备，特别是一种商品自助结算设备。
将所述深度数据进行处理，转换为三维点云；在多个点之间建立一个平面，并逐次带入其余的点，经过迭代计算不断更新平面，最终使得尽可能多的点与该平面的距离最小时，停止平面的查找。通过查找平面，使得该方法可自适应于各种高度，避免人工的反复调试，提高了便利性。
通过将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积；利用所述深度数据获得所述待测物体相对于平面的高度数据。通过计算多个三角形的面积，获得待测物体的面积，以及通过深度数据和所述平面求差值，计算待测物体的高度，最后通过高度和/或面积进一步确认待测物体的类别，减少了数据的计算量，提高了计算效率。
【附图说明】
图1为本发明第一实施例提供的一种基于图像的物体识别方法的整体流程图；
图2a为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S1的细节流程图；
图2b为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S1实施过程的示意图；
图3为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S2的细节流程图；
图4a为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S3的细节流程图；
图4b为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S31的细节流程图；
图5为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S4的细节流程图；
图6为本发明第一实施例提供的一种基于图像的物体识别方法的步骤S5的细节流程图；
图7a为本发明第二实施例提供的一种商品自助结算系统的模块图；
图7b为本发明第二实施例提供的一种商品自助结算系统中参数计算单元的模块图；
图8为本发明第三实施例提供的一种电子设备的模块图。
附图标识说明：
1、图像获取单元；2、图像识别单元；3、参数计算单元；4、类别确认单元；5、结算单元；31、平面获取单元；32、高度计算单元；33、面积计算单元；
10、存储器；20、处理器；
100、相机；200、面包；300、托盘；400、光点。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供的基于图像的物体识别方法适用于标准物体和非标物体的识别，特别适用于非标物体的识别。非标物体可以为烘焙食品中的面包或饼干。
请参阅图1，一种基于图像的物体识别方法可以分为以下步骤：
步骤S1：获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；
步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；
步骤S3：通过将所述深度数据转化为三维点云，获得待测物体的特征参数；及
步骤S4：将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别。
在一些特别的实施例中，该基于图像的物体识别方法用于商品自助结算领域时，还包括：
步骤S5：根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
请参阅图2a，步骤S1：获取包括至少一个待测烘焙食品的第一图像，获得第一图像的深度数据以及RGB数据。可以理解，步骤S1中获取图像的深度数据和RGB数据是通过深度相机获取的，所述深度相机为深度相机，深度相机根据其工作原理可以分为三种：TOF相机、RGB双目相机以及结构光相机，在本实施例中，以基于结构光技术的Kinect1相机为例，步骤S1具体包括步骤S11～S12。
步骤S11：所述相机通过RGB镜头获取第一图像的RGB数据。
步骤S12：所述相机通过深度传感器发射出多个人眼不可见的随机散斑红外光点至物体上，并记录下每个光点所对应的深度数据，获取第一图像的深度数据。
可以理解，步骤S11～S12仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S12。
请参阅图2b，以面包为例，面包200由托盘300送入相机100的下方，相机100通过深度深度传感器发射出多个人眼不可见的随机散斑红外光点400至面包200和托盘300上，获得如图2b所示的光点图，多个所述光点400遍及面包200和托盘300的表面，所述相机100储存每个光点400的深度信息，以获取第一图像的深度数据。
请参阅图3，步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量。图像识别技术是基于神经网络的识别过程，通过图像识别技术，检测出第一图像内待测物体的类别和数量。步骤S2具体包括步骤S21～S22。
步骤S21：利用RGB数据，将第一图像输入至基于图像识别的神经网络，所述神经网络在待测物体所在的区域生成一个候选框；及
步骤S22：将所述候选框区域内的待测物体与所述第一图像分离；及
步骤S23：对所述候选框内的待测物体进行识别，获得待测物体的类别，并记录待测物体的数量。
可以理解，步骤S21～S22仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S22。
具体地，所述预设的神经网络识别出第一图像内待测物体的类别，该类别为待测物体最有可能的几种类别，可通过后续的特征参数对待测物体进行进一步地识别分类。以面包为例，经过预设的神经网络识别出面包为圆形面包，且该圆形面包最可能为A种类、B种类或者C种类，需要后续的步骤对该圆形面包进行进一步的识别。
通过预设的神经网络对待测物体进行初步地识别分类，减少了神经网络的计算量，提高了计算效率。
请参阅图4a，步骤S3：通过将所述深度数据转化为三维点云，获得待测物体的特征参数。在步骤S3中，所述特征参数包括高度和/或面积。步骤S3具体包括步骤S31～S33。
步骤S31：获取三维点云中的平面，所述平面对应于待测物体的放置平面；及
步骤S32：利用所述深度数据获得所述待测物体相对于平面的高度数据。
具体地，当获得所述平面后，通过计算出待测物体的点的深度数据与平面深度数据的差值，获得所述第一图像中待测物体相对于平面的高度数据。及
步骤S33：将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积。
可以理解，步骤S31～S33仅为该实施例的一种实施方式，其实施方式并不限定于步骤S31～S33。
具体地，三个点之间形成一个三角形，通过待测物体的三维点云计算出所有形成的三角形的面积，可估算出待测物体的面积。
作为一种实施例，在执行步骤S32之前，可以对三维点云数据做简化处理以降低运算量。例如，面包上分布有多个不规则的点，可均匀选取其中25％-55％的点，例如，选取面包的点为90-150个，且选取的点中均匀分布于面包的特征上，就能作为面包的高度图，减少后续步骤对点云的计算量。
可以理解，由于本发明提供的基于图像的物体识别方法被用于物体的自助结算设备时，是在结算柜台进行检测的，也即当顾客挑选完商品后，将商品放置于结算柜台上，通过结算柜台上深度相机以识别商品类别和数量，则在保持柜台不变的情况下，上述三维点云中的平面即为固定的平面，在多次计算过程中，估算获得的三维点云的平面之信息被保存，提供给下一次的商品自助结算使用，也即在保持柜台不变的情况下，步骤S31中，获取三维点云中的平面为获取已存储的平面之信息。
请参阅图4b，步骤S31：估算三维点云中的平面，所述平面对应于待测物体的放置平面。步骤S31具体包括步骤S311～S312，通过步骤S311～S312，可获得上述平面。
步骤S311：将所述深度数据进行处理，转换为三维点云。可以理解，在上述步骤S1中，通过深度相机获得了多个点对应的多个深度数据，再通过该深度数据，计算出待测物体与待测物体所在的平面的三维点云。及
步骤S312：在多个点之间建立一个平面，并逐次带入其余的点，经过迭代计算不断更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。
具体地，在三维点云中部分点之间建立一个平面，通过迭代计算得到所述部分点之间有尽可能多的点与所述平面的距离最短，然后逐次将三维点云中其余的点带入，经过多次的迭代计算不断地更新所述平面，最终使得三维点云中尽可能多的点与该平面的距离最小时，停止更新平面，也即获得了所需平面，该平面可以是食品放置的托盘、购物车底面或结算柜台等用于放置物体的平面。
可选地，所述迭代计算的次数限制为50次，以防止迭代计算进行过多次的计算，减少不必要的计算量。
请参阅图5，步骤S4：将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别。步骤S4具体包括步骤S41～S44。
步骤S41：基于步骤S2中获得的待测物体的初始类别，将待测物体的高度和/或面积与该类别预存物体的高度和/或面积进行对比。
例如，上述步骤S22中获得面包为圆形面包，且该圆形面包最可能为A种类、B种类或者C种类，则对比时，将预存的A种类面包、B种类面包以及C种类面包的高度和/或面积依次与计算获得的待测物体的高度和/或面积对比。
步骤S42：判断待测物体的高度和/或面积是否与预存物体的高度和/或面积匹配，若是，则进入步骤S43，若否，则进入步骤S44。
步骤S43：确认待测物体的最终类别；
步骤S44：发出异常信号，提醒顾客整理待测物体过后重新进入步骤S2。具体地，所述异常包括物体产生堆叠、遮挡或挤压等对物体高度和/或面积造成较大影响的状态。
可以理解，步骤S41～S44仅为该实施例的一种实施方式，其实施方式并不限定于步骤S41～S44。
以面包为例，计算获得的圆形面包高度为4.9cm，面积为79cm2，而预存的A类面包高度为5cm，面积为80cm2，预存的B类面包高度为8cm，面积为90cm2，预存的C类面包高度为10cm，面积为100cm2，通过对比可知，圆形面包高度和/或面积与预存的A类面包高度和/或面积数值最接近，也即高度和/或面积在允许的误差范围内，则确认该圆形面包为A类圆形面包。
若计算获得的圆形面包高度为15cm，面积为130cm2，通过对比可知，圆形面包的高度和/或面积与预存的A类面包、B类面包以及C类面包的高度和/或面积都存在较大差值，则判定该圆形面包存在异常，该异常可以为堆叠、遮挡或挤压等对物体高度和/或面积造成较大影响的状态。此时可将该判定结果以一异常信号发出，例如在商场的自助收银机上，发出异常判定结果信号，通过提示灯或语音播报以提醒顾客待测物体存在异常状态，使顾客整理后再进行识别分类并结算。
请参阅图6，在一些特别的实施例中，该基于图像的物体识别方法用于商品自助结算领域时，还包括步骤S5：根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。步骤S5具体包括步骤S51～S52。
步骤S51：根据待测物体的最终类别与预存物体的类别进行对比，获得该类别物体对应的价格；及
步骤S52：通过待测物体的数量，获得结算清单。
可以理解，步骤S51～S52仅为该实施例的一种实施方式，其实施方式并不限定于步骤S51～S52。
请参阅图7a，本发明第二实施例提供一种用于实施上述基于图像的物体识别方法的商品自助结算系统。该商品自助结算系统可以包括：图像获取单元1、图像识别单元2、参数计算单元3、类别确认单元4以及结算单元5。
图像获取单元1，用于获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；
图像识别单元2，用于利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；
参数计算单元3，用于通过将所述深度数据转化为三维点云，获得待测物体的特征参数；
类别确认单元4，用于将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别；及
结算单元5，用于根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
请参阅图7b，具体地，所述参数计算单元3包括平面获取单元31、高度计算单元32以及面积计算单元33；
平面获取单元31，用于获取三维点云中的平面，所述平面对应于待测物体的放置平面；
高度计算单元32，用于利用所述深度数据获得所述待测物体相对于平面的高度数据；及
面积计算单元33，用于将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积。
请参阅图8，本发明第三实施例提供一种用于实施上述基于图像的物体识别方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项基于图像的物体识别方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项基于图像的物体识别方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
具体地，所述电子设备为商店售卖物品的自助结算设备，特别是作为非标物体的自助收银设备，如面包自助结算机中，用于准确识别非标物品的类别和数量，防止自助收银设备在结算过程中产生错误识别而导致结算错误的问题。
与现有的技术相比，本方法提供的基于图像的物体识别方法中，先利用深度相机获得第一图像的深度数据以及RGB数据，通过RGB数据初步识别出待测物体最有可能的几个初始类别，再通过深度数据获得待测物体的特征参数，将计算获得的待测物体的特征参数与预存物体的特征参数进行对比，进一步确认了待测物体的最终类别，使待测物体的识别更加准确，减少了在商品自助结算过程中因为错误识别造成的结算错误。同时减少了神经网络的计算量，提高了计算效率。特别是识别具有不规则形状的非标物体，通过计算高度和/或面积的方式避免了计算体积的大量计算。
将所述深度数据进行处理，转换为三维点云；在多个点之间建立一个平面，并逐次带入其余的点，经过迭代计算不断更新平面，最终使得尽可能多的点与该平面的距离最小时，停止平面的查找。通过查找平面，使得该方法可自适应于各种高度，避免人工的反复调试，提高了便利性。
通过将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积；利用所述深度数据获得所述待测物体相对于平面的高度数据。通过计算多个三角形的面积，获得待测物体的面积，以及通过深度数据和所述平面求差值，计算待测物体的高度，最后通过高度和/或面积进一步确认待测物体的类别，减少了数据的计算量，提高了计算效率。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、图像识别单元、参数计算单元、类别确认以及结算单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“基于深度相机获取带有待测物体图像的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：先利用深度相机获得第一图像的深度数据以及RGB数据，通过RGB数据初步识别出待测物体最有可能的几个类别，再通过深度数据获得待测物体的面积和高度，将待测物体的面积和高度与预存物体的面积和高度进行对比，进一步确认待测物体的类别。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种基于图像的物体识别方法，其特征在于包括如下步骤：
步骤S1：获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；
步骤S2：利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；
步骤S3：通过将所述深度数据转化为三维点云，获得待测物体的特征参数；
步骤S4：将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别；及
步骤S5：根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
2.如权利要求1中所述的基于图像的物体识别方法，其特征在于：所述待测物体包括非标物体。
3.如权利要求1中所述的基于图像的物体识别方法，其特征在于：上述步骤S3中，所述特征参数包括高度和/或面积。
4.如权利要求1中所述的基于图像的物体识别方法，其特征在于：所述特征参数为面积，在上述步骤S3中具体包括如下步骤：
通过将三维点云中多个两两相邻的三个点之间生成多个三角形，计算所有三角形的面积，估算出待测物体的面积。
5.如权利要求1中所述的基于图像的物体识别方法，其特征在于：所述特征参数为高度，在步骤S3中，在上述步骤S3中具体包括如下步骤：
步骤S31：获取三维点云中的平面，所述平面对应于待测物体的放置平面；
步骤S32：利用所述深度数据获得所述待测物体相对于平面的高度数据。
6.如权利要求5中所述的基于图像的物体识别方法，其特征在于：在上述步骤S31中具体包括如下步骤：
步骤S311：将所述深度数据进行处理，转换为三维点云；
步骤S312：在多个点之间建立一个平面，经过迭代计算更新平面，最终使得尽可能多的点与该平面的距离最小时，停止更新平面。
7.如权利要求1中所述的基于图像的物体识别方法，其特征在于：在上述步骤S4具体包括如下步骤：
步骤S41：基于步骤S2中获得的待测物体的初始类别，将待测物体的高度和/或面积与该类别预存物体的高度和/或面积进行对比；
步骤S42：判断待测物体的高度和/或面积是否与预存物体的高度和/或面积匹配，若是，则进入步骤S43，若否，则进入步骤S44；
步骤S43：确认待测物体的最终类别；
步骤S44：发出异常信号，重新进入步骤S2。
8.如权利要求1中所述的基于图像的物体识别方法，其特征在于：在上述步骤S2中具体包括如下步骤：
步骤S21：利用RGB数据，将第一图像输入至基于图像识别的神经网络，所述神经网络在待测物体所在的区域生成一个候选框；
步骤S22：将所述候选框区域内的待测物体与所述第一图像分离；及
步骤S23：对所述候选框内的待测物体进行识别，获得待测物体的类别，并记录待测物体的数量。
9.一种商品自助结算系统，其特征在于，包括：
图像获取单元，用于获取包括至少一个待测物体的第一图像，获得第一图像的深度数据以及RGB数据；
图像识别单元，用于利用所述RGB数据，经过图像识别技术识别出所述待测物体的初始类别和数量；
参数计算单元，用于通过将所述深度数据转化为三维点云，获得待测物体的特征参数；
类别确认单元，用于将待测物体的特征参数与初始类别对应的预存物体的特征参数进行对比，进一步确定待测物体的最终类别；及
结算单元，用于根据待测物体的最终类别获得该类别对应的预存物体的价格，结合待测物体的数量给出结算清单。
10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的基于图像的物体识别方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至8任一项中所述的基于图像的物体识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043223.9A CN109886112A (zh) | 2019-01-16 | 2019-01-16 | 一种基于图像的物体识别方法、商品自助收银系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910043223.9A CN109886112A (zh) | 2019-01-16 | 2019-01-16 | 一种基于图像的物体识别方法、商品自助收银系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109886112A true CN109886112A (zh) | 2019-06-14 |
Family
ID=66926072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910043223.9A Pending CN109886112A (zh) | 2019-01-16 | 2019-01-16 | 一种基于图像的物体识别方法、商品自助收银系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886112A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956459A (zh) * | 2019-11-28 | 2020-04-03 | 浙江由由科技有限公司 | 一种商品处理方法及系统 |
| CN111325240A (zh) * | 2020-01-23 | 2020-06-23 | 杭州睿琪软件有限公司 | 与杂草相关的计算机可执行的方法和计算机系统 |
| CN111738245A (zh) * | 2020-08-27 | 2020-10-02 | 创新奇智(北京)科技有限公司 | 商品识别管理方法、装置、服务器及可读存储介质 |
| CN111879774A (zh) * | 2020-08-03 | 2020-11-03 | 广州皓醒湾科技有限公司 | 刷头磨圆率测试方法、装置和电子设备 |
| CN114627315A (zh) * | 2022-01-31 | 2022-06-14 | 南通爱米食品有限公司 | 大批量糕点烘焙阶段识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104596447A (zh) * | 2015-01-26 | 2015-05-06 | 上海出入境检验检疫局机电产品检测技术中心 | 基于图像分析技术的饰品表面积快速检测方法及检测系统 |
| CN107748890A (zh) * | 2017-09-11 | 2018-03-02 | 汕头大学 | 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 |
| CN107944860A (zh) * | 2017-11-15 | 2018-04-20 | 上海捷售智能科技有限公司 | 一种基于神经网络的烘焙食品识别与收银系统及方法 |
| CN108229548A (zh) * | 2017-12-27 | 2018-06-29 | 华为技术有限公司 | 一种物体检测方法及装置 |
| CN108345912A (zh) * | 2018-04-25 | 2018-07-31 | 电子科技大学中山学院 | 一种基于rgbd信息与深度学习的商品快速结算系统 |
| CN108369699A (zh) * | 2015-12-16 | 2018-08-03 | 三星电子株式会社 | 用于电子设备的引导定位追踪的系统和方法 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN108776770A (zh) * | 2018-04-24 | 2018-11-09 | 深圳奥比中光科技有限公司 | 一种智能购物车的信息处理方法及智能购物车 |
| CN108960202A (zh) * | 2018-08-01 | 2018-12-07 | 京东方科技集团股份有限公司 | 一种智能货架、系统、判断商品叠放的方法 |
| CN109002780A (zh) * | 2018-07-02 | 2018-12-14 | 深圳码隆科技有限公司 | 一种购物流程控制方法、装置和用户终端 |
-
2019
- 2019-01-16 CN CN201910043223.9A patent/CN109886112A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104596447A (zh) * | 2015-01-26 | 2015-05-06 | 上海出入境检验检疫局机电产品检测技术中心 | 基于图像分析技术的饰品表面积快速检测方法及检测系统 |
| CN108369699A (zh) * | 2015-12-16 | 2018-08-03 | 三星电子株式会社 | 用于电子设备的引导定位追踪的系统和方法 |
| CN107748890A (zh) * | 2017-09-11 | 2018-03-02 | 汕头大学 | 一种基于深度图像的视觉抓取方法、装置及其可读存储介质 |
| CN107944860A (zh) * | 2017-11-15 | 2018-04-20 | 上海捷售智能科技有限公司 | 一种基于神经网络的烘焙食品识别与收银系统及方法 |
| CN108229548A (zh) * | 2017-12-27 | 2018-06-29 | 华为技术有限公司 | 一种物体检测方法及装置 |
| CN108416804A (zh) * | 2018-02-11 | 2018-08-17 | 深圳市优博讯科技股份有限公司 | 获取目标物体体积的方法、装置、终端设备及存储介质 |
| CN108776770A (zh) * | 2018-04-24 | 2018-11-09 | 深圳奥比中光科技有限公司 | 一种智能购物车的信息处理方法及智能购物车 |
| CN108345912A (zh) * | 2018-04-25 | 2018-07-31 | 电子科技大学中山学院 | 一种基于rgbd信息与深度学习的商品快速结算系统 |
| CN109002780A (zh) * | 2018-07-02 | 2018-12-14 | 深圳码隆科技有限公司 | 一种购物流程控制方法、装置和用户终端 |
| CN108960202A (zh) * | 2018-08-01 | 2018-12-07 | 京东方科技集团股份有限公司 | 一种智能货架、系统、判断商品叠放的方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110956459A (zh) * | 2019-11-28 | 2020-04-03 | 浙江由由科技有限公司 | 一种商品处理方法及系统 |
| CN111325240A (zh) * | 2020-01-23 | 2020-06-23 | 杭州睿琪软件有限公司 | 与杂草相关的计算机可执行的方法和计算机系统 |
| CN111879774A (zh) * | 2020-08-03 | 2020-11-03 | 广州皓醒湾科技有限公司 | 刷头磨圆率测试方法、装置和电子设备 |
| CN111879774B (zh) * | 2020-08-03 | 2023-07-21 | 广州星际悦动股份有限公司 | 刷头磨圆率测试方法、装置和电子设备 |
| CN111738245A (zh) * | 2020-08-27 | 2020-10-02 | 创新奇智(北京)科技有限公司 | 商品识别管理方法、装置、服务器及可读存储介质 |
| CN111738245B (zh) * | 2020-08-27 | 2020-11-20 | 创新奇智(北京)科技有限公司 | 商品识别管理方法、装置、服务器及可读存储介质 |
| CN114627315A (zh) * | 2022-01-31 | 2022-06-14 | 南通爱米食品有限公司 | 大批量糕点烘焙阶段识别方法 |
| CN114627315B (zh) * | 2022-01-31 | 2023-04-18 | 南通爱米食品有限公司 | 大批量糕点烘焙阶段识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886112A (zh) | 一种基于图像的物体识别方法、商品自助收银系统及电子设备 | |
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| US11749072B2 (en) | Varied detail levels of shopping data for frictionless shoppers | |
| CN109190705A (zh) | 无人售货方法、装置及系统 | |
| US10633012B2 (en) | Self-checkout in retail stores | |
| CN108846621A (zh) | 一种基于策略模块的库存管理系统 | |
| CN109035629A (zh) | 一种基于开放式自动售货机的购物结算方法和装置 | |
| CN109871765A (zh) | 一种基于图像的物品堆叠检测方法、系统及电子设备 | |
| CN109508974B (zh) | 一种基于特征融合的购物结账系统和方法 | |
| CN108460908A (zh) | 自动售货方法和系统以及自动售货装置和自动贩售机 | |
| CN108629591A (zh) | 销售数据处理装置及控制方法、终端设备 | |
| CN110276892A (zh) | 无人售货方法、装置、设备及存储介质 | |
| CN107862557B (zh) | 顾客动态追踪系统及其方法 | |
| CN109472672A (zh) | 商品导购方法及装置 | |
| JP6348887B2 (ja) | 販売データ処理装置およびプログラム | |
| CN108831073A (zh) | 无人超市系统 | |
| CN110178154A (zh) | 优化零售环境中的人力资源和非人力资源 | |
| CN110379070A (zh) | 商品检测方法和装置 | |
| CN109190706A (zh) | 无人售货方法、装置及系统 | |
| US10607227B2 (en) | System, method, and computer program product for detecting potential money laundering activities | |
| CN208969793U (zh) | 无人超市系统 | |
| CN110210868A (zh) | 数值转移数据的处理方法及电子设备 | |
| CN109697610A (zh) | 订单操作方法和装置 | |
| WO2022081518A2 (en) | Methods and systems for retail environments | |
| CN107316414A (zh) | 一种自助购物结算的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |