CN110991367A - 采集货柜商品售卖信息的方法、系统、设备和存储介质 - Google Patents

采集货柜商品售卖信息的方法、系统、设备和存储介质 Download PDF

Info

Publication number
CN110991367A
CN110991367A CN201911252086.6A CN201911252086A CN110991367A CN 110991367 A CN110991367 A CN 110991367A CN 201911252086 A CN201911252086 A CN 201911252086A CN 110991367 A CN110991367 A CN 110991367A
Authority
CN
China
Prior art keywords
pictures
commodity
container
goods
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911252086.6A
Other languages
English (en)
Inventor
童星
桑亮
柯严
李佩钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Clobotics Technology Co ltd
Original Assignee
Shanghai Clobotics Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Clobotics Technology Co ltd filed Critical Shanghai Clobotics Technology Co ltd
Priority to CN201911252086.6A priority Critical patent/CN110991367A/zh
Publication of CN110991367A publication Critical patent/CN110991367A/zh
Priority to CN202010955257.8A priority patent/CN111881894A/zh
Priority to MX2020013089A priority patent/MX2020013089A/es
Priority to US17/116,361 priority patent/US20210174299A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G06Q10/0875Itemisation or classification of parts, supplies or services, e.g. bill of materials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开涉及图像处理技术领域,特别涉及一种采集货柜商品售卖信息的方法、系统、设备和存储介质。所述方法包括按时间顺序依次获取摆设有商品的货柜图片;依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。本公开将传统的人工采集商品售卖信息的方式,改变为自动采集方式,极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,并且还能够实时了解商品售卖的动态变化情况。

Description

采集货柜商品售卖信息的方法、系统、设备和存储介质
技术领域
本公开涉及图像处理技术领域,特别涉及一种采集货柜商品售卖信息的方法、系统、设备和存储介质。
背景技术
生活中,人们频繁地在超市的货架和冷藏柜中选购商品。这种购买方式对于顾客来说能够很容易地选购到自己想要的商品,也能够自由地决定是否购买。在顾客购买相应的商品后,被卖掉的商品位置会留下相应的空缺区域,除非由超市的工作人员进行整理。
为了保证商品的持续供应,并掌握商品的售卖情况,超市的理货员会在固定的时间里对货架和冷藏柜中的商品进行盘点,并及时进行补货,以保证充足的商品供应。
发明内容
本公开的一方面提供了一种采集货柜商品售卖信息的方法。所述方法包括如下步骤:
按时间顺序依次获取摆设有商品的货柜图片;
依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;
对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;
当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
在一实施例中,所述依次对每相邻两张货柜图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括:
获取相邻两张货柜图片中的多个特征点;
将所述相邻两张货柜图片中的特征点进行配对,以计算得到单应性矩阵;
按照拍摄时间顺序,将所述两张图片中的后一张图片根据单应性矩阵进行透视变换,以得到拍摄角度和对应商品区域的商品位置一致的两张图片。
在一实施例中,所述的依次对若干图片中的每相邻两张货柜图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括:
按照拍摄时间顺序,检测所述相邻两张货柜图片中的前一张图片中的商品带有第一标记框;
利用模板匹配的方式,在后一张图片中标记出与所述第一标记框相对应的第二标记框;
将相对应的两个所述标记框的中心点作为对应的特征点;
利用所述对应的特征点计算得到单应性矩阵;
利用所述单应性矩阵,将所述相邻两张图片中的后一张图片进行透视变换,得到拍摄角度和对应商品区域的商品位置一致的两张图片。
在一实施例中,所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内位置是否存在不同的图像内容的步骤包括:
将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加,得到对应商品区域重叠的图像矩阵;
将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中,以确定所述对应商品区域的图像内容是否相同。
在一实施例中,训练所述识别模型的方法包括如下步骤:
按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片;
依次将多张所述模拟图片中的每相邻两张图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致;
在经过调整处理的每相邻两张模拟图片中按时间顺序排列的前一张中,进行标记处理,以标记出模拟卖掉商品的区域;
将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加,以得到对应商品区域重叠的模拟图像矩阵;
利用所述模拟图像矩阵训练一模型,以获得能够识别对应商品区域的图像内容的识别模型。
在一实施例中,所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图形内容的步骤还包括:
将每相邻两张图片中的商品进行标记,以形成带有标记的所述商品区域;
依次比对每相邻两张货柜图片中的对应商品区域,以确定对应商品区域内是否存在不同的图像内容。
在一实施例中,依次比对每个相邻两张货柜图片中的对应商品区域,以确定对应商品区域是否存在不同的图像内容的步骤还包括:
将带有标记的所述商品区域进行抠图处理,以使每个所述商品区域分别形成抠图图像;
将每相邻两张货柜图片中对应商品区域的所述抠图图像进行比对,以确定两个抠图图像之间的图像内容是否存在不同。
本公开的另一方面是提供了一种采集货柜商品售卖信息的系统。所述采集货柜商品售卖信息的系统用于实现如前所述的采集货柜商品售卖信息的方法的步骤。所述系统包括:
数据获取模块,用于按时间顺序依次获取摆设有商品的货柜图片;
图像处理模块,用于依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;
图像识别模块,用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;以及
用于当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
本公开的再一方面还提供了一种采集货柜商品售卖信息的设备。所述采集货柜商品售卖信息的设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤。
本公开的最后一方面则是提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前所述的采集货柜商品售卖信息的方法的步骤。
在本公开提供的采集货柜商品售卖信息的方法、系统、设备和存储介质中,将传统的人工采集商品售卖信息的方式,改变为自动采集方式,极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,并且还能够实时了解商品售卖的动态变化情况。
另一方面,本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据,精确区分商品为售卖和已售卖的不同情况。
最后,本公开还提供了一种图像识别模型的训练方式,能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。
附图说明
附图示例性地示出了实施例并且构成说明书地一部分,与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于示例的目的,并不限制权利要求的范围。在所有附图中,相同的附图标记指代类似但不一定相同的要素。
图1是本公开一实施例所展示的采集货柜商品售卖信息的方法的步骤流程图;
图2是本公开一实施例提供的对图片进行调整处理的方法的步骤流程图;
图3是本公开一实施例提供的对图片进行调整处理的方法的步骤流程图;
图4是本公开一实施例提供的用于识别货柜图片的方法步骤示意图;
图5是本公开一实施例提供的识别模型训练方法步骤示意图;
图6是本公开一实施例提供的另外一种用于识别货柜图片的方法步骤;
图7是本公开一实施例提供的优选的对比标记区域的方法步骤流程图;
图8是本公开一实施例提供的采集货柜商品售卖信息的系统模块连接示意图;
图9是本公开一实施例提供的采集货柜商品售卖信息的设备的结构示意图;
图10是本公开一实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
通过上述说明可知,生活中,人们会频繁地在超市地货架和冷藏柜中选购商品。
为了保证商品地持续供应,并掌握商品的售卖情况,需要超市的理货员在固定的时间里对货架和冷藏柜中的商品进行盘点,并及时进行补货。然而,理货盘点并形成统计数据,然后再进行补货,是一项繁重的工作,全部依靠人工来完成的话,不仅需要消耗大量的时间,而且还要投入大量的人力物力。并且人工对商品售卖信息的采集方式还无法做到实时的进行数据更新,只能采集到最终的售卖情况,无法了解售卖情况的动态信息。
现有技术中普遍采用的是上述人工采集的方式来掌握商品的售卖信息。也因此,大量的经营成本和人力物力被用在商品的售卖情况采集上面。然而随着人工采集方式的投入提高,却始终无法做到实时掌握商品售卖信息的动态信息。
为了解决现有技术存在的问题,将传统的人工采集商品售卖信息的方式,改变为自动采集方式,发明人通过创造性的劳动提出了一种采集货柜商品售卖信息的方法、系统、设备和存储介质。值得说明的是,本公开提供的采集货柜商品售卖信息的方法,不仅能够用于大型的商超,而且还适用于各种便利店甚至是无人超市等商业实体当中。通过提供的采集货柜商品售卖信息的方法将传统的人工采集商品售卖信息的方式,改变为自动采集方式,极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,并且还能够实时了解商品售卖的动态变化情况。
以下结合附图和具体实施例对本公开提出的采集货柜商品售卖信息的方法、系统、设备及存储介质作进一步详细说明。根据权利要求书和下面说明,本公开的优点和特征将更清楚。需说明的是,附图均采用非常简化的形式且均使用非精准的比例,仅用以方便、明晰地辅助说明本公开实施例的目的。
应当理解的内容是,说明书中的用辞仅用于描述特定的实施例,并不旨在限定本公开。说明书使用的所有术语(包括技术术语和科学术语)除非另有定义,均具有本领域技术人员通常理解的含义。为简明和/或清楚起见,公知的功能或结构不再详细说明。
关于采集货柜商品售卖信息的方法的示例说明
请参阅图1,其展示了本公开一实施例中的采集货柜商品售卖信息的方法的步骤流程图。
在这个实施例的步骤S011中,按时间循序依次获取摆设有商品的货柜图片。
在实际应用至冷藏柜中时,可以根据冷藏柜的开关门来或获取货柜图片。例如冷藏柜的一次开关,通常对应这顾客的一次完整的购买行为。那么当顾客在关门的过程中,实际上已经完成了商品的购买。因此,在关门过程中获取货柜图片,是能够记录到货柜上的发生变化后的商品的(商品被消费者拿走之后,对应的位置会产生空缺,因此后续说明的对货柜图片进行模型识别恰好可以利用产生的空缺而带来的图像信息的变化,以便于能够准确的判断出商品是否被消费者带走)。
在步骤S012中,依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致。
在步骤S013中,对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容。
本公开中涉及的商品区域是指在货柜图片中,商品占用的区域范围,当货柜图片利用模型来检测图片中的商品时,会在商品的周围标记上一个封闭的框来表示模型检测出的商品。容易理解,为了具体地描绘这个商品区域,通常将这个封闭的框(通常称为标记框)限定的具有确定界限地区域作为商品区域。
在步骤S014中,当存在不同地图像内容时,输出图像内容不同地商品区域地数量和对应地商品信息。
可见,本公开提供的采集货柜商品售卖信息的方法中,通过采集货柜的图片信息,并通过对图片的有效处理和对比等操作,来实现采集货柜商品售卖信息的采集,将传统的人工采集商品售卖信息的方式,改变为自动采集方式。进而极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,而且还能够实时了解商品售卖的动态变化情况。
容易理解,在获取货柜图像时,并不是每一次获取的图片都能够保持在同一个角度和大小。尤其对于冷藏柜这样带门的货柜来说,为了及时、方便地获取冷藏柜内部的货柜图片,通常会把带有摄像头的工具安装在门上,这是为了获得货柜图片的必然选择。然而顾客在关门时进行拍摄照片,无法做到两次(可能时相同或不同的消费者在不同时刻发生了两次关门动作)拍摄的照片都在完全一致的拍摄角度。其中一次的拍摄位置可能在冷藏柜门关门至50°时进行拍摄的,而另一次拍摄的位置可能在冷藏柜门关门至40°时进行拍摄的。由于两次拍摄的位置和角度无法做到完全一致,因而会导致两次获取的货柜图片中的相同位置的商品大小和角度产生较大变化。因此对图像进行调整,以使相邻的两张图片的拍摄角度(实际上是图片的呈现角度)和对应位置的相同的商品大小趋于一致。
对于相邻两张图片的调整处理,在本公开的一实施例中,还说明了关于“对获取的图片进行调整处理”的优选实施方案。在图2中,展示了该实施例提供的对图片进行调整处理的方法的步骤流程图。
在这个实施例的步骤S021中,获取相邻两张货柜图片中的多个特征点。
在步骤S022中,将所述相邻两张货柜图片中的特征点进行配对,以计算得到单应性矩阵。
在步骤S023中,按照拍摄时间顺序,将所述两张图片中的后一张图片根据单应性矩阵进行透视变换,以得到拍摄角度和对应商品区域的商品位置一致的两张图片。
本公开中提及的商品位置是指在货柜图片中,某一个商品与其他商品之间的相对位置。
容易理解,通过获取多个不同的特征点,并将两张图上的特征点进行配对后得到单应性矩阵,从而可以使图像在数学矩阵方面,对图像进行形状变化处理,可以有效的将两张图达到拍摄视角和对应商品区域中的商品位置一致的状态。在进行调整处理时,可以利用尺度不变特征变换(Scale-invariant feature transform,SIFT)的对应方式进行处理,以提高图片的处理效果,便于后续的识别。
在本公开的一实施例中,还说明了另外一种关于“对获取的图片进行调整处理”的优选实施方案。本实施例提供的优选方案与上一实施例提供的方案不同点在于,需要识别出图片中的商品,并对这些商品进行标记,这样能够保证两张图片中的每个商品的都能够得到更精确的对应,以提高两张图片中对应商品的一致性。在图3中,展示了该实施例提供的对图片进行调整处理的方法的步骤流程图。
在步骤S031中,按照拍摄时间顺序,检测所述相邻两张货柜图片中的前一张图片中的商品,以使前一张图片中的商品带有第一标记框。
在步骤S032中,利用模板匹配的方式,在后一张图片中标记出与所述第一标记框相对应的第二标记框。
在步骤S033中,将相对应的两个所述标记框的中心点作为对应的特征点。
在步骤S034中,利用所述对应的特征点计算得到单应性矩阵。
在步骤S035中,利用所述单应性矩阵,将所述相邻两张图片中的后一张图片进行透视变换,得到拍摄角度和对应商品区域的商品位置一致的两张图片。
可见,本公开不仅提供了不同的图片调整处理的方法,而且通过两种不同的图片调整处理方法均能够将相邻两张图片调整至同一拍摄角度,并且使对应商品区域的商品位置更加趋于一致。
例如在调整处理获取的冷藏柜中的相邻两张图片时,可以按照时间的先后顺序,将后一张货柜图片进行调整处理,以使其能够达到前一张货柜图片的拍摄效果。
值得说明的是,这里对另一张图片中商品进行标记时,可以利用模板匹配的方法进行。这里涉及的模板匹配方法是一种最原始、最基本的模式识别方法,研究某一特定对象物的图案位于图像的什么地方,进而识别对象物,这是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。
还有,为了能够将获取的货柜图片中商品售卖信息(对应位置的商品是否发生了变动)采集出来,本公开还提供了图像识别的方法。
请参考图4,图4是本公开一实施例提供的用于识别货柜图片的方法步骤示意图。
在本实施例的步骤S041中,将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加,得到六通道(RGBRGB)对应商品区域重叠的图像矩阵。
在本实施例的步骤S042中,将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中,以确定所述对应商品区域的图像内容是否相同。
在本实施例的步骤S043中,当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
可见,通过上述公开提供的货柜图片的识别方法,能够准确地识别出相邻两张货柜图片中对应商品区域是否存在不同地图像内容,而且还进一步提高了图像识别的效率和精确度。
紧接着,本实施例还进一步提供了关于识别模型的训练方法。请参见图5中展示的识别模型训练方法步骤示意图。
在本实施例的步骤S401中,按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片。
在本实施例的步骤S402中,依次将多张所述模拟图片中的每相邻两张图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致。
在本实施例的步骤S403中,在经过调整处理的每相邻两张模拟图片中的其中一张中(也可以是按照时间顺序排列的前一张),进行标记处理,以标记出模拟卖掉商品的区域。
在本实施例的步骤S404中,将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加,以得到对应商品区域重叠的模拟图像矩阵。
在本实施例的步骤S405中,利用所述模拟图像矩阵训练一模型,以获得能够识别对应商品区域的图像内容的识别模型。
通过上述方法能够快速的训练所需要的识别模型,并且还能保证识别模型的识别经度。
为了应对不同的使用场景,本公开还提供了另外一种用于识别货柜图片的方法。
在图6中,展示了本公开一实施例提供的另外一种用于识别货柜图片的方法步骤。
在这个实施例的步骤051中,将每相邻两张图片中的商品进行标记,以形成带有标记的所述商品区域。
步骤052中,依次比对每相邻两张货柜图片中的对应商品区域,以确定对应商品区域内是否存在不同的图像内容。
接着,在本公开的一个实施例中,还说明了比较相邻两张图片对应位置的标记区域的具体方式。
如图7所示,图7是本实施例提供的优选的对比标记区域的方法步骤流程图。
在本实施例的步骤S061中,将带有标记的所述商品区域进行抠图处理,以使每个所述商品区域分别形成抠图图像。
步骤S062中,将每相邻两张货柜图片中对应商品区域的所述抠图图像进行比对,以确定两个抠图图像之间的图像内容是否存在不同。
基于上述的公开内容可知,本公开提供的采集货柜商品售卖信息的方法、系统、设备和存储介质中,将传统的人工采集商品售卖信息的方式,改变为自动采集方式,极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,并且还能够实时了解商品售卖的动态变化情况。
另一方面,本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据,精确区分商品为售卖和已售卖的不同情况。
最后,本公开还提供了一种图像识别模型的训练方式,能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。
关于采集货柜商品售卖信息的系统的示例说明
本公开的一实施例中还提供了一种采集货柜商品售卖信息的系统。在图8中,展示了本公开一实施例提供的采集货柜商品售卖信息的系统模块连接示意图。该系统能够实现本公开中说明的采集货柜商品售卖信息的方法。为了实现本公开说明的采集货柜商品售卖信息的方法,该系统包括:
数据获取模块501,用于按时间顺序依次获取摆设有商品的货柜图片。
图像处理模块502,用于依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;
图像识别模块503,用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;以及
用于当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
关于采集货柜商品售卖信息的设备的示例说明
本公开的一实施例中还提供了一种采集货柜商品售卖信息的设备。所述设备包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现本公开中说明的采集货柜商品售卖信息的方法的步骤。
本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“平台”。
图9是本公开一实施例提供的采集货柜商品售卖信息的设备的结构示意图。下面参照图9来详细描述根据本实施例中的实施方式实施的电子设备600。图9显示的电子设备600仅仅是一个示例,不应对本公开任何实施例的功能和使用范围带来任何限制。
如图9所示,电子设备600以通用计算设备的形式表现。电子设备600的组建可以包括但不限于:至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中,存储单元存储有程序代码,程序代码可以被处理单元610执行,使得处理单元610执行本实施例中上述图像拼接方法部分中描述的根据本实施例中的实施步骤。例如,处理单元610可以执行如图1、图2、图3、图4、图5、图6和图7中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质,例如随机存取单元(RAM)和/或高速缓存存储单元,可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图像加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可以与一个或者多个使得用户与该电子设备600交互的设备通信,和/或与使得该电子设备能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且,电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其他模块通信。应当明白,尽管图9中未示出,可以结合电子设备600使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
关于可读存储介质的示例说明
本公开的一个实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时能够实现上述公开中采集货柜商品售卖信息的方法的步骤。尽管本实施例未详尽地列举其他具体的实施方式,但在一些可能的实施方式中,本公开说明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本公开中采集货柜商品售卖信息的方法部分中描述的根据本公开各种实施例中实施方式的步骤。
如上说明之内容,该实施例提供的计算机可读存储介质中存储的计算机程序被执行时,通过将获取的相邻两张图片中的进行识别对比,从而得出两张图片中对应区域的图像内容是否发生改变,最终实现采集货柜商品售卖信息的目的。
图10是本公开一实施例提供的计算机可读存储介质的结构示意图。如图10所示,其中描述了根据本公开的实施方式中用于实现上述方法的程序产品800,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。当然,依据本实施例产生的程序产品不限于此,在本公开中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述,在本公开提供的采集货柜商品售卖信息的方法、系统、设备和存储介质中,将传统的人工采集商品售卖信息的方式,改变为自动采集方式,极大程度提高了商品售卖信息的采集效率,降低了人工的劳动强度,并且还能够实时了解商品售卖的动态变化情况。
另一方面,本公开还能够通过不同的图片比对方式来提供了可靠的图片对比数据,精确区分商品为售卖和已售卖的不同情况。
最后,本公开还提供了一种图像识别模型的训练方式,能够更加有效提高货架和冷藏柜上的商品售卖信息的识别速度和精确度。
上述描述仅是对本公开较佳实施例的描述,并非对本公开范围的任何限定,本公开领域的普通技术人员根据上述揭示内容做的任何变更、修饰,均属于权利要求书的保护范围。

Claims (10)

1.一种采集货柜商品售卖信息的方法,其特征在于,包括如下步骤:
按时间顺序依次获取摆设有商品的货柜图片;
依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;
对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;
当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
2.如权利要求1所述的采集货柜商品售卖信息的方法,其特征在于,所述依次对每相邻两张货柜图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括:
获取相邻两张货柜图片中的多个特征点;
将所述相邻两张货柜图片中的特征点进行配对,以计算得到单应性矩阵;
按照拍摄时间顺序,将所述两张图片中的后一张图片根据单应性矩阵进行透视变换,以得到拍摄角度和对应商品区域的商品位置一致的两张图片。
3.如权利要求1所述的采集货柜商品售卖信息的方法,其特征在于,所述的依次对若干图片中的每相邻两张货柜图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致的步骤包括:
按照拍摄时间顺序,检测所述相邻两张货柜图片中的前一张图片中的商品,以使前一张图片中的商品带有第一标记框;
利用模板匹配的方式,在后一张图片中标记出与所述第一标记框相对应的第二标记框;
将相对应的两个所述标记框的中心点作为对应的特征点;
利用所述对应的特征点计算得到单应性矩阵;
利用所述单应性矩阵,将所述相邻两张图片中的后一张图片进行透视变换,得到拍摄角度和对应商品区域的商品位置一致的两张图片。
4.如权利要求1所述的采集货柜商品售卖信息的方法,其特征在于,所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内位置是否存在不同的图像内容的步骤包括:
将经过调整处理的每相邻的两张所述货柜图片进行通道维度叠加,得到对应商品区域重叠的图像矩阵;
将所述图像矩阵输入至能够识别所述图像矩阵中对应商品区域的图像内容的识别模型中,以检测出其中内容不同的商品区域。
5.如权利要求4所述的采集货柜商品售卖信息的方法,其特征在于,训练所述识别模型的方法包括如下步骤:
按时间顺序依次获取模拟货柜商品售卖变化的多张模拟图片;
依次将多张所述模拟图片中的每相邻两张图片进行调整处理,以使两张图片的拍摄角度和对应商品区域的商品位置一致;
在经过调整处理的每相邻两张模拟图片中按时间顺序排列的前一张中,进行标记处理,以标记出模拟卖掉商品的区域;
将经过所述标记处理的每相邻两张模拟图片进行通道维度叠加,以得到对应商品区域重叠的模拟图像矩阵;
利用所述模拟图像矩阵训练一模型,以获得能够识别对应商品区域的图像内容的识别模型。
6.如权利要求1所述的采集货柜商品售卖信息的方法,其特征在于,所述对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图形内容的步骤还包括:
将每相邻两张图片中的商品进行标记,以形成带有标记的所述商品区域;
依次比对每相邻两张货柜图片中的对应商品区域,以确定对应商品区域内是否存在不同的图像内容。
7.如权利要求6所述的采集货柜商品售卖信息的方法,其特征在于,依次比对每个相邻两张货柜图片中的对应商品区域,以确定对应商品区域是否存在不同的图像内容的步骤还包括:
将带有标记的所述商品区域进行抠图处理,以使每个所述商品区域分别形成抠图图像;
将每相邻两张货柜图片中对应商品区域的所述抠图图像进行比对,以确定两个抠图图像之间的图像内容是否存在不同。
8.一种采集货柜商品售卖信息的系统,用于实现权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤,其特征在于,所述系统包括:
数据获取模块,用于按时间顺序依次获取摆设有商品的货柜图片;
图像处理模块,用于依次对每相邻两张货柜图片进行调整处理,以使相邻两张货柜图片的拍摄角度和对应商品区域的商品的位置一致;
图像识别模块,用于对比经过所述调整处理的每相邻两张货柜图片中的对应商品区域,以确定所述对应商品区域内是否存在不同的图像内容;以及
用于当存在不同的图像内容时,输出图像内容不同的商品区域的数量和对应的商品信息。
9.一种采集货柜商品售卖信息的设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7中任一项所述的采集货柜商品售卖信息的方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的采集货柜商品售卖信息的方法的步骤。
CN201911252086.6A 2019-12-09 2019-12-09 采集货柜商品售卖信息的方法、系统、设备和存储介质 Pending CN110991367A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911252086.6A CN110991367A (zh) 2019-12-09 2019-12-09 采集货柜商品售卖信息的方法、系统、设备和存储介质
CN202010955257.8A CN111881894A (zh) 2019-12-09 2020-09-11 采集货柜商品售卖信息的方法、系统、设备和存储介质
MX2020013089A MX2020013089A (es) 2019-12-09 2020-12-02 Metodo, sistema y dispositivo para recopilar informacion de ventas de productos basicos en gabinete y medio de almacenamiento.
US17/116,361 US20210174299A1 (en) 2019-12-09 2020-12-09 Method, system and device for collecting sales information of commodities in cabinet, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252086.6A CN110991367A (zh) 2019-12-09 2019-12-09 采集货柜商品售卖信息的方法、系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN110991367A true CN110991367A (zh) 2020-04-10

Family

ID=70091451

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911252086.6A Pending CN110991367A (zh) 2019-12-09 2019-12-09 采集货柜商品售卖信息的方法、系统、设备和存储介质
CN202010955257.8A Pending CN111881894A (zh) 2019-12-09 2020-09-11 采集货柜商品售卖信息的方法、系统、设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010955257.8A Pending CN111881894A (zh) 2019-12-09 2020-09-11 采集货柜商品售卖信息的方法、系统、设备和存储介质

Country Status (3)

Country Link
US (1) US20210174299A1 (zh)
CN (2) CN110991367A (zh)
MX (1) MX2020013089A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340009A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 识别方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112434584B (zh) * 2020-11-16 2024-04-30 浙江大华技术股份有限公司 货架商品余量计算方法、装置、计算机设备和存储介质
CN113095308B (zh) * 2021-06-09 2021-11-09 北京每日优鲜电子商务有限公司 货柜异物检测方法、装置、电子设备和计算机可读存储介质
CN113781371B (zh) * 2021-08-23 2024-01-30 南京掌控网络科技有限公司 一种货架图片识别结果去重及拼接的方法和设备
CN114025075B (zh) * 2021-12-16 2024-10-18 元气森林(北京)食品科技集团有限公司 陈列柜中物品检测方法、陈列柜以及存储介质
CN115100981A (zh) * 2022-05-19 2022-09-23 上海扩博智能技术有限公司 显示屏幕、控制系统、带有显示屏幕的电器和带有显示屏幕的冰柜
CN116612180B (zh) * 2023-07-18 2023-10-03 湖南省计量检测研究院 一种可实时维护的商品量计量检验系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI469062B (zh) * 2011-11-11 2015-01-11 Ind Tech Res Inst 影像穩定方法及影像穩定裝置
CN105046699A (zh) * 2015-07-09 2015-11-11 硅革科技(北京)有限公司 一种运动视频的叠加对比方法
CN107273791A (zh) * 2017-04-26 2017-10-20 国家电网公司 一种基于无人机航拍图像技术的仓库货物盘点方法
CN108549851B (zh) * 2018-03-27 2020-08-25 合肥美的智能科技有限公司 智能货柜内货品识别方法及装置、智能货柜
CN208188867U (zh) * 2018-06-01 2018-12-04 西安未来鲜森智能信息技术有限公司 一种用于无人自动售货的商品识别系统
CN109543527A (zh) * 2018-10-19 2019-03-29 北京陌上花科技有限公司 用于无人货架的商品检测方法、装置以及零售终端
CN109934093B (zh) * 2019-01-21 2021-03-30 创新奇智(南京)科技有限公司 一种识别货架商品的方法、计算机可读介质及识别系统
CN110428200A (zh) * 2019-07-18 2019-11-08 北京云迹科技有限公司 智能自动售货柜的库存自动盘点方法
CN110516628A (zh) * 2019-08-29 2019-11-29 上海扩博智能技术有限公司 货架空缺位置商品信息获取方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111340009A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 识别方法及装置
WO2021228134A1 (zh) * 2020-05-15 2021-11-18 支付宝(杭州)信息技术有限公司 识别方法及装置

Also Published As

Publication number Publication date
CN111881894A (zh) 2020-11-03
US20210174299A1 (en) 2021-06-10
MX2020013089A (es) 2021-06-10

Similar Documents

Publication Publication Date Title
CN110991367A (zh) 采集货柜商品售卖信息的方法、系统、设备和存储介质
CN109146380B (zh) 一种基于相对位置的库存分析系统
CN108960038B (zh) 一种基于图像识别技术的购物手推车及其识别方法
CN111415461A (zh) 物品识别方法及系统、电子设备
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
Dorrer et al. Comparison of the YOLOv3 and Mask R-CNN architectures’ efficiency in the smart refrigerator’s computer vision
CN108647553A (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
WO2019192231A1 (zh) 商品定位方法及装置、设备和存储介质
CN111553889A (zh) 货架上商品摆放位置的对比方法、系统、设备和存储介质
CN109271935A (zh) 物品与电子标签的配对方法、装置及系统
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN110610169B (zh) 图片标注方法和装置、存储介质及电子装置
CN110516628A (zh) 货架空缺位置商品信息获取方法、系统、设备及存储介质
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN111951258A (zh) 一种基于边缘计算的货架缺货预警分析系统及方法
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN110428300A (zh) 生鲜商品的价格标注图像处理方法、销售及配送方法
CN111310606A (zh) 多张图片之间重复内容获取方法、系统、设备和介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN109948736A (zh) 商品识别模型主动训练方法、系统、设备及存储介质
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
CN110765825A (zh) 物品摆放状态获取方法和系统
EP4028971A1 (en) Scale and method for the automatic recognition of a product
CN108446693B (zh) 待识别目标的标记方法、系统、设备及存储介质
CN113743382B (zh) 一种货架陈列检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200410

WD01 Invention patent application deemed withdrawn after publication