CN115170781A - 多视角拼接图像目标去重训练方法、装置及智能售货机 - Google Patents

多视角拼接图像目标去重训练方法、装置及智能售货机 Download PDF

Info

Publication number
CN115170781A
CN115170781A CN202210566208.4A CN202210566208A CN115170781A CN 115170781 A CN115170781 A CN 115170781A CN 202210566208 A CN202210566208 A CN 202210566208A CN 115170781 A CN115170781 A CN 115170781A
Authority
CN
China
Prior art keywords
target
image
sample
commodity
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210566208.4A
Other languages
English (en)
Inventor
陈俏锋
黄超群
王浩
张�杰
束学璋
张元熙
郭家龙
邱俊波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yopoint Smart Retail Technology Ltd
Original Assignee
Yopoint Smart Retail Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yopoint Smart Retail Technology Ltd filed Critical Yopoint Smart Retail Technology Ltd
Priority to CN202210566208.4A priority Critical patent/CN115170781A/zh
Publication of CN115170781A publication Critical patent/CN115170781A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，解决了现有技术智能售货机采用多角度拼接视频分析，其存在同一商品重复检出，所导致的产生重复订单的技术问题，提供了一种多视角拼接图像目标去重训练方法、装置及智能售货机。该方法包括:获取商品区域从不同视角的各基础视频进行物理拼接后的目标视频；然后将目标视频的各帧图像进行正样本和负样本标注，得到由拼接后的各帧图像组成的样本集；将各样本输入支持向量机进行训练，得到能够依据拼接后的各帧图像中各目标的位置信息确定是否为同一商品的目标分类器；利用该目标分类器可以对同一帧图像中属于同一商品的多个检测目标进行去重，避免同一商品在同一帧图像中重复检出所产生的重复订单，提高检测的准确性。

Description

多视角拼接图像目标去重训练方法、装置及智能售货机
技术领域
本发明涉及图像分析技术领域，尤其涉及一种多视角拼接图像目标去重训练方法、装置及智能售货机。
背景技术
随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。
然而，现有智能售货机包括全开门智能售货机，全开门智能售货机用户可以在智能售货机柜门打开时，在一次购物中可以进行多次拿放操作，同时可以一次选择多件商品后再进行统一结算，该智能售货机极大方便了用户的购物需求，但是这类智能售货机因为主要依赖购物视频进行商品订单结算，当用户在拿放商品时，商品部分特征会被遮挡，因此容易产生误检，生成异常订单的问题，为了消除商品因遮挡导致误检问题，先提供了一种从多个角度采集购物视频，然后将各购物视频进行拼接后再进行目标检测，从而提高目标检测的准确性；然而，由于拼接后的视频中各帧图像存在同一商品出现在不同位置情况，因此需要对各帧图像中同一商品进行去重，避免同一商品被多次检出，产生重复订单，影响用户体验。
发明内容
有鉴于此，本发明实施例提供了一种多视角拼接图像目标去重训练方法、装置及智能售货机，用以解决现有的智能售货机采用多角度拼接视频分析，其存在同一商品重复检出，所导致的产生重复订单的技术问题。
本发明采用的技术方案是：
本发明提供了一种多视角拼接图像目标去重训练方法，所述方法包括：
S1：获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
S2：将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
S3：将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
优选地，所述S2包括：
S21：将所述目标视频的各帧图像输入目标检测网络进行目标检测，得到各帧图像所有目标的检测结果；
S22：根据各目标的所述检测结果，对各帧图像的各目标进行正样本和/或负样本标注，得到所述样本集。
优选地，所述S3包括：
S31：将所述样本集的各样本依次输入支持向量机；
S32：获取样本中各目标的位置坐标和预设类别，其中，所述预设类别为人工标注的正样本或负样本；
S33：根据各目标的所述位置坐标和对应的所述预设类别，将样本中正样本对应的各所述位置坐标标记为第一类别，将样本中负样本的各所述位置坐标标记为第二类别；
S34：重复S32至S33，直到输出表征商品位置相关性的分类决策函数对应的所述目标分类器。
优选地，所述S33包括：
S331：获取样本中各目标的中心点坐标和预设类别；
S332：对各所述中心点坐标进行归一化处理，得到各目标的所述位置坐标；
S333：根据各目标的所述位置坐标和对应的所述预设类别，利用公式
Figure BDA0003658200850000031
Figure BDA0003658200850000032
计算支持向量的均值，得到所述第一类别和所述第二类别；
其中，K为样本中所有目标对应的支持向量数量，ys为第S个目标对应的支持向量的预设类别，xs为第S个目标的位置坐标。
优选地，所述S332包括：
S3321：获取各样本中各目标的中心点坐标；
S3322：根据所述中心点坐标，利用公式
Figure BDA0003658200850000033
进行归一化处理，得到各目标的所述位置坐标。
优选地，所述S34包括：
S341：获取当前样本中各目标的检测结果；
S342：根据所述检测结果的置信度大小对当前样本检出的各目标进行排序，得到置信度序列；
S343：根据所述置信度序列的置信度大小进行相关性判定，舍弃存在相关性且置信度小的目标，得到当前样本的舍弃存在相关性的目标后保留的所有目标；
S344：重复S341至S343，直到输出表征商品位置相关性的分类决策函数f(x)＝sign(wTx+b)对应的所述目标分类器；
其中，wTx+b为支持向量机算法中的超平面，wT为超平面的斜率，b为偏差，sign为符号函数。
优选地，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S12：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
S13：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到所述目标视频；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
本发明还提供了一种多视角拼接图像目标去重训练装置，所述装置包括：
数据采集模块：用于获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
样本标记模块：用于将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
模型训练模块：用于将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
本发明还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种多视角拼接图像目标去重训练方法、装置及智能售货机，通过智能售货机上多个不同视角的摄像头采集对应商品区域的基础视频，然后将各基础视频的各帧图像进行物理拼接，从而得到目标视频；将目标视频中各帧图像进行正样本和负样本标注，得到样本集；将样本集的各样本输入支持向量机进行训练，得到能够依据拼接后的各帧图像中各目标的位置信息确定是否为同一商品的目标分类器；利用该目标分类器可以对同一帧图像中属于同一商品的多个检测目标进行去重，避免同一商品在同一帧图像中重复检出所产生的重复订单，提高检测的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为实施例1中基于图像拼接去重的订单生成方法的流程示意图；
图2为实施例1中具有多个不同视角摄像头的智能售货机的结构示意图；
图3为实施例1中获取物理拼接的目标视频的流程示意图；
图4为实施例1中获取样本集的流程示意图；
图5为实施例1中获取目标分类器的流程示意图；
图6为实施例2中多视角拼接图像目标去重训练方法的流程示意图；
图7为实施例2中智能售货机的结构示意图；
图1至图7的附图标记：
1、柜体；11、货架；12、商品区；2、柜门；3、摄像头。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施方式一
实施例1
请参见图1，图1为多视角下目标去重的模型训练方法的流程示意图，所述方法包括：
S1：获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
具体的，在智能售货机的不同位置设置有摄像头，从而实现以不同视角获取智能售货机的商品区域的视频数据，其中，商品区域包括智能售货机的货柜内对应的第一区域和商品离开智能售货机的货柜外的第二区域，第二区域的区域大小根据需要自由设定，在用户从智能售货机开始购物的时候，各摄像头从不同角度获取用户拿取或放回商品的基础视频(该基础视频为被拿取或放回商品的直接视频，即视频中包含被拿取或放回的商品)，并将不同摄像头获取的基础视频的各帧图像按采集时序进行物理拼接，得到最终由拼接图像组成的目标视频；其中，同一事件为用户一次购物的全过程。
需要说明的是：物理拼接为将两张图像拼接为一张图像，拼接后的图像为参与拼接的图像尺寸和；同时，不同视频的各帧图像进行物理拼接为：第一视频的第一帧图像、第二视频的第一帧图像…第N视频的第一帧图像进行拼接，第一视频的第二帧图像、第二视频的第二帧图像…第N视频的第二帧图像进行拼接，依次类推，第一视频的第n帧图像、第二视频的第n帧图像…第N视频的第n帧图像进行拼接，得到目标视频。
在一实施例中，请参见图3，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
具体的，智能售货机存在多层货架，将智能售货机放置商品的区域分为多个商品区域，各商品区域包括至少一层货架，摄像头的视角沿货架的排列方向设置，如智能售货机的货架从上至下包括多层货架，将各摄像头分别设置在智能售货机的左右侧壁上，各摄像头的视角为从左上至右下或从右上至左下或从上至下。其中，设置在同一商品区位于不同侧的摄像头，其安装高度相同。
在一具体实施例中，所述S11包括：
第一步：对智能售货机的商品区域沿摄像头从上至下的视角方向分为上商品区和下商品区；
第二步：在所述上商品区的左右两侧和所述下商品区的左右两侧分别设有一摄像头；
其中，左侧的所述摄像头的视角方向为从左上角至右下角，右侧的所述摄像头的视角方向为从右上角至左下角。
具体的，在一优选实施例中，将智能售货机的货架分为上商品区和下商品区，在上下商品区的左右侧壁上均设置有一个摄像头，上商品区的左右摄像头能够采集整个区域的视频数据，下商品区的左右摄像头仅能采集下商品区范围内的视频数据。
需要说明的是：将货架分为上下两个商品区，各商品区分别相对设置一对摄像头，能够保证在一次购物事件中，从上下左右四个方向获取购物的视频数据，提高数据的可靠性；该方式既能节约成本，又能控制目标视频的各帧图像大小，减少数据处理量。
具体的，请参见图2，图2为全开门的智能售货机的结构示意图，智能售货机包括柜体1和柜门2，柜体1和柜门2进行转动连接，且柜门2相对于柜体1处于闭合状态时，柜门2覆盖住柜体1的所有放置商品的商品区，即无法对柜体内的商品进行拿取操作，当柜门2打开时，柜体1中的所有商品均展现在用户面前，用户可以在一次购物中心选择任意商品，同时也可以选择多件商品，既可以对选择的商品进行拿出，也可以对选择后需要放回的商品进行放回，柜体1内设有货架11，货架11可以是将柜体1分为多个商品区12的货架，其中，在柜体1的内部各商品区均设有摄像头，这样可以从过个角度获取用户从智能售货机购物的购物视频，避免单一角度采集的购物视频因为遮挡问题导致购物视频的可靠性不高的问题，图2所示的智能售货机在售货机的内部左侧壁和右侧壁均设有多个摄像头从而可以对同一商品区以相对的视角方向采集购物视频，提高视频数据的可靠性。
S12：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
在一实施例中，所述S12包括：
第一步：获取用于采集视频数据的摄像头的帧率和摄像头数量；
第二步：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；
第三步：根据各所述间隔时间，控制各所述摄像头获取对应的各基础视频。
具体的，用于采集视频数据的各摄像头的帧率相同，如20帧/秒；根据摄像头的数量和帧率来确定各摄像头开始采集视频数据的时间，设各摄像头或各组摄像头之间采集视频数据的开始时间存在时间间隔，其中，优选间隔时间为相邻两帧图像对应的时间差的整数倍，如：包括4个摄像头，各摄像头的开始采集时间均间隔1/4帧率对应的时间，或者将4个摄像头分成两组，各组摄像头开始采集视频数据的间隔时间为1/2帧率对应的时间；从而变相提高图像帧率，保证采集到商品区域更多时刻的图像信息，以便提高检测的准确性。
S13：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到所述目标视频；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
S2：将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
在一实施例中，请参见图4，所述S2包括：
S21：将所述目标视频的各帧图像输入目标检测网络进行目标检测，得到各帧图像所有目标的检测结果；
S22：根据各目标的所述检测结果，对各帧图像的各目标进行正样本和/或负样本标注，得到所述样本集。
具体的，目标视频中的各帧图像均包括多个摄像头拍摄的图像区域，因此，同一件商品可能被多个摄像头拍摄到，因此拼接后的一帧图像中通过目标检测模型在多个位置检出的目标为同一个商品，然后通过人工进行标注，将同一个商品标注为正样本，将不同商品之间标注为负样本，如可乐a在同一帧图像中存在4个位置，则将4个位置的可乐a均标记为类别A，可乐b在该帧图像中存在2个位置，则将两个位置的可乐b均标记为类别B，牛奶d在该帧图像中存在3个位置，则将3个位置的牛奶d均标记为类别C，因此在该帧图像中将类别A记为正样本，则将类别B和类别C记为相对于类别A的负样本，从而得到一个样本，依次类推得到全部由拼接图像构成的样本集。需要说明的是，对同一帧图像的样本标记包括不限于上述方式，将4个位置的可乐a均标记为类别A，将两个位置的可乐b和3个位置的牛奶d均标记为类别X,将类别A记为正样本，则将类别X记为相对于类别A的负样本；然后再次对该帧图像进行标记，将两个位置的可乐b均标记为类别A，将4个位置的可乐a和3个位置的牛奶d均标记为类别X,将类别A记为正样本，则将类别X记为相对于类别A的负样本；然后再次对该帧图像进行标记，将3个位置的牛奶d均标记为类别A，将4个位置的可乐a和两个个位置的可乐b均标记为类别X,将类别A记为正样本，则将类别X记为相对于类别A的负样本；从而该帧图像生成3个样本，依次类推，得到最终的样本集。
S3：将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
在一实施例中，请参见图5，所述S3包括：
S31：将所述样本集的各样本依次输入支持向量机；
S32：获取样本中各目标的位置坐标和预设类别，其中，所述预设类别为人工标注的正样本或负样本；
S33：根据各目标的所述位置坐标和对应的所述预设类别，将样本中正样本对应的各所述位置坐标标记为第一类别，将样本中负样本的各所述位置坐标标记为第二类别；
S34：重复S32至S33，直到输出表征商品位置相关性的分类决策函数对应的所述目标分类器。
具体的，将样本集的各样本依次输入支持向量机进行训练，支持向量机不断的根据各样本中各目标的位置信息和对应的预设类别进行机器学习，通过大量的样本训练，最终得到能够对拼接图像中根据各目标的位置相关性确定是否为同一商品的分类决策函数的目标分类器，完成由多个摄像头采集图像拼接后进行目标检测的去重。
在一实施例中，所述S33包括：
S331：获取样本中各目标的中心点坐标和预设类别；
S332：对各所述中心点坐标进行归一化处理，得到各目标的所述位置坐标；
在一实施例中，所述S332包括：
S3321：获取各样本中各目标的中心点坐标；
S3322：根据所述中心点坐标，利用公式
Figure BDA0003658200850000121
进行归一化处理，得到各目标的所述位置坐标。
S333：根据各目标的所述位置坐标和对应的所述预设类别，利用公式
Figure BDA0003658200850000122
Figure BDA0003658200850000123
计算支持向量的均值，得到所述第一类别和所述第二类别；
其中，K为样本中所有目标对应的支持向量数量，ys为第S个目标对应的支持向量的预设类别，xs为第S个目标的位置坐标。
具体的，对各帧图像中各目标的坐标进行归一化处理，然后将完成坐标归一化处理的样本输入支持向量机进行训练，将不同目标表征同一商品的坐标对应的目标记为0，即第一类别，将不属于同一商品的坐标对应的目标记为1，即第二类别，经过大量的样本训练，最终得到目标分类器。
在一实施例中，所述S34包括：
S341：获取当前样本中各目标的检测结果；
S342：根据所述检测结果的置信度大小对当前样本检出的各目标进行排序，得到置信度序列；
S343：根据所述置信度序列的置信度大小进行相关性判定，舍弃存在相关性且置信度小的目标，得到当前样本的舍弃存在相关性的目标后保留的所有目标；
S344：重复S341至S343，直到输出表征商品位置相关性的分类决策函数f(x)＝sign(wTx+b)对应的所述目标分类器；
其中，wTx+b为支持向量机算法中的超平面，wT为超平面的斜率，b为偏差，sign为符号函数。
具体的，通过输入大量的样本到支持向量机，从而得到分类决策函数f(x)＝sign(wTx+b)对应的目标分类器，该分类决策函数可以根据检测出目标的位置信息确定目标之间点的相关性，从而确定是否为同一个商品，完成每一帧图像中商品的去重，同一个商品保留一个置信度符合要求的目标作为该帧图像的检出目标，可以提高每一帧图像检出目标的准确性。
采用本实施例的多视角拼接图像目标去重训练方法，通过智能售货机上多个不同视角的摄像头采集对应商品区域的基础视频，然后将各基础视频的各帧图像进行物理拼接，从而得到目标视频；将目标视频中各帧图像进行正样本和负样本标注，得到样本集；将样本集的各样本输入支持向量机进行训练，得到能够依据拼接后的各帧图像中各目标的位置信息确定是否为同一商品的目标分类器；利用该目标分类器可以对同一帧图像中属于同一商品的多个检测目标进行去重，避免同一商品在同一帧图像中重复检出所产生的重复订单，提高检测的准确性。
实施例2
本发明实施例2基于实施例1的方法对应还提供了一种多视角拼接图像目标去重训练装置，请参见图6，包括：
数据采集模块：用于获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
样本标记模块：用于将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
模型训练模块：用于将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
采用本实施例的多视角拼接图像目标去重训练装置，通过智能售货机上多个不同视角的摄像头采集对应商品区域的基础视频，然后将各基础视频的各帧图像进行物理拼接，从而得到目标视频；将目标视频中各帧图像进行正样本和负样本标注，得到样本集；将样本集的各样本输入支持向量机进行训练，得到能够依据拼接后的各帧图像中各目标的位置信息确定是否为同一商品的目标分类器；利用该目标分类器可以对同一帧图像中属于同一商品的多个检测目标进行去重，避免同一商品在同一帧图像中重复检出所产生的重复订单，避免同一商品在同一帧图像中重复检出所产生的重复订单，提高检测的准确性。
实施例3
本发明提供了一种智能售货机设备和存储介质，如图7所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路，智能售货机为商品区位置设置有能覆盖全部商品区的柜门，该柜门为可开启和关闭的活动柜门，同时该智能售货机还包括设有摄像头、二维码、条形码等便于购物的识别设备。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种多视角图像分析的订单生成方法、基于图像拼接去重的订单生成方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种多视角拼接图像目标去重训练方法、装置、智能售货机及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多视角拼接图像目标去重训练方法，其特征在于，所述方法包括：
S1：获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
S2：将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
S3：将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
2.根据权利要求1所述的多视角拼接图像目标去重训练方法，其特征在于，所述S2包括：
S21：将所述目标视频的各帧图像输入目标检测网络进行目标检测，得到各帧图像所有目标的检测结果；
S22：根据各目标的所述检测结果，对各帧图像的各目标进行正样本和/或负样本标注，得到所述样本集。
3.根据权利要求1所述的多视角拼接图像目标去重训练方法，其特征在于，所述S3包括：
S31：将所述样本集的各样本依次输入支持向量机；
S32：获取样本中各目标的位置坐标和预设类别，其中，所述预设类别为人工标注的正样本或负样本；
S33：根据各目标的所述位置坐标和对应的所述预设类别，将样本中正样本对应的各所述位置坐标标记为第一类别，将样本中负样本的各所述位置坐标标记为第二类别；
S34：重复S32至S33，直到输出表征商品位置相关性的分类决策函数对应的所述目标分类器。
4.根据权利要求3所述的多视角拼接图像目标去重训练方法，其特征在于，所述S33包括：
S331：获取样本中各目标的中心点坐标和预设类别；
S332：对各所述中心点坐标进行归一化处理，得到各目标的所述位置坐标；
S333：根据各目标的所述位置坐标和对应的所述预设类别，利用公式
Figure FDA0003658200840000021
Figure FDA0003658200840000022
计算支持向量的均值，得到所述第一类别和所述第二类别；
其中，K为样本中所有目标对应的支持向量数量，ys为第S个目标对应的支持向量的预设类别，xs为第S个目标的位置坐标。
5.根据权利要求4所述的多视角拼接图像目标去重训练方法，其特征在于，所述S332包括：
S3321：获取各样本中各目标的中心点坐标；
S3322：根据所述中心点坐标，利用公式
Figure FDA0003658200840000023
进行归一化处理，得到各目标的所述位置坐标。
6.根据权利要求3所述的多视角拼接图像目标去重训练方法，其特征在于，所述S34包括：
S341：获取当前样本中各目标的检测结果；
S342：根据所述检测结果的置信度大小对当前样本检出的各目标进行排序，得到置信度序列；
S343：根据所述置信度序列的置信度大小进行相关性判定，舍弃存在相关性且置信度小的目标，得到当前样本的舍弃存在相关性的目标后保留的所有目标；
S344：重复S341至S343，直到输出表征商品位置相关性的分类决策函数f(x)＝sign(wTx+b)对应的所述目标分类器；
其中，wTx+b为支持向量机算法中的超平面，wT为超平面的斜率，b为偏差，sign为符号函数。
7.根据权利要求1至6任一项所述的多视角拼接图像目标去重训练方法，其特征在于，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S12：获取在各商品区相向设置的各摄像头采集的视角范围内的基础视频；
S13：对各所述基础视频的各帧图像按采集时序相对应的各帧图像一一进行物理拼接，得到所述目标视频；
其中，所述物理拼接为拼接后的图像为参与拼接的所有图像的尺寸和。
8.一种多视角拼接图像目标去重训练装置，其特征在于，所述装置包括：
数据采集模块：用于获取商品区域的目标视频，其中，所述目标视频由若干基础视频对应的各帧图像进行物理拼接后得到的视频流构成，每一所述基础视频是以一视角采集所述商品区域发生的同一事件的图像组成，各个基础视频对应采集同一所述事件的视角不同；
样本标记模块：用于将所述目标视频的各帧图像进行正样本和负样本标注，得到用于模型训练的样本集，其中，同一帧图像中表示同一商品的目标标记为正样本，同一帧图像中表示不同商品的目标标记为负样本；
模型训练模块：用于将所述样本集输入支持向量机中进行训练，得到同一商品去重的目标分类器。
9.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210566208.4A 2022-05-24 2022-05-24 多视角拼接图像目标去重训练方法、装置及智能售货机 Pending CN115170781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566208.4A CN115170781A (zh) 2022-05-24 2022-05-24 多视角拼接图像目标去重训练方法、装置及智能售货机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566208.4A CN115170781A (zh) 2022-05-24 2022-05-24 多视角拼接图像目标去重训练方法、装置及智能售货机

Publications (1)

Publication Number Publication Date
CN115170781A true CN115170781A (zh) 2022-10-11

Family

ID=83482833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566208.4A Pending CN115170781A (zh) 2022-05-24 2022-05-24 多视角拼接图像目标去重训练方法、装置及智能售货机

Country Status (1)

Country Link
CN (1) CN115170781A (zh)

Similar Documents

Publication Publication Date Title
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
CN109754009B (zh) 物品识别方法、装置、售货系统和存储介质
CN113780248B (zh) 多视角识别商品智能生成订单方法、装置及智能售货机
CN108345912A (zh) 一种基于rgbd信息与深度学习的商品快速结算系统
WO2020107951A1 (zh) 一种基于图像的商品结算方法、装置、介质及电子设备
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
WO2021179137A1 (zh) 结算方法、装置和系统
CN113763136B (zh) 基于商品区重量变化对视频分段处理的智能生成订单方法
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互系统
US20190147226A1 (en) Method, system and apparatus for matching a person in a first image to a person in a second image
WO2020259416A1 (zh) 图像采集控制方法、装置、电子设备及存储介质
US11748787B2 (en) Analysis method and system for the item on the supermarket shelf
CN111429194B (zh) 用户轨迹确定系统、方法、装置及服务器
CN109743497B (zh) 一种数据集采集方法、系统及电子装置
CN111126384A (zh) 基于特征融合的商品分类系统及分类方法
CN113723384B (zh) 多视角采集图像后融合的智能生成订单方法及智能售货机
CN111260685A (zh) 视频处理方法、装置及电子设备
CN115170999A (zh) 基于商品重量组合进行图像分析的智能生成订单方法
CN115170781A (zh) 多视角拼接图像目标去重训练方法、装置及智能售货机
CN113723383B (zh) 异视角同步识别同区域商品的订单生成方法及智能售货机
CN116188538A (zh) 一种多摄像头的行为轨迹跟踪方法
CN111461104A (zh) 视觉识别方法、装置、设备及存储介质
CN114640797B (zh) 同步优化商品轨迹的订单生成方法、装置及智能售货机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination