CN113723384B - 多视角采集图像后融合的智能生成订单方法及智能售货机 - Google Patents

多视角采集图像后融合的智能生成订单方法及智能售货机 Download PDF

Info

Publication number
CN113723384B
CN113723384B CN202111291693.0A CN202111291693A CN113723384B CN 113723384 B CN113723384 B CN 113723384B CN 202111291693 A CN202111291693 A CN 202111291693A CN 113723384 B CN113723384 B CN 113723384B
Authority
CN
China
Prior art keywords
commodity
video
target
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111291693.0A
Other languages
English (en)
Other versions
CN113723384A (zh
Inventor
陈俏锋
黄超群
邱俊波
王浩
张�杰
束学璋
张元熙
郭家龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yopoint Smart Retail Technology Ltd
Original Assignee
武汉星巡智能科技有限公司
深圳友朋智能商业科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 武汉星巡智能科技有限公司, 深圳友朋智能商业科技有限公司 filed Critical 武汉星巡智能科技有限公司
Priority to CN202210276704.6A priority Critical patent/CN114648715A/zh
Priority to CN202111291693.0A priority patent/CN113723384B/zh
Publication of CN113723384A publication Critical patent/CN113723384A/zh
Application granted granted Critical
Publication of CN113723384B publication Critical patent/CN113723384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本发明属于图像处理技术领域，解决了现有技术智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题，提供了一种多视角采集图像后融合的智能生成订单方法及智能售货机。该方法包括：获取商品区域的第一主视频和与第一主视频视角不同的第二主视频；将第一主视频和第二主视频的各帧图像进行合并，得到目标视频；对目标视频的各帧图像进行图像分析，得到用于生成商品订单信息的各目标商品，从而得到最终的商品订单信息。本发明还包括用于执行上述方法的装置及智能售货机。本发明可以通过从不同视角获取购物视频，避免商品被遮挡影响检测准确性，避免异常订单产生。

Description

多视角采集图像后融合的智能生成订单方法及智能售货机
技术领域
本发明涉及图像分析技术领域，尤其涉及一种多视角采集图像后融合的智能生成订单方法及智能售货机。
背景技术
随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。
然而，现有智能售货机包括全开门智能售货机和通过按键下单的智能售货机，其中，全开门智能售货机用户可以在智能售货机柜门打开时，在一次购物中可以进行多次拿放操作，同时可以一次选择多件商品后再进行统一结算，该智能售货机极大方便了用户的购物需求，但是这类智能售货机因为主要依赖购物视频进行商品订单结算，当用户在拿放商品时，商品部分特征会被遮挡，因此容易产生误检，生成异常订单的问题；另一类通过按键下单的智能售货机在用户需要购物时，需要事先确定自己需要购买的所有商品，然后购买一件进行一次结算后再进行第二件购买及结算，经过多次下单和结算才能完成所有购物，且不能回退商品，因此存在操作繁琐的问题。
发明内容
有鉴于此，本发明实施例提供了一种多视角采集图像后融合的智能生成订单方法、装置及智能售货机，用以解决现有的智能售货机存在操作繁琐或异常订单，所导致的用户体验效果不佳技术问题。
本发明采用的技术方案是：
本发明提供了一种多视角采集图像后融合的智能生成订单方法，所述方法包括：
S10：获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
S11：将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
S12：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
S13：根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。
优选地，所述S11包括：
S111：获取所述第一主摄像头开始采集所述第一主视频对应的第一起始时刻和所述第二主摄像头开始采集所述第二主视频对应的不同于所述第一起始时刻的第二起始时刻；
S112：根据所述第一起始时刻和所述第二起始时刻，将在预设时间内采集得到的所述第一主视频的各帧图像与所述第二主视频中时序相对应的各帧图像进行一一合并，生成所述目标视频；
其中，所述第一起始时刻和所述第二起始时刻的时间间隔小于摄像头帧率对应的相邻两帧图像的时间间隔。
优选地，所述S12包括：
S121：将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；
S122：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；
S123：对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；
其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度。
优选地，所述S122包括：
S1221：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到各帧图像中与所述第一图像区域对应的各商品的类别和置信度，以及各帧图像中与所述第二图像区域对应的各商品的类别和置信度；
S1222：根据分别在所述第一图像区域和所述第二图像区域内检出的各商品的置信度，得到与所有帧图像在所述第一图像区域内检出的所有商品中与各类商品一一对应的各第一置信度平均值和与在所述第二图像区域内检出的所有商品中与各类商品一一对应的各第二置信度平均值；
S1223：根据在所述第一图像区域和所述第二图像区域内检出的各商品的类别，得到与各帧图像在所述第一图像区域内检出的所有商品对应的各第一商品信息，以及与各帧图像在所述第二图像区域内检出的所有商品对应的各第二商品信息；
S1224：根据各所述第一商品信息和与各所述第一商品信息一一对应的各所述第一置信度平均值，得到所述第一检测结果，根据各所述第二商品信息和与各所述第二商品信息一一对应的各所述第二置信度平均值，得到所述第二检测结果。
优选地，所述S1222包括：
S12221：获取商品进行有效检出次数统计对应的检出次数阈值；
S12222：将各类别的商品对应的检出次数与所述检出次数阈值对比，将符合要求的商品的各置信度计算平均值，得到各所述第一商品置信度平均值和各所述第二商品置信度平均值。
优选地，所述S13包括：
S131：获取用于生成有效订单的商品的目标置信度阈值；
S132：将所述第一检测结果包含的各商品类别及商品数量与所述第二检测结果包含的各商品类别及商品数量分别进行对比，若所述第一检测结果和所述第二检测结果的商品类别相同，则输出所述第一检测结果和所述第二检测结果中各类商品的置信度高的商品作为目标商品，否则，生成异常订单；
S133：将所述目标商品对应的置信度与所述目标置信度阈值对比，若符合要求，则生成各所述目标商品对应的所述商品订单信息，否则，生成异常订单；
其中，若为异常订单，则输出异常订单信息并同时输出所述第一主视频和/或所述第二主视频和/或所述目标视频。
优选地，所述第一检测区域和所述第二检测区域均覆盖全部商品区域，所述第一主摄像头的视角方向与所述第二主摄像头的视角方向相对。
优选地，在所述S10之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头关闭。
本发明还提供了一种多视角采集图像后融合的智能生成订单装置，所述装置包括：
视频获取模块：用于获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
视频合成模块：用于将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
图像分析模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
订单生成模块：用于根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。
本发明还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种多视角采集图像后融合的智能生成订单方法及智能售货机，通过在智能售货机上设置以不同视角获取同一商品区域的视频数据的第一主摄像头和第二主摄像头，然后对第一主摄像头获取的第一主视频和第二主摄像头获取的第二主视频进行合并，对合并后的目标视频进行目标检测，得到与第一主视频对应的第一检测结果和与第二主视频对应的第二检测结果，结合第一检测结果和第二检测结果确定商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为实施例1中多视角采集图像后融合的智能生成订单方法的流程示意图；
图2为实施例1中具有多个不同视角摄像头的智能售货机的结构示意图；
图3为实施例2中多视角采集图像后合并的智能生成订单方法的流程示意图；
图4为实施例3中多视角采集图像后融合的智能生成订单装置的流程示意图；
图5为实施例4中多视角采集图像后合并的智能生成订单装置的流程示意图；
图6为实施例5中包含智能售货机的自动结算系统的结构示意图；
图7为实施例6中智能售货机的结构示意图；
图1至图7的附图标记：
1、柜体；11、隔板； 12、商品区； 2、柜门； 3、摄像头。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
现有全开门智能售货机因为具有传统售货机的便于一次选购多件商品、一次购物中多次更换商品，同时，能够在用户完成一次复杂购物过程中快速生成订单，通过自主结算方式快速结算，相较于现有的通过一次扫码仅能购买一件商品，且购买后无法重新选择，全开门智能售货机具有操作简单，用户购物自主选择性更强的优点；然而因为全开门智能售货机在一次购物中，用户可以购买多件商品，同时可以多次进行商品的上架和下架，从而因为遮挡问题会导致大量商品在上架或下架过程中，由于遮挡位置不同，导致同一商品前后检出不同结果，造成异常订单影响用户体验效果和商家信誉。
本发明是基于从多个角度获取用户从智能售货机购物的购物视频进行可行性研究，通过在智能售货机的商品区设置从不同方向对商品区进行实时监控的摄像头，结合多个摄像头拍摄的购物视频，然后通过画面拼接、对比分析等方式，得到用户购物的订单信息，然后通过服务器进行自动结算，提高用户的购物体验，同时减少人工结算流程。
具体的，请参见图2，图2为全开门的智能售货机的结构示意图，智能售货机包括柜体1和柜门2，柜体1和柜门2进行转动连接，且柜门2相对于柜体1处于闭合状态时，柜门2覆盖住柜体1的所有放置商品的商品区，即无法对柜体内的商品进行拿取操作，当柜门2打开时，柜体1中的所有商品均展现在用户面前，用户可以在一次购物中心选择任意商品，同时也可以选择多件商品，既可以对选择的商品进行拿出，也可以对选择后需要放回的商品进行放回，柜体1内设有隔板11，隔板11可以是将柜体1分为多个商品区12的搁物架，其中，在柜体1的内部各商品区均设有摄像头，这样可以从过个角度获取用户从智能售货机购物的购物视频，避免单一角度采集的购物视频因为遮挡问题导致购物视频的可靠性不高的问题，图2所示的智能售货机在售货机的内部左侧壁和右侧壁均设有多个摄像头从而可以对同一商品区以相对的视角方向采集购物视频，提高视频数据的可靠性。
请参见图1，图1为本发明实施例1中多视角采集图像后融合的智能生成订单方法的流程示意图，所述方法包括：
S10：获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
具体的，在智能售货机上设有多个摄像头，将多个摄像头分为两组摄像头，记为第一组摄像头和第二组摄像头，第一组摄像头包括第一主摄像头，第一组摄像头还可以包括其他第一子摄像头，第二组摄像头包括第二主摄像头，第二组摄像头还可以包括其他第二子摄像头，当仅包含第一主摄像头和第二主摄像头时，将第一主摄像头和第二主摄像头安装在所有放置商品的隔板中最上层隔板对应的空间内，具体为安装在智能售货机的柜体内的左侧板和右侧板上，且位于最上层隔板以上的区域，从而使得第一主摄像头和第二主摄像头均能拍摄到从智能售货机的所有区域拿出商品的视频；第一主摄像头和第二主摄像头的视角范围可以相同也可以不同，但是，第一主摄像头和第二主摄像头的视角范围能够把所有商品区域覆盖；因此，在一优选实施例中，将第一主摄像头设置在柜体内的左侧壁上，将第二主摄像头设置在柜体内的右侧壁上，从而实现第一主摄像头从左边拍摄商品区域的视频，第二主摄像头从右边拍摄商品区域的视频，从而得到第一主摄像头在第一视角从左边采集商品区域的第一主视频和第二主摄像头在第二视角从右边采集商品区域的第二主视频，通过从不同视角获取商品区域的视频，在用户那商品导致商品部分特征被遮挡的情况下可以从其他视角方向获得商品更多特征，从而提高目标检测的准确性；需要说明的是：第一主视频和第二主视频的视频帧率相同。
S11：将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
具体的，将第一主视频的各帧图像和第二主视频的各帧图像按采集时序进行一一合并，从而得到一个目标视频，其中，第一主视频和第二主视频的各帧图像合并方式包括不限于：以同一拍摄时刻对应的第一主视频的图像帧与第二主视频对应的图像帧进行合并，以及拍摄时刻错位对应的第一主视频的图像帧与第二主视频对应的同一帧数的图像帧进行合并，具体为将第一主视频的第一帧图像与第二主视频的第一帧图像进行合并，具体为将第一主视频的第二帧图像与第二主视频的第二帧图像进行合并，以此类推，具体为将第一主视频的第N帧图像与第二主视频的第N帧图像进行合并，得到由合并图像组成的目标视频；如：第一主视频的开始拍摄的起始时刻先于第二主视频的开始拍摄的起始时刻，需要说明的是：第一主视频的开始拍摄的起始时刻与第二主视频的开始拍摄的起始时刻之间的时间间隔小于相邻两帧图像的间隔时间，如间隔时间为相邻两帧图像间隔时间的1/2、1/3、1/4等，然后将第一主视频的图像帧与第二主视频的各图像帧按拍摄先后顺序进行合并，可以在既定帧率下对应的拍摄时间间隔得到更多时刻的图像，丰富样本数量，提高检测的准确性；需要说明的是：因为视频的帧率是与人眼反应相关联的，如果帧率过低或导致出现画面不连续，如果帧率过高会导致眼睛反应不过来，造成眼睛不适，所以一个摄像头在采集视频的时候会设置一个符合要求的帧率，一般为20帧/秒~30帧/秒；以20帧/秒为例，相邻两帧图像间各0.05s;即0.05秒只有收尾两帧帧图像，采用错位拍摄，可以使得在0.05s类得到跟多时刻的图像帧，提高有效的图像帧数量，同时不会造成眼睛不适。
在一实施例中，所述S11包括：
S111：获取所述第一主摄像头开始采集所述第一主视频对应的第一起始时刻和所述第二主摄像头开始采集所述第二主视频对应的不同于所述第一起始时刻的第二起始时刻；
S112：根据所述第一起始时刻和所述第二起始时刻，将在预设时间内采集得到的所述第一主视频的各帧图像与所述第二主视频中时序相对应的各帧图像进行一一合并，生成所述目标视频；
其中，所述第一起始时刻和所述第二起始时刻的时间间隔小于摄像头帧率对应的相邻两帧图像的时间间隔。
具体的，对第一主摄像头和第二主摄像头开始采集商品区域视频数据设置不同的起始时刻，设置第一主摄像头的起始时刻为第一起始时刻，设置第二主摄像头开始拍摄的起始时刻为第二起始时刻，第一起始时刻和第二起始时刻的时间差小于摄像头采集视频数据对应的相邻两帧的间隔时间；然后对第一主视频和第二主视频的各帧图像按采集时序进行一一合并，得到目标视频，具体合并方式此处不再赘述。
S12：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
具体的，利用预置的目标检测模型对合成后的目标视频的各帧图像进行检测，从而确定从智能售货机拿出的目标商品和从智能售货机拿出后又放回的目标商品的商品信息，目标检测模型是由大量以不同角度拿取商品、以不同握持方式握持商品和不同速度拿取商品对应的视频的各帧图像，并对各帧图像进行人工标记，得到的样本集，然后利用该样本集对对模型进行训练，从而得到该目标检测模型。
在一实施例中，所述S12包括：
S121：将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；
具体的，将目标视频中的各帧图像进行分区，将属于第一主视频的图像区域记为第一图像区域，将属于第二主视频的图像区域记为第二图像区域，从而便于对各帧图像的检出结果进行统计，避免检出结果混淆。
S122：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；
具体的，将各帧图像的第一图像区域的检出结果进行分析，得到目标视频中属于第一主视频的第一检测结果和属于第二主视频的第二检测结果，检测结果包括各商品的类别，以及各商品的置信度，该置信度可以是检出的各目标对应的检测结果中的置信度，也可以是，所有检出目标中，根据检出结果的类别信息给各检出目标归类后，每一类商品中由各目标的置信度计算得到的与个类商品对应的平均置信度；如目标视频的所有帧图像的检出结果包括商品A检出3次，商品B检出5次，商品C检出4次，则商品A对应的平均置信度为每一次检出商品A的置信度求平均值，同理，得到商品B和商品C的置信度平均值。
在一实施例中，所述S122包括：
S1221：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到各帧图像中与所述第一图像区域对应的各商品的类别和置信度，以及各帧图像中与所述第二图像区域对应的各商品的类别和置信度；
S1222：根据分别在所述第一图像区域和所述第二图像区域内检出的各商品的置信度，得到与所有帧图像在所述第一图像区域内检出的所有商品中与各类商品一一对应的各第一置信度平均值和与在所述第二图像区域内检出的所有商品中与各类商品一一对应的各第二置信度平均值；
具体的，每一帧图像均存在第一图像区域和第二图像区域，分别对在第一图像区域和第二图像区域检测出的各类商品对应的所有目标的置信度计算出对应商品类别的置信度平均值，将第一图像区域的各类商品的置信度平均值记为第一置信度平均值，将第二图像区域的各类商品的置信度平均值记为第二置信度平均值，如目标视频包括N帧图像，在第一图像区域识别到3个目标，分别为商品A、商品B和商品C，其中，商品A的共检测出5次，记为A1、A2、A3、A4和A5，各置信度分别为0.6、0.7、0.7、0.75和0.75，则在第一图像区域商品A的第一平均置信度为0.7，同理，商品B和商品C根据各自检出次数和对应的置信度，得到各类商品的置信度平均值；采用同样方法，得到第二图像区域的各类商品的第二平均置信度。
在一实施例中，所述S1222包括：
S12221：获取商品进行有效检出次数统计对应的检出次数阈值；
具体的，采用对视频的各帧进行检测，根据各帧的检出结果确定本次订单的目标商品，对同一商品在不同图像帧中被检出设置对应的检出次数阈值，若大于等于阈值则认为该商品为真，若小于阈值则认为该商品为异常，需要后台人工审核。
S12222：将各类别的商品对应的检出次数与所述检出次数阈值对比，将符合要求的商品的各置信度计算平均值，得到各所述第一商品置信度平均值和各所述第二商品置信度平均值。
具体的，当设置检出次数阈值为检出次数达到目标视频包含的图像帧总数的80%，以目标视频包含20帧图像为例，检出次数阈值为16次，当商品A共在10帧图像中检测到，因此不对商品A计算平均置信度，若商品B共在18帧图像检测到，则根据每次检测到的置信度计算商品B的平均置信度，可以避免应角度问题因此的商品被误检，提高检出结果的准确性。
S1223：根据在所述第一图像区域和所述第二图像区域内检出的各商品的类别，得到与各帧图像在所述第一图像区域内检出的所有商品对应的各第一商品信息，以及与各帧图像在所述第二图像区域内检出的所有商品对应的各第二商品信息；
具体的，对在各帧图像中检测出的商品的类别按第一图像区域和第二图像区域进行分别统计，从而得到目标视频在第一图像区域对应的各第一商品信息和在第二图像区域对应的各第二商品信息。
S1224：根据各所述第一商品信息和与各所述第一商品信息一一对应的各所述第一置信度平均值，得到所述第一检测结果，根据各所述第二商品信息和与各所述第二商品信息一一对应的各所述第二置信度平均值，得到所述第二检测结果。
具体的，将各所述第一商品置信度平均值和各所述第二商品置信度平均值分别与置信度阈值对比，且按第一图像区域和第二图像区域进行分类，将符合要求的各所述第一商品置信度平均值对应的各商品作为所述第一检测结果，将符合要求的各所述第二商品置信度平均值对应的各商品作为所述第二检测结果。
S123：对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；
其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度。
具体的，第一检测结果和第二检测结果为多帧图像的检测结果的统计，若第一检测结果和第二检测结果中商品类别相同，且检测结果中目标商品的置信度符合要求，则得到用于生成订单信息的目标商品，若第一检测结果和第二检测结果不相同，则以检测结果中商品数量、类别多的检测结果中的各商品作为目标商品（因为角度问题，会存在遮挡，导致检测过程中，某些商品在特定角度下检测结果不符合要求未被统计，因此采用数量多符合要求的检测结果），若置信度不符合要求，则认为是异常订单，由人工审核目标视频，得到用于生成订单信息的目标商品。因为为连续帧检测，若第一检测结果和第二检测结果存在商品类别和/或数量不一致，则认为未在一检测结果出现的商品，确实属于该摄像头的盲区，而直接采用检测出的检测结果作为生成订单信息的基础，有效避免单一摄像头盲区造成的漏检，提高订单的准确性。
S13：根据各目标商品的商品信息，生成商品订单信息。
具体的，在得到各目标商品的类别后，遍历商品数据库，确定商品价格，从而生成商品订单信息，用户可以在终端进行付费，终端包括传统收银台或第三方App软件。
在一实施例中，所述S13包括：
S131：获取用于生成有效订单的商品的目标置信度阈值；
S132：将所述第一检测结果包含的各商品类别及商品数量与所述第二检测结果包含的各商品类别及商品数量分别进行对比，如所述第一检测结果和所述第二检测结果的商品类别相同，则输出所述第一检测结果和所述第二检测结果中各类商品的置信度高的商品作为目标商品，否则，生成异常订单；
S133：将所述目标商品对应的置信度与所述目标置信度阈值对比，若符合要求，则生成各所述目标商品对应的所述商品订单信息，否则，生成异常订单；
其中，若为异常订单，则输出异常订单信息并同时输出所述第一主视频和/或所述第二主视频和/或所述目标视频。
具体的，当认为当前检测结果对应的目标商品存在异常，则需要人工审核，此时可以针对第一主视频和/或所述第二主视频和/或所述目标视频进行审核，确保订单的准确性，提高用户体验。
在一实施例中，所述第一主摄像头对应的第一检测区域包含所述第二主摄像头对应的第二检测区域。
在一实施例中，所述第一检测区域和所述第二检测区域均覆盖全部商品区域，所述第一主摄像头的视角方向与所述第二主摄像头的视角方向相向设置。
具体的，第一主摄像头和第二主摄像头的检测区域是存在包含关系，即第一检测区域和第二检测区域相同，或者一检测区域属于另一检测区域的检测范围内，同时，第一主摄像头和第二主摄像头的视角不同，如第一主摄像头为从左向右，第二主摄像头为从右向左，需要说明的是，第一主摄像头和第二主摄像头设置在同一商品区，如智能售货机存在上中下三个商品区，若第一主摄像头安装在上商品区，则第二主摄像头也应安装在上商品区，同理，若第一主摄像头安装在中商品区，则第二主摄像头也应安装在中商品区，若第一主摄像头安装在下商品区，则第二主摄像头也应安装在下商品区，避免在不同阶段由分区隔板造成的商品遮挡，提高检测准确性。
在一实施例中，在所述S10之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
具体的，在智能售货机上还设有第三摄像头，第三摄像头用于检测智能售货机是否开启或关闭，第三摄像头可以是实时开启，也可以是用户在进行购物请求后开启。
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头关闭。
具体的，当用户进行自动购物时，对售货机状态视频的各帧图像进行分析，确定售货机柜门的状态，当检测到售货机柜门开启，则开启第一主摄像头和第二主摄像头获取商品区域的视频数据，得到第一主视频和第二主视频；当检测到售货机柜门关闭，则关闭第一主摄像头和第二主摄像头。
采用本实施例的多视角采集图像后融合的智能生成订单方法，通过在智能售货机上设置以不同视角获取同一商品区域的视频数据的第一主摄像头和第二主摄像头，然后对第一主摄像头获取的第一主视频和第二主摄像头获取的第二主视频进行合并，对合并后的目标视频进行目标检测，得到与第一主视频对应的第一检测结果和与第二主视频对应的第二检测结果，结合第一检测结果和第二检测结果确定商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。
实施例2
在实施例1中，通过对智能售货机的商品区域设置视角不同的第一主摄像头和第二主摄像头，然而不同商品区域的商品在各帧图像中的成像位置不同，常常导致针对近似度高的商品存在误检或混检的现象，影响检测准确性。因此本发明实施例2在实施例1的基础上对智能售货机自动生成订单信息的方法进行了进一步改进；请参见图3，所述方法包括：
S20：获取第一主摄像头采集商品区域得到的第一主视频和第二主摄像头采集商品区域得到的第二主视频，以及至少一个第一子摄像头采集商品区域得到的第一子视频和至少一个第二子摄像头采集商品区域得到的第二子视频；
在一实施例中，所述S20包括：
S201：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S202：控制各商品区对应的摄像头采集对应商品区的视频数据，得到第一主摄像头采集的所述第一主视频和所述第二主摄像头采集的所述第二主视频，以及至少一个所述第一子摄像头采集的所述第一子视频和至少一个所述第二子摄像头采集的所述第二子视频。
具体的，智能售货机存在多层货架，因此智能售货机分为多个商品区域，各商品区域包括至少一层货架，在各商品区相向设有第一主摄像头和第二主摄像头，或相向设有第一子摄像头和第二子摄像头；便于理解，将最顶层商品区左边设置的摄像头记为第一主摄像头和右边设置的记为第二主摄像头，将非顶层商品区左侧设置的摄像头记为第一子摄像头和右侧设置的摄像头记为第二子摄像头，如将智能售货机的商品区分为上中下三个商品区，在顶部相对设有第一主摄像头和第二主摄像头，第一主摄像头的视角方向为从左往右，第二主摄像头的视角方向为从右往左，在中件商品区和下边商品区的左侧设有第一子摄像头，右侧设有第二子摄像头；当用户开始通过智能售货机购买商品时，控制各摄像头采集商品区的视频数据，得到第一主视频、第二主视频、各第一子视频和各第二子视频。
在一实施例中，所述S20包括：
S203：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；
S204：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；
S205：根据所述间隔时间，分别得到所述第一主摄像头、所述第二主摄像头、各所述第一子摄像头和各所述第二子摄像头开始采集视频数据的起始时刻；
S206：根据各所述起始时刻，控制对应的摄像头采集商品区域的视频数据，得到所述第一主视频、所述第二主视频、各所述第一子视频和各所述第二子视频。
具体的，用于采集视频数据的各摄像头的帧率相同，如20帧/秒；根据摄像头的数量和帧率来确定各摄像头开始采集视频数据的起始时刻，设各摄像头或各组摄像头之间采集视频数据的起始时刻存在时间间隔，其中，优选间隔时间为相邻两帧图像对应的时间差的整数倍，如：包括4个摄像头，各摄像头的开始采集时间均间隔1/4帧率对应的时间，或者将4个摄像头分成两组，各组摄像头开始采集视频数据的间隔时间为1/2帧率对应的时间；从而变相提高图像帧率，保证采集到商品区域更多时刻的图像信息，以便提高检测的准确性。S21：以所述第一子视频的商品区域覆盖所述第一主视频中与所述第一子视频相同的图像区域，得到第一目标视频，以所述第二子视频对应的商品区域覆盖所述第二主视频中与所述第二子视频相同的图像区域，得到第二目标视频；
具体的，因为第一主摄像头和第二主摄像头设置在最顶层商品区，因此非最顶层商品区内若无遮挡，该商品区的画面也能被第一主摄像头和第二主摄像头采集到因此，第一主视频中各帧图像包含各第一子视频中各帧图像的图像区域，将第一主视频中各帧图像对应的非顶层商品区的图像区域替换为各第一子视频中对应的各帧图像，从而得到第一目标视频，采用相同的方式得到第二目标视频，第一目标视频和第二目标视频的各帧图像中各商品区域对应的画面中，商品的成像更清晰，提高检测的准确性。
在一实施例中，所述S21包括：
S211：获取发生商品变动对应的目标商品区域；
S212：根据所述目标商品区域的位置信息，确定包含所述目标商品区域的所述第一子视频和所述第二子视频；
具体的，当用户从智能售货机拿商品或放商品时，确定商品拿出或放进的位置，具体为商品放入或拿出所在的商品区域，然后确定该区域最近的子摄像头及对应的第一子视频和/或第二子视频，如智能售货机的商品分为上中下三个商品区，当用户从下商品区拿出商品或放入商品时，此时目标商品区域的子视频为开始阶段为下商品区第一子摄像头对应的第一子视频和第二子摄像头对应的第二子视频；当商品不断拿出，进入到中间商品区对应的区域内时，此时子视频变为中间商品区的第一子摄像头和第二子摄像头对应的第一子视频和第二子视频。
在一实施例中，所述S212包括：
S2121：对所述第一主视频和/或所述第二主视频的各帧图像进行分析，确定发生商品变动对应的各图像帧；
S2122：根据发生商品变动的各图像帧，将所述第一主视频和所述第二主视频分为多个视频段；
S2123：根据各所述视频段中发生商品变动对应的目标商品区域，确定各所述视频段对应的所述第一子视频和所述第二子视频。
具体的，分析第一主视频和/或第二主视频的各帧图像，确定各帧图像帧中商品发生变化的相邻图像帧，以发生商品变化的相邻图像帧来对第一主视频和/或第二主视频分段，在对各视频段进行位置分析，确定各视频段中商品在各时刻最近的商品区，从而将商品各时刻对应的子视频筛选出来，以便进行合并，避免将所有子视频进行合并，从而减少数据处理量。
S213：将包含所述目标商品的所述第一子视频与所述第一主视频合并，得到所述第一目标视频，将包含所述目标商品的所述第二子视频与所述第二主视频合并，得到所述第二目标视频。
在一实施例中，将包含所述目标商品区域的所述第一子视频和所述第二子视频记为目标子视频，所述S213包括：
S2131：根据所述目标子视频的位置信息，确定位于所述目标子视频与所述第一主视频或与所述第二主视频之间的其他所述第一子视频或所述第二子视频作为中间子视频；
S2132：将所述第一主视频和所述第二主视频中非所述目标子视频和所述中间子视频对应的区域删除，分别得到优化后的第一视频和第二视频；
具体的，在将子视频的各帧图像合并到主视频各帧图像对应的图像区域时，不是将子视频的全部帧图像合并进去，需要将没有目标商品的各帧图像删除，仅合并存在目标商品的各帧图像，进一步的，把检测到目标的图像区域合并进去，避免缩放图像降低图像质量，提高检测准确性。
S2133：将属于所述第一子视频的所述目标子视频和各所述中间子视频与所述第一视频合并，得到所述第一目标视频，将属于所述第二子视频的所述目标子视频和各所述中间子视频与所述第二视频合并，得到所述第二目标视频。
具体的，将主视频与目标子视频之间的图像区域替换为对应的子视频的图像区域，从而保证合成后的第一目标视频和/或第二目标视频图像的完整性，以便在发生异常订单时，方便后端人工审核。
S22：将所述第一目标视频和所述第二目标视频的各帧图像进行合并，得到目标视频；
具体的，将第一目标视频的各帧图像和第二目标视频的各帧图像按采集时序进行一一合并，从而得到一个目标视频，其中，第一目标视频和第二目标视频的各帧图像合并方式包括不限于：以同一拍摄时刻对应的第一目标视频的图像帧与第二目标视频对应的图像帧进行合并，以及拍摄时刻错位对应的第一目标视频的图像帧与第二目标视频对应的同一帧数的图像帧进行合并，具体为将第一目标视频的第一帧图像与第二目标视频的第一帧图像进行合并，将第一目标视频的第二帧图像与第二目标视频的第二帧图像进行合并，以此类推，将第一目标视频的第N帧图像与第二目标视频的第N帧图像进行合并，得到由合并图像组成的目标视频；如：第一目标视频的开始拍摄的起始时刻先于第二目标视频的开始拍摄的起始时刻，需要说明的是：第一目标视频频的开始拍摄的起始时刻与第二目标视频的开始拍摄的起始时刻之间的时间间隔小于相邻两帧图像的间隔时间，如间隔时间为相邻两帧图像间隔时间的1/2、1/3、1/4等，然后将第一目标视频的图像帧与第二目标视频的各图像帧按拍摄先后顺序进行合并，可以在既定帧率下对应的拍摄时间间隔得到更多时刻的图像，丰富样本数量，提高检测的准确性；需要说明的是：因为视频的帧率是与人眼反应相关联的，如果帧率过低或导致出现画面不连续，如果帧率过高会导致眼睛反应不过来，造成眼睛不适，所以一个摄像头在采集视频的时候会设置一个符合要求的帧率，一般为20帧/秒~30帧/秒；以20帧/秒为例，相邻两帧图像间各0.05s;即0.05秒只有收尾两帧帧图像，采用错位拍摄，可以使得在0.05s类得到跟多时刻的图像帧，提高有效的图像帧数量，同时不会造成眼睛不适。
在一实施例中，所述S22包括：
S221：获取开始采集所述第一目标视频的第一起始时刻和开始采集所述第二目标视频的第二起始时刻；
S222：根据所述第一起始时刻和所述第二起始时刻，将所述第一目标视频的各帧图像与所述第二目标视频中采集时序相对应的各帧图像一一进行合并，得到所述目标视频。
具体的，设置第一主摄像头及其第一子摄像头和第二主摄像头及其第二子摄像头的开始采集的起始时刻间隔整数倍相邻两帧图像的间隔时间，然后将第一目标视频的第一帧图像与第二目标视频的第一帧图像进行合并，将第一目标视频的第二帧图像与第二目标视频的第二帧图像进行合并，以此类推，将第一目标视频的第N帧图像与第二目标视频的第N帧图像进行合并，得到由合并图像组成的目标视频；从而保证商品在固定帧率对应的相邻两帧图像间隔时间内得到更多时刻的图像，减少遮挡引起的商品信息缺失，以便提高检测的准确性。
S23：将所述目标视频的各帧图像输入预置的目标检测模型，得到各目标商品的商品信息；
具体的，对于根据目标检测模型对目标视频的各帧图像进行识别，得到目标商品的商品信息的方法，具体参见实施例，此处不再赘述。
S24：根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头和所述第二主摄像头采集的商品区域的范围相同，各所述第一子摄像头和所述第二子摄像头采集的商品区域的范围属于所述第一主摄像头或所述第二主摄像头采集的商品区域对应的部分区域，所述第一主摄像头和各所述第一子摄像头沿智能售货机的各层货架排列方向设置，且各所述第一子摄像头位于所述第一主摄像头下方，所述第二主摄像头和各所述第二子摄像头沿智能售货机的各层货架排列方向设置，且各所述第二子摄像头位于所述第二主摄像头下方。
具体的，商品订单信息的生成方法参见实施例，此处不再赘述。
采用本实施例的多视角采集图像后合并的智能生成订单方法，通过在智能售货机上设置以不同视角获取同一商品区域的视频数据的第一主摄像头和第二主摄像头，并且为第一摄像头和第二摄像头获取商品区域的视频数据还设有第一子摄像头和第二子摄像头，利用第一子摄像头获取的第一子视频替换第一主摄像头获取的第一主视频中的对应区域的数据，得到第一目标视频，采用同样的方法得到第二目标视频，然后合并第一目标视频和第二目标视频得到目标视频，保证目标视频中各帧图像内目标对象的成像清晰度，对合并后的目标视频进行目标检测，得到与第一目标视频对应的第一检测结果和与第二目标视频对应的第二检测结果，结合第一检测结果和第二检测结果确定商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。
实施例3
本发明实施例3基于实施例1至实施例2的方法对应还提供了一种多视角采集图像后融合的智能生成订单装置，请参见图4，包括：
视频获取模块：用于获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
视频合成模块：用于将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
图像分析模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
订单生成模块：用于根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。
采用本实施例的多视角采集图像后融合的智能生成订单装置，通过在智能售货机上设置以不同视角获取同一商品区域的视频数据的第一主摄像头和第二主摄像头，然后对第一主摄像头获取的第一主视频和第二主摄像头获取的第二主视频进行合并，对合并后的目标视频进行目标检测，得到与第一主视频对应的第一检测结果和与第二主视频对应的第二检测结果，结合第一检测结果和第二检测结果确定商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。
需要说明的是，该装置还包括实施例1至实施例2记载的其余技术方案，此处不再赘述。
实施例4
本发明实施例4基于实施例1至实施例2的方法对应还提供了一种多视角采集图像后合并的智能生成订单装置，请参见图5，包括：
视频采集模块：用于获取第一主摄像头采集商品区域得到的第一主视频和第二主摄像头采集商品区域得到的第二主视频，以及至少一个第一子摄像头采集商品区域得到的第一子视频和至少一个第二子摄像头采集商品区域得到的第二子视频；
视频拼接模块：用于以所述第一子视频的商品区域覆盖所述第一主视频中与所述第一子视频相同的图像区域，得到第一目标视频，以所述第二子视频的商品区域覆盖所述第二主视频中与所述第二子视频相同的图像区域，得到第二目标视频；
视频合并模块：用于将所述第一目标视频的各帧图像与所述第二目标视频中采集时序相对应的各帧图像进行合并，得到目标视频，所述目标视频的每帧图像尺寸为所述第一目标视频的各帧图像的尺寸与第二目标视频对应的各帧图像的尺寸之和；
数据分析模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到各目标商品的商品信息；
订单信息模块：根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头和所述第二主摄像头采集的商品区域的范围相同，各所述第一子摄像头和所述第二子摄像头采集的商品区域的范围属于所述第一主摄像头或所述第二主摄像头采集的商品区域对应的部分区域，所述第一主摄像头和各所述第一子摄像头沿智能售货机的各层货架排列方向设置，且各所述第一子摄像头位于所述第一主摄像头下方，所述第二主摄像头和各所述第二子摄像头沿智能售货机的各层货架排列方向设置，且各所述第二子摄像头位于所述第二主摄像头下方。
采用本实施例的多视角采集图像后合并的智能生成订单装置，通过在智能售货机上设置以不同视角获取同一商品区域的视频数据的第一主摄像头和第二主摄像头，并且为第一摄像头和第二摄像头获取商品区域的视频数据还设有第一子摄像头和第二子摄像头，利用第一子摄像头获取的第一子视频替换第一主摄像头获取的第一主视频中的对应区域的数据，得到第一目标视频，采用同样的方法得到第二目标视频，然后合并第一目标视频和第二目标视频得到目标视频，保证目标视频中各帧图像内目标对象的成像清晰度，对合并后的目标视频进行目标检测，得到与第一目标视频对应的第一检测结果和与第二目标视频对应的第二检测结果，结合第一检测结果和第二检测结果确定商品订单信息，可以防止商品被遮挡引起的订单异常，提高检测准确性和用户体验效果。
需要说明的是，该装置还包括实施例4记载的其余技术方案，此处不再赘述。
实施例5
本发明提供了一种智能售货机的自动结算系统，请参见图6，自动结算系统包括智能售货机、移动终端和服务器，该自动结算系统能够采用上述实施例所述的自动购物方法。用户通过移动终端识别智能售货机上的识别码，服务器建立用户的购物事件，不同视角的摄像头开始采集购物视频或者在智能售货机柜门开启后摄像头开始采集购物视频或者用户进入预设范围内摄像头开始采集购物视频，当用户离开预设购物范围内或智能售货机的柜门关闭后，摄像头停止采集购物视频并将购物视频传输给服务器，服务器根据购物视频生成用户的订单信息发送给移动终端，用户通过移动终端的订单信息进行自主结算或设置自动结算；该自动结算系统用户自主购物的选择性更好，订单准确性高，能够提高用户的购物体验。
实施例6
本发明提供了一种智能售货机设备和存储介质，如图7所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecific Integrated Circuit，ASIC），或者可以被配置成实施本发明实施例的一个或多个集成电路，电子设备至少包括以下之一：摄像头、具有摄像头的移动设备、具有摄像头的穿戴设备。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器（Hard Disk Drive，HDD）、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线（Universal Serial Bus，USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器（ROM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、电可改写ROM（EAROM）或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种多视角采集图像后融合的智能生成订单方法、多视角采集图像后合并的智能生成订单方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口（AGP）或其他图形总线、增强工业标准架构（EISA）总线、前端总线（FSB）、超传输（HT）互连、工业标准架构（ISA）总线、无限带宽互连、低引脚数（LPC）总线、存储器总线、微信道架构（MCA）总线、外围组件互连（PCI）总线、PCI-Express（PCI-X）总线、串行高级技术附件（SATA）总线、视频电子标准协会局部（VLB）总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种多视角采集图像后融合的智能生成订单方法、多视角采集图像后合并的智能生成订单方法、装置、智能售货机及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM（EROM）、软盘、CD-ROM、光盘、硬盘、光纤介质、射频（RF）链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种多视角采集图像后融合的智能生成订单方法，其特征在于，所述方法包括：
S10：获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
S11：将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
S12：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
所述S12包括：
S121：将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；
S122：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；
S123：对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；
其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度，第一检测结果和第二检测结果为多帧图像的检测结果的统计，若第一检测结果和第二检测结果中商品类别相同，且检测结果中目标商品的置信度符合要求，则得到用于生成订单信息的目标商品，若第一检测结果和第二检测结果不相同，则以检测结果中商品数量、类别多的检测结果中的各商品作为目标商品，若置信度不符合要求，则认为是异常订单，由人工审核目标视频，得到用于生成订单信息的目标商品；
S13：根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。
2.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S11包括：
S111：获取所述第一主摄像头开始采集所述第一主视频对应的第一起始时刻和所述第二主摄像头开始采集所述第二主视频对应的不同于所述第一起始时刻的第二起始时刻；
S112：根据所述第一起始时刻和所述第二起始时刻，将在预设时间内采集得到的所述第一主视频的各帧图像与所述第二主视频中时序相对应的各帧图像进行一一合并，生成所述目标视频；
其中，所述第一起始时刻和所述第二起始时刻的时间间隔小于摄像头帧率对应的相邻两帧图像的时间间隔。
3.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S122包括：
S1221：利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到各帧图像中与所述第一图像区域对应的各商品的类别和置信度，以及各帧图像中与所述第二图像区域对应的各商品的类别和置信度；
S1222：根据分别在所述第一图像区域和所述第二图像区域内检出的各商品的置信度，得到与所有帧图像在所述第一图像区域内检出的所有商品中与各类商品一一对应的各第一置信度平均值和与在所述第二图像区域内检出的所有商品中与各类商品一一对应的各第二置信度平均值；
S1223：根据在所述第一图像区域和所述第二图像区域内检出的各商品的类别，得到与各帧图像在所述第一图像区域内检出的所有商品对应的各第一商品信息，以及与各帧图像在所述第二图像区域内检出的所有商品对应的各第二商品信息；
S1224：根据各所述第一商品信息和与各所述第一商品信息一一对应的各所述第一置信度平均值，得到所述第一检测结果，根据各所述第二商品信息和与各所述第二商品信息一一对应的各所述第二置信度平均值，得到所述第二检测结果。
4.根据权利要求3所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S1222包括：
S12221：获取商品进行有效检出次数统计对应的检出次数阈值；
S12222：将各类别的商品对应的检出次数与所述检出次数阈值对比，将符合要求的商品的各置信度计算平均值，得到各所述第一商品置信度平均值和各所述第二商品置信度平均值。
5.根据权利要求1所述的多视角采集图像后融合的智能生成订单方法，其特征在于，所述S13包括：
S131：获取用于生成有效订单的商品的目标置信度阈值；
S132：将所述第一检测结果包含的各商品类别及商品数量与所述第二检测结果包含的各商品类别及商品数量分别进行对比，若所述第一检测结果和所述第二检测结果的商品类别相同，则输出所述第一检测结果和所述第二检测结果中各类商品的置信度高的商品作为目标商品，否则，生成异常订单；
S133：将所述目标商品对应的置信度与所述目标置信度阈值对比，若符合要求，则生成各所述目标商品对应的所述商品订单信息，否则，生成异常订单；
其中，若为异常订单，则输出异常订单信息并同时输出所述第一主视频和/或所述第二主视频和/或所述目标视频。
6.根据权利要求1-5任一项所述的多视角采集图像后融合的智能生成订单方法，其特征在于，在所述S10之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的第一主摄像头和第二主摄像头关闭。
7.一种多视角采集图像后融合的智能生成订单装置，其特征在于，所述装置包括：
视频获取模块：用于获取第一主摄像头在第一视角采集商品区域得到的第一主视频和第二主摄像头在不同于所述第一视角的第二视角采集所述商品区域得到的第二主视频，其中，所述第一主摄像头和第二主摄像头的帧率相同且采集得到帧数相同的所述第一主视频和第二主视频；
视频合成模块：用于将所述第一主视频的各帧图像与所述第二主视频中采集时序相对应的各帧图像一一进行合并，生成目标视频，其中，目标视频的每帧图像尺寸为所述第一主视频的各帧图像的尺寸与第二主视频对应的各帧图像的尺寸之和；
图像分析模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息；
所述将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息包括：
将所述目标视频的各帧图像分为属于所述第一主视频的第一图像区域和属于所述第二主视频的第二图像区域；
利用所述目标检测模型对所述目标视频的各帧图像进行检测，得到与所述第一图像区域对应的第一检测结果和与所述第二图像区域对应的第二检测结果；
对比所述第一检测结果和所述第二检测结果，得到用于生成商品订单信息的各目标商品的所述商品信息；
其中，所述第一检测结果和所述第二检测结果均包含：各商品的类别、与各商品一一对应的置信度和所有帧图像检出的各类商品各自对应的平均置信度，第一检测结果和第二检测结果为多帧图像的检测结果的统计，若第一检测结果和第二检测结果中商品类别相同，且检测结果中目标商品的置信度符合要求，则得到用于生成订单信息的目标商品，若第一检测结果和第二检测结果不相同，则以检测结果中商品数量、类别多的检测结果中的各商品作为目标商品，若置信度不符合要求，则认为是异常订单，由人工审核目标视频，得到用于生成订单信息的目标商品；
订单生成模块：用于根据各目标商品的商品信息，生成商品订单信息；
其中，所述第一主摄像头所采集的商品区域的范围与所述第二主摄像头所采集的商品区域的范围相同。
8.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202111291693.0A 2021-11-03 2021-11-03 多视角采集图像后融合的智能生成订单方法及智能售货机 Active CN113723384B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210276704.6A CN114648715A (zh) 2021-11-03 2021-11-03 多视角图像对比检测的订单生成方法及智能售货机
CN202111291693.0A CN113723384B (zh) 2021-11-03 2021-11-03 多视角采集图像后融合的智能生成订单方法及智能售货机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111291693.0A CN113723384B (zh) 2021-11-03 2021-11-03 多视角采集图像后融合的智能生成订单方法及智能售货机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210276704.6A Division CN114648715A (zh) 2021-11-03 2021-11-03 多视角图像对比检测的订单生成方法及智能售货机

Publications (2)

Publication Number Publication Date
CN113723384A CN113723384A (zh) 2021-11-30
CN113723384B true CN113723384B (zh) 2022-03-18

Family

ID=78686599

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210276704.6A Pending CN114648715A (zh) 2021-11-03 2021-11-03 多视角图像对比检测的订单生成方法及智能售货机
CN202111291693.0A Active CN113723384B (zh) 2021-11-03 2021-11-03 多视角采集图像后融合的智能生成订单方法及智能售货机

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202210276704.6A Pending CN114648715A (zh) 2021-11-03 2021-11-03 多视角图像对比检测的订单生成方法及智能售货机

Country Status (1)

Country Link
CN (2) CN114648715A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684626B (zh) * 2023-08-04 2023-11-24 广东星云开物科技股份有限公司 视频压缩方法和共享售卖柜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137136A1 (zh) * 2017-01-24 2018-08-02 广州市蚁道互联网有限公司 自动售货机及其运行方法
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109035577A (zh) * 2018-07-03 2018-12-18 宇观科技(深圳)有限公司 一种自选式智能自动售货机系统及其方法
CN109840503A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
WO2019174553A1 (zh) * 2018-03-12 2019-09-19 深兰科技（上海）有限公司 一种自动售货方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464951B (zh) * 2007-12-21 2012-05-30 北大方正集团有限公司 图像识别方法及系统
WO2021191789A1 (en) * 2020-03-23 2021-09-30 Darvis, Inc. Method and system of augmenting a video footage of a surveillance space with a target three-dimensional (3d) object for training an artificial intelligence (ai) model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018137136A1 (zh) * 2017-01-24 2018-08-02 广州市蚁道互联网有限公司 自动售货机及其运行方法
WO2019174553A1 (zh) * 2018-03-12 2019-09-19 深兰科技（上海）有限公司 一种自动售货方法和装置
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109035577A (zh) * 2018-07-03 2018-12-18 宇观科技(深圳)有限公司 一种自选式智能自动售货机系统及其方法
CN109840503A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种确定种类信息的方法及装置

Also Published As

Publication number Publication date
CN114648715A (zh) 2022-06-21
CN113723384A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN113780248B (zh) 多视角识别商品智能生成订单方法、装置及智能售货机
CN111950967A (zh) 一种基于热特性图像的库存管理系统
CN201255897Y (zh) 一种公交车人流量监测装置
CN111263224B (zh) 视频处理方法、装置及电子设备
US10573022B2 (en) Object recognition system and method of registering a new object
EP3901841A1 (en) Settlement method, apparatus, and system
CN111222870B (zh) 结算方法、装置和系统
CN109447619A (zh) 基于开放环境的无人结算方法、装置、设备和系统
CN113723384B (zh) 多视角采集图像后融合的智能生成订单方法及智能售货机
CN111260685B (zh) 视频处理方法、装置及电子设备
CN113763136B (zh) 基于商品区重量变化对视频分段处理的智能生成订单方法
CN113468914A (zh) 一种商品纯净度的确定方法、装置及设备
CN115170999A (zh) 基于商品重量组合进行图像分析的智能生成订单方法
CN113727029B (zh) 多视角采集图像后合并的智能生成订单方法及智能售货机
CN113139804A (zh) 一种结算设备
JP2023504871A (ja) 不正検出システムおよび方法
CN113723383B (zh) 异视角同步识别同区域商品的订单生成方法及智能售货机
CN110443946B (zh) 售货机、物品种类的识别方法和装置
CN110610358A (zh) 商品处理方法及装置、无人货架系统
CN114022244A (zh) 广域与局域采集相结合的智能生成订单方法及智能售货机
CN112183306A (zh) 一种数字食堂无感支付的方法
CN115170781A (zh) 多视角拼接图像目标去重训练方法、装置及智能售货机
CN114863141A (zh) 无人贩售相似商品的智能辨识方法、装置及智能售货机
CN117218762B (zh) 基于机器视觉的智能货柜交互控制方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220424

Address after: 518000 Room 102, building 2, Hangcheng Zhigu Zhongcheng future industrial park, Sanwei community, Hangcheng street, Bao'an District, Shenzhen, Guangdong Province

Patentee after: YOPOINT SMART RETAIL TECHNOLOGY Ltd.

Address before: Room 1, 11 / F, building 4, phase 3 and 4, Wuhan creative world, Mahu village, Hongshan street, Hongshan District, Wuhan City, Hubei Province

Patentee before: WUHAN XINGXUN INTELLIGENT TECHNOLOGY CO.,LTD.

Patentee before: Shenzhen Youpeng Intelligent Business Technology Co., Ltd

TR01 Transfer of patent right