CN114022244A - 广域与局域采集相结合的智能生成订单方法及智能售货机 - Google Patents
广域与局域采集相结合的智能生成订单方法及智能售货机 Download PDFInfo
- Publication number
- CN114022244A CN114022244A CN202111304690.6A CN202111304690A CN114022244A CN 114022244 A CN114022244 A CN 114022244A CN 202111304690 A CN202111304690 A CN 202111304690A CN 114022244 A CN114022244 A CN 114022244A
- Authority
- CN
- China
- Prior art keywords
- video
- commodity
- sub
- target
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 230000000007 visual effect Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
- G06Q30/0635—Processing of requisition or of purchase orders
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/10—Casings or parts thereof, e.g. with means for heating or cooling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)
Abstract
本发明属于图像处理技术领域，解决了现有技术智能售货机的购物视频中商品的成像清晰度不断变化影响最终检测结果，从而形成异常订单，所导致用户体验不佳的技术问题，提供了一种广域与局域采集相结合的智能生成订单方法及智能售货机。该方法包括:获取主摄像头针对全部商品区域采集得到的主视频和子摄像头针对局部商品区域采集得到的子视频，以子视频的图像区域的图像数据替换主视频对应的图像区域的图像数据，得到目标视频，根据目标视频中检出的各商品的商品信息和对应的运动轨迹，生成商品订单信息。本发明利用子视频代替主视频中清晰度低的图像区域，保证目标视频各帧图像中商品的清晰度，提高检测准确性和用户体验效果。
Description
技术领域
本发明涉及图像分析技术领域，尤其涉及一种广域与局域采集相结合的智能生成订单方法及智能售货机。
背景技术
随着人工智能技术的不断发展，零售业的售卖方式也发生了巨大的变化，其中智能售货机已经遍布在城市的各种场合，包括车站、商城、旅游景区或百货店均能发现各式各样的智能售货机，智能售货机以其无需专人看守、用户自动下单、购物结账的方式，极大遍历了特殊场景用户对于商品的购物需求。
现有全开门智能售货机因为具有传统售货机一次选购多件商品、一次购物可多次更换商品，极大满足用户购物过程的自主选择，然而因为全开门智能售货机因为客户可以多次从货架拿取商品或更换商品，因此购物视频中商品的成像清晰度不断变化，从而清晰度低的影响最终检测结果，导致产生异常订单，影响用户的体验。
发明内容
有鉴于此，本发明实施例提供了一种广域与局域采集相结合的智能生成订单方法及智能售货机，用以解决现有的智能售货机自动生成的订单存在大量异常订单或操作繁琐，所导致的用户体验效果不佳技术问题。
本发明采用的技术方案是：
本发明提供了一种广域与局域采集相结合的智能生成订单方法，所述方法包括：
S1：获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；
S2：以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
S3：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；
S4：根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；
其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。
优选地，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S12：控制各商品区对应的摄像头采集对应商品区的视频数据，得到主摄像头采集的所述主视频和至少一个所述子摄像头采集的所述子视频。
优选地，所述S2包括：
S21：获取所述主摄像头采集商品区域的主视频中在拿出或放回商品时存在重合的图像帧；
S22：根据各所述重合的图像帧，将所述主视频分为多个视频段；
S23：根据各所述视频段对各所述子视频进行删减，得到优化后的各优化子视频；
S24：以各所述优化子视频的各帧图像的局部区域替换对应的各所述视频段中对应各所述优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述目标视频。
优选地，所述S22包括：
S221：获取用于界定商品属于上架和下架的边界线；
S222：根据相邻图像帧中商品位于所述边界线的不同状态区域，结合对应的重合的图像帧，将所述主视频分为商品上架和商品下架对应的各所述视频段。
优选地，所述S3包括：
S31：将所述目标视频的各帧图像输入预置的目标检测模型，得到各帧图像中各商品的所述商品信息；
S32：根据各帧图像所属的视频段，确定各商品属于上架或下架的所述运动轨迹。
优选地，所述S4包括：
S41：获取有效订单对应的商品的目标置信度阈值；
S42：根据所述运动轨迹，确定从各帧图像检出的属于下架的各目标商品的检测结果；
S43：将所述目标商品对应的检测结果的置信度与所述目标置信度阈值对比，若符合要求，则输出所述商品订单信息，若不符合要求，则输出异常订单信息及所述主视频和/或各所述子视频和/或所述目标视频。
优选地，在所述S1之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子摄像头关闭。
本发明还提供了一种广域与局域采集相结合的智能生成订单装置，所述装置包括：
视频采集模块：用于获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频；
视频合成模块：用于以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
目标检测模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；
订单模块：用于根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；
其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。
本发明还提供了一种智能售货机，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种广域与局域采集相结合的智能生成订单方法及智能售货机，在智能售货机上设有用于采集全部商品区域的主摄像头和用于补充主摄像头的视频数据的至少一个子摄像头，获取主摄像头针对全部商品区域采集得到的主视频和子摄像头针对局部商品区域采集得到的子视频，以子视频的图像区域的图像数据替换主视频对应的图像区域的图像数据，得到目标视频，根据目标视频中检出的各商品的商品信息和对应的运动轨迹，生成商品订单信息。本发明利用子视频代替主视频中清晰度低的图像区域，保证目标视频各帧图像中商品的清晰度，提高检测准确性和用户体验效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为实施例1中广域与局域采集相结合的智能生成订单方法的流程示意图；
图2为实施例1中具有多个不同视角摄像头的智能售货机的结构示意图；
图3为实施例1中获取主视频和子视频的流程示意图；
图4为实施例1中合成目标视频的流程示意图；
图5为实施例1中获取各商品的运动轨迹的流程示意图；
图6为实施例1中获取有效商品订单的流程示意图；
图7为实施例2中广域与局域采集相结合的智能生成订单装置的结构示意图；
图8为实施例3中智能售货机的自动结算系统的结构示意图；
图9为实施例4中智能售货机的结构示意图；
图1至图9的附图标记：
1、柜体；11、货架；12、商品区；2、柜门；3、摄像头。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施例1
现有全开门智能售货机因为具有传统售货机的便于一次选购多件商品、一次购物中多次更换商品，同时，能够在用户完成一次复杂购物过程中快速生成订单，通过自主结算方式快速结算，相较于现有的通过一次扫码仅能购买一件商品，且购买后无法重新选择，全开门智能售货机具有操作简单，用户购物自主选择性更强的优点；然而因为全开门智能售货机在一次购物中，用户可以购买多件商品，同时可以多次进行商品的上架和下架，从而因为遮挡问题会导致大量商品在上架或下架过程中，由于遮挡位置不同，导致同一商品前后检出不同结果，造成异常订单影响用户体验效果和商家信誉。
本发明是基于从多个角度获取用户从智能售货机购物的购物视频进行可行性研究，通过在智能售货机的商品区设置从不同方向对商品区进行实时监控的摄像头，结合多个摄像头拍摄的购物视频，然后通过画面拼接、对比分析等方式，得到用户购物的订单信息，然后通过服务器进行自动结算，提高用户的购物体验，同时减少人工结算流程。
具体的，请参见图2，图2为全开门的智能售货机的结构示意图，智能售货机包括柜体1和柜门2，柜体1和柜门2进行转动连接，且柜门2相对于柜体1处于闭合状态时，柜门2覆盖住柜体1的所有放置商品的商品区，即无法对柜体内的商品进行拿取操作，当柜门2打开时，柜体1中的所有商品均展现在用户面前，用户可以在一次购物中心选择任意商品，同时也可以选择多件商品，既可以对选择的商品进行拿出，也可以对选择后需要放回的商品进行放回，柜体1内设有货架11，货架11可以是将柜体1分为多个商品区12的货架，其中，在柜体1的内部各商品区均设有摄像头，这样可以从过个角度获取用户从智能售货机购物的购物视频，避免单一角度采集的购物视频因为遮挡问题导致购物视频的可靠性不高的问题，图2所示的智能售货机在售货机的内部左侧壁和右侧壁均设有多个摄像头从而可以对同一商品区以相对的视角方向采集购物视频，提高视频数据的可靠性。
请参见图1，图1为本发明实施例1中广域与局域采集相结合的智能生成订单方法的流程示意图，所述方法包括：
S1：获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；
具体的，智能售货机存在多层货架，因此智能售货机分为多个商品区域，各商品区域包括至少一层货架，在各商品区设有主摄像头或相向设有子摄像头；便于理解，将最顶层商品区左侧板或右侧板或顶板内侧设置的摄像头记为主摄像头，将非顶层商品区左侧或右侧设置的摄像头记为子摄像头，如将智能售货机的商品区分为上中下三个商品区，在顶部相对设有主摄像头和第二主摄像头，主摄像头的视角方向为从左往右，在中件商品区和下边商品区的左侧均设有子摄像头；当用户开始通过智能售货机购买商品时，控制各摄像头采集商品区的视频数据，得到主视频和各子视频；需要说明的是：主视频和各子视频的视频帧率相同，且同一购物事件中，主视频和子视频的图像帧数量相同。
在一实施例中，请参见图3，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
具体的，智能售货机存在多层货架，将智能售货机放置商品的区域分为多个商品区域，各商品区域包括至少一层货架，摄像头的视角沿货架的排列方向设置，如智能售货机的货架从上至下包括多层货架，将各摄像头分别设置在智能售货机的左侧壁或右侧壁上，各摄像头的视角为从左上至右下或从右上至左下或从上至下。其中，设置在同一商品区位于不同侧的摄像头，其安装高度相同。
S12：控制各商品区对应的摄像头采集对应商品区的视频数据，得到主摄像头采集的所述主视频和至少一个所述子摄像头采集的所述子视频。
具体的，在商品区设有能够采集所有商品区的图像信息对应的第一视角的主摄像头，为了获取的各商品区的图像更清晰，为主摄像头还设有对应的至少一个子摄像头，子摄像头主要获取某一商品区域的图像信息，因此子摄像头的视角为第二视角，第一视角和第二视角存在角度差γ，0°＜γ＜90°，；如将智能售货机的商品区分为上中下三个商品区，在顶部相对设有主摄像头，主摄像头的视角方向为从左往右，在中间商品区和下边商品区的左侧设有子摄像头，子摄像头的视角方向为从左往右，各摄像头采集对应商品区域的图像信息，得到主视频和子视频。
在一实施例中，所述S1还包括：
第一步：获取用于采集商品区视频数据的摄像头的帧率和摄像头数量；
第二步：根据所述帧率和所述摄像头数量，确定各摄像头开始采集对应商品区的视频数据的间隔时间；
第三步：根据所述间隔时间，分别得到所述主摄像头和各所述子摄像头开始采集视频数据的起始时刻；
第四步：根据各所述起始时刻，控制对应的摄像头采集商品区域的视频数据，得到所述主视频和各所述子视频。
具体的，用于采集视频数据的各摄像头的帧率相同，如20帧/秒；根据摄像头的数量和帧率来确定各摄像头开始采集视频数据的起始时刻，设各摄像头或各组摄像头之间采集视频数据的起始时刻存在时间间隔，其中，优选间隔时间为相邻两帧图像对应的时间差的整数倍，如：包括4个摄像头，各摄像头的开始采集时间均间隔1/4帧率对应的时间，或者将4个摄像头分成两组，各组摄像头开始采集视频数据的间隔时间为1/2帧率对应的时间；从而变相提高图像帧率，保证采集到商品区域更多时刻的图像信息，以便提高检测的准确性。
S2：以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
具体的，因为主摄像头设置在最顶层商品区，因此非最顶层商品区内若无遮挡，该商品区的画面也能被主摄像头采集到，因此，主视频中各帧图像包含各子视频中各帧图像的图像区域，将主视频中各帧图像对应的非顶层商品区的图像区域替换为各子视频中对应的各帧图像，从而得到目标视频，目标视频的各帧图像中各商品区域对应的画面中，商品的成像更清晰，提高检测的准确性。
在一实施例中，请参见图4，所述S2包括：
S21：获取所述主摄像头采集商品区域的主视频中在拿出或放回商品时存在重合的图像帧；
S22：根据各所述重合的图像帧，将所述主视频分为多个视频段；
具体的，对主视频的各帧图像进行检测，主要检测用户拿取商品部位与智能售货机的相对位置关系，如检测用户的手是否进入商品区，将手进入商品区的图像帧记为重合的图像帧，然后以该图像帧为界限，将主视频分为多个视频段，用于表示用户选择商品的多次放入、拿取操作。
在一实施例中，所述S22包括：
S221：获取用于界定商品属于上架和下架的边界线；
具体的，在摄像头对应的图像区域设置一虚拟的边界线，该边界线可以为闭合的，也可以为不闭合的，以闭合的虚拟边界线为例，当商品从边界线内到边界线外为记为第一状态，将商品从边界线外进入边界线内记为第二状态，将第一状态记为商品下架，将第二状态记为商品上架。
S222：根据相邻图像帧中商品位于所述边界线的不同状态区域，结合对应的重合的图像帧，将所述主视频分为商品上架和商品下架对应的各所述视频段。
具体的，根据同一商品在相邻的两帧图像中关于边界线的不同位置信息，确定商品为上架或下架状态，如边界线为一矩形框，该商品区位于矩形框内，当前一帧图像中的商品A属于边界线内，下一阵图像中的商品A属于边界线外，则认为本次对于商品A的操作为拿取商品记为商品下架，从而得到一个拿取商品的视频段，同理，当前一帧图像中的商品A属于边界线外，下一阵图像中的商品A属于边界线内，则认为本次对于商品A的操作为放回商品记为商品上架，从而得到一个放回商品的视频段。
S23：根据各所述视频段对各所述子视频进行删减，得到优化后的各优化子视频；
S24：以各所述优化子视频的各帧图像的局部区域替换对应的各所述视频段中对应各所述优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述目标视频。
具体的，根据主视频的每一个视频段涉及的图像区域对各子视频进行删减，删减掉与对应视频段无关的图像数据，删减后的各子视频记为优化子视频，利用各优化子视频的视频数据替换主视频的各视频段对应的视频数据，得到目标视频，以便目标视频中，被替换的视频数据均为存在目标商品的区域，进一步的，把检测到目标对应的目标成像的图像区域合并进去，避免缩放图像降低图像质量，提高检测准确性。
在一实施例中，所述S2包括：
第一步：获取发生商品变动对应的目标商品区；
第二步：根据所述目标商品区的位置信息，确定包含所述目标商品区的所述子视频；
具体的，当用户从智能售货机拿取商品或放回商品时，确定商品拿出或放进的位置，具体为商品放入或拿出所述的商品区域，然后确定该区域最近的子摄像头及对应的子视频，如智能售货机的商品分为上中下三个商品区，当用户从下商品区拿出商品或放入商品时，此时目标商品区域的子视频为仅能获取下商品区对应的子视频。
在一实施例中，所述根据所述目标商品区的位置信息，确定包含所述目标商品区的所述子视频包括：
首先，对所述主视频的各帧图像进行分析，确定发生商品变动对应的各图像帧；
其次，根据发生商品变动的各图像帧，将所述主视频分为多个视频段；
最后，根据各所述视频段中发生商品变动对应的目标商品区域，确定各所述视频段对应的所述子视频。
第三步：将包含所述目标商品的所述子视频与所述主视频合并，得到所述目标视频。
具体的，通过分析主视频的各帧图像，确定用户每次拿放商品的位置，为每次拿放商品匹配对应的子视频，可以删减多余的子视频，从而减少数据处理量。
在一实施例中，将包含所述目标商品区的所述子视频记为目标子视频，所述将包含所述目标商品的所述子视频与所述主视频合并，得到所述目标视频包括：
首先，根据所述目标子视频的位置信息，确定位于所述目标子视频与所述主视频之间的其他所述子视频作为中间子视频；
其次，将所述主视频中非所述目标子视频和所述中间子视频对应的区域删除，分别得到优化后的第一视频；
最后，将所述目标子视频和所述中间子视频中的所述子视频与所述第一视频合并，得到所述目标视频。
具体的，将主视频与目标子视频之间的图像区域替换为对应的子视频的图像区域，从而保证合成后的目标视频图像的完整性，以便在发生异常订单时，方便后端人工审核。
S3：将所述目标视频的各帧图像输入预置的目标检测模型，得到各帧图像中各商品的商品信息及各商品的运动轨迹；
在一实施例中，请参见图5，所述S3包括：
S31：将所述目标视频的各帧图像输入预置的目标检测模型，得到各帧图像中各商品的所述商品信息；
S32：根据各帧图像所属的视频段，确定各商品属于上架或下架的所述运动轨迹。
具体的，将各帧图像均送入目标检测模型进行检测，得到各商品的商品类别，以及各商品的价格等信息，根据商品在不同图像帧的成像位置及成像大小，可以确定商品的运动方向，即商品是从智能售货机拿出还是放入。
S4：根据各商品的所述商品信息和所述运动轨迹，生成商品订单信息。
在一实施例中，请参见图6，所述S4包括：
S41：获取有效订单对应的商品的目标置信度阈值；
具体的，当初步确定出商品属于本次用户购买的商品时，需要针对检出的商品的置信度进行判断，最终确定订单是否为异常订单。
S42：根据所述运动轨迹，确定从各帧图像检出的属于下架的各目标商品的检测结果；
具体的，根据各帧图像属于放入或拿取的运动轨迹，确定各帧图像中哪些商品最终被放回智能售货机，哪些商品最终被用户选取，然后对确定用户选取的各商品的检测结果，该检测结果包括每次商品被检出的类别和置信度。
S43：将所述目标商品对应的检测结果的置信度与所述目标置信度阈值对比，若符合要求，则输出所述商品订单信息，若不符合要求，则输出异常订单信息及所述主视频和/或各所述子视频和/或所述目标视频。
具体的，当认为当前检测结果对应的目标商品存在异常，则需要人工审核，此时可以针对主视频和/或各所述子视频和/或所述目标视频进行人工审核，确保订单的准确性，提高用户体验。
在一实施例中，在所述S10之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
具体的，在智能售货机上还设有第三摄像头，第三摄像头用于检测智能售货机是否开启或关闭，第三摄像头可以是实时开启，也可以是用户在进行购物请求后开启。
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子主摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子摄像头关闭。
具体的，当用户进行自动购物时，对售货机状态视频的各帧图像进行分析，确定售货机柜门的状态，当检测到售货机柜门开启，则开启主摄像头和各子摄像头获取商品区域的视频数据，得到主视频和各子视频；当检测到售货机柜门关闭，则关闭主摄像头和各子摄像头，减少用于生产商品订单的无效视频，提高数据处理效率。
采用本实施例的广域与局域采集相结合的智能生成订单方法，在智能售货机上设有用于采集全部商品区域的主摄像头和用于补充主摄像头的视频数据的至少一个子摄像头，获取主摄像头针对全部商品区域采集得到的主视频和子摄像头针对局部商品区域采集得到的子视频，以子视频的图像区域的图像数据替换主视频对应的图像区域的图像数据，得到目标视频，根据目标视频中检出的各商品的商品信息和对应的运动轨迹，生成商品订单信息。本发明利用子视频代替主视频中清晰度低的图像区域，保证目标视频各帧图像中商品的清晰度，提高检测准确性和用户体验效果。
实施例2
本发明实施例2基于实施例1的方法对应还提供了一种广域与局域采集相结合的智能生成订单装置，请参见图7，包括：
视频采集模块：用于获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；
视频合成模块：用于以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
目标检测模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；
订单模块：用于根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；
其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。
采用本实施例的广域与局域采集相结合的智能生成订单装置，在智能售货机上设有用于采集全部商品区域的主摄像头和用于补充主摄像头的视频数据的至少一个子摄像头，获取主摄像头针对全部商品区域采集得到的主视频和子摄像头针对局部商品区域采集得到的子视频，以子视频的图像区域的图像数据替换主视频对应的图像区域的图像数据，得到目标视频，根据目标视频中检出的各商品的商品信息和对应的运动轨迹，生成商品订单信息。本发明利用子视频代替主视频中清晰度低的图像区域，保证目标视频各帧图像中商品的清晰度，提高检测准确性和用户体验效果。
实施例3
本发明提供了一种智能售货机的自动结算系统，请参见图8，自动结算系统包括智能售货机、移动终端和服务器，该自动结算系统能够采用上述实施例所述的自动购物方法。用户通过移动终端识别智能售货机上的识别码，服务器建立用户的购物事件，不同视角的摄像头开始采集购物视频或者在智能售货机柜门开启后摄像头开始采集购物视频或者用户进入预设范围内摄像头开始采集购物视频，当用户离开预设购物范围内或智能售货机的柜门关闭后，摄像头停止采集购物视频并将购物视频传输给服务器，服务器根据购物视频生成用户的订单信息发送给移动终端，用户通过移动终端的订单信息进行自主结算或设置自动结算；该自动结算系统用户自主购物的选择性更好，订单准确性高，能够提高用户的购物体验。
实施例4
本发明提供了一种智能售货机设备和存储介质，如图9所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种广域与局域采集相结合的智能生成订单方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种广域与局域采集相结合的智能生成订单方法、装置、智能售货机及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种广域与局域采集相结合的智能生成订单方法，其特征在于，所述方法包括：
S1：获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；
S2：以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
S3：将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；
S4：根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；
其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。
2.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S1包括：
S11：获取沿智能售货机的货架排列方向将智能售货机放置商品区域分为多个虚拟的商品区；
S12：控制各商品区对应的摄像头采集对应商品区的视频数据，得到主摄像头采集的所述主视频和至少一个所述子摄像头采集的所述子视频。
3.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S2包括：
S21：获取所述主摄像头采集商品区域的主视频中在拿出或放回商品时存在重合的图像帧；
S22：根据各所述重合的图像帧，将所述主视频分为多个视频段；
S23：根据各所述视频段对各所述子视频进行删减，得到优化后的各优化子视频；
S24：以各所述优化子视频的各帧图像的局部区域替换对应的各所述视频段中对应各所述优化子视频的各帧图像的局部区域图像的局域图像，然后合成视频，得到所述目标视频。
4.根据权利要求3所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S22包括：
S221：获取用于界定商品属于上架和下架的边界线；
S222：根据相邻图像帧中商品位于所述边界线的不同状态区域，结合对应的重合的图像帧，将所述主视频分为商品上架和商品下架对应的各所述视频段。
5.根据权利要求4所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S3包括：
S31：将所述目标视频的各帧图像输入预置的目标检测模型，得到各帧图像中各商品的所述商品信息；
S32：根据各帧图像所属的视频段，确定各商品属于上架或下架的所述运动轨迹。
6.根据权利要求1所述的广域与局域采集相结合的智能生成订单方法，其特征在于，所述S4包括：
S41：获取有效订单对应的商品的目标置信度阈值；
S42：根据所述运动轨迹，确定从各帧图像检出的属于下架的各目标商品的检测结果；
S43：将所述目标商品对应的检测结果的置信度与所述目标置信度阈值对比，若符合要求，则输出所述商品订单信息，若不符合要求，则输出异常订单信息及所述主视频和/或各所述子视频和/或所述目标视频。
7.根据权利要求1至6任一项所述的广域与局域采集相结合的智能生成订单方法，其特征在于，在所述S1之前还包括：
S01：实时获取第三摄像头采集的智能售货机当前状态的视频；
S02：对所述智能售货机当前状态的视频的各帧图像进行分析，确定所述智能售货机的柜门是处于开启还是闭合状态；
S03：当检测到所述智能售货机柜门处于开启状态，则控制用于采集商品区域对应的视频信息的主摄像头和子摄像头开启；
S04：当检测到所述智能售货机柜门处于关闭状态，则控制用于采集商品区域对应的视频信息的主摄像头和各子主摄像头关闭。
8.一种广域与局域采集相结合的智能生成订单装置，其特征在于，所述装置包括：
视频采集模块：用于获取主摄像头针对全部商品区域采集得到的主视频和至少一个子摄像头针对局部商品区域采集得到的子视频，其中，所述主摄像头和各子摄像头的帧率相同且采集得到帧数相同的所述主视频和各所述子视频；
视频合成模块：用于以所述子视频的商品区域覆盖所述主视频中与所述子视频相同的图像区域，得到目标视频；
目标检测模块：用于将所述目标视频的各帧图像输入预置的目标检测模型，得到若干目标商品的商品信息及各目标商品的运动轨迹；
订单模块：用于根据各目标商品的所述商品信息和所述运动轨迹，生成商品订单信息；
其中，所述主摄像头和各所述子摄像头沿智能售货机的各层货架排列方向设置，且各所述子摄像头位于所述主摄像头下方。
9.一种智能售货机，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-7中任一项所述的方法。
10.一种介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111304690.6A CN114022244A (zh) | 2021-11-03 | 2021-11-03 | 广域与局域采集相结合的智能生成订单方法及智能售货机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111304690.6A CN114022244A (zh) | 2021-11-03 | 2021-11-03 | 广域与局域采集相结合的智能生成订单方法及智能售货机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114022244A true CN114022244A (zh) | 2022-02-08 |
Family
ID=80061255
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111304690.6A Pending CN114022244A (zh) | 2021-11-03 | 2021-11-03 | 广域与局域采集相结合的智能生成订单方法及智能售货机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114022244A (zh) |
-
2021
- 2021-11-03 CN CN202111304690.6A patent/CN114022244A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109089082B (zh) | 一种基于热特性图像的图像采集系统 | |
| CN113780248B (zh) | 多视角识别商品智能生成订单方法、装置及智能售货机 | |
| CN107408303A (zh) | 用于对象跟踪的系统和方法 | |
| CN113763136B (zh) | 基于商品区重量变化对视频分段处理的智能生成订单方法 | |
| CN103403764A (zh) | 对象物追踪装置、对象物追踪方法、以及控制程序 | |
| CN102194236A (zh) | 对象物追踪装置、对象物追踪方法及控制程序 | |
| CN105264570A (zh) | 跟踪器辅助的图像捕获 | |
| US20210398097A1 (en) | Method, a device and a system for checkout | |
| US20150054957A1 (en) | System and method for automated sequencing of vehicle under low speed conditions from video | |
| CN111263224A (zh) | 视频处理方法、装置及电子设备 | |
| CN116471384B (zh) | 无人值守商店监控系统的控制方法及控制装置 | |
| CN111222870A (zh) | 结算方法、装置和系统 | |
| CN113468914B (zh) | 一种商品纯净度的确定方法、装置及设备 | |
| CN113723383B (zh) | 异视角同步识别同区域商品的订单生成方法及智能售货机 | |
| CN116452636A (zh) | 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置 | |
| CN113723384B (zh) | 多视角采集图像后融合的智能生成订单方法及智能售货机 | |
| US20060066719A1 (en) | Method for finding paths in video | |
| CN111429194B (zh) | 用户轨迹确定系统、方法、装置及服务器 | |
| CN115170999A (zh) | 基于商品重量组合进行图像分析的智能生成订单方法 | |
| CN114359817A (zh) | 基于出入口人行识别的人流量测量方法 | |
| CN114022244A (zh) | 广域与局域采集相结合的智能生成订单方法及智能售货机 | |
| CN111260685A (zh) | 视频处理方法、装置及电子设备 | |
| CN113727029B (zh) | 多视角采集图像后合并的智能生成订单方法及智能售货机 | |
| WO2021118390A1 (ru) | Способ и система распознавания образов из видеопотока | |
| CN112183306A (zh) | 一种数字食堂无感支付的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |