CN113178032A - 一种视频处理方法、系统及存储介质 - Google Patents
一种视频处理方法、系统及存储介质 Download PDFInfo
- Publication number
- CN113178032A CN113178032A CN202110234714.9A CN202110234714A CN113178032A CN 113178032 A CN113178032 A CN 113178032A CN 202110234714 A CN202110234714 A CN 202110234714A CN 113178032 A CN113178032 A CN 113178032A
- Authority
- CN
- China
- Prior art keywords
- result
- identification
- commodity
- results
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07F—COIN-FREED OR LIKE APPARATUS
- G07F9/00—Details other than those peculiar to special kinds or types of apparatus
- G07F9/10—Casings or parts thereof, e.g. with means for heating or cooling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种视频处理方法、系统及存储介质，该方法包括：获取摄像头拍摄的取货视频；将所述取货视频分发给一个或多个商品识别装置，其中，所述商品识别装置用于通过内置的识别模型识别所述取货视频中被取出的商品；接收各个所述商品识别装置返回的商品识别结果，并根据多个所述商品识别结果确定最终识别结果。本发明的技术方案能够提高商品识别的准确度，降低运营成本。
Description
技术领域
本发明涉及商品识别技术领域，具体而言，涉及一种视频处理方法、系统及存储介质。
背景技术
随着科技的不断发展，无人货柜等新零售模式重塑了零售业的生态和结构。无人货柜是以无人零售作为切入点，在物联网和图像识别等技术的辅助下实现无人售卖，其中，对商品的识别至关重要。
目前，常用的商品识别方法有静态识别方案、RFID(Radio FrequencyIDentification，射频识别)射频方案和重力感应方案等。静态识别方案是通过检测购买前和购买后两组图片的差异性来识别用户所购买的商品的种类，但是该方案的商品识别精度受很多因素的影响，例如无人货柜内的灯光会影响图片的拍摄质量，进而会影响商品的识别准确率，且对商品相似度和摆放有较高要求。RFID射频方案是为每个商品配置一个RFID标签，识别商品时读取对应的RFID标签中的信息，虽然该方法对商品的摆放等没有要求，但是为每个商品配置RFID标签，大幅提高了无人货柜的运营成本，并且当RFID标签被损毁时，会直接导致货损。重力感应方案是通过检测商品的重量来识别商品，但是该方案的识别错误率较高，并且维护频率较高。
发明内容
本发明解决的问题是如何提高无人货柜中商品的识别率，降低运营成本。
为解决上述问题，本发明提供一种视频处理方法、系统及存储介质。
第一方面，本发明提供了一种视频处理方法，包括：
获取摄像头拍摄的取货视频；
将所述取货视频分发给一个或多个商品识别装置，其中，所述商品识别装置用于通过内置的识别模型识别所述取货视频中被取出的商品；
接收各个所述商品识别装置返回的商品识别结果，并根据多个所述商品识别结果确定最终识别结果。
可选地，在所述获取摄像头拍摄的取货视频之前，还包括：
当检测到无人货柜的柜门打开时，控制所述摄像头开始拍摄所述取货视频；
当检测到所述无人货柜的柜门关闭时，控制所述摄像头停止拍摄。
可选地，在所述将所述取货视频分发给一个或多个空闲的商品识别装置之前，包括：
每间隔预定时间接收多个所述商品识别装置发送的心跳包，所述心跳包包括对应的所述商品识别装置的当前负载；
将所述当前负载与第一预设阈值进行对比；
当所述当前负载小于或等于所述第一预设阈值时，表示所述商品识别装置处于空闲状态；将所述取货视频分发给一个或多个商品识别装置，包括将所述取货视频分发给一个或多个处于空闲状态的商品识别装置；当所述当前负载大于所述第一预设阈值时，表示所述商品识别装置处于忙碌状态。
可选地，所述根据多个所述商品识别结果确定最终识别结果包括：
判断多个所述商品识别结果是否一致；
若是，则根据所述商品识别结果确定所述最终识别结果；若否，则根据各个所述商品识别结果生成仲裁任务，将所述仲裁任务发送至仲裁平台，所述仲裁平台用于仲裁人员对各个所述商品识别结果进行仲裁，确定所述最终识别结果。
可选地，每个所述商品识别结果包括零个或一个或多个待确定结果，所述判断各个所述商品识别结果是否一致包括：
确定每个所述商品识别结果中包括的待确定结果和同一所述待确定结果的第一数量；
对于每个所述待确定结果，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
确定所述第二数量与所有所述商品识别结果的数量的第一比值，并将所述第一比值与第二预设阈值进行对比；
当所述第一比值小于所述第二预设阈值时，表示所述待确定结果存在争议；
当所述第一比值大于或等于所述第二预设阈值时，确定所述待确定结果为所述最终识别结果。
可选地，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
对于每个所述待确定结果，确定包括所述待确定结果的所述商品识别结果的第三数量；
确定所述第三数量与所有所述商品识别结果的数量的第二比值，并将所述第二比值与第三预设阈值进行对比；
当所述第二比值小于所述第三预设阈值时，表示所述待确定结果存在争议；
当所述第二比值大于或等于所述第三预设阈值，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量。
可选地，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
确定各个所述商品识别结果包括的所述待确定结果的总数量是否相等；
若相等，则确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
若不相等，则根据各个所述商品识别结果生成仲裁任务。
可选地，所述仲裁任务包括所述取货视频和存在争议的所述待确定结果，将所述仲裁任务发送至仲裁平台之后，还包括：
接收所述仲裁平台返回的所述最终识别结果。
可选地，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
将所述最终识别结果发送给各个所述商品识别装置；
根据所述最终识别结果对各个所述商品识别装置中的所述识别模型进行训练，更新所述识别模型。
可选地，所述最终识别结果包括被取出的商品，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
根据所述最终识别结果中的被取出的商品生成支付账单，将所述支付账单推送至移动装置；
当接收到所述移动装置返回的支付信息后，将支付完成信息和所述支付账单推送至所述移动装置。
第二方面，本发明提供了一种商品识别系统，包括：
无人货柜，用于当接收到所述柜门打开请求时，打开柜门；
摄像头，所述摄像头设置在所述无人货柜内，用于在所述柜门打开时，开始拍摄取货视频，在所述柜门关闭时，停止拍摄；
任务调度装置，用于获取所述取货视频，并将所述取货视频分发给一个或多个商品识别装置；
商品识别装置，用于通过内置的识别模型识别所述取货视频中被取出的商品，并将商品识别结果发送至结果判定装置；
结果判定装置，用于对所有所述商品识别结果进行判断，在所有所述商品识别结果中确定最终识别结果。
可选地，还包括仲裁平台，所述仲裁平台用于接收所述任务调度装置上传的仲裁任务，并将所述仲裁任务分发给仲裁人员装置，接收所述仲裁人员装置返回的最终识别结果。
第三方面，本发明提供了一种电子设备，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如上所述的视频处理方法。
第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的视频处理方法。
本发明的视频处理方法、系统及存储介质的有益效果是：用户在无人货柜中购买商品时，获取摄像头拍摄的取货视频，然后可根据取货视频生成识别任务，识别任务包括该取货视频，可将识别任务分发给一个或多个空闲的商品识别装置，空闲的商品识别装置能够实时进行商品识别，能够减少商品识别的时间，提高识别效率。商品识别装置可通过内置的识别模型在取货视频中识别出用户取出的商品，识别模型可通过预先训练得到，通过识别模型识别商品速度快、精度高，且识别模型的商品识别精度会随着商品识别次数的增加越来越高。本发明的技术方案对多个商品识别装置的识别结果进行综合判断，得到最终识别结果，确定用户取出的商品，提高了商品识别率，并且，不需要RFID等辅助设备，降低了运营成本。
附图说明
图1为本发明实施例的一种商品识别系统的结构示意图；
图2为本发明实施例的一种视频处理方法的流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
无人货柜等零售中的商品主要分为标准商品和非标商品，其中，非标商品是指不是按照国家颁布的统一行业标准和规格制造的产品，而是根据自己的用途需要，自行设计制造且外观或性能不在国家设备产品目录内的产品，例如：鲜花、自定义包装的水果等。而标准商品反之，标准商品由于其必须遵守行业标准规范进行制造，识别时比较容易。目前，现有技术中的商品识别方案大多是针对标准商品的识别方案，但当前整个无人零售行业快速发展，越来越多的长尾细分领域的商品加入无人零售，商品越来越趋向于非标商品，因此对无人货柜等的商品识别的要求越来越高、越来越复杂。
如图1所示，为解决上述问题，本发明实施例提供的一种商品识别系统，包括：
移动装置，用于输入柜门打开请求。
具体地，移动装置可包括手机、平板电脑等终端设备，用户要在无人货柜中购买商品时，首先通过手机等移动装置上传柜门打开请求，例如：通过小程序或微信公众号等软件扫描无人货柜上的二维码上传柜门打开请求。
无人货柜，用于当接收到所述柜门打开请求时，打开柜门。
摄像头，所述摄像头设置在所述无人货柜内，用于在所述柜门打开时，开始拍摄取货视频，在所述柜门关闭时，停止拍摄。
具体地，通常至少设置两个摄像头，当接收到柜门打开请求时，无人货柜的中控机控制柜门打开，同时控制安装在无人货柜内的摄像头开始工作，拍摄用户取货的全过程，当用户取完商品，关上柜门时，中控机控制摄像头停止拍摄，并通过系统服务将拍摄的取货视频上传至任务调度装置，并在视频上传完成后，向任务调度装置发送视频识别请求。
任务调度装置，用于获取所述取货视频，并将所述取货视频分发给一个或多个商品识别装置；
商品识别装置，用于通过内置的识别模型识别所述取货视频中被取出的商品，并将商品识别结果发送至结果判定装置。
具体地，识别模型可为深度学习等机器学习模型，商品识别装置可为内置有深度学习模型的服务器，深度学习模型能识别出取货视频中从无人货柜取出的商品。商品识别装置的数量为多个。任务调度装置和商品识别装置之间的分发结构可采用Master-Worker架构。
结果判定装置，用于对所有所述商品识别结果进行判断，在所有所述商品识别结果中确定最终结果。
具体地，结果判定装置对各个商品识别装置上传的商品识别结果进行判定，确定最终识别结果，最终识别结果包括用户从无人货柜中取出的商品。当超过标定数量的商品识别结果一致时，表示该商品识别结果为最终的识别结果，该商品识别结果对应的商品就是被用户取出的商品；当任一种商品识别结果的数量均未达到标定数量时，表示各个商品识别结果之间存在争议。
本实施例中，用户在无人货柜购买商品时，首先通过移动装置上传柜门打开请求，无人货柜在接收到柜门打开请求后打开柜门，同时控制摄像头开始拍摄视频，用户在无人货柜中选取商品，当取出商品关闭柜门后，摄像头停止拍摄，并将拍摄的取货视频上传至任务调度装置。任务调度装置根据取货视频生成识别任务，并将识别任务分发给一个或多个商品识别装置，商品识别装置识别取货视频中被取出的商品，并将商品识别结果发送至结果判定装置。通过对拍摄的动态视频进行识别，确定用户取出的商品，降低了对商品摆放的要求，同时不需要设置RFID标签等设备，大幅降低了无人货柜的运营成本。结果判定装置对所有商品识别结果进行判定，确定最终的识别结果，确定用户取出的商品。对多个商品识别装置返回的商品识别结果进行判定，确定最终的识别结果，大幅提高了商品识别精度，能够降低货损率。
可选地，还包括仲裁平台，所述仲裁平台用于接收所述任务调度装置上传的仲裁任务，并将所述仲裁任务分发给仲裁人员装置，接收所述仲裁人员装置返回的最终识别结果。
具体地，当各个商品识别装置对取货视频识别得到的商品识别结果之间存在争议时，任务调度装置将各个商品识别结果上传至仲裁平台，仲裁平台生成仲裁任务，仲裁平台根据仲裁人员装置的反馈结果确定各个仲裁人员的当前工作状态，然后将仲裁任务分发给相对空闲的仲裁人员的仲裁人员装置上，仲裁人员对各个商品识别结果进行判定，并通过仲裁人员装置将仲裁结果(即最终识别结果)返回给仲裁平台，仲裁平台发送至任务调度装置。仲裁人员装置可为手机和计算机等终端设备。
如图2所示，本发明实施例提供的一种视频处理方法，包括：
步骤S110，获取摄像头拍摄的取货视频。
可选地，在所述获取摄像头拍摄的取货视频之前，还包括：
当检测到无人货柜的柜门打开时，控制所述摄像头开始拍摄所述取货视频；
当检测到所述无人货柜的柜门关闭时，控制所述摄像头停止拍摄。
具体地，当摄像头结束拍摄后，接收通过无人货柜中控机的系统服务上传的取货视频。当取货视频上传结束时，接收中控机的系统服务发出的商品识别请求。
步骤S120，将所述取货视频分发给一个或多个商品识别装置，其中，所述商品识别装置用于通过内置的识别模型识别所述取货视频中被取出的商品。
可选地，在所述将所述取货视频分发给一个或多个空闲的商品识别装置之前，包括：
每间隔预定时间接收多个所述商品识别装置发送的心跳包，所述心跳包包括对应的所述商品识别装置的当前负载；
将所述当前负载与第一预设阈值进行对比；
当所述当前负载小于或等于所述第一预设阈值时，表示所述商品识别装置处于空闲状态；将所述取货视频分发给一个或多个商品识别装置，包括将所述取货视频分发给一个或多个处于空闲状态的商品识别装置；
当所述当前负载大于所述第一预设阈值时，表示所述商品识别装置处理忙碌状态。
具体地，通过任务调度装置和商品识别装置之间的心跳机制，能够实时确定各个商品识别装置的负载情况。接收到商品识别请求后，根据商品识别请求生成识别任务，可采用double(双重)分发策略将识别任务分发给至少一个空闲的商品识别装置，其中，double分发策略是一种高可用机制，具体分发过程例如：若识别任务中的取货视频为双摄视频，则将每段取货视频分发两次，且保证每次分发给不同的商品识别装置，商品识别装置完成商品识别后，在获取上报的商品识别结果时，只需要其中一个商品识别装置有上报结果即可，能够避免单个商品识别装置连接异常导致结果无法上报，导致商品识别结果数量减少导致识别精度降低。
商品识别装置在接收到识别任务后，通过内置的深度学习等机器学习模型对取货视频进行识别，具体的视频识别方法为现有技术，在此不再赘述，并将商品识别结果上报给结果判定引擎。
本可选的实施例中，由于摄像头拍摄的取货视频记录了用户取货的动态过程，通过商品识别装置内置的深度学习模型在取货视频中确定用户取出的商品，相较于现有技术的静态识别方案，对商品的摆放没有特殊要求，能够降低工作人员的工作量。
步骤S130，接收各个所述商品识别装置返回的商品识别结果，并根据多个所述商品识别结果确定最终识别结果。
可选地，所述根据多个所述商品识别结果确定最终识别结果包括：
步骤S131，判断各个所述商品识别结果是否一致；
步骤S132，若是，则在所有所述商品识别结果中确定最终识别结果；若否，则根据各个所述商品识别结果生成仲裁任务，将所述仲裁任务发送至仲裁平台，所述仲裁平台用于仲裁人员对各个所述商品识别结果进行仲裁，确定最终识别结果。
可选地，每个所述商品识别结果包括零个或一个或多个待确定结果，所述判断各个所述商品识别结果是否一致包括：
步骤S1311，确定每个所述商品识别结果中包括的待确定结果和同一所述待确定结果的第一数量；
步骤S1312，对于每个所述待确定结果，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
步骤S1313，确定所述第二数量与所有所述商品识别结果的数量的第一比值，并将所述第一比值与第二预设阈值进行对比；
步骤S1314，当所述第一比值小于所述第二预设阈值时，表示所述待确定结果存在争议；
当所述第一比值大于或等于所述第二预设阈值时，确定所述待确定结果为所述最终识别结果。
具体地，确定每个商品识别结果中包括的待确定结果，以及同一待确定结果的数量，然后通过商品识别结果对每个待确定结果进行投票，一个商品识别结果中，若存在该待确定结果且该待确定结果的数量相同时，则该商品识别结果为一票，若待确定结果的得票数与所有商品识别结果的总数量之间的第一比值大于第二预设阈值时，表示该待确定结果为最终识别结果，第二预设阈值可为50％，即有超过半数的商品识别装置识别到该待确定结果，且识别的数量正确。若第一比值小于第二预设阈值时，表示该待确定结果存在争议，需要进行仲裁，根据该待确定结果和取货视频生成仲裁任务，发送至仲裁平台，由仲裁人员进行人工仲裁。
本可选的实施例中，通过各个商品识别装置返回的商品识别结果对各个待确定结果进行投票，能够保证识别结果的准确度，并且在存在争议的时候，引入人工仲裁，大幅提高了最终输出的结果的准确度。
可选地，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
对于每个所述待确定结果，确定包括所述待确定结果的所述商品识别结果的第三数量；
确定所述第三数量与所有所述商品识别结果的数量的第二比值，并将所述第二比值与第三预设阈值进行对比；
当所述第二比值小于所述第三预设阈值时，表示所述待确定结果存在争议；
当所述第二比值大于或等于所述第三预设阈值，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量。
具体地，对于任一待确定结果，首先包括该待确定结果的商品识别结果的数量，即确定有多少个商品识别装置识别到该待确定结果，若识别到该待确定结果的商品识别装置的数量达到了预设阈值，则确定识别到该待确定结果且识别的数量正确的商品识别结果是否达到了预设阈值，若识别到该待确定结果的商品识别装置的数量未达到预设阈值，表示该待确定结果存在争议，有待仲裁。
本可选的实施例中，对于一个待确定结果，首先确定是否有足够数量的商品识别装置识别到该待确定结果，根据确定的结果筛选出需要仲裁的待确定结果，能够提高最终结果的确定速度，并且能够提高识别的准确度。
可选地，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
确定各个所述商品识别结果包括的所述待确定结果的总数量是否相等；
若相等，则确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
若不相等，则根据各个所述商品识别结果生成仲裁任务。
本可选的实施例中，在判断各个待确定结果是否存在争议前，判断各个商品识别结果中包括的待确定结果的数量是否一致，一致则继续判断各个待确定结果，不一致则直接上传至仲裁平台进行仲裁，能够省去中间环节，大幅提高商品识别的速度和准确度。
可选地，所述仲裁任务包括所述取货视频和存在争议的所述待确定结果，将所述仲裁任务发送至仲裁平台之后，还包括：接收所述仲裁平台返回的所述最终识别结果。
具体地，当各个比值均小于第二预设阈值，即各个商品识别装置返回的商品识别结果存在争议时，根据各个商品识别装置生成仲裁任务，将仲裁任务上传至仲裁平台，仲裁平台根据各个中采访的工作状态，将仲裁任务发送给相对空闲的仲裁方，即仲裁人员，由仲裁人员人工在所有商品识别结果中裁定出最终识别结果。
本可选的实施例中，将商品识别与仲裁机制相结合，在商品识别结果存在争议时，由仲裁方进行裁决，可通过人机配合纠正商品识别装置识别商品时存在的误差，从而保证商品识别精度，提升用户的购物体验，保障运营方的利益。
可选地，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
将所述最终识别结果发送给各个所述商品识别装置；
根据所述最终识别结果对各个所述商品识别装置中的所述识别模型进行训练，更新所述识别模型。
具体地，在进行商品识别之前，预先对深度学习模型进行训练，在商品识别过程中直接使用该训练好的深度学习模型，同时利用商品识别过程中的数据再次训练深度学习模型，能够提高深度学习模型的商品识别精度。
本可选的实施例中，在商品识别的过程中，使用最终确定的最终识别结果继续训练识别模型，能够逐步提升识别模型的识别精度。
可选地，所述最终识别结果包括被取出的商品，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
根据所述最终识别结果中的被取出的商品生成支付账单，将所述支付账单推送至移动装置；
当接收到所述移动装置返回的支付信息后，将支付完成信息和所述支付账单推送至所述移动装置。
具体地，将支付账单推送至移动装置，用户通过移动装置的客户端对支付账单进行支付，返回支付信息，当接收到支付信息时，将支付完成信息和支付账单推送给移动装置进行展示，用户可直接在移动装置上查看支付情况和支付账单，便于用户了解购物情况。
本实施例中，用户在无人货柜中购买商品时，获取摄像头拍摄的取货视频，然后可根据取货视频生成识别任务，识别任务包括该取货视频，将识别任务分发给一个或多个空闲的商品识别装置，空闲的商品识别装置能够实时进行商品识别，能够减少商品识别的时间，提高识别效率。商品识别装置可通过内置的识别模型在取货视频中识别出用户取出的商品，识别模型可预先训练得到，通过识别模型识别商品速度快、精度高，且识别模型的商品识别精度会随着商品识别次数的增加越来越高。判断各个商品识别结果是否一致，若一致，在所有商品识别结果中确定用户取出的商品。结合多个商品识别装置的识别结果确定被用户取出的商品，能够避免单个商品识别装置识别中可能存在的误差，提高商品识别的精度。若不一致，生成仲裁任务发送至仲裁平台，由仲裁人员人工对商品识别结果进行仲裁，确定被用户取出的商品，本发明的技术方案对多个商品识别装置的识别结果进行综合判断，得到最终识别结果，确定用户取出的商品，提高了商品识别率，并且，不需要RFID等辅助设备，降低了运营成本。
本发明另一实施例提供的一种电子设备包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如上所述的视频处理方法。
本发明再一实施例提供的一种计算机可读存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的视频处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (14)
1.一种视频处理方法，其特征在于，包括：
获取摄像头拍摄的取货视频；
将所述取货视频分发给一个或多个商品识别装置，其中，所述商品识别装置用于通过内置的识别模型识别所述取货视频中被取出的商品；
接收各个所述商品识别装置返回的商品识别结果，并根据多个所述商品识别结果确定最终识别结果。
2.根据权利要求1所述的视频处理方法，其特征在于，所述根据多个所述商品识别结果确定最终识别结果包括：
判断多个所述商品识别结果是否一致；
若是，则根据所述商品识别结果确定所述最终识别结果；若否，则根据各个所述商品识别结果生成仲裁任务，将所述仲裁任务发送至仲裁平台，所述仲裁平台用于仲裁人员对各个所述商品识别结果进行仲裁，确定所述最终识别结果。
3.根据权利要求2所述的视频处理方法，其特征在于，每个所述商品识别结果包括零个或一个或多个待确定结果，所述判断各个所述商品识别结果是否一致包括：
确定每个所述商品识别结果中包括的待确定结果和同一所述待确定结果的第一数量；
对于每个所述待确定结果，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
确定所述第二数量与所有所述商品识别结果的数量的第一比值，并将所述第一比值与第二预设阈值进行对比；
当所述第一比值小于所述第二预设阈值时，表示所述待确定结果存在争议；
当所述第一比值大于或等于所述第二预设阈值时，确定所述待确定结果为所述最终识别结果。
4.根据权利要求3所述的视频处理方法，其特征在于，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
对于每个所述待确定结果，确定包括所述待确定结果的所述商品识别结果的第三数量；
确定所述第三数量与所有所述商品识别结果的数量的第二比值，并将所述第二比值与第三预设阈值进行对比；
当所述第二比值小于所述第三预设阈值时，表示所述待确定结果存在争议；
当所述第二比值大于或等于所述第三预设阈值，确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量。
5.根据权利要求3或4所述的视频处理方法，其特征在于，所述确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量之前，还包括：
确定各个所述商品识别结果包括的所述待确定结果的总数量是否相等；
若相等，则确定包括所述待确定结果且所述待确定结果的第一数量相同的所述商品识别结果的第二数量；
若不相等，则根据各个所述商品识别结果生成仲裁任务。
6.根据权利要求2至4任一项所述的视频处理方法，其特征在于，所述仲裁任务包括所述取货视频和存在争议的所述待确定结果，将所述仲裁任务发送至仲裁平台之后，还包括：
接收所述仲裁平台返回的所述最终识别结果。
7.根据权利要求6所述的视频处理方法，其特征在于，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
将所述最终识别结果发送给各个所述商品识别装置；
根据所述最终识别结果对各个所述商品识别装置中的所述识别模型进行训练，更新所述识别模型。
8.根据权利要求6所述的视频处理方法，其特征在于，所述最终识别结果包括被取出的商品，所述根据多个所述商品识别结果确定最终识别结果，或接收所述仲裁平台返回的所述最终识别结果之后，还包括：
根据所述最终识别结果中的被取出的商品生成支付账单，将所述支付账单推送至移动装置；
当接收到所述移动装置返回的支付信息后，将支付完成信息和所述支付账单推送至所述移动装置。
9.根据权利要求1至4任一项所述的视频处理方法，其特征在于，在所述获取摄像头拍摄的取货视频之前，还包括：
当检测到无人货柜的柜门打开时，控制所述摄像头开始拍摄所述取货视频；
当检测到所述无人货柜的柜门关闭时，控制所述摄像头停止拍摄。
10.根据权利要求1至4任一项所述的视频处理方法，其特征在于，在所述将所述取货视频分发给一个或多个空闲的商品识别装置之前，包括：
每间隔预定时间接收多个所述商品识别装置发送的心跳包，所述心跳包包括对应的所述商品识别装置的当前负载；
将所述当前负载与第一预设阈值进行对比；
当所述当前负载小于或等于所述第一预设阈值时，表示所述商品识别装置处于空闲状态；将所述取货视频分发给一个或多个商品识别装置，包括将所述取货视频分发给一个或多个处于空闲状态的商品识别装置。
11.一种商品识别系统，其特征在于，包括：
无人货柜，用于当接收到柜门打开请求时，打开柜门；
摄像头，所述摄像头设置在所述无人货柜内，用于在所述柜门打开时，开始拍摄取货视频，在所述柜门关闭时，停止拍摄；
任务调度装置，用于获取所述取货视频，并将所述取货视频分发给一个或多个商品识别装置；
商品识别装置，用于通过内置的识别模型识别所述取货视频中被取出的商品，并将商品识别结果发送至结果判定装置；
结果判定装置，用于对所有所述商品识别结果进行判断，在所有所述商品识别结果中确定最终识别结果。
12.根据权利要求11所述的商品识别系统，其特征在于，还包括仲裁平台，所述仲裁平台用于接收所述任务调度装置上传的仲裁任务，并将所述仲裁任务分发给仲裁人员装置，接收所述仲裁人员装置返回的最终识别结果。
13.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现如权利要求1至10任一项所述的视频处理方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至10任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110234714.9A CN113178032A (zh) | 2021-03-03 | 2021-03-03 | 一种视频处理方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110234714.9A CN113178032A (zh) | 2021-03-03 | 2021-03-03 | 一种视频处理方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113178032A true CN113178032A (zh) | 2021-07-27 |
Family
ID=76921827
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110234714.9A Pending CN113178032A (zh) | 2021-03-03 | 2021-03-03 | 一种视频处理方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113178032A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721496A (zh) * | 2023-08-04 | 2023-09-08 | 广东星云开物科技股份有限公司 | 数据传输方法、共享售卖柜和存储介质 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104916035A (zh) * | 2015-06-09 | 2015-09-16 | 普联软件股份有限公司 | 一种基于涂抹技术的票据识别系统及识别方法 |
| CN107368898A (zh) * | 2017-06-30 | 2017-11-21 | 佛山职业技术学院 | 一种智能报障维保监测方法 |
| CN108323209A (zh) * | 2018-01-29 | 2018-07-24 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、系统、云处理设备以及计算机程序产品 |
| CN108335408A (zh) * | 2018-03-02 | 2018-07-27 | 北京京东尚科信息技术有限公司 | 用于自动售货机的物品识别方法、装置、系统及存储介质 |
| CN109559457A (zh) * | 2017-09-27 | 2019-04-02 | 缤果可为（北京）科技有限公司 | 基于神经网络识别商品的收银方法以及自助收银台 |
| CN109979130A (zh) * | 2019-03-29 | 2019-07-05 | 厦门益东智能科技有限公司 | 一种商品自动识别和结算售货柜、方法以及系统 |
| CN110097140A (zh) * | 2019-05-13 | 2019-08-06 | 招商局重庆交通科研设计院有限公司 | 一种用于隧道巡检机器人的数据处理系统 |
| CN110298965A (zh) * | 2019-07-04 | 2019-10-01 | 苏州麦垛信息科技有限公司 | 一种基于动态计算机视觉识别的智能售卖柜系统及其方法 |
| CN110728287A (zh) * | 2019-10-10 | 2020-01-24 | 深圳铂石空间科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
| CN110867196A (zh) * | 2019-12-03 | 2020-03-06 | 桂林理工大学 | 一种基于深度学习及声音识别的机器设备状态监测系统 |
| CN110991442A (zh) * | 2019-09-02 | 2020-04-10 | 南京感动科技有限公司 | 一种高速公路车牌云端高精准识别方法 |
| WO2020136500A1 (en) * | 2018-12-28 | 2020-07-02 | Datalogic Ip Tech S.R.L. | Automated point of sale systems and methods |
| CN111652286A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种基于图嵌入的物体识别方法、设备及介质 |
| CN111813516A (zh) * | 2020-06-29 | 2020-10-23 | 中国平安人寿保险股份有限公司 | 资源管控方法、装置、计算机设备及存储介质 |
| CN111865817A (zh) * | 2020-06-23 | 2020-10-30 | 烽火通信科技股份有限公司 | 遥测采集器负载均衡管控方法、装置、设备及存储介质 |
-
2021
- 2021-03-03 CN CN202110234714.9A patent/CN113178032A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104916035A (zh) * | 2015-06-09 | 2015-09-16 | 普联软件股份有限公司 | 一种基于涂抹技术的票据识别系统及识别方法 |
| CN107368898A (zh) * | 2017-06-30 | 2017-11-21 | 佛山职业技术学院 | 一种智能报障维保监测方法 |
| CN109559457A (zh) * | 2017-09-27 | 2019-04-02 | 缤果可为（北京）科技有限公司 | 基于神经网络识别商品的收银方法以及自助收银台 |
| CN108323209A (zh) * | 2018-01-29 | 2018-07-24 | 深圳前海达闼云端智能科技有限公司 | 信息处理方法、系统、云处理设备以及计算机程序产品 |
| CN108335408A (zh) * | 2018-03-02 | 2018-07-27 | 北京京东尚科信息技术有限公司 | 用于自动售货机的物品识别方法、装置、系统及存储介质 |
| WO2020136500A1 (en) * | 2018-12-28 | 2020-07-02 | Datalogic Ip Tech S.R.L. | Automated point of sale systems and methods |
| CN109979130A (zh) * | 2019-03-29 | 2019-07-05 | 厦门益东智能科技有限公司 | 一种商品自动识别和结算售货柜、方法以及系统 |
| CN110097140A (zh) * | 2019-05-13 | 2019-08-06 | 招商局重庆交通科研设计院有限公司 | 一种用于隧道巡检机器人的数据处理系统 |
| CN110298965A (zh) * | 2019-07-04 | 2019-10-01 | 苏州麦垛信息科技有限公司 | 一种基于动态计算机视觉识别的智能售卖柜系统及其方法 |
| CN110991442A (zh) * | 2019-09-02 | 2020-04-10 | 南京感动科技有限公司 | 一种高速公路车牌云端高精准识别方法 |
| CN110728287A (zh) * | 2019-10-10 | 2020-01-24 | 深圳铂石空间科技有限公司 | 图像识别方法及装置、电子设备、存储介质 |
| CN110867196A (zh) * | 2019-12-03 | 2020-03-06 | 桂林理工大学 | 一种基于深度学习及声音识别的机器设备状态监测系统 |
| CN111652286A (zh) * | 2020-05-09 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 一种基于图嵌入的物体识别方法、设备及介质 |
| CN111865817A (zh) * | 2020-06-23 | 2020-10-30 | 烽火通信科技股份有限公司 | 遥测采集器负载均衡管控方法、装置、设备及存储介质 |
| CN111813516A (zh) * | 2020-06-29 | 2020-10-23 | 中国平安人寿保险股份有限公司 | 资源管控方法、装置、计算机设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721496A (zh) * | 2023-08-04 | 2023-09-08 | 广东星云开物科技股份有限公司 | 数据传输方法、共享售卖柜和存储介质 |
| CN116721496B (zh) * | 2023-08-04 | 2023-12-05 | 广东星云开物科技股份有限公司 | 数据传输方法、共享售卖柜和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108922026B (zh) | 一种自动售货机的补货管理方法、装置和用户终端 | |
| CN108320404B (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
| US12002009B2 (en) | Transitioning items from a materials handling facility | |
| US20230214768A1 (en) | Detecting inventory changes | |
| WO2020047919A1 (zh) | 无人售货方法、装置、系统、服务器及计算机可读存储介质 | |
| WO2019165892A1 (zh) | 自动售货方法、装置和计算机可读存储介质 | |
| CN108921645B (zh) | 一种商品购买判定方法、装置和用户终端 | |
| CN107995458B (zh) | 一种拍摄包装过程的方法及装置 | |
| US11328147B1 (en) | Identifying item barcodes | |
| IL172670A (en) | Apparatus, method and system for positively identifying an item | |
| US11288539B1 (en) | Tiered processing for item identification | |
| CN113627411A (zh) | 一种基于超分辨率的商品识别与价格匹配方法及系统 | |
| US10713614B1 (en) | Weight and vision based item tracking | |
| US20210271704A1 (en) | System and Method for Identifying Objects in a Composite Object | |
| CN112824990A (zh) | 一种货物信息的检测方法及其系统、机器人及处理终端 | |
| US20180189726A1 (en) | Systems and methods for monitoring and restocking merchandise | |
| CN116229469A (zh) | 一种基于ar技术的多目标拣货系统和拣货方法 | |
| CN113178032A (zh) | 一种视频处理方法、系统及存储介质 | |
| KR102466396B1 (ko) | 상품 정보 관리 방법 및 장치 | |
| US10372753B2 (en) | System for verifying physical object absences from assigned regions using video analytics | |
| US11093785B1 (en) | Inferring facility planograms | |
| CN110910567A (zh) | 扣付方法、装置、电子设备、计算机可读存储介质和货柜 | |
| US11572232B2 (en) | Systems and methods for automatically reconfiguring a building structure | |
| WO2019195049A1 (en) | Dynamic negative perpetual inventory resolution system | |
| CN114358881A (zh) | 自助结算方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210727 |
|
| RJ01 | Rejection of invention patent application after publication |