CN111931740B - 商品销量识别方法及装置、电子设备、存储介质 - Google Patents

商品销量识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN111931740B
CN111931740B CN202011045046.7A CN202011045046A CN111931740B CN 111931740 B CN111931740 B CN 111931740B CN 202011045046 A CN202011045046 A CN 202011045046A CN 111931740 B CN111931740 B CN 111931740B
Authority
CN
China
Prior art keywords
hand
state
commodity
position information
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011045046.7A
Other languages
English (en)
Other versions
CN111931740A (zh
Inventor
秦永强
高达辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ainnovation Nanjing Technology Co ltd
Original Assignee
Ainnovation Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ainnovation Nanjing Technology Co ltd filed Critical Ainnovation Nanjing Technology Co ltd
Priority to CN202011045046.7A priority Critical patent/CN111931740B/zh
Publication of CN111931740A publication Critical patent/CN111931740A/zh
Application granted granted Critical
Publication of CN111931740B publication Critical patent/CN111931740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0202—Market predictions or forecasting for commercial activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0639—Item locations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Biology (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种商品销量识别方法及装置、电子设备、计算机可读存储介质，该方法包括：对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；依据手部运动轨迹、商品陈列区域的位置信息和手部状态，确定手部进入商品陈列区域前的第一手部状态，以及，手部离开商品陈列区域后的第二手部状态；判断第一手部状态和第二手部状态是否一致；若否，基于第一手部状态和第二手部状态更新销量数据。本申请实施例，通过采集传统分销设备所在位置的视频帧序列，实现对商品销量的实时监控，可对不同款式的商品分别统计，从而获得精细的销量数据。

Description

商品销量识别方法及装置、电子设备、存储介质
技术领域
本申请涉及零售管理技术领域，特别涉及一种商品销量识别方法及装置、电子设备、计算机可读存储介质。
背景技术
及时掌握分销终端的商品销量及销量变化趋势，对于快消品品牌商具有重要意义，有助于品牌商确定当下热销的单品并制定相应的营销策略。对于具有很强时效性的商品，实时掌握销量变化趋势，有助于快速响应市场需求，从而实现精确的商品供应。目前线下快消品分销场所（如超市、小卖店等）的各类商品销售数据孤立地存储在各分销场所内的计算机设备内。鉴于销量数据的敏感性，快消品品牌商通常很难拿到自己商品在各分销场所的销量数据，无法实时获知销量变化趋势。
随着零售技术的发展，目前主要可通过两种手段确定商品销量：一种是基于供应链的销量预测技术，利用销量预测算法，对一条供应链的历史销售数据、商品分销规律和其它供应链数据进行计算，从而预测未来一段时间内的商品销量。另一种是基于智能分销终端的自动计算系统，利用图像识别技术、重力传感技术、线上自主结算计算等多种手段综合判定商品消费行为，从而获知商品销量。
然而，第一种手段是预测而非测量，销量数据的实时性不强，且存在误差较大和精确感知能力弱等缺点。第二种手段需借助昂贵的智能分销终端设备，成本过高，且不能适用于现有的传统分销设备。
发明内容
本申请实施例的目的在于提供一种商品销量识别方法及装置、电子设备、计算机可读存储介质，用于借助图像处理技术在兼容传统分销设备的情况下，实现对分销终端的销量数据的实时感知。
一方面，本申请提供了一种商品销量识别方法，包括：
对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态；
依据所述手部运动轨迹、所述商品陈列区域的位置信息和所述手部状态，确定手部进入所述商品陈列区域前的第一手部状态，以及，手部离开所述商品陈列区域后的第二手部状态；
判断所述第一手部状态和所述第二手部状态是否一致；
若否，基于所述第一手部状态和所述第二手部状态更新销量数据。
在一实施例中，所述基于所述第一手部状态和所述第二手部状态更新销量数据，包括：
判断所述第一手部状态和所述第二手部状态是否为手持商品状态；
如果所述第一手部状态是手持商品状态，将所述第一手部状态对应的商品类别的销量数据减一；
如果所述第二手部状态是手持商品状态，将所述第二手部状态对应的商品类别的销量数据加一。
在一实施例中，所述将所述第一手部状态对应的商品类别的销量数据减一，包括：
判断所述第一手部状态对应的商品类别的置信度是否达到预设置信度阈值；
如果是，将所述第一手部状态对应的商品类别的销量数据减一；
如果否，将所述手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一。
在一实施例中，所述将所述第二手部状态对应的商品类别的销量数据加一，包括：
判断所述第二手部状态对应的商品类别的置信度是否达到预设置信度阈值；
如果是，将所述第二手部状态对应的商品类别的销量数据加一；
如果否，将所述手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一。
在一实施例中，对所述目标视频帧序列的识别结果还包括所述商品陈列区域内多种商品对应的局部位置信息和商品类别；
在更新所述销量数据之前，所述方法还包括：
基于所述手部运动轨迹和所述商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为热点区域；其中，在所述手部运动轨迹中手部在所述热点区域的停留时长达到预设时长阈值。
在一实施例中，对所述目标视频帧序列的识别结果还包括所述商品陈列区域内多种商品对应的局部位置信息和商品类别；
在更新所述销量数据之前，所述方法还包括：
基于所述手部运动轨迹和所述商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为候选热点区域；其中，在所述手部运动轨迹中手部在所述候选热点区域的停留时长达到预设时长阈值；
针对每一候选热点区域，判断在所述候选热点区域手部状态是否发生变化；
如果是，确定所述候选热点区域为热点区域。
在一实施例中，所述将所述手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一，包括：
将所述第一个热点区域在所述手部状态变化之后对应的商品类别的销量数据减一；
所述将所述手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一，包括：
将所述最后一个热点区域在所述手部状态变化之前对应的商品类别的销量数据加一。
在一实施例中，所述对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态，包括：
将所述目标视频帧中每一视频帧输入已训练的目标检测网络，获得所述目标检测网络输出的多个目标的位置信息和类别信息；
针对每一视频帧，如果任一目标的类别信息为所述商品陈列区域，确定该目标的位置信息为所述商品陈列区域的位置信息；
针对每一视频帧，如果任一目标的类别信息为空手状态下的手或手持状态下的手，依据该目标的类别信息和位置信息确定该视频帧中的手部位置信息和手部状态。
另一方面，本申请还提供了一种商品销量识别装置，包括：
识别模块，用于对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态；
确定模块，用于依据所述手部运动轨迹、所述商品陈列区域的位置信息和所述手部状态，确定手部进入所述商品陈列区域前的第一手部状态，以及，手部离开所述商品陈列区域后的第二手部状态；
判断模块，用于判断所述第一手部状态和所述第二手部状态是否一致；
更新模块，用于若否，基于所述第一手部状态和所述第二手部状态更新销量数据。
进一步，本申请还提供了一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述商品销量识别方法。
另外，本申请还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述商品销量识别方法。
本申请实施例中，通过对目标视频帧序列中消费行为进行识别，可以获得商品陈列区域的位置信息，以及，每一视频帧中手部位置信息和手部状态；根据手部位置信息构成的手部运动轨迹、商品陈列区域和手部状态，可以确定手部进入商品陈列区域前的第一手部状态和离开商品陈列区域后的第二手部状态，并依据第一手部状态和第二手部状态更新销量数据；
上述措施无需借助复杂昂贵的智能分销设备，可以通过采集传统分销设备所在位置的视频帧序列，实现对商品销量的实时监控，可对不同款式的商品分别统计，获得精细的销量数据。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。
图1为本申请一实施例提供的商品销量识别方法的应用场景示意图；
图2为本申请一实施例提供的电子设备的结构示意图；
图3为本申请一实施例提供的商品销量识别方法的流程示意图；
图4为本申请一实施例提供的消费行为的示意图；
图5为本申请一实施例提供的确定热点区域的方法的流程示意图；
图6为本申请一实施例提供的商品销量识别装置的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
图1为本申请实施例提供的商品销量识别方法的应用场景示意图。如图1所示，该应用场景包括服务端30和客户端20，服务端30可以是服务器、服务器集群或者云计算中心，服务端30可以对客户端20上传的视频帧序列执行商品销量识别的业务。客户端20可以是网络摄像机，用于采集分销终端的视频帧序列，并向服务端30上传视频帧序列。
如图2所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图2中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以是上述服务端30。
存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory，简称EPROM），可编程只读存储器（Programmable Red-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。
本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本申请提供的商品销量识别方法。
参见图3，为本申请一实施例提供的商品销量识别方法的流程示意图，如图3所示，该方法可以包括以下步骤310-步骤340。
步骤310：对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态。
本申请实施例中的商品销量识别方法可以应用于与分销终端上摄像机连接的服务端设备，或者，分销终端上具有摄像功能的智能设备。为便于描述方案，后文以服务端为执行主体。分销终端可以是分销场所放置商品的设备，比如，分销终端可以是放置饮料、食品的冰柜。
目标视频帧序列是记录一次消费行为的视频帧序列。服务端可以对每一视频帧进行识别，从而依据识别结果，将消费者的手部进入商品陈列区域到离开商品陈列区域的过程认定为一次消费行为，并将包含该消费行为的视频帧序列作为目标视频帧序列。
商品陈列区域是视频帧中分销终端内陈列商品的区域。示例性的，卧式冰柜的内部区域都可认为是商品陈列区域。
手部状态可以包括空手状态和手持状态。空手状态表示手部未持有任何商品。手持状态表示手部持有商品，依据实际应用过程中商品类别的数量，可以包括与每一商品类别对应的手持商品状态。示例性的，商品陈列区域中包含的商品包括A商品、B商品和C商品，则手持状态可以包括手持A商品状态、手持B商品状态和手持C商品状态。
参见图4，为本申请一实施例提供的消费行为的示意图，如图4所示，实线框40表示视频帧中场景范围，实线框41表示分销终端（比如：卧式冰柜），实线框41内就是商品陈列区域。实线框41内放置了三种冰淇淋。实线框42为手部运动轨迹中的初始手部位置，实线框43为手部运动轨迹中最后的手部位置。在包含一次完整消费行为的目标视频帧序列中，手部沿箭头方向从初始手部位置进入商品陈列区域，拿起处于中间位置的冰淇淋后，沿箭头方向离开商品陈列区域，来到最后的手部位置。图4示出的是一次简单的取货过程，实际的消费行为还可以包括退货过程，以及，更复杂的在商品陈列区域内挑拣的过程。
步骤320：依据手部运动轨迹、商品陈列区域的位置信息和手部状态，确定手部进入商品陈列区域前的第一手部状态，以及，手部离开商品陈列区域后的第二手部状态。
服务端可以依据手部运动轨迹和视频帧中的商品陈列区域，确定进入商品陈列区域前手部所在的至少一个视频帧，以及，离开商品陈列区域后手部所在的至少一个视频帧。在手部进入商品陈列区域前或者离开商品陈列区域后，一般情况下不会出现手部状态变化的情况。服务端可以将进入商品陈列区域前手部所在的任一视频帧中的手部状态，作为第一手部状态，并可以将离开商品陈列区域后手部所在的任一视频帧中的手部状态，作为第二手部状态。
在一实施例中，为避免手部在商品陈列区域以外时，实际场景对手部状态识别的干扰，服务端可以将进入商品陈列区域前手部所在的最后一个视频帧中的手部状态，作为第一手部状态；并将离开商品陈列区域后手部所在的第一个视频帧中的手部状态，作为第二手部状态。
在一实施例中，考虑到手部在进入商品陈列区域前或离开商品陈列区域后发生手部状态变化的特殊情况（比如：手持商品离开商品陈列区域后，商品从手中落下），服务端可以检查多个进入商品陈列区域前手部所在视频帧中的手部状态，并选择出现次数最多的手部状态作为第一手部状态；服务端可以检查多个离开商品陈列区域后手部所在视频帧中的手部状态，并选择出现次数最多的手部状态作为第二手部状态。
步骤330：判断第一手部状态和第二手部状态是否一致。
服务端可以判断进入商品陈列区域前的第一手部状态和离开商品陈列区域后的第二手部状态是否一致。
可分为多种情况：情况一，第一手部状态与第二手部状态一致，两者均为空手状态，在这种情况下，消费者未从商品陈列区域取走任何商品；情况二，第一手部状态和第二手部状态一致，两者均手持相同商品，在这种情况下，消费者的本次消费行为并未涉及新的商品，而此前取走的商品已在此前的统计过程中计入销量数据；情况三，第一手部状态和第二手部状态不一致，第一手部状态为空手状态，第二手部状态为手持商品状态，在这种情况下，消费者的本次消费行为从商品陈列区域取走了第二手部状态对应的商品；情况四，第一手部状态和第二手部状态不一致，第一手部状态为手持商品状态，第二手部状态为空手状态，在这种情况下，消费者的本次消费行为退回了此前从商品陈列区域取走的第一手部状态对应的商品；情况五，第一手部状态和第二手部状态不一致，第一手部状态和第二手部状态均为手持商品状态，在这种情况下，消费者的本次消费行为退回了此前从商品陈列区域取走的第一手部状态对应的商品，并从商品陈列区域取走第二手部状态对应的商品。
在第一手部状态和第二手部状态相同的情况下，服务端可认定本次消费行为无效，无需更新销量数据。
步骤340：若否，基于第一手部状态和第二手部状态更新销量数据。
在第一手部状态和第二手部状态不同的情况下，本次消费行为影响了商品销量，服务端需更新销量数据。服务端可以分别判断第一手部状态和第二手部状态。
对于第一手部状态，一方面，如果第一手部状态为空手状态，说明本次消费行为没有出现退货的情况。针对第一手部状态，无需更新销量数据。另一方面，如果第一手部状态为手持商品状态，说明本次消费行为退回了第一手部状态对应的商品。针对第一手部状态，服务端可以将第一手部状态对应的商品类别的销量数据减一。示例性的，如果第一手部状态为手持A商品状态，服务端可以将A商品的销量数据减一。
对于第二手部状态，一方面，如果第二手部状态为空手状态，说明本次消费行为没有从商品陈列区域取走任何商品。针对第二手部状态，无需更新销量数据。另一方面，如果第二手部状态为手持商品状态，说明本次消费行为取走了第二手部状态对应的商品。针对第二手部状态，服务端可以将第二手部状态对应的商品类别的销量数据加一。示例性的，如果第二手部状态为手持B商品状态，服务端可以将B商品的销量数据加一。
在一实施例中，服务端在对目标视频帧序列进行识别的过程，可以包括如下步骤410-步骤430。
步骤410：将所述目标视频帧中每一视频帧输入已训练的目标检测网络，获得目标检测网络输出的多个目标的位置信息和类别信息。
服务端可以将获得的每一视频帧作为已训练的目标检测网络的输入。其中，目标检测网络可以包括R-CNN（Region-based Convolutional Neural Networks，区域卷积神经网络）、YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector，单镜头多盒探测器）等用于实现目标定位和分类的网络中的任意一种。上传视频帧的摄像机与分销终端的相对位置固定，因此，摄像机上传的视频帧中通常可以包括商品陈列区域。当消费者伸手到商品陈列区域取出商品或者放回商品时，视频帧中会出现消费者的手。
对于记录消费行为的目标视频帧序列中的每一视频帧，目标检测网络可以识别出视频帧中多个目标的位置信息和类别信息。这里，视频帧中的目标可以包括商品陈列区域、商品陈列区域内的各个商品、空手状态下的手、手持状态下的手（手持不同商品的手是多种类别的目标）。目标在视频帧中所占的区域可以以矩形来表示，该矩形的位置信息可以根据在视频帧中建立的图像坐标系中矩形的左上角坐标和右下角坐标来表示，或者，以矩形中心点的坐标信息、矩形的宽度和高度来表示，具体形式以目标检测网络的输出为准。类别信息可以是多维向量，该多维向量中每一元素对应于一种类别，且元素的大小表示目标为该元素对应的类别的置信度，置信度最大的类别为类别信息实际指示的类别。示例性的，在应用场景中总共有A商品、B商品和C商品三种商品，此时有商品陈列区域、A商品、B商品、C商品、空手状态下的手、手持A商品的手、手持B商品的手、手持C商品的手共八种类别，类别信息为八维向量。
步骤420：针对每一视频帧，如果任一目标的类别信息为商品陈列区域，确定该目标的位置信息为商品陈列区域的位置信息。
步骤430：针对每一视频帧，如果任一目标的类别信息为空手状态下的手或手持状态下的手，依据该目标的类别信息和位置信息确定该视频帧中的手部位置信息和手部状态。
针对每一视频帧，服务端依据目标检测网络输出的每一目标的位置信息和类别信息。服务端可以检查每一目标的类别信息，如果任一目标的类别信息为商品陈列区域，可将该目标的位置信息作为商品陈列区域在该视频帧中的位置信息。由于采集视频帧序列的摄像机与分销终端的相对位置不变，所以，视频帧序列中商品陈列区域的位置信息保持不变。
如果任一目标的类别信息为空手状态下的手或手持状态下的手（包括多种手持不同商品的手），服务端可以确定视频帧中的手部位置信息和手部状态。服务端可以依据视频帧序列中每一视频帧中的手部位置信息，确定手部运动轨迹。当手部运动轨迹从商品陈列区域外进入到商品陈列区域，并从商品陈列区域中离开，服务端可将包含上述手部运动轨迹的视频帧序列作为包含一次消费行为的目标视频帧序列。
在执行步骤410到步骤430的方法之前，服务端可以训练得到应用于本方案的目标检测网络。服务端可以获取预先标注的样本视频帧，每一样本视频帧携带标签，该标签指示样本视频帧中目标的类别信息和位置信息。
服务端可以将大量样本视频帧输入目标检测网络，从而获得目标检测网络输出的每一样本视频帧中目标的预测类别信息和预测位置信息。服务端可以计算预测类别信息与标签中类别信息之间的差异，以及，预测位置信息与标签中位置信息之间的差异，并以损失函数评估上述差异。服务端可以依据评估结果调整目标检测网络得到网络参数。经过多次迭代训练后，可以获得能够准确实现目标检测的目标检测网络。
在一实施例中，服务端在将第一手部状态对应的商品类别的销量数据减一时，可以判断第一手部状态对应的商品类别的置信度是否达到预设置信度阈值。该置信度阈值可以是经验值，用于区分可认定为正确的商品类别。视频帧中的手持商品状态实际上是被分类为手持某种商品的手，当对应于手持任意一种商品的手的类别的置信度高于置信度阈值时，可以认定分类结果正确。
示例性的，视频帧中手的类别信息为多维向量，且该多维向量中对应于“手持B商品的手”的置信度为0.73，该置信度是多维向量中的最大置信度。服务端据此认定第一手部状态为手持B商品状态。如果置信度阈值为0.7，服务端可以判定B商品对应的置信度大于置信度阈值，在进入商品陈列区域前，手部确实持有B商品。
当第一手部状态对应的商品类别的置信度达到置信度阈值时，说明本次消费行为退回了该商品类别对应的商品，服务端可以将第一手部状态对应的商品类别的销量数据减一。
当第一手部状态对应的商品类别的置信度未达到置信度阈值时，服务端可以将手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一。在这种情况下，第一手部状态对应的商品类别可能错误，服务端以第一个热点区域对应的商品类别，作为消费者退回商品的实际商品类别，并以此更新销量数据。
其中，热点区域是依据手部运动轨迹确定的区域。热点区域之间的先后顺序以在视频帧序列中出现的次序为准。
在一实施例中，服务端在将第二手部状态对应的商品类别的销量数据加一时，可以判断第二手部状态对应的商品类别的置信度是否到达预设置信度阈值。
当第二手部状态对应的商品类别的置信度达到置信度阈值时，说明本次消费行为取出了该商品类别对应的商品，服务端可以将第二手部状态对应的商品类别的销量数据加一。
当第二手部状态对应的商品类别的置信度未达到置信度阈值时，服务端可以将手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一。在这种情况下，第二手部状态对应的商品类别可能错误，服务端以最后一个热点区域对应的商品类别，作为消费者取出商品的实际商品类别，并以此更新销量数据。
在一实施例中，服务端在依据热点区域的商品类别来纠正第一手部状态或第二手部状态对应的商品类别之前，首先需确定热点区域。服务端可以基于手部运动轨迹和商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为热点区域。其中，在手部运动轨迹中手部在热点区域的停留时长达到预设时长阈值。
服务端可以基于构成手部运动轨迹的每一视频帧中的手部位置信息，以及，每一视频帧中已识别出的各商品对应的局部位置信息，确定与手部位置重合的若干商品所在局部位置。对于任一视频帧，服务端可以计算该视频帧中手部位置信息对应的手部位置与任一局部位置信息对应的局部位置重合的面积，与手部位置的总面积之间的面积占比。服务端可以判断该面积占比是否达到预设比值阈值。
一方面，如果未达到该比值阈值，说明手部位置与商品所在的局部位置没有重合；另一方面，如果达到该比值阈值，说明手部位置与商品所在的局部位置重合。其中，比值阈值用于区分与商品所在局部位置重合的手部位置，比值阈值可以是经验值。示例性的，当手部位置与任一局部位置重合的面积，占手部位置的总面积的面积占比超过比值阈值50%时，可以确定手部位置与该局部位置重合。
上述时长阈值用于区分热点区域，该时长阈值可以是经验值。比如：消费者在商品所在局部位置可能花费3秒钟放下或拿起商品，因此，将3秒钟设定为时长阈值。服务端可以基于视频帧的帧率，将时长阈值换算成视频帧数量。比如：如果帧率为30帧每秒，时长阈值为3秒，换算后的视频帧数量为90帧。
针对每一视频帧，确定与手部位置信息重合的局部位置信息后，服务端可以判断两者是否在连续视频帧中均发生重合，且重合的视频帧数量达到以时长阈值换算的视频帧数量。一方面，如果是，服务端可以将该局部位置信息作为热点区域。另一方面，如果否，服务端可忽略该局部位置信息。后续服务端可以根据热点区域对应的商品类别纠正第一手部状态或第二手部状态对应的商品类别。
在一实施例中，服务端在依据热点区域的商品类别来纠正第一手部状态或第二手部状态对应的商品类别之前，首先需确定热点区域。参见图5，为本申请一实施例提供的确定热点区域的方法的流程示意图，如图5所示，该方法可以包括以下步骤510-步骤530。
步骤510：基于手部运动轨迹和商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为候选热点区域；其中，在手部运动轨迹中手部在候选热点区域的停留时长达到预设时长阈值。
服务端可以基于构成手部运动轨迹的每一视频帧中的手部位置信息，以及，每一视频帧中已识别出的各商品对应的局部位置信息，确定与手部位置重合的若干商品所在局部位置。对于任一视频帧，服务端可以计算该视频帧中手部位置信息对应的手部位置与任一局部位置信息对应的局部位置重合的面积，与手部位置的总面积之间的面积占比。服务端可以判断该面积占比是否达到预设比值阈值。
一方面，如果未达到该比值阈值，说明手部位置与商品所在的局部位置没有重合；另一方面，如果达到该比值阈值，说明手部位置与商品所在的局部位置重合。其中，比值阈值用于区分与商品所在局部位置重合的手部位置，比值阈值可以是经验值。
上述时长阈值用于区分可能存在手部状态变化的候选热点区域，该时长阈值可以是经验值。
针对每一视频帧，确定与手部位置信息重合的局部位置信息后，服务端可以判断两者是否在连续视频帧中均发生重合，且重合的视频帧数量达到以时长阈值换算的视频帧数量。一方面，如果是，服务端可以将该局部位置信息作为候选热点区域。另一方面，如果否，服务端可不作处理。
步骤520：针对每一候选热点区域，判断在候选热点区域手部状态是否发生变化。
步骤530：如果是，确定候选热点区域为热点区域。
筛选出候选热点区域后，服务端可以判断当手部处于候选热点区域时，手部状态是否发生变化。手部状态变化包括：从空手状态变为手持状态、从手持状态变为空手状态、从对应于一种商品类别的手持商品状态变为对应于另一种商品类别的手持商品状态。当发生手部状态变化时，可以认为消费者在候选热点区域拿起商品、放下商品或更换了商品。
一方面，如果在候选热点区域时，手部状态不变，可以不作处理。另一方面，如果在候选热点区域时，手部状态发生变化，服务端可以将该候选热点区域认定为热点区域。通过该措施，服务端可以从候选热点区域中选择与本次消费行为有关的热点区域。
在一实施例中，在确定热点区域后，服务端可以针对每一热点区域，将手部状态在该热点区域变化之前，该热点区域对应的商品类别，作为热点区域对应的旧商品类别。如果消费者在热点区域拿起商品，旧商品类别是消费者拿起的商品的商品类别。如果消费者在热点区域更换商品，旧商品类别是消费者更换后拿起的商品的商品类别。
针对每一热点区域，服务端可以将手部状态在该热点区域变化之后，该热点区域对应的商品类别，作为热点区域对应的新商品类别。如果消费者在热点区域放下商品，新商品类别为消费者放下的商品的商品类别。如果消费者在热点区域更换商品，新商品类别为消费者更换时放下的商品的商品类别。
同一热点区域对应的旧商品类别和新商品类别可能相同。示例性的，如果消费者手持A商品伸入商品陈列区域，并将A商品放置在商品陈列区域中其它A商品所在的局部位置，且新放入的A商品覆盖在原来A商品上方。这种情况下，热点区域对应的新商品类别与旧商品类别均为A商品，两者相同。
在该实施例中，服务端在将手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一时，可以将第一个热点区域在手部状态变化之后对应的商品类别的销量数据减一，换而言之，将第一个热点区域对应的新商品类别的销量数据减一。服务端在将手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一时，可以将最后一个热点区域在手部状态变化之前的商品类别的销量数据加一，换而言之，将最后一个热点区域对应的旧商品类别的销量数据加一。通过该实施例的措施，服务端可以在第一手部状态或第二手部状态对应的商品类别的置信度较低时，更准确地更新实际发生销量变化的商品的销量数据。
图6是本发明一实施例提供的商品销量识别装置的框图，如图6所示，该装置可以包括：识别模块610、确定模块620、判断模块630、更新模块640。
识别模块610，用于对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态。
确定模块620，用于依据所述手部运动轨迹、所述商品陈列区域的位置信息和所述手部状态，确定手部进入所述商品陈列区域前的第一手部状态，以及，手部离开所述商品陈列区域后的第二手部状态。
判断模块630，用于判断所述第一手部状态和所述第二手部状态是否一致。
更新模块640，用于若否，基于所述第一手部状态和所述第二手部状态更新销量数据。
上述装置中各个模块的功能和作用的实现过程具体详见上述商品销量识别方法中对应步骤的实现过程，在此不再赘述。
在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (8)

1.一种商品销量识别方法，其特征在于，包括：
对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态；
依据所述手部运动轨迹、所述商品陈列区域的位置信息和所述手部状态，确定手部进入所述商品陈列区域前的第一手部状态，以及，手部离开所述商品陈列区域后的第二手部状态；
判断所述第一手部状态和所述第二手部状态是否一致；
若否，判断所述第一手部状态和所述第二手部状态是否为手持商品状态；
如果所述第一手部状态是手持商品状态，判断所述第一手部状态对应的商品类别的置信度是否达到预设置信度阈值；如果是，将所述第一手部状态对应的商品类别的销量数据减一；如果否，将所述手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一；
如果所述第二手部状态是手持商品状态，判断所述第二手部状态对应的商品类别的置信度是否达到预设置信度阈值；如果是，将所述第二手部状态对应的商品类别的销量数据加一；如果否，将所述手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一。
2.根据权利要求1所述的方法，其特征在于，对所述目标视频帧序列的识别结果还包括所述商品陈列区域内多种商品对应的局部位置信息和商品类别；
在更新所述销量数据之前，所述方法还包括：
基于所述手部运动轨迹和所述商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为热点区域；其中，在所述手部运动轨迹中手部在所述热点区域的停留时长达到预设时长阈值。
3.根据权利要求1所述的方法，其特征在于，对所述目标视频帧序列的识别结果还包括所述商品陈列区域内多种商品对应的局部位置信息和商品类别；
在更新所述销量数据之前，所述方法还包括：
基于所述手部运动轨迹和所述商品陈列区域内多种商品对应的局部位置信息，将若干局部位置信息作为候选热点区域；其中，在所述手部运动轨迹中手部在所述候选热点区域的停留时长达到预设时长阈值；
针对每一候选热点区域，判断在所述候选热点区域手部状态是否发生变化；
如果是，确定所述候选热点区域为热点区域。
4.根据权利要求3所述的方法，其特征在于，所述将所述手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一，包括：
将所述第一个热点区域在所述手部状态变化之后对应的商品类别的销量数据减一；
所述将所述手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一，包括：
将所述最后一个热点区域在所述手部状态变化之前对应的商品类别的销量数据加一。
5.根据权利要求1所述的方法，其特征在于，所述对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态，包括：
将所述目标视频帧中每一视频帧输入已训练的目标检测网络，获得所述目标检测网络输出的多个目标的位置信息和类别信息；
针对每一视频帧，如果任一目标的类别信息为所述商品陈列区域，确定该目标的位置信息为所述商品陈列区域的位置信息；
针对每一视频帧，如果任一目标的类别信息为空手状态下的手或手持状态下的手，依据该目标的类别信息和位置信息确定该视频帧中的手部位置信息和手部状态。
6.一种商品销量识别装置，其特征在于，包括：
识别模块，用于对目标视频帧序列进行识别，获得商品陈列区域的位置信息、每一视频帧中手部位置信息和手部状态；其中，每一视频帧中手部位置信息构成本次消费行为的手部运动轨迹；手部状态包括与每一商品类别对应的手持商品状态；
确定模块，用于依据所述手部运动轨迹、所述商品陈列区域的位置信息和所述手部状态，确定手部进入所述商品陈列区域前的第一手部状态，以及，手部离开所述商品陈列区域后的第二手部状态；
判断模块，用于判断所述第一手部状态和所述第二手部状态是否一致；
更新模块，用于若否，判断所述第一手部状态和所述第二手部状态是否为手持商品状态；
如果所述第一手部状态是手持商品状态，判断所述第一手部状态对应的商品类别的置信度是否达到预设置信度阈值；如果是，将所述第一手部状态对应的商品类别的销量数据减一；如果否，将所述手部运动轨迹中第一个热点区域对应的商品类别的销量数据减一；
如果所述第二手部状态是手持商品状态，判断所述第二手部状态对应的商品类别的置信度是否达到预设置信度阈值；如果是，将所述第二手部状态对应的商品类别的销量数据加一；如果否，将所述手部运动轨迹中最后一个热点区域对应的商品类别的销量数据加一。
7.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1-5任意一项所述的商品销量识别方法。
8.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-5任意一项所述的商品销量识别方法。
CN202011045046.7A 2020-09-29 2020-09-29 商品销量识别方法及装置、电子设备、存储介质 Active CN111931740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011045046.7A CN111931740B (zh) 2020-09-29 2020-09-29 商品销量识别方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011045046.7A CN111931740B (zh) 2020-09-29 2020-09-29 商品销量识别方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN111931740A CN111931740A (zh) 2020-11-13
CN111931740B true CN111931740B (zh) 2021-01-26

Family

ID=73335217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011045046.7A Active CN111931740B (zh) 2020-09-29 2020-09-29 商品销量识别方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN111931740B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528824B (zh) * 2020-12-02 2022-11-25 创新奇智(深圳)技术有限公司 防止幼儿食用异物的方法及装置、电子设备、存储介质
CN115601686B (zh) * 2022-12-09 2023-04-11 浙江莲荷科技有限公司 物品交付确认的方法、装置和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN109697652A (zh) * 2018-06-29 2019-04-30 京东方科技集团股份有限公司 一种商场的商品推荐方法和服务器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750361B (zh) * 2012-06-13 2015-02-18 中国矿业大学 基于局部多层网格的轨迹数据热点区域发现方法
US10713670B1 (en) * 2015-12-31 2020-07-14 Videomining Corporation Method and system for finding correspondence between point-of-sale data and customer behavior data
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN110674712A (zh) * 2019-09-11 2020-01-10 苏宁云计算有限公司 交互行为识别方法、装置、计算机设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921645A (zh) * 2018-06-07 2018-11-30 深圳码隆科技有限公司 一种商品购买判定方法、装置和用户终端
CN109697652A (zh) * 2018-06-29 2019-04-30 京东方科技集团股份有限公司 一种商场的商品推荐方法和服务器

Also Published As

Publication number Publication date
CN111931740A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN111626681B (zh) 一种用于库存管理的图像识别系统
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
US11216868B2 (en) Computer vision system and method for automatic checkout
CN108492482B (zh) 货品监控系统及监控方法
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN111415461B (zh) 物品识别方法及系统、电子设备
WO2020010827A1 (zh) 一种基于开放式自动售货机的购物结算方法和装置
CN111931740B (zh) 商品销量识别方法及装置、电子设备、存储介质
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
CN109241883B (zh) 一种基于自动售货机的退货控制方法及其装置
TWI578272B (zh) Shelf detection system and method
CN111263224B (zh) 视频处理方法、装置及电子设备
CN111222389B (zh) 商超货架上商品的分析方法和系统
CN111626201A (zh) 商品检测方法、装置及可读存储介质
CN114898249B (zh) 用于购物车内商品数量确认的方法、系统及存储介质
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN111723777A (zh) 商品取放过程判别方法、装置、智能货柜和可读存储介质
EP3901818A1 (en) Method and system for analyzing commodities on supermarket shelf
US20180189726A1 (en) Systems and methods for monitoring and restocking merchandise
CN114743307A (zh) 智能货柜的商品识别方法、装置、电子设备及存储介质
CN109035558B (zh) 一种用于无人售货柜的商品识别算法在线学习系统
US20230177458A1 (en) Methods and systems for monitoring on-shelf inventory and detecting out of stock events
CN111507792A (zh) 一种自助购物方法、计算机可读存储介质及系统
WO2023221770A1 (zh) 一种动态目标分析方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 19 / F, building B, Xingzhi science and Technology Park, 6 Xingzhi Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 210000

Patentee after: AINNOVATION (NANJING) TECHNOLOGY Co.,Ltd.

Address before: Floor 19, building B, Xingzhi science and Technology Park, 6 Xingzhi Road, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu Province

Patentee before: AINNOVATION (NANJING) TECHNOLOGY Co.,Ltd.