CN114463853A - 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 - Google Patents
一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN114463853A CN114463853A CN202210178685.3A CN202210178685A CN114463853A CN 114463853 A CN114463853 A CN 114463853A CN 202210178685 A CN202210178685 A CN 202210178685A CN 114463853 A CN114463853 A CN 114463853A
- Authority
- CN
- China
- Prior art keywords
- target object
- code scanning
- behavior
- coordinates
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000006399 behavior Effects 0.000 title claims description 136
- 210000003857 wrist joint Anatomy 0.000 claims description 19
- 238000013145 classification model Methods 0.000 claims description 18
- 210000000988 bone and bone Anatomy 0.000 claims description 17
- 210000002310 elbow joint Anatomy 0.000 claims description 16
- 210000000323 shoulder joint Anatomy 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 230000002829 reductive effect Effects 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005452 bending Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种商品漏扫码行为的识别方法、装置、存储介质和电子设备，该识别方法包括：获取目标对象的手部区域图像和目标对象的骨骼点坐标；对手部区域图像进行检测，以确定目标对象的手部状态；若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为；若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据；若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为。借助于上述技术方案，本申请实施例能够有效减少自助收银终端的使用成本。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种商品漏扫码行为的识别方法、装置、存储介质和电子设备。
背景技术
随着零售业的不断发展和电子科技的不断进步，卖场的结算方式也在不断发生变化。为了解决排队付款人数过多的问题，减轻卖场收银人员的负担，自助收银机应运而生。自助收银机大多设置在卖场出口处，能够让消费者以自助的方式扫描商品、结账付款，从而能够免去排队的过程，为消费者提供了极大的便利。
目前，消费者在使用自助收银机时常常会出现漏扫等有意或无意的违规操作，为零售门店带来经济损失，如果安排店员对用户的自助扫码过程进行逐个盯防，又浪费人力物力，导致自助收银机的使用成本过高。
发明内容
本申请实施例的目的在于提供一种商品漏扫码行为的识别方法、装置、存储介质和电子设备，以有效减少自助收银终端的使用成本。
第一方面，本申请实施例提供了一种商品漏扫码行为的识别方法，该识别方法包括：获取目标对象的手部区域图像和目标对象的骨骼点坐标；对手部区域图像进行检测，以确定目标对象的手部状态；若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为；若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据；若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为。
因此，本申请实施例通过获取目标对象的手部区域图像和目标对象的骨骼点坐标，以及对手部区域图像进行检测，以确定目标对象的手部状态，以及若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为，以及若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据，最后若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为，从而能够有效避免或减少用户在使用自助收银终端时出现的漏扫行为，降低零售门店的经济损失，以及还能够节省人力物力，有效减少了自助收银终端的使用成本。
在一个可能的实施例中，对手部区域图像进行检测，以确定目标对象的手部状态，包括：将手部区域图像输入到预先训练好的手部分类模型中，以使手部分类模型对手部区域图像进行检测，以确定手部状态。
因此，本申请实施例通过手部分类模型进行手部状态的识别，从而可基于手部分类模型将具有干扰效果的手部区分出去，后续对手部状态为持有商品的状态的图像进行分析，从而能够提高效率和精准度。
在一个可能的实施例中，骨骼点坐标包括目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标；
其中，利用骨骼点坐标，确定目标对象是否存在扫码行为，包括：根据目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，确定目标对象的胳膊的姿态；根据目标对象的胳膊的姿态，确定目标对象是否存在扫码行为。
因此，本申请实施例可通过胳膊的姿态，确定目标对象是否存在扫码行为，从而能够提高扫码行为判断的精准度。
在一个可能的实施例中，若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据，包括：若确定目标对象存在扫码行为并且扫码行为为非首次扫码行为，则确定扫码行为与其上次扫码行为的间隔时间；判断间隔时间是否小于预设时间；若间隔时间大于等于预设时间，则确定是否存在与扫码行为匹配的日志数据。
因此，本申请实施例通过间隔时间大于等于预设时间，能够确定当前的扫码行为和之前的扫码行为是两个不同的扫码行为，并非是一个扫码行为的持续动作，从而再查找相关的日志数据，从而能够提高识别的准确率。
第二方面，本申请实施例提供了一种商品漏扫码行为的识别装置。该识别装置包括：获取模块，用于获取目标对象的手部区域图像和目标对象的骨骼点坐标；检测模块，用于对手部区域图像进行检测，以确定目标对象的手部状态；第一确定模块，用于若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为；第二确定模块，用于若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据；第三确定模块，用于若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为。
在一个可能的实施例中，检测模块，具体用于将手部区域图像输入到预先训练好的手部分类模型中，以使手部分类模型对手部区域图像进行检测，以确定手部状态。
在一个可能的实施例中，骨骼点坐标包括目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标；
第一确定模块，具体用于：根据目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，确定目标对象的胳膊的姿态；根据目标对象的胳膊的姿态，确定目标对象是否存在扫码行为。
在一个可能的实施例中，第二确定模块，具体用于：若确定目标对象存在扫码行为并且扫码行为为非首次扫码行为，则确定扫码行为与其上次扫码行为的间隔时间；判断间隔时间是否小于预设时间；若间隔时间大于等于预设时间，则确定是否存在与扫码行为匹配的日志数据。
第三方面，本申请实施例提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第四方面，本申请实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行第一方面或第一方面的任一可选的实现方式所述的方法。
第五方面，本申请提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行第一方面或第一方面的任意可能的实现方式中的方法。
为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的一种应用场景的示意图；
图2示出了本申请实施例提供的一种商品漏扫码行为的识别方法的流程图；
图3示出了本申请实施例提供的一种商品漏扫码行为的识别装置的结构框图；
图4示出了本申请实施例中提供的一种电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决现有技术中存在着的自助收银机的使用成本过高的问题，本申请实施例巧妙地提出了一种商品漏扫码行为的识别方案，通过获取目标对象的手部区域图像和目标对象的骨骼点坐标，以及对手部区域图像进行检测，以确定目标对象的手部状态，以及若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为，以及若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据，最后若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为，从而能够有效避免或减少用户在使用自助收银终端时出现的漏扫行为，降低零售门店的经济损失，以及还能够节省人力物力，有效减少了自助收银终端的使用成本。
请参见图1，图1示出了本申请实施例提供的一种应用场景的示意图。如图1所示的应用场景包括自助收银终端、视频采集装置和服务器。其中，服务器分别与自助收银终端和视频采集装置连接。
应理解，自助收银终端的具体装置及其设置位置、视频采集装置的具体装置及其设置位置以及服务器的具体装置等均可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，自助收银终端可以设置在卖场的出口处，以及视频采集装置可以设置在自助收银终端的上方，从而在用户进行商品扫码时，视频采集装置可以采集包含用户的图像。
例如，服务器可以是单个服务器，也可以是服务器集群等。
为了便于理解本申请实施例，下面通过具体的实施例来进行描述。
具体地，在用户进行商品结算时，视频采集装置能够采集待检测视频图像，并可将待检测视频图像发送至服务器。随后，服务器可确定待检测视频图像中用户的骨骼点坐标，并可根据骨骼点坐标，确定或者预估用户的手部区域的位置，并可根据手部区域的位置，从待检测视频图像中截取手部区域图像。
随后，服务器可对手部区域图像进行检测，以确定目标对象的手部状态，以及若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为，以及若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据，最后若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为，随后服务器可发出报警。
应理解，虽然图1示出了具体的应用场景，但本领域的技术人员可根据实际需求，对应用场景进行适应性调整，本申请实施例并不局限于次。
例如，可以将自助收银终端和视频采集装置设置成一体机。
请参见图2，图2示出了本申请实施例提供的一种商品漏扫码行为的识别方法的流程图。具体地，该识别方法包括：
步骤S210，服务器获取目标对象的手部区域图像和目标对象的骨骼点坐标。
应理解，骨骼点坐标的具体坐标可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，该骨骼点坐标包括目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标。其中，第一侧可以为目标对象的左侧，也可以为目标对象的右侧。
为了便于理解步骤S210，下面通过具体的实施例来进行描述。
具体地，服务器可接收视频采集装置采集的待检测视频图像，随后服务器确定待检测视频图像中目标对象的位置，并可根据目标对象的位置，从待检测视频图像中截取包含目标对象区域图像。
随后，服务器可利用骨骼点检测算法对包含目标对象区域图像进行骨骼点识别，以获取目标对象的骨骼点坐标。
应理解，骨骼点检测算法的具体算法可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，骨骼点检测算法可以是用于人体姿态识别的AlphaPose算法，也可以是用于人体姿态识别的OpenPose算法等。
随后，由于骨骼点坐标可包括肩关节点的坐标、肘关节点的坐标和腕关节点的坐标，以及由于自助收银终端具有对应的扫码区域(即用户在扫码区域内才可实现商品的扫码)，故服务器可判断腕关节点的坐标是否位于扫码区域内。若腕关节点的坐标位于扫码区域内，则服务器可确定目标对象的手部是位于扫码区域内的，即此时目标对象可能正在进行扫码，故可进行后续的检测流程；若腕关节点的坐标位于扫码区域外，则服务器可确定此时用户并未进行商品的扫码。
以及，在服务器确定目标对象的手部位于扫码区域内的情况下，服务器可根据肩关节点的坐标、肘关节点的坐标和腕关节点的坐标，确定目标对象的左手的位置和/或右手的位置。以及，服务器可根据目标对象的左手的位置和/或右手的位置，从包含目标对象区域图像中截取标对象的手部区域图像。其中，手部区域图像可以是目标对象的左手的手部区域的图像，也可以是目标对象的右手的手部区域的图像。
应理解，扫码区域的具体区域可根据实际需求来进行设置，本申请实施例并不局限于次。
步骤S220，服务器对手部区域图像进行检测，以确定目标对象的手部状态。
应理解，对手部区域图像进行检测，以确定目标对象的手部状态的具体方法可根据实际需求来进行设置，本申请实施例并不局限于次。
可选地，可将手部区域图像输入到预先训练好的手部分类模型中，以使手部分类模型对手部区域图像进行检测，以获得手部分类结果。其中，手部分类结果可以包括空手(即此时用户的手中是没有任何东西的)、持有商品的手和持有扫码设备(例如，手机等)的手(即此时用户可能是正在进行支付，其不属于商品扫码的范围)。随后，可根据手部分类结果，确定手部状态。其中，手部状态可包括空手状态、持有商品的状态和持有扫码设备的状态。
以及，若确定手部状态为持有商品的状态，则执行步骤S230；若确定手部状态为空手状态或者持有扫码设备的状态，则执行步骤S260。
应理解，手部分类模型的具体模型和训练过程均可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，手部分类模型可以是EfficientNet网络模型，也可以是ResNet网络模型，也可以是MobileNet网络模型等。
再例如，可采集多个手部样本图像，并可对多个手部样本图像中每个手部样本图像进行标注。例如，可将第一个手部样本图像标注为空手；再例如，可将第十个手部样本图像标注为持有扫码设备的手等。随后，可利用多个手部样本图像及其对应的标注，对原始的手部分类模型进行训练，以获得训练好的手部分类模型。
步骤S230，服务器若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为。
具体地，服务器利用目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，确定目标对象的胳膊的姿态，以及服务器可根据目标对象的胳膊的姿态，确定目标对象是否存在扫码行为。
以及，若确定目标对象存在扫码行为，则执行步骤S240；若确定目标对象不存在扫码行为，则执行步骤S260。
应理解，服务器利用目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，确定目标对象的胳膊的姿态的具体方法可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，在胳膊的姿态包括上臂和前臂的弯曲角度的情况下，服务器可根据目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，计算目标对象的胳膊的上臂和前臂的弯曲角度。
还应理解，服务器根据目标对象的胳膊的姿态，确定目标对象是否存在扫码行为的具体方法也可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，在胳膊的姿态包括上臂和前臂的弯曲角度的情况下，若弯曲角度大于等于预设角度，则确定用户正在进行商品扫码；若弯曲角度小于预设角度，则确定用户未进行商品扫码。
还应理解，预设角度的具体角度可根据实际需求来进行设置，本申请实施例并不局限于次。
例如，预设角度可以为120度。
步骤S240，服务器确定是否存在与扫码行为匹配的日志数据。
具体地，考虑到扫码是需要一定的持续时间的，服务器若确定目标对象存在扫码行为并且当前的扫码行为为非首次扫码行为，则服务器可确定当前扫码行为与其上次扫码行为之间的间隔时间。例如，服务器若确定目标对象存在第N次扫码行为，则服务器可确定第N次扫码行为和第N-1次扫码行为之间的间隔时间。其中，N大于等于2。
随后，服务器可判断间隔时间和预设时间的大小。若间隔时间大于等于预设时间，则服务器可确定当前扫码行为与其上次扫码行为是两次扫码行为，则可确定是否存在与扫码行为匹配的日志数据；若服务器确定当前扫码行为与其上次扫码行为为同一个扫码行为，则可确定扫码未结束，即此时日志数据可能并未记录相关扫码数据。
以及，在服务器确定目标对象存在扫码行为的情况下，服务器可确定当前待检测视频图像的时间，并可基于时间匹配的方式，查找与当前的扫码行为匹配的日志数据。
例如，在确定当前视频图像为11日12时58分的情况下，服务器可查找携带有当前自助收银终端的标识并且时间为11日12时58分的日志数据，以及该日志数据中可记录有商品扫码数据。
以及，在服务器确定不存在与扫码行为匹配的日志数据的情况下，执行步骤S250；在服务器确定存在与扫码行为匹配的日志数据的情况下，则可执行步骤S270。
步骤S250，服务器确定目标对象存在商品漏扫码行为。
步骤S260，结束或者继续进行下一张待检测视频图像的检测。
步骤S270，服务器确定目标对象不存在商品漏扫码行为。
因此，借助于上述技术方案，本申请实施例能够对门店顾客在使用自助结算终端时进行动作分析，检测出漏扫商品的行为，降低超市的损失情况，通过本方案自助机的推广，降低人工结算的成本。
应理解，上述商品漏扫码行为的识别方法仅是示例性的，本领域技术人员根据上述的方法可以进行各种变形，修改或变形之后的内容也在本申请保护范围内。
请参见图3，图3示出了本申请实施例提供的一种商品漏扫码行为的识别装置300的结构框图。应理解，该识别装置300与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该识别装置300包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在该修复装置300的操作系统(operating system，OS)中的软件功能模块。具体地，该识别装置300包括：
获取模块310，用于获取目标对象的手部区域图像和目标对象的骨骼点坐标；
检测模块320，用于对手部区域图像进行检测，以确定目标对象的手部状态；
第一确定模块330，用于若确定手部状态为持有商品的状态，则利用骨骼点坐标，确定目标对象是否存在扫码行为；
第二确定模块340，用于若确定目标对象存在扫码行为，则确定是否存在与扫码行为匹配的日志数据；
第三确定模块350，用于若确定不存在与扫码行为匹配的日志数据，则确定目标对象存在商品漏扫码行为。
在一个可能的实施例中，检测模块320，具体用于将手部区域图像输入到预先训练好的手部分类模型中，以使手部分类模型对手部区域图像进行检测，以确定手部状态。
在一个可能的实施例中，骨骼点坐标包括目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标；
第一确定模块330，具体用于：根据目标对象的第一侧的肩关节点的坐标、目标对象的第一侧的肘关节点的坐标和目标对象的第一侧的腕关节点的坐标，确定目标对象的胳膊的姿态；根据目标对象的胳膊的姿态，确定目标对象是否存在扫码行为。
在一个可能的实施例中，第二确定模块340，具体用于：若确定目标对象存在扫码行为并且扫码行为为非首次扫码行为，则确定扫码行为与其上次扫码行为的间隔时间；判断间隔时间是否小于预设时间；若间隔时间大于等于预设时间，则确定是否存在与扫码行为匹配的日志数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
请参见图4，图4示出了本申请实施例中提供的一种电子设备400的结构框图。如图4所示，该电子设备400可以包括处理器410、通信接口420、存储器430和至少一个通信总线440。其中，通信总线440用于实现这些组件直接的连接通信。其中，本申请实施例中的通信接口420用于与其他设备进行信令或数据的通信。处理器410可以是一种集成电路芯片，具有信号的处理能力。上述的处理器410可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器410也可以是任何常规的处理器等。
存储器430可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器430中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器410执行时，电子设备400可以执行上述方法实施例涉及的各个步骤。
电子设备400还可以包括存储控制器、输入输出单元、音频单元、显示单元。
所述存储器430、存储控制器、处理器410、外设接口、输入输出单元、音频单元、显示单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线440实现电性连接。所述处理器410用于执行存储器430中存储的可执行模块。并且，电子设备400用于执行下述方法：获取目标对象的手部区域图像和所述目标对象的骨骼点坐标；对所述手部区域图像进行检测，以确定所述目标对象的手部状态；若确定所述手部状态为持有所述商品的状态，则利用所述骨骼点坐标，确定所述目标对象是否存在扫码行为；若确定所述目标对象存在所述扫码行为，则确定是否存在与所述扫码行为匹配的日志数据；若确定不存在与所述扫码行为匹配的日志数据，则确定所述目标对象存在商品漏扫码行为。
输入输出单元用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元可以是，但不限于，鼠标和键盘等。
音频单元向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。
可以理解，图4所示的结构仅为示意，所述电子设备400还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。图4中所示的各组件可以采用硬件、软件或其组合实现。
本申请还提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。
本申请还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种商品漏扫码行为的识别方法，其特征在于，包括：
获取目标对象的手部区域图像和所述目标对象的骨骼点坐标；
对所述手部区域图像进行检测，以确定所述目标对象的手部状态；
若确定所述手部状态为持有所述商品的状态，则利用所述骨骼点坐标，确定所述目标对象是否存在扫码行为；
若确定所述目标对象存在所述扫码行为，则确定是否存在与所述扫码行为匹配的日志数据；
若确定不存在与所述扫码行为匹配的日志数据，则确定所述目标对象存在商品漏扫码行为。
2.根据权利要求1所述的识别方法，其特征在于，所述对所述手部区域图像进行检测，以确定所述目标对象的手部状态，包括：
将所述手部区域图像输入到预先训练好的手部分类模型中，以使所述手部分类模型对所述手部区域图像进行检测，以确定所述手部状态。
3.根据权利要求1所述的识别方法，其特征在于，所述骨骼点坐标包括所述目标对象的第一侧的肩关节点的坐标、所述目标对象的第一侧的肘关节点的坐标和所述目标对象的第一侧的腕关节点的坐标；
其中，所述利用所述骨骼点坐标，确定所述目标对象是否存在扫码行为，包括：
根据所述目标对象的第一侧的肩关节点的坐标、所述目标对象的第一侧的肘关节点的坐标和所述目标对象的第一侧的腕关节点的坐标，确定所述目标对象的胳膊的姿态；
根据所述目标对象的胳膊的姿态，确定所述目标对象是否存在扫码行为。
4.根据权利要求1所述的识别方法，其特征在于，所述若确定所述目标对象存在所述扫码行为，则确定是否存在与所述扫码行为匹配的日志数据，包括：
若确定所述目标对象存在所述扫码行为并且所述扫码行为为非首次扫码行为，则确定所述扫码行为与其上次扫码行为的间隔时间；
判断所述间隔时间是否小于预设时间；
若所述间隔时间大于等于所述预设时间，则确定是否存在与所述扫码行为匹配的日志数据。
5.一种商品漏扫码行为的识别装置，其特征在于，包括：
获取模块，用于获取目标对象的手部区域图像和所述目标对象的骨骼点坐标；
检测模块，用于对所述手部区域图像进行检测，以确定所述目标对象的手部状态；
第一确定模块，用于若确定所述手部状态为持有所述商品的状态，则利用所述骨骼点坐标，确定所述目标对象是否存在扫码行为；
第二确定模块，用于若确定所述目标对象存在所述扫码行为，则确定是否存在与所述扫码行为匹配的日志数据；
第三确定模块，用于若确定不存在与所述扫码行为匹配的日志数据，则确定所述目标对象存在商品漏扫码行为。
6.根据权利要求5所述的识别装置，其特征在于，所述检测模块，具体用于将所述手部区域图像输入到预先训练好的手部分类模型中，以使所述手部分类模型对所述手部区域图像进行检测，以确定所述手部状态。
7.根据权利要求5所述的识别装置，其特征在于，所述骨骼点坐标包括所述目标对象的第一侧的肩关节点的坐标、所述目标对象的第一侧的肘关节点的坐标和所述目标对象的第一侧的腕关节点的坐标；
所述第一确定模块，具体用于：根据所述目标对象的第一侧的肩关节点的坐标、所述目标对象的第一侧的肘关节点的坐标和所述目标对象的第一侧的腕关节点的坐标，确定所述目标对象的胳膊的姿态；根据所述目标对象的胳膊的姿态，确定所述目标对象是否存在扫码行为。
8.根据权利要求5所述的识别装置，其特征在于，所述第二确定模块，具体用于：若确定所述目标对象存在所述扫码行为并且所述扫码行为为非首次扫码行为，则确定所述扫码行为与其上次扫码行为的间隔时间；判断所述间隔时间是否小于预设时间；若所述间隔时间大于等于所述预设时间，则确定是否存在与所述扫码行为匹配的日志数据。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至4任一所述的商品漏扫码行为的识别方法。
10.一种电子设备，其特征在于，所述电子设备包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当所述电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至4任一所述的商品漏扫码行为的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178685.3A CN114463853A (zh) | 2022-02-25 | 2022-02-25 | 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210178685.3A CN114463853A (zh) | 2022-02-25 | 2022-02-25 | 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114463853A true CN114463853A (zh) | 2022-05-10 |
Family
ID=81415571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210178685.3A Pending CN114463853A (zh) | 2022-02-25 | 2022-02-25 | 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114463853A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116665311A (zh) * | 2023-07-31 | 2023-08-29 | 苏州万店掌网络科技有限公司 | 行为识别方法、装置、设备及可读存储介质 |
| TWI822261B (zh) * | 2022-08-17 | 2023-11-11 | 第一商業銀行股份有限公司 | 商品結帳系統及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130292470A1 (en) * | 2012-05-07 | 2013-11-07 | Datalogic ADC, Inc. | System and method for reading optical codes on bottom surface of items |
| CN106169135A (zh) * | 2016-02-01 | 2016-11-30 | 唐超(北京)科技有限公司 | 自助结账防损校验方法及系统 |
| WO2019080674A1 (zh) * | 2017-10-23 | 2019-05-02 | 北京京东尚科信息技术有限公司 | 自助结算设备、方法、装置、介质及电子设备 |
| NL2020357A (en) * | 2017-11-14 | 2019-05-17 | Univ North China Science & Technology | Self-service supermarket system |
| CN111242257A (zh) * | 2020-01-16 | 2020-06-05 | 青岛创捷中云科技有限公司 | 一种基于手部轨迹识别的自助收银ai防损系统及方法 |
| CN111311848A (zh) * | 2020-01-16 | 2020-06-19 | 青岛创捷中云科技有限公司 | 一种自助收银ai防损系统及方法 |
| CN112115745A (zh) * | 2019-06-21 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 一种商品漏扫码行为识别方法、装置及系统 |
| CN112712657A (zh) * | 2020-12-23 | 2021-04-27 | 网银在线（北京）科技有限公司 | 监控方法、装置、监控系统、监控设备和存储介质 |
| CN113239793A (zh) * | 2021-05-11 | 2021-08-10 | 上海汉时信息科技有限公司 | 防损方法以及装置 |
| CN113366543A (zh) * | 2019-01-23 | 2021-09-07 | 埃尔森有限公司 | 用于检测自助结账终端的扫描异常的系统和方法 |
-
2022
- 2022-02-25 CN CN202210178685.3A patent/CN114463853A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130292470A1 (en) * | 2012-05-07 | 2013-11-07 | Datalogic ADC, Inc. | System and method for reading optical codes on bottom surface of items |
| CN106169135A (zh) * | 2016-02-01 | 2016-11-30 | 唐超(北京)科技有限公司 | 自助结账防损校验方法及系统 |
| WO2019080674A1 (zh) * | 2017-10-23 | 2019-05-02 | 北京京东尚科信息技术有限公司 | 自助结算设备、方法、装置、介质及电子设备 |
| NL2020357A (en) * | 2017-11-14 | 2019-05-17 | Univ North China Science & Technology | Self-service supermarket system |
| CN113366543A (zh) * | 2019-01-23 | 2021-09-07 | 埃尔森有限公司 | 用于检测自助结账终端的扫描异常的系统和方法 |
| CN112115745A (zh) * | 2019-06-21 | 2020-12-22 | 杭州海康威视数字技术股份有限公司 | 一种商品漏扫码行为识别方法、装置及系统 |
| CN111242257A (zh) * | 2020-01-16 | 2020-06-05 | 青岛创捷中云科技有限公司 | 一种基于手部轨迹识别的自助收银ai防损系统及方法 |
| CN111311848A (zh) * | 2020-01-16 | 2020-06-19 | 青岛创捷中云科技有限公司 | 一种自助收银ai防损系统及方法 |
| CN112712657A (zh) * | 2020-12-23 | 2021-04-27 | 网银在线（北京）科技有限公司 | 监控方法、装置、监控系统、监控设备和存储介质 |
| CN113239793A (zh) * | 2021-05-11 | 2021-08-10 | 上海汉时信息科技有限公司 | 防损方法以及装置 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI822261B (zh) * | 2022-08-17 | 2023-11-11 | 第一商業銀行股份有限公司 | 商品結帳系統及方法 |
| CN116665311A (zh) * | 2023-07-31 | 2023-08-29 | 苏州万店掌网络科技有限公司 | 行为识别方法、装置、设备及可读存储介质 |
| CN116665311B (zh) * | 2023-07-31 | 2023-10-20 | 苏州万店掌网络科技有限公司 | 行为识别方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109284044B (zh) | 一种基于大数据的功能菜单展示方法及相关设备 | |
| CN107103503B (zh) | 一种订单信息确定方法和装置 | |
| US8774462B2 (en) | System and method for associating an order with an object in a multiple lane environment | |
| CN114463853A (zh) | 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备 | |
| US10573022B2 (en) | Object recognition system and method of registering a new object | |
| US20170308939A1 (en) | Digitization of a catalog of retail products | |
| US10339767B2 (en) | Sensor systems and methods for analyzing produce | |
| CN114529850A (zh) | 自助收银的风险识别方法、装置及系统 | |
| CN108197980B (zh) | 个性化购物者的肖像生成方法/系统、存储介质及终端 | |
| CN108320403B (zh) | 商品识别装置及控制方法、终端设备 | |
| US10552491B2 (en) | Systems, devices, and methods for computing geographical relationships between objects | |
| CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
| US11922393B2 (en) | Payment system, payment method, and non-transitory computer readable medium | |
| JP6319440B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2016110480A (ja) | 商品登録装置および商品登録方法 | |
| US20150220964A1 (en) | Information processing device and method of setting item to be returned | |
| JP7248010B2 (ja) | 登録システム、登録方法及びプログラム | |
| JP2014038470A (ja) | 情報処理装置、部門別合計表示方法及びプログラム | |
| JP7215474B2 (ja) | 登録システム、登録方法及びプログラム | |
| JP2016024601A (ja) | 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム | |
| JP7205603B2 (ja) | 登録装置、登録方法及びプログラム | |
| JP6696554B2 (ja) | 精算システム及び精算方法 | |
| WO2021171553A1 (ja) | 処理装置、処理方法及びプログラム | |
| JP6532114B1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN112560646A (zh) | 交易行为的检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 19 / F, building B, Xingzhi science and Technology Park, 6 Xingzhi Road, Nanjing Economic and Technological Development Zone, Jiangsu Province, 210000 Applicant after: AINNOVATION (NANJING) TECHNOLOGY Co.,Ltd. Address before: Floor 19, building B, Xingzhi science and Technology Park, 6 Xingzhi Road, Jiangning Economic and Technological Development Zone, Nanjing, Jiangsu Province Applicant before: AINNOVATION (NANJING) TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information |