CN113378802B - 报警信息发送方法、电子设备和计算机可读介质 - Google Patents
报警信息发送方法、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN113378802B CN113378802B CN202110922188.5A CN202110922188A CN113378802B CN 113378802 B CN113378802 B CN 113378802B CN 202110922188 A CN202110922188 A CN 202110922188A CN 113378802 B CN113378802 B CN 113378802B
- Authority
- CN
- China
- Prior art keywords
- target
- determining
- container
- palm
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims abstract description 98
- 238000012544 monitoring process Methods 0.000 claims abstract description 79
- 238000001514 detection method Methods 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012856 packing Methods 0.000 abstract description 16
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000003857 wrist joint Anatomy 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 238000010408 sweeping Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
- G06Q10/0833—Tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Image Analysis (AREA)
Abstract
本公开的实施例公开了报警信息发送方法、电子设备和计算机可读介质。该方法的一具体实施方式包括：识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域；检测第一目标区域集合和第二目标区域集合所表征的人体的动作类别；检测第一目标区域集合中的物品的运动轨迹；检测第二目标区域集合中的扫码设备的运动轨迹；根据物品的运动轨迹确定物品对应的第一货箱，以及根据扫码设备的运动轨迹确定扫码设备对应的第二货箱；发送报警信息到报警终端。该实施方式可以及时将货箱不匹配的情况传达给巡检员进行解决，避免了物品被错误的配送，减少了物流资源的浪费，提高了物流效率。
Description
技术领域
本公开的实施例涉及计算机技术领域，具体涉及报警信息发送方法、电子设备和计算机可读介质。
背景技术
在物品装箱过程中，经常会出现扫码的货箱与物品实际所装入的货箱不匹配的情况。目前，针对上述情况，通常采用的解决方式为：巡检员周期性的到货仓查看拣货人员的物品装箱情况，纠正扫码的货箱与物品实际所装入的货箱不匹配的现象。
然而，当采用上述方式时，经常会存在如下技术问题：
第一，巡检员周期性的到货仓查看，无法实现实时、全面的监督，扫码的货箱与物品实际所装入的货箱不匹配的情况难以及时的传达给巡检员；
第二，大量扫码的货箱与物品实际所装入的货箱不匹配的现象无法得以及时纠正，导致货箱中的物品被运输至错误的目的地后，需要重新拣选运输至正确的目的地，从而，降低了物流效率、延长了物流时间、浪费物流资源，若货箱中的物品为生鲜物品时，还有可能由于物流时间的延长导致生鲜物品腐败变质。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了用于报警信息发送的方法、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种报警信息发送方法，该方法包括：识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合，其中，上述第一目标监控图像组中的各个第一目标监控图像是连续帧图像，上述第二目标监控图像组中的各个第二目标监控图像是连续帧图像，上述第一目标监控图像组中的各个第一目标监控图像的时间戳早于上述第二目标监控图像组中的各个第二目标监控图像的时间戳，上述第一目标区域集合中的第一目标区域包括第一人体图像，上述第二目标区域集合中的第二目标区域包括第二人体图像，上述第一人体图像和上述第二人体图像对应于同一人体；
检测上述第一目标区域集合和上述第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别；响应于确定上述第一动作类别为拣货，检测上述第一目标区域集合中的物品的运动轨迹；响应于确定上述第二动作类别为扫码，检测上述第二目标区域集合中的扫码设备的运动轨迹；根据上述物品的运动轨迹确定上述物品对应的第一货箱，以及根据上述扫码设备的运动轨迹确定上述扫码设备对应的第二货箱；响应于确定上述第一货箱和上述第二货箱为不同货箱，发送报警信息到报警终端。
第二方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第三方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的报警信息发送方法可以实现对货仓中的物品和扫码设备实时、全面的监督，及时将货箱不匹配的情况传达给巡检员进行解决，避免了物品被错误的配送，减少了物流资源的浪费，提高了物流效率。具体来说，造成箱货不匹配的原因在于：在频繁的仓库作业中，由于操作人员的疏忽或者非规范操作会出现扫码的货箱和物品实际装入的货箱不匹配的情况，而巡检员周期性的到货仓查看，无法实现实时、全面的监督。基于此，本公开的一些实施例的报警信息发送方法，首先，识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合。由此，获取到的第一目标区域集合和第二目标区域集合可以为检测人体的动作类别提供数据支持。接着，检测上述第一目标区域集合和上述第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别。由此，可以通过检测到的人体的动作类别，为判断是检测物品的运动轨迹还是检测扫码设备的运动轨迹提供数据支持。然后，响应于确定上述第一动作类别为拣货，检测上述第一目标区域集合中的物品的运动轨迹。由此，可以通过检测物品的运动轨迹对物品进行跟踪，实现对物品的实时、全面的监督。再然后，响应于确定上述第二动作类别为扫码，检测上述第二目标区域集合中的扫码设备的运动轨迹。由此，可以通过检测扫码设备的运动轨迹对扫码设备进行跟踪，实现对扫码设备的实时、全面的监督。之后，根据上述物品的运动轨迹确定上述物品对应的第一货箱，以及根据上述扫码设备的运动轨迹确定上述扫码设备对应的第二货箱。由此，可以为判断物品落入的货箱和扫码设备扫码的货箱是否是同一货箱提供数据支持。最后响应于确定上述第一货箱和上述第二货箱为不同货箱，发送报警信息到报警终端。由此，可以通过货仓监控视频实现对物品装箱以及扫码设备的实时全面监督，及时的传达扫码的货箱与物品实际所装入的货箱不匹配的情况，使得这类情况得到及时的解决。进而，可以避免货箱中的物品由于扫码的货箱与物品实际所装入的货箱不匹配而被运输至错误的目的地，提升了物流效率、缩短了物流时间、节约了物流资源。最大限度的避免由于物流时间的延长导致生鲜物品腐败变质。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本公开的一些实施例的报警信息发送方法的一个应用场景的示意图；
图2是根据本公开的报警信息发送方法的一些实施例的流程图；
图3是根据本公开的报警信息发送方法的另一些实施例的流程图；
图4是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1是本公开的一些实施例的报警信息发送方法的一个应用场景的示意图。
在图1的应用场景中，首先，计算设备101可以识别货仓监控视频102中第一目标监控图像组1021中的第一目标区域和第二目标监控图像组1022中的第二目标区域，得到第一目标区域集合1023和第二目标区域集合1024，其中，上述第一目标监控图像组1021中的各个第一目标监控图像是连续帧图像，上述第二目标监控图像组1022中的各个第二目标监控图像是连续帧图像，上述第一目标监控图像组1021中的各个第一目标监控图像的时间戳早于上述第二目标监控图像组1022中的各个第二目标监控图像的时间戳，上述第一目标区域集合1023中的第一目标区域包括第一人体图像，上述第二目标区域集合1024中的第二目标区域包括第二人体图像，上述第一人体图像和上述第二人体图像对应于同一人体。接着，计算设备101可以检测上述第一目标区域集合1023和上述第二目标区域集合1024所表征的人体的动作类别103，得到第一动作类别1031和第二动作类别1032。然后，计算设备101可以响应于上述第一动作类别1031为拣货，检测上述第一目标区域集合1023中的物品的运动轨迹104。再然后，计算设备101可以响应于上述第二动作类别1032为扫码，检测上述第二目标区域集合1024中的扫码设备的运动轨迹105。之后，计算设备101可以根据上述物品的运动轨迹104确定上述物品对应的第一货箱106以及根据上述扫码设备的运动轨迹105确定上述扫码设备对应的第二货箱107。最后，计算设备101可以响应于上述第一货箱106和上述第二货箱107为不同的货箱，发送报警信息108到报警终端109。
需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
继续参考图2，示出了根据本公开的报警信息发送方法的一些实施例的流程200。该报警信息发送方法，包括以下步骤：
步骤201，识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合。
在一些实施例中，报警信息发送方法的执行主体（如图1所示的计算设备101）可以利用目标识别算法识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合。其中，上述第一目标监控图像组中的各个第一目标监控图像可以是连续帧图像。上述第二目标监控图像组中的各个第二目标监控图像可以是连续帧图像。上述第一目标监控图像组中的各个第一目标监控图像的时间戳早于上述第二目标监控图像组中的各个第二目标监控图像的时间戳，上述第一目标区域集合中的第一目标区域包括第一人体图像，上述第二目标区域集合中的第二目标区域包括第二人体图像，上述第一人体图像和上述第二人体图像对应于同一人体。实践中，上述第一目标监控图像组中的各个第一目标监控图像的时间戳可以为该目标监控图像生成的时间。上述目标识别算法可以包括但不限于以下至少一项：R-CNN（Region-CNN，区域-卷积神经网络）或SSD（Single Shot MultiBox Detector，全卷积神经网络）。由此，获取到的第一目标区域集合和第二目标区域集合可以为检测人体的动作类别提供数据支持。
步骤202，检测第一目标区域集合和第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别。
在一些实施例中，上述执行主体可以采用动作类别检测模型，检测上述第一目标区域集合和上述第二目标区域集合中人体的动作类别。上述动作类别检测模型可以包括但不限于以下至少一项：R-CNN或SSD。由此，可以通过动作类别检测模型对上述第一目标区域和上述第二目标区域进行检测，得到人体的动作类别，为判断是检测物品的运动轨迹还是检测扫码设备的运动轨迹提供数据支持。
步骤203，响应于确定第一动作类别为拣货，检测第一目标区域集合中的物品的运动轨迹。
在一些实施例中，上述执行主体可以响应于确定上述第一动作类别为拣货，采用跟踪算法检测上述第一目标区域集合中的物品的运动轨迹。其中，上述跟踪算法可以包括但不限于以下至少一项：SORT（Simple Online and Realtime Tracking，简单的在线和实时跟踪）算法或FairMOT（Fair Multi-Object Tracking，公平多目标跟踪）算法。由此，可以通过跟踪算法对物品进行跟踪，实现对物品的实时、全面的监督。
步骤204，响应于确定第二动作类别为扫码，检测第二目标区域集合中的扫码设备的运动轨迹。
在一些实施例中，上述执行主体可以响应于确定上述第二动作类别为扫码，采用上述跟踪算法检测上述第二目标区域集合中的扫码设备的运动轨迹。由此，可以利用跟踪算法对扫码设备进行跟踪，实现对扫码设备的实时、全面的监督。
步骤205，根据物品的运动轨迹确定物品对应的第一货箱，以及根据扫码设备的运动轨迹确定扫码设备对应的第二货箱。
在一些实施例中，上述执行主体根据物品的运动轨迹确定物品对应的第一货箱，以及根据扫码设备的运动轨迹确定扫码设备对应的第二货箱，可以包括以下步骤：
第一步，识别上述第一目标监控图像组中的第一有效货箱区域，得到第一有效货箱区域集合。其中，上述第一有效货箱区域可以是包括未装满物品的货箱的区域。上述第一有效货箱区域集合中的第一有效货箱区域包括一个货箱。实践中，上述执行主体可以通过上述目标识别算法识别上述第一目标监控图像组中的第一有效货箱区域。
第二步，响应于确定上述物品运动到上述第一有效货箱区域集合中的任一第一有效货箱区域、且上述物品被上述任一第一有效货箱区域中包括的货箱遮挡或者在上述任一第一有效货箱区域中检测到手掌区域包括手掌且上述手掌区域不包括上述物品，将上述任一第一有效货箱区域中包括的货箱确定为上述第一货箱。
由此，可以通过判断第一有效货箱区域的位置和检测到的物品的状态判断出物品落入的第一货箱。
第三步，识别上述第二目标监控图像组中的第二有效货箱区域，得到第二有效货箱区域集合。其中，上述第二有效货箱区域可以是包括未装满物品的货箱的区域。上述第二有效货箱区域集合中的第二有效货箱区域包括一个货箱。实践中，上述执行主体可以通过上述目标识别算法识别上述第二目标监控图像组中的第二有效货箱区域。
第四步，响应于确定上述扫码设备运动到上述第二有效货箱区域集合中的任一第二有效货箱区域、且在上述任一第二有效货箱区域检测到红光，将上述任一第二有效货箱区域中包括的货箱确定为上述第二货箱。
由此，可以通过判断扫码设备运动到的第二有效货箱区域中检测到的红光的位置判断出扫码设备对应的第二货箱。
步骤206，响应于确定第一货箱和第二货箱为不同货箱，发送报警信息到报警终端。
在一些实施例中，上述执行主体可以响应于确定第一货箱和第二货箱为不同货箱，发送报警信息到报警终端。实践中，上述执行主体可以发送报警信息到声光报警器进行报警。
本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的报警信息发送方法可以实现对货仓中的物品和扫码设备实时、全面的监督，及时将货箱不匹配的情况传达给巡检员进行解决，避免了物品被错误的配送，减少了物流资源的浪费，提高了物流效率。具体来说，造成箱货不匹配的原因在于：在频繁的仓库作业中，由于操作人员的疏忽或者非规范操作会出现扫码的货箱和物品实际装入的货箱不一致的情况，而巡检员周期性的到货仓查看，无法实现实时、全面的监督。基于此，本公开的一些实施例的报警信息发送方法，首先，识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合。由此，获取到的第一目标区域集合和第二目标区域集合可以为检测人体的动作类别提供数据支持。接着，检测上述第一目标区域集合和上述第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别。由此，可以通过检测到的人体的动作类别，为判断是检测物品的运动轨迹还是检测扫码设备的运动轨迹提供数据支持。然后，响应于确定上述第一动作类别为拣货，检测上述第一目标区域集合中的物品的运动轨迹。由此，可以通过检测物品的运动轨迹对物品进行跟踪，实现对物品的实时、全面的监督。再然后，响应于确定上述第二动作类别为扫码，检测上述第二目标区域集合中的扫码设备的运动轨迹。由此，可以通过检测扫码设备的运动轨迹对扫码设备进行跟踪，实现对扫码设备的实时、全面的监督。之后，根据上述物品的运动轨迹确定上述物品对应的第一货箱，以及根据上述扫码设备的运动轨迹确定上述扫码设备对应的第二货箱。由此，可以为判断物品落入的货箱和扫码设备扫码的货箱是否是同一货箱提供数据支持。最后响应于确定上述第一货箱和上述第二货箱为不同货箱，发送报警信息到报警终端。由此，可以通过货仓监控视频实现对物品装箱以及扫码设备的实时全面监督，及时的传达扫码的货箱与物品实际所装入的货箱不匹配的情况，使得这类情况得到及时的解决。进而，可以避免货箱中的物品由于扫码的货箱与物品实际所装入的货箱不匹配而被运输至错误的目的地，提升了物流效率、缩短了物流时间、节约了物流资源。最大限度的避免由于物流时间的延长导致生鲜物品腐败变质。
进一步参考图3，其示出了报警信息发送方法的另一些实施例的流程300。该报警信息发送方法的流程300，包括以下步骤：
步骤301，识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合。
步骤302，检测第一目标区域集合和第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别。
在一些实施例中，步骤301-302的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤201-202，在此不再赘述。
步骤303，对第一目标区域集合中的每个第一目标区域执行以下步骤：
步骤3031，确定第一目标区域中的手掌区域。
在一些实施例中，上述执行主体首先可以采用人体姿态检测模型检测上述第一目标区域集合中的每个第一目标区域确定人体的手腕关节的位置和手臂的方向。然后，利用上述人体姿态检测模型和检测到的手腕关节的位置和手臂的方向确定出手掌区域，得到上述第一目标区域中的手掌区域。上述人体姿态检测模型可以包括但不限于以下至少一项：CFN（Content Forward Network，内容转发网络）、RMPE（Regional Multi-person PoseEstimation，区域多人姿态估计）或CPN（Counter Propagation Network，对偶传播神经网络）。
步骤3032，采用手掌检测模型，检测手掌区域是否包括手掌，以及采用物品检测模型，检测手掌区域是否包括物品。
实践中，上述手掌检测模型和物品检测模型可以包括但不限于以下至少一项：R-CNN或SSD。
步骤3033，响应于确定手掌区域满足第一预设条件或者第二预设条件，将第一目标区域对应的条件判断值设置为目标值。
其中，上述第一预设条件是检测到上述手掌区域包括手掌且上述手掌区域包括物品，以及上述手掌检测模型的置信度大于第一预设阈值且上述物品检测模型的置信度大于第二预设阈值，上述第二预设条件是检测到上述手掌区域不包括手掌且上述手掌区域包括物品，以及上述手掌检测模型的置信度大于上述第一预设阈值且上述物品检测模型的置信度大于第三预设阈值，并且上述第三预设阈值大于上述第二预设阈值。上述第一预设阈值、上述第二预设阈值和上述第三预设阈值可以是预设的阈值，这里，对于预设阈值的设定，不作限定。
由此，可以通过人体姿态检测模型、手掌检测模型和物品检测模型进一步实现对物品的实时、全面的监督。
可选地，上述执行主体还可以响应于确定上述第一目标区域集合中的每个第一目标区域对应的条件判断值为上述目标值，采用跟踪算法对检测到的物品进行跟踪，得到上述物品的运动轨迹。上述跟踪算法可以包括但不限于以下至少一项：SORT或FairMOT。
步骤304，对第二目标区域集合中的每个第二目标区域执行以下步骤：
步骤3041，确定第二目标区域中的候选区域。
在一些实施例中，上述执行主体首先可以采用人体姿态检测模型检测第二目标区域集合中的每个第二目标区域确定人体的手腕关节的位置和手臂的方向。然后，利用上述人体姿态检测模型和检测到的手腕关节的位置和手臂的方向确定出手掌区域，得到上述第二目标区域中的候选区域。其中，上述候选区域包括手臂和手掌的区域整体。上述人体姿态检测模型可以包括但不限于以下至少一项：CFN、RMPE或CPN。
步骤3042，采用扫码设备检测模型，检测候选区域是否包括扫码设备，以及采用红光检测模型，检测候选区域是否包括红光。
实践中，上述扫码设备检测模型和红光检测模型可以包括但不限于以下至少一项：R-CNN或SSD。
步骤3043，响应于确定候选区域满足第三预设条件或者第四预设条件，将第二目标区域对应的条件判断值设置为目标值。
其中，上述第三预设条件是检测到上述候选区域包括扫码设备且上述候选区域包括红光，以及上述扫码设备检测模型的置信度大于第四预设阈值且上述红光检测模型的置信度大于第五预设阈值。上述第四预设条件是检测到上述候选区域不包括扫码设备或者检测到上述候选区域包括扫码设备且上述扫码设备检测模型的置信度小于上述第四预设阈值并且检测到上述候选区域包括红光，以及上述扫码设备检测模型的置信度大于上述第四预设阈值且上述红光检测模型的置信度大于第六预设阈值，并且上述第六预设阈值大于上述第五预设阈值。上述第四预设阈值、上述第五预设阈值和上述第六阈值可以是预设的阈值，这里，对于预设阈值的设定，不作限定。
由此，可以通过人体姿态检测模型、扫码设备检测模型和红光检测模型进一步实现对扫码设备的实时、全面的监督。
可选地，上述执行主体还可以响应于确定上述第二目标区域集合中的每个第二目标区域对应的条件判断值为上述目标值，采用上述跟踪算法对检测到的上述扫码设备进行跟踪，得到上述扫码设备的运动轨迹。其中，上述第二目标区域集合中的第二目标区域的个数少于上述第一目标区域集合中的第一目标区域的个数。
步骤305，根据物品的运动轨迹确定物品对应的第一货箱，以及根据扫码设备的运动轨迹确定扫码设备对应的第二货箱。
步骤306，响应于确定第一货箱和第二货箱为不同货箱，发送报警信息到报警终端。
在一些实施例中，步骤305-306的具体实现方式及所带来的技术效果可以参考图2对应的那些实施例中的步骤205-206，在此不再赘述。
从图3中可以看出，与图2对应的一些实施例的描述相比，图3对应的一些实施例中的设备控制方法的流程300体现了对检测物品和扫码设备的运动轨迹进行扩展的步骤。由此，这些实施例描述的方案可以提高对物品和扫码设备追踪的准确度。从而可以根据准确度较高的运动轨迹，对物品落入的货箱和扫码设备扫码的货箱进行有效监控，避免了物品被配送至错误的目的地，进而提升了物流效率，节约了物流资源。
进一步参考图4，其示出了适于用来实现本公开的一些实施例的电子设备（如图1所示的计算设备101）400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400可以包括处理装置（例如中央处理器、图形处理器等）401，其可以根据存储在只读存储器（ROM）402中的程序或者从存储装置408加载到随机访问存储器（RAM）403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合，其中，上述第一目标监控图像组中的各个第一目标监控图像是连续帧图像，上述第二目标监控图像组中的各个第二目标监控图像是连续帧图像，上述第一目标监控图像组中的各个第一目标监控图像的时间戳早于上述第二目标监控图像组中的各个第二目标监控图像的时间戳，上述第一目标区域集合中的第一目标区域包括第一人体图像，上述第二目标区域集合中的第二目标区域包括第二人体图像，上述第一人体图像和上述第二人体图像对应于同一人体。检测上述第一目标区域集合和上述第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别。响应于确定上述第一动作类别为拣货，检测上述第一目标区域集合中的物品的运动轨迹。响应于确定上述第二动作类别为扫码，检测上述第二目标区域集合中的扫码设备的运动轨迹。根据上述物品的运动轨迹确定上述物品对应的第一货箱，以及根据上述扫码设备的运动轨迹确定上述扫码设备对应的第二货箱。响应于确定上述第一货箱和上述第二货箱为不同货箱，发送报警信息到报警终端。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (8)
1.一种报警信息发送方法，包括：
识别货仓监控视频中第一目标监控图像组中的第一目标区域和第二目标监控图像组中的第二目标区域，得到第一目标区域集合和第二目标区域集合，其中，所述第一目标监控图像组中的各个第一目标监控图像是连续帧图像，所述第二目标监控图像组中的各个第二目标监控图像是连续帧图像，所述第一目标监控图像组中的各个第一目标监控图像的时间戳早于所述第二目标监控图像组中的各个第二目标监控图像的时间戳，所述第一目标区域集合中的第一目标区域包括第一人体图像，所述第二目标区域集合中的第二目标区域包括第二人体图像，所述第一人体图像和所述第二人体图像对应于同一人体；
检测所述第一目标区域集合和所述第二目标区域集合所表征的人体的动作类别，得到第一动作类别和第二动作类别；
响应于确定所述第一动作类别为拣货，检测所述第一目标区域集合中的物品的运动轨迹；
响应于确定所述第二动作类别为扫码，检测所述第二目标区域集合中的扫码设备的运动轨迹；
根据所述物品的运动轨迹确定所述物品对应的第一货箱，以及根据所述扫码设备的运动轨迹确定所述扫码设备对应的第二货箱；
响应于确定所述第一货箱和所述第二货箱为不同货箱，发送报警信息到报警终端。
2.根据权利要求1所述的方法，其中，所述检测所述第一目标区域集合和所述第二目标区域集合所表征的人体的动作类别，包括：
采用动作类别检测模型，检测所述第一目标区域集合和所述第二目标区域集合中人体的动作类别。
3.根据权利要求1所述的方法，其中，所述响应于确定所述第一动作类别为拣货，检测所述第一目标区域集合中的物品的运动轨迹，包括：
对所述第一目标区域集合中的每个第一目标区域执行以下步骤：
确定所述第一目标区域中的手掌区域；
采用手掌检测模型，检测所述手掌区域是否包括手掌，以及采用物品检测模型，检测所述手掌区域是否包括物品；
响应于确定所述手掌区域满足第一预设条件或者第二预设条件，将所述第一目标区域对应的条件判断值设置为目标值，其中，所述第一预设条件是检测到所述手掌区域包括手掌且所述手掌区域包括物品，以及所述手掌检测模型的置信度大于第一预设阈值且所述物品检测模型的置信度大于第二预设阈值，所述第二预设条件是检测到所述手掌区域不包括手掌且所述手掌区域包括物品，以及所述手掌检测模型的置信度大于所述第一预设阈值且所述物品检测模型的置信度大于第三预设阈值，并且所述第三预设阈值大于所述第二预设阈值。
4.根据权利要求3所述的方法，其中，所述响应于确定所述第一动作类别为拣货，检测所述第一目标区域集合中的物品的运动轨迹，还包括：
响应于确定所述第一目标区域集合中的每个第一目标区域对应的条件判断值为所述目标值，采用跟踪算法对检测到的物品进行跟踪，得到所述物品的运动轨迹。
5.根据权利要求1所述的方法，其中，所述根据所述物品的运动轨迹确定所述物品对应的第一货箱，包括：
识别所述第一目标监控图像组中的第一有效货箱区域，得到第一有效货箱区域集合，其中，所述第一有效货箱区域集合中的第一有效货箱区域包括一个货箱；
响应于确定所述物品运动到所述第一有效货箱区域集合中的任一第一有效货箱区域、且所述物品被所述任一第一有效货箱区域中包括的货箱遮挡或者在所述任一第一有效货箱区域中检测到手掌区域包括手掌且所述手掌区域不包括所述物品，将所述任一第一有效货箱区域中包括的货箱确定为所述第一货箱。
6.根据权利要求1所述的方法，其中，所述根据所述扫码设备的运动轨迹确定所述扫码设备对应的第二货箱，包括：
识别所述第二目标监控图像组中的第二有效货箱区域，得到第二有效货箱区域集合，其中所述第二有效货箱区域集合中的第二有效货箱区域包括一个货箱；
响应于确定所述扫码设备运动到所述第二有效货箱区域集合中的任一第二有效货箱区域、且在所述任一第二有效货箱区域检测到红光，将所述任一第二有效货箱区域中包括的货箱确定为所述第二货箱。
7.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6中任一所述的方法。
8.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1至6中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922188.5A CN113378802B (zh) | 2021-08-12 | 2021-08-12 | 报警信息发送方法、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110922188.5A CN113378802B (zh) | 2021-08-12 | 2021-08-12 | 报警信息发送方法、电子设备和计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378802A CN113378802A (zh) | 2021-09-10 |
| CN113378802B true CN113378802B (zh) | 2021-11-19 |
Family
ID=77576973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110922188.5A Active CN113378802B (zh) | 2021-08-12 | 2021-08-12 | 报警信息发送方法、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378802B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| CN111079478A (zh) * | 2018-10-19 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种无人售货架监控方法、装置、电子设备及系统 |
| CN111260685A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
| CN111368730A (zh) * | 2020-03-04 | 2020-07-03 | 上海东普信息科技有限公司 | 快件分拣异常动作的识别方法、装置、设备及存储介质 |
| US10902237B1 (en) * | 2019-06-19 | 2021-01-26 | Amazon Technologies, Inc. | Utilizing sensor data for automated user identification |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11003918B1 (en) * | 2019-10-25 | 2021-05-11 | 7-Eleven, Inc. | Event trigger based on region-of-interest near hand-shelf interaction |
-
2021
- 2021-08-12 CN CN202110922188.5A patent/CN113378802B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105915857A (zh) * | 2016-06-13 | 2016-08-31 | 南京亿猫信息技术有限公司 | 超市购物车监控系统及其监控方法 |
| CN111079478A (zh) * | 2018-10-19 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种无人售货架监控方法、装置、电子设备及系统 |
| CN111260685A (zh) * | 2018-11-30 | 2020-06-09 | 阿里巴巴集团控股有限公司 | 视频处理方法、装置及电子设备 |
| US10902237B1 (en) * | 2019-06-19 | 2021-01-26 | Amazon Technologies, Inc. | Utilizing sensor data for automated user identification |
| CN111368730A (zh) * | 2020-03-04 | 2020-07-03 | 上海东普信息科技有限公司 | 快件分拣异常动作的识别方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378802A (zh) | 2021-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197658B (zh) | 图像标注信息处理方法、装置、服务器及系统 | |
| CN110335313B (zh) | 音频采集设备定位方法及装置、说话人识别方法及系统 | |
| CN112991380B (zh) | 基于视频图像的轨迹生成方法、装置、电子设备和介质 | |
| CN113378768A (zh) | 垃圾桶状态识别方法、装置、设备以及存储介质 | |
| US8860807B2 (en) | Real time physical asset inventory management through triangulation of video data capture event detection and database interrogation | |
| CN113378802B (zh) | 报警信息发送方法、电子设备和计算机可读介质 | |
| CN113052019B (zh) | 目标跟踪方法及装置、智能设备和计算机存储介质 | |
| CN113642961B (zh) | 货物搬运过程中的监控方法及装置 | |
| CN112258551B (zh) | 一种物品掉落检测方法、装置、设备及存储介质 | |
| CN117853573A (zh) | 一种视频处理方法、装置、电子设备及计算机可读介质 | |
| CN116012360A (zh) | 遗留物品检测方法、装置、设备、介质和程序产品 | |
| CN114898274A (zh) | 一种包裹检测方法和装置 | |
| CN113159660A (zh) | 一种转运流程的展示方法、装置、存储介质及电子设备 | |
| CN108875638B (zh) | 人脸匹配测试方法和、装置和系统 | |
| CN114239632B (zh) | 一种线棒材标签的识别方法、系统、电子设备及介质 | |
| CN115147789B (zh) | 分合流道路信息检测方法、装置、设备和计算机可读介质 | |
| CN118229171B (zh) | 电力设备存放区域信息展示方法、装置与电子设备 | |
| CN116137073B (zh) | 电力物资、设备材料远程智能抽检方法、电子设备和介质 | |
| CN115665369B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN113542800B (zh) | 视频画面定标方法、装置、终端设备 | |
| CN114118327B (zh) | 确定物品移动方向的方法、装置、设备及介质 | |
| CN118735838A (zh) | 焊接质量检测方法、装置、设备及存储介质 | |
| CN115761412A (zh) | 检测框处理方法、装置、电子设备和计算机可读介质 | |
| CN114118327A (zh) | 确定物品移动方向的方法、装置、设备及介质 | |
| CN116229562A (zh) | 垃圾桶更换方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231108 Address after: 518000 807, No. 121, Minsheng Avenue, Shangcun Community, Gongming Street, Guangming District, Shenzhen, Guangdong Patentee after: Shenzhen Zhuanxin Intellectual Property Service Co.,Ltd. Address before: 100102 room 076, no.1-302, 3 / F, commercial building, No.9 Wangjing street, Chaoyang District, Beijing Patentee before: BEIJING MISSFRESH E-COMMERCE Co.,Ltd. |