CN114913207A - 用于对货物移动进行检测的方法及装置 - Google Patents

用于对货物移动进行检测的方法及装置 Download PDF

Info

Publication number
CN114913207A
CN114913207A CN202210587792.1A CN202210587792A CN114913207A CN 114913207 A CN114913207 A CN 114913207A CN 202210587792 A CN202210587792 A CN 202210587792A CN 114913207 A CN114913207 A CN 114913207A
Authority
CN
China
Prior art keywords
cloud data
point cloud
frames
goods
tree structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210587792.1A
Other languages
English (en)
Inventor
李长龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ant Blockchain Technology Shanghai Co Ltd
Original Assignee
Ant Blockchain Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ant Blockchain Technology Shanghai Co Ltd filed Critical Ant Blockchain Technology Shanghai Co Ltd
Priority to CN202210587792.1A priority Critical patent/CN114913207A/zh
Publication of CN114913207A publication Critical patent/CN114913207A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本说明书实施例提供了用于对货物移动进行检测的方法及装置。在该方法中，获取雷达装置所采集的视场范围内的点云数据，雷达装置用于对视场范围内的仓储货物进行实时监测；将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，获取两帧点云数据对应的两帧图像，其中，图像是通过摄像设备对仓储货物进行实时拍摄所采集的，两帧点云数据与对应的两帧图像的采集时间相同；以及根据两帧图像确定仓储货物中的移动货物。

Description

用于对货物移动进行检测的方法及装置
技术领域
本说明书实施例涉及物联网技术领域，具体地，涉及用于对货物移动进行检测的方法及装置。
背景技术
在仓储物流行业中，货物集中存储并管理。随着科技的发展和广泛应用，人工智能和物联网等技术被应用于货物安全监测领域，货物安全监测的方式从传统的人工看守向利用技术手段进行货物监测转型升级。
目前，针对货物的移动监测主要采用视觉与人工智能相结合的方式。在该方式中，货物所处的环境部署有摄像设备，摄像设备实时采集货物的图像，并将所采集的图像实时传送给具备较大算力的服务器设备，服务器设备利用基于AI的技术手段对每帧图像进行分析处理，以确定货物是否移动。相比于传统的人工看守，通过AI的技术手段对货物进行监测，不仅节省了人力，而且对货物移动检测的准确度更高。
发明内容
鉴于上述，本说明书实施例提供了用于对货物移动进行检测的方法及装置。通过本说明书实施例，通过雷达装置生成的点云数据来监测是否有货物移动，提高了货物移动检测的精确性。此外，只有在货物移动的情况下才根据货物的帧图像来进一步地确定所移动的货物，避免了对连续帧图像进行处理的问题，从而降低了算力的要求，较低的算力减少了对硬件配置的高要求的依赖，节省了计算资源。
根据本说明书实施例的一个方面，提供了一种用于对货物移动进行检测的方法，包括：获取雷达装置所采集的视场范围内的点云数据，所述雷达装置用于对所述视场范围内的仓储货物进行实时监测；将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，获取所述两帧点云数据对应的两帧图像，其中，所述图像是通过摄像设备对所述仓储货物进行实时拍摄所采集的，所述两帧点云数据与对应的所述两帧图像的采集时间相同；以及根据所述两帧图像确定所述仓储货物中的移动货物。
根据本说明书实施例的另一方面，还提供一种用于对货物移动进行检测的方法，由边缘服务器来执行，所述边缘服务器分别与雷达装置和摄像设备通信连接，还与云端服务器通信连接，所述雷达装置用于对视场范围内的仓储货物进行实时监测，所述摄像设备用于对所述仓储货物进行实时拍摄，所述方法包括：获取所述雷达装置采集的所述视场范围内的点云数据；将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，获取所述两帧点云数据对应的两帧图像，所述两帧云数据与对应的所述两帧图像的采集时间相同；以及调用所述云端服务器配置的视觉检测算法来根据所述两帧图像确定所述仓储货物中的移动货物。
根据本说明书实施例的另一方面，还提供一种用于对货物移动进行检测的装置，应用于边缘服务器，所述边缘服务器分别与雷达装置和摄像设备通信连接，还与云端服务器通信连接，所述雷达装置用于对视场范围内的仓储货物进行实时监测，所述摄像设备用于对所述仓储货物进行实时拍摄，所述装置包括：点云数据获取单元，被配置为获取所述雷达装置采集的所述视场范围内的点云数据；点云数据比较单元，被配置为将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动，在确定有货物移动时，触发图像获取单元；所述图像获取单元，被配置为获取所述两帧点云数据对应的两帧图像，所述两帧云数据与对应的所述两帧图像的采集时间相同；以及算法调用单元，被配置为调用所述云端服务器配置的视觉检测算法来根据所述两帧图像确定所述仓储货物中的移动货物。
根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的用于对货物移动进行检测的方法。
根据本说明书实施例的另一方面，还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的用于对货物移动进行检测的方法。
根据本说明书实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上任一所述的用于对货物移动进行检测的方法。
附图说明
通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
图1示出了根据本说明书实施例的用于实现货物移动检测方法的硬件设备部署结构的一个示例的示意图。
图2示出了根据本说明书实施例的用于实现货物移动检测方法的硬件设备部署结构的另一个示例的示意图。
图3示出了根据本说明书实施例的用于对货物移动进行检测的方法的一个示例的流程图。
图4示出了根据本说明书实施例的相邻两帧点云数据进行比较的一个示例的流程图。
图5示出了根据本说明书实施例的利用八叉树算法进行空间划分的一个示例的示意图。
图6示出了根据本说明书实施例的相邻两帧点云数据进行比较的另一个示例的流程图。
图7示出了根据本说明书实施例的用于对货物移动进行检测的方法的另一个示例的流程图。
图8示出了根据本说明书实施例的用于对货物移动进行检测的装置的一个示例的方框图。
图9示出了根据本说明书实施例的用于实现货物移动检测方法的电子设备的一个示例的方框图。
具体实施方式
以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
在仓储物流行业中，货物集中存储并管理。随着科技的发展和广泛应用，人工智能和物联网等技术被应用于货物安全监测领域，货物安全监测的方式从传统的人工看守向利用技术手段进行货物监测转型升级。
目前，针对货物的移动监测主要采用视觉与人工智能相结合的方式。在该方式中，货物所处的环境部署有摄像设备，摄像设备实时采集货物的图像，并将所采集的图像实时传送给具备较大算力的服务器设备，服务器设备利用基于AI的技术手段对每帧图像进行分析处理，以确定货物是否移动。相比于传统的人工看守，通过AI的技术手段对货物进行监测，不仅节省了人力，而且对货物移动检测的准确度更高。
然而，摄像设备实时地采集图像并将采集的图像作为视频流传给服务器设备，服务器设备需要对连续的视频流进行处理，这样导致服务器设备需要很高的算力，并且，若对图像的处理在服务器设备本地执行，对服务器设备的硬件配置也有很高的要求。
鉴于上述，本说明书实施例提供了用于对货物移动进行检测的方法及装置。在该方法中，获取雷达装置所采集的视场范围内的点云数据，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，获取两帧点云数据对应的两帧图像，其中，图像是通过摄像设备对仓储货物进行实时拍摄所采集的，两帧点云数据与对应的两帧图像的采集时间相同；以及根据两帧图像确定仓储货物中的移动货物。通过本说明书实施例，通过雷达装置生成的点云数据来监测是否有货物移动，提高了货物移动检测的经确定。此外，只有在货物移动的情况下才根据货物的帧图像来进一步地确定所移动的货物，避免了对连续帧图像进行处理的问题，从而降低了算力的要求，较低的算力减少了对硬件配置的高要求的依赖，节省了计算资源。
下面结合附图对本说明书实施例提供了用于对货物移动进行检测的方法及装置进行详细说明。
图1示出了根据本说明书实施例的用于实现货物移动检测方法的硬件设备部署结构的一个示例100的示意图。
如图1所示，用于实现货物移动检测方法的硬件设备可以包括服务器设备、摄像设备以及雷达装置，服务器设备通过网络分别与雷达装置和摄像设备通信连接。
在本说明书实施例中，雷达装置用于对视场范围内的仓储货物进行监测，以及可以感知输出点云数据。雷达装置可以包括激光雷达、毫米波雷达等，比如，激光雷达可以包括LiDAR等，毫米波雷达可以包括4D mmRadar等。
雷达装置的视场范围可以根据仓储货物的位置进行设置，以使得仓储货物被包含在雷达装置的视场范围的空间中。雷达装置可以通过发射雷达波对视场范围的空间进行探测，以确定视场范围的空间中的各个对象的空间位置，该空间位置可以用点云数据来表征。
摄像设备可以对仓储货物进行实时拍摄，以采集仓储货物的实时图像。摄像设备与雷达装置可以同步，摄像设备所采集的各帧图像与雷达装置所采集的各帧点云数据一一对应，即，每帧图像的采集时间与对应的帧点云数据的采集时间相同。
服务器设备可以从雷达装置以及摄像设备获取对应的点云数据和图像，并提供算力对点云数据以及图像进行相应的处理。比如，根据相邻两帧点云数据来确定是否有货物移动，利用视觉检测算法对两帧图像进行计算以确定所移动的货物。在该示例中，服务器设备可以在本地执行相应的操作。
在一些实施例中，网络可以是有线网络或无线网络中的任意一种或多种。网络的示例可以包括但不限于电缆网络、光纤网络、电信网络、企业内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigZee)、近场通讯(NFC)、设备内总线、设备内线路等或其任意组合。
图2示出了根据本说明书实施例的用于实现货物移动检测方法的硬件设备部署结构的另一个示例200的示意图。
如图2所示，在上述图1所示的示例的基础上，服务器设备可以和云端服务器通信连接，云端服务器可以提供数据存储服务、图像处理服务等多种服务。从而，服务器设备可以调用云端服务器所提供的服务。比如，服务器设备可以调用云端服务器中配置的数据存储服务，以将相应的数据(比如，移动货物的点云数据和图像数据)存储至云端。又比如，云端服务器提供的图像处理服务可以是视觉检测算法，从而服务器设备可以调用云端服务器中配置的视觉检测算法对图像数据进行处理，以确定所移动的货物。在一个示例中，服务器设备可以包括边缘服务器。
在该示例中，通过云端服务器提供的各种服务以供服务器设备调用，无需服务器设备本地来执行，可以减小服务器设备的负载压力以及对算力的要求。此外，将数据存储至云端，可以节省服务器设备本地的存储空间。
图3示出了根据本说明书实施例的用于对货物移动进行检测的方法的一个示例300的流程图。
如图3所示，在310，可以获取雷达装置所采集的视场范围内的点云数据。
在本说明书实施例中，雷达装置可以实时采集自身视场范围内的点云数据，可以将所采集的点云数据存储在本地，还可以将其发送给服务器设备。从而服务器设备可以从雷达装置处获取点云数据，还可以从本地获取点云数据，所获取的点云数据可以用于后续执行比较操作。
点云数据的获取可以以帧为单位，每次获取的点云数据可以包括一帧或多帧，每帧点云数据可以包括多个点云。每帧的点云数据可以用于表征在该帧对应的时刻雷达装置的视场范围内的物体的空间位置。
在一个示例中，点云数据的获取可以按照指定时间间隔来获取，即，所获取的相邻两帧点云数据之间的时间间隔是指定时长。指定时长可以自定义设置，比如，1秒或10秒。在该示例中，所获取的用于比较的点云数据可以是雷达装置所采集的点云数据中的部分点云数据，通过间隔时间获取的方式，可以减少执行比较操作的点云数据的数据量，从而可以减少服务器设备的负载压力和所需的算力。
在一种获取方式中，在雷达装置将所采集的点云数据存储在本地时，服务器设备可以从雷达装置处根据各帧点云数据对应的帧时间按照指定时长的时间间隔来获取帧点云数据，所获取的相邻两帧点云数据之间的帧时间间隔是指定时长。各帧点云数据对应的帧时间可以是该帧点云数据的生成时间。
在另一种获取方式中，在雷达装置将是采集的点云数据都发送给服务器设备时，服务器设备可以将所有点云数据存储在本地存储器中，从而服务器设备可以从本地存储器中根据各帧点云数据对应的帧时间按照指定时长的时间间隔来获取帧点云数据。
服务器设备在获取到各帧点云数据后，可以将所获取的各帧点云数据存储在本地缓存中。在一种存储方式中，本地缓存可以划分一个指定的用于存储相邻两帧点云数据的第一区域，该第一区域中缓存的相邻两帧点云数据是待执行比较操作的两帧点云数据。当第一区域中存储的相邻两帧点云数据中的前一帧点云数据被取出用于执行比较操作时，此时第一区域中相邻两帧点云数据中的后一帧点云数据可以成为前一帧点云数据，然后，可以获取与该前一帧点云数据间隔指定时长的后一帧点云数据，将其作为第一区域中存储相邻两帧点云数据中的后一帧点云数据存储至第一区域中。
在一个示例中，可以将第一区域划分为两个子区域：第一子区域和第二子区域，第一子区域用于存储相邻两帧点云数据中的前一帧点云数据，第二子区域用于存储相邻两帧点云数据中的后一帧点云数据。第一子区域中存储的点云数据会优先用于执行比较操作，在第一子区域中的点云数据被取出执行比较操作后，可以将第二子区域中的点云数据转移至第一子区域中存储，从而该点云数据变成相邻两帧点云数据中的前一帧点云数据，然后，可以获取与该前一帧点云数据间隔指定时长的后一帧点云数据，将其作为第一区域中存储相邻两帧点云数据中的后一帧点云数据存储至第二子区域中。
在320，可以将所获取的相邻两帧点云数据进行比较。
在330，可以根据320的比较结果来确定是否有货物移动。如果有货物移动，则执行340的操作；如果没有货物移动，则返回执行310的操作，即，继续获取另外相邻的两帧点云数据来监测货物是否有移动。
相邻两帧点云数据分别可以表征在该两帧点云数据对应的两个时间点时视场范围内的仓储货物的空间位置，则可以将相邻两帧点云数据进行一一比较。当相邻两帧点云数据相同时，可以确定没有货物移动；当相邻两帧点云数据中进行一一比较的点云数据有不同时，则可以确定有货物移动。
图4示出了根据本说明书实施例的相邻两帧点云数据进行比较的一个示例400的流程图。
如图4所示，在321-1，可以将所获取的相邻两帧点云数据分别代入预先划分的第一视场划分空间中，以得到两帧点云数据分别对应的树状结构索引。
在该示例中，第一视场划分空间是对雷达装置的视场范围内的空间进行划分得到的，第一视场划分空间可以包括多个经过划分得到的小立体空间，该多个小立体空间可以构成完整的视场范围内的空间。
第一视场划分空间可以在预处理过程中得到，预处理过程可以是在执行本说明书的技术方案之前执行。在预处理过程中，可以利用八叉树算法根据雷达装置所生成的点云数据对视场范围内的空间进行划分得到第一视场划分空间。
在一个示例中，可以将雷达装置的视场范围内的立体空间作为一个待划分的立体空间，雷达装置可以向视场范围内的空间中发射雷达波，以得到位于视场范围内的空间中的点云。雷达装置每次发射的雷达波数量相同，从而每次得到的点云数量相同，进而每帧点云数据中的点云数量相同。
利用八叉树算法可以将视场范围内的立体空间按照8个象限进行划分，以得到8个待划分的立体空间，各个待划分的立体空间可以包括有雷达装置生成的点云。可以统计每个待划分立体空间中包括的点云数量。针对每个待划分立体空间，可以判断该待划分立体空间包括的点云数量是否大于第一数量阈值。第一数量阈值可以自定义，比如，第一数量阈值可以是128。
如果待划分立体空间包括的点云数量大于第一数量阈值，则可以对该待划分立体空间按照8个象限进行划分，进一步地得到8个待划分的立体空间。如果待划分立体空间包括的点云数量不大于第一数量阈值，则不再对该待划分立体空间进行划分，保持该待划分立体空间不变。按照上述方式对各个立体空间进行递归划分，直至所得到的各个立体空间所包括的点云数量小于第一数量阈值。在完成空间划分后，可以将视场范围内的空间划分为若干个小的立体空间，各个立体空间的空间大小可以不同。
图5示出了根据本说明书实施例的利用八叉树算法进行空间划分的一个示例的示意图。如图5所示，可以将视场范围内的空间近似为一个立方体，在第一次空间划分后，可以将立方体划分为8个小立方体。然后，比较每个小立方体中包括的点云数量是否大于第一数量阈值，当点云数量大于第一数量阈值时(比如，图5所示的右上的小立方体)，可以将该小立方体进一步地划分为8个更小的立方体。
在针对视场范围内的空间划分完成后，可以将视场范围内的空间划分为若干个小立体空间。此外，按照空间划分的过程，可以对应得到树状结构索引。在空间划分过程中，可以将视场范围内的空间用一个根节点来表示，此后，每个待划分的立体空间可以用一个叶节点来表示，当一个立体空间被划分为8个小立体空间时，该立体空间对应的根节点或叶节点与8个小立体空间所对应的叶节点之间是父子关系，父子关系的两个节点之间相互关联。
以图5为例，视场范围内的空间作为最大的一个待划分立体空间，用根节点来表示。在视场范围内的空间被划分为8个小立体空间时，可以用8个叶节点来表示每个对应的小立体空间，该8个叶节点与根节点之间是父子关系，从而可以将该8个叶节点与该根节点连接，以表示两者之间的关联性。后续针对每个立体空间的划分，都可以按照此种方式构建叶节点以及叶节点之间的关系。在空间划分完成后，所得到的根节点以及各个叶节点之间的关系所构成的树状结构是针对视场范围内的空间划分对应的树状结构索引。
回到图4，在有预先划分的第一视场划分空间后，可以将所获取的相邻两帧点云数据分别代入第一视场划分空间中。每帧点云数据代入第一视场划分空间后，根据每个点云数据所表征的点云在空间中的位置可以确定该点云在第一视场划分空间中所属的立体空间。基于此，可以确定帧点云数据中的各个点云与第一视场划分空间中的各个立体空间之间的归属关系。
由于第一视场划分空间的空间结构不变，各帧点云数据对应得到的树状结构索引的树状结构相同，每帧点云数据对应得到的树状结构索引的树状结构即为第一视场划分空间对应的树状结构。
针对每帧点云数据，根据各个点云与第一视场划分空间中的各个立体空间之间的归属关系，可以确定第一视场划分空间中的各个立体空间所包括的点云数量以及各个点云对应的点云数据。从而，在所得到的树状结构索引中，每个节点所包括的点云数量以及各个点云对应的点云数据是该节点对应的立体空间所包括点云数量以及各个点云对应的点云数据。
在321-3，可以根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在本说明书实施例中，根据两个树状结构索引相同与否或者差异度来确定是否有货物移动，差异度可以由两个树状结构索引中不同的叶节点数量来度量，不同的叶节点数量越多，则差异度越大；不同的叶节点数量越少，则差异度越小。所移动的货物可以是仓储货物中的全部或者部分货物。
在一个示例中，可以将两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量。
树状结构索引中存在多个叶节点，可以仅对树状结构索引中各个分支最末端的叶节点进行比较。以图5为例，根节点所关联的8个叶节点分别是叶节点1、2、3、4、5、6、7和8，其中，叶节点3和7进一步地关联另外8个叶节点，分别为：叶节点3-1、3-2、3-3、3-4、3-5、3-6、3-7和3-8，以及叶节点7-1、7-2、7-3、7-4、7-5、7-6、7-7和7-8。从而在叶节点3和7的分支上最末端的叶节点是叶节点3-1、3-2、3-3、3-4、3-5、3-6、3-7和3-8，以及叶节点7-1、7-2、7-3、7-4、7-5、7-6、7-7和7-8。则针对该树状结构索引，所比较的叶节点包括叶节点1、2、4、5、6和8，叶节点3-1、3-2、3-3、3-4、3-5、3-6、3-7和3-8，以及叶节点7-1、7-2、7-3、7-4、7-5、7-6、7-7和7-8。
在针对两个树状结构索引进行比较时，可以将两个树状结构索引中用于表示同一个立体空间的两个叶节点进行比较。在一个示例中，针对所比较的两个叶节点，可以将该两个叶节点所表征的立体空间中所包括的点云数据进行比较。比较的内容包括两个叶节点包括的点云数据所表征的点云数量以及各个点云的点云数据。当点云数量不同时，可以将点云数量的差值作为不同的点云数据的数量。此外，除了两个叶节点包括的相同的点云数据，其他不同的点云数据可以作为所统计的不同点云数据的数量。
在该示例中，针对比较的两个节点，在不同的点云数据的数量大于第三数量阈值时，可以确定两个叶节点不同；在不同的点云数据的数量不大于第三数量阈值时，可以确定两个叶节点相同。在另一个示例中，当两个叶节点中包括的点云数量和/或各个点云对应的点云数据不同时，可以确定两个叶节点不同。
在统计出两个树状结构索引中不同的叶节点数量后，可以根据不同的叶节点数量来确定是否有货物移动。具体地，在不同的叶节点数量大于第二数量阈值时，可以确定有货物移动；在不同的叶节点数量不大于第二数量阈值时，可以确定没有货物移动。
在一个示例中，在所比较的叶节点中，当有不同的叶节点时，则可以确定两个树状结构索引不同，从而可以确定有货物移动。当所比较的叶节点都相同时，则可以确定两个树状结构索引相同，从而可以确定没有货物移动。
图6示出了根据本说明书实施例的相邻两帧点云数据进行比较的另一个示例600的流程图。
如图6所示，在322-1，可以利用八叉树算法根据两帧点云数据中的其中一帧点云数据对视场范围内的空间进行空间划分，以生成第二视场划分空间以及得到该帧点云数据对应的树状结构索引。
在该示例中，作为空间划分依据的其中一帧点云数据可以是两帧点云数据中的任一帧点云数据，比如，该其中一帧点云数据是两帧点云数据中的前一帧点云数据。空间划分的过程可以参照上述图5中的针对第一视场划分空间的相关操作描述，在此不再赘述。
在该示例中，第二视场划分空间是对雷达装置的视场范围内的空间进行划分得到的，第二视场划分空间可以包括多个经过划分得到的小立体空间，该多个小立体空间可以构成完整的视场范围内的空间。第二视场划分空间中分布的立体空间的结构与第一视场划分空间中分布的立体空间的结构可以相同或不同。
第二视场划分空间可以仅包括视场范围内的空间经过划分后的各个立体空间的构成信息，不包括空间划分所依据的帧点云数据信息。所得到的该其中一帧点云数据对应的树状结构索引中可以包括该帧点云数据信息，可以用于表示该帧点云数据在第二视场划分空间中的分布情况。
在322-3，可以将两帧点云数据中的另一帧点云数据代入第二视场划分空间中，以得到另一帧点云数据对应的树状结构索引。
在该示例中，所得到的树状结构索引可以用于表示另一帧点云数据在第二视场划分空间中的分布情况。两帧点云数据所对应的两个树状结构索引都基于第二视场划分空间生成，从而所生成的两个树状结构索引的树状结构相同。
322-3的操作可以参照上述图5所述示例的操作说明，在此不再赘述。
在322-5，根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在一个示例中，将两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量；以及在不同的叶节点数量大于第二数量阈值时，确定有货物移动。
在一个示例中，针对两帧点云数据对应的树状结构索引中用于表征同一立体空间的两个叶节点，将两个叶节点所表征的立体空间中所包括的点云数据进行比较；在不同的点云数据数量大于第三数量阈值时，可以确定两个叶节点不同；以及在不同的点云数据数量不大于第三数量阈值时，可以确定两个叶节点相同。
322-5的操作可以参照上述图5所述示例的相关操作说明，在此不再赘述。
在一个示例中，在将采集的相邻两帧点云数据进行比较之前，可以将所采集的相邻两帧点云数据进行滤波处理，以去除噪声引入的离群点云数据。滤波处理的方式可以包括：Statistical Outlier Removal、Conditional Removal以及Radius Outlier Removal中的至少一种。
通过本说明书实施例提供的利用雷达装置生成的点云来监测货物是否移动，利用点云数据可以更精确地定位货物在空间中的位置，每一个点云数据都可以表征货物的一部分的位置，利用若干点云数据来表征货物完整的位置，将作为整体的货物转换成用若干点云数据来表征，即便货物的部分部位有微小的移动，也会导致该部分的点云数据变化，从而基于前后两帧点云数据的比对可以更精确地检测出货物的移动。
回到图3，在确定有货物移动时，在340，获取两帧点云数据对应的两帧图像。
在本说明书实施例中，图像是通过摄像设备对仓储货物进行实时拍摄所采集的。摄像设备可以实时采集针对仓储货物的图像，摄像设备可以将所采集的图像存储在指定的存储器中，还可以将其发送给服务器设备以进行存储。
在本说明书实施例中，两帧点云数据与对应的两帧图像的采集时间相同，可以根据两帧点云数据来获取采集时间相同的对应的两帧图像。在一个示例中，可以在指定的存储器或者服务器设备本地所存储的图像中筛选出与两帧点云数据的采集时间相同的两帧图像。
服务器设备可以从摄像设备所采集的图像中筛选出对应的两帧图像，此时的该两帧图像处于待处理状态，可以将所筛选的两帧图像存储在本地缓存中，这样，当需要获取图像进行处理时，可以直接从缓存中获取。在一种存储方式中，本地缓存可以划分一个指定的用于存储两帧点云数据对应的两帧图像的第二区域，该第二区域中缓存的两帧图像是待获取并执行确定移动货物的操作的两帧图像。两帧图像的生成时间不同，两帧图像中的前一帧图像的生成时间早于后一帧图像的生成时间，
当第二区域中存储的两帧图像中的前一帧图像被取出用于执行确定移动货物的操作时，此时第二区域中存储的两帧图像中的后一帧图像可以成为存储在第二区域中的两帧图像中的前一帧图像，然后可以继续获取后续帧点云图像对应的图像，将其作为存储在第二区域中的两帧图像中的后一帧图像存储至第二区域中。
在一个示例中，可以将第二区域划分为两个子区域：第三子区域和第四子区域。第三子区域用于存储两帧图像中的前一帧图像，即用于存储第一子区域中的帧点云数据对应的图像。第四子区域用于存储两帧图像中的后一帧图像，即用于存储第二子区域中的帧点云数据对应的图像。第三子区域中存储的图像会优先用于执行确定移动货物的操作，在第三子区域中的图像被取出执行确定移动货物的操作后，可以将第四子区域中的图像转移至第三子区域中存储，从而该图像变成所存储的两帧图像中的前一帧图像。然后，可以获取第二子区域中存储的帧点云数据对应的图像，将其作为存储在第二区域中的两帧图像中的后一帧图像存储至第四子区域中。
在一个示例中，可以将第二区域与用于存储相邻两帧点云数据的第一区域合并为一个区域，该区域可以划分为：用于存储相邻的前一帧点云数据的第一子区域、用于存储相邻的后一帧点云数据的第二子区域、用于存储第一子区域中的帧点云数据对应的帧图像的第三子区域、以及用于存储第二子区域中的帧点云数据对应的帧图像的第四子区域。
在350，根据所获取的两帧图像可以确定仓储货物中的移动货物。
在一个示例中，可以利用视觉检测算法对所获取的两帧图像进行处理，以确定两帧图像中的仓储货物的位置差异，位置不同的货物即为移动货物。在该示例中，视觉检测算法可以由经过训练的模型来执行，模型可以对输入的图像进行区域选择、特征提取以及分类回归等处理。
移动货物的确定方式可以包括输出移动货物的特征信息、在模型输出的图像上标注出所移动的货物等。
在一个示例中，可以将相邻两帧云数据、两帧图像以及移动货物的信息上链，以确保所存储数据的安全性，避免所存储的数据被篡改。执行上链操作的执行设备可以是服务器设备，还可以是服务器设备调用云端服务器来执行。
在该示例中，可以将相邻两帧云数据、两帧图像以及移动货物的信息存储在云端，然后，在对相邻两帧云数据、两帧图像以及移动货物的信息进行上链操作时，可以将相邻两帧云数据、两帧图像以及移动货物的信息的哈希值存储至区块链。在另一个示例中，也可以将相邻两帧云数据、两帧图像以及移动货物的信息的原文数据上链至区块链进行存储。
在一个应用场景中，可以设置正常时间段和非正常时间段，比如，可以将白天设定为正常时间段，将晚上设定为非正常时间段。可以在正常时间段以及非正常时间段均对仓储货物进行实时监测。当检测到货物移动的时间点属于指定的非正常时间段时，可以发出警告，以及时对货物存在的风险进行预警。
通过本说明书实施例提供的技术方案，通过雷达来监测是否有货物移动，只有在货物移动的情况下才进一步地根据货物的帧图像来确定所移动的货物，在未检测到有货物移动的情况下不会对帧图像进行处理，避免了需要较高的算力来连续处理帧图像的问题，较低的算力减少了对硬件配置的高要求的依赖，节省了计算资源。
图7示出了根据本说明书实施例的用于对货物移动进行检测的方法的另一个示例700的流程图。
图7所示的示例可以由边缘服务器来执行，边缘服务器可以分别与雷达装置和摄像设备通信连接，雷达装置用于对视场范围内的仓储货物进行实时监测，摄像设备用于对仓储货物进行实时拍摄。此外，边缘服务器还可以与云端服务器通信连接，云端服务器可以配置有多种服务，比如，数据存储服务器、视觉检测算法服务等，从而边缘服务器可以调用云端服务器中配置的服务来执行相应的操作。
如图7所示，在710，获取雷达装置采集的视场范围内的点云数据。
在720，将所获取的相邻两帧点云数据进行比较，相邻两帧点云数据的帧间隔时间为指定时长。
在730，可以根据720的比较结果来确定是否有货物移动。如果有货物移动，则执行740的操作；如果没有货物移动，则返回执行710的操作，即，继续获取雷达装置所采集的点云数据来监测货物是否移动。
在740，获取两帧点云数据对应的两帧图像，该两帧云数据与对应的所述两帧图像的采集时间相同。
在750，调用云端服务器配置的视觉检测算法来根据两帧图像确定仓储货物中的移动货物。
在一个示例中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：将所获取的相邻两帧点云数据分别代入预先划分的第一视场划分空间中，以得到两帧点云数据分别对应的树状结构索引，其中，第一视场划分空间是利用八叉树算法根据雷达装置所生成的点云数据对视场范围内的空间进行划分得到的，所得到的两个树状结构索引的树状结构相同；以及根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在一个示例中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：利用八叉树算法根据两帧点云数据中的其中一帧点云数据对视场范围内的空间进行空间划分，以生成第二视场划分空间以及得到该帧点云数据对应的树状结构索引；将两帧点云数据中的另一帧点云数据代入第二视场划分空间中，以得到另一帧点云数据对应的树状结构索引，其中，所得到的两个树状结构索引的树状结构相同；以及根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在一个示例中，根据两帧点云数据对应的树状结构索引来确定是否有货物移动包括：将两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量；以及在不同的叶节点数量大于第二数量阈值时，确定有货物移动。
在一个示例中，将两帧点云数据对应的树状结构索引中的叶节点分别进行对应比较，以确定树状结构索引中不同的叶节点数量包括：针对两帧点云数据对应的树状结构索引中用于表征同一立体空间的两个叶节点，将两个叶节点所表征的立体空间中所包括的点云数据进行比较；在不同的点云数据数量大于第三数量阈值时，确定两个叶节点不同；以及在不同的点云数据数量不大于第三数量阈值时，确定两个叶节点相同。
在一个示例中，在将所获取的相邻两帧点云数据进行比较之前，货物移动检测方法还可以包括：将所获取的相邻两帧点云数据进行滤波处理。
在一个示例中，货物移动检测方法还可以包括：将相邻两帧云数据、两帧图像以及移动货物的信息上链。
图8示出了根据本说明书实施例的用于对货物移动进行检测的装置(以下称为货物移动检测装置800)的一个示例的方框图。
货物移动检测装置800可以应用于边缘服务器，边缘服务器分别与雷达装置和摄像设备通信连接，还与云端服务器通信连接，雷达装置用于对视场范围内的仓储货物进行实时监测，摄像设备用于对仓储货物进行实时拍摄。
货物移动检测装置800包括：点云数据获取单元810、点云数据比较单元820、图像获取单元830以及算法调用单元840。
点云数据获取单元810，可以被配置为获取雷达装置采集的视场范围内的点云数据。
点云数据比较单元820，被配置为将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，可以触发图像获取单元830。相邻两帧点云数据的帧间隔时间为指定时长。
图像获取单元830，可以被配置为获取两帧点云数据对应的两帧图像，两帧云数据与对应的两帧图像的采集时间相同。
算法调用单元840，可以被配置为调用云端服务器配置的视觉检测算法来根据两帧图像确定仓储货物中的移动货物。
在一个示例中，点云数据获取单元810还可以被配置为：将所获取的相邻两帧点云数据分别代入预先划分的第一视场划分空间中，以得到两帧点云数据分别对应的树状结构索引，其中，第一视场划分空间是利用八叉树算法根据雷达装置所生成的点云数据对视场范围内的空间进行划分得到的，所得到的两个树状结构索引的树状结构相同；以及根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在一个示例中，点云数据获取单元810还可以被配置为：利用八叉树算法根据两帧点云数据中的其中一帧点云数据对视场范围内的空间进行空间划分，以生成第二视场划分空间以及得到该帧点云数据对应的树状结构索引；将两帧点云数据中的另一帧点云数据代入第二视场划分空间中，以得到另一帧点云数据对应的树状结构索引，其中，所得到的两个树状结构索引的树状结构相同；以及根据两帧点云数据对应的树状结构索引来确定是否有货物移动。
在一个示例中，点云数据获取单元810还可以被配置为：将两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量；以及在不同的叶节点数量大于第二数量阈值时，确定有货物移动。
在一个示例中，点云数据获取单元810还可以被配置为：针对两帧点云数据对应的树状结构索引中用于表征同一立体空间的两个叶节点，将两个叶节点所表征的立体空间中所包括的点云数据进行比较；在不同的点云数据数量大于第三数量阈值时，确定两个叶节点不同；以及在不同的点云数据数量不大于第三数量阈值时，确定两个叶节点相同。
在一个示例中，货物移动检测装置800还可以包括滤波单元，该滤波单元可以被配置为：将所获取的相邻两帧点云数据进行滤波处理。
在一个示例中，货物移动检测装置800还可以包括上链单元，该上链单元可以被配置为：将相邻两帧云数据、两帧图像以及移动货物的信息上链。
以上参照图1到图8，对根据本说明书实施例的用于对货物移动进行检测的方法及装置的实施例进行了描述。
本说明书实施例的用于对货物移动进行检测的装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，用于对货物移动进行检测的装置例如可以利用电子设备实现。
图9示出了根据本说明书实施例的用于实现货物移动检测方法的电子设备900的一个示例的方框图。
如图9所示，电子设备900可以包括至少一个处理器910、存储器(例如，非易失性存储器)920、内存930和通信接口940，并且至少一个处理器910、存储器920、内存930和通信接口940经由总线950连接在一起。至少一个处理器910执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器910：获取雷达装置采集的视场范围内的点云数据；将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动；在确定有货物移动时，获取两帧点云数据对应的两帧图像，两帧云数据与对应的两帧图像的采集时间相同；以及调用云端服务器配置的视觉检测算法来根据两帧图像确定仓储货物中的移动货物。
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器910进行本说明书的各个实施例中以上结合图1-8描述的各种操作和功能。
根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-8描述的各种操作和功能。
具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB、NET以及Python等，常规程序化编程语言如C语言、Visual Basic 2003、Perl、COBOL 2002、PHP以及ABAP，动态编程语言如Python、Ruby和Groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(SaaS)。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。
本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (19)

1.一种用于对货物移动进行检测的方法，包括：
获取雷达装置所采集的视场范围内的点云数据，所述雷达装置用于对所述视场范围内的仓储货物进行实时监测；
将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动，所述相邻两帧点云数据的帧间隔时间为指定时长；
在确定有货物移动时，获取所述两帧点云数据对应的两帧图像，其中，所述图像是通过摄像设备对所述仓储货物进行实时拍摄所采集的，所述两帧点云数据与对应的所述两帧图像的采集时间相同；以及
根据所述两帧图像确定所述仓储货物中的移动货物。
2.如权利要求1所述的方法，其中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：
将所获取的相邻两帧点云数据分别代入预先划分的第一视场划分空间中，以得到所述两帧点云数据分别对应的树状结构索引，其中，所述第一视场划分空间是利用八叉树算法根据所述雷达装置所生成的点云数据对所述视场范围内的空间进行划分得到的，所得到的两个树状结构索引的树状结构相同；以及
根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动。
3.如权利要求1所述的方法，其中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：
利用八叉树算法根据所述两帧点云数据中的其中一帧点云数据对所述视场范围内的空间进行空间划分，以生成第二视场划分空间以及得到该帧点云数据对应的树状结构索引；
将所述两帧点云数据中的另一帧点云数据代入所述第二视场划分空间中，以得到所述另一帧点云数据对应的树状结构索引，其中，所得到的两个树状结构索引的树状结构相同；以及
根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动。
4.如权利要求2或3所述的方法，其中，根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动包括：
将所述两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量；以及
在不同的叶节点数量大于第二数量阈值时，确定有货物移动。
5.如权利要求4所述的方法，其中，将所述两帧点云数据对应的树状结构索引中的叶节点分别进行对应比较，以确定所述树状结构索引中不同的叶节点数量包括：
针对所述两帧点云数据对应的树状结构索引中用于表征同一立体空间的两个叶节点，将所述两个叶节点所表征的立体空间中所包括的点云数据进行比较；
在不同的点云数据数量大于第三数量阈值时，确定所述两个叶节点不同；以及
在不同的点云数据数量不大于第三数量阈值时，确定所述两个叶节点相同。
6.如权利要求2或3所述的方法，其中，利用所述八叉树算法根据所述雷达装置生成的点云数据所进行的空间划分按照如下方式执行：
针对所述视场范围内的空间中的每个待划分立体空间，判断该待划分立体空间包括的点云数量是否大于第一数量阈值；
若大于，则对该待划分立体空间按照8个象限进行划分，以得到8个待划分的立体空间；以及
若不大于，则不再对该待划分立体空间进行划分。
7.如权利要求1所述的方法，其中，在将所获取的相邻两帧点云数据进行比较之前，所述方法还包括：
将所获取的相邻两帧点云数据进行滤波处理。
8.如权利要求1所述的方法，其中，根据所述两帧图像确定所述仓储货物中的移动货物包括：
利用视觉检测算法对所述两帧图像进行处理，以确定所述仓储货物中的移动货物。
9.如权利要求1所述的方法，还包括：
将所述相邻两帧云数据、所述两帧图像以及所述移动货物的信息上链。
10.如权利要求1所述的方法，还包括：
在货物移动的时间点属于指定的非正常时间段时，发出警告。
11.一种用于对货物移动进行检测的方法，由边缘服务器来执行，所述边缘服务器分别与雷达装置和摄像设备通信连接，还与云端服务器通信连接，所述雷达装置用于对视场范围内的仓储货物进行实时监测，所述摄像设备用于对所述仓储货物进行实时拍摄，
所述方法包括：
获取所述雷达装置采集的所述视场范围内的点云数据；
将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动，所述相邻两帧点云数据的帧间隔时间为指定时长；
在确定有货物移动时，获取所述两帧点云数据对应的两帧图像，所述两帧云数据与对应的所述两帧图像的采集时间相同；以及
调用所述云端服务器配置的视觉检测算法来根据所述两帧图像确定所述仓储货物中的移动货物。
12.如权利要求11所述的方法，其中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：
将所获取的相邻两帧点云数据分别代入预先划分的第一视场划分空间中，以得到所述两帧点云数据分别对应的树状结构索引，其中，所述第一视场划分空间是利用八叉树算法根据所述雷达装置所生成的点云数据对所述视场范围内的空间进行划分得到的，所得到的两个树状结构索引的树状结构相同；以及
根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动。
13.如权利要求11所述的方法，其中，将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动包括：
利用八叉树算法根据所述两帧点云数据中的其中一帧点云数据对所述视场范围内的空间进行空间划分，以生成第二视场划分空间以及得到该帧点云数据对应的树状结构索引；
将所述两帧点云数据中的另一帧点云数据代入所述第二视场划分空间中，以得到所述另一帧点云数据对应的树状结构索引，其中，所得到的两个树状结构索引的树状结构相同；以及
根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动。
14.如权利要求12或13所述的方法，其中，根据所述两帧点云数据对应的树状结构索引来确定是否有货物移动包括：
将所述两帧点云数据对应的树状结构索引中各个分支最末端的叶节点分别进行对应比较，以统计两个树状结构索引中不同的叶节点数量；以及
在不同的叶节点数量大于第二数量阈值时，确定有货物移动。
15.如权利要求14所述的方法，其中，将所述两帧点云数据对应的树状结构索引中的叶节点分别进行对应比较，以确定所述树状结构索引中不同的叶节点数量包括：
针对所述两帧点云数据对应的树状结构索引中用于表征同一立体空间的两个叶节点，将所述两个叶节点所表征的立体空间中所包括的点云数据进行比较；
在不同的点云数据数量大于第三数量阈值时，确定所述两个叶节点不同；以及
在不同的点云数据数量不大于第三数量阈值时，确定所述两个叶节点相同。
16.一种用于对货物移动进行检测的装置，应用于边缘服务器，所述边缘服务器分别与雷达装置和摄像设备通信连接，还与云端服务器通信连接，所述雷达装置用于对视场范围内的仓储货物进行实时监测，所述摄像设备用于对所述仓储货物进行实时拍摄，
所述装置包括：
点云数据获取单元，被配置为获取所述雷达装置采集的所述视场范围内的点云数据；
点云数据比较单元，被配置为将所获取的相邻两帧点云数据进行比较，以确定是否有货物移动，在确定有货物移动时，触发图像获取单元，所述相邻两帧点云数据的帧间隔时间为指定时长；
所述图像获取单元，被配置为获取所述两帧点云数据对应的两帧图像，所述两帧云数据与对应的所述两帧图像的采集时间相同；以及
算法调用单元，被配置为调用所述云端服务器配置的视觉检测算法来根据所述两帧图像确定所述仓储货物中的移动货物。
17.一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求11-15中任一所述的方法。
18.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求11-15中任一所述的方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求11-15中任一所述的方法。
CN202210587792.1A 2022-05-26 2022-05-26 用于对货物移动进行检测的方法及装置 Pending CN114913207A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210587792.1A CN114913207A (zh) 2022-05-26 2022-05-26 用于对货物移动进行检测的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210587792.1A CN114913207A (zh) 2022-05-26 2022-05-26 用于对货物移动进行检测的方法及装置

Publications (1)

Publication Number Publication Date
CN114913207A true CN114913207A (zh) 2022-08-16

Family

ID=82768287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210587792.1A Pending CN114913207A (zh) 2022-05-26 2022-05-26 用于对货物移动进行检测的方法及装置

Country Status (1)

Country Link
CN (1) CN114913207A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021123581A1 (de) 2021-09-13 2023-03-16 Zf Cv Systems Global Gmbh Verfahren zur Ladungsüberwachung

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021123581A1 (de) 2021-09-13 2023-03-16 Zf Cv Systems Global Gmbh Verfahren zur Ladungsüberwachung

Similar Documents

Publication Publication Date Title
CN109886130B (zh) 目标对象的确定方法、装置、存储介质和处理器
CN104052905B (zh) 用于处理图像的方法和设备
KR101271092B1 (ko) 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치
CN111898581B (zh) 动物检测方法、装置、电子设备及可读存储介质
US20140003710A1 (en) Unsupervised learning of feature anomalies for a video surveillance system
US9111353B2 (en) Adaptive illuminance filter in a video analysis system
CN112183353B (zh) 一种图像数据处理方法、装置和相关设备
KR101720781B1 (ko) 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
US20140015984A1 (en) Detecting and responding to an out-of-focus camera in a video analytics system
CN106612385B (zh) 视频检测方法和视频检测装置
US11429820B2 (en) Methods for inter-camera recognition of individuals and their properties
KR101454644B1 (ko) 보행자 추적기를 이용한 서성거림을 탐지하는 방법
Malhi et al. Vision based intelligent traffic management system
CN110348343A (zh) 一种暴力行为监测方法、装置、存储介质及终端设备
CN114913207A (zh) 用于对货物移动进行检测的方法及装置
CN108961316A (zh) 图像处理方法、装置及服务器
CN115294528A (zh) 一种行人安全监控方法及装置
JP7255819B2 (ja) 映像ストリームからの物体検出において用いるためのシステム及び方法
CN113313098A (zh) 视频处理方法、设备、系统及存储介质
Sharma et al. Automatic vehicle detection using spatial time frame and object based classification
US20230334774A1 (en) Site model updating method and system
CN110611793B (zh) 基于工业视觉的供应链信息采集与数据分析方法及装置
KR101991186B1 (ko) 철근 검출 방법 및 그 장치
US20230095027A1 (en) System and method for reducing surveillance detection errors
Thomanek et al. A scalable system architecture for activity detection with simple heuristics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination