CN115018903A

CN115018903A - 一种堆场料堆体积计算方法及系统

Info

Publication number: CN115018903A
Application number: CN202210953275.1A
Authority: CN
Inventors: 范柘
Original assignee: Wuxi Dingshi Technology Co ltd; Anville Information Technology Tianjin Co ltd
Current assignee: Wuxi Dingshi Technology Co ltd; Anville Information Technology Tianjin Co ltd
Priority date: 2022-08-10
Filing date: 2022-08-10
Publication date: 2022-09-06
Anticipated expiration: 2042-08-10
Also published as: CN115018903B

Abstract

本发明提供了一种堆场料堆体积计算方法及系统，属于智能安防港口技术领域，所述方法包括：接收至少一个相机的第一图像数据，其中，所述至少一个相机围绕料堆布置；识别所述第一图像数据中的所述料堆，将所述料堆所处区域作为第二图像数据；根据所述第二图像数据确定所述料堆的关键点数据，根据所述关键点数据计算得出所述料堆的体积。本发明的方案无需采用昂贵的无人机，也几乎不需要人力参与，整个过程自动化程度高。

Description

一种堆场料堆体积计算方法及系统

技术领域

本发明涉及智能安防港口技术领域，具体而言，涉及一种堆场料堆体积计算方法、系统、电子设备及计算机存储介质。

背景技术

随着科技技术的发展与进步，当前安防技术已经进入了全新的智能时代，而视频智能分析则是智能安防技术落地的重要手段。深度学习技术中各类智能算法的井喷式发展，使得实时分析前端设备采集的视频信息成为可能，并将信息传递至各大监控平台以及客户端。

像港口这种大型散货堆场基地会存放着大量矿石、粮食、煤炭等散货。无论是国家和企业进行经济规划、统筹存储、生产计划等，都离不开快速准确的对当前堆场的存储量进行统计。并且随着管理水平的提升，堆场的堆放要求也逐渐标准化、整齐化，呈现出四棱台的堆放形式（如图1）。此时采用带激光雷达的无人机进行堆放货物体积计算的解决方案的弊端日渐呈现，造价昂贵、效率低下、有的甚至还需要人工参与，无法满足实际需要。

发明内容

为了至少解决上述背景技术中存在的技术问题，本发明提供了一种堆场料堆体积计算方法、系统、电子设备及计算机存储介质。

本发明的第一方面提供了一种堆场料堆体积计算方法，包括如下步骤：

接收至少一个相机的第一图像数据，其中，所述至少一个相机围绕料堆布置；

识别所述第一图像数据中的所述料堆，将所述料堆所处区域作为第二图像数据；

根据所述第二图像数据确定所述料堆的关键点数据，根据所述关键点数据计算得出所述料堆的体积。

进一步地，所述方法还包括：

检测是否接收到人机交互装置传送的第一信号，若是，则生成第一触发信号；和/或，检测是否当前日期/时间是否满足第一条件，若是，则生成第二触发信号；和/或，检测监测设备输出的第二信号是否满足第二条件，若是，则生成第三触发信号；

响应于所述第一触发信号和/或第二触发信号和/或第三触发信号生成请求指令，所述请求指令用以请求获取所述相机的所述第一图像数据。

进一步地，所述识别所述第一图像数据中的所述料堆，将所述料堆所处区域作为第二图像数据，包括：

对所述第一图像数据进行预处理，以获得第三图像数据；

采用深度学习模型对所述第三图像数据中的像素进行分类，根据分类结果确定料堆所处区域，得出所述第二图像数据。

进一步地，所述根据所述第二图像数据确定所述料堆的关键点数据，包括：

确定所述第二图像数据的边缘线数据，根据所述边缘线数据确定所述第二图像数据中的若干角点；

对各所述角点进行置信度分析，根据置信度识别结果确定出所述料堆的四个上顶点和四个下顶点；

根据预设的映射关系计算各所述上顶点和所述下顶点的第一坐标数据，根据所述第一坐标数据确定得出所述关键点数据。

进一步地，所述根据所述第一坐标数据确定得出所述关键点数据，包括：

计算各所述相机拍摄的所述料堆的底面中心点坐标，两两计算各所述底面中心点坐标的距离，若所述距离均满足第三条件，则判定对应的所述料堆为同一料堆，将对应的两组所述第一坐标数据加入目标集；

将所述目标集中的各所述第一坐标数据进行加权平均处理，以获得第二坐标数据，将所述第二坐标数据作为所述关键点数据。

进一步地，所述根据所述关键点数据计算得出所述料堆的体积，包括：

根据各关键点的所述坐标数据计算得出所述料堆的尺寸数据，根据所述尺寸数据和预设公式计算得出所述料堆的体积。

进一步地，所述方法还包括：对所述料堆的状态进行可视化展示。

本发明的第二方面提供了一种堆场料堆体积计算系统，包括接收模块、处理模块、存储模块；所述处理模块与所述接收模块、所述存储模块连接；

所述存储模块，用于存储可执行的计算机程序代码；

所述接收模块，用于接收堆场设置的分布式相机的图像数据，并传输给所述处理模块；

所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法。

本发明的第三方面提供了一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。

本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

本发明的方案中，利用在料堆周围分布式布置的至少一个相机来拍摄料堆的图像数据，从中识别出料堆所处区域的图像，然后再提取料堆的关键点，由于料堆为四棱台的堆放形式，此时即可计算出料堆的体积。可见，相比于现有技术，本发明的方案无需采用昂贵的无人机，也几乎不需要人力参与，整个过程自动化程度高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例公开的港口料堆的结构示意图。

图2是本发明实施例公开的一种堆场料堆体积计算方法的流程示意图。

图3是本发明实施例公开的确定出的第二图像数据的示意图。

图4本发明实施例公开的一种堆场料堆体积计算系统的结构示意图。

图5是本发明实施例公开一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本申请实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面结合附图详细说明本发明的优选实施例。

请参阅图1，图1是本发明实施例公开的一种堆场料堆体积计算方法的流程示意图。如图1所示，本发明实施例的一种堆场料堆体积计算方法，包括如下步骤：

在本发明实施例中，如背景技术所述，现有技术中采用带激光雷达的无人机对料堆的尺寸数据进行采集，然后再计算其体积，该方式实施成本很高，而且还需要耗费较多的人力，缺点明显。有鉴于此，本发明采用图像识别技术来分析计算堆场各料堆的体积，具体来说，利用在料堆周围分布式布置的至少一个相机来拍摄料堆的图像数据，从中识别出料堆所处区域的图像，然后再提取料堆的关键点，由于料堆为四棱台的堆放形式，此时即可计算出料堆的体积。可见，相比于现有技术，本发明的方案无需采用昂贵的无人机，也几乎不需要人力参与，整个过程自动化程度高。

需要进行说明的是：本发明中的分布式相机可以是在堆场分布式布置的相机，这些相机的拍摄视野可以仅包括单一料堆，也可以包括多个料堆，但组合中的相机拍摄的视频流中应当包括料堆的至少一个面，以利于后续直接计算或推算出料堆的尺寸数据，进而确定其体积。进一步地，相机包括球机和枪机，如此设置，便可以利用球机拍摄面积大、枪机可以调整拍摄角度来确保对料堆的至少一个面的获取。

本发明该实施例及后续改进实施例的执行主体可以为布设于港口货物堆场的现场处理设备，也可以是位于远端的服务器。其中，现场处理设备可以为中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等；以及，服务器可以为单台服务器，也可以为多台服务器组成的云服务器集群，例如阿里云、腾讯云等。

进一步地，所述方法还包括：

在本发明实施例中，设置了本发明方案的三种实施方式，分别为手动触发式、周期触发式、自适应触发式。对于其中的自适应触发式，可以是根据相机、重量传感器、音频传感器等数据监测到料堆发生变动时，例如料堆高度发生变化、重量发生变化、现场存在机械操作音频等，生成触发信号，以请求分布式相机的视频流，进而分析料堆的体积。

对所述第一图像数据进行预处理，以获得第三图像数据；

在本发明实施例中，本发明采用深度学习技术来对经过预处理的图像数据中的像素进行分类，即将各像素分别分为料堆、非料堆，即识别出图像中的前景和背景，从而实现料堆的像素级别的分割结果。其中，预处理可以包括抑噪、旋转变换、二值化等处理。

所涉及的深度学习模型可以依据神经网络(Artificial Neural Networks，ANN)、深度信念网络(Deep Belief Network ，DBN) 、循环神经网络(Recurrent NeuralNetwork，RNN)、长/短期记忆(Long/Short Term Memory，LSTM) 、门控循环单位(GatedRecurrent Unit，GRU)、自动编码器神经网络(Auto Encoder，AE) 、霍菲特网络(HopfieldNetwork，HN)、深度信念网络(Deep Belief Network ，DBN) 等算法进行构建，本发明对此不作限定。

在本发明实施例中，对第二图像数据的边缘线进行提取分析，可以快速确定出若干角点，其中的角点即为各边缘线的交点；再对各角点进行置信度分析即可最终确定出属于料堆上下顶点的八个关键点，此时可根据已预设坐标系计算出其坐标数据。

以及，可以根据预设的映射关系计算出各关键点的坐标数据。具体说，对堆场的整个图像空间进行区域划分（具体划分可以参考Delauney三角剖分），根据事先采集的若干对图像空间的特征点和GIS坐标下的特征点可以确定标定出映射关系，进而能够将图像空间中的坐标数据线性映射到GIS空间中。

在本发明实施例中，在将各图像空间的特征点（即角点）映射至GIS空间之后，进一步计算各相机拍摄的料堆的底面中心点坐标，如果两个相机拍摄的某料堆的底面中心点坐标距离满足第三条件，第三条件可以为所述距离小于料堆底面宽高的一半，则可判定两相机拍摄的某料堆为同一料堆，此时收集该两相机拍摄的该料堆的坐标数据。接着再对所有已收集的同一料堆的坐标数据进行加权平均，其中的权重可以根据相机布设位置与料堆位置（均以GIS空间为基准）的距离来确定，距离与权重负相关，以体现置信度。

在本发明实施例中，料堆的体积计算公式如下：

V=h/6*(a*b+(a+a1)*(b+b1)+a1*b1)

式中，a、b分别为料堆底面的长度和宽度，a1和b1分别为料堆顶面的长度和宽度，h为料堆的高度。如果高度(h)坡度(θ)固定且已知，则仅仅得到底面长宽就能计算最终体积，因为a1=a-2h/tanθ, b1=b-2h/tanθ,带入体积公式即可得到最终结果。

在本发明实施例中，在确定出各料堆的体积和位置数据之后，就可以通过合适的方式将料堆的实时状态展示给相关工作人员。例如，可以通过AR标签或数字孪生应用多种形式将所述料堆的体积和位置数据展现在GIS地图或三维模型中，从而给用户更加直观的堆场状态监管体验。

进一步地，所述对各所述角点进行置信度分析，包括：

计算组成所述角点的各所述边缘线的内侧的第一长度和外侧的第二长度；

判断某个所述边缘线的所述第一长度是否大于或等于第一阈值，且所述第二长度是否大于或等于第二阈值，若是，则判定所述角点的置信度为低。

在本发明实施例中，参照图3所示，本发明中确定出的第二图像数据（外层线圈）实际上会比料堆的范围（内层线圈）略大，此时便会在料堆的边缘区域出现各类干扰物，例如料堆上放置的杆体、绳体等具有明显线特征的干扰物。针对该问题，在确定各角点的置信度时，本发明还可以设置附加条件，例如组成角点的边缘线中的至少一条位于角点内侧的第一长度应当满足大于或等于第一阈值，以及位于角点外侧的第二长度应当满足大于或等于第二阈值，在以上条件满足时即可判定该角点的组成线为料堆上放置的杆体等突出边缘线的干扰物，而非真正的边缘线。如此设置，可以提升角点确定的准确性，避免受前述干扰物的影响。

举例说明如下：

参照图3所示，a1为料堆的其中一条边缘线，在该边缘线上可以确定出D、A、E三个角点，但实际上线b并非边缘线，而是放置于料堆上的杆体等干扰物，也即A并非为角点。对此，本发明以交点A为分界计算得出内侧的线AC的第一长度、外侧的线AB的第二长度，若AC的第一长度大于或等于第一阈值且线AB的第二长度大于或等于第二阈值，则可以判定交点A为非角点。而对于真正的角点来说，其组成的边缘线会不存在线AB，或者线AB的第二长度小于第三阈值即足够小。其中，第一阈值和第二阈值均可基于料堆的大小来确定，例如基于第二图像数据的高度和/或宽度确定，高度和/或宽度越大，则设置第一阈值和/或第二阈值越大。另外，若线AC的第一长度小于第一阈值，则可以直接将其认定为干扰物。

请参阅图4，图4是本发明实施例公开的种堆场料堆体积计算系统的结构示意图。如图4所示，本发明实施例的一种堆场料堆体积计算系统，包括接收模块101、处理模块102、存储模块103；所述处理模块102与所述接收模块101、所述存储模块103连接；

所述存储模块103，用于存储可执行的计算机程序代码；

所述接收模块101，用于接收堆场设置的分布式相机的图像数据，并传输给所述处理模块102；

所述处理模块102，用于通过调用所述存储模块103中的所述可执行的计算机程序代码，执行如前任一项所述的方法。

该实施例中的种堆场料堆体积计算系统的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

请参阅图5，图5是本发明实施例公开的一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。

本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用的技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明的构思的情况下，还可以包括更多其他等效实施例，均属于本发明的保护范畴。

Claims

1.一种堆场料堆体积计算方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种堆场料堆体积计算方法，其特征在于：所述方法还包括：

3.根据权利要求1或2所述的一种堆场料堆体积计算方法，其特征在于：所述识别所述第一图像数据中的所述料堆，将所述料堆所处区域作为第二图像数据，包括：

对所述第一图像数据进行预处理，以获得第三图像数据；

4.根据权利要求3所述的一种堆场料堆体积计算方法，其特征在于：所述根据所述第二图像数据确定所述料堆的关键点数据，包括：

5.根据权利要求4所述的一种堆场料堆体积计算方法，其特征在于：所述根据所述第一坐标数据确定得出所述关键点数据，包括：

6.根据权利要求5所述的一种堆场料堆体积计算方法，其特征在于：所述根据所述关键点数据计算得出所述料堆的体积，包括：

7.根据权利要求1、4-6任一项所述的一种堆场料堆体积计算方法，其特征在于：所述方法还包括：对所述料堆的状态进行可视化展示。

8.一种堆场料堆体积计算系统，包括接收模块、处理模块、存储模块；所述处理模块与所述接收模块、所述存储模块连接；

所述存储模块，用于存储可执行的计算机程序代码；

其特征在于：所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如权利要求1-7任一项所述的方法。

9.一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的方法。

10.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1-7任一项所述的方法。