CN115424261A - 仓库点云语义分割方法、装置、计算机设备和存储介质 - Google Patents

仓库点云语义分割方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115424261A
CN115424261A CN202110521314.6A CN202110521314A CN115424261A CN 115424261 A CN115424261 A CN 115424261A CN 202110521314 A CN202110521314 A CN 202110521314A CN 115424261 A CN115424261 A CN 115424261A
Authority
CN
China
Prior art keywords
target
semantic segmentation
image
warehousing
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110521314.6A
Other languages
English (en)
Inventor
施岩
孙增强
李诺
赵钦炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202110521314.6A priority Critical patent/CN115424261A/zh
Publication of CN115424261A publication Critical patent/CN115424261A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种仓库点云语义分割方法、装置、计算机设备和存储介质。所述方法包括：获取包括目标仓储图像的第一数据库文件；将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。采用本方法能够提高仓库点云的语义分割精度。

Description

仓库点云语义分割方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机图形与图像处理技术领域，特别是涉及一种仓库点云语义分割方法、装置、计算机设备和存储介质。
背景技术
仓库作为物流行业资源供应的重要角色，其货物调度的效率直接决定货物配送的效率，而对于货物在仓库的存储规则和摆放位置的感知，是货物调度的先决条件。行业内通常使用射频识别技术(Radio Frequency Identification,RFID)结合仓库管理系统对出入库信息进行管理，虽然该种仓库货物管理方式能够获得货物的统计信息，但是不能准确获得货物摆放信息，无法满足5G时代智慧物流中“可视化”的要求，而三维数据能够更好的表示货物存放位置，由此基于三维数据的仓库货物管理方式能够更好的实现可控化与可视化。点云(point clouds)作为三维数据的一种表示形式，是三维空间中点的集合，具有易于测量与表示简单等优势，由此可基于点云实现三维数据的处理与分析。通过对仓库点云进行语义分割能够获得仓库的语义信息，从而能够直接使用语义信息可视化仓储空间。由此，如何实现仓库点云的语义分割是值得关注的问题。
目前，常用的点云分割方式包括将点云直接作为网络输入的PointNet，使用X变换提高网络性能的PointCNN，结合不同方向点云编码的PointSIFT等，但是，基于上述现有的点云语义分割方式对仓库点云进行语义分割，会存在语义分割精度低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高仓库点云的语义分割精度的仓库点云语义分割方法、装置、计算机设备和存储介质。
一种仓库点云语义分割方法，所述方法包括：
获取包括目标仓储图像的第一数据库文件；
将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
在其中一个实施例中，所述目标语义分割模型的训练步骤，包括：
获取仓储训练样本集；
构建包括卷积注意力机制单元的条形池化网络；
根据所述仓储训练样本集对所述条形池化网络进行训练得到已训练好的目标语义分割模型。
在其中一个实施例中，所述获取仓储训练样本集，包括：
获取在样本仓库下采集的样本仓储图像；
对所述样本仓储图像进行像素级语义标注，得到所述样本仓储图像中每个像素的语义类别；
基于所述样本仓储图像与相应语义类别生成样本蒙版图像；
根据所述样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
在其中一个实施例中，所述根据所述仓储训练样本集对所述条形池化网络进行训练得到已训练好的目标语义分割模型，包括：
根据初始语义分割模型的模型参数对所述条形池化网络进行初始化；所述初始语义分割模型是基于室内图像集训练并测试得到的；
根据所述仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
在其中一个实施例中，所述条形池化网络包括单个混合池化单元。
在其中一个实施例中，所述条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于所述条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于所述条形池化网络的最后一个卷积层处。
在其中一个实施例中，所述获取包括目标仓储图像的第一数据库文件，包括：
通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；
在遍历所述目标仓库的过程中，通过所述小车实时采集包括所述目标仓储图像的仓储数据，并生成包括所述目标仓储图像的第一数据库文件。
一种仓库点云语义分割装置，所述装置包括：
获取模块，用于获取包括目标仓储图像的第一数据库文件；
第一语义分割模块，用于将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
替换模块，用于将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
第二语义分割模块，用于根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取包括目标仓储图像的第一数据库文件；
将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取包括目标仓储图像的第一数据库文件；
将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
上述仓库点云语义分割方法、装置、计算机设备和存储介质，在获取到用于构建三维点云地图且包括目标仓储图像的第一数据库文件后，通过已训练好的目标语义分割模型对二维的目标仓储图像进行语义分割，得到二维的目标蒙版图像，并根据包括目标蒙版图像的第二数据库文件构建三维点云地图，以将二维的语义分割结果直接渲染至三维点云上，从而实现三维仓库点云的语义分割，能够提高仓库点云的语义分割精度，并得到精度更高的仓库点云语义分割结果，此外，目标语义分割模型是基于优化的条形池化网络训练得到的，能够提高语义分割的准确性，从而能够进一步提高仓库点云的语义分割精度。
附图说明
图1为一个实施例中仓库点云语义分割方法的流程示意图；
图2为另一个实施例中仓库点云语义分割方法的流程示意图；
图3为一个实施例中目标语义分割模型的训练步骤的流程示意图；
图4为一个实施例中仓库点云语义分割装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种仓库点云语义分割方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：
步骤102，获取包括目标仓储图像的第一数据库文件。
其中，目标仓储图像是指在目标仓库内采集的RGB图像(Red，Green，Blue，彩色图像)。第一数据库文件是基于包括目标仓储图像的仓储数据生成的，具体可包括视觉图像信息、里程器信息、图像特征点信息、雷达信息与时间戳等，视觉图像信息包括RGBD图像(RGB，Depth，彩色图像与深度图像)与相应图像标识，里程器信息包括位姿信息，图像特征点信息是基于彩色图像提取到的特征信息。
具体地，终端可直接获取包括目标仓储图像的第一数据库文件，也可获取包括目标仓储图像的仓储数据，并根据仓储数据生成相应的第一数据库文件。可以理解，终端可从置于目标仓库内的小车获取第一数据库文件或仓储数据，终端可独立于小车部署，也可作为小车的组成部分装载于小车上。
步骤104，将目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的。
其中，目标语义分割模型是基于预先获取的仓储训练样本集训练得到的、能够用于对目标仓储图像进行语义分割得到相应目标蒙版图像的模型。条形池化网络是包括条形池化单元与混合池化单元的全卷积深度神经网络。在本实施例中，在该全卷积深度神经网络中新增卷积注意力单元得到包括卷积注意力机制单元的条形池化网络。
具体地，终端从所获取到的第一数据库文件中提取目标仓储图像。进一步地，终端可将目标仓储图像输入已训练好的且存储在本地的目标语义分割模型，通过该目标语义分割模型对该目标仓储图像进行语义分割得到相应目标蒙版图像，也可将目标仓储图像发送至服务器，以指示服务器将目标目标仓储图像输入已训练好的、且存储在本地的模拟语义分割模型进行语义分割得到目标蒙版图像，并接收服务器反馈的目标蒙版图像。可以理解，用于对目标仓储图像进行语义分割的服务器可以是GPU(graphics processing unit，图形处理单元)服务器。
在一个实施例中，终端对目标仓储图像进行尺寸缩放，以使得尺寸缩放后的目标仓储图像的图像尺寸符合目标语义分割模型的尺寸要求。比如，假设第一数据库文件中原始的目标仓储图像的图像尺寸为640*480，将其图像尺寸放缩到480*480，并将尺寸缩放后的目标仓储图像作为输入特征输入至目标语义分割模型进行语义分割。可以理解，图像尺寸的放缩尺度可自定义，比如0.5，0.75，1.0，1.25，1.5，1.75等。
步骤106，将第一数据库文件中的目标仓储图像替换为目标蒙版图像，得到第二数据库文件。
具体地，终端将第一数据库文件中的每个目标仓储图像替换为相应目标蒙版图像，得到包括目标蒙版图像的第二数据库文件。
在一个实施例中，终端对所得到的目标蒙版图像进行尺寸缩放，以将每个目标蒙版图像的图像尺寸缩放至与相应目标仓储图像的图像尺寸一致，将图像尺寸缩放后的目标蒙版图像按照‘jpeg’格式编码，并基于编码得到的目标蒙版图像替换掉第一数据库文件中的相应目标仓储图像，得到第二数据库文件。
步骤108，根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
其中，三维点云地图是指基于第二数据库文件构建的仓库点云。仓库点云语义分割结果是指基于目标仓储图像的二维语义分割结果，对仓库点云进行语义分割所得到的三维语义分割结果。
具体地，终端采用SLAM(Simultaneous Localization And Mapping，同步定位与地图构建)算法，根据第二数据库文件构建三维点云地图，并得到三维点云地图对应的颜色信息，根据颜色信息对三维点云地图进行渲染得到仓库点云语义分割结果。三维点云地图的颜色信息由目标仓储图像中各像素的语义类别来确定，具体是基于目标仓储图像中的像素与三维点云地图中的点云之间的对应关系，以及目标蒙版图像中各个图像特征点所在位置的颜色对应确定。
在一个实施例中，终端利用rtabmap(Real-Time Appearance-Based Mapping，一种基于外观增量闭环检测的SLAM算法库)的SLAM算法构建三维点云地图，将IncrementalMemory参数设置为False启动本地数据库模式，生成的点云文件带有颜色信息，根据颜色信息渲染三维点云地图得到仓库点云语义分割结果。可以理解，终端具体可以是利用rtabmap-ros包的SLAM算法，根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果，在此不再赘述。
在一个实施例中，终端基于第二数据库文件中的位姿信息与图像特征点信息进行闭环检测，然后使用深度图像与目标蒙版图像等图像信息进行点云渲染，得到仓库点云语义分割结果。其中，点云渲染过程中所涉及到的像素与点云的对应关系具体可通过rtabmap-ros包计算得到。
上述仓库点云语义分割方法，在获取到用于构建三维点云地图且包括目标仓储图像的第一数据库文件后，通过已训练好的目标语义分割模型对二维的目标仓储图像进行语义分割，得到二维的目标蒙版图像，并根据包括目标蒙版图像的第二数据库文件构建三维点云地图，以将二维的语义分割结果直接渲染至三维点云上，从而实现三维仓库点云的语义分割，能够提高仓库点云的语义分割精度，并得到精度更高的仓库点云语义分割结果，此外，目标语义分割模型是基于优化的条形池化网络训练得到的，能够提高语义分割的准确性，从而能够进一步提高仓库点云的语义分割精度。
在一个实施例中，目标语义分割模型的训练步骤，包括：获取仓储训练样本集；构建包括卷积注意力机制单元的条形池化网络；根据仓储训练样本集对条形池化网络进行训练得到已训练好的目标语义分割模型。
其中，仓储训练样本数据集包括样本仓储图像与相应样本蒙版图像。所构建的条形池化网络相较于现有的条形池化网络，新增了卷积注意力机制单元，也即CBAM(Convolutional Block Attention Module，卷积层的注意力机制)单元。
在一个实施例中，卷积注意力机制单元由一个空间(spatial)注意力机制单元和一个通道(channel)注意力机制单元串联组成，空间注意力机制单元的实现机制是空间注意力机制，通道注意力机制单元的实现机制是通道注意力机制。将条形池化网络的中间特征层先通过一个通道注意力机制单元，得到加权结果之后，再经过一个空间注意力机制单元，加权得到最终结果，该最终结果和输入的尺寸完全相同。中间特征层所输出的特征图的每个通道都是一种对条形池化网络的输入图像(也即目标仓储图像)的特征表述。
通道注意力机制旨在于发现对结果更有益的特征通道，为其赋予更高的权重。通道注意力机制分为两个部分，具体为最大池化层(AvgPool)和平均池化层(MaxPool)的输出分别通过共享参数的多层感知机(MLP)后，先求和再通过ReLU激活函数做非线性处理得到输出。基于通道注意力机制单元中的平均池化层可以获取更丰富的信息，从而使得特征更加丰富。通道注意力机制单元的输出是一个一维向量，可以看作特征在每个通道的权重，将其与卷积注意力机制单元的输入特征相乘，以凸显信息更丰富的特征通道。空间注意力机制是在通道注意力机制的基础上进行的，空间注意力机制专注于发现图像中重要的区域，并为特征更丰富的区域赋予更高的权重。空间注意力机制单元的输出是一个二维分布函数，将其与卷积注意力机制单元的输入特征相乘，在原始特征信息丰富的区域将得到更大的权重，使得在不同空间分布上的特征图凸显或抑制。
在一个实施例中，在构建条形池化网络时，将SPNet(Rethinking SpatialPooling for Scene Parsing)作为条形池化网络的基础网络结构，其中，SPNet主要存在两点创新：一、引入一个SPM(Strip Pooling Module，条形池化单元)替换传统的pooling(池化)层，使骨干网络能够有效获得远距离像素依赖信息；二、提出多种空间pooling层结合的MPM(Mixed Pooling Module，混合池化单元)。对于条形池化单元，相较于传统的正方形卷积，条形卷积可以避免引入多余的无关信息，且对分割图中的长条形状更容易被识别到，能够使得网络学习到远距离像素的相关信息。由于室内环境容易发生遮挡，被遮挡物体易出现长条形或者被截断的形状，由此，采用网络结构中包括条形池化单元的目标语义分割模型进行室内仓库的语义分割，能够得到更优的语义分割效果。可以理解，由于仓库室内的环境比较复杂，目标物体形状多变，需要提高感受野来获取长距离依赖信息，具体可以选取以resnet101作为骨干网络的SPNet作为基础网络结构。
上述实施例中，在条形池化网络中引入卷积注意力机制单元能够强化网络特征的表达，由此基于包括卷积注意力机制单元的条形池化网络训练得到的目标语义分割模型具有更高的语义分割精度，从而能够提高仓库点云的语义分割精度。
在一个实施例中，获取仓储训练样本集，包括：获取在样本仓库下采集的样本仓储图像；对样本仓储图像进行像素级语义标注，得到样本仓储图像中每个像素的语义类别；基于样本仓储图像与相应语义类别生成样本蒙版图像；根据样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
其中，样本仓储图像是预先在样本仓库室内采集的仓储图像。像素级语义标注是指对仓储图像中的每个像素进行语义标注，以得到每个像素的语义类别。语义类别是指语义的名称或标识，比如tabel(桌子)、chair(椅子)、door(门)、window(窗)、shelf(货架)、cargo(货物)、floor(地板)、pillar(柱子)、wall(墙)、forklift(叉车)、truck(卡车)、background(背景)。蒙版图像是指通过不同颜色标注出仓储图像中对应不同语义类别的像素，对应于相同语义类别的像素通过相同的颜色来标注，由此，蒙版图像中的不同颜色标注出仓储图像中的不同对象或实例。
在一个实施例中，样本仓库有多个。由于多个样本仓库中的至少两个仓库之间存在或多或少的区别，由此，基于在多个样本仓库下分别采集的样本仓储图像得到仓储训练样本集，以使得基于该仓储训练样本集训练得到的目标语义分割模型能够适用于各类目标仓库，且针对任一类目标仓库均能得到精度较高的仓库点云语义分割结果。
在一个实施例中，预先设定语义类别。在获取到多个样本仓储图像后，通过视觉标注工具对各样本仓储图像进行像素级语义标注。可以理解，在标注过程中，仅标注预先设定的语义类别，若预先设定的语义类别不包括background(背景)类，针对不属于预先设定的语义类别的像素，将其语义类别标注为background(背景)类，若预先设定的语义类别包括背景类，则将背景类语义类别作为一种特殊的语义类别，将不属于其他预先设定的语义类别的像素所对应的语义类别均设定为背景类，由此，能够标注出样本仓储图像中每个像素的语义类别。
在一个实施例中，视觉标注工具比如labelme(一种用于图像标注的标注工具)。在标注出各样本仓储图像中每个像素的语义类别后，基于样本仓储图像与各像素的语义类别生成json文件，并通过labelme工具内置的labelme_json_to_dataset函数生成带有不同颜色的样本蒙版图像。若采用现有的labelme_json_to_dataset函数生成样本蒙版图像，每次仅能生成一张样本蒙版图像，且不同样本蒙版图像之间的颜色标注会存在差异，由此，在labelme_json_to_dataset函数内部设定语义类别与相应标注颜色，并通过循环遍历的方式遍历所有已标注的样本仓储图像，得到相应的样本蒙版图像。
上述实施例中，基于在样本仓库下采集的样本仓储图像确定仓储训练样本集，以便于基于该仓储训练样本集训练目标语义分割模型时，能够提高该目标语义分割模型的语义分割精度。
在一个实施例中，根据仓储训练样本集对条形池化网络进行训练得到已训练好的目标语义分割模型，包括：根据初始语义分割模型的模型参数对条形池化网络进行初始化；初始语义分割模型是基于室内图像集训练并测试得到的；根据仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
其中，室内图像集包括在室内采集的室内图像与每个室内图像对应的蒙版图像，室内图像对应的蒙版图像是对室内图像进行像素级语义标注，然后根据标注得到的各像素的语义类别与室内图像生成的。本实施例中的室内比如办公室，或者，其他空间范围相对较小、空间范围内的对象/实例相对简单的室内区域，这样，能够方便的采集到用于训练并测试初始语义分割模型的室内图像集，以便于基于训练得到的初始语义分割模型进一步训练目标语义分割模型时，能够在保证目标语义分割模型的语义分割精度的情况下，提高模型训练效率。以室内为办公室为例，针对室内图像预先设定的语义类别比如包括table(桌子)、chair(椅子)、door(门)、window(窗)、monitor(显示器)、floor(地板)、plant(植物)、pillar(柱子)、wall(墙)、background(背景)。
具体地，终端采集室内图像集，将所采集的室内图像集划分为室内图像训练集与室内图像测试集，并构建包括卷积注意力机制单元的条形池化网络，根据室内图像训练集对所构建的条形池化网络进行训练得到初始语义分割模型，通过室内图像测试集对该初始语义分割模型进行测试，并在测试通过时基于该测试通过的初始语义分割模型的模型参数，初始化用于训练目标语义分割模型的条形池化网络，也即是基于该测试通过的初始语义分割模型的模型参数，确定用于训练目标语义分割模型的条形池化网络的初始网络参数。进一步地，终端根据仓储训练样本集按照初始网络参数对所构建的条形池化网络进行训练，得到已训练好的目标语义分割模型。
上述实施例中，根据基于室内图像集训练并测试得到的初始语义分割模型的模型参数，初始化用于训练目标语义分割模型的条形池化网络，以便于基于该初始化的条形池化网络训练目标语义分割模型时，能够在保证模型准确性的同时提高模型训练效率。
在一个实施例中，条形池化网络包括单个混合池化单元。
在一个实施例中，将SPNet作为条形池化网络的基础网络结构时，该网络结构中包括多个混合池化单元。实验表明，在条形池化网络中引入卷积注意力机制单元后，混合池化单元所产生的有益效果将不明显，混合池化单元对语义分割精度的影响很小，且会产生多余参数。由此，本实施例中的条形池化网络包括单个混合池化单元，能够在语义分割精度基本保持不变的情况下，减少参数计算，提高计算速度，从而提高网络推理/运行速度，也即提高目标语义分割模型的语义分割效率。
上述实施例中，通过在条形池化网络中设置单个混合池化单元，能够在保证基于该条形池化网络训练得到的目标语义分割模型的语义分割精度的情况下，提高语义分割效率。
在一个实施例中，条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于条形池化网络的最后一个卷积层处。
具体地，由于卷积注意力机制单元不会改变输入特征的维度，仅会为每个特征数据赋予权重，并突出或抑制特征的通道或空间表达，由此，卷积注意力机制单元是能够即插即用在条形池化网络中的任意网络层中的。而在本申请的一个或多个实施例中涉及的条形池化网络中设置两个卷积注意力机制单元，且将第一个卷积注意力机制单元设置于条形池化网络的第一个卷积层处，将第二个卷积注意力机制单元设置于条形池化网络的最后一个卷积层处，能够最大化利用条形池化网络的预训练模型参数。可以理解，预训练模型参数是指基于imagenet数据集训练得到的预训练模型的模型参数。
在一个实施例中，步骤102，包括：通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；在遍历目标仓库的过程中，通过小车实时采集包括目标仓储图像的仓储数据，并生成包括目标仓储图像的第一数据库文件。
其中，语义分割设备是实现语义分割的设备，可以采用软件或硬件的方式实现，具体可以是本申请的一个或多个实施例中用于执行仓库点云语义分割方法的终端或服务器，也可以集成于用于执行仓库点云语义分割方法的终端或服务器。仓储数据包括雷达信息、时间戳、位姿信息、彩色图像与深度图像及相应图像标识等。
在一个实施例中，预先控制装载有语义分割设备的小车在目标仓库内运行直至生成闭环，并使用装载与该小车的激光雷达建立二维仓库地图。在需要创建或更新目标仓库的三维点云地图时，该小车采用雷达导航算法在二维仓库地图中进行遍历，以通过雷达自动导航的方式遍历目标仓库，在小车自动导航移动的同时，通过装载于该小车的双目深度相机实时采集小车移动过程中的RGBD图像(彩色图像与深度图像)，并确定相应图像标识，通过装载于小车的激光雷达实时采集雷达信息，通过装载于小车的里程器实时采集位姿信息，通过语义分割设备同步采集时间戳，将所采集到的彩色图像、深度图像、图像标识、雷达信息、位姿信息与时间戳确定为仓储数据，并根据仓储数据自适应的生成第一数据库文件。
在一个实施例中，本申请的一个或多个实施例中涉及的数据采集方式为预先建图并自动采集的方式。由于仓储信息的时效性，通常需要相隔一定时间重新遍历目标仓库，也即是需要按照预设周期定期遍历目标仓库，创建最新的三维点云地图，若每次都通过人工控制小车采集仓储数据，会极大增加人力成本，而采用一次人工协助预先建图，后续自动导航采集仓储数据的方式会节省成本，降低操作复杂度。在遍历目标仓库的过程中，开启双目深度相机采集RGBD图像，开启激光雷达进行避障，防止动态变化的障碍物阻挡小车采集仓储数据。采用雷达地图自动导航，视觉相机采集图像的方式，可以更加密集的遍历仓库空间，创建更高质量的仓库点云数据，也可以节省人力成本。
在一个实施例中，本申请的一个或多个实施例中涉及的小车的硬件主要包括四个部件：一、语义分割设备，其作为小车的处理器，若该语义分割设备为MINI PC(微型电脑)，则可采用Ubuntu 16.04+ROS Kinetic.系统，还可具备有i7 CPU和256GB硬盘；二、底盘，具有STM32主控板，使用USB通信，支持ROS驱动，内部设置可设置有里程器、电池、电机、编码器、IMU与电机控制板，主要功能包括按照指令速度运动，运动速度反馈，IMU数据上报，电池电流电压检测，RGB灯和蜂鸣器指示底盘工作状态等；三、双目深度相机，具有双目+深度摄像头且具有ROS驱动，能够采集RGBD图像并生成RGBD数据(包括RGBD图像与图像标识)，并通过ROS Topic传输到语义分割设备；四、激光雷达，单线二维激光雷达或360度二维激光雷达。小车的所有部件均支持ROS次级操作系统，软件主要分为三层：一、ROS次级操作系统层，在各部件之间拥有统一的数据接入及发布方式(topic/service)；二、数据感知层，能够接入相机，雷达和IMU(Inertial Measurement Unit，惯性传感器)数据；三、应用层，使用rtabmap进行数据采集与存储，以及三维重建生成仓库点云，rtabmap Node还会在采集过程中自适应的生成第一数据库(.db)文件。可以理解，本申请涉及的小车可以为轮式小车，采用轮式小车采集RGBD图像，相较于手持设备的拍摄稳定性更高。
上述实施例中，通过小车自动导航遍历目标仓库，能够精确的获取目标仓库的点云信息并进行路径规划，且在遍历过程中计算图像特征点，并自适应生成包括目标仓储图像的第一数据库文件，以便于按照第一数据库文件进行仓库点云语义分割时，能够提高语义分割的精度。
图2为一个实施例中仓库点云语义分割方法的流程示意图。如图2所示，该方法具体包括以下步骤：
步骤202，通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库。
步骤204，在遍历目标仓库的过程中，通过小车实时采集包括目标仓储图像的仓储数据，并生成包括目标仓储图像的第一数据库文件。
步骤206，将目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的。
步骤208，将第一数据库文件中的目标仓储图像替换为目标蒙版图像，得到第二数据库文件。
步骤210，根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
上述实施例中，对目标仓储图像进行二维语义分割，基于包括二维语义分割结果的第二数据库文件，将二维语义分割结果映射至三维点云空间得到仓库点云，并对仓库点云渲染颜色得到仓库点云语义分割结果，这样，能够提高语义分割精度。而采用装载有语义分割设备的小车通过雷达自动导航的方式遍历目标仓库，且在遍历过程中采集包括目标仓储图像的第一数据库文件，并基于第一数据库文件进行仓库点云的语义分割，能够很好的对三维空间中的点云进行语义分割。可以理解，本申请的一个或多个实施例中提供的仓库点云语义分割方法，不仅仅适应于仓库点云语义分割，还能够适用于多个领域，从而能够被应用到各种应用场景。
图3为一个实施例中目标语义分割模型的训练步骤的流程示意图。如图3所示，目标语义分割模型的训练步骤具体包括：
步骤302，获取在样本仓库下采集的样本仓储图像。
步骤304，对样本仓储图像进行像素级语义标注，得到样本仓储图像中每个像素的语义类别。
步骤306，基于样本仓储图像与相应语义类别生成样本蒙版图像。
步骤308，根据样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
步骤310，构建包括卷积注意力机制单元的条形池化网络；条形池化网络包括单个混合池化单元与两个卷积注意力机制单元，第一个卷积注意力机制单元置于条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于条形池化网络的最后一个卷积层处。
步骤312，根据初始语义分割模型的模型参数对条形池化网络进行初始化；初始语义分割模型是基于室内图像集训练并测试得到的。
步骤314，根据仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
上述实施例中，通过上述模型训练方式，能够在保证目标语义分割模型的语义分割精度的情况下，提高模型训练效率与语义分割效率。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种仓库点云语义分割装置400，包括：获取模块401、第一语义分割模块402、替换模块403和第二语义分割模块404，其中：
获取模块401，用于获取包括目标仓储图像的第一数据库文件；
第一语义分割模块402，用于将目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
替换模块403，用于将第一数据库文件中的目标仓储图像替换为目标蒙版图像，得到第二数据库文件；
第二语义分割模块404，用于根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
在一个实施例中，上述仓库点云语义分割装置400还包括模型训练模块。模型训练模块，用于获取仓储训练样本集；构建包括卷积注意力机制单元的条形池化网络；根据仓储训练样本集对条形池化网络进行训练得到已训练好的目标语义分割模型。
在一个实施例中，模型训练模块，还用于获取在样本仓库下采集的样本仓储图像；对样本仓储图像进行像素级语义标注，得到样本仓储图像中每个像素的语义类别；基于样本仓储图像与相应语义类别生成样本蒙版图像；根据样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
在一个实施例中，模型训练模块，还用于根据初始语义分割模型的模型参数对条形池化网络进行初始化；初始语义分割模型是基于室内图像集训练并测试得到的；根据仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
在一个实施例中，条形池化网络包括单个混合池化单元。
在一个实施例中，条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于条形池化网络的最后一个卷积层处。
在一个实施例中，获取模块401，还用于通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；在遍历目标仓库的过程中，通过小车实时采集包括目标仓储图像的仓储数据，并生成包括目标仓储图像的第一数据库文件。
关于仓库点云语义分割装置的具体限定可以参见上文中对于仓库点云语义分割方法的限定，在此不再赘述。上述仓库点云语义分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种仓库点云语义分割方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取包括目标仓储图像的第一数据库文件；将目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；将第一数据库文件中的目标仓储图像替换为目标蒙版图像，得到第二数据库文件；根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取仓储训练样本集；构建包括卷积注意力机制单元的条形池化网络；根据仓储训练样本集对条形池化网络进行训练得到已训练好的目标语义分割模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取在样本仓库下采集的样本仓储图像；对样本仓储图像进行像素级语义标注，得到样本仓储图像中每个像素的语义类别；基于样本仓储图像与相应语义类别生成样本蒙版图像；根据样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据初始语义分割模型的模型参数对条形池化网络进行初始化；初始语义分割模型是基于室内图像集训练并测试得到的；根据仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
在一个实施例中，条形池化网络包括单个混合池化单元。
在一个实施例中，条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于条形池化网络的最后一个卷积层处。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；在遍历目标仓库的过程中，通过小车实时采集包括目标仓储图像的仓储数据，并生成包括目标仓储图像的第一数据库文件。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取包括目标仓储图像的第一数据库文件；将目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；将第一数据库文件中的目标仓储图像替换为目标蒙版图像，得到第二数据库文件；根据第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取仓储训练样本集；构建包括卷积注意力机制单元的条形池化网络；根据仓储训练样本集对条形池化网络进行训练得到已训练好的目标语义分割模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取在样本仓库下采集的样本仓储图像；对样本仓储图像进行像素级语义标注，得到样本仓储图像中每个像素的语义类别；基于样本仓储图像与相应语义类别生成样本蒙版图像；根据样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据初始语义分割模型的模型参数对条形池化网络进行初始化；初始语义分割模型是基于室内图像集训练并测试得到的；根据仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
在一个实施例中，条形池化网络包括单个混合池化单元。
在一个实施例中，条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于条形池化网络的最后一个卷积层处。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；在遍历目标仓库的过程中，通过小车实时采集包括目标仓储图像的仓储数据，并生成包括目标仓储图像的第一数据库文件。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种仓库点云语义分割方法，其特征在于，所述方法包括：
获取包括目标仓储图像的第一数据库文件；
将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
2.根据权利要求1所述的方法，其特征在于，所述目标语义分割模型的训练步骤，包括：
获取仓储训练样本集；
构建包括卷积注意力机制单元的条形池化网络；
根据所述仓储训练样本集对所述条形池化网络进行训练得到已训练好的目标语义分割模型。
3.根据权利要求2所述的方法，其特征在于，所述获取仓储训练样本集，包括：
获取在样本仓库下采集的样本仓储图像；
对所述样本仓储图像进行像素级语义标注，得到所述样本仓储图像中每个像素的语义类别；
基于所述样本仓储图像与相应语义类别生成样本蒙版图像；
根据所述样本仓储图像与相应样本蒙版图像得到仓储训练样本集。
4.根据权利要求2所述的方法，其特征在于，所述根据所述仓储训练样本集对所述条形池化网络进行训练得到已训练好的目标语义分割模型，包括：
根据初始语义分割模型的模型参数对所述条形池化网络进行初始化；所述初始语义分割模型是基于室内图像集训练并测试得到的；
根据所述仓储训练样本集对初始化的条形池化网络进行训练，得到已训练好的目标语义分割模型。
5.根据权利要求1所述的方法，其特征在于，所述条形池化网络包括单个混合池化单元。
6.根据权利要求1所述的方法，其特征在于，所述条形池化网络包括两个卷积注意力机制单元，第一个卷积注意力机制单元置于所述条形池化网络的第一个卷积层处，第二个卷积注意力机制单元置于所述条形池化网络的最后一个卷积层处。
7.根据权利要求1至6任意一项所述的方法，其特征在于，所述获取包括目标仓储图像的第一数据库文件，包括：
通过装载有语义分割设备的小车基于雷达自动导航的方式遍历目标仓库；
在遍历所述目标仓库的过程中，通过所述小车实时采集包括所述目标仓储图像的仓储数据，并生成包括所述目标仓储图像的第一数据库文件。
8.一种仓库点云语义分割装置，其特征在于，所述装置包括：
获取模块，用于获取包括目标仓储图像的第一数据库文件；
第一语义分割模块，用于将所述目标仓储图像输入已训练好的目标语义分割模型进行语义分割得到目标蒙版图像；所述目标语义分割模型是基于包括卷积注意力机制单元的条形池化网络训练得到的；
替换模块，用于将所述第一数据库文件中的所述目标仓储图像替换为所述目标蒙版图像，得到第二数据库文件；
第二语义分割模块，用于根据所述第二数据库文件构建三维点云地图得到仓库点云语义分割结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110521314.6A 2021-05-13 2021-05-13 仓库点云语义分割方法、装置、计算机设备和存储介质 Pending CN115424261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110521314.6A CN115424261A (zh) 2021-05-13 2021-05-13 仓库点云语义分割方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110521314.6A CN115424261A (zh) 2021-05-13 2021-05-13 仓库点云语义分割方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115424261A true CN115424261A (zh) 2022-12-02

Family

ID=84230560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110521314.6A Pending CN115424261A (zh) 2021-05-13 2021-05-13 仓库点云语义分割方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115424261A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115995002A (zh) * 2023-03-24 2023-04-21 南京信息工程大学 一种网络构建方法及城市场景实时语义分割方法
CN117496066A (zh) * 2023-11-20 2024-02-02 上海源庐加佳信息科技有限公司 基于仓储实时数据的仓储货物3d渲染系统及其方法
CN117496066B (zh) * 2023-11-20 2024-05-31 上海源庐加佳信息科技有限公司 基于仓储实时数据的仓储货物3d渲染系统及其方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115995002A (zh) * 2023-03-24 2023-04-21 南京信息工程大学 一种网络构建方法及城市场景实时语义分割方法
CN117496066A (zh) * 2023-11-20 2024-02-02 上海源庐加佳信息科技有限公司 基于仓储实时数据的仓储货物3d渲染系统及其方法
CN117496066B (zh) * 2023-11-20 2024-05-31 上海源庐加佳信息科技有限公司 基于仓储实时数据的仓储货物3d渲染系统及其方法

Similar Documents

Publication Publication Date Title
CN106198049B (zh) 真实车辆在环测试系统和方法
DE112019004364T5 (de) Computer-vision system
DE112019002589T5 (de) Tiefenlernsystem
DE102020106714A1 (de) Methoden und geräte für komplexe montage über autonome roboter mit verstärkungs-lernaktionsprimitive
CN104881839B (zh) 一种基于并行加速的热点图生成方法
DE112018004584T5 (de) Dichtekoordinaten-hashing für volumetrische daten
CN111862292A (zh) 输电线路走廊的数据渲染方法、装置和计算机设备
CN115601511B (zh) 三维重建方法、装置、计算机设备及计算机可读存储介质
CN115424261A (zh) 仓库点云语义分割方法、装置、计算机设备和存储介质
CN113449878B (zh) 数据分布式的增量学习方法、系统、设备及存储介质
CN115375868A (zh) 地图显示和遥感地图显示方法、计算设备以及存储介质
CN106776773B (zh) 一种动态数据显示系统和方法
CN113837692B (zh) 一种港口作业场地车辆智能调度决策方法及其决策系统
Song et al. Visual attention model based mining area recognition on massive high-resolution remote sensing images
CN115830578B (zh) 物品巡检方法、装置和电子设备
CN113517074A (zh) 一种流行病患者信息三维空间可视化方法
CN112528825A (zh) 一种基于图像识别的车站乘客招援服务方法
CN111639523A (zh) 目标检测方法、装置、计算机设备和存储介质
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN115965736A (zh) 图像处理方法、装置、设备及存储介质
CN115759952A (zh) 一种海洋综合管控系统、方法、装置、设备及存储介质
CN112988609B (zh) 数据处理方法、装置、存储介质和客户端
CN112231430A (zh) 一种地图数据管理方法及装置
Jiang et al. Meteor Tail: Octomap Based Multi-sensor Data Fusion Method
CN111626913A (zh) 一种图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination