CN115240164A - 叉车避障方法、装置、叉车及存储介质 - Google Patents

叉车避障方法、装置、叉车及存储介质 Download PDF

Info

Publication number
CN115240164A
CN115240164A CN202210801970.6A CN202210801970A CN115240164A CN 115240164 A CN115240164 A CN 115240164A CN 202210801970 A CN202210801970 A CN 202210801970A CN 115240164 A CN115240164 A CN 115240164A
Authority
CN
China
Prior art keywords
obstacle avoidance
obstacle
information
forklift
target detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210801970.6A
Other languages
English (en)
Inventor
郑恩涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Multiway Robotics Shenzhen Co Ltd
Original Assignee
Multiway Robotics Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Multiway Robotics Shenzhen Co Ltd filed Critical Multiway Robotics Shenzhen Co Ltd
Priority to CN202210801970.6A priority Critical patent/CN115240164A/zh
Publication of CN115240164A publication Critical patent/CN115240164A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Abstract

本发明属于叉车避障技术领域，公开了一种叉车避障方法、装置、叉车及存储介质，所述方法包括：在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。本申请能够基于障碍物信息和点云信息的融合匹配结果实现针对性避障，减少盲目避障，降低叉车上货物发生倾倒的可能性。

Description

叉车避障方法、装置、叉车及存储介质
技术领域
本发明涉及叉车避障技术领域，尤其涉及一种叉车避障方法、装置、叉车及存储介质。
背景技术
随着工业4.0和智能制造的提出，工业领域由传统的制造业不断向数字化、智能化、无人化方向发展；在智能仓储行业随着客户需求进一步趋向于个性化和定制化，SKU 越来越多，以及物流作业场景的不断变化，较高的作业效率，使得叉车在作业的过程中遇到障碍物是在所难免的，因此，智能避障在叉车领域占据着越来越重要的地位。
目前，叉车在行驶过程中遇到障碍物时，仅使用点云避障时由于对障碍区的目标属性不明确，会引起盲目避障和避障不优雅的问题。
发明内容
本发明的主要目的在于提供一种叉车避障方法、装置、叉车及存储介质，旨在解决现有技术仅使用点云避障时引起的盲目避障或是避障不优雅的技术问题。
为实现上述目的，本发明提供了一种叉车避障方法，所述方法包括以下步骤：
在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；
通过智能深度相机获取点云信息；
基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；
根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
可选地，所述通过智能深度相机获取点云信息，包括：
通过智能深度相机获取初始点云信息；
对所述初始点云信息进行降采样操作以及滤波操作，得到点云信息。
可选地，所述根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，包括：
基于所述障碍物信息通过卡尔曼滤波对障碍物进行追踪，确定所述障碍物的类别信息和位置信息；
根据所述类别信息和所述位置信息，确定避障策略。
可选地，所述避障策略包括第一避障策略和第二避障策略，所述根据所述类别信息和所述位置信息，确定避障策略，包括：
判断所述类别信息是否为预设类别；
若所述类别信息为预设类别，则确定所述避障策略为第一避障策略；
若所述类别信息不为预设类别，则判断所述位置信息是否小于预设距离；
若所述位置信息小于预设距离，则确定所述避障策略为第一避障策略；
若所述位置信息不小于预设距离，则确定所述避障策略为第二避障策略，其中，所述第一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。
可选地，所述将所述图像数据通过目标网络模型进行目标检测，得到检测结果，包括：
调用depthai接口和openvino接口，加载出blob格式的目标检测模型；
将所述图像数据通过blob格式的目标检测模型进行目标检测，得到检测结果。
可选地，所述调用depthai接口和openvino接口，加载出blob格式的目标检测模型之前，还包括：
在GPU上训练初始模型得到目标检测模型；
通过openvino平台将所述目标检测模型中的权重值进行转换，得到blob 格式的目标检测模型。
可选地，所述通过所述openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型，包括：
通过所述openvino平台将所述目标检测模型中的权重值依次通过weight 转化、pb转换、bin+xml转换以及blob转换，得到blob格式的目标检测模型。
此外，为实现上述目的，本发明还提出一种叉车避障装置，所述叉车避障装置包括：
确定单元，用于在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；
获取单元，用于通过智能深度相机获取点云信息；
所述确定单元，用于基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；
所述确定单元，用于根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
此外，为实现上述目的，本发明还提出一种叉车，所述叉车包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的叉车避障程序，所述叉车避障程序配置为实现如上文所述的叉车避障方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有叉车避障程序，所述叉车避障程序被处理器执行时实现如上文所述的叉车避障方法的步骤。
本发明提出的叉车避障方法，在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。分别通过单目相机来获取障碍物类别以及通过智能深度相机来获取点云信息，并将障碍物类别和点云信息来得到更为准确的障碍物信息，基于更为准确的障碍物信息来确定避障策略，能够实现针对性避障，进而减少盲目避障，且叉车进行针对性避障时，也能够更加优雅，进而防止因粗鲁避障而导致叉车在避障过程中出现损坏或是导致叉车上运载的货物发生倾倒。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的叉车避障设备的结构示意图；
图2为本发明叉车上单目相机以及智能深度相机的位置示意图；
图3为本发明叉车避障方法第一实施例的流程示意图；
图4为本发明叉车避障方法的基本流程图；
图5为本发明叉车避障方法第二实施例的流程示意图；
图6为本发明叉车避障装置第一实施例的结构框图。
附图标记：
1、单目相机；2、智能深度相机。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity， Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的叉车结构并不构成对叉车的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及叉车避障程序。
在图1所示的叉车中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明叉车中的处理器 1001、存储器1005可以设置在叉车中，所述叉车通过处理器1001调用存储器1005中存储的叉车避障程序，并执行本发明实施例提供的叉车避障方法。
图2为本发明实施例叉车上单目相机和智能深度相机的位置示意图，如图2所示，所述叉车上设有信息采集区域，在所述信息采集区域设置依次排列的单目相机1和智能深度相机2进行数据采集，图2中所示的单目相机以及智能深度相机的安装位置为本发明实施例中的其中一种安装位置，在此不对单目相机以及智能深度相机在叉车上的安装位置进行限定。
基于上述硬件结构，提出本发明叉车避障方法实施例。
参照图3，图3为本发明一种叉车避障方法第一实施例的流程示意图。
在第一实施例中，所述叉车避障方法包括以下步骤：
步骤S10：在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果。
需要说明的是，本实施的执行主体可为叉车，还可为其他可实现相同或相似功能的叉车上的中心控制器，本实施例对此不做限制，在本实施例中，以叉车为例进行说明，在叉车上设有叉车避障程序，可根据叉车避障程序自动进行叉车避障。
在本实施例中，单目相机1以及智能深度相机2均安装在叉车上。
可以理解的是，单目相机以及智能深度相机均是实时采集叉车前进方向上的图像以及深度图像。
在具体实现中，通过单目相机1获取叉车前进方向上的图像数据，图像数据包括但不限于叉车前进方向上的左前方图像数据、正前方图像数据以及右前方图像数据；目标网络模型可以理解为训练好的目标网络模型，能够对输入的图像数据进行目标检测即障碍物检测，并输出检测结果即障碍物类别，障碍物类别可分为轻型障碍物类别和重型障碍物类别，其中，轻型障碍物类别指的是在叉车行进过程中不会对叉车造成严重影响的障碍物，示例性地，轻型障碍物可以是塑料袋，飞起来的树叶等等，这类轻型障碍物一般只会影响叉车的前进速度，即使叉车因避障不及时而撞上这类轻型障碍物时，也不会对叉车本体或者叉车上运载的货物造成不可损失的伤害；重型障碍物类别指的是在叉车行进过程中可能会对叉车造成严重影响的障碍物，示例性地，重型障碍物可以是人、石头等等，重型障碍物的体积一般比较大或者比较坚硬，叉车如果因避障不及时而撞上重型障碍物，不仅可能会对叉车本体造成不可损失的伤害，还可能导致叉车上运载的货物倾倒下来，造成巨大的财产损失。
步骤S20：通过智能深度相机获取点云信息。
在一实施例中，所述通过智能深度相机获取点云信息，包括：
通过智能深度相机获取初始点云信息；
对所述初始点云信息进行降采样操作以及滤波操作，得到点云信息。
在具体实现中，先通过智能深度相机获取叉车前进方向上的深度图像，再基于深度图像以及光学原理，计算得到所述深度图像的初始点云信息，由于初始点云信息中的点密度分布不均匀，可以通过降采样操作来减少初始点云信息中的点数，以使初始点云信息中的点密度分布均匀，且初始点云数据中存在噪点，还可以通过滤波操作来去除初始点云信息中的噪点，通过对初始点云信息进行降采样操作以及滤波操作，来生成点云信息。
在本实施例中，通过对初始点云信息进行降采样操作以及滤波操作，能够使得点云信息中的点密度分布均匀以及去掉初始点云信息中的噪点，进而使得点云信息能够更加精准地体现出障碍物的位置信息。
步骤S30：基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息。
可以理解的是，点云信息中通常包括点的三维坐标，进而通过点云信息来确定障碍物的位置信息，而检测结果为障碍物属性，将点云信息和检测结果进行融合匹配，能够得到障碍物信息即障碍物的位置信息和障碍物类别。
在一实施例中，所述根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，包括：
基于所述障碍物信息通过卡尔曼滤波对障碍物进行追踪，确定所述障碍物的类别信息和位置信息；
根据所述类别信息和所述位置信息，确定避障策略。
需要说明的是，卡尔曼滤波(Kalman filtering)是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。可在任何含有不确定信息的动态系统中使用卡尔曼滤波，对系统下一步的走向做出有根据的预测，即使伴随着各种干扰，卡尔曼滤波总是能指出真实发生的情况。在连续变化的系统中，使用卡尔曼滤波是非常理想的，它具有占用内存小的优点，并且速度很快，很适合用于实时问题和嵌入式系统。在对障碍物进行追踪的过程中，通过卡尔曼滤波器来对障碍物进行追踪，可以有效地解决障碍物移动过程中出现遮挡导致障碍物丢失的情况。
图4为本发明的基本流程图，左边先是通过单目相机采集图像数据，并将图像数据输入到blob格式的yolov4_tiny网络模型中进行目标检测，进而得到检测结果即障碍物类别，右边则是通过智能深度相机采集深度图像，并将深度图像基于光学原理计算得到初始点云信息，再通过对初始点云信息进行降采样操作和滤波操作来生成点云信息，最后对点云信息和检测结果进行卡尔曼滤波即可实现对障碍物的追踪。
步骤S40：根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
需要说明的是，可以通过障碍物的位置信息来确定障碍物与叉车的距离。
在一实施例中，所述避障策略包括第一避障策略和第二避障策略，所述则是根据所述类别信息和所述位置信息，确定避障策略，包括：
判断所述类别信息是否为预设类别；
若所述类别信息为预设类别，则确定所述避障策略为第一避障策略；
若所述类别信息不为预设类别，则判断所述位置信息是否小于预设距离；
若所述位置信息小于预设距离，则确定所述避障策略为第一避障策略；
若所述位置信息不小于预设距离，则确定所述避障策略为第二避障策略，其中，所述第一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。
需要说明的是，预设类别可以是重型障碍物类别，预设距离是提前设置好的。位置信息可以理解为叉车与障碍物之间的距离。第一避障策略可以是采取紧急制动、向左转弯或是向右转弯等等；第二避障策略可以是减速行驶。由于第一避障策略的避障紧急等级高于第二避障策略的避障紧急等级，第一避障策略实行先避障，再考虑运行货物效率，而第二避障策略是需要保证运行货物的效率下进行避障。叉车在采取第一避障策略进行避障时，需要在完成避障之后才能重新规划新的运行路线，进而增加运行货物的时间，从而降低了运行货物效率。叉车在采取第二避障策略进行避障时，可以先减速行驶，在减速行驶的过程中重新规划新的运行路线，保证在遇到障碍物之前完成运行路线的更换。如果位置信息小于预设距离，那么无法保证叉车在遇到障碍物之前完成新运行路径的规划以及完成运行路线的更换。因此，障碍物不为预设类别但位置信息小于预设距离时，采用第一避障策略。
本实施例在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。分别通过单目相机来获取障碍物类别以及通过智能深度相机来获取点云信息，并将障碍物类别和点云信息来得到更为准确的障碍物信息，基于更为准确的障碍物信息来确定避障策略，能够实现针对性避障，进而减少盲目避障，且叉车进行针对性避障时，也能够更加优雅，进而防止因粗鲁避障而导致叉车在避障过程中出现损坏或是导致叉车上运载的货物发生倾倒。
参考图5，图5为本发明一种叉车避障方法第二实施例的流程示意图。
基于上述第一实施例，本实施例叉车避障方法将所述图像数据通过目标网络模型进行目标检测，得到检测结果，包括：
步骤S101：在GPU上训练初始模型得到目标检测模型。
需要说明的是，初始网络模型采用的是yolov4_tiny网络模型，是一种典型的轻量化网络模型，同时也是yolov4的精简版，其参数缩减为yolov4的十分之一。相比于yolov4网络结构的162层，该网络缩减为38层，在主干网络中使用了三个残差单元，其中激活函数使用了LeakyReLU，合并有效特征层使用了特征金字塔(FPN)结构，并将预测输出层(YoloHead)从原先的三个减少为两个。yolov4_tiny具有多任务、端到端、注意力机制和多尺度的特点，多任务可以理解为同时完成目标的分类与回归，实现参数共享以及避免过拟合；端到端意味着网络模型接受图像信息后自动学习并获取特征，并直接给出分类与回归的预测信息；注意力机制是集中于待检测的目标区域特征，从而快速获取有效特征；多尺度通常是将上采样与下采样的数据相互融合，从而能够检测多尺度大小的目标。在对模型进行训练时可以使用Mosaci数据增强、标签平滑、学习率余弦退火衰减等方法来提升模型的训练速度以及检测精度。
步骤S102：通过openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型。
需要说明的是，将目标检测模型转换为blob格式的目标检测模型才能被加载到debian10平台上，因此需要对在GPU上训练好的目标检测模型进行格式转换，得到能够加载到debian10平台上的blob格式的目标检测模型。
在一实施例中，所述通过所述openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型，包括：
通过所述openvino平台将所述目标检测模型中的权重值依次通过weight 转化、pb转换、bin+xml转换以及blob转换，得到blob格式的目标检测模型。
在本实施例中，通过openvino平台来依次对目标检测模型中的权重值进行weight转化、pb转换、bin+xml转换以及blob转换，以使目标检测模型能够被加载到debian10平台上，进而实现直接在debian10平台上对图像数据进行目标检测。
步骤S103：调用depthai接口和openvino接口，在debian10平台上加载出blob格式的目标检测模型。
步骤S104：将所述图像数据通过blob格式的目标检测模型进行目标检测，得到检测结果。
在本实施例中，先在GPU训练初始模型得到目标检测模型，再通过 openvino平台将目标检测模型中的权重值进行转换，进而得到blob格式的目标检测模型，从而实现在debian10平台上直接加载出blob格式的目标检测模型，在对图像数据进行实时检测时无需再次运用GPU，不仅能够有效提高目标的检测精度，还能大大减少叉车运行过程中的全程避障成本。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有叉车避障程序，所述叉车避障程序被处理器执行时实现如上文所述的叉车避障方法的步骤。
参照图6，图6为本发明叉车避障装置第一实施例的结构框图。
如图6所示，本发明实施例提出的叉车避障装置包括：
确定单元10，用于在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；
获取单元20，用于通过智能深度相机获取点云信息；
所述确定单元10，用于基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；
所述确定单元10，用于根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；通过智能深度相机获取点云信息；基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。分别通过单目相机来获取障碍物类别以及通过智能深度相机来获取点云信息，并将障碍物类别和点云信息来得到更为准确的障碍物信息，基于更为准确的障碍物信息来确定避障策略，能够实现针对性避障，进而减少盲目避障，且叉车进行针对性避障时，也能够更加优雅，进而防止因粗鲁避障而导致叉车在避障过程中出现损坏或是导致叉车上运载的货物发生倾倒。
在一实施例中，所述获取单元20，还用于：
通过智能深度相机获取初始点云信息；
对所述初始点云信息进行降采样操作以及滤波操作，得到点云信息。
在一实施例中，所述确定单元10，还用于：
基于所述障碍物信息通过卡尔曼滤波对障碍物进行追踪，确定所述障碍物的类别信息和位置信息；
根据所述类别信息和所述位置信息，确定避障策略。
在一实施例中，所述避障策略包括第一避障策略和第二避障策略，所述确定单元10，还用于：
判断所述类别信息是否为预设类别；
若所述类别信息为预设类别，则确定所述避障策略为第一避障策略；
若所述类别信息不为预设类别，则判断所述位置信息是否小于预设距离；
若所述位置信息小于预设距离，则确定所述避障策略为第一避障策略；
若所述位置信息不小于预设距离，则确定所述避障策略为第二避障策略，其中，所述第一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。
在一实施例中，所述确定单元10，还用于：
调用depthai接口和openvino接口，加载出blob格式的目标检测模型；
将所述图像数据通过blob格式的目标检测模型进行目标检测，得到检测结果。
在一实施例中，所述确定单元10，还用于：
在GPU上训练初始模型得到目标检测模型；
通过openvino平台将所述目标检测模型中的权重值进行转换，得到blob 格式的目标检测模型。
在一实施例中，所述确定单元10，还用于：
通过所述openvino平台将所述目标检测模型中的权重值依次通过weight 转化、pb转换、bin+xml转换以及blob转换，得到blob格式的目标检测模型。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的叉车避障方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种叉车避障方法，其特征在于，所述叉车避障方法应用于叉车，所述叉车上设有信息采集区域，在所述信息采集区域设置依次排列的单目相机和智能深度相机，通过所述单目相机和智能深度相机进行数据采集；
所述叉车避障方法包括：
在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；
通过智能深度相机获取点云信息；
基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；
根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
2.如权利要求1所述的方法，其特征在于，所述通过智能深度相机获取点云信息，包括：
通过智能深度相机获取初始点云信息；
对所述初始点云信息进行降采样操作以及滤波操作，得到点云信息。
3.如权利要求1所述的方法，其特征在于，所述根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，包括：
基于所述障碍物信息通过卡尔曼滤波对障碍物进行追踪，确定所述障碍物的类别信息和位置信息；
根据所述类别信息和所述位置信息，确定避障策略。
4.如权利要求1所述的方法，其特征在于，所述避障策略包括第一避障策略和第二避障策略，所述根据所述类别信息和所述位置信息，确定避障策略，包括：
判断所述类别信息是否为预设类别；
若所述类别信息为预设类别，则确定所述避障策略为第一避障策略；
若所述类别信息不为预设类别，则判断所述位置信息是否小于预设距离；
若所述位置信息小于预设距离，则确定所述避障策略为第一避障策略；
若所述位置信息不小于预设距离，则确定所述避障策略为第二避障策略，其中，所述第一避障策略的避障紧急等级高于所述第二避障策略的避障紧急等级。
5.如权利要求1所述的方法，其特征在于，所述将所述图像数据通过目标网络模型进行目标检测，得到检测结果，包括：
调用depthai接口和openvino接口，加载出blob格式的目标检测模型；
将所述图像数据通过blob格式的目标检测模型进行目标检测，得到检测结果。
6.如权利要求5所述的方法，其特征在于，所述调用depthai接口和openvino接口，加载出blob格式的目标检测模型之前，还包括：
在GPU上训练初始模型得到目标检测模型；
通过openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型。
7.如权利要求6所述的方法，其特征在于，所述通过所述openvino平台将所述目标检测模型中的权重值进行转换，得到blob格式的目标检测模型，包括：
通过所述openvino平台将所述目标检测模型中的权重值依次通过weight转化、pb转换、bin+xml转换以及blob转换，得到blob格式的目标检测模型。
8.一种叉车避障装置，其特征在于，所述叉车避障装置包括：
确定单元，用于在通过单目相机获取图像数据之后，将所述图像数据通过目标网络模型进行目标检测，得到检测结果；
获取单元，用于通过智能深度相机获取点云信息；
所述确定单元，用于基于所述检测结果和所述点云信息进行融合匹配，得到障碍物信息；
所述确定单元，用于根据所述障碍物信息中的障碍物类别以及位置信息确定避障策略，并基于所述避障策略进行避障。
9.一种叉车，其特征在于，所述叉车包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的叉车避障程序，所述叉车避障程序配置为实现如权利要求1至7中任一项所述的叉车避障方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有叉车避障程序，所述叉车避障程序被处理器执行时实现如权利要求1至7任一项所述的叉车避障方法的步骤。
CN202210801970.6A 2022-07-08 2022-07-08 叉车避障方法、装置、叉车及存储介质 Pending CN115240164A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210801970.6A CN115240164A (zh) 2022-07-08 2022-07-08 叉车避障方法、装置、叉车及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210801970.6A CN115240164A (zh) 2022-07-08 2022-07-08 叉车避障方法、装置、叉车及存储介质

Publications (1)

Publication Number Publication Date
CN115240164A true CN115240164A (zh) 2022-10-25

Family

ID=83672337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210801970.6A Pending CN115240164A (zh) 2022-07-08 2022-07-08 叉车避障方法、装置、叉车及存储介质

Country Status (1)

Country Link
CN (1) CN115240164A (zh)

Similar Documents

Publication Publication Date Title
JP2021530771A (ja) レーザレーダスパース深度マップの処理方法、装置、機器および媒体
US20220301099A1 (en) Systems and methods for generating object detection labels using foveated image magnification for autonomous driving
CN110945449B (zh) 现场环境的实时监督式机器学习系统与方法
CN114170826B (zh) 自动驾驶控制方法和装置、电子设备和存储介质
US11960292B2 (en) Method and system for developing autonomous vehicle training simulations
US20230192073A1 (en) Methods and systems for parking a vehicle
CN113269163A (zh) 基于鱼眼图像的立体泊车位检测方法及装置
Lim et al. Gaussian process auto regression for vehicle center coordinates trajectory prediction
CN113467462A (zh) 机器人的行人伴随控制方法、装置、移动机器人和介质
Hodges et al. Deep learning for driverless vehicles
Higgins et al. Negotiating visibility for safe autonomous navigation in occluding and uncertain environments
Yoon et al. Design of longitudinal control for autonomous vehicles based on interactive intention inference of surrounding vehicle behavior using long short-term memory
CN115240164A (zh) 叉车避障方法、装置、叉车及存储介质
CN112987713A (zh) 自动驾驶设备的控制方法、装置及存储介质
CN116310681A (zh) 基于多帧点云融合的无人车可通行区域预测方法及系统
US12026954B2 (en) Static occupancy tracking
CN114510031A (zh) 机器人视觉导航方法、装置、机器人及存储介质
CN117519215B (zh) 多agv车行驶控制方法、装置、设备及存储介质
US20240273440A1 (en) Information output method, recording medium, and information output system
López Campos et al. Following and overtaking: a policy for autonomous car driving
US11966452B2 (en) Systems and methods for image based perception
Dhivyabharathi et al. Appearance based approach car parking slot detecting system with android application
US20230075425A1 (en) Systems and methods for training and using machine learning models and algorithms
US20230073933A1 (en) Systems and methods for onboard enforcement of allowable behavior based on probabilistic model of automated functional components
US20230030474A1 (en) Method and system for developing autonomous vehicle training simulations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination