CN116385533A - 一种基于二维和三维成像的叉式agv目标位姿检测方法 - Google Patents

一种基于二维和三维成像的叉式agv目标位姿检测方法 Download PDF

Info

Publication number
CN116385533A
CN116385533A CN202310172139.3A CN202310172139A CN116385533A CN 116385533 A CN116385533 A CN 116385533A CN 202310172139 A CN202310172139 A CN 202310172139A CN 116385533 A CN116385533 A CN 116385533A
Authority
CN
China
Prior art keywords
target
dimensional
dimensional image
agv
fork
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310172139.3A
Other languages
English (en)
Inventor
张云东
戚麟
杨松
李江乐
丁锐
李俊辉
李佶洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Ksec Design Research Institute Co ltd
Original Assignee
Yunnan Ksec Design Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Ksec Design Research Institute Co ltd filed Critical Yunnan Ksec Design Research Institute Co ltd
Priority to CN202310172139.3A priority Critical patent/CN116385533A/zh
Publication of CN116385533A publication Critical patent/CN116385533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于二维和三维成像的叉式AGV目标位姿检测方法，该方法分为训练和推理检测。训练包括以下步骤：采集场景中所有载物容器的二维图像；对采集的二维图像进行图像标注，完成数据集构建；搭建深度卷积神经网络模型，初始化模型参数，使用数据集、优化算法对模型进行训练和优化。推理检测包含以下步骤：采集目标的二维和三维图像；通过部署好的目标检测模型检测载物容器；融合二维和三维图像通过三维图像降噪、点云平面映射、目标位姿计算等步骤完成对目标位姿信息检测；将检测到的信息发送至叉式AGV控制系统。该方法基于深度卷积神经网络和三维点云平面映射，实现叉式AGV对不同类型、不同规格载物容器的叉取，避免碰撞、倾覆等风险发生。

Description

一种基于二维和三维成像的叉式AGV目标位姿检测方法
技术领域
本发明涉及智能物流及机器人视觉识别领域，具体涉及一种基于二维和三维成像的叉式AGV目标位姿检测方法。
背景技术
无轨叉式AGV没有固定路线限制，其载货量大、移动灵活，拥有智能化程度高、应用场景广泛等特点，是智能物流和无人仓库中的常用设备。但无轨叉式AGV的全局定位存在随机误差和累计误差，对自动搬运的实现有一定的影响。特别是在叉式AGV与人工叉车混用的场景中，由于人工叉车对载物容器摆放的位置、角度、间距等存在与AGV系统规划地图的偏差，叉式AGV将无法确保叉车叉齿对准载物容器的叉取孔位。另外，叉式AGV无法自主识别载物容器类型和规格，现有应用场景中一台叉式AGV一般只对同一类型和规格的载物容器进行叉取。即便如此，因为AGV不能检测出载物容器和货物的位姿，也无法判断目标周围的环境，存在发生碰撞的风险。
现有用于叉式AGV的目标位姿检测的方案，都只对同一类型的载物容器进行识别，通过载物容器的边缘轮廓确定载物容器的部分位姿信息。例如，公开号为“CN113267180A”的专利一种基于3D深度视觉的AGV叉车托盘定位及叉取方法，使用形态学模板识别托盘；公开号为“CN114820391B”的专利基于点云处理的仓储托盘检测定位方法及系统，采用点云模板匹配识别和定位托盘。在复杂环境中，这种基于形态学的识别方法存在误识别的可能。随着人工智能技术的发展，也出现了使用深度学习算法来辅助识别载物容器的方案，如公开号为“CN113537096A”的专利基于ROS的AGV叉车库位托盘识别及辅助定位方法及系统；公开号为“CN112017240A”的专利一种面向无人叉车的托盘识别定位方法。但这些方案都只对一种载物容器—托盘进行识别，无法适用于不同类型、不同规格载物容器同时使用的场景；也只对载物容器的部分位姿进行检测，没有检测AGV叉齿、货物的位姿和周围环境，不能满足叉式AGV实际使用场景的需求。
发明内容
本发明的目的在于：针对目前存在的问题，提供了一种基于二维和三维成像的叉式AGV目标位姿检测方法，通过采集目标的二维和三维图像数据，对AGV叉齿、目标载物容器及货物、相邻载物容器及货物、货架等对象进行位姿信息检测，将检测的位姿信息发送给叉式AGV。AGV可根据检测结果判断是否具备叉取条件，调整自身姿态、叉齿位置和间距，实现对不同类型、不同规格的载物容器的叉取，避免碰撞、倾覆等风险的发生。
本发明的技术方案如下：
一种基于二维和三维成像的叉式AGV目标位姿检测方法，利用深度卷积神经网络训练出载物容器的目标检测模型和根据三维和二维坐标映射关系实现三维点云的平面映射，包括以下步骤：
采集场景中所有需要识别的载物容器的多角度、多种环境光强下的二维图像，对二维图像进行标注，构建数据集；
搭建深度卷积神经网络的目标检测模型，初始化模型参数，使用数据集、优化算法对模型进行训练和优化；
使用二维和三维成像器件组成的成像装置采集目标的二维和三维图像，利用部署好的载物容器目标检测模型进行检测；
利用目标检测模型检测时，如果目标载物容器存在，融合二维和三维图像对目标位姿信息进行检测；如果目标载物容器不存在，则不再融合二维和三维图像对目标位姿信息进行检测；
融合二维和三维图像对目标位姿信息进行检测通过三维图像降噪、二维图像和三维图像对齐、点云平面映射、映射图滤波、目标实例分割、实例关键信息提取、目标位姿计算步骤完成；
检测到的目标位姿信息经通讯接口发送至叉式AGV车载控制系统。AGV可根据检测结果判断是否具备叉取条件，进而调整自身姿态、叉齿位置和间距，实现对不同类型、不同规格的载物容器的叉取，避免碰撞、倾覆等风险的发生。
进一步的，所述载物容器的目标检测模型可以识别出不同类型、不同规格的载物容器，判断目标载物容器是否存在，并准确定位出其在二维图像中的位置。
进一步的，所述点云平面映射将从三维成像器件获取的目标点云中搜寻出所需的目标边缘和表面，并将其映射成分辨精度自定的二维平面映射点图，进而降低点云处理数据量，提高实例分割和关键信息提取速率；包含以下步骤：
以成像装置的成像平面作为参考坐标平面，根据目标载物容器中心和已对齐的二维和三维图像，从三维图像中选取包含目标载物容器及货物以及与该目标相邻的其它对象的部分区域为第一目标检测区；
以AGV叉齿与成像装置的相对位置为参考，从三维图像中选取包含AGV叉齿的第二目标检测区；
获取三维图像中第一目标检测区和第二目标检测区中所覆盖区域的点云图P，第一目标检测区的点云为P1,第二目标检测区的点云为P2,P＝P1+P2；
根据P在X和Y方向上的范围大小生成初始的目标检测区对应的点云平面映射图，分辨精度根据实际情况进行设置；
将P1、P2划分为若干子集，子集具有以下特点：子集中点的坐标具有相同x值和y值、不同z值；即：
P1＝{P1i|P1i＝{(xi,yi,z1),(xi,yi,z2),…,(xi,yi,zp)},i∈[1,m]},
P2＝{P2j|P2j＝{(xj,yj,z1),(xj,yj,z2),…,(xj,yj,zq)},j∈[1,n]},
其中m和n分别是P1、P2的子集个数，p和q是子集中点的个数；
对P1中所有子集进行如下操作：遍历P1i中所有点，选取最小的z值，将该值填入到(xi,yi)在点云平面映射图的对应坐标中；
对P2中所有子集进行如下操作：遍历P2i中所有点，选取最大的z值，将该值填入到(xj,yj)在点云平面映射图的对应坐标中。
进一步的，所述三维图像降噪通过捕获三维成像器件连续的n帧三维图像，使用时域降噪算法进行处理，得到置信度高的三维图像，计算公式如下：
H(x,y,z)＝f(Gi(x,y,z)),i∈[1,n],
其中，Gi(x,y,z)为用于降噪的第i帧三维图像，H(x,y,z)为经降噪处理得到的三维图像，f为时域降噪算法；所述时域降噪算法包括时域均值滤波、时域中值滤波、运动自适应降噪。
进一步的，所述二维图像和三维图像对齐具体操作为：根据二维成像器件和三维成像器件标定的外参以及成像器件的内参，将二维图像和三维图像的中心对准，以及确定二维图像的点与三维图像的点映射关系。
进一步的，所述映射图滤波通过映射图滤波的方法去除由于设备精度、环境因素影响而引入的噪声点，去除因遮挡造成的离群点，平滑不规则的数据密度，还原目标载物容器真实状态；映射图滤波的方法包括双边滤波、统计滤波、条件滤波、随机采样一致性滤波。
进一步的，所述目标实例分割的具体操作为：在滤波处理后的点云映射图上，通过分割算法分割出目标载物容器、目标货物、AGV叉齿及目标相邻的其他对象目标实体；所述分割算法包括基于阈值分割、基于区域增长分割、基于边缘分割、基于聚类分割、基于对齐的二维和三维图像分割。
进一步的，所述实例关键信息提取的具体操作为：通过实例关键信息提取算法提取实例关键信息；实例关键信息包括各实例的中心点、角点、重心、边缘点、轮廓数据特征区域中心点和特征区域尺寸数据；实例关键信息提取算法包括ISS3D、Harris3D、NARF、SIFT3D。
进一步的，所述目标位姿计算的具体操作为：根据目标检测模型检测结果、目标实例分割结果和提取的实例关键信息，判断和计算出各类目标位姿信息；所述目标位姿信息为目标载物容器和其货物的相对位姿，以及目标载物容器及货物与AGV、相邻载物容器及货物、货架对象之间的相对位姿。
进一步的，所述载物容器为叉式AGV应用场景中需要进行叉取作业的货物载体，包括不同规格、不同类型、不同材质的载物托盘、载物笼、载物框和载物箱。
与现有的技术相比本发明的有益效果是：
一种基于二维和三维成像的叉式AGV目标位姿检测方法，利用深度神经网络的目标检测模型对各类载物容器的识别和定位，通过改进的点云平面映射算法，结合三维图像降噪、二维和三维图像对齐、映射滤波、目标实例分割、实例关键信息提取和目标位姿信息计算步骤，对载物容器、货物、AGV叉齿的位姿以及周围环境进行检测，实现叉式AGV自主判断叉取条件、调节自身姿态叉取不同类型和不同规格的载物容器，避免发生碰撞、倾覆等风险。
附图说明
图1为一种基于二维和三维成像的叉式AGV目标位姿检测方法的场景结构示意图。
图2为一种基于二维和三维成像的叉式AGV目标位姿检测方法的叉式AGV目标位姿检测工作步骤示意图。
图3为一种基于二维和三维成像的叉式AGV目标位姿检测方法的目标载物容器检测模型检测结果示意图。
图4为一种基于二维和三维成像的叉式AGV目标位姿检测方法的目标仓储托盘、货物、AGV叉齿和相邻其他对象的点云平面映射图。
图5为一种基于二维和三维成像的叉式AGV目标位姿检测方法的点云平面映射图中各实例的关键点和尺寸数据示意图及位姿计算示意图。
图6为一种基于二维和三维成像的叉式AGV目标位姿检测方法的目标载物容器和AGV叉齿的偏航角的计算方法示意图。
附图标记：1-货物，2-货架，3-AGV叉齿，4-RGBD相机，5-目标仓储托盘，6-非目标仓储货盘。
具体实施方式
需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
请参阅图1-6，一种基于二维和三维成像的叉式AGV目标位姿检测方法，利用深度卷积神经网络训练出载物容器的目标检测模型和根据三维和二维坐标映射关系实现三维点云的平面映射；包括以下步骤：
采集场景中所有需要识别的载物容器的多角度、多种环境光强下的二维图像，对二维图像进行标注，构建数据集；
搭建深度卷积神经网络的目标检测模型，初始化模型参数，使用数据集、优化算法对模型进行训练和优化；
使用二维和三维成像器件组成的成像装置采集目标的二维和三维图像，利用部署好的载物容器目标检测模型进行检测；
利用目标检测模型检测时，如果目标载物容器存在，融合二维和三维图像对目标位姿信息进行检测；如果目标载物容器不存在，则不再融合二维和三维图像对目标位姿信息进行检测；
融合二维和三维图像对目标位姿信息进行检测通过三维图像降噪、二维图像和三维图像对齐、点云平面映射、映射图滤波、目标实例分割、实例关键信息提取、目标位姿计算步骤完成；
检测到的目标位姿信息经通讯接口发送至叉式AGV车载控制系统。AGV可根据检测结果判断是否具备叉取条件，进而调整自身姿态、叉齿位置和间距，实现对不同类型、不同规格的载物容器的叉取，避免碰撞、倾覆等风险的发生。
所述载物容器的目标检测模型可以识别出不同类型、不同规格的载物容器，判断目标载物容器是否存在，并准确定位出其在二维图像中的位置。
所述点云平面映射将从三维成像器件获取的目标点云中搜寻出所需的目标边缘和表面，并将其映射成分辨精度自定的二维平面映射点图，进而降低点云处理数据量，提高实例分割和关键信息提取速率；包含以下步骤：
以成像装置的成像平面作为参考坐标平面，根据目标载物容器中心和已对齐的二维和三维图像，从三维图像中选取包含目标载物容器及货物以及与该目标相邻的其它对象的部分区域为第一目标检测区；
以AGV叉齿与成像装置的相对位置为参考，从三维图像中选取包含AGV叉齿的第二目标检测区；
获取三维图像中第一目标检测区和第二目标检测区中所覆盖区域的点云图P，第一目标检测区的点云为P1,第二目标检测区的点云为P2,P＝P1+P2；
根据P在X和Y方向上的范围大小生成初始的目标检测区对应的点云平面映射图，分辨精度根据实际情况进行设置；
将P1、P2划分为若干子集，子集具有以下特点：子集中点的坐标具有相同x值和y值、不同z值；即：
P1＝{P1i|P1i＝{(xi,yi,z1),(xi,yi,z2),…,(xi,yi,zp)},i∈[1,m]},
P2＝{P2j|P2j＝{(xj,yj,z1),(xj,yj,z2),…,(xj,yj,zq)},j∈[1,n]},
其中m和n分别是P1、P2的子集个数，p和q是子集中点的个数；
对P1中所有子集进行如下操作：遍历P1i中所有点，选取最小的z值，将该值填入到(xi,yi)在点云平面映射图的对应坐标中；
对P2中所有子集进行如下操作：遍历P2i中所有点，选取最大的z值，将该值填入到(xj,yj)在点云平面映射图的对应坐标中。
所述三维图像降噪通过捕获三维成像器件连续的n帧三维图像，使用时域降噪算法进行处理，得到置信度高的三维图像，计算公式如下：
H(x,y,z)＝f(Gi(x,y,z)),i∈[1,n],
其中，Gi(x,y,z)为用于降噪的第i帧三维图像，H(x,y,z)为经降噪处理得到的三维图像，f为时域降噪算法；所述时域降噪算法包括时域均值滤波、时域中值滤波、运动自适应降噪。
所述二维图像和三维图像对齐具体操作为：根据二维成像器件和三维成像器件标定的外参以及成像器件的内参，将二维图像和三维图像的中心对准，以及确定二维图像的点与三维图像的点映射关系。
所述映射图滤波通过映射图滤波的方法去除由于设备精度、环境因素影响而引入的噪声点，去除因遮挡造成的离群点，平滑不规则的数据密度，还原目标载物容器真实状态；映射图滤波的方法包括双边滤波、统计滤波、条件滤波、随机采样一致性滤波。
所述目标实例分割的具体操作为：在滤波处理后的点云映射图上，通过分割算法分割出目标载物容器、目标货物、AGV叉齿及目标相邻的其他对象目标实体；所述分割算法包括基于阈值分割、基于区域增长分割、基于边缘分割、基于聚类分割、基于对齐的二维和三维图像分割。
所述实例关键信息提取的具体操作为：通过实例关键信息提取算法提取实例关键信息；实例关键信息包括各实例的中心点、角点、重心、边缘点、轮廓数据特征区域中心点和特征区域尺寸数据；实例关键信息提取算法包括ISS3D、Harris3D、NARF、SIFT3D。
所述目标位姿计算的具体操作为：根据目标检测模型检测结果、目标实例分割结果和提取的实例关键信息，判断和计算出各类目标位姿信息；所述目标位姿信息为目标载物容器和其货物的相对位姿，以及目标载物容器及货物与AGV、相邻载物容器及货物、货架对象之间的相对位姿。
所述载物容器为叉式AGV应用场景中需要进行叉取作业的货物载体，包括不同规格、不同类型、不同材质的载物托盘、载物笼、载物框和载物箱。
在一种具体应用场景中，一种基于二维和三维成像的叉式AGV目标位姿检测方法，实施例场景为立体仓库中叉式AGV对载物容器及货物的叉取，如图1所示。使用的二维和三维成像器件为RGBD相机，安装于叉式AGV的升降机构上，在安装完成后对相机进行了标定，统一相机坐标系和AGV坐标系。所检测的载物容器为多种规格、不同材质的仓储托盘，放置于立库货架上或地面上。将检测的目标位姿信息发送至叉式AGV车载控制系统的通讯接口为串行通信RS232接口。
所检测的目标位姿信息包括目标仓储托盘是否存在、目标仓储托盘前端中心和AGV中心的偏移量、目标仓储托盘和AGV叉齿的偏航角、AGV叉齿中心和目标仓储托盘叉孔中心的偏移量、目标货物是否超宽、目标货物的高度、目标仓储托盘及货物是否会发生碰撞。其中目标仓储托盘及货物发生碰撞包括以下情况：目标仓储托盘及货物与相邻仓储托盘及货物发生碰撞；目标仓储托盘及货物与相邻货架发生碰撞；目标货物前端面超出目标仓储托盘，导致叉式AGV叉取作业时AGV挡货架与目标货物发生碰撞；目标仓储托盘堆放的货物过高，导致叉式AGV叉取作业时目标货物与上层货架发生碰撞。
通过报文形式将检测的目标位姿信息发送至叉式AGV车载控制系统，报文由报文头、报文内容和CRC校验组成。其中报文头通过头字节、消息序号、从机地址、消息内容长度(不包含CRC字节)、尾字节组成；报文内容由所检测的目标位姿信息组成。
使用工控机部署识别和定位仓储托盘的目标检测模型。所述的仓储托盘的目标检测模型的训练和部署流程如图2所示，包含以下步骤：使用RGBD相机在立体仓库现场的不同光照强度下，从不同角度采集仓储托盘的RGB图像；对采集的RGB图像进行数据标注，完成数据集构建；搭建合适的深度网络模型，初始化模型参数，使用数据集、优化算法对模型进行训练和优化；将训练优化好的仓储托盘的目标检测模型部署在工控机上。
所述目标位姿信息为目标载物容器和其货物的相对位姿，以及目标载物容器及货物与AGV、相邻载物容器及货物、货架等对象之间的相对位姿。目标位姿信息包括目标载物容器是否存在、目标载物容器类型、目标货物是否存在、目标货物轮廓及尺寸、目标载物容器中心与AGV中心的偏差、目标载物容器与AGV叉齿的位置偏差及偏航角、目标货物是否超宽超高、目标货物是否会和相邻其他对象发生碰撞、目标货物是否有倾覆风险等信息。其中，目标载物容器与AGV叉齿的位置偏差是指叉式AGV的两个叉齿尖部中心与各自对应的目标载物容器叉孔中心的位置偏差。
所述目标位姿计算具体操作为：根据目标检测模型检测结果、目标实例分割结果和提取的实例关键信息，判断和计算出各类目标位姿信息：
通过目标检测模型检测结果判断目标载物容器是否存在、目标载物容器类型；
通过目标实例分割结果判断目标货物是否存在；
通过目标货物实例的轮廓数据获得目标货物轮廓，通过目标货物实例的边缘点可计算目标货物的尺寸；
通过目标载物容器实例的中心点计算目标载物容器中心与AGV中心的偏差；
通过目标载物容器叉孔的中心点和AGV叉齿尖部中心点计算目标载物容器与AGV叉齿的位置偏差；
通过目标载物容器的边缘点和AGV叉齿尖部中心点计算目标载物容器与成像装置平面的夹角、AGV叉齿与成像装置平面的夹角，进而由目标载物容器与成像装置平面的夹角、AGV叉齿与成像装置平面的夹角计算目标载物容器与AGV叉齿的偏航角；
通过目标载物容器的边缘点和目标货物的边缘点计算目标货物的边缘与目标载物容器的边缘的距离，进而作为目标货物是否超宽的判别依据；
通过目标货物的边缘点计算货物的高度，结合实际的货物高度限制作为目标货物是否超高的判别依据；
通过目标载物容器的边缘点、目标货物的边缘点和相邻其他对象的边缘点计算目标载物容器及货物与相邻其他对象的距离，进而作为叉取作业中是否存在碰撞风险的判别依据；
通过各个目标货物的重心、边缘点、轮廓数据等计算目标货物的形态，进而作为目标货物是否有倾覆风险的判断依据；
工作步骤如图2所示，包括以下步骤：
S1启动工控机和RGBD相机，等待叉式AGV车载控制系统的检测触发指令。
S2叉式AGV抵达检测点，车载控制系统发出目标位姿检测指令。
S3工控机收到检测指令后，对RGBD相机采集到的RGB图像和深度图像进行处理：
S3.1通过部署的仓储托盘目标检测模型，在RGB图像上识别和定位仓储托盘，判断目标仓储托盘是否存在，并定位其在RGB图像中的位置，如图3所示；
S3.2使用时域降噪算法对深度图像进行降噪，本实施列使用的时域降噪算法为时域均值滤波，计算公式如下：
Figure BDA0004099629950000091
其中，Gi(x,y,z)为用于降噪的第i帧深度图像，H(x,y,z)为经降噪处理得到的深度图像。本实施例中n＝25。
S4根据目标检测模型的识别结果，若目标仓储托盘存在，融合RGB图像和降噪后的深度图像对目标位姿信息进行检测；若不存在，则将结果发送至叉式AGV车载控制系统，等待AGV下次检测指令。
S5获取RGB摄像头和深度摄像头的内参和外参，遍历时域降噪后的深度图像中每一个像素坐标，通过两个摄像头的内参和外参进行旋转和平移变换，计算出深度图像中像素点对应在RGB图像中的坐标，完成深度图像和RGB图像的对齐；
S6划分目标检测区域，对目标检测区域进行点云平面映射，生成目标检测区的点云平面映射图。具体步骤如下：
S6.1根据仓储托盘目标检测模型在RGB图像上定位出的目标仓储托盘的位姿，在对齐的深度图像上选取包含目标载物容器及货物以及与该目标相邻的其它对象的部分区域的第一目标检测区；
S6.2根据AGV叉齿与RGBD相机的相对位置，在对齐的深度图像上选取包含AGV叉齿的第二目标检测区；
S6.3将深度图像中的第一目标检测区和第二目标检测区转换成点云图P，转换公式如下：
Figure BDA0004099629950000092
(u,v)为目标检测区内的点在对齐的深度图像中的坐标，D为该点的深度值，K为深度摄像头的内参，(x,y,z)为该点在点云图中对应的坐标，fx、fy分别为深度摄像头在X、Y轴方向焦距的长度，(uo,vo)为深度摄像头主点的实际位置。
S6.4根据P在X和Y方向上的范围大小生成初始的目标检测区对应的点云平面映射图，分辨精度设置为1mm/pix。
S6.5将第一目标检测区的点云P1和第二目标检测区的点云P2划分为若干个子集，这些子集具有如下特点：子集中点的坐标具有相同x和y值、不同的z值。即:
P1＝{P1i|P1i＝{(xi,yi,z1),(xi,yi,z2),…,(xi,yi,zp)},i∈[1,m]}，
P2＝{P2j|P2j＝{(xj,yj,z1),(xj,yj,z2),…,(xj,yj,zq)},j∈[1,n]}，
其中m和n分别是P1、P2的子集个数，p和q是子集中点的个数。
S6.6对P1中的所有子集进行如下操作：遍历P1i中所有点，选取最小的z值，将该值填入到(xi,yi)在点云平面映射图的对应坐标中；
S6.7对P2中的所有子集进行如下操作：遍历P2j中所有点，选取最大的z值，将该值填入到(xj,yj)在点云平面映射图的对应坐标中。
S7通过统计滤波的方法剔除点云平面映射图中的离散点，再进行小范围的填孔操作，以还原目标检测区的真实形貌。
S8在滤波处理后的点云平面映射图中分割各目标实例，如图4所示，分割方法如下：
S8.1根据仓储托盘目标检测模型定位的目标仓储托盘在RGB图像中区域坐标，映射到对齐的深度图像中，再映射到点云平面映射图上，进而分割出目标仓储托盘实例；
S8.2根据AGV叉齿和RGBD相机的相对位置，采用基于阈值的分割方法分割出AGV叉齿实例；
S8.3以目标仓储托盘实例为基础，采用基于区域增长的分割方法分割出目标货物实例；
S8.4以目标仓储托盘实例、目标货物实例和AGV叉齿实例为基础，采用基于边缘的分割方法完成相邻的其他对象实例分割。
S9提取点云平面映射图中各目标实例的关键信息，关键信息示意图如图5所示，包含以下
数据：
S9.1 AGV叉齿：叉齿叉尖上表面中心点的坐标及距离值
Figure BDA0004099629950000101
Figure BDA0004099629950000102
单叉齿宽度W；
S9.2目标货物：货物边缘点的坐标及距离值
Figure BDA0004099629950000103
Figure BDA0004099629950000104
货物距离RGBD相机平面最近的点的坐标及距离值
Figure BDA0004099629950000105
S9.3目标仓储托盘：托盘边缘点的坐标及距离值
Figure BDA0004099629950000106
托盘前端面与Gf具有相同x值的点的坐标及距离值
Figure BDA0004099629950000107
仓储托盘叉孔区域中心点坐标/>
Figure BDA0004099629950000108
长l、宽w；
S9.4相邻的其他对象：目标仓储托盘及货物左右两边相邻的其他对象距离货物目标仓储托盘及货物最近的点的坐标及距离值
Figure BDA0004099629950000109
S10通过提取的关键信息数据计算目标位姿信息：
S10.1如图6所示，目标仓储托盘前端中心和AGV中心的偏移量R、目标仓储托盘和AGV叉齿的偏航角θ的计算公式如下：
Figure BDA0004099629950000111
Figure BDA0004099629950000112
S10.2如图5所示，叉齿中心和仓储托盘叉孔中心的偏移量Rl和Rr、货物的超宽ΔXl、ΔXr、
ΔZ的计算公式如下：
Figure BDA0004099629950000113
Figure BDA0004099629950000114
Figure BDA0004099629950000115
S10.3如图5所示，货物是否会发生碰撞的检测方法为：
S10.3.1计算货物侧面和旁边物体的距离
Figure BDA0004099629950000116
及货物的高度
Figure BDA0004099629950000117
S10.3.2将Dl和Dr与最小允许的间距值进行比较，如果Dl或Dr小于最小允许的间距，则货物存在发生碰撞的风险；
S10.3.3将h与最大允许的货物堆放高度进行比较，如果h大于最大允许的货物堆放高度，则货物存在发生碰撞的风险。
S11将计算出来的目标位姿信息按目标仓储托盘是否存在、目标仓储托盘前端中心和AGV中心的偏移量、目标仓储托盘和AGV叉齿的偏航角大小、AGV叉齿中心和仓储托盘叉孔中心的偏移量、货物的超宽、货物的高度、货物是否会发生碰撞的顺序构建报文内容。完善报文内容相应的报文头和CRC检验，将完整的报文通过RS232通讯接口发送至AGV车载控制系统。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (10)

1.一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，利用深度卷积神经网络训练出载物容器的目标检测模型和根据三维和二维坐标映射关系实现三维点云的平面映射，包括以下步骤：
采集场景中所有需要识别的载物容器的多角度、多种环境光强下的二维图像，对二维图像进行标注，构建数据集；
搭建深度卷积神经网络的目标检测模型，初始化模型参数，使用数据集、优化算法对模型进行训练和优化；
使用二维和三维成像器件组成的成像装置采集目标的二维和三维图像，利用部署好的载物容器目标检测模型进行检测；
利用目标检测模型检测时，如果目标载物容器存在，融合二维和三维图像对目标位姿信息进行检测；如果目标载物容器不存在，则不再融合二维和三维图像对目标位姿信息进行检测；
融合二维和三维图像对目标位姿信息进行检测通过三维图像降噪、二维图像和三维图像对齐、点云平面映射、映射图滤波、目标实例分割、实例关键信息提取、目标位姿计算步骤完成；
检测到的目标位姿信息经通讯接口发送至叉式AGV车载控制系统。
2.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述载物容器的目标检测模型可以识别出不同类型、不同规格的载物容器，判断目标载物容器是否存在，并准确定位出其在二维图像中的位置。
3.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述点云平面映射将从三维成像器件获取的目标点云中搜寻出所需的目标边缘和表面，并将其映射成分辨精度自定的二维平面映射点图；包含以下步骤：
以成像装置的成像平面作为参考坐标平面，根据目标载物容器中心和已对齐的二维和三维图像，从三维图像中选取包含目标载物容器及货物以及与该目标相邻的其它对象的部分区域为第一目标检测区；
以AGV叉齿与成像装置的相对位置为参考，从三维图像中选取包含AGV叉齿的第二目标检测区；
获取三维图像中第一目标检测区和第二目标检测区中所覆盖区域的点云图P，第一目标检测区的点云为P1,第二目标检测区的点云为P2,P＝1+2；
根据P在X和Y方向上的范围大小生成初始的目标检测区对应的点云平面映射图，分辨精度根据实际情况进行设置；
将P1、P2划分为若干子集，子集具有以下特点：子集中点的坐标具有相同x值和y值、不同z值；即：
P1＝{P1i|P1i＝{(xi，yi，z1)，(xi，yi，z2)，…，(xi，yi，zp)}，i∈[1，m]}，
P2＝{P2j|P2j＝{(xj，yj，z1)，(xj，yj，z2)，…，(xj，yj，zq)}，j∈[1，n]}，
其中m和n分别是P1、P2的子集个数，p和q是子集中点的个数；
对P1中所有子集进行如下操作：遍历P1i中所有点，选取最小的z值，将该值填入到(xi，yi)在点云平面映射图的对应坐标中；
对P2中所有子集进行如下操作：遍历P2i中所有点，选取最大的z值，将该值填入到(xj，yj)在点云平面映射图的对应坐标中。
4.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述三维图像降噪通过捕获三维成像器件连续的n帧三维图像，使用时域降噪算法进行处理，得到置信度高的三维图像，计算公式如下：
H(x，y，z)＝f(Gi(x，y，z))，i∈[1，n]，
其中，Gi(x，y，z)为用于降噪的第i帧三维图像，H(x，y，z)为经降噪处理得到的三维图像，f为时域降噪算法；所述时域降噪算法包括时域均值滤波、时域中值滤波、运动自适应降噪。
5.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述二维图像和三维图像对齐具体操作为：根据二维成像器件和三维成像器件标定的外参以及成像器件的内参，将二维图像和三维图像的中心对准，以及确定二维图像的点与三维图像的点映射关系。
6.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述映射图滤波通过映射图滤波的方法去除由于设备精度、环境因素影响而引入的噪声点，去除因遮挡造成的离群点，平滑不规则的数据密度，还原目标载物容器真实状态；映射图滤波的方法包括双边滤波、统计滤波、条件滤波、随机采样一致性滤波。
7.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述目标实例分割的具体操作为：在滤波处理后的点云映射图上，通过分割算法分割出目标载物容器、目标货物、AGV叉齿及目标相邻的其他对象目标实体；所述分割算法包括基于阈值分割、基于区域增长分割、基于边缘分割、基于聚类分割、基于对齐的二维和三维图像分割。
8.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述实例关键信息提取的具体操作为：通过实例关键信息提取算法提取实例关键信息；实例关键信息包括各实例的中心点、角点、重心、边缘点、轮廓数据特征区域中心点和特征区域尺寸数据；实例关键信息提取算法包括ISS3D、Harris3D、NARF、SIFT3D。
9.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述目标位姿计算的具体操作为：根据目标检测模型检测结果、目标实例分割结果和提取的实例关键信息，判断和计算出各类目标位姿信息；所述目标位姿信息为目标载物容器和其货物的相对位姿，以及目标载物容器及货物与AGV、相邻载物容器及货物、货架对象之间的相对位姿。
10.根据权利要求1所述的一种基于二维和三维成像的叉式AGV目标位姿检测方法，其特征在于，所述载物容器为叉式AGV应用场景中需要进行叉取作业的货物载体，包括不同规格、不同类型、不同材质的载物托盘、载物笼、载物框和载物箱。
CN202310172139.3A 2023-02-27 2023-02-27 一种基于二维和三维成像的叉式agv目标位姿检测方法 Pending CN116385533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310172139.3A CN116385533A (zh) 2023-02-27 2023-02-27 一种基于二维和三维成像的叉式agv目标位姿检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310172139.3A CN116385533A (zh) 2023-02-27 2023-02-27 一种基于二维和三维成像的叉式agv目标位姿检测方法

Publications (1)

Publication Number Publication Date
CN116385533A true CN116385533A (zh) 2023-07-04

Family

ID=86979642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310172139.3A Pending CN116385533A (zh) 2023-02-27 2023-02-27 一种基于二维和三维成像的叉式agv目标位姿检测方法

Country Status (1)

Country Link
CN (1) CN116385533A (zh)

Similar Documents

Publication Publication Date Title
US9630320B1 (en) Detection and reconstruction of an environment to facilitate robotic interaction with the environment
EP3683721B1 (en) A material handling method, apparatus, and system for identification of a region-of-interest
CN107610176B (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
US9205562B1 (en) Integration of depth points into a height map
US20230106134A1 (en) Warehouse robot control method and apparatus, device, and readable storage medium
US9327406B1 (en) Object segmentation based on detected object-specific visual cues
CN112070838B (zh) 基于二维-三维融合特征的对象识别与定位方法及装置
US9424470B1 (en) Systems and methods for scale invariant 3D object detection leveraging processor architecture
DE112019000177T5 (de) Ein robotersystem mit automatisiertem paketregistrierungsmechanismus und verfahren zum betreiben dieses systems
DE102019130046A1 (de) Ein robotersystem mit verbessertem abtastmechanismus
CN112017240B (zh) 一种面向无人叉车的托盘识别定位方法
CN113345008B (zh) 考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
CN111260289A (zh) 一种基于视觉导航的微型无人机仓库盘点系统及方法
US20230108073A1 (en) Box retrieval method and apparatus, system, robot, and storage medium
US20230410362A1 (en) Target object detection method and apparatus, and electronic device, storage medium and program
Holz et al. Fast edge-based detection and localization of transport boxes and pallets in rgb-d images for mobile robot bin picking
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN116385533A (zh) 一种基于二维和三维成像的叉式agv目标位姿检测方法
JP2022181174A (ja) 回転補正付きの物体ビンピッキング
US11900652B2 (en) Method and computing system for generating a safety volume list for object detection
Li et al. Detection of containerized containers based on computer vision
CN112330748A (zh) 一种基于双目深度相机的托盘识别和定位方法
JP7191352B2 (ja) 物体検出を実施するための方法および計算システム
US12017368B2 (en) Mix-size depalletizing
CN115308709A (zh) 一种基于激光雷达的库位检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination