CN113848825B - 柔性生产车间agv状态监控系统及方法 - Google Patents
柔性生产车间agv状态监控系统及方法 Download PDFInfo
- Publication number
- CN113848825B CN113848825B CN202111012795.4A CN202111012795A CN113848825B CN 113848825 B CN113848825 B CN 113848825B CN 202111012795 A CN202111012795 A CN 202111012795A CN 113848825 B CN113848825 B CN 113848825B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- dimensional
- millimeter wave
- agv
- moving target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 64
- 238000012544 monitoring process Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000013135 deep learning Methods 0.000 claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 16
- 230000033001 locomotion Effects 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system
- G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/50—Systems of measurement based on relative movement of target
- G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31002—Computer controlled agv conveys workpieces between buffer and cell
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/60—Electric or hybrid propulsion means for production processes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Radar Systems Or Details Thereof (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种柔性生产车间AGV状态监控系统及方法，包括柔性生产车间环境感知模块、激光雷达点云分析与处理模块、毫米波信号处理模块以及深度学习计算机。柔性生产车间环境感知模块包括毫米波雷达和三维激光雷达，毫米波信号处理模块获取运动目标位置、速度参数，同时输出运动目标区域的二维稀疏点云；激光雷达点云分析与处理模块获得生产车间中检测到的运动目标所在子区域的三维点云数据，并将该点云数据投影到水平面上得到点云俯视图；深度学习计算机通过深度学习算法进行运动目标的类别检测和AGV负荷状态识别。本发明所提出的方法及系统适用于柔性生产车间中AGV负荷状态的监控，有效提高了监控系统的智能化程度以及系统运行的准确性和实时性。
Description
技术领域
本发明涉及一种柔性生产车间的监控系统，尤其涉及一种柔性生产车间AGV状态监控系统及方法。
背景技术
随着生产的发展和自动化程度的提高，传统制造业的生产方式发生了深刻的变化，可以说，现代制造业己经迈入自动化、智能化、个性化的崭新阶段。为了节约成本，缩短生产周期和提高企业的经济效益，柔性生产系统和工厂自动化等先进的生产方式逐渐发展起来。生产物流系统技术是先进制造技术中的重要组成部分，随着计算机科学和自动化技术的发展，它已从以前简单的物料搬运发展到物流自动化系统，物流管理系统也从原有的简单方式迅速向自动化管理演变，使得物流系统自动化水平更高，其主要标志是自动化物流设备，如自动导引车(Automatic Guided Vehicle，AGV)的使用。
传统生产物流设备不利于现代制造业的发展，其设备落后、搬运效率低下是影响整体生产效益提高的主要因素；现代化的物流设备是生产物流系统现代化的基础，主要采用快速、高效、自动化的物流设备，其中AGV以其快速、准确的运输、运输路径柔性化、便于计算机管理与调度、实现无人化操作、更有利于劳动安全保障的实施等优点已被广泛应用于制造业。生产物流系统所要解决的问题是物流活动的机械化、自动化和合理化，以实现物流系统的时间和空间效益，而AGV的负荷状态监控对于柔性生产车间AGV调度以及物流系统高效运行具有重要意义，因此对于AGV状态监控的研究己成为现代生产物流系统的热点之一，具有广泛的应用前景。
发明内容
发明目的：针对以上问题，本发明提出一种柔性生产车间AGV状态监控系统及方法，能够使系统在光线条件复杂或黑暗环境中仍具备AGV状态监控能力，同时提高监控系统的智能化程度以及系统运行的实时性和可靠性。
技术方案：本发明所采用的技术方案是一种柔性生产车间AGV状态监控系统，包括柔性生产车间环境感知模块、激光雷达点云分析与处理模块、毫米波信号处理模块以及深度学习计算机；柔性生产车间环境感知模块包括毫米波雷达和三维激光雷达，毫米波雷达用于向生产车间发射毫米波波段无线电信号，并接收反射信号，获得运动目标的运动信号发送至毫米波信号处理模块；三维激光雷达以激光为工作光束，通过光电探测进行主动遥感，用于获取生产车间的三维点云数据并发送至激光雷达点云分析与处理模块；毫米波信号处理模块用于根据毫米波雷达的回波信号进行运动目标检测，获取运动目标位置、速度参数，同时输出运动目标区域的二维稀疏点云；激光雷达点云分析与处理模块用于根据毫米波信号处理模块输出的运动目标的位置、速度参数，获得生产车间中检测到的运动目标所在子区域的三维点云数据，并将该点云数据投影到水平面上得到点云俯视图；深度学习计算机用于根据毫米波信号处理模块输出的二维稀疏点云以及激光雷达点云分析与处理模块输出的点云俯视图，通过深度学习算法进行运动目标的类别检测和AGV负荷状态识别，所述AGV负荷状态识别包括AGV负荷类别和是否为满载状态。
所述通过深度学习算法进行运动目标的类别检测和AGV负荷状态识别，是采用SCANet网络模型架构，融合毫米波雷达与激光雷达点云数据实现AGV目标检测以及状态监控，通过两个并行的特征提取网络分别提取二维稀疏点云和点云俯视图的特征图，然后将提取的特征图输入到区域候选网络生成三维候选框，将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，并经过感兴趣区域池化层得到特征向量，通过多层次融合策略融合相应的特征向量，完成目标分类以及目标边界框回归，实现监测区域内运动目标的类别检测和AGV不同负荷状态识别。
所述SCANet网络模型的结构参数是通过预先在包括AGV不同负荷状态、人体运动状态的二维稀疏点云和运动目标所在子区域的三维点云构建的数据集上训练得到的。
所述毫米波雷达和三维激光雷达安装的中心轴位于同一纵向轴线上；该系统还包括显示模块，用于将所述深度学习计算机的分析处理结果在屏幕上展示。
所述柔性生产车间环境感知模块、激光雷达点云分析与处理模块、毫米波信号处理模块以及深度学习计算机之间实时通信，通信采用有线或无线传输方式。
本发明还提出一种柔性生产车间AGV状态监控方法，包括以下步骤：
(1)通过毫米波雷达对运动目标感知定位，得到运动目标的位置和速度，并输出运动目标区域的二维稀疏点云发送至计算机；其中所述的通过毫米波雷达对运动目标感知定位，是基于毫米波雷达通过毫米波对柔性生产车间进行实时扫描，基于被测目标的距离域时延效应，速度域的多普勒效应，结合多天线的相差，采用快速傅里叶变换、目标聚类跟踪处理，检测柔性生产车间内的运动目标，并对运动目标的位置、速度参数进行测量。
(2)根据毫米波信号处理模块输出的运动目标的位置、速度参数，通过三维激光雷达获得监测区域中检测到的运动目标所在子区域的点云数据，并投影到水平面上得到二维的点云俯视图，将点云俯视图发送至计算机；
(3)采用SCANet网络模型架构，通过两个并行的特征提取网络分别提取毫米波雷达所获取的二维稀疏点云和三维激光雷达所获取的点云俯视图的特征图，然后将提取的特征图输入到区域候选网络生成三维候选框，将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，并经过感兴趣区域池化层得到特征向量，通过多层次融合策略融合相应的特征向量，完成目标分类以及目标边界框回归，实现监测区域内运动目标的类别检测和AGV不同负荷状态识别。
其中，所述的将提取的特征图输入到区域候选网络生成三维候选框，是将所述的区域候选网络中设置的三维先验框由其中心坐标(x，y，z)和长度、宽度、高度(l，w，h)六个参数表示，x和y值由点云俯视图中以固定距离的间隔通过均匀采样获得，z值通过三维激光雷达距离地面的高度和物体高度确定，(l，w，h)通过对数据集中检测目标的标注边界框的大小进行聚类获得；然后区域候选网络通过回归三维先验框的位置偏移量生成三维候选框。所述的将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，是将目标三维候选框(xp，yp，zp，l，w，h)分别投影到二维稀疏点云和点云俯视图的特征图中，特征图上投影区域的左上角和右下角表示为(xl，left，yl，left)和(xl，right，yl，right)：
式中，xp、yp分别为目标三维候选框的x、y轴方向上的中心坐标。
所述SCANet网络模型，其结构参数是通过预先在包括AGV不同负荷状态、人体运动状态的二维稀疏点云和运动目标所在子区域的三维点云构建的数据集上训练得到的。
有益效果：相比于现有技术，本发明具有以下优点：本发明采用毫米波雷达、三维激光雷达以及深度学习算法的结合定位作为生产车间环境感知传感器设备，有效避免了光线等环境因素对监控系统性能的影响，使得系统在光线条件复杂或黑暗环境中仍具备AGV状态监控能力。本发明提出的AGV状态监控系统及方法通过毫米波雷达检测生产车间的运动目标，计算机读取运动目标所在子区域的激光雷达点云数据进行处理分析，减少了深度学习计算机处理生产车间非动态冗余信息所带来的计算量，有效提高了系统监测的实时性；并且深度学习算法进行运动目标检测分类和AGV负荷状态识别，只保留AGV的不同负荷状态进行监测显示，对于人体的运动以及其他动态情况予以滤除，有效提高了监控系统的可靠性。
附图说明
图1是本发明所述的柔性生产车间AGV状态监控方法的流程图；
图2是本发明所述的柔性生产车间AGV状态监控系统的框架示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，为本发明所述的柔性生产车间AGV状态监控方法的流程图。具体流程如下：
(1)通过毫米波雷达对运动目标感知定位，得到运动目标的位置和速度，并输出运动目标区域的二维稀疏点云发送至计算机，为后续提取运动目标所在子区域的三维激光雷达点云数据以及数据融合进行基于深度学习的运动目标识别监测做准备。
(2)通过三维激光雷达获得监测区域中检测到的运动目标所在子区域的点云数据，并投影到水平面上得到二维的点云俯视图，将点云俯视图发送至计算机。
(3)采用SCANet网络模型架构，通过两个并行的特征提取网络分别提取毫米波雷达所获取的二维稀疏点云和三维激光雷达所获取的点云俯视图的特征图，然后将提取的特征图输入到区域候选网络生成三维候选框，将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，并经过感兴趣区域池化层(Region of Interest Pooling，ROI Pooling)得到特征向量，通过多层次融合策略融合相应的特征向量，完成目标分类以及目标边界框回归，从而实现监测区域内AGV不同负荷状态识别。
各步骤涉及的具体技术详细介绍如下：
1.基于毫米波雷达的运动目标感知定位
毫米波雷达射频端生成的信号，一方面作为发射信号通过发射天线向生产车间不同方向扩散，另一方面作为本振信号，与接收天线接收到的目标物体及环境物体反射回来的回波信号在混频器里进行混频处理，从而得到中频信号。中频信号中有运动目标和雷达径向距离的时延以及目标运动的多普勒频率，可以得到运动目标相对雷达的距离和速度。通过方位、俯仰接收波束数字合成实现方位、俯仰接收波束的同时多波束数字合成；多个波束信号的调频去斜处理对调频三角波信号上升段和下降段分别去斜处理，实现运动目标距离和速度的解耦合处理；在目标距离和速度解耦合时，对于多目标之间的配对从而产生虚假目标的问题，由于真实目标的输出速度和虚假目标的输出速度不同，利用非调频段回波信号进行谱分析得到真实目标速度，筛选剔除具有不同速度的虚假目标，从而得到真实目标。采用快速傅里叶变换算法对每个接收波束的去斜回波信号进行频谱分析，得到频谱结果后利用调频连续波的频谱距离变换关系计算出运动目标的位置距离。同时输出运动目标区域的二维稀疏点云，将点云沿X轴和Y轴方向等间隔划分，取每个单元格的点云强度特征编码二维稀疏点云，为后续与三维激光雷达点云俯视图融合进行识别监测做准备。
2.三维激光雷达点云数据分析与处理
三维激光雷达，用于向生产车间发射激光束，扫描获得生产车间的三维点云数据。根据毫米波雷达感知的运动目标位置、速度结果，读取监测区域中检测到的运动目标所在子区域的点云数据。采用三维极坐标形式描述点云数据，即距离、俯仰角、航向角三个参数，可以确定点云数据中的任意一个点，而且点和点之间有固定关系，因此展开就是一张深度图像。由于考虑生产车间监测环境中的AGV及环境物体一般都在地面上，在俯视图中一般是彼此无遮挡的，因此可以将雷达点云数据投影到水平面上得到二维的点云俯视图。将三维点云体素化，对每一个体素单元格，保存该单元格的最高点的高度信息填充像素值，同一层的体素单元格构成一个通道的像素值，另外设置一个通道用于记录点云的强度信息，从而完成三维点云数据的水平面投影，得到多通道的点云俯视图。
3.基于深度学习的运动目标检测
SCANet(Spatial-Channel Attention Network)网络通常通过融合激光雷达点云与图像数据实现三维目标检测，本系统采用的深度学习网络基于SCANet网络模型架构，将激光雷达点云与图像数据融合的模式改进为激光雷达点云与毫米波雷达点云数据融合的模式，可有效避免光线等环境因素对监控系统性能的影响。
本网络模型通过两个并行的特征提取网络分别提取毫米波雷达点云和三维激光雷达点云俯视图的特征图，然后将提取的特征图通过元素平均融合输入到区域候选网络生成三维候选框。其中，区域候选网络中设置的三维先验框由其中心坐标(x，y，z)和长度、宽度、高度(l，w，h)六个参数表示，x和y值由点云俯视图中以0.2m的间隔通过均匀采样获得；z值通过计算三维激光雷达距离地面的高度和物体高度确定；(l，w，h)通过对数据集中检测目标的标注边界框的大小进行聚类获得，区域候选网络通过回归三维先验框的位置偏移量生成三维候选框。将目标三维候选框(xp，yp，zp，l，w，h)分别投影到二维稀疏点云和点云俯视图的特征图中，则特征图上投影区域的左上角和右下角可以表示为(xl，left，yl，left)和(xl，right，yl，right)：
将投影区域特征图经过感兴趣区域池化层得到特征向量，通过多层次融合策略(HH Lu，X S Chen，G Y Zhang，et al.Scanet：Spatial-channel Attention Network for 3DObject Detection[C].IEEE International Conference on Acoustics，Speech andSignal Processing (ICASSP).2019：1992-1996.)融合相应的特征向量，完成目标分类以及目标边界框回归，从而实现监测区域内AGV不同负荷状态识别。
对于网络模型的训练需预先构建数据集，其中包括AGV不同负荷状态、人体运动状态以及其他具备动态性能类别的毫米波雷达点云和激光雷达点云，并且标注有相应的类别标签。在深度学习计算机上，搭建深度学习网络模型，输入数据集在线训练，通过减少模型的预测输出与有标注输入值的目标输出之间的误差不断更新网络参数，直至深度学习模型具备有效的运动目标检测和AGV状态监测功能时保存深度学习模型的结构参数。在监控系统工作过程中，深度学习计算机输入生产车间中检测到的运动目标所在子区域的毫米波雷达点云与激光雷达点云俯视图，就可以输出检测到的运动目标的类别和AGV负荷状态信息，对于人体的运动以及其他动态情况予以滤除，提高监控系统的可靠性。
本发明提供的基于毫米波雷达与三维激光雷达的柔性生产车间AGV状态监控系统硬件结构，框架图如图2所示，该系统包括柔性生产车间环境感知模块、毫米波信号处理模块、激光雷达点云分析与处理模块、深度学习计算机和显示模块，各模块之间采用有线或无线传输方式。
其中，生产车间环境感知模块包括毫米波雷达和三维激光雷达，毫米波雷达用于向生产车间发射无线电信号(毫米波波段的电磁波)，并接收反射信号；三维激光雷达以激光为工作光束，用于获取生产车间的三维点云数据。毫米波雷达和三维激光雷达安装的中心轴位于同一纵向轴线上，该模块的扫描角度范围分别为水平角度0°-360°，垂直角度0°-±60°；
毫米波信号处理模块根据毫米波回波信号进行运动目标检测，获取运动目标位置、速度参数，同时输出运动目标区域的二维稀疏点云，该模块可采用嵌入式“ARM+FPGA”的架构设计；
激光雷达点云分析与处理模块根据毫米波信号处理模块输出的运动目标的位置、速度参数，读取生产车间中检测到的运动目标所在子区域的点云数据，并将该点云数据投影到水平面上得到点云俯视图，该模块可采用嵌入式“ARM+FPGA”的架构设计；
深度学习计算机根据毫米波信号处理模块输出的点云以及激光雷达点云分析与处理模块输出的点云俯视图，通过深度学习算法进行运动目标检测和AGV负荷状态识别，并且只保留AGV的不同负荷状态进行监测显示，该模块可采用如GPU配置为NVIDIA GeForceRTX 2080 Ti的计算机。
Claims (9)
1.一种柔性生产车间AGV状态监控系统，其特征在于：包括柔性生产车间环境感知模块、激光雷达点云分析与处理模块、毫米波信号处理模块以及深度学习计算机；柔性生产车间环境感知模块包括毫米波雷达和三维激光雷达，毫米波雷达用于向生产车间发射毫米波波段无线电信号，并接收反射信号，获得运动目标的运动信号发送至毫米波信号处理模块；三维激光雷达以激光为工作光束，通过光电探测进行主动遥感，用于获取生产车间的三维点云数据并发送至激光雷达点云分析与处理模块；毫米波信号处理模块用于根据毫米波雷达的回波信号进行运动目标检测，获取运动目标位置、速度参数，同时输出运动目标区域的二维稀疏点云；激光雷达点云分析与处理模块用于根据毫米波信号处理模块输出的运动目标的位置、速度参数，获得生产车间中检测到的运动目标所在子区域的三维点云数据，并将该点云数据投影到水平面上得到点云俯视图；深度学习计算机用于根据毫米波信号处理模块输出的二维稀疏点云以及激光雷达点云分析与处理模块输出的点云俯视图，通过深度学习算法进行运动目标的类别检测和AGV负荷状态识别，所述AGV负荷状态识别包括AGV负荷类别和是否为满载状态；
所述通过深度学习算法进行运动目标的类别检测和AGV负荷状态识别，是采用SCANet网络模型架构，融合毫米波雷达与激光雷达点云数据实现AGV目标检测以及状态监控，通过两个并行的特征提取网络分别提取二维稀疏点云和点云俯视图的特征图，然后将提取的特征图输入到区域候选网络生成三维候选框，将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，并经过感兴趣区域池化层得到特征向量，通过多层次融合策略融合相应的特征向量，完成目标分类以及目标边界框回归，实现监测区域内运动目标的类别检测和AGV不同负荷状态识别。
2.根据权利要求1所述的柔性生产车间AGV状态监控系统，其特征在于：所述SCANet网络模型，其结构参数是通过预先在包括AGV不同负荷状态、人体运动状态的二维稀疏点云和运动目标所在子区域的三维点云构建的数据集上训练得到的。
3.根据权利要求1所述的柔性生产车间AGV状态监控系统，其特征在于：所述毫米波雷达和三维激光雷达安装的中心轴位于同一纵向轴线上；该系统还包括显示模块，用于将所述深度学习计算机的分析处理结果在屏幕上展示。
4.根据权利要求1所述的柔性生产车间AGV状态监控系统，其特征在于：所述柔性生产车间环境感知模块、激光雷达点云分析与处理模块、毫米波信号处理模块以及深度学习计算机之间实时通信，通信采用有线或无线传输方式。
5.一种基于权利要求1-4任一项所述的柔性生产车间AGV状态监控系统的监控方法，其特征在于，包括以下步骤：
(1)通过毫米波雷达对运动目标感知定位，得到运动目标的位置和速度，并输出运动目标区域的二维稀疏点云发送至计算机；
(2)根据毫米波信号处理模块输出的运动目标的位置、速度参数，通过三维激光雷达获得监测区域中检测到的运动目标所在子区域的点云数据，并投影到水平面上得到二维的点云俯视图，将点云俯视图发送至计算机；
(3)采用SCANet网络模型架构，通过两个并行的特征提取网络分别提取毫米波雷达所获取的二维稀疏点云和三维激光雷达所获取的点云俯视图的特征图，然后将提取的特征图输入到区域候选网络生成三维候选框，将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，并经过感兴趣区域池化层得到特征向量，通过多层次融合策略融合相应的特征向量，完成目标分类以及目标边界框回归，实现监测区域内运动目标的类别检测和AGV不同负荷状态识别。
6.根据权利要求5所述的监控方法，其特征在于：步骤(1)中所述的通过毫米波雷达对运动目标感知定位，是基于毫米波雷达通过毫米波对柔性生产车间进行实时扫描，基于被测目标的距离域时延效应，速度域的多普勒效应，结合多天线的相差，采用快速傅里叶变换、目标聚类跟踪处理，检测柔性生产车间内的运动目标，并对运动目标的位置、速度参数进行测量。
7.根据权利要求5所述的监控方法，其特征在于：步骤(3)中所述将提取的特征图输入到区域候选网络生成三维候选框，是将所述的区域候选网络中设置的三维先验框由其中心坐标(x，y，z)和长度、宽度、高度(l，w，h)六个参数表示，x和y值由点云俯视图中以固定距离的间隔通过均匀采样获得，z值通过三维激光雷达距离地面的高度和物体高度确定，(l，w，h)通过对数据集中检测目标的标注边界框的大小进行聚类获得；然后区域候选网络通过回归三维先验框的位置偏移量生成三维候选框。
8.根据权利要求5所述的监控方法，其特征在于：步骤(3)中所述的将三维候选框分别投影到二维稀疏点云和点云俯视图特征图中，是将目标三维候选框投影到二维稀疏点云和点云俯视图的特征图中：
式中，(xl，left，yl，left)和(xl，right，yl，right)分别表示目标三维候选框在特征图上投影区域的左上角和右下角坐标，xp、yp分别为目标三维候选框的x、y轴方向上的中心坐标，l、w分别为目标三维候选框的长度和宽度。
9.根据权利要求5所述的监控方法，其特征在于：所述SCANet网络模型，其结构参数是通过预先在包括AGV不同负荷状态、人体运动状态的二维稀疏点云和运动目标所在子区域的三维点云构建的数据集上训练得到的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012795.4A CN113848825B (zh) | 2021-08-31 | 2021-08-31 | 柔性生产车间agv状态监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012795.4A CN113848825B (zh) | 2021-08-31 | 2021-08-31 | 柔性生产车间agv状态监控系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113848825A CN113848825A (zh) | 2021-12-28 |
| CN113848825B true CN113848825B (zh) | 2023-04-11 |
Family
ID=78976741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111012795.4A Active CN113848825B (zh) | 2021-08-31 | 2021-08-31 | 柔性生产车间agv状态监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113848825B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN113267779A (zh) * | 2021-05-17 | 2021-08-17 | 南京师范大学 | 一种基于雷达与图像数据融合的目标检测方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107703891B (zh) * | 2017-09-04 | 2019-05-24 | 广东嘉腾机器人自动化有限公司 | 基于agv的流程控制方法、装置及计算机可读存储介质 |
| CN109387712B (zh) * | 2018-10-09 | 2021-04-13 | 厦门理工学院 | 基于状态矩阵决策树的非侵入式负荷检测与分解方法 |
| CN109613896A (zh) * | 2018-11-20 | 2019-04-12 | 上海物景智能科技有限公司 | 一种用于多个自动导航车的调度方法及装置 |
| CN109581361A (zh) * | 2018-11-22 | 2019-04-05 | 九牧厨卫股份有限公司 | 一种检测方法、检测装置、终端以及检测系统 |
| CN111487642A (zh) * | 2020-03-10 | 2020-08-04 | 国电南瑞科技股份有限公司 | 基于三维激光和双目视觉的变电站巡检机器人定位导航系统及方法 |
| CN111368775A (zh) * | 2020-03-13 | 2020-07-03 | 西北工业大学 | 一种基于局部上下文感知的复杂场景密集目标检测方法 |
| CN112036756B (zh) * | 2020-09-03 | 2023-05-30 | 济南大学 | 一种双负载多agv调度方法 |
| CN113158763B (zh) * | 2021-02-23 | 2021-12-07 | 清华大学 | 4d毫米波和激光点云多视角特征融合的三维目标检测方法 |
| CN113284163B (zh) * | 2021-05-12 | 2023-04-07 | 西安交通大学 | 基于车载激光雷达点云的三维目标自适应检测方法及系统 |
-
2021
- 2021-08-31 CN CN202111012795.4A patent/CN113848825B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN113267779A (zh) * | 2021-05-17 | 2021-08-17 | 南京师范大学 | 一种基于雷达与图像数据融合的目标检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113848825A (zh) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109444911B (zh) | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 | |
| CN112946628A (zh) | 一种基于雷达与视频融合的道路运行状态检测方法及系统 | |
| CN107632308B (zh) | 一种基于递归叠加算法的车辆前方障碍物轮廓检测方法 | |
| CN111815717B (zh) | 一种多传感器融合外参联合半自主标定方法 | |
| CN102891453B (zh) | 一种基于毫米波雷达的无人机巡检线路走廊方法与装置 | |
| CN110782465B (zh) | 一种基于激光雷达的地面分割方法、装置及存储介质 | |
| Stoyanov et al. | Comparative evaluation of range sensor accuracy for indoor mobile robotics and automated logistics applications | |
| US20230236280A1 (en) | Method and system for positioning indoor autonomous mobile robot | |
| CN115943439A (zh) | 一种基于雷视融合的多目标车辆检测及重识别方法 | |
| CN112859033B (zh) | 目标探测的方法、装置及相关设备 | |
| CN113850102B (zh) | 基于毫米波雷达辅助的车载视觉检测方法及系统 | |
| Cui et al. | 3D detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4D mmWave radars | |
| CN113267779B (zh) | 一种基于雷达与图像数据融合的目标检测方法及系统 | |
| CN113627373A (zh) | 一种基于雷视融合探测的车辆识别方法 | |
| CN108711172A (zh) | 基于细粒度分类的无人机识别与定位方法 | |
| CN116148801B (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
| CN114821526A (zh) | 基于4d毫米波雷达点云的障碍物三维边框检测方法 | |
| CN113591938A (zh) | 多特征融合交通目标识别方法、系统、计算机设备及应用 | |
| CN111123260B (zh) | 一种毫米波雷达和可见光摄像的环境物体状态识别方法 | |
| CN115690746A (zh) | 一种基于车路协同的无盲区感知方法和系统 | |
| CN113848825B (zh) | 柔性生产车间agv状态监控系统及方法 | |
| CN113790718A (zh) | 一种基于无人船的信息共享系统 | |
| CN113091733A (zh) | 一种基于毫米波雷达与imu融合的实时定位装置及方法 | |
| CN111694009A (zh) | 一种定位系统、方法以及装置 | |
| CN113947141B (zh) | 一种城市路口场景的路侧灯塔感知系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |