CN115700812A - 适用再生钢铁自动判级的移取装置识别系统、方法及介质 - Google Patents
适用再生钢铁自动判级的移取装置识别系统、方法及介质 Download PDFInfo
- Publication number
- CN115700812A CN115700812A CN202111233526.0A CN202111233526A CN115700812A CN 115700812 A CN115700812 A CN 115700812A CN 202111233526 A CN202111233526 A CN 202111233526A CN 115700812 A CN115700812 A CN 115700812A
- Authority
- CN
- China
- Prior art keywords
- data
- edge
- laser radar
- industrial camera
- recycled steel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 58
- 239000010959 steel Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 71
- 230000008569 process Effects 0.000 claims abstract description 21
- 238000012546 transfer Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 238000007405 data analysis Methods 0.000 claims description 43
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008929 regeneration Effects 0.000 description 2
- 238000011069 regeneration method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Of Solid Wastes (AREA)
Abstract
本发明提供了一种适用于再生钢铁自动判级的移取装置识别系统，包括第一识别模块、第二识别模块、第三识别模块以及第四识别模块；第一识别模块包括第一数据采集单元和第一数据处理单元；第一数据采集单元包括第一激光雷达和第一工业相机，第一数据处理单元包括第一边缘处理计算机。本发明在对图像的目标检测方面，针对此场景，将YOLOv3进行了改进，使得识别精确度有所提升；在实际的再生钢铁判级的过程中，需要很精确地判断再生钢铁的移取装置的状态，移取装置在不断地运动过程中，即要保证精度，又要保证实时。通过采用二维和三维的传感器联合计算，解决了在实际的再生钢铁自动判级的移取装置难以确定位姿和运动趋势的问题。
Description
技术领域
本发明涉及物品识别的技术领域，具体地，涉及一种适用再生钢铁自动判级的移取装置识别系统、方法及介质。
背景技术
对物品的识别主要是将不同类型的物品进行分别识别，对每款物品均建立一个样本库，各款物品独立使用一个样品库。
在公开号为CN110781973A的中国发明专利中公开了一种物品识别模型训练方法、物品识别方法、装置及电子设备，其中，该物品识别模型训练方法包括：将物品样本图片集中的所有物品图片按照设定划分规则进行分段处理，以得到每张物品图片的多张分段样本图；将每张物品图片的多张分段样本图输入待训练模型进行训练，以得到目标物品识别模型。
把物品进行多张分段样本，在物品的部分相似的情况下，模型会对不同物品，但有相似的部分的图像，增加识别的错误率。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用再生钢铁自动判级的移取装置识别系统、方法及介质。
根据本发明提供的一种适用于再生钢铁自动判级的移取装置识别系统，包括第一识别模块、第二识别模块、第三识别模块以及第四识别模块；
所述第一识别模块包括第一数据采集单元和第一数据处理单元；所述第二识别模块包括第二数据采集单元和第二数据处理单元；所述第三识别模块包括第三数据采集单元和第三数据处理单元；所述第四识别模块包括第四数据采集单元和第四数据处理单元；
所述第一数据采集单元包括第一激光雷达和第一工业相机，所述第一数据处理单元包括第一边缘处理计算机；所述第二数据采集单元包括第二激光雷达和第二工业相机，所述第二数据处理单元包括第二边缘处理计算机；所述第三数据采集单元包括第三激光雷达和第三工业相机，所述第三数据处理单元包括第三边缘处理计算机；所述第四数据采集单元包括第四激光雷达和第四工业相机，所述第四数据处理单元包括第四边缘处理计算机。
优选地，所述第一识别模块、第二识别模块、第三识别模块以及第四识别模块通过千兆交换机将处理到的信息发送到数据分析服务器，在数据分析服务器上判断是否触发再生钢铁自动判级。
优选地，所述系统还包括数据采集模块、边缘数据分析模块、数据连接枢纽以及上层数据整合计算模块；
所述数据采集模块包括第一工业相机、第二工业相机、第三工业相机以及第四工业相机和第一激光雷达、第二激光雷达、第三激光雷达以及第四激光雷达；
所述边缘数据分析模块包括第一边缘处理计算机、第二边缘处理计算机、第三边缘处理计算机以及第四边缘处理计算机；
所述数据连接枢纽为千兆交换机。
优选地，所述系统有四组数据采集模块，对再生钢铁料场呈口字状全方位分布信息采集。
本发明还包括一种适用于再生钢铁自动判级的移取装置识别方法，所述方法应用上述中的一种适用于再生钢铁自动判级的移取装置识别系统，所述方法包括如下步骤：
步骤S1：利用激光雷达和工业相机对料场信息进行实时采集，并传递给数据分析模块进行分析；
步骤S2：利用边缘计算机对采集模块采集到的数据实时进行深度学习的识别目标处理；
步骤S3：利用千兆交换机将四组数据采集模块和四组边缘数据分析模块的处理结果输送给数据分析服务器；
步骤S4：数据分析服务器将四组边缘分析模块的处理结果进行存储，并且计算目标的当前姿态、距离以及运动趋势；
步骤S5：得出是否触发再生钢铁自动判级的结论。
优选地，所述步骤S1包括如下步骤：
步骤S1.1：利用第一激光雷达和第一工业相机首先进行传感器的联合标定，在标定过程中，程序采用拟合逼近的方式进行；
步骤S1.2：将第一激光雷达和第一工业相机采集到的数据进行时间对齐，第一激光雷达的采集速率为10帧每秒，第一工业相机的采集速率为30帧每秒；
步骤S1.3：将第一工业相机采集到的数据进行刚体的旋转和平移，与第一激光雷达采集到的数据进行坐标的对齐。
优选地，所述步骤S2包括如下步骤：
步骤S2.1：对采集到的二维数据在第一边缘计算机使用深度学习对移取装置进行识别；
步骤S2.2：对采集到的三维点云数据进行了特有滤波处理，在已经采集到的数据的基础上判断需要装置状态，在即将移取的过程中升高阈值，增加判断精度，在放下钢块的过程中，降低阈值，精简数据，提高运算处理速度，对采集滤波后的三维数据在第一边缘计算机使用Kd-Network的深度学习方法进行物品检测。
优选地，所述步骤S3包括如下步骤：
步骤S3.1：每个数据分析模块在将采集到的数据进行时间对齐和进行深度学习识别需要检测目标后，将各自的识别的坐标数据转换到世界坐标系中；
步骤S3.2：将转换到世界坐标系中的再生钢铁移取装置的坐标通过千兆交换机传输到数据分析服务器上。
优选地，所述步骤S4包括如下步骤：
步骤S4.1中：将第一边缘计算处理器、第二边缘处理器、第三边缘处理器以及第四边缘处理器传输到数据分析处理器上的数据进行时间的排序；
步骤S4.2中：使用数据分析处理器的处理完的再生钢铁移取装置的坐标系数据包计算；
步骤S4.3中：数据分析处理器将处理完的坐标系使用帧差法进行运动趋势估计。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中的方法的步骤。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在对图像的目标检测方面，针对此场景，将YOLOv3的进行了改进，使得识别精确度有所提升；
2、本发明在实际的再生钢铁判级的过程中，需要很精确地判断再生钢铁的移取装置的状态，在实际作业中移取装置在不断地运动过程中的，即要保证精度，又要保证实时。通过采用二维和三维的传感器联合计算，解决了在实际的再生钢铁自动判级的移取装置难以确定位姿和运动趋势的问题；
3、本发明再生钢铁的料场中可能出现料堆高度过高导致单组传感器无法保证对再生钢铁的移取装置实时数据获取，通过四组传感器在料场呈现口字形分布，解决了料堆对再生钢铁的移取装置的遮挡影响问题；
4、本发明实时的抓取过程激光雷达和工业相机采集到的数据量很大，采取一个工业相机和一个激光为一组数据采集模块，使用一个专门的边缘计算机对采集到的数据进行实时处理，将处理结果在通过工业千兆网关传输给数据分析服务器的结构，解决的大量数据的实时计算和存储的难题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明再生钢铁自动判级的移取装置识别系统架构图；
图2为本发明再生钢铁自动判级的移取装置识别系统工作流程图。
其中，
第一激光雷达1 第三工业相机8
第一工业相机2 第三边缘计算机9
第一边缘计算机3 第四激光雷达10
第二激光雷达4 第四工业相机11
第二工业相机5 第四边缘计算机12
第二边缘计算机6 千兆交换机13
第三激光雷达7 数据分析服务器14
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供一种适用于再生钢铁自动判级的移取装置识别方法，包括识别模块，识别模块由一组数据采集单元和数据处理单元构成。第一激光雷达1和第一工业相机2组成一组数据采集单元，第一边缘处理计算机3为数据处理单元，第一激光雷达1、第一工业相机2和第一边缘处理计算机3组成一组识别模块；第二激光雷达4和第二工业相机5组成一组数据采集单元，第二边缘处理计算机6为数据处理单元，第二激光雷达4、第二工业相机5和第二边缘处理计算机6组成一组识别模块；第三激光雷达7和第三工业相机8组成一组数据采集单元，第三边缘处理计算机9为数据处理单元，第三激光雷达7、第三工业相机8和第三边缘处理计算机9组成一组识别模块；第四激光雷达10和第四工业相机11组成一组数据采集单元，第四边缘处理计算机12为数据处理单元，第四激光雷达10、第四工业相机11和第四边缘处理计算机13组成一组识别模块。
四组识别模块通过千兆交换机13将处理到的信息发送到数据分析服务器14，在数据分析服务器上判断是否触发再生钢铁自动判级。
本发明基于激光雷达和工业相机多方位探测配合基于卷积神经网络深度学习的模式识别技术实现再生钢铁自动判级的移取装置识别系统，该发明对再生钢铁级别自动实现精确且高速的检测、识别和定位。
本发明还包括一种适用于再生钢铁自动判级的移取装置识别系统，包括：数据采集模块、边缘数据分析模块、数据连接枢纽、上层数据整合计算模块。
数据采集模块包括第一工业相机1、第二工业相机5、第三工业相机8以及第四工业相机11和第一激光雷达1、第二激光雷达4、第三激光雷达7以及第四激光雷达10，整个系统有四组数据采集模块，对再生钢铁料场呈口字状全方位分布信息采集。
边缘数据分析模块包括第一边缘处理计算机3、第二边缘处理计算机6、第三边缘处理计算机9以及第四边缘处理计算机12。
数据连接枢纽为千兆工业网关13。
数据分析服务器14主要负责数据实时存储、计算和展示。
本发明再生钢铁自动判级的移取装置识别系统工作流程图如图2所示，主要包括以下5个步骤：
步骤S1：利用激光雷达工业相机对料场信息进行实时采集，并传送给数据分析模块进行分析。
步骤S1.1：利用如图1所示第一激光雷达1和第二工业相机2首先进行传感器的联合标定，在标定过程中，程序采用拟合逼近的方式进行，在逼近的过程中，我们添加了约束条件，来使最终获得的未知矩阵X满足约束条件。联合标定中，我们希望该未知矩阵满足正交矩阵这样的条件，故在拟合过程中添加正交约束。又因原程序自带的正交约束条件效果不佳，故替换了新的约束方案。
步骤S1.2：将第一激光雷达1和第一工业相机2采集到的数据进行时间对齐，第一激光雷达1的采集速率为10帧每秒，第一工业相机2的采集速率为30帧每秒，每次采集的激光雷达数据分别对应工业相机的1，4，8实时采集料场的情况。
步骤S1.3：将第一工业相机2采集到的数据进行刚体的旋转和平移，与第一激光雷达1采集到的数据进行坐标的对齐。第一激光雷达1坐标系向第一工业相机2坐标系的变换，分为两种情况，第一种情况，当需要配准时，即把图像和点云能够匹配起来时，在程序中需要把点云转换到二维，需要用到以下公式：
y’＝KR(y-T)/Z
其中y为激光雷达坐标系下的3行1列的矩阵；
y’为相机坐标系下的3行1列的矩阵；
K为3行3列的相机内参；
R为3行3列的旋转矩阵；
T为3行1列的位移向量；
Z为物体到相机光心的距离。
特别需要指出Z是扁平化的关键，只有除以Z才可以实现扁平化。第二种情况把点云从激光雷达坐标系转换到相机坐标系下，而不需要点云扁平化，需要用到以下公式:
y’＝KR(y-T)
因为不需要扁平化，因此此情况下不需要除Z。点云的姿态估计中仅需要转换到同一坐标系下，而不需要扁平化，因此需要第二种情况下的转换公式。使用Qt打开需要坐标转换的文件，将reader.read的路径改为需要坐标变换的点云的路径，更改pcl::io::savePCDFileASCII下的路径为生成后文件的路径，重新构建后运行，运行后坐标转换完成。
步骤S2：利用边缘计算机对采集模块采集到的数据实时进行深度学习的识别目标处理。
步骤S2.1：对采集到的二维数据在第一边缘计算机3使用深度学习对移取装置进行识别。
在这一步中，本着抑制梯度消失、提高AP和mAP的目的，本发明将YOLOv3中的Darknet-53进行了改进。将YOLOv3的densenet用VovNetV2中改进的OSA模块替换，最后加入eSE模块。本发明将改进后的模型命名为eSE-YOLOv3，如表1所示。
表1改进后Darknet-53的结构示意表
| Layer | Type | Filters | Size | Output |
| 63 | convolutional | 512 | 1x1 | 8x8 |
| 64 | convolutional | 512 | 3x3 | 8x8 |
| 65 | convolutional | 512 | 3x3 | |
| 66 | convolutional | 512 | 3x3 | |
| 67 | convolutional | 512 | 3x3 | |
| a68 | convolutional | 512 | 3x3 | |
| 69 | concat | 2560 | 8x8 | |
| 70 | convolutional | 1024 | 1x1 | 8x8 |
| 71 | route | 8x8 | ||
| 72 | eSE | 8x8 |
步骤S2.2：对采集到的三维点云数据进行了特有滤波处理，为了克服传统滤波算法仅设置单一滤波阈值，容易发生真实环境中的装置的过度滤波或者不能捕捉的现象，针对钢铁厂的实际情况对现有的场景设计了基于随机采样一致性的滤波算法的适应性改造。
在已经采集到的数据的基础上判断需要装置状态，在即将移取的过程中升高阈值，增加判断精度，在放下钢块的过程中，降低阈值，精简数据，提高运算处理速度。
对采集滤波后的三维数据在第一边缘计算机3使用Kd-Network(ICCV 2017)的深度学习方法进行物品检测。
步骤S3：利用如图1所示工业网关13将四组数据采集模块和四组边缘数据分析模块将处理的结果输送给数据分析服务器14。
步骤S3.1：每个数据分析模块在将采集到的数据进行时间对齐后，进行深度学习识别需要检测目标后，将各自的识别的坐标数据转换到世界坐标系中。
步骤S3.2：将转换到世界坐标系中的再生钢铁移取装置的坐标通过千兆交换机13传输到数据分析服务器14上。
步骤4：数据分析服务器将四组边缘分析模块的处理结果进行存储，并且计算目标的当前姿态、距离以及运动趋势。
步骤S4.1中：将第一边缘计算处理器3、第二边缘计算处理器6、第三边缘计算处理器9以及第四边缘计算处理器12传输到数据分析处理器14上的数据进行时间的排序。
步骤S4.2中：使用数据分析处理器14的处理完的再生钢铁移取装置的坐标系数据包计算
步骤S4.3中：数据分析处理器14将处理完的坐标系使用帧差法进行运动趋势估计。
步骤5：得出是否触发再生钢铁自动判级的结论。
本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述中的方法的步骤。
本发明在二维三维联合标定过程中由于各种原因，获得的原旋转矩阵(即原旋转矩阵，或者说是原来的未知矩阵X)中都存在一定的噪声误差，设原旋转矩阵为R0，实际所得到的旋转矩阵为R1,误差噪声为N，旋转矩阵是正交矩阵：
R1＝R0+N
R*Rt＝I
这里I为3*3的单位矩阵，R为旋转矩阵，考虑上述2式，问题转化为寻找旋转矩阵R，使其在该矩阵正交的条件下与R1最接近，即：
||R-R1||→min
R*Rt＝I(约束条件)
使用拉格朗日乘子法对上式进行求解，得
用该约束优化替换原约束条件，来使最终获得的未知矩阵X满足约束条件。联合标定中，我们希望该未知矩阵满足正交矩阵这样的条件，故在拟合过程中添加正交约束。又因原程序自带的正交约束条件效果不佳，故替换了新的约束方案。
在对图像的目标检测方面，针对此场景，将YOLOv3的进行了改进，使得识别精确度有所提升。在实际的再生钢铁判级的过程中，需要很精确地判断再生钢铁的移取装置的状态，在实际作业中移取装置在不断地运动过程中的，即要保证精度，又要保证实时。通过采用二维和三维的传感器联合计算，解决了在实际的再生钢铁自动判级的移取装置难以确定位姿和运动趋势的问题。再生钢铁的料场中可能出现料堆高度过高导致单组传感器无法保证对再生钢铁的移取装置实时数据获取，通过四组传感器在料场呈现口字形分布，解决了料堆对再生钢铁的移取装置的遮挡影响问题。实时的抓取过程激光雷达和工业相机采集到的数据量很大，采取一个工业相机和一个激光为一组数据采集模块，使用一个专门的边缘计算机对采集到的数据进行实时处理，将处理结果在通过工业千兆网关传输给数据分析服务器的结构，解决的大量数据的实时计算和存储的难题。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种适用于再生钢铁自动判级的移取装置识别系统，其特征在于，包括第一识别模块、第二识别模块、第三识别模块以及第四识别模块；
所述第一识别模块包括第一数据采集单元和第一数据处理单元；所述第二识别模块包括第二数据采集单元和第二数据处理单元；所述第三识别模块包括第三数据采集单元和第三数据处理单元；所述第四识别模块包括第四数据采集单元和第四数据处理单元；
所述第一数据采集单元包括第一激光雷达(1)和第一工业相机(2)，所述第一数据处理单元包括第一边缘处理计算机；所述第二数据采集单元包括第二激光雷达(4)和第二工业相机(5)，所述第二数据处理单元包括第二边缘处理计算机；所述第三数据采集单元包括第三激光雷达(7)和第三工业相机(8)，所述第三数据处理单元包括第三边缘处理计算机；所述第四数据采集单元包括第四激光雷达(10)和第四工业相机(11)，所述第四数据处理单元包括第四边缘处理计算机。
2.根据权利要求1所述的一种适用于再生钢铁自动判级的移取装置识别系统，其特征在于，所述第一识别模块、第二识别模块、第三识别模块以及第四识别模块通过千兆交换机(13)将处理到的信息发送到数据分析服务器(14)，在数据分析服务器(14)上判断是否触发再生钢铁自动判级。
3.根据权利要求1所述的一种适用于再生钢铁自动判级的移取装置识别系统，其特征在于，所述系统还包括数据采集模块、边缘数据分析模块、数据连接枢纽以及上层数据整合计算模块；
所述数据采集模块包括第一工业相机(2)、第二工业相机(5)、第三工业相机(8)以及第四工业相机(11)和第一激光雷达(1)、第二激光雷达(4)、第三激光雷达(7)以及第四激光雷达(10)；
所述边缘数据分析模块包括第一边缘处理计算机、第二边缘处理计算机、第三边缘处理计算机以及第四边缘处理计算机；
所述数据连接枢纽为千兆交换机(13)。
4.根据权利要求3所述的一种适用于再生钢铁自动判级的移取装置识别系统，其特征在于，所述系统有四组数据采集模块，对再生钢铁料场呈口字状全方位分布信息采集。
5.一种适用于再生钢铁自动判级的移取装置识别方法，其特征在于，所述方法应用如权利要求1-4任一项所述的一种适用于再生钢铁自动判级的移取装置识别系统，所述方法包括如下步骤：
步骤S1：利用激光雷达和工业相机对料场信息进行实时采集，并传递给数据分析模块进行分析；
步骤S2：利用边缘计算机对采集模块采集到的数据实时进行深度学习的识别目标处理；
步骤S3：利用千兆交换机(13)将四组数据采集模块和四组边缘数据分析模块的处理结果输送给数据分析服务器(14)；
步骤S4：数据分析服务器(14)将四组边缘分析模块的处理结果进行存储，并且计算目标的当前姿态、距离以及运动趋势；
步骤S5：得出是否触发再生钢铁自动判级的结论。
6.根据权利要求5所述的一种适用于再生钢铁自动判级的移取装置识别方法，其特征在于，所述步骤S1包括如下步骤：
步骤S1.1：利用第一激光雷达(1)和第一工业相机(2)首先进行传感器的联合标定，在标定过程中，程序采用拟合逼近的方式进行；
步骤S1.2：将第一激光雷达(1)和第一工业相机(2)采集到的数据进行时间对齐，第一激光雷达(1)的采集速率为10帧每秒，第一工业相机(2)的采集速率为30帧每秒；
步骤S1.3：将第一工业相机(2)采集到的数据进行刚体的旋转和平移，与第一激光雷达(1)采集到的数据进行坐标的对齐。
7.根据权利要求5所述的一种适用于再生钢铁自动判级的移取装置识别方法，其特征在于，所述步骤S2包括如下步骤：
步骤S2.1：对采集到的二维数据在第一边缘计算机(3)使用深度学习对移取装置进行识别；
步骤S2.2：对采集到的三维点云数据进行了特有滤波处理，在已经采集到的数据的基础上判断需要装置状态，在即将移取的过程中升高阈值，增加判断精度，在放下钢块的过程中，降低阈值，精简数据，提高运算处理速度，对采集滤波后的三维数据在第一边缘计算机(3)使用Kd-Network的深度学习方法进行物品检测。
8.根据权利要求5所述的一种适用于再生钢铁自动判级的移取装置识别方法，其特征在于，所述步骤S3包括如下步骤：
步骤S3.1：每个数据分析模块在将采集到的数据进行时间对齐和进行深度学习识别需要检测目标后，将各自的识别的坐标数据转换到世界坐标系中；
步骤S3.2：将转换到世界坐标系中的再生钢铁移取装置的坐标通过千兆交换机(13)传输到数据分析服务器(14)上。
9.根据权利要求5所述的一种适用于再生钢铁自动判级的移取装置识别方法，其特征在于，所述步骤S4包括如下步骤：
步骤S4.1中：将第一边缘计算处理器、第二边缘处理器、第三边缘处理器以及第四边缘处理器传输到数据分析处理器上的数据进行时间的排序；
步骤S4.2中：使用数据分析处理器的处理完的再生钢铁移取装置的坐标系数据包计算；
步骤S4.3中：数据分析处理器将处理完的坐标系使用帧差法进行运动趋势估计。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求5-9中任一项所述的方法的步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110837360 | 2021-07-23 | ||
| CN2021108373607 | 2021-07-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115700812A true CN115700812A (zh) | 2023-02-07 |
| CN115700812B CN115700812B (zh) | 2024-09-27 |
Family
ID=85121063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111233526.0A Active CN115700812B (zh) | 2021-07-23 | 2021-10-22 | 适用再生钢铁自动判级的移取装置识别系统、方法及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115700812B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| KR102029850B1 (ko) * | 2019-03-28 | 2019-10-08 | 세종대학교 산학협력단 | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 |
| CN110719442A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市镭神智能系统有限公司 | 一种安防监控系统 |
| CN112053585A (zh) * | 2020-09-11 | 2020-12-08 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的无需停车厅的智能停车方法 |
| CN112114318A (zh) * | 2020-09-11 | 2020-12-22 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的车辆位置确认方法及装置 |
| CN112906777A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 目标检测方法、装置、电子设备及存储介质 |
-
2021
- 2021-10-22 CN CN202111233526.0A patent/CN115700812B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104123007A (zh) * | 2014-07-29 | 2014-10-29 | 电子科技大学 | 一种多维加权的3d动态手势识别方法 |
| KR102029850B1 (ko) * | 2019-03-28 | 2019-10-08 | 세종대학교 산학협력단 | 카메라와 라이다 센서를 이용한 객체 검출 장치 및 그 방법 |
| CN110719442A (zh) * | 2019-10-12 | 2020-01-21 | 深圳市镭神智能系统有限公司 | 一种安防监控系统 |
| CN112053585A (zh) * | 2020-09-11 | 2020-12-08 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的无需停车厅的智能停车方法 |
| CN112114318A (zh) * | 2020-09-11 | 2020-12-22 | 江苏小白兔智造科技有限公司 | 一种基于激光雷达的车辆位置确认方法及装置 |
| CN112906777A (zh) * | 2021-02-05 | 2021-06-04 | 北京邮电大学 | 目标检测方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115700812B (zh) | 2024-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN115049700A (zh) | 一种目标检测方法及装置 | |
| CN104751146B (zh) | 一种基于3d点云图像的室内人体检测方法 | |
| CN108009494A (zh) | 一种基于无人机的道路交叉口车辆跟踪方法 | |
| CN110930411B (zh) | 一种基于深度相机的人体分割方法及系统 | |
| CN110097050A (zh) | 行人检测方法、装置、计算机设备及存储介质 | |
| Li et al. | Aruco marker detection under occlusion using convolutional neural network | |
| CN105457908A (zh) | 基于单目ccd的小尺寸玻璃面板的分拣快速定位方法及系统 | |
| Li et al. | A mobile robot visual SLAM system with enhanced semantics segmentation | |
| CN113724297A (zh) | 基于事件相机的跟踪方法 | |
| CN106228570A (zh) | 一种真值数据确定方法和装置 | |
| CN111160362B (zh) | 一种fast特征均匀化提取与帧间特征误匹配去除方法 | |
| CN110634160B (zh) | 二维图形中目标三维关键点提取模型构建及姿态识别方法 | |
| CN116309882A (zh) | 一种面向无人叉车应用的托盘检测和定位方法及系统 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN114495109A (zh) | 基于目标与场景文字匹配的抓取机器人及抓取方法和系统 | |
| CN107990825B (zh) | 基于先验数据校正的高精度位置测量装置与方法 | |
| Cavestany et al. | Improved 3D sparse maps for high-performance SFM with low-cost omnidirectional robots | |
| CN107563282A (zh) | 用于无人驾驶的识别方法、电子设备、存储介质以及系统 | |
| CN111986233A (zh) | 基于特征自学习的大场景极小目标遥感视频跟踪方法 | |
| CN115700812B (zh) | 适用再生钢铁自动判级的移取装置识别系统、方法及介质 | |
| Huang et al. | A coarse-to-fine LiDar-based SLAM with dynamic object removal in dense urban areas | |
| Yang et al. | Method for building recognition from FLIR images | |
| Cai et al. | Unfeatured weld positioning technology based on neural network and machine vision | |
| Shilin et al. | Application of a Depth Camera for Constructing Complex Three-Dimensional Models in Multiple Scanning Complexes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |