CN116922448B - 用于高铁白车身转运机器人的环境感知方法、装置及系统 - Google Patents

用于高铁白车身转运机器人的环境感知方法、装置及系统 Download PDF

Info

Publication number
CN116922448B
CN116922448B CN202311139718.4A CN202311139718A CN116922448B CN 116922448 B CN116922448 B CN 116922448B CN 202311139718 A CN202311139718 A CN 202311139718A CN 116922448 B CN116922448 B CN 116922448B
Authority
CN
China
Prior art keywords
obstacle
coordinate system
track line
point cloud
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311139718.4A
Other languages
English (en)
Other versions
CN116922448A (zh
Inventor
秦晓辉
王哲文
谢国涛
秦洪懋
徐彪
秦兆博
王晓伟
丁荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Wuxi Institute Of Intelligent Control Hunan University
Original Assignee
Wuxi Institute Of Intelligent Control Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Institute Of Intelligent Control Hunan University filed Critical Wuxi Institute Of Intelligent Control Hunan University
Priority to CN202311139718.4A priority Critical patent/CN116922448B/zh
Publication of CN116922448A publication Critical patent/CN116922448A/zh
Application granted granted Critical
Publication of CN116922448B publication Critical patent/CN116922448B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及工业机器人技术领域，具体公开了一种用于高铁白车身转运机器人的环境感知方法、装置及系统，包括：获取转运机器人行驶过程中实时点云数据和实时图像数据；根据实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息；将实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，轨道线识别模型为根据障碍物图像训练集以及所有障碍物信息输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；根据轨道线区域中心点进行拟合确定轨道线坐标信息。本发明提供的用于高铁白车身转运机器人的环境感知方法能够实现高铁白车身转运过程中的环境感知。

Description

用于高铁白车身转运机器人的环境感知方法、装置及系统
技术领域
本发明涉及工业机器人技术领域，尤其涉及一种用于高铁白车身转运机器人的环境感知方法、用于高铁白车身转运机器人的环境感知装置以及用于高铁白车身转运机器人的环境感知系统。
背景技术
智能化装备通常大规模应用于场景单一、工况简单的生产作业中，存在智能化程度低、无人化率低、故障率高等问题，故在作业效率和安全性等方面仍存在较大提升空间。特别在高铁白车身转运设备方面，目前该类型设备的智能化作业流程较为繁琐，仍需人工重复操作，且在作业过程中需要多名安全员确保白车身的安全通过性，对工作人员的数量、体力及专业性要求较高。现有转运设备在转运高铁白车身时，需要将转运设备上的轨道与迁车台上的轨道准确对齐，以保证白车身能安全转运到下一工位，但现有设备没有轨道自动对齐功能，需要安全员通过肉眼观察迁车台轨道与工位轨道是否对齐。同时，现有转运设备作业过程中两侧均需要安全员观察设备周边环境以保证作业安全性，易出现视野盲区。上述作业流程均导致现有转运设备作业效率和安全性较低的同时故障率较高。
目前，针对大尺寸的高铁车厢，在不同作业流程间转运车身时工作量和工作难度较大，目前主要以机器辅助人工作业模式，尚未完全实现全自动化作业。这种作业模式存在工人位置随机性大、转运轨道与工位轨道对接精度低等缺点，而且人工作业存在操作流程复杂、转运流程效率较低、转运设备周围环境安全性不能有效保证，作业成本高等问题。
因此，如何能够在高铁白车身等大型工件的转运过程中进行环境感知成为本领域技术人员亟待解决的技术问题。
发明内容
本发明提供了一种用于高铁白车身转运机器人的环境感知方法、用于高铁白车身转运机器人的环境感知装置以及用于高铁白车身转运机器人的环境感知系统，解决相关技术中存在的无法对高铁白车身等转运进行环境感知的问题。
作为本发明的第一个方面，提供一种用于高铁白车身转运机器人的环境感知方法，其中，包括：
获取转运机器人行驶过程中实时点云数据和实时图像数据；
根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
进一步地，根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：
将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据；
解析同步后点云数据，并确定雷达坐标系下点云中障碍物点坐标和相机坐标系下图像中障碍物点坐标；
根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据；
将机器人坐标系下的图像数据输入至障碍物识别模型，以获得图像中障碍物识别信息，其中所述障碍物图像识别信息包括障碍物在图像中的坐标以及障碍物在图像中的识别类别，所述障碍物识别模型为根据标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得，所述标注后的障碍物图像训练集包括围绕机器人周围的障碍物图像以及标注在障碍物图像上的障碍物ID信息和障碍物尺寸信息；
将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息。
进一步地，所述实时点云数据包括第一实时点云数据和第二实时点云数据，所述实时图像数据包括第一实时图像数据和第二实时图像数据，将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据，包括：
将实时点云数据和实时图像数据分别进行解析，获得点云第一帧数据时间戳和图像第一帧数据时间戳；
根据第一实时点云数据中的点云第一帧数据时间戳与第二实时点云数据中的点云第一帧数据时间戳的大小关系确定点云新时间戳；
根据所述点云新时间戳同步第一实时图像数据中的图像第一帧数据时间戳和第二实时图像数据的图像第一帧数据时间戳以确定图像新时间戳。
进一步地，根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据，包括：
获取转运机器人上的雷达安装位置，其中所述转运机器人的两侧分别各安装一个雷达；
根据雷达安装位置对两个雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，确定雷达坐标系到机器人坐标系的转换关系；
对转运机器人上的相机内部参数进行标定，其中所述转运机器人的两侧分别各安装一个相机；
对位于同侧的相机与雷达分别进行标定确定相机坐标系与雷达坐标系的转换关系；
根据雷达坐标系到机器人坐标系的转换关系以及相机坐标系与雷达坐标系的转换关系确定相机坐标系到机器人坐标系的转换关系；
根据雷达坐标系到机器人坐标系的转换关系将雷达坐标系下点云中障碍物点坐标投影到机器人坐标系下，确定雷达坐标系下点云中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的点云数据；
根据相机坐标系到机器人坐标系的转换关系将相机坐标系下图像中障碍物点坐标投影到机器人坐标系下，确定相机坐标系下图像中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的图像数据。
进一步地，将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：
判断机器人坐标系下两侧的点云数据中障碍物点的横纵坐标的差值是否均同时满足预设条件；
若满足，则判定两侧的两个点云数据中障碍物点为重合点，并将该参与比较的两个点云数据中障碍物点的坐标取平均值后确定为融合后点云数据障碍物点坐标值；
若不满足，则判定两侧的两个点云数据中障碍物点为非重合点，并分别保存该两个点云数据障碍物点的坐标值；
根据距离最近邻匹配算法将障碍物图像识别信息与完成融合处理后的点云数据障碍物点坐标值进行匹配，并为匹配成功的点云数据障碍物点添加障碍物类别信息。
进一步地，将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得，包括：
获取障碍物图像训练集；
将带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练，获得轨道线识别模型，其中，所述轨道线分割任务包括图像预处理和预测三值分割，轨道线嵌合任务包括连通域分析和提取区域中心；
将实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点。
进一步地，所述轨道识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得，包括：
针对障碍物图像训练集中的每张图片所标注的障碍物信息，对障碍物图像训练集进行障碍物去除处理，以获得包括轨道线在内的轨道线图像集；
对所述轨道线图像集进行预处理，以获得带有轨道线标注的图像训练集；
将带有轨道线标注的图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型进行训练，
其中所述神经网络模型包括空间编码神经网络和解码神经网络，所述空间编码神经网络用于基于所述轨道线分割任务和轨道线嵌合任务生成并输出预测三值信息，所述预测三值信息包括背景、轨道线和边界信息，所述解码神经网络用于监督所述空间编码神经网络；
根据预设损失函数对所述预测三值信息与实际三值信息之间的误差进行迭代优化，获得轨道线识别模型。
进一步地，根据所述轨道线区域中心点进行拟合确定轨道线坐标信息，包括：
根据滤波算法对轨道线区域中心点进行连接以及平滑处理，获得平滑轨道线；
对平滑轨道线进行后处理，获得完整轨道线，其中所述后处理包括连接距离小于预设距离阈值的轨道线以及删除长度小于预设长度阈值的轨道线区域中心点。
作为本发明的另一个方面，提供一种用于高铁白车身转运机器人的环境感知装置，用于实现前文所述的用于高铁白车身转运机器人的环境感知方法，其中，包括：
获取模块，用于获取转运机器人行驶过程中实时点云数据和实时图像数据；
确定模块，用于根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
预测模块，用于将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
拟合模块，用于根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
作为本发明的另一个方面，提供一种用于高铁白车身转运机器人的环境感知系统，其中，包括：转运机器人、设置在转运机器人两侧的图像采集装置和雷达装置以及前文所述的用于高铁白车身转运机器人的环境感知装置，所述图像采集装置和雷达装置均与所述用于高铁白车身转运机器人的环境感知装置通信连接，
所述图像采集装置用于采集转运机器人行驶过程中的实时图像数据，
所述雷达装置用于在转运机器人行驶过程中进行实时扫描以获得实时点云数据，
所述用于高铁白车身转运机器人的环境感知装置用于根据实时点云数据和实时图像数据确定转运机器人的行驶起点至行驶终点的所有障碍物信息，以及对轨道线区域中心点进行预测以确定轨道线坐标信息。
本发明提供的用于高铁白车身转运机器人的环境感知方法，通过机器人左右侧激光雷达实时监测机器人周围物体分布情况，并根据实时图像进行障碍物识别以获得障碍物信息，从而对可能存在的障碍物进行预警和规避，避免机器人在作业过程中出现撞人、撞物等生产安全隐患。当识别得到障碍物信息后，可以基于识别得到的障碍物信息以及障碍物图像训练集训练获得轨道识别模型，从而能够对轨道线进行识别，可保证迁车台上的轨道线与加工工位上的轨道线准确对接，实现高铁白车身在加工过程中的安全高效转运。因此，本发明提供的用于高铁白车身转运机器人的环境感知方法，在保证转运机器人成本经济性的同时，能够提高转运机器人在复杂工况下作业的灵活性与精确性，进而提升作业效率、作业可靠性和作业安全性。
附图说明
附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。
图1为本发明提供的高铁白车身转运机器人的环境感知系统的结构框图。
图2为本发明提供的用于高铁白车身转运机器人的环境感知装置的结构框图。
图3为本发明提供的用于高铁白车身转运机器人的环境感知方法的流程图。
图4为本发明提供的确定转运机器人的行驶起点至行驶终点的所有障碍物信息的方法流程图。
图5为本发明提供的确定机器人坐标系下的点云数据以及图像数据的方法流程图。
图6为本发明提供的轨道线模型进行轨道线预测的流程图。
图7为本发明提供的轨道线拟合的流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。下面将参考附图并结合实施例来详细说明本发明。
为了使本领域技术人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包括，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
针对现有技术中由于环境感知缺陷而导致转运效率低等问题，提出一种用于高铁白车身转运机器人的环境感知型。
具体地，如图1所示，用于高铁白车身转运机器人的环境感知系统10，包括：转运机器人100、设置在转运机器人100两侧的图像采集装置110和雷达装置120以及下文所描述的用于高铁白车身转运机器人的环境感知装置200，所述图像采集装置110和雷达装置120均与所述用于高铁白车身转运机器人的环境感知装置200通信连接，
所述图像采集装置110用于采集转运机器人行驶过程中的实时图像数据，
所述雷达装置120用于在转运机器人行驶过程中进行实时扫描以获得实时点云数据，
所述用于高铁白车身转运机器人的环境感知装置200用于根据实时点云数据和实时图像数据确定转运机器人的形式起点至行驶终点的所有障碍物信息，以及对轨道线区域中心点进行预测以确定轨道线坐标信息。
具体地，本发明实施例中，所述雷达装置120具体可以为激光雷达，图像采集装置110具体可以为单目相机等实现。
在本发明实施例中，高铁白车身的转运机器人100的本体包括全向运动底盘和推拉系统等，转运机器人通过激光雷达、单目相机等传感器实现其在整个转运过程中的全自动运行。转运机器人100的左右两侧安装激光雷达和相机，例如以转运机器人的前进方向为例，则转运机器人的左侧安装有左侧激光雷达和左侧相机，右侧安装有右侧激光雷达和右侧相机。左侧激光雷达、右侧激光雷达在下文简称为左、右激光雷达，左侧相机、右侧相机在下文简称为左、右相机。而且，“左”可以理解为激光雷达或相机安装在转运机器人本体的左侧，“右”可以理解为激光雷达或相机安装在转运机器人本体的右侧。
其中，用于高铁白车身转运机器人的环境感知装置200能够接收转运机器人上的雷达装置扫描获得的实时点云数据以及图像采集装置采集的实时图像数据，并根据实时点云数据和实时图像数据确定转运机器人的行驶起点至行驶终点的所有障碍物信息。
另外，还能够根据实时图像数据标注后输入包含轨道线分割和轨道线嵌合的双任务的神经网络，通过神经网络预测得到轨道线区域中心点后，经过曲线拟合算法和精细化处理得到最终的轨道线坐标。
因此，本发明提供的用于高铁白车身转运机器人的环境感知系统，通过对转运机器人的行驶起点至行驶终点之间的障碍物进行感知，可有效规避转运过程中可能出现的对转运作业存在影响的障碍物，并准确预测障碍物类别。同时，还能够准确识别工位上的轨道线以保证迁车台与作业工位间的对接精度。进一步地，转运机器人可在调度系统中实时更新其相对位置以保证多台机器人的安全、协调、高效运行。
作为用于高铁白车身转运机器人的环境感知装置200的一种实施方式，用于实现下文所描述的用于高铁白车身转运机器人的环境感知方法，如图2所示，包括：
获取模块210，用于获取转运机器人行驶过程中实时点云数据和实时图像数据；
确定模块220，用于根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
预测模块230，用于将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
拟合模块240，用于根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
在本发明实施例中，由于本发明中通过转运机器人左右侧激光雷达实时监测机器人周围物体分布情况，并将该情况实时传输至高铁白车身转运机器人的环境感知装置进行计算分析，从而对可能存在的障碍物进行预警和规避，避免机器人在作业过程中出现撞人、撞物等生产安全隐患。另外，在本发明中，在确定所有障碍物信息后，通过进行轨道线识别可保证迁车台上的轨道线与加工工位上的轨道线准确对接，实现高铁白车身在加工过程中的安全高效转运。因此，本发明在保证转运机器人成本经济性的同时，能够提高转运机器人在复杂工况下作业的灵活性与精确性，进而提升作业效率、作业可靠性和作业安全性。
作为本发明的另一实施例，提供一种用于高铁白车身转运机器人的环境感知方法，图3是根据本发明实施例提供的高铁白车身转运机器人的环境感知方法的流程图，如图3所示，包括：
S110、获取转运机器人行驶过程中实时点云数据和实时图像数据；
在本发明实施例中，获取转运机器人行驶过程中左、右激光雷达的实时点云数据，以及左、右相机的实时图像数据。
S120、根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
在本发明实施例中，如图4所示，具体可以包括：
S121、将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据；
在本发明实施例中，应当理解的是，所述实时点云数据包括第一实时点云数据和第二实时点云数据，所述实时图像数据包括第一实时图像数据和第二实时图像数据，将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据，包括：
将实时点云数据和实时图像数据分别进行解析，获得点云第一帧数据时间戳和图像第一帧数据时间戳；
根据第一实时点云数据中的点云第一帧数据时间戳与第二实时点云数据中的点云第一帧数据时间戳的大小关系确定点云新时间戳；
根据所述点云新时间戳同步第一实时图像数据中的图像第一帧数据时间戳和第二实时图像数据的图像第一帧数据时间戳以确定图像新时间戳。
进一步具体地，（1）将左、右激光雷达采集到的实时点云数据进行解析，得到第一实时点云数据中第一帧数据时间戳/>和第二实时点云数据/>中第一帧数据时间戳，将左、右相机采集到的第一实时图像数据/>进行解析得到第一实时图像数据中的图像第一帧数据时间戳/>，以及将采集到的第二实时图像数据集/>进行解析得到第二实时图像数据中的图像第一帧数据时间戳/>；
（2）判断第一实时点云数据中第一帧数据时间戳/>是否小于第二实时点云数据/>中第一帧数据时间戳/>，若是，则进入步骤（3），否则进入步骤（4）；
（3）判断时间戳与/>的差值/>是否大于激光雷达扫描时间间隔，若是，则将时间戳/>前的/>激光点云数据逐帧删除，直至所得到的新的点云/>中的第一帧时间戳/>与/>的差值/>为正值且小于激光雷达扫描时间间隔，再将前述删除的激光雷达点云投影到时间戳为/>的激光点云帧，与该帧已有的点云共同构成新的时间戳为/>的激光点云帧；
（4）判断和/>的差值/>是否大于激光雷达扫描时间间隔，若是，则将时刻前的/>激光点云数据逐帧删除，直至所得到的新的点云/>中的第一帧时间戳/>与/>的差值/>为正值且小于激光雷达扫描时间间隔，再将前述删除的激光点云数据投影到时间戳为/>的激光点云帧，与该帧已有的点云数据共同构成新的时间戳为/>的激光点云帧；
（5）将步骤（3）或（4）中获得的激光点云新时间戳以点云新时间戳表示，将相机数据输出频率调整为20Hz，并根据上述两步骤中的方法同步两相机时间戳并得到图像新时间戳/>。以点云新时间戳/>为基准同步图像新时间戳，一般激光雷达数据输出频率为10Hz，可采用硬同步触发的方法同步激光雷达和相机第一帧数据的时间戳，之后对每帧激光雷达时间戳与相机时间戳进行对比，若其差值大于0.02s，则删除该帧相机数据，否则保留该帧相机数据。至此，获得图像的新时间戳/>。
本领域技术人员应当理解的是，在上述时间同步中，还可以采用时间戳顺序插值方法、基于最小二乘的时间戳差值优化方法等方法实现，具体本发明并不做限定，可以根据需要进行选择。
S122、解析同步后点云数据，并确定雷达坐标系下点云中障碍物点坐标和相机坐标系下图像中障碍物点坐标；
在本发明实施例中，基于点云标准数据类型解析步骤S121中时间同步后的同步后点云数据，输出左、右两激光雷达坐标系下点云、/>中的障碍物点坐标/>（/>，/>）、/>（/>，/>）和左、右两相机坐标系下图像/>、/>中的点坐标/>（/>，/>，/>）、（/>，/>，/>）。
S123、根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据；
在本发明实施例中，如图5所示，具体可以包括：
S123a、获取转运机器人上的雷达安装位置，其中所述转运机器人的两侧分别各安装一个雷达；
应当理解的是，如前文所述，在本发明实施例的转运机器人的左右两侧分别安装一个激光雷达。
S123b、根据雷达安装位置对两个雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，确定雷达坐标系到机器人坐标系的转换关系；
在本发明实施例中，根据左、右激光雷达的安装位置，分别对左、右激光雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，得到左、右激光雷达坐标系分别到机器人坐标系/>的旋转转换关系/>、/>和平移转换关系/>、/>。
S123c、对转运机器人上的相机内部参数进行标定，其中所述转运机器人的两侧分别各安装一个相机；
在本发明实施例中，根据相机内参标定方式（例如线性标定法、非线性标定法等等）分别标定左、右相机的内部参数。
S123d、对位于同侧的相机与雷达分别进行标定确定相机坐标系与雷达坐标系的转换关系；
通过标定左侧相机与左侧激光雷达的旋转、平移转换关系、/>和右侧相机与右侧激光雷达的旋转、平移转换关系/>、/>，进而得到左、右相机坐标系到机器人坐标系/>的旋转和平移关系/>、/>和/>、/>。
下面详细描述本发明实施例中确定相机坐标系与雷达坐标系的转换关系的具体过程。
（1）分别基于左、右激光雷达进行以转运机器人本体中心为原点的室外定位，估计左、右激光雷达相对机器人本体中心的位姿变换；
（2）利用固定在转运机器人本体中心的全站仪测量路径散点轨迹作为机器人行驶的真实轨迹，再将前、后激光雷达的定位结果与机器人行驶的真实轨迹进行基于定位评估工具的绝对误差评估，利用该评估值对（1）中的位姿变换进行误差分析和纠偏；
（3）将（2）输出的纠偏后的位姿变换作为前、后激光雷达标定参数，即、/>和/>、/>，对前、后激光雷达坐标系和机器人坐标系/>进行基于单线激光雷达定位结果的标定；
（4）在左激光雷达和左相机视野重叠区域放置2-3个障碍物，将激光点云投影到相机坐标系，通过手动调节将上述障碍物均对齐后输出标定结果、/>。重复上述步骤输出右激光雷达和右相机的标定结果/>、/>。进而得到左、右相机坐标系到机器人坐标系/>的标定结果/>、/>和/>、/>：
，
= />，
，
= />。
上述步骤中确定相机坐标系与雷达坐标系的转换关系还可以采用手眼标定法、多激光雷达点云、多图像拼接对齐方法等方法实现，具体本领域技术人员可以根据需要进行选择，此处不作限定。
S123e、根据雷达坐标系到机器人坐标系的转换关系以及相机坐标系与雷达坐标系的转换关系确定相机坐标系到机器人坐标系的转换关系；
S123f、根据雷达坐标系到机器人坐标系的转换关系将雷达坐标系下点云中障碍物点坐标投影到机器人坐标系下，确定雷达坐标系下点云中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的点云数据；
S123g、根据相机坐标系到机器人坐标系的转换关系将相机坐标系下图像中障碍物点坐标投影到机器人坐标系下，确定相机坐标系下图像中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的图像数据。
应当理解的是，根据据雷达坐标系到机器人坐标系的转换关系、/>、和/>，将/>（/>，/>）和/>（/>，/>）投影到机器人坐标系/>下，得到左、右激光雷达点云中障碍物点在坐标系/>下的坐标/>、/>，进而得到机器人坐标系/>下的左、右激光雷达点云/>、/>。根据相机坐标系到机器人坐标系的转换关系/>、、/>和/>，将/>（/>，/>，/>）和/>（/>，/>，/>）投影到机器人坐标系下，得到左、右相机中图像点在机器人坐标系/>下的坐标/>、/>，进而得到机器人坐标系/>下的左、右相机图像/>、/>。
S124、将机器人坐标系下的图像数据输入至障碍物识别模型，以获得图像中障碍物识别信息，其中所述障碍物图像识别信息包括障碍物在图像中的坐标以及障碍物在图像中的识别类别，所述障碍物识别模型为根据标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得，所述标注后的障碍物图像训练集包括围绕机器人周围的障碍物图像以及标注在障碍物图像上的障碍物ID信息和障碍物尺寸信息；
应当理解的是，为了获得障碍物识别模型，可以预先通过训练获得，例如，可以将标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得。
具体地，根据转运机器人周围常出现的障碍物进行相应的图像数据采集以构建障碍物图像训练集，设置不同种类障碍物ID、障碍物在机器人坐标系w下的坐标和大致的宽度及高度，基于改进的Centernet2.5D网络模型对数据集中标注过的图像进行训练，训练完成后输出模型预测的机器人坐标系下的障碍物坐标及类别信息。
进一步具体地，包括：
1）将需要判断类别的障碍物放置于左、右两相机视野内并采集图像数据，并对图像数据进行基于.txt文件的标注，需要标注的参数主要有：cls_id（该实例的类别id，从0开始）、x_center（该实例中心点相对于图片宽度的x坐标，范围0-1）、y_center（该实例中心点相对于图片高度的y坐标，范围0-1）、z_center（该实例中心点相对于图片深度的z坐标,范围0-1）、w（该实例的宽度，范围0-1）、h（该实例的高度，范围0-1）；
2）将标注后的图像和相对应的标注文件输入改进后的Centernet2.5D网络模型，该模型架构主要包括backbone（用于特征提取）、centerness regressor（用于预测每个像素是不是中心点的热图）、center offset regressor（对centerness中的每个像素预测其中心点偏移量，即x、y、z坐标）、size regressor（预测目标的宽度、高度、宽高比）、classpredictor（预测目标类别）。最终得到障碍物的x、y、z坐标、宽度、高度、宽高比和类别信息。
S125、将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息。
应当理解的是，在机器人坐标系下将点云、/>均进行融合，使两激光雷达视野内的障碍物均能在机器人坐标系/>被观测到，同时剔除出现在机器人几何范围内的离群点。同时将融合后的点云与图像/>、/>中的点坐标进行匹配，以为障碍物添加相应的类别信息。其中类别信息取决于训练集数据，即部分障碍物可能不存在类别信息，该类障碍物的类别信息可设置为空。
需要说明的是，在进行匹配之前，也可以是将左右相机图像数据融合之后与雷达点云融合后的数据进行匹配，具体实现形式本发明实施例并不做限定，可以根据需要进行选择。
在本发明实施例中，通过将左右雷达对应的点云数据进行融合，然后将融合后的结果分别与左右图像中的点坐标进行匹配，从而能够有效提升障碍物识别的准确度。
在本发明实施例中，具体可以包括：
（1）判断机器人坐标系下两侧的点云数据中障碍物点的横纵坐标的差值是否均同时满足预设条件；
判断（/>，/>）和/>（/>，/>）的横、纵坐标的差值/>和是否同时满足预设条件，若是，则判定/>（/>，/>）和/>（/>，/>）为重合点，并进入步骤（2）；否则，则判定/>（/>，/>）和/>（/>，/>）为非重合点，并进入步骤（3）；
（2）若满足，则判定两侧的两个点云数据中障碍物点为重合点，并将该参与比较的两个点云数据中障碍物点的坐标取平均值后确定为融合后点云数据障碍物点坐标值；
在本发明实施例中，如满足，则将（/>，/>）和/>（/>，/>）的坐标取均值后进行保存。
（3）若不满足，则判定两侧的两个点云数据中障碍物点为非重合点，并分别保存该两个点云数据障碍物点的坐标值；
在本发明实施例中，若不满足，将（/>，/>）和/>（/>，/>）的坐标分别进行保存。
（4）根据距离最近邻匹配算法将障碍物图像识别信息与完成融合处理后的点云数据障碍物点坐标值进行匹配，并为匹配成功的点云数据障碍物点添加障碍物类别信息。
将经步骤（2）和（3）保存后的激光雷达点坐标以（/>，/>）表示，同时根据（1）、（2）和（3）步骤保存图像点坐标/>（/>，/>，/>）和与其对应的障碍物框及类别。取x、y坐标即/>（/>，/>）与激光雷达检测到的障碍物坐标/>（/>，/>）进行匹配。采用基于距离的最近邻匹配方法，将点云中每个点匹配到距离最近的视觉检测框，并根据视觉检测框的类别信息为框内点云赋类别信息并输出。对于未匹配到视觉检测框的点，将该点的类别信息赋值为空。
S130、将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
如图6所述，具体可以包括：
S131、获取带有障碍物信息的障碍物图像训练集；
该带有障碍物信息的障碍物图像训练集具体为前文所述实时点云数据和实时图像数据经过障碍物识别模型识别处理后的障碍物图像训练集，由于前文的障碍物识别模型处理后，已经在图像上进行了障碍物信息的标注，因此，可以直接用前文处理后的处理图像。
S132、将带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练，获得轨道线识别模型，其中，所述轨道线分割任务包括图像预处理和预测三值分割，轨道线嵌合任务包括连通域分析和提取区域中心；
在本发明实施例中，本发明实施例的神经网络模型具体可以包含轨道线分割和轨道线嵌合的双任务网络，其中轨道线分割任务主要包括图像预处理和预测三值分割，轨道线嵌合任务主要包括连通域分析和提取区域中心点。
具体地，所述轨道识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得，包括：
1）针对障碍物图像训练集中的每张图片所标注的障碍物信息，对障碍物图像训练集进行障碍物去除处理，以获得包括轨道线在内的轨道线图像集；
应当理解的是，由于前文经过障碍物识别模型后所输出的障碍物图像中均已经标注障碍物信息，具体每张图片标注的障碍物信息可以包括障碍物类别、障碍物尺寸、障碍物位置信息等，对这些带有障碍物标注信息的障碍物图像进行障碍物去除处理，即将障碍物图像中除轨道线之外的障碍物全部进行滤除，这样后续在进行轨道线识别时可以有效减少计算量，提高轨道线识别的准确度和识别效率。
2）对所述轨道线图像集进行预处理，以获得带有轨道线标注的图像训练集；
在本发明实施例中，具体可以对滤除障碍物信息后的轨道线图像集进行包括但不限于灰度化处理、高斯滤波降噪处理等图像预处理，并使用Canny边缘检测算法提取图像中的边缘信息，得到较为清晰的图像边缘图，随后为边缘图的背景、轨道线和边界定义掩码并标注，将带有标注的边缘图作为轨道线识别模型的训练输入集。
3）将带有轨道线标注的图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型进行训练，
其中所述神经网络模型包括空间编码神经网络和解码神经网络，所述空间编码神经网络用于基于所述轨道线分割任务和轨道线嵌合任务生成并输出预测三值信息，所述预测三值信息包括背景、轨道线和边界信息，所述解码神经网络用于监督所述空间编码神经网络；
在本发明实施例中，为了实现对轨道线的精准识别，所预先设计的神经网络模型具体可以包括空间编码神经网络和解码神经网络，其中空间编码神经网络用于生成预测的三值图，解码神经网络用于监督空间编码网络，并设置三通道分别输出背景、轨道线和边界信息。
4）根据预设损失函数对所述预测三值信息与实际三值信息之间的误差进行迭代优化，获得轨道线识别模型。
为了提升轨道线识别模型的识别准确度以及增加该模型的鲁棒性，通常采用像素级的交叉熵损失函数，计算预测掩码与真值掩码之间的误差，同时加入正则项以控制对未知区域的预测。另外使用随机梯度下降优化算法训练网络参数，通过最小化损失函数拟合真实的三值分割结果，同时使用图像翻转、旋转和颜色变换等操作对训练数据进行增强，以增加训练模型的鲁棒性。
应当理解的是，轨道线分割任务包括图像预处理和预测三值分割。其中，图像预处理主要通过图像灰度化、高斯滤波去噪、Canny边缘检测等方法获取较为清晰的图像边缘图。预测三值分割主要通过卷积神经网络（Convolutional Neural Network，CNN）（包括一个空间编码网络和一个解码网络，其中空间编码网络用于生成预测的三值图，解码网络用于监督空间编码网络）生成一张包括背景、轨道线和边界的三通道预测图。
轨道线嵌合任务主要包括连通域分析和提取区域中心点，其中连通域分析主要在预测得到的三值图基础上使用OpenCV中的连通域分析算法得到可能包含轨道线的区域，之后对每个区域计算最佳拟合曲线并在曲线上均匀抽取采样点作为该区域中心点。
S133、将实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点。
S140、根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
在本发明实施例中，将轨道线区域中心点进行拟合以生成完整轨道线，并对所述完整轨道线进行后处理并输出相应的坐标信息。
具体地，如图7所示，可以包括：
S141、根据滤波算法对轨道线区域中心点进行连接以及平滑处理，获得平滑轨道线；
应当理解的是，得到上述步骤中的区域中心点后，使用cloth simulation算法连接中心点，该算法模拟布料在受力下的形变状态以生成较为平滑的轨道线。该算法主要包括5个步骤：1）将中心点作为布料节点并通过弹性边相连；2）在节点之间施加张力以拉近相邻节点并使节点间保持平滑的形变；3）施加重力以使布料下垂成自然状态，该步骤对于2D轨道线预测影响较小；4）在固定时间步长内计算各节点在受力状态下的速度和加速度并更新节点位置；5）重复步骤3）和4），直到达到平衡，即获得最终较为平滑的轨道线。
S142、对平滑轨道线进行后处理，获得完整轨道线，其中所述后处理包括连接距离小于预设距离阈值的轨道线以及删除长度小于预设长度阈值的轨道线区域中心点。
具体地，对上述步骤中获得的较为平滑的轨道线进行后处理，主要包括连接距离过近的轨道线、删除长度过短的中心点等以对轨道线进行精细化处理。将精细化处理后的轨道线坐标信息进行可视化输出。
综上，本发明提供的用于高铁白车身转运机器人的环境感知方法，通过机器人左右侧激光雷达实时监测机器人周围物体分布情况，并根据实时图像进行障碍物识别以获得障碍物信息，从而对可能存在的障碍物进行预警和规避，避免机器人在作业过程中出现撞人、撞物等生产安全隐患。当识别得到障碍物信息后，可以基于识别得到的障碍物信息以及障碍物图像训练集训练获得轨道识别模型，从而能够对轨道线进行识别，可保证迁车台上的轨道线与加工工位上的轨道线准确对接，实现高铁白车身在加工过程中的安全高效转运。因此，本发明提供的用于高铁白车身转运机器人的环境感知方法，在保证转运机器人成本经济性的同时，能够提高转运机器人在复杂工况下作业的灵活性与精确性，进而提升作业效率、作业可靠性和作业安全性。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (8)

1.一种用于高铁白车身转运机器人的环境感知方法，其特征在于，包括：
获取转运机器人行驶过程中实时点云数据和实时图像数据；
根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
根据所述轨道线区域中心点进行拟合确定轨道线坐标信息；
将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得，包括：
获取带有障碍物信息的障碍物图像训练集；
将带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练，获得轨道线识别模型，其中，所述轨道线分割任务包括图像预处理和预测三值分割，轨道线嵌合任务包括连通域分析和提取区域中心；
将实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点；
所述轨道识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得，包括：
针对障碍物图像训练集中的每张图片所标注的障碍物信息，对障碍物图像训练集进行障碍物去除处理，以获得包括轨道线在内的轨道线图像集；
对所述轨道线图像集进行预处理，以获得带有轨道线标注的图像训练集；
将带有轨道线标注的图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型进行训练，
其中所述神经网络模型包括空间编码神经网络和解码神经网络，所述空间编码神经网络用于基于所述轨道线分割任务和轨道线嵌合任务生成并输出预测三值信息，所述预测三值信息包括背景、轨道线和边界信息，所述解码神经网络用于监督所述空间编码神经网络；
根据预设损失函数对所述预测三值信息与实际三值信息之间的误差进行迭代优化，获得轨道线识别模型。
2.根据权利要求1所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：
将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据；
解析同步后点云数据，并确定雷达坐标系下点云中障碍物点坐标和相机坐标系下图像中障碍物点坐标；
根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据；
将机器人坐标系下的图像数据输入至障碍物识别模型，以获得图像中障碍物识别信息，其中所述障碍物图像识别信息包括障碍物在图像中的坐标以及障碍物在图像中的识别类别，所述障碍物识别模型为根据标注后的障碍物图像训练集以及障碍物图像中的障碍物在机器人坐标系下的坐标信息输入至目标检测网络模型中进行训练获得，所述标注后的障碍物图像训练集包括围绕机器人周围的障碍物图像以及标注在障碍物图像上的障碍物ID信息和障碍物尺寸信息；
将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息。
3.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，所述实时点云数据包括第一实时点云数据和第二实时点云数据，所述实时图像数据包括第一实时图像数据和第二实时图像数据，将所述实时点云数据和实时图像数据进行时间同步，获得同步后点云数据和同步后图像数据，包括：
将实时点云数据和实时图像数据分别进行解析，获得点云第一帧数据时间戳和图像第一帧数据时间戳；
根据第一实时点云数据中的点云第一帧数据时间戳与第二实时点云数据中的点云第一帧数据时间戳的大小关系确定点云新时间戳；
根据所述点云新时间戳同步第一实时图像数据中的图像第一帧数据时间戳和第二实时图像数据的图像第一帧数据时间戳以确定图像新时间戳。
4.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，根据雷达坐标系到机器人坐标系的转换关系确定点云中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的点云数据，以及根据相机坐标系到机器人坐标系的转换关系确定图像中障碍物点坐标在机器人坐标系下的坐标以确定机器人坐标系下的图像数据，包括：
获取转运机器人上的雷达安装位置，其中所述转运机器人的两侧分别各安装一个雷达；
根据雷达安装位置对两个雷达坐标系和机器人坐标系进行基于单线激光雷达定位结果的标定，确定雷达坐标系到机器人坐标系的转换关系；
对转运机器人上的相机内部参数进行标定，其中所述转运机器人的两侧分别各安装一个相机；
对位于同侧的相机与雷达分别进行标定确定相机坐标系与雷达坐标系的转换关系；
根据雷达坐标系到机器人坐标系的转换关系以及相机坐标系与雷达坐标系的转换关系确定相机坐标系到机器人坐标系的转换关系；
根据雷达坐标系到机器人坐标系的转换关系将雷达坐标系下点云中障碍物点坐标投影到机器人坐标系下，确定雷达坐标系下点云中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的点云数据；
根据相机坐标系到机器人坐标系的转换关系将相机坐标系下图像中障碍物点坐标投影到机器人坐标系下，确定相机坐标系下图像中障碍物点坐标在机器人坐标系下的障碍物点坐标，以确定机器人坐标系下的图像数据。
5.根据权利要求2所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，将机器人坐标系下的点云数据进行融合，获得点云融合结果，并将点云融合结果与所述障碍物图像识别信息进行匹配，获得转运机器人的行驶起点至行驶终点的所有障碍物信息，包括：
判断机器人坐标系下两侧的点云数据中障碍物点的横纵坐标的差值是否均同时满足预设条件；
若满足，则判定两侧的两个点云数据中障碍物点为重合点，并将参与比较的两个点云数据中障碍物点的坐标取平均值后确定为融合后点云数据障碍物点坐标值；
若不满足，则判定两侧的两个点云数据中障碍物点为非重合点，并分别保存该两个点云数据障碍物点的坐标值；
根据距离最近邻匹配算法将障碍物图像识别信息与完成融合处理后的点云数据障碍物点坐标值进行匹配，并为匹配成功的点云数据障碍物点添加障碍物类别信息。
6.根据权利要求1所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，根据所述轨道线区域中心点进行拟合确定轨道线坐标信息，包括：
根据滤波算法对轨道线区域中心点进行连接以及平滑处理，获得平滑轨道线；
对平滑轨道线进行后处理，获得完整轨道线，其中所述后处理包括连接距离小于预设距离阈值的轨道线以及删除长度小于预设长度阈值的轨道线区域中心点。
7.一种用于高铁白车身转运机器人的环境感知装置，用于实现权利要求1至6中任意一项所述的用于高铁白车身转运机器人的环境感知方法，其特征在于，包括：
获取模块，用于获取转运机器人行驶过程中实时点云数据和实时图像数据；
确定模块，用于根据所述实时点云数据和实时图像数据进行处理确定转运机器人的行驶起点至行驶终点的所有障碍物信息，所述障碍物信息包括障碍物位置信息和类别信息；
预测模块，用于将所述实时图像数据进行标注后输入至轨道线识别模型进行预测，获得轨道线区域中心点，所述轨道线识别模型为根据带有所有障碍物信息的障碍物图像训练集输入至包括轨道线分割任务和轨道线嵌合任务的神经网络模型中进行训练获得；
拟合模块，用于根据所述轨道线区域中心点进行拟合确定轨道线坐标信息。
8.一种用于高铁白车身转运机器人的环境感知系统，其特征在于，包括：转运机器人、设置在转运机器人两侧的图像采集装置和雷达装置以及权利要求7所述的用于高铁白车身转运机器人的环境感知装置，所述图像采集装置和雷达装置均与所述用于高铁白车身转运机器人的环境感知装置通信连接，
所述图像采集装置用于采集转运机器人行驶过程中的实时图像数据，
所述雷达装置用于在转运机器人行驶过程中进行实时扫描以获得实时点云数据，
所述用于高铁白车身转运机器人的环境感知装置用于根据实时点云数据和实时图像数据确定转运机器人的行驶起点至行驶终点的所有障碍物信息，以及对轨道线区域中心点进行预测以确定轨道线坐标信息。
CN202311139718.4A 2023-09-06 2023-09-06 用于高铁白车身转运机器人的环境感知方法、装置及系统 Active CN116922448B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311139718.4A CN116922448B (zh) 2023-09-06 2023-09-06 用于高铁白车身转运机器人的环境感知方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311139718.4A CN116922448B (zh) 2023-09-06 2023-09-06 用于高铁白车身转运机器人的环境感知方法、装置及系统

Publications (2)

Publication Number Publication Date
CN116922448A CN116922448A (zh) 2023-10-24
CN116922448B true CN116922448B (zh) 2024-01-02

Family

ID=88375513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311139718.4A Active CN116922448B (zh) 2023-09-06 2023-09-06 用于高铁白车身转运机器人的环境感知方法、装置及系统

Country Status (1)

Country Link
CN (1) CN116922448B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117991250B (zh) * 2024-01-04 2024-06-25 广州里工实业有限公司 一种移动机器人的定位检测方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3142468A1 (en) * 2019-06-07 2020-12-10 Fnv Ip B.V. A track monitoring system
CN113379921A (zh) * 2021-06-22 2021-09-10 北醒（北京）光子科技有限公司 轨道识别方法、装置、存储介质及设备
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN113777622A (zh) * 2021-08-31 2021-12-10 通号城市轨道交通技术有限公司 轨道障碍物辨识的方法及装置
CN113936268A (zh) * 2021-12-16 2022-01-14 比亚迪股份有限公司 用于轨道车辆的障碍物检测方法、计算机设备及存储介质
CN114694125A (zh) * 2022-05-31 2022-07-01 杭州蓝芯科技有限公司 一种用于轨道异物识别的数据处理方法
CN115546741A (zh) * 2022-09-29 2022-12-30 华南理工大学 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN116012728A (zh) * 2023-02-07 2023-04-25 北京交通大学 应用于无人机巡检的轨道线路识别跟踪方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3142468A1 (en) * 2019-06-07 2020-12-10 Fnv Ip B.V. A track monitoring system
CN113379921A (zh) * 2021-06-22 2021-09-10 北醒（北京）光子科技有限公司 轨道识别方法、装置、存储介质及设备
CN113420687A (zh) * 2021-06-29 2021-09-21 三一专用汽车有限责任公司 可行驶区域的获取方法、装置和车辆
CN113777622A (zh) * 2021-08-31 2021-12-10 通号城市轨道交通技术有限公司 轨道障碍物辨识的方法及装置
CN113936268A (zh) * 2021-12-16 2022-01-14 比亚迪股份有限公司 用于轨道车辆的障碍物检测方法、计算机设备及存储介质
CN114694125A (zh) * 2022-05-31 2022-07-01 杭州蓝芯科技有限公司 一种用于轨道异物识别的数据处理方法
CN115546741A (zh) * 2022-09-29 2022-12-30 华南理工大学 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN116012728A (zh) * 2023-02-07 2023-04-25 北京交通大学 应用于无人机巡检的轨道线路识别跟踪方法及系统

Also Published As

Publication number Publication date
CN116922448A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
US11551344B2 (en) Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
CN106503653B (zh) 区域标注方法、装置和电子设备
CN111958592B (zh) 一种变电站巡检机器人图像语义分析系统及方法
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN116630394B (zh) 一种三维建模约束的多模态目标物体姿态估计方法及系统
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN116922448B (zh) 用于高铁白车身转运机器人的环境感知方法、装置及系统
CN112330676B (zh) 基于红外点云的变电站/换流站缺陷诊断方法及系统
CN111141311B (zh) 一种高精度地图定位模块的评估方法及系统
CN111996883B (zh) 一种检测公路路面宽度的方法
CN111169468A (zh) 一种自动泊车的系统及方法
CN110796104A (zh) 目标检测方法、装置、存储介质及无人机
CN110298330B (zh) 一种输电线路巡检机器人单目检测与定位方法
CN110136186B (zh) 一种用于移动机器人目标测距的检测目标匹配方法
Zhang et al. Slat-calib: Extrinsic calibration between a sparse 3d lidar and a limited-fov low-resolution thermal camera
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN117021136A (zh) 一种箱梁巡检机器人
CN116978009A (zh) 基于4d毫米波雷达的动态物体滤除方法
KR102466305B1 (ko) Avm 자동 공차 보정 시스템 및 그 방법
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN114898144B (zh) 一种基于相机和毫米波雷达数据的自动对齐方法
CN114332187B (zh) 单目目标测距方法及装置
CN106558070A (zh) 一种基于Delta机器人下的视觉跟踪的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240418

Address after: 6th, 7th, and 8th floors, Building D1, No. 999 Gaolang East Road, Wuxi Economic Development Zone, Jiangsu Province, 214000

Patentee after: Wuxi Institute of intelligent control, Hunan University

Country or region after: China

Patentee after: Jiangsu Jicui Qinglian Intelligent Control Technology Co.,Ltd.

Address before: 6th, 7th, and 8th floors, Building D1, No. 999 Gaolang East Road, Wuxi Economic Development Zone, Jiangsu Province, 214124

Patentee before: Wuxi Institute of intelligent control, Hunan University

Country or region before: China

TR01 Transfer of patent right