CN112965486A - 一种基于双目视觉及雷达的场桥避障系统及方法 - Google Patents

一种基于双目视觉及雷达的场桥避障系统及方法 Download PDF

Info

Publication number
CN112965486A
CN112965486A CN202110156106.0A CN202110156106A CN112965486A CN 112965486 A CN112965486 A CN 112965486A CN 202110156106 A CN202110156106 A CN 202110156106A CN 112965486 A CN112965486 A CN 112965486A
Authority
CN
China
Prior art keywords
radar
binocular vision
bridge
obstacle
field bridge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110156106.0A
Other languages
English (en)
Inventor
高延辉
陈培
蔡黄河
武彬
张凯
彭云辉
张朋
吴鹏伟
尹兆鑫
周昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Port No2 Container Terminal Co ltd
Qingdao Haixi Heavy Duty Machinery Co Ltd
Original Assignee
Tianjin Port No2 Container Terminal Co ltd
Qingdao Haixi Heavy Duty Machinery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Port No2 Container Terminal Co ltd, Qingdao Haixi Heavy Duty Machinery Co Ltd filed Critical Tianjin Port No2 Container Terminal Co ltd
Priority to CN202110156106.0A priority Critical patent/CN112965486A/zh
Publication of CN112965486A publication Critical patent/CN112965486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于双目视觉及雷达的场桥避障系统及方法,包括在场桥行走装置上安装的双目视觉模块和雷达;控制中心依据双目视觉模块获取的图像信息识别场桥行走方向上非地面障碍物的尺寸与距离;控制中心依据雷达的发射数据和返回数据识别场桥行走方向上的障碍物与场桥之间的距离;控制中心融合双目视觉模块和雷达的数据,判断场桥行走方向上的障碍物与场桥之间的距离,发出报警信号实现避障。

Description

一种基于双目视觉及雷达的场桥避障系统及方法
技术领域
本发明涉及港口自动化领域,具体为一种基于双目视觉及雷达的场桥避障系统及方法。
背景技术
场地轮胎式龙门起重机,又名场桥,是港口自动化领域中的重要设备,承担着港口物资流转过程中对集装箱的搬运的过程,场桥在运行中由于自身结构的限制,使得驾驶场桥的司机难以观察到场桥周边的全部情况,使的场桥容易与障碍物相撞。
目前双目视觉及雷达的避障正被大量应用与机器人,无人机的避障,双目视觉系统相对于传统的视觉系统不但能够获取到图像信息,更能有效实时准确的获得环境的深度信息,对周围场景进行实时准确的三维重建,但目前双目视觉的测量距离和测量精度都十分的有限,无法应用在场桥中。
发明内容
一个或多个实施例提供了如下技术方案:
一种基于双目视觉及雷达的场桥避障系统,包括至少四组行走装置,每一组行走装置上均安装双目视觉模块和雷达;
双目视觉模块获取场桥行走方向的图像信息,传递给控制中心,控制中心依据图像信息识别场桥行走方向上非地面障碍物的尺寸与距离;
雷达向场桥行走方向发射雷达波,雷达的发射数据和返回数据传递给控制中心,控制中心依据雷达的发射数据和返回数据识别场桥行走方向上的障碍物与场桥之间的距离;
控制中心融合双目视觉模块和雷达的数据,判断场桥行走方向上的障碍物与场桥之间的距离,发出报警信号。
场桥包括两组结构相同且平行布置的门字形框架,门字形框架包括至少一组主梁和分别与其两端连接的至少两组立柱,每组立柱的底部均具有行走装置,小车布置两组门字形框架中相互平行的主梁之间,沿主梁的方向运动,被小车带动的吊具位于两组立柱之间。
行走装置具有车轮,双目视觉模块布置在车轮中心水平线上方第一距离处,雷达布置在车轮中心水平线上方第二距离处。
雷达的布置位置高于双目视觉模块的位置。
双目视觉模块和雷达通过有线方式或无线方式与控制中心实现通讯。
上述避障系统完成避障的方法:
控制中心将双目视觉模块获取的图像信息输入到预先训练好的双目视觉模型中;
基于双目视觉模型学习场景中的地面图像,将非地面障碍物剥离;
三维点云重构,具体为:分离障碍物点云、噪声点云、地面点云,对障碍物进行测宽和测高,利用宽高阈值区分障碍物和异常噪声;
坐标转换,具体为:相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换,得到障碍物的尺寸与距离信息;
利用双目视觉模块的相机初始姿态角和地面点云的关系,识别障碍物与场桥之间的距离,当距离小于设定值发出报警。
以上一个或多个技术方案存在以下有益效果:
1、对基于双目视觉的障碍物识别及距离预测系统的识别结果和基于雷达的障碍物定位系统的测量结果进行数据融合,综合分析雷达和视频系统的测量结果,做出避障决策。
2、双目视觉模块和雷达配合使用,减少场桥侧面及上方悬空物体的雷达测量盲区,以及恶劣天气对视觉系统的影响。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明一个或多个实施例提供的整体结构示意图;
图2是本发明一个或多个实施例提供的侧视结构示意图;
图3是本发明一个或多个实施例提供的避障过程示意图;
图中:1、主梁;2、立柱;3、行走装置;31、车轮;4、吊具;5、双目视觉模块;6、雷达。
具体实施方式
以下详细说明都是示例性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
场地轮胎式龙门起重机,又名场桥,是布置在港口堆场,用于将集装箱从集卡搬运至堆场指定位置的大型设备,具有极大的跨距、高度和重量,场桥在现场调度员的指挥下,由司机驾驶完成场桥行驶、转弯以及集装箱吊运等动作。
正如背景技术中所描述的,场桥搬运集装箱的过程中,需要在集装箱堆场穿行,场桥作业的过程中仅通过司机和现场调度员的指挥难以判断场桥周边的障碍物,在发现有障碍物需要减速或刹车时,由于场桥自重过大即使已经刹车仍然有可能与障碍物发生碰撞。
实施例一:
如图1-3所示,一种基于双目视觉及雷达的场桥避障系统,包括至少四组行走装置3,每一组行走装置3上均安装双目视觉模块5和雷达6;
双目视觉模块5获取场桥行走方向的图像信息,传递给控制中心,控制中心依据图像信息识别场桥行走方向上非地面障碍物的尺寸与距离;
雷达6向场桥行走方向发射雷达波,雷达的发射数据和返回数据传递给控制中心,控制中心依据雷达的发射数据和返回数据识别场桥行走方向上的障碍物与场桥之间的距离;
控制中心融合双目视觉模块5和雷达6的数据,判断场桥行走方向上的障碍物与场桥之间的距离,向场桥发出减速或刹车指令。
场桥包括两组结构相同且平行布置的门字形框架,门字形框架包括至少两组立柱2和至少一组主梁1,每组立柱2的底部均具有行走装置3,小车布置两组门字形框架中相互平行的主梁1之间,沿主梁1的方向运动,被小车带动的吊具4位于两组立柱2之间。
行走装置3具有车轮31,以车轮31的中心水平线为基准,双目视觉模块5布置在该基准线上方的第一距离处,雷达6布置在该基准线上方的第二距离处。
场桥在吊起集装箱或货物时,要求悬空的货物下方不允许有行人或车辆通过,悬空货物的上方、下方以及场桥的运动方向上都有可能具有悬空障碍物。该位置的双目视觉模块5用于检测悬空障碍物以及包括行人、车辆、锁扣、灯架等各类障碍物,这部分障碍物的高度小于吊具的高度,处于场桥两跨之间(两组立柱之间),场桥运行时,悬空的货物(集装箱)会从这部分障碍物的头顶(顶部)越过,虽然不会与场桥发生碰撞,但悬空的货物(集装箱)一旦发生坠落则会对这部分处于货物(集装箱)下方的物体造成伤害。
恶劣天气下(如大雾),双目视觉模块5无法保持精确的结果,则需要雷达6来辅助。
与此同时,双目视觉模块5还具有扩展智能视觉识别分析功能,可对场景中常见物品进行识别和分析,如识别地面锁扣,轨道旁的塔架等,可有效减少智能避障的误报,提高生产作业效率。
例如:双目视觉模块5布置在车轮31中心水平线上方70cm处,雷达6布置在车轮31中心水平线上方100cm处。
双目视觉模块5包括双目立体摄像机,双目立体摄像机与雷达6共同完成避障传感器的功能,通过有线或无线网络将获取的数据与控制中心通讯;控制中心可以是安装在场桥本体上的PLC控制器,通过有线方式实现通讯;也可以在堆场指定位置架设硬件,以无线方式实现通讯。
场桥运行时,朝向运行方向的两组行走装置3上的双目视觉模块5和雷达6工作,识别场桥行走方向上一定距离范围内的障碍物,并发出报警信号,控制场桥减速或制动停车。
例如:识别场桥行走方向上20m范围内的障碍物,当距离小于或等于设定报警值时发送控制信号至PLC控制器,控制场桥减速或制动停车。
实施例二:
依据上述实施例提供的避障系统完成避障的方法:由安装在场桥上的双目摄像头提供现场的立体视觉图像,图像进入依据双目视觉构建的大型卷积神经网络进行地面的学习分离与前置场景的点云化重构,利用重构的点云分布与前一步中对地面进行的分离,判断是否存在障碍物以及障碍物的尺寸及距离信息,通过距离信息发出报警信号完成避障过程。具体为:
利用安装在场桥上的双目视觉模块5获取集装箱堆场的实时视频信息,以视频流的方式进入系统的控制中心或PLC控制器。系统接收到视频信息后,将其转换成图片流,并输入到预先训练好的双目视觉模型中。
基于双目视觉模型,实现学习场景中的地面图像,在后续的识别与点云构建中,事先将地面进行剥离,从而保证悬空障碍物不会被当做地面。
利用双目视觉模块5获取的图像数据进行场桥前进方向场景的实时三维点云重构。
坐标系转换,相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换,从而得到障碍物的尺寸与距离信息。
分离障碍物点云、噪声点云、地面点云。对障碍物进行测宽和测高,利用宽高阈值进一步区分障碍物和异常噪声,确保远距离小障碍物的检测精度。
利用双目视觉模块5的相机初始姿态角和地面点云的关系,实时监测双目视觉模块5的异常状态。相机初始姿态角和地面点云之间存在角度差,当角度差超过设定范围,判断双目视觉模块5中的双目相机可能发生损坏或偏移原有的位置。
在以上步骤的基础上,附加:
1、对远处利用较大的宽、高过滤阀值,确保不会产生误报,近处采用较小的过滤阀值,避免漏报;
2、通过对点云高度及树木的检测,若检测中高度大于-50cm的点云数量判断双目相机可能发生的损坏或偏移问题,从而验证双目视觉模块5识别结果的可靠性。
避障系统运行在室外工作的场桥上,环境潮湿,强震动,高粉尘。实际环境中障碍物干扰性较,如场桥轨道上的锁扣,轨道旁边的塔架,远处的灯光,悬空的卡车挡板等。同时场桥自重极大,启动周期较长,正常作业过程中非紧急情况时均不会制动,以免影响作业效率。
通过双目视觉模块5与雷达6共同完成避障传感器的功能,对基于双目视觉的障碍物识别及距离预测系统的识别结果和基于雷达的障碍物定位系统的测量结果进行数据融合,综合分析雷达和视频系统的测量结果,做出控制决策。
恶劣天气下双目摄像机的障碍物检测准确率会有一定下降,而雷达则不受光照和大雾的影响。同时雷达无法实现目标可视化,无法检测悬空物体,而视觉系统刚好可弥补此类缺陷。双目视觉模块5和雷达6配合使用,可有效减少场桥侧面及上方悬空物体的雷达测量盲区。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于双目视觉及雷达的场桥避障系统,其特征在于:包括至少四组行走装置,每一组行走装置上均安装双目视觉模块和雷达;
双目视觉模块获取场桥行走方向的图像信息,传递给控制中心,控制中心依据图像信息识别场桥行走方向上非地面障碍物的尺寸与距离;
雷达向场桥行走方向发射雷达波,雷达的发射数据和返回数据传递给控制中心,控制中心依据雷达的发射数据和返回数据识别场桥行走方向上的障碍物与场桥之间的距离;
控制中心融合双目视觉模块和雷达的数据,判断场桥行走方向上的障碍物与场桥之间的距离,发出报警信号。
2.如权利要求1所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:所述场桥包括两组结构相同且平行布置的门字形框架,门字形框架包括至少一组主梁和分别与其两端连接的至少两组立柱。
3.如权利要求3所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:还具有小车,小车布置两组门字形框架中相互平行的主梁之间,沿主梁的方向运动,被小车带动的吊具位于两组立柱之间。
4.如权利要求3所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:所述立柱的底部均具有行走装置,行走装置具有车轮。
5.如权利要求4所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:所述双目视觉模块布置在车轮中心水平线上方第一距离处,雷达布置在车轮中心水平线上方第二距离处。
6.如权利要求5所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:所述雷达的布置位置高于双目视觉模块的位置。
7.如权利要求6所述的一种基于双目视觉及雷达的场桥避障系统,其特征在于:所述双目视觉模块和雷达通过有线方式或无线方式与控制中心实现通讯。
8.一种如权利要求1所述的基于双目视觉及雷达的场桥避障系统实现避障的方法,其特征在于:包括以下步骤:
控制中心将双目视觉模块获取的图像信息输入到预先训练好的双目视觉模型中;
基于双目视觉模型学习场景中的地面图像,将非地面障碍物剥离;
三维点云重构和坐标转换;
利用双目视觉模块的相机初始姿态角和地面点云的关系,识别障碍物与场桥之间的距离,当距离小于设定值发出报警。
9.如权利要求8所述的方法,其特征在于:所述三维点云重构的过程为:分离障碍物点云、噪声点云、地面点云,对障碍物进行测宽和测高,利用宽高阈值区分障碍物和异常噪声。
10.如权利要求8所述的方法,其特征在于:所述坐标转换的过程为:相机姿态角学习及点云图从相机坐标系(Oc-XcYcZc)到地面坐标系(Ow-XwYwZw)的转换,得到障碍物的尺寸与距离信息。
CN202110156106.0A 2021-02-04 2021-02-04 一种基于双目视觉及雷达的场桥避障系统及方法 Pending CN112965486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110156106.0A CN112965486A (zh) 2021-02-04 2021-02-04 一种基于双目视觉及雷达的场桥避障系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110156106.0A CN112965486A (zh) 2021-02-04 2021-02-04 一种基于双目视觉及雷达的场桥避障系统及方法

Publications (1)

Publication Number Publication Date
CN112965486A true CN112965486A (zh) 2021-06-15

Family

ID=76273974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110156106.0A Pending CN112965486A (zh) 2021-02-04 2021-02-04 一种基于双目视觉及雷达的场桥避障系统及方法

Country Status (1)

Country Link
CN (1) CN112965486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972541A (zh) * 2022-06-17 2022-08-30 北京国泰星云科技有限公司 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
JP6177400B1 (ja) * 2016-08-25 2017-08-09 株式会社タダノ クレーン車
CN107728618A (zh) * 2017-09-28 2018-02-23 南通大学 一种无人船的避障方法
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN109879174A (zh) * 2019-04-13 2019-06-14 湖南中铁五新重工有限公司 龙门吊防撞系统和方法
CN211056549U (zh) * 2019-11-13 2020-07-21 中联重科股份有限公司 用于检测空间障碍物的系统及工程机械

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105866779A (zh) * 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
JP6177400B1 (ja) * 2016-08-25 2017-08-09 株式会社タダノ クレーン車
CN108269281A (zh) * 2016-12-30 2018-07-10 无锡顶视科技有限公司 基于双目视觉的避障技术方法
CN107728618A (zh) * 2017-09-28 2018-02-23 南通大学 一种无人船的避障方法
CN109879174A (zh) * 2019-04-13 2019-06-14 湖南中铁五新重工有限公司 龙门吊防撞系统和方法
CN211056549U (zh) * 2019-11-13 2020-07-21 中联重科股份有限公司 用于检测空间障碍物的系统及工程机械

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972541A (zh) * 2022-06-17 2022-08-30 北京国泰星云科技有限公司 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法
CN114972541B (zh) * 2022-06-17 2024-01-26 北京国泰星云科技有限公司 基于三维激光雷达和双目相机融合的轮胎吊立体防撞方法

Similar Documents

Publication Publication Date Title
CN107380163A (zh) 基于磁导航的汽车智能报警预测系统及其方法
CN106769085B (zh) 自动驾驶车辆避让动态障碍物能力的测试方法及测试场
CN112406960B (zh) 一种地铁用多传感器融合的主动防撞系统和方法
CN107653775A (zh) 悬挂式单轨交通轨道梁外部智能检查维修车
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测系统及巡检方法
CN102819263A (zh) 多摄像头无人车视觉感知系统
CN112419773A (zh) 一种基于云控平台的车路协同无人驾驶控制系统
CN104809427B (zh) 基于3d信息的故障自动识别检测系统及检测方法
CN107344696A (zh) 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法
CN112379674B (zh) 一种自动驾驶设备及系统
CN112896879B (zh) 一种用于智能环卫车的环境感知系统
CN114194259B (zh) 一种灵活编组的控制系统
CN105438147A (zh) 车载光学探测结合点对点通讯的机车防撞方法
CN112965486A (zh) 一种基于双目视觉及雷达的场桥避障系统及方法
CN110989642A (zh) 基于三维路径跟踪的航空器地面牵引智能辅助方法及系统
CN207226848U (zh) 基于实时视频图像识别的轮胎吊智能防碰撞预警系统
CN112477533A (zh) 设施农业路轨两用运输机器人
CN111429734A (zh) 港口内外集卡实时监控系统及监控方法
CN114397672A (zh) 一种基于定位技术的列车主动障碍物检测方法及装置
CN105083326A (zh) 利用光学探测机构追踪钢轨轨迹的机车防撞方法及装置
CN211056549U (zh) 用于检测空间障碍物的系统及工程机械
CN211554737U (zh) 一种城区智慧巡检机器人
CN116118827A (zh) 一种无人道口远程预警方法、系统、设备和存储介质
CN112489125A (zh) 一种堆场行人自动检测方法及装置
Kemsaram et al. Architecture design and development of an on-board stereo vision system for cooperative automated vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615