CN112051588A - 一种多传感器融合的玻璃识别系统 - Google Patents

一种多传感器融合的玻璃识别系统 Download PDF

Info

Publication number
CN112051588A
CN112051588A CN202010914471.9A CN202010914471A CN112051588A CN 112051588 A CN112051588 A CN 112051588A CN 202010914471 A CN202010914471 A CN 202010914471A CN 112051588 A CN112051588 A CN 112051588A
Authority
CN
China
Prior art keywords
information
glass
identification system
sensor
glass identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010914471.9A
Other languages
English (en)
Inventor
鲜晓东
赵德悦
田丽蓉
曹红伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010914471.9A priority Critical patent/CN112051588A/zh
Publication of CN112051588A publication Critical patent/CN112051588A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明设计一种多传感器融合的玻璃检测与定位系统(0)，所述系统包括负责图像采集RGB摄像头Kinect V1、摄像头云台、声纳、激光雷达Rplidar A2、搭载高性能GPU的本地服务器、以及用于图像采集模块与服务器沟通的路由器设备。本发明提供的系统采用局域网通信，提供本系统的通过图像处理所得到关于玻璃的检测与定位信息给所需系统，比如机器人、交通系统等，并且具有识别速度快、精度高的特点。

Description

一种多传感器融合的玻璃识别系统
技术领域
本发明属于多传感器融合领域，更具体地，涉及一种结合激光雷达、声呐、RGB摄像机的玻璃识别系统。
背景技术
随着科学技术的迅速发展，障碍物检测的应用领域越来越广泛。单一传感器已难以提供有关环境的充分、准确和及时的信息。近年来多种传感器信息融合技术已经引起了人们的广泛注意，多种传感器信息融合系统可以有效地解决单传感器的模糊点，更精确地观察和解释环境。障碍物检测和识别的可靠性与精度比在任何单一传感器所获得的信息都有很大的提高。因此越来越多地应用于各种智能系统中。
同时，目前常规的障碍物检测方法是通过上述单一非接触式检测技术，如激光雷达、超声波等探测器来监测障碍物的位置和形状，然后采用一定的策略进行处理。这一类型检测方法对于反射对比度较高、体积及色泽明显的障碍物识别准确率较高，但是对于反射对比度较低、体积小、色彩与周围环境接近或在弱光条件下的目标较难识别。
所以，针对存在有玻璃的环境中，能够不被玻璃的反射率低、色彩与环境接近影响，提出一种多传感器融合的的玻璃检测技术方案。
发明内容
本发明的目的在于弥补现有的传统障碍物检测方法对于反射对比度较低、体积小、色彩与周围环境接近或在弱光条件下的目标较难识别的缺点和不足，提出了一种多传感器融合的玻璃识别系统。
本发明提出的一种多传感器融合的玻璃识别系统，使用Kinect V1作为图像的采集和预处理端，利用GPU服务器在计算机视觉方面的高性能、低能耗计算的特点减少视觉处理的时间，提高系统的实时性；利用激光雷达Rplidar A2进行一般的障碍物检测，弥补传统二维图像中缺少深度维度的缺陷；利用声呐可针对玻璃获取玻璃的距离信息，深度相机用来截取当前的RGB图像并定位出玻璃所在的位置；利用多路由器组网，可实现采集终端和处理终端的良好的沟通，保证网络质量和网络覆盖率。通过上述的配合及数据融合，得以保证本系统实现玻璃的识别，为系统提供高精度、实时性的建议。
为实现上述发明目的，本发明采用以下技术方案：
一种多传感器融合的玻璃识别系统，包括设备壳体，所述壳体内设有电源转换装置、CPU主控板、散热装置、通讯接口，Kinect V1、Rplidar A2、声呐传感器；所述壳体上设有摄像头云台；所述通讯装置包括路由器组网策略，用于图像处理和分析的服务器，用于CPU主控板和GPU服务器数据交换的和执行的策略；所述CPU主控板与双目摄像头电性连接。
CPU主控板采用G40(i54210U)笔记本电脑，转向云台使用高精度、大扭矩舵机组合成高精度二维运动部件；GPU服务器采用Y7000(i78750H)笔记本，采用GTX1050Ti显卡。
本发明利用无线局域网传输性能高、覆盖率广等特点，实现图像采集端的与图像处理和分析端的实时通讯，同时GPU服务器能够高效的运行深度学习、计算机视觉的算法，使得系统实时性和准确性大大提高，利用摄像头识别的玻璃信息、声纳获取玻璃的位置信息，弥补了激光雷达透过玻璃无法识别的特性。通过上述组件的配合，开发出了精度较高、实时性较好的可识别玻璃的系统。
各部件的作用过程如下：首先利用CPU主控板控制Kinect V1摄像头获取当前的图像信息并通过局域网上传到GPU服务器；GPU服务器利用深度学习算法对所获得的图片进行分析处理，得到图片中的玻璃区域并将划定的区域结果通过局域网返回给CPU主控板；CPU主控板将该玻璃区域定位信息与声纳信息进行数据融合，得到玻璃所处的三维空间位置，并将位置信息转化为雷达信息，将该雷达信息与实际Rplidar A2获取的信息进行融合，将最终的雷达数据发送给宿主系统；CPU主控板接受宿主系统提供的信息，供其规划路径、绘制地图及其他功能的使用。
与现有技术相比，本发明具有以下特点：
本发明提供的一种多传感器融合的玻璃识别系统在笔记本硬件平台上搭建视觉系统，同时利用GPU服务器在计算机视觉和深度学习方面的运算高性能特点，可减少图像的处理时间，实时性得到了大大的提高；利用摄像头识别的玻璃信息、声纳获取玻璃的位置信息，弥补了激光雷达透过玻璃无法识别的特性。
附图说明
图1为多传感器融合的玻璃识别系统的硬件连接图
图2为多传感器融合的玻璃识别系统工作流程示意图
具体实施方式
多传感器融合的玻璃识别系统，系统主控(1)采用G40作为主控CPU，并融合多种数据。图像采集传感器(2)为Kinect V1摄像头，且数据接口为USB2.0接口。摄像头云台(3)用于左右上下转动双目摄像头，且左右转动为电控形式，且舵机精度不得低于0.24°舵机装懂角度不得低于120°。GPU服务器(4)用于处理系统采集的图像信息，并将玻璃识别结果返回给(1)做数据融合。声纳(5)用于采集周围的距离信息，并将信息返回给(1)做数据融合。激光雷达(6)用于采集雷达信息，并将信息返回给(1)做数据融合及提出建议。路由器(7)如果在小型户外场景采用单节点路由器，如果在大型复杂场景，可多路由器组网，覆盖整个系统区域。

Claims (9)

1.一种多传感器融合的玻璃识别系统，其特征在于。包括系统主控CPU(1)，(1)控制(2)用于采集图像的的RGB摄像头，用于左右调节双目摄像头的云台(3)，用于处理寄生系统采集到的图像信息并通过深度学习识别玻璃的GPU服务器(4)，并将玻璃信息传给(1)，用于采集周围的距离信息的声纳(5)，用于采集雷达信息的激光雷达(6)，并将信息返回给(1)，(1)经数据融合算法后得到玻璃的位置信息，用于(1)和其他系统传输和交换玻璃位置数据及其他控制信息的无线路由器(7)。
2.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述系统主控(1)采用G40笔记本作为主控CPU。
3.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述图像采集传感器(2)为RGB摄像头Kinect V1，且数据接口为USB2.0接口。
4.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述摄像头云台(3)用于左右上下转动双目摄像头，且左右转动为电控形式，且舵机精度不得低于0.24°舵机装懂角度不得低于120°。
5.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述GPU服务器(4)用于处理系统采集的图像信息，并将玻璃识别结果返回给(1)做数据融合。
6.根据权利要求1所述的多传感器融合的玻璃识别系统，声纳(5)用于采集周围的距离信息，并将信息返回给(1)做数据融合。
7.根据权利要求1所述的多传感器融合的玻璃识别系统，激光雷达(6)用于采集雷达信息，并将信息返回给(1)做数据融合及提出建议。
8.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述路由器(7)，如果在小型户外场景采用单节点路由器，如果在大型复杂场景，可多路由器组网，覆盖整个系统区域。
9.根据权利要求1所述的多传感器融合的玻璃识别系统，其特征在于，所述云台(3)置于主控CPU外面版(1)之上。
CN202010914471.9A 2020-09-03 2020-09-03 一种多传感器融合的玻璃识别系统 Pending CN112051588A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010914471.9A CN112051588A (zh) 2020-09-03 2020-09-03 一种多传感器融合的玻璃识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010914471.9A CN112051588A (zh) 2020-09-03 2020-09-03 一种多传感器融合的玻璃识别系统

Publications (1)

Publication Number Publication Date
CN112051588A true CN112051588A (zh) 2020-12-08

Family

ID=73606852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010914471.9A Pending CN112051588A (zh) 2020-09-03 2020-09-03 一种多传感器融合的玻璃识别系统

Country Status (1)

Country Link
CN (1) CN112051588A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法
CN113467450A (zh) * 2021-07-01 2021-10-01 北京小狗吸尘器集团股份有限公司 无人机器控制方法、装置、计算机设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518490A (zh) * 2014-12-04 2016-04-20 深圳市大疆创新科技有限公司 一种物体检测方法、装置及遥控移动设备、飞行器
CN106595631A (zh) * 2016-10-25 2017-04-26 纳恩博（北京）科技有限公司 一种躲避障碍物的方法及电子设备
CN207718225U (zh) * 2017-08-25 2018-08-10 科沃斯商用机器人有限公司 自移动机器人
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
CN110688937A (zh) * 2019-09-24 2020-01-14 重庆大学 一种双目视觉辅助行驶寄生系统
CN111308491A (zh) * 2020-03-09 2020-06-19 中振同辂(江苏)机器人有限公司 一种基于多传感器组合的障碍物感知方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518490A (zh) * 2014-12-04 2016-04-20 深圳市大疆创新科技有限公司 一种物体检测方法、装置及遥控移动设备、飞行器
CN106595631A (zh) * 2016-10-25 2017-04-26 纳恩博（北京）科技有限公司 一种躲避障碍物的方法及电子设备
CN207718225U (zh) * 2017-08-25 2018-08-10 科沃斯商用机器人有限公司 自移动机器人
CN109633661A (zh) * 2018-11-28 2019-04-16 杭州凌像科技有限公司 一种基于rgb-d传感器与超声波传感器融合的玻璃检测系统和方法
CN110688937A (zh) * 2019-09-24 2020-01-14 重庆大学 一种双目视觉辅助行驶寄生系统
CN111308491A (zh) * 2020-03-09 2020-06-19 中振同辂(江苏)机器人有限公司 一种基于多传感器组合的障碍物感知方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467450A (zh) * 2021-07-01 2021-10-01 北京小狗吸尘器集团股份有限公司 无人机器控制方法、装置、计算机设备及存储介质
CN113203409A (zh) * 2021-07-05 2021-08-03 北京航空航天大学 一种复杂室内环境移动机器人导航地图构建方法

Similar Documents

Publication Publication Date Title
CN111897332B (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
CN109283538B (zh) 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN108833833B (zh) 面向智能网联汽车场景图像数据感知与协同处理系统
WO2022188379A1 (zh) 服务于电力机器人的人工智能系统及方法
WO2020083024A1 (zh) 障碍物的识别方法和装置、存储介质、电子装置
CN105203084B (zh) 一种无人机3d全景视觉装置
CN110879401A (zh) 基于相机和激光雷达的无人驾驶平台实时目标3d检测方法
CN106774296A (zh) 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN109931909B (zh) 一种基于无人机的海上风机塔柱状态巡检方法和装置
CN112051588A (zh) 一种多传感器融合的玻璃识别系统
CN109819173A (zh) 基于tof成像系统的深度融合方法和tof相机
CN110244314A (zh) 一种“低慢小”目标探测识别系统与方法
CN114638909A (zh) 基于激光slam和视觉融合的变电站语义地图构建方法
CN105730705A (zh) 一种飞行器摄像定位系统
CN113643345A (zh) 一种基于双光融合的多目道路智能识别方法
CN110750153A (zh) 一种无人驾驶车辆的动态虚拟化装置
CN112232139A (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
CN109885091B (zh) 一种无人机自主飞行控制方法及系统
CN112711263A (zh) 仓储自动导引车避障方法、装置、计算机设备和存储介质
CN114115289A (zh) 一种自主无人集群侦察系统
CN115880368A (zh) 一种电网巡检无人机障碍物检测方法、系统及存储介质
CN107607939B (zh) 一种基于真实地图及影像的光学目标跟踪定位雷达装置
CN113790718A (zh) 一种基于无人船的信息共享系统
CN109708659B (zh) 一种分布式智能光电低空防护系统
CN110688937A (zh) 一种双目视觉辅助行驶寄生系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination