CN110688937A - 一种双目视觉辅助行驶寄生系统 - Google Patents

一种双目视觉辅助行驶寄生系统 Download PDF

Info

Publication number
CN110688937A
CN110688937A CN201910905133.6A CN201910905133A CN110688937A CN 110688937 A CN110688937 A CN 110688937A CN 201910905133 A CN201910905133 A CN 201910905133A CN 110688937 A CN110688937 A CN 110688937A
Authority
CN
China
Prior art keywords
binocular vision
binocular
power supply
parasitic
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910905133.6A
Other languages
English (en)
Inventor
鲜晓东
曹红伟
赵德悦
范琳
田丽蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201910905133.6A priority Critical patent/CN110688937A/zh
Publication of CN110688937A publication Critical patent/CN110688937A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明设计一种双目视觉辅助行驶寄生系统(0)，所述系统包括负责图像采集的处理器RaspberryPi、双目视觉摄像头、摄像头云台、散热风扇、用于本系统供电的电源控制系统、搭载高性能GPU的本地服务器、以及用于图像采集模块与服务器沟通的路由器设备。本发明提供的系统采用串口和宿主系统通信，提供本系统的通过图像检测所得到的建议信息给宿主系统，具有快速扩展可快速寄生在多种类型的宿主，比如机器人、车床、流水线、交通系统等，并且具有改造成本低、识别速度快、精度高、类别多的特点。

Description

一种双目视觉辅助行驶寄生系统
技术领域
本发明属于计算机视觉领域，更具体地，涉及一种基于end-end深度学习的双目视觉的辅助系统。
背景技术
当今技术领域，基于深度学习的视觉导航、驾驶系统越来越多的应用得到人类的生活和社会中，基于深度学习的计算机视觉技术为人们生活中带来了莫大的便利。但是传统领域中，仍有一些机器设备设备采用激光雷达或者超声波探测器等来监测障碍物的位置和形状，然后采用一定的策略处障碍物，甚至于一些急需要机器视觉来改善其作业环境的场所还在使用使用人工操作。
对于常规设备，存在设备更替成本高的问题，厂商升级不及时的问题，因此很多设备依旧维持现状，给用户带来了非常糟糕的使用体验。而对于双目视觉的深度学习系统来说，系统不急能够感知到是什么，还能更好的决策出应该怎么处理，因此把本系统作为扩展寄生系统放置在传统没有使用到计算机视觉的设备中，能够提供给传统设备更好的过度作用，也能够大大提高传统设备的工作效率。
开发一种具有深度学习能力的视觉计生系统具有重要的研究意义和价值。
发明内容
本发明的目的在于弥补现有传统设备，比如移动机器人、工厂流水线等对于视觉传感和行驶的精度低、实时性差，易受环境干扰的缺点和不足，提供了一种双目视觉辅助行驶寄生系统。本发明提供的基于双目视觉辅助行驶寄生系统使用树莓派作为图像的采集和预处理端，利用GPU服务器在计算机视觉方面的高性能、低能耗计算的特点减少视觉处理的时间，提高系统的实时性；利用双目摄像头，弥补传统二维图像中缺少深度维度的缺陷，提高了深度学习网络的图片特征的更好、更有的提取；利用多路由器组网，可实现采集终端和处理终端的良好的沟通，保证网络质量和网络覆盖率。通过上述不见得配合，得以保证本系统更高精度、更实时的为宿主系统提供高精度、实时性的建议，可将本系统寄生至各行业相关领域。
为实现上述发明目的，本发明采用以下技术方案：
一种双目视觉辅助行驶寄生系统，包括设备壳体，所述壳体内设有电源转换装置、CPU主控板、散热装置、通讯接口，双目视觉摄像头；所述壳体上设有摄像头云台；所述通讯装置包括路由器组网策略，用于图像处理和分析的服务器，用于CPU主控板和GPU服务器数据交换的和执行的策略；所述CPU主控板与双目摄像头电性连接。
CPU主板采用树莓派3B(Raspberry Pi 3B)微型电脑，采用ARM Cortex-A531.2GHz四核处理器，
采用Broadcom VideoCore IV,OpenGL ES2.0 1080p 30h.264/MPEG-4 AVC高清解码器；
转向云台使用高精度、大扭矩舵机组合成高精度二维运动部件；
本发明利用无线局域网传输性能高、覆盖率广等特点，实现图像采集端的与图像处理和分析端的实时通讯，同时GPU服务器能够高效的运行深度学习、计算机视觉的算法，使得系统实时性和准确性大大提高，双目视觉摄像头弥补了传统二维图像的很多缺陷，比如光照、纹理、颜色色差等。通过上述组件的配合，开发出了精度高、实时性好的系统，方便寄生在合适的寄主系统之上二次开发。
各部件的作用过程如下：首先利用CPU主控板控制双目摄像头拍摄当前的图像信息，并进行图片的初步处理；CPU主控板通过无线局域网把拍摄到的蹄片上传到GPU服务器；GPU 服务器利用深度学习算法和模型对所获得的图片进行分析处理得到建议结果；GPU服务器将建议结果通过局域网返回给CPU主控板；CPU主控板将该建议信息处理过滤之后发送给宿主系统；CPU主控板接受宿主系统提供的参数信息，供下次使用。
与现有技术相比，本发明具有以下有点：
本发明提供的一种双目视觉辅助行驶寄生系统在树莓派硬件平台上搭建视觉系统，同时利用 GPU服务器在计算机视觉和深度学习方面的高性能、矩阵计算性能优异等特点减少视觉的处理时间，提高实时性；利用双目摄像头弥补了传统二维图像的很多缺陷，比如光照、纹理、颜色色差等；利用寄生的方式以极低的经济优势和硬件升级成本让传统过时设备拥有视觉处理能力，大大降低了产品升级换代的过渡成本。
附图说明
图1为双目视觉辅助行驶寄生系统的结构示意图
图2为双目视觉辅助行驶寄生系统的系统通讯示意图
图3为双目视觉辅助行驶寄生系统与其他系统间的典型连接图
图4为双目视觉辅助行驶寄生系统与其他系统协同工作时序图
具体实施方式
双目视觉辅助行驶寄生系统，系统主控(1)采用RaspberryPi 3B作为主控CPU。图像采集传感器(2)为双目摄像头，且数据接口为USB3.0接口，接口协议为UVC免驱接口，双目之间的基线60mm，曝光方式为滚动曝光。散热设备(3)采用直流3.3v涡轮散热风扇。通讯接口(4)采用波特率为195200的9针串口通讯接口。电源转换装置(5)用于将5V-36V的直流电源转化为供(1)所使用的5V电源，以及供(3)使用的3.3V电源，且供(1)使用的电源转化功率不得低于10W，供(2)使用的功率不得低于5W。
摄像头云台(6)用于左右上下转动双目摄像头，且左右转动为电控形式，且舵机精度不得低于0.24°舵机装懂角度不得低于120°。路由器(7)，如果在小型户外场景采用单节点路由器，如果在大型复杂场景，可多路由器组网，覆盖整个系统巡行区域。GPU服务器(8)用于处理系统采集的图像信息，并将建议和结果返回给系统。

Claims (10)

1.一种双目视觉辅助行驶寄生系统，其特征在于。包括图像采集处理器RaspberryPi(1)，(1)控制(2)用于采集图像的的双目摄像头，用于给寄生系统散热的直流风扇(3)，用于(1)与宿主系统通讯的接口串口通讯接口(4)，用于从宿主系统或者其他外接电源获得供电的供电转换装置(5)，用于左右调节双目摄像头的云台(6)，用于局域网(1)和(8)数据传输和交换的无线路由器(7)，用于处理寄生系统采集到的图像信息并通过深度学习得出建议的GPU服务器(8)，并将建议传给(1)，(1)经串口(4)把建议传给宿主系统，以及用于保护电路板的上电路板仓(9)和过滤空气的下散热仓(10)，以及用于固定云台的至于(9)之上的云台固定槽(11)。
2.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述系统主控(1)采用RaspberryPi 3B作为主控CPU。
3.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述图像采集传感器(2)为双目摄像头，且数据接口为USB3.0接口，接口协议为UVC免驱接口，双目之间的基线60mm，曝光方式为滚动曝光。
4.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述散热设备(3)采用直流3.3v涡轮散热风扇。
5.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述通讯接口(4)采用波特率为195200的9针串口通讯接口。
6.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述电源转换装置(5)用于将5V-36V的直流电源转化为供(1)所使用的5V电源，以及供(3)使用的3.3V电源，且供(1)使用的电源转化功率不得低于10W，供(2)使用的功率不得低于5W。
7.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述摄像头云台(6)用于左右上下转动双目摄像头，且左右转动为电控形式，且舵机精度不得低于0.24°舵机装懂角度不得低于120°。
8.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述路由器(7)，如果在小型户外场景采用单节点路由器，如果在大型复杂场景，可多路由器组网，覆盖整个系统巡行区域。
9.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述GPU服务器(8)用于处理系统采集的图像信息，并将建议和结果返回给系统。
10.根据权利要求1所述的双目视觉辅助行驶寄生系统，其特征在于，所述散热装置(3)置于主控CPU外面版(1)之下，所述云台(6)置于主控CPU外面版(1)之上。
CN201910905133.6A 2019-09-24 2019-09-24 一种双目视觉辅助行驶寄生系统 Pending CN110688937A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905133.6A CN110688937A (zh) 2019-09-24 2019-09-24 一种双目视觉辅助行驶寄生系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905133.6A CN110688937A (zh) 2019-09-24 2019-09-24 一种双目视觉辅助行驶寄生系统

Publications (1)

Publication Number Publication Date
CN110688937A true CN110688937A (zh) 2020-01-14

Family

ID=69110281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905133.6A Pending CN110688937A (zh) 2019-09-24 2019-09-24 一种双目视觉辅助行驶寄生系统

Country Status (1)

Country Link
CN (1) CN110688937A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147759A (zh) * 2020-02-19 2020-05-12 北京中安吉泰科技有限公司 一种双目测距云台装置
CN112051588A (zh) * 2020-09-03 2020-12-08 重庆大学 一种多传感器融合的玻璃识别系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008818A (zh) * 2017-12-04 2018-05-08 中国人民解放军陆军工程大学 一种基于虚拟现实的头盔式人机交互系统及方法
CN207457833U (zh) * 2017-11-20 2018-06-05 佛山科学技术学院 一种机器人的避障控制系统
CN207772998U (zh) * 2017-12-06 2018-08-28 福建省泉州市培元中学 一种汽车安全辅助系统
CN109782788A (zh) * 2019-03-26 2019-05-21 台州学院 基于双目视觉的无人机低空避障系统及控制方法
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN207457833U (zh) * 2017-11-20 2018-06-05 佛山科学技术学院 一种机器人的避障控制系统
CN108008818A (zh) * 2017-12-04 2018-05-08 中国人民解放军陆军工程大学 一种基于虚拟现实的头盔式人机交互系统及方法
CN207772998U (zh) * 2017-12-06 2018-08-28 福建省泉州市培元中学 一种汽车安全辅助系统
CN110008848A (zh) * 2019-03-13 2019-07-12 华南理工大学 一种基于双目立体视觉的道路可行驶区域识别方法
CN109782788A (zh) * 2019-03-26 2019-05-21 台州学院 基于双目视觉的无人机低空避障系统及控制方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147759A (zh) * 2020-02-19 2020-05-12 北京中安吉泰科技有限公司 一种双目测距云台装置
CN111147759B (zh) * 2020-02-19 2021-07-13 北京中安吉泰科技有限公司 一种双目测距云台装置
CN112051588A (zh) * 2020-09-03 2020-12-08 重庆大学 一种多传感器融合的玻璃识别系统

Similar Documents

Publication Publication Date Title
WO2022021739A1 (zh) 一种语义智能变电站机器人仿人巡视作业方法及系统
US10489932B2 (en) Intelligent shooting training management system
CN109074083A (zh) 移动控制方法、移动机器人及计算机存储介质
CN109931909B (zh) 一种基于无人机的海上风机塔柱状态巡检方法和装置
CN109816774B (zh) 一种基于无人机的三维重建系统及三维重建方法
CN110688937A (zh) 一种双目视觉辅助行驶寄生系统
CN110362090A (zh) 一种巡检机器人控制系统
CN101145201A (zh) 一种快速目标识别与定位系统及方法
CN105496556B (zh) 一种用于手术导航的高精度光学定位系统
CN109214251B (zh) 用于机房监控的图像识别装置及方法
CN104363373B (zh) 一种基于NiosII的红外图像自动调焦系统及方法
CN108989653A (zh) 车载式自适应环境光和头部姿态的疲劳驾驶预警装置
CN111216109A (zh) 一种用于临床治疗与检测的视觉跟随装置及其方法
CN112052785A (zh) 一种巡检机器人智能监测系统
CN111832379A (zh) 基于卷积神经网络的无人机实时视频检测系统
CN210852918U (zh) 一种适用于倾斜相机隐藏的输电线路巡检无人机
CN107958205B (zh) 射击训练智能管理系统
CN112051588A (zh) 一种多传感器融合的玻璃识别系统
CN211552867U (zh) 一种用于辅助无人驾驶小车的视觉导航系统
CN211606626U (zh) 一种基于边缘计算的智能视频图像处理设备
CN116835001A (zh) 一种多发射端无人机激光远程充电的方法
WO2019127287A1 (zh) 第一智能设备及其连接方法以及具有存储功能的装置
CN115454138B (zh) 一种基于无人机图像识别技术的施工违章判定方法和系统
CN114972539A (zh) 机房相机平面在线标定方法、系统、计算机设备和介质
CN111832510B (zh) 一种智能寻找杆塔方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200114

WD01 Invention patent application deemed withdrawn after publication