CN109284723A - 一种基于视觉的无人驾驶避障及导航的系统及实现方法 - Google Patents

一种基于视觉的无人驾驶避障及导航的系统及实现方法 Download PDF

Info

Publication number
CN109284723A
CN109284723A CN201811149448.4A CN201811149448A CN109284723A CN 109284723 A CN109284723 A CN 109284723A CN 201811149448 A CN201811149448 A CN 201811149448A CN 109284723 A CN109284723 A CN 109284723A
Authority
CN
China
Prior art keywords
image
camera
module
interface
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811149448.4A
Other languages
English (en)
Inventor
徐保树
李昊阳
史志跃
刘秦
刘召军
陈祖屹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Science And Technology Co Ltd As Primus
Original Assignee
Shenyang Science And Technology Co Ltd As Primus
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Science And Technology Co Ltd As Primus filed Critical Shenyang Science And Technology Co Ltd As Primus
Priority to CN201811149448.4A priority Critical patent/CN109284723A/zh
Publication of CN109284723A publication Critical patent/CN109284723A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明涉及双目测距技术领域，尤其涉及一种基于视觉的无人驾驶避障及导航的系统及实现方法。其设计并实现了一种多方位测距系统，且功耗低、成本低。包括多个双目相机及基于ZYNQ的双目视觉系统；所述ZYNQ的双目视觉系统包括两部分：以FPGA为核心的PL部分和以ARM为核心的PS部分；所述PL部分分别与各双目相机相连。

Description

一种基于视觉的无人驾驶避障及导航的系统及实现方法
技术领域
本发明涉及双目测距技术领域，尤其涉及一种基于视觉的无人驾驶避障及导航的系统及实现方法。
背景技术
计算机双目视觉系统是仿照人眼成像的视觉原理，用两个相对位置固定的摄像机，在同一时刻采集同一目标物体的两幅图像。然后，利用两个摄像机成像视差，通过三角测量原理计算出目标物体与摄像机之间的距离双目视觉理论与技术不断发展，其在计算机视觉领域中的地位愈发重要。在航空航天、移动机器人、工业检测、智能交通等领域中，双目视觉技术有着广阔的应用前景。
现有的双目视觉躲避障碍物的技术大多数基于CPU、DSP、GPU等通用平台，由于这些平台自身具有无法适应双目视觉避障技术所需的大运算量系统的实时性不能保证，而基于FPGA平台的双目视觉系统大多为单一方向双目避障系统，远远不能够满足未来的市场应用需求。
发明内容
本发明就是针对现有技术存在的缺陷，提供一种基于视觉的无人驾驶避障及导航的系统及实现方法，其设计并实现了一种多方位测距系统，且功耗低、成本低。
为实现上述目的，本发明采用如下技术方案，包括多个双目相机及基于ZYNQ的双目视觉系统。
所述ZYNQ的双目视觉系统包括两部分：以FPGA为核心的PL部分和以ARM为核心的PS部分。
所述PL部分分别与各双目相机相连。
作为本发明的一种优选方案，所述双目相机个数为3个。
作为本发明的另一种优选方案，所述PL部分包括控制接口模块、上层模块及DMA模块。
所述上层模块包括采集模块及预处理模块。
所述采集模块用于完成双目相机的配置及图像采集。
所述预处理模块用于对采集到的双目相机的图像进行去燥、边缘锐化。
所述控制接口模块与上层模块相连，用于将来自ARM的命令传输至上层模块，进而再由上层模块对采集模块以及图像预处理模块的工作进行调度安排。
DMA模块用于在PS部分的DDR控制器之间的数据传输。
作为本发明的另一种优选方案，所述双目相机包括传感器左相机及传感器右相机，左相机与右相机间采用图像数据接口相连，右相机与PL部分间采用图像数据接口相连；该图像数据接口采用2.5V—LVDS接口；左相机使用LVDS接口将图像传递给右相机，右相机把左相机图像和右相机图像在一路LVDS总线上一起传递给PL部分，左相机、右相机与PL部分间还通过同步曝光控制线相连。
作为本发明的另一种优选方案，基于视觉的无人驾驶避障及导航的实现方法包括以下步骤。
步骤1、成像处理：左相机将数据送给右相机，再由右相机将自身的数据与左相机数据合并后，使用一组LVDS接口传送给后端的PL部分，PL部分首先进行图像解码，通过图像解码将串行数据恢复成标准的两路同步的并行图像数据。
步骤2、在PL部分，进行图像预处理。
步骤2.1、首先进行图像矫正：经步骤成像处理后的图像数据首先完成图像的旋转和拉伸的校正。
步骤2.2、在进行图像调光：再搜集图像的质量信息，输出一组调光的辅助参数，用于下一幅图像的采集。
步骤2.3、最后进行图像质量矫正：校正图像传感器（左相机与右相机）的成像差异。
步骤3、在PL部分，进行深度图计算：首先选取经步骤2校正后的（图像预处理后的）一对图像，依次逐点对比两幅图像的像素差异，直到找到相似的像素点位置，记录像素点的位置偏差。再结合位置偏差和图像数据，经过滤波处理后，即可得到深度图信息。
步骤4、在PS部分，首先进行障碍信息计算，并使用深度图信息和校正图信息，完成障碍物体的判断以及错误视差匹配的剔除。
作为本发明的另一种优选方案，在PS部分，还完成了外部接口的管理以及系统总体控制；外部接口的管理以及系统总体控制包括：中断控制、定时控制、下层状态控制、用户接口控制、数据融合控制及辅助交互显示OSD信息控制。
与现有技术相比本发明有益效果。
本发明实现了三个方向的障碍物估计与检测。
本发明完成图像数据到障碍物估计的本地计算。
本发明使用单处理器完成全部数据计算，更具体积、功耗、成本优势。
附图说明
下面结合附图和具体实施方式对本发明做进一步说明。本发明保护范围不仅局限于以下内容的表述。
图1是本发明结构框图。
图2是本发明双目相机连接示意图。
图3是本发明PL部分系统框图。
图4是本发明PS部分系统框图。
具体实施方式
如图1-4所示，本发明包括多个双目相机及基于ZYNQ的双目视觉系统；所述ZYNQ的双目视觉系统包括两部分：以FPGA为核心的PL部分（逻辑处理部分）和以ARM为核心的PS部分（线性处理部分）；所述PL部分分别与各双目相机相连。
作为本发明的一种优选方案，所述双目相机个数为3个。
作为本发明的另一种优选方案，所述PL部分包括控制接口模块、上层模块及DMA模块；所述上层模块包括采集模块及预处理模块；所述采集模块用于完成双目相机的配置及图像采集；所述预处理模块用于对采集到的双目相机的图像进行去燥、边缘锐化；所述控制接口模块与上层模块相连，用于将来自ARM的命令传输至上层模块，进而再由上层模块对采集模块以及图像预处理模块的工作进行调度安排；DMA模块用于在PS部分的DDR控制器之间的数据传输。
作为本发明的另一种优选方案，如图2所示，所述双目相机包括传感器左相机及传感器右相机，左相机与右相机间采用图像数据接口相连，右相机与PL部分间采用图像数据接口相连；该图像数据接口采用2.5V—LVDS接口；左相机使用LVDS接口将图像传递给右相机，右相机把左相机图像和右相机图像在一路LVDS总线上一起传递给PL部分，左相机、右相机与PL部分间还通过同步曝光控制线相连。
作为本发明的另一种优选方案，如图3所示，基于视觉的无人驾驶避障及导航的实现方法包括以下步骤。
步骤1、成像处理：左相机将数据送给右相机，再由右相机将自身的数据与左相机数据合并后，使用一组LVDS接口传送给后端的PL部分，PL部分首先进行图像解码，通过图像解码将串行数据恢复成标准的两路同步的并行图像数据。
步骤2、在PL部分，进行图像预处理。
步骤2.1、首先进行图像矫正：经步骤成像处理后的图像数据首先完成图像的旋转和拉伸的校正。
步骤2.2、在进行图像调光：再搜集图像的质量信息，输出一组调光的辅助参数，用于下一幅图像的采集。
步骤2.3、最后进行图像质量矫正：校正图像传感器（左相机与右相机）的成像差异。
步骤3、在PL部分，进行深度图计算：在图像完成预处理的工作后，使用一组图像数据，完成深度图的计算；首先选取校正后的一对图像，依次逐点对比两幅图像的像素差异，直到找到相似的像素点位置，记录像素点的位置偏差。再结合位置偏差和图像数据，经过滤波处理后，即可得到深度图信息。
步骤4、在PS部分，首先进行障碍信息计算，并使用深度图信息和校正图信息，完成障碍物体的判断以及错误视差匹配的剔除。
作为本发明的另一种优选方案，在PS部分，还完成了外部接口的管理以及系统总体控制；外部接口的管理以及系统总体控制包括：中断控制、定时控制、下层状态控制、用户接口控制、数据融合控制及辅助交互显示OSD信息控制。
更为具体地，工作过程为：系统由PS部分首先启动，PS启动后配置PL进入工作状态，之后按照预先保存的设置初始化前端摄像头。待摄像头进入工作状态后，配置PL端相应模块进入工作状态，随后读取PL端回传的计算结果。采用ZYNQ芯片，PS和PL之间的高带宽数据总线保证图像的实时处理。
而且，如图2所示，本发明的LVDS接口，区别于DVP和CSI接口，该LVDS为标准2.5Ｖ电平，可以远距离工作，最远可支持到18米。本发明的两组相机分别拥有独立地址，可以共用指令控制的IIC总线。本发明的一组双目相机，只需要两条电源线，一对时钟线，一对数据线，两条指令线，共计８条线。本相机将同步曝光控制指令合并到控制指令接口中。
另外：如图4所示，PS部分以ARM处理器为CPU完成线性的计算任务:功能包括RS232IIC TF卡等外部接口的管理和控制、系统的加密和固件升级服务、图像校正数据查找表的计算和生成、PL计算模块接口的控制、基于PL计算结果（深度图）的障碍信息解算、运动状态估计补偿计算、环境适应性补偿计算。
PS部分上电后的工作流程如下。
1、系统上电。
2、检查系统固件是否完整，进行系统加密验证，如果失败责拒绝启动。
3、配置PL。
4、检查是否有新的固件待升级。
5、配置外部传感器，检测相机数量，配置相机，配置辅助显示接口。
6、读取相机参数数据，生成校正数据查找表。
7、设置PL进入工作状态。
8、等待PL的计算中断。
9、接收深度图。
10、根据环境状态调整相机参数。
11、根据配置参数和深度图完成障碍信息解算。
12、通过运动状态信息和环境信息补偿障碍信息数据。
13、发送补偿后的障碍信息数据。
14、回到第8步等待开始下一次计算过程。
可以理解的是，以上关于本发明的具体描述，仅用于说明本发明而并非受限于本发明实施例所描述的技术方案，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换，以达到相同的技术效果；只要满足使用需要，都在本发明的保护范围之内。

Claims (7)

1.一种基于视觉的无人驾驶避障及导航的系统，其特征在于，包括多个双目相机及基于ZYNQ的双目视觉系统；
所述ZYNQ的双目视觉系统包括两部分：以FPGA为核心的PL部分和以ARM为核心的PS部分；
所述PL部分分别与各双目相机相连。
2.根据权利要求1所述的一种基于视觉的无人驾驶避障及导航的系统，其特征在于：所述双目相机个数为3个。
3.根据权利要求1所述的一种基于视觉的无人驾驶避障及导航的系统，其特征在于：所述PL部分包括控制接口模块、上层模块及DMA模块；
所述上层模块包括采集模块及预处理模块；
所述采集模块用于完成双目相机的配置及图像采集；
所述预处理模块用于对采集到的双目相机的图像进行去燥、边缘锐化；
所述控制接口模块与上层模块相连，用于将来自ARM的命令传输至上层模块，进而再由上层模块对采集模块以及图像预处理模块的工作进行调度安排；
DMA模块用于在PS部分的DDR控制器之间的数据传输。
4.根据权利要求1所述的一种基于视觉的无人驾驶避障及导航的系统，其特征在于：所述双目相机包括传感器左相机及传感器右相机，左相机与右相机间采用图像数据接口相连，右相机与PL部分间采用图像数据接口相连；该图像数据接口采用2.5V—LVDS接口；左相机使用LVDS接口将图像传递给右相机，右相机把左相机图像和右相机图像在一路LVDS总线上一起传递给PL部分，左相机、右相机与PL部分间还通过同步曝光控制线相连。
5.基于视觉的无人驾驶避障及导航的实现方法，其特征在于：包括以下步骤：
步骤1、成像处理：左相机将数据送给右相机，再由右相机将自身的数据与左相机数据合并后，使用一组LVDS接口传送给后端的PL部分，PL部分首先进行图像解码，通过图像解码将串行数据恢复成标准的两路同步的并行图像数据；
步骤2、在PL部分，进行图像预处理；
步骤3、在PL部分，进行深度图计算：首先选取经步骤2校正后的一对图像，依次逐点对比两幅图像的像素差异，直到找到相似的像素点位置，记录像素点的位置偏差；再结合位置偏差和图像数据，经过滤波处理后，即可得到深度图信息；
步骤4、在PS部分，首先进行障碍信息计算，并使用深度图信息和校正图信息，完成障碍物体的判断以及错误视差匹配的剔除。
6.根据权利要求5所述的实现方法，其特征在于：步骤2的图像预处理包括：
步骤2.1、首先进行图像矫正：经步骤成像处理后的图像数据首先完成图像的旋转和拉伸的校正；
步骤2.2、在进行图像调光：再搜集图像的质量信息，输出一组调光的辅助参数，用于下一幅图像的采集；
步骤2.3、最后进行图像质量矫正：校正图像传感器的成像差异。
7.根据权利要求5或6所述的实现方法，其特征在于：在PS部分，还完成了外部接口的管理以及系统总体控制；外部接口的管理以及系统总体控制包括：中断控制、定时控制、下层状态控制、用户接口控制、数据融合控制及辅助交互显示OSD信息控制。
CN201811149448.4A 2018-09-29 2018-09-29 一种基于视觉的无人驾驶避障及导航的系统及实现方法 Pending CN109284723A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811149448.4A CN109284723A (zh) 2018-09-29 2018-09-29 一种基于视觉的无人驾驶避障及导航的系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811149448.4A CN109284723A (zh) 2018-09-29 2018-09-29 一种基于视觉的无人驾驶避障及导航的系统及实现方法

Publications (1)

Publication Number Publication Date
CN109284723A true CN109284723A (zh) 2019-01-29

Family

ID=65182320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811149448.4A Pending CN109284723A (zh) 2018-09-29 2018-09-29 一种基于视觉的无人驾驶避障及导航的系统及实现方法

Country Status (1)

Country Link
CN (1) CN109284723A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134042A (zh) * 2019-05-10 2019-08-16 吉林大学 车辆路径跟踪预测控制器及fpga异构加速实现方法
CN110182206A (zh) * 2019-05-06 2019-08-30 深圳市华芯技研科技有限公司 一种基于双摄像头的无人驾驶汽车视觉识别系统
CN110276110A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种双目立体视觉系统的软硬件协同设计方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105892489A (zh) * 2016-05-24 2016-08-24 国网山东省电力公司电力科学研究院 一种基于多传感器融合的自主避障无人机系统及控制方法
CN205844899U (zh) * 2016-07-06 2016-12-28 深圳市高巨创新科技开发有限公司 建筑物内无人机飞行控制装置
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787447A (zh) * 2016-02-26 2016-07-20 深圳市道通智能航空技术有限公司 一种无人机基于双目视觉的全方位避障的方法及系统
CN105892489A (zh) * 2016-05-24 2016-08-24 国网山东省电力公司电力科学研究院 一种基于多传感器融合的自主避障无人机系统及控制方法
CN205844899U (zh) * 2016-07-06 2016-12-28 深圳市高巨创新科技开发有限公司 建筑物内无人机飞行控制装置
CN106493708A (zh) * 2016-12-09 2017-03-15 南京理工大学 一种基于双机械臂和辅助臂的带电作业机器人控制系统
CN108489454A (zh) * 2018-03-22 2018-09-04 沈阳上博智像科技有限公司 深度距离测量方法、装置、计算机可读存储介质及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钱俊: "双目视觉系统的设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110182206A (zh) * 2019-05-06 2019-08-30 深圳市华芯技研科技有限公司 一种基于双摄像头的无人驾驶汽车视觉识别系统
CN110134042A (zh) * 2019-05-10 2019-08-16 吉林大学 车辆路径跟踪预测控制器及fpga异构加速实现方法
CN110134042B (zh) * 2019-05-10 2021-11-05 吉林大学 车辆路径跟踪预测控制器及fpga异构加速实现方法
CN110276110A (zh) * 2019-06-04 2019-09-24 华东师范大学 一种双目立体视觉系统的软硬件协同设计方法

Similar Documents

Publication Publication Date Title
US10194135B2 (en) Three-dimensional depth perception apparatus and method
CN109284723A (zh) 一种基于视觉的无人驾驶避障及导航的系统及实现方法
CN104835117B (zh) 基于重叠方式的球面全景图生成方法
EP2951788B1 (en) Real-time 3d reconstruction with power efficient depth sensor usage
CN102779347B (zh) 一种用于飞行器的目标跟踪与定位方法和装置
US9148650B2 (en) Real-time monocular visual odometry
EP3565739A1 (en) Rear-stitched view panorama for rear-view visualization
CN107656619A (zh) 一种智能投影方法、系统及智能终端
EP2533191A1 (en) Image processing system, image processing method, and program
TW201422464A (zh) 車用顯示系統之自動校正方法及其系統
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN102368137B (zh) 嵌入式标定立体视觉系统
CN104102394A (zh) 一种光学多点触控设备及方法
CN106576159A (zh) 一种获取深度信息的拍照设备和方法
CN103024428A (zh) 一种全景影像系统自动校正装置及校正方法
CN104680522A (zh) 基于智能手机前后摄像头同时工作的视觉定位方法
CN105635720A (zh) 一种双镜头单传感器的立体视觉摄像机
CN106981078A (zh) 视线校正方法、装置、智能会议终端及存储介质
CN113525631B (zh) 一种基于光视觉引导的水下终端对接系统及方法
CN103327244A (zh) 一种基于角速度检测的摄像对焦方法及装置
CN112153306A (zh) 图像采集系统、方法、装置、电子设备及可穿戴设备
CN104869336A (zh) 一种自适应投影控制系统及其方法
CN108401551B (zh) 双镜头微光立体全景成像装置及其超大视场测距方法
CN113532420A (zh) 一种融合点线特征的视觉惯性里程计方法
WO2018161564A1 (zh) 手势识别系统、方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190129