CN111301328A - 基于3d视觉技术的货车全景倒车影像系统及使用方法 - Google Patents

基于3d视觉技术的货车全景倒车影像系统及使用方法 Download PDF

Info

Publication number
CN111301328A
CN111301328A CN202010112064.6A CN202010112064A CN111301328A CN 111301328 A CN111301328 A CN 111301328A CN 202010112064 A CN202010112064 A CN 202010112064A CN 111301328 A CN111301328 A CN 111301328A
Authority
CN
China
Prior art keywords
truck
controller
acquisition module
image acquisition
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010112064.6A
Other languages
English (en)
Inventor
单梁
王志强
邱博
单浩然
樊宇浩
李军
张永
黄成�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010112064.6A priority Critical patent/CN111301328A/zh
Publication of CN111301328A publication Critical patent/CN111301328A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于3D视觉技术的货车全景倒车影像系统及使用方法。该系统包括图像采集模块、控制器和用户终端，其中图像采集模块包括两个TOF相机和一个双目相机，TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；用户终端包括显示器和扬声器。方法为：图像采集模块采集货车周围的环境深度信息，控制器通过以太网读取采集到的数据进行拼接等处理，绘制实时地图，同时计算货车与障碍物间的距离，给出相应距离段的预警信号，然后将地图信息和预警信号通过串口传输到用户终端；显示器根据控制器传输的地图数据，显示货车周围实时环境，扬声器接收控制器发出的预警信号，发出语音提醒。本发明提高了货车泊车的效率和安全性。

Description

基于3D视觉技术的货车全景倒车影像系统及使用方法
技术领域
本发明涉及泊车辅助技术领域，特别是一种基于3D视觉技术的货车全景倒车影像系统及使用方法。
背景技术
货车受限于其体积和长度，在倒车时会存在很大盲区，并且货车司机对车尾的情况难以判断，因此，货车泊车时往往需要人工引导，效率低下。而且人工引导的方法也无法让司机及时掌握货车四周的环境信息，当引导人身处盲区时也有几率会发生安全事故，所以人工引导的方式存在较高的安全性隐患。
3D视觉技术是通过3D摄像头采集视野内空间每个点位的三维座标信息，通过算法复原智能获取三维立体成像，该方法不易受到外界环境、复杂光线的影响，技术更加稳定，能够解决以往二维体验和安全性较差的问题。然而，目前尚未有将3D视觉技术应用于货车倒车、泊车的相关报道，货车泊车时依然存在盲区大，后方视野不清晰，需要人工引导的问题。
发明内容
本发明的目的在于提供一种能够辅助货车司机知晓货车周围环境、避免人工引导、提高货车泊车的效率和安全性的基于3D视觉技术的货车全景倒车影像系统及使用方法。
实现本发明目的的技术解决方案为：一种基于3D视觉技术的货车全景倒车影像系统，包括图像采集模块、控制器和用户终端；
所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；
所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；
所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。
进一步地，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为Sick Visionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为Sick Visionary-B，安装在货车尾部，扫描货车尾部的环境。
进一步地，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。
进一步地，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。
一种基于3D视觉技术的货车全景倒车影像系统的使用方法，包括以下步骤：
步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；
步骤2、图像采集模块接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；
步骤3、控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接；
步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到用户终端进行显示；
步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；
步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。
进一步地，步骤3所述的控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接，具体如下：
步骤3.1、以货车中心为世界坐标系，根据图像采集模块中各相机安装的位置对各个相机的参考坐标系进行标定；
步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；
步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使用SIFT算子在两个TOF相机数据重合的区域提取特征，根据特征的匹配对，将两个TOF相机的数据和双目相机的数据进行配准融合，得到完整的3D深度图。
本发明与现有技术相比，其显著优点在于：(1)通过3D相机获取货车周围的深度信息，使司机能够及时掌握车身周围环境，提高了泊车效率；(2)避免了货车泊车时额外人工的参与，提高了泊车安全性。
附图说明
图1是本发明基于3D视觉技术的货车全景倒车影像系统的结构框图。
图2是本发明相机安装位置的示意图。
图3是本发明基于3D视觉技术的货车全景倒车影像系统的使用方法流程图。
图4是本发明中显示器的地图显示界面的示意图。
具体实施方式
本发明基于3D视觉技术的货车全景倒车影像系统，包括图像采集模块、控制器和用户终端；
所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；
所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；
所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。
进一步地，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为Sick Visionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为Sick Visionary-B，安装在货车尾部，扫描货车尾部的环境。
进一步地，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。
进一步地，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。
一种基于3D视觉技术的货车全景倒车影像系统的使用方法，包括以下步骤：
步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；
步骤2、图像采集模块接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；
步骤3、控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接；
步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到用户终端进行显示；
步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；
步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。
进一步地，步骤3所述的控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接，具体如下：
步骤3.1、以货车中心为世界坐标系，根据图像采集模块中各相机安装的位置对各个相机的参考坐标系进行标定；
步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；
步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使用SIFT算子在两个TOF相机数据重合的区域提取特征，根据特征的匹配对，将两个TOF相机的数据和双目相机的数据进行配准融合，得到完整的3D深度图。
下面结合附图及具体实施例对本发明作进一步的详细说明。
实施例
结合图1，本实施例提供了一种基于3D视觉技术的大型货车全景倒车影像系统，其硬件部分包括图像采集模块、控制器和用户终端；
所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；
所述控制器使用工控机，从图像采集模块接收数据进行处理，绘制实时环境地图，输出图像信息和预警信号；
所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。
结合图2，作为一种具体示例，所述图像采集模块使用两个中量程TOF相机和一个短量程双目相机，采集车身周围5米范围内的环境深度信息，相机1和相机2为TOF相机，型号为Sick Visionary-T，其检测距离为0.5-20m，检测角度为56°×69°，安装在货车车头两侧，扫描车身侧面的环境；相机3为双目相机，型号为Sick Visionary-B，其检测距离为0.5-7m，检测角度为120°×75°，安装在货车尾部，扫描货车尾部的环境。
作为一种具体示例，控制器采用工控机，与用户终端一同集成在驾驶室内部。
结合图3～4，一种基于3D视觉技术的大型货车全景倒车影像系统的使用方法，包括以下步骤：
步骤1、货车挂倒挡后，控制器向相机发送开始扫描的指令信号；
步骤2、相机接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；
步骤3、控制器接收到相机传输的数据，根据相机安装在车辆上的位置对三个相机的深度数据进行拼接；
步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到显示器进行显示；
步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；
步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。
进一步地，步骤3所述的控制器接收到相机传输的数据，根据相机安装在车辆上的位置对三个相机的深度数据进行拼接，具体如下：
步骤3.1、以货车中心为世界坐标系，根据相机安装的位置对各个相机的参考坐标系进行标定。
步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；
步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使用SIFT算子在和两个TOF相机数据重合的区域提取特征，根据特征的匹配对将两个TOF相机的数据和双目相机的数据进行精确的配准融合，得到完整的3D深度图。

Claims (6)

1.一种基于3D视觉技术的货车全景倒车影像系统，其特征在于，包括图像采集模块、控制器和用户终端；
所述图像采集模块通过以太网与控制器连接，接收控制器的指令信号并将采集到的环境深度信息传输到控制器；
所述控制器从图像采集模块接收数据进行处理，绘制实时环境地图，输出地图信息和预警信号；
所述用户终端与控制器通过USB串口连接，接收控制器发送的地图信息和预警信号。
2.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机型号为Sick Visionary-T，分别安装在货车车头部左右两侧，扫描车身侧面的环境；所述双目相机型号为SickVisionary-B，安装在货车尾部，扫描货车尾部的环境。
3.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述的控制器采用工控机，与用户终端一同集成在驾驶室内部。
4.根据权利要求1所述的基于3D视觉技术的货车全景倒车影像系统，其特征在于，所述用户终端包括显示器和扬声器，所述显示器用于显示图像信息，所述扬声器用于根据预警信号发出语音提示。
5.一种基于3D视觉技术的货车全景倒车影像系统的使用方法，其特征在于，包括以下步骤：
步骤1、货车挂倒挡后，控制器向图像采集模块发送开始扫描的指令信号，图像采集模块包括两个TOF相机和一个双目相机，所述TOF相机分别安装在货车车头部左右两侧，双目相机装在货车尾部；
步骤2、图像采集模块接收到指令信号，开始对周围环境进行扫描，将扫描的数据通过以太网传输给控制器；
步骤3、控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接；
步骤4、控制器将拼接完的3D深度图投影至水平面上，绘制出货车轮廓和周围环境地图发送到用户终端进行显示；
步骤5、计算距离最近的障碍物距离，给出相应距离段的预警信号，当货车周围1.5米内没有障碍物时，没有预警信号；当货车周围0.5米至1.5米内有障碍物时，给定频率为1Hz的蜂鸣预警信号；当货车周围0.5米内有障碍物时，给定频率为5Hz的蜂鸣预警信号；
步骤6、泊车完成后，控制器向图像采集模块发送停止扫描的指令信号。
6.根据权利要求5所述的基于3D视觉技术的货车全景倒车影像系统的使用方法，其特征在于，步骤3所述的控制器接收到图像采集模块传输的数据，根据图像采集模块中各相机安装在车辆上的位置，对各个相机的深度数据进行拼接，具体如下：
步骤3.1、以货车中心为世界坐标系，根据图像采集模块中各相机安装的位置对各个相机的参考坐标系进行标定；
步骤3.2、根据标定后的相机坐标系和世界坐标系的转换关系，将各个相机的数据转换至世界坐标系下，实现粗配准；
步骤3.3、根据粗配准的结果，以双目相机的数据为基准，使用SIFT算子在两个TOF相机数据重合的区域提取特征，根据特征的匹配对，将两个TOF相机的数据和双目相机的数据进行配准融合，得到完整的3D深度图。
CN202010112064.6A 2020-02-24 2020-02-24 基于3d视觉技术的货车全景倒车影像系统及使用方法 Pending CN111301328A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010112064.6A CN111301328A (zh) 2020-02-24 2020-02-24 基于3d视觉技术的货车全景倒车影像系统及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010112064.6A CN111301328A (zh) 2020-02-24 2020-02-24 基于3d视觉技术的货车全景倒车影像系统及使用方法

Publications (1)

Publication Number Publication Date
CN111301328A true CN111301328A (zh) 2020-06-19

Family

ID=71160271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010112064.6A Pending CN111301328A (zh) 2020-02-24 2020-02-24 基于3d视觉技术的货车全景倒车影像系统及使用方法

Country Status (1)

Country Link
CN (1) CN111301328A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112339762A (zh) * 2020-10-29 2021-02-09 三一专用汽车有限责任公司 倒车影像安全预警方法、搅拌车和计算机可读存储介质
CN113071480A (zh) * 2021-04-30 2021-07-06 重庆长安汽车股份有限公司 自动泊车障碍物检测方法、泊车方法、系统及车辆
CN113900435A (zh) * 2021-08-31 2022-01-07 深圳蓝因机器人科技有限公司 基于双摄像头的移动机器人避障方法、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2899363A1 (fr) * 2006-03-31 2007-10-05 Imra Europ Sas Soc Par Actions Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
CN201376528Y (zh) * 2009-02-16 2010-01-06 张馨方 倒车报警雷达
CN203157842U (zh) * 2013-04-09 2013-08-28 中国国际海运集装箱(集团)股份有限公司 具有倒车报警装置的挂车
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN110441781A (zh) * 2019-08-14 2019-11-12 大连海事大学 一种基于信息融合的倒车雷达影像系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2899363A1 (fr) * 2006-03-31 2007-10-05 Imra Europ Sas Soc Par Actions Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
CN201376528Y (zh) * 2009-02-16 2010-01-06 张馨方 倒车报警雷达
CN203157842U (zh) * 2013-04-09 2013-08-28 中国国际海运集装箱(集团)股份有限公司 具有倒车报警装置的挂车
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN110441781A (zh) * 2019-08-14 2019-11-12 大连海事大学 一种基于信息融合的倒车雷达影像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
眭昊天: "多视点全景图像辅助泊车系统研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112339762A (zh) * 2020-10-29 2021-02-09 三一专用汽车有限责任公司 倒车影像安全预警方法、搅拌车和计算机可读存储介质
CN113071480A (zh) * 2021-04-30 2021-07-06 重庆长安汽车股份有限公司 自动泊车障碍物检测方法、泊车方法、系统及车辆
CN113900435A (zh) * 2021-08-31 2022-01-07 深圳蓝因机器人科技有限公司 基于双摄像头的移动机器人避障方法、设备、介质及产品

Similar Documents

Publication Publication Date Title
US9467679B2 (en) Vehicle periphery monitoring device
EP2723069B1 (en) Vehicle periphery monitoring device
CN110390695B (zh) 一种基于ros的激光雷达、摄像头的融合标定系统及标定方法
CN111301328A (zh) 基于3d视觉技术的货车全景倒车影像系统及使用方法
US9672432B2 (en) Image generation device
EP2623376A1 (en) Parking assistance device
CN110786004B (zh) 显示控制装置、显示控制方法及存储介质
CN102390370A (zh) 一种基于立体视觉的车辆行驶应急处理装置及方法
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及系统
CN113085900B (zh) 一种实现对车辆进行召唤行驶到用户位置的方法
CN111366168A (zh) 一种基于多源信息融合的ar导航系统及方法
JP4214841B2 (ja) 周囲状況認識システム
CN104228683B (zh) 用于运行调车和/或泊车用的驾驶员辅助系统的方法
CN216942758U (zh) 一种换电重卡电池箱定位系统及换电站
CN112277798A (zh) 一种汽车行驶防碰撞系统和控制方法
CN218949048U (zh) 一种垃圾清运车智能盲区行人检测及预警装置
CN103192766A (zh) 全景泊车辅助系统及其使用方法
CN203601127U (zh) 一种通过3d显示汽车全景的显示系统
CN112550286A (zh) 一种车辆泊车提示方法和系统
CN113459951A (zh) 车外环境显示方法和装置、车辆、设备和存储介质
JP2001224013A (ja) 運転支援装置及び運転支援方法
CN115497338B (zh) 辅路路口的盲区预警系统、方法及装置
CN113246859B (zh) 具有驾驶辅助系统警示的电子后视镜
CN113232586A (zh) 一种夜间行车的红外行人投影显示方法及系统
CN204196780U (zh) 一种270度辅助泊车系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200619

RJ01 Rejection of invention patent application after publication