CN109389060A - 一种基于视觉的车周碰撞预警方法 - Google Patents

一种基于视觉的车周碰撞预警方法 Download PDF

Info

Publication number
CN109389060A
CN109389060A CN201811124517.6A CN201811124517A CN109389060A CN 109389060 A CN109389060 A CN 109389060A CN 201811124517 A CN201811124517 A CN 201811124517A CN 109389060 A CN109389060 A CN 109389060A
Authority
CN
China
Prior art keywords
information
vehicle
panorama sketch
access control
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811124517.6A
Other languages
English (en)
Other versions
CN109389060B (zh
Inventor
魏云龙
林忠正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811124517.6A priority Critical patent/CN109389060B/zh
Publication of CN109389060A publication Critical patent/CN109389060A/zh
Application granted granted Critical
Publication of CN109389060B publication Critical patent/CN109389060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于视觉的车周碰撞预警方法，包括：S1:通过设置在车辆上的传感器求解得到车辆行驶轨迹图；S2:从车辆行驶轨迹图中提取空间和时间信息，并通过陀螺仪对信息进行校准；S3:通过前视摄像头采集车辆行驶中的前视图像，并提取每帧图像中的时间信息；S4:根据校准后的行驶轨迹信息和图像中的时间信息，采用透视变换算法，进行鸟瞰变换和全景拼接，生成包含历史信息的全景图A；S5:通过多路全景系统，获取实时的全景图B；S6:将含有实时信息的全景图B减去含有历史信息的全景图A，由它们的帧差信息，得到一个包含时间信息的物体信息图；S7:根据物体信息图，判断物体与车辆距离是否低于预设的阈值，若低于阈值则发出警告，提醒驾驶员。

Description

一种基于视觉的车周碰撞预警方法
技术领域
本发明涉及一种基于视觉的车周碰撞预警方法。
背景技术
随着社会的发展，汽车以每天上万辆的数量在飞速增长，相应地，驾驶员的数量也在日益增加。道路的拥挤，停车位的狭窄给很多本就是新手的驾驶员带来了各种各样的难题，驾驶员行车安全问题越来越受人关注。行车安全问题不仅仅关系到对车辆的保护，行车中出现的意外情况还容易引发一系列城市管理问题，甚至威胁到驾驶员以及他人的生命安全。
目前针对行车安全，市面上提出了各种各样的科技手段，在车上加装测量仪器来辅助驾驶员安全行车。基于视觉的汽车前方碰撞预警系统使用摄像头作为获取信息的环境感知工具。视觉传感器具有模式识别及车道线检测等其他传感器不具备的优势,随着模式识别技术的不断发展，基于视觉的汽车前方碰撞预警的技术也越来越完善，在障碍物的识别上在近几年也得到了巨大的优化。但是，这个系统仅仅局限于单路摄像头的碰撞预警，无法实现车四周全方位的碰撞预警。在目前的车周碰撞预警领域，嵌入式硬件难以用模式识别的方法识别人和车，因为现有的全景图需要用模式识别算法同时处理多幅图像，计算量过于庞大，而且拼接后的全景图由于是有鱼眼摄像头通过算法转换生成，仍然存在畸变，无法对多路摄像头生成的全景图进行识别。
发明内容
有鉴于此，本发明的目的在于提供一种基于视觉的车周碰撞预警方法，仅需要对单路摄像头进行图像处理，大大减少了计算量，使得嵌入式系统可以实现利用全景图像对车周碰撞的检测与预警。
为实现上述目的，本发明采用如下技术方案：
一种基于视觉的车周碰撞预警方法，包括以下步骤：
步骤S1:通过设置在车辆上的传感器采集的车辆数据，求解得到车辆行驶轨迹图；
步骤S2:从车辆行驶轨迹图中提取空间和时间信息，并通过陀螺仪对信息进行校准，得到校准后的行驶轨迹信息；
步骤S3:通过前视摄像头采集车辆行驶中的前视图像，并提取每帧图像中的时间信息；
步骤S4:根据校准后的行驶轨迹信息和图像中的时间信息，采用透视变换算法，进行鸟瞰变换和全景拼接，生成包含历史信息的全景图A；
步骤S5:通过多路全景系统，获取实时的全景图B；
步骤S6:将含有实时信息的全景图B减去含有历史信息的全景图A，由它们的帧差信息，得到一个包含时间信息的物体信息图；
步骤S7:根据物体信息图，判断物体与车辆距离是否低于预设的阈值，若低于阈值则发出警告，提醒驾驶员。
进一步的，所述传感器包括使得汽车在变向的时候能够对汽车的方向进行实时定位的方向传感器和可以检测出汽车实时的速度的速度传感器。
进一步的，所述摄像头采用鱼眼摄像头。
进一步的，所述鱼眼摄像头信号通过标定求出其畸变系数，对其进行畸变校正。
本发明与现有技术相比具有以下有益效果：
本发明仅需要对单路摄像头进行图像处理，大大减少了计算量，使得嵌入式系统可以实现利用全景图像对车周碰撞的检测与预警。
附图说明
图1是本发明流程原理图；
图2是本发明一实施例中小车行驶过程中的轨迹图；
图3是本发明一实施例中每帧图像和它对应的时间信息图
图4是本发明一实施例中时间信息和空间信息的匹配；
图5是本发明一实施例中历史全景图A；
图6是本发明一实施例中多路全景系统生成的实时全景图B；
图7是本发明一实施例中全景图B减去全景图A的物体信息图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于视觉的车周碰撞预警方法，提供一种车周碰撞预警系统，包括车辆和设置在车辆上的方向传感器、速度传感器、陀螺仪、前置摄像头和中控系统，中控系统接收传感器、陀螺仪和摄像头的信息，并进行处理。根据所需安装的车辆大小尺寸调整棋盘格与摄像头具体位置，合理调整摄像头高度，将车周碰撞预警系统安装于驾驶座位置，各路摄像头和警报器与系统对接，启动系统，对摄像头进行标定。
具体方法包括以下步骤：
步骤S1:通过设置在车辆上的传感器采集的车辆数据，求解得到车辆行驶轨迹图；
步骤S2:从车辆行驶轨迹图中提取空间和时间信息，并通过陀螺仪对信息进行校准，得到校准后的行驶轨迹信息；方向传感器使得汽车在变向的时候能够对汽车的方向进行实时的定位；速度传感器可以检测出汽车实时的速度；通过速度和方向的数据我们可以求出汽车的行驶轨迹图，该轨迹图包含有空间信息和时间信息，再利用陀螺仪对信息进行校准；
步骤S3:通过前视摄像头采集车辆行驶中的前视图像，并提取每帧图像中的时间信息；
步骤S4:根据校准后的行驶轨迹信息和图像中的时间信息，采用透视变换算法，进行鸟瞰变换和全景拼接，生成包含历史信息的全景图A；
步骤S5:通过多路全景系统，获取实时的全景图B；
步骤S6:将含有实时信息的全景图B减去含有历史信息的全景图A，由它们的帧差信息，得到一个包含时间信息的物体信息图；
步骤S7:根据物体信息图，判断物体与车辆距离是否低于预设的阈值，若低于阈值则发出警告，提醒驾驶员。
在本发明一实施例中，摄像头采用鱼眼摄像头。
在本发明一实施例中，鱼眼摄像头信号通过标定求出其畸变系数，对其进行畸变校正。
在本发明一实施例中，如图2、图3所示汽车行驶状态，图2中的黑线为小车行驶过程中的轨迹，摄像头连续摄像生成的每帧图像和它对应的时间T如图3所示，根据时间信息和空间信息的匹配，产生图4的效果，我们利用图片不同的空间信息和时间信息，提取每帧图片的部分像素点进行鸟瞰变换和全景拼接生成历史全景图A如图5，多路全景系统生成的实时全景图B如图6所示，将图B减去图A可以得到物体的信息如图7所示。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于视觉的车周碰撞预警方法，其特征在于：包括以下步骤：
步骤S1:通过设置在车辆上的传感器采集的车辆数据，求解得到车辆行驶轨迹图；
步骤S2:从车辆行驶轨迹图中提取空间和时间信息，并通过陀螺仪对信息进行校准，得到校准后的行驶轨迹信息；
步骤S3:通过前视摄像头采集车辆行驶中的前视图像，并提取每帧图像中的时间信息；
步骤S4:根据校准后的行驶轨迹信息和图像中的时间信息，采用透视变换算法，进行鸟瞰变换和全景拼接，生成包含历史信息的全景图A；
步骤S5:通过多路全景系统，获取实时的全景图B；
步骤S6:将含有实时信息的全景图B减去含有历史信息的全景图A，由它们的帧差信息，得到一个包含时间信息的物体信息图；
步骤S7:根据物体信息图，判断物体与车辆距离是否低于预设的阈值，若低于阈值则发出警告，提醒驾驶员。
2.根据权利要求1所述的一种基于视觉的车周碰撞预警方法，其特征在于：所述传感器包括使得汽车在变向的时候能够对汽车的方向进行实时定位的方向传感器和可以检测出汽车实时的速度的速度传感器。
3.根据权利要求1所述的一种基于视觉的车周碰撞预警方法，其特征在于：所述摄像头采用鱼眼摄像头。
4.根据权利要求3所述的一种基于视觉的车周碰撞预警方法，其特征在于：所述鱼眼摄像头信号通过标定求出其畸变系数，对其进行畸变校正。
CN201811124517.6A 2018-09-26 2018-09-26 一种基于视觉的车周碰撞预警方法 Active CN109389060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811124517.6A CN109389060B (zh) 2018-09-26 2018-09-26 一种基于视觉的车周碰撞预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811124517.6A CN109389060B (zh) 2018-09-26 2018-09-26 一种基于视觉的车周碰撞预警方法

Publications (2)

Publication Number Publication Date
CN109389060A true CN109389060A (zh) 2019-02-26
CN109389060B CN109389060B (zh) 2021-03-02

Family

ID=65418184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811124517.6A Active CN109389060B (zh) 2018-09-26 2018-09-26 一种基于视觉的车周碰撞预警方法

Country Status (1)

Country Link
CN (1) CN109389060B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290502A (zh) * 2019-05-28 2019-09-27 浙江吉利控股集团有限公司 一种车辆视觉图像信息的融合方法及装置
CN111626227A (zh) * 2020-05-28 2020-09-04 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN111627042A (zh) * 2019-02-28 2020-09-04 丰田自动车株式会社 碰撞确定服务器、程序以及记录介质
CN113762134A (zh) * 2021-09-01 2021-12-07 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法
CN117278697A (zh) * 2023-11-21 2023-12-22 中汽传媒(天津)有限公司 一种用于汽车碰撞全景视频采集的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285690A (zh) * 1999-08-18 2001-02-28 松下电器产业株式会社 多功能车载摄像机系统及其图像显示方法
US20150249786A1 (en) * 2011-11-01 2015-09-03 Microsoft Technology Licensing, Llc Planar panorama imagery generation
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN106772383A (zh) * 2016-12-31 2017-05-31 智车优行科技（北京）有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1285690A (zh) * 1999-08-18 2001-02-28 松下电器产业株式会社 多功能车载摄像机系统及其图像显示方法
US20150249786A1 (en) * 2011-11-01 2015-09-03 Microsoft Technology Licensing, Llc Planar panorama imagery generation
CN106060427A (zh) * 2016-08-25 2016-10-26 刘开剑 基于单摄像头的全景成像方法及其装置
CN106772383A (zh) * 2016-12-31 2017-05-31 智车优行科技（北京）有限公司 车辆周围物体的检测呈现方法、装置和系统、车辆

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEONG-DAN CHOI.ET AL: "" A Synchronization method for Real Time Surround"", 《ACM》 *
张宝龙等: ""一种针对车载全景系统的图像拼接算法的仿真"", 《电子与信息学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627042A (zh) * 2019-02-28 2020-09-04 丰田自动车株式会社 碰撞确定服务器、程序以及记录介质
CN110290502A (zh) * 2019-05-28 2019-09-27 浙江吉利控股集团有限公司 一种车辆视觉图像信息的融合方法及装置
CN111626227A (zh) * 2020-05-28 2020-09-04 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN111626227B (zh) * 2020-05-28 2023-04-28 深圳市博维远景科技有限公司 一种基于双目视觉车底透视全景系统的实现方法
CN113762134A (zh) * 2021-09-01 2021-12-07 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法
CN113762134B (zh) * 2021-09-01 2024-03-29 沈阳工业大学 基于视觉的汽车泊车中周围障碍物的检测方法
CN117278697A (zh) * 2023-11-21 2023-12-22 中汽传媒(天津)有限公司 一种用于汽车碰撞全景视频采集的系统和方法
CN117278697B (zh) * 2023-11-21 2024-03-15 中汽传媒(天津)有限公司 一种用于汽车碰撞全景视频采集的系统和方法

Also Published As

Publication number Publication date
CN109389060B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN106485233B (zh) 可行驶区域检测方法、装置和电子设备
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN109389060A (zh) 一种基于视觉的车周碰撞预警方法
CN108883725B (zh) 一种行驶车辆警报系统和方法
JP7188394B2 (ja) 画像処理装置及び画像処理方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警系统
US8411900B2 (en) Device for detecting/judging road boundary
US11315026B2 (en) Systems and methods for classifying driver behavior
KR101891460B1 (ko) 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치
EP3161507B1 (en) Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle
US8520954B2 (en) Apparatus for detecting lane-marking on road
CN110400478A (zh) 一种路况通知方法及装置
US10699567B2 (en) Method of controlling a traffic surveillance system
WO2014024336A1 (ja) 物体検出装置及び運転支援装置
US9352746B2 (en) Lane relative position estimation method and system for driver assistance systems
CN111198371A (zh) 前视障碍物检测系统
CN106845332B (zh) 利用轮胎旁溅的基于视觉的潮湿路面状况检测
CN110045736A (zh) 一种基于无人机的弯道障碍物避让方法及其系统
CN110588623A (zh) 一种基于神经网络的大型汽车安全驾驶方法及系统
CN106570487A (zh) 物体间的碰撞预测方法和装置
US9365195B2 (en) Monitoring method of vehicle and automatic braking apparatus
CN108394416B (zh) 一种车位显示辅助方法及系统
CN112149560A (zh) 一种车道偏离检测方法
CN117197779A (zh) 一种基于双目视觉的轨道交通异物检测方法、装置及系统
EP4177833A1 (en) Vision system and method for a motor vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant