CN104554010B - 倒车可视系统的信号处理方法 - Google Patents

倒车可视系统的信号处理方法 Download PDF

Info

Publication number
CN104554010B
CN104554010B CN201510007460.1A CN201510007460A CN104554010B CN 104554010 B CN104554010 B CN 104554010B CN 201510007460 A CN201510007460 A CN 201510007460A CN 104554010 B CN104554010 B CN 104554010B
Authority
CN
China
Prior art keywords
video
early warning
stereo
microprocessor
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201510007460.1A
Other languages
English (en)
Other versions
CN104554010A (zh
Inventor
夏振平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University of Science and Technology
Original Assignee
Suzhou University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University of Science and Technology filed Critical Suzhou University of Science and Technology
Priority to CN201510007460.1A priority Critical patent/CN104554010B/zh
Publication of CN104554010A publication Critical patent/CN104554010A/zh
Application granted granted Critical
Publication of CN104554010B publication Critical patent/CN104554010B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明涉及倒车可视系统的信号处理方法，包括：启动；多路摄像镜头采集立体视频信号；调用图像校正参数将立体视频信号进行校正；对校正后的立体视频图像进行立体匹配；没有预警信号，通过裸眼立体显示器播放校正后的立体原视频；有预警信号，通过裸眼立体显示器播放经过预警覆盖膜处理后的立体视频；经过处理后获取立体图像深度信息；微处理器将前后获得的多帧图像深度信息，计算得到相应图像区域的速度和加速度；经过计算获得危险指数；判断是否有区域达到预警级别。利用立体图像获取和显示技术作为倒车可视系统，在表现形式上更为准确地还原了人眼所观看的真实世界，呈现给驾驶人员的视觉信息更加逼真，有利于驾驶人员的准确直观判断。

Description

倒车可视系统的信号处理方法
技术领域
本发明属于汽车及其配件领域，尤其是汽车装载的倒车系统领域，具体的是一种倒车可视系统及其信号处理和显示方法。
背景技术
近年来，随着人们生活水平的日益提高和工作生活的需要，汽车已经成为人们生活的重要代步工具。我国私家车的保有量屡创新高，有的家庭甚至拥有数量私家车。与此同时，驾驶技术的专业化也逐步向普及化转型，由于驾驶技术不合格造成的小事故屡见不鲜，特别像倒车入库这些申请驾照过程中必考的科目，在实际驾驶过程中还是不可避免地出现碰擦事故，造成经济和财产损失。在这样的强烈应用需求背景下，辅助倒车技术应运而生，先后出现了倒车雷达，倒车后视影像系统等倒车辅助系统。
倒车雷达通过超声波探头探测车辆与车后障碍物的距离，通过发出警报声音急促程度的不同提示车辆与障碍物的距离。倒车后视影像系统通常在车辆尾部中间位置安装图像采集装置，车辆倒车时图像采集装置自动开启并将所采集到的车后影像传输到中控台进行显示，让驾驶人员直观地看到车后的实际情况。
现在技术中的倒车雷达系统虽然能够比较准确地判断距离，但是由于本身的技术局限和成本问题，通常只安装数量有限的探测点，因此存在探测盲区，对一些宽度比较窄的障碍物无法准确识别，同时一些水沟等对车辆存在安全威胁的特殊情况也被忽略，因此存在比较大的安全隐患。
除此之外，雷达系统的警报声通过车辆与障碍物距离进行级别分类，这种分类也存在一定弊端，因为同样的距离下车速不同，危险程度不同，最终还是要通过危险程度进行警报级别分类更加合理。倒车后视影像系统能够直观地让驾驶人员观看到车后的影像，排除雷达系统无法识别的小型障碍物或者水沟等，但是它无法准确提供车辆与车后障碍物的距离信息，人眼通过显示屏观看到的二维视频信息判断距离往往容易误判，从而造成事故。
发明内容
为解决上述技术问题，本发明的目的在于提供一种更有效的辅助驾驶人员倒车、倒车安全性更高的倒车可视系统及其信号处理和显示方法。
为达到上述目的，本发明的技术方案如下：
一种倒车可视系统的信号处理方法，包括以下几步：
步骤一、开始，启动设备，等待进入步骤二；
步骤二、立体视频获取：通过多路摄像镜头同时采集立体视频信号，并且进入步骤三；
步骤三、立体图像校正：调用图像校正参数将步骤二中获取的立体视频信号进行校正，然后进入到步骤四和步骤五中；
步骤四、立体视频匹配：对步骤三中校正后的立体视频图像进行立体匹配，并且进入步骤六中；
步骤五、播放立体视频：没有预警信号时，通过裸眼立体显示器播放步骤三中获得的校正后的立体原视频；在有预警信号时，通过裸眼立体显示器播放经过预警覆盖膜处理后的立体视频，实现可视图像预警；
步骤六、获取立体图像深度信息：经过微处理器处理后获取步骤四中经过立体视频匹配的立体图像深度信息，获得每帧图像的深度，然后进入步骤七；
步骤七、计算：通过微处理器将前后获得的多帧图像深度信息，计算得到相应图像区域的速度和加速度，然后进入步骤八；
步骤八、获得危险指数：根据获得的每帧图像的深度、速度和加速度的信息，经过计算获得危险指数，然后进入步骤九；
步骤九、判断：微处理器根据步骤八中获得的危险指数判断是否有区域达到预警级别，如果是，则进行步骤十和步骤十一，如果不是则返回步骤二；
步骤十、声音预警：通过扬声器播放相应级别的预警警报声音；
步骤十一、微处理器根据危险指数计算相应图像区域的半透覆盖颜色膜，获得预警覆盖膜，然后进入步骤十二；
步骤十二、原视频和预警覆盖膜组合：通过微处理器将原视频和步骤十一中获得的预警覆盖膜组合，在原视频的基础上计算生产预警视频，并且进入步骤二和步骤五中。
优选地，步骤八中危险指数是多个因素的函数形式，计算方式为：DIndex＝f(D,S,A),DIndex为危险指数，D为车辆与障碍物之间的距离，S为行车速度，A为加速度。
本发明的有益效果是:
其一、本发明利用立体图像获取和显示技术作为倒车可视系统，在表现形式上更为准确地还原了人眼所观看的真实世界，呈现给驾驶人员的视觉信息更加逼真，有利于驾驶人员的准确直观判断。
其二、本发明还利用了立体技术可以判断识别障碍物距离的优势，包括距离、速度、加速度三个参数，创造性地从一般人的反应、应急能力出发，提出并使用危险指素的概念，通过危险指数的大小设定预警的级别，并从听觉和视觉两方面同时给驾驶人员提醒，为驾驶人员顺利、安全、轻松地完成倒车任务提供了充足的保障。
其三、本发明的系统操作简单，反应速度快，便于日常中驾驶人员在倒车过程中随时处理遇到的障碍问题。
附图说明
为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的倒车可视系统的原理框架图。
图2为本发明的倒车可视系统的信号处理和显示方法流程图。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
如图1所示，本发明公开了一种倒车可视系统，其包括：若干立体摄像头、视频采集控制器、微处理器、视频播放控制器、裸眼立体显示器、扬声器、人机交互控制器、数据存储器和实时时钟。
其中，上述立体摄像头用于立体视频采集，在本实施例中采用了多路立体摄像头，并且每个立体摄像头至少有两个摄像镜头。
上述视频采集控制器分别与上述立体摄像头和微处理器信号连接，即上述视频采集控制器设置在上述立体摄像头和微处理器之间，上述视频采集控制器控制上述立体摄像头采集视频，并且将上述立体摄像头采集的数据信号传给上述微处理器。
上述微处理器是该倒车可视系统的中心控制器，其能够控制信号输入和输出、控制模式选择以及信号处理，通过上述微处理器可以处理上述视频采集控制器传来的立体视频图像数据信号，并且还能将视频输出信号传给上述视频播放控制器。
上述视频播放控制器能够控制视频播放，上述视频播放控制器接收到上述微处理器传过来的视频数据，然后将视频播放的命令传给裸眼立体显示器，然后上述裸眼立体显示器显示立体视频。
上述扬声器与上述微处理器连接，上述微处理器将视频信号进行处理和计算后，如果处理后获得的危险系数达到预警级别，则通过上述扬声器播放预警警报声音。
上述人机交互控制器与上述微处理器连接，上述人机交互控制器用于操作者输入控制信号、模式选择信号，并且将控制信号和模式选择信号传给上述微处理器。
上述实时时钟用来记录倒车可视系统的实时使用时间，可以记录整个行车时间，并且将实时数据在上述数据存储器中存储。上述数据存储器连接上述微处理器，其存储经过上述微处理器处理的数据信息。
具体的，上述数据存储器存储的数据信息内容包括：视频数据、音频数据、时间数据和图像校正参数。
如图2中所示，本实施例中的倒车可视系统的信号处理和显示方法，包括以下几步：
步骤一、开始，启动设备，等待进入步骤二；
步骤二、立体视频获取：通过多路摄像镜头同时采集立体视频信号，并且进入步骤三；
步骤三、立体图像校正：调用图像校正参数将步骤二中获取的立体视频信号进行校正，然后进入到步骤四和步骤五中；
步骤四、立体视频匹配：对步骤三中校正后的立体视频图像进行立体匹配，并且进入步骤六中；
步骤五、播放立体视频：没有预警信号时，通过上述裸眼立体显示器播放步骤三中获得的校正后的立体原视频；在有预警信号时，通过上述裸眼立体显示器播放经过预警覆盖膜处理后的立体视频，实现可视图像预警；
步骤六、获取立体图像深度信息：经过上述微处理器处理后获取步骤四中经过立体视频匹配的立体图像深度信息，获得每帧图像的深度，然后进入步骤七；
步骤七、计算：通过上述微处理器将前后获得的多帧图像深度信息，计算得到相应图像区域的速度和加速度，然后进入步骤八；
步骤八、获得危险指数：根据获得的每帧图像的深度、速度和加速度的信息，经过计算获得危险指数，然后进入步骤九；
步骤九、判断：上述微处理器根据步骤八中获得的危险指数判断是否有区域达到预警级别，如果是，则进行步骤十和步骤十一，如果不是则返回步骤二；
步骤十、声音预警：通过上述扬声器播放相应级别的预警警报声音；
步骤十一、上述微处理器根据危险指数计算相应图像区域的半透覆盖颜色膜，获得预警覆盖膜，然后进入步骤十二；
步骤十二、原视频和预警覆盖膜组合：通过上述微处理器将原视频和步骤十一中获得的预警覆盖膜组合，在原视频的基础上计算生产预警视频，并且进入步骤二和步骤五中。
具体的，步骤八中危险指数是多个因素的函数形式，计算方式为：DIndex＝f(D,S,A),DIndex为危险指数，D为车辆与障碍物之间的距离，S为行车速度，A为加速度。
本发明的倒车可视系统基于的立体影像采集和显示技术，在倒车过程中，对车辆周边尤其是车后的真实场景进行立体影像的采集，实时以裸眼显示方式呈现给驾驶员，与此同时对采集的立体影像结果进行分析，得到一些诸如车辆与障碍物之间的距离、车辆行驶的速度、加速度等信息，并综合这些分析信息以显示图像和发出声音的形式进行预警，预警等级的呈现方式更加直观，预警等级的分级综合了车辆与障碍物之间的距离、车辆行驶的速度、加速度等信息，将更加客观和科学，更有利于辅助驾驶人员顺利倒车，安全倒车。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种倒车可视系统的信号处理方法，其特征在于，包括以下几步：
步骤一、开始，启动设备，等待进入步骤二；
步骤二、立体视频获取：通过多路摄像镜头同时采集立体视频信号，并且进入步骤三；
步骤三、立体图像校正：调用图像校正参数将步骤二中获取的立体视频信号进行校正，然后进入到步骤四和步骤五中；
步骤四、立体视频匹配：对步骤三中校正后的立体视频图像进行立体匹配，并且进入步骤六中；
步骤五、播放立体视频：没有预警信号时，通过裸眼立体显示器播放步骤三中获得的校正后的立体原视频；在有预警信号时，通过裸眼立体显示器播放经过预警覆盖膜处理后的立体视频，实现可视图像预警；
步骤六、获取立体图像深度信息：经过微处理器处理后获取步骤四中经过立体视频匹配的立体图像深度信息，获得每帧图像的深度，然后进入步骤七；
步骤七、计算：通过微处理器将前后获得的多帧图像深度信息，计算得到相应图像区域的速度和加速度，然后进入步骤八；
步骤八、获得危险指数：根据获得的每帧图像的深度、速度和加速度的信息，经过计算获得危险指数，然后进入步骤九；
步骤九、判断：微处理器根据步骤八中获得的危险指数判断是否有区域达到预警级别，如果是，则进行步骤十和步骤十一，如果不是则返回步骤二；
步骤十、声音预警：通过扬声器播放相应级别的预警警报声音；
步骤十一、微处理器根据危险指数计算相应图像区域的半透覆盖颜色膜，获得预警覆盖膜，然后进入步骤十二；
步骤十二、原视频和预警覆盖膜组合：通过微处理器将原视频和步骤十一中获得的预警覆盖膜组合，在原视频的基础上计算生产预警视频，并且进入步骤二和步骤五中。
2.根据权利要求1所述的倒车可视系统的信号处理方法，其特征在于，步骤八中危险指数是多个因素的函数形式，计算方式为：DIndex＝f(D,S,A),DIndex为危险指数，D为车辆与障碍物之间的距离，S为行车速度，A为加速度。
CN201510007460.1A 2015-01-07 2015-01-07 倒车可视系统的信号处理方法 Expired - Fee Related CN104554010B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510007460.1A CN104554010B (zh) 2015-01-07 2015-01-07 倒车可视系统的信号处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510007460.1A CN104554010B (zh) 2015-01-07 2015-01-07 倒车可视系统的信号处理方法

Publications (2)

Publication Number Publication Date
CN104554010A CN104554010A (zh) 2015-04-29
CN104554010B true CN104554010B (zh) 2016-12-07

Family

ID=53071415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510007460.1A Expired - Fee Related CN104554010B (zh) 2015-01-07 2015-01-07 倒车可视系统的信号处理方法

Country Status (1)

Country Link
CN (1) CN104554010B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105015419B (zh) * 2015-07-17 2017-09-22 中山大学 基于立体视觉定位与建图的自动泊车方法
CN105702090B (zh) * 2016-01-29 2018-08-21 深圳市美好幸福生活安全系统有限公司 一种倒车提醒装置和方法
WO2017197971A1 (zh) * 2016-05-18 2017-11-23 彭波 汽车或移动设备3d影像采集和裸眼3d平视显示系统及3d影像处理方法
CN109910758A (zh) * 2019-02-21 2019-06-21 苏州科技大学 基于3d测距的倒车后视辅助装置及其方法
CN110254352A (zh) * 2019-06-28 2019-09-20 斑马网络技术有限公司 显示方法、装置、电子设备以及存储介质
CN112339762A (zh) * 2020-10-29 2021-02-09 三一专用汽车有限责任公司 倒车影像安全预警方法、搅拌车和计算机可读存储介质
CN114056237A (zh) * 2021-11-10 2022-02-18 深圳市京华信息技术有限公司 一种倒车影像自动显示方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
CN201534522U (zh) * 2009-10-28 2010-07-28 安徽华东光电技术研究所 立体可视倒车系统
JP2011155393A (ja) * 2010-01-26 2011-08-11 Denso It Laboratory Inc 車両周辺画像表示装置及び車両周辺画像表示方法
CN202975334U (zh) * 2012-11-19 2013-06-05 潘琳 带裸眼3d显示屏的gps装置
CN103587479A (zh) * 2012-08-14 2014-02-19 辉达公司 一种用于倒车的裸眼三维视频系统和包括该系统的车辆
CN104135654A (zh) * 2014-07-01 2014-11-05 浙江吉利控股集团有限公司 一种智能3d倒车影像方法及其系统
CN204383308U (zh) * 2015-01-07 2015-06-10 苏州科技学院 倒车可视系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201534522U (zh) * 2009-10-28 2010-07-28 安徽华东光电技术研究所 立体可视倒车系统
CN101739843A (zh) * 2009-12-04 2010-06-16 河海大学常州校区 多视觉信息融合的车辆安全驾驶实时立体感知装置及方法
JP2011155393A (ja) * 2010-01-26 2011-08-11 Denso It Laboratory Inc 車両周辺画像表示装置及び車両周辺画像表示方法
CN103587479A (zh) * 2012-08-14 2014-02-19 辉达公司 一种用于倒车的裸眼三维视频系统和包括该系统的车辆
CN202975334U (zh) * 2012-11-19 2013-06-05 潘琳 带裸眼3d显示屏的gps装置
CN104135654A (zh) * 2014-07-01 2014-11-05 浙江吉利控股集团有限公司 一种智能3d倒车影像方法及其系统
CN204383308U (zh) * 2015-01-07 2015-06-10 苏州科技学院 倒车可视系统

Also Published As

Publication number Publication date
CN104554010A (zh) 2015-04-29

Similar Documents

Publication Publication Date Title
CN104554010B (zh) 倒车可视系统的信号处理方法
CN105197011B (zh) 车辆用驾驶员危险指数管理系统及其方法
CN110316182B (zh) 一种自动泊车系统及方法
US11745755B2 (en) Vehicular driving assist system with driver monitoring
US9035760B2 (en) Method and device for assisting a driver of a motor vehicle when he is removing his vehicle from a parking space, and motor vehicle
US8797351B2 (en) Method for graphically representing the surroundings of a motor vehicle
CN103942960B (zh) 一种车辆变道检测方法及装置
CN104773113B (zh) 周边监视装置
US9544549B2 (en) Method for generating an image of the surroundings of a vehicle and imaging device
CN107009966A (zh) 即将到来的车辆的主动检测和增强的可视化
EP2455250B1 (de) Verfahren zur Erfassung der Umgebung eines Fahrzeugs
US9834141B2 (en) Vehicle object detection system
CN105539293B (zh) 车道偏离预警方法和装置及汽车驾驶辅助系统
DE102017207968A1 (de) Vorrichtung zum Vorbeugen gegen einen Fußgängerkollisionsunfall, System mit derselben, und Verfahren hierzu
JPWO2018061294A1 (ja) 周辺監視装置
JP5408198B2 (ja) 映像表示装置及び映像表示方法
US20160207539A1 (en) Method for executing vehicle function using wearable device and vehicle for carrying out the same
DE102009051526A1 (de) System und Verfahren zum Abbilden der Fahrzeugumgebung mit ein- und verstellbarer Perspektive
JP2022523247A (ja) ながら運転のモニタリング方法、システム及び電子機器
US20180162274A1 (en) Vehicle side-rear warning device and method using the same
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
CN109278642A (zh) 车辆倒车安全性映射
JP2007336466A (ja) 車両用周辺情報提示装置及び車両用周辺情報提示方法
US11878698B2 (en) Display control device, display control method, and storage medium storing display control program
CN113212451A (zh) 一种智能驾驶汽车用后视辅助系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20161207

Termination date: 20220107

CF01 Termination of patent right due to non-payment of annual fee