CN111756984A - 一种实现倒车实时图像半全景的图像处理方法和系统 - Google Patents

一种实现倒车实时图像半全景的图像处理方法和系统 Download PDF

Info

Publication number
CN111756984A
CN111756984A CN201910231699.5A CN201910231699A CN111756984A CN 111756984 A CN111756984 A CN 111756984A CN 201910231699 A CN201910231699 A CN 201910231699A CN 111756984 A CN111756984 A CN 111756984A
Authority
CN
China
Prior art keywords
image
vehicle
real
driver
backing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910231699.5A
Other languages
English (en)
Inventor
李子旭
朱杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ChinaGPS Co Ltd Shenzhen
Original Assignee
ChinaGPS Co Ltd Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ChinaGPS Co Ltd Shenzhen filed Critical ChinaGPS Co Ltd Shenzhen
Priority to CN201910231699.5A priority Critical patent/CN111756984A/zh
Publication of CN111756984A publication Critical patent/CN111756984A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种实现倒车实时图像半全景的图像处理方法和系统，通过汽车尾部安装的后视摄像头采集倒车实时图像，对采集到的倒车实时图像进行畸变矫正，根据车辆信息自动裁剪、放大、组合生成驾驶员最感兴趣的倒车实时图像，传输至车载显示屏上供驾驶员参考，帮助驾驶员避免在倒车过程中发生的安全事故。本发明能够向驾驶员提供符合视觉观感且最感兴趣的倒车实时图像，同时可以只用一个后视摄像头形成半全景的倒车实时图像，有效节省成本。

Description

一种实现倒车实时图像半全景的图像处理方法和系统
技术领域
本发明涉及图像处理方法，尤其是一种实现倒车实时图像半全景的图像处理方法和系统。
背景技术
随着人们生活质量的不断提高，汽车已经成为了人们生活中不可或缺的一部分，但是很多新手驾驶员由于刚刚开车不久，在倒车入库和日常行驶变道时对车身距离把握不好，容易剐蹭到旁边车辆，造成交通安全事故。因此许多车辆都会安装辅助倒车系统或者360°全景系统，虽然能给驾驶员提供一定帮助，但是辅助倒车系统都是将倒车图像直接反馈给驾驶员，一方面为了获取车辆后方更大的视野，采用的广角摄像头会使拍摄到的图像发生畸变，导致驾驶员不能准确的判断车后环境，另一方面辅助倒车系统只能向驾驶员提供单一的画面信息，无法向驾驶员提供感兴趣的局部画面，不能灵活的向驾驶员反馈信息。而360°全景系统需要前后左右至少4个摄像头，设备成本较高，并不适用于所有车辆。
发明内容
基于以上存在的问题，本发明的目的是提出一种能够向驾驶员提供准确的车后环境影像，同时能根据驾驶员的操作，自动显示驾驶员最感兴趣的倒车影像的图像处理方法。
为实现上述目的，本发明采用以下技术方案：一种实现倒车实时图像半全景的图像处理方法，其特征在于，包括以下步骤：1)通过后视摄像头采集倒车实时图像；2)对采集到的实时图像图像进行畸变矫正，将图像变为符合驾驶员正常视觉观感的图像；3)对处理过的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车图像；4)将处理好的图像组成的视频码流传输到车辆中控屏幕上，供驾驶员参考。
所述步骤3包括以下步骤：①读取车辆总线CAN采集到的车辆信息；②根据采集到的车辆信息，综合驾驶员正常的驾驶习惯，判断驾驶员感兴趣的倒车图像；③根据判断结果，将所述步骤2得到的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车图像。
本发明还包括一种实现倒车实时图像半全景的图像处理系统，所述系统包括：后视摄像头，与信息采集模块连接，用于采集车辆倒车时的实时图像；图像处理模块，与信息采集模块连接，用于对采集到的实时图像图像进行畸变矫正，接收车辆信息并根据车辆信息裁剪和放大得到驾驶员最感兴趣的倒车图像，组合经过处理的倒车图像形成车辆倒车半全景图像；信息传输模块，与汽车传感器电连接，与图像处理模块、后视摄像头、车载显示屏通讯连接，用于采集车辆信息及图像处理模块、摄像头和显示屏之间的信息传输；车载显示屏，与信息传输模块连接，用于接收图形处理模块处理过的倒车实时图像展示给驾驶员，辅助驾驶员安全倒车。
本发明由于采用以上技术方案，其具有以下优点：1、本发明对后视摄像头采集到的图像进行畸变矫正，能够得到更加符合驾驶员视觉观感的倒车图像，方便驾驶员判断倒车时的位置信息，为驾驶员安全驾驶提供保障；2、本发明通过读取车辆信息，主动判断驾驶员感兴趣的倒车图像，同时对图像进行相应的处理，使驾驶员在倒车过程中能关注到想要关注的信息；3、本发明只需要一个车辆尾部的后视摄像头，可以根据客户需求对处理的倒车视频画面进行组合，代替多个摄像头形成车辆倒车半全景实时图像，本发明成本较低，适用于各种倒车辅助系统。
附图说明
图1是车辆后视摄像头采集到的倒车图像；
图2是经过畸变矫正后得到的倒车图像；
图3是根据车辆速度信息，对倒车图像进行局部放大处理所得到的倒车图像
图4是车辆倒车打开左转向灯时，经过处理的车辆后部左侧图像；
图5是车辆倒车打开右转向灯时，经过处理的车辆后部右侧图像；
图6是经过组合后得到的车辆倒车半全景图像；
图7是本发明涉及的一种实现倒车实时图像半全景的图像处理方法的流程图；
图8是本发明涉及的如何获得驾驶员最感兴趣的倒车实时图像方法的流程图；
图9是使用本发明所述方法的一种倒车辅助系统的结构示意图。
具体实施方式
下面结合实施例，对本发明进行详细的描述：
本发明包括以下步骤：
1)通过后视摄像头采集倒车图像；
2)对采集到的图像进行畸变矫正，将图像变为符合驾驶员正常视觉观感的图像；
3)对处理过的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车图像；
4)将处理好的图像组成的视频码流传输到车辆中控屏幕上，供驾驶员参考。
其中所述步骤3包括以下步骤：①读取车辆总线CAN采集到的车辆信息；②根据采集到的车辆信息，判断驾驶员感兴趣的倒车图像；③根据判断结果，将所述步骤2得到的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车图像。
后视摄像头的原始图像如图1所示，为了尽可能多的显示车辆后方的环境情况，现有倒车辅助系统都会选择广角摄像头作为后视摄像头，可见画面远处的物体因为透视的关系产生失真变形，所以需要进行畸变矫正。
下面通过具体实施例，对如何本发明所述方法如何进行畸变矫正做出解释。
摄像头拍摄图像发生畸变主要是因为图像产生径向畸变和切向畸变，其中，径向畸变产生原因是光线在原理透镜中心的地方比靠近中心的地方更加弯曲；切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的。为了对后视摄像头采集的图像进行畸变矫正，需要同时将径向畸变和切向畸变消除，因此建立以下方程组：
x0＝x(1+k1r2+k2r4+k3r6)+x+2p1xy+p2(r2+2x2)
y0＝y(1+k1r2+k2r4+k3r6)+y+p1(r2+2y2)+2p2xy
其中r2＝x2+y2，(x0，y0)是畸变的原图上像素点的位置，(x，y)是校正后输出图像上像素点的位置，k1、k2和k3是径向形变系数，p1和p2是切向形变系数，由此可以得到畸变向量是一个五维向量，包括：k1、k2、p1、p2和k3。根据后视摄像头采集到的畸变后的图像，通过畸变模型推导与真实图像的映射关系，找出所有的正常图像像素坐标位置映射的畸变图像像素坐标位置，取出对应的像素值，本实施例通过此方法得到符合驾驶员视觉观感的图像如图2所示，远处的物体不再因为畸变的关系产生扭曲，符合人类双眼看物体的视觉感官。
下面通过具体实施例图8解释本方法如何判断并得到驾驶员最感兴趣的倒车视频图像。
该实施例中，图像信号处理器ISP通过I2C(一种双向二进制同步串行总线)、Uart(通用异步收发传输器)或者UTP协议(一种便于使用的新BitTorrent协议)读取车辆总线CAN传输的车辆速度、档位和转向灯信息，根据传输的信息对得到的正常图像进行缩放、裁剪、组合得到驾驶员最感兴趣的倒车图像。如图3所示，当车速高于一定限度时，ISP自动裁剪并放大车辆远端的图像，帮助驾驶员更清楚的看到远端是否存在障碍物。如图4和图5所示，当驾驶员在倒车时打开向左(右)的转向灯，ISP自动裁剪左(右)侧的图像并放大，协助驾驶员安全的向左(右)倒车变更车道。并且ISP还能够对上述得到的所有图像进行组合，多角度全方位显示倒车图像，一个摄像头可以当做多个摄像头使用。接着，图像信号处理器ISP再通过I2C、Uart或者UTP协议将处理完的视频码流传输到汽车的中控屏幕上，向驾驶员展示倒车时的后视图像。
使用本发明所述的实现倒车实时图像半全景的图像处理系统的一种具体实施例，如参考图9所示，该图像处理系统包括：图像处理模块、信息传输模块、后视摄像头、车载显示屏。
所述图像处理模块，包括图像信号处理器ISP及在处理器内部或外接的存储图像自动处理程序的可读介质，用于处理摄像头拍到的视频画面，判断汽车行驶状态，得到驾驶员感兴趣的倒车画面；所述信息传输模块，包括汽车总线CAN、双向二进制同步串行总线I2C、通用异步收发传输器Uart、比特流协议UTP，用于读取汽车的行驶状态，将行驶状态数据和后视摄像头拍到的倒车实时图像传输给图像处理模块，再把图像处理模块处理好的实时图像传输到车载显示屏上；所述后视摄像头，包括一个位于车辆尾部拍摄车辆后方的广角摄像头或数个摄像头的组合，用于拍摄车辆倒车时的倒车实时图像；车载显示屏，用于向驾驶员提供其感兴趣的倒车实时图像。
需要说明的是，当驾驶员将汽车档位切换为倒车档时，信息传输模块将档位信息传输至后视摄像头，后视摄像头开始工作，采集倒车实时图像并通过信息传输模块传输至图像处理模块，图像处理模块对实时图像畸变矫正后，通过信息传输模块把倒车实时图像传输至车载显示屏上，供驾驶员倒车时参考。在倒车过程中，信息传输模块将收到的车辆后方毫米波测距雷达的测距信息传输至图像处理模块，若毫米波雷达没有检测到车辆后方存在物体，图像处理模块自动将经过畸变矫正的倒车实时图像远端裁剪并放大，通过信息传输模块传输至车载显示屏上，辅助驾驶员了解车辆后方远端的情况，若毫米波雷达检测到了车辆后方存在物体，图像处理自动将经过畸变矫正的倒车实时图像近端裁剪并放大，辅助驾驶员了解车辆与后方物体之间的距离防止碰撞。同时，在倒车过程中，信息传输模块还可以采集方向盘的转向信息，并传输至图像处理模块，若驾驶员将方向盘向右(左)转动时，图像处理模块将后视摄像头采集到的实时图像从中间裁剪开并保留右(左)侧图像拉伸至原图像大小，将处理过的图像通过信息传输模块传输至车载显示屏上，辅助驾驶员向右(左)侧变道。
上面结合附图和实施例对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (8)

1.一种实现倒车实时图像半全景的图像处理方法，其特征在于，该方法包括以下步骤：
S1通过后视摄像头采集倒车实时图像；
S2对采集到的实时图像进行畸变矫正，将图像变为符合驾驶员正常视觉观感的图像；
S3对处理过的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车图像；
S4将处理好的实时图像传输到车辆中控屏幕上，供驾驶员参考。
2.根据权利要求1所述方法，其特征在于，所述步骤S3中，得到驾驶员最感兴趣的倒车图像包括以下步骤：
S31读取车辆总线CAN采集到的车辆信息；
S32根据采集到的车辆信息，综合驾驶员正常的驾驶习惯，判断驾驶员感兴趣的倒车实时图像；
S33根据判断结果，将所述步骤S2得到的图像进行裁剪、缩放、组合，得到驾驶员最感兴趣的倒车实时图像。
3.根据权利要求2所述方法，其特征在于，通过组合经过裁剪、缩放的图像，可以生成车辆倒车的实时半全景图像。
4.一种实现倒车实时图像半全景的图像处理系统，其特征在于，包括：后视摄像头，与信息采集模块连接，用于采集车辆倒车时的实时图像；图像处理模块，与信息采集模块连接，用于对采集到的实时图像进行畸变矫正，接收车辆信息并根据车辆信息裁剪和放大得到驾驶员最感兴趣的倒车实时图像，组合经过处理的倒车实时图像形成车辆倒车半全景实时图像；信息传输模块，与汽车传感器电连接，与图像处理模块、后视摄像头、车载显示屏通讯连接，用于采集车辆信息及图像处理模块、摄像头和显示屏之间的信息传输；车载显示屏，与信息传输模块连接，用于接收图形处理模块处理过的倒车实时图像展示给驾驶员，辅助驾驶员安全倒车。
5.根据权利要求4所述系统，其特征在于，所述图像处理模块，包括图像信号处理器，用于自动对图像畸变矫正，接受车辆信息并根据车辆信息对矫正后图像进行裁剪和放大，还能对处理后的图像进行组合，得到车辆倒车的半全景影像。
6.根据权利要求5所述图像处理模块，其特征在于，通过读取车辆转向灯或方向盘转向信息，图像处理模块可以自动判断驾驶员的转向意图，并对经过畸变矫正后的图像进行处理。
7.根据权利要求6所述图像处理模块，其特征在于，当左转向灯打开或方向盘转角向左时，图像处理模块保留畸变矫正后的图像左半部分并将其放大至原图像大小，当右转向灯打开或方向盘转角向右时，图像处理模块保留畸变矫正后的图像右半部分并将其放大至原图像大小。
8.根据权利要求4所述系统，其特征在于，所述信息传输模块，包括车辆总线、双向二进制同步串行总线、通用异步收发传输器和比特流协议，其中车辆总线用于采集车辆传感器信号，将其传输给图像处理模块，双向二进制同步串行总线、通用异步收发传输器和比特流协议用于将处理好的倒车实时图像传输至车载显示屏，作为驾驶员倒车时的参考影像。
CN201910231699.5A 2019-03-26 2019-03-26 一种实现倒车实时图像半全景的图像处理方法和系统 Pending CN111756984A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910231699.5A CN111756984A (zh) 2019-03-26 2019-03-26 一种实现倒车实时图像半全景的图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910231699.5A CN111756984A (zh) 2019-03-26 2019-03-26 一种实现倒车实时图像半全景的图像处理方法和系统

Publications (1)

Publication Number Publication Date
CN111756984A true CN111756984A (zh) 2020-10-09

Family

ID=72671187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910231699.5A Pending CN111756984A (zh) 2019-03-26 2019-03-26 一种实现倒车实时图像半全景的图像处理方法和系统

Country Status (1)

Country Link
CN (1) CN111756984A (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607452A (zh) * 2003-09-08 2005-04-20 株式会社自动车电网络技术研究所 用于监控车辆周围的摄像单元和装置
JP2009111536A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 車両用後方確認システム及びその誘導方法
CN101846518A (zh) * 2004-09-30 2010-09-29 歌乐牌株式会社 泊车支援系统
CN103065318A (zh) * 2012-12-30 2013-04-24 深圳普捷利科技有限公司 多摄像机全景系统的曲面投影方法及装置
CN104363986A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 一种图像处理方法和设备
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录系统
CN204360013U (zh) * 2014-12-25 2015-05-27 惠州比亚迪电池有限公司 一种车载抬头显示系统
CN205010094U (zh) * 2015-08-03 2016-02-03 深圳前海智云谷科技有限公司 一种车辆hud系统
CN106335454A (zh) * 2016-09-29 2017-01-18 北京汽车股份有限公司 车辆和驾驶员车辆驾驶习惯的设置方法
CN106364432A (zh) * 2016-08-25 2017-02-01 乐视控股（北京）有限公司 一种车辆控制方法、装置和车辆
US20170039437A1 (en) * 2015-08-06 2017-02-09 University-Industry Foundation, Yonsei University Rear-View Camera System for Vehicle
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN109159786A (zh) * 2018-07-20 2019-01-08 杭州鸿泉物联网技术股份有限公司 基于驾驶员身份的驾驶习惯记忆恢复方法、装置及系统
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN109489591A (zh) * 2018-12-17 2019-03-19 吉林大学 基于机器视觉的平面划痕长度非接触测量方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1607452A (zh) * 2003-09-08 2005-04-20 株式会社自动车电网络技术研究所 用于监控车辆周围的摄像单元和装置
CN101846518A (zh) * 2004-09-30 2010-09-29 歌乐牌株式会社 泊车支援系统
JP2009111536A (ja) * 2007-10-26 2009-05-21 Victor Co Of Japan Ltd 車両用後方確認システム及びその誘導方法
CN103065318A (zh) * 2012-12-30 2013-04-24 深圳普捷利科技有限公司 多摄像机全景系统的曲面投影方法及装置
CN104363986A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 一种图像处理方法和设备
CN104506764A (zh) * 2014-11-17 2015-04-08 南京泓众电子科技有限公司 一种基于拼接视频图像的汽车行驶记录系统
CN204360013U (zh) * 2014-12-25 2015-05-27 惠州比亚迪电池有限公司 一种车载抬头显示系统
CN205010094U (zh) * 2015-08-03 2016-02-03 深圳前海智云谷科技有限公司 一种车辆hud系统
US20170039437A1 (en) * 2015-08-06 2017-02-09 University-Industry Foundation, Yonsei University Rear-View Camera System for Vehicle
CN107054222A (zh) * 2015-12-03 2017-08-18 菲科镜子股份有限公司 一种用于机动车辆的后视系统
CN106364432A (zh) * 2016-08-25 2017-02-01 乐视控股（北京）有限公司 一种车辆控制方法、装置和车辆
CN106335454A (zh) * 2016-09-29 2017-01-18 北京汽车股份有限公司 车辆和驾驶员车辆驾驶习惯的设置方法
CN109159786A (zh) * 2018-07-20 2019-01-08 杭州鸿泉物联网技术股份有限公司 基于驾驶员身份的驾驶习惯记忆恢复方法、装置及系统
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法
CN109489591A (zh) * 2018-12-17 2019-03-19 吉林大学 基于机器视觉的平面划痕长度非接触测量方法

Similar Documents

Publication Publication Date Title
CN110381255B (zh) 应用360全景环视技术的车载视频监控系统及方法
CN102219001B (zh) 外部镜模拟装置和用于外部镜模拟的方法
EP3709635A1 (en) Display system and method
US20080199069A1 (en) Stereo Camera for a Motor Vehicle
CN105763854A (zh) 一种基于单目摄像头的全景成像系统及其成像方法
CN110363085B (zh) 一种基于铰接角补偿的重型铰接车环视实现方法
CN113525234A (zh) 一种辅助驾驶系统装置
CN210201969U (zh) 一种摄像头信号切换装置、驾驶辅助系统及汽车
WO2017190692A1 (zh) 一种驾驶距离校正方法及装置
CN108202666A (zh) 能于车辆转弯时同步显示后方全景与转弯画面的显示方法
CN105774657A (zh) 一种单摄像头全景倒车影像系统及方法
CN204095660U (zh) 全景泊车系统
CN111756984A (zh) 一种实现倒车实时图像半全景的图像处理方法和系统
CN201758429U (zh) 基于数字信号处理器的车用后视全景系统
CN110667477A (zh) 一种车辆夜间影视处理系统及方法
CN216268984U (zh) 一种原车加装360度全景泊车系统
CN216611052U (zh) 一种基于ai识别的电子后视镜
CN214959899U (zh) 一种适用于大型车辆的车载全景拼接系统
CN212447304U (zh) 一种集成导航及全景影像的显示系统
CN114872631A (zh) 透明底盘功能实现方法及系统
CN212332518U (zh) 一种具有后方碰撞预警功能的倒车摄像头
CN209748703U (zh) 360全景泊车影像系统
CN114025129A (zh) 图像处理方法、系统及机动车辆
CN113479137A (zh) 一种能够变换使用场景的电子外后视镜系统
US20200128215A1 (en) Hitch assist backup camera system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination