CN113246859B - 具有驾驶辅助系统警示的电子后视镜 - Google Patents

具有驾驶辅助系统警示的电子后视镜 Download PDF

Info

Publication number
CN113246859B
CN113246859B CN202110591147.2A CN202110591147A CN113246859B CN 113246859 B CN113246859 B CN 113246859B CN 202110591147 A CN202110591147 A CN 202110591147A CN 113246859 B CN113246859 B CN 113246859B
Authority
CN
China
Prior art keywords
image
vehicle
display screen
panoramic image
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110591147.2A
Other languages
English (en)
Other versions
CN113246859A (zh
Inventor
陈善荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianlianxing Technology Co ltd
Original Assignee
Shenzhen Tianlianxing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianlianxing Technology Co ltd filed Critical Shenzhen Tianlianxing Technology Co ltd
Priority to CN202110591147.2A priority Critical patent/CN113246859B/zh
Publication of CN113246859A publication Critical patent/CN113246859A/zh
Application granted granted Critical
Publication of CN113246859B publication Critical patent/CN113246859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/54Cleaning windscreens, windows or optical devices using gas, e.g. hot air
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/56Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/50Barriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4023Type large-size vehicles, e.g. trucks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4026Cycles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • B60W2554/4029Pedestrians

Abstract

本发明提供了一种具有驾驶辅助系统警示的电子后视镜,包括显示屏、毫米波雷达探测器、AI主机和多个摄像机;所述摄像机用于采集对应方向的车辆周围的环景图像;所述毫米波雷达探测器用于检测车辆周围的障碍物;所述AI主机分别与显示屏、毫米波雷达探测器和多个摄像机电连接,所述AI主机用于环景图像的识别与处理,得到全景图像,以及根据障碍物进行安全判断;所述显示屏用于显示车辆周围全景图像,以及发出安全警示。采用本发明可以消除车辆盲区;通过显示屏实现全景图像危险预警,提高驾驶安全性。

Description

具有驾驶辅助系统警示的电子后视镜
技术领域
本发明涉及车辆电子后视镜与安全驾驶技术领域,特别涉及一种具有驾驶辅助系统警示的电子后视镜。
背景技术
驾驶辅助系统是利用安装在车上的各式各样传感器(毫米波雷达、激光雷达、单\双目摄像头以及卫星导航),在汽车行驶过程中随时来感应周围的环境,收集数据,进行静态、动态物体的辨识、侦测与追踪,并结合导航地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。
后视镜是驾驶员坐在驾驶室座位上直接获取汽车后方、侧方和下方等外部信息的工具,因此后视镜对于行车安全非常重要。为了驾驶员操作方便,防止行车安全事故的发生,保障人身安全,各国均规定了汽车上必须安装后视镜。后视镜有一个视界的问题,也就是指镜面所能够反映到的范围。这与驾驶者眼睛与后视镜的距离、后视镜的尺寸大小和后视镜的曲率半径有关。普通后视镜是通过光学原理来反映车辆后方情况,由于光不会自己转弯,所以后视镜存在视觉盲区,无法观察车辆外的所有位置情况;另外,传统后视镜无法与驾驶辅助系统进行有效结合。
驾驶员为不能通过后视镜看清汽车后面的全部情况,会增加驾驶的风险,为了消除盲区,降低风险,提高驾驶辅助系统的智能化与集成度,需要设计一种可以与驾驶辅助系统结合的电子后视镜。
发明内容
为了解决上述技术问题,本发明提供了一种具有驾驶辅助系统警示的电子后视镜,包括显示屏、毫米波雷达探测器、AI主机和多个摄像机;
所述摄像机用于采集对应方向的车辆周围的环景图像;
所述毫米波雷达探测器用于检测车辆周围的障碍物;
所述AI主机分别与显示屏、毫米波雷达探测器和多个摄像机电连接,所述AI主机用于环景图像的识别与处理,得到全景图像,以及根据障碍物进行安全判断;
所述显示屏用于显示车辆周围全景图像,以及发出安全警示。
可选的,还包括亮度检测仪、LED灯和LED开关,所述AI主机包括分析模块,所述AI主机分别与亮度检测仪和LED开关连接;所述摄像机采用高清晰度的感光芯片,所述LED灯围绕摄像机的摄像头圆周方向均匀布置所述,所述LED灯和LED开关形成串联电路,所述分析模块接收亮度检测仪的检测信号并进行环境亮度分析,当环境亮度低于设定亮度时,控制LED开关进行闭合使得LED灯开启。
可选的,所述AI主机连接有信号发射模块,所述信号发射模块将拍摄的环景图像信号通过网络连接发送给第三方通信设备,由第三方通信设备将环景图像信号发送到远端监控平台。
可选的,所述AI主机包括图像识别模块、图像定位模块、图像裁切模块和图像拼接模块;
所述图像识别模块用于识别各摄像机拍摄的环景图像中的图像要素,
所述图像定位模块用于对各帧环景图像中的图像要素进行定位,并确定同一时刻拍摄的各帧环景图像的邻接关系;
所述图像裁切模块用于根据邻接关系在邻接的环景图像中确定邻接重复的图像要素,选择裁切其中一帧环景图像中的重复图像要素;
所述图像拼接模块用于在裁切后,将同一时刻拍摄的各帧环景图像根据邻接关系进行拼接,形成全景图像。
可选的,所述AI主机建立动态三维坐标系,根据毫米波雷达探测器的障碍物检测数据形成障碍物轮廓图像,将障碍物轮廓图像导入动态三维坐标系,通过坐标系转换简化为二维坐标系,采用包围盒算法生成障碍物轮廓线函数y=f(x),再以车辆的移动速度向量延伸直线函数y=kx,k表示车辆移动速度向量的斜率,找到两个函数距离原点最近的遭遇交点的坐标(x1,y1),然后所述AI主机采用以下公式评估车辆与障碍物的遭遇时间:
Figure GDA0003155211490000031
其中,t表示车辆以当前移动速度和方向移动将触碰障碍物的遭遇时间;表示车辆当前的移动速度;
若遭遇时间达到预先设定的反应时间,则所述显示屏发出避障提示信息。
可选的,所述AI主机包括驾驶判定模块,所述驾驶判定模块根据车辆行驶速度、障碍物情况以及从环景图像中识别出的交通指示信息,依据交通规则对车辆行驶是否违规进行判定,若存在违规则通过显示屏发出风险警示。
可选的,所述显示屏设有温度传感器、湿度传感器和暖风机,所述AI主机根据温度传感器测量的温度数据和湿度传感器测量的湿度数据,通过计算判断显示屏表面是否会形成水雾,若是则启动暖风机向显示屏表面吹暖风。
可选的,所述AI主机对每帧环景图像进行以下增强处理:
首先,对环景图像进行多层小波分解,得到各个频率段的小波系数;
其次,将各个频率段的小波系数与系数阈值进行对比,若小波系数大于系数阈值,则对相应频率段的小波系数进行增强处理;
再次,对处理之后的小波系数进行小波重构,得到增强后的环景图像;所述小波重构采用以下算法进行:
Figure GDA0003155211490000032
上式中,Ak+1:n,m表示增强后环景图像的数字信号;k表示采样点数;n表示环景图像垂直方向平移的像素个数;m表示环景图像水平方向平移的像素个数;l表示环景图像的亮度因子,j表示小波分解的二维离散指数;H和G表示互为共轭的滤波器脉冲输出;Ak:n,m表示增强前环景图像的数字信号;D表示分解因子;字母D右上角的数字1,2,3表示分解的尺度。
可选的,所述AI主机连接有测速仪,所述测速仪用于测量车辆周边摄像机对应位置的运动物体的运动速度;所述AI主机对环景图像采用插帧方式进行运动补偿,采用以下计算插帧中各点的像素值:
Figure GDA0003155211490000041
上式中,wi(x,y,αT)表示插帧中i点的像素值;
Figure GDA0003155211490000042
Figure GDA0003155211490000043
表示前一原始帧中i点的像素值;
Figure GDA0003155211490000044
Figure GDA0003155211490000045
表示后一原始帧中i点的像素值;x,y表示i点的位置坐标;α表示插帧在时域上与原始帧的相对位置,0≤α≤1;VX0表示车辆本身的运动矢量的x方向分量;VX1表示i点运动物体的运动矢量的x方向分量;d1表示插帧与前一原始帧之间的相对距离;d2表示插帧与后一原始帧之间的相对距离;Vy0表示车辆本身的运动矢量的y方向分量;Vy1表示i点运动物体的运动矢量的y方向分量;t表示前一原始帧的时间;T表示前一原始帧至后一原始帧的经过时长。
可选的,所述AI主机设有去隔行算法库和评价模块;
所述去隔行算法库内置多种去隔行算法,至少包括场间插值去隔行算法、场内插值去隔行算法和混合插值去隔行算法,所述AI主机采用各个去隔行算法对全景图像进行处理;
所述评价模块采用以下公式对各个去隔行算法处理全景图像的质量进行评价:
Figure GDA0003155211490000051
上式中,Pr(w0,w1)表示第r个去隔行算法处理全景图像的峰值信噪比;w0表示去隔行算法处理前全景图像的像素值,w1表示去隔行算法处理后全景图像的像素值;M表示全景图像的宽度;i表示全景图像宽度的步长序号;N表示全景图像的高度;k表示全景图像高度的步长序号;
选择评价中计算得到的峰值信噪比最高的去隔行算法处理后的全景图像在显示屏进行显示。
本发明的具有驾驶辅助系统警示的电子后视镜,结合视觉智能AI识别技术,通过摄像机的拍摄和毫米波雷达探测器的探测形成的数据,进行识别处理与安全判断,有效判断行人、车辆、其他动物等,预警车辆周围的潜在危险,且通过显示屏展现全景图像,消除盲区;随着科学技术的发展,AI人工智能的结合,可以做到对道路行人、两轮车、三轮车、汽车等运到物体的识别,通过显示屏实现全景图像危险预警,从而减少事故的发生;所述显示屏设有报警灯和/或蜂鸣器/扬声器,当AI主机判断存在安全风险时,由报警灯进行灯光警示和/或由蜂鸣器/扬声器发声音提示,提高驾驶安全性;采用毫米波雷达技术,可实现全天候工作模式,毫米波雷达可以不受环境光线、能见度的影响。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种具有驾驶辅助系统警示的电子后视镜示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如图1所示,本发明实施例提供了一种具有驾驶辅助系统警示的电子后视镜,包括显示屏10、毫米波雷达探测器30、AI主机20和多个摄像机40;
所述摄像机40用于采集对应方向的车辆周围的环景图像;
所述毫米波雷达探测器30用于检测车辆周围的障碍物;
所述AI主机20分别与显示屏10、毫米波雷达探测器30和多个摄像机40电连接,所述AI主机20用于环景图像的识别与处理,得到全景图像,以及根据障碍物进行安全判断;
所述显示屏10用于显示车辆周围全景图像,以及发出安全警示。
上述技术方案的工作原理和有益效果为:本方案结合视觉智能AI(人工智能)识别技术,通过摄像机的拍摄和毫米波雷达探测器的探测形成的数据,进行识别处理与安全判断,有效判断行人、车辆、其他动物等,预警车辆周围的潜在危险,且通过显示屏展现全景图像,消除盲区;随着科学技术的发展,AI人工智能的结合,可以做到对道路行人、两轮车、三轮车、汽车等运到物体的识别,通过显示屏实现全景图像危险预警,从而减少事故的发生;所述显示屏设有报警灯和/或蜂鸣器/扬声器,当AI主机判断存在安全风险时,由报警灯进行灯光警示和/或由蜂鸣器/扬声器发声音提示,提高驾驶安全性;采用毫米波雷达技术,可实现全天候工作模式,毫米波雷达可以不受环境光线、能见度的影响。
在一个实施例中,还包括亮度检测仪、LED灯和LED开关,所述AI主机包括分析模块,所述AI主机分别与亮度检测仪和LED开关连接;所述摄像机采用高清晰度的感光芯片,所述LED灯围绕摄像机的摄像头圆周方向均匀布置所述,所述LED灯和LED开关形成串联电路,所述分析模块接收亮度检测仪的检测信号并进行环境亮度分析,当环境亮度低于设定亮度时,控制LED开关进行闭合使得LED灯开启。
上述技术方案的工作原理和有益效果为:本方案采用高清晰度的感光芯片,通过软件调试,增强环景图像采集的光照;根据要求增加LED聚光灯补光,在夜晚低照度的时候,LED灯在光敏器件的控制下打开LED灯电源,使其工作进行照明,保障拍摄需要的光强度,从而保障环景监控效果;在光源足够亮的时候关闭LED灯电源,以节省能耗。
在一个实施例中,所述AI主机连接有信号发射模块,所述信号发射模块将拍摄的环景图像信号通过网络连接发送给第三方通信设备,由第三方通信设备将环景图像信号发送到远端监控平台。
上述技术方案的工作原理和有益效果为:本方案能够在车辆的行驶过程中,远程查看车辆的实时运行状态,该方式可以为车辆运营管理的日常工作提供便利;采用信号分配技术,克服解决视频信号的同频干扰问题,将摄像机采集的信号一分为二,其中一路信号发送到其他通信设备(第三方通信设备),如录像部标机,再通过部标机等第三方通信设备将视频信号发送到需要查看的其他监控平台,供管理查看。
在一个实施例中,所述AI主机包括图像识别模块、图像定位模块、图像裁切模块和图像拼接模块;
所述图像识别模块用于识别各摄像机拍摄的环景图像中的图像要素,
所述图像定位模块用于对各帧环景图像中的图像要素进行定位,并确定同一时刻拍摄的各帧环景图像的邻接关系;
所述图像裁切模块用于根据邻接关系在邻接的环景图像中确定邻接重复的图像要素,选择裁切其中一帧环景图像中的重复图像要素;
所述图像拼接模块用于在裁切后,将同一时刻拍摄的各帧环景图像根据邻接关系进行拼接,形成全景图像。
上述技术方案的工作原理和有益效果为:本方案通过在AI主机设置图像识别模块、图像定位模块、图像裁切模块和图像拼接模块,在进行图像识别的基础上,通过图像定位模块确定不同方向的摄像机所拍摄环景图像中的图像要素位置,由同一图像要素在不同环景图像中的位置确定各环景图像的邻接关系,再通过图像裁切模块将相邻环景图像中的重复图像要素裁切去除,保证图像要素在所有环景图像中不存在重复,然后通过图像拼接模块将同一时刻拍摄的裁切后各帧环景图像根据邻接关系进行拼接,从而形成车辆的全景图像,由显示屏进行显示,消除了盲区;本方案可以显示合成的车辆360度的全景图像,随着车辆行驶中不间断的环景图像采集、处理和显示,还可转换显示远景与近景的路面状态,让安全防范于未然;设备结合360度全景,可以无缝3D动态360°全景监视车辆的四周实时画面,在车辆启动、起步、慢速20KM/H的速度下,显示360°画面全景图像,让行车、泊车安全更加有保障。
在一个实施例中,所述AI主机建立动态三维坐标系,根据毫米波雷达探测器的障碍物检测数据形成障碍物轮廓图像,将障碍物轮廓图像导入动态三维坐标系,通过坐标系转换简化为二维坐标系,采用包围盒算法生成障碍物轮廓线函数y=f(x),再以车辆的移动速度向量延伸直线函数y=kx,k表示车辆移动速度向量的斜率,找到两个函数距离原点最近的遭遇交点的坐标(x1,y1),然后所述AI主机采用以下公式评估车辆与障碍物的遭遇时间:
Figure GDA0003155211490000081
其中,t表示车辆以当前移动速度和方向移动将触碰障碍物的遭遇时间;表示车辆当前的移动速度;
若遭遇时间达到预先设定的反应时间,则所述显示屏发出避障提示信息。
上述技术方案的工作原理和有益效果为:本方案通过建立动态三维坐标系,获取车辆的移动速度与方向,以障碍物检测数据构建障碍物轮廓图像,引入坐标系转换,把三维坐标系转换为二维平面坐标系,简化分析过程,降低分析难度;采用包围盒算法生成障碍物轮廓线函数,结合移动速度向量延伸直线函数,两个函数距离原点最近的的交点即为可能的遭遇触碰点,获取该点的坐标,通过上述公式计算出车辆以当前移动速度和方向移动将触碰障碍物的遭遇时间,若遭遇时间达到预先设定的驾驶员反应时间,则所述显示屏发出避障提示信息;反应时间根据安全要求进行设定;该方案可以准确反应出车辆与障碍物的相互关系,预先精确评估可能遭遇的时间,以便提前作出反应,让驾驶员有充足的时间进行障碍物规避;当然,如果障碍物是移动物体,可以通过障碍物检测数据分析障碍物移动规律,根据障碍物移动规律对上述方案及公式进行修正。
在一个实施例中,所述AI主机包括驾驶判定模块,所述驾驶判定模块根据车辆行驶速度、障碍物情况以及从环景图像中识别出的交通指示信息,依据交通规则对车辆行驶是否违规进行判定,若存在违规则通过显示屏发出风险警示。
上述技术方案的工作原理和有益效果为:本方案通过在AI主机设置驾驶判定模块,在车辆行驶时,根据车辆行驶速度、障碍物情况以及从环景图像中识别出的交通指示信息,依据交通规则对车辆行驶是否违规进行判定,若存在违规则通过显示屏发出风险警示,可以提高车辆驾驶员的注意力,降低车辆行驶中的违规比例,增强交通安全,降低交通中的人员与财产损失。
在一个实施例中,所述显示屏设有温度传感器、湿度传感器和暖风机,所述AI主机根据温度传感器测量的温度数据和湿度传感器测量的湿度数据,通过计算判断显示屏表面是否会形成水雾,若是则启动暖风机向显示屏表面吹暖风。
上述技术方案的工作原理和有益效果为:本方案通过在显示屏处设有温度传感器、湿度传感器和暖风机,将温度传感器测量的温度数据和湿度传感器测量的湿度数据传输给AI主机,由AI主机通过计算判断显示屏表面是否会形成水雾,若是则启动暖风机向显示屏表面吹暖风,从而防止显示屏表面形成水雾,保障显示图像的清晰度,提高电子后视镜的使用效率。
在一个实施例中,所述AI主机对每帧环景图像进行以下增强处理:
首先,对环景图像进行多层小波分解,得到各个频率段的小波系数;
其次,将各个频率段的小波系数与系数阈值进行对比,若小波系数大于系数阈值,则对相应频率段的小波系数进行增强处理;
再次,对处理之后的小波系数进行小波重构,得到增强后的环景图像;所述小波重构采用以下算法进行:
Figure GDA0003155211490000091
上式中,Ak+1:n,m表示增强后环景图像的数字信号;k表示采样点数;n表示环景图像垂直方向平移的像素个数;m表示环景图像水平方向平移的像素个数;l表示环景图像的亮度因子,j表示小波分解的二维离散指数;H和G表示互为共轭的滤波器脉冲输出;Ak:n,m表示增强前环景图像的数字信号;D表示分解因子;字母D右上角的数字1,2,3表示分解的尺度。
上述技术方案的工作原理和有益效果为:本方案中的环景图像表示二维离散数字信号,小波分解时对其进行二维离散小波变换,若小波分解为三层分解,过程为:给定一幅环景图像,分别在水平和垂直方向上进行滤波,得到四个频率子带为:水平与垂直方向上的低频子带,水平向低频与垂直向高频组成的子带,水平向高频与垂直向低频组成的子带,水平向与垂直向高频子带,对低频子带再进行分解可以得到频率更低的四个次频率子带,接着再对单个次频率子带分解为四个二阶次频率子带;小波分解的层数越多,增强效果越好,但是分解层数多时,计算量就越大,所以,需要考虑分解次数和算法效率之间的权衡;对需要增强的信息在对应频率段的小波系数分别进行增强处理,达到去除噪声或者增强目标的目的;小波重构为小波分解的逆变换过程,每重构一次,信号量就可增加一倍;可以提高用于分析的环景图像清晰度和品质,排除干扰。
在一个实施例中,所述AI主机连接有测速仪,所述测速仪用于测量车辆周边摄像机对应位置的运动物体的运动速度;所述AI主机对环景图像采用插帧方式进行运动补偿,采用以下计算插帧中各点的像素值:
Figure GDA0003155211490000101
上式中,wi(x,y,αT)表示插帧中i点的像素值;
Figure GDA0003155211490000102
Figure GDA0003155211490000111
表示前一原始帧中i点的像素值;
Figure GDA0003155211490000112
Figure GDA0003155211490000113
表示后一原始帧中i点的像素值;x,y表示i点的位置坐标;α表示插帧在时域上与原始帧的相对位置,0≤α≤1;VX0表示车辆本身的运动矢量的x方向分量;VX1表示i点运动物体的运动矢量的x方向分量;d1表示插帧与前一原始帧之间的相对距离;d2表示插帧与后一原始帧之间的相对距离;Vy0表示车辆本身的运动矢量的y方向分量;Vy1表示i点运动物体的运动矢量的y方向分量;t表示前一原始帧的时间;T表示前一原始帧至后一原始帧的经过时长。
上述技术方案的工作原理和有益效果为:本方案关注如何解决车辆本身与周边可能存在的运行物体的运动对环景图像拍摄的不利影响,对环景图像进行分帧处理,以插帧方式对环景图像进行运动补偿,对于插帧采用上述算法进行像素控制,从而使得插帧能够更好地与原始帧契合,避免插帧与原始帧差距较大不但不能起到运动补偿,反而导致环景图像质量下降,影响通过环景图像得到的全景图像质量和驾驶者对全景图像视觉;通过本方案可以提供环景图像清晰度和质量,增强车辆驾驶者的良好视觉体验。
在一个实施例中,所述AI主机设有去隔行算法库和评价模块;
所述去隔行算法库内置多种去隔行算法,至少包括场间插值去隔行算法、场内插值去隔行算法和混合插值去隔行算法,所述AI主机采用各个去隔行算法对全景图像进行处理;
所述评价模块采用以下公式对各个去隔行算法处理全景图像的质量进行评价:
Figure GDA0003155211490000114
上式中,Pr(w0,w1)表示第r个去隔行算法处理全景图像的峰值信噪比;w0表示去隔行算法处理前全景图像的像素值,w1表示去隔行算法处理后全景图像的像素值;M表示全景图像的宽度;i表示全景图像宽度的步长序号;N表示全景图像的高度;k表示全景图像高度的步长序号;
选择评价中计算得到的峰值信噪比最高的去隔行算法处理后的全景图像在显示屏进行显示。
上述技术方案的工作原理和有益效果为:本方案通过在AI主机设置去隔行算法库和评价模块,以库内的去隔行算法对全景图像进行去隔行处理,可以增强全景图像与显示屏的契合度,提高显示效果;另外,通过多个去隔行算法的处理评价来反映去隔行算法处理前后的全景图像差异,峰值信噪比越高说明处理效果越好,因此,选择峰值信噪比最高的去隔行算法处理后的全景图像在显示屏进行显示,从而进一步增强去隔行算法的处理效果。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (9)

1.一种具有驾驶辅助系统警示的电子后视镜,其特征在于,包括显示屏、毫米波雷达探测器、AI主机和多个摄像机;
所述摄像机用于采集对应方向的车辆周围的环景图像;
所述毫米波雷达探测器用于检测车辆周围的障碍物;
所述AI主机分别与显示屏、毫米波雷达探测器和多个摄像机电连接,所述AI主机用于环景图像的识别与处理,得到全景图像,以及根据障碍物进行安全判断;
所述显示屏用于显示车辆周围全景图像,以及发出安全警示;
所述AI主机连接有测速仪,所述测速仪用于测量车辆周边摄像机对应位置的运动物体的运动速度;所述AI主机对环景图像采用插帧方式进行运动补偿,采用以下计算插帧中各点的像素值:
Figure FDA0003921613430000011
上式中,wi(x,y,αT)表示插帧中i点的像素值;
Figure FDA0003921613430000012
Figure FDA0003921613430000013
表示前一原始帧中i点的像素值;
Figure FDA0003921613430000014
Figure FDA0003921613430000015
表示后一原始帧中i点的像素值;x,y表示i点的位置坐标;α表示插帧在时域上与原始帧的相对位置,0≤α≤1;VX0表示车辆本身的运动矢量的x方向分量;VX1表示i点运动物体的运动矢量的x方向分量;d1表示插帧与前一原始帧之间的相对距离;d2表示插帧与后一原始帧之间的相对距离;Vy0表示车辆本身的运动矢量的y方向分量;Vy1表示i点运动物体的运动矢量的y方向分量;t表示前一原始帧的时间;T表示前一原始帧至后一原始帧的经过时长。
2.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,还包括亮度检测仪、LED灯和LED开关,所述AI主机包括分析模块,所述AI主机分别与亮度检测仪和LED开关连接;所述摄像机采用高清晰度的感光芯片,所述LED灯围绕摄像机的摄像头圆周方向均匀布置,所述LED灯和LED开关形成串联电路,所述分析模块接收亮度检测仪的检测信号并进行环境亮度分析,当环境亮度低于设定亮度时,控制LED开关进行闭合使得LED灯开启。
3.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机连接有信号发射模块,所述信号发射模块将拍摄的环景图像信号通过网络连接发送给第三方通信设备,由第三方通信设备将环景图像信号发送到远端监控平台。
4.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机包括图像识别模块、图像定位模块、图像裁切模块和图像拼接模块;
所述图像识别模块用于识别各摄像机拍摄的环景图像中的图像要素,
所述图像定位模块用于对各帧环景图像中的图像要素进行定位,并确定同一时刻拍摄的各帧环景图像的邻接关系;
所述图像裁切模块用于根据邻接关系在邻接的环景图像中确定邻接重复的图像要素,选择裁切其中一帧环景图像中的重复图像要素;
所述图像拼接模块用于在裁切后,将同一时刻拍摄的各帧环景图像根据邻接关系进行拼接,形成全景图像。
5.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机建立动态三维坐标系,根据毫米波雷达探测器的障碍物检测数据形成障碍物轮廓图像,将障碍物轮廓图像导入动态三维坐标系,通过坐标系转换简化为二维坐标系,采用包围盒算法生成障碍物轮廓线函数y=f(x),再以车辆的移动速度向量延伸直线函数y=kx,k表示车辆移动速度向量的斜率,找到两个函数距离原点最近的遭遇交点的坐标(x1,y1),然后所述AI主机采用以下公式评估车辆与障碍物的遭遇时间:
Figure FDA0003921613430000031
其中,t表示车辆以当前移动速度和方向移动将触碰障碍物的遭遇时间;V表示车辆当前的移动速度;
若遭遇时间达到预先设定的反应时间,则所述显示屏发出避障提示信息。
6.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机包括驾驶判定模块,所述驾驶判定模块根据车辆行驶速度、障碍物情况以及从环景图像中识别出的交通指示信息,依据交通规则对车辆行驶是否违规进行判定,若存在违规则通过显示屏发出风险警示。
7.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述显示屏设有温度传感器、湿度传感器和暖风机,所述AI主机根据温度传感器测量的温度数据和湿度传感器测量的湿度数据,通过计算判断显示屏表面是否会形成水雾,若是则启动暖风机向显示屏表面吹暖风。
8.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机对每帧环景图像进行以下增强处理:
首先,对环景图像进行多层小波分解,得到各个频率段的小波系数;
其次,将各个频率段的小波系数与系数阈值进行对比,若小波系数大于系数阈值,则对相应频率段的小波系数进行增强处理;
再次,对处理之后的小波系数进行小波重构,得到增强后的环景图像;所述小波重构采用以下算法进行:
Figure FDA0003921613430000032
上式中,Ak+1:n,m表示增强后环景图像的数字信号;k表示采样点数;n表示环景图像垂直方向平移的像素个数;m表示环景图像水平方向平移的像素个数;l表示环景图像的亮度因子,j表示小波分解的二维离散指数;H和G表示互为共轭的滤波器脉冲输出;Ak:n,m表示增强前环景图像的数字信号;D表示分解因子;字母D右上角的数字1,2,3表示分解的尺度。
9.根据权利要求1所述的具有驾驶辅助系统警示的电子后视镜,其特征在于,所述AI主机设有去隔行算法库和评价模块;
所述去隔行算法库内置多种去隔行算法,至少包括场间插值去隔行算法、场内插值去隔行算法和混合插值去隔行算法,所述AI主机采用各个去隔行算法对全景图像进行处理;
所述评价模块采用以下公式对各个去隔行算法处理全景图像的质量进行评价:
Figure FDA0003921613430000041
上式中,Pr(w0,w1)表示第r个去隔行算法处理全景图像的峰值信噪比;w0表示去隔行算法处理前全景图像的像素值,w1表示去隔行算法处理后全景图像的像素值;M表示全景图像的宽度;i表示全景图像宽度的步长序号;N表示全景图像的高度;k表示全景图像高度的步长序号;
选择评价中计算得到的峰值信噪比最高的去隔行算法处理后的全景图像在显示屏进行显示。
CN202110591147.2A 2021-05-28 2021-05-28 具有驾驶辅助系统警示的电子后视镜 Active CN113246859B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110591147.2A CN113246859B (zh) 2021-05-28 2021-05-28 具有驾驶辅助系统警示的电子后视镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110591147.2A CN113246859B (zh) 2021-05-28 2021-05-28 具有驾驶辅助系统警示的电子后视镜

Publications (2)

Publication Number Publication Date
CN113246859A CN113246859A (zh) 2021-08-13
CN113246859B true CN113246859B (zh) 2023-04-07

Family

ID=77185170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110591147.2A Active CN113246859B (zh) 2021-05-28 2021-05-28 具有驾驶辅助系统警示的电子后视镜

Country Status (1)

Country Link
CN (1) CN113246859B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI788173B (zh) * 2021-12-30 2022-12-21 薩摩亞商動見科技股份有限公司 車輛車隊管理系統

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034988A (ja) * 2005-07-29 2007-02-08 Nissan Motor Co Ltd 車両の障害物回避報知装置
CN103051857B (zh) * 2013-01-25 2015-07-15 西安电子科技大学 基于运动补偿的1/4像素精度视频图像去隔行方法
CN105599682A (zh) * 2016-02-03 2016-05-25 广州勘帝德电子科技有限公司 基于盲区检测和环视影像监控的汽车辅助驾驶系统和方法
CN207274542U (zh) * 2017-05-08 2018-04-27 常熟理工学院 一种车辆盲区避险警示与监控装置
CN107948472A (zh) * 2017-11-29 2018-04-20 北京星云环影科技有限责任公司 智能监控摄像头及安防系统
CN108876741B (zh) * 2018-06-22 2021-08-24 中国矿业大学(北京) 一种复杂光照条件下的图像增强方法
CN112601641B (zh) * 2018-08-23 2024-03-08 实时机器人有限公司 用于机器人运动规划的碰撞检测
CN112073795B (zh) * 2019-06-10 2021-10-01 海信视像科技股份有限公司 视频数据处理方法、装置及显示设备
CN110708464B (zh) * 2019-10-18 2021-02-26 合肥学院 一种数字图像采集系统

Also Published As

Publication number Publication date
CN113246859A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
US11427193B2 (en) Methods and systems for providing depth maps with confidence estimates
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US6993159B1 (en) Driving support system
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
JP2004056763A (ja) 監視装置、監視方法および監視用プログラム
JP2006184276A (ja) 視覚検知による全天候障害物衝突防止装置とその方法
CN109993060B (zh) 深度摄像头的车辆全向障碍物检测方法
KR20090031997A (ko) 차량용 주변 감시 장치 및 영상 표시 방법
CN106926794B (zh) 车辆监控系统及其方法
JP2006338594A (ja) 歩行者認識装置
KR101888960B1 (ko) 도로 평탄도 측정 장치 및 방법
CN114228491A (zh) 具有夜视增强虚拟现实抬头显示系统及方法
JP2010044561A (ja) 乗物搭載用監視装置
CN112896159A (zh) 行车安全预警方法及系统
CN113246859B (zh) 具有驾驶辅助系统警示的电子后视镜
JP2006341713A (ja) ヘッドライト照射方向変更システム、及びヘッドライト照射方向変更方法
JP4752158B2 (ja) 環境複雑度演算装置、環境認識度合推定装置及び障害物警報装置
CN110929606A (zh) 车辆盲区行人监控方法和装置
US20100054541A1 (en) Driving support system with plural dimension processing units
CN103377372A (zh) 一种环视合成图重叠区域划分方法和环视合成图表示方法
Le Guilloux et al. PAROTO project: The benefit of infrared imagery for obstacle avoidance
CN107399274B (zh) 影像叠合的方法
CN112216067B (zh) 一种基于车载广角相机的图像处理方法
JP2007069777A (ja) 障害物検出システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant