CN110626269A - 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 - Google Patents

一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 Download PDF

Info

Publication number
CN110626269A
CN110626269A CN201910982853.2A CN201910982853A CN110626269A CN 110626269 A CN110626269 A CN 110626269A CN 201910982853 A CN201910982853 A CN 201910982853A CN 110626269 A CN110626269 A CN 110626269A
Authority
CN
China
Prior art keywords
steering
vehicle
angle
image
change rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910982853.2A
Other languages
English (en)
Inventor
王正家
柯黎明
陆啸龙
何嘉奇
杨红旗
曾雨晴
刘鸣
王少东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201910982853.2A priority Critical patent/CN110626269A/zh
Publication of CN110626269A publication Critical patent/CN110626269A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法,其中的方法包括:首先采集车辆的多个方向的图像信息;然后采集车辆行驶过程中方向盘转动的角度及角度变化率;接着根据车辆方向盘转动的角度及角度变化率,设置一个模糊逻辑控制器,判别出车辆的转向意图;再从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;最后显示调整后的图像。本发明的系统及方法,可以解决现有技术中车辆在转弯时牵引处车身侧处产生动态盲区,从而导致视野丢失的技术问题。

Description

一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
技术领域
本发明涉及数字图像处理技术领域,具体涉及一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法。
背景技术
随着中国经济的快速发展,货运交通的繁荣,大型商用车的需求量日益增加,人们对卡车行驶的安全性的要求也越来越高。驾驶员在驾驶传统后视镜卡车时,通过观察后视镜来判断卡车周围有无障碍物。这种传统后视镜辅助驾驶系统存在如下缺点:1、传统后视镜的视野覆盖面小,存在较大的视野盲区,安全隐患较大。2、为了覆盖较大范围的视野,商用车一般安装很多块后视镜,主要为左主后视镜,左补盲镜,右主后视镜,右补盲镜,前视镜,司机在驾驶时因需观察多个后视镜,容易产生视觉疲劳,增大安全隐患。3、商用车在转弯时,因车身过长,会遮挡住转弯侧后视镜的有效视野,在转弯的另一侧,因车头角度的原因,会出现有效视野丢失的情况。这种情况极大增大了行车安全隐患及道路安全隐患。
为了解决上述技术问题,现有技术中,出现了相关方法,一种实时显示车辆周围360°无缝拼接的全景俯视效果图像的拼接方法和系统(CN109509153)、一种运用6路超广角高清晰摄像头含有视频采集装置,障碍物探测装置,以及报警装置的全景式行车监视报警系统(CN 104670089 A)。
本申请发明人在实施本发明的过程中,发现现有技术的方法,至少存在如下技术问题:
在专利号为CN 109509153的专利中,可以根据车辆的运行情况自动切换到单一画面,储存汽车前后左右摄像头采集的视频信息。这种汽车全景环视辅助安全系统,无法解决大型卡车在转弯时牵引处车身侧的动态盲区,因此该系统及方法应用于大型卡车上,对驾驶的安全性的提高,程度有限。
专利号为CN 104670089 A的专利中,提供了一种运用6路超广角高清晰摄像头含有视频采集装置,障碍物探测装置,通过影像采集装置采集车辆周边环境的多个影像,并对多个影像并将其进行分析处理,获得车辆周边环境的俯瞰影像并进行显示,但是其没有针对转弯盲区提出解决方法,其采用的摄像头非鱼眼摄像头,无法覆盖大型卡车在不同路况运行时,卡车周围的全部区域。并且其探测障碍物的装置为雷达,相较于视觉测障,成本相对较高、不够直观,预警信息也不够丰富,同样的它只适用于小型汽车或轿车等交通工具上。
由此可知,现有技术中的方法存在容易在转弯时牵引处车身侧处产生动态盲区,从而导致视野丢失的技术问题。
发明内容
有鉴于此,本发明提供了一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法,用以解决或者至少部分解决现有技术中的方法存在的容易在转弯时牵引处车身侧处产生动态盲区,从而导致视野丢失的技术问题。
为了解决上述技术问题,本发明提供了一种基于意图辨识模糊控制的智能成像驾驶辅助系统,包括:
图像采集模块,用于采集车辆的多个方向的图像信息;
角度信息采集模块,用于采集车辆行驶过程中方向盘转动的角度及角度变化率;
模糊控制器,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度;
图像调整模块,用于从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;
显示模块,用于显示调整后的图像。
在一种实施方式中,图像采集模块包括在安装于车辆的左右两侧以及前方的摄像装置,分别用于采集车辆的左后方、右后方以及前方的图像信息。
在一种实施方式中,还包括角度计算模块,用于根据预设理论视场,计算出满足视野要求的摄像装置的安装角度,其中,安装角度包括水平方向安装倾斜角和垂直方向的安装倾斜角,水平方向安装倾斜角范围为5°~110°,垂直方向的安装倾斜角范围为:0°~80°。
在一种实施方式中,模糊控制器和图像调整模块集成于嵌入式开发板。
在一种实施方式中,图像调整模块具体用于调整感兴趣区ROI左顶点坐标,从而调整显示屏中视野显示的范围,获得调整后的图像。
在一种实施方式中,图像调整模块还用于:
对调整兴趣区ROI左顶点坐标后的图像进行融合拼接、图像去噪以及图像亮度校准。
基于同样的发明构思,本发明第二方面提供了一种基于意图辨识模糊控制的智能成像方法,其特征在于,包括:
采集车辆的多个方向的图像信息;
采集车辆行驶过程中方向盘转动的角度及角度变化率;
根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度;
从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;
显示调整后的图像。
在一种实施方式中,采集车辆的多个方向的图像信息,包括:
采集车辆的左后方、右后方以及前方的图像信息。
在一种实施方式中,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,包括:
预先在模糊控制器中设置方向盘转动的角度与转向方向之间的对应关系、角度变化率与转向强度之间的对应关系;
根据方向盘转动的角度与转向方向之间的对应关系以及采集的方向盘转动的角度,判断转向方向;
根据角度变化率与转向强度之间的对应关系以及采集的角度变化率,判断转向强度。
在一种实施方式中,根据转向方向以及转向强度,调整感兴趣区域ROI的位置,包括:
根据转向方向,确定视野的范围;
根据转向强度,确定感兴趣区域ROI的移动速度,并确定感兴趣区域ROI相对于原始图像的位置,从而动态调节显示屏中显示的视野。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
由于本发明提供的一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法,首先,采集车辆的多个方向的图像信息;然后采集车辆行驶过程中方向盘转动的角度及角度变化率;接着通过设置一个模糊控制器,用于根据车辆方向盘转动的角度及角度变化率,判别出车辆的转向意图,其中,转向意图包括转向方向以及转向强度;再从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;最后显示调整后的图像。
由于本发明提供的方法或系统,可以通过模糊控制器根据方向盘转动的角度及角度变化率判别出车辆的转向意图(转向方向以及转向强度),然后根据转向方向以及转向强度,调整感兴趣区域ROI的位置,可以利用不同的转向意图选择最佳的视野显示方式,通过转动强度来控制成像系统中的感兴趣区,从而动态调节显示屏中显示的视野,从而解决了商用车等大型汽车转弯时出现实际有效视野丢失的问题,改善了显示效果,提高了安全性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种基于意图辨识模糊控制的智能成像驾驶辅助系统的结构框图;
图2为具体示例中智能成像驾驶辅助系统的结构示意图;
图3为本发明提供的一种基于意图辨识模糊控制的智能成像方法的流程示意图;
图4为本发明实施例中主后视需要覆盖的范围示意图;
图5为本发明实施例中广角外视需要覆盖的范围示意图;
图6为本发明实施例中摄像机视场理论计算模型示意图;
图7为本发明实施例中相机标定与矫正算法的流程图;
图8为本发明实施例中图像传输显示的流程图。
具体实施方式
本发明的目的在于提供一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法,用以改善商用车在转弯时牵引处车身侧的动态盲区问题,从而达到消除盲区、防止视野丢失的目的。
本发明申请人通过大量的研究与实践发现:专利号CN109509153一种拖挂车图像的全景拼接方法及系统的专利文献中,提供了一种实时显示车辆周围360°无缝拼接的全景俯视效果图像的拼接方法和系统,并且可以根据车辆的运行情况自动切换到单一画面,储存汽车前后左右摄像头采集的视频信息。但是,这种汽车全景环视辅助安全系统,关于全景显示和拼接的技术都是采用固定相机角度和高度的采图形式,视野范围有限,在车辆转弯时,由于大型卡车车身较长,会发生由于车身遮挡而造成的视野盲区,这种视野盲区在左右后视镜变现的形式不同,转弯内侧变成车身遮挡造成的视野盲区,转弯外侧表现为有效视野丢失,这种情况类似于汽车车灯一样,晚上在转弯时出现车灯有效照亮区域丢失的情况一样。这类全景拼接技术不是不行,是存在着转弯视野盲区的缺陷。因此该方法及系统应用于大型卡车上,对驾驶的安全性的提高,程度有限。
专利号为CN 104670089 A的专利中,提供的一种运用6路超广角高清晰摄像头含有视频采集装置,主要是采用检测获取全景图,然后显示,并采用预警装置,提供报警与避障,但是其未具体介绍用什么装置来实现,且仍然存在转弯视野盲区的问题。
本发明在满足基本的视野要求之上提出一种转弯视野盲区的解决方法。
为达到上述目的,本发明的主要构思如下:
通过图像采集模块采集车辆的多个方向的图像信息、角度信息采集模块采集车辆行驶过程中方向盘转动的角度及角度变化率;模糊控制器根据车辆方向盘转动的角度及角度变化率,判别出车辆的转向意图、图像调整模块从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;最后通过显示模块显示调整后的图像。
本发明可以利用不同的转向意图选择最佳的视野显示方式,并通过转动强度来控制成像系统显示算法中的感兴趣区,从而动态调节显示屏中显示的视野。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本发明实施例提供了一种基于意图辨识模糊控制的智能成像驾驶辅助系统,请参见图1,包括:
图像采集模201,用于采集车辆的多个方向的图像信息;
角度信息采集模块202,用于采集车辆行驶过程中方向盘转动的角度及角度变化率。
模糊控制器203,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度;
图像调整模块204,用于从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;
显示模块205,用于显示调整后的图像。
在一种实施方式中,图像采集模块包括在安装于车辆的左右两侧以及前方的摄像装置,分别用于采集车辆的左后方、右后方以及前方的图像信息。
所述系统还包括角度计算模块,用于根据预设理论视场,计算出满足视野要求的摄像装置的安装角度,其中,安装角度包括水平方向安装倾斜角和垂直方向的安装倾斜角,水平方向安装倾斜角范围为5°~110°,垂直方向的安装倾斜角范围为:0°~80°。
具体来说,安装角度的计算过程具体实现如下:
1.建立模型(主后视+广角外视摄像机安装高度H=260cm)
(1)欧标要求如图4和图5所示,分别为主后视需要覆盖的范围和广角外视需要覆盖的范围
(2)摄像机视场理论计算,请参见图6,为摄像机视场理论计算模型
其中,摄像机安装高度为OA:OA=2.6m;眼点与摄像机视场边界的距离为AB:0≤AB≤1.5m;摄像机视场角:∠BOC=160°;摄像机左边界与竖直方向的夹角为∠AOB:∠AOB≤θ1;欧标要求的视野范围为BD:BD≥28.5m;O处为摄像机;
也即摄像机水平方向安装倾斜角α:85-80=5°≤α≤110°=80+30;
同理,摄像机垂直方向的安装倾斜角β:80-80=0≤β≤80°=80+0;
综上所述,主后视+广角外视摄像头的水平方向安装倾斜角为α,垂直方向的安装倾斜角β:5°≤α≤110°,0≤β≤80°。
作为一种优选方式,还标定模块,用于对上述安装角度的摄像单元进行标定。标定流程如图7所示。
通过获取摄像单元的内参数和外参数,建立采集图像和矫正图像的变换矩阵的映射模型。将待安装相机固定在某处,对准棋盘格标定板,按360度均分16次,拍摄一组16张的变角度标定照片,采集六组,所采集的图像为:
Ii,j(xi,j,yi,j)(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中,Ii,j为第i个摄像头第j次采集的图像,在棋盘格整个旋转过程中,摄像头的位置和角度固定不变,Ii,j为L行N列的图像,xi,j为Ii,j的横坐标,yi,j为Ii,j的纵坐标,(xi,j,yi,j)为Ii,j的像素坐标;
输入Ii,j,对上述的摄像单元分别进行标定,以获得每个摄像头的4个内参数,记为(i∈[1,3]),5个畸变系数,记为(k1,i,k2,i,p1,i,p2,i,k3,i)(i∈[1,3]),具体过程如下:
qi,j=MiQi,j,其中
(1≤i≤3,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V,wij>0)
其中,为第i个摄像单元的宽度方向焦距,为第i个摄像单元的高度方向焦距,表示第i个摄像单元的光心位置的横坐标值,表示第i个摄像单元的光心位置的纵坐标值,Mi为表示第i个摄像单元的相机矩阵,qi,j(xi,j,yi,j,wi,j)为像素坐标(xi,j,yi,j)的图像坐标,Qi,j点(Xi,j,Yi,j,Zi,j)为qi,j的三维空间坐标点,Xi,j为Qi,j点的横坐标,Yi,j为Qi,j点的纵坐标,Zi,j为Qi,j点的垂直坐标,wi,j=Zi,j,点qi,j(xi,j,yi,j,wi,j)是齐次坐标形式,齐次坐标把维数为n投影空间上的点用(n+1)维向量,其额外限制是任何两点的交比不变,wi,j表示一个非零数平面;
径向畸变数学模型:
x′i,j=xi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
y′i,j=yi,j(1+k1ri,j 2+k2ri,j 4+k3ri,j 6)
(1≤i≤3,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中,ri,j 2=xi,j 2+yi,j 2,ri,j为Ii,j的畸变半径,图像边缘处的径向畸变较大,k1是第一径向形变系数,k2第二径向形变系数,k3第三径向形变系数,(xi,j,yi,j)为Ii,j的像素坐标,(x′i,j,y′i,j)是(xi,j,yi,j)校正后坐标;
切向畸变数学模型:
x′i,j=xi,j+[2p1yi,j+p2(ri,j 2+2xi,j 2)]
y′i,j=yi,j+[p1(ri,j 2+2yi,j 2)+2p2xi,j]
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
(1≤i≤6,1≤j≤L,1≤xi,j≤U,1≤yi,j≤V)
其中,p1为第一切向形变系数,p2为第二切向形变系数,ri,j为Ii,j的畸变半径,(xi,j,yi,j)为Ii,j的像素坐标,(x′i,j,y′i,j)是(xi,j,yi,j)校正后坐标;采集图像与校正后图像映射模型为:
dst(x′i,j,y′i,j)=src(a00xi,j+a01yi,j+b0,a10xi,j+a11yi,j+b1)
其中,(xi,j,yi,j)为Ii,j的像素坐标,(x′i,j,y′i,j)是(xi,j,yi,j)校正后坐标,a00,a01,a10,a11为多项式系数,b0,b1为多项式常数项。
本发明采用16组标定,具有较高的精确度。
模糊控制器,具体用于:
预先在模糊控制器中设置方向盘转动的角度与转向方向之间的对应关系、角度变化率与转向强度之间的对应关系;
根据方向盘转动的角度与转向方向之间的对应关系以及采集的方向盘转动的角度,判断转向方向;
根据角度变化率与转向强度之间的对应关系以及采集的角度变化率,判断转向强度。
在一种实施方式中,图像调整模块具体用于:
根据转向方向,确定视野的范围;
根据转向强度,确定感兴趣区域ROI的移动速度,并确定感兴趣区域ROI相对于原始图像的位置,从而动态调节显示屏中显示的视野。
其中,图像调整模块具体用于调整感兴趣区ROI左顶点坐标,从而调整显示屏中视野显示的范围,获得调整后的图像。
具体来说,转向意图包括转向方向和转向强度,其中,转向的方向即左转还是右转,转向强度分为快速转弯、慢速转弯。
具体的实施过程中,可以通过在商用车的左右两侧以及前方的合适位置上安装摄像头,将获取的信号传输至车载MCU(嵌入式板)上,同时在商用车方向盘转轴上安装角度编码器,将编码器接收到的信息传输至车载MCU上,从而获取汽车在行驶过程中方向盘转动的角度及角度变化率。基于方向盘转动轴转动角度及变化率设置一个模糊逻辑控制器,建立方向盘转动的角度与转向方向之间的对应关系、角度变化率与转向强度之间的对应关系。并对转向强度进行识别,利用不同的转向意图选择最佳的视野显示方式,通过转动强度来控制成像系统显示算法中的感兴趣区,从而动态调节显示屏中显示的视野。
下面介绍视野显示方式,在一张分辨率为1920X720的图像中取出一个640X480大小的区域,即在一张大图上画一个小矩形出来,取出来的这个小区域即为ROI(region ofinterest 0感兴趣区域,电子后视镜也就是显示屏上显示的就是ROI区域。需要说明的是,因为选用的大角度鱼眼摄像头拍摄的视野范围足够大,但是传统玻璃视镜的视野范围较小,或者欧标要求的电子后视镜显示的视野范围也比选用的大角度鱼眼摄像头拍摄的视野范围要小,所以只需取出要求范围内的区域显示在电子显示屏上即可。
当商用车在转弯时由于车身挡住了大部分的视野范围,看不见转弯侧的视野时,此时本发明可以将ROI往外平移,也就是取出被遮挡之外的显示区域,从而可以解决因遮挡而出现的转弯盲区的问题,这个过程就需要模糊控制器中的结果参数(即转向意图),转向方向来判断视野的范围,即ROI是取左侧的视野还是右侧的视野。转向强度决定ROI的移动速度,就是根据转向意图来调节矩形框(640X480大小的图)在摄像头拍摄的原图1920x720的相对位置),从而动态调节显示屏中显示的视野。
在一种实施方式中,图像调整模块还用于:
对调整兴趣区ROI左顶点坐标后的图像进行融合拼接、图像去噪以及图像亮度校准。
具体来说,请参见图8,为图像显示传输的整体流程图,通过摄像单元采集图像信息后,对图像信息进行预处理,通过编码器获取转向轴信息,通过模糊控制器进行转向意识判断,然后根据转向意识动态调整ROI左顶点的坐标,接着对调整后的多个图像进行融合拼接、图像去噪以及亮度校准,最后进行图像显示。
在一种实施方式中,模糊控制器和图像调整模块集成于嵌入式开发板。
请参见图2,为具体示例中智能成像驾驶辅助系统的结构示意图,其中,采集模块包括三个摄像头,模糊控制器和图像调整模块集成于ARM Cortex-A7q嵌入式板中。
成像驾驶辅助系统中,模糊控制模块由方向盘转轴上的角度编码器、模糊控制器组成。采集模块(成像单元)由安装在商用车左侧的左视摄像头,右侧的右视摄像头,前侧的前视摄像头,车载MCU为ARM Cortex-A7q嵌入式板,显示模块为电子显示屏。
具体来说,模糊控制器主要用于实现意图识别模糊控制,图像调整模块主要用于根据意图辨识的结果,对图像进行调整并进行显示。
在具体的实现过程中,将标定好的摄像单元按照一定的角度,固定在商用车上,本方案为三摄像头方案,分别为左后视镜,前视镜,右后视镜,通过数据传输线,传输至基于ARM Cortex-A7q嵌入式板,同时连接在转向轴上的角度编码器,实时传输方向盘转向角度信息至嵌入式板,然后动态调整感兴趣区ROI左上角坐标,从而调整显示屏中视野显示的范围。
实施例二
基于同样的发明构思,本发明实施例二提供了一种基于意图辨识模糊控制的智能成像方法,请参见图3,该方法包括:
步骤S1:采集车辆的多个方向的图像信息。
具体来说,多个方向可以根据实际情况确定,例如可以包括前方、左后方、右后方等方向。
在一种实施方式中,采集车辆的多个方向的图像信息,包括:
采集车辆的左后方、右后方以及前方的图像信息。
步骤S2:采集车辆行驶过程中方向盘转动的角度及角度变化率。
步骤S3:根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度。
在一种实施方式中,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,包括:
预先在模糊控制器中设置方向盘转动的角度与转向方向之间的对应关系、角度变化率与转向强度之间的对应关系;
根据方向盘转动的角度与转向方向之间的对应关系以及采集的方向盘转动的角度,判断转向方向;
根据角度变化率与转向强度之间的对应关系以及采集的角度变化率,判断转向强度。
步骤S4:从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像。
在一种实施方式中,根据转向方向以及转向强度,调整感兴趣区域ROI的位置,包括:
根据转向方向,确定视野的范围;
根据转向强度,确定感兴趣区域ROI的移动速度,并确定感兴趣区域ROI相对于原始图像的位置,从而动态调节显示屏中显示的视野。
步骤S5:显示调整后的图像。
由于本发明实施例二所介绍的方法,为基于本发明实施例一中基于意图辨识模糊控制的智能成像系统所实现的方法,故而基于本发明实施例一所介绍的系统,本领域所属人员能够了解该方法具体实施过程及变形,故而在此不再赘述。凡是基于本发明实施例一的系统所实现的方法都属于本发明所欲保护的范围。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于意图辨识模糊控制的智能成像驾驶辅助系统,其特征在于,包括:
图像采集模块,用于采集车辆的多个方向的图像信息;
角度信息采集模块,用于采集车辆行驶过程中方向盘转动的角度及角度变化率;
模糊控制器,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度;
图像调整模块,用于从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;
显示模块,用于显示调整后的图像。
2.如权利要求1所述的系统,其特征在于,图像采集模块包括在安装于车辆的左右两侧以及前方的摄像装置,分别用于采集车辆的左后方、右后方以及前方的图像信息。
3.如权利要求2所述的系统,其特征在于,还包括角度计算模块,用于根据预设理论视场,计算出满足视野要求的摄像装置的安装角度,其中,安装角度包括水平方向安装倾斜角和垂直方向的安装倾斜角,水平方向安装倾斜角范围为5°~110°,垂直方向的安装倾斜角范围为:0°~80°。
4.如权利要求1所述的系统,其特征在于,模糊控制器和图像调整模块集成于嵌入式开发板。
5.如权利要求1所述的系统,其特征在于,图像调整模块具体用于调整感兴趣区ROI左顶点坐标,从而调整显示屏中视野显示的范围,获得调整后的图像。
6.如权利要求1所述的系统,其特征在于,图像调整模块还用于:
对调整兴趣区ROI左顶点坐标后的图像进行融合拼接、图像去噪以及图像亮度校准。
7.一种基于意图辨识模糊控制的智能成像方法,其特征在于,包括:
采集车辆的多个方向的图像信息;
采集车辆行驶过程中方向盘转动的角度及角度变化率;
根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,其中,转向意图包括转向方向以及转向强度;
从图像信息中确定出感兴趣区域ROI,并根据转向方向以及转向强度,调整感兴趣区域ROI的位置,获得调整后的图像;
显示调整后的图像。
8.如权利要求7所述的方法,其特征在于,采集车辆的多个方向的图像信息,包括:
采集车辆的左后方、右后方以及前方的图像信息。
9.如权利要求7所述的方法,其特征在于,根据车辆方向盘转动的角度及角度变化率,判断车辆的转向意图,包括:
预先在模糊控制器中设置方向盘转动的角度与转向方向之间的对应关系、角度变化率与转向强度之间的对应关系;
根据方向盘转动的角度与转向方向之间的对应关系以及采集的方向盘转动的角度,判断转向方向;
根据角度变化率与转向强度之间的对应关系以及采集的角度变化率,判断转向强度。
10.如权利要求7所述的方法,其特征在于,根据转向方向以及转向强度,调整感兴趣区域ROI的位置,包括:
根据转向方向,确定视野的范围;
根据转向强度,确定感兴趣区域ROI的移动速度,并确定感兴趣区域ROI相对于原始图像的位置,从而动态调节显示屏中显示的视野。
CN201910982853.2A 2019-10-16 2019-10-16 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 Pending CN110626269A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910982853.2A CN110626269A (zh) 2019-10-16 2019-10-16 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910982853.2A CN110626269A (zh) 2019-10-16 2019-10-16 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法

Publications (1)

Publication Number Publication Date
CN110626269A true CN110626269A (zh) 2019-12-31

Family

ID=68975279

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910982853.2A Pending CN110626269A (zh) 2019-10-16 2019-10-16 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法

Country Status (1)

Country Link
CN (1) CN110626269A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277796A (zh) * 2020-01-21 2020-06-12 深圳市德赛微电子技术有限公司 图像处理方法、车载视觉辅助系统及存储设备
CN112046470A (zh) * 2020-07-29 2020-12-08 北汽福田汽车股份有限公司 控制后视图像显示的方法、装置、介质、控制器及车辆
CN112172671A (zh) * 2020-10-19 2021-01-05 广州优创电子有限公司 商用车后视图像显示方法、装置、计算机设备及存储介质
CN115134491A (zh) * 2022-05-27 2022-09-30 深圳市有方科技股份有限公司 图像处理方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115651A (en) * 1998-01-15 2000-09-05 Cruz; Diogenes J. Large vehicle blindspot monitor
CN104010912A (zh) * 2011-12-29 2014-08-27 英特尔公司 用于增强车辆内摄像仪视场的系统、方法和装置
CN104367380A (zh) * 2014-12-10 2015-02-25 中国科学院自动化研究所 视野可切换的双光路分子影像导航系统及成像方法
CN104369710A (zh) * 2014-11-28 2015-02-25 蒙政涛 智能汽车转弯遇障报警装置
CN104554060A (zh) * 2014-07-30 2015-04-29 浙江吉利控股集团有限公司 一种增加车辆过弯安全性的方法及系统
CN104691403A (zh) * 2015-01-09 2015-06-10 重庆蓝岸通讯技术有限公司 汽车前照灯弯道自适应控制系统及其控制方法
US20170104907A1 (en) * 2015-10-07 2017-04-13 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115651A (en) * 1998-01-15 2000-09-05 Cruz; Diogenes J. Large vehicle blindspot monitor
CN104010912A (zh) * 2011-12-29 2014-08-27 英特尔公司 用于增强车辆内摄像仪视场的系统、方法和装置
CN104554060A (zh) * 2014-07-30 2015-04-29 浙江吉利控股集团有限公司 一种增加车辆过弯安全性的方法及系统
CN104369710A (zh) * 2014-11-28 2015-02-25 蒙政涛 智能汽车转弯遇障报警装置
CN104367380A (zh) * 2014-12-10 2015-02-25 中国科学院自动化研究所 视野可切换的双光路分子影像导航系统及成像方法
CN104691403A (zh) * 2015-01-09 2015-06-10 重庆蓝岸通讯技术有限公司 汽车前照灯弯道自适应控制系统及其控制方法
US20170104907A1 (en) * 2015-10-07 2017-04-13 Magna Electronics Inc. Vehicle vision system camera with adaptive field of view
CN109435852A (zh) * 2018-11-08 2019-03-08 湖北工业大学 一种针对大型卡车的全景式辅助驾驶系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111277796A (zh) * 2020-01-21 2020-06-12 深圳市德赛微电子技术有限公司 图像处理方法、车载视觉辅助系统及存储设备
CN112046470A (zh) * 2020-07-29 2020-12-08 北汽福田汽车股份有限公司 控制后视图像显示的方法、装置、介质、控制器及车辆
CN112172671A (zh) * 2020-10-19 2021-01-05 广州优创电子有限公司 商用车后视图像显示方法、装置、计算机设备及存储介质
CN115134491A (zh) * 2022-05-27 2022-09-30 深圳市有方科技股份有限公司 图像处理方法和装置
CN115134491B (zh) * 2022-05-27 2023-11-24 深圳市有方科技股份有限公司 图像处理方法和装置

Similar Documents

Publication Publication Date Title
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN110626269A (zh) 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
US10255509B2 (en) Adaptive lane marker detection for a vehicular vision system
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
CN108263283A (zh) 多编组变角度车辆全景环视系统标定及拼接方法
CN202035096U (zh) 移动机械的移动操作监控系统
US20110169957A1 (en) Vehicle Image Processing Method
US8477191B2 (en) On-vehicle image pickup apparatus
CN206279433U (zh) 机动建筑机械
US11263758B2 (en) Image processing method and apparatus
CN111361502B (zh) 一种用于铰接工程车辆变角度全景环视系统的实现方法
US10902622B2 (en) Method and device for generating a view around a vehicle for a vehicle
CN112721802A (zh) 集成全景环视和盲区行人预警的车载设备及其预警方法
CN111179168A (zh) 一种车载360度全景环视监控系统及方法
CN106855999A (zh) 汽车环视图像的生成方法及装置
CN111652937A (zh) 车载相机标定方法和装置
CN109472737B (zh) 一种车载六路摄像头的全景报警方法
CN114937090A (zh) 一种智能电子前后视镜系统
CN111626227B (zh) 一种基于双目视觉车底透视全景系统的实现方法
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
CN116409243A (zh) 一种基于360度鱼眼摄像头的货车全景行人定位及预警方法
CN110809780A (zh) 用于生成机动车辆及机动车辆的环境区域的至少一个合并的视角观察图像的方法、相机系统以及机动车辆
CN114162048A (zh) 确保车辆安全行驶系统及方法
CN113547984A (zh) 一种基于hud的车辆a柱盲区识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191231