CN102745138B - 一种双视场动态轨迹倒车影像系统 - Google Patents

一种双视场动态轨迹倒车影像系统 Download PDF

Info

Publication number
CN102745138B
CN102745138B CN201210256529.0A CN201210256529A CN102745138B CN 102745138 B CN102745138 B CN 102745138B CN 201210256529 A CN201210256529 A CN 201210256529A CN 102745138 B CN102745138 B CN 102745138B
Authority
CN
China
Prior art keywords
image
backing track
reverse
module
mark line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210256529.0A
Other languages
English (en)
Other versions
CN102745138A (zh
Inventor
张德兆
易世春
杨波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Idriverplus Technologies Co Ltd
Original Assignee
BEIJING ZHIHUA YUXIN AUTOMOBILE ELECTRONIC TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING ZHIHUA YUXIN AUTOMOBILE ELECTRONIC TECHNOLOGY DEVELOPMENT Co Ltd filed Critical BEIJING ZHIHUA YUXIN AUTOMOBILE ELECTRONIC TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201210256529.0A priority Critical patent/CN102745138B/zh
Publication of CN102745138A publication Critical patent/CN102745138A/zh
Application granted granted Critical
Publication of CN102745138B publication Critical patent/CN102745138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种双视场动态轨迹倒车影像系统,其特征在于:它包括广角倒车摄像头,方向盘转角传感器,倒车影像控制系统和显示器,倒车影像控制系统获取汽车档位、方向盘转角和驾驶员倒车影像视场选择信息;倒车影像控制系统控制广角倒车摄像头获取车辆后方图像并将其分别发送到倒车轨迹投影单元和倒车影像俯视变换单元,倒车轨迹计算单元采集方向盘转角计算倒车轨迹和距离标记线,并将其发送到倒车轨迹投影单元;倒车轨迹投影单元将倒车轨迹线和距离标记线投影至图像中,并将叠加有倒车轨迹线和距离标记线的图像发送到显示器;倒车影像俯视变换单元车辆后方图像变换为俯视图像,同时将倒车轨迹和距离标记线投影至俯视图像中,并将其发送到显示器。本发明可以广泛应用于汽车倒车过程中为驾驶员提供更准确的参考信息。

Description

一种双视场动态轨迹倒车影像系统
技术领域
本发明涉及一种倒车辅助系统,特别是关于一种用于给驾驶员提供倒车参考信息的双视场动态轨迹倒车影像系统。
背景技术
随着中国汽车保有量的急剧增加,道路、停车场等泊车场所日益拥挤,可以利用的泊车空间也越来越少。与此同时,快速增长的驾驶员人群中操纵不熟练的新手也逐年增多,由于汽车结构和驾驶员视野局限的影响,倒车成为汽车驾驶的主要难点之一。美国密歇根大学的研究表明,泊车导致的事故占到各类事故的44%,其中大约50%的泊车事故是由于倒车造成的。由此可见,倒车是导致车辆事故的一个重要原因。针对上述状况,各种类型的倒车辅助系统得以广泛应用。
目前最常见的倒车辅助系统有两类:倒车雷达和倒车影像。倒车雷达系统通常由超声波探头、控制器、显示器和蜂鸣器组成,当车辆挂上倒档时,超声波探头发射超声波,超声波在碰到障碍物后发生反射,探头接收到反射波后便可以计算出障碍物距离,并驱动显示器或蜂鸣器报警,避免发生碰撞。倒车影像是在汽车尾部安装一个广角摄像头,驾驶员可以通过广角摄像头观察车后方情况。现有的大多数倒车影像系统都可以通过视频叠加显示静态轨迹线,即车身两侧在倒车图像中的延长线。部分倒车影像系统还可以通过采集方向盘转角,计算出该转角下车辆的运行轨迹,并在倒车图像中显示,给驾驶员提供更丰富的信息,降低驾驶难度。
但是,现有的倒车影像系统采用广角摄像头拍摄得到的图像存在很大畸变,驾驶员从图像中很难判断车辆到后方障碍物的距离,特别是距离地面有一定高度的障碍物,由于图像畸变的原因,驾驶员通过图像感觉到的距离要比实际距离远,若按照图像显示进行倒车操作则可能会发生碰撞。为了减少倒车事故的发生,迫切需要一些辅助方法提高倒车影像的距离感,使驾驶员容易理解车辆位置,保障倒车安全。
发明内容
针对上述问题,本发明的目的是提供一种可以根据驾驶员选择输出倒车普通视场图像或俯视视场图像,并能够将车辆倒车轨迹和距离标记线叠加到两个视场的倒车影像中,有效提高倒车影像的距离感的双视场动态轨迹倒车影像系统。
为实现上述目的,本发明采取以下技术方案:一种双视场动态轨迹倒车影像系统,其特征在于:它包括一设置在车辆后方的广角倒车摄像头,一方向盘转角传感器,一倒车影像控制系统和一显示器,所述倒车影像控制系统通过车载CAN总线获取汽车档位、方向盘转角和驾驶员倒车影像视场选择信息,所述倒车影像控制系统还分别与所述广角倒车摄像头和显示器相连接;所述倒车影像控制系统包括一倒车轨迹计算单元、一倒车轨迹投影单元和一倒车影像俯视变换单元;所述倒车影像控制系统控制所述广角倒车摄像头获取车辆后方图像并将其分别发送到所述倒车轨迹投影单元和倒车影像俯视变换单元,所述倒车轨迹计算单元采集方向盘转角传感器信号计算倒车轨迹和距离标记线,并将其发送到所述倒车轨迹投影单元;所述倒车轨迹投影单元根据地面坐标系与图像坐标系的投影变换关系将倒车轨迹和距离标记线投影至图像中,并将叠加有倒车轨迹线和距离标记线的图像发送到所述显示器完成普通视场倒车影像的显示;所述倒车影像俯视变换单元根据地面坐标系与图像坐标系的投影变换关系,将车辆后方图像变换为俯视图像,同时将倒车轨迹和距离标记线投影至俯视图像中,并将叠加有倒车轨迹线和距离标记线的俯视图像发送到所述显示器完成俯视视场倒车影像的显示。
所述地面坐标系与图像坐标系的投影变换关系为:
X Y = c d e 1 · u v + C u C v
ρ = X 2 + Y 2
λ X Y a 0 + a 1 ρ · · · + a L ρ L = [ R | T ] · x y 1
式中,为图像坐标,为感光器件坐标,{x,y}为地面坐标;c,d和e是摄像头仿射系数,Cu,Cv是图像中心偏移量,{a0,…,aL}是摄像头畸变参数,L为畸变次数;R和T是摄像头坐标系相对地面坐标系的旋转矩阵和平移矩阵,λ是缩放系数。
所述倒车轨迹计算单元包括一阿克曼转角计算模块、一倒车方向判断模块、一倒车轨迹计算模块和一距离标记线计算模块;所述阿克曼转角计算模块计算车辆的阿克曼转角并将其发送到所述倒车方向判断模块,所述倒车方向判断模块将倒车方向判断结果发送到所述倒车轨迹计算模块分别计算左轮和右轮的倒车轨迹,并将其发送到所述距离标记线计算模块,所述距离标记线计算模块以车辆后轴中心的倒车轨迹为起始值,以后轴中心为起点,周向每隔Δr在倒车轨迹上选取距离标记点,在每一距离标记点处取沿左、右轮半径方向且位于左、右侧倒车轨迹内部的一段直线作为距离标记线,距离标记线的起始位置分别为左、右侧倒车轨迹线。
所述倒车轨迹投影单元包括一倒车轨迹离散采样模块、一距离标记线采样模块、一图像坐标映射模块和一分段直线绘图模块;所述倒车轨迹离散采样模块对左右侧倒车轨迹分别进行离散采样,并将采样点集发送到所述图像坐标映射模块;所述距离标记线采样模块采集每一条距离标记线的起点和终点的地面坐标值,并将所有距离标记线的起点和终点的地面坐标点集发送到所述图像坐标映射模块;所述图像坐标映射模块根据地面坐标与图像坐标的投影变换关系计算得到倒车轨迹采样点集和距离标记线采样点集对应的图像坐标,并将其全部发送到所述分段直线绘图模块,所述分段直线绘图模块将点集中相邻坐标点依次连接,在图像中绘制出倒车轨迹和距离标记线的投影。
所述倒车影像俯视变换单元包括一俯视图生成单元、一倒车轨迹采样缩放模块、一距离标记线采样缩放模块和一俯视倒车轨迹绘制模块;所述俯视图生成单元计算俯视图像中各点的像素值生成俯视图图像并将其发送到所述俯视倒车轨迹绘制模块;所述倒车轨迹采样缩放模块采集、记录倒车轨迹的采样点坐标值并将其进行缩放后发送到所述俯视倒车轨迹绘制模块;所述距离标记线采样缩放模块采集并记录每一条距离标记线起点和终点的坐标值并对其分别进行缩放后发送到所述俯视倒车轨迹绘制模块;所述俯视倒车轨迹绘制模块在俯视图像上通过分段直线绘制出倒车轨迹和距离标记线的投影。
所述俯视图生成单元包括一俯视图坐标映射子模块、一地面坐标图像投影子模块和一四邻域像素插值子模块;所述俯视图坐标映射子模块计算俯视图像中的每个像素点(uw,vw)所对应的地面坐标(xw,yw),并将其发送到所述地面坐标图像投影子模块;所述地面坐标图像投影子模块利用地面坐标系与摄像头图像坐标系之间的投影变换关系,计算俯视图像的地面坐标对应摄像头坐标(u,v),由此得到俯视图的像素点(uw,vw)对应的摄像头图像像素点(u,v),并将其发送到所述四邻域像素插值子模块,所述四邻域像素插值子模块提取摄像头图像像素点(u,v)相邻的四个像素,经线性插值后得到作为俯视图像像素点(uw,vw)的像素值,完成俯视图像所有像素点的投影计算得到俯视图像。
本发明由于采取以上技术方案,其具有以下优点:1、本发明的倒车影像控制系统由于设置有倒车轨迹计算单元、倒车轨迹投影单元和倒车影像俯视变换单元,倒车轨迹计算单元计算倒车轨迹和距离标记线,倒车轨迹投影单元可以得到叠加有倒车轨迹线和距离标记线的车辆后方普通视场图像,倒车影像俯视变换单元可以得到叠加有倒车轨迹线线和距离标记线的车辆后方俯视视场图像,因此与现有技术相比,在普通视角基础上,增加了俯视视角下的车辆后方影像,驾驶员可以根据实际需要,在两个视场之间进行切换,因此为驾驶员提供了更多、更准确的参考信息,有效降低倒车难度。2、本发明的倒车影像俯视变换单元根据地面坐标系与图像坐标系的投影变换关系,将车辆后方图像变换为俯视图像,并将倒车轨迹和距离标记线叠加到俯视图像中,俯视图像更加符合驾驶员的实际倒车操作,不仅提高了倒车影像的距离感,而且驾驶员从俯视图像中更直观的判断车辆周边环境及车辆运动趋势,更容易理解车辆位置,保障倒车安全。3、本发明由于设置有分段直线绘图模块和俯视倒车轨迹绘制模块,因此在普通视场图像和俯视视场图像中对倒车轨迹离散采样且分段绘制,既可以保证了倒车轨迹线平滑度,又使倒车轨迹线更加符合真实的倒车轨迹。4、本发明由于采用了更符合广角倒车摄像头图像畸变模型的地面坐标系与图像坐标系的投影变换关系,因此计算得到的倒车轨迹线精度更高,更能准确地引导驾驶员倒车。本发明可以广泛应用于汽车倒车过程中为驾驶员提供更多、更准确的参考信息。
附图说明
图1是本发明的系统结构示意图;
图2是本发明的控制逻辑示意图;
图3是本发明的倒车轨迹计算单元的流程示意图;
图4是本发明的倒车轨迹坐标示意图,倒车轨迹圆心“O”为右前轮中垂线和右后轮中垂线的交点,两条弧线分别为左、右侧倒车轨迹;
图5是本发明的倒车轨迹投影单元的处理流程示意图;
图6是本发明的普通视场倒车轨迹投影示意图;
图7是本发明的倒车影像俯视变换单元的流程示意图;
图8是本发明的俯视视场及倒车轨迹线示意图;
图9是本发明的俯视图生成单元的流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1、图2所示,本发明的双视场动态轨迹倒车影像系统与现有的倒车影像系统结构类似,包括一安装在车辆尾部的广角倒车摄像头1;一设置在方向盘转向管柱上的方向盘转角传感器2;一安装在车体内的倒车影像控制系统3和一设置在汽车控制面板上的显示器4;倒车影像控制系统3通过车载CAN总线与车身CAN总线相连,分别获取汽车档位、方向盘转角和驾驶员倒车影像视场选择信息,倒车影像控制系统3还通过视频线分别与广角倒车摄像头1和显示器4相连接,用于采集和发送模拟图像信号。本发明的特点在于:倒车影像控制系统3包括一倒车轨迹计算单元31、一倒车轨迹投影单元32和一倒车影像俯视变换单元33;驾驶员挂档倒车时,通过车载CAN总线使倒车影像控制系统3进入工作状态,倒车影像控制系统3启动广角倒车摄像头1获取车辆后方图像,并将其分别发送到倒车轨迹投影单元32和倒车影像俯视变换单元33;倒车轨迹计算单元31采集方向盘转角传感器2信号,计算左、右车轮倒车轨迹和距离标记线,并将左右侧倒车轨迹和距离标记线发送到倒车轨迹投影单元32;若驾驶员选择普通倒车视场模式,倒车轨迹投影单元32根据地面坐标系与图像坐标系的投影变换关系将倒车轨迹和距离标记线投影至图像中,并将叠加有倒车轨迹线和距离标记线的图像发送到显示器4,完成普通视场下倒车影像的显示;若驾驶员选择俯视倒车视场模式,倒车影像俯视变换单元33根据地面坐标系与图像坐标系的投影变换关系,将车辆后方图像变换为俯视图像,同时将倒车轨迹和距离标记线进行缩放投影至俯视图像中,并将叠加有倒车轨迹线和距离标记线的俯视图像发送到显示器4完成俯视视场倒车影像的显示。
上述实施例中,广角倒车摄像头1的水平视场不低于170°,垂直视场不低于130°,工作电流小于100mA。
上述各实施例中,广角倒车摄像头1的成像过程可以描述为空间中一个点的光线通过镜头后发生折射,并照射到CCD或CMOS感光器件上,摄像头控制器对感光面上的像素点进行电压采样,得到图像中各像素点的亮度值并将图像输出,此过程涉及到四个坐标系之间的变换,地面坐标系,摄像头坐标系、感光器件坐标系和图像坐标系。地面坐标系固定于地面,其方向规定符合SAE要求,摄像头坐标系原点位于镜头中心,以光轴为Z轴,沿光轴方向向左为X轴,向上为Y轴。感光器件坐标系固结于感光面上,为一平面坐标系,以感光器件中心为原点,向右为X轴,向上为Y轴。图像坐标系以图像左上角为原点,向右为X轴,向下为Y轴。其中,地面坐标系与摄像头坐标系之间存在旋转和平移,摄像头坐标系和感光器件坐标系之间则存在畸变与缩放,感光器件坐标系与图像坐标系之间仅考虑简单的仿射变换。根据上述坐标系之间的变换关系,本发明所采用的地面坐标系与图像坐标系的投影变换关系为:
X Y = c d e 1 · u v + C u C v
ρ = X 2 + Y 2
λ X Y a 0 + a 1 ρ · · · + a L ρ L = [ R | T ] · x y 1
式中,为图像坐标,为感光器件坐标,{x,y}为地面坐标;c,d和e是摄像头仿射系数,Cu,Cv是图像中心偏移量,{a0,…,aL}为摄像头畸变参数,L为畸变次数,以上三组参数统称为摄像头内部参数;R和T是摄像头坐标系相对地面坐标系的旋转矩阵和平移矩阵,也称为摄像头外部参数,λ是缩放系数。
如图3、图4所示,上述各实施例中,倒车轨迹计算单元31包括一阿克曼转角计算模块311、一倒车方向判断模块312、一倒车轨迹计算模块313和一距离标记线计算模块314;阿克曼转角计算模块311采集方向盘转角θ,并结合车辆参数和摄像头标定参数计算车辆的阿克曼转角并将阿克曼转角发送到倒车方向判断模块312,倒车方向判断模块312依据阿克曼转角将倒车方向判断结果发送到倒车轨迹计算模块313分别计算左、右轮的转弯半径,并将左、右轮转弯半径所对应的弧线作为倒车轨迹(如图4所示)发送到距离标记线计算模块314,距离标记线计算模块314以车辆后轴中心为起点,以后轴中心的倒车半径为起始值,周向每隔Δr在左、右侧倒车轨迹上选取距离标记点,在每一距离标记点处取沿左、右轮半径方向且位于左、右侧倒车轨迹内部的一段直线作为距离标记线,距离标记线的起始位置分别为左、右侧倒车轨迹,距离标记线的长度为s,Δr和s可以根据实际需要进行选取在此不作限定,本发明的实施例中选取Δr为0.2m,s为30cm。
倒车轨迹计算单元31中各模块的计算过程为:
式中,k′为变换系数,变换系数k′可以从车辆制造商处获取或通过标定方向盘转角与前轮转角的对应关系求得。通过阿克曼原理,认为当汽车转向时,所有车轮都绕同一个瞬时中心做圆周滚动,因此可以通过如下公式计算左、右车轮的转弯半径。当车辆向左方倒车时,左轮和右轮的转弯半径为:
当车辆向右方倒车时,左轮和右轮的转弯半径为:
式中,rl为左轮的转弯半径,rr为右轮的转弯半径,l为车辆轴距,w为车轮轮距。
如图5、图6所示,上述各实施例中,倒车轨迹投影单元32包括一倒车轨迹离散采样模块321、一距离标记线采样模块322、一图像坐标映射模块323和一分段直线绘图模块324;倒车轨迹离散采样模块321对左右侧倒车轨迹进行离散采样,记录各采样点的地面坐标值,并将左右侧倒车轨迹所有采样点的地面坐标点集发送到图像坐标映射模块323;距离标记线采样模块322采集每一条距离标记线的起点和终点的地面坐标值,并将所有距离标记线的起点和终点的地面坐标点集发送到图像坐标映射模块322;图像坐标映射模块322根据地面坐标与图像坐标的投影变换关系计算得到倒车轨迹采样点集和距离标记线采样点集对应的图像坐标,并将其全部发送到分段直线绘图模块324,分段直线绘图模块324将点集中相邻坐标的点依次连接,在图像中绘制出倒车轨迹和距离标记线的投影(如图6所示)。倒车轨迹投影单元32中各模块的计算过程为:
倒车轨迹离散采样模块321分别采集并记录左、右侧倒车轨迹采样点的地面坐标集为:
Sl={(xli,yli)|i=1,2,…,N}
Sr={(xri,yri)|i=1,2,…,N}
式中,(xli,yli)和(xri,yri)分别表示左、右轮倒车轨迹上第i个采样点的地面坐标值,N为采样点数。
距离标记线采样模块323采集每一条距离标记线的起点和终点的地面坐标点集为:
S2={(xsi,ysi,xei,yei)|i=1,2,…,M}
式中,(xsi,ysi,xei,yei)表示第i条距离标记线起点和终点的地面坐标值,M为距离标记线的总条数。
如图7所示,上述各实施例中,倒车影像俯视变换单元33包括一俯视图生成单元331、一倒车轨迹采样缩放模块332、一距离标记线采样缩放模块333和一俯视倒车轨迹绘制模块334;根据俯视图像与俯视区域的缩放系数k,俯视图生成单元331计算俯视图像中各点的像素值并将生成的俯视图像发送到俯视倒车轨迹绘制模块334,倒车轨迹采样缩放模块332采集、记录倒车轨迹的采样点坐标值并将其进行缩放后发送到俯视倒车轨迹绘制模块334;距离标记线采样缩放模块333采集并记录每一条距离标记线起点和终点的坐标值并对其分别进行缩放后发送到俯视倒车轨迹绘制模块334;俯视倒车轨迹绘制模块334在俯视图像上通过分段直线绘制出倒车轨迹和距离标记线的投影(如图8所示)。
如图9所示,上述实施例中,俯视图生成单元331包括一俯视图坐标映射子模块3311、一地面坐标图像投影子模块3312和一四邻域像素插值子模块3313;俯视图坐标映射子模块3311计算俯视图像中的每个像素点(uw,vw)所对应的地面坐标(xw,yw),并将其发送到地面坐标图像投影子模块3312;地面坐标图像投影子模块3312利用地面坐标系与摄像头图像坐标系之间的投影变换关系,计算俯视图像的地面坐标对应摄像头坐标(u,v),由此得到俯视图的像素点(uw,vw)对应的摄像头图像像素点(u,v),为了提高俯视图质量,将其发送到四邻域像素插值子模块3313,四邻域像素插值子模块3313提取摄像头图像像素点(u,v)相邻的四个像素,经线性插值后得到作为俯视图像像素点(uw,vw)的像素值,完成俯视图像所有像素点的投影计算得到俯视图像,并将其发送到俯视倒车轨迹绘制模块334。
上述实施例中,对于同样大小的俯视图像,不同的缩放系数k意味着不同大小的地面区域,缩放系数越大,俯视图覆盖的地面区域也便越大,根据实际情况确定k的大小;倒车影像俯视变换单元33可以通过公式计算图像坐标与地面坐标的对应关系,其中,(uw,vw)为俯视图像坐标,{xw,yw}为地面坐标,kx为x方向的缩放系数,ky为y方向的缩放系数,计算公式为:
xw=kx·uw
yw=ky·vw
若kx不等于ky,俯视图像将发生横向或纵向拉伸,为了保持俯视图像与驾驶员感受一致,本发明的实施中令kx与ky相等,记为k。
由于俯视图像与地面仅仅存在缩放关系,因此由倒车轨迹计算单元所得到的左右侧倒车轨迹及距离标记线也仅仅通过缩放便可叠加到俯视图像中。倒车轨迹采样缩放模块332完成倒车轨迹离散采样后,根据缩放系数k将倒车轨迹地面坐标点集进行缩放,得到其对应的俯视图像点集Sl′和Sr′:
Sl′={(xli/k,yli/k)|i=1,2,…,N}
Sr′={(xri/k,yri/k)|i=1,2,…,N}
距离标记线采样缩放模块333完成距离标记线采样后,根据缩放系数k将距离标记线坐标点集进行缩放,得到其对应的俯视图像点集S2′:
S2′={(xsi/k,ysi/k,xei/k,yei/k)|i=1,2,…,M}
上述各实施例仅用于说明本发明,其中各部件的结构和连接方式等都是可以有所变化的,凡是在本发明技术方案的基础上进行的等同变换和改进,均不应排除在本发明的保护范围之外。

Claims (4)

1.一种双视场动态轨迹倒车影像系统,其特征在于:它包括一设置在车辆后方的广角倒车摄像头,一方向盘转角传感器,一倒车影像控制系统和一显示器,所述倒车影像控制系统通过车载CAN总线获取汽车档位、方向盘转角和驾驶员倒车影像视场选择信息,所述倒车影像控制系统还分别与所述广角倒车摄像头和显示器相连接;所述倒车影像控制系统包括一倒车轨迹计算单元、一倒车轨迹投影单元和一倒车影像俯视变换单元;所述倒车影像控制系统控制所述广角倒车摄像头获取车辆后方图像并将其分别发送到所述倒车轨迹投影单元和倒车影像俯视变换单元,所述倒车轨迹计算单元采集方向盘转角传感器信号计算倒车轨迹和距离标记线,并将其发送到所述倒车轨迹投影单元;所述倒车轨迹投影单元根据地面坐标系与图像坐标系的投影变换关系将倒车轨迹和距离标记线投影至图像中,并将叠加有倒车轨迹线和距离标记线的图像发送到所述显示器完成普通视场倒车影像的显示;所述倒车影像俯视变换单元根据地面坐标系与图像坐标系的投影变换关系,将车辆后方图像变换为俯视图像,同时将倒车轨迹和距离标记线投影至俯视图像中,并将叠加有倒车轨迹线和距离标记线的俯视图像发送到所述显示器完成俯视视场倒车影像的显示;
所述地面坐标系与图像坐标系的投影变换关系为:
X Y = c d e 1 · u v + C u C v
ρ = X 2 + Y 2
λ X Y a 0 + a 1 ρ · · · + a L ρ L = [ R | T ] · x y 1
式中,为图像坐标,为感光器件坐标,{x,y}为地面坐标;c,d和e是摄像头仿射系数,Cu,Cv是图像中心偏移量,{a0,…,aL}是摄像头畸变参数,L为畸变次数;R和T是摄像头坐标系相对地面坐标系的旋转矩阵和平移矩阵,λ是缩放系数;
所述倒车轨迹投影单元包括一倒车轨迹离散采样模块、一距离标记线采样模块、一图像坐标映射模块和一分段直线绘图模块;所述倒车轨迹离散采样模块对左右侧倒车轨迹分别进行离散采样,并将采样点集发送到所述图像坐标映射模块;所述距离标记线采样模块采集每一条距离标记线的起点和终点的地面坐标值,并将所有距离标记线的起点和终点的地面坐标点集发送到所述图像坐标映射模块;所述图像坐标映射模块根据地面坐标与图像坐标的投影变换关系计算得到倒车轨迹采样点集和距离标记线采样点集对应的图像坐标,并将其全部发送到所述分段直线绘图模块,所述分段直线绘图模块将点集中相邻坐标点依次连接,在图像中绘制出倒车轨迹和距离标记线的投影。
2.如权利要求1所述的一种双视场动态轨迹倒车影像系统,其特征在于:所述倒车轨迹计算单元包括一阿克曼转角计算模块、一倒车方向判断模块、一倒车轨迹计算模块和一距离标记线计算模块;所述阿克曼转角计算模块计算车辆的阿克曼转角并将其发送到所述倒车方向判断模块,所述倒车方向判断模块将倒车方向判断结果发送到所述倒车轨迹计算模块分别计算左轮和右轮的倒车轨迹,并将其发送到所述距离标记线计算模块,所述距离标记线计算模块以车辆后轴中心的倒车轨迹为起始值,以后轴中心为起点,周向每隔Δr在倒车轨迹上选取距离标记点,在每一距离标记点处取沿左、右轮半径方向且位于左、右侧倒车轨迹内部的一段直线作为距离标记线,距离标记线的起始位置分别为左、右侧倒车轨迹线。
3.如权利要求1或2所述的一种双视场动态轨迹倒车影像系统,其特征在于:所述倒车影像俯视变换单元包括一俯视图生成单元、一倒车轨迹采样缩放模块、一距离标记线采样缩放模块和一俯视倒车轨迹绘制模块;所述俯视图生成单元计算俯视图像中各点的像素值生成俯视图图像并将其发送到所述俯视倒车轨迹绘制模块;所述倒车轨迹采样缩放模块采集、记录倒车轨迹的采样点坐标值并将其进行缩放后发送到所述俯视倒车轨迹绘制模块;所述距离标记线采样缩放模块采集并记录每一条距离标记线起点和终点的坐标值并对其分别进行缩放后发送到所述俯视倒车轨迹绘制模块;所述俯视倒车轨迹绘制模块在俯视图像上通过分段直线绘制出倒车轨迹和距离标记线的投影。
4.如权利要求3所述的一种双视场动态轨迹倒车影像系统,其特征在于:所述俯视图生成单元包括一俯视图坐标映射子模块、一地面坐标图像投影子模块和一四邻域像素插值子模块;所述俯视图坐标映射子模块计算俯视图像中的每个像素点(uw,vw)所对应的地面坐标(xw,yw),并将其发送到所述地面坐标图像投影子模块;所述地面坐标图像投影子模块利用地面坐标系与摄像头图像坐标系之间的投影变换关系,计算俯视图像的地面坐标对应摄像头坐标(u,v),由此得到俯视图的像素点(uw,vw)对应的摄像头图像像素点(u,v),并将其发送到所述四邻域像素插值子模块,所述四邻域像素插值子模块提取摄像头图像像素点(u,v)相邻的四个像素,经线性插值后得到作为俯视图像像素点(uw,vw)的像素值,完成俯视图像所有像素点的投影计算得到俯视图像。
CN201210256529.0A 2012-07-23 2012-07-23 一种双视场动态轨迹倒车影像系统 Active CN102745138B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210256529.0A CN102745138B (zh) 2012-07-23 2012-07-23 一种双视场动态轨迹倒车影像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210256529.0A CN102745138B (zh) 2012-07-23 2012-07-23 一种双视场动态轨迹倒车影像系统

Publications (2)

Publication Number Publication Date
CN102745138A CN102745138A (zh) 2012-10-24
CN102745138B true CN102745138B (zh) 2014-12-03

Family

ID=47025762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210256529.0A Active CN102745138B (zh) 2012-07-23 2012-07-23 一种双视场动态轨迹倒车影像系统

Country Status (1)

Country Link
CN (1) CN102745138B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961585A (zh) * 2016-05-05 2017-07-18 威盛电子股份有限公司 行车辅助方法及装置
TWI605963B (zh) * 2017-01-23 2017-11-21 威盛電子股份有限公司 行車輔助方法及裝置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103847637A (zh) * 2012-11-28 2014-06-11 德尔福电子(苏州)有限公司 基于摄像头的辅助泊车系统
CN104118357B (zh) * 2013-04-25 2018-03-09 深圳市豪恩汽车电子装备股份有限公司 一种倒车轨迹线生成方法、装置及倒车引导器
CN103847652B (zh) * 2014-03-18 2015-09-16 河南师范大学 一种车载影像及倒车泊车辅助装置
CN105730336B (zh) * 2014-12-10 2018-12-21 比亚迪股份有限公司 倒车辅助装置及车辆
CN105109409B (zh) * 2015-09-09 2017-06-23 深圳市航盛电子股份有限公司 一种支持动态车辅线的倒车影像的快速显示方法
CN105430325A (zh) * 2015-11-03 2016-03-23 苏交科集团股份有限公司 在道路的监控视频图像中快速定位车流方向的方法与系统
EP3193305B1 (en) * 2016-01-12 2018-09-12 Continental Automotive GmbH Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
JP2017143340A (ja) * 2016-02-08 2017-08-17 株式会社デンソー 情報処理装置及びプログラム
US10434877B2 (en) 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus
CN108805956B (zh) * 2017-09-11 2023-01-17 常州新途软件有限公司 实时倒车轨迹显示系统及等宽轨迹线绘制方法
CN108093217A (zh) * 2017-12-22 2018-05-29 无锡英捷汽车科技有限公司 一种倒车辅助线可变的实现方法
CN108174089B (zh) * 2017-12-27 2020-07-17 深圳普思英察科技有限公司 基于双目摄像头的倒车影像拼接方法和装置
CN110654320A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 探测装置探测角度的调整方法、装置及具有其的车辆
CN109523489B (zh) * 2018-11-28 2021-04-02 广州大学 一种生成俯视无畸变倒车影像的方法
CN109532671A (zh) * 2018-12-12 2019-03-29 广州小鹏汽车科技有限公司 车辆轨迹处理方法、装置、电子设备及汽车
CN110458884A (zh) * 2019-08-16 2019-11-15 北京茵沃汽车科技有限公司 在全景图中生成车辆运行动态轨迹线的方法、装置、介质
CN113706370B (zh) * 2020-05-22 2023-08-25 杭州海康威视数字技术股份有限公司 一种图像生成方法、装置及系统
CN112078570A (zh) * 2020-08-04 2020-12-15 武汉乐庭软件技术有限公司 一种基于阿克曼转向模型的汽车定位方法
CN113120080B (zh) * 2021-04-12 2023-03-31 沈阳中科创达软件有限公司 倒车辅助线的建立方法、装置、终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987357A (zh) * 2006-12-26 2007-06-27 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
CN201400129Y (zh) * 2009-03-18 2010-02-10 惠州市德赛汽车电子有限公司 一种汽车安全后视装置
CN101987597A (zh) * 2009-08-03 2011-03-23 袁克虹 基于角度信息的可视化倒车轨迹线形成系统及方法
CN202294512U (zh) * 2011-11-04 2012-07-04 东风汽车股份有限公司 商用车倒车后视装置
CN202847561U (zh) * 2012-07-23 2013-04-03 北京智华驭新汽车电子技术开发有限公司 一种倒车影像系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582164B (zh) * 2009-06-24 2012-07-18 北京万得嘉瑞汽车技术有限公司 一种辅助倒车系统的图像处理方法
CN102111562A (zh) * 2009-12-25 2011-06-29 新奥特(北京)视频技术有限公司 三维模型的投影变换方法及装置
JP2011230615A (ja) * 2010-04-27 2011-11-17 Suzuki Motor Corp 駐車支援装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987357A (zh) * 2006-12-26 2007-06-27 浙江工业大学 基于全方位计算机视觉的智能停车辅助装置
CN201400129Y (zh) * 2009-03-18 2010-02-10 惠州市德赛汽车电子有限公司 一种汽车安全后视装置
CN101987597A (zh) * 2009-08-03 2011-03-23 袁克虹 基于角度信息的可视化倒车轨迹线形成系统及方法
CN202294512U (zh) * 2011-11-04 2012-07-04 东风汽车股份有限公司 商用车倒车后视装置
CN202847561U (zh) * 2012-07-23 2013-04-03 北京智华驭新汽车电子技术开发有限公司 一种倒车影像系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106961585A (zh) * 2016-05-05 2017-07-18 威盛电子股份有限公司 行车辅助方法及装置
TWI605963B (zh) * 2017-01-23 2017-11-21 威盛電子股份有限公司 行車輔助方法及裝置

Also Published As

Publication number Publication date
CN102745138A (zh) 2012-10-24

Similar Documents

Publication Publication Date Title
CN102745138B (zh) 一种双视场动态轨迹倒车影像系统
CN107856667B (zh) 辅助泊车系统和方法
CN102745198B (zh) 一种车辆前向轨迹辅助装置
CN202716870U (zh) 一种车辆前向轨迹辅助装置
EP3436879B1 (en) An autonomous vehicle with improved visual detection ability
CN105539430B (zh) 一种基于手持终端的人车交互智能泊车方法
EP3016835B1 (en) Vehicle control system
EP3016836B1 (en) Vehicle control system
CN103661599B (zh) 一种车辆转弯轨迹预测系统和方法
EP2192552B1 (en) Image processing apparatus, image processing method, and recording medium
EP3744616B1 (en) A device and a method for reversing an articulated vehicle combination
US10558221B2 (en) Method for assisting in a parking operation for a motor vehicle, driver assistance system and a motor vehicle
CN202847561U (zh) 一种倒车影像系统
CN105678787A (zh) 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
CN108909625B (zh) 基于全景环视系统的车底地面显示方法
Ehlgen et al. Eliminating blind spots for assisted driving
CA2887239A1 (en) Generating an image of the surroundings of an articulated vehicle
CN108528337B (zh) 一种基于视频投影的内轮差智能预警系统及预警方法
CN101425181A (zh) 一种全景视觉辅助泊车系统的标定方法
US20130208118A1 (en) Vehicular infrared night assistant driving system
JP2007210458A (ja) 車両用表示装置および車両用映像表示制御方法
CN107627959A (zh) 机动车的全景视频监测方法及系统
CN107284455B (zh) 一种基于图像处理的adas系统
CN103204104B (zh) 一种车辆全视角驾驶监控系统及方法
JP5278527B2 (ja) 車両用表示装置および車両用映像表示制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ZHANG DEZHAO

Free format text: FORMER OWNER: BEIJING INTELLIDRIVE AUTOMOTIVE ELECTRONIC TECHNOLOGY DEVELOPMENT CO., LTD.

Effective date: 20150420

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 100192 HAIDIAN, BEIJING TO: 100192 CHANGPING, BEIJING

TR01 Transfer of patent right

Effective date of registration: 20150420

Address after: 100192 Northern Territory of Zhongguancun Dongsheng Science Park, Haiti District, Beijing, C1211

Patentee after: Zhang Dezhao

Address before: 100192, Beijing, Haidian District, 66 North West Road, Dongsheng Science Park North Territory C1-211

Patentee before: Beijing Zhihua Nuxin Automobile Electronic Technology Development Co.,Ltd.

C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: 100192, Beijing, Haidian District, Zhongguancun Dongsheng Science Park North Territory C1211

Patentee after: Zhang Dezhao

Address before: 100192 Northern Territory of Zhongguancun Dongsheng Science Park, Haiti District, Beijing, C1211

Patentee before: Zhang Dezhao

ASS Succession or assignment of patent right

Owner name: BEIJING INTELLIDRIVE TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: ZHANG DEZHAO

Effective date: 20150909

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150909

Address after: 8, 97 B511, Changping Road, Shahe Town, Beijing, Changping District, 102206

Patentee after: Beijing Idriverplus Technology Co.,Ltd.

Address before: 100192, Beijing, Haidian District, Zhongguancun Dongsheng Science Park North Territory C1211

Patentee before: Zhang Dezhao

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20121024

Assignee: GUANGDONG ZONGXING TECHNOLOGY Co.,Ltd.

Assignor: Beijing Idriverplus Technology Co.,Ltd.

Contract record no.: 2018990000239

Denomination of invention: Dual view-field dynamic-trajectory reverse image system

Granted publication date: 20141203

License type: Common License

Record date: 20180823

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: GUANGDONG ZONGXING TECHNOLOGY Co.,Ltd.

Assignor: Beijing Idriverplus Technology Co.,Ltd.

Contract record no.: 2018990000239

Date of cancellation: 20230116

EM01 Change of recordation of patent licensing contract
EM01 Change of recordation of patent licensing contract

Change date: 20230116

Contract record no.: 2018990000239

Assignor after: Beijing Idriverplus Technology Co.,Ltd.

Assignor before: Beijing Idriverplus Technology Co.,Ltd.

CP03 Change of name, title or address

Address after: Building C-3, Northern Territory, Zhongguancun Dongsheng Science Park, 66 Xixiaokou Road, Haidian District, Beijing, 100176

Patentee after: Beijing Idriverplus Technology Co.,Ltd.

Address before: 102206 B511, building 8, 97 Changping Road, Shahe Town, Changping District, Beijing

Patentee before: Beijing Idriverplus Technology Co.,Ltd.

CP03 Change of name, title or address