CN111372055A - 一种车底图像显示系统及方法 - Google Patents
一种车底图像显示系统及方法 Download PDFInfo
- Publication number
- CN111372055A CN111372055A CN202010219997.5A CN202010219997A CN111372055A CN 111372055 A CN111372055 A CN 111372055A CN 202010219997 A CN202010219997 A CN 202010219997A CN 111372055 A CN111372055 A CN 111372055A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- real
- vehicle bottom
- reversing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 230000002441 reversible effect Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000011426 transformation method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000036961 partial effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
- B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L12/40006—Architecture of a communication node
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
- B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40208—Bus networks characterized by the use of a particular bus standard
- H04L2012/40215—Controller Area Network CAN
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/40—Bus networks
- H04L2012/40267—Bus for use in transportation systems
- H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle
Abstract
本发明公开了一种车底图像显示系统，包括整车CAN总线、倒车摄像头、中央控制器、EPS控制器、AAS倒车雷达控制器和显示单元，中央控制器将真实可视区变换为车底的俯视区；当记忆可视区图像及坐标，计算行驶轨迹，比对记忆图像与车辆相对位置，拼合为连续车底图像并传送给显示单元。本发明还公开了一种车底图像显示方法，步骤如下：1：中央控制器激活显示单元；步骤2：倒车摄像头采集真实场景信息；3：内置算法将真实场景变化为俯视图；4：启动融合算法，得到拼合视图；5：若障碍物处于下一个信号周期区域，继续执行步骤4。本发明具有有效控制成本、大幅度提高车辆泊车的安全性能的特点，可以广泛应用于车辆环境感知探测技术领域。
Description
技术领域
本发明涉及车辆环境感知探测技术领域，特别是涉及一种车底图像显示系统及方法。
背景技术
目前相关的汽车系统在产品开发中并未考虑车底障碍物对驾驶员泊车的影响。即使倒车影像系统如此成熟，还是存在以下问题：1)处于后背探测盲区内的物体无法被探测；2)由于目前各个车企在成本上的竞争白热化，在已经采用4个摄像头实现全景影像的车体上，再额外在车底安装1个摄像头也会让车企成本压力陡增。
虽然现有的倒车影像系统构建已经非常成熟，但依靠目前的功能也无法解决以上问题。若在车底增加摄像头必然大幅提高制造成本，导致难以推广。怎样在有效控制制造成本的前提下达到这一目的，成为车企亟待解决的一道难题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种车底图像显示系统及方法，使其具有在有效控制成本的前提下，大幅度提高车辆泊车的安全性能的特点。
本发明提供一种车底图像显示系统，包括整车CAN(Controller Area Network，控制器局域网络)总线、倒车摄像头、中央控制器、EPS(Electric Power Steering，电动助力转向系统)控制器、AAS(Automatic Assistance System，自动辅助系统)倒车雷达控制器和显示单元，所述中央控制器通过整车CAN总线与倒车摄像头、EPS控制器、AAS倒车雷达控制器和显示单元相连；所述倒车摄像头用于对车后方真实场景环境影像信息的采集；所述整车CAN总线用于向AAS倒车雷达控制器提供实时TCU(Transmission Control Unit，即自动变速箱控制单元)档位信号和实时车速信号，将倒车摄像头、EPS控制器、AAS倒车雷达控制器的信号传送给中央控制器，将中央控制器的信号传送给显示单元；所述AAS倒车雷达控制器用于检测目标距离；所述中央控制器用于：将倒车摄像头后方的真实可视区变换为车底的俯视区；当记忆可视区的图像及坐标时，在车辆继续运动过程中，计算车型行驶的轨迹，比对记忆图像与车辆的相对位置，将记忆图像拼合为连续车底图像并传送给显示单元；所述显示单元用于车底倒车影像界面的HMI(Human Machine Interface，人机接口，也叫人机界面)显示。
在上述技术方案中，所述中央控制器具有以下几部分：图像记忆模块：当满足以下条件：条件1：倒车影像功能开启；条件2：车辆处于R挡或切入D挡的前若干时间；条件3：在当前时刻的下一个信号周期脱离实际探测区；条件4：AAS倒车雷达控制器和倒车摄像头工作正常，图像记忆模块开启；图像融合模块：根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算。
在上述技术方案中，所述图像融合模块包括以下部分：1、后视视角优化单元：根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为:H＝k1θn-1+k2θn-2+…+kn-1θ+kn；(1)，将真实图像转换成俯视图像；2、图像拼合矫正单元：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
倒车摄像头的投影比：
采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1,θn-2,…,θ)T＝(k1,k2,…,kn-1)·(θn-1,θn-2,…,θ)T(7)，所以校正后图像像素的点的集合为：{in，jn}，
得到真实的俯视图像与车底记忆虚拟俯视图像的拼合与矫正后的图像像素点集；3、像素点轨迹计算单元：车辆运动轨迹的矫正运动中，车辆绕轨迹的旋转中心运动，若D为车辆的真实轴距，其中车辆的轨迹半径为：
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0,y0)：
ry0＝YC
由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1,yt+1)，如果旋转前的坐标我们表示为(xt,yt)，则得到下面公式：
所述中央控制器根据车辆运动情况，判断像素点(xt+n,yt+n)所在区域的排列，最终给出车底的图像。
在上述技术方案中，所述图像记忆模块中，条件2：车辆处于R挡或切入D挡的前30S；条件3：在当前时刻的下一个50ms信号周期脱离实际探测区。
本发明还提供了一种车底图像显示方法，包括如下步骤：步骤1：车辆处于R挡或切入D挡的前若干时间，中央控制器向显示单元发送HMI信号以激活显示单元；步骤2：倒车摄像头开启，采集真实场景环境影像信息；步骤3：真实场景环境影像部分区域通过中央控制器内置算法变化为俯视图，记忆并存储；步骤4：若障碍物处于车辆下一个信号周期进入的区域，则启动融合算法；真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正，再进行像素点运动轨迹的计算与融合，最终得到拼合后的底盘下场景视图；步骤5：若障碍物处于车辆下一个信号周期遵循进入的区域，则继续执行步骤4的操作。
在上述技术方案中，所述步骤4中，根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算。
在上述技术方案中，所述步骤4的具体过程如下：1、后视视角优化显示：根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为:H＝k1θn-1+k2θn-2+…+kn-1θ+kn；(1)，将真实图像转换成俯视图像；2、真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
倒车摄像头的投影比：
采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1,θn-2,…,θ)T＝(k1,k2,…,kn-1)·(θn-1,θn-2,…,θ)T (7)，
所以校正后图像像素的点的集合为：{in，jn}，
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0,y0)：
ry0＝YC
由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1,yt+1)，如果旋转前的坐标我们表示为(xt,yt)，则得到下面公式：
所述中央控制器根据车辆运动情况，判断像素点(xt+n,yt+n)所在区域的排列，最终给出车底的图像。
在上述技术方案中，所述步骤1中，车辆处于R挡或切入D挡之前点火启动发动机。
在上述技术方案中，所述步骤1中，车辆处于R挡或切入D挡的前30S，所述步骤4或步骤5中，一个信号周期为50ms。
在上述技术方案中，还包括步骤6：显示单元具有修改车辆图片贴图透明度的功能。
本发明一种车底图像显示系统及方法，具有以下有益效果：
安全效益：本发明减少了车辆处于盲区内特别是底盘下的异物对车辆的损害，降低了车辆跌入坑洞的风险，在车辆泊车过程中能够实时掌控车辆状态。
经济效益：在0成本或极低成本下，实现了实时显示车底区域的功能，提升了性能降低了成本。
开拓潜在客户效益：可以将车底图像显示系统以极低成本普及到各个车型，给企业商品一个新的功能卖点，为广大客户提供了安全保障。
企业效益：本发明简单实用，适于在各大车企所有车型推广，可与各类倒车影像系统交互使用，模块化运行。
附图说明
图1为本发明车底图像显示系统的整体结构示意图；
图2为本发明车底图像显示系统中中央控制器的结构示意图；
图3为图2中的图像融合模块各部分结构示意图；
图4为图3中的后视视角优化单元根据畸变参数组进行画面拟合过程中影像变化示意图；
图5为图3中的像素点轨迹计算单元对车辆轨迹进行计算过程的示意图；
图6为图3中的像素点轨迹计算单元将车底记忆虚拟俯视图像和倒车影像图像间进行拼合的示意图；
图7为图3中的像素点轨迹计算单元完整工作过程的示意图；
图8为本发明车底图像显示方法的流程示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。
参见图1，本发明车底图像显示系统，包括整车CAN总线、倒车摄像头、中央控制器、EPS控制器、AAS倒车雷达控制器和显示单元，所述中央控制器通过整车CAN总线与倒车摄像头、EPS控制器、AAS倒车雷达控制器和显示单元相连；
所述倒车摄像头用于对车后方真实场景环境影像信息的采集；
所述整车CAN总线用于向AAS倒车雷达控制器提供实时TCU档位信号和实时车速信号，将倒车摄像头、EPS控制器、AAS倒车雷达控制器的信号传送给中央控制器，将中央控制器的信号传送给显示单元；
所述AAS倒车雷达控制器用于检测目标距离并支持扩展功能；
参见图2，所述中央控制器用于将倒车摄像头后方的真实可视区变换为车底的俯视区；当记忆可视区的图像及坐标时，在车辆继续运动过程中，计算车型行驶的轨迹，比对记忆图像与车辆的相对位置，将记忆图像拼合为连续车底图像并传送给显示单元，具体包括以下几部分：
图像记忆模块：当满足以下条件：条件1：倒车影像功能开启；条件2：车辆处于R挡或切入D挡的前30S；条件3：在当前时刻的下一个50ms信号周期脱离实际探测区；条件4：AAS倒车雷达控制器和倒车摄像头等其他传感器工作正常，图像记忆模块开启；
参见图3，图像融合模块：根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算，包括以下部分：
1、后视视角优化单元：因视角和地面呈一定夹角，为满足客户正常审美的需求，图像呈现由近及远的透视效果，如需要将其展开为车底俯视图效果，首先要对图像进行处理，参见图4，根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为:
H＝k1θn-1+k2θn-2+…+kn-1θ+kn；(1)，
就将真实图像转换成俯视图像；
2、图像拼合矫正单元：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，本发明采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
由于空间中实际距离只和倒车摄像头本身参数与安装位置有关，故倒车摄像头的投影比为：
最终采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1,θn-2,…,θ)T＝(k1,k2,…,kn-1)·(θn-1,θn-2,…,θ)T (7)，
所以校正后图像像素的点的集合为：{in，jn}，
得到真实的俯视图像与车底记忆虚拟俯视图像的拼合与矫正后的图像像素点集，呈现给客户较为一致的图像效果；
3、像素点轨迹计算单元：参见图5，车辆运动轨迹的矫正运动中，车辆绕轨迹的旋转中心运动，若D为车辆的真实轴距，其中车辆的轨迹半径为：
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0,y0)：
ry0＝yC
参见图6，由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1,yt+1)，如果旋转前的坐标我们表示为(xt,yt)，则得到下面公式：
参见图7，综上所述，所述中央控制器根据车辆运动情况，判断像素点(xt+n,yt+n)所在区域的排列，最终给出车底的图像；
所述显示单元用于车底倒车影像界面的HMI显示，所述显示单元仅根据雷达控制器最后提供的信号输出图像，用于客户感知，不作判断。
参见图8，本发明车底图像显示方法，包括如下步骤：
步骤1：点火启动发动机，显示系统手动开启或开启，所述AAS倒车雷达、整车CAN总线、EPS控制器用于向雷达控制器提供TCU档位信号、实时车速信号和车辆角度信号；车辆处于R挡或切入D挡的前30S，中央控制器向显示单元发送HMI信号以激活显示单元；
步骤2：倒车摄像头开启，采集真实场景环境影像信息；
步骤3：参见图4，真实场景环境影像部分区域通过中央控制器内置算法变化为俯视图，记忆并存储；
步骤4：若障碍物处于车辆下一个50ms信号周期进入的区域，则启动融合算法；真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正，再进行像素点运动轨迹的计算与融合，最终得到拼合后的底盘下场景视图，其中，中央控制器根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算，具体过程如下：
1、后视视角优化显示：根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为:
H＝k1θn-1+k2θn-2+…+kn-1θ+kn；(1)，
将真实图像转换成俯视图像；
2、真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
倒车摄像头的投影比：
采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1,θn-2,…,θ)T＝(k1,k2,…,kn-1)·(θn-1,θn-2,…,θ)T (7)，
所以校正后图像像素的点的集合为：{in，jn}，
得到真实的俯视图像与车底记忆虚拟俯视图像的拼合与矫正后的图像像素点集；
3、像素点运动轨迹的计算与融合：参见图5，车辆运动轨迹的矫正运动中，车辆绕轨迹的旋转中心运动，若D为车辆的真实轴距，其中车辆的轨迹半径为：
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0,y0)：
ry0＝yC
参见图6，由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1,yt+1)，如果旋转前的坐标我们表示为(xt,yt)，则得到下面公式：
参见图7，综上所述，所述中央控制器根据车辆运动情况，判断像素点(xt+n,yt+n)所在区域的排列，最终给出车底的图像；
步骤5：若障碍物处于车辆下一个50ms信号周期遵循进入的区域，则继续执行步骤4的操作；
步骤6：显示单元具有修改车辆图片贴图透明度的功能。
本发明的目的是提出一种车底图像显示系统及方法，本发明扩展了倒车摄像头在车辆中的使用范围，其技术特征为一种车底图像还原技术，在倒车摄像头无法覆盖的盲区或非工作区，通过中央控制器内置的算法，实时计算已经拍摄到的图像和车辆的底部的相对关系，若拍摄到的图像目前处于车辆底部(或邻近区域)则会显示出来供驾驶员查看，将倒车摄像头真实可视区变换为俯视区，记忆前一个周期的车底非可视区，并将之前拍摄的该区域影像通过算法模拟为底部实时可视区，同时在根据可视区的图像及坐标，并在车辆继续运动过程中，计算车型行驶的轨迹，比对记忆图像与车辆的相对位置，将记忆图像最终拼合为连续车底图像并显示出来。
在这一过程中，本发明充分利用原车摄像头，哪怕只有一个单独的倒车摄像头，将位于车辆行驶轨迹内的图像经过扫描通过算法加以还原，呈现车底图像。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
Claims (10)
1.一种车底图像显示系统，其特征在于：包括整车CAN总线、倒车摄像头、中央控制器、EPS控制器、AAS倒车雷达控制器和显示单元，所述中央控制器通过整车CAN总线与倒车摄像头、EPS控制器、AAS倒车雷达控制器和显示单元相连；
所述倒车摄像头用于对车后方真实场景环境影像信息的采集；
所述整车CAN总线用于向AAS倒车雷达控制器提供实时TCU档位信号和实时车速信号，将倒车摄像头、EPS控制器、AAS倒车雷达控制器的信号传送给中央控制器，将中央控制器的信号传送给显示单元；
所述AAS倒车雷达控制器用于检测目标距离；
所述中央控制器用于：将倒车摄像头后方的真实可视区变换为车底的俯视区；当记忆可视区的图像及坐标时，在车辆继续运动过程中，计算车型行驶的轨迹，比对记忆图像与车辆的相对位置，将记忆图像拼合为连续车底图像并传送给显示单元；
所述显示单元用于车底倒车影像界面的HMI显示。
2.根据权利要求1所述的车底图像显示系统，其特征在于：所述中央控制器具有以下几部分：
图像记忆模块：当满足以下条件：条件1：倒车影像功能开启；条件2：车辆处于R挡或切入D挡的前若干时间；条件3：在当前时刻的下一个信号周期脱离实际探测区；条件4：AAS倒车雷达控制器和倒车摄像头工作正常，图像记忆模块开启；
图像融合模块：根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算。
3.根据权利要求2所述的车底图像显示系统，其特征在于：所述图像融合模块包括以下部分：
1、后视视角优化单元：根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为：
H＝k1θn-1+k2θn-2+…+kn-1θ+kn； (1)，
将真实图像转换成俯视图像；
2、图像拼合矫正单元：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
倒车摄像头的投影比：
采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1，θn-2，…，θ)T＝(k1，k2，…，kn-1)·(θn-1，θn-2，…，θ)T (7)，
所以校正后图像像素的点的集合为：{in，jn}，
得到真实的俯视图像与车底记忆虚拟俯视图像的拼合与矫正后的图像像素点集；
3、像素点轨迹计算单元：车辆运动轨迹的矫正运动中，车辆绕轨迹的旋转中心运动，若D为车辆的真实轴距，其中车辆的轨迹半径为：
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0，y0)：
ry0＝YC
由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1，yt+1)，如果旋转前的坐标我们表示为(xt，yt)，则得到下面公式：
所述中央控制器根据车辆运动情况，判断像素点(xt+n，yt+n)所在区域的排列，最终给出车底的图像。
4.根据权利要求3所述的车底图像显示系统，其特征在于：所述图像记忆模块中，条件2：车辆处于R挡或切入D挡的前30S；条件3：在当前时刻的下一个50ms信号周期脱离实际探测区。
5.一种车底图像显示方法，其特征在于：包括如下步骤：
步骤1：车辆处于R挡或切入D挡的前若干时间，中央控制器向显示单元发送HMI信号以激活显示单元；
步骤2：倒车摄像头开启，采集真实场景环境影像信息；
步骤3：真实场景环境影像部分区域通过中央控制器内置算法变化为俯视图，记忆并存储；
步骤4：若障碍物处于车辆下一个信号周期进入的区域，则启动融合算法；真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正，再进行像素点运动轨迹的计算与融合，最终得到拼合后的底盘下场景视图；
步骤5：若障碍物处于车辆下一个信号周期遵循进入的区域，则继续执行步骤4的操作。
6.根据权利要求5所述的车底图像显示方法，其特征在于：所述步骤4中，根据EPS控制器提供的角度信号及车辆的车速信号计算车型行驶的轨迹，进行车底图像的融合计算。
7.根据权利要求6所述的车底图像显示方法，其特征在于：所述步骤4的具体过程如下：
1、后视视角优化显示：根据倒车摄像头供应商提供的畸变参数组进行画面的拟合，其中K＝[k1，k2……kn]，一系列K值代表不同区域的畸变参数，n为需要拟合的最高位置的区域，故采用类积分法对像素点的后续显示位置的计算公式为：
H＝k1θn-1+k2θn-2+…+kn-1θ+kn； (1)，
将真实图像转换成俯视图像；
2、真实的倒车图像与车底记忆虚拟俯视图像的拼合与矫正：21、对真实的倒车图像与车底记忆虚拟俯视图像区域进行标定和对中，设真实的俯视图像参考矩阵为N，R为车底记忆虚拟俯视图像参考矩阵，T为平移向量，XC和YC表示光轴落点的图像坐标，f为倒车摄像头焦距，dx、dy为单个像素的成像大小，则真实的俯视图像参考矩阵N公式为：
22、提取除光轴落点外的参考坐标点，设参考坐标点坐标为(xn，yn)，其中n为重要参考点总数，采用真实的俯视图像边沿像素点为参考点，则相邻的两个像素点间的的距离为：
则相邻两个像素点的平均距离为：
倒车摄像头的投影比：
采用极坐标变换法：
23、对图像进行矫正：
θh＝H·(θn-1，θn-2，…，θ)T＝(k1，k2，…，kn-1)·(θn-1，θn-2，…，θ)T (7)，
所以校正后图像像素的点的集合为：{in，jn}，
得到真实的俯视图像与车底记忆虚拟俯视图像的拼合与矫正后的图像像素点集；
3、像素点运动轨迹的计算与融合：车辆运动轨迹的矫正运动中，车辆绕轨迹的旋转中心运动，若D为车辆的真实轴距，其中车辆的轨迹半径为：
车辆的单一方向上的横摆角速度为ω，则车辆旋转角α为：
计算出汽车图像旋转中心的坐标(x0，y0)：
ry0＝YC
由此计算旋转后的车底记忆虚拟俯视图像旋转后的坐标(xt+1，yt+1)，如果旋转前的坐标我们表示为(xt，yt)，则得到下面公式：
所述中央控制器根据车辆运动情况，判断像素点(xt+n，yt+n)所在区域的排列，最终给出车底的图像。
8.根据权利要求7所述的车底图像显示方法，其特征在于：所述步骤1中，车辆处于R挡或切入D挡之前点火启动发动机。
9.根据权利要求8所述的车底图像显示方法，其特征在于：所述步骤1中，车辆处于R挡或切入D挡的前30S，所述步骤4或步骤5中，一个信号周期为50ms。
10.根据权利要求9所述的车底图像显示方法，其特征在于：还包括步骤6：显示单元具有修改车辆图片贴图透明度的功能。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010219997.5A CN111372055A (zh) | 2020-03-25 | 2020-03-25 | 一种车底图像显示系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010219997.5A CN111372055A (zh) | 2020-03-25 | 2020-03-25 | 一种车底图像显示系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111372055A true CN111372055A (zh) | 2020-07-03 |
Family
ID=71212590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010219997.5A Pending CN111372055A (zh) | 2020-03-25 | 2020-03-25 | 一种车底图像显示系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111372055A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111959397A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
| CN112462371A (zh) * | 2020-11-02 | 2021-03-09 | 东风汽车集团有限公司 | 基于虚拟倒车雷达的障碍物探测方法及存储介质 |
| CN112468716A (zh) * | 2020-11-02 | 2021-03-09 | 航天信息股份有限公司 | 摄像头视角矫正方法、装置、存储介质及电子设备 |
| CN112721803A (zh) * | 2020-12-28 | 2021-04-30 | 深圳市路畅科技股份有限公司 | 一种动态倒车轨迹的快速显示系统、方法及其应用 |
| CN113900510A (zh) * | 2021-09-03 | 2022-01-07 | 北京城市网邻信息技术有限公司 | 车辆信息展示方法、设备及存储介质 |
| CN114516304A (zh) * | 2022-01-25 | 2022-05-20 | 东风汽车集团股份有限公司 | 一种匹配悬架高度的车辆底盘摄像头系统及控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202243185U (zh) * | 2011-07-19 | 2012-05-30 | 奇瑞汽车股份有限公司 | 倒车引导系统 |
| CN103522949A (zh) * | 2012-12-21 | 2014-01-22 | Tcl康钛汽车信息服务（深圳）有限公司 | 一种快速显示倒车影像的方法及车机系统 |
| CN107507131A (zh) * | 2017-08-08 | 2017-12-22 | 广州市安晓科技有限责任公司 | 基于单摄像头的360度全景倒车影像生成方法 |
| US20190176846A1 (en) * | 2017-12-11 | 2019-06-13 | Volvo Car Corporation | Driving intervention in vehicles |
| CN110126733A (zh) * | 2019-05-07 | 2019-08-16 | 奇瑞新能源汽车技术有限公司 | 一种基于单目摄像头的全景系统及其工作方法 |
-
2020
- 2020-03-25 CN CN202010219997.5A patent/CN111372055A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202243185U (zh) * | 2011-07-19 | 2012-05-30 | 奇瑞汽车股份有限公司 | 倒车引导系统 |
| CN103522949A (zh) * | 2012-12-21 | 2014-01-22 | Tcl康钛汽车信息服务（深圳）有限公司 | 一种快速显示倒车影像的方法及车机系统 |
| CN107507131A (zh) * | 2017-08-08 | 2017-12-22 | 广州市安晓科技有限责任公司 | 基于单摄像头的360度全景倒车影像生成方法 |
| US20190176846A1 (en) * | 2017-12-11 | 2019-06-13 | Volvo Car Corporation | Driving intervention in vehicles |
| CN110126733A (zh) * | 2019-05-07 | 2019-08-16 | 奇瑞新能源汽车技术有限公司 | 一种基于单目摄像头的全景系统及其工作方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111959397A (zh) * | 2020-08-24 | 2020-11-20 | 北京茵沃汽车科技有限公司 | 在全景影像中显示车底图像的方法、系统、装置及介质 |
| CN112462371A (zh) * | 2020-11-02 | 2021-03-09 | 东风汽车集团有限公司 | 基于虚拟倒车雷达的障碍物探测方法及存储介质 |
| CN112468716A (zh) * | 2020-11-02 | 2021-03-09 | 航天信息股份有限公司 | 摄像头视角矫正方法、装置、存储介质及电子设备 |
| CN112468716B (zh) * | 2020-11-02 | 2022-07-19 | 航天信息股份有限公司 | 摄像头视角矫正方法、装置、存储介质及电子设备 |
| CN112721803A (zh) * | 2020-12-28 | 2021-04-30 | 深圳市路畅科技股份有限公司 | 一种动态倒车轨迹的快速显示系统、方法及其应用 |
| CN113900510A (zh) * | 2021-09-03 | 2022-01-07 | 北京城市网邻信息技术有限公司 | 车辆信息展示方法、设备及存储介质 |
| CN114516304A (zh) * | 2022-01-25 | 2022-05-20 | 东风汽车集团股份有限公司 | 一种匹配悬架高度的车辆底盘摄像头系统及控制方法 |
| CN114516304B (zh) * | 2022-01-25 | 2023-05-30 | 东风汽车集团股份有限公司 | 一种匹配悬架高度的车辆底盘摄像头系统及控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111372055A (zh) | 一种车底图像显示系统及方法 | |
| CN107856667B (zh) | 辅助泊车系统和方法 | |
| CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| CN107021015B (zh) | 用于图像处理的系统及方法 | |
| CN1987357B (zh) | 基于全方位计算机视觉的智能停车辅助装置 | |
| EP2988973B1 (en) | Vehicle hitch assistance system | |
| CN109552315B (zh) | 全视野摄像头主机控制系统 | |
| CN110363085B (zh) | 一种基于铰接角补偿的重型铰接车环视实现方法 | |
| CN108263283A (zh) | 多编组变角度车辆全景环视系统标定及拼接方法 | |
| CN109087251B (zh) | 一种车载全景图像显示方法及系统 | |
| CN104512328A (zh) | 汽车环视图像生成方法及汽车环视系统 | |
| CN105678787A (zh) | 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法 | |
| CN206217749U (zh) | 电子后视镜系统及重型卡车 | |
| WO2021253741A1 (zh) | 基于场景识别的车辆自适应传感器系统 | |
| CN108528337B (zh) | 一种基于视频投影的内轮差智能预警系统及预警方法 | |
| JP6929177B2 (ja) | 運転支援表示方法及び運転支援表示装置 | |
| US11403767B2 (en) | Method and apparatus for detecting a trailer, tow-ball, and coupler for trailer hitch assistance and jackknife prevention | |
| CN107161082A (zh) | 辅助停车方法 | |
| CN103383728A (zh) | 使用环视系统的全速车道感测 | |
| CN113320474A (zh) | 基于全景图像及人机交互的自动泊车方法及装置 | |
| WO2019034916A1 (en) | SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| CN202847561U (zh) | 一种倒车影像系统 | |
| CN107878330B (zh) | 一种车辆底盘透视方法以及车辆底盘透视装置 | |
| CN104960473B (zh) | 视角切换方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |