CN113844365A - 一种汽车前视双侧盲区可视化方法 - Google Patents
一种汽车前视双侧盲区可视化方法 Download PDFInfo
- Publication number
- CN113844365A CN113844365A CN202111346109.7A CN202111346109A CN113844365A CN 113844365 A CN113844365 A CN 113844365A CN 202111346109 A CN202111346109 A CN 202111346109A CN 113844365 A CN113844365 A CN 113844365A
- Authority
- CN
- China
- Prior art keywords
- image
- automobile
- transformation
- blind area
- blind areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002146 bilateral effect Effects 0.000 title description 4
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种汽车前视双侧盲区可视化方法，首先利用汽车驾驶室内前置单目深度相机获取驾驶员双眼图像，通过对人眼坐标定位，利用单目深度相机测距方法获取双眼中点坐标的三维空间精准位置，之后利用图像的透视变换，求出汽车前视双侧盲区的图像范围，然后对通过在车辆外安装的摄像头获取的车外图像进行变换局部选取，进而获取汽车前视双侧盲区范围图像，并动态的将汽车前视双侧盲区内的视频图像实时显示在汽车前视双侧盲区的显示屏上，以实现汽车前视双侧盲区屏幕内景象与屏幕外的景象的无缝融合。
Description
技术领域
本发明涉及计算机视觉技术以及图像处理技术领域，具体涉及一种汽车前视双侧盲区可视化方法。
背景技术
汽车已经逐渐成为人们出行必备的交通工具，其驾驶的安全性也受到越来越多的重视，在这些安全问题中，我们不可忽略的一个问题便是汽车前视双侧盲区带来的驾驶干扰问题。本发明通过在汽车前视双侧盲区像融合显示装置来解决汽车前视双侧盲区遮挡视线的问题，使得汽车在既满足刚度要求的情况下，又能够使得驾驶员的视野得到改善。
本发明通过对透视变换理论进行探究，并且结合计算机视觉相关技术实现一种汽车前视双侧盲区可视化方法。本发明通过一个外接相机用来获取景象，前置单目深度相机用来取驾驶员双眼中心的三维空间坐标，从而根据驾驶员的双眼中心三维空间坐标来动态地显示汽车前视双侧盲区遮挡住的景象，并且实现屏幕里的景象与屏幕外景象相互融合、无缝衔接的效果。
发明内容
针对现有技术的不足，本发明旨在提供一种汽车前视双侧盲区可视化方法。
为了实现上述目的，本发明采用如下技术方案：
一种汽车前视双侧盲区可视化方法，具体过程为：
S1.盲区图像预处理：本发明采首先用非线性的灰度变换法来增强图像的灰度，从而减少光照对图像的影响。本方法首先分别采用对数变换和幂次变换来对要进行人眼识别的图像进行处理。设图像的像素坐标为ε(u，v)，变换前像素坐标处灰度值为f(u，
v)，变换后的像素坐标值为g(u，v)则依照如下的变换规则：
其中m1为图像像素的灰度曲线的初始值，m2为图像像素的灰度曲线的变化速率，min、max分别为图像区域内像素点灰度级最小值、最大值。
利用对数变换以及幂次变换处理过的图像可以增强其视觉上的分辨能力，之后使用中值滤波器对图像进行降噪处理，增强其轮廓的可辨识度，即遍历图像中的每个区域的像素值进行排序，将其中值赋与(x，y)。最后，对图像进行均值化处理。
S2.人眼坐标的三维空间坐标计算：利用深度相机结合Haar模板计算区域的特征值，并根据特征值集合设计积分图，利用特征值训练弱分类器，并组合多个弱分类器构成强分类器，使用多层强分类器来对人脸进行检测以获取人眼的三维空间精确坐标位置。
S3.单目深度相机精准定位：依据图像坐标系和车身坐标系以及车载车内单目深度相机的安装数据构建人眼与深度相机相对车身坐标系XYZ轴的夹角空间关系，并根据测量获得的已知的数据以及人眼定位算法的三维空间人眼坐标值计算出人眼的双眼中心实际坐标(xd，yd，zd)。
S4.图像透视转换：依据计算所获得的三维空间人眼坐标值(xd，yd，zd)以及测量获得的车内数据，首先确定透视变换所使用的通用变换矩阵H为
即求图像变换前Wa的计算公式为变换后的坐标Wb＝WaH，即只需要求出矩阵H即可获得透视转换的规则矩阵，在本方法中，设图像处于平面z＝1上，则只需要使用四个预设点(0，0)(0，1)(1，0)(1，1)即可求出变换矩阵H，利用变换矩阵H对车外相机所捕获的视频图像进行透视转换矫正，令盲区图像处于和视平面的同一平面上。
S5.盲区图像局部选取：以图像局部选取矩阵δ(x，y，d’，l’)，对进行矫正后的盲区图像进行选取，x，y分别为盲区图像的正中心点横纵坐标值，d’、I’分别为盲区图像的宽度和高度，从车外相机所拍摄的图像中局部选取驾驶员的视觉盲区范围图像。
S6.盲区图像融合：利用图像局部选取模板和透视矩阵，对车外相机所捕获的汽车盲区图像进行局部选取和透视变换，以实时驾驶员的视觉和盲区与周围景物的视觉融合，将进行局部选取以及变换后的盲区视频图像显示在汽车前视双侧盲区显示屏上，并根据车内摄像机捕获的驾驶员眼部坐标进行实时的调整以达到与周围景物完全相融合以消除汽车前视双侧盲区。
本发明的有益效果在于：本发明可应用于消除汽车前视双侧盲区对驾驶员的视线干扰造成的行车安全隐患。本方法可以将通过一个外接相机用来获取景象，车内前置单目深度相机用来获取驾驶员双眼中心的三维空间坐标，从而根据驾驶员的双眼中心三维空间坐标来动态地显示汽车前视双侧盲区遮挡住的景象，并且实现屏幕里的景象与屏幕外景象相互融合、无缝衔接的效果。
附图说明
图1为本发明实施例中汽车前视双侧盲区可视化方法的示意图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本实施例提供一种汽车前视双侧盲区可视化方法。主要过程为：
S1.盲区图像预处理：本发明采首先用非线性的灰度变换法来增强图像的灰度，从而减少光照对图像的影响。本方法首先分别采用对数变换和幂次变换来对要进行人眼识别的图像进行处理。设图像的像素坐标为ε(u，v)，变换前像素坐标处灰度值为f(u，v)，变换后的像素坐标值为g(u，v)则依照如下的变换规则：
其中m1为图像像素的灰度曲线的初始值，m2为图像像素的灰度曲线的变化速率，min、max分别为图像区域内像素点灰度级最小值、最大值。
利用对数变换以及幂次变换处理过的图像可以增强其视觉上的分辨能力，之后使用中值滤波器对图像进行降噪处理，增强其轮廓的可辨识度，即遍历图像中的每个区域的像素值进行排序，将其中值赋与(x，y)。最后，对图像进行均值化处理。
S2.人眼坐标的三维空间坐标计算：利用深度相机结合Haar模板计算区域的特征值，并根据特征值集合设计积分图，利用特征值训练弱分类器，并组合多个弱分类器构成强分类器，使用多层强分类器来对人脸进行检测以获取人眼的三维空间精确坐标位置。
S3.单目深度相机精准定位：依据图像坐标系和车身坐标系以及车载车内单目深度相机的安装数据构建人眼与深度相机相对车身坐标系XYZ轴的夹角空间关系，并根据测量获得的已知的数据以及人眼定位算法的三维空间人眼坐标值计算出人眼的双眼中心实际坐标(xd，yd，zd)。
S4.图像透视转换：依据计算所获得的三维空间人眼坐标值(xd，yd，zd)以及测量获得的车内数据，首先确定透视变换所使用的通用变换矩阵H为
即求图像变换前Wa的计算公式为变换后的坐标Wb＝WaH，即只需要求出矩阵H即可获得透视转换的规则矩阵，在本方法中，设图像处于平面z＝1上，则只需要使用四个预设点(0，0)(0，1)(1，0)(1，1)即可求出变换矩阵H，利用变换矩阵H对车外相机所捕获的视频图像进行透视转换矫正，令盲区图像处于和视平面的同一平面上。
S5.盲区图像局部选取：以图像局部选取矩阵δ(x，y，d’，I’)，对进行矫正后的盲区图像进行选取，x，y分别为盲区图像的正中心点横纵坐标值，d’、I’分别为盲区图像的宽度和高度，从车外相机所拍摄的图像中局部选取驾驶员的视觉盲区范围图像。
S6.盲区图像融合：利用图像局部选取模板和透视矩阵，对车外相机所捕获的汽车盲区图像进行局部选取和透视变换，以实时驾驶员的视觉和盲区与周围景物的视觉融合，将进行局部选取以及变换后的盲区视频图像显示在汽车前视双侧盲区显示屏上，并根据车内摄像机捕获的驾驶员眼部坐标进行实时的调整以达到与周围景物完全相融合以消除汽车前视双侧盲区。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。
Claims (1)
1.一种汽车前视双侧盲区可视化方法，其特征在于，具体过程为：
S1.盲区图像预处理：本发明采首先用非线性的灰度变换法来增强图像的灰度，从而减少光照对图像的影响。本方法首先分别采用对数变换和幂次变换来对要进行人眼识别的图像进行处理。设图像的像素坐标为ε(u，v)，变换前像素坐标处灰度值为f(u，v)，变换后的像素坐标值为g(u，v)则依照如下的变换规则：
其中m1为图像像素的灰度曲线的初始值，m2为图像像素的灰度曲线的变化速率，min、max分别为图像区域内像素点灰度级最小值、最大值。
利用对数变换以及幂次变换处理过的图像可以增强其视觉上的分辨能力，之后使用中值滤波器对图像进行降噪处理，增强其轮廓的可辨识度，即遍历图像中的每个区域的像素值进行排序，将其中值赋与(x，y)。最后，对图像进行均值化处理。
S2.人眼坐标的三维空间坐标计算：利用深度相机结合Haar模板计算区域的特征值，并根据特征值集合设计积分图，利用特征值训练弱分类器，并组合多个弱分类器构成强分类器，使用多层强分类器来对人脸进行检测以获取人眼的三维空间精确坐标位置。
S3.单目深度相机精准定位：依据图像坐标系和车身坐标系以及车载车内单目深度相机的安装数据构建人眼与深度相机相对车身坐标系XYZ轴的夹角空间关系，并根据测量获得的已知的数据以及人眼定位算法的三维空间人眼坐标值计算出人眼的双眼中心实际坐标(xd，yd，zd)。
S4.图像透视转换：依据计算所获得的三维空间人眼坐标值(xd，yd，zd)以及测量获得的车内数据，首先确定透视变换所使用的通用变换矩阵H为
即求图像变换前Wa的计算公式为变换后的坐标Wb＝WaH，即只需要求出矩阵H即可获得透视转换的规则矩阵，在本方法中，设图像处于平面z＝1上，则只需要使用四个预设点(0，0)(0，1)(1，0)(1，1)即可求出变换矩阵H，利用变换矩阵H对车外相机所捕获的视频图像进行透视转换矫正，令盲区图像处于和视平面的同一平面上。
S5.盲区图像局部选取：以图像局部选取矩阵δ(x，y，d’，l’)，对进行矫正后的盲区图像进行选取，x，y分别为盲区图像的正中心点横纵坐标值，d’、l’分别为盲区图像的宽度和高度，从车外相机所拍摄的图像中局部选取驾驶员的视觉盲区范围图像。
S6.盲区图像融合：利用图像局部选取模板和透视矩阵，对车外相机所捕获的汽车盲区图像进行局部选取和透视变换，以实时驾驶员的视觉和盲区与周围景物的视觉融合，将进行局部选取以及变换后的盲区视频图像显示在汽车前视双侧盲区显示屏上，并根据车内摄像机捕获的驾驶员眼部坐标进行实时的调整以达到与周围景物完全相融合以消除汽车前视双侧盲区。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111346109.7A CN113844365A (zh) | 2021-11-15 | 2021-11-15 | 一种汽车前视双侧盲区可视化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111346109.7A CN113844365A (zh) | 2021-11-15 | 2021-11-15 | 一种汽车前视双侧盲区可视化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113844365A true CN113844365A (zh) | 2021-12-28 |
Family
ID=78984260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111346109.7A Pending CN113844365A (zh) | 2021-11-15 | 2021-11-15 | 一种汽车前视双侧盲区可视化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113844365A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663458A (zh) * | 2022-05-24 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 动态标定方法、装置、驾驶状态检测方法、介质及设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106915303A (zh) * | 2017-01-22 | 2017-07-04 | 西安科技大学 | 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 |
| CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度（苏州）科技有限公司 | 一种人眼视线与前景图像叠加的方法及系统 |
| US20200039435A1 (en) * | 2018-08-02 | 2020-02-06 | Chunghwa Picture Tubes, Ltd. | Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof |
| KR20200110033A (ko) * | 2019-03-15 | 2020-09-23 | 김필재 | 영상 디스플레이 시스템 및 방법 |
| CN111739101A (zh) * | 2020-05-12 | 2020-10-02 | 太原科技大学 | 一种消除车辆a柱盲区的装置和方法 |
| CN111731187A (zh) * | 2020-06-19 | 2020-10-02 | 杭州视为科技有限公司 | 一种汽车a柱盲区图像显示系统及方法 |
| CN112758015A (zh) * | 2021-02-05 | 2021-05-07 | 的卢技术有限公司 | 一种用于投影车载a柱盲区的方法 |
| CN113401058A (zh) * | 2021-07-19 | 2021-09-17 | 天津理工大学 | 基于人眼三维坐标的汽车a柱盲区实时显示方法及系统 |
-
2021
- 2021-11-15 CN CN202111346109.7A patent/CN113844365A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106915303A (zh) * | 2017-01-22 | 2017-07-04 | 西安科技大学 | 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 |
| US20200039435A1 (en) * | 2018-08-02 | 2020-02-06 | Chunghwa Picture Tubes, Ltd. | Onboard camera system for eliminating a-pillar blind areas of a mobile vehicle and image processing method thereof |
| CN109493305A (zh) * | 2018-08-28 | 2019-03-19 | 初速度（苏州）科技有限公司 | 一种人眼视线与前景图像叠加的方法及系统 |
| KR20200110033A (ko) * | 2019-03-15 | 2020-09-23 | 김필재 | 영상 디스플레이 시스템 및 방법 |
| CN111739101A (zh) * | 2020-05-12 | 2020-10-02 | 太原科技大学 | 一种消除车辆a柱盲区的装置和方法 |
| CN111731187A (zh) * | 2020-06-19 | 2020-10-02 | 杭州视为科技有限公司 | 一种汽车a柱盲区图像显示系统及方法 |
| CN112758015A (zh) * | 2021-02-05 | 2021-05-07 | 的卢技术有限公司 | 一种用于投影车载a柱盲区的方法 |
| CN113401058A (zh) * | 2021-07-19 | 2021-09-17 | 天津理工大学 | 基于人眼三维坐标的汽车a柱盲区实时显示方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 许彦平: "基于三维重构与透视变换的汽车A柱盲区可视化方法研究", 学位论文 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663458A (zh) * | 2022-05-24 | 2022-06-24 | 魔门塔(苏州)科技有限公司 | 动态标定方法、装置、驾驶状态检测方法、介质及设备 |
| CN114663458B (zh) * | 2022-05-24 | 2022-10-11 | 魔门塔(苏州)科技有限公司 | 动态标定方法、装置、驾驶状态检测方法、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109688392B (zh) | Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法 | |
| CN107004277B (zh) | 机动车辆摄像头系统的在线标定 | |
| CN111731187A (zh) | 一种汽车a柱盲区图像显示系统及方法 | |
| JP4104631B2 (ja) | 運転支援装置 | |
| JP5944687B2 (ja) | 外因パラメータのみのサラウンドビューカメラ自動較正 | |
| CN109446892B (zh) | 基于深度神经网络的人眼注意力定位方法及系统 | |
| CN111739101B (zh) | 一种消除车辆a柱盲区的装置和方法 | |
| EP2061234A1 (en) | Imaging apparatus | |
| CN111582080A (zh) | 车辆360度环视监控实现方法及装置 | |
| CN112298039A (zh) | 一种a柱成像方法 | |
| JP2018058544A (ja) | 車載表示制御装置 | |
| CN113240592A (zh) | 基于ar-hud动态眼位下计算虚像平面的畸变矫正方法 | |
| KR20160013337A (ko) | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 | |
| CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
| CN114007054B (zh) | 车载屏幕画面投影矫正的方法及装置 | |
| CN113239735B (zh) | 一种基于双目摄像头的汽车透明a柱系统及实现方法 | |
| JP2011259152A (ja) | 運転支援装置 | |
| CN111242866A (zh) | 观测者动态眼位条件下ar-hud虚像畸变校正的神经网络插值方法 | |
| CN113844365A (zh) | 一种汽车前视双侧盲区可视化方法 | |
| CN111626227B (zh) | 一种基于双目视觉车底透视全景系统的实现方法 | |
| CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 | |
| JP4934579B2 (ja) | 運転支援装置 | |
| CN113815534B (zh) | 基于应对人眼的位置变化而对图形进行动态处理的方法 | |
| CN115984122A (zh) | 一种hud背光显示系统及方法 | |
| CN113379605B (zh) | 一种车载360°全景影像系统及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |